Hadoop已死?ASF 已“淘汰”10个 Hadoop 相关的开源项目

架构头条 2021-04-14 12:20
作者 | 田晓旭
Hadoop 真的该“谢幕”了吗?

自 4 月 1 日起,Apache 软件基金会(ASF)宣布将其至少 19 个开源项目撤回到 Apache Attic,其中有 13 个项目与大数据相关,10 个项目属于 Hadoop 生态系统。

与 Hadoop 相关的十个“淘汰”开源项目:

  1. Apex:基于 Hadoop YARN 的流处理和批处理平台;

  2. Chukwa:基于 HDFS 构建的开源数据收集系统,用于监控和分析大型分布式系统的数据;

  3. Crunch :基于 Google 的 FlumeJava 库编写的 Java 库,提供了一个用于编写、测试和运行 MapReduce 管道的框架;

  4. Eagle:eBay 开源的一个解决方案,可立即识别包括 Hadoop 在内的大数据平台上的安全和性能问题;

  5. Falcon :一个面向 Hadoop 的、新的数据处理和管理平台,用于数据移动、数据管道协调、生命周期管理和数据发现;

  6. Hama:一个建立在 Hadoop 上基于 BSP(Bulk Synchronous Parallel) 的计算框架;

  7. Lens:提供统一的分析界面,将 Hadoop 与传统数据仓库集成在一起;

  8. Sentry :一个高度模块化的系统,为存储在 Apache Hadoop 集群中的数据和元数据提供了细粒度的、基于角色的认证功能;

  9. Tajo:Hadoop 大数据关系型和分布式数据仓库系统;

  10. Twill :Apache Hadoop YARN 的抽象层,减少了开发分布式应用程序的复杂度,允许开发者把精力放在应用逻辑上。

1Apache Attic 是什么?

Apache Attic 是 ASF 在 2018 年 11 月建立的一种机制,主要是提供一个流程,让 ASF 中的开源项目在结束生命之前,能够被广大开发者知晓。

据了解,开源项目进入 Apache Attic 之后不会影响用户,ASF 会对代码库提供受限制的监督,同时会在没有项目管理委员会(PMC)的情况下对活动用户列表进行监督。但是该开源项目不会再重建社区、修正 bug 以及发布新版本。

那么,什么样的项目会进入到 Apache Attic?进入 Apache Attic 的路径是什么?首先,当一个项目的 PMC 无法召集 3 票进行版本发布、没有积极的提交者或无法履行其向董事会报告时,那么,该项目就会成为进入 Apache Attic 的候选项目。

开源项目进入 Apache Attic 之后,能否离开呢?当然可以,ASF 提供了开源项目离开 Attic 的多种方法:fork 该项目;在 Apache 孵化器中重新启动社区;为项目重新创建 PMC;转移到现有的 PMC。

如果要转移开源项目,那么接收方的 PMC 要愿意承担项目运行所伴随的责任,例如维护代码、回答问题、修复 bug 与发布版本等,董事会同意之后,PMC Attic 会将转移项目的资产给接收方的 PMC,包括 code-base、TLP 网站与 Maven 组标识等。

2为什么这么多 Hadoop 相关项目会进入到 Apache Attic?

为什么这么多 Hadoop 相关项目会进入到 Apache Attic 呢?ASF 市场营销与宣传副总裁 Sally Khudairi 通过电子邮件回复说:“ Apache 中开源项目整个生命周期的发展是起伏不定的,这与社区的参与程度息息相关。关于这次进入 Apache Attic 项目的选取,PMC 和董事会内部对多个 Apache 项目进行了审查和评估,并通过投票的方式决定哪些项目进入 Apache Attic。”

尽管 ASF 表示此次进入 Apache Attic 的大数据项目只占整体的一小部分,但是我们也可以看到,大数据领域已经发生了变化,Hadoop 在开源分析领域的主导地位已经逐渐让渡给了 Spark,Hortonworks 和旧的 Cloudera 之间的项目无意义的复制已被终止。

“Hadoop 已死”这句话在业内已经喊了好几年了,大数据领域依然如日中天,但是 Hadoop 领域三家领头羊公司 Cloudera、Hortonworks 和 MapR 却过得不是那么顺利,Cloudera 和 Hortonworks 合并了,MapR 因为业绩缩水,最终出售给了 HPE。

商业路径走得艰难,如今在开源路径上似乎也遇到了坎坷,曾经是大数据代名词的“Hadoop”似乎真的要“谢幕”了。

 今日推荐文章

爱奇艺是如何在活动中台实践低代码的?

 活动推荐

经过约 3 个月、10 周、70 天、1680 个小时的策划和邀请,ArchSummit 全球架构师峰会上海站的 85 位演讲嘉宾已就位,所有议题已确认。大会内容经过反复打磨与优化,只为呈现 4 月 25-26 日干货满满的 2 天。会期临近,9 折优惠倒计时最后 3 天,座位已不多,赶紧行动起来~

扫描下方二维码或底部【阅读原文】查看大会详情。

点个在看少个 bug 👇