曾几何时，Apache Hadoop 是大数据的代表，但今天谁都知道它已经过时了。而自 4 月 1 日起，Apache 软件基金会（ASF）宣布将至少 19 个开源项目撤回到他们的“Attic”，其中 13 个与大数据相关，10 个属于 Hadoop 生态系统。
光荣榜
单个项目的退役公告可能不算什么，但它们加在一起足以成为一个分水岭。
为了帮助从业者和行业观察者充分认识到这次大数据开源项目洗牌的深刻影响，我们应该好好整理一下。
与大数据相关的 Apache 退役项目包括：
Apex：基于 HadoopYARN 的统一大数据流和批处理平台
Chukwa：基于 Hadoop 分布式文件系统（HDFS）构建的，用于监视大型分布式系统的数据收集系统
Crunch，提供了用于编写、测试和运行 MapReduce（包括 HadoopMapReduce）管道的框架
Eagle：一种分析解决方案，可在包括 Hadoop 在内的大数据平台上迅速识别安全和性能问题
Falcon：针对 Hadoop 的数据处理和管理解决方案，设计用于数据移动、数据管道协调、生命周期管理和数据发现
Hama：一种用于大数据分析的框架，运行在 Hadoop 上，并且基于 BulkSynchronousParallel 范式
Lens，提供了统一的分析界面，将 Hadoop 与传统数据仓库深度集成在一起
Marmotta：链接数据的开放平台
Metron：专注于实时大数据安全性
PredictionIO：一种用于管理和部署生产就绪的预测服务的机器学习服务器
Sentry：一种用于对 ApacheHadoop 中的数据和元数据执行细粒度授权的系统
Tajo：Hadoop 上的大数据仓库系统
Twill，它使用 HadoopYARN 的分布式功能和类似的编程模型来运行线程
房间里的“大象”
上面这个列表很长，而完整的列表还包括一些非大数据项目。显然，ASF 正在做一些内部清扫工作。此外，由于 Cloudera-Hortonworks 的合并，与 Ranger 和 Spot 项目竞争的 Sentry 和 Metron 也被弃用。之前两家公司总共支持四个项目，现在只保留两个就够了。
这次合并的背景是大数据市场的整合趋势。而且可以说，这场大数据整合潮流也是上面这些项目“退役”的根本原因。至少可以说，在不到两周的时间内宣布所有这些项目“退役”的确是一件大事。
官方评论
我向 ASF 询问了他们清理大数据项目的解释。ASF 市场营销与宣传副总裁 Sally Khudairi 通过电子邮件回复说：“Apache 项目活动在生命周期中往往会起伏不定，这取决于社区的参与。”Khudairi 补充说：“我们……从项目管理委员会（PMC）到董事会内部，对多个 Apache 项目的活动进行了审查和评估，并投票决定将这些项目退回到 Attic。”Khudairi 还说，ASF 的 Apache Attic 副总裁 Hervé Boutemy“最近非常高效地完成了“春季大扫除”，妥善处理了在过去几个月中准备退役的十几个项目。”
尽管 ASF 断言这次大数据清理工作只是其他常规项目退役的一部分，但很明显，大数据领域的情况已经发生了变化。Hadoop 在开源分析技术的主导地位已让给 Spark，Hortonworks 和老牌的 Cloudera 之间的相似项目无意义竞争也结束了，这些项目完成了达尔文自然选择过程。
小心一点吧
很明显，在大数据世界中，大量投资于 Apache Sentry 的供应商和客户现在需要整理他们的损失并继续前进。残酷的现实带来的教训几乎适用于所有技术炒作周期：社区开始兴奋起来，开源技术激增，生态系统逐渐完善。但这些生态系统并不会永存，几乎任何新平台（无论是商业平台还是开源平台）都存在固有的风险。
用 ASF 的 Khudairi 的话来说：“每个项目背后的社区才是代码生命力的源泉（'代码不会自动编写出来'），因此社区改变项目步伐的情况并不少见。”换句话说，尖端技术令人兴奋，但早期采用者要小心：它也是很脆弱的。请多加注意，并妥善管理风险。
