屬于 Hadoop 的大數據時代已結束

作者 | Andrew Brust

譯者 | 風車云馬

出品 | CSDN（ID：CSDNnews）

以下為譯文：

在11天內，13個與大數據相關的 Apache 項目(包括 Sentry、Tajo 和 Falcon)宣布取消。Hadoop 和大數據的理想主義時代似乎正式結束了，

Apache Hadoop 曾經是大數據的代言人，而今已經過了它的鼎盛時期，這已經不是什么秘密了，自4月1日以來，Apache Software Foundation (apache 軟體基金會，簡稱 ASF)就宣布，至少有19個開源項目將退出其“Attic”項目，其中13個項目與大數據相關，10個項目屬于 Hadoop 生態系統，

項目清單

雖然個別項目的取消公告似乎無關緊要，但從整體上看，它們構成了一個分水嶺事件。為了幫助從業者和行業觀察人士理解大數據開源重組的全部影響，我們列出了一個清單，以下是一些與大數據相關的 Apache 取消項目：

• Apex：基于 Hadoop YARN 的大數據流和批處理統一平臺。

• Chukwa：一個用于監控大型分布式系統的數據收集系統，構建在 Hadoop 分布式文件系統(HDFS)上。

• Crunch：提供了一個編寫、測試和運行 MapReduce(包括 Hadoop MapReduce)管道的框架。

• Eagle：在大數據平臺(包括 Hadoop)上即時識別安全和性能問題的分析解決方案。

• Falcon：為 Hadoop 設計的數據處理和管理解決方案，用于數據移動、數據管道協調、生命周期管理和數據發現。

• Hama：一個大數據分析框架，運行在 Hadoop 上，基于批量同步并行范式，

• Lens：提供了一個統一的分析界面，將 Hadoop 與傳統數據倉庫集成在一起，看起來就像一個數據倉庫。

• Marmotta：一個鏈接數據的開放平臺，

• Metron：專注于實時大數據安全，

• PredictionIO：機器學習服務器，用于管理和部署可用于生產的預測服務。

• Sentry：在 Apache Hadoop 中對數據和元數據執行細粒度授權的系統，

• Tajo：Hadoop 上的大數據倉庫系統。

• Twill：使用 Hadoop YARN 的分布式功能和運行線程的編程模型，

不容忽略的事實

全部的列表很長，上面只是包括大數據項目的一部分。此外，由于 Cloudera、Hortonworks 的合并，Sentry 和 Metron 項目實質上已經分別被類似的 Ranger 和 Spot 項目取代。

那次合并本身就根植于大數據市場的整合，而且這種非常大的數據整合也解釋了上述所有項目取消的原因。至少可以說，在不到兩周的時間內宣布所有這些項目的取消是值得注意的，

官方評價

我向 ASF 詢問了大數據項目平臺的清理事宜。ASF 負責營銷和宣傳的副總裁 Sally Khudairi 通過電子郵件回復道：“Apache 項目活動在其生命周期中有起有落，這取決于社區的參與程度，我們從項目管理委員會(pmc)內部到董事會，對幾個 Apache 項目的審查和評估活動有所增加，他們投票決定是否讓項目退出。” Khudairi 還表示，最近 ASF 負責 Apache 的副總裁 Hervé Boutemy 非常高效地進行了“春季大掃除”，為準備取消的幾十個項目做了一些收尾工作。

盡管 ASF 斷言這次大數據整合只是常規項目取締所引發的一個高潮，但很明顯，大數據領域的情況已經發生了變化。Hadoop 在開源分析技術上的主導地位已經讓位于 Spark，Hortonworks 和 Cloudera 之前毫無意義的重復項目已經停止，這就像達爾文進化論的自然選擇過程一樣。

我們需要謹慎

很明顯在大數據領域，投資 Apache Sentry 的大量供應商和客戶現在不得不考慮他們的損失，伴隨著這個殘酷的現實，我們得到了深刻的教訓，這個教訓幾乎適用于每一個技術類別的炒作周期：一開始社區會變得興奮起來，然后開源技術會激增，生態系統也會建立起來；但這些生態系統并不是永恒的，幾乎任何新平臺都存在固有的風險，無論是商業平臺還是開源平臺，

用 ASF 的 Khudairi 的話來說：“是每個項目背后的社區使其代碼保持活力(代碼不會自己寫)，所以社區在項目中改變步調并不罕見，”換句話說，前沿技術是令人興奮的，但早期采用者需要謹慎：它也是不穩定的。注意形勢的變化，并管理你的風險，

原文鏈接：https:http://www.zdnet.com/article/apache-software-foundation-retires-slew-of-hadoop-related-projects/

聲明：本文由CSDN翻譯，轉載請注明來源。

☞Linus Torvalds：“C++ 真是一門很爛的語言！”☞360 回應造車傳聞：無可奉告；小米關聯公司申請注冊“米線”商標；阿里達摩院發布語言模型 PLUG|極客頭條☞騰訊高級研究員博士論文走紅，稱“計算機終于成了我一生的事業與希望”