華為正式宣布開源Astro項目

　　ICCSZ訊 7月20日，華為在O'Reilly Open Source Convention (OSCON) 上宣布Spark SQL on HBase package正式開源。Spark SQL on HBase package項目又名 Astro，端到端整合了Spark, Spark SQL和HBase的能力，有助于推動幫助Spark進入NoSQL的廣泛客戶群，并提供強大的在線查詢和分析以及在垂直企業(yè)大規(guī)模數(shù)據(jù)處理能力。

　　華為已經(jīng)把Spark嵌入到其大數(shù)據(jù)解決方案 —— FusionInsight，在世界上最大的銀行中國工商銀行以及最大的通信服務提供商中國移動得到了應用。華為還將Spark作為云服務，計劃在今年晚些時候隨華為公有云發(fā)布。

2014年8月25號，華為團隊與Spark專家在伯克利的辦公室就Spark SQL On HBase設計進行交流

　　Astro的新特性使得數(shù)據(jù)修改，智能掃描系統(tǒng)具有強大的可操作性，類似于自定義過濾器和協(xié)處理器下推式，并讓更多的傳統(tǒng)RDBS能力可用，其查詢優(yōu)化算法適用于一般組織的數(shù)據(jù)集，并可以通過分布式SQL引擎進行查詢。為了充分利用Spark最新的功能，包括Dataframe和外部數(shù)據(jù)源API ，華為全球團隊一直持續(xù)更新項目代碼并符合最新發(fā)布的Spark1.4版本。此項目吸引了眾多社區(qū)貢獻者參與到開發(fā)和驗證中來。此外，華為團隊還對Spark SQL，機器學習和Spark R貢獻了很多新特性，豐富了Spark的標準庫。

　　“從作為OPNFV創(chuàng)始成員推動公司的核心業(yè)務網(wǎng)絡的開放，到云計算和物聯(lián)網(wǎng)等新業(yè)務，開源已經(jīng)成為華為公司層面的戰(zhàn)略，比如我們將世界上最輕巧的物聯(lián)網(wǎng)操作系統(tǒng)LiteOS開源，在標準化和簡化基礎設施的同時，還可以提升物聯(lián)網(wǎng)的可連接能力。”華為中軟總裁王成錄說到。

　　王成錄表示：“Spark憑借其在數(shù)據(jù)處理和分析的卓越架構成為Apache社區(qū)最有影響力的項目，一直是華為公司重點和首要的關注。我們相信以Spark作為我們大數(shù)據(jù)解決方案的核心，一定會給客戶帶來顯著的優(yōu)勢，推動生態(tài)圈的技術創(chuàng)新，同時最大程度優(yōu)化IT投資，成就客戶。”

　　華為已在世界排名前5的移動運營商中國聯(lián)通運營子公司部署Spark，用于解決關鍵業(yè)務領域問題。該系統(tǒng)支持多個數(shù)據(jù)源條件下的近實時查詢和分析，允許分析員和數(shù)據(jù)科學家基于大規(guī)模數(shù)據(jù)更簡單有效的建立模型，對于某些特定場景，建模周期甚至能夠從幾個月縮減至幾周。另外，該系統(tǒng)基于Spark也成功的實現(xiàn)了用戶推薦和離網(wǎng)預測。華為和聯(lián)通正在攜手努力，把Spark應用延伸到新的業(yè)務領域。

　　而最近在南美最大的電信運營商之一的的成功商用，證明了相比傳統(tǒng)的BI系統(tǒng)和數(shù)據(jù)管理平臺，Spark和華為大數(shù)據(jù)解決方案能夠帶來更多的商業(yè)價值。運營商可以更迅速及時地獲取最新的、集中的客戶洞察，在試點的業(yè)務中實現(xiàn)更高的營銷轉(zhuǎn)化率，并能采用敏捷和快速的方式開發(fā)新的商業(yè)案例。數(shù)據(jù)分析人員不再需要進行MapReduce復雜編碼，機器學習的規(guī)模以及性能得到了極大的改善。

　　“我們很高興華為成為Spark的主要貢獻者。作為在新興市場和電信行業(yè)的領導者,華為一直在努力擴大Spark的影響力。” Databricks 的聯(lián)合創(chuàng)始人以及Spark的發(fā)布經(jīng)理Patrick Wendell 這樣評價華為，“ 華為從Spark項目初期就一直是堅定的貢獻者。我們期望華為繼續(xù)發(fā)展Spark,并推動其在全球市場的垂直應用。”

　　Spark提供了一個強大的編程框架，豐富的API和庫，充滿活力的生態(tài)系統(tǒng)，以及無與倫比技術創(chuàng)新的步伐，因而在大數(shù)據(jù)領域飛速上升。

　　“華為的全球團隊在基于業(yè)務驅(qū)動的情況下，把新的算法加入到MLlib庫中，同時在與Databricks和社區(qū)共同探索在矢量化處理以及SQL核心模塊性能優(yōu)化等工作的合作的可能性。”華為美國研發(fā)中心大數(shù)據(jù)帶頭人Bing Xiao說到， “我們已經(jīng)看到社區(qū)對Astro的興趣，通過與其他廠商合作的方式去增強和推廣。此外，新興客戶對Spark SQL on OLAP cube有明顯的訴求，而我們正在評估社區(qū)的接受程度，以便于開源。華為堅定地致力于Spark，并在廣泛參與社區(qū)和行業(yè)建設。”