百度Mellanox共同引領(lǐng)RDMA技術(shù)趨勢 大規(guī)模部署100G以太網(wǎng)推動百度AI戰(zhàn)略落地

　　ICCSZ訊  世界領(lǐng)先的高性能計(jì)算、數(shù)據(jù)中心端到端互連方案提供商Mellanox(納斯達(dá)克交易所代碼: MLNX)今日宣布，互聯(lián)網(wǎng)搜索巨頭百度公司現(xiàn)已采用Mellanox端到端RDMA以太網(wǎng)互連解決方案為其打造全球頂尖的AI平臺。在全球計(jì)算機(jī)系統(tǒng)領(lǐng)域的頂級會議——第26屆操作系統(tǒng)原理大會(SOSP’17)上，百度提交了關(guān)于“高性能RDMA協(xié)議棧關(guān)鍵技術(shù)”的Poster。該P(yáng)oster展示通過建立一種類Socket的RDMA通信庫，可將現(xiàn)有業(yè)務(wù)無縫遷移到高性能RDMA協(xié)議棧。百度是國內(nèi)第一家大規(guī)模部署Mellanox 100G RDMA (支持RoCE v2) 以太網(wǎng)網(wǎng)絡(luò)的企業(yè)，Mellanox與百度精誠合作，引領(lǐng)了網(wǎng)絡(luò)技術(shù)的快速發(fā)展。

　　隨著人工智能和5G網(wǎng)絡(luò)的興起，“喚醒萬物，萬物互聯(lián)”的時代已經(jīng)來臨。在人工智能領(lǐng)域，計(jì)算量需求的爆發(fā)式增長無疑對網(wǎng)絡(luò)提出了更苛刻的要求。百度AI算法具有高流量突發(fā)的網(wǎng)絡(luò)特征，而且對網(wǎng)絡(luò)的時延、帶寬以及吞吐量的需求也很高。百度類Socket通信庫底層采用Mellanox 100G RDMA以太網(wǎng)，使得百度AI集群的訓(xùn)練速度獲得了大幅度的提升，AI訓(xùn)練參數(shù)的同步時間也進(jìn)一步縮短。

　　作為高性能互連網(wǎng)絡(luò)的核心組件，基于RDMA技術(shù)的Mellanox以太網(wǎng)解決方案在百度HPC集群和高性能存儲集群中也發(fā)揮了關(guān)鍵作用。百度云旗下的塊存儲服務(wù)——云磁盤(CDS)采用NVMe介質(zhì)，其讀寫時延已低于傳統(tǒng)TCP網(wǎng)絡(luò)的通信時延，網(wǎng)絡(luò)因此成為了最大的瓶頸。結(jié)合25G RDMA以太網(wǎng)解決方案，百度對其底層的Baidu RPC(brpc)進(jìn)行了改造。測試結(jié)果表明，改造后brpc的延遲可降低20% - 60%，QPS(每秒查詢率)可提升40% - 80%。相應(yīng)的，云磁盤(CDS)的讀寫時延可降低10%-40%。

　　“無論是傳統(tǒng)的HPC應(yīng)用還是新興的人工智能平臺，都離不開高性能RDMA網(wǎng)絡(luò)的支持”，Mellanox公司亞太及中國區(qū)市場開發(fā)高級總監(jiān)劉通表示。“我們很榮幸與百度公司合作，為業(yè)界領(lǐng)先的AI開放生態(tài)架構(gòu)提供支持，共同構(gòu)建更高效的網(wǎng)絡(luò)協(xié)議堆棧，推動網(wǎng)絡(luò)革新，共同引領(lǐng)100G RDMA以太網(wǎng)大規(guī)模部署，打造AI平臺的網(wǎng)絡(luò)新引擎。”

　　目前，百度人工智能研究成果已全面應(yīng)用于百度產(chǎn)品，讓數(shù)億網(wǎng)民從中受益；同時，百度還將語音、圖像、機(jī)器翻譯等難度高、投入大的領(lǐng)先技術(shù)向業(yè)界開放，以降低大眾創(chuàng)業(yè)、萬眾創(chuàng)新的門檻，進(jìn)一步釋放創(chuàng)業(yè)創(chuàng)新活力。