百度Mellanox共同引領(lǐng)RDMA技術(shù)趨勢(shì) 大規(guī)模部署100G以太網(wǎng)推動(dòng)百度AI戰(zhàn)略落地

　　ICCSZ訊  世界領(lǐng)先的高性能計(jì)算、數(shù)據(jù)中心端到端互連方案提供商Mellanox(納斯達(dá)克交易所代碼: MLNX)今日宣布，互聯(lián)網(wǎng)搜索巨頭百度公司現(xiàn)已采用Mellanox端到端RDMA以太網(wǎng)互連解決方案為其打造全球頂尖的AI平臺(tái)。在全球計(jì)算機(jī)系統(tǒng)領(lǐng)域的頂級(jí)會(huì)議——第26屆操作系統(tǒng)原理大會(huì)(SOSP’17)上，百度提交了關(guān)于“高性能RDMA協(xié)議棧關(guān)鍵技術(shù)”的Poster。該P(yáng)oster展示通過(guò)建立一種類(lèi)Socket的RDMA通信庫(kù)，可將現(xiàn)有業(yè)務(wù)無(wú)縫遷移到高性能RDMA協(xié)議棧。百度是國(guó)內(nèi)第一家大規(guī)模部署Mellanox 100G RDMA (支持RoCE v2) 以太網(wǎng)網(wǎng)絡(luò)的企業(yè)，Mellanox與百度精誠(chéng)合作，引領(lǐng)了網(wǎng)絡(luò)技術(shù)的快速發(fā)展。

　　隨著人工智能和5G網(wǎng)絡(luò)的興起，“喚醒萬(wàn)物，萬(wàn)物互聯(lián)”的時(shí)代已經(jīng)來(lái)臨。在人工智能領(lǐng)域，計(jì)算量需求的爆發(fā)式增長(zhǎng)無(wú)疑對(duì)網(wǎng)絡(luò)提出了更苛刻的要求。百度AI算法具有高流量突發(fā)的網(wǎng)絡(luò)特征，而且對(duì)網(wǎng)絡(luò)的時(shí)延、帶寬以及吞吐量的需求也很高。百度類(lèi)Socket通信庫(kù)底層采用Mellanox 100G RDMA以太網(wǎng)，使得百度AI集群的訓(xùn)練速度獲得了大幅度的提升，AI訓(xùn)練參數(shù)的同步時(shí)間也進(jìn)一步縮短。

　　作為高性能互連網(wǎng)絡(luò)的核心組件，基于RDMA技術(shù)的Mellanox以太網(wǎng)解決方案在百度HPC集群和高性能存儲(chǔ)集群中也發(fā)揮了關(guān)鍵作用。百度云旗下的塊存儲(chǔ)服務(wù)——云磁盤(pán)(CDS)采用NVMe介質(zhì)，其讀寫(xiě)時(shí)延已低于傳統(tǒng)TCP網(wǎng)絡(luò)的通信時(shí)延，網(wǎng)絡(luò)因此成為了最大的瓶頸。結(jié)合25G RDMA以太網(wǎng)解決方案，百度對(duì)其底層的Baidu RPC(brpc)進(jìn)行了改造。測(cè)試結(jié)果表明，改造后brpc的延遲可降低20% - 60%，QPS(每秒查詢(xún)率)可提升40% - 80%。相應(yīng)的，云磁盤(pán)(CDS)的讀寫(xiě)時(shí)延可降低10%-40%。

　　“無(wú)論是傳統(tǒng)的HPC應(yīng)用還是新興的人工智能平臺(tái)，都離不開(kāi)高性能RDMA網(wǎng)絡(luò)的支持”，Mellanox公司亞太及中國(guó)區(qū)市場(chǎng)開(kāi)發(fā)高級(jí)總監(jiān)劉通表示。“我們很榮幸與百度公司合作，為業(yè)界領(lǐng)先的AI開(kāi)放生態(tài)架構(gòu)提供支持，共同構(gòu)建更高效的網(wǎng)絡(luò)協(xié)議堆棧，推動(dòng)網(wǎng)絡(luò)革新，共同引領(lǐng)100G RDMA以太網(wǎng)大規(guī)模部署，打造AI平臺(tái)的網(wǎng)絡(luò)新引擎。”

　　目前，百度人工智能研究成果已全面應(yīng)用于百度產(chǎn)品，讓數(shù)億網(wǎng)民從中受益；同時(shí)，百度還將語(yǔ)音、圖像、機(jī)器翻譯等難度高、投入大的領(lǐng)先技術(shù)向業(yè)界開(kāi)放，以降低大眾創(chuàng)業(yè)、萬(wàn)眾創(chuàng)新的門(mén)檻，進(jìn)一步釋放創(chuàng)業(yè)創(chuàng)新活力。