英偉達AI芯片上新 傳遞兩大信號

  ICC訊 美國當?shù)貢r間11月13日，在2023年全球超算大會（SC23）上，英偉達推出了新一代GPU H200。當日，英偉達的股價在截至收盤時間增長0.6%，為486.2美元，數(shù)據(jù)顯示，英偉達創(chuàng)下了近7年來最長的連漲記錄。這一次，英偉達將AI芯片的發(fā)展方向引向了存儲和推理能力。

  英偉達的新品，與早些時候英特爾和AMD透露的AI芯片發(fā)布計劃呼應(yīng)，AI芯片從以算力為中心的競爭向更加多樣化發(fā)展。

  AI芯片競爭焦點轉(zhuǎn)向存儲？

  相比于前代H100，H200的性能提升了60%-90%，但是單看算力這一指標，H200的算力與H100基本相同，對比兩者的產(chǎn)品規(guī)格表可以發(fā)現(xiàn)，實現(xiàn)算力不變而性能飛躍的關(guān)鍵點就是內(nèi)存。

H100與H200規(guī)格對比

  英偉達在發(fā)布H200時表示，該產(chǎn)品是全球首款搭載HBM3e的GPU，而H100中使用的仍是HBM3。據(jù)了解，HBM3e能夠為H200提供傳輸速度達4.8TB/秒的141GB顯存。與前代產(chǎn)品、常被其他競爭者視作“計量單位”的A100 相比，其容量也翻了近乎一倍，帶寬增加了2.4 倍。

AMD將發(fā)布MI300X

  事實上，英偉達在AI芯片方面的挑戰(zhàn)者AMD在幾個月前就強調(diào)了AI芯片存儲容量的重要性。AMD CEO蘇姿豐表示，AMD即將于今年12月推出的純GPU產(chǎn)品Instinct MI300X使用具備192GB顯存的HBM3，帶寬為5.2GB/秒。值得注意的是，AMD產(chǎn)品具備8個HBM3顯存堆棧，而英偉達產(chǎn)品僅有6個。同時，AMD首個AI加速器產(chǎn)品MI300A也擁有多達13顆小芯片，共包含1460億個晶體管，配置128GB的HBM3內(nèi)存，相比前代的MI250，MI300A的性能提高8倍，效率提高5倍。

  在英特爾方面，英特爾CEO帕特·基辛格曾在9月舉行的英特爾on技術(shù)創(chuàng)新峰會上公布了英特爾AI芯片的路線圖：到2024年，英特爾將推出采用5nm制程的Gaudi3，再下一代AI芯片代號則為Falcon Shores。Gaudi2于2022年推出，從產(chǎn)品規(guī)格來看，Gaudi2所使用的是6個HBM2堆棧共96GB。英特爾表示，Guadi3的算力將是前代產(chǎn)品Gaudi2的兩倍，網(wǎng)絡(luò)帶寬、HBM容量是Gaudi2的1.5倍。

英特爾Gaudi2規(guī)格

  可以看出， 在各芯片企業(yè)的推動下，AI芯片的競逐正從初期的算力指標競爭，進一步延展到存儲領(lǐng)域，HBM（高帶寬存儲）幾乎成為了未來AI芯片當中必備且必爭的存儲器。英偉達超大規(guī)模和高性能計算副總裁Ian Buck表示：“想要通過生成式AI和HPC應(yīng)用創(chuàng)造智能，就必須使用大型、快速的GPU顯存來高速、高效地處理海量數(shù)據(jù)?！?

  半導(dǎo)體行業(yè)專家盛陵海告訴《中國電子報》記者：“從技術(shù)角度來講，存儲性能是提高AI訓(xùn)練能力的瓶頸，如果存儲能力跟不上算力，整個模型的訓(xùn)練便難以高效運行；從企業(yè)角度來講，發(fā)展存儲性能也是性價比相對較高的方式之一?！睋?jù)了解，當前最高規(guī)格高帶寬存儲器的HBM3e主要由SK海力士、三星以及美光提供。

  AI芯片性能提升貴在推理？

  大模型訓(xùn)練和推理的效率與效果是衡量GPU性能的重要指標，各大廠商也圍繞著大模型訓(xùn)練與推理不斷提升自身實力。

H200與H100的推理性能對比

  H200的性能提升數(shù)據(jù)著重體現(xiàn)在模型推理上面。英偉達表示，H200在700億參數(shù)的大語言模型Llama2上的推理速度比H100提高了近一倍，功耗也會降低50%。同時，英偉達H200和H100由于都基于Hopper架構(gòu)，互相之間具備強兼容性，可實現(xiàn)一定程度上的替換，同時英偉達透露，下一代采用全新架構(gòu)的GPU B100也將于2024年推出，進一步強化訓(xùn)練和推理的性能。

  面向訓(xùn)練需求，半導(dǎo)體廠商推出了多塊芯片互連的解決方案，用以支持更大參數(shù)的模型訓(xùn)練。英特爾的GAUDI 2 HLBA-225支持8塊Guadi2共同運行；AMD推出Instinct平臺同樣搭載8塊MI300X，被蘇姿豐稱作是“人工智能推理和訓(xùn)練的終極解決方案”；英偉達依靠自身NVLink和NV Switch的高速互連技術(shù)，推出了HGXH200的服務(wù)器主板。英偉達稱，客戶可選擇搭載4塊或8塊H200，配合Grace Hopper芯片可為各種應(yīng)用工作負載提供最高的性能，包括針對1750億參數(shù)以上超大模型的LLM訓(xùn)練和推理。

  “從訓(xùn)練來看，雖有目前常說的‘百模大戰(zhàn)’，但是其參數(shù)量和精度等還需要進一步優(yōu)化，同時，專業(yè)大模型的成熟度也不比通用大模型，故而當前的主要訴求仍在大模型訓(xùn)練上。”盛陵海說，“而同時，未來的推理需求則逐步增加，因為人工智能的應(yīng)用落地，最終還是要看推理能力。”