英偉達(dá)Grace-Hopper提供一個(gè)緊密集成的CPU + GPU解決方案

  ICC訊 英偉達(dá)Grace-Hopper提供了一個(gè)緊密集成的CPU + GPU解決方案，針對(duì)生成式人工智能逐漸成為主導(dǎo)的市場環(huán)境。

  為了提高性能，這家GPU制造商將HBM3e內(nèi)存放入了名為GH200的新型芯片封裝中，該封裝包括一個(gè)Grace CPU和一個(gè)Hopper GPU。Hopper以前在芯片封裝中使用HBM3存儲(chǔ)器。

  英偉達(dá)將把兩個(gè)GH200芯片(每個(gè)都有一個(gè)72核CPU和一個(gè)Hopper GPU)連接到一個(gè)更大的芯片集群中，用于擴(kuò)展數(shù)據(jù)中心。

  HBM3e內(nèi)存比HBM3快50%，總帶寬為每秒10TB;CPU基于Neoverse V2設(shè)計(jì)。英偉達(dá)CEO黃仁勛表示:“這些芯片正在生產(chǎn)中，我們將在2023年年底左右進(jìn)行樣品測試?！?

  一個(gè)封裝中的兩個(gè)GH200芯片將具有282GB的HBM3e內(nèi)存，這相比于之前GH100芯片的192GB HBM內(nèi)存是一大改進(jìn)。它還將擁有每秒8千萬億次的人工智能計(jì)算能力，以及每秒10 TB的HBM3e性能。

  該芯片組可以接受任何大型語言模型，“可以瘋狂地進(jìn)行推理”。英偉達(dá)表示，這些芯片可以運(yùn)行3.5倍大的模型，并通過更快的內(nèi)存帶寬獲得性能提升。

  該公司打算將256個(gè)GH200 GPU配置到一個(gè)名為Grace Hopper的超級(jí)計(jì)算機(jī)系統(tǒng)中，該系統(tǒng)將提供1百億億次的人工智能性能。黃仁勛將該系統(tǒng)稱為“世界上最大的單一GPU”，所有256個(gè)GH200協(xié)同工作。

  目前所有的大型學(xué)習(xí)模型都是在Grace Hopper超級(jí)計(jì)算機(jī)這樣的系統(tǒng)上訓(xùn)練的。黃仁勛說，未來隨著人工智能在設(shè)備之間的分布越來越廣，每個(gè)應(yīng)用程序都將使用一個(gè)大型語言模型。隨著越來越多的公司探索人工智能來提高運(yùn)營效率，HopperGPU現(xiàn)在很受歡迎。該公司承認(rèn)GPU供應(yīng)短缺。

  黃仁勛還描繪了如何分解其GPU路線圖以滿足分布式模型。Grace Hopper超級(jí)計(jì)算機(jī)位于頂部，然后可以將其分配到具有不同要求的服務(wù)器和桌面GPU上的不同GPU上。