英偉達(dá)Grace-Hopper提供一個緊密集成的CPU + GPU解決方案

  ICC訊 英偉達(dá)Grace-Hopper提供了一個緊密集成的CPU + GPU解決方案，針對生成式人工智能逐漸成為主導(dǎo)的市場環(huán)境。

  為了提高性能，這家GPU制造商將HBM3e內(nèi)存放入了名為GH200的新型芯片封裝中，該封裝包括一個Grace CPU和一個Hopper GPU。Hopper以前在芯片封裝中使用HBM3存儲器。

  英偉達(dá)將把兩個GH200芯片(每個都有一個72核CPU和一個Hopper GPU)連接到一個更大的芯片集群中，用于擴(kuò)展數(shù)據(jù)中心。

  HBM3e內(nèi)存比HBM3快50%，總帶寬為每秒10TB;CPU基于Neoverse V2設(shè)計(jì)。英偉達(dá)CEO黃仁勛表示:“這些芯片正在生產(chǎn)中，我們將在2023年年底左右進(jìn)行樣品測試。”

  一個封裝中的兩個GH200芯片將具有282GB的HBM3e內(nèi)存，這相比于之前GH100芯片的192GB HBM內(nèi)存是一大改進(jìn)。它還將擁有每秒8千萬億次的人工智能計(jì)算能力，以及每秒10 TB的HBM3e性能。

  該芯片組可以接受任何大型語言模型，“可以瘋狂地進(jìn)行推理”。英偉達(dá)表示，這些芯片可以運(yùn)行3.5倍大的模型，并通過更快的內(nèi)存帶寬獲得性能提升。

  該公司打算將256個GH200 GPU配置到一個名為Grace Hopper的超級計(jì)算機(jī)系統(tǒng)中，該系統(tǒng)將提供1百億億次的人工智能性能。黃仁勛將該系統(tǒng)稱為“世界上最大的單一GPU”，所有256個GH200協(xié)同工作。

  目前所有的大型學(xué)習(xí)模型都是在Grace Hopper超級計(jì)算機(jī)這樣的系統(tǒng)上訓(xùn)練的。黃仁勛說，未來隨著人工智能在設(shè)備之間的分布越來越廣，每個應(yīng)用程序都將使用一個大型語言模型。隨著越來越多的公司探索人工智能來提高運(yùn)營效率，HopperGPU現(xiàn)在很受歡迎。該公司承認(rèn)GPU供應(yīng)短缺。

  黃仁勛還描繪了如何分解其GPU路線圖以滿足分布式模型。Grace Hopper超級計(jì)算機(jī)位于頂部，然后可以將其分配到具有不同要求的服務(wù)器和桌面GPU上的不同GPU上。