HOpesmc

今天英偉達(dá)舉辦了GTC圖形技術(shù)大會(huì)，在本次大會(huì)上，英偉達(dá)大力介紹了在AI領(lǐng)域所取得的重大成就，官方不但發(fā)了萬(wàn)眾矚目的 Hopper 架構(gòu) H100 加速卡，還推出了專為 AI 及超算設(shè)計(jì)的 CPU 處理器 Grace、AI 計(jì)算系統(tǒng) "DGX H100"。HOpesmc

 HOpesmc

HOpesmc

 HOpesmc

 800 億個(gè)晶體管的Hopper H100

 HOpesmc

在2022 GTC大會(huì)上，英偉達(dá)宣布推出采用 Hopper 架構(gòu)的新一代加速計(jì)算平臺(tái)，這一全新架構(gòu)以美國(guó)計(jì)算機(jī)領(lǐng)域的先驅(qū)科學(xué)家 Grace Hopper 的名字命名，將取代兩年前推出的 NVIDIA Ampere 架構(gòu)。HOpesmc

 HOpesmc

同時(shí)，英偉達(dá)發(fā)布了其首款基于Hopper架構(gòu)的GPU—英偉達(dá)H100。HOpesmc

 HOpesmc

HOpesmc

英偉達(dá)創(chuàng)始人兼CEO黃仁勛表示，“數(shù)據(jù)中心正在轉(zhuǎn)變成‘AI工廠’，它們處理大量數(shù)據(jù)，以實(shí)現(xiàn)智能。NVIDIA H100是全球AI基礎(chǔ)設(shè)施的引擎，讓企業(yè)能夠利用其實(shí)現(xiàn)自身AI業(yè)務(wù)的加速。”HOpesmc

 HOpesmc

英偉達(dá)H100 集成了 800 億個(gè)晶體管，采用臺(tái)積電 N4 工藝，是全球范圍內(nèi)最大的加速器。HOpesmc

 HOpesmc

擁有新的Transformer引擎 —— Transformer 現(xiàn)在已成為自然語(yǔ)言處理的標(biāo)準(zhǔn)模型方案，也是深度學(xué)習(xí)模型領(lǐng)域最重要的模型之一。H100 加速器的 Transformer 引擎旨在不影響精度的情況下，將這些網(wǎng)絡(luò)的速度提升至上一代的六倍?？赏苿?dòng)龐大的 AI 語(yǔ)言模型、深度推薦系統(tǒng)、基因組學(xué)和復(fù)雜數(shù)字孿生的發(fā)展。HOpesmc

 HOpesmc

高度可擴(kuò)展的 NVLink 互連技術(shù)，最多可連接達(dá) 256 個(gè) H100 GPU，相較于上一代采用 HDR Quantum InfiniBand 網(wǎng)絡(luò)，帶寬高出 9 倍，帶寬速度為 900GB/s。HOpesmc

 HOpesmc

H100支持的第四代NVLink接口可以提供高達(dá)128GB/s的帶寬，是A100的1.5倍；而在PCIe 5.0下也可以達(dá)到128GB/s的速度，是PCIe 4.0的2倍。HOpesmc

 HOpesmc

內(nèi)存方面，H100 還將默認(rèn)支持 80GB 的 HBM3 內(nèi)存，帶寬為 3 TB/s，比 A100 的 HBM2E 快 1.5 倍。HOpesmc

 HOpesmc

性能方面，H100 可提供高達(dá)FP64/FP32 60TFlops(每秒60萬(wàn)億次)，F(xiàn)P16 2000TFlops(每秒2000萬(wàn)億次)，TF32 1000TFlops(每秒1000萬(wàn)億次)，都三倍于A100，F(xiàn)P8 4000TFlops(每秒4000萬(wàn)億次)，六倍于A100。為了幫助優(yōu)化性能，英偉達(dá)還擁有一個(gè)新的轉(zhuǎn)換器引擎，它將根據(jù)工作負(fù)載在 FP8 和 FP16 格式之間自動(dòng)切換。HOpesmc

 HOpesmc

DPX 指令，與基于英偉達(dá)Ampere 架構(gòu)的 GPU 相比，DPX 指令在英偉達(dá)H100 GPU 上將動(dòng)態(tài)編程算法的速度提高了 7 倍，比基于 CPU 的算法快 40 倍。在具有四個(gè)英偉達(dá)H100 GPU 的節(jié)點(diǎn)中，該加速可以進(jìn)一步提升。HOpesmc

 HOpesmc

作為英偉達(dá)H100 GPU中內(nèi)置的指令集，DPX 將幫助開發(fā)人員編寫代碼以在多個(gè)行業(yè)中實(shí)現(xiàn)動(dòng)態(tài)編程算法的加速，從而促進(jìn)疾病診斷、量子模擬、圖形分析和路由優(yōu)化的工作流程。HOpesmc

 HOpesmc

在AI訓(xùn)練中，H100可以提供高達(dá)9倍的吞吐量。以Megatron 530B為基準(zhǔn)，則可以提供16倍至30倍的推理性能。在3D FFT（快速傅里葉變換）和基因組測(cè)序等HPC應(yīng)用中，則可提升6-7倍。HOpesmc

 HOpesmc

Hopper 還包括提高安全性的更改，多實(shí)例 GPU (MIG) 現(xiàn)在允許在單個(gè) H100 GPU 上運(yùn)行七個(gè)安全租戶。HOpesmc

 HOpesmc

 DGX H100 服務(wù)器

 HOpesmc

英偉達(dá)H100 GPU只是英偉達(dá)要介紹的一部分，與 A100一樣，Hopper 最初將作為新的 DGX H100 機(jī)架式服務(wù)器提供。HOpesmc

 HOpesmc

DGX H100 系統(tǒng)是新一代英偉達(dá)DGX POD 和英偉達(dá)DGX SuperPOD AI 基礎(chǔ)設(shè)施平臺(tái)的構(gòu)建模塊。配備 8 塊 H100 GPU，以全新的 FP8 精度提供 32 Petaflop 的 AI 性能，并支持?jǐn)U展，能夠滿足大型語(yǔ)言模型、推薦系統(tǒng)、醫(yī)療健康研究和氣候科學(xué)的海量計(jì)算需求。HOpesmc

新的 DGX SuperPOD 架構(gòu)采用了一個(gè)全新的英偉達(dá)NVLink Switch 系統(tǒng)，通過(guò)這一系統(tǒng)最多可連接32個(gè)節(jié)點(diǎn)，總計(jì)256塊 H100 GPU。HOpesmc

 HOpesmc

從第三季度起，英偉達(dá)的全球合作伙伴將開始供應(yīng)英偉達(dá)DGX H100 系統(tǒng)、DGX POD 和 DGX SuperPOD。HOpesmc

 HOpesmc

 超級(jí)AI計(jì)算機(jī) NVIDIA EOS

 HOpesmc

此外，英偉達(dá)還宣布推出全球運(yùn)行速度最快的 AI 超級(jí)計(jì)算機(jī) ——英偉達(dá)Eos。HOpesmc

 HOpesmc

Eos 將由18個(gè)DGX POD、576臺(tái)DGX H100系統(tǒng)，共計(jì)4608塊DGX H100 GPU構(gòu)建而成。英偉達(dá)Eos 預(yù)計(jì)將提供 18.4 Exaflops 的 AI 計(jì)算性能，比日本的 Fugaku 超級(jí)計(jì)算機(jī)快4倍，后者是目前運(yùn)行速度最快的系統(tǒng)。HOpesmc

 HOpesmc

在傳統(tǒng)的科學(xué)計(jì)算方面，Eos 預(yù)計(jì)將提供 275 Petaflop 的性能。HOpesmc

 HOpesmc

 Grace CPU

 HOpesmc

英偉達(dá)在去年公布了首款數(shù)據(jù)中心處理器“Grace”，不過(guò)當(dāng)時(shí)除了知道它會(huì)以 ARM 為核心，并使用英偉達(dá)自家的 NVLink 技術(shù)外，英偉達(dá)并沒有公布太多的細(xì)節(jié)。在 2022 年的 GTC 上，CEO 黃仁勛終于公開了更多 Grace 的內(nèi)容，包括以其為基礎(chǔ)的 Grace CPU 超級(jí)芯片（Superchip）。HOpesmc

 HOpesmc

HOpesmc

它基于 Grace Hopper CPU+GPU 設(shè)計(jì)，只不過(guò)把顯卡換成了CPU。這與蘋果近期公布的 M1 Ultra思路相近。HOpesmc

 HOpesmc

從架構(gòu)上來(lái)看，Grace CPU Superchip 使用 Arm v9并且該芯片使用 Neoverse N2 設(shè)計(jì)。Neoverse N2 平臺(tái)是 Arm 首個(gè)支持新發(fā)布的 Arm v9 擴(kuò)展的IP，其性能比 V1 平臺(tái)高出 40%。N2 Perseus 平臺(tái)采用 5nm 設(shè)計(jì)，支持 PCIe Gen 5.0、DDR5、HBM3、CCIX 2.0 和 CXL 2.0。Perseus 設(shè)計(jì)針對(duì)每功率性能（瓦特）和每面積性能進(jìn)行了優(yōu)化。HOpesmc

 HOpesmc

而功率消耗上看，Grace CPU Superchip 的兩個(gè) CPU 和板載內(nèi)存都消耗 500W 的峰值功率。相對(duì)于其他領(lǐng)先的CPU，例如 AMD 的 EPYC（霄龍），每個(gè)芯片的最高功率為 280W（這不包括內(nèi)存功耗）。英偉達(dá)表示Grace CPU 在市場(chǎng)上的效率將是競(jìng)爭(zhēng) CPU 的兩倍。HOpesmc

 HOpesmc

兩個(gè)Grace CPU封裝的，總計(jì)144個(gè)CPU內(nèi)核（基于ARMv9指令集），緩存容量396MB，支持LPDDR5X ECC內(nèi)存，帶寬高達(dá)1TB/s。HOpesmc

 HOpesmc

內(nèi)存方面，Grace CPU Superchip 內(nèi)存子系統(tǒng)提供高達(dá) 1TB/s 的帶寬，英偉達(dá)稱這是 CPU 的首創(chuàng)，是支持 DDR5 內(nèi)存的其他數(shù)據(jù)中心處理器的兩倍多。LPDDR5X 共有 16 個(gè)封裝，可提供 1TB 容量。此外，英偉達(dá)指出，Grace 使用了 LPDDR5X 的第一個(gè) ECC 實(shí)現(xiàn)。HOpesmc

 HOpesmc

在模擬測(cè)試中的表現(xiàn)也極為出色，Grace CPU Superchip的SPECint 2017得分為740分，而AMD當(dāng)前一代的 EPYC Milan 芯片其 SPEC 結(jié)果從 382 到 424 不等。HOpesmc

 HOpesmc

英偉達(dá)表示，Grace CPU Superchip芯片會(huì)在2023年上市。HOpesmc

 HOpesmc

 NVLink-C2C

 HOpesmc

兩個(gè) Grace CPU 通過(guò)英偉達(dá)新的 NVLink 芯片到芯片 (C2C) 接口進(jìn)行通信。這種“裸晶到裸晶”和“芯片到芯片”的互連支持低延遲內(nèi)存一致性，允許連接的設(shè)備同時(shí)在同一個(gè)內(nèi)存池上工作。HOpesmc

 HOpesmc

與英偉達(dá)目前使用的 PCIe 5.0 PHY 相比，NVLink-C2C 可以提供高達(dá) 25 倍的能效和 90 倍的面積效率，支持高達(dá) 900 GB/s 或更高的吞吐量。NVLink-C2C接口還支持 CXL 和 Arm 的 AMBA 相干集線器接口 (CHI) 等行業(yè)標(biāo)準(zhǔn)協(xié)議。它還支持多種類型的連接，從基于 PCB 的互連到硅中介層和晶圓級(jí)實(shí)現(xiàn)。HOpesmc

 HOpesmc

HOpesmc

如上圖所示，Grace Hopper Superchip 和 Grace CPU Superchip 系統(tǒng)還可以與多達(dá) 8 個(gè) Hopper GPU 組合成多種不同的配置。這些設(shè)計(jì)使用英偉達(dá)的 ConnectX-7 SmartNIC (CX7)，通過(guò)其內(nèi)置的 PCIe 5.0 交換機(jī)實(shí)現(xiàn) NVLink 通信，從而支持更廣泛的系統(tǒng)到系統(tǒng)應(yīng)用程序。HOpesmc

 HOpesmc

NVLink-C2C 現(xiàn)在將覆蓋英偉達(dá)的所有芯片，包括 GPU、CPU、SOC、NIC 和 DPU。英偉達(dá)還表示，它正在開放規(guī)范以允許其他公司在其小芯片設(shè)計(jì)中使用 NVLink。這為客戶提供了使用 UCIe 接口或 NVLink 的選項(xiàng)，盡管英偉達(dá)聲稱 NVLink-C2C 已針對(duì)比 UCIe 更低的延遲、更高的帶寬和更高的能效進(jìn)行了優(yōu)化。HOpesmc

 HOpesmc

此外，英偉達(dá)還宣布將支持新的UCIe小芯片互連標(biāo)準(zhǔn)得到其他行業(yè)巨頭的支持，如英特爾、AMD、Arm、臺(tái)積電和三星。這種標(biāo)準(zhǔn)化的芯片到芯片互連旨在通過(guò)開源設(shè)計(jì)提供小芯片之間的通信，從而降低成本并培育更廣泛的經(jīng)過(guò)驗(yàn)證的小芯片生態(tài)系統(tǒng)。HOpesmc

 HOpesmc

UCIe 標(biāo)準(zhǔn)旨在與其他連接標(biāo)準(zhǔn)（如 USB、PCIe 和 NVMe）一樣越來(lái)越普遍，同時(shí)為小芯片連接提供卓越的功率和性能指標(biāo)。英偉達(dá)對(duì)這一新舉措的支持意味著我們理論上可以看到英偉達(dá) CPU 芯片與未來(lái)的競(jìng)爭(zhēng)芯片設(shè)計(jì)放在同一個(gè)封裝中。HOpesmc