H200輸出速度約H100的兩倍

據(jù)介紹，NVIDIA H200是基于NVIDIA Hopper™架構(gòu)，配備具有高級(jí)內(nèi)存的NVIDIA H200 Tensor Core GPU，可處理海量數(shù)據(jù)，用于生成式AI和高性能計(jì)算工作負(fù)載。On8esmc

與H100相比，NVIDIA H200對(duì)Llama2模型的推理速度幾乎翻倍。據(jù)悉，基于Meta的Llama 2大模型的測(cè)試表明，H200的輸出速度大約是H100的兩倍。On8esmc

英偉達(dá)表示，H200還能與已支援H100的系統(tǒng)相容。也就是說，已經(jīng)使用先前模型進(jìn)行訓(xùn)練的AI公司將無需更改其服務(wù)器系統(tǒng)或軟件即可使用新版本。英偉達(dá)服務(wù)器制造伙伴包括永擎、華碩、戴爾、Eviden、技嘉、HPE、鴻佰、聯(lián)想、云達(dá)、美超微、緯創(chuàng)資通以及緯穎科技，均可以使用H200更新現(xiàn)有系統(tǒng)，而亞馬遜、Google、微軟、甲骨文等將成為首批采用H200的云端服務(wù)商。On8esmc

不過，英偉達(dá)暫時(shí)并未透露該產(chǎn)品價(jià)格。據(jù)國(guó)外媒體《CNBC》報(bào)道，英偉達(dá)上一代H100價(jià)格估計(jì)為每個(gè)2.5萬美元至4萬美元。英偉達(dá)發(fā)言人Kristin Uchiyama透露稱，最終定價(jià)將由NVIDIA制造伙伴制定。On8esmc

隨著ChatGPT等推動(dòng)AI應(yīng)用發(fā)展，NVIDIA芯片被視為高效處理大量資料和訓(xùn)練大型語言模型的關(guān)鍵芯片，當(dāng)下市場(chǎng)供不應(yīng)求，產(chǎn)量問題成為業(yè)界關(guān)注的重點(diǎn)。On8esmc

據(jù)《金融時(shí)報(bào)》8月報(bào)道指出，NVIDIA計(jì)劃在2024年將H100產(chǎn)量成長(zhǎng)三倍，產(chǎn)量目標(biāo)將從2023年約50萬個(gè)增加至2024年200萬個(gè)。On8esmc

關(guān)于H200的推出是否會(huì)影響上一代H100的生產(chǎn)，Kristin Uchiyama指出，未來全年的整體供應(yīng)量還將有所增加。On8esmc

HBM3e/HBM3時(shí)代將至

值得一提的是，此次英偉達(dá)發(fā)布的H200是首次采用HBM3e存儲(chǔ)器規(guī)格，使GPU存儲(chǔ)器帶寬從H100的每秒3.35TB提高至4.8TB，提高1.4倍，存儲(chǔ)器總?cè)萘恳矎腍100的80GB提高至141GB，容量提高1.8倍。On8esmc

此外，據(jù)媒體引述業(yè)內(nèi)人士稱，三星電子計(jì)劃從明年1月開始向英偉達(dá)供應(yīng)高帶寬內(nèi)存HBM3，HBM3將被應(yīng)用在英偉達(dá)的圖形處理單元（GPU）上。On8esmc

“整合更快、更廣泛的HBM存儲(chǔ)器有助于對(duì)運(yùn)算要求較高的任務(wù)提升性能，包括生成式AI模型和高性能運(yùn)算應(yīng)用程式，同時(shí)優(yōu)化GPU使用率和效率”英偉達(dá)高性能運(yùn)算產(chǎn)品副總裁Ian Buck表示。On8esmc

近年來，AI服務(wù)器需求熱潮帶動(dòng)了AI加速芯片需求，其中高頻寬存儲(chǔ)器——HBM，成為加速芯片上的關(guān)鍵性DRAM產(chǎn)品。以規(guī)格而言，據(jù)TrendForce集邦咨詢研究指出，當(dāng)前HBM市場(chǎng)主流為HBM2e，包含NVIDIA A100/A800、AMD MI200以及多數(shù)CSPs自研加速芯片皆以此規(guī)格設(shè)計(jì)。同時(shí)，為順應(yīng)AI加速器芯片需求演進(jìn)，各原廠計(jì)劃于2024年推出新產(chǎn)品HBM3e，預(yù)期HBM3與HBM3e將成為明年市場(chǎng)主流。On8esmc

近期，三星、美光等存儲(chǔ)大廠正在不斷加快擴(kuò)產(chǎn)步伐。據(jù)此前媒體報(bào)道，為了擴(kuò)大HBM產(chǎn)能，三星已收購三星顯示（Samsung Display）韓國(guó)天安廠區(qū)內(nèi)部分建筑及設(shè)備，用于HBM生產(chǎn)。三星計(jì)劃在天安廠建立一條新封裝線，用于大規(guī)模生產(chǎn)HBM，該公司已花費(fèi)105億韓元購買上述建筑和設(shè)備等，預(yù)計(jì)追加投資7000億-1萬億韓元。 On8esmc

而美光科技位于臺(tái)灣地區(qū)的臺(tái)中四廠于11月初正式啟用。美光表示，臺(tái)中四廠將整合先進(jìn)探測(cè)與封裝測(cè)試功能，量產(chǎn)HBM3E及其他產(chǎn)品，從而滿足人工智能、數(shù)據(jù)中心、邊緣計(jì)算及云端等各類應(yīng)用日益增長(zhǎng)的需求。該公司計(jì)劃于2024年初開始大量出貨HBM3E。On8esmc

從HBM不同世代需求比重來看，據(jù)TrendForce集邦咨詢表示，2023年主流需求自HBM2e轉(zhuǎn)往HBM3，需求比重分別預(yù)估約是50%及39%。隨著使用HBM3的加速芯片陸續(xù)放量，2024年市場(chǎng)需求將大幅轉(zhuǎn)往HBM3，而2024年將直接超越HBM2e，比重預(yù)估達(dá)60%，且受惠于其更高的平均銷售單價(jià)（ASP），將帶動(dòng)明年HBM營(yíng)收顯著成長(zhǎng)。On8esmc

On8esmc

TrendForce集邦咨詢此前預(yù)估，由于HBM3平均銷售單價(jià)遠(yuǎn)高于HBM2e與HBM2，故將助力原廠HBM領(lǐng)域營(yíng)收，可望進(jìn)一步帶動(dòng)2024年整體HBM營(yíng)收至89億美元，年增127%。On8esmc