在計算機圖形和交互技術(shù)會議SIGGRAPH上,英偉達(dá)CEO黃仁勛一襲黑皮衣,對臺下數(shù)千名觀眾表示,“生成式人工智能時代即將到來,如果你相信的話,那就是人工智能的iPhone時代。”Fs4esmc
這是繼NVIDIA GH200爆火后,英偉達(dá)今年的二度炫技。頗有“產(chǎn)能供應(yīng)不上,就在性能卷死大家”的意思。除了英偉達(dá)外,AMD、英特爾等國內(nèi)外各大廠也在瘋狂趕追這波AI熱潮。Fs4esmc
卷產(chǎn)能,卷性能
業(yè)界消息顯示,全球多數(shù)大模型都在使用英偉達(dá)的GPU芯片,據(jù)TrendForce集邦咨詢研報,預(yù)計AI芯片2023年出貨量將增長46%。英偉達(dá)GPU是AI服務(wù)器市場搭載主流,市占率約60%到70%。Fs4esmc
與當(dāng)前一代產(chǎn)品相比,英偉達(dá)新一代GH200擁有基本相同的“基因”:其 72 核 Arm Neoverse V2 Grace CPU、Hopper GPU 及其 900GB/秒 NVLink-C2C 互連均保持不變。核心區(qū)別是它搭載了全球第一款HBM3e內(nèi)存,將不再配備今年春季型號的 96GB HBM3 vRAM 和 480GB LPDDR5x DRAM,而是搭載500GB的LPDDR5X以及141GB的HBM3e存儲器,實現(xiàn)了5TB/秒的數(shù)據(jù)吞吐量。Fs4esmc
簡單而言,這是世界上第一款配備HBM3e內(nèi)存的芯片,能夠?qū)⑵浔镜谿PU內(nèi)存增加50%。這也是專門對人工智能市場做的“特定升級”,因為頂級生成式AI往往尺寸巨大卻內(nèi)存容量有限。Fs4esmc
Fs4esmc
HBM3 VS HBM3e(圖片來源:英偉達(dá))Fs4esmc
英偉達(dá)表示,HBM3e內(nèi)存技術(shù)帶來了50%的速度提升,總共提供了10TB/秒的組合帶寬。能夠運行比先前版本大3.5倍的模型,并以3倍的內(nèi)存帶寬提高性能。Fs4esmc
根據(jù)TrendForce集邦咨詢最新報告指出,以HBM不同世代需求比重而言,TrendForce集邦咨詢表示,2023年主流需求自HBM2e轉(zhuǎn)往HBM3,需求比重分別預(yù)估約是50%及39%。隨著使用HBM3的加速芯片陸續(xù)放量,2024年市場需求將大幅轉(zhuǎn)往HBM3,而2024年將直接超越HBM2e,比重預(yù)估達(dá)60%,且受惠于其更高的平均銷售單價(ASP),將帶動明年HBM營收顯著成長。Fs4esmc
Fs4esmc
以競爭格局來看,目前SK海力士(SK hynix)HBM3產(chǎn)品領(lǐng)先其他原廠,是NVIDIA Server GPU的主要供應(yīng)商;三星(Samsung)則著重滿足其他云端服務(wù)業(yè)者的訂單,在客戶加單下,今年與SK海力士的市占率差距會大幅縮小,2023~2024年兩家業(yè)者HBM市占率預(yù)估相當(dāng),合計擁HBM市場約95%的市占率,不過因客戶組成略有不同,在不同季度的位元出貨表現(xiàn)上恐或有先后。美光(Micron)今年專注開發(fā)HBM3e產(chǎn)品,相較兩家韓廠大幅擴產(chǎn)的規(guī)劃,預(yù)期今明兩年美光的市占率會受排擠效應(yīng)而略為下滑。Fs4esmc
Fs4esmc
結(jié)合業(yè)界消息,三星電子計劃于今年底開始HBM3生產(chǎn),并計劃投資數(shù)千億韓元,將忠南天安工廠的HBM產(chǎn)能提高一倍。從第四季度開始,三星的HBM3也將供應(yīng)英偉達(dá),當(dāng)前英偉達(dá)高端GPU HBM芯片由SK海力士獨家供應(yīng)Fs4esmc
據(jù)英偉達(dá)官方消息,其最新的GH200產(chǎn)品需要到明年二季度才投產(chǎn),其售價暫未透露。這其中一個重要原因是HBM3e將在明年才會供貨,市場消息顯示,三星和SK海力士預(yù)計將于明年第一季度發(fā)布HBM3E樣品,并于2024年下半年開始量產(chǎn)。美光方面,則選擇跳過HBM3,直接開發(fā)HBM3e。屆時,依靠新款英偉達(dá)芯片,AI大模型有望迎來新一輪的爆發(fā)。Fs4esmc
據(jù)TrendForce集邦咨詢觀察HBM供需變化,2022年供給無虞,2023年受到AI需求突爆式增長導(dǎo)致客戶的預(yù)先加單,即便原廠擴大產(chǎn)能但仍無法完全滿足客戶需求。展望2024年,TrendForce集邦咨詢認(rèn)為,基于各原廠積極擴產(chǎn)的策略,HBM供需比(Sufficiency Ratio)有望獲改善,預(yù)估將從2023年的-2.4%,轉(zhuǎn)為0.6%。Fs4esmc
英偉達(dá)的競爭對手們
AI這個巨大的千億市場,不只是英偉達(dá)一家的游戲,AMD和英特爾也在加速追趕,希望分得一杯羹。Fs4esmc
英特爾在2019年以約20億美元價格收購了人工智能芯片制造商HABANA實驗室,進軍AI芯片市場。今年8月,在英特爾最近的財報電話會議上,英特爾首席執(zhí)行官Pat Gelsinger表示,英特爾正在研發(fā)下一代Falcon Shores AI超算芯片,暫定名為Falcon Shores 2,該芯片預(yù)計將于2026年發(fā)布。Fs4esmc
除了Falcon Shores 2之外,英特爾還推出AI芯片Gaudi2,已經(jīng)開始銷售,而Gaudi3則正在開發(fā)中。業(yè)界認(rèn)為,目前Gaudi2芯片的熱度不及預(yù)期,這主要在于Gaudi2性能難以對英偉達(dá)H100和A100形成有效競爭。Fs4esmc
英特爾研究院副總裁、英特爾中國研究院院長宋繼強近日表示:“在這一波大模型浪潮當(dāng)中,什么樣的硬件更好并沒有定論。”他認(rèn)為,GPU并非大模型唯一的硬件選擇,半導(dǎo)體廠商更重要的戰(zhàn)場在軟件生態(tài)上。芯片可能花兩三年時間就做出來了,但是要打造芯片生態(tài)需要花兩倍甚至三倍的時間。英特爾的開源生態(tài)oneAPI比閉源的英偉達(dá)CUDA發(fā)展可能更快。Fs4esmc
AMD也在加速追趕。今年6月,AMD舉行了新品發(fā)布會,發(fā)布了面向下一代數(shù)據(jù)中心的APU加速卡產(chǎn)品Instinct MI300,直接對標(biāo)H100。這顆芯片將CPU、GPU和內(nèi)存全部封裝為一體,從而大幅縮短了DDR內(nèi)存行程和CPU-GPU PCIe行程,從而大幅提高了其性能和效率。Fs4esmc
Instinct MI300將于2023年下半年上市。AMD稱Instinct MI300可帶來MI250加速卡8倍的AI性能和5倍的每瓦性能提升(基于稀疏性FP8基準(zhǔn)測試),可以將ChatGPT和DALL-E等超大型AI模型的訓(xùn)練時間從幾個月減少到幾周,從而節(jié)省數(shù)百萬美元的電費。Fs4esmc
此外,谷歌、亞馬遜、特斯拉等也都在設(shè)計自己的定制人工智能推理芯片。除了國外大廠,國內(nèi)的芯片企業(yè)也迅速入局,其中,昆侖芯AI加速卡RG800、天數(shù)智芯的天垓100加速卡、燧原科技第二代訓(xùn)練產(chǎn)品云燧T20/T21均表示能夠具有支持大模型訓(xùn)練的能力。Fs4esmc
責(zé)編:Momoz