對應(yīng)英偉達(dá)、AMD的GPU自然就變得相當(dāng)緊俏了，緊俏到國內(nèi)H800、A800價(jià)格開始飆升——當(dāng)然和美國可能再度收緊技術(shù)控制的消息面有關(guān)；緊俏到連OpenAI都說近期GPU用量成為發(fā)展瓶頸；甚至緊俏到國外已經(jīng)有AI技術(shù)公司開始買游戲顯卡來獲得算力；緊俏到國外媒體擔(dān)憂這會(huì)不會(huì)引發(fā)新一波的游戲顯卡漲價(jià)熱潮...SgHesmc

據(jù)說英偉達(dá)H100到明年Q1之前，都將處于售罄狀態(tài)，只不過英偉達(dá)已經(jīng)打算開足馬力提高供貨能力了：每季度H100新增40萬張出貨量。這么一說，市場還真可謂東邊太陽西邊雨啊——同為尖端制造工藝，手機(jī)、PC市場又是何等模樣。但大概也正是手機(jī)、PC當(dāng)前的寥落，才讓英偉達(dá)有機(jī)會(huì)在H100這樣的HPC大芯片立馬增加供貨。SgHesmc

SgHesmc

此前我們就報(bào)道過，受到行業(yè)下行期持續(xù)，及消費(fèi)電子市場頹勢的影響，臺(tái)積電N5工藝的產(chǎn)能利用率已經(jīng)跌到了70%以下。和N5同代的4nm工藝，包括英偉達(dá)Hopper架構(gòu)GPU所用的4N工藝，也在其中。這其實(shí)也某種程度緩解了了AI大芯片供不上貨的尷尬。但問題是，作為一顆完整的芯片，乃至完整的加速卡，像H100這樣的緊俏貨，供應(yīng)鏈的瓶頸可能并不在前道fab制造部分。SgHesmc

SemiAnalysis最近撰文推測了當(dāng)前數(shù)據(jù)中心顯卡供不應(yīng)求的瓶頸所在，結(jié)合他們的分析，我們來談?wù)勥@條供應(yīng)鏈的現(xiàn)狀。SgHesmc

HBM內(nèi)存與先進(jìn)封裝

先談一個(gè)基礎(chǔ)事實(shí)，對于數(shù)據(jù)中心GPU而言，顯卡或加速卡中間的那顆芯片——封裝在一起的除了中央主要做計(jì)算的die——也就是GPU最精華的部分，這顆die的四周通常還圍繞著存儲(chǔ)die，也就是顯卡的內(nèi)存部分。SgHesmc

對大部分圖形顯卡來說，內(nèi)存更多會(huì)選用GDDR，GDDR顆粒其實(shí)不會(huì)和計(jì)算die封裝在同一顆芯片上——比如以英偉達(dá)GeForce RTX 4090顯卡為例，能很明確看到中央GPU芯片周圍圍繞的GDDR內(nèi)存，和GPU die離得還比較遠(yuǎn)。SgHesmc

但數(shù)據(jù)中心HPC/AI顯卡的帶寬需求明顯增大——尤其大模型上馬以后，這類GPU就會(huì)采用規(guī)格更高的HBM（High Bandwidth Memory）內(nèi)存。HBM通過先進(jìn)封裝的方式，與計(jì)算die封裝在一顆芯片上，比如下圖這樣（注意彩色die周圍的那6顆黑色HBM）。SgHesmc

SgHesmc

前兩年我們還特別撰文探討過HBM——這種內(nèi)存最早是AMD應(yīng)用到GPU上，但很顯然現(xiàn)在主要的用量都在英偉達(dá)這邊。AMD早在游戲顯卡上就嘗試過HBM，而英偉達(dá)則是在2016年的Tesla架構(gòu)數(shù)據(jù)中心GPU上開始采用HBM內(nèi)存。HBM本身是一種將DRAM die在垂直方向疊起來的高帶寬內(nèi)存，現(xiàn)在常見的HBM會(huì)疊8層；最新的一批加速卡可能會(huì)疊至多12層die，比如AMD的MI300X。SgHesmc

HBM通過大量增加pin數(shù)達(dá)成了1024bit位寬，相比內(nèi)存中比較常見的DDR提升了16倍，帶寬自然不在一個(gè)量級(jí)——現(xiàn)在最先進(jìn)的HBM3標(biāo)稱的帶寬甚至已經(jīng)達(dá)到了1075GB/s，I/O速度8.4Gbps；與此同時(shí)每bit數(shù)據(jù)傳輸消耗能量顯著低于DDR規(guī)格，這和數(shù)據(jù)通路長度也有一定關(guān)系——也就涉及到HBM常規(guī)的封裝方式了。SgHesmc

SgHesmc

HBM內(nèi)存通過2.5D封裝的方式，和GPU計(jì)算die放在同一顆芯片上。有關(guān)2.5D封裝，此前好些文章都詳細(xì)談過了。一般當(dāng)代數(shù)據(jù)中心GPU，除了底下的封裝基板之外，會(huì)有一層硅中介（silicon interposer），HBM die和GPU的計(jì)算die都放在硅中介上面，然后兩片die通過硅中介來達(dá)成互聯(lián)。這是現(xiàn)在用HBM內(nèi)存的GPU一般都會(huì)選擇的先進(jìn)封裝方式。SgHesmc

如前文所述，GPU的計(jì)算die所需的fab前道尖端制造工藝，因?yàn)槭謾C(jī)、PC空余了不少產(chǎn)能，所以邏輯計(jì)算die的制造并不會(huì)成為產(chǎn)能瓶頸，那么瓶頸會(huì)不會(huì)在HBM內(nèi)存上呢？SgHesmc

現(xiàn)在造HBM顆粒的主要市場玩家有三個(gè)，分別是SK海力士（SK Hynix）、三星、美光。SemiAnalysis提到，SK海力士是這一市場的最大贏家——這家公司2022年6月開始生產(chǎn)HBM3，是目前唯一能夠量產(chǎn)HBM3的企業(yè)，超過95%的市場份額——也是絕大部分英偉達(dá)H100產(chǎn)品的HBM內(nèi)存供應(yīng)來源。AMD MI300X和接下來的英偉達(dá)H100 refresh都會(huì)用SK海力士的12層24GB HBM3內(nèi)存。SgHesmc

三星此前發(fā)布消息稱，其HBM3內(nèi)存產(chǎn)品會(huì)在2023年下半年出貨。雖然三星在HBM產(chǎn)品上的步伐走得明顯不如SK海力士那么快，但三星在這一市場的投入也相當(dāng)巨大，要從SK海力士的手中搶奪市場的信心也相當(dāng)充足。另外，三星路線圖顯示，他們還準(zhǔn)備在HBM4之上就邏輯外圍引入FinFET結(jié)構(gòu)器件，這也是其相較另外兩家對手的優(yōu)勢項(xiàng)。SgHesmc

美光相比另外兩家，步子走得明顯比較慢。主要原因是美光前期在HMC技術(shù)上投入不少，這原本是HBM的有力競爭技術(shù)，無奈受制于生態(tài)和某些技術(shù)問題，HBM最終成為毫無疑問的行業(yè)標(biāo)準(zhǔn)。美光轉(zhuǎn)向HBM之時(shí)，就已經(jīng)落后于SK海力士和三星了。SemiAnalysis消息稱，美光目前仍然卡在HBM2E上。但美光在最近的財(cái)報(bào)電話會(huì)議上說2024年就會(huì)在HBM3E技術(shù)上實(shí)現(xiàn)領(lǐng)先，并且Q3、Q4就為英偉達(dá)的下一代GPU提供HBM3E內(nèi)存。SgHesmc

看起來HBM并不是這波數(shù)據(jù)中心顯卡供貨的瓶頸。SgHesmc

先進(jìn)封裝可能是真正的供貨瓶頸

如果說HBM內(nèi)存顆粒本身并非供貨瓶頸，GPU計(jì)算die也不是，那么在成本大頭方面，還有一項(xiàng)就是將兩者封裝到一起的先進(jìn)封裝技術(shù)了。至少SemiAnalysis認(rèn)為，當(dāng)前GPU供貨的主要瓶頸就是臺(tái)積電CoWoS封裝。SgHesmc

只要采用HBM內(nèi)存，除了會(huì)有少部分高算力HPC加速芯片采用三星的2.5D封裝方案，絕大部分都會(huì)用臺(tái)積電CoWoS封裝。某些networking、超算、FPGA芯片也會(huì)選擇CoWoS封裝，但CoWoS的需求大頭基本都是AI芯片。國內(nèi)典型用了CoWoS技術(shù)的如壁仞GPU芯片BR100。SgHesmc

可以說，CoWoS、HBM某種程度上已經(jīng)成為主要面向AI的技術(shù)。也正因如此，CoWoS不像別的技術(shù)那樣，可以從其他類型或應(yīng)用的芯片上轉(zhuǎn)移過來，實(shí)際上CoWoS的產(chǎn)能今年Q1就已經(jīng)占得很滿。在GPU需求量爆發(fā)之際，供應(yīng)鏈也變得因此跟不上GPU供給。三星、Intel，以及個(gè)別OSAT封測廠——典型如日月光其實(shí)也掌握2.5D封裝技術(shù)，但就AI芯片市場，臺(tái)積電CoWoS是絕對主流。SgHesmc

此前臺(tái)積電表示已經(jīng)有客戶致電提出后道封裝產(chǎn)能擴(kuò)張需求，尤其是CoWoS封裝，臺(tái)積電稱正在做這方面的評估。只不過當(dāng)時(shí)臺(tái)積電應(yīng)該并未預(yù)期AI需求來得這么快。今年6月，臺(tái)積電宣布開啟先進(jìn)后道fab 6工廠，其潔凈間面積能夠達(dá)成3D Fabric產(chǎn)能每年100萬片wafer。當(dāng)然這些產(chǎn)能并不都是給CoWoS的，還包括扇出型封裝、3D堆疊等。SgHesmc

值得一提的是，臺(tái)積電wafer level fan-out晶圓級(jí)扇出型封裝現(xiàn)階段的產(chǎn)能利用率是不足的，很顯然是因?yàn)槭謾C(jī)AP SoC的需求量低了，畢竟手機(jī)芯片是扇出型封裝的主場。扇出型封裝的某些工藝步驟和CoWoS是相似的，比如說沉積、電鍍、RDL成型等。那么扇出型封裝的部分產(chǎn)能可以分配給CoWoS。SgHesmc

當(dāng)然CoWoS技術(shù)其實(shí)有好幾種不同的類型，我們?nèi)粘Ｕf的最多的用硅中介的方案是CoWoS-S；另外還有不用硅中介，而采用RDL重分布層、成本更低的CoWoS-R，以及類似于Intel EMIB硅橋方案的CoWoS-L。這些以前我們都分析過，這些就不細(xì)談了。SgHesmc

SgHesmc

來源：SemiAnalysisSgHesmc

SemiAnalysis給出了一張當(dāng)前臺(tái)積電CoWoS客戶產(chǎn)能分布圖——有關(guān)這張圖更詳細(xì)的分析，可以移步SemiAnalysis的原文。目前CoWoS客戶大頭毫無疑問是英偉達(dá)，過去好幾年都是這樣——隨著H100的持續(xù)擴(kuò)產(chǎn)，未來這種局面也不會(huì)變。預(yù)計(jì)到2024年下半年，英偉達(dá)的下一代GPU封裝尺寸可能會(huì)達(dá)到H100的兩倍還多，則對封裝也就提出了更高的要求。SgHesmc

據(jù)說英偉達(dá)有想過在封裝方面采用雙供應(yīng)商的策略，但三星的先進(jìn)封裝技術(shù)方案和產(chǎn)能都讓英偉達(dá)不夠滿意；Amkor則無法提供完整的端到端2.5D工藝技術(shù)——也就是說一整套流程是需要其他參與者打配合的——不過我們此前也談過，這可能是傳統(tǒng)OSAT于先進(jìn)封裝時(shí)代的出路。SgHesmc

要知道英偉達(dá)過去就fab前道制造始終保持著多供應(yīng)商的思路，避免過度依賴。但現(xiàn)如今暫時(shí)只能主要依靠臺(tái)積電，即便未來這種局面可能會(huì)發(fā)生變化。SgHesmc

臺(tái)積電CoWoS的第二號(hào)大客戶是博通——當(dāng)然了，主要需求其實(shí)是博通深度參與的谷歌TPU芯片，尤其TPU v5從今年Q2開始起量——加上谷歌現(xiàn)如今不僅在傳統(tǒng)業(yè)務(wù)上有需求，還期望在生成式AI上能夠趕上OpenAI；博通自己也有networking芯片方面的一些需求，另外Meta的設(shè)計(jì)業(yè)務(wù)也會(huì)帶來一些量。SgHesmc

另外的一些CoWoS客戶依次還包括了Marvell、AMD與賽靈思、Alchip、微軟、平頭哥、思科等。其中實(shí)則涉及到這些芯片設(shè)計(jì)公司的下游客戶，比如亞馬遜Trainium等。SgHesmc

SemiAnalysis并未在分析中指明數(shù)據(jù)中心GPU瓶頸若在CoWoS封裝上，具體表現(xiàn)在怎樣的數(shù)量級(jí)上——大概是基于現(xiàn)有市場需求量，及臺(tái)積電可提供的CoWoS產(chǎn)能做出的。SgHesmc

我們認(rèn)為，這個(gè)推測也是完全合理的。前不久的慕展上，我們走訪了多家先進(jìn)封裝設(shè)備供應(yīng)商，有廠商發(fā)言人明確告訴我們，臺(tái)積電作為半導(dǎo)體制造的前道fab角色主力，雖然也在做先進(jìn)封裝——且先進(jìn)封裝亦的確為未來市場方向；但從利潤率的角度來看，后道封裝業(yè)務(wù)是在拖后腿的，這使得臺(tái)積電在先進(jìn)封裝技術(shù)的擴(kuò)產(chǎn)上顯得意興闌珊。SgHesmc

所以臺(tái)積電談到要將這部分產(chǎn)能轉(zhuǎn)移給OSAT，緩解產(chǎn)能問題，實(shí)際可能是從營收的角度所做的權(quán)衡。此前我們分析臺(tái)積電Q1季報(bào)時(shí)，就提過，2022年臺(tái)積電營收占比中7%來自先進(jìn)封裝；預(yù)計(jì)到2023年，這個(gè)值仍然保持在6%-7%。當(dāng)然這和扇出型封裝營收下降可能有關(guān)，但也可能表明了臺(tái)積電在封裝技術(shù)上做擴(kuò)產(chǎn)的保守選擇。SgHesmc

接下來幾個(gè)月，觀察英偉達(dá)數(shù)據(jù)中心GPU的供貨情況，及出貨量變化，可進(jìn)一步明確臺(tái)積電這方面的思路和發(fā)展策略。SgHesmc