在短短幾年內(nèi)，大語言模型的規(guī)模膨脹了超過400倍，而同期硬件內(nèi)存的擴(kuò)展僅實(shí)現(xiàn)了2倍增長，這一巨大差距為存儲行業(yè)帶來了前所未有的挑戰(zhàn)。67lesmc

為應(yīng)對這一挑戰(zhàn)，新型內(nèi)存技術(shù)如HBM4、GDDR7和DDR5等正在推出，它們提供了更高的帶寬和更大的容量，以適應(yīng)市場的快速擴(kuò)張，尤其是在人工智能領(lǐng)域。在追求性能和容量提升的同時(shí)，提高能效也是一項(xiàng)關(guān)鍵的技術(shù)難題，呼喚著持續(xù)的創(chuàng)新。67lesmc

最近，Rambus推出了業(yè)界首個(gè)HBM4控制器IP，這一里程碑式的產(chǎn)品進(jìn)一步鞏固了公司在內(nèi)存接口技術(shù)的前沿地位。該控制器IP針對新一代HBM內(nèi)存量身定制，顯著提升了數(shù)據(jù)傳輸速率和內(nèi)存容量，為AI加速器、圖形處理器以及高性能計(jì)算應(yīng)用提供了堅(jiān)實(shí)的性能基礎(chǔ)。67lesmc

AI訓(xùn)練和AI推理對內(nèi)存的新要求

Rambus研究員兼杰出發(fā)明家Steven Woo博士展示了一些實(shí)例，說明客戶如何在數(shù)據(jù)中心使用Rambus的產(chǎn)品。他介紹說，AI訓(xùn)練和AI推理對內(nèi)存的新要求。AI包含兩個(gè)主要步驟：訓(xùn)練和推理。這兩個(gè)階段對內(nèi)存性能的需求各有側(cè)重，推動了內(nèi)存技術(shù)的持續(xù)進(jìn)步。67lesmc

在訓(xùn)練階段，AI通過分析大量數(shù)據(jù)來學(xué)習(xí)規(guī)律并構(gòu)建模型，例如，通過分析貓、鳥、馬的圖片來學(xué)會識別這些動物。由于AI訓(xùn)練需大量數(shù)據(jù)，整個(gè)過程相當(dāng)漫長，常需數(shù)周至數(shù)月。在面對復(fù)雜模型時(shí)，如實(shí)時(shí)語言處理和生成式語言模型，由于其規(guī)模較大，訓(xùn)練周期會更長。67lesmc

AI訓(xùn)練是計(jì)算領(lǐng)域極具挑戰(zhàn)的任務(wù)，在這個(gè)階段涉及海量數(shù)據(jù)處理。而快速完成訓(xùn)練，能讓模型盡早投入使用，加速投資回報(bào)并提升回報(bào)率。這對內(nèi)存提出了更高的要求，必須確保其具備快速的響應(yīng)速度、卓越的性能表現(xiàn)，同時(shí)體積還需小巧緊湊。67lesmc

在訓(xùn)練完成后，模型可應(yīng)用于實(shí)際場景，處理新案例進(jìn)行推理，即AI的推理階段。此階段對速度和準(zhǔn)確性有高要求，期望模型能迅速準(zhǔn)確提供結(jié)果。AI推理階段對內(nèi)存的要求尤為嚴(yán)苛，需實(shí)現(xiàn)更低的延遲和更高的帶寬，以確保推理結(jié)果能夠?qū)崟r(shí)快速輸出。67lesmc

數(shù)據(jù)顯示，自2012年以來，內(nèi)存對速度、容量和尺寸的要求每年以超過10倍的速度提升，這一趨勢未見放緩。以大型語言模型GPT為例，其參數(shù)量和規(guī)模在過去幾年里顯著增長。67lesmc

以GPT模型為例，2022年11月發(fā)布的GPT-3含有1,750億參數(shù)，而到了2024年5月，GPT-4o的參數(shù)量已超過1.5萬億。短短幾年間，大語言模型的規(guī)模擴(kuò)大了400倍以上。然而，同期硬件內(nèi)存的規(guī)模僅增長了2倍，這對存儲行業(yè)帶來了極大的挑戰(zhàn)。為了滿足這些AI模型對內(nèi)存容量和帶寬的巨大需求，業(yè)界不得不增加GPU和AI加速器的數(shù)量。67lesmc

先進(jìn)內(nèi)存系統(tǒng)是如何應(yīng)用于AI的？

67lesmc

當(dāng)前，最先進(jìn)的內(nèi)存系統(tǒng)在AI系統(tǒng)中的應(yīng)用及其相互間的差異與共同點(diǎn)值得關(guān)注。67lesmc

• DDR內(nèi)存，作為目前最普遍的內(nèi)存類型，已被廣泛部署于全球的服務(wù)器和數(shù)據(jù)中心中。
• LPDDR，即低功耗DDR內(nèi)存，最初是為移動設(shè)備量身定制的。然而，大家逐漸發(fā)現(xiàn)，LPDDR不僅適用于手機(jī)，也在AI邊緣推理系統(tǒng)中有出色表現(xiàn)。
• GDDR，專為圖形處理設(shè)計(jì)的DDR內(nèi)存，現(xiàn)在也被廣泛應(yīng)用于AI推理任務(wù)。它在帶寬、成本和可靠性之間取得了良好的平衡，因此已被用于汽車和一些網(wǎng)絡(luò)應(yīng)用領(lǐng)域。
• HBM擁有遠(yuǎn)超傳統(tǒng)DRAM的極高帶寬和密度。這種內(nèi)存特別適合于AI訓(xùn)練、高性能計(jì)算和網(wǎng)絡(luò)應(yīng)用。

不同的內(nèi)存類型各有其特定的應(yīng)用場景，AI系統(tǒng)通常會根據(jù)具體的應(yīng)用需求選擇合適的內(nèi)存類型。67lesmc

67lesmc

上圖可以看到HBM內(nèi)存的構(gòu)造，以及它如何與芯片處理器和SoC連接——HBM的DRAM內(nèi)存通過一個(gè)中間層物理連線與處理器連接。右邊展示的橙色線條所貫穿的中介層，這部分共同連接到一個(gè)基板，然后基板焊接在PCB上。HBM的DRAM堆棧采用多層堆疊架構(gòu)，這種方式能夠提供極高的內(nèi)存帶寬、容量和能效。在這里，會有大量的芯片堆疊，其中一個(gè)內(nèi)存芯片直接與處理器相連。在HBM3標(biāo)準(zhǔn)中，HBM內(nèi)存的一個(gè)顯著特點(diǎn)是它擁有大量連接到SoC的線，在HBM3中達(dá)到了1024根線。67lesmc

隨著命令、地址、時(shí)鐘和其他附加信號的增加，HBM3所需的信號路徑數(shù)量上升至大約1700條。這一數(shù)量遠(yuǎn)遠(yuǎn)超出了標(biāo)準(zhǔn)PCB的承載能力。因此，采用硅中介層作為橋梁，將內(nèi)存設(shè)備與處理器連接。類似于集成電路，硅中介層能夠蝕刻出極小間距的信號路徑，從而實(shí)現(xiàn)所需的信號線數(shù)量，以滿足HBM接口的要求。正是這種精細(xì)的結(jié)構(gòu)設(shè)計(jì)以及HBM DRAM的堆疊技術(shù)，使得HBM內(nèi)存能夠提供極高的內(nèi)存帶寬、出色的能效、極低的延遲，并且在占用空間上達(dá)到最小化。67lesmc

67lesmc

上圖展示了HBM內(nèi)存的發(fā)展歷程，以及HBM4如何繼承前代的優(yōu)秀特性并實(shí)現(xiàn)進(jìn)一步的提升。右側(cè)的表格中是不同代HBM內(nèi)存的數(shù)據(jù)傳輸速度、單個(gè)堆棧的帶寬、堆棧厚度以及最大設(shè)備容量等具體參數(shù)。67lesmc

從HBM的第一代發(fā)展到第二代、2E、3E，每一代的顯著進(jìn)步體現(xiàn)在單個(gè)堆棧帶寬的顯著提升。HBM3E的單個(gè)設(shè)備帶寬已超過1.2TB/s。HBM3設(shè)備正日益普及，主要DRAM制造商，包括SK海力士、美光和三星，均已宣布推出HBM3E設(shè)備，其數(shù)據(jù)傳輸速率高達(dá)9.6Gbps。在追求高帶寬內(nèi)存的驅(qū)動下，內(nèi)存行業(yè)持續(xù)進(jìn)步，致力于開發(fā)新一代HBM內(nèi)存。67lesmc

目前，正處于開發(fā)階段的HBM4，是由JEDEC制定標(biāo)準(zhǔn)的下一代技術(shù)。雖然HBM4的各項(xiàng)參數(shù)尚在開發(fā)階段，但每個(gè)堆棧的帶寬已經(jīng)超越HBM3E。從單個(gè)堆棧的角度分析，HBM4的帶寬預(yù)計(jì)將達(dá)到1.6TB/s，這僅是單個(gè)堆棧的帶寬，實(shí)際的總帶寬有可能更高。隨著行業(yè)不斷推出更快速的HBM內(nèi)存器件，Rambus作為內(nèi)存控制器IP提供商將在這一進(jìn)程中扮演關(guān)鍵角色。67lesmc

隨著AI的發(fā)展，未來內(nèi)存技術(shù)將遭遇哪些新挑戰(zhàn)或機(jī)遇？Steven Woo提到，未來內(nèi)存技術(shù)將面臨提供更多帶寬和容量的挑戰(zhàn)。新型內(nèi)存，如HBM4、GDDR7、DDR5等，正在提供更高的帶寬和更大的容量，以滿足市場的持續(xù)增長需求，特別是在人工智能領(lǐng)域。除了提升性能和容量，提高能效也是一個(gè)具有挑戰(zhàn)性的領(lǐng)域，需要不斷的技術(shù)創(chuàng)新。67lesmc

在Rambus，產(chǎn)品部門和研究機(jī)構(gòu)Rambus Labs都在努力滿足市場對人工智能的內(nèi)存需求。據(jù)了解，Rambus Labs專注于未來的內(nèi)存需求，其研究議程包括探索如何提升未來人工智能內(nèi)存的速度、容量和能效。通過這些部門的共同努力，Rambus期望能夠滿足人工智能領(lǐng)域的近期和未來幾年的需求。67lesmc

發(fā)布業(yè)內(nèi)首款HBM4控制器IP，為客戶一次流片成功保駕護(hù)航

日前，Rambus宣布推出業(yè)內(nèi)首個(gè)HBM4控制器IP。Steven Woo表示，基于該IP的HBM4控制器能夠支持新一代HBM內(nèi)存的實(shí)施，適用于尖端的處理器，包括AI加速器、圖形處理器，以及高性能計(jì)算應(yīng)用。67lesmc

HBM4內(nèi)存解決方案在HBM3性能的基礎(chǔ)上實(shí)現(xiàn)了進(jìn)一步的提升。具體來看，HBM4的控制器IP提供了一個(gè)擁有32個(gè)獨(dú)立通道的接口，總數(shù)據(jù)寬度可達(dá)2048位?；谶@一數(shù)據(jù)寬度，當(dāng)數(shù)據(jù)速率為6.4Gbps時(shí)，HBM4的總內(nèi)存吞吐量將比HBM3高出兩倍以上，達(dá)到1.64TB/s。與HBM3E控制器相似，HBM4內(nèi)存控制器IP也是一個(gè)模塊化、高度可配置的解決方案。67lesmc

67lesmc

針對客戶特定應(yīng)用場景的獨(dú)特需求，Rambus還提供定制化服務(wù)，覆蓋尺寸、性能和功能等多個(gè)方面。關(guān)鍵的可選功能包括ECC(錯(cuò)誤校正碼)、RMW(讀-改-寫)和錯(cuò)誤清理等。67lesmc

此外，為了確?？蛻裟軌蚋鶕?jù)需求選擇并集成各種第三方PHY到系統(tǒng)中，Rambus還與頂尖的PHY供應(yīng)商建立了合作關(guān)系，保障客戶在開發(fā)過程中能夠?qū)崿F(xiàn)一次性流片成功?？傊琑ambus推出的HBM4控制器IP是基于多年來在HBM內(nèi)存領(lǐng)域的深厚積累。67lesmc

Rambus是如何做到實(shí)現(xiàn)一次流片成功的？據(jù)介紹，高公司通過控制器測試平臺、驗(yàn)證IP、物理層(PHY)支持三方面來支撐。67lesmc

67lesmc

比如，控制器測試平臺使得用戶能夠執(zhí)行完整的控制器代碼庫回歸測試。該公司提供了廣泛的測試序列，這些序列能夠針對特定控制器和PHY進(jìn)行測試，并且實(shí)施了基于功能覆蓋率的驗(yàn)證計(jì)劃來保障測試的完整性。67lesmc

又如，Rambus還提供了驗(yàn)證IP，并與Avery Design Systems(現(xiàn)為西門子的一部分)合作，供應(yīng)包括內(nèi)存模塊、主機(jī)內(nèi)存控制器和PHY BFM在內(nèi)的多種BFM。鑒于物理層PHY支持的重要性，該公司為多種第三方PHY提供了廣泛的支持，確保其控制器與不同PHY之間的匹配、認(rèn)證和驗(yàn)證，從而便利客戶的集成工作。67lesmc

Rambus的半導(dǎo)體IP解決方案組合

除了以上信息之外，Rambus還展示了其半導(dǎo)體IP解決方案組合，這些方案廣泛應(yīng)用于AI、高性能計(jì)算和先進(jìn)處理領(lǐng)域。67lesmc

根據(jù)Rambus大中華區(qū)總經(jīng)理蘇雷的介紹，Rambus在半導(dǎo)體產(chǎn)業(yè)鏈中扮演著關(guān)鍵角色，提供接口與安全I(xiàn)P技術(shù)，擁有2800項(xiàng)專利，專注于DDR4和DDR5內(nèi)存模塊的解決方案。過去五年，公司產(chǎn)品收入的復(fù)合年增長率達(dá)到42%，并榮獲GSA年度尊重獎項(xiàng)。67lesmc

67lesmc

該公司所提供的內(nèi)存接口解決方案，包括GDDR和HBM內(nèi)存控制器等，其芯片到芯片控制器IP產(chǎn)品組合涵蓋PCIe和CXL等技術(shù)。與此同時(shí)，Rambus還提供廣泛的安全I(xiàn)P產(chǎn)品，保護(hù)硬件和數(shù)據(jù)安全，包括Root of Trust(RoT)和MACsec IP。67lesmc

據(jù)介紹，Rambus的認(rèn)證解決方案適用于汽車、IoT和政府等行業(yè)，其IP解決方案在功耗和面積上經(jīng)過優(yōu)化，并由專業(yè)團(tuán)隊(duì)支持，確?？蛻羰状瘟髌晒?。此外，Rambus還為了補(bǔ)充其內(nèi)存控制器產(chǎn)品線，推出了內(nèi)存內(nèi)加密(IMI)解決方案，確保數(shù)據(jù)在加速器和內(nèi)存之間傳輸?shù)陌踩?。通過PCIe或CXL連接處理器時(shí)，Rambus還提供數(shù)據(jù)完整性和加密功能，保障數(shù)據(jù)鏈路傳輸?shù)陌踩?span style="display:none">67lesmc

綜合這些技術(shù)，Rambus的IP產(chǎn)品組合提供了高帶寬解決方案，實(shí)現(xiàn)數(shù)據(jù)從內(nèi)存到處理器的快速傳輸，并確保處理器與設(shè)備之間數(shù)據(jù)傳輸?shù)母咚傩?。同時(shí)，Rambus通過提供保護(hù)數(shù)據(jù)在靜態(tài)、使用和傳輸過程中的IP，確保了數(shù)據(jù)的安全性。67lesmc

小結(jié)：

綜上所述，隨著大語言模型規(guī)模的迅速擴(kuò)張，內(nèi)存技術(shù)面臨的挑戰(zhàn)日益嚴(yán)峻。新型內(nèi)存技術(shù)如HBM4、GDDR7和DDR5的發(fā)展，為AI和高性能計(jì)算領(lǐng)域提供了更高的帶寬和更大的容量，滿足了市場的快速需求。Rambus等公司在內(nèi)存接口和安全I(xiàn)P技術(shù)方面的創(chuàng)新，不僅推動了整個(gè)行業(yè)的技術(shù)進(jìn)步，也為數(shù)據(jù)處理速度和安全性提供了保障。展望未來，內(nèi)存技術(shù)的持續(xù)發(fā)展將是支持AI和高性能計(jì)算應(yīng)用的關(guān)鍵，同時(shí)也需要整個(gè)行業(yè)共同面對能效提升和安全性增強(qiáng)的挑戰(zhàn)。67lesmc