當(dāng)前，最火的人工智能(AI)應(yīng)用當(dāng)屬ChatGPT，它是OpenAI發(fā)布的聊天機(jī)器人程序。ChatGPT與用戶對(duì)話時(shí)可結(jié)合上下文做出反應(yīng)，還支持寫代碼、寫郵件、寫腳本、寫文案等文字輸出型任務(wù)。GLsesmc

由于ChatGPT在問(wèn)答環(huán)節(jié)的優(yōu)異表現(xiàn)，該程序一經(jīng)推出就受到了全球市場(chǎng)的關(guān)注，上線兩個(gè)月后注冊(cè)用戶人數(shù)就突破一億。在此背景下，ChatGPT背后蘊(yùn)含的巨大市場(chǎng)潛力還有待挖掘，該技術(shù)可望撬動(dòng)海量的應(yīng)用場(chǎng)景。GLsesmc

AI領(lǐng)域的從業(yè)者認(rèn)為，ChatGPT是AIGC(AI Generated Content，利用人工智能技術(shù)來(lái)生成內(nèi)容)應(yīng)用的新起點(diǎn)，隨著深度學(xué)習(xí)模型不斷完善、開源模式的推動(dòng)、大模型探索商業(yè)化的可能，AIGC有望進(jìn)入應(yīng)用爆發(fā)期。ChatGPT技術(shù)的商用落地，對(duì)半導(dǎo)體行業(yè)有哪些推動(dòng)作用？GLsesmc

訓(xùn)練AI模型需海量算力資源

從本質(zhì)上而言，ChatGPT是一類AI語(yǔ)言模型。官方資料顯示，ChatGPT是在GPT 3.5模型基礎(chǔ)上微調(diào)而成。ChatGPT與InstructGPT是姊妹模型，它們均采用了大型語(yǔ)言模型(Large Language Model，LLM)生成領(lǐng)域的新訓(xùn)練范式——RLHF(Reinforcement Learning from Human Feedback)，即以強(qiáng)化學(xué)習(xí)方式依據(jù)人類反饋優(yōu)化語(yǔ)言模型，兩者僅在數(shù)據(jù)收集設(shè)置上有細(xì)微區(qū)別。GLsesmc

根據(jù)ChatGPT向用戶的透露的信息，RLHF是一種使用了強(qiáng)化學(xué)習(xí)的方式，可直接優(yōu)化帶有人類反饋的語(yǔ)言模型。實(shí)際上，它涉及到多個(gè)模型和不同訓(xùn)練階段，其技術(shù)可大致分解為以下三點(diǎn)：第一，預(yù)訓(xùn)練一個(gè)語(yǔ)言模型(LM) ；第二，聚合問(wèn)答數(shù)據(jù)并訓(xùn)練一個(gè)獎(jiǎng)勵(lì)模型(Reward Model，RM)；第三，用強(qiáng)化學(xué)習(xí)(RL)方式微調(diào)LM。總而言之，RLHF可增強(qiáng)人類對(duì)模型輸出結(jié)果的調(diào)節(jié)，并且還能對(duì)結(jié)果進(jìn)行更具理解性的排序。GLsesmc

GLsesmc

關(guān)于ChatGPT的介紹 圖片來(lái)源：OpenAI官網(wǎng)GLsesmc

再觀察GPT 3.5之前的GPT-3模型，其參數(shù)量高達(dá)1,750億個(gè)，訓(xùn)練所需數(shù)據(jù)量達(dá)45TB。通過(guò)使用RLHF的訓(xùn)練方法，即使InstructGPT只有13億個(gè)參數(shù)量，它的輸出效果也依舊優(yōu)于GPT-3。OpenAI公布的資料顯示，InstructGPT與ChatGPT是姊妹模型，由此可猜測(cè)兩者的參數(shù)量可能相差不大。GLsesmc

也許有讀者對(duì)于參數(shù)量缺乏具體的概念，本文通過(guò)列舉一個(gè)通俗的例子來(lái)解釋——2020年9月，微軟獲得了OpenAI GPT-3的獨(dú)家授權(quán)，該公司為訓(xùn)練GPT-3建設(shè)了一個(gè)超算中心，該中心的超級(jí)計(jì)算機(jī)裝載了一萬(wàn)張英偉達(dá)GPU。而訓(xùn)練GPT-3消耗了微軟355個(gè)GPU年的算力(1塊GPU運(yùn)行355年的算力)，單次訓(xùn)練費(fèi)用更是高達(dá)460萬(wàn)美元。不過(guò)，截至發(fā)稿日，筆者未查詢到ChatGPT模型訓(xùn)練費(fèi)用信息。GLsesmc

ChatGPT是一個(gè)AI模型，它離不開算力的支持——在訓(xùn)練階段，需要大量的語(yǔ)料數(shù)據(jù)來(lái)訓(xùn)練模型，在應(yīng)用階段，需要大算力服務(wù)器來(lái)支持模型的運(yùn)行。即使ChatGPT的參數(shù)量可減少到數(shù)十億個(gè)，訓(xùn)練和運(yùn)行它也需消耗很大的計(jì)算資源。GLsesmc

推動(dòng)智能計(jì)算機(jī)進(jìn)一步發(fā)展

OpenAI ChatGPT的現(xiàn)象級(jí)走紅，推動(dòng)科技公司加快類ChatGPT產(chǎn)品的部署。近期，谷歌、微軟、百度等企業(yè)都宣布將提供AI模型服務(wù)，其中谷歌將推出由LaMDA模型支持的對(duì)話式人工智能服務(wù)Bard，微軟在搜索引擎Bing中嵌入了OpenAI的GPT-3.5，百度將推大模型新項(xiàng)目“文心一言”，最初版本將嵌入搜索服務(wù)中。GLsesmc

隨著更多科技公司部署類ChatGPT服務(wù)，為訓(xùn)練AI模型將需要巨大的算力，這種需求也讓一些企業(yè)看到了AI算力服務(wù)的商機(jī)。2023年2月10日，浪潮信息推出AI算力服務(wù)產(chǎn)品。該公司表示，將基于中國(guó)領(lǐng)先智算中心的算力基礎(chǔ)設(shè)施，為中國(guó)客戶提供AI算力資源和配套服務(wù)，支撐AI模型構(gòu)建、訓(xùn)練和推理的業(yè)務(wù)全流程，賦力生成式AI產(chǎn)業(yè)創(chuàng)新。GLsesmc

當(dāng)然，資金雄厚的科技巨頭可能會(huì)搭建自己的計(jì)算中心。例如，前文所述的微軟的超級(jí)計(jì)算機(jī)，該中心設(shè)備用于在Azure公有云上訓(xùn)練超大規(guī)模的AI模型。據(jù)了解，該中心裝載了超過(guò)28.5萬(wàn)個(gè)CPU、1萬(wàn)個(gè)GPU，其中單個(gè)GPU服務(wù)器的網(wǎng)絡(luò)連接能力達(dá)400Gb/s，該設(shè)備算力峰值達(dá)每秒可執(zhí)行23.5-61.4個(gè)萬(wàn)億浮點(diǎn)運(yùn)算。GLsesmc

購(gòu)買AI算力服務(wù)和搭建計(jì)算中心，都需要大規(guī)模的計(jì)算機(jī)設(shè)備的支持。GLsesmc

GLsesmc

表1：超級(jí)計(jì)算機(jī)和智能計(jì)算機(jī)的區(qū)別GLsesmc

在進(jìn)一步討論時(shí)，首先要厘清一個(gè)概念——算力是代表處理數(shù)字化信息能力的強(qiáng)弱，不同類型的算力存在著較大的差別。比如，超級(jí)計(jì)算機(jī)的算力單位是FLOPS(每秒浮點(diǎn)運(yùn)算能力)，而智能計(jì)算機(jī)的算力單位是OPS(每秒操作次數(shù))，這是兩個(gè)不同的概念。GLsesmc

另外，衡量算力水平還要考慮算力精度。瞭望智庫(kù)指出，目前業(yè)界用于衡量超級(jí)計(jì)算的Linpack測(cè)試，測(cè)試的是超級(jí)計(jì)算機(jī)的“雙精度浮點(diǎn)運(yùn)算能力”，即64位浮點(diǎn)數(shù)字的計(jì)算(FP64)。此外，在以二進(jìn)制所表示數(shù)字精度中，還有單精度(32位，F(xiàn)P32)、半精度(16位，F(xiàn)P16)以及整數(shù)類型(如INT8、INT4)等。數(shù)字位數(shù)越高，意味著精度越高、可支持的運(yùn)算復(fù)雜程度越高，其能適配應(yīng)用場(chǎng)景越廣。GLsesmc

智能計(jì)算機(jī)是一種專用算力設(shè)備，它在推理或訓(xùn)練等智能計(jì)算方面表現(xiàn)出色，但大多數(shù)智能計(jì)算機(jī)不具備高精度數(shù)值計(jì)算能力；超級(jí)計(jì)算機(jī)是一種通用算力設(shè)備，其設(shè)計(jì)目標(biāo)是提供完備、復(fù)雜的計(jì)算能力，在高精度計(jì)算能力更強(qiáng)，應(yīng)用范圍更廣，主要被科研人員用于行星模擬、新材料開發(fā)、基因分析等科學(xué)計(jì)算和大數(shù)據(jù)處理。GLsesmc

AI模型訓(xùn)練只需用到智能計(jì)算機(jī)，但目前的智能計(jì)算機(jī)技術(shù)還不成熟，僅在模式識(shí)別、知識(shí)處理及開發(fā)智能等方面有應(yīng)用。盡管當(dāng)前該類設(shè)備還未達(dá)到預(yù)期目標(biāo)，但它在文字、語(yǔ)音、圖形圖像識(shí)別與理解，以及機(jī)器翻譯等領(lǐng)域取得了一些進(jìn)展，同時(shí)相關(guān)初級(jí)產(chǎn)品也已經(jīng)問(wèn)世。GLsesmc

推動(dòng)更多AI細(xì)分市場(chǎng)的發(fā)展

如前文所述，AIGC的出現(xiàn)有望撬動(dòng)AI大規(guī)模落地的場(chǎng)景。同時(shí)，相關(guān)企業(yè)在多個(gè)AI產(chǎn)業(yè)鏈的布局將更深入。比如，在硬件層包括芯片和傳感器，其中AI芯片主要有通用型的GPU、可定制的FPGA、專用的ASIC，以及類腦芯片。英偉達(dá)的Orin芯片基于通用GPU，地平線的征程5芯片，既是ASIC芯片，也是DSA(特定領(lǐng)域架構(gòu))芯片；類腦芯片有IBM的TrueNorth、英特爾的Loihi、高通的Zeroth、西井科技的DeepSouth、杭州電子科技大學(xué)的達(dá)爾文、aiCTX的DynapCNN處理器等。GLsesmc

整體而言，AI芯片供應(yīng)商主要有英偉達(dá)、AMD、Intel、VelociHOST、景嘉微、地平線、寒武紀(jì)、比特大陸、復(fù)旦微、賽靈思、Altera(英特爾旗下)、異構(gòu)智能、谷歌等；傳感器部分有舜宇光學(xué)、禾賽科技等供應(yīng)商；算法層有商湯科技、曠視科技、云從科技、依圖科技、第四范式等；應(yīng)用層有?？低?、科大訊飛、銳明技術(shù)等。GLsesmc

雖然智能計(jì)算機(jī)并不追求太大的算力頻率，但是其對(duì)芯片的功耗和散熱要求較高，所以，低功耗的FPGA和ASIC芯片在智能計(jì)算機(jī)上有更大的用武之地。與此同時(shí)，AI芯片也將從面向廠商的訓(xùn)練場(chǎng)景為主，轉(zhuǎn)變?yōu)槊嫦蛳M(fèi)者的推理場(chǎng)景為主。業(yè)內(nèi)AI專家對(duì)此評(píng)價(jià)稱，GPU的高并行計(jì)算能力和高通用性的協(xié)調(diào)統(tǒng)一，在消費(fèi)者時(shí)代的統(tǒng)治力或許難以為繼，未來(lái)ASIC芯片、中國(guó)產(chǎn)GPGPU芯片或?qū)⒛芮腥隡aaS(出行即服務(wù))產(chǎn)業(yè)生態(tài)。GLsesmc

服務(wù)器產(chǎn)業(yè)鏈的發(fā)展會(huì)受益嗎？

或許會(huì)有讀者聯(lián)想到，理論上，更大的算力意味著更多的計(jì)算機(jī)設(shè)備，搭建這些設(shè)備也需要更多的核心器件。這是否意味著，企業(yè)對(duì)類ChatGPT技術(shù)的追求，對(duì)服務(wù)器產(chǎn)業(yè)鏈的發(fā)展起到積極的促進(jìn)作用？GLsesmc

筆者在表2中列舉了一些全球服務(wù)器產(chǎn)業(yè)鏈信息，主要涉及到關(guān)鍵器件及整機(jī)供應(yīng)商。GLsesmc

GLsesmc

表2：服務(wù)器核心器件及整機(jī)供應(yīng)商不完全盤點(diǎn)GLsesmc

·服務(wù)器主板供應(yīng)商

服務(wù)器主板是專門為滿足服務(wù)器應(yīng)用而開發(fā)，要求具備高穩(wěn)定性、高性能、高兼容性的特點(diǎn)。本表列舉的服務(wù)器主板供應(yīng)商集中在中國(guó)和美國(guó)，比如美國(guó)的英特爾、超微；中國(guó)大陸的聯(lián)想等，以及中國(guó)臺(tái)灣的華碩、技嘉、微星、泰安(神達(dá)旗下)等。GLsesmc

·服務(wù)器CPU供應(yīng)商

GLsesmc

圖1：x86服務(wù)器CPU與非x86服務(wù)器CPU的市場(chǎng)占比 制圖：國(guó)際電子商情 數(shù)據(jù)來(lái)源：綜合自各研報(bào)GLsesmc

截至2023年Q1，全球約有90%的服務(wù)器CPU采用x86架構(gòu)，剩下的10%左右采用非x86架構(gòu)。目前，英特爾占據(jù)了x86服務(wù)器CPU 90%以上的市場(chǎng)份額，同為x86架構(gòu)陣營(yíng)的AMD雖然近年來(lái)在PC CPU領(lǐng)域窮追猛打，但在服務(wù)器CPU方面其份額還難以撼動(dòng)英特爾的地位。IBM的CPU采用Power架構(gòu)，其全球市場(chǎng)占也比與英特爾低。另外，中國(guó)臺(tái)灣的Cyrix(被威盛電子收購(gòu))，中國(guó)大陸的海思、中科院計(jì)算所、天津飛騰、申威科技等也有服務(wù)器CPU產(chǎn)品，但這些企業(yè)的市占比與英特爾有很大的差距。GLsesmc

·GPU供應(yīng)商

AI模型需要大量的深度學(xué)習(xí)和機(jī)器訓(xùn)練，比如參數(shù)量達(dá)1,750億個(gè)的GPT-3，需要用到大量的英偉達(dá)V100(32GB)、A100和H100(80G)GPU產(chǎn)品的支持。目前，英偉達(dá)A100、H100 GPU產(chǎn)品已經(jīng)被亞馬遜AWS、微軟Azure、谷歌云、甲骨文等公司采用。另?yè)?jù)IDC統(tǒng)計(jì)資料顯示，在中國(guó)的GPU服務(wù)器領(lǐng)域，英偉達(dá)的市占率也高達(dá)95%，幾乎所有的云服務(wù)提供商和超算都采用英偉達(dá)的芯片來(lái)支持AI計(jì)算。GLsesmc

此外，AMD、Intel、VelociHOST等美資企業(yè)也生產(chǎn)GPU產(chǎn)品；中國(guó)的GPU供應(yīng)商則有景嘉微、長(zhǎng)沙韶光(航景科技子公司)等。GLsesmc

·存儲(chǔ)相關(guān)供應(yīng)商

本表格列舉的存儲(chǔ)相關(guān)供應(yīng)商的業(yè)務(wù)涉及到內(nèi)存、外存(硬盤)和內(nèi)存接口芯片。GLsesmc

目前，內(nèi)存接口芯片已經(jīng)升級(jí)到DDR5世代，供應(yīng)商有瀾起科技、Rambus、IDT三家。雖然速率為4800MT/s的DDR5在PC筆電的滲透快于服務(wù)器，但是只有當(dāng)傳輸速率達(dá)到6400MT/s時(shí)，PC端才需要搭載DDR5內(nèi)存接口芯片。因此，當(dāng)前DDR5內(nèi)存接口芯片在服務(wù)器上的應(yīng)用更多，預(yù)計(jì)在2022-2024年三年期間，服務(wù)器端DDR5的滲透率分別為15%、40%、60%。GLsesmc

內(nèi)存供應(yīng)商有韓國(guó)的SK海力士、三星電子等，美國(guó)的美光科技、金士頓等，中國(guó)的金泰克、芝奇(臺(tái)灣)等；外存供應(yīng)商有美國(guó)的西部數(shù)據(jù)(含旗下閃迪)、希捷等，中國(guó)的聯(lián)想、金泰克等。GLsesmc

·服務(wù)器整機(jī)供應(yīng)商

在服務(wù)器整機(jī)部分，筆者主要列舉了中美兩國(guó)的供應(yīng)商。GLsesmc

美國(guó)有戴爾、HPE、IBM、思科等；中國(guó)有華為、新華三、浪潮、聯(lián)想、中科曙光、山東超越等。GLsesmc

對(duì)服務(wù)器產(chǎn)業(yè)的利好短期內(nèi)并不明顯

超級(jí)計(jì)算機(jī)和智能計(jì)算機(jī)有多臺(tái)服務(wù)器組成?？陀^上，科技企業(yè)對(duì)類ChatGPT服務(wù)的追捧，有利于全球服務(wù)器產(chǎn)業(yè)鏈的發(fā)展，但是這種作用恐怕難以在短期內(nèi)體現(xiàn)。據(jù)分析機(jī)構(gòu)的預(yù)測(cè)，2023年全球服務(wù)器整機(jī)市場(chǎng)的表現(xiàn)并不太好。GLsesmc

2023年1月底，集邦咨詢修正了對(duì)2023年全球服務(wù)器整機(jī)市場(chǎng)的預(yù)測(cè)數(shù)據(jù)，增速下調(diào)至1.87%。該機(jī)構(gòu)表示，受全球經(jīng)濟(jì)持續(xù)疲軟影響，北美四大云端服務(wù)供應(yīng)商下修了2023年服務(wù)器采購(gòu)量，且數(shù)字可能將持續(xù)下調(diào)，下修幅度從大到小依次為Meta、微軟、谷歌、亞馬遜云科技。這四家企業(yè)的服務(wù)器采購(gòu)量由原先預(yù)估的同比增長(zhǎng)6.9%，降至4.4%，這將影響2023年全球服務(wù)器整機(jī)出貨年增率下降到1.87%。GLsesmc

其實(shí)，已確定部署類ChatGPT的企業(yè)，主要是一些規(guī)模大、實(shí)力強(qiáng)的巨頭，畢竟部署這類業(yè)務(wù)需要極大的算力，訓(xùn)練和驗(yàn)證模型的成本也非常昂貴。相信隨著更多此類技術(shù)進(jìn)一步產(chǎn)業(yè)化，市場(chǎng)上還會(huì)出現(xiàn)不同的細(xì)分業(yè)務(wù)模式。GLsesmc