蘋果在今年WWDC上發(fā)布了Apple Intelligence，確認(rèn)各操作系統(tǒng)都要引入生成式AI特性。這對消費電子領(lǐng)域的諸多市場玩家而言是個大事件。因為蘋果作為PC、智能手表、智能手機等領(lǐng)域的標(biāo)桿，新增特性向來是其他競爭者的學(xué)習(xí)對象。PZ7esmc

雖然蘋果大談AI PC和AI手機的時間點相較其他參與者晚了半年，但蘋果在AI上布局，從芯片到中間件，走得相對還是比較早的（比如2022年蘋果芯片就支持通過Core ML跑Stable Diffusion了）——只不過蘋果的AI策略總給人一種力道不足的感覺。PZ7esmc

國外分析機構(gòu)SemiAnalysis的加速器行業(yè)模型追蹤顯示，蘋果購買數(shù)據(jù)中心級別的英偉達顯卡數(shù)量相比科技行業(yè)同級別競爭對手完全不值一提，采購量甚至都排不進前10。這對一家市值萬億的科技公司而言屬實有點兒奇怪。PZ7esmc

這篇文章就從僅有的公開信息，談?wù)勌O果的AI布局——不單是表面看到的AI PC和AI手機那么簡單。PZ7esmc

PZ7esmc

有關(guān)Apple Intelligence，AI在哪兒？

照例回顧一下蘋果已發(fā)布，但還未正式推送（且現(xiàn)狀看來中國大陸暫時不會得到Apple Intelligence的大部分能力）的果味AI能力究竟有哪些花樣。PZ7esmc

在Apple Intelligence支持列表中的蘋果設(shè)備，更新iOS與macOS新版本以后，具備的AI特性包括備忘錄語音轉(zhuǎn)文字、AI照片后期與編輯、Spotlight搜索更快...這些都沒什么新鮮的。PZ7esmc

表現(xiàn)生成式AI特性的，包括有寫作工具、郵件中的增強功能——如收發(fā)郵件的關(guān)鍵總結(jié)和郵件撰寫回復(fù)建議；系統(tǒng)通知的智能總結(jié)；通話內(nèi)容轉(zhuǎn)寫與總結(jié)；更多樣化的文生圖、基于自然語言的照片與視頻搜索；還有Siri強化——學(xué)習(xí)屏幕上顯示的內(nèi)容，可根據(jù)上下文、用戶背景信息和使用習(xí)慣，更智能地響應(yīng)用戶需求...PZ7esmc

PZ7esmc

談得更具體，蘋果的生成式AI實現(xiàn)相比競爭對手，由于蘋果有著全盤掌控生態(tài)的能力，所以在系統(tǒng)中的整合度會顯著更高。PZ7esmc

所以Apple Intelligence因此能做到不少其他市場參與者無法做到的特性，比如說app之間的協(xié)作：在朋友過生日的時候，系統(tǒng)能識別相冊中好友的照片，并智能生成以該好友為主題的生日照片，后直接發(fā)給好友；甚至Siri能從你的相冊中找到你的駕照照片，并在有表單填寫需要時，直接為你填寫駕照號碼...PZ7esmc

另外由于深入整合到操作系統(tǒng)，所以在交互方面也有所謂的“行為智能”。比如Siri基于上下文信息能夠預(yù)測用戶接下來要做什么，像是基于郵件中提到的航班時間，提示用戶航班計劃；或者獲取用戶在備忘錄中寫的用餐信息，提示用戶要按時到達餐館等等...本文不再一一列舉。PZ7esmc

從蘋果官方公布的信息來看，蘋果對待AI的態(tài)度和這家公司做其他消費電子產(chǎn)品類似：雖然蘋果也在云側(cè)AI上接入了OpenAI，但整體仍更傾向于用自己的東西。比如其機器學(xué)習(xí)框架是自己研發(fā)的AXLearn；最令人意想不到的應(yīng)該是據(jù)說蘋果搭建了基于自家M2 Ultra芯片的AI服務(wù)器。PZ7esmc

PZ7esmc

這則信息是5月份MacRumors給出的。報道中指出蘋果用M2 Ultra芯片搭建自己的AI服務(wù)器，這是基于分析師的供應(yīng)鏈信息。據(jù)說當(dāng)時富士康正組裝采用M2 Ultra的蘋果AI服務(wù)器；而且今年晚些時間還計劃組裝基于M4系列芯片的AI服務(wù)器。PZ7esmc

今年6月份的WWDC開發(fā)者大會上，蘋果也基本確認(rèn)了構(gòu)建自有數(shù)據(jù)中心棧。外媒當(dāng)時解讀，蘋果的AI服務(wù)器會采用自家芯片和操作系統(tǒng)。PZ7esmc

不過蘋果并沒有說用了什么樣的芯片、什么樣的操作系統(tǒng)。蘋果在技術(shù)宣傳上一向模糊，當(dāng)時只提到Private Cloud Compute（私有云計算）的AI特性。這一云上環(huán)境據(jù)說能更好地跑AI模型——蘋果將其稱為“將Apple Silicon的能力和安全帶到數(shù)據(jù)中心、為用戶構(gòu)建的服務(wù)器硬件”。PZ7esmc

基于M2 Ultra的AI數(shù)據(jù)中心？

在服務(wù)器上用自家芯片和操作系統(tǒng)符合蘋果垂直整合供應(yīng)鏈的常規(guī)邏輯。今年3月，Sumit Gupta入職蘋果成為云基礎(chǔ)設(shè)施負(fù)責(zé)人——此人以往的工作經(jīng)歷包括最早參與英偉達加速計算，且在IBM從事AI相關(guān)工作，以及后續(xù)加盟谷歌AI基礎(chǔ)設(shè)施團隊——涉足的產(chǎn)品包括谷歌TPU和數(shù)據(jù)中心CPU，AI硬件方面具備相當(dāng)?shù)墓ぷ鹘?jīng)驗?？梢娞O果在構(gòu)建AI基礎(chǔ)設(shè)施方面還是相對認(rèn)真的。PZ7esmc

5月份的報道中說蘋果會用其自家芯片加強數(shù)據(jù)中心的性能，并強化依賴于云的AI工具。因為雖然蘋果更傾向于將AI負(fù)載放在用戶端側(cè)本地去跑——尤其考慮到個人隱私，更復(fù)雜的AI特性還是需要依托于云的。PZ7esmc

但M2 Ultra是面向Mac Studio這類PC或個人工作站設(shè)備的SoC芯片；它不是專用的AI加速器，其上還有大量非NPU和GPU的邏輯電路。這則傳言真的靠譜嗎？PZ7esmc

PZ7esmc

過去幾個月，國外較多媒體報道了蘋果當(dāng)前正就M系列處理器的生產(chǎn)制造做進一步的上量。SemiAnalysis分析文章中提到上量的主要就是M2 Ultra。M2 Ultra作為應(yīng)用于Mac Studio和Mac Pro設(shè)備的高端處理器，在消費用戶端的需求始終保持相對穩(wěn)定。而且從市場大環(huán)境來看，PC設(shè)備暫時也沒有大規(guī)模放量的趨勢。PZ7esmc

那么有較大概率，M2 Ultra還真有可能用于驅(qū)動蘋果的AI服務(wù)器。據(jù)說蘋果的數(shù)據(jù)中心短期內(nèi)就做了雙倍擴張——有媒體還公布了蘋果數(shù)據(jù)中心的衛(wèi)星俯瞰圖，并斷言明年就會有更大規(guī)模的數(shù)據(jù)中心集群上線。PZ7esmc

但從各角度來看，M2 Ultra都不是面向AI數(shù)據(jù)中心特別好的芯片選擇?？赡躆2 Ultra比較符合AI數(shù)據(jù)中心需要、或者令它看起來像是數(shù)據(jù)中心處理器的兩個關(guān)鍵部分：先進封裝、高內(nèi)存帶寬。PZ7esmc

有關(guān)M2 Ultra的先進封裝技術(shù)，電子工程專輯曾在M1 Ultra芯片發(fā)布時針對其所用的InFO-LSI（Local Silicon Interconnect）封裝技術(shù)做過解釋。這是一種采用硅橋（Silicon Bridge）實現(xiàn)兩片die互聯(lián)、來自臺積電的2.5D封裝方案。M2 Ultra用的也是這種方案。PZ7esmc

PZ7esmc

蘋果公布的數(shù)據(jù)是，M2 Ultra總共1340億顆晶體管——單就規(guī)模來看是遠超英偉達H100單芯片的。實際上，在整個PC市場上也很難找到此等規(guī)模的處理器。加上數(shù)據(jù)中心大芯片普遍愛用2.5D/3D先進封裝，氣質(zhì)類型上M2 Ultra還是很像數(shù)據(jù)中心才用得起的芯片——論財大氣粗，舍蘋果其誰。PZ7esmc

而在內(nèi)存帶寬方面，M2 Ultra配備統(tǒng)一內(nèi)存架構(gòu)，加上是由兩片M2 Max組合而成，標(biāo)稱達到了800GB/s的內(nèi)存帶寬。這也是絕大部分PC處理器望塵莫及的；且單純就數(shù)據(jù)中心CPU的內(nèi)存帶寬角度來看，這個數(shù)字也算得上優(yōu)秀。PZ7esmc

但可能我們所知M2 Ultra符合數(shù)據(jù)中心AI處理器芯片的優(yōu)勢項也就僅限于此了。PZ7esmc

蘋果為什么不用英偉達顯卡？

實際上，即便是蘋果引以為傲的內(nèi)存帶寬數(shù)字，在顯卡界也不怎么夠看——面向消費市場的游戲獨立顯卡就能輕易達到這樣的帶寬數(shù)字，雖然英偉達有在顯存容量上節(jié)約成本的優(yōu)良傳統(tǒng)……而在數(shù)據(jù)中心市場，專業(yè)圖形卡以及像H100/H200這樣的加速卡彌補顯存容量問題的同時，在顯存帶寬方面遠超M2 Ultra。PZ7esmc

真正的問題是，從并行計算加速角度來看，M2 Ultra的浮點運算和AI性能或許在PC領(lǐng)域稱得上不錯；但到了數(shù)據(jù)中心市場，大概就只能靠邊站了。英偉達H200的顯存帶寬4.8TB/s，顯存容量141GB——而且是HBM3e，F(xiàn)P32算力67 TFLOPS，Tensor core的FP16算力1979 TFLOPS，INT8算力3958 TOPS；PZ7esmc

再看看M2 Ultra內(nèi)存帶寬800GB/s，容量192GB，雖然特別配備了NPU——但僅兩位數(shù)的TOPS算力數(shù)字，以及GPU的FP32算力27.2 TFLOPS...就知道M2 Ultra在真正的數(shù)據(jù)中心加速器面前有多么無力。從直覺判斷，M2 Ultra畢竟還是有大量晶體管用在了非GPU/NPU部分。即便H100/H200成本和售價也更高，但從AI服務(wù)器單位性能所需的成本，或每1美元可獲取的性能角度來看，M2 Ultra也能被甩出幾條街。PZ7esmc

另一個關(guān)鍵問題是大模型時代的AI負(fù)載往往是跨芯片、跨機架乃至跨節(jié)點的。雖然不清楚蘋果在設(shè)計M2 Ultra的微架構(gòu)時有沒有專門考慮過互聯(lián)和算力擴展問題，即便有過考量（如M2 Max的UltraFusion），作為主要面向消費市場的芯片，要在芯片間的互聯(lián)效率上比肩NVLink就完全不現(xiàn)實了，和其他非英偉達解決方案也存在差距。PZ7esmc

PZ7esmc

有關(guān)蘋果搭建AI基礎(chǔ)設(shè)施為何沒有選擇英偉達顯卡，部分媒體猜測可能在于蘋果與英偉達的陳年往事，包括舊日官司、相關(guān)用戶的產(chǎn)品糾紛等——想必關(guān)注電子科技行業(yè)古早歷史的讀者不會陌生。這大概是個原因，但不是全部。PZ7esmc

就AI模型訓(xùn)練的角度來看，蘋果選擇了牽手谷歌。7月份蘋果發(fā)布了一份研究paper，題為“Apple Intelligence Foundation Language Model（蘋果智能基礎(chǔ)語言模型，AFM）”，其中提到蘋果的生成式AI模型訓(xùn)練選擇使用谷歌TPU。這和Sumit Gupta今年3月份的入職完全對得上；何況還有AXLearn框架是基于JAX計算庫等客觀原因。PZ7esmc

所以在模型訓(xùn)練上選擇谷歌的AI基礎(chǔ)設(shè)施大概是蘋果一早就規(guī)劃好的。谷歌TPU v4和v5是開發(fā)AFM模型的AI加速芯片。服務(wù)器側(cè)的AFM-server用了8192顆TPU v4芯片訓(xùn)練；設(shè)備端30億參數(shù)規(guī)模的AFM-on-device模型用2048顆TPU v5訓(xùn)練得到。PZ7esmc

Paper中還提到，這兩個基礎(chǔ)模型是蘋果生成式模型家族中的一部分?；贏FM語言模型，蘋果還做了像是編程模型——融入到Xcode中；當(dāng)然還有生圖的diffussion模型等。對于蘋果在AI模型訓(xùn)練、優(yōu)化方面感興趣的讀者，可以去看看這份paper。其中也給出了不少AFM模型與競品的比較：蘋果認(rèn)為自家模型優(yōu)于Meta, OpenAI, 谷歌這些對手同規(guī)模的產(chǎn)品。PZ7esmc

模型訓(xùn)練的基礎(chǔ)設(shè)施基于谷歌TPU，是不是和此前傳言蘋果用M2 Ultra搭建AI服務(wù)器相矛盾呢？應(yīng)當(dāng)也不是。這篇paper明確提到了，訓(xùn)練得到的模型一邊跑在iPhone、iPad、Mac之類的端側(cè)設(shè)備上，一邊還要跑在Private Cloud Compute服務(wù)器上——也就是現(xiàn)在很流行說的“端云協(xié)同”嘛。而這個所謂的私有云計算服務(wù)器就是個“Apple Silicon服務(wù)器”。PZ7esmc

PZ7esmc

即便它未必是傳言中的M2 Ultra，也至少是Apple Silicon——就傳統(tǒng)意義上的AI推理效率來看，M2 Ultra仍然和英偉達Hopper架構(gòu)的推理GPU相去甚遠，如前文分析的那樣。一方面這可能和蘋果熱衷于垂直整合，以及更傾向于一手包辦有關(guān)；另一方面，以蘋果對自家生態(tài)的掌控能力，Apple Intelligence的諸多特性是要將AI滲透到整個生態(tài)中的。PZ7esmc

有分析師認(rèn)為，因為蘋果所有共享底層的完整系統(tǒng)、軟件和服務(wù)棧都跑在自家芯片上：為達成自下而上的AI能力，操作系統(tǒng)、應(yīng)用和數(shù)據(jù)在本地跑一份，在云上也近似地跑一份。就如前文提到的，某些生成式AI特性，諸如通知、文檔、通話內(nèi)容總結(jié)，還是需要云的參與。那么原生或近似原生的蘋果全棧環(huán)境是最友好和高效的。PZ7esmc

在需要確保數(shù)據(jù)和隱私安全、不讓敏感數(shù)據(jù)跑在第三方的前提下，讓用戶數(shù)據(jù)跑在采用自家芯片的AI數(shù)據(jù)中心里是理所應(yīng)當(dāng)?shù)摹?span style="display:none">PZ7esmc

雖然我們不知道蘋果AI技術(shù)部署的具體堆棧和架構(gòu)，但對于上述評論，蘋果也在博客文章中透露了少許細節(jié)信息。比如說這個Private Cloud Compute集群里會有和iPhone一樣的硬件安全技術(shù)，如Secure Enclave, Secure Boot；并且其上運行的操作系統(tǒng)是“iOS和macOS為基礎(chǔ)的加固的子集（a hardened subset），在確保盡可能小的攻擊面的同時，為LLM推理負(fù)載量身定做”。PZ7esmc

安全特性方面，還格外強調(diào)了這套基礎(chǔ)設(shè)施是連數(shù)據(jù)中心運維和管理員都受到了大量限制的，完全無法訪問終端用戶給到模型的信息和數(shù)據(jù)。PZ7esmc

這部分不是要談蘋果用于跑AI的云有多么安全，而在于它可能的確提供了一個類似傳統(tǒng)蘋果生態(tài)的環(huán)境，并基于用戶的上下文信息進行云側(cè)的AI推理。而這么做大概率就需要以Apple Silicon蘋果芯片作為底層支撐。PZ7esmc

PZ7esmc

如果蘋果在后續(xù)AI基礎(chǔ)設(shè)施運營中堅持采用自家芯片——且當(dāng)前的這顆芯片的確是M2 Ultra，則基本也可以確認(rèn)M2 Ultra是個短期過渡方案。畢竟從各方面來看，M2 Ultra都不大能勝任AI HPC的工作；而且蘋果還可能需要更多互聯(lián)、存儲相關(guān)的技術(shù)儲備或IP授權(quán)。PZ7esmc

當(dāng)然，現(xiàn)階段我們還很難對蘋果自古以來喜好做封閉生態(tài)，并打算將此延續(xù)到生成式AI時代會產(chǎn)生什么樣的后果發(fā)表評論——畢竟這其中的變數(shù)和現(xiàn)實問題還非常多樣。比如單是基于這樣的思路，怎么在中國推進哪怕是有本地特色的Apple Intelligence都是個巨大的問題。PZ7esmc

還要考慮當(dāng)蘋果期望將AI特性相關(guān)的更多控制權(quán)掌握在手時，更多三方廠商的合作問題——無論是應(yīng)用開發(fā)者還是為開發(fā)者提供服務(wù)器的其他AI服務(wù)供應(yīng)商；蘋果將如何權(quán)衡這其中的控制權(quán)，乃至對整個生態(tài)的控制問題。這也涉及到了生成式AI作為增值服務(wù)的商業(yè)模式，相關(guān)蘋果與開發(fā)者的收益分配。PZ7esmc

另外，作為全球最大且用戶基礎(chǔ)最為廣泛的消費電子企業(yè)，當(dāng)其iPhone和Mac的Apple Intelligence服務(wù)全面上線時，AI基礎(chǔ)設(shè)施將經(jīng)受全球海量用戶的訪問和請求壓力，這是蘋果自己及作為合作方的OpenAI或谷歌可能都需要做好準(zhǔn)備的?；蛟S這也將成為生成式AI全面親近普通消費用戶的第一份頗有分量的答卷。（話又說回來，OpenAI的基礎(chǔ)設(shè)施不就是英偉達的嗎？…PZ7esmc