在生成式AI技術(shù)進(jìn)入手機(jī)之后，手機(jī)開始具備理解自然語言，并做出智能回應(yīng)的能力。好比我們和手機(jī)說“我餓了”，手機(jī)已經(jīng)能夠理解該意圖，并主動(dòng)打開點(diǎn)餐app。rbvesmc

但這在聯(lián)發(fā)科看來仍然是不夠的。最近的天璣9400發(fā)布會(huì)上，聯(lián)發(fā)科技資深副總經(jīng)理徐敬全說，“前沿AI技術(shù)將進(jìn)入新的轉(zhuǎn)折點(diǎn)”，令智能手機(jī)轉(zhuǎn)向“智慧手機(jī)”。rbvesmc

比如在上述“我餓了”的場(chǎng)景中，手機(jī)不應(yīng)該只是幫忙打開個(gè)點(diǎn)餐app就結(jié)束，而應(yīng)當(dāng)知道用戶的個(gè)性化需求，且可自主感知環(huán)境，基于上下文自動(dòng)化點(diǎn)餐操作...rbvesmc

rbvesmc

徐敬全在發(fā)布會(huì)現(xiàn)場(chǎng)演示與手機(jī)AI助手交互，能夠自動(dòng)在肯德基app中，基于當(dāng)前的早餐時(shí)間，個(gè)人喜好，及當(dāng)下需求進(jìn)行食物的推薦及下單；且與徐敬全進(jìn)行多輪交流和對(duì)話。這個(gè)看似簡(jiǎn)單、符合直覺的操作，實(shí)則涉及到底層芯片算力供給、上層生態(tài)搭建等全套基礎(chǔ)設(shè)施問題。rbvesmc

雖然天璣9400手機(jī)芯片的技術(shù)要點(diǎn)并不單純?cè)贏I上，不過借著天璣9400的發(fā)布，我們有機(jī)會(huì)更深入地理解所謂的“智慧手機(jī)”中的“智能體AI芯片”，究竟需要做成什么樣；以及在推進(jìn)Android智能手機(jī)發(fā)展過程中，聯(lián)發(fā)科又做了哪些事。rbvesmc

文章篇幅較長(zhǎng)，可按照索引做選擇性閱讀：rbvesmc

Part 1，天璣9400概覽；rbvesmc

Part 2 & Part 3，CPU與天璣調(diào)度引擎；rbvesmc

Part 4，NPU與智能體化AIrbvesmc

Part 5，GPU與圖形/游戲rbvesmc

Part 6，總結(jié)rbvesmc

Part 1：覽，3個(gè)關(guān)鍵點(diǎn)天璣9400概

rbvesmc

一顆出色的AI手機(jī)芯片，首先必須是一顆出色的手機(jī)芯片。照例先給出天璣9400的配置一覽，順帶對(duì)比上一代天璣9300：rbvesmc

 rbvesmc

基礎(chǔ)配置仍有不少亮點(diǎn)是值得談的。以臺(tái)積電第二代3nm工藝為基礎(chǔ)，CPU、GPU、NPU這三大亮點(diǎn)，后文會(huì)做詳述。從系統(tǒng)性能角度來看，聯(lián)發(fā)科公布的實(shí)驗(yàn)室環(huán)境安兔兔v10跑分超過了300萬分。rbvesmc

除此之外值得一提的是，天璣的常規(guī)強(qiáng)項(xiàng)AI-ISP，可基于DiT模型做攝像頭長(zhǎng)焦清晰度強(qiáng)化；也能覆蓋全焦段做HDR；支持8K杜比視界；藉由新的緩存架構(gòu)，進(jìn)行4K60fps視頻拍攝時(shí)，整機(jī)功耗比前代降低了14%；新版顯示引擎著眼于”三通道顯示“，對(duì)三折疊屏手機(jī)做出了更高分辨率和刷新率的支持（5K @144Hz）…rbvesmc

無線連接部分的提升也是天璣9400的更新重點(diǎn)。前不久的媒體會(huì)上，聯(lián)發(fā)科提到發(fā)布一顆4nm短距連接Wi-Fi/藍(lán)牙芯片，配套天璣9400平臺(tái)，就能實(shí)現(xiàn)三頻并發(fā)Wi-Fi 7總共7.3Gbps吞吐——與聯(lián)發(fā)科Filogic路由器芯片搭配，連線距離增加30米；以及藍(lán)牙12Mbps帶寬，藍(lán)牙終于也能拿捏384KHz采樣率音頻；rbvesmc

基于BLR（Bluetooth Long Range）125Kbps技術(shù)，實(shí)現(xiàn)“公里級(jí)”（1500m）藍(lán)牙連接——這項(xiàng)技術(shù)的實(shí)踐在OEM廠商側(cè)主要體現(xiàn)在這幾天討論度頗高的公里級(jí)“無網(wǎng)藍(lán)牙通信”...至于通信功耗的進(jìn)一步降低等個(gè)中細(xì)節(jié)，實(shí)際都可拿來詳談...rbvesmc

rbvesmc

無奈篇幅有限，這些都不會(huì)作為本文重點(diǎn)去談。實(shí)際上，聯(lián)發(fā)科自己對(duì)于天璣9400的關(guān)鍵信息總結(jié)，概括的“強(qiáng)”“慧”“猛”三大特性，分別談的是“強(qiáng)”——CPU的“PC級(jí)架構(gòu)”，“慧”——智能體化AI，“猛”——體現(xiàn)在3A游戲上。對(duì)應(yīng)到處理器硬件，也就是CPU, NPU和GPU。rbvesmc

那么我們也從這三個(gè)“特性”或角度，來細(xì)談天璣9400的核心技術(shù)，以及邁入智能體化AI手機(jī)時(shí)代的芯片設(shè)計(jì)。rbvesmc

Part 2：CPU依舊，且“滿血”全大核

rbvesmc

天璣9400的CPU“第二代全大核”是更加名副其實(shí)的：除了將其中一顆大核更換為Cortex-X925、進(jìn)一步提升了頻率，更重要的是面向核心個(gè)體的L2 cache實(shí)現(xiàn)了真正的“滿血”。天璣9300可能是受制于4nm工藝的間距與功耗，而未能將CPU的“大核”cache技能點(diǎn)點(diǎn)滿。rbvesmc

天璣9400彌補(bǔ)了這一缺失，CPU核心L2 cache總量相比天璣9300增加了1倍；CPU核心共享的L3 cache也擴(kuò)容50%；SLC（System Level Cache）的尺寸雖然沒變，但聯(lián)發(fā)科將其稱為SLC 2.0，面向開發(fā)者“開放了更多接口”。理論上，CPU及系統(tǒng)性能應(yīng)當(dāng)會(huì)從存儲(chǔ)系統(tǒng)的變化中收益頗多。rbvesmc

配套的內(nèi)存規(guī)格支持，也達(dá)成了25%的提升，令天璣9400成為首個(gè)支持最高速率10.7Gbps LPDDR5X內(nèi)存的手機(jī)AP SoC。這些算得上是一整套組合拳。rbvesmc

rbvesmc

核心之中換新的Cortex-X925是格外值得一提的。聯(lián)發(fā)科在媒體會(huì)上指出Cortex-X925是Arm推出的近5代超大核中，性能增長(zhǎng)幅度最大的一代，IPC增幅15%；甚至從核心微架構(gòu)的前端到后端用料，聯(lián)發(fā)科都將Cortex-X925與競(jìng)品的大核做了規(guī)模比較，可見對(duì)性能是相當(dāng)自信的。rbvesmc

Arm今年中發(fā)布了新版CSS平臺(tái)的多個(gè)CPU IP，基于Armv9.2架構(gòu)。其中最大規(guī)模的CPU設(shè)計(jì)就是Cortex-X925。聯(lián)發(fā)科把天璣9400的CPU稱作“PC級(jí)”架構(gòu)，部分依據(jù)也來自Arm宣稱Cortex-X925的IPC超過了桌面端的Intel和AMD，且該IP本身也面向筆記本應(yīng)用。rbvesmc

Cortex-X925前端同為10-wide的decode與dispatch寬度，不過對(duì)應(yīng)的指令窗口大小（instruction window）翻了一倍；配套L1-I和TLB都做了擴(kuò)容。后端執(zhí)行也大幅加料，如SIMD/FP執(zhí)行寬度加到6x 128b。外加核心寄存器堆結(jié)構(gòu)提升，ROB容量和指令發(fā)射隊(duì)列擴(kuò)大等...都表現(xiàn)出這代核心架構(gòu)的拓寬。rbvesmc

rbvesmc

同時(shí)DVFS及更多高級(jí)電源管理特性，也讓X925一定程度兼顧了效率?；诖?，聯(lián)發(fā)科在發(fā)布會(huì)上指出天璣9400的CPU單核性能提升35%（基于Geekbench v6.2）——恰巧和Arm官方給出Cortex-X925約36%的提升幅度相當(dāng)。rbvesmc

rbvesmc

不過需要注意的是，一方面，聯(lián)發(fā)科并沒有給天璣9400的Cortex-X925上Arm推薦的最高3.8GHz頻率。聯(lián)發(fā)科對(duì)此的解釋是，由于X925的IPC足夠出色，所以并不需要過多推高頻率就能達(dá)成出色性能，功耗也不會(huì)太高。我們認(rèn)為，此處35%的單核性能提升，有極大部分是由于cache容量的增加；畢竟前代的cache堆料是略有不足的。rbvesmc

性能提升的目標(biāo)也就達(dá)成了。35%的單核性能提升，就當(dāng)代CPU換代而言實(shí)在是個(gè)不低的數(shù)字——甚至還可能威脅到了素有單核性能之王之稱的蘋果；也高過高通去年的旗艦（應(yīng)當(dāng)是指驍龍8 Gen 3；且不知道高通現(xiàn)在有沒有一點(diǎn)后悔收購(gòu)Nuvia）。rbvesmc

另一方面，聯(lián)發(fā)科也沒有按照CSS平臺(tái)的推薦去搭配大中小核。當(dāng)然“全大核”本身是現(xiàn)在天璣旗艦芯片的策略，但在第三個(gè)核心集群上，聯(lián)發(fā)科也并未選擇今年更新的Cortex-A725。聯(lián)發(fā)科的說法是其首要考慮的是達(dá)成對(duì)應(yīng)的性能和功耗目標(biāo)，而非強(qiáng)調(diào)一定要用新IP；天璣9400的這種CPU核心組成方式，是謹(jǐn)慎評(píng)估后的結(jié)果。rbvesmc

談一下我們的看法：Cortex-A725相較于A720的主要變化，包括有拓寬指令發(fā)射序列、ROB大小、更大的L2 cache等。其整體思路也在于將核心規(guī)模做大。這樣的核心放在Arm推薦的大中小核心搭配方式下，做迭代是成立的。但在“全大核”思路上，當(dāng)做PPA取舍時(shí)，用A725取代A720可能就沒那么合理了——尤其在“A”局限的前提下，還要考慮其他大核的資源配給問題。rbvesmc

而且Cortex-A720改用3nm制造，搭配聯(lián)發(fā)科可能做的進(jìn)一步優(yōu)化，也能達(dá)成效率提升。rbvesmc

rbvesmc

不出意外的Geekbench v6.2多核性能測(cè)試中，天璣9400的性能相較上代提升28%。全大核思路則令其大幅甩開了驍龍競(jìng)品。更關(guān)鍵的是，天璣9400的CPU在達(dá)成9300的峰值性能時(shí)，功耗降低了40%。rbvesmc

常見app的日常使用場(chǎng)景下，包括看直播、聽音樂、微信通話、Wi-Fi下載時(shí)的功耗，有著13%-32%的下降。這應(yīng)當(dāng)也能體現(xiàn)出即便沿用此前的IP，在新工藝及設(shè)計(jì)優(yōu)化下，可獲得的能效紅利依舊不俗。rbvesmc

Part 3：Android卡頓“玄學(xué)”，快要解決了

rbvesmc

有關(guān)CPU微架構(gòu)和性能，聯(lián)發(fā)科在媒體會(huì)上特別強(qiáng)調(diào)了Arm v9的SVE2擴(kuò)展指令，以及在該指令加速的生態(tài)方面，與快手、虹軟之間的合作，促成app某些功能的性能強(qiáng)化與功耗降低；并表示SVE2在常規(guī)應(yīng)用里也正走向落地…rbvesmc

受限于篇幅，本文不再就CPU微架構(gòu)及性能、能效做更多闡述。但從聯(lián)發(fā)科公布的數(shù)字不難發(fā)現(xiàn)，天璣9400是CPU性能提升相當(dāng)給力的一代——不曾想天璣9300放完“全大核”的大招，天璣9400還能再做一次強(qiáng)有力的持續(xù)追擊。rbvesmc

不過性能及能效的直觀提升不是全部。CPU部分最后值得一提的，是聯(lián)發(fā)科在媒體會(huì)上少見地將較多篇幅放在了軟件上：此處的軟件特指“天璣調(diào)度引擎”。這可能也表現(xiàn)了EDA企業(yè)這兩年強(qiáng)調(diào)的一大趨勢(shì)：芯片設(shè)計(jì)越來越無法脫離系統(tǒng)設(shè)計(jì)存在，以及應(yīng)用導(dǎo)向的芯片設(shè)計(jì)。直接表現(xiàn)就是芯片設(shè)計(jì)企業(yè)正“涉足得越來越廣”。rbvesmc

rbvesmc

更精準(zhǔn)的調(diào)度策略是達(dá)成更佳用戶體驗(yàn)的關(guān)鍵，所以這是個(gè)更關(guān)乎“體驗(yàn)”的技術(shù)或特性。聯(lián)發(fā)科總結(jié)“天璣調(diào)度引擎“的三大特點(diǎn)（1）前臺(tái)應(yīng)用，算力傾斜；（2）關(guān)鍵資源，專道專行；（3）據(jù)實(shí)感知，靈活調(diào)整。rbvesmc

這三點(diǎn)似乎都是線程調(diào)度上，相當(dāng)符合直覺的思路。但真的執(zhí)行起來，可就面臨不少問題了。要不然直接用Android默認(rèn)調(diào)度策略就成了。rbvesmc

比如說系統(tǒng)經(jīng)常“框不準(zhǔn)”前臺(tái)應(yīng)用的所有線程，故而也很難給予這些線程大幅度的“算力傾斜”。聯(lián)發(fā)科表示，天璣調(diào)度引擎有把握完美標(biāo)注臺(tái)前線程——在此前提下，將大部分硬件資源給到前臺(tái)。而且這不是單純的人工白名單機(jī)制，具備了通用性。rbvesmc

另外，天璣調(diào)度引擎能夠確保系統(tǒng)為臺(tái)前線程保留資源，避免搶占；以及針對(duì)特定場(chǎng)景，可判斷動(dòng)態(tài)加入的線程，以分配算力——比如調(diào)度引擎知道微信小程序是來源于微信這個(gè)母程序，則可給予臺(tái)前算力最優(yōu)資源，確保小程序使用的流程。rbvesmc

在手機(jī)使用過程中，偶爾出現(xiàn)的卡頓，就可能是由調(diào)度機(jī)制的不完善造成的；也是過去我們常說Android系統(tǒng)“卡頓”玄學(xué)的部分由來。rbvesmc

所以聯(lián)發(fā)科提出了一個(gè)相對(duì)極端的場(chǎng)景：后臺(tái)放個(gè)可100%占用CPU的程序，此時(shí)前臺(tái)再跑大型3D游戲。則在天璣調(diào)度引擎的輔助下，游戲跑在天璣9400之上，依然可滿幀運(yùn)行；而天璣9300和驍龍8 Gen 3就可能連一半的幀率都跑不到了。這就是調(diào)度的威力。rbvesmc

rbvesmc

除了上述重載場(chǎng)景，在輕載場(chǎng)景下，聯(lián)發(fā)科終于也開始正視用戶點(diǎn)擊app的啟動(dòng)響應(yīng)時(shí)間，及“啟動(dòng)響應(yīng)誤差”了。App啟動(dòng)響應(yīng)大約可以定義為，點(diǎn)擊操作到第一幀畫面彈出放大，這之間的響應(yīng)時(shí)間；而響應(yīng)誤差，則是指每次進(jìn)行相同操作的響應(yīng)時(shí)間差異。rbvesmc

再加上滑動(dòng)啟停的跟手程度，聯(lián)發(fā)科表示，近些年他們對(duì)UX做深入研究，發(fā)現(xiàn)用戶對(duì)操作“卡頓”與否或體驗(yàn)是否流暢，與這些要素有相當(dāng)大的關(guān)聯(lián)，而iPhone是其中做得相當(dāng)不錯(cuò)的。rbvesmc

天璣9300已經(jīng)就這幾項(xiàng)參數(shù)做努力，天璣9400則期望做到app啟動(dòng)響應(yīng)曲線的更扁平，以及滑動(dòng)啟停的更迅速。rbvesmc

前者目前據(jù)說已經(jīng)<200ms，向著100ms推進(jìn)，且確保每次操作的誤差可控（聯(lián)發(fā)科的數(shù)據(jù)是，比驍龍快2倍以上）；后者則在實(shí)驗(yàn)室達(dá)成了啟110ms、停40ms延遲響應(yīng)的理想結(jié)果，只不過還需要與合作伙伴做更進(jìn)一步的協(xié)同和落地。rbvesmc

rbvesmc

這在我們看來是Android生態(tài)未來發(fā)展及體驗(yàn)提升的重要一步，現(xiàn)如今也終于看到聯(lián)發(fā)科帶頭推進(jìn)了。而且很難得的，有芯片企業(yè)愿意將精力真正投入到使用體驗(yàn)，而不單是市場(chǎng)看重的跑分上。rbvesmc

補(bǔ)充一點(diǎn)：上述“輕載場(chǎng)景”更相關(guān)用戶體驗(yàn)，與天璣調(diào)度引擎的關(guān)聯(lián)在于，毫秒級(jí)響應(yīng)也需要調(diào)度引擎確保操作過程不會(huì)被打斷，包括CPU滿載情況下的app啟動(dòng)速度，以及幫助達(dá)成諸如app啟動(dòng)響應(yīng)誤差盡可能小這類目標(biāo)。rbvesmc

Part 4：智能體化AI，天璣AI生態(tài)野心

rbvesmc

去年天璣9300發(fā)布會(huì)的報(bào)道文章里，我們就提到以往手機(jī)芯片發(fā)布會(huì)重頭戲的CPU和GPU，現(xiàn)在開始給NPU/APU讓道了。天璣9400發(fā)布會(huì)也不例外，聯(lián)發(fā)科將最多的時(shí)間分配給了AI技術(shù)，這次是智能體化AI。rbvesmc

天璣9400的AI處理單元更新至NPU 890。除了ETHZ AI Benchmark v6.0跑分超過6700分，較上代提升1.4倍；達(dá)成上代同性能的功耗則下降了35%這樣的量化數(shù)字之外；更重要的還是在于NPU本身的改進(jìn)，及天璣AI生態(tài)的進(jìn)化。rbvesmc

rbvesmc

先拋開聯(lián)發(fā)科在PPT上給NPU 890加的這么多特性描述不談——理解了聯(lián)發(fā)科的思路，這張PPT的內(nèi)容自然也就理解了?；谖氖卓系禄c(diǎn)單的例子，我們可以將“智能體化AI”總結(jié)為，讓手機(jī)成為更主動(dòng)的AI管家，會(huì)基于周圍環(huán)境、記憶的個(gè)性化需求，去主動(dòng)思考、計(jì)劃與執(zhí)行。rbvesmc

為達(dá)成這一目標(biāo)，聯(lián)發(fā)科認(rèn)為在智能體化AI上，至少需要4項(xiàng)關(guān)鍵技術(shù)投入。（1）多模態(tài)用戶輸入支持，MoE（專家混合模型）支持；（2）視頻生成，典型如將靜態(tài)圖片轉(zhuǎn)為動(dòng)態(tài)畫面：（3）天璣AI智能體化引擎；（4）端側(cè)LoRA訓(xùn)練。以下一個(gè)個(gè)來看。rbvesmc

首先，多模態(tài)輸入至少就需要涵蓋文、聲、圖。比如拍張照給AI助手看的同時(shí)，還對(duì)她說出需求。手機(jī)這類端側(cè)設(shè)備達(dá)成多模態(tài)輸入的最大挑戰(zhàn)，在于輸入數(shù)據(jù)量會(huì)因此變大，“至少需要8K以上的輸入文本”，也就會(huì)對(duì)內(nèi)存容量產(chǎn)生不切實(shí)際的需求。rbvesmc

聯(lián)發(fā)科的解決方案是“低位寬KV緩存”（low-bit quantization for KV cache, 一種針對(duì)LLM壓縮KV cache尺寸的方案）技術(shù)，結(jié)合GQA（grouped-query attention，一種將query heads做分組，共享KV矩陣的優(yōu)化方案）據(jù)說能降低50%的內(nèi)存用量。rbvesmc

最終結(jié)果是輸入文本長(zhǎng)度提升至32k，相比上代提升8倍——整體也就為多模態(tài)輸入提供了基礎(chǔ)。另外多模態(tài)輸出能力也達(dá)到了50 tokens/s的水平。rbvesmc

rbvesmc

現(xiàn)場(chǎng)聯(lián)發(fā)科演示了借助這樣的能力，在看不懂英文菜單時(shí)，只需要用手機(jī)拍攝菜單，直接和AI助手對(duì)話，讓她基于你的個(gè)性化需求來推薦菜品，乃至計(jì)算卡路里、價(jià)格等…這也是與面壁智能的合作成果，顯然離“智能體化AI”、主動(dòng)式AI助手更進(jìn)了一步。rbvesmc

至于MoE模型支持，在手機(jī)上應(yīng)該也是第一次。對(duì)此，天璣9400“所有運(yùn)算都在硬件層面做了優(yōu)化和加速”，“完整相容NPU”。rbvesmc

其次，是本次宣傳的重頭戲之一，端側(cè)視頻生成——也就是將描述文字或靜態(tài)圖片轉(zhuǎn)為會(huì)動(dòng)的視頻。理論上以手機(jī)端側(cè)算力，要實(shí)現(xiàn)這樣的生成式AI能力還是很勉強(qiáng)的。rbvesmc

此時(shí)一般思路是做硬件加速。所以NPU 890新增的時(shí)域張量硬件指令加速，和本次發(fā)布的高畫質(zhì)DiT（Diffusion Transformer）就派上用場(chǎng)了，而且是基于靜態(tài)圖片+運(yùn)動(dòng)軌跡的“高畫質(zhì)視頻”。雖說時(shí)域張量硬件加速的用途應(yīng)當(dāng)不只是生成視頻，但總感覺聯(lián)發(fā)科為此堆了DSA還挺奢侈的。rbvesmc

原有文生圖能力自然也獲得了大幅提升，生圖速度至多快100%；且這次更強(qiáng)調(diào)Stable Diffusion XL高清文生圖。聯(lián)發(fā)科的數(shù)據(jù)是，相較于此前不得不借助云上算力來生圖，考慮網(wǎng)絡(luò)延遲及請(qǐng)求排隊(duì)問題，天璣9400的端側(cè)SDXL生圖速度還比云生圖快了2倍。rbvesmc

rbvesmc

第三，天璣AI智能體化引擎（Agentic AI Engine）。我們理解這里的“引擎”本質(zhì)上是聯(lián)發(fā)科想要構(gòu)建智能體化AI生態(tài)的載體。它不是某個(gè)具體的硬件或軟件組件；也真正體現(xiàn)了聯(lián)發(fā)科構(gòu)建生成式AI生態(tài)的野心。rbvesmc

比如在該生態(tài)下，AI模型與app分離——app如果需要使用AI模型，可訪問集中化的端側(cè)模型服務(wù)；其次在于結(jié)合RAG與LoRA，實(shí)現(xiàn)有上下文場(chǎng)景、個(gè)性化的AI體驗(yàn)；還有提供標(biāo)準(zhǔn)化的定義接口，app使用標(biāo)準(zhǔn)接口就能與其他app做溝通與交流——實(shí)現(xiàn)跨應(yīng)用的串接與整合。rbvesmc

相關(guān)“天璣AI智能體化引擎”，聯(lián)發(fā)科在媒體會(huì)上談的篇幅并不多。我們認(rèn)為，這個(gè)概念一方面是從更底層、全局地鋪陳AI服務(wù)，對(duì)Android平臺(tái)原本碎片化的AI實(shí)現(xiàn)是個(gè)好事；但與此同時(shí)，這種生態(tài)構(gòu)建的難度也不小。rbvesmc

因?yàn)槁?lián)發(fā)科在此面臨的競(jìng)爭(zhēng)對(duì)手不僅是同生態(tài)位的高通，還在于Android生態(tài)鏈條上，其他各層級(jí)參與者。不出意料的，聯(lián)發(fā)科也特別針對(duì)天璣AI智能體化引擎，發(fā)起了“先鋒計(jì)劃”。會(huì)上公布的參與者包括榮耀、OPPO、vivo、小米、傳音等。rbvesmc

rbvesmc

具體到app，文首所說的肯德基app就是借助該引擎達(dá)成了對(duì)應(yīng)的智能體化AI能力。其他已經(jīng)做出此類“智能體化”支持的app還有攜程、全民K歌、貓眼、高德地圖、酷樂潮玩等。而在AI模型端，接入天璣AI生態(tài)的參與者們——包括百度、百川、Meta等，應(yīng)當(dāng)都能為此貢獻(xiàn)力量。rbvesmc

所以這是個(gè)涉及AI模型企業(yè)、app開發(fā)者、操作系統(tǒng)供應(yīng)商、手機(jī)OEM廠商等多重角色的生態(tài)。后續(xù)的天璣開發(fā)者大會(huì)大概會(huì)有相關(guān)天璣AI智能化引擎的更多信息披露——這無疑是個(gè)重頭戲。rbvesmc

最后一項(xiàng)關(guān)鍵技術(shù)，就是端側(cè)LoRA訓(xùn)練。以往的天璣新品發(fā)布會(huì)及開發(fā)者大會(huì)，聯(lián)發(fā)科也總在提LoRA技術(shù)的重要性。不過去年LoRA訓(xùn)練還是在云上進(jìn)行的，但在AI愈發(fā)注重隱私、個(gè)性化和實(shí)時(shí)性需求的當(dāng)下，聯(lián)發(fā)科認(rèn)為能在本地做LoRA訓(xùn)練是必要的思路。rbvesmc

rbvesmc

LoRA本質(zhì)上作為一種高效的fine-tuning技術(shù)，也的確是本地實(shí)現(xiàn)AI模型個(gè)性化適配的絕佳方式。rbvesmc

NPU 890的新特性注解中有一項(xiàng)“Backpropagation算子硬件訓(xùn)練加速”主要就是為此準(zhǔn)備的。Backpropogation本身就能提升LoRA本地訓(xùn)練的效率。而硬件加速，應(yīng)該是將所謂“反向傳播”的某些原本要跑在CPU, GPU上的逆運(yùn)算也都搬到NPU上以提升速度和效率。rbvesmc

從前述時(shí)域張量指令加速和此處Backpropagation算子硬件訓(xùn)練加速不難發(fā)現(xiàn)，聯(lián)發(fā)科發(fā)展AI的決心，以及特定的判斷，還真是堪稱快準(zhǔn)狠——而且要考慮手機(jī)AP SoC長(zhǎng)達(dá)12-18個(gè)月的設(shè)計(jì)周期，考驗(yàn)的還真是芯片設(shè)計(jì)企業(yè)的遠(yuǎn)見和一點(diǎn)點(diǎn)的運(yùn)氣。畢竟行業(yè)里還沒有其他人這么做。rbvesmc

有關(guān)端側(cè)LoRA訓(xùn)練，發(fā)布會(huì)上令人印象比深刻的應(yīng)用案例，是聯(lián)發(fā)科與虹軟已經(jīng)落地的合作：比如手機(jī)拍到某個(gè)朋友的照片是糊的，則借助端側(cè)LoRA訓(xùn)練特性，讓AI模型學(xué)習(xí)相冊(cè)中該好友其他清晰的照片，最終應(yīng)用到這張模糊的照片上，實(shí)現(xiàn)人像的清晰化。其效果會(huì)遠(yuǎn)好于超分、去模糊之類的常規(guī)算法。rbvesmc

rbvesmc

整個(gè)過程完全在本地進(jìn)行，也就沒有了隱私和安全方面的顧慮。rbvesmc

理解了上面這4項(xiàng)關(guān)鍵技術(shù)，對(duì)于NPU 890的諸多特性自然也就有了相對(duì)更深入的理解。而NPU 890顯然也更是“應(yīng)用導(dǎo)向的芯片設(shè)計(jì)”這一思路的鮮活力證。rbvesmc

Part 5：U藝術(shù)“后滿幀時(shí)代”的GP

rbvesmc

說完CPU和NPU，最后要談的自然就是天璣9400的圖形性能與新特性了。這部分我們分3大點(diǎn)來談：（1）游戲性能提升與功耗降低，GPU的配套改進(jìn)；（2）天璣9400引入的OMM特性；（3）其他圖形新特性，及AI的加持。rbvesmc

先談?wù)剤D形與游戲性能、功耗方面的變化——這也是普通用戶最關(guān)心的。相比天璣9300，其GFXBench Aztech Ruins Vulkan跑分提升38%，Manhattan 3.1提升18%，還有更體現(xiàn)當(dāng)代游戲負(fù)載的3DMark Steel Nomad Light提升了多達(dá)41%；rbvesmc

rbvesmc

以及《絕區(qū)零》《原神》《星穹鐵道》這三款手機(jī)最難征服的游戲，天璣9400也能30分鐘“滿幀”（60fps）跑。rbvesmc

所以聯(lián)發(fā)科說這是個(gè)“后滿幀時(shí)代”，一方面為游戲開發(fā)者提供了更高的圖形性能上限和更多的手游可能性；另一方面至少現(xiàn)階段，從原本追求性能滿幀，到現(xiàn)如今滿幀前提下盡可能低的功耗，達(dá)成更低的發(fā)熱和更久的游戲續(xù)航。rbvesmc

所以在滿幀的情況下，天璣9400跑《原神》功耗低19%，跑《星穹鐵道》功耗低了32%，跑《絕區(qū)零》功耗也低了29%。從極客灣剛剛公布的實(shí)測(cè)結(jié)果來看，天璣9400的GPU能效已經(jīng)全面超越蘋果A18 Pro。rbvesmc

rbvesmc

天璣9400所用的也是基于Arm最新的第5代GPU，Immortalis-G925，具體用了12個(gè)核心。Arm年中發(fā)布這一IP時(shí)，給出的數(shù)據(jù)是14核的Immortalis-G925相較12核的Immortalis-G720，性能提升37%?；诖丝膳袛嗥涿亢诵阅芴嵘瓤赡茉?7%左右。rbvesmc

這其實(shí)與天璣9400在圖形性能測(cè)試中的得分提升幅度，是不大相合的。只不過即便是圖形性能專項(xiàng)測(cè)試，測(cè)的實(shí)際也是系統(tǒng)性能。包括天璣9400的CPU、存儲(chǔ)子系統(tǒng)、芯片系統(tǒng)設(shè)計(jì)可能都會(huì)產(chǎn)生正面影響。且考慮Immortalis-G925還達(dá)成了更低的功耗，這部分功耗余量也可用于進(jìn)一步提升性能。rbvesmc

值得一提的是，Arm的第5代GPU架構(gòu)整體更新了HSR隱面消除技術(shù)，不再依賴于Z深度排序來決策畫面中對(duì)象的可見性，改用一種名為Fragment Pre-pass的方案——據(jù)說不需要進(jìn)行基于深度做三角形排序sorting，也大大降低了CPU在這一流程中的參與度，大幅提升了效率。rbvesmc

rbvesmc

這對(duì)圖形渲染管線來說絕對(duì)是個(gè)大幅更新。基于現(xiàn)有程序代碼差異，這一改進(jìn)可能本身也會(huì)影響不同圖形測(cè)試的結(jié)果。rbvesmc

另外，這代GPU也有光線追蹤方面的性能顯著改進(jìn)。聯(lián)發(fā)科提供的數(shù)據(jù)是在3DMark的光追Solar Bay測(cè)試中，天璣9400性能較9300提升40%。在相關(guān)光追的圖形特性上，天璣9400的亮點(diǎn)之一在于新增了OMM（Opacity Micro Map）微映射透明度技術(shù)。rbvesmc

Ada Lovelace發(fā)布時(shí)，我們大致解釋過OMM技術(shù)。以繪制一片樹葉為例，繪制像下圖中這樣一片樹葉，一般是搞個(gè)矩形并在其上應(yīng)用紋理。當(dāng)然葉子本身不會(huì)是矩形，則需要某部分為透明狀態(tài)。對(duì)于光線追蹤流程而言，要搞清楚某個(gè)位置是否透明，需要shader參與檢查并反饋給光追單元。rbvesmc

英偉達(dá)為GeForce 40系GPU的光追核心專門引入了OMM引擎負(fù)責(zé)有關(guān)透明度狀態(tài)問題，降低了shader的負(fù)載。簡(jiǎn)單來說，這也是個(gè)提升光追效率、節(jié)約資源的技術(shù)方案。rbvesmc

rbvesmc

聯(lián)發(fā)科將OMM技術(shù)視作移動(dòng)端與PC游戲的交集之一。從示意圖來看， “移動(dòng)端天璣OMM追光引擎”在原理上應(yīng)當(dāng)是相似的。不過聯(lián)發(fā)科并未解釋其具體實(shí)現(xiàn)。據(jù)說聯(lián)發(fā)科已經(jīng)在OMM軟件算法方面投入了超過2年時(shí)間；rbvesmc

OMM特性的生態(tài)構(gòu)建，包括與游戲開發(fā)者合作——《暗區(qū)突圍》已經(jīng)加入了這一特性，在幀率提升50%的同時(shí)，降低了10%的功耗；還有與3DMark, BaseMark等評(píng)測(cè)機(jī)構(gòu)聯(lián)合定義OMM評(píng)測(cè)標(biāo)準(zhǔn)…3DMark當(dāng)前也已經(jīng)有了專項(xiàng)的OMM特性測(cè)試。rbvesmc

rbvesmc

其他相關(guān)游戲與圖形的技術(shù)特性，基本都是圍繞聯(lián)發(fā)科的星速引擎展開的。星速引擎也是過去兩年配套天璣芯片，達(dá)成游戲體驗(yàn)優(yōu)化的關(guān)鍵技術(shù)，涉及調(diào)度、網(wǎng)絡(luò)、觸控延遲、低功耗等技術(shù)組合方案…rbvesmc

游戲低功耗技術(shù)實(shí)現(xiàn)上，天璣倍幀技術(shù)2.0、星速引擎超分技術(shù)是頗具發(fā)展?jié)摿Φ奶匦?/b>。前者是一種結(jié)合了電視插幀方案的技術(shù)；后者則有些類似于FSR超分——聯(lián)發(fā)科與Arm就這項(xiàng)技術(shù)合作，目前正在導(dǎo)入手機(jī)游戲，后續(xù)《極品飛車：集結(jié)》《七日世界》預(yù)備上線該特性…這兩者都是在盡可能不影響體驗(yàn)、減少GPU渲染負(fù)載的情況下，進(jìn)一步降低功耗的技術(shù)方案。rbvesmc