遙想90年代，手機(jī)這類(lèi)移動(dòng)設(shè)備的圖形算力還弱得可憐，連智能手機(jī)操作系統(tǒng)UI的圖形加速技術(shù)起步其實(shí)都比很多人預(yù)想得要晚。而到現(xiàn)如今，移動(dòng)GPU支撐的手機(jī)游戲已經(jīng)成長(zhǎng)為年產(chǎn)值數(shù)千億的產(chǎn)業(yè)。LzResmc

基于Arm Mali GPU的歷史跑分（GFXBench T-Rex），2011年Android機(jī)皇三星Galaxy S2圖形性能差不多相當(dāng)于去年谷歌Pixel 6手機(jī)的5%。這中間也不過(guò)10年時(shí)間。可能時(shí)間再往前拉一點(diǎn)，數(shù)據(jù)會(huì)更夸張——蘋(píng)果當(dāng)年就說(shuō)iPhone 6（2014年）的圖形性能達(dá)到了初代iPhone的84倍（2007年）。而聯(lián)發(fā)科、Arm、Imagination這兩年都已經(jīng)開(kāi)始宣傳移動(dòng)GPU的光追了，真是今時(shí)不同往日。LzResmc

LzResmc

這兩年聯(lián)發(fā)科召開(kāi)天璣旗艦技術(shù)溝通會(huì)，都會(huì)將GPU和圖形相關(guān)技術(shù)當(dāng)做重點(diǎn)去做分享。好像在天璣9000上市之后，聯(lián)發(fā)科在手機(jī)AP SoC市場(chǎng)的話語(yǔ)權(quán)就已經(jīng)被改寫(xiě)了——天璣9000剛剛發(fā)布之際，我就說(shuō)這是聯(lián)發(fā)科暌違多年、嘗試重回旗艦與高端手機(jī)市場(chǎng)的開(kāi)端。今年天璣芯片對(duì)高通驍龍系列的壓力似乎也是前所未見(jiàn)的。話語(yǔ)權(quán)的進(jìn)一步拿捏，也就讓聯(lián)發(fā)科的技術(shù)路線在行業(yè)內(nèi)更為舉足輕重；而聯(lián)發(fā)科的技術(shù)分享，可能也讓我們有機(jī)會(huì)把握新一年手機(jī)技術(shù)的走向。LzResmc

而且似乎一般聯(lián)發(fā)科召開(kāi)這種技術(shù)溝通會(huì)不多久，很快就會(huì)見(jiàn)到手機(jī)SoC新品問(wèn)世——這就讓這種“溝通會(huì)”更像是下一代天璣旗艦芯片的技術(shù)預(yù)分享。那本文就主要來(lái)談?wù)劼?lián)發(fā)科這次分享的手機(jī)GPU技術(shù)路線，來(lái)窺見(jiàn)未來(lái)幾個(gè)月可能會(huì)發(fā)布的天璣旗艦芯片GPU部分大致有哪些技術(shù)點(diǎn)。LzResmc

支持硬件光追的天璣SoC不遠(yuǎn)了

“光線追蹤”這個(gè)詞在移動(dòng)市場(chǎng)大概已經(jīng)預(yù)熱有3年了——雖然光追在PC和工作站領(lǐng)域逐步開(kāi)始普及，但專(zhuān)門(mén)的光追加速單元在手機(jī)、平板之類(lèi)的移動(dòng)設(shè)備上還非常罕見(jiàn)。除了像Imagination這樣的IP供應(yīng)商時(shí)有談起，“率先落地”的應(yīng)該暫時(shí)也只有三星Exynos 2200了——用的是AMD RDNA 2架構(gòu)——但恐怕其中光追加速單元暫時(shí)也沒(méi)什么用，畢竟今年也還沒(méi)怎么看到光追手機(jī)游戲的影子。LzResmc

這兩年聯(lián)發(fā)科也頻繁提到光追，包括去年提到生態(tài)方面與Arm、騰訊游戲等上下游合作伙伴之間的合作。雖然我那個(gè)時(shí)候都仍然不清楚在芯片設(shè)計(jì)的硬件實(shí)現(xiàn)層面，聯(lián)發(fā)科究竟打算怎么做，但聯(lián)發(fā)科的技術(shù)發(fā)言人彼時(shí)就提到雖然在那之前的天璣芯片都沒(méi)有增加光追單元，但“這兩代就已經(jīng)在為光追做準(zhǔn)備，包括渲染指令運(yùn)算、緩存機(jī)制，現(xiàn)在是融入在了IP里面的”。LzResmc

實(shí)際上天璣9000就已經(jīng)開(kāi)始支持基于軟件的光線追蹤了，所以天璣9000發(fā)布會(huì)上也多少聽(tīng)到聯(lián)發(fā)科提到了光線追蹤——但基本是蜻蜓點(diǎn)水式的。在光追游戲的“預(yù)備”和試水上，聯(lián)發(fā)科于天璣9000發(fā)布之際“推出光追SDK產(chǎn)品，我們的客戶也基于天璣系列產(chǎn)品，開(kāi)發(fā)了一系列光追交互壁紙”。LzResmc

這次的技術(shù)溝通會(huì)上，聯(lián)發(fā)科再度提到“從GPU內(nèi)容開(kāi)發(fā)的進(jìn)展來(lái)看，基于移動(dòng)光追的需求可能會(huì)有更大更廣的覆蓋”。“從前年到去年，我們持續(xù)跟游戲引擎合作的這些移動(dòng)光追方案，目前都變成了手游開(kāi)發(fā)者的標(biāo)桿”。與此同時(shí)，“基于VR/AR的需求，移動(dòng)光追技術(shù)也已經(jīng)陸續(xù)在萌芽。”所以“光追技術(shù)已經(jīng)不是專(zhuān)屬于高端游戲需求”...“已經(jīng)越來(lái)越貼近用戶需求”，“沒(méi)有那么遙遠(yuǎn)”。LzResmc

今年年中ARM 正式對(duì)外發(fā)布了新的GPU產(chǎn)品線Immortalis，以及首款支持光追硬件加速的GPU IP，Immortalis-G715（以及包括更低端型號(hào)）。在ARM發(fā)布G715當(dāng)天，聯(lián)發(fā)科就在推特上快速轉(zhuǎn)發(fā)了Arm的發(fā)布信息、表示祝賀，ARM還特別回復(fù)了聯(lián)發(fā)科。與此同時(shí)，ARM的Immortalis-G715的產(chǎn)品介紹頁(yè)面特別列出了聯(lián)發(fā)科的“合作伙伴證言”。這可能表明雙方在光追硬件加速的實(shí)現(xiàn)上，已經(jīng)合作良久了。LzResmc

聯(lián)發(fā)科這次也在會(huì)上提到“聯(lián)發(fā)科與ARM的深度合作以及經(jīng)驗(yàn)共創(chuàng)下，我們催生出新的GPU架構(gòu)”；“我們這三年來(lái)一直在講移動(dòng)光追，也很開(kāi)心我們即將看到開(kāi)花結(jié)果”...這些信號(hào)都表明，基于Immortalis-G715的天璣芯片不遠(yuǎn)了。LzResmc

聯(lián)發(fā)科的光追方案，可能與已有方案不同

有關(guān)Immortalis-G715的第四代Valhall架構(gòu)，此前ARM的發(fā)布會(huì)上多少已經(jīng)提及。此處只關(guān)注其中的光追部分——這的確應(yīng)該是ARM的GPU IP首度加入專(zhuān)用的光追加速單元。LzResmc

有關(guān)光追的基礎(chǔ)知識(shí)就不作科普了，像英偉達(dá)于PC端做光追的思路，就是給GPU增加RT core——這代Ada Lovelace架構(gòu)就是每4個(gè)SM配1個(gè)RT core。這種RT core光追核心的內(nèi)部有用于BVH（Bounding Volume Hierarchy）盒子遍歷，以及光線與三角形相交測(cè)試的專(zhuān)用硬件加速單元。LzResmc

LzResmc

Imagination于移動(dòng)端的Photon架構(gòu)方案中RAC（Ray Acceleration Cluster）也有對(duì)應(yīng)的光追加速單元。一個(gè)較大的差異在于，因?yàn)楣庾穼?duì)算力需求大，像手機(jī)這類(lèi)功耗敏感型設(shè)備不可能比照PC的方案。Imagination在RAC集群中增加了分析光線相干性——或者說(shuō)將光線分組的Packet Coherency Gather。LzResmc

ARM和聯(lián)發(fā)科的方案與上述兩者都有差異。Immortalis-G715自然也要開(kāi)始用硬件加速單元，名為RTU（Ray Tracing Unit）——這對(duì)芯片設(shè)計(jì)企業(yè)而言似乎還是個(gè)可選項(xiàng)。而且值得一提的是，RTU是直接放進(jìn)每個(gè)shader核心里面的，而不是像別家那樣是個(gè)外部的加速器。LzResmc

LzResmc

RTU內(nèi)部也包含了包圍盒與三角形相交測(cè)試加速單元。據(jù)ARM所說(shuō)，這個(gè)RTU只占到shader核心不到4%的部分，但卻達(dá)成了相比于沒(méi)有光線追蹤加速，超過(guò)300%的光追性能增長(zhǎng)——其實(shí)這個(gè)值就加速計(jì)算的維度來(lái)看并不多驚艷。LzResmc

從RTU的占地面積，以及它不作BVH結(jié)構(gòu)處理加速，就能看出Immortalis先期的光追支持沒(méi)有那么激進(jìn)。這可能與Arm和聯(lián)發(fā)科走更低功耗、更小面積之路有關(guān)。LzResmc

另外基于每個(gè)shader核心都帶RTU這一點(diǎn)，則更低階定位的Immortalis-G615也能支持光追——應(yīng)了聯(lián)發(fā)科所說(shuō)，不是高端游戲?qū)?，而是越?lái)越趨向于大眾化的技術(shù)——只不過(guò)受限于G615所能堆的核心數(shù)目，光追性能自然也會(huì)顯著弱于G715。LzResmc

這種方案特性也能反映聯(lián)發(fā)科在溝通會(huì)上反復(fù)強(qiáng)調(diào)的聯(lián)發(fā)科對(duì)于GPU圖形計(jì)算更專(zhuān)注在“能效導(dǎo)向”，“在能效導(dǎo)向的維度里，為了滿足移動(dòng)平臺(tái)，需要考慮長(zhǎng)效續(xù)航的需求，貼近終端用戶的體驗(yàn)需求。在滿足能效導(dǎo)向需求以后，才會(huì)去嘗試堆疊出性能的部分。”LzResmc

移動(dòng)光追的技術(shù)和生態(tài)布局

可能更多同學(xué)比較關(guān)注的并不是誰(shuí)家的光追硬件實(shí)現(xiàn)如何，而是移動(dòng)光追游戲什么時(shí)候來(lái)，以及堆像RTU這樣的單元究竟有什么用。原本這兩個(gè)問(wèn)題大概需要等到Immortalis-715上線以后，生態(tài)被培養(yǎng)起來(lái)，我們才會(huì)了解。不過(guò)這次聯(lián)發(fā)科提到的光追技術(shù)布局和要達(dá)成的最終效果，大概能夠稍稍解答這兩個(gè)問(wèn)題。LzResmc

首先是主流的移動(dòng)光追游戲什么時(shí)候來(lái)的問(wèn)題。我當(dāng)然不知道確切的時(shí)間，無(wú)非也就是明年或后年。但這個(gè)問(wèn)題更本質(zhì)之處在于手機(jī)游戲的光追生態(tài)建設(shè)情況如何。聯(lián)發(fā)科表示早在2020年12月就“提前布局Ray Query技術(shù)方案，啟動(dòng)生態(tài)合作”。LzResmc

在Vulkan世界里，要做光追有兩種選擇，分別是用ray tracing pipeline和ray queries。后者可在任意shader階段用于執(zhí)行光線遍歷并返回結(jié)果。網(wǎng)上能找到一些有關(guān)ray tracing pipeline和ray queries的比較。似乎SIGGRAPH 2019上，還有專(zhuān)家特別談到過(guò)ray tracing pipeline的諸多問(wèn)題，有興趣的同學(xué)可以去找一找。LzResmc

LzResmc

聯(lián)發(fā)科表示：“我們采用Ray Query方案來(lái)縮小和開(kāi)發(fā)者切入的困難點(diǎn)。這些經(jīng)驗(yàn)可以反饋給硬件實(shí)作者，也就是GPU IP廠商，加速他們的光追硬件開(kāi)發(fā)和驅(qū)動(dòng)開(kāi)發(fā)。今年初Khronos也發(fā)布了Vulkan 1.3標(biāo)準(zhǔn)——基于新標(biāo)準(zhǔn)的發(fā)布，聯(lián)發(fā)科的自研方案也可以無(wú)痛切換到行業(yè)標(biāo)準(zhǔn)上繼續(xù)推進(jìn)。”這也是大范圍生態(tài)培養(yǎng)的基礎(chǔ)。LzResmc

另外聯(lián)發(fā)科也提到了Immortalis-G715硬件級(jí)光追。除了RTU以外，也包括GPU本身其他架構(gòu)層面帶來(lái)的性能提升，包括浮點(diǎn)算力的提升、三角形輸出能力提升3倍、帶寬需求優(yōu)化。這些也都是實(shí)踐移動(dòng)光追游戲，以及其他更復(fù)雜游戲場(chǎng)景的基礎(chǔ)。LzResmc

再有就是生態(tài)布局上，“與評(píng)測(cè)工具聯(lián)合推進(jìn)光追生態(tài)”；以及“協(xié)助開(kāi)發(fā)者和硬件廠商定位合理的性能目標(biāo)”。不過(guò)這個(gè)部分聯(lián)發(fā)科談得并不多。其實(shí)移動(dòng)光追生態(tài)能做起來(lái)的基礎(chǔ)，關(guān)鍵仍然在于游戲開(kāi)發(fā)者。想必到新一代手機(jī)AP SoC發(fā)布之際，像聯(lián)發(fā)科這種企業(yè)應(yīng)當(dāng)也會(huì)找對(duì)應(yīng)的游戲開(kāi)發(fā)者來(lái)站臺(tái)。LzResmc

LzResmc

那么第二個(gè)問(wèn)題：光追加速硬件單元究竟有什么用。尤其是像Immortalis-G715這種應(yīng)用RTU方案所能達(dá)成的效果。聯(lián)發(fā)科雖然沒(méi)有說(shuō)Immortalis-G715的光追硬件加速能帶來(lái)什么，但他們也提到了自家布局移動(dòng)光追期望達(dá)到的3個(gè)基礎(chǔ)功能——差不多就等于回答了這第二個(gè)問(wèn)題。LzResmc

這3個(gè)基礎(chǔ)功能分別是光追軟陰影、光追反射效果、全局光照。全局光照是去年聯(lián)發(fā)科在溝通會(huì)上提到的一個(gè)重點(diǎn)，當(dāng)時(shí)主要是說(shuō)開(kāi)放世界游戲需求全局光照的優(yōu)化方案，因?yàn)檫@類(lèi)游戲場(chǎng)景與角色間互動(dòng)很多，動(dòng)態(tài)光源需求也多，而且部分游戲還有時(shí)間系統(tǒng)——則場(chǎng)景變化就很豐富，需要很細(xì)致的光照計(jì)算。這次談得主要是間接光源對(duì)畫(huà)面暗部處理加強(qiáng)，增加場(chǎng)景的真實(shí)感。LzResmc

另外兩個(gè)屬于光追可達(dá)成的固有特性。有關(guān)陰影的呈現(xiàn)，“用光追得到的反射效果會(huì)更為真實(shí)”，這一點(diǎn)我前年就撰文探討過(guò)。Imagination和英偉達(dá)早兩年做光追效果宣傳時(shí)都提到純光柵管線計(jì)算，常規(guī)可獲得的陰影都不夠真實(shí)。其實(shí)要達(dá)成陰影邊緣模糊效果（penumbra），依靠純光柵也有可行的方案，但需要引入額外的特性或技術(shù)，不僅算力開(kāi)銷(xiāo)不小，而且得到的陰影還未必是正確的。光線追蹤在解決這類(lèi)問(wèn)題上有天然的優(yōu)勢(shì)。LzResmc

光追反射效果也大致相似，光追“可以比較真實(shí)地計(jì)算出這些物體相對(duì)應(yīng)反射的角度和位置。”前兩年好像大家更喜歡拿來(lái)形容光追帶來(lái)反射效果真實(shí)性的，是處在畫(huà)面外的部分也可以反映到畫(huà)面中高反光材質(zhì)的反射。當(dāng)然目前還不清楚移動(dòng)光追前期在這方面可達(dá)成的實(shí)際效果，但總的來(lái)說(shuō)也都是讓光影效果更貼近真實(shí)。LzResmc

移動(dòng)GPU增效方案的構(gòu)建和組成

光線追蹤當(dāng)然只是GPU和移動(dòng)圖形技術(shù)加強(qiáng)的一部分，超分、補(bǔ)幀這種屬于計(jì)算機(jī)視覺(jué)領(lǐng)域的技術(shù)現(xiàn)在也在GPU上大放異彩。主要是因?yàn)殡S硬件圖形算力的增長(zhǎng)，游戲開(kāi)發(fā)者又大幅提升了畫(huà)面刷新率、分辨率以及內(nèi)容復(fù)雜度的下限。LzResmc

計(jì)算機(jī)科學(xué)領(lǐng)域一個(gè)亙古不變的事實(shí)就是無(wú)論硬件廠商提供多少性能，軟件開(kāi)發(fā)者能立刻將這些資源吃干抹凈。聯(lián)發(fā)科也說(shuō)現(xiàn)在游戲“內(nèi)容復(fù)雜度是不可控的”，也就“多了對(duì)高畫(huà)質(zhì)的需求”，“所以在移動(dòng)GPU能效和算力上，會(huì)增加很多壓力”。LzResmc

LzResmc

上面這張PPT給出了答案。為應(yīng)對(duì)手機(jī)游戲內(nèi)容復(fù)雜度的增長(zhǎng)，聯(lián)發(fā)科多層面布局移動(dòng)GPU增效方案。自底層硬件絕對(duì)性能提升，到平臺(tái)軟件優(yōu)化、算法布局，以及在圖形渲染以外，借助AI、CV之類(lèi)的技術(shù)來(lái)生成像素與幀，提升體驗(yàn)。LzResmc

所以（1）首先是“芯片性能每年的提升與能效的進(jìn)化”，CPU和GPU“每年維持10-15%的進(jìn)步”。LzResmc

（2）其次是“生態(tài)”，“我們看到64位生態(tài)的推進(jìn)”——這個(gè)說(shuō)的應(yīng)該就是自Arm Cortex-X2/A710/A510及之后CPU逐漸放棄32位支持，更全方位地轉(zhuǎn)向64位。這一點(diǎn)可能也預(yù)示著未來(lái)的天璣芯片對(duì)于Cortex-X3/A715的采用。ARM在前幾個(gè)月的發(fā)布會(huì)上就著重談到了“移動(dòng)計(jì)算生態(tài)全面進(jìn)入64位時(shí)代”，其中就包括游戲。聯(lián)發(fā)科給的數(shù)據(jù)是，“搭配64位游戲引擎升級(jí)，幀率平均提升16%”。LzResmc

生態(tài)相關(guān)的部分也包括“Vulkan的推廣”。聯(lián)發(fā)科解釋說(shuō)，“Vulkan本身就是為了達(dá)到內(nèi)容本質(zhì)上的降載目標(biāo)”，深耕Vulkan生態(tài)是聯(lián)發(fā)科如今的一大策略——聯(lián)發(fā)科在此表達(dá)的應(yīng)該是從芯片制造商的角度對(duì)Vulkan標(biāo)準(zhǔn)做出更快的響應(yīng)和支持。據(jù)說(shuō)聯(lián)發(fā)科的天璣生態(tài)實(shí)驗(yàn)室“深度聯(lián)調(diào)提升Vulkan性能”，讓熱門(mén)游戲Vulkan性能平均提升10%。LzResmc

（3）系統(tǒng)調(diào)度、驅(qū)動(dòng)優(yōu)化。“比如溫控穩(wěn)幀算法，就是這個(gè)類(lèi)型的增效技術(shù)”。這兩年手機(jī)OEM廠商對(duì)此宣傳還是比較積極地。LzResmc

（4）自適應(yīng)調(diào)度，或者說(shuō)自適應(yīng)框架的應(yīng)用。“越來(lái)越多的軟件框架能夠達(dá)到系統(tǒng)平衡與內(nèi)容開(kāi)發(fā)的聯(lián)動(dòng)。”比如說(shuō)Google ADPF、騰訊TGPA、Arm Adaptive Performance。借助這種自適應(yīng)框架，開(kāi)發(fā)者能夠獲取來(lái)自系統(tǒng)、芯片的實(shí)時(shí)信息，然后對(duì)內(nèi)容做實(shí)時(shí)的負(fù)載調(diào)整，這對(duì)性能和效率發(fā)揮會(huì)大有益處。聯(lián)發(fā)科認(rèn)為這會(huì)成為未來(lái)的一大趨勢(shì)。LzResmc

（5）平臺(tái)廠商的自研算法，如VRS（可變速率著色）、超分、補(bǔ)幀等。這些也是需要生態(tài)構(gòu)建的。LzResmc

LzResmc

當(dāng)然，聯(lián)發(fā)科的技術(shù)分享會(huì)并不只是探討GPU與圖形技術(shù)，一整個(gè)下午的分享還涵蓋AI多媒體、5G 調(diào)制解調(diào)器、Wi-Fi無(wú)線網(wǎng)絡(luò)、無(wú)線藍(lán)牙音頻和高精度定位技術(shù)的相關(guān)發(fā)展趨勢(shì)——畢竟這些要么作為AP SoC的組成部分存在，要么有極大的關(guān)聯(lián)性，而且也都是時(shí)下熱點(diǎn)。LzResmc

聯(lián)發(fā)科帶來(lái)的AI圖像語(yǔ)義分割、5G新雙通、Wi-Fi 7、高保真藍(lán)牙音頻、高精度導(dǎo)航等最新的前沿技術(shù)都還是挺有意思的——像是5G時(shí)代的“新雙通”就談到了聯(lián)發(fā)科在雙卡雙通之類(lèi)的問(wèn)題上在5G實(shí)施過(guò)程中遭遇的挑戰(zhàn)和做出的努力，后續(xù)有機(jī)會(huì)我可以單獨(dú)撰文來(lái)談一談。LzResmc

似乎基于這些技術(shù)熱點(diǎn)的分享，大致也能勾勒出即將到來(lái)的下一代天璣旗艦芯片的大致樣貌了（最近有消息說(shuō)是天璣9200）。尤其GPU部分，以上探討的所有內(nèi)容都有大概率出現(xiàn)在天璣9000的后續(xù)手機(jī)AP SoC上。而“能玩移動(dòng)光追手游”，有機(jī)會(huì)成為明后年智能手機(jī)的核心體驗(yàn)。臨近年底，聯(lián)發(fā)科即將發(fā)布新品的消息不脛而走，下一代天璣旗艦芯片將為行業(yè)帶來(lái)哪些新的話題，讓我們保持期待。LzResmc