我們對(duì)生成式AI端側(cè)應(yīng)用的想象力，似乎還相當(dāng)欠缺。比如說(shuō)K歌軟件應(yīng)用AI技術(shù)，大部分人能想到的應(yīng)該是唱完以后AI修音+美化。bFuesmc

但其實(shí)在最近MDDC天璣開(kāi)發(fā)者大會(huì)上，全民K歌展示的是，只需要對(duì)著麥克風(fēng)唱歌30秒，基于端側(cè)模型，就能用你的聲音生成所有你想唱的歌曲——不需要你自己唱...這在幾年前應(yīng)該是個(gè)完全不可想象的應(yīng)用場(chǎng)景。bFuesmc

bFuesmc

這其中有個(gè)潛移默化的轉(zhuǎn)變：以過(guò)往開(kāi)發(fā)生態(tài)的傳統(tǒng)來(lái)看，這類app通常借助操作系統(tǒng)或更上層的標(biāo)準(zhǔn)API，亦或與OEM廠商合作來(lái)實(shí)現(xiàn)不同的功能。但在AI渴求芯片高效算力的時(shí)代，此類生態(tài)的中心卻開(kāi)始向芯片廠商傾斜了。上述全民K歌的“AI歌聲”特性，就是全民K歌和聯(lián)發(fā)科合作，將端側(cè)模型落地到天璣9300上實(shí)現(xiàn)的。bFuesmc

王小川（百川智能創(chuàng)始人、CEO）在圓桌發(fā)言中提到，他當(dāng)年還在做輸入法時(shí)合作的都是終端廠商，但現(xiàn)在做大模型“涉及到算力”，“開(kāi)始和芯片廠商產(chǎn)生碰撞。”“在生成式AI到來(lái)以后，聯(lián)發(fā)科所在的生態(tài)位，肩負(fù)的責(zé)任變得更大。”MDDC本身是聯(lián)發(fā)科首次公開(kāi)舉辦的大規(guī)模生態(tài)合作活動(dòng)，推廣“天璣AI先鋒計(jì)劃”，在我們看來(lái)算得上是吹響構(gòu)建移動(dòng)AI生態(tài)的號(hào)角。bFuesmc

bFuesmc

所以我們看到聯(lián)發(fā)科協(xié)同Counterpoint，與包括阿里云、百川智能、虎牙直播、酷狗音樂(lè)、零一萬(wàn)物、OPPO、vivo、騰訊AI Lab等在內(nèi)的合作伙伴聯(lián)合發(fā)布了《生成式AI手機(jī)產(chǎn)業(yè)白皮書(shū)》，率先定義 “生成式AI手機(jī)”。與此同時(shí)，面向開(kāi)發(fā)者發(fā)布“天璣AI開(kāi)發(fā)套件”；覆蓋“全場(chǎng)景終端”，囊括手機(jī)、平板、IoT、汽車，乃至可能在規(guī)劃中的筆記本PC。bFuesmc

陳冠州（聯(lián)發(fā)科技董事，總經(jīng)理暨營(yíng)運(yùn)長(zhǎng)）表示：“通過(guò)天璣平臺(tái)的優(yōu)勢(shì)，以及‘天璣AI先鋒計(jì)劃’，聯(lián)發(fā)科將融合產(chǎn)業(yè)生態(tài)伙伴的力量，高效地賦能開(kāi)發(fā)者，加速構(gòu)建從云端到終端的AI新生態(tài)，推動(dòng)生成式AI技術(shù)在智能終端上的應(yīng)用普及，讓更多用戶享受到全新的高端生成式AI體驗(yàn)，加速萬(wàn)物AI時(shí)代的到來(lái)。”。bFuesmc

bFuesmc

這樣一來(lái)，本次發(fā)布的天璣9300+芯片就成為了整個(gè)天璣AI生態(tài)戰(zhàn)略的一個(gè)維度。怪不得在通用計(jì)算加速和AI時(shí)代來(lái)臨以后，英偉達(dá)一直在強(qiáng)調(diào)自己不是家芯片公司。但AI生態(tài)構(gòu)建可不簡(jiǎn)單，尤其是生成式AI于端側(cè)生態(tài)發(fā)展初期。借助MDDC活動(dòng)上看到的，我們來(lái)談?wù)劼?lián)發(fā)科的移動(dòng)AI生態(tài)具體是怎么做的，生態(tài)現(xiàn)狀如何，未來(lái)又將是怎樣。bFuesmc

發(fā)展生成式AI生態(tài)的兩個(gè)基礎(chǔ)

李彥輯（聯(lián)發(fā)科技無(wú)線通信事業(yè)部副總經(jīng)理）在采訪中談到，云上AI開(kāi)發(fā)的工具鏈發(fā)展相對(duì)“完整”。“可是端側(cè)的工具鏈，尤其手機(jī)端——體量如此之大的終端消費(fèi)電子，其實(shí)還沒(méi)有完善的工具鏈來(lái)發(fā)展生成式AI”。bFuesmc

我們知道即便是以數(shù)據(jù)中心以依托的企業(yè)生成式AI市場(chǎng)發(fā)展都仍處于早期階段，則基于開(kāi)發(fā)生態(tài)現(xiàn)狀，不難發(fā)現(xiàn)消費(fèi)市場(chǎng)的端側(cè)生成式AI的發(fā)展階段比企業(yè)數(shù)據(jù)中心更初級(jí)。“生成式AI去年處在萌芽階段，今年準(zhǔn)備要起飛。”這是聯(lián)發(fā)科推出天璣AI先鋒計(jì)劃的時(shí)代背景，“希望加速推動(dòng)生態(tài)往生成式AI遷移。”bFuesmc

所謂的生成式AI技術(shù)要落到實(shí)處、芯片廠商要構(gòu)建圍繞自己的生態(tài)系統(tǒng)，基礎(chǔ)部分有兩點(diǎn)：（1）芯片及硬件基礎(chǔ)；（2）開(kāi)發(fā)工具及AI模型。bFuesmc

硬件基礎(chǔ)自然是聯(lián)發(fā)科天璣芯片。天璣9300應(yīng)當(dāng)是生成式AI在手機(jī)平臺(tái)落地的開(kāi)端。這次新發(fā)布的天璣9300+，強(qiáng)調(diào)的一樣是AI。其中AI部分的關(guān)鍵構(gòu)成，除了CPU全大核有加成以外，最關(guān)鍵的還是APU 790——我們?cè)?a >天璣9300芯片的解析文章里已經(jīng)詳細(xì)介紹過(guò)。bFuesmc

bFuesmc

值得一提的是APU 790對(duì)于Transformer算子加速的支持——Transformer是現(xiàn)在大部分生成式AI模型的基礎(chǔ)結(jié)構(gòu)。其實(shí)仔細(xì)想一想，率先做出此番支持的天璣9300發(fā)布于2023年11月初?；诖祟愋酒O(shè)計(jì)至少12-18個(gè)月的周期，天璣9300的設(shè)計(jì)起碼是2022年下半年就開(kāi)始的，早于ChatGPT的全面爆發(fā)。bFuesmc

陳冠州也在圓桌討論中提到，聯(lián)發(fā)科“幾年前就意識(shí)到Transformer的優(yōu)越性，當(dāng)時(shí)就相信它會(huì)在未來(lái)大量被采用”，“所以我們?cè)谔飙^9300芯片上，第一時(shí)間將Transformer的支持固化到芯片里，大大降低了大語(yǔ)言模型推理過(guò)程中的功耗、成本和效率。”bFuesmc

天璣9300+的生成式AI特性部分，李彥輯提到“推測(cè)解碼加速”在端側(cè)實(shí)現(xiàn)，令端側(cè)大模型“推理性能大幅提升120%”，“業(yè)界首款支持Llama 2 7B參數(shù)模型，運(yùn)行速度22 tokens/秒”，“業(yè)界首款生成式AI端側(cè)雙LoRA融合”，支持最新的AI框架ExecuTorch，并且支持阿里云通義千問(wèn)大模型、百川大模型、文心大模型、谷歌Gemini Nano、零一萬(wàn)物終端大模型、Meta Llama 2和Llama 3等前沿主流的AI大模型。bFuesmc

這其中的絕大部分特性，實(shí)則還是與軟件工具、生態(tài)更為相關(guān)，是以天璣芯片、APU 790硬件級(jí)生成式AI引擎為基礎(chǔ)的上層構(gòu)建。雖然聯(lián)發(fā)科從未主動(dòng)談過(guò)公司內(nèi)部軟件團(tuán)隊(duì)構(gòu)建情況，但相信現(xiàn)階段聯(lián)發(fā)科在軟件上的投入應(yīng)該是不小的。bFuesmc

bFuesmc

比如說(shuō)推測(cè)解碼（speculative decoding）加速——開(kāi)發(fā)者大會(huì)上，聯(lián)發(fā)科AI專家解釋說(shuō)這項(xiàng)技術(shù)主要是用小模型（draft model）生成候選token序列，同時(shí)原始大模型驗(yàn)證該序列，如此能夠?qū)崿F(xiàn)Token生成加速并有效緩解內(nèi)存訪問(wèn)帶寬的瓶頸問(wèn)題。bFuesmc

聯(lián)發(fā)科提供的數(shù)據(jù)是，7B參數(shù)量的原始模型，加上1.3B以下小模型，token生成可提速1.5-2.1倍。開(kāi)發(fā)者提供預(yù)訓(xùn)練好的大小模型，“就能快速部署到天璣平臺(tái)上，實(shí)現(xiàn)token加速”。李彥輯提到的Llama 2 7B參數(shù)模型達(dá)成22 tokens/秒的生成速度，應(yīng)該就是基于這一特性實(shí)現(xiàn)的。bFuesmc

而所謂的“雙LoRA融合”是天璣9300+相較此前天璣9300的進(jìn)一步提升。LoRA（Low-Rank Adaptation）是現(xiàn)如今生成式AI領(lǐng)域最熱門的技術(shù)之一了：基礎(chǔ)大模型+少量差異，fine-tune為具備新特性的模型。它對(duì)端側(cè)部署的價(jià)值體現(xiàn)在，多個(gè)特性共享一個(gè)基礎(chǔ)大模型，顯著減少模型部署尺寸。bFuesmc

bFuesmc

比如說(shuō)常見(jiàn)的照片風(fēng)格化，如果總共有4種風(fēng)格，每種算法占據(jù)1.2G空間，則總共需要4.8G。用LoRA方法，則每種風(fēng)格200MB差分包，加上1G基礎(chǔ)模型，總共1.8G尺寸就能達(dá)成相同的效果——端側(cè)也能進(jìn)行LoRA快速切換。工程師說(shuō)，當(dāng)這樣的LoRA“技能”（即此例中的不同風(fēng)格）足夠多時(shí)，單一風(fēng)格存儲(chǔ)成本節(jié)省最多90%。bFuesmc

bFuesmc

在天璣AI開(kāi)發(fā)套件中，開(kāi)發(fā)者提供預(yù)訓(xùn)練LoRA模型，則工具箱就支持端側(cè)部署及LoRA Fusion。發(fā)布會(huì)上提到的“雙LoRA融合”，被聯(lián)發(fā)科稱為“天璣AI LoRA Fusion 2.0技術(shù)”。應(yīng)該是能夠進(jìn)一步擴(kuò)充大模型“技能”，提升生成效率且降低內(nèi)存占用的方案。bFuesmc

為什么是聯(lián)發(fā)科來(lái)做生態(tài)？

上述推測(cè)解碼加速，以及雙LoRA融合特性，都是天璣AI開(kāi)發(fā)套件的組成部分。如前所述，端側(cè)生成式AI開(kāi)發(fā)工具鏈資源少。所以“聯(lián)發(fā)科是第一家提出覆蓋手機(jī)、車機(jī)等消費(fèi)終端設(shè)備完整工具鏈、開(kāi)發(fā)環(huán)境的企業(yè)”。bFuesmc

從更實(shí)際的角度來(lái)看，以手機(jī)為代表的移動(dòng)端側(cè)部署生成式AI，本身就有其特有的難點(diǎn)，比如說(shuō)生成式AI模型要跑在資源有限的端側(cè)設(shè)備上，涉及到模型量化、精度維持；移動(dòng)平臺(tái)的性能與功耗調(diào)校等問(wèn)題。聯(lián)發(fā)科AI專家提到，最新的大模型優(yōu)化技術(shù)都是從PC平臺(tái)孵化的，要移植到功耗敏感型設(shè)備上難度更大。bFuesmc

天璣AI開(kāi)發(fā)套件的發(fā)布“就是個(gè)很好的開(kāi)始”。 套件總體有四大模塊，分別是Gen-AI Model Hub，Gen-AI最佳實(shí)踐，Gen-AI優(yōu)化技術(shù)，以及Neuron Studio——這是個(gè)IDE。bFuesmc

bFuesmc

Model Hub顧名思義就是個(gè)模型庫(kù)了，現(xiàn)階段有Llama 2/3, 百川大模型, 通義千問(wèn), Stable Diffusion/XL等主流大模型的覆蓋——聯(lián)發(fā)科表示還在不斷新增更多支持；“Gen-AI最佳實(shí)踐”涵蓋模型量化、編譯和推理，強(qiáng)調(diào)的是加速大模型的端側(cè)部署，據(jù)說(shuō)能夠?qū)⒃?-3周才搞定的工作，縮短到1天；bFuesmc

“Gen-AI優(yōu)化技術(shù)”主要包括前文提到的推測(cè)解碼加速和LoRA融合；還有作為IDE的Neuron Studio是個(gè)“可視化AI應(yīng)用開(kāi)發(fā)環(huán)境”——聯(lián)發(fā)科強(qiáng)調(diào)說(shuō)AI應(yīng)用開(kāi)發(fā)者不需要在不同的工具間來(lái)回切換，一個(gè)IDE就完成模型修改、編譯、平臺(tái)試運(yùn)行、一鍵部署終端等工作。bFuesmc

AI專家在演講中解析了從模型準(zhǔn)備、模型量化，到模型編譯和模型推理的全流程。比如模型量化的校準(zhǔn)數(shù)據(jù)集一鍵生成；模型編譯過(guò)程中不需要手動(dòng)做內(nèi)存與緩存配置，自動(dòng)匹配優(yōu)化參數(shù)；bFuesmc

以及模型推理步驟原本需要開(kāi)發(fā)者由Python → C++重新編寫，尤其要考慮移動(dòng)端更緊湊的計(jì)算資源，開(kāi)發(fā)工具“提供基于天璣平臺(tái)充分優(yōu)化后的流程串接通路，C++源碼，讓開(kāi)發(fā)伙伴什么都不改就能跑起來(lái)”，“想做客制化也只需要幾步操作”，“節(jié)省至少50%的開(kāi)發(fā)時(shí)間”。bFuesmc

bFuesmc

抖音技術(shù)專家介紹說(shuō)，抖音的SDXL-Lightning文生圖模型，基于天璣生成式AI工具箱部署到天璣平臺(tái)，達(dá)成內(nèi)存峰值4.x G，初始化時(shí)間10+秒的整體指標(biāo)；2step <5秒完成生成bFuesmc

章立（聯(lián)發(fā)科技無(wú)線通信事業(yè)部生態(tài)發(fā)展資深總監(jiān)）表示聯(lián)發(fā)科未來(lái)“每年MDDC，工具這塊都會(huì)有迭代”，而這次發(fā)布的版本“是我們交的第一份答卷”，“明年我們的工具會(huì)更強(qiáng)大”。bFuesmc

在我們看來(lái)，整套開(kāi)發(fā)工具強(qiáng)調(diào)的是“一站式”和盡可能的“自動(dòng)化”。 還是那句話，雖然聯(lián)發(fā)科沒(méi)怎么談在軟件上下的功夫——對(duì)開(kāi)發(fā)者而言，“自動(dòng)化”和“一站式”本身就是在嘗試隱藏開(kāi)發(fā)的更多復(fù)雜性；而這些復(fù)雜性無(wú)疑是需要聯(lián)發(fā)科買單的，或者說(shuō)濃縮了聯(lián)發(fā)科與模型廠商、操作系統(tǒng)供應(yīng)商、OEM廠商等角色間的合作。bFuesmc

所以本次宣布的“天璣AI先鋒計(jì)劃”一方面是強(qiáng)調(diào)與下游應(yīng)用開(kāi)發(fā)者的合作與扶持；另一方面則是和模型、OEM廠商等角色的聯(lián)合協(xié)作。畢竟移動(dòng)生成式AI生態(tài)要建起來(lái)，光靠聯(lián)發(fā)科做芯片、做工具必然是不夠的。想必明年的MDDC上，這一計(jì)劃的名單會(huì)做持續(xù)擴(kuò)充。這也是聯(lián)發(fā)科作為移動(dòng)生成式AI生態(tài)核心角色，舉辦MDDC，聚攏各層級(jí)合作伙伴的意義所在。bFuesmc

bFuesmc

RWKV作曲，能夠基于用戶給出的少量音符完成整首樂(lè)曲的創(chuàng)作bFuesmc

這其中有個(gè)問(wèn)題很值得探討：為什么是聯(lián)發(fā)科這樣的芯片廠商作為核心去發(fā)展AI生態(tài)，而不是操作系統(tǒng)、模型或OEM廠商。該問(wèn)題同樣適用于PC、數(shù)據(jù)中心領(lǐng)域。對(duì)模型、OEM廠商這樣的下游而言，這些角色各自不同的策略方向不利于構(gòu)建更大的AI生態(tài)。bFuesmc

于上游，有觀點(diǎn)認(rèn)為，和圖形渲染生態(tài)前期標(biāo)準(zhǔn)、API不統(tǒng)一的情況類似，當(dāng)年芯片廠商自為政，直到GPU硬件架構(gòu)趨同，以及中間層標(biāo)準(zhǔn)出現(xiàn)（如DirectX, Vulkan），芯片廠商才不再擔(dān)綱領(lǐng)銜生態(tài)的角色。bFuesmc

趨勢(shì)可能仍有待觀察，不過(guò)和早年圖形生態(tài)發(fā)展時(shí)代有所不同的是，現(xiàn)在的時(shí)代背景是摩爾定律遲滯，而應(yīng)用尤其是AI應(yīng)用仍然非?？是笏懔?。這使得上層應(yīng)用開(kāi)發(fā)者、模型供應(yīng)商嘗試直接與芯片企業(yè)合作。此時(shí)更多的中間角色都將無(wú)益于算力獲取。所以英偉達(dá)沒(méi)有打算讓渡CUDA的生態(tài)核心地位，Intel似乎也不打算在PC上將AI生態(tài)話語(yǔ)權(quán)交給微軟。bFuesmc

移動(dòng)AI生態(tài)起步相對(duì)更晚，未來(lái)格局未為可知。另外移動(dòng)與嵌入式領(lǐng)域，芯片與操作系統(tǒng)的耦合深度又與數(shù)據(jù)中心、PC不同。但無(wú)論如何，我們認(rèn)為芯片廠商在此局中的話語(yǔ)權(quán)，必然遠(yuǎn)大過(guò)當(dāng)年圖形生態(tài)發(fā)展期。就連EDA廠商現(xiàn)在都在強(qiáng)調(diào)芯片設(shè)計(jì)“以應(yīng)用為導(dǎo)向”，可見(jiàn)價(jià)值鏈重心正在變化：就看未來(lái)各層級(jí)參與者入局，移動(dòng)AI生態(tài)是否會(huì)收斂了…bFuesmc

只不過(guò)聯(lián)發(fā)科的行動(dòng)的確相當(dāng)早。手機(jī)作為生成式AI最早能夠見(jiàn)到的移動(dòng)端載體，后續(xù)擴(kuò)展到車機(jī)、PC、IoT等端側(cè)，聯(lián)發(fā)科正在構(gòu)建的天璣AI生態(tài)是在為未來(lái)做準(zhǔn)備。競(jìng)爭(zhēng)對(duì)手尚在談自家芯片能跑多大參數(shù)規(guī)模的AI模型時(shí)，聯(lián)發(fā)科已經(jīng)嘗試站在生態(tài)中心，呼喚生態(tài)粘性了。“當(dāng)別人還在說(shuō)模型支持的時(shí)候，我們已經(jīng)從用戶角度去看應(yīng)用了。”bFuesmc

殺手級(jí)應(yīng)用何時(shí)會(huì)來(lái)？

陳冠州在圓桌環(huán)節(jié)則總結(jié)現(xiàn)在聯(lián)發(fā)科在做的事情是規(guī)范化和優(yōu)化。“規(guī)范適合由平臺(tái)廠商提出；且端側(cè)相比云端算力有限，生態(tài)和標(biāo)準(zhǔn)肯定是芯片廠來(lái)做。”而構(gòu)建起生態(tài)與標(biāo)準(zhǔn)，做規(guī)范與優(yōu)化的目標(biāo)，還是為應(yīng)用開(kāi)發(fā)者提供環(huán)境，讓應(yīng)用來(lái)填充生態(tài)。bFuesmc

MDDC活動(dòng)現(xiàn)場(chǎng)，我們還是看到了不少開(kāi)發(fā)者圍繞天璣AI生態(tài)開(kāi)發(fā)出的AI應(yīng)用。比如文首提到的全民K歌“AI歌聲”；再比如Soul APP，基于大語(yǔ)言模型+Stable Diffusion打造所謂的情感陪伴AI對(duì)話（下圖），和不同的形象做圖文聊天，而且是完全在端側(cè)本地推理——這其中就引入了LoRA達(dá)成單一模型的多風(fēng)格虛擬人物切換；bFuesmc

bFuesmc

還有MOBA類游戲的AI游戲教練、虎牙直播AI換臉、酷狗音樂(lè)的歌詞生圖、火山引擎的AI創(chuàng)作SDK套件實(shí)現(xiàn)端側(cè)圖片/視頻的AI創(chuàng)作；還有諸如車機(jī)平臺(tái)對(duì)話式的操作指引、新聞智選等……聯(lián)發(fā)科甚至在想借助生成式AI于手游中，打造類似NVIDIA ACE技術(shù)那樣，能與玩家自然溝通、且千人千面的NPC。bFuesmc

不過(guò)或許更多人關(guān)心的還是生成式AI的殺手級(jí)應(yīng)用——圓桌環(huán)節(jié)，主持人問(wèn)了個(gè)問(wèn)題：生成式AI的殺手級(jí)應(yīng)用未來(lái)多久會(huì)問(wèn)世。現(xiàn)場(chǎng)至少6成觀眾認(rèn)為1-2年內(nèi)就會(huì)出現(xiàn)，3成觀眾認(rèn)為需要3-5年，不到一成選擇了5年以上。這表明開(kāi)發(fā)者對(duì)生成式AI于端側(cè)的發(fā)展整體還是相當(dāng)樂(lè)觀的。bFuesmc

章立是這么描繪對(duì)殺手級(jí)應(yīng)用的預(yù)期的：“我們是將土壤、環(huán)境、陽(yáng)光、水培養(yǎng)好，種子撒下去，就能確保這里能夠長(zhǎng)出大樹(shù)。”對(duì)于端側(cè)應(yīng)用創(chuàng)新的沉寂，“生成式AI給了很多開(kāi)發(fā)者新的機(jī)會(huì)”，“一個(gè)技術(shù)能夠帶來(lái)創(chuàng)新的用戶體驗(yàn)，就不用擔(dān)心是否會(huì)出現(xiàn)爆品”，“一定會(huì)有爆品涌現(xiàn)。”bFuesmc

與此同時(shí)，章立也提到“存量頭部app”正在生成式AI化，比如抖音順理成章應(yīng)用AI視頻風(fēng)格，手機(jī)攝影的高倍率變焦用生成式AI補(bǔ)全細(xì)節(jié)，以及手游的潛在AI超分特性等——它們?cè)谏墒紸I時(shí)代之前就已經(jīng)是殺手級(jí)應(yīng)用了。bFuesmc

這些都是潛在的殺手級(jí)應(yīng)用或發(fā)展機(jī)會(huì)。不過(guò)在我們看來(lái)，聯(lián)發(fā)科于主題演講環(huán)節(jié)表達(dá)了屬于生成式AI真正的殺手級(jí)應(yīng)用潛力：交互方式的革新。bFuesmc

bFuesmc

17年前，人與手機(jī)交互主要依托于鍵盤；智能手機(jī)時(shí)代，觸控替代鍵盤成為新的交互方式，且因此涌現(xiàn)了大量新的應(yīng)用，生產(chǎn)力、娛樂(lè)、社交等等，創(chuàng)造了難以估量的市場(chǎng)價(jià)值；隨后，在某些特定場(chǎng)景，例如行車過(guò)程、智能家居使用等，語(yǔ)音VUI貢獻(xiàn)了新的交互形式…bFuesmc

當(dāng)包括手機(jī)、車機(jī)、PC等在內(nèi)的計(jì)算機(jī)系統(tǒng)變得異常復(fù)雜，人們已經(jīng)記不住繁瑣操作流程，更不清楚系統(tǒng)海量特性，而且個(gè)性化需求與日俱增；則上述交互方式都不再適用。以生成式AI為基礎(chǔ)的所謂“智能體”（Agent AI），此時(shí)可提供最符合直覺(jué)的交互體驗(yàn)。bFuesmc

比如當(dāng)車機(jī)智能體掌握數(shù)百頁(yè)的汽車用戶手冊(cè)，則用戶要執(zhí)行有關(guān)汽車的某項(xiàng)操作只需要說(shuō)句話——這句話涵蓋的指令序列對(duì)計(jì)算機(jī)而言可能非常復(fù)雜，但對(duì)用戶而言，就只是一句話的問(wèn)題。實(shí)際上現(xiàn)在已經(jīng)逐漸流行的AI通話摘要、會(huì)議記錄、私人助理等都屬于“智能體”交互。bFuesmc

現(xiàn)有的手機(jī)生成式AI應(yīng)用中，這一雛形典型如通義千問(wèn)AI智能體，通過(guò)與用戶的對(duì)話、分析需求、形成任務(wù)，調(diào)用三方應(yīng)用完成任務(wù)?，F(xiàn)在我們還很難說(shuō)這是個(gè)殺手級(jí)應(yīng)用，但隨生成式AI技術(shù)發(fā)展和能力強(qiáng)化，這種智能體交互成為日常交互的常態(tài)，則它自然就在潛移默化中成為了殺手級(jí)應(yīng)用。bFuesmc

那下一步呢？

“現(xiàn)在我們主要還停留在語(yǔ)音或文字，將來(lái)多模態(tài)也會(huì)有影像、視頻。”“另外還包括專家系統(tǒng)（MoE），具備各式各樣不同的專家能力，隨時(shí)根據(jù)需求做切換。”李彥輯在展望未來(lái)時(shí)候說(shuō)，“在端側(cè)實(shí)現(xiàn)這樣的能力，也是在不久的將來(lái)了。”bFuesmc

胡志鵬（網(wǎng)易集團(tuán)高級(jí)副總裁、網(wǎng)易雷火游戲事業(yè)群CEO）在圓桌討論時(shí)說(shuō)，AI發(fā)展很快，“今天說(shuō)的話明天可能就不作數(shù)了。2017年Transformer發(fā)明，現(xiàn)在看來(lái)那已經(jīng)是史前時(shí)代了；而AlexNet大概可以叫超史前時(shí)代。”bFuesmc

“幾個(gè)月前20億參數(shù)（模型）已經(jīng)比半年前70億參數(shù)（模型）還要聰明了。”陳一強(qiáng)（聯(lián)發(fā)科無(wú)線通信事業(yè)部副總經(jīng)理）談到，“生成式AI的發(fā)展很快。”“它會(huì)改變交互方式，徹底顛覆應(yīng)用模式，包括軟件系統(tǒng)架構(gòu)設(shè)計(jì)。”bFuesmc

bFuesmc

雖然本文沒(méi)有提及，但包括光線追蹤在內(nèi)的圖形生態(tài)建設(shè)也是本次MDDC的重要組成部分…bFuesmc

大會(huì)開(kāi)場(chǎng)時(shí)，陳冠州談到過(guò)去一年，全球AI系統(tǒng)建設(shè)支出打到了驚人的1540億美元。生成式AI正在給半導(dǎo)體產(chǎn)業(yè)帶來(lái)極大的潛在市場(chǎng)機(jī)會(huì)。bFuesmc

主流行業(yè)分析師此前原本預(yù)期2030年半導(dǎo)體市場(chǎng)價(jià)值會(huì)超萬(wàn)億美元。但在生成式AI面前，萬(wàn)億美元估值顯得如此保守，所以才會(huì)有傳言中Sam Altman的7萬(wàn)億芯片計(jì)劃。而在這其中，端側(cè)生成式AI作為無(wú)可爭(zhēng)議的產(chǎn)值大頭，潛力無(wú)需贅言。bFuesmc

我們從首屆MDDC看到的，不僅是聯(lián)發(fā)科率先布局構(gòu)建移動(dòng)生成式AI生態(tài)，在生成式AI時(shí)代于端側(cè)先發(fā)制人，天璣從過(guò)往更多人認(rèn)知中單純的芯片產(chǎn)品，轉(zhuǎn)向了聯(lián)合上下游的生態(tài)；還包括芯片企業(yè)正嘗試主導(dǎo)AI生態(tài)，儼然成為價(jià)值鏈上的主角。這是在過(guò)去的移動(dòng)時(shí)代，我們都不曾見(jiàn)過(guò)的。 那么大約2年以后，生成式AI快速發(fā)展下的移動(dòng)體驗(yàn)大概都會(huì)和現(xiàn)在大不一樣了。bFuesmc