近年來，伴隨著Transformer與大模型的發(fā)展，AI模型的普適性、多模態(tài)支持，以及模型微調(diào)效率都有了質(zhì)的突破，加上低功耗的AI加速器和專用芯片被集成到終端設(shè)備中，邊緣智能正變得越來越自主和強大。Lybesmc

邊緣AI潛力巨大，有望助力多個領(lǐng)域的持續(xù)智能化演進與轉(zhuǎn)型。Arm的客戶與生態(tài)伙伴在智能家居、智能零售與智能制造等領(lǐng)域不斷創(chuàng)新，進而實現(xiàn)感知、決策與行動的閉環(huán)，提高自動化水平。為了加速AI系統(tǒng)的快速落地，Arm近日推出了全新AI微加速器Arm Ethos-U85，以及全新的智能物聯(lián)網(wǎng)參考設(shè)計平臺Corstone-320。Lybesmc

Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健(Chloe Ma)介紹道，Arm為了實現(xiàn)AI算子延展與部署簡化，在過去十年中進行了大量投資并優(yōu)化性能。Lybesmc

Arm在邊緣AI領(lǐng)域的厚積薄發(fā)

Lybesmc

圖1：Arm賦能邊緣AI持續(xù)創(chuàng)新Lybesmc

起初，Arm聚焦在優(yōu)化各類傳感器必需的嵌入式處理器上，致力于實現(xiàn)超低成本、低功耗和小面積，并支持控制級代碼的開發(fā)；隨著萬物互聯(lián)的發(fā)展，連接使邊緣算力和安全性變得越來越重要，該公司順勢推出了Armv8-M和Arm TrustZone等技術(shù)來增強算力與安全；當邊緣與端側(cè)AI推理需求增長， Arm在嵌入式領(lǐng)域引入了Armv8.1-M，Arm Helium技術(shù)使CPU能夠執(zhí)行更多計算密集型的AI推理算法；緊接著，Arm又推出了業(yè)界首款 AI 微加速器 Arm Ethos NPU，來滿足更高性能和更復雜的AI工作負載。Lybesmc

馬健評價說：“Arm在AI時代的演進中起到了至關(guān)重要的作用。諸多基于Arm架構(gòu)的邊緣AI解決方案的成功部署，讓我們更加堅信AI需要硬件和軟件之間的緊密結(jié)合。”當然，當系統(tǒng)變得愈加強大，其復雜度也隨之提升。軟硬件必須協(xié)同工作才能釋放AI處理的最大潛能。因此，Arm不僅聚焦處理器IP，也在軟件與工具鏈方面加強投資，確保滿足高性能邊緣AI系統(tǒng)的開發(fā)需求。Lybesmc

為了達成“軟硬件緊密結(jié)合”的目標，Arm與生態(tài)合作伙伴正齊心協(xié)力合作。據(jù)馬健介紹，目前在 Arm軟硬件計算平臺上涌現(xiàn)了大量創(chuàng)新，包括：恩智浦半導體(NXP)的i.M系列、瑞薩電子(Renesas)的RA8系列、英飛凌(Infineon)的PSoC Edge、Alif Semiconductor的Ensemble等邊緣AI芯片方案。同時，Arm也在與一系列軟件算法與工具伙伴合作，以確保為邊緣AI系統(tǒng)開發(fā)者提供工具和技術(shù)支持。Lybesmc

為了進一步推動邊緣 AI 的落地，Arm近日又更新了智能物聯(lián)產(chǎn)品組合，此次的新產(chǎn)品組合包括——全新AI微加速器Arm Ethos-U85和全新智能物聯(lián)網(wǎng)參考設(shè)計平臺Corstone-320。Lybesmc

·全新AI微加速器Arm Ethos-U85

Arm Ethos-U NPU系列是業(yè)界首款AI微加速器，英飛凌、恩智浦半導體、奇景光電(Himax)、Alif Semiconductor和Synaptics等企業(yè)均已推出搭載Ethos-U的量產(chǎn)芯片。全新的Arm Ethos-U85屬于Arm Ethos-U NPU系列，它為高性能邊緣AI應(yīng)用帶來了四倍的性能提升，20%的能效提升，并保持了一致工具鏈，可實現(xiàn)無縫的開發(fā)者體驗。Arm Ethos-U85支持從128到2048個MAC單元的配置，在最高性能配置下提供4TOPs的AI算力。據(jù)介紹，Ethos-U85的目標應(yīng)用場景是智能家居、零售、工業(yè)等新興邊緣AI應(yīng)用場景。Lybesmc

Lybesmc

圖2：Arm Ethos-U85提供卓越的神經(jīng)網(wǎng)絡(luò)加速功能Lybesmc

此外，Ethos-U85增加了Transformer架構(gòu)網(wǎng)絡(luò)的支持，這是優(yōu)化大模型邊緣落地微調(diào)時間、提升模型泛化的一個關(guān)鍵特性。具體來看，Ethos-U85不僅提供卷積神經(jīng)網(wǎng)絡(luò)(CNN)所需的權(quán)重矩陣乘的運算，還支持矩陣相乘——這是Transformer架構(gòu)網(wǎng)絡(luò)的一個基本組成部分?；赥ransformer的模型具有優(yōu)異的泛化功能，它將更快地驅(qū)動新AI應(yīng)用的發(fā)展。Lybesmc

Transformer在視覺和生成式AI用例中，比如視頻理解、圖文結(jié)合、圖像增強與生成、圖像分類和目標檢測等方面都極有價值。Transformer架構(gòu)網(wǎng)絡(luò)的注意力機制容易利用并行計算來實現(xiàn)，提高硬件使用效率，這些模型能夠部署在計算資源有限的邊緣設(shè)備上。開發(fā)者可通過選用針對Transformer架構(gòu)網(wǎng)絡(luò)優(yōu)化的設(shè)計，使邊緣AI應(yīng)用享有更快的推理、更優(yōu)化的模型性能和可擴展性。Lybesmc

Ethos-U85不僅支持低功耗MCU系統(tǒng)中的AI加速，還支持在高性能邊緣計算系統(tǒng)中的應(yīng)用處理器、標準操作系統(tǒng)和高級開發(fā)語言的部署，這種模式更有利于云原生開發(fā)和云邊端負載調(diào)度。而Arm Ethos-U85和Armv9 Cortex-A CPU的組合，可為基于應(yīng)用處理器的智能物聯(lián)網(wǎng)平臺上運行的AI任務(wù)實現(xiàn)加速，給工業(yè)機器視覺、邊緣網(wǎng)關(guān)、可穿戴設(shè)備和消費類機器人等應(yīng)用帶來高效能的邊緣推理。Lybesmc

·全新智能物聯(lián)網(wǎng)參考設(shè)計平臺Arm Corstone-320

Arm為了幫助合作伙伴簡化系統(tǒng)開發(fā)進而加快上市時間，還推出了最新的具備Ethos-U85的邊緣AI參考設(shè)計平臺——Arm Corstone-320。Lybesmc

Corstone-320包含了嵌入式處理器Cortex-M85，以及全新的Ethos-U85 NPU AI加速器。由于視覺在多模態(tài)感知中起到了關(guān)鍵作用，許多邊緣MCU和傳感器系統(tǒng)越來越依賴于視覺和圖像感知，Corstone-320還包含了Arm Mali-C55 ISP，以實現(xiàn)為視覺應(yīng)用優(yōu)化的低功耗系統(tǒng)。據(jù)悉，該參考設(shè)計針對實際工作負載開發(fā)，其參考用例包括部署在智能家居中的電池供電攝像系統(tǒng)，以及在工業(yè)和零售系統(tǒng)中的低幀率網(wǎng)絡(luò)攝像頭。Lybesmc

另外，Corstone-320參考設(shè)計還提供有安全保證的軟硬件組合，使得在此參考設(shè)計基礎(chǔ)上開發(fā)的合作伙伴，可順利地通過PSA Certified Level 2認證，實現(xiàn)對區(qū)域和全球安全標準的合規(guī)。馬健強調(diào)說：“通過Corstone-320預先集成、預先驗證的參考設(shè)計模版，Arm能幫助合作伙伴節(jié)省邊緣智能芯片的開發(fā)成本和時間。”Lybesmc

值得注意的是，Corstone-320不僅提供芯片計算子系統(tǒng)IP組合，還附帶了軟件、AI模型庫和開發(fā)工具，以實現(xiàn)軟件的復用。它附帶了仿真Corstone-320完整系統(tǒng)的Arm虛擬硬件，以及單獨的CPU和NPU的固定虛擬平臺(FVP)模型，以簡化開發(fā)并加速產(chǎn)品設(shè)計，支持軟硬件并行協(xié)同開發(fā)。馬健評價道，這種提供邊緣AI和智能物聯(lián)網(wǎng)計算子系統(tǒng)全套軟硬件和工具鏈的方法，使得其合作伙伴能夠在一系列性能點上，快速開發(fā)并聚焦于打造差異化價值。Lybesmc

助力生態(tài)伙伴加速邊緣AI設(shè)備部署

Lybesmc

圖3：Arm助力加速邊緣AI設(shè)備部署進程Lybesmc

簡單易用才更適于普及推廣，隨著邊緣AI的持續(xù)擴展，物聯(lián)網(wǎng)生態(tài)鏈上下游的芯片與系統(tǒng)供應(yīng)商、算法軟件開發(fā)者與集成商們越來越匯聚在Arm計算平臺。Lybesmc

馬健認為，是因為Arm計算平臺能提供AI從云到端、現(xiàn)代敏捷開發(fā)和部署流程中所需的特性和功能，實現(xiàn)基于量產(chǎn)驗證的一致架構(gòu)，并采用統(tǒng)一工具鏈的AI轉(zhuǎn)型。包括開發(fā)者、數(shù)據(jù)科學家、學術(shù)界在內(nèi)的AI研究開發(fā)社區(qū)，不僅持續(xù)受益于Arm生態(tài)系統(tǒng)與合作伙伴提供的豐富信息與知識，也圍繞Arm計算平臺構(gòu)建日益增長的軟件和工具生態(tài)系統(tǒng)，以及開源軟件庫和AI框架。又得益于Arm特有的IP授權(quán)許可模式和開放生態(tài)，OEM和ODM可以有多種基于Arm架構(gòu)和計算平臺的芯片與模組選擇，更靈活地開發(fā)適于最終應(yīng)用的系統(tǒng)方案。Lybesmc

當下市場上邊緣用例繁多，傳統(tǒng)物聯(lián)網(wǎng)市場存在碎片化，為了更好地統(tǒng)一多樣化的應(yīng)用要求，達到規(guī)?；б妫浖x和適于軟件移植的標準必不可少。全新的Ethos-U85和Corstone-320參考設(shè)計平臺，滿足了邊緣AI用例對更高性能計算的需求，為最新的AI模型、框架提供了原生支持，并沿用Arm軟件與AI開發(fā)者已經(jīng)熟知的工具鏈，具有投資復用、上手容易等優(yōu)勢。這些最新的產(chǎn)品與參考設(shè)計加入了Arm豐富的IP產(chǎn)品和技術(shù)組合中，使Arm技術(shù)能夠覆蓋更廣泛、多樣化的智能物聯(lián)網(wǎng)應(yīng)用，并滿足最新邊緣AI市場的性能、成本和能效需求。Lybesmc

邊緣AI還將隨著大模型和生成式AI崛起，用戶體驗的持續(xù)提升、數(shù)據(jù)量激增，以及企業(yè)對數(shù)據(jù)價值的認可，將使行業(yè)經(jīng)歷巨大變化，例如在設(shè)備上實現(xiàn)實時語言翻譯等。隨著大模型持續(xù)通過量化、剪枝和聚類技術(shù)來縮減優(yōu)化模型，使大模型適于在邊緣和超級終端設(shè)備部署，大小模型云邊端結(jié)合成為未來AI產(chǎn)品的重要發(fā)展趨勢，也是AI應(yīng)用賦能行業(yè)發(fā)展的重要方向。Lybesmc

馬健最后指出，邊緣部署大模型和生成式AI用例指日可待，而Arm已經(jīng)為此做好準備，來挑戰(zhàn)物聯(lián)網(wǎng)與大模型、多模態(tài)AI結(jié)合的性能與效率極限。Lybesmc