恰巧最近做的幾個(gè)有趣采訪，都和邊緣/端側(cè)AI相關(guān)，包括瑞薩剛剛了收購(gòu)Reality AI——這就是一家做邊緣AI和TinyML的企業(yè)；還有國(guó)內(nèi)的知存科技量產(chǎn)了首顆存內(nèi)計(jì)算芯片，這類芯片目前的應(yīng)用主場(chǎng)是端側(cè)產(chǎn)品AI計(jì)算；去年EE Live直播間做過(guò)一場(chǎng)邊緣AI相關(guān)的線上直播......（本文的“邊緣（edge）”一詞將窄化到終端（endpoint）設(shè)備）Cn9esmc

把AI計(jì)算——或者有時(shí)可以窄化到神經(jīng)網(wǎng)絡(luò)的矩陣乘加運(yùn)算，帶到端側(cè)設(shè)備上并不稀罕。智能手機(jī)就是個(gè)典型的端側(cè)設(shè)備，現(xiàn)在的智能手機(jī)AP SoC芯片上普遍都配有專門的AI計(jì)算單元，蘋果稱其為NE（Neural Engine）、Arm和華為叫它NPU、聯(lián)發(fā)科則將其叫做APU。Cn9esmc

即便是IoT這種更小算力的端側(cè)設(shè)備，其實(shí)也有AIoT這樣的稱謂。這里的A就是指AI——當(dāng)然其含義可能比深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)更寬泛，但I(xiàn)oT端側(cè)設(shè)備要帶AI能力也是時(shí)代主旋律。2022年6月29日，全球領(lǐng)先的專業(yè)電子機(jī)構(gòu)媒體AspenCore將與深圳市新一代信息通信產(chǎn)業(yè)集群聯(lián)合主辦【2022國(guó)際AIoT生態(tài)發(fā)展大會(huì)】，同期將舉辦工業(yè)互聯(lián)網(wǎng)、智慧家庭、智慧機(jī)器人、智慧可穿戴、智慧兩輪車等多場(chǎng)分論壇，多家企業(yè)將在論壇現(xiàn)場(chǎng)探討AIOT領(lǐng)域的前景機(jī)遇。 【一鍵報(bào)名】現(xiàn)場(chǎng)與行業(yè)資深人士交流與互動(dòng)！點(diǎn)擊這里了解大會(huì)詳情。Cn9esmc

近一年TinyML這個(gè)詞好像格外火：這和AI、IoT作為時(shí)下最熱門的應(yīng)用領(lǐng)域有很大的關(guān)系。雖說(shuō)TinyML Foundation官網(wǎng)看起來(lái)像是個(gè)很松散的組織，Arm、瑞薩、Reality AI、萊迪思、英飛凌、谷歌、高通等都在其贊助商和合作伙伴之列，就足見(jiàn)TinyML的聲勢(shì)之大。Cn9esmc

Cn9esmc

TinyML設(shè)備出貨量幾年后25億

ABI Research的數(shù)據(jù)是2021-2026年，IoT連接數(shù)有3倍增長(zhǎng)，屆時(shí)IoT連接數(shù)會(huì)達(dá)到236億。當(dāng)然并不是所有的IoT設(shè)備都會(huì)帶上AI或機(jī)器學(xué)習(xí)能力，但這是TinyML的市場(chǎng)基礎(chǔ)。Cn9esmc

所謂的TinyML，看字面意思就知道是微型的（Tiny）機(jī)器學(xué)習(xí)（ML）。“微型”是相對(duì)于一般需求更高算力的AI計(jì)算而言的。比如前文提到的手機(jī)AI計(jì)算單元——智能手機(jī)AI算力所需的功耗和成本是IoT設(shè)備上承受不住的。比如智能家居設(shè)備中由電池驅(qū)動(dòng)的智能溫度傳感器，或者工業(yè)制造場(chǎng)景中部署的在馬達(dá)上檢測(cè)振動(dòng)異常的傳感器+MCU設(shè)備。Cn9esmc

IoT設(shè)備通?？偸峭ㄟ^(guò)傳感器不停地收集數(shù)據(jù)，比如說(shuō)影像畫面、溫度濕度、存在感知等等。將大量數(shù)據(jù)集合以后，進(jìn)行機(jī)器學(xué)習(xí)的模型訓(xùn)練，就有機(jī)會(huì)生成更有價(jià)值的信息：AI在智慧交通、智能城市、智能家居之類的應(yīng)用大多就是這么回事。不過(guò)AI計(jì)算是個(gè)需要算力和成本的工作。比如云上的大規(guī)模AI模型訓(xùn)練（training），必然是基于大算力的GPU或者專用的AI芯片。Cn9esmc

模型訓(xùn)練完成后，復(fù)雜的AI推理（inference）工作也不適用于大多數(shù)小算力的IoT設(shè)備，而需要在云或邊緣數(shù)據(jù)中心進(jìn)行。一般IoT設(shè)備上的16位/32位MCU對(duì)于承接AI計(jì)算顯得相當(dāng)無(wú)能為力。TinyML的提出，就是為了找尋AI計(jì)算在IoT設(shè)備上的成本、功耗均衡，讓數(shù)據(jù)分析工作也能在算力并沒(méi)有那么高、存儲(chǔ)資源還不多的硬件，配合專門設(shè)計(jì)的軟件（小規(guī)模AI推理工作）上執(zhí)行。Cn9esmc

從TinyML Foundation官網(wǎng)介紹來(lái)看，典型的TinyML IoT設(shè)備應(yīng)該將系統(tǒng)功耗控制在mW級(jí)別，模型尺寸小到100kB以下。也就是說(shuō)TinyML設(shè)備，要在超低功耗、性能受限的環(huán)境下做本地的AI工作。不過(guò)這樣的機(jī)器學(xué)習(xí)模型主要是扮演過(guò)濾的角色，比如說(shuō)將那些不必要的參數(shù)、低于閾值的數(shù)據(jù)排除在外；唯有有價(jià)值的數(shù)據(jù)才會(huì)促使IoT設(shè)備做出相應(yīng)的動(dòng)作——不僅是本地響應(yīng)（比如說(shuō)家用警報(bào)器發(fā)現(xiàn)問(wèn)題時(shí)發(fā)出警報(bào)），也可以是將數(shù)據(jù)進(jìn)一步發(fā)往網(wǎng)關(guān)或云。Cn9esmc

TinyML并不是要替代更復(fù)雜的AI推理，而是把一小部分特定能力遷到端側(cè)設(shè)備上。那么就省去是總是需要聯(lián)網(wǎng)、做數(shù)據(jù)通訊的麻煩，不僅能夠顯著降低功耗，而且也更為實(shí)時(shí)、有更高的隱私和安全性。ABI Research去年發(fā)布過(guò)一份TinyML: The Next Big Opportunity in Tech白皮書。這家機(jī)構(gòu)預(yù)測(cè)TinyML市場(chǎng)出貨量會(huì)從2020年的1520萬(wàn)個(gè)設(shè)備，增長(zhǎng)至2030年的25億個(gè)IoT設(shè)備。Cn9esmc

其潛在應(yīng)用領(lǐng)域典型如家庭安防、智能家居自動(dòng)化、寵物定位和追蹤、健康類可穿戴設(shè)備；工業(yè)與生產(chǎn)中的資產(chǎn)追蹤、制造缺陷發(fā)現(xiàn)、智能樓宇/建筑；交通領(lǐng)域的車流監(jiān)控與交通高峰期的疏導(dǎo)、智能路燈；還有智能電網(wǎng)、智能儀表，以及物流和運(yùn)輸?shù)取?span style="display:none">Cn9esmc

Cn9esmc

Cn9esmc

來(lái)源：ABI ResearchCn9esmc

上面這兩張圖是ABI Research預(yù)測(cè)的2021-2030年，不同應(yīng)用領(lǐng)域TinyML設(shè)備的出貨量，以及TinyML芯片能夠產(chǎn)生的營(yíng)收（分成了ASIC、FPGA和MCU）。市場(chǎng)增長(zhǎng)潛力看起來(lái)還是相當(dāng)之大。Cn9esmc

其實(shí)TinyML跟端側(cè)AI的很多應(yīng)用原本就是重合的，只不過(guò)TinyML給定了某種更嚴(yán)苛的算力和功耗限制。從某種角度來(lái)看，TinyML這個(gè)詞或許更有濃重的市場(chǎng)宣傳色彩。不過(guò)圍繞TinyML展開的研究和努力是真實(shí)存在的，而且其發(fā)展動(dòng)力可能還超乎想象。Cn9esmc

聊聊TinyML芯片的可能性

我們見(jiàn)過(guò)不少邊緣AI芯片或系統(tǒng)。為普羅大眾所的，如英偉達(dá)Jetson Nano開發(fā)板——這是個(gè)能直接應(yīng)用英偉達(dá)的AI和CUDA生態(tài)的硬件產(chǎn)品，基于英偉達(dá)GPU做AI開發(fā)。同類明星產(chǎn)品也不少，包括一些加入了專用AI計(jì)算單元的，像是瑞芯微RK3399 Pro、晶晨A311D、Intel Myriad X、谷歌edge TPU等。Cn9esmc

Cn9esmc

前兩年的工業(yè)博覽會(huì)上，我們看到瑞薩在展示一種e-AI（嵌入式AI）故障預(yù)判解決方案，這個(gè)demo演示的是工業(yè)現(xiàn)場(chǎng)的電機(jī)運(yùn)行狀態(tài)：有個(gè)加速度傳感器采集電機(jī)的振動(dòng)情況。本地有專門的AI計(jì)算加速單元，名為DRP(Dynamic Reconfigurable Processor)。在電機(jī)的振動(dòng)參數(shù)有某些異常變化的情況下，就能預(yù)判電機(jī)可能要發(fā)生故障。Cn9esmc

當(dāng)然在數(shù)據(jù)采集和訓(xùn)練上，整個(gè)過(guò)程還是涉及到了云上的機(jī)器學(xué)習(xí)。而且不管是英偉達(dá)Jetson Nano，還是瑞薩DRP，跑起來(lái)的系統(tǒng)功耗應(yīng)該都遠(yuǎn)超mW水平了。下面這張圖是此前我們?cè)诓稍L瑞薩時(shí)，他們提供的一張AI性能和效率對(duì)比。瑞薩RZ/V2M的DRP加速器效率是相當(dāng)不錯(cuò)的，只是這些系統(tǒng)嚴(yán)格意義上應(yīng)該都不能算“TinyML”。Cn9esmc

Cn9esmc

但追求邊緣AI應(yīng)用，的確是IoT的大趨勢(shì)。前年我們參加了瑞薩杯全國(guó)大學(xué)生電子設(shè)計(jì)競(jìng)賽，這一屆比賽就在于鼓勵(lì)參賽學(xué)生充分應(yīng)用硬件的AI算力。Cn9esmc

從目前TinyML及其合作伙伴的宣導(dǎo)來(lái)看，現(xiàn)在的TinyML“芯片”更多的還是在于處理器內(nèi)核加上一些強(qiáng)化的并行計(jì)算資源：比如說(shuō)Cortex-M3，用15KB代碼、22KB數(shù)據(jù)，在檢測(cè)到特定語(yǔ)音單詞時(shí)，就能喚醒系統(tǒng)，跑語(yǔ)音識(shí)別模型。2021年Rapberry Pi Pico發(fā)布，基于RP2040 MCU，Cortex-M0+雙核，能跑TensorFlow Lite Micro。RP2040是被視為TinyML的標(biāo)版的，開發(fā)者可以跑機(jī)器學(xué)習(xí)模型來(lái)進(jìn)行一些傳感器數(shù)據(jù)分析，包括視頻和圖片識(shí)別、手勢(shì)識(shí)別等。Cn9esmc

電子工程專輯今年6月刊的封面故事《催生超低功耗邊緣AI應(yīng)用 tinyML賦予MCU產(chǎn)業(yè)新契機(jī)》一文在這方面有更為詳盡的解讀，相關(guān)Arm、RISC-V在TinyML芯片和生態(tài)上的參與度。比如Cortex-M55新增了Helium矢量處理技術(shù)，加強(qiáng)了DSP和ML方面的能力。不過(guò)Arm在官方的TinyML宣傳文章里也提到了自家的Ethos系列microNPU，專用于加速嵌入式和IoT設(shè)備的機(jī)器學(xué)習(xí)推理運(yùn)算。可見(jiàn)TinyML的專用AI加速單元必然是要被提上日程的。Cn9esmc

另外有關(guān)芯片，特別想提一嘴的是存內(nèi)計(jì)算（in-memory computing）芯片，或者把范圍進(jìn)一步泛化到模擬計(jì)算方法。存內(nèi)計(jì)算還是個(gè)全新的領(lǐng)域，顛覆了傳統(tǒng)的馮諾依曼架構(gòu)體系：直接就在存儲(chǔ)器內(nèi)進(jìn)行計(jì)算，最小化數(shù)據(jù)搬運(yùn)過(guò)程。主流的存內(nèi)計(jì)算技術(shù)是基于模擬電路的計(jì)算——加上少了數(shù)據(jù)通訊開銷，所以能效大幅提升，功耗相比于一般的AI芯片幾倍下降。Cn9esmc

最近我們采訪了知存科技，這家公司給出的數(shù)據(jù)顯示以其剛剛量產(chǎn)的存內(nèi)計(jì)算芯片，做40-100個(gè)詞的語(yǔ)音檢測(cè)，系統(tǒng)整體功耗能夠控制在0.8mW量級(jí)——這就比一般的芯片低太多了，應(yīng)用于電池驅(qū)動(dòng)的可穿戴設(shè)備都毫無(wú)壓力。所以在我們看來(lái)，這種新型結(jié)構(gòu)的芯片在TinyML時(shí)代應(yīng)當(dāng)是最有發(fā)展?jié)摿Φ?。?dāng)然新架構(gòu)的生態(tài)搭建，前期會(huì)需要一個(gè)漫長(zhǎng)的積累過(guò)程。在這個(gè)方向上發(fā)力的企業(yè)，未來(lái)應(yīng)該也會(huì)越來(lái)越多。Cn9esmc

似乎從“模擬計(jì)算”的角度來(lái)看，在計(jì)算機(jī)科學(xué)的架構(gòu)范式都可能產(chǎn)生顛覆的未來(lái)，TinyML的需求持續(xù)進(jìn)化，可能對(duì)整個(gè)行業(yè)帶來(lái)前所未有的革命。時(shí)代現(xiàn)如今就有不少點(diǎn)狀式的發(fā)展趨勢(shì)，比如各種神經(jīng)擬態(tài)傳感器和計(jì)算方式的發(fā)展。它們都有著相較于如今的計(jì)算機(jī)架構(gòu)，更為顯著的效率優(yōu)勢(shì)。Cn9esmc

Cn9esmc

未來(lái)的不可限量與影響

在我們看來(lái)，TinyML或許只是AI發(fā)展的某種具體形式。但TinyML現(xiàn)在作為一個(gè)明確的概念在市場(chǎng)上流傳，還是有利于這類技術(shù)的向前推進(jìn)。而且研究人員也的確在“Tiny”這件事情上持續(xù)努力。Cn9esmc

舉個(gè)例子，去年底MIT（麻省理工學(xué)院）有個(gè)團(tuán)隊(duì)搞了一種技術(shù)，嘗試縮減內(nèi)存用量，具體能夠提升視頻的圖像識(shí)別性能。這主要就是針對(duì)MCU可憐的存儲(chǔ)資源，令其做卷積神經(jīng)網(wǎng)絡(luò)計(jì)算時(shí)的優(yōu)化技術(shù)，屬于特別針對(duì)TinyML視覺(jué)系統(tǒng)的優(yōu)化，有興趣的讀者可以前往關(guān)注。這類研究應(yīng)當(dāng)還會(huì)越來(lái)越多。Cn9esmc

ABI Research在paper中明確提到了TinyML帶來(lái)的一些關(guān)鍵價(jià)值。比如說(shuō)更好的數(shù)據(jù)隱私性、更高的能效——這兩點(diǎn)前文都已經(jīng)提到；更小尺寸的芯片（尤其降低片內(nèi)或板上的存儲(chǔ)資源用量）；功能安全與網(wǎng)絡(luò)安全方面的提升（硬件級(jí)AI實(shí)施方案相比于軟件，具備更高的安全性）；對(duì)于網(wǎng)絡(luò)不穩(wěn)定環(huán)境有更好的免疫性——這原本就是邊緣AI的一大優(yōu)勢(shì)；不同組件之間更好的互聯(lián)互通。Cn9esmc

基于TinyML的特性，未來(lái)相關(guān)IoT的構(gòu)成及供應(yīng)鏈都可能會(huì)有新的動(dòng)向。比如說(shuō)基于功耗、可靠性、延遲等更嚴(yán)苛的要求，連接協(xié)議的選擇或許會(huì)更明確；基于AI計(jì)算特性，AI模型OTA更新會(huì)成為標(biāo)配；IoT設(shè)備或上游供應(yīng)商可能要把更多的工夫花在AI和TinyML專業(yè)知識(shí)上——涉及到的能力會(huì)更多樣，不管是用開源工具、選擇與三方AI解決方案企業(yè)合作，還是自己去積累專業(yè)能力；生態(tài)構(gòu)建和擁抱開發(fā)者社區(qū)會(huì)變得更重要。Cn9esmc

這些好像會(huì)對(duì)IoT價(jià)值鏈持續(xù)產(chǎn)生影響，對(duì)IoT產(chǎn)品和相關(guān)廠商提出了更高的要求（雖然很多其實(shí)還是和單純的邊緣AI與傳統(tǒng)AIoT是重合的）。TinyML在不同層面的發(fā)展，可能會(huì)超出我們的想象；甚至包括對(duì)計(jì)算機(jī)科學(xué)架構(gòu)革新的推進(jìn)。Cn9esmc

2022年6月29日，全球領(lǐng)先的專業(yè)電子機(jī)構(gòu)媒體AspenCore將與深圳市新一代信息通信產(chǎn)業(yè)集群聯(lián)合主辦【2022國(guó)際AIoT生態(tài)發(fā)展大會(huì)】，同期將舉辦工業(yè)互聯(lián)網(wǎng)、智慧家庭、智慧機(jī)器人、智慧可穿戴、智慧兩輪車等多場(chǎng)分論壇，多家企業(yè)將在論壇現(xiàn)場(chǎng)探討AIOT領(lǐng)域的前景機(jī)遇。 【一鍵報(bào)名】現(xiàn)場(chǎng)與行業(yè)資深人士交流與互動(dòng)！點(diǎn)擊這里了解大會(huì)詳情。Cn9esmc