自公司成立以來，Arm在過去三十多年深耕物聯(lián)網(wǎng)領(lǐng)域，擁有著與嵌入式息息相關(guān)的基因和技術(shù)?！，F(xiàn)今的Arm全力打造物聯(lián)網(wǎng)全面解決方案，不僅重視單一IP，更致力于通過一整套的物聯(lián)網(wǎng)解決方案助力產(chǎn)業(yè)鏈上不同角色的客戶都能加速其產(chǎn)品開發(fā)進(jìn)程并推向市場。0Vnesmc

面對中國這一引領(lǐng)視覺技術(shù)發(fā)展的中堅市場，Arm 通過發(fā)布針對視覺應(yīng)用設(shè)備的全新智能視覺參考設(shè)計，為視覺芯片及系統(tǒng)設(shè)計奠定堅實可靠的基礎(chǔ)，并支持靈活配置，為客戶降本增效，使視覺軟硬件聯(lián)合創(chuàng)新成為可能，支持中國客戶實現(xiàn)差異化創(chuàng)新。0Vnesmc

在近日的“Arm媒體技術(shù)溝通交流會”上，Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健女士、安謀科技智能物聯(lián)及汽車業(yè)務(wù)線負(fù)責(zé)人趙永超先生向《國際電子商情》等行業(yè)媒體分享了Arm智能視覺參考設(shè)計的特點和優(yōu)勢。0Vnesmc

滿足資源受限的邊緣設(shè)備的視覺需求

在模型和行動無處不在的新時代，智能視覺將變得必不可少。0Vnesmc

而機器系統(tǒng)通過視覺等感官來理解周圍環(huán)境，并在此基礎(chǔ)上做出相應(yīng)的決策和行動，比如視覺信息可為自動駕駛汽車、機器人提供關(guān)鍵的避障能力。另外，視覺信息對人機交互也至關(guān)重要，未來服務(wù)型的機器人不僅需要高智商，更需要高情商，機器視覺可以通過捕捉人類的表情、手勢和動作，來理解人類的意圖和情感，從而可改善AI與人類的溝通效率。模型優(yōu)化也依賴于智能視覺等感知技術(shù)，從現(xiàn)實生活中采集數(shù)據(jù)形成精準(zhǔn)模型，而不僅僅依賴于文本描述和靜態(tài)圖像。0Vnesmc

在談及智能視覺系統(tǒng)的技術(shù)發(fā)展趨勢時，馬健從三個方面做了總結(jié)：0Vnesmc

“首先是云、邊、端的協(xié)同。”她以自動駕駛汽車的應(yīng)用為例表示，該類應(yīng)用的視頻數(shù)據(jù)量巨大，要求系統(tǒng)能實時收集、分析這些視頻數(shù)據(jù)，而智能視覺系統(tǒng)可將計算和決策任務(wù)分布在云、邊和終端設(shè)備上，可在這些不同的終端上協(xié)同工作。因此，該視覺系統(tǒng)非常適合自動駕駛汽車的需求。0Vnesmc

“其次是AI加持。”未來的智能視覺系統(tǒng)將繼續(xù)依賴深度學(xué)習(xí)模型和神經(jīng)網(wǎng)絡(luò)來進(jìn)一步提高圖像的分析和識別能力，并利用強化學(xué)習(xí)和自主自適應(yīng)學(xué)習(xí)，從而使系統(tǒng)能夠從環(huán)境中不斷學(xué)習(xí)和改進(jìn)，并能適應(yīng)新的場景和任務(wù)。馬健補充說：“一副好的眼鏡可以將人的視力恢復(fù)到1.5，智能視覺系統(tǒng)也需要準(zhǔn)確和高質(zhì)量的圖像處理功能，以支持更高效的特征提取、目標(biāo)跟蹤與檢測、圖像分析和理解，以及圖像生成/合成。”0Vnesmc

“再次是算力支持。”因為復(fù)雜的模型和算法、大規(guī)模圖像數(shù)據(jù)處理，都有提出實時性、高精度、高并發(fā)的要求，所以智能視覺系統(tǒng)需要提供越來越大的計算資源和算力支持。與此同時，智能視覺系統(tǒng)在物聯(lián)網(wǎng)領(lǐng)域的廣泛應(yīng)用，也引發(fā)了大家對隱私和安全性的關(guān)注，未來將會更重視采用加密、匿名化等技術(shù)手段來保護(hù)用戶的隱私，加強系統(tǒng)的安全性，以防止被惡意攻擊和濫用。0Vnesmc

馬健還補充說，在設(shè)計Arm智能視覺參考設(shè)計的同時，Arm也分別從認(rèn)證標(biāo)準(zhǔn)、IP 實踐、到軟件賦能等面向，助力產(chǎn)業(yè)安全達(dá)標(biāo)。助力開發(fā)者和芯片設(shè)計者能夠在這種安全和標(biāo)準(zhǔn)化的基礎(chǔ)上進(jìn)行視覺系統(tǒng)的設(shè)計。0Vnesmc

在過去幾年里，智能視覺芯片架構(gòu)經(jīng)歷了一系列演進(jìn)——從功能固定且難以編程的DSP、ASK，到通用性且強易編程的CPU架構(gòu)，再到現(xiàn)在最先進(jìn)的綜合CPU、ISP圖像處理器、NPU AI加速器、VPU視頻編解碼器、GPU圖形處理器的異構(gòu)SoC片上系統(tǒng)，該系統(tǒng)已經(jīng)逐步具備了低功耗、高性能和高度集成的特點，為智能視覺成為一種普世的能力奠定基礎(chǔ)。整體而言，智能視覺系統(tǒng)適用于資源受限的邊緣設(shè)備，比如智能手機、攝像頭、XR、機器人和物聯(lián)網(wǎng)設(shè)備等。0Vnesmc

全新的Arm®智能視覺參考設(shè)計

近日，Arm推出了新的Arm®智能視覺參考設(shè)計，該方案的硬件參考設(shè)計包括CPU、ISP、NPU 和 VPU處理器選項，以及將這些元件粘合在一起的子系統(tǒng)IP，可滿足不同場景下的差異化視頻處理需求。0Vnesmc

馬健舉了一個簡單的例子說：“我們正由生產(chǎn)原材料向生產(chǎn)半成品的方式轉(zhuǎn)變，即從提供處理器/系統(tǒng)IP向提供預(yù)先經(jīng)過集成和驗證的子系統(tǒng)轉(zhuǎn)變。這種新的設(shè)計方式和產(chǎn)品形態(tài)，基于Arm應(yīng)用于智能視覺領(lǐng)域的處理器/系統(tǒng)IP，由此構(gòu)建出了相對標(biāo)準(zhǔn)化的IP組合。”0Vnesmc

這種方式可顯著降低芯片研發(fā)的成本和風(fēng)險，可大幅度縮短研發(fā)周期。創(chuàng)新者們無需從零開始設(shè)計，就可專注于產(chǎn)品的差異化，快速將自己的想法推向市場。另外，由于該參考設(shè)計是半成品，Arm也會根據(jù)應(yīng)用的需求，來集成第三方的IP，給予客戶更多的靈活性，以支持差異化創(chuàng)新。0Vnesmc

Arm智能視覺參加設(shè)計采用成熟的Arm CPU IP作為基礎(chǔ)，Arm CPU在智能攝像頭領(lǐng)域有九成以上的份額，已經(jīng)用于諸多智能視覺品牌設(shè)備，保證IP的質(zhì)量和強大的軟件生態(tài)系統(tǒng)。此外，此設(shè)計帶有低功耗待機子系統(tǒng)，支持電池供電的視覺設(shè)備。0Vnesmc

0Vnesmc

具體來看，Arm的智能視覺參考設(shè)計主要包括以下幾個重點：0Vnesmc

• Arm Corstone™-1000：整合 Cortex-A、Cortex-M處理器與內(nèi)建安全性，為不同應(yīng)用在受限的功耗范圍內(nèi)提供效率及高性能。
• Arm Corstone-300：為機器學(xué)習(xí)工作負(fù)載提供“永遠(yuǎn)在線”的低功耗子系統(tǒng)。
• Arm Mali™-C55圖像信號處理器(ISP)：在極小的芯片面積條件下，提供可配置、高能效、高性能的圖像質(zhì)量。

來自安謀科技的第三方IP在視頻和機器學(xué)習(xí)能力方面提供更多選項：0Vnesmc

• “玲瓏”V5視頻處理器：支持緊湊的、多格式(例如H.264, H.265)且高效能的視頻編解碼處理。
• “周易”NPU：為廣泛的機器學(xué)習(xí)用例提供高達(dá) 4TOPS 的性能表現(xiàn)，并且支持業(yè)界主流的AI規(guī)?？蚣?，例如Tensorflow、Caffe、ONNX、Pytorch等。

Arm與安謀科技的第N次合作

Arm此次與安謀科技合作推出的新智能視覺參考設(shè)計，這是Arm首次將其子系統(tǒng)IP與第三方IP進(jìn)行整合，為什么Arm會選擇與安謀科技合作？0Vnesmc

馬健回應(yīng)稱，差異化是客戶重點追求方向之一，而在中國這個競爭非常激烈的市場中，視覺系統(tǒng)的設(shè)計者和制造商都必須能夠把自己最新的想法、自己的差異化盡快地達(dá)到量產(chǎn)的水平，推向市場。所以，這次的參考設(shè)計是與在中國長期的伙伴安謀科技進(jìn)行合作，并由安謀科技進(jìn)行集成和驗證，達(dá)到參考設(shè)計最適合于中國市場的產(chǎn)品形態(tài)。0Vnesmc

她補充說，另一個考量因素是，除了現(xiàn)有的參考設(shè)計中的IP之外，客戶可能還會有一些創(chuàng)新的想法加入其他的第三方IP。由于安謀科技參與了這個參考設(shè)計的集成和驗證，對產(chǎn)品有高度的熟悉度，也有研發(fā)團(tuán)隊可以幫助對這個參考設(shè)計有興趣的客戶進(jìn)行第三方IP的集成。0Vnesmc

0Vnesmc

智能視覺參考設(shè)計中有采用安謀科技的玲瓏”VPU和“周易”NPU。趙永超表示，“玲瓏”VPU是編解碼融合、靈活可配、可編程的多核視頻處理器，不斷在編碼標(biāo)準(zhǔn)、編碼質(zhì)量、PPA(功耗、性能、面積)等各個方面進(jìn)行提升，并保持與Arm架構(gòu)以及多媒體生態(tài)的兼容。“周易”NPU在4 TOPS的典型配置下，在16納米工藝上實現(xiàn)面積只有3.3平方毫米。同時，“周易”NPU可以支持多種典型的深度學(xué)習(xí)框架，如Tensorflow、Caffe、Pytorch等，可以加速客戶應(yīng)用的部署。0Vnesmc

總之，Arm智能視覺參考設(shè)計通過集成安謀科技“玲瓏”VPU和“周易”NPU，并由安謀科技將Arm IP與安謀科技自研IP進(jìn)行集成和驗證，可進(jìn)一步滿足國內(nèi)客戶在不同場景下的差異化視頻處理需求，提高機器學(xué)習(xí)與視頻處理工作時的負(fù)載表現(xiàn)，從而加速視覺應(yīng)用產(chǎn)品的創(chuàng)新落地。0Vnesmc

針對中國智能視覺市場的新設(shè)計

值得注意的是，此次視覺參考設(shè)計主要針對中國市場。為什么是中國智能視覺市場？0Vnesmc

馬健介紹說，Arm的很多來自中國的合作伙伴反饋，中國很多的IPC視覺系統(tǒng)已經(jīng)進(jìn)入紅海市場。如何才能讓合作伙伴能夠聚焦自身的差異化，而不是去做重復(fù)性的基礎(chǔ)IP整合工作、基礎(chǔ)軟件的開發(fā)工作，這是Arm和安謀科技攜手合作推出Arm智能視覺參考設(shè)計的初衷。0Vnesmc

“從制造到零售等行業(yè)的自動化程度不斷提高，加上機器學(xué)習(xí)和物聯(lián)網(wǎng)的重大技術(shù)突破，使得中國對視覺設(shè)備的需求，以及在視覺技術(shù)方面的創(chuàng)新，都呈現(xiàn)穩(wěn)步增長的趨勢。”她補充說，“在視覺成為邊緣設(shè)備普世能力的未來，中國是引領(lǐng)視覺技術(shù)發(fā)展的中堅市場，該市場的創(chuàng)新活躍度高漲、競爭激烈。中國客戶促使我們以新的方式，更好地支持他們的差異化創(chuàng)新。”0Vnesmc

0Vnesmc

此外，Arm還宣布了“Arm智能視覺合作伙伴計劃”，該計劃匯集軟件、硬件、系統(tǒng)集成商伙伴，幫助設(shè)計者與開發(fā)者加速將其生產(chǎn)就緒的視覺應(yīng)用設(shè)備推向中國市場。加入該計劃的合作伙伴將與視覺應(yīng)用生態(tài)廠商緊密合作，共同優(yōu)化產(chǎn)品與開發(fā)者體驗，加速推向市場。0Vnesmc

這些生態(tài)伙伴可借由Arm虛擬硬件(Arm Virtual Hardware, AVH)的形式獲取Arm智能視覺參考設(shè)計的虛擬模型，助力軟件開發(fā)者在芯片完備前先著手開發(fā)并優(yōu)化代碼。該參考設(shè)計具備可信任的底層IP技術(shù)，在增強安全、可移植性與兼容性方面，已取得 Arm SystemReady™ IR與PSA Certified Level 2等重要的業(yè)界標(biāo)準(zhǔn)認(rèn)證。0Vnesmc

如今，“Arm智能視覺合作伙伴計劃”的參與者已經(jīng)包括誠邁科技、安凱微電子、愛芯元智、百度飛槳、昱感微電子等十多家來自智能物聯(lián)網(wǎng)的芯片設(shè)計、系統(tǒng)集成、AI 算法、開發(fā)平臺等國內(nèi)領(lǐng)先企業(yè)。0Vnesmc