近年來，AI大模型爆火帶動了視覺領域的應用，其中的行業(yè)大事件莫過于——2023年4月6日，Meta AI發(fā)布SAM(Segment Anything Model，分割一切模型)——這是一個視覺分割領域的基礎模型。該模型具有在下游分割任務應用的潛力，并可與其他視覺任務組合完成更復雜視覺任務。GzKesmc

在機器視覺應用領域，除了一些自動化程度高的標準化應用場景之外，也有非常多的長尾場景，這些瑣碎場景的視覺應用，需張貼大量數(shù)據(jù)標簽，其訓練成本也十分高昂。有了通用的圖像分割模型之后，那些非標準化的應用場景也能迎來新的發(fā)展機會。GzKesmc

如今，業(yè)內有許多圍繞“AI賦能視覺應用”的觀點，這些觀點的輸出方既有研究機構、行業(yè)媒體，也有AI視覺應用的從業(yè)者。而作為一家AI視覺感知芯片公司，安霸半導體是如何看待“AI對視覺領域的賦能”的？GzKesmc

AI給機器視覺帶來的新變化

當然，前面說的SAM無法一步到位處理完任務，但它的出現(xiàn)給業(yè)界樹了一個新范式。以前面對不同的任務需求，開發(fā)者要從“零”開發(fā)不同的專有模型，而現(xiàn)在開發(fā)者可以在SAM基礎上進行優(yōu)化，讓它更加符合自己的任務要求，這樣可節(jié)省時間和資金。GzKesmc

“隨著多模態(tài)大語言模型的問世，機器視覺市場迎來了新的機遇和變革，”安霸半導體技術(上海)有限公司軟件研發(fā)總監(jiān)湯堅評價道，“通過將語言與視覺相結合，多模態(tài)大語言模型不僅能夠準確地理解和處理圖像，還能夠自主學習和理解視頻等非語言模態(tài)的信息，更加高效地處理多源信息，從而實現(xiàn)更全面的信息分析和應用。”GzKesmc

湯堅還指出，AI的迅猛發(fā)展也讓機器視覺應用得到了拓展，例如：GzKesmc

• AI能夠更快速地識別和分析圖像信息，從而提高工廠生產效率，提供更加準確和豐富的視覺體驗；
• 機器視覺通過利用深度學習技術，可更加細致地分析圖像中的細節(jié)，從而減少誤判和漏判的情況，提升其在工業(yè)生產、品質檢測等領域的應用價值；
• AI助力機器視覺應用于醫(yī)學圖像診斷領域，可以提高醫(yī)療診斷和疾病篩查的準確性和效率；
• 利用機器視覺技術開發(fā)的智能農業(yè)設備，能夠自動識別植物并進行分類，可以提高農業(yè)生產的效率，以及農作物的品質和產量。
• 而在機器人市場，AI視覺SoC給機器人帶來環(huán)境感知、信息處理、分析決策等多種更復雜的能力。有了AI視覺SoC的加持，機器人將會變得越來越智能。

作為一家算法優(yōu)先技術至上的企業(yè)，安霸在多個領域都展現(xiàn)了卓越的成績，其應用領域包括了汽車視覺、安防攝像機、機器視覺、消費電子、機器人等細分行業(yè)。GzKesmc

其中，汽車行業(yè)是安霸的重點應用領域之一，最近幾年公司在不斷推出汽車視覺產品。比如，在去年4月的上海車展期間，安霸推出了基于CVflow 3.0 AI架構的AI視覺系統(tǒng)級芯片CV72AQ。該芯片支持攝像頭、毫米波雷達和超聲波雷達的融合，其CPU性能比上代CV22AQ提升了2倍，支持在各種神經網(wǎng)絡下高效運行，在同等功耗的情況下，比上一代產品AI性能高6倍。GzKesmc

在機器人方面，安霸正致力于開發(fā)更加智能化、高效化的機器人技術平臺。例如，在最近結束的2024 CES上，安霸發(fā)布了Cooper開發(fā)者平臺，該平臺集成了軟/硬件，以及優(yōu)化的AI模型，為安霸全系列AI芯片產品在機器人市場的應用提供支持。GzKesmc

除了在以上兩個領域有突出表現(xiàn)之外，安霸在其他領域也取得了諸多新成績。比如，在安防攝像機領域，多家國際大型品牌商基于安霸新一代AI芯片的產品陸續(xù)進入量產；在機器視覺領域，IDS的首款在實時視頻流中實現(xiàn)AI感知疊加的工業(yè)相機，就融合了安霸AI和圖像處理技術；在消費電子領域，Insta360的Go 3及Ace Pro也采用了安霸的技術。GzKesmc

AI視覺SoC系列拓展至機器人領域

目前，安霸正針對機器視覺市場積極投入。該公司正與不同應用領域的機器視覺公司攜手，展開工業(yè)自動化和機器人方面的合作，并陸續(xù)推出基于AI視覺SoC芯片的新產品。前面提到的Cooper開發(fā)者平臺，支持安霸CV全系列芯片和參考平臺，減少了硬件差異帶來的困擾。GzKesmc

簡單來說，Cooper是一套靈活度高、模塊化和預訓練的軟/硬件開發(fā)工具。其中，Cooper Metal硬件平臺，涵蓋AI SoC和底層硬件開發(fā)板集合解決方案；Cooper Foundry軟件平臺，涵蓋Cooper Core核心組件、Cooper Foundation AI應用組件、Cooper Vision視覺感知組件和Cooper UX應用交互組件。GzKesmc

用戶可基于Cooper開發(fā)者平臺的統(tǒng)一工具包，使用不同的安霸AI SoC創(chuàng)建多芯片系統(tǒng)。安霸方面表示，Cooper開發(fā)者平臺將不斷擴充安霸的生態(tài)系統(tǒng)，增加硬件制造商來生產PCIe接口的AI加速卡和模塊化核心系統(tǒng)，為Cooper Metal硬件平臺添加更多新產品。GzKesmc

目前，安霸的AI視覺SoC覆蓋了從中階到高階算力產品的不同市場需求，其最高階AI芯片，既可用于量產智駕域控制器，也可運行多模態(tài)大模型，單次推理功耗顯著低于當前市場上通用GPU解決方案；中高階AI芯片上提供了已優(yōu)化的生成式AI處理，可應用于要求低功耗的場景和產品，比如自帶本地應用的智能盒子、送貨機器人等。GzKesmc

值得注意的是，與傳統(tǒng)的基于GPU/FPGA技術的SoC相比，安霸的AI視覺SoC系列具備諸多優(yōu)勢——GzKesmc

首先，其AI視覺SoC系列設計理念遵循“算法優(yōu)先”，并針對CVflow架構進行了量身定制。通過片上緩存和稀疏化神經網(wǎng)絡的優(yōu)化方式，大幅降低算法運行過程中的內存帶寬消耗，從而實現(xiàn)了在單位能耗下的最佳AI性能。在達到同等AI性能的場景下，安霸SoC通常比GPU和FPGA有更低的功耗，因而利于設計更靈巧，更敏捷的機器人。GzKesmc

其次，單芯片集成了高度靈活可編程的ISP流水線設計，即使在低光照條件下，也能提供出色的高清圖像，實現(xiàn)更好的彩色夜視和全天候的AI感知。安霸的AI SoC支持硬件加速的傳統(tǒng)雙目立體視覺算法，以及采用神經網(wǎng)絡技術的新一代雙目立體視覺算法，為機器人系統(tǒng)的3D感知提供了堅實基礎。除了可見光視覺，安霸SoC搭配Cooper SDK也支持多種非可見光傳感器，包括ToF、結構光、熱成像傳感器等。GzKesmc

此外，AI視覺SoC系列單芯片還擁有高效的H.264/H.265視頻編碼器，為機器人的感知和決策系統(tǒng)提供了完整的單芯片解決方案，并且可實現(xiàn)對實時場景高質量記錄和回灌，利于做AI數(shù)據(jù)積累和算法模擬。這不僅大幅降低了機器人系統(tǒng)的整體硬件成本，還降低了軟件的復雜性。GzKesmc

“協(xié)同開發(fā)”模式和“可信計算”架構

在湯堅看來，安霸除了產品和方案的優(yōu)勢之外，其他優(yōu)勢還體現(xiàn)在與合作伙伴的合作方式，以及公司對數(shù)據(jù)安全的處理方面。GzKesmc

前面我們提到融合了安霸AI和圖像處理技術的IDS工業(yè)相機，采用了安霸技術的Insta360 Go 3和Ace Pro，以及基于安霸新一代AI芯片的安防攝像機等產品。針對這些產品，安霸與合作伙伴采取怎樣的合作形式？GzKesmc

據(jù)湯堅透露，安霸與合作伙伴采用“協(xié)同開發(fā)”的方式合作。具體來看，安霸負責優(yōu)化底層硬件加速模塊、AI工具鏈、圖像處理和完整SDK，以及對安霸參考設計主要功能的支持。而合作伙伴則負責開發(fā)和優(yōu)化AI視覺算法。GzKesmc

例如，在智能門禁系統(tǒng)中，安霸的SoC芯片與合作伙伴的人臉識別和活體檢測技術相結合，能夠實現(xiàn)安全可靠的人臉識別和門禁控制。同樣地，在智能產線系統(tǒng)中，安霸的SoC芯片與合作伙伴的物體識別和分揀技術相結合，能夠實現(xiàn)高速可靠的產品檢測和分類，減少誤判和漏判。GzKesmc

“目前，安霸正針對機器視覺市場積極投入。我們與不同應用領域的機器視覺公司攜手，展開工業(yè)自動化和機器人方面的合作，并陸續(xù)推出基于AI視覺SoC芯片的新產品。”安霸SoC的特有架構非常適合以超低功耗同時運行視頻處理和AI計算，它可將視頻上下文學習和場景理解應用于各種設備，從而涵蓋安防設施、自主機器人以及眾多工業(yè)應用。GzKesmc

在機器視覺領域，安霸也隨時與客戶保持深度溝通和交流，時刻了解他們對數(shù)據(jù)安全的需求和關注點。湯堅介紹說，公司在處理數(shù)據(jù)安全方面打造了一套完整的解決方案，名為“安霸可信計算架構”(代號為磐石)，包含芯片信息安全設計，底層軟件設計，系統(tǒng)優(yōu)化加強，信息安全部署工具，文檔和API等。該系統(tǒng)對數(shù)據(jù)的傳輸范圍和方式進行保護，重要數(shù)據(jù)得到加密保護，隱私數(shù)據(jù)不離開終端設備，上傳到云端的數(shù)據(jù)都會先進行脫敏和加密處理。GzKesmc

在硬件設計方面，安霸的AI視覺SoC通過特殊硬件的存儲和加密單元，實現(xiàn)系統(tǒng)的安全啟動、安全運行和安全升級?；诎舶钥尚庞嬎慵軜嫷腁I視覺SoC已經在國內外多個市場的頭部客戶完成產品量產驗證，符合相關的信息安全法規(guī)。GzKesmc

小結

如果說，傳統(tǒng)的視覺SoC是機器人的“眼睛”，給機器人帶來環(huán)境感知能力。那么AI視覺SoC則是機器人的“眼睛和大腦”。有了AI視覺SoC的加持，機器人將會變得越來越智能。我們相信，像安霸這類發(fā)力AI視覺感知芯片的企業(yè)會越來越多，同時，AI視覺SoC也將能撬動海量的應用空間。GzKesmc