現(xiàn)在大家討論機器視覺，已經(jīng)不再聚焦“它是否能取代人類視覺”來展開，因為機器視覺過去多年的發(fā)展，已向大家充分證明了它的高效率。cpresmc

不過，目前機器視覺在各行各業(yè)的應(yīng)用，主要聚焦在3C電子、汽車制造、半導(dǎo)體、光伏、鋰電、物流/包裝行業(yè)等標(biāo)準(zhǔn)化、自動化極高的應(yīng)用場景。cpresmc

其實，在市場中還有許多非標(biāo)準(zhǔn)化的應(yīng)用場景，比如，農(nóng)產(chǎn)品檢測、機車車下零部件巡檢等，這些市場雖然看上去并不算太大，但累加起來的規(guī)模不容忽視。cpresmc

在工業(yè)領(lǐng)域，各細(xì)分行業(yè)之間可謂千差萬別。對于機器視覺系統(tǒng)而言，每一項工序都需大量計算來支撐，這對于許多細(xì)分領(lǐng)域的企業(yè)來說，“砸錢”從零開始訓(xùn)練機器視覺系統(tǒng)既費時又燒錢，一般的小企業(yè)難以承受這種壓力。就算有細(xì)分企業(yè)愿意投錢訓(xùn)練模型，也會受限于可供訓(xùn)練的樣本少，而較難以有突破。cpresmc

契機出現(xiàn)在2022年11月底，由于ChatGPT爆火而“出圈”，各界探索“AI大模型+行業(yè)”的熱度高漲。對屬于人工智能(AI)分支的機器視覺而言，“大模型+機器視覺”的探索也帶來一些新機遇。cpresmc

AI大模型賦能機器視覺

機器視覺系統(tǒng)通常由照明光源、光學(xué)鏡頭、攝像機、圖像采集卡、圖像檢測軟件、監(jiān)視器、通訊單元等組成，該系統(tǒng)可滿足實時監(jiān)控、自動化控制和圖像識別等需求，適用于智慧工廠、智慧交通、智慧城市等場景。cpresmc

這其中的每一個組成單元，都可能會影響整套系統(tǒng)的精度。比如，硬件的質(zhì)量和參數(shù)會直接影響圖像的分辨率、清晰度、對比度、噪聲等；軟件的邏輯和效率也會影響圖像的處理速度、準(zhǔn)確度、穩(wěn)定性等。cpresmc

·以前靠全局快門、HDR提升精度

在AI大模型爆紅之前，就存在許多提升機器視覺檢測精度的方案，其中包括使用全局快門圖像傳感器、利用高動態(tài)范圍(HDR)等。cpresmc

高速運動物體造成的形變偽影可能產(chǎn)生的誤差，將在機器視覺場景下被無限放大，全局快門擁有高幀率、無畸變的特點，這使之非常適合工業(yè)面陣應(yīng)用和智能交通系統(tǒng)，包括安森美、意法半導(dǎo)體、思特威等公司，均有應(yīng)用于機器視覺的全局快門圖像傳感器方案。cpresmc

安森美總裁兼首席執(zhí)行官Hassane El-Khoury曾在幾年前的一次媒體溝通會上強調(diào)，公司在工業(yè)生產(chǎn)中的機器視覺應(yīng)用方面非常重視全局快門技術(shù)。他認(rèn)為，該技術(shù)是實現(xiàn)最快吞吐量的技術(shù)，能夠捕捉到快速移動的物體，同時產(chǎn)出非常清晰的圖像，適用于庫存管理、實時質(zhì)量檢測、質(zhì)量控制等應(yīng)用。cpresmc

El-Khoury指出，工廠在智能制造方面需要提高作業(yè)的效率，需要提高自動化，所以其吞吐量上漲非?？臁榱耸沟蒙a(chǎn)線趕上吞吐量的增長，需要生產(chǎn)線具備全局快門的技術(shù)和能力，不管是庫存管理、質(zhì)量檢測，還是在其它工業(yè)自動化方面，都能夠得到更好的滿足。cpresmc

采用全局快門只是提升機器視覺系統(tǒng)精度的一種方式，另一種方式是利用HDR。簡單地說，動態(tài)范圍是指相機捕捉場景明亮和黑暗區(qū)域細(xì)節(jié)的能力，更高動態(tài)范圍的相機產(chǎn)生的圖像具有更真實的照明和更少的高光溢出或丟失的陰影。比如，豪威科技在2023年5月底發(fā)布的OV02E，是一顆具有交錯式HDR的全新1080P全高清圖像傳感器，適用于需要深度檢測的機器視覺和物聯(lián)網(wǎng)應(yīng)用。cpresmc

不過，在一些光學(xué)成像環(huán)境相對復(fù)雜，或者瑕疵類型很難被明確定義的場景中，機器視覺設(shè)備難以達(dá)到檢測要求的混檢場景，仍然依賴人工進(jìn)行視檢，這個問題依然需要研發(fā)人員來解決。cpresmc

所幸的是，在大模型走紅之后，我們看到了更多的可能性，也有了更多的選擇。cpresmc

·SAM模型橫空出世

2023年4月6日，Meta AI公開了Segment Anything Model(SAM,分割一切模型)。SAM使用了分割數(shù)據(jù)集SA-1B，其內(nèi)包含了1,100萬張圖像，總計超過10億張掩碼。SAM架構(gòu)主要包含三個部分：圖像編碼器；提示編碼器；以及掩碼解碼器。cpresmc

該模型在訓(xùn)練時被設(shè)計為交互性的可提示模型，因此可以通過零樣本學(xué)習(xí)轉(zhuǎn)移到新的圖像分布和任務(wù)中。由于其底層以NLP模型的通用方式，解決圖像分割和識別問題，所以SAM模型可應(yīng)用于各種領(lǐng)域，用于查找和分割圖像中的任何對象。SAM模型極大地降低了圖像處理的門檻，是機器視覺領(lǐng)域的底層突破性技術(shù)。cpresmc

SAM模型可以看作是一種通用模型，它是可處理多種不同類型任務(wù)的AI模型。而專門處理某一種類型任務(wù)的AI模型，則被視為專有模型。當(dāng)然，通用模型處理過的任務(wù)在精度上一般低于專有模型。cpresmc

SAM模型雖然無法一步到位把任務(wù)處理得十分完美，但是它如此受機器視覺領(lǐng)域關(guān)注，是因為它的出現(xiàn)給業(yè)界樹了一個新范式。以前面對不同的任務(wù)需求，開發(fā)者要從零開發(fā)不同的專有模型，而現(xiàn)在開發(fā)者只需在SAM模型基礎(chǔ)上進(jìn)行優(yōu)化，讓它更加符合自己的任務(wù)要求，這樣可節(jié)省時間成本和資金成本。cpresmc

對于需要應(yīng)用機器視覺技術(shù)的自動駕駛、智慧交通、智能安防、智慧城市等領(lǐng)域，此前這些領(lǐng)域因為長尾場景過多，需貼大量數(shù)據(jù)標(biāo)簽，導(dǎo)致其訓(xùn)練成本高昂，而有了SAM這種通用的圖像分割模型之后，以上領(lǐng)域的相關(guān)定制產(chǎn)品成本會降低。cpresmc

另外，那些由于樣本量少而難有突破的領(lǐng)域，也會迎來新的發(fā)展，比如非標(biāo)準(zhǔn)化應(yīng)用場景。前文提到的農(nóng)產(chǎn)品檢測、機車車下零部件巡檢等細(xì)分領(lǐng)域，未來我們將看到機器視覺將應(yīng)用到更多新的領(lǐng)域中來。cpresmc

AI視覺SoC開始出現(xiàn)

隨著多模態(tài)大語言模型的問世，機器視覺市場迎來了新的機遇和變革。市場上開始陸續(xù)出現(xiàn)AI視覺SoC，它在SoC中添加了AI功能。因為在為非AI應(yīng)用構(gòu)建的SoC上實現(xiàn)視覺、語音識別和其它深度學(xué)習(xí)/機器學(xué)習(xí)算法時，SoC的資源會不夠用，所以開發(fā)者選擇和整合IP，確定了AI SoC的基礎(chǔ)效率，構(gòu)成了AI SoC的本征特性。隨著AI SoC的復(fù)雜性不斷增加，這種使用工具、服務(wù)和專業(yè)知識來降低功耗、提升性能和削減成本變得益發(fā)重要。cpresmc

安霸半導(dǎo)體軟件研發(fā)總監(jiān)湯堅表示：“如果說，在機器人市場，傳統(tǒng)的視覺SoC是機器人的‘眼睛’，給機器人帶來環(huán)境感知能力。那么AI視覺SoC則是機器人的‘眼睛+大腦’，給機器人帶來環(huán)境感知、信息處理、分析決策等多種更復(fù)雜的能力。有了AI視覺SoC的加持，機器人也將變得越來越智能。”cpresmc

目前除了安霸半導(dǎo)體之外，還有中國大陸的愛芯元智、億智電子等也有發(fā)布AI視覺SoC產(chǎn)品。同時，從AI視覺SoC這類芯片可以看出，隨著AI進(jìn)一步深入發(fā)展，我們也會在市場上看到更多其他不同種類和用途的AI芯片誕生。cpresmc

小結(jié)

實際上，直到近年來，伴隨AI、深度學(xué)習(xí)等技術(shù)快速發(fā)展，機器視覺技術(shù)才有更進(jìn)一步的發(fā)展。cpresmc

比如說，除了前文提到的細(xì)分領(lǐng)域之外，生物/3D臉部識別也是一個機器視覺的應(yīng)用，目前已經(jīng)廣泛應(yīng)用于智能手機、筆記本電腦、個人平板、智能手表、智能門鎖、考勤機、自助付款機等，還有汽車類的智能座艙、醫(yī)療類的自動測溫儀等設(shè)備。cpresmc

隨著通用大模型的進(jìn)一步普及，未來還會有更多領(lǐng)域的企業(yè)，在通用大模型基礎(chǔ)上訓(xùn)練自己的專有模型，從而把機器視覺推向更深、更廣的市場。cpresmc