圖像或視覺傳感器這兩年一直都是熱門領域，即便其應用場景支撐力之一的手機市場表現(xiàn)平平，還有華為被“拉黑”、新冠疫情爆發(fā)等干擾因素存在，這塊市場近2年的總體發(fā)展仍然相當有看頭。sxFesmc

不過當前我們關注的圖像/視覺傳感器主流，還是比較常見基于幀（frame-based）的圖像傳感器。EE Times美國和中國版此前刊發(fā)過不少文章談基于事件（event-based）的視覺/圖像傳感器——從市場來看，這還是個新興領域。不過基于事件的視覺技術，或者叫神經形態(tài)視覺技術（neuralmorphic vision technology），其實發(fā)展年份也不算短了。sxFesmc

1991年最初有人提出silicon retina（硅視網(wǎng)膜）模仿人眼神經結構之后，基于事件的視覺技術研究其實就逐漸變得多樣。sxFesmc

可能大部分讀者對基于事件的視覺感知技術還很陌生，不過這種技術現(xiàn)在是CVPR這類視覺技術峰會的常客。今年年中的CVPR上，大約有15篇paper都是在談基于事件的視覺技術。sxFesmc

這個領域比較有代表性的公司如Prophesee、iniVation，這兩家公司分別是在2014、2015年成立的，到如今也有6、7年的歷史了。此前我們采訪Prophesee CEO Luca Verre的時候，他也談到基于事件的視覺技術發(fā)展并不是現(xiàn)在才開始的，只不過如今開始步入到了成熟期，對商用真正具備了價值。這兩年Prophesee在國內的市場動作正變得頻繁，這也可能是基于事件的視覺技術成熟的某種體現(xiàn)。sxFesmc

10年市場預期

有關基于事件的視覺技術本身，并不是本文要談的重點，此前我們也花了不少篇幅來介紹這類技術。簡單來說，基于事件的視覺/圖像傳感器，所有的像素是相互獨立、異步的，每個像素僅在感知到外界有亮度上的變化（達到一定閾值）時，才會輸出；應用這種技術商業(yè)企業(yè)的宣傳普遍說，其等效幀率因此達到了10000fps。sxFesmc

本質上這類圖像傳感器的特點，就是僅在檢測到外界的運動變化時才會記錄信息，且不記錄靜態(tài)信息。其主要價值大致上有幾個，其一是超低延遲，其二是不存在動態(tài)模糊，其三高動態(tài)范圍，以及超低功耗。另外對后端而言還有些附加價值，比如說產生的數(shù)據(jù)量，比一般基于幀的技術少很多。sxFesmc

sxFesmc

像這樣的視覺/圖像傳感器，用來拍照肯定是不行了。但其特性決定了，它格外適用于高速避障、ADAS/AV，以及更多工業(yè)領域的視覺感知應用。就市場來看，這的確是個新興應用領域。sxFesmc

一般我們要觀察某一種技術是不是真的具備發(fā)展?jié)摿?，無非也就是看參與這項技術商用的企業(yè)發(fā)展情況，以及市場分析機構的預測和報告。sxFesmc

其實市場分析機構此前都沒怎么提過基于事件的視覺技術，不過在今年7月，IDTechEx比較罕見地在圖像傳感器技術10年報告中，提到了基于事件的視覺技術——IDTechEx預計基于事件的視覺傳感器芯片，未來10年會達成每年2000萬美元的市場規(guī)模。他們將目前的市場稱作“pre-revenue status”。sxFesmc

IDTechEx提市場發(fā)展動因，主要就是在談基于事件的視覺感知技術的幾個優(yōu)勢，包括僅檢測場景的動態(tài)變化，后續(xù)數(shù)據(jù)處理更簡單，數(shù)據(jù)傳輸和處理的量顯著減少；高動態(tài)范圍，也就意味著畫面中的高亮度溢出情況顯著減少，而且夜晚超低照度的場景也沒問題等等；很高的時間分辨率——也就是所謂達到等效10000fps的幀率（如果按照基于幀的角度思考的話）。sxFesmc

基于事件的視覺感知技術雖然是沒有“幀”的概念的，但因為后端傳統(tǒng)算力平臺的限制，系統(tǒng)仍然會有個“時間分辨率”，只不過這個時間分辨率會顯著高于傳統(tǒng)基于幀的方案（比如傳統(tǒng)視覺/圖像傳感器60fps/120fps的時間分辨率）。sxFesmc

這家機構預測的市場應用也在于自動駕駛、ADAS、無人機的避障、導航。不過“這些市場仍然需要大量軟件開發(fā)和數(shù)據(jù)收集工作，來完整地利用基于事件的視覺數(shù)據(jù)”；“因此IDTechEx相信，具備更具可預測性的輸入數(shù)據(jù)的那些更小的市場，比如說AR/VR的虹膜追蹤、激光掃描（profiling），會成為基于事件的視覺技術最早的應用。”sxFesmc

sxFesmc

Prophesee今年也援引過一份Yole Developpement的市場預測數(shù)據(jù)。Prophesee公布的這份數(shù)據(jù)在量級上看起來會更激進一些，如上圖所示。預計到2030年，在AI計算與感知市場，神經形態(tài)AI會占到8%，規(guī)模70億美元——這應該不只是說的基于事件的視覺技術；2035年則會增長到18%。sxFesmc

sxFesmc

而基于事件的視覺傳感器，在整個CIS（CMOS圖像傳感器）市場上的份額，預計到2030年會達到9%——如上圖所示。從其應用構成來看，似乎從2023年開始，“Mobile”就會成為其中的主力。其他應用還包括IoT、工業(yè)、監(jiān)控、汽車。在“Mobile”手機市場的滲透預測，還是有些出乎我們意料的。sxFesmc

市場在探索中成長

前兩年，三星申請了Dynamic Vision Sensor商標，主要應用于移動和平板——動態(tài)視覺其實是基于事件的視覺感知技術的另一個名字。iniVation也將自家的技術稱作動態(tài)視覺。iniVation預設比較早的市場應用是工業(yè)視覺應用——這和Prophesee的認識類似。我們以前在談工業(yè)4.0的時候，經常提到工廠生產的預測性維護（predictive maintenance），還有高速生產檢測等，動態(tài)視覺平臺據(jù)說就能實現(xiàn)高速3D基礎設施檢測。sxFesmc

前不久Prophesee在談自家傳感器的應用時，其實也提到了工業(yè)領域，這類方案可感知震動頻率、幅度，進行非接觸性震動檢測——比如對大型設備設施震動做長期觀察；甚至弧焊引導——因為基于事件的視覺傳感器動態(tài)范圍很大，焊點太亮也沒問題，依然可以引導焊頭位置走向。sxFesmc

這些應用其實都是基于事件的視覺技術低延遲、高動態(tài)范圍、高時間分辨率的體現(xiàn)。此前iniVation CEO Kynan Eng在接受EE Times美國版采訪時曾提到，工業(yè)視覺是相對低風險，但市場規(guī)模不大的應用方向。iniVation前年和三星合作，開始向機器視覺行業(yè)銷售完整的攝像頭——從單純出售芯片到更偏系統(tǒng)的發(fā)展。這是典型的市場參與者尋求價值擴大和探索。sxFesmc

iniVation認為，和三星這類CIS市場的巨頭合作能夠擴大其傳感器產品在機器視覺領域的應用范圍，將其擴展到更多的市場上，比如說食品、包裝、消費電子、汽車等。sxFesmc

其實Prophesee此前和索尼合作，一起推出堆棧式（stacked）基于事件的視覺傳感器，在市場上是更加廣為人知的。Luca Verre告訴我們，Prophesee和索尼合作推出的已經是Prophesee推出的第四代視覺傳感器產品了，主要是結合Prophesee基于事件的視覺感知技術，外加索尼的背照式+3D堆棧生產工藝，讓基于事件的視覺傳感器像素尺寸第一次做小到了4.86μm。這也算是基于事件的視覺，在技術上的探索了。sxFesmc

sxFesmc

Prophesee的視覺傳感器sxFesmc

不過Prophesee預期中，未來10年基于事件的視覺感知技術將會大規(guī)模應用在移動市場上，這一點其實有些令人困惑。因為這類傳感器并不能直接用于拍照、攝影。Kynan Eng說要說服手持設備制造商，將這樣的傳感器放到手機里面去。“這對于高速變化的感知很有幫助，雖然可能很多人就只是想用手機自拍、拍攝食物而已。”sxFesmc

Luca Verre前不久在媒體溝通會上列舉的應用實例，包括幫助“改善手機拍照的質量”。因為一般基于幀的圖像傳感器受制于曝光時間，畫面中的高速運動對象會出現(xiàn)運動模糊。而基于事件的視覺感知技術有著很高的時間分辨率，前文就提到了它無懼動態(tài)模糊，所以將基于事件的攝像頭與傳統(tǒng)RGB攝像頭配合，就能實現(xiàn)運動偽像的消除。sxFesmc

不過我們還沒有親身看到過這種應用，不了解其實際效果如何。因為兩種技術的結合，在成熟應用上也需要完善的算法。許多應用雖然理論上行得通，但實際操作難度甚大。Luca Verre說Prophesee本身會提供這樣的算法。不知道未來1-2年會不會看到這樣的攝像頭在手機上問世。sxFesmc

sxFesmc

Speck攝像頭模組sxFesmc

市場調研機構Yole分析師Pierre Cambou去年說，這類技術在“移動市場的窗口期會是2021或2022年。華為手機上有5顆攝像頭，但卻還沒有看到always-on（總是開啟狀態(tài)）的神經形態(tài)攝像頭。很多人常談到多光譜技術，但我一直在想的是實時感知能力（always-on awareness）。”sxFesmc

早在2019年，aiCTX和iniVation共同發(fā)布了一款名為Speck的低功耗神經形態(tài)SoC，主要面向手機和IoT市場。整個芯片包含了視覺傳感器+卷積神經網(wǎng)絡處理器。其目標應用場景，就是以超低功耗達成always-on總是開啟狀態(tài)的響應。sxFesmc

不知道類似預防運動模糊，以及始終開啟的視覺感知能力，未來在手機應用領域，會不會成為基于事件的視覺傳感器的殺手锏。我們認為，始終開啟的視覺感知能力在手機設備上可能會是個很重要的方向——它能實現(xiàn)大量玩法，比如手機息屏狀態(tài)下超低功耗的環(huán)境感知能力。這兩年可能就要見分曉。sxFesmc

sxFesmc

近2-3年的關鍵市場發(fā)展期

在汽車領域，“因為我們的傳感器始終開啟，因為低延遲和不是基于幀的特性，能夠只檢測相關ROI，利用這樣的信息來補充其他各種技術，比如激光雷達。”其實在汽車應用上，Prophesee此前列舉的一個應用就是將基于事件的視覺感知，與激光3D Point Cloud掃描做配合，同時利用激光的精度與基于事件感知技術的速度，讓后者的傳感器去追蹤激光，并對掃描到的內容做3D建模，來分析路況。sxFesmc

這種技術已經應用在一種名為VoxelFlow傳感器技術上，是Terranet AB和奔馳一起開發(fā)的，其中的傳感器就是來自Prophesee。Prophesee上次發(fā)布消息是有關新一輪融資的，獲得C輪融資的資方背景包括小米、豪威等，還是能夠一定程度表明市場的主流參與者有將目光投向這種技術。雖然對投資行為而言，廣撒網(wǎng)一直是個常規(guī)。sxFesmc

Kynan Eng此前也提到了汽車應用，表達低功耗、低數(shù)據(jù)量對于提升汽車自動駕駛能力的價值。Yole對于神經形態(tài)計算市場的預測是，五年內達到6900萬美元市場規(guī)模，2029年50億美元；其中神經形態(tài)感知市場2029年達到20億美元——雖然可能不只是基于事件的視覺傳感器，不過這個預測量級還是遠大于IDTechEx的。sxFesmc

這2-3年可能將是考驗Prophesee、iniVation這些公司發(fā)展的關鍵，也是基于事件的視覺感知技術最終能否成為主流的關鍵。所以我們也不難看到Prophesee這類企業(yè)在中國國內開展更多的市場活動。基于事件的攝像頭這兩年會不會出現(xiàn)在消費電子產品之上，可能也是這個市場是否會如統(tǒng)計機構預測的那般做大的關鍵，我們也將持續(xù)做這方面的觀察。sxFesmc