“車(chē)載攝像頭”本身是指代并不算明確的詞，因?yàn)槿缃竦钠?chē)搭載越來(lái)越多的攝像頭，而不同作用的攝像頭，其規(guī)格和標(biāo)準(zhǔn)又是不盡相同的。Yole Developpement曾將車(chē)載攝像頭大致分成了ADAS攝像頭、視覺(jué)攝像頭（如環(huán)視、前視、盲點(diǎn)監(jiān)測(cè)等）、車(chē)艙內(nèi)攝像頭（如駕駛員監(jiān)測(cè)、手勢(shì)UI、存在檢測(cè)等）、CMS（Camera Mirror System）、AV自動(dòng)駕駛（前視、環(huán)視攝像頭等）。VhKesmc

這個(gè)分類(lèi)似乎是有些交疊的，但大方向上車(chē)內(nèi)與車(chē)外的攝像頭有差別，而讓人看的攝像頭與純粹用于數(shù)據(jù)分析的攝像頭又有差別。打個(gè)比方，手機(jī)攝像頭拍的照片要求拍得好看，是要發(fā)朋友圈的；而車(chē)載攝像頭要以“拍得到”為最高準(zhǔn)則。VhKesmc

汽車(chē)上的攝像頭按照是否給人看，也可以分成兩大類(lèi)。文首提到視覺(jué)攝像頭即視覺(jué)應(yīng)用是需要給人看的，像是電子后視鏡、某些環(huán)視系統(tǒng)。還有一類(lèi)是計(jì)算機(jī)視覺(jué)（機(jī)器視覺(jué)），應(yīng)用于自動(dòng)駕駛、自動(dòng)泊車(chē)，這種攝像頭所攝畫(huà)面價(jià)值更不在于給人看，而是做數(shù)據(jù)分析。VhKesmc

VhKesmc

本文主要探討的是后一類(lèi)車(chē)載攝像頭（以及與智慧交通相關(guān)話(huà)題的攝像頭）。ADAS與自動(dòng)駕駛方向的許多攝像頭都屬于這一類(lèi)，在這種情況下以人的視覺(jué)友好性為目的的圖像處理，就沒(méi)有價(jià)值了——計(jì)算機(jī)視覺(jué)（CV）就是指，以圖像或視頻為輸入，輸出的則是距離、色彩、形狀、對(duì)象分類(lèi)、語(yǔ)義分割等屬性信息。計(jì)算機(jī)視覺(jué)所期望達(dá)成的是理解看到的世界（雖然當(dāng)前的計(jì)算攝影實(shí)則也有一部分這種屬性）。VhKesmc

在計(jì)算機(jī)視覺(jué)領(lǐng)域，AI成為一個(gè)不得不談的話(huà)題：計(jì)算機(jī)視覺(jué)因此能夠?qū)崿F(xiàn)更快速和準(zhǔn)確的圖像分類(lèi)、目標(biāo)檢測(cè)、目標(biāo)跟蹤、語(yǔ)義分割等。VhKesmc

當(dāng)車(chē)載攝像頭（主要是ADAS與AV相關(guān)的攝像頭）應(yīng)用于計(jì)算機(jī)視覺(jué)時(shí)，圖像傳感器有了哪些新的發(fā)展方向和技術(shù)要求。我們知道，計(jì)算機(jī)視覺(jué)如今與AI有著這么大的關(guān)聯(lián)，換個(gè)角度看，也可以理解為車(chē)載攝像頭采用AI技術(shù)時(shí)，圖像傳感器有了哪些新的發(fā)展。VhKesmc

車(chē)規(guī)級(jí)圖像質(zhì)量要求嚴(yán)苛

越來(lái)越多的圖像傳感器制造商，都愈發(fā)注重在AI時(shí)代下的發(fā)展。比較具有代表性的是安森美、思特威、意法半導(dǎo)體等圖像傳感器廠(chǎng)商普遍在宣傳自家的全局曝光CMOS圖像傳感器，并且將其作為機(jī)器視覺(jué)的必要技術(shù)。因?yàn)樵谂臄z高速運(yùn)動(dòng)的對(duì)象時(shí)，唯有全局快門(mén)（Global Shutter）才能確保將對(duì)象拍清楚，才能實(shí)現(xiàn)準(zhǔn)確的計(jì)算機(jī)視覺(jué)分析。VhKesmc

雖然這些并非全部面向車(chē)載攝像頭，但也能管中窺豹地發(fā)現(xiàn)ADAS/AV攝像頭對(duì)于圖像傳感器而言意味著什么。今年的中國(guó)IC領(lǐng)袖峰會(huì)上，思特威副總經(jīng)理歐陽(yáng)堅(jiān)發(fā)表題為“以CMOS圖像傳感器創(chuàng)機(jī)器智視芯格局”的主題演講，其中就提到了包括全局快門(mén)在內(nèi)的多項(xiàng)新技術(shù)。VhKesmc

不過(guò)廠(chǎng)商從個(gè)體技術(shù)發(fā)展角度來(lái)談車(chē)載攝像頭的圖像傳感器技術(shù)要求，恐怕不夠全面。從更全面的角度來(lái)理解這個(gè)問(wèn)題，應(yīng)當(dāng)看一看標(biāo)準(zhǔn)和規(guī)范。市面上已有的標(biāo)準(zhǔn)似乎還是很多的，不過(guò)當(dāng)前比較知名的汽車(chē)相關(guān)的圖像質(zhì)量規(guī)范，應(yīng)該是IEEE P2020與ISO16505。從中應(yīng)該可以部分發(fā)現(xiàn)，如今的車(chē)載圖像傳感器，到底有哪些技術(shù)要求。VhKesmc

ISO16505針對(duì)的主要是人眼視覺(jué)相關(guān)系統(tǒng)質(zhì)量的規(guī)范，比如說(shuō)電子后視鏡、環(huán)視系統(tǒng)等；不對(duì)人眼可見(jiàn)的機(jī)器視覺(jué)部分是非強(qiáng)制的。很早之前，Imatest創(chuàng)始人曾公開(kāi)嘲笑過(guò)ISO16505，認(rèn)為這是不熟悉圖像質(zhì)量測(cè)試的人開(kāi)發(fā)的（雖然這可能與Imatest實(shí)際參與IEEE P2020有關(guān)）。那么我們就來(lái)看看P2020。VhKesmc

IEEE P2020對(duì)于人眼視覺(jué)和機(jī)器視覺(jué)應(yīng)用都有對(duì)應(yīng)的規(guī)范，但這類(lèi)規(guī)范推進(jìn)的速度似乎還是比較緩慢。2018年9月發(fā)布的IEEE P2020 Automotive Imaging White Paper白皮書(shū)提到汽車(chē)攝像頭圖像質(zhì)量尚未被完全定義好，諸多關(guān)鍵指標(biāo)不明確；我們?cè)贗EEE官網(wǎng)看到，P2020目前似乎仍停留在這一步。不過(guò)這份白皮書(shū)列舉了現(xiàn)有的一些圖像質(zhì)量規(guī)范，與車(chē)用攝像頭實(shí)際需求之間存在的差異。這其中的一部分對(duì)于圖像傳感器（以及整個(gè)攝像頭系統(tǒng)）而言就提出了新的思考，相比ISO16505也多出高動(dòng)態(tài)范圍、veiling glare等的測(cè)試。VhKesmc

其中包括Tonal Response（動(dòng)態(tài)范圍、SNR、低光照表現(xiàn)、Chroma shading）、Spatial Response（解析力、銳度、景深、紋理、運(yùn)動(dòng)模糊）、Temporal Response（Flicker/頻閃）、Spectral Response（光譜量子效率、演色性、交通相關(guān)色彩區(qū)分性）、光學(xué)偽像（鏡頭眩光、鬼影、veiling glare/雜光、鏡頭色差、雜散光）、噪聲、不均勻性（PRNU等）、熱性能（高溫下的SNR、分辨率等的變化）、功能表現(xiàn)（自動(dòng)曝光、自動(dòng)白平衡控制）、系統(tǒng)（多攝像頭系統(tǒng)）、其他（鏡頭畸變、HDR多重曝光等）。VhKesmc

與此同時(shí)，P2020明確包含7個(gè)工作組，還是多少能夠看到未來(lái)的趨勢(shì)。與本文探討的話(huà)題比較相關(guān)的有幾個(gè)。其一是工作組1研究LED flicker standards，也就是LED頻閃。歐陽(yáng)堅(jiān)在此前的演講中也提過(guò)，“交通領(lǐng)域會(huì)遇到LED燈，紅綠燈時(shí)高頻閃爍的LED燈，如果不對(duì)高頻閃爍的頻率做處理，抓拍的信息就是殘缺不全的。”人眼對(duì)于頻率高于90Hz的閃爍不會(huì)有所察覺(jué)，但對(duì)圖像傳感器而言，曝光時(shí)長(zhǎng)與LED光源調(diào)制信號(hào)產(chǎn)生一些錯(cuò)位時(shí)，就產(chǎn)生了頻閃信息捕捉不全的問(wèn)題。 VhKesmc

這一點(diǎn)實(shí)則也是思特威、OmniVision這類(lèi)圖像傳感器廠(chǎng)商研究的重要課題之一，雖然可能并非單純面向車(chē)載領(lǐng)域。而P2020工作組1針對(duì)這種頻閃，所做的工作包括闡明flicker產(chǎn)生的原因和細(xì)節(jié)；列舉flicker出現(xiàn)的情況和潛在影響；定義flicker的測(cè)試方法和關(guān)鍵測(cè)試指標(biāo)；定義flicker對(duì)人類(lèi)視覺(jué)/機(jī)器視覺(jué)影響的客觀測(cè)試指標(biāo)。VhKesmc

其二，P2020明確的工作組3研究針對(duì)計(jì)算機(jī)視覺(jué)的圖像質(zhì)量（Image quality for computer vision）。其方向主要更偏系統(tǒng)級(jí)測(cè)試。相比EMVA1288這種更偏單個(gè)組件的測(cè)試，系統(tǒng)級(jí)測(cè)試對(duì)于實(shí)際應(yīng)用是更有價(jià)值的。前面提到許多圖像質(zhì)量規(guī)范，比如其中的一些光學(xué)偽像、多攝像頭系統(tǒng)就不只是攝像頭乃至后端計(jì)算，其中一個(gè)組件的問(wèn)題。VhKesmc

對(duì)車(chē)載圖像傳感器的技術(shù)需求有哪些？

要將所有標(biāo)準(zhǔn)規(guī)范中提及的測(cè)試項(xiàng)悉數(shù)列出還是不現(xiàn)實(shí)的，所以我們根據(jù)圖像傳感器企業(yè)目前著力的宣傳點(diǎn)、新標(biāo)準(zhǔn)中針對(duì)車(chē)載攝像頭新出現(xiàn)的部分來(lái)嘗試總結(jié)ADAS/AV機(jī)器視覺(jué)對(duì)于圖像傳感器而言，提出了哪些要求，又有哪些新的發(fā)展方向。這里只討論圖像質(zhì)量，不探討車(chē)規(guī)級(jí)本身對(duì)于電子元器件在溫度、天氣等方面的嚴(yán)苛要求。VhKesmc

2018年，Smithers曾撰寫(xiě)過(guò)一份題為Autonomous Vehicle Image Sensors to 2023 – a State of the Art Report（到2023年自動(dòng)駕駛汽車(chē)圖像傳感器 – 前沿報(bào)告）的報(bào)告。除了未來(lái)全自動(dòng)駕駛將變得更依托于機(jī)器視覺(jué)，面向人類(lèi)視覺(jué)的圖像增強(qiáng)要求越來(lái)越低之外，還提到了幾個(gè)趨勢(shì)：VhKesmc

（1）達(dá)到140dB的動(dòng)態(tài)范圍，800萬(wàn)像素單目分辨率、200萬(wàn)像素立體視覺(jué)相機(jī)，超過(guò)60fps的幀率，高靈敏度；VhKesmc

（2）在0.001lux照度下，曝光時(shí)間不大于1/30秒的情況下，信噪比大于1；VhKesmc

（3）HDR高動(dòng)態(tài)范圍的同時(shí)，要求運(yùn)動(dòng)偽像更少；VhKesmc

（4）LED flickering問(wèn)題消除。VhKesmc

這幾點(diǎn)實(shí)則都不出意外，也是當(dāng)代圖像傳感器廠(chǎng)商普遍在努力的方向，包括圖像傳感器自身的高動(dòng)態(tài)范圍、更高的分辨率、幀率，以及低照度下的靈敏度和低噪聲。雖然報(bào)告中列舉的部分參數(shù)還有些超前，現(xiàn)在的圖像傳感器制造商在這些目標(biāo)的實(shí)現(xiàn)上，卻都有自己的殺手锏。比如針對(duì)低光照環(huán)境，不少?gòu)S商在變革像素結(jié)構(gòu)，同時(shí)開(kāi)始采用雙增益轉(zhuǎn)換來(lái)兼顧白天和夜間場(chǎng)景。VhKesmc

這里比較值得一提的是趨勢(shì)中提到的后兩點(diǎn)。首先是HDR高動(dòng)態(tài)范圍，以及要求更低的運(yùn)動(dòng)偽像。其中HDR是車(chē)載攝像頭所需實(shí)現(xiàn)的基本特性。畢竟當(dāng)場(chǎng)景光比很大時(shí)，如果攝像頭拍攝的畫(huà)面有部分區(qū)域過(guò)曝或欠曝，計(jì)算機(jī)視覺(jué)分析工作就無(wú)法拿到對(duì)應(yīng)的數(shù)據(jù)。從圖像傳感器的角度，實(shí)現(xiàn)HDR有多重曝光、雙增益、大小像素分離，以及提高像素阱容等方法。VhKesmc

時(shí)域多重曝光的HDR方案在成像領(lǐng)域很常見(jiàn)，但在ADAS/AV方向上的適用度正逐步降低——因?yàn)檐?chē)載攝像頭要求畫(huà)面不能有運(yùn)動(dòng)偽像，且必須抑制LED頻閃。所以像思特威這樣的廠(chǎng)商，開(kāi)始傾向于采用單幀空間域多曝光的方案，典型的方法像是隔行多曝光：圖像傳感器上每?jī)尚袨殚L(zhǎng)曝光，兩行為短曝光。ISSCC曾收錄過(guò)思特威有關(guān)單幀HDR技術(shù)的論文。VhKesmc

VhKesmc

圖1，來(lái)源：思特威VhKesmc

另外抑制運(yùn)動(dòng)偽像一個(gè)重點(diǎn)就是全局曝光（或全局快門(mén)）。全局曝光也是現(xiàn)在幾乎所有圖像傳感器制造商都在爭(zhēng)奪的技術(shù)高地。傳統(tǒng)卷簾快門(mén)（rolling shutter）因?yàn)椴捎弥鹦衅毓獾姆绞剑臄z高速運(yùn)動(dòng)物體時(shí)會(huì)有果凍效應(yīng)（圖1）。全局快門(mén)是讓所有像素同時(shí)開(kāi)始和結(jié)束曝光，也就規(guī)避了這種形式的影像失真。VhKesmc

索尼的Pregius全局快門(mén)傳感器比較知名——ISSCC曾收錄過(guò)索尼一篇每個(gè)像素都應(yīng)用獨(dú)立ADC的論文（像素級(jí)互聯(lián)），這是快速讀出實(shí)現(xiàn)全局快門(mén)的技術(shù)之一；OmniVision也有類(lèi)似的技術(shù)介紹。索尼今年發(fā)布的第四代全局快門(mén)圖像傳感器終于也用上了BSI背照式技術(shù)，減小了像素尺寸。此前思特威在宣傳中也提到，思特威是“全球?yàn)閿?shù)不多率先將全局曝光和BSI技術(shù)融合的公司之一”。VhKesmc

圖2，來(lái)源：IEEE P2020 Automotive Imaging White PaperVhKesmc

至于前文就提到的LED頻閃消除（圖2），這兩年思特威、OmniVision都在不遺余力地宣傳自家的圖像傳感器LED閃爍抑制技術(shù)。畢竟在自動(dòng)駕駛、智慧交通領(lǐng)域，LED頻閃導(dǎo)致攝像頭捕捉到的交通標(biāo)志、紅綠燈讀秒信息不全，會(huì)導(dǎo)致后端AI系統(tǒng)的誤判。VhKesmc

一般來(lái)說(shuō)，LED頻閃抑制可以通過(guò)保持LED頻閃與圖像傳感器快門(mén)同步的方式，問(wèn)題是不同LED規(guī)格不一致，所以這種理論上的方案是不可行的。另外也可以通過(guò)HDR，在捕捉LED燈的畫(huà)面時(shí)，確保能夠用更長(zhǎng)的曝光時(shí)間來(lái)捕捉更全面的信息。圖像傳感器廠(chǎng)商應(yīng)用的都是這個(gè)大思路，雖然在具體實(shí)施上存在差別，例如OmniVision應(yīng)用的是大小分離像素。VhKesmc

機(jī)器視覺(jué)感知未來(lái)趨勢(shì)已定

從更偏系統(tǒng)的角度來(lái)看，大概還有一些技術(shù)趨勢(shì)是值得一談的。比如在傳感器角度，車(chē)載領(lǐng)域各種傳感器的融合會(huì)是個(gè)趨勢(shì)，不僅是多攝系統(tǒng)，還可能是不同類(lèi)別視覺(jué)傳感器的融合，比如LiDAR與攝像頭融合的傳感器；還有RGB-IR傳感器，為圖像傳感器融入紅外感知能力（如果把傳感器探討范圍擴(kuò)展到IR傳感器，可能還涉及到近紅外響應(yīng)增強(qiáng)等技術(shù)趨勢(shì)，SWIR紅外攝像頭等）。VhKesmc

從整個(gè)成像/視覺(jué)系統(tǒng)的角度看，圖像傳感器將融合部分邊緣算力，可能也會(huì)成為一個(gè)趨勢(shì)。比如索尼就將AI邊緣計(jì)算與圖像傳感器做了結(jié)合（IMX500）；SK hynix去年也在新聞稿中提到，基于先進(jìn)半導(dǎo)體制造工藝，堆棧式傳感器中，將一個(gè)簡(jiǎn)單的AI硬件引擎加入到傳感器下層的ISP中，已經(jīng)是可行的了……雖然這些暫時(shí)還不是面向汽車(chē)市場(chǎng)的。VhKesmc

思特威前兩年推出AISENS傳感器芯片平臺(tái)，就是“感知與計(jì)算一體的通用AI傳感器芯片平臺(tái)”，此前思特威也提及以3D堆疊的方式將數(shù)據(jù)處理die與傳感器die封裝到一起。這個(gè)平臺(tái)如今似乎正趨于進(jìn)一步的商用化。VhKesmc

去年Yole Developpement發(fā)布了一份題為《2019圖像信號(hào)處理器與視覺(jué)處理器市場(chǎng)與技術(shù)趨勢(shì)》的報(bào)告。該報(bào)告明確提到：“AI徹底改變了視覺(jué)系統(tǒng)中的硬件，對(duì)整個(gè)行業(yè)都造成了影響。”“圖像分析增加了很多價(jià)值。圖像傳感器供應(yīng)商們開(kāi)始對(duì)將軟件層集成到系統(tǒng)中感興趣。如今圖像傳感器必須跳出單純的捕獲圖像這一能力之外，再對(duì)圖像做分析。”VhKesmc

2019年，EE Times曾發(fā)表過(guò)一篇題為ADAS: Key Trends on ‘Perception’的文章。這篇文章從更偏系統(tǒng)的角度談了ADAS車(chē)載感知系統(tǒng)的發(fā)展趨勢(shì)，建議閱讀。VhKesmc

最后想簡(jiǎn)單談?wù)勔訮rophesee為代表的基于事件的視覺(jué)傳感器技術(shù)。下期《電子工程專(zhuān)輯》的精英訪(fǎng)談即是采訪(fǎng)Prophesee CEO Luca Verre，其中相對(duì)詳細(xì)地介紹了這類(lèi)神經(jīng)形態(tài)視覺(jué)技術(shù)。這種傳感器的特色在于不受幀率限制（可實(shí)現(xiàn)等效10000fps的幀率），以及僅在場(chǎng)景中的對(duì)象發(fā)生動(dòng)態(tài)變化時(shí)，才記錄信息。VhKesmc

其優(yōu)勢(shì)在于產(chǎn)生數(shù)據(jù)量少、反應(yīng)速度快、可實(shí)現(xiàn)高動(dòng)態(tài)范圍。而且這種技術(shù)天然地適用于機(jī)器視覺(jué)，Luca Verre在接受采訪(fǎng)時(shí)說(shuō)：“在機(jī)器視覺(jué)領(lǐng)域，我們認(rèn)為基于事件的視覺(jué)傳感器是可以替代傳統(tǒng)基于幀的圖像傳感器技術(shù)的。而在成像領(lǐng)域，傳統(tǒng)圖像傳感技術(shù)本身是沒(méi)有問(wèn)題的。”機(jī)器視覺(jué)領(lǐng)域的變革，大概還會(huì)有一波全新的浪潮。VhKesmc

原文發(fā)表于《國(guó)際電子商情》姊妹刊《電子工程專(zhuān)輯》，2021年5月VhKesmc