在2018年度的國(guó)際固態(tài)電路會(huì)議(ISSCC)上,有幾項(xiàng)在圖像傳感器技術(shù)方面的新進(jìn)展亮相,超越了以前著重在“選美”的圖像擷取,添加了更多情境信息;這些新進(jìn)展包括了事件導(dǎo)向(event-driven)傳感器、能解決運(yùn)動(dòng)中物體圖像扭曲問題的全局快門(global shutters)新方法,以及飛行時(shí)間(ToF)圖像傳感器。pA9esmc
具備動(dòng)作偵測(cè)功能的CMOS圖像傳感器
索尼(Sony)在ISSCC發(fā)表的事件導(dǎo)向低功耗CMOS圖像傳感器,就是一個(gè)為所擷取圖像添加情境信息的好例子,該公司的設(shè)計(jì)工程師團(tuán)隊(duì)直接在圖像傳感器內(nèi)部布置了運(yùn)動(dòng)偵測(cè)(motion detection)功能。pA9esmc
在一篇論文中,Sony詳細(xì)介紹了一款1/4吋、390萬像素(3.9Megapixel)的低功耗事件導(dǎo)向背照式堆棧(back-illuminated stacked) CMOS圖像傳感器,整合了像素讀取電路(pixel readout circuit),能偵測(cè)每一個(gè)像素的運(yùn)動(dòng)物體。根據(jù)Sony開發(fā)團(tuán)隊(duì)的描述,開發(fā)這款事件導(dǎo)向圖像傳感器的幕后動(dòng)機(jī),是為了滿足那些低功耗、永不關(guān)機(jī)設(shè)備也要配備高畫質(zhì)成像技術(shù)的需求。pA9esmc
隨著諸如家用保全攝影機(jī)、虛擬個(gè)人助理等無線連網(wǎng)設(shè)備崛起,物聯(lián)網(wǎng)(IoT)系統(tǒng)設(shè)計(jì)工程師也在尋找能延長(zhǎng)電池壽命的小型解決方案,事件導(dǎo)向技術(shù)正適合保全系統(tǒng)應(yīng)用;這類圖像傳感器內(nèi)建了智能功能,能實(shí)時(shí)偵測(cè)運(yùn)動(dòng)物體。 pA9esmc
Sony的事件導(dǎo)向傳感器具備像素?cái)?shù)組、列驅(qū)動(dòng)器(row drivers)、列譯碼器(row decoders)、單斜率產(chǎn)生器(single-slope generation)、動(dòng)作/光偵測(cè)功能區(qū)塊、圖像信號(hào)處理器、訊框內(nèi)存SRAM、MIPI鏈接端口,以及連結(jié)至傳感器控制區(qū)塊的CPU (來源:Sony)pA9esmc
如上圖所示,當(dāng)Sony事件導(dǎo)向傳感器偵測(cè)到運(yùn)動(dòng)物體時(shí),CPU會(huì)產(chǎn)生一個(gè)外部中斷訊號(hào),利用芯片上的自動(dòng)曝光,以零延遲觸發(fā)對(duì)高畫質(zhì)圖像的擷取。Sony表示,該圖像傳感器利用每個(gè)像素區(qū)塊共享之浮動(dòng)擴(kuò)散(floating diffusion)中的像素加總(pixel summation),實(shí)現(xiàn)了每秒10訊框的運(yùn)動(dòng)物體偵測(cè)。pA9esmc
Sony位于美國(guó)硅谷的圖像傳感器設(shè)計(jì)中心資深嵌入式軟件工程師Abhinav Mathur表示,該圖像傳感器的運(yùn)作功耗僅1.1mW,而相同的全分辨率、每秒60訊框速率CMOS圖像傳感器功耗為95mW;在事件紀(jì)錄的應(yīng)用中,此傳感器能在攝影機(jī)系統(tǒng)的低功耗感測(cè)模式下顯著降低功耗與數(shù)據(jù)帶寬。 pA9esmc
Sony事件導(dǎo)向傳感器功能區(qū)塊 (來源:Sony)pA9esmc
ToF傳感器技術(shù)進(jìn)展
3D深度攝影機(jī)正夯,相關(guān)技術(shù)的競(jìng)爭(zhēng)焦點(diǎn)在于更高分辨率、更低功耗以及更小體積;微軟(Microsoft)在ISSCC簡(jiǎn)報(bào)了應(yīng)用于Kinect 2動(dòng)作感測(cè)設(shè)備的ToF傳感器進(jìn)展,該傳感器采用的是經(jīng)過改善的連續(xù)波(Continuous-Wave,CW)式ToF技術(shù),號(hào)稱將最新的ToF傳感器推向了百萬像素等級(jí)。 pA9esmc
Microsoft的最新ToF傳感器 (來源:Microsoft)pA9esmc
Microsoft的團(tuán)隊(duì)認(rèn)為,在市面上各種3D圖像擷取技術(shù)中,CW ToF成像系統(tǒng)能提供優(yōu)異的機(jī)械強(qiáng)度、無要求底線,以及高效能深度圖像分辨率、低運(yùn)算成本,還有IR環(huán)境光強(qiáng)度不變 (IR ambient light invariant intensity)同步擷取──即主動(dòng)亮度(active brightness)──等特性,因此該團(tuán)隊(duì)致力于改善CW ToF攝影機(jī)的空間分辨率、精確度以及運(yùn)作范圍,同時(shí)降低其功耗。pA9esmc
此外Microsoft也藉由提升調(diào)變對(duì)比(modulation contrast)、量子效率以及調(diào)變頻率來改善CW ToF圖像傳感器的不確定性與功耗,消除了讀取噪聲與模擬數(shù)字轉(zhuǎn)換,同時(shí)以較小像素降低了光學(xué)堆棧的高度。 pA9esmc
Microsoft的ToF傳感器規(guī)格 (來源:Microsoft)pA9esmc
小型像素(3.5 x 3.5μm)對(duì)新一代ToF傳感器在智能手機(jī)應(yīng)用的競(jìng)爭(zhēng)上非常重要,Microsoft號(hào)稱其方案具備商用全局快門RGB傳感器競(jìng)爭(zhēng)力,以及適用手持式設(shè)備的小型光學(xué)堆棧;該公司在ISSCC論文中介紹的1024x1024像素ToF全局快門圖像傳感器,能在200MHz下達(dá)到87%的調(diào)變對(duì)比,采用臺(tái)積電(TSMC)的65奈米1P8M背照式CMOS技術(shù)。pA9esmc
像素內(nèi)噪聲消除
松下(Panasonic)在ISSCC展示其有機(jī)光導(dǎo)薄膜(organic photoconductive film,OPF) CMOS圖像傳感器技術(shù)最新進(jìn)展──將OPF CMOS圖像傳感器中的光電轉(zhuǎn)換功能與電路分離;藉由這種獨(dú)特架構(gòu),該公司團(tuán)隊(duì)將新開發(fā)的高速噪聲消除技術(shù)以及高飽和度技術(shù)整合至電路,同時(shí)利用傳感器的獨(dú)特敏感度控制功能來改變施加到OPF的電壓,因此實(shí)現(xiàn)全局快門功能。 pA9esmc
OPF CMOS圖像傳感器與傳統(tǒng)全局快門傳感器的架構(gòu)比較;Panasonic聲稱其最新傳感器是業(yè)界首款提供8K分辨率、60fps訊框速率、450k電子飽和度,并具備全局快門功能 (來源:Panasonic)pA9esmc
在過去,廣播電視與保全應(yīng)用的高分辨率、高保真度攝影機(jī),如8K超高分辨率電視系統(tǒng)與采用堆棧傳感器方案的8K攝影機(jī)的共同缺陷,是采用滾動(dòng)快門(rolling-shutter)而非全局快門。在全局模式下,快門運(yùn)作能同步擷取所有像素的圖像;而滾動(dòng)快門模式的有機(jī)CMOS圖像傳感器,則是以逐行(row by row)方式曝光與運(yùn)作。 pA9esmc
Panasonic表示,滾動(dòng)快門會(huì)導(dǎo)致失真問題,特別是在高速成像以及多視角圖像合成應(yīng)用時(shí) (來源:Panasonic)pA9esmc
Panasonic新開發(fā)的傳感器號(hào)稱能實(shí)時(shí)擷取不失真的運(yùn)動(dòng)物體圖像,該公司認(rèn)為這對(duì)多視角與高速、高分辨率攝影機(jī)特別有益,例如機(jī)器視覺與智能交通監(jiān)控系統(tǒng)的應(yīng)用;而因?yàn)楣怆娹D(zhuǎn)換與電路能分開設(shè)計(jì),利用像素內(nèi)增益開關(guān)(in-pixel gain-switching)技術(shù)能達(dá)到高飽和度特性,電壓控制敏感度調(diào)變技術(shù)則是藉由改變施加至OPF的電壓來調(diào)整敏感度。 pA9esmc
Panasonic新開發(fā)的CMOS圖像傳感器能擷取8K分辨率圖像,甚至在高對(duì)比度度的場(chǎng)景中,同時(shí)具備全局快門功能,可用全像素?cái)X取同步圖像 (來源:EE Times)pA9esmc
支持200公尺距離的成像光達(dá)
東芝(Toshiba)的工程師團(tuán)隊(duì)在ISSCC發(fā)表的是長(zhǎng)距離、高分辨率光達(dá)(LiDAR)系統(tǒng)最新技術(shù),利用來自目標(biāo)物反射光子(reflected photon)的ToF信息;而因?yàn)槠淠繕?biāo)是距離量測(cè)(distance measurement,DM),該團(tuán)隊(duì)將支持距離定在200公尺,也就是一輛行駛于高速公路上的汽車,感測(cè)正在接近的其他車輛或物體的最理想距離。pA9esmc
而Toshiba的團(tuán)隊(duì)也指出,若要在城市區(qū)域?qū)崿F(xiàn)安全可靠的自動(dòng)駕駛車輛,光達(dá)系統(tǒng)必須要有寬廣視角與高分辨率,才能完整感知周遭情況;要實(shí)現(xiàn)此目標(biāo)的一個(gè)棘手挑戰(zhàn)是,光達(dá)系統(tǒng)得時(shí)常與強(qiáng)烈的背景光線(例如陽(yáng)光)對(duì)抗,那也是光達(dá)系統(tǒng)最主要的噪聲來源。 pA9esmc
車用光達(dá)系統(tǒng)的偵測(cè)距離要求以及Toshiba的解決方案規(guī)格 (來源:Toshiba)pA9esmc
Toshiba介紹了一種結(jié)合時(shí)間至數(shù)字值轉(zhuǎn)換器(Time-to-Digital Converter,TDC)與模擬數(shù)字轉(zhuǎn)換器(ADC)的光達(dá)SoC,配備了一種命名為智能累加技術(shù)(Smart Accumulation Technique,SAT)的功能,號(hào)稱能讓光達(dá)系統(tǒng)達(dá)到200公尺的視距以及自動(dòng)駕駛車輛需要的高分辨率圖像。pA9esmc
根據(jù)Toshiba的說法,SAT能利用來自ADC的強(qiáng)度與背景光信息,識(shí)別并累計(jì)僅從目標(biāo)物反射的數(shù)據(jù),因此與傳統(tǒng)的累加技術(shù)相較,其分辨率能達(dá)到四倍。該TDC/ADC組合架構(gòu)放寬了ADC采樣率需求,以支持短距離DM精確度;此外該概念驗(yàn)證支持200公尺距離的光達(dá)系統(tǒng),DM距離是傳統(tǒng)設(shè)計(jì)的兩倍,可實(shí)現(xiàn)240x96像素分辨率與0.125%的DM精確度。 pA9esmc
Toshiba光達(dá)方案與傳統(tǒng)設(shè)計(jì)的性能比較 (來源:Toshiba)pA9esmc
像素平行接合技術(shù)
不只Panasonic,Sony也注意到滾動(dòng)快門圖像傳感器擷取運(yùn)動(dòng)物體圖像失真的問題,指出像素內(nèi)模擬內(nèi)存(in-pixel analog memory)與像素平行(pixel-parallel) ADC雖是潛在解決方案,但這些技術(shù)都無法支持百萬像素分辨率,因?yàn)樗鼈兌紱]有解決在一個(gè)像素中讀寫ADC數(shù)字訊號(hào)的時(shí)序限制(timing constraint)問題。pA9esmc
Sony在ISSCC論文中提出的方案,是利用具備每像素單一ADC的堆棧圖像傳感器,在CMOS傳感器實(shí)現(xiàn)全局快門 (來源:Sony)pA9esmc
Sony的堆棧式背照CMOS圖像傳感器,配備146萬像素14位ADC,采用像素級(jí)接合技術(shù)(pixel-level bonding technology)。該公司表示,具備正向回饋電路的次臨界值比較器(subthreshold comparator)有助于降低比較器運(yùn)作電流與電路區(qū)域最小化,能降低功耗。pA9esmc
編譯:Judith ChengpA9esmc
本文為Aspencore旗下ESM姐妹媒體《電子工程專輯》授權(quán)編譯自EE Times,謝絕轉(zhuǎn)載。pA9esmc