就實(shí)現(xiàn)來看，iToF（間接ToF）實(shí)際上是一種相比dToF更加易于實(shí)施的方法。如果我們采用ToF實(shí)施方法分類中，比較通用的一種，則ToF總體分成了iToF與dToF，而iToF則又可以再分成pToF（基于脈沖的ToF）與cwToF（連續(xù)波ToF）。IeVesmc

IeVesmc

pToF與dToF實(shí)際上有些類似，某些分類是將pToF與dToF歸在同一類的，都叫基于脈沖的ToF；這兩者的不同之處在于pToF是對多脈沖的實(shí)時(shí)測量，而dToF則是針對單個(gè)激光脈沖。手機(jī)產(chǎn)品中pToF實(shí)施比較有代表性的是vivo NEX雙屏版，這款手機(jī)采用松下的CCD傳感器。IeVesmc

pToF以及CCD傳感器有自身的一些優(yōu)勢，例如CCD在高像素實(shí)現(xiàn)上暫時(shí)有優(yōu)勢，且感光度高，對室外強(qiáng)光有著更天然的適用性；而且如前文所述，pToF更不容易產(chǎn)生畫面的運(yùn)動(dòng)模糊。但pToF對系統(tǒng)的時(shí)間抖動(dòng)控制要求也比較高，因?yàn)榘l(fā)射的光脈沖寬度與接收端傳感器的快門要求一致，此外溫度校準(zhǔn)也更復(fù)雜，以及可能要求外置的模擬前端芯片用于深度數(shù)據(jù)的數(shù)字化和輸出。另外，CCD由于功耗和發(fā)熱問題，可能并不怎么適用于手機(jī)。IeVesmc

IeVesmc

cwToF方法示意，來源：Time of Flight Cameras: Principles, Methods, and ApplicationsIeVesmc

所以以英飛凌和索尼為代表的cwToF（連續(xù)波ToF）在移動(dòng)消費(fèi)市場是更占據(jù)主流地位的。cwToF方法在實(shí)施中，發(fā)射端會(huì)針對照明應(yīng)用一個(gè)周期性的調(diào)制信號(hào)，最終在光返回到圖像傳感器時(shí)，針對反射光檢測相位差，并算得距離?，F(xiàn)在我們常說的iToF，很多時(shí)候也特指cwToF。IeVesmc

一般來說，cwToF方法實(shí)施起來會(huì)更為簡單（但在精度要求更高時(shí)，cwToF信號(hào)調(diào)制實(shí)施難度也很有挑戰(zhàn)性），而且是全CMOS成像系統(tǒng)，具備了更好的彈性、更快的讀出速度，還能應(yīng)用RoI（region-of-interest）輸出這類功能。不過cwToF方法在技術(shù)上也有一些難點(diǎn)和阻礙，其一在于要獲得相位差數(shù)據(jù)，就要求多調(diào)制頻率下相關(guān)函數(shù)的四次采樣。這樣一來，如果再加上多幀處理，則后端數(shù)據(jù)處理的復(fù)雜性會(huì)明顯比較高。IeVesmc

另外，cwToF的一些局限性主要在于：從上面這張圖中的等式可知，如果要獲得更長的測量距離（Depth），就需要更慢的調(diào)制頻率（f）。但如此一來會(huì)同時(shí)限制距離精度，距離精度與背景光強(qiáng)度、信號(hào)強(qiáng)度、最大不模糊距離（maximum unambiguous range，上述等式中的c/2f）有關(guān)。對于一個(gè)固定的場景來說，由于反射信號(hào)強(qiáng)度隨著距離增加指數(shù)級(jí)下降，就會(huì)有指數(shù)級(jí)的精度降低。另外為了滿足人眼安全需求，cwToF必須采用較低的峰值輸出功率，這樣一來SBNR就會(huì)比較低；而且cwToF對于多徑干擾這類問題的抵御能力更差。IeVesmc

不過相對而言，cwToF是一種在測量距離、精度、系統(tǒng)體積、成本等各方面都非常適用于手機(jī)、移動(dòng)設(shè)備的方法。所以目前絕大部分手機(jī)和移動(dòng)設(shè)備都選擇了cwToF這種方案。而在iPad Pro 2020誕生之后，dToF可在消費(fèi)領(lǐng)域應(yīng)用的呼聲似乎也明顯變高了。IeVesmc

不過索尼以前的確沒有過涉足dToF的消息。從索尼DepthSense技術(shù)的介紹來看，這是一種典型用于cwToF方法實(shí)現(xiàn)的傳感器[12]。索尼用了一種名為CAPD（Current Assisted Photonic Demodulator）的像素結(jié)構(gòu)，雖然這名字看起來倒是和APD（雪崩光電二極管）挺像的。IeVesmc

IeVesmc

這種像素結(jié)構(gòu)應(yīng)該是為了提高集光效率，提高相位差計(jì)算精度，而做的一種技術(shù)加強(qiáng)（如上圖）。調(diào)制的光首先從VCSEL光源發(fā)射出來，碰到場景中的對象之后，反射回來，抵達(dá)接收端的圖像傳感器像素，光子轉(zhuǎn)為電子，切分于交替的探測器結(jié)（p+與n+）之間。這兩個(gè)結(jié)為180°異相，可完整捕捉到反射光。另外就是這種傳感器，應(yīng)用了索尼本身就很拿手的背照式CMOS方案，把布線、電路層級(jí)置于光電二極管之下，提升感光度。IeVesmc

所以就iPad Pro 2020的LiDAR模塊中的傳感器來說，如果的確是索尼提供的傳感器，莫非索尼又隱藏了什么SPAD傳感器黑科技尚未公開，而僅面向蘋果提供定制，亦或在具體實(shí)施層面，仍有一些值得商榷的細(xì)節(jié)？這是值得探討的，也歡迎內(nèi)行人士為我們解惑。我們也靜待更多信息的放出。IeVesmc

3D ToF在消費(fèi)市場的逐步崛起

當(dāng)年iPhone X應(yīng)用結(jié)構(gòu)光，實(shí)質(zhì)上引發(fā)了3D成像與感知市場的一波崛起，甚至可以說ToF在消費(fèi)市場3D感知上的應(yīng)用都是由iPhone X帶動(dòng)的。當(dāng)然，如前文所述，ToF在單點(diǎn)測距方向上的應(yīng)用則早已有之，而且市場規(guī)模如今也已經(jīng)相當(dāng)之大，意法半導(dǎo)體在這方面的出貨量早就破10億了[1]，現(xiàn)在的重點(diǎn)就在3D感知應(yīng)用方向上。IeVesmc

近些年蘋果在消費(fèi)市場上呼風(fēng)喚雨的能力仍在持續(xù)，iPad Pro開推ToF在3D成像與感知領(lǐng)域的應(yīng)用，以及傳言今年的iPhone 12也可能要上ToF模塊，這對原本就在火熱發(fā)展中的3D ToF市場就是一劑強(qiáng)心針；甚至有機(jī)會(huì)為dToF在消費(fèi)市場上的普及鋪路——畢竟市場中其他同類產(chǎn)品的解決方案皆以iToF為主。IeVesmc

IeVesmc

最后值得一提的是，本文只少許著重提到了ToF模塊中接收端部分的圖像傳感器，然而實(shí)際上整個(gè)ToF模塊至少還包括了發(fā)射端的激光照明單元、光學(xué)器件（包括diffuser、光學(xué)鏡頭、窄帶濾光片等）、驅(qū)動(dòng)電路、周邊外圍電路，以及相關(guān)3D深度數(shù)據(jù)處理的軟件、算法等。而其中的每個(gè)環(huán)節(jié)都有不同的供應(yīng)商，例如發(fā)射端在整個(gè)ToF模組也扮演著十分重要的角色，本文未曾涉及。IeVesmc

針對消費(fèi)市場的ToF模組構(gòu)成，ToF市場及技術(shù)，我們也特別撰寫了一份報(bào)告，預(yù)計(jì)將在下個(gè)月發(fā)布在電子工程專輯網(wǎng)站上。前文提及的部分蜻蜓點(diǎn)水式的內(nèi)容，包括ToF技術(shù)的方法分類，ToF在光學(xué)測距方案中所處的位置，它與結(jié)構(gòu)光、立體視覺、聚焦合成、干涉度量法這些測距方案有何異同，以及ToF市場近兩年的變化及發(fā)展情況等，歡迎屆時(shí)關(guān)注。IeVesmc

參考來源：

[1] TechInsight’s Twitter - TwitterIeVesmc

https://twitter.com/techinsightsinc/status/1244050881705844737IeVesmc

[2] Softkinetic - WikipediaIeVesmc

https://en.wikipedia.org/wiki/SoftkineticIeVesmc

[3] STMicroelectronics’ Time-of-Flight Sensors and the Starship Enterprise Show up in the iPhone 7 Series - TechInsightsIeVesmc

https://www.techinsights.com/blog/stmicroelectronics-time-flight-sensors-and-starship-enterprise-show-iphone-7-seriesIeVesmc

[4] Zhang Chao, CMOS SPAD Sensors for 3D Time-of-Flight Imaging, LiDAR and Ultra-High Speed Cameras, 2019IeVesmc

[5] LiDAR in a Chip, FlightSense™, Introduction to Time of Flight - STMicroelectronicsIeVesmc

https://www.st.com/content/ccc/resource/sales_and_marketing/presentation/product_presentation/group0/e0/84/0c/fb/11/ec/49/1d/SensorsLive_LiDAR_Chip/files/SensorsLive_LiDAR_Chip.pdf/jcr:content/translations/en.SensorsLive_LiDAR_Chip.pdfIeVesmc

[6] Panasonic Develops Long-range TOF Image Sensor with High Ranging Accuracy - PanasonicIeVesmc

https://news.panasonic.com/global/press/data/2020/02/en200218-2/en200218-2.htmlIeVesmc

[7] Canon & EPFL Report Performance of the World’s Smallest 2.2um SPAD Pixel - f4 NEWSIeVesmc

http://www.f4news.com/2020/04/18/canon-epfl-report-performance-of-the-worlds-smallest-2-2um-spad-pixel/IeVesmc

[8] 12.9” iPad Pro 2020 Teardown: What does the LiDAR scanner look like? – iFixitIeVesmc

https://www.youtube.com/watch?v=xz6CExnGw9wIeVesmc

[9] Major Apple Patents Reveal work on next-gen LiDAR Systems using VCSELs for 3D Sensing Systems and Headset - Patently AppleIeVesmc

https://www.patentlyapple.com/patently-apple/2018/11/major-apple-patents-reveal-work-on-next-gen-lidar-systems-using-vcsels-for-3d-sensing-systems-and-headset.htmlIeVesmc

[10] 3D imaging and sensing: now it is rear 3D sensing turn to be the leading growing application - Yole DeveloppementIeVesmc

http://www.yole.fr/3D_Imaging_Sensing_ToF_Adoption.aspxIeVesmc

[11] Huawei Leads Imaging Chip Area Arms Race, Sony Wins Big with i-ToF, Emergence of Event-Driven Vision Sensors - TechInsightsIeVesmc

https://www.techinsights.com/blog/imaging-sensing-end-year-highlightsIeVesmc

[12] Better Time of Flight: Sony DepthSense 3D Sensor Explained - LUCIDIeVesmc

https://thinklucid.com/tech-briefs/sony-depthsense-how-it-works/IeVesmc

[13] STMicroelectronics Ships 1 Billionth Time-of-Flight Module - STMicroelectronicsIeVesmc

https://www.st.com/content/st_com/en/about/media-center/press-item.html/t4210.htmlIeVesmc