3月18日，蘋果公司在其官網(wǎng)公布了2020款11英寸與12.9英寸iPad Pro。最新款iPad Pro均搭載A12Z Bionic芯片與6GB運行內(nèi)存，擁有128GB/256GB/512GB/1TB四種容量和銀色、深空灰色兩種顏色。IeVesmc

這一代iPad Pro 2020總體來說算是硬件規(guī)格上的小改，就連A12Z都可以認為是不同體質(zhì)版的A12X。不過它在后攝上加入了一枚傳說中的LiDAR激光雷達，蘋果明確宣稱這是一顆采用dToF技術(shù)的深度感知模塊。需要明確的是，LiDAR就是一種采用ToF（Time of Flight）技術(shù)的3D感知應(yīng)用，一般來說車載激光雷達多見dToF方法——后面我們將詳述這種技術(shù)的本質(zhì)。IeVesmc

TechInsights對外公開的拆解數(shù)據(jù)顯示，這枚LiDAR所用的傳感器像素陣列的分辨率是3萬像素，尺寸4.18 x 4.30mm，單像素尺寸10μm，供應(yīng)商是索尼[1]。這其中有幾點是比較令人在意的，包括dToF技術(shù)、索尼的ToF圖像傳感器。IeVesmc

IeVesmc

iPad Pro 2020的LiDAR內(nèi)部，來源：TechInsightsIeVesmc

雖然早在iPad Pro推出之際，就已經(jīng)有許多媒體都提到，iPad Pro 2020采用的LiDAR接收端傳感器，很可能是索尼或意法半導(dǎo)體的方案，TechInsights的拆解則坐實了索尼作為供應(yīng)商的說法。但實際上，就已公開的資料來看，索尼并沒有公開在售的dToF方法相關(guān)技術(shù)，當然并不排除其中存在的各種合作，或者索尼研究的新技術(shù)率先給蘋果使用：這在以往也并非新鮮事。IeVesmc

事實上索尼雖然是傳統(tǒng)攝像頭CIS（CMOS圖像傳感器）業(yè)務(wù)的霸主，但這家公司過去并沒有3D感知傳感器方面的市場參與度。不過索尼2015年宣布收購一家比利時公司SoftKinetic：2017年這家公司改名為Sony DepthSensing Solutions（索尼深度感知解決方案）[2]。2019年，索尼的ToF傳感器正式起步，索尼在3D感知傳感器市場上，一躍成為市場份額達到45%的市場參與者。IeVesmc

索尼以往就有為蘋果產(chǎn)品單獨定制CIS圖像傳感器的傳統(tǒng)，似乎為蘋果專門定制ToF傳感器也不奇怪。但索尼的DepthSense是一種十分典型的iToF方法應(yīng)用（更具體地說，是一種cwToF，即連續(xù)波ToF方法），而不是dToF[4]。索尼當前比較知名的IMX556深度感知ToF傳感器，單像素尺寸的確是10μm，但分辨率卻有30萬像素。IeVesmc

另一方面，意法半導(dǎo)體的SPAD傳感器（通常應(yīng)用于dToF技術(shù)的一種傳感器）倒是很知名，但意法的這類傳感器更著重于單點的距離檢測，而并不在3D成像與感知應(yīng)用上——雖然意法半導(dǎo)體的確有能力制造這種傳感器，而且3D感知應(yīng)用似乎也已經(jīng)在計劃表中，這一點我們也將在后文詳述。這就讓iPad Pro的這枚LiDAR多了一絲神秘的味道。IeVesmc

IeVesmc

iPad Pro的LiDAR宣傳圖，很顯然這張圖表達的一個是發(fā)射端，一個是接收端，來源：蘋果IeVesmc

蘋果iPad Pro的dToF有先例？

針對上述問題，我們再展開來說一說，包括其中的各種概念，比如dToF、iToF、cwToF是什么，SPAD傳感器又是什么，便于感興趣的各位做更深入的分析和探討。這篇文章或許無法解答一些問題，但期望通過對這些問題的探討和呈現(xiàn)，引起更多的思考，及便于我們進行后續(xù)的研究和總結(jié)。IeVesmc

ToF技術(shù)近兩年知名度在消費市場上驟升，很大程度上要歸功于華為、vivo、OPPO、LG之類的品牌，都紛紛在其手機產(chǎn)品中開始采用ToF 3D感知技術(shù)。比如說華為P30 Pro，前置的ToF模塊開始支持用戶做隔空手勢操作：在烹飪、吃飯這類不方便用手指直接接觸屏幕的場景下，通過隔空手勢就能完成翻頁、滾屏之類的交互操作。IeVesmc

但事實上，很多消費用戶不知道的是，ToF技術(shù)在手機產(chǎn)品中的應(yīng)用要早得多，且普及程度還非常之廣。自2014年開始，大部分旗艦手機的距離傳感器（或接近傳感器）都已經(jīng)開始應(yīng)用十分完整的ToF技術(shù)和硬件模塊；iPhone 7也是蘋果產(chǎn)品家族上，首次在距離傳感器上采用了ToF技術(shù)的一款手機。IeVesmc

距離傳感器也就是應(yīng)用在手機前面板上，當用戶接打電話、耳朵靠近屏幕時，屏幕就通過這枚距離傳感器來自動息屏；當然距離傳感器還能參與更多體驗改善的功能特性。早年手機上的距離感應(yīng)并不可靠，原因是早年的方案僅通過一枚簡單的光電二極管，以光強度級感應(yīng)來模擬這種距離感應(yīng)。IeVesmc

IeVesmc

在魅族Pro 6、LG G5、華為P9等手機上普遍存在的意法半導(dǎo)體VL53L0B，來源：TechInsightsIeVesmc

2014年，TechInsights的拆解顯示，黑莓Passport、LG G3等手機的前置光學(xué)模組開始采用一種三合一的方案，即意法半導(dǎo)體的VL6180。這是一顆融合了距離傳感器、環(huán)境光傳感器、VCSEL（垂直腔面發(fā)射激光器）的光學(xué)模組。其中的距離傳感器所用的就是SPAD（單光子雪崩光電二極管）陣列[3]。次年1月，意法半導(dǎo)體又發(fā)布了二代的VL53L0，開始廣泛應(yīng)用于當年的智能手機。IeVesmc

從結(jié)構(gòu)來看，這里的距離感應(yīng)方案，就是ToF技術(shù)的完整形態(tài)：即由VCSEL激光器首先主動發(fā)射紅外光，在光子碰到障礙物對象（如湊近手機的耳朵或人臉）時返回，并由SPAD傳感器接收到。在這個過程里，會有某種“計時電路”用于計量光從發(fā)出到返回全過程消耗的時間，那么在光速已知的前提下，就能精確地測得該對象到手機的距離——這就是ToF技術(shù)的一般原理。IeVesmc

IeVesmc

更準確地說，此處是由VCSEL發(fā)射端發(fā)出一個激光脈沖，接收端的SPAD傳感器可以接收到反射的脈沖信號，通過計量時間即可測得距離信息。這就是dToF（直接ToF）方法的基本原理。意法半導(dǎo)體是dToF方法，在手機應(yīng)用上耕耘比較久的一家廠商。實際上從2015年開始，手機幾乎已經(jīng)徹底鋪開了這種利用dToF方法做前置單點光學(xué)距離檢測技術(shù)。與此同時，后置攝像頭的激光輔助對焦，利用的也是這種技術(shù)。IeVesmc

iPad Pro 2020在宣傳上也提及后置LiDAR模塊采用dToF方法。不過很顯然，這兩年ToF的應(yīng)用已經(jīng)不限于單純的單點測距（以及環(huán)境光檢測、接近檢測、多區(qū)域檢測等），而擴展到了由多點構(gòu)成的3D成像與感知：即通過很多光點的發(fā)射與返回，感知整個場景的3D深度圖，甚至實現(xiàn)3D視覺。IeVesmc

SPAD傳感器與蘋果多年前的專利

dToF是ToF實現(xiàn)方法中的其中一種，另一種就是iToF（間接iToF），有關(guān)iToF的部分我們后文再說。而dToF至少就原理來看還是比較直接、簡單的，而且這種方法的收益也比較大。dToF基于脈沖調(diào)制光，工作周期可以比較短，即便采用更高的峰值輸出功率，也可以兼顧人眼安全，探測距離也就能夠比較遠（這一點也相對適用于iToF中基于脈沖的pToF方法），同時還能兼顧相對比較好的測量精度[4]。加上dToF方法還具備可很大程度避免多徑干擾（multipath effects）的問題，運動偽像對dToF產(chǎn)生的影響也比較小，看起來dToF理論上更理想。IeVesmc

不過實際上，dToF的實施難度要比iToF明顯更大，雖然聽起來其原理更簡單。從ToF的實現(xiàn)原理來看，不難發(fā)現(xiàn)一個完整的ToF模組至少要包含發(fā)射端和接收端：發(fā)射端的主要部分就是光源（消費類ToF模組以VCSEL激光器為主），接收端的主體當然就是ToF圖像傳感器了。很容易想見，對于普通的p-i-n光電二極管來說，要直接、準確地測定光的“飛行時間”還是有相當難度的。它對于發(fā)射端的光源、接收端的光電探測器（即傳感器），實現(xiàn)同步、時間檢測相關(guān)電路都有著很高的要求。IeVesmc

dToF方法對于接收端的技術(shù)相對嚴苛，畢竟這種方法對時間抖動要求原本就很高：因為它接收的是一個脈沖信號，這就要求光電探測器的敏感度很高（以及快門時間窗口與脈沖信號的同步）。所以dToF方法所用的圖像傳感器常見APD（雪崩光電二極管），相比傳統(tǒng)圖像傳感器的光電二極管，這種光電二極管有著明顯更高的增益和量子效率，能夠?qū)崿F(xiàn)電子倍增（就像雪崩一樣），或者說有著顯著更高的敏感度。IeVesmc

IeVesmc

傳統(tǒng)圖像傳感器光電探測器結(jié)構(gòu)與APD圖像傳感器的比較，來源：PanasonicIeVesmc

除了APD之外，dToF中另外應(yīng)用比較廣泛的就是前文提到的SPAD（單光子雪崩二極管），它可以理解為比APD更敏感的一種結(jié)構(gòu)，一個光生載流子就能觸發(fā)大量雪崩電流——這兩者都利用入射輻射觸發(fā)p-n結(jié)的雪崩電流，不過SPAD設(shè)定了一個高于擊穿電壓的反向偏置電壓，二極管可工作在所謂的Geiger-mode模式下。IeVesmc

另外SPAD通常采用像素內(nèi)TDC（time-to-digital converter），能夠直接產(chǎn)生數(shù)字觸發(fā)信號。SPAD也具備更低的時間抖動，所以意法半導(dǎo)體這類廠商在消費產(chǎn)品中采用這種傳感器技術(shù)。以松下為代表的APD傳感器技術(shù)本身也在發(fā)展中。IeVesmc

另一方面，APD與SPAD像素和圖像傳感器比較難以小型化，這可能是與其設(shè)計電路相對復(fù)雜，包括淬火電路、像素內(nèi)TDC在內(nèi)的各種電路都需要占據(jù)較大的片上尺寸有關(guān)。意法半導(dǎo)體現(xiàn)有公開在售的SPAD圖像傳感器（FlightSense系列）就鮮有真正高像素的[5]，且應(yīng)用方向主要在測距，而非3D成像與感知——即便意法已經(jīng)在朝著這個方向發(fā)展。意法半導(dǎo)體去年底才推出的VL53L5才開始逐步發(fā)力在多區(qū)域測距的“切割”，往3D感知方向發(fā)展。IeVesmc

既有的dToF高像素產(chǎn)品似乎也少有著力在手機這類緊湊型設(shè)備上的。實際上，我們從現(xiàn)有ToF圖像傳感器技術(shù)的制造工藝發(fā)展思路來看，意法半導(dǎo)體、松下、索尼這類廠商普遍在應(yīng)用3D堆棧、背照式這樣的技術(shù)（比如把原本位于光電二極管上方的布線層移至下方，或者將光電轉(zhuǎn)換器、電子倍增器這些部分垂直堆疊起來），就跟當年傳統(tǒng)攝像頭的圖像傳感器一樣想辦法提高像素的開口率，縮小像素尺寸，盡可能做到更高的傳感器2D分辨率。IeVesmc

松下今年2月份發(fā)布一種VAPD（垂直堆疊VAPD）傳感器，像素數(shù)量達到了100萬[6]；瑞士洛桑聯(lián)邦理工學(xué)院（EPFL）和佳能前幾天才剛剛宣布達成全球最小的SPAD像素：2.2μm，加上3D堆疊，SPAD像素陣列可以達到數(shù)百萬級別[7]。（與此可對比的是，三星當前已經(jīng)商用的傳統(tǒng)CIS傳感器，單像素尺寸可達到0.7μm，而0.6μm也已經(jīng)在研發(fā)中）IeVesmc

IeVesmc

IeVesmc

iPhone X的Face ID系統(tǒng)發(fā)射器發(fā)出的紅外光點，與iPad Pro 2020的LiDAR發(fā)射端發(fā)出的紅外光點數(shù)量比較，原理與技術(shù)上的差異，導(dǎo)致兩者的光點密度差別很大，來源：iFixit[8]IeVesmc

不過這些技術(shù)至少現(xiàn)在并沒有應(yīng)用于移動設(shè)備的例子，如果說iPad Pro 2020的dToF方法應(yīng)用的是SPAD傳感器，則在這個設(shè)備尺寸以及5米測量距離內(nèi)，而且還是消費型電子產(chǎn)品，SPAD傳感器的3萬像素或許著實稱得上是高像素。IeVesmc

有關(guān)iPad Pro 2020是否采用SPAD傳感器（TechInsights并未公開這部分分析信息），我們查到前兩年蘋果的一份專利儲備，展示的就是一種3D感知系統(tǒng)，或者說就是ToF[9]。這個專利中提到了LiDAR相關(guān)技術(shù)——針對的就是消費領(lǐng)域的應(yīng)用，包括VCSEL光源，而光電探測器選擇的就是SPAD。“這種探測器能夠以很高的時間抵達分辨率，在數(shù)十皮秒內(nèi)捕獲單獨的光子”。IeVesmc

IeVesmc

蘋果一項有關(guān)LiDAR的專利，來源：Patently AppleIeVesmc

加上蘋果已經(jīng)在宣傳中明言iPad Pro 2020的3D感知所用就是dToF方法，那么我們有理由猜測這可能就是個SPAD傳感器。即便似乎從現(xiàn)有技術(shù)來看，整個LiDAR模組看起來還是比較奢侈和黑科技。不過前文提到TechInsights認為，這枚傳感器來自索尼。問題是從我們查到的資料來看，索尼似乎并沒有造SPAD傳感器的歷史，SoftKinetic的長項也在iToF，而非dToF。IeVesmc

索尼傳感器發(fā)展如何？

如前文所述，索尼應(yīng)用于iToF的傳感器去年就已經(jīng)開始統(tǒng)領(lǐng)手機市場了。三星和華為去年的手機旗艦，后攝3D ToF方案上都應(yīng)用了索尼的ToF傳感器方案，比如三星Galaxy Note 10+[10]，如下圖所示。其中右邊部分接收端的傳感器是來自索尼的IMX516，單像素尺寸5μm，分辨率480x640（30萬像素，24.8mm²）——華為Mate 30 Pro的前置ToF模組也應(yīng)用了這個方案。IeVesmc

IeVesmc

三星Galaxy Note 10+的3D ToF解決方案來自索尼，整個模塊包括了發(fā)射端與接收端；來源：System Plus ConsultingIeVesmc

華為P30 Pro的后置ToF模塊選擇的則是180x240（4.7萬像素，18.9mm²）的索尼IMX316傳感器（以及Lumentum的VCSEL光源泛光照明器），單像素尺寸10μm。OPPO R17 Pro等國產(chǎn)手機也有應(yīng)用這顆傳感器的例子[11]。