這個標(biāo)題的前提實際上是不正確的，因為早在2016年年初，索尼就已經(jīng)與飛思（Phase One）聯(lián)手推出了1億像素中畫幅相機(jī)XF100MP，其中1億像素CIS（CMOS圖像傳感器）就是索尼生產(chǎn)的。不過這種中畫幅高端貨和我們要探討的1億像素攝像頭的手機(jī)不在一個水平線上，畢竟XF100MF售價超過30萬元人民幣。YdWesmc

另外就CIS這個市場本身，可探究的領(lǐng)域并不限于手機(jī)攝像頭與民用數(shù)碼相機(jī)，工業(yè)、汽車甚至科研領(lǐng)域都有不同定位的CIS產(chǎn)品。由于各領(lǐng)域市場的差異，CIS的發(fā)展技術(shù)路線也各不相同。本文我們只探討應(yīng)用于手機(jī)及消費(fèi)級移動設(shè)備的高像素CIS。YdWesmc

在索尼與三星的4800萬像素CIS大戰(zhàn)之后，頻繁在高像素上出招的似乎主要就是三星了。從去年下半年至今，三星在手機(jī)市場上，奔著億級像素一去不復(fù)返。既然高通主SoC上已經(jīng)有了支持到2億像素的ISP（驍龍865），這像素戰(zhàn)似乎還沒有要停止的意思。今年1月份有傳言稱，小米可能要推2.56億像素的手機(jī)[1]。YdWesmc

YdWesmc

但在如今1億像素攝像頭手機(jī)正熱的時代，卻未見索尼這位CIS界頂流的身影，這好像在市場宣傳上讓華為在小米面前低了一頭。榮耀產(chǎn)品副總裁熊軍民去年11月還專門發(fā)微博表示“像素不是越高越好，鏡頭不是越多越好”，以及榮耀會有不同的“前進(jìn)方向”。似乎每隔一陣，總有聲音呼吁不要盲目追求高像素，這種聲音在千萬像素時代就已經(jīng)有了。YdWesmc

我們在去年的文章中就已經(jīng)肯定過1億像素存在的合理性[2]，有關(guān)高像素攝像頭的更多技術(shù)探討我們還將在未來的文章中表達(dá)：尤其是三星目前正著力的0.7μm像素節(jié)點(diǎn)?；谶@樣的討論，索尼沒有在手機(jī)市場參與到億級像素的競爭，是因為技術(shù)不濟(jì)嗎？YdWesmc

三星在技術(shù)上仍有明顯短板？

在正式探討索尼的思路之前，我們先嘗試談一談去年1億像素探討文章中，提到三星在模擬讀出技術(shù)上不足的問題。實際早在4800萬像素時代，三星在這部分的技術(shù)儲備上就不及索尼，所以三星最早的4800萬像素CIS（S5KGM1）并不支持全像素輸出，導(dǎo)致三星一度被卷入“真假4800萬像素”的爭議里。YdWesmc

我們早前的文章也提到了這次爭端，其本質(zhì)在于：三星S5KGM1在像素層面是實打?qū)嵉?800萬像素，只不過在輸出階段掉了鏈子。這個例子是很能體現(xiàn)三星彼時在技術(shù)層面的一個重要軟肋的。YdWesmc

而且在小米CC9 Pro最早應(yīng)用三星S5KHMX一億像素CIS之際，這顆CIS也仍然尚未做到片上remosaic。所以即便S5KHMX已經(jīng)做到了一億像素輸出，remosaic過程卻需要由高通驍龍SoC的ISP去完成。表現(xiàn)在用戶層面，就是拍照體驗受到影響，拍攝后的等待時間比較久。YdWesmc

YdWesmc

索尼在最新的技術(shù)宣傳頁上，似乎也針對這個問題有了部分的宣傳[3]。除了“高速拍攝”、“同時進(jìn)行4個模擬信號像素的ADC”，還專門提到了列并行（Column-parallel）ADC（模擬數(shù)字轉(zhuǎn)換）電路，實現(xiàn)并行的信號處理。在橫向陣列，增加大量這樣的電路得以實現(xiàn)CIS的“高速”化輸出。另外索尼在宣傳中還提到了這種電路能夠進(jìn)行自動的降噪。這項技術(shù)應(yīng)該是索尼CIS高速輸出的原因之一。YdWesmc

三星未有這方面的介紹，不過全像素輸出速度的問題，三星似乎已經(jīng)基本解決——至少不會再出現(xiàn)不能全像素輸出的尷尬，即便或許在輸出幀率上仍有加強(qiáng)空間（好像三星從來不在公布的規(guī)格文檔里標(biāo)全像素的輸出幀率和色深）；而且在應(yīng)用于Galaxy S20 Ultra的一億像素S5KHM1之上，三星也終于為其加入了片上remosaic。從實際應(yīng)用的體驗角度來看，我們似乎很難再說三星在這方面是落后的。YdWesmc

YdWesmc

另外，三星這兩年也的確有在像素技術(shù)上做各種調(diào)整，比較知名的是ISOCELL增加像素隔斷（DTI），這一點(diǎn)我們在先前的技術(shù)介紹中已經(jīng)提到過，雖然這也并不是三星獨(dú)有的，但在實現(xiàn)方式上與競爭對手還是有很大區(qū)別。后來三星對這種DTI結(jié)構(gòu)做了升級，名為ISOCELL Plus，主要是將色彩filter間的金屬隔斷換成了一種來自富士（Fujifilm）的新型材料，避免原有金屬材料吸收或者反射進(jìn)光的問題。YdWesmc

這種技術(shù)本身旨在加強(qiáng)像素的感光性能，用于緩解小像素進(jìn)光不足的問題。從這種結(jié)構(gòu)和材料改進(jìn)也不難發(fā)現(xiàn)，做高像素并沒有想象得那么暴力和簡單。YdWesmc

YdWesmc

如果拋開像素不談，索尼CIS另一個相對重要的領(lǐng)先還體現(xiàn)在堆疊結(jié)構(gòu)的Cu-Cu連接上，即像素chip與邏輯電路chip的直連；臺積電也已經(jīng)在用這種方案。從TechInsights今年針對Galaxy S20 Ultra的拆解來看，在應(yīng)用最新0.7μm像素技術(shù)的GH1圖像傳感器上（Galaxy 20 Ultra的前置攝像頭），三星還在用TSV（硅通孔）方案[4]。而Cu-Cu互聯(lián)能夠提供更大的靈活性，讓CIS整體尺寸做的更小，在更高密度以及pin layout的自由度方面做的更好，也便于實現(xiàn)功能擴(kuò)展。YdWesmc

當(dāng)然，就現(xiàn)有資料來看，我們的探討還是比較具有局限性，比如從像素層面來看究竟誰更先進(jìn)這樣的問題。但至少我們認(rèn)為，若拋開像素數(shù)量與密度不談，則三星也正在CIS技術(shù)上做努力，即便尚有很大的優(yōu)化余地。那么在三星追求像素更小型化、像素密度增加時，索尼又在做什么呢？YdWesmc

“追求”方向的不同

雖然我們對于高像素的發(fā)展有信心，但從整個攝像頭到成像系統(tǒng)的角度來看，由于CIS只是影響手機(jī)拍照的一部分，算法、光學(xué)系統(tǒng)也十分重要，所以1億像素CIS最終在拍照上的收益可能并不像1億這個數(shù)字那樣表達(dá)得那么驚人。YdWesmc

這也是很多人否定1億像素CIS的部分原因，即從手機(jī)的具體表現(xiàn)來看，或許它并沒有宣傳得那么令人滿意。但我們?nèi)匀粓孕牛?億像素是小底成像設(shè)備提升畫質(zhì)的一個十分重要的解決方案。只不過在提升像素的過程中，是否仍有一些昔日的遺留問題該花時間解決一下？YdWesmc

這就要提到在三星宣傳1億像素的這些時間里，索尼究竟在做些什么？從ISSCC 2020（國際固態(tài)電路峰會）圖像傳感器部分的技術(shù)分享來看，這屆ISSCC十分重在ToF成像[5]。索尼的成果匯報似乎更加豐富一些。索尼在會上提供的議題主要有三個：YdWesmc

• A 132dB Single-Exposure-Dynamic-Range CMOS Image Sensor with High Temperature Tolerance
• A 0.50erms Noise 1.45μm-Pitch CMOS Image Sensor with Reference-Shared In-Pixel Differential Amplifier at 8.3Mpixel 35fps
• A 1280×720 Back-Illuminated Stacked Temporal Contrast Event-Based Vision Sensors with 4.86μm Pixels, 1.066GEPS Readout, Programmable Event-Rate Controller and Compressive Data-Formatting Pipeline

這些CIS相關(guān)的技術(shù)似乎暫時和手機(jī)攝像頭的相關(guān)性并不算大，不過還是可以表現(xiàn)索尼在CIS技術(shù)發(fā)展上的多樣性，仍值得稍作研究。這其中最引人注目的應(yīng)該是最后一個，索尼與Prophesee聯(lián)合發(fā)布的一種基于事件（event-based）的傳感器，美國版EE Times特別針對這項技術(shù)做了采訪和報道[6]。YdWesmc

這種新型傳感器做到“行業(yè)最小的像素尺寸與最高的動態(tài)范圍性能”，這里的“行業(yè)”應(yīng)該還是有限定的，即在事件驅(qū)動視覺系統(tǒng)（event-driven vision technology）中，畢竟4.86μm的尺寸在移動CIS看來已經(jīng)是巨型了。YdWesmc

YdWesmc

這種event-based的圖像傳感器像素尺寸縮減，是基于索尼拿手的堆棧式結(jié)構(gòu)YdWesmc

這種傳感器定位在工業(yè)設(shè)備、自動駕駛汽車，其本質(zhì)在于在圖像傳感器中集成AI，用Yole Développement首席分析師Pierre Cambou的話來說這種傳感器能夠快速加強(qiáng)圖像，或者“直接提供基于事件的感知”能力，“每個像素就是一個神經(jīng)元”。在Cambou看來，索尼認(rèn)為圖像傳感器不應(yīng)該只是相關(guān)于成像，也應(yīng)當(dāng)相關(guān)于感知。YdWesmc

不過這不是我們要聊的重點(diǎn)，畢竟至少就現(xiàn)在看來，它和手機(jī)攝像頭的關(guān)系還沒有那么大。在移動技術(shù)領(lǐng)域，索尼近期在其技術(shù)介紹頁面增加了一個名為“2x2 On-Chip Lens Solution”（OCL，2x2片上微透鏡解決方案）的解決方案[7]，這項技術(shù)在我們看來是對高像素發(fā)展中的一次十分典型的“查漏補(bǔ)缺”。YdWesmc

這項技術(shù)的原理也很簡單。在傳統(tǒng)的CIS中，每個像素之上都會有個微透鏡（micro-lens）。到了4800萬像素時代，像素越來越小，這直接影響到了像素的感光能力。所以CIS制造商開始改造傳統(tǒng)的Bayer像素排列方式，采用Quad Bayer（或者Tetracell）這類像素排列。這個時候，每個像素依然都有自己獨(dú)立的微透鏡。YdWesmc

YdWesmc

手機(jī)CIS的三種相位對焦方案，來源：TechInsightsYdWesmc

實際情況可能要更復(fù)雜一些，TechInsights更早的分析顯示，索尼和三星前兩年開始用2x1 OCL的方案（最早是安森美在用的一種方案，三星在宣傳上好像將其稱作super-PD），就是一個微透鏡橫跨覆蓋兩個像素（如上圖最后一行），這么做是為了借像素做相位檢測，實現(xiàn)相位對焦；而三星在不同的0.8μm圖像傳感器上，實則還用到了更早的一種名為masked相位對焦的方案（另外還有一種Dual PD相位檢測方案）。[8]YdWesmc

這些方案中CIS僅有一部分像素用作相位對焦（PDAF），某些方案的部分像素甚至不參與成像。一方面這類方案的相位檢測實際上并不能覆蓋整個CIS——這對拍照時的對焦體驗會有影響；另一方面就是對畫質(zhì)也會產(chǎn)生影響。YdWesmc

YdWesmc

索尼宣傳中的這種2x2 OCL方案，說白了就是一個微透鏡跨4個同色像素。這樣一來，整個CIS的所有像素都可進(jìn)行相位對焦，那么對焦精度就會更高。從索尼官方提供的對焦效率對比來看，2x2 OCL方案實施后，暗光場景下的對焦會明顯更快速和干脆，如下圖所示。（怎么看都像是索尼相機(jī)領(lǐng)域技術(shù)的下放）YdWesmc

YdWesmc

傳統(tǒng)技術(shù)YdWesmc

YdWesmc

2x2 OCLYdWesmc

這項技術(shù)在實施上，有個小trick我們認(rèn)為尤其值得一提：每四個像素覆蓋一個微透鏡，也就意味著在相位檢測時，在垂直方向和水平方向都可以做相位檢測，甚至還能斜向檢測，實現(xiàn)全CIS覆蓋的“十字對焦”或者“米字對焦”。YdWesmc

而前面提到的常規(guī)方案，用相機(jī)領(lǐng)域的話來說僅是“一字對焦”。這類方案也就導(dǎo)致了，在拍攝水平方向沒有太多紋理變化的對象時，對焦會比較低效（如下圖）。所以2x2 OCL也就成為提升對焦效率一個非常有效的方案。YdWesmc

YdWesmc

傳統(tǒng)左右相位檢測與雙向相位檢測對焦時的差別YdWesmc

在IEDM 2019（國際電子器件大會）上，索尼有個題為“A 1/2inch 48M All PDAF CMOS Image Sensor Using 0.8µm Quad Bayer Coding 2×2OCL with 1.0lux Minimum AF Illuminance Level” 的議題[9]，本質(zhì)上就是談這種2x2 OCL方案。索尼在paper中提到，這種方案是結(jié)合了Quad Bayer像素陣列高分辨率和高動態(tài)范圍的優(yōu)勢，以及雙光電二極管（dual photodiode）相位對焦檢測更高效，這兩者的優(yōu)勢。而最小自動對焦亮度等級可以下探到1lux（傳統(tǒng)方案是10lux）。YdWesmc

YdWesmc

YdWesmc

此外，更大的微透鏡能夠提升Quantum Efficiency（量子效率，提升約7%），不過它可能進(jìn)一步導(dǎo)致像素間串?dāng)_的問題，所以就需要更多的緩解方案來解決問題。比如說加強(qiáng)DTI（深槽隔離），以及令微透鏡、filter和像素阱的位置發(fā)生相對的偏移，這些也是索尼paper中提及的重點(diǎn)。YdWesmc

“在這篇paper中，全球首個采用2x2 OCL結(jié)構(gòu)的圖像傳感器為1/2英寸，4800萬像素，0.8μm，QBC（Quad Bayer coding）。”YdWesmc

索尼IMX689已經(jīng)在應(yīng)用這種方案，只不過它并沒有盲目追求高像素，就現(xiàn)有技術(shù)準(zhǔn)備來看也仍然是為Quad Bayer的4800萬像素準(zhǔn)備的，算是對4800萬像素的進(jìn)一步完善。這種方案的出現(xiàn)也足見在現(xiàn)有技術(shù)節(jié)點(diǎn)下，提升拍攝體驗和畫質(zhì)仍有空間，像素的增加仍然可以先等一等。YdWesmc

如果索尼未來采用這種技術(shù)做演進(jìn)方向，則在pixel-binning方面不會出現(xiàn)類似三星那樣像素9合1的方案（Nonacell）。所以傳言華為P40要采用5200萬像素的IMX700，在像素陣列上會采用16合1的方案。目前尚不清楚這種pixel-binning在CIS的彩色濾鏡陣列上會怎樣排布，不過16個像素為一個陣列，在繼承2x2 OCL時顯然是更平滑的方案。YdWesmc

YdWesmc

針對IMX689這顆CIS還有個題外話，這里稍作解釋：OPPO Find X2手機(jī)在采用這塊CIS時提到雙原生ISO（dual native ISO）。這種方案在相機(jī)領(lǐng)域不算稀奇，但似乎在手機(jī)領(lǐng)域還比較罕有。IMX689所謂雙原生ISO的實現(xiàn)方式目前暫時未知，我們可參照松下VariCam的方案，如上圖[10]。YdWesmc

ISO就是感光度。一般來說，成像過程光信號轉(zhuǎn)為電信號以后，需要進(jìn)行一次模擬放大。日常我們拍照時調(diào)整ISO，就是在調(diào)整電壓信號的放大增益。一顆CIS的原生ISO可以理解為在電信號放大為最低值的ISO（模擬電壓增益倍數(shù)最?。?。在原生ISO時，可以達(dá)到最佳畫質(zhì)。為了讓低照度下的成像質(zhì)量更好，雙原生ISO有時是增加一套模擬放大電路，也就是松下的方案。根據(jù)不同的拍攝環(huán)境，切換兩種不同的原生ISO，在高ISO時依然有不錯的畫質(zhì)。YdWesmc

不過我們并不清楚索尼IMX689是否也是這樣做的，因為索尼還擁有一種ISO雙增益方案，可以調(diào)整滿阱容量的方式來實現(xiàn)某個ISO以后的后端噪聲降低。但我們認(rèn)為，這種技術(shù)對于手機(jī)來說，價值可能并不算太大，因為手機(jī)攝像頭這樣的小底設(shè)備，成像時的主要噪聲來源還是前端產(chǎn)生的散粒噪聲（shot noise），對后端噪聲的抑制產(chǎn)生的收益大概會比較小。YdWesmc

YdWesmc

高像素重要嗎？

通過上面這些內(nèi)容的探討，不難發(fā)現(xiàn)CIS除了像素堆砌之外，仍有不少值得挖掘的技術(shù)創(chuàng)新，可對最終成像做出更多的優(yōu)化。這些都是在發(fā)展手機(jī)高像素攝像頭時值得借鑒的思路。雖然更高的像素的確能夠帶來更高的采樣率，以及具體到銳度、動態(tài)范圍等參數(shù)上更出彩的表現(xiàn)。但在通往高像素的路上，如果能持續(xù)做更多結(jié)構(gòu)、設(shè)計上的改進(jìn)，對于提升拍攝體驗、榨取像素“剩余價值”，都是多有裨益的。YdWesmc

基于這種像素的再打磨，更值得觀察的，應(yīng)該是華為今年要發(fā)布的P40是否能夠用上這種2x2 OLC方案，以及如果像素數(shù)量并沒有1億個那么好聽，那么其亮點(diǎn)還會體現(xiàn)在哪些地方。這是相當(dāng)值得期待的。YdWesmc

最后值得一提的是，由于多攝在市場上的應(yīng)用越來越廣泛，這致使手機(jī)攝像頭的綜合成像能力，對某一個CIS的硬件素質(zhì)依賴越來越不強(qiáng)。高像素在整個系統(tǒng)中的地位或許并不見得有多重要。DxOMark的Mobile類評分也越來越傾向于考察整個系統(tǒng)，而非某一個CIS的素質(zhì)，比如變焦、模擬焦外、廣角，這些都需要多攝的參與。YdWesmc

這對手機(jī)OEM廠商便可能提出更高的要求，主攝的高像素CIS只是其中的一個環(huán)節(jié)。這大概就是榮耀總裁提出的“不同的前進(jìn)方向”。只不過我們依然不該否定1億甚至更高像素存在的合理性，并且樂見其產(chǎn)出的收益是積極有效的。更高的像素也是推動移動CIS設(shè)計與制造持續(xù)發(fā)展的某種路徑，在我們看來它仍然很重要，只是不要太過急于求成。YdWesmc

參考來源：YdWesmc

[1]New leak gives rise to the possibility of a 256 MP Xiaomi smartphone being a reality - NoteBookCheckYdWesmc

[2]小米1億像素拍照手機(jī)是噱頭嗎？高像素技術(shù)探秘 - EE Times ChinaYdWesmc

[3]Imaging and Sensing Technology - SONYYdWesmc

[4]Samsung Galaxy S20 Ultra 5G Teardown Analysis - TechInsightsYdWesmc

[5]Image Sensors at ISSCC 2020 – Image Sensor WorldYdWesmc

[6]Sony, Prophesee Open ‘Pandora’s Box’ in AI Sensing - EE TimesYdWesmc

[7]2x2 On-Chip Lens Solution - SONYYdWesmc

[8]The state of the art of smartphone imagers Part 4: Non-Bayer CFA, Phase Detection Autofocus (PDAF) - TechInsightsYdWesmc

[9]IEDM 2019: Sony 48MP All-Pixel PDAF Sensor - Image Sensors WorldYdWesmc

[10]DUAL-NATIVE ISO TECHNOLOGY – WHAT IS IT? - Create in motionYdWesmc

原文發(fā)布于Aspencore旗下ESM姐妹網(wǎng)站EETC 責(zé)任編輯：ElaineYdWesmc