進(jìn)入信息化時(shí)代，自從夏普發(fā)布第一款帶攝像頭的功能手機(jī)開(kāi)始，人們對(duì)手機(jī)的相機(jī)功能的追求一直未曾停止，以至于時(shí)至今日，各大主流廠商的新機(jī)發(fā)布會(huì)上，拍照畫(huà)質(zhì)都會(huì)作為主講重點(diǎn)之一。xKiesmc

一般來(lái)說(shuō)，提高拍照像素，是手機(jī)廠商提升照片畫(huà)質(zhì)最常用、最直觀體現(xiàn)差距的方法之一。相比起軟件向的優(yōu)化，通過(guò)直接升級(jí)相機(jī)傳感器，能給照片畫(huà)質(zhì)帶來(lái)立竿見(jiàn)影的效果。xKiesmc

自從諾基亞2012年就在手機(jī)實(shí)現(xiàn)4100萬(wàn)像素相機(jī)后，“千萬(wàn)級(jí)像素”成為了宣傳手機(jī)拍照能力的關(guān)鍵詞之一，不過(guò)提升畫(huà)質(zhì)一直靠“堆像素”真的可行嗎？xKiesmc

來(lái)自面包板社區(qū)的明星博主——歐陽(yáng)洋蔥就這一角度，結(jié)合自身經(jīng)驗(yàn)發(fā)表了自己的看法。xKiesmc

我們常說(shuō)，成像技術(shù)與摩爾定律是背道而馳的，即工藝越先進(jìn)，圖像傳感器上的像素越小，并不意味著性能越好，有時(shí)甚至成像質(zhì)量會(huì)變差。當(dāng)然了，摩爾定律更具體的定義其實(shí)不是這么說(shuō)的，但我們姑且就這么信了。xKiesmc

不過(guò)我們知道手機(jī)這些年的拍照是越來(lái)越強(qiáng)的，像素也的確是越來(lái)越小——之前探討1 億像素圖像傳感器的文章其實(shí)就提到過(guò)這個(gè)問(wèn)題，這也是這些年手機(jī)圖像傳感器實(shí)質(zhì)上的發(fā)展趨勢(shì)，甭管多少媒體喜歡大談單像素尺寸這件事，像三星如今的圖像傳感器像素尺寸做到了 0.7μm——雖然還沒(méi)有應(yīng)用到 1 億像素的圖像傳感器上。xKiesmc

當(dāng)然了，手機(jī)攝像頭的圖像傳感器總面積這些年一直是在變大的，起碼從 10 年前的對(duì)角線 1/3 英寸，變成了現(xiàn)在的 1/1.33 英寸——這個(gè)轉(zhuǎn)變其實(shí)還是巨大的。其實(shí)圖像傳感器變大，也就意味著拍攝一個(gè)相同的場(chǎng)景，光圈、快門(mén)、ISO 參數(shù)相同時(shí)（或者說(shuō)照片亮度一致），則實(shí)際的光通量是明顯更多的。從直覺(jué)上來(lái)看，拍照一定更好——畢竟吃了更多的光，光總量變大，也就意味著前端的散粒噪聲會(huì)更低。xKiesmc

但好像 1 億像素的手機(jī)，拍的照片其實(shí)也沒(méi)比 4800 萬(wàn)像素的手機(jī)厲害到哪里去；跟當(dāng)年的 1200 萬(wàn)像素和 4100 萬(wàn)像素的較量，似乎全然不是一個(gè)量級(jí)?；蛘哒f(shuō)，如果我們拋開(kāi)什么光學(xué)/混合變焦、超廣角這些多攝加成不說(shuō)，當(dāng)代手機(jī)的 28mm 主攝拍下的照片，其實(shí)也就那么回事：你說(shuō)好能好到哪里去，壞又能壞到哪里去？xKiesmc

xKiesmc

前一陣還有朋友說(shuō)想買(mǎi)個(gè)拍照好的手機(jī)，問(wèn)我應(yīng)該買(mǎi)哪款。其實(shí)以手機(jī)“攝影”框定的范疇，即便華為、小米之類的廠商把手機(jī)拍照吹破天際，如果同樣是 5000 塊錢(qián)的手機(jī)，它們的成像質(zhì)量差異真的會(huì)大到哪里去嗎？所以我跟他說(shuō)：你喜歡哪個(gè)，就買(mǎi)哪款吧，你又不搞什么嚴(yán)肅攝影，沒(méi)事難道還跟別人去拼一拼寬容度、邊角失色的問(wèn)題不成？xKiesmc

畢竟這會(huì)兒早不是十多年前，手機(jī)拍照幾乎就只有蘋(píng)果一家能把自動(dòng)白平衡做好；也不是十年前，諾基亞手機(jī)的解析力和信噪比可以把同時(shí)代競(jìng)爭(zhēng)對(duì)手拋到天邊去。xKiesmc

DxOMark 在 3 月份發(fā)布的一篇文章，我覺(jué)得特別能回答為什么 1 億像素手機(jī)拍照其實(shí)也不過(guò)爾爾。這篇文章中提到，智能手機(jī) 10 多年來(lái)，成像質(zhì)量提升超過(guò) 4EV（stop）；其中 1.3EV 是來(lái)自圖像傳感器/光學(xué)技術(shù)的提升；有 3EV 是來(lái)自圖像處理器（SoC 的 ISP、NPU 之類），或者說(shuō)智能手機(jī)的處理能力提升。xKiesmc

總體，智能手機(jī)拍照越來(lái)越好，是攝像頭光學(xué)系統(tǒng)（包含圖像傳感器技術(shù)提升），以及圖像數(shù)字信號(hào)處理能力的雙重提升。而后者占了大頭；前者有價(jià)值，但在手機(jī)這個(gè)門(mén)類的產(chǎn)品中，其提升相對(duì)緩慢——這其實(shí)也符合相機(jī)市場(chǎng)的發(fā)展，單畫(huà)質(zhì)提升速度，完全不可能像半導(dǎo)體技術(shù)發(fā)展那樣瘋狂。xKiesmc

圖像傳感器（光學(xué)系統(tǒng)）的技術(shù)提升

DxOMark 認(rèn)為，近 10 年 APS-C 畫(huà)幅的圖像傳感器，以 DxOMark 針對(duì)圖像傳感器的測(cè)試標(biāo)準(zhǔn)來(lái)看，其性能提升是 1.3EV。那么手機(jī)拍照 4EV+ 的程度是怎么做到的？xKiesmc

從光學(xué)系統(tǒng)來(lái)看，對(duì)于手機(jī)來(lái)說(shuō)，BSI 背照式 CMOS 圖像傳感器技術(shù)，算是一個(gè)偉大的發(fā)明（即便它也是相機(jī)->手機(jī)攝像頭的技術(shù)下放，不過(guò)相機(jī)從 BSI 技術(shù)上的獲益遠(yuǎn)少于手機(jī)），其實(shí)質(zhì)就是把像素內(nèi)部的色彩 filter 與感光層（光電二極管）之間的電路層，移到后方去。我們所知，BSI 解決的主要問(wèn)題是串?dāng)_，而且還能提升光的利用率。xKiesmc

感覺(jué)背照式和堆棧式，已經(jīng)是基礎(chǔ)教育級(jí)別的名詞了吧...xKiesmc

xKiesmc

圖片來(lái)源：DxOMarkxKiesmc

實(shí)際上 BSI 這個(gè)工藝改進(jìn)本身不光是提升像素感光能力，也在于因?yàn)楣怆姸O管離上層更近，則傳感器能夠從更多的方向獲取光子，它帶來(lái)的價(jià)值包括：xKiesmc

光圈因此可以做的更大（更偏角度的光）；鏡頭也因此可以和傳感器靠得更近，也就可以用更大的傳感器；而且鏡片可以更“平”，在增加額外光學(xué)組成部分，以及更長(zhǎng)的有效焦距時(shí)也更具彈性，也不會(huì)讓手機(jī)的攝像頭模組太厚。xKiesmc

這么看來(lái)，BSI 對(duì)于手機(jī)拍照的貢獻(xiàn)也算是延續(xù)至今啊，還影響到了光學(xué)系統(tǒng)設(shè)計(jì)。不過(guò)如 DxOMark 所說(shuō)，這么多年的發(fā)展，無(wú)論是像素阱結(jié)構(gòu)調(diào)整，還是什么 RAM 堆棧技術(shù)、Cu-Cu 互聯(lián)之類，CMOS 制造工藝提升、圖像傳感器總尺寸越來(lái)越大，其貢獻(xiàn)限定在 1.3EV。xKiesmc

圖像處理器的技術(shù)提升

就圖像處理來(lái)看，下面這張圖，第一張是用無(wú)數(shù)年前的尼康 D70s 拍的 RAW 照片，ISO3200；第二、三、四、五張，分別針對(duì)這張?jiān)颊掌瑧?yīng)用了 DxO Labs 的 Optics Pro 3/5/7/9 軟件做后處理（也就是不同時(shí)期的軟件后處理）。能夠看出隨著時(shí)代發(fā)展，不管是算力提升還是算法提升，都對(duì)原有相同光學(xué)硬件基礎(chǔ)的成像做了怎樣的提升，就表明圖像處理這些年還是十分重要。xKiesmc

xKiesmc

圖片來(lái)源：DxOMarkxKiesmc

能夠直觀體現(xiàn)手機(jī)拍照提升的是下圖，在低照度（5 lux）下從 iPhone 5s 開(kāi)始，一直到 iPhone 11 Pro Max 拍攝的不同照片。按照 DxO 所說(shuō)，圖像處理器在其中提升比重占得明顯更大，包括現(xiàn)在引入多張堆棧、AI 之類亂七八糟的技術(shù)——這本身就需以圖像處理器算力提升為基礎(chǔ)。xKiesmc

xKiesmc

圖片來(lái)源：DxOMarkxKiesmc

我之前翻譯過(guò)好幾篇谷歌 AI Blog 相關(guān)成像技術(shù)的文章，都是將機(jī)器學(xué)習(xí)應(yīng)用到計(jì)算攝影的成果介紹，前一陣才發(fā)了一篇谷歌如何利用 Dual Pixel + Dual Camera + 機(jī)器學(xué)習(xí)實(shí)現(xiàn)背景虛化的文章，有興趣的同學(xué)可以去看一看。這些主要建立在圖像處理技術(shù)提升的基礎(chǔ)上；而且足夠谷歌在 Computational Photography 領(lǐng)域發(fā)一大堆的 paper。xKiesmc

谷歌在 Computational Photography 的成像技術(shù)介紹上最為透明，無(wú)論是 HDR+（高寬容度多張堆棧）、Night Sight（夜拍模式）、Super Res Zoom（抖動(dòng)實(shí)現(xiàn)的超分辨率數(shù)字變焦），還是把機(jī)器學(xué)習(xí)應(yīng)用到夜間模式的自動(dòng)白平衡之類，它們對(duì)于當(dāng)代手機(jī)拍照畫(huà)質(zhì)的提升顯得十分顯著。即便老一輩革命家們其實(shí)總是特別喜歡說(shuō)，你這技術(shù)幾百年前相機(jī)就用上了，你這是技術(shù)下放。xKiesmc

其實(shí)無(wú)論包括蘋(píng)果、華為在內(nèi)的廠商，在這些問(wèn)題上的解決方案有多大差別，它們的核心都是圖像處理的提升，包括用于圖像處理的硬件算力提升，和軟件算法提升。它們?nèi)?DxOMark 所說(shuō)，貢獻(xiàn)了 3EV 的畫(huà)質(zhì)提升。xKiesmc

xKiesmc

1億像素的圖像傳感器，在 Computational Photography 面前，可能在實(shí)際產(chǎn)出的收益上，并不會(huì)顯得十分巨大——于是，我們才說(shuō)，這更是一個(gè)比拼 post processing 的時(shí)代。要不然大家都拿一樣的一億像素圖像傳感器，還哪來(lái)差異化競(jìng)爭(zhēng)？xKiesmc

畢竟現(xiàn)在不像過(guò)去那樣，諾基亞隨隨便便就去跟東芝訂個(gè)獨(dú)家的 1/1.2 英寸的圖像傳感器（808Pureview），光學(xué)系統(tǒng)還有蔡司參與設(shè)計(jì)，就把別家手機(jī)拍照打到滿地找牙。那是十年前的傳奇了，圖像處理器算力也遠(yuǎn)不如現(xiàn)在，那會(huì)兒都沒(méi)人聽(tīng)說(shuō)過(guò) AI 拍照。如今的華為，即便有索尼的圖像傳感器獨(dú)家定制資源，它到底有多“獨(dú)家”都很值得打個(gè)問(wèn)號(hào)，更別說(shuō)，在圖像處理器上誰(shuí)技高一籌的問(wèn)題。xKiesmc

當(dāng)然其實(shí)在光學(xué)系統(tǒng)方面的努力，也包括了多攝之類的。不過(guò)這些提升，尤其是多攝的圖像合成實(shí)現(xiàn)更好的畫(huà)質(zhì)，本身和信號(hào)處理又是分不開(kāi)的——所以算是兩者的相輔相成吧。xKiesmc

最后文章與文首呼應(yīng)一下：既然手機(jī)拍照，圖像處理帶來(lái)的效益更大，那么其實(shí)手機(jī)拍照是否也可以很勉強(qiáng)地說(shuō)，是符合了摩爾定律的發(fā)展規(guī)律的。畢竟要做圖像處理，靠的就是數(shù)字芯片的發(fā)展。那么其實(shí)現(xiàn)在手機(jī)拍照越來(lái)越好，顯然 7nm 的驍龍、麒麟之類的就十分有意義，重要性不亞于攝像頭本身...那還不是要跟摩爾定律掛鉤了嗎？xKiesmc

最后的最后，相機(jī)（單反/微單）領(lǐng)域，由于專業(yè)攝影職能和手機(jī)拍照的差別，其“計(jì)算”屬性顯得并沒(méi)有那么重要，畢竟攝影師有自己的創(chuàng)作意圖，而且還需要花大量時(shí)間去做人工的照片后期，自然不可能允許照片一拍下來(lái)就有濃重的飽和度和對(duì)比度。xKiesmc

而且相機(jī)在光學(xué)系統(tǒng)的優(yōu)越性上具備碾壓手機(jī)攝像頭的特點(diǎn)，或者說(shuō)吃光子的能力可以把手機(jī)甩到海王星去；不過(guò)當(dāng)代手機(jī)憑借著圖像處理能力越來(lái)越強(qiáng)，開(kāi)始有人整天在問(wèn)，手機(jī)拍照是不是能和微單/單反比了，一會(huì)兒紅米秒尼康 D5，一會(huì)兒榮耀秒佳能 5D4——本質(zhì)上是圖像處理技術(shù)發(fā)展中，對(duì)傳統(tǒng)光學(xué)技術(shù)的叫囂，甭管他們有多荒謬，起碼這種叫囂在 10 年前是從來(lái)不曾有的。xKiesmc

推薦閱讀：

[1] Smartphones vs Cameras: Closing the gap on image quality - DxOMarkxKiesmc

[2] 看懂手機(jī)拍照的背景虛化：雙攝3D成像再加上AI？xKiesmc

[3] 小米吹了很久的1億像素，華為難道不配擁有嗎？xKiesmc

*國(guó)際電子商情對(duì)文中陳述、觀點(diǎn)判斷保持中立，不對(duì)所包含內(nèi)容的準(zhǔn)確性、可靠性或完整性提供任何明示或暗示的保證。xKiesmc