智能手機10多年來，成像質(zhì)量的提升超過了4EV。從直覺來看，這些提升最大的功臣應該是圖像傳感器及光學系統(tǒng)的發(fā)展。不過事實上，DxOMark總結(jié)認為，這4V的提升僅有1.3EV是來自圖像傳感器和光學系統(tǒng)的提升，還有3EV來源于圖像處理，或傳說中的計算攝影（Computational Photography）。gQVesmc

本文的標題所謂“1億像素都是垃圾”，指的是1億像素的圖像傳感器為畫質(zhì)的貢獻可能并沒有人們想象得那么大，并不是說1億像素沒有意義。既然這4EV主要不是1億像素圖像傳感器的功勞，那應該就是ISP（圖像處理器）的功勞了？gQVesmc

ISP是專門用于影像處理工作的，包括反拜耳（demosaic）、抑噪、自動白平衡、自動曝光、自動對焦、色彩對比度修正等等，尤其是其中的圖像后處理。從圖像傳感器直接生成的原始影像實際上是不大能被人眼接受的，因此需要經(jīng)過各種處理后才形成最終的照片輸出。gQVesmc

不過無論是手機攝像頭，還是車載、工業(yè)攝像頭，在CV、圖像后處理等方面，AI所占的比重都越來越大。AI專用處理器或單元都開始加入到圖像處理流程中來。gQVesmc

去年華為和三星在其手機芯片發(fā)布會上，都提到了ISP與NPU的“融合”，NPU當然就是專用于AI計算的處理器了。三星還為此專門取了個名字叫AISP——應該就是AI+ISP的意思。華為當時宣稱是“業(yè)界首次實現(xiàn)ISP+NPU的融合架構(gòu)”。不管這個“業(yè)界首次”是否是真的，這種“融合”都相當值得探究。gQVesmc

本文嘗試從現(xiàn)有資料，以及我所知的一些不成體系的信息來簡單談談，這種“融合”究竟是怎么回事，以及AI對于拍照而言的價值在哪兒。本文將AI處理器或單元統(tǒng)稱為NPU，不同的廠商對其有不同的稱謂，如蘋果稱其為NE，聯(lián)發(fā)科稱其為APU，高通稱其為AIE。gQVesmc

NPU與ISP的協(xié)同工作

事實上，迄今我們依然無法完整地搞清楚，現(xiàn)有智能設(shè)備的ISP和NPU之間是怎樣協(xié)同工作的。華為在發(fā)布會上展示的一張圖只是個簡略的概要圖（下圖）。其中提到，針對“4K像素級AI Video處理”，ISP負責顏色/亮度還原、快速對焦，而神經(jīng)網(wǎng)絡完成細節(jié)還原、去噪。兩者配合來輸出影像。gQVesmc

gQVesmc

三星方面對于其“AISP”的宣傳也比較模糊，稱之為“全新ISP架構(gòu)”，讓AI在影像拍照和視頻上的使用“更加便捷和實時”，“并進一步升級了智能自動白平衡、自動曝光、降噪等功能”。三星在Exynos 1080的發(fā)布會上提到，NPU可以進行拍攝物體與風景的檢測，并優(yōu)化白平衡和曝光。gQVesmc

即便我們不清楚ISP和NPU具體如何協(xié)同，或者說圖像處理通路是如何，NPU在此究竟扮演了什么角色還是有辦法搞清楚的。gQVesmc

谷歌Pixel手機在此前的幾代產(chǎn)品中引入了PVC（Pixel Visual Core）。這是谷歌設(shè)計的基于Arm的影像處理器。PVC內(nèi)部的IPU（image processing unit）本質(zhì)上是完全可編程的影像、視覺與AI多核專用架構(gòu)。Pixel二代、三代的多款機型都采用了該處理器。Pixel 4之上，迭代產(chǎn)品更名為Pixel Neural Core，應該算是對其AI計算屬性的一種強調(diào)吧。gQVesmc

gQVesmc

從PVC，可一定程度理解這種專用處理器是如何做影像后處理的。PVC主體上包含8個IPU核心，據(jù)說是谷歌自己設(shè)計的，每個核心有512個ALU單元。谷歌為其配套了開發(fā)生態(tài)，針對圖像處理采用Halide語言，機器學習則為TensorFlow，針對底層硬件有專門的編譯器。而Android三方應用開發(fā)者直接使用Android Camera API，就能利用PVC的算力。gQVesmc

Pixel 5已經(jīng)去掉了這種專用芯片，不知后續(xù)是否還會繼續(xù)引入。PVC作為一種手機主SoC（如驍龍?zhí)幚砥鳎┲獾囊幻秾Ｓ眉铀倨?，想必其處理時延會比較高，從直覺來看可能不及直接將NPU集成到SoC上的方案——畢竟如今手機SoC的AI算力也是越來越強的。猜測未來的Pixel設(shè)備極有可能會棄用這種專門的PVC。gQVesmc

最初那些年，PVC參與的影像后處理工作，包括了HDR+、自動白平衡、降噪等。后文借用谷歌這些年在計算攝影方面的研究成果，也會嘗試談談AI具體是如何參與到影像后處理的。gQVesmc

不過谷歌畢竟不是專門的手機芯片制造商，很難直接自己造個專屬的手機SoC，為其拍照的設(shè)想做最完美的服務（從這里也能看出蘋果和華為的優(yōu)勢）。不難想象，當AI計算在影像處理方面的作用越來越大之時，華為、三星這些芯片制造商，也就開始了NPU與ISP的融合工作。gQVesmc

gQVesmc

那么現(xiàn)在所謂的“融合架構(gòu)”要如何體現(xiàn)呢？和此前谷歌這種外置一枚PVC的方案又有何不同？華為公布的少量資料，應該是我們獲知ISP、NPU（以及谷歌PVC）如何協(xié)同工作的一部分知識碎片。gQVesmc

從上面這張圖中可見，“傳統(tǒng)的視頻流智能處理”，ISP與NPU的數(shù)據(jù)共享還需要依托于DRAM主內(nèi)存。也就是說，即便同在一枚SoC上，這兩個處理單元之間還需要靠主內(nèi)存這種慢速存儲來做數(shù)據(jù)共享（就像CPU和GPU的常規(guī)工作模式那樣）。那么AI影像處理的時延，自然就會比較高了，反映在拍照上可能是等待時間較長，AI視頻處理則會“不可用”。雖然我們無法斷言這個信息的真?zhèn)危贿^PVC和手機主SoC之間，起碼應該會是這樣通信的。gQVesmc

我們現(xiàn)在仍然不清楚ISP+NPU完整的影像處理通路是什么樣。比如可能是先給ISP做處理，然后再轉(zhuǎn)交給NPU做后續(xù)各種處理，直接就輸出圖像了。但這也太過理想，更合理的方案應該是某些處理工作交給ISP（比如自動對焦、自動測光），某些則交給NPU（比如自動白平衡、AI降噪），兩種處理器進行影像數(shù)據(jù)的交替處理。這對兩種處理器的通信、協(xié)同提出了比較高的要求；另外對究竟哪些工作由ISP處理，哪些工作交給NPU處理這樣的問題，也提出了要求。gQVesmc

gQVesmc

華為在麒麟9000媒體溝通會上，在NPU環(huán)節(jié)提到過一個Smart Cache 2.0的概念。當時我并沒有完全理解，始終認為無非麒麟9000有個系統(tǒng)級LLC，也就是現(xiàn)在手機SoC上普遍會出現(xiàn)的一種system cache——這種緩存在SoC上面向各種IP模塊共享，包括CPU、GPU、NPU等。最早似乎是蘋果在A系列芯片上采用此種設(shè)計，后續(xù)高通、華為也相繼跟進。gQVesmc

當時華為Fellow艾偉說：“相對直接訪問內(nèi)存來說，帶寬提升了一倍，能效提升15%。”這句話現(xiàn)在想來，可能是指ISP與NPU通信時，部分共享system cache，而不是去內(nèi)存轉(zhuǎn)一圈（不過smart cache也有可能是分層的緩存方案，內(nèi)存或許也會參與）。gQVesmc

與此同時，ISP和NPU原本的工作方式是不同的。在視頻處理時，ISP以行或者幀內(nèi)分塊為單位進行工作；而NPU則是以整個幀或整個畫面為處理單位。所以ISP需要忙完整張畫面后，才會將其傳輸給NPU。這樣兩者協(xié)同的工作效率是比較低的，NPU可能會有比較長的等待時間。gQVesmc

華為的這種ISP+NPU融合架構(gòu)是將每一幀進行“切片”，也就是把每幀的整個畫面拆分成更小的單元。ISP與NPU的處理最小單元都成為這種“切片”。ISP在完成一個切片后就可以傳遞給NPU去處理。這么做不僅降低了NPU的閑置率，應該也能降低帶寬消耗。配合所謂的Smart Cache，也就提高了兩者的工作效率。這應該就是ISP+NPU融合架構(gòu)的關(guān)鍵所在。gQVesmc

gQVesmc

Mate40有個錄制功能，是將攝像頭中拍攝到的畫面進行逐幀的卡通化處理——非延后處理，而是拍攝當下就實時顯示。這項應用，很類似于2016年德國圖賓根大學研究人員用卷積神經(jīng)網(wǎng)絡，實現(xiàn)風格化轉(zhuǎn)換的一項研究，包括為人像應用畢加索、梵高等各種風格。這也是NPU參與工作，并且做到實時處理的一種顯著感知了。gQVesmc

AI在手機拍照中，扮演了什么角色?

不過NPU+ISP進行影像處理的關(guān)鍵還是在于，NPU究竟有什么用？如果只是做個畫面卡通化處理，或者智能美顏之類，那也沒什么太大的意思。事實上，現(xiàn)階段AI參與影像增強，是部分替代了ISP的工作的。一個比較典型的例子是畫面的自動白平衡，以前這是ISP的工作，現(xiàn)在則部分或者全部可轉(zhuǎn)交給NPU去完成。gQVesmc

自動白平衡為什么需要AI去做呢？無非在于傳統(tǒng)的自動白平衡修正方案，在很多情況下都沒那么靠譜。白天光照充足時，或許還沒什么問題，但到了夜晚情況就會比較復雜。gQVesmc

gQVesmc

比如像上圖這樣夜間由于光照，色偏本就很嚴重的場景，針對很多拍攝對象是難以做顏色修正的。所以谷歌利用機器學習開發(fā)了一套算法。模型訓練過程，是采用Pixel手機來拍攝多樣化的場景，然后針對所有拍攝的照片，在色彩校準顯示器上手動調(diào)整照片白平衡。以此來進行訓練。而手機上的AI單元執(zhí)行的是inference的過程，可得到上圖這樣的結(jié)果。gQVesmc

這是AI在自動白平衡中的一個典型應用。在這套方案中，可能涉及的問題主要包括AI算法是否能夠獲得比ISP傳統(tǒng)后處理算法更優(yōu)秀的結(jié)果，NPU如何與ISP協(xié)作（包括圖像處理通路如何），訓練數(shù)據(jù)如何獲取等。gQVesmc

尤其是訓練網(wǎng)絡所需的數(shù)據(jù)從哪兒來。谷歌的數(shù)據(jù)是自己用Pixel手機，或者通過一些方案自行采集的，比如上面這個自動白平衡的例子。這似乎也是谷歌的老傳統(tǒng)了。這里還可以舉幾個用AI實現(xiàn)畫質(zhì)增強的同類例子：gQVesmc

(1) 模擬背景虛化gQVesmc

去年《看懂手機拍照的背景虛化：雙攝3D成像再加上AI？》一文詳細介紹過這種方案。除了雙攝+雙像素這些原本實現(xiàn)背景虛化（淺景深模擬）的傳統(tǒng)方案，谷歌另外用AI對照片背景虛化做了加強。gQVesmc

gQVesmc

谷歌為了訓練所需的神經(jīng)網(wǎng)絡，親自打造了一臺五攝裝備，其實就是把5臺Pixel 3手機固定在一起，拍了很多人像照片，“五攝”同時拍攝畫面就能生成相對高質(zhì)量的深度圖。以此作為神經(jīng)網(wǎng)絡的輸入。這樣用戶在用手機拍攝人像時，AI就能輔助推斷人像深度了。gQVesmc

(2) 消除畫面噪聲gQVesmc

UC Berkeley和Google Research前兩年發(fā)表過一篇多幀降噪的paper，題為Burst Denoising with Kernel Prediction Networks。用CNN網(wǎng)絡預測運動向量+降噪kernel的方法。數(shù)據(jù)來源是Open Images dataset，針對每張圖像生成N張裁剪圖像，每張做隨機偏移；而且每張照片做逆向gamma校正，轉(zhuǎn)換為近似線性顏色空間，并利用噪聲模型來添加噪聲——也就模擬了多幀畫面。這些作為訓練數(shù)據(jù)。gQVesmc

gQVesmc

最終期望達到的，就是用手機拍照，一次快門就拍下多張圖片，通過這種多幀堆棧來獲得一張純凈度比較高的照片。這是利用機器學習實現(xiàn)多張堆棧降噪的典型方法了。gQVesmc

(3) 視頻拍攝防抖gQVesmc

谷歌針對Pixel 2手機應用過一種名為Fused Video Stabilization的視頻拍攝防抖方案。這套方案包含3個處理階段：第一階段做位移分析，獲取陀螺儀的信號、光學防抖的鏡頭運動，來精確預估攝像頭的位移。然后在位移過濾階段，結(jié)合機器學習和信號處理，來預測拍攝者移動攝像頭的意圖。最后進行幀合成，達成優(yōu)于傳統(tǒng)光學、數(shù)字防抖的效果。AI屬于其中的一個階段。gQVesmc

gQVesmc

(4) HDR+高動態(tài)范圍gQVesmc

HDR+其實是谷歌一次按下快門，多張短曝光照片堆棧的一種算法。這項特性本身應該并沒有加入AI。不過2018年，谷歌宣布向研究社區(qū)公開HDR+的這些堆棧照片數(shù)據(jù)，包括不同對象、亮度、動態(tài)范圍和亮度的。據(jù)說有不少做神經(jīng)網(wǎng)絡研究的paper都采用了這套數(shù)據(jù)集。HDR+因此也能算是AI拍照的組成部分了吧。gQVesmc

gQVesmc

Pixel手機更多應用了AI的功能和特性，這里就不再多做介紹了，有興趣的可參見谷歌的AI Blog。比如說前兩個月谷歌才公布的“人像光照”特性，是對2D照片的人像做模擬打光——即為照片加人造光源。人像光照主要應用的就是機器學習，谷歌動用到了位于不同角度的64個攝像頭+331個LED光源，從各個角度來拍攝不同方位的打光照片，以此作為神經(jīng)網(wǎng)絡的訓練數(shù)據(jù)來源。效果還是比iPhone用3D結(jié)構(gòu)光實現(xiàn)的打光效果更靠譜的。gQVesmc

gQVesmc

華為這邊因為硬件實現(xiàn)上有了NPU+ISP融合架構(gòu)的加成，所以更多的AI特性得以應用到了視頻后處理、實時處理以及AR之上。有興趣的可參見《全面剖析麒麟9000：華為Mate 40碾壓了誰？》一文的NPU部分。gQVesmc

AI拍照將走向何方

前面列舉AI加強成像畫質(zhì)的，典型如降噪、自動白平衡，本質(zhì)上都是傳統(tǒng)攝影的構(gòu)成部分，而不是類似于“趣味攝影”的小特性，或者在很多人看來可有可無的部分。它們在手機中是真真切切地影響到了最終的成像畫質(zhì)的。華為有底氣宣稱Mate40的5000萬像素碾壓別家1億像素，AI在其中應當占了較大比重。gQVesmc

本文僅作為拓寬見聞的一篇文章，讓各位讀者了解，AI在如今的手機攝影中大致有著怎樣的作用（以谷歌為代表），以及從硬件的角度嘗試管中一窺NPU+ISP的新融合架構(gòu)（以華為為代表）。未來手機乃至相機拍照，越來越多地引入AI，也是必然的。且計算機攝影相關(guān)的研究也還在持續(xù)中。gQVesmc

未來手機上的AI攝影會走向何方，這個話題太大了。不過本文的最后再分享一篇相當有趣，來自蘇黎世聯(lián)邦理工學院去年發(fā)布的一篇paper（Replacing Mobile Camera ISP with a Single Deep Learning Model），大致意思是將ISP徹底替換為NPU。gQVesmc

幾名研究人員采用華為P20 Pro，以及單反佳能5D4拍的照片為神經(jīng)網(wǎng)絡的訓練數(shù)據(jù)，包括兩者拍攝的原始RAW圖像（未經(jīng)過反拜耳的原始數(shù)據(jù)），以及經(jīng)過ISP后處理最終輸出的JPG照片。訓練過程就是將P20 Pro拍攝的RAW Bayer數(shù)據(jù)，轉(zhuǎn)成佳能5D4同場景拍攝的JPG照片（也就是將圖像傳感器輸出的原始數(shù)據(jù)，映射到高質(zhì)量的照片）。數(shù)據(jù)集包含10000張實拍照片。gQVesmc

gQVesmc

用訓練得到的PyNET網(wǎng)絡所做的后處理，與華為P20自己的ISP所做后處理的比較gQVesmc

最終獲得的PyNET模型，就可以直接將手機圖像傳感器獲取到的原始數(shù)據(jù)，經(jīng)過inference——也就是類似NPU這樣的AI處理器，來輸出JPG照片了。也就是AI單元學習了ISP的工作流程，并替代了ISP。“在不需要有關(guān)傳感器、光學相關(guān)的知識”的情況下，就能做到原本ISP需要各種tuning才可達成的工作。（不過要是圖片后處理流程本來就包含了AI過程，是否就是個嵌套了？）gQVesmc

聽起來是個很有意思的思路，當然其實際效果如何又是另一個話題了，有興趣的同學可前往查看。gQVesmc