這對于手機(jī)CIS市場份額第一的索尼而言，恐怕算不上是一個好消息。今年8月，Twitter上出現(xiàn)一組消息源未經(jīng)考證的數(shù)據(jù)，指出今年第一、二季度，三星與索尼的圖像傳感器市場份額縮短到有史以來的最接近。索尼圖像傳感器在今年第二季度的市場份額下探至42.5%，三星上升到21.7%。在《國際電子商情》來看，這與三星乃至更多市場參與者，如SK海力士，在高像素相關(guān)的制程工藝上的優(yōu)勢有關(guān)。U6vesmc

成像市場的價值恐怕正在發(fā)生一場轉(zhuǎn)變。由于智能手機(jī)在成像領(lǐng)域占據(jù)了最大市場份額（Yole Developpement去年年中的數(shù)據(jù)顯示，移動CIS占到整個CIS銷售額的70%），本文主要以智能手機(jī)這個門類的應(yīng)用為例，來談成像市場正在發(fā)生的轉(zhuǎn)變——原本以CIS為主的市場正逐步轉(zhuǎn)至以圖像/視覺處理器，如AI專核、ISP（圖像處理器）等為主，這種變化將創(chuàng)造更大的市場價值。U6vesmc

另外，智能手機(jī)成像的特殊性在于，其他領(lǐng)域的成像，如醫(yī)療成像、工業(yè)領(lǐng)域的機(jī)器視覺等，在圖像傳感器層面是以“拍得到”為主要目標(biāo)，并且更注重圖像數(shù)據(jù)的后處理與計算。而手機(jī)拍照向來以“拍得好”為主要目標(biāo)，它對圖像傳感器的重視由來已久。U6vesmc

智能手機(jī)制造商在宣傳其拍照的賣點時，仍然更傾向于CIS本身的高像素和大尺寸。但成像質(zhì)量的決定因素已經(jīng)從CIS，向圖像數(shù)據(jù)的處理與計算環(huán)節(jié)傾斜，它體現(xiàn)的也正是數(shù)字芯片本身的技術(shù)發(fā)展以及AI技術(shù)的快速推進(jìn)對傳統(tǒng)光學(xué)技術(shù)發(fā)展的挑戰(zhàn)。U6vesmc

前兩年就開始出現(xiàn)的苗頭

聯(lián)發(fā)科在2018年提出了“真AI相機(jī)”的概念。該概念包含了三個主要的因素：1.高像素、大尺寸CIS；2.多核ISP；3.高性能的AI專核。其中，第一點是成像領(lǐng)域的共識，而后兩點都與圖像數(shù)據(jù)的后處理（Post Processing）相關(guān)。U6vesmc

如果說ISP是處理（Processing）數(shù)據(jù)，那么AI及其他視覺處理器就是對數(shù)據(jù)做更深度的計算（Computing）。ISP的重要性在過去總被反復(fù)提及，但其在成像領(lǐng)域，尤其是手機(jī)拍照上的地位遠(yuǎn)不及CIS。此外，AI專核也是成像領(lǐng)域這兩年的香餑餑。在此基礎(chǔ)上，“真AI相機(jī)”這一營銷概念的提出，本質(zhì)上是為了吸引終端設(shè)備制造商來采用聯(lián)發(fā)科的SoC產(chǎn)品，不過它卻真正將ISP與AI專核提到了與CIS相同的高度。U6vesmc

無論是專為攝像頭配備的ISP，還是AI處理單元，它們在拍照中的應(yīng)用都可以認(rèn)為是這兩年頗流行的Computational Photography（計算攝影）。普羅大眾對于“AI拍照”的理解，恐怕還停留在美顏、人臉識別、去背景或者讓天空更藍(lán)、草地更綠這樣的層面。實際上，AI對于成像的協(xié)助，已經(jīng)深入到了拍照的方方面面，這部分將在下文探討。U6vesmc

除了聯(lián)發(fā)科這樣的芯片廠商之外，谷歌的表現(xiàn)也值得關(guān)注。據(jù)《國際電子商情》了解，谷歌在2017年為其Pixel 2手機(jī)配備了專門的Pixel Visual Core（Pixel視覺核心，圖1），這是由該公司自主設(shè)計的基于Arm系統(tǒng)的SiP封裝圖像/視覺處理器。這枚處理器可以看作是一個完全可編程的圖像、視覺與AI多核專用架構(gòu)（domain-specific architecture）芯片，其應(yīng)用在Pixel 4之上迭代為Pixel Neural Core（Pixel神經(jīng)核心）。U6vesmc

當(dāng)然，谷歌Pixel系列手機(jī)在移動領(lǐng)域普遍更具有前瞻性和試水性質(zhì)。谷歌在Computational Photography領(lǐng)域有著多年的沉淀，他們認(rèn)為與高通在SoC內(nèi)部提供ISP與AI Engine能力相比，針對拍照來自研專用的圖像處理硬件更加高效。U6vesmc

U6vesmc

圖1，Pixel手機(jī)的Pixel Visual Core內(nèi)部U6vesmc

在前智能手機(jī)時代，外置ISP/DSP是個常見的概念，但隨著芯片集成大趨勢的到來，當(dāng)代圖像處理硬件已很少以獨立的形態(tài)存在于SoC之外。谷歌的這種做法進(jìn)一步提升了圖像/視覺處理器的地位：雖然外置一顆獨立圖像/視覺芯片的方案未必會成為趨勢，但是在拍照的各環(huán)節(jié)中，后處理已經(jīng)成為更重要的組成部分。U6vesmc

谷歌Pixel手機(jī)有個更有趣的傳統(tǒng)：相同型號的CIS可以連續(xù)用在兩代Pixel手機(jī)上，比如Pixel 3和Pixel 4的主攝都采用疑似索尼IMX363的CIS。即便如此，手機(jī)的拍照表現(xiàn)仍然會有飛躍，這個特點一直為人們所津津樂道。這也表明，谷歌在成像上非常重視圖像處理，而不僅只關(guān)注圖像傳感。U6vesmc

再回過頭來看今年的高通驍龍865針對成像的堆料：驍龍865的ISP部分支持每秒2 GigaPixel的速度，同時也支持4K HDR、8K視頻拍攝以及最大2億像素的照片拍攝。在與第五代AI Engine合作的情況下，這顆ISP能夠快速識別不同的拍攝背景、人、對象。如今，高通會著重宣傳每一代驍龍旗艦中的成像。U6vesmc

再看看蘋果今年發(fā)布的A14，其CPU、GPU性能提升的幅度并不算大，但AI專核部分的Neural Engine（神經(jīng)引擎）增加到16個核心，這讓其算力提升到了11TOPS；A14 CPU內(nèi)部還特別包含了升級過的機(jī)器學(xué)習(xí)AMX模塊（矩陣乘法加速器）。如今，手機(jī)上的AI處理器總被人詬病沒有太多應(yīng)用場景，但它們在Computational Photography上正默默發(fā)揮作用。U6vesmc

愈發(fā)明確的市場現(xiàn)狀

索尼在今年5月推出了兩款“智能視覺傳感器”——IMX500與IMX501。該公司宣稱，這是全球最早加入了AI處理能力的圖像傳感器。這兩顆芯片的傳感器部分，是比較典型的背照式CIS；而集成的邊緣AI處理部分，包含了DSP的邏輯芯片，也包括了AI模型所需的臨時存儲空間，屬于比較典型的邊緣AI系統(tǒng)。更嚴(yán)謹(jǐn)?shù)卣f，IMX500/501恐怕不應(yīng)僅定義為“傳感器”。U6vesmc

這兩顆芯片在配合云服務(wù)的情況下，在數(shù)據(jù)處理階段僅獲取元數(shù)據(jù)作為輸出，這樣能夠降低數(shù)據(jù)傳輸延遲，減少功耗與通訊的成本。這類設(shè)計的本質(zhì)是：將部分“后處理”的能力集成到圖像傳感器上。這樣一來，錄制視頻時就能進(jìn)行更高精度、實時的對象追蹤。目前，這兩款傳感器主要應(yīng)用于零售、工業(yè)設(shè)備。U6vesmc

另外，在配套解決方案上，索尼也推出了用于這類集成AI能力的CIS的軟件訂閱服務(wù)。加入了AI數(shù)據(jù)分析的潛在市場價值大于傳感器市場本身。雖然索尼并不期望這項服務(wù)能夠在短期內(nèi)盈利，但是它非?？春闷溟L期發(fā)展。即便IMX500/501并不面向智能手機(jī)產(chǎn)品，這一步也能體現(xiàn)索尼在CIS業(yè)務(wù)開發(fā)的思路轉(zhuǎn)變：即開始從單純的圖像傳感，往圖像/視覺處理做擴(kuò)展。畢竟傳統(tǒng)CIS市場的增長速度正在放緩。U6vesmc

今年年中，Yole Developpement發(fā)布了一份題為《2019圖像信號處理器與視覺處理器市場與技術(shù)趨勢》的報告。該報告明確提到：“AI徹底改變了視覺系統(tǒng)中的硬件，對整個行業(yè)都造成了影響。”U6vesmc

“圖像分析增加了很多價值。圖像傳感器供應(yīng)商們開始對將軟件層集成到系統(tǒng)中感興趣。如今圖像傳感器必須跳出單純的捕獲圖像這一能力之外，再對圖像做分析。”U6vesmc

“但要跑這樣的軟件，就意味著高算力和存儲需求，也就有了視覺處理器的出現(xiàn)。ISP市場2018-2024年的年復(fù)合增長率穩(wěn)定在3%，即ISP的市場價值到2024年會達(dá)到42億美元。與此同時，視覺處理器市場也會迎來爆發(fā)增長，2018-2024年的年復(fù)合增長率為18%，到2024年，其市場價值會達(dá)到145億美元。”U6vesmc

U6vesmc

圖2，2018-2024年,圖像/視覺處理器的出貨量與市場規(guī)模預(yù)期，來源：Yole DeveloppementU6vesmc

這個值當(dāng)然仍未達(dá)到CIS年度總價值，上述兩個市場相加才大約超過今年的CIS市場規(guī)模（今年CIS行業(yè)產(chǎn)值預(yù)計為172億美元）。這還需要注意，CIS市場的增速正在放緩以及此處并未考慮視覺處理芯片配套的軟件市場。起碼索尼認(rèn)定，其長期的市場發(fā)展?jié)摿Υ笥贑IS市場本身。Yole Developpement的預(yù)測數(shù)據(jù)顯示，ISP在市場中所占比重將逐步降低，而更注重計算的視覺處理器顯然更為緊俏（圖2）。U6vesmc

“值得注意的是，很多傳統(tǒng)的行業(yè)參與者，在應(yīng)對AI趨勢時顯得比較局促。這也讓其他更多參與者加入到業(yè)務(wù)競爭中，比如蘋果、華為，Mobileye這樣的初創(chuàng)公司，甚至其他領(lǐng)域的企業(yè)，像是英偉達(dá)。”這是成像市場擴(kuò)展了縱深的表現(xiàn)。U6vesmc

AI究竟為手機(jī)拍照帶來了什么？

今年3月，法國知名影像實驗室DxOMark曾刊文提到，近10余年來，智能手機(jī)拍照的畫質(zhì)提升超過4EV，其中1.3EV來自圖像傳感器/光學(xué)技術(shù)的提升，還有3EV是來自圖像/視覺處理器（圖像數(shù)據(jù)后處理）帶來的提升。這已經(jīng)基本顛覆了大眾對于提升拍照畫質(zhì)，就是要提升CIS技術(shù)的基本認(rèn)知。U6vesmc

而圖像/視覺處理作為一個相當(dāng)古老并發(fā)展多年的議題，AWB（自動白平衡）、ANR（主動降噪）、3DNR（3D降噪）、BLC（黑電平校正）、HDR等原本都屬于ISP的常規(guī)項目。近兩年,在圖像后處理中AI拍照被提得最多的功能，包括人臉識別、拍攝對象識別、語義分割、智能美顏等。U6vesmc

這些的確是AI為成像帶來的價值，但AI參與手機(jī)拍照的畫質(zhì)提升，滲透到了上述常規(guī)項目中。谷歌在Computational Photography方面的很多的研究也涉及到了這些組成部分，比如針對低光照場景下的自動白平衡，傳統(tǒng)算法在白平衡修正上顯得無能為力。谷歌幾年前就應(yīng)用了機(jī)器學(xué)習(xí)：通過向模型輸入大量白平衡修正到位的照片，來訓(xùn)練自動白平衡的智能模型。U6vesmc

谷歌在Pixel手機(jī)成像的諸多環(huán)節(jié)和特性上應(yīng)用了機(jī)器學(xué)習(xí)。比如拍照取景時的實時HDR，再比如視頻拍攝的防抖。在數(shù)據(jù)后處理時，首先在第一階段進(jìn)行動作分析、獲取陀螺儀信號、結(jié)合光學(xué)防抖動作；其次在motion filtering環(huán)節(jié)結(jié)合機(jī)器學(xué)習(xí)與信號處理，來預(yù)測相機(jī)本身的運動軌跡；最后再最終的幀合成環(huán)節(jié)，對快門與微動造成的畫面失真做補償。U6vesmc

U6vesmc

圖3，來源：Google AI BlogU6vesmc

更為典型的例子是模擬背景虛化效果。傳統(tǒng)方案模擬背景虛化主要是靠立體視覺，而谷歌提出的方案，不僅依靠兩種立體視覺方案（Pixel 4手機(jī)的雙攝與雙像素技術(shù)），而且為加強虛化可靠性，對畫面拍攝對象做語義分割：谷歌打造了一臺五顆攝像頭的設(shè)備，拍攝大量場景，收集足夠的訓(xùn)練數(shù)據(jù)。利用Tensorflow訓(xùn)練一個卷積神經(jīng)網(wǎng)絡(luò)：首先分別單獨處理雙像素與雙攝的輸入數(shù)據(jù)，中間有編碼器將輸入信息編碼為IR（中間層），隨后兩部分信息經(jīng)過另一個編碼器，完成最終的對象深度計算（圖3）。這里的編碼器本身就是一種神經(jīng)網(wǎng)絡(luò)。U6vesmc

今年4月，聯(lián)發(fā)科的研究人員發(fā)表了一篇題為Learning Camera-Aware Noise Models的論文，提出對圖像傳感器噪聲進(jìn)行建模的方法，通過“一種數(shù)據(jù)驅(qū)動的方法，從真實環(huán)境噪聲中去學(xué)習(xí)噪聲模型。這種噪聲模型與相機(jī)相關(guān)，不同的傳感器有不同的噪聲特點，它們都能被學(xué)習(xí)。”U6vesmc

這些例子都表明，越來越多不同層級的市場參與者都在投入圖像的后處理。所以采用老型號CIS的谷歌Pixel手機(jī)，在很多成像項目對決中，與其他采用上億像素CIS的手機(jī)相比，依然保持優(yōu)勢。外置一顆AI視覺芯片的方案，顯然讓谷歌更有發(fā)揮空間。U6vesmc

如今的手機(jī)已經(jīng)開始廣泛應(yīng)用AI來做成像質(zhì)量的加強，而且包括了取景、抑噪、自動白平衡這些傳統(tǒng)環(huán)節(jié)的參與。就用戶層面來看，AI芯片參與計算并不會有很強的感知。U6vesmc

當(dāng)這些技術(shù)在成像領(lǐng)域變得越來越普遍時，過去的移動成像唯CIS中心論愈發(fā)失效。如今的終端廠商在火拼手機(jī)拍照時，比拼的重點已經(jīng)向圖像/視覺處理與計算偏移。畢竟傳統(tǒng)光學(xué)技術(shù)發(fā)展的速度無法與與數(shù)字芯片相比。U6vesmc

現(xiàn)在很多人拿手機(jī)拍照去與全畫幅相機(jī)比較，即便這樣的對比沒有任何實際意義，但它也能體現(xiàn)手機(jī)的圖像/視覺處理計算能力，很大程度彌補了移動CIS的短板。實際上，這也是兩種方案、兩個時代的比拼。U6vesmc

本文為《國際電子商情》2020年12月刊雜志文章，版權(quán)所有，禁止轉(zhuǎn)載。免費雜志訂閱申請點擊 這里U6vesmc