對半導(dǎo)體供貨商來說，Google新發(fā)表的虛擬現(xiàn)實(shí)(VR)平臺Daydream，是與它的名稱(白日夢)正好相反、具備實(shí)際商機(jī)潛力的產(chǎn)物；高通(Qualcomm)虛擬處理技術(shù)部門主管Tim Leland，就是眾多與Google合作了好一段時間的廠商代表之一，協(xié)助催生了可支持移動虛擬現(xiàn)實(shí)功能的新一代升級版Android手機(jī)，如三星(Samsung)以GearVR產(chǎn)品所展現(xiàn)的實(shí)例。PdCesmc

Leland的團(tuán)隊(duì)協(xié)助開發(fā)了一個針對單緩沖渲染(single-buffer rendering)優(yōu)化的Android架構(gòu)，該整合于高通最新Snapdragon 820單芯片(SoC)的繪圖處理核心經(jīng)過調(diào)整，可提供精細(xì)紋理的搶占技術(shù)(fine grained pre-emption)，以降低移動延遲(motion-to-photon latency)；移動延遲是確保VR頭戴顯示器畫面變換速度與用戶頭部移動速度一樣快的關(guān)鍵指針。PdCesmc

Leland表示，藉由深入SoC設(shè)計(jì)讓Android平臺的應(yīng)用達(dá)到20毫秒(millisecond)的延遲目標(biāo)是個大工程，Snapdragon芯片需要改變與各個傳感器之間的交握(handshake)方式才能降低延遲；而傳感器本身則需要支持更快速的、從100MHz到1GHz等級的采樣。PdCesmc

為此高通開發(fā)了一種稱為“視覺慣性測程(visual inertial odometry)”的算法，以追蹤六個自由度的頭部運(yùn)動；該算法會在Snapdragon內(nèi)建的Hexagon數(shù)字信號處理器(DSP)中執(zhí)行，將來自頭戴設(shè)備的加速度計(jì)、陀螺儀、磁力計(jì)、攝影機(jī)的數(shù)據(jù)相互關(guān)聯(lián)。PdCesmc

開發(fā)工程師能透過高通即將上市的軟件開發(fā)工具包(SDK)取得上述技術(shù)，而Google也打算在Android N操作系統(tǒng)加入能處理傳感器融合(sensor fusion)任務(wù)的功能，應(yīng)該是為了那些采用未具備傳感器融合功能之SoC的廠商。PdCesmc

高通在一篇技術(shù)白皮書中聲稱，Snapdragon 820的移動延遲低于18毫秒；該白皮書寫道：“以實(shí)際的角度來看這個挑戰(zhàn)，60Hz顯示器每17毫秒會更新一次畫面，而90Hz顯示器則是每11毫秒更新一次?！?span style="display:none">PdCesmc

結(jié)合頭戴式設(shè)備使用的手機(jī)通常會需要采用AMOLED顯示器，因?yàn)槟鼙葌鹘y(tǒng)液晶顯示器支持更快的切換時間，否則容易出現(xiàn)所謂的‘鬼影’；而繪圖處理核心則會采用一系列的渲染影像技巧，提供用戶運(yùn)動時的流暢感、同時最小化耗電量。PdCesmc

舉例來說，該類組件會盡可能時常重復(fù)使用宏區(qū)塊(macro-blocks；或譯“宏區(qū)塊”、“宏塊”)，以減少渲染影像的需要。一個簡單的技巧是先在顯示器的中央渲染影像，假設(shè)用戶的目光聚焦于此；而更先進(jìn)的解決方案是使用智能手機(jī)攝影機(jī)來追蹤使用者的眼球運(yùn)動，來判定哪個角度的影像該優(yōu)先渲染。PdCesmc

繪圖數(shù)據(jù)的壓縮已經(jīng)成為在提升處理速率同時降低耗電的關(guān)鍵；另一個技巧是改變影像的色調(diào)，讓它看起來似乎更亮，因此不需要調(diào)高耗電量大的背光。這確實(shí)是個挑戰(zhàn)，因?yàn)槟壳暗氖謾C(jī)只是在車上開個導(dǎo)航功能就會開始發(fā)燙，而今年秋天上市的手機(jī)則是要能貼近使用者的臉。無論如何，VR功能期望能為成長趨緩的手機(jī)市場注入新動力。PdCesmc

對首批與未來VR手機(jī)產(chǎn)品的期望

大多數(shù)供貨商預(yù)期會推出類似三星 GearVR設(shè)備的Daydream平臺產(chǎn)品，也就是需要搭配智能手機(jī)使用的被動型VR頭戴式設(shè)備；不過Leland表示，該類產(chǎn)品是Daydream平臺的典型頭戴式設(shè)備，也會有廠商推出特殊應(yīng)用移動VR頭戴式設(shè)備，甚至也有廠商在開發(fā)擴(kuò)增實(shí)境(AR)產(chǎn)品，但那會較晚問世。PdCesmc

特殊應(yīng)用移動VR頭戴式設(shè)備可能包括一系列高價位產(chǎn)品，配備更昂貴的顯示器、更大儲存容量以及先進(jìn)的空間音頻(spatial audio)；該類頭戴式顯示器預(yù)期價格范圍也會更廣。PdCesmc

Daydream平臺的最后一個部分硬件，就是內(nèi)建軌跡板的雙按鍵控制手把，類似第一代任天堂(Nintendo)游戲機(jī)Wii的手把；其中一個應(yīng)用程序按鍵是為開發(fā)廠商留的，另一個回到主頁(Home)按鍵則是保留給Android。根據(jù)曾經(jīng)開發(fā)電玩、對游戲互動十分熟習(xí)的Google VR部門主管Clay Bavor表示，該控制手把的精確度媲美雷射筆。PdCesmc

將在今年秋天陸續(xù)問世的Daydream平臺產(chǎn)品只是個開始，Leland 表示：“產(chǎn)業(yè)界將持續(xù)努力降低移動延遲──這也會是接下來幾年大家會常聽到的話題，因?yàn)殡m然20毫秒的延遲性已經(jīng)很好了，15毫秒、甚至低于10毫秒當(dāng)然更好，這能讓VR畫面看起來更真實(shí)，不會讓使用者感覺好像是畫面很努力要趕上自己?！?span style="display:none">PdCesmc

Leland指出，這類需求將影響傳感器處理是如何完成，以及攝影機(jī)子系統(tǒng)如何開發(fā)、繪圖渲染如何與顯示器接口協(xié)作，擴(kuò)及所有的處理器。為此高通正在尋求新的SoC功能區(qū)塊，以說服原廠愿意多花點(diǎn)錢取得差異化；而現(xiàn)在Daydream則是已經(jīng)準(zhǔn)備好進(jìn)駐預(yù)計(jì)年底圣誕節(jié)/新年假期上市的產(chǎn)品。PdCesmc

至于Google本身則是積極為Daydream提供所需的內(nèi)容，其地圖應(yīng)用程序的街景服務(wù)(Street View)以及在線視頻平臺YouTube，都已經(jīng)準(zhǔn)備好提供360度照片以及視頻，YouTube也能支持空間音頻以及運(yùn)動強(qiáng)度評分(motion- intensity ratings)。PdCesmc

此外Google也與好萊塢(Hollywood)與各家媒體商接觸，除了與Imax等廠商開發(fā)配備16臺攝影機(jī)的360度影像拍攝設(shè)備，派拉蒙(Paramount)、發(fā)現(xiàn)頻道(Discovery)以及紐約時報(The New York Times)等都是其VR內(nèi)容合作伙伴。PdCesmc

Daydream平臺開發(fā)工具已經(jīng)開始提供，能讓使用C++語言的程序設(shè)計(jì)師取得底層應(yīng)用程序編程接口(API)與硬件；Google總部的Daydream實(shí)驗(yàn)室一直試圖一天快速開發(fā)兩個VR實(shí)驗(yàn)性應(yīng)用程序原型，將透過發(fā)表博客文章的方式分享其學(xué)習(xí)經(jīng)驗(yàn)。PdCesmc

Leland 結(jié)論指出，Android平臺上的VR體驗(yàn)，將會讓那些認(rèn)為VR頭戴式設(shè)備都需要跟一臺PC綁在一起的人驚艷。而使用者只要耐心等待幾個月，就可以看到是否蘋果(Apple)也會加入這個趨勢，讓iPhone 7也有自己的VR方案…或者該公司看到的是另一種“現(xiàn)實(shí)”。PdCesmc