Mod一般是某個(gè)游戲的玩家、粉絲自發(fā)為該游戲做的擴(kuò)展：其形式可以是多樣化的，mod可以是原游戲功能上的擴(kuò)展，也可以是新增劇情、地圖，或者游戲畫質(zhì)場景強(qiáng)化等等；最強(qiáng)大的甚至可以到某款游戲重制版的程度。據(jù)說每年全球游戲mod下載量能達(dá)到70億次，而參與mod制作的群體有大約1000萬人。zUQesmc

這次英偉達(dá)算是親自上場做了個(gè)mod，具體是給游戲《Portal（傳送門）》做的——這款游戲本身也是歷史頗為“悠久”了，應(yīng)該是《半條命》家族中的。英偉達(dá)的Lightspeed Studios工作室給這款游戲mod，或者說應(yīng)該算是重制過后的版本就叫《Portal RTX》——一看就至少加入了光線追蹤。預(yù)計(jì)Portal RTX會在11月份發(fā)布，作為一個(gè)免費(fèi)的DLC。zUQesmc

zUQesmc

zUQesmc

《上古卷軸：晨風(fēng)》原畫面與Remix重制后的畫面對比zUQesmc

另外英偉達(dá)也特別演示了給《上古卷軸3：晨風(fēng)（The Elder Scrolls III: Morrowind）》做的一些mod場景。這是一款2002年的游戲了，當(dāng)年英偉達(dá)才剛剛收購3dfx核心資產(chǎn)，連CUDA都還沒出世。GTC上演示的《晨風(fēng)》mod畫面真的是堪稱驚艷，尤其在畫面增加了高清紋理、光追特效以后，很懷疑當(dāng)年的玩家是怎么忍受原畫質(zhì)的，即便《晨風(fēng)》在當(dāng)時(shí)已經(jīng)算得上驚艷了。zUQesmc

不過英偉達(dá)發(fā)言人也強(qiáng)調(diào)了《晨風(fēng)》的演示只是為了表現(xiàn)RTX Remix工具，而不是真的打算做個(gè)《晨風(fēng)》mod出來。英偉達(dá)RTX Remix & Mods產(chǎn)品經(jīng)理Nyle Usmani在接受采訪時(shí)說：“很高興大家能喜歡我們演示的加上了RTX的《晨風(fēng)》。”“但它僅用于演示。”“Lightspeed Studio工作室的工作其實(shí)也并不在于做老游戲的重制。”zUQesmc

而這次英偉達(dá)用來做mod的這個(gè)RTX Remix其實(shí)還真的挺有趣。GTC Fall期間，我們特別聽英偉達(dá)談了RTX Remix。這個(gè)工具本身是免費(fèi)的，但它在擴(kuò)張英偉達(dá)各類圖形技術(shù)開發(fā)生態(tài)的過程中，或許會起到與眾不同的作用。zUQesmc

有關(guān)做個(gè)mod有多難的問題

我們不做游戲開發(fā)，大部分玩家其實(shí)也不清楚mod具體是怎么完成的，但都會尊稱那些制作mod的人為大佬。英偉達(dá)作為一個(gè)GPU制造商、圖形技術(shù)方案提供商，談mod之重當(dāng)然主要是在原游戲的畫質(zhì)提升上，這其中的門道其實(shí)很多樣，而且難度對一個(gè)人或者很少人組成的mod團(tuán)隊(duì)而言是巨大的。zUQesmc

zUQesmc

英偉達(dá)總結(jié)了制作此類mod的四大難點(diǎn)，如上圖所示。首先是處理游戲文件——要將游戲中的資源（assets）導(dǎo)出、重新設(shè)計(jì)、然后再放回到游戲中本身就相當(dāng)不容易。一般mod制作者需要接觸各種各樣的工具——這就是第二大問題，而且是長長一串工具鏈，以及不同的游戲就得再去接觸新的工具鏈。那么對于很多小眾或者獨(dú)立游戲來說，做mod也就會成為一種奢望。zUQesmc

第三個(gè)問題是做畫質(zhì)增強(qiáng)的mod，則有海量工作需要去做處理，包括各種老游戲的低分辨率、很簡單的紋理之類。對于現(xiàn)在的游戲玩家而言，一般的效果還滿足不了他們，用現(xiàn)有工具來處理這些問題，工作量就會十分巨大。還有就是老舊的renderer的問題，比如像《晨風(fēng)》這款游戲x86 32位處理，對于高質(zhì)量紋理或者增加光追之類的就造成了巨大的障礙。zUQesmc

據(jù)說要給這樣的老游戲做個(gè)光追mod，得花上好幾個(gè)月的時(shí)間。Nyle說跟一個(gè)搞了7年mod的創(chuàng)作者聊過，對方說嘗試花2年時(shí)間來打造一個(gè)工具，專門針對某一款游戲來打造制作mod的工具。我們也是驚嘆那些花業(yè)余時(shí)間搞mod的“大佬”僅憑著興趣來做這件投入頗為巨大的任務(wù)。zUQesmc

zUQesmc

20年前的游戲能有這種畫質(zhì)？？？zUQesmc

Nyle說，這些問題的存在是英偉達(dá)去做RTX Remix的背景。不過我們認(rèn)為，從一家商業(yè)企業(yè)的角度來思考，從高抽象層級來看，如果拋開RTX Remix將來用于其他應(yīng)用的可能性，則RTX Remix本身也是擴(kuò)張英偉達(dá)圖形技術(shù)生態(tài)的巧妙方法。zUQesmc

從最淺表的角度來看，光線追蹤、DLSS、Reflex等正處于生態(tài)擴(kuò)張期，而加速游戲社區(qū)應(yīng)用這類技術(shù)的方案，則從RTX Remix這樣的角度入手顯然是很好的；再往深一層看，RTX Remix建基于Omniverse，所以Remix實(shí)際上就是元宇宙里面的一個(gè)應(yīng)用，Remix自然就是元宇宙生態(tài)中的一部分；與此同時(shí)，以英偉達(dá)對待自家app的利用方式，RTX Remix未來在mod制作之外應(yīng)當(dāng)還會大有用武之地。zUQesmc

工作流程大致上是這樣的

英偉達(dá)說RTX Remix是給老游戲加入RTX屬性、進(jìn)行重制最簡單的方法：開啟游戲，導(dǎo)入原游戲資源（assets），然后用AI紋理工具來重建場景，加入光線追蹤、DLSS 3，甚至能夠用整個(gè)Omniverse生態(tài)來手動設(shè)計(jì)內(nèi)容；最后導(dǎo)出RTX mod，放在游戲文件夾里面。zUQesmc

這個(gè)過程大致上是這樣的。RTX Remix首先會監(jiān)聽Draw Call，如此一來RTX Remix就能“看到”并捕捉游戲資料。對于mod制作者而言，這一步也就是啟動游戲，然后點(diǎn)個(gè)熱鍵，就能開始捕獲紋理、幾何、光照、場景視角所在位置等信息。zUQesmc

zUQesmc

在捕獲完成之后，這些游戲資源會被編碼轉(zhuǎn)為USD文件格式——如果你對Omniverse熟，應(yīng)該就知道USD是什么——最早這是動畫工作室Pixar做出來用于制作動畫電影的數(shù)據(jù)交換格式，算是對大型3D場景的一種表達(dá)。英偉達(dá)在構(gòu)建Omniverse之初，就想到用USD作為內(nèi)部不同工具互通的標(biāo)準(zhǔn)格式。英偉達(dá)此前將USD稱作3D世界的HTML。zUQesmc

這也是RTX Remix可應(yīng)用Omniverse生態(tài)工具的基礎(chǔ)，理論上當(dāng)前接入Omniverse的各種connector應(yīng)用都可以用來做mod制作，也算是體現(xiàn)Omniverse生態(tài)優(yōu)勢的組成部分了。Mod做好以后，導(dǎo)出RTX mod包，放到游戲執(zhí)行文件旁邊就行了。zUQesmc

這個(gè)過程實(shí)際上就解決了前文提到的4個(gè)問題，我們來一個(gè)個(gè)捋一下：第1，這個(gè)流程已經(jīng)解決了游戲資源導(dǎo)出的問題；第2則是大量工具鏈的使用——Omniverse的生態(tài)解決了該問題——在Omniverse中有端到端且相互關(guān)聯(lián)的工具鏈——而且我們之前的文章里詳細(xì)介紹過，Omniverse的一大功能就是設(shè)計(jì)協(xié)作，那么mod制作也就可以分工協(xié)作了，這種3D設(shè)計(jì)的協(xié)作就跟在線文檔協(xié)作一樣，是實(shí)時(shí)同步和可視化的。zUQesmc

前面提到的第3個(gè)問題是游戲資源增強(qiáng)的工作量巨大。RTX Remix在這個(gè)問題上的解決方案，是讓我們感覺最為神奇的。這里面用到了一種AI紋理工具。其功能一方面是能夠?qū)⒌头直媛实馁Y源upscale為4倍的高分辨率——甚至1080p的東西可以直接升格為4K。zUQesmc

zUQesmc

AI紋理工具的這個(gè)upscale分辨率特性聽起來也沒有什么。不過真正牛掰的地方，是用AI來對老游戲中的紋理做推理（inference），神奇般地轉(zhuǎn)為材質(zhì)精美的紋理——這叫re-texturing。Nyle解釋說，AI紋理工具在看到畫面以后，能夠去“理解畫面原本想要呈現(xiàn)的材料”，比如說看到一扇木頭門，那么就能以高質(zhì)量、高分辨率的木質(zhì)紋理來替代；zUQesmc

所以我們能看到成品mod大量增加了場景細(xì)節(jié)。然后賦予其可做光線追蹤交互的特性。這種材質(zhì)差異，在光追過程里也會表現(xiàn)出顯著變化，比如金屬門會有明顯的反光，木頭門的反光方式會不同。這個(gè)過程就硬件層面肯定是要用到GPU的tensor core的。zUQesmc

RTX Remix的過程也很好地解釋了Nvidia AI與Nvidia Omniverse兩個(gè)方向的應(yīng)用交叉。基于AI來YY出新的紋理與材質(zhì)，就是《晨風(fēng)》示例里看到畫面煥然一新的關(guān)鍵。如果你對AI技術(shù)有概念，應(yīng)該也能想到，英偉達(dá)自己首先需要對游戲紋理的大量圖片做神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，網(wǎng)絡(luò)完成以后才能真正應(yīng)用于紋理、物理屬性之類的AI推理。這應(yīng)該也是RTX Remix技術(shù)的一大關(guān)鍵。zUQesmc

zUQesmc

最后一個(gè)問題，老舊的renderer，從技術(shù)上涉及到如何繞過老舊渲染器，可應(yīng)用光追、處理大型紋理之類的特性。以《晨風(fēng)》為例，這個(gè)游戲用DirectX API，基于D3D9 runtime來發(fā)出渲染指令到GPU。英偉達(dá)就自己做了一個(gè)RTX Remix runtime——算是D3D9 runtime的定制版本，然后它可以監(jiān)聽draw call，并且從中做處理。zUQesmc

在截取到渲染指令之后，就做對應(yīng)的轉(zhuǎn)換，最終目標(biāo)就是要令其適用于光線追蹤環(huán)境。場景管理器（scene manager）會拿到所有的數(shù)據(jù)，包括光照、紋理、視角、幾何，以及在Remix中創(chuàng)建的新資源等；將這些信息隨同動作矢量（motion vector）編譯，構(gòu)建可以進(jìn)行光線追蹤的場景。然后就可以給RTX renderer去搞光追、DLSS 3之類的處理工作了。zUQesmc

英偉達(dá)說給《晨風(fēng)》做的這個(gè)演示，在光追效果上其實(shí)比之前做的很多光追游戲都要好，因?yàn)槠渲羞€融入了包括RTXDI（RTX Direct Illumination）、GI（Global Illumination）以及SER（Shader Execution Reordering）、OMM（Opacity Micro-Maps）之類的技術(shù)，其中不少應(yīng)該是最新發(fā)布的Ada Lovelace架構(gòu)GPU新增的特性。zUQesmc

zUQesmc

另外，對于玩家來說RTX Remix還有個(gè)特性——據(jù)說玩家下載某個(gè)RTX mod，就能以實(shí)時(shí)的方式調(diào)整參數(shù)來定制化自己想要的游戲體驗(yàn)，連游戲中某物的材質(zhì)屬性都可以自定義。上面這張圖就是英偉達(dá)演示的實(shí)時(shí)調(diào)整過后，同場景的外觀變化?？吹臅r(shí)候簡直就驚呆了。zUQesmc

這東西未來的可能性

英偉達(dá)推薦要用RTX Remix做mod的話，最好是用Ada Lovelace架構(gòu)的GPU。感覺從內(nèi)容創(chuàng)作者的角度，尤其做出《晨風(fēng)》RTX那種巨豪華的效果，或許用這次英偉達(dá)在GTC上新發(fā)布的RTX 6000工作站GPU會比GeForce效果好。Nvidia Studio驅(qū)動和大顯存都是優(yōu)勢項(xiàng)嘛。RTX 6000貌似是Ada Lovelace架構(gòu)的首款工作站GPU了。zUQesmc

當(dāng)前英偉達(dá)給RTX Remix劃定的適用范圍，就是針對DirectX 8/9游戲做mod。其實(shí)也不光是給原場景增加細(xì)節(jié)，既然是做mod嘛，給場景再加個(gè)光源、改變場景的各部分構(gòu)成、色彩，也可以加自定義的資源——剛才提到Omniverse里面的connector應(yīng)用都能用，什么AutoDesk、Maya、Adobe工具之類的。zUQesmc

zUQesmc

Portal游戲截圖zUQesmc

《Portal RTX》應(yīng)該算是英偉達(dá)做給廣大mod制作者看的一個(gè)樣品展示，據(jù)說幾乎是對游戲中的所有紋理做了重制，包括符合物理法則的各種細(xì)節(jié)。而且還在技術(shù)上加入了一些東西，比如游戲中某個(gè)紋理覆蓋于另一紋理的所謂“decal”——墻上的彈孔、潑濺的涂料、血跡都在這個(gè)范疇內(nèi)。而光線追蹤過程暫時(shí)是無法基于材料物理屬性來處理這些decal的。在光線抵達(dá)這樣的表面后，英偉達(dá)在技術(shù)上嘗試對表面和decal做blend，做出更為真實(shí)的光線反射。zUQesmc

還有《Portal》這個(gè)游戲本身在玩法上是在不同的地方開傳送門，那么傳送門對面的光照就要傳到這邊來。似乎這個(gè)工作還挺不容易的。zUQesmc

好像英偉達(dá)這次還是挺認(rèn)真地要做mod，所以和Nexus Mods這種mod社區(qū)都還有合作。不過看RTX Remix的演示，是否感覺它能做的事情并不止于搞些mod。比如說要是直接給游戲開發(fā)者來用，是不是也能更便利地做一些老游戲的重制——雖然不清楚這套流程，是否有可能增加游戲的操作延遲；還有將其融合到游戲引擎、開發(fā)軟件之類中（不過作為Omniverse的一部分，似乎做更深度的整合會很容易）。zUQesmc

不過據(jù)說僅對DirectX 8/9做支持，而不支持其他版本，是因?yàn)榛贒X8/9固定管線（Fixed-Function Pipeline）的游戲不少，而像DirectX 10和更新版本就暫時(shí)存在技術(shù)上的實(shí)現(xiàn)障礙了（因?yàn)榍拔奶岬絉TX Remix做mod有監(jiān)聽流程）；技術(shù)負(fù)責(zé)人Alex Dunn表示未來或許有可能向更高或更低版本的API進(jìn)發(fā)。據(jù)說Vulkan對于RTX Remix很理想，是因?yàn)镈XVK這項(xiàng)開源技術(shù)。zUQesmc

其實(shí)基于Omniverse生態(tài)，以及USD格式這類標(biāo)準(zhǔn)，RTX Remix大概還能有更多我們想象不到的應(yīng)用。比如應(yīng)用到VR上...總之這是個(gè)相當(dāng)有趣且不錯(cuò)的起點(diǎn)。且如前文所述，這絕對是英偉達(dá)持續(xù)擴(kuò)建生態(tài)的妙筆。zUQesmc