英特爾用英偉達顯卡,給GTA5打了個超強畫質補丁

子豪 蕭簫 發自 凹非寺
量子位 報道 | 公眾號 QbitAI

英特爾居然用英偉達顯卡,給GTA5做了個畫質增強補丁?


沒錯,畫面億點點接近真實世界的那種:


有點意思,


更有意思的是,據英特爾表示,這個補丁在Geforce RTX 3090 GPU上,完成一次畫質增強推理,只需要半秒鐘的時間,


效果也確實不錯,看起來就像是自家行車記錄儀拍的:


就連增強后的草地和瀝青路面(右側),看起來也更真實了:


簡直就像是在洛杉磯(GTA5取景地)實地飆車一樣,而且絲毫不擁堵!

網友表示,這簡直是個巨大的飛躍,而且研究不是出自英偉達或者AMD,竟然是來自英特爾!


不過,英特爾怎么想起來搞計算機圖形學方面的研究了?

畢竟,去年11月份,英特爾正式宣布推出他們的Iris Xe MAX獨立顯卡,研究已經在進行中了,

這波啊,這波英特爾在大氣層,(手動狗頭)

所以,這個畫質增強補丁,究竟給GTA5的畫面“施了什么魔法”?

通常來說,用GAN就能實現類似的逼真圖像,例如將一匹馬轉換成斑馬。


△用GAN生成的斑馬

然而,用GAN會產生一個問題,

如果只用圖片作為輸入,生成的圖像雖然逼真,卻不可避免地會出現偽影等現象(圖中閃爍、斑馬身上不時出現棕色淺影)。

通常來說,偽影產生的原因之一,是生成器在將低分辨率圖像轉換成高分辨率圖像時,需要進行反卷積,這容易出現不均勻重疊、產生某些抽象部分,并出現某些色塊漂移的情況,

為了解決這一問題,研究人員將圖片作為輸入的同時,還給它加上了更多的限定資訊——

這些資訊,是GTA5游戲引擎在渲染場景時,產生的一組中間緩沖區(G-Buffer),里面包含了幾何形狀、物體材質和光照等物理資訊


將這些物理資訊與圖像一起輸入模型,就能避免網路在改變圖像風格時,連著物理資訊也一塊改變了。

這樣,既能增加圖像真實性、又能減緩偽影出現的情況,


輸入指標有了保障,就可以放心開始生成圖像了。

整體來看,這個模型分為兩部分:用圖像增強網路生成圖像,并以感知鑒別器和LPIPS指標,來判斷生成圖像的真實性、相似性。


首先,來看生成部分。

研究人員發現,要想讓GTA5中的圖像看起來更真實,有3點特征可以改變:

  • 增加汽車的光澤
  • 改善植被的整體外觀
  • 讓瀝青路面看起來更光滑

為此,圖像增強網路(架構基于HRNetV2)本身,采用了KITTI、Cityscapes和Mapillary Vistas三個數據集進行訓練,分別學習這些特征,


△圖像增強網路

其中,采用KITTI數據集訓練網路,以增強GTA5中的汽車光澤(傳說中的拋光):


再采用Cityscapes訓練,模擬出更接近真實世界的氣候情況(這里模擬了德國氣候):


最后,用Mapillary Vistas數據集進行訓練,以模擬出更光滑的瀝青路面:


這樣,相比于GTA5中的動畫場景,生成的圖像車子會反光、植被更豐富、路面也更平坦了,看起來更接近真實世界。

然后,就是鑒別部分了。

這部分包括感知鑒別器、和一個名為LPIPS(Learned Perceptual Image Patch Similarity)的指標,分別評估生成圖像的真實性、以及與輸入圖像之間的相似性

鑒別器包含分割網路和VGG-16兩部分,用來對生成圖像和現實場景中的圖像進行對比,并給生成圖像進行打分,越真實分數越高。


至于LPIPS,則是一個指標,用來評估生成圖像與最初輸入的圖像之間的“感知相似度”,

論文將Intel的模型,與ColorTransfer、SPADE、WCT2、CUT、TSIT等模型進行了對比。

從視訊中來看,Intel的模型生成的結果,基本都能保持與GTA5原始圖像一致的結構,

但其他模型卻暴露了一些不足,其中效果最糟糕的是SPADE,根本無法生成相應的場景布局。

再比如,ColorTransfer無法修改紋理,因此欠缺了一些真實感:


WCT2在很大程度上,要受到參考圖像質量的限制,生成效果不穩定:


TSITMUNIT中,模型生成了額外的樹木,甚至還有無法去除的偽影:


比起使用感知損失的其他方法,Cycada使用了更明確的語義資訊,效果更好。

但是類似地,在CUTCycada中,也出現了車標偽影的情況,CUT中的一些整體場景不堪忍睹:


這些樹木、車標等偽影,在一定程度上是由于統一采樣和較大的圖塊導致的。

而Intel研究團隊以較小的圖塊進行采樣,減少了源數據集和目標數據集之間的不匹配。

感知效果上來看,這些模型生成的圖像,都比GTA要更“真實”。


從各項指標來看,Intel的模型綜合表現也是最優的(數值越低,效果越好),


不過,新模型也有不太完美的地方,進行增強后的路人效果還是一般,看起來不太真實。


當然,這也和采用的訓練數據集有關,Intel模型所用的數據集,并不過多地涉及行人,主要還是用于增強天空、瀝青路、汽車光澤等真實感。

對于這次模型展現的效果,網友們的評價也是褒貶不一。

有網友迫不及待地想要用上了:搞起!


還有網友表示,這將是未來GTA-5這類游戲的發展方向——更接近真實世界


而且,這項技術相比于路徑追蹤,不知道要便宜多少,

最重要的是,技術所用的神經網路,還修復了物體上那些不真實的紋理


當然,也有網友調侃:

視訊是用便宜的行車記錄儀來拍的?(這個視訊只有720p)


嗯,所以這就是《黑客帝國》色調呈綠色的原因。


還有一些網友不太喜歡這種類型的“寫實風”:

這,這只是把加州變成‘德國風’吧?


這不是又回到GTA 4了?



△GTA 4宣傳片段

這些網友認為,GTA 5不該追求寫實主義,更需要的是具有美感和娛樂性,

游戲開發者并不是沒有能力,顯然,他們是刻意選擇了風格化和超現實主義,因為它看上去比真實的東西更具吸引力,

對此,有網友解釋說,研究人員和游戲開發者的出發點不同

這是一個巨大的飛躍!

紋理和光照是CGI中兩個非常棘手的問題,使用光線追蹤呈現逼真的光澤,需要計算大量表面之間的光線反射。


應用ML可以巧妙地跳過最困難的部分。這項技術可以用來制作游戲、電影或電視劇。

你希望游戲用上這樣的圖像增強引擎嗎?


項目地址:
https:http://intel-isl.github.io/PhotorealismEnhancement/

論文地址:
http:http://vladlen.info/papers/EPE.pdf

參考鏈接:
[1]https:http://www.youtube.com/watch?v=P1IcaBn3ej0
[2]https:http://news.ycombinator.com/item?id=27126092

2 条回复 A文章作者 M管理員
  1. 老黃:我好不容易給汽車打蠟……

  2. 英偉達專注于電腦顯卡及芯片,特別棒