裸眼3D?不,這可能是“自拍的未來”!


大數據文摘出品

作者:劉俊寰

11月23日,《牛津英文詞典》宣布選擇放棄“2020年度詞匯”的評選,將2020年形容為“無法用一個單詞妥帖概括的一年”。

每年,“年度詞匯”的評選,《牛津英文詞典》會根據英文新聞等超過110億個英文單詞組成的語料庫分析總結,希望能“反映本年度的風氣、民眾心情和關注焦點”,同時最終被選擇的“年度詞匯”還需要“具有文化意義的持久潛力”,

比如,2013年的“年度詞匯”之一Selfie(自拍)


根據統計,較之于前一年,2013年社交網站上“selfie”一詞的使用率激增17000%

如今,7年過去了,不知道大家的自拍技術都有怎樣的突飛猛進呢?反正文摘菌可手握大家的老婆新垣結衣的自拍黑照呢。


不知道大家有沒有想過,7年了,無人駕駛都開始在各地測試了,iPhone都出到12了,為什么自拍的方式一直沒有變過呢?

這個問題也一直困擾著華盛頓大學部和谷歌的研究人員們,近日,他們終于推出了一種全新的自拍方式,保證讓你發在朋友圈的圖像更加生動和仿真。

先來看看他們定義的“自拍的未來”到底是個什么東西:



雖然看上去確實比單純的圖像本身要更擬人一些,三維模型也讓周圍的環境都顯露無疑,但是這晃來晃去的,文摘菌的眼睛都快給晃暈了。

nerfies鼓勵人們分享更多

看看自己的微信,相信很多人的朋友圈都是自拍,簡直就是“不自拍就會會死星人”,

2016年5月,The Outnet和輿情監測平臺Pulsar對Facebook、Instagram、Twitter上發布的與“愉悅感”“興奮感”相關的3300萬份帖子進行了分析,結果顯示,自拍更多了,但不再只是為了對外展示個人魅力,創造“美好的自我幻想”,而是通過自拍更好的認識自我,記錄生活與成長的真實體驗,比如進行減肥打卡、長跑記錄等。


既然大多數積極的詞匯都與“自拍”相關,那為什么我們不去分享更多呢?

抱著這樣的設計理念和構想,nerfies就誕生了,

我們知道,要創建3D場景,通常需要一些特殊的硬件,比如LIDAR掃描儀,該掃描儀主要使用激光測量物距,從而可以更好地創建3D模型,現在,iPhone 12 Pro和12 Pro Max上也內置了LIDAR傳感器。但要知道,這些特殊硬件并不便宜,也不是那么簡單就能使用的。

不過,nerfies可就不一樣了。如果你想要創建一個nerfies這樣的“自拍”,你只需要從多個不同角度,拿著行動電話在自己面前來回晃動一下,同時確保自己始終保持在畫面中,就這么簡單。

就像這樣:


根據官方介紹,nerfies是一種在給定時刻創建更全面的自拍的方法,觀看者不僅可以觀看2D圖像,還可以在3D模式下縮放和平移對象,全程也無需任何其他特殊設備,用到的只有配備了攝像頭的智能行動電話和一點點CPU處理能力,


論文鏈接:

https:http://nerfies.github.io/

如何解決又貴又麻煩的問題

要根據這種視訊數據創建3D模型,研究人員使用了一種稱為神經輻射場(Neuro Radiance Fields,簡稱NeRF)的方法,該方法可以從不同角度拍攝物體的多個圖像,使用這些二維數據來計算和生成三維模型,同時允許其他人從不同的角度進行操作和觀看,

不過,NeRF方法有一個問題,它要求拍攝對象在整個過程中保持完全靜止,這對于我們來說,難度還是有的,因此NeRF方法需要利用到大型相機陣列,讓其同時從多個角度捕捉一個人的圖像,但是這就回到了和LIDAR一樣的問題上了,攝像機陣列又貴又麻煩。


所以,在這個過程中,讓被拍攝對象自己搖動行動電話捕捉自己的影像,可能是一種更容易的方法。但為了從多個角度生成靜止圖像,整個過程可能需要持續幾秒鐘的時間,這意味著拍攝對象不斷運動。

為了解決這個問題,研究小組開發了一種稱為可變形神經輻射場(簡稱D-NeRF)的新方法,該方法能夠比較框架,以確定對象在它們之間移動了多少,然后自動計算必要的變形,這樣就可以調整提取出的不完美的二維圖像數據,將其仍用于創建準確的交互式3D模型,

D-NeRF通過優化附加的連續體積變形場來增強神經輻射場(NeRF),該場將每個觀察點扭曲為規范的5D NeRF,研究人員還觀察到,這些類似NeRF的形變場傾向于局部極小值,于是為基于坐標的模型提出了從粗到精的優化方法,該方法可實現更強大的優化。通過將原理從幾何處理和物理模擬應用于類似NeRF的模型,提出了變形場的彈性正則化,進一步提高了魯棒性,

研究人員通過使用裝備有兩部行動電話的設備收集數據進行評估,這兩部行動電話可以拍攝時間同步的照片,并在不同的視點上產生相同姿勢的訓練/驗證圖像,這也證明了這種方法的確忠實地重建了非剛性變形的場景,并以高保真度再現了看不見的景象。


不僅如此,nerfies還可以通過對兩個輸入幀的變形潛在代碼,進行插值來為場景設置動畫。


如果未來某天,nerfies真的流行起來,只要有人看到別人在Instagram上分享的美食照片,他們還能看看四周的餐廳環境如何。

或者,如果一個業余時尚達人分享了自己在試穿一件上衣時的nerfie,其他人還能調整相機的位置,看看這件衣服要怎么搭配褲子和鞋子,

也就是說,nerfies可能會為社交媒體提供全新的視角,但與此同時,由于許多人可能在偷偷穿著睡褲在家辦公,nerfies也會讓這些人暴露無遺吧,

相關報道:

https:http://gizmodo.com/nerfies-might-be-the-future-of-selfies-letting-your-fr-1845764332

https:http://medium.com/swlh/nerf-neural-radiance-fields-79531da37734

0 条回复 A文章作者 M管理員
    暫無討論,說說你的看法吧