用iPhone給林徽因拍照:老照片竟然“活了”

如何用iPhone給林肯拍大頭照?除了肉身穿越回19世紀以外,你還可以試試這款“穿越相機”,

照相技術發明100多年以來,有無數歷史名人留下了黑白照片。然而因為時代不同、技術不同以及歲月的侵蝕,這些歷史照片逐漸失真,

能不能用現代相機的風格把他們都恢復原貌呢?

現在,來自華盛頓大學部、UC伯克利、谷歌的最新論文Time-Travel Rephotography,將這些照片里的歷史人物真實地展現在屏幕上。

比如,居里夫人、愛迪生、林徽因……

放大瑕疵的老照片如何恢復

從黑白照片乃至畫像恢復人臉并不是什么新鮮事,比如最近恢復兵馬俑、古代帝王的視訊在社交網路大熱,

但是從古老照片恢復人臉要復雜得多。

我們先看一張著名作家卡夫卡的還原照,Zhang等人恢復的照片粗看起來皮膚上有很多瑕疵,而“穿越相機”恢復的照片似乎自帶“磨皮”。

那么是前一張恢復照片更加真實嗎?

事實并非如此,卡夫卡臉上的瑕疵是當年底片技術導致的,如果只是簡單給黑白照片填色,那么就不能充分表征舊膠片的特性和老化過程,

最早誕生玻璃感光底片只對藍光紫外光敏感,1873年推出的新感光乳膠也只對綠光和藍光敏感。

由于他們都缺乏對紅光的敏感性,造成了人物臉上的雀斑和皺紋被放大,嘴唇變黑。

所以我們今天來看林肯的原始照片,會發現林肯臉上呈現出很多夸張的皺紋:

1907年,對紅藍綠都敏感的全色底片誕生。所以1913年采用新技術拍攝的潘克斯特(時年55歲),臉部皮膚要干凈和平整得多:

因此,恢復這些歷史照片不僅要考慮照片的模糊、褪色、噪點、低分辨率等問題,還要考慮不同老照片對顏色的感光差異,

而這款“穿越相機”相比之前的方法,在人物的還原上避免了當時技術造成的失真,

從StyleGAN2出發

對于1873年之前的照片,作者使用了藍光敏感模型,對于1873年至1907年的照片,手動在藍光敏感和正色底片之間選擇,然后在1907年以后拍攝的照片,則在所有模型中手動選擇。

作者利用StyleGAN2框架將舊照片映射到現代高分辨率照片的空間中,從而在統一的框架中實現所有這些效果,

作者使用其他彩色樣本圖像作為參考,它們與黑白圖像具有相似的面部特征,但包含高頻細節以及自然色和照明。為了進一步減小輸入圖像和現代人像之間的感知身份差距,他們還設計了特別適合于老照片的重建損失。

模型的結構如下:

1、同級編碼器

以低分辨率灰度參考圖像I作為輸入,生成具有真實顏色和相似面部特征的同級圖像Is。

2、同級顏色和細節轉換

為了進一步限制顏色和皮膚細節,使其與同級圖像匹配,模型引入了顏色轉換損失Lcolor強制StyleGAN2的ToRGB層輸出與同級圖像的相似性,

3、老照片的重建損失

為了進一步減小輸入圖像和現代人像之間的感知身份差距,作者特別設計了適合于老照片的重建損失Lrecon,它對老照片的缺陷具有魯棒性。

4、潛在編碼優化

將之前的所有損失函數疊加起來,以此進行優化,生成最終圖像?,

據作者介紹,生成這樣一張1024 x 1024的照片,需要在英偉達Titan X上運行10分鐘,

與其他幾種恢復老照片的方法相比,“穿越相機”的效果顯然有著更真實的觀感。

不過,“穿越相機”現在還存在著一些缺點,

首先是對在恢復人物發行與配飾方面存在著錯誤,或者會丟失細節,

另外,生成照片也非常依賴于統計圖像的選擇,如果選擇了和原照片不一樣的種族或性別,會造成黑人變白人、女人變男人。

0 条回复 A文章作者 M管理員
    暫無討論,說說你的看法吧