當你的女朋友變身二次元,是什么樣子?
小聲說:沒有女朋友,
搞錯了,再來!
你下一個二次元老婆,可能是真人生成的!
即便是容嬤嬤本嬤,也能瞬間變溫婉~還有辣個清秀的爾康,也瞬間變身短發萌妹,
只需一張照片、甚至視訊就可以生成二次元老婆,
不管是蘿莉風、御姐風、甚至女王風,統統都可以!
對此有網友評論道:我的生活完整了,
如何實現?
這樣一個生成器,叫做GANs N’ Roses,以下就簡稱GNR。
嗯?跟Guns N’ Roses (槍炮玫瑰)有什么關系。
按照論文標題所言,要比以往的圖像轉換技術更穩健、更可控,以及更多樣,
GNR,由一個編碼器和解碼器組成。
編碼器將圖像分解為內容代碼c和風格代碼s,解碼器接收一個內容碼和一個樣式碼,產生相應的圖像。
運行時,把圖像傳給編碼器,保留產生的內容代碼,獲得一些其他相關的風格代碼,然后把這對代碼傳給解碼器。
那具體什么才是內容、以及風格?GNR的關鍵思路,是將內容定義為事物的位置,風格定義為為它們的樣子,
就像這樣,即使是同一種風格,也有不同的演繹,
對于一個特定的風格碼,包括眼睛、下巴、鼻子、頭發顏色等細節,都有很強的一致性。
但就像頭部傾斜度、臉部形狀、發型等細節,則是由內容碼控制的。
損失函數總共有三類:風格一致性損失、循環一致性損失、多樣性判別器和對抗損失,
與其他SOTA框架對比,GNR在多樣性、圖像質量等多個指標上都有明顯的改進。
直接放圖來比較,則更為明顯。
最后,研究人員發現,在沒有額外訓練的情況下,GNR對于視訊之間的轉換也同樣適合,
目前,GNR已經在GitHub開源,并上線了Demo試玩鏈接,
我試了試,似乎目前只有一種風格。
但依然擋不住網友直呼:So cool!
團隊成員
團隊成員均來自美國伊利諾伊大學部厄巴納-香檳分校。
一作華人Min Jin Chong,本科從美國伊利諾伊大學部畢業后,繼續留校讀博,此前曾在字節實習3個月,
另一位作者、他的導師David Forsyth是知名CV大牛,曾與Jean Ponce 合著的《Computer Vision:A Modern Approach》,堪稱計算機視覺經典教材。
好了,感興趣的旁友,可戳下方鏈接哦~
試玩鏈接:https://gradio.app/g/AK391/GANsNRoses