實時把臉變成名畫!行動電話攝像頭新玩法火了

這款叫做“FaceBlit”的最新的風格遷移技術,能夠實時把鏡頭前你的臉變成指定畫像的風格,還能匹配你的表情動作,

性別不同也沒問題。

甚至可以用雕像和草稿,

這一切都能在行動電話上實時進行,不需要拍好視訊再等待處理。這意味著,本項技術可以應用于直播和視訊通話,而不僅是上傳拍好的視訊作品,

它還可以反過來用,通過鏡頭捕捉你的表情動作,讓畫像同步動起來。

來看看這么驚艷的效果是如何做到的吧。

位置匹配+外觀匹配

首先是位置匹配,通過下巴的輪廓確定整個面部的形狀,檢測出五官等重要面部特征并編碼。

再把畫像與人臉的面部特征進行匹配,確保遷移的結果在語義上能夠一一對應。既鼻子對鼻子,眼對眼。

然后是外觀匹配,先把畫像與人臉都去掉顏色進行灰度化,再進行高斯模糊處理。

用原始圖像減去模糊后的圖像得到其差值圖像,以差值圖像為依據進行直方圖匹配(Histogram Match)。

從對比圖中可以看到,位置匹配和外觀匹配共同作用才能得到理想的結果。

為什么這么快?

風格遷移其實已經有很多方案,但使FaceBlit脫穎而出的最大的特點就在于速度快,無需大規模數據集和長時間訓練。

在19年的前期成果中已經能做到在十幾秒內訓練出穩定的效果。

FaceBlit將Fi?er等人在2017年提出方法中的4個匹配簡化成兩個,即上面提到的位置匹配和外觀匹配,并改進底層生成算法,將準備時間縮短到幾十毫秒,

檢測面部特征時使用下采樣(subsample),在對檢測精度影響很小的情況下降低圖片的分辨率,

通過預計算3D像素查找表,以占用更多內存為代價節省時間,并將搜索范圍限制在目標位置的20個像素以內。

最終在性能測試中,FaceBlit通過稍微提高預計算時間,大大減少了合成時間,這意味著,完成對參考畫像的預計算后,就可以實時合成出所需的圖像,

還是在只使用了CPU的情況下。

在使用三星Note 8行動電話的測試中,FaceBlit在50萬像素分辨率下以每秒15幀運行,

進一步研究方向

研究團隊表示,雖然FaceBlit效果已經很驚艷,但還不夠完美,并提出了3個未來的研究方向,

解決由于在計算過程中省略了對時間一致性的匹配,導致生成結果中會出現閃爍的問題,

解決外觀匹配方法容易在風格遷移中忽略一些大尺度的特征的問題。

通過交叉分析相似風格的同一套畫像,來使結果能適應不同觀察角度、照明條件等復雜情況,

作者團隊

這項研究一作為來自捷克理工大學部的Aneta Texler, Ond?ej Texler和Michal Ku?era。

另外還有來自相機社交應用公司Snap的華人研究員柴蒙磊參與其中,

柴蒙磊博士畢業于浙江大學部,主要從事計算機視覺和計算機圖形學的研究,主攻人類數字化、圖像處理、三維重建和基于物理的動畫,

最后,FaceBlit的相關代碼預計于4月份在GitHub上公布,

0 条回复 A文章作者 M管理員
    暫無討論,說說你的看法吧