這款叫做“FaceBlit”的最新的風格遷移技術,能夠實時把鏡頭前你的臉變成指定畫像的風格,還能匹配你的表情動作,
性別不同也沒問題。
甚至可以用雕像和草稿,
這一切都能在行動電話上實時進行,不需要拍好視訊再等待處理。這意味著,本項技術可以應用于直播和視訊通話,而不僅是上傳拍好的視訊作品,
它還可以反過來用,通過鏡頭捕捉你的表情動作,讓畫像同步動起來。
來看看這么驚艷的效果是如何做到的吧。
位置匹配+外觀匹配
首先是位置匹配,通過下巴的輪廓確定整個面部的形狀,檢測出五官等重要面部特征并編碼。
再把畫像與人臉的面部特征進行匹配,確保遷移的結果在語義上能夠一一對應。既鼻子對鼻子,眼對眼。
然后是外觀匹配,先把畫像與人臉都去掉顏色進行灰度化,再進行高斯模糊處理。
用原始圖像減去模糊后的圖像得到其差值圖像,以差值圖像為依據進行直方圖匹配(Histogram Match)。
從對比圖中可以看到,位置匹配和外觀匹配共同作用才能得到理想的結果。
為什么這么快?
風格遷移其實已經有很多方案,但使FaceBlit脫穎而出的最大的特點就在于速度快,無需大規模數據集和長時間訓練。
在19年的前期成果中已經能做到在十幾秒內訓練出穩定的效果。
FaceBlit將Fi?er等人在2017年提出方法中的4個匹配簡化成兩個,即上面提到的位置匹配和外觀匹配,并改進底層生成算法,將準備時間縮短到幾十毫秒,
檢測面部特征時使用下采樣(subsample),在對檢測精度影響很小的情況下降低圖片的分辨率,
通過預計算3D像素查找表,以占用更多內存為代價節省時間,并將搜索范圍限制在目標位置的20個像素以內。
最終在性能測試中,FaceBlit通過稍微提高預計算時間,大大減少了合成時間,這意味著,完成對參考畫像的預計算后,就可以實時合成出所需的圖像,
還是在只使用了CPU的情況下。
在使用三星Note 8行動電話的測試中,FaceBlit在50萬像素分辨率下以每秒15幀運行,
進一步研究方向
研究團隊表示,雖然FaceBlit效果已經很驚艷,但還不夠完美,并提出了3個未來的研究方向,
解決由于在計算過程中省略了對時間一致性的匹配,導致生成結果中會出現閃爍的問題,
解決外觀匹配方法容易在風格遷移中忽略一些大尺度的特征的問題。
通過交叉分析相似風格的同一套畫像,來使結果能適應不同觀察角度、照明條件等復雜情況,
作者團隊
這項研究一作為來自捷克理工大學部的Aneta Texler, Ond?ej Texler和Michal Ku?era。
另外還有來自相機社交應用公司Snap的華人研究員柴蒙磊參與其中,
柴蒙磊博士畢業于浙江大學部,主要從事計算機視覺和計算機圖形學的研究,主攻人類數字化、圖像處理、三維重建和基于物理的動畫,
最后,FaceBlit的相關代碼預計于4月份在GitHub上公布,