(資料圖)
近日,網易互娛AI Lab論文《基于單張照片的實時高分辨率人臉重演算法》(《Face2Faceρ: Real-Time High-Resolution One-Shot Face Reenactment》)入選了人工智能國際頂會ECCV 2022。該論文創新性地提出了一種人臉重演的新方法,在保證生成質量的同時,最高可將算法速度最高提升至原來的9倍。
ECCV是計算機視覺領域內首屈一指的頂尖國際研討會,每兩年舉辦一次,每一屆都吸引了皆來自世界各地的頂尖專家學者參與。本屆論文總投稿數達到了5803篇,再創歷史新高,堪稱“史上最火ECCV”。本屆大會最終入選論文數量為1650篇,接收率僅為28%,不足三成,可見其競爭之激烈、難度之高。
在網易互娛AI Lab入選的本篇論文中,研究團隊創新地提出了一種能夠基于單幅圖片的實時高分辨率人臉重演算法,用于將驅動人臉說話時的面部表情和頭部姿態實時遷移至靜態圖像的人臉上,從而實現對姿態和表情的“復制粘貼”。在生成效果方面,該方案相比目前常見的基于形變(warp-based)或直接合成(direct synthesis)的方法,無論是對于編輯前后的人臉身份保持、還是對于頭部大姿態改變時的生成結果,都能取得甚至超越目前的已有方案;而在運行效率方面,該方案在顯著降低算法復雜度的基礎上,將速度最高提升至目前方案的9倍,大大降低了內存開銷和生成速度。
人臉重演效果對比
近年來,人臉重演技術因其在媒體、娛樂、虛擬現實等方面的應用前景而備受關注,其最直接的幫助就是能夠幫助提升音視頻的制作效率。去年,網易互娛AI Lab也將該技術成功應用于AI合成新聞主播制作,并與《羊城晚報》攜手推出了“羊小晚”和“羊小派”兩位虛擬新聞主播,幫助自動生成新聞播報視頻,以降低制作成本、提升制作效率,促進新聞生產的智慧變革。
網易互娛AI Lab成立于2017年,隸屬于網易互動娛樂事業群,是游戲行業領先的人工智能實驗室。除了人臉重演技術,團隊在內容自動化生成方面還擁有一系列前沿的AI技術,如面部動捕、視頻動捕、音樂自動生成舞蹈等,并已成功落地于《一夢江湖》、《第五人格》等多款熱門游戲和項目中。未來,網易互娛AI Lab將繼續持續挖掘AI技術的潛在價值、開拓更廣泛的應用場景,幫助推動物理世界的全面數字化轉型。
關鍵詞: 網易互娛