來源：映維網(wǎng) 作者 夢(mèng)秋

Facebook的研究機(jī)構(gòu)Facebook Reality Labs（FRL）一直在引領(lǐng)虛擬化身的研發(fā)工作，并致力于實(shí)現(xiàn)足以超越“恐怖谷效應(yīng)”的效果。FRL的一項(xiàng)全新研究探索了新穎的面部表情支持，從而允許朋友在虛擬現(xiàn)實(shí)中準(zhǔn)確地看到你的搞怪鬼臉。

相關(guān)論文：Expressive Telepresence via Modular Codec Avatars

如今，VR中的大多數(shù)虛擬化身都是卡通風(fēng)格而非類人風(fēng)格。這主要是為了避免“恐怖谷”問題：擬人程度達(dá)到一定程度的時(shí)候，人類的反映會(huì)突然變得負(fù)面。

1. 前任項(xiàng)目：Codec Avatars

Facebook Reality Labs的“Codec Avatar”項(xiàng)目旨在結(jié)合機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺，創(chuàng)建用戶的超逼真復(fù)刻呈現(xiàn)，從而跨越恐怖谷效應(yīng)。研究人員主要是訓(xùn)練系統(tǒng)理解一張人臉，然后再根據(jù)頭顯攝像頭的輸入來重現(xiàn)表情。這個(gè)項(xiàng)目已經(jīng)展示過令人印象非常深刻的結(jié)果。

精確再現(xiàn)典型的面部姿態(tài)已經(jīng)是一個(gè)巨大挑戰(zhàn)，然后你又要需要處理無數(shù)的邊緣情況，而任何一個(gè)都可能會(huì)令整個(gè)系統(tǒng)崩潰，并令虛擬化身回到恐怖谷效應(yīng)。

Facebook的研究人員指出，最大的挑戰(zhàn)是“對(duì)所有潛在（面部）表情制定一個(gè)統(tǒng)一的樣本是不切實(shí)際的事情”，因?yàn)槿四樧兓刑嗖煌姆绞?。最終，這意味著系統(tǒng)的樣本數(shù)據(jù)將存在一個(gè)缺口，這樣它在看到新的面容時(shí)就會(huì)感到困惑。

2. 繼任項(xiàng)目：Modular Codec Avatars

來自多倫多大學(xué)、Vector Institute和Facebook Reality Labs的研究人員Hang Chu, Shugao Ma, Fernando De la Torre, Sanja Fidler和Yaser Sheikh在名為“Expressive Telepresence via Modular Codec Avatars（通過Modular Codec Avatars實(shí)現(xiàn)表情臨場(chǎng)感）”的新發(fā)表論文中提出了一個(gè)解決方案。

最初的Codec Avatar系統(tǒng)是將數(shù)據(jù)集中的整個(gè)面部表情與所看到的輸入相匹配，而Modular Codec Avatar系統(tǒng)則是根據(jù)諸如眼睛和嘴巴等單個(gè)面部特征來劃分任務(wù)，從而使其能夠通過融合數(shù)個(gè)不同姿態(tài)的最佳匹配來合成最精確的面容姿態(tài)。

在Modular Codec Avatars中，模塊化編碼器首先在每個(gè)頭顯攝像頭視圖內(nèi)提取信息。接著是一個(gè)模塊合成器，它會(huì)根據(jù)從同一模塊分支提取的信息來估計(jì)一個(gè)完整的面部表情及其混合權(quán)重。最后，聚合不同模塊的多個(gè)估計(jì)三維人臉并形成最終的人臉輸出。

團(tuán)隊(duì)的目標(biāo)是優(yōu)化表情范圍，不需要向系統(tǒng)提供更多的訓(xùn)練數(shù)據(jù)即可精確地將其呈現(xiàn)?？梢哉f，Modular Codec Avatar系統(tǒng)的目的是為了更好地推斷出一張面容應(yīng)該是什么樣子，而原來的Codec Avatar系統(tǒng)則更多地依賴于直接比較。

3. 扮鬼臉的挑戰(zhàn)

所述方法的一個(gè)主要優(yōu)勢(shì)是，其提高了系統(tǒng)重現(xiàn)新面部表情的能力，而這一點(diǎn)并沒有針對(duì)相關(guān)表情進(jìn)行訓(xùn)練，比如當(dāng)人們故意以有趣的方式擺弄臉龐時(shí)。研究人員在論文中指出了這種特殊的優(yōu)勢(shì)：“做出有趣表情是社交活動(dòng)的一部分。由于表現(xiàn)力更強(qiáng)，Modular Codec Avatar模型可以自然地，更好地促進(jìn)這項(xiàng)任務(wù)。”

他們?cè)跍y(cè)試中隨機(jī)改變完全不同姿勢(shì)的面部特征，如左眼{pose A}，右眼{pose B}，嘴巴{pose C}，并觀察系統(tǒng)是否能在給定不同的特征輸入下產(chǎn)生逼真的結(jié)果。

研究人員表示：“（在上圖中）可以看出，即便從未在訓(xùn)練集中完整地看到過，Modular Codec Avatars依然可以產(chǎn)生自然靈活的表情。”

作為系統(tǒng)這方面的終極挑戰(zhàn)，我們非常期待它能夠重現(xiàn)各種搞怪表情。

4. 眼睛放大

除了滑稽的面部表情外，研究人員發(fā)現(xiàn)Modular Codec Avatar系統(tǒng)同時(shí)可以消除穿戴頭顯時(shí)的固有眼睛姿態(tài)差異，從而提高面部真實(shí)感。

在實(shí)際的VR遠(yuǎn)程呈現(xiàn)中，我們觀察到用戶往往沒有將眼睛完全自然地睜開。這可能是由于佩戴頭顯時(shí)肌肉壓力過大，以及在眼睛附近顯示光源。所以，我們引入一個(gè)眼睛放大控制旋鈕來解決這個(gè)問題。

這允許系統(tǒng)巧妙地修改眼睛，使其更接近用戶不在穿戴頭顯時(shí)的實(shí)際面容。

– – – – –

對(duì)于通過融合不同樣本數(shù)據(jù)片段的特征來重建人臉，這樣的概念本身并不新鮮，但研究人員表示，“我們的模塊不是像以前的方法那樣在3D網(wǎng)格上使用線性或淺層特征，而是在由深層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的潛在空間中進(jìn)行。這使得捕捉復(fù)雜的非線性效果成為可能，并以全新的真實(shí)感水平制作面部動(dòng)畫。”

這種方法同時(shí)是為了使這種化身表示更為實(shí)用。要Codec Avatars獲得出色效果，所需的訓(xùn)練數(shù)據(jù)要求你捕捉真實(shí)用戶的大量復(fù)雜面部姿態(tài)。Modular Codec Avatars則能在較少的訓(xùn)練數(shù)據(jù)下實(shí)現(xiàn)更高的表現(xiàn)力，并達(dá)到類似的效果。

要支持沒有面容掃描機(jī)器的用戶實(shí)現(xiàn)這等精確的面容呈現(xiàn)，我們尚需等待一定的時(shí)間。但隨著技術(shù)的不斷進(jìn)步，總有一天用戶可以通過智能手機(jī)應(yīng)用來快速輕松地捕捉到自己的面部模型，將其上傳，并把它作為跨越恐怖谷效應(yīng)的虛擬化身的基礎(chǔ)。

原文鏈接：https://yivian.com/news/76959.html