国产高清女同学巨大乳在线观看,18禁男女无遮挡啪啪网站,欧美裸体XXXXBBBB极品,色婷婷亚洲婷婷7月

逼真面部搞怪表情!Facebook升級(jí)VR化身技術(shù)Modular Codec Avatars

VR/AR
2020
08/12
20:58
映維網(wǎng)
分享
評(píng)論

來源:映維網(wǎng) 作者 夢(mèng)秋

Facebook的研究機(jī)構(gòu)Facebook Reality Labs(FRL)一直在引領(lǐng)虛擬化身的研發(fā)工作,并致力于實(shí)現(xiàn)足以超越“恐怖谷效應(yīng)”的效果。FRL的一項(xiàng)全新研究探索了新穎的面部表情支持,從而允許朋友在虛擬現(xiàn)實(shí)中準(zhǔn)確地看到你的搞怪鬼臉。

相關(guān)論文:Expressive Telepresence via Modular Codec Avatars

如今,VR中的大多數(shù)虛擬化身都是卡通風(fēng)格而非類人風(fēng)格。這主要是為了避免“恐怖谷”問題:擬人程度達(dá)到一定程度的時(shí)候,人類的反映會(huì)突然變得負(fù)面。

1. 前任項(xiàng)目:Codec Avatars

Facebook Reality Labs的“Codec Avatar”項(xiàng)目旨在結(jié)合機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺,創(chuàng)建用戶的超逼真復(fù)刻呈現(xiàn),從而跨越恐怖谷效應(yīng)。研究人員主要是訓(xùn)練系統(tǒng)理解一張人臉,然后再根據(jù)頭顯攝像頭的輸入來重現(xiàn)表情。這個(gè)項(xiàng)目已經(jīng)展示過令人印象非常深刻的結(jié)果。

精確再現(xiàn)典型的面部姿態(tài)已經(jīng)是一個(gè)巨大挑戰(zhàn),然后你又要需要處理無數(shù)的邊緣情況,而任何一個(gè)都可能會(huì)令整個(gè)系統(tǒng)崩潰,并令虛擬化身回到恐怖谷效應(yīng)。

Facebook的研究人員指出,最大的挑戰(zhàn)是“對(duì)所有潛在(面部)表情制定一個(gè)統(tǒng)一的樣本是不切實(shí)際的事情”,因?yàn)槿四樧兓刑嗖煌姆绞?。最終,這意味著系統(tǒng)的樣本數(shù)據(jù)將存在一個(gè)缺口,這樣它在看到新的面容時(shí)就會(huì)感到困惑。

2. 繼任項(xiàng)目:Modular Codec Avatars

來自多倫多大學(xué)、Vector Institute和Facebook Reality Labs的研究人員Hang Chu, Shugao Ma, Fernando De la Torre, Sanja Fidler和Yaser Sheikh在名為“Expressive Telepresence via Modular Codec Avatars(通過Modular Codec Avatars實(shí)現(xiàn)表情臨場(chǎng)感)”的新發(fā)表論文中提出了一個(gè)解決方案。

最初的Codec Avatar系統(tǒng)是將數(shù)據(jù)集中的整個(gè)面部表情與所看到的輸入相匹配,而Modular Codec Avatar系統(tǒng)則是根據(jù)諸如眼睛和嘴巴等單個(gè)面部特征來劃分任務(wù),從而使其能夠通過融合數(shù)個(gè)不同姿態(tài)的最佳匹配來合成最精確的面容姿態(tài)。

在Modular Codec Avatars中,模塊化編碼器首先在每個(gè)頭顯攝像頭視圖內(nèi)提取信息。接著是一個(gè)模塊合成器,它會(huì)根據(jù)從同一模塊分支提取的信息來估計(jì)一個(gè)完整的面部表情及其混合權(quán)重。最后,聚合不同模塊的多個(gè)估計(jì)三維人臉并形成最終的人臉輸出。

團(tuán)隊(duì)的目標(biāo)是優(yōu)化表情范圍,不需要向系統(tǒng)提供更多的訓(xùn)練數(shù)據(jù)即可精確地將其呈現(xiàn)??梢哉f,Modular Codec Avatar系統(tǒng)的目的是為了更好地推斷出一張面容應(yīng)該是什么樣子,而原來的Codec Avatar系統(tǒng)則更多地依賴于直接比較。

3. 扮鬼臉的挑戰(zhàn)

所述方法的一個(gè)主要優(yōu)勢(shì)是,其提高了系統(tǒng)重現(xiàn)新面部表情的能力,而這一點(diǎn)并沒有針對(duì)相關(guān)表情進(jìn)行訓(xùn)練,比如當(dāng)人們故意以有趣的方式擺弄臉龐時(shí)。研究人員在論文中指出了這種特殊的優(yōu)勢(shì):“做出有趣表情是社交活動(dòng)的一部分。由于表現(xiàn)力更強(qiáng),Modular Codec Avatar模型可以自然地,更好地促進(jìn)這項(xiàng)任務(wù)。”

他們?cè)跍y(cè)試中隨機(jī)改變完全不同姿勢(shì)的面部特征,如左眼{pose A},右眼{pose B},嘴巴{pose C},并觀察系統(tǒng)是否能在給定不同的特征輸入下產(chǎn)生逼真的結(jié)果。

研究人員表示:“(在上圖中)可以看出,即便從未在訓(xùn)練集中完整地看到過,Modular Codec Avatars依然可以產(chǎn)生自然靈活的表情。”

作為系統(tǒng)這方面的終極挑戰(zhàn),我們非常期待它能夠重現(xiàn)各種搞怪表情。

4. 眼睛放大

除了滑稽的面部表情外,研究人員發(fā)現(xiàn)Modular Codec Avatar系統(tǒng)同時(shí)可以消除穿戴頭顯時(shí)的固有眼睛姿態(tài)差異,從而提高面部真實(shí)感。

在實(shí)際的VR遠(yuǎn)程呈現(xiàn)中,我們觀察到用戶往往沒有將眼睛完全自然地睜開。這可能是由于佩戴頭顯時(shí)肌肉壓力過大,以及在眼睛附近顯示光源。所以,我們引入一個(gè)眼睛放大控制旋鈕來解決這個(gè)問題。

這允許系統(tǒng)巧妙地修改眼睛,使其更接近用戶不在穿戴頭顯時(shí)的實(shí)際面容。

– – – – –

對(duì)于通過融合不同樣本數(shù)據(jù)片段的特征來重建人臉,這樣的概念本身并不新鮮,但研究人員表示,“我們的模塊不是像以前的方法那樣在3D網(wǎng)格上使用線性或淺層特征,而是在由深層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的潛在空間中進(jìn)行。這使得捕捉復(fù)雜的非線性效果成為可能,并以全新的真實(shí)感水平制作面部動(dòng)畫。”

這種方法同時(shí)是為了使這種化身表示更為實(shí)用。要Codec Avatars獲得出色效果,所需的訓(xùn)練數(shù)據(jù)要求你捕捉真實(shí)用戶的大量復(fù)雜面部姿態(tài)。Modular Codec Avatars則能在較少的訓(xùn)練數(shù)據(jù)下實(shí)現(xiàn)更高的表現(xiàn)力,并達(dá)到類似的效果。

要支持沒有面容掃描機(jī)器的用戶實(shí)現(xiàn)這等精確的面容呈現(xiàn),我們尚需等待一定的時(shí)間。但隨著技術(shù)的不斷進(jìn)步,總有一天用戶可以通過智能手機(jī)應(yīng)用來快速輕松地捕捉到自己的面部模型,將其上傳,并把它作為跨越恐怖谷效應(yīng)的虛擬化身的基礎(chǔ)。

原文鏈接:https://yivian.com/news/76959.html

THE END
廣告、內(nèi)容合作請(qǐng)點(diǎn)擊這里 尋求合作
VR
免責(zé)聲明:本文系轉(zhuǎn)載,版權(quán)歸原作者所有;旨在傳遞信息,不代表砍柴網(wǎng)的觀點(diǎn)和立場(chǎng)。

相關(guān)熱點(diǎn)

克里斯·普魯厄特(Chris Pruett)是Oculus內(nèi)容生態(tài)系統(tǒng)的負(fù)責(zé)人。他日前在Unite Now 2020發(fā)表了關(guān)于為Oculus Quest發(fā)行內(nèi)容的演講。
VR
《Noda》是一款“思維導(dǎo)圖”應(yīng)用,主要利用虛擬現(xiàn)實(shí)的獨(dú)特可供性來支持空間頭腦風(fēng)暴和信息組織。
VR
目前還不清楚哪些運(yùn)營(yíng)商會(huì)為微軟Surface Duo提供服務(wù),但知名爆料者埃文·布拉斯(Evan Blass)分享了一組Surface Duo的渲染數(shù)據(jù),并聲稱這款雙屏幕的Android設(shè)備將與美國(guó)電話電報(bào)公司(AT&T)合作推出。他...
VR
每年九月是全球各大手機(jī)廠商爭(zhēng)相舉辦手機(jī)新品發(fā)布會(huì)的季度,其中每年9月的蘋果秋季發(fā)布會(huì)最為受人關(guān)注。 此前有消息稱今年的發(fā)布會(huì)恐不能如期而至,但這依舊不能阻擋大家對(duì)iphone12的期待,不少諜照先后曝...
VR
學(xué)校內(nèi),走廊空空蕩蕩,教室?guī)捉e置,操場(chǎng)空無一人,只有被遺棄的秋千在微風(fēng)中輕輕搖曳。這一切都具有反烏托邦的感覺,幾乎就是VR游戲《半條命》里的場(chǎng)景。
VR

相關(guān)推薦

1
3