隨著虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)領(lǐng)域的不斷發(fā)展，研究人員，開發(fā)者和內(nèi)容創(chuàng)作者都在尋求能夠提升計(jì)算機(jī)視覺和圖形的方法，從而實(shí)現(xiàn)更加身臨其境的世界模型。盡管重建技術(shù)已經(jīng)走過了漫長(zhǎng)的道路(尤其是自運(yùn)動(dòng)傳感器出現(xiàn)以來，行業(yè)已經(jīng)有了長(zhǎng)足的進(jìn)步)，但眾所周知，我們難以以一種令人信服的方式來重現(xiàn)鏡子和玻璃。在本月舉行的SIGGRAPH 2018大會(huì)上，F(xiàn)acebook Reality Labs (FRL)將介紹一種重建鏡子和其他反射性平面的全自動(dòng)管道(能夠提升3D場(chǎng)景和可信度和逼真感)。今天，Oculus介紹了這支團(tuán)隊(duì)背后的部分成員，同時(shí)向我們分享了這個(gè)研究項(xiàng)目的故事。
延伸閱讀：Facebook展示如何在AR/VR場(chǎng)景中重建玻璃、鏡面場(chǎng)景，將鏡子帶到虛擬世界
研究科學(xué)家托馬斯·偉倫(Thomas Whelan)說道：“如果你留意一家家居裝飾店的鏡子，你會(huì)馬上看到各種各樣的形狀和大小，幾乎沒有兩面鏡子是完全一樣的。我們很早就明白，我們需要一個(gè)不會(huì)對(duì)重建內(nèi)容做出太多假設(shè)的通用解決方案。我們渴望一種支持現(xiàn)實(shí)環(huán)境中的解決方案，因?yàn)檫@是最有用的地方。”
1. 面臨問題
現(xiàn)有的3D掃描系統(tǒng)在鏡子和玻璃上總是產(chǎn)生不需要的偽影，因?yàn)橄到y(tǒng)通常會(huì)錯(cuò)誤地重建反射性表面上顯示的3D幾何。偉倫建議，我們可以使用一種簡(jiǎn)單的，易于檢測(cè)的目標(biāo)來識(shí)別反射性表面。通過識(shí)別鏡像表面，團(tuán)隊(duì)可以使用正確的幾何和反射重新渲染場(chǎng)景。
研究科學(xué)家朱利安·斯特勞勃(Julian Straub)指出：“在一開始，鏡子類型和形狀的多樣性令人感到驚訝。設(shè)計(jì)一個(gè)能夠處理大部分或所有鏡子形狀和大小的系統(tǒng)是我們的主要目標(biāo)。我們隨后意識(shí)到系統(tǒng)同時(shí)可以支持玻璃表面，只需一個(gè)額外的分類步驟即可。”
研究科學(xué)家史提芬·洛夫格羅夫(Steven Lovegrove)補(bǔ)充說：“很難描述人類是如何識(shí)別鏡子與通向不同空間的窗戶或門道的區(qū)別。為了創(chuàng)建可以支持各種真實(shí)空間中的3D重建，我們面臨的挑戰(zhàn)是采集一個(gè)有代表性的鏡像樣本，并創(chuàng)建一個(gè)可以在每個(gè)鏡像上運(yùn)行的強(qiáng)大算法。”
2. 挑戰(zhàn)
偉倫與團(tuán)隊(duì)進(jìn)行了緊密的合作，努力確定哪種特征對(duì)于確定邊界線索最為有用，而斯特勞勃?jiǎng)t專注于任意形狀鏡像邊界的分割。當(dāng)團(tuán)隊(duì)將所有一切都組合起來時(shí)，洛夫格羅夫構(gòu)建了一個(gè)系統(tǒng)來校準(zhǔn)裝置和估算鏡面在給定環(huán)境中的位置。捕捉裝置本身包括紅外深度攝像頭，RGB彩色攝像頭，用于估計(jì)運(yùn)動(dòng)的廣角相機(jī)，以及用于顯示標(biāo)準(zhǔn)AprilTag鏡像的背光圖形。
這使得研究團(tuán)隊(duì)能夠以非常高的精度來定位鏡子的邊界，即便鏡子沒有邊框的存在。FRL甚至可以將虛擬對(duì)象添加到場(chǎng)景中，而它們能夠與現(xiàn)實(shí)世界的幾何和反射器正確交互。
結(jié)果：一個(gè)從原生數(shù)據(jù)到最終重建的端到端系統(tǒng)。
客座研究員，達(dá)姆施塔特工業(yè)大學(xué)的邁克爾·哥斯尼里(Michael Goesele)教授與FRL的硬件工程師和技術(shù)員一起構(gòu)建了實(shí)際的原型，并從圖像流中檢測(cè)目標(biāo)。
哥斯尼里指出：“近二十年來，我一直致力于場(chǎng)景重建的各個(gè)方面，并且能夠利用我在構(gòu)建各種采集設(shè)置以及完整重建管道方面的經(jīng)驗(yàn)。我已經(jīng)發(fā)表了幾篇關(guān)于重建和渲染反射性表面的論文，所以對(duì)這個(gè)問題已經(jīng)建立起一個(gè)良好的心智模式，而這對(duì)我來說是一個(gè)巨大的幫助。”
這同樣為整個(gè)團(tuán)隊(duì)帶來了幫助，因?yàn)楦缢鼓崂飵椭鷧f(xié)調(diào)了管道的工作并推動(dòng)了論文和SIGGRAPH的提交。他補(bǔ)充說：“最后，我在網(wǎng)上購(gòu)買了很多鏡子，而這非常有趣。”
3. 前方之路
跟其他重大研究問題一樣，對(duì)于FRL的鏡面重建研究，最令人興奮的地方可能在于其可以為其他研究提供支持。
偉倫說道：“根據(jù)可清晰識(shí)別的反射目標(biāo)，你現(xiàn)在可以嘗試很多酷炫的想法。這也許與今天的深度學(xué)習(xí)趨勢(shì)更相關(guān)，這種方法為包含這種挑戰(zhàn)性表面的訓(xùn)練提供了一種快速的，全自動(dòng)的標(biāo)記輸入數(shù)據(jù)方法。在以前，圖像必須用手慢慢標(biāo)記。借助我們的方法，你可以免費(fèi)實(shí)現(xiàn)標(biāo)記。”
洛夫格羅夫補(bǔ)充說：“我們希望這項(xiàng)研究能夠幫助其他人更忠實(shí)地捕捉空間的3D呈現(xiàn)，比如說機(jī)器人導(dǎo)航和場(chǎng)景理解領(lǐng)域。我們的目標(biāo)是創(chuàng)造更逼真和更具預(yù)測(cè)性的虛擬場(chǎng)景，而在朝著這個(gè)目標(biāo)進(jìn)發(fā)的過場(chǎng)中，我們的方法或許能夠有所擴(kuò)展，去支持描繪更具挑戰(zhàn)性的對(duì)象，比如說非平面玻璃表面或半透明材料。”
4. 從夢(mèng)想到團(tuán)隊(duì)合作
通過聚攏世界級(jí)的研究人員，工程師和開發(fā)者，F(xiàn)RL可以很好地解決具有挑戰(zhàn)性的問題，并推動(dòng)虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)技術(shù)的向前發(fā)展。但是，令夢(mèng)想最終變成現(xiàn)實(shí)的是研究背后的人員。
哥斯尼里解釋說：“我在休假時(shí)總是喜歡搭載FRL，因?yàn)槲艺娴膶?duì)團(tuán)隊(duì)正在探索的領(lǐng)域非常感興趣。我非常享受在這里度過的時(shí)光，特別是我可以與一支出色的團(tuán)隊(duì)合作，并接觸到如此棒的資源。最令我印象深刻的是，我們?cè)谶@個(gè)項(xiàng)目上的工作速度，以及大家是如何積極和無(wú)縫地協(xié)同工作。”
洛夫格羅夫說道：“我們團(tuán)隊(duì)的許多成員都參與過全球研究實(shí)驗(yàn)室的3D重建，圖形，機(jī)器人和本地化工作。能夠?qū)⑽覀兊闹R(shí)都集中在同一個(gè)地方令人感到非常興奮。”
偉倫贊同道：“這項(xiàng)研究匯集了團(tuán)隊(duì)中每個(gè)人的大量專業(yè)知識(shí)。在以往，3D重建過程中通常會(huì)繞過鏡子，大多數(shù)早期的研究只是假裝它們不存在，忽略它們。但在現(xiàn)實(shí)世界中，它們無(wú)處不在，而且破壞了大多數(shù)重建方法。所以在某種程度上，我們正面解決了3D重建中最古老的問題之一。”
來源：yivian
