來(lái)源：映維網(wǎng) 作者 黃顏 

Facebook Reality Labs Research (FRLR)日前分享了最新的音頻計(jì)劃。他們的目標(biāo)是將相關(guān)技術(shù)應(yīng)用到AR頭顯中，并允許你在嘈雜的環(huán)境中輕松地隔離人聲，同時(shí)再現(xiàn)虛擬聲音，使其看起來(lái)像是來(lái)自周圍的真實(shí)世界。其中，一個(gè)定制的頭相關(guān)傳輸函數(shù)（HRTF）是提供這種體驗(yàn)的關(guān)鍵，但涉及過(guò)程耗時(shí)且昂貴。所以，F(xiàn)RLR團(tuán)隊(duì)正在研究一種能夠根據(jù)耳朵照片生成精確HRTF的可擴(kuò)展解決方案。

Facebook Reality Labs（FRL）現(xiàn)在是Facebook旗下所有VR/AR團(tuán)隊(duì)的統(tǒng)一名稱，并旨在開發(fā)下一代的沉浸式技術(shù)（包括Oculus頭顯）。Facebook Reality Labs Research（FRLR）則是這一事業(yè)群下屬的研發(fā)部門。

日前，F(xiàn)RLR分享了關(guān)于沉浸式音頻研究計(jì)劃的最新進(jìn)展，并表示這項(xiàng)研究“與Facebook實(shí)現(xiàn)AR眼鏡的工作直接相關(guān)”，但其中的部分內(nèi)容同樣適用于VR。

1. 空間音頻

團(tuán)隊(duì)的目標(biāo)之一是，再現(xiàn)一種在感知方面與同一房間里的真實(shí)之物或真實(shí)之人的聲音無(wú)法區(qū)分的虛擬音效。

研究負(fù)責(zé)人菲利普·羅賓遜（Philip Robinson）表示：“想象一下，如果你在打電話，你會(huì)認(rèn)為對(duì)方就在身邊，你會(huì)忘記你們實(shí)際上是相隔兩地。這就是我們正在開發(fā)的技術(shù)的愿景。”

為了達(dá)到這個(gè)目標(biāo)，研究人員表示他們需要解決兩個(gè)關(guān)鍵挑戰(zhàn)：理解用戶所處環(huán)境的獨(dú)特聽覺(jué)特征；理解用戶聆聽聲音的獨(dú)特生理方式。

要理解房間的聲學(xué)特性（聲音如何回響），這可以通過(guò)根據(jù)頭顯追蹤傳感器繪制的幾何圖形來(lái)估計(jì)房間的聲音。結(jié)合人工智能能夠估計(jì)房間內(nèi)特定表面的聲學(xué)特性，這種關(guān)于真實(shí)聲音如何在空間中傳播的粗略圖景可以用來(lái)提升虛擬聲音的真實(shí)感，令其聽起來(lái)仿佛真的是來(lái)自同一個(gè)房間。

Facebook的研究人員同時(shí)表示，所述信息可以添加到LiveMaps中（Facebook為真實(shí)世界構(gòu)建的增強(qiáng)現(xiàn)實(shí)副本），并由同一空間中的其他設(shè)備調(diào)用。隨著時(shí)間的推移，聲學(xué)估計(jì)可以通過(guò)眾包數(shù)據(jù)得到改善。

第二個(gè)主要挑戰(zhàn)是理解用戶聆聽世界的獨(dú)特方式。人類聽覺(jué)是與頭部和耳朵的形狀息息相關(guān)。頭部和耳朵的形狀不僅會(huì)影響你所聽到的聲音，它對(duì)你辨別周圍聲音來(lái)源同樣十分重要。如果你借用別人的耳朵來(lái)生活一天，你將非常難以確定聲音到底是從何而來(lái)。

對(duì)于聲音如何與不同形狀的耳朵相互作用，學(xué)術(shù)界已經(jīng)進(jìn)行了充分的研究，而這可以用一個(gè)名為頭相關(guān)傳輸函數(shù)（HRTF）的緊湊數(shù)值函數(shù)進(jìn)行表示。但要精確測(cè)量一個(gè)人的HRTF，我們需要專門的工具和一個(gè)漫長(zhǎng)的校準(zhǔn)過(guò)程。這就像眼科醫(yī)生測(cè)試你的眼睛視力參數(shù)一樣，所以相關(guān)的解決方案難以擴(kuò)展至每一個(gè)人。

針對(duì)這種情況，F(xiàn)acebook Reality Labs Research希望“開發(fā)一種可以根據(jù)（你的）耳朵照片這樣簡(jiǎn)單的輸入來(lái)近似出一個(gè)可行的個(gè)性化HRTF的算法”。

為了展示團(tuán)隊(duì)在空間音頻方面的研究進(jìn)展，他們制作了一款小型游戲。其中，被試穿戴一副追蹤耳機(jī)并站在一個(gè)房間中，而里面散落著數(shù)個(gè)真正的揚(yáng)聲器。然后，研究人員播放一個(gè)聲音，并要求被試判斷聲音是不是虛擬生成并通過(guò)耳機(jī)播放，又或是通過(guò)真實(shí)揚(yáng)聲器播放。研究小組指出，大多數(shù)被試的研究結(jié)果表明，虛擬聲音和真實(shí)聲音幾乎無(wú)法區(qū)分。

2. 情景感知型降噪

盡管“感知方面無(wú)法區(qū)分”的虛擬聲音可能會(huì)令你覺(jué)得朋友或家人就在身邊，但Facebook Reality Labs Research同時(shí)希望利用音頻來(lái)增強(qiáng)真實(shí)的面對(duì)面交流。

一個(gè)方法是創(chuàng)建情景感知的降噪技術(shù)。盡管今天降噪技術(shù)的目標(biāo)是減少所有的外在聲音，但情景感知型的降噪技術(shù)旨在隔離你不希望聽到的外界聲音，但保留你希望聽到的聲音。

為了做到這一點(diǎn)，F(xiàn)acebook的研究人員制作了原型耳塞，以及包含麥克風(fēng)，頭部追蹤和眼動(dòng)追蹤功能的原型眼鏡。原型眼鏡可以監(jiān)控周圍的聲音以及用戶的視線。專門的算法將利用所述信息來(lái)判斷用戶希望聽到的內(nèi)容，如對(duì)面桌子的人，房間角落里的電視。信息將輸入到算法的音頻處理部分，并由后者篩選傳入的聲音，從而突出顯示來(lái)自特定對(duì)象的特定聲音，同時(shí)減少其他所有聲音。

– – — – –

顯然，對(duì)于Facebook正在研究的這項(xiàng)技術(shù)，其最終目標(biāo)是應(yīng)用到AR和VR頭顯。盡管研究人員表示他們已經(jīng)驗(yàn)證了所述概念，但我們尚不清楚什么時(shí)候才能從實(shí)驗(yàn)室?guī)У饺粘ｎ^顯之中。

原文鏈接：https://yivian.com/news/77575.html