來(lái)源:新浪VR
蘋(píng)果眼鏡未來(lái)可能支持用戶(hù)自定義背景圖。
蘋(píng)果一直在研究如何讓蘋(píng)果眼鏡頭顯進(jìn)行色度摳像,或者用蘋(píng)果AR圖像替換純色背景。2020年2月蘋(píng)果提交一項(xiàng)名為“用于混合現(xiàn)實(shí)的低延遲色度鍵控嵌入頭戴式顯示器”的專(zhuān)利申請(qǐng),該專(zhuān)利于本周才被披露。如今大家都知道可以用其他背景圖,如海灘或Logo來(lái)替代辦公室或者家庭背景,大家也都知道這些背景的效果不太理想,尤其是在發(fā)言人移動(dòng)的時(shí)候。
然而這種背景替換需要大量的處理能力,在2020年7月的更新之前,Skype iOS版本甚至不能像Mac或PC版本那樣設(shè)置模糊背景。模糊背景是一個(gè)十分復(fù)雜的過(guò)程,他需要確定主講人頭部的輪廓和背景范圍。而Chroma key簡(jiǎn)化了這一過(guò)程,它將人物被放置在一個(gè)單一的純色背景前,這和電影中使用綠屏或藍(lán)屏的原理是一樣的。在主講人和背景之間的界限非常分明時(shí),Zoom和Skype這類(lèi)軟件均可以很容易的替換背景,不過(guò)這些都是2D系統(tǒng)。而蘋(píng)果眼鏡的目標(biāo)是通過(guò)3D方式實(shí)現(xiàn)背景替換,使在佩戴者四處走動(dòng)時(shí),背景也可以被替換掉。
此次蘋(píng)果的專(zhuān)利申請(qǐng)同時(shí)涉及為蘋(píng)果AR制作3D立體版背景替換,以及讓背景替換的作速度足夠快。這不僅與頭顯的處理能力有關(guān),也與將數(shù)據(jù)返回用戶(hù)視野的速度有關(guān)。蘋(píng)果表示,需要可穿戴式沉浸式頭顯(HMD),利用嵌入式立體RGB攝像頭捕捉環(huán)境,并進(jìn)行實(shí)時(shí)的顏色鍵控。還會(huì)有一個(gè)顯示系統(tǒng)來(lái)顯示增強(qiáng)了虛擬內(nèi)容的真實(shí)世界圖像。該系統(tǒng)以高幀率(通常為75幀/秒或更多)運(yùn)行,通過(guò)捕捉圖像并將其格式化以在頭顯中顯示,它實(shí)現(xiàn)了小于一幀的延遲。
根據(jù)蘋(píng)果表示,頭顯將搭載相機(jī)傳感器,在混合現(xiàn)實(shí)環(huán)境中執(zhí)行Chroma key,并在延遲最小的情況下完成。低延遲是通過(guò)在頭顯本身嵌入處理來(lái)實(shí)現(xiàn)的,具體來(lái)說(shuō),就是將攝像頭圖像格式化,檢測(cè)所選顏色范圍,并與虛擬內(nèi)容進(jìn)行合成。該專(zhuān)利申請(qǐng)并沒(méi)有解釋替換圖像來(lái)自哪里。在Zoom或Skype會(huì)議中,演講者可自行選擇背景圖。
新浪VR編譯