來(lái)源：映維網(wǎng) 作者 黃顏
混合現(xiàn)實(shí)中的實(shí)時(shí)感知和交互能力要求資源受限的硬件（如頭戴式設(shè)備）以低延遲解決一系列的3D追蹤問(wèn)題。實(shí)際上，對(duì)于HoloLens 2等CPU和GPU可以用于應(yīng)用程序的設(shè)備而言，多個(gè)追蹤子系統(tǒng)需要在共享一個(gè)數(shù)字信號(hào)處理器的同時(shí)實(shí)現(xiàn)連續(xù)、實(shí)時(shí)的運(yùn)行。
為了解決HoloLens 2手部追蹤的模型擬合問(wèn)題（計(jì)算預(yù)算大約比iPhone 7小100倍），微軟團(tuán)隊(duì)提出了一種全新的曲面模型：“Phong Surface（馮氏曲面）”。
利用計(jì)算機(jī)圖形學(xué)的思想，Phong Surface描述了與三角網(wǎng)格模型相同的3D形狀，但其具有連續(xù)的曲面法線，從而能夠使用Lifting-based Optimization優(yōu)化方法，并比基于ICP的方法提供顯著的效率提高。研究人員指出，Phong Surface保留了平滑曲面模型的收斂?jī)?yōu)勢(shì)。
微軟團(tuán)隊(duì)日前在ECCV 2020大會(huì)通過(guò)視頻對(duì)所述模型進(jìn)行了介紹，下面包括具體的字幕整理：
我們提出了一種使用Lifted Optimization來(lái)實(shí)現(xiàn)有效3D模型擬合的Phone Surface模型。
我們的模型擬合示例通過(guò)擬合離散3D數(shù)據(jù)來(lái)追蹤人手的28個(gè)自由度。在頭戴式增強(qiáng)現(xiàn)實(shí)系統(tǒng)（如HoloLens 2）中，這可以實(shí)現(xiàn)一種比當(dāng)今所有計(jì)算系統(tǒng)都更為自然的交互機(jī)制。
HoloLens 2搭載了強(qiáng)大的CPU和GPU，但它們是為了用于應(yīng)用程序，所以手部追蹤必須由數(shù)字信號(hào)處理器以4GFLOPS的速度完成，亦即只有iPhone 7的1%。
對(duì)于之前的研究，效率的關(guān)鍵是使用Smooth Surface模型，Subdivision Surface或b樣條曲線（bspline）。Smooth-Surface允許使用名為lifted optimization的優(yōu)化方法，而所述方法能夠大大減少了模型擬合中的迭代次數(shù)，并且支持使用更少的數(shù)據(jù)點(diǎn)。
涉及論文：Efficient and Precise Interactive Hand Tracking Through Joint, Continuous Optimization of Pose and Correspondences
盡管單個(gè)服務(wù)評(píng)估的計(jì)算成本要比Polygon Surface高出7倍，但總體的計(jì)算成本縮減是一次勝利。然而，要以4GFLOPS實(shí)現(xiàn)實(shí)時(shí)性，我們需要拿回7X的計(jì)算成本。所以，我們引入了一個(gè)全新的曲面模型：Phong Surface。
它的計(jì)算成本幾乎與Polygon Mesh一樣低，但保留了Lifted Optimization的優(yōu)點(diǎn)，即快速收斂和更少的數(shù)據(jù)點(diǎn)。
Phong Surface的靈感來(lái)自于計(jì)算機(jī)圖形學(xué)中的馮氏著色（phong shading）技術(shù)。這個(gè)模型使用Polyhedral Surface模型，但插值曲面法線。
下面我們?cè)?D示例中進(jìn)行詳細(xì)說(shuō)明。
我們使用非平滑的Polygon模型，并像Smooth Surface模型一樣插值法線。
現(xiàn)在我們來(lái)看看當(dāng)我們嘗試將模型擬合到一定的數(shù)據(jù)時(shí)會(huì)發(fā)生什么。
我們會(huì)像往常一樣從數(shù)據(jù)到模型形成對(duì)應(yīng)關(guān)系。并且，我們不只是匹配最近的點(diǎn)，而是最小化加權(quán)損失，結(jié)合到曲面的距離，及曲面法線與數(shù)據(jù)的一致性。
請(qǐng)注意藍(lán)色箭頭。它們表示曲面法線對(duì)Lifted Optimization中的對(duì)應(yīng)更新的貢獻(xiàn)，而因?yàn)榍娣ň€在每個(gè)階段中的任何位置都是相同，Polygon模型并不存在這種貢獻(xiàn)。
這種更新提高了速度和精度。
下面我們展示了兩個(gè)玩具示例的擬合方法對(duì)比：菜豆體和橢球體。我們比較三種類型的曲面：Subdivision Surface；Phong Surface和Triangle Mesh，以及兩種優(yōu)化方法：上面一行的Lifted Optimization和下面一行的ICP（Iterative Closed Point）。
在所有情況下，Lifted Phong的收斂速度與Lifted Subdiv一樣快，但計(jì)算成本與Triangle Mesh一樣（ps：聽(tīng)不清，這里不確定）。
對(duì)于菜豆體，Triangle Mesh不僅速度更慢，而且缺少表面法線的插值（ps：聽(tīng)不清，這里不確定）意味著它具有更多的Local Minima（局部極小值）。
回到HoloLens，Lifting意味著我們可以只使用數(shù)據(jù)的一小部分，例如示例中的綠點(diǎn)，而Phong Surface意味著我們可以以低成本且可靠的方式做到這一點(diǎn)。
綜上所述，我們擁有了一個(gè)可同時(shí)處理雙手，并以4Gaflops的速度實(shí)時(shí)運(yùn)行的全關(guān)節(jié)式追蹤系統(tǒng)。我們的技術(shù)不僅適用于手部追蹤，同時(shí)適用于任何需要高效曲面擬合的情況，尤其是低功率設(shè)備。感謝觀看。
原文鏈接：https://yivian.com/news/76838.html
