來源：映維網(wǎng) 作者 黃顏

混合現(xiàn)實中的實時感知和交互能力要求資源受限的硬件（如頭戴式設(shè)備）以低延遲解決一系列的3D追蹤問題。實際上，對于HoloLens 2等CPU和GPU可以用于應(yīng)用程序的設(shè)備而言，多個追蹤子系統(tǒng)需要在共享一個數(shù)字信號處理器的同時實現(xiàn)連續(xù)、實時的運行。

為了解決HoloLens 2手部追蹤的模型擬合問題（計算預(yù)算大約比iPhone 7小100倍），微軟團隊提出了一種全新的曲面模型：“Phong Surface（馮氏曲面）”。

利用計算機圖形學(xué)的思想，Phong Surface描述了與三角網(wǎng)格模型相同的3D形狀，但其具有連續(xù)的曲面法線，從而能夠使用Lifting-based Optimization優(yōu)化方法，并比基于ICP的方法提供顯著的效率提高。研究人員指出，Phong Surface保留了平滑曲面模型的收斂優(yōu)勢。

微軟團隊日前在ECCV 2020大會通過視頻對所述模型進行了介紹，下面包括具體的字幕整理：

我們提出了一種使用Lifted Optimization來實現(xiàn)有效3D模型擬合的Phone Surface模型。

我們的模型擬合示例通過擬合離散3D數(shù)據(jù)來追蹤人手的28個自由度。在頭戴式增強現(xiàn)實系統(tǒng)（如HoloLens 2）中，這可以實現(xiàn)一種比當今所有計算系統(tǒng)都更為自然的交互機制。

HoloLens 2搭載了強大的CPU和GPU，但它們是為了用于應(yīng)用程序，所以手部追蹤必須由數(shù)字信號處理器以4GFLOPS的速度完成，亦即只有iPhone 7的1%。

對于之前的研究，效率的關(guān)鍵是使用Smooth Surface模型，Subdivision Surface或b樣條曲線（bspline）。Smooth-Surface允許使用名為lifted optimization的優(yōu)化方法，而所述方法能夠大大減少了模型擬合中的迭代次數(shù)，并且支持使用更少的數(shù)據(jù)點。

涉及論文：Efficient and Precise Interactive Hand Tracking Through Joint, Continuous Optimization of Pose and Correspondences

盡管單個服務(wù)評估的計算成本要比Polygon Surface高出7倍，但總體的計算成本縮減是一次勝利。然而，要以4GFLOPS實現(xiàn)實時性，我們需要拿回7X的計算成本。所以，我們引入了一個全新的曲面模型：Phong Surface。

它的計算成本幾乎與Polygon Mesh一樣低，但保留了Lifted Optimization的優(yōu)點，即快速收斂和更少的數(shù)據(jù)點。

Phong Surface的靈感來自于計算機圖形學(xué)中的馮氏著色（phong shading）技術(shù)。這個模型使用Polyhedral Surface模型，但插值曲面法線。

下面我們在2D示例中進行詳細說明。

我們使用非平滑的Polygon模型，并像Smooth Surface模型一樣插值法線。

現(xiàn)在我們來看看當我們嘗試將模型擬合到一定的數(shù)據(jù)時會發(fā)生什么。

我們會像往常一樣從數(shù)據(jù)到模型形成對應(yīng)關(guān)系。并且，我們不只是匹配最近的點，而是最小化加權(quán)損失，結(jié)合到曲面的距離，及曲面法線與數(shù)據(jù)的一致性。

請注意藍色箭頭。它們表示曲面法線對Lifted Optimization中的對應(yīng)更新的貢獻，而因為曲面法線在每個階段中的任何位置都是相同，Polygon模型并不存在這種貢獻。

這種更新提高了速度和精度。

下面我們展示了兩個玩具示例的擬合方法對比：菜豆體和橢球體。我們比較三種類型的曲面：Subdivision Surface；Phong Surface和Triangle Mesh，以及兩種優(yōu)化方法：上面一行的Lifted Optimization和下面一行的ICP（Iterative Closed Point）。

在所有情況下，Lifted Phong的收斂速度與Lifted Subdiv一樣快，但計算成本與Triangle Mesh一樣（ps：聽不清，這里不確定）。

對于菜豆體，Triangle Mesh不僅速度更慢，而且缺少表面法線的插值（ps：聽不清，這里不確定）意味著它具有更多的Local Minima（局部極小值）。

回到HoloLens，Lifting意味著我們可以只使用數(shù)據(jù)的一小部分，例如示例中的綠點，而Phong Surface意味著我們可以以低成本且可靠的方式做到這一點。

綜上所述，我們擁有了一個可同時處理雙手，并以4Gaflops的速度實時運行的全關(guān)節(jié)式追蹤系統(tǒng)。我們的技術(shù)不僅適用于手部追蹤，同時適用于任何需要高效曲面擬合的情況，尤其是低功率設(shè)備。感謝觀看。

原文鏈接：https://yivian.com/news/76838.html