來源：新浪VR

隨著VR和AR在視覺精準度和頭顯舒適度上的不斷進步，研究人員一直在努力尋找比手持控制器更加自然的輸入方案。近日，康奈爾大學和威斯康星大學麥迪遜分校的工程師們已經開發(fā)出一種新的可穿戴系統(tǒng)—Fingertrak，該系統(tǒng)配有四個熱敏攝像頭，可以敏銳地以3D方式預測20個手指關節(jié)的位置。

FingerTrak是在康奈爾大學SciFi實驗室以及威斯康星大學麥迪遜分校的研究人員的共同協(xié)助下開發(fā)的，該設備在手鐲上安裝了三至四個熱敏攝像頭，以便共同捕獲手姿勢。每個熱像儀都會跟蹤你的手每個部分的運動，將每個圖像實時劃分為單個縫合的熱圖像，隨后設備將數(shù)據(jù)傳輸?shù)竭B接到Raspberry Pi驅動的網絡設備。通過計算機運行深度學習模型，該模型可以預測20個手指關節(jié)的位置。盡管成果并不算完美，但FingerTrak可以用于某些形式的VR和AR輸入。FingerTrak的其他潛在應用包括人機交互與控制、手語翻譯和健康監(jiān)控，包括發(fā)現(xiàn)早期的帕金森氏癥和阿爾茨海默氏癥等退化性疾病。

研究人員表示該設備僅靠手腕輪廓就可以“準確預測整個手部形態(tài)”。該設備將整個傳感系統(tǒng)放在手腕上，因次不需要手套、戒指或是先前發(fā)布的任何技術。在公布的視頻中還演示了FingerTrak是如何將手部運動追蹤轉化為一只仿生手的運動，并允許計算機確定用戶何時在寫作、喝咖啡以及使用智能手機的。

目前尚不清楚該系統(tǒng)是否可以快速追蹤特定手勢，比如用戶正在寫的是什么。研究人員指出，F(xiàn)ingerTrak在測試期間，根據(jù)測試背景的不同，平均角度誤差率在6.46-8.06度之間。也就是說，對于某些應用而言，這可能是最好的補充性技術，而非完全取代更高精度手指追蹤方案。

手腕攝像頭可以增強VR頭顯的由內向外追蹤攝像頭。原版的FingerTrak已經非常小了，但隨著加工設計，它還可以再小一點。系統(tǒng)主要依賴低分辨率（32x24像素）熱敏攝像頭，這種攝像頭的尺寸和厚度比最薄的蘋果手表還要薄。

FingerTrak將于9月中旬在2020ACM國際UBICOMP大會上首次亮相。

新浪VR編譯