來源：映維網

在剛剛落下帷幕的ChinaJoy高通展館中，我們境騰科技與和上海龐伯特科技合作實現了基于混合現實技術的乒乓球機器人協同娛樂互動系統，現場人頭攢動，盡管受疫情影響執(zhí)行了限流措施，但“機器人+HoloLens2“的神仙組合讓玩家們熱情高漲，展位前仍排起長長的隊伍等待與機器人訓練師的對壘。

本嘉賓稿來自境騰科技CEO張力（微信：johnzhang6387），他也是映維網會員成員

境騰科技還將在2020 Qualcomm XR生態(tài)合作伙伴大會（9月5日，南昌）上做主題分享

在這個“真人 vs 機器人”的乒乓球項目中，剛開始的時候，頭戴HoloLens 2混合現實眼鏡的玩家會對球臺另一邊的機器人發(fā)出發(fā)球指令。這時，乒乓球即將發(fā)生的虛擬運動軌跡則會以AR特效的方式通過HoloLens 2 呈現在玩家視野中，引導玩家立即進入熱血備戰(zhàn)狀態(tài)。接著在機器人發(fā)球的同時，在HoloLens 2上也會呈現出玩家回球應該在機器人那一端的目標落點。即玩家在已知軌跡的情況下，如果能將球擊打回到對面球臺用虛擬光圈標注的范圍內即可獲得獎勵。

總的來說，系統會告知玩家他接球前的球的運動軌跡，以及他回球后的球應該達到的目標落點范圍。所有這些軌跡信息以及落點要求信息，都是以AR的形式通過HoloLens 2呈現在玩家眼前。即使面對乒乓球專業(yè)運動員，機器人也會毫不示弱，高頻發(fā)球加上精準落點要求也將考驗運動員的穩(wěn)定性與精準度。這一協同訓練方案實現了：

1. 在真實球桌空間上準確穩(wěn)定顯示發(fā)球軌跡和目標擊打區(qū)域

龐伯特發(fā)球機器人在發(fā)球時可以計算出在自身坐標系里乒乓球的運動軌跡以及準確落點，通過同步選手頭戴的Hololens2 的坐標系和發(fā)球機器人的坐標系，境騰科技可以在真實球桌3D空間上，用虛擬動畫效果呈現出酷炫的運動軌跡和炸裂的落點特效，給選手帶來從未經歷的科幻體驗。

在實際運行測試中，即使選手戴著HoloLens2做比較劇烈的運動，選手看到的虛擬軌跡和落點仍然非常穩(wěn)定，選手頭戴HoloLens2時也沒有影響到運動狀態(tài)的不適感，讓我們不得不為HoloLens2強大的SLAM能力和巧妙的人機設計點贊。

2. 人工智能識別選手回球軌跡實時追蹤和落點得分判定

基于高通驍龍創(chuàng)新的RB5平臺，龐伯特智能乒乓球軌跡識別與分析系統可實時追蹤分析乒乓球的軌跡信息，利于人工智能技術，對乒乓球的飛行軌跡，落點，旋轉，速度等一系列參數進行實時采集并進行數據分析。

采用雙目攝像頭對普通乒乓球進行軌跡捕捉，深度學習人工智能算法從選手回球到識別出軌跡延遲低于10ms，再通過高效的網絡傳輸到Hololens2和第三方視角的虛擬特效渲染整體延遲在50ms以內，讓選手得到真假難辨的虛實結合體驗?；厍虻能壽E數據信息可以實時渲染也可以儲存在系統中，未來可以通過HoloLens2在球桌上回放，將數字娛樂信息疊加到現實運動中，更有效的提高運動員的訓練效果，增加玩家的代入感和體驗感，將乒乓球運動數字化，電競化，給玩家?guī)砀锩缘捏w驗。

3. 真正用球拍發(fā)球的機器人

基于先進的人工智能及機器人技術，龐伯特開發(fā)出了世界上第一款完全擬人型的乒乓球發(fā)球機器人。該機器人實現了手持球拍發(fā)球，完全模擬乒乓球訓練過程中針對技術動作的多球訓練環(huán)節(jié)，甚至可以發(fā)出很多專業(yè)選手才能夠打出的下旋上旋等特效。同時，智能傳感及創(chuàng)新的增強現實技術的引入，將該訓練過程娛樂化，競技化，使訓練更專業(yè)，讓運動更有趣。

4. HoloLens2眼鏡、機器人、回球軌跡追蹤識別設備和第三方視角零延時多協議通信

整個訓練系統涉及了多個設備（Hololens2 眼鏡、發(fā)球機器人、 回球軌跡識別設備、 第三方視角設備）、平臺（Windows UWP、 Android、 Ubuntu、 iOS），和多種通信協議（TCP / UDP / 藍牙通信）。在無縫整合所有這些設備的同時，系統還保證了信息在各個設備中近乎零延時的傳輸，從而保證了用戶的最佳體驗。

5. 總結

這個方案中四大技術應用的整合，開創(chuàng)性地將原本單一的技術領域充分融合，形成人機共融平臺。

完全仿人化的機器人在人類的運動中與人類協同互動；同時，基于創(chuàng)新的傳感技術，人工智能攝像頭對整個運動過程中的人，球，環(huán)境等數據進行實時采集分析，指導機器人與人類進行動態(tài)互動；利于創(chuàng)新的增強現實技術，機器人直接從三維空間的維度上向人類高效，直接的傳達信息。人工智能，智能機器人，增強現實，新一代通信技術等創(chuàng)新性技術在這一場景中得到了綜合應用。

在搭建系統的過程中，我們突破了多個技術壁壘和難點，可以預見，這將為各個行業(yè)提供更廣闊的解決方案，為企業(yè)帶來豐厚的商業(yè)價值，極可能成為未來技術發(fā)展的一個方向。

原文鏈接：https://yivian.com/news/76831.html