來源：映維網(wǎng)

在剛剛落下帷幕的ChinaJoy高通展館中，我們境騰科技與和上海龐伯特科技合作實現(xiàn)了基于混合現(xiàn)實技術(shù)的乒乓球機(jī)器人協(xié)同娛樂互動系統(tǒng)，現(xiàn)場人頭攢動，盡管受疫情影響執(zhí)行了限流措施，但“機(jī)器人+HoloLens2“的神仙組合讓玩家們熱情高漲，展位前仍排起長長的隊伍等待與機(jī)器人訓(xùn)練師的對壘。

本嘉賓稿來自境騰科技CEO張力（微信：johnzhang6387），他也是映維網(wǎng)會員成員

境騰科技還將在2020 Qualcomm XR生態(tài)合作伙伴大會（9月5日，南昌）上做主題分享

在這個“真人 vs 機(jī)器人”的乒乓球項目中，剛開始的時候，頭戴HoloLens 2混合現(xiàn)實眼鏡的玩家會對球臺另一邊的機(jī)器人發(fā)出發(fā)球指令。這時，乒乓球即將發(fā)生的虛擬運動軌跡則會以AR特效的方式通過HoloLens 2 呈現(xiàn)在玩家視野中，引導(dǎo)玩家立即進(jìn)入熱血備戰(zhàn)狀態(tài)。接著在機(jī)器人發(fā)球的同時，在HoloLens 2上也會呈現(xiàn)出玩家回球應(yīng)該在機(jī)器人那一端的目標(biāo)落點。即玩家在已知軌跡的情況下，如果能將球擊打回到對面球臺用虛擬光圈標(biāo)注的范圍內(nèi)即可獲得獎勵。

總的來說，系統(tǒng)會告知玩家他接球前的球的運動軌跡，以及他回球后的球應(yīng)該達(dá)到的目標(biāo)落點范圍。所有這些軌跡信息以及落點要求信息，都是以AR的形式通過HoloLens 2呈現(xiàn)在玩家眼前。即使面對乒乓球?qū)I(yè)運動員，機(jī)器人也會毫不示弱，高頻發(fā)球加上精準(zhǔn)落點要求也將考驗運動員的穩(wěn)定性與精準(zhǔn)度。這一協(xié)同訓(xùn)練方案實現(xiàn)了：

1. 在真實球桌空間上準(zhǔn)確穩(wěn)定顯示發(fā)球軌跡和目標(biāo)擊打區(qū)域

龐伯特發(fā)球機(jī)器人在發(fā)球時可以計算出在自身坐標(biāo)系里乒乓球的運動軌跡以及準(zhǔn)確落點，通過同步選手頭戴的Hololens2 的坐標(biāo)系和發(fā)球機(jī)器人的坐標(biāo)系，境騰科技可以在真實球桌3D空間上，用虛擬動畫效果呈現(xiàn)出酷炫的運動軌跡和炸裂的落點特效，給選手帶來從未經(jīng)歷的科幻體驗。

在實際運行測試中，即使選手戴著HoloLens2做比較劇烈的運動，選手看到的虛擬軌跡和落點仍然非常穩(wěn)定，選手頭戴HoloLens2時也沒有影響到運動狀態(tài)的不適感，讓我們不得不為HoloLens2強大的SLAM能力和巧妙的人機(jī)設(shè)計點贊。

2. 人工智能識別選手回球軌跡實時追蹤和落點得分判定

基于高通驍龍創(chuàng)新的RB5平臺，龐伯特智能乒乓球軌跡識別與分析系統(tǒng)可實時追蹤分析乒乓球的軌跡信息，利于人工智能技術(shù)，對乒乓球的飛行軌跡，落點，旋轉(zhuǎn)，速度等一系列參數(shù)進(jìn)行實時采集并進(jìn)行數(shù)據(jù)分析。

采用雙目攝像頭對普通乒乓球進(jìn)行軌跡捕捉，深度學(xué)習(xí)人工智能算法從選手回球到識別出軌跡延遲低于10ms，再通過高效的網(wǎng)絡(luò)傳輸?shù)紿ololens2和第三方視角的虛擬特效渲染整體延遲在50ms以內(nèi)，讓選手得到真假難辨的虛實結(jié)合體驗。回球的軌跡數(shù)據(jù)信息可以實時渲染也可以儲存在系統(tǒng)中，未來可以通過HoloLens2在球桌上回放，將數(shù)字娛樂信息疊加到現(xiàn)實運動中，更有效的提高運動員的訓(xùn)練效果，增加玩家的代入感和體驗感，將乒乓球運動數(shù)字化，電競化，給玩家?guī)砀锩缘捏w驗。

3. 真正用球拍發(fā)球的機(jī)器人

基于先進(jìn)的人工智能及機(jī)器人技術(shù)，龐伯特開發(fā)出了世界上第一款完全擬人型的乒乓球發(fā)球機(jī)器人。該機(jī)器人實現(xiàn)了手持球拍發(fā)球，完全模擬乒乓球訓(xùn)練過程中針對技術(shù)動作的多球訓(xùn)練環(huán)節(jié)，甚至可以發(fā)出很多專業(yè)選手才能夠打出的下旋上旋等特效。同時，智能傳感及創(chuàng)新的增強現(xiàn)實技術(shù)的引入，將該訓(xùn)練過程娛樂化，競技化，使訓(xùn)練更專業(yè)，讓運動更有趣。

4. HoloLens2眼鏡、機(jī)器人、回球軌跡追蹤識別設(shè)備和第三方視角零延時多協(xié)議通信

整個訓(xùn)練系統(tǒng)涉及了多個設(shè)備（Hololens2 眼鏡、發(fā)球機(jī)器人、 回球軌跡識別設(shè)備、 第三方視角設(shè)備）、平臺（Windows UWP、 Android、 Ubuntu、 iOS），和多種通信協(xié)議（TCP / UDP / 藍(lán)牙通信）。在無縫整合所有這些設(shè)備的同時，系統(tǒng)還保證了信息在各個設(shè)備中近乎零延時的傳輸，從而保證了用戶的最佳體驗。

5. 總結(jié)

這個方案中四大技術(shù)應(yīng)用的整合，開創(chuàng)性地將原本單一的技術(shù)領(lǐng)域充分融合，形成人機(jī)共融平臺。

完全仿人化的機(jī)器人在人類的運動中與人類協(xié)同互動；同時，基于創(chuàng)新的傳感技術(shù)，人工智能攝像頭對整個運動過程中的人，球，環(huán)境等數(shù)據(jù)進(jìn)行實時采集分析，指導(dǎo)機(jī)器人與人類進(jìn)行動態(tài)互動；利于創(chuàng)新的增強現(xiàn)實技術(shù)，機(jī)器人直接從三維空間的維度上向人類高效，直接的傳達(dá)信息。人工智能，智能機(jī)器人，增強現(xiàn)實，新一代通信技術(shù)等創(chuàng)新性技術(shù)在這一場景中得到了綜合應(yīng)用。

在搭建系統(tǒng)的過程中，我們突破了多個技術(shù)壁壘和難點，可以預(yù)見，這將為各個行業(yè)提供更廣闊的解決方案，為企業(yè)帶來豐厚的商業(yè)價值，極可能成為未來技術(shù)發(fā)展的一個方向。

原文鏈接：https://yivian.com/news/76831.html