美國普渡大學（Purdue University）團隊開發的系統「DeepHand」，以景深感測（depth-sensing）攝影機捕捉手部動作，再透過深度學習網絡從上百萬種手式中挑出最符合的版本，即時呈現在 VR 世界中。

除了 HTC Vive、PS Move 和 Oculus Touch 現有的手持式操控設備，如何讓虛擬實境（VR）和擴增實境（AR）的使用者自然且直覺地使用雙手操控，可說是各家努力突破的一大門檻。

例如微軟研究團隊試著在手腕安裝紅外線相機偵測手部活動， MIT 研究員則透過電磁鐵感應器，把手指尖的動向回傳到系統中。而 Leap Motion 靠著體感控制器內建的兩個攝影鏡頭，紀錄下手部的動作數據，然後透過軟體在 3D 世界重建手掌的運動信息。

現在美國普渡大學則透過一個有 250 萬筆手勢數據的資料庫，教導機器學習系統理解真實世界的手部動作。當系統抓到竅門後，就能配合深度監測攝影機拍攝的畫面，找出符合的 3D 模型，同時預測接下來的手部變化，盡可能即時在 VR 世界投射出相對應的手部影像。

參考資料：

• DeepHand motion tracking enters the VR arms race
• Purdue University