留言討論


分享本文至 E-mail 信箱

當機器學習遇上 VR。DeepHand 為你打造 3D 世界的雙手

2016 年 06 月 27 日

美國普渡大學(Purdue University)團隊開發的系統「DeepHand」,以景深感測(depth-sensing)攝影機捕捉手部動作,再透過深度學習網絡從上百萬種手式中挑出最符合的版本,即時呈現在 VR 世界中。

圖片來源:Purdue University
圖片來源:Purdue University

除了 HTC VivePS MoveOculus Touch 現有的手持式操控設備,如何讓虛擬實境(VR)和擴增實境(AR)的使用者自然且直覺地使用雙手操控,可說是各家努力突破的一大門檻。

例如微軟研究團隊試著在手腕安裝紅外線相機偵測手部活動, MIT 研究員則透過電磁鐵感應器,把手指尖的動向回傳到系統中。而 Leap Motion 靠著體感控制器內建的兩個攝影鏡頭,紀錄下手部的動作數據,然後透過軟體在 3D 世界重建手掌的運動信息。

現在美國普渡大學則透過一個有 250 萬筆手勢數據的資料庫,教導機器學習系統理解真實世界的手部動作。當系統抓到竅門後,就能配合深度監測攝影機拍攝的畫面,找出符合的 3D 模型,同時預測接下來的手部變化,盡可能即時在 VR 世界投射出相對應的手部影像。

 

參考資料:

首圖來源:Purdue University

關於作者


Valerie

PanX 編輯,興趣多多,書籍雜食者。

留言討論


網站更新隱私權聲明
本網站使用 cookie 及其他相關技術分析以確保使用者獲得最佳體驗,通過我們的網站,您確認並同意本網站的隱私權政策更新,了解最新隱私權政策