手勢與語音結合或成VR下一代交互方案

VR技術的出現使得遊戲體驗得到瞭極大的豐富,許多遊戲廠商都開始結合虛擬現實技術開發遊戲。但是虛擬現實技術可不止有VR,下一代的技術可能是手勢和語音的結合。

13

雖然虛擬現實還處於萌芽階段,但人們越來越難以忽視其日益增長的勢頭。遊戲公司已經在開發虛擬現實遊戲,品牌商把這個新興媒介作為新的營銷方式,娛樂媒體也在探索新的敘事方式,試圖挖掘出的虛擬現實的潛力。先把這些炫酷的內容放在一邊,目前虛擬環境中的UI設計尚未取得任何的進展。UI設計是虛擬現實融入大眾文化所面臨的最大挑戰之一,而這個問題還沒有找到一個解決方案。

虛擬現實中的UI設計並不容易,同時也是一個不同尋常的挑戰。要找出具體的解決方案,我們需要嘗試設計出一種符合日常生活的自然操作界面。我們如何在用戶界面中重現真實世界的自然操作呢?UI是否需要通過手勢進行操作,而不是按鈕和下拉菜單呢?用戶界面設計在這個新的虛擬世界中又會如何演變?

目前還沒有找到一個最佳的實踐方式,也沒有任何的標準,我們仍然在設法弄清楚什麼才是有效的UI,能讓對我們感到自然和直觀。我對尋找一個熟悉自然的新用戶界面設計的挑戰感到異常興奮,而這也是虛擬現實世界挑戰的獨特之處。

1. 早期VR中的UI

目前,虛擬現實中的UI由類似網頁的設計和一些控制器組成。大部分的按鈕界面就像是網站的選項、箭頭和下拉菜單。這種交互並不自然,在虛擬環境中進行交互時通常讓人感覺很繁重。大部分的主流頭顯生產商都引入瞭手柄風格的設備來幫助用戶在虛擬世界中進行導航。Oculus Rift日前發佈瞭一款優化的控制器Oculus Touch。

HTC Vive則提供瞭兩個手部控制器,能實現精準的追蹤和觸覺反饋。PSVR則沿用原來的Plastation Move控制器。所有這些手柄風格的設備很適合遊戲操作,同時也是十分拉風的藝術應用。但在觀看電影、閱讀故事和新聞內容時感覺並不太自然。在現實中,我們不會通過手柄進行移動。我們需要一種更自然,更符合現實的方式來與VR環境進行交互。

還記得iPhone之前的智能手機嗎?它們使用手寫筆、笨重的鍵盤和桌面設計。直到蘋果推出瞭多點觸摸,我們才意識到我們使用瞭錯誤的移動計算方式。多點觸摸是移動設備中的突破性UI,並為大眾帶來瞭下一個計算平臺:手勢界面設計。我們已經從鍵入命令時代發展到觸控時代。那麼對虛擬現實而言,下一個有意義的計算界面又是什麼呢?

2. 手勢

我們低估瞭雙手在現實交互中的作用。指、拿、翻、抓、觸摸和感覺等等,都需要我們的雙手和手指。在虛擬現實中復刻手部是一件復雜的事情,但一些公司已經在實驗手部追蹤,試圖找出更為真實自然的方法把手勢操作融入到虛擬現實中。

Leap Motion想出瞭一個方法,讓Leap Motion的設備來追蹤用戶的雙手,以此來實現手勢操作。無需手套的手部追蹤。

Manus VR正在研發首款消費者版虛擬現實手套。他們十分巧妙地把手指和手勢操作嵌入到虛擬世界中。

微軟最近發佈瞭一些VR手部追蹤的原型設備。借助Kinect技術,他們可以更加準確地在虛擬現實中模擬出觸感。

這些技術進步對虛擬現實中的UI機制而言很有幫助。然而,Kinect和Leap Motion的實驗表明瞭人類並不喜歡長時間通過手勢進行操作。單純的手部追蹤並不能成為未來虛擬現實UI系統的答案,但這將會為下一代計算界面提供靈感,並有可能影響未來的虛擬現實。

3. 語音

所有的科技巨頭都在押寶“對話即平臺”(conversation as a platform)將會成為下一個范式轉移,顛覆我們與計算機的交互方式。我本人十分相信VR中的UI設計將會從這個新的“對話及平臺”中獲益甚多。沒錯,我們是的,我們已經研究自然語言處理的解決方案已經有一段時間,而目前也沒有找到一個令人滿意的答案。但自然語言處理已經變得越來越好,更加有用、開放和可靠。

我的Amazon Echo效果出奇的好。而蘋果也在發力Siri語音系統,現在Siri已經可以與其他應用和公司進行通信。三星最近收購瞭Viv,正式進軍語音助手市場,值得一提的是Viv其團隊原來也是Siri的開發者,在Siri被蘋果收購後,該團隊又成立瞭Viv。現在,我們不難發現技術正沿著哪個方向發展,而這些科技巨頭正在努力解決自然語言處理的問題。

自然語言處理和手勢操作的結合將會形成一種強大而又熟悉的交互方式。我們已經漸漸擺脫物理觸控的交互的方式,並轉向一個基於語音和手勢的UI系統,就如同自然的人類交互方式一樣。快速的手勢操作和語音命令可以幫助打造一個完美的虛擬現實UI系統。

處於虛擬現實的萌芽期令人感到十分興奮,因為我們有機會去定義、發明可以經受時間考驗的標準和最佳實踐,就如同當年的拓荒者、先驅一樣。這將會成為與虛擬現實進行交互的自然方式。可以肯定的說,VR控制器不會是虛擬現實UI系統的最終答案。

from:yivian

Comments are closed.