留言討論


分享本文至 E-mail 信箱

宋世祥/「因為看得見手,所以我存在!」~ 虛擬實境(VR)藝術與設計的人類學田野筆記

「在虛擬的世界裡,我們怎麼發現自己作為人類的存在?」

今年的 2016 CES 展上,各大電子廠商都推出了自家品牌的虛擬實境的穿戴式設備,許多分析也都提到這將會是未來幾年內不可忽視的趨勢。對於研究物質文化的人類學家來講,這也是一個有趣的題目,過去我們都要探論文化的「物質性」(materiality),如今我們將會因為虛擬科技的普及,要開始面對「非物質性」(immateriality)。

但人到底會怎麼與虛擬實境互動?如何設計人與虛擬實境的互動?人又如何在虛擬實境當中得到「真實感」?

這些問題看起來很哲學性,但實際上已經離我們的真實生活不遠。

圖片來源:百工裡的人類學家
圖片來源:百工裡的人類學家

在今年(2016)1 月 17 日,在法國第八大學任教的陳珠櫻教授,這次帶著研究室的兩位博士一起來到台北當代藝術館,分享他們所做的虛擬實境藝術研究外,也舉辦了一個「知了:比手畫矯」互動藝術工作坊,跟現場觀眾介紹他們最新的研究成果。

在這場工作坊中,陳教授先介紹了他們在法國第八大學的虛擬與擴增實境實驗室研究室(Paris 8 UniversitylaboratoriesINRéV& SFL, CNSAD of Paris),也介紹了自己與兩位新科博士所在做的研究。可以看得出來,這個研究是致力於研究虛擬實境技術如何拓展藝術的邊疆,帶來全新的藝術體驗。

讓我印象深刻的是 Jean-François JEGO 的一個作品 ,舞台上的兩個布幕都有影子投影,其中一個是虛擬演員的影子,另外一個是真人的影子。就看真實演員穿梭在兩個布幕之間,但在實際的表演之中,我們幾乎無法去辨別那個影子屬於真人?哪個影子又是屬於虛擬演員?

在介紹完三個人的作品後,陳教授與兩位同事開始示範他們帶來的虛擬實境體驗平台「CIGALE: an interactive artistic platform to explore gesture expressivity」,及其中的作品《互・動》與《手語詩吟唱:無聲的發言》。

圖片來源:百工裡的人類學家
圖片來源:百工裡的人類學家

《互.動》與《手語詩吟唱:無聲的發言》其實可以算是一個作品的兩個面向。陳珠櫻教授提到,在這個研究室中他們使用動態捕捉技術,搭配基因遺傳學演算法,所以在虛擬實境之中創造出了一個「虛擬演員」。這個虛擬演員透過 Kinect 捕捉眼前的人所做的動作,並且透過程式系統的學習與演算,產生出相似又有所不同的動作反應,讓人感受有真實的互動感。

《互.動》(圖片來源:百工裡的人類學家)
《互.動》(圖片來源:百工裡的人類學家

其中,《互.動》強調動態捕捉技術,讓人透過自己的影子與虛擬演員的影子互動,而《手語詩吟唱:無聲的發言》則讓參與者接著戴上 Oculus Rift,進入到奇幻的虛擬世界裡與裡面的虛擬演員進行互動。

《手語詩吟唱:無聲的發言》(圖片來源:百工裡的人類學家)
《手語詩吟唱:無聲的發言》(圖片來源:百工裡的人類學家

由於這兩個作品是連結在一起的,正好提供了一個很清楚的情境脈絡,可以觀察人如何在真實世界及虛擬世界和一個虛擬角色互動。上去體驗的參加者,就先和白幕上虛擬演員的影子互動,再戴上 VR 穿戴設備,進入到虛擬世界裡跟虛擬演員互動。

先來談談虛擬演員好了,別於一般精緻的電玩角色有比較精緻的外型與複雜的 AI。在「知了」中的虛擬演員只有簡化但藝術化後的「骨架」,而且沒有自己的「性格」,只能在判別與學習互動者的動作之後,做出相似又相異的動作,由於這些動作具有些微的時間差,所以讓人感覺就像是真的在互動一樣。

我們可以說這個工作坊本身來說即是一「表演藝術」與「行動藝術」。除了投射在白幕上的兩個影子就是最主要的演員外,參與整個虛擬互動的過程,及觀賞人與虛擬演員的互動,都具有藝術性與反思性。

圖片來源:百工裡的人類學家
圖片來源:百工裡的人類學家

《互.動》從虛擬到 2D 的真實

在現場花點時間觀察就可以看到民眾體驗整個設計的過程。在《互.動》這個關段,還沒穿戴上 VR 設備之前,參與者會注意到自己的影子如何與虛擬演員的影子互動,希望共同在白幕上創造出「畫面」。擁抱、拳擊、共舞等,都是參與者常擺出的姿勢,用來和虛擬演員的影子互動。參與者也很清楚地把頭擺向右手邊的白幕,確認自己動作所創造出來的影子,和虛擬演員的影子正共同形成一個「畫面」。

參與者在這一階段是會感受到「白幕上的投影」「觀賞者」的存在,這個認知會改變他們的動作模式,許多的動作都帶有「表演」的性質。在這過程裡,虛擬演員讓人感覺真實地存在於白幕上,參與者和這個演員的互動,在主觀感覺上其實也是透過白幕平面上自己的「影子」來共同完成。

這是一種真實世界投射在 2D 平面上的真實。

圖片來源:百工裡的人類學家
圖片來源:百工裡的人類學家
《手語詩吟唱:無聲的發言》戴上 VR 裝置後,和虛擬角色的互動轉變(圖片來源:百工裡的人類學家)
《手語詩吟唱:無聲的發言》戴上 VR 裝置後,和虛擬角色的互動轉變(圖片來源:百工裡的人類學家

《手語詩吟唱:無聲的發言》

而當進入《手語詩吟唱:無聲的發言》這個階段,戴上 VR 設備後,可以發現除了少數可能有表演經驗的參與者,大部分的人都陷入了一個探索互動的過程。幾乎每個人都想多花點時間想要觀察眼前的虛擬世界、判斷眼前的虛擬角色的動作模式。等到確認自己的動作會造成虛擬演員的反饋後,才慢慢開始有了比較大的動作,想看看「他」會因為自己的動作給出什麼樣的動作反應。

在這第二階段當中,可以看到「表演」性的消失。VR 穿戴設備截斷參與者對於環境中對於觀賞者的知覺,進而專注在與眼前虛擬演員的互動。接著,當判斷出眼前的虛擬演員可能做出來的動作有限,至少僅有上半身與手部動作,且動作沒有「意圖性」,只有「相似又相異」的特徵,參與者因為感覺到互動的極限,也停止了自己的動作,拿下頭上的 VR 設備。

換言之,從作品名稱《手語詩吟唱:無聲的發言》來發想,當參與者發現虛擬演員也沒有想要跟我溝通的意圖,參與者也停止了溝通,回到了真實世界。

《手語詩吟唱:無聲的發言》參與者戴上 VR 裝置後看到的影像(圖片來源:百工裡的人類學家)
《手語詩吟唱:無聲的發言》參與者戴上 VR 裝置後看到的影像(圖片來源:百工裡的人類學家)

被忽略的手:「虛擬世界」需要更能凸顯人的真實存在

虛擬實境不光是要創造出一個虛擬的世界,更重要的是要創造出一個無法判別現實與虛擬的介面。在《手語詩吟唱:無聲的發言》之中,我們戴上了 VR 眼鏡後,在視覺上我們即進入了一個虛擬世界,但是這個世界只有自己的眼睛,卻沒有我們的手。我頓時無法在和虛擬角色互動的過程中得到了一種「不確定」感,我不知道我的手到底存不存在。

在一般沒有肢體缺損的狀況下,我們和世界的互動其實包含了「手」與「身體」的存在。特別是手,我們用視覺確認了手的位置,也透過視覺確認了大腦對手下的指令有發生作用,並且針對作業的結果做出修正。也因為手能如此在我們的視覺裡如我們的意願自由行動,我們更能感受到身體的主體性,以及「自我」的存在。

只是,在日常生活之中,我們對於手在視覺裡的位置都太習以為常,只有當這雙手從視覺中消失,才讓我們注意到其重要性。也正因為如此,我也建議未來虛擬體驗的設計者,要注意「手部」的視覺應再現於虛擬世界的視覺之中,這才能創造出更為接近真實的虛擬體驗。

「虛擬角色」v.s.「虛擬演員」對於互動設計的啟發

另外,這個作品之中也讓我們意識到「虛擬演員」(virtual actor)不同於「虛擬角色」(virtual role)。如同在表演藝術之中,演員與角色之間一種辯證關係。演員可以演出動物、但是要讓人「入戲」,虛擬演員的「演」是經過演算法所設計出來的。如果虛擬演員只有某種「行為模式」,而且很快地就被判斷出這個模式的極限,那能和人所產生的互動也會很有限。

相反地,大量在電玩遊戲之中出現的「虛擬角色」則因為為了讓玩家們能夠進入遊戲世界裡,所以製作公司多認真地設計這些角色的造型、性格、表達方式等。這讓玩家能夠更輕易地感受到互動的便利性與樂趣。

當未來的設計師需要設計人物在虛擬世界裡服務時,應該要記住,所要設計的應該是「虛擬角色」,而不是「虛擬演員」。

 

全文轉自:

封面圖片來源:Oculus Quill VR Painting Tool

關於作者


宋世祥

物質文化人類學家,目前在國立中山大學創新創業學院擔任專案助理教授,一邊帶領創新創業教育,一邊還經營「百工裡的人類學家」臉書粉絲專頁與實體社群,希望能推動人類學得大眾化及產業創新應用。

留言討論


網站更新隱私權聲明
本網站使用 cookie 及其他相關技術分析以確保使用者獲得最佳體驗,通過我們的網站,您確認並同意本網站的隱私權政策更新,了解最新隱私權政策