舞台上，表演者唸「口白」不再只是「發音」及「語意」，而能與劇場場景設計連動，情緒高昂、語調高亢，水波場景波濤洶湧，天色轉陰；表演者語調平穩，則呈現平穩的潮水，天色明亮，觀眾隨著表演者的音調起伏，感受到劇場跨感官的敘事能量，帶來前所未有的觀演體驗。
《潮來知音》語音互動版 首登布拉格劇場設計四年展
以上敘述的場景為今（2023）年6月在捷克舉辦的「第15屆布拉格劇場設計四年展（Prague Quadrennial of Performance Design and Space，簡稱PQ」，在「臺灣國家館」中，由台灣技術劇場協會邀請曉劇場擔任策展單位，將曉劇場原創劇作《潮來之音》，加上資策會數位轉型研究院文化科技團隊共製展演實例《潮來之音》語音互動版，導入AI語音辨識即時視覺影像生成技術，透過聲音擷取，成為影像、燈光變化的元素，此一運用演員聲線即時渲染生成大頻寬視覺影像，展現科藝兩者高度融合的演示成果。
呼應PQ2023主軸「RARE」，即具備獨特與稀有性的原始本質，緊扣現今生存環境、疫情過後的未來世界和劇院樣態，策展團隊將本屆臺灣國家館定調為「稀有之船—台灣The Rare Ship, Taiwan」，將島嶼獨特的型態比喻為一艘承載著多樣人文、山林潮水、未來科技的稀缺之船，涵蓋「人之船、多元之船、科技之船」三條策展支線，其中「科技之船」由曉劇場投入《潮來之音》等原創劇本，並委由資策會擔任數位轉譯顧問、技術研發夥伴，導入AI語音辨識即時視覺影像生成技術，共製《潮來之音》語音互動版。
跨界創意激盪 科技加值展演藝術
策展之初，展演團隊對科技加值於現有劇作較難有實際想像，資策會顧問團隊以數位轉譯顧問服務，輔助展演團隊剖析劇作文本與過往展演樣態，掌握「多台詞」等特點，深入探索各項數位加值可能。「如何透過某種科技加值，讓唸台詞不只是唸台詞，如何讓全球觀眾在觀賞展演時，能感受到劇作即演員要傳達的訊息」，成為關鍵提問，也讓展演團隊與科技團隊有了共同努力的目標。
為此，資策會數位轉譯顧問團隊提出「人體五感接收疊加」科技加值方案，導入「AI語音辨識」技術，當演員讀出一段台詞，系統即刻解析語音中的音量、音頻、語速等聲紋數值，並將數值傳送至影像控制系統，即時驅動虛擬場景物件元素產生相應的動態變化，再經由12K大頻寬顯示呈現在觀眾眼前。
以這次《潮來之音》表演為例，當表演者情緒激動高亢大聲的唸白，AI語音辨識系統會接收到大音量、高音頻等聲紋數據，並即時將數值轉譯為圖像驅動訊號，觀眾會在大螢幕上看到場景轉變為陰沉的天色與洶湧的浪潮；而當表演者情緒平緩的小聲唸口白，AI語音辨識系統接收到較小的音量數值、較低的音頻數據，驅動影像呈現出明亮的天色與平穩的潮水。
展演團體提問，數位轉譯投入AI處方箋
《潮來之音》語音互動版文化科技劇作，啟發自展演團隊提出的關鍵議題，經數位轉譯團隊開立AI處方箋，由科技技術團隊開發AI語音辨識即時生成視覺影像技術，讓一句台詞所傳達的訊息，不再只是由聽覺接收，而是疊加了視覺體驗，具體呈現如情緒等細緻資訊。也由於聲音視覺化科技導入，每一場演出皆會因應演員當下的聲音變化，構組有別以往的畫面呈現，使演出的「獨一無二」特性更為顯著，為喜愛劇作的民眾添一筆「再進劇場」的誘因。
本文作者：數轉院文化科技中心梁善淳
