虛擬布袋戲表演及傳統樂器演奏系統-總計劃暨子計畫一：以傳統樂器指法之深度學習來支援布袋戲音樂演出

傳統木偶戲為台灣著名的一個娛樂節目。 在遠早的七十年代，一個著名的演員海戴先生兼具布袋戲創始人，將傳統的木偶劇（也被稱為Bu-Dai-Shi）於電視上播出，故此計劃之推廣有著全國性的影響。 傳統的Bu-Dai-Shi 秀對台灣於不同世代中皆有很強的影響力。因為不同電視節目的發展，雖然布袋戲所扮演的角色不是太重要。 但是，在台灣的傳統藝術上還是很受歡迎的。此計畫主要是使用電腦搭配外部的感測器來研發一個全新的布袋戲表演系統，目標為供年輕能能夠使用VR 與AR 之技術來操控布袋戲，已完成一個新的布袋戲表演。此計畫主要是從3D 的建模技術開始做研發，此技術允許使用者藉由擷取傳統木的資訊來完成一3D 模型。此3D 建模的步驟節省了使用者創建新腳色的時間與精力，將產出之高質量布袋戲腳色，在使用者的空手手勢下做操控。此計畫的第二部分為，使用外部的深度攝影機及感測器來追蹤使用者空手的手勢動作。其產生的結果，必須允許普通和專業的使用者能夠藉由使用空手來來操控布偶，並在電腦屏幕上演示其被操控之虛擬布偶行為。此計畫在第三部分的項目中，將進一步了解玩家的具體要求，搭配幾款不同類型的傳感器，來提供具體的特殊效果，如：武器的搭配、布偶的翻轉或是其他進階的特殊動作。最後，本計畫的第四部分使用手指標籤技術來作手部追蹤，目的為開發一系列傳統樂器之虛擬演奏，讓省用者能夠經由空手演奏傳統樂器，來支持新一代的大型布袋戲表演之展示。