台灣手語雙向翻譯技術

手語翻譯被視為是人機互動、自然語言處理和虛擬實境動畫的重要應用之一。基於我們由科技部補助的兩個計劃（109-2221-E-008 -067 和 110-2221-E-008 -082），我們提出一項為期兩年的新計劃。我們的第一個 3 年計劃提案只獲得了一年的批准，第二年的另一個計劃提案被接受了一年。在這個為期兩年的新提案中，我們將增強我們的模型，以用於實際的台灣手語翻譯。如第一年的計劃報告和本計劃提案的相關工作部分所示，我們的 WER（詞錯誤率）優於文獻中的大多數研究成果。但是， 我們僅使用公共數據集進行測試和比較。由於預算限制，我們無法聘請台灣手語專業人士進行數據收集。在這個新的兩年計劃提案中，我們將完成以下議題：• 台灣手語資料收集• 修改當前模型以減少參數• 將台灣手語直接翻譯成繁體中文文本的展示網站• 將繁體中文文本翻譯成骨架化手語• 將骨架化手語映射到虛擬替身動作• 完成一個元宇宙下雙向翻譯展示網站如果兩年計劃提案獲得合理支持，我們將聘請專業人員進行數據收集，並建立台灣手語翻譯的公共網站。我們當前的深度學習模型使用一個 3090 GPU 需要兩週多的訓練時間。開發一個好的、實用的翻譯系統是非常耗時的。我們正在努力減少參數以建立一個快速和有效的系統。 儘管如此，目前我們的測試模型能夠在幾秒鐘內翻譯手語。我們已經開發了一個測試網站。但是，由於版權問題，我們現在無法打開網站（我們使用大陸手語進行展示）。我們正致力於將中文文本翻譯成手語的虛擬形象手語。目前，我們使用公開可用的虛擬替身。但是，我們正在使用 VR 技術開發我們自己的虛擬替身。我們希望完成後的系統可以為台灣手語用戶做出貢獻， 更進一步希望翻譯技術可以用於不同語言的手語。