以深度學習為基礎之常用台灣手語翻譯技術

專案詳細資料

Description

總計劃“基於深度學習技術之常用台灣手語翻譯及訓練系統” 以深度學習方法翻譯台灣手語(內容包括訓練資料準備,詳細特徵提取,基礎手勢識別,和連續手語翻譯以及訓練。 總計劃包括四個子計劃: 子計劃一:適用於深度學習訓練之台灣手語資料庫建置 子計劃二:支援手語辨識之表情暨示意動作終身式學習技術子計劃三:以深度學習為基礎之常用台灣手語翻譯技術子計劃四:以深度學習視覺辨識為基礎之台灣手語訓練系統 總計劃團隊包括計算機工程許多領域的教授,領域包括人機互動,軟體開發和深度學習。此外,台灣手語翻譯專家將確定翻譯系統中使用的句子範圍。測試資料將由台灣手語翻譯協會收集。第一個子計劃側重於翻譯的範圍定義,並將實作資料收集工具。資料庫管理系統將與資料收集工具整合。因此,可以採用容易的方式檢索所收集的手語資料集。第二個子計劃專注於手語影像的語義分割。面部表情將被識別並用作翻譯的基礎。第二個子計劃還提出了使用最少訓練資料的新方向。因此,將來該翻譯系統可以用於其他手語。第三個子計劃涉及主要的手語翻譯模組。 類似CNN神經網絡可用於識別基本手語手勢。隨著典型手語句子中手勢持續的時間變化,第三個子計劃還將提出新的按順序進行序列翻譯的方法(例如RNN,LSTM等),以精確地翻譯單詞和句子。第四個子計劃進一步分析兩隻手的骨骼骨架以及用戶面部的特徵。將實作一個訓練系統來給用戶打分,以顯示出用戶手語及標準手語句子的相似度。訓練系統可以進一步在用戶的輕量級設備中實現。 台灣手語自動翻譯是一個困難而又非常重要的研究領域。 如果實施得當,該貢獻將使那些依賴手語溝通的人以及那些在實際應用人機互動技術的人受益。 交付的系統可用於台灣公司的技術轉讓。 台灣手語資料庫及其資料庫管理系統也可以對手語翻譯感興趣的其他研究人員受益。
狀態已完成
有效的開始/結束日期1/08/2031/07/21

聯合國永續發展目標

聯合國會員國於 2015 年同意 17 項全球永續發展目標 (SDG),以終結貧困、保護地球並確保全體的興盛繁榮。此專案有助於以下永續發展目標:

  • SDG 4 - 品質教育
  • SDG 11 - 永續發展的城市與社群
  • SDG 17 - 為永續目標構建夥伴關係

Keywords

  • 台灣手語
  • 自動翻譯
  • 手語訓練
  • 深度學習

指紋

探索此專案觸及的研究主題。這些標籤是根據基礎獎勵/補助款而產生。共同形成了獨特的指紋。