應用於客家民族植物知識語言之智慧型語音及影像辨識功能建置

近幾年由於智慧型移動裝置的普及，市場上基於智慧型移動裝置之數位學習、智能教室及機器人陪讀學習也開始與日遽增。而這類的陪讀學習平台建構，語音識別通常扮演了一個重要的角色。本子計畫「應用於客家民族植物知識語言學習之智慧型語音及影像辨識功能建置」，目的在於利用數位學習與人工智慧語音技術及影像技術，發展一個互動式客語學習系統APP，以推廣客家的語言文化。互動式客語學習系統APP主要的學習情境為，利用客家民族植物圖片與相關資料作為題目，讓學習者看圖認識客家民族植物。在前一期的計畫中，我們已經建置了一套「客家民族植物辨識系統」，此系統能夠辨識超過200種以上的植物圖片，並且即時顯示此植物的客家語名稱、用途、及其相關知識。在本次計畫，我們預計再新增收集約400種類的植物，每一種植物蒐集足夠的影像做辨識，在深度學習網路模型的強化學習之後將能夠準確預測植物的類別。並顯示出這個照片的主題，提供此植物相關知識。本次計畫的另一個重點是加入客家語音辨識，讓學習者除了看圖認識客家民族植物外，也能用客語來試著說出正確的植物名，系統會針對其客語答案與發音，給予一個學習基準分數，讓學習者在學習的過程中，除了對客家文化的植物有多層面的了解外，也能提升客語發音及說的能力。這項學習系統APP在語音方面主要有兩個核心，客語語音識別及APP設計與實作。首先發展基於大規模非監督預訓練模型之客語語音識別模型，我們將基於wav2vec半監督語音辨識，將利用豐富資源的英語及中文，作為模型遷移的基礎知識，以生成出客語語音識別，此模型並具備辨識整體計畫所規劃之客家民族藥用、食用、器用等植物知識語言之能力。完成客語辨識氣後，將設計並實作互動式客語學習APP。