多語言場景文字偵測與辨識機制

我們的生活周遭處處可見各式招牌、路牌、看板、標語與廣告等，隨時隨地傳遞豐富文字訊息。所謂場景文字即是在一般影像中會出現的文字，它們提供了該畫面可靠的資訊，若能自動地偵測並辨識場景文字，將可對於包括自動翻譯、場景理解、智慧城市發展、機器人技術、自動駕駛、協助視障者等各種潛在應用有很大的幫助。場景文字辨識目前為圖形識別與電腦視覺研究學者專注的議題之一，可能的研究挑戰在於畫面中可能出現的多型態文字、多國文字、傾斜文字、不同尺寸文字、外物遮蔽、類文字圖案紋理干擾、光線與陰影等。為了達到高準確率以符合未來實用需求，深度學習技術是目前場景文字分析的主要方法。本研究利用深度學習技術開發場景文字偵測與辨識機制，有鑑於之前我們舉辦人工智慧競賽-繁體中文場景文字辨識競賽的經驗，發現場景文字中的字元偵測對於包括文字辨識與語言分類都有很大的助益。本研究發展基於字元偵測模型，透過弱監督學習的方式以字串標記資料訓練字元偵測模型。實驗顯示在英數字與中文字的偵測都有很好的效果，並在處理多走向場景文字辨識任務中取得較佳的成績，也讓後續的辨識模型可採用較輕量的字元辨識方法。