基於Transformer架構之開放式對話系統探討(1/2)

近年許多研究提出各種基於神經網路的對話系統，但模擬對話仍然是對話生成領域中最棘手的挑戰之一。對話系統以對話能力可分為主要兩種形式。第一個是任務導向或close-domain的對話系統，它的對話能力有限，但針對執行特定於任務時會非常有用任務導向的模型是為了完成特定的任務，例如智慧客服等。第二種對話系統是非任務導向或open-domain開方式對話系統。此對話系統試圖模仿人類真實的對話，但目前的模型仍然無法達到對話的順暢，因為使用者不一定有明確的意圖。而大多對話系統與其相關研究仍採用基於RNN架構Seq2Seq模型，此外Transformer在Neural Machine Translation （NMT） 領域上的表現遠超於基於RNN架構的Seq2Seq模型，但鮮少研究將基於RNN的Seq2Seq模型和Transformer模型在對話生成領域上進行評估和比較。此外，機器翻譯與對話系統常用的自動評估指標，如BLEU、Perplexity等，都無法有效套用在開放式對話系統的評量。如(Liu et al., 2016b) 提出評估指標在使用閒聊性質的資料集訓練模型時和人工判斷是呈現弱相關。因此本計畫會採用基於RNN的Seq2Seq模型和Transformer為基底的模型，並使用對話相關資料集進行對模型進行訓練。本計畫將著重在於開放式對話這個任務進行探討，並且使用多種量化分析指標和質性分析來證實二者模型架構對於open-domain對話生成領域中的合適性。人工評估在對話系統中是一項重要的評估方法，但如何執行人工評估在各研究中存在著許多差異，也沒有固定標準。因此本計畫希望透過分析各個自動評估方式和人工評估之間的相依性和可靠性，進而推薦有效自動評估方式的通用公式，期待對開放式對話系統之評量方法做出貢獻。最後，本計畫部分成果預計延伸至本人目前正在執行的科技部產學計畫，進一步開發精準行銷與智慧行銷客服等應用。