一種結合SVM/CNN深度學習架構以改善HEVC編碼效能及計算複雜度之研究

上年度計畫中，我們針對所提出的先導性HEVC編碼技術(半色調畫面內預測編碼和雙向絕對誤差和畫面間預測編碼)，探討研究利用支持向量機(SVM)應用於深度決策和模式決策中，以降低其計算複雜度。實驗結果顯示利用SVM技術在畫面內預測編碼可以減少22%的編碼計算時間，但平均只增加0.09% 的碼率(BDBR)。另外，在畫面間預測編碼部分，實驗結果也顯示SVM可以減少30%的編碼計算時間，但也只增加不到0.1% 的碼率。目前所提出的SVM機制，不但已經實現在HEVC參考軟體中，這些研究成果也發表在如GCCE..等重要的國際會議上。由於針對畫面內及畫面間預測編碼中深度和模式分類所開發出來的SVM方法有非常高的分類正確率(平均98%正確率) ，因此平均碼率只增加0.09% 而已。近幾年以卷積神經網路 (CNN)為基礎的深度學習技術已經廣泛地應用在HEVC編碼技術上，本計畫擬延續上年度計畫，我們將利用上年度已發展出來具高正確率分類的SVM技術與CNN 技術相結合並應用在HEVC編碼技術上。首先以發展出來具高正確率分類的SVM為基礎將影像分類成影像特性相近的各資料子集合，接著以卷積神經網路技術分別應用於各影像特性相近的資料子集合，如此更能訓練出更精確的模型，此結合SVM/CNN技術在編碼效率或者降低其計算複雜度方面皆可比單一CNN模型有更好的性能表現。第一年我們將探討研究此結合SVM/CNN新型架構在編碼效率之性能表現並與傳統單一CNN模型技術的性能比較。第二年我們將探討研究此結合SVM/CNN新型架構在降低編碼計算複雜度之性能表現並與傳統單純使用SVM 技術或CNN模型技術的性能比較。第三年我們將整合此新型SVM/CNN技術同時能增進改善編碼效率並降低其計算複雜度架構，將針對各量化參數(QP)找出最佳或次佳SVM/CNN模型，並實現在HEVC參考軟體中，並與原始HEVC編碼技術之編碼性能和計算複雜度作比較，探討其優劣。