深度學習的基礎技術革新：針對最佳化方式、網路結構、及模型複雜度(1/3)

本計畫將研發深度學習模型的基礎技術。我們以基礎技術為目標，因為我們不以單點應用的突破而滿足。深度學習已成為當今人工智慧的基石之一，在深度學習基礎技術上的突破將能帶來全面性及規模性的革新。本計畫的三大目標如下。1. 深度學習最佳化方法的研發及突破，特別是研究反向傳播以外的最佳化方式，以打破反向傳播演算法帶來的限制。2. 深度學習複雜度的研發及突破，特別是「過度參數化」的網路及「簡化」網路如何影響模型的最佳化及泛化能力。3. 深度學習網路結構的研發及突破，並搭配第一和第二目標設計相應的網路結構。針對上述三個目標，我們都已經至少有初步想法，且其中第一項已有初步成果刊於MIT Neural Computation。目前的實驗結果顯示上述三個方向都有值得繼續深入研究的價值。