新世紀(5G&B5G)智慧車載網路前瞻技術研究-利用深度強化學習達成5G/B5G資料中心之流量優化

隨著5G/B5G引進車載網路,主幹網路中的流量日益提升。因此,資料中心流量優化成為滿足移動用戶所需各種服務的關鍵問題。傳統上,資料中心流量是由網路管理員或固定的TCP壅塞控制協定配置。不幸的是,手動解決方案受到管理員的經驗所限制,且無法大量佈建到多個資料中心。而TCP壅塞協定只是一組簡單的規則,因此可能無法適用到複雜的資料中心網路流量。我們認為近年所發展的人工智慧,尤其是深度強化學習,很適合資料中心的流量控制和優化,因為TCP確認封包(ack)可以作為策略學習機制的回饋。在最近的深度學習研究中,深度強化學習已被證實能被廣泛運用且穩固,例如:DeepMind中用於AlphaGo的深度強化學習。根據資料中心的數量,可以適當地採用不同的深度強化學習方案(例如:單代理或多代理)。具體而言,我們擬定的工作包括以下四個子任務:1)建立5G/B5G資料中心網路環境:在本計畫之中,我們將研究基本的Dumbell拓樸,並考慮了當前常用在資料中心的兩種常用拓樸,JellyFish及Spine-Leaf。分析這些拓樸上的特性,以及如何建構這些網路環境。2)單代理深度強化學習的流量管控:比較各種單代理強化學習的框架,以找出何種框架在處理資料中心網路流量優化的議題上具備更好的效能,並找出其更好效能的理由。3)多代理深度強化學習的流量管控:參考Alert Correlation Framework的框架,利用單代理強化學習模型進行修改,通過調整模型,使得多代理強化學習框架可以使用在交換器等有多個伺服器的系統。4)實作小型資料中心進行效能測試:驗證單代理以及多代理架構的有效性,佈署實體設備,實作小型資料中心,根據不同的拓譜架構,測試流量控制的成效。上述任務的最終目的在於為資料中心流量最佳化發展出一個實際可行的深度強化學習解決方案。