視覺化立體整合展示大氣海洋戰場情資平臺

本文提出一種基於深度影像之即時手勢辨識系統，並將系統應用於以NASA world wind為基礎之戰場環境情資平臺的操控。我們所開發的以NASA world wind為基礎之戰場環境情資平臺，除了可顯示最基本的世界地圖資訊之外，它也提供了許多地理與環境資訊，可以滿足國軍基層部隊的需求。 系統實做的方法是先對深度攝影機讀到的深度影像與骨架資訊做必要的前處理後，留下手臂資訊，再用手掌切割演算法將手掌擷取出來，接著利用手掌輪廓上每一個點到手掌質心的距離曲線來當描述手型的特徵，由於這種特徵會受手掌旋轉角度及手掌大小等因素影響，不適合直接當手型辨識特徵使用，故本論文採用快速傅立葉轉換的方式，將該距離曲線取樣後轉換到頻率域上的一組快速傅立葉係數。由於不同的手型會產生不同的係數值，所以本論文採用決定樹的方式，根據係數值來辨識六種手型。之後，再利用這些手型和雙手上下左右揮動的動作加以組合，轉換成操控戰場環境情資平臺所需的六種指令集。 本系統的研發目標是要能提供軍方人員一套新一代的戰場環境平臺，除了可利用傳統的鍵盤與滑鼠的操控之外，還可引進人機介面的最新技術，藉由手勢操控來取代傳統的輸入裝置。最後，本系統之各項手勢操控功能皆有透過各種不同之實驗設計來驗證。在手型正確率實驗中，其正確率達96.1%。在組合手勢偵測與辨識實驗中，即使是在不同角度時，整體平均的辨識正確率亦可高達97.9%。