裝備仿真人機(jī)交互旗語識(shí)別技術(shù)

1 概論
1.1 虛擬現(xiàn)實(shí)與裝備仿真
1.2 模式識(shí)別領(lǐng)域的深度神經(jīng)網(wǎng)絡(luò)
1.2.1 深度神經(jīng)網(wǎng)絡(luò)
1.2.2 典型的深度卷積神經(jīng)網(wǎng)絡(luò)模型
1.2.3 評(píng)估標(biāo)準(zhǔn)
1.3 裝備仿真人機(jī)交互接口
2 旗語識(shí)別技術(shù)
2.1 旗語信號(hào)與捕捉
2.2 動(dòng)作采集與識(shí)別
2.2.1 動(dòng)作采集
2.2.2 信號(hào)預(yù)處理
2.2.3 特征提取
2.2.4 分類識(shí)別
3 基于單目視覺的人體骨架提取
3.1 基于背景建模的人體輪廓檢測(cè)
3.1.1 核密度估計(jì)背景建模
3.1.2 基于相關(guān)系數(shù)的前景區(qū)域檢測(cè)
3.2 基于形態(tài)學(xué)的骨骼提取研究
3.2.1 距離變換算法
3.2.2 基于數(shù)學(xué)形態(tài)學(xué)細(xì)化方法
3.3 人體姿態(tài)骨架模型建立
3.3.1 骨架關(guān)節(jié)點(diǎn)模型建立
3.3.2 鏈碼遍歷骨架算法
3.4 結(jié)果分析
3.4.1 算法實(shí)現(xiàn)流程
3.4.2 測(cè)試實(shí)驗(yàn)與結(jié)果
3.5 小結(jié)
4 基于深度信息的人體姿態(tài)特征提取
4.1 深度圖像原理
4.1.1 深度圖像概念
4.1.2 深度圖像的偽灰度表示
4.2 深度圖像獲取方法研究
4.2.1 深度圖像獲取方法
4.2.2 基于結(jié)構(gòu)光深度獲取優(yōu)化
4.2.3 基于結(jié)構(gòu)光的深度傳感系統(tǒng)環(huán)境分析
4.3 基于深度信息的骨架提取
4.3.1 基于深度信息的人體輪廓分割
4.3.2 基于深度信息的骨架提取
4.3.3 改進(jìn)的基于深度信息骨架提取方法
4.3.4 基于深度的骨架結(jié)構(gòu)優(yōu)化
4.4 結(jié)果分析
4.4.1 基于深度信息的人體與骨架的提取效果
4.4.2 基于深度信息的骨骼節(jié)點(diǎn)匹配效果分析
4.5 小結(jié)
5 基于神經(jīng)網(wǎng)絡(luò)的旗語識(shí)別研究
5.1 基于空間位置的旗語識(shí)別方法
5.1.1 手臂位置的檢測(cè)
5.1.2 基于空間位置旗語的識(shí)別方法
5.2 基于深度信息的人體模型建立
5.2.1 旗語手臂運(yùn)動(dòng)約束
5.2.29 -DOF人體骨架模型建立
5.3 基于BP神經(jīng)網(wǎng)絡(luò)的旗語識(shí)別方法
5.3.1 神經(jīng)元
5.3.2 BP網(wǎng)絡(luò)算法原理
5.4 基于BP神經(jīng)網(wǎng)絡(luò)的旗語識(shí)別系統(tǒng)的實(shí)現(xiàn)
5.4.1 基于關(guān)鍵幀的旗語動(dòng)作提取原理與方法
5.4.2 BP神經(jīng)網(wǎng)絡(luò)輸入特征的構(gòu)建
5.4.3 旗語樣本庫的建立
5.5 BP網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)優(yōu)化
5.5.1 輸入與輸出層設(shè)計(jì)
5.5.2 隱層設(shè)計(jì)
5.5.3 激勵(lì)函數(shù)選擇優(yōu)化
5.5.4 BP網(wǎng)絡(luò)的訓(xùn)練流程
5.5.5 實(shí)驗(yàn)結(jié)果
5.6 結(jié)果分析
5.6.1 旗語識(shí)別實(shí)驗(yàn)環(huán)境設(shè)計(jì)
5.6.2 旗語動(dòng)作識(shí)別實(shí)驗(yàn)
5.6.3 靜/動(dòng)態(tài)旗語識(shí)別結(jié)果分析
5.6.4 實(shí)驗(yàn)分析
5.7 小結(jié)
6 基于可穿戴傳感器的旗語動(dòng)作數(shù)據(jù)采集與處理
6.1 基于可穿戴傳感器的旗語動(dòng)作采集方法
6.2 基于9軸姿態(tài)傳感器的動(dòng)作信號(hào)采集流程
6.3 旗語信號(hào)采集平臺(tái)搭建
6.3.1 WT901C姿態(tài)傳感器采集設(shè)備
6.3.2 旗語信號(hào)采集平臺(tái)
6.4 旗語動(dòng)作模型
6.5 一維信號(hào)檢測(cè)分割技術(shù)
6.6 基于時(shí)間序列變化點(diǎn)檢測(cè)的旗語信號(hào)分割模型
6.7 算法研究及相關(guān)模型建立
6.7.1 旗語動(dòng)作時(shí)間序列三維采樣散點(diǎn)模型建立
6.7.2 基于滑動(dòng)模型的時(shí)間序列類間差異度函數(shù)建立
6.7.3 差異度函數(shù)閾值模型建立
6.7.4 一維旗語信號(hào)特征函數(shù)建立
6.8 數(shù)據(jù)導(dǎo)入及差異度函數(shù)閾值確定
6.9 小結(jié)
7 基于融合數(shù)據(jù)的一維及二維CNN旗語識(shí)別研究
7.1 基于時(shí)間序列的一維CNN網(wǎng)絡(luò)
7.2 基于9軸旗語信號(hào)的一維CNN結(jié)構(gòu)
7.2.1 基于方位角信息解算的9軸數(shù)據(jù)融合算法
7.2.2 卷積層設(shè)置
7.2.3 激活函數(shù)
7.2.4 池化層設(shè)置
7.2.5 全連接層設(shè)置
7.3 旗語動(dòng)作識(shí)別一維網(wǎng)絡(luò)訓(xùn)練參數(shù)設(shè)置
7.3.1 學(xué)習(xí)率（learning rate)
7.3.2 迭代輪數(shù)（training epoch）
7.3.3 網(wǎng)絡(luò)訓(xùn)練
7.4 Inception-ResNet二維卷積網(wǎng)絡(luò)模型
7.5 基于9軸旗語動(dòng)作數(shù)據(jù)的Inception-ResNet網(wǎng)絡(luò)模型構(gòu)建
7.5.1 Block 1（Stem層）設(shè)置
7.5.2 基于深度可分離卷積的Block 2（Inception-ResNet層）建立
7.5.3 Block 3 Reduction-A（降維層）建立
7.5.4 Block 4 Reduction-B建立
7.5.5 整體二維CNN網(wǎng)絡(luò)結(jié)構(gòu)
7.6 C-L聯(lián)合損失函數(shù)分類模型
7.6.1 損失函數(shù)
7.6.2 常用損失函數(shù)類型及其特性分析
7.6.3 CrossEntropy-Logistic聯(lián)合損失函數(shù)
7.6.4 訓(xùn)練效果對(duì)比
7.7 結(jié)果分析
7.7.1 數(shù)據(jù)集劃分
7.7.2 數(shù)據(jù)導(dǎo)入及實(shí)驗(yàn)結(jié)果
7.7.3 基于融合數(shù)據(jù)處理的一維CNN識(shí)別結(jié)果
7.7.4 基于Inception-ResNet雙流網(wǎng)絡(luò)框架的識(shí)別結(jié)果
7.7.5 結(jié)果分析與探討
7.8 小結(jié)
參考文獻(xiàn)