Unity跨平臺音視頻通信從入門到應用

第1章 Unity音視頻通信 1
1.1 引言 1
1.2 發(fā)展歷程 1
1.3 技術應用 2
1.3.1 應用場景 2
1.3.2 應用需求 2
1.4 本章總結 3
第2章 Unity軟件基礎 4
2.1 引言 4
2.2 軟件介紹 4
2.2.1 簡介 4
2.2.2 Unity版本 5
2.2.3 Unity Hub簡介 5
2.3 界面介紹 8
2.3.1 菜單欄 8
2.3.2 導航欄 9
2.3.3 工作區(qū) 10
2.4 窗口介紹 10
2.4.1 Project窗口 10
2.4.2 Hierarchy窗口 12
2.4.3 Inspector窗口 13
2.4.4 Scene窗口 14
2.4.5 Game窗口 15
2.5 項目創(chuàng)建 16
2.5.1 創(chuàng)建新項目 16
2.5.2 添加項目 17
2.6 物體、組件 17
2.6.1 常用的物體 17
2.6.2 常用的組件 18
2.7 腳本 18
2.7.1 腳本創(chuàng)建 18
2.7.2 生命周期 19
2.7.3 變量與函數 21
2.7.4 計算與賦值 21
2.8 資源包管理 22
2.8.1 資源包導入 22
2.8.2 資源包導出 23
2.9 構建設置 24
2.10 本章總結 25
第3章 3D數學與著色器基礎 26
3.1 引言 26
3.2 3D數學坐標系 26
3.2.1 全局坐標系 26
3.2.2 局部坐標系 27
3.2.3 屏幕坐標系 27
3.2.4 視口坐標系 27
3.2.5 坐標系轉換 27
3.3 向量 28
3.3.1 向量介紹 28
3.3.2 Vector類 29
3.4 著色器基礎 29
3.4.1 認識表面著色器 30
3.4.2 表面著色器的應用示例 33
3.4.3 計算著色器 36
3.4.4 計算著色器灰度圖的應用示例 39
3.4.5 計算著色器圖片像素顯示處理的應用示例 41
3.5 本章總結 44
第4章 多媒體音頻技術 45
4.1 引言 45
4.2 音頻介紹 45
4.2.1 音頻設備 45
4.2.2 音頻源組件 46
4.2.3 音頻權限 48
4.3 音頻多通道 49
4.3.1 多通道介紹 49
4.3.2 Unity多通道 49
4.4 音頻采樣 51
4.4.1 采樣率與采樣大小 51
4.4.2 Unity音頻采樣處理 51
4.5 音頻數字化 52
4.5.1 數字音頻 52
4.5.2 音頻質量 53
4.5.3 Unity音頻數字化 53
4.6 本章總結 56
第5章 多媒體視頻技術 57
5.1 引言 57
5.2 視頻設備與權限 57
5.2.1 視頻設備 57
5.2.2 視頻權限 58
5.3 圖像捕捉與視頻捕捉 59
5.3.1 圖像捕捉 59
5.3.2 視頻捕捉 61
5.4 圖像數字化 64
5.4.1 圖像及視頻種類 64
5.4.2 Unity圖像的數字化處理 65
5.5 圖像和視頻壓縮技術 69
5.5.1 圖像壓縮 70
5.5.2 視頻壓縮 71
5.6 本章總結 72
第6章 Unity網絡通信基礎 73
6.1 引言 73
6.2 Unity通信API 73
6.2.1 通信API簡介 73
6.2.2 簡單的HTTP通信 73
6.3 TCP通信 75
6.3.1 TCP介紹 75
6.3.2 TCP通信原理 76
6.3.3 Unity中基于Socket的高性能TCP通信實現(xiàn)——服務器端 78
6.3.4 Unity中基于Socket的高性能TCP通信實現(xiàn)——客戶端 102
6.4 UDP通信 117
6.4.1 UDP介紹 117
6.4.2 UDP通信原理 118
6.4.3 Unity中基于Socket的高性能UDP通信實現(xiàn) 119
6.5 本章總結 129
第7章 跨平臺音視頻通信核心 130
7.1 引言 130
7.2 音頻處理 130
7.2.1 音頻發(fā)送 130
7.2.2 音頻接收 137
7.3 圖像處理 142
7.3.1 圖像發(fā)送 142
7.3.2 圖像接收 146
7.4 本章總結 149
第8章 桌面平臺音視頻通信實現(xiàn) 150
8.1 引言 150
8.2 構建設置 150
8.2.1 開發(fā)平臺 150
8.2.2 Player設置 152
8.3 項目建立 157
8.3.1 場景搭建 157
8.3.2 組件設置 158
8.3.3 測試發(fā)布 160
8.3.4 測試運行 160
8.4 本章總結 161
第9章 Android平臺音視頻通信實現(xiàn) 162
9.1 引言 162
9.2 構建設置 162
9.2.1 開發(fā)平臺 162
9.2.2 Player 設置 164
9.3 項目建立 174
9.3.1 場景搭建與貼圖壓縮 174
9.3.2 組件設置 197
9.3.3 測試發(fā)布 197
9.3.4 測試運行 198
9.4 本章總結 198
第10章 XR平臺音視頻通信實現(xiàn) 199
10.1 引言 199
10.2 HoloLens介紹 199
10.2.1 硬件介紹 199
10.2.2 平臺介紹 201
10.3 MRTK介紹 201
10.3.1 MRTK簡介 201
10.3.2 MRTK應用 205
10.4 構建設置 209
10.4.1 開發(fā)平臺 209
10.4.2 Player 設置 211
10.5 項目建立 217
10.5.1 場景搭建與貼圖壓縮 217
10.5.2 組件設置 242
10.5.3 測試發(fā)布 243
10.5.4 測試運行 247
10.6 本章總結 248