TensorFlow 2.x深度學(xué)習(xí)從入門到實(shí)戰(zhàn)

第1篇 TensorFlow基礎(chǔ)

第1章 安裝TensorFlow 2

1.1 TensorFlow的安裝流程 2

1.2 運(yùn)行TensorFlow的第一個(gè)程序 3

第2章 張量及其運(yùn)算 4

2.1 常量張量的創(chuàng)建 4

2.2 張量維度的轉(zhuǎn)換 9

2.3 張量的運(yùn)算 12

第3章 運(yùn)算圖和會(huì)話管理 15

3.1 運(yùn)算圖的形成 15

3.2 運(yùn)算圖的數(shù)據(jù)結(jié)構(gòu) 17

3.3 使用會(huì)話對象執(zhí)行運(yùn)算圖 19

3.3.1 交互式會(huì)話執(zhí)行流程 19

3.3.2 使用會(huì)話日志 20

3.4 使用TensorBoard實(shí)現(xiàn)數(shù)據(jù)可視化 20

3.4.1 啟動(dòng)TensorBoard組件 21

3.4.2 顯示TensorBoard中的數(shù)據(jù) 22

第4章 模型訓(xùn)練 24

4.1 變量張量 24

4.2 損失函數(shù) 25

4.3 漸進(jìn)下降法 26

4.3.1 如何將數(shù)據(jù)讀入模型 27

4.3.2 模型訓(xùn)練的基本流程 28

4.3.3 漸進(jìn)下降法運(yùn)行實(shí)例 29

4.3.4 漸進(jìn)下降法的缺陷和應(yīng)對 30

4.4 運(yùn)算圖的存儲(chǔ)和加載 32

第2篇 TensorFlow進(jìn)階

第5章 機(jī)器學(xué)習(xí)的基本概念 34

5.1 使用TensorFlow實(shí)現(xiàn)線性回歸 34

5.2 使用TensorFlow實(shí)現(xiàn)多項(xiàng)式回歸 36

5.3 使用邏輯回歸實(shí)現(xiàn)數(shù)據(jù)二元分類 38

5.3.1 邏輯函數(shù) 38

5.3.2 最大概率估計(jì) 39

5.3.3 用代碼實(shí)現(xiàn)邏輯回歸 40

5.4 使用多元邏輯回歸實(shí)現(xiàn)數(shù)據(jù)的多種分類 41

5.4.1 多元分類示例——識(shí)別手寫數(shù)字圖像 41

5.4.2 多元交叉熵 41

5.4.3 多元回歸模型代碼示例 43

第6章 使用TensorFlow開發(fā)神經(jīng)網(wǎng)絡(luò) 44

6.1 神經(jīng)元和感知器 44

6.1.1 神經(jīng)元的基本原理 44

6.1.2 感知器的基本原理 45

6.1.3 鏈路權(quán)重 46

6.1.4 激活函數(shù) 46

6.2 神經(jīng)網(wǎng)絡(luò)的運(yùn)行原理 47

6.2.1 神經(jīng)網(wǎng)絡(luò)層 47

6.2.2 誤差反向傳播 48

6.3 構(gòu)造神經(jīng)網(wǎng)絡(luò)識(shí)別手寫數(shù)字圖像 50

第7章 使用TensorFlow實(shí)現(xiàn)卷積網(wǎng)絡(luò) 53

7.1 卷積運(yùn)算 53

7.2 卷積運(yùn)算的本質(zhì) 54

7.3 卷積運(yùn)算的相關(guān)參數(shù)和操作說明 55

7.4 使用TensorFlow開發(fā)卷積網(wǎng)絡(luò)實(shí)例 56

7.5 卷積網(wǎng)絡(luò)的訓(xùn)練與應(yīng)用 59

第8章 構(gòu)造重定向網(wǎng)絡(luò) 61

8.1 什么是重定向網(wǎng)絡(luò) 61

8.1.1 重定向網(wǎng)絡(luò)的基本結(jié)構(gòu) 61

8.1.2 cell部件的運(yùn)算原理 62

8.2 使用TensorFlow構(gòu)建RNN層 63

8.2.1 cell組件類簡介 63

8.2.2 創(chuàng)建RNN層接口調(diào)用簡介 64

8.3 使用RNN實(shí)現(xiàn)文本識(shí)別 65

8.3.1 文本數(shù)據(jù)預(yù)處理 65

8.3.2 網(wǎng)絡(luò)模型的構(gòu)建和訓(xùn)練 66

8.4 長短程記憶組件 68

8.4.1 長短程記憶組件的內(nèi)部原理 68

8.4.2 使用接口創(chuàng)建LSTM節(jié)點(diǎn) 70

8.4.3 使用LSTM網(wǎng)絡(luò)實(shí)現(xiàn)文本識(shí)別 72

第9章 數(shù)據(jù)集的讀取與操作 74

9.1 TensorFlow的數(shù)據(jù)集對象 74

9.1.1 創(chuàng)建數(shù)值型數(shù)據(jù)集 74

9.1.2 數(shù)據(jù)生成器 75

9.1.3 從文本中讀入數(shù)據(jù)集 76

9.2 數(shù)據(jù)集的處理和加工 77

9.2.1 數(shù)據(jù)集的分批處理 77

9.2.2 基于數(shù)據(jù)集的若干操作 78

9.2.3 數(shù)據(jù)集條目的遍歷訪問 80

第10章 使用多線程、多設(shè)備和機(jī)器集群 84

10.1 多線程的配置 84

10.2 多處理器分發(fā)執(zhí)行 85

10.3 集群分發(fā)控制 86

第11章 TensorFlow的高級(jí)接口Estimator 88

11.1 運(yùn)行Estimator的基本流程 88

11.2 Estimator的初始化配置 90

11.3 Estimator導(dǎo)出模型應(yīng)用實(shí)例 91

11.3.1 使用線性模型實(shí)例 91

11.3.2 使用神經(jīng)網(wǎng)絡(luò)分類器 93

11.3.3 使用線性回歸——深度網(wǎng)絡(luò)混合模型 94

11.3.4 給Estimator添加自己的網(wǎng)絡(luò)模型 99

第3篇 TensorFlow實(shí)戰(zhàn)

第12章 實(shí)現(xiàn)編解碼器網(wǎng)絡(luò) 104

12.1 自動(dòng)編解碼器的原理 104

12.2 一個(gè)簡單的編解碼器網(wǎng)絡(luò) 105

12.3 使用多層編解碼器實(shí)現(xiàn)圖像重構(gòu) 107

12.4 使用編解碼網(wǎng)絡(luò)實(shí)現(xiàn)圖像去噪 112

12.5 可變編解碼器 115

12.5.1 可變編解碼器的基本原理 115

12.5.2 編解碼器的數(shù)學(xué)原理 117

12.5.3 用代碼實(shí)現(xiàn)編解碼網(wǎng)絡(luò) 123

第13章 使用TensorFlow實(shí)現(xiàn)增強(qiáng)學(xué)習(xí) 127

13.1 搭建開發(fā)環(huán)境 127

13.2 增強(qiáng)學(xué)習(xí)的基本概念 129

13.3 馬爾可夫過程 132

13.4 馬爾可夫決策模型 133

13.5 開發(fā)一個(gè)增強(qiáng)學(xué)習(xí)示例 135

13.5.1 示例簡介 135

13.5.2 使用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)最優(yōu)策略 136

13.6 冰凍湖問題 139

13.6.1 狀態(tài)值優(yōu)化 141

13.6.2 貝爾曼函數(shù) 142

13.6.3 編碼解決冰凍湖問題 145

第14章 使用TensorFlow實(shí)現(xiàn)深Q網(wǎng)絡(luò) 148

14.1 深Q算法的基本原理 149

14.2 深Q算法項(xiàng)目實(shí)踐 150

14.2.1 算法的基本原則 151

14.2.2 深Q網(wǎng)絡(luò)模型 155

第15章 TensorFlow與策略下降法 163

15.1 策略導(dǎo)數(shù) 164

15.1.1 策略導(dǎo)數(shù)的底層原理 164

15.1.2 策略導(dǎo)數(shù)算法應(yīng)用實(shí)例 166

15.1.3 策略導(dǎo)數(shù)的缺點(diǎn) 169

15.2 Actor-Critic算法 169

15.2.1 Actor-Critic算法的底層原理 169

15.2.2 Actor-Critic算法的實(shí)現(xiàn) 171

15.3 A3C算法原理 173

15.3.1 改變量回傳模式的代碼實(shí)現(xiàn) 175

15.3.2 訓(xùn)練數(shù)據(jù)回傳模式的代碼實(shí)現(xiàn) 187

15.4 使用PPO算法玩轉(zhuǎn)《超級(jí)瑪麗》 192

15.4.1 PPO算法簡介 192

15.4.2 PPO算法的數(shù)學(xué)原理 193

15.4.3 PPO算法的代碼實(shí)現(xiàn) 194

第16章 使用TensorFlow 2.x的Eager模式開發(fā)高級(jí)增強(qiáng)學(xué)習(xí)算法 201

16.1 TensorFlow 2.x Eager模式簡介 201

16.2 使用Eager模式快速構(gòu)建神經(jīng)網(wǎng)絡(luò) 202

16.3 在Eager模式下使用DDPG算法實(shí)現(xiàn)機(jī)械模擬控制 204

16.3.1 DDPG算法的基本原理 204

16.3.2 DDPG算法的代碼實(shí)現(xiàn) 206

16.4 DDPG算法改進(jìn)——TD3算法的原理與實(shí)現(xiàn) 211

16.4.1 TD3算法的基本原理 212

16.4.2 TD3算法的代碼實(shí)現(xiàn) 213

16.5 TD3算法的升級(jí)版——SAC算法 218

16.5.1 SAC算法的基本原理 218

16.5.2 SAC算法的代碼實(shí)現(xiàn) 221

16.6 概率化深Q網(wǎng)絡(luò)算法 226

16.6.1 連續(xù)概率函數(shù)的離散化表示 226

16.6.2 算法的基本原理 228

16.6.3 讓算法玩轉(zhuǎn)《雷神之錘》 229

16.7 D4PG——概率化升級(jí)的DDPG算法 236

16.7.1 D4PG算法的基本原理 236

16.7.2 通過代碼實(shí)現(xiàn)D4GP算法 237

第17章 使用TensorFlow 2.x實(shí)現(xiàn)生成型對抗性網(wǎng)絡(luò) 245

17.1 生成型對抗性網(wǎng)絡(luò)的基本原理與代碼實(shí)戰(zhàn) 245

17.2 WGAN——讓對抗性網(wǎng)絡(luò)生成更復(fù)雜的圖像 253

17.2.1 推土距離 253

17.2.2 WGAN算法的基本原理 255

17.2.3 WGAN算法的代碼實(shí)現(xiàn) 256

17.3 WGAN_PG——讓網(wǎng)絡(luò)生成細(xì)膩的人臉圖像 262

17.3.1 WGAN_PG算法的基本原理 262

17.3.2 WGAN_GP算法的代碼實(shí)現(xiàn) 263

17.4 使用CycleGAN實(shí)現(xiàn)“指鹿為馬” 269

17.4.1 CycleGAN技術(shù)的基本原理 269

17.4.2 用代碼實(shí)現(xiàn)CycleGAN 272

17.5 使用CycleGAN實(shí)現(xiàn)“無痛變性” 284

17.5.1 TensorFlow 2.x的數(shù)據(jù)集接口 284

17.5.2 網(wǎng)絡(luò)代碼的實(shí)現(xiàn) 290

17.6 利用Attention機(jī)制實(shí)現(xiàn)自動(dòng)譜曲 297

17.6.1 樂理的基本知識(shí) 298

17.6.2 網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)準(zhǔn)備 299

17.6.3 Attention網(wǎng)絡(luò)結(jié)構(gòu)說明 302

17.6.4 用代碼實(shí)現(xiàn)預(yù)測網(wǎng)絡(luò) 304

17.7 使用MuseGAN生成多聲道音樂 310

17.7.1 樂理的基本知識(shí)補(bǔ)充 310

17.7.2 曲譜與圖像的共性 311

17.7.3 MuseGAN的基本原理 313

17.7.4 MuseGAN的代碼實(shí)現(xiàn) 314

17.8 使用自關(guān)注機(jī)制提升網(wǎng)絡(luò)人臉的生成能力 322

17.8.1 Self-Attention機(jī)制的算法原理 322

17.8.2 引入spectral norm以保證訓(xùn)練的穩(wěn)定性 324

17.8.3 用代碼實(shí)現(xiàn)自關(guān)注網(wǎng)絡(luò) 330

17.9 實(shí)現(xiàn)黑白圖像自動(dòng)上色 338

17.9.1 算法的基本原理 338

17.9.2 網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)設(shè)計(jì) 339

17.9.3 代碼實(shí)現(xiàn) 340