深度學(xué)習(xí)理論與應(yīng)用

第1章緒論與PyTorch基礎(chǔ)/1
1.1人工智能與神經(jīng)網(wǎng)絡(luò)1
1.2深度學(xué)習(xí)2
1.2.1什么是深度學(xué)習(xí)2
1.2.2深度學(xué)習(xí)的發(fā)展過程3
1.2.3深度學(xué)習(xí)的基礎(chǔ)網(wǎng)絡(luò)4
1.3建立PyTorch的開發(fā)環(huán)境4
1.3.1Anaconda與Python的安裝4
1.3.2PyCharm和PyTorch的安裝5
1.3.3PyTorch的Hello World程序6
1.4張量基礎(chǔ)7
1.4.1張量的定義及其物理含義7
1.4.2張量的切片操作10
1.4.3面向張量的數(shù)學(xué)函數(shù)13
1.4.4張量的變形16
1.4.5張量的常用運(yùn)算17
1.4.6張量的廣播機(jī)制21
1.4.7梯度的自動(dòng)計(jì)算22
1.4.8張量與其他對(duì)象的相互轉(zhuǎn)換23
1.4.9張量的拼接24
1.5初識(shí)PyTorch框架25
1.5.1一個(gè)簡(jiǎn)單的網(wǎng)絡(luò)模型25
1.5.2訪問網(wǎng)絡(luò)模型的各個(gè)網(wǎng)絡(luò)層27
1.5.3訪問模型參數(shù)及模型保存和加載方法29
1.6本章小結(jié)30
1.7習(xí)題31
第2章感知器——神經(jīng)元/32
2.1感知器的定義32
2.2激活函數(shù)33深度學(xué)習(xí)理論與應(yīng)用目錄2.3感知器的訓(xùn)練34
2.3.1監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)34
2.3.2面向回歸問題的訓(xùn)練方法35
2.3.3面向分類問題的訓(xùn)練方法43
2.4使用PyTorch框架46
2.4.1PyTorch框架的作用47
2.4.2使用PyTorch框架實(shí)現(xiàn)感知器47
2.5本章小結(jié)52
2.6習(xí)題53
第3章全連接神經(jīng)網(wǎng)絡(luò)/54
3.1構(gòu)建一個(gè)簡(jiǎn)單的全連接神經(jīng)網(wǎng)絡(luò)——解決二分類問題54
3.1.1一個(gè)簡(jiǎn)單全連接神經(jīng)網(wǎng)絡(luò)的構(gòu)建和訓(xùn)練54
3.1.2程序代碼解釋及網(wǎng)絡(luò)層的構(gòu)建方法56
3.2全連接神經(jīng)網(wǎng)絡(luò)的構(gòu)造方法59
3.2.1網(wǎng)絡(luò)層的定義59
3.2.2網(wǎng)絡(luò)結(jié)構(gòu)的實(shí)現(xiàn)60
3.2.3從網(wǎng)絡(luò)結(jié)構(gòu)判斷網(wǎng)絡(luò)的功能62
3.3幾種主流的損失函數(shù)62
3.3.1nn.CrossEntropyLoss()和nn.NLLLoss()函數(shù)63
3.3.2nn.MSELoss()函數(shù)66
3.3.3nn.BCELoss()和nn.BCEWithLogitsLoss()函數(shù)66
3.3.4nn.L1Loss()函數(shù)67
3.4網(wǎng)絡(luò)模型的訓(xùn)練與測(cè)試68
3.4.1數(shù)據(jù)集分割68
3.4.2數(shù)據(jù)打包69
3.4.3網(wǎng)絡(luò)模型的訓(xùn)練方法70
3.4.4梯度累加的訓(xùn)練方法71
3.4.5學(xué)習(xí)率衰減在訓(xùn)練中的應(yīng)用72
3.4.6網(wǎng)絡(luò)模型的測(cè)試74
3.4.7應(yīng)用案例——波士頓房?jī)r(jià)預(yù)測(cè)76
3.5正向計(jì)算和反向梯度傳播的理論分析81
3.5.1正向計(jì)算81
3.5.2梯度反向傳播與參數(shù)更新85
3.6本章小結(jié)89
3.7習(xí)題90
第4章卷積神經(jīng)網(wǎng)絡(luò)/91
4.1一個(gè)簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)——手寫數(shù)字識(shí)別91
4.1.1程序代碼91
4.1.2代碼解釋94
4.2卷積神經(jīng)網(wǎng)絡(luò)的主要操作96
4.2.1單通道卷積96
4.2.2多通道卷積100
4.2.3卷積操作的PyTorch代碼實(shí)現(xiàn)103
4.2.4池化操作及其PyTorch代碼實(shí)現(xiàn)105
4.2.5relu()激活函數(shù)及其應(yīng)用107
4.2.6感受野109
4.3卷積神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)方法109
4.3.1基本設(shè)計(jì)原則109
4.3.2網(wǎng)絡(luò)結(jié)構(gòu)查看和參數(shù)量計(jì)算110
4.3.3一個(gè)貓狗圖像分類示例111
4.4過擬合及其解決方法116
4.5本章小結(jié)117
4.6習(xí)題117
第5章若干經(jīng)典CNN預(yù)訓(xùn)練模型及其遷移方法/119
5.1一個(gè)使用VGG16的圖像識(shí)別程序119
5.1.1程序代碼119
5.1.2代碼解釋122
5.2經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)124
5.2.1卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展過程124
5.2.2AlexNet網(wǎng)絡(luò)125
5.2.3VGGNet網(wǎng)絡(luò)126
5.2.4GoogLeNet網(wǎng)絡(luò)與1×1卷積核128
5.2.5ResNet網(wǎng)絡(luò)130
5.2.6EfficientNet網(wǎng)絡(luò)131
5.3預(yù)訓(xùn)練模型的遷移方法132
5.3.1預(yù)訓(xùn)練網(wǎng)絡(luò)遷移的基本原理132
5.3.2VGG16的遷移案例133
5.3.3GoogLeNet的遷移案例136
5.3.4ResNet的遷移案例140
5.3.5EfficientNet的遷移案例142
5.4本章小結(jié)145
5.5習(xí)題145
第6章深度卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用案例/146
6.1人臉識(shí)別146
6.1.1人臉識(shí)別的設(shè)計(jì)思路146
6.1.2人臉識(shí)別程序147
6.2語義分割152
6.2.1從零開始構(gòu)建語義分割網(wǎng)絡(luò)152
6.2.2使用預(yù)訓(xùn)練模型構(gòu)建語義分割網(wǎng)絡(luò)160
6.3目標(biāo)檢測(cè)161
6.3.1從零開始構(gòu)建目標(biāo)檢測(cè)網(wǎng)絡(luò)161
6.3.2使用Fasterrcnn構(gòu)建目標(biāo)檢測(cè)網(wǎng)絡(luò)165
6.4生成對(duì)抗網(wǎng)絡(luò)172
6.4.1生成手寫數(shù)字圖片173
6.4.2生成花卉圖片176
6.4.3條件性生成對(duì)抗網(wǎng)絡(luò)179
6.5本章小結(jié)182
6.6習(xí)題182
第7章循環(huán)神經(jīng)網(wǎng)絡(luò)/183
7.1一個(gè)簡(jiǎn)單的循環(huán)神經(jīng)網(wǎng)絡(luò)——航空旅客出行人數(shù)預(yù)測(cè)183
7.1.1程序代碼183
7.1.2代碼解釋187
7.2循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用188
7.2.1循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)188
7.2.2從“零”開始構(gòu)建一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)190
7.3長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM）192
7.3.1LSTM的結(jié)構(gòu)和特點(diǎn)192
7.3.2LSTM的使用方法195
7.3.3深度循環(huán)神經(jīng)網(wǎng)絡(luò)199
7.3.4雙向循環(huán)神經(jīng)網(wǎng)絡(luò)199
7.3.5LSTM的變體——GRU200
7.4文本的表示201
7.4.1詞的獨(dú)熱表示201
7.4.2Word2Vec詞向量202
7.4.3詞嵌入表示202
7.5基于LSTM的文本分類206
7.6基于LSTM的文本生成210
7.6.1語言模型與文本生成210
7.6.2類不平衡問題211
7.6.3文本生成案例212
7.7本章小結(jié)216
7.8習(xí)題216
第8章基于預(yù)訓(xùn)練模型的自然語言處理/217
8.1Seq2Seq結(jié)構(gòu)與注意力機(jī)制217
8.1.1Seq2Seq結(jié)構(gòu)217
8.1.2注意力機(jī)制221
8.2Transformer及其在NLP中的應(yīng)用225
8.2.1Transformer中的注意力機(jī)制225
8.2.2Transformer的結(jié)構(gòu)226
8.2.3Transformer的位置編碼與嵌入226
8.2.4Transformer的使用方法229
8.2.5Transformer應(yīng)用案例232
8.3BERT及其在NLP中的應(yīng)用238
8.3.1關(guān)于BERT238
8.3.2BERT的使用方法240
8.3.3基于BERT的文本分類243
8.3.4基于BERT的閱讀理解247
8.4基于GPT的文本生成254
8.4.1關(guān)于GPT254
8.4.2使用GPT2生成英文文本——直接使用255
8.4.3使用GPT2生成中文文本——微調(diào)方法256
8.5視覺Transformer（ViT）260
8.5.1關(guān)于ViT260
8.5.2ViT預(yù)訓(xùn)練模型的使用方法260
8.5.3基于ViT的圖像分類262
8.6ChatGPT及其使用方法264
8.6.1關(guān)于ChatGPT264
8.6.2ChatGPT的使用方法266
8.7本章小結(jié)269
8.8習(xí)題269
第9章面向解釋的深度神經(jīng)網(wǎng)絡(luò)可視化方法/270
9.1CNN各網(wǎng)絡(luò)層輸出的可視化270
9.2CNN模型決策原因的可視化方法274
9.2.1基于類別權(quán)重的類激活圖（CAM）274
9.2.2基于梯度的類激活圖（CAM）277
9.3面向NLP任務(wù)的可視化方法281
9.3.1NLP任務(wù)中注意力機(jī)制可視化的一般方法281
9.3.2自注意力機(jī)制的可視化282
9.4本章小結(jié)284
9.5習(xí)題285
第10章多模態(tài)學(xué)習(xí)與多模態(tài)數(shù)據(jù)分類/286
10.1多模態(tài)學(xué)習(xí)286
10.1.1多模態(tài)學(xué)習(xí)的發(fā)展過程286
10.1.2多模態(tài)學(xué)習(xí)的主要任務(wù)287
10.2多模態(tài)數(shù)據(jù)分類288
10.2.1文本特征提取方法289
10.2.2圖像特征提取方法289
10.2.3多模態(tài)數(shù)據(jù)融合方法289
10.3多模態(tài)數(shù)據(jù)分類案例291
10.4本章小結(jié)296
10.5習(xí)題297
參考文獻(xiàn)/298