機器學習入門基礎（微課版）

第1章引言1
1.1機器學習概述1
1.2機器學習發(fā)展史2
1.3機器學習的類型5
1.3.1監(jiān)督學習5
1.3.2無監(jiān)督學習7
1.3.3強化學習8
1.4機器學習的主要概念9
1.4.1模型9
1.4.2損失函數(shù)9
1.4.3優(yōu)化算法10
1.4.4模型評估10
1.5機器學習的背景知識11
1.5.1數(shù)學基礎11
1.5.2編程基礎11
1.6機器學習的開發(fā)流程12
1.7本書概述13
1.7.1本書結構13
1.7.2學習路線14
習題14
參考文獻16
第2章數(shù)學基礎回顧(選修)17
2.1數(shù)學基礎的必要性17
2.1.1數(shù)學基礎概述17
2.1.2符號定義17
2.2高等數(shù)學18
2.2.1導數(shù)的定義18〖3〗機器學習入門基礎（微課版）目錄〖3〗2.2.2左右導數(shù)的幾何意義和物理意義18
2.2.3函數(shù)的可導性與連續(xù)性之間的關系19
2.2.4平面曲線的切線和法線19
2.2.5四則運算法則19
2.2.6基本導數(shù)與微分表19
2.2.7復合函數(shù)、反函數(shù)、隱函數(shù)及參數(shù)方程所確定的函數(shù)的微分法20
2.2.8常用高階導數(shù)公式20
2.2.9微分中值定理21
2.2.10泰勒公式21
2.2.11函數(shù)單調性的判斷22
2.2.12函數(shù)凹凸性的判斷23
2.3線性代數(shù)23
2.3.1基本概念23
2.3.2矩陣乘法24
2.3.3向量向量乘法25
2.3.4矩陣向量乘法25
2.3.5矩陣矩陣乘法26
2.3.6單位矩陣和對角矩陣27
2.3.7矩陣的轉置28
2.3.8對稱矩陣28
2.3.9矩陣的跡28
2.3.10矩陣求導常見公式29
2.3.11范數(shù)29
2.3.12線性相關性和秩30
2.3.13方陣的逆31
2.3.14正交陣31
2.3.15行列式31
2.3.16二次型和半正定矩陣32
2.3.17特征值和特征向量33
2.4概率論與數(shù)理統(tǒng)計34
2.4.1概率的基本要素34
2.4.2條件概率和獨立性35
2.4.3隨機變量35
2.4.4累積分布函數(shù)36
2.4.5概率質量函數(shù)37
2.4.6概率密度函數(shù)37
2.4.7期望38
2.4.8方差38
2.4.9一些常見的隨機變量39
2.4.10聯(lián)合分布和邊緣分布41
2.4.11條件概率分布41
2.4.12貝葉斯定理41
2.4.13獨立性42
2.4.14期望和協(xié)方差42
2.4.15KL散度43
2.5優(yōu)化理論43
2.5.1梯度下降法43
2.5.2牛頓法44
2.5.3拉格朗日乘子法45
習題46
參考文獻48
第3章機器學習庫Scikitlearn49
3.1背景知識49
3.2Scikitlearn概述50
3.3Scikitlearn主要用法51
3.3.1基本建模流程51
3.3.2數(shù)據(jù)預處理53
3.3.3監(jiān)督學習算法55
3.3.4無監(jiān)督學習算法56
3.3.5評價指標57
3.3.6交叉驗證及超參數(shù)調優(yōu)58
3.4Scikitlearn總結60
習題60
參考文獻62
第4章回歸63
4.1線性回歸63
4.1.1符號定義63
4.1.2背景知識66
4.1.3線性回歸求解66
4.2最小二乘法66
4.3梯度下降67
4.3.1批梯度下降68
4.3.2隨機梯度下降68
4.3.3小批量梯度下降69
4.3.4梯度下降的數(shù)學推導69
4.3.5梯度下降與最小二乘法比較70
4.4數(shù)據(jù)規(guī)范化70
4.4.1數(shù)據(jù)規(guī)范化概述70
4.4.2數(shù)據(jù)規(guī)范化的主要方式71
4.4.3數(shù)據(jù)規(guī)范化的適用范圍71
4.5正則化72
4.5.1過擬合和欠擬合72
5.5.2過擬合的處理72
4.5.3欠擬合的處理73
4.5.4正則化的主要形式73
4.6回歸的評價指標74
習題76
參考文獻78
第5章邏輯回歸79
5.1分類問題79
5.2Sigmoid函數(shù)80
5.2.1Sigmoid函數(shù)概述80
5.2.2Sigmoid函數(shù)的特點80
5.2.3Sigmoid函數(shù)的原理81
5.3邏輯回歸82
5.3.1邏輯回歸算法思想82
5.3.2邏輯回歸的原理82
5.4邏輯回歸算法總結85
習題86
參考文獻88
第6章樸素貝葉斯89
6.1貝葉斯方法89
6.1.1先驗概率、后驗概率、聯(lián)合分布89
6.1.2判別模型和生成模型90
6.2樸素貝葉斯原理90
6.2.1樸素貝葉斯概述90
6.2.2拉普拉斯平滑91
6.2.3樸素貝葉斯公式推導92
6.2.4樸素貝葉斯案例93
6.3樸素貝葉斯分類算法總結95
習題95
參考文獻97
第7章機器學習實踐99
7.1數(shù)據(jù)集劃分99
7.1.1訓練集、驗證集和測試集劃分99
7.1.2交叉驗證100
7.1.3不平衡數(shù)據(jù)處理101
7.2評價指標103
7.2.1回歸的評價指標103
7.2.2分類的評價指標103
7.2.3評價指標案例106
7.3正則化、偏差和方差107
7.3.1欠擬合和過擬合107
7.3.2正則化107
7.3.3偏差和方差109
習題111
參考文獻113
第8章KNN算法115
8.1距離度量115
8.1.1歐幾里得距離115
8.1.2曼哈頓距離116
8.1.3切比雪夫距離116
8.1.4閔可夫斯基距離117
8.1.5漢明距離117
8.1.6余弦相似度118
8.2KNN算法簡介119
8.2.1KNN算法概述119
8.2.2KNN算法流程120
8.3KD樹劃分120
8.3.1KD樹概述120
8.3.2KD樹劃分案例121
8.4KD樹搜索124
8.4.1KD樹搜索概述124
8.4.2KD樹搜索案例125
習題126
參考文獻128
第9章決策樹129
9.1決策樹原理129
9.1.1決策樹概述129
9.1.2決策樹算法思想130
9.2ID3算法130
9.2.1ID3算法概述130
9.2.2ID3劃分標準131
9.2.3ID3算法總結133
9.3C4.5算法133
9.3.1C4.5算法概述133
9.3.2C4.5劃分標準134
9.3.3C4.5剪枝處理134
9.3.4C4.5算法總結138
9.4CART算法139
9.4.1CART算法概述139
9.4.2CART分類樹139
9.4.3CART回歸樹142
9.4.4CART剪枝處理142
9.4.5CART算法總結142
9.5決策樹總結143
9.5.13種決策樹算法的差異143
9.5.2決策樹的優(yōu)缺點143
習題144
參考文獻146
第10章集成學習147
10.1集成學習概述147
10.1.1Bagging147
10.1.2Boosting148
10.1.3Stacking148
10.2隨機森林149
10.2.1隨機森林算法思想149
10.2.2隨機森林算法總結150
10.3AdaBoost算法150
10.3.1AdaBoost算法思想150
10.3.2AdaBoost算法總結152
10.4GBDT算法153
10.4.1GBDT算法思想154
10.4.2GBDT算法總結156
10.5XGBoost算法156
10.5.1XGBoost算法思想156
10.5.2XGBoost算法推導158
10.5.3XGBoost算法總結161
10.6LightGBM算法161
10.6.1LightGBM算法思想162
10.6.2LightGBM算法總結166
習題167
參考文獻169
第11章人工神經(jīng)網(wǎng)絡(選修)171
11.1人工神經(jīng)網(wǎng)絡概述171
11.2感知機模型172
11.2.1感知機模型概述172
11.2.2感知機算法流程172
11.3反向傳播算法173
11.3.1反向傳播算法概述173
11.3.2反向傳播算法流程174
11.3.3反向傳播算法總結178
習題179
參考文獻182
第12章支持向量機183
12.1支持向量機概述183
12.1.1算法思想183
12.1.2背景知識184
12.2線性可分支持向量機185
12.2.1算法思想185
12.2.2求解步驟186
12.3線性支持向量機188
12.3.1松弛變量188
12.3.2求解步驟188
12.4線性不可分支持向量機190
12.4.1算法思想190
12.4.2核技巧190
12.4.3常用核函數(shù)191
12.4.4支持向量機的超參數(shù)191
12.5支持向量機算法總結192
12.5.1支持向量機普遍使用的準則192
12.5.2算法優(yōu)缺點193
習題193
參考文獻195
第13章聚類196
13.1聚類概述196
13.1.1無監(jiān)督學習概述196
13.1.2聚類算法思想196
13.1.3聚類的背景知識198
13.2Kmeans聚類199
13.2.1Kmeans算法思想199
13.2.2Kmeans算法總結203
13.3密度聚類204
13.3.1DBSCAN算法概述204
13.3.2DBSCAN算法思想205
13.3.3DBSCAN算法總結208
13.4層次聚類208
13.4.1層次聚類概述208
13.4.2聚合聚類209
13.4.3分裂聚類209
13.4.4層次聚類算法總結210
13.5聚類的評價指標210
13.5.1均一性210
13.5.2完整性211
13.5.3Vmeasure211
13.5.4輪廓系數(shù)211
13.5.5調整蘭德系數(shù)212
習題212
參考文獻214
第14章降維215
14.1降維概述215
14.1.1維數(shù)災難215
14.1.2降維概述215
14.2奇異值分解216
14.2.1SVD概述216
14.2.2SVD的算法思想217
14.2.3SVD的算法案例219
14.2.4SVD的一些應用220
14.3主成分分析222
14.3.1PCA概述222
14.3.2PCA算法思想222
14.3.3PCA算法案例225
14.3.4PCA算法總結225
習題226
參考文獻229
第15章關聯(lián)規(guī)則230
15.1關聯(lián)規(guī)則概述230
15.2Apriori算法231
15.2.1Apriori算法概述231
15.2.2Apriori算法思想232
15.2.3Apriori算法案例232
15.2.4Apriori算法總結235
15.3FPGrowth算法235
15.3.1FPGrowth算法概述235
15.3.2FPGrowth算法思想235
15.3.3FPGrowth算法案例236
15.3.4FPGrowth算法總結240
15.4ECLAT算法240
15.4.1ECLAT算法概述240
15.4.2ECLAT算法思想241
15.4.3ECLAT算法總結241
習題242
參考文獻244