講述機器學習的基本原理，使用MATLAB實現涉及的各種機器學習演算法。通過理論學習和實踐操作，使讀者瞭解並掌握機器學習的原理和技能，拉近理論與實踐的距離。
《機器學習基礎——原理、演算法與實踐》共分12章，主要內容包括：機器學習介紹、線性回歸、邏輯回歸、貝葉斯分類器、模型評估與選擇、K-均值和EM演算法、決策樹、神經網路、HMM、支援向量機、推薦系統、主成分分析。全書源碼全部在MATLABR2015b上調試通過，每章都附有習題和習題參考答案，供讀者參考。
《機器學習基礎——原理、演算法與實踐》系統講解了機器學習的原理、演算法和應用，內容全面、實例豐富、可操作性強，做到理論與實踐相結合。
《機器學習基礎——原理、演算法與實踐》適合機器學習愛好者作為入門和提高的技術參考書使用，也適合用作電腦專業高年級本科生和研究生的教材或教學參考書。
目錄
第1章 機器學習介紹 1
1.1 機器學習簡介 2
1.1.1 什麼是機器學習 2
1.1.2 機器學習與日常生活 3
1.1.3 如何學習機器學習 4
1.1.4 MATLAB優勢 5
1.2 基本概念 5
1.2.1 機器學習的種類 6
1.2.2 有監督學習 6
1.2.3 無監督學習 7
1.2.4 機器學習術語 7
1.2.5 預處理 9
1.3 MATLAB資料格式 10
1.3.1 標稱數據 10
1.3.2 序數數據 11
1.3.3 分類資料 11
1.4 示例資料集 12
1.4.1 天氣問題 12
1.4.2 鳶尾花 15
1.4.3 其他資料集 16
1.5 瞭解你的資料 16
習題 20
第2章 線性回歸 21
2.1 從一個實際例子說起 22
2.1.1 模型定義 23
2.1.2 模型假設 23
2.1.3 模型評估 24
2.2 最小二乘法 24
2.2.1 最小二乘法求解參數 25
2.2.2 用最小二乘法來擬合奧運會資料 26
2.2.3 預測比賽結果 27
2.3 梯度下降 27
2.3.1 基本思路 28
2.3.2 梯度下降演算法 29
2.3.3 梯度下降求解線性回歸問題 30
2.4 多變數線性回歸 32
2.4.1 多變數線性回歸問題 33
2.4.2 多變數梯度下降 34
2.4.3 隨機梯度下降 38
2.4.4 正規方程 40
2.5 多項式回歸 42
2.5.1 多項式回歸演算法 42
2.5.2 正則化 45
習題 47
第3章 邏輯回歸 49
3.1 邏輯回歸介紹 50
3.1.1 線性回歸用於分類 50
3.1.2 假設函數 51
3.1.3 決策邊界 52
3.2 邏輯回歸演算法 53
3.2.1 代價函數 53
3.2.2 梯度下降演算法 54
3.2.3 MATLAB優化函數 56
3.2.4 多項式邏輯回歸 58
3.3 多元分類 60
3.3.1 一對多 60
3.3.2 一對一 62
3.3.3 Softmax回歸 64
習題 66
第4章 貝葉斯分類器 67
4.1 簡介 68
4.1.1 概述 68
4.1.2 判別模型和生成模型 68
4.1.3 極大似然估計 69
4.2 高斯判別分析 72
4.2.1 多元高斯分佈 72
4.2.2 高斯判別模型 73
4.3 樸素貝葉斯 75
4.3.1 樸素貝葉斯演算法 76
4.3.2 文本分類 81
習題 86
第5章 模型評估與選擇 87
5.1 簡介 88
5.1.1 訓練誤差與泛化誤差 88
5.1.2 偏差和方差 89
5.2 評估方法 90
5.2.1 訓練集、驗證集和測試集的劃分 91
5.2.2 交叉驗證 92
5.3 性能度量 95
5.3.1 常用性能度量 95
5.3.2 查準率和查全率 96
5.3.3 ROC和AUC 98
5.4 偏差與方差折中 100
5.4.1 偏差與方差診斷 101
5.4.2 正則化與偏差方差 102
5.4.3 學習曲線 103
習題 104
第6章 K-均值演算法和EM演算法 107
6.1 聚類分析 108
6.1.1 K-means演算法描述 108
6.1.2 K-means演算法應用 112
6.1.3 注意事項 113
6.2 EM演算法 114
6.2.1 基本EM演算法 114
6.2.2 EM演算法的一般形式 115
6.2.3 混合高斯模型 118
習題 123
第7章 決策樹 125
7.1 決策樹介紹 126
7.2 ID3演算法 127
7.2.1 信息熵 127
7.2.2 資訊增益計算示例 127
7.2.3 ID3演算法描述 132
7.2.4 ID3演算法實現 134
7.3 C4.5演算法 134
7.3.1 基本概念 135
7.3.2 剪枝處理 139
7.3.3 C4.5演算法描述 140
7.3.4 C4.5演算法實現 142
7.4 CART演算法 144
7.4.1 CART演算法介紹 144
7.4.2 CART演算法描述 147
7.4.3 CART演算法實現 149
習題 150
第8章 神經網路 151
8.1 神經網路介紹 152
8.1.1 從一個實例說起 152
8.1.2 神經元 153
8.1.3 神經網路結構 154
8.1.4 簡化的神經網路模型 157
8.1.5 細節說明 160
8.2 神經網路學習 161
8.2.1 代價函數 161
8.2.2 BP演算法 162
8.2.3 BP演算法實現 166
8.2.4 平方代價函數的情形 171
習題 171
第9章 隱瑪律科夫模型 173
9.1 隱瑪律科夫模型基本概念 174
9.1.1 離散瑪律科夫過程 174
9.1.2 擴展至隱瑪律科夫模型 176
9.1.3 HMM的組成和序列生成 179
9.1.4 三個基本問題 181
9.2 求解HMM三個基本問題 182
9.2.1 評估問題 183
9.2.2 解碼問題 187
9.2.3 學習問題 190
習題 196
第10章 支持向量機 197
10.1 支持向量機介紹 198
10.2 最大間隔超平面 198
10.2.1 SVM問題的形式化描述 199
10.2.2 函數間隔和幾何間隔 199
10.2.3 最優間隔分類器 201
10.2.4 使用優化軟體求解SVM 203
10.3 對偶演算法 204
10.3.1 SVM對偶問題 204
10.3.2 使用優化軟體求解對偶 SVM 206
10.4 非線性支援向量機 208
10.4.1 核技巧 208
10.4.2 常用核函數 210
10.5 軟間隔支持向量機 213
10.5.1 動機及原問題 213
10.5.2 對偶問題 214
10.5.3 使用優化軟體求解軟間隔 對偶SVM 215
10.6 SMO演算法 218
10.6.1 SMO演算法描述 218
10.6.2 簡化SMO演算法實現 221
10.7 LibSVM 226
10.7.1 LibSVM的安裝 226
10.7.2 LibSVM函數 228
10.7.3 LibSVM實踐指南 230
習題 232
第11章 推薦系統 233
11.1 推薦系統介紹 234
11.1.1 什麼是推薦系統 234
11.1.2 資料集描述 235
11.1.3 推薦系統符號 236
11.2 基於用戶的協同過濾 236
11.2.1 相似性度量 237
11.2.2 演算法描述 239
11.2.3 演算法實現 240
11.3 基於物品的協同過濾 241
11.3.1 調整余弦相似度和預測 241
11.3.2 Slope One演算法描述 與實現 243
11.4 基於內容的協同過濾演算法與實現 247
11.4.1 演算法描述 247
11.4.2 演算法實現 250
習題 251
第12章 主成分分析 253
12.1 主成分分析介紹 254
12.2 本征值與奇異值分解 255
12.2.1 本征值分解 255
12.2.2 奇異值分解 256
12.3 PCA演算法描述 256
12.3.1 PCA演算法 257
12.3.2 從壓縮表示中重建 258
12.3.3 確定主成分數量 258
12.4 PCA實現 260
12.4.1 假想實例 260
12.4.2 MNIST實例 264
習題 265
習題參考答案 267
符號表 294
參考文獻 295
作者介紹
袁梅宇，北航工學博士，碩士導師，現在昆明理工大學電腦系任教。為本科生和研究生主講Java程式設計、Java EE技術、資料庫原理、人工智慧、Dot Net技術等核心課程，參加過863 CIMS Net建設……和多項國家基金和省基金專案，一作公開發表論文十餘篇，軟體著作權（頒證）六項。一作專著有《Java EE企業級程式設計開發實例詳解》、《資料採擷與機器學習——WEKA應用技術與實踐》（一版、第二版）、《求精要訣——Java EE程式設計開發案例精講》。
