深度學(xué)習(xí)：核心技術(shù)、工具與案例解析

CONTENTS
目　　錄
前言
第1章　了解深度學(xué)習(xí) 1
1.1　什么是深度學(xué)習(xí) 1
1.1.1　深度學(xué)習(xí)能解決的問題 2
1.1.2　深度學(xué)習(xí)適用的領(lǐng)域 3
1.2　深度學(xué)習(xí)的技術(shù)發(fā)展 6
1.2.1　基礎(chǔ)技術(shù)發(fā)展 7
1.2.2　應(yīng)用技術(shù)發(fā)展 8
1.3　深度學(xué)習(xí)的知識(shí)點(diǎn)匯總 10
1.3.1　深度學(xué)習(xí)的預(yù)備技術(shù) 11
1.3.2　深度學(xué)習(xí)的技術(shù)構(gòu)成 12
1.3.3　深度學(xué)習(xí)向其他行業(yè)與技術(shù)領(lǐng)域的延伸 13
1.4　深度學(xué)習(xí)工具與平臺(tái)介紹 15
1.4.1　深度學(xué)習(xí)框架 15
1.4.2　深度學(xué)習(xí)基礎(chǔ)架構(gòu) 18
1.4.3　深度學(xué)習(xí)開發(fā)工具 19
1.4.4　深度學(xué)習(xí)輔助工具 20
1.4.5　深度學(xué)習(xí)云平臺(tái)服務(wù) 20
1.5　本章小結(jié) 22
1.6　參考資料 23
第2章　深度學(xué)習(xí)技術(shù) 24
2.1　深度學(xué)習(xí)基礎(chǔ) 24
2.1.1　感知器 26
2.1.2　激活函數(shù) 27
2.1.3　輸入層、隱藏層、輸出層 29
2.1.4　前向傳播與反向傳播求導(dǎo) 29
2.2　CNN 30
2.2.1　前饋網(wǎng)絡(luò)解決圖像存在的問題 31
2.2.2　卷積神經(jīng)網(wǎng)絡(luò) 31
2.2.3　圖像的幾個(gè)不變性 33
2.2.4　卷積 34
2.2.5　池化 38
2.2.6　Inception 39
2.2.7　Flatten層和全連接層 39
2.2.8　跳層連接 40
2.2.9　經(jīng)典CNN 41
2.3　RNN 41
2.3.1　RNN結(jié)構(gòu) 42
2.3.2　基本結(jié)構(gòu)與前向傳播 43
2.3.3　BPTT 44
2.3.4　LSTM 46
2.3.5　RNN拓展 50
2.4　最優(yōu)化算法 52
2.4.1　梯度下降 52
2.4.2　Adam 54
2.5　本章小結(jié) 56
第3章　TensorFlow基礎(chǔ) 57
3.1　TensorFlow 57
3.2　獲取與安裝 60
3.3　變量及作用域 61
3.4　構(gòu)建計(jì)算圖 66
3.5　全連接網(wǎng)絡(luò)構(gòu)建 71
3.6　CNN構(gòu)建 78
3.7　RNN構(gòu)建 82
3.8　多架構(gòu)運(yùn)行 85
3.8.1　GPU使用 85
3.8.2　多CPU使用 86
3.9　隊(duì)列使用 88
3.10　本章小結(jié) 89
第4章　TensorFlow進(jìn)階 90
4.1　TensorFlow架構(gòu)與原理 90
4.2　TensorFlow擴(kuò)展 93
4.2.1　TF Layers 94
4.2.2　TF Slim 95
4.2.3　TFLearn 96
4.2.4　Keras 99
4.3　Tensorboard與問題監(jiān)控 101
4.4　改善深度神經(jīng)網(wǎng)絡(luò) 103
4.5　性能優(yōu)化建議 105
4.6　深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu) 107
4.6.1　Inception結(jié)構(gòu) 107
4.6.2　ResNet結(jié)構(gòu) 108
4.6.3　Seq2Seq結(jié)構(gòu) 108
4.6.4　Attention 109
4.7　本章小結(jié) 110
第5章　語音識(shí)別器 111
5.1　任務(wù)分析 111
5.2　數(shù)據(jù)與特征分析 114
5.2.1　語音數(shù)據(jù)庫 114
5.2.2　語音數(shù)據(jù)特征 115
5.3　主流語音識(shí)別網(wǎng)絡(luò)結(jié)構(gòu) 119
5.3.1　用于語音識(shí)別的CNN 120
5.3.2　用于語音識(shí)別的RNN 122
5.4　CTC Loss 123
5.5　文本向量化 126
5.5.1　英文文本向量化 126
5.5.2　中文文本向量化 129
5.5.3　文本標(biāo)簽比對 130
5.6　完整構(gòu)建神經(jīng)網(wǎng)絡(luò) 131
5.6.1　構(gòu)建CNN識(shí)別網(wǎng)絡(luò) 132
5.6.2　用于語音識(shí)別的RNN 136
5.7　數(shù)據(jù)訓(xùn)練 138
5.8　參數(shù)調(diào)優(yōu) 140
5.9　實(shí)際數(shù)據(jù)分析 141
5.10　本章小結(jié) 142
第6章　對話機(jī)器人 143
6.1　對話機(jī)器人概述與應(yīng)用領(lǐng)域 143
6.2　對話機(jī)器人主流技術(shù) 145
6.2.1　基于模板的對話機(jī)器人 145
6.2.2　基于檢索技術(shù)的對話機(jī)器人 146
6.2.3　基于深度學(xué)習(xí)的對話機(jī)器人 146
6.3　對話機(jī)器人的前沿與功能擴(kuò)展 147
6.4　深度學(xué)習(xí)對話機(jī)器人原理 149
6.5　構(gòu)建對話機(jī)器人 150
6.5.1　Bot界面與交互 150
6.5.2　語料預(yù)處理 155
6.5.3　模型構(gòu)建 161
6.5.4　訓(xùn)練流程 163
6.5.5　在線推斷 165
6.6　本章小結(jié) 166
第7章　人臉識(shí)別器 167
7.1　任務(wù)分析 167
7.2　Detection、Aliment與Identify 170
7.3　數(shù)據(jù)特征分析 172
7.3.1　人臉位置和范圍數(shù)據(jù) 173
7.3.2　人臉關(guān)鍵點(diǎn)數(shù)據(jù) 174
7.3.3　人臉識(shí)別數(shù)據(jù)庫 176
7.4　haar分類器方式 178
7.4.1　固定特征的提取 178
7.4.2　分類器 180
7.4.3　代碼實(shí)現(xiàn) 182
7.5　神經(jīng)網(wǎng)絡(luò)方法演進(jìn) 183
7.6　人臉識(shí)別網(wǎng)絡(luò)構(gòu)建 185
7.6.1　人臉檢測網(wǎng)絡(luò)MTCNN 185
7.6.2　用于人臉檢測的GoogleNet 188
7.7　主流人臉識(shí)別網(wǎng)絡(luò)差異分析 190
7.8　TensorFlow搭建網(wǎng)絡(luò) 191
7.9　參數(shù)調(diào)優(yōu) 193
7.10　實(shí)戰(zhàn)分析 195
7.11　本章小結(jié) 197
第8章　自動(dòng)駕駛 198
8.1　自動(dòng)駕駛的介紹與應(yīng)用領(lǐng)域 198
8.1.1　自動(dòng)駕駛的應(yīng)用場景 199
8.1.2　自動(dòng)駕駛分級 199
8.2　自動(dòng)駕駛技術(shù) 201
8.2.1　端到端的自動(dòng)駕駛歷史 202
8.2.2　底層硬件支撐技術(shù)平臺(tái) 203
8.3　深度增強(qiáng)學(xué)習(xí) 204
8.4　行車檢測 208
8.4.1　物體檢測 208
8.4.2　YOLO模型 209
8.4.3　車輛圖像數(shù)據(jù)探索 211
8.4.4　車輛視頻數(shù)據(jù)預(yù)處理 212
8.4.5　遷移學(xué)習(xí) 212
8.4.6　模型推斷 213
8.4.7　繪制檢測結(jié)果 213
8.5　端到端自動(dòng)駕駛 216
8.5.1　英偉達(dá)End to End模型 216
8.5.2　評估指標(biāo) 219
8.5.3　數(shù)據(jù)分析 219
8.5.4　讀入視頻，并處理圖像 222
8.5.5　深度學(xué)習(xí)模型構(gòu)建與訓(xùn)練 222
8.5.6　可視化結(jié)果 223
8.6　本章小結(jié) 224
8.7　參考資料 224
第9章　可視化實(shí)踐 225
9.1　可視化發(fā)展 225
9.2　可視化過程 227
9.3　Matplotlib 228
9.4　ECharts 230
9.