深度學習：卷積神經網絡從入門到精通

CONTENTS
目　　錄
前言
第1章　概述 1
1.1　深度學習的起源和發(fā)展 1
1.2　卷積神經網絡的形成和演變 4
1.3　卷積神經網絡的應用和影響 6
1.4　卷積神經網絡的缺陷和視圖 9
1.5 卷積神經網絡的GPU實現和cuDNN庫 10
1.6　卷積神經網絡的平臺和工具 10
1.7　本書的內容結構和案例數據 13
1.7.1　內容結構 13
1.7.2　案例數據 15
第2章　預備知識 22
2.1　激活函數 22
2.2　矩陣運算 23
2.3　導數公式 24
2.4　梯度下降算法 25
2.5　反向傳播算法 26
2.5.1　通用反向傳播算法 27
2.5.2　逐層反向傳播算法 28
2.6　通用逼近定理 31
2.7　內外卷積運算 31
2.8　膨脹卷積運算 32
2.9　上下采樣運算 33
2.10　卷積面計算 34
2.11　池化面計算 36
2.12　局部響應歸一化 36
2.13　權值偏置初始化 37
2.14　丟失輸出 37
2.15　丟失連接 38
2.16　隨機梯度下降算法 39
2.17　塊歸一化 39
2.18　動態(tài)規(guī)劃算法 40
第3章 卷積神經網絡的現代雛形——LeNet 41
3.1　LeNet的原始模型 41
3.2　LeNet的標準模型 43
3.3　LeNet的學習算法 44
3.4　LeNet的Caffe代碼實現及說明 46
3.5　LeNet的手寫數字識別案例 54
3.6　LeNet的交通標志識別案例 58
3.6.1 交通標志數據集的格式轉換 58
3.6.2　交通標志的識別分類 60
3.7　LeNet的交通路網提取案例 63
3.7.1　交通路網的人工標注 64
3.7.2　交通路網的圖像塊分類 67
3.7.3 交通路網的圖像塊分類LeNet 69
3.7.4 交通路網的自動提取代碼及說明 71
3.7.5 交通路網的自動提取程序運行結果 75
第4章 卷積神經網絡的突破模型 78
4.1　AlexNet的模型結構 78
4.2 AlexNet的Caffe代碼實現及說明 82
4.3 AlexNet的Caffe大規(guī)模圖像分類案例及演示效果 95
4.4 AlexNet的TensorFlow代碼實現及說明 97
4.5 AlexNet的TensorFlow大規(guī)模圖像分類案例及演示效果 103
4.6　AlexNet的改進模型ZFNet 107
第5章 卷積神經網絡的應變模型 109
5.1　SPPNet的模型結構 109
5.2 SPPNet的Caffe代碼實現及說明 112
5.3 SPPNet的大規(guī)模圖像分類案例及演示效果 114
第6章 卷積神經網絡的加深模型 118
6.1 結構加深的卷積網絡VGGNet 118
6.1.1　VGGNet的模型結構 118
6.1.2 VGGNet的TensorFlow代碼實現及說明 120
6.1.3 VGGNet的物體圖像分類案例 129
6.2 結構更深的卷積網絡GoogLeNet 130
6.2.1　GoogLeNet的模型結構 130
6.2.2 GoogLeNet的TensorFlow代碼實現及說明 136
6.2.3 GoogLeNet的鮮花圖像分類案例 149
第7章 卷積神經網絡的跨連模型 154
7.1　快道網絡HighwayNet 154
7.2　殘差網絡ResNet 155
7.2.1　ResNet的模型結構 155
7.2.2 ResNet的Caffe代碼實現及說明 157
7.2.3 ResNet的大規(guī)模圖像分類案例 163
7.3　密連網絡DenseNet 169
7.3.1　DenseNet的模型結構 169
7.3.2 DenseNet的Caffe代碼實現及說明 171
7.3.3 DenseNet的物體圖像分類案例 174
7.4　拼接網絡CatNet 178
7.4.1　CatNet的模型結構 178
7.4.2 CatNet的Caffe代碼實現及說明 179
7.4.3 CatNet的人臉圖像性別分類案例 183
第8章 卷積神經網絡的區(qū)域模型 190
8.1　區(qū)域卷積網絡R-CNN 190
8.2 快速區(qū)域卷積網絡Fast R-CNN 191
8.3 更快區(qū)域卷積網絡Faster R-CNN 193
8.3.1 Faster R-CNN的模型結構 193
8.3.2 Faster R-CNN的TensorFlow代碼實現及說明 196
8.3.3 Faster R-CNN的圖像目標檢測案例及演示效果 216
8.4　你只看一次網絡YOLO 220
8.4.1　YOLO的模型結構 220
8.4.2 YOLO的TensorFlow代碼實現及說明 226
8.4.3 YOLO的圖像目標檢測案例及演示效果 239
8.5　單次檢測器SSD 242
8.5.1　SSD的模型結構 242
8.5.2 SSD的TensorFlow代碼實現及說明 245
8.5.3 SSD的圖像目標檢測案例及演示效果 260
第9章 卷積神經網絡的分割模型 266
9.1　全卷積網絡FCN 266
9.1.1　FCN的模型結構 266
9.1.2 FCN的Caffe代碼實現及說明 269
9.1.3 FCN的圖像語義和幾何分割案例 272
9.2 金字塔場景分析網絡PSPNet 277
9.2.1　PSPNet的模型結構 277
9.2.2 PSPNet的TensorFlow代碼實現及說明 282
9.2.3 PSPNet的圖像語義分割案例及演示效果 291
9.3 掩膜區(qū)域卷積網絡Mask R-CNN 294
9.3.1 Mask R-CNN的模型結構 294
9.3.2 Mask R-CNN的Keras和TensorFlow代碼實現及說明 297
9.3.3 Mask R-CNN的圖像實例分割案例及演示效果 318
第10章 卷積神經網絡的特殊模型 325
10.1　孿生網絡SiameseNet 325
10.1.1 SiameseNet的模型結構 325
10.1.2 SiameseNet的Caffe代碼實現及說明 326
10.1.3 SiameseNet的手寫數字驗證案例 328
10.2　擠壓網絡SqueezeNet 331
10.2.1 SqueezeNet的模型結構 331
10.2.2 SqueezeNet的Caffe代碼實現及說明 334
10.2.3 SqueezeNet大規(guī)模圖像分類案例 337
10.3 深層卷積生成對抗網絡DCGAN 339
10.3.1 DCGAN的模型結構 339
10.3.2 DCGAN的TensorFlow代碼實現及說明 340
10.3.3 DCGAN的CelebA人臉圖像生成案例 345
10.4　網中網NIN 348
10.4.1　NIN的模型結構 348
10.4.2 NIN的Caffe代碼實現及說明 350
10.4.3 NIN大規(guī)模圖像分類案例 353
第11章 卷積神經網絡的強化模型 356
11.1　強化學習的基本概念 356
11.2 深度強化學習網絡的學習算法 358
11.3 深度強化學習網絡的變種模型 359
11.4 深度強化學習網絡的Flappy Bird智能體案例 361
11.4.1 笨笨鳥網絡的開發(fā)環(huán)境和工具包 362
11.4.2 笨笨鳥網絡的代碼實現及說明 363
11.4.3 笨笨鳥網絡的學習訓練過程 367
11.4.4 笨笨鳥網絡的演示效果 370
第12章 卷積神經網絡的頂尖成就——AlphaGo 371
12.1　人工智能棋類程序簡介 371
12.2　AlphaGo的設計原理 373
12.2.1　總體思路 373
12.2.2　訓練流程 374
12.2.3　搜索過程 377
12.3　AlphaGo Zero的新思想 380
12.4 仿效AlphaGo的圍棋程序案例MuGo 383
12.4.1　MuGo的開發(fā)環(huán)境 383
12.4.2 MuGo的代碼實現及說明 386
12.4.3 MuGo的學習訓練過程 401
12.4.4 MuGo的演示效果 403
附錄A　Caffe在Windows上的?安裝過程 406
附錄B　Caffe在Linux上的安裝?過程 409
附錄C　TensorFlow在Windows?上的安裝過程 412
附錄D　TensorFlow在Linux?上的安裝過程 414
參考文獻 416