神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)

譯者序
前言
致謝
作者簡(jiǎn)介
第1章神經(jīng)網(wǎng)絡(luò)概論111簡(jiǎn)介1
12神經(jīng)網(wǎng)絡(luò)的基本架構(gòu)3
121單層計(jì)算網(wǎng)絡(luò)：感知機(jī)3
122多層神經(jīng)網(wǎng)絡(luò)13
123多層網(wǎng)絡(luò)即計(jì)算圖15
13利用反向傳播訓(xùn)練神經(jīng)網(wǎng)絡(luò)16
14神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的實(shí)際問(wèn)題19
141過(guò)擬合問(wèn)題19
142梯度消失與梯度爆炸問(wèn)題22
143收斂問(wèn)題22
144局部最優(yōu)和偽最優(yōu)22
145計(jì)算上的挑戰(zhàn)23
15復(fù)合函數(shù)的能力之謎23
151非線性激活函數(shù)的重要性25
152利用深度以減少參數(shù)26
153非常規(guī)網(wǎng)絡(luò)架構(gòu)27
16常見(jiàn)網(wǎng)絡(luò)架構(gòu)28
161淺層模型模擬基礎(chǔ)機(jī)器學(xué)習(xí)方法28
162徑向基函數(shù)網(wǎng)絡(luò)29
163受限玻爾茲曼機(jī)29
164循環(huán)神經(jīng)網(wǎng)絡(luò)30
165卷積神經(jīng)網(wǎng)絡(luò)31
166層次特征工程與預(yù)訓(xùn)練模型32
17高級(jí)主題34
171強(qiáng)化學(xué)習(xí)34
172分離數(shù)據(jù)存儲(chǔ)和計(jì)算34
173生成對(duì)抗網(wǎng)絡(luò)35
18兩個(gè)基準(zhǔn)35
181MNIST手寫數(shù)字?jǐn)?shù)據(jù)庫(kù)35
182ImageNet數(shù)據(jù)庫(kù)36
19總結(jié)37
110參考資料說(shuō)明37
1101視頻講座38
1102軟件資源39
111練習(xí)39
第2章基于淺層神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)41
21簡(jiǎn)介41
22二分類模型的神經(jīng)架構(gòu)42
221復(fù)習(xí)感知機(jī)42
222最小二乘回歸44
223邏輯回歸47
224支持向量機(jī)49
23多分類模型的神經(jīng)架構(gòu)50
231多分類感知機(jī)51
232WestonWatkins支持向量機(jī)52
233多重邏輯回歸（softmax分類器）53
234應(yīng)用于多分類的分層softmax54
24反向傳播可以用于特征選擇和神經(jīng)網(wǎng)絡(luò)的可解釋性54
25使用自編碼器進(jìn)行矩陣分解55
251自編碼器的基本原則55
252非線性激活函數(shù)59
253深度自編碼器60
254應(yīng)用于離群點(diǎn)檢測(cè)62
255當(dāng)隱藏層比輸入層維數(shù)高時(shí)63
256其他應(yīng)用63
257推薦系統(tǒng)：行索引到行值的預(yù)測(cè)65
258討論67
26word2vec：簡(jiǎn)單神經(jīng)架構(gòu)的應(yīng)用67
261連續(xù)詞袋的神經(jīng)嵌入68
262skipgram模型的神經(jīng)嵌入70
263word2vec（SGNS）是邏輯矩陣分解74
264原始skipgram模型是多項(xiàng)式矩陣分解76
27圖嵌入的簡(jiǎn)單神經(jīng)架構(gòu)76
271處理任意數(shù)量的邊78
272多項(xiàng)式模型78
273與DeepWalk和node2vec的聯(lián)系78
28總結(jié)78
29參考資料說(shuō)明79
210練習(xí)80
第3章深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練8231簡(jiǎn)介82
32反向傳播的詳細(xì)討論83
321計(jì)算圖抽象中的反向傳播83
322前來(lái)拯救的動(dòng)態(tài)規(guī)劃87
323使用激活后變量的反向傳播88
324使用激活前變量的反向傳播89
325不同激活函數(shù)的更新示例91
326以向量為中心的反向傳播的解耦視圖92
327多輸出節(jié)點(diǎn)及隱藏節(jié)點(diǎn)下的損失函數(shù)94
328小批量隨機(jī)梯度下降95
329用于解決共享權(quán)重的反向傳播技巧96
3210檢查梯度計(jì)算的正確性97
33設(shè)置和初始化問(wèn)題98
331調(diào)整超參數(shù)98
332特征預(yù)處理99
333初始化100
34梯度消失和梯度爆炸問(wèn)題101
341對(duì)梯度比例影響的幾何理解102
342部分解決：激活函數(shù)的選擇103
343死亡神經(jīng)元和“腦損傷”104
35梯度下降策略105
351學(xué)習(xí)率衰減105
352基于動(dòng)量的學(xué)習(xí)106
353參數(shù)特異的學(xué)習(xí)率108
354懸崖和高階不穩(wěn)定性111
355梯度截?cái)?12
356二階導(dǎo)數(shù)112
357Polyak平均118
358局部極小值和偽極小值119
36批歸一化120
37加速與壓縮的實(shí)用技巧123
371GPU加速123
372并行和分布式實(shí)現(xiàn)125
373模型壓縮的算法技巧126
38總結(jié)128
39參考資料說(shuō)明128
310練習(xí)130
第4章讓深度學(xué)習(xí)器學(xué)會(huì)泛化132
41簡(jiǎn)介132
42偏差方差權(quán)衡135
43模型調(diào)優(yōu)和評(píng)估中的泛化問(wèn)題138
431用留出法和交叉驗(yàn)證法進(jìn)行評(píng)估139
432大規(guī)模訓(xùn)練中的問(wèn)題140
433如何檢測(cè)需要收集更多的數(shù)據(jù)141
44基于懲罰的正則化141
441與注入噪聲的聯(lián)系142
442L1正則化143
443選擇L1正則化還是L2正則化143
444對(duì)隱藏單元進(jìn)行懲罰：學(xué)習(xí)稀疏表示144
45集成方法145
451裝袋和下采樣145
452參數(shù)模型選擇和平均146
453隨機(jī)連接刪除146
454Dropout147
455數(shù)據(jù)擾動(dòng)集成149
46早停149
47無(wú)監(jiān)督預(yù)訓(xùn)練150
471無(wú)監(jiān)督預(yù)訓(xùn)練的變體153
472如何進(jìn)行監(jiān)督預(yù)訓(xùn)練154
48繼續(xù)學(xué)習(xí)與課程學(xué)習(xí)154
481繼續(xù)學(xué)習(xí)155
482課程學(xué)習(xí)156
49共享參數(shù)156
410無(wú)監(jiān)督應(yīng)用中的正則化157
4101基于值的懲罰：稀疏自編碼器157
4102噪聲注入：去噪自編碼器157
4103基于梯度的懲罰：收縮自編碼器158
4104隱藏層概率結(jié)構(gòu)：變分自編碼器161
411總結(jié)166
412參考資料說(shuō)明166
413練習(xí)168
第5章徑向基函數(shù)網(wǎng)絡(luò)169
51簡(jiǎn)介169
52RBF網(wǎng)絡(luò)的訓(xùn)練171
521訓(xùn)練隱藏層171