人工神經網絡與模擬進化計算（清華大學信息科學技術學院教材）

第1章 緒論1
1.1 神經網絡的發(fā)展與應用1
1.2 人工神經元模型2
1.3 用有向圖表示神經網絡4
1.4 網絡結構及工作方式5
1.5 NN的學習7
1.5.1 學習方式7
1.5.2 學習算法7
1.5.3 學習與自適應9
習題9
參考文獻10
第2章 前饋網絡11
2.1 線性閾值單元11
2.1.1 用線性閾值單元實現布爾函數11
2.1.2 線性可分性12
2.1.3 n維歐氏空間中m個點上可實現的線性可分函數的個數13
2.2 多層前饋網絡的計算能力及函數逼近15
2.3 感知器的學習算法17
2.4 反向傳播學習算法19
2.5 改進反向傳播算法收斂速度的措施26
2.5.1 加入動量項26
2.5.2 高階導數的利用27
2.5.3 共軛梯度法27
2.5.4 遞推最小二乘法28
2.5.5 神經元空間搜索法28
2.5.6 一些其他措施30
2.6 多層前饋網絡作用的分析31
2.6.1 線性網絡32
2.6.2 非線性情況33
2.7 應用舉例34
習題45
參考文獻48
第3章 徑向基函數網絡51
3.1 φ可分性51
3.2 函數逼近與內插52
3.3 正規(guī)化理論53
3.4 RBF網絡的學習60
3.5 RBF網絡的一些變形63
3.6 CMAC網絡64
3.6.1 模型結構64
3.6.2 工作原理分析66
3.6.3 學習算法69
3.7 概率神經網絡70
3.8 小波網絡71
3.9 泛函連接網絡72
3.10 新一代神經元模型及其計算能力的研究74
3.10.1 布爾函數的計算75
3.10.2 連續(xù)輸入的情況75
3.10.3 脈沖耦合神經網絡76
參考文獻81
第4章 學習理論與網絡結構選擇86
4.1 經驗風險最小化與推廣能力88
4.1.1 經驗風險最小化原則89
4.1.2 推廣能力、模型復雜度和樣本量90
4.2 統計學習理論簡介92
4.2.1 學習過程一致性的條件93
4.2.2 統計學習理論發(fā)展中的三個重要結論96
4.2.3 推廣能力的界97
4.2.4 結構風險最小化102
4.3 學習的復雜性問題105
4.3.1 PAC學習模型105
4.3.2 PAC學習的例子106
4.3.3 PAC學習模型的一些擴展106
4.3.4 多層前饋網絡的樣本數問題107
4.3.5 學習的計算復雜性108
4.4 學習的動態(tài)特性109
4.4.1 通用學習方程109
4.4.2 LMS規(guī)則110
4.4.3 Hebb規(guī)則111
4.4.4 Oja學習規(guī)則111
4.5 推廣問題112
4.5.1 定性分析112
4.5.2 平均推廣能力113
4.5.3 樣本量問題115
4.5.4 推廣誤差的實驗估計116
4.6 預測學習117
4.6.1 模型117
4.6.2 根本困難118
4.6.3 維數災難問題118
4.6.4 方差與偏置折衷118
4.7 學習的數學基礎120
4.8 網絡模型選擇122
4.8.1 定性分析122
4.8.2 正規(guī)化方法123
4.8.3 修剪與網絡構造法124
4.9 符號學習與神經網絡結合131
習題133
參考文獻134
第5章 核方法與支持向量機140
5.1 現有方法概述141
5.1.1 基函數法142
5.1.2 核函數143
5.2 基函數法與核函數法的對偶關系144
5.3 自適應方法147
5.4 核函數法147
5.5 表示定理151
5.6 最優(yōu)線性分界面152
5.7 支持向量機（SVM）155
5.7.1 基本原理155
5.7.2 SVM用于多類（C類）問題161
5.7.3 SVM用于回歸161
5.8 核PCA163
5.9 SVM的算法165
5.10 貝葉斯方法與高斯過程171
5.10.1 貝葉斯方法171
5.10.2 高斯過程173
5.10.3 稀疏表示175
5.11 討論177
參考文獻181
第6章 自組織系統(Ⅰ)——Hebb學習184
6.1 引言184
6.2 自組織特征檢測——一個簡單的實驗185
6.3 主成分分析186
6.4 單個神經元抽取最大主分量189
6.5 單層網絡用于抽取一組主分量189
6.6 有側向連接的自適應PCA191
6.7 最小均方誤差重建學習193
6.8 次分量的提取和應用195
6.8.1 最優(yōu)擬合問題195
6.8.2 用單個神經元實現197
6.9 PCA算法的進一步擴展200
6.9.1 非線性PCA200
6.9.2 主曲線與主曲面200
6.9.3 魯棒PCA算法202
6.9.4 偏最小二乘方法202
6.10 用于特征抽取的網絡203
6.10.1 正態(tài)分布的數據204
6.10.2 類內、類間距離的計算205
6.10.3 Bhattacharya距離206
參考文獻207
第7章 自組織系統(Ⅱ)——競爭學習210
7.1 Hamming網絡與WTA網絡210
7.2 自組織特征映射212
7.3 等效的SOM算法215
7.4 向量量化220
7.5 廣義向量量化221
7.6 討論223
7.7 應用舉例225
7.8 自適應共振理論235
7.8.1 ART的基本原理236
7.8.2 ART作為分類器時的學習算法239
習題240
參考文獻241
第8章 自組織系統(Ⅲ)——基于信息論的模型245
8.1 信息論簡介245
8.2 最大信息保持原則247
8.2.1 單個神經元受噪聲干擾247
8.2.2 輸入受加性噪聲干擾248
8.2.3 更復雜些的情況249
8.3 拓撲有序映射的產生251
8.4 基于最大熵原則的拓撲映射253
8.5 盲信號處理255
8.5.1 一些基本概念257
8.5.2 ICA的目標函數261
8.5.3 盲信號處理的應用267
8.5.4 非線性獨立成分分析（NLICA）270
參考文獻273
第9章 動態(tài)信號與系統的處理276
9.1 延時單元網絡276
9.2 時空神經元模型280
9.2.1 模型280
9.2.2 FIR網絡的學習算法282
9.3 部分反饋網絡286
9.4 有反饋網絡的學習算法289
9.4.1 隨時間演化的反向傳播算法289
9.4.2 實時遞歸學習290
9.5 應用舉例293
9.6 神經網絡在金融領域中的應用304
9.7 討論310
9.8 再勵學習及其主要算法314
9.8.1 時間差分法315
9.8.2 RL的主要算法317
9.9 再勵學習在控制中的應用舉例319
習題327
參考文獻328
第10章 多神經網絡集成335
10.1 引言335
10.2 群體平均法336
10.3 Boosting方法337
10.3.1 Boosting算法338
10.3.2 性能分析339
10.3.3 應用實例——由基因表達譜對腫瘤分類340
10.4 混合專家網絡342
10.5 分層混合專家網絡344
10.5.1 工作原理345
10.5.2 EM算法概述347
10.5.3 EM算法用于HME349
10.5.4 IRLS算法350
10.5.5 EM算法的步驟352
10.6 應用舉例353
參考文獻357
第11章 反饋網絡與聯想存儲器360
11.1 聯想存儲器360
11.2 反饋網絡361
11.2.1 離散Hopfield網絡362
11.2.2 連續(xù)Hopfield網絡366
11.3 用反饋網絡作聯想存儲器368
11.4 相關學習算法369
11.5 容量分析373
11.6 偽逆學習算法377
11.7 基于線性可分性的學習算法378
11.8 Li與Michel的設計方法（特征結構法）379
11.9 線性規(guī)劃方法379
11.10 多余吸引子問題381
11.11 雙向聯想存儲器（BAM）382
11.11.1 能量函數與穩(wěn)定性384
11.11.2 BAM網絡的權值設計384
11.12 玻耳茲曼機386
11.12.1 隨機神經元386
11.12.2 模擬退火算法387
11.12.3 玻耳茲曼機387
11.12.4 玻耳茲曼機的學習388
11.12.5 平均場學習規(guī)則392
習題394
參考文獻395
第12章 神經網絡用于優(yōu)化計算398
12.1 概述398
12.2 連續(xù)Hopfield網絡用于求解優(yōu)化問題401
12.3 CHNN用于優(yōu)化計算時存在的問題403
12.4 神經網絡用于求解貨流問題405
12.5 用于解數學規(guī)劃的電路舉例409
12.6 在通信網絡中的應用舉例411
習題412
參考文獻413
第13章 神經網絡中的動力學問題415
13.1 運動穩(wěn)定性的基本知識415
13.1.1 運動微分方程415
13.1.2 平衡狀態(tài)及其穩(wěn)定性416
13.1.3 定性方法與系統的分類418
13.1.4 Lyapunov定理421
13.1.5 吸引子422
13.2 反饋網絡的基本模型及其穩(wěn)定性424
13.2.1 基本模型424
13.2.2 穩(wěn)定性分析425
13.2.3 離散模型427
13.2.4 離散時間連續(xù)狀態(tài)模型427
13.3 混沌神經網絡的初步介紹430
13.3.1 一個簡單的非線性映射430
13.3.2 混沌神經元模型432
13.3.3 用混沌神經網絡作聯想記憶434
參考文獻435
第14章 誤差函數與參數優(yōu)化方法437
14.1 誤差平方和438
14.1.1 網絡輸出的含義438
14.1.2 更一般的條件分布的建模440
14.2 后驗概率估計442
14.2.1 誤差平方和準則443
14.2.2 隱單元的作用443
14.2.3 R范數誤差444
14.3 交叉熵445
14.3.1 兩類分類器445
14.3.2 交叉熵的性質446
14.3.3 多類情況447
14.4 參數優(yōu)化算法448
14.4.1 誤差曲面448
14.4.2 對E的局部二次逼近449
14.4.3 優(yōu)化過程的一些實際問題450
14.5 梯度下降法451
14.5.1 收斂性的定性分析452
14.5.2 加速收斂的措施452
14.6 共軛梯度法454
14.7 牛頓法及其變形457
14.8 LevenbergMarquart算法458
14.9 信息幾何與自然梯度459
參考文獻459
第15章 貝葉斯方法461
15.1 網絡權值的貝葉斯學習462
15.1.1 權值的分布462
15.1.2 一類更廣的分布464
15.1.3 網絡輸出的分布465
15.1.4 超參數的處理466
15.2 貝葉斯模型選擇468
15.2.1 模型顯著度469
15.2.2 網絡組470
15.2.3 貝葉斯方法的實現471
15.2.4 最小描述長度471
15.3 在神經網絡中的應用472
15.4 貝葉斯陰陽系統理論簡介474
15.5 討論475
參考文獻477
第16章 神經網絡在信號處理中的應用479
16.1 引言479
16.2 用泛函對物理系統建模479
16.2.1 算子與泛函480
16.2.2 Volterra級數481
16.3 Volterra級數與多層前饋網絡482
16.4 非線性ARMA模型與MFNN484
16.5 狀態(tài)空間表示與神經網絡486
16.6 神經網絡與馬爾可夫模型487
16.7 特征空間分解與神經網絡489
16.7.1 信息判據用于主子空間分析489
16.7.2 非線性主元分析492
16.8 EM算法用于訓練部分反饋網絡494
16.9 混沌時間序列的預測和混沌中信號的檢測497
16.9.1 混沌時間序列的預測497
16.9.2 混沌中信號的檢測——海洋雜亂回波中雷達信號的檢測501
16.10 神經網絡用于信息的壓縮和編碼503
16.11 神經網絡用于盲信號處理507
16.12 小波網絡與多分辨率學習512
16.12.1 引言512
16.12.2 小波基函數與函數的多分辨率分析512
16.12.3 多分辨率學習與小波網絡515
16.12.4 多尺度網絡用于時間序列預測520
參考文獻522
第17章 進化計算概論與進化策略526
17.1 進化計算概論526
17.2 二元進化策略528
17.2.1 基本算法528
17.2.2 變異過程530
17.2.3 步長選擇532
17.2.4 收斂準則534
17.2.5 對于約束條件的處理535
17.3 多元進化策略535
17.3.1 基本算法536
17.3.2 (1，λ)前進速度分析537
17.3.3 步長控制543
17.3.4 μ≥1時的收斂準則545
17.3.5 串行與并行546
參考文獻547
第18章 遺傳算法及其理論分析549
18.1 標準遺傳算法和基本概念549
18.2 模式定理552
18.3 基因塊假設556
18.4 欺騙性問題559
18.5 收斂性分析563
18.5.1 基本概念563
18.5.2 守恒交叉算子565
18.5.3 完全變異算子566
18.5.4 遺傳算法的馬爾可夫鏈分析567
參考文獻569
第19章 遺傳算法的設計與實現570
19.1 編碼方法570
19.1.1 編碼原則571
19.1.2 編碼方法573
19.2 適應度函數577
19.2.1 目標函數映射成適應度函數577
19.2.2 適應度函數調整578
19.2.3 適應度函數的設計對遺傳算法的影響579
19.3 遺傳算子580
19.3.1 選擇算子580
19.3.2 交叉算子582
19.3.3 變異算子584
19.4 其他問題586
19.4.1 參數選擇586
19.4.2 其他操作587
參考文獻592
第20章 遺傳算法在神經網絡中的應用593
20.1 連接權的進化方法593
20.2 網絡結構的進化方法595
20.3 用遺傳算法解決XOR問題示例597
參考文獻599
第21章 遺傳算法在作業(yè)調度中的應用600
21.1 問題描述600
21.2 解作業(yè)調度問題的遺傳算法602
21.3 仿真結果605
參考文獻609
第22章 分布估計算法610
22.1 離散的分布估計算法611
22.1.1 變量獨立假設下的算法611
22.1.2 雙變量概率依賴關系614
22.1.3 多變量概率依賴關系622
22.2 連續(xù)的分布估計算法626
22.2.1 變量獨立假設下的算法627
22.2.2 雙變量概率依賴關系628
22.2.3 多變量概率依賴關系629
22.3 討論630
參考文獻631
索引634