信息論基礎

第1章  緒論與概覽        1
 第2章  熵. 相對熵和互信息        9
 2.1  熵        9
 2.2  聯(lián)合熵和條件熵        11
 2.3  相對熵和互信息        13
 2.4  熵與互信息的關系        14
 2.5  熵. 相對熵和互信息的鏈式法則        15
 2.6  Jensen不等式及其結果        17
 2.7  對數(shù)和不等式及其應用        22
 2.8  數(shù)據(jù)處理不等式        24
 2.9  熱力學第二定律        25
 2.10  充分統(tǒng)計量        27
 2.11  Fano不等式        28
 要點        30
 習題        31
 歷史回顧        36
 第3章  漸近均分性        39
 3.1  漸近均分性的定義        39
 3.2  AEP的結果應用：數(shù)據(jù)壓縮        41
 3.3  高概率集與典型集        42
 要點        43
 習題        44
 歷史回顧        45
 第4章  隨機過程的熵率        47
 4.1  馬爾可夫鏈        47
 4.2  熵率        49
 4.3  例子：加權圖上隨機游動的熵率        51
 4.4  隱馬爾可夫模型        53
 要點        55
 習題        56
 歷史回顧        60
 第5章  數(shù)據(jù)壓縮        61
 5.1  有關編碼的例子        61
 5.2  Kraft不等式        64
 5.3  最優(yōu)碼        66
 5.4  最優(yōu)碼長的界        67
 5.5  惟一可譯碼的Kraft不等式        70
 5.6  赫夫曼碼        72
 5.7  有關赫夫曼碼的評論        73
 5.8  赫夫曼碼的最優(yōu)性        75
 5.9  Shannon-Fano-Elias編碼        78
 5.10  算術編碼        80
 5.11  香農(nóng)碼的競爭最優(yōu)性        83
 5.12  由均勻硬幣投擲生成離散分布        85
 要點        91
 習題        91
 歷史回顧        96
 第6章  博弈與數(shù)據(jù)壓縮        97
 6.1  馬賽        97
 6.2  博弈與邊信息        100
 6.3  相依的馬賽及其熵率        102
 6.4  英文的熵        103
 6.5  數(shù)據(jù)壓縮與博弈        106
 6.6  英文的熵的博弈估計        107
 要點        108
 習題        109
 歷史回顧        111
 第7章  Kolmogorov復雜度        113
 7.1  計算模型        114
 7.2  Kolmogorov復雜度：定義和例子        115
 7.3  Kolmogorov復雜度與熵        119
 7.4  整數(shù)的Kolmogorov復雜度        121
 7.5  算法隨機序列與不可壓縮序列        122
 7.6  普適概率        125
 7.7  停止問題和Kolmogorov復雜度的不可計算性        126
 7.8  W        127
 7.9  普適投注策略        129
 7.10  奧克姆剃刀        130
 7.11  Kolmogorov復雜度與普適概率        131
 7.12  Kolmogorov充分統(tǒng)計量        136
 要點        139
 習題        140
 歷史回顧        142
 第8章  信道容量        143
 8.1  信道容量的例子        144
 8.1.1  無噪聲二元信道        144
 8.1.2  無重疊輸出的有噪聲信道        144
 8.1.3  有噪聲的打字機信道        145
 8.1.4  二元對稱信道        145
 8.1.5  二元擦除信道        146
 8.2  對稱信道        147
 8.3  信道容量的性質        149
 8.4  信道編碼定理預覽        149
 8.5  定義        150
 8.6  聯(lián)合典型序列        152
 8.7  信道編碼定理        154
 8.8  零誤差碼        158
 8.9  Fano不等式與編碼定理的逆定理        159
 8.10  信道編碼定理的逆定理中的等式        162
 8.11  漢明碼        163
 8.12  反饋容量        165
 8.13  聯(lián)合信源信道編碼定理        167
 要點        170
 習題        171
 歷史回顧        173
 第9章  微分熵        175
 9.1  定義        175
 9.2  連續(xù)隨機變量的AEP        176
 9.3  微分熵與離散熵的關系        178
 9.4  聯(lián)合微分熵和條件微分熵        179
 9.5  相對熵和互信息        180
 9.6  微分熵. 相對熵以及互信息的性質        181
 9.7  離散熵的微分熵界        183
 要點        184
 習題        185
 歷史回顧        186
 第10章  高斯信道        187
 10.1  高斯信道的定義        188
 10.2  高斯信道編碼定理的逆定理        192
 10.3  有限帶寬信道        193
 10.4  并聯(lián)高斯信道        196
 10.5  彩色高斯噪聲信道        198
 10.6  帶反饋的高斯信道        200
 要點        204
 習題        205
 歷史回顧        207
 第11章  最大熵與譜估計        209
 11.1  最大熵分布        209
 11.2  例子        210
 11.3  反常的最大熵問題        212
 11.4  譜估計        213
 11.5  高斯過程的熵率        214
 11.6  Burg最大熵定理        215
 要點        217
 習題        217
 歷史回顧        218
 第12章  信息論與統(tǒng)計學        219
 12.1  型方法        219
 12.2  大數(shù)定律        225
 12.3  通用信源編碼        226
 12.4  大偏差理論        229
 12.5  Sanov定理的例子        231
 12.6  條件極限定理        233
 12.7  假設檢驗        239
 12.8  Stein引理        243
 12.9  Chernoff界        245
 12.10  Lempel-Ziv編碼        251
 12.11  Fisher信息與Cram巖-Rao不等式        256
 要點        260
 習題        262
 歷史回顧        264
 第13章  率失真理論        265
 13.1  量化        265
 13.2  定義        266
 13.3  率失真函數(shù)的計算        269
 13.3.1  二元信源        269
 13.3.2  高斯信源        270
 13.3.3  獨立高斯隨機變量的同步描述        273
 13.4  率失真定理的逆定理        275
 13.5  率失真函數(shù)的可達性        277
 13.6  強典型序列與率失真        282
 13.7  率失真函數(shù)的特征        285
 13.8  信道容量與率失真函數(shù)的計算        286
 要點        289
 習題        289
 歷史回顧        293
 第14章  網(wǎng)絡信息論        295
 14.1  高斯多用戶信道        297
 14.1.1  單用戶高斯信道        298
 14.1.2  m個用戶的高斯多接入信道        298
 14.1.3  高斯廣播信道        299
 14.1.4  高斯中繼信道        299
 14.1.5  高斯干擾信道        301
 14.1.6  高斯雙向信道        301
 14.2  聯(lián)合典型序列        302
 14.3  多接入信道        305
 14.3.1  多接入信道容量區(qū)域的可達性        309
 14.3.2  對多接入信道容量區(qū)域的評述        311
 14.3.3  多接入信道容量區(qū)域的凸性        312
 14.3.4  多接入信道的逆定理        314
 14.3.5  m個用戶的多接入信道        317
 14.3.6  高斯多接入信道        318
 14.4  相關信源的編碼        321
 14.4.1  Slepian-Wolf定理的可達性        323
 14.4.2  Slepian-Wolf定理的逆定理        325
 14.4.3  多信源的Slepian-Wolf定理        327
 14.4.4  Slepian-Wolf編碼的解釋        327
 14.5  Slepian-Wolf編碼與多接入信道之間的對偶性        328
 14.6  廣播信道        329
 14.6.1  廣播信道的定義        331
 14.6.2  退化廣播信道        332
 14.6.3  退化廣播信道的容量區(qū)域        332
 14.7  中繼信道        336
 14.8  具有邊信息的信源編碼        340
 14.9  具有邊信息的率失真        343
 14.10  一般多端網(wǎng)絡        348
 要點        353
 習題        354
 歷史回顧        358
 第15章  信息論與股票市場        361
 15.1  股票市場：定義        361
 15.2  對數(shù)最優(yōu)投資組合的Kuhn-Tucker特征        363
 15.3  對數(shù)最優(yōu)投資組合的漸近最優(yōu)性        365
 15.4  邊信息與雙倍率        367
 15.5  平穩(wěn)市場中的投資        368
 15.6  對數(shù)最優(yōu)投資組合的競爭最優(yōu)性        370
 15.7  Shannon-McMillan-Breiman定理        372
 要點        377
 習題        378
 歷史回顧        379
 第16章  信息論的不等式        381
 16.1  信息論的基本不等式        381
 16.2  微分熵        383
 16.3  熵與相對熵的界        385
 16.4  型的不等式        387
 16.5  子集的熵率        388
 16.6  熵與Fisher信息        390
 16.7  熵冪不等式與Brunn-Minkowski不等式        393
 16.8  行列式的不等式        397
 16.9  行列式的比值的不等式        400
 全書要點        402
 習題        402
 歷史回顧        403
 參考文獻        405
 索引        419
</font>