信息理論基礎

前言
第一章 概論
1.1 信息理論的基本內(nèi)容
1.2 信息理論的發(fā)展簡史
1.3 控制論、信息論與系統(tǒng)論
1.4 信息理論的應用
1.5 本書的結構
第二章 有關信息的基本概念與問題
2.1 引言
2.2 自信息與熵
2.3 互信息
2.4 多系統(tǒng)
2.5 凸性定理
2.6 唯一性定理
2.7 馬科夫過程與馬科夫熵
2.8 熱熵與信息熵
第三章 信源及其編碼的一些基本概念和理論
3.1 引言
3.2 自然語言和文字作為信源
3.3 信源熵
3.4 信源編碼
3.5 無記憶信源
3.6 定長碼
3.7 變長碼
3.8 碼字的平均長度
3.9 最優(yōu)編碼
3.10 記憶信源
3.11 平穩(wěn)信源
3.12 遍歷性信源
第四章 信道及其編碼的一些基本概念和基本理論
4.1 引言
4.2 信道理論
1.3 信道編碼
4.4 信道容量
4.5 通信系統(tǒng)
4.6 無記憶信道容量
4.7 凸性
4.8 信道容量方程的解
4.9 唯一性
4.10 傳輸特性
4.1l 仙農(nóng)定理
4.12 級聯(lián)信道
4.13 無限級聯(lián)問題
4.14 并聯(lián)信道
附錄
習題
第五章 連續(xù)信源與連續(xù)信道
5.1 連續(xù)隨機變量的熵
5.2 連續(xù)信源與連續(xù)信道
5.3 連續(xù)隨機變量的微熵
5.4 高斯信號的信息度量
5.5 無記憶的高斯信道和高斯信源
5.6 有記憶的高斯信道和信源
5.7 抽樣定理
5.8 高斯波形信道與信源
5.9 比特能量與比特誤差率
5.10 具有頻帶限制的信號
5.11 無頻帶制約的信號
5.12 熵功率不等式
5.13 中心極限定理
習題
第六章 有關編碼的一些基本概念
6.1 引言
6.2 變長碼
6.3 變長碼定理
6.4 克拉夫特定理
6.5 最優(yōu)碼
6.6 檢錯碼
6.7 糾錯碼
6.8 漢明碼
6.9 加權碼
第七章 數(shù)據(jù)傳輸碼
7.1 引言
7.2 離散含噪信道
7.3 距離與分量的表示方法
7.4 互信息函數(shù)
7.5 數(shù)據(jù)傳輸?shù)膲K碼
習題
第八章 數(shù)據(jù)譯碼與緊縮碼
8.1 數(shù)據(jù)譯碼
8.2 數(shù)據(jù)緊縮碼
8.3 離散信源的信息容量
8.4 熵函數(shù)
8.5 為數(shù)據(jù)緊縮的前束碼
習題
第九章 數(shù)據(jù)壓縮碼
9.1 引言
9.2 大于信道容量的傳輸速率
9.3 信息的壓縮
9.4 壓縮數(shù)據(jù)的信息容量
9.5 信息傳輸定理
習題
第十章 試驗假設
10.1 引言
10.2 內(nèi)曼一皮爾遜定理
10.3 諾思濾波器
10.4 判別函數(shù)
10.5 在性能上的初步極限
10.6 在性能上的漸近界限
10.7 誤差一指數(shù)函數(shù)
10,8 逆定理
10.9 切爾諾夫界限
習題
第十一章 估計理論
11.1 引言
11.2 參數(shù)的估計
11.3 費希爾（Fisher）信息矩陣
11.4 多重并行估計
11.5 脈沖到達時間的估計
11.6 脈沖到達頻率的估計
11.7 推理原理
11.8 譜估計
習題
第十二章多端信息網(wǎng)絡
12.1 引言
l2.2 反饋信道
12.3 多用戶信道
12.4 廣播信道
12.5 雙向信道
12.6 相關數(shù)據(jù)的遠程緊縮
12.7 具有旁信息的數(shù)據(jù)緊縮
l2.8 具有旁信息的數(shù)據(jù)壓縮
12.9 分布系統(tǒng)的數(shù)據(jù)壓縮
第十三章 檢錯碼與糾錯碼
13.1 引言
13.2 定長碼與變長碼
13.3 最優(yōu)碼
13.4 糾錯碼
13.5 線性誤差糾錯碼——二進對稱信道
13.6 卷積編碼器
13.7 狀態(tài)圖與梯形圖
13.8 最大相似解碼與Viterbi算法
第十四章 信息率失真理論
14.1 引言
14.2 根據(jù)真實度準則的信源編碼
14.3 信息率失真函數(shù)及其特性
14.4 信息率失真理論的基本定理
14.5 逆定理
習題
第十五章 條形碼
15.1 引言
15.2 通用生產(chǎn)碼符號的特性與可解碼性
15.3 條形碼的可靠性
附錄A 凸函數(shù)的最小化
附錄B K-L展開式
附錄C 2Toeplitz分布定理
后記