自然語言理解

第 1章自然語言處理概要 1

1.1自然語言處理的概念和術(shù)語 .1

1.1.1自然語言 .1

1.1.2自然語言處理與自然語言理解 .2

1.1.3計算語言學 3

1.2自然語言處理的技術(shù)性挑戰(zhàn) .4

1.3機器翻譯 7

1.4語言處理層次 .9

1.5應(yīng)用型自然語言處理：人機對話系統(tǒng) 16

1.6自然語言處理的學術(shù)出版體系 19
參考文獻25

第 2章 n元語言模型.27

2.1概率論基礎(chǔ).27

2.2語言模型用于語言生成 29

2.3 n元語言模型的工作方式及馬爾可夫假設(shè) .30

2.3.1 n元機制 .30

2.3.2馬爾可夫假設(shè).31

2.4評價指標：困惑度.32

2.5 n元語言模型的平滑方法.33

2.5.1 Laplace平滑（加一平滑）34

2.5.2 Good-Turing平滑 35

2.5.3 Jelinek-Mercer平滑 .36

2.5.4 Katz平滑37

2.5.5 Kneser-Ney平滑 37

2.5.6 Pitman-Yor語言模型 .39

2.6非 n元機制的平滑方法 .41

2.6.1緩存 41

2.6.2跳詞 41

2.6.3聚類 42

2.7平滑方法的經(jīng)驗結(jié)果 .43

2.8 n元語言模型的建模工具.44

參考文獻45

XII自然語言理解
第 3章語言編碼表示 .47

3.1獨熱表示 47

3.2特征函數(shù) 49

3.3通用特征模板 .52

3.4加權(quán)的獨熱表示：TF-IDF.53
參考文獻55

第 4章非監(jiān)督的結(jié)構(gòu)化學習 .56

4.1自然語言處理的方法構(gòu)成.56

4.2簡單任務(wù)：詞/子詞切分 58

4.3切分算法 58

4.3.1通用切分框架.58

4.3.2全局優(yōu)度最大化：Viterbi解碼算法 .59

4.3.3局部優(yōu)度最大化：貪心解碼算法 59

4.4優(yōu)度度量 60

4.4.1頻率 60

4.4.2鄰接多樣性 61

4.4.3分支熵.62

4.4.4描述長度增益.63

4.4.5點互信息 .63

4.4.6學生 t測試64

4.5非監(jiān)督分詞.64

4.5.1數(shù)據(jù)集和評估指標 64

4.5.2詞典預(yù)處理技巧 .65

4.5.3性能 66

4.6推廣的字節(jié)對編碼切分算法 .67
參考文獻67

第 5章結(jié)構(gòu)化學習 69

5.1機器學習的粒度和語言單元 .69

5.2結(jié)構(gòu)化學習的必要性 .72

5.3自然語言處理中的結(jié)構(gòu)化學習任務(wù) .74

5.4退化為分類任務(wù) 76

5.5結(jié)構(gòu)分解 78

5.6共時結(jié)構(gòu)分解：圖模型 78

5.7歷時結(jié)構(gòu)分解：轉(zhuǎn)移模型.82

5.8兩類結(jié)構(gòu)化分解方式的優(yōu)劣 .83

5.9結(jié)構(gòu)化學習的簡化情形 84
參考文獻85

目錄 XIII
第 6章結(jié)構(gòu)上的標注任務(wù) 86

6.1從結(jié)構(gòu)標注到序列標注 86

6.2局部馬爾可夫模型.88

6.3全局馬爾可夫模型和條件隨機場.90

6.3.1全局馬爾可夫模型 90

6.3.2馬爾可夫隨機場 .91

6.3.3條件隨機場 92

6.4隱馬爾可夫模型 95

6.4.1從馬爾可夫鏈到隱馬爾可夫模型 95

6.4.2隱馬爾可夫模型的基本計算任務(wù)：概率估計 .96

6.4.3隱馬爾可夫模型的訓練：參數(shù)估計.99

6.4.4隱馬爾可夫模型的解碼：Viterbi算法99

6.5自然語言處理中的結(jié)構(gòu)標注任務(wù). 100

6.5.1再標注的序列標注任務(wù) . 100

6.5.2詞性標注任務(wù)的隱馬爾可夫模型實現(xiàn)示例. 102

6.5.3推廣的分詞建模：不等單元的結(jié)構(gòu)分解 105
參考文獻 107

第 7章機器學習模型 . 109

7.1機器學習模型的要素配置. 109

7.2損失函數(shù) 111

7.3 k近鄰方法 . 116

7.4感知機 . 119

7.5鉸鏈損失與支持向量機 124

7.5.1最大化間隔 125

7.5.2懲罰項導(dǎo)出的軟邊界. 128

7.5.3映射到高維空間 . 129

7.5.4核函數(shù). 132

7.5.5支持向量機的訓練算法 . 134

7.5.6多類支持向量機 . 136

7.5.7支持向量機工具包 136

7.5.8支持向量機總結(jié) . 138

7.6交叉熵損失與最大熵模型. 138

7.6.1最大似然估計：對數(shù)-線性模型 139

7.6.2最大熵原理 143

7.6.3平滑 145

7.6.4最大熵模型的工具包. 146

7.7從神經(jīng)元學習到神經(jīng)網(wǎng)絡(luò). 146

參考文獻 147

XIV自然語言理解
第 8章深度學習模型 . 150

8.1表示學習 152

8.2連續(xù)空間語言模型：詞嵌入或詞向量 154

8.2.1連續(xù)空間語言模型 154

8.2.2連續(xù)空間語言模型的機器學習解釋. 156

8.2.3 Word2Vec和 GloVe詞嵌入 159

8.2.4評估詞向量 162

8.3神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)配置 . 167

8.3.1神經(jīng)網(wǎng)絡(luò)的拓撲連接方式 168

3.3.2激活函數(shù) . 170

8.4深度學習模型的訓練 . 175

8.4.1訓練目標：輸出表示和損失函數(shù) 175

8.4.2誤差反向傳播算法 178

8.4.3深度學習的訓練管理器 . 179

8.5編碼器-解碼器建模 . 180

8.6編碼器架構(gòu)：循環(huán)神經(jīng)網(wǎng)絡(luò) . 183

8.6.1循環(huán)神經(jīng)網(wǎng)絡(luò)的 BPTT訓練算法 185

8.6.2長短時記憶網(wǎng)絡(luò) . 186

8.7編碼器架構(gòu)：卷積神經(jīng)網(wǎng)絡(luò) . 188

8.7.1卷積 189

8.7.2池化 190

8.7.3卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu). 191

8.8編碼器架構(gòu)：Transformer . 192

8.8.1自注意力機制. 192

8.8.2 Transformer網(wǎng)絡(luò)結(jié)構(gòu) 193

8.9編碼器比較：RNN、CNN和 Transformer 196

8.10序列生成的解碼過程 196

8.11符號主義對陣聯(lián)結(jié)主義 199

8.12深度學習工具包 201
參考文獻 203

第 9章預(yù)訓練語言模型 206

9.1從表示學習到自監(jiān)督學習. 206

9.2從 n元語言模型到預(yù)訓練語言模型 207

9.3輸入單元管理 . 211

9.4預(yù)訓練語言模型的自回歸解釋 212

9.5以編輯操作定義自監(jiān)督學習 . 216

9.6采樣與預(yù)測目標的單元選擇 . 217

目錄 XV
9.7編碼器架構(gòu). 218

9.8預(yù)訓練語言模型方法的普適化 220

9.9預(yù)訓練語言模型的強化策略 . 221

9.9.1知識增強 . 222

9.9.2多模態(tài)預(yù)訓練語言模型 . 222

9.9.3模型優(yōu)化 . 224

9.10典型的預(yù)訓練語言模型 224
參考文獻 228

第 10章句法分析 232

10.1句法分析概要 233

10.2成分/短語句法分析 . 235

10.2.1喬姆斯基文法層次體系 235

10.2.2上下文無關(guān)文法 237

10.2.3概率上下文無關(guān)文法 242

10.3依存句法 246

10.3.1帶中心詞標注的成分句法 . 246

10.3.2依存結(jié)構(gòu) 247

10.3.3成分/短語結(jié)構(gòu)到依存結(jié)構(gòu)的轉(zhuǎn)換 . 248

10.4句法標注語料：樹庫 250

10.5成分/短語句法分析算法. 251

10.5.1 CYK算法 251

10.5.2 Earley算法 254

10.6依存句法分析算法 . 255

10.6.1基于圖模型的依存句法分析 255

10.6.2基于轉(zhuǎn)換模型的依存句法分析 259

10.6.3非投影型依存分析 . 261

10.7句法分析的深度學習方法改進 264

10.8依存分析的序列到序列建模 266

10.9從容易優(yōu)先分析到全局貪心分析 . 267

10.10句法分析的經(jīng)驗結(jié)果 270
參考文獻 272

第 11章語義角色標注 . 279

11.1從語義分析到語義角色標注 279

11.2句法分析樹上的語義圖 281

11.3語義角色標注的規(guī)范和語料 283

11.4語義角色標注的建模方式 . 285

XVI自然語言理解
11.5句法特征集成：傳統(tǒng)機器學習模型 291

11.6句法編碼器：深度學習模型 292

11.7句法裁剪 297

11.8統(tǒng)一建模成分和依存語義角色標注 299

11.9語義角色標注中的句法角色變遷 . 300

11.10語義角色標注的經(jīng)驗結(jié)果 . 303
參考文獻 304

第 12章機器閱讀理解 . 307

12.1機器閱讀理解任務(wù)的類型和評價指標 308

12.2機器閱讀理解的深度學習建模 310

12.2.1編碼器 312

12.2.2解碼器 314

12.3對話理解 317

12.4面向推理的閱讀理解 319

12.5常識問答 320

12.6開放域問答 . 322
參考文獻 325

第 13章大語言模型及其前沿應(yīng)用 334

13.1腦計劃與預(yù)訓練語言模型 . 334

13.2從預(yù)訓練語言模型到大語言模型 . 336

13.3從提示學習到思維鏈推理 . 343

13.4對話式大語言模型 ChatGPT . 349

13.5知識邊界 356
參考文獻 363

后記. 366