自然語言處理從入門到實(shí)戰(zhàn)

目錄








第一部分了解自然語言處理


第1章自然語言處理初探
11自然語言處理概述
111自然語言處理早期發(fā)展史
112新世紀(jì)的里程碑事件
12自然語言處理的挑戰(zhàn)
121詞義消歧
122指代消解
123上下文理解
124語義與語用的不對(duì)等
13自然語言處理的應(yīng)用領(lǐng)域
131醫(yī)療
132教育
133媒體
134金融
135法律
14自然語言處理的常見工具
141基礎(chǔ)任務(wù)工具包
142科學(xué)計(jì)算及機(jī)器學(xué)習(xí)框架
143深度學(xué)習(xí)框架
本章小結(jié)
思考題
第二部分自然語言處理核心技術(shù)

第2章自然語言處理與機(jī)器學(xué)習(xí)
21邏輯回歸
211邏輯回歸基本原理
212邏輯回歸在實(shí)踐中的注意要點(diǎn)
213邏輯回歸的優(yōu)勢(shì)與不足
22樸素貝葉斯
221樸素貝葉斯基本原理
222樸素貝葉斯的類型
223樸素貝葉斯的優(yōu)勢(shì)與不足
23Kmeans算法
231Kmeans算法基本原理
232Kmeans算法實(shí)踐
233Kmeans算法的優(yōu)勢(shì)與不足
24決策樹
241決策樹的屬性劃分
242隨機(jī)森林的基本原理
243隨機(jī)森林在應(yīng)用中的注意細(xì)節(jié)
25主成分分析
251梯度上升法解PCA
252協(xié)方差矩陣解PCA
253實(shí)戰(zhàn)PCA
本章小結(jié)
思考題

第3章自然語言處理與神經(jīng)網(wǎng)絡(luò)
31神經(jīng)網(wǎng)絡(luò)初探
311神經(jīng)元結(jié)構(gòu)
312常見的激活函數(shù)
313誤差反向傳播算法
32常見的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
321多層感知機(jī)
322循環(huán)神經(jīng)網(wǎng)絡(luò)的基本原理
323卷積神經(jīng)網(wǎng)絡(luò)的基本原理
324神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)與不足
33神經(jīng)網(wǎng)絡(luò)算法的改進(jìn)與提升
331防止過擬合的方法
332訓(xùn)練速度與精度的提高方法
333注意力機(jī)制
本章小結(jié)
思考題
第三部分自然語言處理基本任務(wù)

第4章文本預(yù)處理
41文本預(yù)處理的基礎(chǔ)項(xiàng)目
411文本規(guī)范化
412語義分析
413分詞
414文本糾錯(cuò)
42關(guān)鍵詞提取
421基于特征統(tǒng)計(jì)
422基于主題模型
423基于圖模型
43數(shù)據(jù)不平衡的處理
431常見方法
432數(shù)據(jù)不平衡問題實(shí)戰(zhàn)
本章小結(jié)
思考題

第5章文本的表示技術(shù)
51詞袋模型
511基于頻次的詞袋模型
512基于TFIDF的詞袋模型
513相關(guān)工具的使用
52Word2Vec詞向量
521Word2Vec的基本原理
522Word2Vec模型細(xì)節(jié)及代碼演示
523應(yīng)用工具訓(xùn)練Word2Vec
53改進(jìn)后的詞表征
531GloVe模型
532FastText模型
533ELMo模型
54句向量
541基于詞向量的平均
542沿用Word2Vec思想
543有監(jiān)督方式
本章小結(jié)
思考題

第6章序列標(biāo)注
61序列標(biāo)注基礎(chǔ)
611序列標(biāo)注的應(yīng)用場景
612基線方式
613序列標(biāo)注任務(wù)的難點(diǎn)
62基于概率圖的模型
621隱馬爾科夫模型（HMM）
622最大熵馬爾科夫模型（MEMM）
623條件隨機(jī)場模型（CRF）
624天氣預(yù)測(cè)實(shí)例
63基于深度學(xué)習(xí)的方式
631數(shù)據(jù)表征形式
632序列處理模型
本章小結(jié)
思考題

第7章關(guān)系抽取
71關(guān)系抽取基礎(chǔ)
711關(guān)系抽取概述
712關(guān)系抽取的主要方法
713深度學(xué)習(xí)與關(guān)系抽取
714強(qiáng)化學(xué)習(xí)與關(guān)系抽取
72基于半監(jiān)督的關(guān)系抽取模式：Snowball系統(tǒng)
721Patterns及Tuples的生成
722Patterns及Tuples的評(píng)估
723Snowball的實(shí)現(xiàn)細(xì)節(jié)
73關(guān)系抽取工具——DeepDive
731DeepDive概述
732DeepDive工作流程
733概率推斷與因子圖
本章小結(jié)
思考題
第四部分自然語言處理高級(jí)任務(wù)

第8章知識(shí)圖譜
81知識(shí)圖譜基本概念
811從語義網(wǎng)絡(luò)到知識(shí)圖譜
812知識(shí)的結(jié)構(gòu)化、存儲(chǔ)及查詢
813幾個(gè)開源的知識(shí)圖譜
82知識(shí)圖譜的關(guān)鍵構(gòu)建技術(shù)
821本體匹配
822實(shí)體鏈接
823知識(shí)推理
83知識(shí)圖譜應(yīng)用
831反欺詐
832個(gè)性化推薦
833知識(shí)庫問答
本章小結(jié)
思考題

第9章文本分類
91文本分類的常見方法
911機(jī)器學(xué)習(xí)
912模型融合
913深度學(xué)習(xí)
92文本分類的不同應(yīng)用場景
921二分類
922多分類
923多標(biāo)簽多分類
93案例：搭建一款新聞主題分類器
931數(shù)據(jù)預(yù)處理
932訓(xùn)練與預(yù)測(cè)
933改進(jìn)
本章小結(jié)
思考題

第10章文本摘要
101抽取式摘要
1011傳統(tǒng)方法
1012基于深度學(xué)習(xí)的方法
1013抽取式摘要的訓(xùn)練數(shù)據(jù)問題
102生成式摘要
1021基礎(chǔ)模型
1022前沿模型中的技巧
1023強(qiáng)化學(xué)習(xí)與生成式摘要
103案例：搭建網(wǎng)球新聞?wù)善?
1031基于詞頻統(tǒng)計(jì)的摘要生成器
1032基于圖模型的摘要生成器
1033結(jié)果分析
本章小結(jié)
思考題

第11章機(jī)器翻譯
111傳統(tǒng)機(jī)器翻譯
1111源起
1112基于規(guī)則
1113基于大規(guī)模語料
112統(tǒng)計(jì)機(jī)器翻譯
1121相關(guān)流派
1122基于信源信道的統(tǒng)計(jì)機(jī)器翻譯
1123案例：外星語的翻譯實(shí)戰(zhàn)
113神經(jīng)機(jī)器翻譯
1131基本原理
1132改進(jìn)機(jī)制
1133前沿與挑戰(zhàn)
本章小結(jié)
思考題

第12章聊天系統(tǒng)
121聊天系統(tǒng)的類型
1211閑聊式機(jī)器人
1212知識(shí)問答型機(jī)器人
1213任務(wù)型聊天機(jī)器人
122聊天系統(tǒng)的關(guān)鍵技術(shù)
1221檢索技術(shù)
1222意圖識(shí)別和詞槽填充
1223對(duì)話管理
1224強(qiáng)化學(xué)習(xí)與多輪對(duì)話
123案例：閑聊機(jī)器人實(shí)戰(zhàn)
1231技術(shù)概要
1232基本配置及數(shù)據(jù)預(yù)處理
1233閑聊機(jī)器人模型的搭建
1234模型訓(xùn)練、預(yù)測(cè)以及優(yōu)化
本章小結(jié)
思考題
第五部分自然語言處理求職

第13章自然語言處理技術(shù)的現(xiàn)在、未來及擇業(yè)
131自然語言處理組織及人才需求介紹
1311學(xué)術(shù)界
1312工業(yè)界
1313人才需求現(xiàn)狀
132未來與自然語言處理
1321自然語言處理熱點(diǎn)技術(shù)方向
1322自然語言處理的應(yīng)用暢想
1323自然語言處理帶來的行業(yè)沖擊
133面試題
1331數(shù)據(jù)結(jié)構(gòu)與算法
1332數(shù)學(xué)基礎(chǔ)
1333機(jī)器學(xué)習(xí)與深度學(xué)習(xí)
1334自然語言處理專業(yè)
1335實(shí)際問題解決及技術(shù)領(lǐng)域見解
本章小結(jié)
思考題


附錄A思考題參考答案

附錄B面試題答案目錄








第一部分了解自然語言處理


第1章自然語言處理初探
11自然語言處理概述
111自然語言處理早期發(fā)展史
112新世紀(jì)的里程碑事件
12自然語言處理的挑戰(zhàn)
121詞義消歧
122指代消解
123上下文理解
124語義與語用的不對(duì)等
13自然語言處理的應(yīng)用領(lǐng)域
131醫(yī)療
132教育
133媒體
134金融
135法律
14自然語言處理的常見工具
141基礎(chǔ)任務(wù)工具包
142科學(xué)計(jì)算及機(jī)器學(xué)習(xí)框架
143深度學(xué)習(xí)框架
本章小結(jié)
思考題
第二部分自然語言處理核心技術(shù)

第2章自然語言處理與機(jī)器學(xué)習(xí)
21邏輯回歸
211邏輯回歸基本原理
212邏輯回歸在實(shí)踐中的注意要點(diǎn)
213邏輯回歸的優(yōu)勢(shì)與不足
22樸素貝葉斯
221樸素貝葉斯基本原理
222樸素貝葉斯的類型
223樸素貝葉斯的優(yōu)勢(shì)與不足
23Kmeans算法
231Kmeans算法基本原理
232Kmeans算法實(shí)踐
233Kmeans算法的優(yōu)勢(shì)與不足
24決策樹
241決策樹的屬性劃分
242隨機(jī)森林的基本原理
243隨機(jī)森林在應(yīng)用中的注意細(xì)節(jié)
25主成分分析
251梯度上升法解PCA
252協(xié)方差矩陣解PCA
253實(shí)戰(zhàn)PCA
本章小結(jié)
思考題

第3章自然語言處理與神經(jīng)網(wǎng)絡(luò)
31神經(jīng)網(wǎng)絡(luò)初探
311神經(jīng)元結(jié)構(gòu)
312常見的激活函數(shù)
313誤差反向傳播算法
32常見的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
321多層感知機(jī)
322循環(huán)神經(jīng)網(wǎng)絡(luò)的基本原理
323卷積神經(jīng)網(wǎng)絡(luò)的基本原理
324神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)與不足
33神經(jīng)網(wǎng)絡(luò)算法的改進(jìn)與提升
331防止過擬合的方法
332訓(xùn)練速度與精度的提高方法
333注意力機(jī)制
本章小結(jié)
思考題
第三部分自然語言處理基本任務(wù)

第4章文本預(yù)處理
41文本預(yù)處理的基礎(chǔ)項(xiàng)目
411文本規(guī)范化
412語義分析
413分詞
414文本糾錯(cuò)
42關(guān)鍵詞提取
421基于特征統(tǒng)計(jì)
422基于主題模型
423基于圖模型
43數(shù)據(jù)不平衡的處理
431常見方法
432數(shù)據(jù)不平衡問題實(shí)戰(zhàn)
本章小結(jié)
思考題

第5章文本的表示技術(shù)
51詞袋模型
511基于頻次的詞袋模型
512基于TFIDF的詞袋模型
513相關(guān)工具的使用
52Word2Vec詞向量
521Word2Vec的基本原理
522Word2Vec模型細(xì)節(jié)及代碼演示
523應(yīng)用工具訓(xùn)練Word2Vec
53改進(jìn)后的詞表征
531GloVe模型
532FastText模型
533ELMo模型
54句向量
541基于詞向量的平均
542沿用Word2Vec思想
543有監(jiān)督方式
本章小結(jié)
思考題

第6章序列標(biāo)注
61序列標(biāo)注基礎(chǔ)
611序列標(biāo)注的應(yīng)用場景
612基線方式
613序列標(biāo)注任務(wù)的難點(diǎn)
62基于概率圖的模型
621隱馬爾科夫模型（HMM）
622最大熵馬爾科夫模型（MEMM）
623條件隨機(jī)場模型（CRF）
624天氣預(yù)測(cè)實(shí)例
63基于深度學(xué)習(xí)的方式
631數(shù)據(jù)表征形式
632序列處理模型
本章小結(jié)
思考題

第7章關(guān)系抽取
71關(guān)系抽取基礎(chǔ)
711關(guān)系抽取概述
712關(guān)系抽取的主要方法
713深度學(xué)習(xí)與關(guān)系抽取
714強(qiáng)化學(xué)習(xí)與關(guān)系抽取
72基于半監(jiān)督的關(guān)系抽取模式：Snowball系統(tǒng)
721Patterns及Tuples的生成
722Patterns及Tuples的評(píng)估
723Snowball的實(shí)現(xiàn)細(xì)節(jié)
73關(guān)系抽取工具——DeepDive
731DeepDive概述
732DeepDive工作流程
733概率推斷與因子圖
本章小結(jié)
思考題
第四部分自然語言處理高級(jí)任務(wù)

第8章知識(shí)圖譜
81知識(shí)圖譜基本概念
811從語義網(wǎng)絡(luò)到知識(shí)圖譜
812知識(shí)的結(jié)構(gòu)化、存儲(chǔ)及查詢
813幾個(gè)開源的知識(shí)圖譜
82知識(shí)圖譜的關(guān)鍵構(gòu)建技術(shù)
821本體匹配
822實(shí)體鏈接
823知識(shí)推理
83知識(shí)圖譜應(yīng)用
831反欺詐
832個(gè)性化推薦
833知識(shí)庫問答
本章小結(jié)
思考題

第9章文本分類
91文本分類的常見方法
911機(jī)器學(xué)習(xí)
912模型融合
913深度學(xué)習(xí)
92文本分類的不同應(yīng)用場景
921二分類
922多分類
923多標(biāo)簽多分類
93案例：搭建一款新聞主題分類器
931數(shù)據(jù)預(yù)處理
932訓(xùn)練與預(yù)測(cè)
933改進(jìn)
本章小結(jié)
思考題

第10章文本摘要
101抽取式摘要
1011傳統(tǒng)方法
1012基于深度學(xué)習(xí)的方法
1013抽取式摘要的訓(xùn)練數(shù)據(jù)問題
102生成式摘要
1021基礎(chǔ)模型
1022前沿模型中的技巧
1023強(qiáng)化學(xué)習(xí)與生成式摘要
103案例：搭建網(wǎng)球新聞?wù)善?
1031基于詞頻統(tǒng)計(jì)的摘要生成器
1032基于圖模型的摘要生成器
1033結(jié)果分析
本章小結(jié)
思考題

第11章機(jī)器翻譯
111傳統(tǒng)機(jī)器翻譯
1111源起
1112基于規(guī)則
1113基于大規(guī)模語料
112統(tǒng)計(jì)機(jī)器翻譯
1121相關(guān)流派
1122基于信源信道的統(tǒng)計(jì)機(jī)器翻譯
1123案例：外星語的翻譯實(shí)戰(zhàn)
113神經(jīng)機(jī)器翻譯
1131基本原理
1132改進(jìn)機(jī)制
1133前沿與挑戰(zhàn)
本章小結(jié)
思考題

第12章聊天系統(tǒng)
121聊天系統(tǒng)的類型
1211閑聊式機(jī)器人
1212知識(shí)問答型機(jī)器人
1213任務(wù)型聊天機(jī)器人
122聊天系統(tǒng)的關(guān)鍵技術(shù)
1221檢索技術(shù)
1222意圖識(shí)別和詞槽填充
1223對(duì)話管理
1224強(qiáng)化學(xué)習(xí)與多輪對(duì)話
123案例：閑聊機(jī)器人實(shí)戰(zhàn)
1231技術(shù)概要
1232基本配置及數(shù)據(jù)預(yù)處理
1233閑聊機(jī)器人模型的搭建
1234模型訓(xùn)練、預(yù)測(cè)以及優(yōu)化
本章小結(jié)
思考題
第五部分自然語言處理求職

第13章自然語言處理技術(shù)的現(xiàn)在、未來及擇業(yè)
131自然語言處理組織及人才需求介紹
1311學(xué)術(shù)界
1312工業(yè)界
1313人才需求現(xiàn)狀
132未來與自然語言處理
1321自然語言處理熱點(diǎn)技術(shù)方向
1322自然語言處理的應(yīng)用暢想
1323自然語言處理帶來的行業(yè)沖擊
133面試題
1331數(shù)據(jù)結(jié)構(gòu)與算法
1332數(shù)學(xué)基礎(chǔ)
1333機(jī)器學(xué)習(xí)與深度學(xué)習(xí)
1334自然語言處理專業(yè)
1335實(shí)際問題解決及技術(shù)領(lǐng)域見解
本章小結(jié)
思考題


附錄A思考題參考答案

附錄B面試題答案