大規(guī)模語言模型開發(fā)基礎與實踐

第1章 大模型基礎
1.1人工智能
1.1.1 人工智能的發(fā)展歷程
1.1.2 人工智能的研究領域
1.1.3 人工智能對人們生活的影響
1.2機器學習和深度學習
1.2.1 機器學習
1.2.2 深度學習
1.2.3 機器學習和深度學習的區(qū)別
1.3大模型簡介
1.3.1 大模型的作用
1.3.2 數據
1.3.3 數據和大模型的關系
1.4大模型開發(fā)與應用的技術棧
第2章 數據集的加載、基本處理和制作
2.1數據集的加載
2.1.1 PyTorch加載數據集
2.1.2 TensorFlow加載數據集
2.2數據集的基本處理
2.2.1 轉換為Tensor格式
2.2.2 標準化處理
2.2.3 調整大小和裁剪
2.2.4 隨機翻轉和旋轉
2.3數據集的制作
2.3.1 自定義數據集
2.3.2 制作簡易圖片數據集
2.3.3 制作有標簽的數據集
第3章 數據集的預處理
3.1數據清洗和處理
3.1.1 缺失值處理
3.1.2 異常值檢測與處理
3.1.3 重復數據處理
3.2數據轉換與整合
3.2.1 特征選擇與抽取
3.2.2 特征變換與降維
3.2.3 數據集成與關聯(lián)
3.3數據標準化與歸一化
3.3.1 標準化及其重要性
3.3.2 特征縮放和歸一化
3.3.3 數據轉換和規(guī)范化
3.3.4 “最小-最大 ”縮放
3.4數據增強技術
3.4.1 數據增強的意義
3.4.2 圖像數據增強
3.4.3 自然語言數據增強
第4章 卷積神經網絡模型
4.1卷積神經網絡簡介
4.1.1 卷積神經網絡的發(fā)展背景
4.1.2 卷積神經網絡的結構
4.2卷積神經網絡模型開發(fā)實戰(zhàn)
4.2.1 使用TensorFlow創(chuàng)建一個卷積神經網絡模型并評估
4.2.2 使用PyTorch創(chuàng)建手寫數字模型
第5章 循環(huán)神經網絡模型
5.1文本處理與循環(huán)神經網絡簡介
5.1.1 循環(huán)神經網絡基礎
5.1.2 文本分類
5.2循環(huán)神經網絡模型開發(fā)實戰(zhàn)
5.2.1 使用PyTorch開發(fā)歌詞生成器模型
5.2.2 使用TensorFlow制作情感分析模型
第6章 特征提取
6.1特征提取簡介
6.1.1 特征在大模型中的關鍵作用
6.1.2 特征提取與數據預處理的關系
6.2特征的類型和重要性
6.2.1 數值特征和類別特征
6.2.2 高維數據的挑戰(zhàn)
6.3特征選擇
6.3.1 特征選擇的必要性
6.3.2 特征選擇的方法
6.4特征抽取
6.4.1 特征抽取的概念
6.4.2 主成分分析
6.4.3 獨立成分分析
6.4.4 自動編碼器
6.5文本數據的特征提取
6.5.1 嵌入
6.5.2 詞袋模型
6.5.3 TF-IDF特征
6.6 圖像數據的特征提取
6.6.1 預訓練的圖像特征提取模型
6.6.2 基本圖像特征：邊緣檢測、顏色直方圖等
第7章 注意力機制
7.1注意力機制基礎
7.1.1 注意力機制簡介
7.1.2 注意力機制的變體
7.1.3 注意力機制解決的問題
7.2TensorFlow 機器翻譯系統(tǒng)
7.2.1 項目簡介
7.2.2 下載并準備數據集
7.2.3 文本預處理
7.2.4 編碼器模型
7.2.5 繪制可視化注意力圖
7.2.6 解碼器
7.2.7 訓練
7.2.8 翻譯
7.3 PyTorch 機器翻譯系統(tǒng)
7.3.1 準備數據集
7.3.2 數據預處理
7.3.3 實現Seq2Seq 模型
7.3.4 訓練模型
7.3.5 模型評估
7.3.6 訓練和評估
7.3.7 注意力的可視化
第8章 模型訓練與調優(yōu)
8.1模型訓練優(yōu)化
8.1.1 底層優(yōu)化
8.1.2 樣本權重和分類權重
8.2損失函數和優(yōu)化算法
8.2.1 損失函數和優(yōu)化算法的概念
8.2.2 TensorFlow損失函數和優(yōu)化算法
8.2.3 PyTorch損失函數和優(yōu)化算法
8.3批量訓練和隨機訓練
8.3.1 批量訓練和隨機訓練的概念
8.3.2 小批量隨機梯度下降
8.3.3 批量歸一化
8.3.4 丟棄
8.4模型驗證和調優(yōu)
8.4.1 訓練集、驗證集和測試集
8.4.2 交叉驗證優(yōu)化
8.4.3 超參數調優(yōu)
第9章 模型推理和評估
9.1模型推理
9.1.1 模型推理的步驟
9.1.2 前向傳播和輸出計算的過程
9.1.3 模型推理的優(yōu)化和加速
9.2模型評估
9.2.1 模型評估的方法和指標
9.2.2 交叉驗證和統(tǒng)計顯著性測試的應用
第10章 大模型優(yōu)化算法和技術
10.1常見的大模型優(yōu)化算法和技術
10.2梯度下降法
10.2.1 梯度下降法簡介
10.2.2 TensorFlow梯度下降法優(yōu)化實踐
10.2.3 PyTorch梯度下降法優(yōu)化實踐
10.3模型并行和數據并行
10.3.1 模型并行和數據并行的基本概念
10.3.2 TensorFlow模型并行和數據并行實踐
10.3.3 PyTorch模型并行和數據并行實踐
10.4學習率調度
10.4.1 學習率調度的方法
10.4.2 TensorFlow學習率調度優(yōu)化實踐
10.4.3 PyTorch學習率調度優(yōu)化實踐
10.5權重初始化策略
10.6遷移學習
10.6.1 遷移學習的基本概念
10.6.2 TensorFlow遷移學習優(yōu)化實踐
10.6.3 PyTorch遷移學習優(yōu)化實踐
10.7其他大模型優(yōu)化算法和技術
10.7.1 分布式訓練
10.7.2 正則化
10.7.3 梯度裁剪
10.7.4 混合精度訓練優(yōu)化
10.7.5 量化優(yōu)化技術
10.7.6 剪枝優(yōu)化技術
第11章 AI智能問答系統(tǒng)（TensorFlow TensorFlow. js SQuAD 2.0 Mobile-BERT）
11.1背景簡介
11.1.1 互聯(lián)網的影響
11.1.2 問答系統(tǒng)的發(fā)展
11.2問答系統(tǒng)的發(fā)展趨勢：AI 問答系統(tǒng)
11.3技術架構
11.3.1 TensorFlow.js
11.3.2 SQuAD 2.0
11.3.3 BERT
11.3.4 知識蒸餾
11.4具體實現
11.4.1 編寫HTML文件
11.4.2 腳本處理
11.4.3 加載訓練模型
11.4.4 查詢處理
11.4.5 文章處理
11.4.6 加載處理
11.4.7 尋找答案
11.4.8 提取最佳答案
11.4.9 將答案轉換回原始文本
11.5調試運行
第12章 AI人臉識別系統(tǒng)（PyTorch OpenCV Scikit-Image MobileNet ArcFace）
12.1 系統(tǒng)簡介
12.1.1 背景簡介
12.1.2 人臉識別的發(fā)展歷史和現狀
12.2系統(tǒng)需求分析
12.2.1 系統(tǒng)功能分析
12.2.2 技術分析
12.2.3 實現流程分析
12.3數據集
12.3.1 準備數據集
12.3.2 提取人臉
12.4訓練模型
12.4.1 ArcFace算法
12.4.2 MobileNet算法
12.4.3 開始訓練
12.5評估模型
12.5.1 評估的重要性
12.5.2 評估程序
12.6人臉識別
12.6.1 圖像預處理
12.6.2 人臉識別模型
12.6.3 開始識別