互聯(lián)網(wǎng)大數(shù)據(jù)挖掘與分類

1 緒論
1．1 背景知識
1．1．1 研究背景
1．1．2 研究意義
1．2 網(wǎng)絡測量技術
1．2．1 網(wǎng)絡測量常見對象
1．2．2 網(wǎng)絡測量分析的問題
1．2．3 單點測量常用方法
1．2．4 單點網(wǎng)絡測量常用工具
1．2．5 分布式網(wǎng)絡測量技術
1．3 分類算法
1．3．1 決策樹
1．3．2 貝葉斯分類
1．3．3 支持向量機
1．4 C4．5算法
1．4．1 算法概述
1．4．2 決策樹的分割
1．4．3 決策樹的剪枝
1．4．4 剪枝實例
1．4．5 十折交叉驗證方法
1．4．6 測度子集選擇方法
1．5 數(shù)據(jù)挖掘方法
1．5．1 聚類方法
1．5．2 k-近鄰算法
1．6 流數(shù)據(jù)結構
1．6．1 Bitmap
1．6．2 混合Counter
1．6．3 Count-Min Sketch
1．6．4 Bloom Filter
1．6．5 Counter Braids
1．6．6 BRICK
1．7 流量測量的評價指標
1．7．1 誤報率和漏報率
1．7．2 相對誤差
1．7．3 相對差
1．7．4 熵
1．8 小結
參考文獻
2 互聯(lián)網(wǎng)大數(shù)據(jù)分析系統(tǒng)
2．1 系統(tǒng)設計
2．1．1 總體設計
2．1．2 數(shù)據(jù)收集層設計
2．1．3 并行算法層設計
2．1．4 查詢層設計
2．2 測度定義
2．2．1 輸入測度
2．2．2 用戶行為測度
2．2．3 輸出測度
2．3 基于MapReduce測度的計算方法
2．3．1 單點TCP測度
2．3．2 并行TCP測度
2．3．3 流聚合并行方法
2．3．4 用戶行為測度
2．3．5 并行算法優(yōu)化
2．4 系統(tǒng)實現(xiàn)
2．4．1 存儲模塊實現(xiàn)
2．4．2 測度計算模塊實現(xiàn)
2．4．3 用戶行為分析模塊實現(xiàn)
2．4．4 查詢模塊實現(xiàn)
2．5 實驗分析
2．5．1 實驗環(huán)境
2．5．2 實驗平臺布署
2．5．3 實驗數(shù)據(jù)集
2．5．4 實驗結果分析
2．5．5 可擴展性分析
2．5．6 性能瓶頸分析
2．6 小結
參考文獻
3 超點數(shù)據(jù)流檢測方法
3．1 引言
3．2 并行數(shù)據(jù)流方法
3．2．1 方法描述
3．2．2 相關定義
3．2．3 數(shù)據(jù)結構
3．2．4 更新歸并過程
3．2．5 鏈接度估計
3．2．6 超點檢測
3．3 性能分析
3．3．1 存儲開銷
3．3．2 準確性
3．3．3 計算性能
3．4 實驗分析
3．4．1 實驗數(shù)據(jù)
3．4．2 評價標準
3．4．3 鏈接度估計
3．4．4 參數(shù)評估
3．4．5 算法對比
3．5 小結
參考文獻
4 長持續(xù)時間流檢測方法
4．1 引言
4．2 問題定義
4．3 數(shù)據(jù)結構
4．4 基于共享數(shù)據(jù)結構的檢測方法
4．4．1 方法描述
4．4．2 方法流程
4．4．3 實驗結果分析
4．5 基于獨立數(shù)據(jù)結構的檢測方法
4．5．1 方法描述
4．5．2 方法流程
4．5．3 性能分析
4．5．4 實驗結果分析
4．6 小結
參考文獻
5 大流的自適應抽樣識別方法
5．1 引言
5．2 大流識別方法
5．2．1 問題定義
5．2．2 方法描述
5．2．3 自適應抽樣
5．2．4 數(shù)據(jù)劃分
5．2．5 大流識別
5．3 實驗結果分析
5．3．1 實驗環(huán)境
5．3．2 估計精度
5．3．3 負載均衡
5．3．4 可擴展性
5．3．5 數(shù)據(jù)更新
5．3．6 Reducer數(shù)量
5．4 小結
參考文獻
6 流量異常的信息熵檢測方法
6．1 引言
6．1．1 研究背景
6．1．2 研究意義
6．1．3 相關研究
6．1．4 本章內(nèi)容
6．2 信息熵靈敏度分析
6．2．1 理論分析
6．2．2 實驗分析
6．2．3 分析結論
6．3 流量異常檢測方法
6．3．1 測度定義
6．3．2 基于Kmeans的閾值選擇
6．3．3 正常流量BID學習
6．3．4 驗證方案
6．4 實驗結果分析
6．4．1 實驗環(huán)境
6．4．2 攻擊流量獲取
6．4．3 攻擊檢測能力評估
6．4．4 檢測準確性
6．5 小結
參考文獻
7 網(wǎng)頁關聯(lián)分析方法
7．1 概述
7．1．1 研究背景
7．1．2 研究意義
7．1．3 相關研究
7．2 網(wǎng)頁關聯(lián)概念
7．2．1 定義
7．2．2 問題描述
7．2．3 輸入輸出描述
7．2．4 分類
7．2．5 網(wǎng)頁引用方法
7．3 基于DPI的網(wǎng)頁關聯(lián)方法
7．3．1 方法概述
7．3．2 基于HTTP頭信息的引用發(fā)現(xiàn)方法
7．3．3 請求網(wǎng)頁父引用提取方法
7．3．4 HTTP網(wǎng)頁解碼算法
7．3．5 基于網(wǎng)頁內(nèi)容的引用發(fā)現(xiàn)算法
7．3．6 父子引用關聯(lián)方法
7．4 DPI關聯(lián)方法實驗分析
7．4．1 在線采集數(shù)據(jù)分析
7．4．2 被動測量數(shù)據(jù)關聯(lián)分析
7．5 網(wǎng)頁關聯(lián)存在的問題
7．5．1 頁面懸浮廣告
7．5．2 彈出窗口廣告
7．5．3 link href
7．5．4 廣告關聯(lián)問題分析
7．6 算法改進對比
7．6．1 測試一
7．6．2 測試二
7．6．3 測試三
7．7 基于DFI的網(wǎng)頁關聯(lián)方法
7．7．1 主流識別規(guī)則
7．7．2 輔流關聯(lián)方法
7．7．3 實驗結果分析
7．8 小結
參考文獻
8 面向網(wǎng)絡流的分類方法
8．1 引言
8．1．1 測度定義
8．1．2 背景研究
8．1．3 研究意義
8．2 流特征選擇方法
8．2．1 特征選擇方法
8．2．2 混合特征選擇
8．2．3 實驗結果分析
8．3 代價敏感分類方法
8．3．1 數(shù)據(jù)重采樣
8．3．2 代價敏感學習
8．3．3 基于Adacost的分類算法
8．3．4 實驗結果分析
8．5 集成學習分類方法
8．5．1 集成學習基本概念
8．5．2 基于均值決策的集成學習方法
8．5．3 基于精度權重的集成學習方法
8．5．4 基于代價敏感的集成學習方法
8．5．5 實驗結果分析
8．6 小結
參考文獻
9 基于覆蓋網(wǎng)監(jiān)測的故障推理
9．1 研究背景及意義
9．2 基本概念
9．2．1 社區(qū)的概念
9．2．2 覆蓋網(wǎng)
9．2．3 chord
9．3 數(shù)據(jù)處理
9．3．1 集中式處理的問題
9．3．2 負載均衡
9．3．3 癥狀數(shù)據(jù)存取索引
9．3．4 癥狀數(shù)據(jù)預處理
9．4 故障推理算法
9．4．1 客戶端故障判斷算法
9．4．2 現(xiàn)有方法
9．4．3 故障推理算法
9．4．4 算法設計
9．5 系統(tǒng)設計實現(xiàn)
9．5．1 系統(tǒng)設計
9．5．2 實驗工具
9．5．3 實驗環(huán)境
9．5．4 實驗結果分析
9．6 小結
參考文獻
彩插