分布式流數(shù)據(jù)處理的容錯技術(shù)研究

目 錄
第1章 緒論 1
1．1 研究背景與意義 1
1．1．1 分布式流數(shù)據(jù)處理 1
1．1．2 系統(tǒng)可靠性問題與容錯機制 2
1．1．3 流數(shù)據(jù)處理容錯技術(shù)的挑戰(zhàn) 3
1．2 國內(nèi)外研究現(xiàn)狀 5
1．2．1 分布式流數(shù)據(jù)處理系統(tǒng) 5
1．2．2 流處理自動并行化技術(shù) 9
1．2．3 容錯技術(shù) 10
1．3 本書的主要內(nèi)容 13
1．4 本書的組織結(jié)構(gòu) 14
第2章 支持分布式流處理的低開銷容錯機制 16
2．1 引言 16
2．2 相關(guān)工作 16
2．3 通用分布式流處理框架 17
2．4 系統(tǒng)模型 18
2．4．1 流數(shù)據(jù)處理作業(yè) 18
2．4．2 節(jié)點運行狀態(tài) 19
2．5 結(jié)合檢查點的上游備份模型 21
2．5．1 異步檢查點 22
2．5．2 上游數(shù)據(jù)備份 22
2．6 容錯協(xié)議及算法 24
2．6．1 上游備份協(xié)議 24
2．6．2 協(xié)議開銷分析 26
2．6．3 快速恢復(fù)算法 27
2．7 實驗結(jié)果與性能分析 29
2．7．1 系統(tǒng)原型實現(xiàn) 29
2．7．2 實驗設(shè)置 29
2．7．3 容錯通信開銷 32
2．7．4 容錯延遲開銷 33
2．7．5 容錯內(nèi)存開銷 33
2．7．6 故障恢復(fù)測試 34
2．8 本章小結(jié) 35
第3章 支持彈性流處理的自適應(yīng)容錯機制 36
3．1 引言 36
3．2 相關(guān)工作 37
3．3 彈性流處理下容錯問題建模 38
3．3．1 問題概述 38
3．3．2 備份調(diào)整函數(shù) 40
3．3．3 問題模型假設(shè) 41
3．4 支持彈性流處理的自適應(yīng)容錯機制 41
3．4．1 彈性數(shù)據(jù)備份單元 42
3．4．2 數(shù)據(jù)依賴關(guān)系追蹤 44
3．4．3 在線檢查點調(diào)整機制 46
3．5 自適應(yīng)容錯協(xié)議 46
3．6 實驗與結(jié)果分析 49
3．6．1 系統(tǒng)原型實現(xiàn) 49
3．6．2 實驗設(shè)置 50
3．6．3 容錯開銷測試 51
3．6．4 故障恢復(fù)測試 52
3．6．5 綜合性能比較 52
3．7 本章總結(jié) 53
第4章 負載感知的最佳檢查點間隔策略 54
4．1 引言 54
4．2 相關(guān)工作 55
4．3 最佳檢查點問題建模 57
4．3．1 系統(tǒng)模型 57
4．3．2 處理效率 58
4．3．3 問題定義 60
4．4 動態(tài)最佳檢查點間隔（DOCI）模型 61
4．4．1 在線恢復(fù)時間預(yù)測 61
4．4．2 最佳檢查點間隔 62
4．5 DOCI調(diào)整策略 63
4．5．1 DOCI調(diào)整算法 63
4．5．2 緩存對最佳檢查點間隔的影響 66
4．6 實驗與結(jié)果分析 67
4．6．1 模擬方法 67
4．6．2 恒定輸入速率下的效率測試 68
4．6．3 工作負載波動下的效率測試 69
4．6．4 備份緩存區(qū)容量的影響測試 71
4．7 應(yīng)用場景 72
4．8 本章總結(jié) 73
第5章 負載感知的近似備份策略 74
5．1 引言 74
5．2 相關(guān)工作 76
5．3 系統(tǒng)模型介紹 77
5．3．1 流處理模型 77
5．3．2 近似備份模型 77
5．3．3 前提假設(shè) 78
5．4 容錯問題建模 79
5．4．1 備份開銷 79
5．4．2 恢復(fù)質(zhì)量 80
5．4．3 問題描述 81
5．5 近似備份算法 82
5．5．1 單節(jié)點故障算法 82
5．5．2 級聯(lián)故障算法 83
5．5．3 負載傾斜備份算法 85
5．6 實驗結(jié)果與分析 87
5．6．1 實驗設(shè)置 87
5．6．2 綜合性能測試 89
5．6．3 系統(tǒng)性能與故障恢復(fù)精度的影響測試 91
5．6．4 負載傾斜下的性能測試 92
5．6．5 可擴展性測試 93
5．7 結(jié)論 94
第6章 總結(jié)與展望 96
6．1 總結(jié) 96
6．2 未來研究展望 96
參考文獻 98