google google storag的問題，透過圖書和論文來找解法和答案更準確安心。 我們找到下列免費下載的地點或者是各式教學

基於雲端分散式深度學習計算之傳輸成本考量及資源競爭配置策略

為了解決google google storag的問題，作者高嘉廷 這樣論述：

目 錄附圖目錄 VII附表目錄 IX第一章 緒論 1 1.1 前言 1 1.2 研究目的與動機 2　　第二章　背景、文獻探討 5　　　 　　　　　　　　　　　 2.1 HDFS 5 2.2 YARN 7 2.3 Tensorflow 11 2.4 資料中心網路 12 2.4.1 ThreeTier 12 2.4.2 FatTree 15 2.4.3 DCell 17 2.5 分散式深度學習 2

0 2.6 實驗環境 24 2.6.1 MATLAB 24 2.6.2 LINGO 24第三章　研究方法 25 3.1 設計思路 25 3.2 資源配置策略1 29 3.2.1 Worker Processes計算資源有效配置 29 3.2.1.1 Worker Processes運算所需資料有效配置 29 3.2.1.2 Worker Processes的Process位置有效配置 32 3.2.2 資源競爭問題配置的最佳化 34 3.2.2.1 Bipartite G

raph演算法圖示化競爭問題 34 3.2.2.2 Best matching演算法尋找最佳配置組合 36 3.2.3 配置Parameter Process最佳位置 37 3.2.3.1最小化資源配置成本 38 3.3 資源配置策略2 41 3.3.1 Worker Processes計算資源有效配置 41 3.3.1.1 Worker Process運算所需資料有效配置 41 3.3.1.2 Worker Processes的Process位置有效配置 41 3.3.2 資源競爭問題配置的最佳化

41 3.3.2.1 Bipartite Graph演算法圖示化競爭問題 41 3.3.2.2 Best matching演算法尋找最佳配置組合 41 3.3.3 各Job有效傳輸路徑之subtree建置 42 3.3.3.1 Steiner tree problem 42 3.3.3.2 Heuristic Steiner tree演算法 44 3.3.4 配置Parameter Process最佳位置 48 3.3.4.1 中心點找尋演算法 48第四章　效能分析 52 4.1 環境配置 53

4.2 評估指標 54 4.3 效能比較 55 4.3.1 FatTree實驗 55 4.3.2 DCell實驗 58第五章　結論 63參考文獻 64附件一 67附圖目錄圖2.1 YARN架構………………………………...…………………………...9圖2.2 ThreeTier資料中心網路…………..………………………………….…...15圖2.3 FatTree資料中心網路………………………………..……..…………….17圖2.4 DCell1架構………………..……………………………………...............19圖2.5 DC

ell2架構………………………………………………….…………...19圖3.1 資源配置策略1設計思路…………………………...…………….……...28圖3.2 資源配置策略2設計思路……………………….......................................28圖3.3 Worker Process運算所需資料有效配置範例步驟1...…...........................30圖3.4 Worker Process運算所需資料有效配置範例步驟2...…….......................31圖3.5 Worker Process運算

所需資料有效配置範例步驟3...…….......................31圖3.6 Worker Processes有效配置範例步驟1...……............................................33圖3.7 Worker Processes有效配置範例步驟2...……............................................33圖3.8 Bipartite Graph演算法圖示化競爭問題範例...…...................................36圖3.9 Worker Proces

ses分佈情況最小化資源配置成本範例步驟1...……........39圖3.10 Worker Processes分佈情況最小化資源配置成本範例步驟2…...............39圖3.11 Worker Processes分佈情況最小化資源配置成本範例步驟3…...............40圖3.12 Worker Processes分佈情況最小化資源配置成本範例步驟4……….......40圖3.13 Minimum Stenier tree演算法範例….........………………..........................43圖3.14 Heuristic

Steiner tree演算法步驟1……..……………………...................45圖3.15 Heuristic Steiner tree演算法步驟2……………….....................................46圖3.16 Heuristic Steiner tree演算法步驟3……………….....................................46圖3.17 Heuristic Steiner tree演算法步驟4……………….....................................46圖3.18 He

uristic Steiner tree演算法步驟5……………….....................................47圖3.19 Heuristic Steiner tree演算法步驟6…...…………......................................47圖3.20 Heuristic Steiner tree演算法步驟7……………….....................................47圖3.21 中心點找尋演算法範例…………………….........................................

.....49圖3.22 中心點找尋演算法範例步驟1…………….…..........................................49圖3.23 中心點找尋演算法範例步驟2………………...........................................50圖3.24 中心點找尋演算法範例步驟3………………...........................................50圖3.25 中心點找尋演算法範例步驟4………………...........................................51圖4.1 Fat

Tree量化平均被干擾之已存在的Task數量…..………….................55圖4.2 FatTree量化資源配置策略執行最大花費時間……………….................56圖4.3 FatTree量化資源配置策略執行最小花費時間…..…...............................56圖4.4 FatTree量化資源配置策略執行平均花費時間…...…………..................57圖4.5 FatTree量化Parameter Process參數更新平均傳輸成本……………….58圖4.6 DCell量化平均被干擾之已存在的T

ask數量………...............................59圖4.7 DCell量化資源配置策略執行最大花費時間………................................60圖4.8 DCell量化資源配置策略執行最小花費時間………................................60圖4.9 DCell量化資源配置策略執行平均花費時間………................................61圖4.10 DCell量化Parameter Process參數更新平均傳輸成本………..................62圖7.

1 Docker Container實驗流程步驟1…….......................................................70圖7.2 Docker Container實驗流程步驟2……………...........................................71圖7.3 Docker Container實驗流程步驟3………...................................................71圖7.4 Docker Container實驗流程步驟4……....................

...................................72圖7.5 Docker Container實驗流程步驟5………...................................................72圖7.6 Docker Container實驗結果之CPU使用率………………….…..............73附表目錄表2.1 符號表1…………………………………………………………………...13表2.2 符號表2…………………………………………………..……………….18表4.1 軟體版本…………………………………………………….……………

.52表4.2 分析配置策略表………………………………………………….……….52表4.3 參數配置表……………………………………………………….……….53表7.1 軟硬體規格……………………………………………………….……….68表7.2 機器硬體資源………………………………………………….………….68表7.3 Container配置資訊…………………………………….………………….69表7.4 Job配置資訊…………………………………………………...………….69