股票市場上的投資者往往依賴金融風險理論來幫助他們獲得最大化投資回報，同時又能將市場波動造成的金融損失降至最小。這些理論説明投資者保持一個平衡的投資組合，以確保他們在任何時候都不會損失超過他們願意放棄的錢。

受這些理論的啟發，MIT電腦科學與人工智慧實驗室(CSAIL)的研究人員與微軟合作開發了一個“風險意識”數學模型，可以提高全球雲計算網路的性能。畢竟，雲計算的基礎設施極其昂貴，消耗了世界上大量的能源。

資料連接失敗概率，類比股價的波動

他們的模型考慮了全球資料中心之間連結失敗的概率——類似於預測股票的波動性。然後，它運行一個優化引擎，通過最佳路徑分配流量，以最小化損失，同時最大化網路的整體利用率。

該模型可以説明市面上的主要雲服務提供者——如微軟、亞馬遜和穀歌——更好地利用其基礎設施。傳統方法是保持鏈路空閒，以處理鏈路故障導致的意外流量轉移，這是對能量、頻寬和其他資源的浪費。

另一方面，這個名為TeaVar的新模型保證了在一定的目標時間百分比內(比如99.9%)內網路能夠處理所有資料流程量，因此沒有必要保持任何連結空閒。在那0.1%的例外時間內，模型也會將資料中斷的可能性保持得越低越好。

在基於真實資料的實驗中，該模型支援的流量是傳統方式的三倍，同時保持了相同高的網路可用性。一篇描述模型和結果的論文將在本周的ACM SIGCOMM會議上發表。

麻省理工學院電子工程和電腦科學系TIBCO職業發展助理教授、該研究的合著者Manya Ghobadi說，更好地利用網路可以為服務提供者節省數百萬美元，這些好處同時也會惠及到消費者身上。

Ghobadi說:“更好地利用基礎設施不僅對雲服務有好處，對世界也有好處。企業不需要購買那麼多基礎設施來向客戶銷售服務。此外，能夠有效地利用資料中心資源可以節省雲基礎設施的大量能源消耗。所以，這對用戶和環境都是好的。”

Ghobadi的論文作者中包括她的學生Jeremy Bogle和Nikhil Bhatia，他們都是CSAIL的學生；微軟研究院的Ishai Menache和Nikolaj Bjorner，以及希伯來大學的Asaf Valadarsky和Michael Schapira。

權衡可用性和利用率，成本最小化

雲服務提供者使用運行在地下的光纖電纜網路，連接不同城市的資料中心。為了路由流量，提供商依賴於“流量工程”( traffic engineering ，TE)軟體，該軟體可以通過所有網路路徑優化分配資料頻寬(一次可以傳輸的資料量)。

其目標是確保世界各地的用戶獲得最大的可用性。但是，當一些連接可能意外失敗時，這就很有挑戰性了，比如斷電時導致信號品質下降，或者施工造成的線路中斷等因素。為了減輕這些意外事故帶來的影響，供應商將許多連結的利用率保持在非常低的水準，只是在那裡等著在需要時從被迫關閉的連結中承受全部資料負載。

因此，在網路可用性和利用率之間，這是一個微妙的權衡，這將實現更高的資料輸送量。研究人員說，這就是傳統TE方法失敗的地方。他們基於各種因素找到最佳路徑，卻不量化鏈路的可靠性。Bogle說:“他們不會說，‘這條鏈路啟動和運行的概率更高，所以這意味著你應該在這裡發送更多的流’。”網路中的大多數鏈路利用率都很低，發送的流量也沒有達到預期的水準。"

於是，研究人員設計了一個TE模型，該模型採用了核心數學中的“風險條件價值”，這是一種量化平均資金損失的風險評估方法。在投資股票時，如果你今天99%的條件價值風險為50美元，那麼你當天最壞情況1%的預期損失就是50美元。但99%的情況下，你會做得更好。這一指標用於投資股市，而股市是出了名的難以預測。

“但數學實際上更適合我們的雲基礎設施設置，” Ghobadi說。“大多數情況下，鏈路故障是由於設備老化造成的，因此故障概率不會隨著時間的推移發生很大變化。這意味著與股市相比，我們的概率更可靠。”

風險意識模型

在網路中，資料頻寬份額類似於投入的“錢”，具有不同故障概率的網路設備是“股票”及其股價變化的不確定性。利用這些基本公式，研究人員設計了一個“風險意識”模型，與金融模型一樣，該模型保證資料在99.9%的時間內到達目的地，但在0.1%的最壞情況下，流量損失最小。這幫助了雲提供商調優可用性和利用率之間的權衡。

研究人員將微軟連接其資料中心的網路三年的網路信號強度映射到鏈路故障的概率分佈上。輸入是圖形中的網路拓撲，資料來源-目的地資料流通過線路(鏈路)和節點(城市)連接，每條鏈路分配一個頻寬。

每隔15分鐘對每個環節的信號品質進行檢測，得到故障概率。如果信號品質低於接收閾值，他們認為這是鏈路故障。高於接收閾值即意味著連結已經啟動並運行。在此基礎上，該模型生成了每個連結上升或下降的平均時間，並計算了每個連結在每個15分鐘時間視窗的失敗概率(或“風險”)。從這些資料中，它能夠預測在任何給定的時間段內，風險連結什麼時候會失效。

研究人員將該模型與其他TE軟體進行了測試，測試物件是通過遍佈全球的穀歌、IBM、ATT和其他網路發送的類比流量。研究人員根據故障發生的概率創建了各種故障場景。然後，他們通過網路發送類比的和真實的資料需求，並提示他們的模型開始分配頻寬。

研究人員的模型將相對可靠的連結保持在接近滿負荷的狀態，同時引導資料遠離風險更高的連結。與傳統方法相比，他們的模型通過網路運行的資料是傳統方法的三倍，同時仍然確保所有資料都到達目的地。

文章授權轉載自大數據文摘

Photo by photoac

風險意識微軟 MIT 深度學習 AI模型

延伸閱讀News

更多活動

AI未來

延伸閱讀News

人工智慧領域日漸升溫的6大分支領域

如果能理解醫生的準確意圖，深度學習會是醫療診斷的未來嗎？

準還要再准，Google想挑戰「即時」天氣預測

無處不在的人工智慧

IBM氣候系統Weather Signals 將改變零售業生態

芬蘭新智慧城市「真空管線」丟垃圾食衣住行搭上 5G、AI 大數據

人工智慧、機器學習與認知運算：人類智慧如何匹敵

微軟幫助罕見病患尋找對應的臨床實驗帶給病人新希望

醫療型機器人成未來醫界希望？看看杯麵就知道！

AI未來

延伸閱讀News

人工智慧領域日漸升溫的6大分支領域

如果能理解醫生的準確意圖，深度學習會是醫療診斷的未來嗎？

準還要再准，Google想挑戰「即時」天氣預測

無處不在的人工智慧

IBM氣候系統Weather Signals 將改變零售業生態

芬蘭新智慧城市「真空管線」丟垃圾 食衣住行搭上 5G、AI 大數據

人工智慧、機器學習與認知運算：人類智慧如何匹敵

微軟幫助罕見病患尋找對應的臨床實驗 帶給病人新希望

醫療型機器人成未來醫界希望？看看杯麵就知道！

芬蘭新智慧城市「真空管線」丟垃圾食衣住行搭上 5G、AI 大數據

微軟幫助罕見病患尋找對應的臨床實驗帶給病人新希望