<font id="npz77"></font>

    <object id="npz77"></object>
    <thead id="npz77"><del id="npz77"><video id="npz77"></video></del></thead>
    <thead id="npz77"></thead>
    <delect id="npz77"></delect><thead id="npz77"><del id="npz77"><video id="npz77"></video></del></thead>

    <delect id="npz77"><rp id="npz77"><big id="npz77"></big></rp></delect>
        所在位置: 前沿科技首頁 > 最新文章 > 人工智能  > 正文

        MIT:人工智能讓數據中心更有效地運行

        2019-08-23 09:04:46 來源: MIT news 作者: 馬嘉悅

        MIT研究人員開發的一個新系統自動“學習”如何在數千臺服務器之間分配數據處理操作

        傳統上,針對特定的工作負載優化調度算法幾乎是不可能的。據麻省理工學院(MIT)官網稱,MIT研究人員開發的一個新系統自動“學習”如何在數千臺服務器上調度數據處理操作,幫助數據中心更高效地運行。 

        MIT的研究人員利用“強化學習”(RL:一種反復試驗的機器學習技術)來根據特定服務器集群中的特定工作負載調整調度決策的系統。他們構建了新的RL技術,可以在復雜的工作負載下進行培訓。在培訓中,系統嘗試了許多可能的方法來跨服務器分配傳入的工作負載,最終在利用計算資源和快速處理速度方面找到了最佳折衷。不需要人工干預,只需要簡單的指導。

        與最優秀的手寫調度算法相比,系統完成任務的速度快20%30%,在高流量的時候快一倍。該系統可以使數據中心以更快的速度處理相同的工作負載,使用更少的資源。

        RL的調度

        通常,數據處理作業進入以“節點”和“邊”圖表示的數據中心。每個節點代表一些需要完成的計算任務,其中節點越大,所需的計算能力就越大。連接節點的邊將連接的任務鏈接在一起。調度算法根據不同的策略為服務器分配節點。

        但是傳統的RL系統不習慣處理這樣的動態圖。為了構建基于RL的調度程序,研究人員必須開發一個模型,該模型可以處理圖形結構作業,并可擴展到大量作業和服務器。

        他們系統的“代理”是一種調度算法,它利用圖神經網絡,通常用于處理圖結構數據。為了提出一個適合于調度的圖神經網絡,他們實現了一個自定義組件,該組件聚合圖中不同路徑上的信息——比如快速估計完成圖中給定部分所需的計算量。這對于作業調度非常重要,因為“子”()節點在其“父”()節點完成之前不能開始執行,因此預測圖中不同路徑上的未來工作是做出良好調度決策的關鍵。

        為了訓練RL系統,研究人員模擬了許多不同的圖序列,這些圖序列模擬進入數據中心的工作負載。然后“代理”決定如何沿著圖將每個節點分配給每個服務器。對于每一個決策,組件都根據它在特定任務上的表現來計算獎勵——比如最小化處理單個任務的平均時間。代理人會不斷改進自己的決定,直到獲得盡可能高的回報。

        建立基準工作負載

        然而,有一個問題是,一些工作負載序列比其他工作負載序列更難處理,因為它們有更大的任務或更復雜的結構。這些過程總是需要更長的時間來處理,因此,獎勵信號總是比簡單的信號要低。但這并不一定意味著系統性能很差:它可以很好地處理具有挑戰性的工作負載,但仍然比簡單的工作負載慢。困難的可變性使得模型很難決定哪些行為是好的,哪些是不好的。

        為了解決這個問題,研究人員采用了一種叫做“基線化”的技術。該技術采用具有大量變量的場景的平均值,并將這些平均值用作比較未來結果的基線。在訓練期間,他們為每個輸入序列計算基線。然后,他們讓調度程序針對每個工作負載序列進行多次培訓。接下來,系統對針對相同輸入工作負載做出的所有決策進行平均性能評估。這個平均值是基線,然后模型可以將其未來的決策與之進行比較,以確定其決策是好是壞。他們將這種新技術稱為“依賴于輸入的基線化”。

        研究人員說,這種創新適用于許多不同的計算機系統。他說:“這是在輸入過程影響環境的環境中進行強化學習的一般方法,希望每個培訓活動都考慮輸入過程的一個樣本?!薄皫缀跛械挠嬎銠C系統都要處理不斷變化的環境?!?/font>

        目前,他們的模型是通過模擬來訓練的,這些模擬試圖實時重現傳入的在線流量。接下來,研究人員希望通過實時通信訓練該模型,這可能會導致服務器崩潰。因此,他們目前正在開發一種“安全網”,當系統即將崩潰時,它將停止工作。

        責任編輯: 陳龍
        秒速赛车 a爱彩