DeepMind官博詳解AI打星際爭霸:靠戰略水平 而非手速
2019年01月25日10:26
AlphaStar與《星際爭霸2》比賽直播
AlphaStar與《星際爭霸2》比賽直播

  導語:

  北京時間今日淩晨,Google母公司Alphabet旗下人工智能公司DeepMind與暴雪聯合直播最新AI程式“AlphaStar”與《星際爭霸2》職業選手比賽實況錄像,並讓AlphaStar和人類選手現場進行一盤比賽。AlphaStar在實況錄像中的10場均獲勝,而在與人類選手現場比賽時不敵人類,因此最終總成績定格在10-1。

  在直播開始之際,DeepMind在官方博客上詳細解釋了打造AlphaStar的全過程。DeepMind團隊認為,儘管《星際爭霸》只是一款遊戲,但不失為一款較為複雜的遊戲。AlphaStar背後的技術可以用來解決其他的問題。在天氣預報、氣候建模、語言理解等等領域,以及研究開發安全穩定的人工智能方面,都會有很大幫助。

  以下為DeepMind文章主要內容:

  在過去幾十年里,人類一直用遊戲測試評估AI系統。隨著技術的進步,科學界尋找複雜的遊戲,深入研究智力的方方面面,看看如何才能解決科學問題和現實問題。許多人認為,《星際爭霸》是最有挑戰的RTS(實時戰略)遊戲之一,也是有史以來電子競技領域最古老的遊戲之一,它是AI研究的“大挑戰”。

  現在我們推出一個可以操作《星際爭霸2》遊戲的程式,名叫AlphaStar,它是一個AI系統,成功打敗了世界頂級職業玩家。12月19日,我們舉行了測試比賽,AlphaStar打敗了Team Liquid戰隊的Grzegorz "MaNa" Komincz,他是世界最強的職業玩家之一,以5比0獲勝,之前AlphaStar已經打敗同隊的Dario “TLO” Wünsch。比賽是按照職業標準進行的,使用天梯地圖,沒有任何遊戲限製。

  在遊戲領域,我們已經取得一系列成功,比如Atari、Mario、《雷神之錘3:競技場》多人奪旗、Dota 2。但是AI技術還是無法應付複雜的《星際爭霸》。想拿到好結果,要麼是對遊戲系統進行重大調整,對遊戲規則進行限製,賦予系統超人一般的能力,或者讓它玩一些簡單地圖。即使做了修改,也沒有系統可以與職業玩家一較高下。AlphaStar不一樣,它玩的是完整版《星際爭霸2》,用深度神經網絡操作,網絡已經用原始遊戲數據訓練過,通過監督式學習和強化式學習來訓練。

  《星際爭霸》遊戲的挑戰

  《星際爭霸2》由暴雪娛樂製作,是一款單位眾多的多層次宇宙科幻遊戲,在設計上非常挑戰人工智能。與前作一樣,《星際爭霸2》也是遊戲史上最宏大和成功的遊戲,已有20餘年的電競聯賽歷史。

  該遊戲玩法眾多,但電競中最常見的是1對1對戰,五局三勝製。開始時,玩家從人類、星靈和異蟲三個種族中人選一個進行操作,每個種族都有獨特的特點、能力(機關專業選手會專注於一個種族)。開局時,每個玩家都有一些“農民”來採集資源和建造建築,解鎖新科技。這也讓玩家可以收集新的資源,建造更複雜的基地和建築,研發新科技以勝過對手。要取得勝利,玩家必須仔細平衡宏觀經濟管理,即宏觀經濟,和每個單位的控製,即微操。

  這就需要平衡短期和長期目標,還要應對意外情況,整個系統因而經常變得脆弱僵硬。處理這些問題需要在下列若干人工智能領域解決挑戰,取得突破:

  - 遊戲理論:《星際爭霸》是個遊戲,就想剪刀石頭布一樣,沒有單一最佳戰略。因此人工智能訓練過程中需不斷探索和擴展最戰略知識前沿。

  - 瑕疵信息:不同於國際象棋或圍棋那種一覽無餘的狀態,星際玩家無法直接觀察到重要信息,必須積極探索“探路”。

  - 長期規劃:和許多現實世界中的問題並非是從“因”立即生“果”一樣,遊戲是可以從任何一個地方開始,需要1個小時時間出結果,這意味著在遊戲開始時的行動可能在很長一段時間不會有收效。

  - 即時性:不像傳統桌面遊戲,玩家輪流行動,星際玩家必須在遊戲時間內持續排兵佈陣。

  - 龐大的行動空間:要同時控製上百個單位及建築,這就導致了大量的可能性,行動是分級別的,可以被修改和擴張。我們將遊戲參數化後,每個時間步驟平均約有10到26個合理行為。

  由於上述的大量挑戰,《星際爭霸》成為了人工智能研究中的“大挑戰”。自從2009年《母巢之戰》應用參數界面問世後,圍繞《星際爭霸》和《星際爭霸2》開展了眾多人工智能競賽。

AlphaStar與MaNa的第二場比賽可視化動圖。人工智能的視角,原始觀測輸入神經網絡,神經網絡內部活動,一些人工智能考慮可採取的行動,如單擊哪裡或在哪裡建造,以及預測結果。MaNa的視角也在其中,但人工智能看不見他的視角。
AlphaStar與MaNa的第二場比賽可視化動圖。人工智能的視角,原始觀測輸入神經網絡,神經網絡內部活動,一些人工智能考慮可採取的行動,如單擊哪裡或在哪裡建造,以及預測結果。MaNa的視角也在其中,但人工智能看不見他的視角。

  AlphaStar如何觀察遊戲以及玩遊戲的

  職業玩家TLO和MaNa的APM可以達到數百,現有機器人高出很多,它們可以獨立控製每一個單位,持續維持幾千甚至幾萬的APM。

  對決TLO和MaNa時,AlphaStar的平均APM約為280,比職業玩家低,但它的動作更精準一些。為什麼APM會低一些?主要是因為AlphaStar是用錄像訓練的,因此它會模擬人類玩法。還有,AlphaStar在觀察和行動之間平均會有350ms的延遲。

AlphaStar在APM和延遲方面與人類玩家的比較
AlphaStar在APM和延遲方面與人類玩家的比較

  對決時,AlphaStar借助原始界面與《星際爭霸》遊戲引擎交流,也就是說,它可以直接觀察地圖上的我方單位和敵方可見單位,不需要移動鏡頭。如果是人類玩家,注意力有限,必須調整鏡頭,讓它瞄準應該關注的地方。分析AlphaStar遊戲能發現,它有一個隱藏的注意力焦點。平均來說,遊戲代理每分鍾會切換環境約30次,和MaNa、TLO的頻率差不多。

  比賽之後,我們開發了第二版AlphaStar。和人類玩家一樣,這個版本的AlphaStar需要確定何時移動鏡頭,應該瞄準哪裡,對於屏幕信息,AI的感知受到限製,動作位置也受到可視區域的限製。

AlphaStar在使用原始界面和控製鏡頭時,其女生R數據比較
AlphaStar在使用原始界面和控製鏡頭時,其女生R數據比較

  我們訓練了兩個代理,一個使用原始界面,一個學著控製鏡頭。兩個代理最開始時都用人類數據進行監督式和增強式訓練。使用鏡頭界面的AlphaStar幾乎和使用原始界面的AlphaStar一樣強大,在內部排行榜上達到7000 女生R(天梯積分)。在演示比賽中,MaNa用鏡頭界面打敗了原型版AlphaStar,但它只訓練了7天。我們希望能在近期內評估精煉的鏡頭界面AlphaStar。

  事實證明,AlphaStar與MaNa和TLO對決時之所以佔據上風,主要是因為它的宏觀戰略、微觀戰略決策能力更強,靠的不是超級點擊率、超快響應時間、原始界面。

  AlphaStar與職業玩家的較量

  《星際爭霸》這款遊戲包含三大外星種族:人類、星靈和異蟲。玩家可以從中選擇一個族類開始遊戲。目前,我們僅針對星靈一族對AlphaStar進行了訓練,以減少訓練時間和差異。值得一提的是,相同的訓練模式可以也應用到其他兩個種族的訓練上。經過訓練的代理可以在《星際爭霸2》(v4.6.2)的CatalystLE天梯地圖中,實現星靈族與星靈族的較量。

  為評估AlphaStar的表現,團隊最初測試了代理對弈玩家TLO(一位頂級職業異蟲玩家和大師級星靈玩家)的表現。AlphaStar以5:0的戰績獲勝,對弈過程中AlphaStar靈活使用了大量單位和建造命令。

  “代理的強大水平令我驚訝,”TLO表示,“AlphaStar將眾所周知的策略融會貫通。代理運用的策略,也是我之前從未想到過的。也就是說對於這個遊戲,我們或許還有很多玩法沒有探索出來。”

  對我們的代理繼續訓練了一週之後,我們讓代理與另一名玩家MaNa進行較量。MaNa不僅是世界頂級的《星際爭霸2》玩家,也是排名前十的最擅長使用星靈族的玩家之一。AlphaStar再次以5:0的戰績獲勝,體現了強大的微觀和宏觀策略技能。

  “AlphaStar在每局遊戲中採用的操作和不同策略十分令人印象深刻,近乎人類選手般的遊戲策略出乎我的意料,”MaNa說,“我這才意識到,自己之前的策略過分依賴失誤和人類反應力,因此這場比賽讓我對遊戲有了全新的認識。我們很期待未來的無限可能。”

  AlphaStar和其他複雜問題

打造AlphaStar的團隊
打造AlphaStar的團隊

  儘管《星際爭霸》只是一款遊戲,但不失為一款較為複雜的遊戲。我們認為,AlphaStar背後的技術可以用來解決其他的問題。比如,它的神經網絡架構可以基於不完美的信息,對長時間序列中的可能行為進行建模——因為一局遊戲通常長達1個多小時且涉及成千上萬次動作。《星際爭霸》的每一幀都是輸入的一個動作,神經網絡在每一幀動作之後都會對接下來的遊戲發展進行預測。根據較長的數據序列進行複雜的預測,是很多現實世界挑戰中的基本問題,比如天氣預報、氣候建模、語言理解等等。AlphaStar項目的學習和發展對幫助這些領域取得顯著進展的可能性,值得期待。

  我們還認為,團隊的一些訓練方法或可有助於研究開發安全穩定的人工智能。人工智能的一大挑戰是,系統出錯的方式各種各樣。先前,《星際爭霸》的職業玩家可以通過各種新穎方式誘導代理失誤,輕易擊敗AI系統。AlphaStar採用的基於league模式的創新訓練方式,可以找到最可靠、最不容易出錯的方式。這一創新方式對改進整體AI系統(尤其是在諸如能源等安全至上、且解決複雜邊緣案例十分關鍵的領域)的安全性和穩定性的前景亦值得期待。

  實現最高水平的《星際爭霸》對弈代表了人工智能在有史以來最複雜電子遊戲中取得的重大突破。我們相信,這些進展,以及AlphaZero和AlphaFold等項目的其他進展,代表著我們在創建人工智能系統之路上的又一大前進。未來終有一日,智能系統將幫助人類解鎖解決世界上一些最重要、最基本之科學問題的創新方式。(宋晨 星海 木爾)

關注我們Facebook專頁
    相關新聞
      更多瀏覽