囲碁でプロ棋士を破ったGoogle DeepMindのAIが，今度は「Quake III Arena」のキャプチャー・ザ・フラッグに挑戦

　「AlphaGo」で知られるGoogle DeepMindの新たなAIエージェントが「Quake III Arena」のキャプチャー・ザ・フラッグモードに挑戦し，良い成果を挙げていることが公式ブログで報告された。

Capture the Flag: the emergence of complex cooperative agents

　AIと人間をゲームで対戦させることでAI技術と社会的認知の向上を狙うDeepMindについては，2016年11月28日に掲載した連載記事「Access Accepted第519回：最強のAIが『StarCraft』に挑戦状を叩きつける」で紹介したとおり。その後，2017年末にはプロゲーマーに対戦に挑み，0対4という成績で敗北したが（関連記事），そのかたわら，DeepMindは新しいプロジェクトとして「Quake III Arena」を使った企画をスタートさせていた。


　ご存じのように，FPSである「Quake III Arena」とRTSの「StarCraft II」は，リアルタイムで進行するという点では同一だ。しかし，「Quake III Arena」は目の前以外の状況が判断しづらい一人称視点であるうえに，複数の対戦相手がマップのさまざまな地点を自由に移動する。さらにキャプチャー・ザ・フラッグモードは，それぞれのプレイヤーが奪取やその阻止を狙う中，目的のフラッグがダイナミックに移動するという，非常に複雑な思考ルーチンを必要とする。
　DeepMindの発表によれば，マッチごとにマップのレイアウトが変化するMODを導入していたとのことで，これもまたハードルを上げる要因だ。


　それらの問題をクリアするための手法や試行錯誤については，発表ページに転載された学術報告に詳しいので，興味のある人は参照してほしい。DeepMindでは報告書にある「Population-Based Deep Reinforcement Learning」という手法を使い，最初はAI同士の2対2の対戦によってプレイの基本を習得させたという。しかし，「FTW」（For the Win）と名付けられた新エージェントの場合，AI同士では行動パターンが少なく，スキルはなかなか向上しなかったが，その後に行われた対人戦による学習では，上位プレイヤーよりも速くキル数を伸ばすことができたという。

　DeepMindは今後，複数のエージェントを使った研究も継続していくとのこと。「StarCraft II」という高い壁は依然として残っているが，ゲームにおける機械学習も順調に進化を続けているようだ。