AlphaZero
モンテカルロ木探索を使用した自己対戦によって、ディープラーニングを用いた強化学習をする。
AlphaZero(アルファゼロ)は、DeepMindによって開発されたコンピュータプログラムである。汎化されたAlphaGo Zeroのアプローチを使用している。 2017年12月5日、DeepMindチームはAlphaGo Zeroのアプローチを汎化したプログラムであるAlphaZeroの論文をarXiv上で発表した。AlphaZeroは、24時間以内にチェス、将棋、囲碁の世界チャンピオンプログラムであるStockfish、elmo、3日間学習させたAlphaGo Zeroを破るレベルに達した。具体的には、2時間で将棋、4時間でチェスの最高峰のAIに勝利し、AlphaGo Zeroも8時間で上回った。
AlphaZeroは、オープニングブック(序盤定跡データベース)とエンドゲームの表(終盤を解析したデータベース)を参照せずに、4時間の自己対戦だけでStockfishを凌駕した。
それまでチェスおよび将棋のAIで一般的であったアルファ・ベータ探索ではなく、囲碁AIで成功を収めたモンテカルロ木探索(モンテカルロ法の応用)とディープラーニングをこれらのゲームに対して適用しても強いAIが作れることを実証した。
AlphaZeroとStockfishとのチェス対局において、それぞれのプログラムは一手ごとに1分の思考時間が与えられた。AlphaZeroは白(先手)で25勝、黒(後手)で3勝し、残りの72局で引き分けた。
AlphaZeroはStockfishを初めて打ち負かしたプログラムではない。Komodo(英語版)と呼ばれるプログラムが、今回より前にStockfishを破っていた。Komodoのラリー・カウフマン(英語版)はAlphaZeroの勝利を重要視せず、「AlphaZeroは効果的に自分のオープニングブックを構築しているので、オープニングブックを用いるトップエンジンに対してよりフェアに戦えたのだろう」と主張した。