AlphaGo

AlphaGoは、Google DeepMindによって開発されたコンピュータ囲碁プログラムである。

2015年10月に、人間のプロ囲碁棋士を互先で破った初のコンピュータ囲碁プログラムとなった。2016年3月15日には、李世乭との五番勝負で3勝を挙げ、韓国棋院に名誉九段を授与された。また、2017年5月には、柯潔との三番勝負で3局全勝を挙げ、中国囲棋協会にプロの名誉九段を授与された。Google DeepMindは世界トップ棋士である柯潔に勝利したことを機に、AlphaGoを人間との対局から引退させると発表した。

コンピュータが人間に打ち勝つことが最も難しいと考えられてきた分野である囲碁において、人工知能が勝利を収めたことは世界に衝撃をもたらした。AlphaGoの登場は単なる一競技の勝敗を越え、人工知能の有用性を広く知らしめるものとなり、世界的AIブームを呼び起こすきっかけともなった。

1. 概要
-----

囲碁は創造的、戦略的思考を必要とする複雑なボードゲームであり、長い間、囲碁は、チェスのようなその他のゲームと比較して人間に勝つのがコンピュータにとってはるかに困難であると考えられていた。これは、他のボードゲームよりも可能な局面の数がはるかに大きいため、力まかせ探索といった伝統的なAI手法にとって極めて困難なためであった。

2015年より前は、最良の囲碁プログラムはアマチュアの有段レベルに達するのがやっとであった。小さな9路盤ではコンピュータは健闘し、一部のプログラムはプロ棋士に対して9路盤で互角に戦うだけの力があったが、19路盤ではプロ棋士に太刀打ちできていなかった。IBMのコンピュータディープ・ブルーがチェス世界チャンピオンガルリ・カスパロフを1997年に破った後、囲碁が人間のアマチュアの強さに達するまでにほぼ20年を要した。人工知能の分野における多くの人々も、囲碁はチェスよりも人間の思考を模倣するためにより多くの要素を必要とすると考えていた。

AlphaGoはそれ以前のAIの取り組みとはニューラルネットワークを応用している点において最も大きく異なっている。ニューラルネットワークでは、評価経験則が人間によってハードコードされておらず、代わりにプログラム自身によって自分自身との対局を数千万回繰り返すことによってかなりの程度まで学ぶ。AlphaGoの開発チームでさえ、AlphaGoがどのように石の配置を評価し次の手を選択しているかを指摘することはできない。モンテカルロ木探索もプログラムの推論効率を改善するための主要な方法として用いられている。

AlphaGoは、それ以前の囲碁プログラムから著しい発展を遂げた。その他の利用可能な囲碁プログラムと対局した500局で、AlphaGoは1局しか負けなかった。

2015年10月、ヨーロッパチャンピオンに勝利。さらに2016年3月には世界戦で18回優勝の経験のあるトップ棋士・李世乭九段に4勝1敗と勝ち越す。そして2017年5月にはレーティングで当時世界トップ棋士だった中国の柯潔九段に3連勝を果たし、人類との対局から引退した。

2017年10月18日、過去の試合データを使わず、ビッグデータ不要で自己対局のみでスキルアップする新囲碁AI「AlphaGo Zero」を発表した。生まれてから40日後には、5月に世界最強棋士、柯潔九段を破った「AlphaGo Master」に完勝した。

2017年12月5日、AlphaGo Zeroのアプローチを汎化させ、囲碁以外のゲームにも対応できるようになったAlphaZeroを発表した。AlphaZeroは5000台のTPUを使用し、AlphaGo Zeroを8時間の学習で上回った。

2. 人間との対局
---------

2.1. 樊麾との対局
-----------

AlphaGoは2015年10月に、ヨーロッパ王者の樊麾を5-0で破った。AIがプロレベルの人間にハンディキャップなしの19路盤で破ったのはこれが初めてであった。一部の解説者は樊麾と李世乭との間の実力の差を強調した。コンピュータプログラムのZenとCrazy Stoneはこれ以前に九段のプロ棋士を4子のハンディキャップ付きで破っていた。カナダのAI専門家ジョナサン・シェーファーは、樊との対局後にAlphaGoを未熟な「神童」と論評し、「プログラムが真にトップの棋士と対局した時が本物の成果となるだろう」と考えた。シェーファーは、2016年3月の対局では李が勝利するだろうと考えた。プロ棋士で国際囲碁連盟事務局長の李夏辰は、AIが李に挑戦する見通しに「非常に興奮している」と意見を述べ、両者に等しく勝利する機会があると考えた。

囲碁の専門家は樊に対するAlphaGoの打ち方について、大局観に欠ける点などのミスを指摘したが、樊との対局から李との対局の間にどの程度プログラムが改善されるかは未知であった。Google DeepMindのデイヴィッド・シルバーは、AlphaGoは李の以前の棋譜を使って特別に鍛えられてはいないと述べた。

プログラムに用いられたアルゴリズムについて記述したNature誌に掲載される論文の発表と合わせるために、このニュースの発表は2016年1月27日まで遅れた。

2.2. 李世乭との対局
------------

AlphaGoは、2016年3月に数多くの世界戦優勝経験のあるプロ棋士李世乭に挑戦した。結果は、4勝1敗と勝ち越した。

第1局の盤面。白がAlphaGo。

2.3. 新バージョンMaster
-----------------

2017年初頭、ネットの囲碁対戦サイトに「Master」を名乗る打ち手が出現、日中韓のトップ棋士を相手に60戦無敗という驚異的な戦績を挙げて話題を集めた。1月5日になり、開発者デミス・ハサビスはツイッターにて、MasterはAlphaGoの新バージョンであることを明かした。これらの対戦は非公式なテストであり、2017年内に本格的な公式戦を行う方針としている。

2.4. 柯潔との対局
-----------

2016年3月、AlphaGo対李世ドル第1局の終局後、李世乭とは通算9勝2敗の世界棋士レート1位の柯潔は「AlphaGoは李世乭に勝っても、私には勝てない」と豪語した。

国際囲碁連盟事務局長で国家体育総局棋牌運動管理センターの中国共産党委員会書記である楊俊安は近いうちにAlphaGoと柯潔は「人間と機械の最終決戦」として対局を行うと発表した。

2017年4月10日、開発者デミス・ハサビスは、同年5月23日から27日にかけて囲碁の発祥地中国の浙江省烏鎮インターネット国際会展センターにてGoogleと中国囲棋協会と中国政府が共催するフューチャー・オブ・ゴ・サミットで「世界最強の棋士」柯潔とAlphaGoは対戦を行うと発表した。また、同大会でAlphaGoの新たな可能性を探究するとしてこれまでになかったチーム対局やペア対局も行われるとした。

第1局はAlphaGoが柯潔に半目勝ちし、柯潔は「人間では想像もつかない手を打ち、強かった」と述べた。第2局もAlphaGoの勝ちとなり、シリーズの勝ち越しが決定。デミス・ハサビスは柯潔を「100手までは今までの人間との対局で最も接戦だった」とその健闘を称えた。チーム対局も時越、羋昱廷、唐韋星、陳耀燁、周睿羊といった世界戦優勝経験者5人の集団相手にAlphaGoは勝利した。ペア対局ではAlphaGoとタッグを組んで古力に勝った連笑は「とにかく楽しい。試合中、本当に最高の気分だった」と感想をもらした。第3局もAlphaGoは柯潔に勝ち3局全勝となった。柯潔は負けが確定したときに席を外し、戻った際に涙を拭いた。デミス・ハサビスは「人間との対局はこれを最後とする」と発表した。2018年現在、AlphaGoがプロ棋士と対局したのはこの柯潔との対局が最後となっている。

中国政府の検閲をめぐって検索サービスを撤退させたGoogleにとって中国市場再進出を企図して2010年以来の中国政府と協力したイベントだったものの、中国メディアは予定されていた中継を中止してAlphaGoと柯潔の対局を報じた際には海外向けを除いてGoogleのことに触れなかった。一方で中国固有の文化たる囲碁への影響を中国政府は考慮したとの見方もある。なお、後の2017年12月13日にGoogleはアジア初の人工知能研究センターを中国の北京に開設すると発表し、AlphaGoと柯潔の対戦も影響したとされる。

3. バージョン
--------

3.1. AlphaGo Fan
----------------

初代バージョン。GPU176台を使用。
2015年10月、コンピュータ囲碁として初めてプロ棋士に互先での勝利を収めた。

3.2. AlphaGo Lee
----------------

2代目バージョン。TPU48台を使用。
2016年3月、韓国棋界で「魔王」と呼ばれる世界トップ棋士の一人の李世乭  と戦い、4勝1敗と勝ち越した。

3.3. AlphaGo Master
-------------------

3代目バージョン。TPU4台を使用。
2016年暮れから2017年初頭にかけて、ネット碁でプロ棋士相手に60連勝を達成した。その後同年5月、人類最強の棋士である柯潔に3戦全勝した。

3.4. AlphaGo Zero
-----------------

4代目バージョン。TPU4台を使用。
2017年10月に発表された。従来のバージョンとは大きく異なり、棋譜やビッグデータを必要とせず自己対局によって強化される。全くの初心者の状態から3日間の学習でAlphago Leeのレベルに到達し、21日目にAlphago Masterと肩を並べる。40日間の学習後、AlphaGo Leeには100戦全勝、AlphaGo Masterには100戦して89勝11敗と過去のバージョンを圧倒するレベルとなった。

3.5. AlphaZero
--------------

5代目バージョン。TPU5000台を使用。
2017年12月に発表された。AlphaGo Zeroのアプローチを汎用化させ、2時間で将棋、4時間でチェスの最高峰のAIに勝利し、AlphaGo Zeroも8時間で上回った。

4. 新手法
------

AlphaGoは、これまで常識にない手を数々打ち出している。また、小目からの二間ジマリなど、これまで特殊な手段とされてきた手を多用するなどして、世界の囲碁界に大きな衝撃を与えた。打ち出した手法のいくつかは、各国のプロ棋士によって模倣されて流行の布石・定石となっており、囲碁の考え方に変革を起こしている。

4.1. 肩ツキ
--------

AlphaGoを始めとしたモンテカルロ法を基礎とするプログラムは、肩ツキを多用することが知られていた。たとえばAlphaGoは李世ドル戦の第2局37手目において、第4線の石への肩ツキを披露し、世界を驚かせた。下図は、Master対張紫良で、AlphaGoが見せた肩ツキ2連発である。

4.2. ダイレクト三々
------------

星への三々侵入は、これまでにも数多く打たれてきたが、相手に強い厚みを与えるため、周囲の状況を見極めながら打つべき手とされてきた。しかしAlphaGoは、極めて早い段階から三々への打ち込みを見せることが多く、この手法は「ダイレクト三々」と称されるようになった。ここから多くの定石が生まれ、人間のプロ棋士の間でも多用される手法となっている。下の図は、AlphaGoの自己対戦で現れた、序盤6手目及び13手目での三々入りである。

5. 開発チーム
--------

5.1. AlphaGo Fan
----------------

AlphaGoについて書かれた原著論文「Mastering the Game of Go with Deep Neural Networks and Tree Search」には以下の20名が著者として名を連ねている。コレスポンディング・オーサーは筆頭著者のデイビッド・シルバーと最終著者のデミス・ハサビスであるが、論文冒頭に、シルバーと黄、2人の貢献度が等価である旨が特記されている。以下のリストで、Google本社に所属する2名を除く全員がGoogle DeepMind社の所属である。

デイビッド・シルバー / David Silver
黄士傑 / Aja Huang
クリス・J・マディソン / Chris J. Maddison
アーサー・ゲズ / Arthur Guez
ローレン・シフレ / Laurent Sifre
ジョージ・ヴァン・デン・ドリエッシェ / George van den Driessche
ユリアン・シュリットヴィーザー / Julian Schrittwieser
イオアニス・アントノグロウ / Ioannis Antonoglou
ヴェーダ・パンニールセルヴァム / Veda Panneershelvam
マルク・ランクトー / Marc Lanctot
サンデル・ディーレマン / Sander Dieleman
ドミニク・グレーヴェ / Dominik Grewe
ジョン・ニャム / John Nham
ナル・カルヒブレンナー / Nal Kalchbrenner
イリヤ・サツケヴァー / Ilya Sutskever
ティモシー・リリクラップ / Timothy Lillicrap
マデリーン・リーチ / Madeleine Leach
コーライ・カヴァキュオグル / Koray Kavukcuoglu
ソーレ・グリーペル / Thore Graepel
デミス・ハサビス / Demis Hassabis

5.2. AlphaGo Zero
-----------------

AlphaGo Zeroについて書かれた論文「Mastering the game of Go without human knowledge」の著者は以下のメンバーである。AlphaGoと対局したプロ棋士の樊麾も名を連ねている。この論文では、著者のうち冒頭3名の貢献度が等価であると記されている。

デイビッド・シルバー / David Silver
ユリアン・シュリットヴィーザー / Julian Schrittwieser
カレン・シモニャン / Karen Simonyan
イオアニス・アントノグロウ / Ioannis Antonoglou
黄士傑 / Aja Huang
アーサー・ゲズ / Arthur Guez
トマ・ユベール / Thomas Hubert
ルーカス・ベイカー / Lucas Baker
マシュー・ライ / Matthew Lai
エイドリアン・ボルトン / Adrian Bolton
陳御天 / Yutian Chen
ティモシー・リリクラップ / Timothy Lillicrap
樊麾 / Fan Hui
ローレン・シフレ / Laurent Sifre
ジョージ・ヴァン・デン・ドリエッシェ / George van den Driessche
ソーレ・グリーペル / Thore Graepel
デミス・ハサビス / Demis Hassabis

5.3. AlphaZero
--------------

AlphaGo Zeroのアルゴリズムをチェスと将棋にも応用したAlphaZeroについて書かれた論文「A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play」の著者は以下のメンバーである。この論文では、著者のうち冒頭3名の貢献度が等価であると記されている。

デイビッド・シルバー / David Silver
トマ・ユベール / Thomas Hubert
ユリアン・シュリットヴィーザー / Julian Schrittwieser
イオアニス・アントノグロウ / Ioannis Antonoglou
マシュー・ライ / Matthew Lai
アーサー・ゲズ / Arthur Guez
マルク・ランクトー / Marc Lanctot
ローレン・シフレ / Laurent Sifre
ダルシャン・クマラン / Dharshan Kumaran
ソーレ・グリーペル / Thore Graepel
ティモシー・リリクラップ / Timothy Lillicrap
カレン・シモニャン / Karen Simonyan
デミス・ハサビス / Demis Hassabis

6. アルゴリズム
---------

AlphaGo Master までは、ディープニューラルネットワークを用いて実装された「value network」と「policy network」によって動くモンテカルロ木探索を用いていた。しかし、AlphaGo Zero では、ニューラルネットワークは一つに統合された。

AlphaGoは当初、棋譜に記録された熟練した棋士の手と合致するよう試みることによって、人間のプレーヤーを模倣するように訓練された。ある程度の能力に達すると、強化学習を用いて自分自身と多数の対戦を行ってさらに訓練された。しかし、AlphaGo Zero では、ルール以外の知識は全く与えずに強化学習をして、40日という短時間で AlphaGo Master に100戦して89勝するまでになった。

7. ハードウェア
---------

Google Cloud Platformのコンピュータ資源を使って学習させている。また、TensorFlowに対応したディープラーニング専用プロセッサ「Tensor Processing Unit 」をも使用している。

8. 戦績
-----

vs樊麾 5勝0敗※AlphaGoから見た結果

9. 影響
-----

囲碁は以前は当時のテクノロジーでは力の及ばない機械学習における難問であると見なされていたため、AlphaGoは人工知能研究における画期的な進展として歓迎されている。コンピュータ囲碁研究の結果は、認知科学、パターン認識、機械学習といったその他の同様の分野に応用されている。

囲碁が盛んな韓国ではAlphaGoが人間を超え韓国・中国・日本・台湾のプロに60連勝するほどの強さになっていることから、囲碁人気が低下していると朝鮮日報に報じられた。「アルファ碁が60連勝してからは、テレビで囲碁の対局は見なくなった」「好手、悪手についてのプロ棋士の解説は信じられない」「人間が何千年もかけて築いてきた囲碁の定石が崩壊した」といった反応があった。

天頂の囲碁の開発者である尾島陽児は、2016年のインタビューで「人間は人工知能に勝てなくなりますか？」という質問に「アルファ碁にはすでに勝てないと思います」と答えており、既にトッププロを凌駕しているという見解を示している。ただし、「対コンピュータの攻略法はあります。ネットで打っている人たちはコンピュータの対応に慣れていて、混乱させる手をたくさん打ってきます。コンピュータは複雑な読みが苦手なので、難しい読みが必要な形をあちこちにいっぱい作るという感じです。」とも述べている。

AlphaGoが発表されてから、他のソフトもディープラーニングの手法を取り入れて大幅に棋力を伸ばし、2017年3月の第5回電聖戦では初めて互先でコンピュータ囲碁側が勝利した。2局とも中押し勝ちだった。

10. 脚注
------

11. 関連項目
--------

DQN  - Google DeepMindが開発した人工知能

12. 外部リンク
---------

[1]
[2] - AlphaGoの遺産