AlphaGo

AlphaGoのロゴ

AlphaGo（アルファ碁、アルファご）は、Google DeepMindによって開発されたコンピュータ囲碁プログラムであるp=19。
2015年10月に、ヨーロッパ王者ファン・フイ相手に互先（ハンディキャップなし）で破った初のコンピュータ囲碁プログラムとなった。5戦5勝だった。2016年3月15日には、李世乭との五番勝負で3勝（最終的に4勝1敗）を挙げ、韓国棋院に（プロとしての）名誉九段を授与された。また、2017年5月には、柯潔との三番勝負で3局全勝を挙げ、中国囲棋協会にプロの名誉九段を授与された。DeepMind社は世界トップ棋士である柯潔に勝利したことを機に、AlphaGoを人間との対局から引退させると発表した。
コンピュータが人間に打ち勝つことが最も難しいと考えられてきた分野である囲碁において探索範囲の膨大さと局面評価の難しさにより、人間に勝つにはあと10年かかるといわれていた。、人工知能が勝利を収めたことは世界に衝撃をもたらした。AlphaGoの登場は単なる一競技の勝敗を越え、人工知能の有用性を広く知らしめるものとなり、世界的AIブームを呼び起こすきっかけともなった。

**概要**
囲碁は創造的、戦略的思考を必要とする複雑なボードゲームであり、長い間、囲碁は、チェスのようなその他のゲームと比較して人間に勝つのがコンピュータにとってはるかに困難であると考えられていた。これは、他のボードゲームよりも可能な局面の数がはるかに大きい（約2×10170通り）ため、力まかせ探索といった伝統的なAI手法にとって極めて困難なためであった。
2015年より前は、最良の囲碁プログラムはアマチュアの有段レベルに達するのがやっとであった。小さな9路盤（9×9）ではコンピュータは健闘し、一部のプログラムはプロ棋士に対して9路盤で互角に戦うだけの力があったが、19路盤ではプロ棋士に太刀打ちできていなかった。IBMのコンピュータディープ・ブルーがチェス世界チャンピオンガルリ・カスパロフを1997年に破った後、囲碁が人間のアマチュアの強さに達するまでにほぼ20年を要した。人工知能の分野における多くの人々も、囲碁はチェスよりも人間の思考を模倣するためにより多くの要素を必要とすると考えていた。
AlphaGoはそれ以前のAIの取り組みとはニューラルネットワークを応用している点において最も大きく異なっている。ニューラルネットワークでは、評価経験則が人間によってハードコードされておらず、代わりにプログラム自身によって自分自身との対局を数千万回繰り返すことによってかなりの程度まで学ぶ。AlphaGoの開発チームでさえ、AlphaGoがどのように石の配置を評価し次の手を選択しているかを指摘することはできない。モンテカルロ木探索もプログラムの推論効率を改善するための主要な方法として用いられている。
AlphaGoは、それ以前の囲碁プログラムから著しい発展を遂げた。その他の利用可能な囲碁プログラムと対局した500局で、AlphaGoは1局しか負けなかった。
2015年10月、ヨーロッパチャンピオンに勝利。さらに2016年3月には世界戦で18回優勝の経験のあるトップ棋士・李世乭九段（韓国）に4勝1敗と勝ち越す。そして2017年5月にはレーティングで当時世界トップ棋士だった中国の柯潔九段に3連勝を果たし、人類との対局から引退した。
2017年10月18日、過去の試合データを使わず、ビッグデータ不要で自己対局のみでスキルアップする新囲碁AI「AlphaGo Zero」を発表した。生まれてから40日後には、5月に世界最強棋士、柯潔九段を破った「AlphaGo Master」に完勝した。
2017年12月5日、AlphaGo Zeroのアプローチを汎化させ、囲碁以外のゲームにも対応できるようになったAlphaZeroを発表した。AlphaZeroは5000台のTPUを使用し、AlphaGo Zeroを8時間の学習で上回った。

**人間との対局**

**樊麾との対局**
樊麾対AlphaGo – 第5局
AlphaGoは2015年10月に、ヨーロッパ王者の樊麾を5-0で破った。AIがプロレベルの人間にハンディキャップなしの19路盤で破ったのはこれが初めてであった。一部の解説者は樊麾と李世乭（プロ九段）との間の実力の差を強調した。コンピュータプログラムのZenとCrazy Stoneはこれ以前に九段のプロ棋士を4子のハンディキャップ付きで破っていた。カナダのAI専門家Jonathan Schaefferは、樊との対局後にAlphaGoを未熟な「神童」と論評し、「プログラム（AlphaGo）が真にトップの棋士と対局した時が本物の成果となるだろう」と考えた。シェーファーは、2016年3月の対局では李が勝利するだろうと考えた。プロ棋士で国際囲碁連盟事務局長のLee Ha-jinは、AIが李に挑戦する見通しに「非常に興奮している」と意見を述べ、両者に等しく勝利する機会があると考えた。
囲碁の専門家は樊に対するAlphaGoの打ち方について、大局観に欠ける点などのミスを指摘したが、樊との対局から李との対局の間にどの程度プログラムが改善されるかは未知であった。Google DeepMindのデイヴィッド・シルバーは、AlphaGoは李の以前の棋譜を使って特別に鍛えられてはいないと述べた。
プログラムに用いられたアルゴリズムについて記述したNature誌に掲載される論文の発表と合わせるために、このニュースの発表は2016年1月27日まで遅れた。

**李世乭との対局**
AlphaGoは、2016年3月に数多くの世界戦優勝経験のあるプロ棋士李世乭（九段）に挑戦した。結果は、4勝1敗と勝ち越した。- 第1局の盤面。白がAlphaGo。

**新バージョンMaster**
2017年初頭、ネットの囲碁対戦サイトに「Master」を名乗る打ち手が出現、日中韓のトップ棋士を相手に60戦無敗という驚異的な戦績を挙げて話題を集めた。1月5日になり、開発者デミス・ハサビスはツイッターにて、MasterはAlphaGoの新バージョンであることを明かした。これらの対戦は非公式なテストであり、2017年内に本格的な公式戦を行う方針としている。

**柯潔との対局**
2016年3月、AlphaGo対李世ドル第1局の終局後、李世乭とは通算9勝2敗の世界棋士レート1位の柯潔は「AlphaGoは李世乭に勝っても、私には勝てない」と豪語した。
国際囲碁連盟事務局長で国家体育総局棋牌運動管理センターの中国共産党委員会書記である楊俊安は近いうちにAlphaGoと柯潔は「人間と機械の最終決戦」として対局を行うと発表した。
2017年4月10日、デミス・ハサビスは、同年5月23日から27日にかけて囲碁の発祥地中国の浙江省烏鎮インターネット国際会展センター（World Internet Conferenceの永久開催地）にてGoogleと中国囲棋協会と中国政府が共催するFuture of Go Summitで「世界最強の棋士」柯潔とAlphaGoは対戦を行うと発表した。また、同大会でAlphaGoの新たな可能性を探究するとしてこれまでになかったチーム対局やペア対局も行われるとした。
第1局はAlphaGoが柯潔に半目勝ちし、柯潔は「人間では想像もつかない手を打ち、強かった」と述べた。第2局もAlphaGoの勝ちとなり、シリーズの勝ち越しが決定。デミス・ハサビスは柯潔を「100手までは今までの人間との対局で最も接戦だった」とその健闘を称えた。チーム対局も時越、羋昱廷、唐韋星、陳耀燁、周睿羊といった世界戦優勝経験者5人の集団相手にAlphaGoは勝利した。ペア対局ではAlphaGoとタッグを組んで古力に勝った連笑は「とにかく楽しい。試合中、本当に最高の気分だった」と感想をもらした。第3局もAlphaGoは柯潔に勝ち3局全勝となった。柯潔は負けが確定したときに席を外し、戻った際に涙を拭いた。デミス・ハサビスは「人間との対局はこれを最後とする」と発表した。2018年現在、AlphaGoがプロ棋士と対局したのはこの柯潔との対局が最後となっている。
中国政府の検閲をめぐって検索サービスを撤退させたGoogleにとって中国市場再進出を企図して2010年以来の中国政府と協力したイベントだったものの、中国メディアは予定されていた中継を中止してAlphaGoと柯潔の対局を報じた際には海外向けを除いてGoogleのことに触れなかった。一方で中国固有の文化たる囲碁への影響を中国政府は考慮したとの見方もある。なお、後の2017年12月13日にGoogleはアジア初の人工知能研究センターを中国の北京に開設すると発表し、AlphaGoと柯潔の対戦も影響したとされる。

**バージョン**

**AlphaGo Fan**
 初代バージョン。GPU176台を使用。- 2015年10月、コンピュータ囲碁として初めてプロ棋士（樊麾 Fan Hui）に互先での勝利を収めた（5戦5勝）。

**AlphaGo Lee**
 2代目バージョン。TPU48台を使用。- 2016年3月、韓国棋界で「魔王」と呼ばれる世界トップ棋士の一人の李世乭 (Lee Sedol) と戦い、4勝1敗と勝ち越した。

**AlphaGo Master**
 3代目バージョン。TPU4台を使用。- 2016年暮れから2017年初頭にかけて、ネット碁でプロ棋士相手に60連勝を達成した。その後同年5月、人類最強の棋士である柯潔に3戦全勝した。

**AlphaGo Zero**
 4代目バージョン。TPU4台を使用。- 2017年10月に発表された。従来のバージョンとは大きく異なり、棋譜やビッグデータを必要とせず自己対局によって強化される。全くの初心者の状態から3日間の学習でAlphago Leeのレベルに到達し、21日目にAlphago Masterと肩を並べる。40日間の学習後、AlphaGo Leeには100戦全勝、AlphaGo Masterには100戦して89勝11敗と過去のバージョンを圧倒するレベルとなった。

**AlphaZero**
5代目バージョン。TPU5000台を使用。
*2017年12月に発表された。AlphaGo Zeroのアプローチを汎用化させ、2時間で将棋、4時間でチェスの最高峰のAIに勝利し、AlphaGo Zeroも8時間で上回った。

**新手法**
AlphaGoは、これまで常識にない手を数々打ち出している。また、小目からの二間ジマリなど、これまで特殊な手段とされてきた手を多用するなどして、世界の囲碁界に大きな衝撃を与えた。打ち出した手法のいくつかは、各国のプロ棋士によって模倣・研究されて新たな布石・定石となった。また従来は勝差を目数の差で表していたが、%で把握する考えが浸透するなど、囲碁の考え方に変革を起こしている。

**肩ツキ**
AlphaGoを始めとしたモンテカルロ法を基礎とするプログラムは、肩ツキ（相手の石の斜め上に打つ手）を多用することが知られていた。たとえばAlphaGoは李世ドル戦の第2局37手目において、第4線の石への肩ツキを披露し、世界を驚かせた。下図は、Master対張紫良（中国）で、AlphaGoが見せた肩ツキ2連発である（白1，7）。

**ダイレクト三々**
星への三々侵入は、これまでにも数多く打たれてきたが、相手に強い厚みを与えるため、周囲の状況を見極めながら打つべき手とされてきた。しかしAlphaGoは、極めて早い段階から三々への打ち込みを見せることが多く、この手法は「ダイレクト三々」と称されるようになった。ここから多くの定石が生まれ、人間のプロ棋士の間でも多用される手法となっている。下の図は、AlphaGoの自己対戦で現れた、序盤6手目及び13手目での三々入りである。

**開発チーム**

**AlphaGo Fan**
AlphaGo（AlphaGo Fan）について書かれた原著論文「Mastering the Game of Go with Deep Neural Networks and Tree Search」には以下の20名が著者として名を連ねている。コレスポンディング・オーサー（連絡著者）は筆頭著者のデイビッド・シルバーと最終著者のデミス・ハサビスであるが、論文冒頭に、シルバーと黄、2人の貢献度が等価である旨が特記されている。以下のリストで、Google本社に所属する2名（「Google」と特記）を除く全員がGoogle DeepMind社の所属である。
*デイビッド・シルバー / David Silver
*黄士傑 / Aja Huang
*クリス・J・マディソン / Chris J. Maddison
*アーサー・ゲズ / Arthur Guez
*ローレン・シフレ / Laurent Sifre
*ジョージ・ヴァン・デン・ドリエッシェ / George van den Driessche
*ユリアン・シュリットヴィーザー / Julian Schrittwieser
*イオアニス・アントノグロウ / Ioannis Antonoglou
*ヴェーダ・パンニールセルヴァム / Veda Panneershelvam
*マルク・ランクトー / Marc Lanctot
*サンデル・ディーレマン / Sander Dieleman
*ドミニク・グレーヴェ / Dominik Grewe
*ジョン・ニャム / John Nham （Google）
*ナル・カルヒブレンナー / Nal Kalchbrenner
*イリヤ・サツケヴァー / Ilya Sutskever （Google）
*ティモシー・リリクラップ / Timothy Lillicrap
*マデリーン・リーチ / Madeleine Leach
*コーライ・カヴァキュオグル / Koray Kavukcuoglu
*ソーレ・グリーペル / Thore Graepel
*デミス・ハサビス / Demis Hassabis

**AlphaGo Zero**
AlphaGo Zeroについて書かれた論文「Mastering the game of Go without human knowledge」の著者は以下のメンバーである。AlphaGoと対局したプロ棋士の樊麾も名を連ねている。この論文では、著者のうち冒頭3名の貢献度が等価であると記されている。
*デイビッド・シルバー / David Silver
*ユリアン・シュリットヴィーザー / Julian Schrittwieser
*カレン・シモニャン / Karen Simonyan
*イオアニス・アントノグロウ / Ioannis Antonoglou
*黄士傑 / Aja Huang
*アーサー・ゲズ / Arthur Guez
*トマ・ユベール / Thomas Hubert
*ルーカス・ベイカー / Lucas Baker
*マシュー・ライ / Matthew Lai
*エイドリアン・ボルトン / Adrian Bolton
*陳御天 / Yutian Chen
*ティモシー・リリクラップ / Timothy Lillicrap
*樊麾 / Fan Hui
*ローレン・シフレ / Laurent Sifre
*ジョージ・ヴァン・デン・ドリエッシェ / George van den Driessche
*ソーレ・グリーペル / Thore Graepel
*デミス・ハサビス / Demis Hassabis

**AlphaZero**
AlphaGo Zeroのアルゴリズムをチェスと将棋にも応用したAlphaZeroについて書かれた論文「A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play」の著者は以下のメンバーである。この論文では、著者のうち冒頭3名の貢献度が等価であると記されている。
*デイビッド・シルバー / David Silver
*トマ・ユベール / Thomas Hubert
*ユリアン・シュリットヴィーザー / Julian Schrittwieser
*イオアニス・アントノグロウ / Ioannis Antonoglou
*マシュー・ライ / Matthew Lai
*アーサー・ゲズ / Arthur Guez
*マルク・ランクトー / Marc Lanctot
*ローレン・シフレ / Laurent Sifre
*ダルシャン・クマラン / Dharshan Kumaran
*ソーレ・グリーペル / Thore Graepel
*ティモシー・リリクラップ / Timothy Lillicrap
*カレン・シモニャン / Karen Simonyan
*デミス・ハサビス / Demis Hassabis

**アルゴリズム**
AlphaGo Master までは、ディープニューラルネットワークを用いて実装された「value network」と「policy network」によって動くモンテカルロ木探索を用いていた。しかし、AlphaGo Zero では、ニューラルネットワークは一つに統合された。
AlphaGoは当初、棋譜に記録された熟練した棋士の手と合致するよう試みることによって、人間のプレーヤーを模倣するように訓練された。ある程度の能力に達すると、強化学習を用いて自分自身と多数の対戦を行ってさらに訓練された。しかし、AlphaGo Zero では、ルール以外の知識は全く与えずに強化学習をして、40日という短時間で AlphaGo Master に100戦して89勝するまでになった。

**ハードウェア**
Google Cloud Platformのコンピュータ資源（CPU1202個、GPU176基）を使って学習させている。また、TensorFlowに対応したディープラーニング専用プロセッサ「Tensor Processing Unit (TPU)」をも使用している。

**戦績**
vs樊麾 5勝0敗（非公開対局）
※AlphaGoから見た結果

**影響**
囲碁は以前は当時のテクノロジーでは力の及ばない機械学習における難問であると見なされていたため、AlphaGoは人工知能研究における画期的な進展として歓迎されている。コンピュータ囲碁研究の結果は、認知科学、パターン認識、機械学習といったその他の同様の分野に応用されている。
囲碁が盛んな韓国ではAlphaGoが人間を超え韓国・中国・日本・台湾のプロに60連勝するほどの強さになっていることから、囲碁人気が低下していると朝鮮日報に報じられた。「アルファ碁が（プロ棋士に）60連勝してからは、テレビで囲碁の対局は見なくなった」「好手、悪手についてのプロ棋士の解説は信じられない」「人間が何千年もかけて築いてきた囲碁の定石が崩壊した」といった反応があった。
天頂の囲碁（Zen）の開発者である尾島陽児は、2016年のインタビューで「人間は人工知能に勝てなくなりますか？」という質問に「アルファ碁（AlphaGo）にはすでに勝てないと思います」と答えており、既にトッププロを凌駕しているという見解を示している。ただし、「対コンピュータの攻略法はあります。ネットで打っている人たちはコンピュータの対応に慣れていて、混乱させる手をたくさん打ってきます。コンピュータは複雑な読みが苦手なので、難しい読みが必要な形をあちこちにいっぱい作るという感じです。」とも述べている。
AlphaGoが発表されてから、他のソフトもディープラーニングの手法を取り入れて大幅に棋力を伸ばし、2017年3月の第5回電聖戦では初めて互先でコンピュータ囲碁側（DeepZenGo、絶芸）が勝利した。2局とも中押し勝ちだった。
それまでのソフト開発は個人活動が主体となった趣味的なものであったが、ディープラーニングは計算リソースが多いほど有利なためデータセンターを有する大企業が主体となった。
実力が人間を超えてからのプロ棋士は自身の棋譜をAIで解析したり、ダイレクト三々などの手法を取り入れるようになった。また対局の中継でもAIによる勝率や予想手を表示するようになった。棋士のレベルは1950年代から頭打ちとなっていたが、AlphaGo登場以降に急上昇したことが判明している。
デミス・ハサビス自身は大学時代から囲碁を始め実力はかなりのものだったが、2024年にノーベル化学賞の受賞を記念して日本棋院から名誉九段を贈呈された。

**脚注**

**出典**

**註釈**

**参考文献**
 chapter=AlphaZeroと機械学習の概要

**関連項目**
 DQN (コンピュータ) - Google DeepMindが開発した人工知能

**外部リンク**
  AlphaGo公式サイト-  AlphaGoが自身と対局した50局 - AlphaGoの遺産- Match 3 - Google DeepMind Challenge Match: Lee Sedol vs AlphaGo