JAIST Repository
https://dspace.jaist.ac.jp/

Title

囲碁AIが好ゲームを演出するための要因分析

Author(s)早下, 雅弘; 池田, 心; シュエ, ジュウシュエン

Citation

情報処理学会第49回GI研究発表会, 2023‑3

Issue Date

2023‑03‑18

Type

Conference Paper

Text version

publisher

URL

http://hdl.handle.net/10119/18232

Rights社団法人 情報処理学会, 早下 雅弘, 池田 心, シュエ ジュウシュエン, 情報処理学会第49回GI研究発表会, 2023‑3, 2023. ここに掲載した著作物の利用に関する注意 本著作物の著作権は情報処理学会に帰属します。本著作物は著作権者である情報処理学会の許可のもとに掲載するものです。ご利用に当たっては「著作権法」ならびに「情報処理学会倫理綱領」に従うことをお願いいたします。
Notice for the use of this material: The
copyright of this material is retained by the
Information Processing Society of Japan(IPSJ). This material is published on thisweb site with the agreement of the author (s)and the IPSJ. Please be complied with
Copyright Law of Japan and the Code of Ethicsof the IPSJ if any users wish to reproduce,
make derivative work, distribute or makeavailable to the public any part or whole
thereof. All Rights Reserved, Copyright (C)Information Processing Society of Japan.

Description

情報処理学会第49回GI研究発表会, 2023‑3, 明治
大学

Japan Advanced Institute of Science and Technology

Vol.2023-GI-49 No.17
2023/3/18

情報処理学会研究報告
IPSJ SIG Technical Report

囲碁 AI が好ゲームを演出するための要因分析
早下 雅弘1,a)

池田 心1,b)シュエ

ジュウシュエン1,c)

概要：人間よりも強くなった囲碁 AI は，最善手を知りたいプレイヤや対戦相手により強い実力を求めるプ
レイヤにとって，大いに役立っている．しかし，面白い対局を望むプレイヤには強い囲碁 AI よりも好ゲー
ムを演出する囲碁 AI が必要である．好ゲームを演出する囲碁 AI の実現には，囲碁における好ゲームの要因分析が必要である．本研究では，きのあ株式会社が保有する人間の評価ラベル付き対局棋譜を KataGoを用いて解析することで，どのような一局が人間に評価されやすいか分析した．その結果，投了のタイミングと対局者同士の棋力差が大きな影響を与えていることが分かった．また，面白い対局を演出するために相手プレイヤの着手を誘導する手法の提案と予備実験を行った．

Factor analysis for Go AI to produce good games

1. はじめに
近年，コンピュータプレイヤはさまざまなゲームで人間のトッププロに勝利するようになっている．伝統的なボーする．

2. 囲碁プログラム，囲碁サービス
2.1 モンテカルロ木探索

ドゲームのひとつである囲碁においても，2016 年に登場

囲碁では探索空間の大きさと局面評価の難しさが影響しした AlphaGo が Lee Sedol に勝利，2017 年には AlphaGoて，他のゲームに比べて人間のトッププロに勝利するのZero がその AlphaGo に圧勝し，囲碁 AI の強さが明らかは困難であるとされていた．しかし，モンテカルロ木探索になった．そのため，対戦相手により強い実力を求めるプ（MCTS）や深層学習技術の発展を経て，現在では人間のレイヤ，および囲碁対局における最善手を知りたいプレイ

トッププロの実力を超えている．

ヤにとって，コンピュータ囲碁プログラムは大いに役立っている．

1993 年，局面評価を行う代わりに終局までランダムシ
ミュレーションを多数回行い，その平均勝率を比べること

一方，面白い対局を望むプレイヤにとっては，純粋な強で着手を評価するモンテカルロ法を応用したコンピュータ

さよりも『好ゲームを演出するコンピュータ囲碁プログラ

囲碁プログラム Gobble が登場した．その後，有望だと思ム』のほうが望ましいと考える．このためには，人間プレ

われる着手により多くのプレイアウトを費やし，多数回のイヤが囲碁を面白いと感じる要因を分析し，そこに至る流

プレイアウトが行われたノードに対して子ノードを展開す

れに誘導することが必要だと考える．池田らは，囲碁におる『モンテカルロ木探索』を用いたコンピュータ囲碁プロ

いて人間プレイヤを楽しませるには「棋力の推定」を前提

グラム Crazy Stone[2] が登場した．Crazy Stone が 2006

として「形勢の制御」「不自然でない手」「多様な戦略」「適年の Computer Olympiad の 9 路盤囲碁部門で優勝して以切な投了タイミング」「会話」などが求められると主張して来，他のコンピュータ囲碁プログラムも『モンテカルロ木いるが [1]，これは実際のデータに基づいたものではない．

探索』を用いるようになった．

そこで本研究では，人間プレイヤが好ゲームだと判定しモンテカルロ木探索は木探索のアルゴリズムの一種であた棋譜群とそうでない棋譜群を収集し，それぞれの棋譜群

り，選択可能な局面からゲーム終了までランダムにプレイにみられる特徴を分析することで，好ゲームのために必要し，その結果から局面を評価することが特徴である．選択な要素を分析することを目的とする．そのうえで，好ましした局面からゲーム終了までランダムにプレイすることをい局面に相手プレイヤを誘導するためのアプローチを提案

プレイアウトもしくはランダムプレイアウトと呼ぶ．有望

1

a)
b)
c)

北陸先端科学技術大学院大学
Japan Advanced Institute of Science and Technology, Nomi,
Ishikawa 923-1211, Japanhayashita@jaist.ac.jp
kokolo@jaist.ac.jp
hsuehch@jaist.ac.jpⓒ2023 Information Processing Society of Japanなノードへの探索の集中（exploitation）と，良い手を見逃さないための探索の分散（exploration）のバランスが大事であり，UCB 値などを用いた探索が利用された [2]．

1Vol.2023-GI-49 No.17
2023/3/18

情報処理学会研究報告
IPSJ SIG Technical Report

2.2 AlphaGo と AlphaGoZero
モンテカルロ木探索に深層学習技術や強化学習のアプ
ローチを加えたものとして，2016 年，AlphaGo が Lee Sedolとの対戦に勝利した．AlphaGo は，各着手の選択確率を表
す policy network と，局面の勝率を出力する value networkの 2 種類のネットワークを学習し，これをモンテカルロ木探索と組み合わせて用いる．policy network は，人間の棋譜を教師あり学習したものをまず用い，次いで方策勾配法
で強化学習される．

AlphaGo Zero は AlphaGo の改良版で，AlphaGo に対して 100 勝 0 敗で勝利した．AlphaGo Zero は着手確率予

図 1

きのあ囲碁のトップ画面の一部（アクセス：2023/01/28）

測と局面評価を 1 つのネットワークで出力しており，人間の棋譜を用いず自己対戦のみで学習を行った点が特徴である．着手確率予測の更新には，自己対戦中の MCTS における着手の訪問回数（有望さ）が用いられている．AlphaGo

Zero のモンテカルロ木探索では，終局までのプレイアウト
は行われない．

2.3 KataGo と LeelaZero
KataGo[3] はオープンソースで公開されている最も強い
囲碁プログラムの 1 つであり，AlphaGo Zero の手法をベースに設計されている．そのため，教師データなしの自己対局によってのみ学習を行っている．KataGo は囲碁プレイ
ヤや開発者にとって便利なツールになることを目指していると公言しており，以下のような機能を有している．

• 勝率だけでなくスコア（地合い差）も推定• コミの変更，中国ルールと日本ルールなどの選択が可能• 7×7 から 19×19 の範囲のボードサイズをサポート• JSON ベースの分析エンジンをサポート
本研究では，KataGo の分析エンジンを棋譜データの解析に用いた．

LeelaZero[4] は AlphaGo Zero の論文を基に作成された
オープンソースな囲碁 AI である．LeelaZero は人間の棋譜データのみを用いて学習したネットワークを公開しており，これは人間の思考に近い着手確率分布であることが期待されるため，本研究ではその特徴を生かし，棋譜データの解析に用いた．

2.4 囲碁を扱うサービス
インターネットの普及に伴って，オンライン上で人と碁を打つことが可能になった．囲碁を扱うサービスは多数あるが，その中で本研究に関係があるサービスを紹介する．
きのあ囲碁 [5] はきのあ株式会社が運営している囲碁サイトである．様々なレベルや種類のコンピュータと打つことができる（図 1 参照）．特徴的な点は，対局が良かったか
悪かったか投票できる機能がある点である（図 2 参照*1 ）．
*1

図 2 では「この局面からの対局は」という文言がある．きのあ囲ⓒ2023 Information Processing Society of Japan

図 2

きのあ囲碁の投票機能（アクセス：2023/01/28）

対局が面白いまたは練習などになったら “good”，ならなかったら “bad” を押すことで，データベースに棋譜と投票結果が保存される．

3. 関連研究
強すぎるコンピュータ囲碁プログラムは初心者プレイヤにとって適切な相手とはいえないため，強いだけではなく人を楽しませるようなコンピュータ囲碁プログラムも必要である．本章では，囲碁において何らかの意味で人の役に立つことを主目的とした研究を簡単に紹介する．
池田ら [1] は手加減には大きく 2 つの戦略がありそれぞれ長所と短所があることを述べている．

• ［常に一定の弱さを演出する方法］探索時間リソースを減らすなど．相手の強さが分かっている必要がある．

• ［形勢に応じて手加減の度合いを決める方法］形勢が良い場合には大きく手を抜き，悪い場合には最善手に近い手を打つなど．人間プレイヤが良い手を打っても悪い手を打っても勝ち負けに影響せず，頑張りがいがなくなる可能性がある．
池田ら [1] は，動的な手加減かつ不自然ではない着手の選択についてのアプローチを示した．MCTS による探索を行い，「唯一の手がある場合」「低勝率の場合」，「中勝率の場合」「高勝率の場合」と場合分けし，状況ごとに異なった
着手選択フローを取ることで不自然でない手加減を実現している．具体的には，唯一の手がある場合はそれを着手す
る．コンピュータ側が不利な場合には手加減せず良い手を打つ．互角に近い場合は，「自然さ」が高い手を優先して選ぶ．そしてコンピュータ側が有利な場合には損な手を打つ必要があるが，それでも「自然さ」が比較的高いものを碁のもう一つの面白い試みとして，石のない状態からではなく，特定の局面（現実に起こらなそうなものも含め，多数用意されている）から開始する機能があり，これはそれを受けたものである．

2

Vol.2023-GI-49 No.17
2023/3/18

情報処理学会研究報告
IPSJ SIG Technical Report

選ぶ．Hsueh ら [6] は，各着手の正確な良さを KataGo に，
人間から見た自然さを LeelaZero に，それぞれ推定させ，

表 1 プレイヤの手番に関する対局のデータ
プレイヤの手番
データ数
Good 率 プレイヤの勝率

これを組み合わせて自然で適切な手加減を行う手法を提案した．

黒1292 局

0.785

0.736

白

1531 局

0.580

0.895

人間の指導者による指導では，対局後に悪手を理由付きで指摘してもらえることが多い．その場合に指摘される悪3 つ目のステップでは，KataGo の解析結果から，1 局

手というのは，必ずしも「一定以上損した手」というわけの特徴量を得る．例えば，『1 局中の人間プレイヤの最善ではない．損が小さくても，考え方や石の形が良くない場

手率』は，棋譜の各局面の KataGo にとっての最善手と人合には指摘されることが多いし，損が大きくても，いわゆ

間プレイヤの実際の着手がどの程度一致したかを表し，人る勝負手や安全勝ちを目指した手ならば，悪いとは言われ

間プレイヤの棋力と正の相関があると推測できる．そのたないことが多い．池田ら [7] は，人間の指導者がどのようなめ，もし「棋力がかけ離れたプレイヤとの対戦はつまらな手をどういう理由で悪手とみなすかのモデルを作るため，い」とするならば，Good/Bad の予測に有効であろう．こ

教師あり学習を行った．その結果，選ばれた悪手やその理のように，各局面の解析結果から様々な 1 局の特徴量を得

由は十分アマチュアに役立つものであるとの評価を得た．

ることが可能であり，第一著者の修士論文には試みた 118

4. 人間プレイヤが好む対局の解析

つの特徴量が記されている．

4 つ目のステップでは，取得した 1 局の特徴量から人間好ゲームだと思えるような対局はどのようなものか，実プレイヤが好む対局の要素を分析する．1 つ目のステップ

際の棋譜と評価を用いて分析し，好ゲーム演出のために必で得た棋譜データには人間プレイヤの評価が付随している

要な要素を分析したい．そのためには，プレイヤまたは第ため，好ゲームと判定された対局は好ゲームと判定されな三者からみて好ゲームと言えるかのラベル付けがされていかった対局に比べてどのような特徴があるか統計的に分析る棋譜が必要である．これを研究室レベルで収集することする．

は困難であるため，我々はきのあ株式会社に依頼を行い，コンピュータプレイヤと対戦できるオンライン囲碁サービ

4.2 KataGo による解析を用いずに得られた基礎データ

ス『きのあ囲碁』における棋譜と評価のデータを使わせて今回の解析に用いた全ての対局の Good 率は 0.674 であもらうこととした．きのあ囲碁は，プレイヤが対局中（通り，全体的にプレイヤは好意的であるが，改善する余地も常は終了時）に「その対局が面白いまたは練習になった」

ありそうな良いデータであるといえる．プレイヤ側の勝率の意味で Good であったか Bad であったかを選んで送信は 0.823 と非常に高い．これは，プレイヤが勝ちたくてレする機能を持ち，棋譜の蓄積もある．

ベルの低い AI を選んでいるか，最も高いレベルの AI であってもプレイヤより弱いかであろう．

4.1 解析手法

4.2.1 プレイヤの手番に関するデータ

人間プレイヤが好む対局の解析は 4 つのステップで行う．

プレイヤの手番に関する対局の Good 率，データ数およ

1 つ目のステップでは，棋譜データの取得と選定を行う．

びプレイヤの勝率を表 1 に示す．プレイヤが黒を持っていきのあ囲碁の棋譜データには，様々な対局条件のものが存るときに比べて，白を持っているときにプレイヤの勝率が在するが，19 路盤，初期置石なしのものだけを選んだ．さ

16 ポイントも高いことが確認できる．囲碁の一般的な習慣

らに，50 手未満で終局したものは分析対象から外した．実として，上手が白を持つことが多いため，実力の高いプレ

際にはもっと多く提供されているが，本論文の分析に利用

イヤが白を選択しやすいのかもしれない．プレイヤの手番したのは Good と評価された 1902 局と Bad と評価されたによって Good 率が 20 ポイントも異なるのは驚きである

921 局の計 2823 局である．

が，強いプレイヤが白を持ち，対戦相手の AI が弱すぎて

2 つ目のステップでは，取得した棋譜データを囲碁 AI『KataGo』[3] を用いて解析する．KataGo には解析エン

Bad と評価している可能性が高い．
4.2.2 試合結果区分に関する対局のデータ

ジンが実装されており，現在の局面と手番を入力として試合結果区分に関する対局の Good 率およびデータ数を与えることで，各局面（勝率，各地点の占有率など）・各

表 2 に示す．コンピュータ投了の対局が対局全体のおよそ着手の情報（探索回数，勝率，地合い差，prior 値など）5 割を占めており，また，Good 率も他と比べて著しく低が出力される．本解析では，着手の探索回数を合計 6000

い．低評価の原因は「実力差がありすぎてつまらない」「コ

回とした．ネットワークには解析時点で GitHub に公開

ンピュータが投了するタイミングが悪い」ことが考えられされていたネットワーク [8] の中で最も実力があるとさる（詳細な分析は後述）．一方で，コンピュータ投了以外でれていた “kata1-b40c256x2-s3708042240-d967973220.bin”

終了した対局の Good 率は 9 割を超えており，ほとんどのを用いた．

プレイヤが好意的である．

ⓒ2023 Information Processing Society of Japan3

Vol.2023-GI-49 No.17
2023/3/18

情報処理学会研究報告
IPSJ SIG Technical Report
表 2 試合結果区分に関する対局のデータ
試合結果区分Good 率 データ数
プレイヤ投了

0.932

220 局

整地（プレイヤ負け）

0.938

209 局

整地（プレイヤ勝ち）

0.909

723 局

コンピュータ投了

0.484

1429 局

対局途中

0.630

242 局

図 4

整地（プレイヤ勝ち）で終了した対局の終局時の手数に関するGood 率の推移

図 3

コンピュータ投了で終了した対局の終局時の手数に関するGood 率の推移

4.2.3 手数に関する対局のデータ
終局時の手数と Good 率の関係を調べた．試合結果区分
により終局時の手数が大きく変わるため，データ数の多い『コンピュータ投了』の対局および『整地（プレイヤ勝ち）』
で分類して，データを示す．
図 3 に，コンピュータ投了で終了した対局に限定して，

図 5

プレイヤの最善手率と Good 率の関係

終局時の手数と Good 率をプロットしたグラフを示す．横軸目盛間のデータ数が均等となるように目盛り幅を取ってるとした場合，コンピュータの投了のタイミングが重要なおり，各点から縦に伸びるエラーバーは 95 ％信頼区間を可能性がある．

示す（以下，多くのグラフでこの表現を採用している）．コ
ンピュータが少ない手数で投了しているとき，Good 率が著しく低いことが確認できる．この原因としては，「序盤4.3 KataGo による解析，棋力・棋力差と Good 率の関係

で投了せざるをえないほどプレイヤのほうが強く，つまらコンピュータ投了で終了した対局の Good 率は他の終了ない」もしくは「まだ投了するべき局面ではないところで方法に比べて著しく低い．この原因には，対局者の棋力差

コンピュータが投げて，物足りない」などが考えられる．

と大きな関係があると考える．そこで，KataGo による分図 4 に，整地（プレイヤ勝ち）で終了した対局に限定し析を行い，最善手率や地合い差など，勝敗よりも棋力差をて，終局時の手数と Good 率をプロットしたグラフを示す．

反映しやすい指標を用いて Good 率との関係を見ていく．

257 手〜322 手の範囲に 8 割が分布しているが，終局時の4.3.1 プレイヤの最善手率と Good 率の関係

手数が 300 手を超えた付近から Good 率が減少する傾向が

図 5 にプレイヤの最善手率と Good 率の関係を示す．プ

みられる．考えられる要因として「終局する盤面にも関わレイヤの最善手率が高くなるほど Good 率が低くなっていらず，コンピュータがダメを打って手数が伸びている」こ

ることが確認できる（この差は例えば図 6 などと比べてもとや，「コンピュータに逆転の余地がないにも関わらず投顕著である）．最善手率と棋力に正の相関があるならば，棋了せずに，終局まで打たされた」などが考えられる．

力の高いプレイヤの対局は Good 率が低いといえる．これ

コンピュータ投了で終了した対局は少ない手数の時に評は，「プレイヤが強いため，大差になってしまい Good 率が価が悪いが，整地（プレイヤ勝ち）で終了した対局は手数低い（結果に対する不満）」もしくは「強いプレイヤは相が多いときに評価が悪く，傾向として逆のものが得られた．

手の着手に対して不自然に思うものが多い（観察眼が厳し

手数が少ないときの投了すべきでない局面の投了や，手数い）」ことが考えられる．

が進んだときの逆転の余地のない続行が評価に関わっていⓒ2023 Information Processing Society of Japan4

Vol.2023-GI-49 No.17
2023/3/18

情報処理学会研究報告
IPSJ SIG Technical Report

図 6

図 7

図 8

終局時におけるプレイヤから見た Scorelead と Good 率の関係

図 9

開局 50 手時点におけるプレイヤから見た Scorelead と Good

コンピュータの最善手率と Good 率の関係

プレイヤの最善手率からコンピュータの最善手率を引いた値と Good 率の関係

率の関係

4.3.2 コンピュータの最善手率と Good 率の関係
図 6 にコンピュータが最善手を打った割合と Good 率のに地合差もあるため，これも調査した．プレイヤから見た関係を示す．コンピュータの最善手割合が低いとき，すな

地合い差を Scorelead と呼ぶ．図 8 に終局時の Scorelead

わち，結果的にコンピュータが出来の悪い碁を打ってしと Good 率の関係を示す．Scorelead が 0 に近い範囲つま

まったときに Bad と評価されやすいと解釈できる．ただり競った良い試合だと好ましいというのは自然な結果であし，コンピュータの最善手割合が 0.136 より大きい範囲でる．また，+20 目に近い地点を境に Good 率が大きく変化

は割合が増えても Good 率はほとんど上がっていないことしている．この結果から，プレイヤは「大きくリードするが確認でき，別の理由が Good/Bad に影響を与えているこほど相手が弱いことが不満」もしくは「序盤中盤で相手がとが予測できる．

失敗してどんどん地合い差が増えていっているのに投げて4.3.3 プレイヤの最善手率からコンピュータの最善手率

くれないことが不満」と考えている可能性がある．

を引いた値と Good 率の関係

KataGo による分析の癖として，お互いが死活など重要4.3.5 開局 50 手におけるプレイヤから見た地合いの有利さと Good 率の関係な場所を気づかずに連続して手抜いている場合に，最善手

図 9 に開局 50 手におけるプレイヤからみた Scorelead と率が双方低くなるというような傾向がある．つまり，最善Good 率の関係を示す．終局時だけでなく開局 50 手の時点

手率は片方単独では良い指標と言えない可能性がある．図

の Scorelead によっても Good 率が大きく異なることが確

7 は，プレイヤの最善手率からコンピュータの最善手率を認できる．終局まで至らずとも 50 手の段階である程度の引いた値と Good 率の関係を示す．コンピュータがプレイ差がついてしまう相手は，手合い違いでプレイヤにとってヤより弱い場合は Good 率が低く，同じか少し強いくらい退屈な相手であり，好ましくないのかもしれない．

のときに満足度が高いことが確認できる．

4.3.4 終局時のプレイヤから見た地合いの有利さと Good率の関係
棋力差を反映しやすい指標としては，最善手率の差の他ⓒ2023 Information Processing Society of Japan

4.4 コンピュータの投了のタイミング
コンピュータ投了で終了した対局の Good 率は他の終了方法に比べて著しく低いため，本節ではこれに絞って Good5

Vol.2023-GI-49 No.17
2023/3/18

情報処理学会研究報告
IPSJ SIG Technical Report

図 10コンピュータ投了時の確定地と Good 率の関係

率の変化を調査する．対象にした棋譜は 1429 局であり，その平均 Good 率は 0.484 である．

4.4.1 コンピュータ投了時の確定地と Good 率の関係
KataGo の解析結果の中には，局面の勢力状況を表す特徴量 Ownership が存在する．Ownership は盤面の各地点

図 11コンピュータ投了時の手数と確立されていた地点の数によるGood 率の変化を表す 361（19 × 19）の値を持ち，各値は [-1.0, 1.0] の範囲をとる．値が-1.0 に近いほど白が確保する地点であるこが，中盤以降では逆転の可能性が小さい局面では投了するとを示し，値が 1.0 に近いほど黒が確保する地点であるこのが良い評価に繋がる可能性がある．

とを示す．そこで，『終局時の確定地』として，Ownershipの各値が-0.8 以下もしくは 0.8 以上の地点の数を計算した．

4.5 解析結果のまとめ

つまり，はっきり活きている／死んでいる黒石白石や，はっ本分析で得た重要な結果を以下に箇条書きでまとめる．

きり黒地・白地の箇所がどの程度あるかを示した値である．

• 少ない手数でコンピュータが投了した対局は Good 率

図 10 にコンピュータ投了時の確定地と Good 率の関係を示す．終局時の確定地が少ないと Good 率が低い傾向が分かる．確定地が少ない局面は，序盤である局面もしくは形勢が不安定な局面だと考えられるため，Good 率が低い
原因として，「序盤で投げるほどの差がついてしまった」または「逆転の余地があるのに投了されて物足りなかった」

が著しく低い．

• 整地（プレイヤ勝ち）で終了した対局では，300 手を超えた付近から Good 率が減少する．

• プレイヤの最善手率が高くなるほど Good 率が低い傾向がある．

• コンピュータの最善手率がかなり低いとき，Good 率が考えられる．

は低い傾向がある．一方で，最善手率がある程度以上

4.4.2 コンピュータ投了時の手数と確定地による Good

高くても Good 率に直接貢献しない．

• コンピュータの最善手率がプレイヤに近いか少しだけ率の変化
一般的に手数が進むにつれ確定地はお互いに増えるの高いとき，Good 率が高い傾向がある．

で，確定地だけを見ても詳細が分からない．そこで，コン• 終局時のスコア差が 0 に近い範囲で Good 率が高い．

ピュータ投了時の手数および確定地を 2 軸に取り，Good• 終局時のスコアでプレイヤが 20 ポイント以上多くリードしている場合，Good 率が低くなる傾向がある．一率がどのように変化するか調査した．
*2

図 11 に，横軸手数，縦軸確定地とした Good 率を示す ．
図中のマスの数字は Good 率を表しており，平均値である

方で，20 ポイント程度なら Good 率はあまり低くならない．

0.484 を基準（白色）に，赤色のマスほど Good 率が高く，• 開局 50 手時点においてもプレイヤがスコアをリード

青色のマスほど Good 率が低いことを示す．データ数が 20するほど Good 率が低くなる傾向があり，ある程度

以下の少ないマスは灰色で表されており，データ数が 50以上存在するマスには ∗ がマークされている．図より，手数が少ない範囲では確定地に関わらず Good 率が低いこ

Good/Bad 評価の趨勢が分かる．
• コンピュータ投了時の確定地が少ない場合，Good 率が低い傾向がある．

と，また，同じ手数の範囲で見れば（縦に見れば）確定地• 中盤以降において，確定地の多い局面でのコンピューが小さいときに投了すると Good 率が低いことが確認でき

タの投了は少ない局面での投了に比べて Good 率がる．序盤に投了することは局面に関わらず好ましくない

高い．

*2

各列のデータ数が同じになるように横軸の範囲を決めた．同様に，各行のデータ数が同じになるように縦軸の範囲を決めた．

ⓒ2023 Information Processing Society of Japan

これらのことから，棋力の高いプレイヤにはそれに応じたレベルのコンピュータを用意すること，ある程度差がつ6Vol.2023-GI-49 No.17
2023/3/18

情報処理学会研究報告
IPSJ SIG Technical Report

図 12

着手決定のアプローチ

いた場合には早すぎず遅すぎず適切なタイミングで投了す

ごたえのある碁』が好ゲームの要因だと仮定すると，人間ることが，Good 率を上げるために有益であると考える．

に渡すべき局面は，人間が打ちやすい着手が地合いを大き本来本研究は，より深い分析，例えば「戦いが多い碁と少く損なう局面ということになる．例えば局面の評価式としない碁ではどちらのほうがよいのか」「そっぽに打ちやすいて，その局面での相手の各着手の LZprior と Loss*3 の積をかどうかは影響するか」などについても調べたかったが，計算し，それらの合計を取ったものが挙げられる．これは棋力差や地合い差の影響が非常に大きく，それをキャンセ

つまり「この局面を渡したら，人間はどの程度地合いを損ルした分析がまだ十分行えていないのが実情である．

するか」という値である．これが高い局面を渡すように自5. 局面誘導のアプローチ

分の着手を選べば，『人間が失敗しやすい歯ごたえのある碁』に誘導することになる．

前章では，どのような局面や流れに導けば好ゲームと判定されやすいのか，簡単な分析を行った．仮にこれが深ま5.1 着手誘導の予備実験

り，要因分析ができたとして，どのようにコンピュータ囲

上述の「人間が失敗しやすい歯ごたえのある碁」および

碁プレイヤがそのような局面や流れに誘導するかはまた別

その反対で「人間が自然に良い手を打てる碁」について，問題である．

簡単な予備実験を行った．人間を用いた被験者実験はコス

囲碁は交互に着手するゲームであるから，特定の局面に誘導可能か推測するためには，人間プレイヤの着手をあトが高いので，pachi というプログラムの棋力が KGS 3kになる設定 [6] を相手として用いた．

る程度予測しなければならない．ここには，局面に対す

ベースとなるプログラムは，Hsueh らによる手加減囲碁プ

る人間プレイヤの着手確率分布を利用することができる．

ログラム [6] である．この手法では，現局面を KataGo に探LeelaZero の人間の棋譜のみを用いて学習したネットワー

索させ，各着手 i の Lossi と，LeelaZero に評価させた自然クから得られる各局面の着手選択確率 (LZprior) は，人間さ LZprior pi を組み合わせた utility という値が最も高い手

プレイヤから見た着手の自然さをある程度反映しているこが選ばれる．形勢と強さパラメータによって Loss の理想値とが分かっており [6]，人間プレイヤの着手予測に役立つとLoss∗ が決まり，その理想値に近いほど，utility は高くなる．

考える．小川らは，将棋において人間の棋譜から学習した

既発表論文では utilityi = (pi + 0.001) × 0.4|Loss −Lossi |着手の確率分布に，AlphaZero をベースに設計された将棋という式が用いられたが [6]，本論文の実験は別の式を用いAI『DLShogi』の探索の訪問回数を組み合わせることで，人

ている．

∗

間プレイヤの着手の予測精度が向上したと述べている [9]．

本論文では，さらに「渡した局面で人間がどの程度地したがって，AlphaZero をベースに設計された『KataGo』

合いを損するか」という予測値 humanlossi を用いて，の探索結果と LZprior を組み合わせることで，より良い人

utilityinew = utilityi × αhumanlossi という補正を行った．

間プレイヤの着手確率予測ができる可能性がある．

α が 1 より小さい場合は，間違えやすい局面を低く評価し，相手プレイヤの着手確率予測がある程度できるならば，

すなわち正しい手を打てる碁に導く．α が 1 より大きけれ

先の局面（またはそこへの流れ）の良さを評価し，平均的

ば，間違えやすい局面を高く評価し，すなわち失敗しやすに最も良い評価を得られそうな着手を選択するというアプ

い碁に導く．

ローチが可能になる．例として，『人間が失敗しやすい歯*3ⓒ2023 Information Processing Society of Japan

最善手を打ったときの地合い差から，実際の着手を打ったときの地合い差を引いたもの．必ず 0 以上．

7

Vol.2023-GI-49 No.17
2023/3/18

情報処理学会研究報告
IPSJ SIG Technical Reportα

表 3 誘導の予備実験の結果
自分の勝敗
自分の Losspachi(3k) の平均 Loss

0.8

41 勝 59 敗

2.062

2.274

1.0

41 勝 59 敗

2.238

2.480

1.2

31 勝 69 敗

2.412

2.704

グラムの研究基盤として，2 つのトピックに焦点を当てた．

1 つ目のトピックは好ゲームの要因分析であり，人間の評価付き棋譜データを囲碁 AI で解析し，取得した『最善手率』や『終局時のスコア差』のような一局の特徴量を用いて統計的分析を行うことで，評価の高い対局の特徴を分析することを目的とした．囲碁サイト『きのあ囲碁』の人

α を 0.8, 1.0, 1.2 と変えた場合の，pachi との各 100 戦

間の評価付き棋譜データを 2823 局用いた分析の結果，コの対戦結果を表 3 に示す．まず右端を見てもらうと，一局

ンピュータが相対的に弱いと評価が低くなること，コンあたりの pachi の平均 Loss が大きく異なることが分かる．

ピュータが投了した対局の評価は低いこと，その中では序α が大きいほど，期待通り，相手 (pachi) に間違えさせる

盤以降かつ逆転の余地がなくなった場合に投了をすることことができている．自分の Loss もおそらく手加減の結果で評価が上がりうることなどを示した．

大きくなっており，勝敗としてはそれほど大きな違いはな

2 つ目のトピックは局面誘導である．本研究では簡単

い．つまり，相手側から見れば，「難しい局面を与えられたな予備実験にとどまっているが，人間の棋譜を学習したが結果的にはそれを乗り越えて勝つことができている」と

LeelaZero のネットワークを使うことである程度相手（こいうことである．逆に，α が小さければ，「自分も相手も正の実験では囲碁プログラム）を間違わせる局面やその逆にしい手を多く打ち，格調高い碁になった」と言えるかもし誘導できていることが示された．

れない．どちらが好みなのかは人によるだろう．いずれに今後は，好ゲームのためのさらなる要因分析や，その結せよ，統計量だけでの評価であるので，今後の分析を要す

果を用いて実際に誘導を行うことなどを進めていきたい．

るところである．
謝辞

5.2 一般的な誘導のアプローチ
局面評価式の設計ができた場合のより一般的な手順を図

本研究は JSPS 科研費 JP20K12121 の助成を受けたものです．データ提供を頂いたきのあ囲碁株式会社山田元気様に感謝します．

12 に示すが，実装には至っていない．
( 1 ) コンピュータの候補手を選定する．選択可能な着手のうち，どの着手を候補手に選ぶかは難しい問題だが，

参考文献
[1]

自然な着手かつ悪すぎない着手が好ましい．例えば，

LZprior 上位の着手のうち地合い差を顕著に落とさな[2]い着手が候補として挙げられる．図 12 では，候補手A と候補手 B があったと仮定する．
( 2 ) 各候補手後の局面を LZprior に従って展開する．その

[3]
[4]

とき，遷移確率が一定の値より大きい局面はさらに展開する．遷移確率はコンピュータ側の着手確率は考慮[5]

せず，プレイヤの着手の選択確率の積により，到達可[6]

能な各局面への遷移確率を求める．図 12 では 0.4 を閾値とした．

[7]( 3 ) 葉ノードの評価値を評価式に従って計算する．評価値
は囲碁の形勢の良さではなく，好ゲームになりそうかを表す値であることに注意する．

( 4 ) 葉ノードの評価値から各局面の評価値を求める．コン
ピュータの着手は任意に選べるため，コンピュータ手
番の局面はマックスノードである．着手選択確率に

[8]
[9]

池田心，Viennot, S.：モンテカルロ碁における多様な戦略の演出と形成の制御：接待碁 AI に向けて，ゲームプロ
グラミングワークショップ 2012 論文集．
Coulom, R.: Eﬃcient selectivity and backup operators
in Monte-Carlo tree search, CG’06, pp. 72–83 (2006).
KataGo：https://github.com/lightvector/KataGo（アクセス：2023/01/20）
leela-zero：https://github.com/leela-zero/leela-zero （アクセス：2023/01/26）
きのあ囲碁：https://igo.qinoa.com/ja/ (アクセス：2023/01/28)
Hsueh, C.-H. and Ikeda, K.: Playing good-quality gameswith weak players by combining programs with diﬀerent
roles, CoG 2022, pp. 612–615 (2022).
Ikeda, K., Viennot, S., and Sato, N.: Detection and labeling of bad moves for coaching Go, CIG 2016, pp.395401 (2016).
Networks for kata1：https://katagotraining.org/
networks/kata1/ （アクセス：2023/01/26）
Ogawa, T., Hsueh, C.-H., and Ikeda, K.: Improving thehuman-likeness of game AI s moves by combining multiple prediction models, ICAART 2023 (2023).

従って確率的遷移すると捉えると，プレイヤ手番の局
面はチャンスノード（子ノードの加重平均）である．

( 5 ) 評価値最大の候補手をコンピュータの着手として決定
する．

6. おわりに本研究では，好ゲームを演出するコンピュータ囲碁プロⓒ2023 Information Processing Society of Japan

8