JAIST Repository
https://dspace.jaist.ac.jp/

Title

悪手と囲碁AIによる特徴量を用いた棋力の異なるプレイヤの傾向分析

Author(s)窪木, 響大; シュエ, ジュウシュエン; 池田, 心Citation

ゲームプログラミングワークショップ2023論文集, 2023:
168-174

Issue Date

2023-11-10

Type

Conference Paper

Text version

publisher

URL

http://hdl.handle.net/10119/18832

Rights社団法人 情報処理学会, 窪木響大, シュエ ジュウシュエン,
池田 心, ゲームプログラミングワークショップ2023論文集,
2023, 168-174. ここに掲載した著作物の利用に関する注
意 本著作物の著作権は情報処理学会に帰属します。本著
作物は著作権者である情報処理学会の許可のもとに掲載するものです。ご利用に当たっては「著作権法」ならびに「情報処理学会倫理綱領」に従うことをお願いいたします。
Notice for the use of this material: The copyright ofthis material is retained by the Information
Processing Society of Japan (IPSJ). This material ispublished on this web site with the agreement of
the author (s) and the IPSJ. Please be complied with
Copyright Law of Japan and the Code of Ethics ofthe IPSJ if any users wish to reproduce, makederivative work, distribute or make available to the
public any part or whole thereof. All Rights
Reserved, Copyright (C) Information Processing
Society of Japan.

Description

第28回ゲームプログラミングワークショップ (GPW-23),
2023年11月17日-19日, 箱根セミナーハウス

Japan Advanced Institute of Science and Technology

The 28th Game Programming Workshop 2023

悪手と囲碁 AI による特徴量を用いた棋力の異なるプレイヤの傾向分析
窪木

響大1,a)

シュエ ジュウシュエン1,b)

池田

心1,c)

概要：近年ではゲーム AI を用いて人を指導する研究が行われるようになっている．囲碁においては，指導碁といわれる指導法をコンピュータで行う研究が進められている．指導碁をコンピュータで行うには，実際に人間の指導者が行っている指導方法が参考になる．人間が行う指導碁では，対局中に出てきた悪手や指導対象の打ち方から指導対象がどんな弱点を持っているかを把握し，それに合わせた指導を行っていると考える．本論文では，これらの作業をコンピュータ（ゲーム AI）に行わせるための一歩として，指導に役立つ情報を獲得することを目指す．具体的には，人間プレイヤを棋力によってグループ分けし，グルー
プごとの傾向を分析した．分析には，各プレイヤの棋譜中の悪手と囲碁 AI から得た特徴量を用いた．悪手は，既存研究の悪手の検出，分類モデルを改善し，棋譜にモデルを適用することによって求めた．特徴
量は，棋譜を強い囲碁 AI によって解析を行い，その結果をもとに特徴量を作成した．これらを使用して棋力帯ごとのプレイヤの傾向を分析した．
キーワード：ゲーム AI，囲碁，悪手，弱点分析

Tendency Analyses of Players with Diﬀerent Playing Skills
Based on Features from Bad Moves and Go AI
KYOTA KUBOKI1,a)

CHU-HSUAN HSUEH1,b)

KOKOLO IKEDA1,c)

Abstract: In recent years, researchers have tried to use game AI to teach human players. The game of Go is
one of the targets. It is worth referring to the teaching methods of human Go teachers. Usually, Go teachers
identify students’ weaknesses based on the bad moves and the playing styles during the games and then give
advice or instructions according to those weaknesses. As a ﬁrst step to letting computers (game AI) perform
such tasks, in this paper, our aim is to acquire useful information for teaching. More speciﬁcally, we grouped
human players (the student role) according to their playing skills and analyzed the tendency of each group.
We analyzed each player’s game records to extract bad moves and features from Go AI. We obtained bad
moves by applying an improved version of existing bad move detection and classiﬁcation models to the gamerecords. We also analyzed the game records using strong Go AI to obtain some more features. Both the bad
moves and the features were then used to analyze player tendencies in diﬀerent playing skills.
Keywords: Game AI, the game of Go, bad moves, weakness analysis

人間のトッププロを超える強さを獲得した．ボードゲー

1. はじめにムとして長い歴史をもつ囲碁においても，2016 年に登場

近年まで，ゲーム AI は強さを求める研究が行われてした AlphaGo [6] がプロ棋士に勝利し，さらに翌年にはいた．その研究のなかでゲーム AI は急速な成長をとげ，AlphaGo Zero [7] が AlphaGo に勝利するなど，囲碁 AI は
人間のトッププロを超える強さを獲得したといえる．そこ

1

a)
b)
c)

北陸先端科学技術大学院大学
Japan Advance Institute of Science and Technology(JAIST), Nomi, Ishikawa 923-1292 Japans2250002@jaist.ac.jp
hsuehch@jaist.ac.jp
kokolo@jaist.ac.jp©2023 Information Processing Society of Japanで，強さを求める研究だけでなく，「人を指導する」研究も行われるようになっている．
囲碁においては，人を指導する方法として指導碁というものがある．指導碁は，指導者が指導対象の強さに合わせ— 168 —

The 28th Game Programming Workshop 2023て対局を行い，その対局内容をもとに悪手を指摘したり，モデルと悪手の理由付けを行う分類モデルがある．悪手のその手が悪手である理由の説明したりするものである．こ分類モデルは，以下の 10 種類を 5 つのグループに統合しの指導碁をコンピュータによって行う研究が進められていたものから分類を行う．

る [10]．池田らは，指導者が行う悪手の指摘をコンピュー• グループ 1：

タが行うためのモデルを作成した [4]．しかし，実際の指– 局所的な形が悪い手

導者は，指導碁を通してただ悪手を見つけて指摘をするだ• グループ 2

けでなく，対局中に出てきた悪手や指導対象の打ち方から– 利得の小さい手

指導対象がどんな弱点を持っているかを把握し，その弱点– リスクを恐れた防御的な手に合わせた指導を行っていると考える．そのため，指導碁• グループ 3をコンピュータで行う際にもこのような指導対象の弱点を– 対処するべき場所から離れて打った手分析することが必要だと考える．

– 攻撃するチャンスがあったのに攻撃しなかった手– 防御をするべきだったのに防御しなかった手

この指導対象の弱点分析において，人間の指導者は，「自分の弱い石を助けずに戦いを挑みがち」「防御的になりが• グループ 4

ち」「ヨセが雑」といった，よくある弱点の傾向を事前に把– 読み間違いをした手握している．そこから指導対象がどのような局面や展開で• グループ 5

どのような悪手を打つのかを見て，どの傾向に当てはまっ– 受け身になりすぎた手ているのかを分析していると考える．

– 相手の石を強くしてしまった手– それ以外の手

そこで本研究では，棋力の異なるプレイヤの傾向分析をこの研究ではこのモデルを悪手の指摘にのみ用いている

行う．傾向分析は，2 つの方法でそれぞれ行う．

1 つ目に，悪手の予測モデルによって対局中の悪手を求が，この両モデルを用いれば，実際の指導者が行っているめ，その悪手に基づいた弱点の傾向分析を行う．弱点を調ような指導対象の弱点の把握をできるようになると考える．

べるうえで，最終的に人間に指導をすることから，人間の指導者の指摘に近い悪手や人間にとってわかりやすい悪手

2.2 棋譜の分析に関する研究の理由を使うことが望ましい．そこで，この方法では最初

将棋における棋譜の分析を行った研究として，山下 [9] やにそのような悪手の検出，分類モデルを既存のものから改小川ら [5] の研究がある．山下は，歴代名人の棋譜を分析善する．

することで強さを推定した．ここでは，棋力との関連性が2 つ目に，プレイヤの打ち方を表す 1 局あたりの特徴量高い指標として，AI の最善手と実際にプレイヤが打った手を作成し，これを用いて棋力の異なるプレイヤの傾向を求の評価値の差（損失）の平均を使っている．小川らは，人間

める．1 局あたりの特徴量は最新の囲碁 AI を用いて各局の着手を模倣したモデルの評価指標として，人間の棋譜を面の解析を行い，その結果をもとに作成した．

学習したネットワークと AlphaZero ベースの AI の policy

この分析によって指導に役立つような情報を獲得するこ

network を組み合わせたブレンドモデルを使っており，棋とを目指す．例として，悪手についてクラスタを求めるこ

力が異なる人間の着手との一致率の向上が確認された．

とができれば，プレイヤがどのクラスタに属するかを指摘

囲碁における棋譜の分析を行った研究として，小坂ら [8]することで，どの悪手を改善するべきかをいうことができや早下ら [3] の研究がある．小坂らは，囲碁 AI を使って棋る．また，プレイヤのある特徴量について同じ棋力帯と比譜を分析することで強さを推定した．ここでは，棋力とのべ，多いまたは少ない場合はそれを指摘することで，どう関連性が高い指標として，MCTS ベースの囲碁 AI の評価

いった打ち方を改善すべきかをいうことができる．

値と AlphaGo ベースの囲碁 AI の policy network と value

network を使っている．早下らは，アマチュアの棋譜に対

2. 関連研究してプレイヤが対局を楽しいと感じる要因分析を行った．
この研究では，プレイヤによって楽しいゲームだと評価さ

2.1 悪手の指摘に関する研究
指導碁に関する研究として，山中らは，人間の指導者がれた / 評価されなかった棋譜を収集し，それらを囲碁 AI

どのように指導をしているのかを調査し，指導碁の構成要を用いて情報を取得した．この情報をもとにそれぞれの棋素として，「悪手の選出」や「悪手の理由付け」などを挙げ譜にみられる特徴をみることで，楽しいゲームに必要な要ている [10]．

素を調べた．
本研究でも同様に，囲碁 AI による棋譜の解析によって

この「悪手の選出」と「悪手の理由付け」について，池田らは，人間の指導者に選出する悪手とその理由をラベル

1 局の内容を表す特徴量を作成し，棋譜の分析を行う．

付けしてもらい，教師あり学習を行うことで悪手モデルを作成した [4]．悪手モデルには，選出する悪手を検出する©2023 Information Processing Society of Japan— 169 —

The 28th Game Programming Workshop 2023

表 1: F 値を使った悪手モデルの結果

3. 悪手モデルの改善

モデル

先行研究 [4]KataGo のみ

prior Human 併用

悪手モデルについて，池田ら [4] はモンテカルロ囲碁プ

悪手検出

0.709

0.793

0.798

ログラム Nomitan を用いて 13 路盤の棋譜から特徴量の抽

悪手分類

0.434

0.447

0.452

出を行った．しかし，Nomitan よりも現在オープンソース
で使える囲碁 AI は格段に強くなっており，盤面のより正確な評価ができるようになった．そこで本研究では，池田らが使用したラベル付きデータに対して，最近の囲碁 AI
で棋譜の再解析を行い，特徴量の更新や新規の特徴量の追加を行った．

ての Macro-F 値を表している．悪手検出，分類モデルともに先行研究よりも F 値が向上した．特に，悪手検出モデル
は先行研究よりも 0.89 と大幅に性能を向上することができた．また，両モデルとも prior Human を加えたことで，性能を向上させることができた．
先行研究 [4] では，悪手モデルをプロ棋士に見てもらっ

3.1 方法
各局面の解析には，KataGo [1] と LeelaZero [2] を使用
する．KataGo は AlphaGo Zero をベースに設計された強力な囲碁 AI である．現在の局面を入力として与えること
で，各局面における以下の情報が取得できる．

• 局面の情報ており，中級者にとって十分な価値であると評価されている．そのモデルをさらに改善した本モデルにおいても十分な価値があるといえる．次に，作成したモデルを使用してプレイヤの弱点分析を行う．

4. 悪手を用いた弱点分析– 予測勝率

ここでは，棋譜に対して作成した悪手モデルを使用し，– 予測地合い差

プレイヤの悪手を見ていくことで棋力の異なるプレイヤのなど

悪手の傾向を分析する．

• 候補手の情報– KataGo 的な順位

4.1 使用する棋譜– 候補手を打った場合の予測勝率

使用データについては，囲碁クエストの 13 路盤の棋譜– 候補手を打った場合の予測地合い差

約 6 万局から以下の条件を指定して抽出を行った．

– KataGo の最善手との予測地合い差の差分 (損失)• 対局者間のレート差が 150 以内の対局など

KataGo により Nomitan が解析していた情報を取得する．
LeelaZero も同様に AlphaGo Zero をベースに設計された• 50 手以上続いた対局• 4 つのレート帯（1200-1400,1400-1600,1600-1800,18002000）のいずれかで 20 局以上打っているプレイヤの

囲碁 AI だが，人間の棋譜のみを用いて学習したネットワー

対局

クを作成することができる．このネットワークを用いるこ

そして，1 人あたり 20 局をランダムに抽出し，各レートとで，人間の感覚の着手確率分布に近いものが得られると考える．LeelaZero では 19 路盤のネットワークしか公開されていないため，13 路盤の棋譜を用いてネットワークの作成を行った．ここでは，4 章以降で使用する棋譜を除いた囲碁クエストの 13 路盤の棋譜約 6 万局をネットワークの学習に使用した．今回はこの LeelaZero の着手選択確率(prior Human) を新しく特徴量として追加した．教師あり
学習手法としては，複数の手法を比較した結果 LightGBMを使用した．

帯で 30 人分の棋譜を抽出した．最終的に各レート帯で 30
人× 20 局の 600 局，計 120 人 2400 局分の棋譜を抽出した．

4.2 方法
各局面を Katago と LeelaZero を使って解析し，モデルに必要な特徴量を抽出した．この特徴量を入力として悪手モデルを使用し，悪手である確率（以降，悪手確率），悪手の分類を求めた．このもとにプレイヤごとの 1 局あたりの悪手に関する情報をとりだした．ここでは，弱点の傾向分析を行うために悪手と判定する閾値を下げ，悪手確率が3.2 結果
最終的に作成した悪手モデルの性能は表 1 に示すとおりである．ここでは，先行研究と本研究で prior Human を用いた場合とそうでない場合の 3 つを表している．F 値については，悪手検出モデルは悪手とラベル付けされた手についての F 値と悪手とラベル付けされてない手についての

F 値の加重平均を，悪手分類モデルは悪手の各分類につい©2023 Information Processing Society of Japan

0.2 以上の手を悪手とみなした．
4.3 結果4.3.1 1 局あたりの悪手数
それぞれのレート帯における 1 局あたりの悪手数の関係を図 1 に示す．プレイヤごとに平均（各プレイヤの 20 局の悪手数の平均）と標準偏差（各プレイヤの 20 局の悪手

— 170 —

The 28th Game Programming Workshop 2023

数のばらつき）を計算し，レート帯ごとに 30 人の分布を箱ひげ図によって表したものである．



0.16

0.24

㈇ࡅࡓᑐᒁࡢ୰ኸ್

0.14

0.22
0.20

14

ࣉࣞ࢖ࣖࡈ࡜ࡢᶆ‽೫ᕪ

12ࣉࣞ࢖ࣖࡈ࡜ࡢᖹᆒ

0.12

0.18

4.5

0.16

4.0

10

0.10

0.14

3.5

0.12

0.08

3.0

8

0.10

2.5

6

0.10

0.15

0.20

0.25



2.0

4

0.08

0.10

0.12



0.14

0.16

1.5
0.10

2

0.12

1.0

࣮ࣞࢺᖏ

1200

0
0
0
0
-160 600-180 800-200
1400
1
1

-140

0.09

㈇ࡅࡓᑐᒁࡢ୰ኸ್

00
00-160 600-180 800-200
1400
1
1

-140

1200

࣮ࣞࢺᖏ

0.08

0.10

図 1: 1 局あたりの悪手数の平均と標準偏差

0.07

0.08

0.06

0.05

0.06
0.04

レート帯が上がっていくごとに悪手数の平均と標準偏差຾ࡗࡓᑐᒁࡢ୰ኸ್

0.06

がともに下がっていることがわかる．これは，強いプレイ

0.08

0.10

0.12

0.04

຾ࡗࡓᑐᒁࡢ୰ኸ್
0.06

0.08

0.10

ヤほど悪手の数は減っていき，1 局 1 局における悪手の数

図 2: 勝った対局/負けた対局の手の悪さの中央値のプロッのばらつきも小さくなることがわかる．

ト

しかし，悪手数は対局の結果に影響を及ぼし，勝った対局では少なく，負けた対局では多くなると推測できる．そているのか調べることにした．
ここでは，悪手数をそのまま使わず，一局の（そのプレイヤの）全ての手の悪手確率の平均値を用いることにする．

0.2 という閾値を用いて 2 値分類するよりも，確率の平均値をとる方がより正確に傾向を得られると考えることと，平
均値は試合の長さに影響されないことがその理由である．

1200-1400
1400-1600
1600-1800
1800-2000

4ࣉࣞ࢖ࣖࡈ࡜ࡢᖹᆒ

こで，勝った対局と負けた対局で，悪い手をどの程度打っ

3
2
1

プレイヤごとに，勝った対局/負けた対局それぞれの悪0

手確率の平均値を求め，その中央値を取る．平均値ではな

group1 group2 group3 group4 group5ᝏᡭࡢࢢ࣮ࣝࣉ

く中央値としたのは，例えば死活の放置やシチョウの無駄
追い・無駄逃げ出しなど，「一つの勘違いが，複数手にわた

図 3: 1 局あたりの各グループの悪手数の平均

る」場合に悪手数が過大評価されることがあり，それを排除したいためである．

の平均が下がっていることがわかる．これは，強いプレイ

図 2 では，プレイヤごとの勝った対局/負けた対局それ
ぞれの手の悪さの中央値をプロットしたものである．

ヤはどのグループの悪手においても数が減っていくことがわかる．また，全体的に数が少ないグループ 5 を除い

どのレート帯でも，多くのプレイヤが図の左上に分布して，グループごとにいくつか傾向が表れた．グループ 1 とている．つまり，勝った対局のほうが負けた対局よりも手

2 は，レートが上がるにつれて数が大幅に減少しており，の悪さが小さいことがわかる．

レート帯ごとの箱ひげ図の重なっている部分が少ない．特なお，図 2 によって対局の勝敗が悪手に影響することがにグループ 1 については，プレイヤ間でのばらつきが小さ分かったが，本論文では勝敗を考慮せずに分析を行っていい．これは，強さに応じて順当に改善される傾向があるとる．勝敗による影響を取り除いた分析については発表までわかる．一方で，グループ 3 と 4 は，グループ 1 と 2 にに行う予定である．

比べて減少が緩やかであり，レート帯ごとの箱ひげ図の重4.3.2 1 局あたりの各グループの悪手数なっている部分が多い．特にグループ 3 については，プレそれぞれのレート帯における 1 局あたりの悪手数の関係

イヤ間でのばらつきが大きい．これは，弱くても理解できを図 3 に示す．プレイヤごとに各グループの悪手数の平均ているプレイヤや強くても理解できていないプレイヤが他（各プレイヤの 20 局の各グループの悪手数の平均）を計算のグループに比べて多いことがわかる．

し，レート帯ごとに 30 人の分布を箱ひげ図によって表したものである．

て傾向が異なる．ここでは，例として 3 人のプレイヤ A

どのグループでも，レートがあがっていくごとに悪手数©2023 Information Processing Society of Japan

また，各グループの悪手数についてはプレイヤによっ（1200-1400）,B（1400-1600）,C（1200-1400）の各グルー— 171 —

The 28th Game Programming Workshop 2023

プの悪手数を図 4 に表す．ここでは，プレイヤごとに 20

3.5

4.0
3.0

3.5

SOD\HU$SOD\HU%

10

SOD\HU&

10

10

8

8

6

6

1.5

4

4

4

1.0

2

2

2

ᝏᡭࡢࢢ࣮ࣝࣉ

p1
p2
p3
p4
p5
grou grou grou grou grouᝏᡭࡢࢢ࣮ࣝࣉ

0

1.5

2.0

6

0

2.0

2.5

8

p1
p2
p3
p4
p5
grou grou grou grou grou

2.5

3.0

1.0

1

2

ᝏᡭࡢࢢ࣮ࣝࣉ



4

5

1

2

3

4



┦㛵ಀᩘ㸸

3.5

p1
p2
p3
p4
p5
grou grou grou grou grou3┦㛵ಀᩘ㸸

ࢢ࣮ࣝࣉࡢᝏᡭᩘࡢᖹᆒ

ᝏᡭᩘ

┦㛵ಀᩘ㸸

4.0

4.5

ある．

0



4.5

ࢢ࣮ࣝࣉࡢᝏᡭᩘࡢᖹᆒ

局の各グループの悪手数を箱ひげ図によって表したもので┦㛵ಀᩘ㸸

5.0

3.0

2.0

2.5

図 4: ある 3 プレイヤの各グループの悪手数

1.5

2.0

1.0

1.5

プレイヤ A は，グループ 1 と 2 は図 3 と似た傾向である

1.0

が，グループ 3 と 4 は数が少ない．プレイヤ B は，グルー

0.5

0.5

ࢢ࣮ࣝࣉࡢᝏᡭᩘࡢᖹᆒ
1

プ 1 と 3 は図 3 と似た傾向であるが，グループ 2 と 4 は数

2ࢢ࣮ࣝࣉࡢᝏᡭᩘࡢᖹᆒ

3

0.5

1.0

1.5

2.0

図 6: グループ 2-グループ 3 の悪手数のプロットが少ない．プレイヤ C は，グループ 1,2,3 は図 3 と似た傾向であるが，グループ 4 の数が多い．このように，レート
帯ごとの傾向とは別で，プレイヤごとに悪手について個性

イヤごとにばらつきがあるが，強いプレイヤほどグループがあることがわかる．

1 とグループ 3 どちらも苦手であることが多いとわかる．
グループ 2 とグループ 3 について，1400-1600 と 1600-

次に，以下の 2 つの組み合わせについて，プレイヤごと

1800 での相関が強い．これは，中級者はグループ 2 とグに悪手の傾向が異なるのかを確認した．

• グループ 1 とグループ 3

ループ 3 どちらか一方が苦手であることが多いことがわか• グループ 2 とグループ 3

る．一方で，1200-1400 と 1800-2000 での相関は弱い．弱

図 5 はグループ 1 とグループ 3 の，図 6 はグループ 2 といプレイヤはプレイヤごとのばらつきが大きく，強いプレグループ 3 の悪手数の平均をプロットしたものである．図イヤはグループ 3 の悪手がグループ 1 よりも多いことがわの右上には，プレイヤごとの各グループの悪手数の平均にかる．

ついての相関係数を表す．

4.3.3 1 局あたりの段階ごとの悪手数

┦㛵ಀᩘ㸸

手数の関係を図 7 に表す．ここでは，序盤（5 手目-36 手┦㛵ಀᩘ㸸

4.5

ࢢ࣮ࣝࣉࡢᝏᡭᩘࡢᖹᆒ

5.0

それぞれのレート帯における 1 局あたりの段階ごとの悪目），中盤（37 手目-68 手目），終盤（69 手目-100 手目）の 3

4.0

4.5

つに分けた．プレイヤごとに段階ごとの悪手数の平均（各

3.5

4.0
3.5

プレイヤの 20 局の段階ごとの悪手数の平均）と標準偏差

3.0

3.0
2.5

（各プレイヤの 20 局の段階ごとの悪手数のばらつき）を計

2.5
2.0

算し，レート帯ごとに 30 人の分布を箱ひげ図によって表

2.0
1.5

1.5

したものである．

1.0
3

4

5

2

┦㛵ಀᩘ㸸

3.0

4

┦㛵ಀᩘ㸸

2.25

ࢢ࣮ࣝࣉࡢᝏᡭᩘࡢᖹᆒ

3.5

3

5

2.00

2.5

4

1.75

2.5
1.50

2.0

3.0

6

ࣉࣞ࢖ࣖࡈ࡜ࡢᶆ‽೫ᕪ

2ࣉࣞ࢖ࣖࡈ࡜ࡢᖹᆒ

1

2.0

3

1.25

1.5

2

1.00

1.5

0.50

1.0
1.0

ࢢ࣮ࣝࣉࡢᝏᡭᩘࡢᖹᆒ
1.5

2.0

2.5

3.0

3.5

1.0

1

0.75

0
0.5

ࢢ࣮ࣝࣉࡢᝏᡭᩘࡢᖹᆒ
1.0

1.5

2.0

ᗎ┙
1200-1400
1400-1600

୰┙

ẁ㝵

⤊┙

0.5

ᗎ┙

୰┙

ẁ㝵

⤊┙

1600-1800

図 5: グループ 1-グループ 3 の悪手数のプロット

1800-2000

図 7: 1 局あたりの段階ごとの悪手数の平均と標準偏差グループ 1 とグループ 3 について，レートが上がるにつれて相関が強くなっていく．これは，弱いプレイヤはプレ©2023 Information Processing Society of Japan— 172 —

どの段階でも，レートが上がっていくごとに悪手数の平The 28th Game Programming Workshop 2023

均が下がっていることがわかる．しかし，悪手数の標準偏( 1 ) プ レ イ ヤ の 各 着 手 に 対 し て ，prior KataGo と差についてみると，終盤においてはどのレート帯でもばprior Human の積を求める．
( 2 ) 1 局すべての着手に対する上記の幾何平均をとる

らつきが大きい．これは，対局が終盤までいったかいかな
かったかによって悪手の数が変わっており，ばらつきが大ことで手の筋の良さを求めた．

• 接戦時の平均損失きくなっていると推測できる．
次に，序盤と中盤について，プレイヤごとに悪手の傾向

ここでは，接戦時における平均損失を求める．接戦時が異なるのかを確認した．図 8 は，プレイヤごとの序盤とのみを調べる理由としては，負けているときには勝負

中盤の悪手数の平均をプロットしたものである．図の左上をする手，勝っているときには安全な手を打つことかには，プレイヤごとの序盤と中盤の悪手数の平均について

ら，損失に強い傾向が表れないと考えたためである．

の相関係数を表す．

山下 [9] の手法を参考に，着手前の予測地合い差が-10
目から 10 目の局面における平均損失を求めた．ここ

7┦㛵ಀᩘ㸸

5.0

で，平均損失は以下の式で表される．

┦㛵ಀᩘ㸸

(平均損失) =4.5

୰┙ࡢᝏᡭࡢᖹᆒ

6

Σ(KataGo の最善手との予測地合い差の差分)(分析対象となる局面)

4.0

5
3.5

5.2 結果3.0

5.2.1 プレイヤごとの手の筋の良さ

4

3

3

4

5



6

7

3

┦㛵ಀᩘ㸸

4に表す．プレイヤごとに平均（各プレイヤの 20 局の手の5

筋の良さの平均）と標準偏差（各プレイヤの 20 局の接戦┦㛵ಀᩘ㸸

時の手の筋の良さの標準偏差）を計算し，レート帯ごとに2.5୰┙ࡢᝏᡭࡢᖹᆒ

3.5

30 人分の分布を箱ひげ図によって表したものである．

2.0

3.0

2.5

1.5

0.020

0.025

ࣉࣞ࢖ࣖࡈ࡜ࡢᖹᆒ

2.0
1.0

0.020

1.5

ᗎ┙ࡢᝏᡭࡢᖹᆒ

2

3

4

ࣉࣞ࢖ࣖࡈ࡜ࡢᶆ‽೫ᕪ

4.0

それぞれのレート帯における手の筋の良さの関係を図 9

2.5

1.0

ᗎ┙ࡢᝏᡭࡢᖹᆒ
1.5

2.0

0.015

0.015

2.5

0.010

0.010

図 8: 序盤-中盤の悪手数のプロット

0.005

0.005

0.000

0.000

0
0
0
0
-160
-180
-200
1400
1600
1800

-140

1200

レートが上がるにつれて相関係数が小さくなっていくこ࣮ࣞࢺᖏ

0
0
0
0
-160
-180
-200
1400
1600
1800

-140

1200

࣮ࣞࢺᖏ

図 9: プレイヤごとの手の筋の良さの平均と標準偏差とがわかる．これは，弱いプレイヤは序盤に悪手が多いとそのまま中盤を悪手が多くなってしまうが，強くなるにつれてプレイヤごとにばらつくようになり，プレイヤによって悪手の傾向が異なることが推測できる．

レート帯ごとに分布が分かれており，レートが上がっていくごとに手の筋の良さの平均と標準偏差がともに上がっていることがわかる．これは，弱いプレイヤは 1 局を通し

5. 1 局あたりの特徴量を用いた弱点分析て筋の悪い手が多いが，強いプレイヤほど筋の良い手が増

ここでは，棋譜に対して 1 局あたりの特徴量を作成し，えてきていることがわかる．
手の筋の良さについても，対局の結果に影響を及ぼすと棋力帯ごとの特徴量の傾向を分析する．使用データについ推測できる．図 10 では，勝った対局/負けた対局それぞれては，4 章と同様である．

の手の筋の良さの中央値をプロットしたものである．
どのレート帯でも，多くのプレイヤが図に右下に分布し5.1 方法
各局面を Katago と LeelaZero を使って解析し，1 局あてる．つまり，勝った対局のほうが負けた対局よりも手のたりの特徴量を作成した．本論文では以下の特徴量につい筋が良いことがわかる．これは，prior KataGo がほとんどて扱う．

「手の良さ」を表していることからも自然な傾向といえる．

• 手の筋の良さ

5.2.2 プレイヤごとの接戦時の平均損失

小 川 ら [5] の 手 法 を 参 考 に ，prior KataGo とそれぞれのレート帯における接戦時の平均損失の関係を

prior Human の積をとることによって求めた．手順

図 11 に表す．プレイヤごとに平均（各プレイヤの 20 局のは以下のとおりである．

接戦時の平均損失の平均）と標準偏差（各プレイヤの 20 局

©2023 Information Processing Society of Japan— 173 —

The 28th Game Programming Workshop 2023

0.014

一方で，強さやプレイヤによって傾向が分かれたものも0.02250.012

あるグループ 3 の悪手については，弱くても対処できてい㈇ࡅࡓᑐᒁࡢ୰ኸ್

0.0200るプレイヤがいれば，強くても対処できていないプレイヤ

0.01750.010

0.01500.008が存在した．各グループの悪手の関係については，中級者

0.01250.006

はグループ 2 とグループ 3 のどちらか一方を苦手とする傾

0.01000.004

0.00750.002

向がみられた．

0.0050

今回は，悪手の勝敗による影響を考慮せずに分析を行っ0.00250.00250.00500.00750.01000.0125

0.005

0.010

0.015

0.020

た．発表までに勝敗による影響を取り除いた分析を行う予

定である．また，今回得られた結果をもとに指導へ役立て

0.030
0.035

る方法を検討していきたい．例えば，今回得られたレート

㈇ࡅࡓᑐᒁࡢ୰ኸ್

0.025
0.030

0.020

帯ごとのいくつかの指標の平均値を使って，自分と各指標0.025の平均値との差を示すことで，「あなたにはこういった傾向

0.020

0.015

があるため，こういったことに気を付けましょう」といっ

0.015

0.010

0.010

たような指導の指針を作る，といったことが考えられるだ

0.005
0.005

຾ࡗࡓᑐᒁࡢ୰ኸ್

0.010

0.015

0.020

0.025

0.030

0.01

຾ࡗࡓᑐᒁࡢ୰ኸ್
0.02

0.03

ろう．

図 10: 勝った対局/負けた対局の手の筋の良さの中央値のプロット

謝辞
本研究は，JSPS 科研費 JP23K17021 と JP23K11381 のの接戦時の平均損失の標準偏差）を計算し，レート帯ごと助成を受けたものです．

に 30 人分の分布を箱ひげ図によって表したものである．
参考文献
2.5

[1]

ࣉࣞ࢖ࣖࡈ࡜ࡢᖹᆒ

ࣉࣞ࢖ࣖࡈ࡜ࡢᶆ‽೫ᕪ

4.0
3.5

2.0

3.0

[2]

1.5

2.5
2.0

[3]

1.0

1.5
1.0

0.5

0
0
0
0
-140 400-160 600-180 800-200
1
1
1

1200

࣮ࣞࢺᖏ

000400-160 600-180 800-200
1400
1
1

-1
1200

࣮ࣞࢺᖏ

[4]

図 11: 接戦時の平均損失の平均と標準偏差レートが上がっていくごとに接戦時の平均損失の平均と[5]標準偏差がともに下がっていくことがわかる．
ここで，4.3.1 の悪手数（図 1）と 5.2.1 の手の筋の良さ（図 9），5.2.2 の接戦時の平均損失（図 11）の結果を比べる[6]と，レート帯ごとの四分位ボックスの重なり具合が，接戦時の平均損失，手の筋の良さ，悪手数の順で小さくなっている．これは，悪手の数がプレイヤの強さを予測するのに最も適しているということがわかる．

[7]

6. 結論と今後の展望[8]

本論文では，悪手や 1 局あたりの特徴量を用いて棋力の異なるプレイヤの傾向を分析した．
全体的な傾向としては，強いプレイヤほど悪手の数が減[9]り，筋の良い手が増え，接戦時に強くなることが分かった．
特に，グループ 1 の悪手については，強さに応じて順当に[10]改善される傾向がみられた．また，悪手数と手の筋の良さ，接戦時の平均損失を比べたときに，プレイヤの棋力と悪手数が最も強く関係していることがわかった．

©2023 Information Processing Society of Japan— 174 —

https://github.com/lightvector/KataGo, (ア ク セス：2023/10/15)
https://github.com/leela-zero/leela-zero, (ア ク
セス：2023/10/15)
Hayashita, M., Ikeda, K., Hsueh, C.H.: Factor analysis
for Go AI to produce good games. Tech. rep., Japan Advanced Institute of Science and Technology (mar 2023),
the 49th Meeting of the Game Informatics ResearchGroup
Ikeda, K., Viennot, S., Sato, N.: Detection and labelingof bad moves for coaching go. In: 2016 IEEE Conference on Computational Intelligence and Games (CIG).
pp. 1–8 (2016). DOI: 10.1109/CIG.2016.7860441
Ogawa, T., Hsueh, C.H., Ikeda, K.: Improving thehuman-likeness of game ai s moves by combining multiple prediction models (2023)
Silver, D., Huang, A., Maddison, C.J., Guez, A., Sifre,
L., Van Den Driessche, G., Schrittwieser, J., Antonoglou,
I., Panneershelvam, V., Lanctot, M., et al.: Mastering the game of go with deep neural networks and tree
search. nature 529(7587), 484–489 (2016)
Silver, D., Schrittwieser, J., Simonyan, K., Antonoglou,
I., Huang, A., Guez, A., Hubert, T., Baker, L., Lai, M.,
Bolton, A., et al.: Mastering the game of go without
human knowledge. nature 550(7676), 354–359 (2017)
小坂悠登, 伊藤毅志, et al.: 囲碁 ai を用いたプレイヤーの棋力推定. 研究報告ゲーム情報学 (GI) 2019(15), 1–7(2019)
山下, 宏.: 将棋名人のレーティングと棋譜分析. In: ゲー
ムプログラミングワークショップ 2014 論文集. vol. 2014,
pp. 9–16 (oct 2014)
山 中, 翠., ビ エ ノ, シ., 池 田, 心.: コ ン ピ ュ ー
タ 指 導 碁 の た め の 悪 手 解 説. 研 究 報 告 ゲ ー
ム 情 報 学（GI） 2016-GI-35(5),
1–8 (03 2016),
https://cir.nii.ac.jp/crid/1050845762468641792