JAIST Repository
https://dspace.jaist.ac.jp/

Title

不完全情報同時手番ゲームにおいて人間のような読み合いを演出するAIプレイヤ

Author(s)小西, 健太郎; シュエ, ジュウシュエン; 池田,心

Citation

情報処理学会 第49回GI研究発表会, 2023‑3

Issue Date

2023‑03‑17

Type

Conference Paper

Text version

publisher

URL

http://hdl.handle.net/10119/18226

Rights社団法人 情報処理学会, 小西 健太郎, シュエ ジュウシュエン, 池田 心, 情報処理学会 第49回
GI研究発表会, 2023‑3, 2023. ここに掲載した著作物の利用に関する注意 本著作物の著作権は情報処理学会に帰属します。本著作物は著作権者である情報処理学会の許可のもとに掲載するものです。ご利用に当たっては「著作権法」ならびに「情報処理学会倫理綱領」に従うことをお願いいたします。Notice for the use of this material:
The copyright of this material is retained by
the Information Processing Society of Japan(IPSJ). This material is published on thisweb site with the agreement of the author (s)and the IPSJ. Please be complied with
Copyright Law of Japan and the Code of Ethicsof the IPSJ if any users wish to reproduce,
make derivative work, distribute or makeavailable to the public any part or whole
thereof. All Rights Reserved, Copyright (C)Information Processing Society of Japan.

Description

情報処理学会 第49回GI研究発表会, 2023‑3, 明治
大学

Japan Advanced Institute of Science and Technology

Vol.2023-GI-49 No.4
2023/3/17

情報処理学会研究報告
IPSJ SIG Technical Report

不完全情報同時手番ゲームにおいて人間のような読み合いを演出する AI プレイヤ
小西 健太郎1,a)

池田 心1,b)

シュエ ジュウ シュエン1,c)

概要：不完全情報ゲームにおいて，人間プレイヤがナッシュ均衡戦略を計算することは現実的に難しいため，予測される相手の情報や行動に対してアドバンテージを得られる行動を選択する「読み」を用いて意思決定を行う場合がある．人間プレイヤ同士が読みの思考に基づいて意思決定を行う場合や，相手が読んでくることを考慮して意思決定を行う「読み合い」は，一部のゲームでは主流な意思決定方法の 1 つであり，この特有の駆け引きはゲームを楽しむ上で重要な要素の 1 つといえる．本研究では，ポケモンバトルを簡略化したゲーム上で，人間のような読み合いを演出する AI プレイヤを提案した．読み合い演出の前提として，人間が自然に感じやすい着手戦略である，δ-ナッシュ均衡戦略というノイズを加えた利得行列を用いる手法の有効性を示した．また，δ-ナッシュ均衡戦略に人間プレイヤのような癖や傾向をバイアスとして付与し，多様な着手戦略が得られることを確認した．さらに，人間の読みを模倣した着手として，
相手モデリングによって次の行動を予測し，搾取戦略を生成する手法についてアプローチを示した．
キーワード：同時手番ゲーム，ポケモン，読み合い，ナッシュ均衡戦略

1. はじめにつといえる．
人間の「読み」の思考に近い手法としては，相手プレイ

近年，人工知能技術（AI）は急速に発達しており，囲碁

ヤをモデリングすることで，次の行動などを予測する相手における AlphaGo[1] をはじめとして，様々なゲームで AI

モデルが研究されている．しかし，「読み合い」の駆け引き

プレイヤが人間のトッププレイヤ以上の水準に到達しつつに着目した AI プレイヤは少なく，人間プレイヤの対戦相ある．そのため，新たな方向性として，「楽しませる」「教

手として読み合いの駆け引きを演出することは難しい．こえる」など AI プレイヤに強い対戦相手以外の多様な用途の点は一部の不完全情報ゲームにおける AI プレイヤの課を持たせる研究 [2], [3] が盛んに行われているものの，課題

題の 1 つだと考える．

もまだ多い．

そこで，本研究では不完全情報ゲームの一種である同時プレイヤが一部の情報を正確に把握できない不完全情報

手番ゲームにおいて，AI プレイヤに人間のような読み合

ゲームには，「付け込まれない戦略」であるナッシュ均衡戦

いを演出させる手法の確立を目的とする．読み合いを演出

略が存在するが，複雑なゲームで人間プレイヤがこの戦略する手法として，対象ゲームにおいて人間が自然に感じるを求めることは現実的に難しい．そのため人間プレイヤは，着手戦略を生成し，人間のような癖や傾向を持つ着手，人相手の情報や行動を予測し，予測に対してアドバンテージ

間の読みを模倣する着手を行うことで実現を目指す．

を得られる行動を選択する「読み」を用いる場合がある．
人間同士が読みの思考に基づいて意思決定を行う場合や，

2. 関連研究

相手が読んでくることを考慮して意思決定を行う「読み合不完全情報ゲームにおいてナッシュ均衡戦略はゲームのい」は一部のゲームでは主流な意思決定方法の 1 つであり，解であるものの，複雑なゲームで均衡戦略を求めることは

この特有の駆け引きはゲームを楽しむ上で重要な要素の 1

容易ではない．複雑な不完全情報ゲームや一部のリアルタイムゲームにおいて，高い利得が得られる戦略を獲得する

1

a)
b)
c)

北陸先端科学技術大学院大学
Japan Advanced Institute of Science and Technology, Nomi,
Ishikawa 923-1211, Japans2110076@jaist.ac.jp
kokolo@jaist.ac.jp
hsuehch@jaist.ac.jpⓒ2023 Information Processing Society of Japan

手法として相手モデル (opponent model) がある．相手モデルは，相手プレイヤをモデリングすることで，相手の傾向から次の行動などを予測する手法である．

1

Vol.2023-GI-49 No.4
2023/3/17

情報処理学会研究報告
IPSJ SIG Technical Report

Van der Kleij は，ポーカーの 1 種である Texas Hold

( a ) ワザ (攻撃)：ワザは相手ポケモンに攻撃する行動

em においてプレイスタイルに基づいてプレイヤをクラスであり，タイプと威力の 2 種類のパラメータがタリングし，それぞれのクラスタに対応するモデルを用いある．威力は基本 2 ダメージだが，攻撃を受けるることでプレイヤの行動などを予測する手法を提案してい（ぼうぎょ）ポケモンのタイプと，ワザのタイプ

る [4]．

の相性関係によって威力が変化する．基本ダメー

また，Sato らは，格闘ゲームにおいて複数のルールベージに表 1 の倍率をかけた値が，最終的に相手に与スプレイヤを組み合わせ，相手に応じてプレイヤを切り替えるダメージになる．また，補正倍率が 1.5 のとえる手法を提案している [5]．この手法ではプレイヤの切き，さらに攻撃するポケモンとワザのタイプが一り替えを，与えたダメージと受けたダメージの差分を報酬致した場合には倍率が 2.0 となる．

( b ) 交換：交換は場に出ているポケモンと，控えの HPとする多腕バンディット問題と捉えることで，相手に有利

が 0 でないポケモンを入れ替える行動である．交な行動を取れるよう制御している．

換を行ったターンは，新たに場に出たポケモンは

3. 対象ゲーム

それ以上行動選択ができない．

人間プレイヤ間で読み合いが生じやすい同時手番ゲーム( 4 ) ゲームの進行：ゲームは以下に示す手順で進行される．

として代表的なものにポケモンバトルがある．最も一般的( a ) パーティーの決定：ゲームが開始するとプレイヤなシングルバトルルールでは，2 人のプレイヤが 1 匹ずつには表 2 に示す 2 種類のパーティーのうち，どち

場にポケモンを出し，1 ターンに一度，攻撃/交換などのコ

らかのパーティーがランダムに与えられる．プレマンド選択を同時手番で行う．また，ポケモンにはタイプ

イヤは相手のポケモンの種族と情報（HP，すばやと呼ばれる相性関係があり，人間プレイヤ間ではタイプ相

さ，ワザの種類）を確認することができる．

性をもとに相手プレイヤの行動を読み合う戦略は主流な意( b ) 場に出るポケモンの決定：ゲーム開始時にお互い

思決定方法である．

のパーティーから，それぞれ 1 匹ずつランダムに

しかし，ポケモンバトルはパーティーの作成やポケモン

選ばれたポケモンが場に出される．

の選出など多段階の要素で構成されていることや，ポケモ( c ) コマンド選択：各プレイヤは 1 ターンに一度，自ンの種類やワザ，ステータスなど高すぎる自由度や不確実分の場に出ているポケモンの持つワザ 3 種と，控性の問題から，ゲーム AI 研究において非常に難易度の高

えのポケモンへの交換 2 種の最大 5 種類の選択肢

い課題の 1 つといえる．そのため，本研究ではポケモンバ

から 1 つを同時に選択する．選択したコマンドのトルをもとにして，読み合いが生じるような本質は残しつ

実行は，交換，すばやさの高いポケモンのワザ，

つも，高度または些末な要素を取り除いた簡易版ポケモン

すばやさの低いポケモンのワザの順で処理されバトルを作成した．

る*1 ．また，選択したコマンドが実行される前に自分の場に出ているポケモンの HP が 0 になった

3.1 簡易版ポケモンバトル

場合には，選択していた行動はキャンセルされ，以下に簡易版ポケモンバトルの詳細なルールについて

まだ HP が 0 でないポケモンがいる場合，それら示す．

のポケモンからプレイヤが選択して場に出す．

( 1 ) 概要：簡易版ポケモンバトルは，お互いのプレイヤが( d ) 勝敗の判定：相手プレイヤのパーティーのポケモ

場に 1 匹ずつポケモンを出し，1 ターンに 1 度コマン

ンすべての HP を 0 にしたプレイヤの勝利となる．

ドを選択するシングルバトル形式である．

また，20 ターン目をむかえた時点でゲームの勝敗( 2 ) 用いることができるポケモン：簡易版ポケモンバトル

がついていない場合は，以下に示す順で勝敗を判で用いるポケモンは以下の要素で構成されている．

定する．

( a ) ステータス：ポケモンは HP，すばやさの 2 種類

( i ) 20 ターン目時点で，残りポケモン数（HP がのステータスを持つ．HP の最大値は 5, すばやさ

0 でないポケモン）が多いプレイヤの勝利との最大値は 10 となっている．

なる．

( b ) タイプ：ポケモンはほのお，みず，くさ，でんき( ii ) 残りポケモン数が同じ場合，残りポケモンのの 4 種類のタイプのいずれかをもつ．各タイプのHP 総数が大きいプレイヤの勝利となる．

相性関係は表 1 を参照．

( iii )HP 総数が同じ場合引き分けとなる．

( c ) ワザ：各ポケモンは 3 つのワザを持つ．ワザにはそれぞれタイプと威力が存在する．

( 3 ) ゲーム内で可能な行動：ゲーム内で選択可能なコマンドは以下の 2 種類である．
ⓒ2023 Information Processing Society of Japan*1

簡易版ポケモンバトルではすばやさが同じポケモンがいないよう
設定した．

2

Vol.2023-GI-49 No.4
2023/3/17

情報処理学会研究報告
IPSJ SIG Technical Report
表 1
こうげき

各タイプの相性関係と，ダメージの補正倍率
ぼうぎょ
ほのお
くさ
でんき
みず

のような体験によって「相手の行動を読んでアドバンテージを得ることができた」と思わせることができる
と考える．

ほのお

0.5

1.5

1.0

0.5

くさ

0.5

0.5

1.5

1.0

でんき

1.0

0.5

0.5

1.5

人間プレイヤは殆どの場合，着手に付け込まれる癖や

みず

1.5

1.0

0.5

0.5

傾向がある．そこで，相手プレイヤに付け入るような人間の読みを模倣した着手戦略

戦略を用いることで，人間プレイヤに「相手に自分の
表 2
パーティー

行動を読まれた」と思わせることができると考える．

パーティーの各パラメータ

パーティー 1

このように AI プレイヤ側が読みを模倣することで，パーティー 2

ポケモン

A

B

C

D

E

F

タイプ

くさ

みず

でんき

くさ

ほのお

でんき

HP

5

5

5

5

4

4

すばやさ
覚えるワザ

5

4

10

6

7

8

くさ

みず

でんき

くさ

ほのお

でんき

ほのお

ほのお

くさ

ほのお

みず

くさ

でんき

でんき

みず

でんき

くさ

みず

擬似的にお互いが「読み」の思考に基づいて意思決定を行う状態を表現する．

4.1 提案 AI プレイヤの概要
前述した提案手法を実際に実現する AI プレイヤの構成を図 1 に示す．提案 AI プレイヤは，標準着手生成部，人間的な癖を付与するバイアス着手生成機能，搾取戦略実施

4. 提案手法
不完全情報ゲームにおいて人間プレイヤが読み合いが起機能で構成される．以下，それぞれの機能について概要を説明する．

( 1 ) 標準着手生成部

きていることを感じ取る場面は実に様々ではあるが，代表標準着手生成部では，簡易版ポケモンバトルを対象と的な状況としては「相手の情報や行動を読んでアドバン

して，人間プレイヤが不自然に感じないような合理性テージを得ることができたとき」，「相手に自身の情報や行のある戦略を生成する．この戦略は，ナッシュ均衡戦

動を読まれたと思ったとき」の 2 つが挙げられる．そのた

略をベースにした混合戦略（確率分布）であるが，人め，対戦中にこのような体験をすることができれば人間プ

間プレイヤが不自然に感じない程度に実力を弱めに調レイヤは読み合いが起きていることを実感することがで整している．

きると考え，人間のような読み合いを演出する手法を検討した．

( 2 ) バイアス着手生成機能
バイアス着手生成機能では，標準着手生成部で生成し本研究では対戦中に前述のような状況をつくる手法とした戦略をもとにして，人間がもつような癖や傾向をバて，(1) 人間が自然に感じる着手戦略，(2) 人間的な癖や傾イアスとして付与した戦略を生成する．このバイアス向をもった着手戦略，(3) 人間の読みを模倣した着手戦略

は，AI プレイヤの選択時に決められ，数試合一貫してを提案する．以下，個別具体的に説明する．

用いる．

人間が自然に感じる着手戦略( 3 ) 搾取戦略実施機能

多くの人間プレイヤはゲームを楽しむという観点にお搾取戦略実施機能は，現在または過去のゲーム中においては相手に自分が意図を理解できない手や，悪手にける相手プレイヤの行動から，相手プレイヤをモデリ感じるような手を選択されることを嫌う．そのため，

ングし，次の行動を予測する相手モデルを持つ．相手

後述する 2 つの提案手法，特に癖や傾向をバイアスとモデルは，「交換を嫌う」，「相性の良い攻撃を好む」なして付与する元となる戦略として，人間が不自然に感ど既定の着手モデルを複数個持っており，相手のこれじない着手戦略の生成について取り組む．

までの行動に最も近い着手モデルが示す戦略を次の相

人間的な癖や傾向をもった着手戦略

手の着手とみなす．そして，予測される着手に対して人間プレイヤは，ゲームにおいて何らかの基本とする

アドバンテージを得られるような搾取戦略を生成する．

考えや，好みを持っており，これらの傾向はゲーム中に

ただし，搾取戦略は毎ターン行うわけではなく，モデ一貫して現れる場合が多い．また，人間がある意図をルの予測に用いる尤度の閾値などに応じて実施する．

持って選択した行動にはナッシュ均衡戦略と比較して何らかの偏りがあり付け込まれる隙が生じる．人間同士の対戦では，お互いにこの偏りから生じる隙を狙っ

5. 標準着手生成部
5.1 モンテカルロ法て読み合いになることも多い．このような読まれる可不完全情報ゲームは，αβ 探索などの従来のゲーム木探能性がある傾向や癖を持った着手戦略を用いて，隙を索で着手を決定する手法は効果的ではないため，標準着手つくることで人間プレイヤにあえて付け入らせる．こ戦略の一案としてモンテカルロ法をまず検討した．モンテⓒ2023 Information Processing Society of Japan3

Vol.2023-GI-49 No.4
2023/3/17

情報処理学会研究報告
IPSJ SIG Technical Report

図 1

読み合いを演出する AI プレイヤの構成

カルロ法は，ランダムシミュレーションによるプレイアウ待できる．以下，簡易版ポケモンバトルにおいてナッシュトを行うことで状態の良さを推定し，それに基づいて着手

均衡戦略を求める手法について述べる．

を決定する手法である．以下にモンテカルロ法の手順について示す．

5 × 5 の利得行列で表現できるゲームのナッシュ均衡戦
略は，各状態の勝率を求めることができれば線形計画法に• ある状態 si において次の行動を決める場合，自身の行よって求めることができる．本研究ではナッシュ均衡戦略

動の選択肢 5 通り (a1 , · · · , a5 ) と，相手の行動の選択を求めるにあたり，簡易版ポケモンバトルの状態数がそれ

肢 5 通り (b1 , · · · , b5 ) の組み合わせ計 25 通りについてほど多くないことや，同時手番以外の不完全情報性や不確ランダムシミュレーションを行う．

実性がないことを利用する．ゲームの全状態を数え，それ• 25 通りの組み合わせについて，それぞれ 20 回ずつ勝らの状態について最終ターンから後退解析によって状態を敗がつくまでシミュレーションを行う．現在の状態 s

評価することでナッシュ均衡戦略を計算した．以下に後退で行動の組 (a1 , b1 ) についてプレイアウトを行う場合，解析の手順を示す．

状態 s では (a1 , b1 ) を着手し，次状態以降ではそれぞれ( 1 ) 状態数の列挙の行動をランダムで決定しシミュレーションを行う．

まず，ゲームを解析する上で，各ターンにおけるゲー• それぞれの組み合わせについてプレイアウトの勝ち

ムの全状態を列挙する．簡易版ポケモンバトルの全数を用いて評価する．(ai , bj ) について規定回数の状態数は実際には到達しない状態なども含めるとプレイアウトを行ったときの勝ち数を eij とする．

66 × 32 × 20 = 8, 398, 080 である．

各着手の評価には，行動の組み合わせに対する評価( 2 ) 最終ターンにおける状態の評価(e11 , e12 , e13 , · · · , e55 ) までの値を用いる．モンテカル∑
ロ法の一般的な作法に従い，着手 ai の評価は j eij

簡易版ポケモンバトルではゲームが 20 ターン目を迎とする．

20 ターン目時点での状態について，勝ち：勝率 1.0，負• 各着手の評価をもとに，現在の状態での行動を決定する．

えると，必ず勝敗がつく仕様になっている．そのため，
け：勝率 0，引き分け：勝率 0.5 として，評価を行う．

( 3 ) 最終ターン以外の状態の評価

作成した原始モンテカルロプレイヤと，ランダムプレイ

状態 s で行動 (ai , bj ) を着手した場合の勝率について

ヤを 500 回対戦させ，その勝率によって性能を評価した．

は，遷移先の状態の評価を確認すれば確定的に求める

原始モンテカルロプレイヤは対ランダム：0.972 と十分な勝ことができる．そのため，状態 s における各行動の組率を示した．続いて，人間が対戦した場合に着手が自然かに対する勝率を最大 5 × 5 の利得行列で表すことができどうかについて調べた．複数回のテストプレイによって，る．この利得行列から，線形計画法によってナッシュ

一部の状態を過大・過小評価してしまうことや，相手が取均衡戦略を求める．状態 s におけるナッシュ均衡戦略

らないであろう行動のプレイアウト結果を高く評価してしを (pa1 , · · · , pa5 ), (pb1 , · · · , pb5 )，行動 (ai , bj ) によってまうことによる不自然な着手が見られた．

遷移した次状態の勝率を wij とすると状態 s における
真の勝率は5.2 後退解析によるナッシュ均衡戦略∑

i,j (wij · pai · pbj ) となる．

( 4 ) 各ターンにおける全状態の評価

モンテカルロプレイヤの改善案として，ナッシュ均衡戦

後退解析では，前述の評価方法を用いて最終 20 ター略を求めた．ナッシュ均衡戦略はゲームの解であり，付けンから 19 ターン目と順に各ターンにおけるすべての込まれない戦略であるため，人間が「ひどい手だ」という状態の評価を行う．双方がナッシュ均衡戦略を用いた意味で不自然に感じる着手を行う可能性を減らすことが期場合を真の勝率として，全状態の勝率を計算することⓒ2023 Information Processing Society of Japan4

Vol.2023-GI-49 No.4
2023/3/17

情報処理学会研究報告
IPSJ SIG Technical Reportができる．

( 5 ) ナッシュ均衡戦略の計算する手法として，以下に示す δ-ナッシュ均衡戦略を提案
する．δ-ナッシュ均衡戦略は，ノイズを付与した誤認知利

ゲームの全状態の勝率を計算することができれば，任得行列からナッシュ均衡戦略を求める手法である．δ-ナッ

意ターンの任意の状態において，利得行列を作成し，シュ均衡戦略を求める手順について以下に示す．

ナッシュ均衡戦略を計算できる*2 ．

• i 行 j 列の利得行列の要素 pij について，それぞれ一様

後退解析によってゲームの全状態について勝率による評

分布 (−δ, δ) などに従うノイズを付与する．ノイズを価を行うことで，ナッシュ均衡戦略に従う AI プレイヤ（以付与した利得行列から 5.2 節の手順 3 で用いた線形計

下，ナッシュプレイヤ）を作成した．
ナッシュプレイヤの強さを確認する上で，原始モンテ
カルロプレイヤおよびランダムプレイヤと 500 回の対戦画法による方法でナッシュ均衡戦略 N を計算する．

• 上記の試行を n 回行う．k 試行目のナッシュ均衡戦略∑
を Nk として，δ-ナッシュ均衡戦略 N ′ = k Nk /n をを行った．勝率は，対ランダム：0.968，対モンテカルロ：

求める．

0.720 となり，ナッシュプレイヤは，モンテカルロプレイ
ヤにも大きく勝ち越している．本質的にはナッシュ均衡戦

5.4 確率的な着手に関する評価

略は「付け込まれない戦略」であるが，一方でモンテカル

後退解析によって求めた勝率をそのまま用いたナッシュ

ロプレイヤには状態の過大評価・過小評価による不適切な

均衡戦略は，人間ならば選択してもおかしくない行動を着手があるため，このような結果になったと考える．

まったくとらないことがある．例えば，自分 2 行動，相手さらに，ナッシュプレイヤの着手について人間プレイヤ

1 行動に単純化した例で，真の勝率が 50%の手と 45%の手が自然に感じるかどうかについて評価を行った．著者が複があった場合，後者は絶対に選択されない．しかし，人間

数回のテストプレイを行った結果，ナッシュプレイヤの着にとっては真の勝率を正確に計算することは難しいことが手に不自然に感じる手は少なく，自然な着手の作成を行う多いため，実際には人間プレイヤが後者を選択してもおかことが可能になった．また，ナッシュプレイヤの行う確率

しくない．

的な着手によって，一定程度相手プレイヤに読まれたと感一方で δ-ナッシュプレイヤは，より人間に近い勝率評価

じるような体験を得ることができた．しかし，ナッシュプを行うため，このような人間であれば有力に見える着手のレイヤはゲームの解の 1 つであり，相手に付け入られない

確率を増加させることが期待できる．そこで，このような戦略であることから人間プレイヤの対戦相手としては強す

着手確率のバラつきについて検証を行った．

ぎるという問題が生じる．また，勝率を少しでも高くする

確率的な着手戦略を評価するため，簡易版ポケモンバト

ため，人間的には選択してもおかしくない行動を全く選択

ルの初期局面を用いる．簡易版ポケモンバトルは，プレイしない場合があるという課題も確認された．

ヤ間のパーティー入れ替えを加味しなければ，9 つの初期局面が存在する．これらの初期局面*3 においてノイズ δ を

5.3 δ-ナッシュ均衡戦略
ナッシュ均衡戦略を自然な着手に感じやすい理由として，変化させた場合の δ-ナッシュ均衡戦略を確認することで，着手戦略のバラつきを評価した．

相手に付け入られない性質が挙げられる．しかし，当然な

がら相手に付け入られない戦略に対しては人間プレイヤは

0.42


1.00

0.42


0.00
0.00

読みによるアドバンテージを得る戦略を考えることができないため，読み合いの演出に適しているとは言い難い．そこで，ナッシュ均衡戦略の性質をある程度維持しながら，強さを人間に近づける方法としてナッシュ均衡戦略を求め

0.54



0.00

0.42

0.08

0.59

1.00

0.08

0.00

0.42

0.22

0.09

0.00

0.16


0.38

0.25


0.02

0.00

0.01

0.16

0.17

(1)

る利得行列に，ノイズを付与する手法を提案する．人間プ

式 (1) はある初期局面における真の勝率による利得行列

レイヤは，5 × 5 通りの行動に対して，正確に利得を評価である．この利得行列から求めたナッシュプレイヤ，一様することは難しく，真の勝率が例えば 60%などの局面を人

分布 (−δ, δ) でノイズを付与した n = 10 の δ-ナッシュプ

間は 50%などに間違えてしまうことは多々ある．このようレイヤの着手戦略の組 (a1 , · · · , a5 ), (b1 , · · · , b5 ) を表 3 にな人間の不正確さを導入した誤認知利得行列からナッシュ示す．

均衡戦略を求めることで，ナッシュ均衡戦略の性質をある程度維持しながら，強さを調整することができる．
本研究では，ナッシュプレイヤの強さや着手戦略を調整

表 3 のナッシュ均衡戦略は，a, b の戦略ともに 2 つの行
動のみ確率的に着手する戦略になっている．一方で δ-ナッ
シュ均衡の着手戦略は δ = 0.05 でも 3 つ以上の行動を選択する可能性がある．人間的には選択してもおかしくない行*2

実際には step3,4 ですべての状態のナッシュ均衡戦略は求まっているが，本研究ではコンピュータのメモリ (RAM) を節約するた
めこのような実装とした．

ⓒ2023 Information Processing Society of Japan*3

この実験ではパーティー 2 の設定は表 2 のポケモン E, ポケモン
F の HP を 5 にした設定を用いた．

5

Vol.2023-GI-49 No.4
2023/3/17

情報処理学会研究報告
IPSJ SIG Technical Report
表 3なときよりも，互角に近いほうが，真の勝率を見誤る可能

初期局面における各プレイヤの着手戦略

δ

着手戦略の組み合わせ

0(0.00, 0.30, 0.70, 0.00, 0.00), (0.00, 0.19, 0.00, 0.81, 0.00)

0.05(0.00, 0.27, 0.52, 0.11, 0.09), (0.00, 0.18, 0.00, 0.80, 0.02)

0.1(0.01, 0.25, 0.39, 0.13, 0.22), (0.00, 0.18, 0.00, 0.76, 0.06)

真の勝率が 50% のときに勝率 60% と誤認することの方が0.2(0.08, 0.43, 0.35, 0.08, 0.06), (0.00, 0.19, 0.00, 0.74, 0.07)

多いのは人間プレイヤであれば自然といえる．

性が高いことを反映させたモデルである．例えば，真の勝
率が 0% のときに，勝率が 10% だと誤認することよりも，

δ 可変モデルはノイズが大きい場合には，弱くなりすぎ
動は δ が低い場合には選択確率が低いものの，δ が増加す
るにつれ，選択確率も増加している．また，一部の行動については δ が大きい場合でも着手確率が 0 になっており，
典型的な悪手については選択しないことが確認できる．検証では例示した局面以外のすべての初期局面についても同様の傾向を確認している．

る問題があるため，ノイズが比較的小さい場合には，より人間らしい勝率を求める上で有効だと考える．

5.5.3 着手の自然さと有望な設定
強さと着手の自然さに関する評価から有望な設定について考察する．まず，より人間に近い誤認知を表現できる点で δ 可変モデルは有望なモデルといえる．強さについて

以上の検証結果から δ-ナッシュプレイヤは，人間プレイ
ヤの誤認知を模倣することで，少し損する手を含んだ人間
らしい多様な着手を行うことができると考える．

は，δ = 0.05 のモデルはナッシュプレイヤとの差が小さい
ため，ノイズ δ は 0.1 から 0.2 が適切な範囲だと考える．
評価をまとめると，一様分布 (±δ(1 + 4p(1 − p)))，δ =0.1
から 0.2 が読み合いを演出する前提となる標準着手として5.5 プレイヤの強さと着手の自然さに関する評価

有望だと考える．ただし，人間プレイヤの実力に応じて，

δ-ナッシュ均衡戦略に従う δ-ナッシュプレイヤについて，
ノイズのサイズを変化させることで勝率を調整できるかにδ-ナッシュプレイヤの強さを調整する必要性もあるため，有望な設定はこの限りではない．

ついて評価実験を行った．また，付与するノイズの性質などを変更させることで勝率や着手戦略にどのような影響があるかについても検証を行った．

6. バイアス着手生成機能
バイアス着手生成機能では，5.3 節で述べた δ-ナッシュ

以下に示す 2 種類のノイズを付与した n = 10 の δ-ナッ

均衡戦略を求める際の利得行列の要素にバイアスを付与す

シュプレイヤについて，それぞれナッシュプレイヤと 500ることを提案する．ノイズを付与した利得 pδ に，さらにバ回対戦させ勝率を確認した．表 4 に対戦成績を示す*4 ．

• 一様分布 (−δ, δ)

イアスによる補正をかけた誤認知利得行列を作成する．この利得行列を用いて δ-ナッシュ均衡戦略を求めることで，• 一様分布 (±δ(1 + 4p(1 − p)))

人間のような癖や傾向を持った戦略を生成する．もとの勝率 pδ に対して，式 (2) に示す関数の出力 p′ を補正後の勝

表 4

ノイズの分布とパラメータごとの δ-ナッシュプレイヤの勝率率とした．なお，式中における α はその行動の組み合わせ

比較を選好するパラメータで，負ならば避けようとすること，
ノイズ δ

0

0.05

0.1

0.2

ナッシュ (δ = 0)

0.528

-

-

-

一様分布 (−δ, δ)

-

0.526

0.500

0.458

一様分布 (±δ(1 + 4p(1 − p)))

-

0.516

0.460

0.378

正ならば好むことを表す．

p′ = pδ + α(1 + 20pδ (1 − pδ ))(2)

この式では，pδ が 0 または 1 に近い場合は，pδ には小さ

5.5.1 ノイズサイズによる強さの調整

い変異（α 程度）しか与えられない．一方で，pδ が 0.5 にナッシュプレイヤとの対戦成績では，2 種類の分布とも近い場合には，pδ には大きい変異（6α 程度）が与えられノイズが大きくなるにつれ，勝率が下がっていることが確

る．はっきり負けや勝ちとなるような局面の評価はバイア認できる．δ-ナッシュプレイヤは，ナッシュプレイヤと比スであまり変わらないと考えるため，このような変異の差

較して強さを抑えることに成功しており，プレイヤの強さを与える式とした．

という観点では人間が自然に感じる着手の条件を満たしている．

5.5.2 ノイズ δ を変動させた際の比較
一様分布 (±δ(1 + 4p(1 − p))) は i 行 j 列の利得行列の要6.1 付与する 2 種類のバイアスとその結果
前節で提案した手法を用いて実際に人間プレイヤのような傾向や癖を付与し，その結果を検証する．AI プレイヤに素（勝率）p によって，ノイズのサイズが変動するモデル

実際に与えるバイアスを以下に示す．

（以下，δ 可変モデル）である．

攻撃/交換を好むバイアス

δ 可変モデルは，人間プレイヤの場合，真の勝率が極端*4比較実験に用いている seed 値の影響で短期的にナッシュプレイ
ヤに 50%以上の勝率を示すことがある．

ⓒ2023 Information Processing Society of Japan

簡易版ポケモンバトルの行動は攻撃と交換に分類できる．人間プレイヤの好みや性格，プレイスタイルに
よって攻撃/交換の選択比率が偏ることは十分に考え6

Vol.2023-GI-49 No.4
2023/3/17

情報処理学会研究報告
IPSJ SIG Technical Reportられるため，これらの選択肢すべてにバイアスを付与する．具体的には，攻撃を好むバイアスの場合，行動

ai が攻撃行動だった場合，pi1 , pi2 · · · , pi5 に (2) 式で正の α を用いて利得の補正を行う．
有効/非有効な攻撃を好むバイアス
簡易版ポケモンバトルの攻撃行動はダメージの補正倍率 1.5 倍以上の攻撃（以下，有効攻撃），補正倍率 1.0

図 2

各プレイヤの行動選択確率

図 3

各プレイヤの行動選択確率倍の攻撃（以下，普通攻撃），補正倍率 0.5 倍の攻撃
（以下，非有効攻撃）に分類できる．このバイアスでは，相手プレイヤが場に出しているポケモンに対して，
有効/非有効な攻撃行動に対してバイアスを付与する．
比較的素直なプレイヤや，安定思考のプレイヤは有効攻撃を好み，素直でないプレイヤや先読みが得意なプ
レイヤは非有効攻撃を好む傾向が想定される．

6.1.1 手法の有効性に関する評価提案したバイアスが有効であるかについて，評価実験を行った．誤認知利得に，更にバイアスによる補正をかけた利得行列からナッシュ均衡戦略を求めるプレイヤの 500 戦

表 5 各バイアスを付与した δ-ナッシュプレイヤの勝率
交換
有効攻撃
非有効攻撃
δ-ナッシュ
攻撃

0.456

0.470

0.456

0.484

0.436

分の対戦ログを分析することで，手法の有効性を検証した．
なお，検証時の各パラメータはノイズ δ = 0.05，α = 0.03とした*5 ．
図 2 に通常の δ-ナッシュプレイヤ，攻撃を好むバイアス

パラメータは δ = 0.05，α = 0.03 とした*5 ．
各バイアスを付与したプレイヤは，通常の δ-ナッシュプ
レイヤと比較しても，勝率の差は比較的小さいことがわを付与したプレイヤ，交換を好むバイアスを付与したプレ

かった．このことから，人間的な癖や傾向を付与した δ-

イヤの対戦ログの分析結果を示す．

ナッシュプレイヤは，δ-ナッシュ均衡戦略の性質を一定程

通常の δ-ナッシュプレイヤと攻撃を好むバイアスを付与度保持しているといえる．

したプレイヤをそれぞれ比較すると，攻撃バイアスプレイ

また，著者がテストプレイとして各バイアスを与えたプ

ヤの攻撃選択確率が 8%以上増加していることが確認でき

レイヤと複数回対戦することで挙動を観察した．テストプ

る．また，交換を好むバイアスを付与したプレイヤの着手

レイでは，攻撃を好むバイアスを与えたプレイヤであって分析結果と通常の δ-ナッシュプレイヤを比較すると，交換も，例えば初期局面でタイプ相性が不利な場合は交換を行選択確率が 15%以上増加している．

うなど，バイアスを与えた着手以外も状況に応じて用いる

次に，攻撃行動のうち有効な攻撃を好むバイアスを与えたプレイヤ，非有効な攻撃を好むバイアスを与えたプレイ
ヤの着手分析結果を図 3 に示す．

ことを確認した．

6.1.2 人間プレイヤの着手との比較
人間プレイヤ（著者）の着手分析結果との比較を行う．

通常の δ-ナッシュプレイヤと，有効な攻撃を好むバイア

図 4 に，ナッシュプレイヤ，人間プレイヤ（著者），有効

スを付与したプレイヤを比較すると，有効な攻撃を選択す

攻撃を好むバイアスを付与したプレイヤの着手分析結果をる確率は 26%以上と大幅に増加している．非有効な攻撃を示す．なお，図中の交換行動の選択確率は，場のポケモン

好むバイアスを付与したプレイヤについても，非有効な攻に対して有利なタイプのポケモンに交換する確率と，それ撃の選択確率が約 26%と大幅に増加している．

以外のポケモンに交換する確率を示している．

以上の結果から，定義したバイアスについて，それぞれ

人間プレイヤの着手には，攻撃や交換で場のポケモンに意図した行動の着手確率を増加させることができており，

対して有利になる行動を選択する傾向が見られる．しかし，人間プレイヤが持つような癖や傾向を表現することができナッシュプレイヤは，概ね均等に各攻撃行動や交換行動をたといえる．

選択しており，人間的な癖や傾向に近いとは言い難い．

さらに，人間のような癖や傾向を付与した δ-ナッシュプ

一方で，有効な攻撃を好むバイアスを付与したプレイヤ

レイヤの強さについても検証を行った．5.5 節の実験と同は，人間の攻撃行動の選択確率に近い分布となっており，様に，ナッシュプレイヤと 500 回対戦を行い，プレイヤの人間的な癖や傾向を表現できていることがわかる．各交換

勝率について確認した結果を表 5 に示す．なお，検証時の行動の選択確率に関しては，バイアスを与えていないため
ナッシュプレイヤの分布に近い分布になっており，意図し*5

ノイズの分布には，正規分布 (0, δ(1 + 4p(1 − p))) を用いた．

ⓒ2023 Information Processing Society of Japan

た結果になっているといえる．

7

Vol.2023-GI-49 No.4
2023/3/17

情報処理学会研究報告
IPSJ SIG Technical Report

高くなるモデル Nk∗ を求める．

• 現在の状態に対して，Nk∗ を用いて相手の行動確率分
布を得る．
次に，予測される行動に対する搾取戦略の生成方法についても説明する．相手の戦略が固定されている場合，相手の戦略に対する最適応答反応は多くの場合，ある行動を確率 1 で選択する純粋戦略になることが知られている．そのため，真の勝率による利得行列をもとに，自身の着手の中で最も勝率が高い行動を確率 1 で着手することで，相手の行動に対してアドバンテージを得ることができると考える．
このアプローチによって人間プレイヤのような「読み」を模倣する搾取戦略を強調することが可能だと考えたものの，評価実験によって有効性を示すまでには至らなかったため，搾取戦略実施機能の完全な実装とその評価について
は今後の展望とする．

8. おわりに本研究では，ポケモンバトルを簡略化した同時手番ゲー
ムを対象として，AI プレイヤに人間のような読み合いを演出させる手法の確立を目指した．読み合いを演出する手法では，人間が自然に感じる標準着手として，δ-ナッシュ
均衡戦略を生成し，この戦略に人間のような癖や傾向をバ
図 4

人間プレイヤとバイアスプレイヤの比較イアスとして付与する手法の有効性を示した．また，人間の読みを模倣した着手についても相手モデリングと搾取戦
略を組み合わせるアプローチを示した．
今後の展望として，提案した簡易版ポケモンバトル以外

7. 搾取戦略実施機能の同時手番ゲームや，隠れた情報がある不完全情報ゲーム
本章では，人間のような読みを模倣した着手を生成する
搾取戦略実施機能のアプローチについて述べる．
人間プレイヤが行う行動の読みは大きく分けて，次の相手プレイヤの行動予測と，予測される相手の行動に対してについても本研究の手法を応用し読み合い演出に適した多様な着手戦略を生成することが期待される．
謝辞 本研究は JSPS 科研費 JP20K12121 の助成を受けたものです．

アドバンテージを得る戦略を考えることの 2 つから成る．
本研究では前者を相手モデリングによる着手予測，後者については予測された行動に対して搾取戦略を用いることを
提案する．

参考文献
[1]

まず，相手モデリングによる着手予測に関するアプロー
チについて説明する．相手モデリングには，各バイアスを[2]付与したプレイヤによって多様な着手戦略を得られること[3]

を利用する．以下に相手モデリングによる着手予測の具体的な手順を示す．

• 現在または過去のゲームにおいて，各ターンごとに相[4]

手プレイヤの着手と，攻撃/交換/有効攻撃/非有効攻撃の各バイアス，バイアス定数 α, ノイズ δ をそれぞれパラメータとした δ-ナッシュ均衡戦略（の組）を保持する．

• 相手の行動履歴 ai (i = 1, · · · , n) について，k 番目の∏nδ-ナッシュ均衡戦略 Nk の尤度 Lk = i p(Nk |ai ) を[5]

Silver, D. et al.: Mastering the game of Go with deep neural networks and tree search, nature, Vol. 529, No. 7587,
pp. 484–489 (2016).
池田心： 楽しませる囲碁・将棋プログラミング，オペ
レーションズ・リサーチ: 経営の科学 (2013).
仲道隆史，伊藤毅志： プレイヤの技能に動的に合わせるシステムの提案と評価，情報処理学会論文誌， Vol. 57,
No. 11, pp. 2426–2435 (2016).
Van der Kleij, A.: Monte Carlo tree search and opponent modeling through player clustering in no-limit Texas
hold em poker，University of Groningen, The Netherlands (2010).
Sato, N., Temsiririrkkul, S., Sone, S. and Ikeda, K.: Adaptive ﬁghting game computer player by switching multiple
rule-based controllers, 2015 ACT-CSI, IEEE, pp. 52–59(2015).

それぞれ求める．k ∗ = arg max Lk として最も尤度がkⓒ2023 Information Processing Society of Japan

8