A6-3

模倣学習エージェントによるゲーム戦略学習
Game Strategy Learning with Imitation Learning Agents植野 雅之*1, 高見 友幸 *1
UENO Masayuki*1, TAKAMI Tomoyuki*1*1
大阪電気通信大学 総合情報学部*1
Osaka Electro Communication University, Faculty of Informatics
Email: ueno@osakac.ac.jp
あらまし：人間の学習者がある状況のとき，どのような振る舞いをするかを機械学習させることにより，人間と同じように振る舞うエージェントとして利用することが可能である．このような模倣学習エージ
ェントは，様々な教育的な利用が考えられる．また，模倣学習エージェントがどのように盤面を評価しているかについて，XAI 技術を用いて可視化することにより，自分や他者が持つ戦略の学習に利用することができる．
キーワード：模倣学習エージェント，ゲーム戦略学習，XAI，局所説明

1.

序

本研究の構想では，機械学習を用いて，人間の学習者の振る舞いを模倣する能力を持つ教育エージェ
ント「模倣学習エージェント」（図１）を構築し，学習者にとって自分を振り返る教育的な意味での一種の「鏡」として機能させることを目指している．さらに模倣学習エージェントが持つ情報を抽出することにより，様々な支援が可能になる可能性がある．
相手が必要な学習，例えば，討論，外国語会話，スポーツなどの対戦，ボードゲームなどの対局，教師教育などの学習においては，このような教育エージ
ェントを用意することで，体験的・対話的な学習に用いることができると考えられる．
本研究では，将棋・リバーシなどの論理的ボードゲームの戦術・戦略的スキルの学習を扱う．

2.

棋譜からの学習による模倣学習エージェ
ントの構築

チェスや将棋における模倣学習については，(1)(2)などにあるように先行研究が存在する．技術的には大量のデータを必要とする深層学習において，敵対的 生 成 ネ ッ ト ワ ー ク （ Generative AdversarialNetwork：GAN）と呼ばれる技術を用いて，サンプルに類似する偽のデータを生成する生成ネットワー
クとその真偽を判定する判別ネットワークを競合させて学習をおこなうことで少数のサンプルからの学習を可能にしている．この棋譜の各手と生成ネットワークにより偽の手を生成したものを判別ネットワークによりその真偽を見分ける競合状態で両者のネットワークの学習を繰り返すことで実現している．
このような模倣学習は，逆強化学習という形でも研究が進められている．

3.

説明可能な AI による支援

説明可能な AI(XAI: eXplainable AI)は，機械学習などによって学習した内容を説明することを可能にする技術である．
「説明」の方式としては様々なものが考えられるが，ここでは特に関連する局所説明（Local Explanations）を取り扱う．局所説明は，個々の予測結果の判断理由を理解することを目的とする説明で，与えられる一つ一つの事例に対する予測過程を説明するものである．例えば，画像認識においては，ある画像を認識したとき，その画像のどの部分が大きく影響したかなどを示すなどである．
具体的な XAI 技術の実装としては，LIME(LocalInterpretable Model-agnostic Explanations)(2) などが有名である．LIME は局所説明をおこなうためのモデ
ル不問型の実装で，説明対象データを摂動させて，近傍データを生成し，対象 AI に入力した結果をもとに解釈可能なモデルを獲得するという手法である．
例えば，画像などを対象にする場合には，画像をセグメントと呼ばれる領域に分割することで，各セグメントの寄与度を算出するといった処理をおこなうことで局所説明を生成することができる．
模倣学習エージェントが学習した内容に対してこのような説明可能な AI を適用することで非常に効果的な支援を行える可能性がある．例えば，ある盤

図 1 模倣学習エージェント― 231 ―

教育システム情報学会 JSiSE2023
第48回全国大会 2023/8/29-8/31

面状況に対して，ある手を指す場合，その局所説明を用いることで盤面のどの部分を気にしてその手を打ったのかなどを示すことが可能となる．図 3 のよ
うに盤面のどの部分に応答したかということを示すことができれば，他者から得た模倣学習エージェン
トとの比較といったことから事後での研究なども非常におこないやすくなる可能性がある．

結論と展望

リバーシゲームにおいて，棋譜を収集して，これから逆強化学習をおこなうことにより模倣学習エージェントを実装した．また，この模倣学習エージェ
ントが特定の盤面状況に対して，どのような評価をおこなっているかを可視化することができた．これ
により単に模倣学習エージェントとの自己対戦が可能になるだけでなく，自分がどのような盤面に対してどのように評価するかという「戦略」について，可視化がおこなえるようになった．これは，自分の戦略というこれまで不可視であったものを可視化する手段として AI 技術を利用するということである．
この可視化により自分の対戦を振り返る場合でも，より深い意味で評価し，内省をおこなうことが可能になった．これは AI 技術の新たな教育的利用の方法といえるのではないだろうか．
謝辞
本研究は JSPS 科研費 JP19K12260 の助成を受けたものです．

図 2 戦略の可視化による支援

4.

5.

模倣学習エージェントの構築と LIME の適用結果

模倣学習エージェントの構築では，被験者との対戦結果の棋譜を蓄積し，逆強化学習アルゴリズム
GAIL により模倣学習をおこなった．この模倣学習エージェントに対してモデル不問型で局所説明を得ることができる XAI 技術である LIME アルゴリズムを，図 5 左の盤面状態の白手番で F6 に打つ場合に適用したところ，図 5 右の局所説明が得られた（盤面情報はデジタルだが，これを画像として扱って入力している）．なお，図上で赤がプラスの影響がある部分，青がマイナスの影響がある部分となっている．

図 3 模倣学習エージェントの構築

参考文献(1) Chidambaram, M. and Qi, Y.: Style Transfer Generative
Adversarial Networks: Learning to Play Chess Differently,arXiv preprint arXiv:1702.06762 (2017).
(2) Shanchuan Wan and Tomoyuki Kaneko. Style Transfer inPlaying Shogi Based on Generative Adversarial Networks.
GPW 2017, pp. 138-143(2017)(3) 植野，和田，高見，模倣学習エージェントからの説明
可能な AI 技術による支援機能の可能性，ゲーム学会
第 20 回全国大会論文集,2021(4) 植野，高見，模倣学習エージェントの性能評価について，ゲーム学会第 21 回研究報告,2022(5) Ueno,M., Wada,S., Takami T., The Education
Environment for Strategy using the Imitation Learning
Agent that Mimics the Behavior of Human Player , Proc.
of 2019 IEEE 8th Global Conference on Consumer
Electronics (GCCE) ,DOI: 10.1109/GCCE46687.2019.9015289(6) Ueno,M., Wada,S., Takami T., A Virtual Play Environment
and Game Strategy Analysis System Using Imitation
Learning Agents, Proc. of 2020 IEEE 9th Global
Conference on Consumer Electronics (GCCE) ,DOI: 10.1109/GCCE50665.2020.9291746(7) Ueno,M., Takami T., Construction of an Imitation
Learning Agent Using Game Records of UnspecifiedPlayers, Proc. of 2021 IEEE 10th Global Conference onConsumer Electronics (GCCE) ,DOI: 10.1109/GCCE53005.2021.9622055(8) Ueno,M., Takami T., Learning Support by Visualizing
Game Strategies From Imitation Learning Agents, Proc. of2022 IEEE 11th Global Conference on Consumer
Electronics (GCCE) ,DOI: 10.1109/GCCE56475.2022.10014419

図 4 盤面状態（左）と F6 に打つ場合の局所説明（右）― 232 ―