JAIST Repository
https://dspace.jaist.ac.jp/

Title

コンピューターゲームプレイヤにおける人間らしさの調査

Author(s)テンシリリックン, シラ; 高橋, 一幸; ナム, サンギ
ュ; 池田, 心Citation

情報処理学会研究報告. GI, 研究報告ゲーム情報学,
2018‑GI‑40(7): 1‑6

Issue Date

2018‑06‑22

Type

Journal Article

Text version

publisher

URL

http://hdl.handle.net/10119/16084

Rights社団法人 情報処理学会, テンシリリックン シラ，高橋 一幸，ナム サンギュ，池田 心, 情報処理学会研究報告. GI, 研究報告ゲーム情報学, 2018‑GI‑40(7),2018, 1‑6. ここに掲載した著作物の利用に関する注
意: 本著作物の著作権は（社）情報処理学会に帰属します。本著作物は著作権者である情報処理学会の許可のもとに掲載するものです。ご利用に当たっては「著作権法」ならびに「情報処理学会倫理綱領」に従うことをお願いいたします。 Notice for the use of thismaterial: The copyright of this material isretained by the Information Processing Society ofJapan (IPSJ). This material is published on thisweb site with the agreement of the author (s) andthe IPSJ. Please be complied with Copyright Law
of Japan and the Code of Ethics of the IPSJ if
any users wish to reproduce, make derivative
work, distribute or make available to the public
any part or whole thereof. All Rights Reserved,
Copyright (C) Information Processing Society ofJapan.

Description

Japan Advanced Institute of Science and Technology

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2018-GI-40 No.7
2018/6/30

コンピューターゲームプレイヤにおける人間らしさの調査
テンシリリックン シラ†1

高橋 一幸†2

ナム サンギュ†3

池田 心†4

概要：これまでのコンピュータゲームプレイヤ（ゲーム AI）における研究の多くは，“強さ”を目的として行われてきた．近年では，ゲーム AI は人間プレイヤの対戦相手として十分な強さに達しつつある一方，それ以外の部分，特に“人間らしい振る舞い”に関心が集まってきている．人間らしいゲーム AI の利用目的・着眼点・実現法は多岐にわたる．例えば利用目的では，対戦する人間プレイヤを楽しませたり観賞用の映像を作成する目的だけでなく，人間
プレイヤにとっての難易度を計測する目的，それを発展させステージを生成する目的などにも使われている．また着眼点もさまざまであり，人間の疲れ・見間違い・操作ミスなど身体的な部分に着目したもの，感情や認知バイアスな
ど心理的な部分に着目したもの，またそもそも「ゲームは勝つためではなく楽しむためにプレイする」などの人間の目的設定に着目したものなどが挙げられる．実現法についても各目的・着眼点ごとに複数ありえ，人間の挙動を学習データとして機械学習を用いるもの，疲れや見間違いなどを再現した環境下での学習を行うもの，など多様である．
近年のこれらの研究を体系的に俯瞰しておくことは価値があると考え，本稿では第一次の文献調査の結果をまとめたものを紹介する．
キーワード：コンピューターゲームプレイヤ，人間らしさ，コンテンツ生成，楽しませる

1. はじめにそこで本稿では，多岐にわたる研究群をいくつかの視点で分類し，重要と思われるものを代表例として示すことをこれまでのコンピュータゲームプレイヤ（ゲーム AI と試みる．これにより，この新しい方向性に取り組む本邦の呼ぶ）における研究の多くはその“強さ”を目的として行学生・研究者の調査を少しでも楽にしたいと考えている．

われ，また本邦においては多くの場合囲碁や将棋などのボ

正直なところ，現段階でのサーベイは全く不十分であり，ードゲームが対象となってきた．一定の強さは他のどのよ

論文の分類が不適当であるとか，重要な視点や，重要な論

うな目的のためにも基盤として必要な一方で，囲碁将棋な文が抜けているということもあるだろう．その意味では論どのいわば単純なゲームに対してもその強さは十分なもの

文という形式よりも wiki などを用いた編集と情報公開がではなかったためである．また，学術の世界ではルールの適切なのかもしれないが，まずこのような整理をしてみた

記述や結果の評価が容易な対象が好まれることも，この傾らどうかという問題提起として，本稿を記すことにする．

向の原因であろう．
10 年ほど前のボナンザ法やモンテカルロ木探索によるブレイクスルーを経て，現在は深層学習を用いることによ2. 研究の分類法

り，囲碁将棋を含む多くのゲームでゲーム AI の強さは人

例えばボードゲームにおける強さ向上のための研究であ間を越えるか，少なくとも大多数のプレイヤと対戦するにれば，「対象ゲームが何か」「良くしようとしているのが，十分な程度に至るようになっている．このため，強さに関評価関数なのか探索法なのか実装法なのか」「用いるのがどする研究とは別の方向性の研究，特に“人間らしい振る舞んな手法なのか」などで分類できるであろう．これらは着い”についての関心が高まってきている．

眼点や手法がさまざまである一方で，目的やそれが達成さ

この方向性での研究は，海外でより重点的に行われていれたかの評価法はさほど多様性を持たない．目的は多くのるように感じる．これは，海外ではボードゲームだけでは場合「十分な強さで人を楽しませる」「人より強くなって人なくビデオゲームも比較的早期からの研究対象となっておに教える・新戦法を発見する」などだろうし，評価も自己り，人間らしさの有無はターン制ゲームよりもリアルタイ

対戦や既存のプログラムとの対戦などを行えばよい場合がム制ゲームで目立つことが多いためであると考える．一方多いだろう．

で，“人間らしい振る舞い”に関する研究は，“強さ”に関一方で，“人間らしい振る舞い”に関する研究は，より広する研究に比べて幅が広いことも特徴である．強さが概ね

い利用目的や想定利用状況を持ち，そもそも“人間らしさ

一軸に評価できるものであることに比べ，人間らしさにはとは何か”という定義すら共通のものがないために評価法

多くの軸があり，限られた数の学会や論文のみを知っていもさまざまである点に注意したい．例えば，必ずしもゲー

ればよいという訳にはいかず，多くの学生・研究者が調査

ム AI が人間らしさを持つようにする研究ばかりでなく，に困難を覚えていると考える．

「ゲームの人間プレイヤの人間らしさを考慮した AI の利用」といったものまで含まれる．そこで本稿では，大きく†北陸先端科学技術大学院大学
Japan advanced institute of science and technology
1 temsiririrkkul@jaist.ac.jp
2 s1610110@jaist.ac.jp
3 howzen@jaist.ac.jp
4 kokolo@jaist.ac.jp

４つの枠「目的」「着眼点」「手法」「その他」を設け，そのⓒ 2018 Information Processing Society of Japan

1

それぞれの中で分類を行い，（代表的な論文とは言い難いものも含め）調査した論文を簡単に紹介することにする．

情報処理学会研究報告
IPSJ SIG Technical Report
３章では，目的に主眼をおいた，または目的が特徴的な

Vol.2018-GI-40 No.7
2018/6/30を狙っている．

研究を紹介する．
“人間らしい振る舞い”に関する研究で最

例えば[1]ではゲームのとある場面に対してゲーム AI のも分かりやすいのは，人間と対戦させるコンピュータプレ

行動が一定もしくは変化に乏しいと，人間は学習を繰り返

イヤを人間らしく振る舞わせることで，人間プレイヤの満すことでゲーム AI の行動を予測でき，ゲームの楽しさを

足度を向上させるものであろう．対戦相手（敵）の場合も損なうとして，RTS ゲームにおいて個性を持つゲーム AI

あれば，仲間（味方）であったり，村人や群衆のような中が提案された．

立の場合もあるかもしれない．単に“人間”らしいだけで[2]では，ゲーム AI の限定された行動は人間の楽しさになく，“ある有名プレイヤ”らしさが求められる場合もあり影響するとして，個性・感情・モチベーション・社会関係

う る ． さ ら に 他 の 目的 と して は ， 近 年 コ ン テ ンツ 生 成などの様々な要素を導入し，ゲームの楽しさと一体感を与（Procedural Content Generation, PCG）への応用が盛んであえられるゲーム AI が提案された．

るほか，人間を教育する目的，観戦用の動画を作成する目的，など幅広い．

[3]では，ゲームクリアのために最適化されたゲーム AIの行動は，人間が見ると機械らしく見えてしまうことがあ

４章では，「どの」人間らしさに着目するのかについて分

り，プレイヤと共に遊ぶ NPC の作成のためには，一緒に遊類を行う．人間と機械は言うまでもなく異なる存在であり，んでいるような感覚が必要であるとして，ゲーム AI に身また異なる点もさまざまである．人間はゲーム画面を正し

体的制約（ゆらぎ，反応の遅れ，疲れ）を導入することで，く認識できず，思考にぶれや読み抜けがあり，操作するた人間らしさを実現している．

めの手は誤動作を起こしやすくまた疲れやすい．人間は感[4]では，人はエラーをおかすものであり，ゲームにおい情に左右され，主目的とは異なる目的を目指してゲームをてそのエラーはドラマを生み，ゲームの面白さの一因とな行いうる．これらについて，いくつかのグループに分けて，るとしている．様々なゲーム AI との対戦において，面白

その着眼点を紹介する．

さを損なう一因として，「人間のような間違い」を持たない

５章では，どのような手法が使われているのかについて論じる．人を真似する際にすぐに思いつく方法としては人の行動履歴をそのまま似た状況で再現するとか，状況に対する行動を教師あり学習するなどがありうる．これらは古ことが一因だとして，将棋を対象に，ヒューマンエラーを分類し，モデルを提案している．
[35]では囲碁将棋について用いられている楽しませるた
めのさまざまな手法について概説している．

典的に“強くする”目的でも用いられてきた方法であるが，これらと少々趣が異なるものとして，[29]では仲間のコ

この他にも人間らしさを実現するための方法，あるいは「人ンピュータプレイヤへの満足度に着目したり，[30]ではゲ

間プレイヤの人間らしさを考慮する」ための方法はさまざームの裏方である乱数生成器に着目して，それぞれ人間をまにありうる．

楽しませることを目的としている．

これらの３つの枠いずれにも収めにくい論文もいくつも

これらの論文において，人間らしさを実現した目的はある．例えば「そもそも人間らしさとは何か」という定義“ゲームの面白さ向上”であったが，それぞれ「どのように関する研究であるとか，関連して「人間らしさはどう評な人間らしさに着目したか（着目点）」「どのように実現し価したらよいか」に関する論文などである．これらは３章

たか（手法）」という点は異なり，多種多様である．これらの最後に紹介する．

の詳細については４章・５章で後述する．

3. 人間らしさの利用目的

3.2 コンテンツ作成するための利用
ゲームには，基盤となるルールやシステムの他に，コン

本節では，人間らしい振る舞いをコンピュータプレイヤ

テンツと呼ばれるデータが必要である．このコンテンツとに模倣させる，あるいは人間プレイヤの人間らしい振る舞いう言葉の指す範囲は人々によって様々であるが，例えばいを考慮することをどのような“目的”に用いるかについゲームのマップの形状，追加の小さいルール，登場キャラて，さまざまなものを紹介する．これらは現時点で目につクタのステータスといったゲームプレイに強く関係する部

いたものの分類であって，目的がこれらに限られることを分から，キャラクタの見た目，マップの見た目（小物・テ

主張するものではない．

クスチャ等）など枝葉の部分まで含むことが多い．これら全ては人間のデザイナーが作成することができるものであ

3.1 ゲームの面白さの向上（人間を楽しませる）

るが，マップの自動作成などは Rogue 等の時代からしばし

これら人間らしい振る舞いに関する研究のうち，最も直ば試みられてきている．プレイヤを飽きさせないためにゲ接的なのは，「プレイ相手（敵・味方・中立）として，コンームのルールの更新やマップ・キャラクタ・シナリオ・イ

ピュータを人間のように振る舞わせる」ものだろう．多く

ベント等の追加は必須の作業になりつつあり，これをコンの研究で，それによりプレイヤの満足度を向上させることピュータに補助または代替させることが重要になっている．

ⓒ 2018 Information Processing Society of Japan2

情報処理学会研究報告
IPSJ SIG Technical Report
コンテンツの作成には，コンテンツが指すものに応じてさまざまな分野の技術，例えば自然言語処理，画像処理，

Vol.2018-GI-40 No.7
2018/6/30

e-sports の観戦用動画をコンピュータプレイヤ同士戦わせることで作成しようとしている．

音声処理などが必要になる．本ゲーム情報学研究会に強く関連する部分では，ゲームプレイ関係例えばマップ作成などが挙げられるだろう．“人間がプレイして「楽しい」「丁4. どの人間らしさに着目するか

度良い難易度だ」と思えるかどうか”を，人間ではなくゲ

人間と機械の違いはさまざまである．結果として出てきーム AI にプレイさせて確認するのである．このとき，ゲた行動だけに着目することも可能だし，その行動を生みだーム AI が「人間ばなれ」した動きをするのであれば，テした人間の認知・思考方法や，物理的な限界などに着目す

ストプレイに向かないわけであるから，人間らしい振る舞ることも可能である．そのような多様な着眼点に注目していが非常に重要な研究対象となる．

分類を試みる．

[5]~[7] はコンテンツ自動生成する人間らしさを利用する論文である．Togelius らは，レースゲームを対象にプレ4.1 行動の模倣

イヤをドライビングスタイル・実力などに着目した上でモ

まず本節では，実際の人間の行動に着目したものをまとデル化し，それを用いて人間が楽しく遊ぶことのできる様

める．それを再現する方法としては，直接的な真似，教師なコンテンツの生成を行った[5]．

あり学習，統計量を近づけることなどさまざまにありうる[6]ではプレイヤの感想（楽しさ，挑戦感，不満感）を機

がこれらは５章で述べる．

械学習を用いてモデル化し，ステージの評価に用いること[9]では，スーパーマリオブラザーズにおいて，人間プレで，人間が楽しくプレイできる可能性の高いステージ生成

イヤの“辿った経路”に注目し，これをゲーム AI が再現が試みられた．

するために 3 つの手法（ハンドコーディング，直接学習，[7]は人間のゲームプレイ中の生理学的信号を観測し，それをもとに感情を推定した上でゲームの難易度をプレイヤに合うよう調節することを提案しているもので，アプロー
チがアンケートによらない点が面白い．

類似度最小化）を用い，それぞれ比較を行っており，この場合は類似度最小化が最も良い結果を得られた．
[10]では将棋を対象に，ゲーム AI 同士の棋譜と比較して，プロ棋士同士の棋譜に有意に多く現れる“手順”を抽出し，その手順を偏重するようなゲーム AI を作成することで，3.3 人間の教育をするための利用[8]は直接的な目的ではないが，最終的にはプロの棋風を手の流れを考慮した自然な手を生成できる可能性を示唆した．

再現し教育に用いようとするものである．棋風を攻めの棋[11]では，カーレーシングゲームにおいて 5 つの要素（ス風・受けの棋風に分類し，それぞれを教師に評価関数の機

ピード，追い越し，追い越し防止，衝突回避，軌道修正）

械学習を行うことで，棋風の再現を行っている．

に注目し，これらが人間のもつ値と近づくように挙動を真[27]では囲碁の教育を目的としている．単に評価値が落似しようとしている．似たものとして[27]ではマリオのプ

ちる手を悪手として指導するのではなく，“人間の指導者がレイングにおけるコイン取得率，ジャンプ率などを人間に指摘する可能性の高い”悪手を見つけようとしており，こに近づけるための進化計算を行っている．

れはプレイヤの人間らしい振る舞いというよりは，教育者の人間らしい振る舞いと言える．

4.2 身体的な制約[28]はぷよぷよの教育を目的としており，内容としては

人間の身体は生物として良く出来ているが，機械と比べ詰めぷよの問題を自動生成しており，コンテンツ生成にもたときにその認識機能・伝達機能・操作機能はある程度劣分類できる．どんな問題を人間が面白いと思うか，訓練にってしまう．このことは重要な人間らしさであり，人間の役立つと思うかを，教師あり学習によって推測している．

敵をする場合でも，仲間をする場合でも，コンテンツを作る場合にも認識しておくべきことである．

3.4 その他[3]で藤井らは，人間の身体的な制約（ゆらぎ，反応の遅そもそも人間らしさとは何か，またどのように評価する

れ，疲れなど）に注目し，マリオのゲーム AI に導入することができるか，あるいはどのような評価は方法論としてことで，人間らしさを実現した．これはマリオに限らず汎好ましくないかなどを論じたものとしては論文[15]~[17]あ用的な手法でありさまざまな応用が考えられる．

るいは[26]が挙げられるだろう．

[12]では，人間が遠いところにある物体を相対的に正し他にも，企業目線・宣伝目線にたった研究もある．[23]く認識することができない点に着目した．カーレーシング

では，簡単に認識でき視野を阻害しない AR のアイコン配

ゲームをコンピュータにプレイさせる際，離れている部分

置について研究が行われている．あるいは [34] では，対にノイズを加えることで，人間らしい挙動を実現した．ノ

戦格闘ゲームを対象に，近年さかんになりつつある

イズを考慮したものとしては[13]も挙げられる．

ⓒ 2018 Information Processing Society of Japan3

情報処理学会研究報告
IPSJ SIG Technical Report
また，最初からゲームのルールとしてこのような身体的Vol.2018-GI-40 No.7
2018/6/30

4.5 好み制約に配慮しているものもある．例えば FightingICE プラ

同じ目標を達成しようとする場合であっても，また同じ

ットフォームでは，コンピュータがプレイする際にも，情程度の技量を持った人間同士であっても，その達成のため

報伝達を考慮し，現在の状態ではなく過去の状態が AI にの手段はさまざまに異なり，これはプレイスタイルと呼ば渡される[34]．

れる．また，直接的には勝利に結びつかない副賞のようなものを目的としてプレイすることを想定したゲームも多い．

4.3 感情例えばスーパーマリオにおいて多くの敵を倒す・多くのコ行動が感情に左右される点は人間の重要な特徴である．

インを取るなどは勝利にはさほど重要ではないが，人間は感情によってミスが増えたり，好みが変わったり，ある種

しばしば好む．これらは副目的などとも呼ばれる．これらの一貫性のある行動を取るようになったりする．感情は静を意識して学習や探索に組み込むことで，人間らしい挙動的ではなく，状況によって変わりうる．これらを理解するが生まれることがありうる．[32]では感情状態によってはと，コンピュータに人間らしい行動をとらせることができ

コインを取りに行くことがあり，これが人間らしく見えるたり，人間プレイヤの挙動を仲間コンピュータや指導者コ

マリオのプレイに役立つことを示唆している．

ンピュータが理解して援助することが可能になる．

[29]では，人間がＲＰＧをプレイする際に「勝ちたい」[14]では，ゲームプレイしているときの感情（退屈さ，だけでなく「安全に勝ちたい」「ＭＰを温存したい」「とにチャレンジ，興奮，不満，楽しさ）に着目し，生理学的なかく早く勝ちたい」などの副目的を持っていることに着目

情報からファジー理論を用いて，5 つの感情の状態を求めし，行動履歴から現在どの副目的を重視しているのかを推る方法を提案した．また[7]では，同様のアプローチを用い測し，それに合わせた仲間プレイヤの行動を行うことで満て測定できた感情を用いて，各プレイヤにとって適切な難足度を向上させている．

易度にゲームバランスを調節する手法を提案した．

[25]では，人間プレイヤがプレイ中に，挑発・警告・挨[32]では，現在の人間の感情を推定するのではなく，感拶・自己顕示などさまざまな行動を“ゲーム内で”取りう

情を持ったように見えるゲーム AI の作成を試みている．

ることに注目している．これらの行動も好みであるとか副

例えばマリオにおいて敵が突然多く湧いてくるとびっくり目的であるといえる．

して恐怖し，敵との距離を今までよりも多くとるようになる，などである．
4.4 間違い・勘違い

5. 人間らしさに関する手法
人間らしい振る舞いをゲーム AI にさせる場合でも，ま人間はさまざまな意味で間違いをおかす．間違いをおかた人間プレイヤの人間らしさを考慮する場合でも，用いらさないゲーム AI は，仲間 AI としてはともかく，敵 AI とれる要素技術としての人工知能技術はさまざまである．本してあるいはコンテンツ生成のためのテストプレイヤとし

章では，これらについて概説する．

ては不適格である．また，人間が間違いをおかすことを前提にゲームは設計されるべきであり，場合によっては人間の勘違いの傾向を認識してそれに添ってあげることも重要である．

5.1 教師あり学習
人間らしいゲーム AI を作成するためには，人間のプレイデータから学習することが最もシンプルな手法だと考え[4]は人間のエラーはゲームにドラマを生み，楽しさの一られる．実際に，今までの人間らしさに関する研究の多く因であるとしている．さらに将棋を対象にヒューマンエラ

がそれらのデータを用いた教師あり学習を利用してきた．

ーの原因や種類を分類してモデルを提案している．[30]でこれらの手法は「強い AI のために人間のプロを再現した

は，人間が持つ数学的な認知バイアスについて触れ，ゲーい」という文脈で古くから研究されているため蓄積が多い．

ムでよく用いられる乱数について，数学的な意味での正し

例えば，本邦発の実現確率探索やボナンザ法なども，人間

い乱数では人間に不満を与え得ることを述べている．そのらしい AI 作成のための手法と言えないことはない．

うえで，人間にとって本当の乱数よりも乱数らしく見える[6]は，人間らしさ表現するためにニューラルネットワー

ような生成法がありうることを示している．このような工クを利用した．カーレーシングゲームにおいて，車の軌道

夫は風来のシレンなど乱数要素の大きいゲームではこれまを決定するネットワークとスピードを決定するネットワー

でも行われてきており，また最近ではいわゆる「ガチャ」

クの 2 種類を組み合わせることで，人間プレイヤの行動を要素の確率調整が行われるなど，儲けに直接的に関係する模倣した．また，人間らしさ直接表現しているわけではな部分である．

いが，[11]では同様カーレーシングについてコンテンツ自動作成による人間の評価予測モデルを作成した．また，手法を強化するため，教師あり学習と強化学習による提案もⓒ 2018 Information Processing Society of Japan4

情報処理学会研究報告
IPSJ SIG Technical Report
行われた[18]．

Vol.2018-GI-40 No.7
2018/6/30

できるほか，多目的最適化によって「強さと自然さのバラ[8]では将棋における攻め受けの特徴を基に棋譜を分別，ンス」などを取ることも容易にしている意味がある[22]．

それぞれの棋譜を教師に評価関数の機械学習を行った．こ[21]では，レーシングゲームにおけるステアリングと加のように，特定のタイプ・特定の人だけをターゲットにし速に着目し，人間のプレイデータとゲーム AI を比較，そた学習はしばしば行われる．

の違いを最小化するために多目的進化計算を用いることで他にも教師あり学習を利用した研究は非常に多い（例えば[5][8][19][28][29][30]だが，参考文献に挙げているものだ
けでもこれに限らない）．

人間らしさを再現した．
ニューラルネットワークと進化計算の組み合わせはし
ばしば用いられ，NeuroEvolution と呼ばれる．人間の行動
履歴との違いを直接に最小化する試み[9]や，人間の行動の5.2 強化学習
強化学習も環境との相互作用による人間の学習過程を模

統計量の違い（コイン取得率，左ボタン押し率など）を最小化する試み[26]などがある．

擬したものである．AlphaGo や DQN の例を出すまでもな
く強化学習は“強い”ゲーム AI を作成するのに効果的で5.4 ヒューリスティック・探索法・その他あるが，人間らしい挙動を得られるかどうかについては報手法は他にもさまざまあり，全体をルールベースに近い

酬の与え方などにもよって保証の限りではない．例えば，形で記述する場合もあれば，探索法に人間らしい振る舞いAtari ゲームに対する DQN は，場合によっては反応が速すを行えるように工夫を行うものもある．

ぎるという意味で人間らしくない．

[23][31]ではシューティングゲームにおける人間らしさ[3]では Q 学習を利用し，そこに人間らしい「遅れ」「ゆを表現する工夫が行われ，弾幕をぎりぎりで避けないようらぎ」を表現するために，ゲームから得られるデータを数にする，頻繁な方向変換を軽減するなどの目的のため探索

フレーム遅らせ，位置データにノイズ加える工夫を行ってアルゴリズムに Influence Map を導入するなどの工夫がないる．さらに，操作（ボタン）を変更するときに負の報酬されている．

を与える事で「疲れ」を表現した．これらの工夫が人間らしい振る舞いの獲得に大きく利するものである．
[33]では強化学習とニューラルネットワークを組み合わせ，一つのエージェントで同じ種類なゲームを遊ぶことを[35]では，接待碁のために，避けるべき不自然な手がどんなものかを定義したうえで，機械学習した行動評価関数と，MCTS による探索結果の評価値を総合的に判断して，うまく負けるための着手選択法を提案している．

目指した．General Game Playing (GGP) および GVGP の枠[24]は[8]同様，将棋における Bonanza 手法を基にしてい組みは，「人間ならば似たゲームはすぐに適応できる」といるが，αβ探索により得られた評価値にヒューリスティッ

う意味で人間らしさを追求したものと言える．

クな調整を行って不自然さを軽減している．また，[35]の[9] では Dynamic scripting 手法を導入し，手動で定めたルールベースの重みを学習する．
他にも，そもそも報酬にゲームの利得ではない何かを導入する試みも行われている．人間は環境を与えられて失敗

不自然さをさらに発展させ，「悪手，流れにそぐわない手，
必然手を指さない，意図性がない，強さが一貫しない，戦術が不自然，悪あがき」などの分類を行っている点でも重要である．

を続ければ，まず新しい状態に到達しようとする．これはcuriosity ベースの強化学習と呼ばれるもので再現が試みられている．また[25]のようなゲーム内のさまざまな人間の遊びについては，「楽しさ」を報酬として与えると良いのではないかという指摘がなされている．

6. おわりに
本稿では，近年さかんになりつつある「人間らしい振る舞い」とそのゲームへの応用に関する研究を紹介した．人間らしいゲーム AI を敵や仲間として利用する場合，人間

5.3 進化計算
進化もまた生物の種としての挙動であり，それそのものがある種の自然さをもたらすものとして使われる場合もあプレイヤの人間らしさを利用や補助する場合など，研究は多岐にわたるため，目的・着眼点・手法について分類を行うことを試みた．

る．例えばアストロノーカにおいては害虫が進化すること現時点で，選んだ論文は数としても代表性としても不十でプレイヤに（現実の虫に対するのと似た）嫌悪感を与え分なことは認識している．我々の研究グループの論文を多ることに成功している．

く含めているが，これはこれらが代表的または重要な論文

多くの場合は，進化計算は単なる優れた最適化手法の一だと主張しているわけではなくて，よく認識しているからつとして用いられている．進化計算は勾配法などに比べるであるにすぎない．「この論文が抜けている」「この見方がと微分が必要なく直接的な最適化が行え，多数の個体を保抜けている」などのご指摘は大変参考になるので，ぜひお持することでプレイヤに多様なゲーム体験を与えることが知らせいただきたい．

ⓒ 2018 Information Processing Society of Japan5

情報処理学会研究報告
IPSJ SIG Technical Report

謝辞

本研究は JSPS 科研費 17K00506 「人間プレイヤを“指導する”囲碁プログラムの研究」の助成を受けたも
のです．

参考文献
[1] Jacek Mandziuk, Przemyslaw Szalaj. Creating a Personality System
for RTS Bots. Believable Bots: Can Computers Play Like People?,
2012, pp 231-264.
[2] Christine Bailey, Jiaming You et.al.. Believability ThroughPsychosocial Behaviour: Creating Bots That Are More Engaging
and Entertaining. Believable Bots: Can Computers Play Like
People?, 2012, pp 29-68.
[3] N. Fujii, Y. Sato et.al.. Evaluating Human-like Behaviors of Video
Game Agents Autonomously Acquired with Biological Constraints.
Advances in Computer Entertainment(ACE), 2013, pp 61-76.
[4] 伊藤毅志, 杵渕哲彦, 藤井叙人. ゲームにおけるヒューマンエ
ラー －将棋における考察－, ゲームプログラミングワーク
ショップ(GPW), 2014, pp 196-201[5] Julian Togelius, Renzo De Nardi et.al.. Making Racing Fun ThroughPlayer Modeling and Track Evolution. Proc. SAB Workshop Adapt
Approach, 2006.
[6] Noor Shaker, Georgios Yannakakis et.al.. Towards Automatic
Personalized Content Generation for Platform Games. Artificial
Intelligence and Interactive Digital Entertainment(AIIDE), 2010.
[7] Guillaume Chanel, Cyril Rebetez et.al.. Emotion Assessment From
Physiological Signals for Adaptation of Game Difficulty.
Transactions on Systems, Man, and Cybernetics- Part A: Systems
And Humans, 41(6), 2011, pp 1052-1063.
[8] 大森翔太朗, 金子知適. 機械学習を用いた将棋における棋風の学習の研究. 研究報告ゲーム情報学(GI), 2015-GI-34(6), 2015,
pp 1-7.
[9] Juan Ortega, Noor Shaker et.al.. Imitating human playing styles insuper mario bros. Entertainment Computing(EC), 4(2), 2013, pp
93-104[10] 杵渕哲彦, 伊藤毅志. 手の流れを考慮して自然な手を選ぶ将棋 AI の試作. 研究報告ゲーム情報学(GI), 2015-GI-33(12),2015, pp 1-8.
[11] G. G. Jorge Munoz, A. Sanchis. Towards imitation of humandriving style in car racing games. Believable Bots: Can ComputersPlay Like People?, 2012, pp 289-313.
[12] J. Hagelback and S. J. Johansson. A Study on Human like
Characteristics in Real Time Strategy Games. Computational
Intelligence and Games(CIG), 2010.
[13] Tan, C.H., Tan, K.C et.al.. Learning believable game agents using
sensor noise and action histogram. Memetic Computing, 6(4), 2014,
pp 215-232.
[14] Regan L. Mandryk, M. Stella Atkins. A fuzzy physiologicalapproach for continuously modeling emotion during interaction
with play technologies. International Journal of Human-Computer
Studies, 65(4), 2007, pp 329-347[15] Julian Togelius, Georgios N. Yannakakis et.al.. Assessing
Believability. Believable Bots: Can Computers Play Like People?,
2012, pp 215-230.
[16] Philip Hingston. A Turing Test for Computer Game Bots.
TRANSACTIONS ON COMPUTATIONAL INTELLIGENCE
AND AI IN GAMES(TCIAIG), 1(3), 2009, pp 169-186.
[17] Ilya Vorobiev, Alexei V. Samosonovich. A Conceptually Different
Approach to the Empirical Test of Alan Turing. Procedia Computer
Science, 123, 2018, pp 512-521.

ⓒ 2018 Information Processing Society of Japan

Vol.2018-GI-40 No.7
2018/6/30[18] Shohei Miyashita, Xinyu Lian et.al.. Developing Game AI Agent
Behaving Like Human by Mixing Reinforcement Learning andSupervised Learning. Software Engineering, Artificial Intelligence,
Networking and Parallel/Distributed Computing (SNPD), 2017.
[19] 杵渕哲彦, 伊藤毅志. ランキング学習による流れを考慮した
自然な指し手の選択方法. ゲームプログラミングワークショップ(GPW), 2016, pp 119-122.
[20] 藤井叙人, 橋田光代, 片寄晴弘. 戦略型カードゲームのための戦略獲得法. 研究報告エンタテイメントコンピューティン
グ(EC), 2008(26), 2008, pp 9-16.
[21] N. Van Hoorn, J. Togelius et.al.. Robust player imitation using
multiobjective evolution. Congress Evol. Comput(CEC), 2009.
[22] Jacob Schrum, Igor V. Karpov et.al.. Human-Like Combat
Behaviour via Multiobjective Neuroevolution. Believable Bots:Can Computers Play Like People?, 2012, pp 119-150.
[23] 平井弘一, Reijer Grimbergen. 弾幕の認識に人間の視覚特徴を取り入れたシューティングゲーム AI の研究. ゲームプログラ
ミングワークショップ(GPW), 2016, pp 158-161.
[24] 仲道隆史, 伊藤毅志. 将棋 AI における棋力の調整が不自然さに与える影響. ゲームプログラミングワークショップ(GPW),
2014, pp 167-170.
[25] Sila Temsiririrkkul, Naoyuki Sato et.al.. Survey of How Human
Players Divert In-game Actions for Other Purposes: Towards
Human-Like Computer Players. Entertainment Computing(ICEC),
2017, pp 243-256.
[26] Phuc Luong, Naoto Kanazawa et.al.. Learning human-likebehaviors using neuroevolution with statistical penalties.
Computational Intelligence and Games(CIG), 2017.
[27] Kokolo Ikeda, Simon Viennot et.al.. Detection and labeling of bad
moves for coaching go. Computational Intelligence andGames(CIG), 2016.
[28] 高橋竜太郎. 連鎖構成力向上のためのぷよぷよの問題作成.
研究報告ゲーム情報学(GI), 2018-GI-39(10), 2018, pp 1-7.
[29] 和田尭之. 少数の記録からプレイヤの価値観を機械学習する
チームプレイ AI の構成. 研究報告ゲーム情報学(GI), 2015-GI,
33(5), 2015, pp 1-8.
[30] 野村 久光, テンシリリックンシラ, 池田心. 不満を抱かせに
くいゲーム用擬似乱数列の生成と利用. エンターテイメントと認知科学研究ステーション(E&C), 2015.
[31] 佐藤 直之, Sila Temsiririrkkul, Luong Huu Phuc, 池田 心.
Influence Map を用いた経路探索による人間らしい弾避けのシューティングゲーム AI プレイヤ. ゲームプログラミングワー
クショップ(GPW), 2016, pp 54-64.
[32] Sila Temsiririrkkul, Huu Phuc Luong et.al.. Production of
Emotion-based Behaviors for a Human-like Computer Player.
GAMEON, 2016, pp 49-53.
[33] Y. Hou, L. Feng et.al.. Creating human-like non-player gamecharacters using a memetic multi-agent system. Int. Joint Conf.
Neural Networks(IJCNN), 2016.
[34] Feiyu Lu, Kaito Yamamoto et.al.. Fighting Game Artificial
Intelligence Competition Platform. Global Conference on
Consumer Electronics (GCCE), 2013.
[35] 池田心. 楽しませる囲碁・将棋プログラミング. オペレーショ
ンズ・リサーチ: 経営の科学, 58(3), 2013, pp 167-173.

6