2017 年度情報処理学会関西支部

支部大会

G-34

プレイヤの対話意欲を維持する主導切り替え学習型 NPC の構築
Construction of a NPC which Learns Change of Initiative to Maintain Players' Motivation in Dialogue髙橋 ともみ†Tomomi Takahashi

田中 一晶†
Kazuaki Tanaka

1．はじめにRole Playing Game（以降，RPG）は現在まで高い人気を誇るゲームの一種であり，プレイヤは自身の分身となるキャラクタを操作して架空の世界・状況下で与えられる試練を乗り越え，物語上の目的達成を目指す．また，RPG にはプレイヤが操作しないキャラクタが存在し，そのようなキャラクタのことを Non Player Character（以降，NPC）という．
プレイヤにゲームへの没入感を与えるため，ゲームのリアリティを向上させる様々な方法が検討されてきている[三宅 2013]．近年は現実世界の人間に近い外見や動きを持つ NPC が作成されているように，プレイヤに没入感を与えることを目指す上で NPC も重要な要素であると考えられる．しかし，NPC とのインタラクション，特に対話においては未だリアリティを向上させる余地が残されている．
その理由の一つとして，NPC との対話においてはプレイヤ自身が意思表示できる機会が少ないという点が挙げられる．
NPC との対話はストーリー依存のものが多く，プレイヤキ
ャラクタが自動で発話を行ったり，NPC が主導的に話題を展開していく中でプレイヤは稀に「はい」か「いいえ」を選択したりというように，やや機械的で一方的な印象を与えがちである．そのため，プレイヤは NPC を人間らしいと感じず攻略の道具としてしか考えなくなる．それにより対話自体を楽しむという感覚が低下してしまい対話意欲が低下してしまう．
そこで，この問題を解決することができればリアリティの向上に繋がるのではないかと考えた．本研究では，対話における主導権の交代に着目して NPC の対話における一方的な印象の緩和を目指す．

2．選択肢式対話
本研究では，選択肢式の対話場面において主導権の交代を適応的に行うことが出来る NPC の構築を目指す．本節では主導的発話や非主導的発話といった言葉の定義や選択肢の構成について述べる．
2.1 主導的発話と非主導的発話本研究では，話題展開を行ったり次に相手が発話する内容を制限したりというように，対話の流れを決定する効力の大きい発話を「主導的な発話」と定義する．主として質問文や語尾が助詞「ね」である文，提案文から構成した．
具体例としては，「君はどうしてここへ？」や「ここの料理はおいしいね」，「明日からのことを決めよう」などが挙げられる．
また，「主導的発話」に当てはまらない発話を「非主導的発話」と定義した．主として応答や相槌，直前の相手の発話内容に関連する新規性の低い内容を基本とした発話から構成した．具体例としては，「ああ！」や「そうだよ†京都工芸繊維大学 大学院工芸科学研究科
Graduate School of Science and Technology,
Kyoto Institute of Technology

早川 博章†
Hirofumi Hayakawa

岡 夏樹†
Natsuki Okaね！」，「うん，よろしく！ありがとう，一緒に旅する仲間が出来てうれしいよ！」などが挙げられる．
2.2 選択肢の構成
プレイヤが発話する台詞の選択肢として，プレイヤには「主導的発話」に分類される台詞と「非主導的発話」に分類される台詞の 2 つが提示される．一方，NPC はそれら 2つに加えて沈黙を示す「…」という台詞の合計 3 つから選択的に台詞を決定し発話する．
対話は大きく分類すると主導的発話と非主導的発話の他に沈黙から構成されており，沈黙は対話における“間”に相当する．現実の人間同士の対話においては話題の区切れ目や応答を求められていないと感じたタイミングで“間”が生まれることがあり[森田 2008]，NPC が沈黙を選択できるようにした理由はこの“間”を表現することを目指したためである．沈黙には多義性が含まれるが，対話中の自然な“間”として出現する場合には，NPC は例えば話題の切れ目と捉えやすい非主導的発話の直後に沈黙を選択することが適切であると考えられる．また，対話内容の迅速な進行を好むプレイヤであれば NPC は沈黙を選択しないように学習が進行していくと予想される．
沈黙を適切に扱うに当たって留意した点について述べる．
質問を投げかけられたにも関わらず沈黙してしまうとプレイヤを無視していることになり不適切であるため，NPC が沈黙を選ぶことができるのは直前のプレイヤの発話が質問文ではない場合に限定した．また，NPC が沈黙を選択した
直後のプレイヤの発話は必ず主導的発話の一択となる．これは，沈黙の直後に発話する場合にはその発話内容がどのような内容であっても話題展開を行っていることになるからである．沈黙の選択肢をプレイヤへ提示することも検討したが，プレイヤが頻繁に沈黙を選択した場合，NPC が選択可能となるのが主導的発話の一択となりプレイヤの好みの探索が出来ず，学習が進行しない可能性がある．そのため，沈黙の選択肢はプレイヤには提示していない．
2.3 対話ルートの構成方法
1 度発話する毎に 2 つまたは 3 つの分岐を作成すると対話のルートは膨大な数になる．そこで，ルートを構成する
際，対話ルート数の削減のために，ある発話以降の内容を別の発話以降の内容と同じにして対話ルートを合流させる部分を設けた．また，台詞を分岐させずに選択肢をひとつにする箇所 （以降，固定発話と呼ぶ） も作成した．本研
究で扱う対話場面は，プレイヤがゲーム世界で共に旅をすることとなる仲間 NPC と初めて出会う場面で行われるものを想定している．そのため，いずれの対話ルートにおいても両者の自己紹介，両者の旅の理由，両者とも仲間探しをしていること，共に旅をすることへ合意についての発話が行われるよう統一した．その他は出身地などについての雑談とした．なお，仲間 NPC の名前は「ルイ」としており，以降評価アンケートや図においてこの名を使用している．

3．強化学習に基づく台詞選択
NPC に適応的な発話選択を行わせるために強化学習を用いた． 対話は図 1 のように，プレイヤ発話の次に NPC 発話を行うという流れを 3 回繰り返し，その後プレイヤにNPC を評価してもらうという一連の流れを繰り返して進行していく．プレイヤからの評価を 3 対話ごとにしたのは，NPC の発話選択について毎回評価することはプレイヤにとって煩わしく，対話の流れを阻害することになることが予想されたためである．
本研究においては，プレイヤ発話の種類を状態 s，NPC発話の種類を行動 a とし，プレイヤからの評価をもとに報酬 r を与えた．
プレイヤが NPC を評価する（NPC に報酬を与える）際，その評価は直近の対話のみでなく 3 回の対話を通した評価であると考えることが妥当であるため，適格度トレースによって報酬を分配する Sarsa(λ)を強化学習のアルゴリズムとして採用した．また，行動選択にはソフトマックス法を用いた．なお，本実験ではソフトマックス法の温度パラメ
ータ= 0.01，Sarsa(λ) の学習率α = 0.9， 割引率γ = 0.9，トレース減衰パラメータλ = 0.5 とした．

図 2：対話中の評価画面

図 3：対話画面

図 1：対話の進行の様子4．仮説実験を行うにあたり，次の 2 つの仮説を立てた．
[仮説 1]：
主導的発話だけでなく非主導的発話や沈黙を行う NPC は，主導的発話のみを行う NPC と比較して一方的な印象を与えない．
[仮説 2]：
プレイヤの発話選択に対して適応的に発話選択を行う NPC
は，主導的発話のみを行う NPC やランダムに発話選択を行う NPC と比較して一方的な印象を与えない．

5．実験

図 4：設定の提示
つを実験参加者に提示し 4 段階でそれぞれ評価させた．ア
ンケート内容の詳細については 5.4 節で述べる．

5.1 実験条件
仮説を検証するため，仮説に対応する下記の 3 条件を設定した．これらの条件に共通する事項として，実験参加者と NPC が互いに発話選択を 3 回行うごとに，NPC への評価を求める画面（図 2） において NPC に対する評価項目 3

NPC 主導：既存の RPG でよく見られる NPC が主導的発話のみ行う状況に対応する．NPC は，実験参加者の発話選択に関わらず，固定発話を除いてすべて主導的発話のみ行う．

適応混合主導：実験参加者による NPC への 3 つの評価を報酬として，実験参加者の主導的／非主導的発話に対して，主導的／非主導的発話，沈黙のいずれを選択すべきか強化学習しながら対話を行う．報酬は，4 段階の評価値をそれぞれ-1.0，-0.5，+0.5，+1.0 に変換し，その平均値とした．
ランダム混合主導：NPC は，実験参加者の発話選択に関わらず，主導的／非主導的発話，沈黙のいずれかからランダムに発話選択を行う．
NPC 主導と，ランダムまたは適応混合主導を比較することで仮説 1 を，ランダム混合主導と適応的混合主導を比較することで仮説 2 を検証した．
5.2 実験参加者
実験参加者は 20 代前半の男女 30 名（男 23 名，女性 7名）であり，各条件に対して 10 名ずつ割り当てた．
5.3 実験手順
NPC 主導，適応混合主導，ランダム混合主導を比較する実験を行った．実験参加者には図 3 のような選択肢式の対話インタラクションを体験・評価してもらい，被験者間実験を行った．なお，参加者が第三者の視線等を感じず実験に集中できるよう，実験はパーティションで仕切られた個室で行った．
実験手順は以下の通りである．
（1） インストラクション
図 2，3 のようにゲーム画面の例を実験参加者に例示し，発話の選択方法および，3 回の対話ごとに求められる NPCへの評価方法について説明した．さらに，図 4 のようにゲーム画面を想定した画像と関連する内容の文章を併せてプレイヤに提示することで，実験で扱う場面に至るまでの設定を示した．
（2） NPC との対話実験
NPC 主導，適応混合主導，ランダム混合主導のいずれかの条件において実験参加者に NPC との対話を行わせた．
（3） 事後評価アンケート
5.5 節で述べるアンケートを用いて NPC との対話実験についてアンケートを行った
5.4 NPC との対話中の評価アンケート
プレイヤが感じる一方的な印象の改善には，対話の楽しさや話しやすさ，対話意欲を向上させるように NPC が学習することが有効であると考え，下記の 3 つの評価項目を設定した．これらの項目には，4 段階（1：そう思わない，4：そう思う）で回答させた．適応混合主導では，これらの評価の平均値を報酬として強化学習を行うことで，学習を行わない NPC 主導よりも一方的な印象が改善されることを期待した．
Q1：ここまでのルイとの会話を楽しいと感じている
Q2：ルイに対して話しやすいと感じる
Q3：ルイと会話を続けたいと思う
5.5 事後評価アンケート
NPC との対話実験の印象を調査するアンケートとして 8つの項目を用意した．このアンケートには 5 段階のリッカート尺度（1：あてはまらない，5：あてはまる）で回答させた．まず，適応混合主導において，NPC が報酬を最大化するように行動した結果，対話の楽しさ，話しやすさ，対話意欲の向上が行われたかを確認するための項目である．
Q1：NPC ルイと会話することを楽しいと感じた
Q2：NPC ルイは話しやすかった
Q3：NPC ルイとまた会話をしたいと思った
Q4：実験の始めの方と終わりの方で，NPC ルイの返答に変化を感じた
次に，一方的な印象について下記の 2 つの評価項目を設定した．
Q5：NPC ルイに対して人らしいと感じた
Q6：NPC ルイとの会話において一方的な印象をうけた
また，本実験は被験者間実験であるため，NPC との会話を退屈に感じたり，ゲームキャラクタを好意的に感じたりする実験参加者を特定の実験条件に偏って割り当ててしまうと実験結果に悪影響を与えてしまう．そのような偏りが無いことを確認するため，下記の 2 つの項目を追加した．
Q7：NPC ルイとの会話の内容をつまらないと感じた
Q8：ゲーム（今回のゲームではなく，ゲーム全般） に登場するキャラクタに魅力を感じる

6．結果
6.1 事後評価アンケート結果
図 5 に事後評価アンケートの平均値を示す．また，3 条
件を分散分析で比較し，TukeyHSD によって多重比較を行っ た 結 果 を 図 中 に 示 す ． 分 散 分 析 の 結 果 ， Q6（F(2,27)=2.811, p=.078）と Q8（F(2,27)=3.139, p=.060）において有意傾向がみられた．有意傾向であったが多重比較を行った結果，NPC 主導よりも適応混合主導の方がプレイヤに一方的な印象を与えにくい傾向があること（p=.064），
NPC 主導よりもランダム混合主導の方が，プレイヤはNPC の返答に変化を感じる傾向があること（p=.051）がわかった．
6.2 NPC との対話中の評価アンケート結果
図 6～8 は，NPC との対話実験中に実施した NPC への評価と評価の回数との関係を示したグラフである．これらのグラフ中の点は，Q1～Q3 の評価項目において，各評価回数における評価の平均値を条件ごとに示したものである．
各実験条件について，Q1～Q3 の各評価値を目的変数，評価回数を従属変数として回帰分析を行った結果，図 8 に示すように NPC 主導とランダム混合主導において評価回数が Q3 の評価値に負の影響を与えている傾向がみられた（ぞれぞれ，(β=-.273, p=.066)，(β=-.298, p=.035)）．これは，これら 2 つの条件では対話が進むにつれて対話意欲が減少することを意味している．

7．考察
7.1 一方的な印象の緩和
実験の結果，適応混合主導の方が NPC 主導よりも実験参加者に一方的な印象を与えにくい傾向が示された．統計的な有意差は得られなかったが，これは仮説 1「主導的発話だけでなく非主導的発話や沈黙を行う NPC は，主導的発話のみを行う NPC と比較して一方的な印象を与えな

図 5：事後評価アンケート結果

図 6：対話中のアンケート結果 Q1（楽しさ）

図 7：対話中のアンケート結果 Q2（話しやすさ）
い」を支持する結果と言える．実際に，事後評価アンケー
トの自由記述欄に「すごいしゃべるなぁと思った」といっ

図 8：対話中のアンケート結果 Q3（対話意欲）

た，実験参加者が一方的な印象を受けていたことが示唆される回答が NPC 主導においてみられた．
また，適応混合主導と同じく混合主導を採用したランダ
ム混合主導は NPC 主導より有意であることを示せなかったが，平均値に着目するとランダム混合主導は適応混合主導についで一方的な印象を与えにくかったため，混合主導を用いることは一方的な印象を緩和することに対し効果を発揮した可能性があると考えられる．
実験参加者の好みに合わせて適応的に発話選択を行う適応混合主導は，NPC 主導だけでなくランダム混合主導よりも一方的な印象を緩和すると予想したが（仮説 2），有意な差は得られなかった．これは，学習効果を十分に発揮し実験参加者がその変化を認知するには学習回数（対話回数）が不足していたことが原因と考えられる．実際に，事後評
価アンケート Q8 の結果に着目しても，適応混合主導は他の 2 条件と比べて有意な差が認められておらず，むしろランダム条件の方が NPC 主導よりも変化しているという印象を与える傾向が見られた．このことから，実験参加者は学習による NPC の発話選択の変化を十分に認識できていなかったと思われる．したがって，今回の実験よりも長くNPC との対話を行った場合には，学習の効果が顕在化し，適応混合主導が他の 2 条件よりも有意に一方的な印象を改善できる可能性がある．
7.2 対話意欲の維持
NPC 主導とランダム混合主導においては対話意欲が減少する傾向がみられたが，適応混合主導においてはそのような傾向がみられなかった．このことから，発話の主導／非主導，沈黙に関してプレイヤの選好を学習することは対話意欲を維持する可能性が示唆された．
また，NPC との対話中の評価アンケートでたずねた 3 つの評価項目において，評価の大小は異なっても正負が反転するほど異なる評価は行われないと考え，学習時，3 つの評価値の平均を報酬として NPC に与えていた．しかし，実際には少数回ではあるものの，正負が異なる評価をしている実験参加者が少なからず存在した（10 名中 7 名）．このことから，学習における報酬の与え方が最適でなかった
ことが懸念される．3 つの評価値の平均ではなく，「ルイと会話を続けたいと思う」の単一の評価値を報酬として与えることでより適切に学習が進み，対話意欲の維持のみならず向上も期待できるかもしれない．また，他の評価（会話の楽しさ，話しやすさ）を報酬として学習した場合には，事後評価アンケートにおいて対応する印象（NPC ルイと会話することを楽しいと感じた，NPC ルイは話しやすかった）が他の 2 条件と比べて有意に向上する可能性も考えら
れる．

8．まとめ
既存の RPG における NPC のほとんどの発話は主導的発話であり，このことがプレイヤに一方的な印象を与え，対話意欲を低下させていると考えた．本研究では，この一方的な印象を改善するため，主導／非主導的発話や沈黙から発話選択を行う混合主導の NPC を提案し，主導的発話のみを行う NPC と比較する実験を行った．その結果，混合主導は一方的な印象を改善する傾向が見られた．また，主導的発話のみを行う NPC やランダムに発話選択を行う
NPC は次第にプレイヤの対話意欲が低下する傾向が見られたが，プレイヤの発話選択に対して適応的に学習しながら発話選択を行う NPC は対話意欲を維持できることが示唆された．
本研究の成果は，プレイヤと NPC との対話を，主導権を入れ替えながら行われる人同士の対話に近づけるものである．この対話のリアリティによって，NPC とのインタラクションを通してプレイヤのゲームへの没入感が強化されることを期待している．また，一人暮らしの高齢者の話し相手として適応的に学習する混合主導のエージェントを用いることで効果的に孤独感を低減することも期待でき，ゲームだけでなく幅広い分野の対話インタラクションに本研究の成果が応用できる可能性を探っていきたい．

9．参考文献[三宅 2013] 三宅 陽一郎: デジタルゲームのための人工知
能の基礎理論, 日本バーチャルリアリティ学会, vol.18,no.3, pp.28-33 (2013).

[森田 2008] 森田 笑: 相互行為における協調の問題: 相互行為助詞「ね」が明示するもの, 社会言語科学, vol.10,no.2, pp.42-54 (2008).