研究報告書概要 2019 実施

人間と遊び

プレイヤー自身の感情制御を余儀なくされる
対戦型ゲームの開発
千葉工業大学情報科学部情報工学科准教授

1.

表 1

はじめに
顔写真

ヘッドマウントディスプレイなどで VR を利用したゲーム開発

学習用
検証用
評価用

が人気を集める中，ゲームに対する没入感を向上させ，よりリア

2

ットポイントの増減や対戦相手への攻撃，場面転換など）する「感2情入力インタフェース」の開発を目指す。本システムにおける感年間︶

助成研究Ａ ︵ルなバーチャル空間を実現することが求められている。
本研究では，対戦型ゲームのプレイ中に無意識に表出する感情を入力とし，笑い声発話
無音

情表出は音声に含まれる Affect Burst を対象とする。Affect

適合率
87.1%
84.5%
80.4%

再現率
90.3%
82.8%
82.2%

F-measure
88.7%
83.7%
81.3%

笑い声の検出結果

適合率
79%
91%
97%

再現率
74%
91%
97%

F-measure76%
91%97%

Burst とは音声の非言語的使用による感情の急激な表出のことーラルネットワーク（DNN）を用いた。

で，無意識な叫び声や笑い声，泣き声や，「ゲッ」「おお！」など識別の結果，学習用・検証用・評価用の各データに対する正解率・言語音として意識的な制御下にあるものを含む[1]。本システム

適合率・再現率・F-measureを表 1 に示す。評価用データの再は，ゲーム中の笑い声や叫び声を検出・識別するAffect Burst検現率が 82.2%であることから，叫び声をある程度の精度でほか出部と，検出されたAffect Burstの種類にもとづいてゲーム内のの発話と識別可能なことが示された[5]。

状態を変化させるリアクション生成部の二つのモジュールで構2.2. 笑い声検出実験成される。

対話中にいつ笑い声が出現したかを検出するモデルを作成した。

本研究課題では，Affect Burst検出実験と，主観評価実験により対話音声を1秒ごとに笑い声区間・発話区間・無音区間と区切っプレイヤーの没入感を向上させるリアクションについて検討してラベルを付与し，叫び声と同じくopenSMILEを用いた6,373た。本報告書ではその成果についてまとめる。

次元の音響的特徴量を抽出した。笑い声の比率は全体の 6.07%

2.

Affect Burst 検出実験である。検出器には6層の隠れ層（2048ユニット）とそれに続プレイヤーが思わず発するAffect Burstを，その音響的特徴からくDropout層（Dropout率は0.2）を持つDNNを用いた。

機械学習によって検出する仕組みを構築する。
本研究で使用する検出の結果，笑い声・発話・無音の各区間に対する適合率・再現

笑い声および叫び声は，ゲーム中のユーザのリアルな対話を収録

率・F-measure を表 2 に示す。笑い声の再現率は74%である

した二つのコーパスを使用している[2][3]。

ことから，ある程度の笑い声検出は可能であるものの改善の余地があることが示された[6]。

2.1. 叫び声識別実験

30

泰子

叫び声の識別結果

正解率
97.7%
96.7%
96.0%
表 2アバターの状態をプレイヤーの意図に関わらず強制的に変更（ヒ有本

叫び声検出に向けて，まずは人手により叫び声区間とそれ以外の3.

発話区間を区切ったデータを機械学習により識別する実験を行プレイヤーが思わず発した叫び声や笑い声に対してどのようなった。使用したコーパスに含まれる発話数は14,124 発話で，そリアクションを返すことが適切か決定する必要がある。
しかしなのうち叫び声の数 1,427 発話である。openSMILE[4]のがら，どのようなリアクションを返すとプレイヤーがよりゲーム

Interspeech 2013 ComParE Challenge baseline feature setをに没入するか明らかになっていない。そのため，まずはプレイヤ使って，基本周波数・MFCC の一次係数・音圧レベルなどを含ーにとって有利（ポジティブ）なリアクションを返すべきか，不む 6,373 次元の特徴量を抽出した。識別器には 5 層の隠れ層利（ネガティブ）なリアクションを返すべきかという大きな枠組（2048ユニット）とそれに続くDropout層を持つディープニュ

みで検証実験を行った。

- 1 -笑い声に適切なリアクションの選定

研究報告書概要 201財団レポート
9 実施

2019・2020

向けられ，積極的に関与してゲームをコントロールしようとした結果であることが考えられる。一方で，Emotional Involvementのスコアがネガティブリアクションを提示したときに高くなった理由は，プレイヤーにとって不利なリアクションが思いがけず発生したために，不快な感情が強く表れた結果であると考えられる。

4.

まとめ

無意識に表出する感情を入力とし，その内容によってアバターの状態をプレイヤーの意図に関わらず強制的に変更する「感情入力
図 1インタフェース」の開発に向けた検討を行った。その結果，叫び主観評価実験の結果声は82.2%の精度で識別が，笑い声は74%の精度で検出が可能であることを示した。また，プレイヤーが思わず笑ってしまった（MOD）開発を行って，いくつかのイベントを利用可能にした。

ときに，よりゲームに没入させるリアクションはプレイヤーにとさらに，実装したリアクションの種類を，笑い声を発したプレイって不利になるリアクションであることが分かった。

ヤーにとってポジティブなリアクションとネガティブなリアク

参考文献

ションに分類した。

[1]せた。各被験者にはリアクションなし・ネガティブリアクション[2]

M. Schröder, “Experimental study of affect bursts,”2

Speech Communication, vol.40, no.1-2, pp.99–116, 2003.

2

菊地佑樹，森大毅，“音声コミュニケーションにおける叫び有り・ポジティブリアクション有りのすべての条件でゲームプレ声，”日本音響学会 2017 年秋季研究発表会講演論文集，イさせ，それぞれの条件に対してどの程度没入したかを計測する

pp.399–400，2017．

主観評価を行わせた。
各条件の没入感を評価するために使用した[3]

質問紙はゲームの没入感を評価するために開発された年間︶

被験者12名にこれらのリアクションを返すゲームプレイを行わ

助成研究Ａ ︵

実験に利用するゲームを Minecraft[7]に限定し，Modification

Y. Arimoto, H. Kawatsu, S. Ohno, and H. Iida, “Naturalistic emotional speech collection paradigm with online

Immersive Experience Questionnaire（IEQ）[8]である。IEQ

game and its psychological and acoustical assessment,”

は 5 因子から構成されており，積極的な関与と注意を測定する

Acoustical Science and Technology, vol.33, no.6, pp.359–

Cognitive Involvement，感情と不安を測定する Emotional In-369, 2012.

volvement，周囲や現実世界にいるという認識の欠如を測定する[4]

Real WorldDissociation，ユーザがゲームにどれだけ困難を感じ

F. Eyben, M. Woellmer, B. Schuller, openSMILE the Munich open Speech and Music Interpretation by Large

たか測定するChallenge，
ゲームインターフェースの使い易さをSpace Extraction toolkit (2010).

測定するControlで構成されている。

[5]

主観評価実験の結果の一部を図 1 に示す。図 1 にはリアクシ

金子裕亮, 有本泰子, "音響的特徴量よるゲームプレイ中の叫び声の識別," 日本音響学会2020 年春季研究発表会講演

ョンなし（None）
・ネガティブリアクション有り（Negative）
・論文集, pp. 995-996, 2020.

ポジティブリアクション有り（Positive）の条件ごとに，Cognitive[6]

InvolvementとEmotional Involvementの各因子のスコアを箱

クー ユエン, 有本泰子, "ゲームプレイ中の笑い声検出モデ
ルの構築," 日本音響学会2020 年春季研究発表会講演論文

ひげ図で示している。
プレイヤーの笑い声に対してネガティブな集, pp. 1005-1006, 2020.

リアクションを返した方が，リアクションが全くないよりも認知[7]

Mojang,Minecraft, https://www.minecraft.net/ja-jp/的にも感情的にもゲームに引き付けられることが示された。
また，

[8]

C. I. Jennett, "Is Game Immersion Just Another Form of

ポジティブなリアクションを返した場合は，認知的にゲームに引Selective Attention? An Empirical Investigation of Real

き込まれるものの，感情的には引き付けられないことが明らかにWorld Dissociation in Computer Game Immersion," Doc-なった[9]。

toral thesis, University College London, 2010.

CognitiveInvolvementのスコアがリアクションの種類にかかわ[9]深津多聞, "無意識な笑い声にリアクションするゲームの開らずリアクションなし条件より高くなったのは，笑い声に対して発に向けたゲームイベントの実装とその評価," 帝京大学

何らかのリアクションを発生させると無意識に注意がゲームに学士論文, 2020.

- 2 -31