仮想対戦プレイヤーの感情的発話生成
塩入健太

星野准一

筑波大学大学院 システム情報工学研究科

概要−対戦型ビデオゲームを１人でプレイする場合を，人間相手にプレイする場合と比較してつまらないと感じるプレイヤーが多い．その主な理由のひとつに「対戦相手のＡＩの反応が乏しい」が挙げられる．本稿ではその改善のために，ゲーム状況を読み取り，プレイヤーによる干渉や環境変化に対して発話音声によって反応を返す「仮想対戦プレイヤー」を提案する．仮想対戦プレイヤーにはゲーム状況によって動的に変化する内部パラメータを設定し，これによって感情的に音声ファイル選択を行う．本稿の最後に手法の有意性を確かめる．

Generating Emotional Utterance of the Virtual Adversary Player
Kenta Shioiri Junichi Hoshino
University of Tsukuba Graduate School of System and Information Engineering
Abstract-A player feels bored when he play the match-up type computer game without adversary person. One of themain reasons is "The reaction of adversary AI is scarce". To improve this problem,this paper proposes "The Virtual
Adversary Player" that reads the game situation from game image and returns the reaction by the utterance voice when theplayer interferes or the environmental is changed. An internal parameter that changes dynamically by the game situation isset to the virtual adversry player. As a result, an emotional voice file selection is done. At the last, the evaluation
experiment of the technique is conducted.
１．はじめにビデオゲームの誕生以来，カードゲーム，ボードゲーム，た驚きや非難の声を出す．この多様な反応と感情伝達が対スポーツなど多くのゲームジャンルにおいて，「対戦」の要

戦型ゲームの面白さのひとつの要因と考えられる．従来の素を含むものが出現してきた．また，家庭用テレビゲームテレビゲームには不利な状況になるとゲームキャラクタの機が広く普及し，「テレビゲーム」がエンタテインメントの表情が変化したり，汗を出したりするようなものも見られ主要分野になった近年において，格闘アクション，カーレるが，単純で機械的であり，人間と対戦しているような感ース，落ち物など，対戦型ゲームのジャンルは多様化し，覚を得るのは難しい．

多くのタイトルが発売され，人気は衰えない．

また近年では，人間からの干渉に対して感情的な反応を対戦型ゲームをプレイする際，部屋にプレイヤーが１人返すシステムの開発が盛んに行われている．ＡＩＢＯ[1]やのみの状況，またはインターネットを用いての通信対戦やけんかデモ[2]は代表的な例である．さらにＣＧエージェン

音声チャットなどの環境が整っていない環境では，プレイトやロボット の人間らしい 反応に関する 研究としてはヤーは通称ＣＯＭと呼ばれるゲーム内のＡＩと対戦するこ[3][4]がある．しかしこれらは対戦型ビデオゲームというとになる．

環境に適応させることは難しい．

このＣＯＭとの対戦であるが，人間との対戦と比較して対戦型ビデオゲームのＡＩに関する研究では，プレイヤつまらないと感じるプレイヤーが大半である．その主な理ーの模倣によって人間らしい反応を行動で返すといったも由のひとつに「こちらの行動に対して反応が乏しい」といのがあるが[5]，対戦相手からの感情的な反応である発話にったものがある．

関しては触れていない．

一方，実際の人間が対戦相手の場合には，特に発話によ

そこで本稿では，対戦型ゲームの 1 ジャンルである「格って，対戦中に様々な反応，そして感情を示す．例えば，闘アクションゲーム」を題材に，対戦ゲームプレイ中にプ危機的状況から脱出した際，対戦相手に攻撃が成功した際レイヤーの行動やゲーム状況を読み取り，対戦相手としてには「よしっ」のような喜びの声を漏らし，逆に困難な状の感情的な発話によって反応を返す「仮想対戦プレイヤー」

況に陥った場合には「うわぁ」，「勘弁してくれよ」といっを提案する．仮想対戦プレイヤーはゲーム中の登場キャラ

1

る分類ごとに発話頻度の初期固有値を設定する．
よっしゃ！

やべっ！

３．仮想対戦プレイヤーの内部パラメータとして，心理状態の快‑不快の度合いを表す快‑不快パラメータと，ゲームへの没入具合に起因し発話頻度を制御する発話頻

ぐへっ

ひどい・・・

度パラメータを設定する．ゲーム状況とパラメータ値変化を対応付ける．

その技
強すぎだっておぉ，セーフ・・

４．快‑不快パラメータと発話発生時のゲーム状況を，先ほど分類した発話音声ファイルに対応付ける．

プレイヤー

図１

実行段階は次の流れで行う．

仮想対戦プレイヤー

仮想対戦プレイヤーのイメージ

５．ゲーム映像をＰＣに取り込み，その映像から特定のゲクタとは異なり，実世界でプレイヤーと対戦する人間の仮ーム状況を表す特定の情報を検出し，ゲーム状況を読想モデルである(図 1)．

み取る．
６．読み取ったゲーム状況により，快‑不快パラメータと発２．手法の概要

話頻度パラメータが変化する．
７．ゲーム状況と，快‑不快パラメータを参照して，対応す仮想対戦プレイヤーは，入力であるゲーム映像からゲーる発話音声ファイルを呼び出す．

ム状況を読み取り，その場面にあった適切な発話音声を出力する．仮想対戦プレイヤーの姿を画面に表示せず発話の８．発話音声ファイルごとの初期固有頻度と，発話頻度パみを用いるのは，実際に格闘アクションゲームをプレイ中ラメータを参照して，確率により音声出力を行う．のプレイヤーは対戦相手の姿を見る頻度が非常に低く，相手の様子を主に声から感じること，また画面に表示するこ

最後に，始めに撮影した格闘アクションゲームに仮想対とでゲームへの集中を妨げること[6]が理由である．声から戦プレイヤーを適応し，被験者がシステムを体験して心理人間らしく感情的な発話音声を選択・出力するために，仮評価を行う．

想対戦プレイヤーの内部パラメータとして快‑不快パラメ

３．発話音声ファイルの分類ータと発話頻度パラメータを設定する．これらにより同じゲーム状況でも，出力は感情を考慮した声の調子や発話内発話音声ファイルは，実際に格闘アクションゲームをプ容・頻度に変化する．パラメータは単発的な攻撃の成否やレイしている最中の特定のプレイヤーの発話を録音し，そ残りライフの差だけではなく，連続的な過程や全体的な勝こから感情的発話と感じるものを抽出することによって作率を考慮し算出する．

成する．声優によって作られた音声ファイルを用いない理由は，それを用いた場合の印象評価をした前実験において，以下処理の流れである．まず，前処理段階は次の流れでゲームキャラクタの音声と混同してしまい人間と対戦して行う．

いる感覚が薄れると感じたため，特定のプレイヤーの発話

１．実際に市販の格闘アクションゲームを人間同士で対戦からのみファイルを作成する理由は，複数の人物の声を仮している様子をビデオで撮影し，発話音声の録音をす

想対戦プレイヤーが出力した場合の印象評価を行った前実

る．録音した音声から発話音声ファイルを作成する．

験において，1 体の仮想対戦プレイヤーが複数の人物による２．ビデオを参照しつつ，発話音声ファイルを発話発生時声を発するのことに違和感を感じたためである．また特定のゲーム状況によって 4 分類，さらに音声から感じるの人物を起源とする音声ファイルのみを用いた前実験では，の快‑不快の印象によって 5 分類する．ゲーム状況によその個人と対戦しているような感覚を得ることができた．

テレビ

ゲーム
映像入力

ゲーム状況の読み取り
参照

ゲーム機

分類した
発話音声ファイル

心理状態パラメータ
発話頻度パラメータ

スピーカー

音声出力
図２

内部パラメータ
変化
システム概要図

2

呼 び出 し実際のゲームプレイ中の様子の撮影と，発話音声の録音状況についての感想など．他の属性と比較して 2 文は，人物と時間を変えつつ合計 5 時間前後行った．感情的節以上から構成されるような長いフレーズであること

発話を，感嘆句と自身の状況を表現した短文，およびプレが多い．キャラ間が長距離，ダウン中，ライフの変動

イ中のゲームに関係ある感想と定義し，1 人の人物が 1 時間が一定時間ないなどの試合中の中休み状態，あるいはプレイした際には 100 前後の発話音声ファイルが抽出でき対戦終了直後に多く出現する．

た．

試合終了時，ライフに大きく差をつけられている状

この発話音声ファイルを発生時のゲーム内の状況および況など，特定された状況での発話と，「（必殺技が）で快‑不快によって分類し，仮想対戦プレイヤーが適切なタイないっ！」「ミスった」など，ある程度状況に関わらずミングで適切な発話を行うために用いる．

発せられる言葉がある．特定の状況に起因するものは，この分類全体の単位でゲーム状況に対応付けることは３．１．発生時の状況による分類不可能と言える． 発話頻度の初期固有値はファイルごとに異なる．

撮影したビデオを検証した結果，感情的発話は発生時のゲーム内の状況によって大きく分けて以下の 4 属性に分類

例・その技強すぎ，このまま何もできず負けてしまうできると考える．また，分類ごと発話発生頻度に傾向があのか，今回は勝てそう，やってみろよ，ミスったることもわかった．これを発話頻度の初期固有値として分その他ゲームに関係する発話には次のようなものもある

類ごとに設定する．
①

が，今回は取り扱わない．

予期発話

例・○○拳ってどういうコマンドだったっけ？

相手から攻撃を受けることや自分の行動の成功または失敗を予期した際に発せられる．一度に大きなダメージを与えられ，ゲーム画面の明るさが大きく変わっ①②③の発話音声ファイルはその分類単位で，上で説明たりゲーム内の時間が一時停止したりするような映像

した出現の傾向に合わせてゲーム場面に対応付ける．④の上の特殊効果を伴う大技の発生前に多く出現し，単語文章発話のうち，特定の状況に起因するものは，ファイル 1のみまたは短文の場合が多い．さらに攻撃側と被攻撃個単位でゲーム場面と対応付ける．状況に関わらず発せら側に分類される．発話頻度の初期固有値は高い．

れる言葉は，①②③以外の状況でランダムで呼び出す．

例・やば，うわっ，危ない，よっしゃ，いける②３．２．音声から感じる快‑不快による分類

反応発話
相手から攻撃を受けたとき，自分の攻撃が成功した

ゲームプレイ中，プレイヤーは心理状態を動的に変化さときに反射的に発してしまう感嘆句等．攻撃側と被攻せる．撮影したビデオを検証した結果，プレイヤーの心理撃側の分類したうえ，さらに予期の有無および攻撃の状態に起因していると考えられる内容および声の調子の発成功失敗によって３つに分類する(表１)．予期のある話が多く見られた．声の調子は，言葉の意味以上に，心理場合は発話頻度の初期固有値が高いが，ない場合は低状態をを聞き手に的確に伝える[7][8]．例えば語尾に撥音い．

をつける，語尾を伸ばす，低くゆっくりしゃべる，高く早表１

予期あり

予期なし

くしゃべるのでは，それぞれ聞き手が感じる印象が大きく

反応発話の分類（被攻撃側の例）
攻撃をうけた

回避した

反応発話１

反応発話２

うぇ，まじでぇ

セーフ，助かった

反応発話３

なし

異なる．
本稿では発話音声ファイルを，聴いた際に受ける印象をもとに快‑不快の尺度で分類する．これはゲームプレイ中には多種多様で複雑な心理は生まれにくく，心理状態の定量化，そして仮想対戦プレイヤーの心理状態制御には，心理

うお，む，お③④

状態の最も原始的な分類である快‑不快で十分だと考える

能動発話からである．

攻撃をする際の掛け声．動詞や固有名詞（技名など）

具体的には不快，やや不快，普通，やや快，快の５段階であることが多い．ゲーム状況的の観点からは，大技のランクに分ける．ここでは不快はイライラ，不機嫌といの発生前，心理状態的なの観点からは上機嫌で没入しった負の感情を総合したものであり，快は楽しい，上機嫌ているときに多く出現する．攻撃側に限定される．発といった正の感情を総合したものであと定義する．発話音

話頻度の初期固有値は低い．

声ファイルの快‑不快のランク分け，および前節の発生時の例・くらえ，○○拳，状況による分類を組み合わせたものの一部を例として以下

文章発話

3

の表２に示す．
表２

おける勝敗数を逐次記録していき，快‑不快パラメータの変化起因に用いる．

ゲーム状況分類と快‑不快分類の組み合わせ
予期発話

反応発話
(①)

能動発話

文章発話

ⅰ

攻撃（被攻撃）の成功とその威力攻撃を当てるとうれしい，当てられると悲しい．そ

不快

やめろよ

ちくしょ

しね

最悪〜

やや不快

うそぉ

ええ〜

くらえ

勘弁して普通まじでうわっ

いけ

やられた

やや快

きた

くらった

えいっ

うおおて快‑不快を正負に変化させる．また，特殊な映像的演

快おうまいっやー

うまいね

出がなされる大技や，一連の攻撃終了後に「Great!」

れは攻撃の威力が大きいほど，また残りライフが少ないほど，大きな快‑不快の心理状態変化を引き起こすと考えられる．読み取ったダメージの大きさに比例させなどの文字情報が画面に出現する攻撃に関しては，ダ４．内部パラメータ

メージの大きいとともに視覚的にも通常より強く訴え

本研究では仮想対戦プレイヤーの心理状態の定量化としられるため，心理的に大きな影響があると考える．て，初期値 0，100 から‑100 までの定義域を動的に推移する

Lifeold を数フレーム前の残りライフ率(%)，Lifenow を現在の残りライフ率(%)，c を大技や文字情報が出現した場合の定数，a1 を係数として，以下の式を設定する．
(2)
m1 = a1 (log Life old − log Life now ) + c

快‑不快パラメータを設定し，快から不快までランク分けされた発話音声ファイルの分類と対応付ける．
またそれとは別に，発話発生の頻度を制御する発話頻度パラメータを設定する．初期値 50，0 から 100 の定義域を（ Life old , Life now > 0 攻撃時 a1 ≥ 0 ，被攻撃時 a1 < 0 ）動的に推移し，数値が高いほど発話頻度が高くなる．快‑不ⅱ

快パラメータと発話頻度パラメータを別に設定するのは，一定時間内の攻撃（被攻撃）回数何度も攻撃が連続で成功する（受ける）場合は，あ連続して勝ち続けており非常に快の状態でも，対戦相手にる程度交互に攻撃被攻撃を繰り返す場合と比較して，対する罪悪感などから発話を控える状況，または簡単に勝大きなうれしさや悲しさを得，快‑不快が変化する．n1

ち続けることで「飽き」が早まった状況，そして負け続けを一定時間前から現在までの期間の攻撃成功（攻撃受て不快な状況であっても，イライラして暴言が多くなるとけ）回数，a2 を係数として，以下の式を設定する．

いった状況の考慮による．

m 2 (t ) = a 2 log n1 (t )各パラメータの変動要因は，今回扱う格闘アクションゲ(３)（ n1 > 0 攻撃時 a 2 ≥ 0 ，被攻撃時 a 2 < 0 ）ームを実際に人間同士で対戦したプレイヤーらの意見を参ⅲ

考に，単純で明瞭なものを選択した．そして各要因ごと簡予期した攻撃をはずす（回避する）
特殊な映像効果で演出される大技は，通常攻撃と比単な式を設定し，パラメータ値算出に用いる．

較して非常に強力な威力を持つように設定されている
ため，使える回数が制限されている場合がほとんどで４．１．快‑不快パラメータ値の算出あり，3.1 節②の反応発話２が発生するような状況では，本稿では，心理状態の快‑不快を変化させる要因として，攻撃側は残念に思い，被攻撃側は喜ぶ．a3 を係数とし与えた（受けた）攻撃の威力，一定時間内の攻撃（被攻撃）て，快‑不快パラメータ変化の一要因として随時判定す

回数，予期した攻撃を外す（回避する），残りのライフゲー

る．

ジが大きく開いている，試合に勝ち（負け）続ける，を設

m3 = a3

定し，以下ⅰ〜ⅴに示す式によって快‑不快パラメーター値(4)（攻撃時 a 3 < 0 ，被攻撃時 a 3 ≥ 0 ）を算出する．
このときダメージ量や残り時間などの物理量と快‑不快パⅳ残りライフゲージが大きく開いている

ラメータ値の心理量の関係は，諸々の刺激に対して次の関両者の残りライフゲージを比較し，大きく差が開い係式が精神物理学的に成り立つというウェーバー・フェヒている場合，勝っている方は上機嫌，負けている方はナーの法則[9][10]に従うと考えられる．

不機嫌になる起因となる．Lifeplayer をプレイヤーの残S = C log L（1）

りライフ率(%)，Lifeadversary 残を仮想対戦プレイヤーの（S は心理量，L は標準刺激量，C は定数）

残りライフ率(%)，a4 を係数とし，以下の式を設定する．

m4 (t ) = a4 (log Lifeplayer (t ) − log Lifeadversary(t ))よって刺激量の対数に比例させて心理量を変化させる．
また本稿では，単発的な攻撃の成否や試合の勝敗のみで(5)（ Life player , Life adversary > 0 ）はなく，過去一定時間以内の攻撃成否回数や過去数試合にⅴ 試合に勝ち続ける，または負け続ける4試合に勝つとうれしい，負けるとくやしい．もっと発話頻度パラメータを変化させる要因として，撮影したも単純な快‑不快変化の起因である．Nadversary を仮想対ビデオの検証より，残りライフ量，両者の残りライフの差，戦プレイヤーの勝ち数， Nplayer をプレイヤーの勝ち数，残り時間，試合の勝敗数を考え，以下の式により発話頻度

a5 を係数として，以下の式を設定する．
C1 = a5 (log N adversary − log N player )パラメータ値を決定する．

(6)
Ⅰ（ N adversary , N player > 0 ）試合開始当初，残りライフが多いときは，緊張感がⅰ〜ⅴにより，快‑不快パラメータ値 M は以下のようにさほどないが，残りライフが少なくなると，緊張が高定まる．

M (t) = m1 + m2 (t ) + m3 + m4 (t) + C1

残りライフ量まり没入感が高くなる．それによって発話頻度が増え(7)

る．AveLife を両者のライフ残量率の平均値(%)，b1 を( − 100 ≤ M ( t ) ≤ 100 )係数として，以下の式を設定する．

f1 (t ) = b1 (log 50 − log AveLife (t ))ただし C1 は 1 試合に 1 度試合開始直前に定数として加算，m1，m3 は随時，それ以外は試合中に単位時間ごとに判定す

Ⅱ(8)

両者の残りライフの差る．

実力伯仲で，両者の残りライフの値が近いときには，プレイヤーは興奮し，発話頻度が高くなる．逆に両者４．２．快‑不快パラメータと快・不快ランクの対の間に力の差が大きくあり，残りライフの差が大きい

応付け

ときは，興ざめしてしまい飽きが早くなる．b2 を係数

快‑不快ランクと発話音声ファイルの対応付けに関してとして，以下の式を設定する．

は３章のとおりだが，ここでは快‑不快パラメータと快・不f 2 (t ) = b2 (log50− | log Lifeplayer(t ) − log Lifeadversary(t ) |) (9)快ランクの対応付けについて説明する．特定の快‑不快パラ（ Life player , Life adversary > 0 ）メータ値を閾値として快‑不快ランクと対応付けする方法

Ⅲ

では，プレイヤーに発話音声ファイルのランク切り替わり残り時間試合終了間際になって残り時間が少なくなると，緊がはっきり分かってしまい，人間らしい境界のあいまいさ張が高まり発話発生が多くなる．Time を残り時間，に欠けると考える．そこでパラメータ値とランクの対応付TimeMAX を残り時間の最大値，b3 を係数として，以下

けは図３のようなメンバーシップ関数を設定し，グレードの式を設定する．

値をそのランクの発話音声ファイルの選択確率とする．こf 3 (t ) = b3 (log TimeMAX − log Time(t ))れにより快‑不快ランクの境界の変動性を持たせる．
グレード 不快 やや不快 普通 やや快(10)(Time > 0)

快Ⅳ

1

試合に勝ち続ける，負け続ける両者の間の実力の差が大きく，片方が一方的に勝ち続けると，つまらなく感じ，ゲームの飽きが早い．それに伴い発話頻度も減少する． b4 を係数，αを定数として，以下の式を設定する．

0C2 = b4 ( − | log N adversary − log N player | +α )

-100

50

（ N adversary , N player > 0 ）100
快-不快パラメータ値

図３(11)

Ⅰ〜Ⅳにより，発話頻度パラメータ値 F は以下のようにパラメータ値とランクの対応定まる．

F (t) = f1 (t ) + f 2 (t) + f 3 (t ) + C2

４．３．発話頻度パラメータ値の算出(12)( 0 ≤ F ( t ) ≤ 100 )ゲームプレイ中の発話頻度は，ゲームへの集中の度合いやただし C２のみ 1 試合ごとに 1 回，試合開始直前に定数と没入の度合い，また興奮に依存して上下する．それらを定して加算し，それ以外は試合中に単位時間ごとに判定する．

量化するための発話頻度パラメータを設定し，仮想対戦プレイヤーの音声ファイル出力確率と対応付け，発話頻度パ５．ゲーム状況の読み取りラメータ値が高いほど発話頻度が増す．なお最終的に仮想対戦プレイヤーに発話させるかしないかは，この発話頻度

ゲームの状況読み取りには，実際に市販のテレビと家庭用パラメータと分類ごとの発話頻度の初期値を参照して決定ゲーム機で市販のゲームをプレイしている映像を，ＡＶケする．

ーブルとキャプチャボードによって実時間でＰＣに取り込

5

み，その映像から特定のゲーム状況を表す特定の情報を検方法が可能となる理由に，ゲーム機から取り込んだ映像は出する方法を用いる．

カメラ撮影によるものと比較してノイズが少なく，広範囲

この方法のメリットとして，内部プログラム情報を参照の読み取りをする必要がないといったことがある．

できないような数多くの市販ゲームに，後付で適用できる

具体的には，まずプレイヤーと仮想対戦プレイヤー両方点が挙げられる．他に，コントローラの入力情報を読み取のライフゲージをそれぞれ 20 等分するようにマーカーを置るような特殊な装置を用いることなく実行できるというメ

く．各マーカーが，残りライフ部の画素値を読み取った場リットもある．

合には true，それ以外の場合には false を出力するように今回扱う格闘アクションゲームというジャンルの対戦画設定し，20 個のフラグの組み合わせによって 5％単位で残面は図４のような伝統的なスタイルが存在し，画面上にりライフ値を判断する．またここで，1 フレーム前との差分様々な情報を表示する．また対戦中には，大ダメージを与を取る事により，瞬間ダメージ量が判断できる．

える大技の発生前や発生中に，画面反転や時間停止などな試合の開始と終了は，どちらかのプレイヤーのライフゲ

んらかの特殊映像効果が用いられたり，連続攻撃やカウンージに置いたマーカー全てが false を出力，かつ中央部のターの成功などによってプレイヤーの操作技術が高いと評

マーカーが試合開始・終了を表すエフェクトを検出した場

価した場合に，それを画面中に文字を表示することによっ合に判断できる．て伝えたりすることが一般的である．

また今回扱った格闘アクションゲームでは，大技の発生

このようにゲーム状況をプレイヤーに視覚的にフィード前の瞬間に，一部を除き画面全体の明度を非常に低く変化バックする方法は，今回扱う格闘アクションゲームだけでさせる演出がなされる．これより，マーカーの大部分が低はなく，ビデオゲーム全般に多く用いられる．またこれはい画素値を検出した場合を，大技発生の直前と判断する．

最新のゲームになるほど情報量が多くなる傾向にある．こその直後に被攻撃側がダメージを受けた場合，大技の成功れにより比較的容易に映像から様々なゲーム状況を読み取の判断ができる．または大技成功のあとにはほとんどの場ることができる．

合に画面中部両端の文字情報提示ゾーンに連続攻撃回数や具体的に本稿では，ゲーム映像中の特定箇所にマーカー「Great!」などの文字情報が表示される．これをマーカーをつけて監視し，その箇所の画素値の変化からゲーム状況の画素値変化により読み取ることによっても大技成功の判を読み取る．

断が可能である．

2WIＮ

3.1 節の④文章発話が発生しやすい中休み状態の読み取

ライフゲージ９９

りは，まず予期，攻撃，被攻撃中ではない状態をそれとみ
5HIT!
Great!!

残り時間なす．また，今回の格闘アクションゲーム中の，大技成功

文字によるゲーム状況の情報提示の直後は被攻撃側はキャラクターが倒れてしまって，コマンド入力ができないダウン状態になる性質を利用しても判断する．互いに一定時間ダメージがない場合を小休止状態

プレイヤー
キャラクタ

図４

一般的なゲーム画面とみなすこともできる．
残り時間については，残り時間の最大値と，試合開始か大技発動の可否を表す
ゲージ

ら試合終了までのプログラム実行回数を対応付けすることによって判断する．

++++++++++９９ ++++++++++

５．１．映像からのゲーム状況読み取り
ゲーム映像中の図 5 にあるような位置に 1 ドットのマーカーをつけ画素値を読み取り，これがあらかじめ設定した++++

特定の値になった場合にフラグを立て，このフラグの組み合わせによりゲーム状況を判断する．格闘アクションゲー
ムのゲーム状況は，数分の１秒単位で大きく変化していく

++++

++
++

3HIT!

ため，プログラム実行速度をできるだけ早くする必要がある．それゆえ，処理速度の遅い画像のマッチング等ではな
くこの方法を用いる．さらに処理速度以外の利点として，
図５

マーカーの位置や数とフラグを立てるべき画素値の設定を変更することで，他の種類のビデオゲームにも比較的容易

マーカー付け５．２．ゲーム状況による分類との対応付けに適応できるという汎用性の高さも挙げられる．またこの

このようにして読み取ったゲーム状況と，3.1 節で分類し6

た発話音声ファイルを対応付ける．

実際に数十分，仮想対戦プレイヤーが実装された格闘アクションゲームをプレイし，読み取りの正確さの評価を行①

予期発話との対応付けった．なお，テレビ上のゲーム画面と，ＰＣから出力され前節で説明したように，大技の発生直前には，画面る残り生命などの情報のタイムラグは，0.06 秒前後であり，の明度彩度が非常に低くなる．複数のマーカーよりそ体感では遅延を感じない．の演出効果を読み取った場合に予期発話音声ファイル②

読み取る情報として最も重要な残りライフは，プレイヤを呼び出す

ーキャラクターなどによってライフゲージの残りライフと反応発話との対応付け

蓄積ダメージ量の境界部分が数フレーム以上隠れてしまう

仮想対戦プレイヤー側の残りライフゲージ部分の画場合を除き，ほぼ 100％の精度で読み取ることができた．こ

素値を読み取るマーカーを複数設置し，2 フレーム前，の読み取れない場合だが，評価中に数回しか出現せず，無1 フレーム前両方との差分があればダメージを受けた視してもよいと考える．と判断し，反応発話音声ファイルを呼び出す．現在の大技の発生については 100％の精度で検出できたが，成否マーカーの画素値と過去 2 フレーム分の画素値の差分に関しては，技の発生からダメージ発生まで時間がかかるを取ることによって，キャラクター自身等によって 1場合，また攻撃の一部しか相手に当たらなかった場合に誤フレーム間ライフゲージが隠れてしまったり，ノイズ検出が発生した．

によって 1 フレーム間不正な画素値を検出してしまっ

文字情報の読み取りに関しては，プレイヤーキャラクタた場合に対応できる．

ーや必殺技の映像や背景映像の位置変化によっては，文字また予期した攻撃が実際に成功したか失敗したかの情報の画素値と混同してしまう場合があり，総合すると 7判断は，①の予期発話呼出し後，数フレーム以内にダ割程度の精度になった．

メージがあるかないかによって判断する．
③

これらの結果より，検出ミスや誤検出，または不適切な能動発話との対応付け対応付けによって，適切ではない発話音声ファイルが 2 割プレイヤー側の残りライフゲージ部分の画素値を読程度出力された．ほとんどの場合，発話内容の解釈の仕方み取るマーカーを複数設置し，2 フレーム前，1 フレーを変えることで受け入れられる範囲であったが，中には大ム前両方との差分があればダメージを与えたと判断し，きな違和感を感じるものもあった．より細かなゲーム状況

反応発話音声ファイルを呼び出す．の読み取りと，発話音声ファイルの分類方法考案が今後の人間は能動発話を厳密には攻撃を行う一瞬前に発生課題である．

する場合が多いが，この方法により数フレーム発生が６．心理評価

遅れた場合も，遅れた感覚は感じなかった．むしろ次④

章の評価実験で，被験者が仮想対戦プレイヤー側のキ当システムの実装された格闘アクションゲームを大学生ャラクターを操作した結果，自分が言おうとしたこと

男女 15 名の被験者が体験し，アンケートに答えた．アンケを，一瞬先に仮想対戦プレイヤーに言われてしまうとートの質問内容は以下のとおりである．

いった感覚を得ており，処理遅れについて問題はない．

①

ＣＯＭが発話するのは楽しい

文章発話との対応付け②

発話がないときと比較して，ゲームを面白く感じる

文章発話の中には非常に特定された状況，例えば試③

話がないときに比べて，長くプレイできたと思う

合終了の瞬間に限定された発話内容や両プレイヤーの④ＣＯＭの心理状態変化が感じられた

ライフ差が大きいときに限定された発話内容などがあ⑤

またやってみたいと思う

る．これらはファイル 1 個単位でゲーム状況との対応⑥

違うゲームに実装されたらまたやってみたい付けを行う．例えば試合終了の瞬間であれば，中央部⑦

違う人物の声が実装されたらまたやってみたい分のマーカーが試合終了時の特殊エフェクトである「Ｋ.Ｏ.」を読み取った瞬間と対応付ける．

アンケートの回答項目は以下のとおりである．

それ以外の，ある程度状況によらず発生する文章発

１

とてもそうは思えない話については，細かな対応付けはせず，上記①②③の２

そうは思えない発話が発生する状況以外の中休み状態などのタイミン

３

なんともいえないグで，ランダムで発生させる．

４

そう思う

５

とてもそう思う

５．３．状況読み取り手法の評価

結果を図６に示す．

7

人数
質問 0510と没入度の内部パラメータを変化させ，ゲーム状況とパラ

15(人)メータに対応付けした発話音声ファイルを出力することに

①

系列
11②

系列
22を生成し，市販の格闘アクションゲームに実装した．

系列
33

人でプレイする場合に，面白さの改善において有意であっ③④

よって，人間らしい感情的発話をする仮想対戦プレイヤー
心理評価の結果，当手法は対戦型ゲームをプレイヤー1たといえる．

4
系列
4⑤

今後の課題として，現在発話音声ファイルの作成および

系列
55⑥

分類を手作業で行っており，手間がかかっているので，一部自動化をしたい．特に知人の声を簡単にシステムに取り⑦込めるような手法の考案が課題である．また，今回は格闘アクションゲームのみを扱ったが，これ以外のジャンルの図６

アンケート結果

対戦型ゲームに仮想対戦プレイヤーを一般化したい．

また自由記入形式の質問では，主に次のような感想が得他に，よりシステムの効果を上げる為に，仮想対戦プレられた．

イヤーの声の抽出元にどのような人物を用いるか，どのよ・状況判断がよい．

うな発話音声ファイルの内容やタイミングによってプレイ・タイミングがよい（反応が早くストレスを感じない）．

ヤーが面白いと感じるか，といった心理的な検証も行いた

・声の抽出もとの人物と対戦しているような錯覚を得た．

い．

・COM が喜ぶ声にむかついて，次こそは勝とうという気持・ちが生まれる．

参考文献

感情が設定されていて，変化することによって音声も[1] AIBO Official Site，http://www.jp.aibo.com/

変わるのがおもしろい．
・COM が感情的発話をするのにはつい笑ってしまう．

・

明らかに不適切な声を出したときは，不快感が湧く．

・

知人の声が実装されたものをやってみたい．

[2] 株式会社エイ・ジー・アイ，http://www.agi-web.co.jp/[3] 黒宮寧，礒田佳徳，長沼武史，倉掛正治，NTT ドコモマ
ルチメディア研究所， 日常的なインタラクションによるユーザエージェントの実現 ，第 17 回人工知能学会全国大会，2003．

アンケート結果より，仮想対戦プレイヤーはプレイヤー1[4] Hiroki

人で対戦型ゲームを行う際の面白さの改善において有意でOgawa ， Tomio

Watanabe ，InterRobot:

speech-driven embodied interaction robot

あることが確認できた．

,Advanced

Robotics, Vol.15, No.3, pp.371-377, 2001．

特筆すべき点として，①から⑤の質問に対しては，音声[5] 田中彰人，星野准一， “人間の模倣によるアクションゲー

ファイル作成元の人物の知人友人である被験者のほうが全ム AI”，情報処理学会，エンタテインメントコンピューティン

く面識のない被験者に比べて高い評価を残した．また質問

グ 2005，pp.76-81，2005.

⑦に対しては，面識のない被験者のほうが高い評価を残し[6] 深山 篤，VincentBao Pham ，大野 健彦: 視線分析にた．この結果から，発話音声ファイル抽出元のプレイヤー

基づく擬人化エージェントのユーザビリティ評価のと知人友人関係であるプレイヤーのほうが，当システムを検討, 電子情報通信学会技術報告, HIP2003-136, 2004.

おもしろく感じることが分かる．

[7] サリヴァン．H. S. 著，中井 久夫 翻訳，

これにより，さらにプレイヤー全体からの評価を上げる

精神医学的面接 ，みすず書房，1986．

手段としては，声の抽出元のプレイヤーを，プレイヤーの大半が知っているであろう芸能人や有名人に変更すること[8] 土屋昭二,竹村和久 編， 感情と行動・認知・生理 感情が考えられる．また将来的にこれをオンライン配信し，定の社会心理学 対人行動研究シリーズ④,誠信書房,1996.

期的に更新することによって，市販のビデオゲームの飽き[9] 村岡哲也， 心理物理学-心理現象と視機能の応用- ，技報堂出版，2005.

を遅延化させることができるのではないかと考えている．

[10] 御領謙， 人間の情報処理 ，サイエンス社，1985.

７．まとめと今後の課題
本研究では，ゲーム映像からゲーム状況を判断し快‑不快8