電気学会論文誌 C（電子・情報・システム部門誌）

IEEJ Transactions on Electronics, Information and Systems
Vol.137 No.5 pp.724–734
DOI: 10.1541/ieejeiss.137.724

論文

仮想キャラクタを用いた発話交替場面の設計と fMRI 計測
正 員

湯浅

将英∗

非会員

渡辺奈津美∗∗

非会員

豊村

暁∗∗∗

Brain Activity During Turn-Taking Using Virtual Characters: An fMRI Study on Humans
Interacting with Virtual Characters
Masahie Yuasa∗ , Member, Natsumi Watanabe∗∗ , Non-member, Akira Toyomura∗∗∗ , Non-member（2015 年 11 月 4 日受付，2017 年 1 月 14 日再受付）

In this study, we examined turn-taking behavior by measuring brain activity using functional magnetic resonanceimaging (fMRI). We developed virtual characters that exhibited turn-taking behavior. These characters displayed facial
expressions that indicated a willingness to continue talking, and regulated its timing in conversational turn-taking. We
then confirmed the validity of these behaviors through behavioral experiments that used a pseudo-conversation between
these virtual characters and human participants. In addition, we conducted an fMRI experiment where the participants
were required to read part of a scenario in a conversation with the character. The results showed that the insular cortex
and the right superior temporal gyrus were significantly activated when the character behaved properly in turn-taking.
These results suggest that the activation of the right superior temporal gyrus was related to mutual understanding. The
insular cortex has been shown to be related to empathy in previous studies. Thus, turn-taking may have a significant
role related to mutual understanding and empathy in conversation. Our experimental design and findings may provide
an objective framework for virtual character design, and contribute to the study of human conversation.
キーワード：fMRI，仮想キャラクタ，発話交替，ヒューマン・エージェント・インタラクション，非言語情報

Keywords: fMRI, virtual character, turn-taking, human-agent interaction, nonverbal information1.

調べられている (6)〜(8) 。たとえば，ある人が話し終わった後，はじめに〈1・1〉 本研究の目的：発話交替時の脳機能計測

発話が重なったり，あるいは誰も話さず沈黙したりすると気まずい雰囲気になる (7) (9) 。このように発話交替時の振る舞“あいは，その後の会話の流れや雰囲気も左右する。

る人が話し終わった後，別の人が話し出す発話の接続・移り変わり” のことを「発話交替」という。これまでに発話発話交替の会話への重要性が確かめられる一方，発話交

交替時の身振りや円滑化の仕組みを探る等，発話交替を対替時の脳活動は明らかではない。これまでに単語間や文章象とした多くの研究がされてきた (1)〜(5) 。その中で，発話交間の接続時の脳活動が調べられているが，発話間の接続で替時の振る舞い（言葉や仕草，それらの表出のタイミング

ある発話交替時の脳計測研究は進んでいない。たとえば，あ等）により，会話の盛り上がりや親密度も変化することがる単語を聞いた後，「その単語と関連が深い単語」と「全く∗関連が無い単語」を聞くときの脳活動の比較 (10)〜(13) や，文
湘南工科大学 工学部 コンピュータ応用学科〒 251-8511 神奈川県藤沢市辻堂西海岸 1-1-25

章間の「文脈が正しい文」と「正しくない文」を聞いたと
きの脳計測 (14)〜(20) が行われている。これらの多くの研究でDepartment of Applied Computer Sciences, Shonan Instituteof Technology
1-1-25, Tsujido-Nishikaigan, Fujisawa, Kanagawa 251-8511,
Japan
∗∗

は左上側頭回の関与が述べられている。Lau らや Friederici
らは，それまでの脳計測研究から，単語や文章に続くものを予期するときに左上側頭回が関与する可能性を述べてい東京電機大学 情報環境学部〒 270-1382 千葉県印西市武西学園台 2-1200

る (19) (21) † 。
一方，Stephens らは，録音した話を聞く人が話の内容をSchool of Information Environment, Tokyo Denki University
2-1200, Muzai-Gakuendai, Inzai, Chiba 270-1382, Japan
∗∗∗

より理解するときに右上側頭回が賦活する結果を報告してい群馬大学大学院 保健学研究科〒 371-8514 群馬県前橋市昭和町 3-39-22† なお，同様の実験であっても（文章間の文脈が正しいときの脳活動，左上側頭回の脳活動は見られておらず Lau ら，Friedericiなど (22)〜(25) ）らの主張は常に支持されるとはいえない。

Graduate School of Health Sciences, Gunma University
3-39-22, Showa-machi, Maebashi, Gunma 371-8514, Japanc 2017 The Institute of Electrical Engineers of Japan.
724

仮想キャラクタの発話交替時の fMRI 計測（湯浅将英，他）

る (26) 。Stephens らの結果およびそれまでの先行研究 (27)〜(29)なお，仮想キャラクタは代理に過ぎないため，実際の人とを基にして，Menenti らは話の理解と産出は右大脳半球がの差を事前に検討する必要がある。ここでは，これまでの関連している可能性を述べている (30) 。

仮想キャラクタを用いた脳計測で一定の成果が出ているこ

Stolk らは，二者間で順番を交代しながら駒を進めるボーとから本実験でも利用に問題は無いと考える。さらに，本ドゲーム時の脳計測を実施している。そして，ゲーム時に研究では，仮想キャラクタの発話交替の振る舞いについて

対話相手の考えを理解したり知識を共有したりするときに事前にアンケートで調査し，仮想キャラクタの振る舞いで

右上側頭回が活動する可能性を述べている (31) (32) 。Stolk ら

あっても発話交替としての役割（効果）を持つことを確認のゲームは自他の手（駒）を理解しながら交代し進めるもした上で，脳計測を進めることとする。

ので，相手と自分の発言を理解しつつ接続する発話交替の〈1・3〉 本研究の流れ状況に近く，本研究の実験でも同様に右上側頭回の脳活動

想キャラクタで発話交替場面とそのときの振る舞い（言葉が見られる可能性がある。

や仕草，その表出のタイミング）を作成すること，（2）作成

以上より，本研究では，（1）仮以上から，単語や文の接続と異なり，相手と自分の発言した振る舞いが発話交替としての役割（効果）を持つかをの接続であり他人も関与する発話交替時の脳計測に取り組

アンケート実験で検証すること，（3）作成した発話交替のむことで右上側頭回の賦活が捉えられるなど，新たな知見

振る舞いを用いて fMRI 計測の実施すること，の 3 段階でが得られる可能性がある。さらに，本実験より脳内におけ進めることで，発話交替時の脳活動を探る。

る会話処理のメカニズムの解明が進められる可能性がある。

次章では仮想キャラクタによる発話交替場面とそのとき

なお，言語処理のメカニズムに関しては解明が進みつつあるの振る舞いの作成を述べる。3 章では作成した振る舞いにが † ，一方で，会話処理のメカニズムの解明については，たついてアンケート実験で検証した後，4 章で fMRI 実験ととえば Menenti や Garrod らが取り組んでいるものの (34) (35) ，その結果を述べる。5 章で考察，最後に 6 章でまとめを述まだ十分とはいえない。本研究は脳内における会話処理のべる。

メカニズムの解明を目標としており，発話交替時の活動部

2.

位を調査することはその解明に繋がると考える。
〈1・2〉 仮想キャラクタを用いた脳機能計測

発話交替場面と仮想キャラクタの振る舞いの作成〈2・1〉 設計する発話交替の場面

通常脳機先行研究において，能計測をする際，人に提示する実験刺激は統制する必要が単語間では「前の出現単語と関連が深い単語」と「全く関ある。しかし，発話交替を計測対象とする際，人同士の会

連が無い単語」を聞くとき，文章間では「文脈が正しい文」

話は「いつ話が終わるのか」等，話の流れの予測は難しく，と「正しくない文」を聞いたときの脳計測が実施されてい発話交替もいつ訪れるか分からず，統制は非常に困難である。同様に発話交替においても，「話が継続される場合」おる。さらに，解析に十分なデータ数を得るためには，人によび「話が継続されにくい場合」を作成し，これらの fMRI

同じタイミングで何度か発話交替をしてもらう（同じ表情

計測結果の差分を取ることで脳活動を探る。

や視線を繰り返してもらう）必要があるが，これは現実的〈2・2〉 発話交替場面の設計ではない。

を想定し，Fig. 1 に示す対話システムを開発した。

ここでは三者での会話

そこで本研究では，これまでの脳計測で人の代理としてなお，発話交替は二者でも起こるが，三者以上の発話交用いられている「仮想キャラクタ」†† (36)〜(39) を使用し，擬替では会話参加者らが同時に話し出す場合が起こりえるた似的な会話場面を作成，仮想キャラクタの振る舞いを制御

め，「誰が話を続けるか」を会話参加者らが互いに判断・解することで発話交替時の fMRI 計測を試みる。これまでに決しようとすることが必要となる (1) (43) 。本研究では，話のバーチャルリアリティ環境が神経科学（脳計測）の実験に継続に注目しているため，話の継続・維持するための判断・応用できる可能性が述べられており(40)〜(42)，脳計測にバー

解決がより必要となる三者の発話交替を扱う。

チャルリアリティ環境の仮想キャラクタを用いたものもあ。たとえば，バーチャルリアリティ環境の中で人がFig. 1 に示すように，画面左右にキャラクタ A とキャラ
クタ B を配置し，ディスプレイ画面を前にした実験協力者

仮想キャラクタに近づくとき (36) やすれ違うときに視線が合と会話していることを想定する。作成に使用したソフトはる(36)〜(39)

うとき
響

(38)

(37)

の脳活動，仮想キャラクタの表情や対面方向の影

や見た目の影響(39)

テレビ番組制作ソフト TVML (44) である。TVML は，画面も調べられている。これらより本

上に仮想キャラクタを表示し，その動作や発話などがスク研究でも仮想キャラクタを人の代理として脳活動を探るこ

リプト（言語）で制御できるものである。合成音声（またとができると考える。

は音声ファイル）の音声レベルに合わせて口の大きさが変化する「リップシンク」も実現されており (45) (46) ，TVML 利† たとえば，脳内言語処理メカニズム (33) については，視覚的な文字

用者はキャラクタの発声と口の描画にズレを感じることなに関する形態処理，音声を処理する音韻処理，語彙を理解する意味処理の三つがあり，さらに文章であれば単語の並びの意味を処理する統語処理が加わること等が分かりつつある。
††「仮想キャラクタ（virtual character）」とはコンピュータグラフィッ
クスで作られたバーチャルリアリティ（仮想空間）環境の中で，人の代理となる人型の対話インタフェースである。

く対話を進められる (7)〜(9) 。
さらに今回の実験では，後の脳計測実験を想定し，下記の工夫をした。
（1）キャラクタと実験協力者が話す順番の固定（キャラ725

IEEJ Trans. EIS, Vol.137, No.5, 2017

仮想キャラクタの発話交替時の fMRI 計測（湯浅将英，他）

Fig. 1. The Flow of Conversation by Virtual Characters and Participant.

Fig. 2. Changes in Facial Expression.
Table 1. Stimulus 1–4
MotionTimingStimulus 1 Stimulus 2 Stimulus 3 Stimulus 4
ChangeChange No Change No Change
NaturalDelay
NaturalDelay

クタ A，キャラクタ B，実験協力者，再度キャラクタ B がを受けてキャラクタ B が「はい，全部終わらせました」と話す，の順）。

話す（Fig. 1 (2)）。次に画面下方にテロップが表示される。

（2）台本（話す言葉）の事前作成。事前に作成したセリ

このときに，Fig. 1 (3) のようにキャラクタ A とキャラクタ

フをキャラクタが話す。実験協力者が話す番になったとき

B は正面を見る（実験協力者側を見る。所謂カメラ目線になには，画面上にセリフをテロップとして表示し，実験協力る）。実験協力者はテロップ「それはよかった，今日は早く者がそれを読み上げる。

帰れますね」を自分のセリフとして読み上げ，疑似的な会話を展開する。その後，キャラクタ B の応答「はい，帰って

通常，人同士の会話では話の流れや展開は予測できず，実験での統制は困難であるため，キャラクタと実験協力者が録画したドラマを観ます」がある（Fig. 1 (4)）。最後のキャ

話す順番とセリフを決めておくことでキャラクタと人の動

ラクタ B の動作は，後述する「仕草あり (Change)」「仕草

作を統制させつつ，仮想的に発話交替状況を生み出すことなし (No change)」「普通 (Natural)」「遅い (Delay)」の 4 種とする。

類を組み合わせたもの（Table 1）のいずれかとする。キャ

会話の流れの例を Fig. 1 に示す。まず左のキャラクタ A

ラクタらの声は，あらかじめ人間の音声を録音したものをが「今日は残業ないんですか？」と話し（Fig. 1 (1)），それ利用した。なお，音声は同じ人物のものとし，実験条件ご
726

IEEJ Trans. EIS, Vol.137, No.5, 2017

仮想キャラクタの発話交替時の fMRI 計測（湯浅将英，他）

出す刺激とする。話し出すタイミングが「遅い」場合（実とに声（トーン）から受ける印象の違いは無いと考える。
実験協力者がセリフを話した後は，実験実施者（著者側）

験刺激 2 と 4）は，協力者が話し終えてから B キャラクタ

が実験協力者の発話を聞きながら手動でキーボードを押すが話し始めるまで間（0.6 秒）がある。なお，顔の CG 合ことでキャラクタ B が Fig. 1 (4) のセリフを話し出す。な成が不自然に見えない技術的な限界値が 0.6 秒であり，こお，実験者によるキーボード押下操作は遠隔で行い実験協れより短いと不自然に見えてしまうため，この値とした。

力者には見せず，事前の教示のときに “あなた（実験協力

榎本らは 1 秒以上の間があると発話交替するのは非円滑で者）の音声に反応してキャラクタが動いている” ことを強あるとしており (50) ，0.6 秒は長すぎない間に収まっている。

調して説明した。これにより，実験協力者とキャラクタがまた，これらのキャラクタの話し出すタイミング（「普通」

あたかも会話しているように思わせることが可能である。

「遅い」）の制御は，実験者側が協力者側の発話を聞きなが〈2・2・1〉 発話交替時の振る舞いの検討

らキーボード押下をすることで実現する。

本研究では，

発話交替において話をより継続することに繋がる「仕草」

3.

と「話し出すタイミング」に着目する。
「仕草」は，発話交替時に聞き手が示す態度である。会話

アンケートによる振る舞いの解釈と話の継続性の検証〈3・1〉 キャラクタの振る舞いの検証実験

参与者らは誰が話したいのか，聞きたいのか等を予測して
おり ，特に会話を継続するためには話したい態度を示す〈3・1・1〉 アンケートの評価項目

ことが重要である (8) 。たとえば，笑顔や身を乗り出すようの解釈を調べるためにアンケート実験を実施した。アンケーな仕草は話したい態度の表出であり，気持ちよく積極的にトの評価項目を選ぶために，事前に実験刺激に対するインタ

会話を進めることに繋がる。一方，無表情で会話をすれば，ビューを行い，実験刺激の特徴をあらわす評価項目を 6 つ選

あまり話をしたくない，会話を継続したくない意思表示でんだ ((a) 協調的‐対立的 (Comfortable - Uncomfortable)，(b)あり，会話継続につながらない。

テンポが良い-悪い (Natural tempo - Unnatural tempo)，(c)(2)

作成した実験刺激「話し出すタイミング」とは，次に話す人の話し出しのタ会話がやりやすい-やりにくい (Smooth - Rough)，(d) 違和

イミング（話し出すまでの間）である。長岡らは話者が切感がない-ある (Comfortable - Uncomfortable) (e) 応答がまり替わるときの間は，特定の感情表現に対して大きな影響

とも-奇妙 (Standard - Strangeness) (f) 話が噛み合っている-を与えるとしており(47)，また Trimboli は会話の種類（協調

噛み合っていない (Mutual understanding - misunderstand-

的会話，競争的会話）によって間が変わることを述べており(48)ing))。1 つの評価項目について 5 段階で評価した。さらに，
実験刺激ごとの話の継続性の違いを調べるために，「(g) 右のキャラクタは「話を続けたい」と思っているか (Character’s willingness to continue talking)」の項目を作るとともに，「(h) 右のキャラクタの言動により，あなたは「さらに話を続けたい」と感じたか (Participant’s willingness to continue talking)」を作り調べることとした。(g) と (h) の回答
は 7 段階評価とした。
実験協力者には Fig. 1 の流れでキャラクタと疑似的な会話を行ってもらう。協力者には，“キャラクタとあなたの三者会話であること”，“キャラクタは音声を聞き取りあなたの声に反応すること”，“あなたの話す内容はテロップが表示されるので，それを読むこと”，を伝えた。また，事前の，タイミングは会話を構成する重要な要素である。もし会話を違和感なくスムーズに進められるタイミングで話し出せば，会話の維持につながる (47) 。一方，話し終わっても間が空いて話し出すことや，相手が話している最中に話し出すこと，会話の維持につながらなくなる (47) 。以上の検討に基づき，次の 4 つの動作を作成し，これらの動作を組み合わせたものを実験刺激 1〜4 とする。Table 1 に組み合
わせと実験刺激 1〜4 の関係を示す。
・「仕草あり (Change)」：話したい態度の表出。気持ちよく会話を進めよう，と捉えられる。
・「仕草なし (No change)」：無表情。あまり話をしたくな
い，会話を継続したくない，と捉えられる。
・「話し出すタイミングが普通 (Natural)」 ：会話を違和

練習により，協力者が会話の流れを理解していることも確

感なく進められる適切なタイミング（間）での話し出し。

認した。キャラクタが話すセリフは同じものとし，非言語・「話し出すタイミングが遅い (Delay)」：話し終わって間動作である実験刺激 1〜4 のみを変更することとした。アン

が空いてからの話し出しで，会話を進めにくい。

ケート項目および実験刺激は実施毎にランダム順に用いた。

〈2・2・2〉 発話交替時の振る舞いの実装〈3・1・2〉 実験結果

(8) (49)

本実験で用

回答者は大学生で，評価項目 (a)を基にし，(1) 眉毛が上方に〜(f) については 17 名，(g)〜(h) については 19 人であった。

上がる，(2) 上半身と頸部がやや上に伸びる，(3) 口角（口のアンケートの結果を以下のグラフ (Fig. 3) に示す。グラフ両端）が上がる，とする。キャラクタに実装した例を Fig. 2は各アンケート項目の評価の平均値を示している。二要因いる「仕草」は，先行研究に示す。なお，この仕草は先行研究において，話したい表

被験者内計画を採用し，要因 1：仕草の有無の 2 水準，要現（発話権利を主張する表現）であることが検証されてい因 2：話し出しのタイミングの 2 水準とした分散分析を実る (8) 。

施した。

「話し出すタイミング」が「普通」の場合（実験刺激 1 とFig. 3 (a)〜(d) については，交互作用は見られず，仕草の3）は，協力者が話し終えた後すぐに B キャラクタが話し有無，話すタイミングの違いのそれぞれについて主効果が727

IEEJ Trans. EIS, Vol.137, No.5, 2017

仮想キャラクタの発話交替時の fMRI 計測（湯浅将英，他）(a) Cooperative ‐ Uncooperative(b) Natural tempo ‐ Unnatural tempo(c) Smooth ‐ Rough(d) Comfortable - Uncomfortable(e) Standard - Strangeness(f) Mutual understanding - misunderstanding(g) Character’s willingness to continue talking(h) Participant’s willingness to continue talking

Fig. 3. The Results of the behavioral experiment (The average values of questionnaire items).

見られた。グラフごとの F 値は次の通りである（括弧内は多重比較により，「仕草なし」のときに，タイミングに有意順に要因 1，要因 2 を示す）。(a) 協力的-対立的（F(1,16) =差（F(1,16)=14.22, p < .01）があった。
「話が噛み合ってい5.92, p < .05, F(1,16) = 27.78, p < .01），(b) テンポが良い-る」の評価については，4 つの実験刺激のいずれでも評価

悪い（F(1,16) = 14.93, p < .01, F(1,16) = 14.93, p <.05），

値が高いことから（いずれも平均値が 3 以上），仕草やタイ(c) 会話がやりやすい-やりにくい（F(1,16) = 16.88, p < .01,
F(1,16) = 16.64, p < .01），(d) 違和感がない-ある（F(1,16)= 14.69, p < .01, F(1,16) = 7.12, p < .05）。
なお，「(e) 応答がまとも-奇妙」については，タイミングについてのみ主効果が見られた（F(1,16) = 15.38, p < .01）
（交互作用は無し）。回答者は “応答がまともであるか” をタミングに依存せずに少なくとも「話は噛み合っている」とが見られた。多重比較により，「タイミング普通」のときに，イミングで捉えていたと考えられる。また，この平均値が「仕草」に有意差 (F(1,18 = 35.44, p < .01)，「タイミング遅2 以上であることより，タイミングが遅い場合であっても，い」のときに，「仕草」に有意傾向 (F(1,18) = 4.33, p < .10)，

奇妙（まともでない）とまでは捉えられない表現であるこ「仕草あり」のときに，「タイミング」に有意差 (F(1,18) =ともわかる。仕草についても，「仕草あり」「仕草なし」の10.26, p < .01) があった。仕草がないときにはタイミング

両方について奇妙とまでは捉えられず，いずれの場合でもによらずにキャラクタは話を続けたいようには見えないと不自然でない表現になっていることが確認できた。

考えられ，仕草の効果（話したい態度）を裏付けていると「(f) 話が噛み合っている-噛み合っていない」については考えられる。

交互作用に有意傾向（F(1,16) = 3.43, p < .10）が見られた。

「(h) 右のキャラクタの言動により，あなたは「さらに話解釈されたと考えられ，ちぐはぐな会話にはなっておらず，発話交替の振る舞いとして問題は無いと考える。
「(g) 右のキャラクタは「話を続けたい」と思っているか」については，交互作用に有意差（F(1,18) = 4.80, p < .01）

728

IEEJ Trans. EIS, Vol.137, No.5, 2017

仮想キャラクタの発話交替時の fMRI 計測（湯浅将英，他）を続けたい」と感じたか」については，交互作用は見られは当該施設の倫理審査委員会（東京電機大学ヒト生命倫理

ず，仕草の有無，話すタイミングの違いに主効果が見られ審査委員会）に承認されたものである。同じく承認されたた (F(1,18) = 20.98, p < .01, F(1,18) = 5.91, p < .05)

実験説明書と書面を用いて，実験協力者らに実験目的と内〈3・1・3〉 アンケート実験の考察
結果から実験刺激
1 は他の刺激と比べ，「協調性が高い」「テンポが良い」「会容，注意事項（リスクや個人情報の保護など）を十分に説明した後，書面により同意を得た。

話がやりやすい」「違和感がない」「話を続けたい」「あな〈4・1・3〉 実験環境

たは話を続けたい」の調査項目において有意に高いことか型 MRI スキャナ (Stratis-II)（東京電機大学千葉ニュータウ

日立メディコ製 1.5T 超伝導磁場

ら，実験刺激 1 は会話の継続の実現に即した動作表現であンキャンパスに設置）を使用した。MRI 装置内のベッド上る。一方，実験刺激 4 は他の刺激と比べていずれの評価値

で横臥した実験協力者は，プリズムメガネを装着し足元方も低く，テンポが悪く，会話がやりにくい，違和感がある向に設置したスクリーン上に映し出されるキャラクタ映像

等，会話の継続を促す可能性が低い。なお，作成した振るを見た。実験協力者には非磁性のヘッドフォンでキャラク

舞い自体に奇妙さはなく自然であり，発話交替の実験刺激

タの音声が聞こえ，実験協力者の発話も非磁性のマイクをとして問題が無いと考える。

用いて実験実施者に聞こえるようにした。アンケート実験〈3・2〉 アンケート実験のまとめ

以上の結果から，実同様，実験協力者の発話を聞きながら，実験実施者が手動

験刺激 1 は発話を継続するための仕草とタイミングが含までキーボードを押す操作をした。

れた刺激，実験刺激 4 は発話を継続しにくい仕草とタイミ〈4・1・4〉 計測方法

ングが含まれた実験刺激であることが分かった。前述（2.1

刺激を一定時間に分けるブロックデザインを用いた。Fig. 4節）のように本研究では「話が継続される場合」と「話がに 1 スキャンの構成，Fig. 5 に 1 セッションにおけるタスク

計測は，複数のタスクとレストの継続されにくい場合」で比較するため，実験刺激 1 と 4 をとレストを示す。レストではスクリーン中央に十字のマー用いて fMRI 計測を実施する。文献 (5) では，発話交替時にクを表示した。タスク刺激は Fig. 1 (1) から (4) の 1 トピッ

おいて会話参加者らは表情やそのタイミングなどの組み合クであり，1 トピックの会話の後，2 秒の間を空けて，3 秒

わせから意図や態度（話したいか）を解釈し，次に話すべで 1 スキャンの撮像をするスパース撮像法を用いた (51) 。実

き人が決まることを述べており，発話交替時の動作は仕草

験で用いたセリフは付録 1 であり，提示順による影響を無や表出タイミングが組み合わさった統合的なものといえる。

くすために，セリフはタスク内でランダムな順で用いた。1

ここでは発話交替における賦活部位を特定するため，統合タスク内では実験刺激 1 を用いて 8 スキャン，あるいは実的に発話交替の動作である実験刺激 1 と，そうでない実験

験刺激 4 を用いて 8 スキャンのどちらかとした。これらの刺激 4 を選択し，fMRI 計測により二刺激の脳賦活の差分

タスクとレストを含めて，1 セッション内で合計 52 回の脳を取ることを試みる。

画像のスキャンを行った。提示順による影響を減らすため

なお，実験結果より，作成した振る舞いは自然であり，実に実験刺激 1 と実験刺激 4 のタスクを入れ替えたセッショ験刺激として問題無いと考えられた。このことから，仮想ンも用意し，一人につき 3 セッションとした。3 セッショ

キャラクタで作った振る舞いであっても，発話交替としてン全ての計測時間は約 45 分程度であった。

十分な役割（効果）を持っていると考え，次の fMRI 計測
を進める。

4.

キャラクタとの発話交替時の fMRI 計測〈4・1〉 実験方法
〈4・1・1〉 アンケート実験からの変更点

前述のアンケートと異なり，解析のためには十分なスキャン数を得る必要がある。よって，話のトピックを追加した。追加したセリフを付録 1 に示す。各セリフの長さはなるべく同じぐらいになるように言葉／文章を選んだ。さらに音声では聞こえにくいものや実験協力者が読み上げにくいもの，読み間違いしやすいものは著者らと協力者ら（fMRI 実験協力者は含まれない）で取り除いたり言い換えをしたりする等，

Fig. 4. The composition of a topic (Utterances, an interval and a scan)

事前に十分に選別をした。また実験では，ひとつの話のト
ピックを終えるとキャラクタを別のキャラクタの姿に入れ替えることで，個別のキャラクタの姿による影響を減らすこともした。
〈4・1・2〉 実験協力者

実験協力者は大学生 8 名（20Fig. 5. Structure of a session

23 歳，平均 21.4 歳，男女 4 名ずつ）であった。実験内容
729

IEEJ Trans. EIS, Vol.137, No.5, 2017

仮想キャラクタの発話交替時の fMRI 計測（湯浅将英，他）

Fig. 6. Brain areas activated during turn-taking (Stimulus 1 > Stimulus 4)

撮影条件は次である。FOV: 240 mm × 240 mm，TR/TE:

3000 / 50.5 ms，Flip Angle: 90 deg.，断層厚さ 4.0 mm，
断層間間隔 1.0 mm。なお，EPI 画像の Voxel の大きさは3.75 × 3.75 × 5.0 mm，最大半値幅（FWHM）は 10 mm とした。撮像は EPI(Echo-Planar Imaging) - GE シーケンスでTable 2. Brain regions activated during turn-taking (uncorrected p < .001, k > 10, L=left, R=right, Stimulus 1 >Stimulus 4)
Region

Side

BA

x

y

z

Z-ScoreCerebellum

R

N/A

6

-42

-16

4.82

Cerebellum

L

N/A

-2

-36

-16

3.24

実施した。

Insula

R

13

36

12

-6

4.69

〈4・1・5〉 解析方法
複数のタスクおよびレストのBOLD 信号の強度から有意な信号を抽出し，標準脳画像にマッピングして脳画像を得た。解析手順は次である。(1)
位置合わせ（Realignment）：実験協力者の実験中の体動によるずれを補正。(2) 正規化（Normalization）：実験協力者の脳を標準脳（Talairach）へ変換。(3) 平滑化（Smoothing）：
画像に含まれたノイズを平滑化し，S/N 比を向上。(4) 統計処理（Statitics）：Voxel ごとに t-検定。これらは，医用画像解析のソフトウェア SPM8 (52) を用い，個々の被験者で得られた 2 つの条件間のコントラスト画像を用いて，集

STG

R

38

44

12

-12

3.37

Insula

R

13

44

-18

-4

4.14

Midbrain

L

N/A

-10

-16

-6

4.13

Insula

R

13

42

6

4

4.12

Insula

R

13

44

0

10

3.12

Putamen

R

N/A

26

-2

-2

4.02

Insula

R

13

40

-8

-8

3.54

Precentral gy.

R

6

56

0

8

3.89
3.53

Insula

R

13

40

-8

6

Heschl’s gy.

R

41

34

-28

12

3.47

Putamen

R

N/A

30

-26

0

3.17

(STG=Superior Temporal Gyrus, gy.=gyrus)

団解析により賦活部位を求めた。推定した賦活パターンをシェル回 (Heschl’s Gyrus) 付近，小脳にも賦活が見られた。

(53) (54)SPM{Z}Mapで表示する 3D 脳画像を作成した。
Fig. 6 に実験結果の画像と Table 2〈4・2〉 実験結果に実験刺激 1 のタスクの賦活データから実験刺激 4 のタス

計測の結果，右上側頭回に賦活が見られた。この賦活はクの賦活データを差し引いた際の賦活部位，ブロードマン

前述の Stolk らの結果 (31) (32) に対応すると考える。Stolk ら領域（BA），座標，Z-Score を示す (uncorrected p < .001）。

の実験内におけるゲームは，自他の手（駒）を理解しなが

5.

考

察

解析結果より主に右大脳半球側に賦活が見られ，右脳のら交代し進めるものであり，自分の発言とキャラクタの振島皮質 (Insula)，上側頭回 (STG) の賦活が顕著であった。

る舞いを理解しつつ接続する発話交替に似ている。Stolk ら

その他，被殻 (Putman)，中心前回 (Precentral Gyrus)，ヘッの実験と本実験を合わせて考えると，自他の行動を理解す
730

IEEJ Trans. EIS, Vol.137, No.5, 2017

仮想キャラクタの発話交替時の fMRI 計測（湯浅将英，他）る際に右上側頭回の活動が関連すると考えられる。従来研

り，発話してから時間が数秒以上経ているため，その影響究で扱われていた単語間や文章間との接続と異なり，発話は極めて少ないと考える。将来，発話直後の脳活動を捉え

交替は自他の理解を伴う接続であり，その脳活動が捉えらる実験をする際には，発話時の動きの影響を抑える工夫がれた可能性がある。

必要と考える。
本実験の会話では実験協力者はセリフを読み上げている

さらに，本実験では右島皮質に有意な賦活が見られた。島(55)〜(57)(58)〜(61)

に関する脳計測で賦活に過ぎず，どのくらい実際の人同士の自由会話に近いかをが報告されている他，視覚と聴覚の刺激を繋げるとき (62) (63)

検討する必要がある。今回の実験の目的は非言語動作の比

皮質は味覚，感情や表情(64)〜(67)，嗜好品を求めると

較であり，会話そのものに影響を与えるものではないことき (68) (69) ，意思決定時 (70) (71) 等にも関与することが報告されてから，たとえ自由な会話であっても同等であると考えられや，他人の痛みに共感するとき(72)もある。しかる。なお，本研究の前に，自由に発話をしてもらう予備実

し，本実験の 2 条件（実験刺激 1 および 4）はいずれも発験を実施している。キャラクタが話した後に，セリフを示

声を含む実験刺激であり，これらの差分を解析した際，発さずにキャラクタの発話に応じて実験協力者が自由に話し声による賦活の差は相殺されていると考えられる。よって，出すものであった。その際，キャラクタが話した後に実験

島皮質の賦活は発声に関わるものとは考えにくい。

協力者が話すべき番になっても，協力者が発話内容を思いいる。島皮質は発声にも関わるとする報告

前述のように，発話交替は自他の理解を伴うと考えると，つかずに無声になる場合や，思いつくことが遅れて発話す

島皮質の賦活は共感と関わった可能性がある。先行研究のることが起こった。このため，fMRI 実験において発話の無

痛みの共感に関する実験は，電気ショックを与えられた他い状態でスキャンしてしまったり，スキャンタイミングが人を見たときの脳計測であり (64) (65) ，共感とは相手が感じてずれてしまったりすることで，必要なスキャン数が得られいることに対して自分も同じように感じること，と考えるない可能性が考えられた。よって，本実験のセリフを用いことができる。発話が継続する場合においても，キャラクることで常に一定の会話を成立させる，という優れた利点

タの発話交替の振る舞いから “相手が話を続けたい” と思っは有用であったと考える。
本研究では，実験協力者は大学生のみであった。今後，別ていることに，自分も同じように思う，といった「共感」にの年齢層や性別の違い等も考慮し，差異が無いかを検討す近いことが交替時におこっていたとも予想できる。
以上，本研究では，(1) 発話交替は自他の理解に基づくこることが課題である。また，実験協力者数を増やすことも課と，(2) それに伴い右島皮質，右上側頭回が関与すること，題である。実験協力者数についての調査（文献 (73)）より，が示唆された。

本研究の協力者数は妥当であると考えられるが，精度をよ以上のように，実験刺激間に有意な賦活の差が見られた

り高めるため協力者を追加することも今後の課題である。

ことから，賦活に差を出すに至った実験の会話設定や手法

6.

は有用であったと考える。本実験では，仮想キャラクタにま と め

より発話交替場面を設計し，先行研究を基に「発話を継続

本論文では，仮想キャラクタを用いて，発話交替時におする／継続しにくい振る舞い」を作成し脳計測に用いるこける fMRI 計測を実施した。計測において，人により発話とで，脳活動の差分を得ることを可能とした。考察の結果，交替を再現することは困難と考え，仮想キャラクタを用い会話に重要な自他の理解に関与する脳活動の知見が得られた。仮想キャラクタで発話交替時の振る舞いを作成し，振ており，用いた手法は検証に十分であったと考える。今後，る舞いが発話交替として人に理解されるかをアンケート実

他の会話時の脳機能計測にも利用できる可能性が高いと考験で検証した。その後，作成した振る舞いを用いて fMRIえる。

計測の実施した。発話交替の際には，右島皮質，右上側頭以降，本実験における課題および制限事項を述べる。

回が関与することが示唆された。発話交替は，自他を共に今回，統制のために会話を一定時間に保ってスキャンす

理解して進める必要があり，それに基づいた脳活動が見らるブロックデザインによる実験とした。ブロックデザインれた可能性が考えられた。また，実験で用いた会話場面設ではなく「事象関連デザイン」とし，実験協力者の発話に合定や手法は有用であったと考える。今後，キャラクタの数

わせて実験刺激を変化させることや，特定の反応が得られを増やした多人数会話による追試等で，さらに発話交替のたスキャンデータを集めて解析することも考えられる。し脳活動の詳細が分かると考える。

かしながら，事象関連デザインを用いた場合は特定時しかスキャンしないため，逆にスキャン数を集めることが難し

文くなると考える。よって，今回のブロックデザインが刺激数やスキャン数を固定できることから，有効な方法であっ献（ 1 ） H. Sacks, E. Schegloﬀ, and G.A. Jeﬀerson: “A simplest systematics forthe organization of turn-taking for conversation”, Language, Vol.50, No.4,
pp.696–735 (1974)（ 2 ） S. Duncan: “Some signals and rules for taking speaking turns in conversations”, Journal of Personality and Social Psychology, Vol.23, pp.283–292(1972)（ 3 ） 小磯花絵・伝 康晴：「円滑な話者交替はいかにして成立するか—会話たと考える。
また，発話の際には顔や口の筋肉の動きが脳計測に影響する場合がある。今回は，実験協力者が発話後にキャラクタが応答し，その応答を見ているときの脳の賦活を見てお731

IEEJ Trans. EIS, Vol.137, No.5, 2017

仮想キャラクタの発話交替時の fMRI 計測（湯浅将英，他）
コーパスの分析にもとづく考察—」，認知科学，Vol.7, No.1, pp.93–106(2000)（ 4 ） 伝 康晴：「受け手になること，次話者になること - 話者交替再考」，
人工知能学会研究会資料，SIG-SLUD-A203, pp.107–112 (2003)（ 5 ） 徳永弘子・武川直樹・寺井 仁・湯浅将英・大和淳司：「会話における参与役割志向態度に基づく順番交替分析：—人の「話したい」「聞きたい」態度が次話者を決定する仕組み」，知能と情報，Vol.25,
No.5, pp.889–900 (2013) http://ci.nii.ac.jp/naid/130003384356/（ 6 ） K. Otsuka, J. Yamato, Y. Takemae, and H. Murase: “Quantifying interpersonal influence in face-to-face conversations based on visual attention patterns”, in Proc. ACM CHI Extended Abstract, pp.1175–1180 (2006)（ 7 ） 木村幸士・湯浅将英・武川直樹：「多人数エージェントによる会話の雰囲気生成—文字ばっかり読んでないで空気読め—」，HAI シンポ
ジウム 2007, 1E-3 (2007)（ 8 ） 湯浅将英・武川直樹・徳永弘子：「発話交替エージェントによる発話
義務と発話権利の表現—「話すべき」「話したい」による社会的コ
ミュニケーションモデルの提案—」，HAI シンポジウム 2011 (2011)（ 9 ） 湯浅将英，木村幸士，武川直樹，寺井 仁：「多人数エージェントの発話交替により現れる雰囲気の分析〜気まずい会話・仲良し会話〜」，信学会 HCS2010-17，pp.91–96 (2010)（10） S.A. Kotz, S.F. Cappa, D.Y. vonCramon, and A.D. Friederici: “Modulationof the lexical–semantic network by auditory semantic priming: An eventrelated functional mri study”, Neuroimage, Vol.17, No.4, pp.1761–1772(2002)（11） J. Rissman, J.C. Eliassen, and S.E. Blumstein: “An event-related fmri investigation of implicit semantic priming”, Journal of Cognitive Neuroscience,
Vol.15, No.8, pp.1160–1175 (2003)（12） D.R. Gitelman, A.C. Nobre, S. Sonty, T.B. Parrish, and M.-M. Mesulam:“Language network specializations: an analysis with parallel task designs
and functional magnetic resonance imaging”, Neuroimage, Vol.26, No.4,
pp.975–985 (2005)（13） J. Obleser and S.A. Kotz: “Expectancy constraints in degraded speech modulate the language comprehension network”, Cereb Cortex, Vol.20, No.3,
pp.633–40 (2010)（14） W. Ni, R.T. Constable, W.E. Mencl, K.R. Pugh, R.K. Fulbright, S.E. Shaywitz, B.A. Shaywitz, J.C. Gore, and D. Shankweiler: “An event-related neuroimaging study distinguishing form and content in sentence processing”,
Journal of Cognitive Neuroscience, Vol.12, No.1, pp.120–133 (2000)（15） R. Caplan and M. Dapretto: “Making sense during conversation: an fmristudy”, Neuroreport, Vol.12, No.16, pp.3625–3632 (2001)（16） E.C. Ferstl and D.Y. vonCramon: “What does the frontomedian cortex contribute to language processing: Coherence or theory of mind?”, NeuroImage, Vol.17, pp.1599–1612 (2002)（17） F.T. Sieborger, E.C. Ferstl, and D.Y. vonCramon: “Making sense of nonsense: an fmri study of task induced inference processes during discourse
comprehension”, Brain Research, Vol.1166, pp.77–91 (2007)（18） J.R. Binder, R.H. Desai, W.W. Graves, and L.L. Conant: “Where is the semantic system? a critical review and meta-analysis of 120 functional neuroimaging studies”, Cerebral Cortex, Vol.19, No.12, pp.2767–2796 (2009)（19） A.D. Friederici: “The cortical language circuit: from auditory perception
to sentence comprehension”, Trends in cognitive sciences, Vol.16, No.5,
pp.262–268 (2012)（20） K. Rothermich and S.A. Kotz: “Predictions in speech comprehension: fmri
evidence on the meter-semantic interface”, NeuroImage, Vol.70, No.15,
pp.89–100 (2013)（21） E.F. Lau, C. Phillips, and D. Poeppel: “A cortical network for semantics:(de)constructing the n400”, Nature Reviews Neuroscience, Vol.9, pp.920–
933 (2008)（22） C. Whitney, E. Jeﬀeries, and T. Kircher: “Heterogeneity of the left temporal
lobe in semantic representation and control: priming multiple versus single meanings of ambiguous words,” Cerebral Cortex, Vol.21, pp.831–844(2011)（23） G. Jobard, F. Crivello, and N. Tzourio-Mazoyer: “Evaluation of the dual
route theory of reading: a metanalysis of 35 neuroimaging studies”, NeuroImage, Vol.20, pp.693–712 (2003)（24） E.C. Ferstl, M. Rinck, and D.Y. vonCramon: “Emotional and temporal aspects of situation model processing during text comprehension: an
event-related fmri study”, Journal of Cognitive Neuroscience, Vol.17, No.5,
pp.724–739 (2005)（25） E. Maguire, C. Frith, and R. Morris: “The functional neuroanatomy ofcomprehension and memory: the importance of prior knowledge”, Brain,
Vol.122, pp.1839–1850 (1999)（26） G.J. Stephens, L.J. Silbert, and U. Hassonc: “Speaker-listener neural coupling underlies successful communication”, Academy of Sciences of theUnited States of America, Vol.107, No.32, p.14425–14430 (2010)（27） S. Bookheimer: “Functional mri of language: New approaches to under-

standing the cortical organization of semantic processing”, Annual Review
of Neuroscience, Vol.25, pp.151–188 (2002)（28） K.D. Federmeier: “Thinking ahead: The role and roots of prediction in language comprehension”, Psychophysiology, Vol.44, pp.491–505 (2007)（29） M. Jung-Beeman: “Bilateral brain processes for comprehending natural language”, Trends in Cognitive Sciences, Vol.9, pp.512–518 (2005)（30） K.S. Laura Menenti, S.M.E. Gierhan, and P. Hagoort: “Shared language:
Overlap and segregation of the neuronal infrastructure for speaking and listening revealed by functional mri,” Psychological Science, Vol.22, No.9,
pp.1173–1182 (2011)（31） A. Stolk, L. Verhagen, J.-M. Schoﬀelen, R. Oostenveld, M. Blokpoel, P.
Hagoort, I. vanRooij, and I. Toni: “Neural mechanisms of communicative
innovation”, Proceedings of the National Academy of Sciences of the UnitedStates of America, Vol.110, No.36, pp.14574–14579 (2013)（32） A. Stolk, M.L. Noordzij, L. Verhagen, I. Volman, J.-M. Schoﬀelen, R.
Oostenveld, P. Hagoort, and I. Toni: “Cerebral coherence between communicators marks the emergence of meaning”, Proceedings of the National
Academy of Sciences of the United States of America, Vol.111, No.51,
pp.18183–18188 (2014)（33） 藤巻則夫・早川友恵：「言語処理の脳活動及び解析方法」，情報通信研究機構季報，Vol.50, No.3, pp.45–62 (2004)（34） S. Garrod and M.J. Pickering: “Why is conversation so easy?”, Trends in
Cognitive Sciences, Vol.8, No.1, pp.8–11 (2004)（35） L. Menenti, M.J. Pickering, and S.C. Garrod: “Toward a neural basis ofinteractive alignment in conversation”, Frontiers in Human Neuroscience,
Vol.6, No.185 (2012)（36） J.P. Morris, K.A. Pelphrey, and G. McCarthy: “Regional brain activation
evoked when approaching a virtual human on a virtual walk”, Journal of
Cognitive Neuroscience, Vol.17, No.11, pp.1744–1752 (2005)（37） K.A. Pelphrey, R.J. Viola, and G. McCarthy: “When strangers pass - processing of mutual and averted social gaze in the superior temporal sulcus-”,
Psychological Science, Vol.15, No.9, pp.598–603 (2004)（38） L. Schilbach, A.M. Wohlschlaeger, N.C. Kraemer, A. Newen, N.J. Shah,
G.R. Fink, and K. Vogeley: “Being with virtual others: Neural correlates ofsocial interaction”, Neuropsychologia, Vol.44, No.5, pp.718–730 (2006)（39） I. Benbasat, A. Dimoka, P.A. Pavlou, and L. Qiu: “Incorporating social
presence in the design of the anthropomorphic interface of recommendation agents: Insights from an fmri study”, Proc. of International Conferenceon Information Systems (ICIS), p.228 (2010)（40） M.J. Tarr and W.H. Warren: “Virtual reality in behavioral neuroscience andbeyond”, Nature Neuroscience, Vol.5, pp.1089–1092 (2002)（41） R. Adolphs: “Cognitive neuroscience of human social behaviour”, Nature
Reviews Neuroscience, Vol.4, pp.165–178 (2003)（42） M.V. Sanchez-Vives and M. Slater: “From presence to consciousness
through virtual reality”, Nature Reviews Neuroscience, Vol.6, pp.332–339(2005)（43） 榎本美香：「多人数インタラクションの多様性とダイナミズム−多人数インタラクションでは何が多くなるのか？」，社会言語科学，Vol.9,
No.2, pp.154–158 (2007)（44） NHK 放送技術研究所：TVML プレイヤー「ユーザーカスタマイズ可能なテレビの検討」，（45） 平谷淳一・林 正樹：情報処理学会全国大会講演予稿集，8U-04 (2001)（46） 林 正樹・折原 豊・下田 茂・上田博唯・横山敏明・八重樫一仁・
栗原恒弥・安村通晃：「テレビ番組記述言語 TVML の言語仕様と CG
記述方法」，第 3 回知能情報メディアシンポジウム，pp.75–80 (1997)（47） 長岡千賀・小森政嗣・M.R. Draguna・河瀬 諭・結城牧子・片岡智嗣・中村敏枝：「協調的対話における音声行動の 2 者間の一致–意見固持型対話と聞き入れ型対話の比較–」，ヒューマンインタフェース
シンポジウム 2013 論文集，pp.167–170 (2004)（48） C. Trimboli and M.B. Walker: “Switching pauses in cooperative and competitive conversations”, Journal of Experimental Social Psychology, Vol.20,
No.4, pp.297–311 (1984)（49） M. Yuasa, N. Mukawa, K. Kimura, H. Tokunaga, and H. Terai: “An utterance attitude model in human-agent communication: From good turntaking to better human-agent understanding”, Proc. of CHI Extended Abstracts 2010, pp.3919–3924 (2010)（50） 榎本美香・伝 康晴：「3 人会話における参与役割の交替に関わる非言語行動の分析」，人工知能学会研究会資料，Vol.SIG-SLUD-A301，
pp.25–30 (2003)（51） D.A. Hall, M.P. Haggard, M.A. Akeroyd, A.R. Palmer, A.Q. Summerfield,
M.R. Elliott, E.M. Gurney, and R.W. Bowtell, ““sparse” temporal samplingin auditory fmri”, Human Brain Mapping, Vol.7, pp.213–223 (1999)（52） SPM, “http://www.fil.ion.ucl.ac.uk/spm/”.
（53） 石井一成：「脳機能画像統計解析—spm と 3d-ssp—」，最新医学，Vol.60,
No.5, pp.980–987 (2005)（54） 河村誠治・上野雄文：「脳核医学および fmri における統計学的画像

732

IEEJ Trans. EIS, Vol.137, No.5, 2017

仮想キャラクタの発話交替時の fMRI 計測（湯浅将英，他）

B：コメディーをよく観ます
C：コメディーなら水曜に面白いものがやってますよ
B：ほんとですか，次から観てみます
A：研究はどのくらい進んでいますか？
B：この前実験した結果をまとめています
C：研究が順調に進んでいるみたいでよかったですね
B：はい，順調に進んでよかったです
A：報告は明日ですが大丈夫ですか？
B：これは今日中にはまとめ終わると思います
C：じゃあ明日の報告を楽しみにしていますね
B：どうもありがとうございます
A：この前観た映画面白かったですね
B：迫力のあるアクション映画でした
C：特に主人公の演技がかっこよかったですね
B：はい，演技がとてもよかったです。
A：ストーリーもよくできていましたね
B：そうですね，面白い設定でした
C：また面白そうな映画があったら行きましょう
B：そうですね，一緒に行きましょう
A：日曜日の出勤はないんですか？
B：ありません，お休みをもらいました。
C：それは良かった，休日を楽しんでください
B：はい，スポーツをしたいと思います。
A：何のスポーツをやるんですか？
B：バスケットボールをします。
C：バスケットなら鈴木さんもやっていたかもしれません。
B：そうなんですか？今度きいてみます
A：昨日は朝からすごい雨でしたね
B：そうですね，出かけるのが大変でした
C：でも，夕方には虹が出ていましたね
B：私も見ました，きれいな虹でしたね
A：どのあたりに見えましたか？
B：スカイツリーの近くに見えましたよ
C：思わず写真を撮ってしましました
B：いいですね，今度見せてください
A：やっと課題が終わりましたね
B：終わりましたね，二か月は長かったです
C：グループワークは難しいですね
B：そうですよね，難しかったです
A：最後のプレゼンはうまくいきましたね
B：私は少し間違えてしまいました
C：次からまた頑張りましょう
B：そうですね，次も頑張りましょう
A：昨日は何を食べましたか？
B：いつものラーメン屋さんに行きました
C：最近，新しいお店が出来ましたよ
B：そうなんですか？今度行ってみます
A：昨日はオムライスを作って食べました
B：自分で作るのは大変そうですね

解析法」，日本放射線技術学会雑誌，Vol.59, No.5, pp.594–603 (2003)（55） B. Cerf-Ducastel, P.-F.V. deMoortele, P. MacLeod, D.L. Bihan, and A. Faurion: “Interaction of gustatory and lingual somatosensory perceptions at thecortical level in the human: a functional magnetic resonance imaging study”,
Chemical senses, Vol.26, No.4, pp.371–383 (2001)（56） K. Rudenga, B. Green, D. Nachtigal, and D. Small: “Evidence for an integrated oral sensory module in the human anterior ventral insula”, Chemical
senses, Vol.25, No.8, pp.693–703 (2010)（57） M. Saito, H. Toyoda, S. Kawakami, H. Sato, Y. Bae, and Y. Kang: “Capsaicin induces theta-band synchronization between gustatory and autonomic
insular cortices”, The Journal of Neuroscience, Vol.32, No.39, pp.13470–
13487 (2012)（58） A.R. Damasio, T.J. Grabowski, A. Bechara, H. Damasio, L.L. Ponto, J.
Parvizi, and R.D. Hichwa: “Subcortical and cortical brain activity during
the feeling of self-generated emotions”, Nature neuroscience, Vol.3, No.10,
pp.1049–1056 (2000)（59） A. Craig: “Interoception: the sense of the physiological condition of thebody”, Current opinion in neurobiology, Vol.13, No.4, pp.500–505 (2003)（60） N. Tsuchiya and R. Adolphs: “Emotion and consciousness”, Trends in Cognitive Sciences, Vol.11, No.4, pp.158–167 (2007)（61） 寺澤悠理・梅田 聡・斎藤文恵・加藤元一郎：「右島皮質損傷によってネガティブ表情の識別に混乱を示した一例」，高次脳機能研究，
Vol.30, No.2, pp.349–358 (2010)（62） K.O. Bushara, J. Grafman, and M. Hallett: “Neural correlates of auditoryvisual stimulus onset asynchrony detection”, The Journal of Neuroscience,
Vol.21, No.1, pp.300–304 (2001)（63） K.O. Bushara, T. Hanakawa, I. Immisch, K. Toma, K. Kansaku, and M.
Hallett: “Neural correlates of cross-modal binding”, Nature Neuroscience,
Vol.6, No.2, pp.190–195 (2003)（64） 有田秀穂：「他者の痛みに共感する」，pp.14–17，中外医学社，人間性のニューロサイエンス–前頭前野，帯状回，島皮質の生理学– (2011)（65） CA. Brown, B. Seymour, W. El-Deredy, and A.K. Jones: “Confidence inbeliefs about pain predicts expectancy eﬀects on pain perception and anticipatory processing in right anterior insula”, Pain, Vol.139, No.2, pp.324–332(2008)（66） O. FeldmanHall, T. Dalgleish, R. Thompson, D. Evans, S. Schweizer, and
D. Mobbs: “Diﬀerential neural circuitry and self-interest in real vs hypothetical moral decisions”, Social Cognitive and Aﬀective Neuroscience, Vol.7,
No.7, pp.743–751 (2012)（67） T. Singer, B. Seymour, O’Doherty J., H. Kaube, R.J. Dolan, and C.D. Frith:“Empathy for pain involves the aﬀective but not sensory components ofpain”, Science, Vol.303, pp.1157–1162 (2004)（68） A. Brody, M. Mandelkern, E. London, A. Childress, G. Lee, R. Bota, M.
Ho, S. Saxena, L.J. Baxter, D. Madsen, and M. Jarvik: “Brain metabolicchanges during cigarette craving”, Archives of general psychiatry, Vol.59,
No.12, pp.1162–1172 (2002)（69） H. Myrick, R.F. Anton, X. Li, S. Henderson, D. Drobes, K. Voronin, and
M.S. George: “Diﬀerential brain activity in alcoholics and social drinkers toalcohol cues: Relationship to craving”, Neuropsychopharmacology, Vol.29,
No.2, pp.393–402 (2004)（70） M. Paulus, C. Rogalsky, A. Simmons, J. Feinstein, and M. Stein: “Increased
activation in the right insula during risk-taking decision making is related
to harm avoidance and neuroticism”, Neuroimage, Vol.19, No.4, pp.1439–
1448 (2003)（71） L. Clark, A. Lawrence, F. Astley-Jones, and N. Gray: “Gambling nearmisses enhance motivation to gamble and recruit win-related brain circuitry”, Neuron, Vol.61, No.3, pp.481–490 (2009)（72） H. Ackermann and A. Riecker: “The contribution(s) of the insula to speech
production: a review of the clinical and functional imaging literature”, Brain
Structure and Function, Vol.214, No.5, pp.419–433 (2010)（73） 小谷賢太郎：「人間特性評価論文をどう書くべきか」，ヒューマンイ
ンタフェース学会誌，Vol.13, No.3, pp.147–150 (2011)

付
1.

録

実験で用いたセリフ（A,B は左右のキャラクタ，C は実験協力者）

A：今日は残業ないんですか？
B：はい，全部終わらせました
C：それは良かった，今日は早く帰れますね
B：はい，帰って録画したドラマを観ます
A：どんなドラマが好きなんですか？
733

IEEJ Trans. EIS, Vol.137, No.5, 2017

仮想キャラクタの発話交替時の fMRI 計測（湯浅将英，他）

C：自分で作ってみると味は違いますよ
B：そうなんですか？私も今度作ってみます
A：眠そうですね，大丈夫ですか
B：昨日，寝るのが遅くなってしまいました
C：今日は早く寝てゆっくり休んでください
B：ありがとうございます，そうします
A：遅くまで何をやっていたんですか
B：レポートを終わらせていました
C：後で見せてもらっても良いですか？
B：いいですよ，どうぞ参考にしてください(以降，著者情報)734

IEEJ Trans. EIS, Vol.137, No.5, 2017