HAI シンポジウム 2013
Human-Agent Interaction Symposium 2013

S-2

回想を促すアニメエージェント：
認知症者 2 人とエージェントの複数人会話観察
An Anime Agent System for Reminiscence: Observation of Multi-Party Conversation
between the Agent and Two Individuals with Dementia
安田清 1,3 青江順一 2泓田正雄 2

Kiyoshi Yasuda1,3, Jun-ichi Aoe2, and Masao Fuketa2
1

千葉労災病院リハビリテーション科
Department of Rehabilitation, Chiba Rosai Hospital2
徳島大学工学部知能情報工学科
2
Faculty of Engineering, The University of Tokushima3
京都工芸繊維大学拡張コミュニティ研究センター
3
Augmented community AID Research Center, Kyoto Institute of Technology
1

Abstract: An agent system was developed to serve as a conversation partner for individuals with dementia. The computer screensshowed an animated face which resembled “a five-year-old grandchild.” We prepared 180 reminiscent questions. The system could
automatically detect the end of an individual’s reply to a question and began asking the next question. In the previous experiment,eight subjects with mild Alzheimer disease participated in this evaluation experiment. For same 15 questions, they replied to theagent (agent condition) and a human partner (human condition), respectively. We calculated the syllable number in the subjects’replies for the two above mentioned conditions. All the subjects uttered 74% syllables in the agent condition compared with 100%syllables in the human condition. In this experiment, five pairs of two dementia individuals conversed with this agent. The influenceof the agent for their conversation was evaluated by psychological ratings. Two pairs conversed well with this agent. On the otherhand, the agent adversely affected on the conversation of one pair. We discussed the effectiveness of this agent system for
multi-party participation.

続している症例を発見した.したがって、そのような会話支援を認知症者に行えば、不穏行動や妄想、暴言などの認知症の行動心理症状、すなわちBehavioral and Psychological Symptoms of Dementia(BPSD)を軽減でき、本人、家族、病院職員それぞれのストレスを減らせる可能性があろう．しかし、会話相手の常時提供は極めて困難である．そこで、パソコン上のアニメエージェントと認知症者が会話を行うシステムを2種類開発した[4].

1 はじめに認知症に関して、現在進行を一時的に遅らせる薬はあるが、根本的な治療薬の開発は当面見込めない[1]．一方、認知症者が他の病気を発症して一般病院に入院することが増加している．千葉労災病院の認知症支援チームが行った病院職員へのアンケートでは、同じ質問を何度もする、手術後の不穏行動などの対応に多くの労力を割かれており、通常業務が遂行できないなどの影響がでていた．
Kuwaharaら[2]、Yasudaら [3]らはテレビ電話による認知症患者への遠隔回想療法をおこなった.これは、共有画面上に“思い出”写真などを呈示し、回想的会話を行うものである.そして、テレビ番組の視聴時よりも、テレビ電話会話時の方が心理的に安定していること、さらにその安定が3時間後でも持1.1 入院患者向けエージェントの開発
入院中の認知症患者が聞きたい、あるいは訴えたい事柄の聞き取り調査を行い、それらをもとにエー
ジェントによる質問集を構成した．さらに、その質問への患者からの想定返答に対して、「はい」、「そうですか」、「わかりました」などのあいづち語を用意した．そして、入院認知症患者向けエージェント会
話システムを開発した[5,6]．
このエージェントは骨折で入院した患者を対象と∗連絡先：千葉労災病院リハビリテーション科〒290-0003 千葉県市原市辰巳台東2-16

E-mail: fwkk5911@mb.infoweb.ne.jp200

したため、男性の整形医師で白衣を着たアニメキャラクターとした（図１）．
「ここは病院です」「手術は明日です」「手術後なので歩いてはいけません」などの説得の重みを増すため、やや威厳をもたせた顔とした．
エージェントが質問をした後、患者の返答の合間に一定のタイミングで頷いたり、あるいは「そうですね」等、あいまいに答えるシステムを組みこんだ．
そして、閾値以上の大きさの音を検知している間は，患者が発話状態であるとシステムが判断した．音が検知できなくなったら、患者が話し終えたと判断し、次の質問に進んだ．
本システムの有効性を、千葉労災病院の物忘れ外来に通院中の認知症患者 13 人で評価した．MMSEの値は 11～29，平均値 22.6 で比較的軽度の方が多かった 3,4]．
会話時間は各 7 分間の計 21 分間とし、以下の 3種類モードで会話エージェントと会話した．
(1)協調的エージェント会話：対象者の発話が続いている場合は，相槌や頷きを返すことにより対象者の発話に反応し，発話音声が途切れた時に次の質問に移った．
(2)非協調的エージェント会話：対象者の発話が始まってから、10 秒後に質問を出した．対象者の発話中に相槌や頷きは行わなかった．
(3)独話エージェント会話：対象者の発話の有無にかかわらず，10 秒間隔で一方的に質問を発した．
(1)と(2)では発話量に大差はなかった．一方，(3)の独話エージェント会話に対して対象者が語りかけることは少なく，発話量も少なかった．従って，エージェントが対象者の発話終了後を検知して、次の質問に移るという方法の有効性が実証できた．
一方，対象者の発話とエージェントの発話がオーバーラップする回数を計測したところ，(1)の協調的エージェント会話では平均 1.1 回，(2)の非協調的エージェントでは，4.0 回であった．この結果から、患者は協調的エージェントと会話をする方が話しやすかったと推測した．

1.2 回想法エージェントの開発
上記実験中、患者の返答後のあと、次の質問までの時間が長過ぎると、集中力が途切れるような場面が観察された．単純に質問するのではなく，エージ
ェントが自分の話も交えながら質問する方が，より患者からの発話を引き出しやすこともわかった．また、病状や入院中の出来事のみでは話題が限定され、会話が長続きしない可能性が伺われた．さらに、興味のある話題とそうでない話題とで，発話量が大きく異なることが見られた．
したがって，対象者の性別や趣味等によって興味を持ちそうな話題を用意すれば、より広範囲で長時間、かつより楽しい会話ができる可能性が考えられた．
回想法は BPSD に対して、有効性が比較的高いとされ、もっともよく行われる認知症への心理的介入方法の一つである[1].そこで、対象を在宅や施設通所中の認知症者などにも広げた、回想法エージェント
会話システムを開発した[4]．
エージェントは高齢男女の認知症者、共に適応できるよう 4、5 才の男児のアニメキャラクターとした.
すなわち孫が祖母、祖父に昔のことを尋ねて、回想を促す設定とした（図 2）．音声は人工音声を用いた．
エージェントが話を聞いている間、一定の間隔で頷きと笑顔を見せた.

図 2: 回想法エージェント

予備実験では、マイクが廊下の会話音や歩行音などを検知、パソコンが返答中と誤認することが見られた．逆に、声の小さい患者の場合は音声検知に失敗することもあった．そこで、マイクは指向性とし、患者発話の音量、周囲の騒音に応じてマイクの感度を簡単にかえられるような設定とした．また、ため息や咳払いなどの非言語音を感知することがあった
ため、マイクはパソコン画面上部に設置、直接息が当たらないようにした.マイクと口元の距離は約30cm とした.

図 1 入院患者向けエージェント201

質問集は自分史作成本などを参照に回想を促す質問、計 120 問で構成した．それを話題別に 8 セット、各 15 問に分類した．話題は、仕事、家族、生まれ故郷、趣味などからなる．
質問はエージェントが自らの体験などを短く話す「前置き発話」と、患者に同じテーマの質問をする「本質問」からなる．例：「僕は 4 才だよ（本質問）．
あなたのお年を教えてください（本質問）」、「僕は家族みんなでドライブしているときがうれしいよ（前置き発話）．今、一番楽しいのは何をしている時ですか（本質問）」．
前置き発話と本質問の間は、2 秒に設定した.この間に発話があった場合は、発話終了まで本質問を控えた.
本質問は、特定の場所や人など返答に考える時間を要しない「簡単質問」（例：生まれた所はどこですか？）と、抽象的な内容で考える時間を要する「困難質問」（例：子供さんはどのようにしつけましたか）の 2 種類に分け、それぞれ待ち時間を設定できるようにした.
予備実験の結果、簡単質問は 3.5 秒、困難質問は 6秒に待ち時間を設定した．待ち時間は画面右上の枠内に表示し、残り秒数はその枠内の棒の収縮で表示した.
この待ち時間の間に返答がなかった場合は、一部再度同じ質問をした.返答があった場合も、一部「他にあるかな？」など追加返答を促す質問をした.
患者の返答のあと、「分かりました」、「そうでしたか」などの中性的なあいづち語を挿入した．あいずち語のあと、次の質問への間は 1 秒間に設定した.
難聴がある場合も多い. そのため、画面下部にエージェントの発語を文字で示した吹き出しを設けた.
在宅等でエージェントとの会話に、1 人で長時間没入する場合、健康への悪影響も考えられる.そこで、最大施行可能時間を設けた.この時間になると、「僕、宿題するから、今日は終わりにしましょう.」などと言って、強制的に終了した.急な来客などで、すぐに中断できるよう、強制終了ボタンを画面右下に設置した.
在宅の場合、このシステムを使うたびに起動させることは、介護者の負担となる.そこで、1 週間単位で、本システムが自動的に起動するよう簡単予約システムを設定した.また、システムが稼働していない時は、PC 画面の現在の年日時をアナログとデジタルモードで表示した.
予備実験の結果、最も応答時間が長かった上位 5
つの質問は、「父親」を筆頭に「生まれた場所」、「好きた歌」、「兄弟」、「好きな食べ物」であった．一方、202もっとも短かった下位 5 つの質問は、「食事で気をつけること」、「好きな季節」、「好きな果物」、「故郷の特産品」、「好きな楽器」であった．
印象をたずねると、多くの患者が好意的に受けとめていた.中には涙をながしながら、「こんなに楽しいものはない」と言う方もいた．
「会話相手が人間だと難しいことを聞かれないか、うまく答えられるかなどでドキドキする．でも、これは何を言っても聞いてくれるので、とても楽しい」と 30 分以上にわたり話し続ける若年性認知症患者もいた．ただし、2，3 例は「こんなのと話したくない」と途中で拒否した．
このシステムの有効性を評価した.実験参加者は 8名、MMSE は平均 18 で、約 30 の簡単質問をした.
質問の待ち時間は 3.5 秒に設定した.前後して、エージェントと同じ質問をある人間（言語聴覚士）が行った.そして、対エージェント、対人間、それぞれ患者の返答を書き起こし、音節数を数えた.
結果は、すべての患者の返答の合計を出した.エー
ジェントに対しては、8 人総計 5494 音節の返答があった.一方、対人間へは総計 7406 音節の返答があった.エージェントは人間と比較し、74％の発語を引き出せていた[4].
表 1 発話時間比較実験結果.

2 方法
現在、認知症が激増している.2008 年の推計では、2035 年に 445 万人になると予想されていたが、2013年すでに 462 万人となった.つまり、推計を 20 年前倒しして増加している.このままでは、エージェント対 1 人の認知症者では対応できなく、エージェント対複数の認知症者の会話必要となろう.特に施設などではその需要が高まると予想される.回想法エー
ジェントは対個人向けに開発したものだが、今回、複数人向けにはどのような機能が必要かを知るため、エージェント対 2 人の認知症者の会話を行い、結果を印象評価した.
今回の実験では、アニメの顔の輪郭線を細くし、やや実顔に近いものに替えた(図 3). 吹き出しもエージェントの横にだすようにした．
PC は Dell 社 Inspiron 19 インチ、マイクは指向性のものを使用した.

的に話していないか？）の 4 つの側面を 5 段階印象評価した.

3 結果
表 2 は各群の会話への 3 人の観察者の印象評価の平均である.いずれも得点が高いほど良好を示す.
表2

各群会話の心理評価平均

群

心理評価

自由１

エージェント会話

自由 2

A

会話の自然さA

会話の楽しさ

A

発話の中断

A

発話の独占率

3
3
3.3
1
2.5
5
4
5
5
4.7
3
3.3
4.6
2.3
3.3
3.3
3
4.6
4.3
3.8
3
2.6
4.6
3.6
3.4

2
2.6
2
2.3
2.2
3.6
4.6
45
4.3
1.6
2.6
2
3
2.3
3.6
3.3
4.6
3.6
3.7
1
1.3
1
1
1.0

3.3
4
3.3
2
3.1

平均

図 3 回想法エージェント新顔.

2.1 被験者
以下の初対面の 5 組がはじめ 10 分間、自由会話をしてもらった（自由会話 1）.次に 10 分間エージェン
トからの質問に答えた（エージェント会話）.その後、再びエージェンとなしで自由会話（自由会話 2）を行った.ほとんどは軽度の認知症（アルツハイマー病の疑い）と診断されていたが、軽度認知障害 (Mildcognitive Impairment)、および中度の認知症と診断されたものが一例づついた(表 2)．
表 2 症例の組み合わせ.
群

患者

性年

MMSE

患者

性年

MMSE

A
B
C
DE

Hu
Mi*
Mi*
KuIw

男女
女
男
女

77
75
75
76
78

2426262721

Om
Ka
Si
Ko
Sa

男
男
男
男
男

81
81
59
76
81

26
25
152624

B

会話の自然さB

会話の楽しさ

B

発話の中断

B

発話の独占率平均
C

会話の自然さC

会話の楽しさC

発話の中断

C発話の独占率D

会話の自然さD

会話の楽しさ

D

発話の中断

D

発話の独占率平均

平均
E

会話の自然さE

会話の楽しさ

E

発話の中断

E

発話の独占率平均
注：自由＝自由会話

注：MMSE＝Mini Mental State Examination；認知症の簡易検査で、30 点満点

非実施
非実施
非実施
非実施

3.3
3.6
2.6
1.8
2.8
3.3
3
4.0
4.3
3.6
3
3.6
4.3
4.3
3.8

太字は自由会話よりも高得点だった項目

Mi*＝同一人物

各群の会話の特徴を 3 人の評価者の観察自由記述からまとめた.

後方から会話場面を動画撮影した.そして、その動画を見ながら、3 人の健常者が、
1. 会話の自然さ（不自然な沈黙がないか、受け答えは自然か、話しの流れは自然か？）
2. 会話の楽しさ（楽しそうに会話をしているか？）
3. 会話の中断（話そうとしている又は話している最中に、次の質問をしてしまうか？）4. 発話独占率（エージェント、または 1 人が独占203

群

自由会話 1 および 2

エージェント会話

A

1 人が自慢話をし、他聞き役だった人が積極的に答え方がずっと聞き役. ある. その結果, 2 人がほぼ等しく

いずちをうっている

エージェントの質問に答えていが, 楽しんでいるかはる. 時に 1 人が答え終わると、他不明.

2 ではやはり 1の人の返答を待たずに, 次の質人の自慢話が続くが、問に行ってしまう. あるいは話聞き手がその話に質問している最中に、次の質問をしてBCDをするようになる. 聞しまう. 1 人は質問に短く答え、き手にも笑いあり.

他は長く答える傾向.

互いに自分のことを楽相手にも話させるよう互いに気しそうに話す. 相手に遣う. 3 者バランスが取れて話しも話させるよう質問している. 1 人の言ったことを他がたりして気遣う. 笑いまとめて、エージェントに伝えた多い. 2 は不実施

り, 冗談を言う. 笑い多い.

やや 1 人が多く話す.他

エージェントの質問に、答えを考は聞き役が多いがつまえていて反応が遅れる. どっちらなそうではない. 質が答えるか躊躇がある. そのう

問もする.

ち、次の質問が出てしまう.

2 でも同じ.

1，2 とも笑いは少ない

エージェントの質問を契機に、二が、自然に会話. 双方人で話しを発展させる. 結果的

自分のことを話たり、に、エージェントからの質問が少質問をしあう.

なくなる.

間を取りエージェン

トから質問を招く行為もあり.
E

やや 1 人が話すことが1 人がエージェントに答えるが、多いが, 聞き役が話し次第に黙りこむ. 他はまったくをリードしている.

答えない. （エージェントの待ち自然な会話. たまに笑

時間システムに不具合発生, 待いあり. ２では自然なち時間が短くなる. その結果、エ会話に戻る. 後半話しージェントが勝手に質問を出しがやや途切れる.

続ける.）

4 考察
予備実験や前回の実験などから、発話の終了を認識してから次の質問に移るエージェント会話は,例外はあるが, 多くの患者から好意的な評価が得られている. このシステムは臨床的にも実用性が高いと考えている. 一方で認知症者が激増していることから, 今後エージェントが複数人に対しても、司会をするなどの機能が求められる可能性がある.
今回の実験では 2 人の認知症者同士の自由会話と、エージェントを含めた 3 者会談を 5 群に行い、4 つの側面から会話内容を評価した. そして、このシステムが複数人に対しても有効なのか、より有効にするには何が必要かを予備的に検討した. 認知症者、特に複数人に対するエージェントシステムの適応として、これは最初の報告と思われる．
5 群の会話への心理評価の結果、 B 群と D 群では認知症者同士の自由会話と、エージェントを介した3 者会談で、評価点上の差はほとんどなかった. 評価の下位項目を見ると、B 群では「会話の楽しさ」が、D 群では、「会話の自然さ」と「会話の楽しさ」が自
由会話時よりも評価点が高かった. 以上から、回想を促す質問をする本システムは、複数人に対して、「会話の楽しさ」を提供できる可能性があることが204示唆された.
AC2 群の自由会話では、1 人が独占的に話し続ける傾向が見られた. しかし、エージェントとの会話では、そのような独占傾向が減っていたことが、「発話の独占」の評価点から明らかになった. 健常者の会話でも独占的に話し続ける人はよく見られるが,このシステムは, 会話の機会均等を支援する可能性が示唆された.
一方、エージェントシステムの欠点も明らかになった. 5 群のうち 4 群では、「発話の中断」の評価点がエージェント会話では低かった. エージェントが会話途中に次の質問を出してしまう、または 1 人が話し終えて他の人が話し始める前に, 次の質問をしてしまうことがしばしば見られた.
原因として、複数人だとマイクまでの距離が単独会話に比較して遠くなること、指向性のマイクであったことが考えられた. 複数人の場合にはどのようなマイクが適しているか、事前に検討すべきであった.
エージェントとの複数会話では、誰が最初に質問に答えるかを決める必要が出てくる. 複数人の間からリーダーが自然に出て決める場合（B 群）や、リーダーが決まらず互いに躊躇する傾向も見られた（C 群）.いずれにしろ、待ち時間はエージェントとの単独会話よりも長くする必要性があることが分かった.
E 群では、この待ち時間がシステムの不調から想定よりも短くなり、エージェントの質問のみが次々と出てきてしまった. 結果的に、認知症者の応答する気持ちを萎えさせたと同時に、待ち時間の重要性が明らかになった. 今後、より頑健なシステムに改良したい.
「会話の自然さ」は、4 群で評価点が低かった. エージェントは会話内容を音声認識していないため、当然の結果とも言えよう. 高齢者の場合は発音が不良なこともあり、これは今後も解決が困難であることが予想される. しかし、「会話の楽しさ」を感じられる質問をする、待ち時間のより適切な設定で「会話の中断」を減らすなどに努めれば、システム全体の有効性が向上し、結果的に「不自然さ」が相対的に下げられると考えている.
複数人の対象者がいる場合、誰から発話をしてもらうか、エージェントやロボットが発話をしてもらいたい人に向かって、顔を向ける研究などがある.
今回、そのような機能は持たせないまま実験したが、4 群では自然発生的に二人のうちの 1 人が、リーダーシップを取ってこの問題を解決していた.
ただし、C 群のように、互いに発話開始を躊躇することもあった. 今後はエージェントの顔や視線を左右に動かす機能をつける、あるいは、「他の人はどうですか？」、「まだ話していない人はいませんか？」などを言ってもよいと思われる.
今回の参加者はほとんど軽度の認知症者である、
特にエージェントが介在しなくても有効な対話が行えていた. 今後はより重度な方で、対話の継続の困難な方に行い、さらに有効性を検討する必要がある.
最後の D 群の 1 人が会話中にこのシステムへの講評をしていたので、その内容を紹介する. 「一対一で（エージェントと）話すのはもの足らない. 3，4人いても良いかもしれない. もっと認知症が重度の人向けだろう. 話しが途切れた時、話題を出してくれるのは良い」.

謝辞
回想法エージェントの開発には、(株)言語理解研究所の清藤八郎、青江真吾氏の多大なご協力があった.謹んで感謝を申し上げる.

参考文献[１] Yasuda K., Kuwabara K., Kuwahara N., et al. :Effectiveness of personalized reminiscence photo videos
for individuals

with dementia.

Neuropsychological

Rehabilitation, vol. 19, pp. 603-619, (2009)[２] Kuwahara N., Yasuda K., Tetsutani N., et al. : Remoteassistance for people with dementia at home using
reminiscence systems and a schedule prompter. Int. J.
Computers in Healthcare, vol. 1, pp. 126-143, (2010)[３] Yasuda K., Kuwahara N., Kuwabara K., et al. : Daily
assistance for individuals with dementia via videophone,
American Journal of Alzheimer’s disease and otherdementias, Vol. 28, No. 5, PP. 508-516, (2013)[４] Yasuda K., Nakano Y., Aoe J. et al. Development of anagent system for conversing with individuals withdementia, 人口知能学会抄録 CD, (2013)[５] 齋藤直子, 林佑樹, 中野有紀子ら: 認知症患者の状態把握支援のための発話内容認識手法, 人工知能学会, 2G1-4, (2013)[６] Sakai Y., Nonaka Y., Yasuda K., et al. : Listener agent for
elderly people with dementia. Proceedings of the seventh
annualACM/IEEE

internationalconferenceon

Human-Robot Interaction (HRI2012), pp.199-200, (2012)205