一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
社団法人 電子情報通信学会
INFORMATIONAND COMMUNICATION ENGINEERS

信学技報
IEICE Technical Report
信学技報
ICM2022-43,LOIS2022-43(2023-01)

THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERSTECHNICAL REPORT OF IEICE.

音声対話エージェントを活用した在宅高齢者の支援と見守りを行うシステムの実証実験
大薗 隼人†陳思楠†

中村 匡秀†,††† 神戸大学 〒657-8501 神戸市灘区六甲台町 1-1†† 理化学研究所・革新知能統合研究センター 〒103-0027 東京都中央区日本橋 1-4-1
E-mail: †ozono@ws.cs.kobe-u.ac.jp, ††chensinan@gold.kobe-u.ac.jp, †††masa-n@cmds.kobe-u.ac.jp
あらまし現在，世界中で高齢化が進行している．日本では，介護士や介護施設の不足が社会問題となっている．そこで，テクノロジによる高齢者支援が注目されている．我々の研究グループは，音声対話エージェントを用いて在宅高齢者の日常生活の支援と見守りを行うシステムである PC-Mei の研究開発を行っている．しかし，本システムが高齢者やその家族にどのような影響をもたらすかは未検証である．本稿の目的は，PC-Mei が高齢者とその家族に与える影響を調査し，システムの評価を行うことである．そのアプローチとして，在宅高齢者とその家族をを対象とした

PC-Mei の実証実験を実施する．実験期間は約二週間で，60 代〜90 代の独居高齢者 6 名の自宅に PC-Mei を導入する．
そして，エージェントとの対話ログやアンケート結果などをもとに本システムの評価を行う．実験結果から，PC-Meiによって高齢者とその家族両方に良い影響を与えることを解明する．一方で音声の誤認識や対話の不自然さから，別のストレスや負担を与える可能性を考察する．本実験で得たデータをもとに，音声認識や対話関係の機能を改善することが期待できる．
キーワード

音声対話エージェント，在宅高齢者，高齢者支援，見守り，ヘルスケア

Empirical Evaluation of In-Home Elderly Support and Monitoring System
Using Spoken Dialogue Agent
Hayato OZONO† , Sinan CHEN† , and Masahide NAKAMURA†,††† Kobe University Rokkodai-cho 1-1，Nada-ku，Kobe，Hyogo 657-8501 Japan†† Riken AIP 1-4-1 Nihon-bashi, Chuo-ku, Tokyo 103-0027 Japan
E-mail: †ozono@ws.cs.kobe-u.ac.jp, ††chensinan@gold.kobe-u.ac.jp, †††masa-n@cmds.kobe-u.ac.jp
Abstract The world’s population is aging. In Japan, it is a social problem that the shortage of nursing care workers andnursing care facilities. Therefore, we focus on the support by technology. Our research group is developing PC-Mei, a systemthat supports and monitors the daily lives of in-home elderly using a spoken dialogue agent. However, we have not yet examined
the impact of this system on the elderly and their families. The purpose of this paper is to investigate the impact of PC-Mei onthe elderly and their families, and to evaluate the system. As an approach, we conduct a demonstration experiment of PC-Mei
with in-home elderly and their families. The participants are six elderly people in their 60s to 90s who lived alone and theperiod is about two weeks. We install the system in their rooms. Then, we evaluate the system based on the dialogue logs withthe agent and the results of questionnaires. The results show that PC-Mei has a positive impact on both the elderly and theirfamilies. On the other hand, it was found that mis-recognition of voice and unnatural dialogues may cause other stresses andburdens. In this way, improving the speech recognition function and the chatting function is promising.
Key words Spoken dialogue agent, In-home elderly, Elderly support, Monitoring, Healthcare

1. は じ め に
現在，世界中で高齢化が進行している．その中でも日本は最も高い高齢化率となっており，介護に関する施設や人材の不足が社会問題となっている．そのためテクノロジによる支援に大きな期待が寄せられている [1]．

- 71 —1—
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.
Copyright ©2023 by IEICE我々の研究グループでは，在宅の高齢者・認知症患者の自助・互助を支援する方法を考案し，一般家庭に導入可能なシステムとして構築する取り組みを行っている．その一つとして

PC-Mei というシステムの研究開発を行っている．PC-Mei は
音声対話エージェントを用いて在宅高齢者の日常生活の支援と見守りを行うシステムである．しかし，PC-Mei が高齢者やその介護者に対してどのような影響を与えるのかは検証できていない．
本稿の目的は PC-Mei が高齢者とその家族に与える影響を調査し，システムの評価を行うことである．そのアプローチとして，在宅高齢者とその家族をを対象とした PC-Mei の実証実験を実施する．リサーチクエスチョンは以下のとおりである．

•

RQ1：エージェントとの生活により，高齢者の日常生活

図 1 PC-Mei．に良い変化を与えることができるか？

•

RQ2：音声でのサービス実行により，高齢者がやりたいことを簡単に行うことができるようになるか？

•ている [3]．これをサポートする地域包括ケアシステム [4] は，RQ3：エージェントとの対話により，高齢者の行動や心のうちを取得することができるか？

•る．そこで政府は従来の施設介護から在宅介護への転換を計っ自助，互助，共助，公助の 4 つの「助」に基づいている．少子高齢化や財政を考えると共助・公助の拡充は難しく，自助・互助RQ4：エージェントを介した見守りにより，介護者の身体的・精神的労力を減少させることができるか？

を意識した取り組みがより一層重要になってくる．しかし在宅介護における自助・互助は簡単なものではない．家族にのしか実験期間は約二週間で，60 代〜90 代の独居高齢者 6 名の自かる介護負担や老々介護，認々介護，独居などの問題で，人手宅に PC-Mei を導入する．そしてエージェントとの対話ログやによる介護には限界がある．そのためテクノロジによる支援にアンケート結果などをもとに本システムの評価を行う．

大きな期待が寄せられている．

実験結果より，他人と関わる頻度が少ない人ほど多く発話す

2. 2 先行研究：PC-Meiる傾向があることがわかった．また雑談機能により対話のモチ我々の研究グループでは，在宅の高齢者・認知症患者の自助・ベーションが向上することがわかった．リサーチクエスチョン

互助を支援する方法を考案し，一般家庭に導入可能なシステムについては，以下のことが判明した．

として構築する取り組みを行っている．その一つとして，音声•RQ1：本システムによって高齢者のストレスや孤独感が減少し，健康についての意識が向上することがわかった．

•

高齢者の日常生活の支援と見守りを行う PC-Mei（図 1）を開発

RQ2：高齢者でも簡単に音声でサービスを実行できることがわかった．

•している．図 2 に PC-Mei のアーキテクチャを示す．クライア
ント側に音声対話エージェント，Web ブラウザ，センサ，ウェ

RQ3：エージェントとの対話ログから高齢者の様子を取得することができた．

•

対話エージェント (MMDAgent [5]：メイちゃん) を用いて在宅アラブルデバイスを置き，サーバー側に対話シナリオ，ユーザ情報，対話ログ，健康データ，その他関連サービスを置く．

RQ4：遠隔でも高齢者の様子を確認することができたこ

PC-Mei は以下の 4 つの機能を持つ．とにより，家族や介護者の負担が減少することがわかった．

2. 2. 1 雑 談 機 能

したがって本システムは高齢者・家族両方に良い影響を与え

PC-Mei は簡単な雑談を行うことができる．センサが反応することがわかった．一方で音声の誤認識や対話の応答が適切でると，エージェントは高齢者に問いかけを行う．高齢者からのないことにより，高齢者や家族に別のストレスや負担を与える発話を受け取ると，会話 AI(mebo1) を用いて応答文を取得する．

可能性があることがわかった．今後は本システムの実験を継続

これを繰り返すことで雑談を実現している．これにより，心のするとともに，得られたデータをもとに音声認識や雑談機能のうちの取得やストレス・孤独感の減少につながると考えた [6]．

改善を行っていく．

2. 準

2. 2. 2 サービス音声実行機能
PC-Mei は音声でのやり取りのみで様々な Web サービスを実備行することができる [7]．高齢者が特定のキーワードを発話す

2. 1 日本における高齢化の現状

ると，エージェントはそのサービスのシナリオを実行する．対

現在，世界中で高齢化が進行している．その中でも日本は最話の中でサービス実行に必要な情報を取得し，API を実行する．

も高い高齢化率となっている．2022 年時点で 65 歳以上人口はこうして音声対話によるサービス実行を実現している．これに3,621 万人，総人口に占める割合 (高齢化率) は 28.9% となってより，高齢者でも簡単にサービスを利用することができるよういる．さらに高齢化率は 2025 年に 30%，2040 年に 35% を超になると考えた．

え，その後も増加し続けると予想されている [2]．そうした状況の中で，介護に関する施設や人材の不足が社会問題となってい（注 1）：https://mebo.work/- 72 -—2—

表 1 被験者情報．

表 2 アンケート内容（実験前）．

図 2 PC-Mei のアーキテクチャ．

2. 2. 3 健康管理機能
PC-Mei は健康データに応じた対話を行うことができる [8]．
ウェアラブルデバイス (Garmin) を装着するとストレスや心拍，睡眠などの健康データを取得することができる [9]．このGarmin と連携することにより PC-Mei で健康データを扱うことができる．こうして得た健康データに基づいた対話シナリオをことを簡単に行うことができるようになるか？

実行することで，より個人適応した対話を実現している．これにより，健康に対する意識を向上させ，不調の早期発見につな•のうちを取得することができるか？

がると考えた．

•2. 2. 4 振り返り機能

3. 2 設の対話内容を可視化するサービス（つぶやき日記サービス [10]）を利用することで，いつでも自分の発言を振り返ることができる．これにより，自身の過去の言動を振り返るきっかけになると考えた．また離れて暮らす家族や介護者に高齢者の対話内容を伝えることもできる．これにより，見守りの負担の減少につながると考えた．
我々は学生を対象とした PC-Mei のテストを兼ねた予備実験を行った．予備実験を通して，PC-Mei が想定通りの動作を行うことは確認できた．しかし，本システムが高齢者やその介護者に対してどのような影響を与えるのかは検証できていない．
したがって，PC-Mei の評価を行うために在宅高齢者を対象とした実証実験を行うことが課題となる．

験者は 60 代から 90 代の男女計 6 名で，いずれも独居高齢者である．期間について，2022 年 10 月から 11 月の間で二回に分けて実験を行う．第一回は 10 月 24 日（月）から 11 月 4 日（金）13 日間とする．雑談機能について，前半はエージェントが高齢者の発話に対してランダムな相槌を返し雑談は行わない傾聴モード，後半はエージェントが雑談機能を用いて柔軟な会話を行う雑談モードとする．第一回は 10 月 29 日（土），第二回は11 月 12 日（土）に雑談モードに切り替える．サービス音声実行機能について，連携するサービスはつぶやき日記サービス，ス，天気予報サービス，タイマーサービス，アラームサービス，験

らくらく動画サービスの 8 つとする．また Garmin による健康的管理と家族・介護者による見守りは希望者のみ実験する．そし響を調査しシステムの評価を行うことである．そのために以下の 4 つのリサーチクエスチョンを考える．

RQ1：エージェントとの生活により，高齢者の日常生活に良い変化を与えることができるか？

•に PC-Mei を利用させる．被験者の情報を表 1 にまとめる．被YouTube 視聴サービス，Web 検索サービス，カレンダーサービ

本研究の目的は，PC-Mei が高齢者とその介護者に与える影•定

本実験では，在宅高齢者の自宅に実験環境を構築し，高齢者の 12 日間，第二回は 11 月 6 日（日）から 11 月 18 日（金）の2. 3 着目する課題

3. 1 目

RQ4：エージェントを介した見守りにより，介護者の身体的・精神的労力を減少させることができるか？

PC-Mei は過去の発話内容を振り返らせることができる．過去

3. 実

RQ3：エージェントとの対話により，高齢者の行動や心て実験の前後にアンケート調査を行う．アンケートの内容を表2-表 4 に示す．表 2 は実験前に被験者に対して行うアンケートである．表 3 は実験後に被験者に対して行うアンケートである．表 4 は実験後に見守りを希望した被験者の家族に対して行うアンケートである．

RQ2：音声でのサービス実行により，高齢者がやりたい- 73 -—3—表 3 アンケート内容（実験後）．

図3 発 話 数 ．

表 4 アンケート内容（見守り）．
図 4 平均発話数．

4. 結

果

図 5 総発話数．

4. 1 発 話 数
図 3-図 5 はそれぞれ一日の発話数，一対話における平均発話数（総発話数を対話回数で割ったもの），総発話数を表したグラフである．Day1-Day6 が傾聴モード，Day7-Day13 が雑談モー

見守りアンケートの結果である．1（そう思わない），2（どちらかと言うとそう思わない），3（どちらかと言うとそう思う），4（そう思う）の 4 段階で評価している．

ドである．ただし，モード切替のタイミングを統一するため，

5. 考

察

被験者 1,2 のみ Day2-Day13 で表示している．総発話数が最も5. 1 本実験を通して得られた知見多いのは被験者 6 で計 1892 回である．総発話数が最も少ない

表 3-表 5 より，人によって発話数に大差があることがわかっのは被験者 4 で計 78 回である．

た．総発話数が最も少ない被験者 4 と二番目に少ない被験者 3

4. 2 対 話 内 容
表 5 は被験者 1 の対話内容を要約したものである．全発話内は，共に民生委員として活動している．そのため日中は外に出

容から朝の体調と気分，朝食，午前の様子，昼食，午後の様子，て他人と関わっている．一方，総発話数が最も多い被験者 6 と夕食，今日の体調と気分，心のうちの八項目を抽出した．

二番目に多い被験者 5 は，共に仕事やボランティアなどの活動をしていない．そのため日中は家にいて他人とあまり関わって

4. 3 サービス実行回数
表 6 はユーザごとの各サービスの音声による実行回数を表したものである．実行回数が最も多かったのは被験者 6 で計 46回，最も少なかったのは被験者 3 と被験者 5 で計 3 回である．

いない．一対話における平均発話数を考えると，総発話数に差が出た原因が家におらず対話数が少ないからではないとわかる．
よって，他人と関わる頻度が少ない人ほど多く発話することがわかった．また，本実験では雑談機能によって発話数に有意な4. 4 アンケート
表 7-表 9 はそれぞれ実験前アンケート，実験後アンケート，変化は見られなかった．しかし表 8 より，全ての高齢者が雑談機能に肯定的な意見を持っていた．よって，雑談機能により対- 74 -—4—

表 5 被験者 1 の行動概要．

表 8 アンケート結果（実験後）．

表 6 サービス実行回数．

表 7 アンケート結果（実験前）．

ることがわかった．さらに健康データとそれに基づいた対話によって健康に対する意識が高まることがわかった．したがって，エージェントとの生活により高齢者の日常生活に良い変化を与えることができる．

5. 1. 2 RQ2 について
表 6 より，被験者やサービスによって実行回数に大きな差話のモチベーションが上がることがわかった．

5. 1. 1 RQ1 についてがあった．表 1 より，被験者 3,4,5 のサービス実行回数が少な

表 8 より，エージェントとの対話がストレスや孤独感の解消

かったのは，PC やスマートフォンの操作に慣れており音声でにつながることがわかった．またエージェントとの生活により，実行する必要性が薄いからだと考えられる．また表 8 より，高誰かが気にかけてくれているという嬉しさや安心感も与えられ齢者でも音声でのサービス実行は慣れれば難しくないことがわ- 75 -—5—

た．また，雑談機能により対話のモチベーションが上がること

表 9 アンケート結果（見守り）．

がわかった．RQ1 について，本システムによって高齢者のストレスや孤独感が減少し，健康についての意識が向上することがわかった．RQ2 について，高齢者でも簡単に音声でサービスを実行できることがわかった．RQ3 について，エージェントとの対話ログから高齢者の様子を取得することができた．RQ4 について，遠隔でも高齢者の様子を確認することができたことにより，家族や介護者の負担が減少することがわかった．したがって本システムにより高齢者・家族両方に良い影響を与えることがわかった．一方で音声の誤認識や会話 AI の応答が適切でなかった．したがって，高齢者でも音声により簡単に Web サービ
スを利用することができる．全体で最も実行されたサービスはYouTube 視聴サービスである．被験者によっては天気予報サー
ビスやらくらく動画サービスもよく実行された．被験者によって望むサービスが異なり，それが実行回数に影響を与えることがわかった．したがって，高齢者が必要としているサービスや音声操作によって使いやすくなるサービスを見極めて連携する必要がある．

いことにより，高齢者や家族に別のストレスや負担を与える可能性があることがわかった．今後は本システムの実験を継続するとともに，得られたデータをもとに音声認識や雑談機能の改善を行っていく．
謝辞 本研究の一部は JSPS 科研費 JP19H01138, JP20H05706,

JP20H04014, JP20K11059, JP22H03699, JP19K02973, 特別研究員奨励費 22J13217，および，立石科学技術振興財団の研究助成を受けて行われている．
文

5. 1. 3 RQ3 について
表 5 より，対話内容のみからある程度の行動を把握することができた．また表 9 より，家族や介護者も同様に対話内容から高齢者の様子を見守ることができたとわかる．しかし心のうちに関しては，実験期間の短さと対話機能の不十分さから十分に取得することができたとは言えなかった．よって，エージェン
トとの対話により高齢者の様子を取得することができるが，心のうちを取得するためには改良が必要である．

5. 1. 4 RQ4 について
表 9 より，遠隔で高齢者の様子を確認できることができたとわかった．それにより安心感を覚えたり，電話などで様子を確認する必要性が少なくなることもわかった．しかし，エージェ
ントとの対話で逆に高齢者が不快な気持ちになるのではないかという不安など別の負担が生じることもあることがわかった．
したがって，エージェントを介した見守りにより，介護者の身体的・精神的労力を減少させることができるが，別の負担が与えられる可能性がある．

5. 2 今後の課題
対話ログを見ると音声の誤認識が多く確認できた．人間が見る分には誤りを認識できるが，エージェントにはそれが判断できず望まない対話を行っていた．また，高齢者が話している途中でエージェントが割り込んでいることも確認できた．これは，高齢者が内容を考えながらゆっくり話していることが原因だと考えられる．これらにより高齢者に別のストレスを与える可能性がわかった．今後は本実験で得たデータをもとに音声認識や雑談機能の改善を行っていく必要がある．

6. ま と め

献[1] P. Song and W. Tang, “The community-based integrated care system
in japan: health care and nursing care challenges posed by super-agedsociety,” Bioscience trends, vol.13, no.3, pp.279–281, 2019.
[2] S. Inagaki, “A microsimulation model for projections of japanesesocioeconomic structure,” The Review of Socionetwork Strategies,
vol.2, no.1, pp.25–41, 2008.
[3] S. Murashima, S. Nagata, J.K. Magilvy, S. Fukui, and M. Kayama,“Home care nursing in japan: a challenge for providing good care athome,” Public health nursing, vol.19, no.2, pp.94–103, 2002.
[4] T. Tsutsui, et al., “Future of the integrated community care system:from care by society to care in local communities.,” Journal of theNational Institute of Public Health, vol.58, no.2, pp.84–89, 2009.
[5] A. Lee, K. Oura, and K. Tokuda, “MMDAgent-A fully open-source
toolkit for voice interaction systems,” 2013 IEEE International Conference on Acoustics, Speech and Signal ProcessingIEEE, pp.8382–8385 2013.
[6] H. Maeda, S. Saiki, M. Nakamura, and K. Yasuda, “Memory aidservice using mind sensing and daily retrospective by virtual agent,”
International Conference on Human-Computer InteractionSpringer,
pp.353–364 2019.
[7] H. Ozono, S. Chen, and M. Nakamura, “Study of microservice execution framework using spoken dialogue agents,” 2021 IEEE/ACIS
22nd International Conference on Software Engineering, Artiﬁcial Intelligence, Networking and Parallel/Distributed Computing(SNPD)IEEE, pp.273–278 2021.
[8] H. Ozono, S. Chen, and M. Nakamura, “Encouraging elderly self-careby integrating speech dialogue agent and wearable device,” International Conference on Human-Computer InteractionSpringer, pp.52–70 2022.
[9] K.R. Evenson and C.L. Spade, “Review of validity and reliability ofgarmin activity trackers,” Journal for the measurement of physicalbehaviour, vol.3, no.2, pp.170–185, 2020.
[10] S. Chen, H. Ozono, and M. Nakamura, “Proposal of multi-modal
diary service for assisting elderly self-care using spoken dialogueagent,” IEICE Technical Report; IEICE Tech. Rep., vol.121, no.437,pp.75–80, 2022.

本稿では，音声対話エージェントを活用した在宅高齢者の支援と見守りを行うシステムの実証実験を行った．実験結果より，他人と関わる頻度が少ない人ほど多く発話することがわかっ- 76 -—6—