一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATIONAND COMMUNICATION ENGINEERS
社団法人 電子情報通信学会

信学技報
IEICE Technical Report
KBSE2023-42,SC2023-25(2023-11)
信学技報

THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERSTECHNICAL REPORT OF IEICE.

音声対話エージェントと画像を用いた在宅高齢者のための思い出会話サービスの提案
堀江

寛†

陳

思楠†

中村 匡秀†,†† 安田清†††† 神戸大学 〒657-8501 神戸市灘区六甲台町 1-1†† 理化学研究所・革新知能統合研究センター 〒103-0027 東京都中央区日本橋 1-4-1††† 大阪工業大学 〒535–8585 大阪市旭区大宮 5–16–1
E-mail: †horie@ws.cs.kobe-u.ac.jp, ††chensinan@gold.kobe-u.ac.jp, †††masa-n@cmds.kobe-u.ac.jp
あらまし 近年，日本では高齢化の進行と共に在宅高齢者や認知症患者の増加が見られる．我々の研究グループでは，在宅高齢者を見守り・支援するシステムの研究開発に取り組んでいる．先行研究では，高齢者の心の内を測ることを目的とした音声対話エージェントシステム「PC-Mei」を開発した．本研究では，在宅高齢者の会話機会減少や認知症の予防・リハビリ法としての回想法や共想法に着目し，PC-Mei と連携して利用可能な「思い出会話サービス」の提案をする．提案サービスの目的は，高齢者に会話機会を提供することで孤独感の解消や認知機能の低下を抑える支援をすることである．アプローチとして，まず高齢者の現在の趣味嗜好情報を取得する．その情報に関連する画像を自動で検索しサービスに登録する．また，過去の思い出に関する写真を登録する．その後，高齢者は登録された画像を見ながらエージェントと会話を行う．過去の経験や現在の好みについて会話をすることで，孤独感の解消や認知機能の低下を抑える手助けとなることが期待できる．
キーワード

在宅高齢者，思い出，会話，画像，音声対話エージェント

Proposal of Reminiscence Conversation Service for Elderly People at Home
Using Spoken Dialogue Agents and Images
Hiro HORIE† , Sinan CHEN† , Masahide NAKAMURA†,†† , and Kiyoshi YASUDA†††† Kobe University Rokkodai-cho 1-1，Nada-ku，Kobe，Hyogo 657-8501 Japan†† Riken AIP 1-4-1 Nihon-bashi, Chuo-ku, Tokyo 103-0027 Japan††† Osaka Institute of TechnologyOmiya16, Asahi-ku, Osaka, 535–8585 Japan
E-mail: †horie@ws.cs.kobe-u.ac.jp, ††chensinan@gold.kobe-u.ac.jp, †††masa-n@cmds.kobe-u.ac.jp
Abstract In recent years, the number of elderly people living at home and patients with dementia has been
increasing along with the aging of Japan’s population. Our research group is engaged in the research and development of a system to monitor and support the elderly at home. In a previous study, we developed a spoken dialogue
agent system "PC-Mei" to measure the inner feelings of elderly people. In this study, we propose a "Reminiscence
Conversation Service" that can be used in conjunction with PC-Mei, focusing on the decrease in conversational opportunities for the elderly at home and on reminiscence and recollection as a method of prevention and rehabilitation
for dementia. The purpose of the proposed service is to provide elderly people with opportunities for conversation
to help alleviate loneliness and reduce the decline in cognitive functions. The approach is to ﬁrst obtain informationon the elderly person’s current interests and preferences. Images related to that information are automatically
retrieved and registered with the service. In addition, the service registers photos related to past memories. The
elderly person then engages in conversation with the agent while viewing the registered images. Conversation aboutpast experiences and current preferences is expected to help alleviate feelings of loneliness and reduce the decline ofcognitive functions.
Key words Elderly at home, Reminiscence, Conversation, Images, Spoken dialogue agent- 45 -—1—
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.
Copyright ©2023 by IEICE

ると予想されている [1]．また，高齢者の認知症患者も増加して

1. は じ め におり，2025 年には高齢者の 5 人に 1 人が認知症になると予測

近年，世界で高齢化率が上昇している．中でも日本は最も高されている [2]．日本では高齢化が進むことで介護が必要な高齢齢化率の高い国であり，今後も高齢化が進行すると予測されて者が増加しているが，介護に関して職員や施設の不足が問題といる [1]．高齢化の進行に伴い，認知症患者や要介護者も増加すなっている．これに対して政府は，高齢者が要介護状態になっると見込まれている [2]．しかし，日本では介護負担の増加やても住み慣れた地域で自分らしい暮らしを人生の最後まで続け

介護職員の不足が問題となっている．これに対し政府は，高齢ることが出来ることを目的とした地域包括ケアシステム [3] の者が要介護状態になったとしても住み慣れた地域で自分らしい構築を目指している．このシステムでは在宅介護が推進されて暮らしを続けることができることを目的とした地域包括ケアシいるため，今後在宅高齢者の数が増加すると考えれる．在宅時

ステム [3] の構築に取り組んでいる．この取り組みの 1 つとし間が長くなれば他人と会話する機会は減少する．独居の場合はて在宅介護の推進を行っているため，今後在宅高齢者数が増加

特に減少することになる [4]．また，認知症の予防に有効である

すると考えられる．在宅での生活は会話機会の減少をもたらす手段として会話を行うことが挙げられる [8] ため，在宅生活のが，特に独居である場合，その傾向は顕著に現れる [4]．また，中でも会話を行うことが重要である．

認知症の予防・リハビリ法の 1 つとして会話を行うことが挙げ

2. 2 先行研究：PC-Mei

られる．

我々の研究グループでは高齢者の日常生活を見守り・支援する本研究では高齢者の会話に着目し，高齢者に会話の機会を与システムとして音声対話エージェントシステムである「PC-Mei」

えることで孤独感の解消や認知機能の低下を抑える支援を目的(図 1) [5] [6] を研究開発している．PC-Mei 内の音声対話エーとした「思い出会話サービス」の提案を行う．提案サービスは，

ジェント「メイちゃん」は高齢者と音声で会話を行い，システ「思い出会話機能」，「画像登録機能」，「会話記録機能」の 3 つのムはその内容を記録・分析をする．PC-Mei はこれらによって機能を持つ．思い出会話機能とは，高齢者に会話の機会を与え

高齢者の心の内を測るシステムである．先行研究では，雑談る機能である．提案サービスを我々の研究グループの先行研究

機能の開発や，Web 検索・予定の管理・YouTube の閲覧などである「PC-Mei」[5] [6] と連携することで，介護負担を増やさの Web サービスを音声により実行できる音声サービス実行機ずに会話の機会を与えることを実現する．PC-Mei とは高齢者

能 [9] の開発を行ってきた．雑談機能とは，利用者とエージェの日常生活を見守り支援する音声対話エージェントシステムでントが雑談を行える機能である．利用者の発言を受け取ると，ある．このシステムは高齢者がエージェントと音声を用いた会

PC-Mei は会話 AI「miibo（注 1）」を通して応答文を取得し，読み話を行い，その発話内容を記録・分析することで，高齢者の心上げる．この動作を繰り返すことで利用者との雑談を実現する．

の内を取得するものである．思い出会話機能では提案サービス

また，音声サービス実行機能を利用することで高齢者は複雑なを実行することで，次に説明する画像登録機能によって登録さ操作なしで音声のみで様々なサービスを利用することができる．

れた画像を PC-Mei が表示する．高齢者はその画像に関する思

PC-Mei を利用するにはユーザの識別子である「You-ID」でロ

い出話や雑談をエージェントと行うことができる．画像登録機

グインする必要がある．You-ID とは我々の研究グループが開能では，利用者の過去の経験や思い出及び現在の趣味嗜好に関発した，ユーザ固有の ID をハッシュ化し，名前などのユーザする画像を登録することができる．これらの画像を用いるのは情報を紐づけることで様々なアプリのログインに使うことがで認知症に対する非薬物的心理療法の回想法や共想法 [7] を参考

きる文字列である．

にしている．この機能は趣味嗜好情報から画像を自動検索・登2. 3 回想法と共想法録する機能と高齢者の思い出のある写真を登録する機能を持つ．

認知症の予防・リハビリ法として，回想法や共想法といった会話記録機能とは，高齢者が提案サービスを通して，エージェ

非薬物心理療法がある [7]．回想法とは高齢者でグループを組ントとどのような会話を行ったかを記録する機能である．介護

み，グループのメンバーに過去の経験や思い出を話すことを通者や家族が会話内容や会話量を見て，高齢者がどのような話題して心理的安定を図るケアの手法である．この手法では自分自に対して積極的に話をしているかなどを判断することができる．

身の過去の思い出の品や写真を用意し，それを基に話をする．

本研究では提案サービスの実装・考察を行った．提案サービス

過去の話を人に聞いてもらうことで，自分の存在意義を再確認

により在宅高齢者に会話の機会を与えることができる．その結できたり，孤独感を解消できたりする．回想法に似た共想法と果，孤独感の解消や認知症予防の効果が期待できる．

いう手法もある．共想法は決まったテーマに沿った写真や物を

2. 準

持ち寄り，それに関して制限時間内でグループのメンバーに話備をする．また，質疑応答の時間を設ける．話し手と聞き手が入

2. 1 高齢化社会と会話機会の減少

れ替わることで参加者は均等に発言の機会が設けられる．共想

現在，世界の高齢化率（総人口に占める 65 歳以上の者の割法で活発に会話を行うことで認知機能を使うことができる．回合）は上昇しており，1950 年の 5.1% から 2020 年には 9.4% に想法と共想法の大きな違いは，話し手の視点である．回想法はなっている．また，今後も高齢化率は上昇すると見込まれてい過去の経験に話の視点があるが，共想法では現在や未来に視点る．このような状況の中，日本の高齢化率は 2022 年に 29.0%と世界で最も高くなり，日本においても高齢化率は上昇を続け（注 1）：https://mebo.work/- 46 -—2—

日本では介護職員の不足が問題となっているため，介護者に負担をかけずに高齢者に会話機会を提供する必要がある．また，そのためには高齢者にとって簡単な操作方法で会話を行えるシステムが必要である．
要件 R2：個人に合わせて提供する話題を変えること
提案サービスは高齢者個人の経験や好みに合わせた話題を提供するべきである．
要件 R3：会話の記録を行うこと
高齢者がサービスを利用して行った会話を確認するために，会話履歴を記録できる必要がある．

3 つの要件に対する，提案サービスのアプローチを以下に示す．

3. 2 アプローチ A1：思い出会話機能

図 1 PC-Mei

高齢者に会話機会を与える機能について説明する．提案サー

Copyright 2009-2018 Nagoya Institute of Technology(MMDAgent Model

ビスは，先行研究である PC-Mei と連携することで，介護者にMei )負担をかけずに会話機会を提供する．PC-Mei の音声サービスが置かれている．認知症の予防・リハビリ法として回想法や共実行機能に思い出会話サービスを登録し，高齢者と PC-Mei で想法を利用するなど会話をすることが重要である．

思い出話を行えるようにする．高齢者は PC-Mei に「思い出会2. 4 着目する課題話」と声をかけることで，提案サービスを実行できる．その後

日本では高齢化率の上昇と共に在宅高齢者や認知症患者の増サービスは 3. 3 章の画像登録機能によって登録された画像を表

加が予測される．それに伴い会話の重要性が高まる．本研究で示する．画像は表示回数の少ない画像から表示される．高齢者は自宅で簡単に会話機会を生む方法を提案する．その中で以下は PC-Mei と表示された画像に関する思い出や雑談を行うことの 3 つの課題に着目する．

ができる．

3. 3 アプローチ A2：画像登録機能

課題 P1：介護負担の増加

2. 1 章で述べたように高齢化の進行に伴い介護の負担が大き

PC-Mei と会話を行うにあたり，話題とする画像を登録する

くなっている．そのため，会話機会を生むとしても介護職員や機能について説明する．提案サービスは回想法や共想法を参考

家族の負担を増加させないようにする必要がある．回想法や共にし，利用者の過去の思い出や経験，趣味嗜好に関する話題を想法は参加者の調整や場所の提供，司会など準備が必要である．

提供する．そのために趣味嗜好から画像を検索・登録する機能

高齢者のコミュニケーションを活発にさせるには介護者の協力と思い出に関する写真を登録する機能を持つ．趣味嗜好登録画が必要となるのが現状である．

面では，ジャンル（歌手，場所，スポーツ，芸能人・有名人，趣課題 P2：個人によって話しやすい話題は異なる

味，昔好きだった物事）ごとの入力欄に好きな物事や人名を入

高齢者個人によって，過去の経験や趣味嗜好は異なるので，

力し，登録を押すとサービスが自動的にインターネット上から自ら進んで会話する話題も異なる．会話の機会を与える際には，画像を検索・登録をする．入力した内容を画像のタイトルとし利用者に合わせた話題を提供する必要がある．

て登録する．思い出写真登録画面では，高齢者の思い出に関す

課題 P3：会話に前向きに取り組んでいるかの判断は難しい

る画像を複数枚同時（1 回の登録では合計 100MB まで）に登会話機会の提供により高齢者が前向きに会話しているかを知録することができる．登録された画像には Azure の Computer

るためには会話の様子を観察・記録する必要があるため介護者

Vison API（注 2）を利用して画像に合ったタイトルを自動的に付の負担なしでは困難である．

与する．

3. 4 アプローチ A3：会話記録機能

3. 提案手法：思い出会話サービス

高齢者が提案サービスを通して行った会話を記録する機能

3. 1 目的と要件について説明する．PC-Mei は提案サービスを実行した状態で本研究の目的は，介護者に負担をかけずに在宅高齢者に本人行った会話を提案サービスのデータベースに保存する．この機の思い出や趣味嗜好に関する会話の機会を提供することで，孤能では PC-Mei との会話を会話時に表示していた画像毎に確認

独感を和らげたり，認知機能の低下を抑える支援をすることですることができる．画像一覧画面から記録を確認したい画像をある．この目的を達成するために「思い出会話サービス」を提選択することで，会話の日時と内容を確認することができる．

案する．思い出会話サービスの全体アーキテクチャを図 2 に示

会話量を見ることで利用者がその画像や思い出に対して意欲的

す．2. 4 章の課題を解決するために提案サービスが満たすべきに話をしていたかを判断することができる．

要件を以下に示す．
要件 R1：介護者に負担をかけないこと（注 2）：https://learn.microsoft.com/ja-jp/rest/api/computervision/3.1/analyze-image/analyze-image?tabs=HTTP- 47 -—3—

3&0HLට෉͜<RX,'

ճ࿫ժ଀නࣖճ࿫སྼฯଚ

ࢧ͏ड़ճ࿫γʖϑη

ౌ࿧
ཤ༽ं

ට෉͜

टັᅄ޹ౌ࿧ժ໚

ࢧ͏ड़ࣺਇౌ࿧ժ໚

ժ଀ʀճ࿫སྼ
Ҳལժ໚

टັᅄ޹͹
ౌ࿧ʀࡡঈ

ࢧ͏ड़ࣺਇ
͹ౌ࿧

ౌ࿧ժ଀
͹֮೟

ժ଀͹
‫ࡩݗ‬ʀౌ࿧

ౌ࿧ʀ֮೟

ճ࿫སྼ
͹֮೟ʀࡡঈ

ղ‫ंޤ‬ʀՊଔ

⏬ീ䞉఍ヰᒚṔ䝕䞊䝍䝧䞊䝇

図 2 全体アーキテクチャ

4. 実

装

4. 1 利用した技術

図 3 メニュー画面

思い出会話サービスの実装には以下の技術を用いた．

•

開発言語：Java，JavaScript，HTML，CSS•

フレームワーク： SpringBoot，BootStrap•

テンプレートエンジン：Thymeleaf•

アプリケーションサーバ：Apache Tomcat•

データベース：MySQL

思い出話や雑談を PC-Mei と行う．利用者が「やめる」もしく
は「次の写真」と発言するまで同一の画像に関する会話を行う．
「やめる」と発言した場合，思い出会話サービスは終了し，「次の写真」と発言した場合，表示回数の少ない画像を表示し思い

思い出会話サービスのスクリーンショットとして，メニュー画

出会話を継続する．

Step5：会話記録を確認する

面を図 3，趣味嗜好登録画面を図 4，思い出写真登録画面を図5，画像一覧画面を図 6，会話履歴確認画面を図 7 に示す．それぞれの画面はデジタルデバイスの操作に慣れていない方が利用することも考慮して，複雑な操作を必要としない分かりやすい
画面設計を行った．

画像一覧画面から画像を選択することでその画像に関する会
話履歴を確認する．
ログインや画像の登録を利用者本人が行うことが難しい場合
は，介護者や家族が行うことができる．また，会話記録の確認
は利用者がどの画像に対してどの程度会話しているかを介護者

4. 2 思い出会話サービスの利用の流れ
本節では思い出会話サービスの利用の流れを説明する．ただや家族が行う．

4. 3 利 用 例

し，PC-Mei システムが導入された PC は予め設置されているものとする．

思い出会話サービスの利用例について説明する．図 8 に利用時の PC-Mei の画面を示す．また，以下に会話の内容を記載

Step1：ログインする

する．

個人に与えられた You-ID を用いてログインする．


会話の例

Step2：趣味嗜好を登録する

メイちゃん：これは「東京タワー」の写真ですか？

趣味嗜好登録画面にアクセスし，歌手，場所，スポーツ，芸能人・有名人，趣味，昔好きだった物事の内任意の項目に趣味

利用者：東京タワーの写真です．

嗜好情報を入力し，登録ボタンを押す．この時「、」を挟んで入メイちゃん：写真撮るのにいい感じです．

力することで１つの項目に複数の趣味嗜好情報を同時に登録すメイちゃん：この写真についての思い出を教えてください．

ることができる．その情報を基に提案サービスが利用者の好み

利用者：駅から歩いて行くのが大変でした．

に合った画像を検索し，登録する．

メイちゃん：それは大変でしょう．

Step3：思い出写真を登録する

メイちゃん：この写真についての思い出を教えてください．

思い出写真登録画面にアクセスし，「ファイル選択」から登録

利用者：曇っていたのが残念でしたが綺麗でした．

したい写真を選択する．登録ボタンを押すことで提案サービス

メイちゃん：また天気の良い日に行きたいです．

が自動的に写真にタイトルを付与しサービスに登録する．

メイちゃん：この写真についての思い出を教えてください．
利用者：やめる．

Step4：PC-Mei と会話する
PC-Mei に「思い出会話」と話しかけることで提案サービス



を実行する．PC-Mei は Step2 や Step3 で登録された画像を表示する．利用者は表示された画像を見て，画像に関する内容の- 48 -—4—

図4

趣味嗜好登録画面

図 6 画像一覧画面

図 5 思い出写真登録画面

5. 考

察

5. 1 思い出会話サービスの理想と現状
思い出会話サービスを実装するにあたって，理想としていたサービスと実際に実装したサービスの差について説明する．それは PC-Mei が利用者の思い出や趣味嗜好について深掘りする
図 7 会話履歴確認画面

質問を投げかけられない点である．提案サービスは回想法や共想法を参考にしており，これらの方法では聞き手から質問が投げかけられることがある．活発な会話を行うひとつの手段として質疑応答を行うことが挙げられる．しかしながら，PC-Mei
は利用者の過去の経験や趣味嗜好について深く知ることができるような質問を投げかけることができない．利用者が話をし，メイちゃんが返答をするの繰り返しとなるため，利用者の話したいことが尽きれば会話は終了する．その代わりに複数の画像を登録することで様々な話題で会話をすることができるが，

PC-Mei から質問することができればさらに活発な会話ができることでサービスが起動するが，実験の際には決まった時間帯に PC-Mei の人感センサが反応した場合に自動的に起動するよ
うに実装することを考えている．それにより定期的に会話の機会を提供することができる．実際に高齢者の方々に利用してもらい，サービスの使いやすさや PC-Mei の受け答えの適切さ，会話による効果（落ち着いた気分になるなど）を調査する．実
験の結果を考察し，提案サービスの改良に活かしていく必要が
ある．

るだろう．

6. ま と め

5. 2 今後の課題
本研究では，在宅高齢者に会話機会を提供することで孤独感

今後の課題は，高齢者を対象として思い出会話サービスの評
価実験を行うことである．また，現在は「思い出会話」と発言すの解消や認知機能の低下を抑える手助けを目的とした「思い出- 49 -—5—図8 利 用 例

会話サービス」の提案を行った．非薬物心理療法である回想法
や共想法といった認知症ケアの手法を参考とし，高齢者の過去の経験や思い出，現在の趣味嗜好に関する画像を見ながら会話を行う機会を提供するサービスの開発に取り組んだ．先行研究である音声対話エージェントシステム「PC-Mei」と連携することで，在宅しながらでも自身の思い出や好みについてエージェ
ントを会話を行うことができる．
今度の課題は実際に高齢者の方々に利用してもらい，提案
サービスの評価を行うことである．提案サービスが高齢者にもたらす影響を調査し，サービスの改善に活かしていきたいと考
えている．
謝辞

本 研 究 の 一 部 は JSPS 科 研 費 JP19H01138,

JP20H05706,

JP20H04014,

JP20K11059,

JP22H03699,

JP19K02973, 若手研究 23K17006 の助成を受けて行われて
いる．
文

献

[1] 内閣府，“令和 5 年版高齢社会白書（全体版）,” https://www8.ca
o.go.jp/kourei/whitepaper/w-2023/html/zenbun/index.ht
ml． accessed October 21, 2023．
[2] 脇田英明，冨本秀和，“認知症と予防医療，” 神経治療学，vol.40，
no.2，pp.83–85，2023．
[3] 厚生労働省，“地域包括ケアシステム,” https://www.mhlw.go.
jp/stf/seisakunitsuite/bunya/hukushi_kaigo/kaigo_kou
reisha/chiiki-houkatsu/． accessed October 21, 2023．
[4] 国立社会保障，“人口問題研究所，” 日本の将来推計人口 (平成29 年推計)，vol.3，2017．
[5] H. Ozono, S. Chen, and M. Nakamura, “Encouraging elderly
self-care by integrating speech dialogue agent and wearable
device,” 8th International Conference, ITAP 2022, Held as
Part of the 24th HCI International Conference, HCII 2022,
vol.LNCS 13331, pp.52–70, May 2022.
[6] 大薗隼人，陳思楠，中村匡秀，“音声対話エージェントを活用した在宅高齢者の支援と見守りを行うシステムの実証実験，” 電子
情報通信学会技術研究報告，第 122 巻，pp.71–76，Jan. 2023．
[7] 大武美保子，加藤元一郎，高木利久，淺間一，太田順，“回想法から見た共想法の考察と連携の可能性，” 人工知能学会全国大会論文集 第 24 回 (2010) 一般社団法人 人工知能学会，
pp.1H2NFC3b14–1H2NFC3b14 2010．
[8] 山元百合子，三枝亮他，“高齢者向けコミュニケーションシステム
による認知症の予防，” 第 83 回全国大会講演論文集，vol.2021，
no.1，pp.819–820，2021．
[9] 大薗隼人，陳思楠，中村匡秀，“対話エージェントを活用した音
声対話によるマイクロサービス実行フレームワークの考察，” 日本機械学会 第 31 回設計工学・システム部門 講演会，no.3408，
Sept. 2021． オンライン．

- 50 -—6—