立石科学技術振興財団

助成研究成果集(第32号) 2023

［ 研究助成 (C) ]コンピュータビジョンとエージェントを活用した在宅介護支援に関する研究
Implementing In-Home Care Assistance Using Computer Vision and Agent2207004

研究代表者

神戸大学
数理・データサイエンスセンター(助成受領時：神戸大学
大学院システム情報学研究科特命助教

陳思

楠

博士後期課程)の「見守り」である。従来人手で行ってきた要[研 究 の 目 的]

介護者の状態観察を機械が代行し，人による介日本を含む世界の先進国では超高齢化が進行助が本当に必要なときのみ介護者に依頼する。

し，要介護者の数が増加している。介護施設・

これによって，介護者の負担を軽減し，人によ人材の慢性的な不足が起こっており，政府は従るケアの質を向上することが期待できる。

来の施設介護から在宅介護への転換を進めていしかしながら，最新の見守りシステムが，在る。在宅介護では，住み慣れた自宅での生活を宅介護の現場に広く浸透しているとは言えない。

続けられる一方で家族に大きな負担がかかる。

個人や世帯で異なる事情・状況への対応，導入

特に，重度の要介護者の場合，毎日 24 時間のや運用コストの問題等，普及に向けた様々な介助が必要となる。いわゆる「老々介護」「認チャレンジがある。実際の市場においても，セ認介護」ともなれば，その負担は介護者・要介ンサを活用した高齢者の見守りサービスや介護護者の双方に重くのしかかってくる。

ロボット等が登場してきている。しかし，従来この背景をもとに，こうした在宅介護の問題の見守り技術は外部的に観察可能な事象の観察を，機械と人間の協調によって解決しようとすにとどまり，介護者・要介護者の「意図」やる Assistive Technology の研究が世界中で進「心のうち」の観察は難しい。したがって，対んでいる。特に，個人適応ケア支援の実施に焦象者が何を求めているかまでは理解できない。

点をあて，本研究では，介護者・被介護者の高齢者とバーチャル・エージェント (VA)

「意図」や「心のうち」を理解し，一般世帯でとの対話による「心のうち」を言葉に外化する導入可能な，新たな在宅介護支援技術を開発す「こころ」センシングの研究もある。しかし，ることを目的とする。本研究の成果によって，対象者の表情や行動の変化等の非言語的な情報在宅介護における介護者の負担を軽減するととを考慮しないため，言葉によるコミュニケーもに，被介護者の状態・意図を汲んだケアを実ションが取りづらい状況への対応は難しいとい施できる。

う問題点がある。
これら関連研究の課題を解決すべく，本研究[研究の内容，成果]では次の 3 つの成果を上げている。図 1 に研究結果の全体像を表している。

近年，センサやスマート機器を活用して，生・成果 1 (A1)：コンピュータビジョンによる活行動や宅内の状況を推定する多くの提案がされている。最も有望な技術の一つは，要介護者外部的観察；・成果 2 (A2)：エージェントによる内的状態― 1 ―立石科学技術振興財団

図1

研究結果の全体像の取得；
・成果 3 (A3)：外部状況と内的状態を連携した介入；
A1．コンピュータビジョンによる外部的観察上記 A1 に関するもので，主に「A1-1：在宅 要 介 護 者 の 身 体 活 動 の 品 質 付 け 手 法」と図2身体活動の品質付けアルゴリズム「A1-2：介護者定義の屋内ロケーションセンシング手法」を提案している。
[A1-1 の研究成果の概要]

健常者の身体活動と比べ，在宅長期療養 (寝たきりや歩行困難) の方は，通常，姿勢の変化を伴う低強度の緩慢な身体活動が多く見られる。
既存のセンサ装置は，心拍数や歩数などのデータを検出することができるが，長期装着に頼った身体的負担が増大している。本研究では，被介護者に対して持続可能，非侵襲的かつ細粒度な在宅介護モニタリングシステムの実現に向け，被介護者の姿勢変化の質を特徴づける新たな手法を提案する。
キーアイディアとして，定点カメラデバイス
図3と骨格センシング技術を統合し，スタンドアロ提案システムを用いた評価実験の一部

ンの姿勢推定モデルが出力された骨格境界ボックスの形状や距離の量の変化を，姿勢の変換，[A1-2 の研究成果の概要]

骨格の動き，距離の移動の質とみなすことであ

本研究では，一般家庭に簡便で導入容易な屋る (図 2)。また，提案システムを用い，評価内位置検出を実装するために，定点カメラデバ実験を行う (図 3)．時系列の質変化から，被イ ス，人 間 の 姿 勢 推 定 技 術，お よ び HTML

介護者の生活習慣やリズムの改善に必要な箇所

キャンバス要素を使用してユーザー定義の屋内を介護者に伝え，専門家の知見やアドバイスを位置検出を簡単に実現する新たな手法を提案す送る。

る。具体的には，まずターゲット空間の画像をブラウザにリアルタイムでキャプチャし，次に― 2 ―Tateisi Science and Technology Foundation

HTML5 キャンバス要素を作成して，ブラウザA2．エージェントによる内的状態の取得
上記 A2 について，主に「A2-1：在宅介護でライブ画像を描画する。
キーアイディアは，ユーザーがコンピュー現場向けの個人適応エージェント対話フレーム

ターのマウスを利用し，ライブ画像内の場所とワーク」と「A2-2：在宅要介護者の対話ログして任意の矩形の領域を定義できる場所として要約に基づく個人適応対話生成アルゴリズム」の境界ボックス (BBL) のコンセプトのことでを開発している。

ある (図 4)。人間の姿勢推定技術を用いて，[A2-1 の研究成果の概要]

ライブ画像内の人間の関節の座標を取得する。

多様な対話型エージェントを用いた多くの関このようにして，システムは人間の関節の座標

連サービスでは，在宅介護現場ごとにシステムが定義された BBL に入るとすぐに，BBL のラの環境設定が必要とされ，対話シナリオは開発ベル，各身体部分 ID の検知結果，および現在者側に強く依存し，さらに，音声対話の多言語の時刻を通知する。ユーザーは，これらの通知対応は難しかった。本研究の目的は，在宅介護を使用して，さまざまなユーザー定義のロケー現場における IT の非専門家でも，柔軟性を備ション認識サービスを開発できる。提案手法はえる対話型エージェントを簡便に利用すること安価なカメラデバイスとコンピュータブラウザである。アプローチとして，エージェント対話を使用して実装することが可能である。

フレームワークを提案し，ケーススタディから，それに基づくインタラクションの考察を行う。

図5

提案フレームワークの全体図

キーアイディアは，対話シナリオの設定も対話型エージェントの運用も Web サービスとして，Web ブラウザとクラウドサーバとの連携により，双方向にサービスを実現することであり，特定のソフトウェアやロボット機器を必要とせず，インターネット経由で，Web ブラウ
ザから対話型エージェントを設定・運用する
図4

評価実験の屋内位置センシングの例(図 5)。これによって，在宅介護者のメンタル

A1 の成果は，査読付きの国際論文誌 Sen-ヘルスや，在宅要介護者の服薬リマインダー，sors，査 読 付 き の 国 際 会 議 (PerFlow 2021)，在宅介護現場の困りごとの収集・共有を，対象および国内の SC 研究会で発表している。

者とエージェントとの音声対話を通して，実現することが期待できる。
― 3 ―立石科学技術振興財団

A3．外部状況と内的状態を連携した介入[A2-2 の研究成果の概要]

本研究では，対話システムを用いた継続的な上記 A3 に関するもので，主に「A3-1：在対話の実現に向け，個人適応対話の生成手法を宅要介護者のマルチモーダルダイアリーサービ試作し，2 つの技術的なチャレンジに着目してス」と「A3-2：在宅介護支援のための顔識別いる：(C1) 在宅高齢者の発話内容へのより深システム」を開発している。

い理解。(C2) 発話内容に基づくダイナミック[A3-1 の研究成果の概要]

な応答の生成。アプローチとして，発話内容か超高齢社会が進む日本では，在宅高齢者の記ら抽出したキーワードに基づき，それに関連す録・分析する在宅生活データの多様性や再利用る過去の対話の履歴 (対話ログ) を要約する。

性の不足の課題が存在する。本研究の目的は，さらに，複数の要約と発話内容との感情分析の多角的な視点で対話データを記録・分析するマ結果を比較することにより，最適な要約を返答

ルチモーダルダイアリーサービスを提案するこする。具体的に，次の 3 つのステップが必要ととである。

考 え て い る：(ス テ ッ プ 1) 発 話 内 容 の キ ー
ワード抽出と感情分析。(ステップ 2) 関連対話ログの抽出と要約生成。(ステップ 3) 要約の感情分析と発話内容との比較。

図7

図6

マルチモーダルダイアリーサービス

キーアイディアは，テキストログだけでなく，音声対話システムとマルコフ連鎖音声や画像も取得し，マルチモーダルな可視化
対話ログの要約では，マルコフ連鎖を用いてを行うことである (図 7)。提案手法では，異ランダムで要約を生成する (図 6)。さらに，

種データ抽出，Web API 開発，マルチモーダ

ステップ 3 の比較では，ネガティブ判定によるル日記生成，異種データ解析の主要なステップ「共感モード」または「反感モード」に応じてを提案し，異種データの拡張のアプローチにつ感情付きの内容を返答する。共感モードとは，いても行う。提案手法を用いることで，高齢者発話内容と感情的に最も近づく (スコア値の差自身がより良く過去を回想することができる。

分の最小値) 要約を返答する処理であり，反感これによって，在宅介護や健康管理をより正しモードはその逆処理である。これによって，対く，個人に提供できるようになることが期待で話の柔軟度や擬人化・親密度の向上も期待でききる。

る。

[A3-2 の研究成果の概要]

A2 の成果は，査読付きの国際会議 (IAICT

在宅介護支援システムの重要な一貫とする2021，iiWAS 2021) および国内の HCS 研究会，ユーザー識別の機能はまだ実現していないため，機械学会で発表している。

音声対話エージェントとインタラクションを行― 4 ―Tateisi Science and Technology Foundation

う相手の身分判断は難しいという問題が生じる。

ある，今後は提案システムが在宅介護者・要介

本研究の目的は，事前学習済みモデルと音声対護者の生活に介入するマルチモーダルサービス

話エージェントを用いた顔識別システムの開発と連携し，世帯ごとの更なる具体的な課題を改を目的とする。

善する予定がある。
[成果の発表，論文など]
論文誌[ 1 ] Sinan

Chen,Sachio

Saiki,andMasahide

Nakamura, “Nonintrusive Fine-Grained Home Care
Monitoring: Characterizing Quality of In-Home Postural Changes Using Bone-Based Human Sensing,”
Sensors, vol. 20, no. 20: 5894, October 2020.
国際会議
[1]

Sinan

Chen,Sachio

Saiki,andMasahide

Nakamura, “Using Human Pose Estimation for
図8

音声対話システムと顔識別の統合活用

User-Defined Indoor Location Sensing,” In The 2021
International Workshop on Pervasive Information

キーアイディアは，ユーザーとエージェントの音声対話による学習データの自動生成と，事前学習済みモデルを用いた顔特徴量の取得・比較である (図 8)。提案手法では，ステップ 1
では，既存データの読み込みと特徴抽出を行う。
ステップ 2 では，新たな学習データの取得と特徴抽出を行う。ステップ 3 では，既存データと学習データの特徴比較を行う。最後，ステップ4 では，識別結果に基づくエージェント対話を行う。

Flow (PerFlow ʼ21), Held in conjunction with the19th Annual IEEE International Conference onPervasive Computing and Communications (PerCom 2021), pp. 495-501, March 2021.
[ 2 ] Sinan Chen, Masahide Nakamura, and Sachio
Saiki, “Developing a Platform of Personalized
Conversation Scenarios for In-Home Care Assistance,” In The 2021 IEEE International Conferenceon Industry 4.0, Artificial, Intelligence, and Communication Technology (IAICT ʼ21), pp. 148-153,
July 2021.
[ 3 ] Sinan Chen and Masahide Nakamura, “Generating Personalized Dialogues Based on Conver-A3 の成果は，査読付きの国際会議 (Balkansation Log Summarization and Sentiment Analysis,”

Com 2022, ICoSEIT 2022)，および国内の SC

In The 23nd International Conference on Infor-研究会，機械学会で発表している。

mation Integration and Web-based Applications &Services (iiWAS2021), pp. 217-222, November 2021.
[ 4 ] Sinan Chen and Masahide Nakamura, “Devel-[今後の研究の方向，課題]

oping a Facial Identification System Using PreTrained Model and Spoken Dialogue Agent,” In

本研究では，コンピュータビジョンとエージェントを用いた在宅の介護者・要介護者の個人適応ケアの実施を支援するシステムを開発した。し か し，外 部 的 観 察 に よ る 行 動 内 容 と，エージェント対話によるこころの外化内容の依Fifth International Balkan Conference on Communications and Networking (BalkanCom2022), pp.
62-67, August 2022.
[ 5 ] Sinan Chen and Masahide Nakamura, “Study ofMulti-Modal Diary Service Using Spoken Dialogue
Agent for Self-Care in Elderly People,” In 2022 1st
International Conference on Software Engineering

存関係を表現できない課題が残っている，また，

and Information Technology (ICoSEIT), pp. 22-27,

提案システムを用いて，実際の在宅の介護者・

November 2022.

要介護者の内心状態において，暗黙の部分 (心のうちや意図) を見守る効果を評価する必要も― 5 ―その他，国内研究会では，論文 5 編を発表している。