認知症患者が抱える不安、不穏と介護負担• 認知症患者• 様々な脳の病気により、神経細胞の働きが徐々に低下• 認知機能（記憶力、判断力等）が低下し、社会生活に支障をきたす• 記憶力や将来に対して不安を抱えている

Anxiety intensity estimation in persons withdementia using multimodal information in
everyday living environments• 例：「わからない」、「どうしたらいい」といった発言• 不穏• 認知症患者が抱える不安やストレス、体の不調等が表面に現れた状態• 落ち着きがなくなり興奮した状態

大阪大学 大学院情報科学研究科
情報ネットワーク学専攻 村田研究室• 例：「帰らせなさい」という発言や、職員をにらみつける表情、ドアや人を叩くといった行動

重清成海• 介護職員の不穏対応の負担• 気をそらす、気分転換させるという対応• 不穏の手前の段階である「不安」の状態を捉えることができれば、早期対応により、患者本人や介護者の負担が軽減

2

1

2

CADATY index [1]

デジタルツインにおけるCADATY indexの活用• Caregivers Assess Dementia'sAnxiety designed by TY index• 認知症患者が感じている不安感情の強さを推定する指標• 介護職員が経験知的に会得している不穏の予兆を点数化したもの• 不穏の前段階である不安の状態を検出可能• 点数化方法• 認知症患者の「発言」「表情」「行動」等の日常の様子から, 対象者の不安度合いを点数化

不安状態→不穏の予兆• 対象の認知症患者の普段の様子をよく知る介護職員等が評価• -1～-3 は不安状態 (不穏の予兆) 、不穏状態-3～-5 は不穏状態 の目安• 協働研究所で介護施設をデジタルツイン化する取り組み

CADATYindex

目安+3～+5

興奮 (躁状態)+2

安寧 (他者)

他者に感謝を示す+1

安寧 (自己)安心しリラックス

0

ニュートラル-1

自問戸惑っている、心細い-2

自責、他問

自分自身にいら立つ、人に何かを確認する-3

他責

他人に強く何かを訴える

例• 心の理解や予測• 適切なコミュニケーションのきっかけづくり

-4

他人に暴言
他責 (攻撃的) を吐く-5

他者に暴力
他責 (暴力的) をふるう

[1] H. Tsuji, M. Yamauchi, M. Sugita, and M. Kita, "Appearance Transcription (CADATY Index) and Memory Book (Life-History Survey); Consideration for a
Psychological State Estimation Index for People with Dementia," in Proc. 29th Int. Montessori Congr. Thailand, Exhibition Showcase, Aug. 2023.

• 認知症患者の不安を捉えることで、患者への寄り添いと、介護者の負担の軽減を実現• 実生活環境において情報を取得• 複数のモーダルが利用可能• 人の行動や表情、発言• 環境情報• 環境情報のみを用いた不穏の事前予測 [2] では予測精度が低い• 実環境ゆえに情報の一部が欠損することも• 非接触な情報取得が好ましい• 特に、認知症患者はバイタルセンサなどの接触型のセンサを嫌う傾向[2] S. HekmatiAthar, H. Goins, R. Samuel, G. Byfield, and M. Anwar, “Data-driven forecasting of agitation for persons
with dementia: A deep learning-based approach,” SN Computer Science, vol. 2, no. 326, pp. 1–10, Jun. 2021.

33

非接触かつマルチモーダルな情報を用いて不安を推定する手法が必要
4

4

研究目的とアプローチ

提案手法の概要• 目的① データセットの収集• 映像カメラや音声マイク等の記録映像や音声から、時刻 𝑡 における対象の認知症患者の発言、表情、行動、環境の情報を抽出• 対象者の普段の様子についてよく知る介護者等が CADATY index の目安に基づ
き、時刻 𝑡 における CADATY index の値 𝑦(𝑡) を記録• 認知症患者の発言、表情、行動、環境といったマルチモーダルな観測情報から CADATY indexを推定することで、不穏度合いの推定可能性を検証② 事前確率の学習• CADATY index が𝑦𝑐 のとき発言、表情、行動が発現する確率を学習③ CADATY index の推定• アプローチ

今回の• ベイズ推定を用いて、発言、表 検証
情、行動、環境情報からCADATY index を推定• 時刻 𝑡 の発言、表情、行動の系列から現在の CADATY index を推定を行い環境要因により補正
発言

ベイズ推定

表情

• 入力：発言、表情、行動、環境• 出力：CADATY index (不穏度合いの指標)

CADATY index の推定値

行動

環境要因による補正

環境入力データ• 実際の介護施設で認知症患者の情報を収集し検証

発言
表情
行動事前確率CADATY index
環境

学習データ
55661

① データセットの収集② 事前確率の学習• 映像カメラ、音声マイクやセンサから「発言」「表情」「行動」「環境」を取得• 事前確率の算出• CADATY index が 𝒚𝒄 であるときに、発言 𝜶𝒊 が発現する確率 𝑷 𝜶𝒊 𝒚𝒄 を算出
各時刻 𝑡 のうち 𝑦 𝑡 = 𝑦𝑐 かつ表情𝛼 𝑡 =𝛼𝑖となる 𝑡 の総数
各時刻 𝑡 のうち 𝑦 𝑡 = 𝑦𝑐 となる 𝑡 の総数• 観測時刻 𝑡 = 0, 1, … , 𝑇• 表情 𝛽𝑗 , 行動 𝛾𝑘 が発現する確率 𝑃(𝛽𝑗 |𝑦𝑐 ), 𝑃(𝛾𝑘 |𝑦𝑐 ) も同様• 𝑃 𝛼𝑖 𝑦𝑐 =表２：「表情」の特徴量

表１：「発言」の特徴量着目する発言例

着目する表情例

一般的なフレーズ

ありがとう、ごめん

顔のパーツに着目

認知症患者が頻繁に発するわからない、帰らないと眉間にしわ、口元が緩み目を細める

対象者の口癖-• CADATY index が 𝑦𝑐 となる確率 𝑃(𝑦𝑐 ) を算出• 𝑃 𝑦𝑐 =各時刻 𝑡 のうち𝑦 𝑡 =𝑦𝑐 となる時刻
𝑇

発言

CADATY index の推定値

ベイズ推定

表情

表４：「環境」の特徴量

表３：「行動」の特徴量

行動着目する行動例

着目する環境例

動作

立つ、頭を前後に揺らす
右後方を見る

対象者が気にする
騒音

楽器の演奏、談笑

環境要因による補正

環境

入力データ

②

発言
表情

• 学習データに CADATY index の値をラベル付け

事前確率

行動

• 介護者等が観察を行い、一定時間間隔で-5～+5の値を記録

CADATY index• 対象者を日常的に観察しており、よく知る者が記録

環境

学習データ
7788

③ CADATY index の推定

評価用データセットの取得• 現時刻 𝒕 の発言、表情、行動の系列 𝒙𝒏 (𝒕) から現在の CADATY index が𝒚𝒄 である確率 𝑷(𝒚𝒄 |𝒙𝒏 (𝒕)) を推定• 取得場所• 𝑃 𝑦𝑐 𝑥𝑛 𝑡

𝑁𝑃 𝑦𝑐 Π𝑛=1
𝑃 𝑥𝑛 𝑡∝• サービス付き高齢者向け住宅 (サ高住) の共有スペース (1階リビング、廊下)

𝑦𝑐

• 対象者

• 推定された CADATY index の期待値𝒚𝒆𝒙𝒑 (𝒕) を算出• 𝑦𝑒𝑥𝑝 𝑡 =σ𝑐 𝑦𝑐 𝑃 𝑦𝑐 Π𝑁𝑛=1 𝑃 𝑥𝑛 𝑡

• 居住者１名：自立移動可能な 90 歳代の認知症女性

𝑦𝑐• データ収集期間• 15:00～19:00 から最大 4 時間× 6 日間𝐶

• 𝑐 = 1, 2, … , 𝐶• 観測データ• 期待値𝒚𝒆𝒙𝒑 (𝒕) に環境情報𝜺(𝒕)による補正を加えて推定値𝑦𝑒𝑠𝑡 (𝑡)を決定③• 𝑦𝑒𝑠𝑡 𝑡 = 𝑦𝑒𝑥𝑝 𝑡 + 𝜃𝐹(𝜀(𝑡) ≠ ∅)
発言

ベイズ推定

表情

• 発言、表情、行動、環境• 手動で記録し、映像、音声記録を用いて補完(𝐹 𝑒𝑞𝑢 は等式𝑒𝑞𝑢が成立すれば1、しなければ0を返す関数)• CADATY Index (正解ラベル)行動

環境要因による補正

環境• 評価指標入力データ• 不穏の予兆があった時に検知できるか• 閾値𝑉 = −1.0, −1.5を設定し、正解値𝑦 𝑡 が閾値以下となるタイミングで推定値𝑦𝑒𝑠𝑡 𝑡 も閾値以下をとれるかどうか

発言
表情

事前確率

行動

記録画面

• 𝑦𝑐 = {+5.0, +4.5, … , −4.5, −5.0}• 映像, 音声記録等から,当該施設で長期間被験者の様子を観察した者 (辻寛†) が１分毎に記録• 実際に観測データに含まれた値は+1.5～-2.5 の範囲

CADATY index の推定値

CADATY index

観測データに含まれるCADATY index の分布

環境

本実験は, 大阪大学大学院情報科学研究科研究倫理委員会による実施許可 (許可番号: 202305)を得て実施してる.
†一般社団法人日本モンテッソーリケア協会

9

学習データ

910

10

3モーダルの情報を用いた推定結果 (検出できた場合)

3モーダルの情報を用いた推定結果 (誤検出、検出漏れの場合)• 発言や表情、行動の複数のモーダルが観測できている場合、ほとんどの不穏の予兆が検出可能• Case1：確率分布が多峰になり誤検出• 学習回数の少ない表情の情報を利用したため• 特徴の得やすかった発言の情報が得られると精度向上• 複数のモーダルを掛け合わせることで、CADATY index の推定範囲が限定されたため• 環境情報の利用でほぼ全ての予兆を検出可能に• Case2：落ち着きがない様子が見られ検出漏れ• Day4では閾値𝑉を-1.0, -1.5どちらに設定してもすべての予兆を検出• 落ち着きがない様子：様々な行動が短時間で遷移している様子• 特に不穏の兆候が強いと考えられる閾値𝑉を-1.5に設定した場合は誤検知なく推定• 例：テレビを見る、窓の方を見る、手元の小物を触るといった行動が高い頻度で切り替わる様子が見られた

CADATY index

表：閾値𝑉 = −1.5の時の不穏の予兆の検出回数

ラベルの値
推定値

-1.5
検出
可能

検出
可能

検出
可能

図：Day4での推定結果（発言＋表情＋行動）

モーダル

③④⑤ 計

発言

3205

表情

0

101

行動

120

3

発言+表情

3

30

6

発言+行動

3

20

5

表情+行動

1

30

4

発言+表情+行動

3

30

6

発言+表情+行動+環境

5

308

全予兆の数

5319

• 行動の継続時間や行動が切り替わる頻度を判断に加える必要

図：𝑃(𝑦𝑐 |眉がハの字型)の確率分布

1111

図：𝑃 𝑦𝑐 右後方を見る, 立ち上がるの確率分布

図：𝑃 𝑦𝑐 眉がハの字型, 右後方を見る, 立ち上がるの確率分布12122

まとめと今後の課題• まとめ• 認知症患者の発言、表情、行動、環境といったマルチモーダルな情報から、認知症患者の不安の強さの指標である CADATY index を推定する手法を提案• ベイズ推定によって発言や行動、表情が複数観測できたケースにおいては、不穏の予兆を状態を推定可能• 発言は強い不穏の予兆の発見に有効であったが、実際に生活の環境において発言を取得する実験を行ったところ、多くの情報を集めることは難しい• 行動は人の後ろや横などの角度でも情報が得やすいため、学習データを集めやすいが、-1.5以下の強い不穏の予兆は検出するのが難しい• 今後の課題• ほかの被験者を対象として実験• 表情、発言、行動を AI 抽出した場合の評価• 表情分析技術や行動分析技術を利用しても推定可能か確認• 本研究では映像や音声データから手動で情報を抽出• CADATY index の事前推定によるさらに早期の不穏対応実験にご協力頂いた、一般社団法人日本モンテッソーリケア協会・サー
ビス付き高齢者向け住宅「柴原モカメゾン」の皆様に感謝いたします。
13133