認知症患者と不穏• 認知症患者• 様々な脳の病気により、脳の神経細胞の働きが徐々に低下し、認知機能（記憶力、判断力等）が低下して、社会生活に支障をきたした状態• 世界で毎年1,000万人のペースで増加• 認知機能の低下により記憶や将来に対して不安を抱えている

発言，表情，行動に基づく認知症患者の不穏度合い推定• 不穏、BPSD• 認知症患者が抱える不安やストレス、体の不調等が表面に現れた状態• 不穏：落ち着きがなくなり興奮した状態• BPSD： 行動心理症状 (Behavioral and Psychological Symptoms ofDementia)

重清成海†, 山内雅明†, 辻寛††, 下西英之†††, 村田正幸†, 杉田美和††††, 木多道宏††††• 例：怒りっぽくなる、妄想がある、意欲と元気が無くなる、興奮状態となる、暴言や暴力†大阪大学 大学院情報科学研究科††一般社団法人 日本モンテッソーリケア協会• 暴言や暴力といった攻撃的な行動は, 認知症患者自身に限らず, 一緒に生活する家族や, 介護を行う介護職員等に対して心理的・身体的な負担†††大阪大学 サイバーメディアセンター††††大阪大学 大学院工学研究科• 認知症患者の増加に伴い、介護職員の不穏対応負荷が増加• 早期対応により、患者本人や介護者の負担が軽減• 不穏の手前の段階である「不安」の状態を捉えることが重要
2

1

2

CADATY index の提案 [1]

研究目的とアプローチ• Caregivers Assess Dementia'sAnxiety designed by Tsuji andYamauchi index• 認知症患者が感じている不安感情の強さを推定する指標• 不穏や BPSD の前段階である不安の状態を検出可能• 介護職員が経験知的に会得している不穏の予兆を点数化したもの• 点数化方法• 認知症患者の「発言」「表情」「行動」等の日常の様子から, 対象者の不安および不穏度合いを点数化• 対象の認知症患者の普段の様子をよく知る介護職員等が評価• -1～-3 は不安状態 (不穏の予兆) 、-3～-5 は不穏状態 の目安

不安状態→不穏の予兆

不穏状態

例

• 目的

安寧 (他者)

他者に感謝を示す• アプローチ+1

安寧 (自己)安心しリ
ラックス

0ニュートラル-1

自問

戸惑っている、心細い-2

自責、他問

自分自身にいら立つ、人に何かを確認する-3

他責

他人に強く何かを訴える

CADATYindex

目安+3～+5

興奮 (躁状態)+2• ベイズ推定を用いて、発言, 表情, 行動から CADATY index を推定

-4

他人に暴言
他責 (攻撃的) を吐く-5

他者に暴力他責 (暴力的) をふるう

[1] H. Tsuji, M. Yamauchi, M. Sugita, and M. Kita, "Appearance Transcription (CADATY Index) and Memory Book (Life-History Survey); Consideration for a
Psychological State Estimation Index for People with Dementia," in Proc. 29th Int. Montessori Congr. Thailand, Exhibition Showcase, Aug. 2023.

• 認知症患者の発言, 表情, 行動といったマルチモーダルな観測情報から CADATY index を推定することで, 不穏度合いを推定• 入力：発言, 表情, 行動• 出力：CADATY index (不穏度合いの指標)

DB
学習データ
カメラ
認知症患者
マイク

ベイズ推定に基づく事前学習、
CADATY index の推定「発言」「表情」「行動」の観測

今回の検証

ロボットが対応推定結果の活用

3

3

4

4

提案手法の概要① データセットの収集① データセットの収集• 映像カメラや音声マイクから「発言」「表情」「行動」を取得• 映像カメラや音声マイク等の記録映像や音声から、時刻 𝑡 における対象の認知症患者の発言 𝛼 𝑡 , 表情 𝛽(𝑡), 行動 𝛾(𝑡) の情報を抽出• 対象者の普段の様子についてよく知る介護者等が CADATY index の目
安に基づき, 時刻 𝑡 における CADATY index の値 𝑦(𝑡) を記録• 発言：音声マイクを使って、対象者の会話や独り言を記録した音声デー
タの文字起こしを行い, 得られたテキストデータから、対象者が高い頻度で発するフレーズを抽出• 例：「ありがとう」「ごめん」等の一般的に皆が使いうるフレーズ• 例：認知症患者が頻繁に発する「わからない」「もう帰らないと」• 例：対象者特有の口癖② 事前確率の学習• CADATY index が 𝑦𝑐 のとき、発言 𝛼𝑖 , 表情 𝛽𝑗 , 行動𝛾𝑘 が発現する確率を学習• 表情：映像カメラを使って、対象者の顔画像の抽出を行い事前に定義した表情ラベルのどれに該当するか分類し、表情ラベルを入力として蓄積③ CADATY index の推定• 時刻 𝑡 の発言, 表情, 行動の系列 𝑥𝑛 (𝑡) から現在の CADATY index を推定
発言

ベイズ推定

表情行動入力データ• 対象者の顔のパーツの様子 (目や口角の角度、特定のしわの有無) に着目したものを事前に定義• 例：口元が緩み目を細める、眉間に縦じわ

CADATY index の推定値

• 行動：映像カメラを使って、対象者の様子を抽出し、事前に定義した行動ラベルのどれに該当するか分類し、行動ラベルを入力として蓄積• 動作および移動の情報を事前に定義• 例：立つ、座る、右後方を見る、左後方を見る、特定の部位を触る

発言
表情
行動

事前確率

• 学習データ用の CADATY index をラベル付け• 対象者をよく知る介護者等が観察を行い、一定時間間隔で-5～+5の値を記録

CADATY index

学習データ
5

5

介護士に通知661

② 事前確率の学習③ CADATY index の推定• ベイズ推定に基づく事前確率の算出• 現時刻 𝒕 の発言, 表情, 行動の系列 𝒙𝒏 (𝒕) から現在の CADATY
index が 𝒚𝒄 である確率 𝑷(𝒚𝒄 |𝒙𝒏 (𝒕)) を推定• ベイズ推定• 原因 A が発生した際に事象 B が発生する確率 𝑃 𝐵 𝐴 から、事象 B が発生した際に原因 A が生じている確率 𝑃(𝐴|𝐵) を算出• 𝑃 𝐴𝐵• 𝑃 𝑦𝑐 𝑥𝑛 𝑡=

• CADATY index が 𝑦𝑐 であるときに、発言 𝛼𝑖 が発現する確率𝑃 𝛼𝑖 𝑦𝑐 を算出

各事象を独立とみなすナイーブ
ベイズを適用𝑃 𝑋 𝐴, 𝐵, … 𝑍
𝑃 𝑋 𝑃 𝐴|𝑋 𝑃 𝐵|𝑋 … 𝑃(𝑍|𝑋)=
𝑃 𝐴, 𝐵, … , 𝑍𝑦𝑐𝑃(𝑥1 𝑡 ,…,𝑥𝑁 (𝑡))𝑁 𝑃 𝑥 𝑡 𝑦𝑃 𝑦𝑐 Π𝑛=1𝑛𝑐
𝑃(𝑥1 𝑡 , … , 𝑥𝑁 (𝑡))𝑁
∝ 𝑃 𝑦𝑐 Π𝑛=1
𝑃 𝑥𝑛 𝑡 𝑦𝑐

各時刻 𝑡 のうち 𝑦 𝑡 = 𝑦𝑐 かつ表情𝛼 𝑡 =𝛼𝑖 となる 𝑡 の総数
各時刻 𝑡 のうち 𝑦 𝑡 = 𝑦𝑐 となる 𝑡 の総数• 観測時刻 𝑡 = 0, 1, … , 𝑇• 表情 𝛽𝑗 , 行動 𝛾𝑘 が発現する確率 𝑃(𝛽𝑗 |𝑦𝑐 ), 𝑃(𝛾𝑘 |𝑦𝑐 ) も同様• 𝑃 𝛼𝑖 𝑦𝑐 =• 推定された CADATY index の期待値から CADATY index の推定値 𝒚𝒆𝒔𝒕 (𝒕) を決定• 𝑦𝑒𝑠𝑡 𝑡 =• CADATY index が 𝑦𝑐 となる確率 𝑃(𝑦𝑐 ) を算出• 𝑃 𝑦𝑐 =𝑃 𝑦𝑐 𝑃 𝑥1 𝑡 , … , 𝑥𝑁 𝑡

=𝑃(𝐵|𝐴)𝑃 𝐴= 𝑃(𝐵)𝑁 𝑃 𝑥
σ𝑐 𝑦𝑐 𝑃 𝑦𝑐 Π𝑛=1𝑛 𝑡𝑦𝑐𝐶

• 𝑐 = 1, 2, … , 𝐶

各時刻 𝑡 のうち𝑦 𝑡 =𝑦𝑐 となる時刻
𝑇7788

評価用データセットの取得

評価指標• 取得場所• 推定値 𝒚𝒆𝒔𝒕 𝒕 と正解値𝒚 𝒕 を比較し、どれだけ不穏度合いを推定できたか確認する評価指標を設定• 正解値𝑦 𝑡 が-1.0以下となったタイミングを何回推定できるかで評価• サービス付き高齢者向け住宅 (サ高住) の共有スペース (1階リビング, 廊下)• 正解値𝑦 𝑡 が-1.0 以下となる場合は不穏の予兆であると考えられる• 正解値𝑦 𝑡 が-1.0以下の値を連続して記録する期間 (ただし𝑦 𝑡 が-1.0を上回った場合でも1分以内であれば連続とみなす) を1回と計算し、期間内に推定値𝑦𝑒𝑠𝑡 𝑡 が-1.0以下の値をとることができたかどうか、つまり不穏の兆候を検出できたかどうか確認• 対象者• １名：自立移動可能な 90 歳代の認知症女性• データ収集期間（６日間）• 15:00～19:00 から最大 4 時間

• 各時刻における推定値𝑦𝑒𝑠𝑡 𝑡 と正解値𝑦 𝑡 との差分を計算し、誤差の平均、誤差の中央値、誤差の最大値、誤差の標準偏差を算出• 観測データ• 各モーダルの組み合わせを変更した場合についても同様に評価し、各モーダルの組み合わせによる推定の有効性を評価

記録画面• 発言, 表情, 行動• 手動で記録し, 映像, 音声記録を用いて補完

0CADATY index• CADATY Index (正解ラベル)• 𝑦𝑐 = {+5.0, +4.5, … , −4.5, −5.0}• 映像, 音声記録等を参考に,当該施設で長期間被験者の様子を観察した者 (辻) が１分毎に記録• 実際に観測データに含まれた値は+1.5～-2.5 の範囲

024

この間に1回でも推定値が-1を下回りアラートを上げる必要

観測データに含まれるCADATY index の分布

998101214-1-1.5

本実験は, 大阪大学大学院情報科学研究科研究倫理委員会による実施許可 (許可番号: 202305),および大阪大学大学院工学研究科研究倫理委員会による実施承認 (承認番号: 4–7–1) を得て実施してる.

6-0.5

時刻

１回の不穏の予兆
1010

3モーダルの情報を用いた推定結果 (検出できた場合)

3モーダルの情報を用いた推定結果 (検出できた場合)• 発言, 表情, 行動の全てのモーダルが欠けることなく観測できている場合, ほとんどの不穏の予兆が検出可能• 発言, 表情, 行動の全てのモーダルが欠けることなく観測できている場合, ほとんどの不穏の予兆が検出可能• 複数のモーダルを掛け合わせることで, CADATY index の推定範囲が限定されたため• 図 7：4 回の予兆のうち 3 回を検出

• 複数のモーダルを掛け合わせることで, CADATY index の推定範囲が限定されたため• 図 7：4 回の予兆のうち 3 回を検出

• モーダルを掛け合わせて精度が向上した例：15:44 に「アホ」という発言, 耳を覆う, 頭を前後に揺らす, 右後方を見るという行動が観測• モーダルを掛け合わせて精度が向上した例：15:44 に「アホ」という発言, 耳を覆う, 頭を前後に揺らす, 右後方を見るという行動が観測

検出可能
検出漏れ

「アホ」という発言があったときの推定確率分
布1111

耳を覆う, 頭を前後に揺らす,右後方を見る行動があっ た
ときの推定確率分布

発言と行動を掛け合わせた場合の推定確率分布12122

3モーダルの情報を用いた推定結果 (検出できなかった場合)

各モーダルを組み合わせた評価結果• データの一部が取得できない場合• 複数のモーダルを活用することで検出精度が向上• 発言+行動 により精度が向上• 表情の情報が不足 (図6)

• Day3 で発言 → 発言+行動 で検出数が 2 → 5• 映像カメラの画角に顔が映ってない• カメラの増設や他モーダルの活用によりある程度対応可能• 今回のケースでは表情による不穏の予兆の検出回数は少なかった• 声が小さくフレーズが聞き取れなかった• かなり精度が低下• カメラから何かを話している状態は判別可能• 音声マイクの性能向上や設置位置の工夫による改善• 不穏の予兆の検出に重要なモーダルは, 行動≧発言＞表情 とみられる• 発言+行動 → 発言+行動+表情 で検出回数は同じ• 発言 → 発言+表情 で誤差が 1.04 → 0.78 に改善• 発言の情報が不足 (図9)

• 表情により正の値の範囲が多く検出できたため• 表情のデータ数が少なかったことも影響• 生活の場においてどこで発言を行うか等は予想できない部分も多く, このような場合でも他のモーダルから補足可能とする方法を検討中

検出可能

表情の情報不足による検出漏れ• 性格, 性別, 認知症の型等で個人差があると考えられるため確認予定
各モーダルの組み合わせにおいて推定できた不穏の予兆の回数

正解ラベルに対する各モーダルの推定結果の誤差

発言の情報不足による検出漏れ131314

14

まとめと今後の課題• まとめ• 認知症患者の発言, 表情, 行動といったマルチモーダルな情報から,認知症患者の不安の強さの指標である CADATY index を推定する手法を提案• ベイズ推定により, 発言, 表情, 行動が全て観測できる場合, 不穏の予兆を推定可能• 発言および表情の情報が欠損した場合, 推定できなかった• 映像カメラや音声マイクの増設等で対応可能な部分も• 他モダリティの利用、確率分布のばらつき具合の利用で対応検討• 今後の課題• 表情, 発言, 行動を AI 抽出した場合の評価• 表情分析技術や行動分析技術を利用しても推定可能か確認• 本稿では映像や音声データから手動で情報を抽出• CADATY index の事前推定によるさらに早期の不穏対応• 被験者を増やすこと
本研究は、大阪大学 NEC Beyond 5G 協働研究所における成果です。
実験にご協力頂いた、一般社団法人日本モンテッソーリケア協会・サー
ビス付き高齢者向け住宅「柴原モカメゾン」の皆様に感謝いたします。

15

153