1A1-C06
拡張現実と分布型触覚センサを組み合わせた認知症ケア教育システムの開発―第二次試作システム HEARTS 2 の開発と評価実験―

Development of dementia care training system combining augmented reality and distributed tactilesensor-HumanitudE AR Training System (HEARTS 2) and psychological experiments○正倉爪 亮 (九大)正Qi AN (九大)Ryo KURAZUME, Kyushu University, kurazume@ait.kyushu-u.ac.jp
Qi AN, Kyushu University
This study develops a training system for a multimodal comprehensive care methodology for dementia patients called Humanitude. Humanitude has attracted much attention as a gentle and eﬀective
care technique. It consists of four main techniques, including eye contact, verbal communication, touch,and standing, with more than 150 care elements. Learning to practice Humanitude thus requires considerable time. To provide an eﬀective training system for Humanitude, we develop a HumanitudE ARTraining System (HEARTS) realizing simultaneous sensing and interaction by combining a real training entity and augmented reality technology. This paper presents a new version of HEARTS named
HEARTS 2 consisting of HoloLens 2, a soft doll, and a full-body wearable tactile sensor.
Key Words: Dementia care, Humanitude, Wearable sensor, Distributed tactile sensor

1

はじめに

近年，医療や介護の現場では，認知症など認知機能の低下した高齢者の介護負担が増加している．認知機能の低下した高齢者の介護は過酷であり，介護士や看護師の不足，疲弊，バーンアウトや被介護者の身体機能の低下などの多くの問題が存在する．これらの問題に対して，近年注目されているケア技法であるユマニチュード（Humanitude）は，知覚，感情，言語による包括的コミュニケーションに基づいたケア技法であり，「見つめる」「触れる」「話しかける」「立たせる」の 4 つのスキルを基本とし，150の具体的なケア技法から構成されている [1]．ユマニチュードは認知症患者に対する極めて有効なケア技法であるが，その習得の困難さが普及への課題となっていた．そこで我々は，家庭を含む介護現場へのユマニチュード導入のための教育手法の確立を目指し，IT 技術を活用したスキルの定量化について現在研究を行っている．
これまでに，拡張現実と分布型触覚センサを組み合わせた認知症ケア教育システム HEARTS 1(HumanitudE AR TrainingSystem) を開発した [2] [3] [4]．本システムの概要を Fig.1 に示す．HEARTS 1 は，触れることができる柔らかな人形に，介護者が触れた位置や力を測定できるウェアラブル全身触覚センサ [5]を装着し，顔の部分の仮想画像を拡張現実デバイス（HoloLens，Microsoft）で重畳表示するものである．これにより，実際に「触れる」技術を体験しながら，「見つめる」技術も訓練することができる．また技術の良し悪しにより表情を変化させることで，実際の被介護者とのコミュニケーションを模擬することができる．
Virtual faceolder manで提示する．また，シナリオモードでは，ユマニチュードの主要な場面の一つである「ケアの準備」において，遠方から目線を捉えて近づき，目線を離さずに肩や上腕に触れ，目線が途切れたら再度回り込んで目線を捉える動きが学習できる．
一方，ユマニチュードでは，「出会いの準備」「ケアの準備」「感情の固定」「知覚の連結」「再開の約束」の 5 つの場面を想定し，それぞれ行うべきケアを具体的に定めている．そこで本稿では，HEARTS 1 を拡張し，新たな拡張現実デバイス HoloLens 2 や，上記の 5 つのすべての場面に対応した新たな認知症ケア教育シス
テム HEARTS 2 を提案する．

1.1 HEARTS 2
HEARTS 2 では，新たにリアルな高齢女性とアニメ調の 2 つのアバターを用意した（Fig.2）. HEARTS 1 と同様に，両アバターとも目線の変更や瞬き，視線の追跡（アイコンタクトが取れている場合のみ）などが実装されている．
また HEARTS 2 では，HEARTS 1 の HoloLens に代わり，新たな仮想現実デバイス HoloLens 2（Fig.3）を採用している.
HoloLens 2 の視野角は 52 度であり，HoloLens の 34 度に比べて視野が拡大しており，HEARTS 1 で問題であった視野の狭さが改善されている．

HoloLens
Soft doll

Realistic older woman

Wearabletactile sensor

Real bodyFig.1 認知症ケア教育システム HEARTS 1
Animated older woman

HEARTS 1 は訓練モードとシナリオモードの 2 つのモードを有する．訓練モードでは，訓練者は HoloLens を装着して自由に介護動作を行い，その際に適切に「見つめる」技術，「触れる」技術が使われているかを評価し，結果を画面上に★印やメッセージ

Fig.2 HEARTS 2 で追加されたアバター

No. 21-2 Proceedings of the 2021 JSME Conference on Robotics and Mechatronics, online, June 6-8, 2021
1A1-C06(1)Instruction(1) Move to door

Fig.3 Microsoft HoloLens 2
また，表情も HEARTS 1 と同様に，喜び，悲しみ，怒りなど，Fig.4 に示す 5 種類が実装されている．

(2) Knock on door three times and move to bed(3) Knock on bed board and approch from eye direction

HappinessAnger

Surprise

SadnessFear(4) Grab eye sightFig.4 表情の変化
さらに，HEARTS 2 には HEARTS 1 と同様に訓練モードとシナリオモードがあり，シナリオモードでは，ユマニチュードにおける「出会いの準備」「ケアの準備」「感情の固定」「知覚の連結」「再開の約束」の 5 つのすべての場面に対するシナリオが訓練できる．一例として，出会いの準備の訓練の様子を Fig.5 に示す．
HEARTS 1 では，座った状態の訓練のみであったが，HEARTS
2 では座った状態，ベッドに寝た状態の 2 つの被介護者を体験できる．

2(5) Keep eye contact within 20 cm

Fig.5 HEARTS 2 で追加されたシナリオ

印象評価実験

これまでに開発した HEARTS 1 と HEARTS 2 を用いた印象評価実験を行った．実験では，訓練用模擬患者や人形の 1 メート
ル手前に立ち，目線を合わせるように近づき，20 秒間，近距離から目線を捉え続けたときの印象をアンケート調査した．
実験は以下の 3 つのシナリオについて行った（Fig.6）(a) Simulated patient(a) 訓練用模擬患者に静かに近づき，目線を合わせる（HEARTSは用いない）（Fig.7(a)）(b) HEARTS 1 により AR 画像に静かに近づき，目線を合わせる (Fig.7(b))(c) HEARTS 2 により AR 画像に静かに近づき，目線を合わせる (Fig.7(c))
実験前後の心理状態はアフェクトグリッド [6] を用いて評価した．アフェクトグリッドは，Fig.8 に示すように，2 つの軸（快・不快か覚醒・非覚醒）方向に 9 個のマスを持ち，実験前後での心理状態をマスに記入してもらうことで印象を評価するものである．実験は 21 歳から 52 歳までの男女 20 人で行い，九州大学大学院システム情報科学研究院倫理委員会の承認を得た．
Fig.9 および Table 1，Table 2 に実験結果を示す．快・不快については，シナリオ (a) とシナリオ (b) には有意差が認められなかったが，シナリオ (a),(b) とシナリオ (c) には有意差が認められた（p<0.05）．一方，覚醒・非覚醒については，どのシナリオのついても有意差が認められなかった．この結果より，被験者はHEARTS 2 に対しては，訓練用模擬患者や HEARTS 1 よりも心地よさを感じていることを示している．
実験後のコメントの一部を以下に示す．
訓練用模擬患者• 顔がリアルすぎて怖い．ストレスを感じる• 顔の表情が変化しないため，やる気が起きない(b) HEARTS 1(c) HEARTS 2

Fig.6 印象評価実験の様子• アイコンタクトなどのインタラクションが感じられないた
めに面白くない• 反応がないため，何をすべきかわからなかった
HEARTS 1• 目が合ったら笑い返してくれた• 目線があるのが分かった• HoloLens が少し重い• 視野が狭く，近づくと顔の一部しか見えない• 顔がリアルで HEARTS 2 に比べて少し怖い
HEARTS 2• 表情変化がわかりやすかった• 表情が豊かで，目線があった時の変化が自然だった• HoloLens 2 の視野は HoloLens に比べて広く，軽かった• アバターがほほ笑むと，リラックスでき，私もほほ笑んだ• アバターに近づくと，色が薄くなって，口などが視野の外に出てしまった• 急に動くと，遅れや誤差を感じた

No. 21-2 Proceedings of the 2021 JSME Conference on Robotics and Mechatronics, online, June 6-8, 2021
1A1-C06(2)Change of pleasure

Pleasure score(a) Simulated patient (b) HEARTS 1 (c) HEARTS 2

Fig.7 訓練用模擬患者，高齢男性，アニメ調高齢女性

P<0.05543210-1-2-3-4-5-6
Simulated patient

P<0.05HEARTS 1

HEARTS 2High arousal

Arousal score
65
Change of arousal

4

Unpleasantfeelings

Pleasant
feelings

3210-1-2-3

Sleepiness

Simulated patient

Fig.8 Aﬀect Grid [6]3HEARTS 1

HEARTS 2

Fig.9 (a) 訓練用模擬患者，(b)HEARTS 1，(c)HEARTS
2 の快・不快スコアと覚醒・非覚醒スコア

まとめ

本 稿 で は ，新 た に 開 発 し た 認 知 症 ケ ア 教 育 シ ス テ ム
HEART2(HumanitudE AR Training System) を 紹 介 した．また印象評価実験により，訓練用模擬患者，HEARTS 1，HEARTS 2 の印象を比較し，HEARTS 2 がより親しみやすい印象を与えることを示した．

Table 2 快・不快の検定結果(a) Simulated (b) HEARTS 1(b) HEARTS 1
0.4431(c) HEARTS 20.0000045
0.0044

謝辞
本研究は，JST，CREST，JPMJCR17A5 の支援を受けたものである．

参考文献[1] 本田美和子, イヴ・ジネスト, ロゼット・マレスコッティ. ユマニチュード入門. 医学書院, 2014.
[2] Tomoki Hiramatsu, Masaya Kamei, Daiji Inoue, Akihiro Kawamura, and Ryo Kurazume. Development of dementia care training system based on augmented reality and whole body wearable
tactile sensor. In 2020 IEEE/RSJ International Conference onIntelligent Robots and Systems (IROS 2020), pp. 4148–4154,
2020.

[4] 平松知樹, 亀井雅哉, 井上大路, 林拓真, 河村晃宏, 倉爪亮. 拡張現実と分布型触覚センサを組み合わせた認知症ケア教育システムの開発シナリオに基づく訓練システムと実証試験-. 日本機械学会ロボティ
クスメカトロニクス講演会 2020, pp. 1A1–D09, 2020.5.27-29.
[5] 亀井雅哉, 平松知樹, 井上大路, 河村晃宏, 倉爪亮. 介護技術定量化のためのウェアラブル全身触覚センサの開発. 日本機械学会ロボティク
スメカトロニクス講演会 2020, pp. 1A1–D10, 2020.5.27-29.
[6] J. A. Russel, A. Weiss, and G. A. Mendelsohn. Aﬀect grid: A
single-item scale of pleasure and arousal. Journal of Personality
and Social Psychology, Vol. 57, No. 3, pp. 493 – 502, 1989.

[3] 平松知樹, 井上大路, 河村晃宏, 倉爪亮. 拡張現実と分布型接触センサを組み合わせた認知症ケア教育システムの開発. ロボティクス・メ
カトロニクス講演会講演概要集 2019, pp. 1A1–Q03. 一般社団法人
日本機械学会, 2019.

Table 1 快・不快と覚醒・非覚醒のスコア
Pleasure
ArousalAverage STD. Average STD.
(a) None
-1.4
1.54
1.05
1.76
(b) HEARTS 1-0.55
1.79
0.90
1.12(c) HEARTS 2
1.25
1.02
1.15
1.27

No. 21-2 Proceedings of the 2021 JSME Conference on Robotics and Mechatronics, online, June 6-8, 2021
1A1-C06(3)