RSJ2021AC2G1-02

拡張現実と分布型触覚センサを組み合わせた認知症ケア教育システムの開発-第三次実証システム HEARTS 3 の開発○倉爪

1.

亮（九州大学） Qi An

はじめにユマニチュードは、近年、認知症患者に対する優しい介護として注目されている介護技法である。ユマニチュードは、 見る 、 話す 、 触れる 、 立たせる の４つのスキルからなるマルチモーダルケア技術であり、それらを同時に適切なタイミングで実施することで認知症患者とのコミュニケーションを図り、人と人とのつながりを意識しながらケアを提供する。介
護現場では、ユマニチュードの導入による PTSD の減少やバーンアウトの防止などの効果が報告されているが、複数のスキルをケアの状態に応じて適切に組み合わせる必要があり、習得には専門的な訓練が必要である。通常は、患者役の模擬患者や人形を用いた訓練が行われるが、模擬患者には認知症患者としてのスキルが必要であり、人形ではユマニチュードで重要なコミュニケーションが訓練しづらい。
そこで我々はこれまで人形と複合現実デバイス、接触センサを用い、人形の頭部に CG の顔画像を重畳表示することで、視線変化や表情変化を再現し、また人形を使うことで触れる技術も訓練できる認知症ケア教育システムを開発している。本稿では、新たに開発した第三次実証システム HEARTS 3 について報告する。

2.

認知症ケア教育システム HEARTS

2.1

HEARTS 1

HEARTS (HumanitudE AR Training System) 1 は2019 年に開発した第一次システムである [1] [3] [2] [4][5]。このシステムでは、Microsoft HoloLens、分布型ウエアラブル全身触覚センサを用い、柔らかな全身型人形の頭部に AR 画像を重畳表示する。システムの概略を図 1 に示す。
ユマニチュードで重要な 見る スキル、すなわち目線を合わせる技術は、HoloLens とアバターの視線方向の一致度で判定している。判定結果は、図 2 に示すようにアスタリスクで訓練者にフィードバックされる。
また 触れる スキルは、新たに開発した分布型ウエアラブル全身触覚センサにより、体に触れた部位と力を計測し、接触部位と力の大小で判定している。強く触りすぎたとき、あるいは胸など不適正な場所に触った場合には、図 3 に示すように画面上に警告が表示される。
HEARTS 1 は実際に認知症家族の会やインストラク
タが使用し、HoloLens の視野が狭い、視線を合わせることが難しい、表情が硬く怖い、などのコメントが得られた。

第39回日本ロボット学会学術講演会（2021年9月8日～11日）（九州大学）

Virtual faceolder man

HoloLens
Soft doll
Wearabletactile sensor

Real body

図 1 HEARTS 1 [1]

図2

見るスキルの訓練

図3

触れるスキルの訓練

2.2 HEARTS 2
HEARTS 1 の評価をもとに、2020 年に新たに第二次システム HEARTS 2 を開発した [6]。このシステムでは、より視野の広い Microsoft HoloLens 2 を用い、アバターも高齢女性とアニメ調の 2 種類を追加した（図4）。HEARTS 2 では、座った状態に加えてベッドに寝ている状態や、Humanitude の５つのステップ（出会いの準備、ケアの準備、近くの連結、感情の固定、再会の約束）が訓練できるシナリオを追加した（図 5）。

3.

HEARTS 3

今回新たに開発した第三次システム HEARTS 3 を図6 に示す。本システムでは、HEARTS 1, 2 で用いた分布型ウエアラブル全身触覚センサに代わり、訓練者が装着し、より簡便に接触計測が可能な触覚センサグローブ（Pressure Proﬁle Systems 社製、Tactile Glove) をRSJ2021AC2G1-02

䜰䝞䝍䞊ぢ䜛䝇䝁䜰㧗㱋ዪᛶヰ䛩䝇䝁䜰㻴㼛㼘㼛㻸㼑㼚㼟㻌㻞ゐぬ䝉䞁䝃䜾䝻䞊䝤ゐ䜜䜛䝇䝁䜰ேᙧ㻼㻯䜰䝙䝯ㄪ

図4

図 6 HEARTS 3

２つのアバター（高齢女性とアニメ調）

Instruction ධᐊࡢ‽ഛ

を、訓練者の視野に表示できるようにした。さらに、目線があった時、強く触りすぎたときなどに、画面への警告やアバターの表情変化（図 8）に加えて、 ウフフや ウッ などの音声で反応を返す機能も実装した。また、 見る 、 触れる 、 話す が全く出来ていな
いときには、音声で「コミュニケーションが取れていない」と警告が出るようにした。
ぢ䜛䝇䜻䝹ヰ䛩䝇䜻䝹 ࢻ࢔ࢆ㸱ᅇࣀࢵࢡࡋ࡚ධᐊ ࣋ࢵࢻ࣮࣎ࢻࢆ㸯ᅇࣀࢵࢡࡋ࡚┠⥺᪉ྥ࠿ࡽ㏆࡙ࡃ

ゐ䜜䜛䝇䜻䝹䝬䝹䝏䝰䞊䝎䝹䝇䝁䜰
図7

見る、 触れるಶู䝇䝁䜰 䠄᫬㛫๭ྜ䠅、 話すの評価とスコア提示 ┠⥺ࢆᤊ࠼ࡿ FP ௨ෆ࡟㏆࡙ࡃ

図5

出会いの準備の訓練用いた。
また、HEARTS 3 では新たに、これまでの 見る 、触れる スキルに加えて、 話す スキルも計測し、さらにそれらを組み合わせたマルチモーダルケアが実践できているかを数値で提示する機能を実装した。
具体的には、話すスキルの計測には、HoloLens 2 のマイクロフォンを用い、音圧が一定値以上であれば話しているとみなしている。また、図 7 に示すように、総訓練時間に対し、見る 、 触れる 、 話す が個別に実施できている時間割合
2. 見る 、 触れる 、 話す を、少なくとも２つ以上組みあわせて実施できている時間割合

1.

第39回日本ロボット学会学術講演会（2021年9月8日～11日）

目線を合わせ、弱く触ったとき目線を合わせ、強く触ったとき

図8

表情変化と警告の表示

RSJ2021AC2G1-024.

おわりに

本稿では、 見る 、 触れる 、 話す スキルを同時に提供するマルチモーダルケア技術を訓練できる、ユマニチュードを用いた認知症ケア教育システムの第三次実証システム HEARTS 3 について報告した。
謝 辞 本研究は、JST CREST JPMJCR17A5 の支援を受けたものである。
参考

文

献

[1] Tomoki Hiramatsu, Masaya Kamei, Daiji Inoue, Akihiro Kawamura, and Ryo Kurazume. Developmentof dementia care training system based on augmented
reality and whole body wearable tactile sensor. In2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2020), pages –, 2020.
[2] 亀井 雅哉, 平松 知樹, 井上 大路, 河村 晃宏, and 倉爪 亮.
介護技術定量化のためのウェアラブル全身触覚センサの開発. In 日本機械学会ロボティクスメカトロニクス講演会 2020, pages 1A1–D10, 2020.5.27-29.
[3] 平松 知樹, 亀井 雅哉, 井上 大路, 林 拓真, 河村 晃宏, and倉爪 亮. 拡張現実と分布型触覚センサを組み合わせた認知症ケア教育システムの開発-シナリオに基づく訓練シス
テムと実証試験-. In 日本機械学会ロボティクスメカトロ
ニクス講演会 2020, pages 1A1–D09, 2020.5.27-29.
[4] 平松 知樹, 井上 大路, 河村 晃宏, and 倉爪 亮. 拡張現実と分布型接触センサを組み合わせた認知症ケア教育シス
テムの開発. In 日本機械学会ロボティクスメカトロニクス講演会 2019, pages 1A1–Q03, 2019.6.5-8.
[5] 平松 知樹, 井上 大路, and 倉爪 亮. 認知症患者ケアのためのウェアラブル触覚センサの開発. In 電子情報通信学会 HCG シンポジウム 2018, pages HCG2018–A–3–6,2018.12.12-14.
[6] 倉爪 亮 and Qi An. 拡張現実と分布型触覚センサを組み合わせた認知症ケア教育システムの開発第二次試作システム hearts 2 の開発と評価実験. In 日本機械学会ロボティクスメカトロニクス講演会 2021, pages 1A1–C06,2021.6.6-8.

第39回日本ロボット学会学術講演会（2021年9月8日～11日）