1A1-D09
拡張現実と分布型触覚センサを組み合わせた認知症ケア教育システムの開発
シナリオに基づく訓練システムと実証試験

Development of dementia care training system combining augmented reality and distributed tactile sensor
Scenario-based training system and demonstration
学 平松知樹 (九大)学 井上大路 (九大)正 河村晃宏 (九大)

亀井雅哉 (九大)〇学 林 拓真 (九大)正 倉爪 亮 (九大)Tomoki HIRAMATSU, Kyushu University
Masaya KAMEI, Kyushu University
Daiji INOUE, Kyushu University
Takuma HAYASHI, Kyushu University
Akihiro KAWAMURA, Kyushu University
Ryo KURAZUME, Kyushu University, kurazume@ait.kyushu-u.ac.jp
This paper proposes a training system for a multimodal comprehensive care methodology for dementia patients
named Humanitude. Humanitude has been attracting much attention as an eﬀective care technique for dementia
patients. Humanitude consists of four main techniques, namely, eye contact, verbal communication, touch, andstanding up, and more than 150 care elements. Learning Humanitude thus requires much time. To train Humanitudeeﬀectively, we develop a training system that realizes sensing and interaction simultaneously by combining a real entityand augmented reality technology. To imitate the interaction between a patient and a caregiver, we superimpose athree-dimensional CG model of a patient’s face onto the head of a soft doll using augmented reality technology. Touch
information such as position and pressure is sensed using a whole body wearable tactile sensor. The eﬀectiveness ofthe proposed training system is evaluated in public lectures.
Key Words: Dementia care, Humanitude, Augmented Reality, Distributed Tactile Sensor, Wearable Sensor

1 はじめに2

近年，医療や介護の現場では，認知症など認知機能の低下した高齢者の介護負担が増加している．認知機能の低下した高齢者の介護は過酷であり，介護士や看護師の不足，疲弊，バーンア
ウトや被介護者の身体機能の低下などの多くの問題が存在する．
これらの問題に対して，近年注目されているケア技法であるユマニチュード（Humanitude）は，知覚，感情，言語による包括的コミュニケーションに基づいたケア技法であり，「見つめる」「触れる」「話しかける」「立たせる」の 4 つのスキルを基本とし，150の具体的なケア技法から構成されている [1]．ユマニチュードは認知症患者に対する有効なケア技法であるが，その習得の困難さが普及への課題となっていた．そこで我々は，家庭を含む介護現場へのユマニチュード導入のための教育手法の確立を目指し，IT技術を活用したスキルの定量化について研究を行っている [2, 3]
特に本研究では，ユマニチュードの 4 つのスキルのうち「見つめる」と「触れる」に着目したユマニチュード教育システムの開発を行った．教育システムでは，学習前後のユマニチュードのスキルを定量化し，比較することが求められる．スキルの定量化のためには患者にセンサを取り付ける必要があるが，実際の患者にセンサを装着することは患者自身に拒否される場合も多く，困難である．また，模型を利用した訓練ではユマニチュードにおいて重要な要素であるインタラクションが欠落してしまい，模擬患者を用いる場合もシナリオに沿った訓練やインタラクションを行うには模擬患者自身のスキルが必要となる．これらの問題を解決するために，我々はこれまでに実体と拡張現実技術を組み合わせることでセンシングとインタラクションを両立した教育システムを構築した [3]．本システムはユマニチュード初学者にユマニチュードを体験してもらうことで，0 から１をつなぐ入り口になることを主目的としている．本研究では更に，シナリオに沿って決まった動作を訓練者が行い，手順化された動作の記憶や多くの注意事項への意識を体験できる「シナリオモード」を作成し，実際にユマニチュード学習者がシステムを利用する実証実験を行った．

ウェアラブル触覚センサの開発

これまで開発したベスト状ウェアラブル触覚センサ [3] を拡張し，衣服状に加工することで全身を覆うことができるウェアラブルな触覚センサを作成した．センサの構造を図 1 に示す．このセンサは 6 つのパーツと専用回路から成り，着用することで全身への接触を圧力分布としてリアルタイムに定量化することが可能である．専用回路ではアナログデジタル変換回路を用いて加圧による静電容量の変化を測定し，測定値を PC へ送信する．PC との通信は Bluetooth と USB ケーブルのいづれかを介したシリアル通信で行う．センサの空間分解能は 20mm × 20mm である．

Fig.1 Structure of wearable tactile sensor

3 ユマニチュード教育システム
前章で述べた全身型ウェアラブル触覚センサと AR（AugmentedReality）技術を組み合わせた，新たなユマニチュード教育システ
ムを開発した．本章ではこのユマニチュード教育システムについて述べる．

No. 20-2 Proceedings of the 2020 JSME Conference on Robotics and Mechatronics, Kanazawa, Japan, May 27-29, 2020
1A1-D09(1)3.1 触覚センサを利用した接触のセンシング
まず，全身型の人形の上半身部分へ上述した全身型ウェアラブル触覚センサを装着し，人形の上半身を触覚センサで覆った（図2）．これにより人形の上半身への接触を圧力分布として測定することが可能となり，ユマニチュードの「触れる」スキルの定量化を実現した．

いては，ユマニチュードの専門家の方々に実際に開発した教育システムを体験していただき，助言をもとに決定している．
評価軸
Gaze
Distance
Inclination

Table 1 Evaluation axes
概要
アバターとの視線の合い具合
アバターと訓練者間の顔の距離
アバターと訓練者間の顔の相対姿勢

3.4.2 接触に関するフィードバック文の表示
これまで，「触れる」スキルに関して教育効果をフィードバックするために，決定木を構築し，人形に装着した触覚センサのデータからフィードバック文を表示するシステムを実現している [3]．
「フリーモード」では同様に，図 4 に示した決定木を利用して「触れる」スキルに関するフィードバック文を生成する．それぞれのフィードバック文は HoloLens を通じて HoloLens 装着者にリアルタイムに提示される．
Fig.2 Attaching the tactile sensor to the doll
3.2 HoloLens を利用したアバターとのインタラクション
人形を用いた訓練では欠落してしまうインタラクションを再現するため，HoloLens を利用して人形の顔へ仮想の顔モデルを重畳表示し，アバターとのインタラクションを実現した．このアバターはシステム側から表情や視線を制御することができる．今回用いた顔のモデルはオープンソースの人体生成 3DCG ソフトウェ
アである MakeHuman [4] で作成した．
3.3 顔モデルの位置合わせ
顔のモデルと人形との相対位置合わせでは，まず人形に貼り付けた AR マーカーを利用して相対初期位置を決定する．この初期位置合わせのシステムは，拡張現実のソフトウェア開発キットである Vuforia を使用して構築した [5]．しかし AR マーカーだけ
では正確に位置を合わせることは難しいため，指のピンチ動作で細かい位置を調整できる機能を実装した．位置合わせを行った後の重畳表示の様子を図 3 に示す．これらの画像は HoloLens を通して HoloLens 装着者へ提示される．

Fig.3 Overlaying face modelFig.4 Decision tree on tactile sensor
3.4.3 表情による直感的なフィードバック
更に，アバターの表情を変更することでより直感的なフィードバックとインタラクションを実現した．実装した表情を図 5 に，またその表情を取る条件を表 2 に示す．これらは全て上述した判定条件と対応しており，それぞれ，「笑顔」は「見つめる」スキルに関する「Gaze」判定が Excellent の時，「怒り」は「触れる」ス
キルに関する判定で，生成されたフィードバック文が「力が強すぎます．
」の時，「驚き」は「触れる」スキルに関する判定で，生成されたフィードバック文が「肩や背中に触れてください．
」の時に対応している．また各表情へはアニメーションによって移行するが，それぞれの表情への移行時間は「笑顔」と「怒り」が 0.5秒で所定の表情へ変化するのに対して，「驚き」は驚いたリアクションをより忠実に再現するために，0.1 秒で移行するように設定している．

3.4 自由なインタラクションによるユマニチュードの訓練
次に，訓練者がアバターと自由なインタラクションを行うことでユマニチュードを体験できる「フリーモード」を作成した．
「フリーモード」では「見つめる」スキルや「触れる」スキルについてのフィードバックをリアルタイムに訓練者へ提示することで，訓練者がユマニチュードの「触れる」スキルと「見つめる」スキHappiness
Anger
Surprise
Sadness
Fear
ルについて訓練を行うことができる．
Fig.5 Facial expression
3.4.1 HoloLens を利用した「見つめる」スキルの評価
3.4.4 瞬きのアニメーションと視線変更
HoloLens を利用したアバターとの「見つめる」スキルの評価について述べる．これまでに，「Gaze（視線）」「Distance（距離）」
教育システム全体を通して，アバターはランダムな間隔で瞬き「Inclination（傾き）」の 3 つの評価軸を設けて，それぞれの評価を行う．視線の変更に関しては，実際の認知症患者の行動から，軸について評価が低い順に「Poor」「Good」「Excellent」の 3 段階 「フリーモード」では以下のポリシーに従う．訓練者とアバターが一度アイコンタクトが取れた場合，訓練者が視線を大きく外し，で評価を行うシステムを開発した [3]．
「フリーモード」では同様
アイコンタクトを中断しない限りは，アバターは訓練者が移動しに 3 つの評価軸に関する評価とフィードバックを行う．3 つの評ても訓練者を追跡して視線を変更する．つまり，訓練者が視線を価軸の概要を表 1 に示す．また，評価軸や評価に関わる閾値につNo. 20-2 Proceedings of the 2020 JSME Conference on Robotics and Mechatronics, Kanazawa, Japan, May 27-29, 2020
1A1-D09(2)識し次のステップへ移行することで，典型的な介護動作を訓練者が体験できる「シナリオモード」を作成した．今回作成した「シナリオモード」では，患者に立位を促す一連の動作を想定している．以下にシナリオの概要を示す．

Table 2 Changes in facial expressions
表情条件
笑顔 アバターとアイコンタクトが取れている
怒り
人形の任意の部位を強く握った
驚き
人形の前面に触れた

外さない限り，訓練者が移動してもアイコンタクトを継続することが可能となる．これは，介護者が患者と目を合わせた際に，患者が介護者を目で追う様子を再現している．

3.4.5「フリーモード」による訓練実験

上述した「フリーモード」で訓練を行う実験を行った．実験の様子を図 6 に示す．図 6 では実世界の様子と共に，各画像中の左上に HoloLens を通して HoloLens 装着者へ提示される画像を示している．以下図 6 中の画像について，図 6 中に示した画像
番号を用いて図 6_1〜図 6_8 のように表記する．実験ではまず，
図 6_2 で訓練者がアバターの視線を掴み，アイコンタクトを取ることによってアバターの表情が「笑顔」へ移行している．図 6_3
では訓練者が人形の前面に触れたことによって，警告するフィードバック文の表示と同時にアバターは「驚き」の表情を取っている．図 6_5 では訓練者が人形の肩に適切に触れることによって「エクセレント!」のフィードバック文が表示されている．図 6_6
では訓練者が人形の肩を力を入れて握ったことによって，警告するフィードバック文の表示と同時にアバターは「怒り」の表情を取っている．図 6_7 では接触面積が狭くなったことにより，より広い面積への接触を促するフィードバック文が表示されている．
これらの実験により，訓練者が取る自由なインタラクションに対して，「見つめる」スキルと「触れる」スキルの各注意点に関する詳細なフィードバックとアバターの表情による直感的なフィードバックが行われ，それぞれのスキルが体験できることを確認した．

• ステップ 1：視線を掴む
介護動作を始める準備として，まず患者とアイコンタクトを取る．その際に患者は患者から見て左側を向いており，左側からアイコンタクトを取るように赤い矢印で訓練者を誘導する．訓練者が患者とアイコンタクトを取ることで次のステップへ移行する．
• ステップ 2：左肩への接触 → 患者が視線を変更「触れる」スキルを利用して患者の左肩へ優しく触れる．ここでは次のステップを考慮して訓練者には右手で患者の左肩へ触れてもらう．訓練者が患者の左肩へ触れた後，患者は視線を患者から見て右側へ変更し，次のステップへ移行する．
• ステップ 3：視線へ回り込む
再度視線を掴むために，患者の右肩へ左手で触れかえて移動を行う．右肩へ触れることで次のステップへ移行する．
• ステップ 4：再度視線を掴む
右肩に触れたまま再度患者とアイコンタクトを取る．訓練者が患者の右肩に触れたまま患者とアイコンタクトを取る
ことで次のステップへ移行する．
• ステップ 5：腕を持ち上げる → 立位を促す動作へ
最後に患者の右腕を持ち上げる．腕を持ち上げる際は腕の関節を挟んだ両側を，それぞれの手で支えて持ち上げる．具
体的には患者の横に並び，左手で患者の上腕付近を，右手で患者の前腕付近を持ち上げる．本訓練のシナリオはここで終了となるが，実際の介護ではその後右腕をとって立位を促す動作へつながる．
3.5.1 アイコンタクトと接触に関する判定とフィードバック
ユマニチュードの訓練では，訓練中にユマニチュードのスキルが実践できていることを訓練者へ意識させることが効果的である．
そこで「シナリオモード」では，訓練中にアバターとアイコンタクトが取れていること，人形への接触が行われていることを訓練者にリアルタイムで提示する．具体的には，アバターとアイコンタクトが取れている時，人形へ接触が行われている時に，それぞれ視線，接触の項目に「○」が表示される．
3.5.2 矢印による視線誘導と接触誘導「シナリオモード」では音声案内だけでなく，訓練者がより直感的に次に行うべき動作を理解できるように，矢印の 3D モデルを空間中に表示することで誘導を行う．矢印は訓練者にアイコン
タクトのアプローチを取る方向を誘導するもの（赤）と，接触位置を誘導するもの（緑）の 2 種類がある．
3.5.3 「シナリオモード」による訓練実験
上述した「シナリオモード」で訓練を行う実験を行った．実験の様子を図 7 に示す．各画像は HoloLens を通して HoloLens 装着者へ提示される画像を左に示し，右には実世界の様子を示している．これらの実験によって，シナリオに沿って患者へ立位を促す一連の動作について，訓練者の行動を自動認識して動作の案内を自動で行えることを確認した．

4 実証実験

Fig.6 Training experiment in "free mode"
3.5

シナリオに基づいたユマニチュードの訓練上述の「フリーモード」に対して，シナリオに基づいて訓練者に決められた動作を促し，その動作の完了をシステムが自動で認2019 年 12 月 14 日に福岡市市民福祉プラザ・ふくふくプラザ
にて，認知症患者を家族に持ちユマニチュードを学んでいる方々を対象に実証実験を行った．実験ではユマニチュードの講習を受けた 6 人の方に開発したシステムの「シナリオモード」を体験していただき，実験終了後に教育システムに関するアンケート調査を行った．本実験は九州大学大学院システム情報科学研究院倫理委員会の審査，承認の経て実施した．
実験の様子を図 8 に示す．また，6 人分のアンケートの結果を
表 3，表 4 中の 1 回目の欄に示す．表 3 ではシステムに関する評No. 20-2 Proceedings of the 2020 JSME Conference on Robotics and Mechatronics, Kanazawa, Japan, May 27-29, 2020
1A1-D09(3)くふくプラザでの実験と同様に 6 人の方に「シナリオモード」を体験していただき，実験終了後に教育システムに関するアンケー
ト調査を行った．6 人分のアンケートの結果を表 3，表 4 中の 2回目の欄に示す．上述の角度差に関する閾値の修正などにより，視線の掴み方が分かったと回答した人は 0 人から 2 人に，アバターと視線が合うのが分かったと回答した人は 1 人から 3 人へ増加した．更にトレーニングの有効性についても 3.3 ポイントから4.3 ポイントへ増加し，開発したシステムの有効性が確認できた．

Table 3 Questionnaire results (Five-level evaluation)
項目 (1:低〜5:高)
1 回目
2 回目
CG 画像のトレーニングの自然さ 1.8
3.0
トレーニングの有効性
3.3
4.3

Table 4 Questionnaire results (multiple answers)
項目（各回で最大 6 人）
1 回目 2 回目
アバターと視線が合うのが分かった
1人
3人
顔の距離感がつかめた
1人
5人
視線の掴み方が分かった
0人
2人
触り方（場所，力加減）が分かった
2人
2人
アバターの視線がよく分からなかった 5 人
2人
アバターの表情がよく分からなかった 6 人
2人
力の入れ方がよく分からなかった
2人
2人
HoloLens の視野が狭かった
4人
4人

5

まとめと今後の予定

本研究ではこれまでに実現していた「触れる」および「見つめる」の定量化が可能なユマニチュード教育システムに，シナリオに沿った訓練機能を追加し，実証実験を行った．今後は HoloLens2へのシステムの移行やシナリオの追加を行う予定である．

謝辞
本研究は，JST CREST JPMJCR17A5 の支援を受けたものである．また本研究の実施にあたりご協力いただきました株式会社エクサウィザーズ，株式会社槌屋に感謝いたします．

Fig.7 Training experiment in "scenario mode"
価を 5 を最高として，1〜5 の 5 段階で評価した結果の 6 人の平均値を示し，表 4 ではシステムに関して当てはまるものを全て選択した結果の，回答人数を示している．1 回目の実験では，力の入れ方がよく分からなかったという人が 2 人だったのに対して，視線の掴み方が分かったという人は 0 人，更にアバターと視線が合うのが分かったという人は 1 人と，アバターの視線に対しての問題が明らかになった．これはアイコンタクトの判定が，アバターの顔の向きとアバターの眼球の位置の見た目の感覚よりも，角度差の条件が厳しく設定されていたためと考えられる．これらを修正するために，ユマニチュードの専門家の方々と議論を行い，アイコンタクトに関する角度差の閾値の変更を行った．またシナ
リオもより直感的な内容に変更し，矢印等も修正した．

参考文献[1] J. Pellissier and Y. Gineste. Humanitude: Comprendre la vieillesse,
prendre soin des hommes vieux. Hors Collection. Armand Colin, 2007.
[2] Atsushi Nakazawa, Yu Mitsuzumi, Yuki Watanabe, Ryo Kurazume,Sakiko Yoshikawa, and Miwako Honda. First-person video analysis forevaluating skill level in the humanitude tender-care technique. Journal ofIntelligent & Robotic Systems, pp. 1–16, 2019.
[3] 平松知樹, 井上大路, 河村晃宏, 倉爪亮. 拡張現実と分布型接触センサを組み合わせた認知症ケア教育システムの開発. ロボティクス・メカ
トロニクス講演会講演概要集 2019, pp. 1A1–Q03. 一般社団法人 日本機械学会, 2019.
[4] The MakeHuman team. MakeHuman community.
makehumancommunity.org/ (2020.1.24 アクセス).

http://www.

[5] PTC Inc. Vuforia Developer Portal. https://developer.vuforia.
com/ (2020.1.24 アクセス).

Fig.8 Demonstration at Fukuoka City Citizen Welfare Plaza
その後，2020 年 1 月 8 日に九州大学にて，ユマニチュード初学者の方々を対象に追加の実証実験を行った．実験では上述のふNo. 20-2 Proceedings of the 2020 JSME Conference on Robotics and Mechatronics, Kanazawa, Japan, May 27-29, 2020
1A1-D09(4)