1A1-Q03
拡張現実と分布型接触センサを組み合わせた認知症ケア教育システムの開発
Development of dementia care education system
combining augmented reality and distributed tactile sensor○学正平松知樹 (九州大)河村晃宏 (九州大)正井上大路 (九州大)倉爪亮 (九州大)

Tomoki HIRAMATSU, Kyushu University, hiramatsu@irvs.ait.kyushu-u.ac.jp
Daiji INOUE, Kyushu University
Akihiro KAWAMURA, Kyushu University
Ryo KURAZUME, Kyushu University
In this study, we aim to quantify care skills in the care technique called "Humanitude". Humanitude has been
attracting much attention as a gentle and eﬀective care technique for a dementia patient in recent years. The developed
wearable tactile sensor aims to quantify the "touch" skill among the four representative skills in Humanitude, which
are gaze, touch, talk, and stand up. In addition, we developed a learning system of Humanitude using AR technology
and a real object, which realizes the interaction between a care-giver and a patient and enabled to quantify the "touch"and "gaze" skill.
Key Words: Dementia care, Humanitude, Wearable Sensor, Distributed Tactile Sensor, Augmented Reality

1 はじめに近年，医療や介護の現場では，認知症など認知機能の低下した高齢者の介護負担が増加している．認知機能の低下した高齢者の介護は過酷であり，介護士や看護師の不足，疲弊，バーンアウトや被介護者の身体機能の低下などの多くの問題が存在する．
これらの問題に対して，近年注目されているケア技法であるユマニチュード（Humanitude）は，知覚，感情，言語による包括的コミュニケーションに基づいたケア技法であり，「見つめる」「触れる」「話しかける」「立たせる」の 4 つのスキルを基本とし，150の具体的なケア技法から構成されている [1]．ユマニチュードは認知症患者に対する極めて有効なケア技法であるが，その習得の困難さが普及への課題となっていた．そこで我々は，家庭を含む介護現場へのユマニチュード導入のための教育手法の確立を目指し，IT 技術を活用したスキルの定量化について現在研究を行っている．
特に本研究では，ユマニチュードの 4 つのスキルのうち「見つめる」と「触れる」に着目したユマニチュード教育システムの開発を行った．まず，「触れる」スキルについては，その教育効果を定量化するためのウェアラブル分布型触覚センサの開発を行った．
「触れる」スキルの定量化には触った位置と力を計測する必要があり，被介護者の全身に装着したセンサから圧力分布が得られなければならない．また，着脱可能なセンサにすることで模擬患者や人形に着用させることができ，様々な条件でスキルの定量化が可能になる．これまで圧力分布を得ることができるセンサは，静電容量の変化を利用するもの [2] [3] や，感圧導電性ゴムを用いるもの [4]，カーボンマイクロコイルを用いるもの [5] など様々提案されている．また布状の触覚センサとしては，伸縮性を持った導電性繊維を利用したもの [6] や，導電性のインクを利用したもの [7] などがあるが，体全体を覆うウェアラブルな触覚センサは開発されていない．そこで本研究ではまず，背中や胴体を覆う衣服状のウェアラブル触覚センサを開発し，圧力分布の視覚化を行うことでユマニチュードの「触れる」スキルの定量化を図った．
さらに開発したセンサと AR（Augmented Reality）技術を組み合わせることで，「触れる」及び「見つめる」の定量化を実現する教育システムの開発を試みた．

2 ウェアラブル触覚センサの開発
本研究では導電性繊維を利用した触覚センサを加工することでウェアラブルな触覚センサを作成した．本章では開発したウェアラブルな触覚センサとその動作実験について述べる．

2.1 導電性繊維を利用した触覚センサ
今回開発したウェアラブル触覚センサは，株式会社槌屋が開発した布状の触覚センサ [8] [9]（図 1）を元に作成した．このセンサは導電糸を織り込んだ 2 枚の導電性織物を重ね合わせ，両者の間隙部に生じる静電容量の変化を計測するものである．このセンサは布状であるため，様々な形に加工して利用することができる．

Fig.1 Cloth type tactile sensor
2.2 ベスト状ウェアラブル触覚センサ
上述した布状の触覚センサを衣服状に加工することでウェアラブルなベスト状触覚センサを作成した．センサの構造を図 2に示す．このセンサは前パーツと後パーツと制御回路から成り，前パーツと後パーツは布状触覚センサを加工して作られている．
従って前後パーツ全体で接触位置と接触力を測定でき，着用することで胴体への接触を圧力分布としてリアルタイムに定量化することが可能である．着用した人物の胴体の圧力分布を測定する実験を行った結果を図 3 に示す．図 3 では圧力が高い部分は黄色，低い部分は青色で示されており，圧力分布をリアルタイムで視覚化できた．なお，この実験ではセンサ値は制御回路から Bluetoothを介して PC へ送信している．

3 ユマニチュード教育システムの開発開発したウェアラブル触覚センサを利用して，ユマニチュード教育システムを構築した．ユマニチュード普及のためには介護士のみならず，家庭でも習得が可能な教育システムの開発が有効であると考えられる．これまでにも人工知能を活用して熟練者のケア技能の特徴を解析し，学習を支援する教育システムが開発されている [10]．教育システムではユマニチュードのスキルを定量化できることが求められるが，実際の患者にセンサを装着することNo. 19-2 Proceedings of the 2019 JSME Conference on Robotics and Mechatronics, Hiroshima, Japan, June 5-8, 2019
1A1-Q03(1)Fig.2 Structure of wearable tactile sensor

Fig.5 Attaching the tactile sensor to the doll
3.1.1

接触に関するフィードバック文の表示「触れる」スキルに関して教育効果をフィードバックするために，簡易的な決定木を構築し，人形に装着した触覚センサのデータからフィードバック文を表示するシステムを実現した．決定木は図 6 に示す構造のものを手動で作成した．図 6 中の接触面積に関しては，ある閾値よりも接触力の高い接点数をカウントすることで算出する．更に接触力に関してより高い閾値を設けて，同様にその閾値よりも接触力の高い接点数をカウントすることで，強い力での接触面積を算出する．図 6 中に示したそれぞれの閾値については手動で決定している．それぞれのフィードバック文は HoloLens を通じて HoloLens 装着者にリアルタイムに呈示される．呈示の様子の一例を図 7 の左に，その時の実世界の様子を右に示した．左の画像は HoloLens を通して HoloLens 装着者へ呈示されるものである．これらの実験から接触に関するフィードバックを訓練者に呈示できることを確認した．

Fig.3 Experiment of wearable tactile sensorは困難である．また，模型を利用した訓練ではユマニチュードにおいて重要な要素であるインタラクションが欠落してしまい，模擬患者を用いる場合も模擬患者自身のスキルが必要となるため，どちらも有用な教育システムを構築することは容易ではない．これらの問題を解決するために，実体と AR 技術を組み合わせることでセンシングとインタラクションを両立した教育システムを構築した．このシステムは，胴体にウェアラブル触覚センサを装着した人形を用いる．また，Microsoft 社が開発しているヘッドマウントディスプレイ方式の拡張現実ウェアラブルコンピュータである HoloLens [11] を通して，仮想の顔や目を人形に重畳表示することで，介護動作中の患者の視線や表情を動的に変更し，「触れる」および「見つめる」技術の習得を目指すものである．構築したユマニチュード教育システムを図 4 に示す．なお，AR 技術を用いたユマニチュード教育システムは株式会社エクサウィザーズが開発したものである．

Fig.6 Decision tree on tactile sensor

Fig.7 Feedback of touch skill
3.2 HoloLens を利用したアバターとのインタラクション

Fig.4 Learning system of Humanitude
3.1

触覚センサを利用した接触のセンシング

まず，全身型の人形に上述したベスト状ウェアラブル触覚セン
サを装着し，人形の上半身を触覚センサで覆った（図 5）．これにより人形の上半身への接触を圧力分布として測定することが可能となり，ユマニチュードの「触れる」スキルの定量化を実現した．

人形を用いた訓練では欠落してしまうインタラクションを補うために，HoloLens を利用して人形の顔へ仮想の顔モデルを重畳表示し，アバターとのインタラクションを実現した．このアバターはシステム側から表情や視線を制御することができる．今回用いた顔のモデルはオープンソースの人体生成 3DCG ソフトウェ
アである MakeHuman [12] で作成した．また，アバターはランダムなタイミングで瞬きを行い，ランダムなタイミングで視線の向きの変更をランダムに行う．この時，訓練者とアバター間でアインコンタクトが取れている間は，視線の変更は行われないように設定した．このアインコンタクトの判定については後述する．

No. 19-2 Proceedings of the 2019 JSME Conference on Robotics and Mechatronics, Hiroshima, Japan, June 5-8, 2019
1A1-Q03(2)3.2.1

顔モデルの位置合わせ

顔のモデルと人形との相対位置合わせの様子を図 8 に示す．まず人形に貼り付けた AR マーカーを利用して相対初期位置を決定する．この初期位置合わせのシステムは，拡張現実のソフトウェア開発キットである Vuforia を使用して構築した [13]．しかし AR マーカーだけでは正確に位置を合わせることは難しいた
め，NUI（Natural User Interface）の 1 つである指のピンチ動作で細かい位置を調整できる機能を実装した．位置合わせを行った後の重畳表示の様子を図 9 に示す．これらの画像は HoloLens を通して HoloLens 装着者へ呈示される．

的に，装着者の視界の中心を視線の位置と仮定して，装着者の視線の位置と向きを推定するという考え方が用いられる．今回のアイコンタクトの評価でも全体を通じ，この仮定を元に訓練者の視線の位置と向きを求めている．
「Gaze」の評価は，HoloLens を着用した訓練者の視線がアバターの目を捉えていて，かつ，アバターの視線も訓練者を捉えている場合に，アイコンタクトが取れているとして評価を「Excellent」とする．訓練者の視線がアバターの目を捉えているが，アバターの視線が訓練者を捉えていない場合に，評価を「Good」とする．そしてそれ以外の，訓練者の視線がアバターの目を捉えていない場合に，評価を「Poor」とする．

3.3.2「Distance」「Distance」の具体的な評価方法について述べる．ここではHoloLens の位置を装着者の顔の位置と仮定して，訓練者とアバ
ター間の顔の相対距離を決定する．この相対距離に対して閾値を2 つ設け，閾値を境に 3 段階で評価を行う．ユマニチュードでは介護者は被介護者の顔に対して，およそ 20cm まで顔を近づけるのが良いとされており，「Distance」の評価は近い程評価が高くなり，HoloLens 装着者からの見かけ上およそ 30cm 以内まで近づいた際に，最高評価である「Excellent」となるように閾値を設定している．

3.3.3「Inclination」「Inclination」の具体的な評価方法について述べる．この評価
軸は文献 [14] で述べられている Mutual facial position の考え方を元に導入したもので，アバターと訓練者の顔の向きの角度差について評価するものである．今回のシステムでは Mutual facialposition を更に拡張して，図 10 に示した (a) と (b) の 2 つの角度差の合計について評価を行っている．文献 [14] で述べられているように，ユマニチュードの熟練者においては，被介護者とアインコンタクトを取る際に顔の向きの角度差が小さくなる傾向があることが分かっている．そこで，図 10 に示した 2 つの角度差の合計に対して，角度差が小さい程「Inclination」の評価は高くなるように評価方法を設計した．具体的には角度差の合計値について閾値を 2 つ設け，閾値を境に 3 段階で評価を行っている．

Fig.8 Face model alignment [11] [13]Fig.9 Overlaying face model
3.3 HoloLens を利用したアイコンタクトの評価
HoloLens を利用したアバターとのアイコンタクトの評価について述べる．現在の教育システムでは「Gaze」「Distance」「Inclination」の 3 つの評価軸を設けて，それぞれの評価軸について，評価が低い順に「Poor」「Good」「Excellent」の 3 段階で評価を行う．3 つの評価軸の概要を表 1 に示す．
Fig.10 Expanded mutual facial positions
Table 1 Evaluation axes

評価軸

概要

Gaze
Distance
Inclination

アバターとの視線の合い具合
アバターと訓練者間の顔の距離
アバターと訓練者間の顔の相対姿勢

3.3.1

3.3.4

「Gaze」「Gaze」の具体的な評価方法について述べる．HoloLens 単体
では装着者のアイトラッキングを行うことはできないため，一般アイコンタクトの評価の表示

上述した 3 つの評価軸に対する 3 段階の評価を，訓練者が直感的に理解できる形で呈示するために，星の数によって記号化した．ここでは「Poor」は星一つ，「Good」は星 2 つ，「Excellent」は星 3 つに対応している．それぞれの評価は HoloLens を通じてHoloLens 装着者にリアルタイムに呈示される．呈示の様子の一例を図 11 の左に，その時の実世界の様子を右に示した．左の画
像は HoloLens を通して HoloLens 装着者へ呈示されるものである．これらの実験からアイコンタクトに関するフィードバックを訓練者に呈示できることを確認した．

No. 19-2 Proceedings of the 2019 JSME Conference on Robotics and Mechatronics, Hiroshima, Japan, June 5-8, 2019
1A1-Q03(3)[13] PTC Inc. Vuforia Developer Portal. https://developer.vuforia.
com/ (2019.2.24 アクセス).
[14] Atsushi Nakazawa, Ryo Kurazume, Miwako Honda, Sato Wataru, ShogoIshikawa, Sakiko Yoshikawa, and Mio Ito. Computational tender-carescience: Computational and cognitive neuroscientific approaches forunderstanding the tender care. IUI Workshop on Symbiotic Interactionand Harmonius Collaboration for Wisdom Computing, Vol. 1, pp. 1–9,
2018.

Fig.11 Displaying stars on three evaluation axes

4 まとめと今後の予定
本研究ではユマニチュードのスキルのうち「触れる」スキルの定量化を目指し，ウェアラブル分布型触覚センサの開発を行った．
また，HoloLens を利用して仮想の顔モデルを人形に重畳表示することでインタラクションを実現しつつ「見つめる」スキルの定量化を行った．更に，開発したウェアラブル分布型触覚センサを人形に装着することで，「触れる」「見つめる」の定量化が可能なユマニチュード教育システムを構築した．今後は，下半身を覆うウェアラブルセンサの開発や，測定した触覚センサのデータから「触れる」スキルについてより詳しい教育効果のフィードバックの実現を目指す．

謝辞
本研究は，JST CREST JPMJCR17A5 の支援を受けたものである．また本研究の実施にあたりご協力いただきました株式会社エクサウィザーズ，株式会社槌屋に感謝いたします．

参考文献[1] 本田美和子, イヴ・ジネスト, ロゼット・マレスコッティ. ユマニチュード入門. 医学書院, 2014.
[2] 白岡貴久, 郭士傑, 橋本和信, 向井利春. ポリマー材料を用いた静電容量型面状センサの開発 (測定精度と空間分解能両立構造の提案). 日
本機械学会論文集 C 編, Vol. 79, No. 798, pp. 304–313, 2013.
[3] 星貴之, 篠田裕之. 接触力と接触面積を計測する非線形触覚素子. 計
測自動制御学会論文集, Vol. 42, No. 7, pp. 727–735, 2006.
[4] 石川正俊, 下条誠. 感圧導電性ゴムを用いた 2 次元分布荷重の中心の位置の測定方法. 計測自動制御学会論文集, Vol. 18, No. 7, pp. 730–735,1982.
[5] Hyo Seung Han, Junwoo Park, Tien Dat Nguyen, Uikyum Kim,
Canh Toan Nguyen, Hoa Phung, and Hyouk Ryeol Choi. A highly
sensitive dual mode tactile and proximity sensor using carbon microcoils for robotic applications. In 2016 IEEE International Conferenceon Robotics and Automation (ICRA), pp. 97–102. IEEE, 2016.
[6] John O’Neill, Jason Lu, Rodney Dockter, and Timothy Kowalewski.
Practical, stretchable smart skin sensors for contact-aware robots in safe
and collaborative interactions. In 2015 IEEE International Conferenceon Robotics and Automation (ICRA), pp. 624–629. IEEE, 2015.
[7] Godwin Ponraj and Hongliang Ren. Estimation of object orientation
using conductive ink and fabric based multilayered tactile sensor. In 2018
IEEE International Conference on Robotics and Automation (ICRA), pp.
1–7. IEEE, 2018.
[8] 鈴木陽久, 江島充晃, 吉田統, 水野寛隆, 宮本晃吉, 島上祐樹. 「導電性織物及び導電性織物を使用した圧力センサ」. 特開 2016-161555(2016.9.5).
[9] 鈴木陽久, 江島充晃, 水野寛隆, 間瀬健二, 榎堀優. 「圧力分布検知装置」. 特開 2018-105827 (2018.7.5).
[10] ExaWizards Inc. ケア事業 - 株式会社エクサウィザーズ. https://exawizards.com/service/humanitude (2019.2.24 アクセス).
[11] Microsoft Corporation.
Microsoft HoloLens.
https://www.
microsoft.com/en-us/hololens (2019.2.24 アクセス).
[12] The MakeHuman team. MakeHuman community.
makehumancommunity.org/ (2019.2.24 アクセス).

http://www.

No. 19-2 Proceedings of the 2019 JSME Conference on Robotics and Mechatronics, Hiroshima, Japan, June 5-8, 2019
1A1-Q03(4)