計測自動制御学会東北支部 第 337 回研究集会 (2022.6.27)
資料番号 337-2

Mixed Reality デバイスを用いた上肢の運動機能と認知機能の定量化に関する研究
Quantiﬁcation of Upper Limb Motor Function andCognitive Function Using Mixed Reality Device〇多田憲矢 ∗ , 沓澤京 ∗ , 大脇大 ∗ , 林部充宏 ∗〇 Kenya Tada∗ , Kyo Kutsuzawa∗ , Dai Owaki∗ , and Mitsuhiro Hayashibe∗*東北大学*Tohoku University
キーワード : 複合現実 (Mixed Reality), リハビリテーション (Rehabilitation), 作業療法 (OccupationalTherapy), 運動機能 (Motor Function), 認知機能 (Cognitive Function)

連絡先 : 〒 980-8579 宮城県仙台市青葉区荒巻字青葉 6-6-01 機械知能共同棟 (A15) 5F 503
多田憲矢, Tel.: 022-795-5682, E-mail: tada.kenya.p3@dc.tohoku.ac.jp

1.

緒言法や理学療法を行い療法士のサポートをするシ

平均寿命の延伸と出生率の低下により世界的に高齢化が進行している．特に日本は高齢化率が世界の中でトップであり総人口に占める高齢者の割合が 2019 年 10 月時点で 28.4%となっている 1) 2) ． 同時に少子化の流れも進んでおり将来様々な分野での働き手不足が懸念される．医療・福祉の分野でも治療やリハビリテーションを必要とする人の増加に対して医者や療法士の数の不足が予想される．現在，作業療法や理学療法は患者と療法士が 1 対 1 で行われるのが主流であるが，この方法では効率が悪いためリハビリテーションの自動化が求められている．それに加えて COVID-19 の世界的な広がりに伴い遠隔医療や在宅でのリハビリテーションの必要性が高まっている．
リハビリテーションの分野では自動で作業療

ステムの研究が数多くされている．ウェアラブ
ルセンサや深度カメラからのデータに基づいて患者の動きをリモートで評価できる運動の自動評価システム 3) 4) に関する研究や，リハビリテーションに VR 技術と呼ばれる仮想現実技術を用いた研究などが行われている．VR(VirtualReality) 技術を用いた例では Heiyanthuduwa らが高齢者の全身機能のリハビリを目的とした VRベースの在宅医療理学療法システムを開発した
5) ．Wang らは VR ヘッドセットとフォースフィードバックグローブを組み合わせた身体的および精神的リハビリテーションのシステムを開発した 6) ．また VR デバイスを使用するリハビリテー
ションにはゲーミフィケーションという考え方が用いられることが多い．ゲーミフィケーショ
ンは「ゲーム以外のコンテキストでのゲームデザイン要素の使用」と定義され 7) ，さまざまな–1–

状況でモチベーションを高めるための手法とし情報を維持した上で対話可能なディジタルオブて使用されてきた．従来のリハビリテーションジェクトを表示させる．AR との大きな相違点

では単調な動作を繰り返し行うため患者のモチは現実世界にオーバーレイされた仮想オブジェベーションの維持が難しいという課題がある．しクトを自由に操作できる点である．つまり MR

かしリハビリテーションにゲーミフィケーショの世界では実物体と仮想物体が共存し，相互作ンを導入しゲーム要素を追加することで患者は用する．現実環境に生きる我々にとってこの特遊んで楽しんでいる間にリハビリテーションを

徴はリハビリテーションの観点では VR よりも行い，同時に治療へのモチベーションも維持す有用であると考えられる．VR の場合，治療時ることができる．Pereira らは手のリハビリテーに見える環境と実生活で過ごす環境に差がある．

ションのための VR シリアスゲームを開発し 8) ，一方で MR-HMD は実世界を見ることができる

Wu らは上肢リハビリテーションのための VR

透明なレンズにホログラムを投影するため，実トレーニングシステムを開発した 9) ．VR は高際の物理的な空間を意識しつつ自由でアクティい臨場感や没入感，楽しさを提供することが可

ブな動きをすることができる．また普段治療を能であり，様々な分野で利用が進められている．

行う病院のリハビリテーションエリアや自宅のしかしながら VR は視界を完全に遮断して映像リビングなど見慣れた環境のもとでトレーニンを投影するため，歩行時や身体の動作時に周囲グを行える．の環境との接触や転倒の危険性を伴う．また VR酔いの懸念も存在する．

MR-HMD を用いた研究事例としてバランスボードおよび Kinect と HoloLens(Microsoft 社

そこで我々は，現実の視覚情報を維持した上で製) を併用した，姿勢リハビリテーションのサ対話可能なディジタルオブジェクトを表示させるポートを行うアプリケーションの開発に関する技術である MR(Mixed Reality, 複合現実) 技術

研究 10) や認知障害を持つ人のための MR 技術をリハビリテーションに用いようと試みた．本研を利用した学習に関する研究 11) がある．前者

究の目的は MR-HMD(Head Mounted Display)

は MR-HMD に加え複数の外部機器を使用したのみを用いて予測能力，認知能力，反射能力およシステムであり，計測を行うために広いスペーび運動機能などの複数の機能を測定し定量的にスが必要である．後者は認知機能の改善に着目評価を行うシステムの開発である．今回，上肢のした研究である．現在 MR-HMD のみを用いた運動機能と認知機能に着目し，MR-HMD を使予測能力，認知能力，反射能力および運動機能用したリーチングタスクにおける視線情報，指など複数の観点について測定および評価を行っ先の軌道，頭の軌道を測定するゲーム環境を開た研究はまだない．今後のリハビリテーション発し測定を行った．また MR デバイスを用いた分野では複数機能の測定・評価やその自動化シ作業療法向けのタスクとしてハノイの塔とジェステムの需要は増えていくと考える．

ンガを試作したのでその結果も示す．

2.

Mixed Reality

3.

手法

3.1

ハードウェアMR とは現実世界と仮想世界を融合させた技術で，AR(Augmented Reality, 拡張現実) 技術を発展させた技術である．MR は現実世界を 3次元空間としてデジタル情報化し，現実の視覚

MR-HMD には Microsoft 社の HoloLens212)を使用した．Fig. 1 参照．HoloLens2 は眼鏡のレンズ越しに仮想環境を投影し直接現実世界を見ることのできる光学シースルー型の HMD で–2–Fig. 1: HoloLens2 を用いたタスクの様子．Playscene using HoloLens2

Fig. 2: リーチングタスク中の視界．Reaching task
(https://youtu.be/TFPM-7vdXIk)

は全部で 10 個あり，それぞれ 1 から 10 までの数あり，PC やスマートフォン，バッテリーなどの字が書かれている．数字通りにタッチすること外部機器との接続が不要で，完全コードレス下でオブジェクトは消えていき，順番の異なるオで使用できる．HoloLens2 は 9 軸 IMU センサやブジェクトをタッチするとオブジェクトは消え

深度カメラ，赤外線カメラを搭載しており両手ない．被験者は仮想オブジェクトを順番通りにの手指の関節トラッキングやアイトラッキング全て消していくタスクを各手 5 回ずつの計 10 回に対応している．

行った．オブジェクトの配置位置は左右の手で共通にした．実験は運動機能および認知機能に

3.2

ソフトウェア

障害のない健康な 7 名の被験者 (23．1 ± 1.5 歳，HoloLens2 へ実装するアプリケーションの開発には，Unity3D を使用した 13) .Unity3D はゲー
ム・アプリ開発環境であり，PC，ゲーム機，モバイルデバイス，Web サイトなどのアプリケーションの制作が可能である．プログラミング言語には C#を用い，PC 上でアプリケーションを開発した後，HoloLens2 に実装した．また MR向けのさまざまな UI やインタラクションを備えたクロスプラットフォーム開発ツールキット

男性 7 名

右利き 5 名，左利き 2 名) に対して行った．被験者にはできるだけ早くオブジェクトに触れるように指示を行い，リーチングタスク中の視線や指先，頭の軌道に加え各オブジェクトを消すのに要した時間を HoloLens2 で測定した．被験者の正面方向には現在のタスクが何回目であるかに加え，間違ってオブジェクトに触れた回数および経過時間が表示されており，被験者はタスク中に確認することが可能である．

である MRTK(Mixed Reality Toolkit) を使用した．なお Unity3D は左手座標系であり，座標軸はユーザの正面方向を Z 軸の正方向，右手方向を X 軸の正方向，鉛直上向きを Y 軸の正方向

4.

結果

4.1

リーチングタスクの測定結果

被験者 7 名の内 6 名は MR-HMD の使用経験がとする．X 軸および Z 軸は地面に対して水平でほとんどないまたは初めての経験であった．リーある．

チングタスクの仮想オブジェクトは横幅 0.8 [m]，3.3

奥行き 0.5 [m] の長方形範囲内で表示させていリーチングタスクの概要

たが，オブジェクトが配置された場所によってリーチングタスクは Fig. 2 に示すように机上に表示された仮想オブジェクトを人差し指ではオブジェクトがなかなかうまく消えないことがあった．Fig. 3 に示す指先の軌跡にあるようタッチしていくものである． 仮想オブジェクト–3–Table 1: 各オブジェクト間の平均移動時間．Average reaching time between each object

Fig. 3: オブジェクトの配置位置による認識精度．
The back side of the left and right sides
are not Hand-Tracked properlyに左右の奥側に表示されたオブジェクトが顕著であり，被験者によっては 1 つのオブジェクトを消すのに 20 秒以上要していた．これは人差し指の先端が HoloLens2 のカメラから自身の手で隠れてしまい正しい位置を認識できなかったことが原因と考えられる．そのため被験者によっFig. 4: 利き手と非利き手の比較．Comparison of
dominant and nondominant handsては特定位置のオブジェクトがなかなか消えず，があることが読み取れる．従って前者よりも後リーチングタスクのプレイ時間が長くなった．

者の方がより最短経路に近い経路を通っており，プレイ時間の評価において上記の影響を減ら各オブジェクト間の移動時間が短く，指先の移すため，各タスクに要した時間ではなく各オブ動距離も短かった．

ジェクトを消すのに要した時間で評価を行った．

次にアイトラッキングの結果を Fig. 6 に示す．

1 つのオブジェクトを消すのに 10 秒以上要した

HoloLens2 のアイトラッキングでは 2 台の赤外ものを除き，各オブジェクト間の平均移動時間

線カメラにより左右の視線が観測され，1 つの合を求めた．その結果を Table 1 と Fig. 4 に示成された視線が記録される．視線の原点と視線す．利き手と非利き手で比較を行うと多くの被の方向からオブジェクトが表示される机との交験者 (7 名中 5 名) で利き手の方がわずかに短い点を求め軌跡を描いた．図よりオブジェクトに時間でオブジェクト間を移動していた結果が得

触れた瞬間はオブジェクト付近に視線があるこられた．とがわかる．視線の変動の傾向として各タスク被験者間で指先の軌跡を比較すると Fig. 5 にの前半は表示されているオブジェクトの数が多示すように，ある被験者はオブジェクトを消す

く，次のオブジェクトの位置を把握し切れていごとに一度指先を体の方に近づけており，あるないため視線を前後左右に動かすことが多かっ

被験者は次のオブジェクトの方向に指先を移動た．一方で各タスクの後半はオブジェクトの数し始めていた．この結果から，前者は 1 オブジェが少なくなっているため，次のオブジェクトのクト毎に次のオブジェクトの位置を探している方へ視線をまっすぐ動かすことが多かった．

傾向があるのに対して後者は全体のオブジェク
トの位置を見ながら次の行動を考えている傾向–4–

Fig. 5: 被験者間の指先の軌跡の比較．Diﬀerencesin trajectories between subjects(a) ハノイの塔．Tower of Hanoi(https://youtu.be/xkTDwcg_lMY)(b) ジェンガ．Jenga(https://youtu.be/fGdDEuIL9kg)

Fig. 7: MR 作業療法タスクの例．Tasks for occupational therapy in the MR environment
Fig. 6: 指先と視線の軌跡．Fingertip trajectoryand Eye gaze

4.25.

結言

本研究では Mixed Reality デバイスを用いた作業療法タスク

リーチングタスクの開発・測定と作業療法向けFig. 7 に MR 環境下での作業療法向けのタタスクの試作を行った．リーチングタスクではスクとして試作したハノイの塔とジェンガを示

HoloLens2 に搭載された各種トラッキング機能

す．MR 環境下で作業療法を行うことにより，療により被験者の手指および視線の変動を測定し，法士はトレーニングごとに必要な作業療法用の左右の手指間や被験者間でタスク遂行の違いをアイテムを準備する必要がなくなりアプリケー確認することができた．しかしハンドトラッキションを起動するだけで治療を行えるようにな

ングにおいては指先がカメラに隠れる位置にある．さらに実際の作業療法では，被験者ごとにる場合，指先の位置が正しくトラッキングできレベルを調整することが難しいが，MR デバイず，オブジェクトとの接触判定がされないこと

スを用いれば，ゲームのレベルを被験者の身体も確認された．これは仮想オブジェクトが地面状況や治療の進行度合いに合わせて自由にカスに水平な面である机上に配置されており，腕をタマイズできる．また，HoloLens2 は被験者の伸ばした際に指先が手で隠れるような位置関係プレイ状況を記録・数値化できるため，訪問リハとなったことが原因である．地面に垂直な面，つビリテーションへの利用に加え，療法士一人でまり壁にオブジェクトを配置するようなタスク複数の患者を同時に治療することも可能となる．に変更することにより手指全体がカメラから認識され，正しくオブジェクトとの接触判定が行われると考える．また MR 環境下における作業療法向けタスクは今後，被験者の運動情報を測–5–定，記録する機能を組み込んでいくことによりConference: Envisioning Future Media Environments, (MindTrek 11), ACM pp. 9-15,(2011)

リハビリテーションにおける MR デバイスの可能性や有用性，活用の場がさらに広がると思われる．
今後は実際の作業療法の現場で使用される検査手法やタスクを模倣したアプリケーションの開発を行い，MR 環境下での検査や治療に効果

8) M. F. Pereira, C. Prahm, J. Kolbenschlag, E.
Oliveira and N. F. Rodrigues: A Virtual Reality Serious Game for Hand Rehabilitation
Therapy, 2020 IEEE 8th International Conference on Serious Games and Applications forHealth (SeGAH), pp. 1-7, (2020)
9) X. Wu, H. Liu, J. Zhang, W. Chen: Virtual
reality training system for upper limb rehabilitation, 2019 14th IEEE Conference on Industrial Electronics and Applications (ICIEA),
pp. 1969-1973, (2019)が見られるかを検証する予定である．

参考文献
1) W. He, D. Goodkind, P. Kowal: An Aging World: 2015 International Population Reports, (2016)2) Statistics Bureau, Ministry of Internal Aﬀairs
and Communication, Chapter 2: Populationand Households, Japan Statistical Yearbook
2022, [Retrieved 6 January 2022],
https://www.stat.go.jp/data/nenkan/71nenkan/zenbun/jp71/book/html5.html
3) R. de Souza Baptista, A. P. L. B? and M.
Hayashibe: Automatic Human Movement Assessment With Switching Linear Dynamic System: Motion Segmentation and Motor Performance, IEEE Transactions on Neural Systems
and Rehabilitation Engineering, vol. 25, no. 6,
pp. 628-640, (2017)4) A. González, P. Fraisse and M. Hayashibe: A
personalized balance measurement for homebased rehabilitation, 2015 7th International
IEEE/EMBS Conference on Neural Engineering (NER), pp. 711-714, (2015)5) T. A. Heiyanthuduwa, K. W. Nikini Umasha
Amarapala, K. D. Vinura Budara Gunathilaka, K. S. Ravindu, J. Wickramarathne and
D. Kasthurirathna: VirtualPT: Virtual Reality based Home Care Physiotherapy Rehabilitation for Elderly, 2020 2nd International
Conference on Advancements in Computing(ICAC), pp. 311-316, (2020)
6) Q. Wang, B. Kang and P. O. Kristensson:
Supporting Physical and Mental Health Rehabilitation at Home with Virtual Reality Headsets and Force Feedback Gloves, 2021 IEEE
Conference on Virtual Reality and 3D UserInterfaces Abstracts and Workshops (VRW),
pp. 685-686, (2021)
7) Deterding, S., Dixon, D., Khaled, R. , Nacke,
L.: From game design elements to gamefulness: deﬁning gamiﬁcation , Proceedingsof the 15th International Academic MindTrek–6–10) M. Pezzera, E. Chitti and N. A. Borghese: MIRARTS: A mixed reality application to support postural rehabilitation, 2020 IEEE 8thInternational Conference on Serious Gamesand Applications for Health (SeGAH), pp. 1-7,(2020)
11) F. Garzotto, E. Torelli, F. Vona and B. Aruanno: HoloLearn: Learning through Mixed
Reality for People with Cognitive Disability,
2018 IEEE International Conference on Artiﬁcial Intelligence and Virtual Reality (AIVR),
pp. 189-190, (2018)
12)

HoloLens2 , Microsoft, [Retrieved 6 January 2022],
https://www.microsoft.com/ja-jp/hololens/
hardware13)

Unity , Unity Technologies, [Retrieved 6January 2022],
https://unity.com/ja