計測自動制御学会東北支部 342 回研究集会 (2023.5.26)
資料番号 342-3

複数台深度カメラを用いた複合現実ウェアラブルゲームによる身体バランス評価
Body Balance Evaluation Using Mixed Reality Wearable Gamewith Multiple Depth Cameras〇反町優平，沓澤京，大脇大，林部充宏〇 Yuhei Sorimachi, Kyo Kutsuzawa, Dai Owaki, Mitsuhiro Hayashibe
東北大学

Tohoku University
キーワード:

複合現実 (Mixed Reality), モーションキャプチャ (depth sense), 身体バランス (Bodybalance)，リハビリテーション (Rehabilitation)

連絡先:〒 980-8579

宮城県仙台市青葉区荒巻字青葉 6-6-01 東北大学 青葉山キャンパス 機械系共同棟

503 反町優平 Tel.:022-795-6970 Fax.:022-795-6971 E-mail: yuhei.sorimachi.q1@dc.tohoku.ac.jp

1.

緒言や定量的なデータに基づくリハビリ評価などに

現在日本では高齢化が進み，超高齢社会へと突入している．高齢者は加齢による運動機能の低下により転倒リスクが高くなることが知られている．高齢者の転倒は，骨折や頭部外傷などの大けがにつながりやすい．転倒のリスクを低下させるためにはバランス能力の維持を目的としたリハビリテーションが有効である．現状のリハビリテーションは，療法士と患者が一対一で行われることが多いため限られた時間の中でリハビリを行う必要がある．また，リハビリの評価は療法士の知識や経験に基づくものが多く，療法士の負担は大きくなっている．近年では，需要の増加に伴い理学療法士・作業療法士の養成数は増加している 1) ．一方で，現場では療法士の増加に伴う質の低下が懸念されている 2) ．
こうした問題解決のために，運動評価の自動化よって療法士の負担を軽減させることが重要である．
バランスリハビリテーションでは，モーションキャプチャを利用した運動機能評価が行われてきた．小嶋ら 3) は深度カメラを用いて定量的なバランス評価を可能にするゲームを開発した．Pezzera ら 4) は深度カメラとバランスボードから取得した重心と床反力を Mixed Reality（MR）デバイスを用いてグラフ化するシステムを開発した．これらの研究では，モーションキャプチャを一台の深度カメラで行っている．深度
カメラは安価でありマーカレスで使用できるため，手軽に使用できるモーションキャプチャ機器として知られている．一方で，対象が障害物によってカメラから隠されることでトラッキングが不正確になるという問題点がある．ゆえに，先行研究では被験者の動きがトラッキングしや–1–

すい運動に限られている．また，小嶋ら 3) の研究では，スクリーンを用いて運動の目標位置を提示している．スクリーンのような平面では，前後方向を含む三次元的な運動を誘導することは難しい．
そこで本研究では，深度カメラを用いて従来

Fig. 1: System overview chartと比べて自由度の高い動きを可能とするバラン
ス機能評価システムを実現することを目的とする．この目的を達成するために，二台の深度カ

2.2

Mixed Reality (MR)

メラを用いたモーションキャプチャと MR デバ

MR とは，現実世界の視界に対して仮想の物体イスを用いたバランス評価ゲームを作成した．

を重ねて表示する技術である．MR では仮想物体複数台の深度カメラを用いることでトラッキンに触れて相互作用を行うことが可能である．現実

グ可能な範囲を拡大することを目指した．また，世界の視界を維持しながら三次元的な動きを行MR デバイスを用いることで，ゲーム内で実空うことができるため，MR はリハビリテーショ間における三次元的な動きの運動タスク指示をンの分野で注目を集めている．MR は Virtual可能にしている．そして，バランスゲーム中のReality (VR) とは異なり，現実世界の物体とのトラッキング精度について検証実験を行った．さ相互作用や周囲の環境の認識が可能である．MRらに，ゲーム後に深度カメラから得られたデー技術を用いることでコントローラを用いることタに基づいたバランス機能評価も行った．

なく普段と同様の動きでリハビリに取り組むことができる．

2.

手法

本研究では，MR-HMD デバイスである Microsoft 社の HoloLens25) を用いて MR バラン

2.1

システム概要スゲームを行った．HoloLens2 は透過型ホログ

本研究で開発したシステム概要を図 1 に示す．

ラフィックレンズを通して現実の視野に対して被験者は，MR-HMD(Head Mounted Display)仮想のオブジェクトを表示することができる．

デバイスを装着してゲームを行う．そして，ゲー

IMU，深度カメラ，赤外線カメラ等のセンサをム中の様子を被験者の前後に設置した二台の深搭載しており，周辺の空間をマッピングするこ

度カメラを用いてモーションキャプチャする．深とでジェスチャーでの操作が可能である．また，度カメラから得られた関節の位置情報を基に被PC などのコンピュータやバッテリにつなげる

験者のバランス能力を定量的な評価を行う．MR

必要が無いため，装着した状態で自由に動き回バランスゲーム，モーションキャプチャ，バラれるという特徴を持つ．

ンス機能評価についてそれぞれ説明する．

2.3

MR バランス評価ゲーム

バランス評価のため図 2 に示すリーチとステップの MR ゲームを作成した．リーチは前方に現れるオブジェクトを足を動かさずに順番にタッチしていくゲームである．オブジェクトは被験者の正面と左右 30 °，60 °の角度の 5 方向に出–2–現する．時間は 45 秒間，左右の手でそれぞれ行う．ステップは，前方に現れる円形のオブジェ
クト領域に順番に足を動かしていくタスクである．こちらも正面と左右 30 °，60 °の角度の 5方向に出現する．時間は 45 秒間，左右両足でそれぞれ行う．これらのタスクでは，MR を用いることでスクリーンなどに映すゲームでは難し
い前後方向の運動指示も可能にしている．

Fig. 3: Motion capture system

また，MR ゲームの座標系と深度カメラの座標を統一するために AR マーカーを用いた．図2.43 に示すように，AR マーカーとして用いる QR
コードを深度カメラの後方に向きをそろえて設置する．この QR コードを HoloLens2 で認識することで，QR コード上に表示された物体の姿勢・座標を取得して深度カメラ座標へ変換する回転行列を求める．この変換を行うことで深度カメラに対して正面の向きでゲームを開始することができる．

モーションキャプチャシステム

本研究では図 3 に示すように MR デバイスを装着した被験者に対して，二台の深度カメラを用いてモーションキャプチャを行った．使用した深度カメラは Intel 社の RealSenseD4556) とRealSenseD4357) である．
複数台の深度カメラを用いる場合には，それぞれの深度カメラが持つ座標系を統一する必要がある．そこで，本研究では古畑ら 8) のキャリブレーション手法を用いた．この手法では，二台の深度カメラでそれぞれ被験者を撮影して骨格モデルを作成する．そして，ReakSenseD435から得られた骨格モデルが RealSenseD455 から得られた骨格モデルと重なるような回転行列を(a) Reach Game最適化によって求める．RealSenseD455 座標系の位置 qi を RealSenseD435 の座標系の位置 piに変換する座標変換は

pi = cRqi + t(1)と表される．ここで，R は回転行列，t は並進ベ(b) Step Game

クトル，c はスケール係数である．そして，Re-Fig. 2: MR balance evaluation game

alSenseD435 座標系から RealSenseD455 座標系への座標変換に必要なパラメータ R，t，c を求めるために，pi と qi の誤差を最小化する最適化問題

arg min
R,t,c∑∥pi − (cRqi + t)∥2(2)iを解くことで，二つの深度カメラ間の座標変換が求められる．

–3–

2.5

安定性評価

同様にして，y 座標と z 座標についても求めら

ゲーム中のバランス機能の評価指標として身体バランスの安定性評価 9) を用いた．この評価
指標では，支持基底面の中心と Central Momentれる．

2.5.2

CMP の計算

Pivot (CMP) 間の距離によって評価される．身

CMP は，床反力と平行で重心を通る直線と体バランスの安定性評価を求める手順を以下に床が交わる点であり，重心角運動量の変化率が示す．

ゼロとなるように設定される点である．この点が支持基底面よりも外側にあるときに，身体の1) 重心の計算

バランス維持が困難となる．CMP pf は以下の2) CMP の計算式で表される．

3) 支持基底面の計算(p0 − c) · nf +cf ·n(5)f = M (c̈ − g)

(6)

pf =
4) Stability Index の計算
これらの計算についてそれぞれ説明する．

ここで，c は身体重心の座標，p0 は地面上の点，f は床反力ベクトル，n は床面に垂直なベ

2.5.1

重心の計算

クトル，M は総質量，g は重力加速度である．

重心の計算には，Segmental Method10) とい式 (6) により床反力を重心の加速度から近似すう手法を用いる．この手法では，全身を 14 個のることで床反力計を用いずにバランス状態を評部位に分けてそれぞれの Center of Mass（CoM）価できる．

を足し合わせることで全身の CoM を求める．全身の CoM の x 座標は，∑(msegi · xCoM i )∑xCoM =
mi

2.5.3

支持基底面の計算

支持基底面とは，体重を支えるために床と接し(3)ている部分で囲まれた範囲のことである．支持基と表される．xCoM は CoM の x 座標，msegi は底面には，床に接地している足を囲む最小の楕円

身体の各部位の質量，xCoM i は身体の各部位の∑CoM の x 座標， mi は全身の質量を表す．

MVEE (Minimum Volume Enclosing Ellipsoid)12)

身体の各部位の xCoM i は，Body Segment Pa-の情報を含む 2 × 2 行列 A と中心点 co が得ら

rameters (BSP) という人体計測データを用いる．
本研究では Leva11) による BSP を用いる．身体の各部位において，胴体に近い側の端を近位端，を用いた．MVEE から楕円の大きさや角度などれる．

2.5.4

Stability Index の計算

その反対側を遠位端とし，近位端と遠位端の x

CMP pf と中心点 co の距離 dA,co (pf ) は，√dA,co (pf ) = (pf − co )T A(pf − co ) (7)座標をそれぞれ xp , xd とする．xCoM i が身体部位に対して，その近位端からどの割合に位置するかを %CoM とすると，BSP に基づき，xCoM iで表される．dA,co (pf ) は CMP pf 中心点 co とは次式で求められる．

重なっているときは 0，MVEE の周上にあると%CoM
xCoM i = xp +· (xd − xp )100

きは 1 となる．評価指標 Stability Index s ∈(4)[0,1] は–4–その結果を図 5 に示す．全体として深度カメ(8)

ラ二台を用いたときは一台の時と比べて精度がと定義される．Stability Index s が 0 のとき最上昇した．また，正面と左側に深度カメラを設もバランスが良く，1 のとき最もバランスが悪置した場合には，右手リーチと右足ステップのいという評価となる．身体バランスが安定であ

タスクにおいて，一台の場合と比較して大きくる場合と不安定である場合の姿勢の例を図 4 に精度が向上した．しかし，左手リーチと左足ス示す．

テップのタスクでは，右手右足のときほど精度

s = min(dA,c (pf ), 1)は向上しなかった．一方で，正面と右側に設置したときには，左手リーチと左足ステップのタスクでは大きく精度が向上し，右手リーチと右足ステップのタスクではそれほど精度は向上しなかった．

(a) Stable body balance

Fig. 5: Percentage of time all joints wererecognized in each game
図 6, 7 にある一回のステップゲームにおいて，(b) Unstable body balance

深度カメラ一台と被験者の前後に設置した二台Fig. 4: Examples of body balance stability
assessmentの深度カメラで測定したそれぞれの重心軌跡を示す．重心の xz 軌跡を比較すると一台の深度カ
メラでは 3 つの方向にのみ軌跡が現れているのに対し，二台の深度カメラでは 5 つの方向に軌

3.

実験

3.1

トラッキング性能跡が現れている．このことから被験者の前後に深度カメラを設置した場合は一台の深度カメラ
では確認できない 5 方向すべてのステッピング

二台の深度カメラを用いた場合に，一台の場が定量化できていることが分かる．

合と比較してどの程度モーションキャプチャ性能が向上するか確認するための実験を行った．
リーチ，ステップの各 MR ゲームを 10 回ずつ行い，深度カメラで検出できる 19 個の関節をすべて検出できた時間の割合で性能を評価した．二台の深度カメラを用いる場合には，被験者に対して正面と右側，正面と左側，正面と後方の三パターンの配置で行った．

–5–

Fig. 8: Evaluation of body balance stability
with and without weightFig. 6: Center of gravity trajectory mesured
by one depth camera

4.

考察

二台目の深度カメラを被験者の左右に設置した場合に，左右のタスクでモーションキャプチャ性能に差が出たのは，バランスゲームに身体をひねる動きが含まれるためだと考えられる．リーチ，ステップの各ゲームでは手足を前方５方向の目標へと移動させている．ゆえに，右手右足を斜め左方向に動かすときと，左手左足を斜めFig. 7: Center of gravity trajectory mesured
by two front and behind cameras

右方向に動かすときに身体をひねる動きとなる．
深度カメラは正面から撮影したときに最も精度3.2バランス機能評価が高くなる．そのため，深度カメラの方向へ身MR ゲームの難易度を変えてバランス評価を体をひねったときには精度が大きく上昇したの行い，本システムで被験者のバランス状態を適だと考えられる．一方，反対側へひねったとき切に評価できているか確認する実験を行った．には身体に隠される関節が多くなり精度が向上

作成した MR バランスゲームを，通常の状態しなかったのだと考えられる．被験者の前後にとウェイトを付けた状態プレイしてそれぞれ身設置したときにはタスクの左右にかかわらず精体バランスの安定性評価を測定した．被験者は度が向上しており，深度カメラを二台用いる際成人男性 5 人（平均年齢 22.4±0.5 歳）である．には被験者の前後が最適な配置だと考えられる．

リーチでは 0.67kg のウェイトを両手首に，ステッ

図 6, 7 の重心軌跡を比較すると，深度カメラプでは 1.82kg のウェイトを両足首に装着した．

一台では 3 方向にのみ軌跡が現れているのに対

図 8 は各ゲームにおける被験者 5 人の Stability

して，深度カメラを被験者の前後に設置した場Index の平均を表している．すべてのタスクに合には 5 方向すべてのステッピングが定量化でおいて Stability Index はウェイト有りの場合のきている．このことから，二台の深度カメラを用方が大きい値となった．ゆえに，ウェイトを装いることでトラッキング可能な範囲が拡大して着した場合の方が不安定であるという評価が得いることが示された．重心の時間変化のグラフられた．

では，深度カメラ一台ではトラッキングできず値が変化していない時間が所々に見られる．一方，深度カメラ二台の場合では，常に値が変化しているように見える．このことからも，二台–6–の深度カメラを用いることでモーションキャプチャ性能が向上していることが確認できる．
ウェイトを装着すると，手足を挙げて維持する動きにおいてバランスを保つことが難しくなる．よって，ウェイト有りの場合の方が通常よりも不安定であるという評価が予想される．図8 からウェイト有りのとき，通常時と比較してバランス状態が不安定であるという結果が得られた．したがって，MR バランスゲームと二台の深度カメラを用いて，定量的に被験者のバランス評価を行うことが可能であることが示された．

5.

結言

MR デバイスを用いたバランスゲームを開発し，身体バランスの安定性評価の指標を用いてバランス機能評価を行った．MR を用いたゲー
ムにより実空間上での運動目標を提示可能とした．また，二台の深度カメラによるトラッキン
グにより従来と比べて広範囲の動きをトラッキングし，バランス状態を定量的に評価ができることを示した．より日常に近い動きでのバランス評価ができたことで将来的に実際のリハビリテーション現場での活用が期待できる．
今後の課題として，座った状態でのバランスリハビリテーションに MR を活用することや，

HoloLens2 を用いてリアルタイムでバランス状態を評価できるシステムの開発が考えられる．

参考文献
1) 日本理学療法士協会. 理学療法士国家試験合格者の推移. https://www.japanpt.or.jp/activity/data/. (Accessed on 21/02/2023).
2) 山田洋一, 丸山仁司. 理学療法士の自己認識から抽出した今後の育成課題 -医療機関に勤務する理学療法士の調査, 2012.
3) Moeko Kojima, Kyo Kutsuzawa, Dai Owaki,and Mitsuhiro Hayashibe. Game-based evaluation of whole-body movement functions withcom stability and motion smoothness. In 2022
44th Annual International Conference of theIEEE Engineering in Medicine and Biology
Society (EMBC), pp. 4354–4357, 2022.

–7–4) Manuel Pezzera, Eleonora Chitti, and N. Alberto Borghese. Mirarts: A mixed reality application to support postural rehabilitation.
In 2020 IEEE 8th International Conference
on Serious Games and Applications for Health(SeGAH), pp. 1–7, 2020.
5) Microsoft.
Hololens2.
https://www.
microsoft.com/ja-jp/hololens/hardware.
(Accessed on 22/02/2023).
6) Intel.
Intel realsense depth camera
d455.
https://www.intelrealsense.
com/depth-camera-d455/.
(Accessed on22/02/2023).
7) Intel.
Intel realsense depth camera
d435.
https://ark.intel.com/content/
www/jp/ja/ark/products/128255/
intel-realsense-depth-camera-d435.
html. (Accessed on 22/02/2023).
8) Kazuki Furuhata, Kyo Kutsuzawa, Dai
Owaki, and Mitsuhiro Hayashibe. Systematic motion integration with multiple depthcameras allowing sensor movement for stableskeleton tracking. In 2022 44th Annual International Conference of the IEEE Engineeringin Medicine and Biology Society (EMBC), pp.
1801–1804, 2022.
9) M. Hayashibe, A. González, and P. Fraisse.
Chapter four - personalized modeling forhome-based postural balance rehabilitation.
In Jun Ueda and Yuichi Kurita, editors, Human Modelling for Bio-Inspired Robotics, pp.
111–137. Academic Press, 2017.
10) Joseph Hamill and Kathleen M Knutzen.
Biomechanical basis of human movement. Lippincott Williams & Wilkins, 2006.
11) Paolo De Leva. Adjustments to zatsiorskyseluyanov” s segment in ertia parameters. Jbiomech, Vol. 29, No. 9, pp. 1223–1230, 1996.
12) Michael J. Todd and E. Alper Yıldırım. On
khachiyan’s algorithm for the computation ofminimum-volume enclosing ellipsoids. Discrete Applied Mathematics, Vol. 155, No. 13,pp. 1731–1744, 2007.