情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3Q06
2021/3/10

モーションキャプチャ装置を用いた介護動作の視覚化及び改善のためのシステム
貞方隆汰†1柴田智広†1

概要：介護士の需要が高まる一方で，介護士は腰痛問題に悩まされており，平均勤続年数も他の職業と加えて短い傾向にある．腰痛は腰部に激しい負荷がかかる動作を除き，適切な介護動作によりリスクを軽減することができることから，介護動作初学者に向けて，介護動作の学習の補助を行うシステムを作成する．あらかじめサンプルしておいた
熟達者の動作を次元削減アルゴリズムにより低次元特徴量として保存しておき，初学者の動作の低次元特徴量と熟達者のもの，それぞれを描画することにより熟達者との動作の乖離度合いを視覚化し，動作の改善を補助する．

1. はじめに行う際に有効であるとされている．そのため，本研究では
次 元 削 減 ア ル ゴ リ ズ ム の 一 種 で あ る Gaussian Process

少子高齢化における高齢者層の増加に伴い，介護士の需

Dynamical Model（GPDM）[5]を使用し潜在空間モデルを作要が高まっている．しかし，現状では需要数に対して実際成する．Gaussian Process Latent Variable Model（GPLVM）[6]の介護士の労働人口は平成 28 年度で 183 万人に対し，要を代表する，特定の確率過程に基づいた次元削減アルゴリ

介護者は 633 万人と，介護士の不足が顕著となっている[1]．

ズムでは，特徴量同士の距離が近ければ近いほど，高次元加えて，介護士の平均勤続年数は産業計に対し比較的短くでのデータ間の類似度が高くなる特性がある．GPDM も同なっており，長期間介護士として労働を続けることは困難様の性質を持つため，予め生成しておいた熟達者の介護動とされている[1]．介護士が長期間勤続することのできない作の潜在空間における軌跡と，初学者の介護動作の軌跡が理由として，腰痛の罹患があげられる[2]．介護士は腰部に近ければ近いほど，初学者の動作が熟達者の動作に近く，強い負荷のかかる動作を頻繁に行う必要があるため，腰痛適切な動作を行っている事が確認できる．GPDM を用いてのリスクが比較的高い職業となっている．このことから，作成した潜在空間モデルでは，熟達者の介護動作により生介護士の腰痛問題はかねてより問題視されており，解決が成された潜在変数が内包されているようにあらかじめ次元急がれる問題の一つとなっている．特に介護動作の初学者削減を行っておき，これを初学者の学習に利用する．また，が誤った介護動作を習得することによる腰痛の罹患は，長GPDM により潜在空間を獲得するためには，後述する事後期間勤続していくにあたり，大きな障害となることが考え確率の最大化を行う必要があり，学習に時間を要する．そられる．そのため，介護士の中でも，とりわけ介護動作初のため，回帰モデルにより潜在空間の獲得に要する時間を学者が適切な介護動作を習得することは非常に重要である．

短縮する．同様に，モーションデータを入力するためのモ

腰痛のリスクを評価する先行研究として，身体の各部位装ーションキャプチャ装置においても，計測を行った後に所着した計器をもとに移乗介助動作時の腰部にかかる重心位定のファイルへの変換を行い，ソフトウェア部分に入力す置やモーメントを計算するもの[3]や，腰部に筋電計を装着る場合，読み込むファイルの選択等，ソフトウェアを操作し，リフティングを行った際に腰部にかかる負荷を，筋電する時間を要することとなる．そのため，モーションキャを用いて定量化するような研究が行われている[4]．これら

プチャ装置とソフトウェア部分を通信によって接続し，リの研究は腰部への負荷を数値化する一方で，初学者がこれアルタイムでモーションデータを入力，潜在空間に写像すらのシステムを利用する際に，適切な身体の位置を視覚的ることができるようなモーションキャプチャ装置を使用すに理解することが難しいという問題がある．そのため，本る．

研究では，初学者が介護動作を習得する際に，介護動作に最後に，これらの手法により視覚化した特徴量を観測すおける身体の動作の特徴を視覚化し，熟達者の特徴と一致る補助として，複合現実デバイスを活用し，初学者が現在させるように動作を改善することにより，適切な介護動作とっている姿勢を 3D モデルとして表示する．の習得が行えるようなシステムを開発する．

2. システム構成
システムの大まかな構成を図 1 に示す．主成分分析（PCA）
を代表とする，次元削減アルゴリズムは特徴量の視覚化を†1 九州工業大学 大学院生命体工学研究科© 2021 Information Processing Society of Japan797

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3Q06
2021/3/10

表 1

図 1

関節データ対応表(赤は学習に非使用のデータ)システム構成図3. システム概要
3.1 モーションキャプチャ装置
2 節で述べたように，本研究ではモーションデータを，リアルタイムでソフトウェアに送信する必要がある．そのため，リアルタイム性を担保しつつ，bvh 形式でモーションデータを送信することができる Perception Neuron*1 を使

4. 潜在空間の生成用する．加えて Perception Neuron は慣性式モーションキャGPDM では，GPLVM と同様に観測データ𝑌に対して最適プチャ装置となっており，光学式モーションキャプチャ装な潜在変数𝑋及び，𝑋を𝑌に写像するためのガウス過程に従置等と比較すると，持ち運びがしやすく，キャリブレーシ

う非線形写像関数である𝑓(∙)を学習する．加えて GPDM でョン等の設定も簡易的である．介護動作の習得をする際に，は，1 次マルコフ連鎖を基に，𝑡 − 1時点の観測データ𝑦𝑡−1

モーションキャプチャ用スタジオ等を使用する必要がないに対応する潜在変数𝑥𝑡−1 から 𝑡時点の潜在変数𝑥𝑡 を推定すため，本研究で利用する装置として，慣性式モーションキ

る，ガウス過程に従う非線形写像関数𝑔(∙)を学習する．式ャプチャ装置は適当であると考えられる．

(1)，(2)が3.2 使用データセット

𝑥𝑡 = 𝑓(𝑥𝑡 − 1; 𝐴)+𝑛𝑥,𝑡(1)

介護動作のデータセットとして，Nursing Care Activity

𝑦𝑡 = 𝑔(𝑥𝑡 ; 𝐵)+𝑛𝑦,𝑡(2)Recognition Challenge*2 があるが，本研究で使用するモーシとなる．このとき，𝐴および𝐵はモデルパラメータとなり，ョンキャプチャ装置である Perception Neuron はデータの送

𝑛𝑥 ， 𝑛𝑦 は白色ノイズである．ただし𝐴 ，𝐵 についてはこ信に bvh 形式のファイルを使用するため，ファイルフォーれらを最適化するために，𝑓(∙)と𝑔(∙)のカーネルにおけるハマットが異なり，学習が困難である．そのため，今回は同イパーパラメータ𝛼と𝛽を用いて，以下の事後確率を最大化様に bvh 形式である，CMU データセット*3 の歩行動作をすることによりモデルを最適化する．
𝐿 = −𝑙𝑛 𝑝(𝑋, 𝑎̅, 𝛽̅ |𝑌)データセットとして使用した．ただし，Perception Neuron とCMU データセット *2 ではスケルトンデータの構成が異なっており，そのまま入力することが出来ないため，腕部を除いた，2 つのスケルトンデータの共通する関節一のみを入力データとした（表 1，図 2）．

=𝑑1𝑇 )
𝑙𝑛|𝑲𝑋 | + 𝑡𝑟(𝑲𝑋−1 𝑋𝑜𝑢𝑡 𝑋𝑜𝑢𝑡+ ∑ 𝑙𝑛 𝛼𝑖 − 𝑁 𝑙𝑛|𝑊| +22𝑖𝐷12 𝑇𝑙𝑛|𝑲𝑌 | + 𝑡𝑟(𝑲−1𝑌 𝑌𝑊 𝒀 ) + ∑ 𝑙𝑛 𝛽𝑗22(3)𝑗

ここで，𝐾𝑥 ，𝐾𝑦 はカーネル関数であり，ガウス過程回帰におけるカーネル関数と同様に，任意のカーネルを指定する事ができる．𝑊はスケーリングを行うための行列となる．
𝐷は観測データの次元数，𝑑 は潜在空間の次元数となる．
式(3)を最小化することにより得られた𝑓(∙)と𝑔(∙)により潜在空間のデータを観測空間へ写像することができる．加えて，式(3)では𝑓(∙)と𝑔(∙)と同様に，𝑌に対する潜在変数𝑋も
図 2 使用する関節データ(左:CMU データセット，最適化されている．しかし，GPDM は潜在変数𝑋から元の右:Perception Neuron)

観測データ𝑌への写像は行えるものの，観測空間 Y から潜*1 https://neuronmocap.com/*2 https://ieee-dataport.org/competitions/nurse-care-activity-recognition-challenge*3 http://mocap.cs.cmu.edu/© 2021 Information Processing Society of Japan798

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

在変数𝑋への高速な写像（逆写像関数𝑓 −1 (∙)の導出）を行うことができず，潜在変数の最適化に時間を要する．そのため，平井[7]や松本ら[8]はこの問題を解決するため，ガウス

3Q06
2021/3/10

𝑓𝑟𝑎𝑚𝑒

2∑𝑑𝑜𝑓 (|𝜃̂𝑡,𝑛 − 𝜃𝑡,𝑛 |𝑚𝑜𝑑180°)
1) (4)
𝑒𝑟𝑟𝑜𝑟 =∑ √( 𝑛=1
𝑓𝑟𝑎𝑚𝑒
𝑑𝑜𝑓𝑡=1

過程等の回帰モデルと GPDM を組み合わせ，短時間での潜得られた復元誤差を表 2 に示す．平井の結果[7]では在空間の写像を行っている．本研究では平井や松本らと同GPDM detection による復元誤差が 5.81[degree]となってお様に，ガウス過程回帰を含む回帰モデル活用し，潜在空間り，2 度ほど誤差が大きくなっている．そのため，平井やへのリアルタイムな写像を行う．また，今回は潜在空間の松本らが作成したモデルに比べて，GPDM のパラメータ調視覚化を目的とするため，潜在変数の次元数𝑑を 2 とした．

整が不完全であることが考えられる．
表 2

5. 回帰モデルと GPDM の学習
5.1 回帰モデル及びパラメータ
3 節で述べたように，観測データから潜在変数を算出する回帰モデルを作成する．具体的には，説明変数を観測データ𝑌とし，目的変数を GPDM によって最適化された潜在変数𝑋とし，学習を行う．ただし，GPDM では最適化の際

復元誤差
平均復元誤差[degree]

KNNR+GPDM

7.011

GPR+GPDM

7.423

MLP+GPDM

7.553

6. 特徴量の描画に観測データ𝑌を PCA により初期化した後に学習データと5 節で作成した回帰モデル及び潜在空間を用いて，潜在して入力するため，回帰モデルでも同様に説明変数を PCA空間を視覚化する．図 4 では，学習によって最適化されたによって初期化する．また，回帰モデルを使用するため，潜在空間を赤色の軌跡として描画している．ただし，実際PCA の前に正規化（min-max scaler）を施し，データの値域に作成された潜在空間は混合ガウス分布となり，赤色の軌を-1 から 1 の範囲へと収める．回帰モデルには，K-近傍回跡は正規分布の平均値を通過している．

帰（KNNR），ガウス過程回帰（GPR），Multi-Layer Perceptron

学習に使用したデータセットと同様の歩行動作のテス（MLP）を使用した．KNNR の k を 5，ガウス過程回帰のトデータを使用して特徴量の写像を行ったところ図 4 中のカーネル関数には RBF+Linear カーネルを使用した．MLP

青色のような軌道を描いた．これは赤色の軌跡の一部と一では先行研究では入力層をデータセットの次元数とし，隠致するような軌道を描いており，学習に使用したデータセれ層を順に 256，128，64，32 とし，出力層を潜在空間の次ットに非常に近い動作を行っていることが，潜在空間の特元数である 2 とした．上記 3 つの回帰モデルに加え，線形性から推測することができる．

回 帰 を Bayesian Gaussian Process Latent Variable Model（BGPLVM）と組み合わせた結果，KNNR と GPR は MLPと比べて Test データによる推定誤差が低くなっている[9]．
そのため，今回はモーションキャプチャ装置を入力対象とした場合でも同様の結果が得られることを併せて確認する．
学習後に検証を行うため，データセットの 60%を訓練デー
タ，とした．回帰モデルと GPDM を組み合わせた学習時の構成を図 3 に示す．

図 3

学習モデルの構成図

5.2 復元誤差
図 3 の構成を用いて，復元誤差の計算を行う．復元誤差の研究には平井が使用した関数と同様のものを使用した

図 4

潜在空間(赤色の線:訓練データ，青色の線:テストデータ．軸ラベルは獲得された 2 次元の多様体の軸)7. 複合現実デバイスの導入（式(4)）．ただし，使用したデータセットではデータの次元

利用者自身が現在とっている姿勢を確認するためのソフ数が 9 関節×3 次元であったため，自由度𝑑𝑜𝑓は 27 次元となる．また，𝜃̂𝑡,𝑛 − 𝜃𝑡,𝑛 の値が負となった場合に，剰余が非トウェアを複合現実デバイス向けに作成する．図 1 にある

常に大きくなる問題が合ったため，元の評価関数に変化を形式のモーションデータを複合現実デバイス上で表示する加えている．

（図 5）．モーションデータの表示には，Perception Neuron

ように，モーションキャプチャ装置により送信された bvh

付属の Unity 用のパッケージを利用し作成したプロジェク© 2021 Information Processing Society of Japan799

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3Q06
2021/3/10

トを複合現実デバイスである，Microsoft HoloLens 向けにビころ，潜在空間が歩行動作に最適化されていることにより，ルドを行い作成した．

潜在空間で大きなジャンプを繰り返しており，正確な復元が行えていない様子が得られる（図 8）．

図 5

モーションデータの複合現実デバイスでの表示画面(左:HoloLens での実空間への投影，右:Perception Neuron)

8. 実験
Perception Neuron を使用して歩行動作を計測し，潜在空

図 7

潜在空間と復元データ(左:潜在空間．赤色の軌跡が間に写像できるかの検証を行った．実験では，Perception

実験で測定したモーションの写像結果，右下:復元したモ

Neuron を装着し歩行動作を計測（図 6）し，ソフトウェア

ーションデータの関節角)で歩行動作が復元できるかの確認を行った．

図 6

図 8
実験の様子

測定したデータを用いての写像結果を図 7 に示す．図 7

移乗動作を入力した際の軌跡

9. おわりに

左側ではモーションデータが潜在空間に写像されている様

本研究では，複合現実デバイス及びモーションキャプチ子となっており，赤色の線によって描画されている．右下

ャ装置を活用し，介護動作初学者が，介護動作熟達者の介では入力したモーションデータと復元したモーションデー

護動作の低次元特徴量と比較し，介護動作の向上を行う補タの任意の関節の回転角の 1 つが描画されている．右上で助を行うためのシステムを作成した．また，システム内ソは，入力データ，復元データの任意の関節の回転角の１つフトウェア部分の作成を行うために，モーションデータのの前フレームとの差分が示されている．右下，右上ともに復元誤差を確認することにより，回帰モデルが適切に潜在赤い線が入力データ，青い線が復元データとなっている．

空間への写像を行えていることを確認した．本研究を活用

式（4）を用いたところ，入力データとの全フレーム間のすれば，歩行動作や介護動作だけでなく，他の専門的な動平均復元誤差は 16.609[degree]となっており，表 2 と比べて作についても特徴を模倣する事による，動作の習得が行え高くなっている．これは GPDM による潜在空間は，学習時ることが期待される．一方で，本来は介護動作のデータセに保持している潜在空間から離れれば離れる（図 7 左部中ットを用いて学習を行う必要があったが，ファイル形式のの黒い空間に近づく）ほど，すべての次元の値が 0 に近づ問題から学習に使用することが出来なかった．今後はデーいていくことが影響していると考えられる．そのため，復タセットを本システムに適用できるファイル形式に変換す

元データの図では入力データに対してマイナス方向に下がる．また，現在はすべての関節におけるデータを使用してった復元結果が得られているが，これは入力データがあらいるが，観測データが非常に高次元になっている関係上，かじめ学習しておいたデータに無い関節角を入力している

具体的にどの関節を修正すべきかを初学者が認識しづらい（熟達者とは離れた動作を行っている）ことを表している．という問題がある．そのため，今後は使用する関節データ

一方で，前フレームとの差分を見てみると，２つの線がおを削減し，利用者がより直感的に熟達者の潜在空間での特およそ同じ振幅を描いている．これは復元データが入力デ徴に近づけるようなシステムにする必要がある．

ータと同様の特性を再現することが出来ていることを示し

参考文献ており，全く無関係なデータが復元によって得られている[1]

わけではないことが分かる．実際に歩行動作ではない介護動作（移乗動作）を計測し，この学習モデルに入力したと© 2021 Information Processing Society of Japan[2]“介護分野の現状等について”.
https://www.mhlw.go.jp/content/12602000/000489026.pdf, (参照2020-12-15).
“平成 27 年度 社会福祉士・介護福祉士就労状況調査結果”.

800

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3Q06
2021/3/10

http://www3.keizaireport.com/report.php/RID/305210/, (参照2020-12-15).
[3]

山崎 信寿, 山本 真路, 井上 剛伸. 移乗介助における腰部負担の評価. バイオメカニズム学会. 2002, 16 巻, p.195-205.

[4]

上田 喜敏, 伊藤 伸一, 佐藤 克也, 藤澤 正一郎. 介助作業中の腰痛調査とベッド介助負担評価 : 富山県腰痛予防対策推進研修会腰痛アンケート結果から考えられるベッド介助作業負担の評価. 日本福祉のまちづくり学会. 2012, 14 巻, 2号, p. A9-A17.

[5]

Jack M. Wang, David J. Fleet, Aaron Hertzmann. Gaussian Process
Dynamical Models. NIPS. 2005, p. 1441-1448.

[6]

Neil Lawrence. Probabilistic Non-linear Principal Component
Analysis with Gaussian Process Latent Variable Models. Journalof Machine Learning Research. 2005, vol.6, p. 1783-1816.

[7]平井迪郎. 姿勢推定のための確率的な形状変化の動的モデ
ルと視体積制約に基づく形状追跡. 奈良先端科学技術大学
院大学情報科学研究科修士論文, 2009.

[8]

松本鮎美, ウ小軍, 松浦宣彦. ガウス過程回帰を用いた階層的学習手法の提案と人物３次元動作推定への応用. 画像の認識・理解シンポジウム (MIRU2011) 論文集. 2011, p. 683690.

[9]Nishanth Koganti, Tomoya Tamei, Kazushi Ikeda, TomohiroShibata. Bayesian Nonparametric Learning of Cloth Models for
Real-Time State Estimation. IEEE Transactions on Robotics.
2017, vol.33, p. 916-931© 2021 Information Processing Society of Japan801