―7―

Kinect を用いた上肢リハビリ支援装置の開発
長谷川俊幸＊・木澤悟

Development of upper limb rehabilitation support device using Kinect
Toshiyuki HASEGAWA ＊ and Satoru KIZAWA（平成28年11月30日受理）
The motor dysfunction of the upper limb can be expected to improve the motor function byrehabilitation. There are some devices for upper limb rehabilitation, but they are expensive andlarge. Therefore, in previous research, we have developed compact and inexpensive upper limb
rehabilitation device. On the other hand, motion capture has been applied in ﬁeld of medical
welfare. Kinect has attracted attention as inexpensive motion capture, and has been applied invarious ﬁelds. Therefore, in this study, we build a motion capture system using Kinect, it wasapplied to the rehabilitation device. In this paper, we report the speciﬁcations of the motion
capture system using Kinect and the rehabilitation support device that we developed.
Keywords : Kinect, motion capture, motor dysfunction, upper limb rehabilitation, self-position
recognition
1.

緒言

上肢の運動麻痺の場合，リハビリにより関節拘縮の予防や運動機能の改善が期待できる。上肢リハビ
リのための機器は多く存在するが，そのほとんどは設置場所やコストの面で患者が自宅で利用することは困難である。そこで，著者らは先行研究として持ち運び可能であり，卓上でのリハビリが可能で，かつ安価な上肢リハビリ支援装置1） を開発してきた。
一方で，医療福祉分野では運動機能の計測や評価にモーションキャプチャが応用4）されている。代表的な動作解析装置として VICON（Crescent,inc）などがあるが，その多くは非常に高価で，測定場所も制限される。一方，Microsoft の発売する Kinect は安価でありながら，デプスセンサや関節位置推定などの機能を搭載しており，安価なモーションキャプチャとして様々な分野で応用2）されている。
そこで，本研究では Kinect を用いたモーションキャプチャの上肢リハビリ支援装置への応用を検討した。しかし，Kinect 標準の関節推定は関節が重なった場合に正確に推定できず，また実際の関節位置には個人差もあるため，この方法は精度面で汎用＊

秋田高専専攻科学生

秋田高専研究紀要第52号

性に欠けることが分かった。そのため，本研究では，
Kinect でマーカ認識を行うことで，より高精度な任意位置，関節位置の取得が可能なモーションキャプチャシステムを構築した。また，開発したシステ
ムにより得られた位置情報を上肢リハビリ支援装置の軌道制御，およびリハビリの臨床応用へ利用することも検討した。本報告ではKinectによるモーションキャプチャシステムおよび，開発した上肢リハビリ支援装置の概要について報告する。
2. Kinect v2によるモーションキャプチャ
2.1. Kinect v2の概要
Kinect は Microsoft から発売されたセンサデバイスである。RGB カメラ，深度センサ，マイクなどが内蔵されており，人間の骨格を認識する機能も有している。また，Kinect は家庭用ゲーム機 Xbox用のセンサであるが，公式に Kinect for Windows
SDK が提供されており，Windows アプリケーショ
ン へ の 応 用 が 可 能 で あ る。Kinect for Windows
SDK では，Kinect に搭載された各センサを扱うための関数が用意されており，骨格認識，ジェスチャ機能なども簡単に扱うことが可能である。そのため，
Kinect は安価なモーションキャプチャとして各分―8―
長谷川俊幸・木澤悟

野で応用2）されている。本研究では，2014年（日本）に発売された Kinect v2（Xbox One Kinect, Fig.1）を使用した。

Fig.1

2.2. Kinect による任意マーカ位置の取得
Kinect には，センサが捉えた人間を認識してその関節位置を推定する機能がある。しかし，Kinectの関節推定機能は，関節が重なった場合に正確に認識されない問題が見られた。また，実際の関節位置には個人差もあるため，精度や安定性の面で正確な関節位置取得に用いるのは困難であった。そこで本
研究では，リハビリ装置に応用するにあたり，より汎用的な精度をもった関節位置および，任意位置を取得するため，Kinect によるマーカを用いた位置認識方法を検討した。ここでは，マーカの認識とマーカ位置取得の方法について述べる。
マーカには，4 色（桃，橙，黄緑，紫）のピンポン玉を利用した。Fig. 2 に Kinect を用いたマーカ位置取得のプロセスを示す。マーカは Kinect の RGB
カメラで得たカラー画像から，特徴色認識によって認識する。カラー画像上のマーカ位置は Fig. 3 のように画像左上を原点とした画素単位の x, y 座標値で表現する。次に，Fig. 4 に示すように Kinect の深度センサによって，マーカまでの深度を取得する。ここで，RGB カメラと深度センサでは，カメラ位置や解像度に差があるが，SDK を用いることで両センサのデータのマッピングが可能である。カラー画像上のマーカの x, y 座標とマーカまでの深度が分かれば Kinect のカメラパラメータから，Kinect を基

Fig.2

Fig.3

Kinect v2

マーカ位置取得プロセス

カラー画像上のマーカ位置

Fig.4

マーカの深度準としたマーカの 3 次元位置を計算できる。この 3次元位置の計算も SDK を用いることで，容易に得ることができる。
3.

上肢リハビリ支援装置

3.1. 装置概要
Fig. 5 に開発した上肢リハビリ支援装置の外観を示す。患者は，装置本体のグリップを握り，腕を動かし，前面モニタに表示された目標軌道に沿うように装置本体を操作する。

Fig.5

上肢リハビリ支援装置
平成29年２月

―9―
Kinect を用いた上肢リハビリ支援装置の開発

Fig. 6 にはリハビリ装置本体を示す。移動機構にはオムニホイールを採用し，各ホイールのモータをそれぞれ制御することで，全方向への移動が可能である。グリップ基部には力覚センサが設置され，グリップに加えられた力を感知する。小さな力も感知できるため，このセンサ値をフィードバックして駆動制御することで，麻痺患者でも随意方向への十分なリハビリ動作が可能である。

Fig.6

表示により，患者は常に目標軌道と現在位置を確認しながら，直観的なリハビリを行うことができる。
3.2. 制御方式
リハビリ装置の制御システムの基本構成を Fig. 9に示す。装置の制御に必要な各演算処理は PC によって行う。制御に必要なKinect，力覚センサ，モータドライバの I/O ユニットなどはすべて USB を介して PC に接続される。Kinect の情報から計算した装置本体の自己位置と，力覚センサの感知したグリップに加えられた力の情報をもとに，任意方向へ装置が動くように各モータのモータドライバへ信号を送り，PWM 制御することで装置が動作する。

リハビリ装置本体

Fig.9

制御システムの基本構成

4. マーカ位置取得精度の評価実験
Fig.7

マーカ貼付位置位置情報の取得には，Kinect によるモーションキャプチャシステムを応用した。Fig. 5 に示すように患者前方に Kinect を設置し，Kinect により装置本体および患者の上肢を捉えられるようにした。また，Fig. 7 に示すように装置本体および患者の肩，肘，手首関節にマーカ（ピンポン玉）を貼り付けた。
取得した各位置情報は，Fig. 8 に示すようなモニタ表示によって 2D または 3D で図示するとともに，csv ファイルとして保存することができる。モニタ

Fig.8

リハビリ中のモニタ表示

秋田高専研究紀要第52号

4.1. 実験 1（前後リーチングの計測）
4.1.1 実験方法
Kinect で取得したマーカ位置の精度を評価する実験を行った。開発した上肢リハビリ支援装置では，主にリーチング動作によるリハビリを想定しているため，実験 1 として Fig.10に示す前後300mmリーチング動作についてマーカ位置計測を行った。
リハビリ装置に組込んだ Kinect による計測のほか，同時に装置外部から VICON を用いても計測した。
VICON は赤外線反射マーカを用いた測定方式のため，マーカは Fig.11のように Kinect 用と VICON 用の 2 つを各計測箇所に貼付した。VICON は代表的な動作解析装置であり，誤差 1 mm 以下の高精度な位置計測が可能である3）。そこで，ここでは VICONの計測結果を基準として Kinect の計測結果との差を求めることにより，Kinect のマーカ位置検出精度を求めた。装置本体のマーカの計測結果について比較したほか，肘関節角度についても比較した。肘関節角度は，Fig.12に示すように肩，肘を通る直線と肘，手首を通る直線のなす角とした。

― 10 ―
長谷川俊幸・木澤Fig. 10

Fig.11

悟

前後リーチング動作
Fig.13X 方向の平均誤差（実験 1）

Fig.14Y 方向の平均誤差（実験 1）

Fig.15Z 方向の平均誤差（実験 1）

Fig.16肘関節角度の比較（実験 1）

各マーカの貼付方法

Fig.12肘関節角度4.1.2 実験結果
装置本体のマーカについて X, Y, Z 方向各々のKinect と VICON の計測値の差（誤差）を求めると，1 往復ごとの平均誤差とその標準偏差は Fig.13～15のようになった。10往復の平均誤差は，X 方向で0.8mm，Y 方向で1.3mm，Z 方向で0.9mm であった。
いずれの方向でも平均誤差は 1 mm 程度であり，最大誤差も3.0mm 以下であった。これは，リーチング運動におけるリハビリ装置や上肢の大きな動きを捉えるのには十分な精度であると考えられる。Fig.16
では Kinect の計測値および VICON の計測値から計算した肘関節角度を比較した。Fig.16から，2 つの計算値がよく一致していることが分かる。肘関節角度の平均誤差は1.2度，最大誤差は4.0度であった。

平成29年２月

― 11 ―
Kinect を用いた上肢リハビリ支援装置の開発

4.2. 実験 2（斜めリーチングの計測）
4.2.1. 実験方法
実験 1 の前後リーチング動作では X，Z 方向への動きが小さく，そのため誤差も大きくならなかったことが考えられる。そこで実験 2 では，今後多様なリハビリ動作を扱うことを考慮し，より汎用的な精度情報を得るため，Fig.17に示す XY 方向への動きの大きい斜めリーチング動作について Kinect および VICON でマーカ位置計測を行った。ここでも，VICON の計測結果を基準として比較した。計測項
目および比較項目は実験 1 と同様である。

Fig.17

Fig.19Y 方向の平均誤差（実験 2）

Fig.20Z 方向の平均誤差（実験 2）

Fig.21肘関節角度の比較（実験 2）

斜めリーチング動作

4.2.2 実験結果
Kinect で計測した装置本体のマーカ位置について X, Y, Z 方向各々の 1 往復ごとの平均誤差とその標準偏差は Fig.18～20のようになった。10往復の平均誤差は，X 方向で5.4mm，Y 方向で4.2mm，Z 方向で1.6mm であった。結果を見ると，動きの大きくなった X 方向だけでなく，Y，Z 方向の誤差も大きくなった。これは，Kinect が得たカラー画像上でのマーカ移動範囲が大きくなり，マーカ追跡の安定性が低下したためであると考えられる。この場合
でも，最も誤差の大きかった X 方向でも最大誤差は10mm 程度であり，リハビリ動作を捉えるうえで致命的な誤差にはならないと考えられる。 Fig.21ではKinect の計測値および VICON の計測値から計算した肘関節角度を比較した。肘関節角度の平均誤差は1.7度，最大誤差は5.3度であった。

Fig.18X 方向の平均誤差（実験 2）

秋田高専研究紀要第52号

― 12 ―
長谷川俊幸・木澤

5.

悟

結言

本研究では，Kinect によるモーションキャプチャシステムを構築し，上肢リハビリ支援装置へ応用することを検討した。任意対象の位置を計測するため，
Kinect によるマーカ位置の取得を行った。精度検証実験により，Kinect によるマーカ位置の取得により，リハビリ装置に応用するのに十分な精度の位置情報が得られることが確認できた。また，上肢の関節位置および関節角度の取得ができた。今後は，得られた上肢関節位置，関節角度情報について臨床応用を検討したい。
参考文献
1） 安保俊彦，上肢訓練支援のための卓上リハビリロボットの開発，平成27年度秋田工業高等専門学校専攻科特別研究論文，（2016）2） 中村，杉浦，高田，上田，『KINECT for Windows
SDK プログラミング Kinect for Windows v2 センサ対応版』，秀和システム，（2015）3) 佐藤，泉，木澤，宮脇，モーションキャプチャの精度測定，日本機械学会東北支部 第52期秋季講演会，No403，（2016）4) 小島一成，モーションキャプチャシステムの最新の進歩，臨床スポーツ医学，Vol.9, No.7，
pp.661-666，（2012）

平成29年２月