脚部装着カメラ端末の 3 次元位置・姿勢推定による歩行運動認識手法の検討○田井 克典（関西学院大学）， 河野 恭之（関西学院大学）

Walking Motion Recognition Method with the Position and Pose
Estimation of Leg Mounted Camera Devices○Katsunori TAI (Kwansei Gakuin University), and Yasuyuki KONO (Kwansei Gakuin University)
Abstract: This paper presents the method for recognizing the user’s walking motion with estimating position and pose of leg
mounted camera devices by analyzing the images captured by them. The position and orientation of each device are estimatedby recognizing and tracking the feature points in the camera images and the output value of the orientation sensor.

１．はじめに認識の実現を目的とする. また加速度センサの出力値

本稿ではユーザの脚部に装着したカメラ端末の 3 次を積分することで端末の変位を推定する手法があるが,元位置・姿勢を推定することによりユーザの歩行運動計測する時間と共に推定位置の誤差が蓄積されるといを認識するシステムを提案する. 近年, 社会の高齢化

う問題がある. さらに, 本研究の手法では脚の各部位に伴い高齢者の健康な生活をサポートする様々なリハに取り付けた端末の姿勢が脚の動きに合わせて変化すビリテーション技術が注目されている. 高齢者の介護るため, 加速度センサの出力値により端末の変位を推が必要になる原因に転倒による骨折や関節疾患などが定するためには, 端末を基準とする座標系から世界座挙げられるが, これらは加齢による身体機能の悪化や標系への座標変換を行ったうえで各座標軸の加速度セ歩行能力の低下によるものであることが多い. 高齢者

ンサの出力値を積分する必要があり, これにより更なにとって歩行能力の低下を防ぐための歩行トレーニンる誤差の増大が懸念される. 太田ら[2]は加速度センサ

グは, 健康状態の維持や QOL(生活の質)の向上のための出力値に対してハイパスフィルタとローパスフィルに必要不可欠である. しかし適切な歩行トレーニング

タによるフィルタリング処理を施したうえで端末を基を行うためには専門医による指導やトレーニング施設

準とする座標系から世界座標系への座標変換を行うこなどの特別な環境が必要である. そこで本研究ではユとによりこの誤差の軽減に成功したが, この手法によーザの脚の関節の上下に装着した端末のカメラと傾きり室内での歩行運動を認識可能な範囲まで誤差を補正センサで取得した情報を用いてユーザの歩行運動を認することは困難である. そこで本研究では端末の位置識することで, 特別な環境を必要としない歩行トレーの推定には端末のカメラで撮影したカメラ画像のみをニング支援システムの開発を目指す.

使用し, 端末の姿勢の推定にはカメラ画像と傾きセンサの出力値を使用する.

２．関連研究カメラ画像からカメラの自己位置・姿勢を推定する

３．提案手法手法は数多く提案されている. 濱田ら[1]は, 環境カメ

本研究ではシステムが要求するハードウェア要件をラで撮影した画像から抽出した特徴点とモバイルカメ比較的容易に実現可能であるという理由から, ユーザ

ラにより撮影した画像から抽出される特徴点のマッチの歩行運動の認識を行うための端末に Android スマーングを行い, モバイルカメラの 3 次元位置・姿勢を推定トフォン(ASUS ZenFone2 ZE551ML)を使用する. このする手法を提案している. この手法では計測範囲を撮スマートフォンは最大 1,920×1,080(Full HD)の解像度影する環境カメラを用意する必要があり, モバイルカの動画を撮影することが可能で, 加速度センサや地磁メラの自己位置・姿勢推定は環境カメラにより撮影可

気センサ, ジャイロセンサを搭載している. このスマ能な範囲の空間内でのみ行われる. 本研究ではユーザートフォンにデータ計測用に作成した Android アプリの周囲の環境を記録する環境カメラを用いず, ユーザケーションをインストールし, ユーザの脚の各部位にに付随したカメラのみを用いることでより容易な歩行装着する. それぞれのスマートフォンのカメラと傾き

センサにより取得した情報からスマートフォンの 3 次元位置と姿勢を推定することでユーザの歩行運動を認識する.

3.1 スマートフォンの装着
ユーザの片脚に 4 台, 両脚で計 8 台のスマートフォンを装着する. それぞれのスマートフォンをユーザの身体に固定するために, 専用の装着ベルトを作成した.
この装着ベルトは Fig.2 に示すようにナイロン素材のベルトとスマートフォンを固定するフリップカバーでFig.3 本研究で使用する AR マーカの例

４．評価実験構成される. ベルト部に取り付けたアジャスタにより本研究の提案手法による歩行運動の認識精度を評価

ユーザの脚の直径や装着部位によってベルトの長さをするための実験を行った. 実験では本研究の提案手法調整可能である. スマートフォンと装着ベルトによりによる歩行運動の計測と, 光学式モーションキャプチ構成されるユニットを以下では「計測ユニット」と呼ぶ.

ャシステムによる歩行運動の計測を同時に行う. 被験

計測ユニットの装着例を Fig.2 に示す.

者の体にスマートフォンを装着し, それぞれのスマー
トフォンでカメラと傾きセンサによる計測を行う. そして両手法の計測結果を比較し, 提案手法の歩行運動認識の精度評価を行う.

4.1 実験方法
実験会場の概略図を Fig.4 に示す. 被験者は 10m×14m の長方形の部屋の中央を歩行する. 被験者の左右には 40cm 四方の AR マーカを配置する. この AR マー
カを被験者の脚の各部位に装着した計測ユニットのカメラにより撮影する. また光学式モーションキャプチ
Fig.2 計測ユニットと装着例

ャシステムの仕様上, 計測を始める前にあらかじめ動きを記録する範囲をキャリブレーション空間として設3.2 歩行運動の認識定する必要があり, 歩行の計測は被験者がキャリブレーション空間を通過する間のみ行われる. 部屋の四隅本研究ではユーザの脚の各部位に取り付けたスマーに光学式モーションキャプチャシステム用のカメラとトフォンでユーザの周囲に配置された AR マーカを撮ライトを合計 4 セット配置する. このカメラは部屋の影することで, スマートフォンの 3 次元位置・姿勢を推中央のキャリブレーション空間が画像内に収まるよう定する. AR マーカの認識やマーカの識別, 座標変換行に向きを調整する. キャリブレーション空間の設定を列の計算などの処理には ARToolKit を用いる. 端末のカ行った後に, 本研究の計測ユニットを被験者の身体のメラにより AR マーカを撮影することでカメラ座標系各部位に装着し計測を開始する.

における AR マーカの位置・姿勢を表す座標変換行列が導出される. この行列の逆行列を求めることにより,AR マーカ座標系における端末のカメラの 3 次元位置・姿勢を推定する. 本研究で使用する AR マーカは[Fig.3]に示すようなマーカ画像である. このマーカ画像は正方形の白黒画像で, 外側のマーカ検出用の黒枠部分と内側のマーカ識別用の 4×4 の解像度の画像で構成される. また, 本研究では Android スマートフォンの傾きセンサによって端末姿勢の認識を行う. カメラ画像による端末の姿勢の計測値と傾きセンサによる端末の姿勢の計測値の平均値を端末の姿勢の計測値とする.
Fig.4 実験会場の概略図

4.2 実験結果と考察

ステムにおける歩行運動の認識の処理を行うために,本手法による歩行の認識誤差の出力結果の一部をセンサ端末のカメラと傾きセンサを用いて脚の各部位Table.1 に示す. 実験で計測したすべての部位で大きなの 3 次元位置・姿勢を推定した. 提案手法による脚の各誤差が生じた. 大きな誤差が見られた区間では AR マー

部位の位置・姿勢推定の精度を検証するために, モーシカの認識が失敗してしまっていることが多く, これはョンキャプチャシステムによる脚の各部位の位置・姿撮影されたカメラ画像のモーションブラーや手や腕な勢の計測結果との比較を行う実験を行った結果, 推定どによるオクルージョンに起因するものであると考え位置・姿勢に大きな誤差が生じた. 提案手法による歩行られる. これらの誤差は画像処理によるブラー除去や運動の高精度な認識を実現するため, 端末の 3 次元位

オクルージョン発生区間の位置・姿勢の計測値をその置・姿勢推定システムの改善が必要不可欠である. また前後の計測値により推定した値で補完することで軽減

今後はマーカレス AR システムを用いた歩行運動認識可能であると考えられる. また計測された誤差はマー

シ ス テ ム の 実 装 を 目 指 す . Klein ら [3] に よ るカに対するカメラの位置が正面に近いほど, またカメ

PTAM(Parallel Tracking and Mapping)はカメラ画像内のラからマーカまでの距離が大きいほどカメラの位置・特徴点のトラッキングと環境地図の更新を別スレッド

姿勢推定精度が低下するマーカ式 AR システムの性質で行うことにより, 高速な自己位置推定が可能であるにも起因するものであると考えられる. 実験では本研ため, 本研究における端末の自己位置推定手法として究の提案手法の歩行の認識精度の検証を行うために光適用することができると考えられる. そこで本研究に学式モーションキャプチャシステムによる計測を同時おけるユーザの歩行運動の認識手法としての利用を見に行ったが, 光学式モーションキャプチャシステムで据え, PTAM を Android OS にて実装した. PTAM の導入

使用するカメラはキャリブレーション空間の全体がカにより, ユーザの周囲に計測用の環境を用意することメラ画像内に収まるように設置する必要があるため,なく歩行運動の計測を行うことが可能になると考えら設定するキャリブレーション空間の広さに従って計測れる. 今後, PTAM を用いた端末の自己位置推定システに必要な部屋の面積も大きくなる. また, 被験者の左ムの実装や計測精度の検証を行い, マーカを必要とし右に設置する AR マーカは, モーションキャプチャシスない歩行運動認識システムの実現を目指す.

テムのカメラで撮影されるキャリブレーション空間に干渉しないように設置する必要があるため, キャリブレーション空間からある程度離れた位置に設置する必要がある. このために脚の各部位の認識に大きな誤差謝辞が生じたと考えられる. これらの誤差は被験者に対し

本研究は, 文部科学省私立大学戦略的研究基盤形成支てより近い場所に AR マーカを配置することで誤差を援事業（平成 26 年～平成 30 年）（事業番号：S1411038）減少させることが可能であると考えられる. またマーにより支援を受けて行われた. ここに付記し、謝意を表カを使用しない状況でカメラの自己位置を計測する手する.

法を用いることで, AR マーカの性質から生じるカメラの位置・姿勢認識の誤差を解消することが可能であり,参考文献

特別な計測環境を用意せずに歩行の認識を行うことが[1] 濱田修平, 北原格, 亀田能成, 大田友一. “環境カメできると考えられる.

ラ画像情報を用いたモバイルカメラの位置・姿勢推定”,

Table.1 認識誤差の出力結果(一部抜粋)

情報処理学会第 70 回全国大会, “2-315”-“2-316”,
2008.
[2] 太田麗二郎, 廣津登志夫. “高機能携帯端末の加速度センサを利用した移動推定手法”, 情報処理学会第74 回全国大会, “1-193”–“1-194”, 2012.
[3] Georg Klein, David Murray. “Parallel tracking andmapping for small AR workspaces.”, In Proc. Sixth
IEEE and ACM International Symposium on Mixed

各座標値は[mm], 回転角は[deg]で表す

andAugmented

November 2007.

５．まとめと今後の展望
本研究ではユーザの歩行トレーニングを支援するシReality(ISMAR’07),pp.

1–10,