情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B402016/3/4

自動ラベリングと高速モーションフィッティングによるリアルタイム歩行計測システムの構築
佐野 将人1

村井 昭彦2

杉浦 裕太2

遠藤 維2

竹村 裕1

多田 充徳2

概要：本研究では，モーションキャプチャにより計測したデータをストリーミングし，自動ラベリングと高速モーションフィッティングによりリアルタイムに被験者の運動を計測・解析するシステムを開発した．
本システムは処理時間 75.8 ms，フレームレート 17.9 FPS でのリアルタイムヴィジュアルフィードバックを可能にした．これにより，リアルタイムな運動の計測・解析に基づくインタラクティブな運動への介入，変容を可能とする．

Real-time Gait Analysis Systemwith Auto Labeling and High-speed Motion Fitting
Sano Masato1

Murai Akihiko2 Sugiura Yuta2
Tada Mitsunori2

Endo Yui2

Takemura Hiroshi1

Abstract: In this paper, we developed a real-time motion measurement and analysis system with a commercial motion capture system, auto labeling, and high-speed motion fitting. This system relized a real-timevisual feedback by 75.8 ms processing time and 17.9 FPS frame rate. This system enables an interactive
interposition and transformation of motion based on this realtime motion measurement and analysis.

1. はじめにる運動データをオンラインにストリーミングし，解析用PC にてオンラインでラベリング，モーションフィッティ

光学式モーションキャプチャやフォースプレートによるングを行い，視覚情報としてフィードバックするシステム

運動計測やその運動・動力学的解析はスポーツトレーニンを構築する．本稿の構成は以下のとおりである．2 章におグやリハビリテーションで取り入れられ始めている．多くいてリアルタイム歩行解析システムを説明し，3 章に実験，の場合，ポストプロセスに時間が必要となり，被験者の運解析結果，考察，4 章にまとめを述べる．

動を計測した後，オフラインにてラベリング，運動学，動力学計算を行い，事後に運動へのフィードバックや改善が行

2. リアルタイム歩行解析システム

われる．ポストプロセスをオンライン化し，リアルタイムオンラインでの簡易歩行計測・モーションフィッティンに運動計測・解析結果を提示することによりバイオフィーグを実現するシステム (図 1) を構築する．本システムは，ドバックが可能になる．これはスポーツにおけるスキルの運動計測，自動ラベリング，及び高速モーションフィッ獲得の高速化・効率化やリハビリテーションにおけるインティングから構成される．

タラクティブな運動の修正に展開できる．

【運動計測】歩行運動を簡易に計測するために，直方体のフ本研究では光学式モーションキャプチャにより計測され1

2

東京理科大学Tokyo University of Science
国立研究開発法人 産業技術総合研究所
The National Institute of Advanced Indsutrial Science andTechnology© 2016 Information Processing Society of Japan

レーム上 6 箇所にモーションキャプチャカメラ (Natural-Point Inc., Flex13, 1280×1024 pixel, 120 fps) を配置し，中央に置かれるトレッドミル上の被験者の歩行の運動を計測する．6 台のカメラではオンボードで画像処理，マーカ抽出が行われ，カメラ座標系における 2 次元マーカ位置情報930

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B402016/3/4

図 1 Outline of real-time locomotion analysis system

図 2Real-time locomotion visualizationが出力される．トラッキングソフトウェア（Natural Point

マンとして姿勢推定の結果が提示されている．自動ラベリ

Inc, Motive:Tracker) は 6 台のカメラより 2 次元マーカ位ングの結果，97.6 %の精度のラベリングを実現した．また置情報を受け取り，キャリブレーション情報に基づいて 3

高速モーションフィッティング及び可視化により 17.9 FPS次元再構築を行った後，3 次元マーカ位置情報を出力する．

での可視化を実現した．また処理時間は，運動計測から可【自動ラベリング】リアルタイムでストリーミングされた視化までを含めて 75.8 ms であった．なお，使用した PC

マーカ 3 次元位置情報は，解析 PC において運動解析ソフのスペックは，OS：Microsoft Windows 7 CPU:Intel(R)ト (産業技術総合研究所，DhaibaWorks [2]) 上にラベルのCore(TM) i7-3770 CPU @ 3.40GHz である．

ない特徴点位置情報として入力される．自動ラベリングの本システムは，15 点のマーカに対し 97.6 %の精度での自手法については，Yu らはヒトにおける剛体内のマーカ間動ラベリング及び平均 17.9 FPS の高速モーションフィッの距離が不変であることを利用して，全フレームで比較をティング，可視化を行い，滑らかな提示を実現した．この行い変位ベクトルを算出することにより実現した [3]．ま処理時間は，ヒトの反射運動の反応時間である数 10 ms 程

た Herda らはスライディングウィンドウ方式を用いて 4 フ度と比較しても十分短く，例えば 24 ms 以下での介入ではレーム分の各マーカの変位について情報を取得することでヒトの脳幹を介した反射運動より早い運動変容が実現できマーカの自動トラッキングを実現した [4]．本研究では，リる．今後の改善点として，処理アルゴリズムの C++でのアルタイムのための各フレーム単独の高速ラベリングを目実装や DhaibaWorks の描画時間の短縮による処理総計時的とし，初期の直立姿勢時に得たデータにより空間を分割間の短期化が挙げられる．

し，ストリーミングされる各フレームにおける特徴点の位

4. おわりに置からマーカ名前を推定しラベリングを行う．この空間分割は，日本人の人体寸法データベース 2004-2006 [5] におインタラクティブな運動への介入・変容を実現するためける身長，転子高，膝関節高，外果突高に基づいている．に，計測・解析をリアルタイムで行うシステムを構築した．

【高速モーションフィッティング】最後に DhaibaWorks 上

自動ラベリング及び高速モーションフィッティングを実装

にてモーションフィッティングを行う．ここではデジタル

し，平均 17.9 FPS での視覚的フィードバックを実現した．

ヒューマン上に配置された特徴点が計測・ラベリングされた特徴点位置に近づくよう最適化計算を行うことで，姿勢参考文献を推定する．準ニュートン法を利用した L-BFGS 法により[1]ヘッセ行列の算出が不要とし，解析的に最適化計算を解くことで高速化を実現する．これにより推定された姿勢をデ[2]ジタルヒューマンとしてディスプレイ上に可視化し，視覚情報として被験者にフィードバックする．

3. リアルタイム歩行計測実験及び結果考察
被験者に 15 箇所 (仙骨 (SACR)，腸棘点 (L/RASI)，大転子[3][4](L/RHIP)，外膝関節点 (L/RKNE)，第 1 中足骨 (L/RMT1)，
第 5 中足骨 (L/RMT5)，踵点 (L/RHEE)) を装着し，トレッドミル上での歩行時の下肢の運動を計測する．被験者は下[5]肢のマーカーがより鮮明に映るよう両手を挙げ，トレッド
ミル上で 3.0 km/h の歩行を実施した．
図 2 に実際にシステムを使用した様子を示す．歩行中の[6]渡邊 淳司，安藤 英由樹，朝原 佳昭，杉本 麻樹，前田 太
郎 : ”靴型インタフェースによる歩行ナビゲーションシス
テムの研究”, 情報処理学会論文誌 (2005).
Y.Endo, M.Tada, M.Mochimaru : ”Dhaiba: Developmentof Virtual Ergonomic Assessment System with HumanModels”, In Proceedings of The 3rd International Digital Human Symposium (1993).
Q.Yu, Q.Li, and Z.Deng : ”Online Motion Capture Maker
Labeling for Multiple Interacting Articulated Targets”,
EUROGRAPHICS(2007).
L.Herda, P.Fua, R.Plänkers, R.Boulic, D.Thalmann :”Using skeleton-based tracking to increase the reliability of optical motion capture”, Human Movement Science(2001).
一般社団法人 人間生活工学研究センタ : ”日本人の人体寸法データベース 2004-2006”, (2007).
J.Meyer, M.Kuderer J.Müller, W.Burgard : ”Online
Marker Labeling for Fully Automatic Skeleton Tracking
in Optical Motion Capture”, ICRA (2013).

被験者の運動が計測され，右ディスプレイにデジタルヒュー© 2016 Information Processing Society of Japan931