情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-409-70
2017/3/2

Visual SLAM を用いた脚部装着カメラ端末の位置・姿勢推定による歩行運動認識システム
田井克典†1河野恭之†1

概要：本研究では Visual SLAM によりユーザの脚の各部位に装着したカメラ端末の自己位置・姿勢を推定することでユーザの歩行運動を認識する手法を提案する．ユーザの脚の各部位に装着された各々のカメラ端末でユーザの周囲を撮影し，撮影された画像から Visual SLAM によりそれぞれのカメラ端末の 3 次元位置・姿勢を推定する．脚の各部位に装着された端末の自己位置・姿勢推定値を用いてユーザの歩行運動を認識する．

Walking Motion Recognition System by Estimating Position and Poseof Leg Mounted Camera Devices Using Visual SLAMKATSUNORI TAI†1YASUYUKI KONO†1

Abstract: This paper presents the method for recognizing the walking motion of the user with estimating position and pose of leg
mounted camera devices by using Visual SLAM. The system records surrounding scenery of the user with each camera device
attached to each part of the user's leg, and estimates the 3D position and posture of each camera device by using Visual SLAM.
The walking motion of the user is recognized by the self-position / posture estimation value of the terminal attached to each partof the leg.

1. はじめに
本稿ではユーザの脚部に装着したカメラ端末の 3 次元位置・姿勢を推定することによりユーザの歩行運動を認識するシステムを提案する．近年，社会の高齢化に伴い高齢者の健康な生活をサポートする様々なリハビリテーション技術が注目されている．高齢者の介護が必要になる原因に転倒による骨折や関節疾患などが挙げられるが，これらは加図 1

齢による身体機能の悪化や歩行能力の低下によるものであFigure 1

システム全体の流れ
Flow of the entire system

ることが多い．高齢者にとって歩行能力の低下を防ぐための歩行トレーニングは，健康状態の維持や QOL（生活の質）の向上のために必要不可欠である．しかし適切な歩行トレ

2. 関連研究ーニングを行うためには専門医による指導やトレーニング

カメラ画像からカメラの自己位置・姿勢を推定する手法

施設などの特別な環境が必要である．そこで本研究では，は数多く提案されている．濱田ら[1]は，環境カメラで撮影特別な環境を必要としない歩行トレーニング支援システム

した画像から抽出した特徴点とモバイルカメラにより撮影の開発を目指す．システム全体の大まかな処理の流れを図した画像から抽出される特徴点のマッチングを行い，モバ

1 に示す．本研究ではユーザの歩行運動を認識するために，イルカメラの 3 次元位置・姿勢を推定する手法を提案してユーザの脚の各部位にカメラ端末を装着し，Visual SLAMいる．この手法では計測範囲を撮影する環境カメラを用意によりそれぞれのカメラで撮影されるカメラ画像からカメする必要があり，モバイルカメラの自己位置・姿勢推定はラ端末の自己位置・姿勢を推定する．なお，本稿ではユー

環境カメラにより撮影可能な範囲の空間内でのみ行われる．

ザの歩行運動の認識手法について主に述べる．

本研究ではユーザの周囲の環境を記録する環境カメラを用いず，ユーザに付随したカメラのみを用いることでより容易な歩行認識の実現を目的とする．また加速度センサの出力値を積分することで端末の変位を推定する手法があるが，†1 関西学院大学大学院 理工学研究科
Kwansei Gakuin University© 2017 Information Processing Society of Japan348

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

1-409-70
2017/3/2

計測する時間と共に推定位置の誤差が蓄積されるという問

フリップカバーで構成される．ベルト部に取り付けたアジ題がある．さらに，本研究の手法では脚の各部位に取り付

ャスタによりユーザの脚の直径や装着部位によってベルトけた端末の姿勢が脚の動きに合わせて変化するため，加速の長さを調整可能である．スマートフォンと装着ベルトに度センサの出力値により端末の変位を推定するためには，より構成されるユニットを以下では「計測ユニット」と呼端末を基準とする座標系から世界座標系への座標変換を行

ぶ．計測ユニットとその装着例を図 3 に示す．

ったうえで各座標軸の加速度センサの出力値を積分する必要があり，これにより更なる誤差の増大が懸念される．太田ら[2]は加速度センサの出力値に対してハイパスフィルタとローパスフィルタによるフィルタリング処理を施した
うえで端末を基準とする座標系から世界座標系への座標変換を行うことによりこの誤差の軽減に成功したが，この手法により室内での歩行運動を認識可能な範囲まで誤差を補正することは困難である．そこで本研究では端末の位置・姿勢の推定に Visual SLAM を用いることで，高精度でロバストな歩行運動認識を実現する．

3. 提案システム

図 3
Figure 3

計測ユニットとその装着例

Measuring unit and its installation example

3.2 歩行運動の認識手法

本研究ではシステムが要求するハードウェア要件を比較

本研究ではユーザの脚の各部位に取り付けたカメラ端末的容易に実現可能であるという理由から，ユーザの歩行運でユーザの周囲を撮影することで，端末の 3 次元位置・姿動の 認 識を 行 うた め の端 末 に Android スマ ー トフ ォン(ASUS ZenFone2 ZE551ML)を使用する．このスマートフォンは最大 1,920×1,080 (Full HD)の解像度の動画を撮影する勢を推定する．撮影されるカメラ画像によりカメラの自己位置・姿勢を推定するために Visual SLAM[3]を用いる．
SLAM(Simultaneous Localization And Mapping)とは環境地図ことが可能で，加速度センサや地磁気センサ，ジャイロセ作成と自己位置更新を同時に行うことで高精度な自己位置ンサを搭載している．脚の各部位に装着された各々のスマ推定を実現する技術の総称であり，その中でもカメラなどートフォンのカメラにより撮影されるカメラ画像からスマから得られる画像情報を用いるものを Visual SLAM と呼ぶ．

ートフォンの 3 次元位置と姿勢を推定することでユーザの歩行運動を認識する．提案するシステムの装着イメージを
図 2 に示す

Visual SLAM の例には Klein らによる PTAM[4]や Engel らによる LSD-SLAM[5]などが挙げられる．本研究ではカメラの 自 己 位 置 ・ 姿 勢 推 定 に ， Mur-Artal ら に よ る ORBSLAM[6](図 4)を利用する．ORB-SLAM は単眼カメラで動作する特徴点ベースの Visual SLAM であり，画像内の特徴点検出には ORB 特徴量検出を採用している．ORB-SLAM
により，ユーザの脚の各部位に装着したカメラ端末で撮影されるカメラ画像から各端末の自己位置・姿勢を推定する．
それぞれの端末の自己位置・姿勢推定結果をもとにユーザの脚の動きを推定し，歩行運動として復元する．

図 2Figure 2

システムの装着イメージ
Installation image of the system

3.1 スマートフォンの装着
ユーザの片脚に 4 台, 両脚で計 8 台のスマートフォンを

図 4

ORB-SLAM装着する．それぞれのスマートフォンをユーザの身体に固Figure 4

ORB-SLAM定するために，専用の装着ベルトを作成した．この装着ベ
ルトはナイロン素材のベルトとスマートフォンを固定する© 2017 Information Processing Society of Japan349

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

3.3 歩行運動認識システムの実装

1-409-70
2017/3/2

る．

本研究では，ORB-SLAM によりユーザの脚の各部位に装着した端末の位置と姿勢を推定する（図 5）．各カメラ端末は Android OS を搭載しており，ORB-SLAM は Android アプリケーションとして各端末にインストールする．ORBSLAM によりカメラ画像から推定される端末の位置・姿勢情報を Wi-Fi 経由で PC に送信し，PC 上で各端末の位置・参考文献
[1]

[2]

姿勢情報をもとにユーザの脚の動きを復元することでユー
ザの歩行運動を認識する．このとき，片側の 4 台のカメラ[3]端末において共通して撮影される特徴点群をランドマークに設定し，これを基準とした座標系における各端末の位置・姿勢を PC 上で算出することで脚の動きを復元する．なお，[4]

送信される端末の位置・姿勢にはタイムスタンプが付与され，PC 上で計測時刻の同期を行う．
[5]

[6]

図 5
Figure 5

濱田修平, 北原格, 亀田能成, 大田友一. “環境カメラ画像情報を用いたモバイルカメラの位置・姿勢推定”. 情報処理学会第 70 回全国大会, “2-315”-“2-316”, 2008.
太田麗二郎, 廣津登志夫. “高機能携帯端末の加速度センサを利用した移動推定手法”. 情報処理学会第 74 回全国大会,“1-193”–“1-194”, 2012.
Andrew J. Davison. “Real-Time Simultaneous Localization andMapping with a Single Camera”. Ninth IEEE International
Conference on Computer Vision (ICCV’03), pp. 1403-1410,October 13-16, 2003.
Georg Klein, David Murray. “Parallel tracking and mapping forsmall AR workspaces”. Sixth IEEE and ACM International
Symposium on Mixed and Augmented Reality (ISMAR’07), pp. 1–10, November 2007.
J. Engel, T. Schöps, D. Cremers. “LSD-SLAM: Large-Scale Direct
Monocular SLAM”. In European Conference on Computer Vision(ECCV), 2014.
Raúl Mur-Artal, J. M. M. Montiel, Juan D. Tardós. “ORB-SLAM:A Versatile and Accurate Monocular SLAM System”. IEEE
Transactions on Robotics, vol. 31, no. 5, pp. 1147-1163, October
2015.

計測システムの概略図
Schematic of measuring system

4. おわりに本研究ではユーザの歩行トレーニングを支援するシステ
ムにおける歩行運動の認識の処理を行うために，カメラ端末により撮影される画像を用いて脚の各部位の 3 次元位置・姿勢を推定する．各端末の自己位置・姿勢の推定結果をもとにユーザの脚の動きを推定し，歩行運動として復元する．今後は本研究で提案するシステムを用いてユーザの歩行運動を認識し，ユーザに歩行運動の指導を行うことでユーザの歩行トレーニングを支援するシステムの開発を目指す．
謝辞

本研究は，文部科学省私立大学戦略的研究基盤形成支援事業（平成 26 年～平成 30 年）（事業番号：S1411038）により支援を受けて行われた．ここに付記し，謝意を表す© 2017 Information Processing Society of Japan350