情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4P04
2022/2/21

歩容と歩行位置の変化に対応した機械学習による歩行速度推定を行う
トレッドミル型ロコモーションインタフェースの開発
久保村尚樹 1,a) Denielsen Paulus1,b) 大井翔 2,c)

安藤潤人 1,d) 野間春生 1,e)

概要：本研究では，VR 空間を自由に歩き回れるインタフェースとして，誰がどんな速度で歩行しても歩行者を一定位置に留める事ができるトレッドミル型のロコモーションインタフェースの開発を行う．今回我々は，歩行者の歩容を光学センサで取得し，歩行速度を推定する手法を採用した．先行研究では立脚時間から歩行速度の推定を行ったが，歩行者の歩容によっては正確な立脚時間が計測できなかった．そして新しい手法として，歩容データを時系列順に連結した学習用データを用い機械学習による学習モデルを構築することで約 99%の精度で速度識別が可能となった．本
稿では学習モデルの汎用性を高めるために，歩容と歩行位置の変化に対応した学習モデルの構築を行った．

1. はじめに立脚時間を計測し歩行速度推定を行うことで歩行者の歩行速度に合わせた制御が可能な ATLAS[2]を開発し，Jungwon

我々は，VR 空間を自由に歩き回れるインタフェスとしYoon らは，両足，腰に装着したモーショントラッカーの位て，ロコモーションインタフェース（以下「LI」と称する）

置をカメラで取得し，遊脚時の速度から歩行速度推定を行の開発をしてきた．この「LI」で運動できる環境を構築すう「LI」[3]を開発した．これらの研究をもとに我々は，先ることで，時間や悪天候，気温の変化を左右されず運動を行研究で光学センサから得られた歩行者の歩容から機械学行うことができる．近年, 世界的にコロナ禍の外出が躊躇習を用いた学習モデルを構築することで歩行速度推定を行われる状況に加えて, 感染予防対策により, 室内でのトレう手法を採用した[4]．この研究では，身体の位置計測を光ーニングジムなどでも接触の回避が求められている．また，

学測距センサii，両足の位置計測を LiDARiiiで取得しており，継続的な歩行運動によって，健康寿命の延伸ができること

これらを時系列順に連結させたデータを学習用データとし，が，青柳らによって報告されている[1]．そこで，我々は，CNN[5](Convolutional Neural Network)識別モデルの入力値

前述の LI に加えて, HMD 等を使用するだけで歩行者に VRとすることで歩行速度推定を行った．そして，学習用デーを別空間に錯覚させ，歩行感覚を提示することができれば，タの作成に使用する時系列データの数を変化させたときの室内にいながらにして，屋外にいるような歩行体験を提供

学習結果の差について調査した．その結果，10 フレーム(約することが可能となると考えた．これはゲームへの応用だ

0.3 秒間)のデータを連結させる事で約 99%の認識精度が得

けでなく, 友人とのコミュニケーションの場としてなど応られた．また，4 フレームと 10 フレームでの学習結果の混用することができると考える．

同行列を比較した結果，フレーム数を増加させることで認識精度が向上するだけでなく，誤認識されたとしても正解2. 関連研究と課題
本研究は，誰がどんな速度で歩行しても歩行者を一定位置に留める事ができるトレッドミル型の「LI」の開発を目的としている．そして，光学センサから取得した値によって歩行者の歩行速度を推定し，人の歩行による移動量をトレッドミルのベルトの制御によって打ち消すことで歩行者を一定位置に留める手法を採用する．これまでに，歩行者の歩行速度推定を行うことで開発された「LI」の研究はいくつかある．野間らは，カメラから取得した足の位置から

1i立命館大学
2大阪工業大学a) nkubomura@mxdlab.netb) dpaulus@mxdlab.netc) SHO.OOI@outlook.jpd) anmitsu@fc.ritsumei.ac.jpe) hanoma@fc.ritsumei.ac.jp© 2022 Information Processing Society of Japanのカテゴリの隣接カテゴリとなった．さらに，試作機は PI制御を速度推定の補助として利用しており，PI 制御には光学測距センサから取得した身体の位置と歩行者を留める目標の位置の誤差から制御量を計算している．これらのことから，誤認識が正解のカテゴリの隣接カテゴリであった場合，仮に速度推定の結果が誤っていたとしても対応が可能になると考えた． しかし，この仮説に用いた歩行速度推定の歩行データには，内股歩きや外股歩きなどの歩容は含まれておらず，かつ歩行者に歩行する位置を指定した状態など限定的な計測を行っていた．そのため本稿では，歩容とii TFmini(Benewake 製品)
iii UTM-30LX-EW(北洋電機株式会社製品)

613

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4P04
2022/2/21

歩行者の位置の変化が学習モデルの速度推定に与える影響

ル前後方向の身体の距離を 1cm 単位の精度，サンプリングについて検討し，歩容と歩行者の位置の変化に対応した学

レート約 80Hz で取得した．そして図 2 には LiDAR を用い習モデルの構築を行う．て取得した両足の位置データを示す．横軸をセンサから歩3. トレッドミルと計測環境

行者の方向を 0 度とした角度(°)で表示し，縦軸を距離CNN 識別モデルの入力値とする学習用データの形成方法を図 3 に示す．図 3 の左上に示したように，LiDAR から取得した両足の位置データ 252 次元と光学測距センサから取得した身体の位置データ１次元を特徴量として結合させることで，合計 253 次元の歩容データを形成する．そして，
図３の右上に示すように，253 次元の歩容データを時系列順に縦に連結させることで学習用のデータとした．そして，(mm)として表示している．そして，LiDAR は図 2 に示すよ
うに歩行者の両足の位置が計測できる範囲である 63 度取得している．この LiDAR は１角度に対して４点の距離を取得でき，両足の歩行データを 252 次元の距離データとしてサンプリングレート約 30Hz で取得した．

5. 歩容の変化に対応した歩行速度推定

1 名の 計 測 に つ き 歩 行 者の 歩 行 速 度の カ テ ゴ リ と し て

5.1 実験概要（1,2,3,4,5,6km/h）の 6 種類の学習用データを取得した．こ

本章では，人が無意識に行っている通常の歩行データにの学習用データを CNN 識別モデルの入力値とすることで意図的に歩容を変化させた歩行データを加えた際の推定結歩行速度推定を行う．構築した CNN 識別モデルを図 4 に果に与える影響について調査する．そのため，通常の歩行示す．学習用データを 3x3 の畳み込み処理，2x2 のプーリデータだけで学習を行った結果と歩容を変化させたデータング処理，256 個の隠れ層による全結合処理を行った．

を加え学習を行った結果を示す．通常の歩行データには普段行っている歩行を計測するため，被験者 5 名に歩容の指4. CNN による歩行速度推定

示をしなかった歩行データを使用する．そして，被験者 5名中の１名に内股歩きと外股歩きをそれぞれ指示した歩行

図 1 には実験環境と 2 種類の光学センサを示す．試作機

データを使用する．そのため，被験者数は通常の歩行 5 名，

では光学センサをトレッドミル v前方に取り付けることで内股歩き１名，外股歩き１名で収集条件は速度 6 カテゴリ，トレッドミル上の歩行者の歩容を計測している．トレッド

1 カテゴリごとに 4200 のデータ数を取得し，合計 176400

ミル，身体の位置計測は光学測距センサ，両足の位置計測のデータ数を取得している．この学習データを（訓練デーは LiDAR を採用している．光学測距センサはトレッドミタ・検証データ・テストデータ）に分割し，図 4 に示した識別モデルを用いて，学習モデルの構築と検証を行った．

図１：実験環境とセンサ
図 3：学習用データの形成方法

図２：光学測域センサで取得した距離データ

図 4：構築した識別モデル

v LABORDO NEXT （セノー株式会社製品）© 2022 Information Processing Society of Japan614

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5.2 結果と考察構築した学習モデルを使用し，それぞれのテストデータから精度と混同行列を取得した．精度は通常の歩行データと二種類の歩容を含む歩行データで共に約 99％の値が得られた．そして，通常の歩行データでの混同行列を図 5 に示し，二種類の歩容を含むデータでの混同行列を図 6 に示す．これらの混同行列は，1 を 100%の値として速度カテゴリごとの正解ラベルに対する推定結果を示している．図 5，
図 6 から，どちらも速度が速い場合に約 2～3％の誤認識が発生したが，それらは正解カテゴリの隣接したカテゴリと誤認識されたと考えられた．
推定結果の認識精度が約 99％の値であり，２つの精度と混同行列の差異がほとんど見られなかったことから，内股歩きや外股歩きは一般的な歩行と同様に歩行データを収集することで歩行速度推定が可能になると推察した．そして，
本試作機では歩行速度推定の補助として PI 制御を採用しているため，隣接したカテゴリに誤認識された場合においても歩行者の位置を一定位置に留めることは可能であると考えた．

4P04
2022/2/216. 位置による結果の変化
6.1 実験概要
歩容の取得には LiDAR と光学測距センサを用いており，トレッドミル上の歩行者の位置によって同じ歩行速度でも得られるデータパターンは変化する．そこで，全ての位置での歩行データを収集し，学習モデルの汎用性を向上ができると仮説を立てた．しかし，この仮説に用いる歩行デー
タは，これまでの研究で使用したトレッドミル上の中央位置での歩行データを用いた．本手法は，その他の位置も含めた歩行データを用いて学習モデルを構築した場合，これまで正常に認識可能であったデータが誤認識される可能性がある．そこで，中央の学習モデルを用いて同じ中央の歩行データの判別を行った結果を基準として他の結果と比較することで，全ての位置に対応した学習モデルの構築が実現可能であるか判断する．
6.2 データ計測と学習モデル構築
本稿ではトレッドミルを安全に歩行できる範囲は，光学センサの設置位置と後方での歩行行為の危険性から，光学測距センサ設置位置を 0 として，トレッドミル後方方向に約 60 ㎝と想定している．その歩行範囲 60 ㎝を歩行者の進
行方向の前方から 20 ㎝毎に（前方・中央・後方）として 3位置に分割し，歩行者の身体の位置を範囲内に留めた状態で計測を行った．そして，これらのデータを用いた学習モデルの構築方法について図７に示し，ここでは前方の学習モデルを例としている．被験者は１名，速度 6 カテゴリごとに 7400 の学習データを 3 位置それぞれで収集した．そ

前⽅の歩⾏データ

図 5：混同行列 （通常歩行）×７ ４ ０ ０ 枚 ×6速度

前⽅の歩⾏のモ デル

全て の中央の歩⾏データ

中央の歩⾏のモ デル

全て の後⽅の歩⾏データ

後⽅の歩⾏のモ デル

全体の歩⾏のモ デル

図 7：学習モデル構築について

図 6：混同行列 （内股歩き・外股歩きを含む）
図 8：学習モデルを用いた評価方法© 2022 Information Processing Society of Japan615

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4P04
2022/2/21

して，学習モデルの種類には（前方・中央・後方）３種類ータを入力した際の結果以外は差がみられないことと，そそれぞれの 7400 の学習データから構築した学習モデルとれぞれの位置の歩行に対応した学習モデルを用いた場合よ

３種類全ての累計 22200 の学習データから構築した学習モりも，全ての位置のデータを使用した学習モデルの方がデルの合計４種類の学習モデルを使用する．

RMSE の値が小さいことが読み取れる．

テストデータから学習モデルを評価する方法について

これらのことから，学習モデルに使用した歩行データが不

図 8 に示した．本実験では，図 8 に示したように特定の位足していると考えた．そのため追加実験として，4 つの学置の歩行データにつき，位置に対応した学習モデルと全て習モデルを速度 6 カテゴリごとの中央付近で前後しているの歩行データを統一して構築した学習モデル 2 種類を使用

同じ歩行データ 8400 枚を加えたデータに再構築し，入力して，平均二乗偏差（RMSE）によって検証を行う．そして，データは前回の実験と同一のものを使用した．その追加実テストデータは，3 位置それぞれでトレッドミルのベルト

験の結果を図 10 に示す．図 9，図 10 を比較した結果，後を停止状態から徐々に上昇させて歩行データの計測を行っ方位置で全ての学習データを使用した学習モデル以外は，た．ベルト速度は 1 秒で約 0.1km/h 上昇し速度が 8km/h ま

歩行データを追加した図 10 はより RMSE が小さい値であで上昇した後停止するように設定した．そして，正解の速った．

度は 0.5~1.4km/h までを 1km/h とするように速度 6 カテゴ

中央のモデルを使用して中央のテストデータの判別を行リ(1,2,3,4,5,6km/h)に近似する値に補間を行った値を記録すった結果，全ての歩行データを統一して構築した学習モデる．

ル を 使用 し て 中 央 のテ ス ト デ ー タの 判 別 を 行 った 方 が6.3 結果と考察

RMSE の値が小さい値となった．また，図 9 と図 10 を比較

特定の位置の歩行データにつき，位置に対応した学習モした結果，歩行データを追加することでほとんどの条件でデルと全ての歩行データを統一して構築した学習モデル 2

RMSE の値が小さくなり，全ての歩行データを統一して構種類を使用して出力した RMSE の結果を図 9 に示す．横軸

築した学習モデルを使用して後方のテストデータの判別をはテストデータの計測位置，縦軸は３位置のテストデータ行った場合のみ RMSE の値が上昇した．これらのことから，に対して使用した学習モデルでの RMSE を示している．図

全ての位置の歩行データを統一して学習モデルを構築する

9 から，RMSE の値は後方の学習モデルに後方のテストデことで，本稿の目標のひとつである全ての位置で歩行速度推定が可能な「LI」の実現ができると考えた．

7. おわりに
我々は，誰がどんな速度で歩行しても歩行者を一定位置に留めることができるトレッドミル型「LI」の開発を目標としている．そして，先行研究では複数人の歩行データを使用することで複数の歩容に対応した学習モデルの構築が可能であり，より多くの被験者の歩行データを収集することで汎用性の高い学習モデルが構築できると考えた．そこで我々は，歩容と歩行位置の変化に対応した「LI」の開発について検討した．
図 9：位置に対する平均二乗偏差

まず，内股歩きと外股歩きの歩行データに対応した学習モデルの構築ついて検討した．被験者５名の通常歩行のデータによる学習結果とその通常歩行のデータに二種類の歩行データを加えた際の学習結果を精度と混同行列で比較した．そして，2 種類の精度と混同行列にほとんど差異がなかったことから，内股歩き外股歩きの歩行は通常の歩行と同様に歩行データを収集することで歩行速度推定を行うことができると考えた．
次に，歩行位置の変化に対応した学習モデルの構築について検討した．それぞれの位置に対応した学習モデルと全ての歩行データを統一して構築した学習モデル，合計 4 つの学習モデルを構築し，RMSE で評価した．そして，中央

図 10：位置に対する平均二乗偏差（データ追加）© 2022 Information Processing Society of Japanのテストデータの比較において中央のモデルを使用した場

616

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4P04
2022/2/21

合よりも全ての歩行データを統一して構築した学習モデルを使用した方が RMSE の値が小さかったことと，速度 6 カ
テゴリで中央位置付近を前後移動しながら計測した歩行データを加えた結果，ほとんどの RMSE が低下したことから，歩行位置の変化に対応した学習モデルの構築が可能であると推察した．また，歩行データを加えた結果，ほとんどのRMSE が低下したが，一部では RMSE が増加したことから，歩行データを無作為に増やすことは予期しない推定速度が出力されてしまう危険性があると考えた．
本稿では，歩容と歩行位置の変化に対応した学習モデルを構築することは可能であると考えた．つまり将来的に，歩行者や歩行位置を選ばない状態で歩行速度推定が可能となり，その歩行速度推定を PI 制御によるフィードバック制
御と組み合わせることで，目標としているどんな速度で歩行しても歩行者を一定位置に留めることができるトレッド
ミル型「LI」の一部を実装できると考えた．

参考文献
[1]

[2]

[3]

[4]

[5]

「1 日 8000 歩／そのうち 20 分の速歩き」で、病気知らずの人生を――住民 5000 人、20 年の追跡調査が証明する健康長
寿の黄金律 | THINK Blog Japan
https://www.ibm.com/blogs/think/jp-ja/mugendai-10191interview-walking/
野間 春生、 宮里 勉、 中津 良平、 能動的歩行動作に対応した歩行感覚提示装置の開発(<特集>三次元サイバースペー
ス実現と利用)、 日本バーチャルリアリティ学会論文誌、1999、 4 巻、 2 号、 p. 407-415
Yoon J, Park HS, Damiano DL. A novel walking speed estimation
scheme and its application to treadmill control for gait
rehabilitation. J Neuroeng Rehabil. 2012 Aug 28;9:62. doi:
10.1186/1743-0003-9-62. PMID: 22929169; PMCID:
PMC3546912.
久保村 尚樹, Denielsen Paulus,安藤 潤人, 大井 翔, 野間 春
生, 機械学習を用いたロコモーションインタフェースの歩行
速度推定手法の開発 第 26 回日本バーチャルリアリティ学会
大会論文集（2021 年 9 月）
Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton. 2012.
ImageNet classification with deep convolutional neural networks.
In Proceedings of the 25th International Conference on Neural
Information Processing Systems - Volume 1 (NIPS'12). Curran
Associates Inc., Red Hook, NY, USA, 1097–1105.

© 2022 Information Processing Society of Japan617