HAI シンポジウム 2022
Human-Agent Interaction Symposium 2022

G-7

俯瞰視点による歩行者流情報に基づく
全方向移動ロボットナビゲーション
Omni-directional Mobile Robot Navigation Based on
Pedestrian Flow Information Extracted from Overhead Viewpoint
重本竜声 1∗ 笹竹晴萌 2 上野祐樹 3 田崎良佑 1
Ryusei Shigemoto1 , Harumo Sasatake2 , Yuki Ueno3 , Ryosuke Tasaki1
青山学院大学
Aoyama Gakuin University
2
豊橋技術科学大学
2
Toyohashi University of Technology
3
東京工科大学3
Tokyo University of Technology
11

Abstract: In this study, a method for autonomous driving to a destination without disturbing
the ﬂow of pedestrians in a crowded environment is proposed. This method uses visual information to measure the ﬂow of pedestrians, and autonomously switches between following, avoiding,and merging with the pedestrian ﬂow for navigation. Several experiments have been conducted
on an actual mobile robot, and we conﬁrm the eﬀectiveness of our proposed navigation method
considering the human ﬂow while minimizing the impact on pedestrians.

1

はじめに昨今，少子高齢化による労働力の減少・高齢化から，Amazon Scout（Amazon 社）のような宅配ロボットなど自律移動ロボットの重要が高まっている．移動ロボットの走行にはナビゲーションが必要であるが，特定人物追従の研究に比べて [1]，人が行き交う中でのナビゲーションの研究は活発に議論されていない．さらに都心の駅や空港などの混雑環境下でのナビゲーションは大きく迂回する，止まるなどの問題がある [2]．このような環境では歩行者集団毎に歩行者流を形成しているため，目的地方向に向かう歩行者流を利用することにより人混みでも自律走行が可能になると考えられる．歩行者流を利用するナビゲーション手法として，Lennar-Jones
ポテンシャル（LJ ポテンシャル）と Wrapped NormalDistribution（WND）を組み合わせたポテンシャル法がある [3]．このポテンシャル法により歩行者流を追従・回避し，目的地まで自律走行する．しかしながら，従来手法は一定距離を保ちながら各動作を行うため歩行者流に合流できず，周辺歩行者に影響を与え，目的地に到達できない可能性もある．本研究では，歩行者流∗ 連絡先： 青山学院大学〒 252-5258 神奈川県相模原市中央区淵野辺 5-10-1
E-mail: a5618043@aoyama.jp

情報に基づいた追従・回避・合流動作を全方向移動ロボットに行わせることにより，混雑環境下でも人流に影響を与えず目的地まで自律走行することを目的とする．そのために RGB カメラを用いて俯瞰視点で歩行者集団を捉え画像処理を施し，リアルタイムで歩行者流を計測し歩行者流情報を抽出することを目指す．

2

歩行者流計測システム

2.1

歩行者流及び歩行者流情報の定義

特定の方向に進む歩行者集団毎に形成される代表的な流れを，歩行者流と呼ぶ．また歩行者流を形成する
歩行者集団の最小単位の中心位置，速度情報（速さと進行方向），領域情報を歩行者流情報と定義する．本
研究では，追従時には歩行者流内でイレギュラーな動きをする歩行者に対応するため，最小単位を歩行者とする．合流時には歩行者の密集部分への合流を防ぐため，最小単位を歩行者間距離が 1m 以下の歩行者の塊である歩行者群とする．

2.2

歩行者流情報の抽出

歩行者流を計測するため，検出物体の追跡を行う Tracking by Detection というアプローチを利用する．本研
究では，歩行者の頭部の色である黒色を抽出して歩行者・歩行者群を検出し，KCF（Kernelized CorrelationFilter）法を利用してフレーム間で追跡を行い [3]，歩行者流情報をリアルタイムで抽出する．ここで歩行者流計測は，オクルージョンによる検出漏れを防ぐため俯瞰視点で行う．

2.3

検出アルゴリズム

初めに歩行者を検出する手法を述べる．図 1 にアルゴリズムの各処理で生成された画像をまとめたものを示す．まず元画像 (図 1(a)) の RGB 色空間を HSV 色空間に変換し，閾値処理で黒色部分を二値化する (図1(b))．ただし二値化画像にはノイズが存在するため，ガウシアンフィルタで元画像を平滑化しノイズを除去する (図 1(c))．ノイズ除去を行った二値化画像にラベリング処理を施し，画像内に存在する歩行者の数や赤丸の中心位置，緑色の矩形情報，面積を取得する．取得した情報から近似的に歩行者領域を円で検出する (図1(d))．また設定した最小面積と最大面積の範囲に収まらない面積をもつ検出物体を除外することで，歩行者以外の誤検出を防ぐ．
次に歩行者群を検出する手法を述べる．図 2 にアルゴリズムの各処理で生成された画像をまとめたものを示す．まず元画像に図 1(a)-(c) と同様な画像処理を行う (図 2(a)-(c))．二値化画像から白い領域がそれぞれ離れた状態にあることがわかるため，膨張処理を行う．
この処理により白い領域が増加し，離れた状態にある白い領域をそれぞれ結合させる (図 2(d))．ただし白い領域が大きすぎるため収縮処理を行い，結合を保ったまま白い領域を小さくする (図 2(e))．膨張・収縮処理を行った二値化画像にラベリング処理を施し，画像内に存在する歩行者群の数や赤丸の中心位置，緑色の矩形情報，面積を取得する．取得した情報から近似的に歩行者群領域を楕円で検出する (図 2(f))．

2.4

追跡アルゴリズム

KCF 法を利用して検出物体を追跡する手法を述べる．
KCF 法は検出画像をシフトさせることで仮想的に学習画像を増加させ随時学習し，カーネルリッジ回帰により検出物体の追跡を行う手法である．カーネルリッジ
回帰とはカーネル法とリッジ回帰を組み合わせた機械学習のことで，過学習を抑えた表現力の高いモデルを作成し，画像全体から物体位置を予測して追跡することが可能である．この追跡処理により追跡物体の数フレーム毎の進行方向，速さが求められる．よって以上の手法から図 3 に示すように，歩行者流情報である歩行者・歩行者群の赤丸の中心位置座標，青矢印の速度情報，緑色で囲まれた領域情報を抽出することが可能になる．

3ナビゲーションシステム

3.1

歩行者流追従・回避アルゴリズム

LJ ポテンシャルと WND を組み合わせたポテンシャ
ル関数を利用し，歩行者流追従・回避を行う．式 (1) にそのポテンシャル関数，式 (4) に WND を示す．LJ ポ
テンシャルは希ガス原子間に働くポテンシャルエネル
ギ，WND は −π から π の正規分布を表している．
)p[ (σLJ + s(1 − α)
U (r) = εLJ βr − (rro + rarea )()q ]σLJ + s(1 − α)−αr − (rro + rarea )α=f (θ)
f (0)

(1)

(2)

β = (1 − w)α + w]∞ [∑−(θ + 2πi)21√f (θ) =2σW N 2σW N 2π i=−∞

(3)
(4)

ただし U (r) はロボットと歩行者・歩行者群の距離がr [m] の時のポテンシャル，εLJ ，p，q は LJ ポテンシャ
ル，LJ ポテンシャル斥力項，引力項の大きさを調節するパラメータ，rro [m] はロボットの半径，rarea [m] は歩行者・歩行者群の中心位置座標から円周までの距離，(a) 歩行者画像．

(b) 二値化画像．

(c) 平滑化画像．

(d) 円検出画像．

図 1: 画像処理を行った歩行者俯瞰画像．

(a) 歩行者群画像．

(b) 二値化画像．

図 4: 歩行者群後方に形成される合流可能空間．

(c) 平滑化画像．

(d) 膨張処理画像．

(e) 収縮処理画像．

(f ) 楕円検出画像．

図 2: 画像処理を行った歩行者群俯瞰画像．

図 3: 歩行者流情報の描画画像．

s，w，α，β は重み付けを行うパラメータ，σLJ はロボッ
トと歩行者・歩行者群の接近可能距離を調節するパラメータ，f (θ) は WND，θ はロボットの目的地方向と歩行者流進行方向の角度差，σW N は WND の重み付けのなだらかさを調節するパラメータである．各パラメー
タは次の値となる: εLJ = 8，p = 2，q = 1，rro = 0.3m，s = 0，w = 7.0 × 10−3 ，σLJ = 0.6，σW N = 1/5．
LJ ポテンシャルを用いることでロボットと歩行者・歩行者群の距離を一定に保ちながら追従を行う．さらに目的地方向と進行方向の角度差から WND を用いて重み付けを行うことで，ポテンシャルの大きさを変化させる．ポテンシャルの変化から追従対象が目的地方向に進めば追従動作に切り替え，異なる方向へ進めば回避動作に切り替える．LJ ポテンシャルと WND を組み合わせたポテンシャル法を利用して滑らかな歩行者流追従・回避動作を実現する．

3.2

歩行者流合流アルゴリズム

混雑環境下において，周辺歩行者に大きな影響を与えず短時間で目的地に到達するには歩行者流に合流する必要がある．そのため合流可能な空間を見つける必要がある．歩行者流を観察すると図 4 に示すように，歩行者群の後方に空間があることを発見した．この空間に引力ポテンシャル，歩行者群に LJ ポテンシャルを生成する．これにより徐々に合流するような，自然な合流が可能になる．
よって従来手法の歩行者流追従・回避アルゴリズムと歩行者流合流アルゴリズムの統合を行い，新たなナビゲーションシステムを提案する．提案手法により歩行者流情報に基づいた追従・回避・合流動作をロボットに行わせ，人流を乱さず目的地まで自律走行を行うことができる．

4ナビゲーション実験

4.1

実験装置及びシステム構成

図 5 に実験装置を示す．実験装置は全方向移動ロボット，俯瞰視点で設置された RGB カメラ，制御 PC，画像処理 PC，AR マーカー，歩行者・歩行者群によって形成される歩行者流，目的地から構成される．全方向移動ロボットを使用することで，予測不能な動きをする歩行者に対して容易に追従・回避・合流動作を行わせることができると考えられる．
RGB カメラから取得した画像データを画像処理 PCで処理し，歩行者流の計測を行う．さらに画像処理 PC
から制御 PC に TCP/IP を用いたソケット通信で計測情報を送信する．そして制御 PC から計測情報に基づいた速度指令を同様の通信方法でロボットに送信することによりロボットの制御を行う．

4.2

実験内容

俯瞰視点の RGB カメラを用いて歩行者流とロボットに張り付けた AR マーカーを捉え，歩行者流情報とロボット位置，姿勢情報を計測する．計測情報から歩行者流内の合流可能空間に合流動作を行う．合流後は歩行者流に追従しながら走行し，目的地がロボットのセンシング範囲内に入れば歩行者流から脱出してゴールに向かう．

(a) ナビゲーション開始．

図 5: 実験装置．

4.3

実機実験結果図 6 に示すような実機実験環境で検証を行う．提案手法による実機実験結果を図 7 に示す．歩行者流は目的地方向と同方向に 0.4 m/s で移動し，ロボットの最大速度は 0.6 m/s とする．
図 7 に示すように，左が俯瞰視点における歩行者流情報とロボット位置・姿勢情報を描画したもの，右が側面から見るロボットの各動作である．結果から歩行者流に合流し，追従を継続しながら目的地近くまで走行を行い，歩行者流から脱出して目的地に進行しており，提案手法の有効性を確認できた．しかしながら合流後に追従を行う際に，歩行者群検出から歩行者検出に切り替えるため処理に遅れが生じる．また歩行者頭部位置では歩行者の正確な位置を取得できない．この結果は歩行者と衝突する原因になり得るためナビゲーションシステムの改善を行う必要がある．

(b) 歩行者流に合流．

(c) 歩行者流に追従．

(d) 歩行者流から脱出して目的地に到達．

図 7: 実機実験結果．

5

おわりに

本研究では先行研究で提案された歩行者流追従・回避と合流のアルゴリズムを統合し，実機での検証実験により歩行者流を利用しても人流を乱さず自律走行を行う提案ナビゲーション手法の有効性を示した．また歩行者検出を行い，検出対象を追跡することによりリアルタイムで歩行者流を計測するシステムを提案した．
今後は多くの人が行き交う混雑環境でのナビゲーション実験を行い，必要に応じて提案手法を改善していく．

参考文献[1] 田崎良佑, 北崎充晃, 三浦純, 福島俊彦, 寺嶋一彦:
病院内回診支援ロボットの設計と開発, 日本ロボット学会誌, Vol. 35, No. 3, pp. 249-257 (2017)[2] 熊原渉, 増山岳人, 田村雄介, 山下淳, 浅間一: 動的環境下における歩行者流を利用した移動ロボッ
トナビゲーション, 計測自動制御学会論文集, Vol.
50, No. 1, pp. 58-67 (2014)[3] Trautman, P., Ma, J., Murray, R. M. and Krause,A.: Robot navigation in dense human crowds:
the case for cooperation, 2013 IEEE International Conference on Robotics and Automation,
pp. 2153-2160 (2013)

図 6: 実機実験環境．

[4] Henriques, J. F., Caseiro, R., Martins, P. andBatista, J.: High-Speed Tracking with Kernelized Correlation Filters,in IEEE Transactions on
Pattern Analysis and Machine Intelligence, Vol.
37, No. 3, pp. 583-596 (2015)