日本ロボット学会誌 Vol. xx No. xx, pp.1〜4, 202x1

レター

障害物のオプティカルフロー画像を用いた
移動ロボットの回避動作計画
菅 田玲 央∗1 久保田 有 羽∗1 渡 邊 友太 田 悠 介∗2 星 野 智 史∗1樹∗2Motion Planning for Mobile Robot Obstacle AvoidanceUsing Optical Flow Images
Reo Sugata∗1 , Yu Kubota∗1 , Tomoki Watanabe∗2 , Yusuke Ota∗2 and Satoshi Hoshino∗1For autonomous navigation, mobile robots are required to avoid collisions with dynamic obstacles such as pedestrians. In a previous works, we have proposed a motion planner based on CNN with RGB and depth image inputs.
In order for a robot to plan avoidance motions taking the moving direction of an obstacle into account, we propose
a motion planner using optical ﬂow images as the inputs. Through autonomous navigation, we show that the robot
based on the motion planner is able to avoid not only dynamic obstacles, but also static obstacles.
Key Words: Mobile Robot, Motion Planning, Obstacle Avoidance, CNN, Imitation Learning, Optical Flow

1. 序

障害物のオプティカルフローに着目する．そして，オプティカ論

ルフロー画像を入力に用いた動作計画器を提案する．実験では，ロボットの自律移動に向けては，障害物回避のための動作計画が重要な技術の一つとなる．本研究では，センサ入力に対すロボットが，異なる方向へ動く動的障害物に加え，静的障害物も回避しながら目的地に向け自律移動できることを示す．

る出力として，速度と角速度を決定することを動作計画と定義

2. 動作計画器の模倣学習する．そして，歩行者のような動的障害物を対象とする．

本動作計画器は，深層ニューラルネットワークに基づき構成

著者らは従来研究にて，CNN（Convolutional Neural Network）[1] に LSTM（Long Short-Term Memory）[2] を適用しされる．そして，センサ入力とそれに対する所望の動作教示にた動作計画器を提案した．ロボットにはカメラが搭載され，画より，動作計画器の方策学習が行われる．Fig. 1 に，動作教示

像入力に対する動作出力を決定することで，動かない静的な障の概要を示す．

害物に比べ，動的な障害物に対してより相対的な距離をあけて回避することに成功した [3]．ただし，歩行者の速度に応じて異なる回避距離で動作を計画することはできていない．

a＊i = (vt,ωt)

動的障害物は，あらゆる速度で動く．そのため，ロボットが障害物との相対的な位置関係のみから回避動作を計画すると，

GPedestrian

障害物の速度によっては回避が間に合わず衝突してしまう危険
Operatorがある．そこで本研究では，ロボットが，障害物の位置に加え，速度までをも考慮して回避動作を計画することを目的とする．

RobotφG

Trajectory

Fig. 1 Motion instruction for imitation learning

先行研究として星野らは，深度の差分画像から障害物の速度
操縦者はロボットに対し，自律移動に向けた所望の動作 a∗i とを分類することに成功している [4]．ただし，ロボットとすれ違うような動きをする障害物のみが対象とされていた．また，斜して，速度 v と角速度 ω を送信する．この際，入力となるカメ

めや横方向に動く障害物は，画像中における深度値が変化しな

ラ画像と目的地方向 ϕG ，ならびに教示された動作出力を記録す

いため，速度の分類も困難となる．

る．目的地方向 ϕG は，目的地とロボットの自己位置から算出

動的障害物に対しては，速度における方向も重要な情報となる．そこで本研究では，カメラで取得した RGB 画像における原稿受付
宇都宮大学∗2
三菱電機株式会社∗1
Utsunomiya University∗2
Mitsubishi Electric Corp.
■ 本論文は有用性（システム設計・構築分野）で評価されました．

される．その後の模倣学習では，記録した式 (1) のデータセッ
トを用いて，入出力関係の対応づけが行われる．

D = {⟨oi , a∗i ⟩}Ni=1∗1

日本ロボット学会誌 xx 巻 xx 号

（1）

oi は教示時にロボットが記録した画像と目的地方向，a∗i は oiに対して，操縦者によって教示された所望の動作を表している．

N は，記録した教示データの総数である．

—1—202x 年 xx 月

菅 田

2

玲央

久保田有羽渡邊友樹太田悠介星野智史

操縦者の方策 π ∗ が最適であるものとし，入力 oi に対する最像 I OF と呼ぶ．オプティカルフロー画像では，左から右へ動く適な動作出力 a∗i が教示される．同様に，動作計画を行うロボッ

障害物は赤，右から左へ動く障害物は青で表される．そのため，トの方策は，式 (2) のようにして oi を入力に，動作 ai を出力

障害物の移動方向の異なりを色で表現することができる．

するための π として表現することができる．

3. 2 障害物のオプティカルフロー切り抜き画像
3. 1 節にて，カメラが備え付けてあれば，画像中で動く障害（2）ai = π(oi ; θ)

物のみからオプティカルフローが推定される．一方カメラを搭

θ は，深層ニューラルネットワークにおけるフィルタや結合重みのことである．模倣学習では，このパラメータ θ を式 (3) の載したロボットが移動すると，背景からもオプティカルフロー評価関数に基づき最適化する．に，物体検出器を介して障害物のみのオプティカルフローを切minimize∑θℓ(π(oi ; θ), π ∗ (oi ))が推定されてしまう．そこで本研究では，Fig. 3 に示すようり抜く．物体検出器には，YOLOv2 [6] を用いる．

（3）iℓ は，パラメータ θ による損失関数である．
以上，式 (1)〜式 (3) の最適化計算が繰り返される．その結果，ロボットの動作方策 π が操縦者の方策 π ∗ に近似されることとなる．学習後，式 (2) における方策 π がロボットの動作計(a) RGB image

画器として用いられる．

(b) I OF(c) I OFC

Fig. 3 Optical ﬂow images captured by moving robot

3. オプティカルフロー画像
Fig. 3(a) では，画像中で検出された人物にバウンディング
3. 1 オプティカルフローの可視化
本研究では，Farnebäck 法 [5] を用いて画像中全画素のオプボックスが表示されている．この時，カメラを搭載したロボッティカルフローを推定する．さらに，推定されたオプティカル全体からもオプティカルフローが推定されてしまっている．そトも移動している．そのため Fig. 3(b) では，人物に加え，背景フローを画像として可視化するため，HSV 色空間に変換する．

こで，Fig. 3(a) と Fig. 3(b) より，バウンディングボックスで画素 x について，推定されたオプティカルフローの水平と垂オプティカルフロー画像を切り抜いたものが Fig. 3(c) となる．

直成分を ux ，vx とすると，向き θx と大きさ dx は{θx =arctan 2(vx , ux )(vx ≥ 0)arctan 2(vx , ux ) + 2π

(vx < 0)dx =√Fig. 3(b) に比べ，Fig. 3(c) では，ロボットが移動しているにもかかわらず，回避対象の障害物のみのオプティカルフロー（4）が推定されている．そこで，Fig. 3(c) のオプティカルフロー切り抜き画像 I OFC を，動作計画器への入力として用いる．

3. 3 3 視点画像のパノラマ化（5）

u2x + vx2

本研究では，ロボットの視野を広げるために，3 台のカメラとなる．そして，ベクトル (θx , dx ) は，以下の式によって，画素 x における色相 Hx と 明度 Vx へと変換される．

ティカルフロー切り抜き画像 I OFC を示す．ここでは例として，左のカメラ画像のみに障害物として歩行者が写っている．

θx
Hx =× 3602π（6）dx× 100dmax（7）Vx =を使用する．Fig. 4 に，左右中央の 3 視点から得られたオプ

dmax は画像中のオプティカルフローの最大値である．
Fig. 2 に，RGB 画像中の各画素に対して推定されたオプ
ティカルフローを HSV 色空間に変換した例を示す．なお，彩度 S は 100 [%] とした．
t-1(a) Left(b) Front(c) Right

Fig. 4 Three optical ﬂow images I OFC

Fig. 4(b) や Fig. 4(c) のように，オプティカルフロー切り抜
き画像 I OFC では，障害物が検出されないと画像全体が黒くなtる．そのため，式 (1) におけるデータセット D に多くの黒画像が含まれ，動作計画器の学習時に障害物の特徴抽出が困難となる．そこで，3 視点のオプティカルフロー切り抜き画像を横に連(a) RGB images at two time steps

結し，1 枚のオプティカルフロー切り抜きパノラマ画像 I OFCP(b) I OFを生成する．

Fig. 2 Optical ﬂow image indicating moving direction

4. オプティカルフロー切り抜きパノラマ画像を入力に用

Fig. 2(a) は，左奥から右手前に向けて斜めに直進する歩行者に対して，2 時刻間で撮影された RGB 画像を示している．Fig.
2(b) では，これら 2 枚の画像から推定されたオプティカルフローが，HSV 色空間によって可視化されている．
本研究では以降，Fig. 2(b) のことをオプティカルフロー画

JRSJ Vol. xx No. xx

いた動作計画器
著者らの従来研究 [3] に基づき，本動作計画器は CNN に LSTMを適用した構造を有する．ただし，従来研究では，入力に中間知覚画像や深度画像を用いていたのに対し，本研究では，ロボッ
トが動的障害物の速度を考慮した回避動作を計画するため，3—2—

xx, 202x

障害物のオプティカルフロー画像を用いた移動ロボットの回避動作計画

3

章で述べたオプティカルフロー切り抜きパノラマ画像を入力にタ，および全結合層の結合重みが更新される．また，損失関数用いる．Fig. 5 に，提案する動作計画器の構造を示す．に平均二乗誤差，重みの更新に Adam [8] を用いる．その結果，

201

4000

FC500

(32|2×2|2)(32|3×3|2)

1002

IOFCP

11232(32|5×5|1):Convolution:Pooling100(32|5×5|1)

500

1000

400 回の学習のうち，160 回目の学習で最小値 0.0099 が得られた．そこで，このときの方策 π168 を動作計画器として用いる．

5. ロボットの自律移動実験

vtωtφG

LSTM

vt-₁, ωt-₁
Fig. 5 Proposed motion planner using optical ﬂow image input

入力には，オプティカルフロー切り抜きパノラマ画像 I OFCPを用いる．この入力画像に対して，それぞれ畳み込みとプーリング処理が行われる．各フィルタは，（チャンネル数 | サイズ |ストライド）で表されている．そして，抽出した画像中の障害物

5. 1 実験条件
本実験では，4 章で提案した動作計画器 π1 に加え，比較のため，その他 2 つの動作計画器 π2 と π3 をロボットに適用する．
π2 では，Fig. 4 の 3 視点画像が入力される．そのため Fig. 5では，3 枚の画像それぞれに対する畳み込みとプーリング処理が行われる構造となる．また，π3 では，Fig. 3(b) のオプティカルフロー画像がパノラマ化され入力に用いられる．

π1 オプティカルフロー切り抜きあり / パノラマ画像を入力
π2 オプティカルフロー切り抜きあり / 3 視点画像を入力
π3 オプティカルフロー切り抜きなし / パノラマ画像を入力
π1 〜π3 全ての動作計画器は，4 章のデータセットを用いて模に関する特徴量が一次元化され，全結合層へと入力される．その際，全結合層の 3 層目で 1 ステップ前の速度 v t−1 と角速度

ω t−1 が入力され，5 層目で目的地方向 ϕG が入力される．そして，最終層からロボットの速度 v t と角速度 ω t が出力される．
活性化関数には ReLU を用いる．
Fig. 5 の動作計画器は，2 章で述べた教示と模倣学習によって構築される．そこで Fig. 6 に，教示環境を示す．

倣学習により構築された．そこでまず，本実験では教示時と同様の Fig. 6 に示す環境で，障害物 A と B に対する回避性能を比較する．さらに，最も回避に成功した動作計画器をロボットに適用し，Fig. 7 の障害物に対する回避実験を行う．

GCEDGAFBRobotS
Fig. 7 Dynamic and static obstacles in occupancy grid map

S
ロボットは，スタート S から 15 [m] 先のゴール G まで自律(a) Environment and robot for (b) Dynamic obstacles, A andmotion instruction
B, in occupancy gridmap

移動する．ただし，Fig. 6(b) とは異なる C〜F のいずれかのFig. 6 Settings for motion instruction and imitation learning

位置に障害物が存在する．そして，これら障害物 C〜E は，矢印の方向へ約 1.0 [m/s] で歩行する． また，障害物 F は，S から 5.0 [m] の位置に立っている．そのため，障害物 E と F のオ

Fig. 6(a) の屋内環境にて，ロボットに障害物回避を含む自律移動のための所望の動作を教示する．Fig. 6(b) は，SLAM にプティカルフローを推定することは困難となる．各障害物に対より構築された教示環境の占有格子地図である．ロボットは，スして，ロボットは 5 回ずつ自律移動を試行する．

タート S から 15 [m] 先のゴール G に向けて移動する．その際，5. 2 実験結果

A か B いずれかの位置から障害物が矢印の方向へ約 1.0 [m/s]各動作計画器の障害物回避性能を比較するために，ロボットがで歩行する．歩行速度はロボットの移動速度より速いため，障障害物回避ならびに目的地までの自律移動に成功した回数に着害物 A に対して右から，障害物 B に対して左から回避してい目する．Table 1 に，障害物 A と B に対する成功回数を示す．ては衝突してしまう危険がある．また，減速・停止していてはTable 1 Comparison of navigation results (5 trials)

移動効率に影響を及ぼす．そこで，各障害物を背後から回避するよう，障害物 A に対しては左から，障害物 B に対しては右Motion Planner

π1π2π3から回避し，その後ゴール G へ向けて移動するよう教示する．

Obstacle A
Obstacle B

552000

ロボットは，最高速度 0.5 [m/s]，角速度 −0.8〜0.8 [rad/s]で移動する．そして，上部に搭載された 3 台の RGB-D カメラにより，水平方向約 210 [deg]，垂直方向 42.5 [deg] の視野角で RGB 画像を取得する．また，搭載した 2D LiDAR により，AMCL [7] に基づく自己位置推定を行う．

π1 に基づくロボットは，全ての自律移動に成功した．なお，教示動作同様，ロボットは障害物 A に対しては左から，障害物B に対しては右から回避する結果となった．したがって，提案以上の教示によって得られるデータセット D は，オプティカするオプティカルフロー切り抜きパノラマ画像を入力に用いる

ルフロー切り抜きパノラマ画像 I OFCP ，目的地方向 ϕG ，1 ス

本動作計画器の有効性が示された．そこで Fig. 8 に，動作計テップ前の速度 v t−1 と角速度 ω t−1 から構成される．本教示に画器 π1 と π3 の最終層における特徴マップを示す．

より取得したデータセット数は，障害物 A に対して 1367，障害Fig. 8(a) の画像中には，中央右寄りに障害物 B として歩行物 B に対して 1244 となった．学習では，畳み込み層のフィル者が写っている．Fig. 8(a) から生成した Fig. 8(b) の入力画

日本ロボット学会誌 xx 巻 xx 号

—3—202x 年 xx 月

菅 田

4t-1玲央久保田有羽渡邊

友樹太田悠介星野智史t(a) RGB images at two time steps(a) Obstacle E(b) Obstacle F

Fig. 10 Panoramic optical ﬂow images for passing and standing
obstacles E and F(b) Input I OFCP(c) Feature map of π1

Fig. 10(a) と Fig. 10(b) より，障害物のオプティカルフローが見て取れる．これは，移動しているロボットにとって，障害物の見え方が相対的に変化したためである．また，オプティカ
ルフローは赤系であることから，ロボットは，障害物が左から(d) Input I OFP(e) Feature map of π3

右へ動いているものとみなし，左から回避する結果となった．

Fig. 8 Comparison of feature maps of π1 and π3以上のことから，オプティカルフロー画像を提案する動作計像に対して，Fig. 8(c) では，障害物のみの特徴量を抽出できていることが分かる．一方，8(d) の入力画像に対して，Fig. 8(e)では，背景からも特徴量が抽出されてしまっていることが分かる．以上のことから，ロボットは，オプティカルフロー切り抜
き画像を入力に用いることで，障害物のみを考慮した動作を計画器に用いることにより，ロボットは，障害物の速度を考慮した動作を計画できることが示された．また，回避動作を教示されていない障害物に加え，オプティカルフローの推定が困難な静的・動的障害物に対しても，ロボットは，衝突回避ならびに目的地に向けた自律移動に成功することができた．

6. 結

画できたものと考えられる．
次に，データセット D に含まれる全画像に対して，黒の画像の枚数比に焦点をあてる．π1 に用いられたオプティカルフロー
切り抜きパノラマ画像では，3 視点のいずれにも障害物が写っていない場合にのみ全画素が黒くなることから 28.4 [%] であった．一方，π2 の 3 視点画像では，左の画像で 79.4 [%]，中央の画像で 76.9 [%]，右の画像で 91.9 [%] となった．これにより，π2 に比べ π1 では，学習において動作出力を決定するのに重要となる障害物の特徴が抽出された．以上のことから，ロボットは，π2 で失敗した障害物回避が，π1 では成功する結果となった．
そこで，教示環境において最も回避に成功した π1 をロボットに適用し，Fig. 7 に示す障害物 C〜F に対する回避実験を行った．その結果，ロボットは全試行において障害物回避を含む自律移動に成功した．Fig. 9 に，ロボットの移動軌跡を示す．

本研究では，移動ロボットによる動的障害物の位置および速度を考慮した回避動作計画を目的とした．そして，障害物に関するオプティカルフロー画像を入力に用いた動作計画器を提案した．その結果ロボットは，障害物の移動方向に応じた回避動作を計画できることが示された．そして，回避動作を教示されていない障害物に加え，オプティカルフローの推定が困難な静的・動的障害物に対しても，ロボットは，衝突回避ならびに目的地に向けた自律移動に成功した．以上の結果から，オプティカルフロー切り抜きパノラマ画像を入力に用いた動作計画器の有効性が示された．ただし，本研究ではオプティカルフローを推定する際，輝度変化による影響は考慮していない．そのため，今後は FlowNet [9] 等を導入し，輝度変化に頑健となるような学習を通じて，オプティカルフローを推定する．

参G

GGGSSSS(a) C(b) D(c) E(d) F

言Fig. 9 Navigation trajectories including obstacle avoidanceFig. 9(a) と Fig. 9(b) より，教示時とは異なる位置から歩いて来る障害物 C と D に対しても，障害物 A と B と同じように背後から回避することに成功した．したがって，障害物の速度における方向を考慮した動作を計画することができた．さらに，Fig. 9(c) と Fig. 9(d) より，オプティカルフローの推定が困難な障害物 E と F に対しても，それぞれ左に 4 回，右に1 回ずつ回避することに成功した．そこで Fig. 10 に，障害物E と F に対して，ロボットが回避直前に取得したオプティカル考文献[ 1 ] Y. Lecun, et al.：“Gradient-Based Learning Applied toDocument Recognition,” Proceedings of the IEEE, Vol.86, No. 11,pp. 2278–2324, 1998.
[ 2 ] S. Hochreiter and J. Schmidhuber：“Long Short-Term Memory,” Neural Computation, Vol. 9, No. 8, pp. 1735–1780, 1997.
[ 3 ] 星野智史, 吉田遊友：“中間知覚と LSTM によるロボットの動的障害
物回避動作計画”, 日本ロボット学会誌, Vol. 40, No.2, pp. 162–165,2022.
[ 4 ] S. Hoshino and Y. Kubota：“Mobile Robot Motion Planning
through Obstacle State Classiﬁer,” Annual Conference of theSICE, pp. 120–126, 2023.
[ 5 ] G. Farnebäck：“Two-frame Motion Estimation based on Polynomial Expansion,” Scandinavian conference on Image analysis,Vol. 2749, pp. 363–370, 2003.
[ 6 ] J. Redmon et al.：“You Only Look Once: Uniﬁed, Real-Time
Object Detection,” Proceedings of the IEEE Computer Vision
and Pattern Recognition, pp. 779–788, 2016.
[ 7 ] D. Fox et al.：“Monte Carlo Localization: Eﬃcient Position Estimation for Mobile Robots,” Innovative Applications of Artiﬁcial Intelligence Conference, pp. 343–349, 1999.
[ 8 ] D. Kingma and J. Ba：“Adam: A Method for Stochastic Optimization,” Proceedings of the 3rd International Conference
on Learning Representations, pp. 12–17, 2014.
[ 9 ] A. Dosovitskiy et al.：“FlowNet: Learning Optical Flow with
Convolutional Networks,” IEEE International Conference on
Computer Vision, pp. 2758–2766, 2015.

フロー切り抜きパノラマ画像を示す．

JRSJ Vol. xx No. xx—4—xx, 202x