フローヒストグラムを用いた RNN による自己移動量推定に関する研究

TP17001
1. はじめに
自動運転のためのナビゲーションでは，自己位置の獲得が重要な機能の 1 つである．一般にはジャイロセンサが用いられるが，走行中および停止中のセンサ誤差によって自己位置がずれることがある．そこで，センサの利用とともに画像による自己移動量推定の利用が期待されている．しかし，画像から直接自己移動量を推定する場合，対向車等のノイズにより誤差が生じる．そこで本研究では，オプティカルフローからヒストグラムを作成し，対向車等のノイズにロバストにする．さらに，速度情報を利用することで精度向上を図る．

2.C-RNN による特徴抽出
動画像から自己運動識別を行う関連研究として，Convolutional Recurrent Neural Network(C-RNN) を用いた手法 [1] がある．C-RNN は Recurrent Neural Network(RNN)に Convolutional Neural Network の特徴抽出を組み合わせたネットワークである．C-RNN による自己運動識別のネットワーク構成を図 1 に示す．この手法では，連続する 2フレームの画像からオプティカルフローを算出し，畳み込み処理による特徴抽出を行い，RNN により前進，後退，右左折の運動を識別している．しかし，オプティカルフローの可視化画像を用いる場合，対向車等によりオプティカルフローにノイズが発生し，推定精度が低下する問題がある．

阿知破千浩

指導教授：山下隆義

向と大きさを用いて算出する．ヒストグラムの要素数は 1度刻みの 360 である．

3.2 推定する自己移動量
推定する自己移動量は Yaw，Pitch，移動距離の 3 種類である．オイラー角の Yaw，Pitch は，物体の姿勢表現に使われる角度であり，物体の中心を原点とした x，y ，z 軸を中心に回転する角度が Roll，Pitch，Yaw 角である．移動距離は，センサが取得した値をもとに推定するため，評価画像を取得した車が 70msec 内に移動した距離である．

3.3 RNN の学習および推定算出したフローヒストグラムを RNN の入力とし，学習および推定を行う．RNN は Gated Recurrent Unit(GRU)1層，全結合 1 層の計 2 層のネットワーク構成である．GRUは，LSTM の忘却ゲートなど複数のゲートを更新ゲートに縮合した構造をしている．入力はフローヒストグラムの 1次元ベクトル，出力は Yaw，Pitch，移動距離の推定値である．GRU のユニット数は 1,024 である．

3.4 速度の追加
速度パラメータをネットワークに用いることで停止時等の車の状態を学習できると考える．そこで，車体の速度情報を GRU 前または GRU 後に追加入力する．

4. 評価実験…

提案手法の有効性を調査するため，評価実験により推定精度の比較を行う．

…

4.1 データセット
RNNConvolution

図 1: C-RNN を用いた自己運動識別3. 提案手法
本研究では，フローヒストグラムを用いた RNN による自己移動量推定手法を提案する．オプティカルフローを格子状に分割し，分割領域ごとに移動方向と移動量のフローヒストグラムを作成する．作成したヒストグラムを RNNに与えることで，急な動き等のノイズに頑健な自己移動量の推定ができる．図 2 に提案手法の流れを示す．

3.1 フローヒストグラムの作成

4.2 従来手法との比較
フローヒストグラムを作成する際，画像の縦と横の分割数を 7，ヒストグラムの要素は 1，5，10 度刻みとする．従来手法として，畳み込み 6 層，LSTM2 層，全結合 1 層の計 8 層の C-RNN を用いる．入力は 210×140 のオプティカルフロー画像，出力は Yaw，Pitch，移動距離の推定値である．
C-RNN と提案手法の推定誤差の比較を表 1 に示す．既知環境における推定誤差を Yaw で 0.0081[deg.]，移動距離で 0.0198[m] 削減できた．また，未知環境における推定誤差を Yaw で 0.4084[deg.]，Pitch で 0.0041[deg.] 削減でき…

はじめに，連続する 2 フレームの画像からオプティカルフローを算出する．算出方法として DCNN をベースとした FlowNet2.0[2] を用いる．そして，画像を格子状に分割し，分割したブロック毎にフローヒストグラムを算出して連結する．フローヒストグラムは，ピクセル毎の勾配の方車載カメラによる一般道の走行動画を使用する．このデータセットは，同じ一般道を 2 周走行した動画像から構成される．このデータを用いて，既知環境における評価および未知環境における評価を行う．既知環境では，1 周目の 14,370 フレームを学習データとし，2 周目を評価データとする．未知環境では，1 周目および 2 周目の前半 12,000フレームを学習データとし，1 周目の後半 8,383 フレームを評価データとする．

…

分割領域を拡大

図 2: 提案手法の流れ

Angle[degree]

2

C-RNN

true

Proposed1

表 2: 速度の追加における推定誤差の比較
環境

追加場所

0GRU 前
GRU 後
GRU 前
GRU 後

既知−1−201000

2000

3000

4000
5000
Frame

6000

7000

8000

未知(a) Yaw の推定結果

Yaw [deg.]
0.04850.05900.04650.10550.12790.0984

2
true

C-RNN

true
default

ProposedAngle[degree]

Angle[degree]

1.0
0.5
0.0

移動距離 [m]Pitch [deg.]
0.01390.01850.01640.01840.01870.023010.0992
0.0902
0.09880.14370.13740.1491
GRU_Before
GRU_After

0−1−0.501000

2000

3000

4000
5000
Frame

6000

7000

−208000

1000

true

C-RNN

ProposedAngle[degree]

Distance[m]

0.75
0.50
0.25
1000

2000

3000

4000
Frame

4000
5000
Frame

6000

5000

true
default

0.2

1.000.0003000

6000

7000

(a) Yaw の推定結果(b) Pitch の推定結果
1.25

2000

7000

8000

GRU_Before
GRU_After

0.1
0.0−0.101000

2000

3000

4000
Frame

5000

6000

7000

(b) Pitch の推定結果(c) 移動距離の推定結果

図 3: 未知環境の推定結果

1.25
Distance[m]

1.00
0.75
0.50
true
default
GRU_Before
GRU_After

0.25
0.00
01000

2000

3000

4000
Frame

5000

6000

7000

(c) 移動距離の推定結果

図 5: 未知環境における速度追加の推定結果の比較
図 4: 未知環境 800 フレームの評価結果
た．表 1 が示すように，未知環境では，刻み幅が細かいほど画像中の変動を表現できるため，Yaw と Pitch の推定精度が高くなる．一方，刻み幅が粗いほど移動量の大きさが表現できるため，移動距離の推定精度が高くなる．フローヒストグラムの刻み幅は，推定するパラメータによって変えた方が良い．

表 1: 自己移動量推定誤差の比較
環境既知未知刻み151020151020モデル
C-RNN
提案手法

C-RNN
提案手法

Yaw [deg.]
0.05900.0561
0.06910.05090.05760.4701
0.06170.0652
0.0637
0.0618

Pitch [deg.]
0.04500.0496
0.04630.05150.04950.04900.04490.05090.04680.0520

移動距離 [m]0.13530.12570.12230.11550.10570.14770.1646
0.15910.15580.1521

未知環境の推定結果の比較を図 3 に示す．Yaw の推定結果から提案手法は全ての出力に対して正解値に近い値を推定できた．図 4 に未知環境の 800 フレームあたりの結果を示す．画像右側の長方形は移動距離の値を表す．また，赤色は正解値，青色は推定値を表す．図 4 から，オプティカルフローにノイズが入るような対向車のシーンにおいても正しく推定できていることがわかる．

4.3 速度追加の検討
提案手法の GRU の前に全結合を追加し，速度の追加とその追加場所の検討を行う．速度の追加場所は，GRU 前と GRU 後の 2 箇所である．推定誤差の比較を表 2 に示す．
既知環境において GRU 後に速度を結合した場合，Yaw は0.0020[deg.]，GRU 前に速度を結合した場合，移動距離は0.0090[m] 削減できた．また，未知環境において GRU 後に速度を結合した場合，Yaw は 0.0071[deg.] 削減できた．
未知環境におけるを追加しない場合と GRU 前後の推定結果を図 5 に示す．図 5(a) から，どの推定結果もあまり大きな差がないことがわかる．一方，図 5(b) のように Pitch は，速度を追加しない場合が 5,000 フレームや 6,500 フレームあたりで正解値に近い値を推定した，しかし，速度の追加は大きな精度改善には至らなかった．

5. おわりに本研究では，フローヒストグラムを用いた自己移動量推定手法を提案した．フローヒストグラムを用いることで対向車などに対するノイズにロバストな自己移動量推定を実現した．特に，Yaw 角は正確な推定を行うことができた．
今後の課題として，移動距離の推定精度の更なる向上が挙げられる.

参考文献[1] 神谷龍司 等,“Convolutional-Recurrent Neural Network による自己運動識別”, SSII, 2016.
[2] E. Ilg, et al.,“FlowNet 2.0: Evolution of Optical Flow
Estimation with Deep Networks”, CVPR, 2017.

研究業績[1] Y. Achiha, et al.,“Word Recognition by Combining Outline Emphasis and Synthesize Background”, ICEC, 2017.
[2] 阿知破千浩 等,“フローヒストグラムを用いた Recurrent Neural Network による自己移動量推定”, ViEW, 2018.
(他 学会発表 2 件)