OS16: 確率ロボティクスとデータ工学ロボティクス～認識・行動学習・記号創発～

深層学習を用いたロボットナビゲーション
2022/09/06

東京工業大学 金崎朝子

1

ロボットナビゲーション

A. Kanezaki, J. Nitta, and Y. Sasaki. GOSELO: Goal-Directed Obstacle and Self-Location Map for Robot Navigation
using Reactive Neural Networks. IEEE Robotics and Automation Letters (RA-L), Vol.3, Issue 2, pp.696-703, 2018.

2

経路計画① ～古典的な手法～⚫ A*探索 [Hart+, 1968]◼ ダイクストラ法の拡張◼ ヒューリスティック関数ℎ(𝑛)を導入◼ 最短経路の出力が保証されている
左：ダイクストラ法、 右：A*探索[出典: Wikipedia]◼ グラフ上の各ノード𝑛のコスト𝑓(𝑛)の定義：

𝑓 𝑛 = 𝑔 𝑛 + ℎ(𝑛)Startから𝑛までの実コスト↑↑𝑛からGoalまでの推定コスト例) 直線距離※ℎ(𝑛) = 0でダイクストラ法に一致
3

経路計画② ～古典的な手法～⚫ Probabilistic Roadmaps (PRM) [Kavraki+, 1996]◼ サンプリングベース◼ (1) 空間からランダムに点を（たくさん）サンプリングし◼ (2) 点間の衝突判定によりエッジ構築◼ (3) Roadmap（グラフ）完成◼ (4) A*探索等のグラフ探索アルゴリズムを適用する[出典: Wikipedia]

4

経路計画③ ～古典的な手法～⚫ Rapidly-exploring Random Tree (RRT) [LaValle, 1998][LaValle&Kuffner, 2001]◼ サンプリングベース◼ (1) 空間からランダムに点を（一点だけ）サンプリングし◼ (2) その点から最も近いノードを選択◼ (3) (2)の点から(1)の点の方向にある距離進んだ点を新ノード追加◼ (4) startからgoalまでが繋がった時点でTree完成◼ (5) 親ノードを辿っていくことでPathを抽出※startとgoalを交互に選択して枝を伸ばしていく方法もある（Bi-Directional RRT, Bi-RRT）[LaValle, 1998]

5

現実世界の不確実さへの対処⚫ 現実は思い通りにはならない◼ センサノイズ◼ 移動物体◼ 自己位置推定の失敗◼ 制御ノイズ、位置ずれ◼ etc.

⚫ 強化学習でロバスト性の確保◼ 学習サンプル効率が悪い

D. Gandhi, L. Pinto, A. Gupta. Learning to Fly byCrashing. In IEEE/RSJ IROS, 2017.

経路計画 x 深層（強化）学習6

研究例① 経路計画の出力を深層学習で”真似る”
Asako Kanezaki, Jirou Nitta, and Yoko Sasaki. GOSELO: Goal-Directed Obstacle andSelf-Location Map for Robot Navigation using Reactive Neural Networks. IEEERobotics and Automation Letters (RA-L), Vol.3, Issue 2, pp.696-703, 2018.
⚫ 2D地図を画像としてCNNに入力し、移動すべき方向を尤度として出力する。
⚫ A*探索で教師データを無限に生成した。

7

研究例② 経路計画の一部を深層学習で”置き換える”
Ryo Yonetani, Tatsunori Taniai, Mohammadamin Barekatain, Mai Nishimura, and Asako
Kanezaki. Path Planning using Neural A* Search. International Conference on
Machine Learning (ICML), pp. 12029-12039, 2021.
⚫ 微分可能A*モジュールを提案し

𝑓 𝑛 = 𝑔 𝑛 + ℎ(𝑛)⚫ 𝑔(𝑛)を構成するコスト関数をCNNで学習する⚫ A*のノード探索数を減らし高速化⚫ 最短経路に限らず、ヒトの軌跡データを学習することでヒトが選ぶような経路計画も可能に！

8

研究例③ 経路計画と深層強化学習を”組み合わせる”⚫ PRM-RL [Faust+, ICRA’18]◼ Global Planner:
PRMで経路計画◼ Local Planner:
強化学習で経路追従9

研究例④ 経路計画に深層強化学習を”利用する”⚫ RL-RRT [Chiang+, RA-L’19]

1. 障害物回避Local Plannerの強化学習
2. 障害物を考慮した到達可能性推定器の学習
3. その推定値を距離関数としたRRTのサンプリング～再掲：RRTアルゴリズム～(1) 空間からランダムに点をサンプリングし(2) その点から最も近いノードを選択(3) (2)の点から(1)の点の方向にある距離進んだ点を新ノードとして追加(4) startからgoalまでが繋がったらTree完成(5) 親ノードを辿っていくことでPathを抽出

10

研究例⑤ 経路計画を深層強化学習に”利用する”
Kei Ota, Yoko Sasaki, Devesh K. Jha, Yusuke Yoshiyasu, and Asako Kanezaki. Efficient
Exploration in Constrained Environments with Goal-Oriented Reference Path.
IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2020.
⚫ GOSELO（研究例①）を拡張してWaypointsを出力⚫ Waypointsを受け取り、次の行動を決める制御部を強化学習する⚫ 強化学習の際に、Waypointsに沿う度合いを報酬に加える

サンプル効率UP
汎化性UP

11

研究例⑥ マルチエージェント経路計画＋深層学習
Keisuke Okumura, Ryo Yonetani, Mai Nishimura, and Asako Kanezaki. CTRMs: Learning toConstruct Cooperative Timed Roadmaps for Multi-agent Path Planning in ContinuousSpaces. Int. Joint Conf. on Autonomous Agents & Multiagent Systems (AAMAS), 2022.
1. 深層学習により”協調的”ロードマップを生成
2. 現在のマルチエージェントの状態を入力し、1ステップ先のマルチエージェントの状態を出力
3. 繰り返し適用
4. エージェント毎のCTRMを構築

12

ここまでのまとめ
1. GOSELO [Kanezaki+, RA-L’18]
経路計画の出力を深層学習で”真似る”

2. Neural A* [Yonetani+, ICML’21]

経路計画の一部を深層学習で”置き換える”

3. PRM-RL [Faust+, ICRA’18]

経路計画と深層強化学習を”組み合わせる”

4. RL-RRT [Chiang+, RA-L’19]

経路計画に深層強化学習を”利用する”

5. Efficient Exploration [Ota+, IROS’20]
経路計画を深層強化学習に”利用する”

6. CTRMs [Okumura+, AAMAS’22]
マルチエージェント経路計画＋深層学習

買い子を頼まれたロボット-- generated by Midjourney13より高度なナビゲーションタスクの研究紹介

14色々なVisual Navigation⚫ Point-goal navigation: ゴール座標が与えられる[Wijmans+, ICLR’20]⚫ Image-goal navigation: ゴールの画像が与えられる[Chaplot+, CVPR’20] [Zhu+, ICRA’17]⚫ Room-goal navigation: ゴール＝部屋（単語）が与えられる[Wu+, ICCV’19]⚫ Object-goal navigation: ゴール＝物体（単語）が与えられる[Anderson+, 2018] [Batra+, 2020] [Ramakrishnan+, CVPR’22]⚫ Audio-goal navigation: ゴール＝音源を探す[Chen+, CVPR’21] [Chen+, ECCV’20]cf.) Visual Exploration: 探索タスク（カバー範囲の広さを評価）[Ramakrishnan+, ECCV’20] [Liu & Okatani, CVPR’22]

15

ナビゲーションタスクのデータセット⚫ Matterport3D
https://niessner.github.io/Matterport/⚫ Replica
https://github.com/facebookr
esearch/Replica-Dataset⚫ Gibson
http://gibsonenv.sta
nford.edu/database/etc.

16

ナビゲーションフレームワーク①⚫ Habitat-Lab

https://github.com/facebookresearch/habitat-lab

17

ナビゲーションフレームワーク②⚫ AI2THORPhysics

https://ai2thor.allenai.org/

Object Manipulation

State Changes
18

Object-goal Navigationの研究例①
Raphael Druon, Yusuke Yoshiyasu, Asako Kanezaki, and Alassane Watt. Visual Object
Search by Learning Spatial Context. IEEE Robotics and Automation Letters (RA-L),
Vol.5, Issue 2, pp. 1279-1286, 2020.

⚫ 画像だけでなく、画像からの物体検出結果をグリッド表示し、各物体とゴール物体とのWord2Vec類似度を記述したContext Gridを入力することで、⚫ 未知物体をも探索可能なObjNav手法を提案した。

19

Object-goal Navigationの研究例②
Rui Fukushima, Kei Ota, Asako Kanezaki, Yoko Sasaki, and Yusuke Yoshiyasu. Object
Memory Transformer for Object Goal Navigation. IEEE International Conference onRobotics and Automation (ICRA), 2022.

20

まとめ
⚫ 以下の項目について紹介した。
◼ 経路計画 x 深層（強化）学習◼ 様々なVisual Navigationタスク◼ Object-goal Navigationの研究例⚫ ナビゲーションは、ローレベル（制御）も難しいしハイレベル（探索）も難しい！
解くべき課題は山積みである。

generated by Midjourney21参考文献リスト（1/2）[Hart+, 1968] Hart, P. E., Nilsson, N. J., and Raphael, B. A formal basis for the heuristic
determination of minimum cost paths. IEEE Transactions on Systems Science and Cybernetics,
4(2):100–107, 1968.
[Kavraki+, 1996] Kavraki LE, Svestka P, Latombe JC, Overmars MH. Probabilistic roadmaps forpath planning in high-dimensional configuration spaces. IEEE transactions on Robotics andAutomation, 12(4):566-80, 1996.
[LaValle, 1998] LaValle, Steven M. Rapidly-exploring random trees: A new tool for pathplanning. Technical Report. Computer Science Department, Iowa State University, 1998.
[LaValle&Kuffner, 2001] LaValle, Steven M. and Kuffner Jr., James J. Randomized Kinodynamic
Planning. The International Journal of Robotics Research (IJRR), 20 (5): 378–400, 2001.
[Faust+, ICRA’18] A. Faust, O. Ramirez, M. Fiser, K. Oslund, A. Francis, J. Davidson, L. Tapia.
PRM-RL: Long-range Robotic Navigation Tasks by Combining Reinforcement Learning andSampling based Planning. In IEEE ICRA, 2018.
[Chiang+, RA-L’19] Chiang, Hao-Tien Lewis, Jasmine Hsu, Marek Fiser, Lydia Tapia, andAleksandra Faust. RL-RRT: Kinodynamic motion planning via learning reachability estimatorsfrom RL policies. IEEE Robotics and Automation Letters 4, no. 4 (2019): 4298-4305.

22

参考文献リスト（2/2）[Wijmans+, ICLR’20] Erik Wijmans, Abhishek Kadian, Ari Morcos, Stefan Lee, Irfan Essa, Devi Parikh, Manolis Savva, andDhruv Batra. DD-PPO: Learning Near-Perfect PointGoal Navigators from 2.5 Billion Frames. In ICLR, 2020.
[Chaplot+, CVPR’20] Devendra Singh Chaplot, Ruslan Salakhutdinov, Abhinav Gupta, and Saurabh Gupta. Neural
topological slam for visual navigation. In CVPR, 2020.
[Zhu+, ICRA’17] Yuke Zhu, Roozbeh Mottaghi, Eric Kolve, Joseph J Lim, Abhinav Gupta, Li Fei-Fei, and Ali Farhadi. Targetdriven Visual Navigation in Indoor Scenes using Deep Reinforcement Learning. In ICRA, 2017.
[Wu+, ICCV’19] Yi Wu, Yuxin Wu, Aviv Tamar, Stuart Russell, Georgia Gkioxari, and Yuandong Tian. Bayesian Relational
Memory for Semantic Visual Navigation. In ICCV, 2019.
[Anderson+, 2018] Peter Anderson, Angel Chang, Devendra Singh Chaplot, Alexey Dosovitskiy, Saurabh Gupta, VladlenKoltun, Jana Kosecka, Jitendra Malik, Roozbeh Mottaghi, Manolis Savva, et al. On evaluation of embodied navigationagents. arXiv preprint arXiv:1807.06757, 2018.
[Batra+, 2020] Dhruv Batra, Aaron Gokaslan, Aniruddha Kembhavi, Oleksandr Maksymets, Roozbeh Mottaghi, ManolisSavva, Alexander Toshev, and Erik Wijmans. Objectnav revisited: On evaluation of embodied agents navigating to objects.
arXiv preprint arXiv:2006.13171, 2020.
[Ramakrishnan+, CVPR’22] Santhosh K. Ramakrishnan, Devendra Singh Chaplot, Ziad Al-Halah, Jitendra Malik, andKristen Grauman. PONI: Potential Functions for ObjectGoal Navigation with Interaction-free Learning. In CVPR, 2022.
[Chen+, CVPR’21] Changan Chen, Ziad Al-Halah, and Kristen Grauman. Semantic Audio-Visual Navigation. In CVPR, 2021.
[Chen+, ECCV’20] Changan Chen, Unnat Jain, Carl Schissler, Sebastia Vicenc Amengual Gari, Ziad Al-Halah, Vamsi Ithapu,
Philip W Robinson, and Kristen Grauman. SoundSpaces: AudioVisual Navigation in 3D Environments. In ECCV, 2020.
[Ramakrishnan+, ECCV’20] Ramakrishnan, Santhosh K., Ziad Al-Halah, and Kristen Grauman. Occupancy anticipation for
efficient exploration and navigation. In European Conference on Computer Vision, pp. 400-418. Springer, Cham, 2020.
[Liu & Okatani, CVPR’22] Liu, Shuang, and Takayuki Okatani. Symmetry-aware Neural Architecture for Embodied VisualNavigation. In CVPR, 2022.

23