東京工業大学 情報理工学院
情報工学系 金崎研究室

准教授

金崎朝子

略歴

◉ 2008年3月 東京大学 工学部機械情報工学科 卒業◉ 2010年3月 東京大学 大学院情報理工学系研究科 修士課程修了
2010年～2011年（半年間） ミュンヘン工科大学 滞在研究

◉ 2013年3月 東京大学 大学院博士課程修了（情報理工学）◉ 2013年4月 （株）東芝研究開発センター 正規職員
◉ 2013年12月 東京大学 大学院情報理工学系研究科 助教
2015年（1ヶ月） Microsoft Research Redmond

滞在研究◉ 2016年4月 産業技術総合研究所 人工知能研究センター 研究員→主任研究員◉ 2020年4月 東京工業大学 情報理工学院 情報工学系 准教授
2コンピュータ
ビジョン

機械学習

ロボティクス

これまでの研究内容
修士～博士過程

産総研

3D特徴量、物体検出
深層学習
3D物体認識深層学習による
教師なし画像
セグメンテーション

深層学習によるロボット
ナビゲーション

3

これまでの研究内容
修士～博士過程

産総研

3D特徴量、物体検出
深層学習
3D物体認識深層学習による
教師なし画像
セグメンテーション

深層学習によるロボット
ナビゲーション

4

CVPR 2018, TPAMI 採択論文

RotationNet: Joint Object Categorization andPose Estimation Using Multiviews from
Unsupervised Viewpoints

Asako Kanezaki, Yasuyuki Matsushita, and Yoshifumi Nishida.
National Institute of Advanced Industrial Science and Technology (AIST)

3D物体認識とは◉ 3Dデータを入力し、物体のカテゴリ推定結果を出力すること（物体識別）システム

スターゲイジーパイ

Cf.) 物体検出、物体検索、パーツセグメンテーション

RotationNetの位置づけ◉ 3次元の物体を認識する手法
RGBD画像点群

ボクセル

2D投影画像ここ7RotationNetの位置づけ◉ ModelNetデータセットのState-of-the-art
http://modelnet.cs.princeton.edu/- 40種類のModelNet40と- 10種類のModelNet10がある。
- 2020/4/25現在のleaderboard ⇒ModelNet40

ModelNet10

1位： RotationNet

1位： RotationNet

2D投影画像ベース

2位： iMHL
2D投影画像ベース

2D投影画像ベース

2位： SPNet
2D投影画像ベース
いずれにせよ2D投影画像ベースが強い8モチベーション◉ ロボットからの物体認識
視点を動かして見ることで精度を向上させたい！
コップやん・・・

フライパン？

【一枚画像の場合】ロボットから見て適切な角度から撮影できているとは限らない
9

RotationNetの概要◉ 多視点画像を入力し、物体のカテゴリと姿勢を同時に推定する。
逐次的に追加できるのでロボット向き認識しやすい向きに回転させ精度向上

10

動画
https://kanezaki.github.io/rotationnet/

11

コンペ優勝、CEATEC展示◉ 国際的コンペティションSHREC2017 3D Shape Retrieval Contest 2017にて、7部門中2部門に参加し、その両方で世界一位を獲得！
【課題１】
大規模な三次元物体データベースから指定された形状と似たモデルを探す性能を競う【課題２】
色距離センサで撮影された実データを対象に似た形状のCADモデルを検索する性能を競う

CEATEC2017（登録来場者数 152,066人）
にて、Hololensのデモを展示
12

3D認識に関する招待講演◉ 「機械学習を用いた3次元データ認識について」，第3回情報処理学会セミナー AIと歩む未来(2)：
画像・映像処理の最前線，千代田区，2019.9◉ 「深層学習を用いた三次元物体認識」，確率場と深層学習に関する第2回CRESTシンポジウム，
早稲田大学，2018.10◉ 「3次元物体認識技術」，第112回ロボット工学セミナー ロボットのための画像処理技術，2018.5◉ 「色距離センサを用いた点群処理と三次元物体認識に関する研究紹介」，画像応用技術専門委員会2016年度第３回研究会，2016.9◉ 「Kinect等の色距離センサを用いた点群処理と3D物体認識―ベーシックな手法と最新動向・ソフトウェアの紹介―」, 第22回 画像センシングシンポジウム（SSII2016）チュートリアル講演, みなとみらい, 2016.6◉ 「RGBD画像処理と三次元物体認識の研究紹介」, 公益社団法人 精密工学会 大規模環境の３次元計測と認識・モデル化技術専門委員会 第20回定例研究会, 本郷, 2015.12◉ 「三次元画像からの物体検出と三次元特徴量」, 第9回 次世代コンピュータ支援診断ソフトウェア
臨床使用・評価プラットフォーム研究会，本郷，2015.6

etc.

13

これまでの研究内容
修士～博士過程

産総研

3D特徴量、物体検出
深層学習
3D物体認識深層学習による
教師なし画像
セグメンテーション

深層学習によるロボット
ナビゲーション

14

https://github.com/kanezaki/pytorch-unsupervised-segmentation

深層学習による教師なし画像セグメンテーション※各領域をランダムな同一色で可視化
Asako Kanezaki. “Unsupervised Image Segmentation by Backpropagation.” IEEE International
Conference on Acoustics, Speech and Signal Processing (ICASSP), pp.1543-1547, 2018.
15

https://github.com/kanezaki/pytorch-unsupervised-segmentation

深層学習による教師なし画像セグメンテーション◉ 微分可能クラスタリングを提案、End-to-Endに特徴学習をする。

Asako Kanezaki. “Unsupervised Image Segmentation by Backpropagation.” IEEE International
Conference on Acoustics, Speech and Signal Processing (ICASSP), pp.1543-1547, 2018.
16

これまでの研究内容
修士～博士過程

産総研

3D特徴量、物体検出
深層学習
3D物体認識深層学習による
教師なし画像
セグメンテーション

深層学習によるロボット
ナビゲーション

17

深層学習によるロボットナビゲーション

動画
https://kanezaki.github.io/goselo/A. Kanezaki+, ”GOSELO: Goal-Directed Obstacle and Self-Location Map for Robot Navigation using Reactive NeuralNetworks.” IEEE Robotics and Automation Letters (RA-L), Vol.3, Issue 2, pp.696-703, 2018. (presented in ICRA’18)

18

深層学習によるロボットナビゲーション
Key Idea: Goal-directed map representation を作ることで、特定の環境の形状にとらわれずに周囲の環境観測パターンと移動パターンの関連性を学習できる！

19

本研究の発展型（1/2）◉ Yoko Sasaki, Syusuke Matsuo, Asako Kanezaki, and Hiroshi Takemura. “A3C BasedMotion Learning for an Autonomous Mobile Robot in Crowds.” IEEE International
Conference on System Man and Cybernetics (SMC2019), pp.1046-1052, 2019.

◉ 佐々木洋子，松尾修佑，金崎朝子，竹村裕. 歩行者観測履歴を用いた深層強化学習による車輪ロボットの雑踏切り抜け動作生成. 日本機械学会ロボティクス・メカトロニクス講演会, 2019.

◉ 渋谷 薫, 金崎 朝子, 大西 正輝.
深層学習による画像識別問
題に帰着した人の流れのシミュレーション. Meeting onImage Recognition andUnderstandings (MIRU),
2018.

◉ 他，企業との共同研究一件

Learned policy simulation

20本研究の発展型（2/2）
Kei Ota, Yoko Sasaki, Devesh K. Jha, Yusuke Yoshiyasu, Asako Kanezaki. “EfficientExploration in Constrained Environments with Goal-Oriented Reference Path”, arXiv, 2020.

21産総研での学生とのコラボ◉ 強化学習によるロボットナビゲーション

理科大

Yoko Sasaki, Syusuke Matsuo, Asako Kanezaki, and Hiroshi Takemura. “A3C Based Motion Learning for an
Autonomous Mobile Robot in Crowds.” IEEE International Conference on System Man and Cybernetics(SMC2019), pp.1046-1052, 2019.

◉ World Robot Summitでの深層学習による商品認識

首都大加納諒也，和田一義，金崎朝子，冨沢哲雄，谷川民生. 深層学習による物体認識のためのマーカの検討 ～第一報：AlexNetによる認識率の比較～. 日本機械学会ロボティクス・メカトロニクス講演会, 2019.

◉ 深層学習によるマルチモーダル学習

阪大

Ryohei Kuga, Asako Kanezaki, Masaki Samejima, Yusuke Sugano,
and Yasuyuki Matsushita. “Multi-modal U-Nets for Multi-task
Scene Understanding.” IEEE ICCV Workshop on Multi-Sensor
Fusion for Dynamic Scene Understanding, pp.403-411, 2017.

◉ 深層学習による教師なし画像セグメンテーションの発展型◉ RotationNetのリアルタイム物体検出への発展型

東工大
東工大

22

研究計画

IoP (Internet of Perception)?

◉ 能動的情報収集とデータベース構築を行うロボットシステム

23

研究テーマの例◉ 強化学習を用いた自律移動ロボットの巡回行動計画に関する研究◉ 検索可能な日常生活データベースの自動生成に関する研究
機械学習◉ 対話型ロボットによる情報収集戦略に関する研究
画像処理◉ 超人的認識技術を備えたロボット知能の構築
ロボティクスヒューマン◉ ロボットの大域的・局所的行動計画
コンピュータインタラクション
地図・GPS

多視点
カメラ

多波長
センシング
データ
ベース

超人的認識技術を備えたロボット知能の構築

大域的な動きと局所的な動き（マニピュレーション等）
24

研究テーマの例◉ 強化学習を用いた自律移動ロボットの巡回行動計画に関する研究◉ 検索可能な日常生活データベースの自動生成に関する研究
機械学習◉ 対話型ロボットによる情報収集戦略に関する研究
画像処理◉ 超人的認識技術を備えたロボット知能の構築
ロボティクスヒューマン◉ ロボットの大域的・局所的行動計画
コンピュータインタラクション
地図・GPS

多視点
カメラ

多波長
センシング
データ
ベース

超人的認識技術を備えたロボット知能の構築

大域的な動きと局所的な動き（マニピュレーション等）
25

金崎研のメリット（?）😉

◉ 新しいラボ（皆が一期生になる）◉ 自由。新しいことにチャレンジできる。
◉ インフラが整っているえる予定です。
○○○

TSUBAME、産総研ABCI等の計算機クラスタ使用
GitHubでのソースコードとtipsの管理
Deep Learning、ロボットシミュレーション等のライブラリのノウハウ共有

ココ！

◉ 大岡山キャンパス○西8号館は便利な場所

26

質問タイム✉ kanezaki [at] c.titech.ac.jp@kanejaki

27