調整レスな産業用ロボットの自動化のための３次元認識技術九州工業大学 大学院工学研究院
機械知能工学研究系
准教授 陸 慧敏
2022年12月15日

1目次目目次次■ 研究背景■ 研究目的■ 従来技術とその問題点■ 新技術の紹介■ 新技術の特徴・従来技術との比較■ 想定される用途■ 実用化に向けた課題■ 企業への期待
2

■ 研究背景[1] https://linkwiz.co.jp/wp-content/uploads/clm̲13̲02.jpg■ 産業用ロボットのほとんどは教示を行う．教示には高い技能を持つ熟練者が必要[1]■ 産業界で実用化されている把持姿勢を推定する手法は対象物体のCAD(Computer Aided Design)モデルに依存する■ 教示しない・ロボットシステムの完全自動化が求められる■ 汎用的・リアルタイムで処理できる認識モデルの構築が必要
3

■ 研究目的■ 調整レスな産業用ロボットの自動化の実現■ 深層学習で利用するデータを自動的にアノテーション■ CAD(Computer Aided Design)モデルに依存せず,再学習の必要のない■ 学習から推論まで何の調整もいらない

4

従来技術とその問題点
既に実用化されているものには、CADによる姿勢推定法等があるが、新しい部品を導入する際の再学習が必要
クラスタリングによりリアルタイム性が低下等の問題があり、広く利用されるまでには至っていない。
5

新技術の紹介
来週から新しい部品を導入します！

①③②

・CADモデルの取得
・アノテーションシステム起動④

深層学習モデルシミュレーション環境でアノテーションデータを自動的に入手

姿勢推定モデルとなる深層学習の学⑤
習を行う
認識モデル完成⇒
ピッキングを自動化⇒現場導入
6新技術のメリット
新しい部品がきたとき
従来法： 各ロボットに教示し直す必要がある
また，部品の位置が少しでもズレたらピッキングできなくなる
新技術： 学習の際のみ，新しい部品のCADデータが必要
アノテーションシステムの起動が必要
深層学習モデルの学習と推論が必要
センサの撮像距離内であれば部品の位置はズレても大丈夫

工場のレイアウト変更
従来法： 各ロボットに教示し直す必要がある
新技術： 何の調整もいらない7

新技術の処理流れ

抽出したデータから物体の位置座標を推定 一(回目抽出したデータから物体の位置座標を推定 二(回目))⑦
画像から部品のみ抽出

画像 点
↔群変換

最も把持しやすい物体を抽出 選(択 )データ 画(像・点群 取)得抽出領域のノイズ除去

⑥③⑤②

④①

提案する技術の流れ

8直感的な説明①②
バラ積み部 把 持 候 補品の撮影
部品を検出⇒ データ 入 ⇒大まかに力領域を限定③限定した領域を3次元点群へ変換④
大まかに領域限定し、不要なノイズとなる部分を除去⑤
複数の把持候補部品から最も把持しや すい部品を選択⑥⑦
深層学習手 ICPを使うこと
法 で ラ フ に で精密に位置位置座標を 座標を推定
推定9

各手法の説明 ①データ入力
LiDARセンサを使用することで3次元点群と2次元画像を取得する

Gazebo上(ROSのシミュレーション空間上)

実機の写真
10

各手法の説明 ②YOLO(2D物体検出)
深層学習手法の一つであるYOLOv3を用いて、画像中の把持対象部品を検出することで把持候補物体の領域を推定する
YOLO：2D物体検出手法の代表的手法, YOLOは実行時間の速さと汎用性の高さが特徴
YOLOのラベリング：対象物体のオクルーダのみをバウンディングボックスで囲む

入力画像(ステップ①で取得してきた画像)

出力画像

11

補足：オクルーダ・オクルーディとは
100
1

G1

学習装置
2G2

推定装置
G2-2G2-1

遮蔽推定物体検知装置【特許】
遮蔽推定物体検知装置、遮蔽推定物体
検知方法及びプログ
ラム，特願2022035212

G2-3
G2-412

各手法の説明 ③3次元点群へ変換
ステップ②で把持候補部品と推定した2D領域の画像情報を3Dの点群データに反映する実現方法:
3D LiDARセンサのカメラ画像・点群データに対して2Dから3Dの下記の幾何学的な関係式を用いて画像の領域に対応する点群を抽出する
画像平面

u,v：画像中の(x,y)座標
カメラ平面の主点, ,センサ

点群

2D-3Dの幾何学的な関係式
13

各手法の説明 ④3Dセマンティックセグメ
ンテーション
3D点群に変換された部品からノイズを除去する（ノイズは部品の下に映り込む部品や箱(下画像参照)）
実現方法：深層学習手法であるPointNet(三次元点群のパイオニア的深層学習モデル)を使用することでセマンティックセグメンテーションを行い、抽出してきた点群に映り込むノイズを除去する

入力画像

出力画像

(ステップ③の出力画像)（赤：オクルーダ、緑：オクルーディ、青：背景）

14

各手法の説明 ⑤3Dクラスタリング
YOLO⇒セグメンテーションで抽出してきた複数部品から最も把持しやすい部品を選択する
実現方法：深層学習手法であるPointNetを使用することで3Dクラスタリングを行い、最も把持しやすい部品を選択する

入力データ(赤色の点群を入力)(ステップ④の出力データ)

出力データ（ここでは、緑色の点群データが選択された）

15

各手法の説明 ⑥ラフ認識
YOLO⇒2D3D変換⇒セグメンテーション⇒物体選択という抽出パートで抽出してきた点群データから位置姿勢推定を行う
実現方法：抽出パートで完璧な抽出を行うことが難しいと考えたので，ある程度の抽出精度でも高い認識精度を期待できる深層学習（PointNet）を使用することで位置姿勢推定を実現

入力データ
緑色の点群のみ入力

出力データ
出力は入力データの回転も含めた3次元
位置姿勢(x,y,z,roll,pitch,yaw)

16

各手法の説明 ⑦ICP精密認識
精度の高い位置推定を行うことで，把持ができるレベルの精度の高い把持位置推定精度を実現したい
実現方法：高精度位置合わせ手法であるICP(Iterative Closest Point)を用いることで実現

出力画像（赤：ターゲット、緑：入力点群、青：位置合わせ後の点群）

17

全体の説明ビデオ

18新技術の特徴・従来技術との比較• 学習用データを実環境で収集することはコストや時間がかかるため，学習データの収集・アノテーションの自動化法を提案した• CAD(Computer Aided Design)モデルに依存せず、再学習の必要のない把持位置姿勢推定法を確立した• 学習から推論まで何の調整もいらない
19

想定される用途• 本技術の特徴を生かすためには、知能化製造に適用することで省人化・省力化のメリットが大きいと考えられる• 上記以外に、持続可能な生産の効果が得られることも期待される• また、達成されたロボットピッキングに着目す
ると、自動運転やサービスロボットといった分野や用途に展開することも可能と思われる
20

実用化に向けた課題• 現在、高精度把持位置姿勢推定について深層学習を用いた本新技術が可能なところまで開発済み，実行時間は0.5s程度，位置誤差1mm程度を実現した• 今後、工場での実験データを取得し、実環境に適用していく場合の条件設定を行っていく• 実用化に向けて、3Dインスタンスセグメンテーションの精度を向上できるよう技術を確立する
必要もある
21

企業への期待• 未解決のバラ積み部品のランダム・ビン・ピッキングについては、エンドツーエンドの深層学習技術により克服できると考えている• 高度なロボット認識技術を持つ，企業との共同研究を希望• また、サービスロボットを開発中の企業，製造業界への展開を考えている企業には、本技術の導入が有効と思われる
22

本技術に関する知的財産権• 発明の名称 ：遮蔽推定物体検知装置、遮蔽推定物体検知方法及びプログラム
出願番号 ：特願2022-035212：九州工業大学• 出願人：陸 慧敏、鄭 禹超
• 発明者
23

産学連携の経歴• 2020年-2022年 株式会社デンソーと共同研究実施• 2021年-2024年 PACRAFT社と共同研究実施• 2022年-2023年 JST大学発新産業創出プログラ（START）大学・エコシステム推進型事業に採択
大学発ベンチャー設立（予定）• 2024年-24お問い合わせ先
九州工業大学
産学イノベーションセンター
小柳 嗣雄
ＴＥＬ
093-884-3498
ＦＡＸ
093-884-3531
e-mail：chizai@jimu.kyutech.ac.jp
25