茨城県産業技術イノベーションセンター研究報告 第 49 号

機械学習による産業用ロボットの自律的な動作生成に関する試験研究事業
平間 毅 *
１. はじめに政府の「ロボット新戦略」策定に伴い、茨城県においても平成28年度中小企業IoT等自動化技術導入促進事業、平成29～30年度IoT・ロボット研究会、平成31年度IoT・ロボット分科会等を通じて、県内中小企業のロボット導入を促進するための取り組みを進めてきた。
また、平成28年経済センサス－活動調査産業別集計（製造業・概要版）（経済産業省）によれば、茨城県は製造業における従業者数が26万1,726人で全国8位、製造品出荷額等が12兆376億円で全国8位に位置する工業県であり、ロボット活用による自動化をニーズに持つ企業も多い。
一般的に産業用ロボットを生産現場へ導入するためには、作業ごとにティーチングペンダントを用いたロボットへの動作教示が必要であり、またロボットとカメラを組み合わせたロボットシステムを構築する場合は画像処理アルゴリズム等の検討が必要となる。
多品種変量生産が要求される中小企業にとって、ロボットシステム構築を都度システムインテグレーターに外注するのはコストや時間的に困難であり、できる限り自社での変更対応が求められる中、教示人材の不足やロボット操作の難しさがロボット導入や活用を妨げる一つの要因 1)となっている。
このような背景のもと、当センターでは産業用ロボットを用いた自動化システムを構築する際の教示作業の負担を軽減するため、機械学習による作業対象ワークの認識及び認識結果をもとにした産業用ロボットの動作生成に関する研究開発に取り組んでいる。

前島 崇宏 **

青木 邦知 *

でボードを撮影することにより位置姿勢情報と画像がペアとなったデータセットを作成し、本データセットから RGBD カメラ座標系とロボットベース座標系間の座標変換行列の推定を行った。
ロボットベース座標系から見た作業対象ワークの位置姿勢については、既報 2)により既知となっている。
また、本研究開発で対象とする作業対象ワークは四角穴の開いた四角柱(図 2)とし、垂直多関節ロボットが把持した四角棒を四角穴に挿入する作業を自動化の対象とした。
垂直多関節ロボット(Torobo Arm)RGBD カメラ(RealSense D415)

図 1 実験環境
130mm130mm

２．目的
本研究開発では、データ駆動型アプローチである機械学習を用いた作業対象ワークの認識及び作業対象ワークの位置姿勢に応じた適切なロボットの動作生成を目的としている。本年度は、昨年度までの作業対象ワークの認識・位置姿勢推定結果をもとにロボットの動作計画を行い、実機による動作検証を行った。また、位置姿勢推定アルゴリズムに関するパラメータを自動調整するための手法について研究開発を行った。
３．研究内容3.1 実験環境
本研究開発の実験環境は、図 1 のとおり垂直多関節ロボット(Torobo Arm，東京ロボティクス株式会社)、
RGBD カメラ(RealSense D415，Intel 株式会社)、ロボット用作業机で構成されている。
RGBD カメラと垂直多関節ロボットの相対位置姿勢関係は、事前にキャリブレーション作業を行うことにより算出した。キャリブレーション作業では、ロボットの手先にサークルグリッドが印刷されたボードを取り付け、ロボットの位置姿勢を変えながら RGBD カメラ*

研究推進グループ**

IT・マテリアルグループ

60mm60mm60mm
図 2 作業対象ワーク
3.2 動作計画
本研究開発では、四角棒を把持したロボット及び作業対象ワークのモデルが配置された仮想空間上において、挿入作業の動作計画を行った。なお、動作計画にはプランニングフレームワークの１つである MoveIt3)を活用した。
3.2.1 動作計画のための環境構築
ロボットベース座標系から見た作業対象ワークの位置姿勢が既知であることを考慮し、四角棒を把持したロボットモデル及び作業対象ワークのモデルを適切な位置関係で仮想空間上に配置することにより、動作計画を行うための環境を構築した。
図 3 に各モデル配置後の仮想空間を示す。

茨城県産業技術イノベーションセンター研究報告 第 49 号

四角棒のモデル

3.2.3 動作計画及び実機ロボットによる検証
前述の仮想空間及びプランニングアルゴリズムを用い、四角棒を作業対象ワークの四角穴に挿入する作業の動作を適切に生成できることを確認した。図 5 に生成した動作における、アプローチ位置でのロボット姿勢を示す。また、動作計画にかかる処理時間は約 500ms
程 度 で あ っ た 。（ 演 算 処 理 装 置 は Intel Xeon
E5-1650-v4 を使用）

作業対象ワークのモデル

図 3 各モデル配置後の仮想空間の様子
3.2.2 プランニングアルゴリズム
本研究開発では、挿入動作を四角穴上方への移動及び上方からの挿入の 2 つの動作に分けて動作計画を行った。前者は、ロボットの初期位置姿勢から四角穴上方に設定したアプローチ位置姿勢に到達するまでの動作計画、後者はアプローチ点からアプローチベクトルに沿って挿入作業を行う動作計画である。ここで、アプローチ位置は四角穴中心線上の底面から 200mm の位置、アプローチベクトルは作業対象ワーク上面の法線ベクトルとした。
（図 4）アプローチ位置

図 5 アプローチ位置でのロボット姿勢
次に、生成した動作をもとに実機ロボットで挿入作業を再現することで、挿入成功率の評価を行った。実験条件として、作業机のランダムな位置に配置された作業対象ワークに対して、クリアランスが 5mm、4mm、3mm、2mm の四角棒（それぞれ 590mm 角、592mm 角、594mm角、596mm 角の四角棒）を挿入する作業を 10 回繰り返した。動作計画により生成したアプローチ位置でのロボット位置姿勢を実機ロボットで再現した様子を図 6に示す。
評価の結果、クリアランス 3mm までは挿入成功率は100%であり、クリアランス 2mm では挿入成功率が 30%となった。

アプローチベクトル
図 4 アプローチ位置及びアプローチベクトル
なお、プランニングアルゴリズムには乱数ベースのRRT4)（Rapidly-exploring random tree）を用いた。
RRT は、ロボットの配置空間における初期状態を根として、ノードをランダムにサンプリングし、隣接したノードを親とし直線を用いたエッジ作成処理を終了状態に接続されるまで繰り返すアルゴリズムである。このアルゴリズムには、初期位置姿勢から目標位置姿勢までの移動経路を高速に生成することができ、かつ高次元空間における探索を効率的に行うことができるという特徴がある。
また、目的の位置姿勢に到達するための関節角度を求めるため、本研究開発では逆運動学ソルバーの 1 つである TRAC-IK Kinematics ソルバー5)を利用した。

図 6 挿入実験時のアプローチ位置でのロボット姿勢

茨城県産業技術イノベーションセンター研究報告 第 49 号

3.3 位置姿勢推定アルゴリズムのパラメータ調整
昨年度、作業対象ワークの位置姿勢を推定するため、3 次元モデルから作成したモデル点群とデプスカメラで取得した点群を照合する技術について研究開発を行った。しかし、位置合わせ処理アルゴリズムのパラメータは開発者が対象物に応じて試行錯誤的に調整を行う必要があり、開発生産上の課題となっていた。そこで本研究開発では、ベイズ最適化を用いた点群位置合わせ処理パラメータの自動調整について検討を行った。
3.3.1 パラメータ調整手法の概要
本研究開発では、3 次元モデルのみを用いて点群位置合わせパラメータの自動調整を行うため、主に以下の 4 つから構成される処理フローを考案した。

ボクセルグリッド化
法線推定
FPFH 局所特徴量の抽出
RANSAC による粗い位置合わせ
全周点群からデプスカメラの可視領域を抽出
ICP による細かな位置合わせ①3次元モデルのメッシュから点をサンプリングし、全周点群を作成する。このとき、サンプリングする点同士の間隔はデプスカメラで取得した点群の平均近傍距離とする。

図 8 位置合わせ処理のフローの抽出を行う球領域の半径、RANSAC（Random SampleConsensus）の最大試行回数、ICP（Iterative Closest②ランダムに生成した四元数Qi（i=1,2,…,N）をもとPoint）8)の最大試行回数、粗い位置合わせ及び細かなに3次元モデルを回転する。それぞれに対して仮想デプスカメラからの可視性を考慮し、メッシュの選択、 位置合わせにおける対応付けの距離閾値、剛体変換推
点のサンプリングを行うことで部分点群を作成する。 定手法などがある。
本研究開発では、表 1 に示すパラメータ及び範囲を③全周点群と部分点群の位置合わせ処理で得られた位探索対象とし、探索試行回数は 500 とした。
置姿勢推定結果（四元数qi,平行移動ベクトルpi）から、(1)式により平均誤差を計算する。
表 1 パラメータ探索の範囲(1)
ボクセルサイズ[m][0.001, 0.030]
ここで、||・||2はL2ノルムを表す。
法 線 推 定 を 行 う 球 領 域半径[1.0, 5.0][m]/ ボクセルサイズ[m]④ベ イズ最適化 手法の1 つで ある Tree-structured
局所特徴量を算出する球領域[1.0, 5.0]
Parzen Estimator6)（TPE）により、(1)の平均誤差
半径[m] / ボクセルサイズ[m]RANSAC 最大試行回数[103, 107]
（目的関数）の計算及び点群位置合わせ処理パラメ
粗い位置合わせの剛体変換推 point to point またータの探索を繰り返す。所定の試行回数が終了した
定手法
は point to plane
時点で目的関数が最も小さかったパラメータを点群粗い位置合わせの対応点閾値位置合わせ処理パラメータとして採用する。
[m]/デプスカメラで取得した[1.0, 2.0]
点群の平均近傍距離[m]3.3.2 実験条件
ICP 最大試行回数[103, 104]
本研究開発では、複雑形状部品の位置合わせを対象
細かな位置合わせの剛体変換 point to point またに手法の有効性について検証を行った。対象とした対推定手法
は point to plane
象ワークの 3 次元モデルを図 7 に示す。
細かな位置合わせの対応点閾
値[m]/デプスカメラで取得し[1.0, 2.0]た点群の平均近傍距離[m]高さ約 100mm

長さ約 70mm

幅約 70mm

図 7 対象ワークの 3 次元モデル
また、本研究開発で用いた点群位置合わせ処理のフローを図 8 に示す。
本処理において、人手で調整が必要なパラメータには、ボクセルサイズ、法線推定を行う球領域の半径、FPFH（Fast Point Feature Histogram）局所特徴量 7)以上の条件によりランダムに作成した 50 個の部分点群に対して探索を行い、500 回の探索試行のうち、平均誤差が最小となるものを位置合わせ処理パラメー
タとして採用した。
3.3.3 実点群への適用結果
3.3.2 で得られたパラメータ値をもとに、対象ワー
クの位置姿勢を変えて取得した 4 パターンの実点群に対して位置合わせ処理を行った結果を図 9 に示す。ここで、赤点は 3 次元モデルから作成した点群、青点はデプスカメラで取得した実点群を表す。

茨城県産業技術イノベーションセンター研究報告 第 49 号

５．まとめ
・四角柱（130mm×130mm×高さ 60mm）に開いた 60mm角の四角穴に四角棒を挿入する作業において、カメラ（RealSense D415）を用いた作業対象ワークの認識及び仮想空間上での動作計画の組み合わせによる自動化を検討した結果、クリアランス 3mm までの挿入作業が可能であることを確認できた。
・3 次元モデルから点群位置合わせ処理パラメータを自動調整する手法を提案した。また、本手法を実ワークの位置合わせに適用し有効性を検証した。
６．今後について
今後は、RGBDカメラとロボットが連動した自動化システムの構築を検討する県内中小企業に対する技術普及を図るとともに、本研究開発で蓄積した機械学習による物体検出や点群の位置合わせに関する技術を活用した共同研究や技術提案につなげていく。

図 9 モデル点群と実点群との位置合わせ結果
図 9 の可視化結果から、定性的ではあるが、4 パターンすべてにおいて対象ワークの位置姿勢が適切に推定できていることを確認できた。
４．結果と考察・本研究開発では、推定された作業対象ワークの位置姿勢情報及びロボットと RGBD カメラの位置姿勢関係をもとに、仮想空間上でロボット動作を生成し、実機ロボットによる検証を行った。結果、60mm 角の四角穴に四角棒を挿入する作業において、クリアラ
ンス 3mm で挿入成功率 100%、クリアランス 2mm で挿入成功率 30%となり、クリアランス 3mm までが作業の限界であることが分かった。さらに小さなクリアランスで挿入成功率を高めていくためには、より高精度な RGBD カメラを用いること、キャリブレーションの高度化、力覚情報の併用による動作補正技術の開発などが必要と考えられる。
・点群位置合わせ処理アルゴリズムのパラメータ調整に課題があったことから、ベイズ最適化手法の１つである TPE を用いて、3 次元モデルから点群位置合わせ処理パラメータを自動調整する手法を提案した。
また、ワークの位置合わせに本手法を適用することで、位置姿勢の推定が良好に行えることを確認した。
本研究開発では、位置合わせに必要な局所特徴量をFPFH に限定して最適化を行ったが、特徴量の選択を含めた最適化を行うことで、より汎用性を高めることができると考えられる。
・事業を通じて、RGBD カメラの情報から機械学習による作業対象ワークの認識及び点群位置合わせによる位置姿勢推定を行い、推定結果をもとに仮想空間上でロボット動作を生成し、実機ロボットにより動作検証を行う一連の流れを構築することができた。

７．参考文献等
1) 近畿経済産業局,平成27年度産業用ロボットの新分
野展開における導入阻害要因調査事業報告書,20162) 平間毅他，茨城県産業技術イノベーションセンター
研究報告第48号,20203) https://moveit.ros.org/
4) S. M. LaValle, J. J. Kuffner,“Rapidly-exploring
random trees: Progress and prospects,” inAlgorithmic and Computational Robotics: NewDirections, B. R. Donald, K. M. Lynch, and D. Rus,
Eds. Wellesley, MA: A. K. Peters, pp. 293–308,
20015) https://traclabs.com/projects/trac-ik/
6）James S Bergstra et al., ”Algorithms for
hyper-parameter optimization” ，Advances in
Neural Information Processing Systems，
pp.2546-2554，(2011)7) R.B.Rusu, N.Blodow, M.Beets, ”Fast Point
Feature Histograms(FPFH) for 3D Registration”，
ICRA2009，pp.1848-1853，20098) S.Rusinkiewicz, M.Levoy, ”Efficient variantsof the ICP algorithm” ，Proceedings of the 3rdInternational Conference on 3-D Digital Imagingand Modeling，pp.145-152，2001