鳥取県産業技術センター研究報告 No.24 (2021)

視覚と触覚による汎用的な産業用ロボットのランダムピッキング技術の開発
Development of Vision- and Tactile-Guided Random Picking Technology for General-Purpose Industrial Robots

新見浩司
Koji Niimi
機械素材研究所

機械・計測制御グループ

ばら積みされた部品を産業用ロボットによって取り出すランダムピッキングにおいて、視覚情報のみに頼っていた従来の手法に、ロボットハンドの指先の触覚情報に基づく人間の手探りに相当する動作を付加した。
これにより、部品の位置情報を高精度でない視覚センサから得ても、誤差補正による把持が可能となり、システム全体の低コスト化を実現することができた。また、視覚情報から部品を認識させるための基準データを、球や立方体といった簡易な幾何形状のものに置き換えることで、正確な設計データがなくてもさまざまな部品に対応できるようになり、システムの汎用性も向上した。
In the random picking of stacked parts by an industrial robot, we added a motion equivalent to human groping based ontactile information from the fingertips of the robot hand to the conventional method that relied only on visual information.
This enabled grasping with error compensation even if the positional information of the part was obtained from a visualsensor that is not highly accurate, and thus lowered the cost of the entire system. In addition, by replacing the reference
data for recognizing parts from visual information with simple geometric shapes such as spheres and cubes, the system
can handle a variety of parts without accurate design data, thus improving the versatility of the system.

1. はじめに生産年齢人口の減少とコスト競争に伴い、大企業の多品種少量生産に適用可能な汎用性向上にも取り組んだ。

みならず中小企業においてもロボットを活用した自動化・効率化は避けられない状況となってきている。県

2. 低価格視覚センサの性能評価・特性把握

内でも産業用ロボットの導入に関する相談は年々増加

2.1 実験方法

しており、その中でも特にコンテナや通い箱等にばらシステムのコスト低減が期待できる測定方式の異な積みされている部品を自動で取り出す、ランダムピッる 3 種類の低価格な視覚センサを用意し、同一の対象キングシステムへの関心が高まっている。

物を測定することで、それぞれの方式における性能のしかしながら、現在のランダムピッキングシステム評価と特性の把握を行った。

は高精度で高額な視覚センサが用いられることに加え、測定対象については米スタンフォード大学により公取り出す部品ごとに設計データ(3DCAD データ)の調開されているコンピューター・グラフィックス分野の達と、把持条件などの繁雑な設定が必要である。この試験モデルである Stanford Bunny を 1/2 サイズに縮小ため多品種少量生産を行う中小企業においては、費用したデータを用いて、熱溶解積層方式の 3D プリンタ

対効果や社内のロボットエンジニア確保の観点から適（Zortrax 社製 M200）にて ABS 樹脂で造形したものを用が難しいという課題がある。

使用した。測定対象の外観を図 1 に、造形に使用した

そこで、従来の高精度な視覚センサから得られた部品の位置情報のみに頼った方式から、人の手探りに相3D プリンタを図 2 に、検証に使用した低価格視覚セン
サの仕様、外観を表 1 に示す。

当する動作を付加することで視覚センサの要求精度緩和による低コスト化を目指した。また部品の位置認識に、正確な設計データではなく球や立方体といった簡易な幾何形状データを用いる単純図形照合を提案し、
図１ 測定対象

図２ 3D プリンタ

表１ 検証に使用した低価格視覚センサの仕様・外観
センサ名

Intel RealSense

Intel RealSense

Basler Time-of-D435

SR300

Flight

行えなかったことが挙げられる。図 3 の測定結果は最高画素数の 1920×720 で実施したものであるが、0.3m以下の測定距離では深度情報を取得することができず、他の 2 機種と比べ遠距離での測定となった。これは測外観

定対象に近づくにつれ、左右の赤外カメラの画像視差¥50,000 以下¥50,000 以下

Active stereo

Coded Light

(IR)

(IR)

最大画素

1280×720

640×480

640×480

測定範囲

0.11 ~ 10 m

0.2 ~ 1.5 m

0 ~ 13 m

最大 fps906020価格帯
測定方式¥500,000 以下

が大きくなり、内部に搭載されている深度計算用プロTime of Flight

セッサの性能限界を超える計算負荷となるために起こ

測定時の測定対象と低価格視覚センサの位置関係は、それぞれの機種の画素に対して測定対象が最大に映り込むように可能な限り接近し、密な点群データが取得できるように配置した。

ると考えられる。
このため使用する画素数の設定を変更しながら近距離の測定限界を検証したところ、640×480 では 0.2m、480×270 では仕様上の最短距離 0.11m まで接近して測定を行うことができた。
しかし、画素数を下げて取得した場合、点群データの密度低下が起こることから、図 3 の測定結果よりも形状精度の良いデータを取得することはできなかった。

2.2 実験結果と考察

そこで、2 つの赤外カメラから得られた画像を用い2.2.1 各センサの測定結果て外部演算端末（Windows 搭載 PC）にて深度計算を実それぞれの低価格視覚センサで測定対象を測定した

施したところ、0.1m 程度の近距離でもデータを取得す

結果を図 3～5 に示す。各センサについての考察を以降ることが可能となり、より形状精度の良い点群データに記載する。

を得ることができた。外部演算端末にて計算した点群

2.2.2 Intel RealSense D435 の考察

データを図 6 に示す。

赤外ドットパターンを投影し、2 つの赤外カメラで以上の結果から、この視覚センサは比較的大型（最深度を計算するアクティブステレオ方式を採用してい大長がおよそ 150mm 以上）の対象物であれば測定が広る。画素数が 1920×720 と 3 機種の中では最も高く、測範囲であるため、使用に適していると考えられる。今

定範囲が 0.11～10m と比較的遠距離まで測定を行うこ回の測定対象のような小型の部品に対しても測定は可とが可能であるが、測定結果としては他の 2 種と比べ能であるが、より形状精度の良いデータを得るためにると形状精度の低い結果となった。

は外部演算端末による処理が別途必要となる。

この要因としては測定対象に十分に接近して測定が

図３ Intel RealSense D435 測定結果

図４ Intel RealSense SR300 測定結果

図５ Basler Time-of-Flight 測定結果

2.2.4

Basler Time-of-Flight の考察照射した光の飛行時間を測ることで三次元的な情報を計測する Time-of-Flight 方式を採用している。測定範
囲は 13m までと 3 機種の中では最も広範囲な測定が可能である。
図 5 の測定結果を見てみると、測定対象の形状を概ね捉えられているが、ノイズが多く発生している。図 8
図６ 外部演算による計算結果(Intel RealSense D435)は図 5 の取得データを視点変更して観察したものである。表面のノイズと見られるデータがより顕著に確認

2.2.3 Intel RealSense SR300 の考察できる。

ストライプ状の赤外パターンを照射するプロジェク
ターと、このパターンを読み取る 1 つの赤外カメラから構成されるアクティブステレオ方式を採用している。
赤外パターンがはっきりと投影可能な範囲でのみ測定可能となることから、0.2~1.5m という他の機種に比べると狭い測定範囲ではあるが、今回の測定対象については図 4 のとおり非常に形状精度の良いデータを取得
図８ 別視点からの画像(Basler Time-of-Flight)できた。
しかし、この方式のセンサは白色に近い対象物では、ストライプパターンの境界が正確に検出できないことから測定が困難な傾向がある。検証のため、白色の測定対象を図 2 の 3D プリンタで造形し、測定を実施し追加検証として、このノイズによる誤差のレベルを把握するため、図 9 に示す平面領域を測定し凹凸部の値を確認した。測定データを図 10 に示す。

た。図 7 に白色の測定対象のカラー画像と測定した深度画像を示す。深度画像を見てみると、照射されたストライプパターンの境界に沿ってエラーデータが出現していることが確認できる。このようなエラーデータが発生すると、部品の認識が非常に困難となることか

図９ 平面測定領域

図１０ 平面測定データ

ら注意が必要である。
以上より、この視覚センサは白色以外の比較的小型な部品に対して使用するケースであれば非常に有効である。

測定データを見ると、平面領域の形状データが波を打っていることがわかる。この凹凸距離を確認してみると 2mm 程度であった。これは照射した光の散乱によるもので、1 回の反射ではなく、周囲の物体等で複数回の反射を経た光を検出することで発生する Time-ofFlight 方式の一般的な現象となっている。
測定範囲が広いため、大型で設置位置を遠距離にする必要がある場合は有効なセンサであるが、比較的小型の部品については、ノイズデータを除去するための図７ 白色対象物における深度画像

後処理が必要になると考えられる。

2.3 視覚センサの選定

3.2 単純図形の照合による物体認識の結果

比較検証を行った結果、3 方式共に対象部品のサイ視覚センサで測定した形状データから基準データとズや表面性状によって得意、不得意な要素があるため、して与えた形状を探索し、認識できた領域の中心座標

実際の運用の際は状況に応じてこれらの視覚センサをを算出するプログラムの作成を実施した。

使い分けるのが現実的であると考えられる。

プログラムの具体的な処理のながれとしては、はじ

本研究においては測定対象を最も精度良く測定するめに前処理として測定データと基準データの法線ベクことができた、Intel RealSense SR300 を以降の実験に用トルの計算、ダウンサンプリングによるキーポイントいることとした。

設定と特徴量記述（SHOT1)）を実施する。その後、最近傍探索（Kd-tree）とクラスタリング処理（GC2)）によ3. 単純図形の照合による部品認識

り、測定データの中から基準データと特徴が一致する

3.1 実験方法

点群領域をグループ化し、それぞれの中心座標の算出

単純図形の照合による部品認識の位置精度を検証すを行う。この算出した各点群グループの中心座標と、るため、視覚センサで測定したデータから基準データ基準データの原点座標に対する並進方向と回転方向のとして与えた形状を認識するプログラムの作成を行っ移動量を計算し、ロボット座標系への変換を行うことた。

でランダムピッキングに利用した。

その後、2 項で用いた測定対象を複数配置し、選定しプログラムの作成後、図 14 に示すように、2 項で使た低価格視覚センサにより測定データの取得を行った

用した測定対象を平面に 5 個配置し、同じく 2 項で選後、図 11 に示す Stanford Bunny の設計データと図 12定した低価格センサを用いて、複数の測定対象を含むに示す球データ（直径 77mm）による認識結果の比較を測定データの取得を行った。
この測定データから、作成したプログラムによって行った。
また 6 軸垂直多関節型産業用ロボット（デンソーウ

図 11 の設計データを認識させた結果を図 15 に、図 12

ェーブ社製 VS-050）を用いて、低価格視覚センサと単の球データで同様に認識させた結果を図 16 に示す。

純図形照合の組み合わせによるランダムピッキングの実機検証を行った。実機検証に使用した産業用ロボットの外観を図 13 に、仕様を表 2 に示す。

図１４ 複数部品のデータ測定
図１１ 設計データ

図１３ 産業用ロボット

図１２ 球データ

表２ 産業用ロボットの仕様図
メーカ(株)デンソーウェーブ
VS-050型式
軸数
6軸4kg
最大可搬重量505mm
アーム全長
9,080mm/s
合成最大速度±0.02mm
繰り返し精度

図１５ 設計データによる認識

図１６ 球データによる認識

設計データの場合、測定データから方向も含めた正確な位置を認識できている。対して球データによる認識は位置の誤差が大きくなるものの、概ね部品の中心位置については捉えることができている。

部品箱の中にばら積みされた状態の測定対象について、球データでも複数の中心座標は検出できた。
しかし、ロボットによる把持を行おうとすると、ハンドの先端が測定対象に衝突し、およそ 8 割の確率で把持に失敗した。このため単純図形照合では認識した

3.3 単純図形の照合による把持の実機検証
単純図形照合によってどの程度把持が可能であるか部品の位置誤差が大きく把持が困難であり、この誤差を補正する手段が必要である。

を確認するため、ロボットによる動作検証を実施した。
この際の動作プログラムの作成については（国研）
産業技術総合研究所開発のロボットミドルウェアであ4. 触覚センサによる把持技術の構築
4.1 実験方法

る OpenRTM-aist を活用して行い、データ測定、部品中人が物を掴む際や目の届かない位置で手探りを行う

心座標検出、ロボットへの動作命令のそれぞれのプロ場合に、どのような指の動きや感覚を基にしているかグラムをブロック化して構築した。作成したプログラ分析するため、動作観察とデータ取得を行った。

ムのダイヤグラムを図 17 に示す。

動作観察については目視で物を掴む際の指の動きや、把持対象物へのアプローチの仕方を確認した。データ取得に関しては、図 20 に示す 4 つの変位測定点を持つ
スポンジ状の触覚センサ（タッチエンス社製ショッカクポット）を指先に取り付け、把持を行う際の触覚情報を取得した。表 3 に触覚センサの仕様を示す。
その後、人の動作分析で得られた結果をロボットで再現するため、ロボットハンドへの触覚センサへの取図１７ 作成した動作プログラムのダイヤグラム

り付けと、触覚センサと連動したロボット動作プログ
ラムを作成し、3 項で記載した産業用ロボットを用いOpenRTM-aist を利用することにより、各プログラムて実機検証を行った。

をつなぐ要素（例えば視覚センサのみを変更する場合）においても、容易に交換を行うことが可能となり、要素を変更して再構築する際の流用性と、保管性の向上を図ることができた。特に、製品ライフサイクルが比較的短い低価格視覚センサは、変更する頻度が高いため非常に有効である。動作プログラムを作成し、ロボ

図２０ 触覚センサ

ットによる実機検証を実施した様子を図 18 に、低価格視覚センサによる測定データから球データを認識させた結果を図 19 に示す。

図１８ 球照合による動作検証

図１９ 部品認識の様子

メーカ
品名/型式
測定点数
定格変位
不感帯
測定精度
定格荷重
破壊荷重
許容引張荷重耐久性
使用温度

表３ 触覚センサの仕様
タッチエンス(株)ショッカクポット/POTI-001-1
46mm
0.3mm
±15%
6N
500N
-2N
106 回
0～50℃

4.2 人の手探りの動作観察とデータ取得結果
人の把持動作観察の結果、人が手探りで何かを掴もうとする際の特徴として、手を大きく開いた状態では物を軽く摘む動作を数回繰り返しながら面全体に力が掛かる状態に達した時点（図 24 中(b)）で持ち上げる結果となった。

なく、図 21 に示すように人差し指と親指を多少開きながら、外側に反らせて感触を探す傾向が見られた。次4.3 ロボットハンド製作と動作プログラム作成にどのような感覚を基に手探りの動作を行っているの

人の把持動作をロボットで再現するために、人の指かを検証するため、図 22 に示すように触覚センサを人先を模擬した 25°の角度を持つ掴み部を製作し、前述差し指と親指に装着しデータ計測を行った。この際のの実験で用いた触覚センサをロボットハンドに埋め込

人差し指における各測定点の配置を図 23 に、触覚デーんだ。掴み部の形状とロボットハンドに取り付けた様タの結果を図 24 に示す。

子を図 25 に示す。

図２１ 人の把持動作の特徴

図２２ 触覚データ測定の様子

図２５ 人の指を模擬した触覚センサ搭載ロボットハンド

このロボットハンドに埋め込まれた触覚センサのデータと連動してロボットを動作させるため、プログラムの追加作成を行った。作成したロボット動作プログ
ラムのブロックダイヤグラムを図 26 に示す。
図２３ 人差し指での触覚測定点

(a)

(b)

図２６ 触覚センサと連動させたロボットプログラム
図２４ 人差し指の触覚データの測定結果

また中心位置の誤差補正プログラムの動作フローを
触覚データを見てみると、初めに指先側（センサ前側）で感触を確かめながら前進し（図 24 中(a)）
、対象

図 27 に、動作イメージを図 28 に示す。

座標を予め 20mm ずらした地点から把持を行う実験をロボットで実施した。実機検証の条件を図 29 に示す。

図２７ 誤差補正プログラムの動作フロー
図２９ 誤差補正プログラムの実機検証

この結果、通常は把持ができない位置誤差がある中でも、自動的に把持対象の中心へ移動し、確認把持を繰り返すことで取り出すことができた。図 30 に把持対象を取り出した際の様子を示す。
このことから中心位置への誤差補正と、触覚バランスの確認を行うことで、視覚センサによる部品の位置認識に誤差が発生した場合でも、安定した把持が行え
図２８ 誤差補正プログラムの動作イメージることを確認できた。

誤差補正の動作は次のとおりである。まず、認識した部品の位置へロボットハンドを進入させ、2 本指のいずれか一方の触覚センサに部品が触れるまで下降させる。触覚を検知したら現在の座標値を取得し、接触した指先とは反対側の方向へ相対移動させ、逆側の指先のセンサに接触した地点の座標を取得し中央座標を計算する。

図３０ 誤差補正による把持対象の取り出し次に、計算された中央座標に移動し、低把持力で把持動作を行い、触覚データの変位バランスを確認する。
この際に、両側 4 点ずつの触覚データを比較して、変位に 1mm 以上の偏りがあれば、一定距離（例えば 5mm程度）下降して再度確認把持と触覚バランス確認を繰り返す。変位の偏りが 1mm 以下となった時点で安定して把持が行える状態であると判断し、高い把持力で掴み、取り出しを行う。

5. おわりに低価格視覚センサの性能評価・特性把握により、それぞれの測定方式における有効な活用条件を確認した。
ばら積み部品の位置認識に、球や立方体といった簡易な幾何形状データを用いることで把持対象の位置情報を取得する手法を考案した。
さらに、人の手探り動作のデータ分析と、触覚センサを利用した把持位置の誤差補正手法を考案したこと

4.4 ロボットによる手探り動作の実機検証
手探り動作による誤差補正の動作検証のため、部品箱内にばら積みされた測定対象の 1 つに対して、中心で、ランダムピッキングシステムにおける低コスト化・汎用性の向上を達成することができた。 今後は信頼性とピッキング速度の向上を進め、実用化を目指す。

謝 辞本研究の低価格視覚センサの性能評価・特性把握については、（国研）産業技術総合研究所の平成 30 年度
地域産業活性化人材育成事業により実施させて頂きました。ご指導頂きました、増田健主任研究員に心より感謝を申し上げます。

文 献1) F.Tombari, S.Salti, L.D.Stefano.; Unique signatures of histograms for local surface description, In Computer Vision–ECCV 2010, p.356-369(2010).
2) H. Chen, B. Bhanu.; 3D free-form object recogni-tion inrange images using local surface patches, Pattern Recognition Letters, vol.28, No.10, p.1252-1262(2007).