(57)【要約】【課題】ワークをより確実に把持できる物品取り出し装置を提供する。【解決手段】ステレオカメラ５０（物品位置姿勢取得手段）は、取り出し対象となるワークＷ１（物品）の位置および姿勢を表す画像データを取得する。隙間情報取得手段４０は、ワークＷ１の周辺に存在する隙間を含む３次元形状を表す形状データを取得する。制御手段６０は、ワークＷ１について複数の姿勢モデル（物品姿勢モデル）を予め記憶し、各姿勢モデルに対して、ロボットハンド３０（把持手段）の把持動作パターンを少なくとも１つ関連付けて記憶する。制御手段６０は、ワークＷ１の姿勢を姿勢モデルのそれぞれとマッチングし、把持動作パターンと隙間とを比較して把持方法を決定する。【選択図】図４
2014161965.tif 000002
【特許請求の範囲】
【請求項１】
取り出し対象となる物品を含む画像データを得る撮像手段と、
前記撮像手段による前記画像データから前記取り出し対象となる物品の位置および姿勢を認識する物品位置姿勢取得手段と、
前記取り出し対象となる物品を中心とした周辺空間の３次元形状を、３次元座標を持つ複数の点群データとして取得する距離測定手段と、
前記距離測定手段による前記点群データから前記取り出し対象となる物品と周囲の障害物との距離を認識して、前記取り出し対象となる物品の周囲の隙間情報を取得する隙間情報取得手段と、
前記物品を把持する把持手段と、
前記物品位置姿勢取得手段、前記隙間情報取得手段および前記把持手段を制御する制御手段と
を備え、
前記制御手段は、
前記物品に関する複数の物品姿勢モデルを予め記憶する機能と、
各物品姿勢モデルに対して、前記把持手段の把持動作パターンを少なくとも１つ関連付けて記憶する機能と、
前記物品位置姿勢取得手段で得られた前記取り出し対象となる物品の姿勢に基づいて、記憶された複数の前記物品姿勢モデルのうち１つを選択する物品姿勢モデル選択機能と、
選択された物品姿勢モデル及び前記隙間情報認識手段で得られた前記取り出し対象となる物品の周囲の隙間情報に基づいて、記憶された前記把持動作パターンのうち１つを選択する把持動作パターン選択機能と、
を備える、物品取り出し装置。
【請求項２】
前記把持動作パターン選択機能は、
前記隙間情報取得手段により得られた前記取り出し対象となる物品の周囲の隙間と、前記把持動作パターンに応じた必要隙間とを比較して前記把持動作パターンを選択することを特徴とする請求項１に記載の物品取り出し装置。
【請求項３】
前記把持動作パターンは、前記物品姿勢モデルごとに順位付けられて記憶され、
前記物品姿勢モデルのうち１つを選択する前記機能は、前記画像データに基づいて前記物品姿勢モデルを順位付ける機能を含む、
請求項１または２に記載の物品取り出し装置。
【請求項４】
前記距離測定手段は前記把持手段に固定される、請求項１〜３のいずれか一項に記載の物品取り出し装置。
【請求項５】
前記隙間情報取得手段は前記取り出し対象となる物品を簡易形状モデルとして認識するとともに、前記複数の点群データのうち前記簡易形状モデルの端面に最も近い点までの距離を前記隙間として認識する、請求項１〜４のいずれか一項に記載の物品取り出し装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は物品取り出し装置に関し、とくにバラ積みのワークに応用可能なものに関する。
【背景技術】
【０００２】
ワークがバラ積みされている状況から、特定のワークを把持して取り出すための構成として、特許文献１に記載されるものが知られている。特許文献１には、ワークの重なり状態を検出し、その結果に基づいて把持位置を変更する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２３０５１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、ワークが把持可能かどうかの判定精度が低く、結果としてワークを確実に把持できないという問題があった。たとえば特許文献１の技術では、取り出そうとするワークの両側に空き領域があるか否かの判定を行っているが、この空き領域の判定は、そのワークの周囲で他のワークが検出されるか否かに依存する。このため、周辺のワークを認識するための計算コストや認識時間が増大する。また、周辺のワークが適切に認識できない場合（ワークの大部分が隠れている、登録されているワークとは異なる形状のワークが混在している、等）には、隙間を誤認してハンドとワークとが衝突するおそれもある。
【０００５】
本発明は、このような問題を解決するためになされたものであり、ワークをより確実に把持できる物品取り出し装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の問題を解決するため、この発明に係る物品取り出し装置は、取り出し対象となる物品を含む画像データを得る撮像手段と、撮像手段による画像データから取り出し対象となる物品の位置および姿勢を認識する物品位置姿勢取得手段と、取り出し対象となる物品を中心とした周辺空間の３次元形状を、３次元座標を持つ複数の点群データとして取得する距離測定手段と、距離測定手段による点群データから取り出し対象となる物品と周囲の障害物との距離を認識して、取り出し対象となる物品の周囲の隙間情報を取得する隙間情報取得手段と、物品を把持する把持手段と、物品位置姿勢取得手段、隙間情報取得手段および把持手段を制御する制御手段とを備え、制御手段は、物品に関する複数の物品姿勢モデルを予め記憶する機能と、各物品姿勢モデルに対して、把持手段の把持動作パターンを少なくとも１つ関連付けて記憶する機能と、物品位置姿勢取得手段で得られた取り出し対象となる物品の姿勢に基づいて、記憶された複数の物品姿勢モデルのうち１つを選択する物品姿勢モデル選択機能と、選択された物品姿勢モデル及び隙間情報認識手段で得られた取り出し対象となる物品の周囲の隙間情報に基づいて、記憶された把持動作パターンのうち１つを選択する把持動作パターン選択機能とを備える、物品取り出し装置。
【０００７】
このような構成によれば、取り出し対象となるワークの周辺に存在する隙間を含む３次元形状を表す形状データを取得し、この隙間に基づいて把持方法を決定する。
【０００８】
把持動作パターン選択機能は、隙間情報取得手段により得られた取り出し対象となる物品の周囲の隙間と、把持動作パターンに応じた必要隙間とを比較して把持動作パターンを選択することを特徴としてもよい。
把持動作パターンは、物品姿勢モデルごとに順位付けられて記憶され、物品姿勢モデルのうち１つを選択する機能は、画像データに基づいて物品姿勢モデルを順位付ける機能を含んでもよい。
距離測定手段は把持手段に固定されてもよい。
隙間情報取得手段は取り出し対象となる物品を簡易形状モデルとして認識するとともに、複数の点群データのうち簡易形状モデルの端面に最も近い点までの距離を隙間として認識してもよい。
【発明の効果】
【０００９】
本発明に係る物品取り出し装置によれば、取り出し対象となるワークの周辺に存在する隙間を含む３次元形状を表す形状データを取得し、この隙間に基づいて把持方法を決定するので、ワークが把持可能か否かをより適切に判定することができ、不適切な把持方法を避けてワークをより確実に把持することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態１に係る物品取り出し装置の構成の例を示す図である。
【図２】ワークの姿勢モデルおよびロボットハンドの把持動作パターンの例を示す図である。
【図３】制御手段の処理の流れを表すフローチャートである。
【図４】ワーク周辺の隙間を認識する動作について説明する図である。
【発明を実施するための形態】
【００１１】
以下、この発明の実施の形態を添付図面に基づいて説明する。
実施の形態１．
図１に、本発明の実施の形態１に係る物品取り出し装置１０の構成の例を示す。物品取り出し装置１０は、バラ積みされたワークＷの中から、取り出し対象の物品として特定のワークＷを取り出す装置である。物品取り出し装置１０は、ロボットアーム２０およびロボットハンド３０を備える。ロボットアーム２０は１つ以上の関節を備え、関節が動作することによりロボットハンド３０の位置や向きを変更可能である。ロボットハンド３０はワークＷを把持する把持手段として機能する。ロボットアーム２０およびロボットハンド３０の具体的構成は、当業者であれば公知技術に基づいて適宜設計することができる。
【００１２】
物品取り出し装置１０は、３次元形状を表す形状データを取得する隙間情報取得手段４０を備える。隙間情報取得手段４０は、たとえば、特定の空間的パターンを持つ光を投射する投光手段と、物体の表面によって反射された光を含む画像データを取得する撮像手段とを備えており、反射された光のパターンの変形状況に基づいて物体表面の３次元形状を表す形状データを構築できるように構成されている。特許文献１に記載される３次元視覚センサを用いてもよい。なお、この撮像手段は、取り出し対象となる物品を含む画像データを得るものである。
【００１３】
隙間情報取得手段４０によって取得される形状データは、バラ積みされた複数のワークＷを含む形状データである。ここで、ワークＷが存在しない空間を隙間とすると、この形状データは、ワークＷと、その周辺に存在する隙間とを含む３次元形状を表すものということができる。
【００１４】
物品取り出し装置１０は、ワークＷの画像データを取得する物品位置姿勢取得手段を備える。物品位置姿勢取得手段はたとえばステレオカメラ５０として構成される。ステレオカメラ５０は、異なる位置に配置される複数のカメラを備え、これらのカメラで同一のワークＷを撮影することによりワークＷの３次元的配置を表す画像を取得できるものである。ワークＷの３次元的配置とは、ワークＷの基準位置（たとえば重心）の３次元座標と、ワークＷの姿勢（向き）とを含む。物品位置姿勢取得手段は、撮像手段による画像データから取り出し対象となる物品の位置および姿勢を認識する。また、ステレオカメラ５０は、取り出し対象となる物品を中心とした周辺空間の３次元形状を、３次元座標を持つ複数の点群データとして取得する距離測定手段として機能する。隙間情報取得手段４０は、距離測定手段による点群データから取り出し対象となる物品と周囲の障害物との距離を認識して、取り出し対象となる物品の周囲の隙間情報を取得する。
【００１５】
物品取り出し装置１０は、ロボットアーム２０、ロボットハンド３０、隙間情報取得手段４０およびステレオカメラ５０を制御する制御手段６０を備える。制御手段６０は、たとえば演算手段（ＭＰＵ等）および記憶手段（半導体メモリ等）を備えるマイクロコンピュータによって構成することができる。
【００１６】
制御手段６０は、ロボットアーム２０、ロボットハンド３０およびワークＷの空間的配置に関する情報を、記憶手段にあらかじめ記憶している。
図２に、このような空間的配置に関する情報の例を示す。模式的にＸ軸、Ｙ軸、Ｚ軸からなる直交座標系を示す（この座標系の表示は厳密なものではない）。空間的配置に関する情報は、ワークＷに関する複数の姿勢モデル（物品姿勢モデル）を含む。
【００１７】
図２に示す形状のワークＷについて、細い円筒部の向きを姿勢の基準とすると、図２（ａ）はＺ軸正方向（上向き）の姿勢モデルを表し、図２（ｂ）はＸ軸負方向（左向き）の姿勢モデルを表し、図２（ｃ）はＸ軸正方向（右向き）の姿勢モデルを表し、図２（ｄ）はＺ軸負方向（下向き）の姿勢モデルを表す。
【００１８】
また、空間的配置に関する情報は、ロボットハンド３０の把持動作パターンを含む。各姿勢モデルに対して、ロボットハンド３０の把持動作パターンが少なくとも１つ関連付けられている。図２では模式的に示しているが、図２（ａ）は指を平行にしてワークＷに接近してゆく把持動作パターンを表し、図２（ｂ）および図２（ｃ）は指を「く」の字形にしてワークＷに接近してゆく把持動作パターンを表し、図２（ｄ）は指を広げてワークＷに接近してゆく把持動作パターンを表す。把持動作パターンは、たとえば教示データによって構成することが可能である。
【００１９】
各把持動作パターンは、ロボットハンド３０のみならずロボットアーム２０の動作パターンを含んでもよく、ロボットハンド３０の動作についてはより複雑な指の動作パターンを含んでもよい。また、図２では１つの姿勢モデルについて把持動作パターンがそれぞれ１つずつ関連付けられているが、１つの姿勢モデルについて複数の把持動作パターンが関連付けられてもよい。また、この例ではいずれもＺ軸負方向（上側）からロボットハンド３０がワークＷに近づいてゆく動作を想定しているが、異なる方向から接近する把持動作パターンも定義可能である。
【００２０】
以上のように構成される物品取り出し装置１０の動作を、図３および図４を用いて説明する。
図３は、制御手段６０の処理の流れを表すフローチャートである。まず制御手段６０は、取り出し対象となるワークＷの位置および姿勢を認識する（ステップＳ１）。たとえば、ステレオカメラ５０から画像データを受信し、この画像に基づいて、取り出し対象となるワークＷを特定し、そのワークＷの位置および姿勢を決定する。以下、取り出し対象として決定されたワークＷを、ワークＷ１として参照する。
【００２１】
次に、制御手段６０は、ワークＷ１周辺の隙間を認識する（ステップＳ２）。
図４を用いて、ワークＷ１周辺の隙間を認識する動作について説明する。図４では、ワークＷ１の周辺に障害物７１および障害物７２が存在している。障害物７１および障害物７２は、他のワークＷであってもよいが、図示のようにワークＷと異なる形状を有するものであってもよい。また、ワークＷを収容する容器の内部構造（壁等）であってもよい。
【００２２】
制御手段６０は、隙間情報取得手段４０から、ワークＷ１と、その周辺に存在する隙間とを含む３次元形状を表す形状データを取得する。形状データは、たとえば３次元座標において複数の点Ｐ（ｘ，ｙ，ｚ）を表すデータを含む。制御手段６０は、この形状データに含まれるすべての点Ｐの座標（または、少なくともワークＷ１の全体を含む所定の領域に含まれるすべての点Ｐの座標）に基づいて、隙間を認識する。
【００２３】
ここで、ワークＷ１が占める空間およびその近傍の所定範囲の空間については、形状データに関わらず隙間として認識する。たとえば、ワークＷ１の位置および姿勢に基づいてワーク占有空間Ａ１（図４の例では直方体である）を決定し、ワーク占有空間Ａ１に含まれる点Ｐについては形状データから除外する。このようにして、形状データを構成する各点Ｐのうち、ワークＷ１を構成しない点のみが、障害物を表す点として認識されることになる。
【００２４】
隙間の具体的な認識手法は、形状データの内容に応じて適切なものを採用すればよいが、たとえば次のようにして、形状データに含まれる各点Ｐの座標から直ちに隙間を決定することができる。すなわち、制御手段６０は、ある点Ｐ（ｘ，ｙ，ｚ）について、その点よりも上方向（Ｚ軸正方向）には障害物が存在せず（すなわち隙間であり）、その点よりも下方向（すなわちＺ軸負方向）には障害物が存在すると想定する。
【００２５】
次に、制御手段６０は、ステップＳ１で認識したワークＷ１の姿勢に基づき、ワークＷの向きすなわち姿勢モデルを選択する（ステップＳ３）。たとえば、制御手段６０は、認識したワークＷ１の姿勢と、記憶している各姿勢モデル（図２）との間でマッチングを行い、マッチ度に基づいて各姿勢モデルを順位付ける。そして、最高位として順位付けられた姿勢モデルを選択する。このように、制御手段６０は、物品位置姿勢取得手段で得られた取り出し対象となる物品の姿勢に基づいて、記憶された複数の物品姿勢モデルのうち１つを選択する物品姿勢モデル選択機能を備える。
【００２６】
次に、制御手段６０は、ロボットハンド３０の把持動作パターンを選択する（ステップＳ４）。これは図２に示す姿勢モデルと把持動作パターンとの関連付けに基づいて行われる。なお、図２の例ではいずれの姿勢モデルにも単一の把持動作パターンしか関連付けられていないので、姿勢モデルに応じて常に同一の把持動作パターンが選択されることになるが、１つの姿勢モデルに複数の把持動作パターンが関連付けられている場合には、所定の基準に従っていずれかの把持動作パターンを選択する。たとえば、姿勢モデルごとに把持動作パターンを順位付けて記憶しておき、この順位に従って選択してもよい。このように、制御手段６０は、選択された物品姿勢モデル及び隙間情報認識手段で得られた取り出し対象となる物品の周囲の隙間情報に基づいて、記憶された把持動作パターンのうち１つを選択する把持動作パターン選択機能を備える。
【００２７】
次に、制御手段６０は、ステップＳ２において認識された隙間と、ステップＳ４において選択された把持動作パターンとを比較し、把持動作に対して隙間が十分か否かを判定する（ステップＳ５）。
【００２８】
たとえば、その把持動作パターンにおいてロボットハンド３０またはその指が通過する領域が、図４の必要隙間Ａ２であるとする（なお図４の例では必要隙間Ａ２はワークＷ１の両側に１箇所ずつ、合計２箇所に分散して存在する）。必要隙間Ａ２の全体が、実際の隙間（ステップＳ２で認識された隙間）に含まれる場合には、隙間は十分であると判定する。また、必要隙間Ａ２の少なくとも一部が実際の隙間からはみ出す（すなわち障害物と干渉する）場合には、隙間は十分ではないと判定する。本実施形態では、隙間の形状は障害物７１および障害物７２の複数の点Ｐ（ｘ，ｙ，ｚ）によって表されるので、障害物７１または障害物７２を構成する点Ｐのいずれかと、把持動作パターンに応じた必要隙間Ａ２とが干渉するか否かを判定することになる。このように、把持動作パターン選択機能は、隙間情報取得手段により得られた取り出し対象となる物品の周囲の隙間と、把持動作パターンに応じた必要隙間とを比較して把持動作パターンを選択する。
【００２９】
隙間が十分であると判定された場合には、制御手段６０は、選択された把持動作パターンに基づいてワークＷ１に対する把持動作を実行する（ステップＳ６）。
【００３０】
隙間が十分でないと判定された場合には、制御手段６０は、未選択の把持動作パターンがあるか否かを判定する（ステップＳ７）。未選択のものがある場合には、処理をステップＳ４に戻す。なお、この場合、一度選択された把持動作パターンは選択の対象から除外し、残る把持動作パターンのうちから選択することになる。
【００３１】
未選択の把持動作パターンがない場合、すなわちすべての把持動作パターンについて隙間が不十分であると判定された場合には、制御手段６０は未選択の向き（姿勢モデル）があるか否かを判定する（ステップＳ８）。未選択のものがある場合には、処理をステップＳ３に戻す。なお、この場合、一度選択された姿勢モデルは選択の対象から除外し、残る姿勢モデルのうちから選択することになる。
【００３２】
未選択の姿勢モデルがない場合、すなわちあらゆる姿勢モデルのあらゆる把持動作パターンについて隙間が不十分であると判定された場合には、制御手段６０は別のワークＷについて処理を試みる。
【００３３】
以上説明するように、実施の形態１に係る物品取り出し装置１０によれば、取り出し対象となるワークＷ１の周辺に存在する隙間を含む３次元形状を表す形状データを取得し、この隙間に基づいて把持方法を決定するので、ワークＷ１が把持可能か否かを適切に判定することができ、不適切な把持方法を避けてワークＷ１をより確実に把持することができる。また、他のワークとロボットハンド３０との接触をより確実に回避できる。
【００３４】
また、隙間の認識を、周辺の物体の３次元形状に基づいて行うので、ワークＷ１以外のワークについては位置や姿勢を厳密に認識する必要がなく、計算コスト（または認識時間）を節約できる。とくに、把持動作パターンを教示データによって構成すれば、必要な計算は把持動作の可否のみであり、計算時間が短くなる。
【００３５】
また、隙間の個数をカウントする必要がないので、隙間の個数に依存する制御を行う従来技術と比較すると、計算コストを低減できるとともに、カウント誤りによる不適切な制御を回避できる。さらに、ワークＷ１以外のワークについて位置や姿勢を認識できない場合（たとえば大部分が隠れている場合や、予め記憶している形状とは異なる形状のワークが混在している場合等）であっても、隙間を誤認する可能性を低減できる。
【００３６】
上述の実施の形態１において、以下のような変形を施すことができる。
実施の形態１では、ステップＳ２において、障害物が存在しない空間をすべて隙間であると認識する。変形例として、特定の形状および広がりを持つ空間のみ隙間として認識するようにしてもよい。たとえば、ロボットハンド３０またはその指の形状および動作範囲に応じ、ロボットハンド３０が所定の動作を行える程度の空間のみを隙間として認識してもよい。具体例として、障害物が存在しない空間を占める最大の直方体（１つまたは複数）を算出し、この直方体を隙間として扱ってもよい。
【００３７】
隙間の数をカウントし、その数に応じて把持動作パターンを選択してもよい。たとえば、選択可能な把持動作パターンを隙間の数に応じて制限したり、隙間の数に応じて把持動作パターンの順位を変更してもよい。なお、把持動作パターンは、２本の指でつまむ動作や、３本の指でつまむ動作等、適宜事前に登録しておくことが可能である。
【００３８】
隙間の配置（位置および形状等）に応じて指位置を調整してもよい。たとえば、異なる指位置にそれぞれ対応する把持動作パターンを定義しておいてもよい。
【００３９】
ワークＷ１を把持する把持手段は、多自由度のロボットハンド３０でなくともよい。たとえばワークＷ１を吸着する吸着手段（エアや磁石にもるもの等）を備えたものであってもよく、平行グリッパであってもよい。また、複数の把持手段を備え、状況に応じてこれらを選択的に使用してもよい。たとえば、ワークＷ１の姿勢モデルごとに、または把持動作パターンごとに、異なる把持手段を用いてもよい。具体例として、上向きの場合には平行グリッパによる把持を行い、右向きや左向きの場合には吸着手段による吸着を行ってもよい。この際、ロボットアーム２０を共通で使用し、姿勢モデルや把持動作パターンに応じてツールチェンジにより把持手段を交換してもよい。
【００４０】
隙間情報取得手段４０およびステレオカメラ５０の配置は適宜設計可能である。図１に示すように、これらの一方または双方をバラ積みされたワークに対して固定（実際には容器等に対して固定）してもよい。
【００４１】
また、隙間情報取得手段４０およびステレオカメラ５０の一方または双方を、ロボットハンド３０に固定してもよい。この場合、ロボットハンド３０の位置から画像データや形状データが取得できるので、隙間の判定がより正確に行える。
【００４２】
また、隙間情報取得手段４０およびステレオカメラ５０の一方または双方を、ロボットハンド３０とは独立に移動可能となるよう構成してもよい。この場合、ロボットハンド３０が把持動作を行っている間に、次の把持動作の対象についての判定処理を進めることができ、作業が高速化できる。
【００４３】
隙間情報取得手段は、取り出し対象となる物品を簡易形状モデルとして認識するとともに、複数の点群データのうち簡易形状モデルの端面に最も近い点までの距離を隙間として認識してもよい。
【符号の説明】
【００４４】
１０  物品取り出し装置、２０  ロボットアーム、３０  ロボットハンド（把持手段）、４０  隙間情報取得手段、５０  ステレオカメラ（物品位置姿勢取得手段）、６０  制御手段、７１，７２  障害物、Ａ１  ワーク占有空間、Ａ２  必要隙間、Ｐ  点（形状データを構成する点）、Ｗ  ワーク（物品）、Ｗ１  ワーク（取り出し対象となる物品）。
【図１】
2014161965.tif 000003
【図２】
2014161965.tif 000004
【図３】
2014161965.tif 000005
【図４】
2014161965.tif 000006