(57)【要約】【課題】視覚センサによるワークの認識及び測定に基づいてワークの取り出しを行う装置において、実施する必要のない無駄なステップを省き、装置全体の処理の効率化を図る。【解決手段】ワーク取り出し装置１１は、ロボット１３と、広い範囲の領域内に位置するワークを認識するためのワーク認識装置２５と、ワークの３次元位置の精密な測定を行うための精密測定装置２７と、取り出すべきワークを選択するワーク選択装置３５と、ワークの３次元位置の測定又は取り出しが失敗したときに、３次元位置の測定又は取り出しに失敗したＮＧワークの粗位置の情報を記憶するＮＧワーク記憶装置３５とを備える。ワーク選択装置３５は、ＮＧワーク記憶装置に記憶されたＮＧワークを除外して、次に測定すべきワークを選択し、ロボット１３は、精密測定装置２７によって測定されたワークの３次元位置に基づいて、ワークの取り出しを行う。【選択図】図１
2008087074.tif 000002
【特許請求の範囲】
【請求項１】
ワークを把持するロボットと、相対的に広い範囲の領域内に位置するワークの集合に含まれる個々のワークの粗位置を認識するためのワーク認識装置と、相対的に狭い範囲の領域内のワークの３次元位置の精密な測定を行うための精密測定装置と、前記ワークの集合の中から取り出すべきワークを選択するワーク選択装置とを備え、前記ワーク選択装置によって選択されたワークの３次元位置の精密な測定を前記精密測定装置によって行い、前記精密測定装置によって測定された前記ワークの３次元位置に基づいて、前記ワークの集合の中から前記ロボットによって前記選択されたワークを取り出すワーク取り出し装置であって、
前記精密測定装置によるワークの３次元位置の測定又は前記ロボットによるワークの取り出しが失敗したときに、３次元位置の測定又は取り出しに失敗したワークの粗位置の情報を記憶するＮＧワーク記憶装置をさらに備え、前記ワーク選択装置が、前記ワーク認識装置によって認識された個々のワークの粗位置の情報と、前記ＮＧワーク記憶装置に記憶された情報とに基づき、前記ワーク認識装置によって認識された前記ワークの集合から３次元位置の測定又は取り出しに失敗したワークを除外して、次に前記精密測定装置によって測定すべきワークを選択するようにしたことを特徴とするワーク取り出し装置。
【請求項２】
前記精密測定装置は前記選択されたワークの姿勢をさらに測定する、請求項１に記載のワーク取り出し装置。
【請求項３】
前記ＮＧワーク記憶装置は、該ＮＧワーク記憶装置に記憶される失敗したワークの粗位置の情報と前記ワーク認識装置によって認識されたワークの集合の個々のワークの粗位置の情報とを照合して、前記ＮＧワーク記憶装置に記憶される失敗したワークに対応するワークが前記ワーク認識装置によって認識されたワークの集合の中に存在しなければ、当該失敗したワークに関する情報を削除する、請求項１に記載のワーク取り出し装置。
【請求項４】
前記ＮＧワーク記憶装置は、該ＮＧワーク記憶装置に記憶される失敗したワークの粗位置の情報と前記ワーク認識装置によって認識されたワークの集合の個々のワークの粗位置の情報とを照合して、前記ＮＧワーク記憶装置に記憶される失敗したワークに対応するワークが前記ワーク認識装置によって認識されたワークの集合の中に存在しないことが予め定められた回数連続して確認されたとき、当該失敗したワークに関する情報を削除する、請求項１に記載のワーク取り出し装置。
【請求項５】
前記ＮＧワーク記憶装置は、３次元位置の測定又は取り出しに失敗したワークの粗位置の情報が記憶されてから、前記ワーク認識装置によるワークの集合の認識から前記ロボットによるワークの取り出しまでのサイクルが予め定められた回数行われると、当該失敗したワークの情報を削除する、請求項１に記載のワーク取り出し装置。
【請求項６】
前記ワーク認識装置と前記精密測定装置が同一の装置によって構成されている、請求項１に記載のワーク取り出し装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットを用いてワークの集合の中から順次ワークを取り出すワーク取り出し装置に関する。
【背景技術】
【０００２】
各種産業では、ワークの把持、搬送などの取り扱いにロボットが使用されている。このようなロボットの用途の中には、収容箱内やパレット上に乱雑におかれた状態のワークの中から個々のワークの取り出しを行う用途、いわゆる「バラ積み取り出し」用途がある。バラ積み取り出し用途では、まずＣＣＤカメラなどを用いた全体探索用センサによって撮像した広範囲の領域の２次元画像に基づいて、取り出すべきワークのおおよその位置を判断した後、３次元視覚センサのような精密測定用センサによる狭範囲の領域の撮像データに基づいて特定のワークの３次元位置及び姿勢の精密な測定を行い、測定されたワークの３次元位置及び姿勢に基づいて、ロボットによるワークの把持が行われる。３次元視覚センサとしては、スリット光やスポット光を対象物に投射して対象物面上に周辺よりも高輝度の光帯又は光点を形成し、これをＣＣＤカメラ等の撮像装置によって観測して三角測量の原理によって対象物の３次元計測を行うものや、２台の撮像装置を用いてスレテオ画像処理によって対象物の位置を３次元的に計測するものが知られている。
【０００３】
例えば、特許文献１には、広範囲の領域の２次元画像を取得するためのＣＣＤカメラと、狭範囲の領域でワークの３次元位置を測定するためのレーザセンサとを組み合わせて使用した複合センサロボットシステムが開示されている。また、特許文献２には、広範囲の領域を撮像するカメラによって検出された各ワークの部分的特徴に基づいて、検出された複数のワークの取り出し優先順位を決定する技術が開示されている。
【０００４】
【特許文献１】国際公開第９７／２４２０６号パンフレット
【特許文献２】特開２００４−５０３９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したように、いわゆる「バラ積み取り出し」用途では、広範囲の領域の撮像に基づいたワークの認識（以下、「全体探索」と記載する）と狭範囲の領域の撮像に基づいたワークの３次元位置及び姿勢の精密な測定（以下、「精密測定」と記載する）とを組み合わせて、ワークの３次元位置及び姿勢を検出し、ロボットが検出されたワークの３次元位置及び姿勢に基づいてそのワークの取り出しを行う。
【０００６】
ところが、全体探索で認識されたワークであっても精密測定を行えないものがある。例えば、図８（ａ）に示されているように、広範囲の領域を撮像するために図中で収容箱の上方に位置する全体探索用センサ（広域用センサ）と狭範囲の領域で特定のワークを撮像するために全体探索用センサよりも下方に位置する精密測定用センサ（狭域用センサ）とを用いており、全体探索を行うときと精密測定を行うときとで異なった方向からワークを撮像する場合、上方に位置する全体探索用センサからは見えるワークであっても、全体探索用センサよりも下方に位置する精密測定用センサからは他のワークによって隠蔽されて見えず、精密測定を行えないことがある。また、図８（ｂ）に示されているように、上方に位置する全体検索用センサからは見えるワークであっても、下方に位置する精密測定用センサからでは収容箱の壁等が邪魔になって見えないこともある。
【０００７】
さらに、精密測定を行うことにより３次元位置及び姿勢を検出することができたワークであってもロボットによって把持することができないものもある。例えば、図８（ｃ）に示されているように、精密測定されたワークが収容箱の壁の近傍に位置する場合、精密測定用センサによる精密測定を行うことができても、ロボットが収容箱の壁に干渉してそのワークに接近できない。実際のワーク取り出し装置では、収容箱の形状やロボットの形状をロボット制御装置に予め記憶しておき、ロボットの移動を行う前にロボットが他の物体と干渉しないかをチェックし、ロボットと他の物体とが干渉することを未然に防ぐことが一般的である。
【０００８】
全体探索では、上述した特許文献２に開示されているような技術を用いて、精密測定及び取り出しを行うのに適したワークに優先順位をつけて選択するが、上述した問題を完全に回避することは困難である。したがって、全体探索によって検出されたものの、上述した問題による理由を含む何らかの理由によって最終的な取り出しにまで至らなかったワークについて、以降の処理において特別の配慮をしなければ、そのワークに対して精密測定や取り出しの試みを繰り返すことになり、サイクルタイムを遅延させたり、処理の停止を招いたりする恐れがある。
【０００９】
よって、本発明の目的は、上記従来技術に存する問題を解消して、視覚センサによるワークの認識及び測定に基づいてロボットによるワークの取り出しを行う装置において、実施する必要のない無駄なステップを省き、装置全体の処理の効率化を図ることにある。
【課題を解決するための手段】
【００１０】
本発明によれば、ワークを把持するロボットと、相対的に広い範囲の領域内に位置するワークの集合に含まれる個々のワークの粗位置を認識するためのワーク認識装置と、相対的に狭い範囲の領域内のワークの３次元位置の精密な測定を行うための精密測定装置と、前記ワーク認識装置によって認識された前記ワークの集合の中から取り出すべきワークを選択するワーク選択装置とを備え、前記ワーク選択装置によって選択されたワークの３次元位置の精密な測定を前記精密測定装置によって行い、前記精密測定装置によって測定された前記ワークの３次元位置に基づいて、前記ワークの集合の中から前記ロボットによって前記選択されたワークを取り出すワーク取り出し装置であって、前記精密測定装置によるワークの３次元位置の測定又は前記ロボットによるワークの取り出しが失敗したときに、３次元位置の測定又は取り出しに失敗したワークの粗位置の情報を記憶するＮＧワーク記憶装置をさらに備え、前記ワーク選択装置が、前記ワーク認識装置によって認識された個々のワークの粗位置の情報と、前記ＮＧワーク記憶装置に記憶された情報とに基づき、前記ワーク認識装置によって認識された前記ワークの集合から３次元位置の測定又は取り出しに失敗したワークを除外して、次に前記精密測定装置によって測定すべきワークを選択するようにしたワーク取り出し装置が提供される。
上記ワーク取り出し装置において、前記精密測定装置は前記選択されたワークの姿勢をさらに測定することが好ましい。
また、前記ワーク認識装置と前記精密測定装置は同一の装置によって構成されていてもよい。
【００１１】
一つの実施形態において、前記ＮＧワーク記憶装置は、該ＮＧワーク記憶装置に記憶される失敗したワークの粗位置の情報と前記ワーク認識装置によって認識されたワークの集合の個々のワークの粗位置の情報とを照合して、前記ＮＧワーク記憶装置に記憶される失敗したワークに対応するワークが前記ワーク認識装置によって認識されたワークの集合の中に存在しなければ、当該失敗したワークに関する情報を削除する。
【００１２】
他の実施形態において、前記ＮＧワーク記憶装置は、該ＮＧワーク記憶装置に記憶される失敗したワークの粗位置の情報と前記ワーク認識装置によって認識されたワークの集合の個々のワークの粗位置の情報とを照合して、前記ＮＧワーク記憶装置に記憶されるワークに対応する失敗したワークが前記ワーク認識装置によって認識されたワークの集合の中に存在しないことが予め定められた回数連続して確認されたとき、当該ワークに関する情報を削除する。
【００１３】
別の実施形態において、前記ＮＧワーク記憶装置は、３次元位置の測定又は取り出しに失敗したワークとその粗位置の情報が記憶されてから、前記ワーク認識装置によるワークの集合の認識から前記ロボットによるワークの取り出しまでのサイクルが予め定められた回数行われると、当該失敗したワークの情報を削除する。
【発明の効果】
【００１４】
本発明のワーク取り出し装置によれば、過去に精密測定装置による精密測定又はロボットによる取り出しに失敗したワークをＮＧワークとしてＮＧワーク記憶装置に記憶し、ワーク認識装置によって認識されたワークの集合の中から、ＮＧワーク記憶装置に記憶されたワークを除外して、次に精密測定及び取り出しを行うべきワークを選択するので、失敗したワークに対して、再度、精密測定ステップ及び取り出しステップを行い、失敗を繰り返すことを回避させることができる。この結果、サイクルタイムの遅延や処理の停止を招くことが防止される。
【００１５】
また、所定条件を満たす場合にＮＧワーク記憶装置から失敗したワークの情報を削除するようにすれば、取り出し作業を繰り返すうちにワークの状態が変化し、以前に精密測定又は取り出しに失敗したワークに対する精密測定又は取り出しが可能になったときに、そのワークの精密測定及び取り出しを再度試みることができるようになる。この結果、取り出し装置の処理効率を向上させることができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して、本発明のワーク取り出し装置の実施形態を説明する。
最初に、図１及び図２を参照して、本発明のワーク取り出し装置の全体構成を説明する。図２に示されているように、ワーク取り出し装置１１は、ワークＷを把持、搬送するためのロボット１３と、広範囲の領域の撮像を行うことができる広域用センサ１５と、広域用センサ１５と比較して狭い範囲の領域の撮像を行うことができる狭域用センサ１７と、広域用センサ１５及び狭域用センサ１７によって撮像された画像を処理するための画像処理装置１９と、ロボット１３、広域用センサ１５、狭域用センサ１７、画像処理装置１９等を制御する制御装置２１とを備える。
【００１７】
ロボット１３は、複数のワークＷが乱雑に積載された収容箱２３やパレットの前方に設置され、制御装置２１からの指令に基づいて、収容箱２３やパレット上のワークＷの中から選択されたワークＷを取り出し、次工程などに送る。ロボット１３は、ワークＷの把持、搬送を行うことができるものであれば任意のタイプのロボットを使用することができる。図２に示されている実施形態では、互いに関節接合された複数のアーム部分とハンド部分とからなる多関節型ロボットが使用されている。
【００１８】
広域用センサ１５は、収容箱２３やパレット上のワークＷの集合全体を撮像できるように構成されており、撮像した画像に基づいてワークＷの集合に含まれる個々のワークＷの粗位置（おおよその位置）が検出できる程度の解像度を有する。図２に示されている実施形態では、広域用センサ１５として、ＣＣＤカメラやＣＭＯＳカメラのような２次元撮像カメラが使用されており、収容箱２３全体が視野に収まるように収容箱２３の上方に設置されている。広域用センサ１５として、３次元視覚センサを使用することも可能である。
【００１９】
狭域用センサ１７は、選択された特定のワークＷを高解像度で撮像し、撮像データに基づいてワークＷの３次元位置及び姿勢を精密に測定できるように構成されている。図２に示されている実施形態では、ロボット１３の手先部に取り付けられた３次元視覚センサが使用されている。３次元視覚センサとしては、スリット光やスポット光を対象物に投射して対象物面上に周辺よりも高輝度の光帯又は光点を形成し、これをＣＣＤカメラ等の撮像装置によって観測して三角測量の原理によって対象物の３次元計測を行うものや、２台の撮像装置を用いてスレテオ画像処理によって対象物の位置及び姿勢を３次元的に計測するものを使用することができる。
【００２０】
画像処理装置１９は、ＣＰＵ、データメモリ、フレームメモリ、画像処理プロセッサ及びインターフェイス等を備える周知のタイプのものであり、広域用センサ１５や狭域センサ１７によって取得された撮像データを処理して、ワークＷの位置及び姿勢を検出又は測定する。詳細には、画像処理装置１９は、広域用センサ１５によって取得された画像又は２次元撮像データを処理して、少なくともワークＷの粗位置等を検出すると共に、狭域用センサ１７によって取得された画像又は３次元撮像データを処理して、少なくともワークＷの３次元位置及び姿勢を測定する。このように、広域用センサ１５と画像処理装置１９とは、広範囲の領域を撮像することによりその領域内に位置するワークの集合に含まれる個々のワークを認識し、そのワークの粗位置を検出するワーク認識装置２５（図１を参照）を構成している。また、狭域センサ１７と画像処理装置１９とは、選択された特定のワークを含む狭範囲の領域を撮像し、撮像データに基づいてワークの３次元位置及び姿勢を精密に測定する精密測定装置２７（図１を参照）を構成している。
【００２１】
図１に示されているように、制御装置２１は、データ取込部２９と、データ記憶部３１と、ロボット制御部３３と、ＮＧワーク記憶部３５と、ワーク選択部３７とを含む。データ取込部２９は、ワーク認識装置２５及び精密測定装置２７から出力されるワークＷの粗位置データ、ワークの３次元位置及び／又は姿勢データ等のデータを取り込み、取り込んだデータをデータ記憶部３１やロボット制御部３３などに送る。データ記憶部３１は、データ取込部２９を通して取り込まれたデータを記憶し、必要に応じて、ＮＧワーク記憶部３５やワーク選択部３７に提供する。ＮＧワーク記憶部３５は、精密測定装置２７によるワークの３次元位置及び姿勢の測定又はロボット１３によるワークＷの把持及び取り出しが失敗したときに、３次元位置及び姿勢の測定又は把持及び取り出しに失敗したワークＷｆ（以下、ＮＧワークと記載する）についてワーク認識装置２５によって検出された粗位置等の情報をブラックリストとして記憶する。ワーク選択部３７は、広域用センサ１５からの画像又は２次元撮像データを処理して認識されたワークＷの集合に含まれる個々のワークＷの粗位置等の情報と、ＮＧワーク記憶装置３５に記憶されたＮＧワークＷｆの粗位置等の情報とに基づいて、ワーク認識装置２５によって認識されたワークＷの集合からＮＧワークＷｆを除外して優先順位を決定し、決定された優先順位に従ってロボット１３により取り出すべきワークＷを選択する。ロボット制御部３３は、選択されたワークＷの粗位置情報に基づいてロボット１３を制御し、精密測定装置２７（すなわち、狭域用センサ１７及び画像処理装置１９）によるワークＷの精密測定を行い、また、精密測定装置２７によって測定されたワークＷの３次元位置及び姿勢に基づいてロボット１３を制御し、ワークＷの取り出しを行う。
【００２２】
次に、図３を参照して、図１及び図２に示されているワーク取り出し装置１１によるワークＷの取り出し手順を説明する。最初に、ステップＳ１０１において、ワーク認識装置２５による全体探索が行われる。全体探索は、以下のような手順によって行われる。収容箱２３の上方に設置された広域用センサ１５により収容箱２３全体を撮像し、取得した画像又は２次元撮像データを画像処理装置１９により処理して、収容箱２３内に積載されたワーク集合に含まれる個々のワークＷを認識し、各ワークＷの粗位置（Ｖｔ、Ｈｚ）、角度θ、サイズＳ等の情報を検出する。検出された各ワークＷのこれら粗位置等の情報（以下、ワークデータと記載する）は、制御装置２１のデータ取込部２９を通してデータ記憶部３１に記憶される。ワーク選択部３７は、データ記憶部３１に記憶された各ワークＷのワークデータに基づき、予め定められた方法で、取り出すワークＷの優先順位を決定し、優先順位に従ってワークデータを並べた図４に示されているような全体探索ワークデータリストを作成し、データ記憶部３１に記憶する。各ワークデータは、図４中のインデックスｉによって「ｉ番目のワークデータ」として参照される。また、図４に示されている全体探索ワークデータリストのＶｔはワーク認識装置２５によって認識された各ワークＷの画像上での位置の縦座標の値、Ｈｚはワーク認識装置２５によって認識された各ワークＷの画像上での位置の横座標の値、角度θは画像処理装置１９に予め教示されたワークテンプレートに対する撮像されたワークＷの相対回転角度、サイズＳは画像処理装置１９に予め教示されたワークテンプレートのサイズに対する撮像されたワークＷのサイズの比率である。なお、優先順位の決定方法としては、例えば特許文献２に記載されているような公知の方法を使用することができ、ここでは詳しく説明しない。
【００２３】
次に、ステップＳ１０２において、ワーク選択部３７は、データ記憶部３１に記憶された全体探索ワークデータリストとＮＧワーク記憶部３５に記憶されたブラックリストとを照合し、ブラックリストに登録されたＮＧワークＷｆに該当するワークＷのワークデータを全体探索ワークデータリストから除外し、以降の処理の対象外とする。ＮＧワーク記憶部３５に記憶されたブラックリストは、後述する精密測定又はワーク取り出しが成功に至らなかったＮＧワークＷｆについてのワークデータを蓄積するものである。ブラックリストには、図５に示されているように、インデックスｊで参照されるｊ番目のワークＷｆについて、粗位置（Ｖｔ、Ｈｚ）、角度θ、サイズＳに加え、ブラックリストへの滞留回数Ａｊ、全体探索で認識されたワークとブラックリスト中のＮＧワークＷｆとの未対応回数Ｂｊに関する情報が登録されている。「回数」とは、後述する図３中のブラックリストを更新するステップを行うたびに計数される数を意味する。
【００２４】
ここで、図４及び図５に示されている全体探索ワークデータリスト及びブラックリストのデータを例にして、上記除外するステップＳ１０２の詳細を説明する。ステップＳ１０１の全体探索においてワーク認識装置２５によってｋ個のワークＷが認識されて、制御装置２１のワーク選択部３７によって図４に示されているような全体探索ワークデータリストが作成されており、また、全体探索が行われる直前に図５に示されているようなｍ個のＮＧワークＷｆが登録されたブラックリストが制御装置２１のＮＧワーク記憶部３５に記憶されているものとする。ワーク選択部３７は、全体探索ワークデータリストのワークデータとブラックリストのワークデータとの照合の際、両ワークデータの誤差が予め定められた誤差許容範囲内であれば、両ワークデータが同一のワークを表していると推測し、全体探索ワークデータリストとブラックリストに共通している同一のワークを選出する。例えば、誤差許容範囲は、位置Ｖｔ、Ｈｚについて±３ｐｉｘｅｌ、角度θについて±３°、サイズＳについて±３％と予め定められる。この場合、全体探索ワークデータリスト中の２番目（ｉ＝２）のワークＷとブラックリスト中の３番目（ｊ＝３）のＮＧワークＷｆとを比較すると、位置、角度、サイズが互いに非常に近く、誤差許容範囲内であることが分かる。したがって、両ワークデータは同一のワークＷを表しているとものと推測される。このように同一のワークＷが検出された場合、全体探索ワークデータリストから２番目のワークデータが削除される。このような処理が全体探索ワークデータリストとブラックリストとの間で漏れなく行われる。
【００２５】
次に、ステップＳ１０３において、ブラックリストの更新が行われる。ブラックリストの更新の詳細な手順が図６に示されている。まず、ブラックリストの更新のステップＳ１０３が開始されるたびに、ブラックリスト中の各ワークデータのＡjの値に１が加算される（ステップＳ２０１）。後述するように、精密測定又はワークＷの把持及び取り出しの何れかが成功しなかった場合には、成功しなかったＮＧワークＷｆのワークデータがＡj＝０及びＢj＝０と共にブラックリストに登録されるので、このＡjは、各ＮＧワークＷｆのワークデータがブラックリスト中に滞留している回数、すなわち各ＮＧワークＷｆのワークデータがブラックリストに登録されている間に行われたブラックリスト更新のステップＳ１０３の回数を表すことになる。また、ブラックリスト更新のステップＳ１０３の直前に行われたステップＳ１０２においてブラックリストと全体探索ワークデータリストとの間で対応付けが成立したブラックリスト中のＮＧワークＷｆ（すなわち、全体探索ワークデータリスト中に対応する同一のワークＷが見つかったブラックリスト中のＮＧワークＷｆ）について、そのワークデータのＢjを０にリセットし、対応付けが成立しなかったＮＧワークＷｆ（すなわち、全体探索ワークデータリスト中に対応する同一のワークＷが見つからなかったブラックリスト中のＮＧワークＷｆ）について、そのワークデータのＢjの値に１が加算される（ステップＳ２０２）。
【００２６】
次に、各ＮＧワークＷｆのワークデータのＡjの値が予め定められた定数ＣAと比較され（ステップＳ２０３）、ＣAと等しいか又はそれより大きい場合、このＮＧワークＷｆのワークデータがブラックリストから抹消される（ステップ２０５）。したがって、ブラックリスト中のＮＧワークＷｆのワークデータは、ＣA回だけブラックリストデータとして利用された後にブラックリストから抹消されることになる。ＣAは通常１以上の値が設定される。次に、各ＮＧワークＷｆのワークデータのＢjの値が定数ＣBと比較され（ステップＳ２０４）、ＣBと等しいか又はそれより大きい場合、このＮＧワークＷｆのワークデータがブラックリストから抹消される（ステップＳ２０５）。ＣB回にわたって全体探索ワークデータリストとブラックリストとの間で対応付けが成立しなかったＮＧワークＷｆは、何らかの原因でワークＷｆの位置等が変化したと推測されるので、ブラックリスト中にそのＮＧワークＷｆのワークデータを留めておく必要がなくなったと判断し、上記ステップＳ２０５により、ブラックリストから抹消するようにしたものである。ＣBは通常１以上の値が設定される。なお、ＣA又はＣBについて十分に大きな値を設定することにより、ＮＧワークＷｆのワークデータをブラックリストから抹消する機能を実質的に無効にすることもできる。
【００２７】
ステップＳ１０３においてブラックリストの更新が行われると、次に、ワーク認識装置２５によって認識されたワークＷの精密測定及び取り出しが行われる。まず、ワーク選択部３７が、ブラックリストに登録されたＮＧワークＷｆのワークデータを除外した後の全体探索ワークデータリストにおいて優先順位が１番目（ｉ＝１）のワークＷのワークデータが全体探索ワークデータリストに存在するかを確認する（ステップＳ１０４）。存在する場合には、ワーク選択部３７は、精密測定及び取り出しを行うべきワークとしてそのワークＷを選択し、全体探索ワークデータリストの１番目のワークＷのワークデータをロボット制御部３３に提供する。ロボット制御部３３は、提供されたワークデータ（特に、ワークＷの粗位置（Ｖｔ、Ｈｚ））に基づいてロボット１３を制御し、選択されたワークＷの近傍の上方に精密測定装置２７の狭域用センサ１７を移動させる（ステップＳ１０５）。狭域用センサ１７が選択されたワークＷの近傍の上方に移動させられると、精密測定装置２７は、選択されたワークＷを狭域用センサ１７によって撮像し、取得した画像又は３次元撮像データに基づいてワークＷの３次元位置及び姿勢等の精密測定を実行する（ステップＳ１０６）。
【００２８】
次に、ステップＳ１０７において、精密測定が成功したか否かを確認する。精密測定が成功した場合には、ロボット制御部３３は、続いて、測定されたワークＷの３次元位置及び姿勢に基づいてロボット１３を制御し、選択されたワークＷをロボット１３によって把持して収容箱２３から取り出し、次工程等に搬送することを試みる（ステップＳ１０８）。次に、ステップＳ１０９において、把持及び取り出しが成功したか否かを確認する。把持及び取り出しが成功した場合には、再びステップＳ１０１に戻って全体探索を行い、取り出し可能なワークＷが無くなるまでステップＳ１０１からステップＳ１０９を繰り返す。一つのワークＷの取り出しが完了するたびに、全体探索を行うので、取り出しにともなった振動作用や攪拌作用で各ワークＷの状態が変化した場合でも、各ワークＷの最新の位置が検出し直される。一方、ワークＷの精密測定とワークＷの把持及び取り出しの何れかに失敗した場合には、失敗したワークＷをＮＧワークＷｆと判断して、全体探索ワークデータリスト中のそのワークＷのワークデータをＡj＝０及びＢj＝０と共に、ＮＧワーク記憶部３５に記憶されたブラックリストに追加登録し（ステップＳ１１０）、該失敗したワークをステップＳ１０１から始まる次のサイクルの精密測定及び取り出し作業の対象から除外されるようにすると共に、ｉに１を加算してステップＳ１０４に戻り（ステップＳ１１１）、全体探索ワークデータリスト中の次に優先順位が高いワークＷについてステップＳ１０４からステップＳ１０９の処理を行う。
【００２９】
ステップＳ１０４からステップＳ１０９は、ワークＷの把持及び取り出しに成功するまで繰り返される。ただし、ワークＷの精密測定やワークＷの把持及び取り出しに失敗していないワークＷが全体探索ワークデータリスト中に無くなった場合には、ステップＳ１１２に進み、収容箱２３内のワークＷの取り出しが完了したかを確認する。完了していない場合には、他のワークＷの取り出しに伴う振動作用や攪拌作用によってワークＷの状態が変わって精密測定及び取り出しが可能になっているワークが存在しないかを確認するために、再度、ステップＳ１０１に戻って全体探索を行う。一方、全てのワークＷの取り出しが完了している場合には、ワーク取り出し装置１１による取り出し処理を終了する。
【００３０】
このように、本発明のワーク取り出し装置１１では、ワーク認識装置２５によって認識されたワークＷの集合の中から、少なくとも直前の取り出しサイクルで精密測定装置２７による精密測定又はロボット１３による把持及び取り出しに失敗したＮＧワークＷｆが除外され、残ったワークＷについて精密測定及び取り出しを行うので、同じＮＧワークＷｆに対して失敗を繰り返すことが防止される。この結果、無駄な試みをなくし、作業効率を向上させることができる。また、一定サイクルの間ブラックリストに登録され続けたＮＧワークＷｆや全体探索において認識されるワークＷ中に対応するものが存在しなくなったＮＧワークＷｆをブラックリストから抹消するようにしているので、他のワークＷの取り出しに伴う振動作用や攪拌作用によってワークの積載状態が変化するなどして、不要となったワークデータ、または別の言い方をすれば、ＮＧの状態として存在する実ワークがなくなったいわば架空のワークデータを、必要以上にブラックリストに留めてくことで以後の処理に悪影響を及ぼすことを回避できる。悪影響の例としては、全体探索で新たに認識されたワークＷのワークデータがたまたま前記の架空データに近い値であった場合は、該ワークＷに対しては精密測定が実施されないことが挙げられる。本発明によればこのような悪影響が回避できる。したがって、収容箱２３内から可能な限り多くのワークＷを取り出すことができ、ＮＧワークＷｆの増加による作業の非効率化を抑制できる。
【００３１】
以上、図２に示されている実施形態に基づいて、本発明のワーク取り出し装置１１を説明したが、本発明のワーク取り出し装置１１は実施形態に限定されるものではない。例えば、図２に示されている実施形態では、狭域用センサ１７として、３次元視覚センサを使用し、３次元視覚センサからの３次元撮像データに基づいてワークの３次元位置及び姿勢を測定しているが、３次元視覚センサに変えて、ＣＣＤカメラやＣＭＯＳカメラのような２次元撮像装置を用い、この２次元撮像装置をロボット１３によって移動させて複数の視点から撮像し、いわゆるステレオ視によってワークＷの３次元位置及び姿勢を求めてもよい。また、上述した実施形態では、ワークデータとして、ワーク認識装置によって、ワークＷの粗位置（Ｖｔ，Ｈｚ）、角度θ、サイズＳが検出されているが、少なくとも粗位置のみが検出されていればよく、精密測定装置による精密測定ではワークＷの３次元位置及び姿勢が測定されているが、少なくとも３次元位置が測定されていればよい。
【００３２】
さらに、図２に示されている実施形態では、広域用センサ１５と狭域用センサ１７とが別個に設けられ、ワーク認識装置２５と精密測定装置２７とが別個の装置として構成されているが、狭域用センサ１７を広域用センサ１５としても使用し、ワーク認識装置２５と精密測定装置２７とを同一の装置によって構成することも可能である。この場合、ワーク認識装置２５による全体探索を行うときには、図７に実線で示されているように狭域用センサ１７を収容箱２３の全体が視野に収まるような高い位置に移動させることにより広範囲の領域のワークＷを撮像させ、精密測定装置２７による精密測定を行うときには、図７に点線で示されているように選択されたワークＷの近傍に狭域用センサ１７を接近させてワークＷを撮像させればよい。なお、図７において、図２に示されている部分と対応する部分には同じ参照番号が付されている。
【図面の簡単な説明】
【００３３】
【図１】本発明のワーク取り出し装置の機能ブロック図である。
【図２】本発明のワーク取り出し装置の一実施形態の全体構成を示す線図である。
【図３】本発明のワーク取り出し装置によるワーク取り出し処理の手順を示すフローチャートである。
【図４】全体探索によって認識されたワークに関する全体探索ワークデータリストの例である。
【図５】ＮＧワーク記憶部に記憶されたブラックリストの例である。
【図６】図３のブラックリストを更新するステップの詳細を示すフローチャートである。
【図７】本発明のワーク取り出し装置の他の実施形態である。
【図８】精密測定及び取り出しの失敗例を説明するための説明図である。
【符号の説明】
【００３４】
１１    ワーク取り出し装置
１３    ロボット
２１    制御装置
２５    ワーク認識装置
２７    精密測定装置
３５    ＮＧワーク記憶部
３７    ワーク選択部
【図１】
2008087074.tif 000003
【図２】
2008087074.tif 000004
【図３】
2008087074.tif 000005
【図４】
2008087074.tif 000006
【図５】
2008087074.tif 000007
【図６】
2008087074.tif 000008
【図７】
2008087074.tif 000009
【図８】
2008087074.tif 000010