(57)【要約】【課題】  １台のカメラでワークの位置などを認識するにあたり、ワークの形状等に特徴部分がない場合でも、その位置などを認識することができ、また、複数のワークがカメラの視野に入る場合でも、対象とすべきワークを的確に認識できるようにする。【解決手段】  予め所定の方向から視たワークモデルの基本形状を記憶しておき、この基本形状とカメラで画像情報として取得したワーク形状との相関性を算出するとともに、基本形状が得られる方向にカメラを移動させ、移動後に新たに取得した画像情報のワーク形状と基本形状の相関性を求め、この両者の相関性が所定の閾値に達するまでカメラの移動と画像取得を繰り返す。画像情報に複数のワークが認識される場合、移動後の相関性が移動前の相関性より低い場合、次に相関性が高いワークに切り換える。【選択図】      図１
2012137474.tif 000002
【特許請求の範囲】
【請求項１】
カメラで取得した画像情報からワーク形状を認識し、このワーク形状と、予め記憶した所定の方向から視たワークモデルの基本形状との相関性を算出することによりワークを特定し、その位置を認識するようにしたワーク位置の認識方法であって、
前記カメラで取得した画像情報に基づいてワークの位置を認識する第１の工程と、
第１の工程で認識されたワークの位置に基づいて、カメラを前記基本形状が得られる方向に移動させる第２の工程と、
第２の工程後、再度、カメラから得られた画像情報に基づいてワークの位置を認識する第３の工程を備え、
所定の条件に達するまで第２の工程と第３の工程を繰り返すことを特徴とするワーク位置の認識方法。
【請求項２】
請求項１に記載のワーク位置の認識方法であって、前記所定の条件が、前記第３の工程で得られたワーク形状と前記基本形状との相関性が所定の閾値に達することであることを特徴とするワーク位置の認識方法。
【請求項３】
請求項１に記載のワーク位置の認識方法であって、前記所定の条件が、前記第３の工程で得られたワークの位置とカメラの位置との差が所定の閾値に達することであることを特徴とするワーク位置の認識方法。
【請求項４】
請求項１乃至請求項３のいずれか１項に記載のワーク位置の認識方法であって、
前記第１の工程において、カメラで取得した画像情報に複数のワークが認識される場合には、最も相関性の高いワークを選択し、位置を認識することを特徴とするワーク位置の認識方法。
【請求項５】
請求項２または請求項４のいずれかに記載のワーク位置の認識方法であって、
前記第１の工程における前記相関性と、前記第３の工程における前記相関性を比較し、この結果、第３の工程における相関性が第１の工程における相関性より高い場合には、前記第２の工程と第３の工程を繰り返し、第３の工程における相関性が第１の工程における相関性より低い場合には、次に相関性が高いワークに変更することを特徴とするワーク位置の認識方法。
【請求項６】
請求項３または請求項４のいずれかに記載のワーク位置の認識方法であって、前記第１の工程におけるワークの位置とカメラ位置との差と、前記第３の工程におけるワークの位置とカメラ位置との差を比較し、この結果、第３の工程におけるワークの位置とカメラ位置との差が第１の工程におけるワークの位置とカメラ位置との差より小さい場合には、前記第２の工程と第３の工程を繰り返し、第３の工程におけるワークの位置とカメラ位置との差が第１の工程におけるワークの位置とカメラ位置との差より大きい場合には、次に相関性が高いワークに変更することを特徴とするワーク位置の認識方法。
【請求項７】
カメラで取得した画像情報に基づいてワークの位置を認識することのできるワーク位置の認識装置であって、
画像情報を取得することのできるカメラと、
このカメラで認識されたワークの形状と、予め所定方向から視たワークモデルの基本形状との相関性を算出することによりワークを特定し、その位置を認識することのできる画像処理機構と、
カメラで認識された画像情報に基づいて、カメラを前記ワークモデルの基本形状が得られる方向に移動させるための移動機構を備え、
前記画像処理機構は、前記移動機構により前記ワークモデルの基本形状が得られる方向に移動したカメラで取得した画像情報に基づいて算出される所定の条件が所定の閾値に達したか否かを判定する判定機能を有することを特徴とするワーク位置の認識装置。
【請求項８】
請求項７に記載のワーク位置の認識装置であって、前記所定の条件は、ワーク形状に基づいて算出される相関性であることを特徴とするワーク位置の認識装置。
【請求項９】
請求項７に記載のワーク位置の認識装置であって、前記所定の条件は、ワークの位置とカメラの位置との差であることを特徴とするワーク位置の認識装置
【請求項１０】
請求項７乃至請求項９のいずれか１項に記載のワーク位置の認識装置であって、前記画像処理機構は、前記カメラによって複数のワークが認識された場合に、最も相関性が高いワークを選択することのできる選択機能を有することを特徴とするワーク位置の認識装置。
【請求項１１】
請求項８または請求項１０のいずれかに記載のワーク位置の認識装置であって、前記画像処理機構は、前記カメラの移動に伴って、移動前と移動後の前記相関性を比較する比較機能を有しており、この比較機能で比較した結果、移動後の相関性が移動前の相関性より低い場合は、次に相関性が高いワークに切り換えるワーク変更機能を有することを特徴とするワーク位置の認識装置。
【請求項１２】
請求項９または請求項１０のいずれかに記載のワーク位置の認識装置であって、前記画像処理機構は、前記カメラの移動に伴って、移動前と移動後の前記位置の差を比較する比較機能を有しており、この比較機能で比較した結果、移動後の位置の差が移動前の位置の差より大きい場合は、次に相関性が高いワークに切り換えるワーク変更機能を有することを特徴とするワーク位置の認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、位置や姿勢が不規則なワークを移載ロボットで把持するような際に効果的なワークの位置認識技術に関する。
【背景技術】
【０００２】
従来、例えばシリンダブロックやトランスミッションケースなどのワークを把持して所定箇所に移載するような場合に、ワークを所定の方向から視た場合の形状を記憶しておき、カメラで撮像された画像とパターンマッチングさせることによりワークの位置や姿勢を判断するような技術が知られており、この際、カメラの視野内に複数のワークが入っている場合でも、ワークに形成される穴や、複数箇所の特徴のある形状部分の間隔や、各形状部分の重心同士を結ぶ直線の傾きなどの特徴部分を判断して、移載すべきワークの位置や姿勢を特定できるような技術（例えば、特許文献１参照。）が知られている。
【０００３】
また、ワークの位置をカメラで認識する際、最初のカメラ位置の画像に基づいて基準位置からの位置ずれをＸ方向、Ｙ方向に画素数で検出し、これを距離に変換するとともに、この距離に基づいてカメラを移動させ、さらに、その位置における画像に基づいてワークの基準位置からの位置ずれを測定し、最初の誤差と２回目の誤差の和に基づいて球面収差などの誤差を修正するような技術（例えば、特許文献２参照。）も知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−１１２３８３号公報
【特許文献２】特許第３６１０７７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、前記特許文献１の技術のように、ワークを所定の方向から視たときの形状を記憶しておき、カメラで撮像されたワークの形状とパターンマッチングさせて位置や姿勢を認識する方法では、カメラに撮像されるワークの形状がワークを視る方向によって異なるため、記憶しているワークの形状と一致しないことがある。例えば、ワークを真上から視た形状を記憶している場合に、ワークを斜め方向から視た形状がカメラで撮像されると、ワークの側面の形状も視えるため、両者が一致しなくなる。このような場合にパターンマッチングを行っても相関性は低くなり、ワークの位置・姿勢を正確に知ることはできない。また、場合によっては、所望のワークとは異なるワークの位置・姿勢を誤って認識してしまうこともある。
また、特許文献２のような技術では、カメラの視野内に複数のワークが入るような場合には、どのワークを対象とすべきかを判断することができなかった。
【０００６】
そこで本発明は、上記のような問題に鑑み、１台のカメラを用いたパターンマッチングにより高精度にワークの位置・姿勢を認識できるようにすることを目的とし、また、複数のワークがカメラの視野に入る場合でも、対象とすべきワークを的確に認識できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため本発明は、カメラで取得した画像情報からワーク形状を認識し、このワーク形状と、予め記憶した所定の方向から視たワークモデルの基本形状との相関性を算出することによりワークを特定し、その位置を認識するようにしたワーク位置の認識方法において、前記カメラで取得した画像情報に基づいてワークの位置を認識する第１の工程と、第１の工程で認識されたワークの位置に基づいて、カメラを前記基本形状が得られる方向に移動させる第２の工程と、第２の工程後、再度、カメラから得られた画像情報に基づいてワークの位置を認識する第３の工程を設け、所定の条件に達するまで第２の工程と第３の工程を繰り返すようにした。
【０００８】
前記所定の条件としては、例えば前記第３の工程で得られたワーク形状と前記基本形状との相関性が所定の閾値に達すること、または前記第３の工程で得られたワークの位置とカメラの位置との差が所定の閾値に達することが挙げられる。
【０００９】
ここで、予め所定方向から視たワークモデルの基本形状を記憶しておき、この基本形状と、カメラで取得した画像情報のワーク形状の相関性を算出することによりワークを特定して、その位置を認識し、カメラを基本形状が得られる方向に移動させることで、パターンマッチングしたときの相関性を向上させ、ワークの位置・姿勢をより高精度に認識することができる。すなわち、予め所定方向から視て記憶させたカメラの位置を、カメラの基準位置としておけば、ワークの位置が狂っているような場合でも、基準位置を中心にしてカメラが移動した量がワークの位置誤差に相当するため、ワークの誤差量をカメラが移動した量を介して間接的に知ることができる。
このため、このカメラの移動量を検知して移載ロボットの把持機構などに反映させることにより、ワークのより正確な位置を把持することができる。
この際、画像情報に基づくワーク形状と基本形状との相関性を所定の閾値まで高めることで、ワークの位置誤差をより少なくすることが出来る。
なお、カメラで取得したワーク形状と基本形状の相関性の閾値の具体例としては、例えば、ワーク形状の面積とか、周長などであり、任意に設定できる。
【００１０】
また、このときの装置としては、カメラで認識されたワークの形状と、予め所定方向から視たワークモデルの基本形状との相関性を算出することによりワークを特定し、その位置を認識することのできる画像処理機構や、カメラで認識された画像情報に基づいて、カメラを前記ワークモデルの基本形状が得られる方向に移動させるための移動機構を設け、前記画像処理機構には、移動機構により前記ワークモデルの基本形状が得られる方向に移動したカメラで取得した画像情報に基づいて算出される所定の条件が所定の閾値に達したか否かを判定する判定機能を持たせれば好適である。
【００１１】
前記所定の条件としては、例えばワーク形状に基づいて算出される相関性、或いはワークの位置とカメラの位置との差が挙げられる。
【００１２】
また本発明では、前記第１の工程において、カメラで取得した画像情報に複数のワークが認識される場合には、最も相関性の高いワークを選択し、位置を認識するようにした。
このように画像情報に複数のワークが認識されるときの処理について、最も相関性の高いワークを選択するようにしておけば、より迅速に処理することができ、しかも処理効率を高めることができる。
また、このときの装置としては、前記画像処理機構に、カメラによって複数のワークが認識された場合に、最も相関性が高いワークを選択することのできる選択機能を持たせれば好適である。
【００１３】
また、本発明では、前記第１の工程における前記相関性と、前記第３の工程における前記相関性を比較し、この結果、第３の工程における相関性が第１の工程における相関性より高い場合には、前記第２の工程と第３の工程を繰り返し、第３の工程における相関性が第１の工程における相関性より低い場合には、次に相関性が高いワークに変更するようにした。
【００１４】
また、本発明では、前記第１の工程におけるワークの位置とカメラ位置との差と、前記第３の工程におけるワークの位置とカメラ位置との差を比較し、この結果、第３の工程におけるワークの位置とカメラ位置との差が第１の工程におけるワークの位置とカメラ位置との差より小さい場合には、前記第２の工程と第３の工程を繰り返し、第３の工程におけるワークの位置とカメラ位置との差が第１の工程におけるワークの位置とカメラ位置との差より大きい場合には、次に相関性が高いワークに変更するようにした。
【００１５】
すなわち、カメラを基本形状が得られる方向に移動させると、正規のワークであれば、相関性が高まるかワークの位置とカメラ位置との差が小さくなるはずであるが、相関性が低くなったりワークの位置とカメラ位置との差が大きくなるということは、ワークが異なっていることを意味する。
【００１６】
このため、そのときは、次に相関性が高いワークに変更することで、ロスタイムを少なく処理できる。
また、このときの装置としては、前記画像処理機構に、カメラの移動に伴って、移動前と移動後の相関性を比較する比較機能を持たせ、この比較機能で比較した結果、移動後の相関性が移動前の相関性より低い場合は、次に相関性が高いワークに切り換えるワーク変更機能を持たせれば好適である。
【発明の効果】
【００１７】
カメラで取得した画像情報に基づいてワークの位置を認識する際、予め所定の方向から視たワークモデルの基本形状を記憶しておき、この基本形状と、カメラで取得した画面情報に基づくワーク形状との相関性を算出することでワークを特定し、その位置を認識するようにするとともに、第１の工程で、カメラで取得した画像情報に基づいてワークの位置を認識し、この位置に基づいて、第２の工程で、カメラを前記基本形状が得られる方向に移動させ、その後、再度、第３の工程で、カメラから得られた画像情報に基づいてワークの位置を認識し、第３の工程で得られたワーク形状と基本形状との相関性が所定の閾値に達するまで、或いは第３の工程で得られたワークの位置とカメラの位置との差が所定の閾値に達するまで、第２の工程と第３の工程を繰り返すことで、所望のワークに対する精度の高い位置・姿勢の検出が可能となる。
【００１８】
この際、画像情報に複数のワークが認識される場合に、最も相関性の高いワークを選択したり、または、第１の工程における相関性と第３の工程における相関性或いはワークの位置とカメラ位置との差を比較して、所定のケースには、次に相関性が高いワークに変更したりすれば、より迅速にかつ効率的に処理できる。
【図面の簡単な説明】
【００１９】
【図１】第１発明に係るワーク位置の認識方法の基本的な流れを説明するための説明図である。
【図２】第１発明の基本フロー図である。
【図３】本装置構成の概要と、ワークとカメラの位置関係を示す説明図である。
【図４】カメラの移動と相関性の閾値の関係を示す説明図である。
【図５】画像情報に複数のワークが認識される場合の説明図である。
【図６】図５の場合のフロー図である。
【図７】第２発明に係るワーク位置の認識方法の基本的な流れを説明するための説明図である。
【図８】計算で求めたワークの中心位置と真のワークの中心位置との差とカメラの位置と計算で求めたワークの中心位置との差の関係を示すグラフである。
【図９】第２発明の基本フロー図
【図１０】第２発明の応用フロー図
【発明を実施するための形態】
【００２０】
第１発明の実施の形態について添付した図面に基づき説明する。
第１発明に係るワーク位置の認識方法は、１台のカメラで不規則な位置や姿勢のワーク等を認識するにあたり、ワークの形状等に特徴部分がない場合でも、その位置などを認識することができ、また、複数のワークがカメラの視野に入る場合でも、対象とすべきワークを的確に認識できるようにされ、カメラでワーク形状を取得し、このワーク形状と予め記憶した所定方向から視たワークモデルの基本形状との相関性を判断してワークを特定し、基本形状が得られる方向にカメラを移動させることで相関性を所定の閾値まで高め、カメラの移動量に基づいてワークの位置を算出するようにしている。
【００２１】
すなわち、図３（ａ）に示すように、ワークＷの上方にカメラＣが配設され、このカメラＣには、該カメラＣをＸ、Ｙ方向に移動自在にするための移動機構２が接続されており、この移動機構２や前記カメラＣには、カメラＣの移動量を指令したり、カメラＣで取得した画像に基づいてワークを特定したり、ワークの位置を認識したりすることのできる画像処理機構１が接続されている。
【００２２】
そして、この画像処理機構１には、少なくとも、基準の位置にセットされたワークＷの中心の真上（基準カメラ位置）にカメラＣが位置した場合にカメラＣによって取得されるワーク形状をワークモデルの基本形状とした場合、実際の画像情報から得られるワーク形状と基本形状とを比較して両者の相関性が所定の閾値に達したか否かを判定することのできる判定機能や、カメラＣで取得される画像に複数のワークが含まれる場合に、最も基本形状との相関性が高いワークＣを選択することのできる選択機能や、カメラＣの移動に伴って、移動前の相関性と移動後の相関性とを比較することのできる比較機能や、この比較の結果、移動後の相関性が移動前の相関性より低い場合に、次に相関性が高いワークに切り換えるワーク変更機能などが付与されている。
【００２３】
すなわち、図３（ａ）に示すように、ワークＷがカメラＣの真下からα分ずれた位置に存在すると、このときカメラＣから視たワーク形状は、カメラＣがワークＷ中心の真上に位置した場合の基本形状とは異なる。そして、一般的に位置誤差αが大きくなればなるほど、そのときにカメラＣで取得されるワーク形状と基本形状との相関性が下がり、図３（ｂ）に示すように、相関性に関する評価値も下がる。
【００２４】
逆に、位置誤差αが小さくなればなるほど、ワーク形状と基本形状との相関性が高まり、相関性に関する評価値も高まる。
【００２５】
そこで、第１発明では、予め所定の方向（本実施例ではワークＷの真上）から視たワークモデルの形状を基本形状として記憶しておき、実際のワークを取り扱うときは、図１、図２に示すように、カメラＣでワーク形状を認識し、このワーク形状と基本形状との相関性を算出することでワークを特定するとともにその位置を認識し、カメラＣを、基本形状が得られる方向に移動させる（（図２では「カメラをモデル中心に近づける」と表現している）ことで位置誤差αを小さくし、再度、カメラＣでワーク形状を認識し、図１にも示すように、ワーク形状と基本形状との相関性が所定の閾値に達するまで、カメラＣの移動と、カメラによるワーク形状の認識を繰り返すようにしている。
【００２６】
そして、画像処理機構１の判定機能により相関性が所定の閾値に達したことを検知すると、そのときのカメラＣの移動量（前記基準カメラ位置からの変位量）が、ワークＷの基準位置からの変位量であり、移載ロボットの把持機構等にカメラの移動量を知らせることで、把持機構等はワークＷの位置を的確に認識することができる。なお、相関性に関する評価値が所定の閾値に達するまでの状態は図４にも示している。
【００２７】
ところで、以上のフローは、カメラＣで取得されるワークＷが１つだけの場合の基本フローであるが、次に、カメラＣで取得される画像情報に複数のワークＷが存在する場合のフローについて、図５、図６に基づき説明する。
【００２８】
図６に示すように、画像取得時に複数のワークが認識された場合、パターンマッチングの結果、画像処理機構１の選択機能により、相関性が一番高いワークが選択され、当該ワークの画像に基づいて画像処理され、このワークに対して、相関性評価が行われる。すなわち、カメラを当該ワークの方向に向けて移動させ、画像処理機構の比較機能により移動前の相関性と移動後の相関性が評価される。
【００２９】
そして、移動前の評価値と移動後の評価値の対比において、移動後の相関性が移動前の相関性より高まっている場合には、前記例と同様の手順が行われるが、移動前の評価値より移動後の評価値が低下している場合は、画像処理機構１のワーク変更機能により次に相関性が高いワークへの切り換えが行われる。そして変更されたワークに対して、前記例と同様の手順で評価値が閾値より高くなるかどうかが判断され、図５に示すように、評価値が閾値より高くなれば、認識成功である。
【００３０】
図７は第２発明に係るワーク位置の認識方法の基本的な流れを説明するための説明図であり、カメラＣは移動機構２によってＸ、Ｙ方向に移動自在とされ、且つ画像処理機構１が接続されている。
【００３１】
画像処理機構１はワークモデルの基本形状と実ワーク（カメラＣによって取得されるワーク形状）の位置と姿勢を計算するパターンマッチング機構、カメラＣで取得される画像に複数のワークが含まれる場合に、最も基本形状との相関性が高いワークＣを選択することのできる選択機能、カメラＣの移動に伴って、移動前のワーク位置とカメラ位置の差と移動後のワーク位置とカメラ位置の差とを比較することのできる比較機能、ワーク位置とカメラ位置との差が所定の閾値に達したか否かを判定することのできる判定機能や、移動後のワーク位置とカメラ位置の差が移動前のワーク位置とカメラ位置の差より大きい場合に、次に相関性が高いワークに切り換えるワーク変更機能などが付与されている。
【００３２】
図７及び図８に示すように、第２発明では、先ず第１の工程でパターンマッチングによってワークの位置と姿勢を計算する。次いで、第２の工程で前記計算により求めたワーク中心位置に向けてカメラを移動する。そして、第３の工程で再度パターンマッチングを行う。このパターンマッチングによってカメラの現在位置（中心位置）と計算で求めたワーク中心位置との差（α’）が小さくなり、その結果、計算で求めたワーク中心位置と真のワーク中心位置との位置誤差も小さくなる。
【００３３】
上記の位置誤差が閾値よりも小さくなるまで前記第２工程と第３工程を繰り返すことができれば、図９に示すようにワーク位置の認識が完了する。
【００３４】
また、取得した画像に複数のワークが含まれる場合は、図１０に示すように、前記第３の工程で再度のパターンマッチングを行った結果、カメラの現在位置（中心位置）と計算で求めたワーク中心位置との差（α’）が移動前の差（α’）より大きくなった場合には、間違ったワークを選択したと判断してワーク（対象物）を基本形状との相関性が次に高いワークに変更する。
また、移動前の差（α’）が移動前の差（α’）より小さい場合には、前記と同様に位置誤差が閾値よりも小さくなるまで前記第２工程と第３工程を繰り返す。
【００３５】
以上に説明した方法により、カメラで複数のワークを発見した場合でも、最初の段階から最も相関性が高いワークにカメラを接近させることで、より早く所望のワークにたどりつくことができ、また、最初のワークの選択が誤っていた場合でも、カメラが接近中に誤認識を判断できるため、最終的に所望のワークに早くたどりつくことができる。
【００３６】
なお、本発明は以上のような実施形態に限定されるものではない。本発明の特許請求の範囲に記載した事項と実質的に同一の構成を有し、同一の作用効果を奏するものは本発明の技術的範囲に属する。
【産業上の利用可能性】
【００３７】
１台のカメラだけを利用してワーク位置をより迅速に且つ正確に認識できるため、例えばワークを把持する把持ロボット用のワーク認識などに適用すれば有効である。
【符号の説明】
【００３８】
１…画像処理機構、２…移動機構、Ｃ…カメラ、Ｗ…ワーク。
【図１】
2012137474.tif 000003
【図２】
2012137474.tif 000004
【図３】
2012137474.tif 000005
【図４】
2012137474.tif 000006
【図５】
2012137474.tif 000007
【図６】
2012137474.tif 000008
【図７】
2012137474.tif 000009
【図８】
2012137474.tif 000010
【図９】
2012137474.tif 000011
【図１０】
2012137474.tif 000012