(57)【要約】【課題】本発明は、多面体である対象物において、どの平面がハンド機構の指部の接触が可能な平面であるのかを把握することが可能な技術を提供することを目的とする。【解決手段】対象物における撮像装置による撮像の対象となる所定の平面に、該所定の平面を形成する各辺上の所定の位置が判定ポイントとして予め設定されている。そして、撮像装置によって取得された画像情報に基づいて、対象物における所定の平面の各判定ポイントについて該判定ポイントが周辺物体と接触しているか否かが判定される。そして、周辺物体と接触していないと判定された判定ポイントが位置する辺を挟んで所定の平面と隣り合う他の平面を指接触可能面として設定する。一方、周辺物体と接触していると判定された判定ポイントが位置する辺を挟んで所定の平面と隣り合う他の平面を指接触不可能面として設定する。【選択図】図１４
2019042853.tif 000002
【特許請求の範囲】
【請求項１】
複数の指部を有するハンド機構によって対象物を把持する把持システムであって、少なくとも一つの該対象物を含んだ画像を撮像する撮像装置を有する把持システムに適用され、該撮像装置によって取得される画像情報を処理する画像情報処理装置において、
前記対象物が多面体であって、該対象物における前記撮像装置による撮像の対象となる所定の平面において、該所定の平面を形成する各辺上の所定の位置が判定ポイントとして予め設定されており、
前記撮像装置によって取得された画像情報に基づいて、前記対象物における前記所定の平面の各判定ポイントについて該判定ポイントが周辺物体と接触しているか否かを判定する判定部と、
前記判定部によって前記周辺物体と接触していないと判定された前記判定ポイントが位置する辺を挟んで前記所定の平面と隣り合う他の平面を、前記ハンド機構の指部による接触が可能な指接触可能面として設定し、且つ、前記判定部によって前記周辺物体と接触していると判定された前記判定ポイントが位置する辺を挟んで前記所定の平面と隣り合う他の平面を、前記ハンド機構の前記指部による接触が不可能な指接触不可能面として設定する設定部と、を備える画像情報処理装置。
【請求項２】
前記対象物における前記所定の平面を形成する各辺の中点および該所定の平面の各頂点が前記判定ポイントとして予め設定されている請求項１に記載の画像情報処理装置。
【請求項３】
前記ハンド機構によって前記対象物を把持する際の該対象物における把持面を、前記設定部によって設定された前記指接触可能面および前記指接触不可能面の状況に基づいて決定する把持面決定部をさらに備えた請求項１または２に記載の画像情報処理装置。
【請求項４】
前記撮像装置によって複数の対象物が撮像された場合、前記判定部による各判定ポイントが前記周辺物体と接触しているか否かの判定と、前記設定部による前記指接触可能面および前記指接触不可能面の設定とが、各対象物について実行され、
前記複数の対象物のうち前記ハンド機構による把持の対象となる対象物を、各対象物における、前記設定部によって設定された前記指接触可能面および前記指接触不可能面の状況に基づいて決定する把持対象決定部をさらに備えた請求項１または２に記載の画像情報処理装置。
【請求項５】
前記ハンド機構によって前記対象物を把持する際の把持形態を、前記設定部によって設定された前記指接触可能面および前記指接触不可能面の状況に基づいて決定する把持形態決定部をさらに備えた請求項１または２に記載の画像情報処理装置。
【請求項６】
前記ハンド機構と、
前記撮像装置と、
請求項３から５のいずれかに記載の画像情報処理装置と、
前記画像情報処理装置による画像情報処理の結果に基づいて前記ハンド機構を制御するハンド制御装置と、を備える把持システム。
【請求項７】
複数の指部を有するハンド機構によって対象物を把持する把持システムにおいて、少なくとも一つの該対象物を含んだ画像を撮像する撮像装置によって取得された画像情報を処理する画像情報処理方法であって、
前記対象物が多面体であり、該対象物における前記撮像装置による撮像の対象となる所定の平面において、該所定の平面を形成する各辺上の所定の位置が判定ポイントとして予め設定されており、
前記撮像装置によって取得された画像情報に基づいて、前記対象物における前記所定の
平面の各判定ポイントについて該判定ポイントが周辺物体と接触しているか否かを判定する判定ステップと、
前記判定部によって前記周辺物体と接触していないと判定された前記判定ポイントが位置する辺を挟んで前記所定の平面と隣り合う他の平面を、前記ハンド機構の指部による接触が可能な指接触可能面として設定し、且つ、前記判定部によって前記周辺物体と接触していると判定された前記判定ポイントが位置する辺を挟んで前記所定の平面と隣り合う他の平面を、前記ハンド機構の前記指部による接触が不可能な指接触不可能面として設定する設定ステップと、を含む画像情報処理方法。
【請求項８】
前記ハンド機構によって前記対象物を把持する際の該対象物における把持面を、前記設定ステップで設定された前記指接触可能面および前記指接触不可能面の状況に基づいて決定する把持面決定ステップをさらに含む請求項７に記載の画像情報処理方法。
【請求項９】
前記撮像装置によって複数の対象物が撮像された場合、前記判定ステップにおいて、各対象物について、各判定ポイントが前記周辺物体と接触しているか否かの判定が実行され、且つ、前記設定ステップにおいて、各対象物について、前記指接触可能面および前記指接触不可能面の設定が実行され、
前記複数の対象物のうち前記ハンド機構による把持の対象となる対象物を、各対象物における、前記設定ステップで設定された前記指接触可能面および前記指接触不可能面の状況に基づいて決定する把持対象決定ステップをさらに含む請求項７に記載の画像情報処理方法。
【請求項１０】
前記ハンド機構によって前記対象物を把持する際の把持形態を、前記設定ステップで設定された前記指接触可能面および前記指接触不可能面の状況に基づいて決定する把持形態決定ステップをさらに含む請求項７に記載の画像情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の指部を有するハンド機構によって対象物を把持する把持システム、および、該把持システムにおいて該対象物を含む画像情報を処理するための画像情報処理装置、画像情報処理方法に関する。
【背景技術】
【０００２】
従来、複数の指部を有するハンド機構によって対象物を把持する把持システムが開発されている。また、把持システムとして、対象物を含む画像を撮像する撮像装置を備えたものが知られている。このような撮像装置を備えた把持システムでは、該撮像装置によって取得された画像情報に基づいて対象物を認識する。さらに、認識された対象物を把持すべく、画像情報に基づいてハンド機構を制御する。
【０００３】
例えば、特許文献１には、複数の箱状ワークを上方から撮影して全体画像を取得する単眼カメラを備えたピッキングシステム（把持システム）が開示されている。この特許文献１に記載のピッキングシステムは、単眼カメラに加えて、複数の箱状ワーク全体の三次元形状を計測する距離センサを備えている。そして、単眼カメラが取得した全体画像から箱状ワークのエッジ部分を検出し、検出されたエッジ部分を境界として、該エッジ部分に対応する、距離センサによる計測点の点群を抽出する。さらに、抽出された点群に基づいて、距離センサによって計測された三次元形状から各箱状ワークの位置と姿勢とを認識する。その上で、ピッキングの対象となる箱状ワークの位置と姿勢を出力する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５４２９６１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ハンド機構によって対象物を把持しようとした場合、該対象物の表面における、該ハンド機構の指部によって該対象物を挟み込むことが可能な位置に、該ハンド機構の指部を接触させる必要がある。しかしながら、対象物が多面体である場合、該対象物の載置状況によっては、ハンド機構の指部を接触させることが困難な平面が生じる場合がある。つまり、対象物が、その周辺に存在する周辺物体（例えば、他の対象物、または、対象物を収容する収容容器）に接触した状態で置載されている場合、そのままの状態では、該対象物における該周辺物体に接触している平面にはハンド機構の指部を接触させることができない。したがって、ハンド機構によって対象物を把持する場合、該対象物におけるどの平面に該ハンド機構の指部を接触されることができるのかを把握する必要がある。
【０００６】
本発明は、上記問題に鑑みてなされたものであって、多面体である対象物において、どの平面がハンド機構の指部の接触が可能な平面であるのかを把握することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像情報処理装置は、複数の指部を有するハンド機構によって対象物を把持する把持システムであって、少なくとも一つの該対象物を含んだ画像を撮像する撮像装置を有する把持システムに適用され、該撮像装置によって取得される画像情報を処理する画像情報処理装置において、前記対象物が多面体であって、該対象物における前記撮像装置による撮像の対象となる所定の平面において、該所定の平面を形成する各辺上の所定の
位置が判定ポイントとして予め設定されており、前記撮像装置によって取得された画像情報に基づいて、前記対象物における前記所定の平面の各判定ポイントについて該判定ポイントが周辺物体と接触しているか否かを判定する判定部と、前記判定部によって前記周辺物体と接触していないと判定された前記判定ポイントが位置する辺を挟んで前記所定の平面と隣り合う他の平面を、前記ハンド機構の指部による接触が可能な指接触可能面として設定し、且つ、前記判定部によって前記周辺物体と接触していると判定された前記判定ポイントが位置する辺を挟んで前記所定の平面と隣り合う他の平面を、前記ハンド機構の前記指部による接触が不可能な指接触不可能面として設定する設定部と、を備える。
【発明の効果】
【０００８】
本発明によれば、多面体である対象物において、どの平面がハンド機構の指部の接触が可能な平面であるのかを把握することができる。
【図面の簡単な説明】
【０００９】
【図１】実施例に係る把持システムの概略構成を示す図である。
【図２】実施例に係るロボットアームの概略構成を示す図である。
【図３】実施例に係るハンド機構の斜視図である。
【図４】実施例に係るハンド機構の上面図である。
【図５】実施例に係るハンド機構の指部の側面図である。
【図６】実施例に係るハンド機構の指部の先端部側を図５の矢印Ａの方向から見た図である。
【図７】実施例に係るハンド機構の、ベース部における指部の接続部近傍部分の内部構造、および、指部における基端部および第２関節部の内部構造を示す図である。
【図８】実施例に係るハンド機構の、指部における第１関節部および第２指リンク部の内部構造を示す図である。
【図９】実施例に係るハンド機構の指部における第２関節部の可動範囲を示す図である。
【図１０】実施例に係るハンド機構の指部における第１関節部の可動範囲を示す図である。
【図１１】実施例に係るハンド機構の指部の第１リンク部における感圧センサの配置を示す図である。
【図１２】実施例に係るアーム制御装置、ハンド制御装置、画像情報処理装置に含まれる各機能部を示すブロック図である。
【図１３】実施例に係る、対象物の形状および該対象物における判定ポイントの位置の一例を示す図である。
【図１４】実施例に係る、対象物が周辺物体と接触した状態で載置されている場合の、画像情報における該対象物の上面の各判定ポイントの状態の具体例を示す第一の図である。
【図１５】実施例に係る、対象物が周辺物体と接触した状態で載置されている場合の、画像情報における該対象物の上面の各判定ポイントの状態の具体例を示す第二の図である。
【図１６】実施例に係る、対象物が周辺物体と接触した状態で載置されている場合の、画像情報における該対象物の上面の各判定ポイントの状態の具体例を示す第三の図である。
【図１７】実施例に係る、対象物が周辺物体と接触した状態で載置されている場合の、画像情報における該対象物の上面の各判定ポイントの状態の具体例を示す第四の図である。
【図１８】実施例に係る、対象物が周辺物体と接触した状態で載置されている場合の、画像情報における該対象物の上面の各判定ポイントの状態の具体例を示す第五の図である。
【図１９】実施例１に係る、画像情報処理装置において行われる画像情報処理のフローを示すフローチャートである。
【図２０】実施例２に係る画像情報処理装置に含まれる各機能部を示すブロック図である。
【図２１】実施例２に係る、画像情報処理装置において行われる画像情報処理のフローを示すフローチャートである。
【図２２】実施例３に係る画像情報処理装置に含まれる各機能部を示すブロック図である。
【図２３】実施例３に係る、直接把持によって対象物を把持したときのハンド機構および該対象物の状態を示す図である。
【図２４】実施例３に係る、傾倒把持によって対象物を把持したときのハンド機構および該対象物の状態を示す第一の図である。
【図２５】実施例３に係る、傾倒把持によって対象物を把持したときのハンド機構および該対象物の状態を示す第二の図である。
【図２６】実施例３に係る、傾倒把持によって対象物を把持したときのハンド機構および該対象物の状態を示す第三の図である。
【図２７】実施例３に係る、画像情報処理装置において行われる画像情報処理のフローを示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の具体的な実施例について図面に基づいて説明する。本実施例に記載されている構成部品の寸法、材質、形状、その相対配置等は、特に記載がない限りは発明の技術的範囲をそれらのみに限定する趣旨のものではない。
【００１１】
本発明に係る把持システムは、対象物を含んだ画像を撮像する撮像装置を有している。そして、本発明に係る画像情報処理装置は、対象物におけるどの平面がハンド機構の指部の接触が可能な平面であるのかを把握すべく、撮像装置によって取得される画像情報を処理する。
【００１２】
より詳細には、本発明においては、多面体である対象物が撮像装置によって撮像される際には、該対象物における所定の平面（すなわち、撮像装置と向き合った状態となる平面）が撮像の対象となる。そして、この対象物の所定の平面において、該所定の平面を形成する各辺上の所定の位置が判定ポイントとして予め設定されている。これによれば、撮像装置によって取得される画像情報には、対象物の所定の平面における各判定ポイントの状態が含まれることになる。そこで、本発明に係る画像情報処理装置においては、撮像装置によって取得された画像情報に基づいて、対象物における所定の平面の各判定ポイントについて該判定ポイントが周辺物体と接触しているか否かを判定部によって判定する。
【００１３】
ここで、画像情報において、対象物における所定の平面のある判定ポイントが周辺物体と接触していた場合、該判定ポイントが位置する辺を挟んで該所定の平面と隣り合う他の平面（すなわち、該判定ポイントが位置する辺で該所定の平面と接している他の平面）は周辺物体と接触した状態にあると考えられる。一方で、画像情報において、対象物における所定の平面のある判定ポイントが周辺物体と接触していなかった場合、該判定ポイントが位置する辺を挟んで該所定の平面と隣り合う他の平面は周辺物体とは接触していない状態にあると考えられる。そして、対象物において周辺物体と接触している平面には、そのままの状態ではハンド機構の指部を接触させることができない。一方で、対象物において周辺物体と接触していない平面にはハンド機構の指部を接触させることができる。
【００１４】
そこで、本発明に係る画像情報処理装置においては、判定部によって周辺物体と接触していないと判定された判定ポイントが位置する辺を挟んで所定の平面と隣り合う他の平面
を、設定部によって、ハンド機構の指部による接触が可能な指接触可能面として設定する。一方で、判定部によって周辺物体と接触していると判定された判定ポイントが位置する辺を挟んで所定の平面と隣り合う他の平面を、設定部によって、ハンド機構の指部による接触が不可能な指接触不可能面として設定する。これによれば、載置されている対象物において、どの平面がハンド機構の指部の接触が可能な平面であるのかを把握することができる。
【００１５】
＜実施例１＞
以下、本発明の具体的な実施例について図面に基づいて説明する。本実施例に記載されている構成部品の寸法、材質、形状、その相対配置等は、特に記載がない限りは発明の技術的範囲をそれらのみに限定する趣旨のものではない。
【００１６】
ここでは、本発明を、ロボットアームを備えた把持システムに適用した場合について説明する。図１は、本実施例に係る把持システムの概略構成を示す図である。把持システム１００は、ロボットアーム１と撮像装置８とを含んでいる。撮像装置８は、例えばカメラであって、対象物１０の上方に設置されている。そして、撮像装置８は、対象物１０の上方から、該対象物１０およびその周囲を含んだ画像を撮像する。また、ロボットアーム１は、対象物１０を把持するためのハンド機構２、アーム機構３、および台座部４を備えている。ここで、ロボットアーム１における、アーム機構３、ハンド機構２、および台座部４の詳細な構成について説明する。
【００１７】
（アーム機構）
図２は、ロボットアーム１の概略構成を示す図である。アーム機構３の一端にはハンド機構２が取り付けられている。また、アーム機構３の他端は台座部４に取り付けられている。アーム機構３は、第１アームリンク部３１、第２アームリンク部３２、第３アームリンク部３３、第４アームリンク部３４、第５アームリンク部３５、および接続部材３６を備えている。そして、ハンド機構２のベース部２０が、アーム機構３の第１アームリンク部３１の一端側に形成された第１関節部３０ａに接続されている。第１関節部３０ａには、第１アームリンク部３１に対してハンド機構２を該第１アームリンク部３１の軸周りに回転させるためのモータ（図示略）が設けられている。第１アームリンク部３１の他端側は、第２関節部３０ｂで第２アームリンク部３２の一端側に接続されている。第１アームリンク部３１と第２アームリンク部３２とはその中心軸が垂直に交わるように接続されている。そして、第２関節部３０ｂには、第２アームリンク部３２に対して、第１アームリンク部３１を、その他端側を中心に該第２アームリンク部３２の軸周りに回転させるためのモータ（図示略）が設けられている。また、第２アームリンク部３２の他端側は、第３関節部３０ｃで第３アームリンク部３３の一端側に接続されている。第３関節部３０ｃには、第３アームリンク部３３に対して第２アームリンク部３２を相対的に回転させるためのモータ（図示略）が設けられている。
【００１８】
同じように、第３アームリンク部３３の他端側は、第４関節部３０ｄで第４アームリンク部３４の一端側に接続されている。また、第４アームリンク部３４の他端側は、第５関節部３０ｅで第５アームリンク部３５に接続されている。そして、第４関節部３０ｄには、第４アームリンク部３４に対して第３アームリンク部３３を相対的に回転させるためのモータ（図示略）が設けられている。また、第５関節部３０ｅには、第５アームリンク部３５に対して第４アームリンク部３４を相対的に回転させるためのモータ（図示略）が設けられている。さらに、第５アームリンク部３５は、台座部４から垂直に配置された接続部材３６に第６関節部３０ｆで接続されている。第５アームリンク部３５と接続部材３６とは、それぞれの中心軸が同軸となるように接続されている。そして、第６関節部３０ｆには、第５アームリンク部３５を、該第５アームリンク部３５および接続部材３６の軸回りに回転させるためのモータ（図示略）が設けられている。アーム機構３をこのような構
成とすることで、例えば、該アーム機構３を６自由度の自由度を有する機構とすることができる。
【００１９】
（ハンド機構）
次に、ハンド機構２の構成について図３から図１１に基づいて説明する。図３はハンド機構２の斜視図である。図４はハンド機構２の上面図である。なお、図４において、矢印は、各指部２１の回転可動範囲を示している。ハンド機構２は、アーム機構３に接続されるベース部２０と、該ベース部２０に設けられた４本の指部２１とを備えている。また、図３および図４に示すように、ハンド機構２においては、ベース部２０に４本の指部２１が、ハンド機構２の長手方向（図４において紙面に垂直な方向）の軸を中心とした円周上に、等角度間隔（すなわち９０ｄｅｇ間隔）に配置されている。また、４本の指部２１は全て同一の構造を有し且つ同一の長さである。但し、各指部２１の動作は、それぞれ独立して制御される。
【００２０】
図５から図１１は、ハンド機構２の指部２１の構成およびその駆動機構について説明するための図である。図５は指部２１の側面図である。なお、図５では、ベース部２０が透過された状態で記載されており、ベース部２０の内部に位置する指部２１の一部の内部構造をも示している。また、図６は、指部２１の先端部側を図５の矢印Ａの方向から見た図である。なお、図５および図６では、後述する指部２１の第２指リンク部２１２の一部が透過された状態で記載されており、該第２指リンク部２１２の内部構造をも示されている。
【００２１】
図３および図５に示すとおり、各指部２１は、第１指リンク部２１１、第２指リンク部２１２、および基端部２１３を有している。そして、指部２１の基端部２１３がベース部２０に接続されている。ここで、基端部２１３は、図４において矢印で示すように、ベース部２０に対して指部２１の長手方向（図４において紙面に垂直な方向）の軸回りに回転可能に接続されている。また、指部２１において、基端部２１３に第２指リンク部２１２の一端が接続されている。そして、この第２指リンク部２１２と基端部２１３との接続部に第２関節部２３が形成されている。
【００２２】
ここで、図７に基づいて基端部２１３の駆動機構および第２関節部２３の駆動機構について説明する。図７は、ベース部２０における指部２１の接続部近傍部分の内部構造、および、指部２１における基端部２１３および第２関節部２３の内部構造を示す図である。この図７に示すように、ベース部２０の内部には歯車６５、歯車６６、第２モータ５２、および第３モータ５３が設けられている。歯車６５は、指部２１全体を回転させるための歯車であり、基端部２１３の回転軸に接続されている。歯車６６は第３モータ５３の回転軸に接続されている。そして、歯車６５と歯車６６とが噛み合っている。このような構成により、第３モータ５３が回転すると、その回転力が二つの歯車６５、６６を介して基端部２１３の回転軸に伝達される。その結果、基端部２１３が回転駆動され、それに伴って、図４において矢印で示す範囲で指部２１全体が回転駆動される。
【００２３】
また、第２関節部２３の内部には、ウォームホイール６３と、該ウォームホイール６３に噛み合ったウォーム６４が設けられている。そして、第２関節部２３における第２指リンク部２１２の回転軸にウォームホイール６３が接続されている。また、ベース部２０の内部に設けられた第２モータ５２の回転軸にウォーム６４が接続されている。このような構成により、第２モータ５２が回転駆動すると、その回転力がウォーム６４およびウォームホイール６３によって第２指リンク部２１２の回転軸に伝達される。その結果、第２指リンク部２１２が、基端部２１３に対して相対的に回転駆動される。ここで、図８は、第２モータ５２の駆動力により実現される、指部２１における第２関節部２３の可動範囲を示す図である。この図８に示すように、第２関節部２３は屈曲および伸展可能に形成され
ている。なお、第２モータ５２による駆動力と第３モータ５３による駆動力とは、それぞれ独立してその作動対象に伝わるように構成されている。
【００２４】
また、図５および図６に示すように、指部２１においては、第２指リンク部２１２の他端に第１指リンク部２１１の一端が接続されている。そして、この第１指リンク部２１１と第２指リンク部２１２との接続部に第１関節部２２が形成されている。ここで、図９に基づいて第１関節部２２の駆動機構について説明する。図９は、指部２１における第１関節部２２および第２指リンク部２１２の内部構造を示す図である。第１関節部２２の内部には、互いに噛み合った二つの傘歯車６１、６２が設けられている。そして、第１関節部２２における第１指リンク部２１１の回転軸に一方の傘歯車６１が接続されている。また、第２指リンク部２１２の内部に設けられた第１モータ５１の回転軸に他方の傘歯車６２が接続されている。このような構成により、第１モータ５１が回転駆動すると、その回転力が二つの傘歯車６１、６２によって第１指リンク部２１１の回転軸に伝達される。その結果、第１指リンク部２１１が、第２指リンク部２１２に対して相対的に回転駆動される。ここで、図１０は、第１モータ５１の駆動力により実現される、指部２１における第１関節部２２の可動範囲を示す図である。この図１０に示すように、第１関節部２２は屈曲および伸展可能に形成されている。
【００２５】
また、図３、図５、図６、および図１１に示すように、本実施例では、指部２１の第１指リンク部２１１の先端側に感圧センサ７０が設けられている。感圧センサ７０は、第１指リンク部２１１の先端部に作用する外力（圧力）を検出するセンサである。また、図５に示すように、感圧センサ７０は、第１指リンク部２１１における、第１関節部２２の屈曲方向側の壁面２１５および伸展方向側の壁面２１６の両面に設けられている。
【００２６】
（台座部）
次に、台座部４に内蔵された、アーム制御装置４２、ハンド制御装置４３、および画像情報処理装置４４の構成について図１２に基づいて説明する。アーム制御装置４２はロボットアーム１のアーム機構３を制御するための制御装置である。ハンド制御装置４３はロボットアーム１のハンド機構２を制御するための制御装置である。画像情報処理装置４４は撮像装置８によって対象物１０を含む画像が撮像されることで取得される画像情報を処理するための処理装置である。図１２は、アーム制御装置４２、ハンド制御装置４３、および画像情報処理装置４４に含まれる各機能部を示すブロック図である。
【００２７】
アーム制御装置４２は、アーム機構３の各関節部に設けられたモータを駆動するための駆動信号を生成する複数のドライバを含み、各ドライバからの駆動信号が対応する各モータに供給されるように構成される。また、アーム制御装置４２は、演算処理装置及びメモリを有するコンピュータを含んでいる。そして、アーム制御装置４２は、機能部として、アーム制御部４２０およびモータ状態量取得部４２１を有している。これらの機能部は、アーム制御装置４２に含まれるコンピュータにおいて所定の制御プログラムが実行されることで形成される。
【００２８】
アーム制御部４２０は、ハンド制御装置４３が有する機能部である後述の対象物情報取得部４３０によって取得された対象物情報に基づいて各ドライバから駆動信号を供給することで、アーム機構３の各関節部３０ａ、３０ｂ、３０ｃ、３０ｄ、３０ｅ、３０ｆに設けられたモータを制御する。そして、アーム制御部４２０は、各モータを制御することでアーム機構３を動かし、それによって、ハンド機構２の位置を所望の位置（ハンド機構２によって対象物１０を把持することが可能な位置）に移動させる。また、アーム機構３の各関節部３０ａ、３０ｂ、３０ｃ、３０ｄ、３０ｅ、３０ｆに設けられたモータには、それぞれの回転状態に関する状態量（モータの回転軸の回転位置や回転速度等）を検出するエンコーダ（図示略）が設けられている。そして、各モータのエンコーダによって検出さ
れた各モータの状態量が、アーム制御装置４２のモータ状態量取得部４２１に入力される。そして、アーム制御部４２０は、モータ状態量取得部４２１に入力された各モータの状態量に基づいて、ハンド機構２が所望の位置に移動するように各モータをサーボ制御する。
【００２９】
また、ハンド制御装置４３は、ハンド機構２に設けられた各モータを駆動するための駆動信号を生成する複数のドライバを含み、各ドライバからの駆動信号が対応する各モータに供給されるように構成される。また、ハンド制御装置４３は、演算処理装置及びメモリを有するコンピュータを含んでいる。そして、ハンド制御装置４３は、機能部として、対象物情報取得部４３０、ハンド制御部４３１、モータ状態量取得部４３２、およびセンサ情報取得部４３３を有している。これらの機能部は、ハンド制御装置４３に含まれるコンピュータにおいて所定の制御プログラムが実行されることで形成される。
【００３０】
対象物情報取得部４３０は、ハンド機構２よって把持すべき対象物に関する情報である対象物情報を画像情報処理装置４４から取得する。また、ハンド制御部４３１は、対象物情報取得部４３０によって取得された対象物情報に基づいて各ドライバから駆動信号を供給することで、ハンド機構２の各指部２１を駆動させる各第１モータ５１、各第２モータ５２、および各第３モータ５３を制御する。これにより、ハンド機構２の複数の指部２１によって対象物１０が把持される。また、ハンド機構２の各第１モータ５１、各第２モータ５２、および各第３モータ５３には、それぞれの回転状態に関する状態量（モータの回転軸の回転位置や回転速度等）を検出するエンコーダ（図示略）が設けられている。そして、各モータ５１、５２、５３のエンコーダによって検出された各モータ５１、５２、５３の状態量が、ハンド制御装置４３のモータ状態量取得部４３２に入力される。そして、ハンド制御部４３１は、モータ状態量取得部４３２に入力された各モータ５１、５２、５３の状態量に基づいて、複数の指部２１によって対象物を把持するように、各指部２１における各モータ５１、５２、５３をサーボ制御する。
【００３１】
さらに、ハンド制御装置４３はセンサ情報取得部（図示略）を有している。センサ情報取得部には、ハンド機構２の各指部２１の第１指リンク部２１１に設けられた感圧センサ７０の検出値が入力される。そして、ハンド制御部４３１は、各感圧センサ７０によって、各指部２１の対象物への接触が検知された場合に、その検知信号に基づいて各指部２１における各モータ５１、５２、５３を制御することもできる。
【００３２】
画像情報処理装置４４は、演算処理装置及びメモリを有するコンピュータを含んでいる。そして、画像情報処理装置４４は、機能部として、画像情報取得部４４０、対象物認識部４４１、判定部４４２、設定部４４３、および把持面決定部４４４を有している。これらの機能部は、画像情報処理装置４４に含まれるコンピュータにおいて所定の制御プログラムが実行されることで形成される。また、画像情報処理装置４４による画像情報の処理結果が対象物情報としてハンド制御部４３１の対象物情報取得部４３０に入力される。なお、画像情報処理装置４４における各機能部が果たす機能については後述する。
【００３３】
（画像情報処理）
ここで、画像情報処理装置４４において行われる画像情報処理について図１３〜図１８に基づいて説明する。図１３は対象物１０の形状および後述する該対象物における判定ポイントの位置の一例を示す図である。図１３に示すように、対象物１０の形状は直方体である。そして、本実施例に係る把持システム１００においては、上述したように、対象物１０とその周囲を含んだ画像を該対象物の上方から撮像装置８によって撮像する。そのため、対象物１０の上面Ｓ１が撮像装置８による撮像の対象となる。そして、対象物１０において、上面Ｓ１とその各辺を挟んで該上面Ｓ１と隣り合う各平面、すなわち、対象物１０の各側面を側面Ｓ２〜Ｓ５とする。
【００３４】
ハンド機構２によって対象物１０を把持しようとした場合、該対象物１０の側面Ｓ２〜Ｓ５のいずれかに指部２１を接触させ、該指部２１によって該対象物１０を挟み込む必要がある。ただし、対象物１０が、例えばその収容容器や他の対象物のような周辺物体と接触した状態で載置されている場合、該対象物１０における該周辺物体と接触している側面にはハンド機構２の指部２１を接触させることができないこととなる。したがって、ハンド機構２によって対象物１０を把持する際には、載置されている該対象物１０において、どの側面が指部２１による接触が可能な側面（以下、「指接触可能面」と称する場合もある。）であるのかを把握し、その上で、把持のために該指部２１を実際に接触させる側面（以下、「把持面」と称する場合もある。）を決定する必要がある。
【００３５】
そこで、本実施例では、画像情報処理装置４４における画像情報処理によって、対象物１０における指接触可能面を把握するとともに把持面を決定する。具体的には、本実施例では、対象物１０において撮像装置８による撮像の対象となる上面Ｓ１を形成する各辺の中点および該上面の各頂点が判定ポイントとして予め設定されている。図１３においては、対象物１０の上面Ｓ１における各判定ポイントがＰ１〜Ｐ８で示されている。
【００３６】
図１３に示すように、対象物１０が周辺物体と何ら接触していない状態で載置されている場合、撮像装置８によって撮像されることで取得された画像情報（以下、単に「画像情報」と称する場合もある。）において、対象物１０の上面Ｓ１における各判定ポイントＰ１〜Ｐ８はいずれも周辺物体とは接触していない状態となる。換言すれば、画像情報において、対象物１０の上面Ｓ１における各判定ポイントＰ１〜Ｐ８がいずれも周辺物体と接触していなければ、該対象物１０の各側面Ｓ２〜Ｓ５は、いずれも周辺物体とは接触していないと判断できる。この場合、対象物１０の側面Ｓ２〜Ｓ５の全てが指接触可能面として設定される。
【００３７】
また、図１４〜図１８は、対象物１０が周辺物体と接触した状態で載置されている場合の、画像情報における該対象物１０の上面Ｓ１の各判定ポイントＰ１〜Ｐ８の状態の具体例を示す図である。なお、図１３〜図１８では、周辺物体と接触していない判定ポイントには丸印を付し、周辺物体と接触している判定ポイントにはバツ印を付している。
【００３８】
図１４では、対象物１０の側面Ｓ５が壁（例えば、収容容器の内壁面）に接触した状態で該対象物１０が載置されている。この場合、画像情報においては、対象物１０の上面Ｓ１と側面Ｓ５とに挟まれた辺上に設定された判定ポイントＰ１、Ｐ８、Ｐ７が壁に接触した状態となる。そして、他の判定ポイントＰ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６は周辺物体とは接触していない状態となる。
【００３９】
また、図１５では、対象物１０ａと対象物１０ｂとが互いに接触した状態で並んで載置されている。この図１５では、対象物１０ａの側面Ｓ５と対象物１０ｂの側面Ｓ３とが接触している。この場合、画像情報において、対象物１０ａについては、その上面Ｓ１と側面Ｓ５とに挟まれた辺上に設定された判定ポイントＰ１、Ｐ８、Ｐ７が対象物１０ｂに接触した状態となる。そして、対象物１０ａにおける他の判定ポイントＰ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６は周辺物体とは接触していない状態となる。一方で、対象物１０ｂについては、その上面Ｓ１と側面Ｓ３とに挟まれた辺上に設定された判定ポイントＰ３、Ｐ４、Ｐ５が対象物１０ａに接触した状態となる。そして、対象物１０ｂにおける他の判定ポイントＰ１、Ｐ２、Ｐ６、Ｐ７、Ｐ８は周辺物体とは接触していない状態となる。
【００４０】
また、図１６では、図１５に示した対象物１０ａおよび対象物１０ｂに加え、対象物１０ｃが該対象物１０ａに接触した状態で並んで載置されている。この図１６では、対象物１０ａの側面Ｓ３と対象物１０ｃの側面Ｓ５とが接触している。この場合、画像情報にお
いて、対象物１０ａについては、判定ポイントＰ１、Ｐ８、Ｐ７が対象物１０ｂに接触した状態となるとともに、その上面Ｓ１と側面Ｓ３とに挟まれた辺上に設定された判定ポイントＰ３、Ｐ４、Ｐ５も対象物１０ｃに接触した状態となる。そして、対象物１０ａにおける他の判定ポイントＰ２、Ｐ６は周辺物体とは接触していない状態となる。また、対象物１０ｃについては、その上面Ｓ１と側面Ｓ５とに挟まれた辺上に設定された判定ポイントＰ１、Ｐ８、Ｐ７が対象物１０ａに接触した状態となる。そして、対象物１０ｃにおける他の判定ポイントＰ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６は周辺物体とは接触していない状態となる。
【００４１】
また、図１７では、図１６に示した対象物１０ａ、対象物１０ｂ、および対象物１０ｃに加え、対象物１０ｄが該対象物１０ａに接触した状態で載置されている。この図１７では、対象物１０ａの側面Ｓ４と対象物１０ｄの側面Ｓ２とが接触している。この場合、画像情報において、対象物１０ａについては、判定ポイントＰ１、Ｐ８、Ｐ７が対象物１０ｂに接触し、且つ、判定ポイントＰ３、Ｐ４、Ｐ５が対象物１０ｃに接触した状態となるとともに、その上面Ｓ１と側面Ｓ４とに挟まれた辺上に設定された判定ポイントＰ５、Ｐ６、Ｐ７も対象物１０ｄに接触した状態となる（判定ポイントＰ７は、対象物１０ｂおよび対象物１０ｄの両方に接触した状態となる。また、判定ポイントＰ５は、対象物１０ｃおよび対象物１０ｄの両方に接触した状態となる。）。そして、対象物１０ａにおける他の判定ポイントＰ２のみが周辺物体とは接触していない状態となる。また、対象物１０ｄについては、その上面Ｓ１と側面Ｓ２とに挟まれた辺上に設定された判定ポイントＰ１、Ｐ２、Ｐ３が対象物１０ａに接触した状態となる。そして、対象物１０ｄにおける他の判定ポイントＰ４、Ｐ５、Ｐ６、Ｐ７、Ｐ８は周辺物体とは接触していない状態となる。
【００４２】
図１８では、図１７における対象物１０ｂに代えて壁が対象物１０ａの側面Ｓ５に接触している。さらに、この壁に対象物１０ｄの側面Ｓ５も接触している。この場合、画像情報において、対象物１０ａについては、判定ポイントＰ３、Ｐ４、Ｐ５が対象物１０ｃに接触し、且つ、判定ポイントＰ５、Ｐ６、Ｐ７が対象物１０ｄに接触した状態となるとともに、その上面Ｓ１と側面Ｓ５とに挟まれた辺上に設定された判定ポイントＰ１、Ｐ８、Ｐ７が壁に接触した状態となる。また、対象物１０ｄについては、判定ポイントＰ１、Ｐ２、Ｐ３が対象物１０ａに接触した状態となるとともに、その上面Ｓ１と側面Ｓ５とに挟まれた辺上に設定された判定ポイントＰ１、Ｐ８、Ｐ７が壁に接触した状態となる。そして、対象物１０ｄにおける他の判定ポイントＰ４、Ｐ５、Ｐ６は周辺物体とは接触していない状態となる。
【００４３】
以上説明したように、対象物１０（１０ａ、１０ｂ、１０ｃ、１０ｄ）におけるある側面（図１４〜１８において斜線部示す側面）が周辺物体に接触していた場合、画像情報において、該対象物１０の上面と該側面とに挟まれた辺上の判定ポイントが該周辺物体に接触した状態となる。換言すれば、画像情報において周辺物体と接触している判定ポイントが並んでいる辺を挟んで上面Ｓ１と隣り合う側面は該周辺物体と接触していると判断できる。そして、対象物１０において周辺物体と接触している側面は、ハンド機構２の指部２１による接触が不可能な側面（以下、「指接触不可能面」と称する場合もある。）として設定することができる。また、画像情報において周辺物体と接触していない判定ポイントが位置する辺を挟んで上面Ｓ１と隣り合う側面は指接触可能面として設定することができる。
【００４４】
そこで、本実施例に係る画像情報処理装置４４では、画像情報において、対象物１０の上面Ｓ１における各判定ポイントが周辺物体と接触しているか否かが判定部４４２によって判定される。そして、判定部４４２による判定結果に基づいて、対象物１０の各側面が指接触可能面または指接触不可能面として設定される。
【００４５】
（画像情報処理のフロー）
次に、画像情報処理装置４４において行われる画像情報処理のフローについて図１９に示すフローチャートに基づいて説明する。この画像情報処理のフローは、画像情報処理装置４４において所定の処理プログラムが実行されることで実現される。本フローでは、先ずＳ１０１において、画像情報取得部４４０によって撮像装置８から画像情報が取得される。次に、Ｓ１０２において、対象物認識部４４１によって、画像情報取得部４４０が取得した画像情報から対象物１０が認識される。ここで、画像情報処理装置４４には、対象物１０の形状および寸法がユーザによって予め入力されている。対象物認識部４４１は、この予め入力された情報に基づいて画像情報から対象物１０を抽出することで、該対象物１０を認識する。また、画像情報に複数の対象物１０が含まれていれば、対象物認識部４４１は、該複数の対象物１０を個々に認識する。
【００４６】
次に、Ｓ１０３において、対象物認識部４４１によって認識された対象物１０について、図１３〜図１８において例示したように、該対象物１０の上面Ｓ１における各判定ポイントＰ１〜Ｐ８が周辺物体と接触しているか否かが判定部４４２によって判定される。このとき、対象物認識部４４１によって複数の対象物１０が認識されていれば、判定部４４２による当該判定が各対象物１０に対して実行される。
【００４７】
次に、Ｓ１０４において、判定部４４２による判定結果に基づいて、設定部４４３によって、対象物１０の各側面が指接触可能面または指接触不可能面として設定される。ここでも、対象物認識部４４１によって複数の対象物１０が認識されていれば、設定部４４３による当該設定が各対象物１０に対して実行される。これにより、図１３〜図１８の場合は、対象物１０（１０ａ、１０ｂ、１０ｃ、１０ｄ）において、斜線部で示す側面が指接触不可能面として設定され、それ以外の側面が指接触可能面として設定されることになる。
【００４８】
次に、Ｓ１０５において、設定部４４３によって設定された指接触可能面および指接触不可能面の状況に基づいて、把持面決定部４４４によって対象物１０における把持面が決定される。例えば、ハンド機構２の指部２１によって対象物１０を挟み込む場合、把持面は対象物１０において互いに平行な二つの側面を把持面とするのが好ましい。そのため、例えば、図１４のような場合は、対象物１０における側面Ｓ２と側面Ｓ４とを把持面として決定してもよい。また、図１５、１６における対象物１０ａ、１０ｂ、または１０ｃを把持する際にも、それぞれにおける側面Ｓ２と側面Ｓ４とを把持面として決定してもよい。また、図１７における対象物１０ａ、１０ｃ、または、図１８における対象物１０ｃを把持する際にも、それぞれにおける側面Ｓ２と側面Ｓ４とを把持面として決定してもよい。また、図１７における対象物１０ｄを把持する際には、側面Ｓ３と側面Ｓ５とを把持面として決定してもよい。
【００４９】
本フローによれば、撮像装置８によって対象物１０を含む画像を撮像することで取得される画像情報に基づいて、対象物１０において、どの側面が指接触可能平面であり、どの側面が指接触不可能面であるかを適切に把握することができる。また、その上で、対象物を把持する際の把持面を好適に決定することができる。そして、画像情報処理装置４４による画像情報処理の結果として得られる対象物１０の把持面に関する情報が、該対象物１０の形状および寸法に関する情報と共に、対象物情報として、ハンド制御装置４３の対象物情報取得部４３０に入力される。そして、ハンド機構２によって対象物１０を把持すべく、ハンド制御部４３１が対象物情報に基づいて該ハンド機構２を制御する。
【００５０】
なお、本実施例では、対象物１０の上面Ｓ１における判定ポイントの設定位置を、図１３に示すように、該上面Ｓ１を形成する各辺の中点および該上面Ｓ１の各頂点とした。ただし、対象物１０の上面Ｓ１における判定ポイントの設定位置は、必ずしもこのような位
置には限られず、該上面Ｓ１を形成する各辺上の所定の位置であればよい。
【００５１】
＜実施例２＞
本実施例に係る把持システムにおいては、ロボットアーム１の台座部４に内蔵された画像情報処理装置４４の構成が実施例１と異なっている。図２０は本実施例に係る画像情報処理装置４４に含まれる各機能部を示すブロック図である。図２０に示すように、本実施例では、画像情報処理装置４４が、図１２に示す把持面決定部４４４に代えて把持対象決定部４４５を備えている。なお、他の機能部と同様、把持対象決定部４４５も画像情報処理装置４４に含まれるコンピュータにおいて所定の制御プログラムが実行されることで形成される。
【００５２】
本実施例に係る画像情報処理装置４４においても、対象物認識部４４１によって認識された対象物１０について、該対象物１０の上面Ｓ１における各判定ポイントＰ１〜Ｐ８が周辺物体と接触しているか否かが判定部４４２によって判定される。さらに、判定部４４２による判定結果に基づいて、設定部４４３によって、対象物１０の各側面が指接触可能面または指接触不可能面として設定される。また、このときに、対象物認識部４４１によって複数の対象物１０が認識されていれば、判定部４４２による各判定ポイントＰ１〜Ｐ８が周辺物体と接触しているか否かの判定、および、設定部４４３による指接触可能面および指接触不可能面の設定が各対象物１０に対して実行される。そして、本実施例では、さらに、対象物認識部４４１によって認識された複数の対象物１０のうち、どの対象物１０をハンド機構２による今回の把持の対象とするのかが、各対象物１０における指接触可能面および指接触不可能面の状況に基づいて把持対象決定部４４５によって決定される。
【００５３】
上述したように、ハンド機構２によって対象物１０を把持しようとした場合、該ハンド機構２の指部２１によって該対象物１０を挟み込む必要がある。この場合、対象物１０における互いに対抗する二つの側面のそれぞれに指部２１を接触させた上で、該指部２１によって該対象物１０を挟み込むのが好ましい。そこで、本実施例では、複数の対象物１０からハンド機構２による把持の対象を決定する場合に、互いに対抗する一対の指接触可能面が存在する対象物１０を把持の対象として選択する。
【００５４】
例えば、図１７に示すような状態で対象物１０ａ、対象物１０ｂ、対象物１０ｃ、および対象物１０ｄが載置されていた場合、対象物１０ｂおよび対象物１０ｃでは、側面Ｓ２および側面Ｓ４が互いに対抗する一対の指接触可能面となっている。また、対象物１０ｄでは、側面Ｓ３および側面Ｓ５が互いに対抗する一対の指接触可能面となっている。ただし、対象物１０ａには、互いに対抗する一対の指接触可能面が存在していない。そこで、このような状況では、把持対象決定部４４５が、対象物１０ｂ、対象物１０ｃ、または対象物１０ｄを、ハンド機構２による把持の対象に決定する。また、図１８に示すような状態で対象物１０ａ、対象物１０ｃ、および対象物１０ｄが載置されていた場合、互いに対抗する一対の指接触可能面が存在するのは対象物１０ｃのみである（対象物１０ｃでは、側面Ｓ２および側面Ｓ４が互いに対抗する一対の指接触可能面となっている。）。そこで、このような状況では、把持対象決定部４４５が、対象物１０ｃをハンド機構２による把持の対象に決定する。
【００５５】
図２１は、本実施例に係る、画像情報処理装置４４において行われる画像情報処理のフローを示すフローチャートである。この画像情報処理のフローは、画像情報処理装置４４において所定の処理プログラムが実行されることで実現される。なお、本フローにおけるＳ１０１〜Ｓ１０４は、図１９に示すフローと同様のステップである。そのため、これらのステップでの処理についての説明は省略する。
【００５６】
本フローでは、Ｓ１０４の次にＳ２０５の処理が実行される。Ｓ２０５では、設定部４
４３によって設定された各対象物１０での指接触可能面および指接触不可能面の状況に基づいて、把持対象決定部４４５によってハンド機構２による今回の把持の対象となる対象物１０が決定される。
【００５７】
本フローによれば、撮像装置８によって複数の対象物１０を含む画像を撮像することで取得される画像情報に基づいて、ハンド機構２による把持の対象となる対象物１０を好適に決定することができる。そして、画像情報処理装置４４による画像情報処理の結果として得られる今回の把持の対象となる対象物１０に関する情報が、該対象物１０の形状および寸法に関する情報と共に、対象物情報として、ハンド制御装置４３の対象物情報取得部４３０に入力される。そして、ハンド機構２によって今回の把持の対象となる対象物１０を把持すべく、ハンド制御部４３１が対象物情報に基づいて該ハンド機構２を制御する。
【００５８】
＜実施例３＞
本実施例に係る把持システムにおいては、ロボットアーム１の台座部４に内蔵された画像情報処理装置４４の構成が実施例１と異なっている。図２２は本実施例に係る画像情報処理装置４４に含まれる各機能部を示すブロック図である。図２２に示すように、本実施例では、画像情報処理装置４４が、図１２に示す把持面決定部４４４に代えて把持形態決定部４４６を備えている。なお、他の機能部と同様、把持形態決定部４４６も画像情報処理装置４４に含まれるコンピュータにおいて所定の制御プログラムが実行されることで形成される。
【００５９】
ここで、本実施例に係る、対象物１０をハンド機構２によって把持する際の把持形態の具体例である直接把持および傾倒把持について図２３〜図２６説明する。なお、ここでは、ハンド機構２の各指部２１を、それぞれ、第１指部２１Ａ、第２指部２１Ｂ、第３指部２１Ｃ、第４指部２１Ｄと称する。図２３は、直接把持によって対象物１０を把持したときのハンド機構２および該対象物１０の状態を示す図である。図２３に示すように、載置された対象物１０が何ら周辺物体と接触していない場合であれば、該対象物１０を、そのままの状態でハンド機構２の指部２１によって挟み込んで把持することができる。このように、対象物１０を載置された状態のままでハンド機構２によって把持する把持形態を直接把持と称する。このような直接把持による対象物１０の把持は、該対象物１０において、互いに対抗する一対の指接触可能面が少なくとも一組存在しているような状況であれば実施することが可能となる。
【００６０】
また、図２４〜図２６は、傾倒把持によって対象物１０を把持したときのハンド機構２および該対象物１０の状態を示す図である。なお、図２４および図２５は、ハンド機構２の第１指部２１Ａによって対象物１０を傾倒させる際の動作を示す図である。また、図２６は、ハンド機構２の第２指部２１Ｂ、第３指部２１Ｃ、および第４指部２１Ｄによって対象物１０を把持した状態を示す図である。この図２４〜図２６に示すように、対象物１０を傾倒させてからハンド機構２によって把持する把持形態を傾倒把持と称する。
【００６１】
より詳細には、図２４では、対象物１０が隣接する他の対象物１０と接触した状態で並んで載置されている。このような場合でも、対象物１０の上面Ｓ１にはハンド機構２の指部２１を接触させることができる。そこで、先ず、図２４に示すように、第１指部２１Ａの第１指リンク部２１１Ａを対象物１０の上面Ｓ１に接触させる。なお、このときに、第１指部２１Ａを対象物１０の上面Ｓ１に接触させた状態では、ハンド機構２における他の指部２１Ｂ、２１Ｃ、２１Ｄは、対象物１０には接触していない。そして、次に、図２５に示すように、第１指部２１Ａによって、その第１指リンク部２１１Ａを対象物１０の上面Ｓ１に接触させた状態で、該対象物１０を手前に傾ける。このように、第１指部２１Ａによって対象物１０の姿勢を変更することで、該対象物１０と、隣接する対象物１０´との間隔を大きくすることができる。これにより、対象物１０において、隣接する対象物１
０´と接触しており、載置された状態のままでは指接触不可能面であった側面にも、ハンド機構２の指部２１を接触させることが可能な状況となる。そして、次に、図２６に示すように、第１指部２１Ａによって対象物１０を傾倒させた状態で、第２指部２１Ｂ、第３指部２１Ｃ、および第４指部２１Ｄによって該対象物１０を挟み込んで把持する。このような傾倒把持による対象物１０の把持は、該対象物１０において、互いに対抗する二つの指接触可能面が存在していなくても、指接触可能面が少なくとも一つ存在しているような状況であれば、該指接触可能面側に該対象物１０を傾倒させることで実施することが可能となる。
【００６２】
このように、本実施例に係るロボットアーム１は、直接把持のみならず、傾倒把持によって対象物１０を把持することが可能となっている。そして、対象物１０が、直接把持では把持することができない状況下にあってとしても、傾倒把持によって把持することが可能な場合があり得る。そこで、対象物１０をハンド機構２によって把持する際の把持形態を、対象物１０における指接触可能面および指接触不可能面の状況に基づいて決定する。
【００６３】
ここで、本実施例に係る画像情報処理装置４４においても、対象物認識部４４１によって認識された対象物１０について、該対象物１０の上面Ｓ１における各判定ポイントＰ１〜Ｐ８が周辺物体と接触しているか否かが判定部４４２によって判定される。さらに、判定部４４２による判定結果に基づいて、設定部４４３によって、対象物１０の各側面が指接触可能面または指接触不可能面として設定される。そして、本実施例では、さらに、対象物１０をハンド機構２によって把持する際の把持形態が、対象物１０における指接触可能面および指接触不可能面の状況に基づいて把持形態決定部４４６によって決定される。
【００６４】
例えば、図１７に示すような状態で対象物１０ａ、対象物１０ｂ、対象物１０ｃ、および対象物１０ｄが載置されていた場合において、互いに対抗する一対の指接触可能面が存在している対象物１０ｂ、対象物１０ｃ、または対象物１０ｄを把持対象とした場合、把持形態決定部４４６が、把持形態を直接把持に決定する。一方で、図１７に示すような状態で対象物１０ａ、対象物１０ｂ、対象物１０ｃ、および対象物１０ｄが載置されていた場合において、互いに対抗する一対の指接触可能面が存在していない対象物１０ａを把持対象とした場合、把持形態決定部４４６が、把持形態を傾倒把持に決定する。そして、この場合は、対象物１０ａを、指接触可能面となっている側面Ｓ２側に傾倒させることで、傾倒把持が実施される。
【００６５】
また、図１８に示すような状態で対象物１０ａ、対象物１０ｃ、および対象物１０ｄが載置されていた場合において、互いに対抗する一対の指接触可能面が存在している対象物１０ｃを把持対象とした場合、把持形態決定部４４６が、把持形態を直接把持に決定する。一方で、図１８に示すような状態で対象物１０ａ、対象物１０ｃ、および対象物１０ｄが載置されていた場合において、互いに対抗する一対の指接触可能面が存在していない対象物１０ａまたは対象物１０ｄを把持対象とした場合、把持形態決定部４４６が、把持形態を傾倒把持に決定する。そして、このときに、対象物１０ａを把持対象とした場合は、該対象物１０ａを、指接触可能面となっている側面Ｓ２側に傾倒させることで、傾倒把持が実施される。また、対象物１０ｄを把持対象とした場合は、該対象物１０ｄを、指接触可能面となっている側面Ｓ３または側面Ｓ４側に傾倒させることで、傾倒把持が実施される。
【００６６】
図２７は、本実施例に係る、画像情報処理装置４４において行われる画像情報処理のフローを示すフローチャートである。この画像情報処理のフローは、画像情報処理装置４４において所定の処理プログラムが実行されることで実現される。なお、本フローにおけるＳ１０１〜Ｓ１０４は、図１９に示すフローと同様のステップである。そのため、これらのステップでの処理についての説明は省略する。
【００６７】
本フローでは、Ｓ１０４の次にＳ３０５の処理が実行される。Ｓ３０５では、設定部４４３によって設定された対象物１０での指接触可能面および指接触不可能面の状況に基づいて、把持形態決定部４４６によって今回の把持形態が決定される。詳細には、対象物１０において、互いに対向する一対の指接触可能面が存在していれば、把持形態決定部４４６が把持形態を直接把持に決定する。また、対象物１０において、互いに対向する一対の指接触可能面が存在しておらず、且つ、少なくとも一つの指接触可能面が存在していれば、把持形態決定部４４６が把持形態を傾倒把持に決定する。
【００６８】
本フローによれば、撮像装置８によって対象物１０を含む画像を撮像することで取得される画像情報に基づいて、ハンド機構２によって該対象物１０を把持する際の把持形態を好適に決定することができる。そして、画像情報処理装置４４による画像情報処理の結果として得られる今回の把持形態に関する情報がハンド制御装置４３のハンド制御部４３１に入力される。そして、ハンド機構２によって対象物１０を把持すべく、ハンド制御部４３１が、入力された把持形態に関する情報に基づいてハンド機構２を制御する。
【００６９】
なお、上記実施例１、実施例２、および実施例３では、対象物１０の形状を直方体とした場合を例に挙げて、画像情報処理装置４４における画像処理について説明した。しかしながら、対象物の形状は必ずしも直方体に限られるものではない。つまり、対象物が多面体であれば、上述したような手法により、該対象物の上方から撮像された画像情報に基づいて、該対象物における上面と隣り合う各平面を指接触可能面または指接触不可能面として設定することができる。
【００７０】
また、対象物に対する撮像装置８による撮像方向は必ずしも該対象物の上方に限られるわけではない。例えば、対象物に対して、その側方からハンド機構２を近づけて該対象物を把持する場合は、その側方から撮像装置８によって該対象物を撮像してもよい。この場合、対象物における撮像装置８による撮像の対象となる平面は該対象物の側方に位置する平面となる。
【符号の説明】
【００７１】
１・・・ロボットアーム、２・・・ハンド機構、８・・・撮像装置、２０・・・ベース部、２１・・・指部、２２・・・第１関節部、２３・・・第２関節部、２１１・・・第１指リンク部、２１２・・・第２指リンク部、２１３・・・基端部、３・・・アーム機構、３０ａ・・・第１関節部、３０ｂ・・・第２関節部、３０ｃ・・・第３関節部、３０ｄ・・・第４関節部、３０ｅ・・・第５関節部、３０ｆ・・・第６関節部、３１・・・第１アームリンク部、３２・・・第２アームリンク部、３３・・・第３アームリンク部、３４・・・第４アームリンク部、３５・・・第５アームリンク部、３６・・・接続部材、４・・・台座部、４２・・・アーム制御装置、４２０・・・アーム制御部、４２１・・・モータ状態量取得部、４３・・・ハンド制御装置、４３０・・・対象物情報取得部、４３１・・・ハンド制御部、４３２・・・モータ状態量取得部、４４・・・画像情報処理装置、４４０・・・画像情報取得部、４４１・・・対象物認識部、４４２・・・判定部、４４３・・・設定部、４４４・・・把持面決定部、４４５・・・把持対象決定部、４４６・・・把持形態決定部、５１・・・第１モータ、５２・・・第２モータ、５３・・・第３モータ、６１、６２・・・傘歯車、６３・・・ウォームホイール、６４・・・ウォーム、６５、６６・・・歯車、７０・・・感圧センサ、１００・・・把持システム
【図１】
2019042853.tif 000003
【図２】
2019042853.tif 000004
【図３】
2019042853.tif 000005
【図４】
2019042853.tif 000006
【図５】
2019042853.tif 000007
【図６】
2019042853.tif 000008
【図７】
2019042853.tif 000009
【図８】
2019042853.tif 000010
【図９】
2019042853.tif 000011
【図１０】
2019042853.tif 000012
【図１１】
2019042853.tif 000013
【図１２】
2019042853.tif 000014
【図１３】
2019042853.tif 000015
【図１４】
2019042853.tif 000016
【図１５】
2019042853.tif 000017
【図１６】
2019042853.tif 000018
【図１７】
2019042853.tif 000019
【図１８】
2019042853.tif 000020
【図１９】
2019042853.tif 000021
【図２０】
2019042853.tif 000022
【図２１】
2019042853.tif 000023
【図２２】
2019042853.tif 000024
【図２３】
2019042853.tif 000025
【図２４】
2019042853.tif 000026
【図２５】
2019042853.tif 000027
【図２６】
2019042853.tif 000028
【図２７】
2019042853.tif 000029