(57)【要約】【課題】隠れた部分を有する対象物の認識処理速度を向上することのできる把持手段によって把持されている対象物の認識方法を提供することを目的とする。【解決手段】把持手段によって把持されている対象物の認識方法は、手２及び手２によって把持されている対象物３を含む物体の画像１を取得する画像取得ステップと、画像１に写し出された物体を検知する物体検知ステップと、画像１に写し出された手２を検知し、手２の把持姿勢を推定する手検知ステップと、物体検知ステップにより検知された物体に関する情報及び手検知ステップにより検知された手２に関する情報から、画像１における対象物３（部分領域Ａ）を特定し、特定された対象物３（部分領域Ａ）の外観に関する情報及び手検知ステップにより推定された手２の把持姿勢に関する情報から、対象物３の全体形状を認識する対象物判定ステップとを行うことにより、対象物３を認識する方法である。【選択図】図４
2010244413.tif 000002
【特許請求の範囲】
【請求項１】
把持手段によって把持されている対象物の認識方法であって、
前記把持手段及び前記把持手段によって把持されている前記対象物を含む物体の画像を取得する画像取得ステップと、
前記画像に写し出された前記物体を検知する物体検知ステップと、
前記画像に写し出された前記把持手段を検知し、前記把持手段の把持姿勢を推定する把持手段検知ステップと、
前記物体検知ステップにより検知された前記物体に関する情報及び前記把持手段検知ステップにより検知された前記把持手段に関する情報から、前記画像における前記対象物を特定し、
前記特定された対象物の外観に関する情報及び前記把持手段検知ステップにより推定された前記把持手段の把持姿勢に関する情報から、前記対象物の全体形状を認識する対象物判定ステップと
を備える、把持手段によって把持されている対象物の認識方法。
【請求項２】
前記把持手段検知ステップは、
前記推定された把持手段の把持姿勢に関する情報から、前記把持手段により囲まれる領域を算出し、
前記把持手段により囲まれる領域から前記画像における前記把持手段によって隠れた部分を含む領域を特定することをさらに含む
請求項１に記載の把持手段によって把持されている対象物の認識方法。
【請求項３】
前記対象物判定ステップは、
前記特定された対象物に前記特定された領域を結合し、
前記結合された対象物から前記対象物の全体形状を認識することをさらに含む
請求項２に記載の把持手段によって把持されている対象物の認識方法。
【請求項４】
前記対象物判定ステップは、
把持されている前記対象物に関する情報を含むデータベースにアクセスし、前記結合された対象物に関する情報を条件として前記条件を満たす範囲内のみで前記データベースを検索し、前記データベースとのマッチングを行うことをさらに含む
請求項３に記載の把持手段によって把持されている対象物の認識方法。
【請求項５】
前記対象物判定ステップにおいて、
前記結合された対象物に関する情報は、前記結合された対象物の面積及び外周長の少なくとも１つを含む
請求項４に記載の把持手段によって把持されている対象物の認識方法。
【請求項６】
前記物体検知ステップは、
前記把持手段検知ステップにより検知された前記把持手段に関する情報に基づき、前記画像に写し出された前記物体から前記対象物を特定することをさらに含む
請求項１〜５のいずれか一項に記載の把持手段によって把持されている対象物の認識方法。
【請求項７】
前記物体検知ステップは、
前記把持手段検知ステップにより推定された前記把持手段の把持姿勢に関する情報に基づき、前記画像に写し出された前記物体から前記対象物を特定することをさらに含む
請求項１〜５のいずれか一項に記載の把持手段によって把持されている対象物の認識方法。
【請求項８】
前記物体検知ステップは、
前記把持手段検知ステップにより検知された前記把持手段に関する情報、及び前記把持手段検知ステップにより推定された前記把持手段の把持姿勢に関する情報に基づき、前記画像に写し出された前記物体から前記対象物を特定することをさらに含む
請求項１〜５のいずれか一項に記載の把持手段によって把持されている対象物の認識方法。
【請求項９】
請求項１〜８のいずれか一項に記載の把持手段によって把持されている対象物の認識方法における各ステップを、コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、把持する手等により隠れた部位を有する、把持手段によって把持されている対象物の認識方法に関する。
【背景技術】
【０００２】
対象物を撮像した画像において、対象物には、対象物自体及び対象物上に存在する遮蔽物によって部分的に隠れてしまい画像上に描写されない部位が存在する。そして、このような部位を含めた対象物の全体形状を、隠れた部位を有する対象物を撮像した画像に基づき推定する方法や装置が提案されている。
【０００３】
例えば、特許文献１には、カメラから取得した画像から、部分的に隠れた対象物を認識する情報処理装置が記載されている。
特許文献１の情報処理装置は、予めカメラから供給された対象物自体の画像をモデル画像として蓄積しており、このモデル画像から、画像における位置の変化に対する画素値の変化の大きさの度合いを示すエッジ強度からなるエッジ強度画像を生成する。また、情報処理装置は、モデル画像から、画像の画素の画素値の閾値に対する大小の境界を示すエッジ画像を生成する。さらに、この情報処理装置は、生成したエッジ画像上の境界であるエッジに複数の特徴点を設定し、この特徴点の近傍に特徴量抽出領域を設定する。そして、情報処理装置は、エッジ強度画像を基に、各特徴点の特徴量抽出領域におけるエッジ強度をモデル特徴量として抽出し、モデル特徴量と各特徴点の位置関係とを関連づけてモデル画像毎にモデル辞書に登録する。
【０００４】
また、情報処理装置は、カメラから認識される実画像をターゲット画像とし、このターゲット画像からエッジ画像を生成して、生成したエッジ画像上に複数のエッジ点を設定する。さらに、情報処理装置は、各エッジ点におけるエッジ強度をターゲット特徴量として抽出する。
そこで、情報処理装置は、モデル辞書に登録されたモデル特徴量とターゲット特徴量とのマッチングを行い、モデル画像に含まれている対象物とターゲット画像に含まれている対象物とを同定し、ターゲット画像内の対象物を認識する。これにより、ターゲット画像内における対象物の隠れた領域を含む対象物の形状が特定される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２４３１７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の情報処理装置では、モデル辞書に登録された、多量のモデル画像毎に設定されている複数の特徴点に対応するモデル特徴量の全てと、ターゲット画像に設定された複数の特徴点におけるターゲット特徴量とをマッチングさせて、モデル画像とターゲット画像との同定を行っている。このため、モデル特徴量とターゲット特徴量とのマッチングにおける処理量が多くなり、モデル画像とターゲット画像との同定に関する処理速度が低くなるという問題がある。さらに、モデル画像とターゲット画像との同定の精度を向上させるために各画像において設定する特徴点の数量を多くすると、処理量のさらなる増大によりマッチングに要する時間が増大し、モデル画像とターゲット画像との同定に関する処理速度がさらに低下するという問題がある。
【０００７】
この発明は、このような問題点を解決するためになされたもので、隠れた部分を有する対象物の認識処理速度を向上することのできる把持手段によって把持されている対象物の認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る把持手段によって把持されている対象物の認識方法は、把持手段及び把持手段によって把持されている対象物を含む物体の画像を取得する画像取得ステップと、画像に写し出された物体を検知する物体検知ステップと、画像に写し出された把持手段を検知し、把持手段の把持姿勢を推定する把持手段検知ステップと、物体検知ステップにより検知された物体に関する情報及び把持手段検知ステップにより検知された把持手段に関する情報から、画像における対象物を特定し、特定された対象物の外観に関する情報及び把持手段検知ステップにより推定された把持手段の把持姿勢に関する情報から、対象物の全体形状を認識する対象物判定ステップとを備えることを特徴とするものである。
【０００９】
これにより、画像に写し出される把持手段の画像から推定される把持姿勢から、把持手段の内側（把持側）に形成される空間範囲を算出することができる。そして、この空間範囲から、把持手段により隠れている対象物の取り得る領域が限定される。よって、対象物は、画像に写し出されている部位だけなく、把持手段により隠れている対象物の取り得る領域よってもその外観に関する要素が限定されて、対象物の全体形状が認識される。このため、対象物の認識に要する処理量が低減される。従って、把持手段によって把持されている対象物の認識方法は、対象物の認識に要する処理速度を向上させることができる。
【００１０】
把持手段検知ステップは、推定された把持手段の把持姿勢に関する情報から、把持手段により囲まれる領域を算出し、把持手段により囲まれる領域から画像における把持手段によって隠れた部分を含む領域を特定することをさらに含んでもよい。
対象物判定ステップは、特定された対象物に上記特定された領域を結合し、結合された対象物から対象物の全体形状を認識することをさらに含んでもよい。これにより、把持手段によって隠れた把持手段により囲まれる領域及び画像に写し出されている対象物に関する情報を結合することにより、面積、外周長等の対象物全体の外観に関する要素の範囲が限定される。よって、対象物は、画像に写し出されている部位だけなく、対象物の外観に関する要素によっても限定されて、対象物の全体形状が認識される。
【００１１】
対象物判定ステップは、把持されている対象物に関する情報を含むデータベースにアクセスし、結合された対象物に関する情報をこの条件として条件を満たす範囲内のみでデータベースを検索し、データベースとのマッチングを行うことをさらに含んでもよい。これにより、結合された対象物に関する情報を条件としてその条件の範囲内にデータベースの検索範囲を限定することにより、検索に要する処理量が低減され、処理速度が向上する。  また、対象物判定ステップにおいて、結合された対象物に関する情報は、結合された対象物の面積及び外周長の少なくとも１つを含んでもよい。
物体検知ステップは、把持手段検知ステップにより検知された把持手段に関する情報に基づき、画像に写し出された物体から対象物を特定することをさらに含んでもよい。これにより、物体検知ステップは、把持手段の位置及び形状等に関する情報から、画像において把持手段付近から検索して把持手段の近傍における物体を検知し、さらに、検知した物体から対象物を特定する。よって、物体検知ステップ及び対象物判定ステップにおける処理量が低減され、把持手段によって把持されている対象物の認識に係わる処理速度を向上することができる。
【００１２】
物体検知ステップは、把持手段検知ステップにより推定された把持手段の把持姿勢に関する情報に基づき、画像に写し出された物体から対象物を特定することをさらに含んでもよい。これにより、物体検知ステップは、把持手段の把持姿勢に関する情報から、把持手段の把持可能な領域（把持側）のみを検索して画像の物体を検知し、さらに、検知した物体から対象物を特定する。よって、物体検知ステップ及び対象物判定ステップにおける処理量が低減され、把持手段によって把持されている対象物の認識に係わる処理速度を向上することができる。
【００１３】
物体検知ステップは、把持手段検知ステップにより検知された把持手段に関する情報、及び把持手段検知ステップにより推定された把持手段の把持姿勢に関する情報に基づき、画像に写し出された物体から対象物を特定することをさらに含んでもよい。これにより、物体検知ステップは、把持手段の把持姿勢に関する情報から、把持手段の把持可能な領域（把持側）のみに画像における物体の検索範囲を限定し、さらに、この検索範囲において、把持手段の位置等に関する情報から把持手段の付近から検索して把持手段の近傍における物体を検知する。そして、物体検知ステップは、検知した物体から対象物を特定する。よって、物体検知ステップ及び対象物判定ステップにおける処理量が低減され、把持手段によって把持されている対象物の認識に係わる処理速度を向上することができる。
また、この発明に係るプログラムは、上述の把持手段によって把持されている対象物の認識方法における各ステップを、コンピュータに実行させるためのプログラムであることを特徴とする。
【発明の効果】
【００１４】
この発明によれば、把持手段によって把持されている対象物の認識方法は、隠れた部分を有する対象物の認識処理速度を向上することが可能になる。
【図面の簡単な説明】
【００１５】
【図１】対象物及び対象物を把持している手を含む画像を示す図である。
【図２】図１において、この発明の実施の形態１〜３及び６に係る把持手段によって把持されている対象物の認識装置によって検出される領域を分別して示す図である。
【図３】図２の各領域を別個に示す図である。
【図４】この発明の実施の形態１に係る把持手段によって把持されている対象物の認識装置の構成を示すブロック図である。
【図５】辞書のデータベースの一例を示す図である。
【図６】この発明の実施の形態２に係る把持手段によって把持されている対象物の認識装置の構成を示すブロック図である。
【図７】この発明の実施の形態３に係る把持手段によって把持されている対象物の認識装置の構成を示すブロック図である。
【図８】図１において、この発明の実施の形態４に係る把持手段によって把持されている対象物の認識装置によって検出される領域を分別して示す図である。
【図９】この発明の実施の形態４に係る把持手段によって把持されている対象物の認識装置の構成を示すブロック図である。
【図１０】図１において、この発明の実施の形態５に係る把持手段によって把持されている対象物の認識装置によって検出される領域を分別して示す図である。
【図１１】この発明の実施の形態５に係る把持手段によって把持されている対象物の認識装置の構成を示すブロック図である。
【図１２】この発明の実施の形態６に係る把持手段によって把持されている対象物の認識装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下に、この発明の実施の形態について、添付図に基づいて説明する。
実施の形態１．
図１〜５を用いて、この発明の実施の形態１に係る把持手段によって把持されている対象物の認識装置１０１の構成及び動作を示す。なお、以下の実施形態では、対象物を人間の手で把持した場合における対象物の認識について記載する。さらに、認識装置１０１における処理は、認識装置１０１に組み込まれたプログラムによって実行されるものとする。
【００１７】
まず、図１及び４を参照すると、認識装置１０１は、画像取得手段１１、物体検知手段１２ａ、手検知手段１２ｂ、対象物判定手段１３、並びに、記憶手段である辞書１５を含むように構成されている。画像取得手段１１は、物体検知手段１２ａ及び手検知手段１２ｂへ情報を送信するようになっており、物体検知手段１２ａ及び手検知手段１２ｂはそれぞれ、対象物判定手段１３へ情報を送信するようになっている。また、手検知手段１２ｂ及び対象物判定手段１３は、辞書１５へのアクセスが可能となっている。
また、手検知手段１２ｂは、手検知部１２ｂ１、手形状推定部１２ｂ２及び限定条件生成部１２ｂ３によって構成され、手検知部１２ｂ１から手形状推定部１２ｂ２、及び、手形状推定部１２ｂ２から限定条件生成部１２ｂ３へ情報が送信されるようになっている。
さらに、対象物判定手段１３は、情報結合部１３ａ及び対象物認識部１３ｂによって構成され、情報結合部１３ａから対象物認識部１３ｂへ情報が送信されるようになっている。
【００１８】
画像取得手段１１は、外部の画像を取得するためのものであり、カメラ等によって構成されている。そして、画像取得手段１１によって図１に示される二次元画像１が取得され、画像取得手段１１は、取得した画像１を物体検知手段１２ａ及び手検知手段１２ｂの手検知部１２ｂ１に送る。
物体検知手段１２ａは、供給された画像１において特徴部を検出し、画像１上に写し出されている各物体の形状を検出するものである。なお、画像１における特徴部の検出は、例えば、画素の画素値が急激に変化する箇所であるエッジを検出することによって行われる。そして、物体検知手段１２ａは、画像１において検出した各物体の形状情報を、対象物判定手段１３の情報結合部１３ａに送る。また、物体検知手段１２ａは、画像１における各物体の二次元位置も検出し、この位置情報を対象物判定手段１３の情報結合部１３ａに送る。
【００１９】
手検知手段１２ｂにおける手検知部１２ｂ１は、画像取得手段１１から画像１の供給をうけ、供給された画像１において、把持手段である人の手２を検出し、さらに、手２の二次元位置を検出するものである。そして、手検知部１２ｂ１は、検出した手２の位置情報及び形状情報を、同じ手検知手段１２ｂ内の手形状推定部１２ｂ２に送る。
なお、手検知手段１２ｂによる手２の検出の際、画像１内における肌色領域の抽出及び人の肌のテクスチャマッチングにより、手２自体が検知され、さらに、検知された手２と、辞書１５内に予め登録された手形状のパターンとのマッチングにより手２の二次元形状が検出される。
【００２０】
手形状推定部１２ｂ２は、手検知部１２ｂ１により検出された二次元画像１上での手２の形状から、手の向き、手の傾斜角度、及び指の曲がり角度等の情報を含む手２の手指形状すなわち手２の把持姿勢を推定するものである。そして、手形状推定部１２ｂ２は、推定した手２の把持姿勢情報、並びに手検知部１２ｂ１より供給された手２の位置情報及び形状情報を、同じ手検知手段１２ｂ内の限定条件生成部１２ｂ３に送る。
なお、手２の把持姿勢の推定ついて、例えば、谷本らの研究（谷本貴頌他により２００６年３月に作成され公知となった「ロボットハンド制御のための自己増殖型ＳＯＭを用いた画像データベースからの手指形状の実時間推定」と題する筑波大学大学院博士課程システム情報工学研究科修士論文）に記載される方法を使用することによって、手を撮像した一つの二次元画像から手の把持姿勢の推定を行うことができる。谷本らの研究では、予め、手の関節の角度情報と手画像とを同期させて取得し、画像における輪郭抽出と特徴量化を行い、この特徴量と角度とをデータとしてデータベースを構築している。そして、手の実画像について、データベースの構築時と同様の特徴量化を行い、得られた特徴量とデータベースの特徴量との比較を行うことで手の関節の角度を推定し、手の把持姿勢を推定している。
また、複数の画像取得手段１１を使用し、これらの画像取得手段１１により異なる方向から撮像した手２の画像から、手２を立体的に復元し、手２の把持姿勢を計測することもできる。
【００２１】
限定条件生成部１２ｂ３は、手形状推定部１２ｂ２により推定された手２の把持姿勢情報から、対象物３を把持する側において手２の指及び掌等によって形成される空間の範囲を限定し、さらに、この空間の範囲の中で、画像１において手２によって隠れて写し出されていない領域を特定するものである。
【００２２】
そこで、限定条件生成部１２ｂ３は、手２によって形成される空間の範囲について画像１と平行な断面の内から、最大断面積を有する断面又は最大外周長を有する断面を求める。さらに、限定条件生成部１２ｂ３は、最大断面積を有する断面については、この断面を画像１に投影し、手２によって形成される空間の範囲が画像１の手２と重なる領域を特定し、その特定した領域の面積を算出する。なお、この最大断面積を有する断面における手２によって形成される空間の範囲と画像１の手２とが重なる領域は、図２及び図３の領域図（ｂ）における領域Ｂにより示される。また、限定条件生成部１２ｂ３は、最大外周長を有する断面については、この断面を画像１に投影し、手２によって形成される空間の範囲が画像１の手２と重なる領域を特定し、その特定した領域の外周長を算出する。なお、この最大外周長を有する断面における手２によって形成される空間の範囲と画像１の手２とが重なる領域は、図２及び図３の領域図（ｂ）における領域Ｂにより示され、この実施形態では、最大断面積を有する断面における手２によって形成される空間の範囲及び画像１の手２が重なる領域Ｂと同一となっている。
【００２３】
また、領域Ｂの面積及び外周長は、画像１において対象物３における手２によって隠された部位の領域を限定するための限定条件となっている。
そして、限定条件生成部１２ｂ３は、図２及び図３の領域図（ｂ）に示す領域Ｂの面積の値又は外周長の値を、対象物判定手段１３の情報結合部１３ａに送る。また、限定条件生成部１２ｂ３は、手検知部１２ｂ１により検出されて手形状推定部１２ｂ２を介して送られた手２の位置情報及び形状情報も情報結合部１３ａに送る。
なお、手検知手段１２ｂにおける処理動作と、物体検知手段１２ａにおける処理動作は並行して行われる。
【００２４】
対象物判定手段１３における情報結合部１３ａは、物体検知手段１２ａから送られた画像１における手２も含んだ各物体の位置情報及び形状情報と、限定条件生成部１２ｂ３から送られた、領域Ｂ［図２及び図３の領域図（ｂ）参照］の面積の値又は外周長の値、並びに手２の位置情報及び形状情報とを結合するものである。
そこで、情報結合部１３ａは、画像１における各物体の位置情報及び形状情報と、手２の位置情報及び形状情報とに基づき、手２によって把持されている対象物３を、物体検知手段１２ａにより検出された各物体の内から特定する。このとき、情報結合部１３ａによって特定された対象物３の領域は、図２及び図３の領域図（ａ）の部分領域Ａで示され、部分領域Ａは画像１上に写し出されている対象物３を示す。
【００２５】
次に、情報結合部１３ａは、部分領域Ａ［図２及び図３の領域図（ａ）参照］の面積の値又は外周長の値に、限定条件生成部１２ｂ３から送られた領域Ｂ［図２及び図３の領域図（ｂ）参照］の面積の値又は外周長の値を結合する。
情報結合部１３ａは、部分領域Ａの面積の値に領域Ｂの面積の値を結合する場合、領域Ｂの面積の値を部分領域Ａの面積の値に加える。また、情報結合部１３ａは、部分領域Ａの外周長の値に領域Ｂの外周長の値を結合する場合、領域Ｂの外周長の値を部分領域Ａの外周長に加えたものから、部分領域Ａ及び領域Ｂが互いに隣接する部位である外周部Ｂ１、Ｂ２、Ｂ３［図２及び図３の領域図（ｃ）参照］の外周長の値の２倍の値を減じる。
【００２６】
これにより、画像１において手２によって隠された対象物３の部位を面積又は外周長により限定する限定条件を部分領域Ａに結合して得られる、対象物３の仮想面積の値又は仮想外周長の値が算出される。そして、この算出された対象物３の仮想面積の値又は仮想外周長の値は、情報結合部１３ａによって、同じ対象物判定手段１３内の対象物認識部１３ｂに送られる。また、情報結合部１３ａは、対象物３における部分領域Ａの形状情報も対象物認識部１３ｂに送る。
【００２７】
対象物認識部１３ｂは、情報結合部１３ａから送られた対象物３の仮想面積の値又は仮想外周長の値から、対象物３の全体形状を特定するものである。
そこで、対象物認識部１３ｂは、辞書１５に登録された図５に示されるデータベース１５ａにアクセスする。
データベース１５ａは、物品の名称、その物品の面積（投影面積）、その物品の外周長（投影面の外周長）、及びその物品の全体形状からなるセットを物品に関するデータとしてテーブル化し、多様な種類の物品に関するデータを含んでいる。そして、データベース１５ａ内では、物品の面積又は外周長について昇順に、物品に関するデータが並べられている。
【００２８】
対象物認識部１３ｂは、情報結合部１３ａから対象物３の仮想面積の値が送られた場合、データベース１５ａ内において、送られた対象物３の仮想面積の値以下となる面積を有する物品のみを検索範囲に含むように設定し、検索範囲内の物品の全体形状と情報結合部１３ａから送られた対象物３の部分領域Ａ［図３の領域図（ａ）参照］の形状とのマッチングを行う。この際、対象物認識部１３ｂは、対象物３の仮想面積に最も近い面積を有する物品から面積に関して降順に（面積が小さくなる方向に向かって）、検索範囲内の物品を検索し物品と対象物３とのマッチングを行う。
例えば、対象物３の仮想面積の値が７である場合、データベース１５ａにおいて面積が７以下である、バナナやイチゴ等の形状と部分領域Ａの形状とのマッチングが行われる。
【００２９】
また、対象物認識部１３ｂは、情報結合部１３ａから対象物３の仮想外周長の値が送られた場合、データベース１５ａ内において、送られた仮想外周長の値以下の外周長を有する物品のみを検索範囲に含むように設定し、検索範囲内の物品の全体形状と対象物３の部分領域Ａの形状とのマッチングを、上述の面積を使用したマッチングと同様にして行う。
【００３０】
このマッチングの結果、対象物認識部１３ｂは、対象物３の部分領域Ａの形状と類似する形状を有する物品を、対象物３と認識する。これにより、画像１において隠れた部位を有する対象物３の全体形状が特定される。また、対象物認識部１３ｂは、データベース１５ａ内の物品の全体形状と対象物３の部分領域Ａの形状とのマッチングの際、対象物３の向きや傾き等の把持姿勢を特定することもできる。
よって、認識装置１０１は、対象物３の部分領域Ａの形状と辞書１５内のデータベース１５ａ内の物品の形状とのマッチングを行う際、対象物３及びデータベース１５ａ内の物品間における面積の値又は外周長の値の比較によって、マッチングを行うデータベース１５ａ内の物品を限定してその数量を低減しているため、マッチングに関する処理量が低減され、処理速度が向上する。
【００３１】
このように、実施の形態１に係る把持手段によって把持されている対象物の認識装置１０１によれば、手２及び手２によって把持されている対象物３を含む物体の画像１を取得する画像取得ステップと、画像１に写し出された物体を検知する物体検知ステップと、画像１に写し出された手２を検知し、手２の把持姿勢を推定する手検知ステップと、物体検知ステップにより検知された物体に関する情報及び手検知ステップにより検知された手２に関する情報から、画像１における対象物３（部分領域Ａ）を特定し、特定された対象物３（部分領域Ａ）の外観に関する情報及び手検知ステップにより推定された手２の把持姿勢に関する情報から、対象物３の全体形状を認識する対象物判定ステップとを行うことにより、対象物３を認識することができる。
【００３２】
これにより、画像１に写し出される手２の画像から推定される把持姿勢から、手２の内側（把持側）に形成される空間範囲を算出することができる。そして、この空間範囲から、手２により隠れている対象物３の取り得る領域が限定される。よって、対象物３は、画像１に写し出されている部位（部分領域Ａ）だけなく、手２により隠れている対象物３の取り得る領域よってもその外観上の要素が限定されて、対象物３の全体形状が認識される。このため、対象物３の認識に要する処理量が低減される。従って、認識装置１０１によれば、対象物３の認識に要する処理速度を向上させることができる。
【００３３】
画像取得ステップ及び物体検知ステップはそれぞれ、画像取得手段１１及び物体検知手段１２ａによって行われる。
また、手検知ステップは、手検知手段１２ｂによって行われる。手検知手段１２ｂは、推定された手２の把持姿勢に関する情報から、手２により囲まれる領域を算出し、手２により囲まれる領域から画像１における手２によって隠れた部分を含む領域（領域Ｂ）を特定することもできる。
【００３４】
また、対象物判定ステップは、対象物判定手段１３によって行われる。対象物判定手段１３は、特定された対象物３（部分領域Ａ）に手２によって隠れた部分に相当する領域（領域Ｂ）を結合し、結合された対象物３から対象物３の全体形状を認識することもできる。このとき、手２によって隠れた部分に相当する領域（領域Ｂ）及び画像１に写し出されている対象物３（部分領域Ａ）の外観に関する情報を結合することにより、面積、外周長等の対象物３全体の外観に関する要素の範囲が限定される。よって、対象物３は、画像１に写し出されている部位（部分領域Ａ）だけなく、対象物３の外観に関する要素によっても限定されて、対象物３の全体形状が認識される。
【００３５】
また、対象物判定手段１３は、把持されている対象物３に関する情報を含むデータベース１５ａにアクセスし、結合された対象物３に関する情報（対象物３の仮想面積又は仮想外周長）を条件としてこの条件を満たす範囲内のみでデータベースを検索し、データベースとのマッチングを行うこともできる。これにより、結合された対象物３に関する情報（対象物３の仮想面積又は仮想外周長）を条件としてその条件の範囲内にデータベース１５ａの検索範囲を限定することができるため、検索に要する処理量が低減され、処理速度が向上する。
【００３６】
また、画像取得手段１１は、複数設けられていてもよい。複数の画像取得手段１１によって複数の画像が供給される場合、物体検知手段１２ａ及び手検知部１２ｂ１は、複数の画像に基づき、画像１に含まれる物体及び手２の三次元空間内での位置を検出することがきる。また、画像取得手段１１は、ステレオカメラであってもよい。ステレオカメラによって撮像された画像では、画像１に含まれる物体及び手２における平面的な位置だけでなく遠近に関する距離も示すことができる、すなわち三次元位置を検出することがきる。これにより、対象物判定手段１３の情報結合部１３ａにおいて、手２によって把持される対象物３を特定する際、手２と画像１内の物体との位置を三次元上で比較することができるため、対象物３の特定に要する処理量が低減され、処理速度を向上させることができる。
【００３７】
また、対象物判定手段１３の対象物認識部１３ｂにおいて、データベース１５ａ内の物品の全体形状と対象物３の部分領域Ａの形状とのマッチングの際、データベース１５ａ内の物品の検索範囲を、対象物３の仮想面積及び仮想外周長の値の両方の値以下となる面積及び外周長を有する物品のみを含むように限定してもよい。これにより、マッチングに使用されるデータベース１５ａ内のデータ量がさらに低減され、さらなる処理速度の向上を図ることができる。
【００３８】
実施の形態２．
この発明の実施の形態２に係る把持手段によって把持されている対象物の認識装置１０２は、実施の形態１における認識装置１０１の手検知部１２ｂ１から物体検知手段１２ａに対して情報が送信されるように構成したものである。
なお、以下の実施の形態において、前出した図における参照符号と同一の符号は、同一または同様な構成要素であるので、その詳細な説明は省略する。
【００３９】
図６を参照すると、認識装置１０２において、実施の形態１と同様にして、画像取得手段１１から、物体検知手段２２ａ、及び手検知手段２２ｂの手検知部２２ｂ１へ情報が送信されるようになっている。
さらに、手検知部２２ｂ１から、手形状推定部２２ｂ２及び物体検知手段２２ａへ情報が送信されるようになっている。
このため、図１も合わせて参照すると、手検知部２２ｂ１は、画像取得手段１１から画像１の供給をうけ、供給された画像１において検出した手２の位置情報及び形状情報を手形状推定部２２ｂ２及び物体検知手段２２ａに送る。
【００４０】
物体検知手段２２ａは、画像取得手段１１から供給された画像１における各物体の形状及び位置を検出するが、手検知部２２ｂ１から手２の位置情報が送られている。このため、物体検知手段２２ａは、この情報に基づき、手２の近傍から物体の検索を開始し、手２の近傍に位置する物体について、それらの位置及び形状を検出する。すなわち、物体検知手段２２ａは、手２の外側において、手２の周縁近くから検索範囲を拡げていき、手２の周縁の近くで検知される物体の位置及び形状を検出する。
さらに、物体検知手段２２ａは、検出した物体の位置情報及び形状情報と、手検知部２２ｂ１から送られた手２の位置情報及び形状情報とに基づき、手２によって把持されている対象物３を、検出した物体から特定する。そして、物体検知手段２２ａは、特定した対象物３の位置情報及び形状情報を対象物判定手段２３の情報結合部２３ａに送る。
【００４１】
手検知手段２２ｂにおける手形状推定部２２ｂ２及び限定条件生成部２２ｂ３は、実施の形態１の手形状推定部１２ｂ２及び限定条件生成部１２ｂ３と同様に動作して、情報結合部２３ａに対して、図２及び図３の領域図（ｂ）に示す領域Ｂの面積の値又は外周長の値、並びに手２の位置情報及び形状情報を送る。
対象物判定手段２３における情報結合部２３ａは、物体検知手段２２ａから送られた対象物３の位置情報及び形状情報と、限定条件生成部２２ｂ３から送られた、領域Ｂ［図２及び図３の領域図（ｂ）参照］の面積の値又は外周長の値とを結合する。
【００４２】
なお、本実施の形態２では既に対象物３が特定されているため、情報結合部２３ａは、対象物３の部分領域Ａ［図２及び図３の領域図（ａ）参照］の面積の値又は外周長の値と、領域Ｂ［図２及び図３の領域図（ｂ）参照］の面積の値又は外周長の値とを結合して、対象物３の仮想面積の値又は仮想外周長の値を算出し、この値を対象物認識部２３ｂに送る。
また、この発明の実施の形態２に係る把持手段によって把持されている対象物の認識装置１０２のその他の構成及び動作は、実施の形態１と同様であるため、説明を省略する。
【００４３】
このように、実施の形態２における把持手段によって把持されている対象物の認識装置１０２によれば、上記実施の形態１の認識装置１０１と同様な効果が得られる。
また、認識装置１０２において、物体検知手段２２ａは、手検知手段２２ｂの手検知部２２ｂ１により検出された手２に関する情報に基づき、画像１に写し出された物体から対象物３を特定することもできる。そこで、物体検知手段２２ａは、物体検知手段２２ａでの処理動作において、手２の位置及び形状等に関する情報から、画像１における物体の検索を手２の近傍から開始し、検出する物体を手２の近傍のものに限定して物体を検出し、さらに、検出した物体から対象物３を特定する。よって、物体検知手段２２ａは、物体の検索範囲及び検出する物体の数量を実施の形態１より低減している。このため、認識装置１０２は、物体検知手段２２ａ及び情報結合部２３ａでの処理量が低減されるため、実施の形態１の認識装置１０１より処理速度が向上する。
【００４４】
実施の形態３．
この発明の実施の形態３に係る把持手段によって把持されている対象物の認識装置１０３の構成は、実施の形態１における認識装置１０１の手形状推定部１２ｂ２から物体検知手段１２ａに対して情報が送信されるように構成したものである。
【００４５】
図７を参照すると、認識装置１０３において、実施の形態１と同様にして、画像取得手段１１から、物体検知手段３２ａ、及び手検知手段３２ｂの手検知部３２ｂ１へ情報が送信されるようになっている。さらに、手検知部３２ｂ１から手形状推定部３２ｂ２へ情報が送信されるようになっている。
また、手形状推定部３２ｂ２から、限定条件生成部３２ｂ３及び物体検知手段３２ａへ情報が送信されるようになっている。
【００４６】
図１も合わせて参照すると、手形状推定部３２ｂ２は、実施の形態１と同様にして、手検知部３２ｂ１から、画像１において検出された手２の位置情報及び形状情報の供給をうけ、手２の形状情報から手２の把持姿勢を推定する。そして、手形状推定部３２ｂ２は、推定した手２の把持姿勢情報、並びに手２の位置情報及び形状情報を限定条件生成部３２ｂ３及び物体検知手段３２ａに送る。
限定条件生成部３２ｂ３は、手形状推定部３２ｂ２から送られた情報を基に、図２及び図３の領域図（ｂ）に示す領域Ｂにおける面積の値又は外周長の値を算出し、この算出した値、並びに手２の位置情報及び形状情報を対象物判定手段３３の情報結合部３３ａに送る。
【００４７】
また、物体検知手段３２ａは、画像取得手段１１から供給された画像１における各物体の形状及び位置を検出する。しかしながら、物体検知手段３２ａには、手２の把持姿勢情報、並びに手２の位置情報及び形状情報が手形状推定部３２ｂ２により供給されている。このため、物体検知手段３２ａは、画像１における物体の形状及び位置を検出する場合、手２の位置情報から物体の検索を手２の近傍から開始することができ、さらに、手２の把持姿勢情報から手２の把持可能な領域（把持側領域）に限定して物体の検索を行うことができる。すなわち、物体検知手段３２ａは、手２の把持可能領域（把持側領域）における手２の近傍から物体の検索を開始し、手２の把持可能領域（把持側領域）であり且つ手２の近傍に位置する物体の位置及び形状を検出する。例えば、把持側領域には、手２における指及び掌の内側の領域が含まれ、手２の甲側の領域は含まれない。
【００４８】
さらに、物体検知手段３２ａは、検出した物体の位置及び形状と、手形状推定部３２ｂ２から送られた手２の位置情報及び形状情報とに基づき、手２によって把持されている対象物３を、検出した物体から特定する。そして、物体検知手段３２ａは、特定した対象物３の位置情報及び形状情報を対象物判定手段３３の情報結合部３３ａに送る。
【００４９】
情報結合部３３ａは、物体検知手段３２ａから送られた対象物３の位置情報及び形状情報と、限定条件生成部３２ｂ３から送られた、領域Ｂ［図２及び図３の領域図（ｂ）参照］の面積の値又は外周長の値とを、実施の形態２と同様にして結合して、対象物３の仮想面積の値又は仮想外周長の値を算出し、この値を対象物認識部３３ｂに送る。
また、この発明の実施の形態３に係る把持手段によって把持されている対象物の認識装置１０３のその他の構成及び動作は、実施の形態１と同様であるため、説明を省略する。
【００５０】
このように、実施の形態３における把持手段によって把持されている対象物の認識装置１０３によれば、上記実施の形態１の認識装置１０１と同様な効果が得られる。
また、認識装置１０３において、物体検知手段３２ａは、手検知手段３２ｂの手検知部３２ｂ１により検出された手２の位置及び形状に関する情報、及び手形状推定部３２ｂ２により推定された手２の把持姿勢に関する情報に基づき、画像１に写し出された物体から対象物３を特定することもできる。そこで、物体検知手段３２ａでの処理動作において、画像１における物体の位置及び形状の検出は、手２の把持姿勢に関する情報及び手２の位置及び形状から、手２の把持可能領域（把持側領域）における手２の近傍から物体の検索を開始し、検出する物体を手２の把持可能領域（把持側領域）であり且つ手２の近傍に位置する物体に限定している。そして、物体検知手段３２ａは、検出した物体から対象物３を特定する。このため、物体の検索範囲及び検出する物体の数量が実施の形態２より低減されている。よって、認識装置１０３は、物体検知手段３２ａでの処理量が低減されるため、実施の形態２の認識装置１０２より処理速度が向上する。
【００５１】
実施の形態４．
この発明の実施の形態４に係る把持手段によって把持されている対象物の認識装置１０４の構成は、実施の形態１における認識装置１０１の限定条件生成部１２ｂ３により算出される領域Ｂを変更したものであり、対象物３を把持する側において手２によって形成される空間の範囲自体の断面を領域Ｂとしたものである。
【００５２】
図９を参照すると、認識装置１０４は、実施の形態１と同様にして、画像取得手段１１、物体検知手段４２ａ、手検知手段４２ｂ、及び対象物判定手段４３によって構成されている。
手検知手段４２ｂの限定条件生成部４２ｂ３には、実施の形態１と同様にして、同じ手検知手段４２ｂの手形状推定部４２ｂ２から、手検知部４２ｂ１により画像１（図１参照）において検出された手２（図１参照）の位置情報及び形状情報、並びに手形状推定部４２ｂ２により推定された手２の把持姿勢情報が送られる。
【００５３】
図８も合わせて参照すると、限定条件生成部４２ｂ３は、手２の把持姿勢情報から、対象物３を把持する側において手２によって形成される空間の範囲を限定する。さらに、限定条件生成部４２ｂ３は、手２によって形成される空間の範囲について画像１（図１参照）と平行な断面の内から、最大断面積を有する断面又は最大外周長を有する断面を求める。そこで、限定条件生成部４２ｂ３は、この求めた断面を画像１に投影し、この投影された領域は、図８の領域Ｂｄのように示される。なお、本実施の形態４では、最大断面積を有する断面と最大外周長を有する断面とを同一としている。さらに、限定条件生成部４２ｂ３は、領域Ｂｄの位置及び形状を検出すると共に、領域Ｂｄの断面積の値又は外周長の値を算出し、これらの情報を対象物判定手段４３の情報結合部４３ａに送る。また、同時に、限定条件生成部４２ｂ３は、手形状推定部４２ｂ２より送られた手２の位置情報及び形状情報を情報結合部４３ａに送る。
【００５４】
情報結合部４３ａは、物体検知手段４２ａにより検出されて送られた画像１（図１参照）における各物体の位置情報及び形状情報と、手２の位置情報及び形状情報と、領域Ｂｄの位置情報及び形状情報とに基づき、手２によって把持されている対象物３を、物体検知手段４２ａにより検出された各物体の内から特定する。さらに、情報結合部４３ａは、特定した対象物３の領域から領域Ｂｄと重なる領域を除去した領域を特定し、この領域の位置及び形状を検出する。なお、情報結合部４３ａにより特定された、領域Ｂｄと重なる領域を除去した対象物３の領域は、図８に示す部分領域Ａｄとなる。
【００５５】
次に、情報結合部４３ａは、部分領域Ａｄの面積の値又は外周長の値を算出し、この算出した部分領域Ａｄの面積の値又は外周長の値と、限定条件生成部４２ｂ３から送られた領域Ｂｄの面積の値又は外周長の値とを結合し、対象物３の仮想面積の値又は仮想外周長の値を算出する。すなわち、対象物３の仮想面積の値は、部分領域Ａｄ及び領域Ｂｄを結合した領域全体の面積の値であり、対象物３の仮想外周長の値は、部分領域Ａｄ及び領域Ｂｄを結合した領域全体における外周長の値である。
そして、情報結合部４３ａは、この算出された対象物３の仮想面積の値又は仮想外周長の値と、対象物３の部分領域Ａｄの形状情報とを対象物認識部４３ｂに送る。
【００５６】
また、この発明の実施の形態４に係る把持手段によって把持されている対象物の認識装置１０４のその他の構成及び動作は、実施の形態１と同様であるため、説明を省略する。
このように、実施の形態４における把持手段によって把持されている対象物の認識装置１０４によれば、上記実施の形態１の認識装置１０１と同様な効果が得られる。
また、認識装置１０４において、手検知手段４２ｂの限定条件生成部４２ｂ３は、対象物３を把持する側において手２によって形成される空間の範囲の断面である領域Ｂｄにおける面積又は外周長の値を算出し、この値を対象物３の全体形状を特定するための限定条件としている。これにより、限定条件生成部４２ｂ３は、手２と領域Ｂｄとが重なる領域の算出や、領域Ｂｄにおける手２の外周部の長さの算出のために手２の指のエッジ部分の長さの算出といった、細かい情報処理作業が低減されている。よって、認識装置１０４は、限定条件生成部４２ｂ３での処理量が低減されるため、実施の形態１の認識装置１０１より処理速度を向上させることができる。
【００５７】
実施の形態５．
この発明の実施の形態５に係る把持手段によって把持されている対象物の認識装置１０５の構成は、実施の形態１における認識装置１０１の物体検知手段１２ａから限定条件生成部１２ｂ３に対して情報が送信されるように構成したものである。
【００５８】
図１１を参照すると、認識装置１０５において、実施の形態１と同様にして、画像取得手段１１から、物体検知手段５２ａ、及び手検知手段５２ｂの手検知部５２ｂ１へ情報が送信されるようになっている。さらに、手検知部５２ｂ１から手形状推定部５２ｂ２へ、そして、手形状推定部５２ｂ２から限定条件生成部５２ｂ３へ情報が送信されるようになっている。また、物体検知手段５２ａからは、限定条件生成部５２ｂ３及び対象物判定手段５３の情報結合部５３ａへ情報が送信されるようになっている。
そこで、手形状推定部５２ｂ２は、実施の形態１と同様にして、手検知部５２ｂ１により画像１（図１参照）において検出された手２（図１参照）の位置情報及び形状情報、並びに手形状推定部５２ｂ２が推定した手２の把持姿勢情報を限定条件生成部５２ｂ３に送る。また、物体検知手段５２ａは、画像１において検出した各物体の位置情報及び形状情報を、限定条件生成部５２ｂ３及び情報結合部５３ａに送る。
【００５９】
図１０も合わせて参照すると、限定条件生成部５２ｂ３は、実施の形態１と同様にして、物体検知手段５２ａから送られた画像１（図１参照）における各物体の位置情報及び形状情報と、手形状推定部５２ｂ２から送られた手２の位置情報及び形状情報とに基づき、手２によって把持されている対象物３を、物体検知手段５２ａにより検出された各物体の内から特定する。この特定された対象物３は、図１０の部分領域Ａによって示される。
さらに、限定条件生成部５２ｂ３は、手形状推定部５２ｂ２から送られた情報を基に、図１０に示す領域Ｂを算出する。なお、領域Ｂは、実施の形態１における領域Ｂと同じである。
【００６０】
次に、限定条件生成部５２ｂ３は、部分領域Ａ及び領域Ｂの位置及び形状を検出し、検出したこれらの位置情報及び形状情報に基づき、部分領域Ａ（対象物３）及び領域Ｂによって囲まれる領域である図１０に示す領域Ｃを特定する。
さらに、限定条件生成部５２ｂ３は、領域Ｃと部分領域Ａとの境界線Ｃ１を検出する。そして、限定条件生成部５２ｂ３は、境界線Ｃ１の曲率に合わせて境界線Ｃ１の両端を領域Ｂの内部に向かって領域Ｂの外周部Ｂ４に到達するまで延長し、境界線Ｃ１の両端に延長線部Ｃ２及びＣ３を設定する。なお、延長線部Ｃ２及びＣ３は、境界線Ｃ１の接線方向に延びる直線であってもよい。
【００６１】
そこで、限定条件生成部５２ｂ３は、延長線部Ｃ２及びＣ３を境界として、領域Ｂにおける部分領域Ａ（対象物３）側の領域のみを新しい領域Ｂｅ１として採用し、延長線部Ｃ２及びＣ３を境界とした領域Ｂにおける部分領域Ａ（対象物３）と反対側となる領域Ｂｅ２を削除する。このため、領域Ｂｅ１は、領域Ｂの一部分に限定したものとなっており、対象物３における手２によって隠れた実際の領域に対して領域Ｂより近い形状及び面積を有している。
さらに、限定条件生成部５２ｂ３は、領域Ｂｅ１における面積の値又は外周長の値を算出し、この情報を対象物判定手段５３の情報結合部５３ａに送る。また、同時に、限定条件生成部５２ｂ３は、部分領域Ａの位置情報及び形状情報を情報結合部５３ａに送る。
【００６２】
情報結合部５３ａは、限定条件生成部５２ｂ３から送られた部分領域Ａの形状情報から、部分領域Ａの面積の値又は外周長の値を算出し、部分領域Ａの面積の値又は外周長の値と、限定条件生成部１２ｂ３から送られた領域Ｂｅ１の面積の値又は外周長の値とを結合し、対象物３の仮想面積の値又は仮想外周長の値を算出する。すなわち、対象物３の仮想面積の値は、部分領域Ａ及び領域Ｂｅ１を結合した領域全体の面積の値であり、対象物３の仮想外周長の値は、部分領域Ａ及び領域Ｂｅ１を結合した領域全体における外周長の値である。なお、この算出された対象物３の仮想面積の値又は仮想外周長の値は、実施の形態１に示すような領域Ｂを使用して求めた対象物３の仮想面積の値又は仮想外周長の値より、実際の対象物３全体の面積の値又は外周長の値に近いものとなっている。
そして、この算出された対象物３の仮想面積の値又は仮想外周長の値は、対象物３の部分領域Ａの形状情報と共に、情報結合部５３ａによって、対象物認識部５３ｂに送られる。
【００６３】
また、この発明の実施の形態５に係る把持手段によって把持されている対象物の認識装置１０５のその他の構成及び動作は、実施の形態１と同様であるため、説明を省略する。
このように、実施の形態５における把持手段によって把持されている対象物の認識装置１０５によれば、上記実施の形態１の認識装置１０１と同様な効果が得られる。
また、認識装置１０５における対象物３の仮想面積の値又は仮想外周長の値は、実施の形態１における領域Ｂをその一部分である領域Ｂｅ１に限定して算出されているため、実施の形態１において算出される対象物３の仮想面積の値又は仮想外周長の値より、実際の対象物３全体の面積の値又は外周長の値に近いものとなっている。これにより、データベース１５ａ（図５参照）内の物品の検索範囲が狭くなるため、対象物判定手段５３の対象物認識部５３ｂにおけるデータベース１５ａとのマッチングの際の処理量が低減される。よって、認識装置１０５は、実施の形態１の認識装置１０１より処理速度を向上させることができる。
【００６４】
実施の形態６．
この発明の実施の形態６に係る把持手段によって把持されている対象物の認識装置１０６の構成は、実施の形態１における認識装置１０１の限定条件生成部１２ｂ３が、領域Ｂの面積の値又は外周長の値を情報結合部１３ａに送っていたものを、領域Ｂの位置情報及び形状情報を送るようにしたものである。
【００６５】
図１２を参照すると、認識装置１０６は、実施の形態１と同様にして、画像取得手段１１、物体検知手段６２ａ、手検知手段６２ｂ、及び対象物判定手段６３によって構成されている。
手検知手段６２ｂの限定条件生成部６２ｂ３には、手検知部６２ｂ１より検出された手２（図１参照）の位置情報及び形状情報、並びに、手形状推定部６２ｂ２により推定された手２の姿勢情報が送られる。
図２及び３を合わせて参照すると、限定条件生成部６２ｂ３は、実施の形態１と同様にして、送られた情報を基に、図２及び図３の領域図（ｂ）に示す領域Ｂを算出する。さらに、限定条件生成部６２ｂ３は、領域Ｂの位置及び形状を検出し、この検出した位置情報及び形状情報を対象物判定手段６３の情報結合部６３ａに送る。また、同時に、限定条件生成部６２ｂ３は、手２の位置情報及び形状情報を情報結合部６３ａに送る。
【００６６】
情報結合部６３ａは、物体検知手段６２ａにより検出されて送られた画像１（図１参照）における各物体の位置情報及び形状情報と、限定条件生成部６２ｂ３から送られた手２の位置情報及び形状情報とに基づき、手２によって把持されている対象物３を、物体検知手段６２ａにより検出された各物体の内から特定する。なお、この特定された対象物３は、図２及び図３の領域図（ａ）の部分領域Ａによって示される。
さらに、情報結合部６３ａは、部分領域Ａ［図３の領域図（ａ）参照］と、限定条件生成部６２ｂ３から送られた領域Ｂ［図３の領域図（ｂ）参照］とを、それらの位置情報及び形状情報に基づいて結合する（図２参照）。そして、情報結合部６３ａは、部分領域Ａ及び領域Ｂを結合した領域における仮想面積の値又は仮想外周長の値を算出する。
算出された仮想面積の値又は仮想外周長の値は、情報結合部６３ａによって、対象物認識部６３ｂに送られる。また、同時に、部分領域Ａの形状情報も、情報結合部６３ａによって対象物認識部６３ｂに送られる。
【００６７】
また、この発明の実施の形態６に係る把持手段によって把持されている対象物の認識装置１０６のその他の構成及び動作は、実施の形態１と同様であるため、説明を省略する。
このように、実施の形態６における把持手段によって把持されている対象物の認識装置１０６によれば、上記実施の形態１の認識装置１０１と同様な効果が得られる。
【００６８】
また、実施の形態１〜６の対象物判定手段１３〜６３において、限定条件を対象物３の部分領域Ａ及びＡｄに結合して得られる対象物３の仮想面積の値又は仮想外周長の値を使用して、データベース１５ａ内の検索範囲を限定し、検索範囲内の物品の形状と対象物３の形状とのマッチングを行っていたがこれに限定されるものではない。データベース１５ａに物品の柔らかさ（触感）や物品の色に関する項目を追加し、対象物３から検出される柔らかさ（触感）、及び画像１から検出される対象物３の色によって、データベース１５ａ内の物品の検索範囲をさらに限定してもよい。これにより、データベース１５ａ内の物品の形状と対象物３の形状とのマッチングの際の処理量がさらに低減されるため、認識装置１０１〜１０６の処理速度を向上させることができる。
【００６９】
また、実施の形態１〜６の認識装置１０１〜１０６において、対象物３の把持手段を人の手２としていたがこれに限定されるものでなく、ロボットハンドであってもよい。
また、実施の形態１〜６において、手２すなわち把持手段によって、画像１における隠れた部分を有する対象物３の全体形状を認識していたが、これに限定されるものではない。対象物３を隠しているものが布などの把持手段以外のものであっても、認識装置１０１〜１０６による対象物３の認識方法を適用することができる。
【符号の説明】
【００７０】
１  画像、２  手（把持手段）、３  対象物、１１  画像取得手段、１２ａ，２２ａ，３２ａ，４２ａ，５２ａ，６２ａ  物体検知手段、１２ｂ，２２ｂ，３２ｂ，４２ｂ，５２ｂ，６２ｂ  手検知手段、１３，２３，３３，４３，５３，６３  対象物判定手段、１５ａ  データベース、１０１，１０２，１０３，１０４，１０５，１０６  把持手段によって把持されている対象物の認識装置。
【図１】
2010244413.tif 000003
【図２】
2010244413.tif 000004
【図３】
2010244413.tif 000005
【図４】
2010244413.tif 000006
【図５】
2010244413.tif 000007
【図６】
2010244413.tif 000008
【図７】
2010244413.tif 000009
【図８】
2010244413.tif 000010
【図９】
2010244413.tif 000011
【図１０】
2010244413.tif 000012
【図１１】
2010244413.tif 000013
【図１２】
2010244413.tif 000014