(57)【特許請求の範囲】
【請求項１】
物体と、該物体を把持手段が把持した場合の該把持手段の複数の所定部位間の位置関係を示す把持特徴と、を関連付けて記憶する記憶手段と、
把持対象を把持している前記把持手段の画像を取得する画像取得手段と、
前記画像における前記把持手段の前記把持特徴を生成する、把持特徴生成手段と、
前記記憶手段から取得した前記把持特徴と、前記把持特徴生成手段により生成された前記把持特徴と、をもとに、前記把持対象が前記物体であることを認識する、把持対象認識手段と、
を備え、
前記把持特徴は、前記複数の所定部位間の距離により、前記複数の所定部位間の位置関係を示す
情報処理装置。
【請求項２】
さらに、前記画像における前記把持対象の色及び模様の内の少なくとも一方を示す物体特徴を生成する、物体特徴生成手段を備え、
前記把持対象認識手段は、前記記憶手段から取得した前記把持特徴と、前記把持特徴生成手段により生成された前記把持特徴と、前記物体特徴と、をもとに、前記把持対象を認識する、請求項１に記載の情報処理装置。
【請求項３】
前記把持特徴生成手段は、前記複数の所定部位の内の前記把持対象と接触している部位間の位置関係を示す前記把持特徴を生成する、
請求項１または２に記載の情報処理装置。
【請求項４】
前記把持特徴生成手段は、前記複数の所定部位間の位置関係の時間的な変化を示す把持特徴を生成する、
請求項１乃至３のいずれかに記載の情報処理装置。
【請求項５】
前記所定部位は、前記把持手段が有する指である、
請求項１乃至４のいずれかに記載の情報処理装置。
【請求項６】
物体と、該物体を把持手段が把持した場合の該把持手段の複数の所定部位間の位置関係を示す把持特徴と、を関連付けて記憶し、
把持対象を把持している前記把持手段の画像を取得し、
前記画像における前記把持手段の前記把持特徴を生成し、
前記記憶された前記把持特徴と、前記生成された前記把持特徴と、をもとに、前記把持対象が前記物体であることを認識する、
情報処理方法であって、
前記把持特徴は、前記複数の所定部位間の距離により、前記複数の所定部位間の位置関係を示す
情報処理方法。
【請求項７】
コンピュータに、
物体と、該物体を把持手段が把持した場合の該把持手段の複数の所定部位間の位置関係を示す把持特徴と、を関連付けて記憶し、
把持対象を把持している前記把持手段の画像を取得し、
前記画像における前記把持手段の前記把持特徴を生成し、
前記記憶された前記把持特徴と、前記生成された前記把持特徴と、をもとに、前記把持対象が前記物体であることを認識する、
処理を実行させるプログラムであって、
前記把持特徴は、前記複数の所定部位間の距離により、前記複数の所定部位間の位置関係を示す
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、把持手段により把持されている物体を認識するための情報処理装置、情報処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
人等（以下、把持者とも記載する）が手の指等（以下、把持手段とも記載する）で物体（以下、把持対象とも記載する）を把持している状態を撮影した画像を用いて、把持対象を認識する技術が知られている。
【０００３】
例えば、特許文献１に開示されている技術では、画像中の対象物の部分領域とデータベース内の物品形状とのマッチングを行うときに、手の把持姿勢から算出された空間の大きさで、マッチング対象の物品を限定する。
【０００４】
また、非特許文献１に開示されている技術では、画像中の手領域と物体領域の形状の対の特徴を、把持パターン毎に記憶し、当該特徴を用いて把持パターンを認識する。
【０００５】
なお、関連技術として、特許文献２には、画像から検出された指の位置を用いて、操作対象の仮想キーを特定する技術が開示されている。特許文献３には、画像に含まれる対象物を、カラーヒストグラムを用いて認識する技術が開示されている。特許文献４には、動画像中の対象物の面積や外周長の変化の特徴をもとに、対象物を特定する技術が開示されている。非特許文献２には、指毎に指定色のついたグローブ（手袋）を着用して撮影した画像中で、指定色を探すことによって、指領域を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２４４４１３号公報
【特許文献２】特開２０１３−１４３０８２号公報
【特許文献３】特開２０１２−１５０５５２号公報
【特許文献４】特開２０１０−２４４４４０号公報
【非特許文献】
【０００７】
【非特許文献１】笠原啓雅、他３名、「把持パターン画像の学習に基づく欠損画素復元と物体認識」、画像の認識・理解シンポジウム（ＭＩＲＵ２００８）、２００８年７月、p.623-628
【非特許文献２】渡辺賢、他３名、「カラーグローブを用いた指文字の認識」、電子情報通信学会論文誌、D-II、１９９７年、vol. J80-D-2、no. 10、p.2713-2722
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述のように、把持手段が把持対象を把持している状態を撮影した画像で把持対象を認識する場合、例えば、指や手のひらにより把持対象が覆われてしまい、画像内に把持対象が存在しない場合がある。しかしながら、特許文献１、及び、非特許文献に記載された技術では、把持対象の部分的な画像を用いて把持対象を認識しているため、このように画像内に把持対象が存在しない場合は、把持対象を認識できない。
【０００９】
本発明は、上述の課題を解決し、把持対象を把持している把持手段の画像中に把持対象が存在しない場合であっても、把持対象を認識できる、情報処理装置、情報処理方法、及び、プログラムを提供することである。
【課題を解決するための手段】
【００１０】
本発明の情報処理装置は、把持対象を把持している把持手段の画像を取得する画像取得手段と、前記画像における前記把持手段の複数の所定部位間の位置関係を示す把持特徴を生成する、把持特徴生成手段と、前記把持特徴をもとに、前記把持対象を認識する、把持対象認識手段と、を備える。
【００１１】
本発明の情報処理方法は、把持対象を把持している把持手段の画像を取得し、前記画像における前記把持手段の複数の所定部位間の位置関係を示す把持特徴を生成し、前記把持特徴をもとに、前記把持対象を認識する。
【００１２】
本発明のプログラムは、コンピュータに、把持対象を把持している把持手段の画像を取得し、前記画像における前記把持手段の複数の所定部位間の位置関係を示す把持特徴を生成し、前記把持特徴をもとに、前記把持対象を認識する、処理を実行させる。
【発明の効果】
【００１３】
本発明の効果は、把持対象を把持している把持手段の画像中に把持対象が存在しない場合であっても、把持対象を認識できることである。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態の基本的な構成を示すブロック図である。
【図２】本発明の第１の実施の形態における、認識装置１００の構成を示すブロック図である。
【図３】本発明の第１の実施の形態における、コンピュータにより実現された認識装置１００の構成を示すブロック図である。
【図４】本発明の第１の実施の形態における、認識装置１００の動作を示すフローチャートである。
【図５】本発明の第１の実施の形態における、取得した画像の例を示す図である。
【図６】本発明の第１の実施の形態における、把持特徴量の生成方法の例を示す図である。
【図７】本発明の第１の実施の形態における、把持特徴量の生成方法の他の例を示す図である。
【図８】本発明の第１の実施の形態における、把持特徴情報１１５の例を示す図である。
【図９】本発明の第１の実施の形態における、インスタンスの抽出例を示す図である。
【図１０】本発明の第１の実施の形態における、物体尤度の算出結果の例を示す図である。
【図１１】本発明の第１の実施の形態における、把持特徴情報１１５の他の例を示す図である。
【図１２】本発明の第２の実施の形態における、認識装置２００の構成を示すブロック図である。
【図１３】本発明の第２の実施の形態における、認識装置２００の動作を示すフローチャートである。
【図１４】本発明の第２の実施の形態における、物体特徴情報２２５の例を示す図である。
【図１５】本発明の第２の実施の形態における、統合尤度の算出結果の例を示す図である。
【図１６】本発明の第３の実施の形態における、認識装置２００の構成を示すブロック図である。
【図１７】本発明の第３の実施の形態における、認識装置２００の動作を示すフローチャートである。
【図１８】本発明の第４の実施の形態における、認識装置２００の構成を示すブロック図である。
【図１９】本発明の第４の実施の形態における、認識装置２００の動作を示すフローチャートである。
【図２０】本発明の第４の実施の形態における、動き特徴を含む把持特徴量の算出例を示す図である。
【発明を実施するための形態】
【００１５】
＜第１の実施の形態＞
はじめに、本発明の第１の実施の形態について説明する。
【００１６】
本発明の第１の実施の形態では、把持手段５０１の複数の所定部位間の位置関係をもとに、把持対象５０２を認識する。なお、本発明の実施の形態では、把持手段５０１が人の手である場合を例に説明する。
【００１７】
はじめに、本発明の第１の実施の形態の構成を説明する。
【００１８】
図２は、本発明の第１の実施の形態における、認識装置１００の構成を示すブロック図である。認識装置１００は、本発明の情報処理装置の一実施形態である。
【００１９】
図２を参照すると、本発明の第１の実施の形態の認識装置１００は、画像取得部１１０、把持手段検出部１１１、把持特徴生成部１１２、物体尤度算出部１１３、把持特徴記憶部１１４、及び、把持対象認識部１１６を含む。
【００２０】
画像取得部１１０は、把持対象５０２を把持している把持手段５０１の画像を取得する。画像取得部１１０は、赤、青、緑の３色情報を取得可能なＲＧＢカメラでもよい。また、画像取得部１１０は、遠赤外線カメラやマルチスペクトルカメラのように、他の波長信号情報を取得可能なカメラでもよい。また、画像取得部１１０は、画像中の各画素に、カメラから物体までの距離情報を収められるような、距離カメラ（距離センサ）でもよい。さらに、画像取得部１１０は、上述の３色情報、他の波長信号情報、及び、距離情報の内の一つ、または、複数を同時に取得可能なカメラでもよい。
【００２１】
把持手段検出部１１１は、画像取得部１１０により取得された画像における、把持手段５０１の複数の所定部位の各々の位置、または、位置と方向を検出する。本発明の実施の形態では、所定部位として、把持手段５０１の指が用いられる。また、所定部位の位置（指の位置）として、各指の指先や関節等、指上で指定された位置が用いられる。
【００２２】
把持特徴生成部１１２は、把持手段５０１による把持特徴を表す把持特徴量として、複数の所定部位間の位置関係（指間の位置関係）を示す把持特徴量を生成する。本発明の実施の形態では、複数の所定部位の位置間の位置関係として、各指の位置の座標値や、各指の位置の座標値と方向、指の位置間の距離等が用いられる。
【００２３】
把持特徴記憶部１１４は、把持特徴情報１１５を記憶する。把持特徴情報１１５は、認識すべき物体のカテゴリに対する、「把持特徴量に基づく物体尤度」を算出するための情報である。把持特徴情報１１５には、後述するように、物体尤度の算出方法に応じた情報が設定される。
【００２４】
物体尤度算出部１１３は、把持特徴生成部１１２により生成された把持特徴量と把持特徴記憶部１１４に記憶されている把持特徴情報１１５とを用いて、物体のカテゴリ毎に、把持特徴量に基づく物体尤度を算出する。
【００２５】
把持対象認識部１１６は、物体尤度算出部１１３により算出された物体尤度を用いて、把持対象５０２のカテゴリを認識する。
【００２６】
なお、認識装置１００は、ＣＰＵ（Central Processing Unit）とプログラムを記憶した記憶媒体を含み、プログラムに基づく制御によって動作するコンピュータであってもよい。
【００２７】
図３は、本発明の第１の実施の形態における、コンピュータにより実現された認識装置１００の構成を示すブロック図である。
【００２８】
認識装置１００は、ＣＰＵ１０１、ハードディスクやメモリ等の記憶デバイス（記憶媒体）１０２、他の装置等と通信を行う通信デバイス１０３、マウスやキーボード等の入力デバイス１０４、及び、ディスプレイ等の出力デバイス１０５を含む。
【００２９】
ＣＰＵ１０１は、画像取得部１１０、把持手段検出部１１１、把持特徴生成部１１２、物体尤度算出部１１３、及び、把持対象認識部１１６の機能を実現するためのコンピュータプログラムを実行する。記憶デバイス１０２は、把持特徴記憶部１１４のデータを記憶する。入力デバイス１０４は、利用者等から、把持対象５０２を把持している把持手段５０１の画像を取得する。出力デバイス１０５が、利用者等へ、認識結果（把持対象５０２の物体のカテゴリ）を出力する。また、通信デバイス１０３は、他の装置等から画像を取得し、他の装置等へ認識結果を出力してもよい。
【００３０】
次に、本発明の第１の実施の形態の動作を説明する。
【００３１】
図４は、本発明の第１の実施の形態における、認識装置１００の動作を示すフローチャートである。
【００３２】
はじめに、画像取得部１１０は、利用者等から、把持対象５０２を把持している把持手段５０１の画像を取得する（ステップＳ１０１）。
【００３３】
図５は、本発明の第１の実施の形態における、取得した画像の例を示す図である。
例えば、画像取得部１１０は、図５のような画像を取得する。
【００３４】
把持手段検出部１１１は、画像取得部１１０により取得された画像における、把持手段５０１の各指の位置、または、各指の位置と方向を検出する（ステップＳ１０２）。ここで、把持手段検出部１１１は、指の位置や方向を、例えば、指の色や形状、配置に基づいて検出する。また、把持手段検出部１１１は、指の位置を、非特許文献２に記載されて技術を用いて検出してもよい。さらに、把持手段検出部１１１は、指の位置を、画像中で指が存在する部分について検出してもよいし、指が存在する部分の検出結果をもとにした形状推定等により、指が存在しない部分についても推定してよい。また、指の位置は、画像中の２次元座標で指定されてもよいし、実空間内の３次元座標で指定されてもよい。また、座標の値は、ある特定の点を原点とした絶対座標値でもよいし、任意の点からの相対座標値であってもよい。また、把持手段検出部１１１は、各指について、複数の位置を検出してもよい。
【００３５】
把持手段検出部１１１は、画像において検出された指の本数が、２本以上かどうかを判定する（ステップＳ１０３）。
ステップＳ１０３において、検出された指の本数が２本以上の場合（ステップＳ１０３／Ｙ）、把持特徴生成部１１２は、検出された各指の位置、または、各指の位置と方向をもとに、把持特徴量を生成する（ステップＳ１０５）。ここで、把持特徴生成部１１２は、例えば、以下の把持特徴量生成方法１〜３のいずれかに従って、把持特徴量を生成する。
【００３６】
（把持特徴量生成方法１）
図６は、本発明の第１の実施の形態における、把持特徴量の生成方法の例を示す図である。ここで、把持手段検出部１１１により、ｎ本の指の位置が検出されたと仮定する。この場合、図６に示すような、当該ｎ本の指の位置を互いに結ぶ線分が得られる。線分の数Ｎｌは、数１式により算出される。
【００３７】
【数１】
0006739896.tif 000002
【００３８】
Ｎｌ本の線分の各々の長さｌｉ（ｉ＝１，…，Ｎｌ）は、検出されたｊ番目（ｊ＝１，…，ｎ）の指の位置をＰｊ＝（ｘｊ，ｙｊ，ｚｊ）とすると、数２式により算出される。
【００３９】
【数２】
0006739896.tif 000003
【００４０】
ここで、線分の長さｌｉを大きい順に並べると、数３式のようなベクトル形式の把持特徴量ＶＡが定義できる。
【００４１】
【数３】
0006739896.tif 000004
【００４２】
また、把持特徴量ＶＡの要素の最大値をｍｘとすると、数４式のような把持特徴量Ｖ’Ａが定義できる。
【００４３】
【数４】
0006739896.tif 000005
【００４４】
把持特徴生成部１１２は、図６の線分の長さをもとに、数３式、または、数４式のような把持特徴量を生成する。
【００４５】
例えば、物体尤度算出部１１３は、図５の画像から、把持特徴量ＶＡ＝（1.5, 1.0, 0.3, …）を生成する。
【００４６】
（把持特徴量生成方法２）
図７は、本発明の第１の実施の形態における、把持特徴量の生成方法の他の例を示す図である。ここで、把持手段検出部１１１により、ｎ本の指の位置が検出されたと仮定する。この場合、図７に示すように、検出された各指の位置と他の指の位置とを結ぶｎ−１本の線分が得られる。これらの線分の長さの組をＧｒｉ＝（ｌｉ，１，ｌｉ，２，…，ｌｉ，ｎ−１）とする。また、Ｇｒｉの要素を大きさ（長さ）の降順に並び替えたものをＧｒ’ｉ＝（ｌ’ｉ，１，ｌ’ｉ，２，…，ｌ’ｉ，ｎ−１）とする。さらに、Ｇｒ’ｉを、最初の要素ｌ’ｉ，１の大きい順に並べ換えたものを（Ｇｒ”０，Ｇｒ”１，…，Ｇｒ”ｎ）とし、Ｇｒ”ｉの要素をＧｒ”ｉ＝（ｌ”ｉ，１，ｌ”ｉ，２，…，ｌ”ｉ，ｎ−１）と記述する。各Ｇｒ”ｉの要素を並べることにより、数５式のような把持特徴量ＶＢが定義できる。
【００４７】
【数５】
0006739896.tif 000006
【００４８】
また、把持特徴量ＶＢの要素の最大値ｍｘを用いて、数６式のような把持特徴量Ｖ’Ｂが定義できる。
【００４９】
【数６】
0006739896.tif 000007
【００５０】
把持特徴生成部１１２は、図７の線分の長さをもとに、数５式、または、数６式のような把持特徴量を生成する。
【００５１】
（把持特徴量生成方法３）
把持手段検出部１１１により、各指の位置と方向に加えて、各指が親指、人差し指、中指、薬指、及び、小指の内のどの指かを特定できたと仮定する。この場合、例えば、親指、人差し指、中指、薬指、及び、小指の順で、各指の座標値Ｐｊ＝（ｘｊ，ｙｊ，ｚｊ）、（ｊ＝１，…，ｎ）及び、方向Ｄｊ＝（ａｊ，ｂｊ，ｃｊ）が得られる。ここで、各指の方向には、例えば、距離センサで得られる指先位置の法線の方向を用いてもよいし、第一関節から指先へ向かう方向を用いてもよい。また、指の順序（親指、人差し指、…）として、他の順序を用いてもよい。
【００５２】
これらの座標値、方向を、所定の座標系Ｚ上の座標、方向で表すことにより、数７式のような把持特徴量ＶＣ、または、数８式のような把持特徴量ＶＤが定義できる。
【００５３】
【数７】
0006739896.tif 000008
【００５４】
【数８】
0006739896.tif 000009
【００５５】
座標系Ｚとしては、例えば、予め定めた一本の指の方向と平行な座標軸を持つ座標系を用いてもよい。
【００５６】
把持特徴生成部１１２は、各指の位置や方向をもとに、数７式、または、数８式の把持特徴量を生成する。
【００５７】
次に、物体尤度算出部１１３は、物体のカテゴリ毎に、把持特徴量に基づく物体尤度を算出する（ステップＳ１０６）。ここで、物体尤度算出部１１３は、例えば、以下の物体尤度算出方法１〜３のいずれかに従って、物体尤度を算出する。
【００５８】
（物体尤度算出方法１）
図８は、本発明の第１の実施の形態における、把持特徴情報１１５の例を示す図である。図８の把持特徴情報１１５では、物体のカテゴリ毎に、当該物体を把持した場合の把持特徴量を示すインスタンスが登録されている。ここで、各カテゴリと当該カテゴリに対して登録された把持特徴量の対をインスタンスと呼ぶ。一つのカテゴリに対して、複数のインスタンスが登録されていてもよい。ここで、物体のカテゴリをＣｉ（ｉ＝１，…，Ｍ、Ｍはカテゴリの数）、カテゴリＣｉに対応する把持特徴量をＶｉｊ（ｊ＝１，…，Ｒ（ｉ）、Ｒ（ｉ）はカテゴリＣｉに対する把持特徴量の数）とすると、インスタンスは、（Ｃｉ，Ｖｉｊ）と表される。
【００５９】
物体尤度算出部１１３は、把持特徴生成部１１２により生成された把持特徴量と把持特徴情報１１５に登録された各インスタンスの把持特徴量Ｖｉｊとの距離を算出する。距離は、ユークリッド距離でもマンハッタン距離でも、その他の距離尺度でもよい。物体尤度算出部１１３は、把持特徴情報１１５に登録されたインスタンスの内、算出された距離が所定の閾値以下のインスタンスを抽出する。そして、物体尤度算出部１１３は、抽出したインスタンスを用いて、各カテゴリＣｉの物体尤度Ｌｉを、例えば、数９式により算出する。
【００６０】
【数９】
0006739896.tif 000010
【００６１】
ここで、ｋは、抽出されたインスタンスの数、Ｎｃｉは、ｋ個のインスタンスの内、カテゴリＣｉに対応するインスタンス（Ｃｉ，Ｖｉｊ）の数である。
【００６２】
図９は、本発明の第１の実施の形態における、インスタンスの抽出例を示す図である。例えば、物体尤度算出部１１３は、図９に示すように、図８の把持特徴情報１１５に登録されたインスタンスの内、把持特徴生成部１１２により生成された把持特徴量Ｖ＝(1.5, 1.0, 0.3, …)との距離が閾値以下である１０個のインスタンスを抽出する。
【００６３】
図１０は、本発明の第１の実施の形態における、物体尤度の算出結果の例を示す図である。例えば、物体尤度算出部１１３は、抽出されたインスタンスの数をもとに、図１０のように物体尤度を算出する。
【００６４】
なお、物体尤度算出部１１３は、距離が所定の閾値以下のインスタンスを抽出する代わりに、距離が小さい方から所定数のインスタンスを抽出してもよい。
【００６５】
（物体尤度算出方法２）
図１１は、本発明の第１の実施の形態における、把持特徴情報１１５の他の例を示す図である。図１１の把持特徴情報１１５では、物体のカテゴリ毎に、把持特徴量空間での各点における物体尤度が登録されている。この場合、各点における物体尤度は、予め、最近傍密度推定法やカーネル密度推定法等により算出される。
【００６６】
物体尤度算出部１１３は、把持特徴情報１１５を参照し、把持特徴生成部１１２により生成された把持特徴量に対応する物体尤度を取得することにより、各カテゴリＣｉの物体尤度Ｌｉを算出する。
【００６７】
（物体尤度算出方法３）
把持特徴情報１１５には、例えば、Support Vector MachineやRandom Forest等、機械学習によって得られた学習結果が登録されていてもよい。
【００６８】
例えば、Support Vector Machineを用いた場合、学習結果として、把持特徴空間内での識別境界面が登録される。この場合、物体尤度算出部１１３は、把持特徴生成部１１２により生成された把持特徴量と識別境界面との距離の関数により、各カテゴリＣｉの物体尤度Ｌｉを算出する。
【００６９】
また、Random Forestを用いた場合、学習結果として、識別器での識別境界とその識別器の重みが登録される。この場合、物体尤度算出部１１３は、重み付投票結果の関数により、各カテゴリＣｉの物体尤度Ｌｉを算出する。
【００７０】
次に、把持対象認識部１１６は、算出した物体尤度を用いて、把持対象５０２のカテゴリを認識する（ステップＳ１０７）。ここで、把持対象認識部１１６は、例えば、数１０式に従って、把持対象５０２のカテゴリｉｄｘを特定する。
【００７１】
【数１０】
0006739896.tif 000011
【００７２】
なお、Ｌｔｈは、予め設定された、物体尤度Ｌｉの最大値に対する閾値である。
【００７３】
例えば、把持対象認識部１１６は、図１０の物体尤度算出結果をもとに、把持対象５０２のカテゴリを、物体尤度が最大であるカテゴリＣ１と特定する。
【００７４】
把持対象認識部１１６は、ステップＳ１０６の結果に応じて、認識結果に、把持対象５０２のカテゴリのインデックス、または、「該当なし」を設定する（ステップＳ１０８）。
【００７５】
例えば、把持対象認識部１１６は、認識結果に「カテゴリＣ１」を設定する。
【００７６】
なお、ステップＳ１０３において、検出された指の本数が２本未満の場合（ステップＳ１０３／Ｎ）、認識結果には、「該当なし」が設定される（ステップＳ１０４）。
【００７７】
最後に、把持対象認識部１１６は、利用者等へ、認識結果を出力する（ステップＳ１０９）。
【００７８】
以上により、本発明の第１の実施の形態の動作が完了する。
【００７９】
なお、上述の説明では、把持対象認識部１１６は、物体尤度算出部１１３により算出された各カテゴリに対する物体尤度をもとに、物体のカテゴリを特定した。しかしながら、これに限らず、把持対象認識部１１６は、物体形状に対する物体尤度をもとに物体形状を特定し、さらに、各物体形状に関連づけられた物体のカテゴリを取得することにより、物体のカテゴリを特定してもよい。
【００８０】
また、本発明の実施の形態では、把持手段５０１が人の手である場合を例に説明したが、これに限らず、人の手と同様に物体を把持できれば、把持手段５０１は、動物やロボット等の手でもよい。
【００８１】
また、複数の可動部を動かすことにより物体を把持できれば、把持手段５０１は、手以外の形状であってもよい。この場合、所定部位として、例えば、把持手段５０１の各可動部が用いられ、所定部位の位置（可動部の位置）として、各可動部の先端や中心、関節等、指定された位置が検出される。また、複数の所定部位の位置間の位置関係（可動部間の位置関係）として、各可動部の位置の座標値や、可動部の位置間の距離等が用いられる。
【００８２】
次に、本発明の実施の形態の基本的な構成を説明する。図１は、本発明の実施の形態の基本的な構成を示すブロック図である。
【００８３】
図１を参照すると、認識装置１００は、画像取得部１１０、把持特徴生成部１１２、及び、把持対象認識部１１６を含む。画像取得部１１０は、把持対象５０２を把持している把持手段５０１の画像を取得する。把持特徴生成部１１２は、画像における把持手段５０１の複数の所定部位間の位置関係を示す把持特徴を生成する。把持対象認識部１１６は、把持特徴をもとに、把持対象５０２を認識する。
【００８４】
本発明の実施の形態によれば、把持対象５０２を把持している把持手段５０１の画像中に把持対象５０２が存在しない場合であっても、把持対象５０２を認識できる。その理由は、把持対象認識部１１６が、画像における把持手段５０１の複数の所定部位間の位置関係を示す把持特徴をもとに、把持対象５０２を認識するためである。これにより、把持対象５０２を把持している把持手段５０１の画像において、把持対象５０２が遮蔽されている場合であっても、把持対象５０２を認識できる。
【００８５】
＜第２の実施の形態＞
次に、本発明の第２の実施の形態について説明する。
【００８６】
本発明の第２の実施の形態では、把持特徴量に加えて、画像上の把持対象５０２の物体領域から物体特徴量を生成し、把持特徴量と物体特徴量とを用いて、把持物体を認識する。なお、本発明の第２の実施の形態では、把持特徴量基づく物体尤度を第１物体尤度、物体特徴量に基づく物体尤度を第２物体尤度と呼ぶ。
【００８７】
はじめに、本発明の第２の実施の形態の構成を説明する。
【００８８】
図１２は、本発明の第２の実施の形態における、認識装置２００の構成を示すブロック図である。
【００８９】
図１２を参照すると、本発明の第２の実施の形態の認識装置２００は、画像取得部２１０、把持手段検出部２１１、把持特徴生成部２１２、第１物体尤度算出部２１３、把持特徴記憶部２１４を含む。認識装置２００は、さらに、把持対象検出部２２１、物体特徴生成部２２２、第２物体尤度算出部２２３、物体特徴記憶部２２４、統合尤度算出部２３０、及び、把持対象認識部２４０を含む。
【００９０】
画像取得部２１０、把持手段検出部２１１、及び、把持特徴生成部２１２は、それぞれ、本発明の第１の実施の形態における、画像取得部１１０、把持手段検出部１１１、及び、把持特徴生成部１１２と同様である。把持特徴記憶部２１４は、把持特徴情報１１５と同様の把持特徴情報２１５（「把持特徴量に基づく物体尤度（第１物体尤度）」を算出するための情報）を記憶する。第１物体尤度算出部２１３は、物体尤度算出部１１３と同様に、物体のカテゴリ毎に、第１物体尤度を算出する。
【００９１】
把持対象検出部２２１は、画像取得部１１０により取得された画像における、把持対象５０２の物体領域を検出する。ここで、把持対象検出部２２１は、例えば、背景が固定である場合に移動物体を検出する背景差分法を用いて、物体領域を検出してもよい。また、把持対象検出部２２１は、距離が所定の閾値よりも小さい（近い）画素を、物体領域として検出してもよい。また，把持対象検出部２２１は、ある把持対象候補領域（例えば画像の中心）に類似する周辺画素を把持対象に属する領域とみなすことにより、物体領域を検出してもよい。
【００９２】
物体特徴生成部２２２は、把持対象５０２の物体の特徴を表す物体特徴量として、把持対象５０２の色や模様等に係る特徴を示す物体特徴量を生成する。ここで、物体特徴として、例えば、色の出現頻度や色の配置を用いてもよい。また、物体特徴として、画像の輝度値の部分的な明暗パターンや、輝度値の変化方向、フィルタへの応答強度を用いてもよい。
【００９３】
物体特徴記憶部２２４は、物体特徴情報２２５を記憶する。物体特徴情報２２５は、認識すべき物体のカテゴリに対する、「物体特徴量に基づく物体尤度（第２物体尤度）」を算出するための情報である。
【００９４】
第２物体尤度算出部２２３は、物体特徴生成部２２２により生成された物体特徴量と物体特徴記憶部２２４に記憶されている物体特徴情報２２５とを用いて、物体のカテゴリ毎に、第２物体尤度を算出する。
【００９５】
統合尤度算出部２３０は、第１物体尤度と第２物体尤度とを用いて、統合尤度を算出する。
【００９６】
把持対象認識部２４０は、統合尤度算出部２３０により算出された統合尤度を用いて、把持対象５０２のカテゴリを認識する。
【００９７】
次に、本発明の第２の実施の形態の動作を説明する。
【００９８】
図１３は、本発明の第２の実施の形態における、認識装置２００の動作を示すフローチャートである。
【００９９】
はじめに、画像取得部２１０は、把持対象５０２を把持している把持手段５０１の画像を取得する（ステップＳ２０１）。この場合、画像には、把持対象５０２の物体領域の少なくとも一部が含まれると仮定する。
【０１００】
把持手段検出部２１１は、画像取得部２１０により取得された画像における、把持手段５０１の各指の位置、または、各指の位置と方向を検出する（ステップＳ２０２）。
【０１０１】
把持対象検出部２２１は、画像取得部２１０により取得された画像における、把持対象５０２の物体領域を検出する（ステップＳ２０３）。
【０１０２】
把持手段検出部２１１は、画像において検出された指の本数が、２本以上かどうかを判定する（ステップＳ２０４）。
【０１０３】
ステップＳ２０４において、検出された指の本数が２本以上の場合（ステップＳ２０４／Ｙ）、把持特徴生成部２１２は、検出された各指の位置、または、各指の位置と方向をもとに、把持特徴量を生成する（ステップＳ２０６）。
【０１０４】
第１物体尤度算出部２１３は、生成された把持特徴量をもとに、物体のカテゴリ毎に第１物体尤度を算出する（ステップＳ２０７）。
【０１０５】
図１５は、本発明の第２の実施の形態における、統合尤度の算出結果の例を示す図である。
【０１０６】
例えば、第１物体尤度算出部２１３は、図８の把持特徴情報１１５に登録されたインスタンスの内、把持特徴生成部１１２により生成された把持特徴量との距離が閾値以下であるインスタンスを抽出する。そして、第１物体尤度算出部２１３は、抽出されたインスタンスの数をもとに、図１５のように第１物体尤度を算出する。
【０１０７】
なお、ステップＳ２０４において、検出された指の本数が２本未満の場合（ステップＳ２０４／Ｎ）、全カテゴリに対する第１物体尤度に１が設定される（ステップＳ２０５）。
【０１０８】
次に、物体特徴生成部２２２は、検出された把持対象５０２の物体領域から、物体特徴量を生成する（ステップＳ２０８）。
【０１０９】
第２物体尤度算出部２２３は、生成された物体特徴量をもとに、物体のカテゴリ毎に、第２物体尤度を算出する（ステップＳ２０９）。ここで、第２物体尤度算出部２２３は、例えば、把持特徴量に基づく物体尤度（第１物体尤度）の算出方法と同様の方法で、第２物体尤度を算出する。
【０１１０】
図１４は、本発明の第２の実施の形態における、物体特徴情報２２５の例を示す図である。図１４の物体特徴情報２２５では、物体のカテゴリ毎に、当該物体の物体特徴量を示すインスタンスが登録されている。ここで、物体特徴量は、例えば、物体の色や模様等の物体特徴を表す。
【０１１１】
例えば、第２物体尤度算出部２２３は、図１４の物体特徴情報２２５に登録されたインスタンスの内、物体特徴生成部２２２により生成された物体特徴量との距離が閾値以下であるインスタンスを抽出する。そして、第２物体尤度算出部２２３は、抽出されたインスタンスの数をもとに、図１５のように第２物体尤度を算出する。
【０１１２】
次に、統合尤度算出部２３０は、第１物体尤度と第２物体尤度とを用いて、統合尤度を算出する（ステップＳ２１０）。統合尤度算出部２３０は、各カテゴリＣｉの統合尤度Ｌｃｏｍｂ（ｉ）を、例えば、数１１式、または、数１２式により算出する。
【０１１３】
【数１１】
0006739896.tif 000012
【０１１４】
【数１２】
0006739896.tif 000013
【０１１５】
ここで、ＬＡ（ｉ）、ＬＢ（ｉ）は、それぞれ、カテゴリＣｉの第１物体尤度、第２物体尤度である。
【０１１６】
例えば、統合尤度算出部２３０は、図１５のように統合尤度を算出する。
【０１１７】
次に、把持対象認識部２４０は、算出した統合尤度を用いて、把持対象５０２のカテゴリを認識する（ステップＳ２１１）。ここで、把持対象認識部２４０は、例えば、数１３式に従って、把持対象５０２のカテゴリｉｄｘを特定する。
【０１１８】
【数１３】
0006739896.tif 000014
【０１１９】
ここで、Ｌｔｈ＿ｃｏｍｂは、予め設定された、統合尤度Ｌｃｏｍｂ（ｉ）の最大値に対する閾値である。
【０１２０】
例えば、把持対象認識部２４０は、図１５の統合尤度算出結果をもとに、把持対象５０２のカテゴリを、統合尤度が最大であるカテゴリＣ３と特定する。
【０１２１】
把持対象認識部１１６は、ステップＳ２１１の結果に応じて、認識結果に、把持対象５０２のカテゴリのインデックス、または、「該当なし」を設定し（ステップＳ２１２）、出力する（ステップＳ２１３）。
【０１２２】
以上により、本発明の第２の実施の形態の動作が完了する。
【０１２３】
本発明の第２の実施の形態によれば、本発明の第１の実施の形態に比べて、把持対象５０２の認識精度を向上できる。その理由は、把持対象認識部２４０が、把持特徴量に基づく第１物体尤度と物体特徴量に基づく第２物体尤度を用いて算出された統合尤度をもとに、把持対象５０２を認識するためである。これにより、例えば、把持対象５０２を把持している把持手段５０１の画像において、把持対象５０２のほとんどが遮蔽されているが、一部が存在するような場合に、把持対象５０２の認識精度を向上できる。
【０１２４】
＜第３の実施の形態＞
次に、本発明の第３の実施の形態について説明する。
【０１２５】
本発明の第３の実施の形態では、把持手段５０１の複数の所定部位の内、把持対象５０２と接触している部位（把持対象５０２と接触している指）について、把持特徴量を生成する。
【０１２６】
はじめに、本発明の第３の実施の形態の構成を説明する。
【０１２７】
図１６は、本発明の第３の実施の形態における、認識装置２００の構成を示すブロック図である。
【０１２８】
図１６を参照すると、本発明の第３の実施の形態の認識装置２００は、本発明の第２の実施の形態の認識装置２００の構成要素に加えて、接触検出部２５０を含む。
【０１２９】
接触検出部２５０は、把持対象検出部２２１により検出された把持対象５０２の物体領域と、把持手段検出部１１１により検出された各指の位置とをもとに、検出された指の内の把持対象５０２と接触している指（接触指）を特定する。接触検出部２５０は、例えば、注目する指の位置を示す座標値と、その座標値に最も近い物体領域との距離が所定の閾値未満の場合、当該指が接触指であると判定する。
【０１３０】
把持特徴生成部２１２は、接触指に係る所定部位間の位置関係を表す把持特徴量を生成する。
【０１３１】
次に、本発明の第３の実施の形態の動作を説明する。
【０１３２】
図１７は、本発明の第３の実施の形態における、認識装置２００の動作を示すフローチャートである。
【０１３３】
はじめに、画像取得部２１０は、把持対象５０２を把持している把持手段５０１の画像を取得する（ステップＳ３０１）。
【０１３４】
把持手段検出部２１１は、画像取得部２１０により取得された画像における、各指の位置、または、各指の位置と方向を検出する（ステップＳ３０２）。
【０１３５】
把持対象検出部２２１は、画像取得部２１０により取得された画像における、把持対象５０２の物体領域を検出する（ステップＳ３０３）。
【０１３６】
把持手段検出部２１１は、画像において検出された指の本数が、２本以上かどうかを判定する（ステップＳ３０４）。
【０１３７】
ステップＳ３０４において、検出された指の本数が２本以上の場合（ステップＳ３０４／Ｙ）、接触検出部２５０は、検出された指の内の接触指を特定する（ステップＳ３０６）。
【０１３８】
接触検出部２５０は、接触指の本数が、２本以上かどうかを判定する（ステップＳ３０７）。
【０１３９】
ステップＳ３０７において、接触指の本数が２本以上の場合（ステップＳ３０７／Ｙ）、把持特徴生成部２１２は、検出された各接触指の位置、または、各接触指の位置と方向をもとに、接触指間の位置関係を表す把持特徴量を生成する（ステップＳ３０８）。
【０１４０】
第１物体尤度算出部２１３は、生成された把持特徴量をもとに、物体のカテゴリ毎に第１物体尤度を算出する（ステップ３０９）。
【０１４１】
なお、ステップＳ３０４において、検出された指の本数が２本未満の場合（ステップＳ３０４／Ｎ）、または、ステップＳ３０７において、接触指の本数が２本未満の場合（ステップＳ３０７／Ｎ）、全カテゴリに対する第１物体尤度が１に設定される。
【０１４２】
以降、物体特徴量の生成、第２物体尤度の算出、統合尤度の算出、及び、把持対象５０２のカテゴリの認識（ステップＳ３１０〜Ｓ３１５）が、本発明の第２の実施の形態（ステップＳ２０８〜Ｓ２１３）と同様に行われる。
【０１４３】
以上により、本発明の第３の実施の形態の動作が完了する。
【０１４４】
本発明の第３の実施の形態によれば、本発明の第１の実施の形態に比べて、把持対象５０２の認識精度を向上できる。その理由は、把持特徴生成部２１２が、把持手段５０１の複数の所定部位の内、把持対象５０２と接触している部位（把持対象５０２と接触している指）間の位置関係を表す把持特徴量を生成するためである。これにより、把持特徴量から、把持対象５０２と接触していない部位（接触していない指）に係る情報を除外することができ、把持手段５０１による把持に寄与していない部位の位置の影響を受けずに、把持対象５０２のカテゴリを特定できる。
【０１４５】
＜第４の実施の形態＞
次に、本発明の第４の実施の形態について説明する。
【０１４６】
本発明の第４の実施の形態では、把持手段５０１の複数の所定部位の間の位置関係の時間的な変化を示す把持特徴を生成する。
【０１４７】
はじめに、本発明の第４の実施の形態の構成を説明する。
【０１４８】
図１８は、本発明の第４の実施の形態における、認識装置２００の構成を示すブロック図である。
【０１４９】
図１８を参照すると、本発明の第４の実施の形態の構成は、本発明の第２の実施の形態において、把持特徴生成部２１２が把持特徴生成部２６０に置き換えられている。
【０１５０】
把持特徴生成部２６０は、把持手段５０１の複数の所定部位の間の位置関係の時間的な変化を示す、動き特徴を含む把持特徴量を生成する。把持特徴生成部２６０は、フレーム特徴生成部２６１、フレーム特徴記憶部２６２、及び、動き特徴抽出部２６３を含む。
【０１５１】
フレーム特徴生成部２６１は、把持特徴生成部２１２と同様の方法により、画像のフレーム毎の把持特徴量を生成する。
【０１５２】
フレーム特徴記憶部２６２は、フレーム特徴生成部２６１により生成された、フレーム毎の把持特徴量を、所定のフレーム数分記憶する。
【０１５３】
動き特徴抽出部２６３は、フレーム毎の把持特徴量の差分をもとに、動き特徴を抽出し、動き特徴を含む把持特徴量を生成する。
【０１５４】
次に、本発明の第４の実施の形態の動作を説明する。
【０１５５】
図１９は、本発明の第４の実施の形態における、認識装置２００の動作を示すフローチャートである。
【０１５６】
はじめに、把持特徴生成部２６０のフレーム特徴生成部２６１は、フレームを示す変数ｔ（ｔ＝１,…，Ｎｆ。Ｎｆは、動き特徴を含む把持特徴量を生成するためのフレーム数）に１を設定する（ステップＳ４０１）。
【０１５７】
画像取得部２１０は、把持対象５０２を把持している把持手段５０１の画像を１フレーム取得する（ステップＳ４０２）。
【０１５８】
把持手段検出部２１１は、画像取得部２１０により取得されたフレーム（対象フレーム）における、各指の位置、または、各指の位置と方向を検出する（ステップＳ４０３）。
【０１５９】
把持対象検出部２２１は、画像取得部２１０により取得された対象フレームにおける、把持対象５０２の物体領域を検出する（ステップＳ４０４）。
【０１６０】
把持手段検出部２１１は、対象フレームにおいて検出された指の本数が、２本以上かどうかを判定する（ステップＳ４０５）。
【０１６１】
ステップＳ４０５において、検出された指の本数が２本以上の場合（ステップＳ４０５／Ｙ）、フレーム特徴生成部２６１は、検出された各指の位置、または、各指の位置と方向をもとに、対象フレームｔでの把持特徴量Ｖ（ｔ）を生成する（ステップＳ４０７）。ここで、フレーム特徴生成部２６１は、把持特徴量Ｖ（ｔ）として、例えば、本発明の第１の実施の形態の把持特徴量生成方法で示した、把持特徴量ＶＡ、ＶＢ、ＶＣ、ＶＤの内のいずれかを生成する。
【０１６２】
フレーム特徴生成部２６１は、変数ｔがＮｆ以上かどうかを判定する（ステップＳ４０８）。
【０１６３】
ステップＳ４０８で、変数ｔがＮｆ未満の場合（ステップＳ４０８／Ｎ）、フレーム特徴生成部２６１は、生成した把持特徴量Ｖ（ｔ）をフレーム特徴記憶部２６２に保存し、変数ｔに１を加算する（ステップＳ４０９）。そして、ステップＳ４０２からの処理が繰り返される。
【０１６４】
一方、ステップＳ４０８で、変数ｔがＮｆ以上の場合（ステップＳ４０８／Ｙ）、動き特徴抽出部２６３は、フレーム特徴記憶部２６２に記憶されている、フレーム毎の把持特徴量の差分を算出する（ステップＳ４１０）。
【０１６５】
動き特徴抽出部２６３は、算出した差分をもとに、動き特徴を含む把持特徴量を生成する（ステップＳ４１１）。
【０１６６】
ここで、動き特徴抽出部２６３は、例えば、数１４式により、動き特徴を含む把持特徴量Ｖmovを生成する。
【０１６７】
【数１４】
0006739896.tif 000015
【０１６８】
図２０は、本発明の第４の実施の形態における、動き特徴を含む把持特徴量の算出例を示す図である。図２０は、Ｎｆが３の場合の例である。例えば、動き特徴抽出部２６３は、ｔ＝１，２，３における把持特徴量Ｖ（ｔ）をもとに、図２０のように、動き特徴を含む把持特徴量Ｖmovを生成する。
【０１６９】
次に、第１物体尤度算出部２１３は、生成された動き特徴を含む把持特徴量をもとに、物体のカテゴリ毎に第１物体尤度を算出する（ステップＳ４１２）。
【０１７０】
なお、ステップＳ４０５において、検出された指の本数が２本未満の場合（ステップＳ４０５／Ｎ）、全カテゴリに対する第１物体尤度に１が設定される（ステップＳ４０６）。
【０１７１】
次に、物体特徴生成部２２２は、検出された把持対象５０２の物体領域から、物体特徴量を生成する（ステップＳ４１３）。ここで、物体特徴生成部２２２は、Ｎｆ個のフレームの内、１番目のフレームや、Ｎｆ番目のフレームで検出された把持対象５０２の物体領域から、物体特徴量を生成する。また、物体特徴生成部２２２は、Ｎｆ個のフレームの各々で検出された把持対象５０２の物体領域から生成した物体特徴量の平均値を算出してもよい。
【０１７２】
以降、第２物体尤度の算出、統合尤度の算出、及び、把持対象５０２のカテゴリの認識（ステップＳ４１４〜Ｓ４１８）が、本発明の第２の実施の形態（ステップＳ２０９〜Ｓ２１３）と同様に行われる。
【０１７３】
以上により、本発明の第４の実施の形態の動作が完了する。
【０１７４】
本発明の第４の実施の形態によれば、把持手段５０１による把持に時間的な変化がある場合に、把持対象５０２の認識精度を向上できる。その理由は、把持特徴生成部２６０が、把持手段５０１の複数の所定部位の間の位置関係の時間的な変化を示す、動き特徴を含む把持特徴量を生成するためである。これにより、例えば、柔らかい物体等、把持手段５０１による把持中に、形状が時間的に変化する把持対象５０２を、硬い物体等、形状が時間的に変化しない把持対象５０２と識別できる。また、スマートフォンの操作等、把持手段５０１の所定部位（指）が、把持対象５０２上を移動する場合にも、把持対象５０２の認識精度を向上できる。
【０１７５】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１７６】
例えば、本発明の第３の実施の形態で説明した、把持手段５０１の複数の所定部位の内の把持対象５０２と接触している部位についての把持特徴量の生成は、把持対象５０２との接触が検出できれば、本発明の第１の実施に適用されてもよい。
【０１７７】
また、本発明の第４の実施の形態で説明した、動き特徴を含む把持特徴量の生成は、本発明の第１の実施や第２の実施の形態に適用されてもよい。
【符号の説明】
【０１７８】
１００    認識装置
１０１    ＣＰＵ
１０２    記憶デバイス
１０３    通信デバイス
１０４    入力デバイス
１０５    出力デバイス
１１０    画像取得部
１１１    把持手段検出部
１１２    把持特徴生成部
１１３    物体尤度算出部
１１４    把持特徴記憶部
１１５    把持特徴情報
１１６    把持対象認識部
２００    認識装置
２１０    画像取得部
２１１    把持手段検出部
２１２    把持特徴生成部
２１３    第１物体尤度算出部
２１４    把持特徴記憶部
２１５    把持特徴情報
２２１    把持対象検出部
２２２    物体特徴生成部
２２３    第２物体尤度算出部
２２４    物体特徴記憶部
２２５    物体特徴情報
２３０    統合尤度算出部
２４０    把持対象認識部
２５０    接触検出部
２６０    把持特徴生成部
２６１    フレーム特徴生成部
２６２    フレーム特徴記憶部
２６３    動き特徴抽出部
５０１    把持手段
５０２    把持対象
【図１】
0006739896.tif 000016
【図２】
0006739896.tif 000017
【図３】
0006739896.tif 000018
【図４】
0006739896.tif 000019
【図５】
0006739896.tif 000020
【図６】
0006739896.tif 000021
【図７】
0006739896.tif 000022
【図８】
0006739896.tif 000023
【図９】
0006739896.tif 000024
【図１０】
0006739896.tif 000025
【図１１】
0006739896.tif 000026
【図１２】
0006739896.tif 000027
【図１３】
0006739896.tif 000028
【図１４】
0006739896.tif 000029
【図１５】
0006739896.tif 000030
【図１６】
0006739896.tif 000031
【図１７】
0006739896.tif 000032
【図１８】
0006739896.tif 000033
【図１９】
0006739896.tif 000034
【図２０】
0006739896.tif 000035