(57)【要約】      （修正有）【課題】深度データから手の領域を認識する際の、認識精度を向上させる手認識方法を提供する。【解決手段】手認識方法は、取得した深度データから処理対象とする手の候補領域を抽出し、処理対象とする手の候補領域に対して最も類似する手指モデルを特定し、処理対象とする手の候補領域に対して特定した手指モデルの類似の度合いが、所定の基準を満たさない場合に、特定した前記手指モデルにおける手首の位置を始点とし指の付け根の位置を終点とするベクトルに基づいて特定される腕の領域を除くことで、処理対象とする手の候補領域内において、新たな処理対象とする手の候補領域を設定し、新たな処理対象とする手の候補領域を用いて、特定する処理と設定する処理とを再帰的に行う処理をコンピュータ１２０が実行する。【選択図】図１
2019039864.tif 000002
【特許請求の範囲】
【請求項１】
取得した深度データから処理対象とする手の候補領域を抽出し、
前記処理対象とする手の候補領域に対して最も類似する手指モデルを特定し、
前記処理対象とする手の候補領域に対して特定した前記手指モデルの類似の度合いが、所定の基準を満たさない場合に、特定した前記手指モデルにおける手首の位置を始点とし指の付け根の位置を終点とするベクトルに基づいて特定される腕の領域を除くことで、前記処理対象とする手の候補領域内において、新たな処理対象とする手の候補領域を設定し、
前記新たな処理対象とする手の候補領域を用いて、前記特定する処理と前記設定する処理とを再帰的に行う
処理をコンピュータが実行することを特徴とする手認識方法。
【請求項２】
特定した前記手指モデルにおける手首の位置を始点とする任意の複数方向を指す複数のベクトルと、特定した前記手指モデルにおける手首の位置を始点とし指の付け根の位置を終点とするベクトルとの間で、それぞれ内積を算出し、算出した内積の値に基づいて前記腕の領域を特定する、ことを特徴とする請求項１に記載の手認識方法。
【請求項３】
前記処理対象とする手の候補領域に対して、前記手指モデルの位置、姿勢及び該手指モデルの各関節の角度を算出することで、前記処理対象とする手の候補領域に最も類似する手指モデルを特定することを特徴とする請求項１または２に記載の手認識方法。
【請求項４】
前記任意の複数方向を指す複数のベクトルのうち、算出した内積の値が０より小さいベクトルによって特定される点が位置する領域を、前記処理対象とする手の候補領域内における前記腕の領域として特定することを特徴とする請求項２に記載の手認識方法。
【請求項５】
前記手指モデルの位置、姿勢及び該手指モデルの各関節の角度についての確からしさを示すパラメータを算出し、
前記特定する処理と前記設定する処理とを再帰的に行い、算出した該パラメータが所定の閾値以下となった際の、前記手指モデルの位置、姿勢及び該手指モデルの各関節の角度を、手の領域の認識結果として出力することを特徴とする請求項３に記載の手認識方法。
【請求項６】
前記手指モデルの位置、姿勢及び該手指モデルの各関節の角度についての確からしさを示すパラメータを算出し、
前記特定する処理と前記設定する処理とを再帰的に行い、前記パラメータの変化が所定の基準を満たす場合に、変化する前のパラメータが算出された際の、前記手指モデルの位置、姿勢及び該手指モデルの各関節の角度を、手の領域の認識結果として出力することを特徴とする請求項３に記載の手認識方法。
【請求項７】
前記特定する処理と前記設定する処理とを再帰的に行い、前記新たな処理対象とする手の候補領域の変化量が、所定の基準を満たした際の、前記手指モデルの位置、姿勢及び該手指モデルの各関節の角度を、手の領域の認識結果として出力することを特徴とする請求項３に記載の手認識方法。
【請求項８】
取得した深度データから処理対象とする手の候補領域を抽出し、
前記処理対象とする手の候補領域に対して最も類似する手指モデルを特定し、
前記処理対象とする手の候補領域に対して特定した前記手指モデルの類似の度合いが、所定の基準を満たさない場合に、特定した前記手指モデルにおける手首の位置を始点とし指の付け根の位置を終点とするベクトルに基づいて特定される腕の領域を除くことで、前記処理対象とする手の候補領域内において、新たな処理対象とする手の候補領域を設定し、
前記新たな処理対象とする手の候補領域を用いて、前記特定する処理と前記設定する処理とを再帰的に行う、
処理をコンピュータに実行させるための手認識プログラム。
【請求項９】
取得した深度データから処理対象とする手の候補領域を抽出する抽出部と、
前記処理対象とする手の候補領域に対して最も類似する手指モデルを特定する特定部と、
前記処理対象とする手の候補領域に対して特定した前記手指モデルの類似の度合いが、所定の基準を満たさない場合に、特定した前記手指モデルにおける手首の位置を始点とし指の付け根の位置を終点とするベクトルに基づいて特定される腕の領域を除くことで、前記処理対象とする手の候補領域内において、新たな処理対象とする手の候補領域を設定する設定部と、を有し、
前記新たな処理対象とする手の候補領域を用いて、前記特定する処理と前記設定する処理とを再帰的に行うことを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手認識方法、手認識プログラム及び情報処理装置に関する。
【背景技術】
【０００２】
従来より、ヒューマンインタフェースやインタラクティブシステムへの応用等を目的として、３次元空間において、対象となる人の手までの距離をセンサ（深度センサ等）で測定し、測定結果の深度データから手の領域（手首から先の領域）を認識する手認識技術が知られている。
【０００３】
例えば、下記非特許文献１には、手首の位置から腕の領域（手首より胴体側の領域）を特定し、特定した腕の領域を除く領域を対象として、手指モデルを当てはめ、最適化することで、手の領域を認識する手認識技術が開示されている。
【０００４】
しかしながら、下記非特許文献１の場合、深度データに基づき手首の位置が特定できるよう、測定対象者の手首にリストバンドを装着させる必要があり、実用的でない。
【０００５】
一方で、下記非特許文献２には、腕の形状と手首から掌にかけての形状の違いを利用して、深度データから手首の位置を特定する特定方法が開示されている。下記非特許文献２によれば、測定対象者の手首にリストバンドを装着させることなく手首の位置を特定することができる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Chen  Qian，Xiao  Sun，Yichen  Wei，Xiaoou  Tang，Jian  Sun著「Realtime  and  Robust  Hand  Tracking  from  Depth」CVPR2013
【非特許文献２】陳維英，藤木隆司，有田大作，谷口倫一郎著「複数カメラを用いた実時間三次元手形状推定」画像の認識・理解シンポジウム（ＭＩＲＵ２００６）、２００６年７月、ｐ．３２８〜３３３
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記非特許文献２の場合、距離測定用のセンサに対する測定対象者の手の角度や、測定対象者が着用する衣服によっては、腕の形状と手首から掌にかけての形状の違いを測定結果の深度データからは捉えることができず、手首の位置を特定できない場合がある。このため、上記特定方法を非特許文献１に適用しても、手指モデルを当てはめる際に、腕の領域を除く領域を対象として最適化することができず、手の領域を適切に認識できない場合があるといった問題がある。
【０００８】
一つの側面では、深度データから手の領域を認識する際の、認識精度を向上させることを目的としている。
【課題を解決するための手段】
【０００９】
一態様によれば、手認識方法は、
取得した深度データから処理対象とする手の候補領域を抽出し、
前記処理対象とする手の候補領域に対して最も類似する手指モデルを特定し、
前記処理対象とする手の候補領域に対して特定した前記手指モデルの類似の度合いが、所定の基準を満たさない場合に、特定した前記手指モデルにおける手首の位置を始点とし指の付け根の位置を終点とするベクトルに基づいて特定される腕の領域を除くことで、前記処理対象とする手の候補領域内において、新たな処理対象とする手の候補領域を設定し、
前記新たな処理対象とする手の候補領域を用いて、前記特定する処理と前記設定する処理とを再帰的に行う処理をコンピュータが実行することを特徴とする。
【発明の効果】
【００１０】
深度データから手の領域を認識する際の、認識精度を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】手認識システムのシステム構成の一例を示す図である。
【図２】手指モデル情報の一例を示す図である。
【図３】情報処理装置のハードウェア構成の一例を示す図である。
【図４】手認識処理部の機能構成の一例及び各機能部の処理の具体例を示す図である。
【図５】モデル最適化部による最適化処理の詳細を示す図である。
【図６】マスク領域算出部によるマスク領域算出処理及びマスク部によるマスク処理の詳細を示す第１の図である。
【図７】マスク領域算出部によるマスク領域算出処理及びマスク部によるマスク処理の詳細を示す第２の図である。
【図８】終了判定部による終了判定処理の流れを示す第１のフローチャートである。
【図９】終了判定部による終了判定処理の流れを示す第２のフローチャートである。
【図１０】終了判定部による終了判定処理の流れを示す第３のフローチャートである。
【図１１】マスク領域算出部によるマスク領域算出処理及びマスク部によるマスク処理の詳細を示す第３の図である。
【発明を実施するための形態】
【００１２】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１３】
［第１の実施形態］
＜手認識システムのシステム構成＞
はじめに、手認識システムのシステム構成について説明する。図１は、手認識システムのシステム構成の一例を示す図である。図１に示すように、手認識システム１００は、深度センサ１１０と情報処理装置１２０とを有する。なお、深度センサ１１０と情報処理装置１２０とは、通信可能に接続される。
【００１４】
深度センサ１１０は、測定対象者１３０を含む所定領域を測定範囲として、深度データを測定する。深度データとは、各フレームの各画素に、測定対象者１３０を含む被測定物までの距離を示す距離情報が割り当てられたデータであり、３次元空間における被測定物の位置を示している。
【００１５】
情報処理装置１２０には、手認識プログラムがインストールされており、当該プログラムが実行されることで、情報処理装置１２０は、手認識処理部１２１として機能する。
【００１６】
手認識処理部１２１は、深度センサ１１０にて測定された深度データを取得し、当該深度データに対して、手指モデル情報記憶部１２２に記憶された手指モデルを当てはめて最適化することで（最適化処理を行うことで）、測定対象者１３０の手の領域を認識する。具体的には、手認識処理部１２１は、深度データと手指モデルとを対比して、深度データにおける手指モデルの位置、手指モデルの姿勢、手指モデルの各関節の角度等を算出し、手認識結果として出力する。なお、手認識処理部１２１より出力される手認識結果は、例えば、ヒューマンインタフェースやインタラクティブシステム等において利用されるものとする。
【００１７】
＜手指モデル情報の具体例＞
次に、手指モデル情報記憶部１２２に格納された手指モデル情報について説明する。図２は、手指モデル情報の一例を示す図である。図２に示すように、手指モデル情報２００には、情報の項目として、“種類”と“手指モデル”とが含まれる。
【００１８】
“種類”には、手指モデルの種類を示す情報が格納される。第１の実施形態において、手指モデル情報２００には、手指の太さ、長さ、形状に基づいて、３種類の手指モデルが格納されている。具体的には、手指モデル情報２００には、男性かつ大人の手指モデル、女性かつ大人の手指モデル、子供の手指モデル、の３種類の手指モデルが格納されている。
【００１９】
“手指モデル”には、更に、情報の項目として“右手”と“左手”が含まれており、“右手”には、対応する種類の右手の手指モデルが格納されている。また、“左手”には、対応する種類の左手の手指モデルが格納されている。
【００２０】
＜情報処理装置のハードウェア構成＞
次に、情報処理装置１２０のハードウェア構成について説明する。図３は、情報処理装置のハードウェア構成の一例を示す図である。
【００２１】
図３に示すように、情報処理装置１２０は、ＣＰＵ（Central  Processing  Unit）３０１、ＲＯＭ（Read  Only  Memory）３０２、ＲＡＭ（Random  Access  Memory）３０３を有する。ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３は、いわゆるコンピュータを形成する。また、情報処理装置１２０は、補助記憶装置３０４、操作装置３０５、表示装置３０６、Ｉ／Ｆ（Interface）装置３０７、ドライブ装置３０８を有する。なお、情報処理装置１２０の各部は、バス３０９を介して相互に接続されている。
【００２２】
ＣＰＵ３０１は、補助記憶装置３０４にインストールされた各種プログラム（例えば、手認識プログラム等）を実行する。
【００２３】
ＲＯＭ３０２は、不揮発性メモリであり、主記憶装置として機能する。ＲＯＭ３０２は、補助記憶装置３０４に格納された各種プログラムをＣＰＵ３０１が実行するために必要な各種プログラム、データ等を格納する。具体的には、ＲＯＭ３０２はＢＩＯＳ（Basic  Input/Output  System）やＥＦＩ（Extensible  Firmware  Interface）等のブートプログラム等を格納する。
【００２４】
ＲＡＭ３０３は、ＤＲＡＭ（Dynamic  Random  Access  Memory）やＳＲＡＭ（Static  Random  Access  Memory）等の揮発性メモリであり、主記憶装置として機能する。ＲＡＭ３０３は、補助記憶装置３０４に格納された各種プログラムがＣＰＵ３０１によって実行される際に展開される、作業領域を提供する。
【００２５】
補助記憶装置３０４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する。手指モデル情報記憶部１２２は、補助記憶装置３０４において実現される。
【００２６】
操作装置３０５は、情報処理装置１２０の管理者が情報処理装置１２０に対して各種指示を入力する際に用いる入力デバイスである。表示装置３０６は、情報処理装置１２０の内部情報を表示する表示デバイスである。
【００２７】
Ｉ／Ｆ装置３０７は、深度センサ１１０と、情報処理装置１２０とを通信可能に接続するための接続デバイスである。
【００２８】
ドライブ装置３０８は記録媒体３１０をセットするためのデバイスである。ここでいう記録媒体３１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体３１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【００２９】
なお、補助記憶装置３０４に格納される各種プログラムは、例えば、配布された記録媒体３１０がドライブ装置３０８にセットされ、該記録媒体３１０に記録された各種プログラムがドライブ装置３０８により読み出されることでインストールされる。
【００３０】
＜手認識処理部の機能構成＞
次に、情報処理装置１２０の手認識処理部１２１の機能構成について説明する。図４は、手認識処理部の機能構成の一例及び各機能部の処理の具体例を示す図である。図４に示すように、手認識処理部１２１は、深度データ取得部４０１、部位抽出部４０２、マスク部４０３、モデル最適化部４０４、マスク領域算出部４０５、終了判定部４０６を有する。
【００３１】
深度データ取得部４０１は、深度センサ１１０より深度データを取得する。図４に示すデータ４１１は、深度センサ１１０より取得した深度データの一例である。なお、図４等において深度データを表現するにあたっては、説明をわかりやすくするため、各画素に割り当てられた距離情報から同一物体と識別できる領域の輪郭を点線で示している。深度データ取得部４０１は、取得した深度データを部位抽出部４０２に通知する。
【００３２】
部位抽出部４０２は抽出部の一例である。部位抽出部４０２は、深度データ取得部４０１より通知された深度データのうち、手の領域及び腕の領域を含む特定部位を、処理対象とする手の候補領域として抽出することで、特定部位深度データを得る。図４に示すデータ４１２は、部位抽出部４０２が、データ４１１から手の領域及び腕の領域を含む特定部位を抽出することで得た特定部位深度データの一例である。部位抽出部４０２は、特定部位深度データをマスク部４０３に通知する。
【００３３】
マスク部４０３は設定部の一例である。マスク部４０３は、終了判定部４０６よりマスク領域情報を取得し、取得したマスク領域情報に基づいて、特定部位深度データのうち、腕の領域をマスクすることでマスク後深度データを得る。つまり、マスク領域情報に基づいて、腕の領域を除くことで、処理対象とする手の候補領域内において、新たな処理対象とする手の候補領域を設定し、マスク後深度データを得る。また、マスク部４０３は、マスク後深度データをモデル最適化部４０４に通知する。
【００３４】
なお、マスク部４０３は、終了判定部４０６よりマスク領域情報を取得していない場合には、特定部位深度データを（マスク処理することなく）モデル最適化部４０４に通知する。１回目の処理においては、終了判定部４０６よりマスク領域情報が通知されないため、マスク部４０３は、特定部位深度データを（マスク処理することなく）モデル最適化部４０４に通知する。図４に示すデータ４１３は、特定部位深度データをマスク処理することなくモデル最適化部４０４に通知したデータの一例である。
【００３５】
モデル最適化部４０４は特定部の一例である。モデル最適化部４０４は、マスク部４０３より通知された特定部位深度データまたはマスク後深度データに対して最適化処理を行い、最も類似する手指モデルを特定することで手の領域を認識する。
【００３６】
具体的には、モデル最適化部４０４は、手指モデル情報記憶部１２２より手指モデルを読み出し、特定部位深度データまたはマスク後深度データと対比する。
【００３７】
そして、モデル最適化部４０４は、特定部位深度データまたはマスク後深度データにおける、手指モデルの最適な位置、姿勢、各関節の角度を算出する。モデル最適化部４０４は、算出した手指モデルの最適な位置、姿勢、各関節の角度を、マスク領域算出部４０５に通知する。
【００３８】
なお、モデル最適化部４０４は、予め定義したコスト関数を用いて算出されるコストが最小となるように、手指モデルの最適な位置、姿勢、各関節の角度を算出する。コストとは、特定部位深度データまたはマスク後深度データに基づいて算出される、手指モデルの位置、姿勢、各関節の角度の確からしさ（手の候補領域に対する手指モデルの類似の度合い）を示すパラメータである。なお、コストが最小となるように、手指モデルの最適な位置、姿勢、各関節の角度を算出するにあたっては、関節の可動範囲を制約条件として付加してもよい。モデル最適化部４０４は、算出したコストもあわせてマスク領域算出部４０５に通知する。
【００３９】
図４に示すデータ４１４は、特定部位深度データに対して最適化処理を行った後の手指モデル４２０、４３０の位置、姿勢、各関節の角度を示している。特定部位深度データの場合、マスク処理が行われていないため、特定部位深度データには、手の領域だけでなく腕の領域も含まれている。このため、データ４１３に対して最適化処理が行われた場合、データ４１４に示すように、腕の領域の影響により腕の領域側に手指モデル４２０、４３０が引き寄せられ、実際の手の領域からはずれた位置に手指モデルが配置されることになる。
【００４０】
マスク領域算出部４０５は算出部の一例である。マスク領域算出部４０５は、モデル最適化部４０４から取得した、手指モデル４２０、４３０の位置、姿勢、各関節の角度、及び、コストを終了判定部４０６に通知する。
【００４１】
また、マスク領域算出部４０５は、モデル最適化部４０４が、特定部位深度データに対して最適化処理を行った後の手指モデル４２０、４３０の位置、姿勢、各関節の角度に基づいて、特定部位深度データにおける、腕の領域を含む領域（マスク領域）を算出する。更に、マスク領域算出部４０５は、算出したマスク領域を示すマスク領域情報を終了判定部４０６に通知する。
【００４２】
終了判定部４０６は、マスク領域算出部４０５より、手指モデル４２０、４３０の位置、姿勢、各関節の角度、コスト、マスク領域情報を取得する。また、終了判定部４０６は、マスク領域算出部４０５より取得したコストまたはマスク領域情報に基づいて、モデル最適化部４０４による最適化処理を継続するか終了するかを判定する。
【００４３】
終了すると判定した場合、終了判定部４０６は、取得した手指モデル４２０、４３０の位置、姿勢、各関節の角度を、手認識結果として出力する。一方、継続すると判定した場合、終了判定部４０６は、取得したマスク領域情報をマスク部４０３に通知する。
【００４４】
これにより、マスク部４０３は、特定部位深度データに対してマスク処理を行い、マスク後深度データを得る。図４に示すデータ４１３’は、マスク領域情報に基づいて、データ４１２に対してマスク処理を行うことで得たマスク後深度データの一例である。
【００４５】
なお、データ４１３’は、モデル最適化部４０４に通知され、モデル最適化部４０４において最適化処理が行われる。図４に示すデータ４１４’は、データ４１３’に対して、最適化処理が行われた後の手指モデル４２０、４３０の位置、姿勢、各関節の角度を示している。
【００４６】
このように、第１の実施形態における手認識処理部１２１は、手指モデル４２０、４３０の最適化処理を行った後にマスク領域算出処理を行い、マスク領域情報を算出する。また、第１の実施形態における手認識処理部１２１は、算出したマスク領域情報に基づいてマスク処理することで得たマスク後深度データに対して、再び、手指モデル４２０、４３０の最適化処理を行う。
【００４７】
つまり、第１の実施形態における手認識処理部１２１では、最適化処理、マスク領域算出処理、マスク処理を再帰的に実行する。これにより、手指モデル４２０、４３０の最適化処理が行われるごとに、特定部位深度データから腕の領域が徐々に除外されていき、手の領域が認識しなおされることになる。この結果、第１の実施形態における手認識処理部１２１によれば、手の領域を認識する際の認識精度を向上させることができる。
【００４８】
＜モデル最適化部による最適化処理の説明＞
次に、モデル最適化部４０４による最適化処理の詳細について説明する。図５は、モデル最適化部による最適化処理の詳細を示す図である。
【００４９】
図５において、データ５００は、特定部位深度データの一例であるデータ４１３の一部を拡大して示したものであり、データ５００内の各点は、被測定物までの距離を示す距離情報が割り当てられた画素を示している。
【００５０】
また、図５において、球４２０＿１〜４２０＿４は、手指モデル４２０の指（例えば、人差し指）の一部を示している。
【００５１】
図５に示すデータ５００と、球４２０＿１〜４２０＿４とを対比して、データ５００における球４２０＿１〜４２０＿４の位置、姿勢、各関節の角度等を算出するにあたり、モデル最適化部４０４は、下式に示すコスト関数に基づいてコストを算出する。
【００５２】
【数１】
2019039864.tif 000003
なお、上式において、第１項は、データ５００の各点と手指モデル４２０との２乗和を表している。具体的には、ｐは、データ５００内の各点（例えば、点５０１）を示している。また、ｓｘ（ｐ）は、ｐに最も近い球を示している。ｐ＝点５０１の場合、ｓｘ（ｐ）＝球４２０＿１となる。また、Ｄ（ｐ，ｓｘ（ｐ））２は、ｐに最も近い球とｐとの間の距離の２乗を示している。ｐ＝点５０１の場合、Ｄ（ｐ，ｓｘ（ｐ））２＝Ｌ１２となる。Ｄ（ｐ，ｓｘ（ｐ））２は、データ５００内に含まれるｐの個数に応じた個数分、算出されることになる。
【００５３】
また、上式において、第２項は、各球と点との２乗和を表している。具体的には、ｃｉは、各球の中心座標（例えば、球４２０＿１内の黒丸の平面上の位置）を示している。また、Ｄは、データ５００の各点（例えば、点５０２）の平面上の位置を示している。ｃｉ＝球４２０＿１内の黒丸の平面上の位置、Ｄ＝点５０２の平面上の位置であった場合、Ｂ（ｃ１，Ｄ）２＝ｌ１２となる。Ｂ（ｃｉ，Ｄ）２は、データ５００内に含まれる１つのＤに対して、球の個数分、算出されることになる。
【００５４】
また、上式において、第３項は、球同士の重なり距離の２乗和を表している。具体的には、Ｌ（ｓｉ，ｓｊ）２は、２つの球の中心間距離と、２つの球の半径の和との差の２乗を示している。図５の例では、球４２０＿１と球４２０＿２との中心間距離はｄ１２であるため、球４２０＿１の半径をｒ１、球４２０＿２の半径をｒ２とすると、Ｌ（ｓ１，ｓ２）２は、（ｄ１２−（ｒ１＋ｒ２））２となる。なお、２つの球の中心間距離よりも、２つの球の半径の和の方が小さい場合には、Ｌ（ｓｉ，ｓｊ）２は０として扱う。
【００５５】
モデル最適化部４０４が最適化処理を行うことで、モデル最適化部４０４は、マスク領域算出部４０５に対して、手認識結果５１０を出力する。図５に示すように、手認識結果５１０には、情報の項目として、“手指モデル”、“位置”、“姿勢”、“関節角度”が含まれる。
【００５６】
“手指モデル”には、最適化処理に用いられた手指モデル４２０を識別するための識別子が格納される。“位置”には、最適化処理を行うことでコストが最小となった際の手指モデル４２０の３次元空間における位置を示す座標が格納される。
【００５７】
“姿勢”には、最適化処理を行うことでコストが最小となった際の手指モデル４２０の３次元空間における姿勢が格納される。“関節角度”には、更に、“関節１”〜“関節ｍ”が含まれ、“関節１”〜“関節ｍ”には、最適化処理を行うことでコストが最小となった際の、手指モデル４２０を形成する各関節の角度が格納される。
【００５８】
＜マスク領域算出部によるマスク領域算出処理及びマスク部によるマスク処理の説明＞
次に、マスク領域算出部４０５によるマスク領域算出処理及びマスク部４０３によるマスク処理の詳細について説明する。図６、図７は、マスク領域算出部によるマスク領域算出処理及びマスク部によるマスク処理の詳細を示す第１及び第２の図である。
【００５９】
このうち、図６（ａ）のデータ６００は、特定部位深度データに対して最適化処理が行われた場合のデータ４１４（図４）の一部を拡大して示したものである。マスク領域算出部４０５は、データ６００に基づいてマスク領域を算出する。
【００６０】
具体的には、マスク領域算出部４０５は、まず、図６（ｂ）に示すように、データ６００内において、手指モデル４２０の手首を示す点６０１の位置を特定する。続いて、マスク領域算出部４０５は、手指モデル４２０の中指の付け根を示す点６０２の位置を特定する。更に、マスク領域算出部４０５は、点６０１の位置を始点とし点６０２の位置を終点とするベクトルｖ０を算出する。
【００６１】
続いて、マスク領域算出部４０５は、図６（ｃ）に示すように、点６０１の位置を始点とし、データ６００上の任意の複数の点の位置を終点とする複数方向のベクトルを算出する。例えば、マスク領域算出部４０５は、データ６００上の点６０１の位置を始点とし点６１０＿１の位置を終点とするベクトルｖ１を算出する。また、マスク領域算出部４０５は、データ６００上の点６０１の位置を始点とし点６１０＿２の位置を終点とするベクトルｖ２を算出する。また、マスク領域算出部４０５は、データ６００上の点６０１の位置を始点とし点６１０＿３の位置を終点とするベクトルｖ３を算出する。以下、同様に、マスク領域算出部４０５は、データ６００上の点６０１の位置を始点としｎ個の点それぞれの位置を終点とするｎ個のベクトルを算出する。
【００６２】
続いて、マスク領域算出部４０５は、算出したｎ個のベクトルそれぞれと、ベクトルｖ０との内積を算出する。ベクトルｖ０との内積が０以上となるベクトルによって特定される点は、点６０１よりも指先側に位置している点である。一方、ベクトルｖ０との内積が０より小さいベクトルによって特定される点は、点６０１よりも腕側に位置している点である。
【００６３】
そこで、マスク領域算出部４０５は、ベクトルｖ０との内積が０より小さいベクトルによって特定される点が位置する領域を、マスク領域に決定する。図６（ｃ）のデータ６００において、直線６２０より上側の領域は、ベクトルｖ０との内積が０以上となるベクトルによって特定される点が位置する領域である。一方、直線６２０より下側の領域は、ベクトルｖ０との内積が０より小さいベクトルによって特定される点が位置する領域（つまり、マスク領域）である。マスク領域を示すマスク領域情報は、終了判定部４０６を介してマスク部４０３に通知される。
【００６４】
図６（ｄ）は、通知されたマスク領域６３０に基づいて、マスク部４０３が、データ６００に対してマスク処理を行った様子を示している。
【００６５】
なお、上述したとおり、マスク領域６３０がマスクされた後のマスク後深度データに対しては、モデル最適化部４０４において再び最適化処理が行われる。
【００６６】
図７（ａ）のデータ７００は、マスク後深度データに対して最適化処理が行われた場合のデータ４１４’（図４）の一部を拡大して示したものである。マスク領域算出部４０５は、データ７００に基づいて、再び、マスク領域を算出する。
【００６７】
具体的には、マスク領域算出部４０５は、まず、図７（ｂ）に示すように、データ７００内において、手指モデル４２０の手首を示す点７０１の位置を特定する。続いて、マスク領域算出部４０５は、手指モデル４２０の中指の付け根を示す点７０２の位置を特定する。更に、マスク領域算出部４０５は、点７０１の位置を始点とし点７０２の位置を終点とするベクトルｖ０を算出する。
【００６８】
続いて、マスク領域算出部４０５は、図７（ｃ）に示すように、点７０１の位置を始点とし、データ７００上の任意の点の位置を終点とするベクトルを算出する。例えば、マスク領域算出部４０５は、データ７００上の点７０１の位置を始点とし点７１０＿１の位置を終点とするベクトルｖ１を算出する。また、マスク領域算出部４０５は、データ７００上の点７０１の位置を始点とし点７１０＿２の位置を終点とするベクトルｖ２を算出する。また、マスク領域算出部４０５は、データ７００上の点７０１の位置を始点とし点７１０＿３の位置を終点とするベクトルｖ３を算出する。以下、同様に、マスク領域算出部４０５は、データ７００上の点７０１の位置を始点としｎ個の点それぞれの位置を終点とするｎ個のベクトルを算出する。
【００６９】
続いて、マスク領域算出部４０５は、算出したｎ個のベクトルそれぞれと、ベクトルｖ０との内積を算出する。ベクトルｖ０との内積が０以上となるベクトルによって特定される点は、点７０１よりも指先側に位置している点である。一方、ベクトルｖ０との内積が０より小さいベクトルによって特定される点は、点７０１よりも腕側に位置している点である。
【００７０】
そこで、マスク領域算出部４０５は、ベクトルｖ０との内積が０より小さいベクトルによって特定される点が位置する領域を、マスク領域に決定する。図７（ｃ）のデータ７００において、直線７２０より上側の領域は、ベクトルｖ０との内積が０以上となるベクトルによって特定される点が位置する領域である。一方、直線７２０より下側の領域は、ベクトルｖ０との内積が０より小さいベクトルによって特定される点が位置する領域（マスク領域）である。マスク領域を示すマスク領域情報は、終了判定部４０６を介してマスク部４０３に通知される。
【００７１】
図７（ｄ）は、通知されたマスク領域７３０に基づいて、マスク部４０３が、データ７００に対してマスク処理を行った様子を示している。
【００７２】
なお、上述したとおり、マスク領域７３０がマスクされた後のマスク後深度データに対しては、モデル最適化部４０４において再び最適化処理が行われる。
【００７３】
＜終了判定部における終了判定処理の説明＞
次に、終了判定部４０６における終了判定処理の詳細について説明する。図８〜図１０は、終了判定部による終了判定処理の流れを示す第１〜第３のフローチャートである。図８〜図１０に示すように、第１の実施形態において、終了判定部４０６が実行可能な終了判定処理は５種類ある。以下、５種類の終了判定処理について説明する。
【００７４】
（１）終了判定処理のフローチャート（その１）
図８（ａ）は、終了判定処理の流れを示すフローチャート（その１）である。手認識処理部１２１が起動し、図８（ａ）に示す終了判定処理が選択されることで、図８（ａ）に示す終了判定処理が実行される。
【００７５】
ステップＳ８０１において、終了判定部４０６は、マスク領域算出部４０５より、手指モデルの位置、姿勢、各関節の角度、コスト、マスク領域情報を取得する。
【００７６】
ステップＳ８０２において、終了判定部４０６は、取得したコストが所定の基準を満たすか否か（所定の閾値以下であるか否か）を判定する。ステップＳ８０２において、所定の閾値以下でないと判定した場合には（ステップＳ８０２においてＮｏの場合には）、ステップＳ８０４に進む。ステップＳ８０４において、終了判定部４０６は、取得したマスク領域情報を、マスク部４０３に通知する。
【００７７】
一方、ステップＳ８０２において、所定の閾値以下であると判定した場合には（ステップＳ８０２においてＹｅｓの場合には）、十分なコストが得られたと判断し、ステップＳ８０３に進む。ステップＳ８０３において、終了判定部４０６は、取得した手指モデルの位置、姿勢、各関節の角度を、手認識結果として出力する。
【００７８】
（２）終了判定処理のフローチャート（その２）
図８（ｂ）は、終了判定処理の流れを示すフローチャート（その２）である。手認識処理部１２１が起動し、図８（ｂ）に示す終了判定処理が選択されることで、図８（ｂ）に示す終了判定処理が実行される。
【００７９】
ステップＳ８０１において、終了判定部４０６は、マスク領域算出部４０５より、手指モデルの位置、姿勢、各関節の角度、コスト、マスク領域情報を取得する。
【００８０】
ステップＳ８１１において、終了判定部４０６は、今回取得したコストと前回取得したコストとに基づいてコストの変化を算出し、算出したコストの変化が所定の基準を満たすか否かを判定する。具体的には、終了判定部４０６は、今回取得したコストが前回取得したコストよりも大きくなっていないと判定した場合には（ステップＳ８１１においてＮｏの場合には）、ステップＳ８０４に進む。ステップＳ８０４において、終了判定部４０６は、取得したマスク領域情報を、マスク部４０３に通知する。
【００８１】
一方、ステップＳ８１１において、今回取得したコストが前回取得したコストよりも大きくなっていると判定した場合には（ステップＳ８１１においてＹｅｓの場合には）、これ以上処理を繰り返してもコストが小さくならないと判断し、ステップＳ８１２に進む。ステップＳ８１２において、終了判定部４０６は、前回取得した取得した手指モデルの位置、姿勢、各関節の角度を、手認識結果として出力する。
【００８２】
（３）終了判定処理のフローチャート（その３）
図８（ｃ）は、終了判定処理の流れを示すフローチャート（その３）である。手認識処理部１２１が起動し、図８（ｃ）に示す終了判定処理が選択されることで、図８（ｃ）に示す終了判定処理が実行される。
【００８３】
ステップＳ８０１において、終了判定部４０６は、マスク領域算出部４０５より、手指モデルの位置、姿勢、各関節の角度、コスト、マスク領域情報を取得する。
【００８４】
ステップＳ８２１において、終了判定部４０６は、今回取得したマスク領域情報と前回取得したマスク領域情報とに基づいて、マスク領域の変化量を算出し、変化量が所定の基準を満たすか否かを判定する。具体的には、終了判定部４０６は、算出したマスク領域の変化量が所定の閾値未満になったか否かを判定する。
【００８５】
ステップＳ８２１において、所定の閾値未満になっていないと判定した場合には（ステップＳ８２１においてＮｏの場合には）、ステップＳ８０４に進む。ステップＳ８０４において、終了判定部４０６は、取得したマスク領域情報を、マスク部４０３に通知する。
【００８６】
一方、ステップＳ８２１において、所定の閾値未満になっていると判定した場合には（ステップＳ８２１においてＹｅｓの場合には）、コストが収束したと判断し、ステップＳ８０３に進む。ステップＳ８０３において、終了判定部４０６は、取得した手指モデルの位置、姿勢、各関節の角度を、手認識結果として出力する。
【００８７】
（４）終了判定処理のフローチャート（その４）
図９は、終了判定処理の流れを示すフローチャート（その４）である。手認識処理部１２１が起動し、図９に示す終了判定処理が選択されることで、図９に示す終了判定処理が実行される。なお、図９に示す終了判定処理は、図８（ａ）〜（ｃ）に示す終了判定処理を組み合わせたものであるため、ここでは、組み合わせ内容について説明する。
【００８８】
図９に示す終了判定処理の場合、今回取得したコストが所定の閾値以下でなかったとしても（ステップＳ８０２においてＮｏの場合でも）、前回取得したコストよりも大きくなっている場合には、これ以上処理を繰り返してもコストが小さくならないと判断する。この場合（ステップＳ８１１においてＹｅｓの場合）、終了判定部４０６は、ステップＳ８０３に進む。これにより、終了判定部４０６は、前回取得した手指モデルの位置、姿勢、各関節の角度を、手認識結果として出力する。
【００８９】
また、図９に示す終了判定処理の場合、今回取得したコストが前回取得したコストより大きくなっていない場合でも（ステップＳ８１１においてＮｏの場合でも）、終了判定部４０６は、ステップＳ８２１において、マスク領域の変化量を判定する。そして、終了判定部４０６は、マスク領域の変化量が所定の閾値未満の場合には、コストが収束したと判断し、ステップＳ８０３に進む。これにより、終了判定部４０６は、今回取得した手指モデルの位置、姿勢、各関節の角度を、手認識結果として出力する。
【００９０】
（５）終了判定処理のフローチャート（その５）
図１０は、終了判定処理の流れを示すフローチャート（その５）である。手認識処理部１２１が起動し、図１０に示す終了判定処理が選択されることで、図１０に示す終了判定処理が実行される。なお、図１０に示す終了判定処理も、図８（ａ）〜（ｃ）に示す終了判定処理を組み合わせたものであるため、ここでは、組み合わせ内容について説明する。
【００９１】
図１０に示す終了判定処理の場合、今回取得したコストが所定の閾値以下でない場合（ステップＳ８０２においてＮｏの場合）でも、前回取得したコストよりも大きくなっている場合（ステップＳ８１１においてＹｅｓの場合）には、ステップＳ８２１に進む。
【００９２】
そして、マスク領域の変化量が、所定の閾値未満の場合には（ステップＳ８２１においてＹｅｓの場合には）、ステップＳ８０３に進む。このように、終了判定部４０６は、これ以上処理を繰り返してもコストが小さくならないと判断し、かつ、コストが収束したと判断した場合には、今回取得した手指モデルの位置、姿勢、各関節の角度を、手認識結果として出力する。
【００９３】
反対に、今回取得したコストが所定の閾値以下であったとしても（ステップＳ８０２においてＹｅｓの場合でも）、マスク領域の変化量が所定の閾値以上の場合には、更に、コストを小さくできると判断し、ステップＳ８０４に進む。
【００９４】
以上の説明から明らかなように、第１の実施形態における手認識システムは、深度データと手指モデルとを対比し、手指モデルの最適な位置、姿勢、各関節の角度を算出する最適化処理を行うことで手の領域を認識する。また、第１の実施形態における手認識システムは、認識した手の領域に基づいて腕の領域を含むマスク領域を算出し、算出したマスク領域に基づいて、深度データをマスクするマスク処理を行う。そして、第１の実施形態における手認識システムは、マスク処理後の深度データに対して、再び、最適化処理を行うことで手の領域を認識しなおす。
【００９５】
このように、第１の実施形態における手認識システムでは、最適化処理、マスク領域算出処理及びマスク処理を再帰的に実行する。これにより、第１の実施形態における手認識システムによれば、測定対象者の手首にリストバンドを装着させることなく、あるいは、センサの角度や測定対象者が着用する衣類の種類によらずに、深度データから腕の領域を徐々に除外していくことが可能になる。
【００９６】
この結果、第１の実施形態における手認識システムによれば、深度データから手の領域を認識する際の、認識精度を向上させることができる。
【００９７】
［第２の実施形態］
上記第１の実施形態では、深度データに対して最適化処理、マスク領域算出処理及びマスク処理を再帰的に実行し、深度データから腕の領域を徐々に除外していくことで、高い認識精度を実現するものとして説明した。これに対して、第２の実施形態では、１回目の最適化処理の結果に基づいて算出するマスク領域を広くとることで、最適化処理、マスク領域算出処理及びマスク処理を繰り返す際の繰り返し回数を減らす。以下、第２の実施形態について、第１の実施形態との相違点を中心に説明する。
【００９８】
図１１は、マスク領域算出部によるマスク領域算出処理及びマスク部によるマスク処理の詳細を示す第３の図である。このうち、図１１（ａ）のデータ６００は、特定部位深度データに対して最適化処理が行われた場合のデータ４１４（図４）の一部を拡大して示したものである。
【００９９】
第２の実施形態において、マスク領域算出部４０５は、まず、データ６００上において、手指モデル４２０の中指の先端を示す点１１０１の位置を特定する。続いて、マスク領域算出部４０５は、図１１（ｂ）に示すように、データ６００上において、手の領域の先端を示す点１１０２を抽出する。なお、マスク領域算出部４０５は、例えば、データ６００上の各点のうち、手指モデル４２０と近接する各点と同一物体の領域を識別し、識別した領域の端部の点を、点１１０２として抽出する。
【０１００】
更に、マスク領域算出部４０５は、図１１（ｃ）に示すように、手指モデル４２０の中指の先端を示す点１１０１が、手の領域の先端を示す点１１０２に一致するように、データ６００内において、手指モデル４２０を平行移動させる。
【０１０１】
続いて、マスク領域算出部４０５は、図１１（ｄ）に示すように、平行移動後の手指モデル４２０の手首を示す点１１１１の位置を特定する。また、マスク領域算出部４０５は、手指モデル４２０の中指の付け根を示す点１１１２の位置を特定する。更に、マスク領域算出部４０５は、点１１１１の位置を始点とし点１１１２の位置を終点とするベクトルｖ０を算出する。
【０１０２】
続いて、マスク領域算出部４０５は、図１１（ｅ）に示すように、点１１１１の位置を始点としデータ６００上の任意の点の位置を終点とするベクトルを算出する。例えば、マスク領域算出部４０５は、データ６００上の点１１１１の位置を始点とし点１１２０＿１の位置を終点とするベクトルｖ１を算出する。また、マスク領域算出部４０５は、データ６００上の点１１１１の位置を始点とし点１１２０＿２の位置を終点とするベクトルｖ２を算出する。また、マスク領域算出部４０５は、データ６００上の点１１１１の位置を始点とし点１１２０＿３の位置を終点とするベクトルｖ３を算出する。以下、同様に、マスク領域算出部４０５は、データ６００上の点１１１１の位置を始点としｎ個の点それぞれの位置を終点とするｎ個のベクトルを算出する。
【０１０３】
続いて、マスク領域算出部４０５は、算出したｎ個のベクトルそれぞれと、ベクトルｖ０との内積を算出する。図１１（ｅ）のデータ６００において、直線１１３０より上側の領域はベクトルｖ０との内積が０以上となるベクトルによって特定される点が位置する領域である。一方、直線１１３０より下側の領域はベクトルｖ０との内積が０より小さいベクトルによって特定される点が位置する領域（つまり、マスク領域）である。
【０１０４】
図１１（ｆ）は、マスク領域算出部４０５によって算出されたマスク領域１１４０に基づいて、マスク部４０３が、データ６００をマスク処理した様子を示している。
【０１０５】
このように、第２の実施形態における手認識システムは、１回目の最適化処理の結果に対して、手指モデル４２０を平行移動させたうえでマスク領域を算出することで、第１の実施形態と比較して、マスク領域を広くとることができる。
【０１０６】
この結果、第２の実施形態における手認識システムによれば、最適化処理、マスク領域算出処理及びマスク処理を繰り返す際の繰り返し回数を減らすことが可能になる。
【０１０７】
［その他の実施形態］
上記第１及び第２の実施形態では、手指モデル４２０の手首を示す点の位置を始点とし、中指の付け根を示す点の位置を終点とするベクトルを算出することで、ベクトルｖ０を算出した。しかしながら、ベクトルｖ０の算出方法はこれに限定されず、例えば、手指モデル４２０の手首を示す点の位置を始点とし、他の指（例えば、人差し指）の付け根を示す点の位置を終点とするベクトルを算出することで、ベクトルｖ０を算出するようにしてもよい。
【０１０８】
また、上記第１及び第２の実施形態では、主に、測定対象者の右手を例に最適化処理、マスク領域算出処理及びマスク処理を説明したが、測定対象者の左手についての最適化処理、マスク領域算出処理及びマスク処理も同様である。
【０１０９】
また、上記第１及び第２の実施形態では、複数種類の手指モデルのうち、所定の１種類の手指モデルについて最適化処理を行うものとして説明したが、複数種類の手指モデルそれぞれについて最適化処理を行うようにしてもよい。この場合、モデル最適化部４０４では、複数種類の手指モデルのうち、最終的に、コストが最小の手指モデルを選択するものとする。
【０１１０】
また、上記第１及び第２の実施形態では、最適化処理を行うにあたり、手指モデルの大きさを固定としたが、手指モデルの大きさを拡縮しながら、最適化処理を行うようにしてもよい。これにより、大きさの異なる手指モデルを複数種類用意する必要がなくなるといった利点がある。
【０１１１】
また、上記第１及び第２の実施形態では、最適化処理を行うにあたり、手指モデルの位置、姿勢、各関節の角度を変えながらコストを算出するものとして説明した。しかしながら、予め、位置、姿勢、各関節の角度を変えた複数の手指モデルを手指モデル情報記憶部１２２に記憶しておき、最適化処理の際、それぞれの手指モデルを読み出して、コストを算出するようにしてもよい。
【０１１２】
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
取得した深度データから処理対象とする手の候補領域を抽出し、
前記処理対象とする手の候補領域に対して最も類似する手指モデルを特定し、
前記処理対象とする手の候補領域に対して特定した前記手指モデルの類似の度合いが、所定の基準を満たさない場合に、特定した前記手指モデルにおける手首の位置を始点とし指の付け根の位置を終点とするベクトルに基づいて特定される腕の領域を除くことで、前記処理対象とする手の候補領域内において、新たな処理対象とする手の候補領域を設定し、
前記新たな処理対象とする手の候補領域を用いて、前記特定する処理と前記設定する処理とを再帰的に行う
処理をコンピュータが実行することを特徴とする手認識方法。
（付記２）
特定した前記手指モデルにおける手首の位置を始点とする任意の複数方向を指す複数のベクトルと、特定した前記手指モデルにおける手首の位置を始点とし指の付け根の位置を終点とするベクトルとの間で、それぞれ内積を算出し、算出した内積の値に基づいて前記腕の領域を特定する、ことを特徴とする付記１に記載の手認識方法。
（付記３）
前記処理対象とする手の候補領域に対して、前記手指モデルの位置、姿勢及び該手指モデルの各関節の角度を算出することで、前記処理対象とする手の候補領域に最も類似する手指モデルを特定することを特徴とする付記１または２に記載の手認識方法。
（付記４）
前記任意の複数方向を指す複数のベクトルのうち、算出した内積の値が０より小さいベクトルによって特定される点が位置する領域を、前記処理対象とする手の候補領域内における前記腕の領域として特定することを特徴とする付記２に記載の手認識方法。
（付記５）
前記手指モデルの位置、姿勢及び該手指モデルの各関節の角度についての確からしさを示すパラメータを算出し、
前記特定する処理と前記設定する処理とを再帰的に行い、算出した該パラメータが所定の閾値以下となった際の、前記手指モデルの位置、姿勢及び該手指モデルの各関節の角度を、手の領域の認識結果として出力することを特徴とする付記３に記載の手認識方法。
（付記６）
前記手指モデルの位置、姿勢及び該手指モデルの各関節の角度についての確からしさを示すパラメータを算出し、
前記特定する処理と前記設定する処理とを再帰的に行い、前記パラメータの変化が所定の基準を満たす場合に、変化する前のパラメータが算出された際の、前記手指モデルの位置、姿勢及び該手指モデルの各関節の角度を、手の領域の認識結果として出力することを特徴とする付記３に記載の手認識方法。
（付記７）
前記特定する処理と前記設定する処理とを再帰的に行い、前記新たな処理対象とする手の候補領域の変化量が、所定の基準を満たした際の、前記手指モデルの位置、姿勢及び該手指モデルの各関節の角度を、手の領域の認識結果として出力することを特徴とする付記３に記載の手認識方法。
（付記８）
取得した深度データから処理対象とする手の候補領域を抽出し、
前記処理対象とする手の候補領域に対して最も類似する手指モデルを特定し、
前記処理対象とする手の候補領域に対して特定した前記手指モデルの類似の度合いが、所定の基準を満たさない場合に、特定した前記手指モデルにおける手首の位置を始点とし指の付け根の位置を終点とするベクトルに基づいて特定される腕の領域を除くことで、前記処理対象とする手の候補領域内において、新たな処理対象とする手の候補領域を設定し、
前記新たな処理対象とする手の候補領域を用いて、前記特定する処理と前記設定する処理とを再帰的に行う
処理をコンピュータに実行させるための手認識プログラム。
（付記９）
取得した深度データから処理対象とする手の候補領域を抽出する抽出部と、
前記処理対象とする手の候補領域に対して最も類似する手指モデルを特定する特定部と、
前記処理対象とする手の候補領域に対して特定した前記手指モデルの類似の度合いが、所定の基準を満たさない場合に、特定した前記手指モデルにおける手首の位置を始点とし指の付け根の位置を終点とするベクトルに基づいて特定される腕の領域を除くことで、前記処理対象とする手の候補領域内において、新たな処理対象とする手の候補領域を設定する設定部と、を有し、
前記新たな処理対象とする手の候補領域を用いて、前記特定する処理と前記設定する処理とを再帰的に行うことを特徴とする情報処理装置。
【０１１３】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１１４】
１００              ：手認識システム
１１０              ：深度センサ
１２０              ：情報処理装置
１２１              ：手認識処理部
２００              ：手指モデル情報
４０１              ：深度データ取得部
４０２              ：部位抽出部
４０３              ：マスク部
４０４              ：モデル最適化部
４０５              ：マスク領域算出部
４０６              ：終了判定部
４２０、４３０      ：手指モデル
６３０、７３０      ：マスク領域
１１４０            ：マスク領域
【図１】
2019039864.tif 000004
【図２】
2019039864.tif 000005
【図３】
2019039864.tif 000006
【図４】
2019039864.tif 000007
【図５】
2019039864.tif 000008
【図６】
2019039864.tif 000009
【図７】
2019039864.tif 000010
【図８】
2019039864.tif 000011
【図９】
2019039864.tif 000012
【図１０】
2019039864.tif 000013
【図１１】
2019039864.tif 000014