(57)【要約】【課題】  照明変動や背景色に依存せずにユーザの手指の位置を正確に特定することが可能となる画像処理装置を提供する。【解決手段】  画像処理装置は、ユーザの第１部位と第２部位を含む画像を取得する取得部と、当該画像に含まれる第１部位の候補となる第１候補群と、第２部位の候補となる第２候補群を検出する検出部を備える。更に、当該画像処理装置は、第１部位と第２部位の生体的位置関係に基づいて、第１候補群と第２候補群から第１部位または第２部位を選定する選定部を備える。【選択図】図１
2014194685.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの第１部位と第２部位を含む画像を取得する取得部と、
前記画像に含まれる前記第１部位の候補となる第１候補群と、前記第２部位の候補となる第２候補群を検出する検出部と、
前記第１部位と前記第２部位の生体的位置関係に基づいて、前記第１候補群と前記第２候補群から前記第１部位または前記第２部位を選定する選定部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１部位の特徴量を予め抽出した第１特徴量モデルと、前記第２部位の特徴量を予め抽出した第２特徴量モデルを記憶する記憶部を更に備え、
前記検出部は、
前記第１特徴量モデルとの類似度が、所定の第１閾値以上の前記画像に含まれる物体を前記第１候補群として検出し、
前記第２特徴量モデルとの類似度が、所定の第２閾値以上の前記画像に含まれる物体を前記第２候補群として検出する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記生体的位置関係は、前記第１部位の一端と前記第２部位の外縁が、連接点において可動状態で連接していることを特徴とする請求項１または請求項２記載の画像処理装置。
【請求項４】
前記記憶部は、前記第１部位の所定の基準位置に対して前記第２部位が検出され得る、前記生体的位置関係に基づいた検索領域データを記憶しており、
前記選定部は、前記検索領域データに基づいて、前記第１候補群と前記第２候補群から前記第１部位と前記第２部位を選定することを特徴とする請求項２または請求項３記載の画像処理装置。
【請求項５】
前記第１部位は手指であり、前記第２部位は手背または手掌であることを特徴とする請求項１ないし請求項４の何れか一項に記載の画像処理装置。
【請求項６】
前記選定部は、複数の前記第１部位の一端が前記第２部位の外縁に連接している場合は、前記第２部位にそれぞれ対応する前記第１部位として、前記複数の前記第１部位を選定することを特徴とする請求項１ないし請求項３の何れか一項に記載の画像処理装置。
【請求項７】
ユーザの第１部位と第２部位を含む画像を取得し、
前記画像に含まれる前記第１部位の候補となる第１候補群と、前記第２部位の候補となる第２候補群を検出し、
前記第１部位と前記第２部位の生体的位置関係に基づいて、前記第１候補群と前記第２候補群から前記第１部位または前記第２部位を選定すること
を含むことを特徴とする画像処理方法。
【請求項８】
コンピュータに、
ユーザの第１部位と第２部位を含む画像を取得し、
前記画像に含まれる前記第１部位の候補となる第１候補群と、前記第２部位の候補となる第２候補群を検出し、
前記第１部位と前記第２部位の生体的位置関係に基づいて、前記第１候補群と前記第２候補群から前記第１部位または前記第２部位を選定すること
を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、ユーザの手指の検知に用いる画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
従来から、プロジェクタを用いて文書画像を投影する方法が用いられている。近年においては、投影された投影画像に対してインタラクション操作を行うことで、ユーザの作業支援を実現させる為の技術も開発されている。例えば、投影画像に含まれる任意の単語を手指で示した場合、当該単語に関連付けられた注釈などを提示する拡張現実感（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ：ＡＲ）技術が開示されている。
【０００３】
上述のインターフェースでは、任意の場所に固定されたカメラ、または自由に移動が可能なカメラを用いて、ユーザの手指の位置を正確に特定することが必要となる。手指の位置を特定する方法として、例えば、撮像画像から、例えば肌色の色成分（色特徴量）を抽出することで、手領域輪郭を抽出し、当該手領域輪郭から手指の位置を特定する技術が開示されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Survey on Skin Tone Detection using Color Spaces, C. Prema et al., International Journal of Applied Information Systems 2(2):18-26, May 2012. Published by Foundation of Computer Science, New York, USA.
【非特許文献２】Skin Detection - a Short Tutorial, Ahmed et al., Encyclopedia of Biometrics by Springer-Verlag Berlin Heidelberg 2009.
【非特許文献３】A survey of skin-color modeling and detection methods, Kakumanu et al., Pattern Recognition, Volume 40, Issue 3, March 2007, Pages 1106-1122
【非特許文献４】A Survey on Pixel-Based Skin Color Detection Techniques, Vladimir et al., IN PROC. GRAPHICON-2003.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、色特徴量を用いたユーザの手指の位置を検出する技術においては、投影画像が投影される壁面または紙面の背景が肌色の場合は、手指の位置の特定が困難となる。また、色特徴量は照明環境によっても大きく特徴量が変動する問題が存在する。この様な状況から、照明変動や背景色に依存せずにユーザの手指の位置を正確に特定する画像処理装置は提唱されていない。本発明は、照明変動や背景色に依存せずにユーザの手指の位置を正確に特定する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明が開示する画像処理装置は、ユーザの第１部位と第２部位を含む画像を取得する取得部と、当該画像に含まれる第１部位の候補となる第１候補群と、第２部位の候補となる第２候補群を検出する検出部を備える。更に、当該画像処理装置は、第１部位と第２部位の生体的位置関係に基づいて、第１候補群と第２候補群から第１部位または第２部位を選定する選定部を備える。
【０００７】
なお、本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。
【発明の効果】
【０００８】
本明細書に開示される画像処理装置では、少数の手特徴モデルでユーザの手指の位置を正確に特定することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】一つの実施形態による画像処理装置１の機能ブロック図である。
【図２】第１特徴量モデルのポジティブ画像の概念図である。
【図３】第１特徴量モデルのデータ構造の一例を示すテーブルである。
【図４】第２特徴量モデルのポジティブ画像の概念図である。
【図５】第２特徴量モデルのデータ構造の一例を示すテーブルである。
【図６】取得部２が取得する画像と、当該画像から検出された第１候補群の概念図である。
【図７】検索領域データのデータ構造の一例を示すテーブルである。
【図８】（ａ）は、１つの第１候補群に対する角度範囲の検索領域の概念図である。（ｂ）は、１つの第１候補群に対するスケール範囲の検索領域の概念図である。
【図９】取得部２が取得する画像から選定部５が第１部位と第２部位を選定した概念図となる。
【図１０】画像処理装置１による画像処理のフローチャートである。
【図１１】一つの実施形態による画像処理装置１のハードウェア構成図である。
【発明を実施するための形態】
【００１０】
以下に、一つの実施形態による画像処理装置、画像処理方法及び画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は、開示の技術を限定するものではない。
【００１１】
（実施例１）
図１は、一つの実施形態による画像処理装置１の機能ブロック図である。画像処理装置１は、取得部２、検出部３、記憶部４、選定部５を有する。なお、画像処理装置１は、図示しない通信部を有しており、通信回線を介して様々な外部装置と双方向にデータの送受信を行うことによりネットワークリソースを用いることが可能である。
【００１２】
取得部２は、例えば、ワイヤードロジックによるハードウェア回路である。また、取得部２は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。取得部２は、外部装置が撮像する画像を受け取る。画像を撮像する外部装置は、例えば撮像素子である。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどの撮像デバイスである。また、撮像素子をＨＭＣ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｃａｍｅｒａ）として利用することも可能である。撮像素子は、例えば、ユーザの手を含む画像を撮像する。なお、撮像素子を、必要に応じて画像処理装置１に含めることも可能である。
取得部２は、取得した画像を検出部３に出力する。
【００１３】
検出部３は、例えば、ワイヤードロジックによるハードウェア回路である。また、検出部３は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。検出部３は、取得部２から画像を受け取り、当該画像に含まれるユーザの第１部位の候補となる第１候補群と、ユーザの第２部位の候補となる第２候補群を検出する。なお、第１部位は例えば手指であり、第２部位は例えば手の甲（手背と称しても良い）または手掌である。実施例１においては、第２部位の手の甲として説明する。なお、検出部３による検出処理の詳細については後述する。
【００１４】
記憶部４は、例えば、フラッシュメモリ（ｆｌａｓｈ  ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、光ディスクなどの記憶装置である。なお、記憶部４は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）であってもよい。
【００１５】
なお、記憶部４は、必ずしも画像処理装置１に含まれる必要はない。例えば当該各種データは、画像処理装置１に含まれる各機能部の図示しないキャッシュやメモリ等に記憶しても良い。また、画像処理装置１に設けられる図示しない通信部を用いて通信回線を介することによって、記憶部４を画像処理装置１以外の外部装置に設けることも可能である。
【００１６】
記憶部４には、例えば、第１部位の特徴量を予め抽出した第１特徴量モデルと、第２部位の特徴量を予め抽出した第２特徴量モデルが事前学習により予め記憶される。なお、第１特徴量モデルと第２特徴量モデルは、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）特徴量またはＬＢＰ（Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ）特徴量に基づいて生成することが出来る。実施例１においては、第１特徴量モデルと第２特徴量モデルを、ＨＯＧ特徴量に基づいて生成するものとして説明する。なお、事前学習は、例えば、対象物（第１部位または第２部位）が撮像された画像（ポジティブ画像）と、対象物が撮像されていない画像（ネガティブ画像）を用いて実施され、ＡｄａｂｏｏｓｔやＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）等の様々な公知の手法を用いることが可能である。また、ＨＯＧ特徴量の抽出方法は、例えば、「Navneet et al., Histograms ｏｆ Oriented Gradients for Human Detection, 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05)」に開示される方法を用いることが出来る。
【００１７】
図２は、第１特徴量モデルのポジティブ画像の概念図である。図２のポジティブ画像においては、例えば、左上端が原点として設定され、横方向がｘ座標、縦方向がｙ座標として規定されている。また、図２のポジティブ画像においては、任意の数のブロック数に区切られており、ユーザの第１部位となる手指が真直状態で撮像されている。なお、図２に示すポジティブ画像として、例えば、複数のユーザの第１部位や、照明条件や背景を変化させた複数のポジティブ画像を用いても良い。また、当該複数のポジティブ画像に対する事前学習の過程において、手指先の位置を規定の座標位置に一律的に定める様に設定しても良い。この場合、複数のポジティブ画像から抽出される何れの第１特徴量モデルを使用しても、実際に検出されるユーザの指先と、ポジティブ画像の指先位置を正確に適合することが可能となり、ユーザの手指先の位置を正確に特定出来る。更に、図２に示すポジティブ画像においては、手指付根位置が適宜設定される。手指付根位置は、例えば、画像下端付近に撮像される手指の中心位置に設定されれば良い。
【００１８】
図３は、第１特徴量モデルのデータ構造の一例を示すテーブルである。図３のテーブル３０には、手指付根位置、手指先位置、手指先方向、ＨＯＧ特徴量の項目が格納される。更に、ＨＯＧ特徴量の項目には、図２に示すブロックＮｏと、各ブロック内を、９分割した分割領域の勾配の強度の項目が格納されている。なお、勾配の強度は、例えば、１〜６４の値に正規化されている。手指付根位置と手指先位置の項目には図２で説明したｘ座標とｙ座標が格納される。手指先方向は、例えば、手指付根位置と手指先位置のｘ座標の差分に基づいて規定されれば良い。
【００１９】
図４は、第２特徴量モデルのポジティブ画像の概念図である。図４のポジティブ画像においては、例えば、左上端が原点として設定され、横方向がｘ座標、縦方向がｙ座標として規定されている。また、図４のポジティブ画像においては、任意の数のブロック数に区切られており、ユーザの第２部位となる手の甲が撮像されている。なお、図４に示すポジティブ画像として、例えば、複数のユーザの第２部位や、照明条件や背景を変化させた複数のポジティブ画像を用いても良い。なお、図４に示すポジティブ画像においては、手指付根位置が適宜設定される。手指付根位置は、例えば、手の甲と手指を連接する、何れかの手根骨の中心位置に設定されれば良い。
【００２０】
図５は、第２特徴量モデルのデータ構造の一例を示すテーブルである。図５のテーブル５０には、手指付根位置、手指先位置、ＨＯＧ特徴量の項目が格納される。テーブル５０において、手指先は、図４のポジティブ画像には撮像されない為、例えば、図３のテーブル３０に格納される手指先位置と手指付根位置のｙ座標の差分値（６０）を用いて、仮想的に設定されれば良い。この為、図５のテーブル５０において、手指先位置のｙ座標の値は負の値（−４０）となる。図５のテーブル５０におけるその他のデータ項目は、図３のテーブル３０と同様の為、詳細な説明は省略する。
【００２１】
図１の検出部３は、取得部２から受け取った画像からＨＯＧ特徴量を抽出し、記憶部４に記憶されている第１特徴量モデルのＨＯＧ特徴量と比較して、類似度が所定の第１閾値（例えば７０％）以上の、画像に含まれる物体を第１候補群として検出する。図６は、取得部２が取得する画像と、当該画像から検出された第１候補群の概念図である。図６において、取得部２が取得する画像には、ユーザの手、ペン、鍵、携帯電話ならびに封筒が撮像されている。実施例１においては、ユーザの手指、ペンの後端、鍵の先端、ならびに携帯電話のテンキー部分が、第１候補群として検出部３により検出されている。なお、検出部３は、第１候補群を検出する際に、ＨＯＧ特徴量に加えて、色特徴量を併用しても良い。検出部３は、色特徴量を併用することにより第１候補群の検出数を削除することが可能となる。また、検出部３は、取得部２から受け取った画像からＨＯＧ特徴量を抽出し、記憶部４に記憶されている第２特徴量モデルのＨＯＧ特徴量と比較して、類似度が所定の第２閾値（例えば７０％）以上の、画像に含まれる物体を第２候補群として検出する。なお、第２候補群の図示については省略する。
【００２２】
図１の選定部５は、例えば、ワイヤードロジックによるハードウェア回路である。また、選定部５は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。選定部５は、第１部位と第２部位の生体的位置関係に基づいて、第１候補群と第２候補群から第１部位または第２部位を選定する。
なお、生体的位置関係は、例えば、第１部位の一端と第２部位の外縁が、連接点において可動状態で連接していることを特徴とする。換言すると、生体的位置関係は、ユーザの手指の付根（連接点と称しても良い）と手の甲が連接している位置関係を指す。
【００２３】
ここで、図１の記憶部４は、第１部位の所定の基準位置に対して第２部位が検出され得る、生体的位置関係に基づいた検索領域データを更に記憶しているものとする。図７は、検索領域データのデータ構造の一例を示すテーブルである。図７のテーブル７０においては、例えば、基準位置、位置探索範囲、基準角度、角度探索範囲、基準スケール、スケール探索範囲の項目が格納される。図７のテーブル７０に示す各項目は、ユーザの手指と手の甲が連接している生体的位置関係に基づいて規定される。更に、図７のテーブル７０に示す各項目は、ユーザの手指と手の甲の相対的な可動域に基づいて設定される。これにより、様々な形状の手が撮像された場合においても頑健な手指位置の検出が可能となる。
【００２４】
図７のテーブル７０において、基準位置の項目は、手の甲に対して規定される基準位置であり、例えば、図５のテーブル５０の手指付根位置の座標が格納される。位置探索範囲の項目は、基準位置からの第１部位の探索範囲であり、ｘ方向とｙ方向にそれぞれ規定される。選定部５は、基準位置±位置探索範囲（２０±１０、２０±２０）の領域において、第２特徴群が検出されているかを判定する。
【００２５】
図７のテーブル７０において、基準角度の項目は、手の甲に対して規定される基準角度であり、例えば、図５のテーブルの手指付根位置と手指先位置のｘ座標の差分に基づいて規定されれば良い。図７のテーブル７０において、角度探索範囲の項目は、基準角度からの第１部位の探索範囲となる。図８（ａ）は、１つの第１候補群に対する角度範囲の検索領域の概念図である。図８（ａ）に示す通り、選定部５は、基準位置を基点とし、基準角度±角度探索範囲（０±２０）の領域において、第２特徴群が検出されているかを判定する。
【００２６】
図７のテーブル７０において、基準スケールの項目は、手の甲に対して規定される基準スケール（手の甲の大きさ）であり、例えば、図５のテーブルの手指付根位置と手指先位置のｙ座標の差分に基づいて規定されれば良い。スケール探索範囲の項目は、基準スケールからの探索範囲となり、例えば、最小値は基準スケールの０．７倍であり、最大値は基準助スケールの１．３倍であれば良い。図８（ｂ）は、１つの第１候補群に対するスケール範囲の検索領域の概念図である。図８（ｂ）に示す通り、選定部５は、基準位置を基点としたスケール探索範囲に、第２特徴群が検出されているかを判定する。
【００２７】
図１の選定部５は、例えば、検出部３が検出した第１候補群に対して、図７のテーブル７０を参照して、検索領域に第２候補群が存在するか否かを確認して、第１候補群と第２候補群の中から第１部位または第２部位を選定する。なお、選定部５は、図７のテーブル７０の何れかの項目を選択的に使用しても良いし、組み合わせて使用しても良い。図６に示す通り、取得部２が取得する画像に第１部位と第２部位の双方が撮像されている場合においては、検索領域に第２候補群が存在し、選定部５は、第２部位を選定することが可能である。しかし、取得部２が取得する画像に第１部位のみが撮像されている場合などにより、第２特徴群が検出されない場合は、異なる時間（例えば、次フレーム）に取得部２が取得する画像を用いて、検出部３の検出処理と選定部５の選定処理が実行される。
【００２８】
図９は、取得部２が取得する画像から選定部５が第１部位と第２部位を選定した概念図となる。ユーザの手指と手の甲が連接している拘束条件に基づいて選定している為、選定部５は、検出部３が第１候補群として検出したユーザの手指以外の、ペンの後端、鍵の先端、ならびに携帯電話のテンキー部分をユーザの手指として誤検出ことを排除することが出来る。図１の選定部５は、選定した第１部位に対して、図３のテーブル３０の指先位置、手指先方向と、取得部２が取得する画像の原点（例えば、左上端）の関係から、当該画像中の指先位置を正確に算出することが出来る。更に、第１部位となる手指ならびに第２部位となる手の甲形状に着目すると、手の可動域の影響を排除した、単純な構造をしている為、単純な特徴量モデルを用いることが可能となる為、記憶容量や演算処理負荷が軽減を具現化することが可能となる。また、比較例として、ＨＯＧ特徴量やＬＢＧ特徴量を用いた、様々な形状の手特徴モデルを使用することが考えられる。しかしながら、この場合、可動域が自在な手に対して十分な数の手特徴モデルを使用することは、記憶容量や演算負荷の観点から現実的ではない。一方、手特徴モデルの数を少なくすると、ユーザの手指を検出すること自体が出来なくなる場合や、概算的な位置推定によって、手指の位置を正確に特定出来なく場合が生じるが、実施例１に係る画像処理装置はこの影響を排除している。
【００２９】
実施例１においては、検出部３が第１候補群と第２候補群を検出してから選定部５が第１部位または第２部位を選定している。これに加えて、検出部３が、第１候補群のみを検出した後に、選定部５が検出部３に対して検索領域に基づいた第２候補群の検出を実行させても良い。これにより、画像処理装置１の処理負荷の軽減を図ることが可能となる。また、検出部３が、第２候補群のみを検出した後に、選定部５が検出部３に対して検索領域に基づいた第１候補群の検出を実行させても良い。これにより、画像処理装置１の処理負荷の軽減を図ることが可能となる
【００３０】
図６ならびに図９においては、ユーザの手指が一本のみ撮像されているが、ユーザの手指が２本以上撮像されている場合も想定される。この場合、複数の第１部位の一端が、１つの第２部位の外縁に連接しているとみなすことが可能であり、選定部５は、１つの第２部位にそれぞれ対応する第１部位として、複数の第１部位を選定する。第２部位となる手の甲が同一であるかの否かの判定は、選定部５が選定した第２候補群の位置、角度、スケールの項目を用いて類似度を算出することで可能となる。例えば、第１候補群の中の候補Ａ１に対応する第２候補群の中の候補Ａ２と、第１候補群の中の候補Ｂ１に対応する第２候補群の中の候補Ｂ２について、次式の通りの条件を満たす場合に、１つの第２部位にそれぞれ対応する複数の第１部位と判定（選定）することが出来る。
（数１）
（ｘ１−ｘ２）２＋（ｙ１−ｙ２）２＜ＴＨ１
｜ａ１ − ａ２｜＜ＴＨ２
｜ｗ１ − ｗ２｜＜ＴＨ３
但し、（ｘ１、ｙ１）は、Ａ２の中心位置、ａ１はＡ２の中心位置の画像原点に対する角度、ｗ１は、Ａ２の幅とする。また、（ｘ２、ｙ２）は、Ｂ２の中心位置、ａ２はＢ２の中心位置の画像原点に対する角度、ｗ２は、Ｂ２の幅とする。更に、ＴＨ１、ＴＨ２、ＴＨ３は任意の閾値である。更に、選定部５は、１つの第２部位に対応する第１部位を選定した場合は、第１部位に対してラベリングを行う統合処理を行っても良い。
【００３１】
なお、画像処理装置１は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）などの集積回路で構成しても良い。
【００３２】
図１０は、画像処理装置１による画像処理のフローチャートである。取得部２は、例えば、撮像素子が撮像する画像を撮像素子から受け取る（ステップＳ１０１）。取得部２は取得した画像を検出部３へ出力する。検出部３は、取得部２から画像を受け取り、当該画像に含まれるユーザの第１部位の候補となる第１候補群と、ユーザの第２部位の候補となる第２候補群を、第１特徴量モデルと第２特徴量を用いて上述の方法を用いて検出する（ステップＳ１０２）。ここで、図示はしないが、ステップＳ１０２において、第２特徴群が検出されない場合は、異なる時間（例えば、次フレーム）に取得部２が画像を取得し（ステップＳ１０１）、検出部３はステップＳ１０２の処理を再度実行する。
【００３３】
選定部５は、第１部位と第２部位の生体的位置関係に基づいて、第１候補群と第２候補群から第１部位または第２部位を上述の方法を用いて選定する（ステップＳ１０３）。選定部５は、選定された第１部位が１つのみか否かを判定する（ステップＳ１０４）。選定された第１部位が１つのみの場合（ステップＳ１０４−Ｙｅｓ）、選定した第１部位に対して、図３のテーブル３０の指先位置、手指先方向と、取得部２が取得する画像の原点（例えば、左上端）の関係から、当該画像中の第１部位の先端位置（指先位置）を算出する（ステップＳ１０７）。
【００３４】
ステップＳ１０４において、選定された第１部位が１つのみで無い場合（ステップＳ１０４−Ｎｏ）、選定部５は、複数の第１部位のそれぞれが、１つの共通の第２部位に対応するか否かを判定する（ステップＳ１０５）。当該判定方法は、例えば、上述の（数１）を用いることが出来る。複数の第１部位のそれぞれが、１つの共通の第２部位に対応しない場合（ステップＳ１０５−Ｎｏ）、画像処理装置１は、ステップＳ１０１〜Ｓ１０５の処理を繰り返す。複数の第１部位のそれぞれが、１つの共通の第２部位に対応する場合（ステップＳ１０５−Ｙｅｓ）、選定部５は、複数の第１部位に対してラベリングを行い、統合処理を実施する（ステップＳ１０６）。選定部５は、ラベリングを行った任意の第１部位の画像中における先端位置（指先位置）を算出する（ステップＳ１０７）ことで、画像処理装置１は図１０のフローチャートに示す画像処理を終了する。
【００３５】
実施例１の画像処理装置においては、照明変動や背景色に依存せずにユーザの手指の位置を正確に特定することが可能となる。
【００３６】
（実施例２）
図１１は、一つの実施形態による画像処理装置１のハードウェア構成図である。図１１に示すように、画像処理装置１は、制御部６、主記憶部７、補助記憶部８、ドライブ装置９、ネットワークＩ／Ｆ部１１、入力部１２、表示部１３を含む。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。
【００３７】
制御部６は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部６は、主記憶部７や補助記憶部８に記憶されたプログラムを実行する演算装置であり、入力部１２や記憶装置からデータを受け取り、演算、加工した上で、表示部１３や記憶装置などに出力する。
【００３８】
主記憶部７は、ＲＯＭやＲＡＭなどであり、制御部６が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶または一時保存する記憶装置である。
【００３９】
補助記憶部８は、ＨＤＤなどであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
【００４０】
ドライブ装置９は、記録媒体１０、例えばフレキシブルディスクからプログラムを読み出し、補助記憶部８にインストールする。また、記録媒体１０に、所定のプログラムを格納し、この記録媒体１０に格納されたプログラムはドライブ装置９を介して画像処理装置１にインストールされる。インストールされた所定のプログラムは、画像処理装置１により実行可能となる。
【００４１】
ネットワークＩ／Ｆ部１１は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置１とのインターフェースである。
【００４２】
入力部１２は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部１３の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部１２は、ユーザが制御部６に操作指示を与えたり、データを入力したりするためのユーザインタフェースである。
【００４３】
表示部１３は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成され、制御部６から入力される表示データに応じた表示が行われる。
【００４４】
なお、上述した画像処理方法は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、上述した画像処理方法を実現することが出来る。
【００４５】
また、このプログラムを記録媒体１０に記録し、このプログラムが記録された記録媒体１０をコンピュータや携帯端末に読み取らせて、前述した画像処理を実現させることも可能である。なお、記録媒体１０は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることが出来る。
【００４６】
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが出来る。また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することが出来る。
【００４７】
以上、説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
ユーザの第１部位と第２部位を含む画像を取得する取得部と、
前記画像に含まれる前記第１部位の候補となる第１候補群と、前記第２部位の候補となる第２候補群を検出する検出部と、
前記第１部位と前記第２部位の生体的位置関係に基づいて、前記第１候補群と前記第２候補群から前記第１部位または前記第２部位を選定する選定部と、
を備えることを特徴とする画像処理装置。
（付記２）
前記第１部位の特徴量を予め抽出した第１特徴量モデルと、前記第２部位の特徴量を予め抽出した第２特徴量モデルを記憶する記憶部を更に備え、
前記検出部は、
前記第１特徴量モデルとの類似度が、所定の第１閾値以上の前記画像に含まれる物体を前記第１候補群として検出し、
前記第２特徴量モデルとの類似度が、所定の第２閾値以上の前記画像に含まれる物体を前記第２候補群として検出する
ことを特徴とする付記１記載の画像処理装置。
（付記３）
前記生体的位置関係は、前記第１部位の一端と前記第２部位の外縁が、連接点において可動状態で連接していることを特徴とする付記１または付記２記載の画像処理装置。
（付記４）
前記記憶部は、前記第１部位の所定の基準位置に対して前記第２部位が検出され得る、前記生体的位置関係に基づいた検索領域データを記憶しており、
前記選定部は、前記検索領域データに基づいて、前記第１候補群と前記第２候補群から前記第１部位と前記第２部位を選定することを特徴とする付記２または付記３記載の画像処理装置。
（付記５）
前記第１部位は手指であり、前記第２部位は手背または手掌であることを特徴とする付記１ないし付記４の何れか一つに記載の画像処理装置。
（付記６）
前記選定部は、複数の前記第１部位の一端が前記第２部位の外縁に連接している場合は、前記第２部位にそれぞれ対応する前記第１部位として、前記複数の前記第１部位を選定することを特徴とする付記１ないし付記３の何れか一つに記載の画像処理装置。
（付記７）
前記記憶部は、ＨＯＧ特徴量またはＬＢＰ特徴量に基づく前記第１特徴量モデルと前記第２特徴量モデルを記憶しており、
前記検出部は、前記第１候補群と前記第２候補群を、ＨＯＧ特徴量またはＬＢＰ特徴量を用いて検出することを特徴とする付記１ないし付記６いずれか一つに記載の画像処理装置。
（付記８）
前記検出部は、色特徴量を更に用いて前記第１候補群と前記第２候補群を検出することを特徴とする付記７記載の画像処理装置。
（付記９）
前記選定部は、前記画像における前記第１部位の先端位置を算出することを特徴とする付記１ないし付記８いずれか一つに記載の画像処理装置。
（付記１０）
ユーザの第１部位と第２部位を含む画像を取得し、
前記画像に含まれる前記第１部位の候補となる第１候補群と、前記第２部位の候補となる第２候補群を検出し、
前記第１部位と前記第２部位の生体的位置関係に基づいて、前記第１候補群と前記第２候補群から前記第１部位または前記第２部位を選定すること
を含むことを特徴とする画像処理方法。
（付記１１）
前記第１部位の特徴量を予め抽出した第１特徴量モデルと、前記第２部位の特徴量を予め抽出した第２特徴量モデルを記憶することを更に含み、
前記検出することは、
前記第１特徴量モデルとの類似度が、所定の第１閾値以上の前記画像に含まれる物体を前記第１候補群として検出し、
前記第２特徴量モデルとの類似度が、所定の第２閾値以上の前記画像に含まれる物体を前記第２候補群として検出する
ことを特徴とする付記１０記載の画像処理方法。
（付記１２）
前記生体的位置関係は、前記第１部位の一端と前記第２部位の外縁が、連接点において可動状態で連接していることを特徴とする付記１０または付記１１記載の画像処理方法。
（付記１３）
前記記憶することは、前記第１部位の所定の基準位置に対して前記第２部位が検出され得る、前記生体的位置関係に基づいた検索領域データを記憶しており、
前記選定することは、前記検索領域データに基づいて、前記第１候補群と前記第２候補群から前記第１部位と前記第２部位を選定することを特徴とする付記１１または付記１２記載の画像処理方法。
（付記１４）
前記第１部位は手指であり、前記第２部位は手背または手掌であることを特徴とする付記１０ないし付記１３の何れか一つに記載の画像処理方法。
（付記１５）
前記選定することは、複数の前記第１部位の一端が前記第２部位の外縁に連接している場合は、前記第２部位にそれぞれ対応する前記第１部位として、前記複数の前記第１部位を選定することを特徴とする付記１０ないし付記１２の何れか一つに記載の画像処理方法。
（付記１６）
前記記憶することは、ＨＯＧ特徴量またはＬＢＰ特徴量に基づく前記第１特徴量モデルと前記第２特徴量モデルを記憶しており、
前記検出することは、前記第１候補群と前記第２候補群を、ＨＯＧ特徴量またはＬＢＰ特徴量を用いて検出することを特徴とする付記１０ないし付記１５いずれか一つに記載の画像処理方法。
（付記１７）
前記検出することは、色特徴量を更に用いて前記第１候補群と前記第２候補群を検出することを特徴とする付記１６記載の画像処理方法。
（付記１８）
前記選定することは、前記画像における前記第１部位の先端位置を算出することを特徴とする付記１１ないし付記１７いずれか一つに記載の画像処理方法。
（付記１９）
コンピュータに、
ユーザの第１部位と第２部位を含む画像を取得し、
前記画像に含まれる前記第１部位の候補となる第１候補群と、前記第２部位の候補となる第２候補群を検出し、
前記第１部位と前記第２部位の生体的位置関係に基づいて、前記第１候補群と前記第２候補群から前記第１部位または前記第２部位を選定すること
を実行させることを特徴とする画像処理プログラム。
【符号の説明】
【００４８】
１    画像処理装置
２    取得部
３    検出部
４    記憶部
５    選定部
【図１】
2014194685.tif 000003
【図２】
2014194685.tif 000004
【図３】
2014194685.tif 000005
【図４】
2014194685.tif 000006
【図５】
2014194685.tif 000007
【図６】
2014194685.tif 000008
【図７】
2014194685.tif 000009
【図８】
2014194685.tif 000010
【図９】
2014194685.tif 000011
【図１０】
2014194685.tif 000012
【図１１】
2014194685.tif 000013