(57)【要約】【課題】手領域を精度良く検出することが可能な手領域検出装置、手領域検出方法及びプログラムを提供する。【解決手段】手領域検出装置は、入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出するセグメンテーション手段と、セグメンテーション手段によって抽出された領域の輪郭線上に位置する一の輪郭点と、輪郭線上に位置する他の輪郭点との距離を、輪郭線を構成する全ての輪郭点について求め、求められた距離に基づいて、セグメンテーション手段によって抽出された複数の領域の中から手領域を決定する手領域決定手段と、を備える。【選択図】図１
2013114660.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出するセグメンテーション手段と、
前記セグメンテーション手段によって抽出された前記領域の輪郭線上に位置する一の輪郭点と、前記輪郭線上に位置する他の輪郭点との距離を、前記輪郭線を構成する全ての輪郭点について求め、求められた前記距離に基づいて、前記セグメンテーション手段によって抽出された前記複数の領域の中から手領域を決定する手領域決定手段と、を備えることを特徴とする手領域検出装置。
【請求項２】
前記手領域決定手段は、前記輪郭線を構成する全ての輪郭点について求められた前記距離の平均値と標準偏差とに基づいて、前記手領域を決定することを特徴とする請求項１に記載の手領域検出装置。
【請求項３】
前記手領域決定手段は、前記輪郭線を構成する全ての輪郭点と、前記全ての輪郭点について求められた前記距離とによって規定されるグラフに対して、パターンマッチングを行うことで、前記手領域を決定することを特徴とする請求項１に記載の手領域検出装置。
【請求項４】
前記手領域決定手段は、前記一の輪郭点における前記輪郭線の接線と直交し、且つ当該一の輪郭点を通る直線が、前記輪郭線に交わる点を前記他の輪郭点として用いることを特徴とする請求項１乃至３のいずれか一項に記載の手領域検出装置。
【請求項５】
前記手領域決定手段は、前記一の輪郭点から、前記輪郭線を構成する輪郭点の中で最も離れた点を、前記他の輪郭点として用いることを特徴とする請求項１乃至３のいずれか一項に記載の手領域検出装置。
【請求項６】
前記手領域決定手段は、前記輪郭線を構成する輪郭点の中で最も先鋭に変化する点を前記一の輪郭点として固定して用いると共に、前記輪郭線を構成する輪郭点から前記最も先鋭に変化する点を除いた点を前記他の輪郭点として用いることを特徴とする請求項１乃至３のいずれか一項に記載の手領域検出装置。
【請求項７】
前記手領域決定手段によって決定された前記手領域から、前記距離に基づいて、指領域を抽出する指領域抽出手段を更に備えることを特徴とする請求項１乃至６のいずれか一項に記載の手領域検出装置。
【請求項８】
前記指領域抽出手段は、前記手領域決定手段によって求められた、前記輪郭線を構成する全ての輪郭点についての前記距離の平均値と標準偏差とに基づいて、前記指領域を抽出することを特徴とする請求項７に記載の手領域検出装置。
【請求項９】
前記指領域抽出手段は、前記平均値と前記標準偏差とに基づいて、前記指領域の候補となる複数の領域を抽出し、前記複数の領域の中で最も面積が大きい領域を、前記指領域として決定することを特徴とする請求項８に記載の手領域検出装置。
【請求項１０】
前記手領域決定手段は、前記セグメンテーション手段によって抽出された前記複数の領域だけでなく、前記複数の領域を組み合わせた領域も用いて、前記手領域を決定することを特徴とする請求項１乃至９のいずれか一項に記載の手領域検出装置。
【請求項１１】
前記手領域決定手段は、前記距離だけでなく、前記セグメンテーション手段によって抽出された前記領域の面積及び／又は周長も用いて、前記手領域を決定することを特徴とする請求項１乃至１０のいずれか一項に記載の手領域検出装置。
【請求項１２】
手領域検出装置によって実行される手領域検出方法であって、
入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出するセグメンテーション工程と、
前記セグメンテーション工程で抽出された前記領域の輪郭線上に位置する一の輪郭点と、前記輪郭線上に位置する他の輪郭点との距離を、前記輪郭線を構成する全ての輪郭点について求め、求められた前記距離に基づいて、前記セグメンテーション工程で抽出された前記複数の領域の中から手領域を決定する手領域決定工程と、を備えることを特徴とする手領域検出方法。
【請求項１３】
コンピュータを具備する手領域検出装置によって実行されるプログラムであって、
入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出するセグメンテーション手段、
前記セグメンテーション手段によって抽出された前記領域の輪郭線上に位置する一の輪郭点と、前記輪郭線上に位置する他の輪郭点との距離を、前記輪郭線を構成する全ての輪郭点について求め、求められた前記距離に基づいて、前記セグメンテーション手段によって抽出された前記複数の領域の中から手領域を決定する手領域決定手段、として前記コンピュータを機能させることを特徴とするプログラム。
【請求項１４】
請求項１３に記載のプログラムを記憶したことを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像から手領域を検出する技術分野に関する。
【背景技術】
【０００２】
この種の技術が、例えば特許文献１及び２に提案されている。特許文献１には、入力画像から手の候補領域を検出し、手の候補領域の面積や、周辺長や、手の候補領域の中心からの距離に基づいて、手の候補領域の形状複雑度を算出する技術が提案されている。また、特許文献２には、画像内の手の領域を抽出し、手領域を横切る直線と手領域の輪郭線との交点に基づいて手の状態を検出する技術が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−５２６０９号公報
【特許文献２】特開平１１−２５２６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記した特許文献１に提案された技術では、入力画像に手だけでなく腕が含まれている場合（例えば半袖や七分袖などを着用して手の撮影を行った場合）に、手の候補領域における中心が腕側に大きく移動してしまうことで、手領域を適切に検出できない場合があった。他方で、特許文献２に提案された技術では、指がラスタスキャン方向に対し略垂直であることを前提としており、手の方向が変化した場合などには適切に検出を行うことが困難であった。
【０００５】
本発明が解決しようとする課題としては、上記のものが一例として挙げられる。本発明は、手領域を精度良く検出することが可能な手領域検出装置、手領域検出方法、プログラム及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明では、手領域検出装置は、入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出するセグメンテーション手段と、前記セグメンテーション手段によって抽出された前記領域の輪郭線上に位置する一の輪郭点と、前記輪郭線上に位置する他の輪郭点との距離を、前記輪郭線を構成する全ての輪郭点について求め、求められた前記距離に基づいて、前記セグメンテーション手段によって抽出された前記複数の領域の中から手領域を決定する手領域決定手段と、を備える。
【０００７】
請求項１２に記載の発明では、手領域検出装置によって実行される手領域検出方法は、入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出するセグメンテーション工程と、前記セグメンテーション工程で抽出された前記領域の輪郭線上に位置する一の輪郭点と、前記輪郭線上に位置する他の輪郭点との距離を、前記輪郭線を構成する全ての輪郭点について求め、求められた前記距離に基づいて、前記セグメンテーション工程で抽出された前記複数の領域の中から手領域を決定する手領域決定工程と、を備える。
【０００８】
請求項１３に記載の発明では、コンピュータを具備する手領域検出装置によって実行されるプログラムは、入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出するセグメンテーション手段、前記セグメンテーション手段によって抽出された前記領域の輪郭線上に位置する一の輪郭点と、前記輪郭線上に位置する他の輪郭点との距離を、前記輪郭線を構成する全ての輪郭点について求め、求められた前記距離に基づいて、前記セグメンテーション手段によって抽出された前記複数の領域の中から手領域を決定する手領域決定手段、として前記コンピュータを機能させる。
【０００９】
請求項１４に記載の発明では、記憶媒体は、請求項１３に記載のプログラムを記憶したことを特徴とする。
【図面の簡単な説明】
【００１０】
【図１】本実施例に係る手領域検出装置の全体構成を示す概略図である。
【図２】セグメンテーションの処理の途中過程で得られた結果の一例を示す。
【図３】セグメンテーション結果の一例を示す。
【図４】領域深度を具体的に説明するための図を示す。
【図５】領域深度を輪郭点（輪郭ピクセル）ごとに並べたグラフの一例を示す。
【図６】指差しが行われた入力画像より得られる、輪郭点と領域深度との関係の具体例を示す。
【図７】指領域抽出部によって抽出された指領域の具体例を示している。
【発明を実施するための形態】
【００１１】
本発明の１つの観点では、手領域検出装置は、入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出するセグメンテーション手段と、前記セグメンテーション手段によって抽出された前記領域の輪郭線上に位置する一の輪郭点と、前記輪郭線上に位置する他の輪郭点との距離を、前記輪郭線を構成する全ての輪郭点について求め、求められた前記距離に基づいて、前記セグメンテーション手段によって抽出された前記複数の領域の中から手領域を決定する手領域決定手段と、を備える。
【００１２】
上記の手領域検出装置は、入力画像から手領域を検出するために好適に利用される。セグメンテーション手段は、入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出する。手領域決定手段は、セグメンテーション手段によって抽出された領域の輪郭線上に位置する一の輪郭点と、輪郭線上に位置する他の輪郭点との距離を、輪郭線を構成する全ての輪郭点について求める。そして、手領域決定手段は、こうして求められた距離に基づいて、セグメンテーション手段によって抽出された複数の領域の中から手領域を決定する。このような輪郭線上に位置する輪郭点間の距離を用いることで、手領域を適切に検出することが可能となる。
【００１３】
上記の手領域検出装置の一態様では、前記手領域決定手段は、前記輪郭線を構成する全ての輪郭点について求められた前記距離の平均値と標準偏差とに基づいて、前記手領域を決定することができる。
【００１４】
上記の手領域検出装置の他の一態様では、前記手領域決定手段は、前記輪郭線を構成する全ての輪郭点と、前記全ての輪郭点について求められた前記距離とによって規定されるグラフに対して、パターンマッチングを行うことで、前記手領域を決定することができる。
【００１５】
上記の手領域検出装置の他の一態様では、前記手領域決定手段は、前記一の輪郭点における前記輪郭線の接線と直交し、且つ当該一の輪郭点を通る直線が、前記輪郭線に交わる点を前記他の輪郭点として用いる。このような輪郭点間の距離を用いることで、手領域を精度良く検出することが可能となる。
【００１６】
上記の手領域検出装置の他の一態様では、前記手領域決定手段は、前記一の輪郭点から、前記輪郭線を構成する輪郭点の中で最も離れた点を、前記他の輪郭点として用いる。このような輪郭点間の距離を用いることによっても、手領域を精度良く検出することが可能となる。
【００１７】
上記の手領域検出装置の他の一態様では、前記手領域決定手段は、前記輪郭線を構成する輪郭点の中で最も先鋭に変化する点を前記一の輪郭点として固定して用いると共に、前記輪郭線を構成する輪郭点から前記最も先鋭に変化する点を除いた点を前記他の輪郭点として用いる。このような輪郭点間の距離を用いることによっても、手領域を精度良く検出することが可能となる。
【００１８】
上記の手領域検出装置の他の一態様では、前記手領域決定手段によって決定された前記手領域から、前記距離に基づいて、指領域を抽出する指領域抽出手段を更に備える。これにより、手領域から指領域を適切に抽出することができる。
【００１９】
上記の手領域検出装置の他の一態様では、前記指領域抽出手段は、前記手領域決定手段によって求められた、前記輪郭線を構成する全ての輪郭点についての前記距離の平均値と標準偏差とに基づいて、前記指領域を抽出することができる。
【００２０】
好適な例では、前記指領域抽出手段は、前記平均値と前記標準偏差とに基づいて、前記指領域の候補となる複数の領域を抽出し、前記複数の領域の中で最も面積が大きい領域を、前記指領域として決定する。これにより、指差しが行われた指に対応する指領域を適切に抽出することができる。
【００２１】
上記の手領域検出装置において好適には、前記手領域決定手段は、前記セグメンテーション手段によって抽出された前記複数の領域だけでなく、前記複数の領域を組み合わせた領域も用いて、前記手領域を決定する。これにより、複数の色や模様を有する手袋装着時などにおいて、手領域を適切に検出することが可能となる。
【００２２】
上記の手領域検出装置において好適には、前記手領域決定手段は、前記距離だけでなく、前記セグメンテーション手段によって抽出された前記領域の面積及び／又は周長も用いて、前記手領域を決定する。例えば、手領域決定手段は、面積及び／又は周長に基づいて、セグメンテーション手段によって抽出された複数の領域をある程度絞り込み、この後、距離に基づいて、絞り込まれた領域から手領域を決定することができる。
【００２３】
本発明の他の観点では、手領域検出装置によって実行される手領域検出方法は、入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出するセグメンテーション工程と、前記セグメンテーション工程で抽出された前記領域の輪郭線上に位置する一の輪郭点と、前記輪郭線上に位置する他の輪郭点との距離を、前記輪郭線を構成する全ての輪郭点について求め、求められた前記距離に基づいて、前記セグメンテーション工程で抽出された前記複数の領域の中から手領域を決定する手領域決定工程と、を備える。
【００２４】
本発明の更に他の観点では、コンピュータを具備する手領域検出装置によって実行されるプログラムは、入力画像に対してセグメンテーションを行うことで、手領域の候補となる複数の領域を抽出するセグメンテーション手段、前記セグメンテーション手段によって抽出された前記領域の輪郭線上に位置する一の輪郭点と、前記輪郭線上に位置する他の輪郭点との距離を、前記輪郭線を構成する全ての輪郭点について求め、求められた前記距離に基づいて、前記セグメンテーション手段によって抽出された前記複数の領域の中から手領域を決定する手領域決定手段、として前記コンピュータを機能させる。
【００２５】
上記のプログラムは、記憶媒体に記録した状態で好適に取り扱うことができる。
【実施例】
【００２６】
以下、図面を参照して本発明の好適な実施例について説明する。
【００２７】
［全体構成］
図１は、本実施例に係る手領域検出装置２の全体構成を示す概略図である。ここでは、手領域検出装置２の機能の概要について簡単に説明する。
【００２８】
図１に示すように、手領域検出装置２は、主に、セグメンテーション部３と、手領域決定部４と、指領域抽出部５と、を有する。また、手領域検出装置２には、カメラ１による撮影画像が入力される。例えば、手領域検出装置２は、ＰＣ（Personal Computer）などによって実現され、ＰＣ内のＣＰＵ（Central Processing Unit）が、セグメンテーション部３、手領域決定部４及び指領域抽出部５として機能する。
【００２９】
セグメンテーション部３は、色情報などを手掛かりとして、カメラ１から入力された画像（入力画像）に対してセグメンテーションを行う。具体的には、セグメンテーション部３は、入力画像を色情報などに基づいて領域分けを行うことで、検出すべき手領域の候補となる複数の領域を抽出する。
【００３０】
手領域決定部４は、セグメンテーション部３によって抽出された複数の領域の中から、手領域を決定する。「手領域」は、入力画像の中で、人間の手の部分に相当する画像上での領域である。具体的には、手領域決定部４は、セグメンテーション部３によって抽出された領域の面積及び周長、並びに当該領域の輪郭線上に位置する一の輪郭点と他の輪郭点との距離に基づいて、手領域を決定する。この場合、手領域決定部４は、セグメンテーション部３によって抽出された領域の輪郭線を構成する全ての輪郭点について、このような距離を求める。
【００３１】
なお、「輪郭点」とは、セグメンテーション部３によって抽出された領域の輪郭線上に位置する点、つまり領域の輪郭線の画像を構成するピクセルを意味する。以下では、輪郭点のことを、「輪郭ピクセル」とも表記する。
【００３２】
指領域抽出部５は、手領域決定部４によって決定された手領域から、指領域を抽出する。「指領域」は、入力画像の中で、人間の指の部分に相当する画像上での領域である。具体的には、指領域抽出部５は、手領域決定部４によって求められた距離（手領域における輪郭線上に位置する一の輪郭点と他の輪郭点との距離）に基づいて、手領域から指領域を抽出する。
【００３３】
［セグメンテーション］
次に、図２及び図３を参照して、本実施例においてセグメンテーション部３が行う処理の具体例について説明する。ここでは、セグメンテーションとしてグラフカット（Graph Cut）の手法を用いた場合を例示する。
【００３４】
図２は、セグメンテーションの処理の途中過程で得られた結果の一例を示している。図２（ａ）は、入力画像の一例を示している。図２（ａ）に示すように、入力画像には、指差しが行われている手が含まれている。図２（ｂ）は、図２（ａ）に示したような入力画像より作成された、ＨＳＶ色空間におけるＨ−Ｓ色空間での２次元ヒストグラムの一例を示している（Ｈ：色相、Ｓ：彩度、Ｖ：明度）。図２（ｂ）では、横方向に「Ｓ」を示し、縦方向に「Ｈ」を示している。図２（ｃ）は、図２（ｂ）に示したような２次元ヒストグラムに基づいて得られた、クラスタリング結果の一例を示している。ここでは、クラス数１０の混合正規分布モデル（GMM：Gaussian Mixture Model）にて、色空間のクラスタリングを行ったものとする。図２（ｃ）でも、横方向に「Ｓ」を示し、縦方向に「Ｈ」を示している。
【００３５】
なお、図２（ｂ）及び図２（ｃ）では、グレースケールにてヒストグラム及びクラスタリング結果を表現しているが、実際には種々の色を用いて表現される。例えば、図２（ｂ）は、赤、緑、青などで２次元ヒストグラムが表現され、青、緑、赤の順に頻度が上昇する。
【００３６】
図３は、セグメンテーション結果の一例を示している。具体的には、図３（ａ）〜（ｊ）は、クラス数１０の混合正規分布モデルにて色空間のクラスタリングを行った結果（図２（ｃ）参照）に従って、それぞれのクラスごとにグラフカットを適用し、入力画像をセグメンテーションした結果を示している。図３（ａ）〜（ｊ）において、白の部分は選択領域（つまり手領域の候補として抽出された領域）を示し、黒の部分は背景を示している。
【００３７】
なお、グラフカットの手法を用いてセグメンテーションを行うことに限定はされず、グラフカット以外の公知の手法を用いてセグメンテーションを行っても良い。
【００３８】
［手領域決定］
次に、本実施例において手領域決定部４が行う処理について説明する。手領域決定部４は、上記のようにしてセグメンテーション部３によって抽出された複数の領域の中から、手領域を決定する。
【００３９】
本実施例では、手領域決定部４は、セグメンテーション部３によって抽出された領域の面積及び周長、並びに当該領域の輪郭線上に位置する一の輪郭点と他の輪郭点との距離に基づいて、手領域を決定する。具体的には、手領域決定部４は、一の輪郭点における輪郭線の接線と直交し、当該一の輪郭点を通る直線が、輪郭線に交わる点（当該一の輪郭点を除く）を他の輪郭点として用いて、当該一の輪郭点と当該他の輪郭点との距離（以下、適宜「領域深度」と呼ぶ。）を、輪郭線を構成する全ての輪郭点について求める。そして、手領域決定部４は、輪郭線を構成する全ての輪郭点について求められた領域深度から、領域深度の平均値と標準偏差とを求め、当該平均値と当該標準偏差とに基づいて手領域を決定する。
【００４０】
より詳しくは、手領域決定部４は、まず最初に、セグメンテーション部３によって抽出された複数の領域の中から、面積が所定範囲内であり、且つ周長が所定範囲内である領域を選択する。そして、手領域決定部４は、このように選択された領域の中から、上記のようにして求められた領域深度の平均値及び標準偏差を用いて、手領域を決定する。この場合、手領域決定部４は、領域深度の平均値が所定範囲内であり、且つ領域深度の標準偏差が所定範囲内であるような領域を、手領域として決定する。ここで、手領域決定部４は、セグメンテーション部３によって抽出された複数の領域において上記したような条件を満たす領域が存在しない場合には、入力画像に手領域が含まれていないと判定する。
【００４１】
なお、領域の面積の判定に用いる所定範囲、領域の周長の判定に用いる所定範囲、領域深度の平均値の判定に用いる所定範囲、及び領域深度の標準偏差の判定に用いる所定範囲は、それぞれ、人間の手の大きさなどを考慮して定められた範囲が用いられる。これらの所定範囲として、予め定めた固定の範囲を用いても良いし、入力画像などに応じて変化される範囲を用いても良い。
【００４２】
図４は、領域深度を具体的に説明するための図を示す。図４（ａ）は、セグメンテーション部３によって抽出された領域の１つを例示している。ここでは、説明の便宜上、手領域と考えられる領域を例示している。また、図４（ａ）では、説明を分かり易くするために、セグメンテーション部３によって抽出された領域の輪郭線を黒線でなぞった図を示している（以下で示す図も同様とする）。
【００４３】
図４（ｂ）は、領域深度の一例を示している。ここでは、輪郭点Ｐ１についての領域深度Ｌ１を例に挙げる。図４（ｂ）に示すように、輪郭点Ｐ１における輪郭線の接線Ａ１に直行し、且つ当該輪郭点Ｐ１を通る直線Ａ２（以下では、直線Ａ２において矢印で示す方向を「エッジ垂直方向」とも呼ぶ。）は、輪郭点Ｐ２にて輪郭線と交わる。領域深度Ｌ１は、このような輪郭点Ｐ１と輪郭点Ｐ２との距離に相当する。図４（ｂ）より分かるように、領域深度Ｌ１は、領域のエッジ垂直方向に引いた直線Ａ２が、領域を切り取る長さと考えることができる。言い換えると、領域深度Ｌ１は、エッジ垂直方向における領域のピクセル数と考えることができる。
【００４４】
前述したように、手領域決定部４は、領域における輪郭線を構成する全ての輪郭点について、このような領域深度を求める。そして、手領域決定部４は、輪郭線を構成する全ての輪郭点について求められた領域深度から、領域深度の平均値及び標準偏差を求め、当該平均値及び当該標準偏差のそれぞれを所定範囲と比較することで、領域が手領域であるか否かを判定する。
【００４５】
図５は、上記のようにして求められた領域深度を輪郭点（輪郭ピクセル）ごとに並べたグラフの一例を示している。図５では、横軸に輪郭点を示しており、縦軸に領域深度を示している。具体的には、横軸に示す輪郭点の数字は、領域の輪郭線を構成するピクセルのインデックスを表しており、縦軸に示す領域深度は、「ピクセル」の単位で表している。
【００４６】
上記では、領域深度の平均値及び標準偏差を求め、当該平均値及び当該標準偏差に基づいて手領域を決定する手法を示したが、他の例では、こうする代わりに、図５に示したようなグラフの形状に基づいて手領域を決定しても良い。つまり、領域深度の平均値及び標準偏差に対して所定範囲を用いた判定を行うことで手領域を決定することに限定はされず、複数の輪郭点ごとに領域深度を並べたグラフの形状に対してパターンマッチングを行うことで、手領域を決定しても良い。
【００４７】
例えば、輪郭点ごとに領域深度を並べたグラフの形状と、予め用意したパターンとの類似度を求め、類似度が所定値以上であるグラフが得られた領域を、手領域として決定することができる。比較に用いるパターンとしては、想定される手領域より得られるようなグラフの形状を用いることができ、１つのパターンのみを用いても良いし、複数のパターンを用いても良い。１つの例では、複数の輪郭点より得られた領域深度を、領域深度が浅い輪郭点を基準にして並べると共に、輪郭点によって規定される軸のスケールを正規化したグラフを作成し、当該グラフの形状に基づいてパターンマッチングを行うことができる。
【００４８】
［指領域抽出］
次に、本実施例において指領域抽出部５が行う処理について説明する。ここでは、指差しが行われた指に対応する指領域を抽出する例を挙げる。
【００４９】
図６は、指差しが行われた入力画像より得られる、輪郭点と領域深度との関係の典型的な例を示している。図６に示すグラフは、手領域に対応するグラフであり、手領域決定部４によって前述したような手順で求められる。なお、横軸及び縦軸の定義は、図５と同様である。
【００５０】
図６に示すように、符号Ｒで示す範囲に含まれる輪郭点では、領域深度が比較的浅いことが見て取れる。このような範囲Ｒは、手領域の中で幅が比較的狭い領域に対応すると言え、当該領域は、指差しが行われた指に対応する指領域であると考えることができる。
【００５１】
したがって、本実施例では、指領域抽出部５は、手領域決定部４によって決定された手領域についての領域深度に基づいて、手領域から指領域を抽出する。この場合、指領域抽出部５は、手領域決定部４によって求められた領域深度の平均値及び標準偏差に基づいて、手領域から指領域を抽出する。
【００５２】
具体的には、まず、指領域抽出部５は、手領域を構成する輪郭点の中で、領域深度が以下の式（１）の条件を満たすような輪郭点（複数の輪郭点）を選ぶ。
領域深度≦平均値−ａ×標準偏差    式（１）
式（１）において、平均値及び標準偏差は、上記した手領域決定部４によって求められた値である。具体的には、手領域を構成する全ての輪郭点から求められた領域深度の平均値及び標準偏差である。また、式（１）中の「ａ」は、適当な実数である。
【００５３】
指領域抽出部５は、式（１）の条件を満たす複数の輪郭点で、エッジ垂直方向に手領域を塗りつぶす。具体的には、指領域抽出部５は、式（１）の条件を満たす複数の輪郭点のそれぞれから、エッジ垂直方向に手領域の輪郭線まで伸びる線分を描くことで、手領域を塗りつぶしていく。これにより、手領域内に、複数の塗りつぶされた領域が形成される（１つの領域のみしか形成されない場合もある）。指領域抽出部５は、このような複数の領域を、指領域の候補となる領域として用いる。なお、式（１）の条件を満たす複数の輪郭点にて手領域を塗りつぶすことで指領域の候補となる領域を求めることは、手領域から、幅が比較的狭い領域（つまり領域深度が比較的浅い領域）を抽出することに相当する。
【００５４】
そして、指領域抽出部５は、手領域を塗りつぶすことで求められた複数の領域（指領域の候補となる領域）の中で、面積が最も大きい領域を指領域として決定する。これは、指差しが行われたことを前提にした処理である。
【００５５】
図７は、指領域抽出部５によって抽出された指領域の具体例を示している。図７（ａ）〜（ｃ）では、塗りつぶされた領域が、抽出された指領域を示している。これより、指を指す方向などに関わらずに、指領域が適切に抽出できていることがわかる。
【００５６】
なお、上記では、指差しが行われていることを前提にしていたため、指領域の候補となる領域の中で面積が最も大きい領域を指領域として決定していた。指差しが行われていることを前提にしない場合には、面積が最も大きい領域を選ぶといった条件を用いなくても良い。この場合には、式（１）の条件を満たす複数の輪郭点にて手領域を塗りつぶすことで得られた領域を、指領域として決定することができる。これにより、入力画像に２以上の指に対応する画像が含まれている場合に、これらの指に対応する指領域を適切に抽出することができる。
【００５７】
［本実施例の作用・効果］
以上説明した本実施例によれば、エッジ垂直方向における領域の長さ（ピクセル数）に対応する領域深度を用いることで、手領域を精度良く検出することができる。具体的には、領域の中心からの距離を用いて手領域を検出する特許文献１に記載された技術では、入力画像に手だけでなく腕が含まれている場合に手領域を適切に検出することができなかったが、本実施例によれば、領域深度を用いるため、入力画像に手だけでなく腕が含まれている場合にも適切に手領域を検出することができる。また、本実施例によれば、このような領域深度に基づいて手領域から指領域を抽出するため、指領域も適切に検出することができる。
【００５８】
また、本実施例によれば、入力として画像のみがあれば手領域を検出することができ、手領域を検出するための道具などを別途用いる必要がない。更に、本実施例によれば、手を撮影する方向に関わらずに手領域を適切に検出することができるため、ユーザがカメラ１の方向を意識する必要がない。更に、本実施例によれば、手領域の検出を肌色情報等ではなく、領域形状の特徴に基づいて行っているため、手袋をはめた手なども適切に検出することができる。
【００５９】
［変形例］
以下では、上記の実施例に好適な変形例について説明する。なお、下記の変形例は、任意に組み合わせて上述の実施例に適用しても良い。
【００６０】
（変形例１）
上記では、領域深度に基づいて手領域を検出する実施例を示したが、領域深度の代わりに、領域の輪郭線を構成する輪郭点ごとの、最も離れた輪郭点までの距離に基づいて、手領域を検出しても良い。この例では、手領域決定部４は、輪郭線上の一の輪郭点から、輪郭線を構成する輪郭点の中で最も離れた点を他の輪郭点として用いて、当該一の輪郭点と当該他の輪郭点との距離（以下、「第１距離」と呼ぶ。）を、輪郭線を構成する全ての輪郭点について求める。そして、手領域決定部４は、このように求められた第１距離に基づいて、前述した実施例と同様の手法を用いて、手領域を検出する。また、指領域抽出部５は、第１距離に基づいて、前述した実施例と同様の手法を用いて、手領域から指領域を抽出する。なお、手領域などを検出するに当たって、上記した一の輪郭点と他の輪郭点とを結んだ直線の方向を更に考慮に入れても良い。
【００６１】
（変形例２）
上記では、領域深度に基づいて手領域を検出する実施例を示したが、領域深度の代わりに、領域の輪郭線を構成する輪郭点の中で特徴的な点から各輪郭点までの距離に基づいて、手領域を検出しても良い。例えば、手領域決定部４は、領域の輪郭線を構成する輪郭点の中で最も先鋭に変化する点を一の輪郭点として固定して用いると共に、輪郭線を構成する輪郭点から当該最も先鋭に変化する点を除いた点を他の輪郭点として用いて、当該一の輪郭点と当該他の輪郭点との距離（以下、「第２距離」と呼ぶ。）を、輪郭線を構成する全ての輪郭点について求める。そして、手領域決定部４は、このように求められた第２距離に基づいて、前述した実施例と同様の手法を用いて、手領域を検出する。また、指領域抽出部５は、第２距離に基づいて、前述した実施例と同様の手法を用いて、手領域から指領域を抽出する。
【００６２】
（変形例３）
上記では、セグメンテーション部３によって抽出された複数の領域のみから、手領域を決定する実施例を示したが、このような複数の領域だけでなく、当該複数の領域を組み合わせた領域も用いて、手領域を決定しても良い。例えば、セグメンテーション部３によって抽出された複数の領域において、色相や彩度、輝度が近いものを組み合わせた領域や、空間的に近いものを組み合わせた領域を用いて、手領域を決定することができる。手領域を決定する手法は、前述した実施例で示した手法を適用することができる。このように複数の領域を組み合わせた領域を用いることで、複数の色や模様を有する手袋装着時などにおいて、手領域を適切に検出することが可能となる。
【００６３】
なお、変形例３は、上記した変形例１及び変形例２と組み合わせて実施することも可能である。
【００６４】
（変形例４）
上記では、領域の面積、周長、及び領域深度に基づいて手領域を決定する実施例を示したが、他の例では、面積及び周長を用いずに、領域深度のみに基づいて手領域を決定することができる。実施例では、セグメンテーション部３によって抽出された複数の領域の中から、面積が所定範囲内であり、且つ周長が所定範囲内である領域を選択し、選択された領域について領域深度に基づいた判定を行うことで手領域を決定していたが、他の例では、セグメンテーション部３によって抽出された複数の領域の全てに対して領域深度に基づいた判定を行うことで、手領域を決定することができる。
【００６５】
更に他の例では、面積及び周長のいずれか一方と領域深度とに基づいて、手領域を決定することができる。この例では、セグメンテーション部３によって抽出された複数の領域の中から、面積が所定範囲内である領域、又は周長が所定範囲内である領域を選択し、選択された領域について領域深度に基づいた判定を行うことで、手領域を決定することができる。
【００６６】
なお、変形例４は、上記した変形例１、変形例２及び変形例３と組み合わせて実施することも可能である。
【００６７】
［適用例］
本発明は、テレビやホームＡＶなどの家電や、車載用のナビゲーション装置などに、ジェスチャ操作インタフェースとして好適に適用することができる。
【符号の説明】
【００６８】
１  カメラ
２  手領域検出装置
３  セグメンテーション部
４  手領域決定部
５  指領域抽出部
【図１】
2013114660.tif 000003
【図２】
2013114660.tif 000004
【図３】
2013114660.tif 000005
【図４】
2013114660.tif 000006
【図５】
2013114660.tif 000007
【図６】
2013114660.tif 000008
【図７】
2013114660.tif 000009