(57)【要約】【課題】  画像データに含まれる手領域や足領域などの注目領域を検出する場合に、画像データに含まれる注目領域の数に応じて注目領域を検出できる画像処理装置を提供する。【解決手段】  画像データに含まれる単位領域のそれぞれについて、当該単位領域の画像データ内における位置に、当該単位領域が注目領域に含まれる度合いに関するスコア値が対応づけられたスコア値のマップを取得し、検出開始点決定部２４が複数の検出開始点を決定し、候補領域検出部２５が前記スコア値のマップに基づいて、前記各検出開始点にそれぞれ対応づけられた複数の注目領域の候補領域を検出し、手領域特定部２６が前記各候補領域に含まれる単位領域に対応づけられたスコア値の平均値と所定の閾値との関係に基づいて、前記候補領域が注目領域であるか否かを判定する画像処理装置である。【選択図】        図２
2006350576.tif 000002
【特許請求の範囲】
【請求項１】
人物の少なくとも一部を撮像して生成された画像データについて、当該画像データの中から当該人物の手又は足に係る部分を含む注目領域を検出する画像処理装置であって、
前記画像データに含まれる単位領域のそれぞれについて、当該単位領域の画像データ内における位置に、当該単位領域が注目領域に含まれる度合いに関するスコア値が対応づけられたスコア値のマップを取得するマップ取得手段と、
所定の条件に基づいて、複数の検出開始点を決定する検出開始点決定手段と、
前記スコア値のマップに基づいて、前記各検出開始点にそれぞれ対応づけられた複数の注目領域の候補である候補領域を検出する候補領域検出手段と、
前記各候補領域について、前記候補領域に含まれる単位領域に対応づけられた前記スコア値の平均値と所定の閾値との関係に基づいて前記候補領域が注目領域であるか否かを判定する領域特定手段と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記領域特定手段は、前記スコア値の平均値が高い順に２つの前記候補領域について、当該２つの候補領域に係る前記スコア値の平均値の比に基づいて前記候補領域が注目領域であるか否かを判定することを特徴とする画像処理装置。
【請求項３】
請求項１又は２に記載の画像処理装置において、
前記検出開始点決定手段は、複数の前記検出開始点が前記スコア値のマップ上でそれぞれ所定の距離以上離れるように、前記検出開始点を決定することを特徴とする画像処理装置。
【請求項４】
コンピュータを用いて、人物の少なくとも一部を撮像して生成された画像データについて、当該画像データの中から当該人物の手又は足に係る部分を含む注目領域を検出する画像処理方法であって、
前記画像データに含まれる単位領域のそれぞれについて、当該単位領域の画像データ内における位置に、当該単位領域が注目領域に含まれる度合いに関するスコア値が対応づけられたスコア値のマップを取得するステップと、
所定の条件に基づいて、複数の検出開始点を決定するステップと、
前記スコア値のマップに基づいて、前記各検出開始点にそれぞれ対応づけられた複数の注目領域の候補である候補領域を検出するステップと、
前記各候補領域について、前記候補領域に含まれる単位領域に対応づけられた前記スコア値の平均値と所定の閾値との関係に基づいて前記候補領域が注目領域であるか否かを判定するステップと、
を含むことを特徴とする画像処理方法。
【請求項５】
コンピュータに、人物の少なくとも一部を撮像して生成された画像データについて、当該画像データの中から当該人物の手又は足に係る部分を含む注目領域を検出させる画像処理プログラムであって、
前記画像データに含まれる単位領域のそれぞれについて、当該単位領域の画像データ内における位置に、当該単位領域が注目領域に含まれる度合いに関するスコア値が対応づけられたスコア値のマップを取得するステップと、
所定の条件に基づいて、複数の検出開始点を決定するステップと、
前記スコア値のマップに基づいて、前記各検出開始点にそれぞれ対応づけられた複数の注目領域の候補である候補領域を検出するステップと、
前記各候補領域について、前記候補領域に含まれる単位領域に対応づけられた前記スコア値の平均値と所定の閾値との関係に基づいて前記候補領域が注目領域であるか否かを判定するステップと、
を前記コンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに含まれる、人物の手又は足に係る部分を含む領域を検出する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
画像データの中から、人物の手や足に係る部分を検出することは、当該人物の姿勢や状態を認識するために極めて重要な技術である。手や足を検出する方法としては、例えば何らかの方法により当該人物の肌の肌色情報を色分布として取得し、その色分布を用いて手や足を含む画像領域を画定する手法がある。上記の技術により例えば手領域を検出するには、取得した肌色の色分布をもとに、画像データに含まれる各画素について手領域に含まれる度合いに関するスコア値を算出し、各画素の位置とスコア値とが対応づけられたスコア値のマップを生成する。そして、このスコア値のマップを用いて手領域を検出する。スコア値のマップを用いて手領域を検出する場合、まず所定の条件に基づいてスコア値のマップ上に検出開始点を設定する。そして、当該検出開始点を基点として、その周囲のスコア値の高い画素が集まった領域を検出し、手領域として決定する（例えば、特許文献１参照）。
【０００３】
上記のような方法を用いて領域を検出する場合には、予め画像データに含まれるべき手領域、足領域の数を指定する。これにより、指定された領域の数に応じて検出開始点の数を決定し、検出開始点のそれぞれに基づいて領域を決定することで、意図した数の領域を得ることができる。
【特許文献１】特開２００５‐０７８２５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来例の技術によれば、予め画像データに含まれる手領域や足領域の数を知ることができない場合、正しい数の手領域や足領域を検出することができない。
【０００５】
本発明は、上記実情に鑑みてなされたものであって、その目的の一つは、画像データに含まれる人物の手又は足に係る部分を含む注目領域を検出する場合に、予め画像データに含まれる注目領域の数を知ることができない場合であっても、画像データに含まれる注目領域の数に応じて注目領域を検出できる画像処理装置、画像処理方法及び画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するための本発明に係る画像処理装置は、人物の少なくとも一部を撮像して生成された画像データについて、当該画像データの中から当該人物の手又は足に係る部分を含む注目領域を検出する画像処理装置であって、前記画像データに含まれる単位領域のそれぞれについて、当該単位領域の画像データ内における位置に、当該単位領域が注目領域に含まれる度合いに関するスコア値が対応づけられたスコア値のマップを取得するマップ取得手段と、所定の条件に基づいて、複数の検出開始点を決定する検出開始点決定手段と、前記スコア値のマップに基づいて、前記各検出開始点にそれぞれ対応づけられた複数の注目領域の候補である候補領域を検出する候補領域検出手段と、前記各候補領域について、前記候補領域に含まれる単位領域に対応づけられた前記スコア値の平均値と所定の閾値との関係に基づいて前記候補領域が注目領域であるか否かを判定する領域特定手段と、を含むことを特徴とする。
【０００７】
ここで、前記領域特定手段は、前記スコア値の平均値が高い順に２つの前記候補領域について、当該２つの候補領域に係る前記スコア値の平均値の比に基づいて前記候補領域が注目領域であるか否かを判定することとしてもよい。
【０００８】
また、前記検出開始点決定手段は、複数の前記検出開始点が前記スコア値のマップ上でそれぞれ所定の距離以上離れるように、前記検出開始点を決定することとしてもよい。
【０００９】
また、本発明に係る画像処理方法は、コンピュータを用いて、人物の少なくとも一部を撮像して生成された画像データについて、当該画像データの中から当該人物の手又は足に係る部分を含む注目領域を検出する画像処理方法であって、前記画像データに含まれる単位領域のそれぞれについて、当該単位領域の画像データ内における位置に、当該単位領域が注目領域に含まれる度合いに関するスコア値が対応づけられたスコア値のマップを取得するステップと、所定の条件に基づいて、複数の検出開始点を決定するステップと、前記スコア値のマップに基づいて、前記各検出開始点にそれぞれ対応づけられた複数の注目領域の候補である候補領域を検出するステップと、前記各候補領域について、前記候補領域に含まれる単位領域に対応づけられた前記スコア値の平均値と所定の閾値との関係に基づいて前記候補領域が注目領域であるか否かを判定するステップと、を含むことを特徴とする。
【００１０】
また、本発明に係る画像処理プログラムは、コンピュータに、人物の少なくとも一部を撮像して生成された画像データについて、当該画像データの中から当該人物の手又は足に係る部分を含む注目領域を検出させる画像処理プログラムであって、前記画像データに含まれる単位領域のそれぞれについて、当該単位領域の画像データ内における位置に、当該単位領域が注目領域に含まれる度合いに関するスコア値が対応づけられたスコア値のマップを取得するステップと、所定の条件に基づいて、複数の検出開始点を決定するステップと、前記スコア値のマップに基づいて、前記各検出開始点にそれぞれ対応づけられた複数の注目領域の候補である候補領域を検出するステップと、前記各候補領域について、前記候補領域に含まれる単位領域に対応づけられたスコア値の平均値と所定の閾値との関係に基づいて前記候補領域が注目領域であるか否かを判定するステップと、を前記コンピュータに実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、画像データに含まれる、人物の手又は足に係る部分を含む注目領域を検出する際に、予め画像データに含まれる手又は足の数を知ることができない場合においても、画像データに含まれる注目領域の数に応じて注目領域を検出でき、検出の精度を向上できる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の好適な実施の形態について、図面を参照しながら説明する。
【００１３】
本発明の実施の形態に係る画像処理装置１０は、図１に示すように、制御部１１、記憶部１２、操作部１３、表示部１４及び撮像部１５を含んで構成されている。
【００１４】
ここで、制御部１１は、例えばＣＰＵ等で構成されており、記憶部１２に格納されているプログラムに従って動作する。記憶部１２は、ＲＡＭやＲＯＭ等のメモリ素子及び／又はディスクデバイスなどを含んで構成されている。この記憶部１２には、制御部１１によって実行されるプログラムが格納されている。また、記憶部１２は、制御部１１のワークメモリとしても動作する。本実施の形態において制御部１１が実行する処理の内容については、後に詳しく述べる。
【００１５】
操作部１３は、キーボードやマウス等であり、利用者の指示操作を受け付けて、当該指示操作の内容を制御部１１に出力する。表示部１４は、ディスプレイ等であり、制御部１１からの指示に従って、情報の表示を行う。
【００１６】
撮像部１５は、デジタルスチルカメラやビデオカメラ等であり、画像を撮影して得られた画像データを制御部１１に対して出力する。なお、撮像部１５は、必ずしも必要ではない。この場合、本実施の形態による処理の対象となる画像データは、記憶部１２に予め保持されていてもよいし、図示しない通信部によりネットワーク経由で他の装置から受信することとしてもよい。
【００１７】
以下では、人物を撮像して生成された画像データに対して、当該人物の顔に係る部分を含む顔領域をまず抽出し、当該顔領域に含まれる画素の色の情報に基づいて当該人物の手に係る部分を含む手領域を検出する場合に、画像処理装置１０が実行する処理を例として説明する。なお、本発明の実施の形態は、上述の形態に限られず、例えば手領域に代えて足領域を検出することとしてもよい。また、任意の対象物について、当該対象物の性状情報に基づいて画像データから当該対象物の少なくとも一部を含む画像領域（注目領域）を複数個検出する場合に適用可能である。例えば、人物だけでなく、動物やロボット等、画像データに含まれる複数の領域を外観の性状情報を用いて検出可能な多様な対象物に対して適用することができる。この場合、対象物の外観や撮像する画像のデータ形式などによって、色の情報に代えて画素の濃度の情報など他の外観の性状に関する情報を用いてもよい。
【００１８】
画像処理装置１０は、機能的には、図２に示すように、顔領域抽出部２１、色ヒストグラム生成部２２、マップ生成部２３、検出開始点決定部２４、候補領域検出部２５及び手領域特定部２６を含んで構成されている。これらの機能は、プログラムとして画像処理装置１０の記憶部１２に記憶されており、制御部１１によって実行される。
【００１９】
顔領域抽出部２１は、撮像部１５などによって得られた画像データに対して、当該画像データの中からサンプルデータとして用いる人物の顔に係る部分を含む画像領域を抽出する。撮像部１５がビデオカメラなどの場合、動画像のデータが得られるが、この場合、顔領域抽出部２１は、動画像データの中に含まれる各フレームの静止画像データに対して、処理を行う。
【００２０】
顔領域の抽出の方法は特に限定されず、任意の技術を用いることができる。例えば、顔領域抽出部２１は、予め学習によって獲得した顔の形状パターンに関する統計データを用いて、顔領域の抽出を行うこととしてもよい。また、顔領域抽出部２１は、顔の位置だけでなく、顔の向きや大きさを特定することとしてもよい。
【００２１】
色ヒストグラム生成部２２は、顔領域抽出部２１により抽出された画像領域に含まれる画素について、その色分布を表す色ヒストグラムを生成する。生成される色ヒストグラムは、対象となる画像データに表される人物の顔の色情報から得られた、その人物固有の肌の色情報を表すことになる。
【００２２】
具体的に、色ヒストグラム生成部２２は、まず顔領域に含まれる画素がそれぞれ持つ色の値を、必要に応じて適当な色空間上の値に変換する。例えば、元の画像データに含まれるそれぞれの画素が、赤、緑、青の３原色のそれぞれについて０から２５５までの２５６階調の値（以下、それぞれＲ，Ｇ，Ｂで表す）を持ち、これら３つの値の組み合わせによって画素の持つ色が表されるものとする。この場合、色ヒストグラム生成部２２は、他の色空間への変換を行わず、Ｒ，Ｇ，Ｂの値をそのまま用いて３次元のヒストグラムを生成してもよいし、３つの値のうち一部の値のみ用いて、より低次元のヒストグラムを生成することとしてもよい。また、特に人物の肌色の特徴を捉える場合には、前記Ｒ，Ｇ，Ｂの値によって表される色を正規化ｒｇ空間や、ＨＳＶ空間上の値に変換することが望ましい。ここでは、正規化ｒｇ空間上の値に変換するものとする。正規化ｒｇ空間上のｒ成分、ｇ成分のそれぞれの値は、以下の計算式により計算される。
ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）
ｇ＝Ｇ／（Ｒ＋Ｇ＋Ｂ）
この計算式により、色ヒストグラム生成部２２は、それぞれの画素について、（Ｒ，Ｇ，Ｂ）の値から、正規化ｒｇ空間上の値（ｒ，ｇ）を得る。ここで、ｒ，ｇはそれぞれ０から１までの値をとる。
【００２３】
さらに、色ヒストグラム生成部２２は、顔領域に含まれる画素のそれぞれについて、必要に応じて変換された色空間上の値が、色ヒストグラムのどのビンに含まれるか判定する。ここで、ヒストグラムのビン数としては、予め定められた適当な値を用いる。例えばビン数をｒ成分、ｇ成分のそれぞれについて５０とすると、生成される色ヒストグラムは、５０×５０のビン数を持つ２次元のヒストグラムになる。ｒ，ｇはそれぞれ０から１までの値をとるので、ビンの幅が一様である場合、それぞれのビン幅は１／５０となる。
【００２４】
このようにして、色ヒストグラム生成部２２は、顔領域抽出部２１が抽出した画像領域に含まれる画素について、所定の色空間における色分布を色ヒストグラムとして生成する。この色ヒストグラムは、それぞれのビンについて、そのビンに該当する成分の色を持つ画素の数を度数として持つ。また、そのビンに該当する成分の色を持つ画素の数を調査対象とした画素数で割った値を度数としてもよい。この場合、各ビンの度数は画像領域に含まれる全画素に対する割合で表され、全てのビンの度数を合計すると１になる。
【００２５】
マップ生成部２３は、色ヒストグラム生成部２２により生成された色ヒストグラムのデータを用いて、スコア値のマップ（活性化マップ）を生成する。ここで、スコア値のマップは、処理の対象となっている画像データに含まれる各画素について、当該画素の画像データ上の位置情報と、当該画素が検出しようとする手領域に含まれる度合いに関するスコア値とが対応づけられたデータである。スコア値は、画像データに含まれる各画素について、注目領域（本実施例においては、手領域）に含まれる度合いを所定の方法により算出した値である。例えば、当該画素が手領域に含まれる確率を表す尤度などに基づいてスコア値を算出できる。本実施の形態においては、スコア値は主として当該画素の色が画像データに撮像された人物の肌色である可能性がどの程度あるかに関する情報に基づいて算出される。
【００２６】
スコア値を算出する方法としては、バックプロジェクション方式や相関方式などの方法を用いることができる。具体的には、例えば以下のようにする。すなわち、まずスコア値を算出する対象となる画素の色の値を、必要に応じて色ヒストグラム生成部２２が用いた色空間上の値に変換する。そして、色ヒストグラム生成部２２により得られた色ヒストグラムにおいて、変換後の画素の色情報が該当するビンの度数の値を、当該画素の肌色のスコア値として設定する。
【００２７】
ここで、顔領域抽出部２１が抽出した顔領域については、手領域検出部２５が手領域を検出する対象からは除かれるため、スコア値の算出は行わなくともよい。この場合、当該画像領域に含まれる画素のスコア値を０とすることで、手領域検出部２５が検出する対象から除かれるようにすることができる。
【００２８】
また、スコア値を算出する場合に、顔領域との位置関係を考慮してもよい。すなわち、顔領域の位置や大きさ、また顔の向きの情報から、手が存在する可能性が高いと考えられる位置にある画素については、同じ肌色の色情報を持っていたとしても、手が存在する可能性が低いと考えられる位置にある画素よりもスコア値が高くなるように、スコア値の算出を行う。このようにすれば、より精度よく手領域を検出することができる。
【００２９】
このようにして得られたスコア値のマップは、顔領域抽出部２１が抽出した顔領域の色情報に近い色を持つ画素が高いスコア値を持ち、手領域であると考えられる領域に高いスコア値を持つ画素が集まることになる。
【００３０】
検出開始点決定部２４は、候補領域検出部２５が手領域の候補領域を検出する際の基点となる位置（検出開始点）を、所定の条件に基づいて複数個所決定する。検出開始点の決定方法としては、スコア値のマップ上の各画素のスコア値に基づいて決定する方法などがある。例えば、全画素の中から、スコア値の高い順に所定の数の画素を、検出開始点として決定する。
【００３１】
また、例えば以下のような方法により検出開始点を決定してもよい。すなわち、所定の方法でサイズを定めた正方形の領域を用意し、この正方形の領域によってスコア値のマップ全体を走査した場合に、正方形の領域の内部に含まれる画素のスコア値の平均値が高くなるような位置を、平均値が高い順に所定の数だけ決定する。そして、その位置における正方形の領域の中心を検出開始点として決定する。この場合、正方形の領域の大きさを、顔領域抽出部２１が抽出した顔領域の大きさに基づいて、例えば顔領域の大きさの０．４倍の大きさになるように設定するとよい。これにより、単にスコア値の高い画素に基づいて検出開始点を決定する場合に比べて、手領域ではないのに高いスコア値を持つような画素によるノイズの影響を低減できる。
【００３２】
また、元の画像データが動画像に含まれるフレームの画像データである場合、当該フレームより時間的に前のフレームの画像データについて、既に手領域の検出を行っていれば、前のフレームで得られた手領域の位置に基づいて検出開始点を決定してもよい。動画像の場合、前後のフレーム画像において手領域の位置が急激に変化する可能性は少ないため、この方法によれば、より手領域である可能性が高い位置を検出開始点として決定することができる。あるいは、顔領域の位置及び大きさ、顔の向きなどに基づいて、顔との相対的な位置関係により、手領域がある可能性が高いと判断される領域の中から検出開始点を決定してもよい。
【００３３】
さらに、検出開始点決定部２４は、複数の検出開始点を決定する際に、それぞれの検出開始点が所定の距離以上離れるように決定してもよい。例えば、顔領域の大きさに基づいて、手領域の大きさとして予測される大きさを見積もり、これに基づいて所定の距離を決定する。これにより、互いに離れた複数の手領域を検出しやすくなる。
【００３４】
候補領域検出部２５は、マップ生成部２３が生成したスコア値のマップ上において、検出開始点決定部２４が決定した当該スコア値のマップ上の各検出開始点を基点として、検出する目的となる画像領域である手領域の候補領域を検出する。具体的に、候補領域検出部２５は、各検出開始点に対して、スコア値のマップ上において当該検出開始点の近傍の高いスコア値を持つ画素が集まった領域を特定することで、候補領域を検出する。候補領域は、複数の検出開始点に応じて、複数個検出される。
【００３５】
候補領域検出部２５が候補領域を検出する方法は特に限定されないが、ここでは、カムシフトアルゴリズム（Gary R.Bradski, Computer Vision Face Tracking For Use in a Perceptual User Interface: Intel Technology Journal Q2,1998）を用いた例について説明する。
【００３６】
カムシフトアルゴリズムを用いる場合、まず検出開始点を中心として、ある大きさを持った正方形の領域（以下、テンプレートという）を設定し、その中に含まれる画素のスコア値の情報を用いて、所定の関数により手領域である可能性を判断するための値（以下、モーメントという）を計算する。候補領域検出部２５は、このモーメントに基づいてテンプレートの重心を決定し、決定した重心にテンプレートの中心を移動させて、当該位置におけるモーメントを再計算する処理を行う。以下、同様にして、新たに求めた重心と前回求めた重心との距離が所定の値以下になる（すなわち、重心の位置が収束する）か、繰り返しの回数が所定の値に到達するまでこれらの処理を繰り返す。これにより、最終的に得られたテンプレートの重心の位置を、候補領域の中心として仮決定する。
【００３７】
続いて、モーメントの値に基づいてテンプレートのサイズ及び傾きを変化させて、再度重心の位置が収束するまで前述の処理を繰り返す。この一連の処理を、位置、サイズ及び傾きの全てが収束するか、繰り返し回数が所定の値に到達するまで繰り返すことにより、最終的に得られたテンプレートの位置、サイズ及び傾きを候補領域の位置、サイズ及び傾きとして決定する。
【００３８】
手領域特定部２６は、候補領域検出部２５が複数の検出開始点に応じて検出した複数の候補領域の中から、所定の条件を満たす領域を、手領域として特定する。以下では、手領域特定部２６が手領域を特定する手順について、図３のフロー図に基づいて説明する。なお、ここでは、候補領域検出部２５が検出した候補領域の数をＮとし、それぞれの候補領域Ｔｋ（ｋ＝１，２，・・・，Ｎ）に含まれる画素のスコア値の平均値をＳｋで表す。
【００３９】
まず、手領域特定部２６は、候補領域Ｔｋの大きさが所定の条件を満たすか否かを判定し、所定の条件を満たさない候補領域を以降の処理の対象から除外する（Ｓ１）。具体的には、例えば候補領域の幅及び高さが所定の範囲に含まれているか否かを判定し、含まれていない場合には候補領域は手領域ではないと判断する。所定の範囲は、例えば画像データ全体の大きさや顔領域の大きさに基づいて決定してもよい。また、元の画像データが動画像データに含まれるフレームの画像データである場合には、当該フレームより時間的に前のフレームに対して検出した手領域の大きさなどに基づいて、所定の範囲を決定してもよい。
【００４０】
次に、手領域特定部２６は、Ｓ１の処理において除外されずに残った候補領域Ｔｋについて、それぞれの領域に含まれる画素のスコア値の平均値Ｓｋが最も高い候補領域を第１候補領域Ｔｓとして設定する。また、スコア値の平均値が２番目に高い候補領域を第２候補領域Ｔｆとして設定する（Ｓ２）。この第１候補領域及び第２候補領域が、候補領域検出部２５が検出した複数の候補領域の中で、最終的に手領域であると判断される候補となる。ここで、第１候補領域に含まれる画素のスコア値の平均値をＳｆ、第２候補領域に含まれる画素のスコア値の平均値をＳｓとする。
【００４１】
続いて、手領域特定部２６は、まずＳｓが所定の閾値より大きいか否かを判定する（Ｓ３）。ここで、所定の閾値は、例えば過去に検出された手領域のスコア値の平均値などのデータに基づいて０．００５などの値に設定する。所定の閾値以下の場合、第２候補領域Ｔｓは手領域ではないと推測される。
【００４２】
Ｓｓが所定の閾値以下である場合、手領域特定部２６は次に、Ｓｆが所定の閾値より大きいか否かを判定する（Ｓ４）。ここで、所定の閾値は、Ｓ４で用いたものと同じ値であるとする。Ｓｆも所定の閾値以下の場合、第１候補領域Ｔｆも手領域ではないと推測される。従って、手領域特定部２６は、画像データの中に手領域は含まれていないと判定して処理を終了する（Ｓ５）。一方、Ｓｆが所定の閾値より大きい場合には、第１候補領域Ｔｆは手領域であると考えられる。従って、画像データの中には手領域が一つだけ含まれると判定し、第１候補領域Ｔｆを手領域として特定する（Ｓ６）。
【００４３】
これに対して、Ｓ３の処理においてＳｓが所定の閾値より大きいと判定された場合、手領域特定部２６は第１候補領域Ｔｆ及び第２候補領域Ｔｓの両方が手領域であると判定してもよい。しかしながら、ここではさらに検出精度を上げるため、ＳｓとＳｆの比が所定の閾値より大きいか否かを判定する（Ｓ７）。具体的には、Ｓｆ／Ｓｓが例えば２．０より大きいか否かを判定する。これにより、例えば２つの候補領域のスコア値の平均値に大きな差があってＳｆがＳｓの２倍となるような場合、一方の候補領域は手領域ではないと判定する。このようにＳｆとＳｓの比を用いて手領域であるか否かを判定する場合、Ｓ３で用いた閾値より大きい候補領域であっても、手領域ではないと判定することがあり得ることになる。
【００４４】
ＳｓとＳｆの比が所定の閾値より大きい場合、第２候補領域Ｔｓは手領域ではないと判定し、手領域特定部２６は第１候補領域Ｔｆのみを手領域として特定する（Ｓ６）。一方、ＳｓとＳｆの比が所定の閾値以下の場合には、第１候補領域Ｔｆ及び第２候補領域Ｔｓの両方が手領域であると考えられる。従って、手領域特定部２６は、画像データの中に手領域が二つ含まれると判定し、第１候補領域Ｔｆ及び第２候補領域Ｔｓを手領域として特定する（Ｓ７）。
【００４５】
以上の処理により得られた手領域の情報は、人物の姿勢や状態に関する情報として記憶部１２に記録され、又は他の処理に用いられる。また、処理の対象とした画像データが動画像の一部であるフレーム画像のデータであった場合、動画像データの各フレームに対して手領域を検出し、各フレームについての手領域の差分情報を得ることで、人物の手の動きを把握することが可能となる。
【００４６】
以上説明した本発明の実施の形態によれば、所定の閾値に基づいて候補領域が手領域であるか否かの判定を行うことで、予め画像データに含まれる手領域の数を知ることができない場合や、オクリュージョン（隠れ領域）を含む動画像から手領域を検出する場合であっても、画像データに含まれる手の数に応じて手領域を検出でき、手領域の検出精度を向上できる。
【００４７】
また、本実施の形態を足領域に適用することにより、手領域を検出する場合と同様に、事前に足領域の数を知ることができない場合であっても、画像データに含まれる足の数に応じて足領域を検出できる。この場合、顔領域との位置関係などに関する情報を含めて算出した、手領域の検出に用いるものとは異なるスコア値のマップを用いて、候補領域の検出及び足領域の特定を行ってもよい。また、手領域の検出に用いるものと同様の、顔領域の肌色分布に基づくスコア値のマップにより候補領域の検出を行い、顔領域との位置関係や既に検出した手領域との位置関係、及び足領域を特定するために設定された所定の閾値などに基づいて足領域の特定を行ってもよい。さらにこの場合には、当該画像データ中の手領域に含まれる画素のスコア値の平均値と、足領域の候補領域に含まれる画素のスコア値の平均値との比に基づいて、候補領域が足領域であるか否かを判定する処理を行ってもよい。
【００４８】
なお、以上の説明においては、画像データに含まれる各画素についてスコア値を設定し、スコア値のマップを生成する例について説明したが、マップ生成部２３が生成するスコア値のマップは、必ずしも単位領域として画素を用いなくてもよい。例えば、２×２の４画素など複数の画素の集合を単位領域として設定し、当該単位領域ごとにスコア値を設定することで、画素ごとにスコア値を設定した場合に比較してより粗い情報量を持つスコア値のマップが得られる。このスコア値のマップに対して、検出開始点決定部２４及び候補領域検出部２５が候補領域を検出することで、検出される注目領域の精度は落ちるものの、より少ない計算量で注目領域を検出することができる。
【００４９】
また、上記説明においては、まず顔領域を顔領域抽出部２１が抽出し、得られた顔領域に含まれる画素から色ヒストグラム生成部２２が色ヒストグラムを生成したが、本発明の実施の形態はこのような形態に限られない。すなわち、色ヒストグラムは予め所定の肌色の色分布として与えられていてもよいし、過去の注目領域を検出する処理によって得られた学習データを用いてもよい。また、動画像に含まれる各フレームの画像データから注目領域を検出する場合、以前のフレームの画像データに対して色ヒストグラム生成部２２が生成した色ヒストグラムを用いてスコア値のマップを生成することとしてもよい。
【図面の簡単な説明】
【００５０】
【図１】本発明の実施の形態に係る画像処理装置の構成を表すブロック図である。
【図２】本発明の実施の形態に係る画像処理装置の機能を表す機能ブロック図である。
【図３】本発明の実施の形態に係る画像処理装置によって実行される処理の一例を示すフロー図である。
【符号の説明】
【００５１】
１０  画像処理装置、１１  制御部、１２  記憶部、１３  操作部、１４  表示部、１５  撮像部、２１  顔領域抽出部、２２  色ヒストグラム生成部、２３  マップ生成部、２４  検出開始点決定部、２５  候補領域検出部、２６  手領域特定部。
【図１】
2006350576.tif 000003
【図２】
2006350576.tif 000004
【図３】
2006350576.tif 000005