(57)【要約】【課題】人の個人差や照明変化に依らず、実環境で利用することができる手領域抽出装置及び手領域検出方法を提供する。【解決手段】撮像部１１で撮像された画像を取り込む画像取込部１２と、画像取込部１２で取り込んだ画像から肌色の候補領域を選定する肌色候補領域選定部１３と、肌色候補選定部で選定された肌色の候補領域から手候補領域を抽出する手候補領域抽出部１４と、手候補領域抽出部で抽出された手候補領域の形状の複雑度を算出する形状複雑度算出部１５と、形状複雑度算出部１５で算出された複雑度を評価する複雑度評価部１６と、複雑度評価部１６による評価結果に基づいて手領域を決定する手領域決定部１７とを備える。【選択図】図１
2007052609.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から人の統計的肌色特徴に基づいて手の候補領域を検出する手候補検出手段と、
上記手候補検出手段で抽出された手の候補領域の形状複雑度を算出する形状複雑度算出手段と、
上記形状複雑度算出手段で算出された形状複雑度に基づいて上記手の候補領域から手領域を検出する手領域検出手段と
を備えることを特徴とする手領域検出装置。
【請求項２】
上記手候補検出手段は、上記入力画像から統計的ＲＧＢ情報により肌色候補領域を選定し、当該肌色候補領域の画像分布特性に基づいて手の候補領域を検出すること特徴とする請求項１記載の手領域検出装置。
【請求項３】
上記手候補検出手段は、上記肌色候補領域の画像分布特性において画素数が最も多い色相領域及び彩度領域に基づいて手の候補領域を抽出すること特徴とする請求項２記載の手領域検出装置。
【請求項４】
上記形状複雑度算出手段は、上記手の候補領域の面積及び周辺長に基づいて上記形状複雑度を算出することを特徴とする請求項１記載の手領域検出装置。
【請求項５】
上記形状複雑度算出手段は、上記手の候補領域の中心からの距離に基づいて上記形状複雑度を算出することを特徴とする請求項１記載の手領域検出装置。
【請求項６】
上記手領域検出手段で検出された手領域を含む画像から動き領域を検出する動き領域検出手段と、
上記動き領域検出手段で検出された動き領域に基づいて上記手領域から最終的な手領域を決定する手領域決定手段と
をさらに備えることを特徴とする請求項１記載の手領域検出装置。
【請求項７】
所定の位置関係を持つ複数のカメラからの画像に基づいて入力画像の各画素の３次元空間内の位置を推定した距離情報を取得する距離情報取得手段と、
上記距離情報取得手段で取得された距離情報に基づいて上記手領域から最終的な手領域を決定する手領域決定手段と
をさらに備えることを特徴とする請求項１記載の手領域検出装置。
【請求項８】
入力画像から人の統計的肌色特徴に基づいて手の候補領域を検出する手候補検出工程と、
上記手候補検出工程で抽出された手の候補領域の形状複雑度を算出する形状複雑度算出工程と、
上記形状複雑度算出工程で算出された形状複雑度に基づいて上記手の候補領域から手領域を検出する手領域検出工程と
を有することを特徴とする手領域検出方法。
【請求項９】
入力画像から手領域を検出する処理を実行させるプログラムにおいて、
上記入力画像から人の肌色特徴に基づいて手の候補領域を検出する手候補検出工程と、
上記手候補検出工程で抽出された手の候補領域の形状複雑度を算出する形状複雑度算出工程と、
上記形状複雑度算出工程で算出された形状複雑度に基づいて上記手の候補領域から手領域を検出する手領域検出工程と
を有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人と機器との間のインタフェースに関し、特に、人の手の領域を検出・認識する手領域検出装置及び手領域検出方法、並びにプログラムに関するものである。
【背景技術】
【０００２】
人と機器との間の自然なインタフェースを実現するには、人の手振り・身振りを含めて、操作者の様々な行動や音声などの情報を統合的に解析し、人の存在や意図などを検出し認識することが不可欠である。そこで、従来から人の行動解析に関する様々な技術が検討されてきた。これらを大別すると、人の顔に着目したもの（例えば、顔の向き、表情、視線、唇の動きなど）と、人の手足の動き（手振り、指差し、ジェスチャ、動きイベント、歩行パターンなど）に着目したものに分けることができる。その中でも一般環境での手領域の検出・認識は最も重要な技術の一つであり、数多く検討されている。例えば、人の手を左右に動かす往復運動に着目した手振り検出方法（例えば、非特許文献１参照。）、データグローブなどの特殊なものを取り付ける手法（例えば、非特許文献２参照。）、人の肌色情報などを用いる手法（例えば、非特許文献３及び非特許文献４参照。）などが提案されている。
【０００３】
【非特許文献１】入江、梅田: 濃淡値の時系列変化を利用した画像からの手振りの検出、 P2-8, 画像の認識・理解シンポジウム（MIRU'02） （名工大（名古屋市），7 月30日-8 月1 日，2002）
【非特許文献２】星野: 非言語コミュニケーションが可能なロボットハンドの設計、文科省科研費特定領域研究「IT の深化の基盤を拓く情報学研究」 研究項目A03「人間の情報処理の理解とその応用に関する研究」 第4 回柱研究会 （芝蘭会館（京都市），7 月2 日，2003）
【非特許文献３】伊藤、尾関、中村、大田: 映像インデキシングのための手と把持物体のロバストな認識と追跡、画像センシングシンポジウム、 pp.143-162, (2003)
【非特許文献４】入江、梅田：ジェスチャ認識に基づくインテリジェントルームの構築、第4 回動画像処理実利用化ワークショップ、平成１5 年3 月6 日−7 日
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記非特許文献１に記載された手の周期的な動きによる手振り検出手法は、照明などに影響されにくいといった利点があるが、背景との輝度差や手の振り方の個人差などによって、手領域を正確に検出できない虞がある。
【０００５】
また、上記非特許文献２に記載されたデータグローブなどの特殊なものを利用する手法は、手を確実に検出できるが、自然なインタフェースではない。
【０００６】
また、上記非特許文献３及び４に記載された人の肌色だけを利用した手領域検出手法は、多く用いられているが、照明環境の変化、肌色の個人差、カメラ内部設定（例えば、ホワイトバランス）などによって、手領域の検出が困難な場合がある。
【０００７】
また、肌色、手の動き、手の大きさ、人間の肌の表面体温などを検出するためのマルチセンサーを用いた手領域検出手法も提案されていたが、システムの構築が複雑となってしまう。
【０００８】
本発明は、上記問題点を解消するためになされたものであり、人の個人差や照明変化に依らず、実環境で利用することができる手領域抽出装置及び手領域検出方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明に係る手領域検出装置は、入力画像から人の統計的肌色特徴に基づいて手の候補領域を検出する手候補検出手段と、上記手候補検出手段で抽出された手の候補領域の形状複雑度を算出する形状複雑度算出手段と、上記形状複雑度算出手段で算出された形状複雑度に基づいて上記手の候補領域から手領域を検出する手領域検出手段とを備えることを特徴としている。
【００１０】
また、本発明に係る手領域検出方法は、入力画像から人の統計的肌色特徴に基づいて手の候補領域を検出する手候補検出工程と、上記手候補検出工程で抽出された手の候補領域の形状複雑度を算出する形状複雑度算出工程と、上記形状複雑度算出工程で算出された形状複雑度に基づいて上記手の候補領域から手領域を検出する手領域検出工程とを有することを特徴としている。
【００１１】
また、本発明に係るプログラムは、入力画像から手領域を検出する処理を実行させるプログラムにおいて、上記入力画像から人の肌色特徴に基づいて手の候補領域を検出する手候補検出工程と、上記手候補検出工程で抽出された手の候補領域の形状複雑度を算出する形状複雑度算出工程と、上記形状複雑度算出工程で算出された形状複雑度に基づいて上記手の候補領域から手領域を検出する手領域検出工程とを有することを特徴としている。
【発明の効果】
【００１２】
本発明によれば、入力画像から人の肌色特性に基づいて手の候補領域を抽出し、抽出された手の候補領域の形状複雑度を算出し、この形状複雑度に基づいて手の候補領域から手領域を検出することにより、人の個人差や照明変化に依らない実環境で利用することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の具体的な実施の形態について、図面を参照しながら詳細に説明する。図１は、第１の実施形態における手領域検出装置の構成を示すブロック図である。この手領域検出装置１０は、撮像部１１と、撮像部１１で撮像された画像を取り込む画像取込部１２と、画像取込部１２で取り込んだ画像から肌色の候補領域を選定する肌色候補領域選定部１３と、肌色候補選定部１３で選定された肌色の候補領域から手候補領域を抽出する手候補領域抽出部１４と、手候補領域抽出部１４で抽出された手候補領域の形状の複雑度を算出する形状複雑度算出部１５と、形状複雑度算出部１５で算出された複雑度に基づいて手領域を検出する手領域検出部１６とを備えて構成される。
【００１４】
撮像部１１は、ＣＣＤ（Charge Coupled Device）等の撮像素子を有するカメラで構成されている。
【００１５】
画像取込部１２は、撮像部１１からＪＰＥＧ（Joint Photographic Experts Group）等のフォーマットの画像を取り込む。
【００１６】
肌色候補領域選定部１３は、人間の統計的肌色特徴に基づいた肌色モデルを用いて、画像内の各画素が肌色モデルの色であるかどうかを判定することによって、肌色候補領域を選定する。この肌色モデルは、色相、彩度、ＲＧＢ情報等を用いた統計的な処理により得られる。
【００１７】
手候補領域抽出部１４は、肌色候補領域選定部１３で選定された各領域に対して、例えば、色相、彩度の分布等の画像分布特性を計算し、それらの領域内に例えば色相と彩度等の色特徴が類似する画素が最も大きい領域を手候補領域として抽出する。
【００１８】
形状複雑度算出部１５は、手候補領域抽出部１４で抽出された各手候補領域に対して、例えば、面積（画素数）と周辺長との比や手候補領域の中心からの距離に基づいて形状複雑度を算出する。
【００１９】
手領域検出部１６は、形状複雑度算出部１５で算出された各手候補領域の複雑度を、例えば、予め設定された閾値と比較評価することにより手領域を検出する。
【００２０】
なお、上述の手領域検出装置１０の構成では、撮像部１１から画像を取得することとしたが、ＤＶＤ（Digital Versatile Disc）、インターネット等の様々な媒体から画像を取得するようにしてもよい。
【００２１】
続いて、入力画像より手領域を検出するための処理について図面を参照して説明する。図２〜図５は、ＲＧＢ情報を用いて入力画像から肌色候補を選定する際の画像例を示す図である。
【００２２】
肌色候補領域選定部１３は、画像取込部１２により取り込んだ、例えば、図２に示す入力画像に対して、文献（M. J. Jones and J. M. Rehg: Statistical color models with application to skin detection, Proc. IEEE Conf.Computer Vision and Pattern Recognition, vol. 2, pp. 274-280, 1999.）に記載された各画素のＲＧＢ情報を用いることにより、図３のように肌色モデル色を検出する。そして、各画素が肌色モデル色であるかどうかを判定することにより、図４に示すように肌色候補領域Ａ〜Ｄを選定する。これにより、図２に示す入力画像に対して図５に示すような肌色候補領域Ａ〜Ｄを決定することができる。なお、ＲＧＢ情報に限らず、例えば、学習により得た肌色の統計的な情報（先見的知識）を用いて、各画素が肌色であるかどうかを判定し、画像のフィルタリング処理を用いた領域統合処理によって、画像内の肌色の候補領域を選定してもよい。
【００２３】
手候補領域抽出部１４は、図２に示すような入力画像から色相画像Ｈｕｅ（ｉ，ｊ）及び彩度画像Ｓｔａ（ｉ，ｊ）を計算し、入力画像を色相画像及び彩度画像に変換する。なお、色相はスペクトル上での色の位置を表しており、０度〜３６０度の角度により表されるものである。また、彩度は色の鮮やかさを表しており、灰色に近づくと値は小さくなり原色に近づくと値は大きくなる。
【００２４】
また、手候補領域抽出部１４は、肌色候補領域選定部１３により選定された各肌色候補領域Ａ〜Ｄに対し、色相分布（ヒストグラム）ｈｍ（ｋ）及び彩度分布（ヒストグラム）ｓｍ（ｋ）（ｋ＝０，１，２，．．．，Ｋ）をそれぞれ（１）式及び（２）式により計算する。
【００２５】
【数１】
2007052609.tif 000003
【００２６】
ここで、Ｒｍは各肌色補領域を示し、ｍ（ｍ＝１，２，．．．，Ｍ）は、肌色候補領域の数である。また、ｇ（Ｈｕｅ（ｉ，ｊ））及びｇ（Ｓｔａ（ｉ，ｊ））は、それぞれ色相画像Ｈｕｅ（ｉ，ｊ）及び彩度画像Ｓｔａ（ｉ，ｊ）の画素（ｉ，ｊ）における輝度値を示す。また、δ[ｘ]は、ｘが０の場合１であり、ｘが０でない場合０である。
【００２７】
上記（１）式を用いて、例えば、図６に示す色相画像の肌色候補領域Ｂの色相分布ｈｍ（ｋ）を計算すると、図７に示すようなヒストグラムを得ることができる。また、上記（２）式を用いて、例えば、図８に示す彩度画像の肌色候補領域Ｂの彩度分布ｓｍ（ｋ）を計算すると、図９に示すようなヒストグラムを得ることができる。
【００２８】
図１０及び図１１は、上述のヒストグラムから検出された肌色の色相領域及び彩度領域の例である。また、図１２及び図１３は、それぞれ肌色の色相領域及び彩度領域に基づいて手候補領域が検出された色相画像及び彩度画像である。
【００２９】
各肌色候補領域Ａ〜Ｄの色相分布ｈｍ（ｋ）及び彩度分布ｓｍ（ｋ）から、手候補領域抽出部１４は図１０及び図１１に示すように最も画素数が多い色相の値ｈ＿Ｌｅｖｅｌ及び彩度の値ｓ＿Ｌｅｖｅｌ並びにその分散ｈ＿ｖａｒ、ｓ＿ｖａｒを検出する。
【００３０】
ここで、肌色は色相の値が低いため、各肌色候補領域Ａ〜Ｄの色相画像Ｈｕｅ（ｉ，ｊ）における色相の値がｈ＿Ｌｅｖｅｌ±ｈ＿ｖａｒ以内で、且つ、その値が肌色の色相初期値Ｈ＿Ｉｎｉｔｉａｌより小さい画素の領域を肌色の色相領域（画像）Ｈｍ（ｉ，ｊ）とする。これにより、図１２に示すような各肌色候補領域Ａ〜Ｄの肌色の色相領域Ｈｍ（ｉ，ｊ）が求められる。なお、図１２に示す肌色候補領域Ａ〜Ｄにおいて肌色の色相領域Ｈｍ（ｉ，ｊ）は黒色で示している。
【００３１】
また、肌色は彩度の値が高いため、各肌色候補領域Ａ〜Ｄの彩度画像Ｓｔａ（ｉ，ｊ）における彩度の値がｓ＿Ｌｅｖｅｌ±ｓ＿ｖａｒ以内で、且つ、その値が肌色の彩度初期値Ｓ＿Ｉｎｉｔｉａｌより大きい画素の領域を肌色の彩度領域（画像）Ｓｍ（ｉ，ｊ）とする。これにより、図１３に示すような各肌色候補領域Ａ〜Ｄの肌色の彩度領域Ｓｍ（ｉ，ｊ）が求められる。なお、図１３に示す肌色候補領域Ａ〜Ｄにおいて肌色の彩度領域Ｓｍ（ｉ，ｊ）は白色で示している。
【００３２】
そして、肌色の色相領域Ｈｍ（ｉ，ｊ）と彩度領域Ｓｍ（ｉ，ｊ）とが重なる画素領域を手候補領域Ｒｍとする。すなわち、図１４に示す手候補領域のように各肌色候補領域Ａ〜Ｄにおいて図１２に示す黒色の領域と図１３に示す白色の領域とが重なる領域である。
【００３３】
このように色相と彩度とが類似する画素が最も大きい領域、つまり主導的な色を示す領域を手の候補領域として抽出することにより、人の肌色の個人差や実環境での照明変化に対するロバスト性を高めることができる。
【００３４】
形状複雑度算出部１５は、手候補領域抽出部１４で抽出された手候補領域Ｒｍに対し、例えば、その領域の面積（画素数）及び周辺長に基づいて手候補領域の複雑度を計算する。
【００３５】
【数２】
2007052609.tif 000004
【００３６】
ここで、Ｌは手の候補領域の周囲長、Ｓは手候補領域の面積及びδは形状の複雑度を示す。
【００３７】
手領域検出部１６は、形状複雑度算出部１５で算出された各手候補領域の形状の複雑度を、予め決められた手の形状に応じた複雑度と比較評価する。図１５は、手の形状に応じた複雑度の算出（学習）結果例である。例えば、指が５本開いている状態、つまり手が開いている状態（Ｋ１）の形状複雑度は、手が開いていない状態（Ｋ６）の形状複雑度と大きく違う。これを考慮して経験的に手領域を検出するための閾値を決める。例えば、頭部領域が手領域として検出されないように、４本以上の指が開いている状態（δ＞０．９）の形状複雑度を手領域の閾値とする。そして、手候補領域の複雑度が決められた閾値より大きい場合を手領域として検出する。
【００３８】
図１６は、５本の指が開いていない状態、つまり、手が開いていない状態の画像を示し、図１７は、そのときの手候補領域の形状複雑度を示す。この図１６に示す画像が入力された場合、手領域検出部１６は、手候補領域ｂ、ｃの複雑度を閾値と比較する。そして、例えば、複雑度の閾値をδ＝０．９と設定した場合、手候補領域ｂ及び手候補領域ｃとも複雑度が閾値よりも低いため、手領域検出部１６はこれらを手領域として検出しない。
【００３９】
また、図１８は、人差し指と中指の２本の指が開いている状態を示し、図１９は、そのときの手候補領域の形状複雑度を示す。この図１８に示す２本の指が開いている状態の画像が入力され、複雑度の閾値をδ＝０．９と設定した場合も、手候補領域ｂ及び手候補領域ｃとも複雑度が閾値よりも低いため、手領域検出部１６はこれらを手領域として検出しない。
【００４０】
また、図２０は、５本の指が全て開いている状態、つまり手が開いている状態を示し、図２１は、そのときの手候補領域の形状複雑度を示す。この図２０に示すように手が開いている状態の画像が入力され、手候補領域の形状の複雑度の閾値をδ＝０．９と設定した場合、手候補領域ｃの複雑度は閾値より小さいが手候補領域ｂの複雑度は閾値より大きいため、手領域検出部１６は、手候補領域ｂを手領域として検出する。
【００４１】
なお、上述のように手候補領域の面積及び周辺長に基づいて複雑度を計算することに限らず、図２２に示すように、手候補領域の中心を検出し、中心からの距離に基づいて計算してもよい。この場合、式（４）のように距離関数ｄ（θ）を定義すればよい。
【００４２】
【数３】
2007052609.tif 000005
【００４３】
図２３は、式（４）による距離関数のグラフである。ここで、距離関数ｄ（θ）の極大値が指の形状を示す閾値（Ｔｈｄ）以上である場合、その極大値の数を指の本数と推定することができる。
【００４４】
手領域検出部１６は、図２３に示すように閾値（Ｔｈｄ）以上の極大値の数に応じて手領域を検出する。例えば、閾値（Ｔｈｄ）以上の極大値の数の閾値を４、つまり指が４本以上検出された場合、その手候補領域を手領域として検出する。
【００４５】
また、図２３に示すようにｈ（ｋ）（ｋ＝１，２，．．．，Ｋ）を定義し、ｈ（ｋ）がある閾値以上の場合、指と推定するようにしてもよい。この場合、手領域検出部１６は閾値以上のｈ（ｋ）に応じて手領域を検出する。例えば、閾値を５とすると指が５本検出された場合、その手候補領域を手領域として検出することとなる。なお、これらの指を検出するための閾値や手領域を検出するための閾値は、学習によって決めてもよい。
【００４６】
このように人の統計的肌色特徴に基づいた肌色の候補領域を選定し、それらの領域内の画像分布特性による手の候補領域を抽出し、この手の候補領域の形状複雑度を評価することにより、人の肌色の個人差や照明変化によることなく、実環境でもロバストな手領域検出を行うことができる。
【００４７】
また、形状複雑度の評価によって、手の開いている時の領域特徴とその他の領域特徴とを区別することができるため、ロバストな手領域検出を行うことができる。
【００４８】
なお、本実施の形態では、統計的肌色特徴に基づいた肌色の候補領域を選定し、それらの領域内の画像分布特性による手の候補領域を抽出することとしたが、これに限られるものではなく、肌色の候補領域選定と手候補領域抽出とを統合し、ＲＧＢ処理や画像分布処理等を任意の順番で行い手候補領域を絞るようにしてもよい。
【００４９】
図２４は、第２の実施形態における手領域検出装置の構成を示すブロック図である。この実施の形態の手領域検出装置２０は、実環境のロバスト性をより高めるために、例えば、フレーム間の差分情報を用いて、検出された手の領域に対して、さらに動いたもの（領域）を正しい手領域として決定する。なお、第１の実施の形態における手領域検出装置１０と同一な構成には同一の符号を付し、説明を省略する。
【００５０】
この手領域検出装置２０は、撮像部１１と、撮像部１１で撮像された画像を取り込む画像取込部１２と、画像取込部１２で取り込んだ画像から肌色の候補領域を選定する肌色候補領域選定部１３と、肌色候補選定部１３で選定された肌色の候補領域から手候補領域を抽出する手候補領域抽出部１４と、手候補領域抽出部１４で抽出された手候補領域の形状の複雑度を算出する形状複雑度算出部１５と、形状複雑度算出部１５で算出された複雑度に基づいて手領域を検出する手領域検出部１６と、手領域検出部１６で検出された手領域を含む画像を所定フレーム分遅延する遅延回路部２１と、上記遅延回路部２１で所定フレーム分遅延された画像と現フレームの画像とを比較し動き領域を検出する動き領域検出部２２と、上記動き領域検出部２２で検出された動き領域に基づいて手領域を決定する手領域決定部２３とを備えて構成される。
【００５１】
遅延回路部２１は、入力された所定フレーム分の画像を一時的に保持するバッファを有しており、例えば入力された画像と、それよりも１フレーム前の画像とを動き領域検出部２２に出力する。
【００５２】
動き領域検出部２２は、例えば、入力された１フレーム分異なる２つの画像を比較し動き領域を検出する。ここで、動き領域検出部２２は、手領域検出部１６で検出された手領域近傍の動きを検出することが好ましい。
【００５３】
手領域決定部２３は、動き領域検出部２２で検出された動き領域が手領域検出部１６で検出された手領域か否を判別し、検出された動き領域が手領域である場合のみ、その領域を手領域として決定する。なお、手領域検出部１６で検出された手領域が動き領域検出部２３で検出された動き領域であるか否かを判別し、検出された手領域が動き領域である場合、手領域として決定してもよい。
【００５４】
続いて、第２の実施の形態における手領域検出装置２０の動作について説明する。
【００５５】
手領域検出装置２０は第１の実施の形態における手領域検出装置１０と同様にして手領域検出部１６で手領域を検出するため、そこまでの詳細な説明を省略する。手領域検出装置２０は、上述したように入力画像から人の統計的肌色特徴に基づいた肌色の候補領域を選定し、それらの領域内の画像分布特性による手の候補領域を抽出し、この手の候補領域の形状複雑度に基づいて手領域を検出する。手領域が検出された画像は遅延回路部２１に入力される。
【００５６】
図２５及び図２６は、遅延回路部２１から出力される撮像時刻が異なる画像例をそれぞれ示すものである。また、図２７は、遅延回路２１から出力された図２５及び図２６の画像に基づいて動き領域を検出した画像例である。
【００５７】
遅延回路部２１は、入力された画像をバッファに保持し、例えば図２５に示すような画像Ｉｍ（ｔ）と、図２６に示すような画像Ｉｍ(t＋1)を動き領域検出部２２に出力する。
【００５８】
動き領域検出部２２は、入力された画像Ｉｍ（ｔ）と画像Ｉｍ(t＋1)とから、例えば、フレーム間差分処理によって動き情報を検出する。これにより、図２７に示すように、手部分と顔部分を検出することができる。
【００５９】
手領域決定部２３は、検出された動き領域が手領域検出部１６で検出された手領域か否かを判別する。例えば、図２７に示すように動き領域が検出された手部分と顔部分のうち、手領域検出部１６で検出された手領域である手部分を最終的な手領域として決定する（図２８参照）。
【００６０】
図２９は、肌色候補領域の選定例を示し、図３０は、手領域の検出例を示す。上述した動き情報を用いることにより、図２９に示すように肌色候補選定部１３で選定された肌色候補領域Ｅ、Ｆ、Ｇ、Ｈに示す手領域からポスターに描写された肌色候補領域Ｇ、Ｈの手領域を除くことができ、図３０のように確実に最終的な手領域を検出することができる。
【００６１】
一方、動き情報を用いなかった場合、図３１及び図３２に示すように、肌色候補領域Ｅ、Ｆ、Ｇ、Ｈから、肌色候補領域Ｅ、Ｇ内の手領域を最終的に検出してしまう。つまり、ポスターに描写された手も手領域として検出してしまう。
【００６２】
なお、上述した第２の実施の形態では、複雑度に基づいて手領域を検出した後、動き領域を検出し、手領域と動き領域とから最終的な手領域を決定することとしたが、画像取込部１２からの入力画像から動き領域を検出し、手領域を決定してもよい。
【００６３】
図３３は、第３の実施形態における手領域検出装置の構成を示すブロック図である。この実施の形態の手領域検出装置３０は、実環境のロバスト性をより高めるために、例えば、ステレオカメラを用いて、距離情報を推定し、所定距離以上にある肌色候補領域を背景として除去する。なお、第１の実施の形態における手領域検出装置１０と同一な構成には同一の符号を付し、説明を省略する。
【００６４】
この手領域検出装置３０は、撮像部１１と、撮像部１１で撮像された画像を取り込む画像取込部１２と、画像取込部１２で取り込んだ画像から肌色の候補領域を選定する肌色候補領域選定部１３と、肌色候補選定部１３で選定された肌色の候補領域から手候補領域を抽出する手候補領域抽出部１４と、手候補領域抽出部１４で抽出された手候補領域の形状の複雑度を算出する形状複雑度算出部１５と、形状複雑度算出部１５で算出された複雑度に基づいて手領域を検出する手領域検出部１６と、基準撮像部３１と、撮像部１１と基準撮像部３２とに基づいて画像内の被写体の距離情報を取得する距離情報取得部３２と、手領域検出部１６で検出された手領域と距離情報取得部３２で取得した距離情報とに基づいて手領域を決定する手領域決定部３３とを備えて構成される。
【００６５】
基準撮像部３１は、ＣＣＤ等の撮像素子を有するカメラで構成され、撮像部１１を用いてステレオカメラとして構成される。なお、さらに複数のカメラでステレオカメラを構成することが好ましい。
【００６６】
距離情報取得部３２は、撮像部１１及び基準撮像部３１を用いて、例えば、「ステレオ法」に基づき対象物との距離を測定する。ここで言うステレオ法とは、いわゆる「三角測量」の原理により所定の位置関係を持つ複数のカメラの視点（投影中心）から撮像した画像を用いて、シーンすなわち撮像画像中の各点の３次元空間内の位置を推定し、投影中心との距離を測定する。
【００６７】
手領域決定部３３は、手領域検出部１６で検出された手領域を距離情報取得部３２で取得された距離情報に基づいて最終的な手領域を決定する。例えば、手領域検出部１６で検出された手領域が所定距離以下又は所定距離以上若しくは所定の距離範囲内に属するか否かに応じて最終的な手領域を決定する。
【００６８】
続いて、第２の実施の形態における手領域検出装置３０の動作について説明する。
【００６９】
手領域検出装置２０は第１の実施の形態における手領域検出装置１０と同様にして手領域検出部１６で手領域を検出するため、そこまでの説明を省略する。すなわち、入力画像から人の統計的肌色特徴に基づいた肌色の候補領域を選定し、それらの領域内の画像分布特性による手の候補領域を抽出し、この手の候補領域の形状複雑度に基づいて手領域を検出する。
【００７０】
図３４〜図３８は、距離情報を用いて入力画像から肌色候補を選定する際の画像例を示す図である。図３４に示すように二人の人物が手を広げている画像が画像取込部１２に入力された場合、肌色候補領域選定部１３により肌色候補領域Ｉ、Ｊ、Ｋ、Ｌが選定される（図３５参照）。そして、手領域検出部１６は、図３６に示すように形状複雑度に基づいて肌色候補領域Ｉ、Ｋ内の手領域を検出する。
【００７１】
また、距離情報取得部３２は、撮像部１１、３１で撮像された画像に基づいて、例えば撮像部１１から被写体までの距離情報を取得し、手領域決定部３３に出力する。手領域決定部３３は手候補領域抽出部１４で抽出された手候補領域ｉ、ｊ、ｋ、ｌから、図３７に示すように距離情報に応じた色の濃淡に基づいて手領域を決定する。図３８は、撮像部１１により近い位置の人物の手領域を検出し、それよりも遠い位置の人物の手領域を除去したものである。
【００７２】
このように距離情報を用いることにより、後方又は一定の距離にいる人物の手のみを検出することができる。
【００７３】
なお、上述した第３の実施の形態では、複雑度に基づいて手領域を検出した後、距離情報に基づいて最終的な手領域を決定することとしたが、距離情報に基づいて画像取込部１２からの入力画像から手領域を検出する範囲を決定し、その範囲内で手領域を決定するようにしてもよい。
【図面の簡単な説明】
【００７４】
【図１】本発明の第１の実施形態における手領域検出装置の構成を示すブロック図である。
【図２】入力画像例を示す図である。
【図３】ＲＧＢ情報による画像処理例を示す図である。
【図４】肌色候補領域の選定例を示す図である。
【図５】肌色候補領域が選定された画像例を示す図である。
【図６】色相による画像処理例を示す図である。
【図７】肌色候補領域の色相分布例を示す図である。
【図８】彩度による画像処理例を示す図である。
【図９】肌色候補領域の彩度分布例を示す図である。
【図１０】肌色の色相領域の検出を説明するための図である。
【図１１】肌色の彩度領域の検出を説明するための図である。
【図１２】色相画像における色相領域の検出例を示す図である。
【図１３】彩度画像における色相領域の検出例を示す図である。
【図１４】手候補領域の検出例を示す図である。
【図１５】手の形状に応じた複雑度を説明するための図である。
【図１６】手を閉じた場合の入力画像例を示す図である。
【図１７】手を閉じた場合の形状複雑度の算出結果を示す図である。
【図１８】指を２本開いた場合の入力画像例を示す図である。
【図１９】指を２本開いた場合の形状複雑度の算出結果を示す図である。
【図２０】手を開いた場合の入力画像例を示す図である。
【図２１】手を開いた場合の形状複雑度の算出結果を示す図である。
【図２２】手候補領域の中心からの距離に基づく形状複雑度を説明するための図である。
【図２３】中心からの距離の算出結果を示す図である。
【図２４】本発明の第２の実施形態における手領域検出装置の構成を示すブロック図である。
【図２５】時刻ｔにおける画像例を示す図である。
【図２６】時刻ｔ＋１における画像例を示す図である。
【図２７】動き領域の検出例を示す図である。
【図２８】動き領域から手領域を検出した例を示す図である。
【図２９】肌色候補領域の検出例を示す図である。
【図３０】手領域の決定例を示す図である。
【図３１】動き領域の検出を行わなかった場合の肌色候補領域の検出例を示す図である。
【図３２】動き領域の検出を行わなかった場合の手領域検出結果例を示す図である。
【図３３】本発明の第３の実施形態における手領域検出装置の構成を示すブロック図である。
【図３４】入力画像例を示す図である。
【図３５】肌色候補領域の検出例を示す図である。
【図３６】手領域の検出結果例を示す図である。
【図３７】距離情報により手候補領域の距離を推定した例を示す図である。
【図３８】距離情報に基づく手領域の検出結果を示す図である。
【符号の説明】
【００７５】
１０  手領域検出装置、１１  撮像部、１２  画像取込部、１３  肌色候補領域選定部、１４  手候補領域抽出部、１５  形状複雑度算出部、１６  手領域検出部、２０  手領域検出装置、２１  遅延回路部、２２  動き領域検出部、２３  手領域決定部、３０  手領域検出装置、３１  基準撮像部、３２  距離情報取得部、３３  手領域決定部
【図１】
2007052609.tif 000006
【図２】
2007052609.tif 000007
【図３】
2007052609.tif 000008
【図４】
2007052609.tif 000009
【図５】
2007052609.tif 000010
【図６】
2007052609.tif 000011
【図７】
2007052609.tif 000012
【図８】
2007052609.tif 000013
【図９】
2007052609.tif 000014
【図１０】
2007052609.tif 000015
【図１１】
2007052609.tif 000016
【図１２】
2007052609.tif 000017
【図１３】
2007052609.tif 000018
【図１４】
2007052609.tif 000019
【図１５】
2007052609.tif 000020
【図１６】
2007052609.tif 000021
【図１７】
2007052609.tif 000022
【図１８】
2007052609.tif 000023
【図１９】
2007052609.tif 000024
【図２０】
2007052609.tif 000025
【図２１】
2007052609.tif 000026
【図２２】
2007052609.tif 000027
【図２３】
2007052609.tif 000028
【図２４】
2007052609.tif 000029
【図２５】
2007052609.tif 000030
【図２６】
2007052609.tif 000031
【図２７】
2007052609.tif 000032
【図２８】
2007052609.tif 000033
【図２９】
2007052609.tif 000034
【図３０】
2007052609.tif 000035
【図３１】
2007052609.tif 000036
【図３２】
2007052609.tif 000037
【図３３】
2007052609.tif 000038
【図３４】
2007052609.tif 000039
【図３５】
2007052609.tif 000040
【図３６】
2007052609.tif 000041
【図３７】
2007052609.tif 000042
【図３８】
2007052609.tif 000043