(57)【特許請求の範囲】
【請求項１】
画像から追跡対象のオブジェクトを追跡するオブジェクト追跡装置において、
上記オブジェクトのオブジェクト位置を推定するための推測オブジェクトに対し、前時刻画像の推測オブジェクトの情報から推測オブジェクトが移動する予測範囲を算出し、当該予測範囲、前時刻画像のオブジェクトである確率が閾値よりも大きい複数の推測オブジェクト位置、及び前時刻画像の推測オブジェクトの動き速度に基づいて現時刻画像の複数の推測オブジェクト位置を予測する位置予測手段と、
上記位置予測手段で予測された各推測オブジェクト位置について、当該推測オブジェクトの現時刻画像の分布特性とモデル画像の分布特性との相似性に基づいて評価値を算出する位置評価手段と、
上記位置評価手段で算出された評価値を用いて、各推測オブジェクト位置のオブジェクトである確率を算出し、当該確率に基づいて現時刻画像のオブジェクト位置を推定する推定手段と、
上記推定手段で推定された現時刻画像のオブジェクト位置の分布特性に基づいて上記モデル画像の分布特性を更新するとともに、各推測オブジェクト位置のオブジェクトである確率を記憶する記憶手段と
を備えるオブジェクト追跡装置。
【請求項２】
上記位置予測手段は、前時刻画像の推測オブジェクトの動き速度及び推測オブジェクトの領域の大きさから推測オブジェクトが移動する予測範囲を算出する請求項１記載のオブジェクト追跡装置。
【請求項３】
所定の位置関係を有する複数のカメラからの画像に基づいて各画素の３次元空間内の位置を推定した距離情報を取得する距離情報取得手段と、
上記距離情報取得手段で取得された距離情報に基づいて画像からオブジェクトの背景を除去する背景除去手段と
をさらに備える請求項２記載のオブジェクト追跡装置。
【請求項４】
上記オブジェクトは、人の手領域である請求項３記載のオブジェクト追跡装置。
【請求項５】
画像から追跡対象のオブジェクトを追跡するオブジェクト追跡方法において、
上記オブジェクトのオブジェクト位置を推定するための推測オブジェクトに対し、前時刻画像の推測オブジェクトの情報から推測オブジェクトが移動する予測範囲を算出し、当該予測範囲、前時刻画像のオブジェクトである確率が閾値よりも大きい複数の推測オブジェクト位置、及び前時刻画像の推測オブジェクトの動き速度に基づいて現時刻画像の複数の推測オブジェクト位置を予測する位置予測工程と、
上記位置予測工程で予測された各推測オブジェクト位置について、当該推測オブジェクトの現時刻画像の分布特性とモデル画像の分布特性との相似性に基づいて評価値を算出する位置評価工程と、
上記位置評価工程で算出された評価値を用いて、各推測オブジェクト位置のオブジェクトである確率を算出し、当該確率に基づいて現時刻画像のオブジェクト位置を推定する推定工程と、
上記推定工程で推定された現時刻画像のオブジェクト位置の分布特性に基づいて上記モデル画像の分布特性を更新するとともに、各推測オブジェクト位置のオブジェクトである確率を記憶手段に記憶する記憶工程と
を有するオブジェクト追跡方法。
【請求項６】
画像から追跡対象のオブジェクトを追跡する処理を実行させるプログラムにおいて、
上記オブジェクトのオブジェクト位置を推定するための推測オブジェクトに対し、前時刻画像の推測オブジェクトの情報から推測オブジェクトが移動する予測範囲を算出し、当該予測範囲、前時刻画像のオブジェクトである確率が閾値よりも大きい複数の推測オブジェクト位置、及び前時刻画像の推測オブジェクトの動き速度に基づいて現時刻画像の複数の推測オブジェクト位置を予測する位置予測工程と、
上記位置予測工程で予測された各推測オブジェクト位置について、当該推測オブジェクトの現時刻画像の分布特性とモデル画像の分布特性との相似性に基づいて評価値を算出する位置評価工程と、
上記位置評価工程で算出された評価値を用いて、各推測オブジェクト位置のオブジェクトである確率を算出し、当該確率に基づいて現時刻画像のオブジェクト位置を推定する推定工程と、
上記推定工程で推定された現時刻画像のオブジェクト位置の分布特性に基づいて上記モデル画像の分布特性を更新するとともに、各推測オブジェクト位置のオブジェクトである確率を記憶手段に記憶する記憶工程と
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人と機器との間のインタフェースに関し、入力画像から、例えば、人の手の領域といったオブジェクトを検出し、そのオブジェクトを追跡するオブジェクト追跡装置及びオブジェクト追跡方法、並びにオブジェクトを追跡する処理を実行させるプログラムに関するものである。
【背景技術】
【０００２】
人と機器との間の自然なインタフェースを実現するには、人の手振り・身振りを含めて、操作者の様々な行動や音声などの情報を統合的に解析し、人の存在や意図などを検出し認識することが不可欠である。そこで、従来から人の行動解析に関する様々な技術が検討されてきた。これらを大別すると、人の顔に着目したもの（例えば、顔の向き、表情、視線、唇の動きなど）と、人の手足の動き（手振り、指差し、ジェスチャ、動きイベント、歩行パターンなど）に着目したものに分けることができる。その中でも一般環境での手領域の検出・認識は最も重要な技術の一つであり、数多く検討されている。例えば、人の手を左右に動かす往復運動に着目した手振り検出方法（例えば、非特許文献１参照。）、データグローブなどの特殊なものを取り付ける手法（例えば、非特許文献２参照。）、人の肌色情報などを用いる手法（例えば、非特許文献３及び非特許文献４参照。）などが提案されている。
【０００３】
【非特許文献１】入江、梅田: 濃淡値の時系列変化を利用した画像からの手振りの検出、 P2-8, 画像の認識・理解シンポジウム（MIRU'02） （名工大（名古屋市），7 月30日-8 月1 日，2002）
【非特許文献２】星野: 非言語コミュニケーションが可能なロボットハンドの設計、文科省科研費特定領域研究「IT の深化の基盤を拓く情報学研究」 研究項目A03「人間の情報処理の理解とその応用に関する研究」 第4 回柱研究会 （芝蘭会館（京都市），7 月2 日，2003）
【非特許文献３】伊藤、尾関、中村、大田: 映像インデキシングのための手と把持物体のロバストな認識と追跡、画像センシングシンポジウム、 pp.143-162, (2003)
【非特許文献４】入江、梅田：ジェスチャ認識に基づくインテリジェントルームの構築、第4 回動画像処理実利用化ワークショップ、平成１5 年3 月6 日−7 日
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、ジェスチャなどの人の行動は、人の手足といったオブジェクトの動きを時間的に追わなければ把握することができない。つまり、上記特許文献１〜４に記載された手領域検出は、時間的に継続して行ってやらなければならない。
【０００５】
しかしながら、上記特許文献１〜４に記載された手領域検出を入力画像毎に行った場合、装置の処理負担が大きくなってしまい、手領域を追跡することが困難となる。
【０００６】
本発明は、上記問題点を解消するためになされたものであり、高速且つ、高精度にオブジェクトを追跡することができるオブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明に係るオブジェクト追跡装置は、画像から追跡対象のオブジェクトを追跡するオブジェクト追跡装置において、上記オブジェクトのオブジェクト位置を推定するための推測オブジェクトに対し、前時刻画像の推測オブジェクトの情報から推測オブジェクトが移動する予測範囲を算出し、当該予測範囲、前時刻画像のオブジェクトである確率が閾値よりも大きい複数の推測オブジェクト位置、及び前時刻画像の推測オブジェクトの動き速度に基づいて現時刻画像の複数の推測オブジェクト位置を予測する位置予測手段と、上記位置予測手段で予測された各推測オブジェクト位置について、当該推測オブジェクトの現時刻画像の分布特性とモデル画像の分布特性との相似性に基づいて評価値を算出する位置評価手段と、上記位置評価手段で算出された評価値を用いて、各推測オブジェクト位置のオブジェクトである確率を算出し、当該確率に基づいて現時刻画像のオブジェクト位置を推定する推定手段と、上記推定手段で推定された現時刻画像のオブジェクト位置の分布特性に基づいて上記モデル画像の分布特性を更新するとともに、各推測オブジェクト位置のオブジェクトである確率を記憶する記憶手段とを備えることにより、上述の課題を解決する。
【０００８】
また、本発明に係るオブジェクト追跡方法は、画像から追跡対象のオブジェクトを追跡するオブジェクト追跡方法において、上記オブジェクトのオブジェクト位置を推定するための推測オブジェクトに対し、前時刻画像の推測オブジェクトの情報から推測オブジェクトが移動する予測範囲を算出し、当該予測範囲、前時刻画像のオブジェクトである確率が閾値よりも大きい複数の推測オブジェクト位置、及び前時刻画像の推測オブジェクトの動き速度に基づいて現時刻画像の複数の推測オブジェクト位置を予測する位置予測工程と、上記位置予測工程で予測された各推測オブジェクト位置について、当該推測オブジェクトの現時刻画像の分布特性とモデル画像の分布特性との相似性に基づいて評価値を算出する位置評価工程と、上記位置評価工程で算出された評価値を用いて、各推測オブジェクト位置のオブジェクトである確率を算出し、当該確率に基づいて現時刻画像のオブジェクト位置を推定する推定工程と、上記推定工程で推定された現時刻画像のオブジェクト位置の分布特性に基づいて上記モデル画像の分布特性を更新するとともに、各推測オブジェクト位置のオブジェクトである確率を記憶手段に記憶する記憶工程とを有することにより、上述の課題を解決する。
【０００９】
また、本発明に係るプログラムは、画像から追跡対象のオブジェクトを追跡する処理を実行させるプログラムにおいて、上記オブジェクトのオブジェクト位置を推定するための推測オブジェクトに対し、前時刻画像の推測オブジェクトの情報から推測オブジェクトが移動する予測範囲を算出し、当該予測範囲、前時刻画像のオブジェクトである確率が閾値よりも大きい複数の推測オブジェクト位置、及び前時刻画像の推測オブジェクトの動き速度に基づいて現時刻画像の複数の推測オブジェクト位置を予測する位置予測工程と、上記位置予測工程で予測された各推測オブジェクト位置について、当該推測オブジェクトの現時刻画像の分布特性とモデル画像の分布特性との相似性に基づいて評価値を算出する位置評価工程と、上記位置評価工程で算出された評価値を用いて、各推測オブジェクト位置のオブジェクトである確率を算出し、当該確率に基づいて現時刻画像のオブジェクト位置を推定する推定工程と、上記推定工程で推定された現時刻画像のオブジェクト位置の分布特性に基づいて上記モデル画像の分布特性を更新するとともに、各推測オブジェクト位置のオブジェクトである確率を記憶手段に記憶する記憶工程とをコンピュータに実行させることにより、上述の課題を解決する。
【発明の効果】
【００１０】
本発明によれば、追跡対象のオブジェクトのオブジェクト位置を推定するための推測オブジェクトに対し、前時刻画像の推測オブジェクトの情報から推測オブジェクトが移動する予測範囲を算出し、当該予測範囲、前時刻画像の推測オブジェクトの推測オブジェクト位置及び動き速度に基づいて現時刻画像の推測オブジェクト位置を予測し、予測された複数の推測オブジェクト位置を、当該推測オブジェクトの現時刻画像と予め登録されたオブジェクト画像とのオブジェクト相似性に基づいて評価し、評価された各推測オブジェクト位置に基づいて現時刻画像のオブジェクト位置を推定することにより、高速且つ、高精度にオブジェクトを追跡することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の具体的な実施の形態について、図面を参照しながら詳細に説明する。本発明の具体例として示すオブジェクト追跡装置は、画像内のオブジェクトとして手領域を検出し、この手領域の前時刻の情報から手領域が移動する予測範囲を算出し、算出された予測範囲、前時刻画像の手領域の位置及び動き速度に基づいて現時刻画像の推測手領域位置を予測し、この手領域予測位置を、現時刻画像の分布特性と予め登録された手領域画像に基づいて評価することにより、現時刻の手領域を決定するものである。
【００１２】
図１は、手領域を追跡する手領域追跡装置の全体的な処理を示す図である。撮像手段１０１で撮像された現時刻画像は、画像取り込み手段１０２により取り込まれる。画像取り込み手段１０２により取り込まれた現時刻画像は、後述するように、手領域追跡処理や手領域検出処理に用いられる。モード判別手段１０３は、追跡モードであるか否かを判別する。
【００１３】
追跡モードでは、追跡結果読込手段１０４により前時刻（ｔ−１）の手領域追跡結果が読み込まれるとともに、予め登録された手領域モデル１０５が読み込まれる。そして、追跡処理手段１０６により手領域の追跡が行われ、追跡結果保存手段１０７により現時刻（ｔ）の追跡結果が保存される。現時刻（ｔ）の追跡結果保存後、モード判別手段１０３にて次のモードが判別される。
【００１４】
追跡処理手段１０６は、後述するように、前時刻画像の手領域情報から手領域が移動する予測範囲を算出し、算出された予測範囲、前時刻画像の手領域の位置及び動き速度に基づいて現時刻画像の推測手領域位置を複数予測する位置予測手段と、位置予測手段により予測された複数の推測手領域位置を、現時刻画像と予め登録された手領域モデル画像との相似性に基づいて評価する位置評価手段と、評価手段により評価された各推測手領域位置に基づいて手領域を追跡する追跡手段とを有している。
【００１５】
ここで、位置予測手段は、手領域が移動する予測範囲を、前時刻画像の手領域の大きさ及び動き速度に基づいて算出することが好ましい。また、位置予測手段は、前時刻画像の手領域位置を、前時刻画像の相似性の評価による確率に基づいて取得することが好ましい。
【００１６】
また、位置評価手段は、予測された各推測手領域位置を、現時刻画像の分布特性と予め登録された手領域画像の分布特性との相似性に基づいて評価することが好ましい。また、位置評価手段は、現時刻画像の分布特性と予め登録された手領域モデル画像の分布特性との相似性を、位置予測手段で予測された推測手領域位置の中心からの距離に基づいて評価することが好ましい。また、位置評価手段は、現時刻画像の分布特性と予め登録された手領域モデル画像の分布特性との相似性を、予め定められたマスク領域に基づいて評価することが好ましい。
【００１７】
また、追跡手段は、位置評価手段で評価された推測手領域位置が手領域である確率を、この推測手領域位置の評価結果に基づいて算出し、算出された各推測手領域位置の確率に基づいて手領域を追跡することが好ましい。
【００１８】
また、追跡処理手段１０６は、所定の位置関係を有する複数のカメラからの画像に基づいて各画素の３次元空間内の位置を推定した距離情報を取得する距離情報取得手段と、上記距離情報取得手段で取得された距離情報に基づいて画像からオブジェクトの背景を除去する背景除去手段と有していることが好ましい。
【００１９】
一方、モード判別手段１０３において、追跡モードでないと判別された場合、手領域検出手段１０８は、現時刻（ｔ）の画像から手領域を検出する処理を行う。手領域検出判別手段１０９は、手領域検出手段１０８にて手領域が検出されたか否かを判別する。手領域が検出された場合、手領域モデル１０５を手領域登録手段１１０に登録し、モード切替手段１１１により追跡モードに切り替えられる。手領域が検出されなかった場合、モード判別手段１０３にて次のモードが判別される。
【００２０】
続いて、モード判別手段１０３において追跡モードでないと判別された場合について説明する。
【００２１】
図２は、手領域を検出する手領域検出手段１０８に対応した手領域検出装置の構成を示すブロック図である。この手領域検出装置１０は、撮像部１１と、撮像部１１で撮像された画像を取り込む画像取込部１２と、画像取込部１２で取り込んだ画像から肌色の候補領域を選定する肌色候補領域選定部１３と、肌色候補選定部１３で選定された肌色の候補領域から手候補領域を抽出する手候補領域抽出部１４と、手候補領域抽出部１４で抽出された手候補領域の形状の複雑度を算出する形状複雑度算出部１５と、形状複雑度算出部１５で算出された複雑度に基づいて手領域を検出する手領域検出部１６とを備えて構成される。
【００２２】
撮像部１１は、ＣＣＤ（Charge Coupled Device）等の撮像素子を有するカメラで構成されている。
【００２３】
画像取込部１２は、撮像部１１からＪＰＥＧ（Joint Photographic Experts Group）等のフォーマットの画像を取り込む。
【００２４】
肌色候補領域選定部１３は、人間の統計的肌色特徴に基づいた肌色モデルを用いて、画像内の各画素が肌色モデルの色であるかどうかを判定することによって、肌色候補領域を選定する。この肌色モデルは、色相、彩度、ＲＧＢ情報等を用いた統計的な処理により得られる。
【００２５】
手候補領域抽出部１４は、肌色候補領域選定部１３で選定された各領域に対して、例えば、色相、彩度の分布等の画像分布特性を計算し、それらの領域内に例えば色相と彩度等の色特徴が類似する画素が最も大きい領域を手候補領域として抽出する。
【００２６】
形状複雑度算出部１５は、手候補領域抽出部１４で抽出された各手候補領域に対して、例えば、面積（画素数）と周辺長との比や手候補領域の中心からの距離に基づいて形状複雑度を算出する。
【００２７】
手領域検出部１６は、形状複雑度算出部１５で算出された各手候補領域の複雑度を、例えば、予め設定された閾値と比較評価することにより手領域を検出する。
【００２８】
なお、上述の手領域検出装置１０の構成では、撮像部１１から画像を取得することとしたが、ＤＶＤ（Digital Versatile Disc）、インターネット等の様々な媒体から画像を取得するようにしてもよい。
【００２９】
続いて、入力画像より手領域を検出するための処理について図面を参照して説明する。図３〜図６は、ＲＧＢ情報を用いて入力画像から肌色候補を選定する際の画像例を示す図である。
【００３０】
肌色候補領域選定部１３は、画像取込部１２により取り込んだ、例えば、図３に示す入力画像に対して、文献（M. J. Jones and J. M. Rehg: Statistical color models with application to skin detection, Proc. IEEE Conf.Computer Vision and Pattern Recognition, vol. 2, pp. 274-280, 1999.）に記載された各画素のＲＧＢ情報を用いることにより、図４のように肌色モデル色を検出する。そして、各画素が肌色モデル色であるかどうかを判定することにより、図５に示すように肌色候補領域Ａ〜Ｄを選定する。これにより、図３に示す入力画像に対して図６に示すような肌色候補領域Ａ〜Ｄを決定することができる。なお、ＲＧＢ情報に限らず、例えば、学習により得た肌色の統計的な情報（先見的知識）を用いて、各画素が肌色であるかどうかを判定し、画像のフィルタリング処理を用いた領域統合処理によって、画像内の肌色の候補領域を選定してもよい。
【００３１】
手候補領域抽出部１４は、図３に示すような入力画像から色相画像Ｈｕｅ（ｉ，ｊ）及び彩度画像Ｓｔａ（ｉ，ｊ）を計算し、入力画像を色相画像及び彩度画像に変換する。なお、色相はスペクトル上での色の位置を表しており、０度〜３６０度の角度により表されるものである。また、彩度は色の鮮やかさを表しており、灰色に近づくと値は小さくなり原色に近づくと値は大きくなる。
【００３２】
また、手候補領域抽出部１４は、肌色候補領域選定部１３により選定された各肌色候補領域Ａ〜Ｄに対し、色相分布（ヒストグラム）ｈｍ（ｋ）及び彩度分布（ヒストグラム）ｓｍ（ｋ）（ｋ＝０，１，２，．．．，Ｋ）をそれぞれ（１）式及び（２）式により計算する。
【００３３】
【数１】
0004682820.tif 000002
【００３４】
ここで、Ｒｍは各肌色補領域を示し、ｍ（ｍ＝１，２，．．．，Ｍ）は、肌色候補領域の数である。また、ｇ（Ｈｕｅ（ｉ，ｊ））及びｇ（Ｓｔａ（ｉ，ｊ））は、それぞれ色相画像Ｈｕｅ（ｉ，ｊ）及び彩度画像Ｓｔａ（ｉ，ｊ）の画素（ｉ，ｊ）における輝度値を示す。また、δ[ｘ]は、ｘが０の場合１であり、ｘが０でない場合０である。
【００３５】
上記（１）式を用いて、例えば、図７に示す色相画像の肌色候補領域Ｂの色相分布ｈｍ（ｋ）を計算すると、図８に示すようなヒストグラムを得ることができる。また、上記（２）式を用いて、例えば、図９に示す彩度画像の肌色候補領域Ｂの彩度分布ｓｍ（ｋ）を計算すると、図１０に示すようなヒストグラムを得ることができる。
【００３６】
図１１及び図１２は、上述のヒストグラムから検出された肌色の色相領域及び彩度領域の例である。また、図１３及び図１４は、それぞれ肌色の色相領域及び彩度領域に基づいて手候補領域が検出された色相画像及び彩度画像である。
【００３７】
各肌色候補領域Ａ〜Ｄの色相分布ｈｍ（ｋ）及び彩度分布ｓｍ（ｋ）から、手候補領域抽出部１４は図１１及び図１２に示すように最も画素数が多い色相の値ｈ＿Ｌｅｖｅｌ及び彩度の値ｓ＿Ｌｅｖｅｌ並びにその分散ｈ＿ｖａｒ、ｓ＿ｖａｒを検出する。
【００３８】
ここで、肌色は色相の値が低いため、各肌色候補領域Ａ〜Ｄの色相画像Ｈｕｅ（ｉ，ｊ）における色相の値がｈ＿Ｌｅｖｅｌ±ｈ＿ｖａｒ以内で、且つ、その値が肌色の色相初期値Ｈ＿Ｉｎｉｔｉａｌより小さい画素の領域を肌色の色相領域（画像）Ｈｍ（ｉ，ｊ）とする。これにより、図１３に示すような各肌色候補領域Ａ〜Ｄの肌色の色相領域Ｈｍ（ｉ，ｊ）が求められる。なお、図１３に示す肌色候補領域Ａ〜Ｄにおいて肌色の色相領域Ｈｍ（ｉ，ｊ）は黒色で示している。
【００３９】
また、肌色は彩度の値が高いため、各肌色候補領域Ａ〜Ｄの彩度画像Ｓｔａ（ｉ，ｊ）における彩度の値がｓ＿Ｌｅｖｅｌ±ｓ＿ｖａｒ以内で、且つ、その値が肌色の彩度初期値Ｓ＿Ｉｎｉｔｉａｌより大きい画素の領域を肌色の彩度領域（画像）Ｓｍ（ｉ，ｊ）とする。これにより、図１４に示すような各肌色候補領域Ａ〜Ｄの肌色の彩度領域Ｓｍ（ｉ，ｊ）が求められる。なお、図１４に示す肌色候補領域Ａ〜Ｄにおいて肌色の彩度領域Ｓｍ（ｉ，ｊ）は白色で示している。
【００４０】
そして、肌色の色相領域Ｈｍ（ｉ，ｊ）と彩度領域Ｓｍ（ｉ，ｊ）とが重なる画素領域を手候補領域Ｒｍとする。すなわち、図１５に示す手候補領域のように各肌色候補領域Ａ〜Ｄにおいて図１３に示す黒色の領域と図１４に示す白色の領域とが重なる領域である。
【００４１】
このように色相と彩度とが類似する画素が最も大きい領域、つまり主導的な色を示す領域を手の候補領域として抽出することにより、人の肌色の個人差や実環境での照明変化に対するロバスト性を高めることができる。
【００４２】
形状複雑度算出部１５は、手候補領域抽出部１４で抽出された手候補領域Ｒｍに対し、例えば、その領域の面積（画素数）及び周辺長に基づいて手候補領域の複雑度を計算する。
【００４３】
【数２】
0004682820.tif 000003
【００４４】
ここで、Ｌは手の候補領域の周囲長、Ｓは手候補領域の面積及びδは形状の複雑度を示す。
【００４５】
手領域検出部１６は、形状複雑度算出部１５で算出された各手候補領域の形状の複雑度を、予め決められた手の形状に応じた複雑度と比較評価する。図１６は、手の形状に応じた複雑度の算出（学習）結果例である。例えば、指が５本開いている状態、つまり手が開いている状態（Ｋ１）の形状複雑度は、手が開いていない状態（Ｋ６）の形状複雑度と大きく違う。これを考慮して経験的に手領域を検出するための閾値を決める。例えば、頭部領域が手領域として検出されないように、４本以上の指が開いている状態（δ＞０．９）の形状複雑度を手領域の閾値とする。そして、手候補領域の複雑度が決められた閾値より大きい場合を手領域として検出する。
【００４６】
図１７は、５本の指が開いていない状態、つまり、手が開いていない状態の画像を示し、図１８は、そのときの手候補領域の形状複雑度を示す。この図１７に示す画像が入力された場合、手領域検出部１６は、手候補領域ｂ、ｃの複雑度を閾値と比較する。そして、例えば、複雑度の閾値をδ＝０．９と設定した場合、手候補領域ｂ及び手候補領域ｃとも複雑度が閾値よりも低いため、手領域検出部１６はこれらを手領域として検出しない。
【００４７】
また、図１９は、人差し指と中指の２本の指が開いている状態を示し、図２０は、そのときの手候補領域の形状複雑度を示す。この図１９に示す２本の指が開いている状態の画像が入力され、複雑度の閾値をδ＝０．９と設定した場合も、手候補領域ｂ及び手候補領域ｃとも複雑度が閾値よりも低いため、手領域検出部１６はこれらを手領域として検出しない。
【００４８】
また、図２１は、５本の指が全て開いている状態、つまり手が開いている状態を示し、図２２は、そのときの手候補領域の形状複雑度を示す。この図２１に示すように手が開いている状態の画像が入力され、手候補領域の形状の複雑度の閾値をδ＝０．９と設定した場合、手候補領域ｃの複雑度は閾値より小さいが手候補領域ｂの複雑度は閾値より大きいため、手領域検出部１６は、手候補領域ｂを手領域として検出する。
【００４９】
なお、上述のように手候補領域の面積及び周辺長に基づいて複雑度を計算することに限らず、図２３に示すように、手候補領域の中心を検出し、中心からの距離に基づいて計算してもよい。この場合、（４）式のように距離関数ｄ（θ）を定義すればよい。
【００５０】
【数３】
0004682820.tif 000004
【００５１】
図２４は、（４）式による距離関数のグラフである。ここで、距離関数ｄ（θ）の極大値が指の形状を示す閾値（Ｔｈｄ）以上である場合、その極大値の数を指の本数と推定することができる。
【００５２】
手領域検出部１６は、図２５に示すように閾値（Ｔｈｄ）以上の極大値の数に応じて手領域を検出する。例えば、閾値（Ｔｈｄ）以上の極大値の数の閾値を４、つまり指が４本以上検出された場合、その手候補領域を手領域として検出する。
【００５３】
また、図２４に示すようにｈ（ｋ）（ｋ＝１，２，．．．，Ｋ）を定義し、ｈ（ｋ）がある閾値以上の場合、指と推定するようにしてもよい。この場合、手領域検出部１６は閾値以上のｈ（ｋ）に応じて手領域を検出する。例えば、閾値を５とすると指が５本検出された場合、その手候補領域を手領域として検出することとなる。なお、これらの指を検出するための閾値や手領域を検出するための閾値は、学習によって決めてもよい。
【００５４】
このように人の統計的肌色特徴に基づいた肌色の候補領域を選定し、それらの領域内の画像分布特性による手の候補領域を抽出し、この手の候補領域の形状複雑度を評価することにより、人の肌色の個人差や照明変化によることなく、実環境でもロバストな手領域検出を行うことができる。
【００５５】
また、形状複雑度の評価によって、手の開いている時の領域特徴とその他の領域特徴とを区別することができるため、ロバストな手領域検出を行うことができる。
【００５６】
なお、この手領域検出装置１０は、統計的肌色特徴に基づいた肌色の候補領域を選定し、それらの領域内の画像分布特性による手の候補領域を抽出することとしたが、これに限られるものではなく、肌色の候補領域選定と手候補領域抽出とを統合し、ＲＧＢ処理や画像分布処理等を任意の順番で行い手候補領域を絞るようにしてもよい。
【００５７】
図２５は、上述した手領域検出装置の他の構成（その１）を示すブロック図である。この手領域検出装置２０は、実環境のロバスト性をより高めるために、例えば、フレーム間の差分情報を用いて、検出された手の領域に対して、さらに動いたもの（領域）を正しい手領域として決定する。なお、上述した手領域検出装置１０と同一な構成には同一の符号を付し、説明を省略する。
【００５８】
この手領域検出装置２０は、撮像部１１と、撮像部１１で撮像された画像を取り込む画像取込部１２と、画像取込部１２で取り込んだ画像から肌色の候補領域を選定する肌色候補領域選定部１３と、肌色候補選定部１３で選定された肌色の候補領域から手候補領域を抽出する手候補領域抽出部１４と、手候補領域抽出部１４で抽出された手候補領域の形状の複雑度を算出する形状複雑度算出部１５と、形状複雑度算出部１５で算出された複雑度に基づいて手領域を検出する手領域検出部１６と、手領域検出部１６で検出された手領域を含む画像を所定フレーム分遅延する遅延回路部２１と、上記遅延回路部２１で所定フレーム分遅延された画像と現フレームの画像とを比較し動き領域を検出する動き領域検出部２２と、上記動き領域検出部２２で検出された動き領域に基づいて手領域を決定する手領域決定部２３とを備えて構成される。
【００５９】
遅延回路部２１は、入力された所定フレーム分の画像を一時的に保持するバッファを有しており、例えば入力された画像と、それよりも１フレーム前の画像とを動き領域検出部２２に出力する。
【００６０】
動き領域検出部２２は、例えば、入力された１フレーム分異なる２つの画像を比較し動き領域を検出する。ここで、動き領域検出部２２は、手領域検出部１６で検出された手領域近傍の動きを検出することが好ましい。
【００６１】
手領域決定部２３は、動き領域検出部２２で検出された動き領域が手領域検出部１６で検出された手領域か否を判別し、検出された動き領域が手領域である場合のみ、その領域を手領域として決定する。なお、手領域検出部１６で検出された手領域が動き領域検出部２２で検出された動き領域であるか否かを判別し、検出された手領域が動き領域である場合、手領域として決定してもよい。
【００６２】
続いて、手領域検出装置２０の動作について説明する。
【００６３】
この手領域検出装置２０は上述した手領域検出装置１０と同様にして手領域検出部１６で手領域を検出するため、そこまでの詳細な説明を省略する。手領域検出装置２０は、上述したように入力画像から人の統計的肌色特徴に基づいた肌色の候補領域を選定し、それらの領域内の画像分布特性による手の候補領域を抽出し、この手の候補領域の形状複雑度に基づいて手領域を検出する。手領域が検出された画像は遅延回路部２１に入力される。
【００６４】
図２６及び図２７は、遅延回路部２１から出力される撮像時刻が異なる画像例をそれぞれ示すものである。また、図２８は、遅延回路２１から出力された図２６及び図２７の画像に基づいて動き領域を検出した画像例である。
【００６５】
遅延回路部２１は、入力された画像をバッファに保持し、例えば図２６に示すような画像Ｉｍ（ｔ）と、図２７に示すような画像Ｉｍ(t＋1)を動き領域検出部２２に出力する。
【００６６】
動き領域検出部２２は、入力された画像Ｉｍ（ｔ）と画像Ｉｍ(t＋1)とから、例えば、フレーム間差分処理によって動き情報を検出する。これにより、図２８に示すように、手部分と顔部分を検出することができる。
【００６７】
手領域決定部２３は、検出された動き領域が手領域検出部１６で検出された手領域か否かを判別する。例えば、図２８に示すように動き領域が検出された手部分と顔部分のうち、手領域検出部１６で検出された手領域である手部分を最終的な手領域として決定する（図２９参照）。
【００６８】
図３０は、肌色候補領域の選定例を示し、図３１は、手領域の検出例を示す。上述した動き情報を用いることにより、図３０に示すように肌色候補選定部１３で選定された肌色候補領域Ｅ、Ｆ、Ｇ、Ｈに示す手領域からポスターに描写された肌色候補領域Ｇ、Ｈの手領域を除くことができ、図３１のように確実に最終的な手領域を検出することができる。
【００６９】
一方、動き情報を用いなかった場合、図３２及び図３３に示すように、肌色候補領域Ｅ、Ｆ、Ｇ、Ｈから、肌色候補領域Ｅ、Ｇ内の手領域を最終的に検出してしまう。つまり、ポスターに描写された手も手領域として検出してしまう。
【００７０】
なお、上述した手領域検出装置２０は、複雑度に基づいて手領域を検出した後、動き領域を検出し、手領域と動き領域とから最終的な手領域を決定することとしたが、画像取込部１２からの入力画像から動き領域を検出し、手領域を決定してもよい。
【００７１】
また、図３４は、上述した手領域検出装置の他の構成（その２）を示すブロック図である。この手領域検出装置３０は、実環境のロバスト性をより高めるために、例えば、ステレオカメラを用いて、距離情報を推定し、所定距離以上にある肌色候補領域を背景として除去する。なお、上述した手領域検出装置１０と同一な構成には同一の符号を付し、説明を省略する。
【００７２】
この手領域検出装置３０は、撮像部１１と、撮像部１１で撮像された画像を取り込む画像取込部１２と、画像取込部１２で取り込んだ画像から肌色の候補領域を選定する肌色候補領域選定部１３と、肌色候補選定部１３で選定された肌色の候補領域から手候補領域を抽出する手候補領域抽出部１４と、手候補領域抽出部１４で抽出された手候補領域の形状の複雑度を算出する形状複雑度算出部１５と、形状複雑度算出部１５で算出された複雑度に基づいて手領域を検出する手領域検出部１６と、基準撮像部３１と、撮像部１１と基準撮像部３２とに基づいて画像内の被写体の距離情報を取得する距離情報取得部３２と、手領域検出部１６で検出された手領域と距離情報取得部３２で取得した距離情報とに基づいて手領域を決定する手領域決定部３３とを備えて構成される。
【００７３】
基準撮像部３１は、ＣＣＤ等の撮像素子を有するカメラで構成され、撮像部１１を用いてステレオカメラとして構成される。なお、さらに複数のカメラでステレオカメラを構成することが好ましい。
【００７４】
距離情報取得部３２は、撮像部１１及び基準撮像部３１を用いて、例えば、「ステレオ法」に基づき対象物との距離を測定する。ここで言うステレオ法とは、いわゆる「三角測量」の原理により所定の位置関係を持つ複数のカメラの視点（投影中心）から撮像した画像を用いて、シーンすなわち撮像画像中の各点の３次元空間内の位置を推定し、投影中心との距離を測定する。
【００７５】
手領域決定部３３は、手領域検出部１６で検出された手領域を距離情報取得部３２で取得された距離情報に基づいて最終的な手領域を決定する。例えば、手領域検出部１６で検出された手領域が所定距離以下又は所定距離以上若しくは所定の距離範囲内に属するか否かに応じて最終的な手領域を決定する。
【００７６】
続いて、手領域検出装置３０の動作について説明する。
【００７７】
手領域検出装置３０は上述した手領域検出装置１０と同様にして手領域検出部１６で手領域を検出するため、そこまでの説明を省略する。すなわち、入力画像から人の統計的肌色特徴に基づいた肌色の候補領域を選定し、それらの領域内の画像分布特性による手の候補領域を抽出し、この手の候補領域の形状複雑度に基づいて手領域を検出する。
【００７８】
図３５〜図３９は、距離情報を用いて入力画像から肌色候補を選定する際の画像例を示す図である。図３５に示すように二人の人物が手を広げている画像が画像取込部１２に入力された場合、肌色候補領域選定部１３により肌色候補領域Ｉ、Ｊ、Ｋ、Ｌが選定される（図３６参照）。そして、手領域検出部１６は、図３７に示すように形状複雑度に基づいて肌色候補領域Ｉ、Ｋ内の手領域を検出する。
【００７９】
また、距離情報取得部３２は、撮像部１１、３１で撮像された画像に基づいて、例えば撮像部１１から被写体までの距離情報を取得し、手領域決定部３３に出力する。手領域決定部３３は手候補領域抽出部１４で抽出された手候補領域ｉ、ｊ、ｋ、ｌから、図３８に示すように距離情報に応じた色の濃淡に基づいて手領域を決定する。図３９は、撮像部１１により近い位置の人物の手領域を検出し、それよりも遠い位置の人物の手領域を除去したものである。
【００８０】
このように距離情報を用いることにより、後方又は一定の距離にいる人物の手のみを検出することができる。
【００８１】
なお、上述した手領域検出装置３０は、複雑度に基づいて手領域を検出した後、距離情報に基づいて最終的な手領域を決定することとしたが、距離情報に基づいて画像取込部１２からの入力画像から手領域を検出する範囲を決定し、その範囲内で手領域を決定するようにしてもよい。
【００８２】
次に、上述した手領域検出装置１０，２０，３０により検出された手領域を追跡する手領域追跡装置について説明する。
【００８３】
図４０は、手領域追跡装置の構成を示すブロック図である。この手領域追跡装置４０は、撮像部４１と、撮像部４１で撮像された画像を取り込む画像取込部４２と、前時刻の手領域追跡結果から現時刻の推測手領域位置を予測する手領域位置予測部４３と、手領域予測部４３で予測された推測手領域位置を現時刻の画像の分布特性に基づいて評価する予測領域評価部４４と、予測領域評価部４４における評価結果に基づいて現時刻の手領域位置を推定する手領域追跡結果推定部４５と、手領域追跡結果推定部４５で推定された現時刻の手領域位置を出力する追跡結果出力部４６と、追跡結果出力部４６から出力された現時刻の手領域を記憶する追跡結果記憶部４７とを備えて構成されている。ここで、撮像部４１及び画像取込部４２及び追跡結果記憶部４７は、図１に示す画像取込手段１０２、画像取込手段１０２及び追跡結果保存手段１０７にそれぞれ対応している。また、手領域予測部４３及び予測領域評価部４４は、図１に示す追跡結果読込手段１０４を含み、手領域予測部４３、予測領域評価部４４、手領域追跡結果推定部４５及び追跡結果出力部４６は、図１に示す追跡処理手段１０６を含む構成となっている。
【００８４】
撮像部４１は、ＣＣＤ（Charge Coupled Device）等の撮像素子を有するカメラで構成されている。
【００８５】
画像取込部４２は、撮像部４１からＪＰＥＧ（Joint Photographic Experts Group）等のフォーマットの画像を取り込む。
【００８６】
手領域位置予測部４３は、前時刻（ｔ−１）の追跡結果を追跡結果記憶部４７から読込む追跡結果読込部４３１と、予め用意された手の動き予測モデル４３２に基づいて手領域の現時刻（ｔ）の存在可能な予測位置ｓｋ（ｔ）を算出する予測位置計算部４３３とを備えている。
【００８７】
追跡結果読込部４３１は、前時刻の手領域位置ｓｋ（ｔ−１）をその手領域確率πｋ（ｔ−１）に基づいて読み込む。つまり、前時刻（ｔ−１）において、手領域の確率が高い候補位置を読み込んで、現時刻ｔの追跡位置ｓｋ（ｔ）を予測する。
【００８８】
例えば、確率πｋ（ｔ−１）を［０，１］に正規化する。つまり、確率πｋ（ｔ−１）がその閾値Ｔより大きいものを前時刻の手領域位置とする。この場合、閾値Ｔより大きいＫ個の手領域位置の確率の総和ＰＫは、（５）式で算出される。
【００８９】
【数４】
0004682820.tif 000005
【００９０】
また、各手領域位置における寄与率λｋ(ｔ−１)は、（６）式で算出される。
【００９１】
【数５】
0004682820.tif 000006
【００９２】
また、前時刻における追跡対象の予測位置の総数をＮ（Ｎ＞Ｋ）とし、前時刻における各手領域位置が選ばれる回数ｎｋ（ｔ−１）を（７）式により算出する。
【００９３】
【数６】
0004682820.tif 000007
【００９４】
つまり、確率πｋ（ｔ−１）がある閾値Ｔより大きい手領域位置は、候補としてｎｋ（ｔ−１）回選ばれて、次に説明するように、現時刻の予測位置が算出される。
【００９５】
手領域予測位置計算部４３３は、（８）式のように、現時刻（ｔ）の追跡対象の存在可能な予測位置ｓｋ（ｔ）を、前時刻の追跡対象の位置ｓｋ（ｔ−１）と、前時刻の追跡対象の動き速度ｖ（ｔ−１）と、現時刻の追跡対象の予測位置の範囲Δｄ（ｔ）とに基づいて、算出する。
【００９６】
【数７】
0004682820.tif 000008
【００９７】
この（８）式において、α（ｔ−１）及びβ（ｔ）はそれぞれ、ｖ（ｔ−１）及びΔｄ（ｔ）に対するウェイト（係数）である。
【００９８】
図４１は、予測位置ｓｋ（ｔ）を算出する演算器の構成を模式的に示す図である。現時刻の予測位置ｓｋ（ｔ）は、加算器４３３１、４３３２により前時刻の追跡対象の位置ｓｋ（ｔ−１）と前時刻の追跡対象の動き速度ｖ（ｔ−１）と予測範囲Δｄ（ｔ）とが加算される。
【００９９】
予測範囲Δｄ（ｔ）は、（９）式に示すように、平均値ａｍ＝０、分散σ（ｔ）の正規乱数発生器４３３３によってランダムに与える。
【０１００】
【数８】
0004682820.tif 000009
【０１０１】
また、追跡対象の予測範囲をその対象の動き量に従って動的に決めるために、分散σ（ｔ）を（１０）式に示すように算出した。この分散σ（ｔ）は、絶対値回路４３３４により算出された前時刻の追跡対象の速度（動き量）の大きさの絶対値｜ｖ（ｔ−１）｜と、追跡対象領域の大きさによるパラメータｒ２（ｔ）とに基づいて演算器４３３５にて算出される。
【０１０２】
【数９】
0004682820.tif 000010
【０１０３】
この（１０）式において、｜ｖ（ｔ−１）｜は、前時刻の追跡対象の速度（動き量）の大きさの絶対値を示し、ｋ１は、その動き量の貢献度を示す定数である。
【０１０４】
また、ｒ２（ｔ）は、追跡対象領域の大きさによるパラメータであり、（１１）式に示すように追跡対象の大きさに従って分散値σ（ｔ）を決めた。つまり予測範囲を動的に決めることとした。
【０１０５】
【数１０】
0004682820.tif 000011
【０１０６】
この（１１）式において、ＯｂｊＳｉｚｅ（ｔ−１）は、前時刻の追跡対象の大きさを示す。そして、このＯｂｊＳｉｚｅ（ｔ−１）がある閾値Ｔ０以上の場合、ｒ２（ｔ）はその大きさに比例して算出される。一方、ＯｂｊＳｉｚｅ（ｔ−１）がある閾値ＴＯより小さい場合、ｒ２（ｔ）はある定数Ｃｏｎｓｔによって決められる。これは、前時刻の追跡結果が間違っている可能性が高いので、予測範囲が大きくなるようにある定数Ｃｏｎｓｔとしたものである。つまり、ＯｂｊＳｉｚｅ（ｔ−１）は、前時刻の追跡位置において、色相画像Ｈｕｅと彩度画像Ｓｍの２値化処理により算出された肌色領域の面積とすることができる。例えば、図４２に示すように前時刻において検出した手領域ａが手の場合、２値化処理により、図４３に示すような肌色領域ｂを算出すると、ある閾値Ｔ０以上となる。一方、図４４に示すように前時刻において検出した手領域ｃが手でない場合、図４５に示すような肌色領域ｄを算出すると、ある閾値Ｔ０よりも小さくなる。
【０１０７】
このように手領域位置予測部４３は、前時刻（ｔ−１）における手の追跡結果を追跡結果記憶部４７から読込み、手の大きさや手の動き速度に基づいた手の動き予測モデルに基づいて現時刻（ｔ）の存在可能な手領域の予測位置ｓｋ（ｔ）を算出することにより、高速且つ高精度に手領域を予測することができる。
【０１０８】
手領域評価部４４は、手領域位置予測部４３で予測された手領域の予測位置ｓｋ（ｔ）の予測領域画像のＨＳＶ分布と、画像取込部４２から入力された現時刻画像のＨＳＶ分布を算出する画像分布算出部４４１と、画像分布算出部４４１で算出されたＨＳＶ分布画像と追跡結果記憶部４７に記憶された手領域モデル４４２とに基づいて予測領域を評価する評価値計算部４４３とを備えている。この手領域モデル４４２は、例えば、手領域画像の肌色特徴を表すヒストグラム等の情報を含むものであり、予測領域画像のヒストグラムと比較される。
【０１０９】
手領域評価部４４は、入力された予測位置ｓｋ（ｔ）の予測領域画像（２４Ｂｉｔ,ＲＧＢ）を、ＨＳＶ画像（８Ｂｉｔ）に変換する。このＨＳＶ画像は、色をＨ(Hue/色相,３Ｂｉｔ)、Ｓ(Saturation/彩度，３Ｂｉｔ)、Ｖ(Value/明度，２Ｂｉｔ)で表したものである。例えば、図４６に示すようなＲＧＢ画像をＨＳＶ画像に変換した場合、図４７に示すようなＨＳＶ画像が得られる。また、図４８は、図４７に示すＨＳＶ画像の手領域ａのヒストグラムを示すものである。このヒストグラムは、人の肌色に対して特徴的な分布を示す。
【０１１０】
そこで、予測領域のＨＳＶ画像の分布特性を、（１２）式により求める。
【０１１１】
【数１１】
0004682820.tif 000012
【０１１２】
この（１２）式において、ＨＳＶ（ｉ,ｊ）はＨＳＶ画像の輝度値であり、δ（ｘ）はｘ＝０のときに１、その他には０の値を与えるデルタ関数である。つまり、ｋが０〜２５５の値をとり、ＨＳＶ（ｉ,ｊ）の輝度値と同じ場合、分布特性関数ｈｉｓｔｏｇｒａｍ（ｋ）はｐ（ｉ,ｊ）（ｒ）の値だけ増加する。
【０１１３】
ｐ（ｉ,ｊ）（ｒ）は、（１３）式に示すように、現時刻の画像の座標位置（ｉ,ｊ）と予測領域の中心位置（ｘｃ,ｙｃ）との距離ｒに逆比例する関数であり、分布特性関数ｈｉｓｔｏｇｒａｍ（ｋ）の重み付けを行っている。つまり、中心付近の画素は貢献度が高くなり、中心から離れた画素になるにつれて貢献度が低くなる。これにより、背景の影響を低減することができる。
【０１１４】
【数１２】
0004682820.tif 000013
【０１１５】
また、α（ｉ,ｊ）は、例えば、予め設定されたマスク領域に依存する。例えば、顔検出器により検出された顔領域をマスク領域とし、予測領域が顔領域の一部を含む場合、その画素（ｉ,ｊ）が手領域となる確率を下げるように調整する関数である。このα（ｉ,ｊ）は、（１５）式に示すように、その画素（ｉ，ｊ）が顔領域のようなマスク領域に含まれているか否かで決められる。
【０１１６】
【数１３】
0004682820.tif 000014
【０１１７】
このようにＨＳＶ画像のヒストグラムだけではなく、マスク領域に基づいて確率を調整することにより、手領域のＨＳＶ値（特性）と顔領域のＨＳＶ値の相似性が高くなっても、手領域追跡エラーの発生を防止し、ロバストな手領域追跡が実現できる。
【０１１８】
また、手領域評価部４４は、（１６）式のように、（１２）式により算出されるヒストグラムと追跡結果記憶部４７に登録された手領域モデルとのマッチングコスト計算を行い、予測領域を評価する。
【０１１９】
【数１４】
0004682820.tif 000015
【０１２０】
このように追跡結果記憶部４７に登録された手領域モデルと予測領域との相似性をマッチングにより評価することにより、ロバストな手領域追跡が実現できる。
【０１２１】
手領域追跡結果推定部４５は、予測領域評価部４４で算出されたマッチングコストによる確率を計算する確率計算部４５１と、全ての予測領域の確率に基づいて追跡結果を推定する追跡結果推定部４５２とを備えている。
【０１２２】
確率計算部４５１は、予測領域評価部４４で算出されたマッチングコストを用いて、手領域である確率πｋ（ｔ）を（１７）式により算出する。算出された確率πｋ（ｔ）は、予測位置ｓｋ（ｔ）とともに追跡結果記憶部４７に記憶される。
【０１２３】
【数１５】
0004682820.tif 000016
【０１２４】
追跡結果推定部４５２は、現時刻の各追跡対象の予測位置ｓｋ（ｔ）とその相似性評価による確率πｋ（ｔ）によって、（１８）式により追跡結果（位置）を推定する。
【０１２５】
【数１６】
0004682820.tif 000017
【０１２６】
ここで、Ｓ（ｔ）は、現時刻の追跡対象（例えば、手や顔）の位置を示す。また、Ｋは、現時刻で追跡対象が存在する可能性のある位置の予測数を示す。
【０１２７】
このように手領域追跡結果推定部４５は、追跡結果（位置）を現時刻の各追跡対象の予測位置ｓｋ(ｔ)とその相似性評価による確率πｋ(ｔ)によって推定することにより、高速且つ、高精度に手領域を追跡することができる。
【０１２８】
追跡結果出力部４６は、手領域追跡結果推定部４５で推定された手領域の位置Ｓ（ｔ）、大きさ、確率等を追跡結果記憶部４７に出力する。
【０１２９】
追跡結果記憶部４７は、追跡結果出力部４６から出力された追跡結果を記憶する。また、手領域位置予測部４３に前時刻の追跡結果を読み出す。また、予測領域評価部４４に、例えば、推定確率の高い位置の手領域モデルを読み出し、手領域初期モデルを更新する。
【０１３０】
続いて、上述した手領域検出装置１０，２０，３０及び手領域追跡装置４０の全体的な動作について図４９に示すフローチャートを用いて説明する。
【０１３１】
まず、手領域検出装置１０，２０，３０及び手領域追跡装置４０を含むオブジェクト追跡装置は、手領域を追跡する追跡モードであるか否かを判別する（ステップＳ１）。すなわち、追跡対象となる手領域が検出・登録されているか否かを判別する。
【０１３２】
ステップＳ１において、手領域の追跡モードでないと判別された場合、すなわち、手領域の登録が必要である場合、ステップＳ２に進み、手領域を検出する。この手領域検出は、上述した手領域検出装置１０，２０，３０を用いて行うことができる。すなわち、入力画像から人の統計的肌色特徴に基づいて手の候補領域を検出し、この手の候補領域の形状複雑度を算出し、この形状複雑度に基づいて手の候補領域から手領域を検出する。
【０１３３】
ステップＳ３において、オブジェクト追跡装置は、手領域を検出できたか否かを判別する。ステップＳ３において、手領域を検出できた場合、ステップＳ４に進み、この手領域を手領域モデルとして追跡結果記憶部４７に登録する。一方、手領域を検出できなかった場合、ステップＳ１に戻り、モードを判別する。
【０１３４】
ステップＳ１において、追跡モードであると判別された場合、手領域位置予測部４３は、追跡結果記憶部４７から前時刻（ｔ−１）の追跡結果を読込む（ステップＳ５）。また、手領域評価部４４は、追跡結果記憶部４７から手領域モデルを読み込む（ステップＳ６）。
【０１３５】
ステップＳ７において、手領域追跡装置４０は、図５０〜図５３に示すような手領域の追跡処理を行う。ここで、図５０〜図５３は、それぞれ、前時刻（ｔ−１）の入力画像例、現時刻（ｔ）の手領域予測位置例、現時刻（ｔ）の画像例、現時刻（ｔ）の手領域推定位置例を示す。
【０１３６】
先ず、手領域位置予測部４３は、ステップＳ５にて読込んだ前時刻（ｔ−１）の追跡結果から手の動き予測モデルに基づいて、現時刻（ｔ）の手領域予測位置を算出する。例えば、図５０に示すような追跡結果ｓｋ（ｔ−１）が入力された場合、手の動き予測モデルに基づいて図５１に示すような手領域予測位置ｓｋ１（ｔ），ｓｋ２（ｔ），ｓｋ３（ｔ），ｓｋ４（ｔ），ｓｋ５（ｔ）を算出する。予測領域評価部４４は、手領域位置予測部４３で予測された各推測手領域位置を、図５２に示すような現時刻の画像に基づいて相似性を評価する。
【０１３７】
手領域追跡推定部４５は、予測領域評価部４４で評価された各予測位置について、手領域モデルとの相似性評価による確率πｋ(ｔ)を計算する。例えば、図５２に示す画像の場合、各予測位置の確率計算結果は、確率が高い順にｓｋ５（ｔ），ｓｋ３（ｔ），ｓｋ２（ｔ），ｓｋ４（ｔ），ｓｋ１（ｔ）となる。そして、図５３に示すように、現時刻の各追跡対象の予測位置Ｓｋ（ｔ）とその相似性評価による確率πｋ（ｔ）によって追跡位置Ｓ（ｔ）を推定する。
【０１３８】
ステップＳ８において、手領域追跡装置４０は、ステップＳ７の追跡処理にて推定した追跡位置Ｓ（ｔ），大きさ，確率等の追跡結果を追跡結果記憶部４７に記憶し、現時刻（ｔ）の手領域の追跡処理を終了する。そして、時刻をインクリメントし、次時刻の追跡処理を行う。
【０１３９】
このように予測された手領域の画像特徴と、手領域検出（初期化）により登録された手領域モデルの画像特徴との相似性評価によって、それらの予測領域が手領域である評価値（可能性）を計算し、この評価値に基づいて各予測領域が手領域である確率を計算し、これら予測領域の位置と確率から最終的に手領域の追跡結果を決めることにより、高速且つ、高精度に手領域を追跡することができる。
【０１４０】
また、上述した手領域追跡装置４０において、例えば、手領域のＨＳＶ分布特性と似ている背景領域が存在する場合等の背景の影響を低減するために、距離情報を用いるようにしてもよい。図５４は、例えば、ステレオカメラを用いて、距離情報を推定し、所定距離以上にある領域を背景として除去するようにした手領域追跡装置５０の構成を示すものである。なお、上述した手領域追跡装置４０と同一な構成には同一の符号を付し、説明を省略する。
【０１４１】
この手領域追跡装置５０は、撮像部５１と、撮像部５１で撮像された画像に基づいて画像内のオブジェクトの距離情報を推定する距離情報推定部５２と、距離情報推定部５２で推定された距離情報に基づいて所定距離にあるオブジェクトの画像領域を計算する距離画像計算部５３と、距離画像計算部５３で計算された距離画像よりも遠い距離にある背景画像を除去する背景画像除去部５４と、前時刻の手領域追跡結果から現時刻の推測手領域位置を予測する手領域位置予測部４３と、手領域予測部４３で予測された推測手領域位置を現時刻の画像の分布特性に基づいて評価する予測領域評価部４４と、予測領域評価部４４における評価結果に基づいて現時刻の手領域位置を推定する手領域追跡結果推定部４５と、手領域追跡結果推定部４５で推定された現時刻の手領域位置を出力する追跡結果出力部４６と、追跡結果出力部４６から出力された現時刻の手領域を記憶する追跡結果記憶部４７とを備えて構成されている。
【０１４２】
撮像部５１は、２台以上のカメラで構成され、所定の位置関係を有して設置されている。
【０１４３】
距離情報推定部５２は、所定の位置関係を持つ複数の視点（投影中心）から撮像した画像を用いて、撮像画像中の各点と投影中心との距離を、いわゆる「三角測量」の原理により距離情報を推定する。
【０１４４】
距離画像計算部５３は、予め設定されたカメラからの距離（Depth）の閾値Ｄ０によって、例えば、閾値Ｄ０よりも小さい距離にある画素からなる距離画像を計算する。
【０１４５】
背景画像除去部５４は、距離画像計算部５３で計算された距離画像以外の領域を背景画像としてマスクする。
【０１４６】
図５５〜５８は、所定距離以上にある領域を背景として除去するようにした手領域追跡装置５０における画像処理例を示すものである。例えば、図５５に示すような画像が撮像部５１により撮像された場合、手領域追跡装置５０は、距離画像推定部５２により各画素の距離情報を推定し、図５６に示すように距離画像計算部５３によりある閾値Ｄ０よりも小さい距離の人物領域を前景として切り出す。背景画像除去部５４は、距離画像計算部５３により切り出された人物領域以外をマスクするマスク画像を生成する。このマスク画像は、例えば、図５７に示すようにマスク領域の濃淡値を０としたものである。そして、背景画像除去部５４は、撮像部５１により撮像された画像からマスク画像を用いて背景を除去する。したがって、予測領域評価部４４に入力される現時刻の画像は、図５８に示すようなマスク画像により背景が除去されたＨＳＶ画像となる。なお、この後の処理は上述した手領域追跡装置４０と同様である。
【０１４７】
このように所定距離以上にある肌色候補領域を背景として除去することにより、例えば、背景に他の人の手があっても所定距離以内の手領域を追跡するため、実環境のロバスト性をより高めることができる。
【０１４８】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、本実施の形態では、画像内のオブジェクトとして人の手領域を追跡することとしたが、例えば、顔領域を追跡するようにしてもよい。この場合、手領域追跡と同じように、先ず、顔検出器によって顔の領域を検出し登録する。そして、上述のような追跡処理により顔領域の追跡を行うことができる。
【０１４９】
また、例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【図面の簡単な説明】
【０１５０】
【図１】本発明に係る一実施形態の手領域追跡装置の全体的な処理を説明するための図である。
【図２】本発明に係る一実施形態の手領域検出装置の構成を示すブロック図である。
【図３】入力画像例を示す図である。
【図４】ＲＧＢ情報による画像処理例を示す図である。
【図５】肌色候補領域の選定例を示す図である。
【図６】肌色候補領域が選定された画像例を示す図である。
【図７】色相による画像処理例を示す図である。
【図８】肌色候補領域の色相分布例を示す図である。
【図９】彩度による画像処理例を示す図である。
【図１０】肌色候補領域の彩度分布例を示す図である。
【図１１】肌色の色相領域の検出を説明するための図である。
【図１２】肌色の彩度領域の検出を説明するための図である。
【図１３】色相画像における色相領域の検出例を示す図である。
【図１４】彩度画像における色相領域の検出例を示す図である。
【図１５】手候補領域の検出例を示す図である。
【図１６】手の形状に応じた複雑度を説明するための図である。
【図１７】手を閉じた場合の入力画像例を示す図である。
【図１８】手を閉じた場合の形状複雑度の算出結果を示す図である。
【図１９】指を２本開いた場合の入力画像例を示す図である。
【図２０】指を２本開いた場合の形状複雑度の算出結果を示す図である。
【図２１】手を開いた場合の入力画像例を示す図である。
【図２２】手を開いた場合の形状複雑度の算出結果を示す図である。
【図２３】手候補領域の中心からの距離に基づく形状複雑度を説明するための図である。
【図２４】中心からの距離の算出結果を示す図である。
【図２５】本発明に係る一実施形態の手領域検出装置における他の構成（その２）を示すブロック図である。
【図２６】時刻ｔにおける画像例を示す図である。
【図２７】時刻ｔ＋１における画像例を示す図である。
【図２８】動き領域の検出例を示す図である。
【図２９】動き領域から手領域を検出した例を示す図である。
【図３０】肌色候補領域の検出例を示す図である。
【図３１】手領域の決定例を示す図である。
【図３２】動き領域の検出を行わなかった場合の肌色候補領域の検出例を示す図である。
【図３３】動き領域の検出を行わなかった場合の手領域検出結果例を示す図である。
【図３４】本発明に係る一実施形態の手領域検出装置における他の構成（その３）を示すブロック図である。
【図３５】入力画像例を示す図である。
【図３６】肌色候補領域の検出例を示す図である。
【図３７】手領域の検出結果例を示す図である。
【図３８】距離情報により手候補領域の距離を推定した例を示す図である。
【図３９】距離情報に基づく手領域の検出結果を示す図である。
【図４０】本発明に係る一実施形態の手領域追跡装置の構成を示すブロック図である。
【図４１】手領域位置予測部における処理を説明するための図である。
【図４２】前時刻において手領域を検出した場合の画像例を示す図である。
【図４３】二値化処理により手領域の面積を計測した場合の画像例を示す図である。
【図４４】前時刻において手領域を検出しなかった場合の画像例を示す図である。
【図４５】二値化処理により手領域の面積を計測した場合の画像例を示す図である。
【図４６】撮像されたＲＧＢ画像例を示す図である。
【図４７】ＲＧＢ画像をＨＳＶ画像に変換した例を示す図である。
【図４８】ＨＳＶ画像における手領域のヒストグラムを示す図である。
【図４９】本発明の一実施形態における追跡動作のフローチャートである。
【図５０】前時刻における手領域位置の画像例を示す図である。
【図５１】現時刻における手領域予測位置例を示す図である。
【図５２】手領域予測位置を評価した際の画像例を示す図である。
【図５３】手領域の追跡位置の画像例を示す図である。
【図５４】本発明に係る一実施形態の手領域追跡装置における他の構成（その２）を示すブロック図である。
【図５５】現時刻における画像例を示す図である。
【図５６】距離情報に基づいて距離画像例を示す図である。
【図５７】マスク画像例を示す図である。
【図５８】マスク画像により背景除去を施した画像例を示す図である。
【符号の説明】
【０１５１】
１０  手領域検出装置、１１  撮像部、１２  画像取込部、１３  肌色候補領域選定部、１４  手候補領域抽出部、１５  形状複雑度算出部、１６  手領域検出部、２０  手領域検出装置、２１  遅延回路部、２２  動き領域検出部、２３  手領域決定部、３０  手領域検出装置、３１  基準撮像部、３２  距離情報取得部、３３  手領域決定部
４０  手領域追跡装置、４１  撮像部、４２  画像取込部、４３  手領域位置予測部、４４  予測領域評価部、４５  手領域追跡結果推定部、４６  追跡結果出力部、４７  追跡結果記憶部、５０  手領域追跡装置、５１  撮像部、５２  距離画像推定部、５３  距離画像計算部、５４  背景画像除去部
【図１】
0004682820.tif 000018
【図２】
0004682820.tif 000019
【図３】
0004682820.tif 000020
【図４】
0004682820.tif 000021
【図５】
0004682820.tif 000022
【図６】
0004682820.tif 000023
【図７】
0004682820.tif 000024
【図８】
0004682820.tif 000025
【図９】
0004682820.tif 000026
【図１０】
0004682820.tif 000027
【図１１】
0004682820.tif 000028
【図１２】
0004682820.tif 000029
【図１３】
0004682820.tif 000030
【図１４】
0004682820.tif 000031
【図１５】
0004682820.tif 000032
【図１６】
0004682820.tif 000033
【図１７】
0004682820.tif 000034
【図１８】
0004682820.tif 000035
【図１９】
0004682820.tif 000036
【図２０】
0004682820.tif 000037
【図２１】
0004682820.tif 000038
【図２２】
0004682820.tif 000039
【図２３】
0004682820.tif 000040
【図２４】
0004682820.tif 000041
【図２５】
0004682820.tif 000042
【図２６】
0004682820.tif 000043
【図２７】
0004682820.tif 000044
【図２８】
0004682820.tif 000045
【図２９】
0004682820.tif 000046
【図３０】
0004682820.tif 000047
【図３１】
0004682820.tif 000048
【図３２】
0004682820.tif 000049
【図３３】
0004682820.tif 000050
【図３４】
0004682820.tif 000051
【図３５】
0004682820.tif 000052
【図３６】
0004682820.tif 000053
【図３７】
0004682820.tif 000054
【図３８】
0004682820.tif 000055
【図３９】
0004682820.tif 000056
【図４０】
0004682820.tif 000057
【図４１】
0004682820.tif 000058
【図４２】
0004682820.tif 000059
【図４３】
0004682820.tif 000060
【図４４】
0004682820.tif 000061
【図４５】
0004682820.tif 000062
【図４６】
0004682820.tif 000063
【図４７】
0004682820.tif 000064
【図４８】
0004682820.tif 000065
【図４９】
0004682820.tif 000066
【図５０】
0004682820.tif 000067
【図５１】
0004682820.tif 000068
【図５２】
0004682820.tif 000069
【図５３】
0004682820.tif 000070
【図５４】
0004682820.tif 000071
【図５５】
0004682820.tif 000072
【図５６】
0004682820.tif 000073
【図５７】
0004682820.tif 000074
【図５８】
0004682820.tif 000075