(57)【特許請求の範囲】
【請求項１】
標準色フレームイメージを生成するため、色フレームイメージの色成分を標準化する色標準化器と、
前記色標準化器に接続され、一つのピクセルにおいて連続する前記標準色フレームイメージの変化量が所定値以上の場合、当該ピクセルが移動体に属すると判断して、前記標準化された色フレームイメージを移動体に対応するピクセルが強調された強度レベルを有する第１色変換フレームイメージに色変換するための色変換器と、
前記色変換器に連結され、前記第１色変換フレームイメージを１フレームだけ遅延させて第２色変換フレームイメージを生成する色フレーム遅延器と、
前記色変換器および前記色フレーム遅延器とに接続され、前記色変換器からの前記第１色変換フレームイメージと前記色フレーム遅延器からの前記第２色変換フレームイメージとに基づいて移動体の動作を検出し、さらに前記検出された動作に基づき前記第１色変換フレームイメージの強度レベルを強化する動作検出器、を備え、
前記色変換器で生成された前記第１色変換フレームイメージの各ピクセルは、前記移動体の標準色成分に対するピクセルの標準色成分に近い値に比例する次のような数値関係を有する強度レベルを有し、
【数１】
0003725784.tif 000006
ここで、（ｘ，ｙ）は前記標準フレームイメージのピクセル座標であり、Ｚ（ｘ，ｙ）は座標（ｘ，ｙ）で第１色変換フレームイメージの各々のピクセルの強度レベル、ｇ（ｘ，ｙ）とｒ（ｘ，ｙ）は座標（ｘ，ｙ）のピクセルの標準化された色成分であり、ＧＦ（）は二次元ガウス分散関数である、それぞれが三つの色成分を有する複数のピクセルを有する色フレームイメージシーケンスで移動体を検出する装置。
【請求項２】
請求項１において、前記動作検出器は、前記第１色変換フレームイメージと第２色変換フレームイメージの強度レベル差が臨界値より大きいピクセル周辺のピクセルをカウンティングすることで各ピクセルの動作を検出する手段から構成され、ここで、前記各ピクセルの強度レベルは前記各ピクセルの前記検出された動作による強度レベルを合わせることにより更に強化される、色フレームイメージシーケンスで移動体を検出する装置。
【請求項３】
請求項２において、前記合わせ過程は、前記各ピクセルの前記検出された動作と前記強度レベルをファジー−ＡＮＤ演算することにより遂行される、色フレームイメージシーケンスで移動体を検出する装置。
【請求項４】
請求項２において、前記臨界値はつぎのようなシグモイド関数により得られる、色フレームイメージシーケンスで移動体を検出する装置であって、
【数２】
0003725784.tif 000007
ここで、Ｚ（ｘ，ｙ，ｔ）はピクセルの強度レベルであり、Ｑは所定のパラメータである、装置。
【発明の詳細な説明】
【０００１】
技術分野
本発明は動映像の移動体を検出する装置及びその方法に関するもので、特に顔領域の色と動作情報を用いて動映像上の顔領域を検出することができる装置及びその方法に関するものである。
【０００２】
背景技術
顔認識において、動映像上の顔領域を検出することは必須段階の一つである。顔領域を検出するための既存の発明は広く使われていない。なぜならば、前記のような既存の発明は顔の大きさ及び方向そして背景イメージによって大きい影響を受けるためである。
【０００３】
顔領域の検出は顔の形状、色、動作に関する情報を用いることによりなされる。
顔領域の検出のため、前記顔の形状情報を用いる既存の発明は灰色レベルの変化を測定し、前記測定された値を顔の先天的情報に適用することによりなされる。しかし、前記のような顔の形状情報を用いる方法は顔の正面のみを有するイメージ色顔領域を検出することに用いられるべきであり、前記のような検出結果は顔の大きさ及び方向、そして背景イメージに大きい影響を受ける。
【０００４】
また、前記顔の色情報を用いる既存の発明の場合、人種間の相違した顔色が問題となり、これは、前記方法が人間の顔固有の色を用いて顔領域を検出するためである。しかも、前記のような方法は前記形状情報を用いる方法よりも多くの情報を使用するため、多量のデータ処理が要求される。しかし、ハードウェア技術が発達するにつれて、前記形状を用いる方法よりも多く適用できる。
【０００５】
動作情報も、動映像上の物体（顔）が動く場合、顔領域を検出することに使用される。
発明の開示
したがって、移動体の検出が背景イメージ、大きさ及び方向によって影響を受ける移動体検出装置及び方法を提供することが本発明の主目的である。
【０００６】
本発明のほかの目的は顔領域を含む移動体を従来より速い速度で検出することができる装置及び方法を提供することにある。
前記目的を達成するために本発明によると、色フレームイメージシーケンスの移動体検出装置が提供される。ここで、色フレームイメージは複数のピクセルを有し、前記ピクセルはそれぞれ３色成分を有する。前記装置は、標準フレームイメージを生産するため、色フレームイメージの前記色成分を標準化させる色標準化器と、前記色標準化器に連結され、前記標準フレームイメージの色を変換することにより、前記標準フレームイメージを第１色変換フレームイメージ化する色変換器（ここで、前記第１色変換フレームイメージは移動体をなすピクセルが強調された強度レベルを有する）と、前記色変換器に連結され、前記第１色変換フレームイメージを１フレーム遅延させて第２色変換フレームイメージ化するフレーム遅延器と、前記色変換器と前記色遅延器に連結され、移動体の動作を検出し、前記検出された動作によって前記第１色変換フレームイメージの強度レベルを強化する動作検出器とからなる。
【０００７】
本発明は後述するような本発明を実施する最適態様の詳細な説明からより明らかになるであろう。以後の説明においては添付図面を参照し、各図面で同一部を示すために同一符号を使用する。
発明を実施する最良の態様
図１は色動映像の移動体を検出するための本発明の全システムのブロック図を示す。前記システムは、色動映像の現在フレームイメージの色成分を標準化する色標準化器１００と、前記標準フレームイメージの色を前記標準フレームイメージが色変換フレームイメージ化されるように変換する色変換器２００と、前記色変換器２００の色変換フレームを一時的に貯蔵して前記色変換フレームを１フレーム遅延させ得るようにするフレーム遅延器３００と、前記色変換器２００と前記フレーム遅延器３００から色変換された現在及び以前のフレームを受けて移動体の動作を検出する動作検出器４００とから構成される。前記色変換器により生成された色変換フレームイメージは移動客体に対応するピクセルが強調された強度レベルを有する。前記動作検出器４００は移動体のピクセルの強度レベルを更に強化するため、前記移動体の検出された動作を使用する。
【０００８】
図２を参照して図１の色標準化器１００の動作を説明する。
ＲＧＢ色を用いる空間の色モデルにおいて、例えばどんな色の情報Ｑであっても３色成分、つまり相違した波長を有する赤、緑、青で表現できる。言いかえれば、色情報ＱはＱ＝（Ｒ，Ｇ，Ｂ）により与えられる。輝度値Ｙは前記３色成分の和により定義される。ここで、輝度値Ｙは明るさを知覚し得るようにする可視輻射エネルギーの基準である。イメージの明るさがイメージの色成分に影響を及ぼすことを防止するため、各ピクセルの色成分はそのピクセルの輝度値Ｙにより標準化されなければならない。
【０００９】
図２は色標準化器１００のブロック図を示す。前記色標準化器１００は、輝度抽出器１３０と、二つの標準化器１１０、１２０とから構成される。輝度抽出器１３０はフレームイメージの各ピクセルの赤、緑、青色成分を全て合わせて輝度地Ｙ、つまり（Ｙ＝Ｒ＋Ｇ＋Ｂ）の値を求める。その後、標準化器１１０、例えば赤色成分標準化器は前記輝度値Ｙを入力して前記輝度値Ｙ及び赤色成分Ｒを用いて標準色成分ｒ（ｒ＝（Ｒ／Ｙ）＊２５５）を計算し外部に出力する。同様に、標準化器１２０、例えば緑色成分標準化器は前記輝度値Ｙを入力して標準色成分ｇ（ｇ＝（Ｇ／Ｙ）＊２５５）を計算し外部に出力する。ここで、輝度値の範囲が３bitであり、最も明るいピクセルの輝度値が２５５であると仮定した。標準化により、どんな色情報Ｑ（Ｑ＝ｒ，ｇ）であっても二つの標準色成分ｒ及びｇにより表現することができ、これは三つの標準色成分の関係がｒ＋ｇ＋ｂ＝２５５であるためである。このようにして、標準化色空間の色モデルは２５６2／２色を表現することができ、反面ＲＧＢ色空間の色モデルは２５６3色を表現することができる。
【００１０】
図３ａは典型的な顔イメージの標準化された色成分のヒストグラムを示す。図３ａにおいて、水平面上の２軸は二つの標準化された色成分ｒとｇの値を示し、水平面に垂直な軸は、前記典型的な顔イメージにおいて、前記標準化された色成分ｒ、ｇを有するピクセルの数を示す。標準化された色成分の分散は背景と明るさにかかわらず全ての顔イメージに類似する。
【００１１】
図３ｂは二次元ガウス分散関数によりモデリングされた顔イメージの標準化された色成分のヒストグラムを示す。本発明の具体例においては、モデリングが図３ｂに示すように二次元ガウス分散関数を用いて行われた。顔イメージの色分散のためのガウスモデルは一般色分散（Generalized Face Color Distribution；以下ＧＦＣＤという）と呼ばれる。本具体例において、Ｍ（Ｍ＝（／ｒ、／ｇ））は二次元ガウス分散の中心点となり、前記／ｋと／ｇは顔イメージの全てのピクセルの標準化された色成分の平均値である。Σ2 は顔イメージの標準化された色成分の共分散数列を示す。前記具体例において、顔イメージのためのＧＦＣＤはｍ＝（１０５，９５）、σrのΣ2 ＝２０、σgのΣ2 ＝１５を有し得る。ＧＦＣＤモデルを用いることにより、顔を含んでいる入力色イメージの顔が顔色に対応するピクセルが強調された灰色レベルイメージに変換される。
【００１２】
色分散モデルを用いる色変換はピクセルの前記標準化された色成分を標準化色空間のガウス分散の平均ｍ＝（／ｒ，／ｇ）の色成分に近接した値に変換する。色変換はつぎのように定義される。
【００１３】
【数５】
0003725784.tif 000002
【００１４】
ここで、（ｘ，ｙ）は顔イメージのピクセル座標であり、ｇ（ｘ，ｙ）とｒ（ｘ，ｙ）は座標（ｘ，ｙ）のピクセルの標準化された色成分であり、ＧＦ（）は一般顔色分散関数である。ＧＦＣＤを用いる色変換は人間顔色のピクセル色の近接値に比例する値を生成する。
以下、図４と図５を参照して図１の色変換器２００を説明する。
【００１５】
図４は色変換器２００のブロック図を示す。色変換器２００は、第１、２ブロック２１０、２２０と、第１、２標準化ブロック２３０、２４０と、出力器２５０とから構成される。第１ブロック２１０は標準化器１１０から標準化された色成分ｒを受けて特定ＧＦＣＤモデルによる既貯蔵されたσrと比較する。仮に、標準色成分ｒがσrの３倍以下であり、／ｒ周辺地を有する場合、第１ブロック２１０はｒ’＝｜ｒ−／ｒ｜を出力する。そうでない場合、第１ブロック２１０はＺｒ＝０となるように、非常に大きい値を出力する。第２標準化ブロック２４０は出力値ｇ’を入力して１次元標準ガウス数ＧＦ（０，σr2）を含む参照表（look-up table；以下ＬＵＴという）を参照して変換値Ｚｇを出力する。出力器２５０はＺｒとＺｇの値を受けてＺ＝（Ｚｒ＊Ｚｇ）＊２５５を計算し、Ｚを出力する。図５は典型的な顔イメージをＧＦＣＤモデリングにより色変換を行った結果を示す。図５の結果イメージから分かるように、人間の顔色を有する部分は強調された。
【００１６】
仮に、背景イメージが人間の顔色に似ている色を有する場合、前記方法は顔部位と同様に背景イメージも強調する。この問題を克服するため、本方法は人間顔の動作情報を使用する。一般に、背景イメージが停止しているうちに人間顔領域のみが動く。したがって、顔領域の動作情報が用いられると、人間顔領域は背景イメージとはっきりと区分される。二つの連続フレームイメージ色動作情報を抽出する方法は関連技術分野によく知られている。それは領域基礎方法と特徴点基礎方法である。関連技術分野の殆どの適用には、前記特徴点基礎方法が一般に内挿法を使用する後処理を必要とするため、特徴点基礎方法より領域基礎方法を用いる。
【００１７】
典型的な領域基礎方法において、特定ピクセルの周辺ピクセルの強調レベルのフレーム間差が前記特定ピクセルの動作を測定するために加わる。この方法は蓄積差測定法（Accumulated Difference Measure；以下ＡＭＤという）である。前記ＡＤＭ法は隣接ピクセルの強度差の合計を用いるため、前記隣接ピクセルの小さい雑音のような変化にも確かに検出する。しかし、小さい差を有するピクセルは平均効果により無視され、測定は臨界値の決定によって大きく影響を受ける。
【００１８】
したがって、所定大きさのウィンドウで臨界値より大きいフレーム間差を有するピクセルをカウントすることで動作検出を行う。このような動作検出はアンマッチングピクセルカウント（Unmatching Pixel Count；以下ＵＰＣという）測定と言われ、つぎのように定義される。
【００１９】
【数６】
0003725784.tif 000003
【００２０】
ここで、Ｔｈは二つの連続イメージにおいてピクセルの強度値が一致するかを決定する臨界値である。ＵＰＣ方法において、マッチングはピクセル単位でテストされ、その結果が蓄積されるので、小さな強度変化を起こすオーバーラップ領域がはっきりと取られるように平均効果が減少する。
色イメージの動作を検出するため、前記色情報が使用できる。ＧＦＣＤモデリングの色変換方法により変換された色変換イメージの各ピクセルの強度レベルはそのピクセルが顔領域にある可能性を表すというのは当業者が分かる。色変換イメージの色情報は色変換イメージピクセルの強度レベルのカウントを合わせることにより、式２により合併される。このような新たな動作検出測定はウェイテッドアンマッチングピクセルカウント（Weighted Unmatching Pixel Count；以下ＷＵＰＣという）と呼ばれる。ＷＵＰＣ（ｘ，ｙ，ｔ）はＵＰＣ測定ＵＰＣ（ｘ，ｙ，ｔ）と色変換イメージＺ（ｘ，ｙ，ｔ）の強度レベル間のファジー−ＡＮＤ演算により生成される。ＷＵＰＣ測定はつぎの式のように定義される。
【００２１】
【数７】
0003725784.tif 000004
【００２２】
式３において、臨界値Ｔｈは各ピクセルの変換イメージ値（ｘ，ｙ，ｔ）を使用することにより得られる。言いかえれば、Ｔｈは顔領域のピクセルに対してはその値が小さくなり、ほかのピクセルに対してはその値が大きくなる。このようにして、ＷＵＰＣ測定はほかのピクセルの動作より顔をなすピクセルの動作にもっと敏感であり、顔領域の小さな動作であっても検出する。本発明の好ましい具体例において、臨界Ｔｈはつぎのようにシグモイド（Sigmoid）関数を使用することにより得られる。Ｑが小さくなるにつれてシグモイド関数の勾配は急になる。
【００２３】
【数８】
0003725784.tif 000005
【００２４】
したがって、シグモイド関数は小さいＱ値に対しては階段関数のようである。式３の臨界Ｔｈを決めるため、前記シグモイド関数のような関数を使用することが適切である。なぜならば、シグモイド関数は大きい入力値に対して小さな臨界Ｔｈを出力し、小さな入力値に対して大きい臨界Ｔｈを出力するためである。また、前記シグモイド関数は最大入力値又は最小入力値に対して突然応答しない関数であるという点で非線型性を有する。アダプティブリカウンティングアンマッチングピクセルに対する前記方法はアダプティブウェイテッドアンマッチングピクセルカウント（Adaptive Weighted Unmatching Pixel Count；以下ＡＷＵＰＣという）測定という。
【００２５】
図６は図１の動作検出器４００ブロック図を示す。前記動作検出器４００は一時的に色変換イメージを貯蔵し、所定大きさのウィンドウをなすピクセルの強度レベルを出力する第１、２ラインバッファ４１０、４２０と、ウィンドウの中央ピクセルの強度レベルによる臨界ｔｈを生成するアダプティブ臨界値生成器４４０と、式３のアンマッチングピクセル値Ｕ（ｘ，ｙ，ｔ）を計算することにより、現在フレームウィンドウのピクセルがその前フレームウィンドウのピクセルとマッチングされるかを決定するため、第１、２ラインバッファ４１０と４２０から色変換イメージの現在及び前フレームを入力し、臨界Ｔｈを入力するアンマッチングピクセル値生成器４３０と、アンマッチングピクセル生成器４３０でアンマッチングされたピクセルと決定されたピクセルをカウンティングするアンマッチングピクセルカウンター４５０と、第２ラインバッファ４２０の色変換イメージのピクセルの強度レベルＺ（ｘ，ｙ，ｔ）とアンマッチングピクセルカウンター４５０の出力値のファジー−ＡＮＤ演算を行うファジーＡＮＤ演算器４６０とから構成される。第２ラインバッファ４２０は現在フレームウィンドウの強度レベルＺ（ｉ，ｊ，ｔ）を出力する反面、第１ラインバッファ４１０は前フレームウィンドウの強度レベルＺ（ｉ，ｊ，ｔ）を出力する。ウィンドウのサイズは（２Ｎ＋１）×（２Ｎ＋１）であり、第１、２ラインバッファ４１０、４２０は（２Ｎ＋１）×（２Ｎ＋１）ピクセルの強度レベルを出力する。臨界値生成器４４０は現在フレームウィンドウのなかで中央ピクセルＺ（ｘ，ｙ，ｔ）の強度レベルを入力して式４による臨界値Ｔｈを生成する。アンマッチングピクセル生成器４３０は第１ラインバッファ４１０の出力と臨界値生成器４４０から臨界値Ｔｈを入力する。その後、アンマッチングピクセル生成器４３０はウィンドウの中央ピクセルＺ（ｘ，ｙ，ｔ）による式３のｕ（ｉ，ｊ，ｔ）を生成する。アンマッチングピクセルカウンター４５０はアンマッチングピクセル生成器４３０の出力を受けてアンマッチングピクセルの数をカウントする。ファジー−ＡＮＤ演算器４６０のファジー−ＡＮＤ演算子は第２ラインバッファ４２０からの中央ピクセルＺ（ｘ，ｙ，ｔ）の強度レベルとアンマッチングピクセルカウンター４５０の出力をファジー−ＡＮＤ演算することにより、色動作情報を出力する。
【００２６】
図７及び図８には、本発明による動作検出結果が従来技術と比較されている。図７は四角物体を有する二つの連続イメージの動作検出結果を示す。図７ａは背景イメージを有する四角物体を有する第１イメージを示す。図７ａの四角物体のピクセルは２００〜２３０のランダム灰色レベルを有する反面、背景イメージのピクセルは０〜３０のランダム灰色レベルを有する。図７ｂはｘ軸とｙ軸方向に四角物体が５０ピクセルだけ動いた第２イメージを示す。図７ｃは従来のＡＤＭ方法による動作検出結果を示す。強度レベルのフレーム間差の大きい領域が強調された。しかし、二つの後続イメージの四角物体がオーバーラップされた領域は強調されていない。したがって、後続フレームの二つの物体がオーバーラップされる場合、従来のＡＤＭ方法により動作がよく検出されない。図７ｄはＵＰＣ方法による動作検出結果を示す。図７ｄはＵＰＣ方法による動作検出結果を示す。図７ｄにおいて、二つの連続イメージの四角物体がオーバーラップされた領域も強調された。ＵＰＣ測定はＡＤＭ方法より移動体の動作検出を検出することができ、このことは移動体のオーバーラップ領域を検出することができるためである。図７ｅはＷＵＰＣ測定による動作検出結果を示す。第１イメージの所望色を有する移動体の領域が強調された。図７ｆは本発明によるＡＷＵＰＣ測定を用いる動作検出結果を示す。図８は人間の顔を有する二つの連続イメージの動作検出結果を示す。図８ａは背景イメージを有する人間の顔を有する第１イメージのＧＦＣＤ色変換イメージを示す。図８ｂは人間の顔が少し動いた第２イメージのＧＦＣＤ色変換イメージを示す。図８ｃは従来のＡＤＭ方法による動作検出結果を示す。図８ｃに示すように、従来のＡＤＭ方法によっては動作がよく検出されなかった。図８ｄはＵＰＣ測定による動作検出結果を示す。図８ｅと図８ｆは本発明によるＷＵＰＣ測定とＡＷＵＰＣ測定による動作検出結果を示す。
【図面の簡単な説明】
【図１】  本発明による色動映像で移動体を検出するための全システムのブロック図を示す。
【図２】  図１の色標準化器１００のブロック図を示す。
【図３】  （ａ）は典型的な顔イメージの標準化された色成分のヒストグラムを示し、（ｂ）は二次元ガウス分散関数によりモデリングされた顔イメージの標準化された色成分のヒストグラムを示す。
【図４】  図１の色変換器２００のブロック図を示す。
【図５】  （ａ）〜（ｃ）は典型的な顔イメージにＧＦＣＤモデリングにより色変換した結果を示す。
【図６】  図１の動作検出器４００のブロック図を示す。
【図７】  （ａ）〜（ｆ）は長方形客体を有する二つの連続イメージの動作検出結果を示す。
【図８】  （ａ）〜（ｆ）は人間の顔を有する二つの連続イメージの動作検出結果を示す。
【図１】
0003725784.tif 000008
【図２】
0003725784.tif 000009
【図３ａ】
0003725784.tif 000010
【図３ｂ】
0003725784.tif 000011
【図４】
0003725784.tif 000012
【図５ａ】
0003725784.tif 000013
【図５ｂ】
0003725784.tif 000014
【図５ｃ】
0003725784.tif 000015
【図６】
0003725784.tif 000016
【図７ａ】
0003725784.tif 000017
【図７ｂ】
0003725784.tif 000018
【図７ｃ】
0003725784.tif 000019
【図７ｄ】
0003725784.tif 000020
【図７ｅ】
0003725784.tif 000021
【図７ｆ】
0003725784.tif 000022
【図８ａ】
0003725784.tif 000023
【図８ｂ】
0003725784.tif 000024
【図８ｃ】
0003725784.tif 000025
【図８ｄ】
0003725784.tif 000026
【図８ｅ】
0003725784.tif 000027
【図８ｆ】
0003725784.tif 000028