(57)【特許請求の範囲】
【請求項１】
カラービデオシーケンスから１枚のフレームを現入力画像として取得する手段と、前記現入力画像をフィルタで処理して有彩色空間画像に変換し、該有彩色空間画像となるフィルタ処理画像を形成する手段と、前記フィルタ処理画像の射影ヒストグラムに基づき前記フィルタ処理画像中の顔の位置と寸法を推定する手段と、前記フィルタ処理画像内の追跡顔の位置と寸法を出力する手段とを含み、
前記顔の位置と寸法を推定する手段は、分布している全サンプルを使用してサンプル平均値μと標準偏差値σを計算することと、
μt（０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅、但しａとｂはスケールファクタ）に設定してｋ時点のトリミング間隔内におけるトリミング平均値μ（ｋ）を得ることと、
前記トリミング間隔内におけるトリミング平均値μt（ｋ＋１）を計算し前記トリミングした間隔［μt（ｋ）−δ，μt（ｋ）＋δ］を規定することと、
｜μt（ｋ＋１）−μt（ｋ）｜＜ε（εは公差）になるまで前記トリミング平均値を再計算することと、
最終のトリミングした間隔内のトリミング平均値をロバスト平均値μ*とし、
間隔［μ*−δ，μ*＋δ］内のサンプルに基づきトリミングした標準偏差値σtを計算し、寸法＝ｃ*σt（但しｃはスケールファクタ）に設定することにより顔領域の寸法を計算することを含み、
前記サンプルは、前記フィルタ処理画像中の各画素のうち、有彩色空間中でモデル化された所定の規定により皮膚色であると判別した画素を指すものであって、
前記サンプル平均値は、フィルタ処理画像中の各画素について、有彩色空間中でモデル化された所定の規定により皮膚色であるか否かを判別した２値画像を生成し、該２値画像における肌色を示す画素を２値画像のＸ軸とＹ軸にそれぞれ投影して、画素数の１次元ヒストグラムを生成し、該１次元ヒストグラムに分布するサンプルの平均値であって、
前記標準偏差σは、前記１次元ヒストグラムに分布するサンプルの標準偏差であることを特徴とする複数人物が存在する場合の人間の顔のロバスト追跡システム。
【請求項２】
カラービデオシーケンスから１枚のフレームを現入力画像として取得する手段と、前記現入力画像をフィルタで処理して有彩色空間画像に変換し、該有彩色空間画像となるフィルタ処理画像を形成する手段と、前記フィルタ処理画像の射影ヒストグラムに基づき前記フィルタ処理画像中の顔の位置と寸法を推定する手段と、前記フィルタ処理画像内の追跡顔の位置と寸法を出力する手段とを含み、
前記顔の位置と寸法を推定する手段は、分布している全サンプルを使用してサンプル平均値μと標準偏差値σを計算することと、
μt（０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅、但しａとｂはスケールファクタ）に設定してｋ時点のトリミング間隔内におけるトリミング平均値μ（ｋ）を得ることと、
前記トリミング間隔内におけるトリミング平均値μt（ｋ＋１）を計算し前記トリミングした間隔［μt（ｋ）−δ，μt（ｋ）＋δ］を規定することと、
｜μt（ｋ＋１）−μt（ｋ）｜＜ε（εは公差）になるまで前記トリミング平均値を再計算することと、
最終のトリミングした間隔内のトリミング平均値をロバスト平均値μ*とし、
間隔［μ*−δ，μ*＋δ］内のサンプルに基づきトリミングした標準偏差値σtを計算し、h（μ*＋ｄ*σt）≧ｇ*ｈ（μ*）またはｈ（μ*−ｄ*σt）≧ｇ*ｈ（μ*）であれば、条件がもはや真でなくなるまでσtを増大し、寸法＝ｃ*σt（但しｃはスケールファクタ）に設定することにより顔領域の寸法を計算することを含み、
前記サンプルは、前記フィルタ処理画像中の各画素のうち、有彩色空間中でモデル化された所定の規定により皮膚色であると判別した画素を指すものであって、
前記サンプル平均値は、フィルタ処理画像中の各画素について、有彩色空間中でモデル化された所定の規定により皮膚色であるか否かを判別した２値画像を生成し、該２値画像における肌色を示す画素を２値画像のＸ軸とＹ軸に投影して、画素数の１次元ヒストグラムを生成し、該１次元ヒストグラムに分布するサンプルの平均値であって、
前記標準偏差σは、前記１次元ヒストグラムに分布するサンプルの標準偏差であることを特徴とする複数人物が存在する場合の人間の顔のロバスト追跡システム。
【請求項３】
カラービデオシーケンスから１枚のフレームを現入力画像として取得する手段と、前記現入力画像をフィルタで処理して有彩色空間画像に変換し、該有彩色空間画像となるフィルタ処理画像を形成する手段と、前記フィルタ処理画像の射影ヒストグラムに基づき前記フィルタ処理画像中の顔の位置と寸法を推定する手段と、前記フィルタ処理画像内の追跡顔の位置と寸法を出力する手段とを含み、
前記顔の位置と寸法を推定する手段は、分布している全サンプルを使用してサンプル平均値μと標準偏差値σを計算することと、
μt（０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅、但しａとｂはスケールファクタ）に設定してｋ時点のトリミング間隔内におけるトリミング平均値μ（ｋ）を得ることと、
前記トリミング間隔内におけるトリミング平均値μt（ｋ＋１）を計算し前記トリミングした間隔［μt（ｋ）−δ，μt（ｋ）＋δ］を規定することと、
｜μt（ｋ＋１）−μt（ｋ）｜＜ε（εは公差）になるまで前記トリミング平均値を再計算することと、
最終のトリミングした間隔内のトリミング平均値をロバスト平均値μ*とし、
Ｎを顔画像の寸法計算に使用するサンプル数とし、
【数１】
0004251719.tif 000008
に設定して、顔領域の寸法を計算することを含み、
前記サンプルは、前記フィルタ処理画像中の各画素のうち、有彩色空間中でモデル化された所定の規定により皮膚色であると判別した画素を指すものであって、
前記サンプル平均値は、フィルタ処理画像中の各画素について、有彩色空間中でモデル化された所定の規定により皮膚色であるか否かを判別した２値画像を生成し、該２値画像における肌色を示す画素を２値画像のＸ軸とＹ軸に投影して、画素数の１次元ヒストグラムを生成し、該１次元ヒストグラムに分布するサンプルの平均値であって、
前記標準偏差σは、前記１次元ヒストグラムに分布するサンプルの標準偏差であることを特徴とする複数人物が存在する場合の人間の顔のロバスト追跡システム。
【請求項４】
カラービデオシーケンスから１枚のフレームを現入力画像として取得する手段と、前記現入力画像をフィルタで処理して有彩色空間画像に変換し、該有彩色空間画像となるフィルタ処理画像を形成する手段と、前記フィルタ処理画像の射影ヒストグラムに基づき前記フィルタ処理画像中の顔の位置と寸法を推定する手段と、前記フィルタ処理画像内の追跡顔の位置と寸法を出力する手段とを含み、
前記顔の位置と寸法を推定する手段は、分布している全サンプルを使用してサンプル平均値μと標準偏差値σを計算することと、
μt（０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅、但しａとｂはスケールファクタ）に設定してｋ時点のトリミング間隔内におけるトリミング平均値μ（ｋ）を得ることと、
前記トリミング間隔内におけるトリミング平均値μt（ｋ＋１）を計算し前記トリミングした間隔［μt（ｋ）−δ，μt（ｋ）＋δ］を規定することと、
｜μt（ｋ＋１）−μt（ｋ）｜＜ε（εは公差）になるまで前記トリミング平均値を再計算することと、
最終のトリミングした間隔内のトリミング平均値をロバスト平均値μ*とし、
［μx*−Δ，μx*＋Δ］（Δは計算に使用したサンプル数）の範囲内の色フィルタ処理画像中の列を射影してクリップした射影ヒストグラムｈcyを形成し、前記射影ヒストグラムｈcyに基づきｙ方向の寸法を計算し、顔の動きを追跡するために顔位置を推定することにより色フィルタ処理画像のクリップした領域の射影ヒストグラムから顔領域の寸法を計算することを含み、
前記サンプルは、前記フィルタ処理画像中の各画素のうち、有彩色空間中でモデル化された所定の規定により皮膚色であると判別した画素を指すものであって、
前記サンプル平均値は、フィルタ処理画像中の各画素について、有彩色空間中でモデル化された所定の規定により皮膚色であるか否かを判別した２値画像を生成し、該２値画像における肌色を示す画素を２値画像のＸ軸とＹ軸に投影して、画素数の１次元ヒストグラムを生成し、該１次元ヒストグラムに分布するサンプルの平均値であって、
前記標準偏差σは、前記１次元ヒストグラムに分布するサンプルの標準偏差であることを特徴とする複数人物が存在する場合の人間の顔のロバスト追跡システム。
【請求項５】
線形カルマンフィルタを介し顔の動きを推定することを特徴とする請求項１〜４のいずれか１に記載の複数人物が存在する場合の人間の顔のロバスト追跡システム。
【請求項６】
後処理の期間に顔の動きを平滑化することを特徴とする請求項５に記載の複数人物が存在する場合の人間の顔のロバスト追跡システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数人物が存在する場合の人間の顔のロバスト追跡方法、より具体的には、ビデオ通信、高度の人と計算機間のインタフェース、ディジタルライブラリ及びオブジェクトベースのビデオ符号化のような種々の用途に用いることが出来る人間の顔追跡技法に関する。
【０００２】
【従来の技術】
例えば、人間の顔や、その他の関心を引くような特定対象のごとくの画像中の重要な領域を検出する多数の技法が知られている。顔の検出は特に興味を引く領域であり、顔認識は画像処理だけでなく、同一人の識別と保安及び人と計算機のインタフェース等の目的のためにも重要である。人と計算機間のインタフェースにおいては、顔が表示されていれば、顔の場所を特定するだけでなく特定な顔を識別し、顔の表情とジェスチャーを理解することが出来る。
【０００３】
従来の顔部検出技法は、一定の目標パターンと複数の候補画像位置間の相似性を計算する相関テンプレートを含んでいる。相似性測定の任意部分がしきい値を越えていれば、顔が発見されたことを示す“一致”が宣言され、検出された顔の位置情報が供給される。複数の相関テンプレートは、目の形、鼻の形等の顔の主な特徴を検出するために使用される。関連技法は、原画像のベクトル空間のパラメタ化可能な小空間に基づき距離を規定する、視覚に基づく固有空間技術である。距離測定値が予め定められたしきい値より小さければ顔は検出されたと見なされる。
【０００４】
もう１つの顔検出技法は、顔画像に特有な不変画像のセットを集めた空間不変画像を用いる。入力画像は、全ての可能な位置におけるこれらの不変画像の積極的な出現に対して走査され、人物の顔が任意位置にあるかどうかが決定される。現行の顔追跡技法例としては、（１）隣接フレーム間の相関、（２）二次元／三次元の幾何学的顔モデル，（３）照度モデル，を用いる技法がある。現行の顔追跡アルゴリズムは下記の不利点のうちの１つ以上を含んでいる。即ち、（１）部分的な明暗と影に鋭敏に反応する、（２）顔の向き及び/又はスケールの変化に鋭敏に反応する、（３）照明条件の変化に鋭敏に反応する、（４）計算が集中的でリアルタイムの応用装置に適用するのが困難である、（５）顔の元の位置を必要とする、以上の点である。
【０００５】
顔追跡方法用の特別な技法が、Ｊ.YangとA.Waibelの論文“Tracking human faces in real-time（リアルタイムでの人間の顔のトラッキング）”（Proc.IEEE Workshop on Application of Computer Vision，１９９６年）に開示されている。この論文中で、赤−緑−青（ＲＧＢ）の画像を受取り、フィルタでその画像を処理して輝度又は明るさのない純粋色の色画像（赤と緑）を生成するシステムが記述されている。ＲＧＢからＲＧへの転換は三次元空間から二次元空間への変換である。有彩色空間内の顔の色分布は小領域に群集すると推定される。論文では、有彩色空間中の皮膚色が、皮膚色の個人差及び照明条件に拘りなく、ガウス分布に相似であると記述されている。二次元（２Ｄ）のガウスモデルは、顔の色を示すＲＧＢ画素マップを有彩色空間（ｒ，ｇ）に写像するために使用される。この２Ｄガウスモデルに基づき、ＲＧＢ画像内の各画素毎に、画像の顔領域を計算する。２Ｄガウスモデルは、しかしながら、計算量が莫大で、論文のタイトルに反し、リアルタイムシステムには高価過ぎる。さらに、この技法は非常に簡単なトラッキング装置を用いており、処理中に追跡顔画像の“揺れ”が生じる。
【０００６】
A.ElefheriadisとA.Jacquinの論文“Automatic face location detection and tracking for model-assisted coding of video teleconferencing sequences at low bit-rates（低ビットレートでのビデオ会議シーケンスのモデル援用符号化のための自動顔位置の検出及び追跡）”（Signal Processing Image Communication，Ｎｏ．７，１９９５年）には、ビデオ処理用に設計され、“話者頭部”、即ち頭と肩の画像の検出に適した顔検出追跡システムが記述されており、画像中の人物は楕円形の注目領域としてモデル化される。このシステムは、人間の頭部輪郭が通常楕円であり、フレーム間の時間的相関性は非常に高いものとして仮定する。システムは、連続するフレーム中の対象物の位置差を計算し、非ゼロ領域として表示する重要な動き領域の識別用しきい値を設定する。楕円形で且つ非ゼロ領域として表示される領域はその位置を確定し非ゼロ領域として識別する。
【０００７】
G.D.HagerとP.N.Belhumeuerは、論文“Real-time tracking of image regions with changes in geometry and illumination，（幾何学形状と照明が変化する画像領域のリアルタイムトラッキング）”（Proc.Computer Vision and Pattern Recognition，１９９６年）において、１つのウィンドウを定義し、同ウィンドウ内の画像の明るさ又は輝度を分析する顔追跡システムが記述されている。ウィンドウ内の明るさ又は輝度のパターンを、連続するフレーム間の顔のようなウィンドウ内対象物の追跡に用いる。このシステムは顔の向きに鋭敏に反応して変化し、画像パターンを暗くする部分的明暗と影を含んでいる。しかしながら、このシステムは画像中の顔の位置を最初に決定することはできない。
【０００８】
１９９７年６月２４日付けでPiggio他に対し付与された米国特許Ｎｏ．５，６４２，４３１の“Network-based system and method for detection of faces and the like（顔及び類似物を検出する方法とネットワークに基づくシステム）”は、画像を取得し、パターン・プロトタイプ・シンセサイザーにより生成されたパターンに従い取得画像を分類する画像システムを記述している。
【０００９】
１９９５年９月１２日付けでCaliaに対し付与された米国特許Ｎｏ．５，４５０，５０４の“Method for finding a most likely matching of a target facial image in a data base of facial images（顔画像データベース中に目標顔画像と最も一致しているものを検出する方法）”は、データベースに保管されている画像に対象画像を一致させるために使用される識別システムを記述している。
【００１０】
１９９５年７月４日付けでTomitakaに付与された米国特許Ｎｏ．５，４３０，８０９の“Human face tracking system（人間の顔追跡システム）”は、ビデオカメラで撮影された画像中の人の顔のような対象物を識別して追跡する技法を記述している。
【００１１】
１９９４年１月１８日付けでTrew他に付与された米国特許Ｎｏ．５，２８０，５３０の“Method and apparatus for tracking a moving object（運動対象物の追跡方法と装置）”は、顔部にマスクをかけテンプレートを形成し、さらに小テンプレートに分割するテレビ電話装置における顔追跡技法を記述している。ビデオの後続フレームを分析してテンプレートと小テンプレートの変位を検出する。変位値を用いてアフィン変換係数を計算し、最終的にテンプレートとマスクを更新する。
【００１２】
１９９３年２月１６日付けでKosemura他に付与された米国特許Ｎｏ．５，１８７，５７４の“Method for automatically adjusting field of view of the television monitor system and apparatus for carrying out the same（テレビジョンモニタシステムの視野を自動調節する方法と同方法を実施する装置）”は、対象物の頭部と肩の寸法をビデオモニタ上で比較的一定に維持するように操作する保安システムを記述している。
【００１３】
１９９２年１１月１７日付けでTurk他に付与された米国特許Ｎｏ．５，１６４，９９２の“Face recognition system（顔認識システム）”は、グループのメンバーをデータベースに保管された画像と比較することを記述している。
【００１４】
１９９２年４月７日付けでStafford他に付与された米国特許Ｎｏ．５，１０３，４８４の“Target aimpoint location（目標物の目標点位置）”は、識別のために構造線図で示すシステムを記述している。
【００１５】
１９９１年２月５日付けでBradley他に付与された米国特許Ｎｏ．４，９９１，２２３の“Apparatus and Method for Recognizing image features using color elements（色要素を用い画像の特徴を認識する装置と方法）”は、ビデオ画像を評価し、与えられた画素が多数の注目画像特徴の中の１つであるか否かを画素ごとに判定することを記述している。
【００１６】
１９９０年１２月４日付けでTalに付与された米国特許Ｎｏ．４，９７５，９６９の“Method and apparatus for uniquely identifying individuals by particular physical characterstics and security system utilizing the same（特定の物理的特性により個人を特定する方法と装置および同方法と装置を用いた保安システム）”は、対象物上の予め定められた顔の特徴間の距離を比較し、同データをデータベースに保管されているデータと比較するシステムを記述している。
【００１７】
１９９０年１２月４日付けでPetajanに付与された米国特許Ｎｏ．４，９７５，９６０の“Electronic facial tracking and detection system and method and apparatus for automated speech  recognition（顔の追跡と検出のための電子システム並びに自動音声認識方法と装置）”は、顔の動きを分析することにより音声パターンを測定するシステムを記述している。
【００１８】
【発明が解決しようとする課題】
本発明の目的は、効果的に演算が出来てリアルタイムで実行出来る顔追跡システムを提供することである。
本発明の他の目的は、部分的明暗と影に対しロバストである顔追跡システムを提供することである。
本発明の更に他の目的は、顔の向きと尺度の変化に対し不変である顔追跡システムを提供することである。
本発明の更に他の目的は、照明条件の変化に鋭敏でない顔追跡システムを提供することである。
【００１９】
本発明の更に他の目的は、追跡顔の当初位置の算定を必要としない顔追跡システムを提供することである。
本発明の更に他の目的は、複数の顔又は複数の他の皮膚類似色の対象物が画像中に存在する場合に顔を追跡できる有力な顔追跡システムを提供することである。
本発明の上記及び他の目的と利点は、図面を参照して以下の説明を読めばより明らかとなろう。
【００２０】
【課題を解決するための手段】
請求項１の発明は、カラービデオシーケンスから１枚のフレームを現入力画像として取得する手段と、前記現入力画像をフィルタで処理して有彩色空間画像に変換し、該有彩色空間画像となるフィルタ処理画像を形成する手段と、前記フィルタ処理画像の射影ヒストグラムに基づき前記フィルタ処理画像中の顔の位置と寸法を推定する手段と、前記フィルタ処理画像内の追跡顔の位置と寸法を出力する手段とを含み、前記顔の位置と寸法を推定する手段は、分布している全サンプルを使用してサンプル平均値μと標準偏差値σを計算することと、μt（０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅、但しａとｂはスケールファクタ）に設定してｋ時点のトリミング間隔内におけるトリミング平均値μ（ｋ）を得ることと、前記トリミング間隔内におけるトリミング平均値μt（ｋ＋１）を計算し前記トリミングした間隔［μt（ｋ）−δ，μt（ｋ）＋δ］を規定することと、｜μt（ｋ＋１）−μt（ｋ）｜＜ε（εは公差）になるまで前記トリミング平均値を再計算することと、最終のトリミングした間隔内のトリミング平均値をロバスト平均値μ*とし、間隔［μ*−δ，μ*＋δ］内のサンプルに基づきトリミングした標準偏差値σtを計算し、寸法＝ｃ*σt（但しｃはスケールファクタ）に設定することにより顔領域の寸法を計算することを含み、前記サンプルは、前記フィルタ処理画像中の各画素のうち、有彩色空間中でモデル化された所定の規定により皮膚色であると判別した画素を指すものであって、前記サンプル平均値は、フィルタ処理画像中の各画素について、有彩色空間中でモデル化された所定の規定により皮膚色であるか否かを判別した２値画像を生成し、該２値画像における肌色を示す画素を２値画像のＸ軸とＹ軸にそれぞれ投影して、画素数の１次元ヒストグラムを生成し、該１次元ヒストグラムに分布するサンプルの平均値であって、前記標準偏差σは、前記１次元ヒストグラムに分布するサンプルの標準偏差であることを特徴としたものである。
【００２１】
請求項２の発明は、カラービデオシーケンスから１枚のフレームを現入力画像として取得する手段と、前記現入力画像をフィルタで処理して有彩色空間画像に変換し、該有彩色空間画像となるフィルタ処理画像を形成する手段と、前記フィルタ処理画像の射影ヒストグラムに基づき前記フィルタ処理画像中の顔の位置と寸法を推定する手段と、前記フィルタ処理画像内の追跡顔の位置と寸法を出力する手段とを含み、前記顔の位置と寸法を推定する手段は、分布している全サンプルを使用してサンプル平均値μと標準偏差値σを計算することと、μt（０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅、但しａとｂはスケールファクタ）に設定してｋ時点のトリミング間隔内におけるトリミング平均値μ（ｋ）を得ることと、前記トリミング間隔内におけるトリミング平均値μt（ｋ＋１）を計算し前記トリミングした間隔［μt（ｋ）−δ，μt（ｋ）＋δ］を規定することと、｜μt（ｋ＋１）−μt（ｋ）｜＜ε（εは公差）になるまで前記トリミング平均値を再計算することと、最終のトリミングした間隔内のトリミング平均値をロバスト平均値μ*とし、間隔［μ*−δ，μ*＋δ］内のサンプルに基づきトリミングした標準偏差値σtを計算し、h（μ*＋ｄ*σt）≧ｇ*ｈ（μ*）またはｈ（μ*−ｄ*σt）≧ｇ*ｈ（μ*）であれば、条件がもはや真でなくなるまでσtを増大し、寸法＝ｃ*σt（但しｃはスケールファクタ）に設定することにより顔領域の寸法を計算することを含み、前記サンプルは、前記フィルタ処理画像中の各画素のうち、有彩色空間中でモデル化された所定の規定により皮膚色であると判別した画素を指すものであって、前記サンプル平均値は、フィルタ処理画像中の各画素について、有彩色空間中でモデル化された所定の規定により皮膚色であるか否かを判別した２値画像を生成し、該２値画像における肌色を示す画素を２値画像のＸ軸とＹ軸に投影して、画素数の１次元ヒストグラムを生成し、該１次元ヒストグラムに分布するサンプルの平均値であって、前記標準偏差σは、前記１次元ヒストグラムに分布するサンプルの標準偏差であることを特徴としたものである。
【００２２】
請求項３の発明は、カラービデオシーケンスから１枚のフレームを現入力画像として取得する手段と、前記現入力画像をフィルタで処理して有彩色空間画像に変換し、該有彩色空間画像となるフィルタ処理画像を形成する手段と、前記フィルタ処理画像の射影ヒストグラムに基づき前記フィルタ処理画像中の顔の位置と寸法を推定する手段と、前記フィルタ処理画像内の追跡顔の位置と寸法を出力する手段とを含み、前記顔の位置と寸法を推定する手段は、分布している全サンプルを使用してサンプル平均値μと標準偏差値σを計算することと、μt（０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅、但しａとｂはスケールファクタ）に設定してｋ時点のトリミング間隔内におけるトリミング平均値μ（ｋ）を得ることと、前記トリミング間隔内におけるトリミング平均値μt（ｋ＋１）を計算し前記トリミングした間隔［μt（ｋ）−δ，μt（ｋ）＋δ］を規定することと、｜μt（ｋ＋１）−μt（ｋ）｜＜ε（εは公差）になるまで前記トリミング平均値を再計算することと、最終のトリミングした間隔内のトリミング平均値をロバスト平均値μ*とし、Ｎを顔画像の寸法計算に使用するサンプル数とし、
【００２３】
【数１】
0004251719.tif 000002
【００２４】
に設定して、顔領域の寸法を計算することを含み、前記サンプルは、前記フィルタ処理画像中の各画素のうち、有彩色空間中でモデル化された所定の規定により皮膚色であると判別した画素を指すものであって、前記サンプル平均値は、フィルタ処理画像中の各画素について、有彩色空間中でモデル化された所定の規定により皮膚色であるか否かを判別した２値画像を生成し、該２値画像における肌色を示す画素を２値画像のＸ軸とＹ軸に投影して、画素数の１次元ヒストグラムを生成し、該１次元ヒストグラムに分布するサンプルの平均値であって、前記標準偏差σは、前記１次元ヒストグラムに分布するサンプルの標準偏差であることを特徴とする複数人物が存在する場合の人間の顔のロバスト追跡システム。
【００２５】
請求項４の発明は、カラービデオシーケンスから１枚のフレームを現入力画像として取得する手段と、前記現入力画像をフィルタで処理して有彩色空間画像に変換し、該有彩色空間画像となるフィルタ処理画像を形成する手段と、前記フィルタ処理画像の射影ヒストグラムに基づき前記フィルタ処理画像中の顔の位置と寸法を推定する手段と、前記フィルタ処理画像内の追跡顔の位置と寸法を出力する手段とを含み、前記顔の位置と寸法を推定する手段は、分布している全サンプルを使用してサンプル平均値μと標準偏差値σを計算することと、μt（０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅、但しａとｂはスケールファクタ）に設定してｋ時点のトリミング間隔内におけるトリミング平均値μ（ｋ）を得ることと、前記トリミング間隔内におけるトリミング平均値μt（ｋ＋１）を計算し前記トリミングした間隔［μt（ｋ）−δ，μt（ｋ）＋δ］を規定することと、｜μt（ｋ＋１）−μt（ｋ）｜＜ε（εは公差）になるまで前記トリミング平均値を再計算することと、最終のトリミングした間隔内のトリミング平均値をロバスト平均値μ*とし、［μx*−Δ，μx*＋Δ］（Δは計算に使用したサンプル数）の範囲内の色フィルタ処理画像中の列を射影してクリップした射影ヒストグラムｈcyを形成し、前記射影ヒストグラムｈcyに基づきｙ方向の寸法を計算し、顔の動きを追跡するために顔位置を推定することにより色フィルタ処理画像のクリップした領域の射影ヒストグラムから顔領域の寸法を計算することを含み、前記サンプルは、前記フィルタ処理画像中の各画素のうち、有彩色空間中でモデル化された所定の規定により皮膚色であると判別した画素を指すものであって、前記サンプル平均値は、フィルタ処理画像中の各画素について、有彩色空間中でモデル化された所定の規定により皮膚色であるか否かを判別した２値画像を生成し、該２値画像における肌色を示す画素を２値画像のＸ軸とＹ軸に投影して、画素数の１次元ヒストグラムを生成し、該１次元ヒストグラムに分布するサンプルの平均値であって、前記標準偏差σは、前記１次元ヒストグラムに分布するサンプルの標準偏差であることを特徴としたものである。
【００２９】
請求項５の発明は、請求項１〜４のいずれか１の発明において、線形カルマンフィルタを介し顔の動きを推定することを特徴としたものである。
【００３０】
請求項６の発明は、請求項５の発明において、後処理の期間に顔の動きを平滑化することを特徴としたものである。
【００５０】
【発明の実施の形態】
複数の顔画像が存在する場合の人の顔のロバスト追跡方法は、カラービデオ画列から１枚のフレームを現入力画像として取得し、現入力画像をフィルタで処理してフィルタ処理画像を形成し、フィルタ処理画像の投影ヒストグラムに基づきフィルタ処理画像中の顔位置と寸法を推定し、フィルタ処理画像中の顔の動きを推定し、フィルタ処理画像中の追跡顔部の位置と寸法を出力するステップを含むものである。
【００５１】
本発明は、上述した先行技術の問題を克服するために、動き推定技法と組み合わせた線形カルマンフィルタによる色に基づくフィルタ処理システムを提供する。本発明はさらに、画面中に複数の顔又は複数の他の皮膚類似色の対象物が画像中に存在する場合に優勢な顔を追跡できる顔追跡システムを提供する。
【００５２】
本発明の顔追跡方法は、部分的明暗と影に対し反応せず、顔の向きと尺度の変化に対し反応せず、照明条件の変化に感応せず、容易に調整出来、顔の当初位置を算定できる。
【００５３】
図１は本発明によるリアルタイムの顔追跡システムの処理の一例を説明するためのブロック図である。本発明に関る方法１０において、静止画像又はビデオ画像カメラのようなビデオ撮影装置１２で、カラー動画像列から１枚のフレームを取り出し、例えば、赤−緑−青（ＲＧＢ）の色空間中の現入力画像１４とする。この画像に対し赤−緑の有彩色空間中におけるフィルタ処理１６を実行する。次いで、フィルタ処理の結果に基づく画像中の顔位置の推定１８を行う。好ましい実施例においては、次に線形カルマンフィルタを用いた顔の動きの推定２０を行う。そして抽出した追跡した顔の出力２２を行う。
【００５４】
入力画像１４は、シアン、マゼンタ及び黄色（ＣＭＹ）；明るさ、輝度及び色度（ＹＩＱ）；色相、飽和度及び輝度；色相、明るさ及び飽和度；色相、値及びクロマのような他の色フォーマットで表現することが出来る。ＲＧＢ系は皮膚色を表現する最良の表色系ではないが、人間の視覚システムは、異なる強度又は明るさ、レベル及び種々の照明源に適応出来、広い範囲の周囲照明条件において色が不変であることを知覚しこれを維持することが出来る。ＲＧＢ色空間において、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）は色を表示するだけでなく輝度成分を含んでいるので、ＲＧＢ色空間は人間の視覚システムにより知覚され得る。例えば、Ｒ１，Ｇ１，Ｂ１とＲ２，Ｇ２，Ｂ２の２つの画素が比例していれば、即ち、次式で表現されれば、この２つの画素は同一色を異なる輝度で特徴づけたものである。
【００５５】
【数７】
0004251719.tif 000003
【００５６】
故に、正確な低次元の色情報を保存しながら表示色から輝度情報を減少させることが望ましい。通常の照明条件における皮膚色を特徴づけるのに輝度は重要ではないので、入力画像１４をフィルタで有彩色空間画像に変換する（フィルタ処理１６）。変換結果が、輝度への依存度が減少する色空間（特にＲＧＢ色空間）における表示色である限り任意の好適な変換を用いることができる。有彩色（ｒ，ｇ）は輝度が無い純粋色として知られている。有彩色（ｒ，ｇ）空間は下式で定義される。
【００５７】
【数８】
0004251719.tif 000004
【００５８】
皮膚色は、有彩色空間における二次元の等方性クラスタC（ｒc，ｇc，ｄ）としてモデル化できる。尚、上記の（ｒc，ｇc）はクラスタの中心を規定し、（ｄ）はクラスタの半径を規定する。この色フィルタ処理プロセスでは、入力画像（I）１４中の１画素（Ｒ，Ｇ，Ｂ）を、その画素が有彩色空間の規定皮膚色クラスタ内であれば“１”と写像し、クラスタ外であれば“０”と写像する。これにより、殆どの顔画素を１とし、殆どの背景画素を０として記録した２値画像Ｂ（Ｉ）が得られる。図２は、本発明における投影ヒストグラムに基づき顔の位置を推定する技法を説明するための図である。２値画像３０において、暗い領域３２は背景中の“０”画素を表し、明るい領域３４は顔領域中の“１”画素を表している。
【００５９】
図２に示すように、この方法は、Ｘ及びＹ方向に各々射影して得た２つの一次元ヒストグラム３６，３８から色フィルタ処理結果Ｂ（Ｉ）に基づき、顔位置を推定する。関連応用装置において、上述のように特定された追跡顔部の中心位置と寸法は、これらのヒストグラムの平均値と標準偏差に基づき推定される。人物の皮膚色の分布は有彩色空間中に群集する。人物の皮膚色は人それぞれに広い範囲で変化するように見えるが、実際には純粋色における差ではなく輝度における差である。異なる人々の皮膚色は、実際にはよく類似しており、我々が異なる色であると知覚するのは輝度である。フィルタ処理１６のステップは、（１）フレーム内の皮膚の色調と他の対象物の判別を助け、（２）人物の皮膚の知覚色に関係なく皮膚の色調を検出する。
【００６０】
この皮膚の色調は各人それぞれに異なり、又、同一人物でも照明条件によって異なる。適当なフィルタを用いれば、照明条件に係わり無く、人間の視覚系により知覚される皮膚の色調にも係わり無く、画像中の顔（又は複数の顔）を追跡するシステムの能力を高めることが出来る。
【００６１】
しかしながら、サンプル平均と標準偏差により推定した顔部の中心位置と寸法は、複数の顔又は他の対象物が画像中に存在する場合に偏向が生じ得る。従って、本発明は、上記の問題を解決する方法を提供することを目的とするものである。本発明は、画像が複数の顔を含んでいる場合に顔の中心位置と寸法のロバスト測定を達成するためのロバストルーチンを記述する。
【００６２】
図３ないし図５は、一次元ヒストグラムのロバスト平均に基づく顔中心位置を推定する本発明のステップを説明するための図である。２値画像４０は、主たる（最大の）顔領域４２と従の（小さい）顔領域４４を含んでいる。各顔領域４２，４４は１つの背景４６上に配置されている。入力画像中の主たる顔の中心位置を、ロバスト又はトリミングしたＸ方向とＹ方向の２つの一次元投影ヒストグラム３６，３８に基づき各々推定する。一次元分布のロバスト平均を得るこのルーチンは下記の通り記述される。
【００６３】
ステップ１；分布５０中の全サンプルを使用してサンプル平均値μ４８と標準偏差値σを計算する。
ステップ２；μt（０）＝μ及びδ＝最大値（ａ*σ，ｂ*画像幅）に設定する（図４参照）。但し、ａとｂはスケールファクタで例えばａ＝１及びｂ＝０.２とし、当初のトリミングした平均値μ５２を得て当初のトリミング間隔（ｋ）５４の定義に用いる。
【００６４】
ステップ３；間隔［μt（ｋ）−δ，μt（ｋ）＋δ］内のサンプルに基づきトリミングした平均値μt（ｋ＋１）５６を計算する。
ステップ４；上記ステップ３を｜μt（ｋ＋１）−μt（ｋ）｜＜ε（εは公差で、例えばε＝１.０）になるまで反復する。
ステップ５；得られたロバスト平均値μ*６０は、最終トリミング間隔６２内の最終的に収束したトリミング平均値である。
【００６５】
顔中心のロバスト測定に加え、ロバスト寸法測定値のアドレスを指定する。先述のサンプルの標準偏差と比較されるロバスト寸法測定値を生成する４つの方法について説明する。トリミング標準偏差値の計算は最初の２つの方法に基づく。第３の方法は、直交射影と共に中心情報を使用して寸法を計算する。第４の方法は位置の定まった中心付近での再射影を含む。４つの方法について以下に記述する。中心位置ルーチンからロバスト平均μ*とδが与えられると、X又はYの何れかの方向の寸法を求めるために第１の方法は、次のステップを実行する。
【００６６】
ステップ１；間隔［μ*−δ，μ*＋δ］内のサンプルに基づきトリミングした標準偏差値σtを計算する。
ステップ２；スケールファクタを例えばｃ＝２.０にとり、寸法＝ｃ*σtとする。
【００６７】
上記の方法では、当初のδが小さ過ぎる場合は寸法を過小評価する。これを修正するために、次の第２の方法もトリミング標準偏差に基づく。中心位置ルーチンと射影ヒストグラムｈからロバスト平均μ*とδが与えられる。
ステップ１；間隔［μ*−δ，μ*＋δ］内のサンプルに基づきトリミングした標準偏差値σtを計算する。
ステップ２；例えばｄ＝１.０，ｇ＝０.４の場合、ｈ（μ*＋ｄ*σt）≧ｇ*ｈ（μ*）またはｈ（μ*−ｄ*σt）≧ｇ*ｈ（μ*）であれば、条件がもはや真でなくなるまでσtを増大する。
ステップ３；スケールファクタを例えばｃ＝２.０にとり、寸法＝ｃ*σとする。
【００６８】
第３の方法は、ｘ又はｙ方向の中心位置における射影ヒストグラムの値が、完全な色フィルタの場合、各々ｙ方向の顔の高さ及びｘ方向の顔の幅であると云う観測事実に基づいている。中心位置ルーチンと射影ヒストグラムｈx及びｈyからロバスト平均値μx*，μy*及びδが与えられる。
【００６９】
【数９】
0004251719.tif 000005
【００７０】
式中、Ｎは計算に使用されたサンプル数である。
第４の方法において、色フィルタ処理画像のクリップされた領域の射影ヒストグラムから寸法を計算する。例えばｘ方向のロバスト平均μx*が与えられる。
ステップ１；［μx*−Δ，μx*＋Δ］（Δは計算に使用したサンプル数）の範囲内の色フィルタ処理画像中の列を射影してクリップされた射影ヒストグラムｈcyを形成する。
ステップ２；前記１又は２の方法を用い又は先述のサンプル標準偏差により、射影ヒストグラムｈcyに基づきｙ方向の寸法を計算する。
【００７１】
推定した顔位置を用い追跡する。この方法の場合、追跡される顔の動きは画像平面内の区分的な一定の二次元移動としてモデル化出来る。線形カルマンフィルタを用い追跡顔部の二次元移動速度ベクトル（Ｖx，Ｖy）を平滑化して予測する。平滑化速度を最終的に用いて顔の追跡位置を計算する。この動き追跡システムモデルは、次のように表現される。
ｘ（ｋ＋１）＝Ｆ（ｋ）ｘ（ｋ）＋ｗ（ｋ）
ｚ（ｋ＋１）＝Ｈ（ｋ＋１）ｘ（ｋ＋１）＋ｖ（ｋ＋１）
式中、ｘ（ｋ）は推定される真の速度ベクトル、ｚ（ｋ）は瞬間速度ベクトル、ｗ（ｋ），ｖ（ｋ）は白色雑音であり、区分的な一定の動きの場合Ｆ（ｋ）ｈ≡Ｉ，Ｈ（ｋ）≡Ｉである。
【００７２】
カルマンの予測子は、
【００７３】
【式１】
0004251719.tif 000006
【００７４】
カルマンの結合子は、
【００７５】
【式２】
0004251719.tif 000007
【００７６】
式中、Ｋ（ｋ＋１）はカルマンの利得である。このカルマンの利得は次式で計算される。
Ｋ（ｋ＋１）＝Ｐ（ｋ＋１｜ｋ）ＨT（ｋ＋１）［Ｈ（ｋ＋１）Ｐ（ｋ＋１｜ｋ）ＨT（ｋ＋１）＋Ｒ（ｋ＋１）］-1
共変量は次式で計算される。
Ｐ（ｋ＋１｜ｋ）＝Ｆ（ｋ）Ｐ（ｋ｜ｋ）ＦT（ｋ）＋Ｑ（ｋ），Ｐ（０｜０）＝Ｐ0
Ｐ（ｋ＋１｜ｋ＋１）＝［Ｉ−Ｋ（ｋ＋１）Ｈ（ｋ＋１）］Ｐ（ｋ＋１｜ｋ）式中、Ｐ（ｋ）＝Ｅ［ｗ（ｋ）ｗT（ｋ）］，Ｒ（ｋ）＝Ｅ［ｖ（ｋ）ｖT（ｋ）］，Ｐ0＝Ｅ［ｘ（０）ｘT（０）］である。
【００７７】
複数の顔の検出と追跡は本発明が提案する技法を用いて容易に達成することが出来る。顔を検出した後で、射影ヒストグラム中で顔が占有する領域をマスクし、位置及び寸法を算定するための選択プロセスを後続の顔部に対して繰り返す。
【００７８】
本発明に関る方法を、Ｃ＋＋に実装しＳｕｎ（登録商標）ワークステーションで実行する。本方法による３２０×２４０のビデオ分解能と毎秒１５フレームの速度での完全自動運転が実験結果として実証された。この方法は、（１）複数の顔及び他の皮膚色対象物が存在しており、（２）部分的明暗及び影があり、（３）顔の向きと尺度が変化し、（４）照明条件が変化する場合でも異なる人物の顔をよく追跡出来る。
【００７９】
図６に本発明が適用されるシステム７０を図示する。このシステム７０は、リアルタイムのビデオ通信装置に適用運転でき、ビデオカメラ７２，ビデオフレームグラバー７４，及びと計算装置７６より成り、方法を実施するのに必要なプロセッサ７８とコンピュータソフトウェアとハードウェアを含み、さらに通信ソフトウェアと通信モジュール８０を含んでいる。
【００８０】
本発明に関る方法によれば、ユーザは入力ビデオシーケンス中の背景を除去又は取り替えることが出来る。従って、このシステムは通信周波数帯域をすべて顔部に割り当てることが出来る。以上本発明の好ましい実施態様につき記述してきたが、特許請求の範囲に規定されている本発明の範囲から逸脱することなくさらなる変更及び修正を加えることが出来ることは明らかであろう。
【図面の簡単な説明】
【図１】本発明によるリアルタイムの顔追跡方法の一例を説明するためのブロック図である。
【図２】投影ヒストグラムに基づく顔の位置を推定する技法を説明するための図である。
【図３】一次元ヒストグラムのロバスト平均に基づく顔中心位置を推定する本発明技法のステップを説明するための図である。
【図４】図３に続く本発明の技法の後半ステップを説明するための図である。
【図５】図４に続く本発明の技法の最終ステップを説明するための図である。
【図６】本発明による方法を組み込んだシステムの一例を示す図である。
【符号の説明】
１０…本発明の人間の顔のロバスト追跡方法、１２…ビデオ撮影装置、１４…入力画像、１６…フィルタ処理、１８…顔位置の推定、２０…カルマンフィルタを用いた動き推定、２２…追跡した顔の出力、３０…２値画像、３２…暗い領域、３４…明るい領域、３６，３８…ヒストグラム、４０…２値画像、４２…主たる顔領域、４４…従の顔領域、４６…背景、４８…サンプル平均値μ、５０…分布、５２…当初のトリミングした平均値μ（ｋ）、５４…当初のトリミング間隔ｋ、５６…トリミングした平均値μｔ（ｋ＋１）、６０…ロバスト平均値、７０…本発明が適用されるシステム、７２…ビデオカメラ、７４…フレームグラバー、７６…計算装置、７８…プロセッサ、８０…通信モジュール。
【図１】
0004251719.tif 000009
【図２】
0004251719.tif 000010
【図３】
0004251719.tif 000011
【図４】
0004251719.tif 000012
【図５】
0004251719.tif 000013
【図６】
0004251719.tif 000014