(57)【特許請求の範囲】
【請求項１】
１シーケンスにおける各カラー画像中のヒトの顔を検出する方法であって、
Ｍ個×Ｎ個（ＭおよびＮは２以上の整数）の絵素によって構成された前記カラー画像を検索して、均一な彩度を有する領域をヒトの顔を示す顔候補領域として前記カラー画像中に見いだすステップと、
見いだされた前記顔候補領域に、第１および第２の極小値の間に配置された極大値を含むほぼ対称な水平方向輝度曲線図を含むかを分析するステップと、を包含し、
前記見いだすステップは、ｍ×ｎ個（ｍおよびｎが、１≦ｍ＜Ｍおよび１≦ｎ＜Ｎを満足する整数）の絵素を有するそれぞれのブロック毎に全ての絵素の平均彩度を求めて、相互に隣接する複数ブロックによって構成される所定領域毎に、該所定領域に含まれる前記各ブロックの平均彩度に基づいて、一定の彩度を有する状態か彩度が低下している状態かを判定するステップと、この判定結果から、前記彩度が低下している状態と判定された所定領域によって、前記一定の彩度を有する状態と判定された１または複数の所定領域が囲まれている場合に、該一定の彩度を有する状態の１または複数の所定領域を前記顔候補領域とするステップとを包含し、
前記分析ステップが、前記顔候補領域の一部の前記カラー画像の輝度値の垂直方向積分投射を形成するステップと、該垂直方向積分投射が前記輝度値の極大値に対してほぼ対称的に配置された該第１および第２の前記輝度値の極小値を有するかどうかを判定して、前記極大値および該極小値を有する場合には前記顔候補領域をヒトの顔と判定するステップとを含む、方法。
【請求項２】
前記分析ステップが、前記カラー画像のカラー成分について行われる、請求項１に記載の方法。
【請求項３】
前記分析ステップが、前記カラー画像から得られたコントラスト画像上で行われる、請求項１に記載の方法。
【請求項４】
前記分析ステップは、前記垂直方向積分投射が、水平方向の分離が所定範囲内である前記第１および第２の極小値を有するかどうかを判定する、請求項１に記載の方法。
【請求項５】
前記分析ステップは、前記極大値と、前記第１および第２の極小値の小さい方との間の差と、該極大値との比が第１の閾値より大きいような、前記垂直方向積分投射が前記極大値ならびに前記第１および第２の極小値を有するかどうかを判定する、請求項１に記載の方法。
【請求項６】
前記垂直方向積分投射は、前記顔候補領域の複数部分について形成され、そして最も高い比を有する該部分が有望なターゲット画像として選択される、請求項５に記載の方法。
【請求項７】
前記分析ステップは、前記部分の対称性の尺度を形成するステップを含む、請求項１に記載の方法。
【請求項８】
前記対称性の尺度は、以下の式
【数１】
0003761059.tif 000021
で形成され、Ｖ（ｘ）は、水平方向位置ｘでの前記垂直方向積分投射の値であり、ｘ０は、該垂直方向積分投射の中央の水平方向位置である、請求項７に記載の方法。
【請求項９】
前記垂直方向積分投射は、前記顔候補領域の複数部分について形成され、最も高い対称性の尺度を有する部分が有望なターゲット画像として選択される、請求項７に記載の方法。
【請求項１０】
前記分析ステップは、前記顔候補領域の一部を左半分および右半分に分割するステップと、該半分の各々の水平方向積分投射を形成するステップと、該左および右水平方向積分投射の水平方向対称性の尺度と第２の閾値とを比較するステップと、を含む請求項１に記載の方法。
【請求項１１】
前記分析ステップは、前記顔候補領域が、所定の範囲内において、ほぼ同じ高さに配置され、水平方向の分離した前記第１および第２の輝度極小値を有するかどうかを判定する、請求項１に記載の方法。
【請求項１２】
前記分析ステップは、前記顔候補領域が、前記第１および第２の輝度極小値よりも高い輝度を有し、且つ該第１および第２の輝度極小値の間に配置される垂直方向に伸長する領域を有するかどうかを判定する、請求項１１に記載の方法。
【請求項１３】
前記分析ステップは、前記顔候補領域が、前記垂直方向に伸長する領域の下に配置され、且つ該垂直方向に伸長する領域より低い輝度を有する水平方向に伸長する領域を有するかどうかを判定する、請求項１２に記載の方法。
【請求項１４】
前記分析ステップは、前記顔候補領域中に、緑色画像成分が赤色画像成分より大きいか、または青色画像成分が緑色画像成分より大きい瞳候補領域を見いだすステップを含む、請求項１に記載の方法。
【請求項１５】
前記瞳候補領域を見いだすステップは、前記顔候補領域の目候補領域に限定される、請求項１４に記載の方法。
【請求項１６】
前記分析ステップは、前記目候補領域中の絵素（ｘ，ｙ）についての関数Ｅ（ｘ，ｙ）を以下の式
【数２】
0003761059.tif 000022
で形成し、ここで、Ｒ、Ｇ、およびＢは赤色、緑色、および青色画像成分であり、Ｃ１およびＣ２は定数であり、Ｅ（ｘ，ｙ）＝１は前記瞳候補領域内部の絵素を表し、そしてＥ（ｘ，ｙ）＝０は該瞳候補領域外部の絵素を表す、請求項１５に記載の方法。
【請求項１７】
前記分析ステップは、前記瞳の中心を前記瞳候補領域の重心として検出する、請求項１６に記載の方法。
【請求項１８】
前記分析ステップは、口候補領域を、水平方向においては前記瞳候補領域の間に、垂直方向においては該瞳候補領域の間の距離の実質的に０．５〜１．５倍だけ瞳候補領域の下にある前記顔候補領域のサブ領域中に見いだすステップ、を含む、請求項１４に記載の方法。
【請求項１９】
前記分析ステップは、前記サブ領域中の絵素（ｘ，ｙ）についての関数Ｍ（ｘ，ｙ）を以下の式
【数３】
0003761059.tif 000023
で形成し、ここで、Ｒ、Ｇ、およびＢは赤色、緑色、および青色画像成分であり、ηは定数であり、Ｍ（ｘ，ｙ）＝１は前記口候補領域内部の絵素を表し、そしてＭ（ｘ，ｙ）＝０は該口候補領域外部の絵素を表す、請求項１８に記載の方法。
【請求項２０】
前記関数Ｍ（ｘ，ｙ）の垂直および水平方向投射曲線図が形成され、唇候補領域が該垂直および水平方向投射曲線図が第１および第２の所定の閾値をそれぞれに超える長方形サブ領域中に定義される、請求項１９に記載の方法。
【請求項２１】
前記第１および第２の所定の閾値が前記垂直および水平方向投射曲線図の極大値にそれぞれ比例する、請求項２０に記載の方法。
【請求項２２】
前記分析ステップは、前記唇候補領域のアスペクト比が第１および第２の予め規定された閾値の間にあるかどうかをチェックする、請求項２０に記載の方法。
【請求項２３】
前記分析ステップは、前記瞳候補領域から前記唇候補領域の上部までの垂直距離と該瞳候補領域間の間隔との比が第１および第２の予め設定された閾値の間にあるかどうかをチェックする、請求項２０に記載の方法。
【請求項２４】
前記分析ステップは、前記顔候補領域の一部を左および右半分に分割するステップと、水平方向に対称的に配置された対をなす対称な点の輝度勾配の角度を比較するステップと、を含む、請求項１に記載の方法。
【請求項２５】
前記見いだしステップおよび分析ステップは、前記水平方向輝度曲線図が前記シーケンスの連続Ｒ画像のｒ回目に見つかる場合に、停止される、請求項１に記載の方法。
【請求項２６】
前記顔候補領域が、１〜４個の前記所定領域によって構成される、請求項１に記載の方法。
【請求項２７】
前記ｍ×ｎ個の各絵素の彩度Ｐが、以下の式
【数４】
0003761059.tif 000024
で表され、ここで、ｆ（ｉ，ｊ）が、該ｍ×ｎ絵素のｉ番目の列およびｊ番目の行の絵素の彩度である、請求項１に記載の方法。
【請求項２８】
ストアに前記彩度を格納するステップをさらに含む、請求項２７に記載の方法。
【請求項２９】
前記一定の彩度を有する状態と判定された前記所定領域と、前記彩度が低下している状態と判定された前記所定領域とのそれぞれに均一値が割り当てられる、請求項２７に記載の方法。
【請求項３０】
以下の式が満たされる場合、前記均一値として第１の値が割り当てられ、
（ｍａｘ（Ｐ）−ｍｉｎ（Ｐ））／ｍａｘ（Ｐ）≦Ｔ
ここで、ｍａｘ（Ｐ）およびｍｉｎ（Ｐ）が、それぞれ、前記所定領域に含まれる前記ブロックの平均彩度の最大値および最小値であり、Ｔが閾値であり、該式が満たされない場合、前記均一値として、前記第１の値とは異なる第２の値が割り当てられる、請求項２９に記載の方法。
【請求項３１】
前記閾値Ｔが０．１５に等しい、請求項３０に記載の方法。
【請求項３２】
前記各絵素の彩度が、以下の式で、赤色、緑色および青色成分から得られ、
（ｍａｘ（Ｒ，Ｇ，Ｂ）−ｍｉｎ（Ｒ，Ｇ，Ｂ））／ｍａｘ（Ｒ，Ｇ，Ｂ）
ここで、ｍａｘ（Ｒ，Ｇ，Ｂ）およびｍｉｎ（Ｒ，Ｇ，Ｂ）が、それぞれ、該赤色、緑色および青色成分の最大値および最小値である、請求項１に記載の方法。
【請求項３３】
前記１シーケンスにおける第１のカラー画像が、顔の位置の予想範囲を照射している間にキャプチャされ、第２のカラー画像が、周辺光を用いてキャプチャされ、該第２の画像が該第１の画像から減算されて画像を形成する、請求項１に記載の方法。
【請求項３４】
１シーケンスにおける各カラー画像中のヒトの顔を検出するための装置であって、
Ｍ個×Ｎ個（ＭおよびＮは２以上の整数）の絵素によって構成された前記カラー画像を検索して、均一な彩度を有する領域をヒトの顔を示す顔候補領域として前記カラー画像中に見いだす見出し手段と、
該見出し手段によって見いだされた前記顔候補領域に、第１および第２の極小値の間に配置された極大値を含むほぼ対称な水平方向輝度曲線図を含むかを分析する分析手段とを備え、
前記見出し手段は、ｍ×ｎ個（１≦ｍ＜Ｍおよび１≦ｎ＜Ｎ）の絵素を有するそれぞれのブロック毎に全ての絵素の平均彩度を求めて、相互に隣接する複数ブロックによって構成される所定領域毎に、該所定領域に含まれる前記各ブロックの平均彩度に基づいて、一定の彩度を有する状態か彩度が低下している状態かを判定して、この判定結果から、前記彩度が低下している状態と判定された所定領域によって、前記一定の彩度を有する状態と判定された1または複数の所定領域が囲まれている場合に、該一定の彩度を有する状態の１または複数の所定領域を前記顔候補領域とする構成であり、
前記分析手段が、前記顔候補領域の一部の前記カラー画像の輝度値の垂直方向積分投射を形成する手段と、該垂直方向積分投射が前記輝度値の極大値に対してほぼ対称的に配置された該第１および第２の前記輝度値の極小値を有するかどうかを判定する手段と、前記極大値および該極小値を有する場合には前記顔候補領域をヒトの顔と判定する手段とを有する、装置。
【請求項３５】
請求項３４に記載の装置をさらに有する観察者トラッキングディスプレイ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ヒトの顔を検出するための方法および装置に関する。このような方法は、例えば、画像トラッキングシステムの初期化ステージで、ターゲット画像をキャプチャするために使用され得る。本発明はまた、このような装置を含む画像トラッキングシステムを使用する、自動立体型などの観察者トラッキングディスプレイに関する。
【０００２】
このような方法および装置の他の用途には、安全監視、ビデオおよび画像圧縮、ビデオ会議、マルチメディアデータベース検索、コンピュータゲーム、運転手モニタリング、グラフィカルユーザインターフェース、顔認識、ならびに個人識別が含まれる。
【０００３】
【従来の技術】
自動立体ディスプレイは、ビューアが、２つの視野ウィンドウにおいて、目でこのようなディスプレイを観察することによって、立体対を形成する２つの別個の画像を見ることを可能にする。このようなディスプレイの例は、欧州特許第０６０２９３４号、欧州特許第０６５６５５５号、欧州特許第０７０８３５１号、欧州特許第０７２６４８２号、および欧州特許第０８２９７４３号に開示されている。添付の図面の図１は、公知のタイプの観察者トラッキング自動立体ディスプレイの例を示す。
【０００４】
ディスプレイは、トラッキングシステム２と協働するディスプレイシステム１を有する。トラッキングシステム２は、センサ信号をトラッキングプロセッサ４に与えるトラッキングセンサ３を有する。トラッキングプロセッサ４は、センサ信号から観察者位置データ信号を得、観察者位置データ信号は、ディスプレイシステム１のディスプレイ制御プロセッサ５に与えられる。プロセッサ５は、位置データ信号をウィンドウ操縦信号に変換し、これをトラッキング機能を備えた（ｔｒａｃｋｅｄ）３Ｄディスプレイ７の操縦機構６に与える。このように、観察者の目に対する視野ウィンドウは、観察者の頭の動きに従うように操縦され、動作範囲内で、観察者の目を適切な視野ウィンドウ内に維持する。
【０００５】
英国特許第２３２４４２８号および欧州特許第０８７７２７４号は、観察者トラッキング自動立体ディスプレイ用の、待ち時間が短く、更新（ｕｐｄａｔｅ）周波数が高く、および測定精度が十分な観察者ビデオトラッキングシステムを開示する。添付の図面の図２は、システムの一例を示す。このシステムは、トラッキングセンサ３が、６０Ｈｚのフィールドレートで動作するＳｏｎｙ  ＸＣ９９９  ＮＴＳＣビデオカメラを有し、トラッキングプロセッサ４にマウス８が設けられ、プロセッサ４が、１５０ＭＨｚで動作するＲ４４００プロセッサならびにカメラ３によってキャプチャされた各フィールドについての６４０×２４０絵素（画素）の解像度を有するビデオディジタイザおよびフレームストアが設けられたＩｎｄｙシリーズのシリコングラフィックスエントリーレベルマシンを有する点で、添付の図面の図１に示すシステムと異なる。カメラ３は、ディスプレイ７の上部に配置され、ディスプレイの前に座っている観察者の方を向いている。観察者とカメラ３との通常の距離は、約０．８５メートルであり、この距離において、観察者は、水平方向すなわちＸ方向に約４５０ｍｍ内で、運動の自由度を有する。カメラによって形成される画像内の２つの画素間の距離は、Ｘ方向およびＹ方向のそれぞれにおいて約０．６７ｍｍおよび１．２１ｍｍである。Ｙ解像度は、各インターレースされたフィールドが別々に使用されるため、半分になる。
【０００６】
添付の図面の図３は、プロセッサ４によって行われるトラッキング方法を一般的な用語で示す。この方法は、初期化ステージ９に続いてトラッキングステージ１０を含む。初期化ステージ９では、ターゲット画像または「テンプレート」は、カメラ３からの画像の一部を格納することによってキャプチャされる。ターゲット画像は、一般に、添付の図面の図４に参照符号１１で示す観察者の目の領域を含む。ターゲット画像またはテンプレート１１がうまくキャプチャされるとすぐに、観察者トラッキングがトラッキングステージ１０において行われる。
【０００７】
グローバルターゲットまたはテンプレート検索はステップ１２で行われ、カメラ３によって生成される全画像内のターゲット画像の位置を検出する。ターゲット画像が見いだされると、動き検出はステップ１３で行われ、その後ローカルターゲットまたはテンプレート検索がステップ１４で行われる。テンプレートマッチングステップ１２および１４は、テンプレート内のターゲット画像と、テンプレートが上に重ねられた各サブセクションとを相関させることによって行われる。最良の相関値は、所定の閾値と比較され、ステップ１５でトラッキングが失われたかどうかをチェックする。トラッキングが失われた場合、制御は、グローバルテンプレートマッチングステップ１２に戻る。トラッキングが失われていなければ、制御はステップ１３に戻る。動き検出１３およびローカルテンプレートマッチング１４は、トラッキングループを形成し、トラッキングループは、トラッキングが維持される限り行われる。動き検出ステップは、差分法（ｄｉｆｆｅｒｅｎｔｉａｌ  ｍｅｔｈｏｄ）によって位置データを提供する。差分法は、連続したフィールド間のターゲット画像の動きを判定し、これを先のフィールドに関して前ステップにおけるローカルテンプレートマッチングで見いだされた位置に加える。
【０００８】
初期化ステージ９は、トラッキングが始まる前に、観察者のターゲット画像またはテンプレートを得る。英国特許第２３２４４２８号および欧州特許第０８７７２７４号に開示される初期化ステージは、対話型方法（ｉｎｔｅｒａｃｔｉｖｅ  ｍｅｔｈｏｄ）を用いる。対話型方法において、ディスプレイ７は、入力されるビデオ画像を表示し、例えば、プロセッサ４において実現される画像生成器は、添付の図面の図５に示すように、ボーダー画像またはグラフィカルガイド１６をディスプレイ上に生成する。例えば、マウス８の一部を形成するユーザ作動可能な制御は、ボーダー画像内の画像領域のキャプチャを手動によって駆動することを可能にする。
【０００９】
観察者は、必要なテンプレートサイズであるボーダー画像と共に、ディスプレイ７上の自分自身の画像を観察する。観察者は、自分の両目の間の中間点をグラフィカルガイド１６の中央線に合わせ、例えば、マウスボタンまたはキーボードのキーを押すことによって、システムがテンプレートをキャプチャするように作動させる。あるいは、この位置合わせは、マウス８を用いてグラフィカルガイド１６を所望の場所までドラッグすることによっても成し遂げられ得る。
【００１０】
【発明が解決しようとする課題】
このような対話型テンプレートキャプチャ技術の利点は、観察者が、受け入れ可能な位置合わせ精度でテンプレートを選択することが可能なことである。これには、人の顔の認識および目の領域などの対象画像領域の選択が含まれる。人の視覚にとってはこのプロセスは簡単なことであるが、このようなテンプレートキャプチャは、様々な照明条件下で異なる年齢、性別、目の形、および皮膚の色を有する可能な限りすべてのタイプの人々が対象になると、コンピュータには困難である。
【００１１】
しかし、このような対話型テンプレートキャプチャ方法は、システムの使用ごとにテンプレートキャプチャを行わなければならないので、通常の使用に不都合である。ビジターなどの非通常ユーザにとっては、システムを協働させる方法を学習しなければならないといった別の問題がある。例えば、新規ユーザは、グラフィカルガイドと自分の顔とを位置合わせする方法を知る必要があり得る。この位置合わせは、一見簡単なようであるが、多くの新規ユーザにとってやりづらいことがわかっている。したがって、トラッキングシステムの使用がより簡単になり、市場でより受け入れやすくするような構成に改善することが望ましい。
【００１２】
各ユーザに対してテンプレートキャプチャを繰り返すことを避けるために、ユーザの各キャプチャされたテンプレートをデータベースに格納することが可能である。ユーザが最初にシステムを使用する場合、対話型方法がテンプレートをキャプチャするために使用され得、そしてテンプレートは、データベースに格納される。同じユーザによって次に使用される場合は、データベースが検索されてこのユーザのテンプレートを見つけるので、新規テンプレートを必要としなくてよい。各ユーザは、例えば、照明の変化および顔の特徴の変化などに適応するために１つ以上のテンプレートを与える必要があり得る。したがって、この技術は、ディスプレイの各回の使用ごとにテンプレートをキャプチャする必要がない利点があるが、ユーザの数が極めて少ない場合に限って実用的である。そうでなければ、大規模なデータベースを構築することが必要となり、それに伴って検索時間が長くなり、任意の商業的実施が非常に難しくなる。例えば、多くの一回限りのユーザを扱うＰＯＳ（ｐｏｉｎｔ−ｏｆ−ｓａｌｅ）システムは、すべてのユーザを含んだデータベースを格納することが簡単にはできない。
【００１３】
画像処理およびコンピュータビジョン技術を使用して自動的にテンプレートをキャプチャすることが可能である。これについては本質的に、顔認識のより一般的な問題の一部である、顔および／または目検出の問題である。完全な顔認識システムは、顔を自動的に検出し、各顔から人物を識別できるべきである。識別のために使用される多くの方法は検出にもまた使用され得るが（その逆もまた然り）、自動顔検出のタスクは、識別タスクとは異なる。
【００１４】
顔認識分野のコンピュータビジョン研究の大半は、これまで識別タスクに集中されてきた。この例は、Ｒ．ＢｒｕｎｅｌｌｉおよびＴ．Ｐｏｇｇｉｏ、「Ｆａｃｅｒｅｃｏｇｎｉｔｉｏｎｔｈｒｏｕｇｈｇｅｏｍｅｔｒｉｃａｌｆｅａｔｕｒｅ」、Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２ｎｄＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ、７９２−８００頁、Ｇｅｎｏａ、１９９２年；米国特許第５１６４９９２Ａ号、Ｍ．ＴｕｒｋおよびＡ．Ｐｅｎｔｌａｎｄ、「Ｅｉｇｅｎｆａｃｅｓｆｏｒｒｅｃｏｇｎｉｔｉｏｎ」、ＪｏｕｒｎａｌｏｆＣｏｇｎｉｔｉｖｅＮｅｕｒｏｓｃｉｅｎｃｅ第３巻、Ｎｏ．１、７０−８６頁、ならびにＡ．Ｌ．Ｙｕｉｌｌｅ、Ｄ．Ｓ．ＣｏｈｅｎおよびＰ．Ｗ．Ｈａｌｌｉｎａｍ、「Ｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｆｒｏｍｆａｃｅｓｕｓｉｎｇｄｅｆｏｒｍａｂｌｅｔｅｍｐｌａｔｅｓ」、ＩｎｔｅｒｎａｔｉｏｎａｌＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＶｉｓｉｏｎ、８（２）、９９−１１１頁、１９９２年において開示される。これらの例の多くは、自動顔検出の必要性をはっきりと示してきたが、その問題点および解決方法は、無視される傾向にあるか、または十分に説明されていない。これらの公知の技術は、顔がすでに検出されたこと、および顔の位置が画像中で既知であることを仮定するか、または顔および背景が容易に分離できるような状況に用途を限定する。限定的な束縛条件および長い計算時間を必要とせずに信頼性のある検出率を達成する公知の顔認識技術は、ほとんどない。
【００１５】
独国特許第１９６３４７６８号は、ビデオピクチャ中の顔を検出する方法を開示する。この方法は、入力画像を予め格納された背景画像と比較して、２値マスクを作成する。この２値マスクは、頭領域を見いだすために使用でき、この頭領域は、さらに顔が存在するかどうかについて分析される。この方法は、変化のない制御された背景を必要とする。しかし、ユーザが自動立体型ディスプレイを見ている間に、人々が背景中を移動することは、珍しいことではない。
【００１６】
Ｇ．ＹａｎｇおよびＴ．Ｓ．Ｈｕａｎｇ、「Ｈｕｍａｎｆａｃｅｄｅｔｅｃｔｉｏｎｉｎｃｏｍｐｌｅｘｂａｃｋｇｒｏｕｎｄｓ」、ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ、第２７巻、Ｎｏ．１、５３−６３頁、１９９４年は、階層的知識ベース技術を使用して、制御されていない背景中でヒトの顔を見いだす方法を開示する。この方法は、３つのレベルを含む。高い方の２つのレベルは、異なる解像度のモザイク画像に基づく。最も低いレベルにおいては、エッジ検出方法が提案される。このシステムは、白黒ピクチャ中でかなり広範囲の種々のサイズを有する既知でないヒトの顔を見いだすことができる。１セット４０ピクチャを学習セットとし、１セット６０ピクチャを試験セットとして使用した実験結果が報告された。各ピクチャは、５１２×５１２ピクセルを有し、４８×６０から２００×２５０ピクセルまでの範囲の顔サイズを許容する。このシステムは、８３％、すなわち６０中５０の検出率を達成した。顔を正しく見いだしたことに加えて、偽の顔が試験セットの内の２８で検出された。この検出率は、比較的低いが、さらに大きな問題は、各画像を処理するための計算時間が６０〜１２０秒であることである。
【００１７】
米国特許第５０１２５２２号は、２分以内のランダムな内容を有するビデオシーン中のヒトの顔を見いだすこと、およびその見いだした顔を認識することが可能なシステムを開示する。オプションのモーション検出機能を含む場合、見いだしおよび認識イベントは、１分未満で生じる。このシステムは、Ｅ．Ｊ．Ｓｍｉｔｈ、「Ｄｅｖｅｌｏｐｍｅｎｔｏｆａｕｔｏｎｏｍｏｕｓｆａｃｅｒｅｃｏｇｎｉｔｉｏｎｍａｃｈｉｎｅ」、修士論文、Ｄｏｃ．＃ＡＤ−Ａ１７８８５２、ＡｉｒＦｏｒｃｅＩｎｓｔｉｔｕｔｅｏｆＴｅｃｈｎｏｌｏｇｙ、１９８６年１２月に開示された、速度および検出スコアを改善された、以前の自律型顔認識マシン（ＡＦＲＭ）に基づく。このＡＦＲＭは、皮質思考理論（ＣｏｒｔｉｃａｌＴｈｏｕｇｈｔＴｈｅｏｒｙ（ＣＴＴ））を使用して開発された自動「顔ファインダー」を含むことによって以前の顔認識マシンから開発された。ＣＴＴは、所定パターンの「ゲシュタルト」を計算するアルゴリズムの使用を含む。この理論によると、ゲシュタルトは、ヒトの脳によって一意に、２次元画像などのエンティティに割り当てられた本質、すなわち「単一特徴付け（ｓｉｎｇｌｅｃｈａｒａｃｔｅｒｉｓａｔｉｏｎ）」を表す。顔ファインダーは、所定の顔の特徴、すなわち「署名」となる画像を検索することによって機能する。顔署名は、ほとんどの顔画像に存在し、顔が全く存在しない場合にはまれにしか存在しない。
【００１８】
ＡＦＲＭにおいて最も重要な顔署名は、目署名である。目署名は、画像から列を抽出し、各列について計算されたゲシュタルトの結果をプロットすることによって生成される。まず、８ピクセル（縦）×１９２ピクセル（横）のウインドウが、１２８×１９２ピクセルの画像領域から抽出される。次に、この８×１９２ピクセルのウインドウは、新しい６４×１９２ピクセルの画像の上に配置される。この６４×１９２ピクセルの画像の残りの行は、背景グレーレベル強度で埋められる。この背景グレーレベル強度は、例えば、０が黒を表すとして、全部で１６グレーレベルある内  の１２である。次に、この結果得られた画像は、画像中の１９２の垂直列の各々についてゲシュタルトポイントを計算することによって、目署名に変換される。これは、ゲシュタルトポイントからなる１９２要素のベクトルを生じる。目領域が存在する場合、このベクトルは、目の中心に対応する２つの中心ピーク、２つのピークの間の中心極小値、および２つのピークのそれぞれの片側にある２つの外側極小値によって特徴づけられるパターンを示す。このような署名が見出された場合、目領域が存在し得る。次に、同様の技術を適用して、鼻／口署名を生成し、顔の存在を確認する。ＡＦＲＭは、１３９の画像（１被験者当たり約４〜５枚の異なるピクチャ）を含む小規模な画像データベースを使用した顔ファインダーアルゴリズムに対して９４％の成功率を達成した。このようなシステムにとって不利な点は、同じようなパターンを表示できるオブジェクトが画像中にあまりにも多く存在することである。したがって、このシステムは、非常に信頼性のある顔ロケータ（ｌｏｃａｔｏｒ）ではない。さらに、ゲシュタルトの計算は、非常に計算量が多いので、リアルタイムでの実施を達成するのは困難である。
【００１９】
欧州特許第０７５１４７３号は、フィルタ、畳込み、および閾値によって顔候補領域を見いだす技術を開示する。顔の特徴、特に目および口の候補が所定の特徴を有するかどうかを次の分析が検査する。
【００２０】
米国特許第５７１５３２５号は、解像度を低減した画像に関する技術を開示する。見いだしステップは、画像と背景画像とを比較し、顔候補領域を規定する。次の分析は、３レベルの輝度の画像に基づき、各候補領域を格納されたテンプレートと比較することによって行われる。
【００２１】
米国特許第５６２９７５２号は、画像中の物体輪郭を見いだすステップ、およびそのような輪郭の対象性および他の特徴について検査するステップに基づいて分析が行われる技術を開示する。この技術はまた、長軸がお互いに対称な向きをした水平方向に対称な暗い楕円を検出することによって水平方向に対称な目領域を検査する。
【００２２】
Ｓａｋｏら、Ｐｒｏｃｅｅｄｉｎｇｓｏｆ１２ＩＡＰＲＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ、Ｊｅｒｕｓａｌｅｍ、１９９４年１０月６日〜１３日、第ＩＩ巻、３２０〜３２４頁、「ＲｅａｌＴｉｍｅＦａｃｉａｌＦｅａｔｕｒｅＴｒａｃｋｉｎｇＢａｓｅｄｏｎＭａｔｃｈｉｎｇＴｅｃｈｎｉｑｕｅｓａｎｄｉｔｓＡｐｐｌｉｃａｔｉｏｎｓ」は、格納されたテンプレートとの比較によって目領域を検出するステップを含む種々の分析技術を開示する。
【００２３】
Ｃｈｅｎら、ＩＥＥＥ（０−８１８６−７０４２−８）、５９１〜５９６頁、１９９５、「ＦａｃｅＤｅｔｅｃｔｉｏｎｂｙＦｕｚｚｙＰａｔｔｅｒｎＭａｔｃｈｉｎｇ」は、「顔モデル」に対してファジーマッチングすることによって顔候補の見いだしを行う。候補は、定義されていないモデルに基づいて目／眉および鼻／口領域が存在するかどうかを検査することによって分析される。
【００２４】
【課題を解決するための手段】
本発明の第１の局面によると、画像中のヒトの顔を検出する方法であって、顔候補領域を画像中に見いだすステップと、顔の特徴を示す第１の特徴について顔候補領域を分析するステップとを包含し、該第１の特徴が第１および第２の極小値の間に配置された極大値を含むほぼ対称な水平方向輝度曲線図を含み、該分析ステップが、顔候補領域の一部の垂直方向積分投射を形成するステップと、垂直方向積分投射が極大値に対してほぼ対称的に配置された該第１および第２の極小値を有するかどうかを判定するステップとを含む方法が提供される。
【００２５】
前記見いだしステップおよび分析ステップは、１シーケンスの画像の各画像について繰り返してもよい。
【００２６】
前記または各画像がカラー画像であり、前記分析ステップが、該カラー画像のカラー成分について行ってもよい。
【００２７】
前記または各画像がカラー画像であり、前記分析ステップが、該カラー画像から得られたコントラスト画像上で行ってもよい。
【００２８】
前記分析ステップは、前記垂直方向積分投射が、水平方向の分離が所定範囲内である第１および第２の極小値を有するかどうかを判定してもよい。
【００２９】
前記分析ステップは、前記極大値と、前記第１および第２の極小値の小さい方との間の差と、該極大値との比が第１の閾値より大きいような、前記垂直方向積分投射が極大値ならびに第１および第２の極小値を有するかどうかを判定してもよい。
【００３０】
前記垂直方向積分投射は、前記顔候補の複数部分について形成され、そして最も高い比を有する該部分が有望なターゲット画像として選択されてもよい。
【００３１】
前記分析ステップは、前記部分の対称性の尺度を形成するステップを含んでもよい。
【００３２】
前記対称性の尺度は、以下の式
【００３３】
【数５】
0003761059.tif 000002
【００３４】
で形成され、Ｖ（ｘ）は、水平方向位置ｘでの前記垂直方向積分投射の値であり、ｘ0は、該垂直方向積分投射の中央の水平方向位置であってもよい。
【００３５】
前記垂直方向積分投射は、前記顔候補の複数部分について形成され、最も高い対称性の尺度を有する部分が有望なターゲット画像として選択されてもよい。
【００３６】
前記分析ステップは、前記顔候補領域の一部を左半分および右半分に分割するステップと、該半分の各々の水平方向積分投射を形成するステップと、該左および右水平方向積分投射の水平方向対称性の尺度と第２の閾値とを比較するステップと含んでもよい。
【００３７】
前記分析ステップは、前記顔候補領域が、所定の範囲内において、ほぼ同じ高さに配置され、水平方向の分離した第１および第２の輝度極小値を有するかどうかを判定してもよい。
【００３８】
前記分析ステップは、前記顔候補領域が、第１および第２の輝度極小値よりも高い輝度を有し、且つ該第１および第２の輝度極小値の間に配置される垂直方向に伸長する領域を有するかどうかを判定してもよい。
【００３９】
前記分析ステップは、前記顔候補領域が、前記垂直方向に伸長する領域の下に配置され、且つ該垂直方向に伸長する領域より低い輝度を有する水平方向に伸長する領域を有するかどうかを判定してもよい。
【００４０】
前記分析ステップは、前記顔候補領域中に、緑色画像成分が赤色画像成分より大きいか、または青色画像成分が緑色画像成分より大きい瞳候補領域を見いだすステップを含んでもよい。前記瞳候補領域を見いだすステップは、前記顔候補領域の目候補領域に限定されされてもよい。前記分析ステップは、前記目候補領域中の絵素（ｘ，ｙ）についての関数Ｅ（ｘ，ｙ）を以下の式
【００４１】
【数６】
0003761059.tif 000003
【００４２】
に形成し、ここで、Ｒ、Ｇ、およびＢは赤色、緑色、および青色画像成分であり、Ｃ1およびＣ2は定数であり、Ｅ（ｘ，ｙ）＝１は前記瞳候補領域内部の絵素を表し、そしてＥ（ｘ，ｙ）＝０は該瞳候補領域外部の絵素を表してもよい。前記分析ステップは、前記瞳の中心を前記瞳候補領域の重心として検出してもよい。
【００４３】
前記分析ステップは、口候補領域を、水平方向においては前記瞳候補領域の間に、垂直方向においては該瞳候補領域の間の距離の実質的に０．５〜１．５倍だけ瞳候補領域の下にある前記顔候補領域のサブ領域中に見いだすステップを含んでもよい。前記分析ステップは、前記サブ領域中の絵素（ｘ，ｙ）についての関数Ｍ（ｘ，ｙ）を以下の式
【００４４】
【数７】
0003761059.tif 000004
【００４５】
に形成してもよく、ここで、Ｒ、Ｇ、およびＢは赤色、緑色、および青色画像成分であり、ηは定数であり、Ｍ（ｘ，ｙ）＝１は前記口候補領域内部の絵素を表し、そしてＭ（ｘ，ｙ）＝０は該口候補領域外部の絵素を表す。前記関数Ｍ（ｘ，ｙ）の垂直および水平方向投射曲線図が形成されてもよく、唇候補領域が該垂直および水平方向投射曲線図が第１および第２の所定の閾値をそれぞれに超える長方形サブ領域中に定義されてもよい。前記第１および第２の所定の閾値が前記垂直および水平方向投射曲線図の極大値にそれぞれ比例してもよい。
【００４６】
前記分析ステップは、前記唇候補領域のアスペクト比が第１および第２の予め規定された閾値の間にあるかどうかをチェックしてもよい。
【００４７】
前記分析ステップは、前記瞳候補領域から前記唇候補領域の上部までの垂直距離と該瞳候補領域間の間隔との比が第１および第２の予め設定された閾値の間にあるかどうかをチェックしてもよい。
【００４８】
前記分析ステップは、前記顔候補領域の一部を左および右半分に分割するステップと、水平方向に対称的に配置された対をなす対称な点の輝度勾配の角度を比較するステップと含んでもよい。
【００４９】
前記見いだしステップおよび分析ステップは、前記第１の特徴が前記シーケンスの連続Ｒ画像のｒ回目に見つかる場合に、停止されてもよい。
【００５０】
前記見いだしステップは、ヒトの顔を示す第２の特徴を有する顔候補領域について前記画像を検索するステップを含んでもよい。
【００５１】
前記第２の特徴が均一な彩度であってもよい。
【００５２】
前記検索ステップが、彩度を平均化することによって前記画像の解像度を低下させ、解像度が低下した画像を形成するステップと、所定の形状において、該所定の形状を取り囲む該解像度が低下した画像の部分の彩度とは実質的に異なる実質的に均一な彩度を有する該解像度が低下した画像の領域を検索するステップと、を包含してもよい。
【００５３】
前記画像が、複数の絵素を含み、前記解像度が、前記所定の形状が２から３個の解像度が低下した絵素にわたるように低下されてもよい。
【００５４】
前記画像が、Ｍ×Ｎ絵素の長方形アレイを含み、前記解像度が低下した画像が、（Ｍ／ｍ）×（Ｎ／ｎ）絵素を含んでもよく、それぞれが、該画像のｍ×ｎ絵素に対応し、該解像度が低下した画像の各絵素の彩度Ｐが、以下の式
【００５５】
【数８】
0003761059.tif 000005
【００５６】
で表されてもよく、ここで、ｆ（ｉ，ｊ）が、該ｍ×ｎ絵素のｉ番目の列およびｊ番目の行の絵素の彩度である。
【００５７】
前記方法がストアに前記彩度を格納するステップをさらに含んでもよい。
【００５８】
前記解像度が低下した絵素のそれぞれの彩度と、少なくとも１つの隣接した解像度が低下した絵素の彩度とを比較することによって、該解像度が低下した絵素のそれぞれに均一値が割り当てられてもよい。
【００５９】
以下の式が満たされる場合、各均一値に第１の値が割り当てられてもよく、
（ｍａｘ（Ｐ）−ｍｉｎ（Ｐ））／ｍａｘ（Ｐ）≦Ｔ
ここで、ｍａｘ（Ｐ）およびｍｉｎ（Ｐ）が、それぞれ、前記解像度が低下した絵素および前記または各隣接した絵素の彩度の最大値および最小値であり、Ｔが閾値であり、該式が満たされない場合、該各均一値に、該第１の値とは異なる第２の値が割り当てられてもよい。
【００６０】
Ｔが実質的に０．１５に等しくてもよい。
【００６１】
ストアに前記彩度を格納するステップを含んでもよく、前記または各隣接した解像度が低下した絵素には均一値が割り当てられず、各均一値が該対応する彩度の代わりに該ストアに格納されてもよい。
【００６２】
前記所定の形状が２または３個の解像度が低下した絵素にわたるように、前記解像度が低下されてもよく、前記方法が、前記第１の値の均一値が、１つの解像度が低下した絵素、２つの垂直または水平方向に隣接した解像度が低下した絵素、および絵素の長方形の２×２アレイのいずれか１つに割り当てられ、前記第２の値の均一値が、周囲の解像度が低下した絵素のそれぞれに割り当てられるとき、顔候補領域の検出を示すことをさらに含んでもよい。
【００６３】
前記方法がストアに前記彩度を格納するステップをさらに含み、前記対応する均一値の代わりに、前記第１および第２の値とは異なる第３の値を該ストアに格納することによって検出が示されてもよい。
【００６４】
前記解像度低下を繰り返すステップと、前記画像絵素に対して前記解像度が低下した絵素がシフトした状態で、少なくとも１回は検索をするステップとをさらに含んでもよい。
【００６５】
前記彩度が、以下の式で、赤色、緑色および青色成分から得られ、
（ｍａｘ（Ｒ，Ｇ，Ｂ）−ｍｉｎ（Ｒ，Ｇ，Ｂ））／ｍａｘ（Ｒ，Ｇ，Ｂ）
ここで、ｍａｘ（Ｒ，Ｇ，Ｂ）およびｍｉｎ（Ｒ，Ｇ，Ｂ）が、それぞれ、該赤色、緑色および青色成分の最大値および最小値であってもよい。
【００６６】
第１の画像が、顔の位置の予想範囲を照射している間にキャプチャされ、第２の画像が、周辺光を用いてキャプチャされ、該第２の画像が該第１の画像から減算されて画像を形成してもよい。
【００６７】
本発明の第２の局面によると、画像中でヒトの顔を検出するための装置であって、該画像中で顔候補領域を見いだす手段と、顔の特徴を示す第１の特徴について該顔候補領域を分析するための手段とをさらに備える装置が提供される。
【００６８】
本発明の第３の局面によると、本発明の第２の局面による装置をさらに有する観察者トラッキングディスプレイが提供される。
【００６９】
以下作用について説明する。
【００７０】
例えば、入力ビデオ画像ストリームまたはシーケンス中でヒトの顔を自動的に検出するための方法および装置を提供することが可能である。この方法および装置は、例えばトラッキング機能を備えた自動立体型ディスプレイに関連した観察者ビデオトラッキングシステムの初期ステージにおいて、上記および英国特許第２３２４４２８号および欧州特許第０８７７２７４号に説明されるテンプレートをキャプチャする対話型方法を置き換えるために使用され得る。自動ターゲット画像キャプチャのためのこのような技術を使用すると、ビデオトラッキングシステムおよび関連した自動立体型ディスプレイの使用が容易になり、したがってこのようなシステムについての商業的な成功の見込みが増すことになる。
【００７１】
顔ロケータおよび顔アナライザ（ａｎａｌｙｚｅｒ）の形態をとる２段階のアプローチを使用することによって、顔ロケータによって、より計算のかかる顔分析をいくつかの顔候補に制限することが可能になる。このような機構により、リアルタイムでビデオ画像のシーケンス中の画像を検出することができる。このリアルタイムでの画像検出は、画像内容の複雑さに依存し、例えば、５〜３０Ｈｚの速度である。観察者トラッキング自動立体型ディスプレイにおいて使用される場合、顔検出は、いくつかの連続画像にわたって顔が一貫して検出された後に自動的に終了され得る。全体のプロセスは、数秒を超えることはない。初期化は、システムの各回の使用の開始時に一度だけ行われる必要がある。
【００７２】
顔ロケータは、顔分析の信頼性を高める。なぜなら、分析は、各画像中で見いだされる各顔候補領域に対して行われるだけだからである。顔なし候補領域が顔の特徴を示し得る領域に同様のデータを含み得るが、顔ロケータは、そのような特徴に基づいた分析を有望な顔候補に制限する。さらに、分析は、顔ロケータによって見つけられた偽顔候補を除去するのに役立ち、顔および顔の特徴のより正確な位置データ（目領域のターゲット画像が得られ得るような観察者の両目の間の中間点など）を与えることができる。
【００７３】
見いだしおよび分析の機能を分離することによって、各機能またはステップは、計算能力およびコストを過度に要求することなしに商業的に実施され得る、より簡単かつより効率的な方法を使用し得る。例えば、皮膚の色を使用して有望な顔候補を見いだすステップは、適度な照明の変化に適応できる。この技術は、かなり広範囲の照明条件に適応でき、異なる年齢、性別、および皮膚の色の人々に対応できる。さらに、薄く色のついた眼鏡を着用していても対応し得る。
【００７４】
これらの技術は、コンピュータによる実施に関し、多くのモジュールのうちの任意のモジュールを使用し得る。各モジュールは、種々の要求に合うように置換または改変され得る。これにより、システムの柔軟性が増大し、したがって、安全監視、ビデオおよび画像圧縮、ビデオ会議、コンピュータゲーム、運転手モニタリング、グラフィカルユーザインターフェース、顔認識、および個人識別などのかなり広範囲の用途を有し得る。
【００７５】
ビデオカメラによって供給される１シーケンスの画像などにおける画像中にヒトの顔を検出するための方法が提供される。本方法は、各画像中に顔候補領域を見いだすステップおよび顔の特徴を示す第１の特徴について顔候補領域を分析するステップを含む。見いだしステップは、低減された解像度を有する画像中に所定の形状の均一な彩度を有する領域を検出するステップを含む。分析ステップは、単一カラー成分を選択するステップ、垂直方向積分投射曲線図を形成するステップ、および顔の目領域の特徴を示す曲線図中にオメガ形状を検出するステップを含む。
【００７６】
【発明の実施の形態】
本発明を添付の図面を参照しながら実施例を用いてさらに説明する。尚、図面全体にわたって、同様の参照符号は同様の部分を指す。
【００７７】
図６は、画素化カラー画像のヒトの顔をビデオ画像シーケンスから自動的に検出し、そして見いだす方法を流れ図で示す。ビデオ画像シーケンスは、例えば、上記で図２を参照しながら記載したタイプのビデオカメラによってリアルタイムで提供され得る。方法は、図３に示す初期化ステージ９としてリアルタイムで動作し得、そしてターゲット画像またはテンプレートを図３に示すトラッキングステージ１０へ供給する。
【００７８】
ステップＳ１において、赤、緑、青（ＲＧＢ）フォーマットの最新のディジタル画像が得られる。例えば、このステップは、ビデオカメラからのビデオデータの最新フィールドをフィールドストアに格納することを含み得る。ステップＳ２において、顔候補を構成する領域を見いだすために画像が検索される。ステップＳ３は、顔候補がひとつでも見つかったかどうかを判定する。見つからなければ、ステップＳ１が行われ、ステップＳ２およびＳ３が、少なくとも１つの顔候補が最新の画像中に見つかるまで繰り返される。したがって、ステップＳ２およびＳ３は、以下にさらに詳細に説明される顔ロケータ１７を構成する。
【００７９】
次に顔候補は、顔候補を分析して顔の特徴を示す１つ以上の特徴の存在を判定する顔アナライザに供給される。ステップＳ４は、顔ロケータ１７によって見いだされた顔候補に対応する画像の部分をひとつずつ受け取る。ステップＳ４は、各顔候補を分析し、候補が顔の特徴を示す特徴を含んでいると判定すると、ステップＳ１から供給された最新の画像から、図４の１１で図示される目領域の形態をしたターゲット画像またはテンプレートを抽出する。ステップＳ５は、すべての顔候補が試験されたかどうかを判定し、すべての候補が試験されるまでステップＳ４が繰り返される。ステップＳ６は、テンプレートがひとつでも得られたかどうかを判定する。得られなければ、制御は、ステップＳ１に渡され、次のカラー画像について手順が繰り返される。テンプレートがひとつでも得られれば、そのようなテンプレートがステップ７で出力される。
【００８０】
顔ロケータ１７は、任意の適切なタイプであり得、顔を見いだすための手動技術が以下に説明される。しかし、適切な自動技術は、英国特許第２３３３５９０号および欧州特許第０９３２１１４号に開示され、図７〜１３を参照して詳細に説明される。
【００８１】
ステップ２１において、ビデオ画像は、ＲＧＢフォーマットからＨＳＶフォーマットに変換され、各画素の彩度を得る。実際には、ステップ２１においてＳ成分のみを得るだけで充分である。
【００８２】
ＲＧＢフォーマットは、カメラセンサおよびディスプレイ蛍光体が作用する様式から生じるハードウェア指向の色方式である。ＨＳＶフォーマットは、色合い、陰、およびトーンの概念により密接に関連する。ＨＳＶフォーマットにおいて、色相は、光の波長（例えば、赤色と黄色との間の区別）によって説明される色を示し、彩度は、存在する色の量（例えば、赤色およびピンク色との間の区別）、ならびに値は、光の量（例えば、暗い赤色と明るい赤色との間、または暗い灰色と明るい灰色との間の区別）を示す。これらの値がプロットされ得る「空間」は、例えば、図８に示すように、円錐形もしくは六角錐形またはダブルコーンとして示され得る。ここで、円錐軸は、黒から白への中間色の進行であり、軸からの距離は彩度を示し、軸の周りの方向または角度は色相を示す。
【００８３】
人の皮膚の色は、血液（赤色）およびメラニン（黄色、茶色）の組合せによって形成される。皮膚の色は、これらの２つの極端な色相間に存在し、いくぶんか飽和しているが、極端に飽和してはいない。人の顔の彩度成分は、比較的均一である。
【００８４】
ビデオ画像データをＲＧＢフォーマットからＨＳＶフォーマットに変換するためのいくつかの技術が存在する。彩度成分を抽出する任意の技術が用いられ得る。例えば、変換は、彩度成分Ｓに対して、以下の式に従って行われ得る。
ｍａｘ（Ｒ，Ｇ，Ｂ）＝０のとき、Ｓ＝０
ｍａｘ（Ｒ，Ｇ，Ｂ）が０でないとき、
Ｓ＝（ｍａｘ（Ｒ，Ｇ，Ｂ）−ｍｉｎ（Ｒ，Ｇ，Ｂ））／ｍａｘ（Ｒ，Ｇ，Ｂ）
変換ステップＳ２１の次に、彩度成分の空間画像解像度は、ステップＳ２２における平均化によって低下する。図２を参照しながら上述したように、ディスプレイからの観察者の顔のおよその距離は、各ビデオ画像における顔のおよそのサイズが分かるように既知である。解像度は、大人の観察者の顔が、図７に示す各寸法において、約２から３画素を占有するように低下する。以下、これを成し遂げる技術をさらに詳細に記載する。
【００８５】
ステップＳ２３は、ステップＳ２２からの解像度が低下した画像において、異なる彩度を有する解像度が低下した画素の領域によって取り囲まれた、所定のサイズおよび形状の均一な彩度を有する領域または「ブロブ（ｂｌｏｂｓ)」を検出する。これを成し遂げる技術についても以下さらに詳細に記載する。ステップＳ２４は、顔の候補または顔のような領域が見いだされたかどうかを検出する。見いだされなかった場合には、ステップＳ１からＳ２４が繰り返される。ステップＳ２４が少なくとも１つの候補が見いだされたことを確認すると、ステップＳ２３で検出された均一なブロブまたは各均一なブロブの位置がステップＳ２５で出力される。
【００８６】
図９は、画像解像度の低下ステップＳ２２をさらに詳細に示す。参照符号３０は、ステップＳ１に与えられる画像の画素構造を示す。空間解像度は、Ｍ×Ｎ個の正方形または長方形画素の規則正しい長方形アレイとして示す。空間解像度は、平均化によって低下し、参照符号３１で示す（Ｍ／ｍ）×（Ｎ／ｎ）画素のアレイを得る。画素３０のアレイは、それぞれが構造３０のｍ×ｎ画素を含む、画素３２の「ウィンドウ」または長方形ブロックに効果的に分割される。画素のＳ値は、ｆ（ｉ，ｊ）（０≦ｉ＜ｍおよび０≦ｊ＜ｎの場合）として図９に示す。ウィンドウの平均彩度値Ｐは、以下の式で計算される。
【００８７】
【数９】
0003761059.tif 000006
【００８８】
図面に示す実施態様において、空間解像度の低下は、大人の観察者の顔が、各寸法における解像度が低下した画素の約２から３個を占有するようになる。
【００８９】
ステップＳ２３は、均一状態または値Ｕを解像度が低下したそれぞれの画素に割当て、顔のような領域を示す均一値のパターンを検出することを含む。均一値は、画素およびその近傍の彩度に応じて、１または０である。図１０は、平均化された彩度値Ｐ0を有する画素（参照符号３５）、および３つの近傍画素の平均化された彩度値Ｐ1、Ｐ2およびＰ3を示す。均一値の割当ては、左上の画素３７から始まり、一番上の行の終わりから２番目の画素３８に均一値が割り当てられるまで左から右に進む。このプロセスは、各行について上から下へと終わりから２番目の行まで繰り返される。このように画素を「走査」し、均一値が計算された画素の右および下の近傍画素を用いることによって、メモリ容量が効率的に使用され得るようにストアに上書きすることによって、平均彩度値Ｐを均一値Ｕで置き換えることが可能であり、均一値のためにさらにメモリ容量を提供する必要はない。
【００９０】
均一値Ｕは、以下のように計算される。
（ｆｍａｘ−ｆｍｉｎ）／ｆｍａｘ≦Ｔのとき、Ｕ＝１
（ｆｍａｘ−ｆｍｉｎ）／ｆｍａｘ＞Ｔのとき、Ｕ＝０
ここで、Ｔは、例えば、典型的な値０．１５を有する所定の閾値、ｆｍａｘは、Ｐ0、Ｐ1、Ｐ2、およびＰ3の最大値であり、ｆｍｉｎは、Ｐ0、Ｐ1、Ｐ2、およびＰ3の最小値である。
【００９１】
均一値の割当てが完了すると、アレイ３６は、解像度が減少した画素の彩度の均一を示す０および１のパターンを含む。ステップＳ２３は、顔のような領域を検出するために０および１の特定のパターンを探す。図１１は、均一値の４つのパターンおよびそれらのパターンに対応する、ビデオ画像内の顔候補のような画素彩度パターンの一例を示す。図１１は、均一ブロブを参照符号４０で示す。ここで、暗い領域は、顔のような領域を示すための充分な均一性を有する平均化された彩度値を示す。周りの明るい領域または正方形は、均一な彩度画素を取り囲み、実質的に異なる彩度を有する領域を示す。均一値の対応するパターンは、参照符号４１で示され、均一値０を有する画素ロケーションで完全に取り囲まれている、均一値１を有する画素ロケーションを含む。
【００９２】
同様に、図１１は、他の顔のような領域を参照符号４２で示し、対応する均一値のパターンを参照符号４３で示す。この場合、２つの水平方向に隣接する画素ロケーションは、均一値１を有し、且つ均一値０を有する画素ロケーションによって完全に取り囲まれている。図１１は、均一値が参照符号４５で示され、２つの垂直方向に隣接した画素ロケーションが、均一値１を有し、且つ均一値０を有する画素ロケーションによって取り囲まれている第３のパターンを参照符号４４で示す。
【００９３】
図１１に参照符号４６で示す第４のパターンは、均一値０を有する画素ロケーションによって完全に取り囲まれている均一値１を有する４（２×２）個の画素ロケーションの正方形ブロックを有する。従って、図１１で参照符号４１、４３、４５および４７で示す均一値のパターンのいずれかが起こるときは常に、ステップＳ２３は、顔のような領域または候補が見いだされたことを示す。これらのパターンの検索は効率的に行われ得る。例えば、画素ロケーションの均一値は、各行において左から右、およびフィールドの上から下に順にチェックされる。均一値１が検出されると、現在の画素ロケーションの右および下にある近隣画素ロケーションが調べられる。これらの均一値の少なくとも１つがまた１であり、領域が均一値０によって取り囲まれている場合、可能性のある顔候補に対応するパターンが見いだされる。次に、対応する画素ロケーションは、均一値を、例えば、１または０以外の値（例えば、２の値）で置き換えることによってマークされ得る。可能性のある顔候補が見いだされなかった場合を除いて、候補の位置が出力される。
【００９４】
パターン４０、４２、４４および４６の外観は、解像度が低下した画素３６の構造に対する顔のような領域の実際の位置によって影響され得る。図１２は、参照符号４９で示す解像度が低下した２×２の画素サイズを有する顔のような領域についての例を示す。円５０によって示される顔のような領域が、２×２のブロックをほぼ中心とする場合、均一な値のパターン４７が得られ、検出は正しい。しかし、参照符号５１で示すように、顔が水平および垂直方向に半画素だけシフトしている場合には、顔のような領域の中央部分は、周りの領域とは異なる均一値を有し得る。これは、結果として、純粋な候補の検出に失敗することになり得る。
【００９５】
このような起こりうる問題を避けるために、ステップＳ２１からＳ２４は、画像データの同じビデオフィールドまたは１つまたはそれ以上の連続したビデオフィールドに対して繰り返され得る。しかし、ステップＳ２１からＳ２４が繰り返される度に、解像度が低下した画素のアレイ３１の位置は、カラー画像画素のアレイ３０に対して変化する。これを図１３に示す。図１３において、画像全体は参照符号５２で示し、画像平均化による空間解像度の低下に使用される領域は参照符号５３で示す。平均化は、図９に示すのと同様に行われるが、開始位置は変化する。特に、図８の第１画素に対する開始位置は、画像全体５２の左上の角５４であるが、図１３はその後に行われる平均化を示す。ここでは、開始位置は、水平方向に左上の角から量Ｓｘだけ右にシフトし、垂直方向に量Ｓｙだけ下にシフトしている。ここで、
０＜Ｓｘ＜ｍ、および０＜Ｓｙ＜ｎ
である。
【００９６】
各画像は、ＳｘおよびＳｙのすべての組合せが用いられ、ｍ×ｎプロセスが行われるように、繰り返し処理され得る。しかし、実際には、特に、顔のような領域の検出があまり正確である必要がない応用においては、すべての開始位置を用いる必要はない。本実施例において、顔のような領域の検出が、２ステッププロセスの第１のステップを形成する場合、ＳｘおよびＳｙの値は、以下のようなよりまばらなセットの組合せから選択され得る。
Ｓｘ＝ｉｘ（ｍ／ｐ）、およびＳｙ＝ｊｘ（ｎ／ｑ）
ここで、ｉ、ｊ、ｐおよびｑは、以下の関係を満足する整数である。
０≦ｉ＜ｐ
０≦ｊ＜ｑ
１≦ｐ＜ｍ
１≦ｑ＜ｎ
これは、全部でｐ×ｑの組合せとなる。
【００９７】
上記のように、ステップＳ２１からＳ２４は、同じ画像または連続した画像上の異なる開始位置で繰り返され得る。リアルタイム画像処理については、連続した画像についてステップを繰り返すことが必要または好適であり得る。方法は、非常に迅速に行われ得、画像内に存在する顔の候補の数によって、１０Ｈｚと６０Ｈｚとの間のフィールドレートでリアルタイムで行われ得る。従って、およそほんの数秒以下の短い期間内で、すべての可能な位置がテストされ得る。
【００９８】
図７に示す方法は、図２に示す方法のように、任意の適切なハードウェアにおいて行われ得る。上記のように、トラッキングプロセッサ４は、図７の方法を、図３に示す初期化ステージ９の一部として実行するようにプログラムされることが可能である。データ処理は、Ｒ４４００プロセッサおよび関連のメモリによって行われ、プロセッサ４は、図２に示すように、彩度値、解像度が低下した画素の平均化された彩度値、および均一値を格納するためのビデオディジタイザおよびフレームストアを含む。
【００９９】
図１４は、顔アナライザ１８をさらに詳細に示す。特に、ステップＳ４で形成された分析が、図１４のステップＳ１０〜Ｓ１４として示される。
【０１００】
分析はＲＧＢ成分で行われるが、単一カラー成分を使用することだけで十分である。したがって、ステップＳ１０は、例えば、最新カラー画像から赤色成分を選択する。あるいは、別の単一値成分が使用され得る。例えば、コントラスト画像が以下の式から得られ得る。
Ｃ＝ｍａｘ（Ｒ，Ｇ，Ｂ）−ｍｉｎ（Ｒ，Ｇ，Ｂ）
このようなコントラスト画像を使用すると、以下に説明するようにオメガ形状の検出を改善し得る。
【０１０１】
ステップＳ１１は、顔ロケータ１７によって与えられた顔候補のうちの１つを選択し、顔候補によって特定された赤色成分の画像領域を選択する。ステップＳ１２は、顔の特徴を抽出して、画像中に顔が存在するか確認し、顔の正確な位置を得る。ステップＳ１３は、顔が見いだされたかどうかを判定し、見いだされない場合は、制御がステップＳ５へ移る。顔が見いだされた場合、ステップＳ１４は、図４の参照符号１１で示したような、目テンプレートの形態のターゲット画像を選択または更新する。次に、制御はステップＳ５へ移る。ステップＳ１１〜Ｓ１４は、すべての顔候補が試験されるまで繰り返される。
【０１０２】
この方法は、画像中に１つ以上の顔を検出することができる。しかし、現在の観察者トラッキング自動立体型ディスプレイなどのある用途においては、許されるユーザはただ一人である。１つ以上の顔が検出される場合は、テンプレートを１つだけ選択するために選択規則を使用してもよい。例えば、最初に検出された顔をテンプレートに選択してもよいし、画像の中心付近に位置する顔でもよい。あるいは、各テンプレートに、例えば対称性の度合に関連した品質尺度を与え、最良の品質尺度を有するテンプレートを選択してもよい。以下に、このような技術をさらに詳細に説明する。
【０１０３】
ステップＳ１２を形成する顔の特徴抽出を、図１５にさらに詳細に示す。ステップＳ１２は、ステップＳ３０〜Ｓ３９を含む。ステップＳ３０において、必要なテンプレートサイズを有する赤色成分画像の領域を選択する。ステップＳ３１は、オメガ形状が検出されたかどうかを検出し、そうであれば、ステップＳ３２で、対称性尺度に基づいて検出されたオメガ形状の位置を格納または更新する。ステップＳ３３は、すべての可能な位置が試験されたかどうかを判定し、そうでなければ、ステップＳ３０は、顔候補によって特定された画像領域から別の領域を選択する。
【０１０４】
一旦すべての可能な位置が試験されると、ステップＳ３４は、オメガ形状の垂直方向積分投射がひとつでもないかどうか判定する。あれば、ステップＳ３５は、テンプレートサイズの領域に２つの目が存在するかどうかを判定する。存在すれば、ステップＳ３６は、鼻が検出されたかどうかを判定する。検出された場合、ステップＳ３８は、顔が検出されたことを示すためにフラグを設定し、顔の位置を格納する。ステップＳ３４〜Ｓ３６の試験のいずれかが否定であれば、ステップＳ３７は、顔が全く検出されなかったことを示すためにフラグを設定する。ステップＳ３９は、顔候補の分析を終了する。
【０１０５】
図１６は、所望の目領域テンプレート１１を図示し、その下に、対応する垂直方向積分投射曲線図を示す。この曲線図は、「ω」に似ている。ステップＳ３１は、ピークすなわち極大輝度Ｖ0を水平方向位置Ｘ0でとり、極大値に対して対称に位置する第１および第２の極小輝度Ｖ1およびＶ2を水平方向位置Ｘ1およびＸ2でとることを特徴とする曲線図を検出する。必要なテンプレートすなわちターゲット画像サイズが図１７に参照符号２１で示される。このテンプレートのサイズは、ｋ×ｌピクセルである。顔候補の画像領域は、サイズがＫ×Ｌピクセルであり、参照符号２２で示される。ステップＳ３０は、分析のために必要なテンプレートサイズの初期領域２３を選択し、ステップＳ３１〜Ｓ３３が行われる。次にステップＳ３０は、領域２３に対して右に距離Ｓｘだけずれた水平方向に隣接する領域２４を選択する。これは、選択された領域が画像領域２２の上部帯片を覆うまで繰り返される。このプロセスは、開始位置から垂直方向にＳｙだけずらした参照符号２５で示される位置に、さらに繰り返してずらされる。したがって、各水平方向帯片は、領域を水平方向にオーバーラップさせることによって「覆われる」。領域２２全体は、選択された領域が参照符号２６の位置にくるまで垂直方向に帯片をオーバーラップさせることによって覆われる。ステップＳ３３は、すべての可能な位置が試験されたと判定し、次にステップＳ３４が行われる。
【０１０６】
ステップＳ３１の機能は、図１８のステップＳ４０〜Ｓ４８によってさらに詳細に図示される。ステップＳ４０は、幅ｋピクセルの画像のサブセクションを選択する。パラメータｋは、相対水平方向変位Ｓｘを用いて長方形をオーバーラップさせることによって各帯片が覆われるように選択される。同様に、パラメータｌおよびＳｙは、垂直方向に帯片をオーバーラップするように選択される。一般に、これらのパラメータは、Ｓｘがｋ／４に、Ｓｙがｌ／４に等しくなるように選択される。
【０１０７】
ステップＳ４１は、垂直方向投射関数Ｖ（ｘ）を計算する。これは以下の式で計算される。
【０１０８】
【数１０】
0003761059.tif 000007
【０１０９】
ここで、Ｉ（ｘ，ｙ）は、座標ｘ，ｙにあるピクセルの強度である。サブセクション画像の領域は、（ｘ１，ｘ２）×（ｙ１，ｙ２）によって与えられる。次にステップＳ４２は、この関数のピーク、すなわち極大値を検出し、その水平方向位置Ｘ0を見つける。
【０１１０】
ステップＳ４３は、極大値の位置Ｘ0がサブセクションの中心領域内にあるかどうかを判定する。この中心領域は、ｋ／４から３ｋ／４までの領域として規定される。その領域になければ、制御は、ステップＳ４０に戻る。あれば、ステップＳ４４は、ピークすなわち極大値の両側にある極小値を検出し、その位置Ｘ1およびＸ2を見つける。次にステップＳ４４は、極小値の配置が大人の目の分離に対応するかどうかを検出する。この目の分離は、通常５５〜７０ｍｍであり、対応する閾値はＴ1およびＴ2である。Ｘ1とＸ2との差の大きさがこれらの閾値の間にある場合（ステップＳ４５）、ステップＳ４６が行われる。そうでなければ、制御は、ステップＳ４０に戻る。
【０１１１】
ステップＳ４６は、以下の式にしたがってピーク対谷間の比Ｒを形成する。
Ｒ＝１−ｍｉｎ（Ｖ（Ｘ2），Ｖ（ｘ1））／Ｖ（Ｘ0）
ステップＳ４７は、比Ｒと閾値Ｔ3とを比較する。閾値Ｔ3の代表的な値は、０．２である。比Ｒが閾値Ｔ3より下である場合、制御は、ステップＳ４０に戻る。比Ｒが閾値Ｔ3を超える場合、ステップＳ４８は、オメガ形状が検出されたことを示す。
【０１１２】
オメガ形状が検出された場合、サブセクションの中心線に対して水平方向の対称性の度合に関連した品質尺度が計算される。例えば、これは以下のように計算され得る。
【０１１３】
【数１１】
0003761059.tif 000008
【０１１４】
品質尺度は、現在の顔候補について「最良」のオメガ形状を選択するために、および、特に、目領域の最良の水平および垂直方向位置を決定するために使用され得る。垂直方向位置は、以下に説明されるように決定され得る。
【０１１５】
図１９は、水平方向のステップサイズＳｘの不適切な選択による影響を示す。特に、Ｓｘが、大きな値（例えばｋ／２より大きい値）に設定されると、いずれのサブセクションにおいてもピーク、すなわち極大値が検出されない可能性がある。図１９の垂直方向積分投射曲線図、および特に斜線の部分において示されるように、中心領域に極大値、すなわちピークが全くないので、ステップＳ４２はＳ４３における範囲の外にある位置Ｘ0を見つけようとする。したがって、ステップＳｘの大きさは、ｋ／２より小さくするべきであり、値ｋ／４が、オメガ形状の曲線図の中心ピークを逸することなく計算効率を維持しつつ十分に機能することがわかっている。
【０１１６】
例えば、最良の品質尺度Ｑを有する最良のオメガ形状のピークは、目領域の２つの目の中央を示し、ターゲット画像またはテンプレートの中心位置を提示する。しかし、最良の位置からわずかに上方または下方へずれたサブセクションは、同様のオメガ形状垂直方向積分投射曲線図を表示する可能性が高いので、垂直方向位置は十分に定義されない。
【０１１７】
目領域上でサブセクションを垂直方向にセンタリングする１つの技術は、最良の水平方向位置を見いだすステップ、および次にオメガ形状が検出されなくなるまでサブセクションを上方および下方へとずらすステップを含む。次に、これらの上方および下方限界位置の間の途中にある垂直方向位置は、ターゲット画像についての垂直方向位置として選択され得る。
【０１１８】
正しい垂直方向位置を見いだす別の技術は、ピーク対谷間の比に基づく。この場合、最良の水平方向位置が再度決定され、そしてサブセクションは、ピーク対谷間の比をモニターしながら垂直方向にずらされる。次に、最も高い比に対応する位置が、ターゲット画像の中央の垂直方向位置として選択され得る。
【０１１９】
垂直方向積分投射曲線図中にオメガ形状が存在することは、目領域が存在することを強く示すが、これは、ヒトの顔が対称であると仮定することに主に基づく。しかし、中心線に対して対称的でない画像もまた、オメガ形状曲線図を生成し得る。そのような画像の例を、図２０の中央、目領域の真上に示す。両方の画像についての垂直方向曲線図は、ほぼ同じであり、図２０の上部に示される。この場合、非対称的画像が、中心線に対して画像の左半分を反射させ、次にその結果得られる右半分の画像を逆さまにすることによって得られる。
【０１２０】
そのような画像によって起こされる偽の顔検出を防ぐために、水平方向積分投射曲線図に基づいた技術が使用され得る。特に、オメガ形状が検出され、望ましいテンプレートサイズの画像領域が、その中心がオメガ形状の中心ピークすなわち極大値と位置が合うように選択される場合、水平方向積分投射は、画像の左および右半分に適用される。左半分についての水平方向積分投射曲線図は、以下の式で与えられる。
【０１２１】
【数１２】
0003761059.tif 000009
【０１２２】
そして、右半分についての水平方向積分投射曲線図は、以下の式で与えられる。
【０１２３】
【数１３】
0003761059.tif 000010
【０１２４】
次に、対称性尺度Ｓｍは、以下の式で定義される。
【０１２５】
【数１４】
0003761059.tif 000011
【０１２６】
Ｓｍの極小値および極大値は、０および１である。Ｓｍの値は、所定の閾値を超えるべきでない。代表的な閾値は、０．１５と０．２との間である。この条件を満たす場合のみにオメガ形状と判定することによって、偽検出の可能性が低減される。
【０１２７】
２つの画像についての水平方向積分投射曲線図を図２０に示す。偽画像は、水平方向に非対称な曲線図を与えるが、目領域の画像は、ほぼ対称な曲線図を与える。この技術は、肯定的な結果である場合、制御がステップＳ４８に移り、否定的な結果である場合、制御がステップＳ４０に移るように、図１８のステップＳ４７およびＳ４８の間に挿入され得る。
【０１２８】
オメガ形状の検出は、偽顔検出の可能性を低減するが、例えば、図１５のステップＳ３５およびＳ３６によって図示されるように、偽検出の可能性をさらに低減するために、さらなる試験を行い得る。オメガ形状の検出により、顔が画像中に存在すると仮定すると、顔の中央を見いだすことが可能になる。目領域は通常、より暗く、２つの輝度極小値が存在し、中央線に対してほぼ水平方向に対称に配置される。オメガ形状の検出は、ＲＧＢ成分について試験してもよいが、最大画像解像度で行う必要はない。実際、より低い画像解像度であることは、隔離された暗いピクセルを目に対応する極小値として検出する可能性を低減する利点がある。
【０１２９】
ユーザの頭は、初期化ステージの間、通常ほぼ直立の姿勢であるが、絶対的な直立姿勢が不可欠ではない。したがって、２つの極小値は、必ずしも同じ水平線上に載らない。したがって、例えば上記の平均化によって画像解像度を低減することが有用である。この目的のためには、赤色成分画像などの単一カラー成分画像で十分である。オメガ形状検出に適切な解像度は、ターゲット画像の各寸法がほんの数ピクセル（例えば、５×５または７×７ピクセル）であるような解像度である。図２１で示すように、極小値の位置は、（ＸL，ＹL）および（ＸR，ＹR）で表される。ステップＳ３５は、
ＹL＝ＹR
および
｜ＸL＋ＸR−２Ｘ0｜≦Ｔ4
を満たすかどうかを判定する。ここでＸ0は中心位置、Ｔ４は、例えば値１を有する閾値である。
【０１３０】
ステップＳ３５が２つの目領域が存在することを確認する場合、極小値の間により明るい領域が検出されると、これらの領域が画像中の実際の目に対応する可能性は高くなる。代表的な鼻パターンを図２２に示す。この鼻パターンは、鼻の先端の真下の画像より鼻が通常明るいという観察内容を表す。図２２に示す鼻領域は、顔の実際のサイズに依存して２または３ピクセルの長さを有する。この場合、鼻領域とされるのは、以下の条件が満たされる場合である。
ｍｉｎ（Ｐ1，Ｐ2，Ｐ3）／ｍａｘ（Ｐ1，Ｐ2，Ｐ3）≧Ｔ5
および
ｍｅａｎ（Ｐ4，Ｐ5，Ｐ6）／ｍｅａｎ（Ｐ1，Ｐ2，Ｐ3）≦Ｔ6
ここでＴ５およびＴ６は、所定の閾値であり、代表的には、それぞれ０．８および０．５の値を有する。
【０１３１】
目および鼻を検出するための上記方法は、計算効率を改善するためにより低い解像度で実行される。他の顔特徴抽出方法は、顔の存在をさらに確認するために適用され得る。例えば、以下の方法は、元の最大解像度のＲＧＢ画像を使用した瞳および唇の検出を説明する。図２３は、図１４のステップＳ１２にステップＳ６０およびＳ６１を付加した別の実施態様を示す。ステップＳ６０は、瞳および唇の高解像度検出を行う。ステップＳ６１は、幾何的束縛条件試験を行う。以下に両方のステップをさらに詳細に説明する。
【０１３２】
各目の正確な位置は、瞳の中心として認識される。瞳の中心を決定する第１ステップは、瞳を目領域の残りの部分および顔の皮膚から切り出すことである。瞳を除く目領域上のピクセルについて以下の不等式が成り立つ。
Ｒ＞Ｇ＞Ｂ
以下の等式を瞳の検出のために使用する。
【０１３３】
【数１５】
0003761059.tif 000012
【０１３４】
ここで、値１は瞳領域内のピクセルを示し、値０は瞳領域外のピクセルを示す。さらにここで、Ｃ1およびＣ2はともに定数である。この２つのパラメータの代表的な値は、以下によって与えられる。
Ｃ1＝Ｃ2＝０
初期最良目テンプレート位置は、上記のように最良オメガ形状が検出される位置によって与えられる。オメガ形状のピーク位置は、オメガ形状を半分に分割する位置である。次に、上記瞳検出方法を各半分に個別に適用し得る。次に、目の位置を検出された瞳の中心として定義する。例えば、左目の位置は、以下の式で与えられる。
【０１３５】
【数１６】
0003761059.tif 000013
【０１３６】
および
【０１３７】
【数１７】
0003761059.tif 000014
【０１３８】
ここで、Ｎは、左上隅が（ｘ1，ｙ1）で右下隅が（ｘ2，ｙ2）である領域内のピクセルの総数である。位置（ＸL，ＹL）は、左の瞳の中心を定義する。同様に、右の瞳の位置は、（ＸR，ＹR）として定義できる。これを図２４に示す。目の分離は、以下の式で与えられる。
Ｄeye＝ＸR−ＸL
瞳が検出された場合、次に、図２４に図示されるように、口が長方形領域Ａ’Ｂ’Ｃ’Ｄ’内で見いだされ得る。この領域Ａ’Ｂ’Ｃ’Ｄ’の左側は、左の瞳の位置によって決定され、右側は右の瞳の位置によって決定される。領域の上側は、２つの瞳をつなぐ線の０．５Ｄeye下に見いだされ、下側は同じ線の１．５Ｄeye下に見いだされる。
【０１３９】
口の検出は、唇を検出することによって達成される。唇は、以下の式を使用して顔から切り出される。
【０１４０】
【数１８】
0003761059.tif 000015
【０１４１】
ここで、値１は、唇ピクセルを示し、そして０は、皮膚ピクセルを示す。さらに、ここで、ηは、代表的な値が２．５に設定される定数である。
【０１４２】
垂直方向ヒストグラムは以下の式を使用して構築される。
【０１４３】
【数１９】
0003761059.tif 000016
【０１４４】
これを図２４に示す。口が存在する場合、上記ヒストグラムは、中心においてピークを生成し、両側において徐々に減少する。ピークが位置Ｘpで検出される場合、口の左端は、以下の式を満たす最初のヒストグラムの値であるＸ1によって与えられる。
Ｈy（Ｘ1）＜μＨy（Ｘp）
ここで、μは、定数であり、代表的には０．１に設定される。口の右端は、同様にＸ2として決定される。
【０１４５】
同様に、口の高さは、Ｍ（ｘ，ｙ）の水平方向の投射曲線図を使用して決定される。これは、口の上部位置をＹ1として与え、口の底部をＹ2として与える。したがって、口は、左上隅が（Ｘ1，Ｙ1）で右下隅が（Ｘ2，Ｙ2）である長方形によって囲まれる。
【０１４６】
口が存在すれば、そのアスペクト比は、以下の幾何的束縛条件を満たす。
【０１４７】
【数２０】
0003761059.tif 000017
【０１４８】
ここで、αは代表的には１．５に設定され、ベータは５に設定される。
【０１４９】
口の上部と２つの目をつなぐ線との間の垂直方向距離は、以下の式で定義される。
ＤME＝Ｙ1−（ＹL＋ＹR）／２
下唇の位置であるＹ2の値は、特にユーザがしゃべっているときは、上唇の位置であるＹ1の値より著しく変化する。上記式において、Ｙ1は、垂直方向の口の位置を示すために使用されている。
【０１５０】
この距離が目の分離に、代表的には比が１で、比例することがわかっている。したがって、口および目の相対位置は、以下の条件を見たさなければならない。
【０１５１】
【数２１】
0003761059.tif 000018
【０１５２】
ここで、ｖは、代表的には、０．２５に設定される。ステップＳ６１は、これらの幾何的束縛条件が満たされるかどうかをチェックする。
【０１５３】
対称性のさらなる尺度は、Ｄ．Ｒｅｉｓｆｅｌｄ、Ｈ．ＷｏｌｆｓｏｎおよびＹ．Ｙｅｓｈｕｒｕｎ、「Ｃｏｎｔｅｘｔｆｒｅｅａｔｔｅｎｔｉｏｎａｌｏｐｅｒａｔｏｒｓ：ｔｈｅｇｅｎｅｒａｌｉｚｅｄｓｙｍｍｅｔｒｙｔｒａｎｓｆｏｒｍｓ」、ＩＪＣＶ、第１４巻、１１９〜１３０頁、１９９５年、およびＤ．ＲｅｉｓｆｅｌｄおよびＹ．Ｙｅｓｈｕｒｕｎ、「Ｒｏｂｕｓｔｄｅｔｅｃｔｉｏｎｏｆｆａｃｉａｌｆｅａｔｕｒｅｓｂｙｇｅｎｅｒａｌｉｚｅｄｓｙｍｍｅｔｒｙ」、Ｐｒｏｃｏｆｔｈｅ１１thＩＡＰＲＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ、１１７頁に開示されるような包括的（ｃｏｍｐｒｅｈｅｎｓｉｖｅ）対称性検出器に基づいてもよい。このような包括的機構は、本方法の商業的実施には実用的ではないが、テンプレート中の顔または顔の一部の存在を確認する際に補助となる対称性の尺度を与えるために使用され得る。
【０１５４】
図２５は、人物の横から光を当てた画像、および画像のサブセクションを含む長方形領域ＡＢＣＤを示す。サブセクションは、左半分ＡＥＦＤおよび右半分ＥＢＣＦに分割される。右半分の任意の点Ｐ1について、「鏡像」位置の左半分において対応する点Ｐ2がある。サブセクションＡＢＣＤは、中央線ＥＦに対して対称であるターゲットを含む場合、点Ｐ1および点Ｐ2は１組の対称な点を形成する。
【０１５５】
絶対的な均等照明において、これら２つの点の輝度、すなわち強度は、等しい。しかし、図２５に示すように、代表的な照明条件は、対称的な点の強度が異なる。
【０１５６】
この問題は、各点の強度変化を示すベクトルである「画像勾配」を使用して克服される。特に、このようなベクトルの各々は、任意の方向、およびベクトルが極大強度変化の方向をさす方向または角度の点からの強度の極大変化に等しい大きさを有する。勾配振幅はまた、照明の種類によって影響されるが、位相角度は、顔の幾何的特徴に主に依存し、照明にはあまり依存しない。したがって、点Ｐ1およびＰ2は、勾配角度θ1およびθ2が以下の条件を満たす場合、対称とみなされる。
θ1＋θ2＝±π
サブセクションＡＢＣＤの対称性尺度は、以下の式で与えられる。
【０１５７】
【数２２】
0003761059.tif 000019
【０１５８】
ここで、（ｘ，ｙ）および（ｘ’，ｙ’）は、画像サブセクションの２つの半分における点の対の座標である。
【０１５９】
この尺度Ｓｓは、左から右、上から下へ検索することによって画像中の任意のサブセクションについて計算される。次に、Ｓｓの最高値を有するセクションは、画像の顔を含む領域として選択される。
【０１６０】
尺度Ｓｓは、以下の式にしたがってさらに精度を上げられる。
【０１６１】
【数２３】
0003761059.tif 000020
【０１６２】
ここで、ｗ（ｘ，ｙ）およびｗ（ｘ’，ｙ’）は、加重関数である。例えば、加重関数は、強いエッジがＳｓの値にさらに寄与するような、各点での勾配振幅であり得る。実際には、２値加重関数を使用してもよく、２値加重関数は、勾配振幅が所定の閾値を超える場合、加重関数を１に設定し、そうでなければ、加重関数を０に設定するように、勾配振幅を閾値で分けることによって形成され得る。閾値は、サブセクションの勾配振幅の平均値の半分にしてもよい。
【０１６３】
ターゲット画像が直立姿勢の顔からキャプチャされることが望ましい。例えば、ユーザがディスプレイの前に座り、ディスプレイを見始めると、システムが開始して、顔を見いだし、そしてターゲット画像を見つける。検出される最初のターゲット画像は、ユーザが直立姿勢でないこともあるので、最良ではないこともある。したがって、例えば次の観察者トラッキングのためのテンプレートとして最初に検出されたターゲット画像を選択することは、適切でないこともある。
【０１６４】
図２６は、図６に示す方法に基づいて改変された方法である。特に、ステップＳ５０〜Ｓ５３がステップＳ６とＳ７との間に挿入される。テンプレートがステップＳ６で見つかった場合、ステップＳ５０は、テンプレート中に含まれる画像の「良さ」の尺度を計算する。例えば、この尺度は、上記のように対称性尺度Ｓｓに基づき得る。ステップＳ５１は、テンプレートが最新のＲ画像、すなわちフレームにおいて見つかったかどうかを判定する。見つからなければ、制御は、ステップＳ１に戻る。あれば、ステップＳ５２は、最も最近検出されたテンプレートの良さ尺度と前回の最良のテンプレートの良さ尺度を比較する。最新のテンプレートが、より高度な良さ尺度を有すれば、現在の最良のテンプレートとして選択される。
【０１６５】
ステップＳ５３は、テンプレートが最新のＲフレーム中にｒ回より多く見つかったかどうかを判定する。見つからなければ、制御は、ステップＳ１に戻る。あれば、ステップＳ７は、最良のテンプレート、すなわち最高の良さ尺度を有するテンプレートを出力する。
【０１６６】
図２６において図示される方法は、最新の連続Ｒフレームにおいてｒより多くのテンプレートが検出されたかどうかを判定する。例えば、ｒが７に等しく、Ｒが１０に等しくてもよい。この場合が正しければ、ターゲット画像は、一貫して検出されるとみなされ、最良のテンプレートが、次の観察者トラッキングのために使用される。
【０１６７】
図７に例示される顔ロケータを、ある程度のユーザによる補助が必要な半自動的方法に置き換えることが可能である。例えば、白黒ビデオカメラが使用される場合、色情報が利用できないので、図７に図示される顔ロケータは、それ程うまく動作しないこともある。
【０１６８】
半自動的方法において、各入力ビデオ画像は、大人の頭とほぼ同じサイズのグラフィックスヘッドガイド（ｇｒａｐｈｉｃｓｈｅａｄｇｕｉｄｅ）を用いて、ディスプレイの中心に表示される。ユーザは、固定されたグラフィックスガイドを用いて自分自身の生画像シーケンスを見て、ガイド内の頭を位置付けることができる。顔アナライザ１８は、グラフィックスヘッドガイド内の領域に適用され、一旦ユーザの頭がこの領域内に配置されると、顔を検出し、ターゲット画像の正確な位置を見いだす。ユーザには、正確な位置合わせが全く要求されない。このような位置合わせは、英国特許第２３２４４２８号および欧州特許第０８７７２７４号に開示される方法においては、不便な要件である。さらに、顔アナライザ１８は，ヘッドガイドによって特定された領域のみを検索するので、背景中に偽ターゲットを検出する可能性は低減される。
【０１６９】
照明が、例えば極端に偏向した照明などの、極めて良好でない照明の場合、半自動的方法は、信頼できるほどにうまく動作しないこともある。この場合、テンプレートを確定する決定は、この方法を行う装置ではなくむしろユーザに残され得る。この決定は、例えば、ターゲット画像が見つかった後で、ユーザの表示された画像の上にグラフィックスオーバレイを表示することによって達成される。ユーザは、ターゲット画像の位置を見ることができ、テンプレートを確定するかどうかを決定できる。
【０１７０】
この方法と手動方法との間の相違は、テンプレートを選択するために頭と「オーバレイ」グラフィックスとを位置合わせする特別な努力をする必要がないことである。そのかわりに、コンピュータがテンプレートを指示し、このテンプレートが正しい場合、ユーザは、例えばボタンまたはキーを押すことによって、信号確定をだけを行う必要がある。もしくは、システムは手動モードに戻り得る。この機構は、首尾よいトラッキングが可能なように信頼できるテンプレートが常に得られることを確実にする。
【０１７１】
顔が両側において適切に同じ照明を受けるような周辺照明において、垂直方向積分投射曲線図中のオメガ形状の検出は、十分うまく動作する。しかし、照明が、顔の片側に強く偏向している場合、この技術は、あまり信頼できないことがあり得るが、以下に示すように図６のステップＳ４に改変された画像データを供給することによって改善され得る。
【０１７２】
画像領域中の画像は、「鏡像化」、すなわち垂直方向中心線に対して水平方向に逆向きにされ、その後、元の画像に付加される。顔が幾何的に対称であり、中心線が顔の中央にあるような理想的な場合、得られる顔の画像は、顔の両側に対称的な照明を有する。このような画像の垂直方向積分投射曲線図は、やはり対称的なオメガ形状を有する。顔アナライザ１８を参照して上記されたプロセスステップは、改変された画像データ上で使用され得る。
【０１７３】
対称であるように選択された初期線は、顔の中心にないことがあり得る。したがって、この技術は、曲線図中に検出されたピークが鏡点（ｍｉｒｒｏｒｐｏｉｎｔ）として使用されるように、反復的に適用され得る。結果として、より正確なピーク位置を有するよりよいオメガ形状を生じる。ピーク位置が実質的に変化しなくなるまでこの技術が繰り返され得る。
【０１７４】
上記の方法は、周辺光を含む均一な照明で良好に作用し、アクティブな光源を用いることによって、良好でない照明条件下での応用に適用され得る。この方法は、特別な照明を必要とせず、観察者の照明の変化に対しても非常に回復が速いが、図２の初期化ステージ９においてはアクティブな光源を用いて、次の観察者トラッキング中にスイッチオフしてもよい。トラッキングは非常に強力で、特別な照明を必要としないからである。
【０１７５】
図２７は、アクティブな照明を提供するように改変された図２に示すタイプのディスプレイを示す。アクティブな光源は、プロセッサ４によって制御されるシンクロナイザを有するフラッシュライト５５を含む。フラッシュライト５５は、ディスプレイ７の上およびセンサ３の隣りなど、適切な位置に配置され、観察者の顔を照射する。
【０１７６】
図２８は、ビデオトラッキングシステム２、特にデータプロセッサ４をさらに詳細に示す。データプロセッサは、ＣＰＵバス５７に接続された中央処理装置（ＣＰＵ）５６を有する。システムメモリ５８は、バス５７に接続され、データプロセッサを作動するためのシステムソフトウェアをすべて含む。
【０１７７】
ビデオカメラ３は、ビデオディジタイザ５９に接続され、ビデオディジタイザ５９は、データバス６０、シンクロナイザを有するフラッシュライト５５、ＣＰＵ５６、および、オプションのビデオディスプレイ６１が設けられているときには、ビデオディスプレ６１に接続されている。フレームストア６２は、データバス６０およびＣＰＵバス５７に接続されている。マウス８は、ＣＰＵ５６に接続されている。
【０１７８】
アクティブな照明を用いない実施態様では、フレームストアは、１つのフィールドの容量をもつだけでよい。６４０×２４０画素のフィールド解像度を有する上記のビデオカメラ３の場合、２４ビットのＲＧＢカラー信号に対しては、６４０×２４０×３＝４６０８００バイトの容量が必要である。アクティブな照明を用いる実施態様については、フレームストア６２は、２つのフィールドのビデオデータの容量（即ち、９２１６００バイト）を有する。
【０１７９】
使用時には、フラッシュライト５５は、ビデオカメラ３およびビデオディジタイザ５９と同期され、フラッシュライトは、画像がキャプチャされているときに、適切なタイミングでスイッチオンまたはオフされる。
【０１８０】
フラッシュライト５５は、観察者の顔に光を当てて、分布の均一性を高めるために用いられる。フラッシュライト５５が周辺光よりもはるかに強い場合、顔の輝度は、フラッシュライト５５によって主に決定される。しかし、強力な光源を用いると、過飽和状態の画像を生成する傾向があり、この場合、多くの物体が、顔のような領域として誤って検出され得る。さらに、強力なフラッシュライトの使用は、観察者にとって不快であり、目に損傷を与え得る。
【０１８１】
従って、フラッシュライト５５は、中庸な強度であるのがよい。この場合、周辺光の影響は、純粋な顔のような領域を検出する信頼性を向上させるために減少される必要があり得る。
【０１８２】
図６に示す方法は、１つがフラッシュライト５５を照射した状態で得られ、もう１つが周辺光のみで得られる２つの連続したフレームのビデオ画像データを比較するように改変され得る。従って、これらのフレームのうちの最初のフレームは、周辺光およびフラッシュライト５５の両方の影響を含んでいる。従って、この最初の画像Ｉ（ａ＋ｆ）は、２つの成分を含むものと見なされ得る。
Ｉ（ａ＋ｆ）＝Ｉ（ａ）＋Ｉ（ｆ）
ここで、Ｉ（ａ）は、周辺光のみで得られた画像で、Ｉ（ｆ）は、唯一の光源がフラッシュライト５５である場合に生成されるであろう画像である。これは、以下のように書き直され得る。
Ｉ（ｆ）＝Ｉ（ａ＋ｆ）−Ｉ（ａ）
従って、画像ピクセルデータを減算することによって、周辺照明の効果が低減または除去され、顔検出方法の信頼性および回復性を改善し得る。
【０１８３】
【発明の効果】
本発明の方法および装置によると、画像中にヒトの顔を自動的に検出するための方法および装置が提供される。この方法および装置は、例えばトラッキング機能を備えた自動立体型ディスプレイに関連した観察者ビデオトラッキングシステムの初期ステージにおいて使用され得る。自動ターゲット画像キャプチャのためのこのような技術を使用すると、ビデオトラッキングシステムおよび関連した自動立体型ディスプレイの使用が容易になり、したがってこのようなシステムについての商業的な成功の見込みが増すことになる。
【０１８４】
本発明の方法によると、顔ロケータおよび顔アナライザ（ａｎａｌｙｚｅｒ）の形態をとる２段階のアプローチを使用することによって、顔ロケータによって、より計算のかかる顔分析をいくつかの顔候補に制限することが可能になる。このような機構により、リアルタイムでビデオ画像のシーケンス中の画像を検出することができる。このリアルタイムでの画像検出は、画像内容の複雑さに依存し、例えば、５〜３０Ｈｚの速度である。
【０１８５】
本発明の顔ロケータは、顔分析の信頼性を高める。なぜなら、分析は、各画像中で見いだされる各顔候補領域に対して行われるだけだからである。顔なし候補領域が顔の特徴を示し得る領域に同様のデータを含み得るが、顔ロケータは、そのような特徴に基づいた分析を有望な顔候補に制限する。さらに、分析は、顔ロケータによって見つけられた偽顔候補を除去するのに役立ち、顔および顔の特徴のより正確な位置データ（目領域のターゲット画像が得られ得るような観察者の両目の間の中間点など）を与えることができる。
【０１８６】
本発明の方法によると、見いだしおよび分析の機能を分離することによって、各機能またはステップは、計算能力およびコストを過度に要求することなしに商業的に実施され得る、より簡単かつより効率的な方法を使用し得る。例えば、皮膚の色を使用して有望な顔候補を見いだすステップは、適度な照明の変化に適応できる。この技術は、かなり広範囲の照明条件に適応でき、異なる年齢、性別、および皮膚の色の人々に対応できる。さらに、薄く色のついた眼鏡を着用していても対応し得る。
【０１８７】
本発明による方法および装置は、コンピュータによる実施に関し、多くのモジュールのうちの任意のモジュールを使用し得る。各モジュールは、種々の要求に合うように置換または改変され得る。これにより、システムの柔軟性が増大し、したがって、安全監視、ビデオおよび画像圧縮、ビデオ会議、コンピュータゲーム、運転手モニタリング、グラフィカルユーザインターフェース、顔認識、および個人識別などのかなり広範囲の用途を有し得る。
【図面の簡単な説明】
【図１】公知のタイプの観察者トラッキング自動立体ディスプレイの概略ブロック図である。
【図２】本発明が適用され得る観察者トラッキングディスプレイの概略ブロック図である。
【図３】図２のディスプレイにおける観察者トラッキングを示す流れ図である。
【図４】図３に示す方法によってキャプチャされる典型的なターゲット画像またはテンプレートを示す図である。
【図５】図２のディスプレイによるテンプレートキャプチャ中のディスプレイの外観を示す図である。
【図６】本発明の実施態様を構成する顔のような領域を検出する方法を示す流れ図である。
【図７】図６に示される方法の顔見いだしステップを示す流れ図。
【図８】色相彩度値（ＨＳＶ）色方式を示す図である。
【図９】図７に示す方法における平均化による画像解像度低下を示す図である。
【図１０】図７に示す方法における均一値の計算を説明する図である。
【図１１】図７に示す方法における顔候補の選択に用いられるパターンを示す図である。
【図１２】顔の異なる位置の、図７に示す方法に対する影響を示す図である。
【図１３】異なる顔の位置を収容する、図７に示す方法への改変を示す図である。
【図１４】図６に示す方法の顔分析ステージをさらに詳細に示す流れ図である。
【図１５】図１４に示す方法の顔特徴抽出ステージをさらに詳細に示す流れ図である。
【図１６】目領域の画像部分および対応する垂直方向積分投射を示す図である。
【図１７】目署名を検索するための技術を示す図である。
【図１８】図１４に示す方法のさらなる顔特徴抽出技術形成ステップを示す流れ図である。
【図１９】極めて粗いステップサイズを有する垂直方向積分投射を示す図である。
【図２０】偽顔候補を除去するための水平方向積分投射曲線図の使用を示す図である。
【図２１】１対の輝度極小値として表される１対の目の検出を示す図である。
【図２２】鼻検出技術を示す図である。
【図２３】図１４に示す改変された顔特徴抽出ステップをさらに詳細に示す流れ図である。
【図２４】口領域の垂直および水平方向積分投射を有する瞳および口領域を示す図である。
【図２５】顔の対称性を分析するステップに基づく技術を示す図である。
【図２６】図１４に示す方法を終了するための技術を示す流れ図である。
【図２７】本発明が適用される観察者トラッキングディスプレイの概略ブロック図である。
【図２８】本発明の方法を実施するための、図１３のディスプレイのビデオトラッキングシステムのシステムブロック図である。
【符号の説明】
１  ディスプレイシステム
２  トラッキングシステム
３  トラッキングセンサ
４  トラッキングプロセッサ
５  ディスプレイ制御プロセッサ
６  操縦機構
７  トラッキング機能を備えた３Ｄディスプレイ
８  マウス
９  初期化ステージ
１０  トラッキングステージ
１１  テンプレート
１６  グラフィカルガイド
【図１】
0003761059.tif 000025
【図２】
0003761059.tif 000026
【図３】
0003761059.tif 000027
【図４】
0003761059.tif 000028
【図５】
0003761059.tif 000029
【図６】
0003761059.tif 000030
【図７】
0003761059.tif 000031
【図８】
0003761059.tif 000032
【図９】
0003761059.tif 000033
【図１０】
0003761059.tif 000034
【図１１】
0003761059.tif 000035
【図１２】
0003761059.tif 000036
【図１３】
0003761059.tif 000037
【図１４】
0003761059.tif 000038
【図１５】
0003761059.tif 000039
【図１６】
0003761059.tif 000040
【図１７】
0003761059.tif 000041
【図１８】
0003761059.tif 000042
【図１９】
0003761059.tif 000043
【図２０】
0003761059.tif 000044
【図２１】
0003761059.tif 000045
【図２２】
0003761059.tif 000046
【図２３】
0003761059.tif 000047
【図２４】
0003761059.tif 000048
【図２５】
0003761059.tif 000049
【図２６】
0003761059.tif 000050
【図２７】
0003761059.tif 000051
【図２８】
0003761059.tif 000052