(57)【特許請求の範囲】
【請求項１】
デジタル画像で顔の特徴を検出するためのデジタル画像処理方法であって、
虹彩ピクセルを検出する段階；
前記虹彩ピクセルをクラスタにする段階；
画像において目の位置を検出する方法であって、ｉ）前記虹彩ピクセルクラスタを使用して目の位置を検出するために幾何学的な推論を適用することと、ｉｉ）前記虹彩ピクセルクラスタに基づき目の位置を検出するために、２乗された差分の合計を適用することと、ｉｉｉ）前記画像においてピクセルごとに基づいて目の位置を検出するために、２乗された差分の合計を適用することとを含む検出方法から、前記虹彩ピクセルクラスタの数に基づき少なくとも一つを選択する段階；及び
検出された目の位置を用いて顔の特徴位置を確認する段階；
を含む、方法。
【請求項２】
２よりも少ない虹彩ピクセルクラスタが検出される場合に、前記検出方法ｉｉｉ）が、目の位置を検出するために適用されることを特徴とする請求項１に記載の方法。
【請求項３】
少なくとも２つの虹彩ピクセルクラスタが検出される場合に、前記検出方法ｉ）が、目の位置を検出するために適用されることを特徴とする請求項１に記載の方法。
【請求項４】
前記検出方法ｉ）が目の位置を検出しない場合に、前記検出方法ｉｉ）が目の位置を検出するために適用されることを特徴とする請求項３に記載の方法。
【請求項５】
前記検出方法ｉｉ）が目の位置を検出しない場合に、前記検出方法ｉｉｉ）が目の位置を検出するために適用されることを特徴とする請求項４に記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタル画像理解方法に関し、より詳細には人の顔の特徴を検出するための方法に関する。
【０００２】
【従来の技術】
顔の特徴の位置を検出する性能は様々な応用に役立つ。それらの適用は、自動的に顔を変形すること及びゆがめること、表現認識、髪の毛の区分化、顔の認識及び分類、赤目検出、並びに顔の画像圧縮を含んでいる。さらに、顔の特徴の位置を見つけるために使用される技術の多くは、様々な他の一般的な画像特徴検出タスクに役立つ。これらは医学的な画像で器官を識別し産業上の視覚的な応用で回路ボード構成部分の位置を確認することを含むことができる。
【０００３】
顔の特徴の検出は多くの研究者によって研究されている。顔の特徴を検出するアルゴリズムの主に４つの分野がある。それらは、テンプレート整合、エッジ検出、型モデル、及び全体的な整合である。型モデルを使用する技術は最も有望であるように思われる。それらの方法は、妥当性のある結果への探索を抑制するために特徴形のモデルを使用する。これは、特徴がユニークに識別することができる特徴ファインダーの精度及び範囲の両者を増加させる。変形可能なテンプレート及び活発な型モデルは２つの最も一般的なアプローチである。変形可能なテンプレートは特徴型の明示的にパラメター化されたモデルを必要とする。これは、技術の適用可能性を、容易にパラメター化され、型モデルのパラメーターに厳密に一致しない型における結果の正確さを縮小した型に限定する。一方で、活発な型モデルは一連のグラウンドトルース例に基づいた特徴形のモデルを学習する。これは方法を特徴型のはるかに広いクラスに適用可能にする。
【０００４】
活発な型のモデルはＣｏｏｔｅｓ等によって発展された。（例えば、非特許文献１参照。）。それは画像の対象の位置を確認するためのモデルに基づいた機能を提供する。モデル化への柔軟なアプローチは、目標の対象の広いクラスに適用可能で使用される。手順はトレーニングと探索段階の両者からなる。トレーニング間では、実例画像のセットはグラウンドトルース特徴位置を示す一連の制御ポイントで手動で注釈を付けられる。これらの特徴位置は、制御ポイントの妥当性のある相関位置の型のモデルを開発ために分析される。さらに、各制御ポイント周辺の肌合いのモデルが生成される。一度それらのモデルが産出されると、続く探索で使用するために記憶される。探索において、一連の局所的な探索は、その特徴における肌合いのモデルと最も整合する位置を見つけるために各特徴ポイントにて実行される。次いで、グローバルな型モデルは局所的な探索の結果を抑制するために使用される。この工程は安定した結果に集束するまで繰り返す。
【０００５】
Ｃｏｏｔｅｓのシステムにおいて、探索操作はユーザによって提供されるべき適切な開始位置を必要とする。このユーザの介在は、簡素で迅速な方法を備え、好ましくは２つの目である、特定の特徴を見つける自動過程と置き換えることができるかもしれない。
【０００６】
デジタル画像で人の目を検出する当該技術において幾つかの方法が周知である。デジタル画像で人の目の位置を検出する閾値化方法の使用である（例えば、特許文献１参照。）この方法において、走査窓はラスター走査方法を用いて全体画像を横切って走査する。画像を横切って走査するので、ヒストグラム抽出器は窓から強度ヒストグラムを抽出する。各強度ヒストグラムは、肌、目の白さ、瞳の黒さを表現するヒストグラムで３つのピークを検出するピーク検出器によって検査される。３つのピークを有するヒストグラムは目の位置を潜在的に確定する画像の位置を識別する。目の位置は、各潜在的な位置と関連するヒストグラム下のエリアを計算することによって、及び大きなエリアを備えるヒストグラムと関連する位置を選択することによって潜在的な位置から決定される。
【０００７】
このアプローチの一つの問題は、全体の画像をピクセルごとに基づいて走査しなければならないことである。したがって、探索窓は画像の各ピクセルに位置しなければならず、ヒストグラムは各ピクセル位置でアセンブルするべきである。さらに、各ヒストグラム下のエリアは計算され、記憶されなければならない。この方法は大量の計算力を消耗し、画像が処理できる割合を縮小することを認識するだろう。さらにこの方法は高率の肯定的な誤りを起こす。
【０００８】
さらに、異常に高い赤い内容物を有する人の目を検出するための方法が周知である。かかる異常に高い赤い内容は、一般的に赤目として周知の写真現象と関連している。赤目は瞳によって反射される光のフラッシュによって一般的に引き起こされる。例えば、赤目を示唆する高い赤い内容を有するピクセルにおける画像で探索することが知られている（例えば、特許文献２参照。）。同様に、赤目の色の特徴を有する画像のピクセルを検出するためのユーザの相互作用の方法がある（例えば、特許文献３参照。）。そのような方法は赤い目が存在する場合のみ検出することを認識するだろう。
【０００９】
Ｃｏｏｔｅｓのシステムにおいて、探索工程はグラウンドトルース型空間内の最も同様の型を選択しない、型モデル係数を抑制する方法を使用することを注意する。さらに、Ｃｏｏｔｅｓのシステムは、システムが到達できる最終的な結果の正確さを制限する、一定の大きさの肌合いのモデル探索窓を使用する。Ｃｏｏｔｅｓのシステムは対象の大きさが固定されていることを仮定する。これは、異なるサイズの対象を描写する画像が前処理段階で計られることを必要とする。この縮尺係数は、対象のサイズの初期の評価に基づくことができた。固定された大きさの仮定は、探索する場合に繰り返し肌合いの窓を計ることではなく前処理ステップの間に画像が一度計られることを可能にすることにより、性能を改善する潜在性を有している。しかしながら、固定された大きさの利用は、アルゴリズムの適応性を限定し、規模の初期の評価が正しくない場合、正確さに悪影響を及ぼす。
【００１０】
【特許文献１】
ＵＳ６０７２８９２
【特許文献２】
ＵＳ６２９２５７４
【特許文献３】
ＵＳ５４３２８６３
【特許文献４】
ＵＳＳＮ０９／７４０５６２
【特許文献５】
ＵＳＳＮ０９／７４０４２２
【非特許文献１】
Ｃｏｏｔｅｓ，Ｔ．Ｆ．，  Ｔａｙｌｏｒ，Ｃ．Ｊ．，  Ｃｏｏｐｅｒ，Ｄ．Ｈ．著「Ａｃｔｉｖｅ  Ｓｈａｐｅ  Ｍｏｄｅｌｓ−Ｔｈｅｉｒ  Ｔｒａｉｎｉｎｇ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎ」Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  第６１巻、Ｎｏ．１、１９９５年、ｐｐ．３８−５９
【非特許文献２】
Ｊｏｈｎ  Ｃ．  Ｈａｒｔ  著「Ｄｉｓｔａｎｃｅ  ｔｏ  ａｎ  Ｅｌｌｉｐｓｏｉｄ」  Ｇｒａｐｈｉｃ  Ｇｅｒｍｓ  ＩＶ，  Ａｃａｄｅｍｉｃ  Ｐｒｅｓｓ出版、ｐｐ．  １１３−１１９
【発明が解決しようとする課題】
したがって、目の検出機能の使用によりユーザ介在のない開始点探索ロケーションを自動的に決定する性能を有するシステムを構築する必要がある。さらにシステムがグラウンドトルース型空間の最良の型モデルを選択する性能を有し、肌合いのモデルのスケールを変えて、窓を探索する必要がある。
【００１１】
【課題を解決するための手段】
本発明は前述に記載した一つ以上の問題を克服するために導かれる。簡単に要約すると、本発明の一つの態様にしたがい、本発明はデジタル画像で顔の特徴を検出するための方法に帰する。本方法は、画像で虹彩ピクセルを検出する段階、虹彩ピクセルをクラスタにする段階、及び目の位置を識別するために、虹彩ピクセルクラスタを使用して目の位置を検出するために幾何学的な推論を適用すること；目の位置を検出するために虹彩ピクセルクラスタを使用して、２乗された差を合計する方法を適用すること；及び画像のピクセルから目の位置を検出するために虹彩ピクセルクラスタを使用して、２乗された差を合計する方法を適用すること、の方法から少なくとも一つを選択する段階を含む。目の位置を識別するために適用される方法は虹彩ピクセルクラスタの数を基本にして選択され、顔の特徴は識別された目の位置を用いて位置が確認される。
【００１２】
本発明の別の態様によると、本発明はまたデジタル画像で顔の特徴を検出するためのコンピュータープログラム製品に帰する。コンピュータープログラム製品は、画像で虹彩ピクセルを検出する段階、虹彩ピクセルをクラスタにする段階、及び目の位置を識別するために、虹彩ピクセルクラスタを使用して目の位置を検出するために幾何学的な推論を適用すること；目の位置を検出するために虹彩ピクセルクラスタを使用して、２乗された差を合計する方法を適用すること；及び画像のピクセルから目の位置を検出するために虹彩ピクセルクラスタを使用して、２乗された差を合計する方法を適用すること、の方法から少なくとも一つを選択する段階を実行するために記憶されるコンピュータープログラムを有するコンピューター読取り可能記憶媒体を含む。目の位置を識別するために適用される方法は虹彩ピクセルクラスタの数を基本にして選択され、顔の特徴は識別された目の位置を用いて位置が確認される。
【００１３】
本発明の態様、目的、特徴及び利点は、下記に記載のより好ましい実施態様及び付随の特許請求の範囲、並びに添付図を参照することで、より明確に理解され認識されるだろう。
【００１４】
【発明の実施の形態】
図１は、本発明の実行に有用な画像処理システムを示している。このシステムは、フィルムスキャナー、デジタルカメラ、若しくはデジタル画像記憶装置（ピクチャーＣＤを備えるコンパクトディスクドライブなど）のようなカラーデジタル画像源１０を含んでいる。カラーデジタル画像源１０からのデジタル画像は、プログラム化されたパーソナルコンピューター若しくはＳｕｎ  Ｓｐａｒｃ２０ワークステーションなどのデジタル画像処理ワークステーションのような画像プロセッサー１２に提供される。画像プロセッサー１２は、ＣＲＴディスプレイ１４並びにキーボード１６及びマウス１８などのオペレーターインターフェイスに接続されている。画像プロセッサー１２はまた、コンピューター読取り可能記憶媒体１７に接続されている。画像プロセッサー１２は、処理されたデジタル画像を出力装置１９に転送する。出力装置１９は、ハードコピープリンター、長期画像記憶装置、別のプロセッサー若しくはインターネットなどへ接続される画像テレコミュニケーション装置への接続を含んでいる。
【００１５】
下記の詳細において、本発明の好ましい実施態様は方法として記載されるだろう。しかしながら、別の好ましい実施態様において、本発明は、記載される方法と一致するデジタル画像で顔の特徴を検出するためのコンピュータープログラム製品を含む。本発明の記載において、本発明のコンピュータープログラムは、図１に示されるタイプのパーソナルコンピューターなどの周知のコンピューターシステムによって活用可能であることが明かである。しかしながら、多くの別のタイプのコンピューターシステムは本発明のコンピュータープログラムを実行するために使用可能である。結果として、コンピューターシステムは、ここではさらに詳細には記載されない。
【００１６】
本発明のコンピュータープログラム製品は、画像操作アルゴリズムと周知のプロセスを活用するかもしれないことが理解されるだろう。したがって、本記載は、本発明の方法の一部を形成するか、若しくはより直接的に協働するアルゴリズム及びプロセスに特に導かれるだろう。このように、本発明のコンピュータープログラム製品の実施態様は、実行するために有用であるここで特に示されていないか記載されていないアルゴリズム及びプロセスが具体化されるかもしれないことが理解されるだろう。かかるアルゴリズム及びプロセスは、かかる技術分野の従来で元来の技術の範囲内である。
【００１７】
かかるアルゴリズム及びシステムの追加的な態様、並びに画像を生成するため及び処理するための若しくは本発明のコンピュータープログラム製品と協働するハードウェア及び／若しくはソフトウェアはここでは特に示されていないか若しくは記載されておらず、当該技術で周知のかかるアルゴリズム、システム、ハードウェア、構成部品及び要素から選択されるかもしれない。
【００１８】
本発明の方法を実行するためのコンピュータープログラムはコンピューター読取り可能な記憶媒体に記憶されるかもしれない。例えば、この媒体は、磁気ディスク（ハードドライブ若しくはフレキシブルディスクなど）若しくは磁気テープなどの磁気記憶媒体；光ディスク、光テープなどの光記憶媒体若しくは機械が読取り可能なバーコード；ランダムアクセスメモリ（ＲＡＭ）などの固体状の電子記憶装置若しくは読取り専用メモリ（ＲＯＭ）；又はコンピュータープログラムを記憶するために使用される別の物理的な装置若しくは媒体を含むかもしれない。本発明の方法を実行するためのコンピュータープログラムは、インターネット若しくは別の通信媒体の手法で画像プロセッサーと接続されているコンピューター読取り可能記憶媒体に記憶されるかもしれない。かかるコンピュータープログラム製品の相当物もハードウェアに構築されるかもしれないことが当業者は認識するであろう。
【００１９】
図２を参照するに、本発明の方法はより詳細に記載されるだろう。図２は、本発明の目の検出方法の一つの実施態様を例証するフローチャートである。図２は、処理されるデジタルカラー画像が虹彩色ピクセル検出段階２００にまず最初に入力されることを示している。示されている実施態様において、虹彩色ピクセル検出は画像の肌の色の領域の第一検出によって達成され、次いで肌の色の領域内からの赤の強度レベルを測定することによって虹彩色ピクセルを識別する。
【００２０】
肌の色の検出における第一段階は、段階２０１として図２に示されているカラーヒストグラムの均一化である。カラーヒストグラムの均一化段階２０１は処理されるべき画像を受取り、画像が肌の色の検出を可能にする形態であることを保証する。光の状態、フラッシュの設定及びフィルム特性のために人の肌が多くの数の色を取るためにこの段階は必要である。このような画像の肌を自動的に検出することは困難である。カラーヒストグラム均一化段階２０１において、各画像の統計的な分析は実行される。統計的な分析が、画像が光の状態によって外観が修飾される肌の領域を含むかもしれないことを提示する場合、次いでこのような画像は、肌の着色された領域が検出できるために修飾される。
【００２１】
カラーヒストグラム均一化段階後、画像は肌の色を検出する段階２０２で肌の色の領域において探索する。多くの方法でデジタル画像の肌の検出が可能である一方で、デジタル画像で肌を検出するための好ましい方法は、画像の大きく釣合の取れている集団から集められた一連の可能な肌の色を含んでいるワーキング色空間の確定により、画像中の他のピクセルから肌の色ピクセルを分離することである。次いで、ピクセルは、ピクセルがワーキング色空間内である色を有する場合に、肌の色のピクセルとして識別される。
【００２２】
肌の色の検出段階２０２は、画像における肌の色のピクセルの領域を識別する。この領域は多くの手法で確定される。一つの実施態様において、肌の色の領域は、肌の色を有する画像でピクセルを識別するピクセルの位置のセットにより確定される。別の実施態様において、修正された画像は肌の色のピクセルのみを含むことを生成される。さらなる別の実施態様において、肌の色の検出段階２０２は、画像において肌の色の領域を境界する、境界線を確定する。一つ以上の肌の色の領域が画像で識別できることが認識されるだろう。
【００２３】
楕円形の領域抽出段階２０４は、顔を示す肌の色の領域を定める肌の色の検出段階２０２によって検出された肌の色の領域を検査する。人の顔が大まかに楕円形状を有するために、肌の色の領域は楕円状の肌の色の領域を定めるために試験される。楕円形状の肌の色の領域が発見された場合、楕円形の領域抽出段階２０４は楕円形状の肌の色の領域の幾何学的特徴を測定する。楕円形の領域抽出段階２０４は、画像内の顔の大きさ及び顔の位置を記載するパラメーターを確定するための測定を使用する。
【００２４】
図３は画像内で楕円形状の肌の色の領域を確定するために使用される幾何学的パラメーター間の関係の例示である。図３に示されているように、それらのパラメーターは楕円形の上部３００、楕円形の底部３０２、楕円形の左３０４、楕円形の右３０６、楕円形の中心列３０８、及び楕円形の中心カラム３１０を含んでいる。これらのパラメーターは、目の検出工程の効率を増加させる本方法の後の段階において使用される。本発明の方法が、楕円形以外の形状を有し、そのような形状でその他の幾何学的なパラメーターを確定することができる肌の色の検出領域を使用して、実行することができる。画像において楕円形若しくは他の形状のエリアを検出することが必要でないことが認識されるだろう。このような場合において、肌の色の領域は虹彩色ピクセルを検出するために試験される。さらにこの場合において、肌の色の領域を記載している他のパラメーターは目の検出の工程において使用されるために確定される。
【００２５】
楕円の領域抽出が実行された後、楕円形状の肌の色の領域は虹彩色ピクセルにおいて探索される。この段階は虹彩色ピクセル検出段階２０６によって実行される。虹彩色ピクセルの捜索を、楕円形状の肌の色の領域内のピクセルに限定することは、虹彩色ピクセル検出の効率を増加させることを認識するだろう。虹彩と関連するピクセルを検出する虹彩ピクセル検出段階２００において多くの方法があることが認識されるだろう。かかるピクセルは、簡素な色閾値化方法、モデルマッピング、及び当該技術で周知の他の方法によって識別できる。
【００２６】
一つの好ましい実施態様において、虹彩ピクセルは同時係属で一般公開されている“Ｄｉｇｉｔａｌ  Ｉｍａｇｉｎｇ  Ｐｒｏｃｅｓｓｉｎｇ  Ｍｅｔｈｏｄａｎｄ  Ｃｏｍｐｕｔｅｒ  Ｐｒｏｇｒａｍ  Ｐｒｏｄｕｃｔ  ｆｏｒ  Ｄｅｔｅｃｔｉｎｇ  Ｈｕｍａｎ  Ｉｒｉｓｅｓ  ｉｎ  ａｎ  Ｉｍａｇｅ”という題名の２０００年１２月１９日に出願された米国特許出願番号０９／７４０４２２を用いて検出される。この実施態様において、虹彩ピクセル検出段階２０６はピクセルがピクセルの赤の強度を測定することによるピクセルであるかどうかを決定する。これは、比較的高い赤い強度を有している、人の肌と比較して、人の虹彩が低い赤い強度を有することが観察されるためになされる。しかしながら、この実施態様において、虹彩色ピクセルは簡素な閾値化方法に基づき肌の色の閾値とは分離される。代わって、楕円形状の肌の色の領域でのピクセルの赤の強度は、各ピクセルが虹彩であるという確率を決定し、かつ各ピクセルが虹彩ではないという確率を決定するために使用される。次いで、ピクセルが虹彩であるという確率とピクセルが虹彩ではないという確率との関係は、ピクセルが虹彩ピクセルであるかどうかを決定することで分析される。
【００２７】
与えられた赤い強度を有しているピクセルが虹彩ピクセルであるという確率は虹彩統計模型に基づいて決定される。同様に、非虹彩統計模型は与えられたピクセルが、ピクセルの赤い強度水準に基づいた虹彩ピクセルではないという確率を確定するために使用される。与えられたピクセルが特定の赤い強度Ｉの機能としての虹彩ピクセルである条件付確率４０２を表わす統計模型の例を示し、及び与えられたピクセルが特定の赤い強度Ｉの機能としての非虹彩ピクセルである条件付確率４０４を表す統計モデルの実施例を例証する図４の例の手法で示されるように、これらのモデルの関係は非線形である。
【００２８】
確率分析は多くの形式をとることができる。例えば、確率は様々な方法で、虹彩として、あるいはこれらの確率の関係に基づいてではなく分類されているピクセルと結合することができる。しかしながら、好ましい実施態様において、ベイズ（Ｂａｙｅｓ）モデルとして周知の数式は、与えられた赤い強度を有するピクセルが虹彩に属する条件付確率を生産する確率を組み合わせるために使用される。
【００２９】
この実施態様において、ベイズモデルは下記のように適用される：
【００３０】
【数１】
0004234381.tif 000002
ここでＰ（虹彩｜Ｉ）は与えられたピクセル強度が虹彩の属する条件付確率であり、Ｐ（Ｉ｜虹彩）は与えられた虹彩ピクセルが特定の強度Ｉを有する条件付確率であり、Ｐ（虹彩）は顔の楕円領域の虹彩の発生の確率であり、Ｐ（Ｉ｜非虹彩）は与えられた非虹彩ピクセルが特定の強度Ｉを有する条件付確率であり、及びＰ（非虹彩）は顔の楕円領域の非虹彩の発生の確率である。さらに、ベイズモデルは、顔の楕円領域の虹彩の発生の確率及び顔の楕円領域の非虹彩ピクセルの発生の確率に適用する。ベイズモデルに基づく確率分析を使用して、与えられた赤い強度を有するピクセルが虹彩に属する条件付確率が、例えば０．０５よりも大きい場合にピクセルは虹彩として分類される。
【００３１】
前述に記載の実施態様において、楕円の上部３００、楕円の底部３０２、楕円の左３０４、及び楕円の右３０６によって確定される楕円形状の肌の色の領域のそれらのピクセルだけが試験される。楕円形状の肌の色領域で検査されるピクセルの制限は、検査されるピクセルの数を縮小し、虹彩でないピクセルがかかるものとして分類されるという確率を減少させる。本発明の他の実施例に記述されるように、肌の色の領域で検査されるピクセルの制限は、同様の利点を有することが理解されるだろう。肌の色の領域を検出することは必要ではなく、また、画像において各ピクセルの赤い強度を測定しピクセルが上に記述した確率分析に基づいた虹彩かどうか決めることにより、本発明を実行することができることは理解されるであろう。
【００３２】
図５は、ピクセルが虹彩ピクセルであるかどうかを決定するために使用される統計モデル及びピクセルが非虹彩ピクセルであるかどうかを決定するために使用される統計モデルを確定するために使用される虹彩の色のベイズモデルトレーニング段階２２６を例証するフローチャートを示す。段階２２６の方法は、虹彩を検出するために本発明の虹彩が使用されることを検出する方法の前に実行される。示されるように、図５において、前面の顔の画像の大きなサンプルは集められ検査される。次いで、顔の領域のすべての虹彩ピクセル及び非虹彩ピクセルは手動で５０２及び５０４を識別される。次いで、与えられた虹彩ピクセルが特異的な赤の強度Ｉを有する条件付確率、Ｐ（Ｉ｜虹彩）は計算され、顔の楕円領域での虹彩の発生の可能性Ｐ（虹彩）５０６は計算され、次いで、与えられた非虹彩ピクセルが特定の赤の強度Ｉを有する条件付確率、Ｐ（Ｉ｜非虹彩）は計算され、最後に顔の楕円領域の非虹彩ピクセルの発生の確率、Ｐ（非虹彩）５０８が計算される。与えられたピクセル強度が虹彩Ｐ（虹彩｜Ｉ）５１０に属するという条件付きの確率を生成するために、虹彩及び非虹彩の計算された統計模型は、ベイズモデルで使用される。ある実施態様において、ベイズモデルは虹彩の色のピクセル検出段階２０６で使用される検査テーブルを生成するために使用される。
【００３３】
虹彩の色のピクセル検出段階２０６が画像での虹彩ピクセルの位置を識別した後に、虹彩の色のピクセルはクラスタにアサインされる。これは、虹彩のピクセルをクラスタにする段階２０８によってなされる。クラスタは、クラスタ内のどのピクセルもさらにクラスタの別のピクセルへのあらかじめ定められた距離内にある特性を備えた虹彩の色のピクセルの空でない集合である。好ましい距離の一つの実施例は、デジタル画像の高さの３０分の１である。図２の虹彩のピクセルをクラスタする段階２０８は、クラスタのこの定義に基づいたクラスタへ虹彩の色のピクセルをグループ化する。しかしながら、ピクセルは他の判定規準に基づいてクラスタに分けられるかもしれないことが理解されるであろう。
【００３４】
ある特定の環境下において、虹彩色ピクセルの定義が無効のクラスタを含むことは十分に広いかもしれない。かかる環境において、図２に示されているように、クラスタを有効にする段階は、段階２０９として含まれている。例えば、あまりにも多い虹彩色ピクセルを含んでいるので、若しくはクラスタ中のピクセルの幾何学的な関係がクラスタは虹彩を示さないと示唆するので、クラスタは無効かもしれない。例えば、クラスタの高さとその幅の比率が決定される場合、及び比率が２を越えるものである場合、このクラスタは無効である。無効の虹彩ピクセルクラスタは一層の考察から取り除かれる。したがって、続く記載の部分では、有効な虹彩ピクセルクラスタは単に虹彩ピクセルクラスタと呼ばれるだろう。
【００３５】
虹彩ピクセルクラスタの数“ｎ”は、段階２１０で数えられる。虹彩ピクセルクラスタの数“ｎ”は、画像の目の発見のために２つの経路の中から選択する決定ステップ２１０によって使用される。虹彩ピクセルの数“ｎ”が２よりも小さい場合、処理は後に記載される段階２２４に枝分かれされる。虹彩ピクセルの数“ｎ”が少なくとも２である場合、処理はクラスタの中心を発見するために段階２１２に枝分かれする。クラスタの中心はクラスタの質量の中心として決定される。クラスタの中心位置は画像座標系の原点に関して計算される。この測定の目的において、画像座標系の原点は画像境界の上左角である。
【００３６】
虹彩ピクセルクラスタの各々の中心が見つけられた後、幾何学的な推論は、虹彩ピクセルクラスタの幾何学的な関係に基づいた目を検出することを試みるために適用される。図６に示されるように、一つが左半分６０４で一つが右半分６０６で２つのクラスタのみがある場合、二つのクラスタの中心間の水平距離が楕円の右３０６と楕円の左３０４との間の距離の０．４倍よりも小さい場合、及び二つのクラスタの中心間の垂直距離が楕円上部３００と楕円株の３０２との間の距離の１０分の１よりも小さい場合、それら２つのクラスターの中心位置は目の位置として扱われる。
【００３７】
この分析が非常に迅速に完結することが認識されるであろう。この分析が成功した場合、目の位置を検出するためのさらなる行動は必要としない。したがって、検出結果点検は目の位置が検出されるかどうか確かめるために段階２１６でなされる。目の位置が検出される場合、目の検出処理は終了する。目の位置が検出されない場合は、処理は段階２１８に進む。
【００３８】
段階２１８において、２乗された差を合計する方法は目の位置を求めて画像を探索するために使用される。一般的に、２乗された差を合計する方法は、目のテンプレート、及びテンプレートと同じサイズを有する画像のパッチ中の対応するピクセルの強度値の２乗された差分の合計を計算することを含んでいる。この方法において、ピクセルのパッチでの各ピクセルはテンプレートでの対応するピクセルを有する。各対応するピクセルの強度レベル間の差は計算される。次いで、各差は２乗される。その後、セット中のピクセルの各々のための２乗された差分の各々の合計は計算される。２乗された差分のこの合計は、測定されたピクセルセット及びテンプレートの各々間の一致の程度の相対的測度を提供する。目の位置が検出されない場合２２０、その後、処理は２２４へ進む。
【００３９】
本発明に適用されるように、２乗された差分値の合計は、各半分領域の各窓での各ピクセルのために計算される。これらの値は比較され、及び２乗された差分値の最下の相対的な合計があるクラスタは、それぞれの領域の半分における目の位置であると確認されて選択されている。この工程は、下に記述された方法で、画像の左及び右半分領域上で別々に実行される。
【００４０】
本発明が、平均的な目のテンプレートと、ピクセルのパッチの各々の間の最良の相関性を識別するために２乗された差を合計する方法を使用することが記載される一方、平均二乗誤差方法を含む他の方法はこの目的のために使用することができることを注意する。
【００４１】
本発明の方法の一つの実施態様において、楕円領域検出段階２０４で計算されるパラメーターは、２乗された差分の合計が計算されるに違いない画像中の位置の数の縮小により、２乗された差を合計する方法の使用の効率を増加させるために使用される。図６に示されるように、この実施態様において、楕円中心カラム３１０は楕円領域を左半分領域６０４と右半分領域６０６に分割するように使用される。さらに図６で示されるように、虹彩ピクセルクラスター６００と虹彩ピクセルクラスター６００の中心位置６０２は楕円中心カラム３１０によって分割される右半分領域６０４若しくは左半分領域６０６の何れかに位置する。
【００４２】
段階２１８は、２乗された差を合計する方法及び左半分領域６０４に位置するピクセルクラスタ６００を使用して、左の目の位置探索を行なう。段階２１８はまた、２乗された差を合計する方法及び右半分領域６０６に位置する虹彩ピクセルクラスター６００を使用して、右の目の位置探索を行なう。
【００４３】
図７及び８を参照するに、半分領域でのクラスタから一つのクラスタを選択するための工程が記載される。目の位置を探索する工程は、それぞれの半分の領域で各クラスター８０２の中心に窓８００を集中させること７０によって開始される。窓８００のデフォルトサイズは画像８０４のサイズの２０分の１である。その後、２乗された差分７２の合計を計算する操作は、各窓８００のピクセルの各々で実行される。各窓８００に２乗された差分値の最下の合計を有するピクセルの位置が記録される７６。２乗された差分値の合計が、領域の半分７８のすべての窓のすべてのピクセルにおいて計算された場合、２乗された差分値の最下の合計があるピクセルの位置が記録される７９。これは半分の領域での予測される目の位置である。この工程は残りの半分の領域において繰り返される。二つの目がこの工程によって検出される場合、この方法は終了する。
【００４４】
段階２１８の２乗された差を合計する方法は楕円形状の肌の色抽出を使用しないで実行できることが認識されるだろう。かかる実施態様において、肌の色領域は左半分領域と右半分領域に分割できる。次いで、虹彩ピクセルクラスタはクラスタの左半分領域と右半分領域に分割できる。２乗された差を合計する方法は前述に記載のように適用できる。
【００４５】
しかしながら、目が段階２１８の実行の後に検出されなければ２２０、若しくは２つ以下の虹彩ピクセルクラスタが段階２０９で検出される場合、その後、目の検出工程は段階２２４に進む。段階２２４は、段階２１８と同様の手法で操作する。しかしながら、図９に示されているように、全体の画像９００は分割され、２乗された差の合計は画像９０４の左半分領域９０８及び右半分領域９１０のそれぞれの各ピクセルにおいて計算される。
【００４６】
他の方法は、画像及び目のテンプレートのパッチ間の相対的な相関性を決定するために、２乗された差を合計する方法の代わりに使用することができることが認識されるであろう。一つの例は平均二乗誤差方法である。この方法は当該技術において周知である。
【００４７】
本発明が画像において目を検出するための３つの個別の方法は、幾何学的な推論２１２及び２１４、虹彩ピクセルクラスタ２１８を用いる２乗差の合計及び画像ピクセル２２４を用いる２乗差の合計であることが認識されるであろう。幾何学的な推論がこれらの方法において最も簡素で最も効率的であることが理解されるだろう。これは幾何学的な推論が最も効率的な処理方法を提供するからであり、及び幾何学的な推論が虹彩ピクセルクラスタにのみ適用されるためである。画像中のピクセルの数と比較された場合、これらのクラスタは数において比較的小さい。
【００４８】
対照的に、画像中のピクセルの各々に段階２２４で要求されるように、２乗された差を合計する方法を適用することは、画像中の単一のピクセルが目の位置かどうか決めることを多くの処理段階及び計算に要求する、計算上激しい段階である。さらに、段階２２４の方法は画像のすべての非虹彩ピクセルに適用すべきである。現行の共通のフォーマットにおいて、デジタル画像は２．１メガピクセルカメラによって獲得されている。さらに、１６ものメガピクセルを有するカメラが実証された。このように、画像において目の位置を検出するための段階２２４の使用は文字通りに、単一の画像を処理することを何億もの操作に要求するだろうことが明かである。これは時間とコンピューター集約的な工程である。
【００４９】
中間のアプローチとして、段階２１８は２乗された差分法の計算上重い合計を適用するが、虹彩ピクセルクラスタに関して確定された窓のピクセルに対するこの方法の応用を限定する。これは、２乗された差を合計する方法が適用されるに違いないし、したがって２乗された差分法２２０の合計の応用を、ステップ２２４の２乗された差分の合計より集中的なより少ないコンピューターにするピクセルの数を実質上縮小する。
【００５０】
図２の顔の特徴に見られる段階１０００は図１０で詳細にされる。“ポーズした”画像データベースは、グラウンドトルース画像１０１０として最初に選択された。このデータベースは、対象の前面の概観を描く肖像スタイル絵を含む。データベースの顔の大きさは、８３ピクセルの典型的な平均の相互の目の距離で同様に合わせられる。
【００５１】
活発な型のモデル技術は、接続している特徴ポイントの１つ以上のグループを備えた対象型を表わす。これらの特徴ポイントは、局所的な探索が実行される位置を決定する。ポイント間の関係は、探索方向及び肌合いの窓配位を確定するために使用される境界平値を決定する。特徴ポイントは特定の“目標”が位置する一連の応用を示し、典型的には対象の境界に沿って置かれる。ポイント間の関係は通常は対象のエッジを明示する。これらは対象の形の立体感を出す場合、判断されるに違いない多くのエンジニアリング決定である。それらの決定の最も重要なことは、どこに特徴ポイントを置くか決めることである。これらのポイントは、周囲のエリアから容易に同一化が可能な、一貫してユニークな肌合いに置かれるべきである。対象のエッジ及び角は、通常は良好な目標ポイントである。複数ポイントが与えられたエッジに沿って置かれている場合、型モデルへ不必要な変わりやすさを導入することを回避するために、固定された中間期で分配されるべきである。
【００５２】
多くの追加のポイントを備えた与えられた応用によって要求されるポイントを補足することは時々有用である。これらの追加のポイントは補足サポートの提供によりオリジナルの顔立の正確さを増加させるために使用することができる。追加のポイントが、始点との強い位置の相関性を持っている、容易に同一化可能な位置に置かれる場合、これは可能である。
【００５３】
特徴ポイントの量は別の重要な決定である。ポイントの数を増加させることは、結果の正確さを改善し、対象形のよりよい記載を提供することができる。
【００５４】
特徴ポイントの相対密度はまた重要である。各ポイントは対象の結果となる型において等価の影響を有する。したがって、特徴ポイントの高密度を備えたエリアは、ポイントの希薄な分配を備えた領域より高い精度を持つ傾向がある。
【００５５】
最後に、特徴ポイントに通常の配位が考慮されるに違いない。平値は優勢な探索指示を決定し、正確なポイントが見つかるという確率に影響を及ぼす。平値は、さらに内容の窓の主要な軸の配列をコントロールする。これは、モデルが顕著な組織上の特質を捕らえるという能力に影響する。
【００５６】
８２ポイントから成る典型的な形モデルは顔の顔立の位置を表示するために選択された。このモデルは、眉、目、鼻、口及び顔の領域のアウトラインを示す。ポイントはまた、瞳孔の中心及び鼻の先端に置かれる。特徴ポイントの位置は実例画像の各々において示唆されるべきである。この工程は一般的に手動で行なわれる。図１１ａは顔の特徴モデルを例示し、実例画像１１１０の注釈された特徴位置１１２０を描写する。特徴ポイントの正確な位置付けはしばしば曖昧である。髪の毛若しくは眼鏡のような対象が所望の特徴を塞ぐ場合、これは存在することができる。決定は、選択した一貫した位置若しくは一貫した構造上の特徴（エッジ）のいずれかへなされるに違いない。適切な選択は適用に依存する。
【００５７】
肌合いのモデルは、図１１ｂの中で例証されるような関連する特徴ポイント上で集中させられる長方形の肌合いの窓１１４０を最初に確定することにより作成される。この窓は、モデルによって記述される画像の領域を明白にする。ユーザは、窓の範囲及び解像度を明白にすることができる。１５分の１のピクセルの解像度の例はこの発明で使用された。窓の主要軸は形境界への平値と提携する。肌合いの窓は型の大きさに基づいて自動的に計られる。縮尺係数は、中間の形で例を整列させる、最適のユークリッドの変形から決定される。これは、各画像の窓が対象の一貫した部分をカバーすることを保証する。
【００５８】
トレーニングアルゴリズムはグラウンドトルースデータを分析するために使用される。このアルゴリズムは後の探索の間に使用されるモデルを学習する。トレーニング工程はユーザー相互作用を必要としない。モデルの型と肌合いが生成される。型モデルは、特徴ポイントの予期された相関位置について記述する。これらのモデルを一度だけ生成する必要があり、後の使用に備えて蓄えられる。
【００５９】
型モデルは、許容できる特徴位置の“空間”について記述する。このモデルは妥当性のある形の領域へのありそうもない探索結果を抑制するために使用される。型モデルは、平均の型、型変化の主要なモード、及びモードの各々のための関連する範囲からなる。
【００６０】
型モデル１０１２の学習における初期の段階は共通の座標系へグラウンドトルースからの特徴位置を整列させることである。これは、グローバル変形の結果であるモデルから変化を除去する。
【００６１】
段階は下記のようである：
１．平均型の初期の評価として１例を選択する。
【００６２】
２．平均のスケール及び配位を標準化する。
【００６３】
３．平均の現在の評価ですべての型を整列。最適のユークリッドの変形（移動、スケール、回転）は最小の正方形適合によって決定される。
【００６４】
４．提携した型からの平均を再度評価
５．平均の評価がまとまるまで、ステップ２乃至４を繰り返す。
型を２Ｐ次元の空間のポイントと見なすことができ、ここでＰは２次元特徴ポイントの数である。提携したグラウンドトルースは、立体感が過度な楕円の境界によって出ることができる範囲を備えたこの空間のポイントの雲を成形する。この境界のコンパクトな表現は主要な構成部分分析（ＰＣＡ）から引き出す。
【００６５】
ＰＣＡは、その顕著な特徴を保持する一方で、型空間の次元数を縮小する方法を提供する。これは、例の型のポイント雲における最も重要な変化の指示と提携する１セットの直交軸の計算により遂行される。これらの軸は、形における変化の最多の同相を示す。軸は、パラメーターの最少数を備えた有効な型を表わすために使用することができる、最適の基礎を成形する。
【００６６】
各例の型の提携した特徴対等の物は長さ２Ｎのベクトルｘｉへ整列することができる。共分散マトリックスは下記の式からなる：
【００６７】
【数２】
0004234381.tif 000003
ここでＮはグラウンドトルース例の数である。主要な軸の順序づけられたリストは、
【００６８】
【数３】
0004234381.tif 000004
のようなユニット固有ベクトルｖｋ（ｋ＝１、…、２Ｎ）によって与えられ、
ここでλｋはｋｔｈ固有値であり、及びλｋ＞λｋ＋１。最大の固有値に相当する固有ベクトルは、型における変化の最多の同相を示す。
【００６９】
図１２は顔の型モデルの３つの最も重要な軸を例示している。描写された形は与えられた固有ベクトルに沿った平均の型を変える結果である。顔型における意味論的に意味のある変化と多くの主要な軸が強く関係があることに注目することは興味深い。例えば、第一軸１２１０はヘアーラインの位置に関し、第二軸１２１２は頭の前方の傾斜に関係しており、第三軸１２１４は顔の幅に関連する。
【００７０】
大多数の型空間はしばしば比較的主要な軸の少数で表わすことができる。保持する軸の数は固有値から決定することができる。固有値は、対応する固有ベクトルによって明白にされた軸に沿ったグラウンドトルースの変化と等しい。軸の適切な数は、変化の合計の与えられた分画ｆをカプセルに入れる量の選択により決定することができる（例えば、０．９８）。これは、
【００７１】
【数４】
0004234381.tif 000005
のような第一Ｍ固有ベクトルの選択により達成される。
任意の型は、
【００７２】
【数５】
0004234381.tif 000006
を使用して、平均の型、及びこれらの軸に沿った摂動の線形結合から接近することができ、ここでＶ＝（Ｖ１Ｖ２…ＶＭ）は第一Ｍ固有ベクトルのマトリックスであり、ｂ＝（ｂ１ｂ２…ｂＭ）Ｔは質量ベクトルである。質量ベクトルは、型モデルのパラメーターを成形し、逆の式から特徴位置の与えられたセットから計算することができる。
【００７３】
【数６】
0004234381.tif 000007
どんな型も、質量ベクトルを決定しこれらの値の範囲に制限を設けることにより、グラウンドトルースの例に似るためになることができる。適切な範囲は、各軸に沿ったグラウンドトルースの変化を明白にする固有値に由来することができる。１つの可能性は重量を、各軸に沿った一連の３つの標準偏差に限定することである。これは、
【００７４】
【数７】
0004234381.tif 000008
であるように質量をクリッピングすることによって達成できる。
【００７５】
段階１０１４において、肌合いの窓によってカバーされた画像の領域は各特徴ポイントですべての解像度のために抽出されグラウンドトルースの各例のためにコード化される。次に、肌合いのモデルはコード化された肌合いを使用して計算される。
【００７６】
肌合いをコード化する様々な方法がある。最良の結果は下記方法を使用して、現在達成されている。肌合いは、ｓＲＧＢ色空間において色ＲＧＢ画像として本来表される。強度勾配大略は各色通路のために計算される。これは、正常な方向に沿って近隣のピクセル値の差分を計算することにより遂行される。その後、勾配のプロファイルは平均強度によって標準化され、単一のベクトルｔへ組み合わせられる。この表現は、肌合いの窓内の色端の配位及び相対的な位置に関する情報を保持し、絶対的な強度及び端の強度を標準化する。これは、画像内の明るさとコントラストの変更の影響を最小限にする一方で、十分に肌合いの外観について記述する利点を有している。
【００７７】
各例からのコード化された肌合いは最終の肌合いモデルを計算するために使用される。このモデルは平均のコード化された肌合い
【００７８】
【数８】
0004234381.tif 000009
と共分散マトリックスＳｔからなる。このマトリックスはわずかに異なる変数名でにもかかわらず式１のように、計算される。個々のピクセルがどのように共同に変化するのと同様に、共分散マトリックスは、肌合いに各ピクセルの変異の幅について記述する役目をする。我々が単峰ガウス分布を仮定すれば、これは、例の肌合いの分配の完全な統計表現を提供する。
【００７９】
肌合いモデルは、肌合い候補の適合度を決定する根拠を提供する。マハラノビス（Ｍａｈａｌａｎｏｂｉｓ）距離メトリックは、整合の質を決定することができる。このメトリックは、
【００８０】
【数９】
0004234381.tif 000010
によって与えられ、ここでｆ（ｔ）は平均値からの候補の増量された距離を明白にする。この値は、直線的に、候補が例分配から来るという確率の対数と関係がある。
【００８１】
トレーニングの間に、個別の肌合いのモデルを各特徴ポイントですべて解像度において作成する必要がある。様々なレベルのモデルはすべて特徴ポイントに関して集中させられ、同数のピクセルを使用してコード化される。粗い肌合いは、典型的には各々より素晴らしい肌合いの範囲の２倍を連続的にカバーする。
【００８２】
図１３は、顔の特徴の発見のための典型的な画像１３００を表示する。段階１０１２から得られる平均型１３１０は、３段階：段階２１６、段階２２０若しくは段階２２４の一つから得られる目の位置において段階１０１５で開始される。平均型１３１０の助けによって、画像内の特徴ポイント１１２０の位置は段階１０１６での一連の局地的な探索の実行によって決定される。評価された目の位置によって決定された初期の位置での平均の型モデル１３１０の特徴位置の現在の評価は探索位置を初期化するために使用される。肌合いの窓１１４０の数は型モデル１３１０の各ポイントの周囲のエリアから抽出される。これらの窓の内容物は、特徴の予期された外観と最も良く一致する位置を決定するために段階１０１４で開発されていた肌合いモデルと比較される。
【００８３】
探索方向は平値に沿って型境界に適応する。ユーザは、探索位置の面間隔及び量を明白にすることができる。この発明において、３  Ｘ  ７セットの位置の典型的な範囲が調査される。探索中間期は顔の一貫した領域がカバーされることを保証するためにダイナミックに計られる。
【００８４】
各探索位置では、段階１０１４で議論されるように、肌合いの窓１１４０は抽出されコード化される。肌合いのモデルへの肌合いの窓の類似性は、式７に記述されたマハラノビス距離によって測定される。最小の距離を備えた位置は新しい特徴位置として選択されている。この工程は各特徴ポイントにおいて繰り返される。
【００８５】
段階と一致する局所的な肌合いによって識別された特徴位置１１２０は、誤差の傾向がある。この誤差は一部特徴の可変外観及び周囲の領域とのそれらの類似点による。正確さも、特徴の正確な位置を集中するのに必要な肌合いの窓１１４０の小規模によって制限されている。探索結果の品質は形モデルによって記述される、妥当な型の範囲に対する特徴ポイントの限定により著しく改善することができる。
【００８６】
特徴ポイント１１２０は下記の工程の使用によって有効な型に抑制することができる。第一に、現行の型はトレーニング工程１０１２の間に計算された、平均型と提携する。２つの形を整列させるユークリッドの変換式は最小の正方形適合から決定される。提携した特徴対等の物は、式５を使用して、ＰＣＡ型空間へ映される。その後、形係数は合理的な範囲に制限されている。有効な形の典型的な９９．９７５％を含んでいる範囲は、この発明の中で使用された。制限のある形係数に相当する特徴位置１１２０は式４を使用して計算される。最後に、ユークリッドの変形は提携した形を後ろに画像対等の物に変換するために逆さまである。
【００８７】
型係数を抑制する多くの方法がある。このアプローチは図１４に例証されている。最も簡素な方法は、各軸に沿ったグラウンドトルース１４１０の標準偏差の与えられた数を超過しないように、単に各係数をクリップすることである。この制限は式６に記載されている。これは、図１４の中で例証されるような範囲のために多次元の箱１４５０を使用することに相当する。箱の角で型１４２６にグラウンドトルース空間１４１０の外側の評価された型１４１６を抑制することができるかもしれない。このアプローチに関する問題は、箱の角に存在する型１４２６に明白にされた閾値より発生の著しく低い確率があるということである。
【００８８】
よりよいアプローチは係数の範囲を限定するために過度の楕円の境界１４５２を使用することである。これは、
【００８９】
【数１０】
0004234381.tif 000011
であるようにすべての係数を一様に計ることにより遂行することができ、ここで制限ｌはｘ２分配を用いて選択される。このアプローチは図１４の中間の図に例示されている。グラウンドトルース空間１４１０の外側の評価された型１４１６において、抑制された形は楕円境界１４５２の交点ポイント１４３６及び評価された形ポイント１４１６と楕円の中心１４６０間のラインになるだろう。ポイント１４６０はポイント１４１６への楕円境界上の最も接近しているポイントを必要としない。
【００９０】
本発明において、よりよい形は開始型１４１６に最も近い過度の楕円の境界上のポイント１４４６を選択することにより見つけることができる。このアプローチは図１４の下の図に描写されている。楕円の強制方法によって誤って選択されるポイント１４４８は、楕円の境界を備えた点線の交点によって与えられる。
【００９１】
過度な楕円の境界上で最も接近しているポイントを見つけることは、高度の多項式の解決策を要求する。この多項式は分析的に解決することができない。しかしながら、ハート（Ｈａｒｔ，  Ｊ．Ｃ．，  “Ｄｉｓｔａｎｃｅ  ｔｏ  ａｎＥｌｌｉｐｓｏｉｄ，”  Ｇｒａｐｈｉｃｓ  Ｇｅｍｓ  ＩＶ，  Ｐａｕｌ  Ｓ．  Ｈｅｃｋｂｅｒｔ  Ｅｄｉｔｏｒ，  Ａｃａｄｅｍｉｃ  Ｐｒｅｓｓ，  Ｂｏｓｔｏｎ，  ＭＡ，  ｐｐ．１１３−１１９，  １９９４を参照）によって作成されたアルゴリズムの拡張を数的に使用して解決することができる。ハートはそこで境界の既知のセット内に多項式の正確な根が位置する表現を産出するためにその問題の知的なパラメーター化を使用するアプローチを発展した。この根は、ひとまとめに扱うことと二分を使用して容易に見つけることができる。ハートは、３−次元の楕円の場合におけるアルゴリズムについて記述する。このアプローチは任意の数の大きさまで及ぶことは比較的簡単である。
【００９２】
段階１０２０において、局所的な肌合いを見つける工程は一致し、次いで、型が安定した結果で集中するまで、グローバル型の抑制は繰り返される。型が各反復上で変更する量を測定し、変更が与えられた閾値以下に落ちる場合、工程を中止することは可能である。しかしながら、型が非常に急速に集中するので、これは必要ではない。代わりに、好結果は、反復の定数の工程を単に繰り返すことにより達成された。
【００９３】
本発明において、活発な型モデルアルゴリズムは、段階１０２２を備えた複数の解像度フレームワークで実施することができる。これは、特徴が正確に識別することができる範囲を効率的に拡張する。アルゴリズムの複数の解像度バージョンは最初に、大規模な粗い肌合いのモデル及び広い肌合いの探索エリアを使用して、画像を探索する。その後、近似の特徴位置は、連続的により小さくより精密な肌合いのモデル及びより狭い探索エリアを使用して精錬されている。
【００９４】
探索する場合に検討される位置は、肌合いの窓と同様に計られる。これらの位置は、特徴位置の現在の評価に関して集中させられ、及び、同数のポイントは各解像度で調査される。粗い肌合いのモデルと共に使用される探索位置間の面間隔は、一般に各々の連続的に精巧な肌合いのモデルで使用される際の二倍である。
【００９５】
探索するアルゴリズムは最初に最も粗い肌合いのモデル及び最も広く間隔を置かれた探索位置を使用する。型が集中するまで、局所的に肌合いと整合する工程及びグローバル型を抑制することが繰り返される。この工程はより精巧な肌合いのモデル及びより厳密に間隔を置かれた探索中間期を使用して、各解像度において繰り返される。４つの解像度が、大きな探索中間期及び特徴位置の精巧な位置確認の両者を供給する動作において使用された。
【００９６】
本発明の方法は、これらの目を検出する方法の間で自動的に選択し、画像の目を検出する最も効率的な方法を選択するために虹彩ピクセルクラスタの数を使用する手法でこれらの方法を組み合わせるための方法を提供することがまた理解されるであろう。
【００９７】
本発明の主題は、デジタル画像をデジタル処理する認識するべき技術を意味しそれによって人間の理解し得る対象、特質若しくは条件に有用な意味を帰し、次いで、デジタル画像の一層の処理の中で得られた結果を利用するために考えられるデジタル画像理解技術に関係がある。
【図面の簡単な説明】
【図１】本発明の実行に有用な画像処理システムの概略図である。
【図２】本発明の目の検出方法を例示するフローチャートである。
【図３】画像での幾何学的パラメーターと楕円状の肌の色の領域との関係を例示する。
【図４】与えられたピクセルが特定の赤い強度の機能として明示された虹彩ピクセルである条件付確率及び与えられたピクセルが特定の赤い強度の機能として明示された非虹彩ピクセルである条件付確率を示すことを例示する
【図５】与えられたピクセルが特定の赤い強度レベルの機能としての虹彩ピクセルである条件付確率を表現する統計モデル及び与えられたピクセルが特定の赤い強度レベルの機能としての非虹彩ピクセルである条件付確率を表現する統計モデルを開発する工程を表現するフローチャートである。
【図６】虹彩の色のピクセルクラスタを示していることを例示する。
【図７】虹彩ピクセルクラスタを用いて目の位置を検出するために２乗された差分法を合計する方法を適用する工程を例示するフローチャートである。
【図８】目のテンプレート及び虹彩ピクセルクラスタの中心に集中する探索窓を示す。
【図９】目のテンプレート及び画像ピクセルを使用して目の位置を検出するために２乗された差分法を合計する方法を適用する工程で使用される画像を示す。
【図１０】顔の特徴モデルをトレーニングする工程及び顔の特徴を探索する工程を例示しているフローチャートである。
【図１１】ａは手動でマークされた特徴ポイントの実施例を示し、ｂは特徴ポイントでの肌合いの窓の実施例を示す。
【図１２】顔のモデルのサンプルを示す。
【図１３】画像での平均の型の開始位置を示す。
【図１４】型モデル係数を抑制する異なるスキームを使用することを例示する。
【符号の説明】
１０  デジタル画像源
１２  画像プロセッサー
１４  表示
１６  キーボード
１７  コンピューター読取り可能記憶媒体
１８  マウス
１９  出力装置
７０  窓を中心に置く段階
７２  ２乗された差分の合計電卓
７４  チェックする段階
７６  位置を記録する段階
７８  チェックする段階
７９  位置を記録する段階
２００  ピクセル検出
２０１  カラーヒストグラム均一化段階
２０２  肌の検出段階
２０４  楕円領域抽出段階
２０６  虹彩色ピクセル検出段階
２０８  虹彩ピクセルをクラスタにする段階
２０９  ピクセル確認段階
２１０  検出されたピクセルの数を決定する段階
２１２  虹彩色ピクセルクラスタの中心を見つける
２１４  幾何学的な推論に基づく目の位置の検出
２１６  検出された目の決定段階
２１８  虹彩ピクセルクラスタを使用して２乗された差の合計に基づく目の位置を検出
２２０  検出された目の決定段階
２２４  画像ピクセルを使用して２乗された差分の合計方法を用いる目の位置の検出
２２６  虹彩色ベイズモデルトレーニング
３００  楕円上部
３０２  楕円底部
３０４  楕円左
３０６  楕円右
３０８  楕円中央列
３１０  楕円中央カラム
４０２  ピクセルが虹彩である際の確率の統計モデル
４０４  ピクセルが虹彩でない際の確率の統計モデル
５０２  統計モデルにおいて虹彩ピクセルを手動で識別する
５０４  統計モデルにおいて非虹彩ピクセルを手動で識別する
５０６  確率を計算する段階
５０８  確率を計算する段階
５１０  ベイズモデルの適用
６００  クラスタの中心
６０２  虹彩色ピクセル
６０４  左半分領域
６０６  右半分領域
８００  窓
８０２  窓で移動する平均の目のテンプレート
８０４  画像
８０６  平均の目のテンプレート
９０２  画像で移動する平均の目のテンプレート
９０４  画像
９０６  平均の目のテンプレート
９０８  画像の左半分
９１０  右半分
１０００  顔の特徴を位置確認する段階
１０１０  グラウンドトルースを収集する段階
１０１２  型モデルを学習する段階
１０１４  複数の解像度の肌合いのモデルを学習する段階
１０１５  初期化段階
１０１６  局在の肌合いを整合する段階
１０１８  型を抑制する段階
１０２０  集束をチェックする段階
１０２２  解像度をチェックする段階
１１１０  画像
１１２０  特徴ポイント
１１４０  肌合いの窓
１２１０  サンプル型
１２１２  サンプル型
１２１４  サンプル型
１３００  画像
１３１０  平均の型
１４１０  グラウンドトルース
１４１６  サンプル型
１４２６  型のポイント
１４３６  型のポイント
１４４６  型のポイント
１４４８  型のポイント
１４５０  境界
１４５２  境界
１４５４  境界
１４６０  平均の型のポイント
１４６２  平均の型のポイント
【図１】
0004234381.tif 000012
【図２】
0004234381.tif 000013
【図３】
0004234381.tif 000014
【図４】
0004234381.tif 000015
【図５】
0004234381.tif 000016
【図６】
0004234381.tif 000017
【図７】
0004234381.tif 000018
【図８】
0004234381.tif 000019
【図９】
0004234381.tif 000020
【図１０】
0004234381.tif 000021
【図１１】
0004234381.tif 000022
【図１２】
0004234381.tif 000023
【図１３】
0004234381.tif 000024
【図１４】
0004234381.tif 000025