(57)【要約】反射された赤外線範囲内の少なくとも１つの帯域幅における情景の反射光を表わすイメージデータを提供することを含む個人の顔を検知するのに使用するための方法およびシステム。個人の片方または両方の眉毛に対応する可能性があるイメージデータ内の情景の領域、および個人の片方または両方の目に対応する可能性があるイメージデータ内の情景の領域が、データから抽出される。個人の片方または両方の眉毛に対応する可能性がある抽出された領域が個人の片方または両方の目に対応する可能性がある抽出された領域と結合されて、合成特徴イメージがもたらされる。目の領域を表わすモデルデータに基づいて合成特徴イメージが探索されて、個人の片方または両方の目が検知される。
2005502961.tif 000002
【特許請求の範囲】
【請求項１】
個人の顔を検知するのに使用するための方法であって、
反射された赤外線範囲内の少なくとも１つの帯域幅における情景の反射光を表わすイメージデータを提供するステップと、
個人の片方または両方の眉毛に対応する可能性がある前記イメージデータ内の前記情景の領域を抽出するステップと、
前記個人の片方または両方の目に対応する可能性がある前記イメージデータ内の前記情景の領域を抽出するステップと、
前記個人の片方または両方の眉毛に対応する可能性がある前記情景の前記抽出された領域を、前記個人の片方または両方の目に対応する可能性がある前記情景の前記抽出された領域と結合して合成特徴イメージをもたらすステップと、
目の領域を表わすモデルデータに基づいて前記合成特徴イメージを探索して前記個人の片方または両方の目を検知するステップとを含む方法。
【請求項２】
反射された赤外線範囲内の少なくとも１つの帯域幅における情景の反射光を表わすイメージデータを提供するステップが、
反射された赤外線範囲内の前記第１の帯域幅における前記情景の反射光を表わす前記第１のイメージ出力を提供するステップであって、前記個人の片方または両方の眉毛に対応する可能性がある第１のイメージ出力内の情景の領域が抽出され、さらに、前記個人の片方または両方の眉毛に対応する可能性がある前記領域が、第１の帯域幅において人間の皮膚の反射率より比較的高い反射率を有することを特徴とする、ステップと、
反射された赤外線範囲内の前記第２の帯域幅における前記情景の反射光を表わす前記第２のイメージ出力を提供するステップであって、前記個人の片方または両方の目に対応する可能性がある第２のイメージ出力内の情景の領域が抽出され、さらに、前記個人の片方または両方の目に対応する可能性がある前記領域が、第２の帯域幅において人間の皮膚の反射率より比較的低い反射率を有することを特徴とする、ステップと、
を含む請求項１に記載の方法。
【請求項３】
前記第１の帯域幅と前記第２の帯域幅の間の波長が、およそ１．４ミクロンである請求項２に記載の方法。
【請求項４】
前記第２の帯域幅が、少なくともおよそ０．９ミクロンから１．４ミクロンまでの間にあり、前記第１の帯域幅が、１．４ミクロンから少なくともおよそ１．７ミクロンまでの間にある請求項３に記載の方法。
【請求項５】
前記第１のイメージ出力および前記第２のイメージ出力に基づいて背景に対して前記情景内の個人の皮膚を分離することによって顔探索領域を定義するステップをさらに含む請求項２に記載の方法。
【請求項６】
前記第２の帯域幅に対する前記第１の帯域幅における人間の皮膚に関する反射率の差が、前記第２の帯域幅に対する前記第１の帯域幅における人間の皮膚以外の前記背景内の物体に関する反射率の差よりも大きい請求項５に記載の方法。
【請求項７】
前記情景内の前記個人の皮膚を分離することによって前記顔探索領域を定義するステップが、前記第１のイメージ出力のピクセルのスペクトル電力と前記第２のイメージ出力の対応するピクセルのスペクトル電力の重み付き差分計算を行って前記ピクセルに関する重み付き差分出力をもたらすステップを含む請求項５に記載の方法。
【請求項８】
前記情景内の前記個人の皮膚を分離することによって前記顔探索領域を定義するステップが、前記ピクセルに関する前記重み付き差分出力を１つまたは複数の閾値と比較して、人間の皮膚以外の前記背景内の物体を表わすピクセルから皮膚を表わすピクセルを区別するステップをさらに含む請求項７に記載の方法。
【請求項９】
背景に対して前記情景内の個人の皮膚を分離することによって顔探索領域を定義するステップをさらに含む請求項１に記載の方法。
【請求項１０】
前記個人の片方または両方の眉毛に対応する可能性がある、または前記個人の片方または両方の目に対応する可能性がある前記イメージデータ内の前記情景の領域が、前記定義された探索領域内から抽出される請求項９に記載の方法。
【請求項１１】
前記個人の検知された片方または両方の目、および前記個人の前記分離された皮膚に基づいて前記個人の前記顔の向きまたは範囲のどちらかを検知するステップをさらに含む請求項９に記載の方法。
【請求項１２】
少なくとも片方または両方の目が検知されたかどうかに基づいて前記個人の顔の向きを検知するステップをさらに含む請求項１に記載の方法。
【請求項１３】
目の領域を表わすモデルデータに基づいて前記合成特徴イメージを探索して前記個人の片方または両方の目を検知するステップが、
目の領域を表わすモデルデータに基づいて前記合成特徴イメージを探索して１つまたは複数の目を含む領域をもたらすステップと、
前記１つまたは複数の目を含む領域内で片方または両方の目の中心を推定するステップとを含む請求項１に記載の方法。
【請求項１４】
目の領域を表わすモデルデータに基づいて前記合成特徴イメージを探索して１つまたは複数の目を含む領域をもたらすステップが、複数の個人の目と眉毛の間の関係を表わすテンプレートを前記合成特徴イメージに適用して前記１つまたは複数の目を含む領域の位置を特定するステップを含む請求項１３に記載の方法。
【請求項１５】
１つまたは複数の目を含む領域内で片方または両方の目の中心を推定するステップが、前記１つまたは複数の目を含む領域が前記個人の顔の大部分にわたる単一のブロブであるか、ほぼ同等サイズの２つのブロブであるか、または個人の顔の大部分にわたる前記単一のブロブのサイズより比較的小さいが、位置特定された他の目を含む領域よりも大きい単一のブロブであるかを特定するステップを含む請求項１３に記載の方法。
【請求項１６】
前記情景内の輝度レベルを監視して、その輝度レベルに応答して前記輝度レベルを動的に調整するステップをさらに含む請求項１に記載の方法。
【請求項１７】
個人の顔を検知するのに使用するためのシステムであって、
反射された赤外線範囲内の少なくとも１つの帯域幅における情景の反射光を表わすイメージデータを提供するように動作する少なくとも１つのイメージングデバイスと、
個人の片方または両方の眉毛に対応する可能性がある前記イメージデータ内の前記情景の領域を抽出し、
前記個人片方または両方の目に対応する可能性がある前記イメージデータ内の前記情景の領域を抽出し、
前記個人の片方または両方の眉毛に対応する可能性がある前記情景の前記抽出された領域を前記個人の片方または両方の目に対応する可能性がある前記情景の前記抽出された領域と結合して合成特徴イメージをもたらし、
目の領域を表わすモデルデータに基づいて前記合成特徴イメージを探索して前記個人の片方または両方の目を検知するように動作する処理装置とを含むシステム。
【請求項１８】
少なくとも１つのイメージングデバイスが、
反射された赤外線範囲内の第１の帯域幅の光に対する感度が高く、前記情景を表わす第１のイメージ出力を提供する第１のイメージングデバイスであって、前記個人の片方または両方の眉毛に対応する可能性がある前記第１のイメージ出力内の前記情景の領域が抽出され、さらに、前記個人の片方または両方の眉毛に対応する可能性がある前記領域が、前記第１の帯域幅において人間の皮膚の反射率より比較的高い反射率を有することを特徴とする、第１のイメージングデバイスと、
反射された赤外線範囲内の第２の帯域幅の光に対する感度が高く、前記情景を表わす第２のイメージ出力を提供する第２のイメージングデバイスであって、前記個人の片方または両方の目に対応する可能性がある前記第２のイメージ出力内の前記情景の領域が抽出され、さらに、前記個人の片方または両方の目に対応する可能性がある前記領域が、前記第１の帯域幅において人間の皮膚の反射率より比較的低い反射率を有することを特徴とする、第２のイメージングデバイスと、
を含む請求項１７に記載のシステム。
【請求項１９】
前記第１の帯域幅と前記第２の帯域幅の間の波長が、およそ１．４ミクロンである請求項１８に記載のシステム。
【請求項２０】
前記第２の帯域幅が、少なくともおよそ０．９ミクロンから１．４ミクロンまでの間にあり、前記第１の帯域幅が、１．４ミクロンから少なくともおよそ１．７ミクロンまでの間にある請求項１８に記載のシステム。
【請求項２１】
前記処理装置が、前記第１のイメージ出力および前記第２のイメージ出力に基づき背景に対して前記情景内の個人の皮膚を分離することによって顔探索領域を定義するようにさらに動作する請求項１８に記載のシステム。
【請求項２２】
前記第２の帯域幅に対する前記第１の帯域幅における人間の皮膚に関する反射率の差が、前記第２の帯域幅に対する前記第１の帯域幅における人間の皮膚以外の前記背景内の物体に関する反射率の差よりも大きい請求項２１に記載のシステム。
【請求項２３】
前記処理装置が、前記第１のイメージ出力のピクセルのスペクトル電力と前記第２のイメージ出力の対応するピクセルのスペクトル電力の重み付き差分計算を行って前記ピクセルに関する重み付き差分出力をもたらすようにさらに動作する請求項２１に記載のシステム。
【請求項２４】
前記処理装置が、前記ピクセルに関する前記重み付き差分出力を１つまたは複数の閾値と比較して、人間の皮膚以外の前記背景内の物体を表わすピクセルから皮膚を表わすピクセルを区別するようにさらに動作する請求項２３に記載のシステム。
【請求項２５】
前記処理装置が、背景に対して前記情景内の個人の皮膚を分離することによって顔探索領域を定義するようにさらに動作する請求項１７に記載のシステム。
【請求項２６】
前記個人の片方または両方の眉毛に対応する可能性がある、または前記個人の片方または両方の目に対応する可能性がある前記イメージデータ内の前記情景の領域が、前記定義された探索領域内から抽出される請求項２５に記載のシステム。
【請求項２７】
前記処理装置が、前記個人の検知された片方または両方の目、および前記個人の前記分離された皮膚に基づいて前記個人の前記顔の向きまたは範囲のどちらかを検知するようにさらに動作する請求項２５に記載のシステム。
【請求項２８】
前記処理装置が、少なくとも片方または両方の目が検知されたかどうかに基づいて前記個人の顔の向きを検知するようにさらに動作する請求項１７に記載のシステム。
【請求項２９】
前記処理装置が、目の領域を表わすモデルデータに基づいて前記合成特徴イメージを探索して１つまたは複数の目を含む領域をもたらし、
前記１つまたは複数の目を含む領域内で片方または両方の目の中心を推定する
ようにさらに動作する請求項１７に記載のシステム。
【請求項３０】
前記処理装置が、複数の個人の目と眉毛の間の関係を表わすテンプレートを前記合成特徴イメージに適用して前記１つまたは複数の目を含む領域の位置を特定するようにさらに動作する請求項２９に記載のシステム。
【請求項３１】
前記処理装置が、前記１つまたは複数の目を含む領域が前記個人の顔の大部分にわたる単一のブロブであるか、ほぼ同等サイズの２つのブロブであるか、または個人の顔の大部分にわたる前記単一のブロブのサイズより比較的小さいが、位置特定された他の目を含む領域よりも大きい単一のブロブであるかを特定するようにさらに動作する請求項２９に記載のシステム。
【請求項３２】
前記情景内の輝度レベルを監視するように動作する検知デバイスと、
その輝度レベルに応答して光源によって提供される前記輝度レベルを動的に調整する制御手段とをさらに含む請求項１７に記載のシステム。
【請求項３３】
個人の顔を検知するのに使用するための方法であって、
反射された赤外線範囲内の第１の帯域幅における情景の反射光を表わす第１のイメージ出力を提供するステップと、
反射された赤外線範囲内の第２の帯域幅における情景の反射光を表わす第２のイメージ出力を提供するステップと、
前記第１のイメージ出力および前記第２のイメージ出力に基づいて背景に対して前記情景内の個人の皮膚を分離することによって少なくとも顔探索領域を定義するステップであって、前記第２の帯域幅に対する前記第１の帯域幅における人間の皮膚に関する反射率の差が、前記第２の帯域幅に対する前記第１の帯域幅における人間の皮膚以外の前記背景内の物体に関する反射率の差よりも大きいことを特徴とする、ステップと、
前記第１の帯域幅において人間の皮膚の反射率よりも比較的高い反射率を有する前記個人の片方または両方の眉毛に対応する可能性がある前記定義された顔探索領域内の領域を抽出するステップと、
前記第２の帯域幅において人間の皮膚の反射率よりも比較的低い反射率を有する前記個人の片方または両方の目に対応する可能性がある前記定義された顔探索領域内の領域を抽出するステップと、
前記個人の片方または両方の眉毛に対応する可能性がある前記情景の前記抽出された領域を、前記個人の片方または両方の目に対応する可能性がある前記情景の前記抽出された領域と結合して合成特徴イメージをもたらすステップと、
目の領域を表わすモデルデータに基づいて前記合成特徴イメージを探索して１つまたは複数の目を含む領域の位置を特定するステップと、
前記１つまたは複数の目を含む領域内で片方または両方の目の中心を推定するステップとを含む方法。
【請求項３４】
前記第１の帯域幅と前記第２の帯域幅の間の波長が、およそ１．４ミクロンである請求項３３に記載の方法。
【請求項３５】
前記第２の帯域幅が、少なくともおよそ０．９ミクロンから１．４ミクロンまでの間にあり、前記第１の帯域幅が、１．４ミクロンから少なくともおよそ１．７ミクロンまでの間にある
請求項３３に記載の方法。
【請求項３６】
前記情景内の前記個人の皮膚を分離することによって前記顔探索領域を定義するステップが、前記第１のイメージ出力のピクセルのスペクトル電力と前記第２のイメージ出力の対応するピクセルのスペクトル電力の重み付き差分計算を行って前記ピクセルに関する重み付き差分出力をもたらすステップを含む請求項３３に記載の方法。
【請求項３７】
前記情景内の前記個人の皮膚を分離することによって前記顔探索領域を定義するステップが、前記ピクセルに関する前記重み付き差分出力を１つまたは複数の閾値と比較して、人間の皮膚以外の前記背景内の物体を表わすピクセルから皮膚を表わすピクセルを区別するステップをさらに含む請求項３６に記載の方法。
【請求項３８】
前記個人の検知された片方または両方の目、および前記個人の前記分離された皮膚に基づいて前記個人の前記顔の向きまたは範囲のどちらかを検知するステップをさらに含む請求項３３に記載の方法。
【請求項３９】
少なくとも片方または両方の目が検知されたかどうかに基づいて前記個人の顔の向きを検知するステップをさらに含む請求項３３に記載の方法。
【請求項４０】
目の領域を表わすモデルデータに基づいて前記合成特徴イメージを探索して１つまたは複数の目を含む領域をもたらすステップが、複数の個人の目と眉毛の間の関係を表わすテンプレートを前記合成特徴イメージに適用して前記１つまたは複数の目を含む領域の位置を特定するステップを含む請求項３３に記載の方法。
【請求項４１】
１つまたは複数の目を含む領域内で片方または両方の目の中心を推定するステップが、前記１つまたは複数の目を含む領域が前記個人の顔の大部分にわたる単一のブロブであるか、ほぼ同等サイズの２つのブロブであるか、または個人の顔の大部分にわたる前記単一のブロブのサイズより比較的小さいが、位置特定された他の目を含む領域よりも大きい単一のブロブであるかを特定するステップを含む請求項３３に記載の方法。
【請求項４２】
前記片方または両方の目の前記推定された中心を表わす少なくともデータを顔認識システムに適用するステップをさらに含む請求項３３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検知システムおよび検知方法に関する。より詳細には、本発明は、例えば、顔の特徴の検知のために近赤外線スペクトルを使用する検知システムおよび検知方法に関する。
【背景技術】
【０００２】
本出願は、参照により本明細書に組み込まれている２００１年９月１３日に出願した「顔検知のシステムおよび方法」という名称の米国特許仮出願第６０／３１８，７８６号明細書の恩典を主張する。
【０００３】
本発明は、全米科学財団によって授与された助成金番号ＮＳＦ／ＣＲＣＤ００８８０８６の下で米国政府によって支援されて行われた。米国政府は、本発明に一定の権利を有する。
【０００４】
多くの状況において、個人の検知は非常に重要である。例えば、多くのハイエンドのセキュリティアプリケーションにおいて、例えば、特定の環境内にいるある個人が誰であるかを知る必要がある大使館周辺の監視において、個人の検知が必要とされる。さらに、例えば、そのような検知システムおよび検知方法は、ハイエンドのセキュリティ状況において必要とされる可能性があるだけでなく、政府の建造物、学校、空港、および国境検問ポイントにおいても必要とされる可能性がある。このため、個人の検知および識別のため、例えば、距離を隔てた検知のためのシステムが、開発され、実装される必要がある。そのようなシステムは、非対称性の（例えば、テロリストの）脅威から高い価値の資産（例えば、政府の建造物周辺）を保護するという文脈において最も有利である。
【０００５】
一般に、前述したような状況において使用することができるいくつかの最近のバイオメトリック技術（例えば、特定の個人に関するあらかじめ記憶されたデータを個人のリアルタイムで収集されたデータと照合することができる顔認識システムなどの）が開発されている。しかし、そのような顔認識システムに問題がないわけではない。例えば、多くの顔認識システムは、監視される情景内に１名または複数名の個人が存在することを検知する（例えば、個人の存在の識別、および／または個人の１つまたは複数の顔の特徴の検知）ための十分な検知技術を有していない。さらに、例えば、多くの顔認識システムは、検知された個人に顔認識アルゴリズムを効果的に適用することができるように個人の顔の向き、または個人の顔の範囲をうまく特定することができない。
【０００６】
顔検知、例えば情景内の顔の検知、および／または情景内の個人の１つまたは複数の顔の特徴の検知は、顔認識アルゴリズムをうまく適用するための重要な前提条件のステップである。例えば、記憶された顔の識別特性（ｓｉｇｎａｔｕｒｅ）が、顔のイメージに調整された形で、または揃えられた形で適用されなければならない。言い換えれば、顔検知は、全体的な顔認識システムの重要な前処理段階であり、検知された個人の現在のイメージに対して個人の記憶された顔の識別特性を効果的に比較することを可能にする１つまたは複数のポイントまたは顔の特徴を顔認識システムに提供する。例えば、顔検知技術は、顔の識別特性を揃えることができるように個人のイメージ上の目の中心の位置を提供することができる（例えば、顔の識別特性の目と個人のイメージの目の整列が解析される）。
【０００７】
顔検知は、特に照光の変化の幅が大きい屋外環境において、困難を伴う機械視覚オペレーションである。そのような環境条件が、顔認識システムが一般に屋内環境におけるアクセス規制アプリケーションに制約されている主な利用の１つである。したがって、そのような顔認識技術の用途を拡大する際に対処する必要がある大きな技術上の課題は、制約のない環境において顔検知器のパフォーマンスが低いことである。
【０００８】
資料で報告されているような可視波長域の顔検知器は、固有の現象問題に対して純粋なアルゴリズム的解決策を選んでいる。人間の顔の識別特性は、可視波長域において人種全体にわたって大きく異なる。この多様性が、動的な照光条件と相俟って、手強い問題となる。可視波長域において、人工照明器の使用を介して光の変動性を減らすことは、情景内の人々の目に障る可能性があり、監視システムの存在を「広告する」ため、は、かなり具合が悪い。
【０００９】
近年、顔検知の分野においてかなりの量の研究が積み重ねられてきた。方法は様々であるが、研究は、主に次の３つの異なる手法を中心にしている。人工ニューラルネットワーク、特徴抽出、およびウェーブレット解析である。これらの手法のそれぞれは、顔検知に適用された場合、それぞれの長所と欠点を有するが、いずれも、依然として人間の近くに匹敵する結果を得ることはできていない。
【００１０】
顔検知研究の大多数は、様々なタイプの特徴抽出を中心に扱ってきた。特徴抽出方法は、顔および皮膚の様々な特性を利用して所望のデータを分離し、抽出する。一般的な方法には、皮膚色セグメント化、主成分解析、固有空間モデル化、ヒストグラム解析、テクスチャ解析、および周波数領域特徴が含まれる。
【００１１】
人工ニューラルネットワークに基づく顔検知も注目されている。この手法が抱える問題の１つは、代表的なデータセットを見出すことである。この困難は、個々のネットワークを訓練するために有力な反例セットもまとめられなければならないことでさらに悪くなる。
【００１２】
ウェーブレット法の一般的な目的は、最大限のクラス識別能および信号の次元の縮減である。より小さい次元のため、ウェーブレットベースの方法は、計算上、効率的である。
ただし、以上の手法のすべてが、可視スペクトルイメージに関連している。したがって、以上の手法は、光の変化、および可視波長域における人間の顔の外観の多様性の影響を受けやすい。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
特に困難を伴う環境条件および照光条件の下で、顔検知システムの精度を高める必要性が存在する。このため、本発明によれば、好ましくは、近赤外線スペクトルにおいて複数の波長域の特徴抽出が行われて信頼できる顔検知が提供される。言い換えれば、例えば、本発明は、複数の波長域の特徴抽出の使用、および一般化されたモデルデータの使用（例えば、ハフ変換テンプレートの使用）を伴う近赤外線現象に基づき、顔検知、例えば、人間の顔の目の位置を提供する。
【課題を解決するための手段】
【００１４】
例えば、一実施形態では、検知された皮膚領域内の顔の向きと範囲が、複数の近赤外線波長域から特徴を抽出することによって提供される。次に、合成特徴イメージ内の目の領域（例えば、人間の目と眉毛のペア）の予期される外観をモデルとする一般化されたハフ変換が、検知された皮膚領域の各ポイントにおいて適用される。一般化されたテンプレートに対する最も強い応答により、目が位置することが可能であり、被験者の目の片方または両方の中心の位置を特定することができる目のブロブイメージがもたらされることが可能である。
【００１５】
顔の識別特性は、近赤外線においてそれほど多様ではなく、このことは、そのような検知にかなりの助けとなる。さらに、近赤外線照明器を含むフィードバック制御ループを介して情景内の照明を最適レベルに維持することができる。さらに、近赤外光は、人間の目には見えないので、目障りでなく、隠密の形で顔検知を行うことができる。そのような利点と近赤外線スペクトルにおける人間の皮膚の固有の反射特性が組み合わさって、単純で信頼できるアルゴリズムベースの顔検知を可能にする。
【００１６】
本発明による個人の顔を検知するのに使用するための方法は、反射された赤外放射範囲内の少なくとも１つの帯域幅において情景の反射光を表すイメージデータを提供することを含む。個人の片方または両方の眉毛に対応する可能性があるイメージデータ内の情景領域が抽出され、その個人の片方または両方の目に対応する可能性があるイメージデータ内の情景領域が抽出される。個人の片方または両方の眉毛に対応する可能性がある抽出された情景領域が、その個人の片方または両方の目に対応する可能性がある抽出された情景領域と結合されて、合成特徴イメージがもたらされる。次に、目の領域を表わすモデルデータに基づいてその合成特徴イメージが探索されて、個人の片方または両方の目が検知される。
【００１７】
方法の一実施形態では、反射された赤外放射範囲内の第１の帯域幅における情景の反射光を表す第１のイメージ出力が提供される。個人の片方または両方の眉毛に対応する可能性がある第１のイメージ出力における情景領域が抽出される。個人の片方または両方の眉毛に対応する可能性がある領域は、第１の帯域幅において人間の皮膚の反射率よりも比較的高い反射率を有する。さらに、反射された赤外放射範囲内の第２の帯域幅における情景の反射光を表わす第２のイメージ出力が提供される。個人の片方または両方の目に対応する可能性がある第２のイメージ出力における情景領域が抽出される。個人の片方または両方の目に対応する可能性がある領域は、第２の帯域幅において人間の皮膚よりも比較的低い反射率を有する。
【００１８】
方法の別の実施形態では、例えば、第１の入力出力および第２の入力出力に基づき、背景に対する情景内の個人の皮膚を分離することにって顔探索領域が定義される。例えば、第２の帯域幅に対する第１の帯域幅における人間の皮膚に関する反射率の差が、第２の帯域幅に対する第１の帯域幅における人間の皮膚以外の背景内の物体に関する反射率の差よりも大きい。
【００１９】
方法のさらに別の実施形態では、合成特徴イメージが、目の領域を表わすモデルデータに基づいて探索されて、個人の片方または両方の目が検知される。そのような探索により、目を含む１つまたは複数の領域がもたらされることが可能であり、例えば、複数の個人の目と眉毛の間の関係を表わすテンプレートを合成特徴イメージに適用して、目を含む１つまたは複数の領域が探し出される。次に、目を含む１つまたは複数の領域内の片方または両方の目の中心を推定することができ、例えば、目を含む１つまたは複数の領域が、個人の顔の大部分にわたる単一のブロブであるか、ほぼ同等サイズの２つのブロブであるか、または個人の顔の大部分にわたる単一のブロブのサイズより比較的小さいが、探し出された目を含む他の領域よりも大きい単一のブロブであるかが特定される。
【００２０】
また、本発明による個人の顔を検知するのに使用するためのシステムも説明する。システムは、反射された赤外放射範囲内の少なくとも１つ帯域幅における情景の反射光を表わすイメージデータを提供するように動作する少なくとも１つのイメージングデバイスと、処理装置とを含む。処理装置は、個人の片方または両方の眉毛に対応する可能性があるイメージデータ内の情景領域を抽出し、その個人の片方または両方の目に対応する可能性があるイメージデータ内の情景領域を抽出し、個人の片方または両方の眉毛に対応する可能性がある抽出された情景領域を個人の片方または両方の目に対応する可能性がある抽出された情景領域と結合して合成特徴イメージをもたらし、目の領域を表わすモデルデータに基づいて合成特徴イメージを探索して個人の１つまたは複数の目を検知するように動作する。
【００２１】
システムの一実施形態では、システムは、反射された赤外放射範囲内の第１の帯域幅の光に対する感度が高い第１のイメージングデバイスを含み、情景を表わす第１のイメージ出力を提供することが可能である。個人の片方または両方の眉毛に対応する可能性がある第１のイメージ出力における情景領域が抽出される。個人の片方または両方の眉毛に対応する可能性がある領域は、第１の帯域幅において人間の皮膚の反射率より比較的高い反射率を有する。システムは、反射された赤外放射範囲内の第２の帯域幅の光に対する感度が高い第２のイメージングデバイスをさらに含み、情景を表わす第２のイメージ出力を提供することが可能である。個人の片方または両方の目に対応する可能性がある第２のイメージ出力における情景領域が抽出される。個人の片方または両方の目に対応する可能性がある領域は、第１の帯域幅において人間の皮膚の反射率より比較的低い反射率を有する。
【００２２】
システムの別の実施形態では、処理装置は、例えば、第２の帯域幅に対する第１の帯域幅における人間の皮膚に関する反射率の差を使用することなどによって第１のイメージ出力および第２のイメージ出力に基づき、背景に対して情景内の個人の皮膚を分離することによって顔探索領域を定義するようにさらに動作する。
【００２３】
システムの別の実施形態では、処理装置は、目の領域を表わすモデルデータに基づいて合成特徴イメージを探索して、目を含む１つまたは複数の領域をもたらすように、例えば、複数の個人の目と眉毛の間の関係を表わすテンプレートを合成特徴イメージに適用して目を含む１つまたは複数の領域を探し出すように動作することが可能である。次に、目を含む１つまたは複数の領域内の片方または両方の目の中心を推定することができる。
【００２４】
システムのさらに別の実施形態では、システムは、情景内の輝度レベルを監視するように動作する検知デバイスと、検知デバイスに応答して光源によって提供される輝度レベルを動的に調整する制御手段とを含む。
【００２５】
個人の顔を検知するのに使用するための別の方法も説明する。方法は、反射された赤外放射範囲内の第１の帯域幅における情景の反射光を表わす第１のイメージ出力を提供すること、および反射された赤外放射範囲内の第２の帯域幅における情景の反射光を表わす第２のイメージ出力を提供することを含む。第１のイメージ出力および第２のイメージ出力に基づいて背景に対して情景内の個人の皮膚を分離することにより、少なくとも顔探索領域が定義される。第２の帯域幅に対する第１の帯域幅における人間の皮膚に関する反射率の差は、第２の帯域幅に対する第１の帯域幅における人間の皮膚以外の背景内の物体に関する反射率の差より大きい。個人の片方または両方の眉毛に対応する可能性がある定義された顔探索領域内の領域が抽出される。個人の片方または両方の眉毛に対応する可能性がある領域は、第１の帯域幅において人間の皮膚の反射率より比較的高い反射率を有する。また、個人の片方または両方の目に対応する可能性がある定義された顔探索領域内の領域も抽出される。個人の片方または両方の目に対応する可能性がある領域は、第２の帯域幅における人間の皮膚の反射率のり比較的低い反射率を有する。個人の片方または両方の眉毛に対応する可能性がある抽出された情景領域は、その個人の片方または両方の目に対応する可能性がある抽出された情景領域と結合されて、合成特徴イメージがもたらされる。次に、目の領域を表わすモデルデータに基づいて合成特徴イメージが探索されて、目を含む１つまたは複数の領域が探し出される。次に、目を含む１つまたは複数の領域内の１つまたは複数の目の中心が推定される。
【００２６】
本発明の以上の概要は、本発明の各実施形態またはすべての実施例を説明することを意図するものではない。本発明の利点、ならびにより完全な理解は、以下の詳細な説明および特許請求の範囲を参照することで明白となり、認識されよう。本発明の他の様々な実施形態を以下の説明によって提示する。
【発明を実施するための最良の形態】
【００２７】
顔検知において、例えば、顔認識において使用するための前処理段階などにおいて使用するための方法およびシステムの様々な実施形態を図１〜２８を参照して説明する。本明細書で説明する方法およびシステムの様々な特徴および／または実施形態を組合せで使用することが可能であり、かつ／またはそのような方法およびシステムを他の検知システムと組み合わせて使用することも可能であることが認められよう。
【００２８】
例えば、本発明によるそのような組み合わせられたシステムの１つの例示的な実施形態では、個人を表わすあらかじめ記憶されたイメージファイルを獲得され、顔が検知されている現在のイメージと比較する顔認識アルゴリズムのための前処理段階として顔検知を使用することができる。他方、顔検知システムは、他の用途のための、例えば、個人をカウントすること、個人の顔の向きを特定して、その個人がある特定の物体（例えば、絵画、車、テレビスクリーン、ビデオカメラ等）に注目しているかどうかに関する情報を提供することのための前処理段階として使用されることも可能である。
【００２９】
さらに、例えば、そのような組合せのシステムおよび／または方法は、本明細書で説明する２つのカメラシステムを使用して実施することができ、あるいは別の形で提供される情景を表わすイメージデータとともに使用することもできる。
【００３０】
さらに、例えば、本発明によるシステムおよび方法のいくつかの他の実施形態では、個人または個人の顔を検知すること、および個人の目の位置を特定することは、顔探索領域を定義する皮膚を分離しても、分離しなくても行うことができる。言い換えれば、例えば、探索領域は、本明細書でさらに説明するテンプレートを適用する場合、顔の領域よりもはるかに広い可能性がある。
【００３１】
さらに、そのような方法およびシステムは、熱赤外線検知を使用するものなどの他のシステムおよび方法と組み合わせて使用することも可能である。変装を検知するために熱の、またはその他の近赤外線検知を使用することができる。同様に、可視スペクトルシステムを本明細書で説明する方法およびシステムと組み合わせて使用して検知能力を高めるようにすることができる。
【００３２】
好ましくは、本発明による本明細書で説明する顔検知の方法、装置、および／またはシステムは、図１に示した顔認識技術に関する前処理段階として使用される。図１は、ソフトウェア１８の顔認識アルゴリズム２２の適用に先立つ前処理段階においてソフトウェア１８の顔検知アルゴリズム２０を実施するようにユーザ１１の制御下で動作する個人識別システム１０を示している。
【００３３】
図２に示すとおり、図１のシステム１０で実施することができる個人識別方法５０は、監視されている情景内に存在する顔を検知すること（ブロック５２）、例えば、顔の向きおよび／または範囲を定義するのに使用するために顔の目の位置を特定することを含む。顔検知プロセスからそのような情報が入手されると、その他の顔認識アルゴリズム２２を使用することができる（ブロック５６）。
【００３４】
図３に示すとおり、顔検知は、個人の頭部に関するデータを獲得するイメージングデバイスに対して個人の頭部が様々な位置にある場合で有効でなければならない。例えば、図３に示すとおり、前を向いている被験者の頭部、ならびにほとんどの回転度を考慮しなければならない。図３で頭部が示すそのような回転度には、ｚ軸を中心とする−３５°ないし＋３５°の範囲内、ｘ軸を中心とする−３５°ないし＋３５°の範囲内、およびｙ軸を中心とする−９０°ないし＋９０°の範囲内が含まれる。
【００３５】
個人識別システム１０の顔検知プロセス５２、例えば、サブシステムは、イメージングハードウェアシステム１２と、イメージングハードウェアシステム１２によって提供されるイメージデータに顔検知アルゴリズム２０を適用するように動作するコンピュータ装置１６とを含む。顔検知アルゴリズム２０を適用した後、個人の顔を検知すると、個人の顔の少なくとも一部分を表わすイメージデータ、例えば、好ましくは、顔検知プロセスの一環として特定された情報を有する可視イメージデータ、近赤外線データ等が顔認識システムに提供される。例えば、検知された顔の目の中心を表わすデータ、および／または１つまたは複数の他の顔の特徴が顔認識システムに提供されて、監視されている情景内の現在、検知されている顔のイメージデータ表現の効果的な解析が可能になる。
【００３６】
顔認識アルゴリズム２２は、個人の識別、または個人の顔の解析のために、例えば、個人の不安を明らかにする熱解析または近赤外線解析のために使用される任意のアルゴリズムであることが可能である。図１に示した例示的な実施形態では、顔認識アルゴリズム２２は、個人を表わすデータ、例えば、顔の特徴、顔のイメージ、顔の識別特性等を記憶するための顔データユニット３２を含む。
【００３７】
顔認識アルゴリズム２２は、本明細書で説明する顔検知技術の１つまたは複数によって検知される顔に関するイメージデータを解析するための顔認識解析ツール３４をさらに含む。例えば、解析ツール３４は、顔データユニット３２の記憶されたデータを検知された顔に関して提供されたイメージデータの特徴と、例えば、個人の識別に有益で有り得る、または個人の意図、例えば、テロリスト、密輸等の評価に有益であり得る、可視イメージデータ、近赤外線イメージデータ、または任意の他のデータと比較するように動作することが可能である。
【００３８】
本明細書で説明する顔検知技術の１つまたは複数は、現在、利用可能な顔認識システムを変更するように使用すること、または現在、利用可能な顔認識システムに組み込むことができる。１つの例示的な実施形態では、技術の１つまたは複数は、Ｖｉｓｉｏｎｉｃｓ（ニュージャージー州、ジャージーシティー）から入手可能な顔認識エンジン、ＦａｃｅＩｔ−を含むシステムに組み込まれることが可能である。ＦａｃｅＩｔ−は、顔認識のために主に顔の形状に依拠するので、可視イメージにも近赤外線イメージにも同じように適用することができる。言い換えれば、ＦａｃｅＩｔ−システム内の公称の顔検知器を本発明による顔検知器で置き換えることができる。
【００３９】
本発明による顔検知プロセスの実施において様々なイメージングハードウェアシステム構成１２を使用して、情景に関する近赤外線イメージピクセルデータを提供することができる（図５に示したブロック７２）。ただし、好ましくは、図４に示すとおり、イメージングハードウェア構成１２は、複数近赤外線カメラの手法を含む。より好ましくは、システムは、入力媒体として２つのカメラ６０を使用する。カメラ６０は、好ましくは、およそ０．９ミクロンからおよそ１．７ミクロンまでの範囲内のいわゆる近赤外線スペクトルに対して感度が高い。この範囲は、図９に示し、以下に説明するとおり、明らかに赤外線スペクトルの反射された部分に入り、熱放出とまったく関連を有さない。例えば、近赤外線カメラは、ＳＵ−３２０という商品名称でＳｅｎｓｏｒｓ  Ｕｎｌｉｍｉｔｅｄから入手可能なカメラであることが可能である。
【００４０】
カメラ６０が機能するスペクトルは、ＥＭスペクトルを示す図９の反射された赤外線部分１２１の範囲内にある。可視スペクトル１２２が、従来のカメラのスペクトル感度である。残念ながら、可視光カメラは、悪天候、夜間、および直射日光などの劣悪な環境条件中に増加する雑音レベルを有する。夜間に見ることなどの一部の問題は、カメラの可視スペクトルに適合する人工照明を使用して克服することができる。しかし、これは、個人に監視されていることを知らせることになる。別の欠点は、関心の対象である人間の顔１３が、可視範囲内で一貫した品質を有さないことである。顔は、個人の生理学的な特性、ならびに照明の光度および入射角に依存して、暗くも明るくも見える。
【００４１】
熱赤外線波長域１２３が、物質の熱特性に関連している。人体は、摂氏３７度の温度にある。これは、人間の顔が、様々な顔の色にもかかわらず、熱赤外線イメージングにおいて一貫した明るい色を有することを意味し、これは、可視イメージングと反対である。
【００４２】
以下にさらに説明する１つの好ましい実施形態では、２つのカメラ６０が、垂直角に設定され、ビームスプリッタを使用して、両方のカメラ６０が同じ観点からであるが、異なる副波長域において情景を見ることが可能にされる。スプリッタは、情景から反射された光を分割して、近赤外線スペクトル内のおよそ０．９ミクロンからおよそ１．４ミクロンのより低い波長域の光線と、およそ１．４ミクロンからおよそ１．７ミクロンのより高い波長域の光線にする。２つの光線は、対応するカメラ６０の焦点面アレイ（ＦＰＡ）に注ぎ込まれる。各カメラは、フレームグラバ６２に接続され、フレームグラバ６２が、入ってくるイメージデータ、例えば、ビデオをデジタル化する。
【００４３】
フレームグラバ６２を有するコンピュータ装置１６上で実行されているソフトウェア２０の輝度モニタ構成要素３０が、イメージデータの入ってくるフレームの輝度を解析する。次に、システムは、照明源６８、例えば、近赤外線ランプを制御して情景の所望の照光を提供することができる。例えば、システムは、シリアルポートを介してコンピュータ１６に接続されたプログラマブル電源ユニット６６上で出力電圧を適切に調整することができる。電源６６は、情景に照光を行う近赤外線ランプ６８のための電力を提供する。このフィードバックを介して、システムは、外部条件にかかわらず、情景を一定の輝度に保つことができる。
【００４４】
言い換えれば、システムにコンピュータ制御された近赤外線照明源を追加して、情景内の最適な照光レベルを常に維持することができる。例えば、光度計を使用して情景の照光を検出し、照明源のコンピュータ調整の必要性を開始する信号を提供することができる。シーンを常時、照光することとは対照的に、ランプ６８は、被験者がシステムを知らずにあまりにも長い間、見つめた場合、ストロボ発光させることができる。
【００４５】
一般に、前述したようなイメージングデバイスハードウェアシステム１２によって提供される近赤外線イメージデータに対して利用できる顔検知アルゴリズム２０は、図１に示すとおり４つのユニットまたはモジュールを含む。顔検知アルゴリズム２０は、図５に示した顔検知方法５２を実行するのに使用するために利用できる。
【００４６】
顔検知方法５２は、情景に関する近赤外線イメージピクセルデータを受け取ること、または、言い換えれば、イメージングデバイスハードウェアシステム１２によって提供される近赤外線イメージデータを認識すること（ブロック７２）を含む。情景内の皮膚が、近赤外線ピクセルデータに基づいて背景に対して分離され、情景内の顔を示す（ブロック７４）。その後、情景内で皮膚が分離された場合、個人の目の探索が行われる必要がある情景領域を限定する顔探索領域または探索空間が定義される（ブロック７６）。例えば、顔の探索空間は、検知された個人の露出した顔の皮膚の輪郭を表わす探索空間を示すように様々なイメージング技術によって精密にすることができる。顔の探索空間が定義された後、目の位置特定のプロセスを適用して、定義された顔探索領域内で目の位置を特定する（ブロック７８）。
【００４７】
入力プロセスユニット２４は、好ましくは、フレームグラバ６２から高い近赤外線波長域と低い近赤外線波長域の両方に関する入力イメージを獲得するように動作する（ブロック７２）。次に、イメージが揃えられ、輝度モニタ３０および皮膚検知器モジュール２６に送られる。
【００４８】
前述した輝度モニタ３０は、情景内の現在の輝度レベルを評価し、電源６６上で電源出力を動的に調整する。図２０に示した出力電圧と対応する輝度の間の単純なマッピングにより、システムが、情景内の所望の光レベルを正確に得ることが可能になる。
【００４９】
２重の入力イメージを受け取ると、一般に、皮膚検知器モジュール２６は、イメージデータ内の皮膚を分離する一連の動作を行う（ブロック７４およびブロック７６）。例えば、皮膚検知モジュール２６の出力は、すべての皮膚が白の背景に対して黒く現れる２値イメージであることが可能である。次に、このイメージが、顔検知ソフトウェア２０の最終ユニットである顔検知器モジュール２８に送られる。
【００５０】
一般に、顔検知器モジュール２８は、顔の片方または両方の目の位置を特定し、例えば、顔の向きを特定することができるようにする。例えば、一実施形態では、２重の近赤外線イメージおよび皮膚イメージから抽出された合成特徴イメージに対してテンプレートプロセスが使用されて、目の位置の良好な近似が提供される。目および／または皮膚の位置に基づき、顔の向きおよび範囲をヒューリスティックに特定することができる。そのような特定は、例えば、以下に説明するようないくつかの既知の向き特性を使用して行うことができる。
【００５１】
例えば、検知される顔の目を分割するｚ軸に直交するｙ軸方向（図３参照）に延びる法線を定義することができる。個人がまっすぐに前方を向いている場合、一般に、法線は、検知された目の中間で等距離にある。しかし、その個人が向きを変えた場合、例えば、頭部がｙ軸を中心にわずかに回転された場合、一方の目が、他方の目よりも法線に近くなる。
【００５２】
同様に、例えば、顔面上の同じ高さの目に沿って上部領域と下部領域に顔を分割するｙ軸に直交するｘ軸方向（図３参照）で延びる法線を定義することができる。目は、一般に、顔面上のある位置にあり、例えば、顔の１／３が目より上にあり、顔の２／３が目より下に、つまり、言い換えれば、法線より下にある。個人がまっすぐに前方を向いている場合、一般に（少なくとも以上に規定した例示的な線では）、検知された皮膚の１／３が法線より上にあり、２／３が法線より下にある。しかし、その個人の頭部が前方または後方に傾いている場合、例えば、頭部がｘ軸を中心にわずかに回転されている場合、法線より上の皮膚と法線より下の皮膚の異なる比が明白となる。例えば、そのような解析を使用して、頚部に関連する検知された皮膚の部分を除去することができる。
【００５３】
好ましくは、コンピュータ装置１６は、本明細書で説明する機能をユーザに提供するソフトウェアを実行するように動作するコンピュータシステムを含む。機能は、コンピュータ装置を使用するソフトウェア実行ファイルを使用して実装することができるが、他の特化されたハードウェアが、機能、例えば、顔検知を提供することも可能である。このため、本明細書で使用されるコンピュータ装置は、様々なソフトウェアプロセスを実行することができるプロセッサなどの回路だけでなく、特化されたハードウェアも含むことが可能である。
【００５４】
例えば、コンピュータシステム１６は、任意の固定の、またはモバイルのコンピュータシステム、例えば、パーソナルコンピュータであることが可能である。コンピュータシステムの厳密な構成は、限定的ではなく、適切なコンピューティング機能を提供することができるほとんどあらゆるデバイスを本発明に従って使用することができる。さらに、コンピュータディスプレイ、マウス、キーボード、メモリ、プリンタなどの様々な周辺デバイスが、システムの処理装置と組み合わせて使用されることが企図される。
【００５５】
図５の顔検知方法５２に関する近赤外線イメージデータの受け取り（ブロック７２）にさらに関連して、そのような近赤外線イメージデータ、ならびにそのようなデータを使用して獲得することができる情報を提供する様々な例示的な実施形態を図６〜１９を参照して説明する。近赤外線スペクトルは、１９９９年９月３日に出願した「近赤外線人体検知の方法およびシステム」という名称の米国特許出願第０９／３８９，９２５号明細書、および２０００年１２月７日に出願した「近赤外線変装検知」という名称の米国特許出願第０９／７３２，２３６号で前に説明したとおり、皮膚検知の目的で特に有益である。
【００５６】
人間の皮膚は、１．４ミクロン周辺で反射率の突然の変化を示す。この現象により、低波長域の近赤外線イメージと高波長域の近赤外線イメージの重み付きの差分をとることによって非常に正確な皮膚マッピングが可能になる。皮膚検知方法または皮膚分離方法の現象的基礎の１つの有利な帰結は、人工の人間頭部または変装した頭部でシステムを欺くことができないということである。
【００５７】
図６は、人間、例えば、人間の顔の領域を検知すること、および／または個人の顔の皮膚を分離することに使用するための近赤外線融合システム１１０の基本的レイアウトを示している。これは、二重波長域イメージングシステムである。２つの共同で位置合わせされたカメラ１１１と１１２が、例えば、情景内にいる人間の顔１３のイメージを検出する。カメラ１１１は、好ましくは、およそ少なくとも０．８ミクロンから１．４ミクロンまでのスペクトル感度を有する。カメラ１１２は、１．４ミクロンから少なくともおよそ２．２ミクロンまでのスペクトル感度を有する。わずかにより短い範囲、またはわずかにより長い範囲も許容できる検知結果をもたらすことが可能である。スペクトル感度の２つの波長域の中間における１．４ミクロンの閾値点が、２重波長域システム１１０に関する好ましい分界点であるが、適宜、別の値であることも可能である。カメラ感度波長域範囲のそれぞれは、システム１１０の人間検知能力または皮膚検知能力を低下させることなく、１．４ミクロンの波長をいくぶん超えることが可能である。
【００５８】
カメラ１１１および１１２からのイメージング信号の品質は、カメラ１１１および１１２によって走査されている情景に、目に安全な近赤外線照明器１１４を使用して照光が行われていることが可能なため、曇った日や夜間でも高く保たれる。目は、近赤外線スペクトルを感知しないので、システム１１０は、検知モードになっているか否かにかかわらず、常時、隠密に保たれることが可能である。理想的には、低波長域範囲（例えば、０．８ミクロンから１．４ミクロンまでの）におけるカメラは、イメージ増倍管でなければならない。したがって、照明器のスペクトル放出仕様は、高波長域範囲（例えば、１．４ミクロンから２．２ミクロンまでの）に適合するだけでよい。近赤外線カメラ１１１および１１２は、かすみがかった天候などの悪天候条件においても明瞭なイメージング信号を提供する。以上の特定の検知赤外線波長域および照明赤外線波長域により、フロントガラス、側窓、霧、および暗闇を十分に光が透過することが可能になる。これにより、様々な状況における、例えば、ガラス越し、車両内、夜間、および悪天候における人間の十分な検知が可能になる。
【００５９】
カメラ１１１および１１２のイメージ出力１１５および１１６はそれぞれ、２つのカメライメージの輝度の重み付き減算を行うことによって出力を融合させる重み付き差分ソフトウェアプロセス１１７または特化ハードウェアに送られる。この重み付き差分のソフトウェアまたはハードウェアは、融合器と呼ぶことができる。カメラ出力のそのような融合により、結果の融合されたイメージ内の顔１３およびその他の露出した人間の皮膚の輪郭が強調される。また、カメラによってカバーされる情景の背景が縮小されることが、イメージの特色となっている。融合されたイメージ内の個人と背景の間のこのより高いコントラストにより、ソフトウェアプロセス１１８、または特化ハードウェアによる閾値処理を介して、基本的に完全なイメージセグメント化が可能になる。この閾値処理のソフトウェアまたはハードウェアは、閾値処理器と呼ぶことができる。閾値処理器１１８の出力は、ディスプレイ１１９、プリンタ、あるいはポストプロセスまたは特化ハードウェアに送られることが可能である。
【００６０】
最終の処理済みのイメージは、図６に示すとおり、顔１３などの露出した皮膚部分を２値ブロブ１３’として示す。検出された顔１３の背景１２０は、ディスプレイ１１９における空白の背景１２０’で示されるとおり、無視される。言い換えれば、顔の皮膚を表わす顔１３’の輪郭のはっきりした２値イメージにより、情景内の顔の存在の信頼できる検知が確実になる。
【００６１】
図７Ａは、カメラ１１１と１１２の共同の位置合わせを示している。カメラ間で空間的位置合わせ、および時間的位置合わせが行われる。カメラは、同じ型の同じモデルであることが可能である。カメラ間の必要な違いは、光学帯域幅フィルタ、１４８および１４９であり、フィルタ１４８および１４９は、カメラ１１１の検出アレイ１４６とカメラレンズ１５８の間、およびカメラ１１２の検出アレイ１４７とカメラレンズ１５９の間にそれぞれ配置される。フィルタ１４８により、カメラ１１１内のアレイ１４６の０．８ミクロンから１．４ミクロンまでのスペクトル感度が決まり、フィルタ１４９により、カメラ１１２内のアレイ１４７の１．４ミクロンから２．２ミクロンまでのスペクトル感度が決まる。
【００６２】
カメラ１１１のレンズ１５８の前、およびカメラ１１２のレンズ１５９の前に偏光子を挿入することができる。代わりに、カメラ１１１のレンズ１５８とアレイ１４６の間、およびカメラ１１２のレンズ１５９とアレイ１４７の間に偏光子を挿入してもよい。カメラの検出アレイ１４６および１４７は、同じサイズ、例えば、ガリウムひ素基板の５１２×５１２ピクセルである。
【００６３】
通常、視界は、各アレイに関して同一である。例えば、３つのピクセル、１５１、１５２、および１５３が、空間的共同位置合わせのために選択される。３つのピクセルのそれぞれが、カメラ１１１および１１２によって見られるイメージ１２０の対応する部分１５１’、１５２’、および１５３’にそれぞれ焦点を合わされる。これは、アレイが、スペクトル感度は異なるものの、ピクセル単位で（ｐｉｘｅｌ  ｆｏｒ  ｐｉｘｅｌ）同じイメージを有することを意味する。言い換えれば、ピクセルの列と行が、ピクセル単位で物理世界の情景と揃えられる。空間的に共同位置合わせが行われると、カメラ１１１と１１２は、物理世界に対して静止状態に保たれる。
【００６４】
カメラの時間的位置合わせとは、信号から見てカメラが互いに同期していることを意味する。２つの対応するピクセルのそれぞれに関する信号が同時にフレームバッファに送られる。各ピクセルに関する光の保持は、マイクロ秒範囲内にある。通常、フレーム時間は、およそ３３ミリ秒であり、これは毎秒３０フレームである。ピクセルデータの転送は、パラレル式であること、ラインごとであること、またはシリアル式であること、ピクセルごとであること、または任意の他のスタイルの情報転送であることが可能である。時間的位置合わせを開始し、維持する同期信号がカメラ１１１および１１２に関して存在する。
【００６５】
イメージ出力またはピクセル信号１１５および１１６は、ピクセルのそれぞれにある重み付けを与え、カメラ１１１および１１２それぞれからの対応するピクセルのペアを融合して単独のピクセルにするソフトウェアプロセスまたは特化ハードウェア１１７に送られる。重み付き差分化が、ピクセルごとに行われる。それぞれの結果が、２つの重み付きの差分化されたピクセルの融合ピクセルである。そのような融合に関する重みの差の数式は、
Ｐ（ｉ，ｊ）融合＝Ｐ（ｉ，ｊ）低波長域−Ｃ＊Ｐ（ｉ，ｊ）高波長域
であり、Ｐはスペクトル電力である。それぞれのイメージ内の各ピクセルの位置または場所は、行（すなわち、「ｉ」）と列（すなわち、「ｊ」）で特定される。カメラ１１１のイメージのピクセルの行と列とカメラ１１２のイメージのピクセルの行と列は、互いに一致する。低波長域ピクセルは、カメラ１１１からのピクセルであり、高波長域ピクセルは、カメラ１１２からのピクセルである。ｉ，ｊにおける各ピクセルに関するスペクトル電力「Ｐ」は、例えば、８ビットの解像度の場合、０から２５５までの輝度の数値スケールで表わされる。「０」は完全に黒いか、完全に暗く（すなわち、スペクトル電力なし）、「２５５」は、完全に白いか、または完全に明るい（すなわち、全スペクトル電力）。０と２５５の中間の数値表示は、もちろん、グレー、輝度、またはスペクトル電力の様々な階調を表わす。数式の「Ｃ」は定数（すなわち、重み付け係数）であり、この定数は、背景または情景１２０および物体または顔１３の照光に従って決まる。日中の照光条件に関する「Ｃ」は、最適結果のためにおよそ３である。夜間に関する「Ｃ」は、人工照明器１１４のスペクトル分布および特性に依存する。
【００６６】
低波長域（イメージ１４６）の通常のピクセルの輝度またはスペクトル電力は、５５であることが可能であり、高波長域（イメージ１４７）の対応する通常のピクセルの輝度またはスペクトル電力は、１０であることが可能である。以上の高波長域ピクセル値と低波長域ピクセル値は、対応する波長域における皮膚を表わす。日中の行ｉと列ｊの位置における日中に見る際の結果の通常の融合ピクセルのスペクトル電力は、以下の計算で算出される。
Ｐ（ｉ，ｊ）融合＝５５−３＊１０
Ｐ（ｉ，ｊ）融合＝５５−３０＝２５
【００６７】
融合ピクセル信号は、融合ピクセルの閾値処理を介するイメージセグメント化のために、ソフトウェアプロセスまたは特化ハードウェア１１７からソフトウェアプロセスまたは特化ハードウェア１１８に送られる。プロセスまたは特化ハードウェア１１８は、ある閾値（Ｔ）を下回る各融合ピクセルに０の値（Ｖ１）が割り当てられ、その閾値を上回る各融合ピクセルに２５５の値（Ｖ２）が割り当てられることで、比較器のような回路をエミュレートする。
【００６８】
図８は、融合ピクセルのイメージフレームのヒストグラムを示している。各スペクトル電力値に関するピクセル数が、所与の検出されたイメージに関して曲線１５４および１５５で示されている。曲線１５４のピクセルの曲線は、背景１２０を表わし、曲線１５５のピクセルは、人間の皮膚１３を表わす。曲線１５４と１５５は、閾値処理のための適切な値と考えられる１５６で交差する。曲線１５４と１５５が交差しない場合、閾値処理の値１５６は、曲線１５４と１５５の間の中央に位置付けられる。閾値は、フレームごとに変わるということで動的であり、それぞれのフレームのヒストグラムに従って各イメージフレームに関して決定される。閾値処理のためのスペクトル値が２０である場合、２０を下回る値を有する融合ピクセルに０の値が与えられ、２０を上回る値を有する融合ピクセルに２５５の値が与えられる。ディスプレイ１１９における結果のイメージは、背景１２０’に対して白のピクセルを有し、顔１３’に対して黒のピクセルを有する。このイメージは、背景１２０’が黒のピクセルを有し、顔１３’が白のピクセルを有するように、プロセスまたは特化ハードウェア１１８によって逆転されることが可能である。
【００６９】
図７Ｂは、カメラ１１１と１１２の共同位置合わせに関する代替の実施形態を示している。図７Ｂに示すとおり、光学デバイス１５７、例えば、ビームスプリッタ／フィルタデバイスを使用してカメラの共同位置合わせが提供される。セットアップは、基本的に、図７Ａに示したのと同じであるが、カメラ１１１内およびカメラ１１２内でフィルタ１４７、１４８が提供されていないことが異なっている。代わりに、光学デバイス１５７による濾波が提供されている。
【００７０】
図７Ｂに示すとおり、光の点１５１〜１５３で表わすとおり、環境からビームスプリッタ／フィルタ光学デバイス１５７を経由して２つの近赤外線カメラ１１１および１１２に達する。ビームスプリッタ／フィルタ光学デバイス１５７は、特定の角で最適に機能するコーティングを有する光学デバイスである。ビームスプリッタ／フィルタ光学デバイス１５７は、１．４ミクロンを下回る波長を有する光（すなわち、低波長域）をカメラ１１１に向かわせ、１．４ミクロンを上回る波長を有する光（すなわち、高波長域）を他方のカメラ１１２に向かわせる。カメラ１１１、１１２は、好ましくは、ビデオ情報を処理するためにコンピュータに接続される。ただし、コンピュータデバイスに対する代替として、または追加として別の電子デバイス、または人間の操作者を使用してもよい。低波長域と高波長域は、ビームスプリッタ／フィルタ光学デバイス１５７の感度またはカメラ１１１、１１２の感度を限界とする。例えば、低波長域は、０．８ミクロンから１．４ミクロンまでであることが可能であり、高波長域は、１．４ミクロンから２．４ミクロンまでであることが可能である。ただし、他のいくぶん異なる範囲でもうまく行く可能性がある。
【００７１】
ビームスプリッタ／フィルタ光学デバイス１５７は、各時点で、システムのハードウェアレベルにおいて低波長域と高波長域の２つの共同で位置合わせされたフレームを提供する。したがって、図７Ｂを参照して前述した実施形態の場合のように、時間的位置合わせを実現する時間のかかる、一般に複雑なソフトウェアはまったく必要とされない。
【００７２】
カメラ１１１および１１２が機能するスペクトルは、本明細書で前述したとおりＥＭスペクトルを示す図９の反射された赤外線部分１２１の範囲内にある。図１０は、汚れのない車両フロントガラス（曲線１２４）および汚れたフロントガラス（曲線１２５）に関する０．４ミクロンから２．８ミクロンまでの間の赤外線の透過特性を明らかにしている。２．８ミクロンの熱赤外線帯域幅２３を超えると、フロントガラスの放射透過特性は、ほとんどゼロである。車両の薄い色のついた側窓の透過率は、図１１の曲線１２６で明らかにされるとおり、０．３ミクロンから最高２．８ミクロンまでにおいて良好である（５０％ないし８５％）。２．８ミクロンから４．３ミクロンまでの間では、放射透過率は、車両の側窓に関しておよそ２０％である。４．３ミクロンを超えると、透過率は、ほぼゼロに低下する。ただし、側窓のスペクトルに関する挙動は、いくらかの熱放射の透過を許す。そのような情報に鑑みて、近赤外線スペクトルを使用する本発明の顔検知は、ガラス障壁の背後の、例えば、チケットブース、空港のガラス障壁等の背後の個人の検知のために使用することが可能であることが理解できよう。
【００７３】
図１２の曲線１２７および１２８は、色白の白人男性および色黒の白人男性それぞれに関する赤外光の反射率のパーセンテージを示している。反射率は、０．６ミクロンから１．４ミクロンまでの間で良好である。１．４ミクロンを超えると、反射率は相当に低下する。ただし、色白の顔色と色黒の顔色の反射率の差は、きわめて小さい。
【００７４】
図１３で、曲線１２９および１３０は、アジア人男性のそれぞれ色白の顔色と色黒の顔色に関する皮膚の反射率を示している。図１４の曲線１３１および１３２は、黒人男性の色白の顔色と色黒の顔色に関する皮膚の反射率を示している。色白の顔色の反射率は、色黒の顔色の反射率より高いものの、図１２〜１４それぞれの曲線１２７、１２８、１２９、１３０、１３１、および１３２は、同様の形状を有し、１．４ミクロン付近で曲線のすべてが低下している。これらの反射率は、０．６ミクロンから１．４ミクロンまでの間で、白人男性、アジア人男性、および黒人男性のすべての顔色に関していくらかの変動を示している。
【００７５】
図１５の曲線１３３および１３４は、色白の皮膚と色黒の皮膚それぞれのより極端な差に関する反射率を示している。色白の皮膚と色黒の皮膚の反射率は、１．４ミクロンまでかなり高い。１．４ミクロンの後、色白の皮膚と色黒の皮膚それぞれに関する反射率曲線１３３および１３４は、ほとんど一致し、結果の反射率は、２０パーセントを下回って低下する。したがって、１．４以上の近赤外線波長域では、すべての種類の皮膚の色合いの検知された人間の反射率は、１．４ミクロンより大きい波長においてほぼ同じである。
【００７６】
図１６で、曲線１３５、１３６、および１３７が、綿、木材、およびポリアミドそれぞれに関する反射率が、０．６ミクロンから１．４ミクロンまでの間だけでなく、１．４ミクロンを超えても相当に高いことを示している。１．４ミクロン閾値点後の反射率の低下が取るに足りないことが、人間の顔、例えば、皮膚と、無生物の物体、例えば、背景である室内装飾用品、ダッシュボード、および車両の布地などの背景との間で反射率の大きいコントラストを示す基礎であり、１．４ミクロンから２．２ミクロンまでの範囲内で人間の顔、例えば、皮膚の容易な検知を可能にする。
【００７７】
したがって、１．４ミクロンから２．２ミクロンまでの範囲で動作するカメラから、白人男性のイメージとダミーの頭部および／または背景のイメージとの間で反射率に相当なコントラストが存在する。ダミーのイメージは、反射率が高く、かなり明るく見え、男性の人間イメージは、暗く、したがって、２つのイメージ間の結果のコントラストはかなり際立っている。
【００７８】
この個人検知、例えば、皮膚検知のスキームは、可視光イメージングと比べてはるかに優れている。というのは、可視光イメージングのスキームは、白人と同様の色のダミーの頭部との間でほとんど、またはまったくコントラストを示さないからである。要約すれば、１．４ミクロンから２．２ミクロンまでの範囲のイメージにおいて人間の頭部のイメージをダミーの頭部のイメージと区別することは容易であるが、０．８ミクロンから１．４ミクロンまでの範囲のイメージにおいてそれぞれの頭部のイメージを互いに区別することは容易でない。
【００７９】
１．４ミクロンから２．２ミクロンまでのスペクトル範囲に関する人間の皮膚の低い反射率は、図１７の曲線１３８で示した蒸留水のスペクトル反射率によって説明することができる。１．４ミクロン付近で反射率の相当な低下が存在する。１．４ミクロンを超えると、水は、相当な赤外線を吸収し、イメージ内で暗い物体として見える。人体の組成は、本来、７０パーセントの水から成るので、人体のスペクトル応答は、水のスペクトル応答と同様である。したがって、１．４ミクロンから２．２ミクロンまでの範囲で動作するカメラ１１２は、この固有の人体を区別する要因を捕捉する。カメラ１１２の動作範囲で、夜間に適合する近赤外線照明源１１４を安全に使用して、顔１３の検出されたイメージの品質を向上させることができる。この光は、人間の目には見えないだけでなく、照明器１１４の波長が１．４ミクロンの安全閾値を超えているので、人間の目に無害でもある。
【００８０】
さらに、いくつかの前の図面を参照し、図１８〜１９も参照すると、近赤外線スペクトルの高波長域における自然の人体構造（例えば、自然の皮膚および毛髪）の反射特性が描かれている。例えば、そのような特性を皮膚の検知、あるいは背景からの、または皮膚に関連する他の人工材料からの皮膚の分離のために使用することができる。
【００８１】
人間の皮膚は、図１２〜１５を参照して本明細書で前述したとおり、近赤外線スペクトルの高波長域（すなわち、近赤外線スペクトルにおける１４μｍ以上）で極めて低い反射率を有する。この図１２〜１５は、人間の皮膚が０．６ミクロンから１．４ミクロンまでの間で高い反射率を有することを示した。しかし、１．４ミクロンを超えると、反射率は大幅に低下する。通常の情景内のそれ以外のほとんどすべてのものが、１．４μｍより大きい近赤外線スペクトルの高波長域でより高い反射率を有するので、人間の皮膚、例えば、頭部および頚部と背景の間で鮮明なコントラストが存在する。
【００８２】
さらに、図１２〜１５で示すとおり、皮膚の反射率特性、すなわち、近赤外線スペクトルの高波長域において１．４ミクロンを超えると人間の皮膚の反射率が大幅に低下することは、人種全体にわたって普遍的であり、例えば、白人、アジア人、および黒人の個人を比較した場合、近赤外線スペクトルの高波長域において１．４ミクロンを超えると、そのような反射率特性の違いはほとんど存在しない。例えば、図１０が、白人男性に関する１．４ミクロンにおける、またはその付近の反射率の低下を示し、図１１が、アジア人男性に関するそのような低下を示し、図１２が、黒人男性に関するそのような低下を示し、図１３が、色白の皮膚と色黒の皮膚の極端な差に関する低下を示している。このため、本明細書で前述したとおり、１．４以上の近赤外線波長域では、すべての種類の皮膚の色合いの検知された人間の自然の皮膚の反射率は、１．４ミクロンより大きい波長においてほぼ同じである。
【００８３】
自然の皮膚とは対照的に、人間の毛髪、すなわち、自然の毛髪は、１．４を超える近赤外線スペクトルの高波長域において非常に反射率が高い。そのような反射率も、人種全体にわたって普遍的な特性である。１．４ミクロンを超える近赤外線スペクトルの高波長域における人間の毛髪の反射率が非常に高いという性質を図１８で全体的に示している。図１８では、近赤外線スペクトルの少なくとも一部分における自然の人間の毛髪の反射率図を示している。自然の人間の毛髪試料に対する３回の別々の反射率測定により、図に示す高い反射率の特性がもたらされた。
【００８４】
自然の人間の毛髪の高い反射率との対照で、人間の毛髪のヘアピース（本明細書で後に定義する人工材料）の反射率図を図１９に示している。これは、近赤外線スペクトルの高波長域における個人の目に関しても当てはまる。図１９に示すとおり、近赤外線スペクトルの高波長域において、反射率は、自然の毛髪と比べてはるかに低い。かつらにはめ込むように真正の人間の毛髪を使用した場合でも、かつらを作成する際に使用される化学処理のために、反射特性が変化している。真正の人間の毛髪のかつらを真正の自然の人間の毛髪と比較した場合の反射率の差の方がはるかに微妙であるが、それでも、そのような反射率の差は、相当に大きく、容易に捕捉することができる。
【００８５】
さらに、変装で使用され、以下に全体的に定義する材料（厚化粧、人工の顔の部分、増毛等）などの様々な人工材料の反射率は、通常、１．４ミクロンを超えたところで、相当に高い反射率を有する。例えば、図１６に示し、本明細書で前述したとおり、綿、木材、およびポリアミドに関する反射率特性は、１．４ミクロンの点の後、反射率が大幅に低下することはない。
【００８６】
以上に鑑みて、自然の人間の皮膚と他の人工材料の間で反射率特性の相当なコントラストが存在することを理解することができる。例えば、近赤外線スペクトルの高波長域における人間の毛髪と人間の皮膚の間、ならびに近赤外線スペクトルの低波長域における顔の目と人間の皮膚の間で相当な違いが存在する。近赤外線スペクトルにおける反射率特性のそのようなコントラストにより、本発明による顔検知の動作が可能になる。
【００８７】
さらに、本明細書で前述したとおり、高い近赤外線波長域と低い近赤外線波長域の両方における放射が、車両の窓ガラスを透過することが可能である。したがって、これは、可視スペクトルと熱赤外線スペクトルの両方と比べて明確な利点である。このため、近赤外線スペクトルの高波長域を使用する本発明は、ガラス越しにでも皮膚を検知し、分離することができる。
【００８８】
本発明による皮膚検知器モジュール２６は、図５の顔検知方法５２のブロック７４に全体的に反映されるとおり、近赤外線スペクトルの低波長域と高波長域の少なくとも一部分を使用して、監視されている情景内で背景に対して皮膚を分離する。本明細書の使用によれば、使用される近赤外線スペクトルの高波長域の部分には、１．４ミクロンから少なくともおよそ１．７ミクロンまでの範囲内の一部分が含まれる。本明細書で前述したとおり、２．８ミクロンで、熱エネルギーが現れはじめる。本明細書の使用によれば、近赤外線スペクトルの低波長域の部分には、少なくともおよそ０．９ミクロンから１．４ミクロンまでの範囲内の一部分が含まれる。
【００８９】
わずかにより短い範囲、またはわずかにより長い範囲も、許容できる検知結果をもたらすことが可能であることが、当分野の技術者には認められよう。例えば、前述した範囲に関して、許容できる検知結果をもたらすことが可能なそのような波長値からの偏差は、指定される範囲内に入ることが企図される。例えば、低波長域は、０．６ミクロンまで拡張されることが可能であり、高波長域は、２．４ミクロンまで拡張されることが可能である。
【００９０】
さらに、本明細書の使用によれば、背景には、情景内の品目または材料などの、自然の皮膚および／または自然の毛髪以外のあらゆる材料が含まれる。例えば、ポリマー、繊維などの１つまたは複数の人工材料または無生物の物体から形成されたかつら、化粧材料、人工ノーズピースが、本明細書で、背景材料と呼ばれる。さらに、背景の物体、例えば、車の背後の人物、個人の衣服等も、本明細書で人工材料と呼ばれる。
【００９１】
図５に全体的に示す顔検知方法５２の皮膚分離プロセス（ブロック７４）の１つの好ましい実施形態は、前述した概念を使用して実行することができる。２つの近赤外線イメージ（すなわち、高波長域イメージと低波長域イメージ）の融合に関するピクセルマッピングは、好ましくは、前述したとおりであり、以下のとおりである。
Ｐ（ｉ，ｊ）融合＝Ｐ（ｉ，ｊ）低−ｆ＊Ｐ（ｉ，ｊ）高
ただし、Ｐ（ｉ，ｊ）ｘは、それぞれのイメージｘ内の位置（ｉ，ｊ）におけるピクセル値であり、ｆは、使用される重み係数（定数Ｃとして前掲の）である。例えば、実験を通じて、ｆの最適に近い値が、＝１．３８であることを特定することができる。前述した重み付き減算操作により、イメージデータ内の人間の皮膚と背景の間のコントラストが相当に大きくなる。
【００９２】
重み付き減算プロセスに続き、閾値処理操作が適用される。当分野の技術者には周知のとおり、様々な閾値処理技術が使用されている。暗い領域と明るい領域の許容できるセグメント化を可能にする任意の適切な閾値処理プロセスを本発明に従って使用することができる。一般に、そのような閾値処理プロセスは、反射を表わすデータを１つまたは複数の閾値処理の値と比較する。そのような値は、自然の皮膚、自然の毛髪、背景等の反射特性などの様々な要因に基づくことが可能である。例えば、Ｏｔｓｕによる「Ａ  Ｔｈｒｅｓｈｏｌｄ  Ｓｅｌｅｃｔｉｏｎ  Ｍｅｔｈｏｄ  ｆｒｏｍ  Ｇｒａｙ−Ｌｅｖｅｌ  Ｈｉｓｔｏｇｒａｍｓ」という名称の論文、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｓｙｓｔｅｍｓ、Ｍａｎ  Ａｎｄ  Ｃｙｂｅｒｎｅｔｉｃｓ、Ｖｏｌ．ＳＭＣ−９、Ｎｏ．１、Ｊａｎｕａｒｙ  １９７９に記載される閾値処理プロセスを本発明に従って使用することができる。閾値処理プロセスは、一般に、閾値選択のノンパラメトリック式の教師なしの方法にかかわる。グレーレベルにおける結果のクラスの分離しやすさを最大化するように最適閾値が選択される。アルゴリズムは、グレーレベルヒストグラムのゼロ次累積モーメントおよび１次累積モーメントだけを利用する。システムの速度は、一つには閾値処理プロセスの理由で、ユーザにリアルタイムイメージを提供することができる。
【００９３】
皮膚分離プロセスを図２２ａ〜２２ｄに示している。図２２ａは、皮膚が非常に高い反射率を有する低い近赤外線波長域のイメージを示し、図２２ｂは、皮膚が、上部の低波長域における高い皮膚の反射率と比べた場合、比較的低い反射率を有する高い近赤外線波長域のイメージを示している。重み付き減算イメージを図２２ｃに示しており、このイメージは、皮膚と背景の間でより鮮明なコントラストを提示している。さらに、閾値処理アルゴリズムの適用に続いて、図２２ｄの２値イメージが得られる。
【００９４】
以下にさらに説明するとおり、個人の目を探索することができる顔探索領域を表わす閾値処理されたイメージを得た後、探索領域を縮小するように２値イメージに関してさらなる定義を与えることができる。これにより、顔探索領域内のピクセルに他のアルゴリズムを適用する際、処理時間の節約がもたらされることが可能である。
【００９５】
例えば、図２２ｅ〜２２ｈに示し、図２１に関連して説明したとおり、そのようなさらなる定義処理には、背景に対して分離された皮膚に関するイメージピクセルデータ、例えば、図２２ｄに示す２値イメージ（ブロック８０）を提供することが含まれる。その後、イメージデータに対して開く操作と閉じる操作が実行されて、皮膚の表現、または皮膚の輪郭が平滑化される（ブロック８２）。言い換えれば、２値イメージは、一連の形態上の操作を受ける。
【００９６】
例えば、開く操作は、皮膚領域の外形を平滑化し、狭い峡部を分離し、小さい島および鋭いピークまたはケープを除去する。開いたイメージを図２２ｅに示している。閉じる操作は、狭い断絶および長く細い裂け目を融合し、小さい穴を除去し、外形上の間隙を埋める。閉じたイメージを図２２ｆに示している。このような開く技術および閉じる技術は、イメージ処理分野の技術者には周知である。
【００９７】
さらに、拡張アルゴリズムおよび侵食アルゴリズムの適用を使用して小さいイメージの詳細の除去をもたらすことができる（ブロック８４）。そのような技術も当分野の技術者には周知である。拡張されたイメージを図２２ｇに示し、侵食されたイメージを図２２ｈに示している。
【００９８】
いくつかの異なるイメージ処理技術を説明してきたが、顔探索領域をさらに定義するのに使用することができるその他の技術が存在する可能性がある。この定義された探索領域により、検知された顔の範囲を定めるためのデータが提供される。
【００９９】
顔探索領域が情景内の皮膚の分離を介して以上のとおり定義されると、顔検知方法５２の目の位置特定のプロセス７８を定義された領域内に入るピクセルに適用することができる。ただし、目の位置特定のプロセスは、個人の目の位置特定を行う顔探索領域をまったく定義せずにはるかに広い領域に適用することもできることを認識されたい。ただし、好ましくは、背景に対して皮膚が分離されて、目の位置特定のプロセス７８を適用するより小さい領域が提供される。
【０１００】
顔検知方法５２、特に目の位置特定プロセス７８の主な目的は、検知された個人の顔１３の向きおよび広がりを特定することである。この目的は、図２３〜２８を参照して示し、説明する例示的な実施形態に関連して説明するとおり、好ましくは、定義された顔探索領域内で、顔の片方または両方の目の位置を探し出すことによって達せられる。
【０１０１】
顔検知方法５２は、顔認識システムにいくらか役立つ情報を提供するために、少なくとも片方の目の位置を正確に特定しなければならない。本発明の大きな長所は、前述したＥＭスペクトルの近赤外線波長域において皮膚、目、および毛髪が示す現象を活用することである。
【０１０２】
顔検知方法５２、特に目の位置特定プロセス７８は、一般に、３ステップ手法を使用して図２３に示すとおり片方または両方の目の位置を特定する。定義された顔探索領域に関するイメージデータ、例えば、図２２ａおよび２２ｂにそれぞれ示した高波長域の近赤外線イメージおよび低波長域の近赤外線イメージ、ならびに図２２ｈに例示した皮膚検知器モジュールからの出力イメージを受け取ると（ブロック９０）、抽出プロセス９１が行われる。抽出プロセス９１は、眉毛（例えば、図２６ａ参照）および目（例えば、図２６ｂ参照）である可能性が高い高域近赤外線イメージおよび低域近赤外線イメージを抽出する。次に、眉毛の特徴である可能性が高い抽出された領域と目の特徴である可能性が高い抽出された領域が融合されて合成特徴イメージ（例えば、図２６ｃ参照）になる。
【０１０３】
その後、目の領域を表わすモデルデータ、例えば、複数の個人の顔の特性を一般に表わす標準化されたデータに基づいて合成特徴イメージが探索されて（ブロック９８）、目を含む領域の位置が特定される。次に、位置特定された目を含む領域内で顔の片方または両方の目の中心が推定される（ブロック１００）。
【０１０４】
１つの例示的な顔検知方法５２、特に目の位置特定プロセス７８をさらに詳細に説明する。最初に、目の位置特定プロセス７８は、眉毛である可能性が高い高域近赤外線イメージ内および低域近赤外線イメージ内の領域を抽出すること（ブロック９２）、ならびに目である可能性が高い高域近赤外線イメージ内および低域近赤外線イメージ内の領域を抽出すること（ブロック９４）をそれぞれ含む。この抽出は、高近赤外線波長域および低近赤外線波長域における人間の毛髪および皮膚の固有反射率特性を利用することによって達せられる。
【０１０５】
高近赤外線波長域では、眉毛の毛は、人間の皮膚の極めて低い反射率と比べて顕著になる。眉毛抽出に適切であることが判明した閾値は、以下のとおりである。
ただし、    は、眉毛閾値関数であり、    は、位置における高域近赤外線イメージのピクセル値である。
【０１０６】
低近赤外線波長域では、人間の皮膚の極めて高い反射率と比べて目が顕著になる。目抽出に最も適切であることが判明した閾値は、以下のとおりである。
ただし、    は、閾値関数であり、    は、位置における低域近赤外線イメージのピクセル値である。
【０１０７】
図２６ａは、閾値を満たす他の領域とともに抽出された少なくとも片方の眉毛領域４００を示している。さらに、図２６ｂは、閾値を満たす他の領域とともに抽出された少なくとも片方の目４０２を示している。
【０１０８】
次に、抽出された眉毛特徴イメージと目特徴イメージが融合されて合成特徴イメージになる（ブロック９６）。図２６ｃに示すとおり、黒の領域が眉毛である可能性が高い領域を表わし、グレーの領域が目である可能性が高い領域を表わし、白の領域が残りすべての領域を表わす３レベルイメージが提示される。
【０１０９】
図２６ｃで見て取ることができるとおり、実際の眉毛領域４００および目領域４０２は、互いに非常に近接している。この関係を使用して、合成イメージを探索するのに以下にさらに説明するテンプレートプロセスを適用して、モデル目領域データに基づいて目を含む領域を位置特定することができる（ブロック９８）。
【０１１０】
探索方法９８の１つの例示的な実施形態を図２４を参照して説明する。図２４に示すとおり、探索方法９８は、抽出された領域を含む合成イメージを表わすイメージデータを受け取ること（ブロック２００）を含む。目および眉毛の位置を表わすテンプレートモデル、例えば、複数の個人にわたって正規化されたテンプレートが、抽出された領域を含む合成特徴イメージに適用される（ブロック２０２）。例えば、テンプレートは、人体構造の制約を所与として、合成特徴イメージ内の目の領域の外観をモデル化する。その後、探し出された、または結果の目を含む領域を表わすイメージデータが、さらなる解析のために提供される（ブロック２０４）。
【０１１１】
１つの例示的な探索方法９８で、テンプレートプロセス、例えば、ハフ変換が、合成特徴イメージの目を含む領域を探し出すのに使用される。例えば、Ｄ．Ｈ．Ｂａｌｌａｒｄ、「Ｇｅｎｅｒａｌｉｚｉｎｇ  ｔｈｅ  Ｈｏｕｇｈ  Ｔｒａｎｓｆｏｒｍ  ｔｏ  Ｄｅｔｅｃｔ  Ａｒｂｉｔｒａｒｙ  Ｓｈａｐｅｓ」、Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ、Ｖｏｌ．１３、Ｎｏ．２、ｐｐ．１１１−１２２（１９８１）に記載されるような一般化されたハフ変換テンプレートが、合成特徴イメージ内の目の領域の予期される外観をモデルとしている。例示的なテンプレート４０８を図２７に示している。テンプレート４０８は、グレーの領域４２０（目をモデル化する）の上に黒の領域４１０（眉毛をモデル化する）を含む。テンプレート４０８は、個々の顔の回転および変化を考慮に入れるように実装の各ポイントにおいて回転され、サイズ設定される。この変換の結果が、１つまたは複数の目を含む領域の位置特定である。
【０１１２】
例えば、図２６ｄは、テンプレート４０８を適用したことの結果を例として表わす図である。結果は３レベルイメージである。背景４３０は白に見え、皮膚の領域はグレー４３２に見え、皮膚の領域内で、目のテンプレートに最も強い反応を示した領域が、黒（例えば、目を含む領域４３４）として示されている。言い換えれば、図２６ｄは、定義された皮膚イメージの上に重ね合わされたハフ変換の結果を示している。図２６ｄで見て取ることができるとおり、境界４３６は、本明細書で前述した検知された皮膚、または分離された皮膚の外形を描く定義された探索領域を表わす。顔の範囲は、そのような境界のパラメータおよび／または特性に依存する。
【０１１３】
目の位置特定プロセス７８の目の中心を推定するプロセス１００の１つの例示的な実施形態を図２８ａ〜２８ｃに示しており、図２５を参照して説明する。推定プロセス１００は、好ましくは、定義された皮膚の領域（例えば、図２６ｄ参照）に関連して、目を含む領域を表わすデータを受け取る（ブロック２１０）。プロセス１００は、どのようなタイプの目を含む領域が探し出されたかを特定する（ブロック２１２）。目を含む領域のタイプを特定した後、片方または両方の目のおおよその中心を推定することができる（ブロック２１４）。
【０１１４】
例えば、被験者の目の中心は、ブロブ解析を介して推定することができる。ブロブとは、一群の結合されたピクセルを指す。人間の顔の変動のため、図２８ａ〜２８ｃに示すとおり、目を含む領域に対応する多くの異なるパターンの「目」ブロブが、結果のハフ変換イメージにおいて生じる可能性がある。具体的には、例えば、以下のとおりである。
【０１１５】
図２８ａに示す事例１：顔の領域の幅を範囲とする単一のブロブ。このブロブは、中央で二等分され、より小さいブロブとして処理されて、そこに含まれる両方の目の中心が特定される。
【０１１６】
図２８ｂに示す事例２：ほぼ等しいサイズの２つのブロブが存在し、この２つのブロブは、一般に、いずれの他のブロブよりも大きいサイズを有する。２つのブロブによって表わされる両方の目の中心が特定される。
【０１１７】
図２８ｃに示す事例３：いずれの他のブロブからも分離され、いずれの他のブロブよりも大きいサイズを有する単一の小さいブロブが存在する。この場合、片方の目の中心だけが特定される。
【０１１８】
最終的に、顔検知器は、目の片方または両方の中心の位置を特定する。例えば、中心は、選択されたブロブの質量中心と解釈されることが可能である。ただし、ブロブは目だけでなく眉毛も表わすので、目の中心は、質量中心ではなく、一般に、そのようなブロブの質量中心との関係で、例えば、特定の距離だけ質量中心からはずれて見出される。
【０１１９】
目の中心の位置が特定されると、頭部の向きも特定することができる。例えば、目が分離された皮膚のある領域内に入る場合、頭部がある位置にある、例えば、被験者が見下ろしている、または見上げていることを特定することができる。
【０１２０】
頭部の向きおよび位置が分かった後、認識目的で顔の良好なイメージを抽出することができるかどうかを確認することが可能である。また、必要な場合、外挿を行って、任意の所与の回転から顔の正面イメージを生成することも、もちろん、顔の少なくとも半分が見えているという条件付きで、実行可能なオプションである。
【０１２１】
本明細書で引用したすべての特許および参照文献は、あたかもそれぞれが別々に組み込まれているかのように全体が本明細書に組み込まれている。本発明は、本発明の好ましい実施形態を特に参照して説明してきたが、当分野の技術者には容易に分かるとおり、特許請求の範囲の企図される範囲内で本発明の様々な変形形態および変更形態を実施することができる。
【図面の簡単な説明】
【０１２２】
【図１】顔検知および顔認識を使用する本発明による人間を識別するための一般例としての近赤外線個人識別システムを示す図である。
【図２】本発明による人間の顔を検知するための図１のシステムによって実施されることが可能な顔検知プロセスを含む近赤外線個人識別方法を示す図である。
【図３】本発明による少なくともある程度、向きを推定することができる人間の頭部の可能な向きを記述するのに使用するための図である。
【図４】本発明による少なくとも顔検知を実施するためのハードウェアシステムの例示的な実施形態を示す図である。
【図５】本発明による図２に全体的に示した顔検知プロセスの１つの例示的な実施形態を示す図である。
【図６】本発明による図５に例示した顔探索領域を定義するのに使用するための近赤外線皮膚分離システムの一実施形態を示す図である。
【図７Ａ】２つのカメラの共同位置合わせスキームを示す図である。
【図７Ｂ】カメラの共同位置合わせに関する代替の実施形態を示す図である。
【図８】イメージフレームに関するピクセル数対スペクトル電力のヒストグラムである。
【図９】電磁（ＥＭ）スペクトルのグラフである。
【図１０】自動車フロントガラスに関する赤外線透過特性を明らかにする図である。
【図１１】自動車側窓に関する赤外線透過特性を明らかにする図である。
【図１２】色白の白人男性および色黒の白人男性に関する反射率のパーセンテージを示すグラフである。
【図１３】色白のアジア人男性および色黒のアジア人男性に関する反射率のパーセンテージを示すグラフである。
【図１４】色白の黒人男性および色黒の黒人男性に関する反射率のパーセンテージを示すグラフである。
【図１５】色白の皮膚および色黒の皮膚に関する反射率の比較を示すグラフである。
【図１６】綿、木材、およびポリアミドに関する反射率を示すグラフである。
【図１７】蒸留水に関する反射率を示すグラフである。
【図１８】自然な人間の毛髪に関する反射率を示すグラフである。
【図１９】人間の毛髪のかつらに関する反射率を示すグラフである。
【図２０】本発明による赤外線照明源の制御を示す例示的なグラフである。
【図２１】本発明による図５に全体的に示した顔探索領域をさらに定義する方法の１つの例示的な実施形態を示す図である。
【図２２】図２２ａは、本発明による図５に全体的に示し、図２１により具体的に示した顔探索領域を定義するための方法を説明するのに使用するための図である。図２２ｂは、本発明による図５に全体的に示し、図２１により具体的に示した顔探索領域を定義するための方法を説明するのに使用するための図である。図２２ｃは、本発明による図５に全体的に示し、図２１により具体的に示した顔探索領域を定義するための方法を説明するのに使用するための図である。図２２ｄは、本発明による図５に全体的に示し、図２１により具体的に示した顔探索領域を定義するための方法を説明するのに使用するための図である。図２２ｅは、本発明による図５に全体的に示し、図２１により具体的に示した顔探索領域を定義するための方法を説明するのに使用するための図である。図２２ｆは、本発明による図５に全体的に示し、図２１により具体的に示した顔探索領域を定義するための方法を説明するのに使用するための図である。図２２ｇは、本発明による図５に全体的に示し、図２１により具体的に示した顔探索領域を定義するための方法を説明するのに使用するための図である。図２２ｈは、本発明による図５に全体的に示し、図２１により具体的に示した顔探索領域を定義するための方法を説明するのに使用するための図である。
【図２３】本発明による図５に全体的に示した目の位置特定の方法の１つの例示的な実施形態を示す図である。
【図２４】本発明による図２３に全体的に示した目の位置特定の方法における目を含む領域を探し出すための探索方法の１つの例示的な実施形態を示す図である。
【図２５】本発明による図２３に全体的に示した目の位置特定の方法における個人の片方または両方の目のおおよその中心を特定するための近似方法の１つの例示的な実施形態を示す図である。
【図２６】図２６ａは、本発明による図２３に全体的に示した目の位置特定の方法における目の特徴および眉毛の特徴を抽出するための方法の一実施形態を説明するのに使用するための図である。図２６ｂは、本発明による図２３に全体的に示した目の位置特定の方法における目の特徴および眉毛の特徴を抽出するための方法の一実施形態を説明するのに使用するための図である。図２６ｃは、本発明による図２３に全体的に示した目の位置特定の方法における目の特徴および眉毛の特徴を抽出するための方法の一実施形態を説明するのに使用するための図である。図２６ｄは、本発明による図２３に全体的に示した目の位置特定の方法における目の特徴および眉毛の特徴を抽出するための方法の一実施形態を説明するのに使用するための図である。
【図２７】本発明による図２３に全体的に示し、図２４を参照してさらに説明する目の位置特定の方法における目を含む領域を探し出すための探索方法において使用するためのテンプレートの例示的な図である。
【図２８】図２８ａは、本発明による図２３を全体的に示し、図２５を参照してさらに説明する目の位置特定の方法における個人の片方または両方の目のおおよその中心を特定するための方法の一実施形態を説明するのに使用するための図である。図２８ｂは、本発明による図２３を全体的に示し、図２５を参照してさらに説明する目の位置特定の方法における個人の片方または両方の目のおおよその中心を特定するための方法の一実施形態を説明するのに使用するための図である。図２８ｃは、本発明による図２３を全体的に示し、図２５を参照してさらに説明する目の位置特定の方法における個人の片方または両方の目のおおよその中心を特定するための方法の一実施形態を説明するのに使用するための図である。
【図１】
2005502961.tif 000003
【図２】
2005502961.tif 000004
【図３】
2005502961.tif 000005
【図４】
2005502961.tif 000006
【図５】
2005502961.tif 000007
【図６】
2005502961.tif 000008
【図８】
2005502961.tif 000009
【図９】
2005502961.tif 000010
【図１０】
2005502961.tif 000011
【図１１】
2005502961.tif 000012
【図１２】
2005502961.tif 000013
【図１３】
2005502961.tif 000014
【図１４】
2005502961.tif 000015
【図１５】
2005502961.tif 000016
【図１６】
2005502961.tif 000017
【図１７】
2005502961.tif 000018
【図１８】
2005502961.tif 000019
【図１９】
2005502961.tif 000020
【図２０】
2005502961.tif 000021
【図２１】
2005502961.tif 000022
【図２３】
2005502961.tif 000023
【図２４】
2005502961.tif 000024
【図２５】
2005502961.tif 000025
【図２７】
2005502961.tif 000026
【国際公開パンフレット】
2005502961.tif 000027
2005502961.tif 000028
2005502961.tif 000029
2005502961.tif 000030
2005502961.tif 000031
2005502961.tif 000032
2005502961.tif 000033
2005502961.tif 000034
2005502961.tif 000035
2005502961.tif 000036
2005502961.tif 000037
2005502961.tif 000038
2005502961.tif 000039
2005502961.tif 000040
2005502961.tif 000041
2005502961.tif 000042
2005502961.tif 000043
2005502961.tif 000044
2005502961.tif 000045
2005502961.tif 000046
2005502961.tif 000047
2005502961.tif 000048
2005502961.tif 000049
2005502961.tif 000050
2005502961.tif 000051
2005502961.tif 000052
2005502961.tif 000053
2005502961.tif 000054
2005502961.tif 000055
2005502961.tif 000056
2005502961.tif 000057
2005502961.tif 000058
2005502961.tif 000059
2005502961.tif 000060
2005502961.tif 000061
2005502961.tif 000062
2005502961.tif 000063
2005502961.tif 000064
2005502961.tif 000065
2005502961.tif 000066
2005502961.tif 000067
2005502961.tif 000068
2005502961.tif 000069
2005502961.tif 000070
2005502961.tif 000071
2005502961.tif 000072
2005502961.tif 000073
2005502961.tif 000074
2005502961.tif 000075
2005502961.tif 000076
2005502961.tif 000077
2005502961.tif 000078
2005502961.tif 000079
2005502961.tif 000080
2005502961.tif 000081
2005502961.tif 000082
2005502961.tif 000083
2005502961.tif 000084
2005502961.tif 000085
2005502961.tif 000086
2005502961.tif 000087
2005502961.tif 000088
2005502961.tif 000089
2005502961.tif 000090
2005502961.tif 000091
2005502961.tif 000092
2005502961.tif 000093
2005502961.tif 000094
2005502961.tif 000095
2005502961.tif 000096
2005502961.tif 000097
2005502961.tif 000098
2005502961.tif 000099
2005502961.tif 000100
2005502961.tif 000101
2005502961.tif 000102
2005502961.tif 000103
2005502961.tif 000104
【国際調査報告】
2005502961.tif 000105
2005502961.tif 000106
2005502961.tif 000107