(57)【要約】【課題】デジタル画像におけるオブジェクトのより高いオブジェクト検出率を達成することを目的とする。特に、赤目不良を有する顔の検出に際し、複数のセグメンテーションマップを利用することにより、入力デジタル画像におけるフェース領域のより正確な検出を行うことによって、より高いオブジェクト検出率を達成することができる。【解決手段】非オブジェクト特定基準に従ってデジタル画像の第１セグメンテーションマップを生成するステップと、オブジェクト特定基準に従って前記デジタル画像の第２セグメンテーションマップを生成するステップと、前記第１及び第２セグメンテーションマップを利用することにより、前記デジタル画像におけるオブジェクトを検出するステップとにより上記課題を解決する。【選択図】図１
2010102725.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像におけるオブジェクトを検出する方法であって、
ａ）各領域がスキンカラーに対応する平均的なカラーを有すると特定された複数の同質なカラーの領域を少なくとも特定することによって、前記デジタル画像の第１セグメント化マップを生成するステップと、
ｂ）スキンカラーの画素の領域を少なくとも特定することによって、前記デジタル画像の第２セグメント化マップを生成するステップと、
ｃ）前記第１セグメント化マップと前記第２セグメント化マップの双方を使用して、前記デジタル画像におけるオブジェクトを検出するステップと、
を有し、
前記ステップｃ）は、前記第１及び第２セグメント化マップの一方において特定され、前記第１及び第２セグメント化マップの他方において特定されないセグメントの少なくとも一部を使用することによって、前記デジタル画像におけるオブジェクトを検出する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像処理に関し、特に、デジタル画像におけるオブジェクト検出方法に関する。
【背景技術】
【０００２】
フラッシュ閃光が画像の取り込みに使用されるとき、画像中の人の瞳は赤く写ることがある。これは、フラッシュ部からの光が瞳に入射し、その入射光が網膜において反射され、瞳から出射されることにより生じる現象である。光は部分的に網膜中の毛細血管に吸収されるので、撮像された画像において瞳は赤く写ってしまう。この現象は「赤目（ｒｅｄｅｙｅ）」と呼ばれるものである。フラッシュ部がレンズ光軸に接近するほど、赤目になる確率は高くなる。従って、赤目は、フラッシュ部が一体化された小型カメラにより撮影された画像においてよく見られる。
【０００３】
米国特許第５，４３２，８６３号（１９９５年７月１１日出願のＰａｕｌ  Ｊ．  Ｂｅｎａｔｉ，  Ｒｏｂｅｒｔ  Ｔ．  Ｇｒａｙ，  Ｐａｔｒｉｃｋ  Ａ．  Ｃｏｓｇｒｏｖｅらによる”Ａｕｔｏｍａｔｅｄ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｃｏｒｒｅｃｔｉｏｎ  ｏｆ  Ｅｙｅ  Ｃｏｌｏｒ  Ｄｅｆｅｃｔｓ  Ｄｕｅ  ｔｏ  ｆｌａｓｈ  Ｉｌｌｕｍｉｎａｔｉｏｎ”）において、赤目の特徴を有する画像中のオブジェクトを検出するためのユーザ対話型検出方法が開示されている。開示された方法では、形状、色彩及び明るさに基づき、赤目画素の候補が自動的に検出される。この既知の赤目検出方法は良好に機能する一方で、ある欠点を有する。例えば、開示された方法では、その候補となる画素がきちんと顔の中にあるか、あるいは目の一部となっているかを決定することができない。
【０００４】
米国特許第６，２９２，５７４号（２００１年９月１８日出願のＪａｙ  Ｓ．  Ｓｃｈｉｌｄｋｒａｕｔ，  Ｒｏｂｅｒｔ  Ｔ．  Ｇｒａｙ，  Ｊｉｅｂｏ  Ｌｕｏらによる”Ｃｏｍｐｕｔｅｒ  Ｐｒｏｇｒａｍ  Ｐｒｏｄｕｃｔ  ｆｏｒ  Ｒｅｄｅｙｅ  Ｄｅｔｅｃｔｉｏｎ”）において、フラッシュ閃光による画像中の被写体の目の色の不具合を検出する方法が開示されている。この検出方法では、デジタル画像においてスキンカラー領域（ｓｋｉｎ  ｃｏｌｏｒｅｄ  ｒｅｇｉｏｎ）が検出され、このスキンカラー領域から赤目不良となる特徴を有する画素群を検出し、検出された赤目不良の位置に基づきこの画素群の色を補正するというものである。この方法の欠点は、画像全体からフェイス領域（ｆａｃｅ  ｒｅｇｉｏｎ）を検出することができないということ、より詳細には、スキンカラー領域と別にフェイス領域を検出することができないという点である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第５，４３２，８６３号
【特許文献２】米国特許第６，２９２，５７４号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記問題点を解消するデジタル画像における赤目検出方法が必要とされる。
【０００７】
本発明は、上記課題を鑑みてなされたものであって、赤目不良を有する顔の検出のため、複数のセグメンテーションマップを利用することにより、入力デジタル画像におけるフェイス領域の正確な検出を実行することができるオブジェクト検出方法の提供を目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明によるデジタル画像におけるオブジェクト検出方法は、請求項１に記載されるように、非オブジェクト特定基準に従ってデジタル画像の第１セグメンテーションマップを生成するステップと、オブジェクト特定基準に従って前記デジタル画像の第２セグメンテーションマップを生成するステップと、前記第１及び第２セグメンテーションマップを利用することにより、前記デジタル画像におけるオブジェクトを検出するステップとからなることを特徴とする。
【０００９】
また、本発明によるデジタル画像におけるオブジェクト検出方法は、請求項２に記載されるように、さらに、前記検出するステップの前に、前記第１及び第２セグメンテーションマップを統合し、パターンマッチングを利用することにより前記統合されたセグメンテーションマップにおいてオブジェクトを検出するステップを備えることを特徴とする。
【００１０】
また、本発明によるデジタル画像におけるオブジェクト検出方法は、請求項３に記載されるように、さらに、パターンマッチングを利用することにより前記第１及び第２セグメンテーションマップのそれぞれにおいてオブジェクトを検出するステップを備えることを特徴とする。
【００１１】
また、本発明によるデジタル画像におけるオブジェクト検出方法は、請求項４に記載されるように、前記非オブジェクト特定基準はカラー同質性基準であり、前記オブジェクト特定基準はオブジェクト特定カラー類似性基準であることを特徴とする。
また、本発明によるデジタル画像におけるオブジェクト検出方法は、請求項５に記載されるように、皮膚領域の検出に際し、前記カラー同質性基準及び前記オブジェクト特定カラー類似性基準の少なくとも一方はスキンカラーに関し、前記検出されたオブジェクトは検出スキンカラー領域であることを特徴とする。
また、本発明によるデジタル画像におけるオブジェクト検出方法は、請求項６に記載されるように、さらに、前記検出スキンカラー領域における赤目を検出するステップを備えることを特徴とする。
【発明の効果】
【００１２】
このようなデジタル画像におけるオブジェクト検出方法では、オブジェクトの検出率を高めることができる。特に、赤目不良を有する顔の検出に際し、複数のセグメンテーションマップを利用することにより、入力デジタル画像におけるフェイス領域のより正確な検出を行うことによって、より高いオブジェクト検出率を達成することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明による好適な画像におけるオブジェクト検出技術を示すブロック図である。
【図２】図２は、本発明を実現するためのコンピュータシステムを示した図である。
【図３】図３は、図１に示された連続的なスキンカラー領域から構成されるカラーセグメンテーションマップの生成方法に関する詳細なフローチャートを示す図である。
【図４】図４は、図３に示されたカラーセグメンテーションマップ生成方法に従い生成されたカラーセグメンテーションマップを表した図である。
【図５Ａ】図５Ａは、オブジェクト特定セグメンテーションマップを生成するための図１に示されたオブジェクト特定パスにおける適応型閾値の決定例を示す図である。
【図５Ｂ】図５Ｂは、オブジェクト特定セグメンテーションマップを生成するための図１に示されたオブジェクト特定パスにおける適応型閾値の決定例を示す図である。
【図５Ｃ】図５Ｃは、オブジェクト特定セグメンテーションマップを生成するための図１に示されたオブジェクト特定パスにおける適応型閾値の決定例を示す図である。
【図６】図６は、オブジェクト特定セグメンテーションマップを生成するための図１に示されたオブジェクト特定パスにおいて拡大する領域例を示す図である。
【図７】図７は、オブジェクト特定セグメンテーションマップを生成するための図１に示されたオブジェクト特定パスにおける形状分解例を示す図である。
【図８】図８は、デジタル画像、非オブジェクト特定セグメンテーションマップ及びオブジェクト特定セグメンテーションマップの例を示す図である。
【図９】図９は、図１に示された赤目ペア分類器のソフトウェアプログラムのフローチャートを示す図である。
【図１０】図１０は、図４に示された連続的なカラー領域を詳細に示した図である。
【図１１】図１１は、図１０に示された連続的なカラー領域を適合させた楕円を示す図である。
【図１２】図１２は、リサイズされたフェース領域の候補を示す図である。
【図１３】図１３は、図１２に示された適合されたフェース領域の候補に対応するリサイズされた楕円を示す図である。
【図１４】図１４は、図９に示されたフローチャートにおける赤目候補を決定する部分の詳細なフローチャートを示す図である。
【図１５】図１５は、図１２の赤目不良の候補を示す図である。
【図１６】図１６は、図９に示されたフローチャートにおける赤目を決定する部分の詳細なフローチャートを示す図である。
【図１７】図１７は、アイテンプレートとゾーンマップを示す図である。
【図１８】図１８は、図９に示された赤目ペア分類器のスコアリング関数を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面に基づいて本発明の実施の形態を説明する。
【００１５】
本発明は、プログラムされたデジタルコンピュータにおいて実現されうる。デジタル画像処理やソフトウェアプログラミングに関する当業者は、以下で与えられる説明からコンピュータにより本発明を実現するためのプログラムを設計することができるであろう。本発明はまた、コンピュータが実行可能なコードを記録するための磁性記憶媒体あるいは光記憶媒体のようなコンピュータが読み取り可能な記憶媒体を備えるコンピュータプログラムプロダクトにおいて実現されてもよい。また、本発明はハードウェアあるいはファームウェアにおいて実現されてもよい。
【００１６】
図１を参照するに、本発明によるオブジェクト検出方法によると、別々に生成された２つのセグメンテーションマップ（segmentation  map）が統合され、この統合されたセグメンテーションマップを利用して画像中の特定のオブジェクトが検出される。そのようなオブジェクトとして赤目オブジェクトが含まれている。以下では、このようなオブジェクトに関して説明がなされる。しかしながら、本発明によるオブジェクト検出方法は、若干の必要な修正を加えることにより他のオブジェクトの検出にも利用可能であるかもしれない。以下においてさらに詳細に説明されるように、本発明によるオブジェクト検出方法は、部分的に上述の米国特許第6,292,574号による検出方法が利用されている。
【００１７】
図１に示される好適な実施例によると、まず検出対象である上述の赤目オブジェクトのような１つ以上のオブジェクトを少なくとも部分的に含むデジタル画像１０が入力される。このデジタル画像１０は、まずカラーセグメンテーションステージ１２において処理される。このカラーセグメンテーションステージ１２では、カラーセグメンテーションマップ（color  segmentation  map）１４を生成するため、非オブジェクト特定カラーセグメンテーション処理（non-object  specific  color  segmentation  process）が入力されたデジタル画像１０に実行される。カラーセグメンテーションステージ１２では、上述の米国特許第6,292,574号により開示された方法が利用される。この開示された方法に関しては、以下でさらなる詳細な説明が与えられる。この開示された方法では、非オブジェクト特定基準（non-object  specific  criterion）、本実施例においてはカラー同質性基準（color  homogeneity  criterion）、具体的には平均スキンカラー（skin-like  average  color）に従ってセグメントが特定される。
【００１８】
また入力デジタル画像１０は、オブジェクト特定基準（object  specific  criterion）に従い、オブジェクト特定パス（object-specific  path）１６において、オブジェクト特定セグメンテーションマップ（object-specific  segmentation  map）１８を生成するために処理される。オブジェクト特定セグメンテーションマップ１８は、カラーセグメンテーションマップ１４と交互に利用され、補完情報を与える。本実施例では、オブジェクト特定基準は、オブジェクト特定カラー類似性（object  specific  color  similarity）であり、具体的には、フェイスオブジェクトに関するスキンカラーである。より詳細には、セグメンテーションマップ１８は、特定されたスキンオブジェクトの一部としてスキンカラー画素のセグメントを特定するのに使われるスキン特定マップである。
【００１９】
オブジェクト特定パス１６は、以下のステージから構成される。スキン画素検出ステージ２０では、スキンカラー信頼値をデジタル画像１０の各画素に割り当てることにより、デジタル画像１０のスキンカラー画素が検出される。そして、適応型閾値判別ステージ２２では、スキン画素検出ステージ２０により生成されたスキンカラー画素を特定するための信頼値にある閾値が適用される。領域抽出ステージ２４において、スキンカラー画素に連続する領域が抽出される。領域拡大ステージ２６において、抽出された領域は信頼値に関する連続性基準に従いより完備な領域に拡大される。その後、形状分解ステージ２８において、拡大された領域は単純な形状パーツに分解され、代替セグメンテーションマップ１８が生成される。
【００２０】
統合ステージ３０において、２つの別々に生成されたセグメンテーションマップ、すなわち、非オブジェクト特定カラーセグメンテーションマップ１４とオブジェクト特定代替セグメンテーションマップ１８は、オブジェクトの検出とその位置検出のため統合セグメンテーションマップ３２に統合される。より詳細には、赤目ペア分類器（redeye  pair  classifier）３４が統合されたセグメンテーションマップ３２を使って、赤目ペアの候補を検出する。検出された赤目ペアの候補は、検出赤目リスト３８を生成する前に、フェイス検証器（face  verifier）３６によりチェックされる。赤目ペア分類器３４では、以下で詳細に説明される米国特許第6,292,574号により開示されたパターンマッチング手法が利用される。フェイス検証の後、検出赤目リスト３８は赤目補正ステージ４０に送られ、赤目の画素における色をより望ましい色によりレンダリングすることにより補正される。
【００２１】
また、米国特許第6,292,574号によるパターンマッチング手法を非オブジェクト特定カラーセグメンテーションマップ１４とオブジェクト特定代替セグメンテーションマップ１８のそれぞれに別々に適用し、その後検出されたオブジェクトを統合することにより、非オブジェクト特定カラーセグメンテーションマップ１４とオブジェクト特定代替セグメンテーションマップ１８から赤目オブジェクトのようなオブジェクトが別々に検出されてもよい。フェイス検証器３６によるフェイスの検証後、検出赤目リスト３８は赤目補正ステージ４０に送られる。
【００２２】
図２を参照するに、本発明によるオブジェクト検出方法を実現するためのコンピュータシステム１１０が示される。コンピュータシステム１１０は好適な実施例を示すために例示されたものであり、本発明はコンピュータシステム１１０に限定されるものではない。本発明は、コンピュータ現像、売店での現像、小売の現像、卸売での現像などの任意の電子処理システム、あるいはデジタル画像処理のための他のシステムにおいて利用されてもよい。コンピュータシステム１１０は、ソフトウェアプログラムの受信及び処理と、他の処理機能を実行するマイクロプロセッサユニット１１２を備える。コンピュータシステム１１０は、例えば、Sun  Sparc  Station（登録商標）であってもよい。ディスプレイ１１４は、例えば、グラフィカルユーザインターフェイスによりソフトウェアに関するユーザ関連情報を表示するため、マイクロプロセッサユニット１１２に電子的に接続される。キーボード１１６は、ユーザがソフトウェアに情報の入力ができるよう、マイクロプロセッサユニット１１２に接続される。キーボード１１６の代わりに、マウス１１８がディスプレイ１１４上のセレクタ１２０を移動させ、セレクタ１２０によりアイテムを選択できるよう既知の技術に従い使用されてもよい。
【００２３】
CD-ROM（Compact  Disk-Read  Only  Memory）のためのドライブ装置１２２が、ソフトウェアプログラムの入力と、ソフトウェアプログラムを有するコンパクトディスク１２４を介しソフトウェアプログラムやその他の情報をマイクロプロセッサユニット１１２に与えるため、マイクロプロセッサユニット１１２に接続される。さらに、フロッピーディスク１２６にソフトウェアプログラムが保存され、ソフトウェアプログラムの入力のためフロッピーディスク１２６がドライブ装置１２２を介しマイクロプロセッサユニット１１２に与えられてもよい。さらに、マイクロプロセッサユニット１１２は、既知の技術により、ソフトウェアプログラムを内部に保持するようプログラムされていてもよい。マイクロプロセッサユニット１１２は、LAN（Local  Area  Network）やインターネットのような外部ネットワークへの接続のため、例えば電話線のようなネットワーク接続１２７を備えていてもよい。このネットワークは、例えば、大きなデータサイズのデジタル画像を扱えるだけの大容量のLANであってもよい。プリンタ１２８は、コンピュータシステム１１０の出力のプリントアウトのために、マイクロプロセッサユニット１１２に接続される。
【００２４】
画像は、PCMCIA（Personal  Computer  Memory  Card  International  Association）に基づく既知のデジタル画像を保持するためのPC（Personal  Computer）カード１３０を介して、ディスプレイ１１４に表示されてもよい。PCカード１３０は、ディスプレイ１１４上に画像を表示するためドライブ装置１３２を介しマイクロプロセッサユニット１１２に与えられる。画像はコンパクトディスク１２４、フロッピーディスク１２６あるいはネットワーク接続１２７を介して入力されてもよい。PCカード１３０、フロッピーディスク１２６、コンパクトディスク１２４に記憶されている画像や、ネットワーク接続１２７を通じて入力された画像は、デジタルカメラ１３４やスキャナ１３６のような様々な情報源から、ハロゲン化銀フィルムのような原稿を走査することにより得られる。デジタルカメラ１３４から通信リンク（例えば、RFリンクやIRリンク）１４０を介して画像をコンピュータシステム１１０に取り込んでもよい。本発明によると、統合セグメンテーションマップ３２に統合され、オブジェクト検出あるいは赤目オブジェクトのような特定のオブジェクトの検出に使用される２つの別々に生成された非オブジェクト特定マップ１４及びオブジェクト特定マップ１８を生成するため、本実施例で開示されるオブジェクト検出アルゴリズムは上述の記憶装置のいずれかに記憶される。
【００２５】
本実施例において開示されるオブジェクト検出アルゴリズムは、様々なユーザ環境において利用されてもよい。本発明を限定することなく、例えば、（フィルムイン、デジタル処理、プリントアウトのような処理過程に関する）ホールセールデジタル現像、リテールデジタル現像（フィルムイン、デジタル処理、プリントアウト）、ホームプリンティング（家庭で走査されたフィルムやデジタル画像、デジタル処理、プリントアウト）、デスクトップソフトウェア（質の向上や変更のためにデジタルプリントにアルゴリズムを適用するソフトウェア）、デジタルフルフィルメント（digital  fulfillment）（メディアやウェブからのデジタル画像取り込み、デジタル処理、メディアのデジタル形式、ウェブのデジタル形式、デジタルまたはハードコピー出力による画像出力）、キオスク（kiosk）（デジタルまたは走査入力、デジタル処理、デジタルまたはハードコピー出力）、携帯装置（処理部、表示部、処理指示を与えるユニットとして利用されるPDAや携帯電話）、WWW（World  Wide  Web）を介して与えられるサービスを含む。
【００２６】
各場合において、アルゴリズムは独立して装備されてもよいし、より大規模なシステムソルーションの一部であってもよい。さらに、アルゴリズムとのインターフェイス、例えば、走査や入力、デジタル処理、（必要であれば）ユーザへの表示、（必要であれば）ユーザリクエストや処理指示の入力、及び出力などは、同一あるいは異なる装置で、そして同一あるいは異なる場所で行われてもよい。装置間の通信は、公共あるいはプライベートのネットワーク接続またはメディアベースの通信を介して行われうる。上述した実施例と対応して、アルゴリズムは完全に自動化されていてもよい。また、アルゴリズムは（完全あるいは部分的に手動で）ユーザ入力を受信してもよい。また、アルゴリズムは結果の承認/拒否のためユーザあるいはオペレータの確認を受けてもよい。また、アルゴリズムは（ユーザあるいはカメラなどの測定装置により与えられた、あるいはアルゴリズムにより決定された）メタデータによる支援を受けてもよい。さらに、アルゴリズムは様々なワークフローユーザインターフェイス手法（workflow  user  interface  scheme）と接続してもよい。
【００２７】
図３を参照するに、デジタル画像１０の中の連続的なスキンカラー領域を認識するためのカラーセグメンテーションステージ１２を実現するための上述の米国特許第6,292,574号に開示されるような方法に関する詳細なフローチャートが示されている。始めに、カラー画像の赤、緑及び青に関する数値が、以下の関係式を用いてLSTカラー空間に変換される（ステップS4a）。
【００２８】
【数１】
2010102725.tif 000003
【００２９】
【数２】
2010102725.tif 000004
【００３０】
【数３】
2010102725.tif 000005
ここで、R,  GおよびBは、カラー画像１０における画素の赤、緑及び青に関するコード値をそれぞれ表す。
【００３１】
次のステップでは、３次元ヒストグラムが構築される。ヒストグラムのサイズを減らすために、まずL,  S及びTのコード値がそれぞれ8.0×√３,  2.0及び2.0で除され、量子化される（ステップS4b）。この量子化されたコード値はL’,  S’そしてT’として表される。L’,  S’及びT’の各組み合わせはヒストグラムの「bin」として表される。ヒストグラムH(L’,  S’,  T’)の値（ステップS4c）は、量子化コード値L’,  S’及びT’を持つ画像中の画素数に等しい。すなわち、ヒストグラムから各binに属する画像中の画素数がわかる。この画素数はbin値と呼ばれる。
【００３２】
ヒストグラムは、各bin値を、このbin値とそれに近接したbinのbin値との加重平均により置き換えることによってスムージングされる（ステップS4d）。次に、ヒストグラムのピーク値が検出され（ステップS4e）、ヒストグラムの各bin値にはそれに最も近接したピーク値が割り当てられる（ステップS4f）。最終的に、カラー画像の各画素にヒストグラムのbin値が割り当てられ、各binにはピークが割り当てられることになるので、ピークがカラー画像の各画素に割り当てられる（ステップS4g）。画素コード値が割り当てられているピークの個数に等しい単一の帯域画像がセグメント画像と呼ばれる。
【００３３】
同一のコード値を有するセグメント画像における連続領域は、カラー画像中のオブジェクトあるいはその一部に対応している可能性がある。そこで、ある一意的な数値（ラベル）がセグメント画像のそのような領域に割り当てられる（ステップS4h）。その数値は最大画素数をもつ領域に対し１から始まり次々と割り当てられる。コード値が画素が属する領域のラベルに対応する単一の帯域画像は、ラベル画像と呼ばれる。
【００３４】
プログラムは、セグメント画像中のどの連続領域が人間の皮膚の色を有するカラー画像の領域に対応しているかを決定する。各領域の平均コード値L,  S及びTが計算され、これに基づいて各領域にスコアPskinが割り当てられる（ステップS4i）。Pskinが高いということは、当該領域が人間の皮膚の色を有しているということを意味し、逆にPskinが低いということは、当該領域の色が皮膚の色と異なっているということを意味している。Pskinが0.10の閾値Tskinを上回る領域はスキンカラー領域と呼ばれる（ステップS4j）。
【００３５】
最終ステップでは、カラー画像の中の顔が単一のスキンカラー領域に関連付けられる必要がある。上述のプロセスでは、１つの顔が１以上のスキンカラー領域としばしば関連付けられる。これは、顔色や影により、顔の色は一様でないということに起因する。ある２つのスキンカラー領域は、以下の２つの条件がステップS4kにおいて満足されれば、１つのスキンカラー領域に統合される。第１の条件では、この２つのスキンカラー領域が相互に連結していることが求められる。領域iの画素が領域jに連結しているとは、領域iのこの画素の８つの隣接画素の１つが領域jの画素である場合である。領域iとjの画素間の連結数に比例して関数Q(i,  j)が求められる。関数Qは、Q(i,  i)=1.0になるよう正規化される。Q(i,  j)の値が閾値MinMergerFraction（例えば、0.005に設定される）を上回り、かつ第２の条件が満たされていれば、領域iとjは１つの領域に統合される。第２の条件では、
Dcolor  =  {(Li  −  Lj)2  +  (Si  −  Sj)2  +  (Ti  −  Tj)2}1/2
により与えられる領域iとj間のカラーディスタンスDcolorが、40.0に設定されたMaxMergeColorDistance未満であることが求められる。
【００３６】
スキンカラー領域を統合するプロセスは小さなサイズの領域から始まり、これら２つの条件が満たされるとき、より大きなサイズの領域に統合される。領域iはより大きな領域jに統合され、領域jはさらに大きな領域kに統合されるかもしれない。このとき、領域i,  j及びkは１つの領域に統合される。上述の２つの条件が領域iとkの間で満たされていなくても、領域iとkは領域jを介して統合される。
【００３７】
スキンカラーの検出結果は、カラー画像におけるスキンカラー領域のマップに
より与えられる（ステップS4l）。スキンカラーでない領域には、コード値０が付される。連続性をもつ個々のスキンカラー領域には、領域サイズに関して降順に１から順に番号付けがなされる。図４は、２人の人間の画像中のスキンカラー領域230aのマップを示す。
【００３８】
本発明によると、補完情報を与えるためのオブジェクト特定セグメンテーションマップ１８がさらに利用される。このオブジェクト特定あるいはスキン特定セグメンテーションマップは、FIG.  1に関して説明されたステージ２０、２２、２４、２６及び２８により生成される。以下において、これらのステージに関するさらなる詳細な説明が与えられる。
【００３９】
スキン画素検出ステージ２０において、画素のカラー強度と所定のスキンカラー強度とのあらかじめ決められたカラー類似度に基づき各画素にスキンカラー信頼値を割り当てることによって、デジタル画像中のスキンカラー画素が検出される。検出結果は、デジタル画像中のすべての画素のスキン確率あるいはスキン信頼値から構成されるスキン確率マップとして与えられる。本実施例では、スコアPskinとカラーディスタンスDcolorを計算プロセスが、連続領域の平均カラーの代わりに、オリジナルのデジタル画像の各画素の色に適用される。
【００４０】
スキン画素検出ステージ２０によるスキン確率マップからバイナリーマップを生成するため、適応型閾値判別ステージ２２における閾値の選択に関するいくつかの方法がある。
【００４１】
その中の１つの方法においては、ユニバーサル閾値がトレーニングデータに基づき、ROC（Receiver  Operating  Characteristic）から得られる。一般に、この閾値は偽陽性率（false  positive  rate）を最小化する一方、検出率を最大化するようなものが選ばれる。従って、対応する動作点（operating  point）は１００％の検出率と０％の偽陽性率を示すものに最も近いROCの点が通常選ばれる（E.  Saber,  A.M.  Tekalp,  R.  Eschbach  and  K.  Knoxらによる”Automatic  image  annotation  using  adaptive  color  classification”,  CVGIP,  Vol.  58,  pp.  115-126,  1996）。さらに、偽陽性エラーと偽陰性エラーに関するコストが含まれうる。与えられた画像に対して、画素の確率が決められた閾値と比較される。ユニバーサル閾値を使用することの最大の短所は、個々の画像における統計量の変動が無視されていることである。集合体としてのトレーニングデータに基づき決定された最適ユニバーサル閾値は、個々の画像に対しては必ずしも最適であるとは限らない。また、トレーニングセット以外のデータに対してはユニバーサル閾値は最適でないかもしれない。また、オブジェクト検出アルゴリズムが閾値に関する処理以外のプロセスを含んでいれば、ユニバーサル閾値の選択は最適であるとは限らない。
【００４２】
画像の変動要素に対してある程度の適応性が実現されるよう、まず画像における（量子化）確率のヒストグラムを構築し、続いてこのヒストグラムの低位部において谷間を見つける。これには、非オブジェクト画素はヒストグラムにおいて０の確率に近い分布を形成する一方、オブジェクト画素は高い確率を有する１つ以上の分布を形成するということが前提とされる。複合的な分布から谷間を見つけるには、適切な閾値選択が実行される必要がある。実際、Saberらによる初期の研究ではこのコンセプトが利用されている。しかしながら、彼らの研究では、オブジェクト画素では最大確率の分布が形成されていると仮定し、ヒストグラムの高位において検出された第１の谷間に閾値が設定される。この仮定は、このような閾値操作がオブジェクトの検出を最終的に決定するなら、妥当なものである。しかしながら、実際しばしばこの仮定は成り立たない。例えば、海は曇りの日の海岸における空よりもより空の色に近く見えるし、木製パネルは強い火の近くで撮影された写真の中の顔よりよりスキンカラーに近く見えるかもしれない。Saberらはまた、ユニバーサル閾値として初期的に置かれた想像上のボールが落ちていく谷間を用いることを提案している。Saberらは、より突出したピークやより窪んだ谷間を形成するため、ヒストグラム中の高周波数要素の減衰とこれらピークと谷間のローカリゼーション（localization）との間のトレードオフを実現するよう設計されたカーネル（kernel）を利用している。Saberらはゼロ交差（zero-crossing）を利用しピークと谷間の位置決めを行っている。
【００４３】
一般に、偽陽性を抑える一方、すべての候補が保持されるようやや控えめな閾値が本実施例では使用される。確率ヒストグラムにおける谷間の検出はしばしば不適切な閾値を導くということがわかった。一般に、非オブジェクト画素が画像領域の大部分を占めるので、確率が０に近い領域が大部分となる。この非オブジェクト分布はしばしば検索対象の谷間を覆い隠してしまう。そのため、偽陽性を大きく増加させる低い閾値を持たせてしまう傾向がある。
【００４４】
ターゲットとなるオブジェクトは雑多な背景とは大きく不連続である境界を形成していると仮定することが妥当である。そのような境界は色や強度に関する不連続性だけでなく、関連した特徴（色やテクスチャなど）を分類することにより生成される確率マップにおける不連続性として存在すべきである。従って、最適な閾値の決定に何が重要かは、閾値が明確な境界をもたらしうるかどうかに依存する。画像中のすべてのサンプルが利用される必要はないということは明らかであろう。言い換えると、より多くのサンプルを使ったとしても、ヒストグラム中にピークや谷間をもたらす信号対ノイズ比を必ずしも増加させない。
【００４５】
オブジェクト検出では、「イエス」「ノー」の質問に答える必要がある。言い換えると、ある画素がオブジェクトに属するか、あるいは背景に属するかということである。オブジェクトと背景の間の境界上あるいはその近傍にある画素を考える場合、この決定が必要なすべてであるかもしれない。このとき、ヒストグラムはオブジェクトと背景の相対的な大きさの相違から影響はあまり受けない。さらに、境界の両側でほぼ等しく画素を抽出する（オブジェクトと背景のサンプル数が等しく抽出される）ので、ヒストグラムにはほぼ等しい高さのピークが含まれ、そのピーク間には明確な谷間が形成される。このような明確なピークと谷間を有するヒストグラムを明確なヒストグラムと呼ぶことにする。
【００４６】
このようなヒストグラムにおける１つの問題は、それが非常に少ないサンプルから形成されているということである。一般に、画像は疎な不連続性を有するので、確率マップについてはなおさらその傾向が顕著である。このようなヒストグラムが、谷間の存在についてあいまいさを生じさせる多数の空のbinを有することは珍しくない。初期的には、確率範囲[0,  1]がヒストグラムでのカウンティングのため２５６の離散binに量子化される。明確なヒストグラムにおける希薄さに対処するため、ヒストグラムbinの総数は一様量子化により２５６から６４に減らされる。これにより十分稠密なヒストグラムB2が形成される。所定のスムージング（７ポイント移動平均化）の後、最終的に明確なヒストグラムB3が得られる。図５に示される例では、もとの確率ヒストグラムB1には明確な谷間は見られなかったが、最終的に得られる明確なヒストグラムB3においては明確な谷間B4が現れている。ここで、６４のbinをもつ明確なヒストグラムとそれ以上のbinをもつヒストグラムとでは、図の縦軸は異なるスケールを有す。
【００４７】
本発明の好適な実施例では、適応型閾値決定は以下のステップにより行われる。
１．確率マップのラプラシアンまたは勾配（gradient）を計算
２．高い勾配あるいはラプラシアン値に基づきマスクを導出
３．マスクに従い勾配の高い画素のみを使ってヒストグラムを構築
４．構築されたヒストグラムをbin数の少ないより稠密なヒストグラム（２５６binから６４bin）に量子化
５．稠密なヒストグラムに移動平均スムージング処理を行い、明確なピークと谷間を有する明確なヒストグラムを生成
６．明確なヒストグラムの中からピークと谷間を検出
７．適当な谷間（例えば、明確なヒストグラムの下方における最初の谷間）に閾値を設定
８．ヒストグラムbin量子化のため閾値を（例えば、ステップ４において用いられた例において、谷間の値に４を乗ずることにより）調整
インデックスi∈{1,  2,  …,  N}を画像位置とする。iにおける確率をp(i)により表す。閉区間[0,  1]がK（例えば、K=256）個のbinに量子化されるとする。従来技術によるヒストグラムは、
h[k]  =  h[k]  +  1,  if  p[i]  =  k,  i  =1,  2,…,  N,  k  =  0,  1,  …,  K-1
により計算される。
【００４８】
2D関数  f(x,  y)のラプラシアンは２階の偏導関数により
【００４９】
【数４】
2010102725.tif 000006
として定義される。
【００５０】
デジタル形式において、ラプラシアン演算子は、
【００５１】
【数５】
2010102725.tif 000007
の３×３カーネルにより与えられる。
【００５２】
画像  f(x,  y)  の点  (x,  y)  における勾配は、
【００５３】
【数６】
2010102725.tif 000008
として定義される。
【００５４】
これのデジタル形式は、２つの分離可能なカーネル
【００５５】
【数７】
2010102725.tif 000009
となる。
【００５６】
勾配ベクトルの大きさは
【００５７】
【数８】
2010102725.tif 000010
となる。
【００５８】
適応型の閾値が決定され、それがスキン確率あるいは信頼値に適用された後、スキン確率マップは「１」によりラベル付けされたスキン画素と「０」によりラベル付けされた非スキン画素を有する２項マップになる。領域抽出ステージ２４では、接続された構成要素抽出処理が利用され、スキン画素の隣接領域が抽出される。この処理に関しては、「Image  Processing,  Analysis  and  Machine  Vision,  Sonka,  Hlavac  and  Boyle,  Brooks&Cole,  1999」において説明されている。
【００５９】
後述の理由により、スキン画素の各抽出領域は、より完全かつしっかりした領域が得られるよう精緻化される必要がある。スキン領域のいくつかの画素の信頼値が閾値以下になることがしばしばあり、これにより不完全なスキンマスクが形成されてしまう。このような不完全なスキンマスクは以下の形状分解処理にとって望ましくない。従来技術によるカラーベース領域の拡大は、たまたまスキン信頼値が閾値以上となる抽出画素の色にある背景画素の色が近ければ、「ブリーディング（bleeding）」や「オーバーグローイング（overgrowing）」が起こりうるという点で注意を要するということがわかる。本発明によると、領域拡張ステージ２６において、よりロウバストな領域拡大が信頼値の類似性に基づき実行される。特に、（シード画素（seed  pixel）として利用される）抽出スキン領域から始めて、サブ閾値信頼値を持ち、シード画素に空間的に結合している画素が調べられる。もしこの信頼値が確率の最大値1.0の最低限の確率、例えば、0.1より大きく、かつこの信頼値と空間的に結合したシード画素の信頼値の差が所定の閾値以下であれば、これらの画素はシード画素として同一の領域に統合される。信頼値ベースの領域拡大の効果が図６に示される。初期的には不完全なフェイスブロブ（face  blob）領域C1が、完全なフェイスブロブ領域C2を得るために精緻化される。
【００６０】
候補となるフェイス領域あるいはブロブを検出する問題は、「アンダーセグメンテーション（under  segmentation）」として呼ばれ、スキンカラーあるいは類似の色のオブジェクトが顔として同一の領域にセグメント化される。この顔には、互いに突き合わさった２つの顔、顔に接した手、肌色の顔に接したブロンドの髪、顔に接した肩、首や胸、顔に接した家具、顔に接した服などが含まれる。図７に、アンダーセグメンテーション問題の典型例が示される。
【００６１】
この問題のために、形状分解ステージ２８において、本発明の好適な実施例による形状ベースの構成要素分解が行われ、複雑な形状からなる１つの領域がいくつかの構成要素領域に細分化される。図７には、形状分解の効果が示されている。詳細には、各接続領域に対して、
１．この領域の外形輪郭D1を追跡
２．この輪郭をスムージング処理し、ノイズの除去
３．スムージングされた輪郭に沿って大きな曲率をもつ臨界点D2とD3を検出
４．負の曲率の臨界点（NCP）D2を特定
５．各NCPに対して、他の輪郭点を抽出し、「カット（cut）」D4を形成
６．カットにおける領域を分割し、シンプルなブロブ領域を生成
輪郭追跡の後、各領域の輪郭は  (x,  y)  座標の順序付けされたリストとして表される。インデックスi∈{1,  2,  …,  N}をこの座標リストとする。輪郭は、このリストをある固定された任意の基準点  (x’,  y’)  に関する極座標
【００６２】
【数９】
2010102725.tif 000011
【００６３】
【数１０】
2010102725.tif 000012
に変換することによりスムージングされる。
【００６４】
輪郭のスムージングのため、ローパスフィルタがリストrとθのそれぞれに対し、（例えば、平均値フィルタ（mean  filter）を適用することにより）適用される。本発明の好適な実施例では、「On  Critical  Point  Detection  of  Digital  Shapes（デジタル形状の臨界点検出）,  P.  Zhu  and  P.  Chirlian,  IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence,  17(8):  737-748,  August  1995」において提供されたアルゴリズムを利用して、スムージングされた輪郭の臨界点が検出される。このアルゴリズムでは、曲率と知覚的に重要な局所最大となる輪郭点が特定される。以下でアルゴリズムの概要が説明される。まず、角度または半径関数における局所最大となるすべての画素が特定され、集合Mに置かれる。次に、２つの隣接M点群を結ぶ線分からの距離が局所最大となるすべての点が集合Γに置かれる。集合MとΓは、擬臨界点（pseudocritical  point）の集合C0を形成するよう統合される。臨界レベルと呼ばれる擬臨界点の知覚重要度は、ある１点とその隣接擬臨界点とにより形成される三角形の大きさにより定義される。C0のすべての点の臨界レベルが計算され、最小の臨界レベルを有する点が取り除かれる。C0のすべての点がある閾値（例えば、６０）以上の臨界レベルとなるまで上記プロセスが繰り返される。最終的に得られる集合C0が臨界点集合（CPS）となる。
【００６５】
本発明の変形例として、他の臨界点検出アルゴリズムが利用されてもよい。
【００６６】
低い（シャープな）負の曲率を有する曲率点が選ばれ、集合NCPSに置かれる。特に、ある閾値（例えば、-0.05）未満の曲率を有する臨界点が、以下に定義されるCにより選択される。
【００６７】
【数１１】
2010102725.tif 000013
ここで、x’(t)とy’(t)は、パラメータtに関する１階導関数であり、x’’(t)とy’’(t)は２階導関数である。離散のケースでは、この関数の評価は、小さな近傍に関して以下の式を計算することにより近似可能である。
【００６８】
【数１２】
2010102725.tif 000014
臨界点検出アルゴリズムでは発見的アプローチが利用されるが、集合NCPSの複数の点がある知覚臨界点の近傍にたまたま存在するかもしれない。局所非最大曲率抑制ステップがこの冗長を解消するため使われる。その間にCPSの要素を持たないNCPSの２つ以上の隣接要素のグループを見つけるために、輪郭が走査される。隣接するNCPS間の輪郭距離は、同一のグループの一部とみなされるdist_thresholdの1/2以下となっている。（dist_thresholdは、当該領域の特性に基づき適応的に設定される。例えば、もし領域のフィルファクタ（fill  factor）が１/２より大きくなければ、dist_thresholdは領域の最小有界ボックス（minimum  bounding  box）の最小サイズの１/２に等しくなる。この場合、dist_thresholdは最小有界ボックスの最小サイズの６０％に設定される。どちらの場合でも、dist_thresholdは画像の最小サイズの１/３より大きくなることはない。）各グループにおいて局所最小曲率を有するNCPSの要素は取り除かれる。残りの要素は、顕著負曲率輪郭点（salient  negative  curvature  contour  point）と呼ばれ、集合SNCPSの要素とされる。
【００６９】
次のステップでは、各SNCPに対して潜在的切断の端点を形成する候補のペアが特定される。各SNCPに対して、条件を満たさないペアをの点をフィルタリングするフィルタ系列により他のすべての輪郭点が候補とみなされる。ある点PS∈SNCPSを他の輪郭点P0と対にするかどうか考慮していると仮定する。本発明の好適な実施例では、以下のようなフィルタが使用される。
【００７０】
１．ユークリッド距離フィルタ：
dist(P0,  PS)  >  dist_threshold
が成り立つときP0は削除される。ただし、distはユークリッド距離関数である。このフィルタでは、あまりに遠く離れすぎて存続可能なペアになれない点が除去される。
【００７１】
２．カット顕著フィルタ：
【００７２】
【数１３】
2010102725.tif 000015
が成り立つときP0は削除される。ただし、P０は削除される。ただし、distはユークリッド関数、Cdistは２点間の輪郭に沿った最小距離である。このフィルタにより、知覚的に顕著でないカットは、そのサイズが形状特徴のサイズより大きいため、削除される。
【００７３】
３．接線ベクトルフィルタ：
PSおよびP0における接線ベクトルが比較され、２つのベクトルのなす角がang_thresholdより小さいとき、P0は削除される。従来は、これら接線ベクトルは輪郭の向きと同じ方向に向いていた。このフィルタは、妥当なカットの両端が常にほぼ反対の接線ベクトルを有するということに基づき動機付けされている。ang_thresholdは通常９０°に設定されている。しかしながら、もしPSにおける曲率が大きければ、接線角はノイズとなってしまう。従って、もしPSにおける曲率がある閾値（例えば、-0.2）以下であれば、ang_thresholdは（例えば、135°まで）引き上げられる。
【００７４】
４．法線ベクトルフィルタ：
ベクトルPSP0とPSにおける法線ベクトルとのなす角がang_thresh未満であれば、P0は削除される。理想的には２つのベクトルは反対方向を向いていることが望ましい。上述のように、ang_thresholdはPSにおける曲率に基づき、自動的に設定される。
【００７５】
PS∈SNCPSに対するフィルタを透過した画素集合をSCと呼ぶ。もし
［外１］
2010102725.tif 000016
であれば、PSによりカットは形成されない。一方もし
［外２］
2010102725.tif 000017
であれば、１つ以上の候補となる点がPSによるカットを形成するために選ばれる。SNCPSの要素は凸形状を表すので、SNCPSの要素となる候補ペアを選ぶことがしばしばベストである。SNCPの近傍の輪郭点を含む集合SNは以下のように定義される。
【００７６】
P∈SN  ⇔  ∃Q∈SNCP  such  that  Cdist(P,  Q)  <  5
ただし、Cdistは以前に定義された輪郭距離関数である。そしてユークリッド距離D1=dist(P1,  PS)を最小にするような点P1∈SCが選ばれる。もし集合SNが非空であれば、ユークリッド距離D2=dist(P2,  PS)を最小にするような点P2∈SNが選ばれる。
［外３］
2010102725.tif 000018
のとき、P2に最も近いSNCPが最終的なカットペアとして選ばれる。逆にD2  >  (1.1)D1のとき、P1が選ばれる。本発明の変形例として、各PS∈SNCPに対して、複数の候補点が選ばれうる。
【００７７】
候補ペア選択ステップ及びカットペア選択ステップが、領域内のすべてのSNCPSに対して繰り返される。その結果として、カットを特定する０以上の線分のリストが生成される。カットは一意的なコード値を有するセグメンテーションマップのバッファにおいて線分を引き、連結構成要素分析を行うことによりセグメンテーションマップに適用される。
【００７８】
図８を参照するに、オリジナルデジタル入力画像E1、非オブジェクト特定セグメンテーションマップE2及びオブジェクト特定セグメンテーションマップE3が示される。被写体の顔はオブジェクト特定セグメンテーションマップE3では大きく２つのセグメントに分けられる。これは欠落した画素の色が肌色と類似していないからである。しかしながら、非オブジェクト特定セグメンテーションマップE2では顔領域に大きなセグメントが残されている。これは顔の中の画素の色は互いに似ているからである。これと反対のことが異なる画像において成り立つかもしれない。すなわち、非オブジェクト特定セグメンテーションマップE2では複数の部分に、オブジェクト特定セグメンテーションマップE3では１つの部分に、顔が分割される。本例では、同一のシーンに対し異なる解釈や補完的な解釈を与える複数のセグメンテーションマップを使用することの必要性を示している。
【００７９】
複数のセグメンテーションマップを利用する特別なケースとして、同一のセグメンテーション方法に対し、いくつかの異なるパラメータを設定し複数のセグメンテーションマップを生成するという方法も考えられるであろう。また、利用可能な複数のセグメンテーションアルゴリズムから動的に１つ以上のセグメンテーションアルゴリズムを選択するという方法も考えられるであろう。
【００８０】
再び図１を参照するに、非オブジェクト特定セグメンテーションマップ１４（例えば、E2）とオブジェクト特定セグメンテーションマップ１８（例えば、E3）が、赤目ペア分類器３４及びフェース検証器３６においてオブジェクト検出と位置検出に利用されるセグメンテーションマップ３２に併合される。赤目ペアのオブジェクト検出と位置検出には、以下で詳述される検出された赤目のリスト３８を特定する前述の米国特許第6,292,574号により開示される方法が利用される。
【００８１】
図９を参照するに、赤目ペア分類器３４により赤目のオブジェクト検出及び位置検出を実行するため本発明に適用される米国特許第6,292,574号において利用される方法のフローチャートが示される。図示された処理は、ステップS4において、画像中のすべての分離された連続スキンカラー領域を特定することにより開始される。ステップS4には、非オブジェクト特定セグメンテーションマップ１４とオブジェクト特定セグメンテーションマップ１８から併合マップ３２を生成するための前述の方法が含まれている。ステップS8からS30において、赤目ペア分類器３４が実現される。
【００８２】
図９及び図１０に示されるように、ステップS6においてスキンマップ（図４）からスキン領域のすべてを含む最小の長方形領域を抽出することによりスキンカラー領域のサブマップが形成される。例えば、図１０のスキン領域２３０ｂは図４のスキン領域２３０aに対応している。図１０は、サブマップとしての各分離した連続スキンカラー領域のマップを示している。サブマップの左上に対応するスキンマップの列と行は、それぞれColcutout、Rowcutoutと呼ばれる。このサブマップにおいて、２５５のコード値（白）は、画素がスキンカラーとなっている位置にあるということを示している。０のコード値（黒）はスキンカラーでないということを示している。
【００８３】
図９及び図１１を参照するに、ステップS8において、楕円２３５がステップS６で検出されたスキンカラーサブマップに適合される。楕円を２値画像に適合する方法は、「Computer  and  Robot  Vision  Volume  I,  Robert  M.  Haralick  and  Linda  G.  Shapiro,  Addison-Wesley  (1992),  pp.  639-658」において紹介されている。人間の顔は楕円として近似することができる。従って、もしスキンカラーサブマップが人間の顔であれば、楕円を使ってスキンカラーマップは良好に適合され、楕円の短軸は顔の幅にほぼ等しくなる。楕円のスキンカラーサブマップへの適合度は以下の式によって与えられる。
【００８４】
【数１４】
2010102725.tif 000019
ただし、Nはマップ内のスキンカラー画素数（コード値２５５）、Noutは楕円外のスキンカラー画素数、Ninは楕円内のスキンカラー画素数、Aは楕円内の画素数を表す。Aは楕円領域と呼ばれる。もしすべてのスキンカラー画素が楕円内にあり、スキンカラー画素数と楕円領域が一致していれば、適合度Fitは１となり、完全に適合される。スキンカラー画素が楕円外にあるか、あるいは楕円領域がその中のスキンカラー画素数より大きいとき、適合度Fitの値は減少する。Fitが0.70に設定された所定の値MinEllipseFitより小さいとき、スキンカラー領域は顔でないと判断でき、ステップS10においてさらなる処理は実行されない。
【００８５】
スキンカラーサブマップが顔であるかどうかを示すもう１つの方法では、以下の式により与えられる楕円の縦横比AspectRatioが利用される。
【００８６】
【数１５】
2010102725.tif 000020
ただし、Dmajorは楕円の長軸における画素数であり、Dminorは楕円の短軸における画素数である。縦横比AspectRatioが3.0に設定されたMaxAspectRatioより大きければ、スキンカラー領域はあまりに長細いので顔ではないオブジェクトに対応している。スキンカラー領域が顔でないと判断されれば、ステップS10の処理は実行されない。
【００８７】
スキンサブマップが楕円に対して受け入れ可能な適合度を有し、かつその楕円が受け入れ可能な縦横比を持てば、そのスキンサブマップは潜在的に顔の位置を示しているとみなしうる。次に、以下の式によるリサイズ係数Sprescaleが求められる。
【００８８】
【数１６】
2010102725.tif 000021
ただし、７５画素に設定されたAimEyeDistanceは両目の間の望ましい距離であり、2.0に設定されたFaceWidthEyeDistanceRatioは典型的な幅と両目の距離との比を表す。もしSprescaleが0.10のMinPrescaleより小さいか、あるいは1.50のMaxPrescaleより大きければ、このスキンカラー領域にはステップS10は実行されない。ステップS12では、カラー画像からサブマップの位置にちょうど対応したサブカラー画像が抽出される。楕円の短軸が顔の幅にほぼ等しいとき、両目の間の距離はAimEyeDistanceに近似する。図１２は、このようにリサイズされたサブカラーマップ２４０を示す。実際の画像はカラー画像であるが、図１２ではグレースケールとして描かれている。図１３は、ステップS14においてリサイズされた各サブカラー画像に対応した楕円２５０を示している。実際、画像が処理されるとき、領域外の画素が処理されないようにリサイズされたサブカラー画像とサブマップの端に行と列が追加されることが望ましい。画像の上下にはPad行が、左右にはPad列が追加される。
【００８９】
ここで、顔の形状を有するスキンカラー領域が特定されたとすると、候補となる赤目の位置が図１４において詳細に示されるステップS16で特定される必要がある。図１４を参照するに、わずかな赤い特徴を特定するために、サブカラー画像２４０が処理される。ここでの処理は、ステップS16aにおける以下の式で与えられる画素値Xを有する新たな単一のバンド画像を定義することにより開始される。
【００９０】
X  =  R  −  Max(G,  B)
ただし、R,  G,  Bはそれぞれサブカラー画像の赤、緑、青のコード値を表す。
【００９１】
この新たな画像において、赤目は瞳の輝きによる中央部に低いコード値を有する小さな領域を備えた高いコード値の小さな楕円領域として現れる。輝きによる影響は、例えば３×３カーネルのW_close×W_closeカーネルを利用したグレイスケールモルフォロジクロージング（morphological  closing）を実行することにより削除される。グレイスケールモルフォロジ演算に関しては、「Image  Analysis  and  Mathematical  Morphology,  Volume  1,  Jean  Serra,  Academic  Press  (1982),  pp.424-478」に説明されている。
【００９２】
次に、ステップS16dにおいて、高いコード値を有する小領域が、例えば５×５カーネルのW_open×W_openカーネルを用いたグレイスケールモルフォロジオープニング操作により取り除かれる。ステップS16dにおいて、オープンされた画像がクローズされた画像から差し引かれ、残差画像が形成される。この画像には、オープンされた画像にあったものでクローズされた画像になかったものが示される。すなわち、高いコード値を有する小領域がサブカラー画像のわずかな赤い特徴に対応している。次に、ステップS16eにおいて、残差画像が以下に示されるカーネルを有する線形フィルタによりスムージングされる。
【００９３】
【数１７】
2010102725.tif 000022
スムージングされた残差画像の各画素に対し、その画素を中心とする７×７のウィンドウが検討される。ステップS16fにおいて、当該画素のコード値が５に設定された閾値Tpeakを以上で、かつウィンドウ内の他のすべての画素のコード値以上であれば、その画素はピーク（peak）として分類される。図１５は、図１２のすべてのサブカラー画像に対するピーク２３７を示す。スムージングされた残差画像においてすべてのピークが検出された後、ステップS16gにおいて各ピークが検討される。ある画素がピークとして分類され、この画素の西、北西あるいは北東方向の隣接画素もまたピークとして分類されれば、当該ピークはステップS16hにおいて削除される。
【００９４】
ピークとして分類された画素は赤目の候補となる。しかしながら、ピークの位置は赤目ではなく瞳の中の輝きに一致してる可能性がある。このため、ステップS16iにおいてピークからの距離が２のGlintRadus内にある画素が検討される。赤目の候補画素は以下で定義される最大カラースコアPcolorを有する隣接画素にシフトされる。
【００９５】
次に、赤目画素候補が類似の色の連続画素領域を拡大するためのシード（seed）として使用される。この画素領域の画素数がMinSizeより小さいか、あるいはMaxSizeより大きいとき、この画素領域は赤目を生じるサイズではなく、赤目画素候補から除かれる。
【００９６】
上記処理により、ステップS16kにおいて、各サブカラー画像に対して赤目画素の候補マップが生成される。図１３の楕円は潜在的に顔と特定された図１２の対応するサブカラー画像における領域の近似マップである。従って、楕円の内部の候補となる赤目画素のみが図１６に示される目検出の次の段階で考察される。
【００９７】
再び図９を参照するに、目を検出することの目的は、赤目画素の候補が本当に目の一部であるかを決定することにある。ステップS18における目の検出には、カラー画像をモノトーン化したものが必要とされる。次の等式
【００９８】
【数１８】
2010102725.tif 000023
を利用した緑画素コード値を変換することによりコントラストが上げられた後、カラー画像の緑バンドが利用される。ただし、Gは緑バンドのコード値、γは2.0に設定されたパラメータである。このカラー画像をモノトーン化したものは、ルミナンス画像（luminance  image）と呼ばれる。
【００９９】
目検出処理におけるステップS20は、テンプレートマッチング処理に基づく。テンプレートとしては、任意の目の画像あるいは目の画像の任意の組み合わせが利用可能である。図１７に示される画像２６０は左目のテンプレートを示している。また画像２７０はこのテンプレートのゾーンへの分割を示している。ゾーン１は眉領域、ゾーン２と３はそれぞれ目の左側と右側、ゾーン４は瞳とアイリス（iris）を含んでいる。この目のテンプレートは、両目の間の距離が306画素のTemplateEyeDistanceであって、かつこの両目の傾きがほぼ０である画像から取られたものである。上述のように、リサイズされたカラーサブ画像の赤目のペアは、ほほAimEyeDistance（７５画素）だけ離れているべきである。従って、テンプレートを適切なサイズにするために、一方の目が以下の式
【０１００】
【数１９】
2010102725.tif 000024
で与えられる係数によりリサイズされる。
【０１０１】
実際、楕円の短軸から顔の幅を推定することは、常に正確に行われるとは限らない。また目は傾いているかもしれない。このため前述の左目テンプレートとゾーンマップから始めて、ステップS22において様々なサイズや向きをもつ左目、右目（左目のミラーイメージ）及びゾーンマップが生成される。オリジナルのアイテンプレートとゾーンマップは、SStepのインクリメントによりS0×NarrowからS0×Wideにリサイズされる。Narrow,  Wide及びSStepの好適な値はそれぞれ1.5、0.50及び0.05である。各リサイズ係数に対して傾きを調整するために、ステップS22においてTStepの角度のインクリメントで-MaxTilt（時計回りに）MaxTiltの範囲で傾けられたテンプレートやゾーンマップが生成される。MaxTiltの好適な値は３０°であり、TStepの好適な値は2.0°である。
【０１０２】
図１６を参照するに、図９のステップS２０の詳細なフローチャートが示されている。ステップS２０aにおいて左右の赤目ペアに属する赤目画素の候補のペアが検討される。ステップS２０bにおいて、オリジナルのアイテンプレートに対する目のスケールは候補となる赤目画素ペア間の距離と以下の等式によって関連付けられる。
【０１０３】
【数２０】
2010102725.tif 000025
ただし、LP（RP）は左（右）赤目画素の候補の列、Ll（Rl）は左（右）赤目画素の候補の行を表す。（列番号は１から始まり左から右に増えていく。行番号は１から始まり上から下へ増えていく。）赤目画素間の傾きは以下の式により与えられる。
【０１０４】
【数２１】
2010102725.tif 000026
上述のように、解像度SStepでのS0×NarrowからS0×Wideの範囲のリサイズ係数と解像度TStepでの-MaxTiltからMaxTiltまでの角度で、アイテンプレートとゾーンマップテンプレートが調整される。候補となる赤目画素のペアに対してSpairとTiltの値に最も近い左目アイテンプレート、右目アイテンプレート及びゾーンマップが以下の相関ステップにおいて利用される。もしSpairとTiltがこの範囲外にあるとき、このペアにはさらなるステップS20cの処理が実行されない。
【０１０５】
あるアイテンプレートが選択された後、次のステップは赤目画素の周囲の領域が目にマッチしているかどうか判断される。この決定は、ステップS20dにおいてルミナンス画像の候補となる左赤目画素の周囲の領域と左目アイテンプレートの相関と、候補となる右赤目画素の周囲の領域と右目アイテンプレートの相関とを実行することにより行われる。相関プロセスの１つのステップにおいて、テンプレートとルミナンス画像の画素をマッチさせ、それらのコード値の積を計算する。テンプレート画像の中心は、目の中心に対応している。候補となる赤目画素は接近しているが、必ずしも目の中心に位置しないので、この候補となる赤目画素の周囲の長さ３のLookAround距離により画成される正方形の内部のすべての画素にマッチするテンプレートの中心との相互の関連付けを複数回実行する。この相互の関連付けは、テンプレートのゾーン１から４に対して別々に実行される（図１７参照）。これらの相関はCz1,  Cz2,  Cz3及びCz4と呼ぶことにする。さらに、全体の相関がゾーン１から４の和からなる領域に対し計算される。この全体の相関をCと呼ぶことにする。最大の全体相関値Cを有する赤目画素の候補の周囲の正方形内の画素は、その赤目画素の候補を含む目の中心の最良の推定である。この画素をアイセンター画素と呼ぶことにする。左右両方の赤目画素候補がそのアイセンター画素を持っている。
【０１０６】
相関プロセスが以下で詳述される。テンプレート画像が関数Φ(p,  l)により表される。ただし、pは列番号、lは行番号を表す。テンプレートの列数と行数は、それぞれwとhにより表される。アイテンプレートの中心位置は、目の中心にほぼある。テンプレートのゾーンは以下で与えられる積Πを計算することによって、列p0と行l0におけるΓ(p,  l)によって表されるルミナンス画像と相互に関連付けされる。
【０１０７】
【数２２】
2010102725.tif 000027
ただし、p∈Zは列pがゾーンZにあるということを意味し、l∈Zは行lがゾーンZにあるということを意味する。またNzはゾーン内の画素数を表す。またゾーンZにおけるテンプレートの以下の式で与えられる平均コード値も
【０１０８】
【数２３】
2010102725.tif 000028
計算される。さらに、ゾーンZにおけるテンプレートの標準偏差もまた以下の式に従って計算される。
【０１０９】
【数２４】
2010102725.tif 000029
同様にして、
【０１１０】
【数２５】
2010102725.tif 000030
を使ってゾーンZのルミナンス画像の平均コード値と、
【０１１１】
【数２６】
2010102725.tif 000031
を使ってその標準偏差が計算される。
【０１１２】
以上の式に従い計算された値を使って、ルミナンス画像とゾーンZのテンプレートの相関が以下の式により求められる。
【０１１３】
【数２７】
2010102725.tif 000032
画像とテンプレートのコード値がゾーンZにおいて完全に一致しているとき、CZは1.0となる。一方、画像とテンプレートが完全に相関がないとき、CZは０となる。
【０１１４】
アイセンター画素に対してC,  Cz1,  Cz2,  Cz3及びCz4の値は、ステップS20eにおける赤目画素ペアの候補がサブカラー画像において赤目の一部となる確率を表すスコアの計算に使われる。各相関は、0.0から1.0までの対応するスコアリング関数の変数として使われる。例えば、pC(C)として表される全体の相関に関するスコアリング関数は、もしあるアイセンター画素に対するCの値が当該画素が実際には目の中心にないということを示していれば、pC(C)  =  0.0となる。一方、もしCの値がテンプレートと目に関して典型的な相関関係を示す範囲にあれば、PC(C)  =  1.0となる。それ以外では、pC(C)はそれらの中間の値をとる。スコアリング関数と以下で紹介される他のスコアリング関数が図１８に示される。
【０１１５】
候補となる赤目のペアに対する全体のスコアに後で結合されるスコアは、これらのスコアリング関数に基づき定義される。以下の等式により、全体の相関Cに関するスコアPcorrは、
Pcorr  =  pC(C)
と定義される。
ゾーン相関に関するスコアPzoneは、ゾーン相関スコアリング関数の加重平均である。ゾーン４（瞳）における相関は他のゾーンよりも目の存在を示すより信頼性の高いとして使われる。このため、ゾーン４は他のゾーンよりもより大きなウェイトが置かれる。典型的には、そのウェイトWは6.0に設定される。このときPzoneは以下の式によって与えられる。
【０１１６】
【数２８】
2010102725.tif 000033
もしアイセンター画素における中心となるルミナンス画像の特徴が実際に目であるとき、全体の相関Cを求める過程において計算されるルミナンス画像の標準偏差σГは適切な指標となる。例えば、もしσГがかなり小さければ、この特徴はあまりに低いコントラストを有するので、目とは判断されない。これにより、σГに関するスコアは以下の式により定義することにする。
【０１１７】
Psigma  =  pSigma(σГ)
最終的に、候補となる赤目画素の色は実際の赤目を示しているに違いない。この計算のため、候補となる赤目画素の赤、緑および青のコード値が、明度（Lum）、色相（Hue）及び彩度（Sat）の値に変換される。明度は以下のように計算される。
【０１１８】
【数２９】
2010102725.tif 000034
明度Lumの値は０から可能な最大コード値までの範囲をとる。彩度Satは以下の式により求められる。
【０１１９】
【数３０】
2010102725.tif 000035
彩度Satは0から100までの範囲をとる。色相については、「Computer  Graphics  Principles  and  Practice  2nd  ed.,  Addison-Wesley  Publishing  Company,  page  592」に記載の定義に従う。ここでは、赤が120°の色相角度にシフトされるという点が除かれる。色相Hueの値は、0°から360°の範囲をとってもよい。候補となる赤目画素の色に関するスコアは、
Pcolor  =  pL(Lum)pH(Hue)pS(Sat)
によって定義される。
【０１２０】
この結果、赤目画素の候補が実際に画像中の赤目の一部になっている確率を示すスコアPeyeが求められる。このスコアは、
Peye  =  PcorrPzonePsigmaPcolor
により定義される。この値は0.0から1.0の範囲をとる。スコアPeyeはペアとなる赤目画素の候補の左右両方に対し計算される。この２つの値の平均は、
【０１２１】
【数３１】
2010102725.tif 000036
により与えられる。Ppairが最大となる赤目画素の候補ペアを、ステップS20fにおける赤目画素のベストの候補ペアと呼ぶことにする。もしPpairが0.05に設定された閾値MinEyeScoreを上回れば、さらなる処理が実行される。一方、もしPpairが0.05に設定された閾値MinEyeScoreを上回っていなければ、ステップS20gにおいて赤目ペアは当該サブカラー画像には存在しないと判断される。
【０１２２】
検出された赤目ペアが人間の顔の領域にあることを保証することによって、赤目ペアの偽陽性検出を最小化することが重要である。本発明の好適な実施例では、図１におけるフェース検証３６がフェース検出器を検出された赤目ペアの周囲の領域に適用することにより実行される。もしフェース検出器が顔を検出すればこの赤目ペアは確定され、一方もし顔が検出されなければ、検出された赤目ペアは偽と判定され、削除される。人間の顔の検出に関しては、例えば、「”Face  Detection  in  Still  Gray  Images”,  B.  Heisele,  T.  Poggio,  M.  Pontil,  MIT  Artificial  Intelligence  Lab,  Memo  1687,  May  2000」あるいは米国特許第5,710,833号「”Detection,  recognition  and  coding  of  complex  objects  using  probabilistic  eigenspace  analysis”,  Moghaddam  and  Pentland」のような従来技術が知られている。フェース検証３６に従い、赤目のリスト３８が生成され、赤目補正段階４０において赤目リストに関して補正が開始されてもよい。より望ましいかつ美しい瞳の色変換を行うために、黒のようなより自然な色に赤い画素を置き換えることにより補正が実行される。
【０１２３】
赤目ペアの存在を判断するより計算量の少ない方法では、図９のステップS２４において顔を２つに分ける直線に関して人間の顔はほぼ対称になるという事実を利用している。このため、赤目画素のベストな候補ペアを結ぶ直線の傾きが０になるようサブカラー画像が回転される。次に、このペアの中点を中心とする画像がサブカラー画像から抽出される。この画像は、横幅が赤目画素の候補ペア間の距離の1.5倍、縦が横幅の1/4のサイズをもつ。次に、この画像が半分に切断される。この左ハーフ画像はExleft(p,  l)と、右ハーフ画像はExright(p,  l)と呼ばれる。ただし、上付き添え字xはカラー画像のバンドを表す。例えば、Erleft(p,  l)は、画像の赤バンドを表す。右ハーフ画像における列は鏡像になるよう反転される（例えば、第１列が最終列になる）。Exleft(p,  l)とExright(p,  l)の相互の関連付けが、まず以下の式のような積の和を計算することにより実行される。
【０１２４】
【数３２】
2010102725.tif 000037
ただし、pとlはそれぞれハーフ画像の列と行を表し、上式での和はハーフ画像のすべての列と行に関して行われる。またNはハーフ画像中の画素数を表す。このとき相関は以下の式により与えられる。
【０１２５】
【数３３】
2010102725.tif 000038
ただし、MxleftとMxrightはハーフ画像のバンドxの平均コード値を、σxleftとσxrightは標準偏差を表す。スコアPsymは対称スコアリング関数pSym(Cxsym)に基づき、以下のように定義される。
【０１２６】
Psym  =  pSym(Crsym)pSym(Cgsym)pSym(Cbsym)
最終的なスコアPは、以下で示されるPsymとPpairの積となる。
【０１２７】
P  =  PsymPpair
もし0.0から1.0までの値をとりうるこのスコアが0.05に設定された閾値MinScore以上であれば、ステップS２６において候補となる赤目画素ペアはリサイズされたサブカラー画像において赤目不良ペアの位置を表しているとみなされる。
【０１２８】
最終的にステップS２８において、オリジナルカラー画像の左右の赤目不良の位置が、リサイズされたサブカラー画像の左右の赤目画素の候補の位置に基づき、以下の式を使って計算される。
【０１２９】
【数３４】
2010102725.tif 000039
【０１３０】
【数３５】
2010102725.tif 000040
ただし、pとlはリサイズされたサブカラー画像における左の候補となる赤目画素の列と行をそれぞれ表し、p’とl’はオリジナルカラー画像における対応する位置を表す。
【０１３１】
２つの異なるスキンカラー領域は、楕円に適合された後、重なり合ったり、あるいは接近することがある。その結果、同一の赤目ペアが２回検出されたり、あるいは２つの赤目ペアが互いに接近し過ぎて赤目として検出されなかったりすることがある。このため、カラー画像中のすべての赤目ペアの位置が確定された後、任意の２つの赤目ペアが２０画素分に設定されたMinInterpairEyeDistance以下しか間隔がないかどうか判定される。もしペア間の間隔がMinInterpairEyeDistance以下しかなければ、ステップS３０においてスコアの小さいペアが削除される。
【０１３２】
本発明は、人間の顔や赤目以外のオブジェクト、例えば、馬の検出に適用可能である。「”Body  Plans”,  Forsyth  and  Fleck,  Proceedings  of  IEEE  International  Conference  on  Computer  Vision  and  Pattern  Recognition,  1997」において、デジタル画像における馬検出システムが提案されている。このシステムは、色とテクスチャ基準を利用して、画像を馬領域の候補にセグメント化し、関連する幾何学的推論をサポートするいわゆる「ボディープラン」を利用して、拡大されたセグメントや領域を組み合わせる。このボディープランは本質的に馬体の位相モデルである。この馬検出システムの検出率は本発明により改善されうる。具体的には、ForsythとFleckにより提案されたシステムでは、オブジェクト特定セグメンテーションマップのみを用いているので、非オブジェクト特定セグメンテーションマップを付け加えることにより、馬に対応する領域が画像から適切に抽出される確率を、言い換えると正確に馬を検出する確率を高めることができる。色とテクスチャ基準を利用した非オブジェクト特定セグメンテーションマップは、色とテクスチャ性質の両方に基づいたセグメンテーション方法を利用して得ることができる（「”Markov  Random  Filed  Models  for  Unsupervised  Segmentation  of  Textured  Color  Images”,  Panjwani  and  Healey,  IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence,  vol.  17,  no.  10,  October  1995,  pp.  939-954」を参照）。顔の検出と同様に、馬の所定のボディープランに対するパターンマッチングのために併合されたセグメンテーションマップが利用されたり、２つのセグメンテーションマップを用いて馬が検出され、馬領域の完全な抽出と余分な検出の削除を行うため検出結果が併合される。
【０１３３】
本発明は、デジタル画像認識技術に関する。ここでのデジタル認識技術とは、認識すべきデジタル画像のデジタル処理技術を意味するものであり、人間が認識可能なオブジェクト、属性あるいは状態に有用な意味づけが行われる。
【０１３４】
以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、様々な変形及び変更が可能である。
【符号の説明】
【０１３５】
１０    入力画像
１２    カラーセグメンテーションステージ
１４    カラーセグメンテーションマップ
１６    オブジェクト特定パス
１８    オブジェクト特定セグメンテーションマップ
２０    スキン画素検出ステージ
２２    適応型判別ステージ
２４    領域抽出ステージ
２６    領域拡大ステージ
２８    形状分解ステージ
３０    併合ステージ
３２    併合セグメンテーションマップ
３４    赤目ペア分類器
３６    フェース検証器
３８    赤目リスト
４０    赤目補正ステージ
１１０    コンピュータシステム
１１２    マイクロプロセッサベースユニット
１１４    ディスプレイ
１１６    キーボード
１１８    マウス
１２０    セレクタ
１２２、１３２    ドライブ装置
１２４    コンパクトディスク
１２６    フロッピーディスク
１２８    プリンタ
１３０    PCカード
１３４    デジタルカメラ
１３６    スキャナ
１４０    通信リンク
【図１】
2010102725.tif 000041
【図２】
2010102725.tif 000042
【図３】
2010102725.tif 000043
【図４】
2010102725.tif 000044
【図５Ａ】
2010102725.tif 000045
【図５Ｂ】
2010102725.tif 000046
【図５Ｃ】
2010102725.tif 000047
【図６】
2010102725.tif 000048
【図７】
2010102725.tif 000049
【図８】
2010102725.tif 000050
【図９】
2010102725.tif 000051
【図１０】
2010102725.tif 000052
【図１１】
2010102725.tif 000053
【図１２】
2010102725.tif 000054
【図１３】
2010102725.tif 000055
【図１４】
2010102725.tif 000056
【図１５】
2010102725.tif 000057
【図１６】
2010102725.tif 000058
【図１７】
2010102725.tif 000059
【図１８】
2010102725.tif 000060