(57)【要約】      （修正有）【課題】色のみに依存せず、形状により赤目を検出する方法、装置及び記憶媒体を提供する。【解決手段】画像中の顔領域を識別する工程と、前記顔領域の中の赤目領域の候補を識別する工程と、前記赤目領域の候補を少なくとも部分的に覆い、前記顔領域と同一の向きを有する幾何学的図形を選択する工程と、前記幾何学的図形の少なくとも１つの特性値を計算する工程と、前記少なくとも１つの特性値に基づいて、前記赤目領域の候補を分類する工程とから成ることを特徴とする画像処理方法を提供する。赤目は、形状に基づいて、顔画像の中でのみ検出される。検出時の速度及び精度が共に向上する。【選択図】  図３
2006072993.tif 000002
【特許請求の範囲】
【請求項１】
画像中の顔領域を識別する工程と、
前記顔領域中の赤目領域の候補を識別する工程と、
前記赤目領域の候補を少なくとも部分的に覆い、且つ前記顔領域と同一の向きを有する幾何学的図形を選択する工程と、
前記幾何学的図形の少なくとも１つの特性値を計算する工程と、
前記少なくとも１つの特性値に基づいて、前記赤目領域の候補を分類する工程と
を有することを特徴とする画像処理方法。
【請求項２】
前記幾何学的図形は、前記赤目領域の候補に対する外接矩形であることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記少なくとも１つの特性値は、前記外接矩形の縦横比を含むことと、前記縦横比が第１の範囲から外れている場合、前記赤目領域の候補は、偽赤目として、又は偽赤目である可能性が高い候補として分類されることを特徴とする請求項２に記載の画像処理方法。
【請求項４】
前記少なくとも１つの特性値は、前記外接矩形の面積比を含み、前記面積比が第１の所定の数より小さい場合、前記赤目領域の候補は、偽赤目として、又は偽赤目である可能性が高い候補として分類されることを特徴とする請求項２に記載の画像処理方法。
【請求項５】
前記少なくとも１つの特性値は、前記外接矩形の幅及び前記外接矩形の高さを含み、前記外接矩形の幅が瞳孔の幅より大きい場合、前記赤目領域の候補は、偽赤目として、又は偽赤目である可能性が高い候補として分類され、前記外接矩形の高さが前記瞳孔の幅より大きい場合、前記赤目領域の候補は、偽赤目として、又は偽赤目である可能性が高い候補として分類されることを特徴とする請求項２に記載の画像処理方法。
【請求項６】
前記瞳孔の幅は、前記顔領域の幅及び前記顔領域の高さのうちの小さいほうの値の５分の１であることを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記少なくとも１つの特性値は、前記外接矩形の面積を含み、前記外接矩形の面積が、瞳孔の面積に第２の所定の数を乗算した値より小さい場合、前記赤目領域の候補は、偽赤目として、又は偽赤目である可能性が高い候補として分類されることを特徴とする請求項２に記載の画像処理方法。
【請求項８】
前記幾何学的図形は、前記赤目領域の候補に対する外接矩形の内接楕円であることを特徴とする請求項１に記載の画像処理方法。
【請求項９】
前記少なくとも１つの特性値は、前記内接楕円の長軸と短軸との比を含み、前記長軸と短軸との比が第１の範囲から外れている場合、前記赤目領域の候補は、偽赤目として、又は偽赤目である可能性が高い候補として分類されることを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記少なくとも１つの特性値は、前記内接楕円の面積比を含み、前記面積比が第１の所定の数より小さい場合、前記赤目領域の候補は、偽赤目として、又は偽赤目である可能性が高い候補として分類されることを特徴とする請求項８に記載の画像処理方法。
【請求項１１】
前記少なくとも１つの特性値は、前記内接楕円の長軸及び前記内接楕円の短軸を含み、前記内接楕円の長軸が瞳孔の幅より大きい場合、前記赤目領域の候補は、偽赤目として、又は偽赤目である可能性が高い候補として分類され、前記内接楕円の短軸が前記瞳孔の幅より大きい場合、前記赤目領域の候補は、偽赤目として、又は偽赤目である可能性が高い候補として分類されることを特徴とする請求項８に記載の画像処理方法。
【請求項１２】
前記瞳孔の幅は、前記顔領域の幅及び前記顔領域の高さのうちの小さいほうの値の５分の１であることを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
前記少なくとも１つの特性値は、前記内接楕円の面積を含み、前記内接楕円の面積が、瞳孔の面積に第２の所定の数を乗算した値より小さい場合、前記赤目領域の候補は、偽赤目として、又は偽赤目である可能性が高い候補として分類されることを特徴とする請求項８に記載の画像処理方法。
【請求項１４】
画像中の顔領域を識別する顔領域識別器回路と、
前記顔領域中の赤目領域の候補を識別する候補識別器回路と、
前記赤目領域の候補を少なくとも部分的に覆い、且つ前記顔領域と同一の向きを有する幾何学的図形を選択する幾何学的図形選択器と、
前記幾何学的図形の少なくとも１つの特性値を計算する計算器と、
前記少なくとも１つの特性値に基づいて、前記赤目領域の候補を分類する分類器と
を備えることを特徴とする画像処理装置。
【請求項１５】
前記幾何学的図形は、前記赤目領域の候補に対する外接矩形であることを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記計算器は、前記外接矩形の縦横比を計算し、前記縦横比が第１の範囲から外れている場合、前記分類器は、前記赤目領域の候補を、偽赤目として、又は偽赤目である可能性が高い候補として分類することを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記幾何学的図形は、前記赤目領域の候補に対する外接矩形の内接楕円であることを特徴とする請求項１４に記載の画像処理装置。
【請求項１８】
画像を処理するための機械可読コンピュータプログラムコードにより符号化され、請求項１から１３のいずれか１項に記載の方法をプロセッサに実行させるための命令を含む記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に関し、特に、赤目が検出されるような画像を処理する方法、装置及び記憶媒体に関する。
【背景技術】
【０００２】
赤目は、人間の瞳孔の周囲に不自然な赤い色調が出現することである。通常、その原因は、血管からのフラッシュ反射の光である。現在、赤目を識別する数多くの方法がある。
【０００３】
赤目を識別する既存の方法においては、まず、デジタル画像で、赤目領域の複数の候補を識別し、次に、それらの赤目領域の候補が赤目であるか否かを判定するために、検出又は計算が実行される。通常、赤目は、形状ではなく、色によって検出される。画像中に、赤目に似たいくつかの領域が存在する場合があり、そのような状況においては、色にのみ依存する検出方法は、数多くの偽赤目を生成してしまう。そのような場合、色に基づく検出方法の精度は高くない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、形状により赤目が検出されるような画像を処理する方法、装置及び記憶媒体を提供することである。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明は、
画像中の顔領域を識別する工程と、
前記顔領域中の赤目領域の候補を識別する工程と、
前記赤目領域の候補を少なくとも部分的に覆い、且つ前記顔領域と同一の向きを有する幾何学的図形を選択する工程と、
前記幾何学的図形の少なくとも１つの特性値を計算する工程と、
前記少なくとも１つの特性値に基づいて、前記赤目領域の候補を分類する工程とを有することを特徴とする画像処理方法を提供する。
【０００６】
更に、本発明は、
画像中の顔領域を識別する顔領域識別器回路と、
前記顔領域の中の赤目領域の候補を識別する候補識別器回路と、
前記赤目領域の候補を少なくとも部分的に覆い、且つ前記顔領域と同一の向きを有する幾何学的図形を選択する幾何学的図形選択器と、
前記幾何学的図形の少なくとも１つの特性値を計算する計算器と、
前記少なくとも１つの特性値に基づいて、前記赤目領域の候補を分類する分類器とを備えることを特徴とする画像処理装置を提供する。
【０００７】
更に、本発明は、画像を処理するための機械可読コンピュータプログラムコードによって符号化された記憶媒体であって、本発明による方法をプロセッサに実行させるための命令を含む記憶媒体を提供する。
【０００８】
本発明の方法、装置及び記憶媒体によれば、赤目領域の候補を少なくとも部分的に覆い、且つ顔領域と同一の向きを有する幾何学的図形の形状に基づいて、赤目が検出される。また、赤目は、画像全体ではなく、その画像の中で先に検出されていた顔領域においてのみ検出される。赤目を検出する速度及び精度は、共に、向上する。
【０００９】
更に、本発明の方法は、様々に異なる状況に適応するように、赤目領域の候補を識別する従来の様々な方法と容易に組み合わせることが可能である。
【００１０】
本発明のその他の特徴及び利点は、例を挙げて本発明の原理を示す添付の図面と関連する以下の好ましい実施形態の説明から更に明らかになるであろう。
【発明を実施するための最良の形態】
【００１１】
以下の説明中、人間の顔領域の候補をいかにして識別するか、顔の中の目領域をいかにして識別するかに関しては、本出願と同一の出願人により２０００年９月１５日に出願された中国特許出願第００１２７０６７．２号、同一の出願人により２００１年９月６日に出願された中国特許出願第０１１３２８０７．Ｘ号、同一の出願人により２００２年１２月１３日に出願された中国特許出願第０２１５５４６８．４号、同一の出願人により２００２年１２月３０日に出願された中国特許出願第０２１６００１６．３号、同一の出願人により２００３年６月１８日に出願された中国特許出願第０３１３７３４５．３号などを参照できる。これらの出願は、参考として、本明細書に取り入れられている。しかし、それらの出願に開示される人間の顔領域の候補を識別する方法及び目領域を識別する方法は、本発明に対する制約とはならない。人間の顔領域の候補を識別する従来の方法又は画像中の目領域を識別する方法は、いずれも、本発明において利用されてもよい。
【００１２】
図７は、画像中の目領域を識別する方法の一例を示す。この方法は、ステップ７０１で開始する。次に、ステップ７０２で、画像の各コラムが、複数のインターバルに分割される。
【００１３】
ステップ７０３で、目領域の候補を生成するために、隣接するコラムにおける谷領域が併合される。次に、ステップ７０４で、目領域の各候補が真の目領域であるか、又は偽の目領域であるかが判定される。
【００１４】
図８は、画像中の顔矩形を識別する方法の一例を示す。この方法は、ステップ８０１で開始する。次に、ステップ８０２で、画像中の２つの目領域が識別され、この２つの目領域に基づいて、顔矩形の候補が識別される。
【００１５】
ステップ８０３で、顔矩形の候補を包囲する環状領域が設定される。ステップ８０４で、環状領域中の画素ごとに、グレイレベルの傾きが計算される。ステップ８０５で、環状領域中の画素ごとに、基準傾きが計算される。ステップ８０６では、環状領域中の全ての画素に対して、グレイレベルの傾きと、対応する基準傾きとが成す角度の平均が計算される。ステップ８０７で、平均角度が第２の閾値より小さいか否かが判定される。ステップ８０７の判定が「Ｎｏ」であれば、ステップ８１０へ進み、「Ｙｅｓ」である場合には、ステップ８０８へ進む。
【００１６】
ステップ８０８で、重み付き平均角度が第３の閾値より小さいか否かが判定される。ステップ８０８の判定が「Ｎｏ」であれば、ステップ８１０へ進み、「Ｙｅｓ」である場合には、ステップ８０９へ進む。
【００１７】
ステップ８０９で、顔矩形の候補は、顔矩形（すなわち、真の顔）として分類される。ステップ８１０では、顔矩形の候補は、偽の顔（即ち偽の顔）として分類される。
【００１８】
処理は、ステップ８１１で終了する。
【００１９】
図７及び図８に示される方法の詳細に関しては、中国特許出願第０１１３２８０７．Ｘ号を参照。
【００２０】
図９は、画像中の赤目領域の候補を識別する方法の一例を示す。この方法は、ステップ９０１で開始する。次に、ステップ９０２で、画像中の１つの目領域が識別される。
【００２１】
ステップ９０３で、目領域の中で、第１の赤目領域候補数が識別される。目領域の中で、赤目領域の候補を識別するために、目領域中の画素の特性値が考慮される。ステップ９０３では、例えば、目領域中の画素の色の分散、又は画素のテクスチャ、あるいは画素の色の分散とテクスチャの組み合わせが考慮される。
【００２２】
ステップ９０４で、第１の赤目領域候補数が減少される。その結果、第２の赤目領域候補数が得られる。
【００２３】
減少するプロセスによれば、第１の赤目領域候補数の各々における各画素の少なくとも１つの特性値が評価される。評価された特性値が、赤目画素に対して設定された標準に適合しない場合、評価された画素は、関連する赤目領域の候補から除外される。従って、第１の赤目領域候補数のうちの大半の候補の面積が除去される。１つの赤目領域候補に含まれる全ての画素が除去されれば、その赤目領域の候補の存在は消滅し、その後は全く考慮されない。
【００２４】
従って、第２の赤目領域候補数、即ち、ステップ９０４が実行された後の赤目領域候補の総数は、第１の赤目領域候補数、即ち、ステップ９０４が実行される前の赤目領域候補の総数より少なくてもよい。
【００２５】
ステップ９０５で、第２の赤目領域候補数が拡張される。その結果、第３の赤目領域候補数が得られる。
【００２６】
このステップでは、第２の赤目領域候補数に含まれる各々の候補の境界画素が考慮される。「境界画素」とは、赤目領域の候補の縁部に位置する画素である。１つの境界画素の付近にある画素が、赤目画素に対して設定された標準に適合する場合、それらの画素は、関連する赤目領域の候補に含まれる。従って、第２の赤目領域候補数のうちの大半の候補の面積が拡大され、必然的に、いくつかの赤目領域の候補は、互いに併合されることになるであろう。これは、ステップ９０５の別の機能を導入する。
【００２７】
ステップ９０５の更に別の機能は、併合される赤目領域の候補を選択的に除去すること、併合される赤目領域の候補を選択的に組み合わせること、又は併合される赤目領域の候補のうちの１つを選択的に保持し、その他の候補を除去することである。
【００２８】
除去された赤目領域の候補は、その後、全く考慮されない。
【００２９】
従って、第３の赤目領域候補数、即ち、ステップ９０５が実行された後の赤目領域候補の総数は、第１の赤目領域候補数、即ち、ステップ９０５が実行される前の赤目領域候補の総数より少なくてもよい。
【００３０】
ステップ９０６で、目領域において検出される赤目として、ただ１つの赤目領域の候補が選択される。
【００３１】
ステップ９０６では、第３の赤目領域候補数に存在する画素の多くの特性値が評価される。それらの評価結果に基づいて、第３の赤目領域候補数の大半が除去される。その後、残された赤目領域の候補のスコアが確定され、最大のスコアを有する赤目領域の候補のみが更に考慮される。最大のスコアを有する唯一の赤目領域の候補が標準に適合すれば、その候補は、現在の目領域において検出された赤目として選択される。適合しない場合には、現在の目領域において、赤目は検出されない。
【００３２】
処理は、ステップ９０７で終了する。
【００３３】
図９に示される方法の詳細に関しては、中国特許出願第２００３１０１１６０３４．９号を参照。
【００３４】
図１は、本発明の一実施形態に従った画像処理方法のフローチャートである。
【００３５】
図１に示されるように、処理は、ステップ１０１で開始する。次に、ステップ１０２で、処理対象の画像において、顔領域が識別される。次に、ステップ１０３で、顔領域の中で、赤目領域の候補が識別される。画像中の顔領域を識別する方法、及び顔領域の中で赤目領域の候補を識別する方法は様々あるが、それらの方法は、本発明に対する制約とはならない。
【００３６】
次に、ステップ１０４で、赤目領域の候補に対して、外接矩形が選択される。理論上、赤目領域の候補の形状は確定されていないため、赤目領域の候補に対する外接矩形は、無数に存在する。それらの無数の外接矩形の中で、ステップ１０４では、ただ１つの外接矩形が選択される。選択される外接矩形の４つの辺のうちの１つは、顔領域の４つの辺のうちの１つと平行である。
【００３７】
ステップ１０５で、選択された外接矩形に対して、少なくとも１つの特性値が計算される。例えば、少なくとも１つの特性値は、
（１）  外接矩形の幅（Ｗ１）
（２）  外接矩形の高さ（Ｈ１）
（３）  ＡＲ＝Ｗ１／Ｈ１と定義される、外接矩形の縦横比
（４）  Ａ１＝Ｗ１＊Ｈ１と定義される、外接矩形の面積
（５）  Ｆ１＝（赤目領域の候補の面積）／Ａ１と定義される、外接矩形の面積比
の値のうちのいずれか１つ以上を含む。
【００３８】
上記の特性値は、単なる例である。上記の特性値に加えて、本発明において、他の値が更に考慮されてもよい。選択される外接矩形の特性値の種類、選択される外接矩形の向き、及び顔領域の形状は様々に異なるが、それらの相違は、本発明に対する制約とはならない。
【００３９】
次に、ステップ１０６で、外接矩形の縦横比（すなわち、ＡＲ）が第１の範囲内にあるか否かが判定される。例えば、第１の範囲は、（１／３，３）である。ステップ１０６の結果が「Ｎｏ」であれば、ステップ１１１へ進み、「Ｙｅｓ」である場合には、ステップ１０７へ進む。
【００４０】
ステップ１０７で、外接矩形の面積比（すなわち、Ｆ１）が第１の所定の数より大きいか否かが判定される。例えば、第１の所定の数は０．５である。ステップ１０７の結果が「Ｎｏ」であれば、ステップ１１１へ進み、「Ｙｅｓ」である場合には、ステップ１０８へ進む。
【００４１】
ステップ１０８で、外接矩形の幅（すなわち、Ｗ１）及び高さ（すなわち、Ｈ１）が共に瞳孔の幅より小さいか否かが判定される。例えば、瞳孔の幅は、顔領域の幅の１／５として定義されてもよい。この場合、顔領域の幅は、顔領域の幅及び顔領域の高さのうち小さいほうの値として定義されてもよい。ステップ１０８の結果が「Ｎｏ」であれば、ステップ１１１へ進み、「Ｙｅｓ」である場合には、ステップ１０９へ進む。
【００４２】
ステップ１０９で、外接矩形の面積（すなわち、Ａ１）が、瞳孔の面積に第２の所定の数を乗算した値より小さいか否かが判定される。例えば、第２の所定の数は０．３５であり、瞳孔の面積は、瞳孔の幅の二乗として定義されてもよい。ステップ１０９の結果が「Ｎｏ」であれば、ステップ１１１へ進み、「Ｙｅｓ」である場合には、ステップ１１０へ進む。
【００４３】
図１において破線で囲まれている決定ブロック１０６、１０７、１０８及び１０９の組み合わせは、単なる一例である。図１においては、ブロック１０６、１０７、１０８及び１０９は、どのように組み合わされてもよく、ブロック１０６、１０７、１０８及び１０９の中の１つのブロックを単独で実行することも可能である。従って、図１に示されるブロック１０６、１０７、１０８及び１０９の組み合わせは、本発明に対する制約とはならない。更に、図１の破線のブロックに、他の値に関連する決定ブロックが含まれてもよい。
【００４４】
ステップ１１１で、赤目領域の候補は、偽赤目として、又は偽赤目である可能性が高い候補として分類される。
【００４５】
ステップ１１０で、赤目領域の候補は、真の赤目として、又は真の赤目である可能性が高い候補として分類される。
【００４６】
ステップ１１１及び１１０の後に、ステップ１１２が続く。
【００４７】
ステップ１１２で、処理は終了する。
【００４８】
赤目領域の候補に対する外接矩形に加えて、赤目領域の候補を少なくとも部分的に覆い、且つ顔領域と同一の向きを有する他の幾何学的図形がステップ１０５で選択されてもよく、また、ステップ１０５で、それらの他の幾何学的図形に対して、対応する特性値が計算されてもよい。
【００４９】
例えば、そのような他の幾何学的図形の１つは、赤目領域の候補に対する外接矩形の内接楕円であってもよい。そのような内接楕円を識別するために、次のステップが実行されてもよい。
【００５０】
まず、顔領域の座標系において、赤目領域の候補に含まれる全ての画素に対して、最大Ｘ座標（ｍａｘ＿ｘ）、最小Ｘ座標（ｍｉｎ＿ｘ）、最大Ｙ座標（ｍａｘ＿ｙ）及び最小Ｙ座標（ｍｉｎ＿ｙ）を求める。
【００５１】
次に、楕円の中心を［（ｍａｘ＿ｘ＋ｍｉｎ＿ｘ）／２，（ｍａｘ＿ｙ＋ｍｉｎ＿ｙ）／２］とし、楕円の長軸を（ｍａｘ＿ｘ−ｍｉｎ＿ｘ＋１）／２とし、楕円の短軸を（ｍａｘ＿ｙ−ｍｉｎ＿ｙ＋１）／２とする。
【００５２】
そこで、楕円が構成されればよい。
【００５３】
楕円の特性値は、楕円の長軸と短軸との比を含んでもよい。長軸と短軸との比が１／３〜３の第１の範囲から外れている場合、赤目領域の候補は、偽赤目として、又は偽赤目である可能性が高い候補として分類される。
【００５４】
楕円の特性値は、楕円の面積比を更に含んでもよい。面積比が第１の所定の数より小さい場合、赤目領域の候補は、偽赤目として、又は偽赤目である可能性が高い候補として分類される。面積比は、赤目領域の候補及び楕円の双方に含まれる画素の数と、楕円の面積との比である。第１の所定の数は０．５である。
【００５５】
楕円の特性値は、楕円の長軸及び楕円の短軸を更に含んでもよい。楕円の長軸が瞳孔の幅より大きい場合、赤目領域の候補は、偽赤目として、又は偽赤目である可能性が高い候補として分類される。また、楕円の短軸が瞳孔の幅より大きい場合、赤目領域の候補は、偽赤目として、又は偽赤目である可能性が高い候補として分類される。瞳孔の幅は、顔領域の幅及び顔領域の高さのうちの小さいほうの値の５分の１である。
【００５６】
楕円の特性値は、楕円の面積を更に含んでもよい。楕円の面積が、瞳孔の面積に第２の所定の数を乗算した値より小さい場合、赤目領域の候補は、偽赤目として、又は偽赤目である可能性が高い候補として分類される。第２の所定の数は０．３である。瞳孔の面積は、瞳孔の幅の二乗である。瞳孔の幅は、顔領域の幅及び顔領域の高さのうちの小さいほうの値の５分の１である。
【００５７】
図２は、本実施形態の基本原理を概略的に示す。
【００５８】
図２に示されるように、図中符号２０１は、顔領域を示し、２０２は、赤目領域の候補を示し、２０３は、赤目領域の候補２０２に対する外接矩形を示し、２０４は、赤目領域の候補２０２に対する別の外接矩形を示す。
【００５９】
次に、図１及び図２を参照して、本実施形態の基本原理を説明する。
【００６０】
まず、処理対象の画像において、顔領域２０１が識別される。
【００６１】
次に、例えば、顔領域２０１の中で、赤目領域の候補２０２が識別される。顔領域２０１の中で識別できる赤目領域の候補２０２が、複数存在する場合もある。図２は、単なる一例を示す。
【００６２】
赤目領域の候補２０２は、外接矩形２０３及び２０４を含む、複数の外接矩形を有する。それらの全ての外接矩形の中で、ただ１つの特定の外接矩形が、顔領域２０１と同一の向きにある。すなわち、顔領域２０１が矩形である場合、１つの辺が顔領域２０１の１つの辺と平行であるただ１つの特定の外接矩形が存在する。図２においては、その特定の外接矩形は、図中符号２０３により示される。本発明では、この特定の外接矩形が選択され、その後、処理される。
【００６３】
図２に示されるように、顔領域２０１の幅は、Ｗとして示される。顔領域２０１の高さは、Ｈとして示される。簡単にするため、顔領域２０１の幅が、Ｗ及びＨのうちの小さいほうの値として定義されてもよいことは言うまでもない。
【００６４】
外接矩形２０３の幅は、Ｗ１として示される。外接矩形２０３の高さは、Ｈ１として示される。外接矩形２０３の縦横比は、Ｗ１／Ｈ１で定義される。外接矩形２０３の面積は、Ｗ１＊Ｈ１で定義される。外接矩形２０３の面積比は、外接矩形２０３の中で、赤目領域の候補２０２が占める面積の割合、すなわち、（赤目領域の候補２０２の面積）／（Ｗ１＊Ｈ１）で定義される。
【００６５】
本発明に従って、外接矩形２０３の上記の特性値が計算され、他の特性値が使用される場合には、それらの特性値も計算される。
【００６６】
計算された外接矩形２０３の特性値のうちの１つ以上に基づいて、赤目領域の候補２０２は、偽赤目として、又は偽赤目である可能性が高い候補として、又は真の赤目として、あるいは真の赤目である可能性が高い候補として分類される。
【００６７】
図３は、本発明の別の実施形態に従った画像処理装置のブロック図である。
【００６８】
図３において、図中符号３０１は、顔領域識別器回路を示し、３０２は、候補識別器回路を示し、３０３は、幾何学的図形選択器を示し、３０４は、特性値計算器を示し、３０５は、分類器を示す。
【００６９】
顔領域識別器回路３０１は、処理対象画像を受信し、受信した画像の中で、顔領域を識別する。候補識別器回路３０２は、顔領域識別器回路３０１により出力された顔領域の中で、赤目領域の候補を識別する。幾何学的図形選択器３０３は、赤目領域の候補を少なくとも部分的に覆い、且つ顔領域と同一の向きを有する幾何学的図形を選択する。
【００７０】
特性値計算器３０４は、幾何学的図形選択器３０３により選択された幾何学的図形に対して、少なくとも１つの特性値を計算する。この場合、少なくとも１つの特性値は、図１及び図２を参照して説明した特性値と同じ意義を有する。
【００７１】
幾何学的図形が、赤目領域の候補に対する外接矩形である場合、特性値計算器３０４は、
（１）  外接矩形の幅（Ｗ１）
（２）  外接矩形の高さ（Ｈ１）
（３）  ＡＲ＝Ｗ１／Ｈ１と定義される、外接矩形の縦横比
（４）  Ａ１＝Ｗ１＊Ｈ１と定義される、外接矩形の面積
（５）  Ｆ１＝（赤目領域の候補の面積）／Ａ１と定義される、外接矩形の面積比
の値のうちのいずれか１つ以上を計算する。
【００７２】
幾何学的図形が、赤目領域の候補に対する外接矩形の内接楕円である場合には、特性値計算器３０４は、
（１）内接楕円の長軸（Ｘａｘｉｓ）
（２）内接楕円の短軸（Ｙａｘｉｓ）
（３）Ｘａｘｉｓ／Ｙａｘｉｓと定義される、内接楕円の長軸と短軸との比
（４）内接楕円の面積（ＥｌｌｉｐｓｅＡｒｅａ）
（５）（赤目領域の候補及び楕円の双方に含まれる画素数）／ＥｌｌｉｐｓｅＡｒｅａと定義される、内接楕円の面積比（ＥｌｌｉｐｓｅＡｒｅａＲａｔｉｏ）
の値のうちのいずれか１つ以上を計算する。
【００７３】
上記の特性値は、単なる例である。上記の特性値に加えて、特性値計算器３０４により、他の値が計算されてもよい。選択された外接矩形に対して計算されるべき特性値の種類は様々に異なるが、それらの相違は、本発明に対する制約とはならない。
【００７４】
分類器３０５は、特性値計算器３０４により出力された少なくとも１つの特性値に基づいて、候補識別器回路３０２により出力された赤目領域の候補を、偽赤目として、又は偽赤目である可能性が高い候補として、又は真の赤目として、あるいは真の赤目である可能性が高い候補として分類する。
【００７５】
赤目領域の候補を分類するための条件は、先に図１に関して説明した条件と同一である。
【００７６】
図３においては、候補識別器回路３０２により識別された赤目領域の候補が分類器３０５に入力されるものとして示されるが、実際にそのように入力する必要はない。この場合、重要なことは、分類器３０５が特性値計算器３０４からの出力（すなわち、赤目領域の候補に対して選択された幾何学的図形の特性値）を受信したときに、どの赤目領域の候補を分類すべきかを分類器３０５が認識していることである。
【００７７】
その後の画像の処理に際して、分類器３０５の分類結果を使用できる。
【００７８】
尚、赤目領域の候補を、偽赤目として、又は偽赤目である可能性が高い候補として、又は真の赤目として、あるいは真の赤目である可能性が高い候補として分類器３０５が十分に分類できるのであれば、赤目領域の候補に対して選択される幾何学的図形に関して、特性値計算器３０４により、どのような特性値が計算されてもよい。
【００７９】
図４Ａ、図４Ｂ及び図４Ｃは、赤目領域の候補の一例を示す。
【００８０】
図４Ａは、原画像を示す。図４Ｂは、図４Ａに示される画像において識別された赤目領域の候補４０１を示す。図４Ｂにおいては、次の値が計算される。
【００８１】
Ｗ１＝３５（又はＸａｘｉｓ＝３５）
Ｈ１＝３２（又はＹａｘｉｓ＝３２）
Ａ１＝Ｗ１＊Ｈ１＝１１２０
Ｗ＝３０７
Ｈ＝３７９
瞳孔の幅＝１／５＊（Ｗ，Ｈ）の最小値＝６１．４
赤目領域の候補の面積＝１６７
ＡＲ＝Ｗ１／Ｈ１＝１．０９（又はＸａｘｉｓ／Ｙａｘｉｓ＝１．０９）
Ｆ１＝（赤目領域の候補の面積）／Ａ１＝０．１５
０．３５＊（瞳孔の幅）の二乗＝１３１９
ＥｌｌｉｐｓｅＡｒｅａ＝８７９
ＥｌｌｉｐｓｅＡｒｅａＲａｔｉｏ＝１２８／８７９＝０．１５
０．３＊（瞳孔の幅）の二乗＝１１３０
上記の数値から明らかであるように、Ｆ１は、０．５より小さい。そのため、本実施形態に従って、赤目領域の候補４０１は、偽赤目として分類される。あるいは、ＥｌｌｉｐｓｅＡｒｅａＲａｔｉｏが０．５より小さいことにより、本実施形態に従って、赤目領域の候補４０１は、偽赤目として分類される。
【００８２】
すなわち、従来の技術に基づけば、図４Ｂの赤目領域の候補４０１は、赤目として分類される。しかし、本発明によれば、図４Ｃに示されるように、赤目領域の候補４０１は、赤目として分類されない。
【００８３】
図５Ａ、図５Ｂ及び図５Ｃは、赤目領域の候補の別の例を示す。
【００８４】
図５Ａは、原画像を示す。図５Ｂは、図５Ａに示される画像において識別された赤目領域５０１の候補を示す。図５Ｂにおいては、次の値が計算される。
【００８５】
Ｗ１＝４７（又はＸａｘｉｓ＝４７）
Ｈ１＝４２（又はＹａｘｉｓ＝４２）
Ａ１＝Ｗ１＊Ｈ１＝１９７４
Ｗ＝３３１
Ｈ＝４１１
瞳孔の幅＝１／５＊（Ｗ，Ｈ）の最小値＝６６．２
赤目領域の候補の面積＝１，１１１
ＡＲ＝Ｗ１／Ｈ１＝１．１２（又はＸａｘｉｓ／Ｙａｘｉｓ＝１．１２）
Ｆ１＝（赤目領域の候補の面積）／Ａ１＝０．５６
０．３５＊（瞳孔の幅）の二乗＝１５３３
ＥｌｌｉｐｓｅＡｒｅａ＝１５５０
ＥｌｌｉｐｓｅＡｒｅａＲａｔｉｏ＝１０２８／１５５０＝０．６６
０．３＊（瞳孔の幅）の二乗＝１３４１
上記の数値から明らかであるように、Ａ１は、０．３５＊（瞳孔の幅）の二乗より大きい。そのため、本実施形態に従って、赤目領域の候補５０１は、偽赤目として分類される。あるいは、ＥｌｌｉｐｓｅＡｒｅａが０．３＊（瞳孔の幅）の二乗より大きいことにより、本実施形態に従って、赤目領域の候補５０１は、偽赤目として分類される。
【００８６】
すなわち、従来の技術に基づけば、図５Ｂの赤目領域の候補５０１は、赤目として分類される。しかし、本発明によれば、図５Ｃに示されるように、赤目領域の候補５０１は、赤目として分類されない。
【００８７】
図６は、図１に示される方法を実現できる画像処理システムを概略的に示す。図６に示される画像処理システムは、ＣＰＵ（中央処理装置）６０１と、ＲＡＭ（ランダムアクセスメモリ）６０２と、ＲＯＭ（読み取り専用メモリ）６０３と、システムバス６０４と、ＨＤ（ハードディスク）コントローラ６０５と、キーボードコントローラ６０６と、シリアルポートコントローラ６０７と、パラレルポートコントローラ６０８と、ディスプレイコントローラ６０９と、ハードディスク６１０と、キーボード６１１と、カメラ６１２と、プリンタ６１３と、ディスプレイ６１４とを具備する。これらの構成要素の中で、ＣＰＵ６０１、ＲＡＭ６０２、ＲＯＭ６０３、ＨＤコントローラ６０５、キーボードコントローラ６０６、シリアルポートコントローラ６０７、パラレルポートコントローラ６０８及びディスプレイコントローラ６０９は、システムバス６０４に接続される。ハードディスク６１０は、ＨＤコントローラ６０５に接続され、キーボード６１１は、キーボードコントローラ６０６に接続され、カメラ６１２は、シリアルポートコントローラ６０７に接続され、プリンタ６１３は、パラレルポートコントローラ６０８に接続され、ディスプレイ６１４は、ディスプレイコントローラ６０９に接続される。
【００８８】
図６の各構成要素の機能は、当該技術においてよく知られており、図６に示されるアーキテクチャは従来通りである。このようなアーキテクチャは、パーソナルコンピュータのみならず、パームＰＣ、ＰＤＡ（パーソナルデータアシスタント）、デジタルカメラなどの携帯装置にも適用される。様々に異なる用途において、図６に示される構成要素のうちのいくつかは省略されてもよい。例えば、システム全体がデジタルカメラである場合、パラレルポートコントローラ６０８及びプリンタ６１３は、省略可能であり、システムをシングルチップマイクロコンピュータとして実現できる。ＥＰＲＯＭ又は他の不揮発性メモリなどのコンピュータ可読記憶媒体にアプリケーションソフトウェアが格納される場合には、ＨＤコントローラ６０５及びハードディスク６１０を省略できる。
【００８９】
図６に示されるシステム全体は、コンピュータ可読命令により制御される。それらの命令は、通常、コンピュータ可読記憶媒体、すなわち、ハードディスク６１０（又は、前述のように、ＥＰＲＯＭ又は他の不揮発性メモリ）に、ソフトウェアとして格納される。ソフトウェアは、ネットワーク（図６には図示せず）からダウンロードされることも可能である。ハードディスク６１０にセーブされるか、又はネットワークからダウンロードされるかに関わらず、ソフトウェアは、ＲＡＭ６０２にロードされ、ソフトウェアにより定義される機能を実現するために、ＣＰＵ６０１により実行される。
【００９０】
図１に示されるフローチャートに基づくソフトウェアの１つ以上の部分を開発することは、当業者にとって、発明性を要求される作業ではない。そのようにして開発されるソフトウェアは、図１に示される画像処理方法を実行する。
【００９１】
ある意味で、図６に示される画像処理システムは、図１に示されるフローチャートに基づいて開発されたソフトウェアにより支援される場合、図３に示される画像処理装置と同一の機能を実現する。
【００９２】
本発明は、画像を処理するための機械可読コンピュータプログラムコードによって符号化され、本発明による方法をプロセッサに実現させるための命令を含む記憶媒体を更に提供する。記憶媒体は、フロッピー（登録商標）ディスケット、ＣＤ‐ＲＯＭ、ハードドライブ（例えば、図６のハードディスク６１０）などの何らかの実在の媒体であればよい。
【００９３】
以上、本発明の特定の実施形態に関して説明したが、それらは単なる例であり、添付の特許請求の範囲により範囲が規定される本発明の原理から逸脱せずに、それらの実施形態の変形を実施できることは、当業者により理解されるであろう。
【００９４】
本出願は、参考として本明細書に取り入れられている、２００４年８月９日出願の中国特許出願第２００４１００５５１６８．９号からの優先権を主張する。
【図面の簡単な説明】
【００９５】
【図１】本発明の一実施形態に従った画像処理方法のフローチャートである。
【図２】図１の実施形態の基本原理を示す概略図である。
【図３】本発明の別の実施形態に従った画像処理装置のブロック図である。
【図４Ａ】赤目領域の候補の一例を示す図である。
【図４Ｂ】赤目領域の候補の一例を示す図である。
【図４Ｃ】赤目領域の候補の一例を示す図である。
【図５Ａ】赤目領域の候補の別の例を示す図である。
【図５Ｂ】赤目領域の候補の別の例を示す図である。
【図５Ｃ】赤目領域の候補の別の例を示す図である。
【図６】図１に示される方法を実現できる画像処理システムを概略的に示す図である。
【図７】画像中の目領域を識別する方法の例を示す図である。
【図８】画像中の顔矩形を識別する方法の例を示す図である。
【図９】画像中の赤目領域の候補を識別する方法の例を示す図である。
【図１】
2006072993.tif 000003
【図２】
2006072993.tif 000004
【図３】
2006072993.tif 000005
【図６】
2006072993.tif 000006
【図７】
2006072993.tif 000007
【図８】
2006072993.tif 000008
【図９】
2006072993.tif 000009
【図４Ａ】
2006072993.tif 000010
【図４Ｂ】
2006072993.tif 000011
【図４Ｃ】
2006072993.tif 000012
【図５Ａ】
2006072993.tif 000013
【図５Ｂ】
2006072993.tif 000014
【図５Ｃ】
2006072993.tif 000015
【外国語明細書】
2. Title of the Invention
METHOD, APPARATUS AND STORAGE MEDIUM FOR PROCESSING AN IMAGE
3. Detailed Description of Invention
2006072993.tif 000016
2006072993.tif 000017
2006072993.tif 000018
2006072993.tif 000019
2006072993.tif 000020
2006072993.tif 000021
2006072993.tif 000022
2006072993.tif 000023
2006072993.tif 000024
2006072993.tif 000025
2006072993.tif 000026
2006072993.tif 000027
2006072993.tif 000028
2006072993.tif 000029
2006072993.tif 000030
2006072993.tif 000031
2006072993.tif 000032
2006072993.tif 000033
2006072993.tif 000034
2006072993.tif 000035
2006072993.tif 000036
2006072993.tif 000037
2006072993.tif 000038
2006072993.tif 000039
2006072993.tif 000040
4. Brief Description of the Drawings
2006072993.tif 000041
1. What is claimed is
2006072993.tif 000042
2006072993.tif 000043
2006072993.tif 000044
2006072993.tif 000045
2006072993.tif 000046
abstract
2006072993.tif 000047
2006072993.tif 000048
2006072993.tif 000049
2006072993.tif 000050
2006072993.tif 000051
2006072993.tif 000052
2006072993.tif 000053
2006072993.tif 000054