(57)【要約】  画像内の赤目でない閃光による不良を検出するための方法であって、（ａ）前記画像内に一つ以上の発光領域を定義するステップ、各領域は、輝度閾値よりも高い輝度と赤色閾値よりも低い赤みを有する少なくとも一つのピクセルを有しており、（ｂ）少なくとも一つのフィルタを各発光領域に一致する領域に供給するステップ、（ｃ）各発光領域に一致する領域の真円度を計算するステップ、（ｄ）前記フィルタリング処理と前記真円度にしたがって、赤目でない閃光による不良に一致する前記領域かどうかを決定するステップ、とを有する画像内の赤目でない閃光による不良を検出するための方法。【選択図】図３
2009527061.tif 000002
【特許請求の範囲】
【請求項１】
画像内の赤目でない閃光による不良を検出するための方法であって、
（ａ）前記画像内に一つ以上の発光領域を定義するステップ、各領域は、輝度閾値よりも高い輝度と赤色閾値よりも低い赤みを有する少なくとも一つのピクセルを有しており、
（ｂ）少なくとも一つのフィルタを各発光領域に一致する領域に供給するステップ、
（ｃ）各発光領域に一致する領域の真円度を計算するステップ、
（ｄ）前記フィルタリング処理と前記真円度にしたがって、赤目でない閃光による不良に一致する前記領域かどうかを決定するステップ、とを有する画像内の赤目でない閃光による不良を検出するための方法。
【請求項２】
請求項１に記載の画像内の赤目でない閃光による不良を検出するための方法であって、前記定義するステップは、
（ｉ）輝度閾値よりも高い輝度と赤色閾値よりも低い赤みを持った画像のピクセルを選択するステップと、
（ｉｉ）前記一つ以上の発光領域内の隣接する選択されたピクセルをグループ化するステップと、を有する。
【請求項３】
請求項１に記載の画像内の赤目でない閃光による不良を検出するための方法であって、前記赤目でない閃光による不良を修正するステップを含む。
【請求項４】
請求項１に記載の画像内の赤目でない閃光による不良を検出するための方法であって、前記少なくとも一つのフィルタは、
（ｉ）前記領域が前記赤でない閃光検出用に求められるサイズよりも大きいかどうかを決定するためのサイズフィルタと、
（ｉｉ）発光領域に配置される発光領域に、前記輝度閾値よりも低い輝度又は前記赤色閾値よりも高い赤みを有したピクセルを加えるためのフィルタと、
（ｉｉｉ）前記領域が肌の画像特定の領域内に配置されるかどうかを決定するためのスキンフィルタ及び（ｉｖ）前記領域が顔の画像特性の領域内に配置されるかどうかを決定するためのフェイスフィルタのうち少なくとも一方とを含む。
【請求項５】
請求項１に記載の画像内の赤目でない閃光による不良を検出するための方法であって、前記真円度を計算することは、前記領域が赤でない閃光不良かどうかを決定するための少なくとも一つの前記フィルタによって実行される。
【請求項６】
請求項１に記載の画像内の赤目でない閃光による不良を検出するための方法であって、各発光領域のために、
（ｉ）発光領域内の前記凝集領域のためのシードピクセルを決定し、
（ｉｉ）前記凝集領域に近接した谷間である隣接ピクセルが維持されるまで、前記凝集領域に谷間でない隣接ピクセルを繰り返し加えることによって、一致する凝集領域を決定する。
【請求項７】
請求項１に記載の画像内の赤目でない閃光による不良を検出するための方法であって、前記発光領域に少なくとも一つの前記フィルタを適用する。
【請求項８】
請求項１に記載の画像内の赤目でない閃光による不良を検出するための方法であって、各発光領域の階調強度を計算することを含んでいる。
【請求項９】
画像内に赤目でない閃光不良を検出するためのデジタル画像処理装置であって、
（ａ）前記画像内に一つ以上の発光領域を定義し、各領域は、輝度閾値よりも高い輝度と赤色閾値よりも低い赤みを有する少なくとも一つのピクセルを有しており、
（ｂ）各発光領域に一致する領域に少なくとも一つのフィルタを供給し、
（ｃ）各発光領域に一致する領域の真円度を計算し、
（ｄ）  前記フィルタリング処理及び前記真円度にしたがって、赤目でない閃光による不良に一致する前記領域かどうかを決定する、コントローラを有する。
【請求項１０】
請求項９にしたがう装置であって、デジタルカメラ又はカメラ付き電話、汎用、携帯用又はノート型コンピュータ、プリンター又はデジタルスキャナー、又はこれらの組み合わせを含んでいる。
【請求項１１】
デジタル画像内の白目不良を修正する方法を実行するための一つ以上のプロセッサをプログラミングすることを実行可能なプログラムコードを有する一つ以上のデジタル記憶装置であって、
前記方法は、（ａ）デジタル画像を取得し、（ｂ）前記デジタル画像内のピクセルの輝度を決定し、（ｃ）白目不良の修正のための対象領域としてある閾値を超える輝度を有するそれらのピクセルを選択し、（ｄ）前記選択されたピクセルをフィルタリング処理し、（ｅ）前記選択されたピクセルの中のフィルタされていないピクセルのための白目不良を修正する。
【請求項１２】
請求項１１に記載の一つ以上のデジタル記憶装置であって、前記フィルタリング処理は、サイズ、形状又は選択されたピクセル領域の両方に基づきピクセルの幾何学的なフィルタリングを行う。
【請求項１３】
請求項１１に記載の一つ以上のデジタル記憶装置であって、前記フィルタリング処理は、閾値サイズを超える選択されたピクセル領域のサイズに基づきピクセルの幾何学的なフィルタリングを行うことを含んでいる。
【請求項１４】
請求項１１に記載の一つ以上のデジタル記憶装置であって、前記修正は、選択されたピクセル領域の真円度を計算し、真円度のある閾値を超えていない場合には真円度を修正することを含んでいる。
【請求項１５】
請求項１１に記載の一つ以上のデジタル記憶装置であって、前記修正は、選択されたピクセル領域の平均的な彩度がある閾値彩度を超えているかどうかをチェックし、その閾値彩度を超えている場合には前記選択されたピクセル領域を修正することを含んでいる。
【請求項１６】
請求項１１に記載の一つ以上のデジタル記憶装置であって、前記方法は、（ｉ）シードピクセルとして明るいピクセルを選択し、（ｉｉ）谷間でない隣接部の最小数から離れる又は閾値サイズに到達するまで、又はそれらの組あわせまで、凝集領域としての前記シードピクセルを持った谷間でないポイントであるそれらのピクセルを組み合わせるために前記シードピクセルから外見上凝集する、を含んでいる。
【請求項１７】
請求項１６に記載の一つ以上のデジタル記憶装置であって、前記方法は、さらに前記凝集領域を平滑化することを含んでいる。
【請求項１８】
請求項１６に記載の一つ以上のデジタル記憶装置であって、前記方法は、さらに一つ以上の対象領域に対する諧調強度を演算することを含んでいる。
【請求項１９】
請求項１１に記載の一つ以上のデジタル記憶装置であって、前記方法は、単に閃光を含む対象領域をフィルタリングすることを含んでいる。
【請求項２０】
請求項１１に記載の一つ以上のデジタル記憶装置であって、前記方法は、前記デジタル画像内の赤目不良を検出し、修正することを含んでいる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の赤目以外の目の閃光による不良、特に白目の閃光による不良の、自動的な検知および補正のためのシステムおよび方法に関する。
【背景技術】
【０００２】
Pixologyに対する公開されたＰＣＴ特許出願No. WO 03/071484 A1は、デジタル画像における赤目検出および補正のための様々な技術が開示されている。特に、Pixologyは赤目不良の「輝き(glint)」の検知、そして、目の不良の全域を決定するための周辺の領域の分析について開示している。
【０００３】
スタインバーグに対する米国特許No. 6,873,743は、最初の画像分割が赤いクロミナンス成分とルミナンス成分の両方に基づいている、同様の技術を開示している。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
白目不良（白目）はより一般的な赤目不良の赤色を示していない。白目はめったに発生しないが、光量が少ない状況でフラッシュを焚いて写真を撮影する場合など、赤目と同じ状況下で起こる。場合によっては、白目は黄色がかった色を捕らえることにより少し金色が現れる。
【０００５】
白目には、小と大の二つの主な種類がある。図１の符号１０で図示する小さい白目は、遠い距離の被写体に現れる。それらは、発光点に似ており、他の顔の特徴部に関してそれらの近辺における情報は貧弱であるため、頼りにならない。図２に符号２０で図示する大きい白目は、非常に良好に領域が定められ、周囲の情報を頼りにすることができる。一般的に、仮に白目が１５０ピクセル（１６００×１２００ピクセルの画像に対して）以上を含む領域を占める場合には、白目は大となる。
【０００６】
白目不良を検知しおよび／又は補正するための技術が求められている。
【課題を解決するための手段】
【０００７】
本方法は、画像内に赤目でない閃光による不良を検出するために設けられる。一つ以上の発光領域が前記画像内に定義される。各領域は、輝度閾値を超える輝度及び赤色閾値よりも低い赤みを有する少なくとも一つのピクセルを有している。各発光領域に一致する領域の真円度は、計算される。そのフィルタリング及び真円度にしたがって、赤目ではない閃光による不良によるものであるかどうかが決定される。
【０００８】
その定義は、輝度閾値を超える輝度及び赤色閾値よりも低い赤みを持った画像のピクセルを選択すること、一つ以上の発光領域内に近接する選択されたピクセルをグループ化することを含む。その方法は、さらに、赤目でない閃光による不良を修正することを含む。
【０００９】
検出された不良領域の少なくとも一つのピクセルは、暗いであろう。閾値よりも大きい強度値を有する検出された不良領域内のピクセルを暗くしないことを決定することができる。
【００１０】
その修正は、検出された不良領域の各ピクセルのため、その強度値をその欠陥領域の境界上のピクセルの強度値の平均に略等しい強度値に設定することを含ませることができる。平均するフィルタは、その修正後にその領域に適用することができる。
【００１１】
その少なくとも一つのフィルタが、前記領域が前記赤目でない閃光による不良のための期待されるサイズよりも大きいかどうかを決定するためのサイズフィルタ、発光領域に位置する発光領域にピクセルを加え、輝度閾値よりも低い又は赤色閾値を超える赤身を有するフィルタ、その領域がスキンの画像特性の領域内に配置される領域かどうかを決定するスキンフィルタ、その領域がフェイスの画像特性の領域内に配置されるかどうかを決定するフェイスフィルタ、又はこれらの組み合わせを含む。
【００１２】
その真円度計算は、その領域が赤目でない閃光による不良でるかどうかを決定するフィルタによって実行することができる。各発光領域については、一致する凝集領域を、発光領域内の凝集領域のためシードピクセルを決定し、凝集領域に隣接する谷間の隣接ピクセルが維持されるまで凝集領域に谷間でない隣接ピクセルを繰り返し加えることによって決定する。
【００１３】
各発光領域に一致する領域は、発光領域に一致する凝集領域である。コントラストは、シードピクセルの強度値に凝集領域の境界上のピクセルの平均強度値の比率を演算することによって凝集領域に対して計算することができる。
【００１４】
各凝集領域が黄色閾値よりも高い黄色度を有しているかどうかを決定することができる。平均的な彩度は、各凝集領域に対して計算することができ、その彩度が所定値を超えているかどうかを決定することができる。
【００１５】
その少なくとも一つのフィルタは、発光領域に加えることができる。階調強度は、各発光領域に対して計算することができる。
【００１６】
ハフ変換は、各諧調強度について実行される。それぞれ変換された領域についての最も典型的なサークルが決定され、各サークルが確認された。
【００１７】
デジタル画像処理装置は、画像内に赤目でない閃光による不良を検出するために操作可能なものをまた備えており、画像内の一つ以上の発光領域を定義するために配置されるコントローラを含んでいる。
【００１８】
各領域は、赤色閾値よりも低い赤色度及び輝度閾値よりも高い輝度を持った少なくとも一つのピクセルを有している。少なくとも一つのフィルタは、各発光領域に一致する領域に適用される。
【００１９】
各発光領域に一致する領域の真円度は、計算される。そのフィルタリング及び真円度にしたがって、その領域が赤目でない閃光による不良に一致するかどうかを決定する。
【００２０】
その装置は、デジタルカメラ又はカメラ付き電話、汎用、携帯用又はノート型コンピュータ、プリンター又はデジタルスキャナー、又はこれらの組み合わせである。さらなる方法は、デジタル画像内に白目不良を修正するために設けられる。
【００２１】
その方法は、デジタル画像を取得すること、デジタル画像内にピクセルの輝度を決定することを含んでいる。ある閾値を超える輝度を持ったそれらのピクセルは、白目不良の修正のため対象領域として選択される。
【００２２】
その選択されたピクセルは、フィルタ処理され、白目不良は、対象領域のうちフィルタ処理されていないピクセルに対して修正される。そのフィルタ処理は、選択されたピクセル領域の両方または、形状、サイズに基づきピクセルの幾何学フィルタを含む。
【００２３】
選択されたピクセル領域は、たとえば、閾値を超えるであろう。ピクセルの肌色又は顔色のフィルタリングは、肌色又は他の顔色特徴を持っていない選択されたピクセル領域に隣接するピクセルに基づいている。
【００２４】
真円度は選択されたピクセル領域に対して計算することができ、真円度が真円度のある閾値を超えていないかどうかを修正することができる。その修正は、選択されたピクセル領域のコントラストを計算することを含み、コントラストのある閾値を超えていないかどうかを修正することができる。
【００２５】
そのフィルタリング処理は、選択されたピクセル領域の平均的な彩度がある彩度を超えるかどうかをチェックすること、その閾値が超えている場合にのみその選択されたピクセル領域を修正することを含む。明るいピクセルは、シードピクセルとして選択することができる。
【００２６】
対象領域は、谷間でない隣接部の最小数がそのままであるか又は閾値サイズに達したか又はそれらの二つの条件を満足するまで、凝集領域としてシードピクセルを持った谷間ポイントでないそれらのピクセルを組み合わせるためにシードピクセルから外見上凝集することによって決定することができる。
【００２７】
その最少数はゼロとすることができる。凝集領域内の位置の強度は、その領域を区切る谷間ポイントの平均的な強度に設定することができる。
【００２８】
その凝集領域は、平滑化することができる。そのフィルタリング処理は、対象領域の端部を決定し分析することを含む。諧調強度は、一つ以上の対象領域に対して計算することができる。
【００２９】
計算された諧調強度を有する一つ以上の対象領域は、最少サイズの対象領域のみを含むために制限することができる。ハフ変換は、各対象領域に対応した諧調強度画像について実行される。
【００３０】
ハフ変換によって生成された対象サークルは、決定され、その対象領域はフィルタリングされ、シードピクセルが対象サークル内に含まれていないとき、又はそのサークルに沿った平均的な階調度が閾値を下回ったとき、又はこれらの双方の条件を満足したときに、修正することができない。
【００３１】
単に閃光がある対象領域は、フィルタリング処理をすることができる。その方法は、そのデジタル画像内に赤目不良を検出して修正することを含む。 
【００３２】
一つ以上のデジタル記憶装置は、ここで説明したような方法を実行するために一つ以上のプロセッサを実行するためにその場所に具体化された実行可能なプログラムコードを持っている。
【発明を実施するための最良の形態】
【００３３】
小さな白目の自動検出及び修正のための方法である。
【００３４】
一実施例を示すフローチャートを図３に示す。 
この実施例では、目不良が、もしラボカラー空間において、明るければ、白又は金色であると言われる。その局所平均輝度は１００よりも高く、例えば、ロボカラー空間において、飽和もしておらず、a及びbパラーメータの絶対値が１５を超えていない。
【００３５】
最初に、修正される取得画像２５０の各ピクセルの輝度が決定され、閾値よりも大きい全てのピクセルの輝度が選択される（３００）。より好ましい実施例では、取得された画像は、RGB空間内にあり、その強度はl=max[R,G]として計算され、その強度閾値は２２０である。
【００３６】
また、非常に飽和した色（純粋な赤又は純粋な緑）を避けるために、abs（R−G）として計算された飽和は、３５の閾値と比較され、より高ければ廃棄される。そのため、高輝度ピクセルのみが維持され、特徴領域増大手続きのためにシード提供する。
【００３７】
別の実施例では、輝度を求めるための公式は、YcbCrスペース内の画像のためのY値として得ることができる。
【００３８】
しかしながら、輝度は、CIE−ラボ空間内の画像のためのL値として得ることができる、又は、実際には他の適度な手段を用いることができる、と認識されるであろう。
【００３９】
その選択されたピクセルは、そのときラベルされる（３１０）。これは、他の選択されたピクセルに隣接する選択されたピクセルを同一視し、接続されている選択されたピクセルの発光領域としてそれらをラベルすることを含む。
【００４０】
これらの発光領域は、そのとき発光領域を取り除くために複数の幾何学的なフィルタ３２０に従属されており、白目に対する適度な対象物ではない。さらに好ましい実施形態としては、領域のサイズを取り除くためにサイズフィルタ３２１を介してその領域の最初のパスが、上限値よりも大きい。
【００４１】
その上限値は、画像のサイズに依存する。そして、実施例では、その上限値は、２メガピクセル画像に対して１００ピクセルである。そのときにフィルタ処理された領域は、シェイプフィルタ３２２を介してパスし、全ての最適なサイズの発光領域を移動させ、十分に円形とは考えられない。
【００４２】
発光領域の真円度は、与えられた閾値を持った二つの主要軸に沿って二つの分散比率を比較することによって、判断される。そのような約５−１０ピクセルよりも小さいものを含む領域は、シェイプフィルタを介して通過を免除され、そのような小さな領域に関して、形状は重要ではない。
【００４３】
ファイリングファクタ３２３は、もしある基準を満足する場合には、発光領域によって線引きされた空領域を取り除くプロセスである。
【００４４】
好ましい実施例では、線引きされた空領域の領域への発光領域の比率が、決定され、もしこの比率がある閾値よりも低い場合（たとえば、ある実施例では０．５である）には、その発光領域は取り除かれる。
【００４５】
その残りの発光領域は、スキンフィルタ３２４を介して最終的にパスされる。フェイスフィルタ３２５は、事実に基づき白目として検出ミスされた白領域を取り除くためのものであり、その事実は、それらが、肌色又は顔色の特徴ではない何かに隣接しているということである。
【００４６】
白目の周りの肌は、照明下にあり、僅かにやや赤味に変化する傾向がある。肌のオリジナルの幅広いパレットは、発光領域のピクセルと比較して維持される。
【００４７】
各発光領域に対して、ピクセルの比率、人肌、ピクセルに対する特徴、人肌に対して特徴がない画素に対する特徴は、境界ボックスにおいて、計算され、閾値と比較される。
【００４８】
好ましい実施例では、その閾値が８５〜９０％で完全に制限される。同様に、可能な顔色の幅広いパレットは、発光領域のピクセルと比べるために維持される。
【００４９】
各発光領域に対して、ピクセルの比率、顔色に対する特徴、顔色に対する特徴でないピクセルに対する特徴は、境界ボックス内において、測定され、閾値と比較される。
【００５０】
好ましい実施例では、その閾値は、８５〜９０％で完全に制限されている。その与えられた確率に一致もしくは超えている場合には、その領域は、領域増大のステップ（３３０）に進む。
【００５１】
領域増大３３０は、シードとしてそれぞれ成功的にフィルタ処理された発光領域の最も明るいピクセルを選択することによってスタートする。シードの各隣接部は、谷間ポイントであるか否かを決定するために診断される。
【００５２】
谷間ポイントは、より高い強度値を持った少なくとも二つの隣接するピクセルを持ったピクセルであり、四つの主方向（水平方向、垂直方向及びその二つの対角線方向）のうち一つの方向に与えられたピクセルの両サイドに配置される。
【００５３】
テーブル１の下に図示するように、強度９９を持った中央ピクセルは、谷間ポイントである。なぜなら、与えられた方向において強度値よりも大きい二つの隣接部を有しているからである。テーブル２は、中央ピクセルを図示しており（９９）、それは谷間ポイントではない。なぜなら、四つの主方向の一つについてサドル配置がないからである。
【００５４】
【表１】
2009527061.tif 000003
【００５５】
【表２】
2009527061.tif 000004
【００５６】
そのシードから出発し、凝集プロセスは、シードピクセルの隣接部を診断し、これらを谷間ポイントでない設けられた凝集領域に加える。その診断及び凝集プロセスは、未チェックの残された谷間でない隣接部がなくなるまで、又は、最大閾値サイズに達するまで、継続する。
【００５７】
最大閾値サイズに達した場合には、その領域は、白目でないとみなされ、これ以上のテストはこの領域について実行されない。このステージでの結果は、凝集領域の数であり、事前に定義され、フィルタ処理された発光領域の最も明るいポイントから増大され、谷間ポイントアルゴリズムに従って凝集される。
【００５８】
しかしながら、他の代わりとなる実施例では、凝集は、フィルタ処理する前に実行することができ、フィルタ３２０は、発光領域よりもむしろ凝集領域に適用することができる。
【００５９】
多数の計算が、そのとき、これらの凝集領域について実行される（３４０）
凝集領域の真円度は、R=perimeter2/(4.ττ.Area)として３４１で計算される（ただし、R≧１である）。真円であるときR＝１であり、それゆえにR値がより大きくなると、さらに形が細長くなる。
【００６０】
白目は円形になるはずであり、ある閾値を超えないRの値によって特徴づけられるべきである。好ましい実施例では、Rについてのその閾値は、目のサイズの写像である。
【００６１】
それゆえに、我々は、そのサイズ増加としてのラウンダーであることを目に期待する（より小さな目、より貧弱な、円によってその形状の近似、離散的な平面内における正確性が低い円表現）。
【００６２】
三つの閾値が、好ましい実施形態（二つのメガピクセル画像に対して、より大きな／より小さな画像サイズに対して直線的に増やす）において使用される。すなわち、大サイズの目に対してＲ＝１．１である（すなわち、二つのメガピクセル画像に対して、６５〜１００ピクセルの間のサイズである）。また、中サイズの目に対してＲ＝１．３である（２５〜６５ピクセルの間のサイズである）。さらに、小サイズの目に対してＲ＝１．４２である（２５ピクセルよりもサイズが小さい）。
【００６３】
凝集領域のコントラストは、そのときに、領域内の最大強度値（換言すれば、ステップ３３０からの最も明るいシードポイントの強度）に凝集領域を区切る谷間ポイントの平均的な強度の比率として３４２で演算される。
【００６４】
小さい白目は、低い照明条件の下で一般的に起こり、そのコントラストは高くなるにちがいない。小さい白目の多くは、ラボスペースにおいてｂ成分の高い値によって特徴づけられる少なくとも数個のピクセルを有しているということを意味する黄色成分を持っている。
【００６５】
それゆえに、ｂの最大値、すなわち、ｂマックスは、実際の白目と例えば目の輝き、他の点状の照明反射光とを識別する優れた識別器である。一つの実施形態において、処理されているピクセルは、ＲＧＢ色空間内に存在する。
【００６６】
ｂ成分の値を得るために、その凝集領域はＲＧＢ色空間からラボカラー空間に変形される。ｂ成分の最大値、すなわちbｍａｘは、３４３にて、ラボカラー空間内において、演算され、閾値（ｂ閾値）と比較される。もし、bｍａｘがｂ閾値以上である場合には、その領域内におけるその平均彩度は、そのとき３４４で演算される。
【００６７】
そうでなければ、凝集領域は、白目でないと考えられる。その凝集領域における平均彩度は、
2009527061.tif 000005

【００６８】
として計算される。
【００６９】
白目は、他の領域よりもより彩色され、その領域の平均彩度は、対象領域を白目に公表するために閾値を超えるに違いない。上で概説されたその検査をパスする凝集領域は、白目に分類され、本発明の好ましい実施形態では３９９で修正手続きが行われる。
【００７０】
その修正手続きは、ラボスペース内にその強度I、すなわち３４２でコントラスト計算において使用されるような領域を区切る谷間ポイントの平均的な強度に凝集領域のポイントの強度をセットすることを含む。
【００７１】
より好ましい実施形態では、その全体の凝集領域は、そのとき、３×３平均フィルタを適用することによって平滑化される。さらなる実施形態によれば、図４で図示されるような、大白目の修正のための方法及び自働検出方法が提供される。
【００７２】
大白目の主たる特徴は、非常によく定義されることによって、それらの形状は丸くなり、アイリスから上手に分割される。
【００７３】
図４を参照すると、大白目自動検出プロセスの最初の５つのステージ、すなわち、閾値化処理４００、分類処理４１０、サイズフィルタ４３０、形状フィルタ４４０及びファイリングファクタ４５０は、上述したような小白目自動検出プロセスのそれらに一致させられるということがわかる。
【００７４】
しかしながら、サイズフィルタ４３０において適用された閾値は、ステップ３２２のものよりも大きく、異なるパラメータが他のステージのために要求されるということがわかるであろう。
【００７５】
それにもかかわらず、発光領域が、幾何学フィルタ４２０を一旦通過すると、次のステップが、決定され、疑わしい大きな白目の境界を分析する。最初に、各発光領域の諧調強度は、演算される（４６０）。
【００７６】
その階調度は、図５（A）において示されるように、各発光領域の階調バージョンから計算される。階調度は、画像変化が大きなポイントで高いレスポンスを持っているあらゆる関数である。
【００７７】
反対に、階調度のレスポンスは、一様な領域において低い。好ましい実施形態では、その階調度は、二つのカーネル、すなわち、水平階調度用の一つ（Gx）、垂直階調度用の一つ（Gy）を有して線形フィルタリングすることによって計算される。
【００７８】
階調度の係数は、G = sqrt(Gx2 + Gy2)として計算され、さらに、境界ポイントを取得するために閾値化され、図５（Ｂ）に示すように、２成分境界画像が生成される。
より好ましい実施形態では、ステップ４６０において、簡単なソーベル階調度の使用を実行する。
【００７９】
しかしながら、Prewitt 又はCannyのようないずれかの階調度機能が使用されるということが認識されるであろう。その疑わしい大きな白目領域の境界が一旦決定されると、ハフ変換は、各階調画像について実行される（４７０）。
【００８０】
ハフ変換は、パラメータ化できる形状（たとえば、ライン、円、楕円など）を検出し、二成分画像に適用し、常に画像強度から境界マップとしてとして演算される。そのハフ変換は、アキュムレータ空間と呼ばれる画像のそれへの代替空間に基づいている。
【００８１】
オリジナル画像における各ポイント(x,y)は、アキュムレータ空間内の全てのポイントに導き、この場合には、(x,y)ポイントを維持するために形成することが可能な円に対応している。したがって、オリジナル境界画像内に存在する円に一致する全てのポイントは、全て特別の円に一致するアキュムレータ空間内のそのポイントに貢献するであろう。
【００８２】
次に、ハフ変換によって生成されるようなほとんどの典型的な円は、各領域のために検出される（４８０）。このステップは、ハフアキュムレータ空間内のポイントを検査することを含んでおり、重要な値を有している。この値は、オリジナル境界画像内の多数のポイントに依存しており、アキュムレータ空間内のそれぞれのポイントに貢献している。
【００８３】
典型的な円が見つからない場合には、画像のその領域内に存在する大きな白目がないと思われる。しかしながら、もし高値ポイントが見つかった場合には、オリジナル画像の一致する円はチェックされ、円の検査（４９０）が実行される。
【００８４】
これは、例えば、ほとんどの代表的なサークルが発光領域のためのオリジナルシードポイントを囲むかどうか及び／又はサークルに沿った平均的な階調度が閾値を超えるかどうかをチェックすることを含む。
【００８５】
発光領域のサークルが確認された場合には、その領域は、サークル内部のピクセルを暗くすることによって、修正される（４９９）。より好ましい実施形態では、そのピクセルの強度は、５０にセットされ、平均フィルタが適用される。
【００８６】
むしろ、しかしながら、その修正は、暗くされることがないにちがいない、閃光を含む発光領域の可能性を考慮にいれている。ＲＧＢ空間において、閃光対象は、高輝度ピクセル（min(R, G) >= 220 and max(R, G) == 255）として選択される。
【００８７】
まさしく円（縦横比及び延長の双方）、発光、飽和した領域が発光領域の内部において見つかった場合には、そのピクセルは修正される発光領域ピクセルから取り除かれる。さらに目色情報が利用可能な場合、たとえば、人認識手続きが以前に取得した画像のデータベースとして利用可能な場合、そのデータベースの中の人情報とともに保存されたその追加的な色情報は、大白目及び小白目の双方の修正内に有利に組み入れることができる。
【００８８】
好ましい実施形態に従って実行され、上述で説明され、クレームで説明される方法において、その操作は選択された活版印刷シーケンス内において記述される。
【００８９】
しかしながら、そのシーケンスが選択され、活版印刷の便宜のために命令され、その操作を実行するために特別な命令を暗示することを目的としていない。
【００９０】
加えて、上で参照された全ての事項は、発明セクションの背景技術及び要約に加えて、他の実施例及び構成要素を参照する好ましい実施形態の詳細な説明を参照することによって組み込まれる。
【００９１】
次の、特許文献を参照することによって、より詳細にわかるであろう。米国特許出願番11/462,035、11/282,955、米国公開特許出願番号2002/0136450, 2005/0047655, 2004/0184670, 2004/0240747, 2005/0047656, 2005/0041 121 , 2005- 0140801 , 2005-0031224、米国特許番号6,407,777である。本発明は、ここで記述される実施形態に制限されるものではなく、本発明の思想から逸脱しないようなものは全て本発明に含まれる。
【図面の簡単な説明】
【００９２】
【図１】小さな白目不良を有する画像を図示している。
【図２】大きな白目不良を有する画像を図示している。
【図３】小さな白目不良の自動検出及び修正のフローチャートを図示している。
【図４】大きな白目不良の自動検出及び修正のフローチャートを図示している。
【図５】（Ａ）修正するための画像のグレーレベルバージョンを図示しており、（Ｂ）ソーベル階調度を使用することを実行する図５（Ａ）の画像の境界画像を図示しており、（Ｃ）ハフ変換を使用することによる図５（Ｂ）の最も典型的なサークルを図示している。
【図１】
2009527061.tif 000006
【図２】
2009527061.tif 000007
【図３】
2009527061.tif 000008
【図４】
2009527061.tif 000009
【図５】
2009527061.tif 000010
【手続補正書】
【提出日】平成20年10月28日(2008.10.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像内の閃光目不良を検出するための方法であって、
（ａ）前記画像内に一つ以上の発光領域を定義するステップ、
（ｂ）前記一つ以上の発光領域内の隣接する選択されたピクセルをグループ化するステップ、
（ｃ）前記一つ以上の発光領域のそれぞれのために、前記領域が相対的に高平均な光度を有する画像の領域内に配置される確率を決定するためのフィルタを適用するステップ、
（ｄ）前記相対的に高平均な光度があるとされることについて少なくとも所定の確率を持つとして決定された各領域のために、さらに前記領域が、サイズ、形状、色又はこれらの組み合わせ、目領域の特性を有しているかどうかの確率を決定するステップ、
（ｅ）前記領域が、サイズ、形状又は色、これらの組み合わせ、目領域の特性を有していることについて少なくとも所定の確率を持つ各領域のために、前記領域が閃光目不良に一致するかどうかを決定するステップ、
（ｆ） 前記画像、前記画像を修正又はさらに処理したもの、又はこれらの組み合わせを保存、表示、送信又は印刷を行うステップ、を有する。
【請求項２】
請求項１に記載の画像内の閃光目不良を検出するための方法であって、
前記定義するステップは、輝度閾値よりも高い輝度と赤色閾値よりも高い又は低い赤みとを持った画像のピクセルを選択するステップを有する。
【請求項３】
請求項１に記載の画像内の閃光目不良を検出するための方法であって、前記閃光目不良を修正するステップを含んでいる。
【請求項４】
請求項１に記載の画像内の閃光目不良を検出するための方法であって、前記発光領域に配置される発光領域に、前記輝度閾値よりも低い輝度又は前記赤色閾値よりも高い又は低い赤みを有したピクセルを加えるためのフィルタを適用するステップを含んでいる。
【請求項５】
請求項１に記載の画像内の閃光目不良を検出するための方法であって、前記形状は真円度を含んでおり、さらに前記領域が目の特徴に一致するかどうかを決定するために前記真円度を計算するステップを含んでいる。
【請求項６】
請求項１に記載の画像内の閃光目不良を検出するための方法であって、各発光領域に対して、
（ｉ）発光領域内の前記凝集領域のためのシードピクセルを決定し、
（ｉｉ）前記凝集領域に近接した谷間である隣接ピクセルが維持されるまで、前記凝集領域に谷間でない隣接ピクセルを繰り返し加えることによって、一致する凝集領域を決定する。
【請求項７】
請求項１に記載の画像内の閃光目不良を検出するための方法であって、さらに各発光領域の階調強度を計算することを含んでいる。
【請求項８】
画像内の閃光目不良を検出するためのデジタル画像処理装置であって、下記の（ａ）〜（ｆ）を行うコントローラを有する。
（ａ）前記画像内に一つ以上の発光領域を定義し、各領域は、輝度閾値よりも高い輝度を有する少なくとも一つのピクセルを有しており、
（ｂ）前記一つ以上の発光領域内の選択されたピクセルをグループ化し、
（ｃ）前記一つ以上の発光領域のそれぞれのために、前記領域が相対的に高平均な光度を有する画像の領域内に配置される確率を決定するためのフィルタを適用し、
（ｄ）前記相対的に高平均な光度があるとされることについて少なくとも所定の確率を持つとして決定された各領域のために、さらに前記領域が、サイズ、形状又は色、これらの組み合わせ、目領域の特性を有しているかどうかの確率を決定し、
（ｅ）前記領域が、サイズ、形状又は色、これらの組み合わせ、目領域の特性を有していることについて少なくとも所定の確率を持つ各領域のために、前記領域が閃光目不良に一致するかどうかを決定し、
（ｆ）前記画像、前記画像を修正又はさらに処理したもの、又はこれらの組み合わせを保存、表示、送信又は印刷を行う。
【請求項９】
請求項８に記載の画像内の閃光目不良を検出するためのデジタル画像処理装置であって、デジタルカメラ又はカメラ付き電話、汎用、携帯用又はノート型コンピュータ、プリンター又はデジタルスキャナー、又はこれらの組み合わせを含む。
【請求項１０】
デジタル画像内の閃光目不良を修正する方法を実行するための一つ以上のプロセッサをプログラミングすることを具現化するプロセッサ実行可能なプログラムコードを有する一つ以上のデジタル記憶装置であって、
前記方法は、
（ａ）デジタル画像を取得するステップと、
（ｂ）前記デジタル画像内のピクセルの輝度を決定するステップと、
（ｃ）閃光目不良の修正のための対象領域としてある閾値を超える輝度を有するそれらのピクセルを選択するステップと、前記画像内の一つ以上の発光領域を定義し、前記各領域は、輝度閾値よりも高い輝度を持ち、赤味閾値よりも高い又は低い一定の赤味を持った少なくとも一つのピクセルを有しており、
（ｄ）前記一つ以上の発光領域のそれぞれのために、前記領域が相対的に高平均な光度を有する画像の領域内に配置される確率を決定するためのフィルタを適用するステップと、
（ｅ）前記相対的に高平均な光度があるとされることについて少なくとも所定の確率を持つとして決定された各領域のために、さらに前記領域が、サイズ、形状又は色、これらの組み合わせ、目領域の特性を有しているかどうかの確率を決定するステップと、
（ｆ）前記領域が、サイズ、形状又は色、これらの組み合わせ、目領域の特性を有していることについて少なくとも所定の確率を持つ各領域のために、前記領域が閃光目不良に一致するかどうかを決定するステップと、
（ｇ） 前記画像、前記画像を修正又はさらに処理したもの、又はこれらの組み合わせを保存、表示、送信又は印刷を行うステップと、を有する。
【請求項１１】
請求項１０に記載の一つ以上のデジタル記憶装置であって、前記方法は、選択されたピクセル領域のサイズ、形状、又はこれらの両方に基づきピクセルの幾何学的なフィルタリングを行うことを含んでいる。
【請求項１２】
請求項１０に記載の一つ以上のデジタル記憶装置であって、前記方法は、閾値サイズよりも大きい選択されたピクセル領域のサイズに基づきピクセルの幾何学的なフィルタリングを行うことを含んでいる。
【請求項１３】
請求項１０に記載の一つ以上のデジタル記憶装置であって、前記方法は、前記画像内の赤でない閃光目不良を修正することを含んでいる。
【請求項１４】
請求項１０に記載の一つ以上のデジタル記憶装置であって、前記方法は、選択されたピクセル領域の平均的な彩度がある閾値彩度を超えるかどうかをチェックし、前記閾値彩度を超えている場合には前記選択されたピクセル領域を修正する。
【請求項１５】
請求項１０に記載の一つ以上のデジタル記憶装置であって、
前記方法は、
（ｉ）シードピクセルとしてブライトピクセルを選択し、
（ｉｉ）谷間でない隣接部の最小数がそのままであるか又は閾値サイズに達したか又はそれらの二つの条件を満足するまで、凝集領域としてシードピクセルを持った谷間ポイントでないそれらのピクセルを組み合わせるためにシードピクセルから外見上凝集する。
【請求項１６】
請求項１５に記載の一つ以上のデジタル記憶装置であって、
前記方法は、前記凝集領域を平坦化する。
【請求項１７】
請求項１５に記載の一つ以上のデジタル記憶装置であって、
前記方法は、一つ以上の候補領域のために諧調強度を計算する。
【請求項１８】
請求項１０に記載の一つ以上のデジタル記憶装置であって、前記方法は、単に閃光を含む対象領域をフィルタリングすることを含む。
【請求項１９】
請求項１０に記載の一つ以上のデジタル記憶装置であって、前記方法は、前記デジタル画像内の赤目不良を検出して修正することを含む。
【国際調査報告】
2009527061.tif 000011