(57)【要約】【課題】赤目候補が検出された画像のパッチをその入力として利用する画像処理方法を提供すること。【解決手段】画像処理方法は、赤目候補の標準補正と関連する標準的な第１クラスのパッチ、または、赤目候補の改良補正と関連する少なくとも１種の第２クラスのパッチにパッチを割り振るように訓練された分類器によってパッチを分類する。改良補正は、画像が劣化する危険性を低減させる目的で、第２クラスのパッチのためにデザインされたものである。分類する際、任意に、分類と関連する信頼度を求めてもよい。画像が少なくとも１種の第２クラスに分類され、尚且つ、信頼度が閾値を超える場合、改良補正がパッチに適用される。さもなければ、標準補正がパッチに適用される。【選択図】図１
2008146650.tif 000002
【特許請求の範囲】
【請求項１】
赤目候補が検出された画像のパッチについて、前記パッチを、前記赤目候補の標準補正と関連する第１クラスのパッチ、または、前記赤目候補の改良補正と関連する少なくとも１種の第２クラスのパッチに割り振る画像処理方法であって、
前記改良補正は、画像が劣化する危険性を低減させる目的で、前記第２クラスのパッチのためにデザインされたものであり、
前記割り振りでは、パッチを前記第１クラスのパッチまたは前記少なくとも１種の第２クラスのパッチに割り振るように訓練された分類器によって前記パッチを分類し、
前記パッチが前記少なくとも１種の第２クラスに割り振られた場合、前記改良補正を前記赤目候補に適用し、そして
前記パッチが前記第１クラスに割り振られた場合、前記標準補正を前記赤目候補に適用する、
ことを特徴とする画像処理方法。
【請求項２】
画像処理装置であって、
原画像またはそれから得られる解像度が変更された画像からなるデジタル画像の複数のピクセルに対して、ピクセルが赤目内にある確率を割り当て、そして前記割り当てられた確率に基づいて画像のパッチが赤目候補を含んでいるかどうか識別する検出コンポーネントと、
赤目候補が確認されたデジタル画像のパッチを第１クラスの画像のうちの１種および少なくとも１種の第２クラスの画像に分類し、任意に前記分類に信頼度を割り当てる分類器であって、前記第１クラスは前記赤目候補の標準補正と関連しており、前記少なくとも１種の第２クラスは前記赤目候補の改良補正と関連しており、前記改良補正は、デジタル画像が劣化する危険性を低減させる目的で、前記第２クラスの画像のためにデザインされたものであることを特徴とする分類器と、
前記分類器による分類に基づいて、前記改良補正または前記標準補正のいずれかを前記赤目候補に適用する補正コンポーネントと、
を含んでなる画像処理装置。
【請求項３】
画像のパッチが赤目候補を含むデジタル画像を入力として利用するデジタル画像用分類器であって、赤目候補の改良補正が赤目候補の標準補正ほど画像のパッチを劣化させない画像を識別し、且つ、前記標準補正が適用されるべき第１クラスまたは前記改良補正が適用される少なくとも１種の第２クラスに画像を分類するように訓練されていることを特徴とするデジタル画像用分類器。
【発明の詳細な説明】
【技術分野】
【０００１】
本模範的実施態様は、画像処理に関する。本実施態様は、赤目現象に関するデジタル画像の自動補正に関連した特定用途に利用される。
【０００２】
赤目（現象）は、写真画像によく見られる問題であり、フラッシュが使用されるときはいつでも起こり得る。ヒトの網膜から反射される光が、瞳孔を、それらの自然な色の代わりに赤色に見えるようにする。
デジタル写真撮影における赤目効果の自動補正は、画像内の赤目領域と非赤目（すなわちその他の）領域を識別する検出工程と、赤目効果を反転させようとする補正工程とを伴うことがある。
【０００３】
これの理由の１つは、補正によってグリントが取り除かれてしまうことがあることである。グリントとは、目に輝きを与える、写真の目の領域内にある一般には小さく、白い正反射を指す。輝きが無いと、目に覇気または活気が無いように見えてしまうことがあり、魅力の無い写真になってしまう。グリントは、角膜の湾曲が原因となって生じ、一般にフラッシュの光の下で生じるが、自然光の中で撮られた写真でも見られる。
【０００４】
ある１つの態様において、画像処理方法は、赤目候補（candidate red-eye）が検出された画像のパッチについて、前記パッチを、第１クラスまたは１種以上の第２クラスに割り振る。前記割り振りでは前記パッチを分類器で分類するが、前記分類器は、赤目候補の標準補正と関連する第１クラスのパッチ、または、赤目候補の改良補正と関連する１種以上の第２クラスのパッチにパッチを割り振るように訓練されている。前記改良補正は、画像が劣化する危険性を低減させる目的で、前記第２クラスのパッチのためにデザインされたものである。パッチが１種以上の第２クラスに割り振られた場合、前記改良補正が赤目候補に適用される。パッチが第１クラスに割り振られた場合、前記標準補正が赤目候補に適用される。
【０００５】
前記方法において、前記分類器がパッチを少なくとも１種の第２クラスに割り当てた場合、前記分類と関連する信頼度をさらに求めてもよい。前記信頼度が閾値を越えた場合、前記改良補正が適用される。
【０００６】
前記第２クラスは、複数の第２クラス、例えば２、３、あるいはそれ以上の第２クラスから成っていてもよい。第２クラスの第１種についての閾値は、第２クラスの第２種についての閾値よりも高くてもよい。第２クラスは、それぞれ、対応する改良補正と関連付けられていてもよい。
【０００７】
パッチが分類器によって第２クラスに分類され、尚且つ、信頼度が閾値を超えない場合、標準補正を赤目候補に適用してもよい。
【０００８】
分類器は、標準補正では第１種の劣化を生じ易い画像を第１種の第２クラスの画像に割り振り、標準補正では第２種の劣化を生じ易い画像を第２種の第２クラスの画像に割り振るように訓練してもよい。
【０００９】
前記少なくとも２種の第２クラスは、ａ）標準補正では、赤目候補が瞳孔に対応する領域からはみ出してしまう補正となってしまう可能性があるパッチからなるクラス、ｂ）標準補正では、原画像よりも縁がぼやけて見えるように赤目候補が補正された瞳孔が生成される可能性があるパッチからなるクラス、およびｃ）標準補正では、補正された赤目候補内のグリントが原画像と比べて目立たなくなっている補正画像が生成される可能性があるパッチからなるクラスから選択することができる。
【００１０】
パッチが瞳孔が拡大したクラスに割り振られた場合、改良補正では、赤目候補のピクセルについての補正を、前記ピクセルの色、赤目内にあるという割り当てられた確率、および赤目候補の中心からの距離に基づいて決定してもよい。赤目候補の中心から離れているピクセルは、中心に近いピクセルほど補正は受けない傾向がある。
【００１１】
パッチが瞳孔の縁がぼやけたクラスに割り振られた場合、改良補正では、瞳孔に相当すると認識される領域の縁に隣接するピクセルの明度を変えることによって前記縁の線明度を高めることができる。
【００１２】
パッチがグリントが目立たなくなったクラス割り振られた場合、改良補正では、瞳孔に相当する領域のピクセル明度を変えることによってグリントを目立たせることができる。
【００１３】
分類に先立ち、デジタル画像またはそれから生成される解像度が変更された画像の複数のピクセルの各々について、前記方法は、ピクセルが赤目内にある確率を、ピクセルの色の関数として、ピクセルに割り当て、一連のピクセルの割り当てられた確率に基づいて赤目候補パッチを識別してもよい。
【００１４】
標準補正は、パッチ内の複数のピクセルの各々について、ピクセルが赤目内にあるという割り当てられた確率およびピクセルの色の関数であるピクセルに適用するべき補正を決定してもよい。
【００１５】
前記分類器は、前記第１クラス、または、前記第２クラスのうちの少なくとも１種に手作業で割り振られた１組のパッチで訓練してもよい。
【００１６】
前記分類では、少なくともパッチの各ピクセルに赤目内にあるという確率Ｐ（ｘ、ｙ）が割り当てられている確率マップ、水平方向および垂直方向のピクセル確率Ｐ（ｘ、ｙ）を合計する、前記確率マップから得られるプロジェクションヒストグラム（各ヒストグラムは、一般に、幅１ピクセルの一列のピクセルを表す）、および円形の領域および均質な色成分の分析に基づいたグリントの検出のための確率マップＰg（ｘ、ｙ）に基づいて、パッチの特徴を識別してもよい。
【００１７】
画像を処理するための装置には、前記方法を実行するための命令を実行する処理装置を含んでいてもよい。
【００１８】
前記方法を実行するための命令が記録された触知できる、コンピュータで読み取り可能な媒体が提供されてもよい。
【００１９】
もう１つの態様において、画像処理装置は、原画像またはそれから得られる解像度が変更された画像からなるデジタル画像の複数のピクセルに対して、ピクセルが赤目内にある確率を割り当て、そして前記割り当てられた確率に基づいて画像のパッチが赤目候補を含んでいるかどうか識別する。分類器は、赤目候補が確認されたデジタル画像のパッチを、第１クラスの画像のうちの１種および少なくとも１種の第２クラスの画像に分類する。前記第１クラスは、赤目候補の標準補正と関連しており、前記少なくとも１種の第２クラスは、赤目候補の改良補正と関連しており、前記改良補正は、デジタル画像が劣化する危険性を低減させる目的で、前記第２クラスの画像のためにデザインされたものである。前記分類器は、任意に、前記分類に信頼度を割り当てる。補正コンポーネントは、前記分類器による分類に基づいて、改良補正または標準補正のいずれかを赤目候補に適用する。
【００２０】
前記装置は、処理中にデジタル画像を記憶するメモリを備えていてもよい。
【００２１】
もう１つの態様において、画像処理法は、デジタル画像の複数のピクセルの各々について、ピクセルが赤目内にある確率を、ピクセルの色の関数として、ピクセルに割り当てることを含んでなる。前記方法は、パッチ内のピクセルの割り当てられた確率に基づいて、デジタル画像のパッチが赤目候補を含んでいるかどうか識別することをさらに含んでなる。赤目候補を含んでいると識別されるパッチについて、前記方法は、前記パッチを、赤目候補の標準補正と関連する第１クラスの画像、または、複数の第２クラス（第２クラスは、各々、赤目候補の改良補正と関連する）の画像のうちの少なくとも１種に自動的に分類し、そして前記分類と関連する信頼度を決定する。画像が少なくとも１種の第２クラスに分類され、尚且つ、信頼度が閾値を超える場合、改良補正がパッチに適用される。さもなければ、前記方法は、標準補正をパッチに適用する。
【００２２】
図１に示されるように、この方法は、Ａとして示される赤目検出法の結果を入力として利用する。次に、赤目候補が検出されたデジタル画像を、赤目候補を含む画像のパッチを分類する工程Ｂに付す。標準補正または改良補正をいずれを適用すべきか特定するためにクラスを選択する。パッチの分類、および任意に前記分類と関連する信頼度の決定に基づいて、パッチに対応する画像領域を、１種以上の改良補正クラスＣ1、Ｃ2および／またはＣ3に割り振ってもよい。次に、前記パッチを、これらのクラスと関連する１種以上の改良補正Ｐ1、Ｐ2および／またはＰ3に従って処理する。さもなければ、標準補正クラスＣ0を割り当て、標準補正Ｐ0を適用する。
【００２３】
本願明細書において開示される模範的な方法の検出工程Ａは、確率的でもよく、確率値Ｐ（ｘ、ｙ）を画像のピクセルに割り当てる。前記確率値はピクセルが赤目内にある可能性を表し、実際には赤目である領域と関連があることが分かっている異なるピクセルの特性、例えば赤み、輝度および空間円形度の組み合わせに基づいてもよい。分類工程のための特徴として使用することができる赤目検出のための確率マップＰは、このように生成される。
【００２４】
模範的な装置は、Ｐ（ｘ、ｙ）の値の確率マップを求めるためのソフト検出コンポーネントを備えていてもよい。
【００２５】
続く補正工程において、標準補正では、原画像のピクセルの赤チャネル値Ｒ（ｘ、ｙ）を、そのピクセルの確率値Ｐ（ｘ、ｙ）に依存する補正によって修正してもよく、また、元の緑および青チャネル値も考慮に入れてもよい。確率Ｐ（ｘ、ｙ）が低い場合、すなわち、赤目内にある確率が低い場合、ピクセルの元々の赤色は実質的に変わらない。確率Ｐ（ｘ、ｙ）が高い場合、すなわち、赤目である確率が高い場合、赤チャネル値を下げる。補正された赤チャネル値Ｒ（ｘ、ｙ）補正後は、下記式に従って求めることができる。
Ｒ（ｘ、ｙ）補正後＝［（１−Ｐ（ｘ、ｙ））Ｒ（ｘ、ｙ）］＋［Ｐ（ｘ、ｙ）*Ｆ（ｘ、ｙ）］                              式１
式中、Ｆ（ｘ、ｙ）は、緑チャネル値Ｇ（ｘ、ｙ）および青チャネル値Ｂ（ｘ、ｙ）を考慮にいれる要素であり、下記式に従って求めることができる。
Ｆ（ｘ、ｙ）＝（Ｇ（ｘ、ｙ）＋Ｂ（ｘ、ｙ））／２        式２
【００２６】
任意の赤目候補領域について、パターン分類法を用いて、どの潜在的な劣化が最も起こりそうかを求める。赤目補正法は、割り振られたクラスに基づく。使用される分類アルゴリズムは、フラッシュ光に曝されたときに眼の表面で知覚可能な２つの効果、すなわち、白い正反射であるグリントおよび目の中心の赤みに基づいてもよい。
【００２７】
赤目を補正するための模範的な装置は、画像内の赤目候補を識別するための赤目検出コンポーネントと、前記検出コンポーネントによって識別された赤目候補を含む画像のパッチを複数のクラスから選択されるクラスに分類するように訓練されている分類器と、前記クラスに基づく赤目候補に補正法を適用する補正コンポーネントとを含んでなる。模範的な実施態様のもう１つの態様において、画像を補正して赤目効果を低減させるための方法は、赤目候補を含む画像のパッチを前記パッチの特徴に基づいて複数のクラスから選択されるクラスに分類し、前記パッチが分類されたクラスに基づいて前記パッチに補正を施す。前記割り振りの信頼度に応じて、劣化クラスに特有の補正法Ｐ1、Ｐ2、．．．Ｐkまたは標準補正Ｐ0を適用してもよい。
【００２８】
処理されるべき画像は、デジタル画像装置、例えばデジタルカメラ、スキャナー、デジタルビデオレコーダーなどによって生成してもよい。
【００２９】
模範的な検出補正装置１０の機能ブロック図を図２に示す。装置１０はソフトウェアを備える。前記ソフトウェアは、デジタル画像装置に組み込まれていてもよいし、デジタル画像装置とは別の好適な画像処理装置、例えば、パーソナルデスクトップコンピュータ、ラップトップコンピュータ、または写真仕上げ装置のような専用画像処理システムに保存されていてもよい。画像はデジタル形式である。画像データは、赤、緑、青（ＲＧＢ）色空間のような色空間によって表される複数のピクセル値によって定義することもできるし、それらに変換することもできる。
【００３０】
装置１０は、中央演算処理装置（ＣＰＵ）のような処理モジュール１２と、関連メモリ１４とを含んでなる。処理モジュール１２は、さまざまな処理コンポーネント、例えば本実施態様では赤目検出コンポーネント１６、訓練可能な分類器１８および補正コンポーネント２０を含んでなる。前記処理モジュールによって処理される画像はメモリ１４に保存される。さらに、メモリ１４には、以下で説明する模範的な方法を実施するために処理モジュールコンポーネント１６、１８、２０によって実行される命令が保存されていてもよい。
【００３１】
検出コンポーネント１６は、赤目候補を含む入力画像の１つ以上の領域を識別するための命令を実行してもよい。本模範的実施態様において、検出モジュールは、入力画像（またはその解像度を下げたもの）のピクセルに、赤目内にいる確率Ｐ（ｘ，ｙ）を割り当ててもよい。
【００３２】
分類器モジュール１８は、その入力として、赤目検出モジュール１６の出力を受け取る。分類器モジュール１８は、実際の使用に先立ち、前以て識別された赤目候補領域を標準的な補正法Ｐ0によって補正しておいた一連の訓練用画像からパッチを分類するように訓練される。分類は、例えば、標準的な補正によって満足のいく補正ができる一級クラスＣ0および標準的な補正では十分な補正ができなかった（劣化したと一般に考えられる）１種以上の劣化クラスＣ1、Ｃ2、Ｃ3のようになされる。３種の劣化クラスとは、例えば、１）補正された領域が瞳孔の縁からはみ出ているパッチのクラス、２）瞳孔の形状がくっきりしていないクラス、および３）補正によって画像内のグリントが取り除かれたかまたはそのの外観が損なわれてしまったクラスである。分類器１６は、赤目候補を含む画像のパッチの特徴に基づいて、パッチを標準クラスＣ0または劣化クラスＣ1、Ｃ2、Ｃ3のうちの１種以上に分類するための命令を実行する。
【００３３】
補正コンポーネント２０は、分類器１８による分類に基づいて赤目候補を補正するための命令を実行する。一般に、前記補正コンポーネントは、少なくとも２種類の補正モード、すなわち、第１の、標準補正モードＰ0および１種以上の改良補正モードＰ1、Ｐ2、Ｐ3を提供する。改良補正モードＰ1、Ｐ2、Ｐ3は、それぞれ、画像が割り当てられた対応する劣化クラスＣ1、Ｃ2、Ｃ3と関係していることが多い劣化問題に対処するように調整されている。
【００３４】
メモリ１４は、処理コンポーネント１６、１８、２０にアクセスして、各工程の出力および原画像および補正画像を保存することができる。任意に、ユーザー入力装置（図示されていない）と連通しているユーザーインターフェース２２によって、ユーザーに補正後の画像を見せて、補正を容認または却下させることができる。処理コンポーネント１６、１８、２０、メモリ１４およびユーザーインターフェース２２は、データ／制御バス２４を介して通信し合ってもよい。任意に、前記コンポーネントは、互いに離れて、有線または無線リンクによって通信し合ってもよい。任意に、ネットワークインターフェース２６によって、装置１０にローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）のようなコンピュータネットワーク２８を介して他の装置と通信させることができる。装置１０は、インターフェース２６を介して画像入力装置３２から画像を受け取ったり、および／または、補正画像を出力してもよい。ある１つの実施態様において、装置１０はワークフロー処理システムの一部を成し、ネットワーク２８は、出力画像、または補正された画像を含んでなる文書を、紙のような触知できる印刷媒体に印刷するためのプリンター３２を含んでなる。メモリ１４は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、磁気ディスクまたはテープ、光ディスク、フラッシュメモリまたは立体画像メモリのようなどんなタイプのコンピュータ可読媒体でもよい。
【００３５】
図３〜５は、前記３種のクラスに対する標準補正の効果を図式化している。クラスＣ1の場合、原画像のパッチ４０を標準補正法Ｐ0で補正した場合、実際の瞳孔４４（円として図示）に対応する赤みがかった領域４２が瞳孔４４からはみ出しており、補正後の画像の同じパッチ４６では、瞳孔領域４８が理想としている大きさよりもずっと大きく見える（図３）。
【００３６】
クラスＣ2の場合、原画像のパッチ４０をＰ0で補正した場合、実際の瞳孔４４に対応する赤みがかった領域４２が、補正後の画像の同じパッチ４６内の瞳孔領域４８の輪郭をぼやかしている（図４）。Ｃ3の場合、瞳孔に対応する原画像の領域４２がグリント５０を含んでいる場合、Ｐ0で補正されたパッチ４６では、グリントが消失してしまっているか、または、グリントの外観が損なわれてしまっている（図５）。
【００３７】
分類器１８を訓練する前に、訓練用の赤目が補正されたパッチ４６を、目視観測に基づいてクラスＣ1、Ｃ2、Ｃ3のうちの１種以上、または、標準クラスＣ0に割り当てる。次に、各クラスのパッチの特徴を識別する。訓練の間、分類器１８は、備えている特徴によって特定のクラスに分類されるパッチを識別すること、および任意に、分類に信頼度を付与することを学び、これにより、訓練用データの外部からのパッチをＣ1、Ｃ2、Ｃ3のうちの１種以上に割り振ることができるようになる。
【００３８】
訓練で使用されるパッチ４０、４６は、それぞれ、それらの中心として赤目候補４２を備えていてもよい。パッチ４０、４６は、赤目候補領域４２よりも大きくてもよく、一般に、（赤目候補４２が実際に赤目であると仮定して）目を取り囲むのに十分なほど大きいが、画像領域全体よりは小さい。模範的なパッチは、赤目４２（瞳孔領域）、虹彩５２、目の白い部分（強膜）の少なくとも１部５４、および任意に、目の周囲の皮膚５６の１部を包含する大きさである。
【００３９】
前記分類器が不確かな場合、標準補正Ｐ0が取って代わってもよい。図６を参照しながら、模範的な方法を説明する。
【００４０】
この方法はＳ１００において始まる。Ｓ１０２では、選択された標準補正法（例えばＰ0）を用いて赤目が補正された多数の処理画像を含んでなる訓練用の画像を作成する。その中には、目視検査したときに、少なくとも一部の観察者には劣化しているように見える画像が含まれている。また、前記訓練用画像は、劣化しているようには見えず、むしろ未補正の原画像よりも向上していると観察者らによって一般に見なされる画像も含んでいてもよい。
【００４１】
Ｓ１０４において、訓練用画像は、観察者らによって、補正が十分であると考えられる画像のための標準クラスＣ0、または、Ｃ1、Ｃ2、．．．Ｃkで示される劣化クラスに割り振られる。図示された実施態様では、３種の劣化クラスＣ1、Ｃ2およびＣ3が確認される。各劣化クラスは、補正法Ｐ0を適用することによって生じ得る視認可能な劣化を表す。図示された実施態様において、これらは下記劣化に対応する。
Ｃ1：  補正された赤目が、本来の瞳孔から、例えば虹彩、強膜または瞼へとはみ出してしまい、非現実的な補正になってしまっている画像を含む。これは、瞳孔の外側の虹彩の部分を赤目ピクセルと見なす検出工程が原因で生じることがある。
Ｃ2：  補正された赤目の瞳孔の輪郭がぼやけてしまい、非現実的な補正になってしまっている画像を含む。これは、瞳孔と虹彩の境界の検出が正確ではない場合に生じることがある。
Ｃ3：  補正された赤目内のグリントが、原画像におけるグリントよりも薄れている画像を含む。瞳孔領域は一様になり易く、グリントは赤みで「覆われる」。
【００４２】
各訓練用画像は、クラスＣ1、Ｃ2、．．．Ｃkのうちの２つ以上に割り振られてもよい。例えば、グリントが取り除かれ、尚且つ、補正された領域が瞳孔からはっきりとはみ出してしまっている画像は、２つの劣化クラスＣ1およびＣ3に分類してもよい。
【００４３】
Ｓ１０６では、各劣化カテゴリＣ1、Ｃ2、．．．Ｃkに対する特別な補正法Ｐ1、Ｐ2、．．．Ｐkを作成する。図示された実施態様では、Ｃ1、Ｃ2およびＣ3に対して、３つの補正法Ｐ1、Ｐ2、Ｐ3がそれぞれ作成されている。補正法Ｐ1、Ｐ2、．．．Ｐkは、一般的な補正手順を共有することもあるが、それらは、一般に、少なくとも１つの観点において互いに異なっている。特定のクラスに標準補正が適用される場合、ＰkはＣ0と等しくなり得る。目的は、標準的な方法Ｐ1を改良するかまたはそれと等しい補正手順Ｐ1、Ｐ2、Ｐkを提供することである。標準の補正手順が各クラスＣ1、Ｃ2、．．．Ｃkに適用される方法に対して有益な利点を持つには、補正手順Ｐ1、Ｐ2、．．．Ｐkのうちの少なくとも１つがＰ0とは異なる。
【００４４】
劣化を補正するために、下記補正法が各劣化クラスＣi（ｉ＝１，２，３）と関連していてもよい。
Ｐ1：  パラメータ化モルフォロジー処理を適用する。
Ｐ2：  テンプレートベースの色瞳孔補正を適用する。
Ｐ3：  瞳孔に正反射（すなわち、グリント）を挿入する。
【００４５】
Ｓ１０８では、各クラスに手作業で割り振られた訓練用画像から特徴を抽出する。この工程には、広範囲のおよび局所的な赤目特徴の計算および突出した目のサブパーツの局所化が含まれていてもよい。
【００４６】
Ｓ１１０では、選択されたカテゴリＣ1、Ｃ2、．．．Ｃkと関連する目の類型（例えば、目の寸法、瞳孔の形状、虹彩の色情報のような特徴に関連して定義される）に基づいて、補正パラメータが決定および調整される。前記特徴によって、補正法のパラメータ化が可能になる。
【００４７】
Ｓ１１２では、クラスを区別する上で最も信頼できることが分かったそれらの特徴を用いて各クラスに割り振られた訓練用画像で分類器１８を訓練する。模範的な実施態様において、これにより、Ｃ1、Ｃ2、．．．Ｃkのうちの１種以上または標準クラスＣ0への赤目領域の暫定的分類が少なくとも可能になる。模範的な分類器１８は、特定の劣化と関連する特徴を選択させることができるため、発見的分類器である。より一般的な場合では、任意のパターン分類器を訓練することができる。
【００４８】
Ｓ１１４では、分類結果に対する信頼度を評価するための手段が任意に規定される。ある実施態様において、信頼度を用いて、標準補正Ｐ0または１種以上の補正Ｐ1,2,3を赤目候補に適用するかを決定してもよい。赤目候補が正しく分類されたという信頼度が閾値を超えた場合、Ｐ1、Ｐ2、Ｐ3のうちの適切な1種以上を適用することができる。前記閾値は、異なる補正法は画像に対する効果に程度の差があるため、適用される補正に応じて変化することがある。あるいは若しくはさらに、補正の量は、信頼度に関係していてもよい。
【００４９】
信頼度は、訓練された分類器によってカテゴリＣ1、Ｃ2、Ｃ3に暫定的に割り振られた画像を目視検査することによって求めてもよい。画像を正しいクラスにあまりうまく分類できない特徴には、信頼度を求める際に低い重要性が与えられるのに対し、特定のクラスと強く関連する特徴には、信頼度を求める際に高い重要性が与えられる。
【００５０】
前記方法はＳ１１６で終了する。
【００５１】
図７は、図６の方法で訓練された分類器を用いて画像を処理する模範的な方法を示す。この方法はＳ２００において始まる。
【００５２】
Ｓ２０２では、処理されるべき原画像６０が処理装置１２に受け取られる。前記画像はメモリ１４に保存されてもよい。
【００５３】
Ｓ２０４では、画像の解像度を変えて処理し易くしてもよい。例えば、解像度を下げた画像を生成してもよい。
【００５４】
前記画像に赤目検出を施す（図１の工程Ａに相当）。この工程は、赤目を識別する際に考慮される要素に応じて、様々な副工程、例えば、ピクセルが赤目内にある確率Ｐ（ｘ、ｙ）を各ピクセルに割り当てる、画像（または解像度を下げた画像）のための確率マップを作成する工程（Ｓ２０６）および赤目候補を含むパッチを識別する工程（Ｓ２０８）を含んでいてもよい。Ｐ（ｘ、ｙ）は、１種以上のピクセル特性、例えば色、輝度および／またはピクセルが存在する領域の円形度に基づいていてもよい。割り当てられた確率値に基づいて、ピクセルが連続している領域を赤目候補として識別してもよい。前記確率Ｐ（ｘ、ｙ）は、最小値から最大値にわたる値からなる尺度で表すことができる（例えば、赤目内にある確率は、１〜２５５または０〜１の間の任意の値をとることができる）。赤目候補を含んでいるとは考えられない周囲領域よりも、赤目候補領域内のピクセルの方に高い確率が割り当てられる。Ｓ２０８は、少なくとも赤みおよび任意に輝度の閾値を有する画像のピクセルの連続した領域を調べて、前記領域が赤目を構成するのに十分なほど円形であるかを判定してもよい。赤みは、ピクセルの赤チャネルコンポーネントのみの関数である、かまたは、赤（Ｒ）、緑（Ｇ）および青（Ｂ）成分の相対量を考慮に入れてもよい。さらなる処理を行って、赤目にはなり得ない大きさ（画像に関して小さ過ぎるまたは大き過ぎる）または形状（例えば、円形度が不十分である）の領域を検討の対象から除外することができる。除外された領域について、確率は、ゼロまたは任意の比較的低い確率値に設定することができる。残りの領域が赤目候補と考えられる。画像内の残りの領域（赤目候補領域）内のピクセルは、赤目内にあるという確率を少なくともある程度保有し、他の赤目候補領域と、赤目内にあるという確率Ｐ（ｘ、ｙ）が低いまたはゼロである領域を介して離れている。
【００５５】
赤目候補４２を含んでいると識別されたパッチ４０は、長方形または他の好適な形状でもよく、それらが含んでいる赤目候補よりも大きくてもよい。例えば、それらが含んでいる赤目候補をそれらの幾何学的中心として、赤目候補の約３倍（またはそれ以上）の水平および垂直方向の大きさを有する。一般に、個々のパッチは、全体の画像領域よりも小さい。
【００５６】
分類工程Ｂでは、赤目候補を含んでいるとＳ２０８で識別されたパッチを、分類器１８で分類してもよい。模範的な実施態様では、これにより、パッチが、標準クラスＣ0または劣化クラスＣ1、Ｃ2、．．．Ｃkのうちの１種以上に割り振られる。
【００５７】
Ｓ２１０では、パッチ４０から特徴を抽出する。抽出された特徴に基づいて、前記領域を、適当なクラスＣ1、Ｃ2、．．．ＣkまたはＣ0に少なくとも暫定的に割り振る。Ｓ２１２では、識別された特徴に基づいて、パッチをクラスに割り振る。Ｓ２１４（またはＳ２１２）では、割り振られたクラスの各々についての信頼度Ｌ1、Ｌ2、．．．Ｌkを求めてもよい。
【００５８】
Ｓ２１６では、目の異なるサブパーツ、すなわち、瞳孔、虹彩およびグリントを、Ｓ２１０で抽出した特徴に基づいて特定してもよい。
【００５９】
Ｓ２１８では、それぞれのクラスＣ1、Ｃ2、．．．Ｃkについての信頼度Ｌ1、Ｌ2、．．．Ｌkが、そのクラスに指定された閾値Ｔ1、Ｔ2、．．．Ｔkよりも高い場合に、割り振られた劣化クラスのための補正法を原画像に適用してもよい。さもなければ、標準補正Ｃ0を適用してもよい。
【００６０】
標準補正Ｐ0は、上記式１、あるいは、ピクセルに割り当てられた確率およびピクセルの１種以上の色チャネルの値に基づいた他の好適な補正を用いて適用することができる。
【００６１】
補正Ｐ1はＰ0に基づいてもよいが、例えば、Ｐに瞳孔の外側から中心に向かって徐々に値が増加する（例えば、０から１）因数を掛けることによって、瞳孔の境界付近のピクセルが中心付近のピクセルほど補正は受けないように修正してもよい。補正Ｐ2はＰ0に基づいてもよいが、ただし、瞳孔の境界における領域においては、テンプレート補正を適用して瞳孔の鮮明度を上げる。補正Ｐ3は、角膜の適当な領域へのグリントの挿入を除いて、Ｐ0に基づいてもよい。
【００６２】
任意にＳ２２０では、ユーザーは補正された画像を確認してもよいが、通常、この工程は不要である。
【００６３】
Ｓ２２２では、画像を出力して印刷したり、さらなるデジタル画像処理に掛けたり、文書形式に合わせてもよい。この方法はＳ２２４で終了する。
【００６４】
図７に示す方法は、コンピュータで実行することができるコンピュータプログラム製品で実施することができる。前記コンピュータプログラム製品は、例えばディスク、ハードドライブのような制御プログラムが記録された触知できるコンピュータで読み取り可能な記録媒体でもよいし、制御プログラムがデータ信号として具現化される送信可能な搬送波でもよいし、コンピュータが読み取り可能かつ利用可能な他の媒体でもよい。
【００６５】
Ｓ２１０では、目の劣化を検出して、各赤目領域について全体的および局所的特徴で表してもよい。全体的特徴が全領域を特徴付けるのに対し、局所的特徴は、領域内の特定の領域、例えば瞳孔および虹彩に対応する領域に関連する。
【００６６】
全体的特徴は、下記ａ、ｂ、ｃのうちの１種以上を含んでなる。
ａ．赤目検出工程によって出力されるピクセル関連の確率マップＰ（ｘ、ｙ）。
ｂ．瞳孔の形状および円形度の情報を示すプロジェクションヒストグラム。これらのヒストグラムは、水平方向および垂直方向のピクセル確率Ｐ（ｘ、ｙ）を合計し、各ヒストグラムは、一般に、幅１ピクセルの一列のピクセルを表す。これらのヒストグラムに基づいて、領域に含まれる赤目について、水平および垂直スプレッド指数ｓxおよびｓy（ピクセル単位）の尺度、アスペクト比ｓ＝ノルム（ｓx／ｓy）（ノルム（ｓx／ｓy）は、０〜１の間を変動する正規化数である）、および円形度尺度ｃ＝（４・π・Ａ）／Ｌp2（Ａは、領域のピクセルで表した範囲であり、Ｌpは、ピクセルで表した領域の周囲である）が得られる。
ｃ．円形の領域および均質な色成分の共同分析に基づいたグリントの検出のためのピクセル関連の確率マップＰg（ｘ、ｙ）。
例えば、マップのピクセルには、下記式に従ってＰg値を割り当ててもよい。
【数１】
2008146650.tif 000003
式３
式中、
【数２】
2008146650.tif 000004
および
【数３】
2008146650.tif 000005
であり、ｃijG、ｃijBは、ｉ番目の画像行およびｊ番目の画像列におけるＧおよびＢチャネルの値であり、Ｒx、yは、ピクセルｘ、ｙを中心とした円形領域であり、｜Ｒx、y｜は、その領域内のピクセルの数であり、Ｒx、yの半径は、円形度尺度に関して求められる。この式は、各ピクセルに、そのピクセルがグリントとして扱われるべき領域の一部を形成するかどうかを示す確率値Ｐg（ｘ、ｙ）を割り当てる。とりわけ、それは、Ｇ−Ｂ空間の値が実質的に均一である実質的に円形の領域を好む。これは、グリント領域が一般に円形であり、円形の瞳孔領域内に含まれているというグリントの実例に一般に当てはまる。
【００６７】
特徴抽出工程で抽出された局所的特徴は、領域内の特定の赤目ピクセル領域に関連する。領域拡張アルゴリズムをまず確率マップＰ（ｘ、ｙ）に適用して、同じような性質を持つ（例えば、確率マップにおいて近接しており、値がほぼ同じ）ピクセルを同質領域に集めてもよい。これらの同質領域の各々について、下記局所的特徴の１種以上を抽出してもよい。
ａ．領域によって占められた面積Ａ
ｂ．領域の質量中心ｘc、ｙc（すなわち、領域重心）
ｃ．領域としての同じ正規化された第２中心積率を有する楕円の短軸および長軸の長さｄx、ｄy（すなわち、考慮される領域に最適な外接楕円）
ｄ．領域としての同じ正規化された第２中心積率を有する楕円のｘ軸と長軸の間の角度α
【００６８】
一旦全体的および局所的特徴が抽出されれば、目の異なるサブパーツ、すなわち、瞳孔、虹彩およびグリントを特定することができる。例えば、局所的特徴抽出工程において評価される領域の中で、パッチの中心までのユークリッド距離を最小限にする領域が、赤目を示す候補として選択される。考えられるグリント領域は、位置についての経験則（すなわち、グリントは角膜領域内でローカライズされなければならない）および寸法についての経験則（すなわち、グリントの大きさは、瞳孔の寸法を測ることによって評価される）を以って、Ｐg（ｘ、ｙ）でローカライズされる。
補正法のパラメータ化
【００６９】
模範的な実施態様において、劣化Ｃ1,2,3を補正するには、一般に３種の補正法Ｐ1,2,3で十分である。これらの方法は以下の通りである。
【００７０】
Ｐ1：  パラメータ化モルフォロジー演算：  これらは、瞳孔の外に位置するために赤目候補の一部であると誤検出されたノイズピクセルを排除させることができる。さらに、それらは、瞳孔の形状を正規化することによってアーチファクトの導入を回避させることができる。これを達成するために、二値確率画像Ｐ（ｘ、ｙ）のモルフォロジークロージングを用いることができる。
【００７１】
Ｐ2：  テンプレートベースの色瞳孔補正：  瞳孔の縁の補正を滑らかにするためおよびＪＰＥＧアーチファクトを回避するために、テンプレートベースの色補正を、赤目パッチに適用してもよい。補正は規則的分布に従って適用してもよく、瞳孔領域の中心ではピーク補正が生じ、瞳孔の縁に向かって減少補正が適用される。例えば、瞳孔として識別される領域の特性に適合したガウスモデルを計算し、平滑化補正を適用する。これにより、瞳孔の中心から離れているピクセルは、中心に近いピクセルほど、平均して、補正を受けなくなる。
【００７２】
Ｐ3：  瞳孔正反射補正
瞳孔全体にわたって輝度が均一過ぎる場合に見られる「生気の無い」目効果を避けるために、グリントを挿入してもよい。２つのモデルを利用することができる。
ａ．ガウスモデル：  角膜の輝度Iを、色情報補正に使用したものと同様であるが共分散を変えたガウス関数を用いてモデル化した。
【数４】
2008146650.tif 000006
式４
式中、
【数５】
2008146650.tif 000007
、σx＝ｄxおよびσy＝ｄy、瞳孔領域楕円の軸、ｌは、瞳孔の大きさとグ
リントの大きさの典型的な関係に基づいて推定した倍率であり、
【数６】
2008146650.tif 000008
は、角度α（ｘ軸に対する目の方向）から求められる回転行列、および
【数７】
2008146650.tif 000009
は、グリントを中心とする位置（すなわち、一般には瞳孔の中心）である。グリントを挿入する場合、原画像の輝度を式４に従って変えてもよい、
ｂ．Ｂｕｉ  Ｔｕｏｎｇ  Ｐｈｏｎｇモデル：  このモデルは、見る者の位置を考慮に入れ、それに応じてグリントの反射を調整する。見る者がグリントとして視認する鏡面的｛きょうめんてき｝に反射｛はんしゃ｝された光の量は、入射光と表面法線｛ほうせん｝ベクトルの間の角度
【数８】
2008146650.tif 000010
および見る者と反射光の間の角度φによって決まる。輝度ＩについてのＰｈｏｎｇのモデルは以下の通りである。
【数９】
2008146650.tif 000011
式５
式中、
【数１０】
2008146650.tif 000012
は、鏡面的｛きょうめんてき｝に反射｛はんしゃ｝される表面に当たるフラクションであり、Ｉpは、グリントを生じさせるフラッシュ光のような光源の強度であり、ｎは、Ｐｈｏｎｇ鏡面反射指数である。
【数１１】
2008146650.tif 000013
は、ｋsで示される定数に設定されることが多く、実験的に導き出すことができる。
分類器
【００７３】
模範的な分類器１８は、事実上、経験則｛けいけんそく｝によるものである。パッチをＣ1、Ｃ2およびＣ3として分類するために、特に下記分類規則が適用される。
Ｃ1：  アスペクト比ｓを利用する。鉛直プロファイルに対して水平プロファイルが大き過ぎる場合（ｓ＞ｔｈs、ｔｈsは０〜１．４の範囲である）、区分けの問題が在り、赤目の外のピクセルが赤目ピクセルとして誤検出されていると考えることができる。パッチ領域はＣ1として分類される。
Ｃ2：  この分類は、円形度尺度ｃを利用する。赤目が十分に円形でない場合、瞳孔と虹彩の境が不正確である。例えば、ｃが０．６〜１の範囲外であると、赤目は十分に円形ではないと考えられる可能性があり、パッチはＣ2として分類される。
Ｃ3：  確率分散マップＰg（ｘ，ｙ）をまとめることによって得られるグリント確率ｇを利用する。ｇ＜ｔｈgである場合、グリントが消失していると考えられ、パッチはＣ3として分類される。具体的には、グリント確率マップは、以下のように調べることができる。
１）ノイズ除去のための一定値ｔｈg（約０．６である）を用いて確率マップに閾値を設定し、バイナリマスク（ピクセル値が１または０であるマスク）を得る。
２）バイナリマスクの非ゼロピクセルの数ＧNZを求める。
３)ＧNZが０ではない場合、グリントは存在し、パッチに補正は必要なく、さもなければ、例えばガウスモデルあるいはＢｕｉ  Ｔｕｏｎｇ  Ｐｈｏｎｇモデルを用いて、人為的にグリントを挿入することができると考えられる。
【００７４】
一旦１種以上の劣化クラスＣiが検出されれば、対応する補正Ｐiを適用することができる。
信頼度
標準補正法Ｐ0および最終的なパラメータ化補正Ｐ1,2,3のいずれかを選択するためには、信頼度を評価してもよい。
【００７５】
信頼度は、人の観察を反映するため、すなわち、パッチが間違って分類された場合の被害の危険性に対して補正の重要性を釣り合わせるために選択されてもよい。Ｃ1の場合、これは比較的容易である。その理由は、補正の利点が大きい一方で劣化の危険性は比較的低く、そのため、信頼度も低くなり、結果として、比較的低い信頼度の正しい補正が得られる場合でも適用される補正法Ｐ0となる。一般に、Ｃ2の補正の場合、危険性が利点をわずかに上回るため、必要とされる信頼度は、少なくともＣ1の場合と同じぐらい高く、一般にはＣ1よりも高く、Ｃ3の場合、一般にはＣ2よりも高い。
【図面の簡単な説明】
【００７６】
【図１】デジタル画像における赤目現象を補正するための方法を示す流れ図である。
【図２】赤目を検出および補正するための装置の機能ブロック図である。
【図３】赤目が瞳孔からはみ出している、標準的な赤目補正法で補正した後の画像のパッチを示す図である。
【図４】赤目が瞳孔の縁辺りでぼやけている、標準的な赤目補正法で補正した後の画像のパッチを示す図である。
【図５】標準的な赤目補正法による補正の過程において赤目からグリントが消失した画像のパッチを示す図である。
【図６】図２の装置を構築する方法を示す流れ図である。
【図７】赤目を検出および補正する方法を示す流れ図である。
【図１】
2008146650.tif 000014
【図２】
2008146650.tif 000015
【図３】
2008146650.tif 000016
【図４】
2008146650.tif 000017
【図５】
2008146650.tif 000018
【図６】
2008146650.tif 000019
【図７】
2008146650.tif 000020