(57)【要約】【課題】本発明は、写真画像における赤目領域を自動的に検出するデジタル画像における赤目領域の検出方法及び装置を提供する。【解決手段】その一実施態様における方法については、カラー写真画像のデジタル画像データにアクセスし、次にその写真画像の幾つかの位置における特性値を計算し、その計算された特性値に基づいて候補となる赤目領域を特定するというやり方で、デジタル画像データを処理することによって写真画像における候補となる赤目領域を検出し、最後にその特定された赤目領域の候補が顔に関連しているかどうかを判断するために、顔検出が行われる。【選択図】      図２
2004348733.tif 000002
【特許請求の範囲】
【請求項１】
写真画像における赤目領域を自動的に検出する方法であって、  
カラー写真画像を表すデジタル画像データにアクセスするステップと、
その写真画像の幾つかの位置における特徴値を計算し、その計算された特徴値に基づいて候補となる赤目領域を特定するというやり方で、デジタル画像データを処理することによって、写真画像における候補となる赤目領域を検出するステップと、
その特定された赤目領域の候補が顔に関連しているかどうかを判断するために、顔検出が実行されるステップとを有することを特徴とする赤目領域自動検出方法。
【請求項２】
請求項１に記載の写真画像における赤目領域を自動的に検出する方法において、前記顔検出を実行するステップは、前記写真画像の特徴値を計算し、検出された赤目候補領域が顔と関連するかどうかを前記特徴値に基づいて判断するステップからなることを特徴とする赤目領域自動検出方法。
【請求項３】
請求項１に記載の写真画像における赤目領域を自動的に検出する方法であって、顔に関連して特定された赤目候補領域の輪郭を検出するステップを更に有することを特徴とする赤目領域自動検出方法。
【請求項４】
請求項１に記載の写真画像における赤目領域を自動的に検出する方法であって、前記写真画像における赤目候補画素を特定する赤目検出マスクを生成する赤目検出マスク生成ステップを更に有し、該赤目検出マスク生成ステップは、前記カラー写真画像の画像データを対象画素と局部的背景画素の間で増加したコントラストを有する色チャンネルに変換することを特徴とする赤目領域自動検出方法。
【請求項５】
請求項３に記載の写真画像における赤目領域を自動的に検出する方法であって、前記写真画像における赤目候補画素を特定する赤目検出マスクを生成する赤目検出マスク生成ステップを更に有し、該赤目検出マスク生成ステップは、前記カラー写真画像の画像データを対象画素と局部的背景画素の間での増加したコントラストを有する色チャンネルに変換し、前記赤目検出マスク生成ステップと赤目軽減の対象になる前記デジタル画像データにおける画素を特定するための輪郭を検出するステップの結果とを組み合わせるステップとを更に有することを特徴とする赤目領域自動検出方法。
【請求項６】
請求項１に記載の写真画像における赤目領域を自動的に検出する方法であって、前記写真画像の幾つかの位置における特徴値を計算するステップは、前記カラー写真画像の画像データを対象画素と局部的背景画素の間での増加したコントラストを有する色チャンネルに変換するステップを含むことを特徴とする赤目領域自動検出方法。
【請求項７】
請求項１に記載の写真画像における赤目領域を自動的に検出する方法であって、前記写真画像の幾つかの位置における特徴値を計算するステップはＹ、Ｃｂ、およびＣｒからなる画像データから特徴値を計算することを特徴とする赤目領域自動検出方法。
【請求項８】
請求項１に記載の写真画像における赤目領域を自動的に検出する方法であって、前記写真画像の幾つかの位置における特徴値を計算するステップは、固定サイズのウインドウを用いて写真画像データをスキャンニングするステップと前記スキャンニングをスケール変更した前記写真画像に繰り返すステップによって実行され、それによって前記赤目候補領域検出ステップが種々のサイズの赤目候補領域を特定することを特徴とする赤目領域自動検出方法。
【請求項９】
請求項１に記載の写真画像における赤目領域を自動的に検出する方法であって、前記写真画像の幾つかの位置における特徴値を計算するステップは複数の弱分類器を計算することを特徴とする赤目領域自動検出方法。
【請求項１０】
請求項１に記載の写真画像における赤目領域を自動的に検出する方法であって、前記顔検出を実行するステップは顔と非顔とを識別するために離散ウェーブレット変換係数を計算することを特徴とする赤目領域自動検出方法。
【請求項１１】
請求項３に記載の写真画像における赤目領域を自動的に検出する方法であって、前記特定された赤目候補領域の輪郭を検出するステップは対応する画像領域の複数回の回転に対してトップエッジを検出することを特徴とする赤目領域自動検出方法。
【請求項１２】
請求項１に記載の写真画像における赤目領域を自動的に検出する方法であって、前記赤目候補領域を検出するステップはセットの赤目候補領域を生成し、顔検出を実行するステップは前記セットの赤目候補領域から顔と関連がないことが判った候補を除去することを特徴とする赤目領域自動検出方法
【請求項１３】
写真画像における赤目領域を自動的に検出する装置であって、
カラー写真画像を表すデジタル画像データを供給する画像データユニットと、
その写真画像の幾つかの位置における特徴値を計算し、その計算された特徴値に基づいて候補となる赤目領域を特定するというやり方で、デジタル画像データを処理することによって、写真画像における候補となる赤目領域を検出するための赤目候補検出ユニット、  および、その検出された赤目領域の候補が顔に関連しているかどうかを判断するために、顔検出を実行する顔検出ユニットを有することを特徴とする赤目領域自動検出装置。
【請求項１４】
請求項１３に記載の装置であって、前記顔検出ユニットは、前記写真画像の特徴値を計算すること、および、検出された赤目候補領域が顔と関連するかどうかを前記特徴値に基づいて判断することにより顔検出を実行することを特徴とする赤目領域自動検出装置。
【請求項１５】
請求項１３に記載の装置であって、各特定された顔に関連する赤目候補領域の輪郭を検出するための赤目輪郭検出ユニットを更に有することを特徴とする赤目領域自動検出装置。
【請求項１６】
請求項１３に記載の装置であって、前記写真画像における赤目候補画素を特定する赤目検出マスクを生成するための補完的赤目画素検出ユニットを更に有し、前記補完的赤目画素検出ユニットは前記カラー写真画像の画像データを対象画素と局部的背景画素の間での増加したコントラストを有する色チャンネルに変換することを特徴とする赤目領域自動検出装置。
【請求項１７】
請求項１５に記載の装置であって、前記写真画像における赤目候補画素を特定する赤目検出マスクを生成するための補完的赤目画素検出ユニットを更に有し、前記補完的赤目画素検出ユニットは前記カラー写真画像の画像データを対象画素と局部的背景画素の間での増加したコントラストを有する色チャンネルに変換することができ、前記補完的赤目画素検出ユニットの出力は赤目軽減の対象になる前記デジタル画像データにおける画素を特定する前記赤目輪郭検出ユニットの出力が組み合わされることを特徴とする赤目領域自動検出装置。
【請求項１８】
請求項１３に記載の装置であって、前記赤目候補検出ユニットは前記カラー写真画像の画像データを対象画素と局部的背景画素の間での増加したコントラストを有する色チャンネルに変換することを特徴とする赤目領域自動検出装置。
【請求項１９】
請求項１３に記載の装置であって、前記赤目候補検出ユニットはＹ、Ｃｂ、およびＣｒからなる画像データから特徴値を計算することを特徴とする赤目領域自動検出装置。
【請求項２０】
請求項１３に記載の装置であって、前記赤目検出ユニットは固定サイズのウインドウを用いて写真画像データをスキャンニングし、前記スキャンニングをスケール変更した前記写真画像に繰り返し実行し、それによって種々のサイズの赤目候補領域を特定することを特徴とする赤目領域自動検出装置。
【請求項２１】
請求項１３に記載の装置であって、前記赤目検出ユニットは前記特徴値を複数の弱分類器について計算することを特徴とする赤目領域自動検出装置。
【請求項２２】
請求項１３に記載の装置であって、前記顔検出ユニットは顔と非顔とを識別するために離散ウェーブレット変換係数を計算することを特徴とする赤目領域自動検出装置。
【請求項２３】
請求項１５に記載の装置であって、前記赤目輪郭検出ユニットは、赤目トップエッジを対応画像領域の複数回の回転に対して検出することを特徴とする赤目領域自動検出装置。
【請求項２４】
請求項１３に記載の装置であって、前記赤目候補検出ユニットはセットの赤目候補領域を生成し、前記顔検出ユニットは顔検出を実行し前記セットの赤目候補領域から顔と関連がないことが判った候補を除去することを特徴とする赤目領域自動検出装置。
【請求項２５】
請求項１３に記載の装置であって、前記赤目候補検出ユニットは赤目と関連のない画像領域の早期排除を行うために、特徴値の組み合わせとして計算される画像領域の応答値を中間閾値と繰り返し比較することを特徴とする赤目領域自動検出装置。
【請求項２６】
請求項２５に記載の装置であって、前記中間閾値は赤目と非赤目の画像領域のサンプル画像を用いながら種々のサイズと方向についての訓練セッションを通して得られることを特徴とする赤目領域自動検出装置。
【請求項２７】
請求項１３に記載の装置であって、前記顔検出ユニットは顔と関連のない画像領域の早期排除を行うために、画像領域の顔検出応答値を中間閾値と繰り返し比較することを特徴とする赤目領域自動検出装置。
【請求項２８】
請求項２７に記載の装置であって、前記中間閾値は顔と非顔の画像領域のサンプル画像を用いながら種々のサイズと方向についての訓練セッションを通して得られることを特徴とする赤目領域自動検出装置。
【請求項２９】
写真画像における赤目画素を検出する方法であって、  
カラー写真画像を表すデジタル画像データにアクセスステップと、
複数の画素の各々を隣接する画素に基づいて正規化するステップと、
その正規化された画素に線形判別関数を適用するステップと、
その線形判別関数をあてはめ適用した結果に基づいて、その正規化された複数の画素の各々が赤目画素か否かを決定するステップとを有することを特徴とする写真画像における赤目画素検出方法。
【請求項３０】
請求項２９に記載の方法であって、前記正規化のステップは隣接領域の画素の平均値に基づいて前記複数画素の各々を正規化することを特徴とする写真画像における赤目画素検出方法。
【請求項３１】
請求項３０に記載の方法であって、前記正規化ステップは正規化されるべき画素から隣接領域の画素の平均値を減ずることを特徴とする写真画像における赤目画素検出方法。
【請求項３２】
請求項３０に記載の方法であって、前記正規化ステップは正規化されるべき画素の値を隣接領域の画素の平均値で除することを特徴とする写真画像における赤目画素検出方法。
【請求項３３】
請求項２９に記載の方法であって、線形判別関数を適用するステップにおける線形判別関数はフィッシャー線形判別関数であることを特徴とする写真画像における赤目画素検出方法。
【請求項３４】
写真画像における赤目画素を検出する装置であって、
カラー写真画像を表すデジタル画像データを供給する画像データ入力ユニットと、
そのデジタル画像データの複数の画素の各々を隣接する画素に基づいて正規化し、その正規化された画素に線形判別関数を適用し、その線形判別関数を適用した結果に基づいて、その正規化された複数の画素の各々が赤目画素か否かを決定する、ということによって赤目画素を検出する赤目画素検出ユニットとを有することを特徴とする写真画像における赤目画素検出装置。
【請求項３５】
請求項３４に記載の装置であって、前記赤目画素検出ユニットは隣接領域の画素の平均値に基づいて前記複数画素の各々を正規化することを特徴とする写真画像における赤目画素検出装置。
【請求項３６】
請求項３５に記載の装置であって、前記赤目画素検出ユニットは正規化されるべき画素から隣接領域の画素の平均値を減ずることによって画素を正規化することを特徴とする写真画像における赤目画素検出装置。
【請求項３７】
請求項３５に記載の装置であって、前記赤目画素検出ユニットは正規化されるべき画素の値を隣接領域の画素の平均値で除することによって画素を正規化することを特徴とする写真画像における赤目画素検出装置。
【請求項３８】
請求項３４に記載の装置であって、前記線形判別関数はフィッシャー線形判別関数であることを特徴とする写真画像における赤目画素検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタル画像処理技術に関し、特にデジタル画像における赤目領域の検出方法及び装置に関する。
【背景技術】
【０００２】
赤目はフラッシュ撮影において良く見られる問題で、典型的にはカメラのフラッシュ光が目の内部の血管によって反射された時に生じ、目を不自然な赤色にしてしまう。赤目が修正されれば写真の品質はかなり向上するという認識の下、一旦修正されるべき画像領域が示されると、あとは赤色画素を如何により自然な目の色で置き換えるかに焦点をあてて研究がなされてきた。しかしながら、おびただしい数の画像を例えば写真ラボでそのように処理するとすると、オペレーターに画像を一つ一つ調べて赤目の輪郭を決めることを要求するのは困難である。  
【０００３】
このようなオペレーターに画像を調べて赤目領域を特定させる困難さに鑑み、赤目検出のための画像処理技術が提案されてきた。そのような画像処理技術の一つは、特許文献１に開示されていて、そこではまず画像中の一つ一つの顔の位置決定用の分析を行い、次に検出した顔が開いている目を有すると判断されるならば、更にその検出された開いている目が赤色の瞳を有するかどうか。もし瞳が赤色であれば、赤目の各画素のＲＧＢ値は予め決めておいた所定の色に変更される。
【特許文献１】米国特許６，２７８，４９１号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示されているような自動赤目検出技術の提案にもかかわらず、本件出願の発明者等は、検出速度を向上させ、及び偽陽性／陰性の発生を軽減させることが、特に写真ラボのような大量を扱う場合には、自動的な赤目の検出及び軽減に関する質と実現可能性を高める上で、極めて重要であることを見出した。
【０００５】
本発明はこのような事情に鑑みてなされたもので、写真画像における赤目領域を自動的に検出することができるデジタル画像における赤目領域の検出方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、写真画像における赤目領域を自動的に検出するための方法と装置とを対象とするものである。本発明の第一の発明は、写真画像における赤目領域を自動的に検出する方法であって、カラー写真画像を表すデジタル画像データにアクセスし、その写真画像の幾つかの位置における特徴値を計算し、その計算された特徴値に基づいて候補となる赤目領域を特定するというやり方で、デジタル画像データを処理することによって、写真画像における候補となる赤目領域を検出し、その特定された赤目領域の候補が顔に関連しているかどうかを判断するために顔検出が実行されることを要件とする方法である。
【０００７】
本発明の第二の発明は、写真画像における赤目領域を自動的に検出する装置であって、カラー写真画像を表すデジタル画像データを供給する画像データユニットと、その写真画像の幾つかの位置における特徴値を計算し、その計算された特徴値に基づいて候補となる赤目領域を特定するというやり方で、デジタル画像データを処理することによって、写真画像における候補となる赤目領域を検出するための赤目候補検出ユニット、及びその検出された赤目領域の候補が顔に関連しているかどうかを判断するために、顔検出を実行する顔検出ユニットを有する装置である。
【０００８】
本発明の第三の発明は、写真画像における赤目画素を検出する方法であって、カラー写真画像を表すデジタル画像データにアクセスし、複数の画素の各々を隣接する画素に基づいて正規化し、その正規化された画素に線形判別関数をあてはめ適用し、その線形判別関数をあてはめ適用した結果に基づいて、その正規化された複数の画素の各々が赤目画素か否かを決定することを要件とする方法である。
【０００９】
本発明の第四の発明は  写真画像における赤目画素を検出する装置であって、カラー写真画像を表すデジタル画像データを供給する画像データ入力ユニットと、そのデジタル画像データの複数の画素の各々を隣接する画素に基づいて正規化し、その正規化された画素に線形判別関数をあてはめ適用し、その線形判別関数をあてはめ適用した結果に基づいて、その正規化された複数の画素の各々が赤目画素か否かを決定する、ということによって赤目画素を検出する赤目画素検出ユニットを有する装置である。
【発明の効果】
【００１０】
以上説明したように本発明に係るデジタル画像における赤目領域の検出方法及び装置によれば、写真画像に係る赤目領域を自動的に検出することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照しつつ本発明をより具体的に説明する。
【００１２】
図１は、本発明の実施態様における写真画像における自動赤目検出を行い、赤目領域を修正するためのシステムのブロック図を示している。図１におけるシステム１００は以下の構成要素、すなわち、画像入力装置２０、画像処理ユニット３０、印刷ユニット４０、ユーザー入力ユニット５０、及び表示装置６０を備えている。各構成要素の動作及び相互の機能的な関係は以下の説明から明らかとなろう。
【００１３】
画像入力装置２０はカラー写真のデジタル画像データを供給する。画像入力装置の一つとしては、フィルム上に記録された画像をスキャンニングするスキャナーがある。スキャナーは例えば、フイルムから一こまづつＲ（赤）、Ｇ（緑）、Ｂ（青）画像情報を光電的に読み取るＣＣＤセンサーを備えている。この画像入力装置はまた、写真フィルムやデジタルカメラから生成されるデジタル画像データ（たとえばＣＤ−Ｒやフロッピーディスクその他の記録媒体あるいはネットワーク接続）を提供する装置が一つあるいは幾つもつながっているものでも良い。画像処理ユニット３０は画像入力装置２０からデジタル画像データを受け取り、以下で述べるやり方で赤目の検出と軽減を実行する。ユーザー、たとえば写真ラボのオペレーターは、赤目検出の中間結果も含めて表示装置６０を通して画像処理ユニット３０の出力を見ることができ、ユーザー入力装置５０を介して画像処理装置３０へコマンドを入力することができる。図１に示される実施態様においては、ユーザー入力装置はキーボード５２及びマウス５４を備えている。本発明の実施態様における赤目の検出／軽減の実行に加えて、この画像処理ユニット３０は、更に別の画像処理機能、すなわち既知の色／濃度補正機能、画像のクロッピング、圧縮その他を、ユーザー入力ユニット５０から受け取るコマンドに応じて、実行することができる。印刷ユニット４０は画像処理ユニット３０からの出力を受け取り、その処理された画像データのハードコピーを生成する。写真ラボにおいては印刷ユニット４０は、画像処理ユニット３０からの画像データ出力に応じて感光材料を露光して画像を記録することができる。印刷ユニット４０は、たとえばカラーレーザープリンターのような他の形式も可能である。画像処理ユニット３０の出力のハードコピー生成に加えてあるいはその代替物として、処理された画像データは注文主に、持ち運びできる記録媒体或いはネットワーク（図示なし）を通じて画像ファイルとして返すこともできる。
【００１４】
図２は、本発明の第一実施態様における、赤目の検出及び軽減を実行する画像処理ユニット３０の詳細を示す図である。図２に示されるように、この実施態様での画像処理ユニット３０は、画像入力装置２０からのデジタル画像データを受ける画像メモリー３２、赤目候補検出器３４、顔検出器３６、赤目の輪郭／画素検出器３８、及び赤目軽減モジュール３９を備えている。図２における種々の構成要素は別々に切り離された要素として示されているが、それは説明を容易にするためのものであって、種々の要素の幾つかの作用働きは同一の物理的デバイス、例えば一個あるいは複数のマイクロプロセッサーによって実行できることがしられている。一般的に、図２で示されている画像処理ユニット３０用の各要素の配列は、赤目候補検出を行って赤目状候補画像パッチを見出し、そして顔検出を実行して偽陽性のもの（すなわち、赤目のように見えるが、実は、そうではないもの）を除外し、さらに赤目輪郭とその輪郭内の赤目画素を決定する赤目輪郭／画素検出を実行する。この図２の画像処理ユニット３０の各要素の働きを図３から図１１を参照しながら説明する。
【００１５】
図３は、本発明の実施態様における、赤目候補検出器３４によって実行される動作を示すフローダイアグラムである。最初に赤目候補検出器３４は画像メモリー３２からのデジタル画像データにアクセスする（Ｓ１１２）。赤目候補検出器３４によって受け付けられた画像データは、例えば局部的輝度均等化を使用して赤目検出を高める前処理を行うことができる。この局部的輝度均等化は、各画素を、その画素の周囲の矩形状（あるいは他の形状）の隣接領域における平均輝度によって正規化すること、たとえば各画素から平均局部輝度を減ずることによって、あるいは各画素を平均局部輝度で除することによって実行することができる。もう一つの方法としては、既知の輝度調整手法が利用できる。画像メモリー３２から受けた画像データがＲ、Ｇ、Ｂデータの時は、赤目候補検出器３４は、ＹＣｂＣｒ色空間への色変換を行い、各画素の輝度、青さ、赤さを取り込む（Ｓ１１４）。
【００１６】
赤目の周辺の肌はしばしば赤みあるいはピンクがかって見えるということを理解した上で、本出願の実施態様では、さらに、赤目と周囲の画素の間の差を助長する追加のカラーチャンネル、Ｃｒ* を用いる。そのような補助的カラーチャンネルは、本出願の第２実施態様を参照しながら以下で詳細に説明される。更にまた入力画像データ( 例えば、１２００×１８００画素) はサイズ調整が可能( 例えば９００×１３５０画素に) で、それによってスピードを増しより具体的には赤目候補検出器３４は小さすぎる赤目を探さないで済む。
【００１７】
その画像データにおける赤目候補領域を検出するために、赤目候補検出器３４は、画像を複数の互いに重なり合っている固定サイズの画像パッチ（例えば１１×１１画素）及びその固定サイズを用いた多重の倍率のもの（例えば２倍、４倍、８倍の倍率）に分割し（Ｓ１１６）、各画像パッチに対してＹＣｂＣｒＣｒ* カラーチャンネルを用いてその特徴値を計算する（Ｓ１１８）。赤目は種々のサイズで現れているのでスケーリングがなされる。各々の計算された特徴値は特定のカラーチャンネルの、あるいは組み合わせたカラーチャンネルからの画素値を用いている。例えば、各特徴値は矩形領域（例えば１１×１１の画像パッチ全域あるいはその部分領域）。赤目候補検出器３４は算出された特徴値を組み合わせることによってある特定の画像パッチが赤目候補を表しているかどうか決定し、それによって分類器応答（信頼度値）を得て（Ｓ１２０）、それは、対応する画像パッチを赤目候補として採択するか棄却するかを決める閾値と比較される（Ｓ１２２）。その特徴値は量子化され（例えば６４段階に）、赤目候補採択／棄却のための閾値は、学習プロセス（以下で詳細に説明される）の間に生成したヒストグラムに基づいている。赤目候補領域の最初のセット( 一組) を決定すると、赤目候補検出器３４は  非最大値の無視( 廃棄) 抑制（すなわち、分類器応答の局部的最大値のみを保持する）（Ｓ１２４）のような後処理を実行し、残りの赤目候補の位置とスケールを出力する（Ｓ１２６）。
【００１８】
赤目候補検出器３４によってなされるプロセスを速くするために、早期棄却が導入実施され、中間の閾値と比較される中間の分類器応答値を計算し、それによってシステムが速やかに赤目領域に相当しない画像パッチを除去できるようにする。この早期棄却手法は後で述べるトレーニング手法を用いることで偽陰性の問題の発生を防ぐことができる。
【００１９】
赤目は本質的に小さな赤い丸状の染みであるが、正確で迅速に赤目を特定することはかなり難しい。更にはもし赤目検出器がお手製で作られたものだと、丈夫でどんなタイプの赤目にも適用できる検出器ということにはなかなかならないだろう。本発明の実施の一つとして別のやり方を選択する。すなわち検出器がデータから自動的に学習をする。特に、十分な量の（陽性）赤目画像の事例と、（陰性）非赤目画像の事例が集められる。この学習訓練用の事例は固定したサイズを持つように正規化される。（必要に応じてスケーリングをし直す）。次に、マシーン学習メソッドが、分類器が陽性と陰性のデータの差を識別できるように訓練するために、適用される。このような分類器は固定サイズ（例えば１１×１１画素）の画像パッチを見て、それが赤目のものかどうかを決定する。
【００２０】
ブースティングは学習アルゴリズムの一種で、分類器を非常にシンプルな“弱”分類器の重み付けされた組み合わせとして構成する。いかなるブースティングアルゴリズムもワンセットの陽性及び陰性の事例を使用し、関数ｆ（Ｘ）を出力する分類器に、それが陽性事例Ｘに対しては陽性を示し、陰性事例に対しては陰性を示すように学習させる。ブースティングにおいてはこの関数は以下のように表わされる。
【００２１】
【数１】
2004348733.tif 000003
ここで各ｆk （Ｘ）は、弱分類器である。分類器をワンセット分の陽性事例と陰性事例について訓練するプロセスは繰り返しプロセスであり、そこでは弱分類器ｆｉは順番に学習し、訓練用の事例の重み付けは難しい事例に対してより高い重み付けになるように更新されて行く。つまりそれまでの弱分類器の組み合わせでは誤った分類がされてしまう。
【００２２】
Collins et al.,“Logistic regression, adaboost and bregman distances,” in Computational Learning Theory, 2000, pp. 158-169, に記述されているような方法は、下記の目的関数を最大にするために使用することができる。
【００２３】
【数２】
2004348733.tif 000004
ここでＸ1 …ＸN は訓練用事例で、Ｙi はラベル（陽性事例に対しては、１、陰性事例に対しては、−１）である。この目的関数は、すべての事例に対してｆ（ｘi ）の規模が大きく、Ｙi と同符号ならば、最大値を取ることが検証できる。しかし実際にはそれは不可能である。なぜなら、この分類器を一般化するには、ｆ（ｘ）の計算量はどうしても制限を受けるからである。この目的関数を最適化するには、各繰り返し計算のたびに訓練事例の重み付けは更新され、  i ＋１番目の弱分類器ｆi+1 を訓練するときは、ラベルｙ＝±1 のついた訓練用事例Ｘ＝（Ｘi,…，Ｘ k）は重み付けとして、
【００２４】
【数３】
2004348733.tif 000005
を受け取る。
【００２５】
赤目と顔検出（後で説明）に用いられる画像の特徴としては  有限個数の値が採用されるが、弱分類器はたった一つの特徴を見るだけなので当然である。ある特定の特徴Ｘk に関しては、関心対象における各値Ｘk の観測確率、P(Ｘk  =ｘk ｜ｙ = 1) 及び背景のランダム画像におけるその確率  P(Ｘk  =ｘk ｜ｙ =−１）は知ることができる。各々の分布はワンセットの重み付け事例から知ることができ、各特徴値のビンで、ヒストグラムで表される。目的関数を最大にするには、特徴Ｘk を見る分類器は下記を出力しなければならない。
【００２６】
【数４】
2004348733.tif 000006
訓練手順の各繰り返しごとに各可能性のある特徴は試され、対応する弱分類器が算出され、その結果としての目標関数Φの値が評価され、Φ値の最も高い特徴が選択される。        
【００２７】
各々の写真は、非常に多数の潜在的な顔あるいは赤目を異なる位置と大きさにおいて有するので、赤目検出器３４は非常に低い偽陽性判断の割合を持つべきであろう。従って、多量の代表的陰性事例を有するセットを準備することが望ましい。しかしながら、訓練用事例の同じセットが訓練における全ての繰り返し反復において使われる必要はない。代わりにブートストラッピングが適用できる。少数の弱分類器毎に、検出器の現在の状況を知り、それが背景画像に適用され、陽性として誤って分類されたパターンが抽出される。これらの偽陽性事例は次の数回の訓練繰り返しのための陰性訓練用セットになる。
【００２８】
赤目検出器３４は速くなくては困る。検出速度は、弱分類器応答の全合計
【００２９】
【数５】
2004348733.tif 000007
を各位置において計算する必要はないということを知れば、速くできる。多くの陰性パターンは、合計式における最初の２−３の項目に基づいて、早期に排除（棄却）できる。この早期棄却を実行するためには、閾値セットθ1 、θ2 、…、θN が計算され、パターンＸは、もしｆ（ｘ）＞０かつ各ｉ  に対してｉ番目までの部分合計が
【００３０】
【数６】
2004348733.tif 000008
であれば、陽性として分類される。
【００３１】
これらの中間閾値は、多数の陽性事例を考慮し、正しく分類されているものを選択し（すなわちｆ（ｘ）＞０のもの）、以下の式を計算することによって得られる。
【００３２】
【数７】
2004348733.tif 000009
かくして、もし顔事例Ｘ. が正しく分類されているなら、各ｉに対して以下の式を得る。
【００３３】
【数８】
2004348733.tif 000010
本発明のこの実行に基づくシステムは各候補画像ウィンドウＸを考慮し、累積応答Ｓ＝ｆ1 （ｘ）＋ｆ2 （ｘ）＋…＋ｆi （ｘ）、i = 1 …Ｎを維持しながら、弱分類器ｆ１（ｘ）、ｆ２（ｘ）、…の応答を順番に計算する。もし、
【００３４】
【数９】
2004348733.tif 000011
ならｆ（ｘ）の評価をすすめ、もしそうでなければこの候補を放棄し次の候補に進む。こうすることによって、殆どの陰性事例を迅速に排除することができる。
【００３５】
この中間閾値θ1 、θ2 、…、θN を算出するには数通りの方法がある。例えば、上述した手法にくわえて、システムは、各Ｋ＝１…Ｎ  に対して最初のＫ中間閾値によって排除されてしまう陽性事例のフラクションｒK を予め決定することができる。例えば、システムは下記の式を決定することができる。
【００３６】
【数１０】
2004348733.tif 000012
ここでＲは分類器全体での偽陰性の割合（予め決定されている）である。そして、分類器の最初のＫステージでの偽排除割合はＫに関して直線的に増加し、最後にＫ＝ＮのときＲになる。閾値は多数の陽性訓練事例を分析し、閾値θ1 、…、θN を一つ一つ計算することによって算出される。θK は、中間の分類器応答
【００３７】
【数１１】
2004348733.tif 000013
を各事例Ｘに対して計算することによって、もし事例が、閾値θ1 、…、θK-1 のどれによっても排除されるなら、応答を−∞にセットすることによって、見出される。それからθK は、θK より低い応答のフラクションがｒK と成るように選ばれる。
【００３８】
上記においては、式（５）における弱分類器の順序は固定されているとした。しかしながら中間の閾値の決定に加えて、システムは弱分類器の適用の順序を決めることができる。上述したように、弱分類器の順序はブースティングを使って学習させることができる。      
【００３９】
別の方法として、このシステムは排除される陰性事例の数を最大にするように、使うべき最初の弱分類器を欲張り法（greedy  search）によって見つけることが可能であり、（そして対応する閾値θK も）、それに続く分類器や閾値も同様に見つけられる。
【００４０】
図４は本発明の実施において中間閾値を知るためのフローチャートを示す。図５はどのように中間閾値が早期排除（棄却）のために用いられるかを示す。図４に示されるように、種々のサイズの赤目領域、及び非赤目領域に対応する複数の訓練用事例が入力され（Ｓ１５０）、複数の特徴値、すなわち図４の例における特徴１−特徴４、が連続して計算される（Ｓ１５２−１、Ｓ１５２−２、Ｓ１５２−３、Ｓ１５２−４）。多数の訓練用事例について特徴値が計算されるにつれて、各々の特徴値に対して累積応答が生成されて行き（Ｓ１５４−１、Ｓ１５４−２、Ｓ１５４−３、Ｓ１５４−４）、それにより複数の中間閾値を計算し（Ｓ１５６−１、Ｓ１５６−２、Ｓ１５６−３、Ｓ１５６−４）、それらは引き続き早期排除のために使われる。
【００４１】
図５はこのような中間閾値を用いる実施の典型例を示す。図５に示されるように、画像データが入力され（Ｓ１７０）、複数の特徴値、図４の例における特徴１−特徴４が連続して計算される（Ｓ１７２−１、Ｓ１７２−２、Ｓ１７２−３、Ｓ１７２−４）。入力画像データのための応答値が、計算された特徴値に基づいて連続的に計算され（Ｓ１７４−１、Ｓ１７４−２、Ｓ１７４−３、Ｓ１７４−４）、そして閾値と比較され、それにより、もし累積応答が先に計算されている中間閾値より少なければ、入力データは赤目候補として排除される（Ｓ１７６−１、Ｓ１７６−２、Ｓ１７６−３）。このようにして特定の画像領域に対する余分な特徴値計算のステップは、もし中間の応答値が中間の閾値より少なければ、避けることが可能となる。
【００４２】
図６は赤目候補検出器３４による典型的な結果で、赤目候補の周りの矩形領域を示している。この図で示されるように、赤目候補検出器は、赤目領域と混同するような色相／形状を有する灯りのような偽陽性も示している。本発明によれば、顔検出器３６がこのような赤目検出器３４によって出力される赤目候補セットに含まれる偽陽性を除去する。
【００４３】
図７は本発明の実施態様における顔検出器３６によって実行される動作を示すフローダイアグラムである。上述してきた訓練と早期排除（棄却）の手法は顔検出にも適用できる。この顔検出器３６は顔と関連してない赤目候補を取り除くことによって偽陽性を取り除く。このことを実現するため顔検出器３６は画像メモリー３２からの画像データにアクセスし（Ｓ２１２）、そして赤目候補検出器３４からの赤目候補情報（位置、スケール）も受け取る（Ｓ２１４）。本発明の一実施例によれば、顔検出器３６は顔検出を実行するのに輝度値Ｙのみを利用する。それゆえ画像メモリー３２からの画像データがＲＧＢデータの場合には、顔検出器３６はこのデータを輝度Ｙと各画素のチャンネルを含む色空間に変換する。次に顔検出器３６は、赤目検出器３４によって示された赤目候補を含む、スケール変更され（scaled）／回転された画像領域の特徴値を計算し（Ｓ２１６）、この計算された特徴値は、その対応している画像パッチが顔領域か非顔領域を特定するために閾値と比較される（Ｓ２１８）。顔検出器３６は検出された顔領域と関連のない赤目候補を取り除くことができ（Ｓ２２０）、そして残っている赤目候補を出力する（Ｓ２２２）。
【００４４】
本発明の一実施例によれば、顔検出のための画像は、画像輝度の量子化ウェーブレット係数によって表現されている。特に、顔検出器３６は  ５／３フィルター・バンクを用いて輝度の離散ウェーブレット変換（ＤＷＴ）を計算し、３レベル分解でのＨＬ及びＬＨバンドのみを保持する（つまり、３スケールでの水平及び垂直バーフィルターへの応答を用いる）。ＤＷＴ係数を用いる顔検出は知られていて、H. Schneiderman et al., “A statistical method for 3d object detection applied to faces and cars, ” in IEEE Conf. on Computer Vision and Pattern Recognition, 2000, pp. 746-51 に記載されている。ウェーブレット係数は局部画像分散を用いてコントラスト正規化をし、７レベルづつに量子化される。顔検出に用いられる各特徴は四つの量子化ＤＷＴ係数の組み合わせでなされる。それゆえ、各々の顔候補画像は離散した特徴の一組セットとして表わされる。
【００４５】
実際のところ、赤目検出は顔検出よりも早い( コンピュータ計算上レス・インテンシブ) 。これは赤目は、( i ) 顔に比べてより小さなパッチで表わすことができる( 例えば、目には１１×１１画素、顔には３１×２８画素) 、（i i ）回転に対して不変であり、スケールに対しても顔より不変である、からである。このことは、赤目に対しては１方向の画像と２倍のスペースのスケールが考慮されるのに対し、顔に対しては、４乃至は１２の画像の回転と１．２倍スペースのスケールが考慮されることを意味する。それゆえ、顔検出をする前に赤目検出を行い、赤目が近くに検出された時のみ顔候補について考慮するのが検出スピードを著しく改善することになる。上述の赤目検出の場合と同様、顔検出器３６も  ワンセットの顔を有する陽性画像と顔を含まない陰性画像を用いて訓練することができる。
【００４６】
図８は典型的な顔検出器３６の出力を示すもので、図６に比較して、赤目候補検出器３４によって生成された偽陽性が除去されている。
【００４７】
検出された顔と赤目の位置／スケールのリストを得たら、次の段階で赤目軽減モジュール３９によって、周辺領域と結びついている画素（例えば、瞼他）を排除しつつ処理されるように、赤目画素を正確に特定することが望ましい。そこで赤目輪郭／画素検出器３８が、顔に結びついた特定された赤目領域の輪郭と、その検出された輪郭内の画素を決定する。
【００４８】
図９は本発明の一実施態様における、赤目輪郭／画素検出器３８によって実行される動作を示すフローダイアグラムである。赤目輪郭／画素検出器３８は最初に赤目の位置とスケール情報を顔検出器３６から受け（Ｓ３１２）、ついで画像メモリー３２からの画像データにアクセスする。次に赤目輪郭／画素検出器３８は特定された赤目画像パッチの特徴値を計算する（Ｓ３１４）。赤目候補検出器３４が実行する動作と比較すれば、そこでは赤目候補の赤目のセンターが特定されたのに対し、赤目輪郭／画素検出器３８では赤目領域のエッジに応答するようになっている。特に赤目輪郭／画素検出器３８は本発明の実施態様においては、トップエッジに応答するように訓練されていて、赤目のトップエッジは赤目画像パッチを何回か回転動作をさせることによって検出される（Ｓ３１６）。
【００４９】
このエッジ検出器は、陽性訓練事例の幾何学的正規化の点を除いて、赤目検出器３４と同じやり方で訓練できる。換言すれば同じ特徴型が使用できる。赤目検出器３４を訓練する時は、訓練用の赤目事例は画像パッチの中央部分に集められている。エッジ検出器３８の訓練では、各赤目はランダムな角度で回転させられ、回転された赤目の最上点は画像パッチの中央におかれ、かくして検出器は赤目の中心と言うよりはそのエッジに錨を下ろしている。
【００５０】
図１０で示されるように、トップエッジ検出を画像を８回まわしながら行い（４５°の倍数分）、その各エッジでつくられた８個の半平面を交差させることによって、赤目輪郭は検出され、その輪郭内の赤目画素が出力される（Ｓ３１８）。より少ない回転の回数（例えば６、４あるいは３回）あるいはより多い回数の回転がなされ得ることは理解できるだろう。赤目画素を周囲の画素から分離することに加え、赤目輪郭／画素検出器３８は、例えば検出された輪郭の幾何学的分析に基づいて、更に偽陽性を除去することにも用いられる。例えば、もしその輪郭のアスペクト比が１にあまり近くない場合、その特定された赤目は取り除かれる。なぜなら赤目は大雑把に言って円形であると予想されるので。
【００５１】
図１１は赤目輪郭／画素検出器３８の典型的な出力例を示す。輪郭検出を用いて正確に赤目と周囲の画素から分離された赤目画素を特定すると、赤目軽減モジュール３９がその赤目輪郭内の特定された画素をより自然な色に変えるために使われる。このプロセスにおいては、赤目軽減モジュール３９は異なる画素に対して異なる色を選ぶこともできるし、赤目画素を予め決めておいた値で置き換えることもできる。
【００５２】
図１２は本発明の第二実施態様における画像処理ユニット３０a の構成要素を示すブロック図である。図１２に示されるように、画像処理ユニット３０a は以下の要素、すなわち、画像メモリー３２ａ、赤目候補検出器３４ａ、顔検出器３６ａ、赤目輪郭／画素検出器３８ａ、赤目軽減モジュール３９ａ、及び  補完的赤目画素検出器３５を備えている。この本発明第二実施態様において、赤目候補検出器３４ａ、顔検出器３６ａ、赤目輪郭／画素検出器３８ａ、は第一実施態様における対応要素と同じ機能を果たす。図１２に示される第二実施態様においては、補完的赤目画素検出器３５は更に赤目画素検出を実行し、その結果が赤目輪郭／画素検出器３８ａの出力と組み合わされ、より正確に赤目軽減モジュール３９ａによって赤目軽減処理を実行される画素を指し示すようになる。
【００５３】
図１３は本発明の実施例における、補完的赤目画素検出器３５によって実行される動作を示すフローダイアグラムである。補完的赤目画素検出器３５は、画像データを、赤目画素とその周囲画素の間の差を最大化するように特にデザインされた色チャンネルＣｒ* に変換することにより、赤目画素をその周囲画素から効果的に識別する。図１３のフローダイアグラムを参照すると、補完的赤目画素検出器３５は、画像メモリー３２ａからの画像データにアクセスし（Ｓ６１０）、画像をいくつかの領域に分割することによってそれ以降処理がなされる。照明条件その他によって、関心対象（すなわち、赤目）と背景領域が似たような色の範囲にまたがっていることもある。赤目画素と背景画素の間の効果的な分離方策を手動設定しなければならない事を避けるため、本出願の第二実施態様では、訓練事例を用いて背景画素から赤目画素を分離する特徴を自動的に決定する。この訓練の実施中、入力画像の対象画素は知られている。全ての対象画素に対して、同じ画像の背景によって値を正規化したサンプルが生成される。正規化は対象画素から背景の平均値を減ずることによって達成される。別のやり方として、対象画素を背景の平均で除してもいい。
【００５４】
次に正規化されたサンプル値が線形判別関数に適用され、（本発明の実施例においては、フィッシャー線形判別式、）それによって正規化サンプル値を入力し、その正規化サンプル値が赤目から来たものであるとの確信を反映した値を戻す測定値（measure ）ｆを生ずる。この実施例における線形判別式は以下の形である。
【００５５】
【数１２】
2004348733.tif 000014
ベクトルｗは固定され、既知のフィッシャーメソッド（Fisher method ）によって正規化訓練サンプルｘから計算される。
【００５６】
【数１３】
2004348733.tif 000015
Ｓはｘの( 平均正規化) 共分散マトリックスである。一旦ｆが決定されると、補完的赤目画素検出器３５は各画素値を正規化し、ｆを適用する。  
【００５７】
画素ｘを調べる時、その画素はｘの隣接領域の平均値に基づいて正規化されていて、その隣接領域は殆どの対象画素を含まないように設定されている。望ましくは、その隣接領域はそこにおける色の範囲はコヒーレントでできるだけ関心対象の画素と区別可能であるように設定されている。例えば  赤目に関して、その隣接領域は赤目領域の周りの輪状の領域であり、主に皮膚／肌からなっていると思われる。
【００５８】
補完的赤目画素検出器３５による最後の仕事はバイナリー・マスク (binary mask)であり、赤目画素を特定する（Ｓ６２０）。検出精度を向上させるために、補完的赤目画素検出器３５の出力は赤目輪郭／画素検出器３８ａの出力と組合すことができる（図１２の実施態様）。更に補完的赤目画素検出器３５によって利用されているは赤目候補検出器にも検出精度向上のために使って良いもので、また前処理として無関心部分を排除（棄却）するのにも、計算が速いので使うことができる。
【００５９】
図１４は補完的赤目画素検出器35へ入力される赤目条件の例である。図１５は補完的赤目画素検出器３５によって出力される典型的なバイナリー・マスクの例である（斜線部分が赤目画素を表わす）。図１５でわかる補完的赤目画素検出器３５の利点は、赤目条件による悪影響を受けていない目の内側部分が周囲部分から分離されていることで、影響されなかった目内側の画素は次の赤目軽減の対象にはならないので、最終結果において自然な外観を保持することになる。
【００６０】
本発明の詳細な実施態様と実施例を述べてきたが、本発明の範囲と精神から逸脱することなしに種々の変更、改装等が可能であることは言うまでもないことである。
【図面の簡単な説明】
【００６１】
【図１】本発明の実施態様における自動赤目検出及び修正のためのシステムのブロック図である。
【図２】本発明の実施態様における図１で示されたシステムの画像処理ユニットの詳細を示すブロック図である。
【図３】本発明の実施態様における赤目候補領域の位置を検出するための赤目候補検出ユニットによって実行される動作を示すフローダイアグラムである。
【図４】本発明の実施態様における分類期間における早期棄却のための中間閾値生成手法を示す。
【図５】本発明の実施態様における分類期間における早期棄却のための中間閾値生成手法を示す。
【図６】本発明の実施例における赤目候補の位置の検出の典型例を示す。
【図７】本発明の実施態様における検出された顔領域と関連のない赤目候補を排除するために、顔検出ユニットによって実行される動作を示すフローダイアグラムである。
【図８】本発明の実施態様における顔検出ユニットの典型的な出力例を示す。
【図９】本発明の実施態様における赤目輪郭検出ユニットの動作を示すフローダイアグラムである。
【図１０】図９フローダイアグラムにおいて示される動作に従って赤目輪郭を検出するための操作の態様を示す。
【図１１】本発明の実施態様における赤目輪郭検出ユニットの典型的な出力例を示す。
【図１２】図１に示されるの画像処理ユニットの別の実施例を示すブロック図である。
【図１３】本発明の実施例における補完的赤目画素検出器によって実行される動作を示すフローダイアグラムである。
【図１４】典型的な赤目条件を示す。
【図１５】図１２において示されている本件発明の実施態様において実行される赤目画素検出器の典型的な出力例である。
【符号の説明】
【００６２】
２０…画像入力装置、３０…画像処理ユニット、３２…画像メモリー、３４…赤目候補検出器、３６…顔検出器、３８…赤目の輪郭／画素検出器、３９…赤目軽減モジュール、４０…印刷ユニット、５０…ユーザー入力ユニット、６０…表示装置、１００…システム
【図１】
2004348733.tif 000016
【図２】
2004348733.tif 000017
【図３】
2004348733.tif 000018
【図４】
2004348733.tif 000019
【図５】
2004348733.tif 000020
【図６】
2004348733.tif 000021
【図７】
2004348733.tif 000022
【図８】
2004348733.tif 000023
【図９】
2004348733.tif 000024
【図１０】
2004348733.tif 000025
【図１１】
2004348733.tif 000026
【図１２】
2004348733.tif 000027
【図１３】
2004348733.tif 000028
【図１４】
2004348733.tif 000029
【図１５】
2004348733.tif 000030