(57)【要約】【課題】ニューラルネットワーク分類器（ＮＮＣ）を用いた赤目検出方法を提供すること。【解決手段】まず画像において特定された赤目オブジェクト候補のセットが受信され、次に赤目オブジェクト候補から特徴点が抽出され、複数の分類器を用いて偽の赤目オブジェクトが抽出された特徴点に基づき赤目オブジェクト候補のセットから除去される。複数の分類器の内第１および第２のものは各々抽出された特徴点の第１および第２のものを用いて第１範囲のサイズにオブジェクトを分類し、複数の分類器の内第３および第４のものも各々抽出された特徴点の第１および第２のものを用いて第２範囲サイズにオブジェクトを分類する。【選択図】図１
2010160793.tif 000002
【特許請求の範囲】
【請求項１】
画像における赤目を検出する方法であって、
前記画像において特定された赤目オブジェクト候補のセットを受信するステップと、
前記赤目オブジェクト候補から特徴点を抽出するステップと、
前記抽出された特徴点に基づき複数の分類器で前記赤目オブジェクト候補のセットから
偽の赤目オブジェクトを除去するステップとを有し、
前記複数の分類器における第１分類器および第２分類器は各々、前記抽出された特徴点
における第１特徴点および第２特徴点を用いて第１範囲のサイズにおけるオブジェクトを
分類するのに最適化され、
前記複数の分類器における第３分類器および第４分類器は各々、前記抽出された特徴点
の前記第１特徴点および前記第２特徴点を用いて第２範囲のサイズにおけるオブジェクト
を分類するのに最適化されている赤目を検出する方法。
【請求項２】
前記第１乃至第４分類器の少なくとも１つはニューラルネットワーク分類器である請求
項１に記載の赤目を検出する方法。
【請求項３】
前記複数の分類器の少なくとも１つは単純な分類器である請求項１に記載の赤目を検出
する方法。
【請求項４】
前記抽出された特徴点は各前記赤目オブジェクト候補に結び付いた複数の領域に対応す
る特徴点を含む請求項１に記載の赤目を検出する方法。
【請求項５】
前記抽出された特徴点は各前記領域における特徴点の平均および標準偏差値を含む請求
項４に記載の赤目を検出する方法。
【請求項６】
画像における赤目を検出する赤目検出システムであって、
赤目オブジェクト候補のグループを受信し、前記受信した赤目オブジェクト候補のグル
ープから第１範囲のサイズを有する第１セットのオブジェクトと第２範囲のサイズを有す
る第２セットのオブジェクトとを生成するオブジェクトサイズ弁別器と、
前記第１セットのオブジェクトから偽の赤目オブジェクトを除去するよう構成された、
第１の複数の特徴点抽出器および対応する学習した分類器と、
前記第２セットのオブジェクトから偽の赤目オブジェクトを除去するよう構成された、
第２の複数の特徴点抽出器および対応する学習した分類器と、
前記学習した分類器による除去の後に前記第１セットおよび前記第２セットのオブジェ
クトに残るオブジェクトから偽の赤目オブジェクトを除去するよう構成された単純な分類
器と、
前記単純な分類器による除去の後に残るオブジェクトから偽の赤目オブジェクトを除去
するよう構成されるフィルターとを有する赤目検出システム。
【請求項７】
前記第１の複数の特徴点抽出器および対応する学習した分類器はカスケード構成に配列
され、
前記第２の複数の特徴点抽出器および対応する学習した分類器はカスケード構成に配列
され、
前記カスケード構成に配列された前記第１および第２の複数の特徴点抽出器および対応
する学習した分類器は、互いに対し平行の構成に配置される請求項６に記載の赤目検出シ
ステム。
【請求項８】
画像における赤目を検出する方法であって、
前記画像において互いに近い空間的近接にある赤目オブジェクト候補のグループを特定
するステップと、
前記グループにおいてどのオブジェクトが赤目オブジェクトである可能性が高いか判定
するとともに、前記グループにおける他のオブジェクトの１つ以上を非赤目オブジェクト
と特定するステップとを有する赤目を検出する方法。
【請求項９】
前記赤目オブジェクト候補のグループを特定するステップは、
前記画像における赤目オブジェクトのバイナリーマップを形態拡大するステップと、
前記形態拡大の操作により互いに接続されているオブジェクトを前記赤目オブジェクト
候補のグループと特定するステップとを含む請求項８に記載の赤目を検出する方法。
【請求項１０】
前記どのオブジェクトが赤目オブジェクトである可能性が高いかを判定するステップは
、
前記グループにおける各オブジェクトのサイズと、前記グループにおける各オブジェク
トの寸法と、前記グループにおける各オブジェクトの前記グループの中心からの距離との
１つ以上を評価するステップを含む請求項８に記載の赤目を検出する方法。
【請求項１１】
画像における赤目を検出する方法であって、
赤目オブジェクト候補を受信するステップと、
前記赤目オブジェクト候補における緑の強度レベルおよび青の強度レベルを特定するス
テップと、
前記緑および青の強度レベル間の絶対差が所定閾値未満の場合、前記赤目オブジェクト
候補を赤目オブジェクトと特定するステップとを有する赤目を検出する方法。
【請求項１２】
赤目を検出する赤目検出装置であって、
デジタル画像における赤目オブジェクト候補に結び付いた特徴点を抽出するよう構成さ
れる特徴点抽出器と、
前記抽出された特徴点を受信し、前記オブジェクト候補を赤目オブジェクトとして分類
するかどうかを決定するよう構成されたニューラルネットワーク分類器とを有し、
前記抽出された特徴点は、赤、緑および青の強度値から引き出された第１および第２特
徴点を含む赤目検出装置。
【請求項１３】
前記第１特徴点は明るさの特徴点であり、前記第２特徴点は赤色の特徴点である請求項
１２に記載の赤目検出装置。
【請求項１４】
赤目を検出する赤目検出装置であって、
デジタル画像において特定されたオブジェクトから特徴点を抽出するよう構成された特
徴点抽出器と、
前記抽出された特徴点を受信し、前記オブジェクトが赤目オブジェクトであるかどうか
を決定するニューラルネットワーク分類器とを有し、
前記抽出された特徴点は前記オブジェクトの内および周囲の複数の領域に対応する特徴
点を含む赤目検出装置。
【請求項１５】
前記複数の領域は、前記オブジェクトの枠取り内にある第１セットの領域と、前記枠取
りを少なくとも部分的に囲む第２セットの領域とを含む請求項１４に記載の赤目検出装置
。
【請求項１６】
実行された場合に画像を処理して赤目効果を検出する方法を実施するコンピューター読
み取り可能な命令を有する１つ以上のコンピューター読み取り可能な媒体であって、
前記方法は、
前記画像において特定された赤目オブジェクト候補のセットを受信するステップと、
前記赤目オブジェクト候補から特徴点を抽出するステップと、
前記抽出された特徴点に基づき複数の分類器で前記赤目オブジェクト候補のセットから
偽の赤目オブジェクトを除去するステップとを有し、    
前記複数の分類器における第１分類器および第２分類器は各々、前記抽出された特徴点
における第１特徴点および第２特徴点を用いて第１範囲のサイズにおけるオブジェクトを
分類するのに最適化され、
前記複数の分類器における第３分類器および第４分類器は各々、前記抽出された特徴点
の前記第１特徴点および前記第２特徴点を用いて第２範囲のサイズにおけるオブジェクト
を分類するのに最適化されているコンピューター読み取り可能な媒体。
【請求項１７】
画像処理装置であって、
プロセッサーを有し、
前記プロセッサーによって、請求項１６に記載のコンピューター読み取り可能な媒体に
搭載されるコンピューター読み取り可能な命令が実行されるよう構成される画像処理装置
。
【請求項１８】
前記画像処理装置は、プリンター、スキャナー、デジタルカメラ、デジタルカムコーダ
ー、携帯フォトビューアーのいずれか、またはこれらの組み合わせである請求項１７に記
載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態はデジタル画像処理に関する。より具体的に、開示され実施形態はデ
ジタル画像における赤目オブジェクトを検出および分類する方法、装置、およびコンピュ
ーター読み取り可能な媒体に関する。
【背景技術】
【０００２】
画像において赤目効果はフラッシュが使用される際周囲の照明状態が比較的暗いために
生じる。人間の目は瞳孔を拡張することにより暗い照明に適応する。写真が撮影される時
にフラッシュからの光が拡張された瞳孔に入り、網膜の赤い血管を照らす。赤目検出はフ
ラッシュを用いて撮影されたデジタルカラー写真における赤目効果を制限する画像分析手
法である（例えば特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第６９８０６９１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
確実な赤目検出は難しい課題である。単純な画像における赤目検出は簡単であり得るが
、複雑な画像においては、一般的に偽陽性として知られる、間違って検出された赤目オブ
ジェクトの数を削減するためにより高度な方法が通常必要となる。赤目オブジェクト候補
が真の赤目であるかを判定する作業は特徴点抽出方法および人工ニューラルネットワーク
など学習した分類器を用いて行なうことができる。
【０００５】
人工ニューラルネットワークは生物学的なニューラルネットワークに基づく計算モデル
である。ネットワークは人工ニューロンと呼ばれる基本処理単位からなり、これらを組み
合わせて複雑なプロセスおよびシステムをモデル化することができる。ニューラルネット
ワークの入力は赤目オブジェクト候補を描く特徴点のアレーである。正しく学習するとニ
ューラルネットワーク分類器（ＮＮＣ）はオブジェクト候補の特徴点ベクトルを取ってオ
ブジェクトが真の赤目か偽陽性であるか判定できる。しかし、他の学習システムと同様、
入力画像が複雑過ぎ、またはオブジェクト候補が学習サンプルに類似した特徴点を有しな
い場合ＮＮＣの分類精度は不充分かもしれない。さらに、ＮＮＣの複雑さにより、計算効
率が損なわれる可能性がある。従ってＮＮＣを用いた赤目検出の領域において改良が必要
である。
【課題を解決するための手段】
【０００６】
本発明の赤目を検出する方法は、画像における赤目を検出する方法であって、
前記画像において特定された赤目オブジェクト候補のセットを受信するステップと、
前記赤目オブジェクト候補から特徴点を抽出するステップと、
前記抽出された特徴点に基づき複数の分類器で前記赤目オブジェクト候補のセットから
偽の赤目オブジェクトを除去するステップとを有し、
前記複数の分類器における第１分類器および第２分類器は各々、前記抽出された特徴点
における第１特徴点および第２特徴点を用いて第１範囲のサイズにおけるオブジェクトを
分類するのに最適化され、
前記複数の分類器における第３分類器および第４分類器は各々、前記抽出された特徴点
の前記第１特徴点および前記第２特徴点を用いて第２範囲のサイズにおけるオブジェクト
を分類するのに最適化されていることを特徴とする。
【０００７】
また、本発明の赤目を検出する方法において、前記第１乃至第４分類器の少なくとも１
つはニューラルネットワーク分類器であることを特徴とする。
【０００８】
また、本発明の赤目を検出する方法において、前記複数の分類器の少なくとも１つは単
純な分類器であることを特徴とする。
【０００９】
また、本発明の赤目を検出する方法において、前記抽出された特徴点は各前記赤目オブ
ジェクト候補に結び付いた複数の領域に対応する特徴点を含むことを特徴とする。
【００１０】
また、本発明の赤目を検出する方法において、前記抽出された特徴点は各前記領域にお
ける特徴点の平均および標準偏差値を含むことを特徴とする。
【００１１】
ここで、本発明の赤目検出システムは、画像における赤目を検出する赤目検出システム
であって、
赤目オブジェクト候補のグループを受信し、前記受信した赤目オブジェクト候補のグル
ープから第１範囲のサイズを有する第１セットのオブジェクトと第２範囲のサイズを有す
る第２セットのオブジェクトとを生成するオブジェクトサイズ弁別器と、
前記第１セットのオブジェクトから偽の赤目オブジェクトを除去するよう構成された、
第１の複数の特徴点抽出器および対応する学習した分類器と、
前記第２セットのオブジェクトから偽の赤目オブジェクトを除去するよう構成された、
第２の複数の特徴点抽出器および対応する学習した分類器と、
前記学習した分類器による除去の後に前記第１セットおよび前記第２セットのオブジェ
クトに残るオブジェクトから偽の赤目オブジェクトを除去するよう構成された単純な分類
器と、
前記単純な分類器による除去の後に残るオブジェクトから偽の赤目オブジェクトを除去
するよう構成されるフィルターとを有することを特徴とする。
【００１２】
また、本発明の赤目検出システムにおいて、前記第１の複数の特徴点抽出器および対応
する学習した分類器はカスケード構成に配列され、
前記第２の複数の特徴点抽出器および対応する学習した分類器はカスケード構成に配列
され、
前記カスケード構成に配列された前記第１および第２の複数の特徴点抽出器および対応
する学習した分類器は、互いに対し平行の構成に配置されることを特徴とする。
一方、本発明の赤目を検出する方法は、画像における赤目を検出する赤目を検出する方
法であって、
前記画像において互いに近い空間的近接にある赤目オブジェクト候補のグループを特定
するステップと、
前記グループにおいてどのオブジェクトが赤目オブジェクトである可能性が高いか判定
するとともに、前記グループにおける他のオブジェクトの１つ以上を非赤目オブジェクト
と特定するステップとを有することを特徴とする。
【００１３】
また、本発明の赤目を検出する方法において、前記赤目オブジェクト候補のグループを
特定するステップは、
前記画像における赤目オブジェクトのバイナリーマップを形態拡大するステップと、
前記形態拡大の操作により互いに接続されているオブジェクトを前記赤目オブジェクト
候補のグループと特定するステップとを含むことを特徴とする。
【００１４】
また、本発明の赤目を検出する方法において、前記どのオブジェクトが赤目オブジェク
トである可能性が高いかを判定するステップは、
前記グループにおける各オブジェクトのサイズと、前記グループにおける各オブジェク
トの寸法と、前記グループにおける各オブジェクトの前記グループの中心からの距離との
１つ以上を評価するステップを含むことを特徴とする。
【００１５】
ここで、本発明の画像における赤目を検出する方法は、
赤目オブジェクト候補を受信するステップと、
前記赤目オブジェクト候補における緑の強度レベルおよび青の強度レベルを特定するス
テップと、
前記緑および青の強度レベル間の絶対差が所定閾値未満の場合、前記赤目オブジェクト
候補を赤目オブジェクトと特定するステップとを有することを特徴とする。
【００１６】
さらに、本発明の赤目を検出する赤目検出装置は、デジタル画像における赤目オブジェ
クト候補に結び付いた特徴点を抽出するよう構成される特徴点抽出器と、
前記抽出された特徴点を受信し、前記オブジェクト候補を赤目オブジェクトとして分類
するかどうかを決定するよう構成されたニューラルネットワーク分類器とを有し、
前記抽出された特徴点は、赤、緑および青の強度値から引き出された第１および第２特
徴点を含むことを特徴とする。
【００１７】
また、本発明の赤目検出装置において、前記第１特徴点は明るさの特徴点であり、前記
第２特徴点は赤色の特徴点であることを特徴とする。
一方、本発明の赤目検出装置は、
デジタル画像において特定されたオブジェクトから特徴点を抽出するよう構成された特
徴点抽出器と、
前記抽出された特徴点を受信し、前記オブジェクトが赤目オブジェクトであるかどうか
を決定するニューラルネットワーク分類器とを有し、
前記抽出された特徴点は前記オブジェクトの内および周囲の複数の領域に対応する特徴
点を含む赤目検出装置。
【００１８】
また、本発明の赤目検出装置において、前記複数の領域は、前記オブジェクトの枠取り
内にある第１セットの領域と、前記枠取りを少なくとも部分的に囲む第２セットの領域と
を含むことを特徴とする。
【００１９】
ここで、本発明のコンピューター読み取り可能な媒体は、実行された場合に画像を処理
して赤目効果を検出する方法を実施するコンピューター読み取り可能な命令を有する１つ
以上のコンピューター読み取り可能な媒体であって、
前記方法は、
前記画像において特定された赤目オブジェクト候補のセットを受信するステップと、
前記赤目オブジェクト候補から特徴点を抽出するステップと、
前記抽出された特徴点に基づき複数の分類器で前記赤目オブジェクト候補のセットから
偽の赤目オブジェクトを除去するステップとを有し、
前記複数の分類器における第１分類器および第２分類器は各々、前記抽出された特徴点
における第１特徴点および第２特徴点を用いて第１範囲のサイズにおけるオブジェクトを
分類するのに最適化され、
前記複数の分類器における第３分類器および第４分類器は各々、前記抽出された特徴点
の前記第１特徴点および前記第２特徴点を用いて第２範囲のサイズにおけるオブジェクト
を分類するのに最適化されていることを特徴とする。
【００２０】
さらに、本発明の画像処理装置は、プロセッサーを有し、
前記プロセッサーによって、前述のコンピューター読み取り可能な媒体に搭載されるコ
ンピューター読み取り可能な命令が実行されるよう構成されることを特徴とする。
【００２１】
ここで、前記画像処理装置は、プリンター、スキャナー、デジタルカメラ、デジタルカ
ムコーダー、携帯フォトビューアーのいずれか、またはこれらの組み合わせであっても良
い。
【図面の簡単な説明】
【００２２】
【図１】赤目オブジェクト候補のセットを処理する機能ブロック図の例を開示する図である。
【図２】赤目オブジェクト候補のセットを処理する方法例を開示する図である。
【図３】画像取り込み装置例の概略を示す図である。
【図４】基本的なニューラルネットワーク分類器のアーキテクチャーの例を開示する図である。
【図５】図４におけるニューラルネットワーク分類器のアーキテクチャーに用いられるニューロン例を開示する図である。
【図６】赤目オブジェクト候補のさまざまな概観を示す図である。
【図７】赤目オブジェクト候補から抽出された特徴点ベクトル例の図形的表示を示す図である。
【図８】学習しているニューラルネットワーク例の機能図である。
【図９】赤目オブジェクト候補および偽の赤目オブジェクト除去の構成例を開示する図である。
【発明を実施するための形態】
【００２３】
以下本発明の実施の形態を説明するが、最初に各実施形態について記載する。
第１の実施形態例において、画像における赤目検出の方法はいくつかの工程を含む。ま
ず、画像において特定された赤目オブジェクト候補のセットが受信される。次に赤目オブ
ジェクト候補から特徴点が抽出され、複数の分類器を用いて偽の赤目オブジェクトが抽出
された特徴点に基づき赤目オブジェクト候補のセットから除去される。複数の分類器の内
第１および第２のものは各々抽出された特徴点の第１および第２のものを用いて第１範囲
のサイズにオブジェクトを分類するのに最適化される。さらに、複数の分類器の内第３お
よび第４のものも各々抽出された特徴点の第１および第２のものを用いてオブジェクトを
分類するが、第２範囲のサイズにおけるオブジェクトについてである。
【００２４】
第２の実施形態例において、画像における赤目削減のシステムはいくつかの構成要素を
含む。システムにおけるオブジェクトサイズの弁別器は赤目オブジェクト候補のグループ
を受信し、そこから第１範囲のサイズを有する第１セットのオブジェクトおよび第２範囲
のサイズを有する第２セットのオブジェクトを生成するよう構成される。システムはさら
に第１と第２の複数の特徴点抽出器および対応して各々オブジェクトの第１と第２セット
から偽の赤目オブジェクトを除去するよう構成される学習した分類器を含むことができる
。学習した分類器による除去の後第１および第２セットに残るオブジェクトはさらに偽の
赤目オブジェクトを除去する単純な分類器に渡されることができる。フィルターも残りの
オブジェクトから偽の赤目オブジェクトを除去するよう構成されることができる。
【００２５】
第３の実施形態例において、画像における赤目検出の方法はいくつかの工程を含む。ま
ず、方法は空間的に互いに密接する赤目オブジェクト候補のグループを特定することを含
むことができる。次に、グループにおけるオブジェクトの１つが赤目オブジェクトである
可能性が最も高いと判定され、グループにおける他の１つ以上のオブジェクトは非赤目オ
ブジェクトとして特定される。
【００２６】
第４の実施形態例において、画像における赤目検出の方法はいくつかの工程を含む。ま
ず、赤目オブジェクト候補が受信され得る。次に、赤目オブジェクト候補において緑の強
度レベルおよび青の強度レベルを特定することができる。緑および青の強度レベル間の差
が所定閾値未満である場合、赤目オブジェクト候補は赤目オブジェクトとして特定される
。
【００２７】
第５の実施形態例において、赤目検出装置はさまざまな構成要素を含む。装置はデジタ
ル画像において赤目オブジェクト候補に結び付いた特徴点を抽出するよう構成される特徴
点抽出器、および抽出された特徴点を受信し、オブジェクトを赤目オブジェクトとして分
類するかを決定するよう構成されるニューラルネットワーク分類器を含む。抽出された特
徴点は赤、緑、および青の強度値から引き出された第１および第２特徴点、ならびに緑お
よび青のみの強度値から引き出された第３特徴点を含む。
【００２８】
第６の実施形態例において、赤目検出装置はさまざまな構成要素を含む。装置はデジタ
ル画像において特定されたオブジェクトから特徴点を抽出するよう構成される特徴点抽出
器、および抽出された特徴点を受信し、オブジェクト赤目オブジェクトであるかを決定す
るよう構成されるニューラルネットワーク分類器を含む。抽出された特徴点はオブジェク
ト内およびその周囲の複数の領域に対応する特徴点を含む。
【００２９】
第７の実施形態例において、１つ以上のコンピューター読み取り可能な媒体は実行され
ると第１の実施形態例に関連して上述された画像を処理した赤目効果を検出する方法を実
施するコンピューター読み取り可能な命令を有する。
【００３０】
上記各実施形態例は以下の詳細な説明においてさらに説明される、選ばれたいくつかの
概念を簡単な形で紹介するために提供される。本要約はクレームされる主題の主要な特徴
または不可欠な特性を特定することを意図しておらず、またクレームされる主題の範囲を
決定する手助けとして用いられることも意図していない。
【００３１】
以下に続く説明においてさらなる特徴が示され、ある程度説明から明らかであり、また
は本明細書における教示の実施により学ぶことができる。発明の特徴は添付クレームに具
体的に指摘される手段および組み合わせにより実現し得ることができる。本発明の特徴は
以下の説明および添付クレームからより完全に明らかになり、または本明細書において以
下示される発明の実施により学ぶことができる。
【００３２】
なお、発明の上記実施形態例および他の態様をさらに展開するために、これらの例のよ
り詳細な説明が添付図面に開示されるそれらの具体的な実施形態を参照して示される。こ
れらの図面は発明の実施形態例を描くのみで、従ってその範囲を限定するものとみなされ
ないことが理解されよう。さらに図面は発明の実施形態例の図表的および略図的な表示で
ある、本発明を限定するものではないことが理解されよう。発明の実施形態例は添付図面
を用いることによりさらに具体的かつ詳細に開示され説明される。
【００３３】
以下の詳細な説明において、例示の目的で発明の実施形態例を示す添付図面が参照され
る。それぞれの図を通し、図面上類似した数字は実質的に類似した構成要素を指す。これ
らの実施形態は当業者が発明を実施できるよう充分詳細に説明される。本発明の範囲を逸
脱することなく他の実施形態を利用することができ、構造的、論理的、および電気的変更
をなすことができる。さらに、発明のさまざまな実施形態は、異なっていても必ずしも互
いに排他的ではないことが理解されよう。例えば、一実施形態において説明される特定の
特徴、構造、または特性は他の実施形態に含まれることができる。以下の詳細な説明は従
って限定的な意味で理解されるものではなく、本発明の範囲は添付クレームとともにこれ
らクレームが権利を有する均等物の完全な範囲によってのみ規定される。
【００３４】
全般的に、実施形態例は画像において赤目オブジェクトを検出する方法、装置、および
コンピューター読み取り可能な媒体に関する。実施形態例を用いて有効かつ効率的に赤目
オブジェクト候補のセットを評価し偽陽性を除去することができる。本明細書に説明され
る実施形態例を適用する前に、初期の前分類プロセスにより赤目オブジェクト候補のセッ
トをまず特定することができる。発明と整合性の取れた方法をスキャナーまたはデジタル
カメラなどの画像取り込み装置とともに例えばプリンタードライバーまたは画像編集ソフ
トウェアなどソフトウェア・モジュールにおいて実施することができる。
【００３５】
図１において、赤目オブジェクト候補のセットを偽陽性について評価する機能ブロック
図例１００が開示される。図２は機能ブロック図例１００により実施され赤目オブジェク
ト候補のセットにおいて偽陽性を検出する方法例２００を示す。オブジェクトの中および
／または周囲のピクセルから抽出されるさまざまな特性または特徴点に基づきセットから
赤目オブジェクト候補を除去することができる。
機能ブロック図例１００および方法例２００とともに本明細書で開示されるこれらの変
形はコンピューター実行可能な命令を搭載もしくは有し、またはデータ構造を記憶するコ
ンピューター読み取り可能な媒体を用いて実施することができる。このようなコンピュー
ター読み取り可能な媒体は汎用または特殊用途のコンピューターによりアクセスできる任
意の入手可能な媒体であって良い。
【００３６】
限定ではなく例として、このようなコンピューター読み取り可能な媒体はRAM、ROM、EE
PROM、CD-ROMもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気
ディスク記憶装置、またはコンピューター実行可能な命令の形を取るプログラムコードも
しくはデータ構造を搭載もしくは記憶するために用いられ、汎用もしくは特殊用途のコン
ピューターのプロセッサーによりアクセスされ得る他の任意の媒体を有してなることがで
きる。上記の組み合わせもコンピューター読み取り可能な媒体の範囲に入れられるべきで
ある。
【００３７】
コンピューター実行可能な命令は例えば汎用コンピューターまたは特殊用途コンピュー
ターなどの装置のプロセッサーに特定の機能または機能のグループを行なわせる命令およ
びデータを有してなる。主題は本明細書において方法工程固有の言葉で説明されるが、添
付クレームに定義される主題は本明細書に説明される具体的な工程に必ずしも限定されな
いことが理解されよう。むしろ、本明細書で説明される具体的な工程はクレームを実施す
る形の例として開示される。
【００３８】
特殊用途コンピューターの例はデジタルカメラ（例としては長野県諏訪市大和に本社を
置くセイコーエプソン（株）製のR-D１デジタルカメラが含まれるが、これに限定されな
い）、デジタルカムコーダー、プロジェクター、プリンター、スキャナー、コピー機、携
帯フォトビューアー（例としてはセイコーエプソン（株）製のEpson P-３０００またはP-
５０００携帯フォトビューアーを含むが、これらに限定されない）、または携帯映画プレ
ーヤー、またはプリンター／スキャナー／コピー機の組み合わせ（例としてはセイコーエ
プソン（株）製のEpson Stylus Photo RX５８０、RX５９５、またはRX６８０、Epson Sty
lus CX４４００、CX７４００、CX８４００、またはCX９４００FaxおよびEpson AcuLaser
（登録商標）CX１１NFが含まれるが、これらに限定されない）、またはプリンター／スキ
ャナーの組み合わせ（例としてはすべてセイコーエプソン（株）製のEpson TM-J９０００
、TM-J９１００、TM-J７０００、TM-J７１００、およびTM-H６０００IIIを含むが、これ
らに限定されない）、またはデジタルカメラ／カムコーダーの組み合わせなど、これらの
何らかの組み合わせを含む。
【００３９】
画像処理装置は画像における赤目効果を検出し除去するために例えば赤目検出機能を含
むことができる。例えば、この赤目検出機能を有するカメラまたはスキャナーなどの画像
取り込み装置は方法例２００を実施する１つ以上のコンピューター読み取り可能な媒体を
含むことができる。あるいは、画像取り込み装置に接続されたコンピューターが方法例２
００を実施する１つ以上のコンピューター読み取り可能な媒体を含むことができる。
【００４０】
画像取り込み装置３００の図式的表示が図３に開示される。画像取り込み装置３００は
介在インターフェイス３０２経由でホストコンピューター３５０とデータを交換する。ア
プリケーションプログラムおよび画像取り込み装置のドライバーもアクセス用にホストコ
ンピューター３５０に記憶されることができる。画像検索命令が例えばアプリケーション
プログラムから受信されると、画像取り込み装置のドライバーが命令データの画像取り込
み装置３００に適したフォーマットへの変換を制御し、変換された命令データを画像取り
込み装置３００に送信する。ドライバーはさらにさまざまな信号およびデータを画像取り
込み装置３００から受信して翻訳し、ホストコンピューター３５０経由で必要な情報をユ
ーザに提供する。
【００４１】
データがホストコンピューター３５０により送信されると、インターフェイス３０２が
データを受信しRAM３０４の一部を形成する受信バッファーに記憶する。RAM３０４は例え
ばアドレス指定によりいくつかの部分に分割し、受信バッファーまたは送信バッファーな
ど異なるバッファーとして割り当てることができる。デジタル画像データなどのデータは
取り込み機構３１２、フラッシュEEPROM３１０、またはROM３０８からも画像取り込み装
置３００により得られる。例えば、取り込み機構３１２はデジタル写真画像を生成するこ
とができる。このデジタル画像は次にRAM３０４の受信バッファーまたは送信バッファー
に記憶することができる。
【００４２】
プロセッサー３０６は例えばROM３０８またはフラッシュEEPROM３１０に記憶されるコ
ンピューター実行可能な命令を用いて、例えば方法例２００など特定の機能または機能の
グループを実施する。RAM３０４の受信バッファーのデータが例えばデジタル画像である
場合、プロセッサー３０６は方法例２００における方法工程をデジタル画像に対し実行し
て偽陽性を除去することにより赤目検出の精度を向上させることができる。画像が画像取
り込み装置３００により例えばLCDディスプレイなどディスプレイ３１４で表示され、ま
たは例えばホストコンピューター３５０に転送する前に撮像パイプラインにおいてさらに
処理を実施することができる。
【００４３】
次に図１に関連して画像における赤目効果を検出する機能ブロック図例１００を説明す
る。機能ブロック図は赤目オブジェクト候補１０２のセットを受信し、オブジェクトサイ
ズ弁別器１０４を用いてまず各オブジェクト候補をサイズに従い分類する（例、小、中、
または大）。次にオブジェクトは４つの学習したニューラルネットワーク分類器としての
分類器（ＮＮＣ）段階１０６〜１１２により処理され、各段階はオブジェクトの小、中、
および大グループ各々に対し１つの分類器３つからなる。分類器の連続段階各々は赤目オ
ブジェクト候補１０２のセットから偽陽性を検出し除去する。次に単純な分類器が学習し
た分類器段階１１４から精緻化されたオブジェクトのセットを受信し、ＮＮＣ段階１０６
から１１２とは異なる手法を用いてさらにセットを精緻化する。同様に第１偽陽性フィル
ター１１６および第２偽陽性フィルター１１８が異なる手法を適用して赤目オブジェクト
候補１０２のセットをさらに精緻化する。この結果、赤目オブジェクト候補の新セット１
２０が生成される。
【００４４】
分類器段階１０６〜１１４は特徴点抽出器（図示せず）を含みまたは動作的に接続され
赤目オブジェクト候補の特徴点を生成することができる。特徴点抽出器は赤目オブジェク
ト候補の中および周囲にあるピクセル近傍を、ＮＮＣによる真の赤目特性の特定を促進す
るよう配置されるいくつかの特徴点領域に分割することができる。特徴点信号の選択によ
り、各特徴点領域は特徴点ベクトルを構築するのに用いられる統計で表すことができる。
抽出された特徴点ベクトルは学習したＮＮＣ段階１０６〜１１２の１つ以上が高率の分類
を達成するよう学習するのに用いることができ、学習した学習ベースのＮＮＣ段階１０６
〜１１２および単純な分類器段階１１４により処理されオブジェクト候補が赤目オブジェ
クトであるか決定することができる。
【００４５】
分類プロセスは分類器段階１０６〜１１４による分類後残ったオブジェクト候補を評価
する第１偽陽性フィルター１１６および第２偽陽性フィルター１１８を選択肢として含む
ことができる。第１偽陽性フィルター１１６および第２偽陽性フィルター１１８はオブジ
ェクトの相互空間距離およびオブジェクト内の非赤ピクセルの特性に基づきオブジェクト
を評価し除去することができる。
概要的に上述された各分類および精緻化段階は図１の機能ブロック図例１００および図
２の方法例２００を参照して以下さらに詳細に説明される。
【００４６】
Ｉ．赤目オブジェクト候補の特定
図２の方法例２００を実行する前に入力画像を、赤目検出を含むさまざまな画像処理操
作の対象とすることができる。対象入力画像はデジタルカラー写真または従来の（フィル
ム）カラー写真のスキャンされたものであって良い。方法例２００を実施する前に各種画
像処理手法を対象入力画像に適用することができる。
【００４７】
2010160793.tif 000003
【００４８】
2010160793.tif 000004
【００４９】
2010160793.tif 000005
【００５０】
2010160793.tif 000006
【００５１】
初期のオブジェクト前分類プロセスの一例は申請された「色、構造、および幾何学的特
性を用いたデジタル画像における赤目オブジェクトの検出方法」（“METHOD OF DETECTIN
G RED-EYE OBJECTS IN DIGITAL IMAGES USING COLOR，STRUCTURAL，AND GEOMETRIC CHARA
CTERISTICS”）と題する同時係属の米国特許出願に説明され、その開示は引用により全体
として本明細書に組み入れられる。
【００５２】
工程２０４および工程２０６において、各々赤目オブジェクト候補から特徴点を抽出す
る工程および赤目オブジェクト候補のセットから１つ以上の偽の赤目オブジェクトを除去
する工程を実行することができる。偽の赤目オブジェクトは学習したＮＮＣ（または図１
に示すように複数のＮＮＣ）を用いて抽出された特徴点に基づいて特定することができる
。学習したＮＮＣはオブジェクト候補を赤目オブジェクトまたは雑音オブジェクトのいず
れかに分類することができる。
【００５３】
学習したＮＮＣは図４および５を参照して下記のＩＩ．Ａ項で説明されるＮＮＣアーキ
テクチャーに従い形成することができる。次にＩＩ．Ｂ項において、図６（Ａ）〜６（Ｃ
）および図７を参照して特徴点抽出が詳細に説明される。最後に、ＩＩ．Ｃ項において図
８を参照してＮＮＣの学習および設定が説明される。
【００５４】
Ａ．ニューラルネットワーク分類器のアーキテクチャー
図４は工程２０６を実行して赤目オブジェクト候補のセットから１つ以上の偽赤目オブ
ジェクトを除去するのに用いることができる基本的なＮＮＣアーキテクチャー４００を示
す。ＮＮＣアーキテクチャー４００は入力層４０２、出力層４０４、および１つ以上の隠
れ層４０６を含むことのできる正方向送りのアーキテクチャーである。各層は人口ニュー
ロンを含むことができ、その例が図５においてより詳細に描かれる。
【００５５】
一実施形態において、工程２０６に関連して用いられるＮＮＣは図４で描かれる基本的
アーキテクチャーに従って構成される正方向送りのＮＮＣであることができる。学習した
分類器は入力層４０２において複数の入力ニューロン、および複数のニューロンを含む１
つ以上の隠れ層を有することができる。例えば、一実施形態において図１の学習したＮＮ
Ｃの各々は４８の入力ニューロンおよび３７の隠れ層ニューロンを有するのに対し、別の
実施形態例においては１０の隠れ層ニューロンを有する単一の学習したＮＮＣが用いられ
る。一般的に、出力層４０４は複数のニューロンを含むことができる；しかし入力オブジ
ェクトを赤目オブジェクトまたは雑音オブジェクトのいずれかとして特定するバイナリー
な分類決定を出力する単独ニューロンは赤目検出において合理的な選択である。
【００５６】
入力層４０２は特徴点ベクトルを前処理なしに第１隠れ層のニューロンに伝搬すること
ができる；すなわち入力層４０２は入力された特徴点ベクトルに対し一致演算を行なうこ
とができる。入力層４０２とは異なり、隠れ層４０６の最初の層における各ニューロンは
前の層におけるすべてのニューロンからの特徴点を組み合わせ、次の層に対する入力とし
て用いられるベクトルを形成することができる。前の層の出力を続く層の入力として用い
ることは正方向送りのニューラルネットワークの特徴である。出力層４０４は最後の隠れ
層におけるニューロンの出力を組み合わせることができる。
【００５７】
2010160793.tif 000007
【００５８】
2010160793.tif 000008
【００５９】
2010160793.tif 000009
【００６０】
2010160793.tif 000010
【００６１】
2010160793.tif 000011
【００６２】
Ｂ．特徴点の抽出
再度図２を参照すると、特徴点抽出工程２０４の実行を成功させるには、オブジェクト
候補を表すために用いられる赤目オブジェクト候補から抽出された特徴点信号の選択およ
び特徴点ベクトル（すなわち特徴点信号のベクトル表示）の選択による。
【００６３】
2010160793.tif 000012
【００６４】
2010160793.tif 000013
【００６５】
2010160793.tif 000014
【００６６】
領域はエッジや赤目に特徴的な遷移など、赤目オブジェクト固有の特徴点および特性に
従い分割される。例えば、図６（Ｃ）の領域１および４において、他の領域より多くの赤
目領域から皮膚への遷移ピクセルが存在する。領域２および３において、皮膚ピクセルよ
り多くの強膜ピクセルが存在する。領域５乃至８においてピクセルの大半は虹彩および瞳
孔ピクセルで、最も著しく赤目効果に寄与する。赤目オブジェクト候補は厳密に上述の配
向を有しないかもしれないが、同様の特徴点は例えば赤目オブジェクトが図６（Ａ）〜６
（Ｃ）に描かれる配向に対し回転されたとしても抽出できる。
【００６７】
2010160793.tif 000015
【００６８】
2010160793.tif 000016
【００６９】
構造７００の中間層７０４が他の層各々は３つの異なる特徴点信号に対応する３つ区分
で構成され得るかを示す。特徴点の抽出手順は特徴点信号のサブセット（例、３ビット・
バイト）を表現する特徴点ベクトルを形成することができる。このような形で特徴点信号
を分割すると、下記のＩＩ．Ｃ項において詳述するようにＮＮＣ学習の収束時間を低減す
ることができ、その後の分類結果の信頼性を向上させ得る。
従って、図７に示すように、学習したＮＮＣ各々により処理される特徴点ベクトルの長
さは８つの異なる特徴点領域における３つの異なる特徴点信号について計算される２つの
異なる統計（例、平均、標準偏差）を含むためH＝４８であり得る（２×３×８＝４８）
。
【００７０】
2010160793.tif 000017
【００７１】
2010160793.tif 000018
【００７２】
2010160793.tif 000019
【００７３】
Ｃ．ニューラルネットワーク分類器の構成および学習
図１に示すように、上記方程式（１１）乃至（１４）における４つの特徴点ベクトル各
々に対応する４つの学習したＮＮＣ段階はカスケード構成に配列することができる。特定
の段階における学習したＮＮＣはさまざまな学習オブジェクトから抽出された特定の特徴
点ベクトルで学習または最適化さていることができる。
【００７４】
2010160793.tif 000020
【００７５】
分類器がカスケードされる順序は特定用途の状況および制約によって異なることができ
る。例えば、コスト効率が最優先の制約である場合、演算的に高価な特徴点信号で学習し
た分類器をオブジェクト候補数が初期段階に比べ少なくなることが予期されるカスケード
の下部に配置することができる。この原理を適用して、各学習した分類器の信頼閾値をＹ
＝０．９９に設定した場合、第１段階を方程式（４）からの特徴点信号で学習した分類器
、続いて方程式（５）からの特徴点信号で学習した分類器、次に方程式（６）からの特徴
点信号で学習した分類器、最後に方程式（７）からの特徴点信号で学習した分類器で構成
することにより受容できる分類性能を達成することができる。
【００７６】
上述の実施形態において各学習した分類器は同じ信頼閾値を用いるが、異なる分類器に
おいて異なる閾値を用いることができる。例えば、異なるオブジェクトサイズ各々および
／または異なる分類段階の各々に対し異なる信頼閾値を用いて望まれる結果を達成するこ
とができる。
分類器のセットについて、ある分類器が他のものより分類決定に強い影響を有するよう
設定することを含み、異なる構成も可能である。例えば、所定数の分類器が同一の分類決
定をしない限り特定のオブジェクトを赤目オブジェクトまたは雑音オブジェクトとして分
類しない投票システムを実施することができる。
【００７７】
図８は操作の前に適当な逆伝播アルゴリズムを用いたＮＮＣの学習を描く機能および方
法ブロックを有する図である。分類精度を高めるためにさまざまな真および偽の赤目を適
当に表す学習データのセットを選ぶことができる。学習の前に各ＮＮＣはまず初期化され
ることができる。
【００７８】
2010160793.tif 000021
【００７９】
2010160793.tif 000022
【００８０】
2010160793.tif 000023
【００８１】
上で述べたように、分類器は特定範囲のサイズを用いて学習し、その特定範囲内のオブ
ジェクトを分類するよう適応されることができる。加えてまたは代わりに、分類器は特定
の特徴点ベクトルを用いて学習し、その特定の特徴点ベクトルに基づきオブジェクトを分
類するよう適応されることができる。例えば、方程式（４）から（７）までにおける特徴
点信号の４つの３ビット・バイト各々を用いて固有の特徴点ベクトル型を構成することに
より４つの対応分類器に学習させることができる。特徴点ベクトル型毎に３つの（大、中
、小）オブジェクトサイズを用いると図１における機能ブロック図例１００に描かれるよ
うに合計１２の分類器に学習させることになる。
【００８２】
ＩＩＩ．単純な分類器を用いたオブジェクトの分類
再度図２を参照すると、２０６において学習した分類器を用いて偽の赤目オブジェクト
を除去した後２０８において単純な分類器を用いてさらにオブジェクトのセットを精緻化
することができる。単純な分類器は１つ以上の単純な規則および学習したＮＮＣよりはる
かに少ないパラメーターおよび計算を用い得るという点で学習した分類器と異なり得、従
って単純な分類器の処理速度は学習した分類器の速度よりはるかに高速であることができ
る。その相対的な単純さおよび最適化に必要なパラメーターが少なく、単純な分類器のパ
ラメーターを試行錯誤で実験することにより良好な分類結果が比較的容易に達成できるの
で、単純な分類器の合理的な分類性能を得るのに最適化の枠組みは必要でない。
【００８３】
2010160793.tif 000024
【００８４】
2010160793.tif 000025
【００８５】
2010160793.tif 000026
【００８６】
上述のような単純な分類器は学習した分類器がその固有の学習故に逃す偽陽性を見つけ
るのに役立つことができる。例えば、学習用赤目オブジェクトのセットと合致する特性を
有する赤目オブジェクトは学習した分類器により正しく分類されるかもしれない。しかし
、オブジェクトは有限の学習セットが充分に代表できない莫大な種類の変わった特性を有
し得る。従って、赤目オブジェクトの特性に類似した特性を有する雑音オブジェクトは学
習した分類器により赤目オブジェクトとして間違って分類されるかもしれないのに対し、
単純な分類器はこのような特性を認識するように学習していないので、逆にこのオブジェ
クトを雑音オブジェクトとして正しく分類するかもしれない。
【００８７】
ＩＶ．分類結果の精緻化
次に工程２１０および工程２１２において、学習した分類器の結果に対しさらに精緻化
の工程を行なうことができる。例えば、工程２１０においてオブジェクトが空間に近いこ
とに基づき赤目オブジェクト候補のセットから偽の赤目オブジェクトを除去する工程を行
なうことができ、工程２１２においてオブジェクトにおける緑および青の強度レベルに基
づき偽の赤目オブジェクトを除去する工程を行なうことができる。学習した分類器および
単純な分類器による処理はデジタル画像における偽陽性を完全に除去しないまでも大いに
削減することができるが、いくつかの画像は少数の偽陽性をまだ含むかもしれない。例え
ば、これはいくつかの赤目オブジェクトを有する目の領域または分類器が用いる特徴点信
号に基づき差別化できないオブジェクトについて起こり得る。このような偽陽性を除去す
るために、前述の段階後赤目オブジェクトとして残されたオブジェクトは以下ＩＶ．Ａお
よびＩＶ．Ｂ項で説明される手順を受けることができる。
【００８８】
Ａ．真の赤目オブジェクト付近における偽陽性の除去
図９は目の領域で生じ得る赤目オブジェクト候補の構成例を示す。いくつかの画像にお
いては、図９の左側に示すように真の赤目オブジェクトが１つ以上の偽陽性オブジェクト
に囲まれることができる。例えば虹彩、目の隅、または低画質の画像における目の領域に
対応するオブジェクトは赤目オブジェクト候補として間違って分類され得る。このような
オブジェクト候補は隣接領域が付近にある真の赤目オブジェクトに類似した画像統計およ
び特性を有しているために先行する分類段階において除去されなかったかもしれない。
【００８９】
2010160793.tif 000027
【００９０】
2010160793.tif 000028
【００９１】
2010160793.tif 000029
【００９２】
2010160793.tif 000030
【００９３】
2010160793.tif 000031
【００９４】
Ｖ．別の実施形態
上述の各種の代案に加え、各種工程および対応ブロックが変更、省略、または追加され
、または描かれた工程／ブロックの順序が異なる、他のさまざまな種類の機能ブロック図
例１００および方法例２００を実施することができる。
例えば機能ブロック図例１００において、学習したＮＮＣ段階１０６〜１１２およびオ
ブジェクトサイズ弁別器１０４は省略し、または他の分類器段階１１４、第１偽陽性フィ
ルター１１６および第２偽陽性フィルター１１８である機能ブロック１１４〜１１８に対
し並べ替え、機能ブロック１１４〜１１８のいずれかの出力を受信し分類することができ
る。同様に、機能ブロック１１４〜１１８の１つ以上を省略し、または互いもしくは学習
したＮＮＣ段階１０６〜１１２およびオブジェクトサイズ弁別器１０４に対し並べ替える
ことができる。これらの変形配置はオブジェクトサイズ弁別器１０４を除き、図１におけ
る各機能ブロックは候補のセットから偽の赤目オブジェクトを除去するという類似した機
能を実施するので実現可能である。さらに、１つのみのＮＮＣを用い、１つ以上の特徴点
ベクトルを有するすべてのサイズのオブジェクトを分類する実施形態を含み、学習したＮ
ＮＣ段階１０６〜１１２をより少ないオブジェクトサイズおよび／またはより少ない特徴
点ベクトルについて学習したより少ないＮＮＣのセットに減らすことができる。同様の対
応変更を図２における方法例２００に施すことができる。
【００９５】
本明細書で開示される実施形態の例は他の具体的な形で具現されることができる。本明
細書で開示される実施形態の例はあらゆる点で単に例示的とみなされ、限定的とはみなさ
れない。
【符号の説明】
【００９６】
３００  画像取り込み装置、３０６  プロセッサー、３１２  取り込み機構、３１４  
ディスプレイ、３５０  ホストコンピューター。
【図１】
2010160793.tif 000032
【図２】
2010160793.tif 000033
【図３】
2010160793.tif 000034
【図４】
2010160793.tif 000035
【図５】
2010160793.tif 000036
【図６】
2010160793.tif 000037
【図７】
2010160793.tif 000038
【図８】
2010160793.tif 000039
【図９】
2010160793.tif 000040