(57)【要約】  １つ以上のプレビュー画像を含むデジタル画像を取得するためのデジタル画像取得デバイスである。顔検出部は、その中の顔候補領域に関する情報を確認するために１つ以上のプレビュー画像を分析する。スピードに最適化されたフィルタは、顔検出部により提供される顔候補領域情報に基づき赤目候補領域の第１のセットを生成する。
2009519503.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）（ｉ）画像を取得するための結像光学部および検出部と、
（ｉｉ）取得画像の赤目候補領域の第１のセットを生成するためのスピードに最適化された第１のフィルタと、
（ｉｉｉ）  前記取得画像をコード化するための画像エンコーダとを備える画像取得デバイスと、
（ｂ）前記コード化された画像の後の画像処理のために、前記赤目候補領域の第１のセットと関連する前記コード化された画像を格納するための画像格納メモリとを備えることを特徴とするデジタル画像取得デバイス。
【請求項２】
前記スピードに最適化された第１のフィルタは、前記取得画像の低解像度バージョンに作動するように構成されることを特徴とする請求項１に記載のデバイス。
【請求項３】
前記スピードに最適化された第１のフィルタは、前記取得画像のサブサンプルバージョンに作動するように構成されることを特徴とする請求項２に記載のデバイス。
【請求項４】
前記画像取得デバイスが一連のＸ＊Ｙ  ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）ブロックを生成するためにＮ＊Ｍピクセルの取得画像の離散コサイン変換を実行するように構成され、ＸおよびＹはＮおよびＭよりそれぞれ小さく、前記スピードに最適化された第１のフィルタは前記ＤＣＴブロックのＤＣＴ特定（ＤＣＴ  ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）を実行するように構成されることを特徴とする請求項２に記載のデバイス。
【請求項５】
前記フィルタは、前記ＤＣＴ特定の彩度係数に基づいて作動するように構成されることを特徴とする請求項４に記載のデバイス。
【請求項６】
前記フィルタは、前記ＤＣＴ特定のＤＣＴ係数に基づいて作動するように構成されることを特徴とする請求項４に記載のデバイス。
【請求項７】
前記画像圧縮部が前記ＤＣＴブロックからコード化された非可逆画像（ｌｏｓｓｙ  ｅｎｃｏｄｅｄ  ｉｍａｇｅ）を生成するように構成されることを特徴とする請求項４に記載のデバイス。
【請求項８】
前記コード化された画像がＪＰＥＧ画像を含むことを特徴とする請求項７に記載のデバイス。
【請求項９】
前記画像圧縮部が、前記ＪＰＥＧ画像のヘッダーまたはフッター、あるいは両方に前記赤目候補領域の第１のセットを格納するように構成されることを特徴とする請求項８に記載のデバイス。
【請求項１０】
前記赤目候補領域の第１のセットが１セットのＤＣＴブロック識別子を含む請求項４に記載のデバイス。
【請求項１１】
前記修正画像の前記ディスプレイへの表示の前に、前記取得画像中の１つ以上の前記赤目候補領域の第１のセットを修正するための第１の画像修正モジュールをさらに備えることを特徴とする請求項１に記載のデバイス。
【請求項１２】
前記第１の画像修正モジュールが前記画像圧縮部によるコード化に先立って前記取得画像を修正するように構成され、前記第１の画像修正モジュールにより修正された領域の印（ｉｎｄｉｃａｔｉｏｎ）が、前記修正画像と関連して格納されることを特徴とする請求項１１に記載のデバイス。
【請求項１３】
前記画像取得デバイスは、前記修正された取得画像が前記ディプレイに表示された後に後の画像を取得するように構成されることを特徴とする請求項１１に記載のデバイス。
【請求項１４】
前記スピードに最適化されて修正された取得画像の前記ディスプレイへの表示の後にアクティブとなるように構成された、分析に最適化された第２のフィルタをさらに備えることを特徴とする請求項１１に記載のデバイス。
【請求項１５】
前記格納画像および前記赤目候補領域の第１のセットの分析に基づき、前記格納画像の赤目候補領域の第２のセットを生成するように構成される分析に最適化された第２のフィルタと通信するように作動可能であることを特徴とする請求項１に記載のデバイス。
【請求項１６】
前記デバイスはオリジナルの取得画像の１つ以上のピクセルに関連する一連の領域を生成するために前記格納画像を部分的に復元するように構成され、前記分析に最適化された第２のフィルタは赤目候補領域の前記スピードに最適化された第１のセットの領域に関連して特定された前記一連の領域についてのみ作動するように構成されることを特徴とする請求項１に記載のデバイス。
【請求項１７】
前記分析に最適化された第２のデバイスは、前記同定された領域を完全に復元し、ピクセルレベルで前記領域を分析することを特徴とする請求項１６に記載のデバイス。
【請求項１８】
赤目候補領域の前記第１および第２のセットのいずれかまたは両方に基づいて取得画像を修正するように構成される画像修正モジュールをさらに備えることを特徴とする請求項１５に記載のデバイス。
【請求項１９】
前記第２の分析フィルタは、相対的に高解像度である前記圧縮画像をレンダリングするように構成される画像プレイバックモジュール中に実装されることを特徴とする請求項１５に記載のデバイス。
【請求項２０】
前記画像プレイバックモジュールは前記デジタル画像取得デバイスに一体的に実装され、前記画像プレイバックモジュールが前記画像ディスプレイに前記画像を表示するように構成されることを特徴とする請求項１９に記載のデバイス。
【請求項２１】
前記画像プレイバックモジュールはリモートデバイス上で実行するように構成され、前記デジタル画像取得デバイスは前記圧縮画像および前記関連する前記赤目候補領域の第１のセットを前記リモートデバイスに伝達するように構成されることを特徴とする請求項１９に記載のデバイス。
【請求項２２】
前記分析に最適化された第２のフィルタは、正確性のために最適化されることを特徴とする請求項１４に記載のデバイス。
【請求項２３】
前記画像取得デバイスは、前記取得画像を圧縮するための画像圧縮部をさらに備えることを特徴とする請求項１に記載のデバイス。
【請求項２４】
画像取得デバイスは、前記取得デバイスに格納された画像を表示するためのディスプレイをさらに備えることを特徴とする請求項１に記載のデバイス。
【請求項２５】
前記コード化された画像のさらなる画像処理のために、前記画像をＰＣまたはマイクロプロセッサに基づくデバイスに転送するためのシグナル接続部をさらに備えることを特徴とする請求項１に記載のデバイス。
【請求項２６】
前記画像格納部中に一連の少なくとも1つのプレビュー画像を格納するように構成されることを特徴とする請求項１に記載のデバイス。
【請求項２７】
前記少なくとも１つのプレビュー画像の顔候補領域に関する情報を前記スピードに最適化された第１のフィルタに提供するために前記少なくとも１つのプレビュー画像を分析するように構成される顔検出部をさらに備えることを特徴とする請求項２６に記載のデバイス。
【請求項２８】
前記顔検出部は、顔候補領域を検出する検索モードおよび顔候補領域を予測して確認するトラッキングモードで作動することを特徴とする請求項２７に記載のデバイス。
【請求項２９】
前記少なくとも1つのプレビュー画像は、取得画像のサブサンプルバージョンであることを特徴とする請求項２６に記載のデバイス。
【請求項３０】
前記情報は、
ｉ．顔候補領域のリスト；
ｉｉ．画像内の顔候補領域の位置と顔候補領域のヒストリーに由来する統計的データを有する、顔候補領域と関連するデータセット；
その後の取得画像内の顔候補領域の予測位置、
の少なくとも１つを含むことを特徴とする請求項２７に記載のデバイス。
【請求項３１】
ａ）画像を取得するための結像光学部および検出部と、
ｂ）取得画像の赤目候補領域の第１のセットを生成するためのスピードに最適化された第１のフィルタと、
ｃ）  前記取得画像をコード化するための画像エンコーダとを備えることを特徴とする画像取得デバイス。
【請求項３２】
前記赤目候補領域の第１のセットおよび前記取得画像に作動するように構成される分析に最適化された第２のフィルタをさらに備えることを特徴とする請求項３１に記載のデバイス。
【請求項３３】
前記分析に最適化されたフィルタにより処理される後の画像のために前記赤目候補領域の第１のセットと関連するコード化された画像を格納するための画像格納メモリをさらに備えることを特徴とする請求項３２に記載のデバイス。
【請求項３４】
前記スピードに最適化された第１のデバイスにより処理された画像を表示するためのディスプレイをさらに備えることを特徴とする請求項３１に記載のデバイス。
【請求項３５】
前記取得画像を圧縮するための画像圧縮部をさらに備えることを特徴とする請求項３１に記載のデバイス。
【請求項３６】
前記コード化された画像のさらなる画像処理のために、前記画像をＰＣまたはマイクロプロセッサに基づくデバイスに転送するためのシグナル接続部をさらに備えることを特徴とする請求項３１に記載のデバイス。
【請求項３７】
ａ）赤目候補領域の第１のセットを生成するためにスピードに最適化された第１のフィルタで取得画像をフィルタリングすることと、
ｂ）前記取得画像をコード化することと、
ｃ）前記コード化された画像の後の画像処理のために前記赤目候補領域の第１のセットと関連する前記コード化された画像を格納することとを含むことを特徴とするデジタル画像処理方法。
【請求項３８】
画像処理装置が請求項３７のステップを実行するように設定される、デジタル画像アーチファクト修正を実行させるためのコンピュータ読み取り可能なコードを含むコンピュータプログラムプロダクト。
【請求項３９】
ａ）１つ以上のプレビュー画像および主画像を含むデジタル画像を取得するための結像光学部および検出部と、
ｂ）プロセッサと、
ｃ）顔候補領域に関する情報を確認するために、１つ以上のプレビュー画像を分析するようにプロセッサにプログラミングするための顔検出モジュールと、
ｄ）主画像のサブサンプルバージョンを生成するように前記プロセッサをプログラミングするための画像生成モジュールと、
ｅ）顔検出部により提供される顔候補領域情報に基づいて、前記主画像のサブサンプルバージョンの赤目候補領域の第１のセットを生成するようにプロセッサにプログラミングするためのスピードに最適化された第１の赤目フィルタとを備えることを特徴とするデジタル画像取得デバイス。
【請求項４０】
前記取得画像をエンコードするための画像エンコーダをさらに備えることを特徴とする請求項３９に記載のデバイス。
【請求項４１】
前記コード化された画像の後の画像処理のために前記赤目候補領域の第１のセットと関連する前記コード化された画像を格納するための画像格納メモリをさらに備えることを特徴とする請求項３９に記載のデバイス。
【請求項４２】
分析に最適化された赤目フィルタと画像格納メモリとをさらに備え、前記画像格納メモリは、前記分析に最適化された赤目フィルタによる前記主画像の最大解像度の後の画像処理のために、前記赤目候補領域の第１のセットと関連する主画像を格納することを特徴とする請求項３９に記載のデバイス。
【請求項４３】
前記スピードに最適化された第１の赤目フィルタにより処理された画像を表示するためのディスプレイをさらに備えることを特徴とする請求項３９に記載のデバイス。
【請求項４４】
前記取得画像を圧縮するための画像圧縮部をさらに備えることを特徴とする請求項３９に記載のデバイス。
【請求項４５】
前記コード化された画像のさらなる画像処理のために、前記画像をＰＣまたはマイクロプロセッサに基づくデバイスに転送するためのシグナル接続部をさらに備えることを特徴とする請求項３９に記載のデバイス。
【請求項４６】
前記顔検出部は、顔候補領域を検出するための検索モジュールと、顔候補領域を予測して確認するためのトラッキングモジュールとを備えることを特徴とする請求項３９に記載のデバイス。
【請求項４７】
前記１つ以上のプレビュー画像は、取得画像のサブサンプルバージョンを含むことを特徴とする請求項３９に記載のデバイス。
【請求項４８】
前記顔候補領域情報は、
（ｉ）１つ以上の顔候補領域のリスト；
（ｉｉ）画像内の顔候補領域の位置と顔候補領域のヒストリーに由来する統計的データを有する、顔候補領域と関連するデータセット；または
（ｉｉｉ）１つ以上の顔候補領域の予測位置；または
（ｉｖ）それらの組み合わせ
を含むことを特徴とする請求項３９に記載のデバイス。
【請求項４９】
デジタルメモリ内に内蔵されたプログラム指示に基づく取得デジタル画像から赤目アーチファクトをフィルタリングするプロセッサに基づく方法であって、
（ａ）１つ以上の画像を取得することと、
（ｂ）顔候補領域に関する情報を確認するために１つ以上のプレビュー画像を分析することと、
（ｃ）主画像を取得することと、
（ｄ）主画像のサブサンプルバージョンを分析することと、
（ｅ）顔検出部により提供される１つ以上のプレビュー画像中の顔候補領域情報および前記主画像のサブサンプルバージョンの分析に基づいて前記主画像中の赤目候補領域の第１のセットを生成することとを備えることを特徴とする方法。
【請求項５０】
前記主画像をコード化することをさらに含むことを特徴とする請求項４８に記載の方法。
【請求項５１】
前記コード化された主画像の後の画像処理のために、前記赤目候補領域の第１のセットと関連する前記コード化された主画像を格納することをさらに備えることを特徴とする請求王４９に記載の方法。
【請求項５２】
前分析により取得された情報の一部にのみ基づいて分析に最適化された赤目フィルタで最大解像度バージョンの主画像の画像処理することをさらに備えることを特徴とする請求項５０に記載の方法。
【請求項５３】
主画像内の検出された赤目アーチファクトを修正することと、修正された主画像を格納することをさらに備えることを特徴とする請求項５１に記載の方法。
【請求項５４】
前記主画像のサブサンプルバージョンの分析に従って処理された画像を表示することをさらに備えることを特徴とする請求項４８に記載の方法。
【請求項５５】
前記前分析において取得された情報に従うさらなる画像処理のために、前記主画像をＰＣまたはマイクロプロセッサに基づくデバイスに転送することをさらに備えることを特徴とする請求項４８に記載の方法。
【請求項５６】
顔候補領域を検出することと、顔候補領域を予測して確認することをさらに備えることを特徴とする請求項４８に記載の方法。
【請求項５７】
前記１つ以上のプレビュー画像は、取得画像のサブサンプルバージョンを含むことを特徴とする請求項４８に記載の方法。
【請求項５８】
前記顔候補領域情報は、
（ｉ）１つ以上の顔候補領域のリスト；
（ｉｉ）画像内の顔候補領域の位置と顔候補領域のヒストリーに由来する統計的データを有する、顔候補領域と関連するデータセット；または
（ｉｉｉ）１つ以上の顔候補領域の予測位置；または
（ｉｖ）それらの組み合わせ
を含むことを特徴とする請求項４８に記載の方法。
【請求項５９】
画像処理装置が請求項４８から５７のいずれかのステップを実行するように設定される、デジタル画像アーチファクト修正を実行させるためのコンピュータ読み取り可能なコードを含むコンピュータプログラムプロダクト。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタル画像処理方法に関し、より詳しくは、取得された画像における赤目の不具合や他のアーチファクトを検出および修正するための方法および装置に関する。
【背景技術】
【０００２】
赤目は、フラッシュの照明を用いたカメラにより取得された画像中に現れる人物の瞳が不自然に赤い色になる現象である。赤目は、フラッシュからの光が網膜の血管に反射してカメラに戻ってくることにより引き起こされる。
【０００３】
カラー画像中の赤目を検出および補正するための様々な画像処理技術が提案されている。一般に、これらの技術はセミ−オートマチック、またはオートマッチックである。セミオートマチック赤目検出技術は、人による入力に依存する。例えば、ある種のセミオートマチックの赤目低減システムにおいては、ユーザは、不具合が修正される前に赤目を含む画像の領域を、システムに対して特定しなければならない。
【０００４】
多くのオートマチック赤目低減システムは、赤目の領域が特定される前の、予備的な顔検出段階に依存している。通常のオートマチックの手法は、画像中の顔を検出することと、その後に、検出された各顔内の目を検出することとを含む。目が位置付けされた後、形状、色、検出された目の位置に関する画像領域の明るさに基づいて、赤目が特定される。一般に、顔検出を基とするオートマチックな赤目低減技術は、高計算能力と、メモリリソースとを必要とする。加えて、顔検出アルゴリズムのほとんどは、直立正面に向いている顔しか検出することができない。これらの手法は、通常、像平面に対して内に、あるいは外に回転した顔を検出することはできない。
【０００５】
赤目フィルタ処理を図１Ａに示す。最初に、入力画像は、ピクセルレベルでスピードに最適化された赤目検出段階により分析され（１０３）、赤目候補領域が分割される（１０４）。さらなる一連のフォルシングおよび照合フィルタ（ｆａｌｓｉｎｇ  ａｎｄ  ｖｅｒｉｆｉｃａｔｉｏｎ  ｆｉｌｔｅｒ）１０６が候補領域に適用され、一連の確認された赤目領域が決定される。修正フィルタ（ピクセル変更部）１０２が次に確認された領域に適用され、赤目が修正された最終的な画像１１２が生成される。
【０００６】
発明者ＤｅＬｕｃａの米国特許６、４０７、７７７号は、取得したデジタル画像中の赤目ピクセルのインカメラ検出および修正を開示する。その一方で、発明者Ｓｔｅｉｎｂｅｒｇの公開された米国特許出願２００２／０１７６６２３は、ハンドヘルド装置のために最適化された赤目不具合の自動リアルタイム検出および修正を開示する（これらはそれぞれ、２００４年８月１６日に出願された米国出願１０／９１９，  ２２６、２００４年２月４日に出願された米国出願１０／７７２，  ０９２、２００４年２月４日に出願された米国出願１０／７７３，  ０９２、２００３年８月５日に出願された米国出願１０／６３５，  ９１８として、本件出願と同じ譲受人に譲渡された）。公開されたＬｕｏらの米国特許出願２００５／００４７６５５および２００５／００４７６５６は、デジタル画像、および埋め込まれたシステム中の赤目の検出および修正のための技術をそれぞれ開示する。
【０００７】
典型的なデジタルカメラに実装されるような画像取得サブシステム内において、画像取得の間に、ピークコンピューティングロードとリソース要求が生じる。ユーザからの画像取得要求を受信したとき、内蔵された主処理システムは、最適の主取得画像を得るために、画像の焦点および露出を改善する。当該画像は、次に、カメラの主光学センサからオフロード（ｏｆｆ−ｌｏａｄ）され、それを基のフォーマット（例えばＢａｙｅｒ）からＲＧＢやＹＣＣのような標準化された色空間に変換されるためのさらなる画像処理に供される。最終的に、取得画像は、コンパクトフラッシュやマルチメディア・カードのような除去可能な記憶メディア上にそれを保存する前に、圧縮される。
【０００８】
最初の画像の取得から回復して第２の画像の取得のために再初期化するためにカメラにかかる時間は、“クリックトゥクリック（ｃｌｉｃｋ  ｔｏ  ｃｌｉｃｋ）”時間といわれる。当該パラメータは、現代のデジタルカメラの比較およびマーケティングの中で使用されている。メーカーには、この“クリックトゥクリック”時間を最小化することが望まれている。そのため、赤目フィルタリングのような、主画像取得鎖に加えられるあらゆる付加的な画像処理もまた、主システムのクリックトゥクリック時間への影響を最小化するために、実行速度が高度に最適化されることが望まれる。そのような赤目フィルタは、一般に、赤目不具合の検出の精度および画像修正の質の点において、総合的な性能が落ちる。
【０００９】
他の態様としては、主画像が取得されるまで待ち、カメラが背景処理としてフィルタを実行する場合に後で赤目フィルタリングを実行するか、または、デスクトップＰＣかプリンタ上で赤目をフィルタするオフカメラを実行することがある。しかしながら、この代替的な手段には短所がある場合がある。第１に、画像は、未修正の赤目不具合を伴って取得直後に取得デバイスに表示される。第２に、画像がプレイバックモードでアクセスされる場合、画像が表示される前に、画像が後処理されることによるさらなる遅れが存在する。両方の欠点は、エンド・ユーザに対する否定的な印象を形成することになる。
【００１０】
さらに、ほとんどのデジタルカメラについては格納される画像は非可逆圧縮技術が使用されており、プレイバックモードまたは背景モードで赤目検出および修正処理を実行するために復元および再圧縮された画像の画質にはさらなる損失が存在する。そのような画質のロスは、ユーザが画像をプリントしようとするときまで明らかにならないことがあり、処理を破棄するには遅すぎる。
【００１１】
赤目処理を画像がデスクトップＰＣやプリンタのような他のデバイスにロードされるまで遅らせた場合、さらなる欠点が存在する場合がある。第１に、取得デバイスおよび画像が取得されたときのその状態に関するメタデータは、赤目フィルタ処理に利用可能ではない場合がある。第２に、当該後処理デバイスは、画像全体について赤目フィルタリングを行なう；  このため、主要な後処理アクティビティのためのＣＰＵサイクルおよび処理リソースの点において、相対的に抑制され得るプリンタのような内蔵デバイスのために、全体赤目フィルタの性能を最適化することが望まれる。一般に、内蔵された画像取得および処理システムのために、デジタル画像中の赤目不具合の検出を最適化することが望まれる。
【発明の開示】
【課題を解決するための手段】
【００１２】
デジタル画像取得デバイスが提供される。結像光学部（ｉｍａｇｉｎｇ  ｏｐｔｉｃ）および検出部は、１つ以上のプレビュー画像および１つの主画像を含むデジタル画像を取得する。顔検出モジュールは、その中の顔候補領域に関する情報を確認するために、１つ以上のプレビュー画像を分析する。画像生成モジュールは、主画像のサブサンプルバージョンを生成するようにプロセッサをプログラムする。スピードに最適化された第１の赤目フィルタは、顔検出部によって提供される顔候補領域情報に基づき、主画像のサブサンプルバージョン中の、赤目候補領域の第１のセットを作成するようにプロセッサをプログラムする。
【００１３】
画像エンコーダは、取得された画像をエンコードする。画像コンプレッサは、主画像を圧縮する。
【００１４】
画像格納メモリは、後のエンコードされた画像の画像処理のために、前記赤目候補領域の第１のセットと関連する前記エンコードされた画像をそこに格納する。
【００１５】
分析に最適化された赤目フィルタは、一部が前の分析に基づく、最大解像度バージョンの主画像の後の分析を行う。
【００１６】
ディスプレイは、前記スピードに最適化された第１の赤目フィルタにより処理された画像を表示する。
【００１７】
信号接続部は、さらなる画像処理のために、画像をＰＣまたはマイクロプロセッサを基とするデバイス、または両方に転送する。
【００１８】
顔検出部は、顔の候補領域を検出するための検索モジュールと、顔の候補領域を予測して確認するトラッキングモジュールとを含むようにしてもよい。
【００１９】
１つ以上のプレビュー画像は、取得画像のサブサンプルバージョンを含むようにしてもよい。
【００２０】
顔の候補領域情報は、（ｉ）１つ以上の顔の候補領域のリストと、（ｉｉ）１つ以上の顔の候補領域と関連するデータのセット、および１つ以上の顔の候補領域のヒストリーに由来する統計データ、（ｉｉｉ）１つ以上の顔の候補領域の予測された位置、または（ｉｖ）それらの組み合わせを含む。
【発明を実施するための最良の形態】
【００２１】
発明の実施形態について、図面を用いて説明する。
【００２２】
２段階の赤目フィルタ処理が提供され、それによって、速度に最適化されたフィルタが赤目候補領域の最初の分割を実行し、確認された第１の赤目領域を決定するためのスピードに最適化されたフォルシング／照合フィルタのセットを修正のために随意に適用する。第１の段階の間にリジェクトされた候補領域のいくつかは記録され、確認された赤目領域の第２のセットを決定するための、他の分析に最適化されたフィルタのセットによる第２段階の間に再分析される。
【００２３】
随意に、確認された第１の赤目領域のセットは、第２段階の分析に最適化されたフィルタを通過するようにしてもよい。
【００２４】
他の実施形態においては、第２の段階のフィルタは、確認された赤目領域の第１のセットに随意に適用されてもよい改善された修正フィルタを組み込むようにしてもよい。
【００２５】
方法は、スピードについて最適化される第１の赤目フィルタ処理と正確な画像解析のために最適化される第２の赤目処理とが組み合わされる２つの段階赤目フィルタ処理を実装することを含んで提供される。主画像取得鎖中に実装された赤目フィルタの優位点は背景／プレイバックモードに実装された赤目フィルタのそれと結合する一方で、これらの２つの手段の各々に一般に関連する不利点は縮小されるか除去される。
【００２６】
好ましい実施形態に従う赤目処理は図ｌＢで示される。入力画像１１０はピクセル分析部１０３により処理されて１セットの候補領域が分割され（１０４）、続いて１セットのフォルシング／照合フィルタを経る。これらのコンポーネントは、図１Ｂで示された実施形態中のものを除いて、図１Ａのフィルタ１００に概して対応するスピードに最適化された赤目検出フィルタ１００を形成する。フォルスポジティブ（ｆａｌｓｅ  ｐｏｓｉｔｉｖｅ）と最終的に分類される代わりに、所定の閾値以下であるそれらのサイズまたは可能性に基づき、赤目候補領域が候補領域１０９として後の最適化された解析１０１のために保存されるように、フィルタ１００は変更される。
【００２７】
したがって、当該実施形態においては、フォルシング  ＆  照合フィルタ１０６は、確認された１セットの赤目領域１０８に加えて、１セットの第２の候補領域１０９を生成する。当該第２候補領域セットは、スピードに最適化された赤目検出処理１００により確認も除去もされていないオリジナルの候補領域セット１０４を含んでもよい。さらに、互いに近接する結合した候補領域を含んでもよい。
【００２８】
当該候補領域のセット１０９はそれぞれ、実施形態の実装に依存して、ＲＡＭバッファまたは不揮発性メモリに格納される。当該データがＲＡＭ（または揮発性）メモリに格納される場合、当該画像取得システムはパワーダウンの前に第２段階の赤目フィルタを画像に適用する。好ましい格納の形態は、不揮発性メモリ、または除去可能なメディアカードである。他の実施形態においては、当該データは、それ自体の部分的に処理された画像で画像ヘッダ中に格納されてもよい。
【００２９】
当該実施形態において、分析に最適化された第２段階の赤目フィルタ１０１は、続いて候補領域１０９の第２のセットについて適用される。分析に最適化された検出処理１０１の間、格納された候補領域１０９はスピードに最適化された処理の間よりもより高解像度でさらに分析されるのが好ましい。したがって、フィルタ１０１は、スピードに最適化された分析で用いられるフォルシングおよび照合フィルタ１０６とは種類（ｎａｔｕｒｅ）や制御パラメータが異なる、分析に最適化された  フォルシングおよび照合フィルタセット１１６を含む。それにもかかわらず、画像解像度を増加させた最適化された分析の１つ以上の中間段階を実行することが有用であることが理解される。これは、イメージング機器、および、イメージング機器の画像処理サブシステム内の利用可能なリソースのハードウェアの能力に依存する。
【００３０】
第２の画像処理は、ある種の外部事象に反応して生じるようにしてもよい。例えば、ユーザは、当該フィルタ１０１の適用を引き起こす画像プレイバックを始めてもよい。また、カメラは、所定のインターバルで待機中であるので背景赤目処理が開始されてもよい、と信号を伝達してもよい。カメラがオートフォーカスのデータからのその動作を決定することが可能である場合、例えば所定のインターバルで画像フォーカスが変化しておらず、ユーザからの入力がない場合、２段階の赤目フィルタリングを含む背景画像処理が開始されるようにしてもよい。
【００３１】
第２段階の赤目フィルタ１０１により確認された赤目領域セット１１８が決定された後、修正フィルタ（ピクセル変更部）１０２が適用され、これらの修正された領域は最終的な修正画像１１３を生成するために第１の修正画像１１２と結合される（１１５）。
【００３２】
他の実施形態を図１Ｃに示す。当該実施形態は、図１Ｂの実施形態とは、最初の修正画像１１２を第２段階のフィルタ１０１により決定された修正領域と結合させるのではなく、第２段階の赤目フィルタの後に単一の修正フィルタ（ピクセル変更部）１０２ｂが適用される点で異なっている。フィルタ１０２ｂは、最終的な修正画像１１３を生成するために、第１の確認された赤目領域１０８と、第２段階で確認された赤目領域１１８の両方を修正する。
【００３３】
図２Ａは、デジタル画像取得デバイス内の実施形態を示す。スピードに最適化された赤目フィルタ４１１は、検出部４１１−１、４１１−２、おおよび４１１−４と、随意的に、修正４１１−３処理を含むようにすることができる。同様に、背景処理４０３として動作する分析に最適化された赤目フィルタ４１２は、スピードに最適化されたフィルタ４１１の最初の検出および修正の付加的な改善を実行する。当該第１の検出に関するデータは、画像格納部３１０内の取得画像４１０−２とともに格納された赤目フィルタメタデータ４１０−５により提供される。
【００３４】
図２Ｂは図２Ａの実施形態のバリエーションを示しており、分析に最適された赤目フィルタは、オリジナルの取得デバイスとは分離されたデバイス４００において実行される。これは、例えば、デスクトップＰＣやプリンタとすることができる。他の実施形態においては、カメラは直接的にネットワークやウェブサービスに接続していてもよい。画像データ転送手段４０４ａ、４０４ｂはどちらかが２つのデバイス間のポイントトゥポイント通信リンクであってもよい。リムーバブル格納メディアが二つのデバイス間で物理的に交換されてもよく、また、他の態様では、二つのデバイスは、インターネットのような共通ネットワークで接続されてもよい。他の実施形態においては、赤目フィルタメタデータ４１０−５は、当該メタデータがＪＰＥＧヘッダに付加されることにより、主画像データ４１０−２に結合されてもよい（図３Ａ参照）。背景赤目フィルタは、最初の取得デバイス４００と分離されたデバイス４００’の両方で動作するようにしてもよい。精度が増した複合的な赤目フィルタをサポートすることは、分析され修正された画像とともに複雑で詳細なメタデータの交換および格納を含むことができる。
【００３５】
典型的なものとして、スピードに最適化された赤目フィルタ４１１、または分析に最適化された赤目フィルタ４１２のいずれかで含まれてもよい幾つかの典型的なフィルタの限定的なリストは、本出願と同じ出願人に譲渡された米国公開出願Ｎｏ．１０／９７６，  ３３６（出願日２００４年１０月２８日）で理解できる。
【００３６】
上述の実施形態においては、スピードに最適化された赤目検出部１００はサブサンプルされた入力画像に適用されるのが好ましい。確認された赤目領域１０８は、スピードに最適化された赤目検出部１００から赤目修正モジュール１０２／１０２ａに伝達される。修正された赤目画像１１２は、画像取得処理の後すぐに、デジタルカメラの低解像度の表示スクリーンに表示されるようにすることができ、ユーザにすぐに赤目修正された画像が提供される。しかしながら、当該修正画像１１２はほぼ適切に修正されているが、それは顔が画像のほとんどを占めていたり、非常に高い確率で赤目領域が存在するポートレート形式の画像の場合であり、赤目候補領域が小さかったり、不明確である多人数の人物を含む画像については適切に修正されていない場合がある。したがって、分析に最適化された第２の赤目フィルタ処理１０１が、画像取得後であって、より大きな画像ビューワでの最終的な画像１１３の表示、または画像プリントの前に実行されることが好ましい。当該分析に最適化された赤目検出処理１０１および修正処理１０２は、エンドユーザが所望するそのような高解像度での表示またはプリントまで、有利に遅延されるようにしてもよい。
【００３７】
図２Ａおよび図２Ｂの実施形態においては、デコードされたフルサイズの主画像を確実にサブサンプルすることを必要とする代わりに、主画像のサブサンプルバージョンまたは主画像の修正されていないフルサイズのバージョンが主画像取得デバイスハードウェア４０２から直接的に提供される
【００３８】
図１Ｃの場合においては、画像修正は取得鎖中の画像において実行される必要はなく、取得鎖においてスピードに最適化された赤目検出が実行された取得画像の背景において実行されるようにすることができる。これは、画像圧縮が主画像取得鎖４０１の一部であるハードウェアにおいてしばしば実行される多くの画像取得装置において有利である。当該実施形態においては、実質的に、検出処理のみが取得鎖において行われる。プレイバックモードにおいて、スピードに最適化された修正、または完全な画像に最適化された赤目フィルタのどちらかが、カメラ内の所定の設定、または画像プレイバック／表示のときのユーザの選択に基づき、その後に選択される。
【００３９】
図３Ａの実施形態においては、取得された未加工の画像４０２は、ＤＣＴ圧縮ブロック４０８−１に提供される前に、部分的に処理される（４０４）。当該ブロックは、不図示である取得画像のサブサンプルバージョンを提供し、これは上述の画像格納部４１０に提供される。その後、スピードに最適化された赤目検出部４２８が部分的に圧縮されたＤＣＴブロック画像に適用され、修正された領域と、修正されていない疑わしい領域を含むＤＣＴ赤目候補領域が、格納されるために格納部４１０に出力される。ピクセルレベルではなくＤＣＴブロックレベルでスピードに最適化された修正を適用する利点は、ここで記載した従来技術におけるサブサンプルされた画像の詳細な赤目分析の適用の利点は残したままで明確な画像サブサンプリング段階の必要性を省略することができることにある。
【００４０】
ＤＣＴプレフィルタ４２８により出力されて主画像取得鎖４０１に組み込まれた領域は、画像が後に背景フィルタモジュール４２６のようなフィルタにより修正されるときに、有利には、ＤＣＴブロックストリームの多くが処理されることなく迂回することを可能とする。これにより、より迅速な分析、またはより詳細な分析のいずれか、および分析に最適化された赤目フィルタ４０６による処理を要求するために決定されるＤＣＴブロックのフィルタリングが可能となる。当業者は、主画像取得鎖４０１と背景赤目検出および修正処理４２６間からＤＣＴプレフィルタと他の慣用される形式の赤目フィルタの両方を分離させた態様のさらなる実施形態が可能であることが理解できる。
【００４１】
図３Ｂは、赤目ＤＣＴプレフィルタ４２８の作動を詳細に示す。この典型例は、ＤＣＴプレフィルタが、図３Ａの主画像取得４０２、処理４０４、および圧縮４０８の鎖とどのようにして一体化することができるかを説明する。フィルタされるＤＣＴ画像はまず、メモリ９０２にロードされ、主ＤＣＴプレフィルタ４２８が適用される。これには３つの段階が存在する。まず、画像のＤＣＴブロックがスキャンされ（９０４）、ＤＣＴ係数が抽出される。フィルタの精度に依存して、各ＤＣＴブロックのＤＣコンポーネントのみが後の分析で用いられる。あるいは、ＡＣコンポーネントのうちのいくつかは、プレフィルタ・オペレーションの一部として、ある種のテクスチャあるいはシャープネス／ぼけ（ｂｌｕｒ）の決定を可能とするために抽出される場合もある。
【００４２】
ＤＣＴプレフィルタ４２８の第２の主要な段階において、ＤＣＴブロックは段階９０４で抽出された係数から決定された複数の基準に基づき、分割されてグループ化される。最終的な赤目の候補のグループ分けを決定するために、領域に基づいた分析が実行される（９０７）。次に、有効な候補のグループが存在するか否かが決定され（９０８）、存在しない場合は通常のＪＰＥＧ圧縮処理が再開される（４０８−２）。候補領域が決定された場合（９０８）、図３Ａの主赤目フィルタ処理４１１／４１２の一部として使用される場合がある様々な目の領域の特徴を含むのに十分に大きい、境界領域（ｂｏｕｎｄｉｎｇ  ｒｅｇｉｏｎ）が各領域ごとに決定される（９１０）。その領域のフラッシュ目不具合の確実性が十分に高い場合、境界ボックス領域は、ビットマップフォーマットに復元（ｄｅｃｏｍｐｒｅｓｓｅｄ）されてもよく、また、スピードに最適化されたフィルタ鎖９１４が主画像のその領域を修正するために適用されるようにしてもよい（９１４）。ビットマップスペースにおける修正された領域は、次に８ｘ８ブロック境界の整数番号にマップされて再圧縮され（９１８）、その後ＤＣＴ領域上に上書きされる（９２０）。最終的に、通常のＪＰＥＧ圧縮が再開される（４０８−２）。上述したように、修正された領域の境界と疑わしい領域の境界のそれぞれは、後の分析に最適化された検出および修正における使用のために出力される。
【００４３】
図３Ｃは、図３Ｂの領域に基づく分析９０７をより詳細に示す。まず、ＤＣＴ係数が、一時的なメモリ格納部中のＤＣＴ画像から読み取られる（９３０）。これらの係数は前処理され、一連の基準テーブルが生成される（９３２）。各テーブルは、分析される画像中のＮ×ＭＤＣＴブロックが存在する、大きさＮ×Ｍの数表であることが好ましい。例えば、あるそのようなテーブルは、フラッシュ目不具合に関連し、各ＤＣＴブロックの輝度（Ｙ）および赤クロミナンス（Ｃｒ）コンポーネントのためのＤＣ係数に由来した色範囲を強調するために、標準化された赤クロミナンス・コンポーネントを含む。他のテーブルは、隣接するＤＣＴブロックに由来する異なる値を含み、エッジ検出に使用される。一方、別のテーブルは、１セットの近隣のＤＣＴブロックから計算された分散値（ｖａｒｉａｎｃｅ  ｖａｌｕｅ）を含んでいてもよい。当業者は、ＤＣＴプレフィルタの実装により、複数の付加的な基準がアルゴリズムに組み込まれて精度を高めることができることが理解できる。
【００４４】
各基準ごとに必要な計算の後、テーブルは完成され（９３２）、それらは一時的な格納部にコピーされて（９３３）、プレフィルタアルゴリズムは、複数の基準テーブルごとにフィルタリングおよび分割段階を実行する（９０７）。この特有の段階は、以下の図３Ｄに詳細に表される。ここで、プレフィルタは、複数の基準テーブルの分割分析に基づく複数のＤＣＴブロックのセットを決定する。これらのグループは分類され、最終的なフラッシュ不具合候補領域を決定するために分析される。
【００４５】
当該領域に基づく分析９３６は、当業者に知られている多くの代替技術で構成される。特に、我々は、領域が、包括的、排他的、且つ低頻度の相互に排他的な組み合わせで組み合わされてもよいことを言及する。領域に基づく分析の他の手段は、テンプレートマッチングを採用することができる（９３６−２）。例は、ＮａｋａｎｏのＵＳ５，  ８０５，  ７２７で提供される。サブ領域は、画像内のＤＣＴブロックのＤＣ係数に基づく、粗テンプレートマッチング技術と高精度テンプレートマッチング技術の両方を使用してＤＣＴ画像内でマッチングされる。
【００４６】
領域に基づく分析のコンポーネントは、事実上２つの明確な重なり領域であってもよい大きな領域、または事実上単一の大きな領域であってもよい小さな領域の集合を分析するために反応する再分割エンジン９２−６である。その後、領域に基づく分析９３６が完了した時点で、決定されたフラッシュ不具合候補領域のリストを含む最終的なＬＵＴが得られ、システムメモリに書き込まれる。
【００４７】
図３Ｄは、赤目ＤＣＴプレフィルタの分割段階９０７を詳細に示す。分割処理により処理される次の前処理された基準テーブルは、まずロードされ（９５０）、領域グループ分け処理のためのラベル化されたＬＵＴが初期化される（９５２）。次に、進行中のＤＣＴブロックおよびＤＣＴブロック隣接部が初期化される（９５４）。
【００４８】
図３Ｅは、進行中のＤＣＴブロック９９４の３つの上部のＤＣＴブロックおよび左側のＤＣＴブロックを含んでいる、４つのＤＣＴブロック隣接部９９２の図式表示を示し、図３（ｅ）の中で斜交平行（ｃｒｏｓｓ−ｈａｔｃｈｅｄ）している。当該４つのブロック隣接部９９２は、当該典型的な実施形態のラベリングアルゴリズムにおいて使用される。ルックアップテーブル、ＬＵＴは、関連するラベルを保持するために定義される。
【００４９】
初期化が完了した後、段階９５４に戻り、図３Ｄのワークフローの次の段階では、左上から右下へのラスタースキャンにおける進行中の基準テーブルのすべての要素を介した再帰的な反復を開始する。ワークフローは次に、進行中のＤＣＴブロックと関連する進行中の基準テーブル値が赤目候補領域のメンバーシップ基準（ｍｅｍｂｅｒｓｈｉｐ  ｃｒｉｔｅｒｉａ）を満足するか決定する（９５８）。本質的に、これは、進行中の基準テーブル値がフラッシュ目不具合と適合する特性を持っていることを示唆する。進行中の基準テーブル値がセグメントのメンバーシップ基準を満たす場合（９５８）、次にアルゴリズムは４つのブロック隣接部の他のメンバーシップＤＣＴブロックをチェックする（９６０）。他のメンバーシップブロックが存在しない場合、進行中のブロックには進行中のラベルのメンバーシップ（ｍｅｍｂｅｒｓｈｉｐ）が割り当てられる（９８０）。その後、ＬＵＴがアップロードされ（９８２）、進行中のラベル値はインクリメントされる（９８４）。４つのブロック隣接部に他のメンバーシップブロックが存在する場合（９６０）、進行中のブロックは、最も小さいラベル値でセグメント内のメンバーシップが与えられ（９６２）、それに応じてＬＵＴがアップデートされる（５１６）。ラベルがフラッシュ目不具合部分の一部として現在のブロックに付けられたか（９６２または９８０）、あるいは段階９５８にて不具合候補部分のメンバーでないとしてそのブロックが分類された後、それが画像９６６中の最後のＤＣＴブロックかどうか判断するためにテストが行なわれる。進行中のブロックが画像中の最後のブロックである場合、そのときＬＵＴの最終的なアップデートが行われる（９７０）。そうでなければ、次の基準テーブル値は進行中のブロック・ポインター９６８をインクリメントすることにより得られ、段階９５８に戻り、同じ方法で処理される。一旦最終的なＤＣＴブロックが処理され、最終的なＬＵＴが完成したならば（９７０）、セグメントのメンバーシップを有するブロックはすべて、潜在的な目不具合セグメントのラベル化されたセグメントのテーブルへソートされる（９７２）。その後、これが処理されるべき最後の基準テーブルであるか否か決定するために別のテストが行われ（９６６）、そうである場合、コントロールは、図３Ｃの領域に基づいた解析段階に渡される（９３６）。そうでなければ、ブロックセグメンターは段階９５０に戻り、処理用の次の基準テーブルをロードする。
【００５０】
多くの代替方法が、赤目ＤＣＴプレフィルタ内の使用に有利に適応される場合がある。ＤｅＩｐの米国特許５，９４９，９０４号は、ＤＣＴブロック内の画像カラー選択を開示する。特にそれは、ＤＣＴ単独のＤＣ係数からのＤＣＴブロック内のカラーの決定を可能とする。したがって、ＤＣ係数のみについての情報から、カラーマッチングを達成することが可能である。  Ｓａｚｚａｄらの米国特許６，６２１，８６７号は、隣接するＤＣＴブロックにおけるＤＣ係数間の違いに基づいた、ＤＣＴブロック内のエッジの存在の決定を開示する。
【００５１】
ここで、テクスチャおよび画像のエッジ／ぼけのような追加的な画像の質は、ＤＣＴブロック内の付加的なＡＣコンポーネントの分析を通じて決定することが可能である。そのような解析方法の例は、Ｆｅｎｇの米国特許公開２００４／０１２０５９８およびＳｃｈｕｈｕｒｋｅらの米国特許公開２００４／００５７６２３に記載されている。
【００５２】
他の実施形態においては代替的なＤＣＴブロック・分割技術が採用可能であり、具体的な技術としては、ＤｅＬｕｃａの米国特許６，４０７，７７７号、Ｓｔｅｉｎｂｅｒｇの米国特許６，８７３，７４３号、Ｌｕｏらの米国特許公開２００５／００４７６５５および２００５／００４７６５６に記載されたものがある。
【００５３】
図４Ａにおいては、赤目領域のためにアウトラインカラーテンプレート（ｏｕｔｌｉｎｅ  ｃｏｌｏｒ  ｔｅｍｐｌａｔｅ）がどのようにして構築されるかを示す。図４Ａは、長方形のグリッド上にマップされた目領域を示す。グリッド２０１のブロックはそれぞれ８ｘ８ピクセルブロックに相当する。主な赤目不具合２０４は、虹彩領域２０３、付加的な白目領域２０２、赤目フィルタによって決定される主な赤目領域の境界２０６に典型的に囲まれる。
【００５４】
次に、図４Ｂでは、図４Ａの中の画像がＤＣＴ領域に転換された後の各ＤＣＴブロックのＤＣ係数によって記録されるおおよその色を示す。図４Ｂの中で示される色の組み合わせは以下のとおりである：  Ｒはフラッシュ目不具合現象を示す赤みがかった色合いである；  Ｓは皮膚色を示す色合いである；  Ｗは白目領域に関連している白っぽい色を示す；Ｉは人間ごとに著しく変わる目の虹彩の色である；  ＷＳは、皮膚および白目色が混合されたブロックを示す；ＲＷは、赤目と白目が混合されたブロックである；ＲＩは、  赤色および虹彩の色の混合である色合いを持っている。ここで、十分に包括的なカラー・フィルタリングがこれらの画像ブロックに適用される場合、ＤＣＴ領域画像のＤＣ係数から直接的に典型的な赤目のカラーマップを決定することが可能である。図４Ｃは、包括的なカラーフィルタが使用された場合に、赤色として決定される領域を示す。図４Ｄおよび図４Ｅは、フラッシュ目不具合領域を囲む白目と皮膚色の領域を示す。このデータは、例えば、フラッシュ目不具合領域について１セットのカラー・テンプレートを構築するために使用することが可能である。他の従来の方法の適用によって、鋭いエッジを含んでいるＤＣＴブロック、あるいはカラー領域間の変わり目（ｔｒａｎｓｉｔｉｏｎｓ）を決定することが可能である。これは、ＤＣＴプレフィルタ検出処理を改善するための追加情報を提供することが可能である。
【００５５】
図３Ａの実施形態における潜在的な不利は、画像全体が第２段階の赤目フィルタ処理を行うために復元されることが必要であることである。ほとんどのカメラが非可逆のＪＰＥＧ圧縮を使用しているため、画像品質の損失のない画像取得使用内に２段階の赤目処理が適用されることを可能とする、損失がない実施形態が実装されることが好ましい。
【００５６】
従って、図５は、画像品質の損失を伴うことなくプレイバックモードにおいて分析に最適化された赤目検出および修正を生じさせることができる、修正された赤目フィルタ処理の機能的実装を示す。これはさらに、インクリメントの段階で実装される、複雑な後処理が可能である。したがって、カメラがユーザ・アクティビティに関して待機状態である場合であっても、ロードして画像処理を開始し得るように切り替えられる。ユーザ・アクティビティが再開される場合、カメラはユーザに応答する前に処理されている画像を再圧縮し保存することが可能である。下記に述べられた実施形態がカメラ内の画像のロスがない格納および復元を可能とするため、赤目だけでなく、フェース面検出あるいは認識のような同様の他のインカメラ方法に適用され得る画像のインクリメントの処理を促進する。
【００５７】
ユーザ・アクティビティを感知する様々な手段は二者択一的に採用され得る。１つの例は、カメラ動作を検出することと、これをオートフォーカスのサブシステムおよびユーザ・インターフェース・サブシステムのような他のインカメラ機能と随意に関連付けることを含んでいる。カメラは、あるサブシステムを無効にするほど長く使用されていないと決定する省電力モードを組み込んでいてもよい。そのようなモードがユーザが使用しないことによりアクティブになる場合、ユーザによる装置の使用を干渉することなく付加的な背景画像処理が開始され得る。
【００５８】
図５に戻り、主画像取得鎖４０１中のスピードに最適化された赤目フィルタ４１１が組み入れられた実施形態が説明される。この典型的な実施形態では、フィルタのスピード最適化は、フォルシングおよび照合フィルタの最小のセットの実装により達成され、また、修正処理は主画像取得連鎖中に適用されない。他の実施形態では、上記の実施形態に関して記述されたスピード最適化方法は随意に組み入れられ、もしくは置き換えられ得る。
【００５９】
画像が当該速度に最適化された赤目フィルタ４１１によって分析された後、それは続いて圧縮され（４２７−１）、格納される（４１０）。  さらに、候補赤目領域およびフォルスポジティブに関するデータが記録され、格納された画像と関連付けされる。
【００６０】
ここで、上に記述されるように、カメラが背景処理を開始し得るとき、あるいはユーザがプレイバックモードを入力し、それを見るために画像を選択するとき、ＪＰＥＧからＤＣＴブロック・形式に部分的に復元される（４３３）。この復元段階は可逆（ｌｏｓｓｌｅｓｓ）であるため、メモリに一時的に格納され、ＤＣＴ領域復元部４３０に送られる主画像の品質の損失はない。当該ＤＣＴ領域復元部は、赤目候補領域を含んでいる特定のＤＣＴブロックを決定するために格納され、原画像と関連付けされたデータを使用し、および随意に、十分な時間およびシステムリソースが利用可能な場合に付加的な検出処理が期待できるフォルスポジティブ領域を使用する。
【００６１】
その後、前述のＤＣＴ画像ブロックに適用されるべき修正を決定するために、復元されたＤＣＴ領域はそれぞれ、１つ以上の赤目フィルタによって漸増的にフィルタされる。
【００６２】
ある実施形態では、ＤＣＴブロックはビットマップフォーマットに復元され、ピクセルブロックとしてフィルタされてもよい。他の実施形態では、隣接する非候補ＤＣＴブロックが復元処理（４３０）およびフィルタリング処理（４１２）に含まれている場合がある。複数のＤＣＴブロックを含む場合がある一度復元されたＤＣＴブロック領域は、赤目フィルタ４１２により修正され、修正されたＤＣＴ画像ブロックセグメントは付加的にＤＣＴブロックの調整のチェックが行われるＤＣＴブロックマッチングモジュールに送られて、部分的に復元され、一時的に格納されたＤＣＴブロック画像内の修正されたＤＣＴブロックの統合についてもチェックされる。赤目フィルタ解析に含まれるすべての候補ＤＣＴブロックおよび隣接するＤＣＴブロックが修正された場合、それらはＤＣＴ領域上書きモジュール４１８により部分的に復元され、一時的に格納されたＤＣＴブロック画像に上書きされる。次に、部分的に復元され、一時的に格納されたＤＣＴブロック画像は、ＤＣＴからＪＰＥＧへの画像圧縮モジュール４２７−１へ送られ、ＪＰＥＧフォーマットに可逆圧縮される。
【００６３】
この場合において、非可逆的な方法を使用して復元される画像のただ１つの領域は画像取得鎖内のスピードに最適化された赤目フィルタ４１１により特定された部分であることを注記する。これらの画像領域は修正されるため、それらの非可逆復元および再圧縮の影響は無視でき得る。
【００６４】
幾つかのさらなる実施形態が特定され得る。これらは、（ｉ）ＤＣＴ画像の一時的コピー中の画像不具合を含むＤＣＴブロックを上書きする前にオリジナルの不具合領域のコピーを格納することを含んでいる。当該他の実施形態は、オリジナル画像のロスがない復元をサポートする。不具合を含んでいる保存されたオリジナルのＤＣＴブロック領域は、ＪＰＥＧ画像のヘッダー内に格納され得る。Ｒａｔｎａｋａｒらの米国特許６，２９８，１６６号において、透かしデータ（ｗａｔｅｒｍａｒｋ  ｄａｔａ）が画像に組み入れられる。したがって、修正された画像は、幾つかのオリジナルの修正されていない領域のコピーを含むことが可能である。あるいは、（ｉｉ）多数の代替修正アルゴリズムを使用することが可能であり、これらは、カメラ上の、あるいは続く画像処理アプリケーションに基づくコンピュータのユーザインターフェースを介したエンド・ユーザによる後の選択のために、後のＪＰＥＧヘッダー中への格納用に一時的にコピーされてもよい。上書き段階は随意的である。それが使用される場合、ある画像処理基準が付加的な処理として上書きの直前に、あるいは赤目の検出、または修正、またはそれらの組み合わせの一体的な部分として適用され得る。
【００６５】
これらの実施形態のさらなる態様は図６Ａ−Ｃの中で説明される。図６Ａは、ヘッダー５０４に格納されたオリジナルの不具合領域５０６、および主画像ボディ５０２に適用された修正された不具合領域５０８の例を示す。図６Ｂは、ヘッダー５０４に格納された修正された不具合領域５０８、および主画像ボディ５０２において未修正のままであるオリジナルの不具合領域５０６の例を示す。図６Ｃは、オリジナルの不具合領域５０６の例と、ヘッダー５０４に格納される少なくとも１つの代替的な修正された不具合領域５０８−２と、主画像ボディ５０２に適用された、随意に決定された修正された不具合領域５０８−１とを示す。図６Ａ−Ｃ中で使用される“修正された”および“未修正”という図形表現は例証目的である；一方で、望ましくは、図示した目領域がＤＣＴ係数が変換されたブロックを表わす。
【００６６】
他の実施形態では、速い赤目フィルタの性能は、取得画像内の限られた領域のセットに選択的にそれを適用することによりさらに改善され得る。主画像獲得鎖の間に広範囲な画像解析を実行することが一般に非実用的であるため、これらの領域は、主画像取得の開始に先立って決定されることが好ましい。
【００６７】
高確率で赤目候補を含む画像部分を予め決定する有用なある方法は、プレビュー画像のセットで前処理を行うことである。最新技術の多くのデジタルカメラが、主画像取得アーチテクチャおよび／またはプログラミングにより提供されるそれより低い解像度で、１５−３０フレーム／秒（ｆｐｓ）のビデオ率で取得された連続する画像を得る。３２０ｘ２４０のセット、あるいはＱＶＧＡ画像は多くの消費者カメラに典型的である。また、この連続するプレビュー画像のサイズおよびフレーム率は、通常ある範囲内で調節することが可能である。
【００６８】
図７に示したある実施形態においては、デジタルカメラはプレビュー画像ストリーム（４１０−３）上で作動する顔検出部（６００）を含んでいる。顔検出部は２つの主要モードを有してもよい：（ｉ）新たな顔候補領域を検出する（そして確認する）全画像探索モード（６０１）および（ｉｉ）画像ストリームのその後のフレームにおいて既存の顔候補の新たな位置を予測およびその後の確認をし、確認された候補領域ごとに関する統計的情報をコンパイルする主トラッキングモードである。両方の方法は、顔検出、皮膚領域分割、目領域や口領域を含む特徴検出、能動輪郭分析および声方向分析（例えば、多数の合図（ｃｕｅ）を使用する、多数の個人の自動検出およびトラッキングのためのシステムについて開示するＲｕｉらの米国特許公開２００５／０１４７２７８）を含む様々な方法を使用することが可能である。第１のモード（以下“シーディングモード”と称す）が全画像に適用されるとき、コンピュータでより集中的に、また、例えば３０−６０画像フレームごとのように間隔を空けてのみ適用される。そのため、画像に出現する新たな顔は、ほとんどの消費者アプリケーションにとって十分である２、３秒以内に検出される。全ての分析の合図が全てのフレームに適用されるとは限らないが、第２のモードは全ての画像フレームに適用されることが好ましい。
【００６９】
したがって、通常動作では、プレビュー画像ストリームの全てのフレームについては顔追跡アルゴリズム（ｆａｃｅ  ｔｒａｃｋｅｒ  ａｌｇｏｒｉｓｍ）の第２の随意モードからの出力のみが利用可能である。当該第２のモードからの３つの主要な出力があってもよい。（ｉ）  顔を含むと確認された顔候補領域のリスト；および／または（ｉｉ）画像フレーム内の位置や前記確認された顔領域のヒストリーの統計的分析により決定された様々な付加的データを含む、確認された顔領域ごとに関連付けられたデータセット；および／または（ｉｉｉ）連続するプレビュー画像の次のフレームにおける確認された顔領域の予測される位置、である。項目（ｉｉ）が使用される場合、項目（ｉｉ）によって予測位置の決定のために十分なデータが提供される場合があるため、項目（ｉｉｉ）は随意的なものとすることができる。
【００７０】
赤目不具合が検出されることが予測される場合、速度に最適化された赤目検出部４１１は、プレビュー顔検出部（６００）からのこれらの出力によって、顔領域（６０１）に選択的に適用することが可能である。
【００７１】
赤目フィルタの適用に先立って画像に顔検出部が最初に適用される方法が知られている（例えばＬｉｎらの米国特許出願２００２０１７２４１９；  Ｈｅｌｄらの米国特許出願２００２０１２６８９３；  Ｉｔａｇａｋｉらの米国特許出願２００５０２３２４９０およびＬｕｏらの米国特許出願２００４００３７４６０．）。我々は、正常な状況の下では、主画像獲得鎖にデジタルカメラ内で赤目フィルタのアプリケーションに先立って顔検出部のアプリケーションを動作可能とするのに利用可能な十分な時間がないことを強調する。本実施形態は、顔追跡モジュール（６００）の予測的な出力の使用により、先行技術のこの不利点を克服する。予測された領域のサイズは典型的には対応する顔領域のサイズより大きくなるが、それは全画像のサイズより著しく小さい。したがって、主画像取得鎖内で顔検出部（６００）を作動させる必要なく、デジタルカメラまたは内蔵された画像取得システム内でより早くより正確な検出という利点を達成することが可能である。
【００７２】
多数の顔候補領域（６０１）が追跡され、その後、多数の予測された領域にスピードに最適化された赤目フィルタが適用されることを注記する。
【図面の簡単な説明】
【００７３】
【図１Ａ】図１Ａは、赤目処理を示す。
【図１Ｂ】図１Ｂは、好ましい実施形態に従った赤目処理を示す。
【図１Ｃ】図１Ｃは、他の実施形態に従った赤目処理を示す。
【図２Ａ】図２Ａは、デジタル画像獲得装置内の実施形態を示す。
【図２Ｂ】図２Ｂは、分析に最適化された赤目フィルタリングが取得デバイスとは分離されたデバイス上で実行される実施形態を示す。
【図３Ａ】図３Ａは、実施形態に従った処理であり、スピードに最適化された赤目検出部は、部分的に圧縮されたＤＣＴブロック画像に適用される。
【図３Ｂ】図３Ｂは、赤目ＤＣＴプレフィルタを備えた、改良されたインカメラ赤目検出コンポーネントの図示した実施形態のワークフローを示す。
【図３Ｃ】図３Ｃは、赤目ＤＣＴプレフィルタの図示した実施形態のワークフローを示す。
【図３Ｄ】図３Ｄは、赤目ＤＣＴプレフィルタの分割を示す。
【図３Ｅ】図３Ｅは、４つのＤＣＴブロック隣接部を示す。
【図４Ａ】図４Ａは、長方形のグリッド上にマップされた目領域を示す。
【図４Ｂ】図４Ｂは、図４Ａの画像がＤＣＴ領域に転換された後、各ＤＣＴブロックのＤＣ係数によって記録される、おおよその色を示す。
【図４Ｃ】図４Ｃは、包括色決定フィルタ方法の使用を介して赤目候補領域、白目領域、皮膚色領域の色が特定された図４ＡのＤＣＴブロックを示す。
【図４Ｄ】図４Ｄは、包括色決定フィルタ方法の使用を介して赤目候補領域、白目領域、皮膚色領域の色が特定された図４ＡのＤＣＴブロックを示す。
【図４Ｅ】図４Ｅは、包括色決定フィルタ方法の使用を介して赤目候補領域、白目領域、皮膚色領域の色が特定された図４ＡのＤＣＴブロックを示す。
【図５】図５は、他の実施形態に従った修正赤目フィルタ処理の機能的実装を示す。
【図６Ａ】図６Ａは、ヘッダー中に格納されたオリジナルの不具合領域と、主画像ボディに適用された修正された不具合領域を示す。
【図６Ｂ】図６Ｂは、ヘッダー中に格納された修正された不具合領域と、主画像ボディ中の修正されないで維持されたオリジナルの不具合領域を示す。
【図６Ｃ】図６Ｃは、ヘッダー中に格納されたオリジナルの不具合領域および少なくとも１つの他の修正された不具合領域と、主画像ボディに適用された、光学的に決定された修正された不具合領域を示す。
【図７】図７は、赤目フィルタ処理の好ましい更なる実施形態の機能的実装を示す。
【図１Ａ】
2009519503.tif 000003
【図１Ｂ】
2009519503.tif 000004
【図１Ｃ】
2009519503.tif 000005
【図２Ａ】
2009519503.tif 000006
【図２Ｂ】
2009519503.tif 000007
【図３Ａ】
2009519503.tif 000008
【図３Ｂ】
2009519503.tif 000009
【図３Ｃ】
2009519503.tif 000010
【図３Ｄ】
2009519503.tif 000011
【図３Ｅ】
2009519503.tif 000012
【図４Ａ】
2009519503.tif 000013
【図４Ｂ】
2009519503.tif 000014
【図４Ｃ】
2009519503.tif 000015
【図４Ｄ】
2009519503.tif 000016
【図４Ｅ】
2009519503.tif 000017
【図５】
2009519503.tif 000018
【図６Ａ】
2009519503.tif 000019
【図６Ｂ】
2009519503.tif 000020
【図６Ｃ】
2009519503.tif 000021
【図７】
2009519503.tif 000022
【手続補正書】
【提出日】平成20年5月20日(2008.5.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ａ）
ｉ）画像を取得するための結像光学部および検出部（４０２）と、
ｉｉ）取得画像の赤目候補領域の第１のセットを生成するためのスピードに最適化された第１のフィルタ（４１１）と、
ｉｉｉ）  前記取得画像をコード化するための画像エンコーダ（４０８−１, ４２７−１）と、
iｖ）ディスプレイと、
ｖ）修正画像を前記ディスプレイに表示させる前に取得画像中の１つ以上の前記赤目候補領域の第１のセット（１０８）を修正するための第１の画像修正モジュール（４１１）と、
vi）前記コード化された画像の後の画像処理のために、前記赤目候補領域の第１のセットと関連する前記コード化された画像を格納するための画像格納メモリ（４１１）とを備えるデジタル画像取得デバイス（４００）と、
ｂ）前記スピードに最適化されて修正された取得画像の前記ディスプレイへの表示の後にアクティブとなるように構成された、分析に最適化された第２のフィルタとを備えることを特徴とする画像処理システム。
【請求項２】
前記スピードに最適化された第１のフィルタは、前記取得画像の低解像度バージョンに作動するように構成されることを特徴とする請求項１に記載のシステム。
【請求項３】
前記スピードに最適化された第１のフィルタは、前記取得画像のサブサンプルバージョンに作動するように構成されることを特徴とする請求項２に記載のシステム。
【請求項４】
前記画像取得デバイスが一連のＸ＊Ｙ  ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）ブロックを生成するためにＮ＊Ｍピクセルの取得画像の離散コサイン変換を実行するように構成され、ＸおよびＹはＮおよびＭよりそれぞれ小さく、前記スピードに最適化された第１のフィルタは前記ＤＣＴブロックのＤＣＴ特定（ＤＣＴ  ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）を実行するように構成されることを特徴とする請求項２に記載のシステム。
【請求項５】
前記スピードに最適化された第１のフィルタは、前記ＤＣＴ特定の彩度係数に基づいて作動するように構成されることを特徴とする請求項４に記載のシステム。
【請求項６】
前記スピードに最適化された第１のフィルタは、前記ＤＣＴ特定のＤＣＴ係数に基づいて作動するように構成されることを特徴とする請求項４に記載のシステム。
【請求項７】
前記画像取得デバイスが前記ＤＣＴブロックからコード化された非可逆画像（ｌｏｓｓｙ  ｅｎｃｏｄｅｄ  ｉｍａｇｅ）を生成するように構成されることを特徴とする請求項４に記載のシステム。
【請求項８】
前記コード化された画像がＪＰＥＧ画像を含むことを特徴とする請求項７に記載のシステム。
【請求項９】
前記取得デバイスが、前記ＪＰＥＧ画像のヘッダーまたはフッター、あるいは両方に前記赤目候補領域の第１のセットを格納するように構成されることを特徴とする請求項８に記載のシステム。
【請求項１０】
前記赤目候補領域の第１のセットが１セットのＤＣＴブロック識別子を含む請求項４に記載のシステム。
【請求項１１】
前記第１の画像修正モジュールは、コード化の前に前記取得画像を修正するように構成され、前記第１の画像修正モジュールにより修正された領域の印（ｉｎｄｉｃａｔｉｏｎ）が、前記修正画像と関連して格納されることを特徴とする請求項１に記載のシステム。
【請求項１２】
前記画像取得デバイスは、前記修正された取得画像が前記ディプレイに表示された後に後の画像を取得するように構成されることを特徴とする請求項１に記載のシステム。
【請求項１３】
前記デバイスが、前記格納画像および前記赤目候補領域の第１のセットの分析に基づいて前記格納画像の赤目候補領域の第２のセット（１１８）を生成するように構成される分析に最適化された第２のフィルタと通信するように作動可能であることを特徴とする請求項１に記載のシステム。
【請求項１４】
前記デバイスはオリジナルの取得画像の１つ以上のピクセルに関連する一連の領域を生成するために前記格納画像を部分的に復元する（４３３ｂ）ように構成され、前記分析に最適化された第２のフィルタは赤目候補領域の前記スピードに最適化された第１のセットの領域に関連して特定された前記一連の領域についてのみ作動するように構成されることを特徴とする請求項１に記載のシステム。
【請求項１５】
前記分析に最適化された第２のデバイスは、前記同定された領域を完全に復元し（４３３a）、ピクセルレベルで前記領域を分析することを特徴とする請求項１4に記載のシステム。
【請求項１６】
赤目候補領域の前記第１および第２のセットのいずれかまたは両方に基づいて前記取得画像のピクセルを変更することにより取得画像を修正する（１０２ｂ）ように構成される画像修正モジュールをさらに備えることを特徴とする請求項１３に記載のシステム。
【請求項１７】
前記第２の分析フィルタは、プレビュー画像よりも相対的に高解像度である前記コード化された画像をレンダリングするように構成される画像プレイバックモジュール中に実装されることを特徴とする請求項１３に記載のシステム。
【請求項１８】
前記画像プレイバックモジュールは前記デジタル画像取得デバイスに一体的に実装され、前記画像プレイバックモジュールが前記画像ディスプレイに前記画像を表示するように構成されることを特徴とする請求項１７に記載のシステム。
【請求項１９】
前記画像プレイバックモジュールはリモートデバイス（４００’）上で実行するように構成され、前記デジタル画像取得デバイスが前記コード化された画像および前記関連する前記赤目候補領域の第１のセットを前記リモートデバイスに伝達するように構成される（４０４a）ことを特徴とする請求項１７に記載のシステム。
【請求項２０】
前記分析に最適化された第２のフィルタは、正確性のために最適化されることを特徴とする請求項１に記載のシステム。
【請求項２１】
前記画像取得デバイスは、前記取得画像を圧縮するための画像圧縮部（427-１）をさらに備えることを特徴とする請求項１に記載のシステム。
【請求項２２】
前記コード化された画像のさらなる画像処理のために、前記画像をＰＣまたはマイクロプロセッサに基づくデバイス、または両方に転送するためのシグナル接続部（404a, ４04b）をさらに備えることを特徴とする請求項１に記載のシステム。
【請求項２３】
前記画像格納部中に一連の少なくとも１つのプレビュー画像（４１０−３）を格納するように構成されることを特徴とする請求項１に記載のシステム。
【請求項２４】
前記少なくとも１つのプレビュー画像の顔候補領域に関する情報を前記スピードに最適化された第１のフィルタに提供するために、前記少なくとも一つのプレビュー画像を分析するように構成される顔検出部（６００）をさらに備えることを特徴とする請求項２３に記載のシステム。
【請求項２５】
前記顔検出部は、顔候補領域を検出する検索モードおよび顔候補領域を予測して確認するトラッキングモードで作動することを特徴とする請求項２４に記載のシステム。
【請求項２６】
前記少なくとも１つのプレビュー画像は、取得画像のサブサンプルバージョンであることを特徴とする請求項２３に記載のシステム。
【請求項２７】
前記情報は、
i.  顔候補領域のリスト；
ii. 画像内の顔候補領域の位置と顔候補領域のヒストリーに由来する統計的データを有する、顔候補領域と関連するデータセット；
iii. その後の取得画像内の顔候補領域の予測位置、
の少なくとも一つを含むことを特徴とする請求項２４に記載のシステム。
【請求項２８】
ａ）赤目候補領域の第１のセット（１０８）を生成するためにスピードに最適化された第１のフィルタ（１００）で取得画像をフィルタリングすること（１１０）と、
ｂ）前記取得画像をコード化することと、
ｃ）修正画像のディスプレイへの表示の前に取得画像中の1つ以上の前記赤目候補領域の第１のセットを第１の画像修正モジュールで修正すること（１０２）と、
ｄ）前記コード化された画像の後の画像処理のために前記赤目候補領域の第１のセットと関連する前記コード化された画像を格納することと、
e）前記スピードに最適化されて修正された取得画像の前記ディスプレイへの表示の後に分析に最適化された第２のフィルタで前記取得画像をフィルタリングすること（１０１）と、
を含むことを特徴とするデジタル画像処理方法。
【請求項２９】
画像処理装置が請求項２８のステップを実行するように設定される、デジタル画像アーチファクト修正を実行させるためのコンピュータ読み取り可能なコードを含むコンピュータプログラムプロダクト。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
発明者ＤｅＬｕｃａの米国特許６、４０７、７７７号は、取得したデジタル画像中の赤目ピクセルのインカメラ検出および修正を開示する。その一方で、発明者Ｓｔｅｉｎｂｅｒｇの公開された米国特許出願２００２／０１７６６２３は、ハンドヘルド装置のために最適化された赤目不具合の自動リアルタイム検出および修正を開示する。公開されたＬｕｏらの米国特許出願２００５／００４７６５５および２００５／００４７６５６は、デジタル画像、および埋め込まれたシステム中の赤目の検出および修正のための技術をそれぞれ開示する。
米国特許出願公開第２００５／００４１１２１には画像取得のための結像光学部および検出部と、取得画像の赤目候補領域の第１のセットを生成するためのスピードに最適化された第１のフィルタと、前記取得画像をコード化するための画像エンコーダと、ディスプレイと、修正画像を前記ディスプレイに表示させる前に取得画像中の１つ以上の前記赤目候補領域の第１のセットを修正するための第１の画像修正モジュールと、格納手段とを有するデジタル画像取得デバイスを備える画像処理システムが開示されている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明は、特許請求の範囲に定義した画像処理システムを提供する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】変更
【補正の内容】
【００３５】
典型的なものとして、スピードに最適化された赤目フィルタ４１１、または分析に最適化された赤目フィルタ４１２のいずれかで含まれてもよい幾つかの典型的なフィルタの限定的なリストは、本出願と同じ出願人に譲渡された米国公開出願２００６００９３２１２（出願日２００４年１０月２８日）で理解できる。
【手続補正書】
【提出日】平成20年10月31日(2008.10.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ａ）
ｉ）画像を取得するための結像光学部および検出部（４０２）と、
ｉｉ）取得画像の赤目候補領域の第１のセットを生成するためのスピードに最適化された第１のフィルタ（４１１）と、
ｉｉｉ）  前記取得画像をコード化するための画像エンコーダ（４０８−１, ４２７−１）と、
iｖ）ディスプレイと、
ｖ）修正画像を前記ディスプレイに表示させる前に取得画像中の１つ以上の前記赤目候補領域の第１のセット（１０８）を修正するための第１の画像修正モジュール（４１１）と、
vi）前記コード化された画像の後の画像処理のために、前記赤目候補領域の第１のセットと関連する前記コード化された画像を格納するための画像格納メモリ（４１１）とを備えるデジタル画像取得デバイス（４００）と、
ｂ）前記スピードに最適化されて修正された取得画像の前記ディスプレイへの表示の後にフィルタリング処理をするように構成された、分析に最適化された第２のフィルタとを備えることを特徴とする画像処理システム。
【請求項２】
前記スピードに最適化された第１のフィルタは、前記取得画像の低解像度バージョンに作動するように構成されることを特徴とする請求項１に記載のシステム。
【請求項３】
前記スピードに最適化された第１のフィルタは、前記取得画像のサブサンプルバージョンに作動するように構成されることを特徴とする請求項２に記載のシステム。
【請求項４】
前記画像取得デバイスが一連のＸ＊Ｙ  ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）ブロックを生成するためにＮ＊Ｍピクセルの取得画像の離散コサイン変換を実行するように構成され、ＸおよびＹはＮおよびＭよりそれぞれ小さく、前記スピードに最適化された第１のフィルタは前記ＤＣＴブロックのＤＣＴ特定（ＤＣＴ  ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）を実行するように構成されることを特徴とする請求項２に記載のシステム。    
【請求項５】
前記スピードに最適化された第１のフィルタは、前記ＤＣＴ特定の彩度係数に基づいて作動するように構成されることを特徴とする請求項４に記載のシステム。
【請求項６】
前記スピードに最適化された第１のフィルタは、前記ＤＣＴ特定のＤＣＴ係数に基づいて作動するように構成されることを特徴とする請求項４に記載のシステム。
【請求項７】
前記画像取得デバイスが前記ＤＣＴブロックからコード化された非可逆画像（ｌｏｓｓｙ  ｅｎｃｏｄｅｄ  ｉｍａｇｅ）を生成するように構成されることを特徴とする請求項４に記載のシステム。
【請求項８】
前記コード化された画像がＪＰＥＧ画像を含むことを特徴とする請求項７に記載のシステム。
【請求項９】
前記取得デバイスが、前記ＪＰＥＧ画像のヘッダーまたはフッター、あるいは両方に前記赤目候補領域の第１のセットを格納するように構成されることを特徴とする請求項８に記載のシステム。
【請求項１０】
前記赤目候補領域の第１のセットが１セットのＤＣＴブロックラベルを含む請求項４に記載のシステム。
【請求項１１】
前記第１の画像修正モジュールは、コード化の前に前記取得画像を修正するように構成され、前記第１の画像修正モジュールにより修正された領域の印（ｉｎｄｉｃａｔｉｏｎ）が、前記修正画像と関連して格納されることを特徴とする請求項１に記載のシステム。
【請求項１２】
前記画像取得デバイスは、前記修正された取得画像が前記ディプレイに表示された後に、前記修正された取得画像とは異なる他の画像を前記結像光学部および検出部により取得するように構成されることを特徴とする請求項１に記載のシステム。
【請求項１３】
前記デバイスが、前記格納画像および前記赤目候補領域の第１のセットの分析に基づいて前記格納画像の赤目候補領域の第２のセット（１１８）を生成するように構成される分析に最適化された第２のフィルタと通信するように作動可能であることを特徴とする請求項１に記載のシステム。
【請求項１４】
前記デバイスはオリジナルの取得画像の１つ以上のピクセルに関連する一連の領域を生成するために前記格納画像を部分的に復元する（４３３ｂ）ように構成され、前記分析に最適化された第２のフィルタは赤目候補領域の前記スピードに最適化された第１のセットの領域に関連して特定された前記一連の領域についてのみ作動するように構成されることを特徴とする請求項１に記載のシステム。
【請求項１５】
前記分析に最適化された第２のデバイスは、前記同定された領域を完全に復元し（４３３a）、ピクセルレベルで前記領域を分析することを特徴とする請求項１4に記載のシステム。
【請求項１６】
赤目候補領域の前記第１および第２のセットのいずれかまたは両方に基づいて前記取得画像のピクセルを変更することにより取得画像を修正する（１０２ｂ）ように構成される画像修正モジュールをさらに備えることを特徴とする請求項１３に記載のシステム。
【請求項１７】
前記第２の分析フィルタは、プレビュー画像よりも相対的に高解像度である前記コード化された画像をレンダリングするように構成される画像プレイバックモジュール中に実装されることを特徴とする請求項１３に記載のシステム。
【請求項１８】
前記画像プレイバックモジュールは前記デジタル画像取得デバイスに一体的に実装され、前記画像プレイバックモジュールが前記画像ディスプレイに前記画像を表示するように構成されることを特徴とする請求項１７に記載のシステム。
【請求項１９】
前記画像プレイバックモジュールはリモートデバイス（４００’）上で実行するように構成され、前記デジタル画像取得デバイスが前記コード化された画像および前記関連する前記赤目候補領域の第１のセットを前記リモートデバイスに伝達するように構成される（４０４a）ことを特徴とする請求項１７に記載のシステム。
【請求項２０】
前記分析に最適化された第２のフィルタは、正確性のために最適化されることを特徴とする請求項１に記載のシステム。
【請求項２１】
前記画像取得デバイスは、前記取得画像を圧縮するための画像圧縮部（427-１）をさらに備えることを特徴とする請求項１に記載のシステム。
【請求項２２】
前記コード化された画像のさらなる画像処理のために、前記画像をＰＣまたはマイクロプロセッサに基づくデバイス、または両方に転送するためのシグナル接続部（404a, ４04b）をさらに備えることを特徴とする請求項１に記載のシステム。
【請求項２３】
前記画像格納部中に一連の少なくとも１つのプレビュー画像（４１０−３）を格納するように構成されることを特徴とする請求項１に記載のシステム。
【請求項２４】
前記少なくとも１つのプレビュー画像の顔候補領域に関する情報を前記スピードに最適化された第１のフィルタに提供するために、前記少なくとも一つのプレビュー画像を分析するように構成される顔検出部（６００）をさらに備えることを特徴とする請求項２３に記載のシステム。
【請求項２５】
前記顔検出部は、顔候補領域を検出する検索モードおよび顔候補領域を予測して確認するトラッキングモードで作動することを特徴とする請求項２４に記載のシステム。
【請求項２６】
前記少なくとも１つのプレビュー画像は、取得画像のサブサンプルバージョンであることを特徴とする請求項２３に記載のシステム。
【請求項２７】
前記情報は、
i. 顔候補領域のリスト；
ii. 画像内の顔候補領域の位置と顔候補領域のヒストリーに由来する統計的データを有する、顔候補領域と関連するデータセット；
iii. その後の取得画像内の顔候補領域の予測位置、
の少なくとも一つを含むことを特徴とする請求項２４に記載のシステム。
【請求項２８】
ａ）赤目候補領域の第１のセット（１０８）を生成するためにスピードに最適化された第１のフィルタ（１００）で取得画像をフィルタリングすること（１１０）と、
ｂ）前記取得画像をコード化することと、
ｃ）修正画像のディスプレイへの表示の前に取得画像中の1つ以上の前記赤目候補領域の
第１のセットを第１の画像修正モジュールで修正すること（１０２）と、
ｄ）前記コード化された画像の後の画像処理のために前記赤目候補領域の第１のセットと関連する前記コード化された画像を格納することと、
e）前記スピードに最適化されて修正された取得画像の前記ディスプレイへの表示の後に
分析に最適化された第２のフィルタで前記取得画像をフィルタリングすること（１０１）と、を含むことを特徴とするデジタル画像処理方法。
【請求項２９】
画像処理装置が請求項２８のステップを実行するように設定される、デジタル画像アーチファクト修正を実行させるためのコンピュータ読み取り可能なコードを含むコンピュータプログラム。
【国際調査報告】
2009519503.tif 000023
2009519503.tif 000024
2009519503.tif 000025