(57)【要約】【課題】  赤目補正における赤目の検出に関して、赤目発生の可能性の少ない画像に対しても同様の検出処理を行い、赤目検出処理に多くの時間がかかっていた。【解決手段】  入力した画像の輝度の特徴量を評価して赤目発生の危険性を判定し、赤目発生の危険度に応じて赤目部分を検出する検出精度を決定し、決定された検出精度で画像の赤目部分を検出して赤目補正を行う。【選択図】  図１
2006048223.tif 000002
【特許請求の範囲】
【請求項１】
画像の特徴量を算出する算出工程と、
前記算出工程によって算出した画像の特徴量から前記画像の画質劣化部を検出する為の検出精度を決定する決定工程と、
前記決定工程で決定した検出精度の条件を用いて、前記画像の画質劣化部を検出する検出工程と、
前記検出工程によって検出された前記画質劣化部を補正する補正工程と、
を有することを特徴とする画像処理方法。
【請求項２】
前記特徴量は、前記画像の複数の領域の輝度の平均値を用いて算出されることを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記特徴量は、前記画像の複数の領域のうち第1の領域の輝度の平均値と前記第1の領域とは異なる第2の領域の輝度の平均値を用いて算出されることを特徴とする請求項２記載の画像処理方法。
【請求項４】
前記画像の複数の領域は、少なくとも、前記画像の画像端部に所定面積を有する第１の領域と、前記画像の画像中央部に所定面積を有する第２の領域とを含むことを特徴とする請求項３記載の画像処理方法。
【請求項５】
前記画像端部は、前記画像の左上、右上、左下、右下の４隅に設定した領域の中の少なくとも一つ以上を含むことを特徴とする請求項４記載の画像処理方法。
【請求項６】
前記第２の領域の輝度の平均値から前記第１の領域の輝度の平均値を減じた差分値が予め設定した閾値よりも大きい時には、前記画質劣化発生の危険性が高いと評価して前記検出精度を細かく設定することを特徴とする請求項４記載の画像処理方法。
【請求項７】
前記第１の領域の輝度の平均値が予め設定した第１の閾値よりも小さく、かつ、前記第２の領域の輝度の平均値が予め設定した第２の閾値よりも大きい時、前記画質劣化発生の危険性が高いと評価して前記検出精度を細かく設定することを特徴とする請求項４記載の画像処理方法。
【請求項８】
前記第１の領域の輝度の平均値、及び、前記第２の領域の輝度の平均値のどちらか一方、もしくは双方ともに、所定の色味の領域内である時には、前記画質劣化発生の危険性が低いと評価して前記検出精度を粗く設定することを特徴とする請求項４記載の画像処理方法。
【請求項９】
画像を出力する出力装置の設定した条件に応じて、画質劣化部を検出する為の検出精度を決定する決定工程と、
前記決定工程で決定した検出精度の条件を用いて、前記画像の画質劣化部を検出する検出工程と、
前記検出工程によって検出された前記画質劣化部を補正する補正工程と、
を有することを特徴とする画像処理方法。
【請求項１０】
前記出力装置の設定した条件は出力用紙の種類であることを特徴とする請求項９記載の画像処理方法。
【請求項１１】
前記出力装置の設定した条件は出力用紙のサイズであることを特徴とする請求項９記載の画像処理方法。
【請求項１２】
前記出力装置の設定した条件は出力画像の面積であることを特徴とする請求項９記載の画像処理方法。
【請求項１３】
前記出力装置の設定した条件はプリンタエンジンの出力プロセス条件であることを特徴とする請求項９記載の画像処理方法。
【請求項１４】
前記検出精度を粗く設定した場合には、前記検出工程、及び、前記補正工程を行わないことを特徴とする請求項１乃至請求項１３記載の画像処理方法。
【請求項１５】
前記画質劣化は前記画像において赤目部が発生することであることを特徴とする請求項１または請求項９記載の画像処理方法。
【請求項１６】
画像の特徴量を算出する算出手段と、
前記算出手段によって算出した画像の特徴量から前記画像の画質劣化部を検出する為の検出精度を決定する決定手段と、
前記決定手段で決定した検出精度の条件を用いて、前記画像の画質劣化部を検出する検出手段と、
前記検出手段によって検出された前記画質劣化部を補正する補正手段と、
を有することを特徴とする画像処理装置。
【請求項１７】
画像を出力する出力装置の設定した条件に応じて、画質劣化部を検出する為の検出精度を決定する決定手段と、
前記決定手段で決定した検出精度の条件を用いて、前記画像の画質劣化部を検出する検出手段と、
前記検出手段によって検出された前記画質劣化部を補正する補正手段と、
を有することを特徴とする画像処理装置。
【請求項１８】
請求項１乃至１５のいずれかに記載の画像処理方法をコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびコンピュータプログラムに関し、詳しくは、入力画像に赤目補正を行う画像処理装置、画像処理方法およびコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラによる画像入力、及びプリンタによる画像出力が盛んに行われているが、撮影した多数の写真の中には、撮影者の期待通りの写真ばかりではなく、様々な失敗写真が存在する。失敗写真は、例えば撮影時の撮影失敗により手ブレや焦点ぼけを起こしたりする撮影者や被写体に起因するものと、また、使用したデジタルカメラの特性によりノイズが増感されたり、階調特性や解像性が減少したり等の入力デバイスの特性に起因するものとに分類できる。このような失敗写真の画質を向上させるために、古くより、入力した画像情報に対して、様々なデジタル画像補正処理、デジタル加工処理の提案がされている。
【０００３】
今、失敗写真の一例として、フラッシュを発光して撮影した写真に度々起こる赤目現象について例を挙げる。赤目現象は、暗い周囲の環境下での人物撮影において、フラッシュ光が被写体の眼球内の血管等で反射してカメラ側に帰来することにより、開いた瞳孔が赤く撮影されてしまう現象のことをいう。赤目現象は、撮影時にフラッシュ発光のタイミングをずらすことによって、ある程度は回避することが可能である。その為、撮影機器の改良により赤目発生を防止する技術よりも、既に赤目現象が発生した画像の中から、赤目部分を検出して、自然な色合いの瞳孔色に補正する技術の提案が重要になってきている。
【０００４】
赤目が発生した画像の中から、赤目部分を補正する技術として、例えば、入力画像の種別、画像の形式、スキャン条件等に基づいて、赤目部分を検出するパラメータや、赤目修正のパラメータを変更させる方法がある（例えば、特許文献１参照）。また、撮影時間、撮影場所、撮影光源、照明、ストロボ発光の有無、撮影に用いたカメラ機種、撮影露光条件、及び、撮影シーン解析結果の少なくとも１つ以上の情報によって、主要被写体領域に赤目等の不具合いが発生している可能性が高いか否かの判定を行う方法が開示されている（例えば、特許文献２参照）。
【特許文献１】特開２００３−２８３８４９号公報
【特許文献２】特開２００３−２０９６８３号公報
【特許文献３】特開平１１−３２１００９号公報
【特許文献４】特開２００３−２００６２１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、赤目補正における赤目の検出に関して、多数の画像に対して同様の検出処理を行い、赤目検出処理に多くの時間がかかってしまうという問題があった。赤目検出処理において赤目発生の可能性の少ない画像に対しては、赤目検出精度を下げて処理時間を短縮するという方法が考えられるが、従来この方法について考えられていなかった。
【０００６】
昨今のデジタルカメラによる撮影では、ひとつのメモリカード内に数十画像から数百画像を内蔵することが可能になってきている。例えば、現在、流通している６４ＭＢ（メガバイト）のメモリカード内に、１画像平均３００ＫＢ（キロバイト）のＪＰＥＧフォーマットの圧縮画像を格納する場合を仮定すると、２００枚以上の画像情報が格納できることになる。
【０００７】
また、近年、コンピュータを介在せずに、メモリカードを直接プリンタに付属したスロットに挿入し、カードから直接印刷を可能にしたり、デジタルカメラから直接プリンタに画像を送信し印刷するプリンタシステムが提案されている（例えば、特許文献３、特許文献４参照）。コンピュータを介在せずに、入力画像の画像補正を実現するには、デジタルカメラ本体、もしくは、プリンタ本体に画像補正処理機能を内蔵しなくてはならないが、コンピュータ上で高速なＣＰＵを用いて処理を実現する場合と比較すると、処理速度、使用可能なメモリ容量等に大きな差がある。また、補正処理をハードウエア化して処理速度の高速化を実現したり、使用可能なメモリ容量を増大させることも可能であるが、その場合には、搭載した機器の莫大なコストアップにつながってしまう。
【０００８】
前述したシステムにおいて、２００枚もの画像全てを対象にして赤目補正をかけようとした場合には、１枚毎に同等の検出精度で検出処理をしていては、長時間の処理時間がかかってしまう。例えば、１枚あたり１秒の処理時間を想定しても、２００枚全てを検出するのに要する時間は２００秒にもなってしまう。２００枚の画像の中で２、３枚しか赤目画像がない場合も、わずか２、３枚の赤目画像の為に、１９０枚以上の赤目とは無関係な大多数の画像に対しても同様な検出処理が必要となり、枚数分だけ補正処理時間がかかってしまう。
【０００９】
特許文献１では、入力画像の撮影内容を解析して検出条件の切り替えについては言及していない。
【００１０】
また、特許文献２では、様々な画像に付加された属性情報を基に不具合の発生可能性を判断しているが、属性情報は常に利用できるとは限らない。例えば、デジタルデータに付加された属性情報は、そのデータが印字物になった瞬間に付加されなくなる。その為、写真をスキャンしてデータを作成するスキャン情報を扱うイメージスキャナや、複写機等に赤目補正機能を応用した場合には、属性情報の利用は期待できない。また、全てのデジタルカメラで属性情報が付加されるわけではなく、また、画像情報の流通過程により付加情報が消去される場合もある。さらに、特許文献２では、シーン解析結果を利用する旨が記載されているが、詳細な記載がなく、いかなる解析を行い、いかに制御するかは開示されていない。
【００１１】
本発明は上記の課題に鑑みてなされたものであり、入力した画像の輝度の特徴量を評価して赤目発生の危険性を判定して、赤目発生の危険度に応じて赤目部分を検出する検出精度を切り替えることにより、画像に応じた効率的な赤目検出を行うことを可能とすることを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するための本発明による画像処理方法は、
画像の特徴量を算出する算出工程と、
前記算出工程によって算出した画像の特徴量から前記画像の画質劣化部を検出する為の検出精度を決定する決定工程と、
前記決定工程で決定した検出精度の条件を用いて、前記画像の画質劣化部を検出する検出工程と、
前記検出工程によって検出された前記画質劣化部を補正する補正工程とを備える。
【００１３】
また、上記の目的を達成するための本発明の他の態様による画像処理方法は、
画像を出力する出力装置の設定した条件に応じて、画質劣化部を検出する為の検出精度を決定する決定工程と、
前記決定工程で決定した検出精度の条件を用いて、前記画像の画質劣化部を検出する検出工程と、
前記検出工程によって検出された前記画質劣化部を補正する補正工程とを備える。
【発明の効果】
【００１４】
以上説明したように、本発明によれば、入力した画像から赤目発生の危険性を判定して、赤目部分を検出する検出精度を切り替えることにより、複数の画像を一度に処理する際、検出処理が必要な画像に適応した処理時間配分ができ、高速かつ効率的に赤目補正処理を行うことが可能になる。
【発明を実施するための最良の形態】
【００１５】
＜第１実施形態＞
（ハードウエア構成）
図７は第１実施形態による画像処理を実現するためのコンピュータにおけるハードウエア構成例を示すブロック図である。図７に示されるように、コンピュータ７００は、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、ディスプレイなどの表示装置７０４、キーボード７０７、マウス７０６などのユーザインターフェース、ハードディスクなどの２次記憶装置７０５、他のコンピュータやプリンタ７０９などと接続するためのインターフェース７０８とで構成されている。以上の構成において、ＣＰＵ７０１が２次記憶装置７０５に記憶された制御プログラムをＲＡＭ７０３へロードし、これを実行することにより以下に説明する各機能が実現される。また、７０１〜７０８のハードウェアをプリンタ７０９に組み込み、プリンタ７０９で以下に説明する各機能を実行してもよい。
【００１６】
（処理の概要）
以下、添付の図面を参照して本発明の好適な実施形態について説明する。
【００１７】
図１は、本実施形態における画像処理の機能構成を示すブロック図である。以下、図１を参照しながら本実施形態の画像処理の概要を説明する。図１に示すように、本実施形態の画像処理は、特徴量評価手段１０１による特徴量評価、検出精度決定手段１０２による検出精度決定、赤目検出手段１０３による赤目検出、赤目補正手段１０４による赤目補正を行う。
【００１８】
１００は入力端子を示し、まず画像情報が入力端子１００から特徴量評価手段１０１に入力される。本実施形態において、入力画像としては、デジタルカメラで撮影して得られた画像や、スキャナなどの光学読取装置で原稿を読み込んで得られた画像や、デジタルビデオカメラで撮影された動画中の１フレームを抽出して得られた画像などを想定している。なお、本明細書においては、これらの「画像」は電子データ化された画像データを指すものとする。本実施形態では、これらの画像は２次記憶装置７０５に格納され、特徴量評価手段１０１によって適宜読み出されてＲＡＭ７０３に記憶され、処理が行なわれるものとする。また、本実施形態では入力画像はＲＧＢ各色８ビットで構成された画像データを想定して説明を行うが、本発明はこれに限定されるものではなく、例えばモノクロ画像に対しても容易に適用できることは言うまでもない。
【００１９】
特徴量評価手段１０１は、画像情報を解析して特徴量を算出して、算出特徴量を評価することにより、入力した画像がいかなる性質の画像であるかを評価する手段である。
【００２０】
次に入力画像は検出精度決定手段１０２に入力される。検出精度決定手段１０２は、特徴量評価手段１０１の評価を基に、赤目発生の危険性を判断して、赤目を検出する精度を決定する手段である。
【００２１】
次に入力画像は赤目検出手段１０３に入力される。赤目検出手段１０３は、検出精度決定手段１０２にて決定した精度に基づいて画像情報の中から赤目を検出する手段である。
【００２２】
次に入力画像は赤目補正手段１０４に入力される。赤目補正手段１０４は、赤目検出手段１０３にて検出された赤目に対して、適正な色に補正する赤目補正手段である。
【００２３】
上記処理が施され、除去処理部７０３から出力される画像データは、ディスプレイ７０４に表示されたり、圧縮処理が施されて２次記憶装置７０５に保存されたり、インターフェース７０８を介して接続されたプリンタ７０９から出力されたりすることになる。以上が、本実施形態における処理の概要である。以下、上述した各処理の機能について、個別により詳細に説明する。
【００２４】
＜特徴量評価手段＞
図２は、特徴量評価手段１０１の動作手順を示すフローチャートである。本実施形態では、入力画像をＪＰＥＧフォーマットの画像と想定する。ＪＰＥＧの符号化方式については、公知の為、詳細は説明しない。ステップＳ２０１にて、入力したＪＰＥＧフォーマットの各ブロックＤＣ成分のみの復号を施す。画素数を極端に減少させたインデックス画像がＪＰＥＧ画像に付随している場合には、ステップＳ２０１を施さずにインデックス画像を用いても良い。また、本処理以前に色調補正等の他の画像処理を施している場合には、既に復号情報が存在しているために、改めてステップＳ２０１を施す必要はない。続いて、ステップＳ２０２にて、画像の局所的な領域内の輝度成分の平均値を算出する。輝度平均値は、局所的な領域に存在するブロックのＤＣ成分の加算で算出する。本実施形態では、一例として、局所的な領域を画像の４隅に加え、中心部を含めた５領域とする。各領域は矩形でも非矩形でも良い。また、領域の大きさは予め任意に設定することができる。続いてステップＳ２０３にて、４隅の領域中、各辺の両端に位置する隣あう２領域の輝度平均をそれぞれ加算して、両端の輝度平均（両端輝度平均と称す）を算出する。すなわち、各辺ごとに４個の両端輝度平均が算出される。続いて、ステップＳ２０４にて、４つの両端輝度平均の中で、最小値を決定する。輝度値で判定しているので、最小値とは、最も暗い両端を選択していることになる。いま、４隅の領域をＡ，Ｂ，Ｃ，Ｄ（但し、Ａ、Ｃが対角）とし、各領域の輝度平均をＹａ、Ｙｂ、Ｙｃ、Ｙｄ、また、両端輝度平均の最小値をＹｍｉｎとすると、
Ｙｍｉｎ＝ＭＩＮ（（Ｙａ＋Ｙｂ）／２，（Ｙａ＋Ｙｃ）／２，（Ｙｄ＋Ｙｂ）／２，（Ｙｄ＋Ｙｃ）／２）    ・・・式１
（但し、ＭＩＮ（  ）は最小値を選択する関数）
で表すことができる。
【００２５】
もし画像に付随した属性情報等により、画像の天地が既に判明している場合には、ステップＳ２０３、ステップＳ２０４の処理を施さず、画像の上辺の２つの領域、すなわち画像の右上、左上の２領域の平均値で代用させても良い。続いて、ステップＳ２０５にて、中心部の輝度平均値と両端輝度平均の最小値Ｙｍｉｎとの差分値を算出する。すなわち、中心部の領域をＥとし、領域Ｅの輝度平均値をＹｅ、また差分値をＹｄｉｆｆとすると、
Ｙｄｉｆｆ＝Ｙｅ−Ｙｍｉｎ  ・・・式２
で表すことができる。
【００２６】
続いて、ステップＳ２０６にて差分値Ｙｄｉｆｆが予め設定してある所定の閾値ＴＨと比較し、もし、ＴＨ以上であればステップＳ２０７にて赤目発生の危険性が高いと評価し、否であれば、ステップＳ２０８にて赤目発生の危険性が低いと評価する。すなわち、端部と中心部の輝度平均の偏りが大きい程、赤目発生の危険性が高いと評価される。
また、両端輝度平均の最小値Ｙｍｉｎが予め設定した閾値TIよりも小さく、かつ、領域Eの輝度平均値Ｙｅが予め設定した閾値TJよりも大きい時、赤目発生の危険性が高いと評価してもよい。
【００２７】
また、両端輝度平均の最小値Ｙｍｉｎ及び領域Eの輝度平均値Ｙｅのどちらか一方、もしくは両方が、所定の色味の領域内であるときには、赤目発生の危険性が低いと評価してもよい。
【００２８】
＜検出精度決定手段＞
以下では、検出精度決定手段１０２の処理の説明を行う。図３は、検出精度決定手段の動作手順を示すフローチャートである。検出精度決定手段１０２では、特徴量評価手段１０１にて、評価された評価結果に応じて、赤目を検出する精度を決定する処理を行う。以下、図３のフローチャートに従って説明する。
【００２９】
ステップＳ３０１にて、特徴量評価手段１０１での赤目発生危険性の評価が高かったか否かを判定する。もし、評価が高くない場合には、ステップＳ３０２にて、水平垂直ともに１２．５％の縮小画像にて検出を行うように検出精度を設定する。もし、前述したＪＰＥＧ画像の場合には、輝度成分は８画素×８画素によるブロック化単位による符号化である為に、各ブロックのＤＣ成分を基にした縮小画像で検出を行う。また、ステップＳ３０１にて、赤目発生危険性が高いと評価された画像に関してはステップＳ３０３にて、水平垂直ともに５０％の縮小画像にて検出を行うように検出精度を設定する。５０％の縮小画像は、１画素おきにサブサンプルした縮小画像を作成し検出を行う。
【００３０】
赤目発生危険性が高い画像については画像サイズをあまり縮小しないことで、赤目検出精度を高めることができ、赤目発生危険性が低い画像については画像サイズを縮小させることで処理の高速化を図ることができる。本実施形態においては画像の縮小率を上記のように設定したが、その値に限定されるわけではなく、ユーザインターフェース７０８により任意の値を設定することができる。
【００３１】
＜赤目検出手段＞
以下では、赤目検出手段１０３の処理の説明を行う。図４は、赤目検出手段１０３の動作手順を示すフローチャートである。赤目検出手段１０３では、検出精度決定手段１０２にて設定された縮小率で縮小した入力画像に対して、赤目を検出する処理を行う。
【００３２】
まず、入力された画像情報に対して、ステップＳ４０１にて注目画素を走査して赤領域を検索する。画像情報は、検出精度設定手段１０２にて設定された精度において、入力画像を所定の縮小率で縮小した画像情報を用いる。赤領域の検索は、ＪＰＥＧフォーマットを復号したＹ成分（輝度成分）、Ｕ、及びＶ成分（色差成分）を用いても良いし、ＹＵＶの輝度色差成分から、ＲＧＢの三原色成分に色変換した後の情報を用いても良い。また、Ｈ（色相）、Ｓ（彩度）、Ｖ（明度）の色成分に分解した情報を用いるのも有効な手段である。赤領域の定義は赤目が発生する色情報を基に実験的に所定域を設定しておき、各色成分の閾値比較によって検索を行う。続いて、ステップＳ４０２にて、所定の赤領域が検索されたかどうか判定を行い、所定の赤領域が検索された場合にはステップＳ４０３にすすみ、所定の赤領域が検索されなかった場合は（１）へすすむ。ステップＳ４０３にて、予め設定している目のビットマップとのパターンマッチング（テンプレートマッチング）を行う。パターンマッチング法自体は公知である為、説明は省略する。目のビットマップを拡大縮小や回転等の幾何学的変換と、画素値の振幅変換とを行い、探索した赤領域と目のビットマップとのマッチング処理を実行する。続いて、ステップＳ４０４にて、ステップＳ４０３で判定したパターンとの適合の可能性を判断する。可能性判断はマッチング距離を所定閾値と比較することによって行う。この時点で、もし目のビットマップとの適合性が低いと判断された場合には、ステップＳ４０１に戻り、再び注目画素位置を走査して同様の処理を繰り返す。ステップＳ４０４にて、パターン適合の可能性が高いと判断された場合には、ステップＳ４０５にて、瞳の対を探索しにいく。既にパターンマッチングにより目の大きさが推測できる為に、もう一方の瞳までの距離は推測できる。続いてステップＳ４０６にて推測される位置に白領域があるかを判定する。これは、虹彩外側の白目部分の探索を意味する。すなわち、両目とも赤目が発生しているとは限らず、片側の目は劣化していない場合があるからである。もし、ステップＳ４０６にて白領域があると判断されると、ステップＳ４０７にて、対の位置においても同様に目のビットマップとのパターンマッチングを行う。対の目に対して行うパターンマッチングのビットマップパターンは、瞳孔部のパターンだけではなく、白目部以上有するパターンであることが好ましい。ステップＳ４０８にて、対の位置のパターンマッチングにおいて適合の可能性が高いかどうか判定する。パターン適合の可能性が高い場合には、ステップＳ４０９にすすみ、可能性が高くない場合には、ステップＳ４０１に戻る。ステップＳ４０９では、両目の位置から唇の位置を推測し、ステップＳ４１０にて唇領域付近に赤領域が存在するか否かを判定する。唇付近で検索する赤味成分の所定域は、ステップＳ４０２の赤目部の検索に用いた赤味成分の所定域よりも広く設定するのが好ましい。また、唇に関しては口の形状が規定できない為、パターンマッチングは行わない。ステップＳ４１０にて、唇領域付近に赤領域が存在すると判断されると、ステップＳ４０１にて探索した赤領域の注目画素が赤目であると判定される（Ｓ４１１）。一方、Ｓ４０６、Ｓ４０８、Ｓ４１０の各判断において、不適合であると判断された場合には、注目画素は赤目ではないと判定してＳ４０１に戻り、再び赤領域の検索を始める。Ｓ４１２では、画素全てを終了したかを判定し、終了するまで走査、検索を繰り返す。
【００３３】
本実施例では、両目、及び、唇が写っていないと、赤目ではないと判定しているが、当然、より緩和した判定も考えられる。すなわち、目、唇以外の顔の器官を用いて判定してもかまわない。また、唇に限らず、他の顔器官との相対位置関係に基づき、目の判定をすることも考えられる。
【００３４】
＜赤目補正手段＞
以下では、赤目補正手段１０４の処理の説明を行う。赤目検出手段１０３にて検出された赤目に対して瞳孔の赤領域の色を変換する。色の変換は、瞳孔部分の赤領域の輝度成分と彩度成分を減少し、より暗い無彩色へと近づけることによって実現できる。
【００３５】
以上が各ブロックの詳細説明である。
【００３６】
本実施形態においては、特徴量評価手段１０１においていかに高速に赤目検出の精度を判定するかが重要である。図５は、図２のフローチャートで示した局所的領域の輝度平均の比較を説明する図である。赤目の発生は、全てフラッシュ発光が原因になっている。その為、撮影シーンは、フラッシュ発光が必須である暗いシーンに限定される。暗いシーンで代表的なものは夜の戸外での撮影である。すなわち、複数の画像群の中から夜の戸外での撮影らしきもののみを抽出し、赤目発生の危険性を高く評価する。夜の戸外での撮影か否かを正確に判断するのは非常に困難なことであるが、撮影した写真の統計的性質を解析すると、夜の戸外での撮影写真では、上部両端が暗く、中央部に位置する被写体がフラッシュ発光のために明るく撮影されている可能性が非常に高い。すなわち、図５中の各端部Ａ〜Ｄまでの輝度レベルと中央部Ｅの輝度レベルには大きな隔たりがあり、当然、中央部Ｅの輝度値は高く、かつ、端部Ａ〜Ｄの輝度値の何れかは低いという可能性が高い。
【００３７】
図６は、複数の画像による画像群の説明図である。例えば、いま、４枚の写真画像がひとつのメモリカード内（破線部）に格納されていて、１枚の写真画像だけが夜の戸外での人物撮影写真と想定する。その他３枚の画像は、風景写真や明るい背景の人物写真であると想定する。なお、４枚の写真画像の格納部はメモリカードに限定されず、図１のＲＯＭ１０２または２次記憶装置１０５に格納されていてもよい。格納された４枚全ての画像を同じ精度で赤目検出を施すのは非常に無駄がある。赤目発生の危険性が少ない写真１から写真３までは、粗い精度で赤目検出を行い、赤目発生の危険性が高い写真４のみを細かい精度で赤目検出を行うのが効率的である。
【００３８】
特徴量評価手段１０１において、赤目発生危険性の判断を行っているが、図６で示す４枚の画像の赤目発生危険性を判断すると写真４のみ赤目発生危険性が高いと識別され精度を細かく設定することが可能になる。また、他の３枚の写真については赤目発生危険性が低いと識別され、精度が粗く設定される。
【００３９】
また、図２のフローチャートでは、最も暗い両端輝度平均と中央部の輝度平均との差分値を所定閾値と比較しているが、本実施形態の特徴量評価はこれに限らない。各端部の輝度平均をそれぞれ所定閾値と比較したり、中央部のみの輝度平均を所定閾値との比較したり、中央部も対角線の交点となる中央部ではなく、中央付近の複数の局所的領域を用いる等、様々な変形例が考えられる。また、輝度成分だけではなく、色差成分を評価に用いる例も考えられる。重要な点は、局所的な複数の領域での輝度平均比較により、暗い中でのフラッシュが発光されて撮影された写真であるか否かの可能性、赤目が発生する危険性の評価を行うことである。
【００４０】
また、図３のフローチャートでは、評価結果に対して赤目検出に用いる画像の縮小率を変化させることによって精度の高低をつけているが、これには限らない。検索する赤領域の閾値や、パターンマッチングの精度等を変更することも考えられる。また、明らかに赤目が発生しないような可能性の低い評価の場合には、赤目検出手段、赤目補正手段を全く実行しない例も考えられる。例えば、画像端部、中央部ともに輝度値が低かったり、逆に全て輝度値が高かったりする場合、また、画像端部や中央部が、ある特定の色味を示した場合、例えば空の青や、草原の緑が、画像全体に支配的に多く写っていると想定されるような場合には、赤目発生の危険性は極めて低くなり、赤目検出のために無駄な処理時間を費やすのは非効率である。
【００４１】
このような場合において、検出精度を低く設定するか、全く検出処理を実行しない設定にするかは、本実施形態で用いるコンピュータの処理能力や一度に処理する画像枚数等の画像処理システムのスペックに応じて変更しても良いし、実験的に切り替えても良い。
【００４２】
また、検出精度の設定は、細かい／粗いの二段階を説明したが、当然、より多くの段階を設定しても良い。
【００４３】
また、図４のフローチャートによる赤目検出例を示しているが、赤目の検出方法に関しては、これには限定しない。
【００４４】
以上説明したように、第１実施形態によれば、入力画像に赤目補正を行う場合に、画像の特徴量を評価し、赤目危険性が高いと判定されたときは、検出精度を細かく設定し、赤目危険性が低いと判定されたときは、検出精度を粗く設定することで、画像の内容に応じて赤目検出精度を切り替え、複数の画像を一度に処理する際、検出処理が必要な画像に適応した処理時間配分ができ、高速かつ効率的な赤目補正処理を行うことが可能となる。
【００４５】
＜第２実施形態＞
第１実施形態では、画像の特徴量を判定し、判定結果より赤目検出精度を決定していた。第２の実施形態では、赤目を補正して出力する出力機器の出力設定に応じて検出精度、補正精度を変更する。なお、赤目検出や赤目補正はコンピュータ７００で実現してもプリンタ７０９で実現してもよい。
【００４６】
プリンタの設定項目として、印字用紙の種類や用紙サイズの選択、印字品位の設定等がある。これらの印刷条件の設定項目を前評価として、使用者が設定した設定項目の内容に応じて赤目検出の精度を切り替える方法も有効である。
【００４７】
例えば、普通紙に印字する際には写真画像以外のグラフィック系の画像や文字線画等の文書画像であることが多い。また、普通紙に写真を印字する場合にも、光沢紙等の保存性や画質に優れた印字用紙の為の試し印刷である場合が多い。言い換えると、普通紙の場合には写真を高画質に出力するケースが相対的に少ないと言える。その為、印字用紙の設定に応じて、普通紙モードでは検出精度を荒く、また、光沢紙モードでは検出精度を細かく設定することが可能になる。
【００４８】
用紙サイズにおいても同様に、Ａ４用紙に１画像のみを出力するケースと、Ｌ版のカードサイズに１６枚のインデックス印刷するケースとでは、使用者の視覚的識別度合いも、補正処理の期待度も異なってくる。つまり出力画像の大きさ（面積）に依存して、大きくなるほど検出精度を細かく設定する。
【００４９】
同様に、プリンタエンジンの出力プロセス条件となる印字品位の設定において、印字プロセス時間を短く設定した低品位モードでは検出精度を荒く、また、印字プロセス時間を長く設定した高品位モードの時には検出精度を細かく設定することも有効である。これは、低品位モードでは高画質化よりも高速性が重視される為でもある。また、赤目検出精度以外にも赤目を検出した後の補正精度を変更することも同様に可能である。
【００５０】
以上説明したように、第２実施形態によれば、入力画像に赤目補正を行う場合に、印字用紙の種類や用紙サイズの選択、印字品位の設定等に応じて検出精度、補正精度を変更することで、複数の画像を１度に処理する際に、画像に適応した処理時間配分ができ、高速かつ効率的に赤目補正処理をすることが可能となる。
【００５１】
＜その他の実施形態＞
本発明は、プリンタエンジンへ出力すべき画像情報を作成するコンピュータ内のプリンタドライバソフト、もしくは、スキャナ等の光学読取り装置を動作させるためのドライバソフト、もしくはアプリケーションソフトとして内臓することが効率的であるが、複写機、ファクシミリ、プリンタ本体等にハードウェア、及びソフトウェアとして内蔵することにも効果がある。
【００５２】
また、本発明は、複数の機器（例えばホストコンピュータ、インターフェース、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用しても良い。
【００５３】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００５５】
【図１】第１実施形態における画像処理の機能構成例を示すブロック図である。
【図２】特徴量評価手段の動作手順を示すフローチャートである。
【図３】検出精度決定手段の動作手順を示すフローチャートである。
【図４】赤目検出手段の動作手順を示すフローチャートである。
【図５】赤目検出対象画像情報の一例を示す図である。
【図６】複数の赤目検出対象画像情報の一例を示す図である。
【図７】第１実施形態及び第2実施形態による画像処理装置のハードウエア構成を示すブロック図である。
【図１】
2006048223.tif 000003
【図２】
2006048223.tif 000004
【図３】
2006048223.tif 000005
【図４】
2006048223.tif 000006
【図５】
2006048223.tif 000007
【図６】
2006048223.tif 000008
【図７】
2006048223.tif 000009