(57)【要約】【課題】赤目補正を適切に行うことを可能とする。【解決手段】予備補正部３１は、少なくとも２つの色の特徴量を軸とする空間における補正処理対象領域の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、補正処理対象領域の画素の値と、その値の、分離曲線に対応する値の大きさに基づいて、その画素に対する補正の強度を示す情報をその画素の位置に対応させて格納する補正強度マップ情報を生成する。補正強度マップ調整部６１は、補正処理対象領域の全部または一部の画像の色状態に基づいて、オープニング処理およびクロージング処理のいずれかの処理を選択して、補正強度マップ情報に対して施すことを特徴とする。【選択図】図２
2011076157.tif 000002
【特許請求の範囲】
【請求項１】
カラー画像の中の目の画像を含む領域を補正処理対象領域として取得する取得手段と、
少なくとも２つの色の特徴量を軸とする空間における上記補正処理対象領域の上記特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、上記補正処理対象領域の画素の値と、その値の、上記分離曲線に対応する値の大きさに基づいて、その画素に対する補正の強度を示す情報をその画素の位置に対応させて格納する補正強度マップ情報を生成する補正強度マップ情報生成手段と、
上記補正強度マップ情報に対して膨張処理を施す膨張処理手段と、
上記膨張処理が施された上記補正強度マップ情報に対して、オープニング処理またはクロージング処理を施す処理制御手段と
を有し、
上記処理制御手段は、上記補正処理対象領域の全部または一部の画像の色状態に基づいて、オープニング処理およびクロージング処理のいずれかの処理を選択して、上記補正強度マップ情報に対して施す
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
オープニング処理またはクロージング処理が施された補正強度マップ情報において、赤目を構成する画素であると推定される画素が隣接して形成されるオブジェクトの中から、赤目領域に対応した条件を満たすオブジェクトを、赤目オブジェクトとして選択する赤目オブジェクト生成手段をさらに有し、
前記処理制御手段は、前記補正処理対象領域が、赤目を構成する画素であると推定される画素が隣接して形成されるオブジェクトの大きさが大きくなる傾向にある場合、オープニング処理を実行する
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
オープニング処理またはクロージング処理が施された補正強度マップ情報において、赤目を構成する画素であると推定される画素が隣接して形成されるオブジェクトの中から、赤目領域に対応した条件を満たすオブジェクトを、赤目オブジェクトとして選択する赤目オブジェクト生成手段をさらに有し、
前記処理制御手段は、前記補正処理対象領域が、赤目を構成する画素であると推定される画素が隣接して形成されるオブジェクトの大きさが小さくなる傾向にある場合、クロージング処理を実行する
ことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記補正強度マップ情報に示される補正の強度に応じて、赤目を修正する補正を行う補正手段
をさらに有する画像処理装置。
【請求項５】
請求項４に記載の画像処理装置と、この画像処理装置の前記補正手段からの出力に基づいて印刷を実行する印刷装置とを有することを特徴とする印刷システム。
【請求項６】
請求項１に記載の画像処理装置において、
表示されたカラー画像に対するユーザーの指定を受け付ける受付手段をさらに有し、
前記取得手段は、上記カラー画像の中のユーザーにより指定された部分を含む領域を補正処理対象領域として取得する
ことを特徴とする画像処理装置。
【請求項７】
請求項１に記載の画像処理装置において、
前記補正強度マップ情報生成手段は、Ｒ（赤）値とＲ値／Ｇ（緑）値を軸とする空間における前記補正処理対象領域のＲ値／Ｇ値に基づく特徴量の分布、またはＲ値とＲ値／Ｂ値を軸とする空間における前記補正処理対象領域のＲ値／Ｂ値に基づく特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する前記分離曲線を生成する
ことを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記補正強度マップ情報生成手段は、前記特徴量として、Ｒ値の軸を所定の区間に区分し、その区分毎の、Ｒ値とＧ値の比の平均値またはＲ値とＢ値の比の平均値を用いて、前記分離曲線を生成する
ことを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、
前記補正強度マップ情報生成手段は、前記特徴量として、前記区間毎のＲ値とＧ値の比の平均値を通る曲線に、前記補正処理対象領域全体のＲ値とＧ値の比の平均値を加算して得られる曲線、または前記区間毎のＲ値とＢ値の比の平均値を通る曲線に、前記補正処理対象領域全体のＲ値とＢ値の比の平均値を加算して得られる曲線を用いて、前記分離曲線を生成する
ことを特徴とする画像処理装置。
【請求項１０】
請求項８または請求項９に記載の画像処理装置において、
前記補正強度マップ情報生成手段は、前記特徴量として、前記区間毎のＲ値とＧ値の比の平均値を通る曲線に、前記補正処理対象領域の各画素のＲ値とＧ値の比の標準偏差を乗算して得られる曲線、または前記区間毎のＲ値とＢ値の比の平均値を通る曲線に、前記補正処理対象領域の各画素のＲ値とＢ値の比の標準偏差を乗算して得られる曲線を用いて、前記分離曲線を生成する
ことを特徴とする画像処理装置。
【請求項１１】
カラー画像の中の目の画像を含む領域を補正処理対象領域として取得する取得ステップと、
少なくとも２つの色の特徴量を軸とする空間における上記補正処理対象領域の上記特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、上記補正処理対象領域の画素の値と、その値の、上記分離曲線に対応する値の大きさに基づいて、その画素に対する補正の強度を示す情報をその画素の位置に対応させて格納する補正強度マップ情報を生成する補正強度マップ情報生成ステップと、
上記補正強度マップ情報に対して膨張処理を施す膨張処理ステップと、
上記補正処理対象領域の全部または一部の画像の色状態に基づいて、上記膨張処理が施された上記補正強度マップ情報に対して、オープニング処理またはクロージング処理を施す処理制御ステップと
を含むことを特徴とする画像処理方法。
【請求項１２】
画像処理をコンピューターに実行させるプログラムであって、
カラー画像の中の目の画像を含む領域を補正処理対象領域として取得する取得ステップと、
少なくとも２つの色の特徴量を軸とする空間における上記補正処理対象領域の上記特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、上記補正処理対象領域の画素の値と、その値の、上記分離曲線に対応する値の大きさに基づいて、その画素に対する補正の強度を示す情報をその画素の位置に対応させて格納する補正強度マップ情報を生成する補正強度マップ情報生成ステップと、
上記補正強度マップ情報に対して膨張処理を施す膨張処理ステップと、
上記補正処理対象領域の全部または一部の画像の色状態に基づいて、上記膨張処理が施された上記補正強度マップ情報に対して、オープニング処理またはクロージング処理を施す処理制御ステップと
を含む画像処理をコンピューターに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、印刷システム、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
人物をフラッシュを使用して撮影した場合、目の色が赤色や金色に撮影される赤目現象が発生する。デジタルカメラ、コンピューター、またはプリンター等の画像処理機能を有する装置には、この赤目現象が発生した画像を画像処理によって補正できるものがある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−０２３３９２９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の方法では、赤目現象が発生している領域を精度よく特定することができず、その結果、赤目補正を適切に行うことができない場合があった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、赤目補正を適切に行うことができるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の一側面は、カラー画像の中の目の画像を含む領域を補正処理対象領域として取得する取得手段と、少なくとも２つの色の特徴量を軸とする空間における補正処理対象領域の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、補正処理対象領域の画素の値と、その値の、分離曲線に対応する値の大きさに基づいて、その画素に対する補正の強度を示す情報をその画素の位置に対応させて格納する補正強度マップ情報を生成する補正強度マップ情報生成手段と、補正強度マップ情報に対して膨張処理を施す膨張処理手段と、膨張処理が施された補正強度マップ情報に対して、オープニング処理またはクロージング処理を施す処理制御手段とを有し、処理制御手段は、補正処理対象領域の全部または一部の画像の色状態に基づいて、オープニング処理およびクロージング処理のいずれかの処理を選択して、補正強度マップ情報に対して施すことを特徴とする。
【０００７】
これにより、補正強度マップ情報から、たとえば、本来赤目を構成しないが赤目を構成する画素とする情報や、本来赤目を構成するが赤目を構成しない画素とする情報など本来の状態と異なる状態を示す情報（ノイズ）を除去することができる。
【０００８】
オープニング処理またはクロージング処理が施された補正強度マップ情報において、赤目を構成する画素であると推定される画素が隣接して形成されるオブジェクトの中から、赤目領域に対応した条件を満たすオブジェクトを、赤目オブジェクトとして選択する赤目オブジェクト生成手段をさらに有し、処理制御手段は、補正処理対象領域が、赤目を構成する画素であると推定される画素が隣接して形成されるオブジェクトの大きさが大きくなる傾向にある場合、オープニング処理を実行する。これにより、補正強度マップ情報から、ノイズを適切に除去することができる。
【０００９】
オープニング処理またはクロージング処理が施された補正強度マップ情報において、赤目を構成する画素であると推定される画素が隣接して形成されるオブジェクトの中から、赤目領域に対応した条件を満たすオブジェクトを、赤目オブジェクトとして選択する赤目オブジェクト生成手段をさらに有し、処理制御手段は、補正処理対象領域が、赤目を構成する画素であると推定される画素が隣接して形成されるオブジェクトの大きさが小さくなる傾向にある場合、クロージング処理を実行することができる。これにより、補正強度マップ情報から、ノイズを適切に除去することができる。
【００１０】
補正強度マップ情報に示される補正の強度に応じて、赤目を修正する補正を行う補正手段をさらに設けることができる。
【００１１】
本願の補正手段を有する画像処理装置は、印刷装置と組み合わせ、印刷システムを構成することができる。印刷装置は、補正手段の出力に基づいて、印刷を実行する。
【００１２】
表示されたカラー画像に対するユーザーの指定を受け付ける受付手段をさらに有し、前記取得手段は、上記カラー画像の中のユーザーにより指定された部分を含む領域を補正処理対象領域として取得することができる。
【００１３】
補正強度マップ情報生成手段は、Ｒ（赤）値とＲ値／Ｇ（緑）値を軸とする空間における補正処理対象領域のＲ値／Ｇ値に基づく特徴量の分布、またはＲ値とＲ値／Ｂ値を軸とする空間における補正処理対象領域のＲ値／Ｂ値に基づく特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成することができる。これにより分離曲線を適切に生成することができる。
【００１４】
補正強度マップ情報生成手段は、特徴量として、Ｒ値の軸を所定の区間に区分し、その区分毎の、Ｒ値とＧ値の比の平均値またはＲ値とＢ値の比の平均値を用いて、分離曲線を生成することができる。これにより分離曲線を適切に生成することができる。
【００１５】
補正強度マップ情報生成手段は、特徴量として、区間毎のＲ値とＧ値の比の平均値を通る曲線に、補正処理対象領域全体のＲ値とＧ値の比の平均値を加算して得られる曲線、または区間毎のＲ値とＢ値の比の平均値を通る曲線に、補正処理対象領域全体のＲ値とＢ値の比の平均値を加算して得られる曲線を用いて、分離曲線を生成することができる。これにより分離曲線を適切に生成することができる。
【００１６】
補正強度マップ情報生成手段は、特徴量として、区間毎のＲ値とＧ値の比の平均値を通る曲線に、補正処理対象領域の各画素のＲ値とＧ値の比の標準偏差を乗算して得られる曲線、または区間毎のＲ値とＢ値の比の平均値を通る曲線に、補正処理対象領域の各画素のＲ値とＢ値の比の標準偏差を乗算して得られる曲線を用いて、分離曲線を生成することができる。これにより分離曲線を適切に生成することができる。
【００１７】
本発明の一側面は、カラー画像の中の目の画像を含む領域を補正処理対象領域として取得する取得ステップと、少なくとも２つの色の特徴量を軸とする空間における補正処理対象領域の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線を生成し、補正処理対象領域の画素の値と、その値の、分離曲線に対応する値の大きさに基づいて、その画素に対する補正の強度を示す情報をその画素の位置に対応させて格納する補正強度マップ情報を生成する補正強度マップ情報生成ステップと、補正強度マップ情報に対して膨張処理を施す膨張処理ステップと、膨張処理が施された補正強度マップ情報に対して、オープニング処理またはクロージング処理を施す処理制御ステップとを有し、処理制御ステップは、補正処理対象領域の全部または一部の画像の色状態に基づいて、オープニング処理およびクロージング処理のいずれかの処理を選択して、補正強度マップ情報に対して施すことを特徴とする。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施の形態に係る画像処理装置１の構成を示すブロック図である。
【図２】予備補正処理Ｚ０と指定領域補正処理Ｚ１を実行するための図１の画像処理装置１の機能的構成例を示すブロック図である。
【図３】処理対象画像ＴＩを模式的に示した図である。
【図４】図３の処理対象画像ＴＩの中央の人物の左目を含む画像領域を拡大して模式的に示した図である。
【図５】図２の赤目領域特定情報生成部４３の構成例を示すブロック図である。
【図６】図２の後処理部７２の構成例を示すブロック図である。
【図７】ワンクリック補正処理の流れを示すフローチャートである。
【図８】予備補正処理Ｚ０の流れを示すフローチャートである。
【図９】図８のステップＳ１２の特徴量抽出処理の詳細を示すフローチャートである。
【図１０】補正処理対象領域Ｐｅ１の各画素を、Ｒ値と（Ｒ値／Ｇ値）を軸とする平面に、そのＲ値と（Ｒ値／Ｇ値）に応じてプロットした図である。
【図１１】図８のステップＳ１４の補正強度マップ生成処理の流れを示すフローチャートである。
【図１２】補正強度係数デーブルの例を示す図である。
【図１３】補正処理Ｚ０−２の流れを示すフローチャートである。
【図１４】赤目候補領域Ｐｅ２部分の、予備補正強度マップＭａに設定された補正強度のイメージを示した図である。
【図１５】予備補正強度マップＭａに設定された補正強度係数に応じて補正された赤目候補領域Ｐｅ２のイメージを示した図である。
【図１６】指定領域補正処理Ｚ１の流れを示すフローチャートである。
【図１７】メディアンフィルターリング処理前の中間補正強度マップＭｂのイメージを示した図である。
【図１８】メディアンフィルター処理を施した中間補正強度マップＭｂのイメージを示した図である。
【図１９】オープニング処理をさらに施した中間補正強度マップＭｂのイメージを示した図である。
【図２０】赤目オブジェクト生成処理の流れを示すフローチャートである。
【図２１】赤目オブジェクトの整形処理を説明する図である。
【図２２】赤目オブジェクトの整形処理を説明する他の図である。
【図２３】赤目オブジェクトの整形処理を説明する他の図である。
【図２４】予備補正強度マップＭａに設定された補正強度係数に応じて補正された赤目候補領域Ｐｅ２のイメージを示した図である。
【発明を実施するための形態】
【００１９】
［画像処理装置１の構成の説明］
図１は、本発明の実施の形態としての画像処理装置１のハードウェアの構成例を示すブロック図である。この画像処理装置１は、たとえばプリンター、パーソナルコンピュータ、デジタルカメラ等であり、カラー画像に対して画像処理を施すことができる装置である。画像処理装置１はまた、記憶部１８等から取得したカラー画像データに対してユーザーが指定した領域の赤目部分を自然な色（たとえば、黒色等）に補正する機能（以下、ワンクリック補正機能と称する）を有している。
【００２０】
この画像処理装置１において、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、及びＲＡＭ（Random Access Memory）１３は、バス１４により相互に接続されている。
【００２１】
バス１４には、さらに、入出力インターフェース１５が接続されている。入出力インターフェース１５には、キーボード、ボタン、マウス、マイクロホンなどよりなる入力部１６、ディスプレイ、スピーカなどよりなる出力部１７、ハードディスクや不揮発性のメモリーなどよりなる記憶部１８、画像処理装置１の機種に応じた処理（たとえば、印刷処理、撮像処理、通信処理等）を実行する処理部１９、並びに磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD等）、光磁気ディスク、もしくは半導体メモリーなどよりなるパッケージメディアであるリムーバブルメディア２１を駆動するドライブ２０が接続されている。
【００２２】
以上のように構成される画像処理装置１では、ＣＰＵ１１が、例えば、記憶部１８に記憶されているプログラムを、入出力インターフェース１５及びバス１４を介して、ＲＡＭ１３にロードして実行することにより、所定の処理が行われる。
【００２３】
たとえばＣＰＵ１１は、ワンクリック補正モードが設定されており、ユーザーが、入力部１６を介して、出力部１７に、いまから処理するカラー画像（以下、処理対象画像ＴＩと称する）を表示させ、表示されている処理対象画像ＴＩの中の赤目現象が発生している目の部分等を指定し、ワンクリック補正の実行を指示すると、ＣＰＵ１１は、初めに、予備補正処理Ｚ０を実行する。詳細は後述するが、予備補正処理Ｚ０では、処理対象画像ＴＩの中のユーザーにより指定された位置（以下、指定位置と称する）を含む所定の画像領域（以下、補正処理対象領域Ｐｅ１と称する）から、赤目現象が発生している赤目領域を特定するための情報を生成する処理（以下、赤目領域特定情報生成処理Ｚ０−１と称する）が実行され、その情報により特定される赤目領域の色を自然な色（たとえば、黒色等）に置き換える処理（以下、補正処理Ｚ０−２と称する）が実行される。
【００２４】
この例において、赤目領域を特定するための情報として、色の特徴量を軸とする空間における補正処理対象領域Ｐｅ１の特徴量の分布において、赤目領域を構成する画素の分布とそれ以外の画素の分布を分離する分離曲線が生成される。そしてその分離曲線からの距離に応じた補正強度係数を画素毎に格納する予備補正強度マップＭａが生成される。マップ情報としての予備補正強度マップＭａは、補正処理対象領域Ｐｅ１の各画素に対応する格納部を有しており、各格納部には、対応する補正処理対象領域Ｐｅ１の画素が赤目を構成する画素である可能性に応じた補正強度係数が格納される。
【００２５】
ＣＰＵ１１は、さらに、指定領域補正処理Ｚ１を実行する。詳細は後述するが、指定領域補正処理Ｚ１では、予備補正処理Ｚ０により生成された予備補正強度マップＭａに含まれるノイズが除去され、その結果として補正強度マップ（以下、本補正強度マップＭｃと称する）が生成される。この例の場合、ＣＰＵ１１は、生成した本補正強度マップＭｃに応じて、赤目領域の色を自然な色（たとえば、黒色等）に置き換える処理を実行する。ここでノイズとは、本来赤目を構成しないが赤目を構成する画素とする情報や、本来赤目を構成するが赤目を構成しない画素とする情報、すなわち本来の状態と異なる状態を示す情報を意味する。
【００２６】
［画像処理装置１の機能的構成の説明］
図２は、予備補正処理Ｚ０と指定領域補正処理Ｚ１を実行するための画像処理装置１の機能的構成例を示すブロック図である。この例の場合、画像処理装置１は、予備補正部３１と指定領域補正部３２を有して構成される。この機能は、ＣＰＵ１１が記憶部１８に記憶されている所定のプログラムを実行することより実現可能となる。
【００２７】
予備補正部３１は、予備補正処理Ｚ０を実行する。予備補正部３１は、画像読取部４１、補正処理対象領域取得部４２、赤目領域特定情報生成部４３、および補正部４４を有して構成される。
【００２８】
画像読取部４１は、処理対象画像ＴＩを、たとえば記憶部１８から読み取る。
【００２９】
補正処理対象領域取得部４２は、画像読取部４１により読み取られた処理対象画像ＴＩの中のユーザーにより指定された指定位置を含む補正処理対象領域Ｐｅ１を取得する。たとえば一辺を、処理対象画像ＴＩの短辺の５％の長さとする矩形領域が取得される。なお最大の大きさは１６０×１６０画素とする。補正処理対象領域取得部４２はまた、補正処理対象領域Ｐｅ１から赤みがかった瞳孔や虹彩を含む領域を取得する処理を実行する。なおこの処理の結果取得された領域を、赤目候補領域Ｐｅ２と称する。なお、以下において、補正処理対象領域Ｐｅ１と赤目候補領域Ｐｅ２を検出する処理を、適宜に、検出処理Ｚ０−０と称する。
【００３０】
図３は、処理対象画像ＴＩを模式的に示した図である。ここではこの処理対象画像ＴＩの中央の人物の左目部分に生じている赤目現象を処理対象とするものとする。図４は、図３の処理対象画像ＴＩの中央の人物の左目を含む画像領域（図３中、四角の枠で囲まれている領域）を拡大して模式的に示した図である。図４には、補正処理対象領域Ｐｅ１と赤目候補領域Ｐｅ２が示されている。この例の場合、目玉、白目、瞼、目頭、目尻等の部位を含む矩形領域が、補正処理対象領域Ｐｅ１として検出され、その中の赤目現象が生じている目玉を含む円形領域が、赤目候補領域Ｐｅ２として検出される。
【００３１】
図２に戻り赤目領域特定情報生成部４３は、補正処理対象領域取得部４２により取得された補正処理対象領域Ｐｅ１および赤目候補領域Ｐｅ２を用いて、分離曲線、および予備補正強度マップＭａを生成する赤目領域特定情報生成処理Ｚ０−１を実行する。
【００３２】
図５は、赤目領域特定情報生成部４３の構成例を示す図である。赤目領域特定情報生成部４３は、特徴量抽出部５１、分離曲線生成部５２、および補正強度マップ生成部５３を有して構成される。それらの構成要素の動作については、予備補正処理Ｚ０における赤目領域特定情報生成処理Ｚ０−１の説明と合わせて後述する。
【００３３】
再び図２に戻り補正部４４は、赤目領域特定情報生成部４３により生成された予備補正強度マップＭａに格納されている補正強度係数に応じた補正強度で、色を黒色等に置き換える（赤目を修正する）補正処理Ｚ０−２を実行する。補正部４４により補正された補正処理対象領域Ｐｅ１は、一時的に記憶部１８に記憶される。
【００３４】
なお予備補正部３１は、処理対象画像ＴＩから補正処理対象領域Ｐｅ１の部分を複製し、その補正処理対象領域Ｐｅ１の複製（以下、単に、補正処理対象領域Ｐｅ１とも称する）に対して処理を施すので、処理対象画像ＴＩ（すなわち原画像）には、補正部４４の補正は反映されない。
【００３５】
指定領域補正部３２は、指定領域補正処理Ｚ１を実行する。指定領域補正部３２は、補正強度マップ調整部６１および補正部６２を有して構成される。
【００３６】
補正強度マップ調整部６１は、予備補正部３１により生成された予備補正強度マップＭａからノイズを除去し、本補正強度マップＭｃを生成する。
【００３７】
補正強度マップ調整部６１は、前処理部７１および後処理部７２を有して構成される。前処理部７１は、画像読取部４１により読み取られた処理対象画像ＴＩの中のユーザーにより指定された指定位置を含む補正処理対象領域Ｐｅ１を取得するとともに、取得した補正処理対象領域Ｐｅ１と、予備補正部３１により補正された補正処理対象領域Ｐｅ１とを比較し（すなわち原画像と予備補正された画像とを比較し）、その比較結果に基づいて、予備補正強度マップＭａに相当する補正強度マップであって、後処理部７２により処理が施されることによって本補正強度マップＭｃとなる補正強度マップ（以下、中間補正強度マップＭｂと称する）を生成する。
【００３８】
中間補正強度マップＭｂは、補正処理対象領域Ｐｅ１の各画素に対応する格納部を有しており、各格納部には、この例においては、後述するように、対応する補正処理対象領域Ｐｅ１の画素が赤目を構成する画素であると推定できる場合には１が、そうでない場合には０が、それぞれ補正強度係数として格納されるものとする。すなわちこの例においては、中間補正強度マップＭｂは、２値のマップ情報である。
【００３９】
後処理部７２は、前処理部７１で生成された中間補正強度マップＭｂに対して、ノイズを除去する等の処理を実行する。
【００４０】
図６は、後処理部７２の構成例を示すブロック図である。後処理部７２は、膨張処理部８１、ノイズ除去部８２、およびオブジェクト生成部８３を有して構成される。ノイズ除去部８２は、制御部９１、オープンニング処理部９２、およびクロージング処理部９３を有して構成される。それらの構成要素の動作については、指定領域補正処理Ｚ１の説明と合わせて後述する。
【００４１】
図２に戻り補正部６２は、補正強度マップ調整部６１により生成された本補正強度マップＭｃに設定されている補正強度係数に応じて、赤目領域であると特定される領域に対して、その色を黒色等に置き換える（赤目を修正する）色補正処理を実行し、出力データを生成する。
【００４２】
［ワンクリック補正の説明］
図７は、ワンクリック補正の流れを示すフローチャートである。ステップＳ１において、ワンクリック補正モードが設定されており、出力部１７に表示されている処理対象画像ＴＩの中の任意の位置がユーザーにより指定されると、ステップＳ２で予備補正処理Ｚ０が実行され、その後、ステップＳ３で指定領域補正処理Ｚ１が実行される。
【００４３】
［予備補正処理Ｚ０の説明］
図８は、予備補正処理Ｚ０の流れを示すフローチャートである。ステップＳ１１において、補正処理対象領域取得部４２は、画像読取部４１により読み取られた処理対象画像ＴＩに対して、検出処理Ｚ０−０を実行する。
【００４４】
［赤目領域特定情報生成処理Ｚ０−１の説明］
次にステップＳ１２からステップＳ１４において、赤目領域特定情報生成処理Ｚ０−１が実行される。すなわちステップＳ１２において、赤目領域特定情報生成部４３の特徴量抽出部５１は、補正処理対象領域取得部４２により取得された補正処理対象領域Ｐｅ１の特徴量を抽出する。
【００４５】
図９は、この特徴量抽出処理の詳細を示すフローチャートである。特徴量抽出部５１は、ステップＳ２１において、補正処理対象領域Ｐｅ１の大きさが適切な大きさであるか否かを判定する。具体的には、たとえば、補正処理対象領域Ｐｅ１の長手方向の幅が、赤目候補領域Ｐｅ２の直径の２倍以上の長さであるか否かが判定される。なお補正処理対象領域Ｐｅ１の大きさについてこのような判定を行う理由については、後述する。
【００４６】
ステップＳ２１で、補正処理対象領域Ｐｅ１の大きさが適切な大きさではない（すなわちこの例の場合、補正処理対象領域Ｐｅ１の長手方向の幅が赤目候補領域Ｐｅ２の直径の２倍より短い）と判定された場合、ステップＳ２２において、特徴量抽出部５１は、補正処理対象領域Ｐｅ１を適切な大きさに拡大する。この例の場合、補正処理対象領域Ｐｅ１の長手方向の幅が赤目候補領域Ｐｅ２の直径の２倍となる拡大率で、補正処理対象領域Ｐｅ１の画素が補完される。
【００４７】
ステップＳ２１で、補正処理対象領域Ｐｅ１の大きさが適切な大きさであると判定されたとき、またはステップＳ２２で、補正処理対象領域Ｐｅ１が適切な大きさに拡大されたとき、ステップＳ２３において、特徴量抽出部５１は、補正処理対象領域Ｐｅ１の各画素のＲ成分値（Ｒ値）、Ｇ成分値（Ｇ値）、およびＢ成分値（Ｂ値）をそれぞれ検出し、補正処理対象領域Ｐｅ１のＲ値、Ｇ値、およびＢ値の平均値をそれぞれ算出する。
【００４８】
次にステップＳ２４において、特徴量抽出部５１は、補正処理対象領域Ｐｅ１の（Ｒ値／Ｇ値）の標準偏差と（Ｒ値／Ｂ値）の標準偏差をそれぞれ算出する。そしてステップＳ２５において、特徴量抽出部５１は、Ｒ値の軸（０〜２５５）を１６等分して得られた区間（以下、赤成分区間Ｌｒと称する）毎に、その赤成分区間ＬｒのＲ値を有する各画素の（Ｒ値／Ｇ値）の平均値と（Ｒ値／Ｂ値）の平均値を、それぞれ求める。
【００４９】
このように、「補正処理対象領域Ｐｅ１のＲ値、Ｇ値、Ｂ値のそれぞれの平均値」、および「補正処理対象領域Ｐｅ１の（Ｒ値／Ｇ値）の標準偏差と（Ｒ値／Ｂ値）の標準偏差」、並びに「赤成分区間Ｌｒ毎の（Ｒ値／Ｇ値）の平均値と（Ｒ値／Ｂ値）の平均値」が、特徴量として抽出される。その後、処理は、図８のステップＳ１３に進む。なお抽出された特徴量は、適宜、内部メモリー１２に記憶される。
【００５０】
ステップＳ１３において、赤目領域特定情報生成部４３の分離曲線生成部５２は、分離曲線を生成する。この例では、式（１）に示すＦＲ／Ｇ（ｒ）と式（２）に示すＦＲ／Ｂ（ｒ）が求められる。
【数１】
2011076157.tif 000003
【数２】
2011076157.tif 000004
【００５１】
式（１）中、ＨＲ／Ｇ（ｒ）は、赤成分区間Ｌｒの（Ｒ値／Ｇ値）の平均値を通る曲線である。ｒは、Ｒ値である。σＲ／Ｇは、補正処理対象領域Ｐｅ１の（Ｒ値／Ｇ値）の標準偏差である。αＲ／ＧとβＲ／Ｇは所定の係数である。また式（２）中、ＨＲ／Ｂ（ｒ）は、赤成分区間Ｌｒの（Ｒ値／Ｂ値）の平均値を通る曲線である。σＲ／Ｂは、補正処理対象領域Ｐｅ１の（Ｒ値／Ｂ値）の標準偏差である。αＲ／ＢとβＲ／Ｂは所定の係数である。
【００５２】
すなわちいずれの分離曲線について、その形は、式（１）および式（２）の第１項で決定され、赤成分区間Ｌｒの（Ｒ値／Ｇ値）または（Ｒ値／Ｂ値）の平均値を基準として、（Ｒ値／Ｇ値）または（Ｒ値／Ｂ値）の標準偏差の大きさに応じた大きさの凹凸で変化する。なおαによりその変化が微調整される。曲線の高さは、式（１）および式（２）の第２項で決定され、補正処理対象領域Ｐｅ１における、Ｒ値の平均値とＧ値の平均値の比またはＲ値の平均値とＢ値の平均値の比が基準となっている。なおβによりその高さが微調整される。
【００５３】
ここで式（１）および式（２）の意味について説明する。
【００５４】
図１０は、補正処理対象領域Ｐｅ１の各画素を、Ｒ値と（Ｒ値／Ｇ値）を軸とする平面に、そのＲ値と（Ｒ値／Ｇ値）に応じた位置にプロットした図である。白抜きの四角印（□印）は、赤色の赤目現象が生じている画素（以下、適宜、赤色赤目画素と称する）を示し、黒塗りの四角印（■印）は、赤色赤目画素以外の画素（すなわち赤色の赤目現象が生じていない画素（以下、適宜、非赤色赤目画素と称する））を示している。赤目現象には、瞳孔部分が赤色になる場合の他に、金色になる現象（いわゆる金目）があるが、金色の赤目現象が生じている画素については、後述する。
【００５５】
図１０の例では、非赤色赤目画素は、その多くが下側に集まっている。一方赤色赤目画素は、非赤色赤目画素に比べ分散して分布しており、その多くは、非赤色赤目画素が集まっている領域より上方に存在する。
【００５６】
ところで補正処理対象領域Ｐｅ１（図４）の大きさが十分大きい場合、補正処理対象領域Ｐｅ１には、瞳孔以外の部分の画像の画素が多く含まれる。すなわち補正処理対象領域Ｐｅ１における非赤色赤目画素の数は、赤色赤目画素の数より圧倒的に多くなる。したがって補正処理対象領域Ｐｅ１の大きさが十分に大きい場合、Ｒ値毎（たとえば、赤成分区間Ｌｒ毎）の（Ｒ値／Ｇ値）の平均値は、非赤色赤目画素の分布を表していることになる。したがって式（１）に示した赤成分区間Ｌｒの（Ｒ値／Ｇ値）の平均値を通る曲線ＨＲ／Ｇ（ｒ）は、非赤色赤目画素の分布に沿った曲線になる。
【００５７】
また非赤色赤目画素の分布に沿った曲線ＨＲ／Ｇ（ｒ）を、［補正処理対象領域Ｐｅ１におけるＲ値の平均値とＧ値の平均値の比］に対応する値だけ上方に移動させると（すなわち加算すると）、非赤色赤目画素の分布の上側に沿った曲線を得ることができる。赤色赤目画素の多くは非赤色赤目画素が集まっている領域より上方に存在するので、この非赤色赤目画素の分布の上側に沿った曲線は、非赤色赤目画素の分布と赤色赤目画素の分布の境界を示す曲線、すなわち両者を分離する曲線になる。したがって式（１）のＦＲ／Ｇ（ｒ）は、非赤色赤目画素の分布の上側に沿った曲線であって、非赤色赤目画素の分布と赤色赤目画素の分布を分離する曲線になる。
【００５８】
一方、金色の赤目現象が生じている画素（以下、金色赤目画素と称する）は、黄色系の色であるので、金色赤目画素は、Ｒ値と（Ｒ値／Ｇ値）を軸とする平面では、非赤色赤目画素の分布の中に含まれてしまう。しかしながら、Ｒ値と（Ｒ値／Ｂ値）を軸とする平面では、金色赤目画素の分布は、Ｒ値と（Ｒ値／Ｇ値）を軸とする平面における赤色赤目画素と同じように上方に分散して分布する。金色赤目画素以外の画素（以下、非金色赤目画素と称する）は、Ｒ値と（Ｒ値／Ｇ値）を軸とする平面における非赤色赤目画素と同じようにその多くが下側に集まるように分布する。したがって金色赤目画素は、非金色赤目画素が集まっている領域より上方に存在する。
【００５９】
そのことから式（２）のＦＲ／Ｂ（ｒ）も、式（１）のＦＲ／Ｇ（ｒ）と同様な理由により、非金色赤目画素の分布の上側に沿った曲線であって、非金色赤目画素の分布と金色赤目画素の分布を分離する曲線となる。
【００６０】
なお非赤色赤目画素の分布と赤色赤目画素の分布を分離する曲線ＦＲ／Ｇ（ｒ）と、非金色赤目画素の分布と金色赤目画素の分布を分離する曲線ＦＲ／Ｂ（ｒ）を得るには、Ｒ値毎（この例の場合、赤成分区間Ｌｒ毎）の（Ｒ値／Ｇ値）の平均値が、非赤色赤目画素の分布を表し、（Ｒ値／Ｂ値）の平均値が、非金色赤目画素の分布を表していることが必要になる。すなわち補正処理対象領域Ｐｅ１が、瞳孔以外の部分の画像の画素を多く含むような画サイズを有する必要がある。
【００６１】
そのような理由から補正処理対象領域Ｐｅ１の特徴量抽出処理（図８のステップＳ１１）では、補正処理対象領域Ｐｅ１が、瞳孔以外の部分の画像を多く含むだけの大きさであるか否かが判定され（図９のステップＳ２１）、そのような大きさでないと判定された場合、補正処理対象領域Ｐｅ１が拡大される（ステップＳ２２）。この例の場合、補正処理対象領域Ｐｅ１の長手方向の幅が、赤目候補領域Ｐｅ２の直径の２倍になるように補正処理対象領域Ｐｅ１が拡大される。
【００６２】
分離曲線生成部５２は、求めた分離曲線ＦＲ／Ｇ（ｒ）とＦＲ／Ｂ（ｒ）を、内部メモリー１２に記憶する。
【００６３】
なおこの例の場合、Ｒ＝０、Ｒ＝２２５、および各赤成分区間Ｌｒの中央値（１６点）に対応付けて（Ｒ値／Ｇ値）の平均値を、分離曲線ＦＲ／Ｇ（ｒ）の制御点として記憶し、その制御点の間は両隣の制御点に基づいて補完するものとする。またＲ＝０、Ｒ＝２２５、および各赤成分区間Ｌｒの中央値（１６点）に対応付けて（Ｒ値／Ｂ値）の平均値を、分離曲線ＦＲ／Ｂ（ｒ）の制御点として記憶し、その制御点の間は両隣の制御点に基づいて補完するものとする。このように制御点のみを記憶することで、記憶容量を節約することができる。
【００６４】
このように分離曲線が生成されると、処理は、図８に戻りステップＳ１４に進む。ステップＳ１４において、赤目領域特定情報生成部４３の補正強度マップ生成部５３は、分離曲線に基づいて、赤目領域を特定する。この例の場合、その特定の結果を示す情報として予備補正強度マップＭａが生成される。
【００６５】
予備補正強度マップＭａは、上述したように、補正処理対象領域Ｐｅ１の各画素に対応する格納部を有している。格納部は、画素とみなすことができるので、予備補正強度マップＭａは、少なくとも、補正処理対象領域Ｐｅ１と同じ画サイズを有していることになる。予備補正強度マップＭａの各格納部（すなわち各画素）には、この例の場合、対応する補正処理対象領域Ｐｅ１の画素が赤目を構成する画素であると推定できる場合は、１２８以上の値が、そうでない場合には１２８より小さい値が格納される。
【００６６】
図１１は、補正強度マップ生成処理の流れを示すフローチャートである。ステップＳ３１において、補正強度マップ生成部５３は、補正処理対象領域Ｐｅ１から注目する１個の画素（以下、注目画素と称する）を選択し、ステップＳ３２において、注目画素のＲ値、（Ｒ値／Ｇ値）、および（Ｒ値／Ｂ値）を取得する。
【００６７】
次にステップＳ３３において、補正強度マップ生成部５３は、注目画素のＲ値に対応する分離曲線の値（以下、分離閾値と称する）を取得する。具体的には、式（１）より注目画素のＲ値における分離閾値としての（Ｒ値／Ｇ値）（以下、分離閾値Ｒ／Ｇと称する）が求められ、式（２）より注目画素のＲ値における分離閾値としての（Ｒ値／Ｂ値）（以下、分離閾値Ｒ／Ｂと称する）が求められる。
【００６８】
ステップＳ３４において、補正強度マップ生成部５３は、ステップＳ３３で求められた分離閾値に応じた補正強度係数を求める。たとえば、図１２に示す補正強度係数テーブルが参照されて、注目画素の（Ｒ値／Ｇ値）と分離閾値Ｒ／Ｇの比に対応する補正強度係数と、注目画素の（Ｒ値／Ｂ値）と分離閾値Ｒ／Ｂの比に対応する補正強度係数とが求められ、大きい方の補正強度係数が、その注目画素の補正強度係数とされる。そして補正強度マップ生成部５３は、求めた補正強度係数を、注目画素に対応する予備補正強度マップＭａの格納部に格納する。
【００６９】
注目画素の（Ｒ値／Ｇ値）と分離閾値Ｒ／Ｇの比が１以上となる画素は、Ｒ値と（Ｒ値／Ｇ値）を軸とする平面において（図１０）、分離曲線ＦＲ／Ｇ上またはそれより上方に存在する。また注目画素の（Ｒ値／Ｂ値）と分離閾値Ｒ／Ｂの比が１以上となる画素は、Ｒ値と（Ｒ値／Ｂ値）を軸とする平面において、分離曲線ＦＲ／Ｂ上またはそれより上方に存在する。したがって注目画素の（Ｒ値／Ｇ値）と分離閾値Ｒ／Ｇの比、または注目画素の（Ｒ値／Ｂ値）と分離閾値Ｒ／Ｂの比が１以上になったときは、注目画素は、赤目画素の分布の中の画素、すなわち赤目を構成する画素として推定され、その画素には、１２８以上の値が割り当てられる。
【００７０】
一方、注目画素の（Ｒ値／Ｇ値）と分離閾値Ｒ／Ｇの比が１より小さい画素は、Ｒ値と（Ｒ値／Ｇ値）を軸とする平面において（図１０）、分離曲線ＦＲ／Ｇより下方に存在する。また注目画素の（Ｒ値／Ｂ値）と分離閾値Ｒ／Ｂの比が１より小さい画素は、Ｒ値と（Ｒ値／Ｂ値）を軸とする平面において、分離曲線ＦＲ／Ｂより下方に存在する。したがって注目画素の（Ｒ値／Ｇ値）と分離閾値Ｒ／Ｇの比、および注目画素の（Ｒ値／Ｂ値）と分離閾値Ｒ／Ｂの比がいずれも１より小さいときは、注目画素は、非赤目画素の分布の中の画素、すなわち赤目を構成しない画素として推定され、１２８より小さな値が割り当てられる。
【００７１】
なお赤目を構成しない画素と推定された画素においても、（Ｒ値／Ｇ値）と分離閾値Ｒ／Ｇの比（または（Ｒ値／Ｂ値）と分離閾値Ｒ／Ｂの比）が０．８以上である場合は（すなわち分離曲線から２割下側に分布する画素については）、ある大きさの補正強度係数が割り与えられる。その結果、その画素には、補正処理Ｚ２によりその補正強度係数に応じた補正強度で色補正される。これは、瞳孔でなくても赤目現象の影響を受けている部分にもある程度の補正をかけるためである。
【００７２】
次にステップＳ３５において、補正強度マップ生成部５３は、赤目候補領域Ｐｅ２内のすべての画素を注目画素として選択したか否かを判定する。まだ注目画素として選択されていない画素が存在する場合、補正強度マップ生成部５３は、ステップＳ３１に戻り、他の画素を注目画素として選択し、ステップＳ３２以降の処理を同様に実行する。
【００７３】
ステップＳ３５で、補正処理対象領域Ｐｅ１内のすべての画素を注目画素として選択したと判定された場合、予備補正強度マップＭａが生成される。予備補正強度マップＭａには、赤目を構成する画素であると推定された画素については１２８以上の値が格納され、赤目を構成しない画素であると推定された画素については１２８より小さな値が格納される。
【００７４】
このように予備補正強度マップＭａが生成されると、図８の赤目領域特定情報生成処理Ｚ０−１が終了する。以上のように、分離曲線を用いて、補正処理対象領域Ｐｅ１の画素ごとに赤目について判定するようにしたので、赤目を構成する画素を推定することができ、結果として赤目領域を特定することができる。
【００７５】
次に処理は、図８のステップＳ１５に進み、補正処理Ｚ０−２が実行される。
【００７６】
［補正処理Ｚ０−２の説明］
図１３は、補正処理Ｚ０−２の流れを示すフローチャートである。ステップＳ４１において、補正部４４は、赤目候補領域Ｐｅ２（図４）から注目する画素を選択し、ステップＳ４２において、予備補正強度マップＭａから、注目画素に相当する格納部に格納されている補正強度係数を読み取る。
【００７７】
ステップＳ４３において、補正部４４は、読み取った補正強度係数に応じて、注目画素の色を調整する。たとえば補正強度係数の大きさに応じた濃さの黒色を選択し、注目画素の色を、その黒色に置き換える。
【００７８】
たとえば式（３）により、赤目候補領域Ｐｅ２の注目画素ｉとその両隣の画素i-1，画素i+1のＲＧＢがブレンドされる。そして式（４）により、ブレンドされたＲＧＢ（式（３）中、Ｒ’，Ｇ’，Ｂ’）を用いて、ターゲットカラー（式（４）中、TargetColor）としてグレー色が求められる。
【数３】
2011076157.tif 000005
【数４】
2011076157.tif 000006
【００７９】
さらに式（５）により、注目画素の補正強度係数（式（５）中、Intensity）を用いて、ターゲットカラーと注目画素のＲＧＢがブレンドされて、置き換えられる色（式（５）中、Ｒnew、Ｇnew，Ｂnew）が決定される。そして注目画素の色が、ここで求められた色に置き換えられる。
【数５】
2011076157.tif 000007
【００８０】
ステップＳ４４において、補正部４４は、赤目候補領域Ｐｅ２内のすべての画素を注目画素として選択したか否かを判定する。まだ注目画素として選択されていない画素が存在する場合、ステップＳ４１に戻り、補正部４４は、他の画素を注目画素として選択し、ステップＳ４２以降の処理を同様に実行する。
【００８１】
ステップＳ４４で、赤目候補領域Ｐｅ２内のすべての画素を注目画素として選択したと判定された場合、補正処理は終了する。このように補正強度係数の大きさに応じた度合いで色補正が行われる。
【００８２】
図１４は、赤目候補領域Ｐｅ２部分の、予備補正強度マップＭａに設定された補正強度のイメージを示した図である。図１４には白色の程度が示されていないが、より白色の程、補正強度係数が高いことになる。このように赤目領域とされた領域に対して、所定の補正強度係数で色補正が施される。図１５は、その補正が施された赤目候補領域Ｐｅ２のイメージを示した図である。この例では、図４と比較して瞳孔部分は黒色で示されているが、これは色補正が行われたことを表している。
【００８３】
［指定領域補正処理Ｚ１の説明］
図１６は、指定領域補正処理Ｚ１の流れを示すフローチャートである。ステップＳ１０１において、指定領域補正部３２の前処理部７１は、処理対象画像ＴＩの中の補正処理対象領域Ｐｅ１と、予備補正部３１により補正された補正処理対象領域Ｐｅ１とを比較し（すなわち原画像と予備補正された画像と比較し）、色の構成に変化が生じている画素に対応する中間補正強度マップＭｂの格納部に“１”を設定し、色の構成に変化が生じていない画素に対応する格納部に“０”を設定する。
【００８４】
なお予備補正処理Ｚ０では、赤目を構成する画素ではないと推定される画素に対しても（すなわち１２８以上の補正強度係数が割り当てられない画素に対しても）、（Ｒ値／Ｇ値）と分離閾値Ｒ／Ｇの比（または（Ｒ値／Ｂ値）と分離閾値Ｒ／Ｂの比）が０．８以上である場合は、予備補正強度マップＭａのその画素に対応する格納部に、ある大きさの補正強度係数が設定される。すなわちそのような画素にも色補正が施され、原画像との比較においてはその画素の色の構成は変化しているので、その画素に対応する中間補正強度マップＭｂの格納部には“１”が設定される。したがって中間補正強度マップＭｂにおいては、予備補正において赤目を構成する画素ではないと推定された画素であっても、赤目を構成する画素とされることがある。たとえば、予備補正処理Ｚ０では、赤目程ではないが赤味が強い瞼の周辺の画素は、赤目を構成する画素ではないと推定されたが（たとえば、１２８より小さいたとえば６４の補正強度数が与えられたが）、中間補正強度マップＭｂにおいては赤目を構成する画素として登録される（“１”が格納される）。
【００８５】
このことより予備補正処理Ｚ０に比べ、赤目とする範囲が広がるが、そのようにしても、後述するステップＳ１０２からステップＳ１０５の処理で、中間補正強度マップＭｂのノイズが除去されるので、この段階で、赤目を構成する可能性がある画素を赤目を構成する画素としておくことは特に問題がない。またこのように赤目とする範囲を広げておくことにより、赤目を構成する可能性がある画素を、最終的に赤目を構成する画素として残すことができる。
【００８６】
次にステップＳ１０２からステップＳ１０７において、指定領域補正部３２の後処理部７２は、前処理部７１により作成された中間補正強度マップＭｂに対して、ノイズを除去する処理を実行する。
【００８７】
ステップＳ１０２において、後処理部７２の膨張処理部８１は、中間補正強度マップＭｂの指定位置に対応する格納部を中心とする所定の範囲を拡大する。なお中間補正強度マップＭｂの格納部を、適宜、画素とも称し、指定位置に対応する格納部を、対応画素とも称する。
【００８８】
この例の場合、中間補正強度マップＭｂの対応画素を中心とする、補正処理対象領域Ｐｅ１の短辺の長さの５％の長さを一辺する矩形領域に対して、「ｎ＝３の膨張処理」が施される。「ｎ＝３の膨張処理」とは、２値の場合、注目画素から３×３の範囲内に“１”があるとき、注目画素が“１”となる処理である。すなわち“１”の画素から３（＝ｎ）個分の画素をすべて“１”にする処理であり、その結果、“１”の画素を中心とする７×７個分の画素が“１”となる。
【００８９】
なおここでの処理は、ユーザーが指定した位置は赤目である可能性があるので、その位置を含む領域に対応する中間補正強度マップＭｂの領域が後述する処理で赤目領域ではないとされることを防止するため、指定位置に対応する対応画素付近に“１”となる画素を増やすためのものである。
【００９０】
ステップＳ１０３において、後処理部７２のノイズ除去部８２は、ステップＳ１０２で膨張処理が施された中間補正強度マップＭｂに対してメディアンフィルター処理を施す。この処理は、孤立点を落とすためのもので、中間補正強度マップＭｂ全体に施される。
【００９１】
図１７は、メディアンフィルター処理前の中間補正強度マップＭｂのイメージを示した図である。図１８は、メディアンフィルター処理を施した中間補正強度マップＭｂのイメージを示した図である。このようにメディアンフィルター処理により、孤立点（小さなぶつぶつ）が排除される。
【００９２】
なおメディアンフィルター処理は、ある範囲の領域における画素の値を小さい順に並べ、真ん中にくる値を領域中央の画素の値とする処理である。
【００９３】
次にステップＳ１０４において、ノイズ除去部８２の制御部９１は、中間補正強度マップＭｂに対して施す処理を、オープニング処理およびクロージング処理のいずれかに選択する。なおここでの判定基準については、後述する。
【００９４】
ステップＳ１０４で、オープニング処理を施すと判定した場合、ステップＳ１０５において、制御部９１は、オープニング処理部９２を制御して、中間補正強度マップＭｂに対して、ｎ＝３のオープニング処理を実行させる。ｎ＝３のオープニング処理とは、注目画素に対して、「ｎ＝３の侵食処理」、そして「ｎ＝３の膨張処理」をその順番に施す処理である。この「ｎ＝３の膨張処理」は、２値の場合、注目画素から３×３の範囲内に“１”があるとき、注目画素が“１”となる処理である。すなわち“１”の画素から３（＝ｎ）個分の画素をすべて“１”にする処理であり、その結果、“１”の画素を中心とする７×７個分の画素が“１”となる。「ｎ＝３の浸食処理」は、注目画素から３×３の範囲内に“０”があるとき、注目画素が“０”となる処理である。すなわち“０”の画素から３（＝ｎ）個分の画素をすべて“０”にする処理であり、その結果、“０”の画素を中心とする７×７個分の画素が“０”となる。
【００９５】
図１９は、オープニング処理をさらに施した中間補正強度マップＭｂのイメージを示した図である。図１８で繋がっていた領域がある程度分離されている。
【００９６】
一方ステップＳ１０４で、クロージング処理を施すと判定した場合、ステップＳ１０６において、制御部９１は、クロージング処理部９３を制御して、中間補正強度マップＭｂに対して、ｎ＝３のクロージング処理を実行させる。ｎ＝３のクロージング処理とは、注目画素に対して、「ｎ＝３の侵食処理」、そして「ｎ＝３の膨張処理」をその順番（オープニング処理の逆の順番）に施す処理である。
【００９７】
ステップＳ１０５で、オープニング処理が行われ、またはステップＳ１０６で、クロージング処理が行われると、ステップＳ１０７において、後処理部７２のオブジェクト生成部８３は、上述した処理が施された中間補正強度マップＭｂ上に、赤目領域に対応するオブジェクト（以下、赤目オブジェクトと称する）を生成する。図２０は、赤目オブジェクト生成処理の流れを示すフローチャートである。
【００９８】
ステップＳ１１１にいて、オブジェクト生成部８３は、中間補正強度マップＭｂに対してラベリング処理を施す。具体的には、“１”の画素が連結している領域を１つのオブジェクトとし、各オブジェクトに識別番号が付与される。
【００９９】
ステップＳ１１２において、オブジェクト生成部８３は、各オブジェクトから、赤目オブジェクトを選択する。
【０１００】
具体的には、オブジェクト生成部８３は、各オブジェクトについて、オブジェクトの、「縦横比」、「円形度」、「対応画素からの距離」、および「面積」を算出する。
【０１０１】
「縦横比」は、オブジェクトの高さと幅の比率であって、値の大きい方を分子に、値の小さい方を分母にしたときに得られる値である。また「対応画素からの距離」（ｄ）は、中間補正強度マップＭｂの対応画素とオブジェクトの重心の距離であって、対応画素を（Ｘc，Ｙc）とし、オブジェクトの重心を（Ｘo，Ｙo）とすると、下記の式（６）で求められる。
【数６】
2011076157.tif 000008
【０１０２】
また「円形度」（Ｃ）は、オブジェクトの面積をＳ、オブジェクトの周長をＬとしたとき、下記の式（７）で求められる。なおオブジェクトが完全な円であるとき、円形度が１となり、形が複雑になればなるほど、面積に対して周長が長くなるので、円形度は低くなる。ただし、デジタル画像においては量子化誤差が発生するため、計算結果が１を超えることがある。
【数７】
2011076157.tif 000009
【０１０３】
そしてオブジェクト生成部８３は、各オブジェクトについて、「縦横比」、「円形度」、「対応画素からの距離」、または「面積」に基づいて、「所定の大きさより大きいオブジェクト」であるか、「対応画素から所定の距離以上に離れているオブジェクト」であるか、「縦横比が２．０以上の（すなわち細長い）オブジェクト」であるか、または「円形度が所定の閾値より小さい（すなわち円形でない）オブジェクト」であるか否かを判定し、それらの条件を満たすオブジェクトは、赤目オブジェクトではないとして、中間補正強度マップＭｂから削除する。具体的には、そのオブジェクトを構成する中間補正強度マップＭｂの画素に０を割り当てられる。
【０１０４】
なおここでの判定は、赤目現象が生じる瞳孔の形状、およびユーザーは赤目を指定することを前提に基づくものである。すなわち赤目領域を示すオブジェクトは、瞳孔の形状に相当する円形状となっており、指定位置に対応する対応画素から近い位置にあることを前提としている。
【０１０５】
そしてさらにオブジェクト生成部８３は、残ったオブジェクトから、「円形度が所定の閾値（たとえば、０．２または０．４）以上のオブジェクト」であって、「指定位置から最も近いオブジェクト」を、赤目オブジェクトとして選択し、それ以外のオブジェクトを削除する。
【０１０６】
ステップＳ１１３において、オブジェクト生成部８３は、赤目オブジェクトの縦横比を算出し、１：５以上ある場合、形状を整形する。たとえば、図２１に示すような、瞼と虹彩の部分がくっついてしまっており、縦横比が１．５以上となっているとき、整形処理が施される。
【０１０７】
ここで行われる整形処理は、図２２に示すように、赤目オブジェクトの長手方向の軸（図２１の例では、Ｘ軸）に赤目オブジェクトのヒストグラムがとられる。すなわち同じＸ値を有する画素の値が、Ｘ値毎に加算される。そして閾値ＸLより小さい部分（適宜、ヒゲと称する）の領域がカットされる。このような整形処理により、図２１に示した赤目オブジェクトは、図２３に示すように、左側に伸びたヒゲ部分が削除される。なお閾値ＸLは、たとえば、ヒストグラムの最大値の４５％の値とされる。
【０１０８】
以上のようにオブジェクトが整形されると、赤目オブジェクト生成処理（図２０）は終了する。このように、赤目領域に対応する画素が残った中間補正強度マップＭｂが得られ、これが本補正強度マップＭｃとなる。
【０１０９】
本補正強度マップＭｃが生成されると、次にステップＳ１０８（図１６）において、指定領域補正部３２の補正部６２は、その本補正強度マップＭｃを参照して、補正処理対象画像Ｐｄ１から赤目を構成している画素の領域（この例の場合、円形領域）を取得し、その円領域内の画素の色を黒色等に置き換える色補正処理を行う。
【０１１０】
以上のようにして、指定領域補正処理Ｚ１が実行される。
【０１１１】
次にステップＳ１０４における、中間補正強度マップＭｂに対して、オープニング処理を行うか、クロージング処理を行うかの判定基準について説明する。
【０１１２】
オープニング処理を行った方がよいと考えられる条件は、以下の通りである。
【０１１３】
たとえば「明るくなく赤被りしている画像」や「標準偏差が比較的高い画像」では、虹彩だけではなく睫毛（まつげ）部分の画素も、予備補正処理Ｚ０で、赤目を構成する画像であると推定される画素が多数抽出される可能性がある。すなわち赤目オブジェクト生成処理で形成されるオブジェクトが大きくなる傾向にある。したがってこの場合、適切な大きさのオブジェクトが形成されるように、オープニング処理を行った方がよいと考えられる。
【０１１４】
たとえば、被写体をアジア系の人物を対象としている場合、予備補正処理Ｚ０では、アジア系の茶色の虹彩が有利となるような判断基準が用いられている。具体的には、茶色の画素が赤目を構成する画素として特定されるような、高さが少し低い分離曲線が用いられる。そのような判断基準においては、画像自体が暗いときは、茶色の虹彩の色領域に近いものが増えることになるので、赤目を構成する画素であると推定される画素の数が多くなる。そのため、そのまま赤目オブジェクト生成処理を行うと、適切に赤目オブジェクトが生成されない可能性がある。たとえば瞳孔部分の画像と他の部分の画像が繋がって、赤目オブジェクトとして残らないことがあり得る。そこで、特に、アジア系の茶色の虹彩が有利となるような判断基準が用いられている場合、画像が暗いときは、オープニング処理を行った方がよいと考えられる。
【０１１５】
「標準偏差が比較的高い画像」の場合、補正処理対象領域Ｐｅ１の中に、目以外の部位等の画像が含まれている可能性がある。すなわちこのような場合も、赤目オブジェクト生成処理で形成されるオブジェクトが大きくなる傾向にあるので、瞳孔部分の画像に対応するオブジェクトが赤目オブジェクトとして残らないことがあり得る。そこで、このような場合も、オープニング処理を行った方がよいと考えられる。
【０１１６】
なお「明るくないか」は、補正処理対象領域Ｐｅ１の輝度値を算出し、その輝度値が所定の閾値より小さいか否かにより判定される。また「赤被りしているか」は、補正処理対象領域Ｐｅ１の対応画素から補正処理対象領域Ｐｅ１の５％の領域の赤度（Redness）を下記の式（８）に基づいて算出し、その赤度Rednessが所定の閾値より大きいか否かにより判定される。なお式（８）中のＲave，Ｇave，Ｂaveは、それぞれ式（９）により算出される。たとえば赤度Rednessが２．０より大きい場合、「赤被りしている」とすることができる。また「標準偏差が高いか」は、上述したステップＳ２４で算出された補正処理対象領域Ｐｅ１の（Ｒ値／Ｇ値）の標準偏差または（Ｒ値／Ｂ値）の標準偏差が所定の閾値より大きいか否かにより判定される。
【数８】
2011076157.tif 000010
【数９】
2011076157.tif 000011
【０１１７】
クロージング処理を行った方がよいと考えられる条件は、以下の通りである。
【０１１８】
「眠い画像（全体的に彩度やコントラストが低い画像）」、「虹彩内部のキャッチライトが大きかったり、瞳孔の色が金色になっている画像」、「標準偏差が低い画像」、「はっきりした赤目画素が少ない画像」では、虹彩が分断され、複数のオブジェクトとして抽出されるので、クロージング処理を行った方がよいと考えられる。
【０１１９】
「眠い画像（全体的に彩度やコントラストが低い画像）」や「標準偏差は低い画像」の場合、虹彩が分断されている可能性が高いので、虹彩の部分が、赤目オブジェクト生成処理において複数のオブジェクトとして抽出される可能性がある。したがって、そこで、この場合は、クロージング処理を行った方がよいと考えられる。
【０１２０】
「虹彩内部のキャッチライトが大きかったり、瞳孔の色が金色になっていたりする画像」の場合、キャッチライトの部分が一般的に白色なので、予備補正処理Ｚ０では、その部分を赤目領域として特定することができない。したがってその部分が繋がるようにクロージング処理を行った方がよいと考えられる。
【０１２１】
図２４は、キャッチライトが生じている画像から生成された中間補正強度マップＭｂのイメージを示した図である。このようにキャッチライトにより目玉の円形部分の一部が切れている。すなわちこのような場合、クロージング処理を行い切れている部分を繋げるようにすることが望ましい。
【０１２２】
「はっきりした赤目画素は少ない画像」では、当然、予備補正処理Ｚ０では、赤目を構成する画素であると推定される画素が少なくなることから、小さな複数のオブジェクトが形成される傾向がある。そこで、この場合も、クロージング処理を行って、小さなオブジェクトを連結した方がよいと考えられる。
【０１２３】
なお「画像が眠いか」は、彩度やコントラストを算出し、それらが所定の閾値より小さいか否かにより判定される。「キャッチライトが大きいか」は、画像データの分布のパターンにより判定することができる。「はっきりした赤目画素は少ないか」は、予備補正処理Ｚ０で、赤目を構成する画素であると推定された画素の数が、所定の閾値より小さいか否かにより判定される。
【０１２４】
［実施形態における効果］
このように補正処理対象領域Ｐｅ１の全部または一部の色状態に応じて、ノイズ処理としてオープニング処理またはクロージング処理を選択的に行うことができるようにしたので、中間補正強度マップＭｂからノイズを適切に除去することができる。たとえば赤目を構成する画素であると推定される画素が隣接して形成されるオブジェクトの大きさが大きくなる傾向にある場合、オープニング処理を実行し、逆にその大きさが小さくなる傾向にある場合、クロージング処理を施すようにしたので、中間補正強度マップＭｂからノイズを適切に除去することができる。
【０１２５】
［変形例］
１．なお以上においては、中間補正強度マップＭｂには、“１”または“０”の２値情報が格納される場合を例として説明したが、たとえば予備補正強度マップＭａのような０〜２５５までの値が格納されるようにすることもできる。
【０１２６】
２．また以上においては、予備補正強度マップＭａから中間補正強度マップＭｂを生成し、その中間補正強度マップＭｂに対してノイズ除去等の処理を施したが、予備補正強度マップＭａを取得して、予備補正強度マップＭａに対して処理を施し、本補正強度マップＭｃを生成することもできる。
【０１２７】
３．また以上においては、赤目オブジェクト生成処理においてすべてのオブジェクトが削除された場合、赤目領域が特定されないので、色補正がなされない。しかしながらユーザーが赤目補正をするためにある位置を指定していることを前提とすると、何らかの補正をかけることもできる。たとえば、指定位置を中心とする所定の範囲（たとえば、１０×１０画素の範囲）における隣合う画素の色差の大きさから所定の閾値を求め、指定位置から８方向に、閾値を超える色差が表れるまで探索し、その探索した領域に対して補正を施すことができる。
【０１２８】
また予備補正処理Ｚ０において、他の方法で、予備補正強度マップＭａを生成し直すこともできる。たとえば赤目候補領域Ｐｅ２の中心から、８方向に輝度の移動平均を取り輝度差を検出し、赤目領域を抽出する方法を用いることができる。
【０１２９】
４．また以上においては、上述した処理がすべて画像処理装置１において実行される場合を例として説明したが、たとえば本補正強度マップＭｃを生成するまでの機能を画像処理装置１が有し、画像処理装置１からプリンターや表示側に本補正強度マップＭｃが提供され、プリンターや表示側で色補正が実行されるようにすることもできる。
【０１３０】
５．また上述した機能は、コンピューター等によって実現される場合、上述した機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピューターで実行することにより、処理機能がコンピューター上で実現される。処理内容を記述したプログラムは、コンピューターで読み取り可能な記録媒体に記録しておくことができる。コンピューターで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリーなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc ROM）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disc）などがある。
【０１３１】
プログラムを流通させる場合には、たとえば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバーコンピューターの記憶装置に格納しておき、ネットワークを介して、サーバーコンピューターから他のコンピューターにそのプログラムを転送することもできる。
【０１３２】
プログラムを実行するコンピューターは、たとえば、可搬型記録媒体に記録されたプログラム若しくはサーバーコンピューターから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピューターは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピューターは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピューターは、サーバーコンピューターからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。
【０１３３】
なお上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
【０１３４】
またフローチャートにその流れを示した処理は、各ステップが、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的あるいは個別に実行される処理を含むものである。また適宜処理を省略することもできる。
【符号の説明】
【０１３５】
１  画像処理装置，  １１  ＣＰＵ  ，  １２  ＲＯＭ，  １３  ＲＡＭ，  １４  バス，  １５  入出力インターフェース，  １６  入力部，  １７  出力部，  １８  記憶部，  １９  処理部，  ２０  ドライブ，  ２１  リムーバルブメディア，  ３１  予備補正部，  ３２  指定領域補正部，  ４１  画像読取部，  ４２  補正処理対象領域取得部（取得手段），  ４３  赤目領域特定情報生成部，  ４４  補正部，  ５１  特徴量抽出部，  ５２  分離曲線生成部，  ５３  補正強度マップ生成部（補正強度マップ情報生成手段），  ６１  補正強度マップ調整部，  ６２  補正部（補正手段），  ７１  前処理部，  ７２  後処理部，  ８１  膨張処理部（膨張処理手段），  ８２  ノイズ除去部（処理制御手段），  ８３  オブジェクト生成部（赤目オブジェクト生成手段），  ９１  制御部，  ９２  オープニング処理部，  ９３  クロージング処理部
【図１】
2011076157.tif 000012
【図２】
2011076157.tif 000013
【図３】
2011076157.tif 000014
【図４】
2011076157.tif 000015
【図５】
2011076157.tif 000016
【図６】
2011076157.tif 000017
【図７】
2011076157.tif 000018
【図８】
2011076157.tif 000019
【図９】
2011076157.tif 000020
【図１０】
2011076157.tif 000021
【図１１】
2011076157.tif 000022
【図１２】
2011076157.tif 000023
【図１３】
2011076157.tif 000024
【図１４】
2011076157.tif 000025
【図１５】
2011076157.tif 000026
【図１６】
2011076157.tif 000027
【図１７】
2011076157.tif 000028
【図１８】
2011076157.tif 000029
【図１９】
2011076157.tif 000030
【図２０】
2011076157.tif 000031
【図２１】
2011076157.tif 000032
【図２２】
2011076157.tif 000033
【図２３】
2011076157.tif 000034
【図２４】
2011076157.tif 000035