(57)【要約】    【課題】様々な撮影条件下において撮影された様々な画像において、色不良領域をより容易にかつ確実に補正する色不良領域補正方法などを提供する。    【解決手段】赤目現象が生じている色不良領域を含んだ画像データを読みこんで、赤目領域の抽出を行う（ステップＳ１）。この抽出された赤目領域は、補正すべき色不良領域に対して欠損部分を有している。この赤目領域の欠損部分を補間するため、新たに領域を特定する処理を行う（ステップＳ２）。さらに、その領域の補正すべき色不良領域に対する一致性の評価を行って（ステップＳ３）、その評価結果に基づいて、補正すべき色不良領域に一致するように特定された領域を変形する(ステップＳ４)。【選択図】図２
2005176261.tif 000002
【特許請求の範囲】
【請求項１】
補正すべき色不良領域を含む画像より、その色不良領域に対して欠損部分を有する第１の領域を抽出する領域抽出ステップと、
前記第１の領域の欠損部分を補間する第２の領域を特定する領域補間ステップとを有することを特徴とする色領域特定方法。
【請求項２】
補正すべき色不良領域を含み、その色不良領域に対して欠損部分を有する第１の領域が抽出された画像を取得する画像取得ステップと、
前記第１の領域の欠損部分を補間する第２の領域を特定する領域補間ステップとを有することを特徴とする色領域特定方法。
【請求項３】
請求項１または２の色領域特定方法において、
前記色不良領域は、赤目現象によって生じた赤目領域であることを特徴とする色領域特定方法。
【請求項４】
請求項１〜３のいずれかの色領域特定方法において、
前記第２の領域は、前記第１の領域よりも大きいことを特徴とする色領域特定方法。
【請求項５】
請求項１〜４のいずれかの色領域特定方法において、
前記領域補間ステップは、前記第１の領域を前記画像上に設定された所定の大きさの構造要素内で移動させたときの論理和の領域を求めるミンコフスキー和演算ステップと、前記ミンコフスキー和演算ステップにより求められた領域を前記構造要素内で移動させたときの論理差の領域を求めるミンコフスキー差演算ステップとを含み、
前記ミンコフスキー差演算ステップにより求められた領域を前記第２の領域として特定することを特徴とする色領域特定方法。
【請求項６】
請求項５の色領域特定方法において、
前記構造要素の大きさを前記第１の領域の大きさに基づいて決定することを特徴とする色領域特定方法。
【請求項７】
請求項１〜６のいずれかの色領域特定方法において、
前記領域補間ステップにより特定された第２の領域を前記色不良領域に一致させるように変形する領域変形ステップをさらに有することを特徴とする色領域特定方法。
【請求項８】
請求項７の色領域特定方法において、
前記領域変形ステップは、前記第２の領域の前記色不良領域に対する一致性を評価する評価ステップと、前記評価ステップの結果に基づいてその第２の領域を変形する変形ステップとを含むことを特徴とする色領域特定方法。
【請求項９】
請求項８の色領域特定方法において、
前記評価ステップは、前記第２の領域の境界から所定範囲内における色情報に基づいて、前記色不良領域に最も一致する境界位置を求めることにより前記一致性を評価することを特徴とする色領域特定方法。
【請求項１０】
請求項９の色領域特定方法において、
前記変形ステップは、前記第２の領域の境界を前記評価ステップにより求められた境界位置とすることにより、その第２の領域を変形することを特徴とする色領域特定方法。
【請求項１１】
請求項１〜６のいずれかの色領域特定方法により特定された第２の領域の色情報を変更することにより、前記色不良領域の色補正を行う色補正ステップを有することを特徴とする色不良領域補正方法。
【請求項１２】
請求項７〜１０のいずれかの色領域特定方法により特定され変形された第２の領域の色情報を変更することにより、前記色不良領域の色補正を行う色補正ステップを有することを特徴とする色不良領域補正方法。
【請求項１３】
請求項１１または１２の色不良領域補正方法において、
前記色補正ステップは、前記画像の所定部分の色情報を取得して記憶する記憶ステップと、前記記憶ステップにより記憶された色情報に基づいて前記色不良領域に含まれる前記所定部分の色補正を行う部分色補正ステップとを含むことを特徴とする色不良領域補正方法。
【請求項１４】
請求項１３の色不良領域補正方法において、
前記記憶ステップは、前記画像よりキャッチライトの部分を探索し、その部分の色情報を取得して記憶し、
前記部分色補正ステップは、前記記憶ステップにより色情報を記憶されたキャッチライトの部分の色補正を行うことを特徴とする色不良領域補正方法。
【請求項１５】
請求項１〜１０いずれか１項に記載の色領域特定方法のステップをコンピュータに実行させるための色領域特定処理プログラム。
【請求項１６】
請求項１１〜１４いずれか１項に記載の色不良領域補正方法のステップをコンピュータに実行させるための色不良領域補正処理プログラム。
【請求項１７】
請求項１５の色領域特定処理プログラムまたは請求項１６の色不良領域補正処理プログラムのいずれか、またはその両方を記録したコンピュータ読みとり可能な記録媒体。
【請求項１８】
請求項１５の色領域特定処理プログラムまたは請求項１６の色不良領域補正処理プログラムのいずれか、またはその両方を搭載し、実行する画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理において、色不良領域などの特定の色領域を特定する色領域特定方法、色領域特定処理プログラム、および、色領域特定方法を用い、色不良領域を補正する色不良領域補正方法、色不良領域補正処理プログラム、および、色領域特定処理プログラムまたは色不良領域補正処理プログラムのいずれか、またはその両方の実行が可能な画像処理装置に関する。特に、フラッシュ撮影時の赤目現象による色不良を改善する技術に関する。
【背景技術】
【０００２】
フラッシュ撮影をしたとき、人の目が赤くなったり金色になったりするいわゆる赤目現象が知られている。この赤目を修正する装置が開示されている（特許文献１）。この赤目修正装置では、色不良となった瞳を含むなるべく小さな矩形領域をユーザが指定する。そして、指定された領域内部全体において、色度の平均値等のパラメータからしきい値処理を行うことにより、赤目現象による色不良領域を抽出して修正するものである。
【０００３】
【特許文献１】特開平７−１３２７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、瞳の色不良を単純に赤目といっても、撮影環境や照明条件などの影響によって、普通の赤色をした赤目、明るい赤色をした金目と呼ばれるもの、またはグラデーションを持った赤目など、様々な種類のものが存在する。そのため、特許文献１に開示されているようにしきい値処理によって色不良領域を抽出する方法では、これらの様々な赤目現象による色不良領域の全てを正確に抽出することが実際上困難であり、抽出しきれずに補正できない色不良領域が残ることがある。
【課題を解決するための手段】
【０００５】
請求項１の発明による色領域特定方法は、補正すべき色不良領域を含む画像より、その色不良領域に対して欠損部分を有する第１の領域を抽出する領域抽出ステップと、第１の領域の欠損部分を補間する第２の領域を特定する領域補間ステップとを有するものである。
請求項２の発明による色領域特定方法は、補正すべき色不良領域を含み、その色不良領域に対して欠損部分を有する第１の領域が抽出された画像を取得する画像取得ステップと、第１の領域の欠損部分を補間する第２の領域を特定する領域補間ステップとを有するものである。
請求項３の発明は、請求項１または２の色領域特定方法において、色不良領域は、赤目現象によって生じた赤目領域とするものである。
請求項４の発明は、請求項１〜３のいずれかの色領域特定方法において、第２の領域は、第１の領域よりも大きいこととするものである。
請求項５の発明は、請求項１〜４のいずれかの色領域特定方法において、領域補間ステップは、第１の領域を画像上に設定された所定の大きさの構造要素内で移動させたときの論理和の領域を求めるミンコフスキー和演算ステップと、ミンコフスキー和演算ステップにより求められた領域を構造要素内で移動させたときの論理差の領域を求めるミンコフスキー差演算ステップとを含み、ミンコフスキー差演算ステップにより求められた領域を第２の領域として特定するものである。
請求項６の発明は、請求項５の色領域特定方法において、構造要素の大きさを第１の領域の大きさに基づいて決定するものである。
請求項７の発明は、請求項１〜６のいずれかの色領域特定方法において、領域補間ステップにより特定された第２の領域を色不良領域に一致させるように変形する領域変形ステップをさらに有するものである。
請求項８の発明は、請求項７の色領域特定方法において、領域変形ステップは、第２の領域の色不良領域に対する一致性を評価する評価ステップと、評価ステップの結果に基づいてその第２の領域を変形する変形ステップとを含むものである。
請求項９の発明は、請求項８の色領域特定方法において、評価ステップは、第２の領域の境界から所定範囲内における色情報に基づいて、色不良領域に最も一致する境界位置を求めることにより一致性を評価するものである。
請求項１０の発明は、請求項９の色領域特定方法において、変形ステップは、第２の領域の境界を評価ステップにより求められた境界位置とすることにより、その第２の領域を変形するものである。
請求項１１の発明による色不良領域補正方法は、請求項１〜６のいずれかの色領域特定方法により特定された第２の領域の色情報を変更することにより、色不良領域の色補正を行う色補正ステップを有するものである。
請求項１２の発明による色不良領域補正方法は、請求項７〜１０のいずれかの色領域特定方法により特定され変形された第２の領域の色情報を変更することにより、色不良領域の色補正を行う色補正ステップを有するものである。
請求項１３の発明は、請求項１１または１２の色不良領域補正方法において、色補正ステップは、画像の所定部分の色情報を取得して記憶する記憶ステップと、記憶ステップにより記憶された色情報に基づいて色不良領域に含まれる所定部分の色補正を行う部分色補正ステップとを含むものである。
請求項１４の発明は、請求項１３の色不良領域補正方法において、記憶ステップは、画像よりキャッチライトの部分を探索し、その部分の色情報を取得して記憶し、部分色補正ステップは、記憶ステップにより色情報を記憶されたキャッチライトの部分の色補正を行うものである。
請求項１５の発明による色領域特定処理プログラムは、請求項１〜１０いずれか１項に記載の色領域特定方法のステップをコンピュータに実行させるためのものである。
請求項１６の発明による色不良領域補正処理プログラムは、請求項１１〜１４いずれか１項に記載の色不良領域補正方法のステップをコンピュータに実行させるためのものである。
請求項１７の発明によるコンピュータ読みとり可能な記録媒体は、請求項１５の色領域特定処理プログラムまたは請求項１６の色不良領域補正処理プログラムのいずれか、またはその両方を記録したものである。
請求項１８の発明による画像処理装置は、請求項１５の色領域特定処理プログラムまたは請求項１６の色不良領域補正処理プログラムのいずれか、またはその両方を搭載し、実行するものである。
【発明の効果】
【０００６】
本発明によれば、抽出しきれずに欠損した色不良領域の欠損部分を補間するようにしたので、補正すべき色不良領域を、自然な色状態へ、容易に、短時間で、確実に補正することができる。
【発明を実施するための最良の形態】
【０００７】
−第１の実施の形態−
図１は、本発明の色不良領域補正方法を実施する一実施の形態を示す図である。符号１は、一般に市販されているパーソナルコンピュータ（以下パソコンと言う）である。パソコン１は、ＣＰＵ、メモリ、ハードディスク、Ｉ／Ｏポート、各種のインターフェース等からなる制御装置２と、各種画像や情報を表示するモニタ３と、キーボード４と、マウス５と、ＣＤ−ＲＯＭ駆動装置６とからなる。ＣＤ−ＲＯＭ駆動装置６は、ＣＤ−ＲＯＭやＤＶＤなどの記録媒体７が搭載され、各種のデジタルデータを読み込むことができる。制御装置２は、ＵＳＢ等のインターフェースを介してデジタルカメラ（電子カメラ）８と接続可能である。また、モデムやＬＡＮボード等を介してインターネット９とも接続可能である。
【０００８】
本実施の形態のパソコン１は、記録媒体７、デジタルカメラ８、あるいはインターネット９を介した他のコンピュータ１０等から、デジタルカメラ等で撮像して得られた画像データを取得することができる。パソコン１は、画像処理プログラムを実行することが可能であり、取得した画像データに各種の画像処理を加えることが可能である。本実施の形態では、画像処理の１つとして赤目現象を補正する処理を行うことができる。
【０００９】
画像処理プログラムは、制御装置２内部のハードディスクに格納され、制御装置２のメモリに読みこまれて、制御装置２により実行される。画像処理プログラムは、記録媒体７等に格納されて、あるいは、インターネット９などの電気通信回線を通じてデータ信号としてパソコン１に提供される。提供された画像処理プログラムは、制御装置２内部のハードディスクに格納される。インターネット９を通じて画像処理プログラムが提供される場合、インターネット９を介して接続されるサーバコンピュータから提供される。図１において、例えば、コンピュータ１０がサーバコンピュータとなり得る。サーバコンピュータ１０は、内部のハードディスク等の記録媒体に提供すべき画像処理プログラムを格納している。
【００１０】
以下、本実施の形態における赤目現象の補正処理について説明する。赤目現象とは、カメラ等を使用して人物をフラッシュ撮影したとき、撮影された人物の目がウサギの目のように赤く写る現象をいう。目が赤くなるのは、目の網膜の毛細血管が写るためであり、正確には目の瞳孔部分が赤くなる。撮影条件によっては金色になる場合もあり、このような金目も、まとめて赤目現象と言う。すなわち、赤目現象とは、フラッシュ撮影などにより人物の目が違和感のある色になっている現象であり、言いかえれば瞳孔あたりの領域で色不良が生じている現象である。また、動物の目において赤目現象が生じる場合もある。
【００１１】
本実施形態において、赤目補正処理はパソコン１で実行される画像処理プログラムの一部として行われるものであり、制御装置２内部のメモリに読みこまれた画像データを対象として実行される。画像データがメモリに読み込まれると、パソコン１はその画像データを使用して画像をモニタ３に表示した後、ユーザによって選択された各種の画像処理コマンドに応じた様々な画像処理プログラムを、その画像に対して実行する。すなわち、図２に示す赤目補正処理は、画像処理コマンドの１つとして赤目補正が選択されたときに実行される。
【００１２】
なお、メモリに読み込まれる前の画像データは、記録媒体７、デジタルカメラ８、あるいはインターネット９を介した他のコンピュータ１０等から取得され、制御装置２内部のハードディスクに格納されている。その中からユーザによって選択された画像データがメモリに読み込まれ、赤目補正処理を始めとする各種の画像処理プログラムが実行される。ここで、前述したように赤目領域は色不良領域の一種であることから、赤目補正処理は色不良領域補正処理とも言える。
【００１３】
本実施形態で扱う画像データは、格子状に配列された複数の画素から構成される。データ自体が格子状に並んでいるものではないが、撮像素子を構成する画素、あるいは、画像を表示する場合の表示画素が格子状に配列されている。画像データの各画素は、表色系で規定される色成分の色情報を有する。例えば、ＲＧＢ表色系の場合、各画素は、Ｒ（赤）成分の色情報と、Ｇ（緑）成分の色情報と、Ｂ（青）成分の色情報を有する。
【００１４】
デジタルカメラ等で撮影する場合、例えば単板式ＲＧＢベイア配列の撮像素子で撮像された画像データは、各画素には１つの色成分の色情報しか有しない。このようにして得られた画像データに、各種の補間処理を施すことにより、各画素にＲＧＢの色成分の色情報を有するようになる。本実施の形態で処理する画像データでは、各画素はすでにＲＧＢの色成分の色情報を有している。すなわち、表色系で規定される複数の色成分の色情報を有している。また、ここでいう色情報とは、各色のフィルターを通して受光された光量に対応して撮像素子の各画素で蓄積された電荷に対応した値である。本実施の形態では、色情報の値を８ビットのデータとして表す。具体的には、０〜２５５の値で表すものとする。
【００１５】
図２は、本実施の形態における赤目補正処理のフローチャートを示す図である。ステップＳ１では、処理対象とする画像より赤目領域を抽出する処理を行う。この画像には、赤目現象による色不良領域が含まれているものとする。ここで、ステップＳ１における赤目領域の抽出処理には様々な方法を用いることができる。たとえば、特許文献１に開示される方法によって赤目領域を抽出してよい。この方法は、色不良となった瞳を含むなるべく小さな矩形領域をユーザが指定し、その領域内部の各画素について色度変換を行うことにより求められた色度に基づいて、所定の条件に当てはまる画素の領域を赤目領域として抽出するものである。あるいは違う方法、たとえば楕円形などの図形を当てはめることによって設定された領域を赤目領域として抽出してもよい。このように、本発明ではどのような赤目領域の抽出方法を用いてもよい。すなわち、これより説明するステップＳ２以降の方法は、ステップＳ１における赤目領域の抽出方法を問わずに適用することができる。
【００１６】
なお、これ以降の説明においては、ステップＳ１で抽出された赤目領域は、画像上の赤目現象が生じている領域、すなわち補正すべき色不良領域に対して欠損部分を有しているものとする。ここでいう欠損部分とは、ステップＳ１で抽出された赤目領域において内側に欠けている部分のことである。このような欠損部分の例を図３に示す。図３において、ハッチング部分に示す領域３１は抽出された赤目領域を表している。この領域３１は、補正すべき色不良領域である領域４０に対して、符号３２〜３４に示すような欠損部分を有している。
【００１７】
欠損部分３２、３３は、領域１の内部で欠損している部分であり、その周囲は領域３１によって囲まれている。また、欠損部分３４は領域３１が内側に抉れるように欠損している部分であり、その周囲の大部分は領域３１に囲まれている。この欠損部分の現れ方は、ステップＳ１においてどのような方法で赤目領域を抽出するかによって変化する。
【００１８】
図２のステップＳ２では、ステップＳ１で抽出した欠損部分を有する赤目領域に基づいて新たな領域を特定することにより、その欠損部分を補間する処理を行う。ここで新たに特定される領域は、ステップＳ１で抽出した赤目領域よりも大きくなるようにする。このステップＳ２を実行する目的は、ステップＳ１で抽出した赤目領域が有する欠損部分を補間することにある。具体的には、図３の欠損部分３２〜３４がステップＳ２で補間する対象となる。こうした目的のため、次に説明するような処理をステップＳ２で行い、これによってステップＳ１で抽出した赤目領域よりも大きな領域を新たに特定する。
【００１９】
ステップＳ２で行う領域補間処理のフローチャートを図４に示す。ステップＳ２１では、構造要素の設定を行う。この構造要素は、後で説明するステップＳ２２のミンコフスキー和演算処理およびステップＳ２３のミンコフスキー差演算処理において、元の領域を移動させる範囲を決定するものである。なお、ここでいう領域の移動については、ステップＳ２２およびＳ２３において詳しく説明する。
【００２０】
ステップＳ２１では、構造要素として縦ｍ画素、横ｎ画素の四辺形を設定する。この画素数ｍおよびｎは、ステップＳ１で抽出した赤目領域の大きさに基づいて決定する。たとえば、ステップＳ１で抽出した図３の赤目領域３１において、図示するように縦方向の最大画素数がｈ、横方向の最大画素数がｗであるときに、ｍおよびｎの値を次の式（１）により決定する。
ｍ＝αｈ、ｎ＝αｗ      ・・・・・・・・・・・・・・・・・・・（１）
ただし、αは定数
【００２１】
上記の式（１）における定数αの値をあらかじめ設定しておけば、ステップＳ１で抽出した赤目領域より求められるｈとｗの値に比例して、ｍおよびｎの値をそれぞれ決定することができる。たとえばα＝０．５とする。これにより、ステップＳ２１において構造要素を設定することができる。なお、式（１）以外の関係を用いてｈとｗに基づいてｍおよびｎを決定することにより、構造要素を設定してもよい。
【００２２】
ステップＳ２２では、ステップＳ２１で決定した構造要素を用いて、ステップＳ１で抽出した赤目領域に対してミンコフスキー和演算処理を行う。ミンコフスキー和演算処理は、元の領域を構造要素内で移動させたときの論理和の領域を求める処理である。このミンコフスキー和演算処理の様子を図５を用いて説明する。なお図５では、説明を簡単にするため、構造要素の大きさを縦１画素、横３画素としている。
【００２３】
図５（ａ）は、ミンコフスキー和演算処理を行う前の元の領域を示している。この図において各マスのそれぞれは画素を表しており、斜線部分に示す複数の画素によって元の領域５０が構成されている。この領域５０は、内部にその領域内に含まれない欠損画素５５を有している。また、符号６０に示す太線で囲った縦１画素、横３画素の部分は、ミンコフスキー和演算処理に用いる構造要素を表している。この構造要素６０は、領域５０の中心部分に当たる画素を中心として設定される。
【００２４】
領域５０に対してミンコフスキー和演算処理を実行すると、はじめに領域５０を構造要素６０内で移動させる。その様子を図５（ｂ）および（ｃ）に示す。（ｂ）は、（ａ）に示す元の位置から右側に１画素分移動した状態を示しており、（ｃ）は元の位置から左側に１画素分移動した状態を示している。このように、領域５０の中心部分に当たる画素が構造要素６０内の全てに位置するように、領域５０を移動させる。なお、ここでは構造要素６０が縦１画素、横３画素であるために、領域５０の移動範囲は図５（ｂ）、（ｃ）に示す範囲に限定されている。しかし、構造要素の画素数に応じて移動する範囲は大きくなり、構造要素の縦方向の画素数が２以上になれば、縦方向にも移動することとなる。
【００２５】
次に、図５（ａ）、（ｂ）および（ｃ）のいずれかで領域５０が位置している画素を全て合わせた領域を求めることにより、領域５０を構造要素６０内で移動させたときの論理和の領域を求める。図５（ｄ）には、このようにして求められた論理和領域５１を示している。この論理和領域５１を求めることで、領域５０に対してミンコフスキー和演算処理が実行されたことになる。以上説明したようにして、ステップＳ２２のミンコフスキー和演算処理を実行する。
【００２６】
ステップＳ２３では、ステップＳ２１で決定した構造要素を用いて、ステップＳ２２のミンコフスキー和演算処理で求められた領域に対してミンコフスキー差演算処理を行う。ミンコフスキー差演算処理とは、元の領域を構造要素内で移動させたときの論理差の領域を求める処理である。このミンコフスキー差演算処理の様子を図６を用いて説明する。
【００２７】
図６（ａ）は、ミンコフスキー差演算処理を行う前の領域、すなわちミンコフスキー和演算処理で求められた領域を示している。この領域５１は、図５（ｄ）に示したミンコフスキー和演算処理後の領域５１と同じものであり、同様に構造要素６０が設定されている。この領域５１に対してミンコフスキー差演算処理を実行すると、前に説明したミンコフスキー和演算処理と同じように、領域５１を構造要素６０内で移動させる。その様子を図６（ｂ）および（ｃ）に示す。（ｂ）は（ａ）の位置から右側に１画素分移動した状態であり、（ｃ）は左側に１画素分移動した状態である。
【００２８】
次に、領域５１を構造要素６０内で移動させたときの論理差の領域を求める。この論理差の領域には、図６（ａ）、（ｂ）および（ｃ）の全てにおいて領域５１に含まれている画素が相当する。こうして求められた論理差領域５２を図６（ｄ）に示す。この論理差領域５２を求めることで、領域５１に対してミンコフスキー差演算処理が実行されたことになる。
【００２９】
ここで、図５（ａ）の元の領域５０と図６（ｄ）の論理差領域５２とを比較すると、これらは互いに外形は等しいが、領域５０が有していた欠損画素５５は領域５２には無いことが分かる。このように、ミンコフスキー和演算処理とミンコフスキー差演算処理を組み合わせて用いることで、ステップＳ１で抽出された赤目領域の欠損部分を補うことができる。以上説明したようにしてステップＳ２３のミンコフスキー差演算処理を実行した後は、求められた論理差領域を新たな領域として特定し、図２のステップＳ３に進む。こうしてステップＳ２の領域補間処理が実行される。
【００３０】
以上説明したような領域補間処理を図２のステップＳ２で行うことにより、新たな領域が特定される。これにより、ステップＳ１で抽出された赤目領域が有する欠損部分を補うことができる。こうして図３の領域３１に基づいてステップＳ２により特定された新たな領域を、図７の領域３１Ａに例示する。この領域３１Ａでは、図示するように図３の欠損部分３２〜３４が補われている。なお、このステップＳ２で行う処理は、画像処理において使用されるモルフォロジ演算と呼ばれる演算方法の一部を用いたものである。
【００３１】
ステップＳ３では、ステップＳ２で特定された領域を対象として、補正すべき色不良領域に対する一致性の評価を行う。このステップＳ３と後で説明するステップＳ４を実行する目的は、ステップＳ２により欠損部分が補間された赤目領域を、補正すべき色不良領域に一致させるように変形することにある。こうした目的のため、次に説明するような一致性の評価処理をステップＳ３で行い、さらに後で説明する変形処理をステップＳ４で行って、これにより補正すべき色不良領域に境界位置が最も一致するように領域を変形する。
【００３２】
ステップＳ３における一致性の評価は、ステップＳ２で特定された領域の境界から縦または横方向の所定範囲内における各画素の色情報に基づいて行う。その様子を図８（ａ）に例示する。図８（ａ）は図７の領域３１Ａの一部分を拡大したものであり、領域３１Ａの境界３７から横方向の所定範囲内について評価を行う様子を示している。ここで、図中に円形で図示する画素３８に代表される各画素は、いずれも境界３７の上にある。
【００３３】
ステップＳ３では、画素３８をはじめとする各画素を中心に、矢印３９に示す所定範囲内の各画素について、下記の式（２）によって表される赤さレベルを求める。こうすることで、領域３１Ａの、補正すべき色不良領域（図７の領域４０）に対する一致性を評価する。このとき、式（２）のＲ’の値を最小とする画素が形成する境界線を境界３６とすると、この境界３６が補正すべき色不良領域に最も一致していると評価される。なお、下記の式（２）におけるＲ，Ｇ，Ｂは、その画素におけるＲＧＢ値のそれぞれを表す。
Ｒ’＝Ｃｒ・Ｒ／（Ｒ＋Ｇ＋Ｂ）      ・・・・・・・・・・・・・・（２）
ただし
Ｃｒ＝０．７１３（Ｒ−Ｙ）
Ｙ＝０．５８７Ｇ＋０．１１４Ｂ＋０．２９９Ｒ
【００３４】
なお、上記の式（２）を用いて一致性の評価を行うとき、領域の境界が斜め４５度よりも垂直に近い場合には、図８（ａ）のように、横方向の所定範囲内にある画素を評価の対象とすることが好ましい。一方、境界が４５度より水平に近い場合は、式（２）の計算を縦方向の画素に対して行うのがよい。このとき、縦方向と横方向とで対象とする画素の数を変えるようにしてもよい。さらに、境界から斜め方向などにある画素を対象としてもよい。こうして式（２）のＲ’が最小となる画素の位置を求めることにより、ステップＳ３において補正すべき色不良領域に対する一致性の評価を行う。
【００３５】
なお、上記の式（２）は最も一致性が高い境界位置を求めるための条件式の一例であって、他の条件式を用いることもできる。たとえば、輝度が最も低い画素によって表される境界位置を最も一致性が高いと評価してもよい。後で説明するステップＳ６において色を補正したときに、補正した部分が目立ちにくいように境界位置を設定できる条件式であれば、どのようなものを用いてもよい。
【００３６】
ステップＳ４では、ステップＳ３の結果に基づいて、ステップＳ２で特定された領域を変形する処理を行う。具体的には、ステップＳ３において最も一致性が高いと認識された境界位置に、ステップＳ２で特定された領域の境界位置を移動させる。その様子を図８（ｂ）に例示する。図中に矢印で示すように、領域３１Ａの境界位置をそれまでの境界３７から、図８（ａ）のようにしてステップＳ３で求められた境界３６の方向に移動する。これにより、領域３１Ａを補正すべき色不良領域に一致させるように変形することができる。こうして変形した領域の例を図９に示す。図９の領域３１Ｂは、図７の領域３１Ａの境界位置を全体的に移動することにより、領域３１Ａを変形した結果を示したものである。この領域３１Ｂは、補正すべき赤目領域４０と一致している。
【００３７】
ステップＳ５では、元の画像からキャッチライトの部分を探索し、その部分の色情報を取得する。ここでキャッチライトの色情報を取得する理由は、後で説明するステップＳ６において赤目領域の色を補正したときに、キャッチライトの部分を元に戻すことで見た目の自然さを失わないようにするためである。ここでは、色情報の値が次の式（３）を満たし、かつ所定の大きさ（たとえば、２０画素四方の正方形）を超えない部分をキャッチライトとして判断する。こうしてキャッチライトの部分が求められたら、その部分に含まれる画素全ての色情報を取得し記憶しておく。
Ｒ＞２００  かつ  Ｇ＞２００  かつ  Ｂ＞２００      ・・・・・・（３）
【００３８】
ステップＳ６では、ステップＳ４で求められた領域内の色を変えることにより、画像上の赤目領域の色補正を行う。たとえば、求められた領域内の全ての画素の色情報値を所定の値にすることで、色補正を行う。あるいは、明度、色相または彩度を変更することで色補正することもできる。さらに、境界部分の画素については、領域内と領域外の色情報の中間値を使用するようにしてもよい。このようにすると、色補正後にその境界部分を目立たなくすることができる。
【００３９】
ステップＳ６ではさらに、ステップＳ５で記憶されたキャッチライト部分の色情報に基づいて、ステップＳ４で求められた領域内のうちキャッチライト部分の色を補正前の状態に戻すことにより、キャッチライト部分の色補正を行う。このとき、キャッチライトにも赤目現象が生じている可能性があるので、白に近い無彩色となるように色情報を変換したものを用いることが好ましい。このようにすることで、赤目領域の色補正後にもキャッチライトを残して見た目の自然さを保つことができる。ステップＳ６によって赤目領域の色補正を行った後は、図２の処理フローを終了する。
【００４０】
以上説明した実施の形態によれば、次の作用効果を奏する。
（１）抽出しきれずに欠損した色不良領域の欠損部分を補間するようにしたので、補正すべき赤目領域などの色不良領域を、自然な色状態へ、容易に、短時間で、確実に補正することができる。
（２）欠損部分を有する赤目領域に対して、ミンコフスキー和演算処理とミンコフスキー差演算処理を行うことにより欠損部分を補間することとしたので、簡単な処理で確実に欠損部分を補間することができる。
（３）ミンコフスキー和演算処理とミンコフスキー差演算処理を行うときの構造要素の大きさを、処理対象である抽出された赤目領域の大きさに基づいて決定することとしたので、処理対象の領域の大きさに応じた的確な処理を実行できる。
（４）欠損部分を補間された赤目領域に対して補正すべき色不良領域に対する一致性を評価し、その評価結果に基づいて領域を変形することとした。このようにしたので、その赤目領域を補正すべき色不良領域に一致するように変形することができる。
（５）一致性評価の対象とする領域の境界から所定範囲内における色情報に基づいて、補正すべき色不良領域に最も一致する境界位置を求め、その領域の境界を求められた境界位置とすることにより領域を変形することとした。このようにしたので、色情報に基づいて領域を変形することができ、特に、白目との境目部分を抽出しづらく、領域が欠けて抽出されることの多い金目を補正するときに有効である。
（６）元の画像からキャッチライトの部分を探索してその部分の色情報を取得して記憶し、その記憶された色情報に基づいてキャッチライト部分の色補正を行うようにした。このようにしたので、赤目領域の色補正後にも、キャッチライトを残して見た目の自然さを保つことができる。
【００４１】
上記の実施の形態では、パソコン１で赤目補正処理を行う例を説明したが、この内容に限定する必要はない。デジタルカメラ上でそのような処理プログラムを搭載し処理するようにしてもよい。また、カメラから直接画像データを取得してプリントするプリンタにおいて、そのような処理プログラムを搭載し処理するようにしてもよい。すなわち、画像データを処理するあらゆる画像処理装置に本発明を適用することができる。言いかえれば、取得した画像より赤目領域などの色不良領域を抽出し、その抽出した色不良領域の色補正を行うような画像処理方法を実行する画像処理装置において、本発明を適用できる。また、色不良領域の色補正だけに限られず、特定の色を示す領域を特定するだけでも本発明の適用範囲内である。特に、特定の色を表す領域のみを特定し、異なる画像を当てはめたりするような画像処理に対しても、本発明に開示された手法は有効である。具体的には、図２のフローチャートにおいて、Ｓ６のステップを実行する前で終わるものでも構わない。
【００４２】
上記の実施の形態では、取得した画像より欠損部分を有する赤目領域を抽出し、その赤目領域の欠損部分を補間する例について説明したが、あらかじめ欠損部分を有する赤目領域が抽出された画像を取得するようにしてもよい。この場合は、図２のフローチャートにおいて、ステップＳ２から実行するようにすればよい。
【００４３】
上記の実施の形態では、図２のフローチャートのステップＳ２において、ミンコフスキー和演算処理とミンコフスキー差演算処理を用いることで新たな領域を特定することとしたが、他の方法を用いてこの領域特定処理を行ってもよい。たとえば、楕円形などの図形を近似させることによりステップＳ１で抽出された赤目領域よりも大きな領域を特定することでも、抽出された赤目領域の欠損部分を補間することができる。
【００４４】
上記の実施の形態では、図２のフローチャートのステップＳ５において元の画像よりキャッチライトの部分の色情報を取得することとしたが、この処理はステップＳ５で実行しなくともよい。ステップＳ６においてキャッチライト部分を赤目補正前の状態に戻す前であれば、どのステップ位置で実行してもよい。また、上記の実施の形態ではキャッチライト部分を対象に、元の画像の色情報を取得し、赤目補正後にその部分を元に戻す例を説明したが、キャッチライト以外の部分を対象にしてもよい。
【００４５】
上記の実施の形態では、図２のフローチャートのステップＳ２において、抽出された赤目領域にある欠損部分を補間する処理を行い、ステップＳ３およびＳ４において、補正すべき色不良領域に一致するように赤目領域を変形する処理を行う例を説明した。しかし、これらの処理は順番を逆にして実行してもよい。あるいは、いずれか一方のみを実行してもよい。
【００４６】
上記の実施の形態では、ＲＧＢ表色系の例で説明をしたが、この内容に限定する必要はない。その他の表色系の画像データであってもよい。
【００４７】
上記で説明した実施の形態および変形例はあくまで一例であり、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【図面の簡単な説明】
【００４８】
【図１】本発明の色不良領域補正方法を実施する一実施の形態を示す図である。
【図２】本実施の形態における赤目補正処理のフローチャートを示す図である。
【図３】抽出された赤目領域と欠損部分の例を示す図である。
【図４】赤目補正処理において実行される領域補間処理のフローチャートを示す図である。
【図５】ミンコフスキー和演算処理の様子を説明する図である。
【図６】ミンコフスキー差演算処理の様子を説明する図である。
【図７】領域補間処理により特定された新たな領域を例示する図である。
【図８】領域の境界から所定範囲内について一致性の評価を行い、その結果に従って領域を変形する様子を示す図である。
【図９】領域変形処理により変形された領域を例示する図である。
【符号の説明】
【００４９】
１  パーソナルコンピュータ
２  制御装置
３  モニタ
４  キーボード
５  マウス
６  ＣＤ−ＲＯＭ駆動装置
７  記録媒体
８  デジタルカメラ
９  インターネット
１０  コンピュータ
【図１】
2005176261.tif 000003
【図２】
2005176261.tif 000004
【図３】
2005176261.tif 000005
【図４】
2005176261.tif 000006
【図５】
2005176261.tif 000007
【図６】
2005176261.tif 000008
【図７】
2005176261.tif 000009
【図８】
2005176261.tif 000010
【図９】
2005176261.tif 000011