(57)【特許請求の範囲】
【請求項１】
１以上の瞳の色調不良が存在する撮影画像に対し、該色調不良の画素を検出する色調不良画素検出手段と、
瞳の色の特性に応じて、均等色空間における１つの色彩情報のみを変数として補正する瞳の色の候補を決定する補正瞳色候補決定手段と、
前記変数の値を入力して、前記瞳の色の候補の中から補正する瞳の色を選択する補正瞳色選択手段と、
前記選択した瞳の色を表示する選択瞳色表示手段と、
色調不良画素を前記選択された瞳の色に補正する瞳色補正手段と、
を含んで構成したことを特徴とする画像処理装置。
【請求項２】
前記１つの色彩情報のみの変数は、ＣＩＥＬ＊ｕ＊ｖ＊の均等色空間におけるｕ＊又はｖ＊であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記１つの色彩情報のみの変数は、ＣＩＥＬ＊ａ＊ｂ＊の均等色空間におけるａ＊又はｂ＊であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記補正瞳色選択手段は、オペレータが画面上に表示されるスライドバーの位置をセットすることにより前記色彩情報の値をセットする手段を含むことを特徴とする請求項１〜請求項３のいずれか１つに記載の画像処理装置。
【請求項５】
前記補正瞳色選択手段は、オペレータが色彩情報の数値を直接入力する手段を含むことを特徴とする請求項１〜請求項３のいずれか１つに記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カラー写真撮影時のフラッシュ発光による被写体画像内の瞳の色調不良を補正する画像処理装置に関する。
【０００２】
【従来の技術】
従来、前記瞳の色調不良いわゆる赤目を補正する技術が、いくつか提案されている (米国特許５１３０７８９号、特開平７−７２５３７号等参照) 。
米国特許５１３０７８９号に開示される技術は、矩形マスクで対象となる目の周囲を囲み、赤目の領域の数点をポインタで指定して、色彩情報に基づいて赤目の領域を設定し、対象画素がこの領域内であれば赤目と判定して補正する。この際、補正量を領域の境界からの距離によって変えるというものである。
【０００３】
また、特開平７−７２５３７号に開示される技術は、対象となる目の領域を指定し、色彩情報により候補画素を選定し、ラベリング後、それぞれのラベルについての情報も加味して、赤目であるかどうか評価していくものである。また、補正方法に関しては赤目の本体と周辺部に分けて、補正量を変えている。
【０００４】
【発明が解決しようとする課題】
しかし、いずれの方法も赤目を補正する瞳の色の選択方法に関して記載されていない。例えば、市販のレタッチングソフト（PhotoDeluxe,PictureIt)では、赤目を補正する瞳の色の選択方法は、複数のカラーパレットが表示されその中からオペレータがクリックして選択するものであった。
【０００５】
上記の選択方法では、赤目を補正する瞳の色を選択する際にオペレータが選択しづらい。即ち、表示されるカラーパレットのそれぞれの色が連続して変化していないため、また、欧米人の瞳の色に関係の無い色も含まれているため選択肢が無用に多いためである。
また、表示されるカラーパレットのそれぞれの色が連続して変化していないため、補正する色の微調整ができない。
【０００６】
本発明は、このような従来の課題に着目してなされたもので、カラーのフラッシュ撮影において発生する赤目現象を半自動的に補正する際にオペレータが容易かつ正確に補正できるようにした画像処理装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
このため、請求項１に係る発明は、図１に示すように、
１以上の瞳の色調不良が存在する撮影画像に対し、該色調不良の画素を検出する色調不良画素検出手段と、
瞳の色の特性に基づいて、均等色空間における１つの色彩情報のみを変数として補正する瞳の色の候補を決定する補正瞳色候補決定手段と、
前記変数の値を入力して、前記瞳の色の候補の中から補正する瞳の色を選択する補正瞳色選択手段と、
前記選択した瞳の色を表示する選択瞳色表示手段と、色調不良画素を前記選択された瞳の色に補正する瞳色補正手段と、
を含んで構成したことを特徴とする。
【０００８】
色（色彩）は色彩情報の２つの変数の値によって決定されるが、瞳の色の特性として、一方の変数を他方の変数の関数として近似できるので、補正瞳色候補決定手段は、瞳の色の特性に応じて、均等色空間における１つの色彩情報のみを変数として補正する瞳の色の候補を決定する。オペレータは、１つの色彩情報の変数の値を入力し、選択瞳色表示手段によって表示された瞳の色を見ながら補正する瞳の色を選択する。瞳色補正手段は、色調不良画素検出手段によって検出された色調不良画素を、選択した瞳の色に補正する。
【０００９】
このように、オペレータの簡単な操作で制限された瞳の色の候補の中から容易に補正すべき瞳の色を選択して、補正することができる。
【００１０】
また、請求項２に係る発明は、
前記１つの色彩情報のみの変数は、ＣＩＥＬ＊ｕ＊ｖ＊の均等色空間におけるｕ＊又はｖ＊であることを特徴とする。
【００１１】
ＣＩＥＬ＊ｕ＊ｖ＊の均等色空間におけるｕ＊又はｖ＊は、上記の色彩情報の２つの変数であるため、その中のいずれか１つを補正する瞳の色の候補を決定する色彩情報の変数とすることができる。
また、請求項３に係る発明は、
前記１つの色彩情報のみの変数は、ＣＩＥＬ＊ａ＊ｂ＊の均等色空間におけるａ＊又はｂ＊であることを特徴とする。
【００１２】
ＣＩＥＬ＊ａ＊ｂ＊の均等色空間におけるａ＊又はｂ＊も、上記の色彩情報の２つの変数であるため、その中のいずれか１つを補正する瞳の色の候補を決定する色彩情報の変数とすることができる。
また、請求項４に係る発明は、
前記補正瞳色選択手段は、オペレータが画面上に表示されるスライドバーの位置をセットすることにより色彩情報の値をセットする手段を含むことを特徴とする。
【００１３】
このようにすれば、簡単な操作で色彩情報を入力して補正する瞳の色を選択することができる。
また、請求項５に係る発明は、
前記補正瞳色選択手段は、オペレータが色彩情報の数値を直接入力する手段を含むことを特徴とする。
【００１４】
このように、色彩情報の数値を直接入力して瞳の色を選択することもできる。
【００１６】
【発明の実施の形態】
以下に、本発明の実施形態を図に基づいて説明する。
図２は、一実施形態のシステム構成を示す。スチルビデオカメラにより撮影されたカラー画像のデジタル画像データ、あるいは、銀塩フィルムカメラにより撮影されフィルムに現像されたカラー画像を、スキャナで読み取ったデジタル画像データが、光ディスク等の記憶装置１に記憶されている。
【００１７】
前記記憶装置１に記憶された画像データが、制御装置２によって読み出され、モニタ３に画像表示される。
オペレータは、前記モニタ３に表示された画像をみながら、フラッシュ撮影により赤目を生じている被写体画像に対し、以下のように画像領域を設定することにより、前記制御装置２が該設定された領域の中から赤目の画素を抽出して補正を行い、補正された画像をモニター３に表示する。
【００１８】
以下に、本発明にかかる赤目補正のルーチンを、図３以下のフローチャートに従って説明する。
図３は、赤目補正のメインルーチンを示す。ステップ (図ではＳと記す。以下同様) １では、モニタ３に表示された瞳を含む被写体画像に対して、１対の目の周辺を囲む矩形領域を設定すると共に、一対の目の中間付近の１点を後述する色彩情報及び位置情報の基準点として指定する (図６参照) 。
【００１９】
前記対象領域及び中間点の設定方法として対象領域、中間点共にオペレータが指定してもよいし、対象領域のみを指定し、中間点は計算によって求めてもよいし (例えば指定した矩形領域の中心を中間点として計算) 、中間点のみを指定し、そこを中心として予め設定されている面積を対象領域としてもよい。赤目補正の精度としては、１番目の方法が対象領域の指定と中間点の指定を共にマニュアルで行うため最も高い。
【００２０】
このような領域指定の特徴は、例えば１対の瞳の中で、色調不良の瞳が１つの場合でも１対の瞳を囲む領域を指定することである。また、１対の瞳の両方が赤目の場合、１回の領域指定で同時に２つの赤目を補正することができる。例えば、前記米国特許５１３０７８９号に開示される技術では、瞳１つずつについて領域指定するため、オペレータの介入度が大きくなる。
【００２１】
ステップ２では、前記ステップ１で指定した点の色彩情報、例えばＲ（赤），Ｇ（緑），Ｂ（青）の各明度値の合計値（Ｒ＋Ｇ＋Ｂ）を特徴量として演算する。
ステップ３では、前記指定点の特徴量との特徴量の差が指定した閾値以内の画素を肌色画素として、該肌色画素の領域を抽出する。即ち、前記指定点は、１対の目の中間付近の点で、鼻の付け根部分に位置するから、その点における色彩は肌色と推定されるので、該点に近い色をしている領域を肌色の画素と推定できる。この他、一般的な色彩情報である色相，彩度を特徴量としてもかまわない。このようにして、前記閾値以内の画素をラベリングし、指定点が含まれるラベリング領域を肌色領域として抽出する。
【００２２】
ステップ４では、前記肌色領域内の赤の色度［＝Ｒ／ (Ｒ＋Ｇ＋Ｂ) ］の平均値Ｒｓｋｉｎを求める。
ステップ５では、以下の演算量、及び該演算に必要なデータ量を減らすために、前記ステップ３で抽出された肌色領域に外接する矩形領域 (両目同時に外接するように目と目の間の部分も含んで横長の１つの領域) を、新たな対象領域として設定する。該矩形領域の設定は、自動で行われる。手動で行ってもよいが、自動で行うことにより、オペレータが顔以外の領域が含まれるような広い領域指定を行ってしまった場合にも対応できる。
【００２３】
ステップ６では、前記対象領域を、小領域に分割する。この小領域分割のサブルーチンを、図４のフローチャートに従って説明する。
ステップ11では、前記設定された領域内でエッジ画素を求める。該エッジ画素の求め方は、例えば明度 (Ｒ＋Ｇ＋Ｂ) を特徴量として、対象画素の周囲４画素との明度の差の絶対値の和を求め、これが設定した閾値以上であれば対象画素をエッジ画素と判定する。この他、Ｓｏｂｅｌオペレータ、Ｐｒｅｗｉｔｔオペレータ等のエッジ検出フィルタを用いてもかまわない。
【００２４】
ステップ12では、前記ステップ11で検出されたエッジ画素をラベリングする。ステップ13では、同じラベルのエッジ画素で少なくとも３方を囲まれた画素を、前記エッジ画素と同一ラベルに変更する。つまりエッジで囲まれた領域が同一のラベルとなる。このようにして、設定領域が同一のラベルを有した小領域に分割される。
【００２５】
図３のメインルーチンに戻って、ステップ７では、前記分割された小領域の中から、色調不良が存在する瞳が含まれる可能性の高い領域を、瞳候補領域として選択する。
前記ステップ７の瞳候補領域選択のサブルーチンを、図５のフローチャートに従って説明する。
【００２６】
本実施形態では、前記分割された複数の小領域の２つを１組として、全ての組み合わせについて以下の特徴量を演算することにより瞳らしさを求める。
ステップ21では、各小領域の赤の色度［＝Ｒ／ (Ｒ＋Ｇ＋Ｂ) ］を求め、領域内で赤の色度の最高値 (Ｒｉ) 、及び前記ステップ１で指定した目と目の中間付近の点を原点としたとき、前記最高値 (Ｒｉ) の画素のＸ軸、Ｙ軸上での位置 (Ｘｉ、Ｙｉ) を特徴量とする。ここで、ｉは、小領域を識別する値を表す。
【００２７】
例えば、小領域１と小領域２を組み合わせるとき、以下のようにして瞳候補領域を選択する。
ステップ22では、色彩情報の特徴量Ｃ12と、位置情報の特徴量Ｐ12とを、次式により求める。
色彩情報の特徴量Ｃ12＝Ｒ１＋Ｒ２
位置情報の特徴量Ｐ12＝Ｘ１＋Ｘ２＋Ｙ１＋Ｙ２
ここで、色彩情報の特徴量は大きいほど、位置情報の特徴量は小さいほど、瞳らしさは高いので、ステップ23では、瞳らしさを示す特徴量Ｅ12を、例えばＥ12＝Ｃ12−Ｐ12と設定し、この値が最も高い小領域の組み合わせを、少なくとも一方が色調不良 (赤目) となっている瞳を含んでいる可能性が高い瞳候補領域として抽出する。
【００２８】
ここで、位置情報の特徴量が小さくなるほど、瞳らしさが高いのは、両方の瞳に赤目がある場合、目と目の間の点に対して、左右一方のＸ１を＋、他方のＸ２を−として合計すると小さくなることによる。
また、一方の瞳のみ赤目である場合でもよいのは、両方の瞳の組み合わせを選択したときには、一方の瞳に赤目がなくとも位置情報Ｐ12の値が小さくなり、また、赤目が１つあるだけでも、赤目が１つもない組み合わせに比べれば色彩情報の特徴量も大きくなるためである。
【００２９】
図３のメインルーチンに戻って、ステップ８では、ステップ７で抽出された瞳候補領域の中から、色調不良 (赤目) 画素を抽出する。該抽出方法は以下のとおりである。
対象画素の赤の色度［＝Ｒ／ (Ｒ＋Ｇ＋Ｂ) ］が、ステップ２で求めた肌色領域の平均値Ｒｓｋｉｎより大きく、なおかつ、対象領域の色彩情報の特徴量 (Ｒｉ) から設定した閾値ＴＨを引いた値より大きい場合は、赤目画素とする。つまり、次式を満たす画素を赤目画素とする。
【００３０】
Ｒ／ (Ｒ＋Ｇ＋Ｂ) ＞Ｒｓｋｉｎ∩Ｒ／ (Ｒ＋Ｇ＋Ｂ) ＞Ｒｉ−ＴＨ
ステップ９では、ステップ８で抽出された赤目画素を適正な色調に補正する。
補正する手順を図７に示す。瞳の色をＣＩＥＬ＊ｕ＊ｖ＊の均等色空間で表す場合を例にとる。また、オペレータが瞳を補正する画面例を図８に示す。
以下に、図７のフローチャートを参照しつつ瞳の色調整方法を説明する。
【００３１】
ステップ31では、オペレータがプレビュー画像を見ながらｕ＊（又はｖ＊，以下ｕ＊で代表) の値を選択する。図８ではｕ＊は［瞳の色］というスライドバーで選択できるようになっている。但し、スライドバーで選択する以外に、直接数値で入力する方式としても構わない。
ステップ32では、以下の式に従ってｖ＊の値を決定する。
【００３２】
ｖ＊＝0.71×ｕ＊−0.24                  ・・・(1)
これは、欧米人の瞳の色をＣＩＥＬ＊ｕ＊ｖ＊の均等色空間で表すと(1) 式で表される関係式で近似できるためである。ここで、前記欧米人の瞳の色は人類全体の瞳の色を含み、日本人等東洋人の黒乃至茶褐色の瞳の色を含んでいる。欧米人の瞳のサンプルのｕ＊ｖ＊平面での分布を図９に示す。この図より明らかなように、ｕ＊とｖ＊との関係式は(1) 式に限らず、これらの分布をある程度近似するものであればかまわない。したがって、例えば、前記(1) 式のｕ＊の係数0.71を0.71±Δαと変更したり、定数0.24を0.24±Δβに変更することが可能な構成としてもよく、あるいはこれら傾きとオフセット量の組み合わせ（0.71,0.24), （0.71＋Δα,0.24 −Δβ) , （0.71−Δα,0.24 ＋Δβ) を変更可能に構成してもよく、簡単な操作性を保ちつつきめ細かな補正が可能となる。
【００３３】
ステップ33では、補正する赤目画素のデジタル値をＲ，Ｇ，Ｂとしたとき、次式に従ってＬ＊（輝度) の値を決定する。
Ｌ＊＝100 ＊Ｇ／255               ・・・(2)
ここで、(2) 式のＧの代わりに、Ｂ, あるいはＧとＢの平均値を代入しても同様な効果が得られる。このようにＧ，Ｂ，ＧとＢの平均値を明度の決定に用いるのは、赤目現象の発生によりＲの成分が異常に大きい値となっているが、それ以外のＧ，Ｂ等の成分は元々の瞳の色の明度に応じた大きさで存在すると考えられるので、これらの値を用いて瞳の色の明度を良好に推定することができるためである。
【００３４】
ステップ34では、予め用意されたＬ＊ｕ＊ｖ＊をモニター上のＲ，Ｇ，Ｂに変換するテーブルを使ってＲ，Ｇ，Ｂに変換する。
ステップ35では上記変換されたＲ，Ｇ，Ｂを用いて瞳の色を補正する。補正後の画像はプレビュー画像として表示される。プレビュー画像は、図８のように、対象となる赤目画像を対象にしてもよいし、図10のように瞳の色だけを対象にしてもかまわない。
【００３５】
次に、赤目を補正する範囲の調整方法について説明する。
オペレータがプレビュー画像を見ながら赤目を補正する範囲を選択する。図８では［瞳の範囲］というスライドバーで示したしきい値の値を選択し、赤目を補正する範囲を調整することができる。
オペレータがプレビュー画像を見て、赤目の一部しか補正されていないと判断した場合は、スライドバーにより示したしきい値を下げていき、逆に赤目でない部分まで補正されている場合は、しきい値を上げていけばよい。
【００３６】
このようにすれば、選択する瞳の色が従来のように複数の不連続なカラーパッチで表示されるのではなく、１つのパラメータにより連続して変化する形で表示されるため、オペレータは選択しやすく、操作も簡単になる。
【図面の簡単な説明】
【図１】本発明の構成・機能を示すブロック図。
【図２】一実施形態のシステム構成を示す図。
【図３】同上実施形態における赤目補正のメインルーチンを示すフローチャート。
【図４】同上ルーチンの小領域分割のサブルーチンを示すフローチャート。
【図５】同上ルーチンの瞳候補領域選択のサブルーチンを示すフローチャート。
【図６】同上実施形態における対象領域の指定方法を示す図。
【図７】同上実施形態における赤目補正の詳細な処理なサブルーチンを示すフローチャート。
【図８】は同上実施形態におけるオペレータが瞳の色を補正する画面の１例を示す図。
【図９】欧米人の瞳のサンプルのｕ＊ｖ＊平面での分布を示す図。
【図１０】同上実施形態におけるオペレータが瞳の色を補正する画面の別の例を示す図。
【符号の説明】
１  記憶装置
２  制御装置
３  モニタ
【図１】
0003709656.tif 000002
【図２】
0003709656.tif 000003
【図３】
0003709656.tif 000004
【図４】
0003709656.tif 000005
【図５】
0003709656.tif 000006
【図６】
0003709656.tif 000007
【図７】
0003709656.tif 000008
【図８】
0003709656.tif 000009
【図９】
0003709656.tif 000010
【図１０】
0003709656.tif 000011