(57)【要約】【課題】赤目補正をより自然に適正に行なう。【解決手段】フラッシュを発光させて撮影するフラッシュ撮影により得られたフラッシュ画像に赤目現象が生じているときには、フラッシュ画像中の赤目を、同一の被写体に対してフラッシュを発光させずに撮影するノンフラッシュ撮影により得られたノンフラッシュ画像中の目に置き換えることにより補正する（Ｓ２３０〜Ｓ２６０）。これにより、赤目補正をＲ，Ｇ、Ｂの階調値を画一的に修正することにより行なうものに比して、より自然に適正に赤目補正することができる。【選択図】図６
2010103820.tif 000002
【特許請求の範囲】
【請求項１】
フラッシュ付きの撮影装置により撮影された画像を処理する画像処理装置であって、
フラッシュの発光を伴って撮影されたフラッシュ画像中の赤目領域を検出する赤目領域検出手段と、
前記赤目領域検出手段により前記フラッシュ画像中に赤目領域が検出されたとき、該フラッシュ画像と同一の被写体に対してフラッシュの発光を伴わずに撮影された非フラッシュ画像中の目領域を抽出すると共に前記検出されたフラッシュ画像中の赤目領域を前記抽出した目領域に置き換える赤目補正手段と、
を備える画像処理装置。
【請求項２】
前記赤目補正手段は、前記非フラッシュ画像中における前記抽出した目領域が黒目領域であるか否かを判定し、前記抽出した目領域が黒目領域でないと判定したときには前記目領域の置き換えを行なわない手段である請求項１記載の画像処理装置。
【請求項３】
前記赤目補正手段は、前記抽出した目領域が黒目領域でないと判定したときには、前記目領域の置き換えに代えて前記検出されたフラッシュ画像中の赤目領域内の各色成分の修正を伴って赤目補正する手段である請求項２記載の画像処理装置。
【請求項４】
フラッシュ付きの撮影装置により撮影された画像を処理するコンピュータソフトウェアによる画像処理方法であって、
（ａ）フラッシュの発光を伴って撮影されたフラッシュ画像中の赤目領域を検出し、
（ｂ）前記ステップ（ａ）により前記フラッシュ画像中に赤目領域が検出されたとき、該フラッシュ画像と同一の被写体に対してフラッシュの発光を伴わずに撮影された非フラッシュ画像中の目領域を抽出すると共に前記検出されたフラッシュ画像中の赤目領域を前記抽出した目領域に置き換える
画像処理方法。
【請求項５】
請求項４記載の画像処理方法の各ステップを１または複数のコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フラッシュ付きの撮影装置により撮影された画像を処理する画像処理装置およびその処理方法並びに画像処理方法の各ステップを１または複数のコンピュータに実現させるためのプログラムに関する。
【背景技術】
【０００２】
従来、この種の画像処理装置としては、フラッシュの発光を伴って人物を撮影して得られた画像中に赤目が存在しているか否かを判定し、赤目と判定したときには赤目を補正するものが提案されている（例えば、特許文献１や特許文献２参照）。この装置では、赤目の補正として、画像データのＲＧＢ値をＬａｂ値に変換すると共に変換したＬａｂ値のうちａｂ値をそれぞれ値０として再びＲＧＢ値に変換したり、ＲＧＢの各色成分のうち値が一番小さい色成分の値に揃えたりすることにより行なっている。
【特許文献１】特開２００４−３１２３８８号公報
【特許文献２】特開平９−２６１５８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した画像処理装置では、画一的にＲＧＢ値が修正されるから、被写体によっては赤目の補正が不自然となることも多く、十分な効果が得られない場合もある。このため、赤目をより自然に適正に補正する新たな手法が求められている。
【０００４】
本発明の画像処理装置および画像処理方法並びにプログラムは、フラッシュの発光を伴って人物を撮影して得られた画像中の赤目をより自然に適正に補正することを主目的とする。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置および画像処理方法並びにプログラムは、上述の目的を達成するために以下の手段を採った。
【０００６】
本発明の画像処理装置は、
フラッシュ付きの撮影装置により撮影された画像を処理する画像処理装置であって、
フラッシュの発光を伴って撮影されたフラッシュ画像中の赤目領域を検出する赤目領域検出手段と、
前記赤目領域検出手段により前記フラッシュ画像中に赤目領域が検出されたとき、該フラッシュ画像と同一の被写体に対してフラッシュの発光を伴わずに撮影された非フラッシュ画像中の目領域を抽出すると共に前記検出されたフラッシュ画像中の赤目領域を前記抽出した目領域に置き換える赤目補正手段と、
を備えることを要旨とする。
【０００７】
この本発明の画像処理装置では、フラッシュの発光を伴って撮影されたフラッシュ画像中に赤目領域が検出されたとき、フラッシュ画像と同一の被写体に対してフラッシュの発光を伴わずに撮影された非フラッシュ画像中の目領域を抽出すると共に検出されたフラッシュ画像中の赤目領域を抽出した目領域に置き換える。即ち、フラッシュ画像中の赤目領域を同一の被写体の非フラッシュ画像中の目領域と置き換えるから、フラッシュの発光を伴って人物を撮影して得られた画像中の赤目をより自然に適正に補正することができる。
【０００８】
こうした本発明の画像処理装置において、前記赤目補正手段は、前記非フラッシュ画像中における前記抽出した目領域が黒目領域であるか否かを判定し、前記抽出した目領域が黒目領域でないと判定したときには前記目領域の置き換えを行なわない手段であるものとすることもできる。こうすれば、不適切な非フラッシュ画像の目領域で赤目領域が置き換えられることによる、赤目の誤補正を抑制することができる。この態様の本発明の画像処理装置において、前記赤目補正手段は、前記抽出した目領域が黒目領域でないと判定したときには、前記目領域の置き換えに代えて前記検出されたフラッシュ画像中の赤目領域内の各色成分の修正を伴って赤目補正する手段であるものとすることもできる。
【０００９】
本発明の画像処理方法は、
フラッシュ付きの撮影装置により撮影された画像を処理するコンピュータソフトウェアによる画像処理方法であって、
（ａ）フラッシュの発光を伴って撮影されたフラッシュ画像中の赤目領域を検出し、
（ｂ）前記ステップ（ａ）により前記フラッシュ画像中に赤目領域が検出されたとき、該フラッシュ画像と同一の被写体に対してフラッシュの発光を伴わずに撮影された非フラッシュ画像中の目領域を抽出すると共に前記フラッシュ画像中の前記赤目領域を前記抽出した目領域に置き換える
ことを要旨とする。
【００１０】
この本発明の画像処理方法によれば、フラッシュの発光を伴って撮影されたフラッシュ画像中に赤目領域が検出されたとき、フラッシュ画像と同一の被写体に対してフラッシュの発光を伴わずに撮影された非フラッシュ画像中の目領域を抽出すると共に検出されたフラッシュ画像中の赤目領域を抽出した目領域に置き換える。即ち、フラッシュ画像中の赤目領域を同一の被写体の非フラッシュ画像中の目領域と置き換えるから、フラッシュの発光を伴って人物を撮影して得られた画像中の赤目をより自然に適正に補正することができる。
【００１１】
本発明のプログラムは、上述した本発明の画像処理方法の各ステップを１又は複数のコンピュータに実現させるためのものである。このプログラムは、コンピュータが読み取り可能な記録媒体（例えばハードディスク、ＲＯＭ、ＦＤ、ＣＤ、ＤＶＤなど）に記録されていてもよいし、伝送媒体（インターネットやＬＡＮなどの通信網）を介してあるコンピュータから別のコンピュータへ配信されてもよいし、その他どのような形で授受されてもよい。このプログラムを一つのコンピュータに実行させるか又は複数のコンピュータに各ステップを分担して実行させれば、上述した画像処理方法の各ステップが実行されるため、該制御方法と同様の作用効果が得られる。
【発明を実施するための最良の形態】
【００１２】
次に、本発明を実施するための最良の形態を図面を用いて説明する。
【００１３】
図１は本発明の一実施形態であるデジタルカメラ２０の外観を例示する斜視図であり、図２はデジタルカメラ２０の背面を例示する背面図であり、図３はデジタルカメラ２０の機能ブロックを例示するブロック図である。
【００１４】
本実施形態のデジタルカメラ２０は、図１に示すように、正面には光学３倍ズームが可能なズーム機構付きレンズ２１と、セルフタイマーが作動中であるのを点滅により知らせるタイマランプ２５と、シャッターと連動して発光する補助照明装置としてのフラッシュ２６とを備え、上部にはモードを選択するモードダイヤル２３と、このモードダイヤル２３の中央に配置された電源ボタン２２と、シャッターボタン２４とを備える。また、本実施形態のデジタルカメラ２０は、図２に示すように、背面３０には、中央の左寄りに配置された液晶ディスプレイ３１と、その右側に配置され上下左右の方向に操作可能な４方向ボタン３２と、背面３０の左上に配置された印刷ボタン３３と、ズーム機能を操作するＷボタン３４ａおよびＴボタン３４ｂと、４方向ボタン３２の左上に配置されたメニューボタン３５と、４方向ボタン３２の下方左に配置され液晶ディスプレイ３１への表示を切り替えるディスプレーボタン３８と、その右方向に配置されたレビューボタン３９とを備える。
【００１５】
本実施形態のデジタルカメラ２０は、機能的には図３に例示するように、中央演算処理装置としてのＣＰＵ４０ａや処理プログラムを記憶するＲＯＭ４０ｂ，一時的にデータを記憶するワークメモリ４０ｃ，設定値などのデータを記憶する不揮発性のフラッシュメモリ４０ｄなどを中心として構成されている。デジタルカメラ２０は、撮影系として、レンズや絞りなどにより構成された光学系４２や、この光学系４２により結像される光学像を光電変換して得られる電荷を受光セル毎に一定時間蓄積し受光セル毎の受光量に応じた電気信号を出力するイメージセンサ４３、このイメージセンサ４３を駆動するために必要な駆動パルスをイメージセンサ４３に出力する駆動回路としてのセンサコントローラ４４、イメージセンサ４３から出力される電気信号を量子化してディジタル信号に変換するアナログフロントエンド（ＡＦＥ）部４５、このＡＦＥ部４５から出力されたディジタル信号に対して画像形成処理，ホワイトバランス補正，γ補正，色空間変換等を施して各画素についてＲ，Ｇ，Ｂの階調値やＹ，Ｃｂ，Ｃｒの階調値などを表すディジタル画像を出力するデジタル画像処理部４６、ディジタル画像の系列変換（離散コサイン変換やウェーブレット変換等）及びエントロピー符号化（ランレングス符号化やハフマン符号化等）を行なうことによりディジタル画像を圧縮しそれらの逆変換を施すことによりディジタル画像を伸張する圧縮伸張部４７などを備える。また、本実施形態のデジタルカメラ２０は、液晶ディスプレイ３１の一画面分のデータを格納するためのフレームバッファやフレームバッファに格納されたディジタル画像に基づいて液晶ディスプレイ３１を駆動するための表示回路を有するディスプレイコントローラ５０やモードダイヤル２３，各種ボタン２４，３２〜３９，タイマランプ２５，フラッシュ２６などの入出力および着脱可能なフラッシュメモリなどの記憶媒体５３への入出力を司る入出力インタフェース５２、ＵＳＢ（Universal Serial Bus）接続端子５５に接続された機器（コンピュータやプリンタ）と通信のやり取りを管理するＵＳＢホストコントローラ５４やＵＳＢデバイスコントローラ５６なども備えている。なお、デジタル画像処理部４６により画像処理された画像データや圧縮伸張部４７により圧縮・伸張された画像データは、一旦ワークメモリ４０ｃに書き込まれ、その後、撮影順にＩＤとしてのファイル名が付与されて画像ファイルとして入出力インタフェース５２を介して記憶媒体５３に書き込まれる。
【００１６】
次に、こうして構成された本実施形態のデジタルカメラ２０の動作、特にフラッシュ２６の発光を伴って人物を被写体として撮影して得られるデジタル画像に生じた赤目を補正する際の動作について説明する。図４は、デジタルカメラ２０のＣＰＵ４０ａにより実行される赤目補正モード時撮影処理ルーチンの一例を示すフローチャートである。このルーチンは、モードダイヤル２３により撮影モードとして赤目を撮影と同時に判別して自動的に補正する「赤目補正モード」が設定されている状態でシャッターボタン２４が押されたときに実行される。
【００１７】
画像処理ルーチンが実行されると、ＣＰＵ４０ａは、まず、フラッシュ２６を発光させずに撮影するノンフラッシュ撮影（ステップＳ１００）と、同一の被写体（シーン）に対してフラッシュ２６を発光させて撮影するフラッシュ撮影（ステップＳ１１０）とを連続して行なう。続いて、フラッシュ撮影して得られたデジタル画像（以下、フラッシュ画像という）を解凍してこのフラッシュ画像をＲ，Ｇ，Ｂの階調値で表わし（ステップＳ１２０）、フラッシュ画像中に赤目があるか否かを判定する（ステップＳ１４０）。ここで、赤目の判定は、本実施形態では、Ｒ，Ｇ，Ｂの階調値がＲＧＢ空間上において予め設定されている典型的な赤目の階調値を中心とした楕円体の領域内に属するか否かを判定することにより行なうものとした。図５に、ＲＧＢ空間上における赤目領域の一例を示す。赤目と判定されたときには、赤目の画素を包含する矩形領域が赤目領域として設定される。なお、赤目領域は、本実施形態では、矩形領域における対角線上の２点（ａ０，ｂ０），（ａ１，ｂ１）により設定するものとした。フラッシュ画像中に赤目がないと判定されると、赤目補正処理は必要ないから、そのまま本ルーチンを終了する。一方、フラッシュ画像中に赤目があると判定されると、フラッシュ２６を発光させずに撮影して得られたデジタル画像（以下、ノンフラッシュ画像という）を解凍してこのノンフラッシュ画像をＲ，Ｇ，Ｂの階調値で表わし（ステップＳ１５０）、補正対象の赤目領域（ａ０，ｂ０），（ａ１，ｂ１）を設定すると共に（ステップＳ１６０）、設定した補正対象の赤目領域に対して図６に例示する赤目補正を施し（ステップＳ１７０）、複数の赤目領域が存在し次の補正対象の赤目領域があるときには（ステップＳ１８０）、ステップＳ１６０に戻って新たな補正対象を設定してステップＳ１７０の赤目補正処理を繰り返し、次の補正対象がないときにはこれで本ルーチンを終了する。以下に、図６の赤目補正処理についての詳細を説明する。
【００１８】
図６の赤目補正処理では、まず、垂直方向カウンタＹを値ｂ０に初期化すると共に（ステップＳ２００）、水平方向カウンタＸを値ａ０に初期化し（ステップＳ２１０）、フラッシュ画像中の赤目領域における座標（Ｘ，Ｙ）の画素についてのＲ，Ｇ，Ｂの階調値を読み込み（ステップＳ２２０）、この画素が赤目色であるか否かを判定する（ステップＳ２３０）。この判定については前述したステップＳ１３０の判定と同様に行なうことができる。画素が赤目色のときには、対応するノンフラッシュ画像中の座標（Ｘ，Ｙ）の画素についてのＲ，Ｇ，Ｂの階調値を読み込み（ステップＳ２４０）、この画素が黒目色であるか否かを判定する（ステップＳ２５０）。画素が黒目色か否かの判定は、本実施形態では、画素のＲ，Ｇ，Ｂの階調値がＲＧＢ空間上において予め設定されている典型的な黒目の階調値を中心とした楕円体の領域内に属するか否かを判定することにより行なうものとした。画素が黒目色のときには、次式（１）〜（３）により座標（Ｘ，Ｙ）におけるフラッシュ画像のＲ，Ｇ，Ｂの階調値をノンフラッシュ画像のＲ，Ｇ，Ｂの階調値に置き換えることにより赤目補正を行なう（ステップＳ２６０）。ここで、「Ｑｒ（Ｘ，Ｙ）」，「Ｑｇ（Ｘ，Ｙ）」，「Ｑｂ（Ｘ，Ｙ）」は、それぞれフラッシュ画像の座標（Ｘ，Ｙ）におけるＲ，Ｇ，Ｂの階調値を示し、「Ｒｒ（Ｘ，Ｙ）」，「Ｒｇ（Ｘ，Ｙ）」，「Ｒｂ（Ｘ，Ｙ）」は、それぞれノンフラッシュ画像の座標（Ｘ，Ｙ）におけるＲ，Ｇ，Ｂの階調値を示す。図７に、フラッシュ画像の赤目をノンフラッシュ画像の黒目に置き換える様子を示す。
【００１９】
Qr(X,Y)=Rr(X,Y)  (1)
Qg(X,Y)=Rg(X,Y)  (2)
Qb(X,Y)=Rb(X,Y)  (3)
【００２０】
ステップＳ２５０で画素が黒目色でないと判定されたときには、フラッシュ画像の赤目をノンフラッシュ画像の目に置き換えると、誤補正する可能性が高いと判断して、座標（Ｘ，Ｙ）におけるフラッシュ画像のＲ，Ｇ，Ｂの階調値をこれらのうちで最も小さい値に揃えることにより赤目補正を行なう（ステップＳ２７０）。
【００２１】
こうして赤目補正を行なった後や、ステップＳ２３０で座標（Ｘ，Ｙ）の画素が赤目色でないと判定されたときには、水平方向カウンタＸを値１だけインクリメントすると共に（ステップＳ２８０）、水平方向カウンタＸと値ａ１とを比較し（ステップＳ２９０）、水平方向カウンタＸが値ａ１以下のときには、ステップＳ２２０に戻ってステップＳ２２０〜Ｓ２９０の処理を繰り返し、水平方向カウンタＸが値ａ１が値ａ１よりも大きいときには、垂直方向カウンタＹを値１だけインクリメントすると共に（ステップＳ３００）、垂直方向カウンタＹと値ｂ１とを比較し（ステップＳ３１０）、垂直方向カウンタＹが値ｂ１以下のときにはステップＳ２１０に戻ってステップＳ２１０〜Ｓ３１０の処理を繰り返し、垂直方向カウンタＹが値ｂ１よりも大きいときには、補正対象の赤目領域中のすべての画素について処理を完了したと判断して、本処理を終了する。
【００２２】
ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態の図４の赤目補正モード時撮影処理のステップＳ１３０などの処理を実行するＣＰＵ４０ａが本発明の「赤目領域検出手段」に相当し、図６の赤目補正処理を実行するＣＰＵ４０ａが「赤目補正手段」に相当する。なお、本実施形態では、画像処理装置の動作を説明することにより本発明の画像処理方法の一例も明らかにしている。
【００２３】
以上詳述した本実施形態のデジタルカメラ２０によれば、フラッシュ２６を発光させて撮影するフラッシュ撮影により得られたフラッシュ画像に赤目現象が生じているときには、フラッシュ画像中の赤目を、同一の被写体に対してフラッシュ２６を発光させずに撮影するノンフラッシュ撮影により得られたノンフラッシュ画像中の目に置き換えることにより補正するから、赤目補正をＲ，Ｇ、Ｂの階調値を画一的に修正することにより行なうものに比して、より自然に適正に赤目補正することができる。しかも、ノンフラッシュ画像の対応する目領域の画素が黒目色でないときには、フラッシュ画像のＲ，Ｇ，Ｂの階調値をこれらのうちで最も小さい値に揃えることにより赤目補正を行なうから、赤目の誤補正が行なわれるのを防止することができる。
【００２４】
本実施形態では、フラッシュ画像の画素に赤目現象が生じているときには、対応するノンフラッシュ画像の画素が黒目色か否かを判定し、黒目色のときにフラッシュ画像中の赤目を対応するノンフラッシュ画像中の目に置き換えるものとしたが、フラッシュ画像の画素に赤目現象が生じているときには対応するノンフラッシュ画像の画素が黒目色か否かを判定することなくフラッシュ画像中の赤目を対応するノンフラッシュ画像中の目に置き換えるものとしても構わない。
【００２５】
本実施形態では、対応するノンフラッシュ画像の画素が黒目色でないときには、フラッシュ画像のＲ，Ｇ，Ｂの階調値をこれらのうちで最も小さい値に揃えることにより赤目補正を行なうものとしたが、これに限定されるものではなく、他の赤目補正処理を採用するものとしてもよいし、こうした赤目補正を行なわないものとしても差し支えない。
【００２６】
本実施形態では、フラッシュ画像中の赤目を補正する本発明の画像処理装置をデジタルカメラ２０に搭載するものとして説明したが、コンピュータに搭載するものとしてもよいし、プリンタに搭載するものとしてもよい。これらの場合、デジタルカメラで撮影されたフラッシュ画像と対応するノンフラッシュ画像は記憶媒体を介して読み込むものとしたり、無線を用いてこれらの画像を受信するものとしてもよい。
【００２７】
本実施形態では、本発明を画像処理装置の形態として説明したが、画像処理方法の形態としてもよいし、プログラムの形態とするものとしてもよい。
【００２８】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることは勿論である。
【図面の簡単な説明】
【００２９】
【図１】デジタルカメラ２０の外観を例示する斜視図。
【図２】デジタルカメラ２０の背面を例示する背面図。
【図３】デジタルカメラ２０の機能ブロックを例示するブロック図。
【図４】赤目補正モード時撮影処理ルーチンの一例を示すフローチャート。
【図５】ＲＧＢ空間上における赤目領域の一例を示す説明図。
【図６】赤目補正処理の一例を示すフローチャート。
【図７】赤目補正の様子を示す説明図。
【符号の説明】
【００３０】
２０  デジタルカメラ、２１  ズーム機構付きレンズ、２２  電源ボタン、２３  モードダイヤル、２４  シャッターボタン、２５  タイマランプ、２６  フラッシュ、３０  背面、３１  液晶ディスプレイ、３２  ４方向ボタン、３３  印刷ボタン、３４ａ  Ｗボタン、３４ｂ  Ｔボタン、３５  メニューボタン、３８  ディスプレーボタン、３９  レビューボタン、４０ａ  ＣＰＵ、４０ｂ  ＲＯＭ、４０ｃ  ワークメモリ、４０ｄ  フラッシュメモリ、４２  光学系、４３  イメージセンサ、４４  センサコントローラ、４５  アナログフロントエンド（ＡＦＥ）部、４６  デジタル画像処理部、４７  圧縮伸張部、５０  ディスプレイコントローラ、５０a  電源回路、５２  入出力インタフェース、５３  記憶媒体、５４  ＵＳＢホストコントローラ、５５  ＵＳＢ接続端子、５６  ＵＳＢデバイスコントローラ。
【図１】
2010103820.tif 000003
【図２】
2010103820.tif 000004
【図３】
2010103820.tif 000005
【図４】
2010103820.tif 000006
【図５】
2010103820.tif 000007
【図６】
2010103820.tif 000008
【図７】
2010103820.tif 000009