(57)【要約】【課題】  閃光撮影で得られた画像中に生じる異常目を確実に補正する。【解決手段】  被写体を撮像する撮像部と、被写体に向けて閃光を発光する閃光発光部と、撮像部による被写体の撮像時に閃光発光部による閃光の発光を行う閃光撮像を、閃光の発光量を変化させて複数回実行させる撮像制御部と、複数回の閃光撮像により得られる複数の画像から、閃光撮像により生じる被写体の異常目の領域を検出する異常目検出部と、異常目検出部により検出された異常目の領域に基づいて、複数の画像のいずれかの画像を補正する画像補正部と、を備えたことを特徴とする。【選択図】    図４
2011114542.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像する撮像部と、
前記被写体に向けて閃光を発光する閃光発光部と、
前記撮像部による前記被写体の撮像時に前記閃光発光部による前記閃光の発光を行う閃光撮像を、前記閃光の発光量を変化させて複数回実行させる撮像制御部と、
前記複数回の閃光撮像により得られる複数の画像から、前記閃光撮像により生じる前記被写体の異常目の領域を検出する異常目検出部と、
前記異常目検出部により検出された前記異常目の領域に基づいて、前記複数の画像のいずれかの画像を補正する画像補正部と、
を備えたことを特徴とするデジタルカメラ。
【請求項２】
請求項１に記載のデジタルカメラにおいて、
前記異常目検出部は、前記被写体の輝度と、前記撮像部における被写体光の受光量との関係を利用することで、前記閃光撮像により生じる前記異常目の領域を検出し、
前記画像補正部は、検出された前記異常目の領域における色情報を、前記閃光を発光させないときの前記被写体の目の領域における色情報となるように補正することを特徴とするデジタルカメラ。
【請求項３】
請求項１又は請求項２に記載のデジタルカメラにおいて、
前記撮像制御部は、前記被写体の輝度に基づいて算出される前記閃光の発光量を含む、複数の異なる閃光の発光量を求めた後、求めた前記複数の異なる閃光の発光量のそれぞれを用いた複数回の閃光撮像を実行することを特徴とするデジタルカメラ。
【請求項４】
請求項１に記載のデジタルカメラにおいて、
前記撮像制御部は、前記被写体の輝度に基づいて前記閃光装置にて発光させる前記閃光の発光量を決定するとともに、予め設定された前記異常目の領域における色情報に基づいて前記閃光装置にて発光させる閃光の発光量を決定し、
前記異常目検出部は、前記被写体の輝度に基づいて決定された発光量を用いた閃光撮像により得られる画像と、前記異常目の色情報に基づいて決定された発光量を用いた閃光撮像により得られる画像とを用いて、前記異常目の領域を検出することを特徴とするデジタルカメラ。
【請求項５】
請求項４に記載のデジタルカメラにおいて、
前記異常目の領域における色情報は、色相及び彩度の情報からなり、
前記異常目検出部は、前記複数回の閃光撮像により得られた画像から、前記色相及び彩度が近似する領域を前記異常目の領域として検出することを特徴とするデジタルカメラ。
【請求項６】
請求項４又は請求項５に記載のデジタルカメラにおいて、
前記閃光発光部は、赤色光、緑色光及び青色光の少なくともいずれか１つの光量を調整することが可能であり、
前記異常目の色情報に基づいて決定される前記閃光の発光量は、前記赤色光、前記緑色光及び前記青色光の少なくともいずれか１つの光量が前記被写体の輝度に基づいて決定される前記閃光の発光量より低い光量からなることを特徴とするデジタルカメラ。
【請求項７】
請求項３〜請求項６のいずれか１項に記載のデジタルカメラにおいて、
前記画像補正部は、前記複数回の閃光撮像のうち、前記被写体の輝度に基づいて決定される前記閃光の発光量を用いた閃光撮像により得られた画像に発生する異常目の領域を補正することを特徴とするデジタルカメラ。
【請求項８】
請求項１〜請求項７のいずれか１項に記載のデジタルカメラにおいて、
前記画像補正部により補正された画像に含まれる被写体の情報と、少なくとも前記異常目検出部により検出された前記異常目の領域における色情報とを対応付けて記憶する記憶部を、さらに備えていることを特徴とするデジタルカメラ。
【請求項９】
請求項１〜請求項８のいずれか１項に記載のデジタルカメラにおいて、
前記撮像制御部は、前記撮像部に動画像を撮像させることが可能であり、
前記画像補正部は、前記動画像中に発生する異常目を補正することを特徴とするデジタルカメラ。
【請求項１０】
請求項９に記載のデジタルカメラにおいて、
前記撮像制御部は、前記動画像の撮像の際に、該動画像を構成する複数のフレーム画像と、該フレーム画像間に取得される参照用画像とを前記撮像部に撮像させ、
前記異常目検出部は、前記フレーム画像と、該フレーム画像の直後に取得される参照用画像とを用いて前記異常目を検出し、
前記画像補正部は、前記フレーム画像に生じる異常目を補正する
ことを特徴とするデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影により取得された画像に生じる赤目現象を補正するデジタルカメラに関する。
【背景技術】
【０００２】
夜間撮影など、被写体の周囲が暗い環境下で撮影を行う場合、その撮影時に被写体に向けて閃光を発光する閃光撮影を行うことが一般的である。閃光撮影を行った場合、被写体が人物であれば赤目現象、被写体が動物であれば緑目や金目などの現象など、得られた画像中に異常目の現象が発生する。このような異常目の現象を抑止する方法としては、発光される閃光の光軸と眼底を反射する光の光軸とをずらすように閃光撮像を行うことが挙げられる。また、最近では、閃光撮像時に得られた画像から異常目の有無を検出し、検出される異常目を補正する方法が考案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１４８８００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
閃光撮像時に得られる画像から異常目の有無を検出する手法としては、周知の被写体認識の技術を用いることが一般的である。しかしながら、この被写体認識は、人物に対してのみ有効であり、犬や猫などの動物に対しては有効な手法ではない。このため、動物と被写体とする閃光撮像を行った場合には、得られた画像中に発生する異常目を適切に補正することが難しいという問題がある。
【０００５】
本発明は、閃光撮像で得られた画像中に生じる異常目を確実に補正することができるようにしたデジタルカメラを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明のデジタルカメラは、被写体を撮像する撮像部と、前記被写体に向けて閃光を発光する閃光発光部と、前記撮像部による前記被写体の撮像時に前記閃光発光部による前記閃光の発光を行う閃光撮像を、前記閃光の発光量を変化させて複数回実行させる撮像制御部と、前記複数回の閃光撮像により得られる複数の画像から、前記閃光撮像により生じる前記被写体の異常目の領域を検出する異常目検出部と、前記異常目検出部により検出された前記異常目の領域に基づいて、前記複数の画像のいずれかの画像を補正する画像補正部と、を備えたことを特徴とする。
【０００７】
また、前記異常目検出部は、前記被写体の輝度と、前記撮像部における被写体光の受光量との関係を利用することで、前記閃光撮像により生じる前記異常目の領域を検出し、前記画像補正部は、検出された前記異常目の領域における色情報を、前記閃光を発光させないときの前記被写体の目の領域における色情報となるように補正することが好ましい。
【０００８】
また、前記撮像制御部は、前記被写体の輝度に基づいて算出される前記閃光の発光量を含む、複数の異なる閃光の発光量を求めた後、求めた前記複数の異なる閃光の発光量のそれぞれを用いた複数回の閃光撮像を実行することが好ましい。
【０００９】
また、前前記撮像制御部は、前記被写体の輝度に基づいて前記閃光装置にて発光させる前記閃光の発光量を決定するとともに、予め設定された前記異常目の領域における色情報に基づいて前記閃光装置にて発光させる閃光の発光量を決定し、前記異常目検出部は、前記被写体の輝度に基づいて決定された発光量を用いた閃光撮像により得られる画像と、前記異常目の色情報に基づいて決定された発光量を用いた閃光撮像により得られる画像とを用いて、前記異常目の領域を検出することが好ましい。
【００１０】
この場合、前記異常目の領域における色情報は、色相及び彩度の情報からなり、前記異常目検出部は、前記複数回の閃光撮像により得られた画像から、前記色相及び彩度が近似する領域を前記異常目の領域として検出することが好ましい。
【００１１】
また、前記閃光発光部は、赤色光、緑色光及び青色光の少なくともいずれか１つの光量を調整することが可能であり、前記異常目の色情報に基づいて決定される前記閃光の発光量は、前記赤色光、前記緑色光及び前記青色光の少なくともいずれか１つの光量が前記被写体の輝度に基づいて決定される前記閃光の発光量より低い光量からなることが好ましい。
【００１２】
また、前記画像補正部は、前記複数回の閃光撮像のうち、前記被写体の輝度に基づいて決定される前記閃光の発光量を用いた閃光撮像により得られた画像に発生する異常目の領域を補正することが好ましい。
【００１３】
また、前記画像補正部により補正された画像に含まれる被写体の情報と、少なくとも前記異常目検出部により検出された異常目の領域における色情報とを対応付けて記憶する記憶部を、さらに備えていることが好ましい。
【００１４】
また、前記撮像制御部は、前記撮像部に動画像を撮像させることが可能であり、前記画像補正部は、前記動画像中に発生する異常目を補正することが好ましい。
【００１５】
また、前記撮像制御部は、前記動画像の撮像の際に、該動画像を構成する複数のフレーム画像と、該フレーム画像間に取得される参照用画像とを前記撮像部に撮像させ、前記異常目検出部は、前記フレーム画像と、該フレーム画像の直後に取得される参照用画像とを用いて前記異常目を検出し、前記画像補正部は、前記フレーム画像に生じる異常目を補正することが好ましい。
【発明の効果】
【００１６】
本発明によれば、閃光撮像で得られた画像中に生じる異常目を確実に補正することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明のデジタルカメラの概略を示す機能ブロック図である。
【図２】眼部への入射光量と、撮像素子における受光量との関係を示す図である。
【図３】撮影時の処理の流れを示すフローチャートである。
【図４】画像補正処理の流れを示す説明図である。
【図５】他の実施形態における撮影時の処理の流れを示すフローチャートである。
【図６】画像補正時の処理の流れを示す説明図である。
【図７】発生する異常目の領域をユーザに指定させる場合の、撮影時の処理の流れを示すフローチャートである。
【図８】被写体が人物となる場合の撮影時の処理の流れを示すフローチャートである。
【図９】画像補正時の処理の流れを示す説明図である。
【図１０】動画撮影時の処理の流れを示すフローチャートである。
【図１１】画像補正時の処理の流れを示す説明図である。
【発明を実施するための形態】
【００１８】
以下、ユーザがデジタルカメラ１０を用いて画像を取得する操作を撮影と称し、撮影時にデジタルカメラ１０の内部で実行される動作を撮像と称する。また、以下に説明するデジタルカメラ１０は、撮影モードとして、「オート」、「風景」、「近接」、「動画」の他に、「ペット」が設けられ、その撮影時には、これらモードのいずれかが設定される。撮影モードとして「ペット」が設定されると、閃光の発光量を変化させた複数回の閃光撮像が行われる。これら閃光撮像の後、得られた複数の画像から異常目の有無を検出し、検出された異常目に対する補正処理を実行する。
【００１９】
図１に示すように、デジタルカメラ１０は、撮影光学系１５によって取り込まれた被写体光を撮像素子１６によって光電変換し、光電変換後の電気信号から画像データを取得する。撮影光学系１５は、図示を省略したズームレンズやフォーカスレンズなどを含むレンズ群から構成される。これらズームレンズやフォーカスレンズは図示を省略したレンズ駆動機構によって光軸Ｌ方向に移動する。
【００２０】
撮像素子１６は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ−Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などから構成される。この撮像素子１６は、ドライバ１８によって駆動制御される。なお、撮像素子１６の駆動制御としては、撮像素子１６の各画素における信号電荷の蓄積、及び蓄積された各画素の信号電荷の出力を制御することが挙げられる。なお、各画素の信号電荷は画像信号としてＡＦＥ回路２１に出力される。
【００２１】
ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）回路２１は、図示しないＡＧＣ回路やＣＤＳ回路を含んで構成される。ＡＦＥ回路２１は、入力された画像信号に対してゲインコントロール、雑音除去などのアナログ処理を施した後、図示しないＡ／Ｄ変換回路により、アナログの信号をデジタルの信号に変換する。デジタルの信号に変換された画像信号は、ＤＦＥ回路２２に出力される。
【００２２】
ＤＦＥ（Ｄｉｇｉｔａｌ  Ｆｒｏｎｔ  Ｅｎｄ）回路２２は、入力された画像信号に対してノイズ補正処理や欠陥補正処理を行う。これら処理が施された画像信号は、バッファメモリ２５に一時的に書き込まれる。以下、バッファメモリ２５に書き込まれた画像信号を画像データと称する。なお、符号２３は、タイミングジェネレータ（ＴＧ）であり、このＴＧ２３によるタイミングパルスの出力を受けて、ドライバ１８、ＡＦＥ回路２１、ＤＦＥ回路２２における動作が同期される。
【００２３】
画像処理回路３０は、バッファメモリ２５に書き込まれた画像データに対して、ホワイトバランス処理、色補間処理、輪郭補償処理、ガンマ処理などの画像処理を施す。また、画像処理回路３０は、画像処理後の画像データに対して符号化処理を施す他、記憶媒体３６から読み出した画像データに対して復号化処理を実行する。
【００２４】
この画像処理回路３０は、異常目検出部３１及び画像補正部３２の機能を備えている。これら異常目検出部３１及び画像補正部３２は、撮影モードとして「ペット」が設定されているときに機能する。これら異常目検出部３１及び画像補正部３２は、上述した画像処理の後に実行される。
【００２５】
異常目検出部３１は、閃光撮像により得られた複数の画像データに基づいて、異常目の有無を検出する。なお、異常目とは、閃光撮像を行ったときに発光する閃光が被写体となる人物又は動物の眼底で反射し、画像における被写体の目が例えば赤色、橙色、緑色、金色となる現象である。上述したように、撮影モードとして「ペット」が設定されている場合には、閃光装置４１における閃光の発光量を変化させた複数回の閃光撮像が実行される。なお、「閃光量を変化させた複数回の閃光撮像」とは、後述するＡＥ処理により算出される閃光の発光量を適正発光量とした閃光撮像を行った後、適正発光量よりも大きい発光量を用いた閃光撮像、又は適正発光量よりも小さい発光量を用いた閃光撮像の少なくともいずれか一方の閃光撮像を行うことが挙げられる。この異常目検出部３１は、閃光の発光量を変化させた複数回の閃光撮像から得られる画像データを用いて、以下の処理を実行する。
（１）位置ずれ補正
異常目検出部３１は、複数回の閃光撮像のそれぞれにおける閃光の発光量のうち、適正発光量を用いた閃光撮像にて得られた画像データを基準として、他の発光量を用いた閃光撮像で得られた画像データに対する位置ずれ補正を実行する。この位置ずれ補正としては、周知のブロックマッチングが挙げられる。なお、ブロックマッチングの手法については、周知であることから、ここでは省略する。異常目検出部３１は、まず、各画像データを読み出し、読み出した画像データから、Ｂ色成分の画像データ（Ｂ色画像データ）を生成する。Ｂ色画像データの生成の後、異常目検出部３１は、生成したＢ色画像データを用いて位置ずれ補正を実行する。この位置ずれ補正を行うことで、適正発光量を用いた閃光撮像にて得られた画像データに対する、他の画像データの位置調整が実行される。
（２）反射率変化の特性分析
異常目検出部３１は、複数回の閃光撮像にて得られた画像データと、後述する測光センサ４１により検出される被写体輝度を用いて、反射率変化の特性を分析する。なお、この反射率変化の特性分析は、画像データに基づく画像の各画素に対して実行される。図２は、特定の画素における反射率変化の特性を分析した結果を示すグラフである。このグラフの横軸は眼部への入射光量Ｌｖであり、縦軸は撮像素子１６における受光量Ｖである。なお、横軸に示す眼部への入射光量Ｌｖは、測光センサ４１により検出される被写体輝度と略同一と考えることができるので、反射率変化の特性は、被写体輝度と、撮像素子における被写体光の受光量との関係と言い換えることができる。
【００２６】
例えばＲ色について説明すると、眼部への入射光量ＬｖがＬｖａまで増加するときには、撮像素子１６における受光量ＶＲは入射光量Ｌｖに比例して増加する。そして、入射光量ＬｖがＬｖ１に到達すると、Ｒ色の受光量ＶＲは最大受光量Ｖｍａｘとなる。さらに、入射光量ＬｖがＬｖ１を超えて増加した場合には、Ｒ色の受光量ＶＲは最大受光量Ｖｍａｘのまま、つまりＲ色の受光量ＶＲは過飽和する。
【００２７】
同様にして、Ｇ色について説明すると、眼部への入射光量ＬｖがＬｖ２まで増加するときには、Ｇ色の受光量ＶＧは入射光量Ｌｖに比例して増加する。そして、入射光量ＬｖがＬｖｂに到達すると、Ｇ色の受光量ＶＧは最大受光値Ｖｍａｘとなる。さらに入射光量ＬｖがＬｖ２を超えて増加した場合には、Ｇ色の受光量ＶＧは最大受光量Ｖｍａｘのまま、つまりＧ色の受光量ＶＧは過飽和する。なお、Ｂ色においては、もともと受光感度が低いことから、Ｂ色の受光量ＶＢは、領域ａ、領域ｂ及び領域ｃの範囲内では入射光量Ｌｖの増加に比例して増加するが、最大受光量ｍａｘとはならない。
（３）異常目の検出
異常目検出部３１は、上述した反射率変化の特性を利用して異常目を検出する。この異常目の検出は、Ｒ色、Ｇ色及びＢ色の受光量のうち、Ｒ色及びＧ色の受光量を用いて実行される。なお、Ｒ色及びＧ色の受光量としているが、実際には、画像データにおける各画素のＲ色及びＧ色の色成分値（画素値）が用いられる。以下では、Ｒ色の色成分値を用いた場合について説明するが、Ｇ色の色成分値についても同様の処理が実行される。
【００２８】
以下、１回目の閃光撮像時における眼部への入射光量をＬｖ１、２回目の閃光撮像時における入射光量をＬｖ２とし、２回目の閃光撮像時における入射光量Ｌｖ２を、１回目の閃光撮像時における入射光量Ｌｖ１の２倍に設定した場合について考慮する。例えば、１回目の閃光撮像における入射光量Ｌｖ１により得られる受光量ＶＲ１及び２回目の閃光撮像における入射光量Ｌｖ２により得られる受光量ＶＲ２が、それぞれ過飽和していない場合、受光量ＶＲ１とＶＲ２との関係は２ＶＲ１−ＶＲ２＝０となる。しかしながら、例えば２回目の閃光撮像により得られる受光量ＶＲ２が過飽和している場合には、受光量ＶＲ１とＶＲ２との関係は２ＶＲ１−ＶＲ２＞０となる。つまり、２ＶＲ１−ＶＲ２の値を求めることで、対象となる画素が過飽和している画素であるか否かを判断することができる。
【００２９】
Ｒ色の色成分値及びＧ色の色成分値を用いて、過飽和している画素か否かの判断を実行した後、異常目検出部３１は、例えば赤色など特定の色相を用いたラベリング処理を実行する。例えば過飽和している画素に隣接する画素は、光の入射状態や眼球内部の反射状態に応じて部分的に赤目が生じていることが多い。また、図２に示すように、Ｒ色の受光量ＶＲについて考慮すると、眼部への入射光量ＬｖがＬｖ３以下（Ｒ色の受光量ＶＲがＶｔ以下）となる場合には、画像中には赤目が発生せず、入射光量ＬｖがＬｖ３を超過する（Ｒ色の受光量ＶＲがＶｔを超過する）と、画像中には赤目が発生する。このため、特定の色相を用いたラベリング処理を行うことで、過飽和する画素に隣接する画素から、異常目に含まれると考えられる画素を特定する。
【００３０】
これら処理の後、異常目検出部３１は、過飽和している画素であると特定された画素と、特定の色相にてラベリングされた画素とを用いた分布形状を評価する。この分布形状の評価としては、例えば重心からのモーメント評価や、重心からの分散値等を求めることで実行される。この分布形状の評価により、特定された画素やラベリングされた画素のうち、孤立する画素など、異常目の領域と判断されなかった画素が除去され、異常目に含まれる画素のみが検出される。
【００３１】
画像補正部３２は、適正発光量を用いた閃光撮像にて得られた画像データに対して、異常目検出部３１により検出された異常目の領域に含まれる画素に対する補正処理を実行する。この画像補正部３２による補正処理としては、画像中に生じる異常目の領域に含まれる画素の各色成分値を、例えば異常目の領域を通常の照明下、言い換えれば閃光発光が行われていないときの眼球色となる目の領域に含まれる画素の各色成分値に置き換える。
【００３２】
図２に示すように、例えば適正発光量を用いた閃光撮像での入射光量をＬｖ１、適正発光量よりも大きい発光量を用いた閃光撮像での入射光量をＬｖ２とした場合について説明する。この場合、入射光量がＬｖ１の場合は、各色の色成分値が過飽和しておらず、入射光量Ｌｖ２の場合にはＲ色光の受光量ＶＲが過飽和している。このため、画像補正部３２は、適正発光量を用いた閃光撮像で得られた画像データから、上述した異常目の領域に含まれる画素の色成分値を読み出す。画像補正部３２は、入射光量Ｌｖ１と、通常の照明下での撮影における入射光量Ｌｖ３との比率Ｋ（＝Ｌｖ１／Ｌｖ３）を求める。入射光量の比率Ｋを求めた後、画像補正部３２は、読み出した画素の各色成分値を、入射光量の比率Ｋで除算する。画像補正部３２は、この除算を異常目の領域に含まれる全ての画素に対して実行する。この除算の後、画像補正部３２は、適正発光量による閃光撮像にて取得された画像データにおける異常目の領域に含まれる画素の色成分値を、上述した除算にて求めた画素の色成分値に置き換える。なお、通常の環境下における入射光量Ｌｖ３は、予めユーザが設定してもよいし、予め閃光装置４１における閃光の発光量に基づいて設定されるようにしてもよい。
【００３３】
一方、適正発光量の他に、適正発光量よりも小さい発光量を設定した場合には、適正発光量を用いた閃光撮像にて得られた画像データでは、被写体の目の領域に含まれる画素は過飽和していると考えられるので、このような場合には、画像補正部３２は、適正発光量よりも小さい発光量を用いた閃光撮像時の入射光量と、通常の照明下における入射光量との比率Ｋを求める。なお、この通常の照明下における入射光量とは、撮影を行っていない状態での入射光量である。この比率Ｋを求めた後、画像補正部３２は、適正発光量よりも小さい発光量を用いた閃光撮像により得られた画像データから異常目の領域に含まれる画素の色成分値を読み出し、上述した比率で除算する。画像補正部３２は、適正発光量を用いた閃光撮像にて得られた画像データにおける異常目の領域に含まれる画素の色成分値を読み出し、除算にて得られる各画素の色成分値に置き換える。
【００３４】
なお、上述した通常の環境下における入射光量の値や、閃光撮像時の入射光量と通常の照明下における入射光量との比率Ｋは、内蔵メモリ３５等に記憶していてもよいし、撮像時にユーザが入力してもよい。
【００３５】
また、上述した画像補正部３２における画像補正の内容としては、この他に、通常の照明下における目の画像、又は通常の照明下における目の色情報を予めサンプルデータとして内蔵メモリ３５に記憶しておき、異常目が生じた場合に、サンプルデータを読み出して、異常目の領域に対して補正することも可能である。
【００３６】
図１に戻って、記憶媒体３６は、画像ファイルが記憶される。この画像ファイルは、バッファメモリ２５に記憶される符号化処理済みの画像データ（符号化データ）と、撮影条件、撮影日時及びデジタルカメラ１０の機種などの情報を付加情報とがまとめられた画像ファイルからなる。なお、符号３７は、記憶媒体３６が装着されるメディアスロットである。
【００３７】
ＬＣＤ３８は、表示装置の一形態であって、スルー画像や、撮像時に得られた画像を表示する。なお、撮像時に得られた画像として、例えばサムネイル画像が挙げられる。このサムネイル画像は、撮像により得られた画像データを縮小処理することで生成される画像である。また、この他に、ＬＣＤ３８は、デジタルカメラ１０の設定を行う際の設定用の画像を表示する。なお、符号３９は表示制御回路であり、この表示制御回路３９はＬＣＤ３８の表示制御を実行する。
【００３８】
測光センサ４０は、後述するレリーズボタン５２が半押し操作された場合に、被写体の輝度を測光する。この測光センサ４０からの出力は、ＣＰＵ５０に入力される。なお、測光センサ４０を用いる代わりに、撮像素子１６により取り込まれるスルー画像を用いて被写体の輝度を求めることも可能である。
【００３９】
閃光装置４１は、閃光撮像時に、後述するＣＰＵ５０のＡＥ処理により求められた発光量となるように閃光を発光する。この閃光装置４１は、例えば白色光源を備えている。閃光装置４１としては、白色光源を有する他に、Ｒ色光、Ｇ色光及びＢ色光を発するＬＥＤを複数配列したＬＥＤ光源や、白色光源と、Ｒ色、Ｇ色及びＢ色のフィルタとを有する光源を備えていてもよい。
【００４０】
ＣＰＵ５０は、バッファメモリ２５、画像処理回路３０、内蔵メモリ３５、メディアスロット３７、表示制御回路３９、測光センサ４０、閃光装置４１などとバス５１を介して接続される。このＣＰＵ５０は、図示を省略した制御プログラムを実行することで、デジタルカメラ１０の各部を統括的に制御する。このＣＰＵ５０にはレリーズボタン５２や設定操作部５３が接続され、これらボタンや操作部の操作に基づく操作信号がＣＰＵ５０に入力される。この操作信号の入力を受けて、ＣＰＵ５０は、操作信号に基づく処理を実行する。なお、設定操作部５３は、撮像感度やシャッタ速度などの設定や、撮影モードの設定などの際に操作される。
【００４１】
このＣＰＵ５０は、上述した制御プログラムを実行することで、ＡＥ処理部５５、ＡＦ処理部５６及びプロファイル生成部５７の機能を備えている。ＡＥ処理部５５は、レリーズボタン５２の半押し操作を受けて、撮像時の露光条件を決定する。この露光条件としては、予め撮像感度（ＩＳＯ感度）が設定されている場合には、該撮像感度や測光センサ４０により検出される被写体の輝度などに基づいて、閃光装置４１における閃光の発光量や、シャッタ速度や図示を省略した絞り値などを決定する。また、予めシャッタ速度が設定されている場合には、該シャッタ速度や閃光装置４１における閃光の発光量に基づき、撮像感度や絞り値などが決定される。なお、このＡＥ処理により求めた閃光の発光量を、適正発光量と称する。
【００４２】
このようにして露光条件が決定された後、ＡＥ処理部５５は、求めた露光条件のうち、閃光装置４１における適正発光量とは異なる発光量を設定する。ここで、反射率変化の特性の分析結果を示すデータが内蔵メモリ３５に記憶されているときには、以下のようにして、適正発光量とは異なる発光量を求める。
【００４３】
例えば適正発光量を用いた閃光撮像を行うと異常目が発生すると考えられる場合には、ＡＥ処理部５５は、適正発光量よりも小さい発光量を設定する。一方、適正発光量を用いた閃光撮像では異常目が発生しないと考えられる場合には、ＡＥ処理部５５は、適正発光量よりも大きい発光量を設定する。なお、閃光の発光量と異常目の有無との関係が予めわかっていない場合には、適正発光量の他に、該適正発光量よりも低い発光量、該適正発光量よりも大きい発光量の少なくとも３つ以上の発光量を設定すればよい。つまり、設定される発光量のいずれかを用いた閃光撮像において過飽和する画素が発生するように、適正発光量、又はその他の発光量のいずれか一方が設定されればよい。
【００４４】
ＡＦ処理部５６は、ＡＥ処理部５５による露光条件の決定後に、得られるスルー画像を参照しながら、撮像光学系１５のズームレンズを光軸（Ｌ）方向に微小移動させながら、スルー画像中の予め設定された領域におけるＡＦ評価値を算出し、ＡＦ評価値の最も高くなるときのズームレンズの位置を決定する。
【００４５】
プロファイル生成部５７は、上述した異常目検出部３１及び画像補正部３２により、画像中の異常目を補正した場合プロファイルデータ５８を生成する。このプロファイルデータ５８は、被写体を認識するための被写体ＩＤ、反射率変化の特性に対する分析結果、通常の照明下での入射光量、及び色補正内容などの情報がまとめられたデータからなる。これらデータのうち、被写体ＩＤはユーザが設定操作部５３を操作することで変更（設定）することが可能である。なお、このプロファイル生成部５７により生成されるプロファイルデータ５８は、記憶媒体３６に格納された画像ファイルの付帯情報として記憶させてもよいし、内蔵メモリ３５に記憶させてもよい。なお、図１においては、内蔵メモリ３５にプロファイルデータ５８を記憶させた場合を示している。
【００４６】
次に、撮像から画像記録までの処理の流れについて、図３のフローチャートに基づいて説明する。以下では、犬を被写体とした静止画撮影を行う場合について説明する。なお、このフローチャートは、撮影モードが「ペット」に設定されたことを契機に実行される。
【００４７】
ステップＳ１０１は、レリーズボタン５２の半押し操作があるか否かを判定する処理である。レリーズボタン５２は、その半押し操作時にオンとなるスイッチＳＷ１と、その全押し操作時にオンとなるスイッチＳＷ２とを備えている。これらスイッチは、それぞれオンとなるときにオン信号をＣＰＵ５０に向けて出力する。このステップＳ１０１では、スイッチＳＷ１からのオン信号があるか否かによって、レリーズボタン５２の半押し操作があるか否かを判定する。スイッチＳＷ１からのオン信号がある場合には、ＣＰＵ５０は、レリーズボタン５２の半押し操作があると判定する。この場合、ステップＳ１０２に進む。一方、スイッチＳＷ１からのオン信号がない場合には、ＣＰＵ５０は、レリーズボタン５２の半押し操作がないと判定する。この場合、ステップＳ１０１の処理が繰り返し実行される。
【００４８】
ステップＳ１０２は、ＡＥ処理である。ＣＰＵ５０には、測光センサ４０から被写体の輝度の検出信号が入力されるので、この検出信号や、予め設定される撮影感度やシャッタ速度などの情報に基づいて、撮像時の露光条件を決定する。その後、ＣＰＵ５０は、決定された露光条件の一つである適正発光量を読み出し、該適正発光量とは異なる複数の発光量を設定する。
【００４９】
例えば、反射率変化の特性に対する分析結果を示す情報がプロファイルデータ５８に記憶されている場合で、かつ求められた適正発光量では異常目が発生してしまうと考えられる場合には、適正発光量の他に、適正発光量より小さい発光量を設定する。また、適正発光量では異常目が発生しないと考えられる場合には、適正発光量の他に、適正発光量よりも大きい発光量を設定する。一方、反射率変化の特性分析の結果がわかっていない場合には、適正発光量よりも大きい発光量と、適正発光量よりも小さい発光量との少なくとも３つの発光量を設定する。
【００５０】
ステップＳ１０３はＡＦ処理である。このＡＦ処理はＣＰＵ５０により実行される。なお、ＡＦ処理については周知であることから、ここでは、その詳細については省略する。
【００５１】
ステップＳ１０４は、レリーズボタン５２の全押し操作があるか否かを判定する処理である。上述したように、レリーズボタン５２には、その全押し操作時にオンとなるスイッチＳＷ２を備えている。このステップＳ１０４では、スイッチＳＷ２からのオン信号があるか否かによって、レリーズボタン５２の全押し操作があるか否かを判定する。スイッチＳＷ２からのオン信号がある場合には、ＣＰＵ５０は、レリーズボタン５２の全押し操作があると判定する。この場合、ステップＳ１０５に進む。一方、スイッチＳＷ２からのオン信号がない場合には、ＣＰＵ５０は、レリーズボタン５２の全押し操作がないと判定する。この場合、レリーズボタン５２の全押し操作があると判定されるまで、ステップＳ１０４の処理が繰り返し実行される。
【００５２】
ステップＳ１０５は、異なる発光量を用いた複数回の閃光撮像を行う処理である。ステップＳ１０２により、適正発光量を含む複数の発光量を決定している。ＣＰＵ５０は、これら発光量を用いて連続的に（例えば１／８０秒間隔で）閃光撮像を行う。これにより、露光条件が異なる複数の画像が取得される。なお、この閃光撮像を行うことで得られる画像データは、それぞれバッファメモリ２５に書き込まれる。これら閃光撮像においては、例えば適正発光量を用いた閃光撮像をまず行い、その後で、適正発光量とは異なる発光量を用いた閃光撮像を行えばよい。なお、これらバッファメモリ２５に書き込まれた画像データは、画像処理回路３０による画像処理が施された後、再度バッファメモリ２５に書き込まれる。
【００５３】
ステップＳ１０６は、適正発光量にて閃光撮像された画像データを基準とした位置ずれ補正処理である。画像処理回路３０は、バッファメモリ２５に格納された画像処理済みの画像データをそれぞれ読み出した後、Ｒ色、Ｇ色、Ｂ色の各色成分のうち、Ｂ色成分からなるＢ色画像データを生成する。画像処理回路３０は、生成したＢ色画像データのうち、適正発光量にて取得されたＢ色画像データを基準として、他のＢ色画像データに対する位置ずれ補正を実行する。これにより、適正発光量にて閃光撮像された画像データと、他の画像データとの位置ずれ量が求められ、他の画像データの各画素の位置データが適正発光量にて閃光撮像された画像データの各画素の位置データに対応するように位置調整（補正）される。
【００５４】
ステップＳ１０７は、異常目を検出する処理である。まず、画像処理回路３０は、位置ずれ補正の後、バッファメモリ２５に記憶された適正発光量にて撮像された画像データと位置ずれ補正処理が施された画像データを用いて、同一位置の画素における反射率変化の特性を分析する。この分析は、例えばＲ色及びＧ色の色成分値を用いて実行される。この反射率変化の特性を利用して、画像処理回路３０は過飽和している画素を異常目の領域に含まれる画素として検出する。
【００５５】
また、過飽和している画素の検出後、画像処理回路３０は、特定の色相を用いたラベリング処理を実行する。例えば過飽和している画素に近接する画素は、閃光の入射状態や眼球内部の反射状態に応じて、部分的に赤目が生じることもあるので、このラベリング処理を行うことで、発生する赤目に含まれる画素を検出することが可能となる。これら処理の後、画像処理回路３０は、過飽和している画素と、特定の色相にてラベリングされた画素とから構成される領域に対する分布形状の評価を実行する。これにより、検出された画素、又は、これら検出された画素が密集する領域などが異常目の領域となるか否かが検出される。なお、異常目の領域と判定された場合には、該異常目の領域に含まれる画素のアドレスデータが内蔵メモリ３５に書き込まれる。
【００５６】
ステップＳ１０８は、異常目を補正する処理である。画像処理回路３０は、ステップＳ１０７にて求めたアドレスデータを参照して、複数の画像データから、ステップＳ１０７において検出された異常目に該当する領域をそれぞれ読み出す。例えば、ステップＳ１０２により決定された閃光装置４１の発光量が、適正発光量と、該適正発光量より大きい発光量となる場合には、適正発光量を用いた閃光撮像にて得られた画像データにおいては、過飽和している画素が発生していないと考えられるので、この場合には、適正発光量を用いた閃光撮像にて得られた画像データから、異常目の領域に含まれる画素の画素値を読み出す。一方、ステップＳ１０２により決定された閃光装置の発光量が、適正発光量と、該適正発光量より小さい発光量となる場合には、適正発光量を用いた閃光撮像にて得られた画像データにおいては、過飽和している画素が発生していると考えられるので、この場合には、適正発光量よりも小さい発光量を用いた閃光撮像にて得られた画像データから、異常目の領域に含まれる画素の画素値を読み出す。
【００５７】
次に、画像処理回路３０は、対象となる画像が取得されたときの入射光量と通常の照明下における入射光量との比率Ｋを求める。画像処理回路３０は、読み出した画素の各色成分値をそれぞれ算出した比率で除算する。これにより、通常の照明下における目の領域に含まれる画素の各色成分値が得られる。
【００５８】
その後、画像処理回路３０は、適正発光量を用いた閃光撮像にて得られた画像データを読み出し、異常目の領域に含まれる画素の色成分値を、求めた通常の照明下における目の領域に含まれる画素の成分値に置き換える。これにより、適正発光量下で得られる画像データに通常の照明下での目の領域の画像データが合成される。なお、異常目が補正された画像データは、バッファメモリ２５に書き込まれる。
【００５９】
ステップＳ１０９は、補正処理済みの画像を表示する処理である。ＣＰＵ５０は、バッファメモリ２５に格納された補正処理済みの画像データを読み出し、表示制御回路３９に出力する。これを受けて、表示制御回路３９は、補正処理済みの画像データに基づく画像をＬＣＤ３８に表示する。
【００６０】
ステップＳ１１０は、色補正指示がないか否かを判定する処理である。ステップＳ１０９の処理を実行したときには、補正処理済みの画像データに基づく画像の他に、異常目に対して実行された色補正を再度補正する必要であるか否かを選択させる旨のコメントが表示される。このコメントに応じて、ユーザによる設定操作部５３の操作が実行される。設定操作部５３から出力される信号が、例え色補正を実行しない旨の操作に基づく信号である場合には、ＣＰＵ５０は、ステップＳ１１０の処理をＹｅｓと判定する。この場合には、ステップＳ１１１に進む。一方、設定操作部５３から出力される信号が、色補正を実行する旨の操作に基づく信号である場合には、ＣＰＵ５０は、ステップＳ１１０の処理をＮｏと判定する。この場合には、ステップＳ１１３に進む。
【００６１】
ステップＳ１１１は、補正処理済みの画像データを記録する処理である。画像処理回路３０は、補正処理済みの画像データに対して符号化処理を実行することで、符号化データを生成する。ＣＰＵ５０は、符号化データと、撮像時の情報や、カメラの機種情報などをまとめた画像ファイルを記憶媒体３６に生成する。
【００６２】
ステップＳ１１２は、異常目に関するプロファイルを記録する処理である。ＣＰＵ５０は、被写体を認識するための被写体ＩＤ、反射率変化の特性に対する分析結果、通常の照明下での入射光量、及び色補正内容などの情報がまとめられたプロファイルデータを生成し、内蔵メモリ３５に書き込む。この処理が実行されると、撮像時における一連の処理が終了する。なお、生成されたプロファイルデータとしては、その識別情報と、先に内蔵メモリ３５に記憶されているプロファイルデータの識別情報とが同一のプロファイルデータとなる場合もある。このような場合には、他のプロファイルデータとして書き込んでも良いし、先に記憶されているプロファイルデータに対して上書きしてもよい。
【００６３】
ステップＳ１１０において、色補正指示があると判定された場合には、ステップＳ１１３に進む。ステップＳ１１３は、色補正処理を行う処理である。この色補正処理は、補正された異常目の領域に含まれる画素の各色成分値を補正する処理である。この補正処理は、ユーザの設定操作部５３の操作に基づいて実行してもよいし、予めデジタルカメラ１０内部で設定される色成分値に基づいて自動的に実行されるものであってもよい。この色補正処理が実行されると、ステップＳ１０９に戻り、再度、補正処理済みの画像が表示される。
【００６４】
以下、異常目を補正する手順を、図４を用いて説明する。例えば適正発光量を用いた閃光撮像にて得られた画像をＰＩ１、適正発光量Ｌｖ１よりも小さい発光量を用いた閃光撮像にて得られた画像をＰＩ２とする。なお、画像ＰＩ１では被写体である犬に赤目が生じ、画像ＰＩ２では、被写体である犬に異常目が発生していないことを前提としている。上述したように、画像処理回路３０は、画像ＰＩ１及び画像ＰＩ２から、Ｂ色画像ＢＩ１及びＢ色画像ＢＩ２をそれぞれ生成する。これらＢ色画像ＢＩ１、ＢＩ２を生成した後、画像処理回路３０は、これらＢ色画像ＢＩ１、ＢＩ２のうち、Ｂ色画像ＢＩ１を基準にした位置ずれ補正を行う。これにより、Ｂ色画像ＢＩ１とＢ色画像ＢＩ２との位置ずれ量が求められる。この位置ずれ量は、画像ＰＩ１に対する画像ＰＩ２の位置ずれ量となる。なお、求められた位置ずれ量により画像ＰＩ２に対する位置ずれ補正を行った画像が画像ＰＩ２’となる。
【００６５】
この位置ずれ量の算出の後、画像処理回路３０は、画像ＰＩ１と画像ＰＩ２とから異常目の領域を検出する。この異常目の領域により、該領域に含まれる画素のアドレスデータＡＤ１が取得される。
【００６６】
このアドレスデータＡＤ１の生成後、画像処理回路３０は、画像ＰＩ２’とアドレスデータＡＤ１とを用いて、異常目の領域に含まれる画素の色成分値を抽出する。そして、画像処理回路３０は、該異常目の領域に含まれる画素の色成分値を、通常の照明下での入射光量のときの目の領域に含まれる画素の各色成分値となるように各色成分値を求める。
画像処理回路３０は、各色成分値が補正された画素を、画像ＰＩ１中の該当する画素に置き換える。これにより、異常目が補正された画像ＰＩ１’が生成され、画像ＰＩ１’が記録される。これに併せて、被写体ＩＤ、反射率変化の特性に対する分析結果、ユーザの設定した通常の照明下での入射光量などがまとめられたプロファイルデータ５８がＣＰＵ５０によって生成され、内蔵メモリ３５に書き込まれる。
【００６７】
これにより、被写体の種類に関係なく、画像中に生じた異常目を容易に補正することができる。つまり、被写体が動物の場合には、周知の被写体認識の技術ではその認識精度が低く、画像中の被写体が認識されない場合が多く発生する。しかしながら、本実施形態においては、閃光の発光量の異なる閃光撮影を複数回実行し、該閃光撮影にて取得される複数の画像から、各色成分のいずれかの成分値が過飽和している画素を異常目と判断していることから、従来の被写体認識技術を用いなくとも、異常目の有無を判断することが可能となる。
【００６８】
また、通常の照明下での目の色情報となるように異常目に含まれる画素の色成分を補正することから、補正された目がより自然な感じとなる。
【００６９】
本実施形態では、閃光装置４１における閃光の発光量を変更することで、複数回の閃光撮像を行っているが、眼部のスペキュラー成分が強い場合には、眼の領域以外の領域が非常に暗くなることから、複数回の閃光撮像にて得られる画像を用いた位置ズレ補正や異常目の検出を正確に実行できなくなる。このような場合には、閃光の発光量全体を変更するのではなく、例えば閃光を構成するＲ色成分、Ｇ色成分及びＢ色成分のうち、Ｒ色成分及びＧ色成分の発光量を変更する、撮像素子におけるＲ色画素、Ｇ色画素に対する受光感度を下げる、或いは、得られた画像データにおけるＲ色成分及びＧ色成分の増幅率を下げることも可能である。なお、このような場合、閃光装置４１として、Ｒ色光、Ｇ色光及びＢ色光を発光可能なＬＥＤ光源を備えた閃光装置が用いられる。
【００７０】
以下、Ｒ色成分及びＧ色成分の発光量を下げる場合について、図５のフローチャートを用いて説明する。この場合、プロファイルデータ５７は、被写体ＩＤ、異常目となる色相角及び彩度、通常の照明下での入射光量、及び色補正内容などの情報からなる。以下、デジタルカメラの構成は同一であることから、以下、同一の箇所には同一の符号を付して説明する。
【００７１】
ステップＳ２０１は、被写体ＩＤの指定に基づくプロファイルを読み出す処理である。設定操作部５３が操作されると、ＣＰＵ５０には、その操作信号がＣＰＵ５０に入力される。ＣＰＵ５０に入力される操作信号が、被写体ＩＤの入力を示すものであれば、ＣＰＵ５０は、内蔵メモリ３５に記憶されるプロファイルデータから、入力される被写体ＩＤに該当するプロファイルデータ５８を読み出す。
【００７２】
ステップＳ２０２は、レリーズボタンの半押し操作があるか否かを判定する処理である。スイッチＳＷ１からのオン信号がある場合には、ＣＰＵ５０は、レリーズボタン５２の半押し操作があると判定する。この場合、ステップＳ２０４に進む。一方、スイッチＳＷ１からのオン信号がない場合には、ＣＰＵ５０は、レリーズボタン５２の半押し操作がないと判定する。この場合、ステップＳ２０２の処理が繰り返し実行される。
【００７３】
ステップＳ２０３は、ＡＥ処理である。ＣＰＵ５０には、測光センサ４０から被写体の輝度の検出信号が入力されるので、この検出信号に基づく被写体輝度、撮影感度、シャッタ速度などの情報に基づいて撮像時の露光条件を決定する。この決定された露光条件に基づく閃光の発光量が適正発光量となる。ＣＰＵ５０は、適正発光量とプロファイルデータ５８として記録された色情報とを参照して、補正参照用画像データを取得するときの閃光装置４１における閃光の発光量を決定する。例えば、上述した被写体の輝度に基づいて決定された露光条件では、異常目が発生すると考えられる場合には、Ｒ色光、Ｇ色光の発光量を小さく設定する。より具体的には、ＣＰＵ５０は、例えばＲ色光の発光量を適正発光量の２５％に、Ｇ色光の発光量を適正発光量の５０％に、それぞれ設定する。
【００７４】
ステップＳ２０４はＡＦ処理である。このステップＳ２０４の処理は、ステップＳ１０４と同一の処理であることから、ここでは省略する。
【００７５】
ステップＳ２０５はレリーズボタンの全押し操作があるか否かを判定する処理である。このステップＳ２０５では、スイッチＳＷ２からのオン信号があるか否かによって、レリーズボタン５２の全押し操作があるか否かを判定する。スイッチＳＷ２からのオン信号がある場合には、ＣＰＵ５０は、レリーズボタン５２の全押し操作があると判定する。この場合、ステップＳ２０６に進む。一方、スイッチＳＷ２からのオン信号がない場合には、ＣＰＵ５０は、レリーズボタン５２の全押し操作がないと判定する。この場合、ステップＳ２０５の処理においてレリーズボタン５２の全押し操作があると判定されるまで、繰り返し実行される。
【００７６】
ステップＳ２０６は、閃光撮像を実行する処理である。ＣＰＵ５０は、適正発光量とプロファイルデータ５８として記録された色情報とから算出される発光量を用いた閃光撮像を行う。これにより、補正参照用画像データが取得される。この補正参照用画像データは、画像処理回路３０にて画像処理が施された後、バッファメモリ２５に書き込まれる。
【００７７】
ステップＳ２０７は、閃光撮像を実行する処理である。ＣＰＵ５０は、適正発光量を用いた閃光撮像を実行する。これにより、保存用画像データが取得される。この保存用画像データは、画像処理回路３０にて画像処理が施された後、バッファメモリ２５に書き込まれる。
【００７８】
ステップＳ２０８は、保存用画像データを基準とした補正参照用画像データの位置ずれ補正処理である。ＣＰＵ５０は、バッファメモリ２５に格納された保存用画像データを基準とした、補正用参照画像データに対する位置ずれ補正を実行する。なお、この位置ずれ補正処理については、ステップ１０６の処理と同様であることから、ここでは、その詳細を省略する。
【００７９】
ステップＳ２０９は、異常目を検出する処理である。まず、画像処理回路３０は、プロファイルデータから、色相角及び彩度の情報を読み出す。なお、色相角及び彩度は、異常目となるときの色相角及び彩度である。画像処理回路３０は、例えば保存用画像データにおける色情報がＲＧＢで示される色情報であれば、保存用画像データの色情報を色相、彩度及び明度で示される色情報に変換する。なお、保存用画像データの色情報がＨＳＶで示される色情報であれば、この変換処理は実行されない。画像処理回路３０は、変換された保存用画像データの各画素の色情報の色相と、プロファイルデータ５８から読み出した色相角とを比較する。画像処理回路３０は、保存用画像データの各画素の色情報の色相が、プロファイルデータから読み出した色相角に対して一定範囲内に含まれる画素を抽出する。この比較処理を保存用画像データの全ての画素について実行する。この比較の後、変換された保存用画像データの各画素の色情報の彩度と、プロファイルデータから読み出した彩度とを比較する。この場合も、画像処理回路３０は、保存用画像データの各画素の色情報の彩度が、プロファイルデータから読み出した彩度に対して一定範囲内に含まれる画素を抽出する。これら画素の抽出された後、画像処理回路３０は抽出された画素に対して分布形状の評価を実行する。これにより、異常目の領域に含まれる画素の検出が終了する。なお、検出された画素に対するアドレスデータは、内蔵メモリ３５に書き込まれる。
【００８０】
ステップＳ２１０は、異常目を補正する処理である。画像処理回路３０は、補正用参照画像データを読み出し、ステップＳ２０９にて取得されたアドレスデータに該当する全ての画素を読み出す。画像処理回路３０は、保存用画像データの取得時の閃光装置４１における入射光量と、通常の照明下における入射光量Ｌｕ０との比率Ｃを求める。この比率Ｃを求めた後、補正参照用画像データにおける異常目の領域に含まれる各画素の各色成分値を補正する。なお、補正用参照画像データを取得する際には、Ｒ色の発光量は適正発光量の２５％、Ｇ色の発光量は適正発光量の５０％である。Ｒ色の受光量をＶｒ、Ｇ色の受光量をＶｇとした場合には、通常の照明下におけるＲ色の受光量をＶｒ’、Ｇ色の受光量をＶｇ’とすれば、Ｖｒ’＝４×Ｖｒ／Ｃ、Ｌｇ’＝２×Ｖｇ／Ｃから算出される。これら式を用いて、補正参照用画像データ中の異常目の領域に含まれる各画素の色成分値を、通常の照明下における目の領域に含まれる各画素の色成分値に補正する。そして、保存用画像データから異常目の領域に含まれる画素を読み出し、補正した色成分値に置き換える。これにより、異常目の補正処理が実行される。なお、異常目の補正処理が施された画像データは、バッファメモリ２５に書き込まれる。
【００８１】
ステップＳ２１１は、補正処理済みの画像を表示する処理である。ＣＰＵ５０は、バッファメモリ２５に格納された補正処理済みの画像データを読み出し、表示制御回路３９に出力する。これを受けて、表示制御回路３９は、補正処理済みの画像データに基づく画像をＬＣＤ３８に表示する。
【００８２】
ステップＳ２１２は、色補正指示がなしか否かを判定する処理である。ステップＳ１１１の処理を実行したときには、補正処理済みの画像データに基づく画像の他に、異常目に対して実行された色補正を再度補正する必要であるか否かを選択させる旨のコメントが表示される。このコメントに応じて、ユーザによる設定操作部５３の操作が実行される。例えば異常目に対して実行された色補正を再度補正する必要がない場合には、ＣＰＵ５０は、ステップＳ２１２の処理をＹｅｓと判定する。この場合には、ステップＳ２１３に進む。一方、設定操作部５３の操作が異常目に対する色補正が必要である旨の操作である場合には、ＣＰＵ５０は、ステップＳ２１２の処理をＮｏと判定する。この場合には、ステップＳ２１５に進む。
【００８３】
ステップＳ２１３は、補正処理済みの画像データを記録する処理である。画像処理回路３０は、補正処理済みの画像データに対して符号化処理を実行することで、符号化データを生成する。ＣＰＵ５０は、符号化データと、撮像時の情報や、カメラの機種情報などをまとめた画像ファイルを記憶媒体３６に生成する。
【００８４】
ステップＳ２１４は、異常目に関するプロファイルを記録する処理である。ＣＰＵ５０は、被写体ＩＤ、異常目となる色相角及び彩度、通常の照明下での入射光量、及び色補正内容などの情報がまとめられたプロファイルデータを生成し、内蔵メモリ３５に書き込む。この処理が実行されると、撮像時における一連の処理が終了する。
【００８５】
ステップＳ２１２において、色補正指示があると判定された場合には、ステップＳ２１５に進む。ステップＳ２１５は、色補正処理を行う処理である。この色補正処理は、補正された異常目の領域に含まれる画素の各色成分値を補正する処理である。この補正処理は、ユーザの設定操作部５３の操作に基づいて実行してもよいし、予めデジタルカメラ１０内部で設定される色成分値に基づいて自動的に実行されるものであってもよい。この色補正処理が実行されると、ステップＳ２１１に戻り、再度、補正処理済みの画像が表示される。
【００８６】
以下、画像中に生じる異常目を補正する手順を、図６を用いて説明する。例えば画像ＰＩ３をＡＥ処理により算出された適正発光量を用いた閃光撮像にて取得された画像とする。また、画像ＰＩ４を、Ｒ色光を適正発光時のＲ色光の２５％の発光量、Ｇ色光を適正発光時のＧ色光の５０％の発光量とした閃光撮像にて取得された画像とする。なお、画像ＰＩ３において異常目が発生していると仮定する。上述したように、画像処理回路３０は、画像ＰＩ３及び画像ＰＩ４から、Ｂ色画像ＢＩ３及びＢ色画像ＢＩ４をそれぞれ生成する。これらＢ色画像ＢＩ３、ＢＩ４を生成した後、画像処理回路３０は、これらＢ色画像ＢＩ３、ＢＩ４のうち、Ｂ色画像ＢＩ３を基準にした位置ずれ補正を行う。これにより、Ｂ色画像ＢＩ３とＢ色画像ＢＩ４との位置ずれ量が求められる。この位置ずれ量は、画像ＰＩ３に対する画像ＰＩ４の位置ずれ量となる。なお、求められた位置ずれ量により画像ＰＩ４に対する位置ずれ補正を行った画像が画像ＰＩ４’となる。
【００８７】
この位置ずれ量の算出の後、画像処理回路３０は、プロファイルデータ５８から色相角及び彩度の情報を読み出す。これら情報の読み出しの後、画像処理回路３０は画像ＰＩ３を用いて、異常目となる領域を検出する。この異常目の検出により、画像ＰＩ１における異常目を示す領域に含まれる画素のアドレスデータＡＤ３が取得される。
【００８８】
このアドレスデータＡＤ３が取得された後、画像処理回路３０は、画像ＰＩ４’とアドレスデータＡＤ３とを用いて、異常目に対応する領域を抽出する。そして、画像処理回路３０は、異常目に対応する領域に含まれる画素の各色成分値を通常の照明下での入射光量となるときの目の領域に含まれる画素の各色成分値となるように、各色成分値を補正する。ここで、画像ＰＩ４を取得したときのＲ色の発光量は画像ＰＩ３を取得したときのＲ色の発光量の２５％（適正発光量の２５％）である。また、画像ＰＩ４を取得したときのＧ色の発光量は画像ＰＩ３を取得したときのＧ色の発光量の５０％（適正発光量の５０％）である。Ｒ色の受光量をＶｒ、Ｇ色の受光量をＶｇとした場合には、通常の照明下におけるＲ色の受光量をＶｒ’、Ｇ色の受光量をＶｇ’とした場合、Ｖｒ’＝４×Ｖｒ／Ｋ、Ｖｇ’＝２×Ｖｇ／Ｋから算出する。このようにして、異常目の領域と同一位置となる領域に含まれる画素における、通常の環境下での各色成分値が求められる。
【００８９】
その後、画像処理回路３０は、通常の環境下での色成分値が求められた異常目の領域と同一位置となる領域に含まれる画素を、画像ＰＩ３中の該当する画素に合成する。この場合、各画素の画素値を、補正された画素の画素値に置き換えればよい。これにより、異常目が補正された画像ＰＩ３’が生成され、画像ＰＩ３’が記録される。これに併せて、識別番号と、入射光量に対するＲ色、Ｇ色、Ｂ色の各色成分の応答特性や、色相角や彩度などの情報とが対応付けられたプロファイルデータ５８がＣＰＵ５０によって生成され、内蔵メモリ３５に書き込まれる。
【００９０】
この場合も、被写体の種類に関係なく、画像中に生じた異常目を容易に補正することができる。つまり、被写体が動物の場合には、周知の被写体認識の技術ではその認識精度が低く、画像中の被写体が認識されない場合が多く発生する。このため、複数の画像を用いて、各色成分値のいずれかの色成分値が過飽和している画素を異常目と判断することで、従来の被写体認識技術を用いなくとも、異常目の有無を判断することが可能となる。また、通常の照明下における目の状態に補正することで、自然な感じの目に補正することが可能となる。
【００９１】
上述した実施形態では、異常目の領域を自動的に検出し、検出された異常目に対する補正を実行しているが、ユーザにより異常目の位置を選択させた上で異常目の領域を検出させることも可能である。以下、図７のフローチャートに基づいて説明する。
【００９２】
ステップＳ３０１は、レリーズボタンの半押し操作があるか否かを判定する処理である。ＣＰＵ５０がレリーズボタン５２の半押し操作があると判定した場合には、ステップＳ３０１の判定処理はＹｅｓとなり、ステップＳ３０２に進む。一方、ＣＰＵ５０がレリーズボタン５２の半押し操作がないと判定した場合には、ステップＳ３０１の判定処理はＮｏとなり、レリーズボタン５２の半押し操作があると判定されるまで、ステップＳ３０１における判定処理が繰り返し実行される。
【００９３】
ステップＳ３０２は、ＡＥ処理である。このステップＳ３０２の処理は、ステップＳ１０２の処理と同一である。
【００９４】
ステップＳ３０３は、ＡＦ処理である。このステップＳ３０３の処理は、ステップＳ１０３の処理と同一である。
【００９５】
ステップＳ３０４は、レリーズボタンの全押し操作があるか否かを判定する処理である。ＣＰＵ５０がレリーズボタン５２の全押し操作があると判定した場合には、ステップＳ３０４の判定処理はＹｅｓとなり、ステップＳ３０５に進む。一方、ＣＰＵ５０がレリーズボタン５２の全押し操作がないと判定した場合にはステップＳ３０４の判定処理はＮｏとなり、レリーズボタン５２の全押し操作があると判定されるまで、ステップＳ３０４における判定処理が繰り返し実行される。
【００９６】
ステップＳ３０５は、異なる発光量を用いた複数回の閃光撮像を行う処理である。ステップＳ３０５の処理が実行されることにより、閃光装置４１における閃光の発光量の異なる条件下での画像が複数取得される。なそ、取得される複数の画像は、それぞれ画像処理回路３０において、画像処理が施された後、バッファメモリ２５に書き込まれる。
【００９７】
ステップＳ３０６は、適正発光量を用いた閃光撮像にて取得された画像データを基準とした位置ずれ補正処理である。このステップＳ３０６の処理はステップＳ１０６と同一であることから、ここではその詳細を省略する。これにより、適正発光量にて閃光撮像された画像データと他の画像データとの位置ずれ量が求められ、他の画像データが位置調整される。
【００９８】
ステップＳ３０７は、適正発光量にて閃光撮像された画像を表示する処理である。ＣＰＵ５０は、バッファメモリ２５に書き込まれた画像データから適正発光量にて撮像された画像データを読み出し、表示制御回路３９に出力する。これを受けて、表示制御回路３９は、該画像データに基づく画像をＬＣＤ３８に表示する。
【００９９】
ステップＳ３０８は、異常目の位置指定があるか否かを判定する処理である。ステップＳ３０７の処理が実行されたときには、適正発光量にて撮像された画像と、位置を指定するためのポインタ（図示省略）とが重畳表示される。このポインタは、設定操作部５３を操作することで移動させることができるので、ユーザは、設定操作部５３を操作してユーザの意図する位置にポインタを移動させる。そして、ユーザの意図する位置にポインタを移動させた後、確定を示す操作を設定操作部５３にて実行する。なお、設定操作部５３の操作が確定を示す旨の操作であれば、ＣＰＵ５０は、異常目の位置指定があると判定する。この場合ステップＳ３０８の判定処理がＹｅｓとなり、ステップＳ３０９に進む。一方、設定操作部５３の操作が確定を示す旨の操作でない場合には、ＣＰＵ５０は、異常目の位置指定がないと判定する。この場合、ステップＳ３０８の判定処理がＮｏとなる。この場合には、ＣＰＵ５０により異常目の位置指定があると判定されるまで、ステップＳ３０８の判定処理が繰り返し実行される。
【０１００】
なお、このステップＳ３０８において、設定操作部５３の操作を行うことで、異常目の位置指定を行うようにしているが、ＬＣＤ３８の前面にタッチパネルを配置しているデジタルカメラの場合には、設定操作部５３の操作ではなく、タッチパネルの操作によって異常目の位置指定を行うことも可能である。
【０１０１】
ステップＳ３０９は異常目を検出する処理である。このステップＳ３１０の処理は、ステップＳ１０７の処理と同様であることから、その詳細を省略するが、ステップＳ３０８にて指定された位置データから特定される画素の周縁部を中心にして異常目に含まれる画素を特定することで、異常目を検出する。
【０１０２】
ステップＳ３１０は、検出された異常目を表示する処理である。ステップＳ３０９の処理を実行することで、異常目が検出されていることから、画像処理回路３０は、対象となる画像データから、検出された異常目の領域を含む矩形の領域に含まれる画素データを抽出し、表示制御回路３９に出力する。これを受けて、表示制御回路３９は異常目の領域を含む矩形の画像をＬＣＤ３８に表示する。
【０１０３】
ステップＳ３１１は、表示された異常目の補正を行うか否かを判定する処理である。設定操作部５３からＣＰＵ５０に出力される信号が、補正を行う旨の信号である場合に、ＣＰＵ５０は、このステップＳ３１１の判定処理をＹｅｓとする。この場合、ステップＳ３１２に進む。一方、補正を行わない旨の信号である場合には、ＣＰＵ５０は、ステップＳ３１１の判定処理をＮｏとする。この場合ステップＳ３２０に進む。
【０１０４】
ステップＳ３１２は、簡易補正を行うか否かを判定する処理である。なお、このステップＳ３１２における判定処理は、設定操作部５３から出力される信号に基づいて実行される。例えば設定操作部５３から出力される操作信号が簡易補正を行う旨の信号であれば、ＣＰＵ５０はステップＳ３１２の判定処理をＹｅｓとする。この場合、ステップＳ３１３に進む。一方、例えば設定操作部５３から出力される操作信号が簡易補正ではない旨の信号であれば、ＣＰＵ５０は、ステップＳ３１２の判定処理をＮｏとする。この場合、ステップＳ３１４に進む。
【０１０５】
ステップＳ３１３は、簡易補正処理である。簡易補正処理とは、適正発光量を用いた閃光撮像により取得される画像データから、異常目の領域に含まれる画素の各色成分の値を読み出し、異常目の領域近傍に配置される画素のうち、最も色成分の低い画素と置き換える処理、或いは、異常目の領域に含まれる画素のＲ色成分、Ｇ色成分及びＢ色成分のうち、最も小さな値をとる色成分の値を他の色成分の値として置き換える処理のいずれかが挙げられる。
【０１０６】
一方、ステップＳ３１２の判定処理がＮｏとなる場合には、ステップＳ３１４に進む。
【０１０７】
ステップＳ３１４は、通常補正処理である。画像処理回路３０は、内蔵メモリ３５から典型的な被写体の眼球色のデータ（画像データであっても、色データあってもよい）を読み出す。画像処理回路３０は、読み出した眼球色における各色成分の値の平均値と、適正発光量を用いて閃光撮像により取得された画像データから特定される異常目の領域に含まれる各色成分の値の平均値とをそれぞれ算出し、各平均値との比率を求める。この比率を用いて、適正発光量にて撮像された画像データに対して、異常目の領域に含まれる画素の色成分値を補正する。
【０１０８】
ステップＳ３１５は、補正した画像を表示する処理である。ステップＳ３１３及びステップＳ３１４を実行することで、適正発光量を用いた閃光撮影で得られた画像データが補正されている。ＣＰＵ５０は、バッファメモリ２５から、補正処理済みの画像データを読み出し表示制御回路３９に出力する。これを受けて、ＬＣＤ３８に、異常目が補正された画像が表示される。
【０１０９】
ステップＳ３１６は、補正がＯＫであるか否かを判定する処理である。この処理はユーザによる設定操作部５３の操作を受けて実行される。設定操作部５３の操作によりＣＰＵ５０に出力される信号が、補正がＯＫである旨の信号である場合には、ＣＰＵ５０は、ステップＳ３１６の処理をＹｅｓとし、ステップＳ３１７に進む。一方、設定操作部５３の操作によりＣＰＵ５０に出力される信号が、補正がＯＫでない旨の信号である場合には、ＣＰＵ５０は、ステップＳ３１６の処理をＮｏとし、ステップＳ３１２に戻る。
【０１１０】
ステップＳ３１７は、補正された画像データを記録する処理である。このステップＳ３１７の処理は、ステップＳ１１１の処理と同一であるので、省略する。
【０１１１】
ステップＳ３１８は、異常目に関するプロファイルを記録する処理である。このステップＳ３１８の処理は、ステップＳ１１２の処理と同一であるので省略する。
【０１１２】
上述したステップＳ３１２の処理でＮｏとなる場合には、Ｓ３２０に進む。
【０１１３】
ステップＳ３２０は、検出条件を変更する処理である。ＣＰＵ５０は、ステップＳ３１０に用いた検出条件を変更する。例えばプロファイルデータを用いた異常目の検出を実行している場合には、先に実行された異常目の検出処理の際に用いた検出条件（色相角や彩度の幅、又はラベリングする色相の色）を変更する。このステップＳ３２０の処理が実行されると、ステップＳ３０９に進み、再度異常目の検出処理が実行される。
【０１１４】
このように、ユーザにより異常目の位置が指定されることで、指定された位置に該当する画素や、該画素に近接する画素に対してのみ異常目の検出処理を行うことができるので、異常目が発生したときに実行される補正処理に係る処理時間を短縮させることができる他、補正処理に係る負荷を最小限に抑えることができる。
【０１１５】
上述した実施形態では、撮影モードとして「ペット」を設け、「ペット」が選択された場合に、撮像時に取得される画像に発生する異常目を補正するようにしている。つまり被写体が動物となる場合を想定した実施形態としている。しかしながら、被写体は動物だけでなく、人物の場合にも適用することが可能である。つまり、撮影モードは「ペット」に限定されるものではない。
【０１１６】
以下、撮影モードとして「オート撮影」が選択されたときの撮像時の処理の流れについて、図８のフローチャートに基づいて説明する。なお、図８のフローチャートは、撮影モードとして「オート撮影」が選択されたことを契機にして実行される。また、以下では、被写体が人物となる場合について説明する。
【０１１７】
ステップＳ４０１は、レリーズボタンの半押し操作があるか否かを判定する処理である。レリーズボタン５２が半押し操作されたときにスイッチＳＷ１がオンとなると、そのオン信号がＣＰＵ５０に入力される。スイッチＳＷ１からのオン信号がＣＰＵ５０に入力されると、ＣＰＵ５０はレリーズボタン５２の半押し操作があると判定する。この場合ステップＳ４０１の判定処理がＹｅｓとなり、ステップＳ４０２に進む。一方、スイッチＳＷ１からのオン信号がＣＰＵ５０に入力されない場合は、ＣＰＵ５０はレリーズボタン５２の半押し操作がないと判定する。この場合ステップＳ４０１の判定処理がＮｏとなる場合には、このステップＳ４０１における判定処理がＹｅｓとなるまで、繰り返しこのステップＳ４０１の判定処理が実行される。
【０１１８】
ステップＳ４０２は、ＡＥ処理である。このステップＳ４０２の処理は、ステップＳ１０２の処理と同一である。
【０１１９】
ステップＳ４０３は、ＡＦ処理である。このステップＳ４０３の処理は、ステップＳ１０３の処理と同一である。
【０１２０】
ステップＳ４０４は、レリーズボタンの全押し操作があるか否かを判定する処理である。レリーズボタン５２が全押し操作されたときにスイッチＳＷ２がオンとなると、そのオン信号がＣＰＵ５０に入力される。スイッチＳＷ２からのオン信号がＣＰＵ５０に入力されると、ＣＰＵ５０はレリーズボタン５２の全押し操作があると判定する。この場合ステップＳ４０４の判定処理がＹｅｓとなり、ステップＳ４０５に進む。一方、スイッチＳＷ２からのオン信号がＣＰＵ５０に入力されない場合は、ＣＰＵ５０はレリーズボタン５２の全押し操作がないと判定する。この場合ステップＳ４０４の判定処理がＮｏとなる場合には、このステップＳ４０４における判定処理がＹｅｓとなるまで、繰り返しこのステップＳ４０４の判定処理が実行される。
【０１２１】
ステップＳ４０５は、異なる発光量を用いた複数回の閃光撮像を行う処理である。このステップＳ４０５においては、閃光装置４１における閃光の発光量は、各色光における適正発光量を基準にして、Ｒ色光、及びＧ色光を段階的に変化させた発光量となる。なお、このときの各色光の発光量は、上述したＡＥ処理時に決定される。このステップＳ４０５の処理で取得された画像データは、それぞれ画像処理回路３０にて画像処理が実行された後、バッファメモリ２５に書き込まれる。
【０１２２】
ステップＳ４０６は、適正発光量を用いた閃光撮影にて取得された画像データを基準とした位置ずれ補正を行う処理である。なお、このステップＳ４０６の処理は、ステップＳ１０６と同一の処理であることから、ここでは、省略する。
【０１２３】
ステップＳ４０７は、顔検出処理である。この顔検出処理としては、周知の特徴量抽出の手法が用いられる。画像処理回路３０は、ステップＳ４０５にて取得された複数の画像データのそれぞれに対して顔検出を行う。
【０１２４】
ステップＳ４０８は、異常目を検出する処理である。画像処理回路３０は、ステップＳ４０７により検出された顔の領域のそれぞれに含まれる画素の色成分値を参照して、同一位置となる画素における、各色成分における反射率変化の特性分析を行う。この特性分析を行った後、Ｒ色成分値、及びＧ色成分値が過飽和している画素の領域が異常目の領域として検出される。
【０１２５】
ステップＳ４０９は、異常目の補正処理である。画像処理回路３０は、ステップＳ４０５にて実行される複数回の閃光撮像において得られる画像データのうち、最も低い発光量となる画像データを読み出す。ステップＳ４０８により異常目となる画素の領域が検出されている。画像処理回路３０は、異常目として検出された画素のアドレスデータを参照し、最も低い発光量となる画像データから、該アドレスデータと一致する画素に対するＢ色成分値を読み出す。そして、画像処理回路３０は、適正発光量を用いた閃光撮像により得られた画像データを読み出した後、該アドレスデータに該当する画素における各色成分値を、先に読み出したＢ色成分値を用いて補正する。なお、補正内容としては、例えば過飽和するＲ色、Ｇ色の各成分値をＢ色の成分値に置き換える、又は上述した通常の照明下における目の領域に含まれる画素の各色成分値となるように異常目の領域に含まれる画素の各色成分値を除算することで得られる各色成分値を置き換えるなどの方法が挙げられる。なお、異常目の補正処理が施された画像データは、バッファメモリ２５に書き込まれる。
【０１２６】
ステップＳ４１０は、補正処理済みの画像を表示する処理である。このステップＳ４１０の処理は、ステップＳ１０９の処理と同様である。
【０１２７】
ステップＳ４１１は、色補正の指示がないか否かを判定する処理である。色補正指示がないか否かを判定する処理である。ステップＳ４１０の処理を実行したときには、補正処理済みの画像データに基づく画像の他に、異常目に対して実行された色補正を再度補正する必要であるか否かを選択させる旨のコメントが表示される。このコメントに応じて、ユーザによる設定操作部５３の操作が実行される。設定操作部５３から出力される信号が、例え色補正を実行しない旨の操作に基づく信号である場合には、ＣＰＵ５０は、ステップＳ４１１の処理をＹｅｓと判定する。この場合には、ステップＳ４１２に進む。一方、設定操作部５３から出力される信号が、色補正を実行する旨の操作に基づく信号である場合には、ＣＰＵ５０は、ステップＳ４１１の処理をＮｏと判定する。この場合には、ステップＳ４１４に進む。
【０１２８】
ステップＳ４１２は、補正処理された画像を記録する処理である。このステップＳ４１２の処理は、ステップＳ１１１の処理と同一である。
【０１２９】
ステップＳ４１３は、異常目に関するプロファイルを記録する処理である。この場合、プロファイルデータとして、色相角、彩度の情報の他、通常の照明下における入射光量を示す情報などがまとめられる。
【０１３０】
ステップＳ４１１の判定処理がＮｏとなる場合には、ステップＳ４１４に進む。
【０１３１】
ステップＳ４１４は、色補正処理である。この色補正処理は、補正された異常目の領域に含まれる画素の各色成分値を補正する処理である。この補正処理は、ユーザの設定操作部５３の操作に基づいて実行してもよいし、予めデジタルカメラ１０内部で設定される色成分値に基づいて自動的に実行されるものであってもよい。この色補正処理が実行されると、ステップＳ４１０に戻り、再度、補正処理済みの画像が表示される。
【０１３２】
以下、異常目を補正する手順を、図９を用いて説明する。例えば適正発光量を用いた閃光撮像にて得られた画像をＰＩ５、適正発光量よりも小さい発光量を用いた閃光撮像にて得られた画像をＰＩ６とする。なお、画像ＰＩ５では被写体である人物に赤目が生じ、画像ＰＩ６では、被写体である人物に赤目が発生していないことを前提としている。上述したように、画像処理回路３０は、画像ＰＩ５及び画像ＰＩ６から、Ｂ色画像ＢＩ５及びＢ色画像ＢＩ６をそれぞれ生成する。これらＢ色画像ＢＩ５、ＢＩ６を生成した後、画像処理回路３０は、Ｂ色画像ＢＩ５を基準にした位置ずれ補正を行う。これにより、Ｂ色画像ＢＩ５とＢ色画像ＢＩ６との位置ずれ量が求められる。この位置ずれ量は、画像ＰＩ５に対する画像ＰＩ６の位置ずれ量となる。なお、求められた位置ずれ量により画像ＰＩ６に対する位置ずれ補正を行った画像が画像ＰＩ６’となる。
【０１３３】
この位置ずれ量の算出の後、画像処理回路３０は、画像ＰＩ５と画像ＰＩ６とのそれぞれから顔の領域を検出する。この顔検出の後、画像処理回路３０は、これら画像ＰＩ５、ＰＩ６を用いて異常目の領域を検出する。この異常目の領域により、該領域に含まれる画素のアドレスデータＡＤ５が取得される。
【０１３４】
このアドレスデータＡＤ５の生成後、画像処理回路３０は、画像ＰＩ６’とアドレスデータＡＤ５とを用いて、異常目の領域に含まれる画素の色成分値を抽出する。そして、画像処理回路３０は、該異常目の領域に含まれる画素の色成分値を、通常の照明下での入射光量のときの目の領域に含まれる画素の各色成分値となるように各色成分値を求める。
画像処理回路３０は、各色成分値が補正された画素を、画像ＰＩ５中の該当する画素に置き換える。これにより、異常目が補正された画像ＰＩ５’が生成され、画像ＰＩ５’が記録される。これに併せて、被写体ＩＤ、反射率変化の特性分析の結果、ユーザの設定した入射光量などがまとめられたプロファイルデータ５８がＣＰＵ５０によって生成され、内蔵メモリ３５に書き込まれる。
【０１３５】
これにより、被写体が人物となる場合であっても、画像中に生じた異常目を容易に補正することができる。また、この場合、顔検出処理を行うことで、異常目の検出を行う領域を限定することができるので、異常目の検出に係る処理時間を最小限に抑えることができる。また、閃光撮像により得られた画像のうち、異常目が発生していない画像を用いて、適正露光で得られた画像に発生する異常目の補正を行うことも可能となる。
【０１３６】
上述した実施形態のいずれにおいても、撮像時に得られる画像に対して異常目の補正を行う場合にはプロファイルデータを新たに生成しているが、例えば内蔵メモリ３５に同一の被写体ＩＤとなるプロファイルデータが記憶されている場合もある。このような場合、同一の被写体ＩＤとなるプロファイルデータを複数記憶できるようにしてもよいし、内蔵メモリ３５に記憶されたプロファイルデータを更新していくことも可能である。例えばプロファイルデータを複数記憶しておく場合には、同一の被写体ＩＤとなるプロファイルデータから、露光条件が近似するプロファイルデータを読み出し、読み出したプロファイルデータの特性に基づいて、異常目の領域を検出すればよい。
【０１３７】
また、この他に、被写体ＩＤとなるプロファイルデータが複数内蔵メモリ３５に記憶していく場合、異常目の補正時には、デジタルカメラ１０を用いた撮影日時に最も近いプロファイルデータを読み出す、又は複数のプロファイルデータから得られるデータ（色相角や彩度）の平均値を算出し、算出された平均値を用いた異常目の補正処理を実行することも可能である。
【０１３８】
上述した実施形態では、静止画像を取得する際に発生する異常目の補正について説明しているが、静止画像を取得する場合だけでなく、動画像を取得する場合にも本発明を用いることも可能である。以下、動画像を取得する場合について説明する。例えば動画像のフレームレートを３０ｆｐｓとした場合、撮像時には、フレームレートを６０ｆｐｓに設定して動画撮像を行う。つまり、記録用のフレーム画像と、補正参照用のフレーム画像とを交互に、それぞれの画像のフレームレートが３０ｆｐｓとなるように撮像する。
【０１３９】
以下、動画撮像時の処理の流れを、図９のフローチャートに基づいて説明する。この動画撮像の開始及び終了の際には、レリーズボタン５２が操作されることを前提に説明する。なお、図のフローチャートは、撮影モードが「動画」に設定されていることを契機にして実行される。
【０１４０】
ステップＳ５０１は、動画撮影の開始操作があるか否かを判定する処理である。ＣＰＵ５０は、レリーズボタン５２からの操作信号を受けると、動画撮影の開始操作があると判定し、このステップＳ５０１の判定をＹｅｓとする。この場合、動画撮影に係る処理が開始され、ステップＳ５０２に進む。一方、レリーズボタン５２からの操作信号を受けていない場合には、動画撮影の開始操作はないと判定する。この場合ステップＳ５０１の判定をＮｏとする。この場合ステップＳ５０１の判定処理がＹｅｓとなるまで、このステップＳ５０１の判定処理が繰り返し実行される。
【０１４１】
ステップＳ５０２は、記録用フレーム画像データを取得する処理である。動画撮影に係る処理が開始されると、ＣＰＵ５０は閃光装置４１を作動させて、予め設定された発光量（適正発光量）の閃光を発光させる。同時に、ＣＰＵ５０は、ドライバ１８を介して撮像素子１６の駆動制御を行う。この撮像素子１６が駆動制御されることで、デジタルの画像データがバッファメモリ２５に書き込まれる。このバッファメモリ２５に書き込まれた画像データは、画像処理回路３０により画像処理された後、再度バッファメモリ２５に書き込まれる。これにより、記録用フレーム画像データが取得される。
【０１４２】
ステップＳ５０３は、所定時間経過したか否かを判定する処理である。ＣＰＵ５０は、図示を省略したタイマにより、動画像を取得する際に設定されるフレームレートに基づいて記録用フレーム画像が取得してからの経過時間を計時している。ＣＰＵ５０は、経過時間が予め設定された所定時間経過したか否かを、このステップＳ５０３にて判定する。例えばフレームレートが３０ｆｐｓに設定されている場合には、記録用フレーム画像データの取得する間隔は１／３０秒となる。上述したように、動画撮像においては、記録用フレーム画像データと、補正参照用フレーム画像データとを交互に撮像していくことから、フレームレートは６０ｆｐｓに設定され、各フレーム画像データ間の間隔は１／６０秒となる。例えば１／６０秒経過した場合には、ＣＰＵ５０は、このステップＳ５０３の判定処理をＹｅｓとし、ステップＳ５０４に進む。一方、１／６０秒経過していない場合には、ＣＰＵ５０は、このステップＳ５０３の判定処理をＮｏとし、ステップＳ５０３の判定処理がＹｅｓとなるまで、このステップＳ５０３の判定処理を繰り返し実行する。
【０１４３】
ステップＳ５０４は、補正参照用フレーム画像データを取得する処理である。ＣＰＵ５０は、閃光装置４１を作動させて、適正発光量とは異なる発光量となるように閃光を発光させる。なお、適正発光量とは異なる発光量とは、適正発光量より大きい発光量、或いは適正発光量より小さい発光量が上げられる他、例えばＲ色光、Ｇ色光、Ｂ色光のうち、Ｒ色光及びＧ色光の発光量を適正発光量より低い発光量とすることが挙げられる。この閃光装置４１による閃光の発光に併せて、ＣＰＵ５０はドライバ１８を介して撮像素子１６を駆動制御する。この撮像素子１６が駆動制御されることで、デジタルの画像データがバッファメモリ２５に書き込まれる。このバッファメモリ２５に書き込まれた画像データは、画像処理回路３０により画像処理された後、再度バッファメモリ２５に書き込まれる。これにより、補正参照用フレーム画像データが取得される。
【０１４４】
ステップＳ５０５は、異常目を検出する処理である。画像処理回路３０は、記録用フレーム画像データと、補正参照用のフレーム画像データとをバッファメモリ２５から読み出し、異常目の領域を検出する。なお、この異常目の検出については、ステップＳ１０７の処理と同様である。この場合、記録用フレーム画像データを基準にして、記録用フレーム画像データと補正参照用フレーム画像データとの位置ずれ補正が実行された後、異常目の領域が検出される。
【０１４５】
ステップＳ５０６は、異常目を補正する処理である。異常目を補正する処理は、ステップＳ１０９やステップＳ２１１の処理内容と同一である。なお、このステップＳ５０６の処理を実行することで、記録用フレーム画像データに対して画像補正が実行される。
【０１４６】
ステップＳ５０７は、記録用フレーム画像を表示する処理である。ＣＰＵ５０は、バッファメモリ２５から、画像補正された記録用フレーム画像データを読み出し、表示制御回路３９に出力する。これを受けて、表示制御回路３９は、ＬＣＤ３８に記録用フレーム画像を表示する。
【０１４７】
ステップＳ５０８は、画像データを記録する処理である。画像処理回路３０は、バッファメモリ２５に記録される記録用フレーム画像データを読み出し、符号化処理を実行する。そして、ＣＰＵ５０は、記録媒体に動画像ファイルを作成し、該動画像ファイルの所定領域に、符号化された記録用フレーム画像データを書き込む。
【０１４８】
ステップＳ５０９は、動画撮影の停止操作があるか否かを判定する処理である。ＣＰＵ５０は、レリーズボタン５２からの操作信号を受けると、動画撮影の開始操作があると判定し、このステップＳ５０９の判定をＹｅｓとする。この場合、動画撮影に係る処理が終了する。これを受けて、ＣＰＵ５０は、記録媒体３６に書き込まれた動画像ファイルを閉じる処理を実行する。これに合わせて、ＣＰＵ５０は、動画撮影に係るプロファイルデータを生成し、内蔵メモリ３５に記録する。一方、レリーズボタン５２からの操作信号を受けていない場合には、動画撮影の終了ではないと判定する。この場合ステップＳ５０９の判定をＮｏとする。この場合、ステップＳ５１０に進む。
【０１４９】
ステップＳ５１０は、所定時間経過したか否かを判定する処理である。ＣＰＵ５０は、図示を省略したタイマにより、動画像を取得する際に設定されるフレームレートに基づいて記録用フレーム画像データを取得してからの経過時間を計時している。ＣＰＵ５０は、経過時間が予め設定された所定時間経過したか否かを、このステップＳ５１０にて判定する。なお、この所定時間は、ステップＳ５０３にて計時される経過時間と同一の値（１／６０秒）となる。例えば１／６０秒経過した場合には、ＣＰＵ５０は、このステップＳ５１０の判定処理をＹｅｓとし、ステップＳ５０２に進む。一方、１／６０秒経過していない場合には、ＣＰＵ５０は、このステップＳ５１０の判定処理をＮｏとし、ステップＳ５１０の判定処理がＹｅｓとなるまで、このステップＳ５１０の判定処理を繰り返し実行する。
【０１５０】
これにより、記録用フレーム画像ＭＩと、補正参照用フレーム画像ＲＩとが交互に取得されていき、記録用フレーム画像ＭＩと、該記録用フレーム画像ＭＩに対応する補正参照用フレーム画像ＲＩとが取得された場合に、これら画像を用いて異常目の検出及び異常目の補正が実行される。
【０１５１】
なお、図１１においては、記録用フレーム画像ＭＩ１と補正参照用フレーム画像ＲＩ１とが取得された場合に、記録用フレーム画像ＭＩ１に発生する異常目の検出及び異常目の補正が実行され、記録用フレーム画像ＭＩ１’が取得される。以下、同様にして、記録用フレーム画像ＭＩ２に対しても、補正参照用フレーム画像ＲＩ２が取得された後、同様の処理が実行され、記録用フレーム画像ＭＩ２’が取得される。
【０１５２】
このようにして、異常目に対する補正が実行された記録用フレーム画像からなる動画像ファイルが取得される。これによれば、静止画像だけでなく、動画像に対しても本発明を用いることが可能となる。また、動画撮影を行う場合について説明しているが、撮影待機状態時に取り込まれるスルー画像に対しても、本発明を適用することが可能となる。
【符号の説明】
【０１５３】
１０…デジタルカメラ、１６…撮像素子、２５…バッファメモリ、３０…画像処理回路、３１…異常目検出部、３２…画像補正部、３５…内蔵メモリ、４０…測光センサ、４１…閃光装置、５０…ＣＰＵ、５７…プロファイル生成部、５８…プロファイルデータ
【図１】
2011114542.tif 000003
【図２】
2011114542.tif 000004
【図３】
2011114542.tif 000005
【図４】
2011114542.tif 000006
【図５】
2011114542.tif 000007
【図６】
2011114542.tif 000008
【図７】
2011114542.tif 000009
【図８】
2011114542.tif 000010
【図９】
2011114542.tif 000011
【図１０】
2011114542.tif 000012
【図１１】
2011114542.tif 000013