(57)【要約】【課題】  閃光発光を用いた人物の撮影時に、ホワイトバランスや彩度等の自動調整による影響を受けることなく、赤目現象を確実に軽減可能なデジタルカメラを提供する。【解決手段】  撮像手段３０は、閃光発光が照射された被写体像を撮像する。処理手段１６は、撮像手段により撮像された画像に対して画像処理を行って、ホワイトバランスもしくは色彩のそれぞれ異なる第１及び第２画像を生成する。検出手段４２は、第１画像から、閃光発光に応じて第１画像の被写体像に発生した赤目の領域を検出する。補正手段４４は、第２画像において赤目の領域と同じ領域の色彩を補正する。【選択図】      図１
2007235531.tif 000002
【特許請求の範囲】
【請求項１】
閃光発光が照射された被写体像を撮像する撮像手段と、
前記撮像手段により撮像された画像に対して画像処理を行って、ホワイトバランスもしくは色彩のそれぞれ異なる第１及び第２画像を生成する処理手段と、
前記第１画像から、前記閃光発光に応じて前記第１画像の被写体像に発生した赤目の領域を検出する検出手段と、
前記第２画像において前記赤目の領域と同じ領域の色彩を補正する補正手段とを備えることを特徴とするデジタルカメラ。
【請求項２】
請求項１記載のデジタルカメラにおいて、
前記処理手段は、前記閃光発光の発光量に応じて前記画像のホワイトバランスを調整するホワイトバランス処理を行って前記第１画像を生成することを特徴とするデジタルカメラ。
【請求項３】
請求項１記載のデジタルカメラにおいて、
前記画像を縮小した縮小画像を生成する画像生成手段を備え、
前記処理手段は、前記縮小画像に対して前記画像処理を行って前記第１画像を生成することを特徴とするデジタルカメラ。
【請求項４】
閃光発光が照射された被写体像を撮像する撮像手段と、
前記撮像手段により撮像された画像に対して第１補正情報を用いてホワイトバランス処理を行って第１画像を生成する第１処理手段と、
前記第１画像を第１及び第２補正情報に対応付けて記録する記録手段と、
前記記録手段に記録されている第１補正情報を用いて、第１画像を元の画像に復元する復元手段と、
前記元の画像に対して、前記記録手段に記録されている第２補正情報を用いてホワイトバランス処理を行って第２画像を生成する第２処理手段と、
前記閃光発光に応じて前記第２画像の被写体像に発生した赤目の領域を検出する検出手段と、
前記第１画像において前記赤目の領域と同じ領域の色彩を補正する補正手段とを備えることを特徴とするデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、閃光発光を用いて人物を撮影する時に発生するいわゆる赤目現象を、画像処理を用いて軽減する機能を有するデジタルカメラに関する。
【背景技術】
【０００２】
従来のデジタルカメラでは、閃光発光を用いて人物撮影を行うと、この閃光発光が目の網膜の毛細管で反射されて、目の部分が赤く写ってしまう赤目現象が発生する場合がある。このような赤目現象を軽減する手法として、撮影された人物画像の顔の色彩（明度、彩度及び色相）を判定することによって、赤目現象が発生している目の画像を検出し、検出した目の画像に対して色彩を修正する手法が開示されている（例えば、特許文献１）。
【特許文献１】特開平１０−２３３９２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上述した手法では、撮影された人物の顔の色彩を再現するために、デジタルカメラにより取得された画像に対してホワイトバランスや彩度等の調整が自動的に行われる場合がある。例えば、ホワイトバランスの自動調整は、上述した閃光発光の色温度を考慮して行われる。しかし、色温度が閃光発光に比べて低い電球照明等の下における撮影では、閃光発光を浴びた人物画像と、電球照明下にある背景画像の両方の色彩を正確に再現することは難しい。このため、人物画像の顔の色彩を正確に再現できず、上述した赤目現象を軽減できない場合があった。
【０００４】
本発明の目的は、閃光発光を用いた人物の撮影時に、ホワイトバランスや彩度等の自動調整による影響を受けることなく、赤目現象を確実に軽減可能なデジタルカメラを提供することである。
【課題を解決するための手段】
【０００５】
請求項１のデジタルカメラでは、撮像手段は、閃光発光が照射された被写体像を撮像する。処理手段は、撮像手段により撮像された画像に対して画像処理を行って、ホワイトバランスもしくは色彩のそれぞれ異なる第１及び第２画像を生成する。検出手段は、第１画像から、閃光発光に応じて第１画像の被写体像に発生した赤目の領域を検出する。補正手段は、第２画像において赤目の領域と同じ領域の色彩を補正する。
【０００６】
請求項２のデジタルカメラでは、処理手段は、閃光発光の発光量に応じて画像のホワイトバランスを調整するホワイトバランス処理を行って第１画像を生成する。
請求項３のデジタルカメラでは、画像生成手段は、画像を縮小した縮小画像を生成する。処理手段は、縮小画像に対して画像処理を行って第１画像を生成する。
請求項４のデジタルカメラでは、撮像手段は、閃光発光が照射された被写体像を撮像する。第１処理手段は、撮像手段により撮像された画像に対して第１補正情報を用いてホワイトバランス処理を行って第１画像を生成する。記録手段は、第１画像を第１及び第２補正情報に対応付けて記録する。復元手段は、記録手段に記録されている第１補正情報を用いて、第１画像を元の画像に復元する。第２処理手段は、元の画像に対して、記録手段に記録されている第２補正情報を用いてホワイトバランス処理を行って第２画像を生成する。検出手段は、閃光発光に応じて第２画像の被写体像に発生した赤目の領域を検出する。補正手段は、第１画像において赤目の領域と同じ領域の色彩を補正する。
【発明の効果】
【０００７】
ホワイトバランスや彩度等の自動調整による影響を受けることなく、赤目現象を確実に軽減できる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施形態を図面を用いて説明する。
図１は本発明のデジタルカメラの第１の実施形態を示している。デジタルカメラ１００は、露出制御部１０、Ａ／Ｄ変換回路１２、メモリ１４、画像処理部１６（処理手段）、赤目処理部１８、画像記録素子２０、表示装置２２、ＲＯＭ２４、設定部２６及び制御部２８を有している。なお、撮影レンズ、シャッター機構、絞り機構、ミラー機構等は、図示を省略している。
【０００９】
露出制御部１０は、ＣＣＤやＣＭＯＳイメージセンサ等で構成される撮像素子３０（撮像手段）、信号増幅回路３２及びフラッシュ装置３４を有している。撮像素子３０は、撮像面に撮影レンズを介して結像した被写体像を光電変換し、電気信号を出力する。信号増幅回路３２は、この電気信号を増幅し、増幅した電気信号をＡ／Ｄ変換回路１２に出力する。
【００１０】
フラッシュ装置３４は、図示しない高圧制御回路やキセノン管等で構成される。フラッシュ装置３４は、高圧制御回路により充電した電荷を用いてキセノン管を発光させることによって、撮影の際に被写体に対してフラッシュ光（閃光発光）を照射可能である。なお、フラッシュ装置３４による発光の有無は、設定部２６を介してユーザにより決定されるものでも、撮像素子３０を介した測光情報に応じて制御部２８により決定されるものでもよい。
【００１１】
Ａ／Ｄ変換回路１２は、信号増幅回路３２より受けた電気信号をＡ／Ｄ変換して、画像データを生成する。メモリ１４には、画像データが一時的に記録される。画像処理部１６は、ホワイトバランス調整処理部３６、色再現処理部３８及び彩度調整処理部４０を有している。赤目処理部１８は、赤目検出処理部４２（検出手段）及び赤目補正処理部４４（補正手段）を有している。
【００１２】
ＲＯＭ２４は、フラッシュメモリ等で構成され、デジタルカメラ１００の電源がオフの間も、画像処理部１６により生成された画像データを含む各種データを保持する。ＲＯＭ２４には、制御部２８により実行されるプログラムが格納されている。設定部２６は、被写体の撮影時に押下げられるレリーズスイッチや、デジタルカメラ１００の動作モード等を選択するための選択スイッチ等で構成される。制御部２８は、ＲＯＭ２４に格納されたプログラムを実行することによって各回路の動作を制御する。
【００１３】
図２は、デジタルカメラの第１の実施形態における赤目現象の軽減動作を示している。図２に示す動作は、制御部２８がＲＯＭ２４に格納されたプログラムを実行することによって実現される。
まず、ステップＳ１００において、制御部２８は、撮影者によるレリーズスイッチの全押しに応答して、撮像素子３０を制御することによって被写体である人物を撮像する。この後、処理はステップＳ１０２に移行する。
【００１４】
ステップＳ１０２において、制御部２８は、撮像時にフラッシュ装置３４により被写体に対してフラッシュ光が照射されたか否かを判定する。フラッシュ光が照射された場合、処理はステップＳ１０４に移行する。一方、フラッシュ光が照射されなかった場合、処理はステップＳ１１６に移行する。
ステップＳ１０４において、ホワイトバランス調整処理部３６は、メモリ１４に記録されている画像データのＲ（赤）、Ｂ（青）画素レベルに補正値Ｇｒｆ、Ｇｂｆをそれぞれ乗算する処理（以下、第１ホワイトバランス処理）を行って赤目検出用画像（第１画像）を生成する。なお、この赤目検出用画像は、上述したフラッシュ光に応じて赤目現象が発生している目の画像（以下、赤目画像）を検出するための画像である。また、補正値Ｇｒｆ、Ｇｂｆは、フラッシュ光の発光量の大きさを示す発光ガイドナンバーに対応付けてＬＵＴとしてＲＯＭ２４に予め格納されている。フラッシュ光の色温度は、一般的に、フラッシュ光の発光量の大きさに依存する。したがって、ホワイトバランス調整処理部３６は、人物の顔に照射されるフラッシュ光の色温度に合わせて画像のホワイトバランスを調整できる。
【００１５】
色再現処理部３８は、赤目検出用画像を示す赤目検出データをＣＩＥ（Commission Internationale d'Eclairage）により定義されたＬ*、ａ*、ｂ*データ（Ｌ*：明度、ａ*、ｂ*：色度）に変換し、このＬ*、ａ*、ｂ*データに対応する新たなＬ*、ａ*、ｂ*データを出力する処理（以下、第１色再現処理）を行う。なお、新たなＬ*、ａ*、ｂ*データは、フラッシュ光を浴びた被写体の色彩を正確に再現するために実験等によって予め決定されたパラメータである。また、このパラメータは、ＣＩＥにより定義されたＬ*、ａ*、ｂ*データに対応付けてＲＯＭ２４に予め格納されている。この後、処理はステップＳ１０６に移行する。
【００１６】
ステップＳ１０６において、赤目検出処理部４２は、画像処理部１６により生成された赤目検出用画像から人物の顔画像を抽出する処理（以下、顔抽出処理）を行う。なお、顔抽出処理の方法には特に限定はなく、公知の各種の方法が利用可能である。例えば、顔画像の候補領域における基本的な色である基準色と候補領域の全画素の色とを比較し、それらの色差が所定の閾値以下である画素の集合を顔画像として抽出する方法（特許文献１参照）がある。
【００１７】
赤目検出処理部４２は、抽出した顔画像から赤目画像を検出する処理（以下、赤目検出処理）を行う。なお、赤目検出処理の方法には特に限定はなく、公知の各種の方法が利用可能である。例えば、顔画像を構成する全ての画素毎に、彩度及び色相を予め決められた各閾値と比較する方法（特許文献１参照）がある。この後、処理はステップＳ１０８に移行する。
【００１８】
ステップＳ１０８において、ホワイトバランス調整処理部３６は、メモリ１４に格納されている画像データをＲ（赤）、Ｇ（緑）、Ｂ（青）成分に分解し、各色成分のデジタル値の総和を求める。ホワイトバランス調整処理部３６は、求めた色成分の総和をそれぞれの画素数で割り、各色成分の平均値Ｒａｖ、Ｇａｖ、Ｂａｖを求める。そして、ホワイトバランス調整処理部３６は、各色成分の出力が等しくなるように、以下の演算式（１）を用いて、Ｒ（赤）、Ｂ（青）のレベルを補正するための補正値Ｇｒｄ、Ｇｂｄを求める。
【００１９】
【数１】
2007235531.tif 000003
【００２０】
ホワイトバランス調整処理部３６は、補正値Ｇｒｄ、Ｇｂｄを画像データのＲ（赤）、Ｂ（青）画素レベルにそれぞれ乗算する処理（以下、第２ホワイトバランス処理）を行って、ユーザに提供される本画像（第２画像）を生成する。
色再現処理部３８は、その本画像を示す本画像データをＣＩＥにより定義されたＬ*、ａ*、ｂ*データに変換して、このＬ*、ａ*、ｂ*データを補正する処理（以下、第２色再現処理）を行う。彩度調整処理部４０は、ユーザによる彩度の調整操作に応じて、本画像の彩度を調整する処理（以下、彩度調整処理）を行う。この後、処理はステップＳ１１０に移行する。
【００２１】
ステップＳ１１０において、制御部２８は、ステップＳ１０６で赤目画像が検出されたか否かを判定する。赤目画像が検出された場合、処理はステップＳ１１２に移行する。一方、赤目画像が検出されなかった場合、処理はステップＳ１２０に移行する。
ステップＳ１１２において、赤目補正処理部４４は、赤目画像を構成する画素の座標値及び画素数を算出する。この後、処理はステップＳ１１４に移行する。
【００２２】
ステップＳ１１４において、赤目補正処理部４４は、算出した座標値及び画素数に基づいて、本画像において赤目画像と同じ領域の色彩を補正する処理（以下、赤目補正処理）を行う。なお、赤目補正処理の方法には特に限定はなく、公知の各種の方法が利用可能である。例えば、赤目画像と同じ領域の彩度または明度を低減する方法（特許文献１参照）がある。そして、処理はステップＳ１１６に移行する。
【００２３】
ステップＳ１１６において、制御部２８は、赤目検出用画像を示す赤目検出データを消去する。この後、処理はステップＳ１２０に移行する。
一方、ステップＳ１０２でフラッシュ光が照射されなかった場合、ステップＳ１１８において、画像処理部１６は、ステップＳ１０８と同様に、画像データに対して第２ホワイトバランス処理、第２色再現処理や彩度調整処理を行って本画像を生成する。この後、処理はステップＳ１２０に移行する。
【００２４】
ステップＳ１１６で赤目検出データが消去された後、あるいは、ステップＳ１１８で本画像データが生成された後、ステップＳ１２０において、制御部２８は、本画像データを画像記録素子２０に保存し、あるいは、本画像を表示装置２２に表示する。そして、デジタルカメラの第１の実施形態における赤目現象の軽減動作が終了する。
以上、第１の実施形態では、画像処理部１６は、第２ホワイトバランス処理によるホワイトバランス調整や、彩度調整処理による彩度調整の影響を受けることなく、画像データに対して専用の画像処理（第１ホワイトバランス処理及び第１色再現処理）を行って赤目検出用画像を生成できる。したがって、画像処理部１６は、フラッシュ光を浴びた人物の顔画像の色彩を正確に再現できる。このため、赤目検出処理部４２は、人物の顔画像の色彩に基づいて、赤目検出用画像から赤目画像を正確に検出できる。この結果、赤目補正処理部４４による赤目補正処理によって、赤目現象を確実に軽減できる。
【００２５】
図３は、デジタルカメラの第２の実施形態における赤目現象の軽減動作を示している。この実施形態では、制御部２８が実行するためにＲＯＭ２４格納されているプログラムが、デジタルカメラの第１の実施形態と相違する。図３は、第１の実施形態（図２）のステップＳ１０４の代わりに、ステップＳ２００、Ｓ２０２が実行される点を除いて、図２と同じである。なお、上述した図２と同じ処理については、詳細な説明を省略する。また、図３に示す動作は、制御部２８がＲＯＭ２４に格納されたプログラムを実行することによって実現される。
【００２６】
まず、ステップＳ１００〜Ｓ１０２が実行され、撮像時にフラッシュ装置３４によりフラッシュ光が照射されたことが検出された場合、ステップＳ２００において、画像処理部１６（画像生成手段）は、撮像により得られた画像データで表される画像の解像度を下げて縮小画像を生成する。この後、処理はステップＳ２０２に移行する。
ステップＳ２０２において、画像処理部１６は、縮小画像を示す縮小画像データに対して第１ホワイトバランス処理及び第１色再現処理を行って赤目検出用画像を生成する。このように、画像処理部１６は、画像データで表される画像に比べて解像度の低い縮小画像に対して第１ホワイトバランス処理及び第１色再現処理を行う。したがって、画像処理部１６は、赤目検出用画像を速やかに生成できる。この後、処理はステップＳ１０８〜Ｓ１２０が実行され、デジタルカメラの第２の実施形態における赤目現象の軽減動作が終了する。
【００２７】
以上、第２の実施形態では、第１の実施形態と同様な効果を得ることができる。更に、画像処理部１６は、赤目検出用画像を速やかに生成できる。
図４は、デジタルカメラの第３の実施形態における撮影動作を示している。この実施形態では、制御部２８が実行するためにＲＯＭ２４格納されているプログラムが、デジタルカメラの第１の実施形態と相違する。また、図４に示す動作は、制御部２８がＲＯＭ２４に格納されたプログラムを実行することによって実現される。
【００２８】
まず、ステップＳ３００において、制御部２８は、図２のステップＳ１００と同様に、撮影者によるレリーズスイッチの全押しに応答して、撮像素子３０を制御することによって被写体である人物を撮像する。この後、処理はステップＳ３０２に移行する。
ステップＳ３０２において、ホワイトバランス調整処理部３６（第１処理手段）は、図２のステップＳ１０８と同様に、補正値Ｇｒｄ、Ｇｂｄ（第１補正情報）を画像データのＲ（赤）、Ｂ（青）画素レベルにそれぞれ乗算する処理を行って、ユーザに提供される本画像（第１画像）を生成する。この後、処理はステップＳ３０４に移行する。
【００２９】
ステップＳ３０４において、制御部２８は、本画像データに、補正値Ｇｒｄ、Ｇｂｄと図２のステップＳ１０４で述べた補正値Ｇｒｆ、Ｇｂｆ（第２補正情報）とを付加する。この後、処理はステップＳ３０６に移行する。
ステップＳ３０６において、制御部２８は、図２のステップＳ１２０と同様に、本画像データを画像記録素子２０に保存し、あるいは、本画像を表示装置２２に表示する。そして、デジタルカメラの第３の実施形態における撮影動作が終了する。
【００３０】
図５は、デジタルカメラの第３の実施形態における赤目現象の軽減動作を示している。また、図５に示す動作は、制御部２８（復元手段）がＲＯＭ２４に格納されたプログラムを実行することによって実現される。なお、この動作は、撮影時のレリーズスイッチの押し下げとは別の指示（例えば、再生モードでのユーザによる赤目修正指示）に応じて実行される。また、この動作は、デジタルカメラ１００ではなくパーソナルコンピュータ等の別環境で実行されてもよい。
【００３１】
まず、ステップＳ４００において、制御部２８は、画像記録素子２０（記録手段）に記録されている補正値Ｇｒｄ、Ｇｂｄを用いて、本画像を元の画像に復元する。この後、処理はステップＳ４０２に移行する。
ステップＳ４０２において、ホワイトバランス調整処理部３６（第２処理手段）は、図２のステップＳ１０４と同様に、画像記録素子２０に記録されている補正値Ｇｒｆ、Ｇｂｆを元の画像データのＲ（赤）、Ｂ（青）画素レベルにそれぞれ乗算する処理を行って赤目検出用画像（第２画像）を生成する。この後、処理はステップＳ４０４に移行する。
【００３２】
ステップＳ４０４において、赤目検出処理部４２は、図２のステップＳ１０６と同様に顔抽出処理及び赤目検出処理を行って、赤目検出用画像から赤目画像を検出する。この後、処理はステップＳ４０６に移行する。
ステップＳ４０６において、制御部２８は、ステップＳ４０６で赤目画像が検出されたか否かを判定する。赤目画像が検出された場合、処理はステップＳ４０８に移行する。一方、赤目画像が検出されなかった場合、デジタルカメラの第３の実施形態における赤目現象の軽減動作が終了する。
【００３３】
ステップＳ４０８において、赤目補正処理部４４は、図２のステップＳ１１２と同様に、赤目画像を構成する画素の座標値及び画素数を算出する。この後、処理はステップＳ４１０に移行する。
ステップＳ４１０において、赤目補正処理部４４は、算出した座標値及び画素数に基づいて、図２のステップＳ１１４と同様に赤目補正処理を行って、本画像において赤目画像と同じ領域の色彩を補正する。そして、処理はステップＳ４１２に移行する。
【００３４】
ステップＳ４１２において、制御部２８は、赤目検出用画像を示す赤目検出データを消去する。そして、デジタルカメラの第３の実施形態における赤目現象の軽減動作が終了する。
以上、第３の実施形態では、第１の実施形態と同様な効果を得ることができる。更に、撮影時に赤目補正処理部４４により赤目検出処理や赤目補正処理が実施されないので、撮影動作が高速に終了する。このため、画像記録素子２０に対する本画像データの保存と、表示装置２２に対する本画像の表示が速やかに行われる。
【００３５】
ホワイトバランス調整処理部３６は、元の画像データに対して補正値Ｇｒｆ、Ｇｂｆを用いた専用のホワイトバランス処理を行って赤目検出用画像を生成できる。したがって、赤目検出処理部４２は、赤目検出用画像から赤目画像を高精度に検出できる。このため、赤目補正処理部４４は、赤目現象を従来技術に比べて大幅に軽減できる。
なお、上述した第１及び第２の実施形態では、補正値Ｇｒｆ、Ｇｂｆが発光ガイドナンバーに対応付けてＲＯＭ２４に格納される例について述べた。本発明はかかる実施形態に限定されるものではない。ホワイトバランス調整処理部３６は、フラッシュ光の色温度に対応付けてＲＯＭ２４に予め格納された補正値Ｇｒｆ、Ｇｂｆを、メモリ１４に記録されている画像データのＲ（赤）、Ｂ（青）画素レベルに乗算する処理を行って赤目検出用画像（第１画像）を生成するものでもよい。
【００３６】
以上、本発明について詳細に説明してきたが、上記の実施形態及びその変形例は発明の一例に過ぎず、本発明はこれに限定されるものではない。本発明を逸脱しない範囲で変形可能であることは明らかである。
【産業上の利用可能性】
【００３７】
本発明は、閃光発光を用いて人物を撮影する時に発生するいわゆる赤目現象を、画像処理を用いて軽減する機能を有するデジタルカメラに適用される。
【図面の簡単な説明】
【００３８】
【図１】本発明のデジタルカメラの第１の実施形態を示すブロック図である。
【図２】デジタルカメラの第１の実施形態における赤目現象の軽減動作を示すフローチャートである。
【図３】デジタルカメラの第２の実施形態における赤目現象の軽減動作を示すフローチャートである。
【図４】デジタルカメラの第３の実施形態における撮影動作を示すフローチャートである。
【図５】デジタルカメラの第３の実施形態における赤目現象の軽減動作を示すフローチャートである。
【符号の説明】
【００３９】
１０…露出制御部、１２…Ａ／Ｄ変換回路、１４…メモリ、１６…画像処理部、１８…赤目処理部、２０…画像記録素子、２２…表示装置、２４…ＲＯＭ、２６…設定部、２８…制御部、３０…撮像素子、３２…信号増幅回路、３４…フラッシュ装置、３６…ホワイトバランス調整処理部、３８…色再現処理部、４０…彩度調整処理部、４２…赤目検出処理部、４４…赤目補正処理部、１００…デジタルカメラ
【図１】
2007235531.tif 000004
【図２】
2007235531.tif 000005
【図３】
2007235531.tif 000006
【図４】
2007235531.tif 000007
【図５】
2007235531.tif 000008