(57)【要約】【課題】撮影画像に対応した効果的な階調補正が可能な画像補正装置を提供する。【解決手段】撮影画像の輝度分布及びこの撮影画像を撮影した撮影装置の情報から撮影画像の撮影状況をシーン分析処理部により検出する。検出した撮影画像の撮影状況に応じてこの撮影画像の輝度の入出力の対応関係の補正用のトーンカーブをトーンカーブ選択部により設定する。撮影画像に対応した効果的な階調補正が可能になる。【選択図】図１
2010263267.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像の輝度分布及びこの撮影画像を撮影した撮影装置の情報から前記撮影画像の撮影状況を検出する検出手段と、
この検出手段により検出した前記撮影画像の撮影状況に応じてこの撮影画像の輝度の入出力の対応関係の補正用のトーンカーブを設定する設定手段と
を具備したことを特徴とする画像補正装置。
【請求項２】
検出手段は、撮影画像の輝度分布及びこの撮影画像を撮影した撮影装置の露出情報から前記撮影画像の撮影状況を検出する
ことを特徴とする請求項１記載の画像補正装置。
【請求項３】
設定手段は、検出手段により検出した撮影画像の撮影状況が予め設定された複数の所定の撮影状況のいずれかであると判定された場合に、これら予め設定された所定の撮影状況のそれぞれに対応して予め複数設定された所定のトーンカーブから、撮影装置の情報に応じていずれかを選択することで前記撮影画像の補正用のトーンカーブを設定する
ことを特徴とする請求項１または２記載の画像補正装置。
【請求項４】
設定手段は、検出手段により検出した撮影画像の撮影状況が予め設定された複数の所定の撮影状況のいずれでもないと判定された場合に、前記撮影画像の輝度の累積ヒストグラムの互いに異なる少なくとも２点での輝度値に基づいて前記撮影画像の補正用のトーンカーブを設定する
ことを特徴とする請求項３記載の画像補正装置。
【請求項５】
撮影画像中の所定の輝度値以下の画素の割合に応じて、設定手段により設定された補正用のトーンカーブを高輝度入力側へとシフトさせる調整手段を具備した
ことを特徴とする請求項１ないし４いずれか一記載の画像補正装置。
【請求項６】
調整手段は、設定手段により設定された補正用のトーンカーブを、撮影画像中の所定の輝度値以下の画素の割合に応じたゲイン値で補正する
ことを特徴とする請求項５記載の画像補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影装置により撮影画像を補正する画像補正装置に関する。
【背景技術】
【０００２】
従来、例えばデジタルスチルカメラ、あるいはデジタルビデオカメラなどの撮影装置によって撮影した画像を、より鮮明にしたり、目的に応じて補正したりするための画像補正装置が知られている。このような画像補正装置としては、例えば撮影画像の輝度レベルのヒストグラムに基づいて、輝度の入出力特性、すなわちトーンカーブを選択して階調補正を行う構成(例えば、特許文献１参照。)、及び、撮影時の光源の種類を識別し、その光源の種類に応じて色補正及びγ補正などの階調補正を行う構成(例えば、特許文献２参照。)などが知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３７１４６５７号公報  (第３−６頁、図４−６)
【特許文献２】特許第４２１７４９４号公報  (第３−８頁、図５−６)
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に、被写体の撮影状況(シーン)によって最適な階調特性は異なる。例えば、夜景を撮影した画像を明るく補正すると、夜景らしさが損なわれることになる。上述の構成では、このような被写体の撮影状況に応じた補正について考慮されていないという問題点を有している。
【０００５】
また、撮影装置における通常の露出補正では、主被写体に露出を合わせると、主被写体以外の空や背景などが飽和、いわゆる白飛びしてしまう場合がある。このような場合、露出補正をマイナス方向で撮影することにより白飛びを抑制できるものの、その場合には、主被写体を含めて撮影画像全体が暗く現像されてしまう。このような場合に、上述の構成では、露出補正分も加味して最適な階調特性を実現するためのトーンカーブを選択することができない。
【０００６】
本発明は、このような点に鑑みなされたもので、撮影画像に対応した効果的な階調補正が可能な画像補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１記載の画像補正装置は、撮影画像の輝度分布及びこの撮影画像を撮影した撮影装置の情報から前記撮影画像の撮影状況を検出する検出手段と、この検出手段により検出した前記撮影画像の撮影状況に応じてこの撮影画像の輝度の入出力の対応関係の補正用のトーンカーブを設定する設定手段とを具備したものである。
【０００８】
請求項２記載の画像補正装置は、請求項１記載の画像補正装置において、検出手段は、撮影画像の輝度分布及びこの撮影画像を撮影した撮影装置の露出情報から前記撮影画像の撮影状況を検出するものである。
【０００９】
請求項３記載の画像補正装置は、請求項１または２記載の画像補正装置において、設定手段は、検出手段により検出した撮影画像の撮影状況が予め設定された複数の所定の撮影状況のいずれかであると判定された場合に、これら予め設定された所定の撮影状況のそれぞれに対応して予め複数設定された所定のトーンカーブから、撮影装置の情報に応じていずれかを選択することで前記撮影画像の補正用のトーンカーブを設定するものである。
【００１０】
請求項４記載の画像補正装置は、請求項３記載の画像補正装置において、設定手段は、検出手段により検出した撮影画像の撮影状況が予め設定された複数の所定の撮影状況のいずれでもないと判定された場合に、前記撮影画像の輝度の累積ヒストグラムの互いに異なる少なくとも２点での輝度値に基づいて前記撮影画像の補正用のトーンカーブを設定するものである。
【００１１】
請求項５記載の画像補正装置は、請求項１ないし４いずれか一記載の画像補正装置において、撮影画像中の所定の輝度値以下の画素の割合に応じて、設定手段により設定された補正用のトーンカーブを高輝度入力側へとシフトさせる調整手段を具備したものである。
【００１２】
請求項６記載の画像補正装置は、請求項５記載の画像補正装置において、調整手段は、設定手段により設定された補正用のトーンカーブを、撮影画像中の所定の輝度値以下の画素の割合に応じたゲイン値で補正するものである。
【発明の効果】
【００１３】
請求項１記載の画像補正装置によれば、撮影画像の輝度分布及びこの撮影画像を撮影した撮影装置の情報から撮影画像の撮影状況を検出手段により検出し、この検出した撮影画像の撮影状況に応じてこの撮影画像の輝度の入出力の対応関係の補正用のトーンカーブを設定手段により設定することで、撮影画像に対応した効果的な階調補正が可能になる。
【００１４】
請求項２記載の画像補正装置によれば、請求項１記載の画像補正装置の効果に加えて、検出手段が、撮影画像の輝度分布及びこの撮影画像を撮影した撮影装置の露出情報から撮影画像の撮影状況を検出することで、撮影時の露光状況に応じて撮影画像をより効果的に階調補正できる。
【００１５】
請求項３記載の画像補正装置によれば、請求項１または２記載の画像補正装置の効果に加えて、検出手段により検出した撮影画像の撮影状況が予め設定された複数の所定の撮影状況のいずれかであると判定された場合に、設定手段が予め設定された所定の撮影状況のそれぞれに対応して予め複数設定された所定のトーンカーブから撮影装置の情報に応じていずれかを選択することにより撮影画像の補正用のトーンカーブを設定することで、撮影状況及び撮影装置の情報に対応して、撮影画像の補正用のトーンカーブを微調整できる。
【００１６】
請求項４記載の画像補正装置によれば、請求項３記載の画像補正装置の効果に加えて、検出手段により検出した撮影画像の撮影状況が予め設定された複数の所定の撮影状況のいずれでもないと判定された場合に、設定手段が、撮影画像の輝度の累積ヒストグラムの互いに異なる少なくとも２点での輝度値に基づいて撮影画像の補正用のトーンカーブを設定することで、撮影画像の撮影状況が予め設定された所定の撮影状況でないと判定された場合でも、効率的な補正用のトーンカーブの設定が可能になる。
【００１７】
請求項５記載の画像補正装置によれば、請求項１ないし４いずれか一記載の画像補正装置の効果に加えて、撮影画像中の所定の輝度値以下の画素の割合に応じて、調整手段が、設定手段により設定された補正用のトーンカーブを高輝度入力側へとシフトさせることで、撮影画像のコントラストを改善していわゆる黒浮きを抑制できる。
【００１８】
請求項６記載の画像補正装置によれば、請求項５記載の画像補正装置の効果に加えて、設定手段により設定された補正用のトーンカーブを、調整手段が撮影画像中の所定の輝度値以下の画素の割合に応じたゲイン値で補正することで、補正用のトーンカーブを高輝度入力側へとシフトさせても撮影画像全体が暗くなることを防止できる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施の形態の画像補正装置の撮影状況の判定、トーンカーブの選択及び調整の各制御を示すフローチャートである。
【図２】同上画像補正装置の要部を示すブロック図である。
【図３】同上画像補正装置を備えた撮影装置を示すブロック図である。
【図４】同上画像補正装置の各撮影状況に対応するトーンカーブの例を(a)ないし(e)に示す説明図である。
【図５】同上画像補正装置のフレアシーンの判定用の累積ヒストグラムの一例を示す説明図である。
【図６】同上画像補正装置のフレアシーンの判定用のテーブルの一例を示す説明図である。
【図７】同上画像補正装置の調整手段によるトーンカーブの調整用の累積ヒストグラムの一例を示す説明図である。
【図８】(a)は同上調整手段によりトーンカーブを高輝度入力側にシフトさせた状態を示す説明図、(b)は同上調整手段によるトーンカーブの補正を示す説明図である。
【図９】(a)は同上画像補正装置の２こぶシーンの判定用のヒストグラムの一例を示す説明図、(b)は(a)のヒストグラムの累積ヒストグラムを示す説明図である。
【図１０】同上画像補正装置の２こぶシーンの判定用のヒストグラムの他の例を示す説明図である。
【図１１】同上画像補正装置のオートシーンでのトーンカーブの選択を示す説明図である。
【発明を実施するための形態】
【００２０】
以下、本発明の一実施の形態の構成を、図面を参照して説明する。
【００２１】
図３において、10は撮影装置としてのカメラで、このカメラ10は、いわゆるデジタルスチルカメラであり、撮像手段12で撮影した画像データを、デジタルデータとして記録媒体14に記録するものである。そして、このカメラ10は、ケース20を備え、このケース20に、絞り装置21、レンズ22、フラッシュ装置23、電荷結合素子(ＣＣＤ)である撮像手段12、二重相関サンプリング回路(ＣＤＳ)24、増幅回路(ＡＭＰ)25、アナログデジタル変換器(Ａ／Ｄ)26、第１の画像データメモリ27、画像データ処理部28、第２の画像データメモリ29、圧縮伸長回路31、タイミングジェネレータ(ＴＧ)32、メモリコントローラ33、ＣＰＵを備えた画像補正装置の機能を有する制御手段34、及び、図示しない電源回路などが収納されている。また、制御手段34には、作業用のＲＡＭや予め設定された値あるいはプログラムなどを記録したＲＯＭなどのメモリ35が接続されている。さらに、このケース20には、液晶パネル(ＬＣＤ)である表示装置36及び操作部37などが備えられている。そして、このカメラ10は、制御手段34が、増幅回路25、圧縮伸長回路31、及びメモリコントローラ33をそれぞれ制御する。また、このカメラ10は、制御手段34が、メモリコントローラ33を介して第１の画像データメモリ27、及び第２の画像データメモリ29を制御する。さらに、このカメラ10は、制御手段34が、絞り装置21、レンズ22、フラッシュ装置23、及びタイミングジェネレータ32をそれぞれ制御する。また、このカメラ10は、制御手段34が、タイミングジェネレータ32を介して撮像手段12、二重相関サンプリング装置回路24、及びアナログデジタル変換器26をそれぞれ制御する。
【００２２】
そして、このカメラ10は、絞り装置21及びレンズ22を介して取り込まれた被写界光を撮像手段12で電気信号に変換する。この電気信号の変換のタイミングは、タイミングジェネレータ32により制御される。また、撮像手段12から出力された電気信号は、二重相関サンプリング回路24で信号処理され、増幅回路25により増幅処理された後、アナログデジタル変換器26でデジタルデータに変換される。このデジタルデータは、画像データとして第１の画像データメモリ27に一時記録される。そして、第１の画像データメモリ27に一時記録された画像データは、画像データ処理部28で所定の画像処理が施される。このように画像処理が施された画像データは、表示装置36で表示されるとともに、第２の画像データメモリ29に記録される。さらに、第２の画像データメモリ29に記録された画像データは、圧縮伸長回路31で圧縮処理され、記録媒体14に画像データとして記録される。なお、この記録媒体14に記録された画像データは、操作者からの指示に応じて、圧縮伸長回路31で伸長処理された後、表示装置36で表示できる。
【００２３】
そして、このカメラ10は、使用者が操作部37を操作することにより、状態が切り替えられ、例えば本撮影前のプレビューモードでは、撮像手段12は一定間隔で連続的に電気信号を出力し、画像データ処理部28から出力された画像データが表示装置36に表示される。そして、制御手段34は、自動露出制御(ＡＥ)として、適正露出となるように絞り装置21の開口度を制御するとともに、撮像手段12の露光時間を設定し、また、自動焦点制御(ＡＦ)として、目的の被写体の像が撮像手段12で焦点を結ぶようにレンズ22を制御する。
【００２４】
ここで、制御手段34は、第１の画像データメモリ27に記録された画像データを利用し、自動的に、あるいは操作者の操作部37の操作に応じて、自動露出制御及び自動焦点制御を行う。すなわち、制御手段34は、多数の画素の輝度データからなる画像データを縦横所定数のブロックに分割し、ブロック毎にＲＧＢの輝度データ及び色データの平均値などを算出し、ブロック毎の輝度データ及び色データなどのブロック特性を算出する。そして、制御手段34は、算出されたブロック特性を用いて判定した撮影状況(シーン)及び被写体の位置(距離)などに基づいて算出された適正な露光量、レンズ駆動量、フラッシュ照射のタイミング及び照射量などにより、被写体に応じた適切な自動露出制御及び自動焦点制御を行う。すなわち、制御手段34は、得られた露光量などに基づいてタイミングジェネレータ32のタイミング制御を制御し、得られたレンズ駆動量に応じてレンズ22の駆動を制御し、得られたフラッシュ照射のタイミングや照射量に基づいてフラッシュ装置23を制御する。
【００２５】
そして、使用者が操作部37のシャッタボタン(レリーズスイッチ)を半押し操作することにより、撮影準備の状態となり、露出及び焦点を確定し、さらに、使用者が操作部37のシャッタボタンを全押し操作することにより、本撮影の状態となり、必要に応じてフラッシュ装置23が制御手段34により設定されたタイミング及び照射量でフラッシュ光を被写体に向けて照射して被写界の光量不足を補い、撮像手段12は制御手段34に制御された所定の露光時間だけ露光を行い、蓄積した電荷による電気信号を出力し、第１の画像データメモリ27を介し、画像データ処理部28で処理された画像データを第２の画像データメモリ29を介して記録媒体14に記録する。
【００２６】
ここで、制御手段34は、第１の画像データメモリ27あるいは第２の画像データメモリ29に記録された画像データを、画像データ処理部28からの入力などに基づき解析して画像データの状況を把握し、自動的に、あるいは操作者の操作部37の操作に応じて、画像データ処理部28を制御し、ホワイトバランス補正、γ補正、色補正、輝度補正及び色補正などの適切な画像データ処理を行い、好ましい画像データを提供する。
【００２７】
具体的に、制御手段34は、図２に示すように、検出手段としてのシーン分析処理部41、設定手段としてのトーンカーブ選択部42、調整手段としてのパラメータ設定部43、及び、累積ヒストグラム作成部44とを備えている。そして、画像データ処理部28から出力されたヒストグラム(輝度分布)に基づき、累積ヒストグラム作成部44が累積ヒストグラム(ヒストグラムの増加率)を作成し、この累積ヒストグラムと、画像データ処理部28から出力された輝度データ、及び、カメラ10の情報、例えば画像の撮影時の露出情報である露出補正値などに基づいて、シーン分析処理部41が撮影画像の撮影状況(シーン)を判定する。また、シーン分析処理部41での撮影状況判定に応じて、トーンカーブ選択部42が、これら撮影状況のそれぞれに対してメモリ35に記録された複数のトーンカーブ(輝度の入出力の対応関係を補正するための入出力特性のグラフ)から、カメラ10の情報に応じていずれか１つを選択設定する。さらに、トーンカーブ選択部42で選択設定されたトーンカーブをパラメータ設定部43が必要に応じて調整し、画像データ処理部28へと出力する。
【００２８】
そして、画像データ処理部28は、ＲＧＢ分離部51、ホワイトバランス(ＷＢ)処理部52、γ補正部53、色補正部54、第１の変換部55、ヒストグラム作成部56、輝度補正部57、色差処理部58、及び第２の変換部59などを備えている。そして、第１の画像データメモリ27(図３)に記録された画像データを、ＲＧＢ分離部51がＲ(赤)、Ｇ(緑)、Ｂ(青)のそれぞれの多数の輝度データに分離し、この分離された画像データに対して、ホワイトバランス処理部52がホワイトバランスゲイン、すなわちＲゲイン、Ｇゲイン及びＢゲインを、対応する色成分データに乗算することによりホワイトバランス処理を行う。また、ホワイトバランス処理部52によりホワイトバランス処理をしたＲＧＢの各画像データを、γ補正部53及び色補正部54により、それぞれ撮像手段12の特性などに応じてγ補正及び色補正する。さらに、γ補正部53及び色補正部54を介して補正されたＲＧＢの画像データを、第１の変換部55がＹ(輝度)、Ｃr(赤色差)、Ｃb(青色差)のデータに変換する。また、ヒストグラム作成部56がＹ(輝度)データに基づきヒストグラムを作成し、累積ヒストグラム作成部44に出力する。さらに、パラメータ設定部43を介して出力されたトーンカーブを輝度補正部57がＹ(輝度)データに作用させてこのＹ(輝度)データを補正するとともに、このＹ(輝度)データの補正に応じて、色差補正部58がＣr(赤色差)データ及びＣb(青色差)データをそれぞれ補正する。そして、補正されたＹ(輝度)、Ｃr(赤色差)、Ｃb(青色差)の各データを第２の変換部59が図３に示す表示装置36で表示可能なＲＧＢデータに変換して、第２の画像データメモリ29及び表示装置36へと出力する。
【００２９】
なお、画像データ処理部28及び制御手段34の各部は、便宜的にブロックとして分離したものであり、いずれかが互いに一体となっている構成でもよいし、制御手段34と画像データ処理部28との一方のブロックが他方に適宜組み込まれていてもよい。
【００３０】
次に、上記一実施の形態の撮影状況分析処理及びトーンカーブの設定処理を説明する。なお、以下、輝度値は例えば１０２４階調(スケール)に対応しているものとして説明するが、この階調に限定されるものではない。
【００３１】
図１に示すように、まず、シーン分析処理部41に、累積ヒストグラム作成部44で作成された累積ヒストグラム、Ｙ(輝度)データ、及び、被写体距離、光源の種類や露出情報などのカメラ10の情報がそれぞれ入力される(ステップ１)。
【００３２】
次いで、シーン分析処理部41は、入力された情報に基づき、撮影画像の撮影状況を判定する。例えば、まず、シーン分析処理部41は、撮影状況がフレアシーンであるかどうか、すなわちレンズ22などでの反射光が撮影画像中に含まれているかどうかを判定する(ステップ２)。
【００３３】
この判定には、図５に示すように、累積ヒストグラムが用いられる。シーン分析処理部41では、累積ヒストグラムが、経験的に予め設定された所定値、例えば１％になるまでの輝度値を黒浮き値(Black offset)BOとして算出するとともに、輝度値が最大となっている画素の割合を白飛び(飽和)率(Saturation Ratio)SRとする。ここで、黒浮き値BOは、撮影画像中の所定の輝度値以下の低輝度画素の割合、すなわち、いわゆる黒浮きの度合いを示すものとなり、具体的には、黒浮き値BOが大きいほど撮影画像中に黒い画素が少なく、撮影画像中の黒色が白っぽい(灰色に近い)状態となっている。また、白飛び率SRは、撮影画像中の飽和画素の割合、すなわち、いわゆる白飛びの度合を示すものとなり、具体的には、白飛び率SRが大きいほど撮影画像中に飽和画素が多く、撮影画像が白っぽい状態となっている。そして、このシーン分析処理部41では、これら黒浮き値BOと白飛び率SRとのそれぞれに対して複数の閾値を設け、それら閾値との大小比較によって、撮影状況がフレアシーンであるかどうか、及び、撮影画像中の反射光の度合い(ここでは例えば弱、中、強)を判定する。具体的には、例えば図６に示すようなテーブルをメモリ35などに予め記録しておき、このテーブルと黒浮き値BO及び白飛び率SRとを比較する。なお、黒浮き値BOと白飛び率SRとのそれぞれの閾値は、図６に示すテーブルの数値以外にも任意に設定できる。
【００３４】
そして、図１に示すように、シーン分析処理部41が反射光(フレア)ありと判定した場合には、トーンカーブ選択部42が、メモリ35に記録されたフレアシーン用の複数のトーンカーブの中から、カメラ10の情報に応じていずれか１つを選択する(ステップ３)。これらフレアシーン用のトーンカーブは、例えば図４(a)に示すように、撮影画像の飽和(高輝度)部分については入力に対する出力を下げ、低輝度から中間部分まではあまり変化させないようなものとする。また、カメラ10の情報として露出補正値を用いる場合には、露出補正値がプラス方向に大きいほど、入力輝度に対して出力輝度を大きくする割合が小さいトーンカーブを選択し、露出補正値がマイナス方向に大きいほど入力輝度に対して出力輝度を大きくする割合が大きいトーンカーブを選択する。
【００３５】
この後、パラメータ設定部43が、選択されたトーンカーブのパラメータを、撮影画像中の反射光の度合いに応じて輝度補正部57(図２)に設定する(ステップ４)。具体的に、図４(a)に示すように、パラメータ設定部43では、撮影画像中の反射光の度合いが大きいほど、黒画素を増加させる、いわゆる黒を引くために、トーンカーブを高輝度入力側(図中右側)へと大きくシフトさせる。
【００３６】
また、図１に戻って、ステップ２において、シーン分析処理部41が反射光(フレア)なしと判定した場合には、このシーン分析処理部41は、さらに、撮影画像の撮影状況がナイトフラッシュシーンであるかどうか、すなわち撮影画像が暗い背景において被写体に対してフラッシュ装置23を用いて撮影されたものであるかどうかを判定する(ステップ５)。この判定には、適宜周知の技術を適用できるので、簡単に説明すると、撮影画像を複数のブロックに分割し、これらブロックのうち、輝度が小さいブロックが予め設定された所定の閾値より大きいかどうか(閾値以上であるかどうか)を判定するとともに、撮影画像のコントラストが予め設定された所定の閾値より大きいかどうか(閾値以上であるかどうか)を判定し、さらに、フラッシュ装置23(図３)からのフラッシュ光が撮影画像に寄与している度合いが予め設定された所定の閾値より大きいかどうか(閾値以上であるかどうか)などを判定する。
【００３７】
そして、シーン分析処理部41がナイトフラッシュシーンであると判定した場合には、トーンカーブ選択部42がメモリ35に記録されたナイトフラッシュシーン用の複数のトーンカーブから、カメラ10の情報に応じていずれか１つを選択する(ステップ６)。これらナイトフラッシュシーン用のトーンカーブは、例えば図４(b)に示すように、撮影画像の低輝度から中間部分まではあまり変化させず、高輝度部分については撮影画像に応じて、あまり変化させない、もしくは入力輝度に対して出力輝度を下げるものとする。すなわち、図１に示すように、パラメータ設定部43は、選択されたトーンカーブの高輝度部分の入力輝度に対する出力輝度の低減量を、ヒストグラムに応じて輝度補正部57(図２)に設定する(ステップ７)。
【００３８】
一方、ステップ５において、シーン分析処理部41がナイトフラッシュシーンでないと判定した場合には、シーン分析処理部41は、撮影画像の撮影状況がスカイブルーシーンであるかどうか、すなわち撮影画像が青空を含んだ画像であるかどうかを判定する(ステップ８)。この判定には、適宜周知の技術を適用できるので、簡単に説明すると、例えばスカイブルーシーンで撮影された画像中に想定される被写体である青空の色特性及び輝度特性を予めメモリ35などに予め記録しておき、撮影画像を複数のブロックに分割し、記録された色特性及び輝度特性を有するブロック数が予め設定された所定の閾値より大きいかどうか(閾値以上であるかどうか)で判定する。
【００３９】
そして、シーン分析処理部41がスカイブルーシーンであると判定した場合には、トーンカーブ選択部42がメモリ35に記録されたナイトフラッシュシーン用と同様の複数のトーンカーブ(図４(b))から、カメラ10の情報に応じていずれか１つを選択する(ステップ９)とともに、ステップ７と同様に、パラメータ設定部43が、選択されたトーンカーブの高輝度部分の出力低減量を、ヒストグラムに応じて設定する(ステップ10)。さらに、パラメータ設定部43は、撮影画像の累積ヒストグラムに基づいて、トーンカーブの補正(アダプティブオフセット補正)を行う(ステップ11)。
【００４０】
このトーンカーブの補正は、まず、シーン分析処理部41で算出した上記黒浮き値BO(図７)が所定の閾値よりも大きい(所定の閾値以上である)場合に行うことが好ましい(例えば図６に示す１８≦BOの場合など)。パラメータ設定部43は、黒浮き値BOに対応したシフト量で、トーンカーブを高輝度入力側へとシフトさせるようにパラメータを輝度補正部57(図２)に設定することで、黒い画素を生み出して撮影画像の見た目のコントラストを向上させ、撮影画像の黒浮きを改善する(図８(a))。さらに、パラメータ設定部43が、このシフトさせたトーンカーブを、黒浮き値BOに対応したゲイン値で補正することで、撮影画像全体が暗くなることを防止する(図８(b))。具体的に、パラメータ設定部43は、シフトさせたトーンカーブの各入力輝度に対応する出力輝度を、シフト前のトーンカーブでのそれらの入力輝度に対応する出力輝度に近付けるように補正する。
【００４１】
また、ステップ８において、シーン分析処理部41がスカイブルーシーンでないと判定した場合には、このシーン分析処理部41は、撮影画像の撮影状況がテキストシーンであるかどうか、すなわち文書を撮影したものであるかどうかを判定する(ステップ12)。この判定には、適宜周知の技術を適用できるので、簡単に説明すると、例えば、被写体距離、環境輝度、撮影画像中の人物(顔)の有無、光源の種類、光源と主要被写体との関係などとともに、撮影画像全体での色の変化が小さいかどうか、具体的には、撮影画像を複数のブロックに分割し、それぞれの代表色値の平均値を算出し、その平均値を中心とする一定範囲内に代表色値が収まるブロック数が所定の閾値よりも大きいかどうか(閾値以上であるかどうか)で判定する。
【００４２】
そして、シーン分析処理部41がテキストシーンであると判定した場合には、トーンカーブ選択部42がメモリ35に記録されたテキストシーン用の複数のトーンカーブから、カメラ10の情報に応じていずれか１つを選択する(ステップ13)。これらテキストシーン用のトーンカーブは、例えば図４(c)に示すように、撮影画像の低輝度から中間部分の入力輝度に対して出力輝度を下げるとともに、高輝度部分は入力輝度に対して出力輝度を若干上げるものとする。この後、パラメータ設定部43が、選択されたトーンカーブに応じてパラメータを設定し(ステップ14)、ステップ11と同様のトーンカーブの補正を行う(ステップ15)。
【００４３】
また、ステップ12において、シーン分析処理部41がテキストシーンでないと判定した場合には、シーン分析処理部41は、撮影画像の撮影状況が２こぶシーンであるかどうか、すなわち、図９(a)に示すようにヒストグラム中に低輝度入力側と高輝度入力側との異なる２つの輝度値のピークを有する撮影画像であるかどうかを判定する(ステップ16)。
【００４４】
この判定には、図９(a)及び図９(b)に示すように、ヒストグラムと累積ヒストグラムとが用いられる。まず、シーン分析処理部41では、黒率(Black Ratio)BRとして、輝度値が０から予め設定された所定値、例えば１５までの累積ヒストグラムの幅を算出するとともに、累積ヒストグラムが経験的に予め設定された所定値、例えば２．５％から９７．５％までとなる輝度幅を有効範囲(Effective Range)ERとして算出し、累積ヒストグラムが９７．５％になる輝度値から所定値、例えば輝度値で６４少ない輝度値までの累積ヒストグラムの割合を白率(White Ratio)WRとして算出する。また、シーン分析処理部41では、中間部分の輝度値で累積ヒストグラムが平坦となっている部分の輝度幅を平坦長(Flat Length)FLとして算出する。さらに、シーン分析処理部41では、ヒストグラムにおいて、低輝度側のピーク部の輝度値の割合と、その輝度値よりも１小さい輝度値の割合との差と、その輝度値よりも１大きい輝度値の割合との差との和の最大値をエッジ値(Edge Value)EVとして算出する。すなわち、エッジ値EVは、輝度値ｉのヒストグラム値をHIST[i]とすると、
EV＝MAX{(HIST[i]−HIST[i-1])＋(HIST[i]−HIST[i+1])}
＝MAX(２・HIST[i]−HIST[i-1]−HIST[i+1])
で求められる。
【００４５】
なお、このエッジ値EVの算出の際には、図１０に示すように、ヒストグラムの階調(解像度)を低減させた方が好ましい場合もある。
【００４６】
そして、このシーン分析処理部41では、黒率BR、有効範囲ER、白率WR、平坦長FL及びエッジ値EVのそれぞれに対して閾値を設け、黒率BRとエッジ値EVとの少なくともいずれかがそれぞれの閾値より大きいかどうか(閾値以上であるかどうか)、及び、有効範囲ER、白率WR及び平坦長FLのそれぞれが各閾値をより大きいかどうか(各閾値以上であるかどうか)によって、撮影状況が２こぶシーンであるかどうかを判定する。
【００４７】
図１に示すように、シーン分析処理部41が２こぶシーンであると判定した場合には、トーンカーブ選択部42がメモリ35に記録された２こぶシーン用の複数のトーンカーブから、露出補正値などのカメラ10の情報に応じていずれか１つを選択する(ステップ17)。これら２こぶシーン用のトーンカーブは、例えば図４(d)に示すように、撮影画像の低輝度から中間部分までは入力輝度に対して出力輝度を比較的大きく上げ、高輝度部分は撮影画像に応じて入力輝度に対して出力輝度を上げ下げするものとする。すなわち、図１に示すように、パラメータ設定部43が、選択されたトーンカーブの高輝度部分のパラメータを、撮影画像に応じて設定する(ステップ18)。
【００４８】
さらに、ステップ16において、シーン分析処理部41が２こぶシーンでないと判定した場合には、このシーン分析処理部41は、撮影画像の撮影状況が小レンジシーンであるかどうか、すなわち撮影画像のコントラストが低くヒストグラムが狭い範囲内に偏っているかどうかを判定する(ステップ19)。この判定は、例えば、上記有効範囲ERが予め設定された所定範囲よりも狭いかどうかなどにより行われる。
【００４９】
シーン分析処理部41が小レンジシーンであると判定した場合には、トーンカーブ選択部42がメモリ35に記録された小レンジシーン用の複数のトーンカーブから、カメラ10の情報に応じていずれか１つを選択する(ステップ20)。これら小レンジシーン用のトーンカーブは、例えば図４(e)に示すように、全ての輝度範囲において、入力輝度に対して出力輝度を比較的大きく上げるものとする。次いで、パラメータ設定部43が、選択されたトーンカーブに応じて輝度補正部57(図３)にパラメータを設定する(ステップ21)。
【００５０】
また、ステップ19において、シーン分析処理部41が小レンジシーンでないと判定した場合には、トーンカーブ選択部42が、撮影画像の種類によらず、メモリ35に記録した通常用(オートシーン用)のトーンカーブを選択する(ステップ22)。
【００５１】
この通常用のトーンカーブの選択に際しては、シーン分析処理部41は、図１１に示すように、撮影画像のヒストグラムにおいて、低輝度側の１点、例えば累積ヒストグラム５０％の点と、高輝度側の１点、例えば累積ヒストグラム９９％の点とのそれぞれで、メモリ35などに予め記録した基準となる基準累積ヒストグラムとの差である距離値D1，D2とを算出し、これら距離値D1，D2の組み合わせに応じて、具体的には、距離値D1，D2のそれぞれに対応して予めメモリ35などに記録されたテーブルと距離値D1，D2とを比較することにより、トーンカーブ選択部42がトーンカーブを選択する。すなわち、ステップ22では、低輝度側の１点の持ち上げ度合いと、高輝度側の１点の抑制度合いとを操作するトーンカーブを設定する。
【００５２】
そして、パラメータ設定部43が、選択されたトーンカーブに応じて輝度補正部57(図３)にパラメータを設定し(ステップ23)、さらに、ステップ11と同様のトーンカーブの補正を行う(ステップ24)。
【００５３】
上記各ステップにより設定されたトーンカーブは、輝度補正部57によりＹ(輝度)データに対して適用され、かつ、このＹ(輝度)データの補正によって、色差補正部58によりＣr(赤色差)及びＣb(青色差)が補正される。
【００５４】
上述したように、上記一実施の形態によれば、撮影画像の輝度分布(ヒストグラム)及びこの撮影画像を撮影したカメラ10の情報から撮影画像の撮影状況をシーン分析処理部41により検出し、この検出した撮影画像の撮影状況に応じてこの撮影画像の輝度の入出力の対応関係の補正用のトーンカーブをトーンカーブ選択部42により設定することで、撮影画像に対応して撮影状況をも考慮した効果的な階調補正が可能になる。
【００５５】
また、撮影画像の輝度分布(ヒストグラム)を用いることにより、撮影画像の撮影状況の分析と、適用するトーンカーブの設定との両方を効率的に行うことができる。
【００５６】
具体的に、シーン分析処理部41が、撮影画像の輝度分布及びこの撮影画像を撮影したカメラ10の露出情報、例えば露出補正値から撮影画像の撮影状況を検出することで、撮影時の露光状況に応じて撮影画像をより効果的に階調補正できる。すなわち、例えば撮影画像の白飛びを抑制するために、露出補正をマイナス方向で撮影した場合には、主被写体を含めて撮影画像全体が暗く現像されてしまうものの、上記のように階調補正を行うことにより、このような場合でも露出補正分も加味して最適な階調特性を実現するためのトーンカーブを選択できる。
【００５７】
また、シーン分析処理部41により検出した撮影画像の撮影状況が、例えばフレアシーン、ナイトフラッシュシーン、スカイブルーシーン、テキストシーン、２こぶシーン、あるいは小レンジシーンなどの、予め設定された複数の所定の撮影状況のいずれかであると判定された場合に、トーンカーブ選択部42が予め設定された所定の撮影状況のそれぞれに対応して予め複数設定された所定のトーンカーブからカメラ10の情報に応じていずれかを選択することにより撮影画像の補正用のトーンカーブを設定することで、撮影状況及びカメラ10の情報に対応して、撮影画像の補正用のトーンカーブを微調整できるとともに、微調整用のパラメータを算出する場合と比較して、処理を高速化できる。
【００５８】
また、シーン分析処理部41により検出した撮影画像の撮影状況が、例えばフレアシーン、ナイトフラッシュシーン、スカイブルーシーン、テキストシーン、２こぶシーン、あるいは小レンジシーンなどの、予め設定された複数の所定の撮影状況のいずれでもないと判定された場合に、トーンカーブ選択部42が、撮影画像の輝度の累積ヒストグラムの互いに異なる少なくとも２点での輝度値に基づいて撮影画像の補正用のトーンカーブを設定することで、撮影画像の撮影状況が予め設定された所定の撮影状況でないと判定された場合でも、効率的な補正用のトーンカーブの設定が可能になる。具体的に、低輝度側の１点の持ち上げ度合いと、高輝度側の１点の抑制度合いとの少なくとも２点を操作することにより、効率的なトーンカーブの作成が可能になる。
【００５９】
また、撮影画像中の所定の輝度値以下の画素の割合、すなわち上記黒浮き値BOに応じて、パラメータ設定部43が、トーンカーブ選択部42により設定された補正用のトーンカーブを高輝度入力側へとシフトさせることで、撮影画像のコントラストを改善していわゆる黒浮きを抑制できる。
【００６０】
さらに、トーンカーブ選択部42により設定された補正用のトーンカーブを、パラメータ設定部43が撮影画像中の所定の輝度値以下の画素の割合、すなわち上記黒浮き値BOに応じたゲイン値で補正することで、補正用のトーンカーブを高輝度入力側へとシフトさせても撮影画像全体が暗くなることを防止できる。
【００６１】
しかも、フレアシーンの判定の際に算出する黒浮き値BOを用いることにより、トーンカーブのシフト量、及び、ゲイン値を効率よく算出できる。
【００６２】
なお、上記一実施の形態の画像補正装置は、撮影装置に組み込んでもよいし、撮影装置で撮影した画像の画像処理装置などに組み込んでもよい。
【００６３】
また、上記処理フローをプログラム化してコンピュータなどに自動で行わせてもよい。
【産業上の利用可能性】
【００６４】
本発明は、例えばデジタルスチルカメラあるいはデジタルビデオカメラなどの撮影装置、及び、画像処理装置などに好適に用いることができる。
【符号の説明】
【００６５】
34    画像補正装置の機能を有する制御手段
41    検出手段としてのシーン分析処理部
42    設定手段としてのトーンカーブ選択部
43    調整手段としてのパラメータ設定部
【図１】
2010263267.tif 000003
【図２】
2010263267.tif 000004
【図３】
2010263267.tif 000005
【図４】
2010263267.tif 000006
【図５】
2010263267.tif 000007
【図６】
2010263267.tif 000008
【図７】
2010263267.tif 000009
【図８】
2010263267.tif 000010
【図９】
2010263267.tif 000011
【図１０】
2010263267.tif 000012
【図１１】
2010263267.tif 000013