(57)【要約】【課題】  画像信号の信号レベルを補正する際に，入力画像から補正の要否と補正効果の度合いを評価し補正強度を制御することで，シーンに応じて高画質と視認性向上を両立した画像信号を生成すること。【解決手段】  画像信号入力部１０１と，画像信号中の所定の領域内の階調の少なさを評価する階調低下評価部１０３と，画像信号中の所定の領域内の階調の潰れ度合いを評価する階調潰れ評価部１０４と，画像信号に信号レベル補正処理を行いその結果を出力する画像信号補正部１０２と，階調低下評価部１０３の出力する階調低下評価値と階調潰れ評価部１０４の出力する階調潰れ評価値の両方を用いて画像信号補正部１０２の補正強度を制御する画像信号補正制御部１０５とを有する画像信号処理装置１であって，画像信号補正制御部１０５は，階調低下評価値が大きい場合に補正強度を大きく，階調潰れ評価値が大きい場合に補正強度を小さくするように補正強度を制御する。【選択図】図１
2015156600.tif 000002
【特許請求の範囲】
【請求項１】
画像信号が入力される画像信号入力部と，
前記画像信号入力部からの前記画像信号に含まれている被写体について階調低下の度合いを評価する評価値である階調低下評価値を算出する階調低下評価部と，
前記画像信号に含まれている被写体について階調の潰れ度合いを評価する評価値である階調潰れ評価値を算出する階調潰れ評価部と，
入力された前記画像信号について信号レベル補正処理を行いレベル補正した画像信号を出力する画像信号補正部と，
前記階調低下評価部が出力する前記階調低下評価値と，前記階調潰れ評価部が出力する前記階調潰れ評価値の両方を用いて前記画像信号補正部で実行される画像信号補正処理における補正強度を制御する画像信号補正制御部と，
を備え，
該画像信号補正制御部は，前記階調低下評価値が小さいと判定した場合に前記補正強度を小さく，前記階調潰れ評価値が大きいと判定した場合に前記補正強度を小さくするように制御する，
画像信号処理装置。
【請求項２】
請求項１に記載の画像信号処理装置において，
前記階調低下評価部は前記画像信号中の所定の輝度範囲内に含まれる画素数が大きいと判定した場合に前記階調低下評価値を大きくする，
画像信号処理装置。
【請求項３】
請求項２に記載の画像信号処理装置において，
前記階調潰れ評価部は前記画像信号中の前記所定の輝度範囲内における輝度の偏りが大きいと判定した場合に前記階調潰れ評価値を大きくする，
画像信号処理装置。
【請求項４】
請求項１に記載の画像信号処理装置において，
前記画像信号補正部は前記画像信号から抽出した明るさ情報を元に注目画素を含む被写体の明るさを少なくとも２段階以上で推定して，各段階に応じて異なる入出力特性で注目画素の信号レベル補正処理を行い，
前記階調低下評価部および前記階調潰れ評価部は各段階の明るさに相当する輝度範囲における被写体の階調低下の度合いおよび階調の潰れ度合いをそれぞれ評価し，
前記画像信号補正制御部は被写体の明るさ毎の前記信号レベル補正処理の補正強度を対応する輝度範囲の前記階調低下評価値と前記階調潰れ評価値とを用いて制御する，
画像信号処理装置。
【請求項５】
請求項１に記載の画像信号処理装置において，
前記階調低下評価部は，前記画像信号中の被写体輝度の最大値と最小値との差が小さいと判定した場合に前記階調低下評価値を大きくする，
画像信号処理装置。
【請求項６】
請求項５に記載の画像信号処理装置において，
前記階調低下評価部は，前記画像信号中の前記被写体輝度の最大値と最小値との間の輝度の偏りが大きいと判定した場合に前記階調潰れ評価値を大きくする，
画像信号処理装置。
【請求項７】
請求項１に記載の画像信号処理装置において，
前記画像信号補正部は，前記画像信号に含まれる画像領域毎に異なる入出力特性で信号レベル補正処理を行い，
前記階調低下評価部および前記階調潰れ評価部は，前記信号レベル補正処理と略同じ領域に対してそれぞれ被写体の階調低下の度合いおよび階調の潰れ度合いを評価し，
前記画像信号補正制御部は，前記画像領域毎の前記信号レベル補正処理における補正強度を，対応する前記画像領域について求められた前記階調低下評価値と前記階調潰れ評価値とを用いて制御する， 
画像信号処理装置。
【請求項８】
撮像を行い画像信号を生成して出力する撮像部と， 
前記画像信号に含まれている被写体について階調低下の度合いを評価する評価値である階調低下評価値を算出する階調低下評価部と，
前記画像信号に含まれている被写体について階調の潰れ度合いを評価する評価値である階調潰れ評価値を算出する階調潰れ評価部と，
入力された前記画像信号について信号レベル補正処理を行い，レベル補正した画像信号を出力する画像信号補正部と，
前記階調低下評価部が出力する前記階調低下評価値と，前記階調潰れ評価部が出力する前記階調潰れ評価値の両方を用いて前記画像信号補正部で実行される画像信号補正処理における補正強度を制御する画像信号補正制御部と，
前記画像信号より決定した露光量と前記階調潰れ評価値とを元に，前記撮像部の露光を制御する露光制御部と，
を備え，
前記画像信号補正制御部は，前記階調低下評価値が小さいと判定した場合に前記補正強度を小さく，前記階調潰れ評価値が大きいと判定した場合に前記補正強度を小さくするように制御する，
撮像装置。
【請求項９】
請求項８に記載の撮像装置に置いて，
前記露光制御部は，前記画像信号に含まれる暗部の階調潰れ評価値が所定の閾値より大きいと判定した場合には露光量を下げる露光制御を抑止する，
撮像装置。
【請求項１０】
請求項８に記載の撮像装置に置いて，
前記露光制御部は，前記画像信号に含まれる明部の階調潰れ評価値が所定の閾値より大きいと判定した場合には露光量を上げる露光制御を抑止する，
撮像装置。
【請求項１１】
画像信号を受信し，
受信した前記画像信号に含まれている被写体について階調低下の度合いを評価する評価値である階調低下評価値を算出し，
前記画像信号に含まれている被写体について階調の潰れ度合いを評価する評価値である階調潰れ評価値を算出し，
前記画像信号について実行される画像信号補正処理における補正強度について，前記階調低下評価値が小さいと判定した場合に前記補正強度を小さく，前記階調潰れ評価値が大きいと判定した場合に前記補正強度を小さくするように制御し，
前記制御された補正強度を用いて前記画像信号の補正処理を実行する，
画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，画像信号処理装置，画像信号処理方法，および撮像装置に関する。
【背景技術】
【０００２】
本発明の背景技術として，例えば特開２０１０−１４７９６９号公報（特許文献１）がある。該公報には，「入力画像に適切な画像補正処理を施して所望の出力画像を生成することが可能な画像補正処理回路を提供する」ことを目的とし，「入力画像に所定の画像補正処理を施して出力画像を生成する画像補正部１１と；前記入力画像の１フィールド毎に輝度ヒストグラムを取得し，その平均輝度値，標準偏差値，及び，中間値のいずれか２値ないしは３値全て（図１の例では，平均輝度値ＡＣＡＶＧと標準偏差値ＡＣＶＲＣ）を算出する演算部１２と；演算部１２で算出された前記輝度ヒストグラムの平均輝度値，標準偏差値，及び，中間値のいずれか２値ないしは３値全てに基づいて，前記入力画像に対する画像補正処理の要否や補正量を判定し，画像補正部１１の制御を行う補正制御部１３と；を有する」という技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１４７９６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前記特許文献１では，霧による被写体の階調の低下に従い補正強度を大きくしているため，霧が非常に濃く被写体の階調がほぼ損なわれたシーンでも補正が適用され，補正による視認性強調の効果は殆ど得られないにも関わらず，ノイズ成分が強調される弊害や，階調の少ない被写体を伸張することで輝度の段差が目立つようになる弊害が発生するという問題がある。画像補正処理では，画像の暗部の黒潰れや明部の白飛びに対して大きな補正強度を適用した場合にも同様の問題が生じる。
【課題を解決するための手段】
【０００５】
上記したような目的を解決するための本発明の一つの態様は，画像信号が入力される画像信号入力部と，前記画像信号入力部からの前記画像信号に含まれている被写体について階調低下の度合いを評価する評価値である階調低下評価値を算出する階調低下評価部と，前記画像信号に含まれている被写体について階調の潰れ度合いを評価する評価値である階調潰れ評価値を算出する階調潰れ評価部と，入力された前記画像信号について信号レベル補正処理を行いレベル補正した画像信号を出力する画像信号補正部と，前記階調低下評価部が出力する前記階調低下評価値と，前記階調潰れ評価部が出力する前記階調潰れ評価値の両方を用いて前記画像信号補正部で実行される画像信号補正処理における補正強度を制御する画像信号補正制御部とを備え，該画像信号補正制御部は，前記階調低下評価値が小さいと判定した場合に前記補正強度を小さく，前記階調潰れ評価値が大きいと判定した場合に前記補正強度を小さくするように制御する画像信号処理装置である。
【発明の効果】
【０００６】
本発明によれば，画像補正の要否および補正効果の度合いを評価して画像補正の補正強度を制御し，補正が不要である良好な撮影環境下だけでなく，補正効果が得られないほど劣悪な撮影環境下でノイズ強調のような画質低下が発生することを防止することができる。
【図面の簡単な説明】
【０００７】
【図１】図１は，本発明の第１実施例に係る画像信号処理装置の構成例を示す模式図である。
【図２】図２は，本発明の第１実施例に係る信号レベル補正処理の一例を示す図である。
【図３Ａ】図３Ａは，本発明の第１実施例に係る階調低下評価部１０３の出力する階調低下評価値および階調潰れ評価部１０４の出力する階調潰れ評価値の一例を示す図である。
【図３Ｂ】図３Ｂは，本発明の第１実施例に係る階調低下評価値に基づく信号レベル補正強度パラメータ制御処理の一例を示す図である。
【図３Ｃ】図３Ｃは，本発明の第１実施例に係る階調潰れ評価値に基づく信号レベル補正強度パラメータ制御処理の一例を示す図である。
【図３Ｄ】図３Ｄは，本発明の第１実施例に係る最終の信号レベル補正強度パラメータ制御特性の一例を示す図である。
【図３Ｅ】図３Ｅは，本発明の第１実施例に係る最終の信号レベル補正強度パラメータ制御の結果の一例を示す第１の図である。
【図３Ｆ】図３Ｆは，本発明の第１実施例に係る最終の信号レベル補正強度パラメータ制御の結果の一例を示す第２の図である。
【図３Ｇ】図３Ｇは，本発明の第１実施例に係る最終の信号レベル補正強度パラメータ制御の結果の一例を示す第３の図である。
【図４】本発明の第２実施例に係る信号レベル補正処理の一例を示す図である。
【図５Ａ】図５Ａは，本発明の第２実施例に係る階調低下評価部１０３の出力する階調低下評価値および階調潰れ評価部１０４の出力する階調潰れ評価値の一例を示す第１の図である。
【図５Ｂ】図５Ｂは，本発明の第２実施例に係る階調低下評価値に基づく信号レベル補正強度パラメータ制御処理の一例を示す図である。
【図５Ｃ】本発明の第２実施例に係る階調潰れ評価値に基づく信号レベル補正強度パラメータ制御処理の一例を示す図である。
【図５Ｄ】図５Ｄは，本発明の第２実施例に係る最終の信号レベル補正強度パラメータ制御特性の一例を示す図である。
【図５Ｅ】図５Ｅは，本発明の第２実施例に係る霧シーンにおける信号レベル補正強度パラメータ制御の一例を示す第１の図である。
【図５Ｆ】図５Ｆは，本発明の第２実施例に係る霧シーンにおける信号レベル補正強度パラメータ制御の結果の一例を示す図である。
【図６Ａ】図６Ａは，本発明の第２実施例に係る階調低下評価部１０３の出力する階調低下評価値および階調潰れ評価部１０４の出力する階調潰れ評価値の一例を示す第２の図である。
【図６Ｂ】図６Ｂは，本発明の第２実施例に係る霧シーンにおける信号レベル補正強度パラメータ制御の一例を示す第２の図である。
【図７】図７は，霧シーンにおける信号レベル補正強度パラメータ制御の一例を示す第２の図である。
【図８】図８は，本発明の第３実施例に係る撮像装置の露光制御に関する処理シーケンスの一例を示す図である。
【発明を実施するための形態】
【０００８】
以下，図面を用いて本発明の実施例を説明する。
［実施例１］
図１は，本発明の第１実施例に係る画像信号処理装置１の構成例を示す模式図である。図１において，画像信号処理装置１は，画像信号入力部１０１，画像信号補正部１０２，階調低下評価部１０３，階調潰れ評価部１０４，および画像信号補正制御部１０５の各処理部を備えている。また，画像信号処理装置１は，前記処理部のためのハードウェア基盤として，例えばＣＰＵ（Central Processing Unit）１１０，メモリ１２０，入出力インタフェース（Ｉ／Ｏインタフェース）１３０を有するものとすることができ，例えばメモリ１２０に格納されている各処理部を実現するためのプログラムをＣＰＵ１１０によって実行し，それによりＩ／Ｏインタフェース１３０から入力される画像信号の補正処理を行うことができる。
【０００９】
図１に示した画像信号処理装置１において，画像信号入力部１０１には，映像ケーブルと接続したキャプチャボード，あるいはＬＡＮ（Local Area Network），ＵＳＢ（Universal Serial Bus）などを介して接続された撮像機器や映像機器，映像記録媒体から画像信号が入力される。あるいは，画像信号入力部１０１がレンズ，撮像素子およびＡ／Ｄ変換部を備え，撮像処理を行うことで画像信号を生成するといった形態を取っても良い。
【００１０】
画像信号補正部１０２は，所定の入出力特性と補正強度パラメータとに基づき，画像信号入力部１０１より入力した画像信号の画素毎の信号値である信号レベルを補正して出力信号を生成する。信号レベルの補正処理は，逆光時の露出アンダーによる信号潰れ補正，霧・かすみ補正，広ダイナミックレンジ化処理等の階調補正処理を含み，所定の入出力特性として，露出アンダーの場合には暗部，霧・かすみ補正の場合には中間輝度部，広ダイナミックレンジシーンでは暗部と明部，といったような用途に応じて所望の明るさの信号を伸張するような特性をルックアップテーブルや関数式などで用意し，その入出力特性に基づいて信号レベルを補正することで階調の拡大を可能としている。また，後述の画像信号補正制御部１０５より取得した補正強度パラメータを用いて，前記入出力特性を補正することで補正の有無や強弱を制御することが可能である。画像の領域や被写体の明るさごとに異なる入出力特性で補正できるように，ルックアップテーブルや関数式および補正強度パラメータをそれぞれ複数使用できる構成としても良い。例えば，入力する画像信号を前処理で低周波成分と高周波成分とに分離し，低周波成分を明るさ情報と見做して注目画素を含む被写体の明るさを判定し，暗部にいる被写体と明部にいる被写体に対してそれぞれ異なる信号レベル補正処理を行うことで，各被写体に対して最適な階調補正を行うことが可能となる。また，画像信号中の領域毎に異なる入出力特性で信号レベル補正処理を行うことで，画像内の被写体ごとに最適な補正が行えるようにしても良い。
【００１１】
階調低下評価部１０３は，画像信号入力部１０１より入力した画像信号から得られるヒストグラムデータ等の特徴量を元に，露出アンダーや霧などの要因により被写体の階調の低下が発生しているか否かを評価して階調低下評価値として演算し，その評価値を画像信号補正制御部１０５に出力する。
【００１２】
階調潰れ評価部１０４は，画像信号入力部１０１より入力した画像信号から得られるヒストグラムデータ等の特徴量を元に，露出アンダーや霧などの影響が非常に大きく被写体の階調が完全に潰れているか否かを評価して階調潰れ評価値として演算し，その評価値を画像信号補正制御部１０５に出力する。階調低下評価値および階調潰れ評価値の算出方法の一例については，図３を用いて詳述する。
【００１３】
画像信号補正制御部１０５は，階調低下評価部１０３より階調低下評価値を，階調潰れ評価部１０４より階調潰れ評価値をそれぞれ取得し，階調低下評価値の大きさから信号レベル補正処理の要否を，階調潰れ評価値の大きさから信号レベル補正処理の効果の有無をそれぞれ判断し，階調低下評価値が大きく，かつ階調潰れ評価値が小さい場合に補正強度が大きくなるように補正強度パラメータを制御して画像信号補正部１０２に出力する。この補正強度パラメータを用いて補正強度パラメータが信号レベル補正処理を行うことで，補正が必要でかつ補正効果が十分得られる場合にのみ補正が適用される。これにより，高コントラストで補正が不要である良好な撮影シーンでは画像補正が抑止され，また逆に補正しても効果が得られない劣悪な撮影シーンで，過補正によるノイズ強調等の弊害の発生を抑制することができる。
【００１４】
なお，図１で示した画像信号処理装置１は，本発明に直接関係する処理部に注目して記載しているが，実際に画像処理を行う上で重要なその他の高画質化処理や信号フォーマットの変換処理，圧縮伸張処理などを各処理の前後ないし途中で実施しても構わない。
【００１５】
また，図１で示した画像信号処理装置１を構成する各処理は，例えばパーソナルコンピュータ（パソコン）であれば例示したようなＣＰＵ上のアプリケーションにより実現され，組み込み機器であればマイコンやＤＳＰ，専用のＬＳＩなどにて実施することができる。また，ヒストグラムデータの取得や信号レベル補正処理等の信号処理をＤＳＰや専用のＬＳＩ上で実施し，階調低下評価や階調潰れ評価，補正強度パラメータ制御等の制御処理をマイコンで実施することで，コストや性能の最適化を図っても良い。
【００１６】
図２は，本発明の第１実施例に係る信号レベル補正処理の一例を示す図である。本実施例において，信号レベル補正処理は画像信号補正部１０２で実施される。図２は，夜間に対向車のヘッドライトにより逆光状態となり露出アンダーによる被写体の階調低下が発生した場合の補正処理の例を示している。
【００１７】
図２に示す信号レベル補正処理の一例において，画像信号補正部１０２は予め暗部と明部とでそれぞれ異なる補正特性となる入出力特性を持ち，注目画素が暗部に存在するか明部に存在するかに応じて対応する入出力特性を適用する。注目画素が暗部に存在するか明部に存在するかの判定は，例えば注目画素を含む局所領域の輝度の平均値から輝度信号の低周波成分を算出し，算出した低周波成分を閾値処理することで行える。注目画素が暗部に存在する場合は信号を持ち上げることで黒潰れしている被写体の視認性を改善できる。また，注目画素が明部に存在する場合は信号を沈めることで白飛びしている被写体の視認性を改善できる。また，暗部の入出力特性と明部の入出力特性とを補正強度パラメータに応じて補正し，補正強度パラメータが小さい場合には入力と出力が一致するような入出力特性に近づけることで補正を弱めることができる。これにより，被写体の明るさに応じて適応的に階調を補正して黒潰れ領域や白飛び領域における視認性を改善でき，また，補正強度パラメータを入力として与えることで必要に応じて補正の有無や強弱を制御することが可能となる。
【００１８】
図３Ａ〜図３Ｇは，本発明の第１実施例に係る信号レベル補正強度パラメータ制御処理の一例を示す図である。本実施例において，信号レベル補正強度パラメータ制御処理は画像信号補正制御部１０５で実施される。図３Ａは階調低下評価部１０３の出力する階調低下評価値および階調潰れ評価部１０４の出力する階調潰れ評価値の一例を示す図であり，図３Ｂは階調低下評価値に基づく信号レベル補正強度パラメータ制御処理の一例を示す図であり，図３Ｃは階調潰れ評価値に基づく信号レベル補正強度パラメータ制御処理の一例を示す図であり，図３Ｄは最終の信号レベル補正強度パラメータ制御特性の一例を示す図であり，図３Ｅは最終の信号レベル補正強度パラメータ制御の結果の一例を示す第１の図であり，図３Ｆは最終の信号レベル補正強度パラメータ制御の結果の一例を示す第２の図であり，図３Ｇは最終の信号レベル補正強度パラメータ制御の結果の一例を示す第３の図である。また，図３Ｄにおいて符号３０１＿１はシーンＡにおける信号レベル補正処理前の画像，符号３０１＿２はシーンＡにおける信号レベル補正処理後の画像，符号３０２＿１はシーンＢにおける信号レベル補正処理前の画像，符号３０２＿２はシーンＢにおける信号レベル補正処理後の画像，符号３０３＿１はシーンＣにおける信号レベル補正処理前の画像，符号３０３＿２はシーンＣにおける信号レベル補正処理後の画像である。
【００１９】
図３Ａに示すように，階調低下評価部１０３および階調潰れ評価部１０４は，画像信号入力部１０１から入力した画像信号のヒストグラムデータから階調低下評価値および階調潰れ評価値を算出する。階調低下評価部１０３は，所定の閾値ｔｈ＿ｄ１より輝度が小さい画素数Ｎ１を暗部の階調低下評価値として算出する。ｔｈ＿ｄ１は，例えば，信号レベル補正処理において暗部の入出力特性で補正効果が大きく得られる輝度範囲の上限に設定しておく。これにより，Ｎ１は黒潰れして階調が低下していると推定される被写体が多く存在するほど大きな値が得られる。同様に，明部の入出力特性で補正効果が大きく得られる輝度範囲の下限として設定した所定の閾値ｔｈ＿ｌ１よりも輝度が大きい画素数Ｍ１を明部の階調低下評価値として算出する。これにより，Ｍ１は白飛びして階調が低下していると推定される被写体が多く存在するほど大きな値が得られる。また，階調潰れ評価部１０４は閾値ｔｈ＿ｄ１よりも低い輝度で設定した所定の閾値ｔｈ＿ｄ２より輝度が小さい画素数Ｎ２をＮ１で除算した比率Ｎ２／Ｎ１を暗部の階調潰れ評価値として算出する。ｔｈ＿ｄ２は，例えば，入力する画像信号の黒付近のノイズレベルを基準に設定しておく。これにより，黒潰れが非常に激しくなり被写体の階調が潰れると，映像にノイズしか存在しなくなるため，被写体の階調が完全に潰れるほどＮ２／Ｎ１は１に近づき大きくなる。同様に白付近のノイズレベルを基準に設定した所定の閾値ｔｈ＿ｌ２より輝度が大きい画素数Ｍ２をＭ１で除算した比率Ｍ２／Ｍ１を明部の階調潰れ評価値として算出する。これにより，白飛びが非常に激しくなり被写体の階調が完全に潰れるほどＭ２／Ｍ１は１に近づき大きくなる。なお，本実施例では暗部の階調の潰れ度合いを信号分布の暗部の偏りによって評価するために前記Ｎ２／Ｎ１を用いているが，必ずしもこの通りでなくても良い。例えば，ｔｈ＿ｄ１より輝度が小さい画素の輝度値の分散や標準偏差，あるいは，隣接画素との差分値すなわちエッジ量の総和などを特徴量として算出し，算出した特徴量が低いほど階調が潰れていると判断して階調潰れ評価値が大きくなるようにしても良く，計算量と評価結果の有効度を考慮して適切な特徴量を選択すれば良い。
【００２０】
図３Ｂに示すように，画像信号補正制御部１０５は暗部の階調低下評価値Ｎ１が大きくなるほど暗部の補正強度パラメータが大きくなるように第一の補正強度係数Ｓ＿ｄ１を決定する。これにより，黒潰れがなく被写体の階調が十分存在するシーンにおいては補正強度パラメータが小さくなり，不要な補正を行うことで映像が却って不自然になることを抑制できる。また，図３Ｃに示すように，画像信号補正制御部１０５は暗部の階調潰れ評価値Ｎ２／Ｎ１が大きくなるほど暗部の補正強度パラメータが小さくなるように第二の補正強度係数Ｓ＿ｄ２を決定する。これにより，黒潰れが激しく被写体の階調が完全に損なわれていると思われるシーンにおいては補正強度パラメータが小さくなり，補正効果が得られずノイズのみが強調されるといった弊害の発生を抑制できる。
【００２１】
図３Ｄに示すように，最終の信号レベル補正強度パラメータ制御特性は，第一の補正強度係数Ｓ＿ｄ１と第二の補正強度係数Ｓ＿ｄ２との積算で得られる。これにより，黒潰れがなく補正が不要なシーンと黒潰れが激しく効果が得られないシーンの両方で補正を弱め，補正による弊害の発生を抑制することが可能である。例えば，図３Ｅに示すシーンＡは，昼間など黒潰れがなく補正が不要なシーンを示している。そのため，３０１＿１に示すように，補正前の段階で暗部の階調は十分に得られている。この場合，階調低下評価値Ｎ１が小さくなるため第一の補正強度係数Ｓ＿ｄ１も小さくなり最終の補正強度パラメータは小さくなる。そのため，３０１＿２に示すように補正強度は弱くなり，黒潰れ被写体が無いにもかかわらず補正を行うことで映像が白浮きする弊害や，ノイズが強調される弊害が発生することを抑制することができる。
【００２２】
図３Ｆに示すシーンＢは，対向車のヘッドライトが逆光となり露出アンダーで黒潰れが発生ししているシーンを示している。そのため，３０２＿１に示すように補正前の段階で暗部の階調が少なくなり，視認性が低下している。この場合，階調低下評価値Ｎ１が大きく，かつ階調潰れ評価値Ｎ２／Ｎ１は小さいため，第一の補正強度係数Ｓ＿ｄ１，第二の補正強度係数Ｓ＿ｄ２はともに大きくなり最終の補正強度パラメータも大きくなる。そのため，３０２＿２に示すように暗部の信号レベル補正は強くなり黒潰れ被写体を適正に補正し，視認性改善効果が得られる。
【００２３】
図３Ｇに示すシーンＣは，対向車のヘッドライトが非常に強く，シーンＢよりも露出アンダーが進み，黒潰れが非常に激しくなったシーンを示している。そのため，３０３＿１に示すように補正前の段階で暗部の階調は完全に潰れてノイズ成分のみが信号上に存在している。この場合，階調潰れ評価値Ｎ２／Ｎ１が大きくなるため第二の補正強度係数Ｓ＿ｄ２が小さくなり最終の補正強度パラメータは小さくなる。そのため，３０３＿２に示すように補正は弱くなり，被写体の視認性が改善せずにノイズのみが強調される弊害を抑制できる。
【００２４】
なお，上記図３Ｂから図３Ｄを用いた説明では暗部の信号レベル補正処理の補正強度パラメータ制御に着目して説明したが，明部の信号レベル補正処理の補正強度パラメータ制御についても明部の階調低下評価値Ｍ１および階調潰れ評価値Ｍ２／Ｍ１を用いて同様の処理を行うことで，黒潰れの状態とは独立して白飛びの有無や白飛びの激しさに応じて補正強度を可変するように制御可能である。例えば，図３Ｆに示すシーンＢと図３Ｇに示すシーンＣでは暗部の黒潰れの度合いが異なるのに対し，明部の白飛びの度合いは同程度であるため，暗部の信号レベル補正の有無とは別に，同様の補正強度で明部の信号レベル補正処理を実施している。このように，被写体の明るさごとに適した評価値を用いて補正強度の制御を行うことが可能である。
【００２５】
なお，上記した信号レベル補正処理の補正強度パラメータ制御処理を行う際に，階調低下評価値および階調潰れ評価値は共通のヒストグラムデータを用いて算出することが可能であり低コストに実現することが可能である。また，入力した画像信号の情報のみを用いるため，補正結果が各評価値に影響することがなく，安定した制御を行うことができるという利点がある。
【００２６】
このように本実施例によれば，黒潰れや白飛びなどによる補正の要否と補正時の効果の有無に応じて補正強度を制御することで，補正効果が大きいシーンでは視認性改善効果を，それ以外のシーンでは画質を優先した制御を自動で選択し，シーンに応じた最適な効果を低コストに実現することが可能となる。本実施例の画像信号処理装置１は，ドライブレコーダ，車載モニタ等に接続される車載カメラ，特定設備内，街路等に設置される監視カメラ等を含む民生用・産業用の各種カメラにより撮像された画像信号を入力してその補正処理を行うことができる。この場合，本実施例の画像信号処理装置１を各種カメラに組み込んでもよいし，別個の画像処理デバイス製品として構成してもよい。また，本実施例の画像信号処理装置１の機能をコンピュータ上で実現するアプリケーションプログラムとして構成し，パソコン等のコンピュータに取り込まれた画像データの補正処理を実行させることもできる。
【００２７】
［実施例２］
次に，本発明の第２実施例について説明する。本実施例は，本発明を霧画像補正処理に適用した場合の例である。本実施例の構成は図１に示した本発明の第１実施例に係る画像信号処理装置１を示す第一の模式図と同様であり，画像信号補正部１０２における信号レベル補正処理や，画像信号補正制御部１０５における信号レベル補正処理の補正強度パラメータ制御処理の作用が異なる。
【００２８】
図４は，本発明の第２実施例に係る信号レベル補正処理の一例を示す図である。本実施例において，信号レベル補正処理は画像信号補正部１０２で実施される。図４は霧の発生により被写体の階調低下が発生した場合の補正処理の例である。
【００２９】
図４に示す信号レベル補正処理の一例において，画像信号補正部１０２は予め中間輝度部を伸張する補正特性となる入出力特性を持つように構成されている。周知の通り，霧の影響によって被写体の階調は一定の輝度に近づくように収束するが，霧の状態や露光状態に応じて信号がどのように収束するかは異なる。そこで，中間輝度部のいずれの輝度範囲を伸張するかは，例えば，注目画素を含む局所領域の輝度の最大値と最小値を検出することで行える。予め複数の入出力特性をルックアップテーブルまたは関数式で用意し，注目画素を含む局所領域の輝度の最大値と最小値に対して，輝度の最大値がより大きく，輝度の最小値がより小さくなるような入出力特性を領域毎に選択することで領域毎の霧の濃さに応じた階調の拡大処理が可能となる。また，各局所領域について算出した入出力特性を補正強度パラメータに応じて補正し，補正強度パラメータが小さい場合には入力と出力が一致するような入出力特性に近づけることで補正を弱めることができる。これにより，領域毎の霧の濃さに応じて適応的に階調を補正して霧がかったシーンにおける視認性を改善でき，また，補正強度パラメータを入力として与えることで必要に応じて補正の有無や強弱を制御することが可能となる。
【００３０】
図５Ａ〜図５Ｆは，本発明の第２実施例に係る信号レベル補正強度パラメータ制御処理の一例を示す第１の図である。本実施例において，信号レベル補正強度パラメータ制御処理は画像信号補正制御部１０５で実施される。図５Ａは階調低下評価部１０３の出力する階調低下評価値および階調潰れ評価部１０４の出力する階調潰れ評価値の一例を示す第１の図であり，図５Ｂは階調低下評価値に基づく信号レベル補正強度パラメータ制御処理の一例を示す図であり，図５Ｃは階調潰れ評価値に基づく信号レベル補正強度パラメータ制御処理の一例を示す図であり，図５Ｄは最終の信号レベル補正強度パラメータ制御特性の一例を示す図であり，図５Ｅは霧シーンにおける信号レベル補正強度パラメータ制御の一例を示す第１の図であり，図５Ｆは霧シーンにおける信号レベル補正強度パラメータ制御の結果の一例を示す図である。
【００３１】
図５Ａに示すように，階調低下評価部１０３および階調潰れ評価部１０４は，画像信号入力部１０１から入力した画像信号のヒストグラムデータから階調低下評価値および階調潰れ評価値を算出する。階調低下評価部１０３は，ヒストグラムデータより被写体の輝度信号の最大値ｄｅｔ＿ｆｌと最小値ｄｅｔ＿ｆｄとの差分より被写体の輝度範囲を検出し，該輝度範囲の信号レンジに対する割合，すなわちコントラストの縮小率の逆数を階調低下評価値Ｆ１として算出する。これにより，Ｆ１は霧の影響で階調が低下するほど大きな値が得られる。また本実施例においては，階調潰れ評価部１０４はＦ１と同じ特徴量を階調潰れ評価値Ｆ２として算出する。
【００３２】
図５Ｂに示すように，画像信号補正制御部１０５は，暗部の階調低下評価値Ｆ１が大きくなるほど暗部の補正強度パラメータが大きくなるように第一の補正強度係数Ｓ＿ｄ１を決定し，図５Ｃに示すように，画像信号補正制御部１０５は，暗部の階調潰れ評価値Ｆ２が大きくなるほど暗部の補正強度パラメータが小さくなるように第二の補正強度係数Ｓ＿ｄ２を決定する。このとき，Ｓ＿ｄ１が最大リミットに達するときの階調低下評価値Ｆ１＿ｐｎｔは，霧画像補正により階調を拡大した時の最大拡大率に相当する。そこで，例えばノイズ強調の許容できる範囲として，階調の最大の拡大率を１０倍とした場合にはＦ１＿ｐｎｔに１０を設定する。また，Ｓ＿ｄ２が小さくなり始めるときの階調潰れ評価値Ｆ２＿ｐｎｔは，階調が完全に失われたときにヒストグラム上にはノイズのみが分布することを考慮し，中間輝度部のノイズレベルを基準に決定する。このとき，Ｓ＿ｄ１が最大リミットに達するときの階調低下評価値Ｆ１＿ｐｎｔに対し，Ｓ＿ｄ２が小さくなり始めるときの階調潰れ評価値Ｆ２＿ｐｎｔはＦ２＿ｐｎｔ＞Ｆ１＿ｐｎｔになるように設定する。
【００３３】
図５Ｄに示すように，最終の信号レベル補正強度パラメータ制御特性は，第一の補正強度係数Ｓ＿ｄ１と第二の補正強度係数Ｓ＿ｄ２との積算で得られるようにしている。霧が薄く，階調低下評価値Ｆ１および階調潰れ評価値Ｆ２がＦ１＿ｐｎｔよりも十分に小さい，すなわちＦ１，Ｆ２とも小さい場合ではＳ＿ｄ１が小さいため最終の補正強度パラメータは小さくなる。一方，霧が濃くなり，Ｆ１およびＦ２が大きくなるにつれて最終の補正強度パラメータは徐々に大きくなり，Ｆ１およびＦ２がＦ１＿ｐｎｔとＦ２＿ｐｎｔの間に存在する，すなわちＦ１，Ｆ２とも中程度である場合はＳ＿ｄ１，Ｓ＿ｄ２とも最大となるため最終の補正強度パラメータも最大となる。さらに霧が濃くなると，Ｆ１およびＦ２は大きな値となり。Ｓ＿ｄ２が低下するため最終の補正強度パラメータも徐々に小さくなる。これにより，霧がなく補正が不要なシーンと霧が非常に濃く効果が得られないシーンの両方で補正を弱め補正による弊害の発生を抑制することが可能である。また，これらの制御は領域毎に行うことで，画面の領域毎に霧の影響が異なることを考慮した制御が可能となる。
【００３４】
例えば，図５Ｅは，被写体までの距離が異なり，カメラから被写体までの距離が近い画面下部では霧の影響が小さく，カメラから被写体までの距離が遠い画面上部では霧の影響が大きいシーンを例示している。画面下部は霧が薄く階調が十分に得られているため補正が不要な領域である。この場合，階調低下評価値Ｆ１および階調潰れ評価値Ｆ２がＦ１＿ｐｎｔよりも十分に小さい値であるため，Ｓ＿ｄ１も小さくなり最終の補正強度パラメータは小さくなる。画面中央部では霧がかかり階調が少なくなり視認性が低下している領域である。この場合，Ｆ１およびＦ２がＦ１＿ｐｎｔとＦ２＿ｐｎｔの間に存在する，すなわちＦ１，Ｆ２とも中程度であり，階調低下評価値Ｆ１はＦ１＿ｐｎｔよりも大きくなりＳ＿ｄ１が大きくなる一方で，階調潰れ評価値Ｆ２はＦ２＿ｐｎｔよりも小さいためＳ＿ｄ２も大きくなり，最終の補正強度パラメータも大きくなる。画面上部は霧が非常に濃く階調が完全に潰れてノイズ成分のみが信号上に存在している領域である。この場合，階調低下評価値Ｆ１および階調潰れ評価値Ｆ２がＦ２＿ｐｎｔよりも十分に大きい値であるため，Ｓ＿ｄ２が小さくなり最終の補正強度パラメータは小さくなる。これにより，図５Ｆに示すように，霧の影響の小さい画面下部では補正効果が弱くなり，中間輝度部の伸張を過度に行うことで明部の白飛びや暗部の黒潰れが起きるという弊害の発生を抑制することができる。霧がかった画面中央部では補正効果が強くなり，中間輝度部を伸張することで視認性改善効果が得られる。霧の非常に濃い画面上部では補正効果が弱くなり，被写体の視認性が改善せずにノイズのみが強調される弊害を抑制できる。このように，霧の有無による補正の要否と霧の濃さによる補正効果の度合いに応じて領域毎に最適な補正強度の制御が可能となる。
【００３５】
次に，第２実施例の変形例について説明する。図６Ａ，図６Ｂは，本変形例に係る信号レベル補正強度パラメータ制御処理の一例を示す図である。図６Ａは，階調低下評価部１０３の出力する階調低下評価値および階調潰れ評価部１０４の出力する階調潰れ評価値の一例を示す第２の図であり，図６Ｂは霧シーンにおける信号レベル補正強度パラメータ制御の一例を示す第２の図である。
【００３６】
図６Ａに示す例では，階調潰れ評価値としてＦ２の代わりに，被写体の輝度範囲であるｄｅｔ＿ｆｌとｄｅｔ＿ｆｄの間に存在する画素数Ｌ１と，ｄｅｔ＿ｆｌとｄｅｔ＿ｆｄの間に設けた所定の輝度範囲ｔｈ＿ｆｌとｔｈ＿ｆｄの間に存在する画素数Ｌ２の比率Ｌ２／Ｌ１を階調潰れ評価値Ｆ２’として算出している。ｄｅｔ＿ｆｌとｄｅｔ＿ｆｄとは，入力する画像信号の中間輝度部付近のノイズレベルを基準に設定しておく。例えば，ヒストグラムの重心，すなわち輝度の平均値に予め測定した映像のノイズレベルを加算したものをｄｅｔ＿ｆｌ，減算したものをｄｅｔ＿ｆｄとすればよい。これにより，霧が非常に濃くなり被写体の階調が潰れると，映像にノイズしか存在しなくなるため，被写体の階調が完全に潰れるほどＦ２’は１に近づき大きくなる。例えば，映像上のノイズが正規分布をとることを考慮し，Ｆ２’が０．７程度より大きい場合は被写体の階調が完全に潰れ，ほぼノイズ成分しか存在しないと考えられる。Ｆ２’を階調潰れ評価値として用いた場合は，図６Ｂに示すように，カメラから被写体までの距離が遠く霧の影響が大きい領域である画面上部において，領域の一部にカメラからの距離が近く霧の影響が小さい被写体が外乱として映り込んだ場合に置いて，被写体の輝度範囲であるｄｅｔ＿ｆｌやｄｅｔ＿ｆｄが外乱の影響で広く検出された場合でも階調の潰れ度合いを適切に推定し，補正強度を弱めることが可能であるという利点がある。なお，本例では階調の潰れ度合いを信号分布の暗部の偏りによって評価するために前記Ｆ２’／Ｆ１を用いているが，例えば，ｄｅｔ＿ｆｌとｄｅｔ＿ｆｄの間に存在する画素の輝度値の分散や標準偏差，あるいは，隣接画素との差分値すなわちエッジ量の総和などを特徴量として算出し，算出した特徴量が低いほど階調が潰れていると判断して階調潰れ評価値が大きくなるようにしても良く，計算量と評価結果の有効度を考慮して適切な特徴量を選択すれば良い。
【００３７】
このように本実施例によれば，霧の濃さによる補正の要否と補正時の効果の度合いに応じて補正強度を制御することで，補正効果が大きいシーンでは視認性改善効果を，それ以外のシーンでは画質を優先した制御を自動で選択し，シーンに応じた最適な効果を低コストに実現することが可能となる。本第２実施例の画像信号処理装置１についても，第１実施例の場合と同様に，種々の形態で利用することが可能である。
【００３８】
［実施例３］
次に，本発明の第３実施例について説明する。図７は，本発明の第３実施例に係る撮像装置１０の構成例を示す模式図である。図７の撮像装置１０は，撮像部７０１，画像信号補正部７０２，階調低下評価部７０３，階調潰れ評価部７０４，画像信号補正部７０５，および露光制御部７０６を備えている。図７に示す本発明の第３実施例に係る撮像装置１０を示す模式図は，図１に示した本発明の第１実施例に係る画像処理装置１の構成を撮像装置に適用したものであり，画像信号補正部７０２，階調低下評価部７０３，階調潰れ評価部７０４，および画像信号補正制御部７０５は第１実施例と同様の動作を行う。なお，図７では図１におけるハードウェア要素の例示は省略しているが，第１実施例の画像処理装置１の場合と同様に，撮像装置１０の各処理部は，適宜のハードウェア，ソフトウェアの組み合わせで実現することができる。
【００３９】
図７に示した撮像装置１０において，撮像部７０１は，ズームレンズ及びフォーカスレンズを含むレンズ群，アイリス（絞り），シャッタ，ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの撮像素子や，ＣｄＳ（Cadmium Sulfide）やＡＧＣ（Automatic Gain Control）や，ＡＤコンバータ等を適宜用いて構成され，撮像素子に受光した光学像を光電変換し，画像信号として出力する。その際に，露光量の評価値の検出処理やデジタルゲイン処理や各画素に対する局所的な明るさの算出処理やノイズ補正処理といった種々のカメラ画像処理を行い出力する画像信号を生成しても良い。
【００４０】
露光制御部７０６は，撮像部７０１の出力した画像信号における露光量の評価値を取得して，目標とする所定の露光量に実際の露光量が近づくように撮像部７０１のアイリスの絞りやシャッタタイミングやＡＧＣのアナログゲイン量やデジタルゲイン量などを制御することで撮影シーンにおける適正な露光合わせを行う。また，露光制御部７０６は，階調潰れ評価部７０４より階調潰れ評価値を取得し，露光制御の結果，階調潰れが大きくなったと判断した場合には実際の露光量が目標とする所定の露光量に達していない場合でも露光制御を停止するように制御される。これにより，例えば逆光下で逆光とそれ以外の明るさの差が非常に大きく，逆光に合わせて露光量を減らした場合に露出アンダーで黒潰れが発生することを抑制することが可能となる。
【００４１】
図８は，本発明の第３実施例に係る撮像装置１０の露光制御に関する処理シーケンスの一例を示す図である。図８に示す露光制御シーケンスは，図７で示した露光制御部７０６で実行される。
【００４２】
図８に示す露光制御に関する処理シーケンスは，撮像装置１０の電源投入等を契機として開始される（Ｓ８００）。Ｓ８０１では，露光量検出値ｄｅｔ＿ｅを所定の露光目標値ｇ＿ｅと比較する。このとき，露光量検出値ｄｅｔ＿ｅにノイズ等の影響でばらつきがあることを考慮し，露光目標値ｇ＿ｅにヒステリシス値α，βを設けて，ｄｅｔ＿ｅとｇ＿ｅ＋αおよびｇ＿ｅ−βとの大小関係を比較しても良い。その結果，露光量検出値ｄｅｔ＿ｅが露光目標値ｇ＿ｅより有意に大きいと判断した場合はＳ８０２のステップに，有意に小さいと判断した場合はＳ８０４のステップに，両者が略等しいと判断した場合はＳ８０６のステップに進む。
【００４３】
Ｓ８０２では，暗部の階調潰れ評価値Ｎ２／Ｎ１と所定の閾値ｔｈ＿Ｎとを比較して暗部の被写体の階調が潰れているかを判断し，Ｎ２／Ｎ１がｔｈ＿Ｎを下回る場合にはＳ８０３のステップに，上回る場合にはＳ８０６のステップに進む。Ｓ８０３では，現在の露光量が目標値より大きく適正露出より明るい状態で，かつ黒潰れが発生していない状態と判断し，露光量が小さくなるように露光制御を行う。Ｓ８０４では，明部の階調潰れ評価値Ｍ２／Ｍ１と所定の閾値ｔｈ＿Ｍを比較して明部の被写体の階調が潰れているかを判断し，Ｍ２／Ｍ１がｔｈ＿Ｍ以下である場合にはＳ８０５のステップに，上回る場合にはＳ８０６のステップに進む。
【００４４】
Ｓ８０５では，現在の露光量が目標値より小さく適正露出より暗い状態で，かつ白飛びが発生していない状態と判断し，露光量が大きくなるように露光制御を行う。Ｓ８０６では，すでに適正露出に達したか，あるいは，これ以上露光制御を行うと黒潰れまたは白飛びが激しくなる状態のいずれかであると判断し，露光制御を停止する。これにより，露光制御による黒潰れまたは白飛びの発生の抑制を優先して行うことが可能である。また，本制御の結果においてもなお黒潰れまたは白飛びが発生している場合に対しては，画像信号補正部７０２による信号レベル補正の補正強度を画像信号補正制御部７０５が制御することで，黒潰れや白飛びの度合いに応じた適正な補正を行うことが可能となる。
【００４５】
このように本実施例によれば，予め露光制御で黒潰れや白飛びの影響を軽減した上で，黒潰れや白飛びなどによる補正の要否と補正時の効果の度合いに応じて補正強度を制御することで，補正効果が大きいシーンでは視認性改善効果を，それ以外のシーンでは画質を優先した制御を自動で選択し，よりシーンに応じた最適な効果を低コストに実現することが可能となる。本実施例の撮像装置１０の構成は、例えば種々の施設内、街路等に設置される監視カメラ、車載カメラ等の様々な撮像機器に適用することができる。
【００４６】
なお，本発明は上記した実施例に限定されるものではなく，様々な変形例が含まれる。例えば，上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり，必ずしも説明した全ての構成を備えるものに限定されるものではない。また，ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり，また，ある実施例の構成に他の実施例の構成を加えることも可能である。
【符号の説明】
【００４７】
１  画像信号処理装置    １０  撮像装置    １０１  画像信号入力部
１０２，７０２  画像信号補正部    １０３，７０３  階調低下評価部
１０４，７０４  階調潰れ評価部    １０５，７０５  画像信号補正制御部
７０１  撮像部    ７０６  露光制御部
【図１】
2015156600.tif 000003
【図３Ｂ】
2015156600.tif 000004
【図３Ｃ】
2015156600.tif 000005
【図５Ｂ】
2015156600.tif 000006
【図５Ｃ】
2015156600.tif 000007
【図７】
2015156600.tif 000008
【図８】
2015156600.tif 000009
【図２】
2015156600.tif 000010
【図３Ａ】
2015156600.tif 000011
【図３Ｄ】
2015156600.tif 000012
【図３Ｅ】
2015156600.tif 000013
【図３Ｆ】
2015156600.tif 000014
【図３Ｇ】
2015156600.tif 000015
【図４】
2015156600.tif 000016
【図５Ａ】
2015156600.tif 000017
【図５Ｄ】
2015156600.tif 000018
【図５Ｅ】
2015156600.tif 000019
【図５Ｆ】
2015156600.tif 000020
【図６Ａ】
2015156600.tif 000021
【図６Ｂ】
2015156600.tif 000022