(57)【要約】【課題】局所領域毎の適切なコントラスト補正を行うことが可能な画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供すること。【解決手段】画像処理装置は、入力画像データの局所領域毎の霞成分を推定する霞成分推定部２００と、画像データの局所領域毎の統計情報から、画像データの輝度分布における高輝度部の輝度を少なくとも算出する統計情報算出部２０２と、霞成分推定部２００により推定された局所領域毎の霞成分に応じて、高輝度部の輝度の変動を抑制しつつ、高輝度部以外の輝度を低輝度側にシフトさせるコントラスト補正を行うための補正係数を算出する補正係数算出部２０３と、補正係数算出部２０３により算出された補正係数に基づいて入力画像データの局所領域にコントラスト補正を行うコントラスト補正部２０４とを備える。【選択図】図２
2018022232.tif 000002
【特許請求の範囲】
【請求項１】
画像データの画質の劣化度に応じて前記画像データを補正する画像処理装置において、
前記画像データの局所領域毎に前記劣化度を推定する劣化度推定部と、
前記画像データの前記局所領域毎の統計情報から、前記画像データの輝度分布における高輝度部の輝度を少なくとも算出する統計情報算出部と、
前記劣化度推定部により推定された前記局所領域毎の前記劣化度に応じて、前記高輝度部の輝度の変動を抑制しつつ、前記高輝度部以外の輝度を低輝度側にシフトさせるコントラスト補正を行うための補正係数を算出する補正係数算出部と、
前記補正係数算出部により算出された前記補正係数に基づいて前記画像データの前記局所領域毎にコントラスト補正を行うコントラスト補正部と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記統計情報算出部は、さらに、前記局所領域毎の統計情報から、前記画像データの輝度分布における中間輝度部を算出し、
前記補正係数算出部は、前記高輝度部の輝度と前記中間輝度部の輝度とに基づき前記補正係数を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正係数算出部は、前記中間輝度部の輝度を目標輝度にするように前記補正係数を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記補正係数算出部は、前記劣化度に応じて前記目標輝度を設定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記補正係数算出部は、前記劣化度が大きくなるのに応じて値が小さくなる前記目標輝度を設定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記目標輝度の値は、前記中間輝度部の輝度の値よりも小さいことを特徴とする請求項３乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記統計情報算出部は、前記局所領域毎の輝度ヒストグラムから前記高輝度部及び前記中間輝度部を少なくとも算出することを特徴とする請求項２乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記高輝度部は、前記輝度ヒストグラムの有効輝度範囲における最大輝度であることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記中間輝度部は、前記輝度ヒストグラムの有効輝度範囲における重心輝度であることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記中間輝度部は、前記輝度ヒストグラムの有効輝度範囲における最大頻度の輝度であることを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記統計情報算出部は、前記局所領域毎の加重平均から前記中間輝度部を算出することを特徴とする請求項２乃至６の何れか１項に記載の画像処理装置。
【請求項１２】
被写体を撮像し、前記被写体に係る映像信号を生成する撮像素子と、
前記映像信号に対して画像処理を施して画像データを生成する画像処理部と、
請求項１乃至１１の何れか１項に記載の画像処理装置と、
を具備することを特徴とする撮像装置。
【請求項１３】
画像データの画質の劣化度に応じて前記画像データを補正する画像処理方法において、
前記画像データの局所領域毎に前記劣化度を推定することと、
前記画像データの前記局所領域毎の統計情報から、前記画像データの輝度分布における高輝度部の輝度を少なくとも算出することと、
前記推定された前記局所領域毎の前記劣化度に応じて、前記高輝度部の輝度の変動を抑制しつつ、前記高輝度部以外の輝度を低輝度側にシフトさせるコントラスト補正を行うための補正係数を算出することと、
前記算出された前記補正係数に基づいて前記画像データの前記局所領域毎にコントラスト補正を行うことと、
を具備することを特徴とする画像処理方法。
【請求項１４】
画像データの画質の劣化度に応じて前記画像データを補正するための画像処理プログラムにおいて、
前記画像データの局所領域毎に前記劣化度を推定することと、
前記画像データの前記局所領域毎の統計情報から、前記画像データの輝度分布における高輝度部の輝度を少なくとも算出することと、
前記推定された前記局所領域毎の前記劣化度に応じて、前記高輝度部の輝度の変動を抑制しつつ、前記高輝度部以外の輝度を低輝度側にシフトさせるコントラスト補正を行うための補正係数を算出することと、
前記算出された前記補正係数に基づいて前記画像データの前記局所領域毎にコントラスト補正を行うことと、
をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば霞、靄又は霧等の影響によりコントラスト又は色彩等の画質が損なわれた画像の補正を行う画像処理装置、撮像装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
大気中に発生する霞、靄、霧等の影響によって画像のコントラスト又は色彩等の画質が損なわれることがある。例えば、屋外において遠方の山等の風景写真を撮影する場合がある。この撮影で遠方の山に霞が掛かっていると、撮影された画像の画質は損なわれてしまう。この画質の劣化により、遠方の山に対する視認性は低下する。
【０００３】
このような問題を解決する技術として例えば特許文献１の技術がある。この特許文献１で提案されている霧（霞）除去方法は、ダーク・チャネル・プライアという事前情報を用いて霧の濃淡に応じたコントラスト補正を行っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−０５８２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１等で用いられるダーク・チャネル・プライアは、Ｒ、Ｇ、Ｂチャネルの画素値のうちの最小値である。このダーク・チャネル・プライアは、対応する画素の高輝度、かつ、低彩度の程度を表している。このようなダーク・チャネル・プライアが用いられるのは、霞の影響のない屋外画像は有彩色であり、少なくとも１つの色チャネルの画素値が小さいという仮定に基づいている。したがって、ダーク・チャネル・プライアを単純に用いた手法では、画像内の高輝度、かつ、低彩度の領域はすべて霞の濃度が高い領域と見なされることになる。このため、例えば白い建物が画像に含まれるときに、過度のコントラスト補正がかかる場合がある。この場合、期待とは異なる画像が生成される。
【０００６】
本発明は、前記の事情に鑑みてなされたもので、局所領域毎の適切なコントラスト補正を行うことが可能な画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の態様に係る画像処理装置は、画像データの画質の劣化度に応じて前記画像データを補正する画像処理装置において、前記画像データの局所領域毎に前記劣化度を推定する劣化度推定部と、前記画像データの前記局所領域毎の統計情報から、前記画像データの輝度分布における高輝度部の輝度を少なくとも算出する統計情報算出部と、前記劣化度推定部により推定された前記局所領域毎の前記劣化度に応じて、前記高輝度部の輝度の変動を抑制しつつ、前記高輝度部以外の輝度を低輝度側にシフトさせるコントラスト補正を行うための補正係数を算出する補正係数算出部と、前記補正係数算出部により算出された前記補正係数に基づいて前記画像データの前記局所領域毎にコントラスト補正を行うコントラスト補正部とを具備することを特徴とする。
【０００８】
本発明の第２の態様に係る撮像装置は、被写体を撮像し、前記被写体に係る映像信号を生成する撮像素子と、前記映像信号に対して画像処理を施して画像データを生成する画像処理部と、第１の態様に記載の画像処理装置とを具備することを特徴とする。
【０００９】
本発明の第３の態様に係る画像処理方法は、画像データの画質の劣化度に応じて前記画像データを補正する画像処理方法において、前記画像データの局所領域毎に前記劣化度を推定することと、前記画像データの前記局所領域毎の統計情報から、前記画像データの輝度分布における高輝度部の輝度を少なくとも算出することと、前記推定された前記局所領域毎の前記劣化度に応じて、前記高輝度部の輝度の変動を抑制しつつ、前記高輝度部以外の輝度を低輝度側にシフトさせるコントラスト補正を行うための補正係数を算出することと、前記算出された前記補正係数に基づいて前記画像データの前記局所領域毎にコントラスト補正を行うこととを具備することを特徴とする。
【００１０】
本発明の第４の態様に係る画像処理プログラムは、画像データの画質の劣化度に応じて前記画像データを補正するための画像処理プログラムにおいて、前記画像データの局所領域毎に前記劣化度を推定することと、前記画像データの前記局所領域毎の統計情報から、前記画像データの輝度分布における高輝度部の輝度を少なくとも算出することと、前記推定された前記局所領域毎の前記劣化度に応じて、前記高輝度部の輝度の変動を抑制しつつ、前記高輝度部以外の輝度を低輝度側にシフトさせるコントラスト補正を行うための補正係数を算出することと、前記算出された前記補正係数に基づいて前記画像データの前記局所領域毎にコントラスト補正を行うこととをコンピュータに実行させる。
【発明の効果】
【００１１】
本発明によれば、局所領域毎の適切なコントラスト補正を行うことが可能な画像処理装置、撮像装置、画像処理方法及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の各実施形態に係る画像処理装置の適用例である撮像装置の構成を示すブロック図である。
【図２】第１の実施形態における霞補正部の構成を示すブロック図である。
【図３Ａ】入力画像から霞成分を推定するための手法を説明するための図である。
【図３Ｂ】推定された霞成分の画像データを示す図である。
【図４】輝度ヒストグラムの生成手法を説明するための図である。
【図５】輝度ヒストグラムを生成するための一例のガウシアン関数を示す図である。
【図６Ａ】ヒストグラム伸張について説明するための伸張前のヒストグラムを示す図である。
【図６Ｂ】ヒストグラム伸張について説明するための補正係数を示す図である。
【図６Ｃ】ヒストグラム伸張について説明するための伸張後のヒストグラムを示す図である。
【図７Ａ】霞成分の値が大きい場合の伸張前のヒストグラムを示す図である。
【図７Ｂ】霞成分の値が大きい場合の補正係数を示す図である。
【図７Ｃ】霞成分の値が大きい場合の伸張後のヒストグラムを示す図である。
【図８Ａ】霞成分の値が小さい場合の伸張前のヒストグラムを示す図である。
【図８Ｂ】霞成分の値が小さい場合の補正係数を示す図である。
【図８Ｃ】霞成分の値が小さい場合の伸張後のヒストグラムを示す図である。
【図９】撮像装置による撮影動作を示すフローチャートである。
【図１０】霞補正処理について示すフローチャートである。
【図１１Ａ】コントラスト補正の前の画像を示した図である。
【図１１Ｂ】コントラスト補正の後の画像を示した図である。
【図１２】第２の実施形態における霞補正部の構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して本発明の実施形態を説明する。  
［第１の実施形態］
まず、本発明の第１の実施形態について図面を参照して説明する。図１は、本発明の各実施形態に係る画像処理装置の適用例である撮像装置の構成を示すブロック図である。図１において、太実線は映像信号の流れを示し、細実線は制御信号の流れを示し、破線はその他の信号の流れを示している。
【００１４】
撮像装置１は、レンズ系１００と、撮像センサ１０２と、オートフォーカス用モータ（ＡＦモータ）１０３と、Ａ／Ｄ変換器１０４と、バッファ１０５と、測光評価部１０６と、レンズ制御部１０７と、画像処理部１０８と、霞補正部１０９と、圧縮部１１０と、出力部１１１と、制御部１１２と、外部Ｉ／Ｆ部１１３とを有している。ここで、撮像装置１の各ブロックは、例えばハードウェアによって構成されている。しかしながら、必ずしもすべてがハードウェアによって構成されている必要はなく、一部はソフトウェアによって構成されていてもよい。また、撮像装置１の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又はソフトウェアによって構成されていてもよい。
【００１５】
レンズ系１００は、フォーカスレンズ及び絞り１０１等を含む。レンズ系１００は、被写体からの光像を撮像センサ１０２に結像させる。フォーカスレンズは、光軸に沿って移動することにより、レンズ系１００の焦点状態を調整する。絞り１０１は、開閉されることにより、撮像センサ１０２に入射する光線の量を制限する。
【００１６】
ＡＦモータ１０３は、レンズ制御部１０７によって制御され、レンズ系１００のフォーカスレンズを駆動する。
【００１７】
撮像センサ１０２は、レンズ系１００の光軸上に設けられている。撮像センサ１０２は、レンズ系１００からの光像を受光し、ＲＧＢのアナログ映像信号を生成する。Ａ／Ｄ変換器１０４は、撮像センサ１０２から出力されるアナログ映像信号をデジタル映像信号に変換する。
【００１８】
バッファ１０５は、例えばＳＤＲＡＭであり、Ａ／Ｄ変換器１０４から転送されるデジタル映像信号等の各種の信号を一時的に記憶する。
【００１９】
測光評価部１０６は、撮像センサ１０２で得られたデジタル映像信号から得られる測光評価値に基づいて、レンズ系１００の絞り１０１の開口量及び撮像センサ１０２から出力されるアナログ映像信号の出力レベル等を設定する。
【００２０】
レンズ制御部１０７は、ＣＰＵやＡＳＩＣを含み、制御部１１２の制御に従ってＡＦモータ１０３を制御する。
【００２１】
画像処理部１０８は、バッファ１０５に記憶されているデジタル映像信号に対して公知の補間処理、ＷＢ補正処理、ノイズ低減処理等の画像処理を行い、画像処理後のデジタル映像信号を画像データとして出力する。
【００２２】
霞補正部１０９は、画像処理部１０８から転送された画像データにおける例えば霞の影響によりコントラストが低下した領域に対してコントラスト補正を行う。霞補正部１０９の詳細については後で説明する。
【００２３】
圧縮部１１０は、霞補正部１０９から転送された画像データに対して公知の圧縮処理、例えばＪＰＥＧ方式等の静止画圧縮又はＭＰＥＧ方式等の動画圧縮を行う。また、圧縮部１１０は、圧縮画像データの再生のための伸長も行う。
【００２４】
出力部１１１は、霞補正部１０９でコントラスト補正された画像データに基づいて図示しない表示部に映像を表示出力したり、圧縮部１１０で圧縮された画像データを図示しない記録媒体（例えばメモリカード）に記録出力したりする。
【００２５】
制御部１１２は、ＣＰＵやＡＳＩＣを含み、測光評価部１０６と、レンズ制御部１０７と、画像処理部１０８と、霞補正部１０９と、圧縮部１１０と、出力部１１１とをそれぞれ制御する。
【００２６】
外部Ｉ／Ｆ部１１３は、電源スイッチ、シャッターボタン、又は撮影時の各種モードの切り替えなどを行うためのインターフェースである。
【００２７】
次に、霞補正部１０９について説明する。図２は、第１の実施形態における霞補正部１０９の構成を示すブロック図である。同図中において、太実線はデジタル映像信号の流れを示し、細実線は制御信号の流れを示し、破線はその他の信号の流れを示す。ここで、霞補正部１０９の各ブロックは、例えばハードウェアによって構成されている。しかしながら、必ずしもすべてがハードウェアによって構成されている必要はなく、一部はソフトウェアによって構成されていてもよい。また、霞補正部１０９の各ブロックは、単一のハードウェア又はソフトウェアによって構成されていなくてもよく、複数のハードウェア又はソフトウェアによって構成されていてもよい。
【００２８】
霞補正部１０９は、霞成分推定部２００と、局所ヒストグラム生成部２０１と、統計情報算出部２０２と、補正係数算出部２０３と、コントラスト補正部２０４とを有する。これらは、ハードウェア或いはソフトウェア又はその組み合わせによって構成され、制御部１１２によって制御される。
【００２９】
劣化度推定部としての霞成分推定部２００は、画像処理部１０８から転送される画像データの画素毎の劣化度を推定する。ここで、劣化度とは、画像データの中の、コントラスト又は色彩といった画質を劣化させる要因の存在する度合いである。画質を劣化させる要因としては、例えば、霞、霧、靄、煙といった現象に加え、逆光やフレアといった撮影時の特有の現象も挙げられる。以下では、劣化度は、「霞成分の存在する程度」であるとして説明を続ける。しかしながら、以下の説明は、霞以外の他の現象によって画質が劣化した場合であっても適用され得る。
【００３０】
霞成分の推定は、霞が高輝度でかつ低彩度、すなわち低コントラスト又は低色再現であるという特徴に基づいて行われる。すなわち、高輝度、かつ、低彩度である程度が高い画素は、霞成分であると推定される。
【００３１】
図３Ａは、入力画像Ｉから霞成分Hzを推定するための手法を説明するための図である。また、図３Ｂは、推定された霞成分Hzの画像データを示す図である。霞成分推定部２００は、画像処理部１０８から転送される入力画像Ｉにおける座標(x,y)にある画素のＲ値，Ｇ値，Ｂ値に基づいて霞成分Hz(x,y)の推定を行う。ここで、座標(x,y)におけるＲ値、Ｇ値、Ｂ値をそれぞれIr、Ig、Ibとすると、霞成分Hz(x,y)は、以下の式（１）により推定される。図３Ａに示すようにして入力画像Ｉが例えば１画素毎に走査されながら、式（１）に示す推定が順次に行われる。これによって図３Ｂに示す霞成分の画像が得られる。  
Hz(x,y)＝min（Ir,Ig,Ib）                                        （１）
【００３２】
高輝度、かつ、低彩度の領域（画像中で霞の多い領域）では、Ｒ値，Ｇ値，Ｂ値が同等、かつ、大きくなるため、式（１）のHzは大きくなる。一方、低輝度又は高彩度の領域（画像中で霞の少ない領域）では、Ｒ値，Ｇ値，Ｂ値の何れかが小さくなるため、式（１）のHz(x,y)は小さくなる。このように、霞成分Hz(x,y)は、シーンにおける霞の濃度が濃いほど大きな値となり、霞の濃度が薄いほど小さな値となるという特徴を持つ。
【００３３】
ここで、式（１）で推定される霞成分の空間連続性を確保するために、式（１）で計算された霞成分に対してバイラテラルフィルタ等のローパスフィルタ処理が適用されてもよい。ローパスフィルタ処理が適用されることにより、ノイズの影響を排除できる。また、霞成分は、式（１）によって計算されるものに限らない。すなわち、高輝度、かつ、低彩度の程度を示す指標であれば霞成分として使用され得る。例えば、局所コントラスト値、エッジ強度、被写体距離等も霞成分として使用され得る。
【００３４】
局所ヒストグラム生成部２０１は、画像処理部１０８から転送される画像データから局所領域毎の輝度ヒストグラムを生成する。ここで、一般的なヒストグラム生成は、対象の局所領域内の画素値を輝度値とみなしてその頻度を１ずつカウントすることで行われる。これに対し、本実施形態では、局所領域内の基準画素と近傍画素の画素値の値に応じて、近傍画素の画素値に対するカウント値に重み付けがされる。近傍画素の画素値に対するカウント値は、例えば０．０〜１．０の範囲の値をとるものである。
【００３５】
以下、輝度ヒストグラムの生成手法について具体的に説明する。図４は輝度ヒストグラムの生成手法を説明するための図である。本実施形態において、カウント値は、基準画素と近傍画素との画素値の差分が大きいほどに小さくなる。このようなカウント値は、例えば、図５に示すようなガウシアン関数を用いて算出される。
【００３６】
輝度ヒストグラムの生成手法を具体的に説明する。例えば、基準画素は、図４に示す入力画像データＩの中の局所領域Ｒの中心位置に設定される。局所領域Ｒは、例えば７×７画素の領域である。基準画素Ｂは、例えば画素（輝度）値（１２０）を有するとする。また、局所領域Ｒ内の２行２列目の画素である近傍画素Ｎ１は、例えば画素（輝度）値（１３０）を有するとする。また、局所領域Ｒ内の６行６列目の画素である近傍画素Ｎ２は、例えば画素（輝度）値（５０）を有するとする。基準画素Ｂと近傍画素Ｎ１との画素値の差の絶対値は１０であり、基準画素Ｂと近傍画素Ｎ２との画素値の差の絶対値は７０である。したがって、近傍画素Ｎ１に対するカウント値は、１．０に近く（図５の例では０．９５に）なり、近傍画素Ｎ２に対するカウント値は、０．０に近くなる。
【００３７】
このようにしてヒストグラムを算出するのは、基準画素の画素値との差分の大きな画素値を有する近傍画素は、基準画素とは異なる領域（異なる被写体）に属する可能性が高く、基準画素の画素値との差分の小さな画素値を有する近傍画素は、基準画素と同じ領域（同じ被写体）に属する可能性が高いと推定されるためである。つまり、基準画素の画素値との差分の大きな画素値を有する近傍画素のカウントを小さくすることによって基準画素が属する領域に重点を置いた局所ヒストグラムが生成される。
【００３８】
ここで、カウント値は、必ずしも基準画素と近傍画素との画素値の差分に応じて決定されなくてもよい。例えば、カウント値は、基準画素と近傍画素との彩度値の差分又は霞成分の差分に応じて決定されてもよい。
【００３９】
また、カウント値は、必ずしもガウシアン関数によって算出されなくてもよい。すなわち、カウント値は、基準画素と近傍画素との各種の値の差分が大きい程に小さくなるように決定されればよい。したがって、例えば、カウント値の決定にルックアップテーブルや折れ線近似したテーブルが使用されてもよい。
【００４０】
また、基準画素と近傍画素との各種の値の差分を閾値と比較し、閾値以上である場合には、近傍画素のカウント値を減らす（例えば、０．０にする）ようにしてもよい。
【００４１】
さらに、局所ヒストグラム生成部２０１は、必ずしも画素値の頻度をカウントするものでなくてもよい。例えば、局所ヒストグラム生成部２０１は、Ｒ値、Ｇ値、Ｂ値をそれぞれカウントするものであってもよい。また、例えば、局所ヒストグラム生成部２０１は、Ｇ値を輝度値としてカウントするものであってもよい。
【００４２】
統計情報算出部２０２は、局所ヒストグラム生成部２０１から転送される輝度ヒストグラムの統計情報に基づく代表輝度を算出する。代表輝度は、例えば輝度ヒストグラムの有効輝度範囲の低輝度部の輝度、高輝度部の輝度、中間輝度部の輝度である。低輝度部の輝度は、例えば有効輝度範囲の最小輝度である。高輝度部の輝度は、例えば有効輝度範囲の最大輝度である。中間輝度部の輝度は、例えば重心輝度である。最小輝度は、輝度ヒストグラムから作成される累積ヒストグラムにおいて、累積頻度が最大値の５％の輝度である。最大輝度は、輝度ヒストグラムから作成される累積ヒストグラムにおいて、累積頻度が最大値の９５％の輝度である。重心輝度は、輝度ヒストグラムから作成される累積ヒストグラムにおいて、累積頻度が最大値の５０％の輝度である。最小輝度、最大輝度、重心輝度に対応する累積頻度のパーセンテージである５％、５０％、９５％は任意に変更しても構わない。さらに、中間輝度部の輝度は、累積ヒストグラムにおける重心輝度としているが、重心輝度は、必ずしも累積頻度から算出されなくてもよい。例えば、中間輝度部の輝度は、輝度ヒストグラムの最大頻度の輝度であってもよい。
【００４３】
補正係数算出部２０３は、霞成分推定部２００から転送される霞成分と、統計情報算出部２０２から転送される統計情報とに基づき、局所領域内のコントラストを補正するための補正係数を算出する。例えば、コントラスト補正がヒストグラム伸張によって行われるとすると、補正係数算出部２０３は、統計情報のうちの重心輝度と最大輝度とを利用してヒストグラム伸張のための係数を算出する。ここで、ヒストグラム伸張は、ヒストグラムの有効輝度範囲を拡げることでコントラストを強調する処理である。
【００４４】
図６Ａ、図６Ｂ、図６Ｃは、本実施形態におけるヒストグラム伸張について説明するための図である。ここで、図６Ａは、伸張前のヒストグラムを示す図である。また、図６Ｂは、補正係数算出部２０３によって算出される補正係数を示す図である。また、図６Ｃは、伸張後のヒストグラムを示す図である。
【００４５】
図６Ａで示すヒストグラムにおいて、最小輝度はhist_min、最大輝度はhist_max、重心輝度はhist_centで表されている。本実施形態の補正係数算出部２０３は、例えば、最大輝度hist_maxを保持しつつ、重心輝度hist_centを目標とする重心輝度tar_centまで拡げるような線形変換を施すための補正係数を算出する。図６Ｂに示す線形変換式における傾きをc_a、線形変換式における切片をc_bとすると、c_a及びc_bは例えば以下の式（２）で表される。式（２）に従って図６Ａで示すヒストグラムが伸張される。伸張されたヒストグラムは、図６Ｃで示すものになる。  
【数１】
2018022232.tif 000003
ここで、式（２）のYinは入力画像の輝度データを示し、Youtは出力画像（コントラスト補正後）の輝度データを示す。また、式（２）で示される目標重心輝度tar_centは、累積ヒストグラムから算出される元の重心輝度hist_centよりも小さい値であって、例えば霞成分の値に応じて以下の式（３）で計算される。
tar_cent(x,y)  ＝  hist_cent(x,y) − A・Hz(x,y)/Hzmax  （３）
ここで、式（３）のHz(x,y)は座標(x,y)における霞成分の値を、Hzmaxは画像全体に対する霞成分の最大値を表す。また、Aは所定の調整パラメータを表す。霞成分の最大値Hzmaxとしては、画像から算出される最大値ではなく、所定の固定値が用いられてもよい。また、上式（３）は線形な式で構成されるが、この構成に限ることはなく、非線形な式で構成されてもよい。
【００４６】
図７Ａ、図７Ｂ、図７Ｃは、それぞれ、霞成分の値が大きい場合の、伸張前のヒストグラム、補正係数、伸張後のヒストグラムをそれぞれ示している。また、図８Ａ、図８Ｂ、図８Ｃは、それぞれ、霞成分の値が小さい場合の、伸張前のヒストグラム、補正係数、伸張後のヒストグラムをそれぞれ示している。
【００４７】
式（３）からも分かるように、目標重心輝度tar_centは、霞成分の値が大きいほどにより低輝度側にシフトする。つまり、式（３）を用いた線形変換の結果、局所領域の輝度ヒストグラムは、有効輝度範囲の最大輝度を保持しながら、霞成分の値が大きいほどに低輝度側に伸張される。画像中で霞の濃度が高い領域では局所ヒストグラムが高輝度側に狭い有効輝度範囲で偏っている可能性が高い。したがって、霞の濃度が高い局所領域においては、図７Ｃに示すような重心輝度を低輝度側にシフトするようにヒストグラム伸張が行われることで、その局所領域におけるコントラストは改善される。一方で、霞成分の値が小さい場合は、目標重心輝度と元の重心輝度との差が小さいので、図８Ｃに示すようにヒストグラム伸張がほぼ行われない。結果、輝度の変動が抑制される。
【００４８】
従来技術の霞画像のモデル式を用いる手法では、霞成分の値の大きさに応じて大気光の値が減算される。このため、霞のない領域であっても、例えばその領域に白い被写体が存在していれば、大きな補正が適用される。その結果、白い被写体の輝度は大きく低下する。これに対し、本実施形態の手法では、重心輝度を利用したヒストグラム伸張によってヒストグラムの最大輝度が保持される。このため、局所領域では相対的に高輝度側にある白い被写体の輝度の変動は小さくなる。
【００４９】
ここで、前述の例では、ヒストグラムの最大輝度hist_maxを保持しつつ、重心輝度hist_centが目標とする重心輝度tar_centになるような補正係数を算出している。しかしながら、補正係数の算出手法は、この構成に限らない。例えば、ヒストグラムの最大輝度に対して目標となる最大輝度tar_maxを設定し、この最大輝度tar_maxを用いた式（２）の演算によって補正係数を算出することも可能である。その場合は、hist_maxからtar_maxへの変動量は、hist_centからtar_centへの変動量に比べて相対的に小さくなることが望ましい。
【００５０】
また、前述の例ではヒストグラム伸張に線形な変換式が用いられているが、これに限らない。ヒストグラム伸張に非線形な変換式又は折れ線近似によるテーブルを用いることも可能である。さらに、前述の例では、最大輝度及び重心輝度の両方を通る変換式が使用されるが、最大輝度を通り、かつ、最大輝度以外の輝度部を低輝度側にシフトさせるような変換式であれば、変換式は必ずしも最大輝度及び重心輝度の両方を通る変換式でなくてよい。
【００５１】
また、前述の例では、コントラスト補正はヒストグラム伸張によって行われるが、これに限らない。例えば、コントラスト補正がヒストグラム平坦化によって行われるものであっても本実施形態の技術は適用され得る。
【００５２】
コントラスト補正部２０４は、画像処理部１０８から転送される入力画像に対して、補正係数算出部２０３から転送される補正係数に基づいてコントラスト補正を行う。コントラスト補正の演算式を式（４）に示す。  
Yout＝(1.0−st)・Yin＋st・Yt 
Yt＝c_a・Yin＋c_b                                            （４）
ここで、前述したように、Yinは入力画像の輝度データ（画素値）、Youtはコントラスト補正後の輝度データ（画素値）を表す。また、stは画像全体に対する補正強度を表す係数であり、０．０〜１．０の範囲で適宜に設定される。stの値が大きいほど強いコントラスト補正が適用される。さらに、Ytは、補正係数算出部２０３から出力される補正係数を用いて計算される補正後の目標輝度データである。式（４）で示されるように、コントラスト補正後の輝度Youtは、入力輝度Yinと目標輝度Ytを補正強度stの大きさに応じて合成した値になる。
【００５３】
次に、本実施形態の撮像装置による撮影動作について説明する。図９は、撮像装置１による撮影動作を示すフローチャートである。なお、ここでは撮影動作について説明するが、以下で説明する霞補正の処理は、撮影前のライブビュー表示時等でも適用され得る。
【００５４】
例えば、ユーザによるシャッターボタンの操作によって図９の処理は開始される。シャッターボタンの操作が外部Ｉ／Ｆ部１１３を介して検知されると、ステップＳ１において、制御部１１２は、測光評価部１０６によって算出される露光時間に従って撮像センサ１０２の撮像動作を開始する。このとき、撮像センサ１０２は、レンズ系１００からの光像を受光し、アナログ映像信号を出力する。Ａ／Ｄ変換器１０４は、撮像センサ１０２で得られたアナログ映像信号をデジタル映像信号に変換し、このデジタル映像信号をバッファ１０５に転送する。制御部１１２は、バッファ１０５に転送されたデジタル映像信号を画像処理部１０８に入力する。
【００５５】
ステップＳ２において、画像処理部１０８は、取得したデジタル映像信号に対して公知の補間処理、ＷＢ補正処理、ノイズ低減処理等の画像処理を行って画像データを生成し、この画像データをバッファ１０５に転送する。制御部１１２は、バッファ１０５に転送された画像データを霞補正部１０９に入力する。
【００５６】
ステップＳ３において、霞補正部１０９は、画像処理部１０８の画像処理によって得られた画像データに対して霞補正処理を行い、霞補正処理された画像データをバッファ１０５に転送する。霞補正処理の詳細については後で説明する。
【００５７】
ステップＳ４において、制御部１１２は、画像データの出力処理を行う。すなわち、制御部１１２は、バッファ１０５に転送された画像データを圧縮部１１０に転送する。圧縮部１１０は、霞補正部１０９で霞補正処理された画像データに対してＪＰＥＧ圧縮又はＭＰＥＧ圧縮等の圧縮処理を行う。その後、制御部１１２は、圧縮部１１０で圧縮された画像データに、撮影日付や撮影条件等を含むヘッダ情報を付加して画像ファイルを作成する。そして、制御部１１２は、出力部１１１を介して画像ファイルをメモリカード等に記録する。また、制御部１１２は、バッファ１０５に転送された画像データを、出力部１１１を介して表示部に転送する。これを受けて、表示部は、画像データに基づく画像を表示する。そして、図９の処理は終了する。
【００５８】
図１０は、霞補正処理について示すフローチャートである。ステップＳ１１において、霞成分推定部２００は、入力画像データの各画素の霞成分を推定する。そして、霞成分推定部２００は、推定した霞成分を局所ヒストグラム生成部２０１とコントラスト補正部２０４とに転送する。
【００５９】
ステップＳ１２において、局所ヒストグラム生成部２０１は、局所領域毎のヒストグラムを生成する。前述したように、ヒストグラムを生成するに際しては、局所領域内の基準画素とその近傍画素の画素値（輝度値）の差分に応じて、近傍画素の画素値に対するカウント値には重み付けがされる。ヒストグラムを生成した後、局所ヒストグラム生成部２０１は、生成した輝度ヒストグラムを統計情報算出部２０２に転送する。
【００６０】
ステップＳ１３において、統計情報算出部２０２は、局所領域毎のヒストグラムから、統計情報を算出する。前述したように、統計情報は、例えば有効輝度範囲の最小輝度及び最大輝度並びに重心輝度である。そして、統計情報算出部２０２は、算出した統計情報を補正係数算出部２０３に転送する。
【００６１】
ステップＳ１４において、補正係数算出部２０３は、霞成分推定部２００において推定された霞成分と統計情報算出部２０２において算出された統計情報とに基づいて、式（２）、（３）から補正係数c_a、c_bを設定する。そして、補正係数算出部２０３は、補正係数c_a、c_bをコントラスト補正部２０４に転送する。
【００６２】
ステップＳ１５において、コントラスト補正部２０４は、補正係数算出部２０３から転送された補正係数c_a、c_bに基づいて入力画像データに対するコントラスト補正を行う。これにより、図１０の処理は終了する。
【００６３】
図１１Ａ及び図１１Ｂは、コントラスト補正の前後の画像を比較して示した図である。図１１Ａは、コントラスト補正前の入力画像を示す図である。図１１Ｂは、コントラスト補正後の画像を示す図である。本実施形態のコントラスト補正では、霞成分に応じて高輝度側が保持されるようなコントラスト補正がされるので、霞の領域だけが除去され、高輝度被写体である川の領域は過度なコントラスト補正が掛かるのを回避できる。
【００６４】
以上説明したように第１の実施形態では、入力画像データの霞成分が推定され、推定された霞成分に応じて入力画像データの高輝度側を残して、その他の部分のコントラストを変化させるようにコントラスト補正のための補正係数が算出される。これにより、霞ではない高輝度白色被写体については過度なコントラスト補正が掛かるのを防ぐとともに、霞だけを除去することが可能である。すなわち、高輝度白色被写体は、輝度値がほぼ一様で、かつ、高輝度である可能性が高いので、高輝度側を残すようなコントラスト補正によって高輝度被写体のコントラストが失われる可能性が低減される。この結果、視認性の改善された高品位な画像を得ることができる。このような効果は、画像の記録時に留まらず、例えばコントラストＡＦ又は被写体の認識処理時においても得られる。
【００６５】
［第２の実施形態］
次に、本発明の第２の実施形態について図面を参照して説明する。ここで、以下の説明では第１の実施形態と異なる部分について説明し、同一部分についての説明を省略する。
【００６６】
図１２は、第２の実施形態の霞補正部１０９の構成図を示す。霞補正部１０９は、局所ヒストグラム生成部２０１及び統計情報算出部２０２に代えて、局所最小最大算出部２０５と、加重平均算出部２０６とを有している。
【００６７】
局所最小最大算出部２０５には、画像処理部１０８から入力画像データが転送されるとともに、霞成分推定部２００から霞成分が転送される。局所最小最大算出部２０５は、入力画像データの画素値を局所領域毎に走査し、局所領域毎の最小輝度と最大輝度とを算出する。そして、局所最小最大算出部２０５は、最小輝度と最大輝度とを補正係数算出部２０３に転送する。最小輝度と最大輝度とを算出する際に、局所最小最大算出部２０５は、基準画素が属する領域から最小輝度と最大輝度とを検出できるように、基準画素との間での画素値の差分が大きい近傍画素については走査対象から除外する。なお、局所最小最大算出部２０５は、画素値の差分が大きい近傍画素を走査対象から除外するのではなく、例えばローパスフィルタ等でノイズ除去した後の画素値から最小輝度、最大輝度を探索する構成であってもよい。
【００６８】
加重平均算出部２０６は、画像処理部１０８から入力画像データが転送される。加重平均算出部２０６は、局所領域の基準画素を基準とした加重平均フィルタをかけることで、局所領域に対する代表輝度を計算する。この加重平均フィルタは、例えば、基準画素との間での画素値の差分が大きい近傍画素に対する重みが小さくなるようなフィルタである。そして、加重平均算出部２０６は、算出した代表輝度を補正係数算出部２０３に転送する。
【００６９】
補正係数算出部２０３の構成は、基本的には、第１の実施形態で説明したものと同様である。ただし、第２の実施形態では、式（２）で用いられる最大輝度として局所最小最大算出部２０５で算出される最大輝度が用いられ、重心輝度として加重平均算出部２０６で算出される代表輝度が用いられる。
【００７０】
以上説明した本実施形態では、ヒストグラムを算出しなくても、第１の実施形態と同様の効果を奏することが可能である。
【００７１】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、前述の実施形態では、補正係数は、入力画像データの全ての画素に対して算出される。しかしながら、補正係数は、例えば、縮小リサイズされた入力画像データから算出されてもよい。縮小リサイズされた入力画像データから補正係数を算出することにより、処理負荷の軽減及びノイズの影響を回避する効果が期待される。
【００７２】
また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。
【００７３】
また、上述した実施形態による各処理は、コンピュータである制御部１１２に実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、制御部１１２は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
【００７４】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【００７５】
１  撮像装置、１００  レンズ系、１０１  絞り、１０２  撮像センサ、１０３  オートフォーカス用モータ（ＡＦモータ）、１０４  Ａ／Ｄ変換器、１０５  バッファ、１０６  測光評価部、１０７  レンズ制御部、１０８  画像処理部、１０９  霞補正部、１１０  圧縮部、１１１  出力部、１１２  制御部、１１３  外部Ｉ／Ｆ部、２００  霞成分推定部、２０１  局所ヒストグラム生成部、２０２  統計情報算出部、２０３  補正係数算出部、２０４  コントラスト補正部、２０５  局所最小最大算出部、２０６  加重平均算出部。
【図１】
2018022232.tif 000004
【図２】
2018022232.tif 000005
【図３Ａ】
2018022232.tif 000006
【図３Ｂ】
2018022232.tif 000007
【図４】
2018022232.tif 000008
【図５】
2018022232.tif 000009
【図６Ａ】
2018022232.tif 000010
【図６Ｂ】
2018022232.tif 000011
【図６Ｃ】
2018022232.tif 000012
【図７Ａ】
2018022232.tif 000013
【図７Ｂ】
2018022232.tif 000014
【図７Ｃ】
2018022232.tif 000015
【図８Ａ】
2018022232.tif 000016
【図８Ｂ】
2018022232.tif 000017
【図８Ｃ】
2018022232.tif 000018
【図９】
2018022232.tif 000019
【図１０】
2018022232.tif 000020
【図１１Ａ】
2018022232.tif 000021
【図１１Ｂ】
2018022232.tif 000022
【図１２】
2018022232.tif 000023