(57)【要約】【課題】撮影画像を補正する際のノイズの影響を低減すること。【解決手段】画像処理装置は、撮影画像を取得する画像取得手段と、撮影画像の彩度に関する彩度情報および撮影画像の明度に関する明度情報を用いて、撮影画像における彩度が低く且つ明度が高い度合いの分布を表す第１マップを作成する第１マップ作成手段と、第１マップを用いて撮影画像を補正して補正画像を作成する補正手段と、を備える。【選択図】図１
2015192338.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像を取得する画像取得手段と、
前記撮影画像の彩度に関する彩度情報および前記撮影画像の明度に関する明度情報を用いて、前記撮影画像における彩度が低く且つ明度が高い度合いの分布を表す第１マップを作成する第１マップ作成手段と、
前記第１マップを用いて前記撮影画像を補正して補正画像を作成する補正手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記撮影画像に関する環境光情報を取得する環境光情報取得手段と、
前記第１マップと前記環境光情報とを用いて、前記撮影画像における補正用パラメータの分布を表す第２マップを作成する第２マップ作成手段と、
をさらに備え、
前記補正手段は、前記環境光情報および前記第２マップを用いて前記撮影画像を補正して前記補正画像を作成することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記第２マップ作成手段は、前記撮影画像と同じ解像度で前記補正用パラメータの分布を表すマップと前記撮影画像よりも低解像度で前記補正用パラメータの分布を表すマップとを加算して前記第２マップを作成することを特徴とする画像処理装置。
【請求項４】
請求項２に記載の画像処理装置において、
前記第２マップ作成手段は、前記撮影画像よりも低解像度で前記補正用パラメータの分布を表す前記第２マップを作成することを特徴とする画像処理装置。
【請求項５】
請求項２に記載の画像処理装置において、
前記第２マップ作成手段は、前記撮影画像と同じ解像度で前記補正用パラメータの分布を表すマップと前記撮影画像よりも低解像度で前記補正用パラメータの分布を表すマップとを加算して前記第２マップを作成する第１作成部と、前記撮影画像よりも低解像度で前記補正用パラメータの分布を表す前記第２マップを作成する第２作成部と、を有し、前記撮影画像の周波数成分、前記撮影画像の撮影時のＩＳＯ感度、前記撮影画像が動画であるか静止画であるか、およびユーザ操作のいずれかに応じて、前記第１作成部および前記第２作成部のいずれかを選択して、前記第２マップを作成することを特徴とする画像処理装置。
【請求項６】
請求項２〜５のいずれか一項に記載の画像処理装置において、
前記環境光情報取得手段は、前記第１マップの前記度合いが最も高い領域に対応する前記撮影画像の領域において明度情報が最大である画素位置の画像情報を前記環境光情報として取得することを特徴とする画像処理装置。
【請求項７】
請求項１〜６のいずれか一項に記載の画像処理装置において、
前記撮影画像を、ＨＳＶ色空間で表されるＨＳＶ画像に変換するＨＳＶ変換手段をさらに備え、
前記第１マップ作成手段は、前記ＨＳＶ画像のＳ成分を前記彩度情報とし、前記ＨＳＶ画像のＶ成分を前記明度情報として、前記第１マップを作成することを特徴とする画像処理装置。
【請求項８】
請求項１〜６のいずれか一項に記載の画像処理装置において、
前記撮影画像は、ＹＣｂＣｒ色空間で表されるＹＣｂＣｒ画像であり、
前記第１マップ作成手段は、前記ＹＣｂＣｒ画像のＣｂ成分およびＣｒ成分を用いて前記彩度情報を算出し、前記ＹＣｂＣｒ画像のＹ成分を前記明度情報として、前記第１マップを作成することを特徴とする画像処理装置。
【請求項９】
撮影画像を取得する処理と、
前記撮影画像の彩度に関する彩度情報および前記撮影画像の明度に関する明度情報を用いて、前記撮影画像における彩度が低く且つ明度が高い度合いの分布を表す第１マップを作成する処理と、
前記第１マップを用いて前記撮影画像を補正して補正画像を作成する処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１０】
被写体の前に存在する光透過性の媒体を介して前記被写体を撮影した撮影画像を取得する画像取得手段と、
前記撮影画像の彩度に関する彩度情報および前記撮影画像の明度に関する明度情報を用いて、前記撮影画像における彩度が低く且つ明度が高い度合いの分布を表す第１マップを作成する第１マップ作成手段と、
前記第１マップを用いて前記撮影画像を補正して前記光透過性の媒体の影響を低減した補正画像を作成する補正手段と、
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
屋外での撮影時に、霧やもやなどによって撮影画像が白っぽくぼやけてしまうことがある。そこで、撮影画像から霧やもやを除去する方法が知られている（特許文献１参照）。特許文献１に記載の方法では、撮影画像からダークチャネル画像を生成し、ダークチャネル画像と霧画像モデルとを用いて霧を除去した画像を生成する。ここでダークチャネル画像とは、撮影画像の各画素におけるＲＧＢチャネルの強度値の最小値からなる画像である。霧のない鮮明な画像よりも霧によって白くぼやけた画像の方がダークチャネル画像の強度が高くなることから、ダークチャネル画像はおおよその霧の濃度を表している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−５８２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来技術で用いるダークチャネル画像では、ＲＧＢチャネルの強度値の最小値を用いるので、暗いレベルを用いることがあり、ノイズの影響を大きく受けることがあった。
【課題を解決するための手段】
【０００５】
（１）請求項１に記載の画像処理装置は、撮影画像を取得する画像取得手段と、撮影画像の彩度に関する彩度情報および撮影画像の明度に関する明度情報を用いて、撮影画像における彩度が低く且つ明度が高い度合いの分布を表す第１マップを作成する第１マップ作成手段と、第１マップを用いて撮影画像を補正して補正画像を作成する補正手段と、を備えることを特徴とする。
（２）請求項９に記載の画像処理プログラムは、撮影画像を取得する処理と、撮影画像の彩度に関する彩度情報および撮影画像の明度に関する明度情報を用いて、撮影画像における彩度が低く且つ明度が高い度合いの分布を表す第１マップを作成する処理と、第１マップを用いて撮影画像を補正して補正画像を作成する処理と、をコンピュータに実行させることを特徴とする。
（３）請求項１０に記載の画像処理装置は、被写体の前に存在する光透過性の媒体を介して被写体を撮影した撮影画像を取得する画像取得手段と、撮影画像の彩度に関する彩度情報および撮影画像の明度に関する明度情報を用いて、撮影画像における彩度が低く且つ明度が高い度合いの分布を表す第１マップを作成する第１マップ作成手段と、第１マップを用いて撮影画像を補正して光透過性の媒体の影響を低減した補正画像を作成する補正手段と、を備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、撮影画像を補正する際のノイズの影響を低減することができる。
【図面の簡単な説明】
【０００７】
【図１】デジタルカメラの構成例を示すブロック図である。
【図２】霧画像モデルを説明する模式図である。
【図３】画像補正処理の流れを説明するフローチャートである。
【図４】（ａ）は撮影画像の一例の模式図であり、（ｂ）は白強度マップの一例の模式図であり、（ｃ）は透過率マップの一例の模式図である。
【図５】プログラムの提供の様子を説明する図である。
【発明を実施するための形態】
【０００８】
−第１の実施の形態−
図面を参照して本発明の第１の実施の形態について説明する。図１は、本実施の形態における画像処理装置を搭載したデジタルカメラの構成例を示すブロック図である。デジタルカメラ１００は、操作部材１０１と、撮影レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、ユーザによって操作される種々の入力部材、例えば電源スイッチ、レリーズボタン、マルチセレクタ、再生ボタン、削除ボタンなどを含んでいる。
【０００９】
撮影レンズ１０２は、被写体像を撮像素子１０３の撮像面に結像するように配置されている。撮影レンズ１０２は、図１では代表して１枚のレンズで表しているが、実際は複数の光学レンズから構成される。
【００１０】
撮像素子１０３は、例えばＣＭＯＳなどのイメージセンサであり、撮影レンズ１０２により結像した被写体像を撮像して、撮像によって得られた画像信号を制御装置１０４へ出力する。撮像素子１０３の受光面には、周知のカラーフィルターが設けられている。カラーフィルターは、赤（Ｒ）色、青（Ｂ）色、および緑（Ｇ）色のいずれかの光を通過させる原色フィルタが画素位置に対応してベイヤー配列で構成された色分解フィルタである。撮像素子１０３は、このようなカラーフィルターを通して被写体像を撮像することにより、光の３原色ごとのカラー画像信号を出力する。撮像素子１０３で生成された画像信号は、不図示のＡ／Ｄ変換部でデジタル信号に変換され、制御装置１０４に出力される。
【００１１】
制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、デジタルカメラ１００全体の制御を行う。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用されたりする。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。
【００１２】
メモリカードスロット１０５は、メモリカードなどの記録媒体を挿入するためのスロットである。制御装置１０４は、撮影処理を行なうことによって生成した画像ファイルを、メモリカードスロット１０５に挿入されているメモリカードへ書込んで記録する。また、制御装置１０４は、メモリカードスロット１０５に挿入されているメモリカード内に記録されている画像ファイルを読込む。
【００１３】
モニタ１０６は、デジタルカメラ１００の背面に搭載された液晶モニタ（背面モニタ）である。当該モニタ１０６には、メモリカードに記録されている画像ファイルに基づく再生画像や、デジタルカメラ１００を設定するための設定メニューなどが表示される。また、使用者が操作部材１０１を操作してデジタルカメラ１００を撮影モードに設定すると、制御装置１０４は、撮像素子１０３から時系列で取得した画像の表示用画像データをモニタ１０６に出力する。これによってモニタ１０６にライブビュー画が表示される。
【００１４】
ところで、屋外で撮影を行うと、被写体とデジタルカメラ１００との間に存在する大気中の浮遊物体（たとえば、霧やもや、煙、塵埃など）によって被写体光が散乱され、撮影画像が白っぽくぼやけてしまうことがある。そこで、本実施形態のデジタルカメラ１００では、このような白っぽくぼやけた撮影画像を補正する画像補正処理を行う。以下、この画像補正処理について説明する。
【００１５】
＜霧画像モデル＞
まず、図２の模式図を用いて、霧Ｆｇの影響を受けた撮影画像（以下、霧画像と表記する）のモデル（霧画像モデル）について説明する。霧画像は、被写体（物体）Ｔｇからの直接光（被写体光）と、周りの環境光Ａ（光源Ｌｓからの光）とを合わせたものであると考えられる。そこで、霧画像モデルは、以下の式（１）により表すことができる。
Ｉ（ｘ）＝Ｊ（ｘ）・ｔ（ｘ）＋Ａ・（１−ｔ（ｘ））  ・・・（１）
【００１６】
式（１）において、ｘは画素位置を示す。Ｉ（ｘ）は、デジタルカメラ１００によって撮影された撮影画像（霧画像）の各画素の画素値を示す。Ｊ（ｘ）は、各画素位置における被写体光を表し、霧画像Ｉ（ｘ）から霧Ｆｇの影響を低減した画像、すなわち被写体Ｔｇの鮮明な画像の各画素の画素値を示す。Ａは環境光を表し、全ての画素位置で同一である。ｔ（ｘ）は、各画素位置において、被写体光Ｊ（ｘ）が霧Ｆｇを含む大気を透過して（すなわち霧Ｆｇによって散乱されずに）デジタルカメラ１００に到達する度合い（透過率）を示す。
【００１７】
式（１）で表されるように、霧画像Ｉ（ｘ）は、被写体光Ｊ（ｘ）に関する成分Ｊ（ｘ）・ｔ（ｘ）と環境光Ａに関する成分Ａ・（１−ｔ（ｘ））とからなる。Ｊ（ｘ）・ｔ（ｘ）は、霧Ｆｇによって散乱されずにデジタルカメラ１００に到達した被写体光を表している。Ａ・（１−ｔ（ｘ））は、環境光が撮影画像（霧画像）に及ぼす影響の度合いを表している。
【００１８】
また、式（１）を変形すると、以下の式（２）が得られる。
Ｊ（ｘ）＝（Ｉ（ｘ）−Ａ）／ｔ（ｘ）＋Ａ  ・・・（２）
【００１９】
式（２）によれば、透過率ｔ（ｘ）と環境光Ａとを求めることで、霧画像（撮影画像）Ｉ（ｘ）から霧Ｆｇの影響が低減された画像、すなわち鮮明な画像Ｊ（ｘ）を得ることができる。本実施形態では、このような霧画像モデルを応用した画像補正処理を行う。
【００２０】
＜画像補正処理＞
次に、本実施形態の画像補正処理の流れについて、図３に示すフローチャートを用いて説明する。操作部材１０１を介してユーザにより画像補正処理の実行が指示されると、制御装置１０４は不図示のメモリに記憶されている画像補正処理を行うプログラムを起動して、画像補正処理を開始する。
【００２１】
（撮影画像の取得）
ステップＳ１において、制御装置１０４は、画像補正処理を行う対象となる撮影画像を取得して、ステップＳ２へ進む。ここで、撮影画像の色空間は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３つの成分で表されるＲＧＢ色空間であるとする。なお、画像補正処理を行う対象となる撮影画像は、たとえば、メモリカードから読み込んでもよいし、外部装置から通信により取得してもよい。
【００２２】
（白強度マップの作成）
ステップＳ２において、制御装置１０４は、ステップＳ１で取得した撮影画像において、彩度が低く且つ明度が高い度合い、すなわち白っぽい度合い（以下、白強度と表記する）の分布を表す白強度マップを作成する。霧やもやなどによって白っぽくぼやけた撮影画像を補正するには、撮影画像の白っぽい領域の白を減少させ彩度を高くすることで、撮影画像を鮮明にする（くっきりさせる）ことができる。これをふまえ、本実施形態の画像補正処理では、撮影画像の白っぽい度合い（白強度）の分布を表す白強度マップを作成し、これを用いて撮影画像を補正する。
【００２３】
撮影画像の白強度マップを作成するために、まず、制御装置１０４は、ステップＳ１で取得した撮影画像の色空間を、ＲＧＢ色空間から、Ｈ（色相）、Ｓ（彩度）、Ｖ（明度）の３つの成分で表されるＨＳＶ色空間に変換する。
【００２４】
なお、ＨＳＶ色空間の表現方法としては円柱モデルと円錐モデルとがあるが、本実施形態では円錐モデルを用いる。円錐モデルのＨＳＶ色空間において、色相Ｈは、円錐の外周に沿って変化し、色相が示された色環に沿った角度で表される。ここでは、色相Ｈは、０〜３６０の範囲で表されるとする。彩度Ｓは、円錐の中心からの距離に伴って変化する。ここでは、彩度Ｓは、０．０〜１．０の範囲で表されるとする。明度Ｖは、円錐の高さ方向に沿って変化する。ここでは、明度Ｖは、０．０〜１．０の範囲で表されるとする。これら３つの成分（Ｈ、Ｓ、Ｖ）の組み合わせにより、所定の色が決定される。
【００２５】
色空間をＲＧＢ色空間から円錐モデルのＨＳＶ色空間に変換するための式は、周知技術を用いればよい。撮影画像のＲＧＢ値を最小値を０．０、最大値を１．０として正規化した場合、撮影画像のＲＧＢ値から以下の式（３）および（４）により円錐モデルのＨＳＶ色空間における彩度Ｓおよび明度Ｖを求めることができる。なお、以下の式において、ｍａｘ（Ｒ，Ｇ，Ｂ）は各画素のＲＧＢ値のうちの最大値を示し、ｍｉｎ（Ｒ，Ｇ，Ｂ）は各画素のＲＧＢ値のうちの最小値を示す。
Ｓ＝ｍａｘ（Ｒ，Ｇ，Ｂ）−ｍｉｎ（Ｒ，Ｇ，Ｂ）  ・・・（３）
Ｖ＝ｍａｘ（Ｒ，Ｇ，Ｂ）  ・・・（４）
【００２６】
このように制御装置１０４は、ステップＳ１で取得した撮影画像の色空間を、円錐モデルのＨＳＶ色空間に変換する。そして、制御装置１０４は、ＨＳＶ色空間に変換した撮影画像のＳ（彩度）およびＶ（明度）を用いて、以下の式（５）により白強度（すなわち彩度が低く且つ明度が高い度合い）の分布を表す白強度マップを作成する。
Ｗ（ｘ）＝（１−Ｓ（ｘ））・Ｖ（ｘ）  ・・・（５）
但し、
ｘ：画素位置
Ｗ（ｘ）：各画素位置の白強度
Ｓ（ｘ）：各画素位置の彩度
Ｖ（ｘ）：各画素位置の明度
【００２７】
なお、式（５）に式（３）および式（４）を代入すると、各画素位置の白強度Ｗ（ｘ）は、以下の式（６）で表される。
Ｗ（ｘ）＝｛１−（ｍａｘ（Ｒ，Ｇ，Ｂ）−ｍｉｎ（Ｒ，Ｇ，Ｂ））｝・ｍａｘ（Ｒ，Ｇ，Ｂ）＝（１−ｍａｘ（Ｒ，Ｇ，Ｂ）＋ｍｉｎ（Ｒ，Ｇ，Ｂ））・ｍａｘ（Ｒ，Ｇ，Ｂ）  ・・・（６）
【００２８】
式（５）からわかるように、白強度は、彩度が低かったり明度が高かったりするほど高い値となり、彩度が高かったり明度が低かったりするほど低い値となる。ここで、白強度マップについて、図４の撮影画像を例に挙げて説明する。図４（ａ）は、霧が発生している屋外で撮影された撮影画像の一例を示す模式図である。図４（ａ）の撮影画像には、近景である人物５１と、遠景である山５２および空５３とが写っている。図４（ａ）の撮影画像では、遠景である山５２および空５３は霧の影響を受けて白っぽくぼやけて写っているとし、近景である人物５１は霧の影響が小さく比較的鮮明に写っているとする。図４（ｂ）は、図４（ａ）の撮影画像における白強度マップの一例を示す模式図である。たとえば、図４（ｂ）の白強度マップにおいて、霧の影響が大きい山領域６２および空領域６３は白っぽく写っているために白強度が高くなり、霧の影響が小さい人物領域６１は鮮明に写っているために白強度が低くなる。
【００２９】
（環境光の色情報の取得）
ステップＳ３（図３）において、制御装置１０４は、撮影画像における環境光の色情報を取得する。具体的に制御装置１０４は、ステップＳ２で作成した白強度マップにおいて、各画素位置の白強度を高い順で並べた場合の全体に対する上位０．１％の領域を、撮影画像における白強度の最大領域として抽出する。そして制御装置１０４は、抽出した白強度の最大領域に対応する撮影画像の領域において、明度Ｖが最も高い画素位置の色情報（ＨＳＶ）を、環境光の色情報として取得する。すなわち、制御装置１０４は、撮影画像において白強度および明度が高い位置の色情報を、環境光の色情報として取得する。
【００３０】
たとえば、図４の撮影画像の場合、白強度が高い空領域６３のうち、環境光の光源である太陽５４の位置で最も明度Ｖが高くなるため、その位置の色情報を環境光の色情報として取得することができる。
【００３１】
白強度の最大領域には、空の明るい箇所だけでなく白い物体などが含まれる場合があるため、白い物体ではなく、空の明るい箇所の色情報を取得できるように、本実施形態の画像補正処理では、白強度が高い領域のうちで明度Ｖが最も高い画素位置の色情報を取得する。
【００３２】
（透過率マップの作成）
ステップＳ４（図３）において、制御装置１０４は、ステップＳ２で作成した白強度マップと、ステップＳ３で取得した環境光の色情報（ＨＳＶ）のうちの明度とを用いて、上述した霧画像モデルに対応する透過率ｔ（ｘ）の分布を表す透過率マップを作成する。具体的には制御装置１０４は、以下の式（７）を用いて、透過率ｔ（ｘ）を求める。
ｔ（ｘ）＝１−ω・Ｗ（ｘ）／Ａｖ  ・・・（７）
但し、
ｘ：画素位置
ｔ（ｘ）：各画素位置の透過率
ω：定数
Ｗ（ｘ）：各画素位置の白強度
Ａｖ：環境光の明度
【００３３】
式（７）からわかるように、白強度Ｗ（ｘ）が高いところほど透過率ｔ（ｘ）が低くなり、白強度Ｗ（ｘ）が低いところほど透過率ｔ（ｘ）が高くなる。図４（ｃ）は、図４（ａ）の撮影画像における透過率マップの一例を示す模式図である。たとえば、図４（ｃ）の透過率マップにおいて、白強度Ｗ（ｘ）が高い山領域７２および空領域７３では透過率ｔ（ｘ）が低くなり、白強度Ｗ（ｘ）が低い人物領域７１では透過率ｔ（ｘ）が低くなる。
【００３４】
ここで、元々の撮影画像と同じ解像度の透過率マップをそのまま用いて、上述した霧画像モデルによって霧の影響を低減した画像（補正画像）を求めた場合、補正画像にリング状のゴーストが現れるハロー効果が発生してしまうことがある。そこで、本実施形態の画像補正処理では、ハロー効果を防止するために、以下の第１の作成方法または第２の作成方法を用いて透過率マップを作成する。
【００３５】
（１）第１の作成方法
第１の作成方法では、まず、制御装置１０４は、撮影画像と同じ解像度の透過率マップを作成する。そして、制御装置１０４は、作成した透過率マップを用いて、撮影画像よりも逐次的に低い解像度を有する透過率マップを１つ以上作成する（すなわち多重解像度化した透過率マップを作成）する。制御装置１０４は、これら作成した透過率マップを重み付け加算して、補正画像の作成に使用する透過率マップ（以下、使用透過率マップと表記する）を作成する。この第１の作成方法を式で表すと、以下の式（８）のように表される。
Ｔ（ｘ）＝αｔ（ｘ）＋βｔ１（ｘ）＋γｔ２（ｘ）＋  ・・・  ＋ωｔｎ（ｘ）  ・・・（８）
但し、
ｘ：画素位置
Ｔ（ｘ）：使用透過率マップにおける各画素位置の透過率
ｔ（ｘ）：撮影画像と同じ解像度の透過率マップにおける各画素位置の透過率
ｔ１（ｘ）〜ｔｎ（ｘ）：撮影画像よりも逐次的に低い解像度を有する透過率マップにおける各画素位置の透過率
α〜ω：重み付け定数
【００３６】
なお、たとえばｔ１（ｘ）は撮影画像の１／２の解像度の透過率マップ、ｔ２（ｘ）は撮影画像の１／４の解像度の透過率マップ・・・、のように、ｔ１（ｘ）、ｔ２（ｘ）、・・・、ｔｎ（ｘ）はそれぞれ異なる解像度の透過率マップを示す。撮影画像よりも低解像度の透過率マップについては適切な個数を作成すればよく、少なくとも１つ作成すればよい。
【００３７】
このように、透過率マップを多重解像度化して重み付け加算して使用透過率マップを作成することで、補正画像におけるハロー効果を低減することができる。
【００３８】
（２）第２の作成方法
また、多重解像度化を行わなくても、解像度を落とせばハロー効果が見られなくなることが実験的にわかった。そこで、第２の作成方法では、撮影画像の解像度よりも０．５〜０．９倍の解像度の透過率マップを、使用透過率マップとして作成する。
【００３９】
第１の作成方法および第２の作成方法のどちらで使用透過率マップを作成するかは、適宜選択される。たとえば、制御装置１０４は、以下の第１〜第４の選択方法のいずれかを用いて、使用透過率マップを作成する方法を選択する。
【００４０】
（１）第１の選択方法
第１の選択方法では、制御装置１０４は、撮影画像の周波数成分に応じて、使用透過率マップを作成する方法を選択する。撮影画像において高周波成分が多い時はエッジが多いので使用透過率マップを低解像度にすると、補正画像の解像感が低下してしまう。そのため、制御装置１０４は、撮影画像の周波数成分を求め、高周波成分が多い場合は、第１の作成方法を選択して使用透過率マップを作成し、低周波成分が多い場合は、第２の作成方法を選択して使用透過率マップを作成する。
【００４１】
（２）第２の選択方法
第２の選択方法では、制御装置１０４は、ノイズの発生状況、具体的には撮影画像の撮影時のＩＳＯ感度に応じて、使用透過率マップを作成する方法を選択する。撮影時のＩＳＯ感度については、撮影画像に付加されたＥｘｉｆ（登録商標）情報を参照する。ノイズが多い時はなるべく低解像度で使用透過率マップを作成した方がノイズの影響を低減できると考えられる。そこで、制御装置１０４は、撮影画像においてノイズが多い条件、すなわち撮影時のＩＳＯ感度が高感度である（たとえば１６００以上である）場合には第２の作成方法を選択して使用透過率マップを作成し、低感度である場合には第１の作成方法を選択して使用透過率マップを作成する。
【００４２】
（３）第３の選択方法
第３の選択方法では、制御装置１０４は、撮影画像が静止画であるか動画であるかに応じて、使用透過率マップを作成する方法を選択する。撮影画像が動画である場合には処理速度を上げる必要があるので、制御装置１０４は、比較的処理負荷の少ない第２の作成方法を選択して使用透過率マップを作成する。一方、撮影画像が静止画像である場合には解像感を良くしたいので、制御装置１０４は、第１の作成方法を選択して使用透過率マップを作成する。
【００４３】
（４）第４の選択方法
第４の選択方法では、操作部材１０１を介してユーザが手動で第１の作成方法および第２の作成方法のいずれかを選択する。すなわち、制御装置１０４は、操作部材１０１の操作に応じて、第１の作成方法および第２の作成方法のいずれかを選択して、使用透過率マップを作成する。
【００４４】
なお、以上の第１〜第４の選択方法についてはどれを用いてもよく、どれを用いるかについては予め設定されていてもよいし、ユーザが手動で設定できるようにしてもよい。
【００４５】
（補正画像の作成）
ステップＳ５（図３）において、制御装置１０４は、ステップＳ３で取得した環境光の色情報とステップＳ４で作成した使用透過率マップとを用いて、撮影画像を補正して（すなわち霧の影響を低減して）補正画像を作成し、図３の処理を終了する。具体的には、制御装置１０４は、以下の式（９）〜（１１）により、ＨＳＶ色空間で表された補正画像を作成する。
Ｊｈ（ｘ）＝Ｉｈ（ｘ）  ・・・（９）
Ｊｓ（ｘ）＝（Ｉｓ（ｘ）−α１・Ａｓ）／Ｔ（ｘ）＋α２・Ａｓ  ・・・（１０）
Ｊｖ（ｘ）＝（Ｉｖ（ｘ）−β１・Ａｖ）／Ｔ（ｘ）＋β２・Ａｖ  ・・・（１１）
但し、
ｘ：画素位置
Ｉｈ（ｘ），Ｉｓ（ｘ），Ｉｖ（ｘ）：撮影画像の各画素位置の色相、彩度、明度
Ｊｈ（ｘ），Ｊｓ（ｘ），Ｊｖ（ｘ）：補正画像の各画素位置の色相、彩度、明度
α１，α２，β１，β２：定数
Ａｓ，Ａｖ：環境光の彩度、明度
Ｔ（ｘ）：使用透過率マップにおける各画素位置の透過率
【００４６】
彩度および明度を求める式（１０）および（１１）については、上述した霧画像モデルの式（２）を応用した式であり、たとえば彩度と明度とで強調度合いを変えるなどの調整を行うため、環境光の成分に定数α１，α２，β１，β２が乗算されている。
【００４７】
また、ＨＳＶ色空間では、霧やもやによる白味の軽減は、彩度と明度だけを考慮すればよいので、式（９）のように補正画像の色相については撮影画像と同一とすればよい。したがって、実質的な計算処理は彩度と明度の２チャンネルだけで済むので、ＲＧＢ３チャンネルで計算処理を行う場合より、処理負荷を軽減することができる。
【００４８】
以上のようにして図３に示す画像補正処理を行うことで、大気中の浮遊物体（たとえば、霧やもや、煙、塵埃など）の影響により白っぽくぼやけた撮影画像を補正して鮮明にすることができる。また、上述の説明では大気中の浮遊物体（霧やもやなど）を例に挙げてこれらの影響を低減する例を説明したが、これに限らず、上記画像補正処理は、水中撮影においても、被写体とデジタルカメラ１００との間に存在する水の影響で白っぽくぼやけた撮影画像を鮮明に補正することができる。
【００４９】
以上説明した実施の形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１００において、制御装置１０４は、被写体の前に存在する光透過性の媒体（たとえば、霧やもやを含む大気、水中撮影の場合の水など）を介して被写体を撮影した撮影画像を取得する。制御装置１０４は、撮影画像の彩度に関する彩度情報と明度に関する明度情報を用いて、彩度が低く且つ明度が高い度合い（白強度）の分布を表す白強度マップを作成する。制御装置１０４は、白強度マップを用いて撮影画像を補正して、上記光透過性の媒体の影響（たとえば霧やもやを含む大気、水中撮影の場合の水などの影響）を低減した補正画像を作成する。このようにすることで、従来技術のダークチャネル画像のように暗いレベルを用いずに撮影画像を補正することができ、撮影画像を補正する際のノイズの影響を低減することができる。
【００５０】
（２）デジタルカメラ１００において、制御装置１０４は、撮影画像に関する環境光情報を取得し、白強度マップと環境光情報とを用いて補正用パラメータ（透過率）の分布を表す透過率マップを作成する。制御装置１０４は、環境光情報および透過率マップを用いて撮影画像を補正して補正画像を作成する。このようにすることで、彩度が低く且つ明度が高い度合い（すなわち白っぽい度合い）に加え、環境光の影響を考慮して、撮影画像を補正することができる。
【００５１】
（３）デジタルカメラ１００において、制御装置１０４は、撮影画像と同じ解像度で補正用パラメータ（透過率）の分布を表すマップと撮影画像よりも低解像度で補正用パラメータ（透過率）の分布を表すマップとを加算して使用透過率マップを作成する。これにより、補正画像におけるハロー効果を低減することができる。
【００５２】
（４）デジタルカメラ１００において、制御装置１０４は、撮影画像よりも低解像度で補正用パラメータ（透過率）の分布を表す使用透過率マップを作成する。これにより、補正画像におけるハロー効果を低減することができる。
【００５３】
（５）デジタルカメラ１００において、制御装置１０４は、撮影画像と同じ解像度で補正用パラメータ（透過率）の分布を表すマップと撮影画像よりも低解像度で補正用パラメータ（透過率）の分布を表すマップとを加算して使用透過率マップを作成する第１の作成方法と、撮影画像よりも低解像度で補正用パラメータ（透過率）の分布を表す使用透過率マップを作成する第２の作成方法とが使用可能である。制御装置１０４は、撮影画像の周波数成分、撮影画像の撮影時のＩＳＯ感度、および撮影画像が動画であるか静止画であるかのいずれかに応じて、第１の作成方法および第２の作成方法のいずれかを選択して、使用透過率マップを作成する。これにより、補正画像の解像感が高くなる第１の作成方法と処理負荷の少ない第２の作成方法とを適切に使い分けることができる。
【００５４】
（６）デジタルカメラ１００において、制御装置１０４は、ＲＧＢ色空間で表された撮影画像を、円錐モデルのＨＳＶ色空間で表されるＨＳＶ画像に変換し、当該ＨＳＶ画像のＳ成分（彩度）とＶ成分（明度）とに基づいて白強度マップを作成するようにした。このようにＨＳＶ色空間の円錐モデルを利用することにより、「彩度が高くかつ明度が低い」条件と「彩度が低くかつ明度が高い」条件とが切り分けやすく、霧やもや、煙などの影響で白くぼやけた領域を抽出しやすくなる。従って、霧やもや、煙などの影響で白くぼやけた領域を強調して処理することができる。
【００５５】
−第２の実施の形態−
次に、本発明の第２の実施の形態について説明する。上述した第１の実施の形態では、撮影画像の色空間をＲＧＢ色空間からＨＳＶ色空間へ変換して、上記画像補正処理を行う例について説明した。以下で説明する第２の実施の形態では、ＨＳＶ色空間への変換を行わずに、Ｙ（輝度）とＣｂ，Ｃｒ（色差）の３つの成分で表されるＹＣｂＣｒ色空間において上記画像補正処理を行う例について説明する。
【００５６】
第２の実施の形態においても、画像補正処理の流れ（図３）は第１の実施の形態と同様であるため、図３のフローチャートを参照して説明する。ステップＳ１において、制御装置１０４は、画像補正処理を行う撮影画像を取得する。ここで、撮影画像は、ＹＣｂＣｒ色空間で表されているとする。
【００５７】
ステップＳ２において、制御装置１０４は、撮影画像の白強度マップを作成する。ここで、制御装置１０４は、ＹＣｂＣｒ色空間で表された撮影画像のＣｂＣｒ（色差）を用いて、撮影画像の彩度情報Ｓ’を算出する。彩度情報Ｓ’は、たとえば、以下の式（１２）により求めることができる。なお、以下に説明する式において、Ｃｂ、Ｃｒは、−０．５〜０．５の範囲で表されているとする。
【数１】
2015192338.tif 000003
【００５８】
上記式（１２）ではルートの計算が入るため、以下の式（１３）のように簡略化して、彩度情報Ｓ’を求めるようにしてもよい。なお、以下の式において、normalizeは、最小値が０、最大値が１となるように正規化する関数である。
Ｓ’＝normalize（Ｃｂ２＋Ｃｒ２）  ・・・（１３）
【００５９】
さらに以下の式（１４）または（１５）のように簡略化して、彩度情報Ｓ’を求めるようにしてもよい。
Ｓ’＝（ｍｉｎ｜Ｃｂ｜，｜Ｃｒ｜）／０．５  ・・・（１４）
Ｓ’＝normalize（｜Ｃｂ｜）・normalize（｜Ｃｒ｜）  ・・・（１５）
【００６０】
このように制御装置１０４は、上述した式（１２）〜（１５）のいずれかを用いて、ＹＣｂＣｒ色空間で表された撮影画像の彩度情報Ｓ’を算出する。
【００６１】
また、制御装置１０４は、ＹＣｂＣｒ色空間で表された撮影画像において、Ｙ（輝度）を撮影画像の明度情報として用いる。制御装置１０４は、撮影画像の彩度情報Ｓ’と明度情報Ｙ（輝度）を用いて、以下の式（１６）により撮影画像の白強度マップを作成する。
Ｗ（ｘ）＝（１−Ｓ’（ｘ））・Ｙ（ｘ）  ・・・（１６）
但し、
ｘ：画素位置
Ｗ（ｘ）：各画素位置の白強度
Ｓ’（ｘ）：各画素位置のＣｂＣｒから算出した彩度情報
Ｙ（ｘ）：各画素位置の輝度
【００６２】
ステップＳ３において、制御装置１０４は、撮影画像における環境光の色情報を取得する。ここでは、明度Ｖを輝度Ｙに置き換えて、上述した第１の実施の形態と同様に環境光の色情報を求めればよい。
【００６３】
ステップＳ４において、制御装置１０４は、上述した第１の実施の形態と同様にして、使用透過率マップを作成する。
【００６４】
ステップＳ５において、制御装置１０４は、上述した第１の実施の形態と同様に、上述した式（１０）および（１１）を用いて補正画像の彩度Ｊｓ（ｘ）および明度Ｊｖ（ｘ）を算出する。また、補正画像の色相Ｊｈ（ｘ）については、元の撮影画像の色相と同じなので、撮影画像のＣｂＣｒ成分から以下の式（１７）により色相Ｈを求めればよい。
Ｈ＝ｔａｎ−１（Ｃｒ／Ｃｂ）  ・・・（１７）
【００６５】
そして制御装置１０４は、得られたＨＳＶ色空間の補正画像を、ＹＣｂＣｒ色空間の補正画像に変換する。ここでは、補正画像の明度Ｖを、補正画像のＹ（輝度）とすればよい。また、補正画像のＣｂＣｒ（色差）については、補正画像の彩度Ｓと色相Ｈとから以下の式（１８）および（１９）により算出する。
Ｃｂ＝Ｓ・ｃｏｓ（Ｈ）  ・・・（１８）
Ｃｒ＝Ｓ・ｓｉｎ（Ｈ）  ・・・（１９）
【００６６】
以上説明した第２の実施の形態によれば、次の作用効果が得られる。
制御装置１０４は、ＹＣｂＣｒ色空間で表される撮影画像のＣｂ成分およびＣｒ成分に基づいて彩度情報Ｓ’を算出し、撮影画像のＹ成分を明度情報として、白強度マップを作成し、上記画像補正処理を行うようにした。このように、ＪＰＥＧやＭＰＥＧなどの圧縮にも使用されているＹＣｂＣｒ色空間において直接計算を行うことで、ＹＣｂＣｒ色空間で記録された撮影画像に対して上記画像補正処理を行う場合に、色空間を変換することなく処理を行えるので、処理負荷を軽減することができる。
【００６７】
−第３の実施の形態−
次に、本発明の第３の実施の形態について説明する。上述した第１の実施の形態では、ＨＳＶ色空間において上記画像補正処理を行う例について説明した。以下説明する第３の実施の形態では、白強度マップの作成のみＨＳＶ色空間において行い、これ以降の処理（図３のステップＳ３〜Ｓ５）をＲＧＢ色空間において行う例について説明する。
【００６８】
第３の実施の形態においても、画像補正処理の流れ（図３）は第１の実施の形態と同様であるため、図３のフローチャートを参照して説明する。ステップＳ１において、制御装置１０４は、ＲＧＢ色空間で表された撮影画像を取得する。ステップＳ２において、制御装置１０４は、上述した第１の実施の形態と同様に、撮影画像の色空間をＲＧＢ色空間からＨＳＶ色空間へ変換し、彩度Ｓおよび明度Ｖを用いて白強度マップを作成する。
【００６９】
ステップＳ３において、制御装置１０４は、撮影画像における環境光の色情報を取得する。具体的に制御装置１０４は、第１の実施の形態と同様に、ステップＳ２で作成した白強度マップにおいて、各画素位置の白強度を高い順で並べた場合の全体に対する上位０．１％の領域を、撮影画像における白強度の最大領域として抽出する。そして制御装置１０４は、第１の実施の形態とは異なり、抽出した白強度の最大領域のうちグレースケール強度Ｇｒａｙが最も高い画素位置の色情報（ＲＧＢ）を、環境光の色情報として取得する。なお、グレースケール強度Ｇｒａｙは、撮影画像の各画素位置におけるＲＧＢ値の平均値であり、以下の式（２０）によって算出される。
Ｇｒａｙ＝（Ｒ＋Ｇ＋Ｂ）／３  ・・・（２０）
【００７０】
ステップＳ４において、制御装置１０４は、ステップＳ２で作成した白強度マップと、ステップＳ３で取得した環境光の色情報（ＲＧＢ）から算出されるグレースケール強度とを用いて、撮影画像の透過率マップを作成する。制御装置１０４は、以下の式（２１）を用いて、透過率ｔ（ｘ）を求める。
ｔ（ｘ）＝１−ω・Ｗ（ｘ）／Ａｇｒａｙ  ・・・（２１）
但し、
ｘ：画素位置
ｔ（ｘ）：各画素位置の透過率
ω：定数
Ｗ（ｘ）：各画素位置の白強度
Ａｇｒａｙ：環境光のグレースケール強度
【００７１】
そして、制御装置１０４は、ハロー効果を防止するため、上述した第１の実施の形態と同様にして、使用透過率マップを作成する。
【００７２】
ステップＳ５（図３）において、制御装置１０４は、ステップＳ３で取得した環境光の色情報とステップＳ４で作成した使用透過率マップとを用いて、撮影画像を補正した補正画像を作成し、図３の処理を終了する。具体的には、制御装置１０４は、以下の式（２２）〜（２４）により、ＲＧＢ色空間で表された補正画像を作成する。
Ｊｒ（ｘ）＝｛（Ｉｒ（ｘ）−Ａｒ）／Ｔ（ｘ）｝・Ａｒ＋Ａｒ  ・・・（２２）
Ｊｇ（ｘ）＝｛（Ｉｇ（ｘ）−Ａｇ）／Ｔ（ｘ）｝・Ａｇ＋Ａｇ  ・・・（２３）
Ｊｂ（ｘ）＝｛（Ｉｂ（ｘ）−Ａｂ）／Ｔ（ｘ）｝・Ａｂ＋Ａｂ  ・・・（２４）
但し、
ｘ：画素位置
Ｉｒ（ｘ），Ｉｇ（ｘ），Ｉｂ（ｘ）：撮影画像の各画素位置のＲ，Ｇ，Ｂ
Ｊｈ（ｘ），Ｊｓ（ｘ），Ｊｖ（ｘ）：補正画像の各画素位置のＲ，Ｇ，Ｂ
Ａｒ，Ａｇ，Ａｂ：環境光のＲ，Ｇ，Ｂ
Ｔ（ｘ）：使用透過率マップにおける各画素位置の透過率
【００７３】
式（２２）〜（２４）は、上述した霧画像モデルの式（２）を応用した式であり、式（２）の第１項（Ｉ（ｘ）−Ａ）／ｔ（ｘ）に対応する成分に環境光の成分を乗算することで、より自然に撮影画像をくっきりさせた補正画像を得ることができる。
【００７４】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（変形例１）
撮影画像における環境光の色情報を取得する方法について、上述した方法に限らない。たとえば、デジタルカメラ１００に環境光を検出する環境光センサを設け、撮影時における環境光センサの検出結果を利用してもよいし、撮影時のホワイトバランス設定の情報を利用してもよい。
【００７５】
また、撮影画像ごとに環境光の色情報を取得するのではなく、予め所定の環境光色情報をデジタルカメラ１００内のメモリに記憶させておき、上記画像補正処理の際に当該環境光色情報を読み出して使用するようにしてもよい。
【００７６】
（変形例２）
上述した実施の形態では、ユーザの指示に応じて上記画像補正処理を実行する例について説明したが、撮影モードが風景モードまたは水中モードである場合には、制御装置１０４は、撮影画像に対して自動的に上記画像補正処理を実行するようにしてもよい。
【００７７】
（変形例３）
透過率ｔ（ｘ）を求める式は、上述した式（７）に限らない。たとえば、定数ωの代わりに、以下の式（２５）のようにｌｏｇを用いた式で透過率ｔ（ｘ）を算出するようにしてもよい。
ｔ（ｘ）＝１−ｌｏｇ（Ｗ（ｘ）／Ａｖ）  ・・・（２５）
【００７８】
（変形例４）
上述した実施の形態では、デジタルカメラ１００の制御装置１０４が上述した画像補正処理（図３）を実行する例について説明したが、これらの処理を行うプログラムをパーソナルコンピュータなどの画像処理装置が実行するようにしてもよい。この場合、パーソナルコンピュータ（ＰＣ）２００に対するプログラムのローディングは、図５に示すように、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体２０１をＰＣ２００にセットして行ってもよいし、ネットワークなどの通信回線２０２を経由する方法でＰＣ２００へローディングしてもよい。通信回線２０２を経由する場合は、通信回線２０２に接続されたサーバー（コンピュータ）２０３のハードディスク装置２０４などにプログラムを格納しておく。プログラムは、記録媒体２０１や通信回線２０２を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
【００７９】
（変形例５）
上述した画像補正処理は、防災や防犯のための監視カメラや、事故予防のための車載カメラなどにおいて、たとえば霧やもや、煙などの影響で白くぼやけた撮影画像の視認性を向上させる場合にも好適である。
【００８０】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【００８１】
１００…デジタルカメラ、１０１…操作部材、１０２…撮影レンズ、１０３…撮像素子、１０４…制御装置、１０５…メモリカードスロット、１０６…モニタ
【図１】
2015192338.tif 000004
【図２】
2015192338.tif 000005
【図３】
2015192338.tif 000006
【図４】
2015192338.tif 000007
【図５】
2015192338.tif 000008