(57)【要約】【課題】空領域又は逆光領域の過強調を抑制しつつ、画像の視認性を改善する。【解決手段】画像処理装置１は、入力画像ＤＩＮから大気光補正画像Ｄ２０を生成する大気光補正部２０と、入力画像ＤＩＮから強調抑制領域としての空領域を算出する空領域算出部３０と、大気光補正画像Ｄ２０における局所領域内の最小画素値を、各画素の第１のダークチャネル値Ｄ４０として出力するダークチャネル生成部４０と、空領域における第１のダークチャネル値を補正することによって各画素の第２のダークチャネル値Ｄ５０を生成するダークチャネル補正部５０と、第２のダークチャネル値Ｄ５０から入力画像ＤＩＮの各画素における透過率Ｄ６０を算出する透過率算出部６０と、透過率Ｄ６０を用いて入力画像ＤＩＮの各画素から霞成分を除去する処理を行うことによって霞除去画像ＤＯＵＴを生成する霞除去画像生成部７０とを備える。【選択図】図１
2017138647.tif 000002
【特許請求の範囲】
【請求項１】
大気光画素値を取得する大気光画素値取得部と、
前記大気光画素値を用いて入力画像を補正することによって、前記入力画像から大気光補正画像を生成する大気光補正部と、
前記入力画像から空と推定される空領域及び逆光が存在する領域と推定される逆光領域の少なくとも一方である強調抑制領域を算出する領域算出部と、
前記大気光補正画像における局所領域内での最小画素値を、前記局所領域内の注目画素についての第１のダークチャネル値として出力するダークチャネル生成部と、
前記強調抑制領域における前記第１のダークチャネル値を補正することによって、前記ダークチャネル生成部から出力された前記第１のダークチャネル値から第２のダークチャネル値を生成するダークチャネル補正部と、
前記第２のダークチャネル値から前記入力画像の各画素における透過率を算出する透過率算出部と、
前記透過率を用いて前記入力画像の各画素から霞成分を除去する処理を行うことによって、前記入力画像から霞除去画像を生成する霞除去画像生成部と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記ダークチャネル補正部は、前記強調抑制領域における前記第１のダークチャネル値を補正し、前記強調抑制領域以外の領域における前記第１のダークチャネル値を補正しないことによって、前記第２のダークチャネル値を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域算出部は、前記入力画像における色、コントラスト、及びエッジの内の少なくとも１つに基づいて、前記強調抑制領域としての前記空領域を算出する空領域算出部を含む
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記領域算出部は、前記入力画像における輝度ヒストグラムに基づいて、前記強調抑制領域としての前記逆光領域を算出する逆光領域算出部を含む
ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
大気光画素値を取得するステップと、
前記大気光画素値を用いて入力画像を補正することによって、前記入力画像から大気光補正画像を生成するステップと、
前記入力画像から空と推定される空領域及び逆光が存在する領域と推定される逆光領域の少なくとも一方である強調抑制領域を算出するステップと、
前記大気光補正画像における局所領域内での最小画素値を、前記局所領域内の注目画素についての第１のダークチャネル値として出力するステップと、
前記強調抑制領域における前記第１のダークチャネル値を補正することによって、前記第１のダークチャネル値を出力するステップにおける前記第１のダークチャネル値から第２のダークチャネル値を生成するステップと、
前記第２のダークチャネル値から前記入力画像の各画素における透過率を算出するステップと、
前記透過率を用いて前記入力画像の各画素から霞成分を除去する補正を行うことによって、前記入力画像から霞除去画像を生成するステップと
を有することを特徴とする画像処理方法。
【請求項６】
請求項１から４のいずれか１項に記載の画像処理装置である画像処理部と、
前記画像処理部に入力される入力画像を生成する撮像部と、
を備えることを特徴とする映像撮影装置。
【請求項７】
請求項１から４のいずれか１項に記載の画像処理装置である画像処理部と、
情報記録媒体に記録されている画像データを前記画像処理部に入力される入力画像として出力する記録再生部と、
を備えることを特徴とする映像記録再生装置。
【請求項８】
コンピュータに、
大気光画素値を取得する処理と、
前記大気光画素値を用いて入力画像を補正することによって、前記入力画像から大気光補正画像を生成する処理と、
前記入力画像から空と推定される空領域及び逆光が存在する領域と推定される逆光領域の少なくとも一方である強調抑制領域を算出する処理と、
前記大気光補正画像における局所領域内での最小画素値を、前記局所領域内の注目画素についての第１のダークチャネル値として出力する処理と、
前記強調抑制領域における前記第１のダークチャネル値を補正することによって、前記第１のダークチャネル値を出力するステップにおける前記第１のダークチャネル値から第２のダークチャネル値を生成する処理と、
前記第２のダークチャネル値から前記入力画像の各画素における透過率を算出する処理と、
前記透過率を用いて前記入力画像の各画素から霞成分を除去する補正を行うことによって、前記入力画像から霞除去画像を生成する処理と
を実行させるためのプログラム。
【請求項９】
コンピュータに、
大気光画素値を取得する処理と、
前記大気光画素値を用いて入力画像を補正することによって、前記入力画像から大気光補正画像を生成する処理と、
前記入力画像から空と推定される空領域及び逆光が存在する領域と推定される逆光領域の少なくとも一方である強調抑制領域を算出する処理と、
前記大気光補正画像における局所領域内での最小画素値を、前記局所領域内の注目画素についての第１のダークチャネル値として出力する処理と、
前記強調抑制領域における前記第１のダークチャネル値を補正することによって、前記第１のダークチャネル値を出力するステップにおける前記第１のダークチャネル値から第２のダークチャネル値を生成する処理と、
前記第２のダークチャネル値から前記入力画像の各画素における透過率を算出する処理と、
前記透過率を用いて前記入力画像の各画素から霞成分を除去する補正を行うことによって、前記入力画像から霞除去画像を生成する処理と
を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像（入力画像データ）から霞を除去する処理を行うことにより霞除去画像（補正画像データ）を生成する画像処理装置、画像処理方法、映像撮影装置、映像記録再生装置、プログラム及び記録媒体に関する。
【背景技術】
【０００２】
カメラ撮影によって得られた撮像画像の鮮明さを低下させる要因として、霞、霧、靄、雪、煙、スモッグ、及び粉塵などのような浮遊粒子がある。本出願では、このような浮遊粒子を総称して「霞（Ｈａｚｅ）」という。霞が存在する環境において被写体（物体）をカメラ撮影して得られた入力画像としての撮像画像では、霞の濃度が増すほどコントラストが低下して、被写体の判別性及び視認性が低下する。このような霞による画質低下を改善するため、撮像画像から霞を除去して霞除去画像（霞フリー画像）の画像データ（補正画像データ）を生成する霞補正技術が提案されている。このような霞補正技術としては、ダークチャネルプライア（Ｄａｒｋ  Ｃｈａｎｎｅｌ  Ｐｒｉｏｒ）に基づく方法が知られている。ダークチャネルプライアは、屋外自然画像の局所領域内の複数の色チャネル（赤（Ｒ）チャネル、緑（Ｇ）チャネル、及び青（Ｂ）チャネル）における光強度を色チャネルごとに調べた場合、複数の色チャネルの内の少なくとも１つの色チャネルの局所領域内における光強度（画素値）の最小値は、非常に小さい値（一般には、０に近い値）であるという法則である。また、複数の色チャネル（すなわち、Ｒチャネル、Ｇチャネル、及びＢチャネル）の局所領域内における光強度の最小値（すなわち、Ｒチャネルの最小値、Ｇチャネルの最小値、及びＢチャネルの最小値）の内の、最も小さい値をダークチャネル（Ｄａｒｋ  Ｃｈａｎｎｅｌ）又はダークチャネル値と言う。ダークチャネルプライアによれば、カメラ撮影によって生成された入力画像としての撮像画像（撮像画像データ）から局所領域ごとのダークチャネル値を計算することで、撮像画像における複数の画素の透過度（透過率）からなるマップ（透過度マップ）を推定することができる。そして、推定された透過度マップを用いて、撮像画像から霞除去画像を生成するための画像処理を行うことができる。
【０００３】
例えば、特許文献１では、入力画像の複数の色チャネルの画素値であるＲ画素値、Ｇ画素値、Ｂ画素値を、大気光のＲ画素値、Ｇ画素値、Ｂ画素値でそれぞれ割ることで、入力画像が補正される。その後、補正された入力画像についてのダークチャネル値を使い、入力画像における霞の密度が推定され、推定された霞の密度から、粗い精度の透過率が求められ、また、ソフトマッティングと呼ばれる手法を用いて細かい精度の透過率が求められる。その後、求められた透過率を使って画像から霞を除去する処理が行われる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２２１２３７号公報（例えば、段落００１１から００２３）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のように、ダークチャネル値は、Ｒチャネル、Ｇチャネル、及びＢチャネルの局所領域内における画素値（光強度）の最小値の内の、最も小さい値であるため、従来の装置では、撮像画像においてコントラストが低く、白みを帯びている領域が、霞によってコントラストが低下している領域であるのか、又は、本来的にコントラストが低い領域（例えば、空領域又は逆光領域）を撮影しているのか、を区別することはできない。このため、撮像画像においてコントラストが低く、白みを帯びている領域である空領域又は逆光領域を、濃い霞が存在する領域であると誤って判断（誤認識）し、霞が存在しない空領域又は逆光領域に霞除去処理を施し、空領域又は逆光領域が過強調されるという課題があった。
【０００６】
本発明は、上記課題を解決するためになされたものであり、空領域又は逆光領域の過強調を抑制しつつ、画像の視認性を改善することができる画像処理装置、画像処理方法、映像撮影装置、映像記録再生装置、プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る画像処理装置は、大気光画素値を取得する大気光画素値取得部と、前記大気光画素値を用いて入力画像を補正することによって、前記入力画像から大気光補正画像を生成する大気光補正部と、前記入力画像から空と推定される空領域及び逆光が存在する領域と推定される逆光領域の少なくとも一方である強調抑制領域を算出する領域算出部と、前記大気光補正画像における局所領域内での最小画素値を、前記局所領域内の注目画素についての第１のダークチャネル値として出力するダークチャネル生成部と、前記強調抑制領域における前記第１のダークチャネル値を補正することによって、前記ダークチャネル生成部から出力された前記第１のダークチャネル値から第２のダークチャネル値を生成するダークチャネル補正部と、前記第２のダークチャネル値から前記入力画像の各画素における透過率を算出する透過率算出部と、前記透過率を用いて前記入力画像の各画素から霞成分を除去する処理を行うことによって、前記入力画像から霞除去画像を生成する霞除去画像生成部とを備えたことを特徴とする。
【０００８】
本発明の他の態様に係る画像処理方法は、大気光画素値を取得するステップと、前記大気光画素値を用いて入力画像を補正することによって、前記入力画像から大気光補正画像を生成するステップと、前記入力画像から空と推定される空領域及び逆光が存在する領域と推定される逆光領域の少なくとも一方である強調抑制領域を算出するステップと、前記大気光補正画像における局所領域内での最小画素値を、前記局所領域内の注目画素についての第１のダークチャネル値として出力するステップと、前記強調抑制領域における前記第１のダークチャネル値を補正することによって、前記第１のダークチャネル値を出力するステップにおける前記第１のダークチャネル値から第２のダークチャネル値を生成するステップと、前記第２のダークチャネル値から前記入力画像の各画素における透過率を算出するステップと、前記透過率を用いて前記入力画像の各画素から霞成分を除去する補正を行うことによって、前記入力画像から霞除去画像を生成するステップとを有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、空領域又は逆光領域における第１のダークチャネル値を補正することによって第２のダークチャネル値を生成し、第２のダークチャネル値から透過率を算出し、この透過率を用いて入力画像の各画素から霞成分を除去する補正を行うことによって、空領域又は逆光領域の強調を抑制しつつ、画像の視認性を改善することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態１に係る画像処理装置の構成を概略的に示すブロック図である。
【図２】ダークチャネル値と補正係数の関係のグラフの一例を示す図である。
【図３】ダークチャネル値と補正係数の関係のグラフの他の例を示す図である。
【図４】本発明の実施の形態２に係る画像処理装置の構成を概略的に示すブロック図である。
【図５】本発明の実施の形態３に係る画像処理方法を示すフローチャートである。
【図６】本発明の実施の形態４に係る画像処理装置を示すハードウェア構成図である。
【図７】実施の形態１又は２に係る画像処理装置が画像処理部として適用された映像撮影装置の構成を概略的に示すブロック図である。
【図８】実施の形態１又は２に係る画像処理装置が画像処理部として適用された映像記録再生装置の構成を概略的に示すブロック図である。
【発明を実施するための形態】
【００１１】
《１》実施の形態１
《１−１》構成
図１は、本発明の実施の形態１に係る画像処理装置１の構成を概略的に示すブロック図である。実施の形態１に係る画像処理装置１は、例えば、カメラ撮影によって生成された撮像画像である入力画像（入力画像データ）ＤＩＮから、霞を除去する処理を行うことによって、霞除去画像（霞フリー画像）としての補正画像（補正画像データ）ＤＯＵＴを生成する。画像処理装置１は、本発明の実施の形態に係る画像処理方法（実施の形態３）を実施することができる装置である。
【００１２】
図１に示されるように、実施の形態１に係る画像処理装置１は、大気光画素値Ａを取得（例えば、入力画像ＤＩＮから算出）する大気光画素値取得部１０と、大気光画素値取得部１０で取得された大気光画素値Ａを用いて入力画像ＤＩＮを補正することによって、大気光補正画像（大気光補正画像データ）Ｄ２０を生成する大気光補正部２０と、入力画像ＤＩＮから空と推定される空領域（例えば、屋外自然画像における空）を示す空領域画像（空領域画像データ）Ｄ３０を算出する領域算出部としての空領域算出部３０とを備えている。
【００１３】
また、画像処理装置１は、大気光補正部２０によって生成された大気光補正画像（大気光補正画像データ）Ｄ２０における局所領域内での最小画素値を、この局所領域内の注目画素についての第１のダークチャネル値Ｄ４０として出力する最小画素値算出部としてのダークチャネル生成部４０を備えている。画像の座標（ｉ，ｊ）の注目画素の第１のダークチャネル値Ｄ４０は、Ｄｒｋ０（ｉ，ｊ）と表記される。ｉは、１画面の水平方向の座標を示す正の整数であり、ｊは、画面の垂直方向の座標を示す正の整数である。一般に、第１のダークチャネル値Ｄ４０は、局所領域の位置を変えて、画像ＤＩＮの全域（全画素）について生成される。
【００１４】
さらに、画像処理装置１は、空領域Ｄ３０における第１のダークチャネル値Ｄ４０（Ｄｒｋ０（ｉ，ｊ））を補正することによって、ダークチャネル生成部４０から出力された第１のダークチャネル値Ｄ４０（Ｄｒｋ０（ｉ，ｊ））から第２のダークチャネル値Ｄ５０（Ｄｒｋ１（ｉ，ｊ））を生成するダークチャネル補正部５０を備えている。画像の座標（ｉ，ｊ）の画素の第１のダークチャネル値Ｄ４０は、Ｄｒｋ０（ｉ，ｊ）と表記される。補正されたダークチャネル値Ｄ５０は、画像の座標（ｉ，ｊ）の画素のダークチャネル値について、Ｄｒｋ１（ｉ，ｊ）とも表記される。一般に、第２のダークチャネル値Ｄ５０は、画像ＤＩＮの全域（全画素）について生成される。
【００１５】
さらにまた、画像処理装置１は、第２のダークチャネル値Ｄ５０（Ｄｒｋ１（ｉ，ｊ））から入力画像ＤＩＮの各画素における透過率Ｄ６０（Ｔｒｋ（ｉ，ｊ））を算出する透過率算出部６０と、透過率Ｔｒｋ（ｉ，ｊ）を用いて入力画像ＤＩＮの各画素から霞成分を除去する補正を行うことによって、入力画像ＤＩＮから霞除去画像ＤＯＵＴ（Ｊ（ｉ，ｊ））を生成する霞除去画像生成部７０とを備えている。
【００１６】
遠方にある被写体（物体）をカメラ撮影する場合に、カメラ撮影によって得られた画像において、大気光の影響を受けて被写体が白くかすんで見える場合がある。大気光とは、大気中に浮遊する粒子（霞）による散乱光を示す。
【００１７】
霞が存在する入力画像は、物体からの直接光と、この物体の周りの大気光とを合わせた画像であるとみなすことができる。このことは、次式（１）で表される。
【数１】
2017138647.tif 000003
【００１８】
Ｉ（ｉ，ｊ）は、実際のカメラ撮影（観察）によって得られた入力画像ＤＩＮにおける、座標（ｉ，ｊ）の画素の光強度（画素値）を示す。Ｊ（ｉ，ｊ）は、実際のカメラ撮影によって得られた入力画像ＤＩＮにおける、物体からの直接光の座標（ｉ，ｊ）の画素の光強度（画素値）を示す。式（１）からわかるように、Ｊ（ｉ，ｊ）は、霞が除去された霞除去画像における座標（ｉ，ｊ）の画素の光強度を示す。Ｔｒｎ（ｉ，ｊ）は、座標（ｉ，ｊ）の画素における透過率（透過度）を示し、０＜Ｔｒｎ（ｉ，ｊ）＜１である。Ａは、霞によって分散した大気光の光強度を示す大気光画素値である。
【００１９】
大気光を求めるときに、撮像画像（原画像）である入力画像ＤＩＮから輝度が一番高い画素を大気光とみなす方法がある。しかし、入力画像ＤＩＮから輝度が一番高い画素を選択すると、入力画像ＤＩＮ中の白い物体を大気光と誤って認識（誤判断）する可能性がある。そこで、入力画像ＤＩＮ中の白い物体を大気光と誤って認識しないようにするために、パッチ（部分領域）ごとの画素値の最小値を用いる方法がある。この方法では、パッチごとの画素値の最小値を用いる場合には、霞だけが存在する画像のパッチごとの画素値の最小値を取得することができる。次に、そのパッチごとの画素値の最小値を取得した画像の中で、輝度の高いパッチを選択し、そのパッチに対応する入力画像の領域において、輝度の最も高い画素の輝度値を大気光とする。ただし、大気光の求め方は、これらの方法に限定されない。
【００２０】
大気光画素値取得部１０は、入力画像ＤＩＮを受け取り、入力画像ＤＩＮから大気光画素値Ａを算出する。大気光画素値取得部１０は、例えば、入力画像ＤＩＮの１画面の全体に対し１つの大気光画素値Ａを求める。入力画像ＤＩＮの画素値のうち、大気中の粒子による散乱光により得られる成分が大気光画素値Ａである。大気光画素値Ａとして、上記した部分領域ごとの画素値の最小値を用いることができる。なお、大気光画素値Ａの求め方は、入力画像ＤＩＮから求めるこの方法に限られたものではない。例えば、ユーザの入力操作によって、大気光画素値Ａをある値に設定してもよい。
【００２１】
大気光補正部２０は、入力画像ＤＩＮと大気光画素値取得部１０で取得された大気光画素値Ａとを受け取り、入力画像ＤＩＮの各画素値を大気光画素値Ａで割った値を画素値とする大気光補正画像（大気光補正画像データ）Ｄ２０を出力する。この割り算は、チャネルごとに行われる。例えば、入力画像がＲチャネル、Ｇチャネル、Ｂチャネルの３チャネルから成るＲＧＢ画像である場合、入力画像ＤＩＮの各画素において、各画素のＲ画素値を大気光画素値ＡのＲ画素値で割り、各画素のＧ画素値を大気光画素値のＧ画素値で割り、各画素のＢ画素値を大気光画素値のＢ画素値で割る。また、入力画像ＤＩＮが輝度値である１チャネルから成るＹ（輝度信号）画像の場合、入力画像ＤＩＮの各画素のＹ画素値を大気光画素値ＡとしてのＹ画素値で割る。
【００２２】
領域算出部としての空領域算出部３０は、入力画像ＤＩＮを受け取り、入力画像ＤＩＮの中から、空と推定される領域である空領域を算出（決定）する。空領域算出部３０は、入力画像ＤＩＮの中から、色が薄く（例えば、色が基準値より薄い）、コントラストが低い（例えば、コントラストが基準値より低い）領域を空領域と推定（決定）することができる。空領域は、過強調を回避するために強調が抑制されるべき領域である強調抑制領域の一例である。また、空領域算出部３０は、入力画像ＤＩＮの中のエッジが少ない（例えば、エッジが基準値より少ない）領域を空領域と判別（決定）してもよい。さらにまた、空領域算出部３０は、入力画像ＤＩＮの中からコントラストが低い領域を空領域と推定（決定）してもよい。また、空領域算出部３０は、入力画像ＤＩＮの中から、隣接する画素間の輝度値の差が小さい領域を空領域と推定（決定）してもよい。空領域を算出（決定）する際に空領域算出部３０が行う画像の走査は、画像の１画面に対応する表示領域を、左上から右下に向けて走査してもよいし、画像の１画面に対応する表示領域をラインごとに区切って走査してもよい。空領域算出部は、空と推定された空領域と、空領域以外の領域とを区別する値（情報）を持つ画像を出力する。
【００２３】
ダークチャネル生成部４０は、大気光補正部２０から出力された大気光補正画像Ｄ２０を受け取り、大気光補正画像Ｄ２０の画素ごとに、それぞれの画素を中心とする局所領域（例えば、矩形の領域）に基づき第１のダークチャネル値Ｄ４０（すなわち、Ｄｒｋ０（ｉ，ｊ））を求める。局所領域は、例えば、注目画素を中心としたｉ方向（画面の水平方向）に３画素でｊ方向（画面の垂直方向）に３画素（３画素×３画素）の正方形であってもよいし、ｉ方向にｍ画素でｊ方向にｎ画素の長方形でもよく（ｍは正の整数であり、ｎは正の整数である）、また、四角形以外の領域であってもよい。また、注目画素は、必ずしも局所領域の中心（中央）の画素である必要はなく、中心以外の位置の画素であってもよい。
【００２４】
注目画素のダークチャネル値とは、注目画素を含む局所領域内の全ての画素のチャネル値（画素値）の内の最小値をいう。Ｒチャネル、Ｇチャネル、Ｂチャネルの３チャネルから成るＲＧＢ画像の場合、注目画素のダークチャネル値は、注目画素を含む局所領域内の全ての画素の画素値であるＲ画素値、Ｇ画素値、Ｂ画素値の内の最小値となる。輝度値１チャネルから成るＹ画像の場合は、注目画素のダークチャネル値は、その画素を含む局所領域内の全ての画素の輝度（Ｙ画素値）の内の最小値となる。なお、入力画像ＤＩＮは、ＲＧＢ画像又はＹ画像とは異なるチャネルで構成される画像であってもよい。ダークチャネル値の算出式は、以下の式（２）の通りである。
【数２】
2017138647.tif 000004
【００２５】
ここで、Ｄｒｋ（ｉ，ｊ）は、座標（ｉ，ｊ）の注目画素のダークチャネル値である。Ωは、座標（ｉ，ｊ）の注目画素を含む（例えば、中心とする）矩形の局所領域である。Ｉｍｉｎ（ｉ，ｊ）は、Ｒ画素値、Ｇ画素値、Ｂ画素値（すなわち、Ｒ，Ｇ，Ｂ成分）の内の最小値である。
【００２６】
ダークチャネル生成部４０は、注目画素を含む局所領域においてダークチャネル値（第１のダークチャネル値）を求める計算を、局所領域の位置を変えて画像の全域について行い、計算によって得られた複数のダークチャネル値Ｄｒｋ（ｉ，ｊ）を複数の第１のダークチャネル値Ｄｒｋ０（ｉ，ｊ）として出力する。１画面の全画素についての第１のダークチャネル値は、ダークチャネルマップとも言われる。
【００２７】
図２は、第１のダークチャネル値と空領域における補正係数Ｋ（ｘ）の関係のグラフの一例を示す図である。ｘは、第１のダークチャンネル値である。ダークチャネル補正部５０は、ダークチャネル生成部４０から出力される各画素の第１のダークチャネル値と、空領域算出部３０から出力される、空領域と空領域以外の領域を識別する値を持つ画像を受け取る。ダークチャネル補正部５０は、空領域以外の領域の第１のダークチャネル値は、補正をせずにそのままの値で第２のダークチャネル値として出力する。ダークチャネル補正部５０は、空領域に関しては、第１のダークチャネル値に補正処理を掛ける補正処理を施す。補正係数は、図２に示されるように、第１のダークチャネル値が０から値ｄ０の範囲では、空領域の第１のダークチャネル値が高いほど、小さくなる係数とすることができる。空領域では、霞の濃い領域と同様に、第１のダークチャネル値が高くなる。しかし、空領域については、空領域であるから第１のダークチャネル値が高いのか、霞が濃いから第１のダークチャネル値が高いのかを区別できない。そこで、空領域については、霞除去のための処理が過度になされないようにするために、第１のダークチャネル値に補正係数Ｋ（ｘ）を掛けて、第１のダークチャネル値よりも値の小さい第２のダークチャネル値を生成する処理（補正）が行われる。また、図２では、第１のダークチャネル値が値ｄ０を超えた場合には、補正係数Ｋ（ｘ）は一定値である。
【００２８】
図３は、第１のダークチャネル値と空領域における補正係数Ｋ（ｘ）の関係のグラフの他の例を示す図である。図３に示されるように、補正係数Ｋ（ｘ）が、ダークチャネル値がある値ｄ１までの間では、第１の傾きＡ１で減少させ、値ｄ１から値ｄ２までの間では、第２の傾きＡ２で減少させ、値ｄ２からｄ３の範囲内では、第３の傾きＡ３で減少させる（又は一定値とする）ようにしてもよい。値ｄ１、ｄ２、ｄ３は、第１のダークチャネル値の平均値から算出してもよい。
【００２９】
一般に、屋外自然画像である風景画像においては、観測点からシーンまでの距離は、画像の中の上部に向かうほど、増加する傾向にあると考えられる。また、光は霞の中を通過する距離が長いほど、水滴と衝突する回数（頻度）が高くなるので、透過率は小さくなると考えられる。したがって、透過率は、画像の中の上部に向かうほど上方向に減少する傾向にあると考えられる。この傾向を用いて、空領域の補正を行うときに、水平走査ラインの垂直走査方向の位置が、上であるほど、第１のダークチャネル値をより高くする補正を行って、第２のダークチャネル値を生成するようにしてもよい。
【００３０】
透過率算出部６０は、ダークチャネル補正部５０から出力された、画素ごとに算出されたダークチャネル値を受け取り、画素ごとに透過率Ｔｒｎ（ｉ，ｊ）を算出する。透過率Ｔｒｎ（ｉ，ｊ）は、大気光が霞を通過する割合を示す。透過率が１００である領域は、霞を含んでいない領域である。透過率が０である領域は、霞が濃い領域となる。透過率を推定するために、局所領域の最小値であるダークチャネル値（第２のダークチャネル値）を用いる。
【００３１】
透過率Ｔｒｎ（ｉ，ｊ）は、ダークチャネル値Ｄｒｋ（ｉ，ｊ）を含む、次式（３）を用いて算出することができる。
【数３】
2017138647.tif 000005
【００３２】
ここで、ωは、霞除去の強さを制御するために予め与えられたパラメータである。人間は、霞によってある程度の遠近感を知覚する。したがって、完全に霞が取り除かれた画像は、不自然に見え、奥行き感も失われる。そこで、式（３）に、霞除去の強さを制御するパラメータωを用いている。Ａ０は、大気光画素値であり、例えば、大気光画素値ＡのＲ成分、Ｇ成分、Ｂ成分の平均値である。
【００３３】
霞除去画像生成部７０は、入力画像ＤＩＮ（すなわち、Ｉ（ｉ，ｊ））と、大気光画素値取得部１０から取得された大気光画素値Ａと、透過率算出部６０により算出された透過率Ｔｒｎ（ｉ，ｊ）とから、以下の式（４）による計算を行うことによって、画素ごとに霞を除去した画像である霞除去画像（補正画像）を求める。
【数４】
2017138647.tif 000006
【００３４】
《１−２》効果
実施の形態１に係る画像処理装置１においては、ダークチャネル補正部５０は、空領域算出部３０によって算出された空領域における透過率の算出に用いられる第２のダークチャネル値（例えば、第１のダークチャネル値を補正して得られた値）と、空領域以外の領域における透過率の算出に用いられる第２のダークチャネル値（例えば、第１のダークチャネル値のそのままの値）とを決定し、空領域算出部３０によって算出された空領域における透過率Ｔｒｎ（ｉ，ｊ）と、空領域以外の領域における透過率Ｔｒｎ（ｉ，ｊ）とを画素ごとに算出する。これにより、空領域を濃い霞と誤認識した結果、空領域のコントラストを過強調することを抑制することができる。
【００３５】
また、空領域は、階調の変化がなだらかであり、コントラスト補正によって信号を増幅すると偽の輪郭などが生じやすいこともある。空領域における第１のダークチャネル値に補正処理を施すことで、この偽輪郭の発生を抑制することができる。
【００３６】
《２》実施の形態２
《２−１》構成
図４は、本発明の実施の形態２に係る画像処理装置２の構成を概略的に示すブロック図である。図４において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。実施の形態２に係る画像処理装置２は、領域検出部としての空領域算出部３０に代えて、逆光領域算出部８０を備えている点、及び、ダークチャネル補正部が、逆光領域と逆光領域以外の領域との間で、第１のダークチャネル値の補正方法を変えている点において、実施の形態１に係る画像処理装置１と相違する。以下の説明では、実施の形態１との相違点を中心に説明する。
【００３７】
逆光領域算出部８０は、入力画像ＤＩＮから逆光が存在する領域と推定される逆光領域を算出する。逆光とは、被写体の背後からカメラに向かって光源の光が差している状態をいう。逆光領域は、白飛びしている領域である。白飛びとは、屋外自然画像における太陽及びその近傍の雲などの明るい部分の階調が失われ真っ白になっている様子である。逆光領域の有無は、画像の輝度ヒストグラムから判断可能である。例えば、輝度を横軸とし、頻度（その輝度を持つ画素の個数）を縦軸とした輝度ヒストグラムにおいて、ピーク状の最大値が存在する場合には、逆光領域が存在すると判定することができる。ダークチャネル生成部４０と、逆光領域算出部より出力された空領域のダークチャネル値を補正するダークチャネル補正部５０と、透過率算出部６０と、霞除去画像生成部７０を備えている。実施の形態２に係る画像処理装置２は、実施の形態１の空領域算出部３０を逆光領域算出部８０に変更したものであり、それ以外の部分は、実施の形態１と同様の構成となる。
【００３８】
《２−２》効果
実施の形態２に係る画像処理装置２においては、ダークチャネル補正部５０は、逆光領域算出部８０によって算出された逆光領域における透過率の算出に用いられる第２のダークチャネル値（例えば、第１のダークチャネル値を補正して得られた値）と、逆光領域以外の領域における透過率の算出に用いられる第２のダークチャネル値（例えば、第１のダークチャネル値のそのままの値）とを決定し、逆光領域算出部８０によって算出された逆光領域における透過率Ｔｒｎ（ｉ，ｊ）と、逆光領域以外の領域における透過率Ｔｒｎ（ｉ，ｊ）とを画素ごとに算出する。これにより、逆光領域を濃い霞と誤認識した結果、逆光領域のコントラストを過強調することを抑制することができる。
【００３９】
また、逆光領域は、階調の変化がなだらかであり、コントラスト補正によって信号を増幅すると偽の輪郭などが生じやすいこともある。逆光領域における第１のダークチャネル値に補正処理を施すことで、この偽輪郭の発生を抑制することができる。
【００４０】
《２−３》変形例
なお、実施の形態２に係る画像処理装置２は、実施の形態１における空領域算出部３０をさらに備え、ダークチャネル補正部５０が、空領域では空領域の補正係数を用いた補正処理を行い、逆光領域では逆光領域の補正係数を用いた補正処理を行ってもよい。逆光領域が空領域と重複する場合には、いずれかの補正処理（例えば、逆光領域におけ補正処理）を優先して行えばよい。
【００４１】
《３》実施の形態３
図５は、実施の形態３に係る画像処理方法を示すフローチャートである。図５に示される画像処理方法は、処理装置（例えば、処理回路、又は、メモリとこのメモリに記憶されているプログラムを実行するプロセッサ）によって実行される。実施の形態３に係る画像処理方法は、実施の形態１又は２に係る画像処理装置１又は２によって実行可能である。図５に示されるステップＳ１１の処理は、図１に示される大気光画素値取得部１０の処理と同じであり、ステップＳ１２の処理は、図１に示される大気光補正部２０の処理と同じであり、ステップＳ１３の処理は、図１に示される空領域算出部３０又は図４に示される逆光領域算出部８０の処理と同じである。また、ステップＳ１４の処理は、図１に示されるダークチャネル生成部４０の処理と同じであり、ステップＳ１５の処理は、図１又は図４に示されるダークチャネル補正部５０の処理と同じである。また、ステップＳ１６の処理は、図１に示される透過率算出部６０の処理と同じであり、ステップＳ１７の処理は、図１に示される霞除去画像生成部７０の処理と同じである。
【００４２】
以上に説明したように、実施の形態３に係る画像処理方法によれば、入力画像ＤＩＮに基づく画像から、霞を除去する処理を行うことにより、霞フリー画像の画像データとしての霞除去画像ＤＯＵＴを生成することができる。また、空領域又は逆光領域のコントラストの過強調を抑制することができる。また、偽輪郭の発生を抑制することができる。
【００４３】
《４》実施の形態４
図６は、本発明の実施の形態４に係る画像処理装置を示すハードウェア構成図である。実施の形態６に係る画像処理装置は、実施の形態１及び２に係る画像処理装置１及び２を実現することができる。実施の形態４に係る画像処理装置（処理装置９０）は、図６に示されるように、集積回路などの処理回路から構成され得る。また、処理装置９０は、メモリ９１と、メモリ９１に格納されているプログラムを実行することができるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９２とから構成され得る。また、処理装置９０は、半導体メモリなどから構成されるフレームメモリ９３を備えてもよい。ＣＰＵ９２は、中央処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、又はＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）とも称される。メモリ９１は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、などの、不揮発性又は揮発性の半導体メモリ、或いは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）などである。
【００４４】
実施の形態１及び２に係る画像処理装置１及び２における各構成の機能は、処理装置９０によって実現され得る。画像処理装置１及び２における各構成の機能は、処理装置９０、すなわち、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現され得る。ソフトウェア及びファームウェアは、プログラムとして記述され、メモリ９１に格納される。ＣＰＵ９２は、メモリ９１に記憶されたプログラムを読み出して実行することにより、実施の形態１及び２に係る画像処理装置１及び２における各構成の機能を実現する。上記以外の点については、実施の形態４は、実施の形態１又は２と同様である。
【００４５】
《５》変形例
上記実施の形態１及び２に係る画像処理装置は、例えば、ビデオカメラのような映像撮影装置に適用可能である。図７は、本発明の実施の形態１又は２に係る画像処理装置が画像処理部７２として適用された映像撮影装置の構成を概略的に示すブロック図である。実施の形態１又は２に係る画像処理装置が適用された映像撮影装置は、カメラ撮影によって入力画像ＤＩＮを生成する撮像部７１と、実施の形態１又は２に係る画像処理装置と同じ構成及び機能を有する画像処理部７２とを備える。このような映像撮影装置は、霞画像を撮影した場合であっても、霞除去画像ＤＯＵＴをリアルタイムに出力することができる。
【００４６】
また、上記実施の形態１及び２に係る画像処理装置は、映像記録再生装置（例えば、ハードディスクレコーダ及び光ディスクレコーダなど）に適用可能である。図８は、本発明の実施の形態１又は２に係る画像処理装置が画像処理部８２として適用された映像記録再生装置の構成を概略的に示すブロック図である。実施の形態１又は２に係る画像処理装置が適用された映像記録再生装置は、画像データを情報記録媒体８３に記録し、情報記録媒体８３に記録されている画像データを画像処理装置としての画像処理部８２に入力される入力画像ＤＩＮとして出力する記録再生部８１と、この記録再生部８１から出力された入力画像ＤＩＮに画像処理を施して霞除去画像ＤＯＵＴを生成する画像処理部８２とを備える。この画像処理部８２は、実施の形態１又は２に係る画像処理装置と同じ構成及び機能を有する。このような映像記録再生装置は、霞画像が情報記録媒体８３に記録されている場合であっても、再生時に霞除去画像ＤＯＵＴを出力することができる。
【００４７】
さらに、本発明は、上記実施の形態１又は２に係る画像処理装置における処理（又は、実施の形態３に係る画像処理方法）をコンピュータに実行させるためのプログラム、及び、このプログラムを記録したコンピュータ読み取り可能な記録媒体を含むことができる。
【符号の説明】
【００４８】
１，２  画像処理装置、  １０  大気光画素値取得部、  ２０  大気光補正部、  ３０  空領域算出部（領域算出部）、  ４０  ダークチャネル生成部（最小画素算出部）、  ５０  ダークチャネル補正部、  ６０  透過率算出部、  ７０  霞除去画像生成部、  ８０  逆光領域算出部（領域算出部）。
【図１】
2017138647.tif 000007
【図２】
2017138647.tif 000008
【図３】
2017138647.tif 000009
【図４】
2017138647.tif 000010
【図５】
2017138647.tif 000011
【図６】
2017138647.tif 000012
【図７】
2017138647.tif 000013
【図８】
2017138647.tif 000014