(57)【特許請求の範囲】
【請求項１】
ヘーズが含まれた映像においてヘーズの明るさを測定するヘーズ明るさ測定部と、
前記映像からコントラスト及び映像損失量による最終費用関数値に基づくブロック単位の伝達量を推定し、前記ブロック単位の伝達量を用いてピクセル単位伝達量を推定する伝達量推定部と、
前記ヘーズの明るさと前記ピクセル単位の伝達量を用いて前記映像を修復する映像復元部と、
を含む静止映像に含まれたヘーズを除去する映像処理装置であって、
前記ヘーズ明るさ測定部は、
前記映像を予め定められた第１の一定個数のブロックに分ける領域分割モジュールと、
前記分割された各ブロック毎にピクセル値の平均と標準偏差をそれぞれ求め、各ブロック毎に平均と標準偏差の差を用いて代表値を求める代表値計算モジュールと、
前記各ブロック毎に求められた代表値の中からその値が最も大きいブロックを選択し、前記選択されたブロックの広さが既設定の広さ以下になった場合、前記選択されたブロックにおいて最も明るい画素値をヘーズの明るさとして選択する画素値選択モジュールと、
を含むことを特徴とする静止映像に含まれたヘーズを除去する映像処理装置。
【請求項２】
ヘーズが含まれた映像においてヘーズの明るさを測定するヘーズ明るさ測定部と、
前記映像からコントラスト及び映像損失量による最終費用関数値に基づくブロック単位の伝達量を推定し、前記ブロック単位の伝達量を用いてピクセル単位伝達量を推定する伝達量推定部と、
前記ヘーズの明るさと前記ピクセル単位の伝達量を用いて前記映像を修復する映像復元部と、
を含む静止映像に含まれたヘーズを除去する映像処理装置であって、
前記伝達量推定部は、
前記映像を予め定められた第２の一定個数のブロックに分割し、各ブロック別にコントラストと映像損失量による最終費用関数を用いてブロック単位伝達量を推定するブロック単位伝達量推定部と、
前記ブロック単位伝達量にエッジ保存フィルターを適用してピクセル単位伝達量に変換するピクセル単位伝達量推定部と、
を含むことを特徴とする静止映像に含まれたヘーズを除去する映像処理装置。
【請求項３】
前記ブロック単位伝達量推定部は、
前記映像を予め定められた第２の一定個数に分割する映像分割モジュールと、
各ブロック毎に予め定められた範囲の伝達量を一定の比率ずつ変化させながらコントラストと映像損失量をそれぞれ求める費用関数計算モジュールと、
前記コントラストと映像損失量による最終費用関数を用いてブロック毎に最終費用関数値を求める最終費用関数計算モジュールと、
前記求められた最終費用関数値の中からその値を最小にする伝達量をブロック単位伝達量として検出するブロック単位伝達量検出モジュールと、
を含むことを特徴とする請求項２に記載の静止映像に含まれたヘーズを除去する映像処理装置。
【請求項４】
前記費用関数計算モジュールは、各画素の明るさ値を利用した分散に「(―１)」を掛けてコントラストＥｃを求めることを特徴とする請求項３に記載の静止映像に含まれたヘーズを除去する映像処理装置。
【請求項５】
前記費用関数計算モジュールは、ブロック単位伝達量が「０」に限りなく近づく場合、「０」未満または「２５５」超えの画素値を有する領域の面積を用いて映像損失量を求めることを特徴とする請求項３に記載の静止映像に含まれたヘーズを除去する映像処理装置。
【請求項６】
前記最終費用関数計算モジュールは、前記コントラスト及び映像損失量を含む最終費用関数を生成し、０から１の間の任意の値に伝達量を変化させながら最終費用関数値を求めることを特徴とする請求項３に記載の静止映像に含まれたヘーズを除去する映像処理装置。
【請求項７】
前記ピクセル単位伝達量推定部は、各ブロック毎に画素値の平均を求めて近似伝達量を定義し、前記ブロック単位伝達量と前記近似伝達量との差が最小となる変数値を求めた後、前記求められた変数値による近似伝達量をピクセル単位伝達量として推定することを特徴とする請求項２に記載の静止映像に含まれたヘーズを除去する映像処理装置。
【請求項８】
映像処理装置がヘーズが含まれた静止映像を修復する方法において、
（ａ）ヘーズが含まれた映像にてヘーズの明るさを測定する段階と、
（ｂ）前記映像からコントラスト及び映像損失量による最終費用関数値に基づくブロック単位伝達量を推定し、前記ブロック単位伝達量を用いてピクセル単位伝達量を推定する段階と、
（ｃ）前記ヘーズの明るさと前記ピクセル単位伝達量を用いて前記映像におけるヘーズを除去して映像を修復する段階と、
を含む静止映像に含まれたヘーズを除去する方法であって、
前記（ａ）段階は、
前記映像を予め定められた第１の一定個数のブロックに分割する段階と、
前記分割された各ブロック毎にピクセル値の平均と標準偏差をそれぞれ求める段階と、
各ブロック毎に平均と標準偏差の差を用いて代表値をそれぞれ求める段階と、
前記各ブロック毎に求められた代表値の中からその値が最も大きいブロックを選択する段階と、
前記選択されたブロックの広さが予め定められた広さ以下か否かを判断する段階と、
前記判断の結果、予め定められた広さ以下となった場合、前記選択されたブロックにおいて最も明るい画素値を選択し、ヘーズの明るさとして推定する段階と、
を含むことを特徴とする静止映像に含まれたヘーズを除去する方法。
【請求項９】
映像処理装置がヘーズが含まれた静止映像を修復する方法において、
（ａ）ヘーズが含まれた映像にてヘーズの明るさを測定する段階と、
（ｂ）前記映像からコントラスト及び映像損失量による最終費用関数値に基づくブロック単位伝達量を推定し、前記ブロック単位伝達量を用いてピクセル単位伝達量を推定する段階と、
（ｃ）前記ヘーズの明るさと前記ピクセル単位伝達量を用いて前記映像におけるヘーズを除去して映像を修復する段階と、
を含む静止映像に含まれたヘーズを除去する方法であって、
前記（ｂ）段階は、
前記映像を予め定められた第２の一定個数のブロックに分割し、各ブロック別にコントラストと映像損失量による最終費用関数を用いてブロック単位伝達量を推定する段階と、
前記ブロック単位伝達量にエッジ保存フィルターを適用してピクセル単位伝達量に変換する段階と、
を含むことを特徴とする静止映像に含まれたヘーズを除去する方法。
【請求項１０】
前記ブロック単位伝達量を推定する段階は、
前記映像を予め定められた第２の一定個数に分割する段階と、
各ブロック毎に予め定められた範囲の伝達量を一定の比率ずつ変化させながらコントラストと映像損失量をそれぞれ求める段階と、
前記コントラストと映像損失量による最終費用関数を用いてブロック毎に最終費用関数値を求める段階と、
前記求められた最終費用関数値の中からその値を最小にする伝達量をブロック単位伝達量として検出する段階と、
を含むことを特徴とする請求項９に記載の静止映像に含まれたヘーズを除去する方法。
【請求項１１】
前記ブロック単位伝達量にエッジ保存フィルターを適用してピクセル単位伝達量に変換する段階は、
各ブロック毎に画素値の平均を求めて近似伝達量として定義する段階と、
前記ブロック単位伝達量と前記近似伝達量との差が最小となる変数値を求める段階と、
前記求められた変数値による近似伝達量をピクセル単位伝達量として推定する段階と、
を含むことを特徴とする請求項９に記載の静止映像に含まれたヘーズを除去する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は静止映像に含まれたヘーズを除去する映像処理装置及びその方法に関し、より詳しくはヘーズが含まれた映像において各ブロックの代表値に基づいてヘーズの明るさを測定し、前記映像にてコントラスト及び映像損失量による最終費用関数値に基づいてブロック単位伝達量を推定した後、前記ブロック単位伝達量を用いてピクセル単位伝達量を推定し、前記ヘーズの明るさと前記ピクセル単位伝達量を用いて前記映像を修復する静止映像に含まれたヘーズを除去する映像処理装置及びその方法に関する。
【背景技術】
【０００２】
霧とは、大気中の水蒸気が、凝結された形態の水滴として浮遊する現象である。通常、霧が立ち込めた際に可視距離が１ｋｍ未満の視程障害現象が発生する。霧が立ち込めた際に大気中に水滴の粒子が生じ、この水滴の粒子によって光の散乱現象が発生する。光の散乱とは光が空気中の粒子と衝突して進行方向が変わることをいう。これは、光の波長と粒子のサイズによって異なる。
【０００３】
一般的に、光の散乱はレイリー散乱（Rayleigh scattering）とミー散乱（Mie scattering）に大別される。レイリー散乱は、散乱の要因となる粒子のサイズが光の波長より小さい時に適用され、この時の散乱エネルギーは波長の４乗に反比例する。晴天の日に光が空気分子によって散乱する時に、青色の光が赤色の光よりもっと多く散乱することで空が青く見えるのがその例である。しかし、散乱の要因となる粒子のサイズが光の波長より大きい場合の光の散乱はミー散乱理論による。霧の場合は、粒子の直径が数μｍないし数十μｍであり、可視光線の波長、つまり４００ｎｍ〜７００ｎｍよりその波長が大きいことから、ミー散乱理論による。ミー散乱理論によると大気中の水滴のような、散乱の原因になる粒子のサイズが大きい場合は、散乱の量における波長の影響が少なく、可視光線領域のすべての光がほぼ同様に散乱する。したがって、霧が立ち込めた時に、被写体はモヤがかかったように見える。この時に発生する新しい光を大気散乱光（Airlight）という。
【０００４】
霧歪曲補正を通じて映像の画質が改善されると視程障害が解決され、モヤのかかった映像を鮮かにすることができる。また、霧によって損傷した字、物体などについての情報を修復することは、認識のための前処理段階としての重要性を有する。
【０００５】
従来の霧除去技術は非モデル方式とモデル方式に大別することができる。
【０００６】
前者の例としてはヒストグラム平滑化（Histogram equalization）を挙げることができる。ヒストグラム平滑化は映像のヒストグラムを分析して分布を再分配する方法である。このようなヒストグラム平滑化は容易であり、改善の効果はよいが、深み（Depth）が均一でないことから、霧映像の場合には適合しない。また、一般的な画質改善においては適合するものの、霧が映像に及ぶ影響の特性をうまく反映することができず、濃い霧映像の場合は、限定的な改善に留まるという短所がある。
【０００７】
後者は、霧による光の散乱現象が映像に及ぼす影響をモデリングした方式である。まず、異なる天気環境から得た二枚以上の映像を比べ、場面の深み（Scene depth）を推定した後に補正を施すことで、霧による歪みを補正する技術が開示されている。しかし、これは天気が互いに異なる２枚の映像の入力が必要であることから、リアルタイムでの具現のためには天気の変化を感知するとともにそれに相応する映像保存空間が必要になる。そして、天気の変化に対する周期を予測することができないため、保存の周期に関する決定が難しくなる。また、誤差のない同一の場面を撮影しなければならないため、動く物体がある場合は、霧歪曲の程度を推定する際に誤謬が発生しうる。
【０００８】
次に、霧によって映像のピクセル値が変わった程度を推定して差し引くことで、霧による歪みを補正する技術が開示されている。しかし、霧は均一であるという仮定によって成り立つため、均一で、かつ薄い霧の場合には適用可能であるが、実際は均一ではない霧状態がより多く、霧が均一であるとしてもカメラと被写体との距離によって霧による影響の程度が変わることから、実際の適用には問題点がある。
【０００９】
また、ヒストグラム平滑化、またはガンマ補正のような一般的な映像のコントラストの改善技法は映像における全体的なコントラストの向上は可能であるが、映像の深み情報によって差等的にコントラストが下落した霧映像では映像のコントラストの改善が難しい。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明は前述した問題点を解決するためになされたものであり、本発明の目的はヘーズを含んだ静止映像からヘーズ成分を効果的に推定し、これをとり除くことで、映像の画質を改善することができる、静止映像に含まれたヘーズを除去する映像処理装置及びその方法を提供することにある。
【００１１】
本発明の他の目的は映像の深み情報によって差等的にコントラストを改善することができる、静止映像に含まれたヘーズを除去する映像処理装置及びその方法を提供することにある。
【課題を解決するための手段】
【００１２】
前記目的を達成するための本発明の１つの方案によると、ヘーズが含まれた映像においてヘーズの明るさを測定するヘーズ明るさ測定部と、前記映像からコントラスト及び映像損失量による最終費用関数値に基づくブロック単位の伝達量を推定し、前記ブロック単位の伝達量を用いてピクセル単位伝達量を推定する伝達量推定部と、前記ヘーズの明るさと前記ピクセル単位の伝達量を用いて前記映像を修復する映像復元部とを含む静止映像に含まれたヘーズを除去する映像処理装置が提供される。
【００１３】
前記ヘーズ明るさ測定部は、前記映像を予め定められた第１の一定個数のブロックに分ける領域分割モジュールと、前記分割された各ブロック毎にピクセル値の平均と標準偏差をそれぞれ求め、各ブロック毎に平均と標準偏差の差を用いて代表値を求める代表値計算モジュールと、前記各ブロック毎に求められた代表値の中からその値が最も大きいブロックを選択し、前記選択されたブロックの広さが既設定の広さ以下になった場合、前記選択されたブロックにおいて最も明るい画素値をヘーズの明るさとして選択する画素値選択モジュールとを含むことができる。
【００１４】
前記伝達量推定部は、前記映像を予め定められた第２の一定個数のブロックに分割し、各ブロック別にコントラストと映像損失量による最終費用関数を用いてブロック単位伝達量を推定するブロック単位伝達量推定部と、前記ブロック単位伝達量にエッジ保存フィルターを適用してピクセル単位伝達量に変換するピクセル単位伝達量推定部とを含むことができる。
【００１５】
前記ブロック単位伝達量推定部は、前記映像を予め定められた第２の一定個数に分割する映像分割モジュールと、各ブロック毎に予め定められた範囲の伝達量を一定の比率ずつ変化させながらコントラストと映像損失量をそれぞれ求める費用関数計算モジュールと、前記コントラストと映像損失量による最終費用関数を用いてブロック毎に最終費用関数値を求める最終費用関数計算モジュールと、前記求められた最終費用関数値の中からその値を最小にする伝達量をブロック単位伝達量として検出するブロック単位伝達量検出モジュールとを含むことができる。
【００１６】
前記費用関数計算モジュールは各画素の明るさ値を利用した分散に 「（―１）」を掛けてコントラストＥｃを求めることができる。
【００１７】
さらに、前記費用関数計算モジュールはブロック単位伝達量が「０」に限りなく近づく場合、「０」未満または「２５５」超えの画素値を有する領域の面積を用いて映像損失量を求めることができる。
【００１８】
前記最終費用関数計算モジュールは前記コントラスト及び映像損失量を含む最終費用関数を生成し、０から１の間の任意の値に伝達量を変化させながら最終費用関数値を求めることができる。
【００１９】
前記ピクセル単位伝達量推定部は各ブロック毎に画素値の平均を求めて近似伝達量を定義し、前記ブロック単位伝達量と前記近似伝達量との差が最小となる変数値を求めた後、前記求められた変数値による近似伝達量をピクセル単位伝達量として推定することができる。
【００２０】
本発明のもう１つの方案によると、映像処理装置がヘーズが含まれた静止映像を修復する方法において、（ａ）ヘーズが含まれた映像にてヘーズの明るさを測定する段階と、 （ｂ）前記映像からコントラスト及び映像損失量による最終費用関数値に基づくブロック単位伝達量を推定し、前記ブロック単位伝達量を用いてピクセル単位伝達量を推定する段階と、 （ｃ）前記ヘーズの明るさと前記ピクセル単位伝達量を用いて前記映像におけるヘーズを除去して映像を修復する段階とを含む静止映像に含まれたヘーズを除去する方法が提供される。
【００２１】
前記（ａ）段階は、前記映像を予め定められた第１の一定個数のブロックに分割する段階と、前記分割された各ブロック毎にピクセル値の平均と標準偏差をそれぞれ求める段階と、各ブロック毎に平均と標準偏差の差を用いて代表値をそれぞれ求める段階と、前記各ブロック毎に求められた代表値の中からその値が最も大きいブロックを選択する段階と、前記選択されたブロックの広さが予め定められた広さ以下か否かを判断する段階と、前記判断の結果、予め定められた広さ以下となった場合、前記選択されたブロックにおいて最も明るい画素値を選択し、ヘーズの明るさとして推定する段階とを含むことができる。
【００２２】
前記（ｂ）段階は、前記映像を予め定められた第２の一定個数のブロックに分割し、各ブロック別にコントラストと映像損失量による最終費用関数を用いてブロック単位伝達量を推定する段階と、前記ブロック単位伝達量にエッジ保存フィルターを適用してピクセル単位伝達量に変換する段階とを含むことができる。
【００２３】
前記ブロック単位伝達量を推定する段階は、前記映像を予め定められた第２の一定個数に分割する段階と、各ブロック毎に予め定められた範囲の伝達量を一定の比率ずつ変化させながらコントラストと映像損失量をそれぞれ求める段階と、前記コントラストと映像損失量による最終費用関数を用いてブロック毎に最終費用関数値を求める段階と、前記求められた最終費用関数値の中からその値を最小にする伝達量をブロック単位伝達量として検出する段階とを含むことができる。
【００２４】
前記ブロック単位伝達量にエッジ保存フィルターを適用してピクセル単位伝達量に変換する段階は、各ブロック毎に画素値の平均を求めて近似伝達量として定義する段階と、前記ブロック単位伝達量と前記近似伝達量との差が最小となる変数値を求める段階と、前記求められた変数値による近似伝達量をピクセル単位伝達量として推定する段階とを含むことができる。
【発明の効果】
【００２５】
前述したように本発明によると、ヘーズを含んだ静止映像からヘーズ成分を効果的に推定してとり除くことで映像画質を改善することができる。
【００２６】
また、映像の深み情報によって差等的にコントラストを改善することができる。
【００２７】
さらに、伝達量計算を通じてピクセル毎にヘーズの濃度を予測し、これに従って各ピクセル毎に差等的にヘーズをとり除くことで、映像内にヘーズがどのように分布するかに関わらず、ヘーズを効果的にとり除くことができる。
【図面の簡単な説明】
【００２８】
【図１】本発明による静止映像に含まれたヘーズを除去する映像処理装置の構成を示すブロック図。
【００２９】
【図２】図１に図示されたヘーズ明るさ測定部の構成を詳細に示したブロック図。
【００３０】
【図３】図１に図示されたブロック単位伝達量推定部の構成を詳細に示したブロック図。
【００３１】
【図４】映像損失最小化の概念を説明するための図。
【００３２】
【図５】本発明に係る映像処理装置がヘーズの含まれた静止映像を修復する方法を示したフローチャート。
【００３３】
【図６】本発明に係るエッジ保存フィルターを適用した場合の画面の例示図。
【００３４】
【図７】本発明に係る映像処理装置がヘーズの明るさを測定する方法を示したフローチャート。
【００３５】
【図８】本発明に係る映像処理装置がブロック単位伝達量を検出する方法を示したフローチャート。
【発明を実施するための形態】
【００３６】
本発明の前述した目的と技術的構成、及びそれによる作用効果に関する詳しい事項は、本発明の明細書に添付された図面に基づく以下の詳細な説明によってより明確に理解できる。
【００３７】
本発明におけるヘーズ（Haze）は大気中の霧である場合もあるが、必ずしもこれに限定すべきではなく、霧と類似の、例えば、黄砂、ほこり及び大気中に含まれた空中浮遊物などのほの白いものである場合もある。
【００３８】
映像処理装置はヘーズが含まれた映像を数式１を用いて修復する。
【００３９】
【数１】
0005947456.tif 000002
【００４０】
ここで、Ｉｐはピクセル位置ｐで取得した映像の明るさ値（ヘーズに影響を受けた映像）を、Ｊｐはピクセル位置ｐで取得した映像のもとの明るさ値（ヘーズに影響を受けていない映像）を、ｔｐはピクセル位置ｐで取得した映像の伝達量（深み情報、映像と該当地点との距離）を、Ａはヘーズの明るさ値を意味する。
【００４１】
この時、映像処理装置は、コントラストを考慮する費用Ｅｃと、コントラスト向上の際に発生しうる映像損失ＥＬを考慮した費用関数を生成し、その費用関数を最小にする伝達量ｔを求めた後に、数式１を用いてヘーズが含まれた映像を修復する。
【００４２】
以下、映像処理装置が数式１を用いてヘーズが含まれた静止映像を修復する技術について図面を参照して説明する。
【００４３】
図１は、本発明に係る静止映像に含まれたヘーズを除去する映像処理装置の構成を示したブロック図であり、図２は、図１に図示されたヘーズ明るさ測定部の構成を詳細に示したブロック図であり、図３は、図１に図示されたブロック単位伝達量推定部の構成を詳細に示したブロック図であり、図４は映像損失最小化の概念を説明するための図である。
【００４４】
図１を参照すると、静止映像に含まれたヘーズを除去する映像処理装置１００は、ヘーズ明るさ測定部１１０、ブロック単位伝達量推定部１２０、ピクセル単位伝達量推定部１３０、そして映像復元部１４０を含む。
【００４５】
前記ヘーズ明るさ測定部１１０は、ヘーズが含まれた映像を予め定められた一定の個数のブロックに分け、ブロック毎に代表値をそれぞれ求め、前記代表値の中からその値が最も大きいブロックを選択し、そして、その選択されたブロックの広さが既設定の広さ以下になるまで前記選択されたブロックを前記一定個数のブロックに分けて代表値を求める過程を繰り返すことで、ヘーズの明るさを求める。前記ヘーズの含まれた映像は、ヘーズが含まれた静止映像になる場合がある。
【００４６】
ヘーズの明るさ値を求めるに当たり、「ヘーズは、太陽から到逹した大気中の光であるため、映像内において非常に明るい値を有する」、そして「ヘーズによって影響を受けたピクセル値はヘーズの明るさ値に近い値を有する」という仮定を利用する。また、数式１を参考すると、取得した映像において伝達量（深み情報、映像と客体間の距離）が大きれば大きいほどヘーズの影響を多く受けることが分かり、したがってヘーズの影響を多く受けた領域はほとんどの値がヘーズ値周りに分布することから標準偏差が小さくなる。
【００４７】
したがって、前記２つの仮定を組み合わせると、ヘーズの明るさ値は映像において非常に明るい値を有し、ヘーズによって最も多く影響を受けた領域から取得できるということが分かる。一般的に、ヘーズは最も明るいピクセル値で選択される場合があるが、この場合に白色の客体が選択されてしまうと問題が発生する。そこで、ブロックを漸次的に減らながらヘーズ値の候補群を絞って行くために、ブロックに分けて検出し、最終的に候補群が絞られた状態では（設定された広さのブロック）既にブロック内のほとんどのピクセル値はヘーズの明るさ値に影響を受けたと看做すことができることで、最も明るい画素値をヘーズの明るさ値として選択しても誤差の発生する余地が少ない。したがって、ヘーズ明るさ測定部１１０は最も明るい画素値をヘーズの明るさ値として選択することができる。
【００４８】
前記ヘーズ明るさ測定部１１０について図２を参照すると、ヘーズ明るさ測定部１１０は領域分割モジュール１１２、代表値計算モジュール１１４、そして画素値選択モジュール１１６を含む。
【００４９】
前記領域分割モジュール１１２はヘーズが含まれた映像を予め定められた一定個数のブロックに分ける。ここで、一定個数を４個にすることができる。
【００５０】
ブロックにおいて代表値を求める際に、ブロック内のピクセル値の平均明るさと標準偏差を用いるが、この値はすべて、ブロックのサイズによって異なる場合がある。例えば２０×２０のサイズのブロックを用いて代表値を求める場合、ヘーズのない領域に白い建物や白い車などのような明るい客体が存在すると、代表値が高くなりうる。ブロックのサイズを拡大すると、代表値はよりヘーズが多い方から選択されるが、ブロック内においてヘーズの明るさ値を探しにくいことから、ブロックを漸次的に減らしながらヘーズの明るさ値の候補群を絞って行くために映像をブロックに分割する。
【００５１】
前記代表値計算モジュール１１４は、前記領域分割モジュール１１２で分割された各ブロック毎にピクセルの平均と標準偏差をそれぞれ求め、各ブロック毎に平均と標準偏差との間の差に基づいて代表値を求める。
【００５２】
すなわち、ヘーズの明るさ値は映像内において非常に明るい値を有し、ヘーズによって最も多く影響を受けた領域から取得することができ、ヘーズの影響を多く受けた領域はほとんどの値がヘーズ値周りに分布するので標準偏差が小さくなる。したがって、前記代表値計算モジュール１１４はヘーズの明るさ値を求めるために各ブロックの平均と標準偏差を用いて代表値を求める。
【００５３】
前記画素値選択モジュール１１６は、前記代表値計算モジュール１１４から各ブロック毎に求められた代表値の中からその値が最も大きいブロックを選択し、前記選択されたブロックの広さが既設定の広さ以下になった場合、そのブロックにおいて最も明るい画素値をヘーズの明るさとして選択する。
【００５４】
すなわち、最終的に候補群が絞られた状態では、すでにブロック（設定された広さのブロック）内のすべてのピクセル値はほとんど、ヘーズ値に影響を受けたと看做すことができることで、最も明るい画素値をヘーズの明るさとして選択しても誤差の発生する余地が少ない。したがって、前記画素値選択モジュール１１６はブロックの広さが既設定の広さ以下になった場合、そのブロックにおいて最も明るい画素値をヘーズの明るさとして選択する。
【００５５】
前記画素値選択モジュール１１６は、代表値が最も大きいブロックを選択し、その選択されたブロックの広さが既設定の広さ以下か否かを判断する。ここで、前記既設定された広さは、そのブロックの「横の長さ*縦の長さ」として、例えば２００であるとする。前記判断の結果、前記選択されたブロックの広さが２００以下となった場合は、前記画素値選択モジュール１１６は前記選択されたブロックにおいて最も明るい画素値を選択し、前記選択された画素値をヘーズの明るさとして推定する。
【００５６】
もし、前記判断の結果で前記選択されたブロックの広さが２００以下でないのであれば、前記画素値選択モジュール１１６は前記選択されたブロックを一定個数に分割及び代表値をそれぞれ求め、代表値が最も大きいブロックを選択して既設定の広さ以下か否かを判断する過程を繰り返し、既設定の広さ以下のブロックが選択された場合、その選択されたブロックにおいて最も明るい画素値をヘーズの明るさとして推定する。
【００５７】
再び図１を参照すると、前記ブロック単位伝達量推定部１２０は前記ヘーズが含まれた映像を予め定められた一定個数のブロックに分割し、各ブロック毎にコントラスト、映像損失量をそれぞれ求めた後に、前記コントラスト、映像損失量による最終費用関数を用いてブロック単位伝達量を推定する。
【００５８】
前記ブロック単位伝達量推定部１２０について図３を参照すると、ブロック単位伝達量推定部１２０は映像分割モジュール１２２、費用関数計算モジュール１２４、最終費用関数計算モジュール１２６、そしてブロック単位伝達量検出モジュール１２８を含む。
【００５９】
前記映像分割モジュール１２２は、前記ヘーズが含まれた映像を予め定められた一定個数のブロックに分ける。この時、ブロックのサイズが非常に小さい場合は伝達量の推定が難しいことから、ブロックの最小サイズは１６×１６以上のサイズと定め、ブロックの個数は任意に定めることができる。ここで、領域分割を行うのは、均等ではないヘーズによる影響を考慮してヘーズ成分を補償するためであり、領域分割のためのブロックの個数はハードウェアの複雑度を考慮して適切に選定することができる。
【００６０】
また、映像を修復するために数式１を利用し、ヘーズ明るさ測定部１１０にて求められたヘーズの明るさ値のみ分かっており、すべてのピクセル毎に伝達量ｔｐと、もとの明るさ値Ｊｐを計算しなければならないことから、式より未知数が多いという問題（under-determined problem）がある。したがって、ブロック内に伝達量ｔｐがすべて同一であると仮定をする場合、Ｂ（ブロック内のピクセルの個数）個の式に対して（Ｂ＋１）個の未知数に未知数の数を大きく減らすことができる。したがって、映像を分割しないで映像全体に同一の伝達量ｔとして仮定しようとすると、映像の深み情報による映像の劣化を適応的に補償することができないため、映像を分割して地域的な深み情報を考慮したのである。
【００６１】
前記費用関数計算モジュール１２４は、前記映像分割モジュール１２２で分割された各ブロック毎に予め定められた範囲の伝達量を一定の比率ずつ変化させながらコントラスト、映像損失量をそれぞれ求める。
【００６２】
伝達量ｔを求めようとする場合は、伝達量ｔによって決定される出力映像のコントラストは大きくなければならず（１）、伝達量ｔによって決定される出力映像の損失は最小にならなければならない（２）という条件が満たされなければならない。
【００６３】
そこで、前記費用関数計算モジュール１２４は、コントラストを考慮する費用Ｅｃ、コントラスト向上の際に発生しうる映像損失ＥＬを考慮した費用関数を生成し、各費用関数を用いてコントラスト、映像損失量を求める。
【００６４】
したがって、前記費用関数計算モジュール２３４は、コントラストを求めるコントラスト計算モジュール１２４ａと、映像損失量を求める映像損失量計算モジュール１２４ｂとを含む。
【００６５】
前記コントラスト計算モジュール１２４ａは、数式２のように各画素の明るさ値を用いた分散σ２を利用してコントラストＥｃを求める。
【００６６】
【数２】
0005947456.tif 000003
【００６７】
ここで、前記Ｎはピクセルの個数を、Ｊｐは本来客体が有する明るさを、ｐは各画素の位置を、
【数３】
0005947456.tif 000004
は本来客体が有する明るさの平均を意味する。
【００６８】
数式２は映像におけるコントラストを計算する方法として広く使われるRMSコントラストを利用した式であり、RMSコントラストは映像の分散値を用いてコントラストを測定する。
【００６９】
また、伝達量ｔによって決定される出力映像のコントラストは大きくなければならず、数式２のような費用関数を生成し、その費用関数が最小（最適の値）になる伝達量ｔを探すことが目的であり、RMSコントラストはコントラストが良くなればなるほど値が増加することから、費用関数では伝達量が小さくなればなるほど費用関数が小さくなるように設定するために、−（マイナス）記号を付ける。
【００７０】
すなわち、前記コントラスト計算モジュール１２４ａは、各ブロック毎に各画素の明るさ値を利用した分散にー１を掛けてコントラストを求める。前記数式２は第１の費用関数（または、コントラスト向上費用関数）と称することができ、前記第１の費用関数は修復した映像のコントラストを最大にする伝達量を探す関数であり、コントラストを最大化するブロック単位伝達量は常に「０」に限りなく近づく。ブロック単位伝達量が「０」に限りなく近づく場合は、入力画素値に対する出力画素値が、コンピューターが表現することができる画素値[０  ２５５]を超える値で決定される。
【００７１】
すなわち、ブロック単位伝達量が「０」に限りなく近づく場合は、「０」以下または「２５５」以上の出力画素値が映像損失として存在し、その映像損失を最小化することが必要である。前記映像損失量は「０」以下または「２５５」以上の出力画素値が０と２５５に削られた量をいう。
【００７２】
したがって、前記映像損失量計算モジュール１２４ｂは映像損失を最小化するために数式３による第２の費用関数を用いて各ブロック毎の映像損失量を求める。
【００７３】
【数４】
0005947456.tif 000005
【００７４】
数式３の概念を図で表現すると図４のようにＡ領域の面積と同様になる。
【００７５】
図４を参照すると、Ａ領域は「０」以下、または「２５５」以上の画素値であり、映像損失量ということになる。
【００７６】
数式２と数式３を通じてコントラストと映像損失量が求められると、前記最終費用関数計算モジュール１２６は前記求められたコントラスト、映像損失量による最終費用関数値を求める。
【００７７】
すなわち、伝達量ｔを求めようとする場合、伝達量によって決定された出力映像のコントラストは大きくなければならないこと（１）と、伝達量によって決定された出力映像の損失は最小にならなければならないこと（２）の条件が満たされなければならない。前記２つの条件を満たす伝達量を探すために、２つの条件を費用関数という関数で生成し、これを最小にする伝達量を探すことができなければならない。言い換えれば、費用関数が最小になれば、出力映像のコントラストは大きくなり、映像の損失は小さいといえるのである。
【００７８】
したがって、最終費用関数には前記２つの条件がすべて含まれなければならないので、ブロック単位伝達量を計算する際にこれをすべて含んだ数式４のような最終費用関数を生成し、その最終費用関数を用いて最終費用関数値を求める。
【００７９】
【数５】
0005947456.tif 000006
【００８０】
ここで、Ｅは最終費用関数値を、Ｅｃはコントラスト値を、ＥＬは映像損失量を、λＬは映像損失量係数を意味する。
【００８１】
前記ブロック単位伝達量検出モジュール１２８は前記最終費用関数計算モジュール１２６で求められた最終費用関数値の中からその値を最小にする伝達量をブロック単位伝達量として検出する。すなわち、ブロック単位伝達量は０から１までの範囲に当たる値の中の一つであり、前記ブロック単位伝達量検出モジュール１３８は０から１の間の値（数）にブロック単位伝達量を変化させながら最終費用関数値を求め、その最終費用関数値が最小になる伝達量をブロック単位伝達量として検出する。ここで、０から１の間の値（数）は０.１、０.２などのような値を意味し、その値は任意の間隔または比率で変化することができる。
【００８２】
再び図１を参照すると、前記ピクセル単位伝達量推定部１３０は前記ブロック単位伝達量推定部１２０で検出されたブロック単位伝達量にエッジ保存フィルターを適用してピクセル単位伝達量に変換する。前記エッジ保存フィルターは入力映像の画素値を用いてピクセル単位の近似伝達量を生成する。
【００８３】
したがって、前記ピクセル単位伝達量推定部１３０は数式５を用いてピクセル単位の近似伝達量を求める。
【００８４】
【数６】
0005947456.tif 000007
【００８５】
前記
【数７】
0005947456.tif 000008
はピクセル単位の近似伝達量を、Ｉｐはカメラから獲得した明るさを意味し、ａ、ｂはエッジ保存フィルターを適用して求められた線形関数の変数を意味する。
【００８６】
入力映像は０〜２５５の間の値を有し、ｔは０〜１の間の値を有する。したがって、数式５は入力映像を用いてｔを表現するために０〜２５５の間の値をａとｂを通じて０〜１の間の値に変換して、サイズ（平均値）もそれに近づくように合わせた数式である。
【００８７】
したがって、ピクセル単位伝達量推定部１３０はブロック単位伝達量と近似伝達量との差が最小となるａ、ｂを求めることでピクセル単位の伝達量を獲得することができる。ａ、ｂを計算する際にＷサイズのウィンドウを使ってａ、ｂを計算し、次の画素に移動してａ、ｂを計算する。重なる領域ではａ、ｂを平均する。
【００８８】
この時、近似伝達量とブロック単位伝達量との差が最小となるようにするための式を定義すると数式６のようになる。
【００８９】
【数８】
0005947456.tif 000009
【００９０】
ここで、ｐはピクセル位置であり、Ｂはブロックを意味する。
【００９１】
数式６を最小にするａ、ｂを探すためにピクセル単位伝達量推定部１３０は線形代数において使われる最小二乗法を利用する。
【００９２】
したがって、前記ピクセル単位伝達量推定部１３０は最小二乗法によって求められたａ、ｂ変数による近似伝達量をピクセル単位伝達量として検出する。
【００９３】
すなわち、映像のデータはピクセル毎に変わることから、計算された伝達量はブロック単位で計算されており、伝達量を用いて映像を修復する場合はブロックの境界部分において伝達量値の差によってブロック劣化現象が発生する。前記ブロック劣化現象は、ブロックの境界部分においてピクセル値の差が大きく開く現象をいう。したがってこのようなブロック劣化現象をとり除くためにブロック単位で計算された伝達量をピクセル単位伝達量に変換しなければならない。
【００９４】
前記ブロック単位伝達量推定部１２０とピクセル単位伝達量推定部１３０は一つとして構成することができ、この場合は、ブロック単位伝達量推定部１２０とピクセル単位伝達量推定部１３０を伝達量推定部として一つの構成にすることもできる。
【００９５】
前記映像復元部１４０は前記ヘーズ明るさ測定部１１０で求められたヘーズの明るさと前記ピクセル単位伝達量推定部１３０で求められたピクセル単位伝達量を用いて前記映像からヘーズをとり除く。
【００９６】
すなわち、前記映像復元部１４０は数式７を用いてヘーズが除去された映像を生成する。
【００９７】
【数９】
0005947456.tif 000010
【００９８】
ここで、Ｉｐはカメラから獲得した明るさを、Ｊｐは本来客体が有する明るさを、ｐは各画素の位置を、Ａはヘーズ明るさを、ｔｐはピクセル単位伝達量を意味する。
【００９９】
図５は本発明に係る映像処理装置がヘーズが含まれた静止映像を修復する方法を示したフローチャートであり、図６は本発明に係るエッジ保存フィルターを適用した場合の画面例示図である。
【０１００】
図５を参照すると、映像処理装置は、ヘーズの含まれた映像が入力されると（Ｓ５０２）、前記映像におけるヘーズの明るさを測定する（Ｓ５０４）。前記映像処理装置が前記映像におけるヘーズの明るさを測定する方法についての詳細な説明は図６を参照する。
【０１０１】
前記Ｓ５０４が実行されると、前記映像処理装置は前記ヘーズが含まれた映像を予め定められた一定個数のブロックに分割してブロック単位の伝達量を推定する（Ｓ５０６）。
【０１０２】
前記映像処理装置がブロック単位の伝達量を推定する方法についての詳細な説明は図７を参照する。
【０１０３】
前記Ｓ５０６が実行されると、前記映像処理装置は、前記ブロック単位伝達量にエッジ保存フィルターを適用してピクセル単位伝達量に変換する（Ｓ５０８）。
【０１０４】
その後、前記映像処理装置は前記ヘーズの明るさと前記ピクセル単位伝達量を利用した数式７を用いてヘーズが除去された映像を生成する。
【０１０５】
前記映像処理装置がヘーズが含まれた映像にエッジ保存フィルターを適用した場合については図６を参照して説明する。
【０１０６】
図６を参照すると、（ａ）のようなヘーズが含まれた静止映像にブロック単位伝達量を適用すると（ｂ）のような映像になる。（ｂ）にエッジ保存フィルターによるピクセル単位伝達量を適用すると、（ｃ）のような映像になる。（ｃ）は伝達量計算を通じてピクセル毎にヘーズの濃度を予測し、これによって各ピクセル毎に差等的にヘーズが除去された映像になる。
【０１０７】
図７は本発明に係る映像処理装置がヘーズの明るさを測定する方法を示したフローチャートである。
【０１０８】
図７を参照すると、映像処理装置はヘーズ包含の映像を４つのブロックに分割し（Ｓ７０２）、各ブロックに対する画素値の平均と標準偏差をそれぞれ求める（Ｓ７０４）。
【０１０９】
続いて、前記映像処理装置は各ブロックの平均と標準偏差との差による代表値をブロック毎にそれぞれ求める（Ｓ７０６）。
【０１１０】
続いて、前記映像処理装置は各ブロック毎に求められた代表値の中からその値が最も大きいブロックを選択し（Ｓ７０８）、その選択されたブロックの広さが２００以下か否かの可否を判断する（Ｓ７１０）。
【０１１１】
前記Ｓ７１０の判断の結果、選択されたブロックのサイズが２００以下である場合は、前記映像処理装置は前記選択されたブロックにおいて最も明るい画素値を選択してヘーズの明るさとして定義する（Ｓ７１２）。
【０１１２】
もし、前記Ｓ７１０の判断の結果、前記選択されたブロックのサイズが２００以下でないのであれば、前記映像処理装置は前記Ｓ７０２を実行する。
【０１１３】
図８は本発明に係る映像処理装置がブロック単位伝達量を検出する方法を示したフローチャートである。
【０１１４】
図８を参照すると、映像処理装置はヘーズが含まれた映像をＢサイズのブロックに分割する（Ｓ８０２）。
【０１１５】
前記Ｓ８０２の実行の後、前記映像処理装置は各ブロック毎に予め定められた範囲の伝達量を一定の比率ずつ変化させながらコントラスト、映像損失量をそれぞれ求める（Ｓ８０４）。前記映像処理装置がコントラスト、映像損失量を求める方法についての詳細な説明は図３を参照する。
【０１１６】
前記Ｓ８０４の実行の後、前記映像処理装置は前記コントラスト、映像損失量による最終費用関数値をブロック毎に求め（Ｓ８０６）、前記求められた最終費用関数値の中からその値を最小にする伝達量を選択する（Ｓ８０８）。
【０１１７】
続いて、前記映像処理装置は前記選択された伝達量をブロック単位伝達量として検出する（Ｓ８１０）。
【０１１８】
本発明は飛行、空港、運送、海運、水中監視、医療映像（体内のガス等によって生成された白みのかかった成分の除去等）、農業監視、映像保安カメラなど多様な分野の映像のコントラストを向上するところに活用が可能である。
【０１１９】
静止映像からヘーズを除去する方法はプログラムで実現可能であり、プログラムを構成するコード及びコードのセグメントは当該分野のプログラマーによって容易に推論されることができる。
【０１２０】
このように、本発明が属する技術分野の当業者は本発明がその技術思想や必須の特徴を変更しなくてもその他の具体的な形態で実施可能であることを理解できるはずである。したがって、以上にて記述した実施例はすべての面において例示的であり、それに限定されるものはないことを理解しなければならない。本発明の範囲は前記詳細な説明よりも後述する特許請求の範囲によって示され、特許請求の範囲の意味及び範囲、そしてその等価概念から導出されるすべての変更または変形された形態が本発明の範囲に含まれることとして解釈されなければならない。
【産業上の利用可能性】
【０１２１】
本発明はヘーズを含んだ静止映像からヘーズ成分を効果的に推定してとり除くことで映像の画質を改善することができ、映像の深み情報によって差等的にコントラストを改善できるようにする、静止映像に含まれたヘーズを除去する映像処理装置及びその方法に適用することができる。
【符号の説明】
【０１２２】
１００ :映像処理装置
１１０ :ヘーズ明るさ測定部
１２０ :ブロック単位伝達量推定部
１３０ :ピクセル単位伝達量推定部
１４０ :映像復元部
（関連する出願の参照）
【０１２３】
本特許出願は、２０１２年０５月０３日付にて韓国に出願した特許出願番号第１０-２０１２-００４６７１０号に対し、アメリカ特許法１１９（ａ）条（３５Ｕ．Ｓ．Ｃ§１１９（ａ））に従って優先権を主張すると、そのすべての内容は参考文献として本特許出願に併合される。なお、本特許出願はアメリカ以外の国家に対しても以上と同様の理由から優先権を主張すると、そのすべての内容は参考文献として本特許出願に併合される。
【図１】
0005947456.tif 000011
【図２】
0005947456.tif 000012
【図３】
0005947456.tif 000013
【図４】
0005947456.tif 000014
【図５】
0005947456.tif 000015
【図６】
0005947456.tif 000016
【図７】
0005947456.tif 000017
【図８】
0005947456.tif 000018