(57)【特許請求の範囲】
【請求項１】
入力画像に対して霧除去処理を行う画像霧除去装置であって、
各画素が物体距離によって決められる距離パラメータを有する前記入力画像をキーフレーム又はノーマルフレームのいずれかに分類する前処理手段と、
前記キーフレームの背景画像における各画素の距離パラメータを含む、前記キーフレームの各画素の距離パラメータを算出するキーフレームパラメータ算出手段と、
前記ノーマルフレームを背景部分と前景部分に分割し、前記背景部分の各画素の距離パラメータを直前キーフレームの背景画像における対応する画素の距離パラメータと等しくし、前記前景部分の各画素の距離パラメータを前記前景部分と前記背景部分との境界上の画素の距離パラメータの特徴値と等しくして、前記ノーマルフレームの各画素の距離パラメータを算出するノーマルフレームパラメータ算出手段と、
前記キーフレームパラメータ算出手段により算出された距離パラメータを用いて前記キーフレームに対して霧除去処理を行い、前記ノーマルフレームパラメータ算出手段により算出された距離パラメータを用いて前記ノーマルフレームに対して霧除去処理を行う画像霧除去手段と、を備えることを特徴とする画像霧除去装置。
【請求項２】
前記キーフレームの背景画像における各画素の距離パラメータを記憶するキーフレームパラメータ記憶手段をさらに備える、ことを特徴とする請求項１に記載の画像霧除去装置。
【請求項３】
前記前処理手段は、連続画像において所定の間隔で前記キーフレームを選択する、ことを特徴とする請求項１又は２に記載の画像霧除去装置。
【請求項４】
前記ノーマルフレームの画像と前記ノーマルフレームの背景画像との減算により前記ノーマルフレームの前景部分を得る、ことを特徴とする請求項１又は２に記載の画像霧除去装置。
【請求項５】
前記ノーマルフレームパラメータ算出手段は、前記背景部分に位置しかつ前記前景部分と隣接する背景部分の境界を、前記境界として選択し、
前記ノーマルフレームパラメータ算出手段は、前記背景部分の境界の全ての画素の距離パラメータの最大値を算出し、前記最大値を前記特徴値とする、ことを特徴とする請求項１〜４の何れか１項に記載の画像霧除去装置。
【請求項６】
前記ノーマルフレームパラメータ算出手段は、前記前景部分の境界が前記前景部分に位置しかつ前記背景部分と隣接する前景部分の境界を、前記境界として選択し、
前記ノーマルフレームパラメータ算出手段は、前記前景部分の境界の全ての画素の距離パラメータの最大値、平均値又は中央値を算出し、前記最大値、前記平均値又は前記中央値を前記特徴値とする、ことを特徴とする請求項１〜４の何れか１項に記載の画像霧除去装置。
【請求項７】
前記ノーマルフレームパラメータ算出手段は、前記前景部分の平均物体距離と前記背景部分の平均物体距離との差が所定の閾値未満であるか否かを判定し、
前記ノーマルフレームパラメータ算出手段は、前記差が前記閾値未満の場合に、前記背景部分に位置しかつ前記前景部分と隣接する背景部分の境界を、前記境界として選択し、前記ノーマルフレームパラメータ算出手段は、前記背景部分の境界の全ての画素の距離パラメータの最大値をさらに算出し、この最大値を前記特徴値とし、
前記ノーマルフレームパラメータ算出手段は、前記差が前記閾値以上の場合に、前記前景部分に位置しかつ前記背景部分と隣接する前景部分の境界を、前記境界として選択し、前記ノーマルフレームパラメータ算出手段は、前記前景部分の境界の全ての画素の距離パラメータの最大値、平均値又は中央値を算出し、前記最大値、前記平均値又は前記中央値を前記特徴値とする、ことを特徴とする請求項１〜４の何れか１項に記載の画像霧除去装置。
【請求項８】
前記ノーマルフレームパラメータ算出手段は、前記前景部分の各画素の粗距離パラメータを計算し、かつその全ての粗距離パラメータの平均値を前記前景部分の平均物体距離として計算し、
前記ノーマルフレームパラメータ算出手段は、前記背景部分と前記前景部分とに隣接するサブ領域における各画素の粗距離パラメータを計算し、かつその全ての粗距離パラメータの平均値を前記背景部分の平均物体距離として計算する、ことを特徴とする請求項７に記載の画像霧除去装置。
【請求項９】
前記キーフレームパラメータ算出手段は、前記キーフレームの天空点パラメータをさらに算出し、かつ前記ノーマルフレームパラメータ算出手段は、前記ノーマルフレームの天空点パラメータを前記キーフレームパラメータ算出手段により算出された前記キーフレームの天空点パラメータと等しくする、ことを特徴とする請求項１〜８の何れか１項に記載の画像霧除去装置。
【請求項１０】
入力画像に対して霧除去処理を行う画像霧除去方法であって、
各画素が物体距離によって決められる距離パラメータを有する前記入力画像をキーフレーム又はノーマルフレームのいずれかに分類するステップと、
前記キーフレームの背景画像における各画素の距離パラメータを含む、前記キーフレームの各画素の距離パラメータを算出するステップと、
前記ノーマルフレームの各画素の距離パラメータを算出するステップであって、前記ノーマルフレームを背景部分と前景部分に分割し、前記背景部分の各画素の距離パラメータを直前キーフレームの背景画像における対応する画素の距離パラメータと等しくし、前記前景部分の各画素の距離パラメータを前記前景部分と前記背景部分との境界上の画素の距離パラメータの特徴値と等しくするステップと、
前記算出されたキーフレームの距離パラメータを用いて前記キーフレームに対して霧除去処理を行い、前記算出されたノーマルフレームの距離パラメータを用いて前記ノーマルフレームに対して霧除去処理を行うステップと、を含むことを特徴とする画像霧除去方法。
【請求項１１】
前記キーフレームの背景画像における各画素の距離パラメータを記憶するステップをさらに含む、ことを特徴とする請求項１０に記載の画像霧除去方法。
【請求項１２】
連続画像において所定の間隔で前記キーフレームを選択する、ことを特徴とする請求項１０又は１１に記載の画像霧除去方法。
【請求項１３】
前記ノーマルフレームの画像と前記ノーマルフレームの背景画像との減算により前記ノーマルフレームの前景部分を得る、ことを特徴とする請求項１０又は１１に記載の画像霧除去方法。
【請求項１４】
前記背景部分に位置しかつ前記前景部分と隣接する背景部分の境界を、前記境界として選択し、
前記背景部分の境界の全ての画素の距離パラメータの最大値を算出し、前記最大値を前記特徴値とする、ことを特徴とする請求項１０〜１３の何れか１項に記載の画像霧除去方法。
【請求項１５】
前記前景部分に位置しかつ前記背景部分と隣接する前景部分の境界を、前記境界として選択し、
前記前景部分の境界の全ての画素の距離パラメータの最大値、平均値又は中央値を算出し、前記最大値、前記平均値又は前記中央値を前記特徴値とする、ことを特徴とする請求項１０〜１３の何れか１項に記載の画像霧除去方法。
【請求項１６】
前記前景部分の平均物体距離と前記背景部分の平均物体距離との差が所定の閾値未満であるか否かを判定し、
前記差が前記閾値未満の場合に、前記背景部分に位置しかつ前記前景部分と隣接する背景部分の境界を、前記境界として選択し、
前記背景部分の境界の全ての画素の距離パラメータの最大値を算出し、この最大値を前記特徴値とし、
前記差が前記閾値以上の場合に、前記前景部分に位置しかつ前記背景部分と隣接する前景部分の境界を、前記境界として選択し、
前記前景部分の境界の全ての画素の距離パラメータの最大値、平均値又は中央値を算出し、前記最大値、前記平均値又は前記中央値を前記特徴値とする、ことを特徴とする請求項１０〜１３の何れか１項に記載の画像霧除去方法。
【請求項１７】
前記前景部分の各画素の粗距離パラメータを計算し、かつその全ての粗距離パラメータの平均値を前記前景部分の平均物体距離として計算し、
前記背景部分と前記前景部分とに隣接するサブ領域における各画素の粗距離パラメータを計算し、かつその全ての粗距離パラメータの平均値を前記背景部分の平均物体距離として計算する、ことを特徴とする請求項１６に記載の画像霧除去方法。
【請求項１８】
前記キーフレームの天空点パラメータを算出するステップと、
前記ノーマルフレームの天空点パラメータを前記キーフレームの天空点パラメータと等しくするステップと、をさらに含む、ことを特徴とする請求項１０〜１７の何れか１項に記載の画像霧除去方法。
【請求項１９】
撮像装置と、出力手段と、請求項１〜９の何れか１項に記載の画像霧除去装置とを備えることを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像霧除去装置、画像霧除去方法及び画像処理システムに関する。
【背景技術】
【０００２】
中華人民共和国の地理環境が複雑な地域のように、天候が変化しやすい地域では、多くの地区で霧が発生し、かつ、個々の地区が砂塵により天候に影響を受けることがある。霧や砂塵の天候は、屋外のビデオ画像の視程を低下する。なお、大都会では、大気汚染の影響によっても、屋外のビデオ画像の視程が低下してしまう。視程の低下はビデオ画像の品質に大きな影響を及ぼす。特に安全確保のための監視分野において、影響はより明確である。画像処理分野において霧化画像の明瞭化は切実で実用的なニーズである。同時に近年、シングルフレーム画像に基づく霧除去の技術革新が進んだことにより、霧化画像の霧除去処理がコンピュータ画像処理分野において、ますます重要な研究と位置付けられている。
【０００３】
現在、霧化画像明瞭化方法は主に、一般の画像増強方法に基づく霧除去アルゴリズムと大気モデルに基づく霧除去アルゴリズムとの２つの方法がある。一般の画像増強方法に基づく霧除去アルゴリズムに属するものは、ヒストグラム均等化、空間尖鋭化フィルタリング、高周波強調フィルタリング、ウェーブレット変換による画像強調、Ｒｅｔｉｎｅｘ増強フィルタリング等がある。これらのアルゴリズムは画像のコントラストと視程を増強することを出発点とし、かつ霧除去と直接の関係がなく、低照度などの原因によるビデオ画像の視程低下等の問題についても処理することができる。一方、２００２年、ＮＡＲＡＳＩＭＡＨＡＮらは、「Ｖｉｓｉｏｎ ａｎｄ ｔｈｅ Ａｔｍｏｓｐｈｅｒｅ」という論文において、はじめて大気モデルに基づく霧除去明瞭化方法を提案した。このような方法は、近年、技術革新が進んでおり、主としてＦａｔｔａｌ，Ｋａｉｍｉｎｇ Ｈｅらは新規のアルゴリズムを幾つか提案し、それらの用いた方法によれば、シングルフレーム画像だけの場合において、一般の画像増強に基づく霧除去方法よりもはるかに良好な霧除去効果を奏する。
【０００４】
ここで、大気モデルとは、大気中に浮遊粒子がある場合に、撮像機で物体を撮像し又は肉眼で物体を観察する光学原理をいう。大気モデルは、下記式（１）で示される。
【０００５】
【数１】
0005982719.tif 000002
【０００６】
式（１）において、Ｉ（Ｘ）は撮像装置で撮像した霧付き画像（以下、「霧化画像」ともいう）、又は肉眼で観察した霧化画像を示し、Ｘ＝（ｘ，ｙ）は画像画素の座標を示す。Ｊ(Ｘ)は、物体からの反射光の画像であり、霧のない画像を示し、言い換えれば、霧除去処理の結果となる画像である。Ａは、画像における天空の１点（以下、「天空点」ともいう）のＲＧＢ値であり、以下において、天空点パラメータともいう。現在の入力画像に天空がない場合は、画像における霧の濃度が最も大きい点を天空点とみなす。ｔ（Ｘ）は、空気媒体の伝達関数である。当該伝達関数は、空中の浮遊粒子により散乱された後においても残存して撮像装置に到達する、物体からの反射光の割合を記述する。ｔ(Ｘ)は、０超１未満のスカラデータであり、画像における画素ごとに一つの値を有する。Ｉ(Ｘ)、Ｊ(Ｘ)は、Ａと同様に、何れも画像ＲＧＢのベクトルデータである。
【０００７】
以下、図１を参照しながら式（１）を説明する。図１は、大気モデルの式の概念図である。図１の左側の画像は、肉眼又は撮像装置で観察した画像Ｉ（Ｘ）である。画像Ｉ(Ｘ)は、物体からの反射光Ｊ(Ｘ)が空中の浮遊粒子により散乱された後においても残存する部分Ｊ（Ｘ）ｔ（Ｘ）と、太陽光が空中の浮遊粒子により散乱された結果である大気環境光Ａ（１−ｔ（Ｘ））との二つの部分からなる。式（１）におけるｔ（Ｘ）は、被写体（物体）と撮像装置（肉眼）との距離（以下、「物体距離」ともいう）を示す関数であり、具体的には下記式（２）で示される。
【０００８】
【数２】
0005982719.tif 000003
【０００９】
式（２）のうち、ｄ（Ｘ）は、画像における一つの物体点Ｘと撮像装置（肉眼）との距離を示すため、ｔ（Ｘ）を「距離パラメータ」とも称する。βは、大気散乱係数を示す定数である。
【００１０】
式（１）及び式（２）から分かるように、物体からの反射光が撮像装置に到達する強さＪ（Ｘ）ｔ（Ｘ）は、物体と撮像装置との距離ｄ（Ｘ）と反比例し、距離が遠いほど光線の減衰が大きくなる。大気環境光が撮像装置に到達する強さＡ（１−ｔ（Ｘ））は、距離ｄ（Ｘ）と正比例し、距離が遠いほど光線が強くなるので、無限遠のところが白色をなす。
【００１１】
近年、大気モデルの式(１)に基づく霧除去アルゴリズムは技術革新が進んでいる。この大気モデルに基づくアルゴリズムは、シングルフレーム画像を入力画像とする場合のみにおいて良好な霧除去効果を奏することができる。表１において、幾つかの関係するアルゴリズムを挙げる。
【００１２】
【表１】
0005982719.tif 000004
【００１３】
これらの大気モデルに基づく霧除去アルゴリズムは、従来の画像増強アルゴリズムに比べ、より良好な霧除去効果を奏することができる。しかし、これらの方法は、演算が複雑で、処理速度が遅く、リアルタイム性が悪いという欠点がある。表２において、従来のアルゴリズムに基づく霧除去処理時間を幾つか挙げる。
【００１４】
【表２】
0005982719.tif 000005
【００１５】
大気モデルに基づく従来の霧除去アルゴリズムは、何れもシングルフレーム入力画像に対するものである。しかし、実際の利用段階においては、常にマルチフレームの状況、つまり連続的なビデオ画像が処理対象となる。大気モデルに基づく従来の霧除去アルゴリズムは、ビデオ画像に対してはまだ研究が進んでいない。
【００１６】
また、特許文献１には、ヒストグラム均等化補正過剰復元に基づく霧の天候のビデオ画像明瞭化方法が開示されている。具体的には、ヒストグラム均等化による霧除去方法をビデオに応用することについて、ビデオの前後フレームにヒストグラム均等化のマッピングテーブルを重複利用して処理速度を高める方法が提案されている。当該発明は同様にシングルフレーム霧除去処理アルゴリズムのビデオマルチフレーム処理における速度を向上させるものであるが、それは簡単なヒストグラム均等化画像増強方法であり、霧除去の応用に対するものではないので、霧除去效果も理想的ではない。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】中国特許出願公開第１０１２９０６８０Ａ号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１８】
本発明は、良好な霧除去効果を確保するとともに計算オーバーヘッドを顕著に低下し、特にリアルタイムに画像処理する場合に適する画像霧除去装置、画像霧除去方法及び画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【００１９】
この目的に達するために、本発明は、入力画像に対して霧除去処理を行う画像霧除去装置であって、各画素が物体距離によって決められる距離パラメータを有する前記入力画像をキーフレーム又はノーマルフレームのいずれかに分類する前処理手段と、前記キーフレームの背景画像における各画素の距離パラメータを含む、前記キーフレームの各画素の距離パラメータを算出するキーフレームパラメータ算出手段と、前記ノーマルフレームを背景部分と前景部分に分割し、前記背景部分の各画素の距離パラメータを直前キーフレームの背景画像における対応する画素の距離パラメータと等しくし、前記前景部分の各画素の距離パラメータを前記前景部分と前記背景部分との境界上の画素の距離パラメータの特徴値と等しくして、前記ノーマルフレームの各画素の距離パラメータを算出するノーマルフレームパラメータ算出手段と、前記キーフレームパラメータ算出手段により算出された距離パラメータを用いて前記キーフレームに対して霧除去処理を行い、前記ノーマルフレームパラメータ算出手段により算出された距離パラメータを用いて前記ノーマルフレームに対して霧除去処理を行う画像霧除去手段と、を備えることを特徴とする画像霧除去装置を提供する。
【００２０】
本発明では、ビデオ画像の背景更新アルゴリズムを用いて現在フレーム（画像霧除去処理の対象となる現在のフレーム画像）の背景を更新することにより、現在フレームの背景画像、つまりキーフレーム又はノーマルフレームの背景画像を得る。背景更新アルゴリズムは既に技術的に確立されており、Ｓｕｒｅｎｄａアルゴリズム、ＡＭＦアルゴリズム、ＭＯＧアルゴリズム等が比較的常用されている。
【００２１】
本発明の一つの好ましい実施の形態では、前記画像霧除去装置は、前記キーフレームの背景画像における各画素の距離パラメータを記憶するキーフレームパラメータ記憶手段をさらに備える、ことを特徴とする。
【００２２】
本発明の一つの好ましい実施の形態では、前記前処理手段は、連続画像において所定の間隔で前記キーフレームを選択する、ことを特徴とする。例えば、前処理手段は、１００００フレームごとに一つのキーフレームを選択する。
【００２３】
本発明の一つの好ましい実施の形態では、前記ノーマルフレームの画像と前記ノーマルフレームの背景画像との減算により前記ノーマルフレームの前景部分を得る、ことを特徴とする。
【００２４】
本発明の一つの好ましい実施の形態では、前記ノーマルフレームパラメータ算出手段は、前記背景部分に位置しかつ前記前景部分と隣接する背景部分の境界を、前記境界として選択し、前記ノーマルフレームパラメータ算出手段は、前記背景部分の境界の全ての画素の距離パラメータの最大値を算出し、前記最大値を前記特徴値とする、ことを特徴とする。
【００２５】
本発明の一つの好ましい実施の形態では、前記ノーマルフレームパラメータ算出手段は、前記前景部分に位置しかつ前記背景部分と隣接する前景部分の境界を、前記境界として選択し、前記ノーマルフレームパラメータ算出手段は、前記前景部分の境界の全ての画素の距離パラメータの最大値、平均値又は中央値を算出し、前記最大値、前記平均値又は前記中央値を前記特徴値とする、ことを特徴とする。
【００２６】
本発明の一つの好ましい実施の形態では、前記ノーマルフレームパラメータ算出手段は、前記前景部分の平均物体距離と前記背景部分の平均物体距離との差が所定の閾値未満であるか否かを判定し、前記ノーマルフレームパラメータ算出手段は、前記差が前記閾値未満の場合に、前記背景部分に位置しかつ前記前景部分と隣接する背景部分の境界を、前記境界として選択し、前記ノーマルフレームパラメータ算出手段は、前記背景部分の境界の全ての画素の距離パラメータの最大値をさらに算出し、この最大値を前記特徴値とし、前記ノーマルフレームパラメータ算出手段は、前記差が前記閾値以上の場合に、前記前景部分に位置しかつ前記背景部分と隣接する前景部分の境界を、前記境界として選択し、前記ノーマルフレームパラメータ算出手段は、前記前景部分の境界の全ての画素の距離パラメータの最大値、平均値又は中央値を算出し、前記最大値、前記平均値又は前記中央値を前記特徴値とする、ことを特徴とする。
【００２７】
本発明の一つの好ましい実施の形態では、前記ノーマルフレームパラメータ算出手段は、前記前景部分の各画素の粗距離パラメータを計算し、かつその全ての粗距離パラメータの平均値を前記前景部分の平均物体距離として計算し、前記ノーマルフレームパラメータ算出手段は、前記背景部分と前記前景部分とに隣接するサブ領域における各画素の粗距離パラメータを計算し、かつその全ての粗距離パラメータの平均値を前記背景部分の平均物体距離として計算する、ことを特徴とする。
【００２８】
本発明の一つの好ましい実施の形態では、前記キーフレームパラメータ算出手段は、前記キーフレームの天空点パラメータをさらに算出し、かつ前記ノーマルフレームパラメータ算出手段は、前記ノーマルフレームの天空点パラメータを前記キーフレームパラメータ算出手段により算出された前記キーフレームの天空点パラメータと等しくする、ことを特徴とする。
【００２９】
本発明は、入力画像に対して霧除去処理を行う画像霧除去方法であって、各画素が物体距離によって決められる距離パラメータを有する前記入力画像をキーフレーム又はノーマルフレームのいずれかに分類するステップと、前記キーフレームの背景画像における各画素の距離パラメータを含む、前記キーフレームの各画素の距離パラメータを算出するステップと、前記ノーマルフレームの各画素の距離パラメータを算出するステップであって、前記ノーマルフレームを背景部分と前景部分に分割し、前記背景部分の各画素の距離パラメータを直前キーフレームの背景画像における対応する画素の距離パラメータと等しくし、前記前景部分の各画素の距離パラメータを前記前景部分と前記背景部分との境界上の画素の距離パラメータの特徴値と等しくするステップと、前記算出されたキーフレームの距離パラメータを用いて前記キーフレームに対して霧除去処理を行い、前記算出されたノーマルフレームの距離パラメータを用いて前記ノーマルフレームに対して霧除去処理を行うステップと、を含むことを特徴とする画像霧除去方法をさらに提供する。
【００３０】
本発明の一つの好ましい実施の形態では、前記画像霧除去方法は、前記キーフレームの背景画像における各画素の距離パラメータを記憶するステップをさらに含む、ことを特徴とする。
【００３１】
本発明の一つの好ましい実施の形態では、連続画像において所定の間隔で前記キーフレームを選択することを特徴とする。例えば、１００００フレームごとに一つのキーフレームを選択する。
【００３２】
本発明の一つの好ましい実施の形態では、前記ノーマルフレームの画像と前記ノーマルフレームの背景画像との減算により前記ノーマルフレームの前景部分を得る、ことを特徴とする。
【００３３】
本発明の一つの好ましい実施の形態では、前記背景部分に位置しかつ前記前景部分と隣接する背景部分の境界を、前記境界として選択し、前記背景部分の境界の全ての画素の距離パラメータの最大値を算出し、前記最大値を前記特徴値とする、ことを特徴とする。
【００３４】
本発明の一つの好ましい実施の形態では、前記前景部分に位置しかつ前記背景部分と隣接する前景部分の境界を、前記境界として選択し、前記前景部分の境界の全ての画素の距離パラメータの最大値、平均値又は中央値を算出し、前記最大値、前記平均値又は前記中央値を前記特徴値とする、ことを特徴とする。
【００３５】
本発明の一つの好ましい実施の形態では、前記前景部分の平均物体距離と前記背景部分の平均物体距離との差が所定の閾値未満であるか否かを判定し、前記差が前記閾値未満の場合に、前記背景部分に位置しかつ前記前景部分と隣接する背景部分の境界を、前記境界として選択し、前記背景部分の境界の全ての画素の距離パラメータの最大値を算出し、前記この最大値を前記特徴値とし、前記差が前記閾値以上の場合に、前記前景部分に位置しかつ前記背景部分と隣接する前景部分の境界を、前記境界として選択し、前記前景部分の境界の全ての画素の距離パラメータの最大値、平均値又は中央値を算出し、前記最大値、前記平均値又は前記中央値を前記特徴値とする、ことを特徴とする。
【００３６】
本発明の一つの好ましい実施の形態では、前記前景部分の各画素の粗距離パラメータを計算し、かつその全ての粗距離パラメータの平均値を前記前景部分の平均物体距離として計算し、前記背景部分と前記前景部分とに隣接するサブ領域における各画素の粗距離パラメータを計算し、かつその全ての粗距離パラメータの平均値を前記背景部分の平均物体距離として計算する、することを特徴とする。
【００３７】
本発明の一つの好ましい実施の形態では、前記画像霧除去方法は、前記キーフレームの天空点パラメータを算出するステップと、前記ノーマルフレームの天空点パラメータを前記キーフレームの天空点パラメータと等しくするステップと、をさらに含む、ことを特徴とする。
【００３８】
最後に、本発明は、さらに、撮像装置と、出力手段と、以上のように記載の画像霧除去装置とを備えることを特徴とする画像処理システムを提供する。
【発明の効果】
【００３９】
本発明に係る画像霧除去装置、画像霧除去方法及び画像処理システムは、特に大気モデルに基づくシングルフレーム霧除去アルゴリズムに基づき、ビデオ連続画像の空間的冗長性と時間的冗長性とを利用して、画像霧除去処理の效率を向上している。ビデオ連続画像の空間的冗長性とは以下のことを意味する。即ち、画像の距離パラメータ、例えば大気モデルの式中の伝達関数ｔ(Ｘ)は、画像画素の物体距離又は結像物体と撮像装置との間の距離によって決められ、かつ結像物体の具体的な形状と関係がなければ、画像における結像物体部分の画素の距離パラメータは、非常に良好に結像物体部分上（又は結像物体部分の付近）の一つ又は複数の画素の距離パラメータにより近似することができる。ビデオ連続画像の時間的冗長性とは以下のことを意味する。即ち、画像の幾つかのパラメータ、例えば画像における背景を示す画素の距離パラメータと大気モデルの式におけるパラメータＡは、ゆっくりと変化するため、これらパラメータは、ビデオ連続画像の霧除去処理過程において重複して利用することができる。
【００４０】
本発明に係る画像霧除去装置、画像霧除去方法及び画像処理システムは、以下の利点を有する。
１．ビデオ連続画像における画像パラメータの時間的冗長性と空間的冗長性とを十分に利用して、計算オーバーヘッドを顕著に低下し、画像処理速度を向上する。
２．本発明に係る画像霧除去方法は、容易にその他の霧除去方法に組み合わせることができる。
３．本発明に係る画像霧除去方法又は画像霧除去装置は、容易にソフトウェア又はハードウェアにより実現され、従来のソフトウェア又はハードウェアを基にわずかな変更をするだけでよい。
４．本発明に係る画像霧除去方法は、画像における動きのある物体（動体）の特性を判定することにより、異なるシーンに柔軟に適用可能であり、霧除去效果を確保する場合に適切な異なる解決案を選択することができる。
【図面の簡単な説明】
【００４１】
【図１】大気モデルを示す概念図である。
【図２】本発明に係る画像処理システムを示す概念的構造ブロック図である。
【図３】キーフレームとノーマルフレームの分類を示す図である。
【図４】前景部分と背景部分の分割、及び背景部分の境界を示す図である。
【図５】前景部分と背景部分の分割、及び前景部分の境界を示す図である。
【図６】本発明の第１の実施例に係る画像霧除去方法を示すフローチャートである。
【図７】本発明の第２の実施例に係る画像霧除去方法を示すフローチャートである。
【図８】未処理の霧化画像、粗伝達関数画像及び伝達関数画像を示す図である。
【図９】本発明の第３の実施例に係る画像霧除去方法を示すフローチャートである。
【発明を実施するための最良の形態】
【００４２】
図２は、本発明に係る画像処理システムを示す概念的構造ブロック図である。本発明に係る画像処理システムは、撮像装置１００、画像霧除去装置２００、出力手段３００及び共用メモリ９０を含む。撮像装置１００は、画像（特に連続的なビデオ画像）を撮像し、その画像を画像霧除去装置２００に伝送する。画像霧除去装置２００は、撮像装置１００により提供された画像に対して明瞭化処理（霧除去処理ともいう）を行う。出力手段３００は、画像霧除去装置２００により明瞭化処理された画像を表示する。共用メモリ９０は、各種のデータを記憶する。
【００４３】
画像霧除去装置２００は、前処理手段１０、キーフレームパラメータ算出手段２０、キーフレームパラメータ記憶手段３０、ノーマルフレームパラメータ算出手段４０、画像霧除去手段５０及び制御配置手段６０を含む。
【００４４】
前処理手段１０は、撮像装置１００により提供されたフレーム画像を分析し、かつ所定の判定基準に基づき各フレーム画像を分類する。即ち、前処理手段１０は、各フレーム画像をキーフレーム又はノーマルフレームに分類する。そのため、前処理手段１０は、フレーム分類手段又はキーフレーム確定手段とも称する。次に、前処理手段１０は、キーフレーム画像をキーフレームパラメータ算出手段２０に伝送し、ノーマルフレーム画像をノーマルフレームパラメータ算出手段４０に伝送する。
【００４５】
キーフレームパラメータ算出手段２０は、例えばキーフレームの（大気モデルに基づく霧除去方法に必要な）伝達関数ｔ(Ｘ)と天空点パラメータＡを含むキーフレームパラメータを算出する。このキーフレームパラメータは、キーフレームの背景画像の伝達関数ｔ(Ｘ) をさらに含む。例えば大気モデルに基づく既知の霧除去アルゴリズムによりこれらのパラメータを算出することができる。
【００４６】
キーフレームパラメータ記憶手段３０は、キーフレームパラメータ算出手段２０により算出されたキーフレームパラメータ、特にキーフレームの背景画像の伝達関数ｔ(Ｘ)を記憶する。好ましくは、現在キーフレームのパラメータを記憶すると、その直前までに記憶しているキーフレームのパラメータを削除する。
【００４７】
ノーマルフレームパラメータ算出手段４０は、例えばノーマルフレームの（大気モデルに基づく霧除去方法に必要な）伝達関数ｔ(Ｘ)と天空点パラメータＡを含むノーマルフレームパラメータを算出する。本発明によれば、ノーマルフレームパラメータ算出手段４０は、まずノーマルフレーム画像を前景部分と背景部分に分割する。このうち、前景部分はノーマルフレーム画像における動きのある物体（以下、「動体」という）が所在する画像部分であり、背景部分はノーマルフレーム画像における動体を除いた画像部分である。動体が所在する画像部分を検出する常用の方法は、例えば現在フレームの画像（特に最初の画像）と現在フレームの背景画像とを減算することである。ノーマルフレームの背景部分については、従来の技術で既知の霧除去方法による背景部分の各画素の伝達関数ｔ(Ｘ)の計算を行わず、背景部分の各画素の伝達関数ｔ(Ｘ)を（キーフレームパラメータ記憶手段３０に記憶されている直前の）キーフレームの背景画像における対応する画素の伝達関数ｔ(Ｘ)と等しくする。ノーマルフレームの前景部分については、以下のように詳述する本発明に係る方法によりその前景部分の伝達関数ｔ(Ｘ) を算出する。天空点パラメータＡについては、前景部分と背景部分を区分せず、（キーフレームパラメータ記憶手段３０に記憶されている）キーフレームの天空点パラメータＡを直接ノーマルフレームの天空点パラメータＡとする。
【００４８】
好ましくは、キーフレームパラメータ算出手段２０は、キーフレーム、特に各キーフレームの背景画像を取得し、ノーマルフレームパラメータ算出手段４０は、ノーマルフレーム、特に各ノーマルフレームの背景画像を取得する。ビデオ画像における現在フレームの背景画像を取得するため、現在において比較的常用される方法として、Ｓｕｒｅｎｄａアルゴリズム、ＡＭＦアルゴリズム、ＭＯＧアルゴリズム等がある。
【００４９】
画像霧除去手段５０は、キーフレームパラメータ算出手段２０により算出されたキーフレームパラメータを用いてキーフレーム画像に対して霧除去処理を行い、ノーマルフレームパラメータ算出手段４０により算出されたノーマルフレームパラメータを用いてノーマルフレームに対して霧除去処理を行う。ここで、例えば大気モデルに基づく既知の霧除去方法により前記霧除去処理を行うことができる。
【００５０】
制御配置手段６０は、画像霧除去装置２００における各手段又はモジュールの制御や配置を行う。
【００５１】
本発明に係る画像処理システムは、霧除去画像に対して圧縮処理を行うビデオエンコーダ４００をさらに含むようにしてもよい。
【００５２】
図３は、キーフレームとノーマルフレームの分類の概略を示す。図３に示すように、第１のフレームと第Ｎのフレームはキーフレームであり（太いエッジで表示される）、他のフレームはノーマルフレームである。例えば、以下の方法によりキーフレームとノーマルフレームの分類を実現することができる。第１の可能な実現方法では、ビデオ連続画像において所定の間隔でキーフレームを選択し、例えば１００００フレーム画像ごとに一つのフレーム画像をキーフレームとして選択し、他の画像をノーマルフレームとする。第２の可能な実現方法では、ビデオ連続画像にシーン変換が発生する時、現在フレーム画像をキーフレームとして選択し、かつ現在フレームとその直前のキーフレームが所定の間隔を隔てる時、同様にその現在フレームをキーフレームとして選択し、他の画像をノーマルフレームとする。ここで、「シーン変換」とは、現在のシーンに変化を生じ、環境としての背景に変化が生じたことを指す。従来の技術における既知の方法により、ビデオ連続画像にシーン変換が生じたか否かを検出する。
【００５３】
以下、本発明に係る画像霧除去方法の第１の実施例を記述する。
【００５４】
まず、図４と図５を用いて第１の実施例に係る画像霧除去方法においてノーマルフレームの前景部分の伝達関数ｔ(Ｘ) を算出する基本的構想を記述する。本発明によれば、ノーマルフレームを背景部分と前景部分とに分割するため、ノーマルフレームの各画素が、前景部分又は背景部分に属するものとする。ノーマルフレームの各画素のうち、図４において背景部分が符号１で示され、前景部分が符号３で示され、図５において背景部分が符号１’で示され、前景部分が符号３’で示される。ここで、前景部分に位置しかつ背景部分と隣接する全ての画素は前景部分の境界として定義され、背景部分に位置しかつ前景部分と隣接する全ての画素は背景部分の境界として定義される。背景部分の境界が図４において符号２で示され、前景部分の境界が図５において符号２’で示される。画像における動体は「浮遊の」物体ではなく、背景と接触すれば、ノーマルフレームの背景部分の境界上には、少なくとも一つの、動体と背景との接触点を示す画素が存在している。現実には、ほとんどの動体は剛体でありかつ動体のサイズは動体と撮像装置との距離よりもはるかに小さいので、動体と背景の接触点と撮像装置との距離は、動体全体（言い換えれば動体の各点）と撮像装置との距離を良好に近似することができる。式(２)によれば、動体上の何れか１点の伝達関数ｔ(Ｘ)は、この点と撮像装置との距離によって決められる。そのため、画像において動体と背景との接触点を示す画素の伝達関数ｔ(Ｘ)は、非常に良好に動体（つまり前景部分）の各画素の伝達関数ｔ(Ｘ)に近似することができる。また、背景よりも動体が一般的に撮像機に近いので、画像において動体と背景との接触点を示す画素の伝達関数ｔ(Ｘ)は、背景部分の境界の他の画素の伝達関数ｔ(Ｘ)よりも大きい。以上の認識に基づき、本発明の第１の実施例に係る画像霧除去方法では、背景部分の境界の全ての画素のｔ(Ｘ)のうちの最大値Ｔｍａｘを背景部分の各画素のｔ(Ｘ)とすることにより、正確性を確保した場合に計算オーバーヘッドが顕著に低下する。
【００５５】
図６は、本発明の第１の実施例に係る画像霧除去方法を示すフローチャートである。
【００５６】
ステップＳ０では、現在フレーム画像Ｉ(Ｘ)とも称する画像Ｉ(Ｘ)を入力し又は読み取る。
【００５７】
次のステップＳ１では、現在フレーム画像Ｉ(Ｘ)がキーフレームであるか否かを判定する。この判定は、前記した２つの可能な実現方法により行うことができる。
【００５８】
ステップＳ１において現在フレーム画像Ｉ(Ｘ)をキーフレームであると判定した場合、ステップＳ２に進む。ステップＳ２では、例えば従来の技術で既知のシングルフレーム画像に基づく霧除去方法により、その伝達関数ｔ(Ｘ)と天空点パラメータＡを計算し、その背景画像を取得し、この背景画像の伝達関数ｔ(Ｘ)を計算する。
【００５９】
次に、ステップＳ８では、ステップＳ２において算出されたキーフレームの伝達関数ｔ(Ｘ)と天空点パラメータＡを用いて、大気モデルの式(１)に基づき従来の技術で既知のシングルフレーム画像に基づく霧除去方法によりキーフレーム画像に対して霧除去処理を行う。次に、ステップＳ９では、霧除去の結果として霧除去画像を出力する。
【００６０】
ステップＳ１において現在フレーム画像Ｉ(Ｘ)をノーマルフレームであると判定した場合、ステップＳ３では、当該ノーマルフレームを背景部分と前景部分に分割する。この前景部分はノーマルフレーム画像における動体が所在する画像部分であり、背景部分はノーマルフレーム画像における動体を除いた画像部分である。
【００６１】
動体が所在する画像部分を検出する方法は、例えば現在フレームの最初の画像と現在フレームの背景画像とを減算することである。ビデオ画像における現在フレームの背景画像を取得するための比較的常用の方法は、Ｓｕｒｅｎｄａアルゴリズム、ＡＭＦアルゴリズム、ＭＯＧアルゴリズム等である。そのため、ステップＳ３では、真っ先に（各々の）ノーマルフレームの背景画像を取得することが好ましい。
【００６２】
ノーマルフレームの背景部分について、ステップＳ４では、背景部分の各画素の伝達関数ｔ(Ｘ)を直前のキーフレーム（以下、「直前キーフレーム」ともいい、現在フレームからみて時系列で直前のキーフレームのことを意味する）の背景画像における対応する画素の伝達関数ｔ(Ｘ)と等しくする。
【００６３】
ノーマルフレームの前景部分について、ステップＳ５では、背景部分の境界を確定し、かつ背景部分の境界の全ての画素の伝達関数ｔ(Ｘ)のうちの最大値Ｔｍａｘを算出する。このうち、背景部分の境界の各画素の伝達関数ｔ(Ｘ)は既にステップＳ４で算出されている。次にステップＳ６では、前景部分の各画素のｔ(Ｘ)を全てＴｍａｘと等しくする。
【００６４】
次のステップＳ７では、ステップＳ２で算出された直前キーフレーム画像の天空点パラメータＡをノーマルフレーム画像の天空点パラメータＡとする。
【００６５】
次に、ステップＳ８では、ステップＳ４〜Ｓ７で得られた伝達関数ｔ(Ｘ)と天空点パラメータＡを用いて、大気モデルの式(１)に基づき従来の技術で既知のシングルフレーム画像に基づく霧除去方法により、ノーマルフレーム画像に対して霧除去処理を行う。次に、ステップＳ９では、霧除去の結果として霧除去画像を出力する。
【００６６】
上述のようにステップＳ４とステップＳ５〜Ｓ６をこの順で実行してもよいし、ステップＳ５〜Ｓ６を実行した後にステップＳ４を実行してもよいし、ステップＳ４とステップＳ５〜Ｓ６を並行に実行してもよい。ステップＳ７は、ステップＳ３の後に実行してもよい。
【００６７】
本発明の第１の実施例に係る霧除去方法の主な利点は、計算オーバーヘッドを顕著に低下することにあるが、「浮遊の」動体の場合に大きな誤差を起す可能性がある。それは、「浮遊の」動体、例えば天空に飛行する飛行機等が背景と接触しないからである。この問題を解消するために、本発明の第２の実施例に係る霧除去方法を提出する。
【００６８】
まず、第２の実施例に係る霧除去方法においてノーマルフレームの前景部分の伝達関数ｔ(Ｘ)を算出する基本的構想を記述する。現実では、ほとんどの動体のサイズは動体と撮像装置との距離よりもはるかに小さいので、動体の輪郭上の各点と撮像装置との距離のある特徴値により、動体上の全ての点と撮像装置との距離を良好に近似することがでる。即ち、一般の画像の前景部分の境界の全ての画素の伝達関数ｔ(Ｘ)のある特徴値により、前景部分の全ての画素の伝達関数ｔ(Ｘ) を良好に近似することができる。前記特徴値は、最大値、平均値又は中央値等であればよい。従来の技術で既知のシングルフレーム画像に基づく霧除去方法により前景部分の境界の画素の伝達関数ｔ(Ｘ)を計算する必要があるので、第１の実施例に係る方法よりも、第２の実施例に係る方法の演算速度は遅くなる。しかしながら、第２の実施例に係る方法は、従来の技術に係る方法よりも顕著に速く、かつ第１の実施例に係る方法のように「浮遊の」動体が存在する時に生じた偏差を避けることができる。
【００６９】
図７は、本発明の第２の実施例に係る画像霧除去方法を示すフローチャートである。
簡単なために、ここで第１の実施例と同一の部分を重複説明せず、第１の実施例との相違だけを詳述する。
【００７０】
第２の実施例に係る霧除去方法では、ステップＳ０〜Ｓ４は第１の実施例に係る霧除去方法と略同一である。
【００７１】
第２の実施例に係る方法のステップＳ５では、既に算出された背景部分の境界の画素の伝達関数ｔ(Ｘ)を利用しない。ここでは、従来の技術で既知のシングルフレーム画像に基づく霧除去方法により前景部分の境界の各画素の伝達関数ｔ(Ｘ)を計算し、その後、これら画素の伝達関数ｔ(Ｘ)のある特徴値Ｔを算出する。この特徴値Ｔは、最大値、平均値又は中央値等であることが好ましい。
【００７２】
次のステップＳ６では、前景部分の各画素のｔ(Ｘ)を算出した特徴値Ｔと等しくする。
【００７３】
次のステップＳ７〜Ｓ９は、第１の実施例に係る霧除去方法と略同一である。
同様に、上述のようにステップＳ４とステップＳ５〜Ｓ６をこの順で実行してもよいし、ステップＳ５〜Ｓ６を実行した後にステップＳ４を実行してもよいし、ステップＳ４とステップＳ５〜Ｓ６を並行に実行してもよい。ステップＳ７は、ステップＳ３の後に実行してもよい。
【００７４】
第１の実施例に係る方法は、主にノーマルフレームの前景部分と背景部分とが交差する点又は接触点を有する場合に適用し、その主な利点は演算速度が速く、計算オーバーヘッドが低いことである。しかし、ノーマルフレームの前景部分と背景部分とが接触しておらず、例えば空中に「浮遊」する飛行機の場合は、第１の実施例に係る方法で得られた前景部分の伝達関数ｔ(ｘ)は正確でない可能性が大きい。第２の実施例に係る方法は、この問題を良好に解決しているが、同時に余分な計算オーバーヘッドを起した。そのため、本発明の第３の実施例に係る方法では、以上に示した２つの方法の切り替えを行うことにより、この２つの方法の利点の組合せを実現している。
【００７５】
まず、図８を用いて第３の実施例に係る霧除去方法においてノーマルフレームの前景部分のｔ(Ｘ) を算出する基本的構想を記述する。ノーマルフレームの前景部分のｔ(Ｘ)を計算する前にノーマルフレーム画像に「浮遊の」動体が存在するか否かを判定し、次に、判定の結果に基づき以上のような方法のうち何れか一つを選択して処理を行う。ここでノーマルフレームの前景部分と背景部分とをパラメータＲａｗ ｔ(Ｘ)（以下、粗ｔ(Ｘ)ともいう）を用いて判定することを考慮することができる。この粗ｔ(Ｘ)は、従来の技術で既知の霧除去アルゴリズムにおいて通常計算する必要がある一つのパラメータであり、前記して説明したｔ(Ｘ)よりも計算速度は速いが、詳細な画像に対する反映はより粗くなる。粗ｔ(Ｘ)は霧除去処理に用いられてもよいが、詳細な画像が非常に多い場合に、画像のエッジに霧除去処理が十分ではない状況が現れる場合があり、それを示す画像として、その範囲が白色の霧となる。例えば《Ｓｉｎｇｌｅ ｉｍａｇｅ ｈａｚｅ ｒｅｍｏｖｅ ｕｓｉｎｇ ｄａｒｋ ｃｈａｎｎｅｌ ｐｒｉｏｒ》（表１の非特許文献１）の論文において、粗ｔ(Ｘ)を算出する方法が紹介されている。ここでは、いわゆる「ダークチャンネル」という理論を用い、その基本的原理としては、画像の小塊領域内のＲＧＢ成分の最小値がその箇所の霧濃度を代表することができるというものである。なお、《Ｓｉｎｇｌｅ Ｉｍａｇｅ Ｄｅｈａｚｉｎｇ》（表１の非特許文献２）の論文においても、「独立成分」分析方法により粗ｔ(Ｘ)を算出する方法が記述されている。
【００７６】
図８に示すように、（ａ）は未処理の霧化画像であり、（ｂ）は粗ｔ(Ｘ)からなる画像であり、（ｃ）はｔ(Ｘ)からなる画像である。粗ｔ(Ｘ)を用いて前景部分と背景部分の伝達関数ｔ(Ｘ)の差の大きさをおおよそ判定することができ、前景部分と背景部分の差が小さければ、ノーマルフレーム画像における物体が「浮遊の」ものではないと考えられ、前景部分と背景部分の差が大きければ、ノーマルフレーム画像における動体が「浮遊の」ものであると考えられる。
【００７７】
図９は、本発明の第３の実施例に係る画像霧除去方法を示すフローチャートである。
簡単なために、ここで第１の実施例又は第２の実施例と同一の部分を重複説明せず、第１の実施例又は第２の実施例との相違だけを詳述する。
【００７８】
第３の実施例に係る霧除去方法では、ステップＳ０〜Ｓ４は第１の実施例又は第２の実施例に係る霧除去方法と略同一である。
【００７９】
ステップＳ５では、ノーマルフレーム画像における動体（前景部分）が「浮遊の」ものであるか否かを判定する。まずノーマルフレームの前景部分の各画素の粗ｔ(Ｘ)を計算し、かつ前景部分の全ての画素の粗ｔ(Ｘ)の平均値Ｒ１を算出する。次に、背景部分と前景部分とに隣接するサブ領域又は背景部分全体の各画素の粗ｔ(Ｘ)を計算し、次に全ての画素の粗ｔ(Ｘ)の平均値Ｒ２を計算する。例えば、式｜Ｒ１−Ｒ２｜／Ｍａｘ(Ｒ１，Ｒ２)＜Ｔ１によってＲ１とＲ２との差を判定する。式中、Ｍａｘ(Ｒ１，Ｒ２)はＲ１とＲ２とを比較したうちの大きい値を示し、Ｔ１は所定の閾値であり、その範囲は０〜１である。ここで、閾値Ｔは、システムの応用ニーズに応じ設定可能であり、一般的には、より良好な霧除去結果を期待すれば、比較的小さい閾値Ｔを選択し、より速い霧除去速度を期待すれば、比較的大きい閾値Ｔを選択する。好ましくは、閾値Ｔ＝０．５である。
【００８０】
Ｒ１とＲ２の差と、Ｒ１とＲ２のうち大きい方の値との比が閾値Ｔ以上であれば、「浮遊の」動体が存在し、即ちステップＳ５での判定が成り立つと考えられるので、ステップＳ６−１を実行する。一方、Ｒ１とＲ２の差と、Ｒ１とＲ２のうち大きい方の値との比が閾値Ｔ１未満であれば、「浮遊の」動体が存在せず、即ちステップＳ５での判定が成り立たないと考えられるので、ステップＳ６−２を実行する。
【００８１】
ステップＳ６−１では、第２の実施例のように、前景部分の境界に基づき前景部分の伝達関数ｔ(Ｘ)を計算する。詳しくは、前景部分における各画素の伝達関数ｔ(Ｘ)を、前景部分の境界における全ての画素の伝達関数ｔ(Ｘ)のある特徴値、例えば最大値、平均値又は中央値と等しくする。この前景部分の境界の画素の伝達関数ｔ(Ｘ)は、従来の技術で既知の方法により算出される。
【００８２】
ステップＳ６−２では、第１の実施例のように、背景部分の境界に基づき前景部分の伝達関数ｔ(Ｘ)を計算する。詳しくは、前景部分における各画素の伝達関数ｔ(Ｘ)を、背景部分の境界における全ての画素の伝達関数ｔ(Ｘ)のうちの最大値と等しくする。この背景部分の境界の画素の伝達関数ｔ(Ｘ)は、既にステップＳ４で得られている。
【００８３】
次のステップＳ７〜Ｓ９は、第１の実施例又は第２の実施例に係る霧除去方法と略同一である。
【００８４】
同様に、上述のようにステップＳ４とステップＳ５〜Ｓ６−１／Ｓ６−２をこの順で実行してもよいし、ステップＳ５〜Ｓ６−１／Ｓ６−２を実行した後にステップＳ４を実行してもよいし、ステップＳ４とステップＳ５〜Ｓ６−１／Ｓ６−２を並行に実行してもよい。
【００８５】
なお、以下の方式によりステップＳ５での判定を行うようにすることもできる。即ち、背景部分の全ての画素の伝達関数ｔ(Ｘ)の平均値Ｒ３を計算する。この背景部分の全ての画素の伝達関数ｔ(Ｘ)は既にステップＳ４で算出されている。次に、前景部分の境界の全ての画素の伝達関数ｔ(Ｘ)の平均値Ｒ４を計算する。そして、例えば、式｜Ｒ３−Ｒ４｜／Ｍａｘ(Ｒ３，Ｒ４)＜Ｔ２によって２つの平均値Ｒ３とＲ４の差を比較する。ここで、Ｔ２は所定の閾値であり、その範囲が０〜１である。
【００８６】
本発明に係る画像霧除去装置、画像霧除去方法及び画像処理システムは、大気モデルに基づくシングルフレーム画像処理に限らず、結像物体と撮像装置との距離によって決められる距離パラメータに依存する何れの画像処理分野、及び／又はビデオ連続画像の各フレーム画像の間においてゆっくりと変化する全てのパラメータに依存する何れの画像処理分野にも適用することができるものである。
【符号の説明】
【００８７】
１０    前処理手段
２０    キーフレームパラメータ算出手段
３０    キーフレームパラメータ記憶手段
４０    ノーマルフレームパラメータ算出手段
５０    画像霧除去手段
６０    制御配置手段
９０    共用メモリ
１００  撮像装置
２００  画像霧除去装置
３００  出力手段
４００  エンコーダ
【図２】
0005982719.tif 000006
【図３】
0005982719.tif 000007
【図６】
0005982719.tif 000008
【図７】
0005982719.tif 000009
【図９】
0005982719.tif 000010
【図１】
0005982719.tif 000011
【図４】
0005982719.tif 000012
【図５】
0005982719.tif 000013
【図８】
0005982719.tif 000014