(57)【要約】【課題】画質を落とすことなく撮像画像から霧等の成分を除去する。【解決手段】微小粒子成分を含む撮像画像データの各画素に入射する光の透過率に基づいて、高画質化処理のためのパラメータを導出する手段と、導出されたパラメータを用いて高画質化処理を実行する手段と、前記微小粒子成分を除去した撮像画像データを生成する手段とを有することを特徴とする。【選択図】図５
2014232938.tif 000002
【特許請求の範囲】
【請求項１】
微小粒子成分を含む撮像画像データの各画素に入射する光の透過率に基づいて、高画質化処理のためのパラメータを導出する手段と、
導出されたパラメータを用いて高画質化処理を実行する手段と、
前記微小粒子成分を除去した撮像画像データを生成する手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記高画質化処理は、ホワイトバランス調整処理であり、
前記高画質化処理のためのパラメータは、前記ホワイトバランス調整処理における重みである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ホワイトバランス調整処理における重みは、前記透過率が大きい画素の画素値を前記透過率の値が小さい画素の画素値よりも反映させるような重みであることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記高画質化処理は、ノイズ低減処理であり、
前記高画質化処理のためのパラメータは、前記ノイズ低減処理における強度である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記ノイズ低減処理における強度は、ノイズ低減フィルタのフィルタ係数であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記ノイズ低減処理における強度は、ノイズ低減フィルタの参照画素範囲の大きさであることを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記高画質化処理を実行した後に、前記微小粒子成分を除去した撮像画像データを生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記高画質化処理を実行する前に、前記微小粒子成分を除去した撮像画像データを生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項９】
微小粒子成分を含む撮像画像データの各画素に入射する光の透過率に基づいて、高画質化処理のためのパラメータを導出するステップと、
導出されたパラメータを用いて高画質化処理を実行するステップと、
前記微小粒子成分を除去した撮像画像データを生成するステップと
を含むことを特徴とする画像処理方法。
【請求項１０】
コンピュータを請求項１乃至８のいずれか１項に記載されている画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の霧等の成分を除去する画像処理に関する。
【背景技術】
【０００２】
監視カメラなどの分野において、カメラから被写体までの間に存在する微小な粒子（例えば、霧）によって視認性が低下し、撮像画像が劣化することが問題となっている。このような霧等の成分を撮像画像から除去する技術として、特許文献1や非特許文献1が提案されている。これらの技術では、各画素のＲＧＢチャンネルの画素値のうち最小の画素値に基づいて、各画素に届く光の霧等に対する透過率を算出し、透過率に応じて各画素の画素値を補正することで霧等を除去している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２２１２３７号公報
【非特許文献】
【０００４】
【非特許文献１】K.He, J.Sun and X.Tang, "Single Image Haze Removal Using Dark Channel Prior", CVPR 2009
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献1や非特許文献1記載の技術では、霧等の成分を除去した後の画像においてホワイトバランスが崩れてしまうことがある。これは、被写体と霧等の色との和に合わせてホワイトバランスが調整されている状態の画像から霧等の成分のみを除いてしまうことに起因する。
【０００６】
また、霧等の成分を除去する場合、霧等の影響で狭くなった階調の幅を引き延ばすように画素値を補正するため、同時にノイズも増幅されてしまう。撮像画像中の位置（画素毎の透過率の違い）によってノイズの増幅量は異なるため、撮像画像全体に一様なノイズ低減処理を行っても、撮像画像中の位置によってノイズ低減が不足な部分と過剰な部分が発生してしまう。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、微小粒子成分を含む撮像画像データの各画素に入射する光の透過率に基づいて、高画質化処理のためのパラメータを導出する手段と、導出されたパラメータを用いて高画質化処理を実行する手段と、前記微小粒子成分を除去した撮像画像データを生成する手段とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、画質を落とすことなく撮像画像から霧等の成分を除去することができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置の構成の一例を示す図である。
【図２】霧画像を模式的に示した図である。
【図３】３種類の被写体の各色チャンネルの平均値と成分毎の内訳を示すテーブルの一例である。
【図４】実施例１に係る画像処理装置の機能ブロック図である。
【図５】実施例１に係る、画質を落とすことなく霧画像から微小粒子成分を除去した画像データを生成する処理の流れを示すフローチャートである。
【図６】実施例２に係る画像処理装置の機能ブロック図である。
【図７】実施例２に係る、画質を落とすことなく霧画像から微小粒子成分を除去した画像データを生成する処理の流れを示すフローチャートである。
【図８】実施例３に係る画像処理装置の機能ブロック図である。
【図９】実施例３に係る、画質を落とすことなく霧画像から微小粒子成分を除去した画像データを生成する処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１０】
［実施例１］
図１は、本発明に係る画像処理装置の構成の一例を示す図である。
【００１１】
画像処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ Ｉ／Ｆ１０４、ＨＤＤ１０５、入力 Ｉ／Ｆ１０６、出力 Ｉ／Ｆ１０７、システムバス１０８から構成され、外部メモリ１０９、表示装置１１０、撮像装置１１１が接続されている。
【００１２】
ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３に格納されたプログラムを実行し、システムバス１０８を介して後述する各部を統括的に制御する。これにより、後述する様々な処理が実行される。
【００１３】
ＨＤＤ Ｉ／Ｆ１０４は、例えばシリアルＡＴＡ(ＳＡＴＡ)等のインタフェイスであり、二次記憶装置としてのＨＤＤ１０５と接続されている。このＨＤＤ Ｉ／Ｆ１０４を介して、ＨＤＤ１０５からのデータの読み出しやＨＤＤ１０５へのデータの書き込みがなされる。なお、二次記憶装置はＨＤＤの他、光ディスクドライブ等の記憶デバイスでもよい。
【００１４】
入力Ｉ／Ｆ１０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。この入力Ｉ／Ｆ１０６を介して、撮像装置１１１や外部メモリ１０９（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）などからデータを取得する。
【００１５】
出力Ｉ／Ｆ１０７は、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力インタフェイスである。この出力Ｉ／Ｆ１０７を介して、表示装置１１０（液晶ディスプレイなどの各種出力デバイス）に、撮像装置１１１で撮像された画像などを表示する。
【００１６】
撮像装置１１１は、被写体の光情報をセンサで受光し、Ａ/Ｄ変換を施すことによって撮像画像のデジタルデータ（撮像画像データ）を取得する。
【００１７】
なお、画像処理装置１００の構成要素は上記以外にも存在するが、本発明の主眼ではないので、説明を省略する。
【００１８】
本実施例では、カメラと被写体との間に存在する霧などの微小な粒子によって崩れたホワイトバランスを調整する。微小粒子には、霧の他、靄、煙などがあるが、以下では、霧等のかかった画像を「霧画像」と呼ぶこととする。霧画像は以下の式（１）で表すことができる。
【００１９】
【数１】
2014232938.tif 000003
【００２０】
ここで、ｘは注目画素の番号、ＩＸは注目画素ｘの画素値、ＪＸは注目画素ｘに写る被写体から発せられる光の輝度を画素値に換算した値、λＸは注目画素ｘに入射する光の霧等に対する透過率、ＨＸは画素値Ｉｘのうちの霧等の成分を表す。なお、以下では、「ＨＸ」を微小粒子成分と呼び、「ＪＸ・λＸ」を被写体光成分と呼ぶこととする。つまり、上記式（１）は、霧画像が、被写体光成分と微小粒子成分との足し合わせから成ることを表している。以下では、画素値Ｉｘを入力とし、そこから微小量子成分ＨＸを除去して、被写体光成分ＪＸ・λＸを導出する処理を「微小粒子除去処理」と呼ぶこととする。
【００２１】
次に、霧画像の具体例について説明する。
【００２２】
図２は、霧画像を模式的に示した図である。図２に示す撮像画像には霧がかかった３種類の被写体２０１〜２０３が写っている。この場合において、被写体２０１における透過率は0.5、被写体２０２における透過率は0.1、被写体２０３における透過率は0.9であるとする。
【００２３】
図３は、被写体２０１〜２０３における各色チャンネルの平均値と成分毎の内訳を示すテーブルであり、（ａ）は被写体２０１に、（ｂ）は被写体２０２に、（ｃ）は被写体２０３に対応している。図３において、画素値（被写体光成分+微小粒子成分）は撮像画像データから直接取得することができるが、被写体光成分と微小粒子成分の各値は、撮像画像データから直接取得することができない。
【００２４】
次に、ホワイトバランスの調整について説明する。
【００２５】
ホワイトバランスの調整とは、撮像画像（ＲＧＢ画像）のＲ値（赤成分）の平均値、Ｇ値（緑成分）の平均値、Ｂ値（青成分）の平均値が同一、もしくは近い値となるように画素値を調整する処理である。一般的には、以下の式（２）〜式（４）によってホワイトバランスが調整される。
【００２６】
【数２】
2014232938.tif 000004
【００２７】
【数３】
2014232938.tif 000005
【００２８】
【数４】
2014232938.tif 000006
【００２９】
ここで、ＲＸ、ＧＸ、ＢＸは、注目画素ｘのホワイトバランス調整前のＲＧＢ値であり、ＲＷＸ、ＧＷＸ、ＢＷＸは、注目画素ｘのホワイトバランス調整後のＲＧＢ値である。また、ＷＲ、ＷＧ、ＷＢはホワイトバランス調整時の重みであり、以下の式（５）〜式（１１）で表される。
【００３０】
【数５】
2014232938.tif 000007
【００３１】
【数６】
2014232938.tif 000008
【００３２】
【数７】
2014232938.tif 000009
【００３３】
【数８】
2014232938.tif 000010
【００３４】
【数９】
2014232938.tif 000011
【００３５】
【数１０】
2014232938.tif 000012
【００３６】
【数１１】
2014232938.tif 000013
【００３７】
ここで、Ωは撮像画像中の画素全体の集合、Ｎは撮像画像の画素数である。図３の例では、
ＳＲ=(150+137+188)/3=158.33
ＳＧ=(130+150+110)/3=130.00
ＳＢ=(110+163+52)/3=108.33
Ｓ=(158.33+130.00+108.33)/3=132.22
となる。その結果、重みは、
ＷＲ=132.22/158.33=0.84
ＷＧ=132.22/130.00=1.02
ＷＢ=132.22/108.33=1.22
となる。そして、これらの値からホワイトバランス調整後のＲＧＢ値ＲＷＸ、ＧＷＸ、ＢＷＸは、以下のようになる。
＜被写体２０１＞
ＲＷＸ=ＷＲ×ＲＸ=0.84×150=126.00
ＧＷＸ=ＷＧ×ＧＸ=1.02×130=132.60
ＢＷＸ=ＷＢ×ＢＸ=1.22×110=134.20
＜被写体２０２＞
ＲＷＸ=0.84×137=115.08
ＧＷＸ=1.02×150=153.00
ＢＷＸ=1.22×163=198.86
＜被写体２０３＞
ＲＷＸ=0.84×188=157.92
ＧＷＸ=1.02×110=112.2
ＢＷＸ=1.22×52=63.44
【００３８】
これを３つの被写体（撮像画像の全画素）について平均すると、ＲＷＸの平均は133.00、ＧＷＸの平均は132.60、ＢＷＸの平均は132.17となる。このように、Ｒ値、Ｇ値、Ｂ値の値がほぼ同一となるように、ホワイトバランスが調整される。
【００３９】
しかし、上記の処理によって調整されるのは、霧等のかかった状態の画像のホワイトバランスであって、微小粒子除去処理によって得られる被写体光成分のみで構成される画像のホワイトバランスが調整されるわけではない。例えば、上述したホワイトバランス調整処理を図３における各被写体光成分に対して行うと、調整後のＲＧＢ値（ＲＷＸ、ＧＷＸ、ＢＷＸ）は、以下のようになる。
＜被写体２０１＞
ＲＷＸ=ＷＲ×ＲＸ=0.84×110=92.40
ＧＷＸ=ＷＧ×ＧＸ=1.02×80=81.60
ＢＷＸ=ＷＢ×ＢＸ=1.22×50=61.00
＜被写体２０２＞
ＲＷＸ=0.84×65=54.60
ＧＷＸ=1.02×60=61.20
ＢＷＸ=1.22×55=67.10
＜被写体２０３＞
ＲＷＸ=0.84×180=151.2
ＧＷＸ=1.02×100=102.00
ＢＷＸ=1.22×40=48.80
【００４０】
これを３つの被写体（撮像画像の全画素）について平均すると、ＲＷＸの平均は99.40、ＧＷＸの平均は81.60、ＢＷＸの平均は58.97となる。霧画像（被写体光成分+微小粒子成分）に対するホワイトバランス調整後の値と比べて、ホワイトバランスが崩れた結果となっているのが分かる。このように、霧画像においてホワイトバランスが取れていても、微小粒子除去処理によって被写体光成分のみを有する画像となった場合にはホワイトバランスが崩れてしまう。本実施例では、この問題を解決するために、ホワイトバランス調整時の重みを、透過率に基づいて導出する。
【００４１】
図４は、本実施例に係る画像処理装置１００の機能ブロック図であり、撮像画像データ取得部４０１、透過率データ取得部４０２、高画質化パラメータ導出部４０３、高画質化処理部４０４、微小粒子除去処理部４０５で構成される。画像処理装置１００は、ＲＯＭ１０３内に格納された制御プログラムをＣＰＵ１０１にロードし実行することで、上記各部の機能を実現する。各部の概要は以下のとおりである。
【００４２】
撮像画像データ取得部４０１は、撮像装置１１１から撮像画像データを取得する。取得した撮像画像データは、透過率データ取得部４０２、高画質化パラメータ導出部４０３及び高画質化処理部４０４へ送られる。
【００４３】
透過率データ取得部４０２は、取得した撮影画像における透過率のデータを取得する。取得した透過率のデータは、高画質化パラメータ導出部４０３及び微小粒子除去処理部４０５へ送られる。
【００４４】
高画質化パラメータ導出部４０３は、撮像画像データと透過率データとから、高画質化処理で用いるパラメータ（本実施例ではホワイトバランス調整処理時の重み）を導出する。導出された高画質化パラメータは、高画質化処理部４０４へ送られる。
【００４５】
高画質化処理部４０４は、導出された高画質化パラメータを用いて、高画質化処理（本実施例ではホワイトバランス調整処理）を撮像画像に対して実行する。高画質化処理が施された撮像画像のデータは、微小粒子除去処理部４０５に送られる。
【００４６】
微小粒子除去処理部４０５は、高画質化処理が施された撮像画像から微小粒子成分を取り除く処理を行い、被写体光成分のみからなる撮像画像データを生成する。
【００４７】
図５は、本実施例に係る、画質を落とすことなく霧画像から微小粒子成分を除去した画像データを生成する処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１０３からＲＡＭ１０２上に読み込んだ後、ＣＰＵ１０１によって該プログラムを実行することによって実施される。
【００４８】
ステップ５０１において、撮像画像データ取得部４０１は、撮像装置１１１で撮像された画像のデータを取得する。取得した撮像画像データは、透過率データ取得部４０２と高画質化処理部４０４へ送られる。
【００４９】
ステップ５０２において、透過率データ取得部４０２は、取得した撮影画像における透過率のデータを取得する。この透過率のデータは、入力Ｉ／Ｆ１０６を通じて外部（例えば不図示のキーボードを介した入力）から取得するようにしてもよいし、取得した撮像画像からダークチャンネルの原理などを用いて推定してもよい。また、透過率は被写体距離に依存するため、被写体までの距離データを取得し、そこから透過率を算出してもよい。ダークチャンネルの原理や、被写体距離から透過率を算出する方法は、本発明の主眼ではないため、説明を省略する。取得した透過率のデータは、高画質化パラメータ導出部４０３及び微小粒子除去処理部４０５へ送られる。
【００５０】
ステップ５０３において、高画質化パラメータ導出部４０３は、撮像画像データと透過率データとから、高画質化パラメータとしてホワイトバランス調整時の重みを導出する。具体的には、前述のとおり、全画素のＲ値の平均値、Ｇ値の平均値、Ｂ値の平均値が相互に近い値になるようなホワイトバランス調整処理時の重みを導出する。撮像画像の全画素の中には、透過率λＸが低い画素（霧等の影響が大きい画素）も含まれている。そこで、透過率λＸの値が大きい（霧等の影響が小さい）画素の画素値を強く反映させるような重みを、以下の式（１２）〜式（１８）によって求める。
【００５１】
【数１２】
2014232938.tif 000014
【００５２】
【数１３】
2014232938.tif 000015
【００５３】
【数１４】
2014232938.tif 000016
【００５４】
【数１５】
2014232938.tif 000017
【００５５】
【数１６】
2014232938.tif 000018
【００５６】
【数１７】
2014232938.tif 000019
【００５７】
【数１８】
2014232938.tif 000020
【００５８】
例えば、上述の図２で示した被写体２０１〜２０３の透過率λＸと図３の表で示した画素値を上記式（１２）〜式（１８）に適用すると、以下のようになる。
まず、式（１５）〜式（１８）から、
Ｓ’Ｒ=(0.5×150+0.1×137+0.9×188)/3=85.97
Ｓ’Ｇ=(0.5×130+0.1×150+0.9×110)/3=59.67
Ｓ’Ｂ=(0.5×110+0.1×163+0.9×52)/3=39.37
Ｓ’=(85.97+59.67+39.37)/3=61.67
となる。その結果、式（１２）〜式（１４）から、重みは、
Ｗ’Ｒ=61.67/85.97=0.72
Ｗ’Ｇ=61.67/59.67=1.03
Ｗ’Ｂ=61.67/39.37=1.57
となる。このようにして透過率λＸの値が大きい（霧等の影響が小さい）画素の画素値を強く反映させるような重みが導出される。
【００５９】
図５のフローチャートの説明に戻る。
【００６０】
ステップ５０４において、高画質化処理部４０４は、ステップ５０３で導出した重みを用いて、高画質化処理としてのホワイトバランス調整処理を撮像画像に対して実行する。具体的には、以下の式（１９）〜式（２１）を用いて、新たな画素値Ｒ’ＷＸ、Ｇ’ＷＸ、Ｂ’ＷＸを求める。
【００６１】
【数１９】
2014232938.tif 000021
【００６２】
【数２０】
2014232938.tif 000022
【００６３】
【数２１】
2014232938.tif 000023
【００６４】
例えば、ステップ５０３で導出された各重みが上述のＷ’Ｒ=0.72、Ｗ’Ｇ=1.03、Ｗ’Ｂ=1.57、撮像画像のＲＧＢ値が図３の表で示した被写体光成分のＲＧＢ値であったする。この場合、上記式（１９）〜式（２１）から、以下のように新たな画素値Ｒ’ＷＸ、Ｇ’ＷＸ、Ｂ’ＷＸが求められる。
＜被写体２０１＞
Ｒ’ＷＸ= 0.72×110=79.2
Ｇ’ＷＸ= 1.03×80=82.4
Ｂ’ＷＸ= 1.57×50=78.5
＜被写体２０２＞
Ｒ’ＷＸ=0.72×65=46.8
Ｇ’ＷＸ=1.03×60=61.8
Ｂ’ＷＸ=1.57×55=86.35
＜被写体２０３＞
Ｒ’ＷＸ=0.72×180=129.6
Ｇ’ＷＸ=1.03×100=103.00
Ｂ’ＷＸ=1.57×40=62.8
これを３つ被写体（撮像画像の全画素）について平均すると、Ｒ’ＷＸの平均は85.20、Ｇ’ＷＸの平均は82.40、Ｂ’ＷＸの平均は75.89となる。これは、従来の方法でホワイトバランスを調整した結果（ＲＷＸの平均：99.40、ＧＷＸの平均：81.60、ＢＷＸの平均：58.97）に比べてホワイトバランスの崩れが少ないことが分かる。
【００６５】
図５のフローチャートの説明に戻る。
【００６６】
ステップ５０５において、微小粒子除去処理部４０５は、ステップ５０４で得たホワイトバランスを調整した撮像画像から微小粒子成分を除去し、被写体光成分ＪＸ・λＸのみからなる撮像画像データを生成する。具体的には、まず、撮像画像中で最も霧等の微小粒子が濃い画素を特定する。この微小粒子が濃い画素を特定する処理には任意の方法を用いてよいが、例えば、霧等の色は白いと仮定し、ＲＧＢ値の平均値が全画素の中で最も大きい画素を、最も霧が濃い画素とするなどの方法により特定すればよい。なお、この特定処理において、霧等の影響ではなく、被写体自体が白い部分の画素を特定してしまうことを防ぐために、注目画素の周りの複数画素を参照して、複数画素のうちＲＧＢ値の平均値が最も小さい画素を比較するとよい。上記のような方法で特定された最も霧等が濃い画素の透過率を0とし、最も霧等が濃い画素の画素値に(１−λｘ)を乗算することによって、微小粒子成分ＨＸを求めることができる。そして、求められた微小粒子成分ＨＸを注目画素ｘの画素値ＩＸから差し引くことで、微小粒子成分の除去された撮像画像を得ることができる。なお、ここで述べた微小粒子除去処理の手法は一例であって、これに限定するものではない。
【００６７】
以上のように本実施例では、霧等の影響が小さい（透過率の大きい）画素の画素値を強く反映させるような重みを用いて、微小粒子除去処理前の撮像画像に対しホワイトバランス調整が施される。そして、そのようなホワイトバランス調整が施された撮像画像に対し微小粒子除去処理を行うことで、ホワイトバランスの取れた微小粒子除去画像を得ることができる。
【００６８】
［実施例２］
実施例１では、高画質化処理の内容としてホワイトバランス調整処理を実施する態様について説明した。次に、高画質化処理の内容としてノイズ低減処理を実施する態様について、実施例２として説明する。なお、実施例１と共通する部分については説明を省略ないしは簡略化し、差異点を中心に説明することとする。
【００６９】
前述のとおり、微小粒子除去処理では、霧等で埋もれた階調を引き延ばすように画素値を補正するため、同時にノイズが増幅されてしまう。そうなると透過率が小さい（霧等の影響が大きい）画素ほど画素値の補正量が大きくなり、ノイズの増幅量も大きくなる。そのため、撮像画像全体に一様なノイズ低減処理を行うと、透過率が小さい画素ではノイズ低減が不足し、透過率が大きい画素ではノイズ低減が過剰となるという問題が生じることになる。そこで、本実施例では、透過率に基づいてノイズ低減処理の強さを調整し、画素毎に適切なノイズ低減処理を施すことを可能にする。
【００７０】
図６は、本実施例に係る画像処理装置１００の機能ブロック図であり、撮像画像データ取得部６０１、透過率データ取得部６０２、高画質化パラメータ導出部６０３、微小粒子除去処理部６０４、高画質化処理部６０５で構成される。画像処理装置１００は、ＲＯＭ１０３内に格納された制御プログラムをＣＰＵ１０１にロードし実行することで、上記各部の機能を実現する。各部の概要は以下のとおりである。
【００７１】
撮像画像データ取得部６０１は、撮像装置１１１から撮像画像データを取得する。取得した撮像画像データは、透過率データ取得部６０２及び微小粒子除去処理部６０４へ送られる。
【００７２】
透過率データ取得部６０２は、取得した撮影画像における透過率のデータを取得する。取得した透過率のデータは、高画質化パラメータ導出部６０３及び微小粒子除去処理部６０４へ送られる。
【００７３】
高画質化パラメータ導出部６０３は、透過率データから、高画質化処理で用いるパラメータ（本実施例ではノイズ低減処理の強度）を導出する。導出された高画質化パラメータは、高画質化処理部６０５へ送られる。
【００７４】
微小粒子除去処理部６０４は、撮像画像から微小粒子成分を除去する。微小粒子成分が除去された撮像画像のデータは、高画質化処理部６０５へ送られる。
【００７５】
高画質化処理部６０５は、導出された高画質化パラメータを用いた高画質化処理（本実施例ではノイズ低減処理）を、微小粒子成分が除去された撮像画像に対して実行する。
【００７６】
図７は、本実施例に係る、画質を落とすことなく霧画像から微小粒子成分を除去した画像データを生成する処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１０３からＲＡＭ１０２上に読み込んだ後、ＣＰＵ１０１によって該プログラムを実行することによって実施される。
【００７７】
ステップ７０１において、撮像画像データ取得部６０１は、撮像装置１１１で撮像された画像のデータを取得する。取得した撮像画像データは、透過率データ取得部６０２と微小粒子除去処理部６０４へ送られる。
【００７８】
ステップ７０２において、透過率データ取得部６０２は、取得した撮影画像における透過率のデータを取得する。取得した透過率のデータは、高画質化パラメータ導出部６０３及び微小粒子除去処理部６０４へ送られる。
【００７９】
ステップ７０３において、微小粒子除去処理部６０４は、撮像画像から微小粒子成分を除去する。実施例1と異なり、高画質化処理を施す前の撮像画像に対して微小粒子除去を行って、この微小粒子除去処理によって増幅したノイズを後述のステップ７０５で低減している。
【００８０】
ステップ７０４において、高画質化パラメータ導出部６０３は、透過率データから、高画質化パラメータとしてノイズ低減処理の強度を導出する。ノイズ低減処理の強度としては、例えば、ガウス関数の標準偏差σxやフィルタの参照画素範囲の大きさが挙げられる。
【００８１】
まず、ガウス関数の標準偏差σxをノイズ低減処理の強度として導出する方法を説明する。一般的なガウスフィルタによるノイズ低減では、注目画素xに拠らず同一の値をσxとして用いる。しかし、本実施例では、注目画素xにおけるガウス関数の標準偏差σxを以下の式（２４）を用いて求める。
【００８２】
【数２２】
2014232938.tif 000024
【００８３】
ここで、σｍはノイズ低減の全体的な強さを表す任意の係数である。σｍはユーザが入力Ｉ／Ｆ１０６を介して与えてもよいし、撮像画像に拠らない固定値を用いても良い。上記式（２４）により、透過率λＸが小さいほどσＸの値が大きくなり、ノイズ低減処理の強度（ノイズ低減効果）が大きくなることが分かる。
【００８４】
次に、フィルタの参照画素全体の集合Φの範囲の大きさをノイズ低減処理の強度として導出する方法を説明する。一般的なガウスフィルタによるノイズ低減では、Φは注目画素xの周辺画素であり、その範囲の大きさは注目画素xに拠らず同一である。しかし、本実施例では、注目画素xにおけるΦの範囲の半径Dx[pixel]を以下の式（２５）を用いて求める。
【００８５】
【数２３】
2014232938.tif 000025
【００８６】
ここで、Ｄｍは任意の係数である。Ｄｍはユーザが入力Ｉ／Ｆ１０６を介して与えてもよいし、撮像画像に拠らない固定値を用いても良い。また、round()関数は、四捨五入を表す。上記式（２５）により、透過率λＸが小さいほどフィルタの参照画素の集合Φの範囲を表す半径ＤＸが大きくなり、ノイズ低減処理の強度（ノイズ低減効果）が大きくなることが分かる。
【００８７】
図７のフローチャートの説明に戻る。
【００８８】
ステップ７０５において、高画質化処理部６０５は、ステップ７０４で導出したノイズ低減処理の強度に応じて、撮像画像のノイズを低減する処理を行う。具体的には、例えば、以下の式（２６）で表されるガウスフィルタや、式（２７）で表されるレンジフィルタを用いて、ノイズを低減する。
【００８９】
【数２４】
2014232938.tif 000026
【００９０】
【数２５】
2014232938.tif 000027
【００９１】
ここで、ξはフィルタの参照画素番号、Φはフィルタの参照画素全体の集合、ＩＸはノイズ低減前の画素値、Oxはノイズ低減後の画素値、σｘは注目画素xにおけるフィルタのガウス関数の標準偏差（フィルタ係数）、Kは規格化係数である。上記式（２６）及び式（２７）において、標準偏差σｘが大きいほどノイズ低減効果は強くなり、また、注目画素xの周りの有限な範囲内の画素の集合であるΦの範囲が大きいほどノイズ低減効果は強くなる。
【００９２】
なお、ノイズ低減フィルタのフィルタ関数としてガウス関数を用いる例を説明したが、本実施例は任意のフィルタ関数を用いるノイズ低減フィルタに適用可能である。
【００９３】
また、上記図７のフローチャートでは、微小粒子除去処理によって増幅したノイズを低減するようにしているが、微小粒子除去処理前の撮像画像に対してノイズ低減処理を行って、ノイズの増幅自体を抑えるようにしてもよい。その場合も、上述の式（２４）及び式（２５）によって、透過率λＸを考慮したノイズ低減処理の強度を導出すればよい。こうすることで、微小粒子除去によるノイズ増幅量が大きい位置には強いノイズ低減処理を、微小粒子除去によるノイズ増幅量が小さい位置には弱いノイズ低減処理をかけることが可能となる。
【００９４】
以上のように本実施例では、撮像画像の各画素に入射する光の霧等に対する透過率に基づいてノイズ低減処理の強度を決定し、微小粒子除去によるノイズ増幅量に応じたノイズ低減処理を行うことができる。これにより、ノイズの少ない微小粒子除去画像を得ることができる。
【００９５】
［実施例３］
実施例１では、ホワイトバランスの取れた微小粒子除去画像を得るために、撮像画像のホワイトバランスを調整した後、微小粒子除去処理を行っていた。次に、微小粒子除去処理を行った後にホワイトバランスを調整する態様について、実施例３として説明する。なお、実施例１と共通する部分については説明を省略ないしは簡略化し、差異点を中心に説明することとする。
【００９６】
微小粒子除去処理を行った後の撮像画像に対しホワイトバランス調整処理を施す場合、微小粒子除去処理によってノイズが増幅された画素値をもとにホワイトバランス調整時の重みを導出することになり、ホワイトバランス調整の精度が低下する。そこで、本実施例では、ノイズ増幅量を考慮してホワイトバランス調整時の重みを導出する。
【００９７】
図８は、本実施例に係る画像処理装置１００の機能ブロック図であり、撮像画像データ取得部８０１、透過率データ取得部８０２、微小粒子除去処理部８０３、高画質化パラメータ導出部８０４、高画質化処理部８０５で構成される。画像処理装置１００は、ＲＯＭ１０３内に格納された制御プログラムをＣＰＵ１０１にロードし実行することで、上記各部の機能を実現する。各部の概要は以下のとおりである。
【００９８】
撮像画像データ取得部８０１は、撮像装置１１１から撮像画像データを取得する。取得した撮像画像データは、透過率データ取得部８０２及び微小粒子除去処理部８０３へ送られる。
【００９９】
透過率データ取得部８０２は、取得した撮影画像における透過率のデータを取得する。取得した透過率のデータは、微小粒子除去処理部８０３及び高画質化パラメータ導出部８０４へ送られる。
【０１００】
微小粒子除去処理部８０３は、撮像画像から微小粒子成分を除去する。微小粒子成分が除去された撮像画像のデータは、高画質化パラメータ導出部８０４及び高画質化処理部８０５へ送られる。
【０１０１】
高画質化パラメータ導出部８０４は、微小粒子除去処理が施された撮像画像データと透過率データとから、高画質化処理で用いるパラメータ（本実施例ではホワイトバランス調整処理時の重み）を導出する。導出された高画質化パラメータは、高画質化処理部８０５へ送られる。
【０１０２】
高画質化処理部８０５は、微小粒子除去処理が施された撮像画像に対し、導出された高画質化パラメータを用いて高画質化処理（本実施例ではホワイトバランス調整処理）を実行する。
【０１０３】
図９は、本実施例に係る、画質を落とすことなく霧画像から微小粒子成分を除去した画像データを生成する処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ１０３からＲＡＭ１０２上に読み込んだ後、ＣＰＵ１０１によって該プログラムを実行することによって実施される。
【０１０４】
ステップ９０１において、撮像画像データ取得部８０１は、撮像装置１１１で撮像された画像のデータを取得する。取得した撮像画像データは、透過率データ取得部８０２と微小粒子除去処理部８０３へ送られる。
【０１０５】
ステップ９０２において、透過率データ取得部８０２は、取得した撮影画像における透過率のデータを取得する。取得した透過率のデータは、微小粒子除去処理部８０３及び高画質化パラメータ導出部８０４へ送られる。
【０１０６】
ステップ９０３において、微小粒子除去処理部８０３は、撮像画像から微小粒子成分を除去する。実施例１と異なり、高画質化処理を施す前の撮像画像に対してなされた微小粒子除去処理によって増幅したノイズを考慮したホワイトバランスの調整を、後述のステップ９０５で行うことになる。
【０１０７】
ステップ９０４において、高画質化パラメータ導出部８０４は、微小粒子除去処理後の撮像画像データと透過率データとから、ホワイトバランス調整時の重みを導出する。具体的には、実施例１と同様、前述の式（１２）〜（１８）を用いて、透過率λxの大きい画素の画素値を強く反映させたホワイトバランス調整時の重みを求める。透過率λxの大きい画素はノイズ増幅量が小さいことから、ホワイトバランス調整の精度低下を抑えることができるためである。この場合において、式（１５）〜式（１７）におけるＲＸ、ＧＸ、ＢＸは、霧等の微小粒子の成分を除去した後の撮像画像の画素値となる。
【０１０８】
ステップ９０５において、高画質化処理部８０５は、ステップ９０４で導出した重みに応じたホワイトバランス調整処理を行う。このホワイトバランス調整は、実施例1と同様に前述の式（１９）〜式（２１）を用いてなされるが、本実施例では霧等を除去した後の撮像画像における画素値ＲＸ、ＧＸ、ＢＸのホワイトバランスが調整されることになる。
【０１０９】
以上のように本実施例では、ノイズ増幅量の小さい（透過率の大きい）画素の情報を強く反映させるような重みを導出して、ホワイトバランスの精度低下を抑えている。これにより、ホワイトバランスの取れた微小粒子除去画像を得ることができる。
【０１１０】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014232938.tif 000028
【図３】
2014232938.tif 000029
【図４】
2014232938.tif 000030
【図５】
2014232938.tif 000031
【図６】
2014232938.tif 000032
【図７】
2014232938.tif 000033
【図８】
2014232938.tif 000034
【図９】
2014232938.tif 000035
【図２】
2014232938.tif 000036