(57)【要約】【課題】撮像画像の波長帯が既知ならどのような撮像波長帯を持つ光学センサからの撮像画像でも大気中通過時に生じる光波の散乱や吸収の影響を精度よく補正する画像処理装置を得る。【解決手段】入力された複数の異なる波長帯で撮像された画像データのヒストグラム解析を行うヒストグラム解析部２と、前記入力された複数の異なる波長帯で撮像された画像データの撮像波長を求める波長帯情報出力部３と、各画像データに対して前記ヒストグラム解析及び撮像波長から、輝度値オフセット補正量を算出して輝度値オフセットの補正処理、および輝度値ゲイン補正量を算出して輝度値ゲインの補正処理を行う波長相関オフセット・ゲイン補正手段４，５と、を備える。【選択図】図１
2010251958.tif 000002
【特許請求の範囲】
【請求項１】
入力された複数の異なる波長帯で撮像された画像データのヒストグラム解析を行うヒストグラム解析部と、
前記入力された複数の異なる波長帯で撮像された画像データの撮像波長を求める波長帯情報出力部と、
各画像データに対して前記ヒストグラム解析及び撮像波長から、輝度値オフセット補正量を算出して輝度値オフセットの補正処理、および輝度値ゲイン補正量を算出して輝度値ゲインの補正処理を行う波長相関オフセット・ゲイン補正手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記波長相関オフセット・ゲイン補正手段の輝度値オフセット補正処理を行う波長相関オフセット補正部が、画像データＳ(ｘ,ｙ)に対して、撮像波長λ、パラメータＡ及びｍを用いて、
Ｓ(x,y)−(Ａ／λｍ)      ２＜ｍ＜４
で表される輝度値オフセット補正処理を行うことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記波長相関オフセット・ゲイン補正手段の輝度値ゲイン補正処理を行う波長相関ゲイン補正部が、画像データＳ’(ｘ,ｙ)に対して、撮像波長λ、補正パラメータＢ及びτ０及びｎを用いて
Ｓ’(x,y)／(τ０−(Ｂ／λｎ))      １＜ｎ＜３
で表される輝度値ゲイン補正処理を行うことを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記波長相関オフセット・ゲイン補正手段の輝度値ゲイン補正処理を行う波長相関ゲイン補正部が、画像データＳ’(ｘ,ｙ)に対して、撮像波長λ、補正パラメータＢ及びτ０及びｎを用いて
Ｓ’(x,y)／(τ０−(Ｂ／λｎ))      ４＜log１０Ｂ＜５
で表される輝度値ゲイン補正処理を行うことを特徴とする請求項１または２記載の画像処理装置。
【請求項５】
前記入力された画像データに対し最初に光学センサの感度特性を補正する感度レベル補正部をさらに備えていることを特徴とする請求項１から４までのいずれか１項記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、人工衛星や航空機などに搭載された光学センサで地球を撮像した画像を処理する画像処理装置、特にマルチバンド画像に対して生じる撮像波長間で異なる大気散乱・減衰の影響によるホワイトバランスの変化の補正に関する。
【背景技術】
【０００２】
光波が大気中を伝搬するとき、大気中の分子やエアロゾルによって散乱や減衰現象が起こる。人工衛星や航空機などに搭載された光学センサで地球を撮像した場合、地球大気中で散乱や吸収の影響を受けた光波が光学センサで受光される。これらの大気中で起こる光波の散乱や減衰の大きさは、大気中の分子やエアロゾルの種類、季節や気象条件などによって大きく変化する。また、光波の散乱や減衰の大きさは波長間で異なるため、マルチバンド画像では輝度値のホワイトバランスが撮像条件によって変化してしまい画質の劣化を引き起こす原因となる。以上のことから、撮像画像に対して大気中で起こる光波の散乱成分や減衰の影響を除去するような補正処理が必要となる。
【０００３】
例えば下記特許文献１では、波長が近赤外領域の光波は水分子に殆ど吸収されてしまうという物理特性を用いて、地表に水域がある場所を撮像した画素には地表面からの反射光は含まれず、大気中の散乱・反射成分のみが含まれるため、これらの画素情報を用いて陸域を撮像した画素における大気中の散乱成分を補正している。また、これらの画素情報を用いて他波長帯での大気中の散乱成分を推測することで補正している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０６−３００８４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記従来の補正処理方法では、水域を近赤外領域で撮像することによって補正量を算出しているが、近赤外領域または近赤外領域付近に撮像波長帯を持たない光学センサでは補正量の精度が大きく劣化する可能性がある。
【０００６】
また、水域を撮像した画素情報から陸域の画素を補正するため、水域がない地域や水域から遠く離れた地域では大気や気象状況が水域を撮像した画素と異なる場合が考えられ、これによって補正量の精度が大きく劣化する可能性がある。
【０００７】
この発明は上記のような問題点を解決するためになされたもので、人工衛星や航空機などに搭載される光学センサで地球を撮像した画像、特にマルチバンド画像において、撮像画像の波長帯が分かっていれば、どのような撮像波長帯を持つ光学センサからの撮像画像に対しても大気中の分子やエアロゾルによって起こる光波の散乱や吸収の影響を精度よく補正することが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明は、入力された複数の異なる波長帯で撮像された画像データのヒストグラム解析を行うヒストグラム解析部と、前記入力された複数の異なる波長帯で撮像された画像データの撮像波長を求める波長帯情報出力部と、各画像データに対して前記ヒストグラム解析及び撮像波長から、輝度値オフセット補正量を算出して輝度値オフセットの補正処理、および輝度値ゲイン補正量を算出して輝度値ゲインの補正処理を行う波長相関オフセット・ゲイン補正手段と、を備えたことを特徴とする画像処理装置にある。
【発明の効果】
【０００９】
この発明では、撮像画像の波長帯が分かっていれば、どのような撮像波長帯を持つ光学センサからの撮像画像に対しても大気中の分子やエアロゾルによって起こる光波の散乱や吸収の影響を精度よく補正することができる。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１による画像処理装置の概略的構成を示す図である。
【図２】この発明による画像処理装置の動作を説明するための図である。
【図３】この発明による画像処理装置の動作を説明するための別の図である。
【図４】この発明による画像処理装置の動作を説明するためのさらに別の図である。
【図５】この発明の実施の形態２による画像処理装置の概略的構成を示す図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１はこの発明の実施の形態１による画像処理装置の概略的構成を示す図であり、画像入力部１、ヒストグラム解析部２、波長帯情報出力部３、波長相関オフセット補正部４、波長相関ゲイン補正部５、および画像出力部６を備える。
【００１２】
図１において、複数の異なる波長帯で撮像された画像データが画像入力部１から入力される。入力された画像データをヒストグラム解析部２でヒストグラムを解析することで輝度値補正量を算出する。この補正量が後段の波長相関オフセット補正部４及び波長相関ゲイン補正部５に送られる。また、画像データに応じて波長帯情報出力部３から各画像の撮像波長が波長相関オフセット補正部４及び波長相関ゲイン補正部５に送られる。そして、波長相関オフセット補正部４では各画像データに対して前記補正量及び撮像波長から輝度値オフセット補正量を算出して補正処理を行う。また、波長相関ゲイン補正部５では画像データに対して前記補正及び撮像波長から輝度値ゲイン補正量を算出して補正処理を行う。以上のように輝度値補正処理された複数の画像データが画像出力部６から出力される。なお、波長相関オフセット補正部４及び波長相関ゲイン補正部５で波長相関オフセット・ゲイン補正手段を構成する。
【００１３】
この実施の形態において、波長相関オフセット補正処理部４及び波長相関ゲイン補正部５における輝度値補正処理について以下に示す。
【００１４】
光波が大気中を伝搬するときに起こる散乱や減衰の大きさは大気中の分子やエアロゾルの種類、季節や気象条件によって大きく変化するが、波長間の関係は大きく変化しない。これは、大気中の分子やエアロゾルの屈折率などの物性値は可視領域でほぼ一定であるため、大気中の分子やエアロゾル光波の散乱や減衰の大きさは大気中の分子やエアロゾル粒子の径に対する光線波長の比で表すことが可能である。従って、複数の異なる波長帯で撮像された各画像データに対して輝度値補正処理を行う場合に各撮像波長帯が分かっていれば、ある波長帯の画像データのみが過補正されることなく波長間でバランスのとれた輝度値補正量を算出することが可能である。波長相関オフセット補正部４及び波長相関ゲイン補正部５では前記の波長間でバランスのとれた輝度値補正量を算出する。
【００１５】
波長相関オフセット補正部４では画像データに対して輝度値オフセット補正を行う。このときの輝度値オフセット補正処理は、画像データをＳ(x,y)、撮像波長をλ、補正パラメータをＡ及びｍ、として例えば下記式(１)で表される。
【００１６】
Ｓ(x,y)−(Ａ／λｍ)      ２＜ｍ＜４          (１)
【００１７】
ここで、大気中の散乱により発生する撮像画像の輝度値オフセット量を波長帯400〜1000nmにおいて４パターンの大気条件でシミュレーション計算を行い、波長λに対して指数関数λ−ｍを各シミュレーション結果にフィッティングしたときの残差(フィッティングエラー)を図２に示す。図２では、横軸に補正パラメータｍ、縦軸にフィッティングエラーを相対値で示している。図２に示す結果より、補正パラメータｍ＝３のときに最もフィッティングエラーが最小となっている。これより、大気中の散乱により発生する撮像画像の輝度値オフセット量は波長λに対して補正パラメータｍを２＜ｍ＜４の領域内でとる指数関数λ−ｍで近似することでフィッティングエラーを低減することが可能である。すなわち、輝度値オフセット補正量の波長分散を指数関数λ−ｍとすることで、適切な波長間輝度値オフセット補正量を算出することが可能である。
【００１８】
次に波長相関ゲイン補正部５では、画像データに対して輝度値ゲイン補正を行う。このときの輝度値ゲイン補正処理は、画像データをＳ’(x,y)、撮像波長λを、補正パラメータをＢ及びτ０及びｎとして例えば下記式(２)で表される。
【００１９】
Ｓ’(x,y)／(τ０−(Ｂ／λｎ))      １＜ｎ＜３          (２)
【００２０】
ここで、大気透過率により発生する撮像画像の輝度値減衰を波長帯400〜1000nmにおいて４パターンの大気条件でシミュレーション計算を行い、波長λに対して補正関数τ０−(Ｂ／λｎ)を各シミュレーション結果にフィッティングしたときのフィッティングエラーを図３に示す。図３では、横軸に補正パラメータｎ、縦軸にフィッティングエラーを相対値で示している。図３に示す結果より、補正パラメータｎ＝２のときに最もフィッティングエラーが最小となっている。これより、大気透過率により発生する撮像画像の輝度値減衰は波長λに対して補正パラメータｎを１＜ｎ＜３の領域内でとる補正関数τ０−(Ｂ／λｎ)で近似することでフィッティングエラーを低減可能である。すなわち、輝度値ゲイン補正の波長分散を補正関数τ０−(Ｂ／λｎ)とすることで、適切な波長間輝度値ゲイン補正量を算出することが可能である。
【００２１】
また、大気透過率により発生する撮像画像の輝度値減衰を波長帯400〜1000nmにおいて４パターンの大気条件でシミュレーション計算を行い、波長λに対して補正関数τ０−(Ｂ／λｎ)を各シミュレーション結果にフィッティングしたときのフィッティングエラーを図４に示す。図４では、横軸に補正パラメータＢを底が１０の対数で、縦軸にフィッティングエラーを相対値で示している。図４に示す結果より、大気透過率により発生する撮像画像の輝度値減衰は、波長λに対して補正パラメータＢを４＜log１０Ｂ＜５の領域内でとる補正関数(τ０−(Ｂ／λｎ))−１で近似することでフィッティングエラーを低減することが可能である。すなわち、輝度値ゲイン補正の波長分散を補正関数(τ０−(Ｂ／λｎ))−１とすることで、適切な波長間輝度値ゲイン補正量を算出することが可能である。
【００２２】
この実施の形態において、前記式(１)の補正パラメータＡ及び前記式(２)の補正パラメータτ０及びＢは、ヒストグラム解析部２で各画像データのヒストグラム解析を行った結果から決定することが可能である。
【００２３】
例えば、画像データのヒストグラム演算により各画素値に対する頻度を求め、頻度の重心演算を行う。そして、頻度の重心となる画素値が画像データ間で一致するように各画像データに対する輝度値オフセット補正量及び輝度値ゲイン補正量を求め、各画像データすなわち各撮像波長に対する補正量に補正関数Ａλ−ｍ及び(τ０−(Ｂ／λｎ))−１をフィッティングすることで前記式(１)の補正パラメータＡ及び前記式(２)の補正パラメータτ０及びＢを求めることが可能である。
【００２４】
また、画像データの最小画素値と最大画素値が各画像データ間でほぼ一致するように各画像データに対する輝度値オフセット補正量及び輝度値ゲイン補正量を求め、各画像データすなわち各撮像波長に対する補正量に補正関数Ａλ−ｍ及び(τ０−(Ｂ／λｎ))−１をフィッティングすることで前記式(１)の補正パラメータＡ及び前記式(２)の補正パラメータτ０及びＢを求めることが可能である。
【００２５】
また、前記式(１)に示す補正パラメータＡは、光波が大気中を伝搬する際に生じる大気散乱量を複数の異なる波長で測定し、その大気散乱量測定値から決定することが可能である。このように実測値を用いることによって、より厳密に補正パラメータＡを決定することが可能である。
【００２６】
また、前記式(２)に示す補正パラメータτ０及びＢは、光波が大気中を伝搬する際に生じる減衰量を複数の異なる波長で測定し、その減衰量測定値から決定することが可能である。このように実測値を用いることによって、より厳密に補正パラメータτ０及びＢを決定することが可能である。
【００２７】
この実施の形態において、波長帯情報出力部３から各画像データの撮像波長を出力する手段として、例えば、予め画像データファイルのヘッダに撮像波長を記述しておき、ヘッダ部分から撮像波長を読み取って出力することが可能である。
【００２８】
また、画像データファイルのヘッダに撮像波長が記述されていなくても良い。例えば、波長帯情報出力部３に初期データとして各画像データの識別番号と撮像波長データを格納しておき、画像入力部１で入力された画像データの識別番号を抽出して前記格納データと照合することで各画像データに応じた撮像波長を出力することが可能である。
【００２９】
また、画像データファイルがヘッダを持っていなくても良い。例えば、波長帯情報出力部３に初期データとして各画像データの撮像タイムテーブルと撮像波長データを格納しておき、画像入力部１に入力された時間から画像データを識別して撮像波長を出力することが可能である。
【００３０】
この実施の形態において、各画像データは単波長ではなく任意の幅を持つ波長帯で撮像されたデータであり、波長相関オフセット補正部４及び波長相関ゲイン補正部５で補正量を求める際に用いる撮像波長は、例えば、撮像波長帯の中心波長を選択する。また、撮像波長帯における光学センサの分光感度特性分布の半値全幅を求め、半値全幅に対応する波長帯の中心波長を選択しても良い。また、任意の幅を持つ波長帯で撮像された画像データでは、例えば、撮像波長帯における光学センサの分光感度特性分布の重心となる波長を選択しても良い。
【００３１】
この実施の形態において、画像入力部１から入力された各画像データは、波長相関オフセット補正部４及び波長相関ゲイン補正部５で輝度値補正処理された後、各画像データそれぞれが画像出力部６から出力される以外にも、異なる波長帯で撮像された画像データを複数合成することで新たに画像を生成することが可能である。例えば、450nm近傍で撮像された画像データを青、550nm近傍で撮像された画像データを緑、650nm近傍で撮像された画像データを赤、にそれぞれ割り当てることでカラー画像データを生成することが可能である。
【００３２】
また、紫外領域や赤外領域の波長帯で撮像した画像データに色を付けて合成することで、普段は人間の目に見えない光を視覚化することが可能である。
【００３３】
また、高分解能のパンクロマティック画像(単色画像)と、低解像度の450nm近傍で撮像された画像データを青、550nm近傍で撮像された画像データを緑、650nm近傍で撮像された画像データを赤、にそれぞれ割り当てたカラー画像データと合成することで、高分解能のカラー画像を生成することが可能である。
【００３４】
以上のことからこの発明では、大気中で起こる光波の散乱や吸収による撮像画像の輝度値変化量を波長をパラメータとした補正関数で表しているため、撮像画像の波長帯が分かっていれば、どのような撮像波長帯を持つ光学センサからの撮像画像に対しても大気中で起こる光波の散乱や吸収の影響を補正することが可能である。
【００３５】
また、複数の異なる波長帯で撮像した画像データを合成する場合、ある波長帯の撮像画像のみが過補正されることを防ぐことが可能である。例えば、画像全体が森林(緑色)の場合や海面(青色)を、450nm近傍で撮像された画像データを青、550nm近傍で撮像された画像データを緑、650nm近傍で撮像された画像データを赤、にそれぞれ割り当てたカラー画像データであっても、ある波長帯が過補正されることによる輝度値(色)の偏りを生じさせることなくカラー画像を生成することが可能である。
【００３６】
実施の形態２．
上記実施の形態１では、複数の異なる波長帯で撮像した画像を撮像波長帯に応じて輝度値補正をした後、各画像データを合成することでマルチスペクトル画像を生成している。ここで、画像入力部１から入力される各画像は、撮像波長帯によって異なる光学センサの感度の影響を受けており、撮像波長帯間で輝度値にばらつきが生じる。この輝度値ばらつきが生成されるマルチスペクトル画像の画質劣化の原因となる。
【００３７】
次に、光学センサの感度特性がマルチスペクトル(マルチバンド)画像の画質劣化に与える影響を除去するための実施の形態を示す。
【００３８】
図５はこの発明の実施の形態２による画像処理装置の概略的構成を示す図である。図５の装置は実施の形態１の装置において、さらに光学センサの感度がマルチバンド画像の画質劣化に与える影響を除去するようにした装置である。図５において、図１の装置と同一もしくは相当部分は同一符号で示す。図５の７は感度レベル補正部である。
【００３９】
実施の形態２は、画像入力部１の後段に感度レベル補正部７を配置している。画像入力部１に入力された画像データに応じて波長帯情報出力部３から画像の撮像波長帯データが感度レベル補正部７に入力される。感度レベル補正部７では、波長帯情報出力部３から入力画像データの撮像波長を用いて、光学センサの感度特性が一様になるように入力画像データの輝度値補正処理を行う。
【００４０】
この実施の形態において、感度レベル補正部７では、各画像データの撮像波長と画像データに対する補正量を初期データとして格納しておき、波長帯情報出力部３から入力される撮像波長と前記格納データと照合することで補正量を抽出し、各画像データに対する輝度値補正処理を行う。
【００４１】
感度レベル補正部７で行う輝度値補正処理について、例えば、以下のような手段が考えられる。光学センサの分光感度分布をＲ(λ)、ある画像データの撮像波長帯を[λ１,λ２]として、光学センサの感度が一定値Ｒconstとなるように、ある撮像波長帯ｍに対する補正量Ｃｍを下記式(３)のように定義する。
【００４２】
Ｃｍ＝Ｒconst／(∫λ1λ2 Ｒ(λ)ｄλ)          (３)
【００４３】
また、前記補正値Ｃｍは、光学センサの平均分光特性をＲ０、画像データの撮像波長帯をΔλとして式(４)のように簡単に表すことも可能である。
【００４４】
Ｃｍ＝Ｒconst／(τ０Δλ)          (４)
【００４５】
そして、入力された画像データを補正量Ｃｍで除算することで、画像データの輝度値補正を行う。
【００４６】
以上のように、波長帯情報出力部３からの撮像波長帯データと感度レベル補正部７に格納されている光学センサの分光感度特性から、例えば上記式(３)や式(４)などを用いて感度特性補正値を求めることが可能である。
【００４７】
そして、各画像に応じた感度特性補正を用いて輝度値を補正することで、撮像波長帯で光学センサの感度特性が異なることによる輝度値ばらつきを除去することが可能である。
【００４８】
以上のことから、この実施の形態の画像処理装置は、画像入力部１の後段に感度レベル補正部７を配置することによって、撮像波長帯で異なる光学センサの感度特性がマルチスペクトル画像の画質劣化に与える影響を除去することが可能である。ある撮像波長帯の輝度値(色)に偏ることのないマルチスペクトル画像を生成することが可能である。
【００４９】
なお、上記各実施の形態では、波長相関オフセット補正部４による輝度値オフセット補正処理を行った後に波長相関ゲイン補正部５による輝度値ゲイン補正処理を行っている。これら輝度値オフセット補正と輝度値ゲイン補正の順番はどちらが先でもよいが、先に輝度値ゲイン補正を行うと、ヒストグラム解析部２で算出した輝度値オフセット補正量が変化してしまうため、再度輝度値オフセット補正量を算出する必要があり、計算処理負荷が大きくなる。そのため、波長相関オフセット補正部４による輝度値オフセット補正処理を行った後に波長相関ゲイン補正部５による輝度値ゲイン補正処理を行った方が計算処理負荷を小さくすることが可能である。
【符号の説明】
【００５０】
１  画像入力部、２  ヒストグラム解析部、３  波長帯情報出力部、４  波長相関オフセット補正処理部、５  波長相関ゲイン補正部、６  画像出力部、７  感度レベル補正部。
【図１】
2010251958.tif 000003
【図２】
2010251958.tif 000004
【図３】
2010251958.tif 000005
【図４】
2010251958.tif 000006
【図５】
2010251958.tif 000007