(57)【要約】［課題］波長ごとの大気透過率等の環境変動成分に関する値が未知の場合であっても、観測画像から精度のよい照明補正画像を得る。［解決手段］画像処理装置は、１つまたは複数の波長帯域による観測結果を保持する１つ以上の観測画像を読み込む画像読込手段５１と、１つ以上の前記観測画像の各々から、反射吸収帯領域に対する観測結果を除去して、反射吸収帯除去画像を生成する反射吸収帯領域除去手段５２と、反射吸収帯除去画像を用いて、観測に用いた波長帯域毎に、係数成分の比例値を求める係数成分比例値算出手段５３と、得られた波長帯域毎の係数成分の比例値に基づいて、１つ以上の観測画像に含まれる各観測値から係数成分を除去して、照明補正画像を生成する係数成分除去手段５４とを備える。
2016189853.tif 000002
【特許請求の範囲】
【請求項１】
１つまたは複数の波長帯域による観測結果を、観測対象領域の位置に対応する画素の画素値として保持する１つ以上の観測画像を読み込む画像読込手段と、
前記１つ以上の前記観測画像の各々から、観測波長帯域中に反射帯もしくは吸収帯を有する被観測物体を含む領域である反射吸収帯領域に対する観測結果を除去して、反射吸収帯除去画像を生成する反射吸収帯領域除去手段と、
前記反射吸収帯除去画像を用いて、前記１つ以上の観測画像の観測に用いた波長帯域毎に、当該波長帯域による観測値に現れる、前記被観測物体の反射率に比例する成分であって照明および／または大気透過率に関する成分を含む係数成分の比例値を求める係数成分比例値算出手段と、
波長帯域毎の前記係数成分の比例値に基づいて、前記１つ以上の観測画像に含まれる各観測値から係数成分を除去して、照明補正画像を生成する係数成分除去手段とを備えた
ことを特徴とする画像処理装置。
【請求項２】
前記反射吸収帯領域除去手段は、前記１つ以上の観測画像に含まれる、互いに対応関係のある画素に対応づけられた異なる波長帯域による観測値の中に、他の波長帯域による観測値と比べて所定量以上異なっている観測値が含まれている場合に、当該画素は反射吸収帯領域に対する観測結果を保持する画素であるとして、前記１つ以上の観測画像から前記画素の画素値として保持されている観測結果を全て除去して、前記反射吸収帯除去画像を生成する
請求項１に記載の画像処理装置。
【請求項３】
前記観測画像は、地表を観測して得られる観測結果をそれぞれ、前記観測対象領域である地表の領域に対応する画素の輝度値として保持する画像であり、
前記反射吸収帯領域除去手段は、前記１つ以上の観測画像に含まれる、互いに対応関係のある画素が対応する地表の領域が、特定の地表物を含む領域であるか否かを判定し、判定結果に基づき、前記１つ以上の観測画像から前記特定の地表物を含む領域に対応する画素の輝度値を除去する
請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記反射吸収帯領域除去手段は、前記１つ以上の観測画像に含まれる、互いに対応関係のある画素が対応する地表の領域が植生を含む領域であるか否かを判定し、判定結果に基づき、前記１つ以上の観測画像から前記植生を含む領域に対応する画素の輝度値を除去する
請求項３に記載の画像処理装置。
【請求項５】
前記反射吸収帯領域除去手段は、前記１つ以上の観測画像の画素毎に、当該画素が対応する地表の領域に対する、赤色波長帯域による観測結果である第１の輝度値と、近赤外波長帯域による観測結果である第２の輝度値とに基づいて、当該画素が対応する地表の領域が植生を含む領域であるか否かを判定する
請求項４に記載の画像処理装置。
【請求項６】
前記係数成分比例値算出手段は、前記反射吸収帯領域除去画像を用いて、前記観測画像の観測に用いた波長帯域毎に観測値のヒストグラムを生成し、生成されたヒストグラムにおいて累積相対度数が所定値以上となる観測値を、当該波長帯域における係数成分の比例値として算出する
請求項１から請求項５のうちのいずれか１項に記載の画像処理装置。
【請求項７】
所定範囲の領域を１つまたは複数の波長帯域を用いて観測して、１つ以上の観測画像を生成する観測装置と、
前記観測装置が生成した１つ以上の観測装置から環境変動成分を除去する画像処理装置とを備え、
前記画像処理装置は、
前記１つまたは複数の波長帯域による観測結果を、観測対象領域の位置に対応する画素の画素値として保持する前記１つ以上の観測画像を読み込む画像読込手段と、
前記１つ以上の観測画像の各々から、観測波長帯域中に反射帯もしくは吸収帯を有する被観測物体を含む領域である反射吸収帯領域に対する観測結果を除去して、反射吸収帯除去画像を生成する反射吸収帯領域除去手段と、
前記反射吸収帯除去画像を用いて、前記１つ以上の観測画像の観測に用いた波長帯域毎に、当該波長帯域による観測値に現れる、前記被観測物体の反射率に比例する成分であって照明および／または大気透過率に関する成分を含む係数成分の比例値を求める係数成分比例値算出手段と、
波長帯域毎の前記係数成分の比例値に基づいて、前記１つ以上の観測画像に含まれる各観測値から係数成分を除去して、照明補正画像を生成する係数成分除去手段とを含む
ことを特徴とする画像処理システム。
【請求項８】
１つまたは複数の波長帯域による観測結果を、観測対象領域の位置に対応する画素の画素値として保持する１つ以上の観測画像を読み込み、
前記１つ以上の観測画像の各々から、観測波長帯域中に反射帯もしくは吸収帯を有する被観測物体を含む領域である反射吸収帯領域に対する観測結果を除去して、反射吸収帯除去画像を生成し、
前記反射吸収帯除去画像を用いて、前記１つ以上の観測画像の観測に用いた波長帯域毎に、当該波長帯域による観測値に現れる、前記被観測物体の反射率に比例する成分であって照明および／または大気透過率に関する成分を含む係数成分の比例値を求め、
波長帯域毎の前記係数成分の比例値に基づいて、前記１つ以上の観測画像に含まれる各観測値から係数成分を除去して、照明補正画像を生成する
ことを特徴とする画像処理方法。
【請求項９】
２以上の異なる波長帯域による観測結果を、観測対象領域の位置に対応する画素の画素値として保持する１つまたは複数の観測画像から、観測波長帯域中に反射帯もしくは吸収帯を有する被観測物体を含む領域である反射吸収帯領域に対する観測結果を除去し、
前記１つまたは複数の観測画像から前記反射吸収帯領域に対する観測結果が除去された画像である反射吸収帯領域除去画像を用いて、前記１つまたは複数の観測画像の観測に用いた波長帯域毎に、当該波長帯域による観測値に現れる、前記被観測物体の反射率に比例する成分であって照明および／または大気透過率に関する成分を含む係数成分の比例値を求め、
波長帯域毎の前記係数成分の比例値に、被観測物体に応じた所定の係数を掛け、係数成分の値を推定する
ことを特徴とする環境変動成分推定方法。
【請求項１０】
コンピュータに、
１つまたは複数の波長帯域による観測結果を、観測対象領域の位置に対応する画素の画素値として保持する１つ以上の観測画像を読み込む処理、
前記１つ以上の前記観測画像の各々から、観測波長帯域中に反射帯もしくは吸収帯を有する被観測物体を含む領域である反射吸収帯領域に対する観測結果を除去して、反射吸収帯除去画像を生成する処理、
前記反射吸収帯除去画像を用いて、前記１つ以上の観測画像の観測に用いた波長帯域毎に、当該波長帯域による観測値に現れる、前記被観測物体の反射率に比例する成分であって照明および／または大気透過率に関する成分を含む係数成分の比例値を求める処理、および
波長帯域毎の前記係数成分の比例値に基づいて、前記１つ以上の観測画像に含まれる各観測値から係数成分を除去して、照明補正画像を生成する処理
を実行させるためのプログラムを記録したコンピュータ読み取り可能なプログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、地表を含む被観測物体から放射される電磁波を観測して得られる観測画像から環境変動成分を除去するための画像処理装置、画像処理システム、画像処理方法、環境変動成分推定方法および画像処理プログラムに関する。
【背景技術】
【０００２】
人工衛星や航空機などに設けられた観測装置によって、高所（被観測物体より遠方）から地表を観測する技術は、一般に、リモートセンシングと呼ばれる。このリモートセンシングでは、地表の所定範囲の領域から放射される、光などの電磁波の強さが観測されることが多い。【０００３】
リモートセンシングによって得られる観測結果としては、一つの観測値が、画像（観測画像）を構成する複数画素のうちのある画素の画素値として記憶されることが多い。例えば、地表の所定範囲の領域に含まれる各地点もしくは各小領域に対する観測値のそれぞれが、当該観測画像内の該地点もしくは該小領域に対応する画素の画素値として記憶される、などである。この場合、観測画像は、所定範囲の領域内の地表から放射される電磁波の観測値の各々を、当該領域内における地表の配置に従った位置にある画素に対応づけて保存した画像となる。なお、観測画像において、画素値は、観測された領域の地表における配置に従った位置にある画素の値である。したがって、観測画像に含まれる各画素値は、当該観測画像において、所定領域内の地表における所定の配置に従った各位置に対する観測値（各位置から放射された電磁波の強さ等）を表している、と言ってもよい。【０００４】
特に、観測装置がイメージセンサを含む場合、観測結果は画像形式で得られる場合が多い。この場合、観測画像に含まれる各画素の画素値は、イメージセンサの受光素子に入射する光の強さが受光素子によって観測された値（観測値）であってもよい。この観測値には、イメージセンサの受光素子に入射する光の進行方向にある地表等から放射される光の情報が含まれている。なお、イメージセンサは撮像素子とも呼ばれ、観測装置は撮像装置とも呼ばれる。その場合、観測画像は撮影画像とも呼ばれる。また、以下では、地表から放射された光に対して、観測装置が観測した光を観測光という場合がある。観測装置がイメージセンサを含む場合、観測光は、より具体的には、イメージセンサの受光素子に入射した光である。【０００５】
なお、画素値が、観測された波長帯域毎の、少なくとも一つの明るさを表す値で構成される場合、その明るさを表す値は、輝度値とも表記される。観測装置による観測が、特定の範囲の波長帯域に含まれる特定の波長の光によって行われる場合がある。例えば、観測装置は、特定の範囲の波長帯域に含まれる波長の光を選択的に透過するフィルタを使用すれば、観測光の波長帯域を限定することができる。また、観測装置が、透過する光の波長帯域が異なる複数のフィルタを使用することにより、フィルタの波長帯域毎の観測光の強さを観測結果として得ることができる。【０００６】
このようにして得られた観測画像は、地表被覆物の判別や、地表の状態観察等、様々な用途で利用されている、もしくは利用が期待されている。例えば、このような観測画像の利用が期待されるアプリケーションとして、営農支援や資源探索等が挙げられる。より具体的には、リモートセンシングによって得られる画像の各画素の値に含まれる地表被覆物の表面反射率の情報に基づいて、該被覆物の状態や材質を取得し、営農支援や資源探索等を行うアプリケーションが期待されている。例えば、営農支援や資源探査では、観測画像の各画素に保持された観測値を用いて、その画素に含まれる農作物の生育具合の取得や鉱物の判別を行うことが期待される。【０００７】
しかし、観測画像から、地表の状態や地表被覆物（例えば、農作物や鉱石等）の正確な情報を得るためには、環境条件に依存する成分を推定し、観測値（画素値）を補正する必要がある。このような、観測画像から不要な情報を除去して必要とされる情報のみを取り出す技術に関連して、特許文献１に記載された技術がある。また、空撮画像や衛星画像といった画像データを補正する技術が特許文献２に記載されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１３−２２５２４３号公報
【特許文献２】特開２００７−０１８３８７号公報
【非特許文献】
【０００９】
【非特許文献１】Silleos, N. G., Alexandridis, T. K., Gitas, I. Z. and Perakis. K., “Vegetation Indices: Advances Made in Biomass Estimation and Vegetation Monitoring in the Last 30 Years”, Geocarto International, Vol.21, No.4, December 2006.
【非特許文献２】A. F. Wolf, “Using WorldView-2 Vis-NIR Multispectral Imagery to Support Land Mapping and Feature Extraction Using Normalized Difference Index Ratios”, Fairborn, Ohio, 2010.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、物体は、その表面の材質や状態によって、波長ごとに異なる強度の光を反射することが知られている。物体における波長毎の光の反射率は、一般に、表面反射率と呼ばれる。【００１１】
上述の観測画像として得られる観測値には、観測対象による表面反射の情報に加えて、太陽光による照明の明るさや、大気による吸収および散乱など、環境条件に依存する成分（以下、環境変動成分という）の情報が含まれている。以下の式（１）は、環境条件が観測光に及ぼす影響を表した式である。【００１２】
Ｌ（λ）＝α（λ）Ｒ（λ）＋β（λ）  ・・・（１）【００１３】
Ｌ（λ）は、波長λにおける観測光の観測値（光の強さを示す値）である。また、Ｒ（λ）は、観測対象とされた地表物の表面反射率である。式（１）に示すように、リモートセンシングによって得られる観測値は、観測対象による表面反射率Ｒ（λ）に加えて、太陽光による照明や大気の透過率に依存する成分といった環境変動成分を含む式で表される。なお、式（１）に示す関係は、任意の波長で観測された観測値に対して成り立つとされている。式（１）において、環境変動成分は、α（λ）およびβ（λ）である。【００１４】
太陽光による照明の強度、大気の透過率および大気による光の散乱等は、太陽高度の変化や大気状態の揺らぎ等の環境条件によって変動する。そのため、地表物の正確な情報を得るためには、観測光に含まれる環境変動成分を精度よく推定して、補正する必要がある。【００１５】
環境変動成分は、地表物の表面反射率Ｒ（λ）に対して、係数項として表される成分である係数成分α（λ）と、加算項として表される成分である加算成分β（λ）とに大別できる。このうち係数成分α（λ）は、例えば、太陽光等による照明の強度や、照明光としての太陽光もしくはその反射光である観察光（電磁波）に対する大気の透過率に関する成分が相当する。また、加算成分β（λ）は、光路輝度に関する成分が相当する。ここで、光路輝度は、大気により散乱された太陽光のように、地表物を経由せずにイメージセンサに到達した観察光である。なお、係数成分α（λ）および加算成分β（λ）には上記以外のものも含まれ得る。【００１６】
図９は、観測画像である高所撮影画像における、観測光と、係数成分及び加算成分として表される環境変動成分との関係を示す説明図である。図９に示す例では、観測光の輝度値Ｌ（λ）は、地表物体固有の値である地表物体の反射率Ｒ（λ）に係数成分α（λ）を乗算した成分（地表反射光）に、加算成分β（λ）としての光路輝度を加算した値として表わされる。【００１７】
上述したとおり、地表物に関する正確な情報を得るためには、地表物に依存しない環境変動成分を算出したのち、この環境変動成分を観測光から除去する必要がある。したがって、この環境変動成分を高い精度で算出する技術が求められている。【００１８】
例えば、特許文献１には、複数の波長帯域に対応した観測画像を用いて、加算成分β（λ）である光路輝度を推定する方法が記載されている。しかし、特許文献１に記載の方法は、係数成分α（λ）については、予め記憶されている波長ごとの大気透過率を用いるのみであって、観測画像から係数成分α（λ）を推定する方法等について何ら開示されていない。【００１９】
すなわち、特許文献１には、加算成分β（λ）を推定して補正する、すなわち以下の式（２）で表される値Ｌ’（λ）を得る方法については開示されているが、さらに係数成分α（λ）を推定して以下の式（３）で表される値Ｌ’’を得る方法については開示されていない。【００２０】
Ｌ’（λ）＝α（λ）Ｒ（λ）  ・・・（２）【００２１】
Ｌ’’（λ）＝Ｒ（λ）  ・・・（３）【００２２】
なお、本発明では、観測画像もしくは加算成分β（λ）が除去された後の観測画像から、上記の式（３）で表される値Ｌ’’（λ）を得ることを照明補正といい、補正結果を表す画像を照明補正画像という。【００２３】
そこで、本発明は、波長ごとの大気透過率等の環境変動成分に関する値が未知の場合であっても、観測画像から精度のよい照明補正画像を得ることができる画像処理装置、画像処理システム、画像処理方法、環境変動成分推定方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００２４】
本発明による画像処理装置は、１つまたは複数の波長帯域による観測結果を、観測対象領域の位置に対応する画素の画素値として保持する１つ以上の観測画像を読み込む画像読込手段と、１つ以上の観測画像の各々から、観測波長帯域中に反射帯もしくは吸収帯を有する被観測物体を含む領域である反射吸収帯領域に対する観測結果を除去して、反射吸収帯除去画像を生成する反射吸収帯領域除去手段と、反射吸収帯除去画像を用いて、１つ以上の観測画像の観測に用いた波長帯域毎に、当該波長帯域による観測値に現れる、被観測物体の反射率に比例する成分であって照明および／または大気透過率に関する成分を含む係数成分の比例値を求める係数成分比例値算出手段と、得られた波長帯域毎の係数成分の比例値に基づいて、１つ以上の観測画像に含まれる各観測値から係数成分を除去して、照明補正画像を生成する係数成分除去手段とを備えたことを特徴とする。【００２５】
また、本発明による画像処理システムは、所定範囲の領域を１つまたは複数の波長帯域を用いて観測して、１つ以上の観測画像を生成する観測装置と、観測装置が生成した１つ以上の観測装置から環境変動成分を除去する画像処理装置とを備え、画像処理装置は、１つまたは複数の波長帯域による観測結果を、観測対象領域の位置に対応する画素の画素値として保持する１つ以上の観測画像を読み込む画像読込手段と、１つ以上の観測画像の各々から、観測波長帯域中に反射帯もしくは吸収帯を有する被観測物体を含む領域である反射吸収帯領域に対する観測結果を除去して、反射吸収帯除去画像を生成する反射吸収帯領域除去手段と、反射吸収帯除去画像を用いて、１つ以上の観測画像の観測に用いた波長帯域毎に、当該波長帯域による観測値に現れる、被観測物体の反射率に比例する成分であって照明および／または大気透過率に関する成分を含む係数成分の比例値を求める係数成分比例値算出手段と、得られた波長帯域毎の係数成分の比例値に基づいて、１つ以上の観測画像に含まれる各観測値から係数成分を除去して、照明補正画像を生成する係数成分除去手段とを含むことを特徴とする。【００２６】
本発明による画像処理方法は、情報処理装置が、１つまたは複数の波長帯域による観測結果を、観測対象領域の位置に対応する画素の画素値として保持する１つ以上の観測画像を読み込み、１つ以上の観測画像の各々から、観測波長帯域中に反射帯もしくは吸収帯を有する被観測物体を含む領域である反射吸収帯領域に対する観測結果を除去して、反射吸収帯除去画像を生成し、反射吸収帯除去画像を用いて、１つ以上の観測画像の観測に用いた波長帯域毎に、当該波長帯域による観測値に現れる、被観測物体の反射率に比例する成分であって照明および／または大気透過率に関する成分を含む係数成分の比例値を求め、得られた波長帯域毎の係数成分の比例値に基づいて、１つ以上の観測画像に含まれる各観測値から係数成分を除去して、照明補正画像を生成することを特徴とする。【００２７】
本発明による環境変動成分推定方法は、２以上の異なる波長帯域による観測結果を、観測対象領域の位置に対応する画素の画素値として保持する１つまたは複数の観測画像から、観測波長帯域中に反射帯もしくは吸収帯を有する被観測物体を含む領域である反射吸収帯領域に対する観測結果を除去し、１つまたは複数の観測画像から反射吸収帯領域に対する観測結果が除去された画像である反射吸収帯領域除去画像を用いて、１つまたは複数の観測画像の観測に用いた波長帯域毎に、当該波長帯域による観測値に現れる、被観測物体の反射率に比例する成分であって照明および／または大気透過率に関する成分を含む係数成分の比例値を求め、得られた波長帯域毎の係数成分の比例値に、被観測物体に応じた所定の係数を掛け、係数成分の値を推定することを特徴とする。【００２８】
本発明による画像処理プログラムは、コンピュータに、１つまたは複数の波長帯域による観測結果を、観測対象領域の位置に対応する画素の画素値として保持する１つ以上の観測画像を読み込む処理、１つ以上の観測画像の各々から、観測波長帯域中に反射帯もしくは吸収帯を有する被観測物体を含む領域である反射吸収帯領域に対する観測結果を除去して、反射吸収帯除去画像を生成する処理、反射吸収帯除去画像を用いて、１つ以上の観測画像の観測に用いた波長帯域毎に、当該波長帯域による観測値に現れる、被観測物体の反射率に比例する成分であって照明および／または大気透過率に関する成分を含む係数成分の比例値を求める処理、および得られた波長帯域毎の係数成分の比例値に基づいて、１つ以上の観測画像に含まれる各観測値から係数成分を除去して、照明補正画像を生成する処理を実行させることを特徴とする。
【発明の効果】
【００２９】
本発明によれば、環境変動成分に関する値が未知の場合であっても、観測画像から精度のよい照明補正画像を得ることができる。
【図面の簡単な説明】
【００３０】
【図１】第１の実施形態の画像処理装置の構成例を示すブロック図である。
【図２】照明補正部の構成例を示すブロック図である。
【図３】反射吸収帯除去画像のヒストグラムの例を示す説明図である。
【図４】第１の実施形態の画像処理装置の動作の一例を示すフローチャートである。
【図５】第２の実施形態の画像処理装置の構成例を示すブロック図である。
【図６】第２の実施形態の画像処理装置の動作の一例を示すフローチャートである。
【図７】本発明による画像処理装置の他の構成例を示すブロック図である。
【図８】本発明による画像処理装置の他の構成例を示すブロック図である。
【図９】高所撮影画像における、観測光と、係数成分及び加算成分との関係を示す説明図である。
【発明を実施するための形態】
【００３１】
以下、本発明の実施形態を図面を参照して説明する。以下の各実施形態では、環境変動成分のうち特に係数成分α（λ）を、安定してかつより精度良く推定する方法について説明する。
【００３２】
上記の式（１）に示される関係より、観測画像に含まれる各観測値から所定の方法により推定した加算成分β（λ）を減算すると、得られる補正値は、地表反射光成分に関する値のみとなると考えられる。ここで、地表物の反射率が波長帯域によらず同様なヒストグラムを持つと仮定すると、次のような方法により、係数成分α（λ）を推定することができる。すなわち、複数の波長帯域に対応した入力画像（例えば、加算成分β（λ）が除去された観測画像）から求めた波長帯域毎の輝度値のヒストグラムに基づき、累積相対度数が所定の条件を満たすある画素を抜き出し、当該画素の輝度に基づき係数成分α（λ）を算出する方法である。例えば、入力画像に含まれる、赤、緑、青の波長帯域λＲ、λＧ、λＢそれぞれの輝度値のヒストグラムを生成し、それらのヒストグラムから累積相対度数が所定値（例えば、０．９５）を超えるときの輝度値をそれぞれ求める。そして、求めた輝度値をそれぞれ赤、緑、青における係数成分の比例値αｅｓｔ（λＲ）、αｅｓｔ（λＧ）、αｅｓｔ（λＢ）とし、これら係数成分の比例値から、赤、緑、青における係数成分の値α（λＲ）、α（λＧ）、α（λＢ）を決定する。そして、入力画像の各画素における赤、緑、青の輝度値を、得られた係数成分α（λＲ）、α（λＧ）、α（λＢ）で除算することにより、照明補正画像を生成する。
【００３３】
この方法の特徴は、観測された波長帯域毎に入力画像の輝度値のヒストグラムを生成し、該ヒストグラムに基づいて抜き出した画素の輝度値に基づき当該入力画像の波長帯域における係数成分の値を算出して、照明補正画像を生成することである。なお、この方法は、観測対象とされた領域における地表反射率が、波長帯域によらず同様のヒストグラムを持つという条件が成り立つことを前提としている。換言すると、この方法が正しく係数成分を推定するためには、輝度値のヒストグラムに基づき抜き出した画素が波長帯域によらず一定の反射率の被観測物体を含んでいるという条件が成り立つ必要がある。
【００３４】
しかし、地表を観測して得られる観測画像の中には、この条件が成り立たないものがある。例えば、近赤外波長帯域において極端に高い反射率を持つ植生を多く含む領域を観測して得られる地表観測画像がその例である。例えば、そのような領域を複数の波長帯域を用いて観測して複数の地表観測画像を得たとする。そして、そのようにして得られた複数の波長帯域に対応する複数の地表観測画像が入力された場合、近赤外線波長帯域の画像のみ他の波長帯域の画像と比べ、高い輝度値を持つ画素が多くなる。そのような画像に対して、ヒストグラムの累積相対度数が所定値となる画素を抜き出した場合、抜き出した画素が、近赤外波長帯域においてのみ高い反射率を持つ地表物を含むことになる。その結果、近赤外領域において係数成分を正しく算出できずに、正しい照明補正画像を生成できないおそれがある。
【００３５】
そこで、以下の各実施形態では、ヒストグラムに基づき画素を抜き出す処理の前に、入力画像から、観測波長帯域中に反射帯もしくは吸収帯を有する被観測物体を含む領域である反射吸収帯領域を除去する工程を追加する。なお、地表物の反射率が波長帯域によらず同様なヒストグラムを持つ場合には、この工程を省略してもよい。
【００３６】
実施形態１．
図１は、本実施形態の画像処理装置の構成例を示すブロック図である。図１に示す画像処理装置１０は、画像読込部１１と、反射吸収帯領域除去部１２と、照明補正部１３とを備える。
【００３７】
また、画像処理装置１０は、外部装置１０１に接続されている。画像処理装置１０と外部装置１０１とは互いに通信可能である。また、画像処理装置１０は、出力装置１０２に接続されている。画像処理装置１０と出力装置１０２とは互いに通信可能である。
【００３８】
外部装置１０１は、例えば、複数の波長帯域を用いて、対象領域から放射される光の強さを観測し、観測結果を画素値として保持する画像を生成して出力する観測装置であってもよい。あるいは、外部装置１０１は、そのような観測装置による観測結果を含む観測画像を記憶している、ハードディスク装置などの記憶装置やサーバ装置（以下、これらをまとめて画像供給装置という）であってもよい。また、出力装置１０２は、例えば、ディスプレイ装置やネットワークを介して接続されるサーバ装置等であってもよい。出力装置１０２としてのサーバ装置は、例えば、画像から撮影物体の材質や状態に関する情報を抽出する物体同定装置であってもよいし、該物体同定装置に画像を供給する画像供給装置であってもよい。
【００３９】
本実施形態において、観測装置は、Ｎ個の波長帯域を用いて対象領域を観測する。ここでＮは１以上の整数である。外部装置１０１は、例えば、観測に用いた波長帯域の各々に関連付けられたＮ個の観測画像を、画像処理装置１０に供給する。外部装置１０１は、Ｎ個の観測画像と、それぞれの観測画像に関連付けられた波長帯域の情報として、観測に用いたイメージセンサの波長毎の感度値もしくは当該波長帯域の上限および下限と、を画像処理装置１０に供給してもよい。
【００４０】
観測装置は、例えば、照明光としての太陽光が観測対象で反射された後に、当該観測装置に届いた光の強さの分布を観測する。
【００４１】
本発明の各実施形態では、光は、可視光、赤外線および紫外線を含んでいてもよい。ここで、可視光は、例えば、波長４００ｎｍ〜７５０ｎｍの光である。また、紫外線は、例えば、波長１０ｎｍ〜４００ｎｍの光である。なお、観測に用いる紫外線は、このうちの近紫外（波長２００ｎｍ〜４００ｎｍ）の光や、さらにそのうちの一部（例えば、波長３５０ｎｍ〜）の光であってもよい。また、赤外線は、例えば、波長７５０ｎｍ〜１００００ｎｍの光である。なお、観測に用いる赤外線は、このうち近赤外波長（波長７５０ｎｍ〜１０５０ｎｍ）の光や、短波長赤外波長（波長１０５０ｎｍ〜２５００ｎｍ）の光や、熱赤外線（波長２５００ｎｍ〜１３０００ｎｍ）の光や、それらをすべて含む光や、それらのうちの一部であってもよい。観測に用いる光の種類および波長帯域は、センサの感度によって定められてもよい。以下は、観測に用いる光の波長帯域の一例である。
【００４２】
１．可視領域
２．さらに、近赤外領域を含む
３．さらに、近紫外領域を含む
４．さらに短波長赤外領域を含む
５．さらに熱赤外領域を含む
【００４３】
なお、上記は一例であって、観測波長帯域は上記に限定されない。観測装置は、例えば、可視光、赤外線および紫外線に含まれない電磁波を観測に用いてもよいし、赤色波長帯域と近赤外波長帯域といったように、特定の一部の波長帯域の光のみを観測に用いることも可能である。後述されるように、観測装置に届く光には、観測の対象から届く光に加えて、媒質（大気等）で反射・散乱されて届く光が含まれる。観測装置による観測の対象は、例えば、地球の表面である地表である。観測装置は、例えば飛行機や人工衛星に搭載され、互いに異なる複数の波長帯域で、上空から地表の明るさの観測を行うカメラであってもよい。その場合、観測装置は、互いに異なる波長帯域の光を選択的に透過するＮ個の帯域通過フィルタを使用して観測を行えばよい。なお、観測装置は、上空から地表を観測する以外にも、地表あるいは地表の近くから遠方の地表を観測してもよい。
【００４４】
また、波長帯域の幅は、均一でなくてもよい。一般に、長い波長帯域のセンサほど観測できる帯域幅が広くなる傾向にある。一例として、近紫外〜近赤外の波長を検出するセンサの場合、帯域幅が１０ｎｍ程度のものから、８０〜１５０ｎｍ程度のものが挙げられるが、短波長赤外領域を検出するセンサの場合、帯域幅が２００〜２５０ｎｍ程度のものが挙げられる。また、さらに長波長である熱赤外領域を検出するセンサの場合には、帯域幅が１０００ｎｍ程度のものが挙げられる。なお、これらは一例であって、観測に用いる各波長帯域の帯域幅は上記に限定されない。
【００４５】
観測装置は、Ｎ個の波長帯域による観測の結果を、Ｎ個の観測画像にして出力する。画像読込部１１は、外部装置１０１が観測により得たＮ個の観測画像を読み込んでもよい。以下、本例では、Ｎ個の観測画像のそれぞれは、Ｎ個の波長帯域のいずれかで観測された、対象領域の明るさの分布を表す画像であるとする。それぞれの画像に含まれる各画素の輝度値は、当該画素に応じた方向から届いた光の強さを表す。これらのＮ個の観測画像は、例えば、同一の対象すなわち同じ地表の範囲を観測して得られた画像である。その場合、Ｎ個の観測画像は、例えば、観測装置が対象領域をＮ個の波長帯域に対応するセンサを用いて観測する一連の観測処理によって得られたＮ個の観測画像であってもよい。また、これらのＮ個の観測画像は、大気反射率等の環境変動成分（特に係数成分）の値が各画像の全観測領域で同一あるいはほぼ同一であれば、異なる対象領域すなわち異なる地表の範囲を観測して得られた画像であってもよい。その場合、例えば外部装置１０１または画像処理装置１０の管理者が、いくつかある観測画像のうち、入力するＮ個の観測画像を選択してもよい。
【００４６】
画像読込部１１は、読み込んだＮ個の観測画像それぞれを、その観測画像の観測に用いた波長帯域の情報に関連付けて記憶する。ここで、関連付けられる波長帯域の情報は、その波長帯域での観測を行ったイメージセンサの感度値であってもよいし、その波長帯域に含まれる波長の上限と下限の組み合わせであってもよい。また、波長帯域の情報は、その波長帯域に含まれる波長の上限と下限の組み合わせに対して割り当てられている識別子であってもよい。以下、画像読込部１１によって読み込まれるこれらの観測画像を、単に入力画像という場合がある。
【００４７】
画像読込部１１は、例えば、上記の加算成分β（λ）が無視できるほど小さい観測画像もしくは該加算成分β（λ）が既に除かれた観測画像を読み込んでもよい。または、画像処理装置１０は、画像読込部１１の後段に、入力画像から加算成分β（λ）を推定して除去する光路輝度補正部（図示せず）を含んでいてもよい。光路輝度補正部による光路輝度の補正方法は、例えば、特許文献１に記載された方法に記載の方法を利用できる。
【００４８】
また、画像読込部１１は、観測時の太陽高度、観測年月日、観測時刻、観測対象領域の緯度および経度、観測対象領域の地形、観測時の水蒸気量およびエアロゾル量等の、観測画像を観測したときの観測条件に関する情報を、測定環境情報として記憶してもよい。
【００４９】
反射吸収帯領域除去部１２は、入力画像から、観測波長帯域の一部に反射帯や吸収帯を有する被観測物体を含む領域の有無を判定し、吸収帯や反射帯に該当する領域があれば、該領域に対応する画素の輝度値を除去する。ここで、反射帯とは、一部の波長帯域に対して、他の波長帯域と比べて相対的に高い反射率を示す現象もしくはそのような現象が生じる波長帯域をいう。また、吸収帯とは、一部の波長帯域に対して、他の波長帯域と比べて相対的に高い吸収率を示す現象もしくはそのような現象が生じる波長帯域をいう。また、観測波長帯域は、入力画像の観測値を得るために用いた波長帯域の全てをいう。
【００５０】
反射吸収帯領域除去部１２は、例えば、観測に用いたＮ個の波長帯域それぞれに対応する入力画像から、互いに対応関係のある画素に対応づけられた異なる波長帯域による観測値である輝度値を取り出し、これら異なる波長帯域による輝度値のうちの１つでも他の波長帯域による輝度値と比べて所定量以上異なっている場合には、当該画素に対応する領域に位置する対象物体が、波長帯域によらず略一定の反射率を持っていない、すなわち当該画素が、吸収帯もしくは反射帯を有する対象物体を含む領域である反射吸収帯領域に対応する画素であるとして、当該画素および当該画素と対応関係にある他の入力画像の画素の輝度値を除去（無効化）する。ここで、互いに対応関係のある画素とは、例えば、同じもしくは略同じ地表領域に対する観測値を保持している画素や、被観測物体の反射率が同じもしくは略同じとみなされる領域に対する観測値を保持している画素である。
【００５１】
反射吸収帯領域除去部１２は、例えば、入力画像に含まれる画素の各々について、Ｎ個の入力画像の各々から当該画素の輝度値すなわち波長帯域別の輝度値を抽出し、抽出した波長帯域別の輝度値を対象に標準偏差を求め、求めた標準偏差のうち１つでも平均に対して所定量以上の差（例えば、標準偏差の平均の２倍以上の差等）がある場合に、該画素は、反射吸収帯領域に対応する画素として、各入力画像の当該画素の輝度値を除去してもよい。また、反射吸収帯領域除去部１２は、例えば、画素の各々について、観測波長帯域の中で隣接する波長帯域間で輝度値の差が所定量以上の場合に、該画素は、観測波長帯域の一部に吸収帯もしくは反射帯を有しているとして、各入力画像の当該画素の輝度値を除去してもよい。
【００５２】
ここで、入力画像のある画素の輝度値を除去するとは、後段の照明補正部１３において係数成分の比例値を得るために用いられる特定の輝度値を抽出する際に使用される波長帯域毎のヒストグラムにおいて当該輝度値の度数に波長帯域による差ができないようにすることをいう。
【００５３】
反射吸収帯領域除去部１２は、波長帯域間の輝度値のばらつきを基に、反射吸収帯領域を判別する方法以外に、予め反射帯もしくは吸収帯を有しているとされる物体が既知の場合には、各画素がその物体を含む領域であるか否かを判定することによって、反射吸収帯領域を判別してもよい。
【００５４】
反射吸収帯領域除去部１２は、例えば、入力画像の各画素に対応する地表の領域が植生を含む領域であるか否かを判定し、植生領域に相当する画素の輝度値を除去してもよい。
【００５５】
また、反射吸収帯領域除去部１２は、植生の代わりに、水域、雪、人工物以外の地表物や、鏡面反射光の成分が観測値に含まれている物体や、これら地表物の一部もしくは全てを含むか否かを判定してもよい。また、反射吸収帯領域除去部１２は、植生の代わりに、他の任意の地表物を含むか否かを判定してもよい。
【００５６】
対象画素が植生領域すなわち対象画素の被写体が植生を含むか否か、もしくは他の特定領域すなわち他の特定の地表物を含むか否かは、例えば、次のような方法により判定してもよい。すなわち、反射吸収帯領域除去部１２は、例えば、Ｎ個の入力画像のｊ番目の画素のうち、赤に相当する波長帯域の観測値である輝度値Ｌｊ（λＲ）と、近赤外に相当する波長帯域の観測値である輝度値Ｌｊ（λＮＩＲ）とを取り出す。そして、反射吸収帯領域除去部１２は、取り出した輝度値Ｌｊ（λＲ）とＬｊ（λＮＩＲ）とを用いて、以下の式（４）に示される正規化差分植生指数（Normalized Difference Vegetation Index, NDVI）Ｉｊを算出する。そして、反射吸収帯領域除去部１２は、算出された正規化差分植生指数Ｉｊの値が所定値よりも大きいとき、当該ｊ番目の画素を植生領域と判定してもよい。このような処理を、入力画像を構成する全ての画素に対し実行することで、入力画像の各画素が植生領域か否かを判定してもよい。
【００５７】
【数１】
2016189853.tif 000003
【００５８】
また、反射吸収帯領域除去部１２は、例えば、正規化差分植生指数の代わりに、非特許文献１が示すＳＡＶＩ（Soil Adjusted Vegetation Index）、もしくはＲＶＩ（Ratio Vegetation Index）、もしくはＮＲＶＩ（Normalized Ratio Vegetation Index）、もしくはＴＶＩ（Transformed Vegetation Index）、もしくはＣＴＶＩ（Corrected Transformed Vegetation Index）、もしくはＴＴＶＩ（Thiam's Transformed Vegetation Index）、もしくはＥＶＩ（Enhanced Vegetation Index）を用いてもよい。また、反射吸収帯領域除去部１２は、例えば、正規化差分植生指数の代わりに、非特許文献２が示すＮＤＷＩ（Normalized Difference Water Index）、もしくはＮＤＳＩ（Normalized Difference Soil Index）、もしくはＮＨＦＤ（Non-Homogeneous Feature Difference）を用いてもよい。また、反射吸収帯領域除去部１２は、上記で示した指数以外に、他の任意の指標を用いてもよい。
【００５９】
また、反射吸収帯領域除去部１２は、入力画像のある画素が特定の物体を含むか否かの判定方法として、１つの観測画像に含まれる画素の各々に対して、予め登録されている当該特定の物体の画像情報または特徴量に関する条件と合致するか否かを判定することにより、該画素が特定の物体を含む領域であるか否かを判定することも可能である。一例として、近赤外波長帯域の観測結果を有する観測画像から、所定の閾値以上の輝度値を有する画素を、植生を含む領域に対応する画素と判定するなどの方法が挙げられる。
【００６０】
反射吸収帯領域除去部１２は、反射吸収帯領域に相当する画素の輝度値を除去した後の画像を、反射吸収帯除去画像として記憶する。反射吸収帯除去画像は、例えば、除去前の入力画像の波長帯域の情報と関連づけられて記憶されてもよい。
【００６１】
例えば、反射吸収帯領域除去部１２は、各入力画像の、反射吸収帯領域と判定された画素の値に０の値を格納した画像を、反射吸収帯除去画像として記憶してもよい。なお、反射吸収帯領域と判定された画素に格納する値は、例えば、負の値であってもよく、他の任意の値であってもよい。
【００６２】
照明補正部１３は、反射吸収帯領域除去部１２によって生成されたＮ個の波長帯域別の反射吸収帯除去画像を用いて、波長帯域毎に、係数成分α（λ）の比例値であるαｅｓｔ（λ）を算出し、算出されたαｅｓｔ（λ）を基に入力画像を補正する。
【００６３】
図２は、照明補正部の構成例を示すブロック図である。図２に示すように、照明補正部１３は、係数成分比例値算出部１３１と、係数成分除去部１３２とを含んでいてもよい。
【００６４】
係数成分比例値算出部１３１は、例えば、Ｎ個の波長帯域別の反射吸収帯除去画像の各々を用いて、輝度値のヒストグラムを生成し、生成したヒストグラムに基づいて、波長帯域毎の係数成分の比例値αｅｓｔ（λｋ）を算出する。係数成分比例値算出部１３１は、例えば、各々のヒストグラムにおいて累積相対度数が所定値を超えるときの輝度値を、その波長帯域λｋの係数成分の比例値αｅｓｔ（λｋ）としてもよい。ここで、ｋは１，．．．，Ｎのいずれかであり、ヒストグラムの生成元の反射吸収帯除去画像の波長帯域に対応している。
【００６５】
係数成分除去部１３２は、例えば、αｅｓｔ（λｋ）をそのまま係数成分の値α（λｋ）であるとして、波長λｋに対応する入力画像の全画素の値を、求めた係数成分の比例値αｅｓｔ（λｋ）で乗算し、その結果を照明補正画像としてもよい。また、係数成分除去部１３２は、例えば、αｅｓｔ（λｋ）に所定の係数γを掛けた値（γ・αｅｓｔ（λｋ））が係数成分の値α（λｋ）であるとしてもよい。そのような場合には、係数成分除去部１３２は、入力画像の全画素の値を、α（λｋ）すなわちγ・αｅｓｔ（λｋ）で乗算し、その結果を照明補正画像としてもよい。γは、例えば、入力画像にどのような物体が含まれているかに応じて異なる値が設定されてもよい。
【００６６】
係数成分比例値算出部１３１は、例えば、反射吸収帯除去画像のヒストグラムを次のように生成してもよい。すなわち、入力されたある波長帯域の反射吸収帯除去画像から、一定の範囲の輝度値を有する画素の数を算出し、算出された画素の数を反射吸収帯除去画像の全画素の数で除した値を頻度とする処理を、当該一定の範囲が、反射吸収帯除去画像の輝度値が取り得る値の範囲を網羅するように順に実行し、その結果生成された輝度値範囲毎の頻度をヒストグラムとする。
【００６７】
また、図３は、ある波長帯域λｋの反射吸収帯除去画像のヒストグラムの例を示す説明図である。なお、図３には、ヒストグラムに加えて、該ヒストグラムの累積相対度数と係数成分の比例値αｅｓｔ（λｋ）の推定結果の例も併せて示されている。ヒストグラムの累積相対度数は、輝度範囲毎の頻度の累積和である。本例のように、係数成分の比例値αｅｓｔ（λｋ）は、波長帯域λｋの反射吸収帯除去画像から生成されるヒストグラムにおいて累積相対度数が０．９５となるときの輝度値であってもよい。
【００６８】
この累積相対度数に対する所定値（閾値）は、例えば、入力画像から、鏡面反射を避けつつ最も強く照明（太陽光）を反射している画素（例えば、白色の画素等）の輝度値を取り出せるような値に設定されるのが好ましい。該所定値は、一般的な地表観測画像であれば、０．９以上であればよく、０．９５以上であればより好ましい。なお、１にしてしまうと、鏡面反射をしている画素の輝度値が選ばれるおそれがあるため、累積相対度数に対する所定値は１未満が好ましい。
【００６９】
また、係数成分除去部１３２は、以下の式（５）が示すように、画像読込部１１によって入力されたＮ個の入力画像の各々に対して、各画素の輝度を成分とするベクトルＬ（λｋ）（ｋ＝｛１，．．．，Ｎ｝）を、求めた係数成分の比例値αｅｓｔ（λｋ）に基づいて決定される係数成分の値α（λｋ）で除算し、その結果Ｒ（λｋ）を、その波長帯域λｋに関連づけて、照明補正画像として記憶する。また、係数成分除去部１３２は、そのようにして生成したＮ個の照明補正画像を出力装置１０２に出力する。
【００７０】
【数２】
2016189853.tif 000004
【００７１】
なお、係数成分除去部１３２は、以下の式（６）が示すように、画像読込部１１が記憶したＮ個の入力画像の各々に対して、各画素の輝度を成分とするベクトルＬ（λｋ）（ｋ＝｛１，．．．，Ｎ｝）を、求めた係数成分の比例値αｅｓｔ（λｋ）で除算し、その結果Ｒ（λｋ）を、その波長帯域λｋに関連づけて、照明補正画像として記憶する。なお、これはγ＝１とした場合に相当する。
【００７２】
【数３】
2016189853.tif 000005
【００７３】
次に、本実施形態の画像処理装置１０の動作を説明する。図４は、本実施形態の画像処理装置１０の動作の一例を示すフローチャートである。図４に示す例では、まず、画像読込部１１が、所定の波長帯域での観測結果を各画素に保持する観測画像を外部装置１０１から読み込み、観測に用いた波長帯域の情報とともに入力画像として記憶する（ステップＳ１０１）。画像読込部１１は、例えば、観測が行われた波長帯域別の複数の観測画像と、該観測画像の各々の波長帯域の情報を含む測定環境情報を、外部装置１０１から読み込んでもよい。そして、読み込まれた複数の観測画像を、その観測画像が観測された波長帯域の情報と少なくとも対応づけて記憶する。ここで、記憶された複数の波長帯域に対応する観測画像の各々は、入力画像として後段の処理部（反射吸収帯領域除去部１２および照明補正部１３）に出力される。なお、各観測画像の観測に用いた波長帯域が既知の場合は、波長帯域の情報は記憶されなくてもよい。本例では、読み込まれる観測画像は、Ｎ個の異なる波長帯域で観測された略同一範囲の地表の画像（Ｎ個）であるとする。
【００７４】
次に、反射吸収帯領域除去部１２が、画像読込部１１から出力された、異なる波長帯域での観測結果を各々の画素に保持する入力画像の各画素について、当該画素に対応する領域が反射吸収帯領域を含む領域であるか否かを判定する（ステップＳ１０２）。
【００７５】
次に、反射吸収帯領域除去部１２は、各入力画像から、反射吸収帯領域を含むと判定された画素の輝度値を除去した画像を生成し、反射吸収帯領域除去画像として記憶する（ステップＳ１０３）。
【００７６】
次に、照明補正部１３（より具体的には、係数成分比例値算出部１３１）が、波長帯域別の反射吸収帯領域除去画像の各々について、輝度値のヒストグラムを生成し、生成したヒストグラムに基づき係数成分の比例値αｅｓｔ（λ）を算出する（ステップＳ１０４）。
【００７７】
次に、照明補正部１３（より具体的には、係数成分除去部１３２）が、各入力画像の全画素の値を、その入力画素の波長帯域に対して算出された係数成分の比例値を基に決定される係数成分の値α（λ）を用いて除算し、その結果を、当該波長帯域における照明補正画像として記憶する（ステップＳ１０５）。
【００７８】
最後に、照明補正部１３が、生成した各波長帯域における照明補正画像を出力装置１０２に出力する（ステップＳ１０６）。
【００７９】
以上のように、本実施形態によれば、波長ごとの大気透過率等の環境変動成分に関する値を予め記憶しておかなくても、入力された観測画像から、安定して高精度な照明補正画像を生成できる。
【００８０】
その理由は、植生など、一部の波長帯域でのみ高い反射率や低い反射率を有するような物体が観測範囲内の地表に多くある場合、Ｎ個の観測画像のうちその波長帯域の画像のみ他の波長帯域の画像と比べ、高いまたは低い画素値を持つ画素が多くなる。そのような画像をそのまま用いて、波長帯域別の観測画像の輝度値のヒストグラムから係数成分（これは例えば、照明成分と大気透過率の積を含む）の比例値を算出すると、当該物体を含む画素の影響を受けて係数成分の比例値が正しく求まらないという事態が生じるおそれがあるが、本実施形態では、そのような事態を回避するための工程を含んでいるからである。すなわち、本実施形態によれば、そのような事態を回避し、安定して係数成分の比例値（より具体的には、入力画像内で最大の反射率を有するであろう画素の輝度値）を算出できる。その結果、本実施形態によれば、安定して高精度な照明補正画像を生成することができる。
【００８１】
なお、上記の実施形態では、１つの観測画像が、１つの波長帯域による観測結果を各画素の画素値に保持する場合を例に説明したが、例えば、１つの観測画像が、複数の波長帯域による観測結果を各画素の画素値として保持していてもよい。例えば、観測画像が各画素につき、２バイトの画素値を保持できるような場合に、当該２バイトのデータのうち前半の１バイトが、第１の波長帯域による観測結果を保持し、後半の１バイトが第２の波長帯域による観測結果を保持するといった画像形式であってもよい。なお、そのような場合、画像処理装置における入力画像としては、波長帯域別に２つの観測画像が入力されたものとして扱えばよい。
【００８２】
実施形態２．
次に、本発明の第２の実施形態について説明する。図５は、本発明の第２の実施形態の画像処理装置２０の構成例を示すブロック図である。本実施形態では、入力画像から、反射吸収帯領域として特に植生領域を判別して除去する画像処理装置について説明する。以下では、第１の実施形態と同じものについては同じ符号を付し、説明を省略する。
【００８３】
図５に示す画像処理装置２０は、画像読込部１１と、植生領域除去部２２と、照明補正部１３とを備える。また、画像処理装置２０は、外部装置１０１と出力装置１０２とに接続されている。本実施形態の画像処理装置２０は、図１に示した第１の実施形態の画像処理装置２０と比べて、反射吸収帯領域除去部１２が植生領域除去部２２となっている点が異なる。
【００８４】
本実施形態において外部装置１０１は、少なくとも赤色波長帯域（例えば、波長６２０ｎｍ〜７５０ｎｍのうちの少なくとも一部を含む帯域）と、近赤外波長帯域（例えば、波長７５０ｎｍ〜１０５０ｎｍのうちの少なくとも一部を含む帯域）とを含む２以上の異なる波長帯域に対応する観測画像を保持しているものとする。
【００８５】
また、画像読込部１１は、上記の赤色波長帯域と近赤外波長帯域とを含む２以上の異なる波長帯域に対応する観測画像を入力する。なお、本実施形態においても入力された観測画像が対応する波長帯域の数をＮと表記する。
【００８６】
植生領域除去部２２は、画像読込部１１によって入力された、Ｎ個の異なる波長帯域に対応する観測画像（入力画像）の各画素について、当該画素が対応する地表領域が植生を含む領域（植生領域）であるか否かを判定する。そして、植生領域除去部２２は、各入力画像に対して、植生領域に相当する画素の輝度値を除外した画像を、植生領域除去画像として記憶する。
【００８７】
植生領域除去部２２は、例えば、各入力画像のｊ番目の画素から得られる、Ｎ個の波長帯域に関連付けられたＮ個の輝度値Ｌｊ（λ１），．．．，Ｌｊ（λＮ）のうち、赤色に相当する波長帯域に関連づけられた輝度値Ｌｊ（λＲ）と、近赤外に相当する波長帯域に関連づけられた輝度値Ｌｊ（λＮＩＲ）とを用いて、上記の式（４）に基づき、正規化差分植生指数Ｉｊを算出してもよい。そして、植生領域除去部２２は、算出された正規化差分植生指数Ｉｊが所定値よりも大きいとき、当該ｊ番目の画素を植生領域と判定してもよい。このような処理を、入力画像を構成する全ての画素に対して実行することで、入力画像の各画素が植生領域か否かを判定してもよい。
【００８８】
なお、赤色波長帯域と近赤外波長帯域に対応する入力画像の撮影範囲が同じでない場合、植生領域除去部２２は、各入力画像において同じ位置の画素の輝度値を抽出する処理に代えて、各入力画像において同じ地表位置と思われる画素の輝度値を抽出する処理を行ってもよい。
【００８９】
なお、植生領域除去部２２は、第１の実施形態の反射吸収帯領域除去部１２と同様、正規化差分植生指数の代わりに、ＳＡＶＩ，ＲＶＩ，ＮＲＶＩ，ＴＶＩ，ＣＴＶＩ，ＴＴＶＩ，ＥＶＩ，ＮＤＷＩ，ＮＤＳＩまたはＮＨＦＤや、他の任意の指標を用いてもよい。なお、植生領域除去部２２が用いる指標に応じて、画像読込部１１が、その指標を求めるのに必要な波長帯域の観測値を含む観測画像を読み込んでもよい。
【００９０】
また、照明補正部１３は、植生領域除去部２２によって生成された、波長帯域毎に関連付けられた植生領域除去画像を用いて、各入力画像の係数成分の比例値αｅｓｔ（λ）を算出し、算出した比例値αｅｓｔ（λ）を基に各入力画像を補正して、照明補正画像を生成する。なお、照明補正部１３の動作は、反射吸収帯除去画像が植生領域除去画像となっている点を除けば、第１の実施形態と同様である。
【００９１】
図６は、本実施形態の動作の一例を示すフローチャートである。図６に示すフローチャートは、図４に示す第１の実施形態の動作を示すフローチャートと比べて、ステップＳ１０１〜ステップＳ１０４の動作がステップＳ２０１〜ステップＳ２０４になっている点が異なる。
【００９２】
本実施形態において、画像読込部１１は、赤色および近赤外の波長帯域を少なくとも含む２以上の波長帯域に対応する観測画像を読み込み、観測に用いた波長帯域の情報とともに記憶する（ステップＳ２０１）。
【００９３】
次に、植生領域除去部２２が、入力画像のうち赤色および近赤外の波長帯域による観測画像を用いて、各入力画素の各画素の領域が植生を含むか否かを判定する（ステップＳ２０２）。
【００９４】
次に、入力画像の各々から植生領域の輝度値を除去し、植生領域除去画像として記憶する（ステップＳ２０３）。
【００９５】
次に、照明補正部１３が、植生領域除去画像の各々について、輝度値のヒストグラムを生成し、各入力画像における係数成分の比例値αｅｓｔ（λ）を推定する（ステップＳ２０４）。
【００９６】
なお、他の点に関しては、第１の実施形態と同様である。
【００９７】
以上のように、本実施形態によっても、波長ごとの大気透過率等の環境変動成分に関する値を予め記憶しておかなくても、入力された観測画像から、安定して高精度な照明補正画像を生成できる。
【００９８】
その理由は、近赤外波長帯域において高い反射率を持つ植生を多く含む、地表の観測画像が画像処理装置２０に入力された場合であっても、植生領域除去部２２が、植生が除かれた植生領域除去画像を生成し、照明補正部１３が、植生領域除去画像を用いて係数成分の比例値を算出するからである。これにより、植生の影響を受けて係数成分の比例値が正しく求まらない事態を回避し、安定に係数成分の比例値を算出でき、その結果、安定してより正確な照明補正画像を生成されるからである。
【００９９】
なお、上記の各実施形態における画像処理装置は、それぞれ、コンピュータ及びコンピュータを制御するプログラム、専用のハードウェア、または、コンピュータ及びコンピュータを制御するプログラムと専用のハードウェアの組合せにより実現することができる。
【０１００】
また、図７および図８は、本発明による画像処理装置の他の構成例を示すブロック図である。図７に示すように、本発明による画像処理装置５０は、画像読込手段５１と、反射吸収帯領域除去手段５２と、係数成分比例値算出手段５３と、係数成分除去手段５４とを備えていてもよい。
【０１０１】
画像読込手段５１は、１１つまたは複数の波長帯域による観測結果を、観測対象領域の位置に対応する画素の画素値として保持する１つ以上の観測画像を読み込む。
【０１０２】
反射吸収帯領域除去手段５２は、１つ以上の観測画像の各々から、観測波長帯域中に反射帯もしくは吸収帯を有する被観測物体を含む領域である反射吸収帯領域に対する観測結果を除去して、反射吸収帯除去画像を生成する。
【０１０３】
係数成分比例値算出手段５３は、反射吸収帯除去画像を用いて、１つ以上の観測画像の観測に用いた波長帯域毎に、当該波長帯域による観測値に現れる、被観測物体の反射率に比例する成分であって照明および／または大気透過率に関する成分を含む係数成分の比例値を求める。
【０１０４】
係数成分除去手段５４は、波長帯域毎の係数成分の比例値に基づいて、１つ以上の観測画像に含まれる各観測値から係数成分を除去して、照明補正画像を生成する。
【０１０５】
また、上記構成において、反射吸収帯領域除去手段は、１つ以上の観測画像に含まれる、互いに対応関係のある画素に対応づけられた異なる波長帯域による観測値の中に、他の波長帯域による観測値と比べて所定量以上異なっている観測値が含まれている場合に当該画素は反射吸収帯領域に対する観測結果を保持する画素であるとして、１つ以上の観測画像から画素の画素値として保持されている観測結果を全て除去して、反射吸収帯除去画像を生成してもよい。
【０１０６】
また、観測画像は、地表を観測して得られる観測結果をそれぞれ、観測対象領域である地表の領域に対応する画素の輝度値として保持する画像であり、反射吸収帯領域除去手段は、１つ以上の観測画像に含まれる、互いに対応関係のある画素が対応する地表の領域が、特定の地表物を含む領域であるか否かを判定し、判定結果に基づき、１つ以上の観測画像から特定の地表物を含む領域に対応する画素の輝度値を除去してもよい。
【０１０７】
また、反射吸収帯領域除去手段は、１つ以上の観測画像に含まれる、互いに対応関係のある画素が対応する地表の領域が植生を含む領域であるか否かを判定し、判定結果に基づき、１つ以上の観測画像から植生を含む領域に対応する画素の輝度値を除去してもよい。
【０１０８】
また、反射吸収帯領域除去手段は、１つ以上の観測画像の画素毎に、当該画素が対応する地表の領域に対する、赤色波長帯域による観測結果である第１の輝度値と、近赤外波長帯域による観測結果である第２の輝度値とに基づいて、当該画素が対応する地表の領域が植生を含む領域であるか否かを判定してもよい。
【０１０９】
また、係数成分比例値算出手段は、反射吸収帯領域除去画像を用いて、観測画像の観測に用いた波長帯域毎に観測値のヒストグラムを生成し、生成されたヒストグラムにおいて累積相対度数が所定値以上となる観測値を、当該波長帯域における係数成分の比例値として算出するしてもよい。
【０１１０】
また、図８に示すように、本発明による画像処理装置５０は、さらに、加算成分除去手段５５を備えていてもよい。
【０１１１】
加算成分除去手段５５は、１つ以上の観測画像の観測に用いた波長帯域毎に、当該波長帯域による観測値に現れる、被観測物体の反射率に比例しない成分であって少なくとも光路輝度に関する成分を含む加算成分を推定して除去する。
【０１１２】
そのような構成において、反射吸収帯領域除去手段は、加算成分除去手段５５によって加算成分が除去された観測画像の各々から、反射吸収帯領域に対応する画素の情報として保持された観測結果を除去して、反射吸収帯除去画像を生成してもよい。
【０１１３】
また、係数成分除去手段は、波長帯域毎の係数成分の比例値に基づいて、加算成分が除去された観測画像に含まれる各観測値から当該観測値を得た波長帯域における係数成分を除去して、照明補正画像を生成してもよい。
【０１１４】
また、上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１１５】
（付記１）２以上の異なる波長帯域による観測結果を、観測対象領域の位置に対応する画素の画素値として保持する１つまたは複数の観測画像から、観測波長帯域中に反射帯もしくは吸収帯を有する被観測物体を含む領域である反射吸収帯領域に対する観測結果を除去する反射吸収帯領域除去手段と、前記１つまたは複数の観測画像から前記反射吸収帯領域に対する観測結果が除去された画像である反射吸収帯領域除去画像を用いて、前記１つまたは複数の観測画像の観測に用いた波長帯域毎に、当該波長帯域による観測値に現れる、前記被観測物体の反射率に比例する成分であって照明および／または大気透過率に関する成分を含む係数成分の比例値を求める係数成分比例値算出手段と、波長帯域毎の前記係数成分の比例値に、被観測物体に応じた所定の係数を掛け、係数成分の値を推定する係数成分推定手段とを備えたことを特徴とする画像処理装置。
【０１１６】
（付記２）反射吸収帯領域除去手段は、前記１つ以上の観測画像に含まれる、互いに対応関係のある画素に対応づけられた異なる波長帯域による観測値の中に、他の波長帯域による観測値と比べて所定量以上異なっている観測値が含まれている場合に当該画素は反射吸収帯領域に対する観測結果を保持する画素であるとして、前記１つ以上の観測画像から前記画素の画素値として保持されている観測結果を全て除去して、反射吸収帯除去画像を生成する付記１に記載の画像処理装置。
【０１１７】
（付記３）観測画像は、地表を観測して得られる観測結果をそれぞれ、観測対象領域である地表の領域に対応する画素の輝度値として保持する画像であり、反射吸収帯領域除去手段は、前記１つ以上の観測画像に含まれる、互いに対応関係のある画素が対応する地表の領域が、特定の地表物を含む領域であるか否かを判定し、判定結果に基づき、前記１つ以上の観測画像から前記特定の地表物を含む領域に対応する画素の輝度値を除去する付記１または付記２に記載の画像処理装置。
【０１１８】
（付記４）反射吸収帯領域除去手段は、前記１つ以上の観測画像に含まれる、互いに対応関係のある画素が対応する地表の領域が植生を含む領域であるか否かを判定し、判定結果に基づき、前記１つ以上の観測画像から前記植生を含む領域に対応する画素の輝度値を除去する付記３に記載の画像処理装置。
【０１１９】
（付記５）反射吸収帯領域除去手段は、前記１つ以上の観測画像の画素毎に、当該画素が対応する地表の領域に対する、赤色波長帯域による観測結果である第１の輝度値と、近赤外波長帯域による観測結果である第２の輝度値とに基づいて、当該画素が対応する地表の領域が植生を含む領域であるか否かを判定する
付記４に記載の画像処理装置。
【０１２０】
（付記６）係数成分比例値算出手段は、反射吸収帯領域除去画像を用いて、観測画像の観測に用いた波長帯域毎に観測値のヒストグラムを生成し、生成されたヒストグラムにおいて累積相対度数が所定値以上となる観測値を、当該波長帯域における係数成分の比例値として算出する付記１から付記５のいずれかに記載の画像処理装置。
【０１２１】
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態及び実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【産業上の利用可能性】
【０１２２】
本発明は、地表観測を利用した営農支援や資源探査以外にも、例えば、対象物質に所定の光を当てその反射光を受信することにより、物質の材質や表面状態を検査するための検査装置等にも好適に適用可能である。【０１２３】
この出願は、２０１５年５月２８日に出願された日本出願特願２０１５−１０８１２４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１２４】
１０，２０，５０  画像処理装置
１１  画像読込部
１２  反射吸収帯領域除去部
１３  照明補正部
１３１  係数成分比例値算出部
１３２  係数成分除去部
２２  植生領域除去部
１０１  外部装置
１０２  出力装置
５１  画像読込手段
５２  反射吸収帯領域除去手段
５３  係数成分比例値算出手段
５４  係数成分除去手段
５５  加算成分除去手段
【図１】
2016189853.tif 000006
【図２】
2016189853.tif 000007
【図３】
2016189853.tif 000008
【図４】
2016189853.tif 000009
【図５】
2016189853.tif 000010
【図６】
2016189853.tif 000011
【図７】
2016189853.tif 000012
【図８】
2016189853.tif 000013
【図９】
2016189853.tif 000014
【手続補正書】
【提出日】平成29年10月25日(2017.10.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１つまたは複数の波長帯域による観測結果を、観測対象領域の位置に対応する画素の画素値として保持する１つ以上の観測画像を読み込む画像読込手段と、
前記１つ以上の前記観測画像の各々から、観測波長帯域中に反射帯もしくは吸収帯を有する被観測物体を含む領域である反射吸収帯領域に対する観測結果を除去して、反射吸収帯除去画像を生成する反射吸収帯領域除去手段と、
前記反射吸収帯除去画像を用いて、前記１つ以上の観測画像の観測に用いた波長帯域毎に、当該波長帯域による観測値に現れる、前記被観測物体の反射率に比例する成分であって照明および／または大気透過率に関する成分を含む係数成分の比例値を求める係数成分比例値算出手段と、
波長帯域毎の前記係数成分の比例値に基づいて、前記１つ以上の観測画像に含まれる各観測値から係数成分を除去して、照明補正画像を生成する係数成分除去手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記反射吸収帯領域除去手段は、前記１つ以上の観測画像に含まれる、互いに対応関係のある画素に対応づけられた異なる波長帯域による観測値の中に、他の波長帯域による観測値と比べて所定量以上異なっている観測値が含まれている場合に、当該画素は反射吸収帯領域に対する観測結果を保持する画素であるとして、前記１つ以上の観測画像から前記画素の画素値として保持されている観測結果を全て除去して、前記反射吸収帯除去画像を生成する請求項１に記載の画像処理装置。
【請求項３】
前記観測画像は、地表を観測して得られる観測結果をそれぞれ、前記観測対象領域である地表の領域に対応する画素の輝度値として保持する画像であり、
前記反射吸収帯領域除去手段は、前記１つ以上の観測画像に含まれる、互いに対応関係のある画素が対応する地表の領域が、特定の地表物を含む領域であるか否かを判定し、判定結果に基づき、前記１つ以上の観測画像から前記特定の地表物を含む領域に対応する画素の輝度値を除去する請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記反射吸収帯領域除去手段は、前記１つ以上の観測画像に含まれる、互いに対応関係のある画素が対応する地表の領域が植生を含む領域であるか否かを判定し、判定結果に基づき、前記１つ以上の観測画像から前記植生を含む領域に対応する画素の輝度値を除去する請求項３に記載の画像処理装置。
【請求項５】
前記反射吸収帯領域除去手段は、前記１つ以上の観測画像の画素毎に、当該画素が対応する地表の領域に対する、赤色波長帯域による観測結果である第１の輝度値と、近赤外波長帯域による観測結果である第２の輝度値とに基づいて、当該画素が対応する地表の領域が植生を含む領域であるか否かを判定する請求項４に記載の画像処理装置。
【請求項６】
前記係数成分比例値算出手段は、前記反射吸収帯領域除去画像を用いて、前記観測画像の観測に用いた波長帯域毎に観測値のヒストグラムを生成し、生成されたヒストグラムにおいて累積相対度数が所定値以上となる観測値を、当該波長帯域における係数成分の比例値として算出する請求項１から請求項５のうちのいずれか１項に記載の画像処理装置。
【請求項７】
所定範囲の領域を１つまたは複数の波長帯域を用いて観測して、１つ以上の観測画像を生成する観測装置と、
前記観測装置が生成した１つ以上の観測装置から環境変動成分を除去する画像処理装置と
を備え、
前記画像処理装置は、
前記１つまたは複数の波長帯域による観測結果を、観測対象領域の位置に対応する画素の画素値として保持する前記１つ以上の観測画像を読み込む画像読込手段と、
前記１つ以上の観測画像の各々から、観測波長帯域中に反射帯もしくは吸収帯を有する被観測物体を含む領域である反射吸収帯領域に対する観測結果を除去して、反射吸収帯除去画像を生成する反射吸収帯領域除去手段と、
前記反射吸収帯除去画像を用いて、前記１つ以上の観測画像の観測に用いた波長帯域毎に、当該波長帯域による観測値に現れる、前記被観測物体の反射率に比例する成分であって照明および／または大気透過率に関する成分を含む係数成分の比例値を求める係数成分比例値算出手段と、
波長帯域毎の前記係数成分の比例値に基づいて、前記１つ以上の観測画像に含まれる各観測値から係数成分を除去して、照明補正画像を生成する係数成分除去手段と
を含むことを特徴とする画像処理システム。
【請求項８】
１つまたは複数の波長帯域による観測結果を、観測対象領域の位置に対応する画素の画素値として保持する１つ以上の観測画像を読み込み、
前記１つ以上の観測画像の各々から、観測波長帯域中に反射帯もしくは吸収帯を有する被観測物体を含む領域である反射吸収帯領域に対する観測結果を除去して、反射吸収帯除去画像を生成し、
前記反射吸収帯除去画像を用いて、前記１つ以上の観測画像の観測に用いた波長帯域毎に、当該波長帯域による観測値に現れる、前記被観測物体の反射率に比例する成分であって照明および／または大気透過率に関する成分を含む係数成分の比例値を求め、
波長帯域毎の前記係数成分の比例値に基づいて、前記１つ以上の観測画像に含まれる各観測値から係数成分を除去して、照明補正画像を生成することを特徴とする画像処理方法。
【請求項９】
２以上の異なる波長帯域による観測結果を、観測対象領域の位置に対応する画素の画素値として保持する１つまたは複数の観測画像から、観測波長帯域中に反射帯もしくは吸収帯を有する被観測物体を含む領域である反射吸収帯領域に対する観測結果を除去し、
前記１つまたは複数の観測画像から前記反射吸収帯領域に対する観測結果が除去された画像である反射吸収帯領域除去画像を用いて、前記１つまたは複数の観測画像の観測に用いた波長帯域毎に、当該波長帯域による観測値に現れる、前記被観測物体の反射率に比例する成分であって照明および／または大気透過率に関する成分を含む係数成分の比例値を求め、
波長帯域毎の前記係数成分の比例値に、被観測物体に応じた所定の係数を掛け、係数成分の値を推定することを特徴とする環境変動成分推定方法。
【請求項１０】
コンピュータに、
１つまたは複数の波長帯域による観測結果を、観測対象領域の位置に対応する画素の画素値として保持する１つ以上の観測画像を読み込む処理、
前記１つ以上の前記観測画像の各々から、観測波長帯域中に反射帯もしくは吸収帯を有する被観測物体を含む領域である反射吸収帯領域に対する観測結果を除去して、反射吸収帯除去画像を生成する処理、
前記反射吸収帯除去画像を用いて、前記１つ以上の観測画像の観測に用いた波長帯域毎に、当該波長帯域による観測値に現れる、前記被観測物体の反射率に比例する成分であって照明および／または大気透過率に関する成分を含む係数成分の比例値を求める処理、および
波長帯域毎の前記係数成分の比例値に基づいて、前記１つ以上の観測画像に含まれる各観測値から係数成分を除去して、照明補正画像を生成する処理
を実行させるコンピュータプログラム。
【国際調査報告】
2016189853.tif 000015
2016189853.tif 000016