(57)【要約】  影の影響を高精度に抑制する。画像処理装置１００は、地表のある領域における日射スペクトルを、当該領域の観測画像と、当該領域の日射スペクトルの成分と、当該領域において推定される純物質のスペクトルとに基づいて算出する算出部１１０と、前記観測画像を前記算出された日射スペクトルに基づいて変換する変換部１２０とを含む。
2018016555.tif 000002
【特許請求の範囲】
【請求項１】
地表のある領域における日射スペクトルを、当該領域の観測画像と、当該領域の日射スペクトルの成分と、当該領域において推定される純物質のスペクトルとに基づいて算出する算出手段と、
前記観測画像を前記算出された日射スペクトルに基づいて変換する変換手段と
を備える画像処理装置。
【請求項２】
前記観測画像のうちの日射の遮蔽が少ない特定領域を抽出する抽出手段と、
前記抽出された特定領域の前記観測画像を用いて前記純物質のスペクトルを推定する推定手段とをさらに備え、
前記算出手段は、前記日射スペクトルを、前記観測画像と、前記日射スペクトルの成分と、前記推定された前記純物質のスペクトルとに基づいて算出する
請求項１に記載の画像処理装置。
【請求項３】
前記算出手段は、所定のモデルにおける誤差を最小化する最適化問題を解くことにより前記純物質のスペクトルを算出する
請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記算出手段は、前記領域における太陽天頂角に基づいて前記日射スペクトルの成分を算出する
請求項１から請求項３までのいずれか１項に記載の画像処理装置。
【請求項５】
前記算出手段は、前記純物質のスペクトルの少なくとも一部を、前記
領域の位置に応じて選択する
請求項１から請求項４までのいずれか１項に記載の画像処理装置。
【請求項６】
前記算出手段は、前記純物質のスペクトルの少なくとも一部を、地上被覆物に応じた前記領域の分類に基づいて選択する
請求項１から請求項５までのいずれか１項に記載の画像処理装置。
【請求項７】
前記算出手段は、前記純物質のスペクトルの少なくとも一部を、記憶手段から読み出す
請求項１から請求項６までのいずれか１項に記載の画像処理装置。
【請求項８】
前記観測画像は、複数の画素を含み、
前記算出手段は、前記複数の画素について前記日射スペクトルの成分及び前記純物質のスペクトルとして共通の値を用いて、前記日射スペクトルを前記複数の画素毎に算出する
請求項１から請求項７までのいずれか１項に記載の画像処理装置。
【請求項９】
地表のある領域における日射スペクトルを、当該領域の観測画像と、当該領域の日射スペクトルの成分と、当該領域において推定される純物質のスペクトルとに基づいて算出し、
前記観測画像を前記算出された日射スペクトルに基づいて変換する
画像処理方法。
【請求項１０】
前記観測画像のうちの日射の遮蔽が少ない特定領域を抽出し、
前記抽出された特定領域の前記観測画像を用いて前記純物質のスペクトルを推定し、
前記日射スペクトルを、前記観測画像と、前記日射スペクトルの成分と、前記推定された前記純物質のスペクトルとに基づいて算出する
請求項９に記載の画像処理方法。
【請求項１１】
所定のモデルにおける誤差を最小化する最適化問題を解くことにより前記純物質のスペクトルを算出する
請求項９又は請求項１０に記載の画像処理方法。
【請求項１２】
前記領域における太陽天頂角に基づいて前記日射スペクトルの成分を算出する
請求項９から請求項１１までのいずれか１項に記載の画像処理方法。
【請求項１３】
前記純物質のスペクトルの少なくとも一部を、前記領域の位置に応じて選択する
請求項９から請求項１２までのいずれか１項に記載の画像処理方法。
【請求項１４】
前記純物質のスペクトルの少なくとも一部を、地上被覆物に応じた前記領域の分類に基づいて選択する
請求項９から請求項１３までのいずれか１項に記載の画像処理方法。
【請求項１５】
前記純物質のスペクトルの少なくとも一部を、記憶手段から読み出す
請求項９から請求項１４までのいずれか１項に記載の画像処理方法。
【請求項１６】
前記領域は、複数の画素を含み、
前記複数の画素について前記日射スペクトルの成分及び前記純物質のスペクトルとして共通の値を用いて、前記日射スペクトルを前記複数の画素毎に算出する
請求項９から請求項１５までのいずれか１項に記載の画像処理方法。
【請求項１７】
コンピュータに、
地表のある領域における日射スペクトルを、当該領域の観測画像と、当該領域の日射スペクトルの成分と、当該領域において推定される純物質のスペクトルとに基づいて算出する処理と、
前記観測画像を前記算出された日射スペクトルに基づいて変換する処理と
を実行させるためのプログラムを記録した記録媒体。
【請求項１８】
前記コンピュータに、
前記観測画像のうちの日射の遮蔽が少ない特定領域を抽出する処理と、
前記抽出された特定領域の前記観測画像を用いて前記純物質のスペクトルを推定する処理とを実行させ、
前記算出する処理で、前記日射スペクトルを、前記観測画像と、前記日射スペクトルの成分と、前記推定された前記純物質のスペクトルとに基づいて算出させる
請求項１７に記載の記録媒体。
【請求項１９】
前記コンピュータに、
前記算出する処理で、所定のモデルにおける誤差を最小化する最適化問題を解くことにより前記純物質のスペクトルを算出させる
請求項１７又は請求項１８に記載の記録媒体。
【請求項２０】
前記コンピュータに、
前記算出する処理で、前記領域における太陽天頂角に基づいて前記日射スペクトルの成分を算出させる
請求項１７から請求項１９までのいずれか１項に記載の記録媒体。
【請求項２１】
前記コンピュータに、
前記算出する処理で、前記純物質のスペクトルの少なくとも一部を、前記領域の位置に応じて選択させる
請求項１７から請求項２０までのいずれか１項に記載の記録媒体。
【請求項２２】
前記コンピュータに、
前記算出する処理で、前記純物質のスペクトルの少なくとも一部を、地上被覆物に応じた前記領域の分類に基づいて選択させる
請求項１７から請求項２１までのいずれか１項に記載の記録媒体。
【請求項２３】
前記コンピュータに、
前記算出する処理で、前記純物質のスペクトルの少なくとも一部を、記憶手段から読み出させる
請求項１７から請求項２２までのいずれか１項に記載の記録媒体。
【請求項２４】
前記領域は、複数の画素を含み、
前記コンピュータに、
前記算出する処理で、前記複数の画素について前記日射スペクトルの成分及び前記純物質のスペクトルとして共通の値を用いて、前記日射スペクトルを前記複数の画素毎に算出させる
請求項１７から請求項２３までのいずれか１項に記載の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理に関する。
【背景技術】
【０００２】
地表の観測画像には影が含まれる場合がある。地表を高精度に観測するためには、影の影響を抑制又は除去する必要がある。例えば、非特許文献１は、高解像度光学衛星画像を影領域（Shadow Area）と日向領域（Sunlit Area）とに分類し、分類された領域毎に画像を補正する技術を開示している。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Wen Liu and Fumio Yamazaki, “Object-Based Shadow Extraction and Correction of High-Resolution Optical Satellite Images”, IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING, VOL. 5, NO. 4, AUGUST 2012, pp. 1296-1302.
【非特許文献２】Bird, R. E., and Riordan, C. J.. “Simple Solar Spectral Model for Direct and Diffuse Irradiance on Horizontal and Tilted Planes at the Earth's Surface for Cloudless Atmospheres”, Journal of Climate and Applied Meteorology. Vol. 25(1), January 1986, pp. 87-97.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１に開示された技術は、影の微細な濃淡の相違を精度良く補正することができない。【０００５】
一方、本開示は、影の影響を高精度に抑制できる技術を提供する。
【課題を解決するための手段】
【０００６】
一の態様において、地表のある領域における日射スペクトルを、当該領域の観測画像と、当該領域の日射スペクトルの成分と、当該領域において推定される純物質のスペクトルとに基づいて算出する算出部と、前記観測画像を前記算出された日射スペクトルに基づいて変換する変換部とを含む画像処理装置が提供される。【０００７】
別の態様において、地表のある領域における日射スペクトルを、当該領域の観測画像と、当該領域の日射スペクトルの成分と、当該領域において推定される純物質のスペクトルとに基づいて算出し、前記観測画像を前記算出された日射スペクトルに基づいて変換する画像処理方法が提供される。【０００８】
さらに別の態様において、コンピュータに、地表のある領域における日射スペクトルを、当該領域の観測画像と、当該領域の日射スペクトルの成分と、当該領域において推定される純物質のスペクトルとに基づいて算出する処理と、前記観測画像を前記算出された日射スペクトルに基づいて変換する処理とを実行させるためのプログラムを記録した記録媒体が提供される。
【発明の効果】
【０００９】
本開示によれば、影の影響が高精度に抑制される。
【図面の簡単な説明】
【００１０】
【図１】図１は、本開示に係る画像処理装置の構成の一例を示すブロック図である。
【図２】図２は、本開示に係る純物質と観測画像の関係の一例を示す模式図である。
【図３】図３は、本開示に係る観測モデルの一例の説明図である。
【図４】図４は、本開示に係る画像処理装置により実行される処理の一例を示すフローチャートである。
【図５】図５は、本開示に係る画像処理システムの構成の一例を示すブロック図である。
【図６】図６は、本開示に係る画像処理装置により実行される処理の別の例を示すフローチャートである。
【図７】図７は、本開示に係る画像処理装置の別の例構成を示すブロック図である。
【図８】図８は、本開示に係る画像処理装置により実行される処理さらに別の例を示すフローチャートである。
【図９】図９は、本開示に係るコンピュータ装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１１】
［第１実施形態］
図１は、一の実施形態に係る画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、算出部１１０と、変換部１２０とを少なくとも含む。画像処理装置１００は、算出部１１０及び変換部１２０以外の構成を含んでもよい。
【００１２】
画像処理装置１００は、影の影響が含まれる観測画像を、当該影響が抑制された別の情報に変換するための装置である。ここにおいて、観測画像とは、上空から撮影された地表の画像をいう。ここでいう地表は、地球の表面を意味し、必ずしも陸地に限定されない。観測画像は、例えば、光学衛星などの情報収集衛星を用いて観測された画像である。観測画像の色数や解像度は、特定の値に限定又は制限されない。
【００１３】
算出部１１０は、日射スペクトルを算出する。日射スペクトルは、地表に照射される太陽光（すなわち太陽照射）のスペクトルである。算出部１１０は、地表の少なくとも１つの領域の日射スペクトルを算出する。また、算出部１１０は、日射スペクトルを領域毎に算出してもよい。ここでいう領域は、特定の形状（例えば、所定サイズの矩形）であってもよいし、領域毎に異なる形状であってもよい。以下においては、日射スペクトルが算出される領域のことを「観測領域」ともいう。
【００１４】
算出部１１０は、観測領域における日射スペクトルを、当該領域の観測画像と、当該領域の日射スペクトルの成分と、当該領域において推定される純物質のスペクトル（以下「純物質スペクトル」ともいう。）とに基づいて算出する。
【００１５】
日射スペクトルの成分とは、日射スペクトルをいくつかの要素によって表現した場合の個々の要素をいう。いくつかの態様において、日射スペクトルの成分は、所定のモデルに基づいて算出される。例えば、Richard E. BirdらによるBirdのモデル（非特許文献２参照）を用いると、晴天時の日射スペクトルは、直達光（直達日射：Direct Irradiance）と散乱光（散乱日射：Diffuse Irradiance）の２つの成分によって表すことができる。Birdのモデルの場合、所定のパラメータ（太陽天頂角など）が与えられると、日射スペクトルの成分が算出可能である。なお、日射スペクトルの成分を算出するためのモデルは、Birdのモデルに限定されない。また、日射スペクトルがベクトル表現される場合、日射スペクトルの各成分は、ベクトルの各基底に対応する。
【００１６】
本実施形態における純物質は、地表の構成要素を表す。ここでいう純物質は、端成分（endmember）ともいう。ここでいう純物質は、化学物質（単体又は化合物）であってもよいが、地表をいくつかのシーン（水、土壌、植生、人工物など）によって分類した場合の各シーンに相当してもよい。純物質の種類や数は、特に限定されない。
【００１７】
太陽光が地表のある領域に入射及び反射することによって観測される反射光は、当該領域を構成する純物質に依存して変化する。この領域が複数の純物質を含む場合、当該領域からの反射光は、当該複数の純物質の比率に応じて異なる。
【００１８】
図２は、純物質と観測画像の関係を示す模式図である。図２に示される例において、領域２１０は、純物質Ｒ１、Ｒ２、Ｒ３によって構成されているものとする。また、領域２１０における純物質Ｒ１、Ｒ２、Ｒ３の存在度は、それぞれａ１、ａ２、ａ３であるとする。ここでいう存在度は、観測領域における各々の純物質の比率を表す値である。また、純物質Ｒ１、Ｒ２、Ｒ３のスペクトルは、それぞれｒ１、ｒ２、ｒ３であるとする。純物質スペクトルｒ１、ｒ２、ｒ３は、複数の波長帯（バンド）における領域２１０からの反射光の放射輝度を表すベクトルである。なお、この例においては、観測画像に影の影響は生じていないものとする。
【００１９】
センサ２２０は、複数の画素により構成されている。また、一般に、１つの画素に対応する地表の面積は、画素の面積に対して十分に大きい。領域２１０は、微視的には単一の純物質によって構成され得るが、１画素分に相当するサイズでみた場合には、複数の純物質の組み合わせによっても構成され得る。
【００２０】
したがって、センサ２２０によって観測される領域２１０の観測画像は、純物質Ｒ１、Ｒ２、Ｒ３の存在度ａ１、ａ２、ａ３と純物質スペクトルｒ１、ｒ２、ｒ３の線形和で表される。すなわち、領域２１０の観測画像は、ａ１ｒ１＋ａ２ｒ２＋ａ３ｒ３である。ただし、存在度ａ１、ａ２、ａ３は、画素によっては「０」になり得る。
【００２１】
算出部１１０は、例えば、以下の式（１）に示される観測モデルに基づき、モデル誤差ｅのノルムを最小化するａｍ及びｂｐを算出する。換言すれば、算出部１１０は、式（１）に示される最適化問題を解くことによって画素毎の日射スペクトルを算出する。
【００２２】
【数１】
2018016555.tif 000003
【００２３】
なお、式（１）において、
ｘ：観測画像の各画素のスペクトル
ａｍ：純物質スペクトルの重み係数（存在度）
ｒｍ：純物質スペクトル［無次元］
Ｍ：推定可能な純物質の数
ｂｐ：日射スペクトルの成分の重み係数
ｉｐ：日射スペクトルの成分
Ｐ：日射スペクトルの成分の数
ｅ：モデル誤差
である。また、画素のスペクトルｘ、純物質のスペクトルｒｍ、日射スペクトルの成分ｉｐは、バンド数と同数の要素を有するベクトルである。画素のスペクトルｘは、複数のバンドの放射輝度をベクトルによって表す。
【００２４】
図３は、式（１）に示される観測モデルの説明図である。日射スペクトルの成分ｉｐと重み係数ｂｐの積の総和は、観測領域３００における日射スペクトルに相当する。ここにおいて、重み係数ｂｐは、影の濃さに相当する。直達成分に関する重み係数ｂｐは、影が濃い（すなわち影の影響が大きい）ほど「０」に近付き、影が薄い（すなわち影の影響が小さい）ほど「１」に近付く。
【００２５】
純物質スペクトルの重み係数ａｍと純物質スペクトルｒｍの積の総和は、観測領域３００の反射率のスペクトルに相当する。このスペクトルは、観測領域３００を構成する純物質の特性のみに依存し、日射に依存しない。式（１）に示される観測モデルは、観測画像のスペクトルを観測領域３００の反射率のスペクトルと日射スペクトルのアダマール積（及びモデル誤差ｅ）によって表している。
【００２６】
変換部１２０は、観測画像を別の情報に変換する。いくつかの態様において、変換部１２０は、算出部１１０により算出された日射スペクトルに基づいて、影の影響を抑制するように観測画像を補正する。より詳細には、変換部１２０は、観測画像を構成する画素のうち、観測された輝度値が晴天時に観測されるであろう理想的な輝度値よりも小さい（すなわち暗い）画素を、当該理想的な輝度値に近付くように補正する。
【００２７】
あるいは、変換部１２０は、影の影響がある観測画像を、影の影響が抑制された他の情報に変換してもよい。ここでいう他の情報は、例えば、観測領域の反射率のスペクトル、すなわち、純物質スペクトルの重み係数ａｍと純物質スペクトルｒｍの積の総和であってもよい。
【００２８】
図４は、画像処理装置１００により実行される処理を示すフローチャートである。画像処理装置１００は、観測画像が入力されたタイミング、ユーザにより指定されたタイミングなどのタイミングでこの処理の実行を開始する。
【００２９】
ステップＳ４１０において、算出部１１０は、観測領域の日射スペクトルを算出する。例えば、算出部１１０は、観測領域の日射スペクトルを画素毎に算出する。あるいは、算出部１１０は、隣り合ういくつかの画素（例えば、縦横２画素ずつの４画素）毎に日射スペクトルを算出してもよい。
【００３０】
ステップＳ４２０において、変換部１２０は、観測画像を変換する。変換部１２０は、ステップＳ４１０において算出された日射スペクトルに基づいて観測画像を変換する。
【００３１】
本実施形態によれば、画像処理装置１００は、影の影響を高精度に抑制することが可能である。画像処理装置１００は、影の影響を日射スペクトルの成分毎に推定することができるため、抑制の精度を高めることが可能である。
【００３２】
観測領域において生じる影の濃さは、当該領域における諸条件によって異なる。例えば、観測領域のうちのある１画素に相当する範囲に日向と影の双方が含まれている場合、当該画素の輝度値は、日向に相当する輝度値と影に相当する輝度値の間の値になる。また、観測領域において生じる影の濃さは、当該領域の傾斜や、周辺の木や建物などの存在による天空率の相違によっても変化する。したがって、観測領域において生じる影の濃さには、領域の分類によっては表現（再現）できないレベルの微細な変化が生じ得る。
【００３３】
画像処理装置１００は、日射スペクトルの変化をパラメータの連続的な変化によって表すモデルを用い、そのパラメータを画素毎に推定することにより、日射スペクトルの微細な変化を推定し、観測画像に生じる影の影響を高精度に抑制することが可能である。
【００３４】
［第２実施形態］
図５は、別の実施形態に係る画像処理システム５００の構成を示すブロック図である。画像処理システム５００は、画像供給装置５１０と、画像処理装置５２０と、出力装置５３０とを含む。
【００３５】
画像供給装置５１０は、観測画像を表す観測データを画像処理装置５２０に供給する。画像供給装置５１０は、例えば、観測データが蓄積されたデータベースである。画像処理装置５２０は、画像供給装置５１０により供給された観測データに基づいて、観測画像を補正する。出力装置５３０は、画像処理装置５２０により補正された観測画像を出力する。出力装置５３０は、例えば、補正された観測画像を表示する表示装置である。また、出力装置５３０は、補正された観測画像を表す観測データを記録媒体に記録する記録装置であってもよい。
【００３６】
本実施形態において、観測画像は、人工衛星により観測された、複数の波長帯の電磁波により表される画像である。このような観測画像は、一般に、マルチスペクトル画像又はハイパースペクトル画像とも呼ばれる。ただし、観測画像を表す波長帯の数（以下「バンド数」ともいう。）は、特定の値に限定されない。また、観測画像を表す波長帯の上限及び下限も、特定の値に限定されない。観測画像は、複数の観測領域を含む。
【００３７】
観測データは、観測画像を表す画像情報（例えば輝度値）と、メタ情報とを含む。メタ情報は、例えば、観測領域に関する情報を含む。観測領域に関するメタ情報は、観測日時、位置（緯度及び経度）、太陽天頂角、水蒸気量、気温、太陽の方位角、人工衛星の天頂角及び方位角などである。本実施形態の観測データは、後述される処理の実行に必要なメタ情報を少なくとも含む。
【００３８】
画像処理装置５２０は、より詳細には、領域抽出部５２１と、成分算出部５２２と、スペクトル推定部５２３と、最適化部５２４と、影補正部５２５とを含む。このうち、領域抽出部５２１、成分算出部５２２、スペクトル推定部５２３及び最適化部５２４は、第１実施形態に記載された算出部１１０の一例に相当し得る。また、影補正部５２５は、第２実施形態に記載された変換部１２０の一例に相当する。
【００３９】
領域抽出部５２１は、観測画像から特定の条件を満たす領域を抽出する。領域抽出部５２１は、観測画像のうち、日射の遮蔽が少ないと推測される領域を抽出する。例えば、領域抽出部５２１は、観測画像の各バンドの輝度値の総和が所定の閾値以上である領域を抽出する。あるいは、領域抽出部５２１は、観測画像のバンド数よりも少ない所定数のバンドの輝度値に基づいて領域を抽出してもよい。領域抽出部５２１により抽出される領域のことを、以下においては「特定領域」という。特定領域は、観測領域の少なくとも一部である。
【００４０】
成分算出部５２２は、日射スペクトルの成分を算出する。成分算出部５２２は、観測データに含まれるメタ情報を用いて日射スペクトルの成分を算出する。成分算出部５２２は、太陽天頂角（又は太陽天頂角を算出可能なメタ情報）を用いることにより、Birdのモデルに基づいて日射スペクトルの直達成分及び散乱成分を算出することができる。
【００４１】
Birdのモデルにおいて、直達成分及び散乱成分を算出するためには、太陽天頂角のほかに大気条件などが与えられる必要がある。大気条件は、大気の状態を表すパラメータ（可降水量、大気圧、大気混濁度など）によって定まる。ただし、大気条件は、太陽天頂角に比べ、日射スペクトルに及ぼす影響が少ない。よって、大気条件は、Birdのモデルにおいて定数とみなすことができる。
【００４２】
つまり、直達成分及び散乱成分の算出に際しては、太陽天頂角の影響が支配的である。そのため、成分算出部５２２は、観測領域における太陽天頂角を観測データのメタ情報から取得することによって、直達成分及び散乱成分を算出することができる。
【００４３】
成分算出部５２２により算出される直達成分及び散乱成分は、遮蔽物による遮蔽がないと仮定した場合の日射スペクトルを表す。ここでいう遮蔽物は、例えば、大気中の雲や、影を生じさせる障害物である。この日射スペクトルは、晴天時の日射スペクトル、あるいは日向領域（すなわち影が生じていない領域）の日射スペクトルであるともいえる。直達成分及び散乱成分により表される日射スペクトルは、いわば理想的なスペクトルであるため、地表における実際の日射スペクトルと必ずしも一致しない。
【００４４】
スペクトル推定部５２３は、純物質スペクトルを推定する。スペクトル推定部５２３は、観測領域のうちの領域抽出部５２１により抽出された特定領域の観測画像と、成分算出部５２２により算出された日射スペクトルの成分とを用いて純物質スペクトルを推定する。純物質スペクトルの推定に際し、スペクトル推定部５２３は、観測領域内の純物質の総数が十分に少ないことを仮定する。具体的には、スペクトル推定部５２３は、観測領域内の純物質の総数をバンド数以下であると仮定する。
【００４５】
本実施形態において、スペクトル推定部５２３は、特定領域の観測画像と日射スペクトル成分とを用いて反射率画像を生成し、生成された反射率画像を用いて純物質スペクトルを推定する。
【００４６】
スペクトル推定部５２３は、日射スペクトルが晴天時の日射スペクトル、あるいは日向領域（すなわち影が生じていない領域）の日射スペクトルであると仮定する。この場合、式（１）において、ｂ１＝ｂ２＝１である。スペクトル推定部５２３は、ｂ１＝ｂ２＝１の条件のもとで、式（１）から、以下の式（２）を算出する。そして、スペクトル推定部５２３は、以下の式（２）に従い、反射率画像を生成する。
2018016555.tif 000004
【００４７】
なお、式（２）において、
Lｎ：波長（ｎ＝１〜Ｎ）
ｙ’（Lｎ）：波長Lｎにおける反射率画像のスペクトル［無次元］
ｙ（Lｎ）：波長Lｎにおける観測画像のスペクトル
ｉ１（Lｎ）：波長Lｎにおける日射スペクトルの直達成分
ｉ２（Lｎ）：波長Lｎにおける日射スペクトルの散乱成分
である。
【００４８】
反射率画像が生成されたら、スペクトル推定部５２３は、Unmixing手法を用いて、反射率画像に基づいて純物質スペクトルを推定する。スペクトル推定部５２３は、ＶＣＡ（Vertex Component Analysis）、N-FINDER、ＰＰＩ（Pixel Purity Index）、ＭＶＴ（Minimum Volume Transformation）など、周知のUnmixing手法を用いることができる。
【００４９】
最適化部５２４は、画素毎の日射スペクトルを算出する。最適化部５２４は、観測画像と、成分算出部５２２により算出された日射スペクトルの成分と、スペクトル推定部５２３により推定された純物質スペクトルを用いて、日射スペクトルを画素毎に算出する。
【００５０】
最適化部５２４は、第１実施形態の算出部１１０と同様に、式（１）に示される最適化問題を解くことによって画素毎の日射スペクトルを算出することができる。ただし、本実施形態において、Ｐの値は、「２」である。最適化部５２４は、重み係数ｂ１及びｂ２を算出することによって、各画素における影の影響（すなわち晴天時等の理想的な日射スペクトルからの減少分）を特定することが可能である。
【００５１】
影補正部５２５は、観測画像を補正する。影補正部５２５は、最適化部５２４により算出された画素毎の日射スペクトルを用いて、観測画像を画素毎に補正する。影補正部５２５は、観測画像の全部ではなく一部を補正してもよい。例えば、影補正部５２５は、領域抽出部５２１により抽出された特定領域に関しては、影の影響が少ないと考えられるため、補正を省略してもよい。
【００５２】
例えば、影補正部５２５は、以下の式（３）に従い、観測画像のスペクトルに含まれる影の影響を抑制する。
2018016555.tif 000005
【００５３】
なお、式（３）において、
Lｎ：波長（ｎ＝１〜Ｎ）
ｘ’（Lｎ）：波長Lｎにおける補正後の観測画像のスペクトル
ｘ（Lｎ）：波長Lｎにおける補正前の観測画像のスペクトル
ｉ１（Lｎ）：波長Lｎにおける日射スペクトルの直達成分
ｉ２（Lｎ）：波長Lｎにおける日射スペクトルの散乱成分
ｂ１：直達成分の重み係数（０以上１以下）
ｂ２：散乱成分の重み係数（０以上１以下）
である。
【００５４】
あるいは、影補正部５２５は、式（３）から日射スペクトルの成分（すなわちｉ１（Lｎ）＋ｉ２（Lｎ））を除算した値に観測画像を補正してもよい。すなわち、影補正部５２５は、以下の式（４）に従って観測画像を補正してもよい。式（４）のｘ’（Lｎ）は、観測領域の特性のみに依存する、観測領域の反射率のスペクトルを表す。
2018016555.tif 000006
【００５５】
（ここで、ｘ’’は無次元化したスペクトルの値）
図６は、画像処理装置５２０により実行される処理を示すフローチャートである。画像処理装置５２０は、観測画像に含まれる観測領域のそれぞれについて、図６に示される処理を実行する。なお、画像処理装置５２０による処理の実行順は、図６に例示された順序に限定されない。画像処理装置５２０は、技術的に矛盾を生じない範囲において、各ステップの実行順を入れ替えることが可能である。また、画像処理装置５２０は、複数のステップを並列に実行してもよい。
【００５６】
ステップＳ６１０において、領域抽出部５２１は、観測領域から特定領域を抽出する。ステップＳ６２０において、成分算出部５２２は、観測領域の太陽天頂角を参照することにより、日射スペクトルの直達成分及び散乱成分を算出する。なお、太陽天頂角は、厳密には、観測領域を構成する画素毎に異なる。しかし、各画素に対応する太陽天頂角は、本実施形態においては近似的に等しいとみなし、共通の値が用いられる。
【００５７】
ステップＳ６３０において、スペクトル推定部５２３は、ステップＳ６１０において抽出された特定領域とステップＳ６２０において算出された日射スペクトルの成分とに基づき、純物質スペクトルを算出する。ステップＳ６４０において、最適化部５２４は、画素毎の日射スペクトルを算出する。最適化部５２４は、観測領域の画像情報と、ステップＳ６２０において算出された日射スペクトルの成分と、ステップＳ６３０において算出された純物質スペクトルとに基づき、最適化問題を適用することにより画素毎の日射スペクトルを算出する。
【００５８】
ステップＳ６５０において、影補正部５２５は、観測画像を補正する。影補正部５２５は、ステップＳ６４０において算出された日射スペクトルに基づいて、観測画像を画素毎に補正する。影補正部５２５は、補正後の観測画像を表す画像情報を出力する。
【００５９】
本実施形態の画像処理システム５００は、特定領域を抽出し、抽出された特定領域の観測画像に基づいて純物質スペクトルを推定する構成を有する。この構成によれば、純物質スペクトルを精度良く推定することが可能である。また、画像処理システム５００は、太陽天頂角に基づいて日射スペクトルの成分を算出することが可能である。太陽天頂角は、観測データの一般的なメタ情報に含まれ、又は一般的なメタ情報に基づいて特定可能である。
【００６０】
［第３実施形態］
図７は、さらに別の実施形態に係る画像処理装置７００の構成を示すブロック図である。画像処理装置７００は、第２実施形態の画像処理装置５２０と共通の構成を有する。具体的には、画像処理装置７００は、成分算出部５２２、最適化部５２４及び影補正部５２５を備える点において画像処理装置５２０と共通する。また、画像処理装置７００は、領域抽出部５２１及びスペクトル推定部５２３に代えてスペクトル記憶部７１０を備える点において画像処理装置５２０と相違する。成分算出部５２２、最適化部５２４及び影補正部５２５は、第２実施形態における説明と同様に動作する。
【００６１】
スペクトル記憶部７１０は、純物質スペクトルを記憶する。スペクトル記憶部７１０は、観測領域に含まれると推測される純物質のスペクトルをあらかじめ記憶し、最適化部５２４に供給できるように構成されている。スペクトル記憶部７１０は、観測領域の分類に応じた純物質スペクトルのセットを記憶してもよい。
【００６２】
ここでいう観測領域の分類は、例えば、建物などの人工物が比較的多い「都市部」、植物が比較的多い「植生」、土壌が露出した「土壌」といったように、地表の表面を構成する物質（以下「地上被覆物」ともいう。）によって特徴付けられた観測領域の属性を意味する。観測領域の属性が異なると、当該領域に含まれる純物質の組み合わせが異なる。なお、地上被覆物は、「植生」を「針葉樹林」や「広葉樹林」に分類するといったように、さらに詳細に分類されてもよい。
【００６３】
観測領域の分類に応じた純物質スペクトルのセットを記憶する場合、スペクトル記憶部７１０は、メタ情報に基づいて観測領域の分類を特定し、特定された分類に応じた純物質スペクトルのセットを最適化部５２４に供給してもよい。この場合、スペクトル記憶部７１０は、観測領域の位置（緯度及び経度）を示すメタ情報に基づいて観測領域の分類を特定してもよい。あるいは、メタ情報は、観測領域の分類に相当するメタ情報を含んでいてもよい。
【００６４】
図８は、画像処理装置７００により実行される処理を示すフローチャートである。ステップＳ８１０において、成分算出部５２２は、日射スペクトルの直達成分及び散乱成分を算出する。ステップＳ８１０は、第２実施形態のステップＳ６２０と同様の処理である。
【００６５】
ステップＳ８２０において、最適化部５２４は、日射スペクトルを画素毎に算出する。ステップＳ８２０において、最適化部５２４は、スペクトル記憶部７１０に記憶された純物質スペクトルのセットを読み出し、読み出された純物質スペクトルに基づいて日射スペクトルを算出する。ステップＳ８２０は、式（１）に代入する純物質スペクトルがスペクトル記憶部７１０に記憶された純物質スペクトルである点を除き、第２実施形態のステップＳ６４０と同様の処理である。
【００６６】
ステップＳ８３０において、影補正部５２５は、観測画像を補正する。ステップＳ８３０は、第２実施形態のステップＳ６５０と同様の処理である。影補正部５２５は、補正された観測画像を表す画像情報を出力する。影補正部５２５は、画像情報に加え、メタ情報を出力してもよい。
【００６７】
本実施形態に係る画像処理装置７００は、あらかじめ記憶された純物質スペクトルを用いて画素毎の日射スペクトルを算出する構成を有する。この構成によれば、第２実施形態の構成（図５参照）に比べ、純物質スペクトルを算出（推定）するための構成及び処理を要しない。画像処理装置７００は、純物質スペクトルを算出する必要がないため、純物質スペクトルの算出に必要な特定領域を抽出する必要もない。
【００６８】
［変形例］
本開示は、上述された第１実施形態〜第３実施形態に限定されない。本開示は、当業者が把握し得る変形又は応用を適用した形態を含み得る。例えば、本開示は、以下に記載される変形例を含む。また、本開示は、本明細書に記載された事項を必要に応じて適宜に組み合わせた形態を含み得る。例えば、特定の実施形態を用いて説明された事項は、矛盾を生じない範囲において、他の実施形態に対しても適用され得る。
【００６９】
（変形例１）
本開示に係る画像処理装置は、第２実施形態の構成（図５参照）及び第３実施形態の構成（図７参照）の双方を含んでもよい。すなわち、この画像処理装置は、式（１）に用いるＭ個の純物質のうちの一部のスペクトルをスペクトル記憶部７１０から読み出し、残りのスペクトルをスペクトル推定部５２３により推定するように構成される。
【００７０】
例えば、本変形例に係る画像処理装置は、いずれの観測領域にも含まれ得るような一般的又は代表的な純物質のスペクトルをスペクトル記憶部７１０から読み出し、残りの純物質のスペクトルをスペクトル推定部５２３により推定してもよい。あるいは、本変形例に係る画像処理装置は、地上被覆物に応じた観測領域の分類に基づいて、Ｍ個の純物質のうちの一部のスペクトル（例えば、分類された観測領域に特有の純物質のスペクトル）をスペクトル記憶部７１０から読み出すことにより選択してもよい。観測領域の分類は、当該領域の位置から特定される。
【００７１】
（変形例２）
スペクトル推定部５２３は、純物質スペクトルの形状を示唆する情報に基づいて純物質スペクトルを推定してもよい。このような情報のことを、以下においては「ヒント情報」という。
【００７２】
ヒント情報は、例えば、観測画像に基づいて特定される画像特徴量である。画像特徴量は、観測領域の色を表す特徴量であってもよいし、エッジやテクスチャを表す特徴量であってもよい。このような画像特徴量により、地上被覆物を推定できる場合がある。
【００７３】
（変形例３）
本開示に係る画像処理装置の具体的なハードウェア構成は、さまざまなバリエーションが含まれ、特定の構成に限定されない。例えば、本開示に係る画像処理装置は、ソフトウェアを用いて実現されてもよく、複数のハードウェアを用いて各種処理を分担するように構成されてもよい。
【００７４】
図９は、本開示に係る画像処理装置を実現するコンピュータ装置９００のハードウェア構成の一例を示すブロック図である。コンピュータ装置９００は、ＣＰＵ（Central Processing Unit）９０１と、ＲＯＭ（Read Only Memory）９０２と、ＲＡＭ（Random Access Memory）９０３と、記憶装置９０４と、ドライブ装置９０５と、通信インタフェース９０６と、入出力インタフェース９０７とを含んで構成される。本開示に係る画像処理装置は、図９に示される構成（又はその一部）によって実現され得る。
【００７５】
ＣＰＵ９０１は、ＲＡＭ９０３を用いてプログラム９０８を実行する。プログラム９０８は、ＲＯＭ９０２に記憶されていてもよい。また、プログラム９０８は、メモリカード等の記録媒体９０９に記録され、ドライブ装置９０５によって読み出されてもよいし、外部装置からネットワーク９１０を介して送信されてもよい。通信インタフェース９０６は、ネットワーク９１０を介して外部装置とデータをやり取りする。入出力インタフェース９０７は、周辺機器（入力装置、表示装置など）とデータをやり取りする。通信インタフェース９０６及び入出力インタフェース９０７は、データを取得又は出力するための構成要素として機能することができる。
【００７６】
なお、本開示に係る画像処理装置の構成要素は、単一の回路（プロセッサ等）によって構成されてもよいし、複数の回路の組み合わせによって構成されてもよい。ここでいう回路（circuitry）は、専用又は汎用のいずれであってもよい。例えば、本開示に係る画像処理装置は、一部が専用のプロセッサによって実現され、他の部分が汎用のプロセッサによって実現されてもよい。
【００７７】
上述された実施形態において単体の装置として説明された構成は、複数の装置に分散して設けられてもよい。例えば、画像処理装置１００、５２０又は７００は、クラウドコンピューティング技術などを用いて、複数のコンピュータ装置によって実現されてもよい。
【００７８】
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【００７９】
上記の本発明の実施形態は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
（付記１）
地表のある領域における日射スペクトルを、当該領域の観測画像と、当該領域の日射スペクトルの成分と、当該領域において推定される純物質のスペクトルとに基づいて算出する算出手段と、
前記観測画像を前記算出された日射スペクトルに基づいて変換する変換手段と
を備える画像処理装置。
（付記２）
前記観測画像のうちの日射の遮蔽が少ない特定領域を抽出する抽出手段と、
前記抽出された特定領域の前記観測画像を用いて前記純物質のスペクトルを推定する推定手段とをさらに備え、
前記算出手段は、前記日射スペクトルを、前記観測画像と、前記日射スペクトルの成分と、前記推定された前記純物質のスペクトルとに基づいて算出する
付記１に記載の画像処理装置。
（付記３）
前記算出手段は、所定のモデルにおける誤差を最小化する最適化問題を解くことにより前記純物質のスペクトルを算出する
付記１又は付記２に記載の画像処理装置。
（付記４）
前記算出手段は、前記領域における太陽天頂角に基づいて前記日射スペクトルの成分を算出する
付記１から付記３までのいずれかに記載の画像処理装置。
（付記５）
前記算出手段は、前記純物質のスペクトルの少なくとも一部を、前記領域の位置に応じて選択する
付記１から付記４までのいずれかに記載の画像処理装置。
（付記６）
前記算出手段は、前記純物質のスペクトルの少なくとも一部を、地上被覆物に応じた前記領域の分類に基づいて選択する
付記１から付記５までのいずれかに記載の画像処理装置。
（付記７）
前記算出手段は、前記純物質のスペクトルの少なくとも一部を、記憶手段から読み出す
付記１から付記６までのいずれかに記載の画像処理装置。
（付記８）
前記観測画像は、複数の画素を含み、
前記算出手段は、前記複数の画素について前記日射スペクトルの成分及び前記純物質のスペクトルとして共通の値を用いて、前記日射スペクトルを前記複数の画素毎に算出する
付記１から付記７までのいずれかに記載の画像処理装置。
（付記９）
地表のある領域における日射スペクトルを、当該領域の観測画像と、当該領域の日射スペクトルの成分と、当該領域において推定される純物質のスペクトルとに基づいて算出し、
前記観測画像を前記算出された日射スペクトルに基づいて変換する
画像処理方法。
（付記１０）
前記観測画像のうちの日射の遮蔽が少ない特定領域を抽出し、
前記抽出された特定領域の前記観測画像を用いて前記純物質のスペクトルを推定し、
前記日射スペクトルを、前記観測画像と、前記日射スペクトルの成分と、前記推定された前記純物質のスペクトルとに基づいて算出する
付記９に記載の画像処理方法。
（付記１１）
所定のモデルにおける誤差を最小化する最適化問題を解くことにより前記純物質のスペクトルを算出する
付記９又は付記１０に記載の画像処理方法。
（付記１２）
前記領域における太陽天頂角に基づいて前記日射スペクトルの成分を算出する
付記９から付記１１までのいずれかに記載の画像処理方法。
（付記１３）
前記純物質のスペクトルの少なくとも一部を、前記領域の位置に応じて選択する
付記９から付記１２までのいずれかに記載の画像処理方法。
（付記１４）
前記純物質のスペクトルの少なくとも一部を、地上被覆物に応じた前記領域の分類に基づいて選択する
付記９から付記１３までのいずれかに記載の画像処理方法。
（付記１５）
前記純物質のスペクトルの少なくとも一部を、記憶手段から読み出す
付記９から付記１４までのいずれかに記載の画像処理方法。
（付記１６）
前記領域は、複数の画素を含み、
前記複数の画素について前記日射スペクトルの成分及び前記純物質のスペクトルとして共通の値を用いて、前記日射スペクトルを前記複数の画素毎に算出する
付記９から付記１５までのいずれかに記載の画像処理方法。
（付記１７）
コンピュータに、
地表のある領域における日射スペクトルを、当該領域の観測画像と、当該領域の日射スペクトルの成分と、当該領域において推定される純物質のスペクトルとに基づいて算出する処理と、
前記観測画像を前記算出された日射スペクトルに基づいて変換する処理と
を実行させるためのプログラムを記録した記録媒体。
（付記１８）
前記コンピュータに、
前記観測画像のうちの日射の遮蔽が少ない特定領域を抽出する処理と、
前記抽出された特定領域の前記観測画像を用いて前記純物質のスペクトルを推定する処理とを実行させ、
前記算出する処理で、前記日射スペクトルを、前記観測画像と、前記日射スペクトルの成分と、前記推定された前記純物質のスペクトルとに基づいて算出させる
付記１７に記載の記録媒体。
（付記１９）
前記コンピュータに、
前記算出する処理で、所定のモデルにおける誤差を最小化する最適化問題を解くことにより前記純物質のスペクトルを算出させる
付記１７又は付記１８に記載の記録媒体。
（付記２０）
前記コンピュータに、
前記算出する処理で、前記領域における太陽天頂角に基づいて前記日射スペクトルの成分を算出させる
付記１７から付記１９までのいずれかに記載の記録媒体。
（付記２１）
前記コンピュータに、
前記算出する処理で、前記純物質のスペクトルの少なくとも一部を、前記領域の位置に応じて選択させる
付記１７から付記２０までのいずれかに記載の記録媒体。
（付記２２）
前記コンピュータに、
前記算出する処理で、前記純物質のスペクトルの少なくとも一部を、地上被覆物に応じた前記領域の分類に基づいて選択させる
付記１７から付記２１までのいずれかに記載の記録媒体。
（付記２３）
前記コンピュータに、
前記算出する処理で、前記純物質のスペクトルの少なくとも一部を、記憶手段から読み出させる
付記１７から付記２２までのいずれかに記載の記録媒体。
（付記２４）
前記領域は、複数の画素を含み、
前記コンピュータに、
前記算出する処理で、前記複数の画素について前記日射スペクトルの成分及び前記純物質のスペクトルとして共通の値を用いて、前記日射スペクトルを前記複数の画素毎に算出させる
付記１７から付記２３までのいずれかに記載の記録媒体。
【００８０】
この出願は、２０１６年７月２２日に出願された日本出願特願２０１６−１４４４８６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００８１】
１００、５２０、７００    画像処理装置
１１０    算出部
１２０    変換部
５００    画像処理システム
５１０    画像供給装置
５３０    出力装置
５２１    領域抽出部
５２２    成分算出部
５２３    スペクトル推定部
５２４    最適化部
５２５    影補正部
７１０    スペクトル記憶部
９００    コンピュータ装置
【図１】
2018016555.tif 000007
【図２】
2018016555.tif 000008
【図３】
2018016555.tif 000009
【図４】
2018016555.tif 000010
【図５】
2018016555.tif 000011
【図６】
2018016555.tif 000012
【図７】
2018016555.tif 000013
【図８】
2018016555.tif 000014
【図９】
2018016555.tif 000015
【手続補正書】
【提出日】平成30年12月21日(2018.12.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
地表のある領域における日射スペクトルを、当該領域の観測画像と、当該領域の日射スペクトルの成分と、当該領域において推定される純物質のスペクトルとに基づいて算出する算出手段と、
前記観測画像を前記算出された日射スペクトルに基づいて変換する変換手段と
を備える画像処理装置。
【請求項２】
前記観測画像のうちの日射の遮蔽が少ない特定領域を抽出する抽出手段と、
前記抽出された特定領域の前記観測画像を用いて前記純物質のスペクトルを推定する推定手段とをさらに備え、
前記算出手段は、前記日射スペクトルを、前記観測画像と、前記日射スペクトルの成分と、前記推定された前記純物質のスペクトルとに基づいて算出する
請求項１に記載の画像処理装置。
【請求項３】
前記算出手段は、所定のモデルにおける誤差を最小化する最適化問題を解くことにより前記純物質のスペクトルを算出する
請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記算出手段は、前記領域における太陽天頂角に基づいて前記日射スペクトルの成分を算出する
請求項１から請求項３までのいずれか１項に記載の画像処理装置。
【請求項５】
前記算出手段は、前記純物質のスペクトルの少なくとも一部を、前記
領域の位置に応じて選択する
請求項１から請求項４までのいずれか１項に記載の画像処理装置。
【請求項６】
前記算出手段は、前記純物質のスペクトルの少なくとも一部を、地上被覆物に応じた前記領域の分類に基づいて選択する
請求項１から請求項５までのいずれか１項に記載の画像処理装置。
【請求項７】
前記算出手段は、前記純物質のスペクトルの少なくとも一部を、記憶手段から読み出す
請求項１から請求項６までのいずれか１項に記載の画像処理装置。
【請求項８】
前記観測画像は、複数の画素を含み、
前記算出手段は、前記複数の画素について前記日射スペクトルの成分及び前記純物質のスペクトルとして共通の値を用いて、前記日射スペクトルを前記複数の画素毎に算出する
請求項１から請求項７までのいずれか１項に記載の画像処理装置。
【請求項９】
地表のある領域における日射スペクトルを、当該領域の観測画像と、当該領域の日射スペクトルの成分と、当該領域において推定される純物質のスペクトルとに基づいて算出し、
前記観測画像を前記算出された日射スペクトルに基づいて変換する
画像処理方法。
【請求項１０】
前記観測画像のうちの日射の遮蔽が少ない特定領域を抽出し、
前記抽出された特定領域の前記観測画像を用いて前記純物質のスペクトルを推定し、
前記日射スペクトルを、前記観測画像と、前記日射スペクトルの成分と、前記推定された前記純物質のスペクトルとに基づいて算出する
請求項９に記載の画像処理方法。
【国際調査報告】
2018016555.tif 000016
2018016555.tif 000017
2018016555.tif 000018
2018016555.tif 000019