(57)【要約】  画像の補正後の画質を向上させる。  画像処理装置１００は、複数の補正方法を用いて、画像から複数の補正画像を生成する補正部１１０と、前記画像又は前記複数の補正画像のそれぞれを、当該画像又は当該補正画像を構成する領域毎に評価する評価部１２０と、前記複数の補正画像を評価部１２０による評価結果に応じて合成する合成部１３０とを含む。
2018037920.tif 000002
【特許請求の範囲】
【請求項１】
複数の補正方法を用いて、画像から複数の補正画像を生成する補正手段と、
前記画像又は前記複数の補正画像のそれぞれを、当該画像又は当該補正画像を構成する領域毎に評価する評価手段と、
前記複数の補正画像を前記評価手段による評価結果に応じて合成する合成手段と
を備える画像処理装置。
【請求項２】
前記合成手段は、前記複数の補正画像を、前記領域毎に重み付け加算することにより合成する
請求項１に記載の画像処理装置。
【請求項３】
前記評価手段は、前記画像のシーンを前記領域毎に判定し、
前記合成手段は、前記評価手段により判定されたシーンに基づいて前記複数の補正画像を合成する
請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記評価手段は、前記複数の補正画像の不確からしさを前記領域毎に評価し、
前記合成手段は、前記評価手段により評価された不確からしさに基づいて前記複数の補正画像を合成する
請求項１から請求項３までのいずれか１項に記載の画像処理装置。
【請求項５】
前記画像は、雲を含み得る地表の観測画像であり、
前記評価手段は、前記複数の補正画像のそれぞれから推定される雲の性状を表す情報に基づいて、前記複数の補正画像のそれぞれを前記領域毎に評価する
請求項４に記載の画像処理装置。
【請求項６】
前記領域が画素である
請求項１から請求項５までのいずれか１項に記載の画像処理装置。
【請求項７】
複数の補正方法を用いて、画像から複数の補正画像を生成し、
前記画像又は前記複数の補正画像のそれぞれを、当該画像又は当該補正画像を構成する領域毎に評価し、
前記複数の補正画像を評価結果に応じて合成する
画像処理方法。
【請求項８】
コンピュータに、
複数の補正方法を用いて、画像から複数の補正画像を生成する処理と、
前記画像又は前記複数の補正画像のそれぞれを、当該画像又は当該補正画像を構成する領域毎に評価する処理と、
前記複数の補正画像を評価結果に応じて合成する処理と
を実行させるためのプログラムを格納したコンピュータ読み取り可能記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理に関する。
【背景技術】
【０００２】
画像処理においては、ノイズ等が含まれる画像から本来の情報を正確に得ることを目的としたさまざまな補正方法が存在する。例えば、非特許文献１、２は、撮影された画像から雲やヘイズ（靄、煙など）を取り除くための技術を開示している。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Meng Xu, Mark Pickering, Antonio J. Plaza and Xiuping Jia, "Thin cloud removal based on signal transmission principles and spectral mixture analysis", IEEE Transactions on Geoscience and Remote Sensing, Vol.54, No.3, pp. 1659-1669, March 2016.
【非特許文献２】Kaiming He, Jian Sun and Xiaoou Tang, "Single Image Haze Removal Using Dark Channel Prior", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.33, No.12, pp. 2341-2353, December 2011
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像処理における補正の良否は、その補正方法に依存する場合がある。例えば、非特許文献１に記載された方法を用いた場合には、純物質の種類が多いシーンにおいて補正の精度が低下する可能性がある。また、非特許文献２に記載された方法を用いた場合には、影などの暗い画素が存在しないシーンにおいて精度が低下する可能性がある。【０００５】
そこで、本開示は、画像の補正後の画質を向上させる技術を提供する。
【課題を解決するための手段】
【０００６】
一の態様において、複数の補正方法を用いて、画像から複数の補正画像を生成する補正手段と、前記画像又は前記複数の補正画像のそれぞれを、当該画像又は当該補正画像を構成する領域毎に評価する評価手段と、前記複数の補正画像を前記評価手段による評価結果に応じて合成する合成手段とを含む画像処理装置が提供される。【０００７】
別の態様において、複数の補正方法を用いて、画像から複数の補正画像を生成し、前記画像又は前記複数の補正画像のそれぞれを、当該画像又は当該補正画像を構成する領域毎に評価し、前記複数の補正画像を評価結果に応じて合成する画像処理方法が提供される。【０００８】
さらに別の態様において、コンピュータに、複数の補正方法を用いて、画像から複数の補正画像を生成する処理と、前記画像又は前記複数の補正画像のそれぞれを、当該画像又は当該補正画像を構成する領域毎に評価する処理と、前記複数の補正画像を評価結果に応じて合成する処理とを実行させるためのプログラムを非一時的に格納したコンピュータ読み取り可能記録媒体が提供される。
【発明の効果】
【０００９】
本開示によれば、画像の補正後の画質が向上する。
【図面の簡単な説明】
【００１０】
【図１】図１は、画像処理装置の構成の一例を示すブロック図である。
【図２】図２は、画像処理方法の一例を示すフローチャートである。
【図３】図３は、画像処理システムの構成の一例を示すブロック図である。
【図４】図４は、画像処理装置の構成の別の例を示すブロック図である。
【図５】図５は、第１補正部の構成の一例を示すブロック図である。
【図６】図６は、第２補正部の構成の一例を示すブロック図である。
【図７】図７は、画像処理方法の別の例を示すフローチャートである。
【図８】図８は、画像処理装置の構成のさらに別の例を示すブロック図である。
【図９】図９は、画像処理装置の構成のさらに別の例を示すブロック図である。
【図１０】図１０は、コンピュータ装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１１】
［第１実施形態］
図１は、一の実施形態に係る画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、補正部１１０と、評価部１２０と、合成部１３０とを少なくとも含む。画像処理装置１００は、補正部１１０、評価部１２０及び合成部１３０以外の構成を含んでもよい。
【００１２】
本実施形態に係る画像は、複数の画素を用いて表される。それぞれの画素は、ピクセル情報を少なくとも含む。ピクセル情報は、それぞれの画素を特徴付ける情報である。ピクセル情報は、例えば、画素の明るさや色を所定のビット数で表す。本実施形態に係る画像は、モノクロ画像又はカラー画像のいずれであってもよい。また、画像の解像度は、特定の値に限定又は制限されない。
【００１３】
補正部１１０は、画像を補正する。補正部１１０は、１つの画像を複数の補正方法を用いて補正する。補正部１１０は、第１の補正方法により補正された第１の画像と、第１の補正方法と異なる第２の補正方法により補正された第２の画像と、というように、ｎ種類の補正方法を用いてｎ個の画像を生成する。ここでいうｎの値は、２以上の整数であれば特に限定されない。
【００１４】
補正部１１０により補正された画像のことを、以下においては「補正画像」ともいう。また、補正部１１０による補正前の画像のことを、以下においては「原画像」ともいう。ここでいう原画像は、補正部１１０による補正が実行されていなければ足り、何ら加工されていない画像（例えば撮影された画像そのもの）であることを必ずしも要しない。
【００１５】
例えば、補正部１１０は、複数の異なる補正アルゴリズムを用いて複数の補正画像を生成する。あるいは、補正部１１０は、同一の補正アルゴリズムを用いて、当該アルゴリズムにおいて用いられるパラメータを変えることによって複数の補正画像を生成してもよい。ここでいうパラメータは、補正画像の画質に影響を与えるパラメータである。補正画像の画質とは、例えば、当該補正画像から読み取ることができる情報の正確さ（忠実さ）や補正の精度をいう。
【００１６】
いくつかの態様において、評価部１２０は、補正部１１０により生成された補正画像を評価する。評価部１２０は、補正部１１０により生成された複数の補正画像のそれぞれを、当該補正画像を構成する領域毎に評価する。例えば、評価部１２０は、所定の評価基準を用いて、画質を示す評価値を補正画像の領域毎に算出する。ここでいう評価値は、画質の優劣を二値で表現してもよく、１０段階、１００段階といったより詳細なレベルで画質を表現してもよい。
【００１７】
あるいは、評価部１２０は、原画像を領域毎に評価してもよい。すなわち、評価部１２０による評価は、補正画像に対してであっても、原画像に対してであってもよい。例えば、評価部１２０は、原画像の属性（シーン等）を領域毎に評価してもよい。評価部１２０は、例えば、原画像をピクセル情報に基づいて評価する。
【００１８】
ここでいう領域は、画像を等分割した定形の領域であってもよいが、画像をある特徴（画像特徴量等）に基づいて分類した不定形の領域であってもよい。例えば、評価部１２０は、原画像又は補正画像を画素毎に評価してもよい。あるいは、評価部１２０は、複数の画素により構成されるブロック毎に原画像又は補正画像を評価してもよい。
【００１９】
合成部１３０は、補正部１１０により生成された複数の補正画像を合成する。合成部１３０による合成後の画像のことを、以下においては「合成画像」ともいう。ここでいう合成は、２以上の画像を１つの画像にまとめる画像処理をいう。合成部１３０は、補正部１１０により生成されたｎ個の補正画像のうちｍ個（ただし、２≦ｍ≦ｎ）の補正画像を用いて合成画像を出力する。
【００２０】
合成部１３０は、評価部１２０による評価結果に応じて補正画像を合成する。例えば、合成部１３０は、複数の補正画像を用いて、評価値がより高い領域同士を結合させることで合成画像を生成する。あるいは、合成部１３０は、複数の補正画像のピクセル情報を評価値に基づいて演算（加算等）することで合成画像を生成してもよい。また、評価部１２０が原画像の属性を領域毎に評価した場合、合成部１３０は、それぞれの領域の属性に応じた補正画像が当該領域に適用された合成画像を生成してもよい。
【００２１】
なお、画像処理装置１００は、合成部１３０による合成を実行しない場合があってもよい。例えば、ある特定の補正方法により補正された補正画像の画質が他の補正画像よりも全体的に良好であると評価部１２０が評価した場合、画像処理装置１００は、合成画像に代えて当該特定の補正方法により補正された補正画像を出力してもよい。
【００２２】
図２は、本実施形態に係る画像処理方法を示すフローチャートである。画像処理装置１００は、図２に示されるフローチャートに従った手順で処理を実行する。画像処理装置１００は、画像が入力されたタイミング、ユーザにより指定されたタイミングなどのタイミングでこの処理の実行を開始することができる。
【００２３】
ステップＳ２１０において、補正部１１０は、原画像に対して複数の補正方法を適用することにより、複数の補正画像を生成する。ステップＳ２２０において、評価部１２０は、原画像又は補正画像を領域毎に評価する。ステップＳ２３０において、合成部１３０は、ステップＳ２２０における評価結果に応じて補正画像を合成し、合成画像を出力する。
【００２４】
以上のとおり、本実施形態の画像処理装置１００は、補正画像を、原画像又は補正画像の評価結果に基づいて領域毎に合成する構成を有する。この構成は、１つの補正方法のみによらず、複数の補正方法による補正を反映させた画像の出力を可能にする。したがって、画像処理装置１００は、このような構成を有しない場合に比べ、出力される画像の補正後の画質を向上させることができる。
【００２５】
［第２実施形態］
図３は、別の実施形態に係る画像処理システム３００の構成を示すブロック図である。画像処理システム３００は、画像供給装置３１０と、画像処理装置３２０と、出力装置３３０とを含む。本実施形態は、第１実施形態の画像処理装置１００のリモートセンシングへの適用例に相当する。
【００２６】
画像供給装置３１０は、観測画像を表す観測データを画像処理装置３２０に供給する。画像供給装置３１０は、例えば、観測データが蓄積されたデータベースである。画像処理装置３２０は、画像供給装置３１０により供給された観測データに基づいて、観測画像を補正及び合成する。出力装置３３０は、画像処理装置３２０により合成された合成画像を出力する。出力装置３３０は、例えば、合成画像を表示する表示装置である。また、出力装置３３０は、合成画像を表す画像データを記録媒体に記録する記録装置であってもよい。
【００２７】
本実施形態の観測データは、複数の波長帯のスペクトル情報を少なくとも含む。スペクトル情報は、例えば、輝度値（又は輝度値を算出可能な別の値）である。スペクトル情報は、第１実施形態のピクセル情報の一例に相当する。また、観測データは、メタ情報を含み得る。メタ情報は、例えば、観測日時、地表における位置（緯度及び経度）、太陽天頂角、水蒸気量、気温、太陽の方位角、人工衛星の天頂角及び方位角などである。
【００２８】
本実施形態において、観測画像とは、上空から撮影された地表の画像をいう。例えば、観測画像は、光学衛星などの情報収集衛星により観測された、複数の波長帯の電磁波により表される画像である。このような観測画像は、一般に、マルチスペクトル画像又はハイパースペクトル画像とも呼ばれる。ただし、観測画像を表す波長帯の数（以下「バンド数」ともいう。）は、特定の値に限定されない。また、観測画像を表す波長帯の上限及び下限も、特定の値に限定されず、不可視光の波長帯を含んでもよい。
【００２９】
ここでいう地表は、地球の表面を意味し、必ずしも陸地に限定されない。また、観測画像は、地表を観測することを目的として撮影されるものの、地表の観測の妨げとなる物体が映り込む場合がある。このような物体の一例としては、大気中の雲が挙げられる。本実施形態において、画像処理装置３２０は、観測画像における雲の影響、すなわち本来地表を表すべき画像への雲による遮蔽などを抑制又は除去するための補正を実行する。
【００３０】
図４は、画像処理装置３２０のより詳細な構成を示すブロック図である。画像処理装置３２０は、取得部４１０と、第１補正部４２０と、第２補正部４３０と、評価部４４０と、合成部４５０とを含む。このうち、第１補正部４２０及び第２補正部４３０は、第１実施形態の補正部１１０の一例に相当する。また、評価部４４０は、第１実施形態の評価部１２０の一例に相当する。合成部４４０は、第１実施形態の合成部１３０の一例に相当する。
【００３１】
取得部４１０は、観測データを取得する。取得部４１０は、画像供給装置３１０から供給された観測データを第１補正部４２０及び第２補正部４３０に供給する。換言すると、取得部４１０は、観測データを第１補正部４２０と第２補正部４３０とに振り分ける、と
もいえる。
【００３２】
第１補正部４２０は、観測画像を補正する。第１補正部４２０は、いわゆるUnmixing手法を用いて観測画像を補正する。Unmixing手法に基づく画像の補正方法の一例は、非特許文献１に記載されている。第１補正部４２０は、補正画像を表す画像データ（スペクトル情報）を合成部４５０に供給する。また、第１補正部４２０は、評価部４４０による評価に用いられる評価情報を評価部４４０に供給する。
【００３３】
図５は、第１補正部４２０の構成を示すブロック図である。第１補正部４２０は、雲スペクトル抽出部５１０と、純物質スペクトル推定部５２０と、雲厚推定部５３０と、雲補正部５４０とを含む。なお、図５以降のブロック図に記載されるブロック間の矢印は、特定の情報の流れを便宜的に示すものであり、情報及びその流れを限定することを意図しない。
【００３４】
雲スペクトル抽出部５１０は、観測画像から雲スペクトルを抽出する。ここにおいて、雲スペクトルとは、観測画像のうちの雲に相当する画素のスペクトルをいう。雲スペクトルは、観測画像のうちの雲の影響を最も受けている画素のスペクトルであるともいえる。雲スペクトル抽出部５１０は、例えば、観測画像のうちの最も明るい画素のスペクトルを雲スペクトルであるとみなす。具体的には、雲スペクトル抽出部５１０は、観測画像に含まれる各画素について、バンド毎の輝度値の総和を算出し、算出された総和が最も大きい画素のスペクトルを雲スペクトルとする。
【００３５】
純物質スペクトル推定部５２０は、観測画像と雲スペクトルとに基づいて、純物質スペクトルを推定する。ここにおいて、純物質スペクトルとは、地表を構成する純物質のスペクトルをいう。純物質は、地表をいくつかの構成要素に分類した場合のその構成要素であり、端成分（endmember）とも呼ばれる。ここでいう純物質は、化学物質（単体又は化合物）であってもよいが、地表をいくつかのシーン（水、土壌、植生、人工物など）によって分類した場合の各シーンに相当してもよい。純物質の種類や数は、特に限定されない。
【００３６】
太陽光が地表のある領域に入射及び反射することによって観測される反射光は、当該領域を構成する純物質に依存して変化する。この領域が複数の純物質を含む場合、当該領域からの反射光は、当該複数の純物質の比率に応じて異なる。また、当該領域の上空に雲が発生している場合に観測される反射光には、当該領域（すなわち地表）からの反射光だけでなく、雲からの反射光も含まれる可能性がある（例えば、非特許文献１のFig. 3参照）。
【００３７】
純物質スペクトル推定部５２０は、地表を構成する純物質の種類が十分に少ないと仮定し、実測されたスペクトル情報と雲スペクトル抽出部５１０により抽出された雲スペクトルとから期待される純物質スペクトルを推定する。具体的には、純物質スペクトル推定部５２０は、各領域の純物質の総数をバンド数以下であると仮定する。純物質スペクトル推定部５２０は、ＶＣＡ（Vertex Component Analysis）、N-FINDER、ＰＰＩ（Pixel Purity Index）、ＭＶＴ（Minimum Volume Transformation）など、周知のUnmixing手法を純物質スペクトルの推定に用いることができる。
【００３８】
雲厚推定部５３０は、雲厚、すなわち雲の厚さ（高さ方向の幅）を画素毎に推定する。雲厚推定部５３０は、雲スペクトル抽出部５１０により抽出された雲スペクトルと、純物質スペクトル推定部５２０により推定された純物質スペクトルとを用いて雲厚を推定する。雲厚推定部５３０は、例えば、以下の式（１）に示される観測モデルに基づき、モデル誤差ｅのノルムを最小化するａｃ及びａｍを算出する。換言すれば、雲厚推定部５３０は、式（１）に示される最適化問題を解くことによって画素毎の雲厚を算出する。
【００３９】
【数１】
2018037920.tif 000003
【００４０】
なお、式（１）において、
ｘ０：観測画像の各画素のスペクトル情報
ａｃ：雲スペクトルの重み係数（存在度）
ｓｃ：雲スペクトル
ａｍ：純物質スペクトルの成分の重み係数
ｓｍ：純物質スペクトルの成分
Ｍ：純物質スペクトルの成分の数
ｅ：モデル誤差
である。また、スペクトル情報ｘ０、雲スペクトルｓｃ、純物質スペクトルの成分ｓｍは、バンド数と同数の要素を有するベクトルである。スペクトル情報ｘ０は、複数のバンドの放射輝度をベクトルによって表す。
【００４１】
式（１）の右辺第１項は、スペクトル情報ｘ０に対する雲の影響を示している。この右辺第１項において、重み係数ａｃは、雲が厚いほど大きく、雲が薄いほど小さくなる係数である。例えば、重み係数ａｃは、雲スペクトルに相当する画素において最大値「１」であり、薄い雲の画素であるほど最小値「０」に近付く。雲スペクトルｓｃは、雲スペクトル抽出部５１０により抽出されたスペクトル情報に相当する。純物質スペクトル（右辺第２項）は、式（１）より、スペクトル情報ｘ０から雲の影響（右辺第１項）を減じることで求められる。
【００４２】
雲厚推定部５３０は、式（１）に示される最適化問題を解くことによって、モデル誤差ｅのノルムを最小化する重み係数ａｃ及びａｍを画素毎に算出することができる。雲厚推定部５３０は、画素毎の重み係数ａｃに基づき、観測画像の各画素における雲の厚さを推定することができる。
【００４３】
雲補正部５４０は、観測画像を補正する。雲補正部５４０は、雲スペクトル抽出部５１０により抽出された雲スペクトルと雲厚推定部５３０により推定された雲厚とを用いて、観測画像から雲の影響を減じるように補正する。雲補正部５４０は、雲厚推定部５３０により推定された雲厚に従って各画素が補正された補正画像を生成する。第１補正部４２０から出力されるこの補正画像のことを、以下においては「第１の補正画像」ともいう。
【００４４】
第２補正部４３０は、観測画像を補正する点において第１補正部４２０と共通するが、その補正方法が第１補正部４２０と異なる。第２補正部４３０による補正方法は、非特許文献２に記載された手法に基づく。非特許文献２に記載された手法は、デヘイズ、すなわちヘイズの除去を目的とした手法である。第２補正部４３０は、この手法を雲の除去に適用したものである。第２補正部４３０は、補正画像を表す画像データ（スペクトル情報）を合成部４５０に供給する。また、第２補正部４３０は、評価部４４０による評価に用いられる評価情報を評価部４４０に供給する。
【００４５】
図６は、第２補正部４３０の構成を示すブロック図である。第２補正部４３０は、雲成分推定部６１０と、雲補正部６２０とを含む。
【００４６】
雲成分推定部６１０は、雲成分を画素毎に推定する。雲成分推定部６１０は、観測画像のサイズより小さいサイズ（例えば１５×１５画素）の小領域（ウィンドウ、パッチともいう。）の各画素のスペクトル情報に基づいて雲成分を推定する。具体的には、雲成分推定部６１０は、この小領域内で雲量が一定であることと、この小領域において所定のバンドの最小の輝度値が雲に起因することとを仮定し、当該最小の輝度値を当該小領域の所定の位置（例えば中心）の画素の雲成分とする。雲成分推定部６１０は、この小領域の位置をずらしながら同様の推定を順次実行することにより、観測画像の全ての画素の雲成分を推定することができる。
【００４７】
雲補正部６２０は、雲成分推定部６１０により推定された雲成分を用いて観測画像を補正する。雲補正部６２０は、非特許文献２に記載されたヘイズ除去と同様の要領で、観測画像から雲の影響が取り除かれた補正画像を生成する。第２補正部４３０から出力されるこの補正画像のことを、以下においては「第２の補正画像」ともいう。
【００４８】
評価部４４０は、第１の補正画像及び第２の補正画像を画素毎に評価する。評価部４４０は、モデル誤差ｅを用いて第１の補正画像を評価する。第１の補正画像の補正の精度は、モデル誤差ｅが小さいほど高く、モデル誤差ｅが大きいほど低い。すなわち、第１の補正画像の評価に際しては、モデル誤差ｅが評価情報として用いられる。
【００４９】
また、評価部４４０は、小領域毎に算出される輝度値の標準偏差を用いて第２の補正画像を評価する。評価部４４０は、小領域毎に算出される輝度値の標準偏差をその平均値と比較し、標準偏差が平均値よりも小さい小領域の標準偏差と平均値との差分を当該小領域の所定の位置（例えば中心）の画素の推定誤差とする。あるいは、評価部４４０は、このように算出された差分を当該小領域の各画素に共通の推定誤差としてもよい。評価部４４０は、小領域の位置をずらしながら、このような推定誤差を補正画像の各画素について算出する。この推定誤差とモデル誤差ｅとを総称して、以下においては「誤差情報」ともいう。誤差情報は、後述の「不確からしさ」の一例に相当するともいえる。
【００５０】
評価部４４０は、第１の補正画像及び第２の補正画像の各画素について評価値を算出してもよい。評価値は、例えば、補正画像の画質を「０（最低）」〜「１０（最高）」の値によって表す。評価部４４０は、このような評価値を算出したら、算出された評価値を合成部４５０に供給する。
【００５１】
合成部４５０は、第１の補正画像及び第２の補正画像を合成する。合成部４５０は、評価部４４０による評価結果に基づいて合成画像を生成する。本実施形態において、合成部４５０は、第１の補正画像と第２の補正画像とを画素毎に重み付け加算することによって合成画像を生成する。より詳細には、合成部４５０は、第１の補正画像と第２の補正画像の同一の位置に相当する画素同士の階調値を、所定の重み付け係数を用いて重み付け加算する。
【００５２】
例えば、合成部４５０は、以下の式（２）に示される重み付け加算を画素毎に実行する。
2018037920.tif 000004
【００５３】
なお、式（２）において、
ｘ：合成画像の各画素のスペクトル情報
ｘ１：第１の補正画像の各画素のスペクトル情報
ｘ２：第２の補正画像の各画素のスペクトル情報
ａ：重み付け係数
である。また、スペクトル情報ｘ、ｘ１、ｘ２は、バンド数と同数の要素を有するベクトルである。重み付け係数ａは、例えば、第１の補正画像のある画素に対する評価値と、第２の補正画像の当該画素に対応する画素（すなわち同一の位置に相当する画素）に対する評価値とから決定される。重み付け係数ａは、第１の補正画像の画素の画質が高いほど「１」に近付き、第２の補正画像の画素の画質が高いほど「０」に近付く０以上１以下の数値である。
【００５４】
図７は、本実施形態に係る画像処理方法を示すフローチャートである。画像処理装置３２０は、図７に示されるフローチャートに従った手順で処理を実行する。ただし、画像処理装置３２０は、第１の補正画像に関する処理（ステップＳ７２０、Ｓ７３０）と第２の補正画像に関する処理（ステップＳ７４０、Ｓ７５０）とを並列に実行してもよく、第２の補正画像に関する処理を第１の補正画像に関する処理の前に実行してもよい。
【００５５】
ステップＳ７１０において、取得部４１０は、観測データを取得する。ステップＳ７２０において、第１補正部４２０は、ステップＳ７１０において取得された観測データに基づいて第１の補正画像を生成する。ステップＳ７３０において、評価部４４０は、ステップＳ７２０において生成された第１の補正画像を評価する。
【００５６】
ステップＳ７４０において、第２補正部４３０は、ステップＳ７１０において取得された観測データに基づいて第２の補正画像を生成する。ステップＳ７５０において、評価部４４０は、ステップＳ７４０において生成された第２の補正画像を評価する。
【００５７】
ステップＳ７６０において、合成部４５０は、ステップＳ７２０において生成された第１の補正画像とステップＳ７４０において生成された第２の補正画像とを合成する。合成部４５０は、ステップＳ７３０、Ｓ７５０における評価結果を用いて、第１の補正画像と第２の補正画像の各画素とを画素単位で合成する。合成部４５０は、合成画像を表す画像データを出力する。
【００５８】
以上のとおり、本実施形態の画像処理システム３００は、第１の補正画像及び第２の補正画像を誤差情報に基づいて画素毎に評価し、その評価結果に基づいて合成画像を生成する構成を有する。画像処理システム３００は、この構成により、第１実施形態の画像処理装置１００と同様の効果を奏することが可能である。
【００５９】
また、画像処理システム３００は、非特許文献１、２に記載された手法をベースとした補正方法に従って生成された補正画像を合成する構成を有する。上述のとおり、これらの手法は、特定の場合において補正の精度が低下する場合があり、得意とする画像（あるいは不得意とする画像）がそれぞれ異なる。画像処理システム３００は、このような手法に基づく補正画像を合成することにより、それぞれの手法の欠点を補うことが可能である。
【００６０】
［第３実施形態］
図８は、さらに別の実施形態に係る画像処理装置８００の構成を示すブロック図である。画像処理装置８００は、取得部８１０と、第１補正部８２０と、第２補正部８３０と、評価部８４０と、合成部８５０とを含む。
【００６１】
画像処理装置８００は、少なくとも評価部８４０の構成（換言すれば評価方法）が第２実施形態の画像処理装置３２０と異なる。画像処理装置８００のその他の構成は、画像処理装置３２０と共通であってもよいが、観測画像の具体的な補正方法は画像処理装置３２０と相違してもよい。説明の便宜上、ここでは、画像処理装置８００の各構成要素は、以下に詳細に説明される事項を除き、画像処理装置３２０の同名の構成要素と同様の構成及び機能を有するものとする。
【００６２】
評価部８４０は、評価対象が評価部３４０と異なる。評価部８４０は、補正画像ではなく、観測画像を評価する。評価部８４０は、より詳細には、シーン判定部８４１と、基準値算出部８４２とを含む。
【００６３】
シーン判定部８４１は、観測画像のシーンを画素毎に判定する。ここでいうシーンは、例えば、土地被覆の属性である。シーン判定部８４１は、リモートセンシングにおいて知られている指標を用いて各画素のシーンを判定することが可能である。このような指標としては、植生に関連するＮＤＶＩ（Normalized Difference Vegetation Index）、水域に関連するＮＤＷＩ（Normalized Difference Water Index）、土壌に関連するＮＤＳＩ（Normalized Difference Soil Index）、人工物（建造物等）に関連するＮＨＦＤ（Non-Homogeneous Feature Difference）などが挙げられる。シーン判定部８４１は、観測画像の各画素を所定数のシーンのいずれかに分類する機能を有するともいえる。
【００６４】
基準値算出部８４２は、補正画像の不確からしさを示す基準値を補正画像毎に算出する。ここにおいて、不確からしさとは、ある補正方法により補正された補正画像が特定のシーンに適合しない程度をいう。例えば、非特許文献１、２に記載された手法は、上述のとおり、特定のシーンにおいて補正の精度が低下する可能性があることが知られている。
【００６５】
基準値算出部８４２は、第１補正部８２０及び第２補正部８３０の補正方法と各シーンとの適合性、いわば相性をあらかじめ記憶し、シーン判定部８４１により判定されたシーンに応じた基準値を算出する。基準値算出部８４２は、補正画像の画素毎に算出された基準値を合成部８５０に供給する。
【００６６】
合成部８５０は、評価部８４０により算出された不確からしさの基準値に基づいて第１の補正画像と第２の補正画像とを合成する。例えば、合成部８５０は、シーン判定部８４１により判定されたシーンにより適合する補正方法を用いて補正された補正画像の重みが大きくなるように、各画素のスペクトル情報を重み付け加算する。
【００６７】
合成部８５０は、重み付け加算によらずに第１の補正画像と第２の補正画像とを合成してもよい。例えば、合成部８５０は、第１の補正画像が適したシーンの画素に第１の補正画像の当該画素に対応する画素のスペクトル情報を割り当て、第２の補正画像が適したシーンの画素に第２の補正画像の当該画素に対応する画素のスペクトル情報を割り当てることによって合成画像を生成してもよい。
【００６８】
以上のとおり、本実施形態の画像処理装置８００は、観測画像を画素毎に評価し、その評価結果に基づいて合成画像を生成する構成を有する。画像処理装置８００は、この構成により、第１実施形態の画像処理装置１００と同様の効果を奏することが可能である。画像処理装置８００は、不確からしさの基準値に基づいて補正画像を合成することにより、観測画像のシーンにより適合した合成画像を生成することが可能である。
【００６９】
［第４実施形態］
図９は、さらに別の実施形態に係る画像処理装置９００の構成を示すブロック図である。画像処理装置９００は、取得部９１０と、第１補正部９２０と、第２補正部９３０と、評価部９４０と、合成部９５０とを含む。
【００７０】
画像処理装置９００は、少なくとも評価部９４０の構成が第３実施形態の画像処理装置８００と異なる。画像処理装置９００のその他の構成は、画像処理装置８００と共通であってもよいが、観測画像の具体的な補正方法は画像処理装置８００と相違してもよい。
【００７１】
評価部９４０は、評価対象が評価部８４０と異なる。評価部９４０は、観測画像ではなく補正画像を評価する。評価部９４０は、より詳細には、不確からしさ判定部９４１と、基準値算出部９４２とを含む。
【００７２】
不確からしさ判定部９４１は、推定された雲情報に基づいて第１の補正画像及び第２の補正画像の不確からしさを判定する。ここでいう雲情報は、雲の性状を表す情報である。雲情報は、例えば、雲スペクトル、雲厚又は雲成分に基づいて推定可能である。
【００７３】
不確からしさ判定部９４１は、雲スペクトルの不確からしさと雲分布特徴の不確からしさの少なくともいずれかを判定する。不確からしさ判定部９４１は、雲スペクトルの不確からしさと雲分布特徴の不確からしさとを組み合わせて判定に用いてもよい。
【００７４】
例えば、不確からしさ判定部９４１は、推定された雲スペクトルと既知の一般的な雲スペクトルとの誤差（差分）を画素毎に算出し、算出された誤差を不確からしさとして用いる。ここでいう誤差としては、ＳＡＭ（Spectral Angle Mapper）、ＲＭＳＥ（Root Mean Squared Error）、誤差二乗和などを用いることができる。
【００７５】
不確からしさ判定部９４１は、推定された雲スペクトルに所定の雲スペクトルのモデルをフィッティングしたときの誤差の大きさを不確からしさとして用いてもよい。例えば、雲スペクトルのモデルを、ｐ個の変動パラメータＸ＝［Ｘ１ Ｘ２ ・・・ Ｘｐ］に依存するスペクトルのベクトル表記βＭ（Ｘ）として表すこととする。このとき、不確からしさ判定部９４１は、推定された雲スペクトルとβＭ（Ｘ）との誤差が最も小さくなるようなＸを算出し、その最小の誤差を不確からしさとして用いる。
【００７６】
雲スペクトルのモデルは、例えば、以下の（３）〜（５）式により表される。不確からしさ判定部９４１は、（３）〜（５）式のいずれを雲スペクトルのモデルとして用いてもよい。なお、ここにおいて、βＭ（λｉ，Ｘ）は、βＭ（Ｘ）のバンドλｉにおける値を表す。また、Ｉ（λｉ）は、大気圏外における太陽光の放射照度を表す。また、τ（λｉ）は、バンドλｉにおける空気分子の散乱による光学的厚さを表し、バンドλｉより一意的に求められる。
【００７７】
【数２】
2018037920.tif 000005
【００７８】
【数３】
2018037920.tif 000006
【００７９】
【数４】
2018037920.tif 000007
【００８０】
また、不確からしさ判定部９４１は、雲の空間的分布に基づいて雲分布特徴の不確からしさを算出する。例えば、不確からしさ判定部９４１は、雲厚や雲成分に基づいて特定される雲の２次元的な分布に含まれる高周波成分（すなわち、雲厚や雲成分の急激な変化）の大きさを雲分布特徴の不確からしさとして用いることができる。不確からしさ判定部９４１は、エッジ検出などに用いられる一般的なフィルタ（ラプラシアンフィルタ等）によって雲分布特徴の不確からしさを算出可能である。
【００８１】
一般に、雲の空間的な分布は、滑らかに変化する。したがって、補正画像により表される雲の空間的な分布が急激に変化することは、その分布が不自然であることを意味する。不確からしさ判定部９４１は、このような場合における雲分布特徴の不確からしさを大きくすることにより、より自然な画像の不確からしさが相対的に小さくなるようにしている。
【００８２】
基準値算出部９４２は、不確からしさ判定部９４１により判定された第１の補正画像及び第２の補正画像の不確からしさに基づいて基準値を算出する。基準値算出部９４２による基準値の具体的な算出方法は、第３実施形態の基準値算出部８４２の算出方法と同様である。
【００８３】
以上のとおり、本実施形態の画像処理装置９００は、補正画像を画素毎に評価し、その評価結果に基づいて合成画像を生成する構成を有する。画像処理装置９００は、この構成により、第１実施形態の画像処理装置１００と同様の効果を奏することが可能である。画像処理装置９００は、推定された雲情報に基づいて補正画像を合成することにより、補正後の画像をより自然な画像にすることが可能である。
【００８４】
［変形例］
本開示は、上述された第１実施形態〜第４実施形態に限定されない。本開示は、当業者が把握し得る変形又は応用を適用した形態を含み得る。例えば、本開示は、以下に記載される変形例を含む。また、本開示は、本明細書に記載された事項を必要に応じて適宜に組み合わせた形態を含み得る。例えば、特定の実施形態を用いて説明された事項は、矛盾を生じない範囲において、他の実施形態に対しても適用され得る。
【００８５】
（変形例１）
本開示に係る評価は、複数の評価方法を組み合わせて実施されてもよい。例えば、画像処理装置３２０は、第２、３、４実施形態に記載されたそれぞれの方法で不確からしさを判定し、これらの判定結果を重み付け加算することによって合成画像を生成してもよい。
【００８６】
（変形例２）
本開示に係る補正は、雲の補正に限定されない。本開示に係る補正は、例えば、観測画像における大気中の砂塵（黄砂など）、火山活動による噴煙、火災による煙などの補正に対しても、雲の補正と同様の要領で適用可能である。
【００８７】
（変形例３）
本開示に係る画像処理装置の具体的なハードウェア構成は、さまざまなバリエーションが含まれ、特定の構成に限定されない。例えば、本開示に係る画像処理装置は、ソフトウェアを用いて実現されてもよく、複数のハードウェアを用いて各種処理を分担するように構成されてもよい。
【００８８】
図１０は、本開示に係る画像処理装置を実現するコンピュータ装置１０００のハードウェア構成の一例を示すブロック図である。コンピュータ装置１０００は、ＣＰＵ（Central Processing Unit）１００１と、ＲＯＭ（Read Only Memory）１００２と、ＲＡＭ（Random Access Memory）１００３と、記憶装置１００４と、ドライブ装置１００５と、通信インタフェース１００６と、入出力インタフェース１００７とを含んで構成される。本開示に係る画像処理装置は、図１０に示される構成（又はその一部）によって実現され得る。
【００８９】
ＣＰＵ１００１は、ＲＡＭ１００３を用いてプログラム１００８を実行する。プログラム１００８は、ＲＯＭ１００２に記憶されていてもよい。また、プログラム１００８は、メモリカード等の記録媒体１００９に記録され、ドライブ装置１００５によって読み出されてもよいし、外部装置からネットワーク１０１０を介して送信されてもよい。通信インタフェース１００６は、ネットワーク１０１０を介して外部装置とデータをやり取りする。入出力インタフェース１００７は、周辺機器（入力装置、表示装置など）とデータをやり取りする。通信インタフェース１００６及び入出力インタフェース１００７は、データを取得又は出力するための構成要素として機能することができる。
【００９０】
なお、本開示に係る画像処理装置の構成要素は、単一の回路（プロセッサ等）によって構成されてもよいし、複数の回路の組み合わせによって構成されてもよい。ここでいう回路（circuitry）は、専用又は汎用のいずれであってもよい。例えば、本開示に係る画像処理装置は、一部が専用のプロセッサによって実現され、他の部分が汎用のプロセッサによって実現されてもよい。
【００９１】
上述された実施形態において単体の装置として説明された構成は、複数の装置に分散して設けられてもよい。例えば、画像処理装置１００、３２０、８００又は９００は、クラウドコンピューティング技術などを用いて、複数のコンピュータ装置によって実現されてもよい。
【００９２】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００９３】
この出願は、２０１６年８月２６日に出願された日本出願特願２０１６−１６５８１９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【００９４】
１００、３２０、８００、９００    画像処理装置
１１０    補正部
１２０、８４０、９４０    評価部
１３０、４５０、８５０、９５０    合成部
３００    画像処理システム
３１０    画像供給装置
３２０    画像処理装置
３３０    出力装置
４１０、８１０、９１０    取得部
４２０、８２０、９２０    第１補正部
４３０、８３０、９３０    第２補正部
４４０    評価部
１０００    コンピュータ装置
【図１】
2018037920.tif 000008
【図２】
2018037920.tif 000009
【図３】
2018037920.tif 000010
【図４】
2018037920.tif 000011
【図５】
2018037920.tif 000012
【図６】
2018037920.tif 000013
【図７】
2018037920.tif 000014
【図８】
2018037920.tif 000015
【図９】
2018037920.tif 000016
【図１０】
2018037920.tif 000017
【手続補正書】
【提出日】平成31年1月23日(2019.1.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項８
【補正方法】変更
【補正の内容】
【請求項８】
コンピュータに、
複数の補正方法を用いて、画像から複数の補正画像を生成する処理と、
前記画像又は前記複数の補正画像のそれぞれを、当該画像又は当該補正画像を構成する領域毎に評価する処理と、
前記複数の補正画像を評価結果に応じて合成する処理と
を実行させるためのプログラム。
【国際調査報告】
2018037920.tif 000018
2018037920.tif 000019
2018037920.tif 000020
2018037920.tif 000021