(57)【要約】【課題】地上分類が分化する場合にも、覆雲領域の地表面画像を復元することができる画像復元装置を提供する。【解決手段】第１の時刻に撮像された特定の対象物の特定の領域の画像であって、対象物分類が与えられた、欠損領域を含む第１の復元対象画像、及び第１の時刻とは異なる時刻に撮像された対象物の領域の画像であって、対象物分類が与えられた第１の複数の参照用画像から、欠損領域が属する対象物分類毎に、第１の復元対象画像及び第１の複数参照画像のそれぞれの対応する位置の画素の画素値の基準変化量を抽出する基準変化量抽出手段と、基準変化量に基づいて、欠損領域における対象物の画像を復元する欠損領域復元手段とを備える。【選択図】      図１
2015207066.tif 000002
【特許請求の範囲】
【請求項１】
第１の時刻に撮像された特定の対象物の特定の領域の画像であって、対象物分類が与えられた、欠損領域を含む第１の復元対象画像、及び前記第１の時刻とは異なる時刻に撮像された前記対象物の前記領域の画像であって、前記対象物分類が与えられた第１の複数の参照用画像から、前記欠損領域が属する前記対象物分類毎に、前記第１の復元対象画像及び前記第１の複数の参照画像のそれぞれの対応する位置の画素の画素値の基準変化量を抽出する基準変化量抽出手段と、
前記基準変化量に基づいて、前記欠損領域における前記対象物の画像を復元する欠損領域復元手段と、
を備えることを特徴とする画像復元装置。
【請求項２】
前記欠損領域復元手段は、前記基準変化量、及び前記第１の複数の参照画像のそれぞれの対応する位置の画素の画素値に基づいて、前記欠損領域における前記対象物の画像を復元する
ことを特徴とする請求項１に記載の画像復元装置。
【請求項３】
前記基準変化量抽出手段は、前記対象物分類が与えられていない、第２の復元対象画像及び第２の複数の参照用画像のそれぞれに、前記第２の復元対象画像及び前記第２の複数の参照画像のそれぞれの対応する位置の画素の画素値からなる時系列をクラスタリングすることにより、前記対象物分類を与える
ことを特徴とする請求項１又は２に記載の画像復元装置。
【請求項４】
撮像時刻及び撮像された対象物の位置が前記第１の復元対象画像と類似する、前記第１の複数の参照画像をデータベースから選択する画像選択手段
を更に備えることを特徴とする請求項１乃至３のいずれか１項に記載の画像復元装置。
【請求項５】
画素値が所定の閾値と所定の関係を有する画素を、欠損領域として前記第１の復元対象画像から抽出し、前記第１の復元対象画像に欠損領域の情報を関連付ける欠損領域抽出手段
を更に備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像復元装置。
【請求項６】
前記第１の復元対象画像及び前記第１の複数の参照用画像は衛星画像である
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像復元装置。
【請求項７】
第１の時刻に撮像された特定の対象物の特定の領域の画像であって、対象物分類が与えられた、欠損領域を含む第１の復元対象画像、及び前記第１の時刻とは異なる時刻に撮像された前記対象物の前記領域の画像であって、前記対象物分類が与えられた第１の複数の参照用画像から、前記欠損領域が属する前記対象物分類毎に、前記第１の復元対象画像及び前記第１の複数の参照画像のそれぞれの対応する位置の画素の画素値の基準変化量を抽出し、
前記基準変化量に基づいて、前記欠損領域における前記対象物の画像を復元する
ことを特徴とする画像復元方法。
【請求項８】
画像復元装置が備えるコンピュータを、
第１の時刻に撮像された特定の対象物の特定の領域の画像であって、対象物分類が与えられた、欠損領域を含む第１の復元対象画像、及び前記第１の時刻とは異なる時刻に撮像された前記対象物の前記領域の画像であって、前記対象物分類が与えられた第１の複数の参照用画像から、前記欠損領域が属する前記対象物分類毎に、前記第１の復元対象画像及び前記第１の複数の参照画像のそれぞれの対応する位置の画素の画素値の基準変化量を抽出する基準変化量抽出手段と、
前記基準変化量に基づいて、前記欠損領域における前記対象物の画像を復元する欠損領域復元手段と、
して機能させるための画像復元プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、覆雲領域の地表面画像を復元する、画像復元装置、画像復元方法、及び画像復元プログラムに関する。
【背景技術】
【０００２】
センサにより対象を撮像して画像情報を取得する際には、センサと対象間における障害物の存在や、装置の故障に伴う画像情報の欠損の発生等に起因して、対象の画像情報の一部を取得できないことがある。例えば、光学衛星による地表面の撮像では、雲や航空機によりセンサと対象間が遮られる事や、衛星リンクの切断に伴う画像情報の欠損が発生する事などに起因して、地表面画像情報の一部を取得できないことがある。
【０００３】
雲によって遮られたために地表面画像情報が取得されなかった領域（以下、「覆雲領域」という。）の地表面画像を復元する技術の一例が、特許文献１及び特許文献２に開示されている。
【０００４】
特許文献１の方法では、撮像日時に対応付けられた静止衛星画像のデータベースから、生成基準日における静止衛星画像データが選出され、閾値判定によって画像中の地表面領域及び欠損領域（例えば、覆雲領域）が抽出される。欠損領域の画素値には、別の撮像日時における静止衛星画像（参照用画像）中の地表面領域である、同じ画素位置の画素値が設定される。欠損領域の画素値がすべて設定されるまで、更に別の撮像日時における参照用画像を用いて、欠損領域の画素値の設定が繰り返される。これにより、特許文献１の方法では、欠損の無い地表面画像データが生成される。
【０００５】
しかしながら、特許文献１の方法では、例えば、衛星が静止衛星ではなく周回衛星である場合には、適切な撮像日時における参照画像を常に取得することは困難である。すなわち、撮像日時が生成基準日から離れた参照画像を利用せざるをえないことがある。従って、特許文献１の方法では、生成基準日において、雲に遮られた実際の地表面画像とは異なる地表面画像が復元される危険性が高いという問題がある。
【０００６】
上記のような問題を解決するために、特許文献２の方法では、覆雲領域を持つ復元対象の衛星画像と参照画像とから、２つの画像間の時間的な差異で生じた画素値の変化を示す関係式が求められる。そして、関係式、及び参照用画像における履雲領域に対応する位置の画素値に基づいて、復元対象の衛星画像における覆雲領域の画素値が推定される。そして、推定された画素値に基づいて、覆雲領域の地表面画像が復元される。
【０００７】
具体的には、特許文献２の方法では、以下のように地表面画像が復元される。
【０００８】
まず、復元対象の衛星画像から覆雲領域が抽出される。
【０００９】
次に、復元対象の衛星画像と、復元対象の衛星画像と重複する位置の地表面が異なる時点で撮像された参照画像との間で、画像中の同じ位置が地表面の同じ位置に対応するように、位置合わせが行われる。
【００１０】
続いて、復元対象の衛星画像、及び参照用画像のそれぞれにおいて、覆雲領域を除く画素の画素値が、カテゴリにクラス分類（クラスタリング）される。
【００１１】
続いて、画素値の各カテゴリは、地表面の状態の種別（以下、「地上分類」という。「土地被覆分類」ともいう。）に対応付けられる。なお、地上分類のカテゴリは、例えば、水田、森林、市街地、草地等である。また、地上分類のカテゴリは、更に細分化されてもよい。例えば、水田のカテゴリは、耕作段階や水稲の生育段階等に基づいて、更に細分化されてもよい。
【００１２】
続いて、地上分類毎に、復元対象の衛星画像の画素値と参照画像の画素値との間の関係を近似する関係式が作成される。地上分類毎の、画素値間の関係式は、回帰式（１）によって定められる。
【００１３】
【数１】
2015207066.tif 000003
【００１４】
ここで、（ｉ，ｊ）は１つの地上分類に対応する画素位置、ｘｉ，ｊは、画素位置（ｉ，ｊ）における参照画像の画素値、ｙｉ，ｊは、画素位置（ｉ，ｊ）における復元対象の衛星画像の画素値、ａ，ｂは回帰式（１）の係数である。係数ａ，ｂは、覆雲領域に含まれない画素の画素値から、最小二乗法により求められる。
【００１５】
地上分類毎の、２つの時点における画素値間の関係式（１）を用いることにより、参照画像における画素値から、復元対象の衛星画像の覆雲領域の画素値が復元される。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開２０１０−２１８４３４号公報（第８−９ページ、図１、５−６）
【特許文献２】特開２００１−１４３０５４号公報（第３−５ページ、図２）
【発明の概要】
【発明が解決しようとする課題】
【００１７】
ある撮像時点における画像では、ある領域の地表面画像が１つの地上分類に対応するように見えており、その後の撮像時点における画像では、その領域の地表面画像が複数の地上分類に対応して見えるように変化する場合がある。以下、このような変化を「地上分類の分化」という。
【００１８】
特許文献２の方法では、１枚の参照画像から関係式（１）が作成されるため、地上分類が分化する場合には、適切な関係式を作成することができない。従って、特許文献２の方法では、地上分類が分化する場合には、覆雲領域の地表面画像を適切に復元することができない。
【００１９】
地上分類が分化する例として、農地が挙げられる。小麦や水稲が栽培される農地においては、作物の生育に伴い、葉色は緑色から黄色へと変化する。葉色が変化するタイミングは、播種のタイミングやそれまでの生育状況によって異なる。ところが、作物の葉色が変化する前には、葉色は長期間にわたり緑色である。葉色が緑色である時期の画像のみに基づいて、その後の葉色の変化を適切に予測することは難しい。
【００２０】
具体例について説明する。ある月(Ｎ月)には、農場Ａと農場Ｂの両方で作物の葉色は緑色である。翌月(Ｎ＋１月)には、農場Ａでは成長により作物の葉色が黄色に変化する一方で、農場Ｂでは作物の葉色は緑色のままである。この場合、特許文献２の方法では、Ｎ月の農場Ａと農場Ｂの地上分類は同一であるので、Ｎ＋１月の農場Ａ、農場Ｂそれぞれの画像に含まれる覆雲領域の地表面画像を正しく復元することはできない。
【００２１】
従って、特許文献２の方法には、地上分類が分化する場合に、覆雲領域の地表面画像を適切に復元できないという問題がある。
（発明の目的）
本発明の目的は、地上分類が分化する場合にも、覆雲領域の地表面画像を復元することができる、画像復元装置、画像復元方法、及び画像復元プログラムを提供することにある。
【課題を解決するための手段】
【００２２】
本発明の画像復元装置は、第１の時刻に撮像された特定の対象物の特定の領域の画像であって、対象物分類が与えられた、欠損領域を含む第１の復元対象画像、及び第１の時刻とは異なる時刻に撮像された対象物の領域の画像であって、対象物分類が与えられた第１の複数の参照用画像から、欠損領域が属する対象物分類毎に、第１の復元対象画像及び第１の複数参照画像のそれぞれの対応する位置の画素の画素値の基準変化量を抽出する基準変化量抽出手段と、基準変化量に基づいて、欠損領域における対象物の画像を復元する欠損領域復元手段と、を備えることを特徴とする。
【００２３】
本発明の画像復元方法は、第１の時刻に撮像された特定の対象物の特定の領域の画像であって、対象物分類が与えられた、欠損領域を含む第１の復元対象画像、及び第１の時刻とは異なる時刻に撮像された対象物の領域の画像であって、対象物分類が与えられた第１の複数の参照用画像から、欠損領域が属する対象物分類毎に、第１の復元対象画像及び第１の複数の参照画像のそれぞれの対応する位置の画素の画素値の基準変化量を抽出し、基準変化量に基づいて、欠損領域における対象物の画像を復元することを特徴とする。
【００２４】
本発明の画像復元プログラムは、画像復元装置が備えるコンピュータを、第１の時刻に撮像された特定の対象物の特定の領域の画像であって、対象物分類が与えられた、欠損領域を含む第１の復元対象画像、及び第１の時刻とは異なる時刻に撮像された対象物の領域の画像であって、対象物分類が与えられた第１の複数の参照用画像から、欠損領域が属する対象物分類毎に、第１の復元対象画像及び第１の複数の参照画像のそれぞれの対応する位置の画素の画素値の基準変化量を抽出する基準変化量抽出手段と、基準変化量に基づいて、欠損領域における対象物の画像を復元する欠損領域復元手段として機能させることを特徴とする。
【発明の効果】
【００２５】
本発明によれば、地上分類が分化する場合にも、覆雲領域の地表面画像を復元することができるという効果がある。
【図面の簡単な説明】
【００２６】
【図１】本発明の第１の実施形態における画像復元装置の構成の一例を示すブロック図である。
【図２】本発明の第１の実施形態における画像復元装置のハードウェア構成の一例を示すブロック図である。
【図３】本発明の第１の実施形態における画像復元装置の動作を示すフローチャートである。
【図４】本発明の第１の実施形態における画像復元装置の処理の対象の画像の具体例を示す図である。
【図５】本発明の第１の実施形態における画像復元装置の処理手順の具体例を説明するための図である。
【図６】本発明の第２の実施形態における画像復元装置の構成の一例を示すブロック図である。
【図７】本発明の第３の実施形態における画像復元装置の処理手順の具体例を説明するための図である。
【発明を実施するための形態】
【００２７】
以下、本発明の実施形態について図面を参照して詳細に説明する。尚、すべての図面において、同等の構成要素には同じ符号を付し、適宜説明を省略する。
（第１の実施形態）
図１は、本実施形態の画像復元装置１００の構成の一例を示すブロック図である。
【００２８】
本実施形態の画像復元装置１００は、参照用画像９２１、９２２を利用して、復元対象画像９１１の欠損領域の対象物画像を復元し、復元画像９９０を生成する。
【００２９】
復元対象画像９１１、参照用画像９２１、９２２等の画像は、地表面等の対象物が撮像された画像データである。画像データは、対象物が撮像された画像データ本体に加えて、撮像条件、欠損領域、対象物分類等の付加情報を含むことができる。
【００３０】
撮像条件とは、画像の撮像日時、撮像された対象物の位置情報等の、画像の撮像条件に関する情報である。
【００３１】
欠損領域とは、障害物の存在や撮像装置の故障等によって、目的とする対象物が撮像されていない画像中の領域（覆雲領域等）である。欠損領域の情報は、欠損領域の画素を特定する情報である。
【００３２】
対象物分類とは、対象物の各位置の状態をカテゴリに分類することである。例えば、地上分類は、対象物である地表面の各位置の状態がカテゴリに分類された対象物分類である。対象物分類の各カテゴリに属する画素の画素値の代表値（例えば、重心値）を、基準画素値という。
【００３３】
付加情報は、必ずしも画像データに含まれる必要はなく、画像データとは別に保持され、画像データに関連付けられてもよい。
【００３４】
復元対象画像９１１は、欠損領域を含む画像である。
【００３５】
参照用画像９２１、９２２は、復元対象画像９１１と同じ対象物の同じ領域が、それぞれ異なる撮像日時に撮像された画像である。
【００３６】
なお、本実施形態では、画像データの付加情報は、予め与えられているものとする。
【００３７】
また、以下の説明では、参照用画像９２１、９２２は、欠損領域を含まないものとする。
【００３８】
画像復元装置１００は、基準変化量抽出手段１３０と、欠損領域復元手段１４０とを含む。
【００３９】
基準変化量抽出手段１３０は、復元対象画像９１１の欠損領域の画素の対象物分類毎に、参照用画像９２１、９２２、復元対象画像９１１それぞれの画素の基準画素値間の関係を定めるパラメータ（以下、「基準変化量」という。）を抽出する。
【００４０】
復元対象画像９１１の欠損領域の画素の対象物分類毎の、基準画素値が線形関係にある場合の関係は、例えば、回帰式（２）によって定められる。
【００４１】
【数２】
2015207066.tif 000004
【００４２】
ここで、（ｉ，ｊ）は１つの対象物分類に対応する画素位置である。また、ｘｉ，ｊ、ｙｉ，ｊは、画素位置（ｉ，ｊ）における参照用画像９２１、９２２それぞれの画素値、ｚｉ，ｊは、画素位置（ｉ，ｊ）における復元対象画像９１１の画素値、ａ、ｂ、ｃは回帰式（２）の係数である。係数ａ、ｂ、ｃは、欠損領域に含まれない画素の画素値の組（ｘｉ，ｊ，ｙｉ，ｊ，ｚｉ，ｊ）から、最小二乗法により求められる。その際、回帰式（２）を満たす基準画素値の組（ｘ，ｙ，ｚ）が同時に求められる。係数ａ、ｂ、ｃは基準変化量である。以下では、基準画素値ｘ、ｙ、ｚを含めて、基準変化量という。
【００４３】
欠損領域復元手段１４０は、基準変化量抽出手段１３０により抽出された対象物分類毎の基準変化量に基づいて、復元対象画像９１１の欠損領域の対象物画像の画素値を推定することで、欠損領域の対象物画像を復元する。
【００４４】
欠損領域復元手段１４０は、例えば、対象物分類毎に、復元対象画像９１１の欠損領域に含まれる画素の画素値ｚｉ，ｊを、ｚであるものと推定して、復元する。あるいは、欠損領域復元手段１４０は、例えば、対象物分類毎に、復元対象画像９１１の欠損領域に含まれる画素の画素値ｚｉ，ｊを、ａ・ｘｉ，ｊ＋ｂ・ｙｉ，ｊ＋ｃであるものと推定して、復元してもよい。あるいは、欠損領域復元手段１４０は、例えば、対象物分類毎に、復元対象画像９１１の欠損領域に含まれる画素の画素値ｚｉ，ｊを、ｙｉ，ｊ＋ｚ−ｙであるものと推定して、復元してもよい。
【００４５】
図２は、本実施形態の画像復元装置１００のハードウェア構成の一例を示すブロック図である。
【００４６】
画像復元装置１１は、記憶装置１２と、ＣＰＵ（Central Processing Unit）１３と、キーボード１４と、モニタ１５と、Ｉ／Ｏ（Input/Output）１８とを備え、これらが内部バス１６で接続されている。記憶装置１２は、基準変化量抽出手段１３０、欠損領域復元手段１４０等のＣＰＵ１３の動作プログラムを格納する。ＣＰＵ１３は、画像復元装置１１全体を制御し、記憶装置１２に格納された動作プログラムを実行し、Ｉ／Ｏ１８を介して基準変化量抽出手段１３０、欠損領域復元手段１４０等のプログラムの実行やデータの送受信を行なう。なお、上記の画像復元装置１１の内部構成は一例である。画像復元装置１１は、ＣＰＵ１３、記憶装置１２、及びＩ／Ｏ１８のみを備え、外部に備えられた、キーボード１４、及びモニタ１５を用いて動作してもよい。
【００４７】
次に、本実施形態の動作を説明する。
【００４８】
図３は、本実施形態の画像復元装置１００の動作を示すフローチャートである。
【００４９】
基準変化量抽出手段１３０は、復元対象画像９１１の欠損領域の画素が属する全ての対象物分類について、処理済みか否かを判定する（ステップＳ１１）。
【００５０】
全ての対象物分類について処理済みならば（ステップＳ１１：Ｙｅｓ）、基準変化量抽出手段１３０は、処理を終了する。
【００５１】
未処理の対象物分類があれば（ステップＳ１１：Ｎｏ）、基準変化量抽出手段１３０は、未処理の対象物分類を１つ選択する（ステップＳ１２）。
【００５２】
次に、基準変化量抽出手段１３０は、選択された対象物分類について、参照用画像Ｒ１、参照用画像Ｒ２、復元対象画像Ｔ１のそれぞれにおいて、対象の同じ位置が撮像された３つの画素値の組（時系列）に基づいて、３つの基準画素値間の関係を示す回帰式のパラメータ（基準変化量）を決定する（ステップＳ１３）。
【００５３】
続いて、欠損領域復元手段１４０は、選択された対象物分類に属する欠損領域の画素の画素値を、決定された基準変化量に基づいて復元し（ステップＳ１４）、ステップＳ１１の処理へ戻る。
【００５４】
次に、本実施形態の処理手順の具体例を説明する。初めに、説明に使用する図４、５のそれぞれについて説明する。
【００５５】
図４は、本実施形態の画像復元装置１００の処理の対象の画像の具体例を示す図である。各画像は、４行２列の８つの画素Ｐ１、Ｐ２、…、Ｐ８を含む。なお、画像の撮像日時は古いものから順に、参照用画像Ｒ１、参照用画像Ｒ２、復元対象画像Ｔ１であるものとする。また、参照用画像Ｒ１、参照用画像Ｒ２、復元対象画像Ｔ１における、撮像された対象の位置は一致しているものとする。また、画素Ｐ１、Ｐ２、Ｐ３、Ｐ４は、対象物分類Ｕ１に属する。また、画素Ｐ５、Ｐ６、Ｐ７、Ｐ８は、対象物分類Ｕ２に属する。また、欠損領域は、復元対象画像Ｔ１の画素Ｐ４、Ｐ６のみである。また、復元画像Ｖ１は、復元対象画像Ｔ１の欠損領域の対象物画像の画素Ｐ４、Ｐ６が復元された画像である。
【００５６】
図５は、本実施形態の画像復元装置１００の処理手順の具体例を説明するための図である。なお、対象物分類Ｕ１に属する画素Ｐ１、Ｐ２、Ｐ３、Ｐ４の画素値は、時間と共に増加する。また、対象物分類Ｕ２に属する画素Ｐ５、Ｐ６、Ｐ７、Ｐ８の画素値は、時間と共に減少する。
【００５７】
基準変化量抽出手段１３０は、欠損領域の画素Ｐ４が属する、対象物分類Ｕ１を選択する（ステップＳ１１−Ｓ１２）。
【００５８】
基準変化量抽出手段１３０は、欠損領域の画素Ｐ４を除く、対象物分類Ｕ１に属する画素Ｐ１、Ｐ２、Ｐ３における画素値の時系列（図５（ｂ）の点線のグラフ）から、対象物分類Ｕ１の基準変化量を決定する（ステップＳ１３）。なお、対象物分類Ｕ１の基準変化量は、直線Ｃ１（図５（ｄ）の実線のグラフ）を規定するパラメータである。
【００５９】
基準変化量抽出手段１３０は、欠損領域の画素Ｐ６が属する、対象物分類Ｕ２を選択する（ステップＳ１１−Ｓ１２）。
【００６０】
欠損領域復元手段１４０は、欠損領域の画素Ｐ４の画素値（図５（ｄ）の最右の白丸）を、対象物分類Ｕ１における、復元対象画像Ｔ１の基準画素値（図５（ｄ）の最右の黒丸）であると推定して、復元する（ステップＳ１４）。尚、図５（ｄ）では、欠損領域の画素Ｐ４の画素値（図５（ｄ）の最右の白丸）と復元対象画像Ｔ１の基準画素値（図５（ｄ）の最右の黒丸）とは異なる値として図示されている。しかしながら、両者は異なる値とは限らない。すなわち、両者の値は、復元対象画像９１１の欠損領域に含まれる画素の画素値ｚｉ，ｊがｚであるものと推定・復元される場合には、一致する。
【００６１】
基準変化量抽出手段１３０は、欠損領域の画素Ｐ６を除く、対象物分類Ｕ２に属する画素Ｐ５、Ｐ７、Ｐ８における画素値の時系列（図５（ｃ）の点線のグラフ）から、対象物分類Ｕ２の基準変化量を決定する（ステップＳ１３）。なお、対象物分類Ｕ２の基準変化量は、直線Ｃ２（図５（ｅ）の実線のグラフ）を規定するパラメータである。
【００６２】
欠損領域復元手段１４０は、欠損領域の画素Ｐ６の画素値（図５（ｅ）の最右の白丸）を、対象物分類Ｕ２における、復元対象画像Ｔ１の基準画素値（図５（ｅ）の最右の黒丸）であると推定して、復元する（ステップＳ１４）。尚、図５（ｅ）では、説明の都合上、欠損領域の画素Ｐ６の画素値（図５（ｅ）の最右の白丸）と復元対象画像Ｔ１の基準画素値（図５（ｅ）の最右の黒丸）とは異なる値として図示されている。しかしながら、両者は異なる値とは限らない。すなわち、両者の値は、復元対象画像９１１の欠損領域に含まれる画素の画素値ｚｉ，ｊがｚであるものと推定・復元される場合には、一致する。
【００６３】
以上説明したように、本実施形態における画像復元装置１００では、対象物分類毎に、複数の参照用画像９２１、９２２、復元対象画像９１１の画素の画素値の時系列から、時系列の画素値間の基準変化量を抽出する。そして、画像復元装置１００は、対象物分類毎に、抽出した基準変化量を用いて、欠損領域の対象物画像を復元する。従って、本実施形態における画像復元装置１００は、対象物分類が分化する場合にも、欠損領域の対象物画像を復元することができる。
【００６４】
尚、上述の説明において、画像復元装置１００は、欠損領域の対象物画像の画素値を推定するために、２つの参照用画像を利用する場合について説明した。しかしながら、本実施形態の画像復元装置１００は、必ずしも２つのみの参照用画像を選択する必要はない。すなわち、本実施形態の画像復元装置１００は、３つ以上の参照用画像を選択してもよい。画像復元装置１００が３つ以上の参照用画像を選択する場合には、基準変化量抽出手段１３０は、３つ以上の画素値の時系列に対して、最小二乗法により３つ以上の変数間の回帰式のパラメータを計算してもよい。
【００６５】
尚、上述の説明において、復元対象画像９１１及び参照用画像９２１、９２２における特定の画素位置が、撮像された対象における同じ位置に対応する場合について説明した。しかしながら、本実施形態では、復元対象画像９１１及び参照用画像９２１、９２２における特定の位置が、撮像された対象における同じ位置に対応する必要はない。すなわち、本実施形態の画像復元装置１００は、復元対象画像９１１及び参照用画像９２１、９２２における特定の位置が、撮像された対象における同じ位置に対応するように前処理された参照用画像を利用して、処理を行ってもよい。
【００６６】
尚、上述の説明において、参照用画像９２１、９２２は、欠損領域を含まない場合について説明した。しかしながら、本実施形態では、参照用画像９２１、９２２が、欠損領域を含んでもよい。すなわち、本実施形態における画像復元装置１００は、元の参照用画像における欠損領域を復元し、欠損領域が復元された参照用画像を利用して、処理を行ってもよい。
（第２の実施形態）
本発明の画像復元装置の例として、光学衛星により撮像された衛星画像について、覆雲領域を抽出し、２つの参照画像を選択し、選択した参照画像を用いて覆雲領域の地表面画像を復元する画像復元装置の例を第２の実施形態として示す。
【００６７】
なお、光学衛星による地表面画像の撮像では、特に東南アジアのような熱帯地方において、雲に遮られることで地表面画像が取得できないという状況が頻繁に発生する。また、衛星による地表面画像の撮像では、同一地点を撮像した画像の蓄積が利用できることが多いので、覆雲領域の地表面画像を復元するための参照画像を入手しやすい。そのため、本発明の画像復元装置は、光学衛星により撮像された衛星画像に対して、特に有効である。
【００６８】
本実施形態における構成について説明する。
【００６９】
図６は、本実施形態の画像復元装置１０５の構成の一例を示すブロック図である。
【００７０】
本実施形態の画像復元装置１０５は、参照用画像データベース９２０に蓄積された参照画像９２６、９２７を利用して、復元対象画像９１６の覆雲領域の地表面画像を復元し、復元画像９９０を生成する。
【００７１】
画像復元装置１０５は、覆雲領域抽出手段１１０と、画像選択手段１２０と、基準変化量抽出手段１３５と、覆雲領域復元手段１４５とを有する。
【００７２】
覆雲領域抽出手段１１０は、対象画像９１６から覆雲領域の情報を抽出する。覆雲領域抽出手段１１０は、抽出した覆雲領域の情報を、復元対象画像９１６に付加して出力する。
【００７３】
なお、復元対象画像９１６は、撮像日時、撮像された地表面画像の位置情報等の撮像条件の情報を含む。復元対象画像９１６に関する、撮像条件、覆雲領域等の情報は、復元対象画像９１６とは別に保持されてもよい。例えば、復元対象画像９１６を管理する復元対象画像データベース９１０が、復元対象画像９１６に対応付けて、撮像条件、覆雲領域等の情報を保持してもよい。
【００７４】
画像選択手段１２０は、対象画像９１６と撮像条件が類似し、対象画像９１６の覆雲領域と同一範囲に覆雲領域を持たない２つの参照画像９２６、９２７を選択する。また、画像選択手段１２０は、復元対象画像９１６と参照用画像９２６、９２７との間で撮像された地表面の位置が一致しない場合には、画像中の同じ位置が地表面の同じ位置に対応するように、参照用画像９２６、９２７の位置合わせを行った画像データを出力する。
【００７５】
なお、参照用画像９２６、９２７は、撮像日時、撮像された地表面画像の位置情報等の撮像条件の情報を含む。また、参照用画像９２６、９２７は、画像選択手段１２０により選択される前に、覆雲領域抽出手段１１０により覆雲領域が抽出され、抽出された覆雲領域の情報を含むものとする。あるいは、参照用画像９２６、９２７に関する、撮像条件、覆雲領域等の情報は、参照用画像９２６、９２７とは別に保持されてもよい。例えば、参照用画像９２６、９２７を管理する参照用画像データベース９２０が、参照用画像９２６、９２７のそれぞれに対応付けて、撮像条件、覆雲領域等の情報を保持してもよい。
【００７６】
復元対象画像９１６、及び参照用画像９２６、９２７は、地上分類の情報を含むことができる。あるいは、地上分類の情報は、復元対象画像９１６、及び参照用画像９２６、９２７とは別に保持されてもよい。なお、地上分類の情報は、地表面の各位置の状態が分類されたカテゴリの情報である。以下では、特に言及しない限り、復元対象画像９１６、参照用画像９２６、９２７それぞれの地上分類の情報は、予め与えられているものとする。
【００７７】
基準変化量抽出手段１３５は、対象画像９１６の覆雲領域の画素の地上分類毎に、参照画像９２６、９２７の覆雲領域を除く画素の画素値の基準値（以下、「基準画素値」という。）と、復元対象画像９１６の覆雲領域を除く画素の基準画素値との関係を定めるパラメータ（以下、「基準変化量」という。）を抽出する。なお、「基準画素値」は、ある地上分類に属する画素の画素値を代表する画素値である。「基準画素値」は、例えば、ある地上分類に属する画素の画素値の重心値である。
【００７８】
覆雲領域復元手段１４５は、基準変化量抽出手段１３５により抽出された地上分類毎の基準変化量に基づいて、対象画像９１６の覆雲領域の地表面画像の画素値を推定することで、覆雲領域の地表面画像を復元する。
【００７９】
次に、本実施形態における動作について説明する。
【００８０】
画像選択手段１２０は、対象画像９１６の撮像条件の情報を用いて、参照画像データベース９２０から、対象画像９１６と類似した撮像条件を有する、参照画像９２６、および参照用画像９２７を選択する。
【００８１】
なお、覆雲領域抽出手段１１０は、画像選択手段１２０による画像選択前に、対象画像９１６と、参照画像９２６および９２７とのそれぞれについて、覆雲領域を予め抽出する。
【００８２】
次に、基準変化量抽出手段１３５は、復元対象画像９１６、参照用画像９２６、９２７における覆雲領域以外の画素について、覆雲領域の地上分類毎の基準変化量を抽出する。
【００８３】
続いて、覆雲領域復元手段１４５は、抽出された基準変化量から、対象画像９１６の覆雲領域の画素の地表面画像の画素値を推定することで覆雲領域を復元する。
【００８４】
参照画像データベース９２０は、各参照画像９２６、９２７に対して、撮像条件、及び覆雲領域の情報の対応付けを保持する。撮像条件は、例えば、撮像日時やポインティング角等のテレメトリデータによって得られる情報、撮像エリアの気象条件等、気象庁等の外部組織から入手した情報である。なお、テレメトリデータとは、人工衛星の状態を監視するために人工衛星から地上に送られるデータである。テレメトリデータには、人工衛星が有するセンサにより得られる温度情報や機器のＯＮ／ＯＦＦに関する情報等が含まれる。
【００８５】
覆雲領域抽出手段１１０は、対象画像９１６から覆雲領域を抽出する。覆雲領域抽出手段１１０は、例えば、以下のような動作により覆雲領域を抽出する。
【００８６】
雲は地表面と比較して光の反射率が高いため、雲の画像は画素値が比較的大きい値であることが多い。覆雲領域抽出手段１１０は、この性質を利用して、画素値が所定の閾値よりも大きい画素が雲の画像であるものとみなして覆雲領域を抽出する。
【００８７】
また、覆雲領域では、地表面画像に比べて、画素値の位置による変化が小さい傾向がある。そこで、覆雲領域抽出手段１１０は、この性質を利用して、閾値に基づいて一旦抽出した覆雲領域について、領域内の画素値の位置による変化を算出することで、一旦抽出した覆雲領域から反射率の高い地表面画像を除外してもよい。
【００８８】
画像選択手段１２０は、対象画像９１６に付随する情報及び覆雲領域抽出手段１１０により抽出された対象画像の覆雲領域の情報を検索キーとして、参照画像データベース９２０から対象画像９１６と類似した撮像条件を有する参照画像９２６、９２７を選択する。
【００８９】
対象画像９１６に付随する情報は、参照画像データベース９２０等が保持する、参照画像に対応付けられた情報と同じ種類の情報（撮像条件等）である。
【００９０】
画像選択手段１２０は、対象画像９１６と、参照画像９２６、９２７のそれぞれとの類似度を、検索キー毎に、一致度に応じた点数を加算した合計点数により評価してもよい。あるいは、画像選択手段１２０は、検索キー毎に優先度を設けて、優先度の高い検索キーが一致した参照用画像を選択しても良い。
【００９１】
基準変化量抽出手段１３５は、覆雲領域抽出手段１１０により覆雲領域が抽出された対象画像９１６と、画像選択手段１２０により参照画像データベース９２０から選択された参照画像９２６、９２７を用いて、地上分類毎に基準変化量を抽出する。この際、基準変化量抽出手段１３５は、これら３つの画像９１６、９２６、９２７において共通して覆雲領域でない位置の画素から、地上分類毎に基準変化量を抽出する。
【００９２】
なお、画像９１６、９２６、９２７に対して地上分類が予め与えられていない場合には、以下のようにして、まず、画像９１６、９２６、９２７の地上分類が与えられる。すなわち、基準変化量抽出手段１３５は、画像９１６、９２６、９２７から、覆雲領域に含まれない画素位置毎に画素値の時系列を抽出し、画素値の時系列をクラスタリングによって類似した時系列のクラスに分類する。なお、画素値の時系列は、画像９１６、９２６、９２７における、同一位置の画素の、撮像時点の順に並べられた画素値の組である。以下では、画像の撮像時点は古いものから順に、画像９２６、９２７、９１６とする。すなわち、画素値の時系列は、先頭から順に、画像９２６、９２７、９１６の画素値である。
【００９３】
画素値の時系列をクラスタリングするためのクラスタリング手法は、例えば、ｋ−ｍｅａｎｓ法である。ｋ−ｍｅａｎｓ法は、所定のクラスタ数のクラスタに各標本点を振り分ける方法である。ｋ−ｍｅａｎｓ法では、あるクラスタ重心とある標本点の距離が、他のクラスタ重心とその標本点の距離よりも小さいならば、その標本点はそのクラスタに振り分けられる。ｋ−ｍｅａｎｓ法では、以下の評価関数（３）を最小化するように各標本点の振り分けが行われる。
【００９４】
【数３】
2015207066.tif 000005
【００９５】
ここで、ｋは全クラスタ数、Ｃｉはｉ番目のクラスタ、ｃｉはｉ番目のクラスタの重心点、ｄ（ｘ，ｃｉ）は標本点ｘとｃｉの距離を求める関数である。
【００９６】
基準変化量抽出手段１３５は、以上の動作により、画像９２６、９２７、９１６間で画素値の時系列が類似したものが同じクラスとなるように、画像９２６、９２７、９１６の画素の地上分類を行う。
【００９７】
あるいは、基準変化量抽出手段１３５は、外部から得られる情報を用いて地上分類を行っても良い。外部から得られる情報は、例えば、国土地理院が発行する土地利用図や植生図等である。基準変化量抽出手段１３５は、土地利用図や植生図等により与えられた分類に基づいて地上分類を行っても良い。
【００９８】
さらに、基準変化量抽出手段１３５は、上述の、クラスタリングによる地上分類と、外部から得られる情報による地上分類とを組み合わせて、更に詳細な地上分類を行ってもよい。
【００９９】
さらにまた、基準変化量抽出手段１３５は、対象画像９１６と、参照画像９２６，９２７のそれぞれについて、手動で行われた地上分類結果の情報を利用しても良い。
【０１００】
地上分類の情報は、参照画像データベース９２０において参照画像９２６、９２７に対応付けられて、あるいは復元対象画像データベース９１０において復元対象画像９１６に対応付けられて、登録されてもよい。
【０１０１】
次に、基準変化量抽出手段１３５は、地上分類毎に、画素の画素値の時系列において、画素値の代表値間の関係を定めるパラメータ（基準変化量）を抽出する。なお、例えば、地上分類毎の画素の画素値の時系列について、時系列順に並んだ画素値の列を近似するパラメータ付き関数を求め、この関数のパラメータをその地上分類の基準変化量とみなしても良い。または、地上分類毎の画素の画素値の時系列について、画素値間の差分を、基準変化量とみなしても良い。
【０１０２】
覆雲領域復元手段１４５は、基準変化量抽出手段１３５により抽出された地上分類毎の基準変化量を用いて、対象画像９１６の覆雲領域を復元する。
【０１０３】
まず、覆雲領域復元手段１４５は、２つの参照画像９２６、９２７から、対象画像９１６の覆雲領域と同一範囲の画素の時系列を抽出する。
【０１０４】
次に、覆雲領域復元手段１４５は、抽出した画素の時系列が、基準変化量抽出手段１３５により求められた地上分類のいずれに該当するかを判別する。
【０１０５】
続いて、覆雲領域復元手段１４５は、該当した地上分類の基準変化量から対象画像９１６の地表面画像の画素値を推定し、対象画像９１６の覆雲領域の地表面画像を復元する。
【０１０６】
以上説明したように、本実施形態の画像復元装置１０５は、地上分類毎に、復元対象画像９１６、複数の参照画像９２６、９２７の画素の画素値の時系列から、画素値の時系列の基準変化量を抽出する。そして、画像復元装置１０５は、地上分類毎に、抽出した基準変化量を用いて、覆雲領域の地表面画像を復元する。従って、本実施形態における画像復元装置１０５は、地上分類が分化する場合にも、覆雲領域の地表面画像を復元することができる。
（第３の実施形態）
本発明の第２の実施形態において、覆雲領域を良好に復元するためには、参照用画像９２６、９２７、対象画像９１６の覆雲領域の画素値の時系列が的確に推定される必要がある。
【０１０７】
本発明の第２の実施形態の画像復元装置１０５は、地上分類毎に、複数の参照画像９２６、９２７、復元対象画像９１６から、基準変化量を抽出し、対象画像９１６の覆雲領域の画素が属する地上分類の基準変化量を用いて覆雲領域を復元する。しかしながら、同一の地上分類内においても画素毎に変化量に差が存在するので、基準変化量、及び画素毎に異なる変化量を用いた画素の復元が実行されてもよい。
【０１０８】
そこで、同一の地上分類内での画素毎の変化量の基準変化量に対する差異が十分に小さくなるように地上分類を細かくすることが考えられる。しかしながら、地上分類が細かくなるほど、覆雲領域の画素が属する地上分類を誤判定する可能性が高くなるので注意が必要である。
【０１０９】
本発明の第２の実施形態に変更を加えた、第３の実施形態について説明する。本実施形では、対象画像９１６の覆雲領域の地表面画像の画素値を推定する際に、参照用画像における画素毎の変化量と、対応する基準変化量とのずれの量を算出し、基準変化量に対するずれの量を加味して画素値を推定する。
【０１１０】
本実施形態における構成について説明する。
【０１１１】
本実施形態の画像復元装置１０６の構成は、第２の実施形態の画像復元装置１０５の構成（図６参照）と同じである。ただし、本実施形態の覆雲領域復元手段１４６は、第２の実施形態の覆雲領域復元手段１４５とは機能が異なる。
【０１１２】
次に、本実施形態の覆雲領域復元手段１４６の動作を説明する。
【０１１３】
図７は、本実施形態の画像復元装置１０６の処理手順の具体例を説明するための図である。処理の対象の画像は、図４に示した例と同じである。地上分類Ｕ１、Ｕ２の基準変化量の決定は、図５に示した例と同じである。
【０１１４】
画像復元装置１０６の基準変化量抽出手段１３５は、既に、対象画像９１６の覆雲領域に含まれる各地上分類について、参照画像９２６、９２７、復元対象画像９１６から画素値の時系列の基準変化量ｐ、ｑ等（ｐ、ｑは実数。）（図７（ａ）のグラフＣ１、図７（ｂ）のグラフＣ２）を抽出済みであるものとする。
【０１１５】
覆雲領域復元手段１４６は、復元対象画像Ｔ１の復元対象の画素毎に、画素が属する地上分類の基準変化量ｐ、ｑと、参照用画像Ｒ１、Ｒ２の画素値から復元対象画素の画素値を決定する。
【０１１６】
覆雲領域復元手段１４６は、復元対象画素の画素値を、例えば、図７（ａ）、（ｂ）に示すようにして求める。
【０１１７】
まず、覆雲領域復元手段１４６は、参照画像Ｒ２の画素値を抽出する。
【０１１８】
次に、覆雲領域復元手段１４６は、参照用画像Ｒ２の画素値に、基準変化量ｑを加算して復元対象の画素値を決定する。
【０１１９】
あるいは、覆雲領域復元手段１４６は、復元対象画素の画素値を、例えば、図７（ｃ）、（ｄ）に示すようにして求める。
【０１２０】
まず、覆雲領域復元手段１４６は、参照用画像Ｒ１、Ｒ２の画素値の差分ｒを抽出する。
【０１２１】
次に、覆雲領域復元手段１４６は、参照用画像Ｒ２の画素値に、（ｐ＋ｑ）ｒ／ｐを加算して復元対象の画素値を決定する。
【０１２２】
以上説明したように、本実施形態の画像復元装置１０６の覆雲領域復元手段１４６は、覆雲領域の画素が属する地上分類毎に、基準変化量に加えて、参照用画像Ｒ１、Ｒ２の画素値を利用して画素値を復元する。従って、本実施形態における画像復元装置１０６は、第２の実施形態における画像復元装置１０５の効果に加えて、同一地上分類内での推定誤差を低減した高精度な覆雲領域の地表面画像の復元を行うことができる。
【０１２３】
尚、図３の画像復元装置等の各処理は、ソフトウェアによって実行されてもよい。すなわち、各処理を行うためのコンピュータプログラムが、画像復元装置１００等が備えるＣＰＵ（図２：１３）によって読み込まれ、実行されてもよい。プログラムを用いて各処理を行っても、上述の実施形態の処理と同内容の処理を行うことができる。そして、上記のプログラムは、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体記憶装置、光ディスク、磁気ディスク、光磁気ディスク等、非一時的な媒体に格納されてもよい。
【０１２４】
あるいは、各処理は、個別の回路等の構成要素によって実行されてもよい。
【０１２５】
尚、本願発明は、上述の実施形態に限定されるものではなく、本願発明の要旨を逸脱しない範囲で種々変更、変形して実施することができる。
【図１】
2015207066.tif 000006
【図２】
2015207066.tif 000007
【図３】
2015207066.tif 000008
【図４】
2015207066.tif 000009
【図５】
2015207066.tif 000010
【図６】
2015207066.tif 000011
【図７】
2015207066.tif 000012