(57)【特許請求の範囲】
【請求項１】
画像データを格納する記憶手段と、
欠損領域を含む欠損画像データから、前記欠損領域を抽出する欠損領域抽出手段と、
前記欠損領域に対応する領域が欠損していない複数の対応画像データを前記記憶手段から抽出する第１の画像抽出手段と、
前記抽出した複数の対応画像データの前記欠損領域に対応する領域の第１の画素値変化量を抽出する第１の変化量抽出手段と、
前記記憶手段から、前記複数の対応画像データ間の撮像時間差と同等の撮像時間差を有するとともに、画素値変化量が前記第１の画素値変化量と同等である領域を有する複数の参照画像データを抽出し、前記対応画像データと前記欠損画像データとの撮像時間差と同等の撮像時間差となる、前記参照画像データに対応する比較画像データを抽出する第２の画像抽出手段と、
前記複数の参照画像データ及び前記比較画像データにおいて、前記第１の画素値変化量と同等の画素値変化量となる領域の第２の画素値変化量を抽出する第２の変化量抽出手段と、
前記第１の画素値変化量及び前記第２の画素値変化量に基づき、前記欠損領域を復元する画像復元手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の画像抽出手段は、前記欠損画像データの撮像条件と同等である前記複数の対応画像データを抽出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第１の変化量抽出手段は、前記複数の対応画像データにおける、前記欠損領域と同一箇所の画素値の差分を算出し、前記第１の画素値変化量を抽出することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第１の変化量抽出手段は、前記複数の対応画像データの画素値の差分を画素ごとに算出し、前記対応画像データの画素を、前記算出した画素値の差分に基づき分類し、前記分類に基づき、前記第１の画素値変化量を抽出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第１の変化量抽出手段は、前記複数の対応画像データにおける、前記欠損領域の画素と同一箇所の画素を含む前記分類内の画素値の差分に基づき、前記第１の画素値変化量を抽出することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第２の画像抽出手段は、前記欠損領域と同一箇所の画素値変化量が、前記第１の画素値変化量と同等である領域を有する前記複数の参照画像データを抽出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記第２の画像抽出手段は、前記参照画像における、前記欠損領域と同一箇所の画素値と、前記対応画像における、前記欠損領域と同一箇所の画素値とが同一となるように、前記複数の参照画像データを抽出することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記第２の変化量抽出手段は、前記複数の参照画像データ及び前記比較画像データにおける画素値の差分に基づき、前記第２の画素値変化量を抽出することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
欠損領域を含む欠損画像データから、前記欠損領域を抽出し、
前記欠損領域に対応する領域が欠損していない複数の対応画像データを抽出し、
前記抽出した複数の対応画像データの前記欠損領域に対応する領域の第１の画素値変化量を抽出し、
前記複数の対応画像データ間の撮像時間差と同等の撮像時間差を有するとともに、画素値変化量が前記第１の画素値変化量と同等である領域を有する複数の参照画像データを抽出し、
前記対応画像データと前記欠損画像データとの撮像時間差と同等の撮像時間差となる、前記参照画像データに対応する比較画像データを抽出し、
前記複数の参照画像データ及び前記比較画像データにおいて、前記第１の画素値変化量と同等の画素値変化量となる領域の第２の画素値変化量を抽出し、
前記第１の画素値変化量及び前記第２の画素値変化量に基づき、前記欠損領域を復元することを特徴とする画像処理方法。
【請求項１０】
画像処理装置のコンピュータに、
欠損領域を含む欠損画像データから、前記欠損領域を抽出し、
前記欠損領域に対応する領域が欠損していない複数の対応画像データを抽出し、
前記抽出した複数の対応画像データの前記欠損領域に対応する領域の第１の画素値変化量を抽出し、
前記複数の対応画像データ間の撮像時間差と同等の撮像時間差を有するとともに、画素値変化量が前記第１の画素値変化量と同等である領域を有する複数の参照画像データを抽出し、
前記対応画像データと前記欠損画像データとの撮像時間差と同等の撮像時間差となる、前記参照画像データに対応する比較画像データを抽出し、
前記複数の参照画像データ及び前記比較画像データにおいて、前記第１の画素値変化量と同等の画素値変化量となる領域の第２の画素値変化量を抽出し、
前記第１の画素値変化量及び前記第２の画素値変化量に基づき、前記欠損領域を復元することを実行させることを特徴とする画像処理装置のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理装置のプログラムに関する。
【背景技術】
【０００２】
画像センサにより対象を撮像して、画像センサと撮像対象との間に障害物が存在するために、対象の情報が取得できない（欠損する）場合がある。
【０００３】
例えば、光学衛星は、地球表面等の地表面を撮像し、衛星画像データを生成する。このとき、撮像するタイミングによっては、航空機や地球の表面大気中を漂う雲等によって地表面が遮られるため、地表面情報が取得できなくなり、衛星画像データには欠損が生じる。
【０００４】
地表面を光学衛星の観測対象とした場合、上述したような航空機や雲等による衛生画像データの欠損は、本来期待された結果ではない。このため、この欠損部分を所定の画像処理方法によって補間し、欠損部分を生じていない画像を生成し、地表面を正しく観測できる画像データを生成する（復元する）ことが考えられる。また、この補間の際には、欠損部分に関する情報を推定して画像処理を行い、違和感なく画像データを復元する必要がある。
【０００５】
上述した欠損部分を復元する方法が特許文献１及び２に示されている。特許文献１及び２は、例えば、雲によって地表面が遮られることで地表面情報が取得できなかった領域を復元する。
【０００６】
特許文献１記載の発明は、画像データベースから欠損領域を補間するための画像データを取得し、取得した画像データ中の地表面領域を抽出し、抽出した領域を補間対象の画像データと合成する。
【０００７】
また、特許文献２記載の発明は、復元対象の衛星画像中の覆雲部領域を抽出し、この衛星画像と同一領域における覆雲部領域のない参照用衛星画像を、復元対象となる衛星画像と重なるように位置補正を行い、これら両画像の覆雲部領域以外の画素のディジタルナンバー（ＤＮ値）の関係式を作成し、参照用衛星画像中の覆雲部領域のＤＮ値から、雲の影響を除いた画像を復元する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−２１８４３４号公報
【特許文献２】特開２００１−１４３０５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１記載の発明は、欠損領域の補間に使用するデータが誤って選択される場合があり、正しく欠損領域を補完できない。
【００１０】
また、特許文献２記載の発明は、欠損領域がある土地被覆分類全体を覆っていた場合、欠損領域を除いた全画素領域を参照領域とし、欠損領域の復元を行うため、正しく欠損領域を復元できない。
【００１１】
本発明の目的は、上述した課題を解決し、画像データの欠損を適切に復元することのできる画像処理装置、画像処理方法及び画像処理装置のプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置は、画像データを格納する記憶手段と、欠損領域を含む欠損画像データから、前記欠損領域を抽出する欠損領域抽出手段と、前記欠損領域に対応する領域が欠損していない複数の対応画像データを前記記憶手段から抽出する第１の画像抽出手段と、前記抽出した複数の対応画像データの前記欠損領域に対応する領域の第１の画素値変化量を抽出する第１の変化量抽出手段と、前記記憶手段から、前記複数の対応画像データ間の撮像時間差と同等の撮像時間差を有するとともに、画素値変化量が前記第１の画素値変化量と同等である領域を有する複数の参照画像データを抽出し、前記対応画像データと前記欠損画像データとの撮像時間差と同等の撮像時間差となる、前記参照画像データに対応する比較画像データを抽出する第２の画像抽出手段と、前記複数の参照画像データ及び前記比較画像データにおいて、前記第１の画素値変化量と同等の画素値変化量となる領域の第２の画素値変化量を抽出する第２の変化量抽出手段と、前記第１の画素値変化量及び前記第２の画素値変化量に基づき、前記欠損領域を復元する画像復元手段と、を備えることを特徴とする。
【００１３】
また、本発明の画像処理方法は、欠損領域を含む欠損画像データから、前記欠損領域を抽出し、前記欠損領域に対応する領域が欠損していない複数の対応画像データを抽出し、前記抽出した複数の対応画像データの前記欠損領域に対応する領域の第１の画素値変化量を抽出し、前記複数の対応画像データ間の撮像時間差と同等の撮像時間差を有するとともに、画素値変化量が前記第１の画素値変化量と同等である領域を有する複数の参照画像データを抽出し、前記対応画像データと前記欠損画像データとの撮像時間差と同等の撮像時間差となる、前記参照画像データに対応する比較画像データを抽出し、前記複数の参照画像データ及び前記比較画像データにおいて、前記第１の画素値変化量と同等の画素値変化量となる領域の第２の画素値変化量を抽出し、前記第１の画素値変化量及び前記第２の画素値変化量に基づき、前記欠損領域を復元することを特徴とする。
【００１４】
また、本発明の画像処理装置のプログラムは、画像処理装置のコンピュータに、欠損領域を含む欠損画像データから、前記欠損領域を抽出し、前記欠損領域に対応する領域が欠損していない複数の対応画像データを抽出し、前記抽出した複数の対応画像データの前記欠損領域に対応する領域の第１の画素値変化量を抽出し、前記複数の対応画像データ間の撮像時間差と同等の撮像時間差を有するとともに、画素値変化量が前記第１の画素値変化量と同等である領域を有する複数の参照画像データを抽出し、前記対応画像データと前記欠損画像データとの撮像時間差と同等の撮像時間差となる、前記参照画像データに対応する比較画像データを抽出し、前記複数の参照画像データ及び前記比較画像データにおいて、前記第１の画素値変化量と同等の画素値変化量となる領域の第２の画素値変化量を抽出し、前記第１の画素値変化量及び前記第２の画素値変化量に基づき、前記欠損領域を復元することを実行させることを特徴とする。
【発明の効果】
【００１５】
本発明の画像処理装置、画像処理方法及び画像処理装置のプログラムは、画像データの欠損を適切に復元することができるという効果がある。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態の画像処理装置１のブロック構成図を示す。
【図２】本発明の第１の実施形態の画像処理装置１の動作例のフローチャートを示す。
【図３】本発明の第２の実施形態の画像処理装置１Ｂのブロック構成図を示す。
【図４】本発明の第２の実施形態の第１の画像抽出手段１０３が抽出する過去画像の一例を示す。
【図５】本発明の第２の実施形態の第２の画像抽出手段１０５の動作例を示す。
【図６】本発明の第２の実施形態における、過去画像、比較画像及び参照画像の一例と撮像時刻の時系列的関係を示す。
【図７】本発明の第２の実施形態における、画素値推移を示す。
【図８】本発明の第２の実施形態の画像処理装置１の動作例のフローチャートを示す。
【図９】本発明の第２の実施形態の第２の画像抽出手段１０５が抽出する参照画像の他の例を示す。
【図１０】本発明の第２の実施形態の第２の画像抽出手段１０５が抽出する参照画像の他の例を示す。
【図１１】本発明の第３の実施形態の第１の変化量抽出手段１０４Ｃによるクラスタリングの一例を示す。
【発明を実施するための形態】
【００１７】
＜第１の実施形態＞
本願発明の第１の実施形態について説明する。
【００１８】
図１は、第１の実施形態の画像処理装置１の構成例を示す。
【００１９】
第１の実施形態の画像処理装置１は、記憶手段１０１と、欠損領域抽出手段１０２と、第１の画像抽出手段１０３と、第１の変化量抽出手段１０４と、第２の画像抽出手段１０５と、第２の変化量抽出手段１０６と、画像復元手段１０７とを有する。
【００２０】
記憶手段１０１は、画像データを格納する。
【００２１】
欠損領域抽出手段１０２は、欠損領域を含む欠損画像データから、欠損領域を抽出する。
【００２２】
第１の画像抽出手段１０３は、欠損領域に対応する領域が欠損していない複数の対応画像データを記憶手段１０１から抽出する。例えば、第１の画像抽出手段１０３は、欠損画像データよりも過去の対応画像データを記憶手段１０１から抽出してもよい。なお、対応画像データは、欠損画像データよりも、後に撮像された画像データを用いることもできる。
【００２３】
第１の変化量抽出手段１０４は、第１の画像抽出手段１０３が抽出した複数の対応画像データの前記欠損領域に対応する領域の第１の画素値変化量を抽出する。例えば、第１の変化量抽出手段１０４は、欠損画像データより撮像時刻が過去の、複数の対応画像データに基づき、第１の画素値変化量を抽出する。
【００２４】
第２の画像抽出手段１０５は、記憶手段１０１から、第１の画像抽出手段１０３が抽出した複数の対応画像データ間の撮像時間差と同等の撮像時間差を有するとともに、画素値変化量が、第１の変化量抽出手段１０４が抽出した第１の画素値変化量と同等である領域を有する複数の参照画像データを抽出する。さらに、第２の画像抽出手段１０５は、記憶手段１０１から、第１の画像抽出手段１０３が抽出した対応画像データと、欠損画像データとの撮像時間差と同等の撮像時間差となる、参照画像データに対応する比較画像データを抽出する。
【００２５】
第２の変化量抽出手段１０６は、第２の画像抽出手段１０５が抽出した複数の参照画像データ及び比較画像データにおいて、第１の変化量抽出手段１０４が抽出した第１の画素値変化量と同等の画素値変化量となる領域の第２の画素値変化量を抽出する。
【００２６】
画像復元手段１０７は、上記抽出された第１の画素値変化量及び第２の画素値変化量に基づき、前記欠損領域を復元する。
【００２７】
図２は、第１の実施形態の画像処理装置1の動作例を示すフローチャートである。
【００２８】
欠損領域抽出手段１０２は、欠損領域を含む画像データから、欠損領域を抽出する（Ｓ１０１）。例えば、欠損領域抽出手段１０２は、図示しない入力手段が受信した画像データが欠損画像データか否かを判定し、欠損画像データであると判定した場合に、欠損領域の抽出を行ってもよい。
【００２９】
第１の画像抽出手段１０３は、欠損領域に対応する領域が欠損していない複数の対応画像データを記憶手段１０１から抽出する。（Ｓ１０２）。
【００３０】
第１の変化量抽出手段１０４は、第１の画像抽出手段１０３が抽出した複数の対応画像データの前記欠損領域に対応する領域の第１の画素値変化量を抽出する（Ｓ１０３）。
【００３１】
第２の画像抽出手段１０５は、記憶手段１０１から、第１の画像抽出手段１０３が抽出した複数の対応画像データ間の撮像時間差と同等の撮像時間差を有するとともに、画素値変化量が、第１の変化量抽出手段１０４が抽出した第１の画素値変化量と同等である領域を有する複数の参照画像データを抽出する。さらに、第２の画像抽出手段１０５は、記憶手段１０１から、第１の画像抽出手段１０３が抽出した対応画像データと、欠損画像データとの撮像時間差と同等の撮像時間差となる、参照画像データに対応する比較画像データを抽出する（Ｓ１０４）。
【００３２】
第２の変化量抽出手段１０６は、第２の画像抽出手段１０５が抽出した複数の参照画像データ及び比較画像データにおいて、第１の変化量抽出手段１０４が抽出した第１の画素値変化量と同等の画素値変化量となる領域の第２の画素値変化量を抽出する（Ｓ１０５）。
【００３３】
画像復元手段１０７は、抽出された第１の画素値変化量及び第２の画素値変化量に基づき、前記欠損領域を復元する（Ｓ１０６）。
【００３４】
従って、第１の実施形態の画像処理装置１は、画像データの欠損を適切に復元することができる。
【００３５】
＜第２の実施形態＞
本願発明の第２の実施形態について説明する。
【００３６】
図３は、第２の実施形態の画像処理装置１Ｂの構成例を示す。
【００３７】
第２の実施形態の画像処理装置１Ｂは、制御手段１０８と、入力手段１０９と、記憶手段１０１と、欠損領域抽出手段１０２と、第１の画像抽出手段１０３と、第１の変化量抽出手段１０４と、第２の画像抽出手段１０５と、第２の変化量抽出手段１０６と、画像復元手段１０７とを有する。
【００３８】
制御手段１０８は、後述する画像処理装置１Ｂの各手段の制御を行う。制御手段１０８は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成してもよい。また、例えば、制御手段１０８のＣＰＵは、ＲＯＭから読み込んだプログラムに基づいて、各手段の制御を行ってもよい。また、制御手段１０８のＣＰＵは、コンピュータで読み取り可能なプログラムを記憶した記憶媒体から、図示しない読み込み装置等を用いて、プログラムを読み込んで、各手段の制御を実行してもよい。
【００３９】
入力手段１０９は、画像データを受信する。また、入力手段１０９は、画像データの受信の際、画像データに関する情報を受信する。また、入力手段１０９は、受信した画像データ及び画像データに関する情報を後述する記憶手段１０１、欠損領域抽出手段１０２及び画像復元手段１０７に送信する。
【００４０】
例えば、入力手段１０９は、地表面を撮像する光学衛星から、撮像した画像データ及び画像データに関する情報を受信してもよい。また、画像データに関する情報は、例えば、テレメトリデータから得られる撮像時刻やポインティング角等の撮像条件に関する情報、土地被覆分類情報や気象条件などの情報である。ここで、テレメトリデータとは、例えば、光学衛星の衛星機器類に備え付けられたセンサにより得られる温度情報や機器のＯＮ／ＯＦＦ情報などの、光学衛星等の状態を監視して、画像データとともに地上に送られてくる情報が含まれる。
【００４１】
記憶手段１０１は、入力手段１０９から送信される画像データ及び画像データに関する情報を対応付けて格納する。例えば、記憶手段１０１は、画像データとその撮像時刻とを対応付けて記憶する。また、記憶手段１０１は、後述する欠損領域抽出手段１０２が抽出する欠損領域の情報と画像データとを対応付けて記憶する。記憶手段１０１は、例えば、ハードディスクや光磁気ディスク等で構成してもよい。
【００４２】
欠損領域抽出手段１０２は、入力手段１０９から送信される画像データを解析し、画像データのうち、雲等の障害物によって地表面等が遮られ、地表面等を観測できなかった領域（以下、欠損領域という）を抽出する。すなわち、欠損領域抽出手段１０２は、入力手段１０９が受信した画像データが、欠損領域を含む画像データ（以下、欠損画像という）であるか否かを判別する。
【００４３】
地表面を撮像した可視画像において、欠損領域の画素は、地表面の画素と比較して、光の反射率が高くなり、画素値が大きくなる。従って、欠損領域抽出手段１０２は、この光の反射率の違いに基づいて、画像データのうち、画素値の大きな領域を欠損領域として抽出してもよい。また、光学衛星等が地表面を撮像する際に用いる画像センサは、雲やエアロゾルを観測することに特化した観測波長帯を持っている場合がある。この場合、欠損領域抽出手段１０２は、画像データに関する情報に含まれる観測波長帯の情報を用いて、雲等に遮られた欠損領域を抽出してもよい。
【００４４】
また、欠損領域抽出手段１０２は、抽出した欠損領域の位置情報を記憶手段１０１、後述する第１の画像抽出手段１０３、第２の画像抽出手段１０５、第１の変化量抽出手段１０４及び画像復元手段１０７に送信する。また、欠損領域抽出手段１０２は、入力手段１０９から受信した欠損画像に関する情報を、後述する第１の画像抽出手段１０３及び第２の画像抽出手段１０５に送信する。ここで、欠損画像に関する情報は、例えば、欠損画像の撮像時刻等の情報である。
【００４５】
第１の画像抽出手段１０３は、欠損領域抽出手段１０２から受信した欠損領域の位置情報及び欠損画像に関する情報に基づいて、記憶手段１０１に格納されている、欠損画像よりも過去の画像データ（以下、過去画像という）を２つ抽出する。さらに、第１の画像抽出手段１０３は、抽出した過去画像に関する情報を記憶手段１０１から取得する。このとき、抽出する過去画像は、撮像時刻の新しい方から、過去画像３、過去画像４とする。より詳細には、第１の画像抽出手段１０３は、過去画像３及び４の抽出の際、欠損画像と撮像時刻等の撮像条件が近い画像であり、かつ、欠損画像の欠損領域と同じ箇所が欠損していない過去画像３及び４を抽出する。例えば、第１の画像抽出手段１０３は、欠損画像中の欠損領域の位置情報、欠損画像の撮像時刻等の情報、記憶手段１０１に格納されている過去画像の欠損領域の位置情報、過去画像の撮像時刻等の情報に基づき、記憶手段１０１から、欠損画像の欠損領域と同じ箇所が欠損しておらず、かつ、撮像時刻等が近接した過去画像３及び４を抽出する。
【００４６】
また、第１の画像抽出手段１０３は、抽出した過去画像３及び４を後述する第２の画像抽出手段１０５、第１の変化量抽出手段１０４へ送信する。また、第１の画像抽出手段１０３は、過去画像に関する情報を後述する第２の画像抽出手段１０５、第１の変化量抽出手段１０４へ送信する。
【００４７】
図４は、第１の画像抽出手段１０３が抽出する過去画像３及び４の一例を、欠損画像２とともに示している。図４の欠損画像２、過去画像３及び４の一例は、横５画素、縦４画素からなる合計２０画素の画像データである。また、欠損画像２において“×”印で示される画素は、欠損領域２０１である。なお、図４の例の場合、欠損領域２０１は１画素内に収まる大きさであるとする。また、画素中に記した数字については後述する。
【００４８】
図４のように、例えば、欠損画像２の撮像時刻がＴの場合、第１の画像抽出手段１０３は、欠損画像２の撮像時刻Ｔに基づき、撮像時刻Ｔのａ分前に撮像された過去画像３及びＴのｂ分前（なお、ｂ＞ａとする）に撮像された過去画像４を記憶手段１０１から抽出する。すなわち、撮像時刻順に欠損画像２、過去画像３及び４を並べた場合、図４のように、撮像時刻の新しい方から、欠損画像２、過去画像３、過去画像４の順番となる。また、第１の画像抽出手段１０３は、受信した欠損領域の位置情報に基づき、欠損画像２の欠損領域２０１と同じ箇所である画素３０１及び４０１が欠損していない過去画像３及び４を抽出する。
【００４９】
なお、図４の例の場合、第１の画像抽出手段１０３は、欠損画像２の撮像時刻及び欠損領域の位置情報にのみ基づいて、過去画像３及び４を抽出していたが、これに限られない。第１の画像抽出手段１０３は、その他の欠損画像２に関する情報、例えば、撮像に使用した画像センサや気象条件等の情報に基づいて、過去画像３及び４を抽出してもよい。
【００５０】
第１の変化量抽出手段１０４は、欠損領域抽出手段１０２から送信される欠損領域の位置情報と、第１の画像抽出手段１０３から送信される過去画像３及び４と、過去画像３及び４に関する情報とを受信した場合に、欠損画像２における欠損領域の画素（以下、欠損画素という）と対応する過去画像３及び４中の画素の画素値を求め、その画素値変化量（第１の画素値変化量）を抽出する。すなわち、第１の変化量抽出手段１０４は、第１の画像抽出手段１０３によって抽出された複数の過去画像における、欠損画素と同位置である画素の画素値を求め、それらの差分を算出し、欠損画素の第１の画素値変化量を抽出する。
【００５１】
また、第１の変化量抽出手段１０４は、抽出した第１の画素値変化量を第２の画像抽出手段１０５及び画像復元手段１０７に送信する。
【００５２】
先ほど用いた図４を用いて、第１の変化量抽出手段１０４の動作例を説明する。図４において、画素中に記される数字は、その画素の画素値を示している。
【００５３】
第１の変化量抽出手段１０４は、過去画像３における、欠損領域２０１と同位置の画素３０１の画素値“６０”と、過去画像４における、欠損領域２０１と同位置の画素４０１の画素値“１０”とをそれぞれ算出する。第１の変化量抽出手段１０４は、上記算出した画素値に基づき、欠損領域２０１と同位置の画素値変化量、すなわち、欠損領域２０１の第１の画素値変化量“＋５０”を算出する。
【００５４】
第２の画像抽出手段１０５は、欠損領域抽出手段１０２から欠損画像２に関する情報及び欠損領域の位置情報と、第１の画像抽出手段１０３から過去画像３及び４に関する情報と、第１の変化量抽出手段１０４から過去画像３及び４の画素値変化量とを受信した場合に、これらの情報に基づいて、記憶手段１０１から比較画像５、参照画像６及び７を抽出する。また、第２の画像抽出手段１０５は、記憶手段１０１から、比較画像５、参照画像６及び７に関する情報を取得する。第２の画像抽出手段１０５が抽出する画像は、撮像時刻の新しい方から、比較画像５、参照画像６、参照画像７とする。
【００５５】
より詳細には、第２の画像抽出手段１０５は、過去画像３及び４の画素値変化量と、過去画像３及び４の撮像時刻等の情報とに基づいて、過去画像３及び４の画素値変化量と同一の画素値変化量である画素（以下、過去画像３及び４の画素値変化量と同一の画素値変化量である画素を参照画素という）の位置を特定し、参照画素を有する参照画像６及び７と、参照画像６及び７の撮像時刻等の情報とを記憶手段１０１から抽出する。さらに、第２の画像抽出手段１０５は、参照画像６の撮像時刻等の情報と、欠損画像２の撮像時刻等の情報と、欠損領域の位置情報とに基づいて、参照画像６との撮像時刻差が欠損画像２と過去画像３との撮像時刻差と同一となり、かつ、欠損領域と同じ箇所が欠損していない比較画像５及び比較画像５の撮像時刻等の情報を記憶手段１０１から抽出する。
【００５６】
また、第２の画像抽出手段１０５は、抽出した比較画像５、参照画像６及び７と、比較画像５、参照画像６及び７に関する情報と、参照画像６及び７における参照画素の位置情報及びその画素値とを後述する第２の変化量抽出手段１０６へ送信する。
【００５７】
第２の変化量抽出手段１０６は、第２の画像抽出手段１０５が抽出した比較画像５、参照画像６及び７と、比較画像５、参照画像６及び７に関する情報と、参照画素の位置情報とを受信し、比較画像５、参照画像６及び７における参照画素の画素値変化量（以下、第２の画素値変化量という）を抽出する。第２の変化量抽出手段１０６は、抽出した画素値変化量を後述する画像復元手段１０７に送信する。
【００５８】
画像復元手段１０７は、入力手段１０９から欠損画像２と、欠損領域抽出手段１０２から欠損領域の位置情報と、第１の変化量抽出手段１０４から第１の画素値変化量と、第２の変化量抽出手段１０６から第２の画素値変化量とを受信した場合に、これらの情報に基づいて、欠損画素の画素値を推定し、欠損領域の復元を行う。
【００５９】
次に、第２の画像抽出手段１０５、第２の変化量抽出手段１０６、画像復元手段１０７について、さらに詳細に説明する。
【００６０】
まず、図５（ａ）を用いて、第２の画像抽出手段１０５による参照画像６及び７の抽出について説明する。
【００６１】
第２の画像抽出手段１０５は、先に抽出された２つの過去画像３及び４の撮像時刻等の情報と第１の画素値変化量とに基づいて、両画像の撮像時刻差を求め、その時刻差と同一の撮像時刻差である参照画像６及び７を記憶手段１０１から選択するとともに、選択した参照画像６及び７の各画素値を算出し、選択した参照画像６及び７に参照画素が含まれるか否かを判定し、参照画素を含む参照画像６及び７を抽出する。
【００６２】
例えば、図５（ａ）のように、過去画像３の撮像時刻をｔ、過去画像４の撮像時刻とｔのa分前のｔ−ａとする。第２の画像抽出手段１０５は、過去画像３及び４の撮像時刻差を算出し、その撮像時刻差ａと同一の撮像時刻差となる参照画像６及び７を選択する。
【００６３】
図５（ｂ）は、選択した参照画像の判定及び抽出動作について説明したものである。
【００６４】
図５（ｂ）の例の場合、前述したように、第１の変化量抽出手段１０４は、第１の画素値変化量として、“＋５０”（過去画像３の画素３０１の画素値“６０”と過去画像４の画素４０１の画素値“１０”の差分）を算出する。
【００６５】
第２の画像抽出手段１０５は、選択した参照画像６及び７の各画素値を算出する。そして、第２の画像抽出手段１０５は、先に選択した参照画像６及び７に、その画素値変化量が、第１の画素値変化量（“＋５０”）と同一となる参照画素が含まれるか否かを判定する。第２の画像抽出手段１０５は、参照画素が含まれると判定した場合には、判定条件を満たした参照画像６及び７を第２の変化量抽出手段１０６へ送信する。
【００６６】
例えば、図５（ｂ）の例の場合、参照画像６は画素値が“７０”である画素６０１を含み、また、参照画像７は画素６０１と同一位置であり、その画素値が“２０”である画素７０１を含んでいる。これらの画素値変化量（画素値の差分）は“＋５０”となり、第１の画素値変化量と同一となる。すなわち、第２の画像抽出手段１０５は、図５（ｂ）のような参照画像６及び７を選択した場合、参照画素６０１及び７０１が含まれると判定する。
【００６７】
また、第２の画像抽出手段１０５は選択した参照画像６及び７に参照画素６０１及び７０１が存在しないと判定した場合には、記憶手段１０１から、過去画像３及び４と同一の撮像時刻差である別の参照画像６及び７を選択し、参照画素６０１及び７０１を含むか否かの判定及び参照画像６及び７の抽出を再度行う。
【００６８】
以上のように、第２の画像抽出手段１０５が抽出する参照画像６及び７の撮像時刻差は、過去画像３及び４の撮像時刻差と同一となる。さらに、第２の画像抽出手段１０５が抽出する参照画像６及び７は、その画素値の差分が第１の画素値変化量と同一の変化量となる参照画素６０１及び７０１を含む。
【００６９】
次に、第２の画像抽出手段１０５は、欠損画像２及び過去画像３の撮像時刻差を求め、求めた時刻差と同一の撮像時刻差となるように、参照画像６よりも後の時刻に撮像された比較画像５を記憶手段１０１から抽出する。すなわち、抽出される比較画像５と参照画像６との撮像時刻差は、欠損画像２と過去画像３との撮像時刻差と同一となる。
【００７０】
例えば、図６のように、欠損画像２の撮像時刻をＴ、過去画像３の撮像時刻をｔ、過去画像４の撮像時刻を上記ｔのａ分前であるｔ−ａ、参照画像６の撮像時刻をｔ’、参照画像７の撮像時刻を上記ｔ’のａ分前であるｔ’−ａとする。
【００７１】
この場合において、第２の画像抽出手段１０５は、欠損画像２及び過去画像３の撮像時刻差ｘ（＝Ｔ−ｔ）を求め、参照画像６の撮像時刻ｔ’基づき、比較画像５の撮像時刻Ｔ’がｔ’＋ｘとなる比較画像５を抽出する。
【００７２】
次に、第２の画像抽出手段１０５は、抽出した比較画像５の欠損領域と対応する領域（参照画素と対応する画素）が欠損しているか否かを判定する。そして、欠損していないと判定した場合には、抽出した比較画像５、参照画像６及び７を第２の変化量抽出手段へ送信する。なお、欠損していると判定した場合には、再度、別の比較画像５、参照画像６及び７を抽出する。
【００７３】
次に、図６及び図７を用いて、第２の変化量抽出手段１０６及び画像復元手段１０７の動作例を詳細に説明する。
【００７４】
第２の変化量抽出手段１０６は、図６に示すように、参照画素６０１及び７０１の位置情報に基づき、比較画像５における参照画素５０１を特定し、その画素値“３０”を求める。
【００７５】
次に、第２の変化量抽出手段１０６は、比較画像５の参照画素５０１及び参照画像６の参照画素６０１の画素値の差分を算出し、画素値変化量“−４０”を求める。従って、比較画像５、参照画像６及び７における、参照画素５０１、６０１及び７０１の画素値のｔ’−ａ〜Ｔ’間の時間的推移は、図７のようになる。なお、上記例では、第２の変化量抽出手段１０６は、第２の画像抽出手段１０５から受信した参照画素６０１及び７０１の画素値を用いたが、第２の画像抽出手段１０５から参照画素の位置のみを受信し、第２の変化量抽出手段１０６において、再度参照画素６０１及び７０１の画素値を算出することでもよい。
【００７６】
すなわち、比較画像５、参照画像６及び７の参照画素５０１、６０１及び７０１の画素値は、時間変化に伴い、“２０→７０→３０”と変化し、第２の画素値変化量は、“＋５０”、“−４０”となる。
【００７７】
画像復元手段１０７は、上記第２の画素値変化量が、欠損領域２０１の画素値変化量と同一であるとし、欠損領域の画素値の推定を行う。より詳細には、画像復元手段１０７は、参照画素５０１、６０１及び７０１における画素値変化量が画素２０１、３０１及び４０１における画素値変化量と同一であると推定する。
【００７８】
従って、画像復元手段１０７は、図６の場合、画素３０１の画素値“６０”と、比較画像５及び参照画像６の参照画素における第２の画素値変化量“−４０”とに基づき、図７に示すように、欠損領域２０１の画素値は“２０”であると推定し、推定した画素値を欠損領域に適用し、欠損画像２の復元を行う。
【００７９】
上述したように、比較画像５、参照画像６及び７の撮像条件等は、欠損画像２、過去画像３及び４の撮像条件等と近接している。さらに、参照画像６及び７は、その画素値変化量が、第１の画素値変化量と同一である参照画素６０１及び７０１を含んでいる。このため、画像復元手段１０７は、参照画素の画素値変化量に基づき、適切な画像復元を行うことができる。
【００８０】
なお、画像復元手段１０７は、復元した画像を、図示しない表示手段に出力してもよいし、図示しない復元画像記憶手段に格納してもよい。
【００８１】
図８は、本実施形態の画像処理装置１Ｂにおける画像処理のフローチャートを示している。
【００８２】
入力手段１０９は、画像データ及び画像データに関する情報を受信する（Ｓ２０１）。例えば、入力手段１０９は、光学衛星が地球表面を撮像した画像データ及びその画像データに関する情報を受信する。入力手段１０９は、受信した画像データ及び画像データに関する情報を、記憶手段１０１、欠損領域抽出手段１０２及び画像復元手段１０７に送信する。
【００８３】
欠損領域抽出手段１０２は、受信した画像データ及び画像データに関する情報に基づき、該受信した画像データに欠損領域２０１が存在するか否か（すなわち、受信した画像データが欠損画像２であるか否か）を判定する（Ｓ２０２）。欠損領域抽出手段１０２は、画像データの各画素値を算出し、その画素値に基づいて、欠損領域が存在するか否かを判定してもよい。
【００８４】
欠損領域抽出手段１０２が、受信した画像データは欠損画像２でないと判定した場合には（Ｓ２０２、ＮＯ）、画像処理装置１Ｂは画像処理を終了する。
【００８５】
欠損領域抽出手段１０２が、受信した画像データが欠損画像２であると判定した場合には（Ｓ２０２、ＹＥＳ）、欠損領域抽出手段１０２は、欠損画像２中の欠損領域の位置を抽出する（Ｓ２０３）。欠損領域抽出手段１０２は、抽出した欠損領域の位置情報を記憶手段１０１、第１の画像抽出手段１０３、第１の変化量抽出手段１０４、第２の画像抽出手段１０５及び画像復元手段１０７に送信する。また、欠損領域抽出手段１０２は、入力手段１０９から受信した欠損画像２に関する情報を、第１の画像抽出手段１０３及び第２の画像抽出手段１０５に送信する。
【００８６】
第１の画像抽出手段１０３は、受信した欠損領域２０１の位置情報及び欠損画像２に関する情報に基づき、記憶手段１０１から過去画像３、４及び過去画像３、４に関する情報を抽出する（Ｓ２０４）。この過去画像の抽出に際し、第１の画像抽出手段１０３は、欠損画像２と撮像条件等が近接した画像であり、かつ、欠損画像２の欠損領域２０１と同じ箇所が欠損していない過去画像３及び４を抽出する。第１の画像抽出手段１０３は、抽出した過去画像３及び４を第１の変化量抽出手段１０４に送信する。また、第１の画像抽出手段１０３は、過去画像３及び４に関する情報を第１の変化量抽出手段１０４及び第２の画像抽出手段１０５に送信する。
【００８７】
第１の変化量抽出手段１０４は、受信した欠損領域の位置情報と、過去画像３及び４と、過去画像３及び４に関する情報とに基づいて、欠損画素の第１の画素値変化量を求める（Ｓ２０５）。例えば、第１の変化量抽出手段１０４は、欠損領域２０１の位置情報に基づき、過去画像３及び４における、欠損領域２０１の画素と同位置の画素３０１及び４０１の画素値変化量を抽出する。第１の変化量抽出手段１０４は、抽出した第１の画素値変化量を第２の画像抽出手段１０５及び画像復元手段１０７に送信する。
【００８８】
第２の画像抽出手段１０５は、受信した過去画像３及び４に関する情報と、第１の画素値変化量とに基づき、過去画像３及び４の撮像時刻差と同一の撮像時刻差となる参照画像６及び７を記憶手段１０１から選択するとともに、選択した参照画像６及び７にＳ２０５で求めた第１の画素値変化量と同一の変化量である参照画素６０１及び７０１を含むか否かを判定する（Ｓ２０７）。
【００８９】
第２の画像抽出手段１０５が、選択した参照画像６及び７は参照画素６０１及び７０１を含まないと判定した場合（Ｓ２０７、ＮＯ）、参照画像６及び７の選択を再度行う（Ｓ２０６に戻る）。
【００９０】
第２の画像抽出手段１０５が、参照画像６及び７は参照画素６０１及び７０１を含むと判定した場合（Ｓ２０７、ＹＥＳ）、第２の画像抽出手段１０５は、該参照画像６及び７を以降の第２の画素値変化量抽出の際に用いる参照画像として抽出するとともに、該参照画像６及び７に関する情報も記憶手段１０１から取得する。
【００９１】
第２の画像抽出手段１０５は、比較画像５の抽出を行う（Ｓ２０８）。第２の画像抽出手段１０５は、受信した欠損画像２及び過去画像３に関する情報と、欠損領域の位置情報と、Ｓ２０７で取得した参照画像６に関する情報とに基づき、欠損画像２及び過去画像３の撮像時刻差を算出し、抽出する比較画像５と先に選択した参照画像６との撮像時刻差が、算出した撮像時刻差と同一となる比較画像５を抽出する。第２の画像抽出手段１０５は、比較画像５、参照画像６及び７と、比較画像５、参照画像６及び７に関する情報と、参照画素６０１、７０１の位置情報とを第２の変化量抽出手段１０６に送信する。
【００９２】
第２の変化量抽出手段１０６は、受信した比較画像５、参照画像６及び７と、比較画像５、参照画像６及び７とに関する情報と、参照画素６０１及び７０１の位置情報とに基づき、比較画像５、参照画像６及び７における、第２の画素値変化量を抽出する（Ｓ２０９）。より詳細には、第２の変化量抽出手段１０６は、撮像時刻が近接した２つの参照画像における、参照画素の画素値に基づき、第２の画素値変化量を算出する。第２の変化量抽出手段１０６は、算出した第２の画素値変化量を画像復元手段１０７に送信する。
【００９３】
そして、画像復元手段１０７は、受信した第１の画素値変化量と、第２の画素値変化量と、欠損領域の位置情報と、欠損画像２とに基づき、欠損画素の画素値を推定し、画像の復元を行い、復元した画像を生成する（Ｓ２１０）。
【００９４】
なお、本実施形態においては、第１の画像抽出手段１０３及び第２の画像抽出手段１０５はそれぞれ、過去画像を２つ、参照画像を３つ抽出するようにしたが、これよりも多くの画像を抽出するようにしてもよい。
【００９５】
また、本実施形態においては、欠損領域の大きさは１画素内に収まる大きさとしたが、欠損領域が複数の画素にわたる場合、画像処理装置１Ｂは、欠損画素１つ１つに上述した画像処理を施すことにより、画像復元を行う。また、欠損領域が複数ある場合、画像処理装置１Ｂは、各欠損領域１つ１つに上述した画像処理を施すことにより、画像復元を行う。
【００９６】
また、本実施形態の図５（ｂ）の例では、画素３０１及び画素４０１の画素対と、参照画素６０１及び参照画素７０１の画素対との位置が同位置であり、かつ、その画素値変化量が同一である場合の例を示した。この例のような参照画像６及び７を抽出した場合、後述する画像復元手段１０７は、欠損領域２０１と同一箇所の画素値変化量に基づき、画素値変化量を推定することができるため、画像復元をより正確に行うことができる。
【００９７】
また、例えば、図９のように、第１の画素値変化量が同一であれば、画素３０１及び画素４０１の画素対と、参照画素６０１及び参照画素７０１の画素対との位置が同一でなくてもよく、第２の画像抽出手段１０５は、このような参照画像６及び７を抽出してもよい。
【００９８】
また、第２の画像抽出手段１０５は、上記判定条件を満たす参照画像を複数抽出した場合、図５（ｂ）のような参照画像を、図９のような参照画像よりも優先して抽出するようにしてもよい。
【００９９】
また、第２の画像抽出手段１０５は、上記判定条件を満たす参照画像を複数抽出した場合、第１の画素値変化量を求めた過去画像３及び４の画素３０１及び４０１と同一の画素値である参照画素を含む参照画像を抽出するようにしてもよい。例えば、図１０のように、参照画像６及び参照画像７、参照画像８及び参照画像９の２つの参照画像対はどちらも、第１の画素値変化量と同一の画素値変化量となる参照画素６０１及び７０１、参照画素８０１及び参照画素９０１を含んでいる。このとき、第２の画像抽出手段１０５は、過去画像の画素３０１及び４０１の画素対と同一の画素値である参照画素８０１及び参照画素９０１の画素対を含む参照画像８及び９を参照画像として抽出する。
【０１００】
また、本実施形態においては、第２の画像抽出手段１０５は、その画素値の差分が、過去画像の画素値変化量と同一の画素値変化量となる参照画素を有する参照画像を抽出していたが、これに限るものではない。例えば、第２の画像抽出手段１０５は、所定の誤差の閾値を用いて、同程度の画素値変化となる参照画素を含む参照画像であるか否かを判定し、参照画像を抽出するようにしてもよい。例えば、第２の画像抽出手段１０５は、誤差５％の範囲内は、同一の画素値変化量であると判定し、参照画像を抽出してもよい。
【０１０１】
また、本実施形態においては、第１の画像抽出手段１０３は、過去画像３及び４の撮像時刻差と同一となるように、参照画像６及び７を抽出し、また、欠損画像２及び過去画像３の撮像時刻差と同一となるように、比較画像５及び参照画像６を抽出していたが、これに限るものではない。例えば、第１の画像抽出手段１０３は、所定の誤差の閾値を用いて、同程度の撮像時刻差となる画像データを抽出してもよい。例えば、第１の画像抽出手段１０３は、誤差５％の範囲内は、同一の撮像時刻差であると判定し、画像データの抽出を行ってもよい。
【０１０２】
また、本実施形態においては、入力された欠損画像２に対し、過去画像を用いての欠損復元を行ったが、これに限られない。例えば、記憶手段１０１に格納されている画像データ（すなわち、過去に撮像され、記憶手段１０１に格納されている欠損画像２）に対して同様の方法で画像の復元を行ってもよい。また、この場合、復元を行う欠損画像２よりも後に撮像された画像データ等を利用して、画像復元を行ってもよい。例えば、欠損画像２の撮像時刻Ｔとした場合、撮像時刻がそれぞれＴ＋ａ、Ｔ＋ｂ（ａ＜ｂとする）である画像データを用いて、上記と同様の方法に基づき画像復元を行うことができる。
【０１０３】
また、本実施形態の画素値の変化量は、画素値の差分で表すこととしたが、これに限らず、画素値の組で表現してもよい。
【０１０４】
従って、第２の実施形態によれば、画像処理装置１Ｂは、画像データの欠損を適切に復元することができる。より詳細には、第２の実施形態の画像処理装置１Ｂは、欠損画素の画素値を過去の画素値変化に基づいて推定することができ、欠損画像２の適切な復元を行うことができる。
【０１０５】
本実施形態の第１の変化量抽出手段１０４及び第２の変化量抽出手段１０６は、複数の画像データを比較し、画像データの画素の画素値に基づき、画素値変化量を抽出する。ここで、画素値変化量とは、画像センサによる観測対象の色変化に伴った画素値の変化量を意味している。例えば、紅葉する樹木を観測対象とした場合、紅葉前の画素は緑であるが、紅葉後の画素は赤となり、その画素値に変化が生ずる。従って、第１の変化量抽出手段１０４及び第２の変化量抽出手段１０６は、このような色変化に伴う画素値及びその変化量を抽出する。
【０１０６】
例えば、紅葉する樹木を例にとって説明する。葉色が緑色→黄色→赤色と変化する樹木について、雲等により画素が欠損し、葉色が赤色となった樹木が観測できない場合でも、過去画像から、同様に紅葉する樹木を見つけ出し、欠損領域を復元することができる。すなわち、過去画像から、同様に紅葉する樹木を見つけ出すことで、緑色→黄色→赤色の変化を推定することができ、欠損した画素が過去に緑色→黄色と変化したという情報に基づき、欠損領域を赤色に適切に復元することができる。
【０１０７】
＜第３の実施形態＞
本願発明の第３の実施形態について説明する。
【０１０８】
第２の実施形態の画像処理装置１Ｂは、画素単位で画素値変化量を抽出していたが、第３の実施形態の画像処理装置１Ｃは、画素単位で画素値変化量を抽出するのではなく、地上分類情報に基づき、分類ごとの画素値変化量を抽出する。地上分類情報による地上分類結果が同一地上分類となる画素は、同様の画素値変化をすることが考えられる。従って、第３の実施形態の画像処理装置１Ｃは、地上分類結果に基づいた分類単位で画素値変化量を抽出し、地上分類結果と整合をとるように、欠損画像の復元を行う。
【０１０９】
第３の実施形態の画像処理装置１Ｃの構成は、本発明の第２の実施形態の画像処理装置１Ｂと同様であるため説明を省略する。
【０１１０】
第１の変化量抽出手段１０４Ｃは、第１の画像抽出手段１０３が抽出した過去画像３及び４に基づき、過去画像３及び４の画素ごとの画素値変化量を抽出する。次に、第１の変化量抽出手段１０４Ｃは、抽出した画素ごとの画素値変化量を用いて、クラスタリングを行い、画素値変化量が類似した画素をひとつのクラスタに分類する。
【０１１１】
クラスタリングの手法は、例えば、ｋ−ｍｅａｎｓ法を用いることにしてもよい。ｋ−ｍｅａｎｓ法は、定めたクラスタ数に各標本点を振り分ける手法であり、クラスタ重心と各標本点との距離が他のクラスタ重心との距離よりも小さくなるようにクラスタリングを行う。ｋ−ｍｅａｎｓ法は、以下の評価関数を最小化するように各標本点の振り分けを更新する。
0006358005.tif 000002
【０１１２】
ここで、ｘは標本点、ｋは全クラスタ数、Ｃiはｉ番目のクラスタ、ｃｉはｉ番目のクラスタの重心点、ｄ（ｘ，ｃｉ）はｘとｃｉとの距離を求める関数である。
【０１１３】
図１１を用いて、第１の変化量抽出手段１０４Ｃによるクラスタリングを説明する。図１１において、欠損画像２、過去画像３及び４は、横３画素、縦２画素の合計６画素からなる画像データとする。また、欠損画像２において“×”印で示される画素は、欠損領域２０１である。なお、図１１の例の場合、欠損領域２０１は１画素内に収まる大きさであるとする。従って、この場合、欠損領域２０１は欠損画素を示している。また、各画像データの撮像時刻は、撮像時刻の新しい方から順に、欠損画像２、過去画像３、過去画像４とする。
【０１１４】
第１の変化量抽出手段１０４Ｃは、過去画像３及び４の各画素値に基づき、画素値変化量を算出する。例えば、図１１のように、第１の変化量抽出手段１０４Ｃは、過去画像３の画素３０２の画素値と、過去画像４の画素４０２の画素値との差分に基づき、画素値変化量を算出する。第１の変化量抽出手段１０４Ｃはこの動作を残りの５画素すべてに行う。さらに、第１の変化量抽出手段１０４Ｃは、算出した画素値変化量に基づき、各画素のクラスタリングを行う。例えば、図１１の例では、画素３０２〜画素３０４及び４０２〜画素４０４はクラス１に分類され、画素３０５〜画素３０７及び画素４０５〜画素４０７はクラス２に分類された場合を示している。
【０１１５】
このようにして、第１の変化量抽出手段１０４Ｃは、画素値変化量が類似した画素を同じクラスとなるようクラスタリングし、地上分類を行う。
【０１１６】
なお、第１の変化量抽出手段１０４Ｃはｋ−ｍｅａｎｓ法によるクラスタリングに基づき、地上分類を行ったが、その他のクラスタリング手法を用いて地上分類を行ってもよい。また、第１の変化量抽出手段１０４Ｃは、地上分類に関する情報を外部から受信するようにしてもよい。例えば、国土地理院が発行している土地利用図や植生図等の情報を受信し、これらの分類に基づき地上分類を行ってもよい。さらに、第１の変化量抽出手段１０４Ｃは、上記クラスタリングによる地上分類と、上記外部から得られる地上分類情報とを組み合わせて利用することにより、より詳細な地上分類を行ってもよい。
【０１１７】
次に、第１の変化量抽出手段１０４Ｃは、クラスごとに基準となる画素値変化量を抽出する。例えば、クラスに含まれる画素の画素値変化量の平均値を求め、基準となる画素値変化量としてもよい。例えば、図１１の場合、画素３０２及び画素４０２の画素値の差分と、画素３０３及び画素４０３の画素値の差分と、画素３０４及び画素４０４の画素値の差分との平均値を求め、基準となる画素値変化量を求める。
【０１１８】
そして、第１の変化量抽出手段１０４Ｃは、過去画像における、欠損領域２０１と同位置の画素を含むクラスの画素値変化量を当該欠損画素の第１の画素値変化量とする。例えば、図１１のように、地上分類の結果、過去画像３における画素３０２〜画素３０４及び過去画像４における画素４０２〜画素４０４がクラス１、過去画像３における画素３０５〜画素３０７及び過去画像４における画素４０５〜画素４０７がクラス２と分類された場合を考える。この場合、第１の変化量抽出手段１０４Ｃは、過去画像３及び４における、欠損領域２０１と同位置の画素３０６及び画素４０６を含むクラス２の平均画素値変化量を、第１の画素値変化量と決定する。
【０１１９】
第３の実施形態に係る画像処理装置１Ｃの以降の動作は、第２の実施形態と同様であるため説明を省略する。
【０１２０】
以上のように、第３の実施形態の画像処理装置１Ｃは、欠損画素の画素値を過去の画素値変化に基づいて推定することができ、欠損画像２の適切な復元を行うことができる。さらに、第３の実施形態の画像処理装置１Ｃは、地上分類結果に基づいて分類単位で第１の画素値変化量を算出し、算出した画素値変化量に基づき画像復元を行うことで、地上分類結果と整合のとれた、欠損画像２の復元をより適切に行うことができる。
【０１２１】
以上、本発明の各実施形態を説明したが、本発明は、上記した各実施形態に限定されるものではない。本発明は、各実施形態の変形・置換・調整に基づいて実施できる。すなわち、本発明は、本明細書の全ての開示内容、技術的思想に従って実現できる各種変形、修正を含む。なお、各図面に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。
【０１２２】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１２３】
（付記１）
画像データを格納する記憶手段と、
欠損領域を含む欠損画像データから、前記欠損領域を抽出する欠損領域抽出手段と、
前記欠損領域に対応する領域が欠損していない複数の対応画像データを前記記憶手段から抽出する第１の画像抽出手段と、
前記抽出した複数の対応画像データの前記欠損領域に対応する領域の第１の画素値変化量を抽出する第１の変化量抽出手段と、
前記記憶手段から、前記複数の対応画像データ間の撮像時間差と同等の撮像時間差を有するとともに、画素値変化量が前記第１の画素値変化量と同等である領域を有する複数の参照画像データを抽出し、前記対応画像データと前記欠損画像データとの撮像時間差と同等の撮像時間差となる、前記参照画像データに対応する比較画像データを抽出する第２の画像抽出手段と、
前記複数の参照画像データ及び前記比較画像データにおいて、前記第１の画素値変化量と同等の画素値変化量となる領域の第２の画素値変化量を抽出する第２の変化量抽出手段と、
前記第１の画素値変化量及び前記第２の画素値変化量に基づき、前記欠損領域を復元する画像復元手段と、
を備えることを特徴とする画像処理装置。
【０１２４】
（付記２）
前記第１の画像抽出手段は、前記欠損画像データの撮像条件と同等である前記複数の対応画像データを抽出することを特徴とする付記１記載の画像処理装置。
【０１２５】
（付記３）
前記第１の変化量抽出手段は、前記複数の対応画像データにおける、前記欠損領域と同一箇所の画素値の差分を算出し、前記第１の画素値変化量を抽出することを特徴とする付記１または２に記載の画像処理装置。
【０１２６】
（付記４）
前記第１の変化量抽出手段は、前記複数の対応画像データの画素値の差分を画素ごとに算出し、前記対応画像データの画素を、前記算出した画素値の差分に基づき分類し、前記分類に基づき、前記第１の画素値変化量を抽出することを特徴とする付記１乃至３のいずれか１項に記載の画像処理装置。
【０１２７】
（付記５）
前記第１の変化量抽出手段は、前記複数の対応画像データにおける、前記欠損領域の画素と同一箇所の画素を含む前記分類内の画素値の差分に基づき、前記第１の画素値変化量を抽出することを特徴とする付記４に記載の画像処理装置。
【０１２８】
（付記６）
前記第２の画像抽出手段は、前記欠損領域と同一箇所の画素値変化量が、前記第１の画素値変化量と同等である領域を有する前記複数の参照画像データを抽出することを特徴とする付記１乃至５のいずれか１項に記載の画像処理装置。
【０１２９】
（付記７）
前記第２の画像抽出手段は、前記参照画像における、前記欠損領域と同一箇所の画素値と、前記対応画像における、前記欠損領域と同一箇所の画素値とが同一となるように、前記複数の参照画像データを抽出することを特徴とする付記１乃至６のいずれか１項に記載の画像処理装置。
【０１３０】
（付記８）
前記第２の変化量抽出手段は、前記複数の参照画像データ及び前記比較画像データにおける画素値の差分に基づき、前記第２の画素値変化量を抽出することを特徴とする付記１乃至７のいずれか１項に記載の画像処理装置。
【０１３１】
（付記９）
欠損領域を含む欠損画像データから、前記欠損領域を抽出し、
前記欠損領域に対応する領域が欠損していない複数の対応画像データを抽出し、
前記抽出した複数の対応画像データの前記欠損領域に対応する領域の第１の画素値変化量を抽出し、
前記複数の対応画像データ間の撮像時間差と同等の撮像時間差を有するとともに、画素値変化量が前記第１の画素値変化量と同等である領域を有する複数の参照画像データを抽出し、
前記対応画像データと前記欠損画像データとの撮像時間差と同等の撮像時間差となる、前記参照画像データに対応する比較画像データを抽出し、
前記複数の参照画像データ及び前記比較画像データにおいて、前記第１の画素値変化量と同等の画素値変化量となる領域の第２の画素値変化量を抽出し、
前記第１の画素値変化量及び前記第２の画素値変化量に基づき、前記欠損領域を復元することを特徴とする画像処理方法。
【０１３２】
（付記１０）
前記欠損画像データの撮像条件と同等である前記複数の対応画像データを抽出することを特徴とする付記９記載の画像処理方法。
【０１３３】
（付記１１）
前記複数の対応画像データにおける、前記欠損領域と同一箇所の画素値の差分を算出し、前記第１の画素値変化量を抽出することを特徴とする付記９または１０に記載の画像処理方法。
【０１３４】
（付記１２）
前記複数の対応画像データの画素値の差分を画素ごとに算出し、前記対応画像データの画素を、前記算出した画素値の差分に基づき分類し、前記分類に基づき、前記第１の画素値変化量を抽出することを特徴とする付記９乃至１１のいずれか１項に記載の画像処理方法。
【０１３５】
（付記１３）
前記複数の対応画像データにおける、前記欠損領域の画素と同一箇所の画素を含む前記分類内の画素値の差分に基づき、前記第１の画素値変化量を抽出することを特徴とする付記１２に記載の画像処理方法。
【０１３６】
（付記１４）
前記欠損領域と同一箇所の画素値変化量が、前記第１の画素値変化量と同等である領域を有する前記複数の参照画像データを抽出することを特徴とする付記９乃至１３のいずれか１項に記載の画像処理方法。
【０１３７】
（付記１５）
前記参照画像における、前記欠損領域と同一箇所の画素値と、前記対応画像における、前記欠損領域と同一箇所の画素値とが同一となるように、前記複数の参照画像データを抽出することを特徴とする付記９乃至１４のいずれか１項に記載の画像処理方法。
【０１３８】
（付記１６）
前記複数の参照画像データ及び前記比較画像データにおける画素値の差分に基づき、前記第２の画素値変化量を抽出することを特徴とする付記９乃至１５のいずれか１項に記載の画像処理方法。
【０１３９】
（付記１７）
画像処理装置のコンピュータに、
欠損領域を含む欠損画像データから、前記欠損領域を抽出し、
前記欠損領域に対応する領域が欠損していない複数の対応画像データを抽出し、
前記抽出した複数の対応画像データの前記欠損領域に対応する領域の第１の画素値変化量を抽出し、
前記複数の対応画像データ間の撮像時間差と同等の撮像時間差を有するとともに、画素値変化量が前記第１の画素値変化量と同等である領域を有する複数の参照画像データを抽出し、
前記対応画像データと前記欠損画像データとの撮像時間差と同等の撮像時間差となる、前記参照画像データに対応する比較画像データを抽出し、
前記複数の参照画像データ及び前記比較画像データにおいて、前記第１の画素値変化量と同等の画素値変化量となる領域の第２の画素値変化量を抽出し、
前記第１の画素値変化量及び前記第２の画素値変化量に基づき、前記欠損領域を復元することを実行させることを特徴とする画像処理装置のプログラム。
【０１４０】
（付記１８）
前記欠損画像データの撮像条件と同等である前記複数の対応画像データを抽出することを特徴とする付記１７記載の画像処理装置のプログラム。
【０１４１】
（付記１９）
前記複数の対応画像データにおける、前記欠損領域と同一箇所の画素値の差分を算出し、前記第１の画素値変化量を抽出することを特徴とする付記１７または１８に記載の画像処理装置のプログラム。
【０１４２】
（付記２０）
前記複数の対応画像データの画素値の差分を画素ごとに算出し、前記対応画像データの画素を、前記算出した画素値の差分に基づき分類し、前記分類に基づき、前記第１の画素値変化量を抽出することを特徴とする付記１７乃至１９のいずれか１項に記載の画像処理装置のプログラム。
【０１４３】
（付記２１）
前記複数の対応画像データにおける、前記欠損領域の画素と同一箇所の画素を含む前記分類内の画素値の差分に基づき、前記第１の画素値変化量を抽出することを特徴とする付記２０に記載の画像処理装置のプログラム。
【０１４４】
（付記２２）
前記欠損領域と同一箇所の画素値変化量が、前記第１の画素値変化量と同等である領域を有する前記複数の参照画像データを抽出することを特徴とする付記１７乃至２１のいずれか１項に記載の画像処理装置のプログラム。
【０１４５】
（付記２３）
前記参照画像における、前記欠損領域と同一箇所の画素値と、前記対応画像における、前記欠損領域と同一箇所の画素値とが同一となるように、前記複数の参照画像データを抽出することを特徴とする付記１７乃至２２のいずれか１項に記載の画像処理装置のプログラム。
【０１４６】
（付記２４）
前記複数の参照画像データ及び前記比較画像データにおける画素値の差分に基づき、前記第２の画素値変化量を抽出することを特徴とする付記１７乃至２３のいずれか１項に記載の画像処理装置のプログラム。
【符号の説明】
【０１４７】
１  画像処理装置
１０１  記憶手段
１０２  欠損領域抽出手段
１０３  第１の画像抽出手段
１０４  第１の変化量抽出手段
１０５  第２の画像抽出手段
１０６  第２の変化量抽出手段
１０７  画像復元手段
１０８  制御手段
１０９  入力手段
２  欠損画像
２０１  欠損領域
３、４  過去画像
３０１、３０２、３０３、３０４、３０５、３０６、３０７、４０１、４０２、４０３、４０４、４０５、４０６、４０７  画素
５  比較画像
６、７、８、９  参照画像
５０１、６０１、７０１、８０１、９０１  参照画素
【図１】
0006358005.tif 000003
【図２】
0006358005.tif 000004
【図３】
0006358005.tif 000005
【図４】
0006358005.tif 000006
【図５】
0006358005.tif 000007
【図６】
0006358005.tif 000008
【図７】
0006358005.tif 000009
【図８】
0006358005.tif 000010
【図９】
0006358005.tif 000011
【図１０】
0006358005.tif 000012
【図１１】
0006358005.tif 000013