(57)【要約】【課題】衛星画像からの変化抽出を適切に行うためには、衛星画像をその画像の内容に合わせて適切な分割を行う必要がある。【解決手段】差分画像生成部と差分画像生成部で生成する差分画像を得るために比較する画像を得るための画像分割部とを有し、画像分割部は、衛星画像を分割し所定サイズの第１ブロック画像群を得る第１ブロック画像群生成処理部（S3a, S3b）と、第１ブロック画像のそれぞれをクラス分けするクラス分け処理部（S4a, S4b）と、第１ブロック画像のクラスに基づき、第１ブロック画像を分割し、あるいは第１ブロック画像と隣接する第１ブロック画像に結合することにより第２ブロック画像群を得る第２ブロック画像群生成処理部（S5a, S5b）とを有し、差分画像生成部において、第２ブロック画像に相当する領域に対して複数の衛星画像の差分画像を生成する。【選択図】図１Ａ
2018097506.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサと、
メモリと、
上記メモリに読み込まれ、上記プロセッサにより実行される変化抽出プログラムとを有し、
上記変化抽出プログラムは、差分画像生成部と上記差分画像生成部で生成する差分画像を得るために比較する画像を得るための画像分割部とを有し、
上記画像分割部は、第１解像度の衛星画像を分割し所定サイズの第１ブロック画像群を得る第１ブロック画像群生成処理部と、
上記第１ブロック画像群に属する第１ブロック画像のそれぞれを、テクスチャ、植生指数、標高のうちいずれか一つまたは複数に基づきクラス分けするクラス分け処理部と、
上記第１ブロック画像のクラスに基づき、上記第１ブロック画像を分割し、あるいは上記第１ブロック画像と隣接する第１ブロック画像に結合することにより第２ブロック画像群を得る第２ブロック画像群生成処理部とを有し、
上記差分画像生成部において、上記第２ブロック画像群生成処理部で生成した第２ブロック画像に相当する領域に対して複数の衛星画像の差分画像を生成する衛星画像処理システム。
【請求項２】
請求項１において、
上記第１ブロック画像群に属する上記第１ブロック画像のうち、テクスチャの一様性が所定値以上の第１ブロック画像を隣接する第１ブロック画像に結合することにより第２ブロック画像とする衛星画像処理システム。
【請求項３】
請求項１において、
第１クラスの上記第１ブロック画像を第１サイズに分割し、第２クラスの上記第１ブロック画像を上記第１サイズよりも小さい第２サイズに分割することにより第２ブロック画像とする場合において、
上記第２クラスとして定義される標高は、上記第１クラスとして定義される標高よりも高い衛星画像処理システム。
【請求項４】
請求項１において、
第１クラスの上記第１ブロック画像を第１サイズに分割し、第２クラスの上記第１ブロック画像を上記第１サイズよりも小さい第２サイズに分割することにより第２ブロック画像とする場合において、
上記第２クラスとして定義される植生指数は、上記第１クラスとして定義される植生指数よりも高い衛星画像処理システム。
【請求項５】
請求項１において、
第１クラスの上記第１ブロック画像を第１サイズに分割し、第２クラスの上記第１ブロック画像を上記第１サイズよりも小さい第２サイズに分割することにより第２ブロック画像とする場合において、
上記第２クラスとして定義されたテクスチャは、上記第１クラスとして定義されたテクスチャよりも一様性が低い衛星画像処理システム。
【請求項６】
請求項１において、
上記変化抽出プログラムはさらに変化抽出部を有し、
上記変化抽出部は、上記差分画像に基づき上記第１解像度よりも高い第２解像度の衛星画像から切り出された第３ブロック画像に深層学習を適用した画像認識を行う衛星画像処理システム。
【請求項７】
請求項６において、
上記画像認識に使用する教師データを格納する教師データデータベースと、
上記メモリに読み込まれ、上記プロセッサにより実行される自動学習プログラムとをさらに有し、
上記自動学習プログラムは、上記画像認識の結果についてのユーザからのフィードバックを受けて上記教師データデータベースに格納される教師データを更新するデータベース更新部を有する衛星画像処理システム。
【請求項８】
請求項７において、
上記画像認識に使用する認識器の学習モデルを格納する学習モデルデータベースをさらに有し、
上記自動学習プログラムは、所定回数以上の上記教師データの更新が行われたタイミングで上記学習モデルを更新する学習モデル更新部を有する衛星画像処理システム。
【請求項９】
請求項７において、
上記第１ブロック画像のクラスごとに、上記第２ブロック画像群を得るために上記第１ブロック画像を分割する分割サイズと、上記差分画像生成部において上記差分画像を生成するときに適用する差分抽出アルゴリズム情報とを有するクラス定義テーブルを格納するクラスデータベースをさらに有し、
上記自動学習プログラムは、上記画像認識の結果についてのユーザからのフィードバックを受けて上記クラスデータベースに格納される上記クラス定義テーブルを更新するデータベース更新部を有する衛星画像処理システム。
【請求項１０】
第１解像度の第１衛星画像を分割し、所定サイズの上記第１衛星画像の第１ブロック画像群を生成し、
第１解像度の第２衛星画像を分割し、所定サイズの上記第２衛星画像の第１ブロック画像群を生成し、
上記第１衛星画像の上記第１ブロック画像群に属する第１ブロック画像及び上記第２衛星画像の上記第１ブロック画像群に属する第１ブロック画像のそれぞれを、テクスチャ、植生指数、標高のうちいずれか一つまたは複数に基づきクラス分けし、
上記第１ブロック画像のクラスに基づき、上記第１ブロック画像を分割し、あるいは上記第１ブロック画像と隣接する第１ブロック画像に結合することにより、上記第１衛星画像の第２ブロック画像群及び上記第２衛星画像の第２ブロック画像群を生成し、
上記第１衛星画像の上記第２ブロック画像群に属する第２ブロック画像Ａ及び上記第２衛星画像の上記第２ブロック画像群に属する第２ブロック画像Ｂにつき、上記第１解像度よりも高い第２解像度の上記第１衛星画像の上記第２ブロック画像Ａに相当する領域と上記第２解像度の上記第２衛星画像の上記第２ブロック画像Ｂに相当する領域との間の差分画像を生成する衛星画像処理方法。
【請求項１１】
請求項１０において、
上記第１解像度の上記第１衛星画像は、上記第２解像度の上記第１衛星画像の解像度を落として生成した衛星画像であり、
上記第１解像度の上記第２衛星画像は、上記第２解像度の上記第２衛星画像の解像度を落として生成した衛星画像である衛星画像処理方法。
【請求項１２】
請求項１０において、
上記第１ブロック画像群に属する上記第１ブロック画像のうち、テクスチャの一様性が所定値以上の第１ブロック画像を隣接する第１ブロック画像に結合することにより第２ブロック画像とする衛星画像処理方法。
【請求項１３】
請求項１０において、
異なるクラスの上記第１ブロック画像を異なるサイズに分割することにより第２ブロック画像とする衛星画像処理方法。
【請求項１４】
請求項１０において、
上記差分画像に基づき切り出された上記第２解像度の上記第１衛星画像の第３ブロック画像Ａ及び上記差分画像に基づき切り出された上記第２解像度の上記第２衛星画像の第３ブロック画像Ｂのそれぞれに深層学習を適用した画像認識を行う衛星画像処理方法。
【請求項１５】
請求項１４において、
上記第３ブロック画像Ａ及び上記第３ブロック画像Ｂの上記画像認識の結果についてのユーザからのフィードバックを受けて上記画像認識に用いる教師データデータベースに格納される教師データを更新し、所定回数以上の上記教師データの更新が行われたタイミングで上記画像認識に使用する認識器の学習モデルを更新する衛星画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は衛星画像処理システム及び方法に関する。
【背景技術】
【０００２】
衛星画像からの変化抽出技術は、同一地域において地上の被覆状況の変化を観測したり、従来なかった地物が新たに出現したことを広域にわたって観測したりすることを可能とする。膨大な衛星画像から意味のある情報を手に入れるには画像処理が欠かせない。
【０００３】
衛星画像の前処理として、クラスタリングを施して近似した領域ごとに分割する手法が検討されてきた。特許文献１では衛星画像をブロック単位で区切り、テクスチャによってクラス分けし、隣接ブロックと類似クラスをもつブロックを連結させるクラスタリングによって画像内分割する手法を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１９６７０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
発明者らは複数の衛星画像から変化を抽出する精度を向上させるため、深層学習の適用を検討した。画像認識分野において、教師付き学習を利用した深層学習、特に畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）による画像認識は大きな成果を挙げている。衛星画像から、特定の目標物を高精度に抽出したい、あるいは同一地物の季節変化による輝度値の変化を変化としては認識したくない場合などに、深層学習を利用した画像認識手法が効果的と考えられる。
【０００６】
ＣＮＮではブロックに区切られた画像から目標物体を認識するため、最初に衛星画像を適切なブロック画像に区切る処理が必要になってくる。衛星画像は非常に巨大な画像であるから、画像全体を網羅的にブロック区切りにしてＣＮＮで認識をするのは効率が悪い。さらに、目標物体のサイズが既知ではない場合、サイズを変えたブロックごとに探索を繰り返す必要もありさらに効率が悪化する。
【０００７】
このため、衛星画像からの変化抽出を抽出するために深層学習を適用するのは、まず変化が生じていそうなブロック画像を適切に抽出することが前提となる。衛星画像から被覆分類や物体認識をする場合には、特許文献１のように領域ごとに分割することは有効である。しかしながら、このようにして分割した領域が、画像比較（差分抽出）に適したブロックとは限らない。例えば、テクスチャが複雑かつ大きなブロックは画像合わせが困難であり、テクスチャが一様なブロックはわずかな変化を変化として誤抽出する可能性が高いといった問題があるためである。したがって、衛星画像からの変化抽出を適切に行うためには、衛星画像をその画像の内容に合わせて適切な分割を行う必要がある。
【課題を解決するための手段】
【０００８】
プロセッサと、メモリと、メモリに読み込まれ、プロセッサにより実行される変化抽出プログラムとを有し、変化抽出プログラムは、差分画像生成部と差分画像生成部で生成する差分画像を得るために比較する画像を得るための画像分割部とを有し、画像分割部は、第１解像度の衛星画像を分割し所定サイズの第１ブロック画像群を得る第１ブロック画像群生成処理部と、第１ブロック画像群に属する第１ブロック画像のそれぞれを、テクスチャ、植生指数、標高のうちいずれか一つまたは複数に基づきクラス分けするクラス分け処理部と、第１ブロック画像のクラスに基づき、第１ブロック画像を分割し、あるいは第１ブロック画像と隣接する第１ブロック画像に結合することにより第２ブロック画像群を得る第２ブロック画像群生成処理部とを有し、差分画像生成部において、第２ブロック画像群生成処理部で生成した第２ブロック画像に相当する領域に対して複数の衛星画像の差分画像を生成する。
【発明の効果】
【０００９】
衛星画像をその画像の内容に合わせて適切な分割を行い、差分画像の生成を行うことにより、画像認識精度を高めることができる。
【図面の簡単な説明】
【００１０】
【図１Ａ】本実施例の処理フローを示す図である。
【図１Ｂ】本実施例の処理フローを示す図である。
【図２】本実施例のハードウェア構成である。
【図３】記憶装置４１２に格納されるデータとプログラムである。
【図４】本実施例で処理される衛星画像の例である。
【図５】クラスデータベース２０３に格納されるクラス定義テーブルの例である。
【図６】自動学習処理フローを示す図である。
【発明を実施するための形態】
【００１１】
同一地点を観測した撮影条件の異なる複数の衛星画像について、深層学習を適用して変化を抽出する手順について説明する。撮影条件とは衛星の撮影角度、撮影時期、センサ性能、解像度等である。例えば撮影角度が異なれば同じ地物であっても異なった見え方で撮影され、撮影時期が異なると衛星画像間の輝度の差となって現れる。
【００１２】
図２は本実施例を実現するためのシステムのハードウェア構成を図６に示す。本実施例の衛星画像の変化を抽出するプログラム、及び衛星画像等の画像データ、その他画像処理に必要なデータは記憶装置４１２に格納されている。キーボード、マウスに代表されるユーザインタフェース４１６を通じて、本実施例のシステムはユーザの指示を受けつける。プロセッサ４１３は、ユーザの指示を受けて記憶装置４１２から必要なプログラム、画像データをメモリ４１５に読み込み、当該プログラムを実行する。なお、衛星画像は通常大規模な画像データであるため、高速な画像処理演算が必要な場合にはグラフィックプロセッサ４１４のメモリに画像データを転送し、その演算サポートを使用する。表示装置４１１は、本実施例の画像処理前後の画像を表示するディスプレイである。これらはバス４１７を通じて接続されている。
【００１３】
なお、図２は代表的なハードウェア構成を示したにすぎず、さまざま変形が可能であることはいうまでもない。例えば、プログラムや画像データは複数の記憶装置に格納されていてもよい。あるいは、ネットワークインタフェースを備えてシステム外部の記憶装置に接続し、プログラムや画像データがシステム外部の記憶装置に格納されていてもよい。同様に、外部端末より、ネットワークを介してユーザがシステムにアクセス可能にしてもよい。
【００１４】
図３に、記憶装置４１２に格納されるデータとプログラムとを示す。記憶装置４１２には、データとして、衛星画像を格納する衛星画像データベース（ＤＢ）２０１、地表面の標高を示すＤＥＭ（数値標高モデル：Digital Elevation Model）データを格納するＤＥＭデータベース２０２、後述するクラス分類基準を格納するクラスデータベース２０３、深層学習を適用して差分画像を抽出するための教師データを格納する教師データデータベース２０４、ニューラルネットワークの認識器の結合状態を格納する学習モデルデータベース２０５が格納されている。
【００１５】
また、記憶装置４１２には、プログラムとして、変化抽出プログラム１０１と自動学習プログラム１０２が格納されている。変化抽出プログラム１０１は、画像分割部１１１、差分画像生成部１１２、変化抽出部１１３、レポート生成部１１４を含む。また、自動学習プログラム１０２は、判定受付部１２１、データベース更新部１２２、学習モデル更新部１２３を含む。これらプログラムの各機能については後述する。
【００１６】
以下、図４に示す衛星画像の例を用いて、本実施例の処理フロー（図１Ａ、図１Ｂ）を説明する。矩形状の衛星画像３００は、その座標情報として対角に位置する頂点３０１，３０２の緯度・経度情報を保持している。本座標情報により、衛星画像の任意の位置の緯度・経度が特定でき、異なる衛星画像の位置合わせが可能になる。また、衛星画像３００の場合、境界３０３を境に左側が陸域３０４、右側が海域３０５である。陸域３０４上には、地物として建造物３０６のような人工物、河川３０７、草原３０８、樹木３０９のような自然物が画像として含まれている。なお、図４の衛星画像３００は、陸域３０４の一部がハッチングにより示されるマスク３１１によって覆われていた状態で示されている。これについては後述する。
【００１７】
図１Ａ及び図１Ｂの処理フローは、図４に示した衛星画像３００のような第１の衛星画像Ａ（比較ターゲット画像）と、第１の衛星画像とは異なる撮影条件で撮影された第２の衛星画像Ｂ（比較元画像）とを比較して差分画像を抽出し、差分画像に対して深層学習を適用した画像認識を実施するものである。
【００１８】
最初に複数の衛星画像の共通領域が対象となるため、衛星画像に含まれる座標情報を用いて、比較ターゲット画像と比較元画像との共通領域の画像を切り出す。計算機での取扱いを考えると共通領域は矩形で切り出すのが望ましい。複数の衛星画像の差分画像から画像認識を実施するのは高解像度の衛星画像が必要であるが、差分を抽出するためのあたりをつける段階では、そこまでの高解像度は必要ない。そのため、計算時間を短縮するため、予め解像度を落とした衛星画像を用意しておくことが望ましい（Ｓ１ａ，Ｓ１ｂ）。例えば、衛星画像の読込み時にプロセッサ４１３の別スレッド使用あるいはグラフィックプロセッサ４１４を使った並列演算により低解像度の画像を生成する。このように高解像度衛星画像１１ａ（１１ｂ）をそのまま加工して低解像度衛星画像１２ａ（１２ｂ）を作ってもよいし、比較ターゲット画像、比較元画像とそれぞれ同時期に撮影されたとみなしうる時期に撮影された低解像度衛星画像１２ａ’（１２ｂ’）を参照するようにしてもよい。
【００１９】
低解像度衛星画像１２ａ（１２ａ’）の座標情報と低解像度衛星画像１２ｂ（１２ｂ’）の座標情報とを用いて共通領域を抽出する（Ｓ２）。例えば、共通領域として図４の衛星画像３００に相当する領域が得られたとして以下の処理ステップを説明する。
【００２０】
低解像度衛星画像を所定のサイズの第１ブロック画像群に分割する（Ｓ３ａ，Ｓ３ｂ）。第１ブロック画像では、海と陸との分離、山間と平地との分離ができるサイズとする。この場合広域領域で分割してよい。例えば、ＤＥＭ画像を利用して山間と平地の区別がつけば十分であるとすれば、国土地理院の発行するＤＥＭ画像の粗いサイズは２５０ｍ相当であるから２５０ｍの単位で区切れば十分である。ＤＥＭの解像度が細かい地域については、それに比例してサイズを細かく区切ることは可能だが、過剰分割のおそれがある。過剰分割した画像、すなわちサイズの小さすぎる画像同士を比較すると、位置合わせのための画像調整は行いやすいが、そもそも比較する２つの画像に共通して写っている領域が小さくなり、比較可能な領域が小さくなってしまうおそれがある。なお、これに対して、過少分割した画像、すなわちサイズの大きすぎる画像同士を比較すると、場所ごとに位置合わせのための補正方向が打ち消し合い、位置合わせのための画像調整量が小さくなる傾向がある。
【００２１】
図４では第１ブロック画像３１２は点線の正方形で表示される。共通領域を所定のサイズに区切ることで第１ブロック画像群（３１２ａ，ｂ，ｃ・・・が得られる）。さらに、共通領域を互いの重なりなく第１ブロック画像に分割すると、画像端で比較できない領域が出るおそれがある。例えば、第１ブロック画像３１２ａの画像端にかかった小島３１０があるような場合、第１ブロック画像３１２ａにとっても、第１ブロック画像３１２ｄにとっても占める面積が小さく、その情報が失われてしまう可能性がある。このため、第１ブロック画像同士の間を補間するために、第１ブロック画像と同サイズかつ、座標をオフセットさせた矩形領域の画像３１３ａを第１ブロック画像として追加する。なお、別の方法として、第１のブロック画像に分割する際に、隣接する第１のブロック画像同士に一定幅の重複領域をもたせるようにしてもよい。
【００２２】
さらに、処理を高速するため、共通領域のうち、ユーザが検出したい対象が存在しないことがあらかじめ分かっている領域、あるいは興味対象領域３１４（ＲＯＩ：Region of Interest）外の第１ブロック画像は以降の処理から除去するとよい。ユーザが検出したい対象が存在しないことがあらかじめ分かっている領域は、マスク３１１によって除外でよい。マスク領域がベクトル画像であれば、第１ブロック画像の四隅の座標がマスクのポリゴン形状の内側に含まれているか判定して、除外する。あるいはマスク領域がラスタ画像であれば、ラスタ乗算によりマスク領域にあたる衛星画像の画素データを無効化し、全ての画素データが無効化された第１ブロック画像は以降の処理から除外する。逆に、ＲＯＩ指定の場合は逆に、ＲＯＩ領域３１４（一点鎖線の円領域）にあたる画素が含まれていない第１ブロック画像は以降の処理から除外する。
【００２３】
このようにして得られた第１ブロック画像についてクラス分けする（Ｓ４ａ，Ｓ４ｂ）。第１ブロック画像のクラス分けはクラスデータベース２０３に格納されるクラス定義テーブル５００に従って行う。クラス定義テーブル５００では、画像の一様性／複雑性を表すテクスチャ５０１、植生の分布状況や活性度を示す指標である植生指数（ＮＶＤＩ：Normalized Difference Vegetation Index）５０２、標高や土地利用データなどの地図地誌情報５０３（図では標高を指標として用いた例を示す）に基づいて複数のクラス５０５が定義され、クラスごとに異なる第２ブロック画像の分割サイズが定義されている。
【００２４】
クラス分けの狙いは、陸地と海、あるいは陸地の中でも土地利用が近似しているものに分類することにある。例えば、海洋は陸地や船が写らない限り、輝度分布が小さく一様であるからテクスチャ計算により推測可能である。テクスチャは例えば、画像の輝度ヒストグラムから算出される平均、分散、モーメントなどの統計量を指標として用いることができ、クラスごとの一様性または複雑性を表すため、当該指標の範囲をクラスごとに定義しておく。山間部はＮＶＤＩが大きく、ＤＥＭデータから標高が高い部分を抽出することで推測可能である。また、人工物が集まる都市部は土地利用データを参照するようにしてもよい。このため、クラスに応じて定義される第２ブロック画像の分割サイズは、テクスチャの一様性、植生指数、標高などの地図地誌情報に応じて定義する。一般に、標高の高いクラスは標高の低いクラスよりも小さく分割すべきであり、植生指数の高いクラスは植生指数の低いクラスよりも小さく分割すべきであり、一様性の低いクラスは一様性の高いクラスよりも小さく分割すべきである。前者の方が、より小さく分割しても過剰分割となる可能性が低く、その後の差分画像の取得に有効である。なお、クラス分けは例示した指標の１つまたは複数に基づいて行えばよい。例えば、興味対象領域が平地や海に限定されているならば標高をクラス分けの指標として使わなくてもよい。逆に、例示以外の指標を用いてクラスを定義することも可能である。
【００２５】
次に第１ブロック画像のクラスに基づき、第２ブロック画像を生成する（Ｓ５ａ，Ｓ５ｂ）。第２ブロック画像は隣接する第１ブロック画像同士を結合、または第１ブロック画像を分割することによって生成する。クラス定義テーブル５００のクラス１のように、テクスチャの一様性が極めて高い、すなわち均一性の高い画像の場合、わずかな値の違いを変化として抽出することにより、誤抽出の確率が上がる。そのため、海域３０５しか含まない第１ブロック３１２ｂは例えば、隣接するブロック３１２ａと結合する。第１ブロック３１２ａには小島３１０の画像が含まれているので、海上のわずかな輝度変化をとらえて抽出することがなくなる。一方、クラス１以外の第１ブロック画像については、クラス定義テーブル５００に定義された分割サイズ５０６によって分割する。例えば、山間部などは第２ブロック画像を小さくすることで衛星画像の位置合わせが容易になる。例えば、図４において、第１ブロック画像３１２ａ及び３１２ｂを結合して得られる第２ブロック画像３２１、第１ブロック３１２ｅを分割して得られる第２ブロック画像３２２の双方が含まれる。これにより、異なる２つの画像を比較する際に生じる過剰分割、過少分割の影響を抑制することができる。
【００２６】
得られた第２ブロック画像群の座標情報を用いて、高解像度画像から相当する画像領域を切り出す（Ｓ６ａ，Ｓ６ｂ）。切り出された画像を「高解像度第２ブロック画像」と称する。以上の処理が、変化抽出プログラム１０１の画像分割部１１１の機能を実行することで実現される。すなわち、図１Ａの処理フローで説明した処理フローの各ステップは変化抽出プログラム１０１のプログラム部分として実現されている。以降についても同様である。
【００２７】
図１Ｂに図１Ａ以降の処理フローを示す。まず、同じ座標情報を有する高解像度第２ブロック画像同士の位置合わせを実施する。衛星画像は完全にオルソ化されていないと、緯度経度などの位置情報だけで位置合わせすることは完全にはできない。同じ位置であっても撮影する角度が異なっていれば、写り方も異なるためである。そのため、差分画像を得る前に、画像処理による位置合わせが必要である。このために、高解像度第２ブロック画像のそれぞれについて特徴点を抽出する（Ｓ７ａ，Ｓ７ｂ）。抽出した特徴点を用いて、画像マッチングにより、高解像度第２ブロック画像同士の位置合わせを行う（Ｓ８）。位置合わせを行った高解像度第２ブロック画像同士について、画素ごとに輝度の差分をとることにより、差分画像１４を生成する。
【００２８】
衛星画像の差分画像を生成する際に、そのまま差分を取ると、撮影条件の違いによる画像間の全体的な輝度差に影響を受ける可能性があるので、周辺画素との輝度勾配の画像を生成してから差分抽出するとよい。差分画像をより領域抽出しやすい形に成形するため、閾値決定を自動化し２値化することで領域をマスクする方法が考えられる。第１ブロック画像に対してクラス分けした情報に基づいて、２値化の閾値自動決定アルゴリズムを変更するとよい。２値化した画像は膨張収縮の処理を繰り返してノイズ除去する。クラス定義テーブル５００の差分抽出アルゴリズム情報５０７として、クラスごとに差分画像を抽出するためのアルゴリズムやパラメータを定義しておき、これに従って差分画像の生成を行う。
【００２９】
以上の処理が、変化抽出プログラム１０１の差分画像生成部１１２の機能を実行することで実現される。
【００３０】
次に高解像度第２ブロック画像A１３ａと高解像度第２ブロック画像B１３bとの差分画像１４から、輝度変化の大きい領域を抽出し、当該領域の周辺を第３ブロック画像としてその座標情報を取得する（Ｓ１０）。差分画像１４における輝度変化の大きい画素集合に対し、当該画素集合を中心に、当該画素集合を含む矩形を選択し、この領域を元の衛星画像から切り出して第３ブロック画像１５ａ，１５ｂを生成する。矩形の大きさは、外接矩形であっても良いし、抽出したい目標物にターゲットを絞ってサイズを決めてもよい。画素集合のサイズが小さすぎる場合には、隣接する画素集合とセットで取り扱ってもよい。
【００３１】
第３ブロック画像に対してＣＮＮを適用した画像認識を行う（Ｓ１２ａ，Ｓ１２ｂ）。具体的には、教師データデータベース２０４に格納されている教師データに対応する目標物体が存在するかどうか確認し、目標物体が存在すると判定した場合には、判定した目標物体の形状を第３ブロック画像から抽出するとともに、差分画像で得られた領域を目標物体の形状に更新する。
【００３２】
画像認識Ｓ１２の結果に基づき、ユーザの探索している変化が当該領域で生じたかどうかを判定する（Ｓ１３）。具体的には、いずれか一方の第３ブロック画像から目標物体が存在すると判定されれば、比較元画像が撮影されたときから比較ターゲット画像が撮影されたときまでの間に目標物体が現れる、または失われる、という変化があったことが判定できる。あるいは、いずれの第３ブロック画像からも目標物体の存在が判定できなければ、ユーザが探索している変化は当該領域では生じていないと判定できる。
【００３３】
以上の処理が、変化抽出プログラム１０１の変化抽出部１１３の機能を実行することで実現される。なお、画像認識の方法はＣＮＮのような深層学習を想定しているが、第３ブロック画像に対してパタンマッチングなどそれ以外の認識手法を利用することも可能である。
【００３４】
変化抽出部１１３で抽出した変化は、表示装置４１１に表示する等の手段によりユーザに提示される（Ｓ１４）。これによりユーザは変化抽出部１１３で抽出された変化が本当にユーザが探索している変化であるかどうかを判定することができる。以上の処理が、変化抽出プログラム１０１のレポート生成部１１４の機能を実行することで実現される。
【００３５】
変化抽出部１１３における画像認識に深層学習を利用している場合、教師データが増えるにつれて抽出精度が向上することが期待できる。このため、自動学習プログラム１０２を変化抽出プログラム１０１とは別プロセスで稼働し、教師データデータベース２０４や学習モデルデータべース２０５を更新させる。この処理フローを図６に示す。
【００３６】
変化抽出部１１３で抽出された変化が表示装置４１１等に表示されると、ユーザは表示された変化が本当に探索している変化であるかどうかを判定し、その判定結果をユーザインタフェース４１６を通じて入力する。ユーザからのフィードバックを受け付け（Ｓ６１）、教師データデータベース２０４を更新する（Ｓ６２）。例えば、抽出したい変化が目標物体Ｘである場合、正しく目標物体Ｘの変化が抽出されていると判定された場合には、抽出された第３ブロック画像を「目標物体Ｘの画像」の学習データとして教師データデータベース２０４に登録する。逆に、目標物体Ｘに対して、Ｙの変化が抽出されていると判定された場合には、抽出された第３ブロック画像を「目標物体Ｘでない画像」の学習データとして教師データデータベース２０４に登録する。さらに、所定回数以上の教師データベースの更新が行われ、教師データデータベース２０４に一定量の新規学習データがたまるたびに、学習モデルデータベース２０５に格納されている認識器のネットワーク結合（学習モデル）を更新する（Ｓ６３）。
【００３７】
加えて、ユーザからのフィードバックを、画像の切り出し方や差分画像１４の生成方法を調整することで変化抽出の精度の改善が期待できる。例えば、クラスデータベース２０３に格納されているクラスごとの第２ブロック画像の分割サイズや、差分抽出の判断基準を調整することによって変化抽出の精度は改善できる。差分抽出の判定基準とは、差分抽出に使用するアルゴリズムや、差分抽出後の２値化アルゴリズムなどである。例えば、フィードバックの結果に応じてクラス定義テーブル５００の差分抽出アルゴリズム情報５０７の設定値を変更する。例えば、フィードバック回数が一定値たまったときに、間違い確率が一定値を超えているクラスの設定値の更新を行う。
【００３８】
例えば、各クラスはテクスチャ、植生指数（ＮＶＤＩ）、標高（ＤＥＭ）といった指標で定義されるため、当該クラスと隣接するクラスとはスペクトルパタンが比較的近い。このため、隣接するクラスの間違い確率が小さければ、当該クラスの設定値を隣接クラスの設定値に近づけるとよい。隣接クラスの設定に近づける更新の前後で、変化抽出の精度が改善しないとき、第２ブロック画像の分割サイズを変更する。例えば、分割サイズを一定のステップをもって拡大・縮小させる。見落とし（検出できなかったが、ユーザのフィードバックでは変化有り）が多い場合には、画像内の輝度分散が大きすぎる傾向があるから、画像サイズを小さくすることが望ましい。一方、誤検出（検出したが、ユーザのフィードバックでは変化なし）が多い場合は、画像内の輝度分散の値が小さすぎる可能性があるから、画像サイズを大きくすることが望ましい。差分抽出のアルゴリズムは基本的には、ブロック画像内の輝度分布に応じて適応的に変える必要があるから、画像の分割サイズが変わったときに、輝度分布が変化したことを確認して、都度、輝度分布に適切なアルゴリズムになるよう、再設定するとよい。なお、図６のステップＳ６１，Ｓ６２，Ｓ６３はそれぞれ自動学習プログラム１０２の判定受付部１２１、データベース更新部１２２、学習モデル更新部１２３の機能を実行することで実現される。
【００３９】
以上、実施例を詳細に説明したが、さまざまな変形が可能である。例えば、衛星画像が大量に準備できる状況であれば、同一地点を撮影した衛星画像の画素を平均化した画像を用いることで、短期的な変化領域を除外した背景画像を生成することができる。背景画像を比較元画像として、比較ターゲット画像と比較することで、目的物体の変化（出現、消失）をより容易に抽出可能である。この場合、差分画像１４を抽出するにあたって、画素の位置合わせが行われているはずであるから、位置合わせを行った第２ブロック画像に基づき背景画像の更新を行うことが望ましい。
【符号の説明】
【００４０】
１０１：変化抽出プログラム、１０２：自動学習プログラム、１１１：画像分割部、１１２：差分画像生成部、１１３：変化抽出部、１１４：レポート生成部、１２１：判定受付部、１２２：データベース更新部、１２３：学習モデル更新部、２０１：衛星画像データベース、２０２：ＤＥＭデータベース、２０３：クラスデータベース、２０４：教師データデータベース、２０５：学習モデルデータベース、４１１：表示装置、４１２：記憶装置、４１３：プロセッサ、４１４：グラフィックプロセッサ、４１５：メモリ、４１６：ユーザインタフェース、４１７：バス。
【図１Ａ】
2018097506.tif 000003
【図１Ｂ】
2018097506.tif 000004
【図２】
2018097506.tif 000005
【図３】
2018097506.tif 000006
【図４】
2018097506.tif 000007
【図５】
2018097506.tif 000008
【図６】
2018097506.tif 000009