(57)【要約】  地物変化判定装置２０は、特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、画像取得部２１と、ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、３次元データ取得部２２と、ペア画像の対応する画素のペア毎に、画素値の差分及び３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、差分データ作成部２３と、ペア画像の差分データと地物の変化との関係を機械学習することによって得られている学習モデルに、差分データを適用して、特定地域における地物の変化を判定する、判定部２４と、を備えている。
2020066755.tif 000002
【特許請求の範囲】
【請求項１】
特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、画像取得手段と、
前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、３次元データ取得手段と、
前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、差分データ作成手段と、
前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得する、ラベル取得手段と、
前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、学習モデル生成手段と、
を備えている、
ことを特徴とする学習モデル生成装置。
【請求項２】
請求項１に記載の学習モデル生成装置であって、
前記差分データ作成手段が、前記ペア画像の対応する画素のペア毎に、前記画素値の差分として、Ｒ値、Ｇ値、及びＢ値それぞれの差分を求める、
ことを特徴とする学習モデル生成装置。
【請求項３】
請求項１または２に記載の学習モデル生成装置であって、
前記地物が建物である場合に、
前記ラベル取得手段が、前記ペア画像の対応する１又は２以上の画素のペア毎に、前記ラベルとして、新築、滅失、改築、及び変化無しのいずれかを少なくとも含むラベルを取得する、
ことを特徴とする学習モデル生成装置。
【請求項４】
特定地域における地物の変化を判定するための装置であって、
前記特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、画像取得手段と、
前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、３次元データ取得手段と、
前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、差分データ作成手段と、
ペア画像の差分データと地物の変化との関係を機械学習することによって得られている学習モデルに、前記差分データを適用して、前記特定地域における前記地物の変化を判定する、判定手段と、
を備えている、
ことを特徴とする地物変化判定装置。
【請求項５】
請求項４に記載の地物変化判定装置であって、
前記差分データ作成手段が、前記ペア画像の対応する画素のペア毎に、前記画素値の差分として、Ｒ値、Ｇ値、及びＢ値それぞれの差分を求める、
ことを特徴とする地物変化判定装置。
【請求項６】
請求項４または５に記載の地物変化判定装置であって、
前記地物が建物である場合に、
前記学習モデルは、前記ペア画像の差分データと、新築、滅失、改築、及び変化無しのいずれかを少なくとも含む前記地物の変化と、の関係を機械学習することによって、得られている、
ことを特徴とする地物変化判定装置。
【請求項７】
請求項４〜６のいずれかに記載の地物変化判定装置であって、
前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得する、ラベル取得手段と、
前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、学習モデル生成手段と、
を更に備えている、
ことを特徴とする地物変化判定装置。
【請求項８】
（ａ）特定地域を上空から時期を変えて撮影して得られたペア画像を取得し、
（ｂ）前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得し、
（ｃ）前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成し、
（ｄ）前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得し、
（ｅ）前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、
ことを特徴とする学習モデル生成方法。
【請求項９】
請求項８に記載の学習モデル生成方法であって、
前記（ｃ）において、前記ペア画像の対応する画素のペア毎に、前記画素値の差分として、Ｒ値、Ｇ値、及びＢ値それぞれの差分を求める、
ことを特徴とする学習モデル生成方法。
【請求項１０】
請求項８または９に記載の学習モデル生成方法であって、
前記地物が建物である場合に、
前記（ｄ）において、前記ペア画像の対応する１又は２以上の画素のペア毎に、前記ラベルとして、新築、滅失、改築、及び変化無しのいずれかを少なくとも含むラベルを取得する、
ことを特徴とする学習モデル生成方法。
【請求項１１】
特定地域における地物の変化を判定するための方法であって、
（ａ）前記特定地域を上空から時期を変えて撮影して得られたペア画像を取得すし、
（ｂ）前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得し、
（ｃ）前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成し、
（ｄ）ペア画像の差分データと地物の変化との関係を機械学習することによって得られている学習モデルに、前記差分データを適用して、前記特定地域における前記地物の変化を判定する、
ことを特徴とする地物変化判定方法。
【請求項１２】
請求項１１に記載の地物変化判定方法であって、
前記（ｃ）において、前記ペア画像の対応する画素のペア毎に、前記画素値の差分として、Ｒ値、Ｇ値、及びＢ値それぞれの差分を求める、
ことを特徴とする地物変化判定方法。
【請求項１３】
請求項１１または１２に記載の地物変化判定方法であって、
前記地物が建物である場合に、
前記学習モデルは、前記ペア画像の差分データと、新築、滅失、改築、及び変化無しのいずれかを少なくとも含む前記地物の変化と、の関係を機械学習することによって、得られている、
ことを特徴とする地物変化判定方法。
【請求項１４】
請求項１１〜１３のいずれかに記載の地物変化判定方法であって、更に、
（ｅ）前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得し、
（ｆ）前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、
ことを特徴とする地物変化判定方法。
【請求項１５】
コンピュータに、
（ａ）特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、ステップと、
（ｂ）前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、ステップと、
（ｃ）前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、ステップと、
（ｄ）前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得する、ステップと、
（ｅ）前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【請求項１６】
請求項１５に記載のコンピュータ読み取り可能な記録媒体であって、
前記（ｃ）のステップにおいて、前記ペア画像の対応する画素のペア毎に、前記画素値の差分として、Ｒ値、Ｇ値、及びＢ値それぞれの差分を求める、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１７】
請求項１５または１６に記載のコンピュータ読み取り可能な記録媒体であって、
前記地物が建物である場合に、
前記（ｄ）のステップにおいて、前記ペア画像の対応する１又は２以上の画素のペア毎に、前記ラベルとして、新築、滅失、改築、及び変化無しのいずれかを少なくとも含むラベルを取得する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１８】
コンピュータによって、特定地域における地物の変化を判定するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ａ）前記特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、ステップと、
（ｂ）前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、ステップと、
（ｃ）前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、ステップと、
（ｄ）ペア画像の差分データと地物の変化との関係を機械学習することによって得られている学習モデルに、前記差分データを適用して、前記特定地域における前記地物の変化を判定する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【請求項１９】
請求項１８に記載のコンピュータ読み取り可能な記録媒体であって、
前記（ｃ）のステップにおいて、前記ペア画像の対応する画素のペア毎に、前記画素値の差分として、Ｒ値、Ｇ値、及びＢ値それぞれの差分を求める、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項２０】
請求項１８または１９に記載のコンピュータ読み取り可能な記録媒体であって、
前記地物が建物である場合に、
前記学習モデルは、前記ペア画像の差分データと、新築、滅失、改築、及び変化無しのいずれかを少なくとも含む前記地物の変化と、の関係を機械学習することによって、得られている、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項２１】
請求項１８〜２０のいずれかに記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
（ｅ）前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得する、ステップと、
（ｆ）前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、ステップと、
を実行させる命令を更に含む、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一定期間の経過後の地物の変化を判定するための、地物変化判定装置、及び地物変化判定方法に関し、更には、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。また、本発明は、これらに用いられる学習モデルを生成するための学習モデル生成装置及び学習モデル生成方法にも関する。
【背景技術】
【０００２】
近年、一定期間の経過後における地物の変化を判定することが行われる。このような判定の結果は、例えば、土地の利用状況の調査、地形の変化の調査等に利用されている。また、地物としては、例えば、建物、地面、森林、道路、インフラ構造物、車両等の地上にある全ての物が挙げられる。【０００３】
また、特許文献１及び２は、このような地物の変化を判定するための装置を開示している。具体的には、特許文献１に開示された装置は、まず、特定の領域を上空から撮影して得られた２つのオルソ画像を取得する。また、オルソ画像のうち一方は第１の時点で撮影されており、他方は第２の時点で撮影されている。更に、各オルソ画像は、画素毎に、３次元データを保持している。【０００４】
続いて、特許文献１に開示された装置は、２つのオルソ画像を比較して、対応する画素毎に、両画像における、色又は色調の差分と、３次元データに含まれる高さの差分とを求める。そして、特許文献１に開示された装置は、求めた差分から、地物である家屋の変化を判定する。また、この判定は、色又は色調の差分と高さの差分とを、予め作成されている規則に当てはめることによって行われており、例えば、高さの差分が大きくなると、家屋が滅失したと判定され、色の差分が大きくなると家屋が改築されたと判定する。【０００５】
また、特許文献２に開示された装置は、変化の判定対象が家屋である場合に、赤外線写真と地図データを用いて、家屋以外の領域（建築物非依存領域）を特定し、特定した建築物非依存領域を除外して、地物の変化の判定を実行することができる。特許文献２に開示された装置によれば、建築物以外の物を誤って検出してしまう事態を回避することができ、判定精度の向上を図ることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４３３９２８９号公報
【特許文献２】特許第５３６６１９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述した特許文献１に開示された装置によれば、地物の変化の判定が可能となるが、この装置には、以下の問題がある。１つ目は、２つのオルソ画像の元になった第１の時点の画像と第２の時点の画像とが、撮影日時、天候等の撮影条件が違う状況下で撮影されたために、地物に変化がない部分において、色調に差が発生し、結果、変化がないにも関わらず変化があると判定されてしまうという問題である。２つ目は、上述のような撮影条件の相違によって、２つのオルソ画像間で、ノイズの発生、地物の面積等の点で相違が生じ、この相違によっても、変化がないにも関わらず変化があると判定されてしまうという問題である。３つ目は、家屋以外における高さ及び色の変化が、家屋の変化として抽出されてしまい、誤った判定が行われてしまうという問題である。【０００８】
なお、上述の１つ目及び２つ目の問題は、比較判定の際の閾値を厳しくすると、ある程度解消できるとも考えられるが、この場合は、実際に変化がある部分を変化有りと判定できなくなる可能性がある。【０００９】
一方、特許文献２に開示された装置によれば、上述の３つ目の問題を解消できると考えられるが、そのためには、画素毎に３次元データを持ったオルソ画像に加えて、撮影領域における近赤外線写真、地図データ等の情報を入力する必要がある。このため、特許文献２に開示された装置の運用にはコストがかかるという問題がある。また、特許文献２に開示された装置であっても、上述の１つ目の問題と２つ目の問題とが解消されるわけではない。また、特許文献２に開示された装置においては、赤外線写真、地図データ等の情報が最新の情報でない場合は、却って誤検出が発生する可能性が高くなってしまう。【００１０】
本発明の目的の一例は、上記問題を解消し、時間の経過による地物の変化を判定するに際して、外的要因による影響を抑制して判定精度の向上を図り得る、学習モデル生成装置、地物変化判定装置、学習モデル生成方法、地物変化判定方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の一側面における学習モデル生成装置は、
特定地域を上空から時期を変えて撮影して得られたペア画像 を取得する、画像取得部と、
前記ペア画像それぞれについて、被写体となっている地物 の高さの情報を画素毎に保持する３次元データを取得する、３次元データ取得部と、
前記ペア画像の対応する画素のペア毎に、画素値 の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、差分データ作成部と、
前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得する、ラベル取得部と、
前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、学習モデル生成部と、
を備えている、ことを特徴とする。【００１２】
また、上記目的を達成するため、本発明の一側面における地物変化判定装置は、特定地域における地物の変化を判定するための装置であって、
前記特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、画像取得部と、
前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、３次元データ取得部と、
前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、差分データ作成部と、
ペア画像の差分データと地物の変化との関係を機械学習することによって得られている学習モデルに、前記差分データを適用して、前記特定地域における前記地物の変化を判定する、判定部と、
を備えている、ことを特徴とする。【００１３】
上記目的を達成するため、本発明の一側面における学習モデル生成方法は、
（ａ）特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、ステップと、
（ｂ）前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、ステップと、
（ｃ）前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、ステップと、
（ｄ）前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得する、ステップと、
（ｅ）前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、ステップと、
を有する、ことを特徴とする。【００１４】
また、上記目的を達成するため、本発明の一側面における地物変化判定方法は、特定地域における地物の変化を判定するための方法であって、
（ａ）前記特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、ステップと、
（ｂ）前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、ステップと、
（ｃ）前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、ステップと、
（ｄ）ペア画像の差分データと地物の変化との関係を機械学習することによって得られている学習モデルに、前記差分データを適用して、前記特定地域における前記地物の変化を判定する、ステップと、
を有する、ことを特徴とする。【００１５】
更に、上記目的を達成するため、本発明の一側面における第１のコンピュータ読み取りは、
コンピュータに、
（ａ）特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、ステップと、
（ｂ）前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、ステップと、
（ｃ）前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、ステップと、
（ｄ）前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得する、ステップと、
（ｅ）前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。【００１６】
更に、上記目的を達成するため、本発明の一側面における第２のコンピュータ読み取り可能な記録媒体は、コンピュータによって、特定地域における地物の変化を判定するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ａ）前記特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、ステップと、
（ｂ）前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、ステップと、
（ｃ）前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、ステップと、
（ｄ）ペア画像の差分データと地物の変化との関係を機械学習することによって得られている学習モデルに、前記差分データを適用して、前記特定地域における前記地物の変化を判定する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
【発明の効果】
【００１７】
以上のように、本発明によれば、時間の経過による地物の変化を判定するに際して、外的要因による影響を抑制して判定精度の向上を図ることができる。
【図面の簡単な説明】
【００１８】
【図１】図１は、本発明の実施の形態における学習モデル生成装置の構成を示すブロック図である。
【図２】図２は、本実施の形態で用いられるペア画像及び３次元データの一例を示す図である。
【図３】図３は、本実施の形態において作成される差分データの一例を示す図である。
【図４】図４は、本発明の実施の形態において取得されるラベルの内容を説明する説明図である。
【図５】図５は、本発明の実施の形態で用いられるラベルの設定のバリエーション１を示す図である。
【図６】図６は、本発明の実施の形態で用いられるラベルの設定のバリエーション２を示す図である。
【図７】図７は、本発明の実施の形態で用いられるラベルの設定のバリエーション３を示す図である。
【図８】図８は、本発明の実施の形態における学習モデル生成装置の動作を示すフロー図である。
【図９】図９は、本発明の実施の形態における地物変化判定装置の構成を示すブロック図である。
【図１０】図１０は、本発明の実施の形態における地物変化判定装置の構成を具体的に示すブロック図である。
【図１１】図１１は、本発明の実施の形態における地物変化装置の出力例１を示す図である。
【図１２】図１２は、本発明の実施の形態における地物変化装置の出力例２を示す図である。
【図１３】図１３は、本発明の実施の形態における地物変化装置の出力例３を示す図である。
【図１４】図１４は、本発明の実施の形態における学習モデル生成装置の動作を示すフロー図である。
【図１５】図１５は、本発明の実施の形態における地物変化判定装置の変形例の構成を示すブロック図である。
【図１６】図１６は、本発明の実施の形態における学習モデル生成装置及び地物変化判定装置を実現するコンピュータの一例を示すブロック図である。
【発明を実施するための形態】
【００１９】
（実施の形態：学習モデルの生成）
最初に、本発明の実施の形態における、学習モデル生成装置、学習モデル生成方法、及びプログラムについて説明する。
【００２０】
［装置構成］
最初に、本実施の形態における学習モデル生成装置の構成について図１を用いて説明する。図１は、本発明の実施の形態における学習モデル生成装置の構成を示すブロック図である。
【００２１】
図１に示すように、本実施の形態における学習モデル生成装置１０は、地物の変化の判定に用いられる学習モデルを生成する装置である。図１に示すように、学習モデル生成装置１０は、画像取得部１１と、３次元データ取得部１２と、差分データ作成部１３と、ラベル取得部１４と、学習モデル生成部１５とを備えている。
【００２２】
画像取得部１１は、特定地域を上空から時期を変えて撮影して得られたペア画像を取得する。３次元データ取得部１２は、ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する。差分データ作成部１３は、ペア画像の対応する画素のペア毎に、画素値の差分及び３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する。
【００２３】
ラベル取得部１４は、ペア画像の対応する１又は２以上の画素のペア毎に、各ペアに設定された、地物の変化を示すラベルを取得する。学習モデル生成部１５は、差分データとラベルとを機械学習することによって、差分データと地物の変化との関係を特定する学習モデルを生成する。
【００２４】
このように、本実施の形態では、ペア画像から得られた差分データと地物の変化との関係とが機械学習されて、学習モデルが生成される。このため、この学習モデルを用いれば、後述するように、時間の経過による地物の変化を判定するに際して、外的要因による影響を抑制して判定精度の向上を図ることができる。
【００２５】
次に、図２〜図７を用いて、本実施の形態における学習モデル生成装置１０の機能についてより具体的に説明する。また、以下の説明では、地物が建物である場合について説明するが、本実施の形態において地物の種類は特に限定されるものではない。地物としては、その他に、地面、森林、道路、インフラ構造物、車両等の地上にある全ての物が挙げられる。
【００２６】
図２は、本実施の形態で用いられるペア画像及び３次元データの一例を示す図である。本実施の形態では、画像取得部１１は、例えば、図２に示すペア画像を取得し、３次元データ取得部１２は、例えば、図２に示す３次元データを取得する。
【００２７】
図２に示すように、本実施の形態では、ペア画像として、画像Ａ及びＢが用いられている。また、画像Ａ及びＢは、共に、上空から撮影して得られた画像にデジタル処理を行って得られたオルソ画像である。また、画像Ａの撮影時点は第１の時点であり、画像Ｂの撮影時点は、第１の時点よりも後の第２の時点である。
【００２８】
また、図２に示すように、３次元データは、画像Ａ及びＢの画素毎に、高さを保持している。具体的には、３次元データとしては、ＤＳＭ（Digital Surface Model）が用いられる。また、図２において、マトリックスの縦軸及び横軸は画素の位置を表している。マトリックスに表示されている数値が高さ［ｍ］を示している。同じ座標に位置している画素同士が互いに対応している。
【００２９】
図３は、本実施の形態において作成される差分データの一例を示す図である。図３に示すように、本実施の形態では、差分データ作成部１３は、ペア画像である画像Ａと画像Ｂとの対応する画素のペア毎に、画素値の差分として、画像のＲ値、Ｇ値、及びＢ値それぞれの差分を求める。なお、図３の例では、画素値の差分は、Ｒ値、Ｇ値、及びＢ値それぞれの差分であるが、本実施の形態では、この例に限定されるものではない。画素値の差分は、色空間に応じて設定されていれば良い。
【００３０】
また、差分データ作成部１３は、画像Ａにおける画素毎に保持された高さデータから、画像Ｂにおける画素毎に保持されている高さデータを、減算し、対応する画素毎に差分を求める。なお、本明細書では、各画素の差分を一括りにして、「高さ差分」と表記する。
【００３１】
このようにして求められた、Ｒ値差分、Ｇ値差分、Ｂ値差分、及び高さ差分が、差分データとなる。また、本明細書では、差分データは、「４チャンネルデータ」とも表記することとする。
【００３２】
図４は、本発明の実施の形態において取得されるラベルの内容を説明する説明図である。本実施の形態では、ラベル取得部１４は、例えば、地物が建物であるとすると、ペア画像の対応する１又は２以上の画素のペア毎に、ラベルとして、新築、滅失、改築、及び変化無しのいずれかを少なくとも含むラベルを取得する。
【００３３】
また、ラベルは、本実施の形態では、画素のペア毎に、予め、人手によって設定されている。その際、図４に示すように、ラベルは、予め、第１の時点から第２の時点までにおける高さ及び画素値（色）の変化に応じて設定される。例えば、高さが高くなり、且つ、色が土色から別の色に変化する場合は、「新築」に設定される。一方、高さが低くなり、且つ、色が別の色から土色に変化する場合は、「滅失」に設定される。また、色の変化があり、且つ、高さの変化が無い又は高さの差分が小さい場合は、「改築」に設定される。
【００３４】
更に、本実施の形態では、ラベルの設定の仕方として、図５〜図７に示すように、以下の３通りがある。図５は、本発明の実施の形態で用いられるラベルの設定のバリエーション１を示す図である。図６は、本発明の実施の形態で用いられるラベルの設定のバリエーション２を示す図である。図７は、本発明の実施の形態で用いられるラベルの設定のバリエーション３を示す図である。
【００３５】
図５の例では、領域単位、例えば、１つの建物毎に、テキストデータによって、ラベルが設定されている。図６の例では、図５に示した領域単位よりも広い領域を単位として、その領域内の部分毎に、ラベルが設定されている。図７の例では、画像全体を単位として、画像内の部分毎に、ラベルが設定されている。
【００３６】
なお、図６及び図７の例では、ラベルを設定するために、画像内における建物に該当する部分を特定する必要がある。建物に該当する部分の特定は、例えば、国土地理院の提供する基盤地図情報基本項目に含まれる建築物の外周線のデータを用いることによって可能である。
【００３７】
学習モデル生成部１５は、差分データ作成部１３によって作成された４チャンネルデータと、ラベル取得部１４によって取得されたラベルとを、学習データとして機械学習を実行する。この場合の機械学習の手法としては、例えば、ディープラーニングが挙げられる。学習モデル生成部１５は、この機械学習によって、差分データと建物の変化との関係を示す関数におけるパラメータの値を更新して、モデルを構築する。構築されたモデル、具体的には、パラメータの集合は、後述する地物変化判定装置において利用される。
【００３８】
［装置動作］
次に、本発明の実施の形態における学習モデル生成装置１０の動作について図８を用いて説明する。図８は、本発明の実施の形態における学習モデル生成装置の動作を示すフロー図である。以下の説明においては、適宜図１〜図７を参酌する。また、本実施の形態では、学習モデル生成装置１０を動作させることによって、学習モデル生成方法が実施される。よって、本実施の形態における学習モデル生成方法の説明は、以下の学習モデル生成装置１０の動作説明に代える。
【００３９】
図８に示すように、最初に、画像取得部１１は、後述する機械学習で用いる学習データ（差分データ）を作成するために、特定地域を上空から時期を変えて撮影して得られたペア画像を取得する（ステップＡ１）。
【００４０】
次に、３次元データ取得部１２は、ステップＡ１で取得したペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する（ステップＡ２）。
【００４１】
次に、差分データ作成部１３は、ペア画像の対応する画素のペア毎に、画素値の差分及び３次元データで保持されている高さの差分を求め、求めた差分を含む４チャンネルデータを、学習データとして作成する（ステップＡ３）。
【００４２】
次に、ラベル取得部１４は、ペア画像の対応する１又は２以上の画素のペア毎に、各ペアに設定された、地物の変化を示すラベルを取得する（ステップＡ４）。上述したように、ラベルは予め設定されている。
【００４３】
次に、学習モデル生成部１５は、ステップＡ３で作成された差分データと、ステップＡ４で取得されたラベルとを、学習データとして用いて、ディープラーニング等の機械学習を実行して、差分データと地物の変化との関係を特定する学習モデルを生成する（ステップＡ５）。
【００４４】
［プログラム］
本実施の形態における第１のプログラムは、コンピュータに、図８に示すステップＡ１〜Ａ５を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における学習モデル生成装置１０と学習モデル生成方法とを実現することができる。この場合、コンピュータのプロセッサは、画像取得部１１、３次元データ取得部１２、差分データ作成部１３、ラベル取得部１４、及び学習モデル生成部１５として機能し、処理を行なう。
【００４５】
また、本実施の形態における第１のプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、画像取得部１１、３次元データ取得部１２、差分データ作成部１３、ラベル取得部１４、及び学習モデル生成部１５のいずれかとして機能しても良い。
【００４６】
（実施の形態：地物変化の判定）
続いて、本発明の実施の形態における、地物変化判定装置、地物変化判定方法、及びプログラムについて説明する。
【００４７】
［装置構成］
最初に、本実施の形態における地物変化判定装置の構成について図９を用いて説明する。図９は、本発明の実施の形態における地物変化判定装置の構成を示すブロック図である。
【００４８】
図９に示す、本実施の形態における地物変化判定装置２０は、特定地域における地物の変化を判定するための装置である。図９に示すように、地物変化判定装置２０は、画像取得部２１と、３次元データ取得部２２と、差分データ作成部２３と、判定部２４とを備えている。
【００４９】
画像取得部２１は、特定地域を上空から時期を変えて撮影して得られたペア画像を取得する。３次元データ取得部２２は、ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する。
【００５０】
差分データ作成部２３は、ペア画像の対応する画素のペア毎に、画素値の差分及び３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する。判定部２４は、ペア画像の差分データと地物の変化との関係を機械学習することによって得られている学習モデルに、差分データを適用して、特定地域における地物の変化を判定する。
【００５１】
この構成により、本実施の形態では、時間の経過による地物の変化を判定するに際して、撮影条件、ノイズといった外的要因による影響を抑制することができるので、判定精度の向上を図ることができる。
【００５２】
続いて、図１０を用いて、本実施の形態における地物変化判定装置の構成及び機能についてより具体的に説明する。図１０は、本発明の実施の形態における地物変化判定装置の構成を具体的に示すブロック図である。
【００５３】
図１０に示すように、本実施の形態における地物変化判定装置２０は、上述した画像取得部２１、３次元データ取得部２２、差分データ作成部２３、及び判定部２４に加えて、モデル格納部２５を備えている。また、モデル格納部２５は、判定部２４が用いる学習モデルを格納している。更に、学習モデルは、図１に示した学習モデル生成装置１０によって生成されている。
【００５４】
画像取得部２１は、図１に示した画像取得部２１と同様に機能する。画像取得部２１によって取得されるペア画像それぞれも、上空から撮影して得られた画像にデジタル処理を行って得られたオルソ画像である。
【００５５】
また、３次元データ取得部２２も、図１に示した３次元データ取得部１２と同様に機能する。３次元データ取得部２２によって取得される３次元データも、各画像の画素毎に、高さを保持している（図２参照）。
【００５６】
更に、差分データ作成部２３も、図１に示した差分データ作成部１３と同様に機能する。差分データ作成部２３は、例えば、ペア画像の各画像の対応する画素のペア毎に、画素値の差分として、画像のＲ値、Ｇ値、及びＢ値それぞれの差分を求める。また、差分データ作成部１３は、ペア画像の一方の画像の画素毎に保持された高さデータから、他方の画像の画素毎に保持されている高さデータを、減算し、対応する画素毎に差分を求める。このようにして求められた、Ｒ値差分、Ｇ値差分、Ｂ値差分、及び高さ差分が、差分データ（４チャンネルデータ）となる。
【００５７】
判定部２４は、差分データ作成部２３によって作成された４チャンネルデータを取得すると、モデル格納部２５に格納されている学習モデルに、この４チャンネルデータを適用する。そして、判定部２４は、学習モデルからの出力を、特定地域における地物の変化の判定結果として出力する。
【００５８】
ここで、図１１〜図１３を用いて、判定部２４の判定結果の一例を説明する。図１１は、本発明の実施の形態における地物変化装置の出力例１を示す図である。図１２は、本発明の実施の形態における地物変化装置の出力例２を示す図である。図１３は、本発明の実施の形態における地物変化装置の出力例３を示す図である。
【００５９】
図１１の例は、入力用の画像として、１つの建物のペア画像が入力された場合を示している。図１１の例では、ペア画像に対して、ラベルと同様の内容の判定結果がテキストによって出力されている。また、図１２の例は、建物１つよりも広い領域のペア画像が入力された場合を示している。図１２の例では、領域内の部分毎に判定結果が付与された画像が出力されている。図１３の例は、特定の地域のペア画像が入力された場合を示している。図１３の例では、特定領域内の部分毎に、判定結果が付与された画像が出力されている。
【００６０】
［装置動作］
次に、本発明の実施の形態における地物変化判定装置２０の動作について図１４を用いて説明する。図１４は、本発明の実施の形態における学習モデル生成装置の動作を示すフロー図である。以下の説明においては、適宜図１〜図７を参酌する。また、本実施の形態では、学習モデル生成装置１０を動作させることによって、学習モデル生成方法が実施される。よって、本実施の形態における学習モデル生成方法の説明は、以下の学習モデル生成装置１０の動作説明に代える。
【００６１】
図１４に示すように、最初に、画像取得部２１は、地物変化の対象となる地域のペア画像を取得する（ステップＢ１）。
【００６２】
次に、３次元データ取得部１２は、ステップＢ１で取得したペア画像それぞれについて、地物変化の対象となる地域における地物の高さの情報を画素毎に保持する３次元データを取得する（ステップＢ２）。
【００６３】
次に、差分データ作成部１３は、ペア画像の対応する画素のペア毎に、画素値の差分及び３次元データで保持されている高さの差分を求め、求めた差分を含む４チャンネルデータを作成する（ステップＢ３）。
【００６４】
次に、判定部２４は、ステップＢ３で作成された４チャンネルデータを取得すると、これを、モデル格納部２５に格納されている学習モデルに適用して、地物の変化を判定する（ステップＢ４）。その後、判定部２４は、外部の端末装置、表示装置等に、判定結果を出力する（ステップＢ５）。この後、判定結果は、端末装置の画面、表示装置の画面に表示される（図１１〜図１３参照）。
【００６５】
このように、本実施の形態では、ペア画像から得られた差分データと地物の変化との関係とを機械学習して得られた、学習モデルが用いられて、判定対象となる地域における地物の変化が判定される。このため、本実施の形態では、時間の経過による地物の変化を判定するに際して、撮影条件、ノイズといった外的要因による影響を抑制することができるので、判定精度の向上を図ることができる。
【００６６】
［プログラム］
本実施の形態における第２のプログラムは、コンピュータに、図１４に示すステップＢ１〜Ｂ５を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における地物変化判定装置２０と地物判定方法とを実現することができる。この場合、コンピュータのプロセッサは画像取得部２１、３次元データ取得部２２、差分データ作成部２３、及び判定部２４として機能し、処理を行なう。
【００６７】
また、本実施の形態における第１のプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、画像取得部２１、３次元データ取得部２２、差分データ作成部２３、及び判定部２４のいずれかとして機能しても良い。
【００６８】
［変形例］
続いて、図１５を用いて、本実施の形態における地物変化判定装置２０の変形例について説明する。図１５は、本発明の実施の形態における地物変化判定装置の変形例の構成を示すブロック図である。
【００６９】
図１５に示すように、本変形例では、地物変化判定装置２０は、画像取得部２１、３次元データ取得部２２、差分データ作成部２３、判定部２４、及びモデル格納部２５に加えて、図１に示したラベル取得部１４及び学習モデル生成部１５を備えている。このため、本変形例では、地物変化判定装置２０は、図１に示した学習モデル生成装置１０としての機能も備えている。本変形例では、地物変化判定装置２０自体が、学習モデルを生成することができる。
【００７０】
（物理構成）
ここで、本実施の形態における第１のプログラムを実行することによって、学習モデル生成装置１０を実現するコンピュータと、本実施の形態における第２のプログラムを実行することによって、地物変化判定装置２０を実現するコンピュータとについて図１６を用いて説明する。図１６は、本発明の実施の形態における学習モデル生成装置及び地物変化判定装置を実現するコンピュータの一例を示すブロック図である。
【００７１】
図１６に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。なお、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。
【００７２】
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
【００７３】
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
【００７４】
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
【００７５】
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
【００７６】
なお、本実施の形態における学習モデル生成装置１０及び地物変化判定装置２０は、それぞれ、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、学習モデル生成装置１０及び地物変化判定装置２０は、それぞれ、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
【００７７】
上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記２１）によって表現することができるが、以下の記載に限定されるものではない。
【００７８】
（付記１）
特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、画像取得部と、
前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、３次元データ取得部と、
前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、差分データ作成部と、
前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得する、ラベル取得部と、
前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、学習モデル生成部と、
を備えている、
ことを特徴とする学習モデル生成装置。
【００７９】
（付記２）
付記１に記載の学習モデル生成装置であって、
前記差分データ作成部が、前記ペア画像の対応する画素のペア毎に、前記画素値の差分として、Ｒ値、Ｇ値、及びＢ値それぞれの差分を求める、
ことを特徴とする学習モデル生成装置。
【００８０】
（付記３）
付記１または２に記載の学習モデル生成装置であって、
前記地物が建物である場合に、
前記ラベル取得部が、前記ペア画像の対応する１又は２以上の画素のペア毎に、前記ラベルとして、新築、滅失、改築、及び変化無しのいずれかを少なくとも含むラベルを取得する、
ことを特徴とする学習モデル生成装置。
【００８１】
（付記４）
特定地域における地物の変化を判定するための装置であって、
前記特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、画像取得部と、
前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、３次元データ取得部と、
前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、差分データ作成部と、
ペア画像の差分データと地物の変化との関係を機械学習することによって得られている学習モデルに、前記差分データを適用して、前記特定地域における前記地物の変化を判定する、判定部と、
を備えている、
ことを特徴とする地物変化判定装置。
【００８２】
（付記５）
付記４に記載の地物変化判定装置であって、
前記差分データ作成部が、前記ペア画像の対応する画素のペア毎に、前記画素値の差分として、Ｒ値、Ｇ値、及びＢ値それぞれの差分を求める、
ことを特徴とする地物変化判定装置。
【００８３】
（付記６）
付記４または５に記載の地物変化判定装置であって、
前記地物が建物である場合に、
前記学習モデルは、前記ペア画像の差分データと、新築、滅失、改築、及び変化無しのいずれかを少なくとも含む前記地物の変化と、の関係を機械学習することによって、得られている、
ことを特徴とする地物変化判定装置。
【００８４】
（付記７）
付記４〜６のいずれかに記載の地物変化判定装置であって、
前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得する、ラベル取得部と、
前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、学習モデル生成部と、
を更に備えている、
ことを特徴とする地物変化判定装置。
【００８５】
（付記８）
（ａ）特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、ステップと、
（ｂ）前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、ステップと、
（ｃ）前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、ステップと、
（ｄ）前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得する、ステップと、
（ｅ）前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、ステップと、
を有する、
ことを特徴とする学習モデル生成方法。
【００８６】
（付記９）
付記８に記載の学習モデル生成方法であって、
前記（ｃ）のステップにおいて、前記ペア画像の対応する画素のペア毎に、前記画素値の差分として、Ｒ値、Ｇ値、及びＢ値それぞれの差分を求める、
ことを特徴とする学習モデル生成方法。
【００８７】
（付記１０）
付記８または９に記載の学習モデル生成方法であって、
前記地物が建物である場合に、
前記（ｄ）のステップにおいてラベル取得部が、前記ペア画像の対応する１又は２以上の画素のペア毎に、前記ラベルとして、新築、滅失、改築、及び変化無しのいずれかを少なくとも含むラベルを取得する、
ことを特徴とする学習モデル生成方法。
【００８８】
（付記１１）
特定地域における地物の変化を判定するための方法であって、
（ａ）前記特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、ステップと、
（ｂ）前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、ステップと、
（ｃ）前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、ステップと、
（ｄ）ペア画像の差分データと地物の変化との関係を機械学習することによって得られている学習モデルに、前記差分データを適用して、前記特定地域における前記地物の変化を判定する、ステップと、
を有する、
ことを特徴とする地物変化判定方法。
【００８９】
（付記１２）
付記１１に記載の地物変化判定方法であって、
前記（ｃ）のステップにおいて、前記ペア画像の対応する画素のペア毎に、前記画素値の差分として、Ｒ値、Ｇ値、及びＢ値それぞれの差分を求める、
ことを特徴とする地物変化判定方法。
【００９０】
（付記１３）
付記１１または１２に記載の地物変化判定方法であって、
前記地物が建物である場合に、
前記学習モデルは、前記ペア画像の差分データと、新築、滅失、改築、及び変化無しのいずれかを少なくとも含む前記地物の変化と、の関係を機械学習することによって、得られている、
ことを特徴とする地物変化判定方法。
【００９１】
（付記１４）
付記１１〜１３のいずれかに記載の地物変化判定方法であって、
（ｅ）前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得する、ステップと、
（ｆ）前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、ステップと、
を更に有している、
ことを特徴とする地物変化判定方法。
【００９２】
（付記１５）
コンピュータに、
（ａ）特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、ステップと、
（ｂ）前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、ステップと、
（ｃ）前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、ステップと、
（ｄ）前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得する、ステップと、
（ｅ）前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【００９３】
（付記１６）
付記１５に記載のコンピュータ読み取り可能な記録媒体であって、
前記（ｃ）のステップにおいて、前記ペア画像の対応する画素のペア毎に、前記画素値の差分として、Ｒ値、Ｇ値、及びＢ値それぞれの差分を求める、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【００９４】
（付記１７）
付記１５または１６に記載のコンピュータ読み取り可能な記録媒体であって、
前記地物が建物である場合に、
前記（ｄ）のステップにおいてラベル取得部が、前記ペア画像の対応する１又は２以上の画素のペア毎に、前記ラベルとして、新築、滅失、改築、及び変化無しのいずれかを少なくとも含むラベルを取得する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【００９５】
（付記１８）
コンピュータによって、特定地域における地物の変化を判定するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ａ）前記特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、ステップと、
（ｂ）前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、ステップと、
（ｃ）前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、ステップと、
（ｄ）ペア画像の差分データと地物の変化との関係を機械学習することによって得られている学習モデルに、前記差分データを適用して、前記特定地域における前記地物の変化を判定する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【００９６】
（付記１９）
付記１８に記載のコンピュータ読み取り可能な記録媒体であって、
前記（ｃ）のステップにおいて、前記ペア画像の対応する画素のペア毎に、前記画素値の差分として、Ｒ値、Ｇ値、及びＢ値それぞれの差分を求める、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【００９７】
（付記２０）
付記１８または１９に記載のコンピュータ読み取り可能な記録媒体であって、
前記地物が建物である場合に、
前記学習モデルは、前記ペア画像の差分データと、新築、滅失、改築、及び変化無しのいずれかを少なくとも含む前記地物の変化と、の関係を機械学習することによって、得られている、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【００９８】
（付記２１）
付記１８〜２０のいずれかに記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
（ｅ）前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得する、ステップと、
（ｆ）前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、ステップと、
を実行させる命令を更に含む、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【００９９】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１００】
この出願は、２０１８年９月２８日に出願された日本出願特願２０１８−１８５４８０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１０１】
以上のように、本発明によれば、時間の経過による地物の変化を判定するに際して、外的要因による影響を抑制して判定精度の向上を図ることができる。本発明は、地物の時間的変化の判定が必要な分野、例えば、土地の利用状況の調査、地形の変化の調査、インフラ構造物の劣化判定、森林の変化の管理等に有用である。
【符号の説明】
【０１０２】
１０  学習モデル生成装置
１１  画像取得部
１２  ３次元データ取得部
１３  差分データ作成部
１４  ラベル取得部
１５  学習モデル生成部
２０  地物変化判定装置
２１  画像取得部
２２  ３次元データ取得部
２３  差分データ作成部
２４  判定部
２５  モデル格納部
１１０  コンピュータ
１１１  ＣＰＵ
１１２  メインメモリ
１１３  記憶装置
１１４  入力インターフェイス
１１５  表示コントローラ
１１６  データリーダ／ライタ
１１７  通信インターフェイス
１１８  入力機器
１１９  ディスプレイ装置
１２０  記録媒体
１２１  バス
【図１】
2020066755.tif 000003
【図２】
2020066755.tif 000004
【図３】
2020066755.tif 000005
【図４】
2020066755.tif 000006
【図５】
2020066755.tif 000007
【図６】
2020066755.tif 000008
【図７】
2020066755.tif 000009
【図８】
2020066755.tif 000010
【図９】
2020066755.tif 000011
【図１０】
2020066755.tif 000012
【図１１】
2020066755.tif 000013
【図１２】
2020066755.tif 000014
【図１３】
2020066755.tif 000015
【図１４】
2020066755.tif 000016
【図１５】
2020066755.tif 000017
【図１６】
2020066755.tif 000018
【手続補正書】
【提出日】令和3年3月15日(2021.3.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、画像取得手段と、
前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、３次元データ取得手段と、
前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、差分データ作成手段と、
前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得する、ラベル取得手段と、
前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、学習モデル生成手段と、
を備えている、
ことを特徴とする学習モデル生成装置。
【請求項２】
請求項１に記載の学習モデル生成装置であって、
前記差分データ作成手段が、前記ペア画像の対応する画素のペア毎に、前記画素値の差分として、Ｒ値、Ｇ値、及びＢ値それぞれの差分を求める、
ことを特徴とする学習モデル生成装置。
【請求項３】
請求項１または２に記載の学習モデル生成装置であって、
前記地物が建物である場合に、
前記ラベル取得手段が、前記ペア画像の対応する１又は２以上の画素のペア毎に、前記ラベルとして、新築、滅失、改築、及び変化無しのいずれかを少なくとも含むラベルを取得する、
ことを特徴とする学習モデル生成装置。
【請求項４】
特定地域における地物の変化を判定するための装置であって、
前記特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、画像取得手段と、
前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、３次元データ取得手段と、
前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、差分データ作成手段と、
ペア画像の差分データと地物の変化との関係を機械学習することによって得られている学習モデルに、前記差分データを適用して、前記特定地域における前記地物の変化を判定する、判定手段と、
を備えている、
ことを特徴とする地物変化判定装置。
【請求項５】
請求項４に記載の地物変化判定装置であって、
前記差分データ作成手段が、前記ペア画像の対応する画素のペア毎に、前記画素値の差分として、Ｒ値、Ｇ値、及びＢ値それぞれの差分を求める、
ことを特徴とする地物変化判定装置。
【請求項６】
請求項４または５に記載の地物変化判定装置であって、
前記地物が建物である場合に、
前記学習モデルは、前記ペア画像の差分データと、新築、滅失、改築、及び変化無しのいずれかを少なくとも含む前記地物の変化と、の関係を機械学習することによって、得られている、
ことを特徴とする地物変化判定装置。
【請求項７】
請求項４〜６のいずれかに記載の地物変化判定装置であって、
前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得する、ラベル取得手段と、
前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、学習モデル生成手段と、
を更に備えている、
ことを特徴とする地物変化判定装置。
【請求項８】
（ａ）特定地域を上空から時期を変えて撮影して得られたペア画像を取得し、
（ｂ）前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得し、
（ｃ）前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成し、
（ｄ）前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得し、
（ｅ）前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、
ことを特徴とする学習モデル生成方法。
【請求項９】
請求項８に記載の学習モデル生成方法であって、
前記（ｃ）において、前記ペア画像の対応する画素のペア毎に、前記画素値の差分として、Ｒ値、Ｇ値、及びＢ値それぞれの差分を求める、
ことを特徴とする学習モデル生成方法。
【請求項１０】
請求項８または９に記載の学習モデル生成方法であって、
前記地物が建物である場合に、
前記（ｄ）において、前記ペア画像の対応する１又は２以上の画素のペア毎に、前記ラベルとして、新築、滅失、改築、及び変化無しのいずれかを少なくとも含むラベルを取得する、
ことを特徴とする学習モデル生成方法。
【請求項１１】
特定地域における地物の変化を判定するための方法であって、
（ａ）前記特定地域を上空から時期を変えて撮影して得られたペア画像を取得すし、
（ｂ）前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得し、
（ｃ）前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成し、
（ｄ）ペア画像の差分データと地物の変化との関係を機械学習することによって得られている学習モデルに、前記差分データを適用して、前記特定地域における前記地物の変化を判定する、
ことを特徴とする地物変化判定方法。
【請求項１２】
請求項１１に記載の地物変化判定方法であって、
前記（ｃ）において、前記ペア画像の対応する画素のペア毎に、前記画素値の差分として、Ｒ値、Ｇ値、及びＢ値それぞれの差分を求める、
ことを特徴とする地物変化判定方法。
【請求項１３】
請求項１１または１２に記載の地物変化判定方法であって、
前記地物が建物である場合に、
前記学習モデルは、前記ペア画像の差分データと、新築、滅失、改築、及び変化無しのいずれかを少なくとも含む前記地物の変化と、の関係を機械学習することによって、得られている、
ことを特徴とする地物変化判定方法。
【請求項１４】
請求項１１〜１３のいずれかに記載の地物変化判定方法であって、更に、
（ｅ）前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得し、
（ｆ）前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、
ことを特徴とする地物変化判定方法。
【請求項１５】
コンピュータに、
（ａ）特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、ステップと、
（ｂ）前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、ステップと、
（ｃ）前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、ステップと、
（ｄ）前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得する、ステップと、
（ｅ）前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、ステップと、
を実行させる、プログラム。
【請求項１６】
請求項１５に記載のプログラムであって、
前記（ｃ）のステップにおいて、前記ペア画像の対応する画素のペア毎に、前記画素値の差分として、Ｒ値、Ｇ値、及びＢ値それぞれの差分を求める、
ことを特徴とするプログラム。
【請求項１７】
請求項１５または１６に記載のプログラムであって、
前記地物が建物である場合に、
前記（ｄ）のステップにおいて、前記ペア画像の対応する１又は２以上の画素のペア毎に、前記ラベルとして、新築、滅失、改築、及び変化無しのいずれかを少なくとも含むラベルを取得する、
ことを特徴とするプログラム。
【請求項１８】
コンピュータによって、特定地域における地物の変化を判定するためのプログラムであって、
前記コンピュータに、
（ａ）前記特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、ステップと、
（ｂ）前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、ステップと、
（ｃ）前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、ステップと、
（ｄ）ペア画像の差分データと地物の変化との関係を機械学習することによって得られている学習モデルに、前記差分データを適用して、前記特定地域における前記地物の変化を判定する、ステップと、
を実行させる、プログラム。
【請求項１９】
請求項１８に記載のプログラムであって、
前記（ｃ）のステップにおいて、前記ペア画像の対応する画素のペア毎に、前記画素値の差分として、Ｒ値、Ｇ値、及びＢ値それぞれの差分を求める、
ことを特徴とするプログラム。
【請求項２０】
請求項１８または１９に記載のプログラムであって、
前記地物が建物である場合に、
前記学習モデルは、前記ペア画像の差分データと、新築、滅失、改築、及び変化無しのいずれかを少なくとも含む前記地物の変化と、の関係を機械学習することによって、得られている、
ことを特徴とするプログラム。
【請求項２１】
請求項１８〜２０のいずれかに記載のプログラムであって、
前記コンピュータに、
（ｅ）前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得する、ステップと、
（ｆ）前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、ステップと、
を更に実行させる、
ことを特徴とするプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、一定期間の経過後の地物の変化を判定するための、地物変化判定装置、及び地物変化判定方法に関し、更には、これらを実現するためのプログラムに関する。また、本発明は、これらに用いられる学習モデルを生成するための学習モデル生成装置及び学習モデル生成方法にも関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の目的の一例は、上記問題を解消し、時間の経過による地物の変化を判定するに際して、外的要因による影響を抑制して判定精度の向上を図り得る、学習モデル生成装置、地物変化判定装置、学習モデル生成方法、地物変化判定方法、及びプログラムを提供することにある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
更に、上記目的を達成するため、本発明の一側面における第１のプログラムは、
コンピュータに、
（ａ）特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、ステップと、
（ｂ）前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、ステップと、
（ｃ）前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、ステップと、
（ｄ）前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得する、ステップと、
（ｅ）前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、ステップと、
を実行させる、ことを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
更に、上記目的を達成するため、本発明の一側面における第２のプログラムは、コンピュータによって、特定地域における地物の変化を判定するためのプログラムであって、
前記コンピュータに、
（ａ）前記特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、ステップと、
（ｂ）前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、ステップと、
（ｃ）前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、ステップと、
（ｄ）ペア画像の差分データと地物の変化との関係を機械学習することによって得られている学習モデルに、前記差分データを適用して、前記特定地域における前記地物の変化を判定する、ステップと、
を実行させる、ことを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
（付記１５）
コンピュータに、
（ａ）特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、ステップと、
（ｂ）前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、ステップと、
（ｃ）前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、ステップと、
（ｄ）前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得する、ステップと、
（ｅ）前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、ステップと、
を実行させる、プログラム。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００９３
【補正方法】変更
【補正の内容】
【００９３】
（付記１６）
付記１５に記載のプログラムであって、
前記（ｃ）のステップにおいて、前記ペア画像の対応する画素のペア毎に、前記画素値の差分として、Ｒ値、Ｇ値、及びＢ値それぞれの差分を求める、
ことを特徴とするプログラム。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
（付記１７）
付記１５または１６に記載のプログラムであって、
前記地物が建物である場合に、
前記（ｄ）のステップにおいてラベル取得部が、前記ペア画像の対応する１又は２以上の画素のペア毎に、前記ラベルとして、新築、滅失、改築、及び変化無しのいずれかを少なくとも含むラベルを取得する、
ことを特徴とするプログラム。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００９５
【補正方法】変更
【補正の内容】
【００９５】
（付記１８）
コンピュータによって、特定地域における地物の変化を判定するためのプログラムであって、
前記コンピュータに、
（ａ）前記特定地域を上空から時期を変えて撮影して得られたペア画像を取得する、ステップと、
（ｂ）前記ペア画像それぞれについて、被写体となっている地物の高さの情報を画素毎に保持する３次元データを取得する、ステップと、
（ｃ）前記ペア画像の対応する画素のペア毎に、画素値の差分及び前記３次元データで保持されている高さの差分を求め、求めた差分を含む差分データを作成する、ステップと、
（ｄ）ペア画像の差分データと地物の変化との関係を機械学習することによって得られている学習モデルに、前記差分データを適用して、前記特定地域における前記地物の変化を判定する、ステップと、
を実行させる、プログラム。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
（付記１９）
付記１８に記載のプログラムであって、
前記（ｃ）のステップにおいて、前記ペア画像の対応する画素のペア毎に、前記画素値の差分として、Ｒ値、Ｇ値、及びＢ値それぞれの差分を求める、
ことを特徴とするプログラム。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
（付記２０）
付記１８または１９に記載のプログラムであって、
前記地物が建物である場合に、
前記学習モデルは、前記ペア画像の差分データと、新築、滅失、改築、及び変化無しのいずれかを少なくとも含む前記地物の変化と、の関係を機械学習することによって、得られている、
ことを特徴とするプログラム。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【００９８】
（付記２１）
付記１８〜２０のいずれかに記載のプログラムであって、
前記コンピュータに、
（ｅ）前記ペア画像の対応する１又は２以上の画素のペア毎に、当該ペアに設定された、前記地物の変化を示すラベルを取得する、ステップと、
（ｆ）前記差分データと前記ラベルとを機械学習することによって、前記差分データと前記地物の変化との関係を特定する学習モデルを生成する、ステップと、
を更に実行させる、
ことを特徴とするプログラム。
【国際調査報告】
2020066755.tif 000019
2020066755.tif 000020