(57)【要約】【課題】本発明は、オルソ画像だけでなく、異なる撮影位置、照明条件、角度、縮尺で撮影された複数の画像からの変化抽出を可能とする。【解決手段】比較対照となる画像おのおのからフットプリント情報を抽出して、フットプリント情報を比較することで、変化を抽出する。【選択図】図１
2006065429.tif 000002
【特許請求の範囲】
【請求項１】
幾何特徴、画像特徴、空間特徴から構成される地物のフットプリント情報を２以上の撮影画像から作成し、
上記生成された複数のフットプリント情報を比較し、
上記比較により抽出される変化データを出力することを特徴とする画像の変化抽出方法。
【請求項２】
１の撮影画像からフットプリント情報を抽出し、
上記撮影画像から抽出した特徴点に基づいて他の撮影画像と重畳処理を行い、
上記撮影画像のフットプリントに対応する画像領域を上記他の撮影画像から抽出し、
上記抽出された画像領域から新たなフットプリント情報を抽出し、
上記２つのフットプリント情報を比較して変化情報を抽出し、出力することを特徴とする撮影画像の変化抽出方法。
【請求項３】
上記重畳処理は、上記特徴点と上記他の撮影画像から抽出した特徴点との類似度を算出することにより行い、さらに重畳のためのパラメータを算出することを特徴とする請求項２記載の撮影画像の変化抽出方法。
【請求項４】
上記画像領域の抽出は、エッジ情報の重複率と領域の包含率とに基づいて行うことを特徴とする請求項２又は３に記載の撮影画像の変化抽出方法。
【請求項５】
上記変化データの抽出は、上記２のフットプリント情報のサイズ、又は、上記フットプリント内の特徴量について行うことを特徴とする請求項２乃至４の何れかに記載の撮影画像の変化抽出方法。
【請求項６】
１の撮影画像から抽出したフットプリント情報と他の撮影画像の重畳する初期重畳処理部と、
上記フットプリントに対応する地物の新画像における画像領域を探索するフットプリントフィッティング部と、
上記探索された画像領域から抽出された新たなフットプリント情報と上記フットプリント情報とを比較し変化情報を抽出する変化抽出部を有することを特徴とする撮影画像の変化抽出装置。
【請求項７】
前記初期重畳処理部では、上記２の撮影画像の位置あわせパラメータを用いて、上記撮影画像のフットプリント情報の幾何変換を行うことを特徴とする請求項６記載の撮影画像の変化抽出装置。
【請求項８】
前記フットプリントフィッティング部では、エッジ情報と、領域包含率により上記画像領域を探索することを特徴とする請求項６又は７に記載の撮影画像の変化抽出装置。
【請求項９】
前記変化抽出部では、上記２のフットプリント情報を比較し、輪郭、輪郭内部領域の情報を抽出することを特徴とする請求項６乃至８の何れかに記載の撮影画像の変化抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、様々な撮影位置、照明条件、角度、縮尺で撮影された複数の画像から地物変化を抽出するための方法、及び、装置に関する。
【背景技術】
【０００２】
空中写真画像から地物変化の抽出方法としては、地域を撮影した静止画像と、平面数値地図あるいは立体数値地図とを用いるものがある。具体的には地図を画像に重畳し、図形テンプレートを用いて新規地物を画像から見つける技術（例えば、特許文献１参照）。
又、入力画像から求めた特徴量と、参照画像から求めた特徴量を比較して変化抽出する技術がある（例えば、特許文献２参照）。この技術においては特徴量として輪郭情報を用いている。
【０００３】
【特許文献１】特開２０００−３１０９４０号公報
【０００４】
【特許文献２】特開２００２−２０３２４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に開示された従来技術に関しては、適切な地図が存在しない場合には変化抽出ができなかった。また特許文献２に開示された従来技術に関しては、幾何特徴や画像特徴、関係特徴など複数特徴を用いて変化判定できなかった
本発明は、オルソ画像だけでなく、異なる撮影位置、照明条件、角度、縮尺で撮影された複数の画像から生成した地物輪郭特徴とその内部画像特徴および地物間の位置関係特徴からなる地物フットプリントを照合することにより地物変化を抽出することができる地物変化抽出装置を提供するものである。
【課題を解決するための手段】
【０００６】
本願で開示する発明の代表的なものは以下の通りである。
幾何特徴、画像特徴、空間特徴から構成される地物のフットプリント情報を２以上の撮影画像から作成して生成された複数のフットプリント情報を比較する。この比較により抽出される変化データを出力する画像の変化抽出方法。
【発明の効果】
【０００７】
本発明によると、特徴点の抽出と照合に基づく旧画像により作成したフットプリントと新画像との初期位置合わせと、エッジ照合及び輪郭形状内の領域包含率により旧フットプリントに対応する地物の新画像における画像領域を探索し、周囲の探索結果を利用して連動的に探索位置を修正することができる。また、新旧画像間の対応する地物の画像領域に対して、輪郭の照合だけでなく、地物輪郭内部の領域構成の特徴量に基づく地物変化について評価できる。
これにより、単眼視やオルソなどの新旧(航空、衛星)画像から変化情報を抽出することが容易に実現できる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を用いて本願発明の実施例を説明する。尚、以下説明する実施例は、コンピュータに読み込まれて実行されるプログラムで規定されるものであってもよいし、ハードウェア、又は両者の協調処理によって実現されるものであっても良い。
【０００９】
図１に、新旧画像の照合に基づいた地物の変化抽出処理の機能構成の一実施例を示す。
本発明の処理装置は、旧画像データ１０２、旧画像により作成した旧フットプリント１０１、新画像データ１０３などを入力データとする。さらに処理装置は、フットプリントと新画像との初期位置合わせを行う初期重畳処理部１０４と、旧フットプリントに対応する地物の新画像における画像領域を探索するためのフットプリントフィッティング部１０５と、新画像から抽出した新フットプリント１０６と旧フットプリント情報を比較することにより変化情報を抽出するための変化抽出部１０７を有し、変化データ１０８を装置の出力とする。
新旧画像１０２と１０３は、オルソ画像に限らず、撮影の時期や位置が異なり、照明条件、角度、縮尺等が異なる空中写真画像又は衛星画像である。本実施例では新旧画像との言葉を用いているが、当然に同時刻に撮影したものであっても構わない。
【００１０】
まず、地物のフットプリント情報について定義する。図３に示すように、フットプリントは、幾何特徴、画像特徴、空間特徴による三種類の特徴の何れか、又はその組み合わせから構成する。幾何特徴は、輪郭や内部の領域情報から構成される、内部特徴は１又は複数の領域毎に位置、サイズ、傾き方向などの情報の少なくとも１から構成される。さらに領域毎の輪郭線分の情報も用いることができる。画像特徴は色彩又はエッジ特徴の少なくとも１つから構成される。また、空間特徴は、地物の空間位置情報又は隣接地物間の位置関係から構成される。なお以下、旧画像から作成した地物フットプリント情報を「旧フットプリント」と呼び、新画像から抽出した地物フットプリント情報を「新フットプリント」と呼ぶ。
【００１１】
旧フットプリントは、旧画像上の地物領域内をクリックする等の指定入力に基づいて地物領域を自動的に抽出して領域の輪郭形状を抽出し、さらに内部特徴等を抽出することで作成でき例えば特開２００３−１４０４８２に記載の技術を用いることができる。または、人手で地物の輪郭形状を描画することによって作成してもよい。新フットプリントは、旧フットプリントを新画像に対応づけるフットプリントフィッティングにより得た新画像の地物領域から自動的に抽出する。尚、新フットプリントは次の変化抽出で旧フットプリントとして利用されることになる。
フットプリント情報は、変化抽出のたびに作成するか、又は、旧フットプリントについては記憶しておいたものを繰り返し利用してもよい。フットプリントの利用によって本願では変化抽出を容易に行うことができる。
【００１２】
次に図１に記載される各部の機能について説明する。 まず、新旧画像の照合による変化抽出処理のフローの一実施例を図２に示す。
新旧衛星画像とフットプリント情報の入力を行う（ステップ２０１）。次に初期重畳処理部１０４では、旧画像から特徴点を抽出し、図４にて後述する照合により新画像１０１との位置合わせのためのパラメータを算出する。そして、算出されたパラメータを用いて旧画像１０２から作成したフットプリント１０３を新画像の位置と合わせるように幾何変換を行う（ステップ２０２）。
【００１３】
ステップ２０３においては、フットプリントフィッティング部１０５が、エッジ照合、輪郭形状内の領域包含率により旧フットプリントに対応する地物の新画像１０１における画像領域を探索する。
さらに比較・変化抽出部１０７では、新旧画像間の対応する地物に対して、幾何、内部領域と空間特徴から構成される新旧フットプリント情報を比較することにより変化情報を抽出し（ステップ２０４）、変化データを出力する（ステップ２０５）する。
【００１４】
次に各部の処理について詳細に説明する。初期重畳処理２０２の初期重畳処理の一実施例を図４に示す。画像特徴の抽出（ステップ４０１）では、まず、異なる解像度の同一画像から構成されるピラミッド画像空間、例えば、段階的に解像度の高くなる同一領域の画像を仮想的に積み上げた空間、の中で、空間一次微分や二次微分などの画像処理オペレータにより、各画素の縦横方向での勾配の値を計算する。ピラミッド画像を利用することで、異なる縮尺の画像に対応した画像の特徴量を構築することができる。次に、ピラミッド画像空間の中で、元画像の同一の位置に対応する画素の勾配の値を求め、値が予め決めた閾値より大きく、隣接する画像の中で勾配が最も急な画素位置を代表的な画像位置（特徴点）とする。これにより、異なる解像度の画像空間の中で勾配の大きさに特徴を持つ画像位置を代表的な特徴点として選択できる。
【００１５】
次に、特徴点の画像特徴と傾き方向の算出を行う（ステップ４０２）。具体的には、元画像の画素ごとに、予め決められた大きさのウィンドウの中で輝度の平均値と分散値を計算する。次に、このウィンドウの中にある画素の輝度値、平均輝度値、輝度の分散値の少なくとも１つを特徴点の画像特徴とする。特徴点の傾き角度の算出では、まず、勾配値が予め決めた閾値より大きいエッジ位置を抽出する。次に、隣接したエッジ画素との間の勾配角度の差があらかじめ定めた値より小さいエッジ点を線分点の候補位置として選択し、ハフ変換で線分情報を求める。そして、特徴点との距離が最も近い線分を選択して特徴点の傾き角度とする。線分の長さが閾値より小さければ、この画素を特徴点としないように特徴点から排除する。
【００１６】
次に、新旧画像間の特徴点ペア（対応する特徴点ペア）を選択する（ステップ４０３）。まず、新旧画像の特徴点間の類似度を計算する。具体的には、新画像のある特徴点に対して、旧画像の任意特徴点との間で、傾き角度の差により新画像を回転して、特徴点の位置を中心として予め定められた大きさのウィンドウの中にある画素の輝度値、平均輝度値、輝度の分散値などの特徴点の画像特徴により類似度（ユークリッド距離）を計算する。このように、新画像の特徴点に対して、旧画像の特徴点から最も高い類似度を持つ特徴点を求める。更に、選択された旧画像の特徴点に対して、新画像の特徴点の中でその新画像の特徴点が最も高い類似度を持てれば、この二つの特徴点を新旧画像間の対応特徴点ペアとして選択する。
【００１７】
次に、重畳のためのパラメータを算出する（ステップ４０４）。ここでは、新旧画像間の位置あわせのための回転角度、シフトベクトル、倍率など、三つの位置合わせのためのパラメータを計算する。回転角度の算出では、まず、対応特徴ペアとして選択された特徴点ペア間の傾き角度の差を計算する。そして、対応特徴点ペア間の、傾き角度の差を用いて、角度差のヒストグラムを求める。これにより、一番高いヒストグラム値を持つ角度差を新旧画像間の位置合わせのための回転角度とする。
【００１８】
位置あわせの移動方向と距離を示すシフトベクトルの算出は、まず、前記対応特徴点ペアとして選択された特徴点ペア間のシフトベクトルを計算する。次に、すべての特徴点マッチングペア間のシフトベクトル移動方向(角度)と距離の平均値を計算し、平均シフトベクトルを求める。そして、平均シフトベクトルと同じ方向を持ち、シフト距離が予め決めた閾値より小さくなる対応特徴点ペアを選択し、再度平均シフトベクトルを求めて新旧画像間の位置合わせのためのシフトベクトルとする。
【００１９】
倍率の算出では、まず、前記対応特徴ペアとして選択された特徴点の中で、新画像に属する特徴点グループと旧画像に属する特徴点グループに分ける。次に、それぞれの特徴点グループにおいて特徴点間の距離の和を計算する。そして、距離の和の比率を新旧画像間の照合倍率とする。
フットプリントフィッティング２０３では、新画像において旧フットプリントに対応する画像領域を選択する。図５は、フットプリントフィッティングの全体処理フローの一実施例である。
【００２０】
まず新画像の領域分割を行う（ステップ５０１）。画像領域の分割では、境界情報を利用する。ここでの境界情報は、領域を囲む情報として、及び、領域間の区別をするために利用する。以下のステップでは、このように抽出した境界情報を用いて高精度の領域分割を行う。領域分割では、同一の境界領域の中に位置し、隣接画素間の色彩の差が予め決めた閾値より小さい画像領域を抽出する。ここで、空間１、２次微分で求めた勾配値が予め決めた閾値より大きい画像位置を検出することによりエッジ情報を抽出する。
次に、フィッティング評価値を計算する（ステップ５０２）。旧フットプリントの輪郭形状を中心とする新画像内の隣接画像領域において、旧フットプリントに対応する画像領域を決定する。このプロセスを、フットプリントフィッティングと言う。
【００２１】
【数１】
2006065429.tif 000003
【００２２】
【数２】
2006065429.tif 000004
【００２３】
上記２式を用いて、エッジ情報の重複率Ｍedgeと領域の包含率Ｍareaを計算する。数１の中で、FLは旧フットプリントの領域内にあるエッジ情報の画素数を表し、EPは旧フットプリントのエッジ情報と重なる新画像のエッジ画素数を表す。数２の中で、Ｓfootprintはフットプリントの領域面積を表し、数３はフットプリントの領域と重ねる画像領域の面積を表す。
次に、地物の画像位置を選択する（ステップ５０３）。予め決めた閾値より大きなエッジ情報の重複率（数１）を持ち、最大の領域包含率 (数２)を持つ画像位置があれば、フットプリントフィッティングの位置として選択する。以上の条件を満足する位置がなければ、旧画像にあるフットプリント位置をフットプリントフィッティングの位置として選択する。
【００２４】
次に、フットプリントフィッティングの協調補正を行う（ステップ５０４）。フットプリントフィッティング結果に基づいて、フットプリントフィッティングの位置の協調補正を行う。まず、協調補正の対象となるフットプリントのフィッティング位置を中心として予め決めた範囲からフットプリントのフィッティング位置を探す。次に、これらのフットプリントを適当な画像位置にフィッティングするための位置移動量と移動方向の平均値を求め、平均移動ベクトルを計算する。ここで協調補正の対象となるフットプリントを適当な画像位置にフィッティングするための移動距離と方向のそれぞれが上記求めた平均移動距離と方向との差が、予め決めた閾値以内であれば補正しないこととしても良い。閾値以上であれば、協調補正の対象となるフットプリントのフィッティング移動距離と方向のそれぞれが、最も近いフットプリントのフィッティングのための移動距離と方向との差が予め決めた閾値より小さければ、この最も近い地物のフィッティング移動ベクトルを協調補正の対象となるフットプリントのフィッティング移動ベクトルとする。閾値以上であれば、平均フィッティング移動ベクトルを選択する。
【００２５】
比較・変化抽出２０４では、フットプリントフィッティングにより決定された新画像において旧フットプリントに対応する画像位置から新フットプリント情報を抽出し、新旧フットプリント情報の照合により変化抽出を行う。図６は、フットプリントフィッティング処理のフローである。
まず、新旧フットプリントの画像領域を抽出する（ステップ６０１）。画像領域抽出では、ステップ５０１に述べる方式を利用する。旧画像から、旧フットプリントの輪郭形状に含まれる画像領域を抽出して旧フットプリントの画像領域とし、新画像から、フットプリントフィッティングされた画像位置から旧フットプリントの輪郭形状と重なる画像領域を抽出して新フットプリントの画像領域とする。
【００２６】
次に、新旧フットプリントの画像領域を重畳する（ステップ６０２）。フットプリントフィッティングの位置を基準として、新旧フットプリントの画像領域を重畳する。ステップ６０３、６０４では、すべての新フットプリントの画像領域に対して、新フットプリントの画像領域ごとに以下の処理で変化抽出の処理を行う。
まず、重畳した画像領域を選択する（ステップ６０３）。新フットプリントの画像領域と重畳した旧画像の領域を抽出する。
【００２７】
次に、領域の比較による変化領域を抽出する（ステップ６０４）。新フットプリント領域のサイズとステップ２で求めた旧フットプリントの領域のサイズを計算して比較する。領域サイズの差が予め決めた閾値より大きければ変化領域として抽出し、小さければ変化がない領域とする。図７には、変化領域抽出例を示す。
次に、フットプリント照合値を計算する（ステップ６０５）。数４に示すように、輪郭線分、輪郭領域内の特徴比較により照合値を計算する。
【００２８】
【数３】
2006065429.tif 000005
【００２９】
数３では、旧フットプリントxに対して、変化の評価関数C(X)を計算する。数３の中で、ωp、ωe、ωsは重み係数である。
P(x)、E(x)、S(x)は次に示す式、数４乃至６に示すように求める。
【００３０】
【数４】
2006065429.tif 000006
【００３１】
【数５】
2006065429.tif 000007
【００３２】
【数６】
2006065429.tif 000008
【００３３】
数４は新画像の中で対応線分が存在する旧フットプリントxの輪郭線分の比率を計算する関数を表し、数５は旧フットプリントxの輪郭線分と新画像中の対応する画像位置から抽出される線分間の重複比率を求める関数を表す。また、数６は変化領域比率を計算する関数を表す。
次に、変化を記述する（ステップ６０６）。上記計算した評価値を用いた変化に関する記述、例えば、「変化なし」、「改築」、「滅失」などの概念で変化を評価する。高い評価値に対して「変化なし」で、小さい評価値に対して「滅失」で、両者の真中にある評価値に対して「改築」と言う概念で表示する。
【００３４】
図８では、新旧（衛星写真、航空写真）画像の照合に基づく変化抽出の実施例を示す。まず、新旧画像、旧画像により作成した旧フットプリントなどを入力データ（８０１）とし、旧画像により作成したフットプリントと新画像との初期位置合わせのための初期重畳（８０２）を行う。次に、旧フットプリントに対応する地物の新画像における画像領域を探索するためのフットプリントフィッティング（８０３）を行い、新旧フットプリントの比較によりフットプリント照合値を計算して変化評価（８０４）を行う。上記求めた照合値により変化なし、改築、滅失などの変化について記述し、変化した領域（８０４の影部分）を出力する。
【図面の簡単な説明】
【００３５】
【図１】変化抽出処理装置の一実施例の構成図。
【図２】変化抽出処理の一実施例を説明するフロー。
【図３】地物のフットプリントの構成の一実施例を説明する図。
【図４】初期重畳処理の一実施例のフロー。
【図５】フットプリントフィッティング処理の一実施例のフロー。
【図６】比較・変化抽出処理の一実施例のフロー。
【図７】変化領域抽出の一実施例。
【図８】変化抽出実施例。
【符号の説明】
【００３６】
１０１  旧フットプリント
１０２  旧画像データ
１０３  新画像データ
１０４  初期重畳処理部
１０５  フットプリントフィッティング部
１０６  新フットプリント
１０７  比較・変化抽出部
１０８  変化データ。
【図１】
2006065429.tif 000009
【図２】
2006065429.tif 000010
【図３】
2006065429.tif 000011
【図４】
2006065429.tif 000012
【図５】
2006065429.tif 000013
【図６】
2006065429.tif 000014
【図７】
2006065429.tif 000015
【図８】
2006065429.tif 000016