(57)【特許請求の範囲】
【請求項１】
入力された２つの画像Ａ，Ｂについて、画像変化を求める画像変化抽出方法であって、
前記画像Ａから複数の微小領域を抽出する標本ステップと、
前記微小領域の対応箇所を前記画像Ｂ上からそれぞれ探索して、前記複数の微小領域の移動ベクトルを求める探索ステップと、
前記探索ステップで求めた前記移動ベクトルの群を、画像空間上に予め定められる扁平ブロックの単位に平滑化して、前記移動ベクトル群の連続性を高める協調ステップと、
前記探索ステップおよび前記協調ステップを反復して前記対応箇所の探索精度を上げ、前記移動ベクトル群を確定する反復ステップと、
前記反復ステップで確定した前記移動ベクトル群について、前記扁平ブロックの短軸方向の変化を検出し、前記画像Ａ，Ｂ間の断層変化を求める検出ステップと
を有することを特徴とする画像変化抽出方法。
【請求項２】
請求項１に記載の画像変化抽出方法において、
前記短軸方向の異なる複数種類の前記扁平ブロックについて、前記探索ステップ、前記協調ステップ、前記反復ステップおよび前記検出ステップを各実行し、前記画像Ａ，Ｂ間の断層変化を複数方向にわたって検出することを特徴とする画像変化抽出方法。
【請求項３】
入力された２つの画像Ａ，Ｂについて、画像変化を求める画像変化抽出方法であって、
前記画像Ａから複数の微小領域を抽出する標本ステップと、
前記微小領域の対応箇所を前記画像Ｂ上からそれぞれ探索して、前記複数の微小領域の移動ベクトルを求める探索ステップと、
前記探索ステップで求めた前記移動ベクトルの群をクラスタリングにより区分し、前記移動ベクトル群を前記区分ごとに平滑化して、前記移動ベクトル群の連続性を高める協調ステップと、
前記探索ステップおよび前記協調ステップを反復して前記対応箇所の探索精度を上げ、前記移動ベクトル群を確定する反復ステップと、
前記反復ステップで確定した前記移動ベクトル群について空間変化を検出し、前記画像Ａ，Ｂ間の断層変化を求める検出ステップと
を有することを特徴とする画像変化抽出方法。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の画像変化抽出方法において、
画像Ａ，Ｂを境界分割した細分画像の単位に、前記標本ステップ、前記探索ステップ、前記協調ステップ、前記反復ステップおよび前記検出ステップを各実行する
ことを特徴とする画像変化抽出方法。
【請求項５】
コンピュータに、
請求項１ないし請求項４のいずれか１項に記載の前記標本ステップ、前記探索ステップ、前記協調ステップ、前記反復ステップおよび前記検出ステップ
を実行させるための画像処理プログラム
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像間の変化を抽出する画像変化抽出方法およびそのプログラムに関する。
【０００２】
【従来の技術】
市街地図の更新、被災地の状況分析などの分野では、地理状況の変化を迅速に検出する方法が求められる。
従来、この種の方法として、撮影時期の異なる２枚の航空写真や高解像度衛星写真を、人手により比較する方法が知られている。この方法は、左右の眼で画像を個別に観測できる専門家が、画像間の違いを逐一検出するものである。
【０００３】
通常、２枚の画像間には、撮影位置やアングルやレンズ収差の違いにより、非線形な対応ズレが生じる。上述した専門家による比較作業は、この対応ズレを無意識に除去し、地理状況の変化のみを的確に検出できるという点で非常に優れた方法である。
【０００４】
ところで、このような比較作業を機械化する場合、画像間の非線形な対応ズレを如何に補正するかが重要な問題になる。この対応ズレの補正には、ゴム膜上の画像を部分的に伸縮するような非線形写像が必要になる。
【０００５】
本発明者は、特開平７−２３９９３５号公報において、このような処理に適した非線形写像を提案している。この非線形写像は、下記▲１▼〜▲４▼の手順に従って概略実施される。
▲１▼画像空間上の複数箇所について画像間の対応箇所を検索し、複数の移動ベクトルを暫定的に決定するステップ
▲２▼画像は連続的に変形するという前提に基づき、求めた移動ベクトル群を平滑化処理し、移動ベクトル群の空間連続性を高めるステップ
▲３▼上記動作を反復して移動ベクトル群の検出精度を高め、移動ベクトル群を確定するステップ
▲４▼確定した移動ベクトル群を用いて、画像間の対応ズレを補正するステップ
この非線形写像により画像間の対応ズレを補正した後に、画像比較を行うことにより、地理状況の変化を的確に検出することが可能になる。
【０００６】
【発明が解決しようとする課題】
ところで、阪神淡路大震災などの大規模地震では、断層の発生が報告されている。このような断層検出は、地震のメカニズムを明らかにしたり、地震予知の予備情報を得る上で、重要な意味をもっている。
この種の断層の多くは、航空写真や衛星写真の画像上において、断層部を境にした２〜５画素程度の非連続な画像ズレとして現れる。
【０００７】
上述した非線形写像では、この断層部の非連続な画像ズレが、移動ベクトルの平滑化の過程で周辺に波及する。そのため、補正後の画像データは、断層部のぼけた画像データになりやすく、画像比較において断層部の境界を明確に検出することが困難になる。
【０００８】
そこで、本発明は、画像間に生じた断層変化を明確に検出する画像変化抽出方法およびそのプログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述した課題を解決するため、本発明は下記のように構成される。
【００１０】
《請求項１》
請求項１に記載の発明は、入力された２つの画像Ａ，Ｂについて、画像変化を求める画像変化抽出方法であって、画像Ａから複数の微小領域を抽出する標本ステップと、微小領域の対応箇所を画像Ｂ上からそれぞれ探索して、複数の微小領域の移動ベクトルを求める探索ステップと、探索ステップで求めた移動ベクトルの群を、画像空間上に予め定められる扁平ブロックの単位に平滑化して、移動ベクトル群の連続性を高める協調ステップと、探索ステップおよび協調ステップを反復して対応箇所の探索精度を上げ、移動ベクトル群を確定する反復ステップと、反復ステップで確定した移動ベクトル群について、扁平ブロックの短軸方向の変化を検出し、画像Ａ，Ｂ間の断層変化を求める検出ステップとを有することを特徴とする。
【００１１】
《請求項２》
請求項２に記載の発明は、請求項１に記載の画像変化抽出方法において、短軸方向の異なる複数種類の扁平ブロックについて、探索ステップ、協調ステップ、反復ステップおよび検出ステップを各実行し、画像Ａ，Ｂ間の断層変化を複数方向にわたって検出することを特徴とする。
【００１２】
《請求項３》
請求項３に記載の発明は、入力された２つの画像Ａ，Ｂについて、画像変化を求める画像変化抽出方法であって、画像Ａから複数の微小領域を抽出する標本ステップと、微小領域の対応箇所を画像Ｂ上からそれぞれ探索して、複数の微小領域の移動ベクトルを求める探索ステップと、探索ステップで求めた移動ベクトルの群をクラスタリングにより区分し、移動ベクトル群をその区分ごとに平滑化して、移動ベクトル群の連続性を高める協調ステップと、探索ステップおよび協調ステップを反復して対応箇所の探索精度を上げ、移動ベクトル群を確定する反復ステップと、反復ステップで確定した移動ベクトル群について空間変化を検出し、画像Ａ，Ｂ間の断層変化を求める検出ステップとを有することを特徴とする。
【００１３】
《請求項４》
請求項４に記載の発明は、請求項１ないし請求項３のいずれか１項に記載の画像変化抽出方法において、画像Ａ，Ｂを境界分割した細分画像の単位に、標本ステップ、探索ステップ、協調ステップ、反復ステップおよび検出ステップを各実行することを特徴とする。
【００１４】
《請求項５》
請求項５に記載のプログラムは、コンピュータに、請求項１ないし請求項４のいずれか１項に記載の標本ステップ、探索ステップ、協調ステップ、反復ステップおよび検出ステップを実行させることを特徴とする。
【００１５】
【発明の実施の形態】
以下、本発明における実施の形態を説明する。
【００１６】
《第１の実施形態》
第１の実施形態は、請求項１，２、５に対応する実施形態である。
図１は、コンピュータ上で実行される画像変化抽出方法（画像処理プログラム）を説明する流れ図である。図２は、処理過程の様子を示す図である。
以下、図１に示すステップ番号の順に、画像変化抽出方法を説明する。
【００１７】
ステップＳ１：  コンピュータは、撮影時点の異なる２枚の画像Ａ，Ｂを取得する。
【００１８】
ステップＳ２：  コンピュータは、画像Ａから微小領域を所定間隔おきに抽出する。
【００１９】
ステップＳ３：  コンピュータは、各微小領域に対応付けて、メモリ上に移動ベクトルを作成する。この移動ベクトルは、画像Ａ上の微小領域を始点とし、画像Ｂ上の対応箇所を終点とするベクトルデータである。コンピュータは、これらの移動ベクトルの要素を（０，０）に初期化する。
【００２０】
ステップＳ４：  コンピュータは、画像Ｂ上において、各移動ベクトルの終点近傍に、探索範囲を設定する。コンピュータは、この探索範囲内から、微小領域に略一致する対応箇所を探索する。このような探索には、例えば、残差逐次検定法などのテンプレートマッチング法が使用される。コンピュータは、これらの探索結果に基づいて、微小領域毎に移動ベクトルを更新する。
【００２１】
ステップＳ５：  コンピュータは、ステップＳ４における移動ベクトルの更新状況から、移動ベクトル群が収束したか否かを判定する。
ここで、移動ベクトル群が収束していない場合、コンピュータはステップＳ６に動作を移行する。
一方、移動ベクトル群が収束した場合、コンピュータはステップＳ７に動作を移行する。
【００２２】
ステップＳ６：  コンピュータは、移動ベクトル毎に横長の扁平ブロックＨ（図２参照）を設定する。コンピュータは、扁平ブロックＨ毎に移動ベクトルのメディアンを求め、移動ベクトルの空間連続性を横方向に高める。この動作の後、コンピュータはステップＳ４に動作を戻す。その結果、移動ベクトル群が収束するまで、ステップＳ４〜Ｓ６の動作が反復される。
【００２３】
ステップＳ７：  一方、移動ベクトル群が収束した場合、コンピュータは、移動ベクトル群について縦方向に空間微分（差分）を求める。コンピュータは、この空間微分から、移動ベクトルが縦方向に非連続変化している箇所（図２中の断層ラインＦ２）を求める。
【００２４】
ステップＳ８：  コンピュータは、移動ベクトル群の要素を（０，０）に初期化する。
【００２５】
ステップＳ９：  コンピュータは、画像Ｂ上において、各移動ベクトルの終点近傍に、探索範囲を設定する。コンピュータは、この探索範囲内から、微小領域に略一致する対応箇所を探索する。このような探索には、例えば、残差逐次検定法などが使用される。コンピュータは、これらの探索結果に基づいて、微小領域毎に移動ベクトルを更新する。
【００２６】
ステップＳ１０：  コンピュータは、ステップＳ９における移動ベクトルの更新状況から、移動ベクトル群が収束したか否かを判定する。
ここで、移動ベクトル群が収束していない場合、コンピュータはステップＳ１１に動作を移行する。
一方、移動ベクトル群が収束した場合、コンピュータはステップＳ１２に動作を移行する。
【００２７】
ステップＳ１１：  コンピュータは、移動ベクトル毎に縦長の扁平ブロックＶ（図２参照）を設定する。コンピュータは、扁平ブロックＶ毎に移動ベクトルのメディアンを求め、移動ベクトルの空間連続性を縦方向に高める。この動作の後、コンピュータはステップＳ９に動作を戻す。その結果、移動ベクトル群が収束するまで、ステップＳ９〜Ｓ１１の動作が反復される。
【００２８】
ステップＳ１２：  一方、移動ベクトル群が収束した場合、コンピュータは、移動ベクトル群について横方向に空間微分（差分）を求める。コンピュータは、この空間微分から、移動ベクトルが横方向に非連続変化している箇所（図２中の断層ラインＦ１）を求める。
【００２９】
ステップＳ１３：  コンピュータは、ステップＳ７およびステップＳ１２で求めた空間微分を合成し、断層変化の箇所を特定する。
【００３０】
上述した一連の動作により、画像Ａ，Ｂ間に生じた断層変化の場所（図２中の断層ラインＦ１，Ｆ２）を求めることが可能になる。
次に、別の実施形態について説明する。
【００３１】
《第２の実施形態》
第２の実施形態は、請求項３，５に対応する実施形態である。
図３は、コンピュータ上で実行される画像変化抽出方法（画像処理プログラム）を説明する流れ図である。図４および図５Ａは、処理過程の様子を示す概念図である。
以下、図３のステップ番号の順に、画像変化抽出方法を説明する。
【００３２】
ステップＳ２１：  コンピュータは、撮影時点の異なる２枚の画像Ａ，Ｂを取得する。
【００３３】
ステップＳ２２：  コンピュータは、画像Ａから微小領域を所定間隔おきに抽出する。
【００３４】
ステップＳ２３：  コンピュータは、各微小領域に対応付けて、メモリ上に移動ベクトルを作成する。この移動ベクトルは、画像Ａ上の微小領域を始点とし、画像Ｂ上の対応箇所を終点とするベクトルデータである。コンピュータは、これらの移動ベクトルの要素を（０，０）に初期化する。
【００３５】
ステップＳ２４：  コンピュータは、画像Ｂ上において、各移動ベクトルの終点近傍に、探索範囲を設定する。コンピュータは、この探索範囲内から、微小領域に略一致する対応箇所を探索する。このような探索には、例えば、残差逐次検定法などのテンプレートマッチング法が使用される。コンピュータは、これらの探索結果に基づいて、微小領域毎に移動ベクトルを更新する。
【００３６】
ステップＳ２５：  コンピュータは、ステップＳ２４における移動ベクトルの更新状況から、移動ベクトル群が収束したか否かを判定する。
ここで、移動ベクトル群が収束していない場合、コンピュータはステップＳ２６に動作を移行する。
一方、移動ベクトル群が収束した場合、コンピュータはステップＳ２８に動作を移行する。
【００３７】
ステップＳ２６：  図４に示すように、コンピュータは、移動ベクトルのＸＹ成分値に基づいて、クラスタリングを実行する。このクラスタリングにより、移動ベクトル群は複数の区分（図５Ａに示す区分Ｒ１，Ｒ２）に分割される。ここでのクラスタリングには、例えば、Ｋ平均アルゴリズム法などが使用される。
【００３８】
ステップＳ２７：  コンピュータは、区分ごとに移動ベクトルのメディアンを求める。なお、ここでのメディアン処理は、一つの区分の全域にわたって行ってもよいし、区分内の局所ブロック単位に各実行してもよい。このような処理により、区分ごとに独立して、移動ベクトルの空間連続性が高められる。
このような動作の後、コンピュータはステップＳ２４に動作を戻す。その結果、移動ベクトル群が収束するまで、ステップＳ２４〜２７の動作が反復される。
【００３９】
ステップＳ２８：  一方、移動ベクトル群が収束した場合、コンピュータは、移動ベクトル群について、縦方向および横方向の空間微分（差分）を求める。コンピュータは、この空間微分から、移動ベクトルが非連続変化している箇所（図５Ａに示す断層ラインＦ３，Ｆ４）を求める。
【００４０】
《第２の実施形態の処理結果について》
第２の実施形態における具体的な処理過程を、図６Ａ〜Ｃに示す。
図６Ａは、断層を生じる前の画像Ａである。一方、図６Ｂは、断層を生じた後の画像Ｂである。
図６Ｃは、これらの画像Ａ、Ｂに上述した処理（図３に示す流れ図）を施し、断層変化を検出した図である。この図６Ｃからは、画像Ａ、Ｂの間において矩形状の断層変化が画面左下に生じたことが分かる。
【００４１】
《実施形態の補足事項》
なお、上述した第１および第２の実施形態では、メディアン処理により移動ベクトル群を平滑化している。しかしながら、本発明はこれに限定されるものではない。例えば、平均化処理や多数決処理により、移動ベクトル群を平滑化してもよい。
【００４２】
また、上述した第１および第２の実施形態では、画像全体を一度に処理する場合について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、請求項４に記載するように、画像Ａ，Ｂを境界分割した細分画像の単位に処理を実行してもよい。
【００４３】
また、第１の実施形態では、縦長または横長の扁平ブロックを用いて、断層変化を検出している。しかしながら、本発明はこれに限定されるものではない。例えば、斜めに傾いた扁平ブロックなどを使用してもよい。
【００４４】
なお、第２の実施形態では、図５Ａに示すように、２つの区分Ｒ１，Ｒ２に分割する場合について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、図５Ｂに示すように、クラスタリングにより３つ以上の区分Ｒ１〜Ｒ３に分割してもよい。この場合、より細かく断層変化を検出することが可能になる。
【００４５】
また、第２の実施形態では、移動ベクトルのＸＹ成分値に基づいて、クラスタリングを実行している。しかしながら、本発明はこれに限定されるものではない。例えば、移動ベクトルの極座標値に基づいて、クラスタリングを実行してもよい。この場合、移動ベクトルの方向または大きさを基準にして、クラスタリングを実行することが可能になる。
【００４６】
【発明の効果】
《請求項１》
請求項１の画像変化抽出方法では、移動ベクトルを扁平ブロック単位に平滑化する。
通常、探索ステップのミスにより生じる移動ベクトルの矛盾（非連続的変化）は、単発的に生じるものであり、断層変化のような方向性は見られない。したがって、単発的な移動ベクトルの矛盾については、扁平ブロックの偏った形状に係わらず、扁平ブロック単位の平滑化により十分にうち消すことができる。
一方、断層部では、断層ラインを境にして移動ベクトル群に非連続変化が生じる。ここで、扁平ブロックの長軸方向が断層ラインの方向に略一致する場合を想定する。このとき、移動ベクトル群の変化の方向は、扁平ブロックの短軸方向に略一致する。そのため、長軸方向主体となる扁平ブロック単位の平滑化を行っても、断層ライン上の非連続的変化は殆どうち消されない。
このように本発明では、探索ミスによる単発的な非連続的変化を軽減し、かつ長軸方向に延びる断層ライン上の非連続的変化を良好に保存する。
したがって、移動ベクトルの確定後、扁平ブロックの短軸方向について移動ベクトル群の非連続的変化を検出することにより、画像間に生じた断層変化を的確に検出することが可能になる。
【００４７】
《請求項２》
請求項２の画像変化抽出方法では、短軸方向の異なる複数種類の扁平ブロックについて、探索ステップ、協調ステップ、反復ステップおよび検出ステップを各実行する。その結果、画像空間上を複数方向に走る断層変化を的確に検出することが可能になる。
【００４８】
《請求項３》
請求項３の画像変化抽出方法では、移動ベクトル群をクラスタリングにより区分し、その区分ごとに独立して移動ベクトル群の平滑化を行う。
通常、探索ステップのミスにより生じる移動ベクトルの矛盾（非連続的変化）は、単発的に生じる。そのため、区分ごとの平滑化処理によって十分に軽減することができる。
一方、画像間に断層変化があった場合、断層ラインを境にして移動ベクトル群が変化する。したがって、上記クラスタリングでは、断層ラインを境に移動ベクトル群が区分される可能性が高い。そのため、区分ごとの平滑化処理では、断層ラインにまたがって移動ベクトルが平滑化されるおそれが少なく、断層ライン上の非連続的変化は殆どうち消されない。
このように本発明では、探索ミスによる単発的な非連続的変化を軽減し、かつ断層ライン上の非連続的変化を良好に保存する。
したがって、移動ベクトルの確定後、移動ベクトル群の非連続的変化を検出することにより、画像間に生じた断層変化を的確に検出することが可能になる。
【００４９】
《請求項４》
請求項４の画像変化抽出方法では、画像Ａ，Ｂを境界分割した細分画像の単位に、標本ステップ、探索ステップ、協調ステップ、反復ステップおよび検出ステップを各実行する。
特に、請求項３のようにクラスタリングを行う場合には、処理単位を細分化することによってクラスタリングの処理負荷を軽減することが可能になる。
さらに、請求項３の場合には、クラスタリング後の領域の大きさを、細分画像の大きさで予め制限しておくことができる。この場合、平滑化処理が必要以上に広範囲に行われるおそれがなくなり、非線形写像による画像間の対応ズレ補正を適正に行うことが可能になる。
【００５０】
《請求項５》
請求項５に記載のプログラムは、コンピュータに、請求項１〜４のいずれか１項に記載の標本ステップ、探索ステップ、協調ステップ、反復ステップおよび検出ステップを実行させる。したがって、コンピュータ上において、請求項１〜４のいずれか１項に記載の画像変化抽出方法を実行することが可能になる。
【図面の簡単な説明】
【図１】第１の実施形態における画像変化抽出方法を説明する流れ図である。
【図２】第１の実施形態の処理過程を説明する図である。
【図３】第２の実施形態における画像変化抽出方法を説明する流れ図である。
【図４】第２の実施形態におけるクラスタリングを説明する図である。
【図５】第２の実施形態の処理過程を説明する図である。
【図６】第２の実施形態の処理結果を示すためのディスプレー上の中間調画像の写真である。
【符号の説明】
Ｈ  横長の扁平ブロック
Ｖ  縦長の扁平ブロック
Ｒ１〜Ｒ３  クラスタリングにより分割された領域
Ｆ１〜Ｆ５  断層ライン
【図１】
0003539632.tif 000002
【図２】
0003539632.tif 000003
【図３】
0003539632.tif 000004
【図４】
0003539632.tif 000005
【図５】
0003539632.tif 000006
【図６】
0003539632.tif 000007