(57)【要約】【課題】回転移動や球面歪みその他の複雑な対応ズレを含む画像Ａ，Ｂ間において、変化域を精度よく抽出する。【解決手段】本発明は次のステップを有する。（１）画像Ａから複数の微小領域を抽出する標本ステップ。（２）微小領域の対応箇所を画像Ｂの探索範囲内で探索して、微小領域の移動ベクトルを求める探索ステップ。（３）探索ステップで求めた移動ベクトル群を平滑化する協調ステップ。（４）平滑された移動ベクトル群に従って探索範囲をずらしながら、探索ステップおよび協調ステップを反復して移動ベクトル群を確定する反復ステップ。（５）確定した移動ベクトル群に基づいて画像Ａ，Ｂ間の画像比較を行って画像Ａ，Ｂ間の絵柄の変化を求める変化検出ステップ。特に、反復開始時の探索範囲を、移動ベクトルを確定時の探索範囲より広域に設定し、探索範囲を段階的に狭めることを特徴とする。【選択図】        図１
2004280462.tif 000002
【特許請求の範囲】
【請求項１】
入力された２つの画像Ａ，Ｂについて、画像変化を求める画像変化抽出方法であって、
前記画像Ａから複数の微小領域を抽出する標本ステップと、
前記微小領域の対応箇所を前記画像Ｂの探索範囲内でそれぞれ探索して、前記複数の微小領域の移動ベクトルを求める探索ステップと、
前記探索ステップで求めた前記移動ベクトルの群を平滑化して、前記移動ベクトル群の連続性を高める協調ステップと、
前記協調ステップで平滑された移動ベクトル群に従って前記探索ステップの前記探索範囲をずらしながら、前記探索ステップおよび前記協調ステップを反復することで前記対応箇所の探索精度を上げ、前記移動ベクトル群を確定する反復ステップと、
確定した前記移動ベクトル群に基づいて、前記画像Ａと前記画像Ｂとの移動前後の画像比較を行い、前記画像Ａと前記画像Ｂとの絵柄の変化を求める変化検出ステップとを有し、
前記反復ステップにおいて、反復開始時の前記探索範囲を、前記移動ベクトルを確定する際の前記探索範囲よりも広域に設定し、反復の進行に従って前記探索範囲を段階的に狭める
ことを特徴とする画像変化抽出方法。
【請求項２】
入力された２つの画像Ａ，Ｂについて、画像変化を求める画像変化抽出方法であって、
前記画像Ａから複数の微小領域を抽出する標本ステップと、
前記微小領域の対応箇所を前記画像Ｂの探索範囲内でそれぞれ探索して、前記複数の微小領域の移動ベクトルを求める探索ステップと、
前記探索ステップで求めた前記移動ベクトルの群を平滑化して、前記移動ベクトル群の連続性を高める協調ステップと、
前記協調ステップで平滑化された前記移動ベクトル群に従って前記探索ステップの前記探索範囲をずらしながら、前記探索ステップおよび前記協調ステップを反復することで前記対応箇所の探索精度を上げ、前記移動ベクトル群を確定する反復ステップと、
確定した前記移動ベクトル群に基づいて、前記画像Ａと前記画像Ｂとの移動前後の画像比較を行い、前記画像Ａと前記画像Ｂとの絵柄の変化を求める変化検出ステップとを有し、
前記協調ステップにおいて、前記平滑化によって所定量以上にベクトル変化を生じる前記移動ベクトルを選別し、選別した前記移動ベクトルに限定して前記平滑化を施す
ことを特徴とする画像変化抽出方法。
【請求項３】
入力された２つの画像Ａ，Ｂについて、画像変化を求める画像変化抽出方法であって、
前記画像Ａから複数の微小領域を抽出する標本ステップと、
前記微小領域の対応箇所を前記画像Ｂの探索範囲内でそれぞれ探索して、前記複数の微小領域の移動ベクトルを求める探索ステップと、
前記探索ステップで求めた前記移動ベクトルの群を平滑化して、前記移動ベクトル群の連続性を高める協調ステップと、
前記協調ステップで平滑化された前記移動ベクトル群に従って前記探索ステップの前記探索範囲をずらしながら、前記探索ステップおよび前記協調ステップを反復することで前記対応箇所の探索精度を上げ、前記移動ベクトル群を確定する反復ステップと、
確定した前記移動ベクトル群に基づいて、前記画像Ａと前記画像Ｂとの移動前後の画像比較を行い、前記画像Ａと前記画像Ｂとの絵柄の変化を求める変化検出ステップとを有し、
前記探索ステップでは、前記微小領域の前記画像Ｂ上における局所的な歪み変化を近傍の前記移動ベクトル群を内挿して求め、前記微小領域に前記歪み変化を施した歪み画像の対応箇所を前記画像Ｂから探索する
ことを特徴とする画像変化抽出方法。
【請求項４】
入力された２つの画像Ａ，Ｂについて、画像変化を求める画像変化抽出方法であって、
前記画像Ａから複数の微小領域を抽出する標本ステップと、
前記微小領域の対応箇所を前記画像Ｂの探索範囲内でそれぞれ探索して、前記複数の微小領域の移動ベクトルを求める探索ステップと、
前記探索ステップで求めた前記移動ベクトルの群を平滑化して、前記移動ベクトル群の連続性を高める協調ステップと、
前記協調ステップで平滑化された前記移動ベクトル群に従って前記探索ステップの前記探索範囲をずらしながら、前記探索ステップおよび前記協調ステップを反復することで前記対応箇所の探索精度を上げ、前記移動ベクトル群を確定する反復ステップと、
確定した前記移動ベクトル群に基づいて、前記画像Ａと前記画像Ｂとの移動前後の画像比較を行い、前記画像Ａと前記画像Ｂとの絵柄の変化を求める変化検出ステップとを有し、
前記変化検出ステップでは、前記移動ベクトル群を内挿して前記画像Ａ，Ｂ間の局所的な歪み変化を求め、前記画像Ａ，Ｂ間の前記歪み変化を補正した上で画像比較を行い、前記画像Ａと前記画像Ｂとの絵柄の変化を求める
ことを特徴とする画像変化抽出方法。
【請求項５】
入力された２つの画像Ａ，Ｂについて、画像変化を求める画像変化抽出方法であって、
前記画像Ａから複数の微小領域を抽出する標本ステップと、
前記微小領域の対応箇所を前記画像Ｂの探索範囲内でそれぞれ探索して、前記複数の微小領域の移動ベクトルを求める探索ステップと、
前記探索ステップで求めた前記移動ベクトルの群を平滑化して、前記移動ベクトル群の連続性を高める協調ステップと、
前記協調ステップで平滑化された前記移動ベクトル群に従って前記探索ステップの前記探索範囲をずらしながら、前記探索ステップおよび前記協調ステップを反復することで前記対応箇所の探索精度を上げ、前記移動ベクトル群を確定する反復ステップと、
確定した前記移動ベクトル群に基づいて、前記画像Ａと前記画像Ｂとの移動前後の画像比較を所定の標本間隔で行い、前記画像Ａと前記画像Ｂとの絵柄の変化を求める変化検出ステップとを有し、
前記変化検出ステップは、前記標本間隔を変化させることにより、前記画像Ａ，Ｂ間の誤差分布を複数求め、複数の前記誤差分布を合成することによって前記画像Ａと前記画像Ｂとの絵柄の変化を求める
ことを特徴とする画像変化抽出方法。
【請求項６】
入力された２つの画像Ａ，Ｂについて、画像変化を求める画像変化抽出方法であって、
前記画像Ａから複数の微小領域を抽出する標本ステップと、
前記微小領域の対応箇所を前記画像Ｂの探索範囲内でそれぞれ探索して、前記複数の微小領域の移動ベクトルを求める探索ステップと、
前記探索ステップで求めた前記移動ベクトルの群を平滑化して、前記移動ベクトル群の連続性を高める協調ステップと、
前記協調ステップで平滑された移動ベクトル群に従って前記探索ステップの前記探索範囲をずらしながら、前記探索ステップおよび前記協調ステップを反復することで前記対応箇所の探索精度を上げ、前記移動ベクトル群を確定する反復ステップと、
確定した前記移動ベクトル群に基づいて、前記画像Ａと前記画像Ｂとの移動前後の画像比較を行い、前記画像Ａと前記画像Ｂとの絵柄の変化を求める変化検出ステップとを有し、
前記標本ステップは、抽出サイズや抽出位置をずらすことで、異なる標本区分の前記微小領域を抽出し、
前記反復ステップは、異なる標本区分それぞれについて、移動ベクトル群の確定を行い、
前記変化検出ステップは、異なる標本区分で求めた移動ベクトル群それぞれについて前記画像Ａ，Ｂ間の誤差分布を求め、複数求めた前記誤差分布を合成処理することによって、前記画像Ａと前記画像Ｂとの絵柄の変化を求める
ことを特徴とする画像変化抽出方法。
【請求項７】
コンピュータに、
請求項１ないし請求項６のいずれか１項に記載の前記標本ステップ、前記探索ステップ、前記協調ステップ、前記反復ステップ、および前記変化検出ステップを実行させるための画像処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像間の変化を抽出する画像変化抽出方法およびそのプログラムに関する。
【０００２】
【従来の技術】
市街地図の更新、被災地の状況分析などの分野では、地理状況の変化を迅速に検出する方法が求められる。
従来、この種の方法として、撮影時期の異なる２枚の航空写真や高解像度衛星写真を、人手により画像比較する方法が知られている。この方法は、左右の眼で画像を個別に観測できる専門家が、画像間の違いを逐一検出するものである。
【０００３】
通常、この種の画像間には、撮影位置やアングルなどの違いにより、複雑な対応ズレが生じる。上述したような人手による比較作業では、専門家がこの対応ズレを習熟した技術によって適切に除去し、地理状況の変化のみを的確に検出できる。
ところで、このような比較作業を機械化する場合、地理状況の変化とは無関係な画像間の対応ズレを如何に除去するかが重要な問題になる。
【０００４】
このような対応ズレの除去に適した方法として、非線形写像法が従来知られている（例えば、下記の特許文献１参照）。
この非線形写像法は、撮影時期の異なる２枚の画像Ａ，Ｂを、下記の手順で処理する。
▲１▼画像Ａを複数の微小領域に区分する。画像Ｂから、これら微小領域の対応箇所をそれぞれ探索し、移動ベクトル群を求める。
▲２▼画像は連続的に変形するという前提に基づき、求めた移動ベクトル群を平滑化により協調させ、空間連続性を高める。
▲３▼上記▲１▼▲２▼の処理を反復することで移動ベクトル群の検出精度を高め、移動ベクトル群を確定する。
▲４▼確定した移動ベクトルに基づいて、画像Ａ，Ｂから移動前後の微小領域を抽出する。この移動前後の微小領域の間で平均二乗誤差を求めることにより、画像Ａ，Ｂ間の画像変化を示す変化域抽出画像を得る。
【０００５】
このような処理により、画像間の対応ズレを補正しつつ、地理状況の変化を的確に検出することが可能になる。
【特許文献１】
特開平７−２３９９３５号公報
【０００６】
【発明が解決しようとする課題】
図９（ａ）〜（ｄ）は、従来の非線形写像法の結果を示す図である。図中の左側は、確定した移動ベクトル群を示し、図中の右側は、変化域抽出画像を示す。これらの変化域抽出画像は、変化域を明るい色（白）で示し、非変化域を暗い色（黒）で示したものである。
図９（ａ）は、画像間に対応ズレがないケースである。図９（ｂ）は、画像間に平行移動の対応ズレが存在するケースである。図９（ｃ）は、画像間に回転移動の対応ズレが存在するケースである。図９（ｄ）は、画像間に球面歪みの対応ズレが存在するケースである。
一方、図９（ｅ）は、専門家が地理状況の変化を判読して作成した変化域抽出画像である。
【０００７】
これらの変化域抽出画像を比較すると、従来の非線形写像法は、歪みなしおよび平行移動の両ケースにおいて、専門家の判読結果と遜色ない結果を得ている。
一方、回転移動や球面歪みといった複雑な対応ズレを含むケースでは、非変化域を変化域と誤って検出する頻度が高くなり、従来の非線形写像法では変化域抽出が困難であることが分かる。
【０００８】
図１０は、上記の変化域抽出画像を、ＲＯＣ（Ｒｅｃｅｉｖｅｒ  Ｏｐｅｒａｔｉｎｇ  Ｃｈａｒａｃｔｅｒｉｓｔｉｃ）曲線を用いて定量的に評価した結果である。ＲＯＣ曲線の横軸は、非変化域を変化域として誤検出する割合（ＰＦ値）であり、縦軸は、変化域を変化域として正しく検出する割合（ＰＤ値）である。上記の変化域抽出画像を変化域／非変化域に２値化する際の閾値をずらしながらＰＦ値およびＰＤ値をそれぞれ求めてプロットすることにより、図１０のＲＯＣ曲線を作成できる。
【０００９】
このＲＯＣ曲線の立ち上がりが鋭いほど、変化域の抽出精度が高いことを表す。このＲＯＣ曲線の定量評価によっても、従来の非線形写像法は、画像間に回転移動や球面歪みがあると、変化域の抽出精度が低下することが分かる。
本発明では、上記のような問題に鑑みて、回転移動や球面歪みのような複雑な対応ズレを有する画像間において、正確な変化域抽出を可能とする技術を提供することを目的とする。
【００１０】
【課題を解決するための手段】
《請求項１》
請求項１に記載の発明は、入力された２つの画像Ａ，Ｂについて、画像変化を求める画像変化抽出方法であって、次のステップを有する。
（１）画像Ａから複数の微小領域を抽出する標本ステップ。
（２）微小領域の対応箇所を画像Ｂの探索範囲内でそれぞれ探索して、複数の微小領域の移動ベクトルを求める探索ステップ。
（３）探索ステップで求めた移動ベクトルの群を平滑化して、移動ベクトル群の連続性を高める協調ステップ。
（４）協調ステップで平滑された移動ベクトル群に従って、探索ステップで使用する探索範囲をずらしながら、探索ステップおよび協調ステップを反復することで対応箇所の探索精度を上げ、移動ベクトル群を確定する反復ステップ。
（５）確定した移動ベクトル群に基づいて、画像Ａと画像Ｂとの移動前後の画像比較を行い、画像Ａと画像Ｂとの絵柄の変化を求める変化検出ステップ。
特に、請求項１に記載の発明は、上記の反復ステップにおいて、反復開始時の探索範囲を、移動ベクトルを確定する際の探索範囲よりも広域に設定し、反復の進行に従って探索範囲を段階的に狭めることを特徴とする。
【００１１】
上記の動作では、反復開始時に探索範囲が相対的に広いため、画像Ａ，Ｂ間の大きな対応ズレを早い段階から確実に見つけることが可能になる。特に、回転移動や球面歪みのように大小の移動ベクトルが共存するケース（図９参照）において、移動ベクトル群の複雑な全体像を早い段階で大まかに把握できるという点で非常に優れている。
さらに、上記の動作では、反復に際して探索範囲を段階的に狭める。したがって、反復に応じて徐々に高まる探索精度に合わせて、探索範囲を適切に狭めることが可能になる。その結果、探索精度が高くなったにも拘わらず、探索範囲が徒らに広いために、見当違いの箇所を対応箇所と誤るといった事態を防止することができる。
また、探索範囲を段階的に狭めることにより、正しい探索と誤った探索とを繰り返して反復動作が収束しなくなるなどの事態を防止し、移動ベクトル群の収束を的確に誘導することができる。
さらに、探索範囲を段階的に狭めることにより、探索の処理負荷を段階的に短縮することが可能になり、移動ベクトルの確定に至るまで時間を効率良く短縮することができる。
【００１２】
《請求項２》
請求項２に記載の発明は、入力された２つの画像Ａ，Ｂについて、画像変化を求める画像変化抽出方法であって、次のステップを有する。
（１）画像Ａから複数の微小領域を抽出する標本ステップ。
（２）微小領域の対応箇所を画像Ｂの探索範囲内でそれぞれ探索して、複数の微小領域の移動ベクトルを求める探索ステップ。
（３）探索ステップで求めた移動ベクトルの群を平滑化して、移動ベクトル群の連続性を高める協調ステップ。
（４）協調ステップで平滑された移動ベクトル群に従って、探索ステップで使用する探索範囲をずらしながら、探索ステップおよび協調ステップを反復することで対応箇所の探索精度を上げ、移動ベクトル群を確定する反復ステップ。
（５）確定した移動ベクトル群に基づいて、画像Ａと画像Ｂとの移動前後の画像比較を行い、画像Ａと画像Ｂとの絵柄の変化を求める変化検出ステップ。
特に、請求項２に記載の発明は、上記の協調ステップにおいて、平滑化によって所定量以上にベクトル変化を生じる移動ベクトルを選別し、選別した移動ベクトルに限定して平滑化を施すことを特徴とする。
【００１３】
従来の非線形写像法では、移動ベクトル群に対して全体的に平滑化を施していた。そのため、ほぼ収束済みの移動ベクトルも、平滑化のたびに僅かに振られることになり、移動ベクトル群がなかなか収束しないという事態が生じていた。
そこで、上記の動作では、所定量以上のベクトル変化を生じる移動ベクトルに限って平滑化を実施する。そのため、所定量未満の微妙な協調処理については平滑化が実施されず、移動ベクトルの収束を早めることが可能になる。
さらに、上記の動作では、画像を、協調処理を行う領域と、協調処理を行わない領域とに細かく領域区分することになる。そのため、これら領域区分をまたいだ協調処理は抑止されやすくなる。したがって、明らかに誤りである非連続な移動ベクトルの影響が、探索／協調の反復動作を通して、周辺に広く波及してしまうといった事態を防止できる。その結果、回転移動や球面歪みのように大小の移動ベクトルが混在するケース（図９参照）において、この混在状態を適度に保ったまま、移動ベクトルの協調処理を実施することが可能になる。
このような原理により、回転移動や球面歪みのような複雑な対応ズレを有する画像間において、正確な変化域抽出が可能になる。
【００１４】
《請求項３》
請求項３に記載の発明は、入力された２つの画像Ａ，Ｂについて、画像変化を求める画像変化抽出方法であって、次のステップを有する。
（１）画像Ａから複数の微小領域を抽出する標本ステップ。
（２）微小領域の対応箇所を画像Ｂの探索範囲内でそれぞれ探索して、複数の微小領域の移動ベクトルを求める探索ステップ。
（３）探索ステップで求めた移動ベクトルの群を平滑化して、移動ベクトル群の連続性を高める協調ステップ。
（４）協調ステップで平滑された移動ベクトル群に従って、探索ステップで使用する探索範囲をずらしながら、探索ステップおよび協調ステップを反復することで対応箇所の探索精度を上げ、移動ベクトル群を確定する反復ステップ。
（５）確定した移動ベクトル群に基づいて、画像Ａと画像Ｂとの移動前後の画像比較を行い、画像Ａと画像Ｂとの絵柄の変化を求める変化検出ステップ。
特に、請求項３に記載の発明は、上記の探索ステップにおいて、微小領域の画像Ｂ上における局所的な歪み変化を近傍の移動ベクトル群を内挿することで求める。探索ステップでは、この歪み変化を微小領域に施すことによって、画像Ｂの対応箇所と同等に歪み変化した歪み画像を求める。探索ステップでは、この歪み画像の対応箇所を画像Ｂから探索することで移動ベクトルを更新する。
【００１５】
通常、画像Ａ，Ｂ間の対応ズレに回転移動や球面歪みを含む場合、画像Ａ側の微小領域と、画像Ｂ側の対応箇所との間には、形状の歪み変化が生じる。この歪み変化を無視したままでは、微小領域と対応箇所が完全に一致せず、探索精度の向上に限界が生じる。
そこで、上記の動作では、近傍の移動ベクトル群を内挿することで局所的な歪み変化を求める。画像Ａの微小領域にこの歪み変化を施して歪み画像を求める。この歪み画像は、画像Ｂの対応箇所との一致度が高いため、探索精度の更なる向上が可能になる。
したがって、上記の動作により、回転移動や球面歪みのような複雑な対応ズレを有する画像間において、正確な変化域抽出が可能になる。
【００１６】
《請求項４》
請求項４に記載の発明は、入力された２つの画像Ａ，Ｂについて、画像変化を求める画像変化抽出方法であって、次のステップを有する。
（１）画像Ａから複数の微小領域を抽出する標本ステップ。
（２）微小領域の対応箇所を画像Ｂの探索範囲内でそれぞれ探索して、複数の微小領域の移動ベクトルを求める探索ステップ。
（３）探索ステップで求めた移動ベクトルの群を平滑化して、移動ベクトル群の連続性を高める協調ステップ。
（４）協調ステップで平滑された移動ベクトル群に従って、探索ステップで使用する探索範囲をずらしながら、探索ステップおよび協調ステップを反復することで対応箇所の探索精度を上げ、移動ベクトル群を確定する反復ステップ。
（５）確定した移動ベクトル群に基づいて、画像Ａと画像Ｂとの移動前後の画像比較を行い、画像Ａと画像Ｂとの絵柄の変化を求める変化検出ステップ。
特に、請求項４に記載の発明は、上記の変化検出ステップでは、移動ベクトル群を内挿して画像Ａ，Ｂ間の局所的な歪み変化を求める。次に、求めた歪み変化分を画像Ａ，Ｂ間で補正した上で画像比較を行い、画像Ａと画像Ｂとの絵柄の変化を求めることを特徴とする。
【００１７】
通常、画像Ａ，Ｂ間の対応ズレに回転移動や球面歪みを含む場合、画像Ａ側の微小領域と、画像Ｂ側の対応箇所との間には、歪み変化が発生する。この歪み変化を無視したまま画像比較を行っていては、非変化域を変化域と誤る頻度が高くなるため、変化域抽出の精度向上に限界が生じる。
そこで、上記の動作では、近傍の移動ベクトル群を内挿することで局所的な歪み変化を求める。求めた歪み変化に基づいて画像Ａ，Ｂ間の歪みを補正する。
この補正の上で画像比較を行い、画像Ａと画像Ｂとの絵柄の変化を求める。その結果、上記の弊害が改善され、変化域抽出の精度を一段と高めることが可能になる。
したがって、上記の動作により、回転移動や球面歪みのような複雑な対応ズレを有する画像間において、正確な変化域抽出が可能になる。
【００１８】
《請求項５》
請求項５に記載の発明は、入力された２つの画像Ａ，Ｂについて、画像変化を求める画像変化抽出方法であって、次のステップを有する。
（１）画像Ａから複数の微小領域を抽出する標本ステップ。
（２）微小領域の対応箇所を画像Ｂの探索範囲内でそれぞれ探索して、複数の微小領域の移動ベクトルを求める探索ステップ。
（３）探索ステップで求めた移動ベクトルの群を平滑化して、移動ベクトル群の連続性を高める協調ステップ。
（４）協調ステップで平滑された移動ベクトル群に従って、探索ステップで使用する探索範囲をずらしながら、探索ステップおよび協調ステップを反復することで対応箇所の探索精度を上げ、移動ベクトル群を確定する反復ステップ。
（５）確定した移動ベクトル群に基づいて、画像Ａ，Ｂとの移動前後の画像比較を所定の標本間隔で行い、画像Ａ，Ｂの絵柄の変化を求める変化検出ステップ。
特に、請求項５に記載の発明は、上記の変化検出ステップにおいて、標本間隔を変化させて画像Ａ，Ｂ間の誤差分布を複数求める。次に、これら標本間隔の異なる複数の誤差分布を合成することによって画像Ａと画像Ｂとの絵柄の変化を求めることを特徴とする。
【００１９】
誤差分布の標本間隔は、変化域抽出の精度に大きな影響を与えるパラメータである。この標本間隔の適正値は、画像の状態に応じて敏感に変化するため、従来は試行錯誤を繰り返して調整する必要があった。
特に、回転移動や球面歪みのような複雑な対応ズレを有するケースでは、画像の画面内位置によって、この標本間隔の適正値が変化するため、変化域抽出の精度向上が非常に困難であった。
そこで、上記の動作では、適正値を含むと思われる範囲で標本間隔を変化させて複数の誤差分布を求め、これらの誤差分布を合成する。この場合、適切な標本間隔では、誤差分布の変化がはっきり現れる。一方、不適切な標本間隔では、誤差分布の変化が曖昧となる。そのため、これらの合成結果には、適切な誤差分布の変化ほどはっきり現れることになり、結果的に高い変化域抽出精度を得ることができる。
したがって、上記の動作により、回転移動や球面歪みのように、画面内位置によって標本間隔の適正値が変化してしまうケースにおいても、正確な変化域抽出が可能になる。
【００２０】
《請求項６》
請求項６に記載の発明は、入力された２つの画像Ａ，Ｂについて、画像変化を求める画像変化抽出方法であって、次のステップを有する。
（１）画像Ａから複数の微小領域を抽出する標本ステップ。
（２）微小領域の対応箇所を画像Ｂの探索範囲内でそれぞれ探索して、複数の微小領域の移動ベクトルを求める探索ステップ。
（３）探索ステップで求めた移動ベクトルの群を平滑化して、移動ベクトル群の連続性を高める協調ステップ。
（４）協調ステップで平滑された移動ベクトル群に従って、探索ステップで使用する探索範囲をずらしながら、探索ステップおよび協調ステップを反復することで対応箇所の探索精度を上げ、移動ベクトル群を確定する反復ステップ。
（５）確定した移動ベクトル群に基づいて、画像Ａ，Ｂとの移動前後の画像比較を所定の標本間隔で行い、画像Ａ，Ｂの絵柄の変化を求める変化検出ステップ。
特に、請求項６に記載の発明は、上記の標本ステップでは、抽出サイズや抽出位置をずらすことで、標本区分の異なる前記微小領域を抽出する。上記の反復ステップでは、これらの異なる標本区分それぞれについて、移動ベクトル群の確定を行う。上記の変化検出ステップでは、異なる標本区分ごとに求めた移動ベクトル群それぞれについて、画像Ａ，Ｂ間の誤差分布を求める。さらに、変化検出ステップでは、このように求めた複数の誤差分布を合成処理することによって、画像Ａ，Ｂ間の絵柄の変化を求める。
【００２１】
通常、微小領域の標本区分は、変化域抽出の精度に大きな影響を与えるパラメータである。この標本区分の適正値は、画像の絵柄や対応ズレの状態に応じて敏感に変化するため、従来は試行錯誤を繰り返して調整する必要があった。
特に、回転移動や球面歪みのような複雑な対応ズレを有するケースでは、画像の画面内位置によって、この標本区分の適正値が変化するため、変化域抽出の精度向上が非常に困難であった。
そこで、上記の動作では、適正値を含むと思われる範囲で標本区分を変化させて複数の誤差分布を求め、これらの誤差分布を合成する。この場合、適切な標本区分では、誤差分布の変化がはっきり現れる。一方、不適切な標本区分では、誤差分布の変化が曖昧となる。そのため、これらの合成結果には、適切な誤差分布の変化ほどはっきり現れることになり、結果的に高い変化域抽出精度を得ることができる。
したがって、上記の動作により、回転移動や球面歪みのように、画面内位置によって標本区分の適正値が変化してしまうケースにおいても、正確な変化域抽出が可能になる。
【００２２】
《請求項７》
請求項７の画像処理プログラムは、コンピュータに、請求項１ないし請求項６のいずれか１項に記載の標本ステップ、探索ステップ、協調ステップ、反復ステップ、および変化検出ステップを実行させるためのプログラムコードを含むことを特徴とする。
【００２３】
【発明の実施の形態】
本発明における実施の形態を説明する。
図１および図２は、コンピュータ上で実行される画像変化抽出方法（画像処理プログラム）を説明する流れ図である。以下、この流れ図に示すステップ番号の順に、画像変化抽出方法を説明する。
【００２４】
ステップＳ１：  コンピュータは、撮影時点の異なる２枚の画像Ａ，Ｂを取得する。
【００２５】
ステップＳ２：  コンピュータは、画像Ａを縦横に区分して、複数の微小領域を抽出する。
【００２６】
ステップＳ３：  コンピュータは、抽出した微小領域ごとに、『移動ベクトル』と『探索範囲のサイズ設定』を初期設定する。
この移動ベクトルは、画像Ａ上の微小領域を始点とし、画像Ｂ上の対応箇所を終点とするベクトルデータである。例えば、これらの移動ベクトルは、（０，０）に初期化される。
一方、探索範囲のサイズ設定は、画像Ａ，Ｂ間の対応ズレとして予想され得る最大範囲をカバーするように初期設定することが好ましい。
【００２７】
ステップＳ４：  コンピュータは、画像Ｂ上において、各移動ベクトルの終点を中心に『探索範囲のサイズ設定』に従った大きさの範囲を選択し、探索範囲とする。
【００２８】
ステップＳ５：  コンピュータは、この探索範囲内から、微小領域（後述するステップＳ１０の処理以降は、歪み変化を考慮した歪み画像を使用する）に略一致する対応箇所を探索する。このような探索には、例えば、残差逐次検定法などのテンプレートマッチング法を使用することが好ましい。コンピュータは、これらの探索結果に基づいて、微小領域毎に移動ベクトルを更新する。
【００２９】
ステップＳ６：  コンピュータは、ステップＳ５における移動ベクトルの更新状況から、移動ベクトル群が収束したか否かを判定する。
ここで、移動ベクトル群が収束していない場合、コンピュータはステップＳ７に動作を移行する。
一方、移動ベクトル群が収束した場合、コンピュータはステップＳ１１に動作を移行する。
【００３０】
ステップＳ７：  コンピュータは、ステップＳ５における移動ベクトルの更新状況から、移動ベクトルの変化幅が閾値以下に収まったか否かを判定する。なお、ここでの閾値は、『探索範囲のサイズ設定』が小さくなるに従って、小さい値に変更することが好ましい。
ここで、移動ベクトルの変化幅が閾値以下になった場合、コンピュータは『探索範囲のサイズ設定』が広すぎると判断し、ステップＳ８に動作を移行する。
一方、移動ベクトルの変化幅が閾値を超えている場合、コンピュータは『探索範囲のサイズ設定』をそのまま維持して、ステップＳ９に動作を移行する。
【００３１】
ステップＳ８：  コンピュータは、『探索範囲のサイズ設定』を狭くする。なお、ステップＳ７，Ｓ８におけるサイズ設定の変更動作は、個々の微小領域ごとに個別に実施してもよい。
【００３２】
ステップＳ９：  コンピュータは、個々の移動ベクトルごとに近傍の移動ベクトルを集めて局所範囲を設定する。コンピュータは、これら局所範囲ごとに、移動ベクトルの各要素のメディアンを計算する。コンピュータは、このメディアン化により生じる移動ベクトルのベクトル変化を求め、所定量以上にベクトル変化するものに限定して、移動ベクトルのメディアン化を実施する。（選択的協調処理）。すなわち、所定量未満のベクトル変化については、移動ベクトルにメディアン化を施さない。
【００３３】
なお、ここでの所定量（移動ベクトル選択の閾値）は、判別分析法などを用いて自動的に決定することが好ましい。すなわち、微小領域ごとに求めたベクトル変化の大きさを統計処理してヒストグラムを作成する。このヒストグラムに対して、（クラス間分散／クラス内分散）を最大化するようにクラス分けの閾値を求め、この閾値を上記の所定量として使用すればよい。
このような判別分析法による閾値決定により、『既に周囲と協調している移動ベクトル』と『周囲との協調に欠ける移動ベクトル』とを自動的に大別し、上述した選択的協調をより効果的に実施することが可能になる。
【００３４】
ステップＳ１０：  ところで、ステップＳ２では、画像Ａを矩形の微小領域に区分している。しかしながら、写像先の画像Ｂ上では、この微小領域が矩形を維持しているとは限らない。特に、画像Ａ，Ｂ間に回転移動や球形歪みが生じている場合、画像Ｂ上の微小領域の形状は顕著に歪み変化する。
そこで、コンピュータは、移動ベクトル群を内挿することでに、画像Ｂ上における微小領域の頂点位置（図３に示す黒丸）をそれぞれ求める。コンピュータは、この微小領域の頂点位置から、歪み変化後の微小領域に含まれる画像Ｂの画素配列（図４［α］に示す＋印）を求める。
【００３５】
コンピュータは、この画素配列の各画素の位置ごとに、移動ベクトル群を内挿し、画素単位の移動ベクトルを求める。
コンピュータは、この画素配列の画素ごとに求めた移動ベクトルの始点を辿り、この画素配列の画像Ａ上での位置を求める（図４［β］に示す＋印）。
コンピュータは、求めた位置の画素値を、画像Ａを補間処理（バイキュービック法やバイリニア法やニアレストネイバー法など）して求める。コンピュータは、求めた補間値を、写像先である画像Ｂの画素配列（図４［α］に示す＋印）に並べることによって、微少領域に歪み変化を施した歪み画像を得る。
【００３６】
なお、この歪み画像は、画素単位の移動ベクトル群から直接的に求めてもよい。すなわち、まず、微小領域ごとの移動ベクトルを内挿して画素単位の移動ベクトル群を求める。画像Ａの分割領域（例えば、微小領域や探索範囲やその他の区分単位）を、この画素単位の移動ベクトル群に従って写像することによって、歪み画像を作成できる。
このように処理の後、コンピュータはステップＳ４に動作を戻し、探索処理および協調処理を反復する。
【００３７】
ステップＳ１１：  ここでは、ステップＳ６において移動ベクトル群の更新処理が収束したと判断されているため、探索処理および協調処理の反復を完了して、画像Ａ，Ｂ間の変化域抽出を開始する。
まず、コンピュータは、収束した移動ベクトル群を画像Ａの画素単位に内挿し、画素単位の移動ベクトル群を求める。この画素単位の移動ベクトル群の始点は、画像Ａの画素位置を示す。一方、この画素単位の移動ベクトル群の終点は、画像Ｂ上の写像先を示している。この始点／終点の関係は、画像Ａ，Ｂ間における微小範囲の局所的な歪み変化を画素単位に補正した関係となっている。
【００３８】
ステップＳ１２：  続いて、コンピュータは、この画素単位の移動ベクトル群に基づいて、画像Ａ，Ｂから移動前後の画素対を抽出する（移動後の画素については、画像Ｂを補間処理して求めてもよい）。これら移動前後の画素対は、局所的な歪み変化の補正された画素対である。コンピュータは、これら画素対について画素値の二乗誤差をそれぞれ求める。
【００３９】
ステップＳ１３：  続いて、コンピュータは、画像Ａを区画サイズＤＳ１で区画する。これらの区画ごとに画素単位の二乗誤差を集めて平均化する。この処理により標本間隔ＤＳ１ごとの誤差分布が得られる。
更に、コンピュータは、区画サイズをＤＳ２〜ＤＳｎに変更しながら同様の処理を繰り返し、標本間隔ＤＳ２〜ＤＳｎの誤差分布を追加的に得る。
【００４０】
ステップＳ１４：  コンピュータは、標本間隔ＤＳ１の誤差分布を画素単位に内挿することにより、画素単位の誤差分布Ｐ１を求める。
更に、コンピュータは、標本間隔ＤＳ２〜ＤＳｎの誤差分布についても同様の処理を繰り返し、画素単位の誤差分布Ｐ２〜Ｐｎを追加的に得る。
【００４１】
ステップＳ１５：  標本間隔を変えながら求めた誤差分布Ｐ１〜Ｐｎを合成（例えば画素単位に誤差を平均化）して合成画像を得る。この合成画像を所定階調（例えば２５６階調）に正規化することにより、変化域抽出画像を完成する。
上述した一連の動作により、画像Ａ，Ｂ間に生じた地理状況の変化域を抽出することが可能になる。
【００４２】
（大域探索の効果）
以下、ステップＳ３，Ｓ４，Ｓ８により大域探索（探索範囲のサイズを広く初期設定し、段階的に狭める処理）を実施したことによる効果について説明する。
図５は、大域探索の効果をＲＯＣ曲線を用いて定量的に評価した図である。この図５から分かるように、従来法（図５に示す黒四角印）では、画像Ａ，Ｂ間の平行移動量が大きくなると（ｘ，ｙ：５０ｐｉｘｅｌ）、著しい検出能力低下が生じる。しかしながら、大域探索（図５に示す×印）では、平行移動量が大きくなっても、歪みなし（図５に示す黒菱形、黒三角印）のケースと同一曲線上にプロットされており、検出能力の低下は殆ど見られない。
【００４３】
この結果から、大域探索では、移動ベクトルが大きくなっても、高い変化域抽出精度を維持できることが分かる。すなわち、この大域探索では、回転移動や球面歪みのように大きな移動ベクトルが混在するケースに対しても、高い変化域抽出精度を得ることが可能になる。
さらに、上記の大域探索では、反復の進行によって徐々に高まる探索精度に合わせて、探索範囲を段階的に狭めている。その結果、探索精度が高くなったにも拘わらず、探索範囲が徒らに広いために探索を誤ったり、正しい探索と誤った探索とを繰り返して反復動作が収束しなくなるなどの事態を防止することができる。
さらに、この探索範囲を段階的に狭めることにより、探索にかかる処理時間を全体的に短縮することができる。
【００４４】
（選択的協調の効果）
以下、ステップＳ９において選択的協調（協調処理によるベクトル変化の大きな移動ベクトルに限定して協調処理を実施する処理）を実施したことによる効果について説明する。
図６は、回転移動の対応ズレを含む場合の処理成績をＲＯＣ曲線を用いて表した図である。図７は、球面歪みの対応ズレを含む場合の処理成績をＲＯＣ曲線を用いて表した図である。
図６，図７において選択的協調を実施したケース（黒四角印，×印）と、従来の協調処理を実施したケース（黒菱形印、黒三角印）とをそれぞれ比較すると、選択的協調の実施によって変化域抽出精度が顕著に向上していることが分かる。
【００４５】
（局所的な歪み変化を計算したことによる効果）
以下、ステップＳ１０，Ｓ１２において局所的な歪み変化を計算したことによる効果を説明する。
図６，図７において歪み変化を計算したケース（黒三角印，×印）と、歪み変化を計算しないケース（黒菱形印、黒四角印）とをそれぞれ比較すると、歪み変化を計算することによって変化域抽出精度が顕著に向上していることが分かる。
【００４６】
（誤差分布の合成処理の効果）
以下、ステップＳ１３〜Ｓ１５において誤差分布の合成処理（標本間隔の異なる誤差分布を合成する処理）を実施したことによる効果を説明する。
図８は、誤差分布の合成処理の効果をＲＯＣ曲線を用いて定量的に評価した結果である。
図８に示す合成処理を実施したケース（黒四角印）と、合成処理を実施しないケース（黒菱形印）とを比較すると、誤差分布の合成処理を実施することによって変化域抽出精度が顕著に向上していることが分かる。
【００４７】
《実施形態の補足事項》
なお、上述した実施形態では、メディアンにより移動ベクトル群を平滑化している。しかしながら、本発明はこれに限定されるものではない。例えば、平均化処理や多数決処理により、移動ベクトル群を平滑化してもよい。
【００４８】
また、上述した実施形態では、標本間隔の異なる複数の誤差分布を画素単位に平均化することで合成している。しかしながら、本発明はこれに限定されるものではない。例えば、メディアン、多数決処理、最大値演算、最小値演算などの演算処理によって、標本間隔の異なる複数の誤差分布を合成してもよい。
【００４９】
さらに、上述した実施形態では、コンピュータ（画像処理プログラム）により本発明方法をソフトウェア的に実施する場合について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、本発明方法の一部または全部をハードウェアで実施する画像処理装置や画像処理ＩＣを作成してもよい。
【００５０】
なお、上述した実施形態において、請求項６に記載の画像変化抽出方法を実施してもよい。すなわち、ステップＳ２において、微小領域の抽出サイズや抽出位置（位相）をずらすことで、標本区分の異なる微小領域を得る。
これら標本区分ごとに、ステップＳ３〜Ｓ１０をそれぞれ実行することにより、標本区分の異なるベクトル群を得ることができる。
これら標本区分の異なるベクトル群それぞれについて誤差分布を求め、これら誤差分布を合成（例えば、誤差分布を画素単位に内挿した上で、画素単位に誤差分布を平均化する）することにより、高精度な変化域抽出画像を得ることが可能になる。このような合成では、適切な標本区分による誤差分布の変化ほどはっきり現れるため、変化域抽出精度を結果的に高めることが可能になる。特に、回転移動や球面歪みのように、適切な標本区分の決定が難しいケースにおいて、正確な変化域抽出が可能になる。
【００５１】
【発明の効果】
《請求項１》
請求項１に記載の発明では、反復開始時に大域探索を実施するため、画像Ａ，Ｂ間の大きな対応ズレを確実に見つけることができる。したがって、回転移動や球面歪みのように大小の移動ベクトルが共存するケースであっても、移動ベクトル群の複雑な全体像を適切に決定することができる。
さらに、上記の動作では、探索範囲を段階的に狭めることにより、探索の処理負荷を軽減できるという長所もある。
【００５２】
《請求項２》
請求項２に記載の発明では、所定量以上のベクトル変化を生じる移動ベクトルに限定して平滑化を実施する。そのため、収束間近の移動ベクトルを平滑化によって無用に振る弊害がなくなり、移動ベクトルの収束を早めることが可能になる。
特に、回転移動や球面歪みでは、移動ベクトル群の大きさや向きにバラツキが大きいため、個々の移動ベクトルの収束速度に大きなバラツキが生じる。このようなケースにおいて選択的協調を実施すれば、収束間近の移動ベクトルとそれ以外の移動ベクトルとを明確に区別して、適切な協調処理を施すことができる。その結果、バラツキの大きな移動ベクトル群であっても、個々の移動ベクトルごとに収束を適切に誘導することが可能になる。
【００５３】
《請求項３》
請求項３に記載の発明では、局所的な歪み変化を画像Ａの微小領域に施し、得られた歪み画像を用いて、探索処理を実施する。この歪み画像は、画像Ｂの対応箇所との一致度が高いため、探索精度の更なる向上が可能になる。
特に、回転移動や球面歪みのように、形状の歪み変化が顕著に生じる対応ズレにおいて、高い探索精度を得ることができる。
【００５４】
《請求項４》
請求項４に記載の発明では、局所的な歪み変化に基づいて画像Ａ，Ｂ間の歪みを補正した上で画像比較を行い、変化域を抽出する。
その結果、非変化域を歪み変化のために変化域と誤判別する弊害が改善され、変化域抽出の精度を一段と高めることが可能になる。
特に、回転移動や球面歪みのように、形状の歪み変化が顕著に生じる対応ズレにおいて、高い変化域抽出精度を得ることができる。
【００５５】
《請求項５》
請求項５に記載の発明では、標本間隔を変化させて複数の誤差分布を求めた上で、これら複数の誤差分布を合成する。この場合、適切な標本間隔では、誤差分布の変化がはっきり現れる。一方、不適切な標本間隔では、誤差分布の変化が曖昧となる。そのため、これらの合成結果には、適切な誤差分布の変化ほどはっきり現れることになり、結果的に高い変化域抽出精度を得ることができる。
特に、回転移動や球面歪みのように適切な標本間隔が画面中央と画面周辺において変化して一意に決定できないケースにおいて、正確な変化域抽出が可能になる。
【００５６】
《請求項６》
請求項６に記載の発明では、微小領域の標本区分を変化させて複数の誤差分布を求めた上で、これら複数の誤差分布を合成する。この場合、適切な標本区分では、誤差分布の変化がはっきり現れる。一方、不適切な標本区分では、誤差分布の変化が曖昧となる。そのため、これらの合成結果には、適切な誤差分布の変化ほどはっきり現れることになり、結果的に高い変化域抽出精度を得ることができる。
特に、回転移動や球面歪みのように適切な標本区分が画面中央と画面周辺において変化して一意に決定できないケースにおいて、正確な変化域抽出が可能になる。
【００５７】
《請求項７》
請求項７に記載の画像処理プログラムを使用することにより、請求項１ないし請求項６のいずれか１項に記載の画像変化抽出方法をコンピュータに実行させることが可能になる。
【図面の簡単な説明】
【図１】画像変化抽出方法を説明する流れ図（１／２）である。
【図２】画像変化抽出方法を説明する流れ図（２／２）である。
【図３】局所的な歪み変化を説明する図である。
【図４】画像Ａの微小領域に歪み変化を施す手順を説明する図である。
【図５】大域探索の効果をＲＯＣ曲線を用いて定量的に評価した結果である。
【図６】回転移動の対応ズレを含む場合の処理成績をＲＯＣ曲線を用いて表した図である。
【図７】球面歪みの対応ズレを含む場合の処理成績をＲＯＣ曲線を用いて表した図である。
【図８】誤差分布の合成処理の効果をＲＯＣ曲線を用いて定量的に評価した結果である。
【図９】従来方法の変化域抽出画像を示す図である。
【図１０】従来方法による変化域抽出結果を、ＲＯＣ曲線を用いて定量的に評価した図である。
【符号の説明】
Ａ，Ｂ  画像
【図１】
2004280462.tif 000003
【図２】
2004280462.tif 000004
【図３】
2004280462.tif 000005
【図４】
2004280462.tif 000006
【図５】
2004280462.tif 000007
【図６】
2004280462.tif 000008
【図７】
2004280462.tif 000009
【図８】
2004280462.tif 000010
【図９】
2004280462.tif 000011
【図１０】
2004280462.tif 000012