(57)【要約】【課題】  ＳＡＲの画像処理では、同一地点を撮像した複数のＳＡＲ画像を用いて、インタフェロメトリやＣＣＤ等の高次処理を行う技術があるが、複数のＳＡＲ画像間で対応する位置を合わせる必要がある。都市部等を撮影したＳＡＲ画像では、散乱点の元となる対象物が密集し、複雑に配置されるため、コヒーレンスを指標とした画像処理や目視による抽出では、対応する地点を選択することが難しい課題がある。【解決手段】  ＭＵＳＩＣ超解像部２を画像処理装置に組み込んで、ＳＡＲ画像をＭＵＳＩＣ超解像処理することにより、目視等によって対応する地点の判別が困難な場合でも、ＭＵＳＩＣ超解像処理によって散乱点情報を抽出し、画像の対応地点の関係を正確に決定することが可能となり、クラスタ範囲を変更しながら、散乱点情報の高精度化を実施し、信頼度を向上していくことで、より正確な画像の対応地点の関係を決定することが可能となる。【選択図】  図１
2008014709.tif 000002
【特許請求の範囲】
【請求項１】
複数のＳＡＲ画像を入力する比較対象画像入力部と、
上記比較対象画像入力部に入力されたＳＡＲ画像について、任意の大きさのクラスタ範囲に分割し、クラスタ毎にＭＵＳＩＣ（Multiple Signal Classification）超解像処理を実施するＭＵＳＩＣ超解像部と、
上記ＭＵＳＩＣ超解像部でＭＵＳＩＣ超解像処理されたＳＡＲ画像について、クラスタ毎に散乱点の頂点の位置と、ピーク値から得られる散乱点情報を算出する散乱点抽出部と、
上記散乱点抽出部で抽出されたクラスタ毎の散乱点情報を、対応する同一地点を含んだ異なるＳＡＲ画像間で相互に比較し、その散乱点情報の相関性を判定する散乱点相関判定部と、
上記散乱点相関判定部で判定されたＳＡＲ画像間の相関性の判定結果に基づいて、クラスタ毎に特定の散乱点を選定し、選定した散乱点に基づいて、異なるＳＡＲ画像間での対応地点を出力する対応地点出力部と、
を具備することを特徴とする画像処理装置。
【請求項２】
上記ＭＵＳＩＣ超解像部において、
ＭＵＳＩＣ処理を行うクラスタ範囲の再設定や信頼度及び判定情報を保持し、その中で最適な対応地点を選択することを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記散乱点相関判定部から収束したときのクラスタ範囲についての評価パラメータを記録する処理パラメータ記録・呼出部からの情報により、上記ＭＵＳＩＣ超解像部が、上記比較対象画像入力部から入力されたＳＡＲ画像について、ＭＵＳＩＣ超解像処理及び散乱点位置の組合せを実施することを特徴とする請求項１記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は合成開口レーダＳＡＲで得られる画像に超解像処理を利用した画像処理装置に関するものである。
【背景技術】
【０００２】
合成開口レーダＳＡＲ（Synthetic Aperture Rader）の画像処理では、同一地点を撮像した複数のＳＡＲ画像を用いて、インタフェロメトリやＣＣＤ（Coherent Chages Detection）等の高次処理を行う場合、複数のＳＡＲ画像間で対応する位置を合わせる必要がある。従来は、コヒーレンスを指標とした画像処理や目視によって画像上の特徴点を指定して、対応する位置を照合していた（特許文献１参照。）。
【０００３】
また、海洋中の音波伝搬特性を計算する音波伝搬シミュレーション方法においては、ＭＵＳＩＣ（Multiple Signal Classification）超解像処理を使用して、所望信号を強調し雑音成分の影響を軽減するモード固有値計測方法が既に開示されている（特許文献２参照。）。
【０００４】
【特許文献１】特開２００４−１９１０５３号公報（段落番号００１８）
【特許文献２】特開平１１−１４４４３号公報（段落番号００１８、第３図）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
以上のように従来のコヒーレンスを指標とした画像処理や目視による抽出では、都市部等を撮影したＳＡＲ画像では、散乱点の元となる対象物が密集し、複雑に配置されるため、対応する地点を選択することが難しいという課題がある。
【０００６】
この発明は、上記のような課題を解決するためになされたものであり、超解像処理を利用して得られる画像上の特徴点を抽出し、この特徴点に着目した高精度な位置合わせが可能な画像処理装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明の画像処理装置は、複数のＳＡＲ画像を入力する比較対象画像入力部と、上記比較対象画像入力部に入力されたＳＡＲ画像について、任意の大きさのクラスタ範囲に分割して、ＭＵＳＩＣ（Multiple Signal Classification）超解像処理を実施するＭＵＳＩＣ超解像部と、上記ＭＵＳＩＣ超解像部でＭＵＳＩＣ超解像処理されたＳＡＲ画像毎に、クラスタ毎に散乱点の頂点の位置と、ピーク値から得られる散乱点情報を算出する散乱点抽出部と、上記散乱点抽出部で抽出されたクラスタ毎の散乱点情報を対応する同一地点を含んだ異なるＳＡＲ画像間で相互に比較し、その散乱点情報の相関性を判定する散乱点相関判定部と、上記散乱点相関判定部で判定されたＳＡＲ画像間の相関性の判定結果に基づいて、クラスタ毎に特定の散乱点を選定し、選定した散乱点に基づいて、異なるＳＡＲ画像間での対応地点を出力する対応地点出力部とを具備するものである。
【発明の効果】
【０００８】
この発明によれば、ＭＵＳＩＣ超解像部を画像処理装置に組み込んで、ＳＡＲ画像をＭＵＳＩＣ超解像処理することによって、目視等によって対応する地点の判別が困難な場合でも、ＭＵＳＩＣ超解像処理によって散乱点の判別が可能となり、画像の対応地点の関係を正確に決定することが可能となる画像処理装置を得ることできるという効果が得られる。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
この実施の形態による画像処理装置は、ＭＵＳＩＣ超解像処理を実施した画像を用いて散乱点を抽出し、その散乱点位置情報を使って、同一地点を撮像した複数のＳＡＲ画像間の対応関係を導出するものである。
【００１０】
図１はこの発明の実施の形態１による画像処理装置を示す構成図であり、１は比較対象画像入力部、２はＭＵＳＩＣ超解像部、３は散乱点抽出部、４は散乱点相関判定部、５は対応地点出力部、６は画像処理装置制御部である。
また、図１に記載する比較対象画像入力部１、ＭＵＳＩＣ超解像部２、散乱点抽出部３、対応地点出力部５、画像処理装置制御部６には、各種の設備が設けられているが、ここではこの発明の要旨とする部分のみを説明する。
【００１１】
ＳＡＲ画像の分解能を向上させるＭＵＳＩＣ（Multiple Signal Classification）超解像処理では、処理して得られるＭＵＳＩＣ画像に含まれる散乱点の数が有限であると仮定して、その数と位置を推定する。ここで、散乱点はＭＵＳＩＣ画像の濃淡の頂点を表し、ＳＡＲ画像の各位置での空間周波数の基本波の振幅に相当するものである。
【００１２】
このため、処理結果の画像では散乱点のピークが強調表示される特徴がある。また、ＭＵＳＩＣ超解像処理は、ＳＡＲ画像の任意の部分領域を指定して実行できるが、この際に処理領域を小さく分割して高速化している。
【００１３】
比較対象画像入力部１は、同一地点を撮像した複数のＳＡＲ画像を用いてインタフェロメトリ等の高次処理を行うのに必要な複数のＳＡＲ画像を入力する部分である。
ＭＵＳＩＣ超解像部２は、比較対象画像入力部１で入力された複数の画像について、それぞれＭＵＳＩＣ超解像処理を実施する部分である。
【００１４】
散乱点抽出部３は、ＭＵＳＩＣ超解像部２でＭＵＳＩＣを実施した画像から、散乱点の抽出を行う。散乱点相関判定部４は、複数のＭＵＳＩＣ超解像処理が施された画像において、散乱点抽出部３で抽出された散乱点の相関性を計算し、相関性の判定を行う。
【００１５】
対応地点出力部５は、散乱点相関判定部４で、複数画像間で散乱点の相関性が確認された対応地点情報を出力し、複数の画像間で重ね合わせを実施する部分である。
画像処理装置制御部６は、本装置の動作を制御する部分である。
【００１６】
次に、ＭＵＳＩＣ超解像部２、散乱点抽出部３、散乱点相関判定部４の動作について図２のフロー図を用いて説明する。
【００１７】
図２は、実施の形態１における処理内容を示すフローチャートである。
ＭＵＳＩＣ超解像部２では、ＳＴＥＰ１として、ＭＵＳＩＣ超解像処理を行う範囲を決定し、ＳＴＥＰ２として、処理を実施する。処理を行う範囲は、ＭＵＳＩＣ超解像処理で頂点を示す散乱点が密集している領域を一括したものをクラスタと呼び、画像全体の散乱点の分布状況から、予め任意にクラスタの大きさを決定しておき、画像全体を任意の個数のクラスタで画像全体を分割する。
【００１８】
散乱点抽出部３では、ＭＵＳＩＣ超解像処理を実施後の画像は、散乱点のピークが強調表示される特徴があることを利用して、ＳＴＥＰ３として、頂点の位置、パワー（ピークの大きさ）から成る散乱点情報を算出する。
【００１９】
散乱点相関判定部４では、ＳＴＥＰ４、５として、散乱点抽出部３で抽出した散乱点情報を用いて、対応する可能性がある組合せについて仮説をたてる。また、ＳＴＥＰ６として、各組合せ毎の仮説の信頼度を、散乱点間の相対距離やピーク値の大きさの差異等から算出する。
【００２０】
ＳＴＥＰ７において、全組合せについて、組合せ間の差異算出を実施したかどうかを判断し、ＮＯならば、ステップ５から再度繰り返し実行する。また、ＹＥＳならば、ＳＴＥＰ８を実行する。
【００２１】
ＳＴＥＰ８として、上記で算出した仮説の各組合せの信頼度を評価して、信頼度が高い組合せをクラスタ内の対応関係として決定する。
このクラスタ内の対応関係を決定する処理をクラスタ数分について実施する。
クラスタ内で、クラッタ等の特に注目する散乱点がないクラスタについては、信頼度を無効とする。
【００２２】
ＳＴＥＰ９において、すべてのクラスタの評価を完了したどうかを判断し、ＮＯならば、ステップ４から再度繰り返し実行する。また、ＹＥＳならば、ＳＴＥＰ１０を実行する。
【００２３】
ＳＴＥＰ１０として、組合せ間の差異を算出する（図５参照）ことによって、各クラスタの信頼度評価を実施し、各クラスタ毎に、最も信頼度の高かった、最適な画像の対応地点として、散乱点ａ〜散乱点ｃの関係を決定する（図３参照）。
【００２４】
図３は、実施の形態１における画像処理を行う画像領域の分割例を示す図であり、図３（ａ）は画像１をクラスタＡ、Ｂ、Ｃ、Ｄに四分割した図であり、図３（ｂ）は画像１を図３（ａ）で四分割したクラスタＡについて、散乱点ａ、ｂ、ｃを表現したものである。同様に、図３（ｃ）は画像２をクラスタＡ’、Ｂ’、Ｃ’、Ｄ’に四分割した図であり、図３（ｄ）は画像２を図３（ｃ）で四分割したクラスタＡ’について、散乱点ａ’、ｂ’、ｃ’を表現したものである。
【００２５】
ＭＵＳＩＣ超解像処理で頂点を示す散乱点（例えば、図４（ｂ）のａ、ｂ、ｃ）が密集している領域を一括したものをクラスタと呼ぶ、例えば、図３（ａ）のクラスタＡ〜クラスタＤ、図３（ｃ）のクラスタＡ’〜クラスタＤ’である。
画像全体の散乱点の分布状況から、予め任意にクラスタの大きさを決定しておき、画像全体を任意の個数のクラスタ（図３では４個）で画像全体を分割する。
【００２６】
図３（ｂ）で示すクラスタＡは散乱点ａ、散乱点ｂ、散乱点ｃの３点で成り、図３（ｄ）で示すクラスタＡ’は散乱点ａ’、散乱点ｂ’、散乱点ｃ’の３点で成るものとする。散乱点が３個の２毎の画像を評価する場合は、散乱点ａ〜ｃの３点と散乱点ａ’〜ｃ’の３点の組合せとして、６つの組合せが可能である。
【００２７】
図４は、実施の形態１におけるＳＡＲ画像について、ＭＵＳＩＣ超解像処理を実施した例を示す図であり、図４（ａ）、（ｃ）はＳＡＲ画像を断面方向を横軸にして縦軸に振幅（画像の濃淡）を表現したものであり、図４（ｂ）、（ｄ）はＭＵＳＩＣ画像を断面方向を横軸にして縦軸に振幅を表現したものである。
【００２８】
図４（ｂ）で示すＭＵＳＩＣ画像上で頂点を示す散乱点ａ，ｂ，ｃは、変換前の図４（ａ）で示すＳＡＲ画像上で、図４（ｂ）の散乱点ａ，ｂ，ｃに対応した場所に比較して、明らかに近傍の振幅の値に差異があることが分かる。
同様に、図４（ｄ）で示すＭＵＳＩＣ画像上で頂点を示す散乱点ａ’，ｂ’，ｃ’は、変換前の図４（ｃ）で示すＳＡＲ画像上で、図４（ｄ）の散乱点ａ’，ｂ’，ｃ’に対応した場所に比較して、明らかに近傍の振幅の値に差異があることが分かる。
【００２９】
図４（ｂ）ＭＵＳＩＣ画像（図４（ｄ）も同様に）で分かるように、ＭＵＳＩＣ画像の濃淡の頂点を表す散乱点ａ，ｂ，ｃは、ＳＡＲ画像の各位置での空間周波数の基本波の振幅に相当するものであり、図４（ａ）ＳＡＲ画像に比較して、散乱点ａ，ｂ，ｃの波形に相違が表れ、ＭＵＳＩＣ超解像処理（ステップ２）の効果が分かる。
【００３０】
図４（ｂ）で示す散乱点ａ，ｂ，ｃは、振幅Ｐ１、Ｐ２、Ｐ３、位置Ｄ１、Ｄ２、Ｄ３であり、図４（ｄ）で示す散乱点ａ’，ｂ’，ｃ’は、振幅Ｐ１’、Ｐ２’、Ｐ３’、位置Ｄ１’、Ｄ２’、Ｄ３’である。
【００３１】
ＳＡＲ画像では、図４（ａ）と図４（ｃ）に明確な相違が見られないが、各々をＭＵＳＩＣ画像へ変換した図４（ｂ）と図４（ｄ）において、振幅及び位置を定量的に比較すれば、識別することが可能になる。
【００３２】
図５は実施の形態１における仮説の組合せ例を示す図であり、クラスタＡの散乱点ａ〜ｃの３点とクラスタＡ’の散乱点ａ’〜ｃ’の３点の組合せとして、縦方向に組合せ１〜組合せ６、横方向に散乱点間の差異と組合せ間の差異を記述し、散乱点間の差異に位置の差（Ｄ１―１〜Ｄ４―３）、ピーク差（Ｐ１―１〜Ｐ４―３）の項目を記述し、また、組合せ間の差異に、位置の差（Ｓ―Ｄ１〜Ｓ―Ｄ４）、ピーク差（Ｓ―Ｐ１〜Ｓ―Ｐ４）の項目を記述している。
【００３３】
ここで、例えば、Ｄ１―１は図４（ａ）で示す散乱点ａの位置Ｄ１と図４（ｂ）で示す散乱点ａ’の位置Ｄ１’の位置の差を表しており、Ｐ１―１は図４（ａ）で示す散乱点ａの振幅のピーク値Ｐ１と図４（ｂ）で示す散乱点ａ’の振幅のピーク値Ｐ１’のピーク差を表している。
【００３４】
図５において、散乱点の仮説の組合せが組合せ１の場合を例として説明する。
図３（ｂ）に示すクラスタＡの画像の散乱点ａと図３（ｄ）に示すクラスタＡ’の画像の散乱点ａ’を対応させた場合、散乱点間の差異に関する位置の差の列に記載のＤ１−１は散乱点ａと散乱点ａ’の相対距離を表し、散乱点間の差異に関するピーク差の列に記載のＰ１―１は散乱点ａと散乱点ａ’のパワー値の差を表している。
【００３５】
また、組合せ間の差異に関する位置の差の列に記載のＳ−Ｄ１は、散乱点間の差異に関する位置の差の列に記載のＤ１−１〜Ｄ１−３の値を合計（あるいは２乗平均も可）して計算される。
同様に、組合せ間の差異に関するピーク差の列に記載のＳ−Ｐ１は、散乱点間の差異に関するピーク差の列に記載のＰ１−１〜Ｐ１−３の値を合計（あるいは２乗平均も可）して計算される。
【００３６】
以上のように、組合せ２〜組合せ６についても、組合せ間の差異に関する位置の差の列に記載のＳ−Ｄ２〜Ｓ−Ｄ６及びピーク差の列に記載のＳ−Ｐ２〜Ｓ−Ｐ６を計算する。
ここで、組合せ１〜組合せ６の位置の差とピーク差に関する組合せ間の差異を加算して得られる各組合せ間の差異が最も小さくなるものが信頼度が高く、この組合せが、最終的に信頼度が高いものとして選ばれる。
【００３７】
続いて、上記で算出した仮説の各組合せの信頼度を評価して、信頼度が高い組合せをクラスタ内の対応関係として決定する。（ＳＴＥＰ８）
このクラスタ内の対応関係を決定する処理をクラスタ数分について実施する。
【００３８】
図５に示すように組合せ間の差異を算出することによって、各クラスタの信頼度評価を実施し、各クラスタ毎に、最も信頼度の高かった、図３に示すように、最適な画像の対応地点として、散乱点ａ〜散乱点ｃの関係を決定する。（ＳＴＥＰ１０）
画像１及び画像２が対象とする画像のクラスタＡ〜クラスタＤ毎の最適に選ばれた散乱点ａ〜散乱点ｃによって、画像の対応地点とする。
また、信頼度の高いクラスタの位置条件に合わせるだけでなく、各クラスタの最適な位置情報を平均して、画像の対応地点の関係を決定する等の方法でも良い。
【００３９】
上述したように、実施の形態１によれば、ＭＵＳＩＣ超解像処理を実施した画像を用いて複数画像の位置関係を決定することにより、目視等によって対応する地点の判別が困難な場合でも、ＭＵＳＩＣ超解像処理によって散乱点の判別が可能となり、同一地点を撮像した複数のＳＡＲ画像から必要な画像を選出できるという効果が得られる。
【００４０】
実施の形態２．
以下、図を用いてこの発明に係る実施の形態２について説明する。
図６は、この発明の実施の形態２による画像処理装置を示す構成図であり、７は散乱点相関判定評価部であり、１〜６は実施の形態１の説明と同じものである。
【００４１】
ここでは、追加部分の動作について、図７のフロー図を用いて説明する。
実施の形態１で示したように散乱点相関判定部４においてクラスタの評価を実施した後、追加した散乱点相関判定評価部７で、ＳＴＥＰ１１として、信頼度及び判定情報を保持しておく。
【００４２】
また、ＳＴＥＰ１３として、最初に設定したクラスタ範囲とは異なるクラスタ範囲を設定し、その情報をＭＵＳＩＣ超解像部２に入力する。
ＭＵＳＩＣ超解像処理は、処理を行う範囲を変更すると頂点の位置、パワー（ピークの大きさ）から成る散乱点情報に関する処理結果が変わる性質があるため、クラスタ範囲を変更することにより、散乱点情報の高精度化を実施する。
【００４３】
そのクラスタ範囲を使って、散乱点抽出部３、散乱点相関判定部４にて実施の形態１と同様にクラスタの評価を実施する。散乱点相関判定評価部７において、保持しておいた評価結果と比較して、クラスタ範囲に対する信頼度の傾向を判断し、信頼度が向上するようなクラスタ範囲を再設定する。ＳＴＥＰ１２として、この一連の動作を、クラスタ評価である信頼度が収束するまで実施する。
【００４４】
上述したように、クラスタ範囲を変更しながら、散乱点情報の高精度化を実施し、信頼度を向上していくことで、より正確な画像の対応地点の関係を決定することが可能となる。
実施の形態３．
図８は、この発明の実施の形態３による画像処理装置を示す構成図であり、８は評価パラメータ記録・呼出部であり、７は実施の形態２と同じもので、１〜６は実施の形態１と同じものである。
【００４５】
ここでは、追加部分の動作について、図９のフロー図を用いて説明する。
実施の形態２で示したように、信頼度が向上するようなクラスタ範囲を再設定しながら、クラスタ評価である信頼度が収束するまで実施し、正確な画像の対応地点の関係を決定する。次にＳＴＥＰ１４として、収束したときのクラスタ範囲を追加した評価パラメータを評価パラメータ記録・呼出部８に記録しておく。
【００４６】
過去に計算した散乱点の位置関係と類似した画像もしくは同じ場所における新しい画像の組合せにおいて、画像の対応地点を計算する際、ＳＴＥＰ１５として、評価パラメータ記録・呼出部８に記録してあった過去の最適なクラスタ範囲を呼び出す。
【００４７】
呼び出した最適なクラスタ範囲を用いて、実施の形態２で示したように、ＭＵＳＩＣ超解像処理及び散乱点位置の組合せを実施することによって、信頼度が収束するまでの処理時間が短くなり、正確な画像の対応地点の関係を決定することが可能となる。
【図面の簡単な説明】
【００４８】
【図１】実施の形態１による画像評価装置を示す構成図である。
【図２】実施の形態１における処理内容を示すフローチャートである。
【図３】実施の形態１における画像処理を行う画像領域の分割例を示す図である。
【図４】実施の形態１におけるＳＡＲ画像について、ＭＵＳＩＣ超解像処理を実施した例を示す図である。
【図５】実施の形態１における仮説の組合せ例を示す図である。
【図６】実施の形態２による画像評価装置を示す構成図である。
【図７】実施の形態２における処理内容を示すフローチャートである。
【図８】実施の形態３による画像評価装置を示す構成図である。
【図９】実施の形態３における処理内容を示すフローチャートである。
【符号の説明】
【００４９】
１  比較対象画像入力部、  ２  ＭＵＳＩＣ超解像部、  ３  散乱点抽出部、  ４  散乱点相関判定部、  ５  対応地点出力部、  ６  画像処理装置制御部、  ７  散乱点相関判定評価部、  ８  評価パラメータ記録・呼出部。
【図１】
2008014709.tif 000003
【図２】
2008014709.tif 000004
【図３】
2008014709.tif 000005
【図４】
2008014709.tif 000006
【図５】
2008014709.tif 000007
【図６】
2008014709.tif 000008
【図７】
2008014709.tif 000009
【図８】
2008014709.tif 000010
【図９】
2008014709.tif 000011