(57)【特許請求の範囲】
【請求項１】
レーダエコーを処理して作成される画像を用いることで目標を識別するときに、その目標が存在する領域の境界を求める時系列画像処理装置であって、
前記レーダエコーを処理して作成される時系列画像を順に取り込む画像取り込み手段と、
前記取り込まれた時系列画像に基づいて重畳した重畳画像を生成し、この重畳画像に基づいて前記境界位置の候補を一、または、複数検出する境界候補検出手段と、
前記境界位置を予測する境界位置予測手段と、
前記検出された境界位置の候補と前記予測された境界位置とから前記境界位置を決定する境界位置決定手段と、
を具備し、
前記境界位置予測手段は、
前記重畳した重畳画像に基づいて距離方向を表す軸に沿った距離方向輝度分布を生成する距離方向輝度分布生成手段と、
距離方向輝度分布における境界位置の候補が極大値で表現される評価関数を用いて、前記生成した距離方向輝度分布から前記境界位置の候補を検出する候補評価手段と、
を具備した
ことを特徴とする時系列画像処理装置。
【請求項２】
前記境界候補検出手段は、
前記各フレームを正規化する正規化手段と、
前記正規化されたフレームを時系列に沿って、かつ、一定の時間間隔にわたって重畳した重畳画像を生成する重畳画像生成手段と、
を有する
ことを特徴とする請求項１記載の時系列画像処理装置。
【請求項３】
前記距離方向輝度分布生成手段は、
各々の距離においてドップラ方向の輝度の最大値を用いる
ことを特徴とする請求項１記載の時系列画像処理装置。
【請求項４】
前記評価手段における評価関数は、
距離方向を表す軸に沿って前記距離方向輝度分布の両端から各点における輝度値と、その点の外側を含む周辺の一定間隔における平均の輝度値とを比較し、この両輝度値の差、または、比、または、両方から成る量の変化度合の組合せを用いる関数である
ことを特徴とする請求項１記載の時系列画像処理装置。
【請求項５】
前記境界位置予測手段は、
前記境界位置決定手段によって過去の時点で検出された目標の境界を予め記憶しておくことにより、現在のフレームにおける境界の位置を時系列解析により予測する
ことを特徴とする請求項１記載の時系列画像処理装置。
【請求項６】
前記境界位置予測手段は、
前記境界位置決定手段によって直前のフレームで検出された目標の境界を、現在のフレームにおける境界の予測位置とする
ことを特徴とする請求項１記載の時系列画像処理装置。
【請求項７】
前記境界位置決定手段は、
前記境界候補検出手段によって検出された前記距離方向輝度分布における境界位置の候補の極大値の大きさ、及び、その境界位置の候補と前記境界位置予測手段によって予測された境界位置との近さによって前記境界位置を決定する
ことを特徴とする請求項１記載の時系列画像処理装置。
【請求項８】
レーダエコーを処理して作成される画像を用いることで目標を識別するときに、その目標が存在する領域の境界を求める時系列画像処理方法であって、
前記レーダエコーを処理して作成される時系列画像を順に取り込む画像取り込みステップと、
前記ステップによって取り込まれた時系列画像に基づいて重畳した重畳画像を生成し、この重畳画像に基づいて前記境界位置の候補を一、または、複数検出する境界候補検出ステップと、
前記境界位置を予測する境界位置予測ステップと、
前記検出された境界位置の候補と前記予測された境界位置とから前記境界位置を決定する境界位置決定ステップと、
を具備し、
前記境界位置予測ステップは、
前記重畳した重畳画像に基づいて距離方向を表す軸に沿った距離方向輝度分布を生成する距離方向輝度分布生成ステップと、
距離方向輝度分布における境界位置の候補が極大値で表現される評価関数を用いて、前記生成した距離方向輝度分布から前記境界位置の候補を検出する候補評価ステップと、
を具備した
ことを特徴とする時系列画像処理方法。
【請求項９】
レーダエコーを処理して作成される画像を用いることで目標を識別するときに、その目標が存在する領域の境界を求める時系列画像処理方法をコンピュータによって実現するためのプログラムであって、
前記レーダエコーを処理して作成される時系列画像を順に取り込む画像取り込み機能と、
前記取り込まれた時系列画像に基づいて重畳した重畳画像を生成し、この重畳画像に基づいて前記境界位置の候補を一、または、複数検出する境界候補検出機能と、
前記境界位置を予測する境界位置予測機能と、
前記検出された境界位置の候補と前記予測された境界位置とから前記境界位置を決定する境界位置決定機能と、
を実現し、
前記境界位置予測機能は、
前記重畳した重畳画像に基づいて距離方向を表す軸に沿った距離方向輝度分布を生成する距離方向輝度分布生成機能と、
距離方向輝度分布における境界位置の候補が極大値で表現される評価関数を用いて、前記生成した距離方向輝度分布から前記境界位置の候補を検出する候補評価機能と、
を実現する
ことを特徴とする時系列画像処理方法のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、レーダ目標からのレーダエコーから作成されるＩＳＡＲ（逆合成開口レーダ）画像を用いて目標の識別を行うときに、目標の境界を確実に識別できる時系列画像処理装置、その方法及びそのプログラムに関する。
【０００２】
【従来の技術】
一般に、レーダ目標からのレーダエコーから作成されるＩＳＡＲ画像から目標の識別を行うにあたっては、目標が様々に異なった方向に投影され、さらに識別に十分な情報が限られたフレームにしか含まれないという問題を考慮する必要がある。
【０００３】
そこで従来は、この問題を解決するために、時系列のＩＳＡＲ画像から識別しやすい瞬間をとらえたフレームを選択し、予め用意した目標のモデルと比較する手法や、そのフレームに対して識別のための画像処理を施す手法を適用するのが一般的であった。しかしながら、このような処理にはしばしば手作業を介するため、オペレータへの負荷がネックとなり、自動的な類識別を高速に実現することは困難であった。
【０００４】
一方、特開平１１−２８１７３１号公報（以下、公知文献１と称する）には、最適的な観測時間を自動的に選択する手法が開示されている。しかし、この手法では、振幅が検波されたレーダ・ビデオでレンジ方向の広がりが一致するような閾値を設定し、その閾値を超えるレーダ・ビデオのみを抽出してＩＳＡＲ画像情報に変換するという過程を経ることが必要である。したがって、この手法によって選択的に得られたＩＳＡＲ画像のみでは、目標の類識別に利用するために必ずしも十分とは言えない。
【０００５】
また、ＭＵＳＵＭＡＮらによって提案されている「ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｅｒｏｓｐａｃｅ  ａｎｄ  Ｅｌｅｃｔｒｏｎｉｃ  Ｓｙｓｔｅｍｓ  Ｖｏｌ．３２，Ｎｏ．４（以下、公知文献２と称する）」に掲載されたＩＳＡＲ艦船画像の自動認識では、ハフ変換を用いて目標艦船の中心線を求めた上で、これを基に目標のその他の特徴を検出する技術が提案されており、識別の材料になる幾つかのパラメータを自動的に抽出することが可能とされている。しかし、この方法では目標艦船の中心線が必ずしも正確に船首、船尾を通過するように求まるとは限らず、類識別が必ずしも安定して行えない可能性がある。
【０００６】
但し、特願２０００−５４９４６号（以下、文献３と称する）では、時系列のＩＳＡＲ画像を用い、時系列画像の各々を正規化し、その正規化された画像を時系列に沿って解析することで、目標の識別に有用な輪郭などの情報を抽出する手法の基本部分が提案されている。
【０００７】
【発明が解決しようとする課題】
上述したように、従来の方法では、ＩＳＡＲ画像を用いて目標の識別を行う場合、画像生成の原理から目標が様々な方向に変化して投影されることに関して、ＩＳＡＲ画像シーケンスから識別しやすい瞬間をとらえたフレームを選択し、そのフレームに対して識別のための画像処理を施すことがほとんどであった。
【０００８】
しかし、この従来技術は、その画像処理は手作業を介するため、オペレータへの負荷がネックとなり、自動的な類識別を高速に実現することは困難であった。また、上記公知文献１、２に記載された手法も、目標の類識別が容易に、かつ安定して行えるものではなかった。
【０００９】
また、文献３の方法を用いても、目標の境界を識別しづらいという問題があった。
【００１０】
本発明は上記事情を考慮してなされたものでその目的は、レーダ目標からのレーダエコーから作成される画像を用いる際に、目標を確実に捕捉できるようにするために、目標の境界を正確に識別できる時系列画像処理装置、その方法及びそのプログラムを提供をする。
【００１１】
【課題を解決するための手段】
請求項１の発明は、レーダエコーを処理して作成される画像を用いることで目標を識別するときに、その目標が存在する領域の境界を求める時系列画像処理装置であって、前記レーダエコーを処理して作成される時系列画像を順に取り込む画像取り込み手段と、前記取り込まれた時系列画像に基づいて重畳した重畳画像を生成し、この重畳画像に基づいて前記境界位置の候補を一、または、複数検出する境界候補検出手段と、前記境界位置を予測する境界位置予測手段と、前記検出された境界位置の候補と前記予測された境界位置とから前記境界位置を決定する境界位置決定手段と、を具備し、前記境界位置予測手段は、前記重畳した重畳画像に基づいて距離方向を表す軸に沿った距離方向輝度分布を生成する距離方向輝度分布生成手段と、距離方向輝度分布における境界位置の候補が極大値で表現される評価関数を用いて、前記生成した距離方向輝度分布から前記境界位置の候補を検出する候補評価手段と、を具備したことを特徴とする時系列画像処理装置である。
【００１２】
請求項２の発明は、前記境界候補検出手段は、前記各フレームを正規化する正規化手段と、前記正規化されたフレームを時系列に沿って、かつ、一定の時間間隔にわたって重畳した重畳画像を生成する重畳画像生成手段と、を有することを特徴とする請求項１記載の時系列画像処理装置である。
【００１３】
請求項３の発明は、前記距離方向輝度分布生成手段は、各々の距離においてドップラ方向の輝度の最大値を用いることを特徴とする請求項１記載の時系列画像処理装置である。
【００１４】
請求項４の発明は、前記評価手段における評価関数は、距離方向を表す軸に沿って前記距離方向輝度分布の両端から各点における輝度値と、その点の外側を含む周辺の一定間隔における平均の輝度値とを比較し、この両輝度値の差、または、比、または、両方から成る量の変化度合の組合せを用いる関数であることを特徴とする請求項１記載の時系列画像処理装置である。
【００１５】
請求項５の発明は、前記境界位置予測手段は、前記境界位置決定手段によって過去の時点で検出された目標の境界を予め記憶しておくことにより、現在のフレームにおける境界の位置を時系列解析により予測することを特徴とする請求項１記載の時系列画像処理装置である。
【００１６】
請求項６の発明は、前記境界位置予測手段は、前記境界位置決定手段によって直前のフレームで検出された目標の境界を、現在のフレームにおける境界の予測位置とすることを特徴とする請求項１記載の時系列画像処理装置である。
【００１７】
請求項７の発明は、前記境界位置決定手段は、前記境界候補検出手段によって検出された前記距離方向輝度分布における境界位置の候補の極大値の大きさ、及び、その境界位置の候補と前記境界位置予測手段によって予測された境界位置との近さによって前記境界位置を決定することを特徴とする請求項１記載の時系列画像処理装置である。
【００１８】
請求項８の発明は、レーダエコーを処理して作成される画像を用いることで目標を識別するときに、その目標が存在する領域の境界を求める時系列画像処理方法であって、前記レーダエコーを処理して作成される時系列画像を順に取り込む画像取り込みステップと、前記ステップによって取り込まれた時系列画像に基づいて重畳した重畳画像を生成し、この重畳画像に基づいて前記境界位置の候補を一、または、複数検出する境界候補検出ステップと、前記境界位置を予測する境界位置予測ステップと、前記検出された境界位置の候補と前記予測された境界位置とから前記境界位置を決定する境界位置決定ステップと、を具備し、前記境界位置予測ステップは、前記重畳した重畳画像に基づいて距離方向を表す軸に沿った距離方向輝度分布を生成する距離方向輝度分布生成ステップと、距離方向輝度分布における境界位置の候補が極大値で表現される評価関数を用いて、前記生成した距離方向輝度分布から前記境界位置の候補を検出する候補評価ステップと、を具備したことを特徴とする時系列画像処理方法である。
【００１９】
請求項９の発明は、レーダエコーを処理して作成される画像を用いることで目標を識別するときに、その目標が存在する領域の境界を求める時系列画像処理方法をコンピュータによって実現するためのプログラムであって、前記レーダエコーを処理して作成される時系列画像を順に取り込む画像取り込み機能と、前記取り込まれた時系列画像に基づいて重畳した重畳画像を生成し、この重畳画像に基づいて前記境界位置の候補を一、または、複数検出する境界候補検出機能と、前記境界位置を予測する境界位置予測機能と、前記検出された境界位置の候補と前記予測された境界位置とから前記境界位置を決定する境界位置決定機能と、を実現し、前記境界位置予測機能は、前記重畳した重畳画像に基づいて距離方向を表す軸に沿った距離方向輝度分布を生成する距離方向輝度分布生成機能と、距離方向輝度分布における境界位置の候補が極大値で表現される評価関数を用いて、前記生成した距離方向輝度分布から前記境界位置の候補を検出する候補評価機能と、を実現することを特徴とする時系列画像処理方法のプログラムである。
【００２０】
すなわち、本発明は、レーダエコーを処理して作成される時系列の画像を用い、画像の各々のフレームにおいて、目標が存在する領域の境界位置を予測するとともに、境界位置の候補を検出し、境界位置の候補の中から予測される境界位置を考慮して、目標領域の境界位置を決定することで目標の識別を容易にするものである。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について目標を艦船としてＩＳＡＲ（逆合成開口レーダ）画像を用いる場合を例に、図面を参照して説明する。
【００２２】
図１は本発明の一実施形態に係る時系列画像処理装置の全体構成を示すブロック図である。
【００２３】
図１の時系列画像処理装置は、ＩＳＡＲ画像生成部１０と、目標特徴抽出部１と、ＩＳＡＲ画像正規化部２と、正規化画像重畳部３と、目標境界抽出部４と、目標輪郭出力部５とから構成される。これら各装置の機能は、コンピュータに記憶されたプログラムによって実現する。
【００２４】
ＩＳＡＲ画像生成部１０は、レーダエコーを入力とし、ＩＳＡＲ画像を生成する。
【００２５】
目標特徴抽出部１は、ＩＳＡＲ画像生成部１０で生成されたＩＳＡＲ画像から、目標の特徴を抽出する。
【００２６】
目標特徴抽出部１において抽出された目標の特徴量に基づき、ＩＳＡＲ画像正規化部２によって目標のＩＳＡＲ画像におけるフレーム毎の歪みを補正することで、正規化を行う。
【００２７】
正規化画像重畳部３は、ＩＳＡＲ画像正規化部２で正規化された画像を複数枚ごとに重畳する。これにより目標領域が強調された結果は、目標特徴抽出部１へ入力としてフィードバックされる。
【００２８】
目標境界追跡部４は、目標特徴抽出部１において抽出された目標領域に基づいた目標境界を時系列的に追跡し、そこで決定した目標境界を目標輪郭抽出部５へ入力する。
【００２９】
目標輪郭抽出部５においては、目標境界追跡部４で決定される目標境界を参照する一方で、ＩＳＡＲ画像正規化部２で正規化された画像が複数枚ごとに輪郭などの情報にまとめられ、その出力は類識別のためオペレータに渡される。
【００３０】
以下、図１の構成中の各部の詳細について順に説明する。
【００３１】
なお、以下の説明では、時系列画像の各時刻における画像を、時系列の画像と明確に区別するためにフレームと呼ぶ。
【００３２】
（ａ）目標特徴検出部
まず、目標特徴検出部１の詳細について、図２、図７（ａ）（ｂ）を参照して説明する。図２は、目標特徴検出部１の詳細構成を示すブロック図である。
【００３３】
図２に示すように、目標特徴検出部１は、主として距離方向輝度分布生成部１１と、目標領域特定部１２と、特徴点検出部１３とから構成される。
【００３４】
（ａ−１）距離方向輝度分布生成部１１
距離方向輝度分布生成部１１では、図７（ａ）に示す入力画像から、ＩＳＡＲ画像においてレンジ方向を表す軸に沿った輝度値の分布に基づいた距離方向輝度分布を生成する。通常はＩＳＡＲ画像の水平軸が目標のレンジ方向の広がりに、垂直軸が反射波のドップラ周波数に対応している。そこで、水平方向の軸を基準に考えると、各水平座標において垂直方向の輝度値を観測（検出）し、例えばその最大値を選択していくことで距離方向輝度分布を生成する。
【００３５】
すなわち、水平軸座標ｘ＝ｘｋ  、垂直軸座標ｙ＝ｙにおける輝度値をＩ（ｘｋ  ，ｙ）、水平軸座標ｘ＝ｘｋ  における輝度分布の値をＨ（ｘｋ  ）とすると、Ｈ（ｘｋ  ）は次式により求められる。
【００３６】
【数１】
0003640907.tif 000002
なお、Ｈ（ｘｋ  ）として、最大値の代わりに垂直方向の輝度値の平均値等を利用しても構わない。
【００３７】
距離方向輝度分布Ｈ（ｘｋ  ）を計算する入力画像として、各フレームで得られるＩＳＡＲ画像をそのまま用いても良いが、フレーム毎に大きく異なったノイズが乗った状況では、目標特徴の安定した検出が困難になる場合がある。そこで入力画像を直近の何フレームかに渡って重ね合わせて安定性を確保することを考える。但し、ＩＳＡＲ画像中では目標の形状はフレーム毎に変化するため、単純に重ね合わせても入力を安定させる効果は得られない。そこで、正規化画像重畳部３により画像の幾何的な正規化を行った上で重畳したものを入力として利用する。正規化画像重畳部３に関しては後述する。
【００３８】
（ａ−２）目標領域特定部１２
次に目標領域特定部１２は、距離方向輝度分布生成部１１により生成された距離方向輝度分布の値に従ってＩＳＡＲ画像中で目標が存在する領域の特定を行う。
【００３９】
ＩＳＡＲ画像の輝度値は目標が存在している領域で高くなるため、距離方向輝度分布の値も、理想的には目標が存在している領域において高くなる。従って目標が概ねＩＳＡＲ画像の中央付近に位置することを考慮すると、これに対応して距離方向輝度分布も水平軸の中央付近に対応する部分で高い値を、両端部分で低い値を取ることになる。こうした特性を利用して、距離方向輝度分布の両端からそれぞれ中央に向かって値が急激に増加する点を検出することで、そうした２点の座標に挟まれた範囲によって、水平軸上で目標の距離方向の広がりの範囲を特定することができる。
【００４０】
ここで、距離方向輝度分布値が急激に変化する点の検出手法の一例を、図７（ｂ）に基づいて、水平軸左端から中央に向かって探索する場合について以下に示す。
【００４１】
ここでは、水平軸方向（レンジ方向）の各座標ｘにおいて、その座標より左の一定間隔ｒにおける値の平均Ｍ（ｘ，ｒ）と、その点における値Ｈ（ｘ）を比較し、その差、またはその比、或は差と比の組合せを考慮する。
【００４２】
具体的には、Ｍ（ｘ，ｒ）とＨ（ｘ）の差をＭ（ｘ，ｒ）の階乗で除した乖離関数Ｑ（ｘ）を定義し、Ｑ（ｘ）が極大値を取る場合に距離方向輝度分布の値が急激に増加したとみなす。Ｑ（ｘ）を式で表すと次のようになる。
【００４３】
【数２】
0003640907.tif 000003
【数３】
0003640907.tif 000004
ここでαはＭ（ｘ，ｒ）による除算を重視する度合を示すパラメータ、Ｃはスケーリングのための定数である。具体的な数値としてはｒ＝１０（画素）、α＝２、Ｃ＝５０などとすればよい。
【００４４】
順に探索を行う過程でＱ（ｘ）が極大値を取る座標を目標領域の左端Ｒ０  とおく。但し、Ｑ（ｘ）が極大値を取る座標は、目標領域の境界に限らず、ＩＳＡＲ画像に含まれるノイズなどにより複数存在することが考えられるが、後に詳しく述べる目標境界追跡部４における処理に従って目標領域の境界を決定する。
【００４５】
次に、上記とは逆に水平軸右端から中央に向かって順に探索する場合については、この対称の条件を考えて
【数４】
0003640907.tif 000005
とすればよい。同様に、Ｑ（ｘ）が極大値を取る座標をＲ１  とおくと、水平方向でＲ０  ＜ｘ＜Ｒ１  に相当する範囲は目標領域に含まれることになる。
【００４６】
（ａ−３）特徴点検出部１３
特徴点検出部１３では、目標領域特定部１２で求められた目標領域を基に、目標の特徴点の位置を検出する。ＩＳＡＲ画像中の特徴点としては、その性質から目標のうち比較的鋭角な形状を持つ部分に現われやすく、艦船の場合、具体的には船首や船尾の他、艦橋、煙突、アンテナ、砲台などの先端部などがそれにあたる。ここでは次のＩＳＡＲ画像正規化部２で活用可能な特徴点として、船首と船尾の検出を行う。
【００４７】
さて、先に述べた目標領域特定部１２で適用した目標領域特定手法によれば、距離方向輝度分布の値が急激に変化する点Ｒ０  及びＲ１  は、目標の距離方向の広がりの両端に対応するものである。また、目標が艦船の例では、船首と船尾は距離方向の広がりを定義するものである。よって、船首と船尾のいずれか一方はＲ０  の付近に、他方はＲ１  の付近に位置することになる。
【００４８】
一方、船首と船尾は鋭角な部位であることからＩＳＡＲ画像において対応する画素の輝度値は高く、艦船の構造上、その周辺で局所的な最大値をとることが殆どである。従って、水平軸方向の座標で見てＲ０  及びＲ１  の付近において輝度が局所極大値を持つ点を検出することで船首と船尾を表す特徴点とすることが可能である。図７（ｃ）に示すように、これらの点の一方をＰ、他方をＳとおく。
【００４９】
（ｂ）ＩＳＡＲ画像正規化部２
次に、ＩＳＡＲ画像正規化部２の詳細について、図３、図７（ｃ）（ｄ）を参照して説明する。
【００５０】
図３は、ＩＳＡＲ画像正規化部２の詳細構成を示すブロック図である。
【００５１】
ＩＳＡＲ画像正規化部２ではピッチ、ロール、ヨウの変化により、各フレームで様々に異なった方向に歪んで現われる目標の形状を、空間的に共通した枠組の中に収めるべく正規化する。
【００５２】
図７（ｃ）（ｄ）は、その正規化中の各イメージ画像である。
【００５３】
図３に示すように、ＩＳＡＲ画像正規化部２は、主として主軸設定部２１と、位相判定部２２と、正規化処理部２３とから構成される。
【００５４】
（ｂ−１）主軸設定部２１
主軸設定部２１は、正規化の基準として目標領域Ｗの中心部分を通り抜ける直線（主軸）を設定する。この直線にはＩＳＡＲ画像における２次元の輝度分布に関する長軸を利用することも考えられるが、艦船に対するその位置は、艦橋などからの反射が艦船の姿勢変化に伴って時間的に変化する影響で必ずしも一定したものとならない。
【００５５】
そこで、特徴点検出部１３で検出した船首と船尾の位置、ＰとＳを有効利用し、これら２点を通る直線を主軸と定義する。船首と船尾を通る直線は船体を貫通し、艦船の姿勢にかかわらず安定して得ることが可能である。
【００５６】
点ＰとＳを通るこの主軸をｙ＝ａｘ＋ｂと記述する。但し、ｘとｙは水平、垂直軸方向の変数、ａとｂは直線の傾きと位置を表す定数である。
【００５７】
（ｂ−２）位相判定部２２
位相判定部２２は、目標の姿勢、特にピッチ角の変化の方向が正負のいずれであるかに関する判定を行う。更に詳細に述べるならば、ＩＳＡＲ画像の各フレームが生成される時点におけるピッチ角が正か負のいずれの方向に変化しているかによって、画像中で目標形状が上下反転して現われるため、この反転が起こっているか否かを判定するものである。判定は主軸設定部２１によって設定された主軸を基準に、主軸の両側（上下）における相対的な輝度値の偏りを調べることで可能となる。
【００５８】
例として、輝度値の平均値を用いるなら、目標領域Ｗの主軸の上側の（ｙ＞ａｘ＋ｂ）となる領域ωｕ  と、目標領域Ｗの下側の（ｙ＜ａｘ＋ｂ）となる領域ωｌ  に含まれる画素数がそれぞれｎｕ  、ｎｌ  であるとき、各領域の輝度Ｉ（ｘ，ｙ）の平均値Ｉｕ  、Ｉｌ  は次式に従う。
【００５９】
【数５】
0003640907.tif 000006
【数６】
0003640907.tif 000007
そこで、これらの値を比較することでＩｕ  ＞Ｉｌ  であれば画像中の目標が正の位相に、Ｉｕ  ＜Ｉｌ  であれば負の位相、つまり反転位相にあると判定する。
【００６０】
ここで、主軸の上下の領域での輝度平均がほぼ等しくＩｕ  〜Ｉｌ  であるときは位相の判定は微妙なものとなる。そのため、例えばその比Ｉｕ  ／Ｉｌ  が１に近いとき（１−δ＜Ｉｕ  ／Ｉｌ  ＜１＋δ）は位相判定不可とする。
【００６１】
一方、主軸の両側（上下）における相対的な輝度値の偏りを調べるには、艦橋などの船舶の甲板上の上部構造に起因する輝度が重要であるため、主軸からの距離ｄ＝｜ｙ−ｃ（ｘ）｜に比例して各輝度値に重みづけを与えることが効果的である。この場合、輝度Ｉ（ｘ，ｙ）の重み付け平均値Ｉｕ  、Ｉｌ  は次式に従う。
【数７】
0003640907.tif 000008
【数８】
0003640907.tif 000009
但し、ｃ（ｘ）は水平座標ｘにおける主軸上の垂直座標を表している。また、主軸からの距離ｄが小さい領域では、主軸の両側（上下）の輝度は一様であることが多いため、そうした領域で重み付けを零（ｄ＝０）とおくことで更に位相の正負が明確になる。
【００６２】
（ｂ−３）正規化処理部２３
正規化処理部２３では主軸設定部２１での主軸設定結果と位相判定部２２での位相判定結果に基づいて、ＩＳＡＲ画像に対する正規化処理を図７（ｄ）に示すように行う。
【００６３】
すなわち、主軸設定部２１で設定された主軸が水平方向となるような変換によってＩＳＡＲ画像全体を正規化する。この際、位相判定部２２で反転位相にあると判断されたフレームに関しては、正規化後の画像に対して主軸の両側、つまり上下を反転させて出力する。
【００６４】
これにより、各フレームでピッチ、ロール、ヨウの変化により様々に異なった方向に歪んで現われる目標の形状が、いずれも水平面に沿って且つ主軸に直交する方向から見た場合の形状に揃えられることになる。
【００６５】
（ｃ）正規化画像重畳部３
次に、正規化画像重畳部３の詳細について、図４、図７（ｅ）を参照して説明する。
【００６６】
図４は、正規化画像重畳部３の詳細構成を示すブロック図である。図４に示すように、正規化画像重畳部３は、主として正規化フレーム選択部３１と、輝度値加算部３２とから構成される。
【００６７】
図７（ｅ）は、正規化画像重畳部３によって処理した画像である。
【００６８】
（ｃ−１）正規化フレーム選択部３１
正規化フレーム選択部３１では、ＩＳＡＲ画像正規化部２で正規化された各フレームから重畳すべきフレームを選択する。
【００６９】
重畳する目的は、目標特徴検出部１に対し、安定に目標領域を特定しやすい入力を提供することにある。従って、目標の領域に関してレンジ方向の位置ずれが生じていない範囲で、直近の複数のフレームを対象として選択する。何らかの手段でＩＳＡＲ画像中の目標の位置に大きな変化があったことが判明した場合は、その変化より以前のフレームは選択しない。
【００７０】
（ｃ−２）輝度値加算部３２
輝度値加算部３２では、図７（ｅ）に示すように、正規化フレーム選択部３１で選択された各フレームの輝度を画素ごとに加算する。
【００７１】
単純に加算することにより、目標の存在する輝度の高い領域を強調する一方で、フレーム毎に異なったノイズを平滑化する効果が得られる。
【００７２】
または、時間軸上で見て最新のフレームに近いものを重視するのであれば、加算するフレーム間で適当に重み付けを行っても良い。加算した輝度値は、フレームの枚数で除した上で、目標特徴抽出部１の入力とする。
【００７３】
（ｄ）目標境界追跡部４
次に、目標境界追跡部４の詳細について、図５、図７（ｅ）（ｆ）を参照して説明する。
【００７４】
図５は、目標境界追跡部４の詳細構成を示すブロック図である。図５に示すように、目標境界追跡部４は目標領域特定部１２と関連し、主として境界位置候補選出部４１と、境界位置予測部４２と、境界決定部４３とから構成される。
【００７５】
（ｄ−１）境界位置候補選出部４１
境界位置候補選出部４１は、距離方向輝度分布生成部１１において生成された距離方向輝度分布値が急激に変化する点を、境界位置の候補として選出する。
【００７６】
境界位置では、距離方向輝度分布生成部１１で定義した乖離関数Ｑ（ｘ）が極大値を取ると考えられるが、Ｑ（ｘ）が極大値を取る座標は、目標領域の境界に限らず、図７（ｆ）に示すように、ＩＳＡＲ画像に含まれるノイズなどにより複数存在するのが通常であり、これらの点を境界位置の候補とする。
【００７７】
但し、Ｑ（ｘ）が極大であっても、その絶対値が一定の値を下回る場合は候補の対象から除外する。
【００７８】
（ｄ−２）境界位置予測部４２
境界位置予測部４２では、過去の各時刻において決定された境界位置に基づいて、現在の境界位置を予測する。
【００７９】
目標の領域に関してレンジ方向の位置ずれが生じない場合では、過去の境界位置が単純に現在の境界位置の推定位置とする。このため、境界位置予測部４２には、次に記述する境界決定部４３によって決定された各時刻における境界が入力として与えられる。
【００８０】
（ｄ−３）境界決定部４３
境界決定部４３では、境界位置候補選出部４１で選出された境界位置の候補の中から、境界位置予測部４２における境界位置の予測位置を参照しながら境界を決定する。まず、候補の中から予測位置に最も近いものを選択することが考えられるが、更に、各候補に対応する乖離関数Ｑ（ｘ）の値を考慮に入れて選択する方法について述べる。
【００８１】
図７（ｆ）に示すように、ある候補の座標をｘｃ  、予測位置をｐとおくとき、この候補を評価する基準として例えば次のような関数を定義する。
【００８２】
【数９】
0003640907.tif 000010
ここでβは乖離関数Ｑ（ｘ）の大きさを重視する度合を記述するパラメータである。これにより境界の候補ｘｃ  は、評価値Ｅ（ｘｃ  ）が小さな値を取るほど、予測位置に近いと同時に乖離関数Ｑ（ｘｃ  ）が大きいという条件を満足することになる。
【００８３】
従って、境界位置候補選出部４１で選出された境界位置の候補の中から、上記のような評価値を最小化するものを選び、境界とする。ここで決定された境界は、図５に示すように、目標領域特定部１２及び目標輪郭抽出部５において用いられる。
【００８４】
（ｅ）目標輪郭抽出部５
次に、目標輪郭抽出部５の詳細について、図６を参照して説明する。
【００８５】
図６は、目標輪郭抽出部５の詳細構成を示すブロック図である。
【００８６】
目標輪郭抽出部５は、ＩＳＡＲ画像正規化部２によって正規化された出力（各フレームにおける目標を同じ方向から見た状況に揃えた出力）を２値化した上で重畳し、類識別に有用な情報を抽出する。図６に示すように、目標輪郭抽出部５は、主として周期設定部５１と、２値化重畳部５２と、輪郭出力部５３とから構成される。
【００８７】
（ｅ−１）周期設定部５１
周期設定部５１では、ＩＳＡＲ画像正規化部２によって正規化された各フレームからの出力を重畳する時間間隔、つまり周期を定める。海上を航行する目標物はヨウ（蛇角）を除いて揺れによる周期運動をくり返している。一方、ある程度以上の時間、目標を観察し続けると、目標が移動するに従って、その画像中の位置も少しずつシフトを伴ってくる。そこで、フレーム出力を重畳する時間間隔（時間範囲）として、目標の運動の一周期を十分に含む程度の長さで、位置のシフトが顕著にならない程度の範囲（目標位置の移動量が所定レベル以下に抑えられる範囲）、例えば１周期以上２周期以下の時間を設定する。これにより、様々な位置から見た多フレームにわたっての出力を、基本的に同じ方向から見たものとして重ね合わせる。
【００８８】
（ｅ−２）２値化重畳部５２
２値化重畳部５２は、周期設定部５１で設定した時間間隔（周期）における出力を重畳する。
【００８９】
但し、艦船の胴体部分が常に高い輝度値をもつ一方で、艦橋の先端などに相当する部分はピッチ角の変化率が大きい場合のみに輝度値を持つため、ＩＳＡＲ画像正規化部２からの出力をそのまま重畳していくと、胴体部分のみを強調した出力が得られてしまう。つまり、目標の特徴をよく表す艦橋などからの出力が相対的に微弱なものとなってしまう。
【００９０】
このため、各フレームの出力に関し、予め定められた閾値を超える輝度値については例えば１に変換し、超えない輝度値については０に変換する、いわゆる２値化処理を行う。
【００９１】
そして、この２値化されたフレーム画像の論理和をとることにより、周期設定部５１の設定した１周期内に出力される各フレームに現われた目標の特徴を失うことなく重畳する。
【００９２】
具体的には、１秒あたり３フレームのＩＳＡＲ画像を生成している場合、目標の運動周期が８秒であって、周期設定部５１において当該目標の運動周期に一致する周期を設定した場合を例にとると、この８秒間に出力される合計２４フレームについての２値画像を重ね合わせる。但し、位相判定部２２で位相判定不可となったフレームについては重畳の対象としない。
【００９３】
（ｅ−３）輪郭出力部５３
輪郭出力部５３は、２値化重畳部５２による２値画像の重畳の結果得られた目標形状のシルエットを、オペレータが類識別に利用しやすい情報として出力する。ここでは艦船において、船首と船尾を結ぶ主軸の上側に位置する艦橋や砲台などの形状が目標を特徴付けていることを利用する。つまり、シルエットの２値化画像中、主軸上の各水平座標に対して垂直方向に主軸上部を探索し、シルエットの境界で画素が１から０に反転する垂直座標値を順に並べていくことで、艦船の輪郭をベクトルとして表現することができる。このとき、ベクトル表現を行う範囲は、境界決定部４３によって目標のレンジ方向において決定された境界に含まれる領域とし、このベクトルを、目標輪郭抽出部５の出力とする。
【００９４】
（変更例）
なお、本発明は上記実施例で記載した内容に限定されるものではない。
【００９５】
例えば、境界位置予測部４２では、過去の各時刻において決定された境界位置に基づいて、現在の境界位置の推定位置とした予測に限られず、目標領域が徐々にドリフトする状況では、過去の境界位置の変化を外挿すること、あるいはカルマンフィルターなどにより時系列解析を行うことにより現在の境界位置を推定することが可能である。
【００９６】
このように、本発明は部分的な要素処理の置き換えなどにより様々な拡張が可能である。
【００９７】
【発明の効果】
本発明によれば、レーダ目標からのレーダエコーから作成されるＩＳＡＲ（逆合成開口レーダ）画像を入力に、様々に歪んで獲得される目標の形状を一様に正規化、重畳することによって、時系列画像処理装置及び時系列画像処理方法を提供することが可能となり、レーダ画像情報に基づいた高速な目標の類識別を容易にする技術の実現に大きく貢献する。
【図面の簡単な説明】
【図１】本発明の一実施形態を示すブロック図である。
【図２】図１の目標特徴抽出部の詳細な構成を示すブロック図である。
【図３】図１のＩＳＡＲ画像正規化部の詳細な構成例を示すブロック図である。
【図４】図１の正規化画像重畳部の詳細な構成を示すブロック図である。
【図５】図１の目標境界追跡部の詳細な構成を示すブロック図である。
【図６】図１の目標輪郭抽出部の詳細な構成を示すブロック図である。
【図７】本実施形態における処理中のイメージ画像である。
【符号の説明】
１  目標特徴抽出部
２  ＩＳＡＲ画像正規化部
３  正規化画像重畳部
４  目標境界追跡部
５  目標輪郭抽出部
１０  ＩＳＡＲ画像生成部
１１  距離方向輝度分布生成部
１２  目標領域特定部
１３  特徴点検出部
２１  主軸設定部
２２  位相判定部
２３  正規化処理部
３１  正規化フレーム選択部
３２  輝度値加算部
４１  境界位置候補選出部
４２  境界位置予測部
４３  境界決定部
５１  周期設定部
５２  ２値化重畳部
５３  輪郭出力部
【図１】
0003640907.tif 000011
【図２】
0003640907.tif 000012
【図３】
0003640907.tif 000013
【図４】
0003640907.tif 000014
【図５】
0003640907.tif 000015
【図６】
0003640907.tif 000016
【図７】
0003640907.tif 000017