(57)【要約】【課題】目標からのレーダエコーを処理して生成される時系列画像を用いて目標の類識別のための処理を容易かつ安定に行う。【解決手段】ＩＳＡＲ画像生成部１０により生成される時系列画像から、目標船軸検出部１１によって目標領域の下部及び上部輪郭の各々に沿った直線当てはめにより目標軸候補を検出し、これらの候補から目標船軸選択部１２により目標船軸を選択する。ＩＳＡＲ画像正規化重畳部１３は、時系列画像を目標船軸に従って正規化すると共に複数フレーム分重畳する。正規化重畳画像から目標領域と非目標領域とのレンジ方向における境界を目標領域決定部１４により決定し、目標ベクトル抽出部１５は正規化重畳画像の境界を含む領域から目標ベクトルを抽出する。【選択図】図１
2005106566.tif 000002
【特許請求の範囲】
【請求項１】
主軸を有する目標からのレーダエコーを処理してフレーム単位で生成される時系列画像を用いて前記目標の類識別のための処理を行う時系列画像処理方法において、
前記時系列画像に対して前記目標が存在する目標領域の下部輪郭及び上部輪郭の各々に沿った直線当てはめを行うことにより少なくとも二つの主軸候補を検出し、
検出された前記主軸候補から前記主軸を選択し、
前記時系列画像を前記主軸に従って正規化すると共に一定の時間にわたる複数フレーム分重畳することにより正規化重畳画像を生成し、
前記正規化重畳画像から前記目標領域と非目標領域とのレンジ方向における境界を決定し、
前記正規化重畳画像の前記境界に含まれる領域から前記目標の特徴を表す目標ベクトルを抽出する時系列画像処理方法。
【請求項２】
主軸を有する目標からのレーダエコーを処理してフレーム単位で生成される時系列画像を用いて前記目標の類識別のための処理を行う時系列画像処理装置において、
前記時系列画像に対して前記目標が存在する目標領域の下部輪郭及び上部輪郭の各々に沿った直線当てはめを行うことにより少なくとも二つの主軸候補を検出する手段と、
前記主軸候補から前記主軸を選択する手段と、
前記時系列画像を前記主軸に従って正規化すると共に一定の時間にわたる複数フレーム分重畳することにより正規化重畳画像を生成する手段と、
前記正規化重畳画像から前記目標領域と非目標領域とのレンジ方向における境界を決定する手段と、
前記正規化重畳画像の前記境界を含む領域から前記目標の特徴を表す目標ベクトルを抽出する手段とを具備する時系列画像処理装置。
【請求項３】
前記主軸候補を検出する手段は、前記直線当てはめにハフ変換を利用し、該ハフ変換における投票に際して前記目標領域の輪郭位置の揺らぎに対応する一定の幅を持った領域及び前記輪郭位置における輝度変化の強さに従った重み付けを行う請求項２記載の時系列画像処理装置。
【請求項４】
前記主軸を選択する手段は、前記主軸候補の各々についてハフ変換の投票数または軸の両側の輝度分布の偏りが大きい方を前記主軸として選択する請求項２記載の時系列画像処理装置。
【請求項５】
前記正規化重畳画像を生成する手段は、前記ＩＳＡＲ画像に対して前記主軸が一定方向となる変換を施すことによって前記ＩＳＡＲ画像を正規化し、正規化した画像の輝度値を前記複数フレーム間で相対応する画素毎に比較し、各画素毎に輝度値の最大値を用いて前記正規化重畳画像を生成する請求項２記載の時系列画像処理装置。
【請求項６】
前記境界を決定する手段は、前記正規化重畳画像中の前記主軸から一定の距離内の画素の輝度値を用いて前記境界を決定する請求項２記載の時系列画像処理装置
【請求項７】
前記目標ベクトルを抽出する手段は、前記正規化重畳画像の前記境界を含む領域における輝度分布から、前記レンジ方向の各座標に対する前記目標領域の輪郭位置あるいは輝度値の最大値の並びを前記目標ベクトルとして抽出する請求項２記載の時系列画像処理装置。
【請求項８】
主軸を有する未知の目標からのレーダエコーを処理してフレーム単位で生成される第１の時系列画像から前記未知の目標の特徴を表す第１の目標ベクトルを抽出する第１の目標ベクトル抽出ステップと、
主軸を有する既知の目標からのレーダエコーを処理してフレーム単位で生成される複数の第２の時系列画像から前記既知の目標の特徴を表す第２の目標ベクトルを抽出して記録する第２の目標ベクトル記録ステップと、
前記第１の目標ベクトルと前記第２の目標ベクトルとの照合により前記未知の目標の類識別を行う識別ステップとを具備し、
前記第１の目標ベクトル抽出ステップ及び第２の目標ベクトル記録ステップは、（ａ）前記第１または第２の時系列画像に対して前記未知または既知の目標が存在する目標領域の下部輪郭及び上部輪郭の各々に沿った直線当てはめを行うことにより少なくとも二つの主軸候補を検出し、（ｂ）検出された前記主軸候補から前記主軸を選択し、（ｃ）前記第１または第２の時系列画像を前記主軸に従って正規化すると共に一定の時間にわたる複数フレーム分重畳することにより正規化重畳画像を生成し、（ｄ）前記正規化重畳画像から前記目標領域と非目標領域とのレンジ方向における境界を決定し、（ｅ）前記正規化重畳画像の前記境界を含む領域から前記第１または第２の目標ベクトルを抽出する時系列画像処理方法。
【請求項９】
主軸を有する未知の目標からのレーダエコーを処理してフレーム単位で生成される第１の時系列画像から前記未知の目標の特徴を表す第１の目標ベクトルを抽出する第１の目標ベクトル抽出手段と、
主軸を有する既知の目標からのレーダエコーを処理してフレーム単位で生成される複数の第２の時系列画像から前記既知の目標の特徴を表す第２の目標ベクトルを抽出して記録する第２の目標ベクトル記録手段と、
前記第１の目標ベクトルと前記第２の目標ベクトルとの照合により前記未知の目標の類識別を行う識別手段とを具備し、
前記第１の目標ベクトル抽出手段及び第２の目標ベクトル記録手段は、前記第１または第２の時系列画像に対して前記未知または既知の目標が存在する目標領域の下部輪郭及び上部輪郭の各々に沿った直線当てはめを行うことにより少なくとも二つの主軸候補を検出する手段と、検出された前記主軸候補から前記主軸を選択する手段と、前記第１または第２の時系列画像を前記主軸に従って正規化すると共に一定の時間にわたる複数フレーム分重畳することにより正規化重畳画像を生成する手段と、前記正規化重畳画像から前記目標領域と非目標領域とのレンジ方向における境界を決定する手段と、前記正規化重畳画像の前記境界を含む領域から前記第１または第２の目標ベクトルを抽出する手段とを有する時系列画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、目標からのレーダエコーを処理して生成される時系列画像を用いて目標の識別のための処理を行うために、正規化に用いる目標の主軸を的確に検出して、様々に歪んで獲得される目標の形状が一様となるように時系列画像を正規化して重畳することで類識別を容易とする時系列画像処理方法及び装置に関する。
【背景技術】
【０００２】
一般に、レーダシステムにおいて目標からのレーダエコーより生成される時系列画像、例えばＩＳＡＲ（逆合成開口レーダ）画像を用いて船舶のような目標の類識別を行う際には、目標が様々に異なった方向に投影されることと、識別に十分な情報が限られたフレームにしか含まれないことを考慮する必要がある。
【０００３】
そこで、ＩＳＡＲ画像から目標を識別しやすい瞬間をとらえたフレームを選択し、あらかじめ用意した目標のモデルと比較する手法や、選択されたフレームに対して識別のための画像処理を施す手法を適用するのが一般的であった。しかしながら、このような処理には手作業を必要とするため、オペレータヘの負荷がネックとなり、目標の識別を高速に実現することは困難であった。
【０００４】
特許文献１には、最適的な観測時間を自動的に選択する手法が開示されている。この手法では、振幅検波がなされたレーダ・ビデオ上にレンジ方向の広がりが一致するような閾値を設定し、その閾値を超えるレーダ・ビデオのみを抽出してＩＳＡＲ画像情報に変換するという過程を経ることが必要である。従って、この手法によって選択的に得られたＩＳＡＲ画像のみでは、目標の識別に利用するために必ずしも十分とは言えない。
【０００５】
MUSUMANらによって提案されているIEEE Transactions on Aerospace and Electronic Systems Vol.32, No.4（非特許文献１）に掲載されたＩＳＡＲ艦船画像の自動認識では、ハフ変換を用いて目標艦船の船軸を求め、これを基に目標のその他の特徴を検出する技術が提案されており、識別の材料になる幾つかのパラメータを自動的に抽出することが可能とされている。しかし、この方法でもノイズの多い環境では目標艦船の船軸が必ずしも正確に検出されるとは限らないため、目標の識別が必ずしも安定して行われない可能性がある。
【０００６】
一方、時系列のＩＳＡＲ画像の各々を正規化した後、時系列に沿って重畳することで、目標の識別に有用な輪郭などの情報を抽出する手法が提案されている（特許文献２及び３参照）。例えば、特許文献２ではＩＳＡＲ画像から目標の特徴点を検出し、ＩＳＡＲ画像の正規化の基準となる、目標の中心を通る主軸（例えば、船舶の船軸）を目標の特徴点に基づいて設定する。
【０００７】
特許文献３では、特許文献２と同様にして主軸を設定してＩＳＡＲ画像の正規化及び重畳を行い、得られる正規化重畳画像から目標のシルエットの２値画像を生成し、この２値画像から目標の輪郭ベクトルを特徴ベクトルとして求める。同様の処理を既知の目標についても行って得られる特徴ベクトルを辞書として登録しておき、未知の目標の特徴ベクトルを辞書の特徴ベクトルと照合することにより、未知の目標の類識別を行う。
【０００８】
【特許文献１】特開平１１−２８１７３１号公報。
【０００９】
【特許文献２】特開２００１−２４２２４５号公報。
【００１０】
【特許文献３】特開２００２−００６０３４号公報。
【００１１】
【非特許文献１】IEEE Transactions on Aerospace and Electronic Systems Vol. 32, No. 4。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
上述したように従来の技術では、ＩＳＡＲ画像を用いて目標の識別を行う場合、画像生成の原理から目標が様々な方向に変化して投影されることに関して、ＩＳＡＲ画像シーケンスから識別しやすい瞬間をとらえたフレームを選択し、そのフレームに対して識別のための画像処理を施すことがほとんどであった。しかし、従来の技術は画像処理に手作業が介在するため、オペレータヘの負荷がネックとなり、自動的な識別を高速に実現することは困難であった。また、特許文献１や非特許文献１の方法でも、ノイズの多い環境では目標艦船の船軸が必ずしも正確に検出されるとは限らないため、目標の識別が必ずしも安定して行われない可能性がある。
【００１３】
一方、特許文献２及び３に記載の手法では、ＩＳＡＲ画像から検出される目標の特徴点に基づいてＩＳＡＲ画像の正規化に必要な主軸をいかに的確に決定するかが、目標の類識別を安定して行う上で課題となる。
本発明の目的は、目標からのレーダエコーを処理して生成される時系列画像を用いて目標の類識別のための処理を容易かつ安定に行う時系列画像処理方法及び装置を提供することにある。
【課題を解決するための手段】
【００１４】
上記の課題を解決するため、本発明の一つの観点では主軸を有する目標からのレーダエコーを処理してフレーム単位で生成される時系列画像を用いて前記目標の識別のための処理を行う際、（ａ）前記時系列画像に対して前記目標が存在する目標領域の下部輪郭及び上部輪郭の各々に沿った直線当てはめを行うことにより少なくとも二つの主軸候補を検出し、（ｂ）検出された前記主軸候補から前記主軸を選択し、（ｃ）前記時系列画像を前記主軸に従って正規化すると共に一定の時間にわたる複数フレーム分重畳することにより正規化重畳画像を生成し、（ｄ）前記正規化重畳画像から前記目標領域と非目標領域とのレンジ方向における境界を決定し、（ｅ）前記正規化重畳画像の前記境界に含まれる領域から前記目標の特徴を表す目標ベクトルを抽出する。
【００１５】
また、本発明の他の観点によると、主軸を有する未知の目標からのレーダエコーを処理してフレーム単位で生成される第１の時系列画像から前記未知の目標の特徴を表す第１の目標ベクトルを抽出し、主軸を有する既知の目標からのレーダエコーを処理してフレーム単位で生成される複数の第２の時系列画像から前記既知の目標の特徴を表す第２の目標ベクトルを抽出して記録し、前記第１の目標ベクトルと前記第２の目標ベクトルとの照合により前記未知の目標の類識別を行う際に、前記第１の目標ベクトルの抽出及び第２の目標ベクトルの記録のために、（ａ）前記第１または第２の時系列画像に対して前記未知または既知の目標が存在する目標領域の下部輪郭及び上部輪郭の各々に沿った直線当てはめを行うことにより少なくとも二つの主軸候補を検出し、（ｂ）検出された前記主軸候補から前記主軸を選択し、（ｃ）前記第１または第２の時系列画像を前記主軸に従って正規化すると共に一定の時間にわたる複数フレーム分重畳することにより正規化重畳画像を生成し、（ｄ）前記正規化重畳画像から前記目標領域と非目標領域とのレンジ方向における境界を決定し、（ｅ）前記正規化重畳画像の前記境界を含む領域から前記第１または第２の目標ベクトルを抽出する。
【発明の効果】
【００１６】
本発明によれば、時系列画像を入力として様々に歪んで獲得される目標の形状を一様にするための正規化及び重畳を行って目標の類識別のための処理を容易かつ安定に実現することができる。特に、本発明では正規の基準となる、目標の主軸を決定するために、時系列画像に対して目標領域の下部輪郭及び上部輪郭の各々に沿った直線当てはめを行うことにより主軸候補を検出し、これらの主軸候補から最適な候補を主軸として選択する方法をとっている。従って、目標の特徴点を用いて主軸を決定する方法に比較して、主軸をより的確に決定することができ、結果として時系列画像の正規化が良好に行われるために、安定した類識別が可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、目標を船舶としてＩＳＡＲ画像を用いて目標を識別する場合を例にとって本発明の実施の形態を説明する。図１に示されるように、本発明の一実施形態に係る時系列画像処理装置は、ＩＳＡＲ画像生成部１０、目標船軸候補検出部１１、目標船軸選択部１２、ＩＳＡＲ画像正規化重畳部１３、目標領域特定部１４及び目標ベクトル抽出部１５によって構成される。
【００１８】
ＩＳＡＲ画像生成部１０は、未知の目標である船舶からのレーダエコーを処理してフレーム単位の時系列画像であるＩＳＡＲ画像を生成し、目標軸候補検出部１１及びＩＳＡＲ画像正規化重畳部１３に渡す。目標船軸候補検出部１１は、ＩＳＡＲ画像から目標の主軸である船軸についての複数の候補（目標船軸候補という）を検出し、目標船軸選択部１２に渡す。目標船軸選択部１２は、目標船軸候補の中から最も適切な候補を目標船軸として選択する。すなわち、目標船軸候補検出部１１と目標船軸選択部１２によって目標船軸が検出される。
【００１９】
ＩＳＡＲ画像正規化重畳部１３は、目標船軸選択部１２により選択された目標船軸の向きに従ってＩＳＡＲ画像中の目標画像の歪みをフレーム毎に補正することにより、ＩＳＡＲ画像の正規化を行い、さらに正規化画像を一定の時間にわたる連続した複数フレーム分重畳することによって、正規化重畳画像を生成する。
【００２０】
目標領域特定部１４は、ＩＳＡＲ画像正規化重畳部１３からの正規化重畳画像に基づいて目標領域と非目標領域とのレンジ方向における境界（目標境界）を時系列的に追跡し、そこで決定した目標境界を目標ベクトル抽出部１５へ渡す。ここで、目標領域とは目標である船舶が存在する領域である。
【００２１】
目標ベクトル抽出部１５においては、目標領域特定部１４で決定された目標境界を参照して、ＩＳＡＲ画像正規化重畳部１３により生成された正規化重畳画像から目標の特徴を輪郭ベクトルあるいは輝度ベクトルとして表現し、その結果を目標の識別のために表示あるいは記録することでオペレータに渡す。
【００２２】
以下、図１の各構成要素の詳細について順に説明する。  
（ａ）目標船軸候補検出部１１；  
目標船軸候補検出部１１では、例えばＩＳＡＲ画像における目標領域の下部輪郭及び上部輪郭の各々に沿った直線当てはめを行って複数の目標船軸候補を検出する。目標船軸候補検出部１１は、図２に示されるように船軸構成要素抽出部２１、船軸パラメータ投票部２２及び船軸パラメータ推定部２３から構成される。
【００２３】
（ａ−１）船軸構成要素抽出部２１；  
船軸構成要素抽出部２１では、通常、ＩＳＡＲ画像の水平軸が目標のレンジ方向（距離方向）の広がりに対応し、ＩＳＡＲ画像の垂直軸が目標からのレーダエコーのドップラ周波数に対応していることを前提に、まずレンジ方向の各座標ｘにおいてドップラ周波数を表す垂直方向の輝度値の変化率Ｄ(x,y)を計算する。垂直方向の輝度値は目標領域の上限と下限付近で大きな変化を示すため、輝度値変化率Ｄ(x,y)はこれらの付近で最小値や最大値をとりやすい。輝度値変化率Ｄ(x,y)の最小値、最大値をそれぞれ与える垂直座標をｙ＝ｕ(x),ｙ＝ｌ(x)とおき、水平方向の各ｘに対しｙ＝ｕ(x),ｙ＝ｌ(x)、及び輝度値変化率の絶対値｜Ｄ(x,u(x))｜,｜Ｄ(x,l(x))｜を記録する。
【００２４】
ＩＳＡＲ画像中で目標領域が水平方向に細長いことを考慮すると、ｙ＝ｕ(x),ｙ＝ｌ(x)は目標領域の上部輪郭及び下部輪郭にそれぞれ対応する。ここでＩＳＡＲ画像中での目標の上下の向きが順方向の場合、上部輪郭は目標である船舶の甲板上部の構造に応じて凹凸を伴ったものとなるが、下部輪郭は海面に沿った方向の直線状となる。上下が反転している場合は、逆に上部輪郭が直線状となる。上部輪郭と下部輪郭のうち、直線状であるものを船軸として用いることができるが、この段階で船舶の上下の向きは判定されていないので、上記の通りのｙ＝ｕ(x)及びｙ＝ｌ(x)の両方の情報を保持しておく。
【００２５】
（ａ−２）船軸パラメータ投票部２２；  
船軸パラメータ投票部２２では、船軸構成要素抽出部２１で抽出された目標領域の上部輪郭及び下部輪郭の各々に沿った直線当てはめを行う。より具体的には、上部輪郭及び下部輪郭にあたるｙ＝ｕ(x)及びｙ＝ｌ(x)を構成する２組の点群のそれぞれに対し、ハフ変換の考え方による直線当てはめを行う。この際、好ましくは目標領域の輪郭位置の揺らぎに対応する一定の幅を持った領域及び輪郭位置における輝度変化の強さに従った重み付けを伴って、ハフ変換における投票を行う。
【００２６】
直線当てはめに関わる直線を極座標系のパラメータで表すことも可能であるが、ここではノイズの取り扱い上、直線を
【００２７】
【数１】
2005106566.tif 000003
のようにパラメータａ,ｂで表現し、これらの推定を行う。式(1)は、下部輪郭にあたるｙ＝ｌ(x)に関しては
【００２８】
【数２】
2005106566.tif 000004
と解釈されるため、ａ−ｂ座標系において船軸構成要素抽出部２１で抽出された(ｘ,ｕ(x))の組毎に、１本の直線を描くことができる。レンジ方向の画素数がＰxであれば、Ｐx本の直線が描けることになる。ハフ変換の基本的な考え方により、ａ−ｂ平面上に格子状のグリッドを設定し、各グリッドにおいて直線が１本通過する毎に１票の投票を行う。基本的には、この投票に基づきＰx本の直線すベてについての投票を合計し、投票数の最も多いグリッドに対応するａとｂを推定パラメータとする。
【００２９】
ここで、Ｐx個の(ｘ,ｌ(x))の組すベてを対等に扱う必要はなく、信頼度の高い組を優先的に利用することが望ましい。そのため、各(ｘ,ｌ(x))における輝度値変化率｜Ｄ(x,l(x))｜によって投票に重み付けを行う。この重み付けにより、例えば目標領域外における(ｘ,ｌ(x))については輝度値変化率｜Ｄ(x,l(x))｜の値が小さいため、寄与率が下がる。さらに、各x,l(x))にはノイズが含まれるため、実際の直線の位置には６軸の方向に揺らぎが生じることも考慮する。以下では、輝度値変化率｜Ｄ(x,l(x))｜の強度とノイズによる揺らぎを加味したハフ変換の投票方式について説明する。表記の簡略化のため、以下、輝度値変化率｜Ｄ(x,l(x))｜の強度をＤ‘xと記載する。
【００３０】
下部輪郭の候補点(ｘ,ｌ(x))は、下部輪郭を構成する点であるかノイズであるかのいずれかであり、輝度値変化率｜Ｄ(x,l(x))｜の強度が大きいほど輪郭を構成する点である確率が大きいと考えられる。候補点(ｘ,ｌ(x))が下部輪郭を構成する点である確率ＰをＤ’xの関数Ｐ(D’x’)とする。関数Ｐ(D’x)はレーダで計測を行い、変化率の強度毎に輪郭点とノイズそれぞれの出現頻度を計数することにより求めることができる。
【００３１】
候補点(x,l(x))が下部輪郭を構成する点であれば、直線ｙ＝ａｘ＋ｂ上に存在するはずであるが、観測時に加わるノイズのために、実際には点の位置はドップラ（上下）方向にばらつきが生じる。このばらつきは、直線ｙ＝ａｘ＋ｂからのずれをｅｘとして確率分布Ｑ(ex)で表現できる。ここで、eｘはｌ(x)−ａｘ−ｂで与えられる。この関数も実際にレーダで計測を行って、輪郭点のばらつきの分布を観測すること等により求めることができる。
【００３２】
候補点(ｘ,ｌ(x))がノイズであれば、点のドップラ方向の位置は一様分布するものと考えられる。つまり、レーダのドップラ方向の観測範囲をｈとすると、この分布はｌ(x)によらず一定の確率密度１／ｈをとる。従って直線のパラメータを(ａ,ｂ)としたときの輪郭候補点の尤度Ｌは、
【００３３】
【数３】
2005106566.tif 000005
で与えられる。この尤度Ｌを全ての輪郭候補点について計算してその積をとれば、パラメータ(ａ,ｂ)に対応する全データの尤度が求められる。輪郭候補点の尤度Ｌの対数をとれば、全データの対数尤度は各輪郭候補点の対数尤度の和で与えられる。
【００３４】
以上のことから、ハフ変換は投票平面(ａ,ｂ)に式（４）に示す各輪郭候補点の対数尤度；
【００３５】
【数４】
2005106566.tif 000006
を足しこみ、最大値をとる位置(ａ,ｂ)を直線のパラメータ(ａl,ｂl)の推定値とする最尤法とみなすことができる。
ここで、対数尤度logＬはｂ＝ｌ(x)−ａｘを中心としたベル型の関数で表されるが、投票平面全体に一定値を加えても最大値の位置は変わらないので、この関数を両端が０になるようドップラー方向にシフトさせ、これをハフ変換の際の投票カーネルとして用いれば投票する領域を直線ｂ＝−ｘａ＋ｌ(x)の近傍に限定することができる。投票カーネルは、Ｐ(D’x)が大きいほど高さ及び幅共に大きくなる。
【００３６】
図７のグラフの実線はＰ(D’x)が大きい場合のカーネル、破線はＰ(D’x)が小さい場合のカーネルの例である。このような投票カーネルを用いることにより、データの信頼度やノイズによる揺らぎを考慮したパラメータの推定を行うことができる。  
上述した下部輪郭にあたるｙ＝ｌ(x)に関して行った手続きを、上部輪郭にあたるｙ＝ｕ(x)についても独立して同様に行う。
【００３７】
（ａ−３）船軸パラメータ推定部２３；  
船軸パラメータ推定部２３では、船軸パラメータ投票部２２における投票結果により下部輪郭にあたるｙ＝ｌ(x)と上部輪郭にあたるｙ＝ｕ(x)の各々において、投票数の最も多いグリッドに対応するパラメータａ,ｂを見極め、それらを推定パラメータとして保持する。以下、各々の推定パラメータをａｌ,ｂｌ及びａｕ,ｂｕと記載する。これらの推定パラメータは、ａｌ,ｂｌによるｙ＝ｃｌ(x)と、ａu,ｂuによるｙ＝ｃｕ(x)という２通りの船軸候補を与える。ここで、推定パラメータｙ＝ｃｌ(x)及びｙ＝ｃｕ(x)をもたらしたグリッドにおける最多得票数（ｖｌ,ｖｕとする)も保持しておく。
【００３８】
（ｂ）目標船軸選択部１２；  
目標船軸選択部１２では、目標船軸候補検出部１１で検出された船軸候補から、船軸として適当な一つを選択する。目標船軸選択部１２は、例えば図３に示されるように輝度分布比較部３１及び船軸決定部３２を有する。
（ｂ−１）輝度分布比較部３１；  
船軸候補の中で船軸として適当なものとは、目標船舶の上下の向きが順方向の場合、海面に沿った直線状の下部輪郭に対応する船軸候補であり、上下の向きが逆方向の場合は上部輪郭に対応する船軸候補である。これら上下の向きは、未知である。いずれの船軸候補が船軸として適当であるかの判断基準の一つとして、船軸の上下の領域における輝度の分布の違いを利用することができる。目標船舶の上下の向きによらず、正しい船軸は海面に沿っているため、例えば船軸の片側（船舶の像のない側）では輝度値が低くなると考えられるからである。
【００３９】
下部輪郭に対応するパラメータａｌ,ｂｌによる船軸候補ｙ＝ｃｌ(x)について、一例として軸の上下の領域における輝度の分布の平均値を用いるなら、軸の上側の（ｙ＞ｌ(x)）となる領域ωｔと、下側の（ｙ＜ｃｌ(x)）となる領域ωｂに含まれる画素数がそれぞれｎｔ,ｎｂであるとき、各領域ωｔ，ωｂにおける輝度Ｉ(x,y)の平均値Ｉｔ,Ｉｂは次式に従う。
【００４０】
【数５】
2005106566.tif 000007
さらに、軸の両側（上下）における相対的な輝度分布の偏りを調ベる上では、艦橋のような、船舶の甲板上の上部構造に起因する輝度が重要であるため、船軸からの距離ｄ＝｜ｙ−ｃｌ(x)｜に比例して各輝度値に重み付けを与えることが効果的である。この場合、輝度Ｉ(x,y)の重み付け平均値Ｉｔ,Ｉｂは次式に従う。
【００４１】
【数６】
2005106566.tif 000008
一方、軸からの距離ｄが小さい領域では、軸の両側（上下）の輝度は一様であることが多いため、このような領域では重み付けを零（ｄ＝０）とおくことで、軸の上下の領域における輝度分布の違いを強調することができる。これらの平均値Ｉｔ,Ｉｂを比較し、
【００４２】
【数７】
2005106566.tif 000009
を計算すれば、ｃｌ(x)が船軸であるときは、そうでないときよりもＲの値が大きくなることが期待できる。
上部輪郭に対応するパラメータａｕ,ｂｕによる船軸候補ｙ＝Ｃｕ(x)に対しても、全く同様に
【００４３】
【数８】
2005106566.tif 000010
を計算し、軸の上下の領域における輝度分布の違いを
【００４４】
【数９】
2005106566.tif 000011
によって数値化することができる。ただし、Ｒｕの定義でＲｌの場合と分母及び分子が入れ替わっているのは、ｙ＝ｃｕ(x)が船軸であるときが、上下の位相が反転しているときに他ならないためである。
（ｂ−２）船軸決定部３２；  
船軸決定部３２では、輝度分布比較部３１により求められた軸の上下の領域における輝度分布の違いに基づき、Ｒｌ及びＲｕのうち値が大きい方に対応してｙ＝ｃｌ(x)あるいはｙ＝ｃｕ(x)から船軸として適当なものを決定する。
【００４５】
一方、図２中の船軸パラメータ推定部２３において保持している、ｙ＝ｃｌ(x)及びｙ＝ｃｕ(x)の推定パラメータをもたらしたグリッドにおける最多得票数ｖｌ及びｖｕも船軸の選択に利用することができる。すなわち、船軸である方に投票が集中する結果、得票数が多くなっている傾向が強くなる。従って、船軸決定部３２ではＲｌ及びＲｕと併せ、Ｒｌｖｌ＞Ｒｕｖｕであればｙ＝ｃｌ(x)が船軸であり、Ｒｌｖｌ＜Ｒｕｖｕであればｙ＝ｃｕ(x)が船軸であると決定する。
【００４６】
ここで、ちょうどＲｌｖｌ＝Ｒｕｖｕとなることは稀であるが、これは軸の上下の領域での輝度分布がほぼ等しい場合に対応するため、Ｒｌｖｌ＞ＲｕｖｕまたはＲｌｖｌ＜Ｒｕｖｕのいずれかに含めて差し支えない。または、ある微小値δに対して（１−δ＜Ｒｌｖｌ〜Ｒｕｖｕ＜１＋δ）であるときは位相の判定が微妙であるため、単純に位相判定不可としてもよい。
【００４７】
（ｃ）ＩＳＡＲ画像正規化重畳部１３；  
ＳＡＲ画像正規化重畳部１３では、目標船軸選択部１２によって選択された目標船軸に従ってＩＳＡＲ画像を正規化した後、正規化ＩＳＡＲ画像を例えば一定の時間にわたる連続した複数フレーム分重畳する。ＩＳＡＲ画像正規化重畳部１３は、例えば図４に示されるように正規化処理部４１、正規化フレーム選択部４２及び正規化画像重畳部４３から構成される。
【００４８】
（ｃ−１）正規化処理部４１；  
正規化処理部４１では、ＩＳＡＲ画像に対する正規化処理を次のように行う。目標船軸選択部１２により選択された目標船軸が水平方向となるような変換によって、ＩＳＡＲ画像全体を正規化する。このような正規化により、ＩＳＡＲ画像の各フレーム中でピッチ、ロール及びヨウの変化により様々に異なった方向に歪んで現われる目標の画像形状が水平面に沿い且つ船軸に直交する方向から見た場合の形状に揃えられる。
【００４９】
ＩＳＡＲ画像の正規化に際して、図３中の船軸決定部３２によりｙ＝ｃu(x)が船軸であると判定されている場合には、目標の像の上下が逆位相になっていることを意味するため、船軸の上下の画素をレンジ方向の各座標において軸対称に反転させて出力する。このようにする理由は、後述するＩＳＡＲ画像正規化重畳部４３において複数フレーム分の正規化ＩＳＡＲ画像を重畳して正規化重畳画像を生成する際に、目標の上下方向を揃えておく必要があるためである。
【００５０】
（ｃ−２）正規化フレーム選択部４２；  
正規化フレーム選択部４２では、正規化処理部４１により得られた正規化ＩＳＡＲ画像から、重畳すベき複数のフレームを選択する。正規化ＩＳＡＲ画像を重畳する目的は、目標の特徴の見え隠れに対して安定した入力を提供することにある。
【００５１】
正規化ＩＳＡＲ画像は、一定の時間にわたる複数フレーム分が重畳される。当該一定の時間（以下、重畳時間範囲という）については、海上を航行する目標がヨウ（蛇角）を除いて揺れによる周期運動を繰り返すことに着目して決定する。一方、ある程度以上の時間にわたって目標を観察し続けると、目標が移動するに従ってＩＳＡＲ画像中の目標の位置も少しずつシフトする。そこで、正規化ＩＳＡＲ画像に対する重畳時間範囲として、目標の運動周期を十分に含む程度の長さで、目標の位置のシフトが顕著にならない程度の範囲（目標位置の移動量が所定量以下に抑えられる範囲）、例えば目標の運動周期の１周期以上、２周期以下の時間を設定する。
【００５２】
これにより後述する正規化画像重畳部４３において、様々な位置から見た多フレームにわたる正規化ＩＳＡＲ画像を基本的に同じ方向から見たものとして重畳する、すなわち重ね合わせることができる。具体的には、１秒あたり５フレームのＩＳＡＲ画像を生成している場合に、目標の運動周期が３秒であって、この運動周期に重畳時間範囲を一致させたとすると、３秒間に出力される合計１５フレームについての正規化ＩＳＡＲ画像が重畳される。ただし、位相判定不可となったフレームについては対象としない。
【００５３】
このように正規化フレーム選択部４２は、目標の領域に関してレンジ方向の位置ずれが生じていない範囲で、正規化ＩＳＡＲ画像の直近の複数フレームを選択する。正規化フレーム選択部４２は、何らかの手段でＩＳＡＲ画像中の目標の位置に大きな変化があったことが判明した場合は、その変化より以前のフレームについては選択しない。
【００５４】
（ｃ−３）正規化画像重畳部４３；  
正規化画像重畳部４３では、正規化フレーム選択部４２によって選択された複数フレームの正規化ＩＳＡＲ画像の輝度値を相対応する画素毎に加算することによって、これら複数の正規化ＩＳＡＲ画像を重畳し、正規化重畳画像を出力する。相対応する画素とは、フレーム内の画素位置が同一の画素をいう。
【００５５】
正規化画像重畳部４３において輝度値の単純加算を行えば、目標の存在する輝度の高い領域を強調すると共に、フレーム毎に異なるノイズを平滑化する効果が得られる。正規化フレーム選択部４２によって選択された複数フレームの正規化ＩＳＡＲ画像のうち、時間軸上で最新のフレーム及びそれに近いフレームを重視するのであれば、正規化画像重畳部４３は重畳対象の複数フレーム間で適当に重み付けを行っても良い。例えば、時間的に新しいフレームほど重みを大きくする。
【００５６】
こうして得られる複数フレームの正規化ＩＳＡＲ画像の輝度値の加算結果は、重畳フレーム数により除されることによって最終的な正規化重畳画像となり、目標ベクトル抽出部１５に入力として与えられる。
目標である船舶が艦船の場合を例にとると、胴体部分は常に高い輝度値を持つのに対して、艦橋の先端などに相当する部分はピッチ角の変化率が大きい場合のみに輝度値を持つ傾向がある。このため、重畳対象の複数フレームの正規化ＩＳＡＲ画像の輝度値を単純に加算すると、胴体部分のみを強調した出力が得られ、目標の特徴をよく表す艦橋などからの出力が相対的に微弱なものとなってしまうおそれがある。
【００５７】
こうした問題に対処するため、論理和の考え方により、正規化フレーム選択部４２で選択された各フレームの正規化ＩＳＡＲ画像の輝度値を相対応する画素毎に比較し、輝度値の最大値を重畳結果として利用することもできる。この方法は、ＩＳＡＲ画像に含まれる目標についての情報が少ない場合に特に効果的であり、各画素に関して選択したフレームのいずれかで輝度値が高ければ、その輝度値が正規化重畳画像の出力に反映される。
【００５８】
（ｄ）目標領域特定部１４；  
目標領域特定部１４は、例えば図５に示されるように距離方向輝度分布生成部５１、境界位置候補選出部５２、境界位置予測部５３及び境界決定部５４から構成される。
（ｄ−１）距離方向輝度分布生成部５１；  
距離方向輝度分布生成部５１では、ＩＳＡＲ画像正規化重畳部１３からの正規化重畳画像について、レンジ方向を表す軸に沿った輝度値の分布を示す距離方向輝度分布を生成する。通常は、レンジ方向の広がりに対応している水平方向の軸を基準に考えると、各水平座標において垂直方向の輝度値を観測（検出）し、例えばその最大値を選択することで距離方向輝度分布を生成する。すなわち、水平軸座標ｘ＝ｘｋ及び垂直軸座標ｙ＝ｙにおける輝度値をＩ(xk,y)とし、水平軸座標ｘ＝ｘｋにおける輝度分布（距離方向輝度分布）の値をＨ(xk)とすると、Ｈ(xk)は次の式により求められる。
【００５９】
【数１０】
2005106566.tif 000012
距離方向輝度分布値は、式(10)のような垂直方向の輝度値の最大値に限られず、例えば垂直方向の輝度値の平均値等であっても構わない。距離方向輝度分布値を計算する際の入力画像として、ＩＳＡＲ画像正規化重畳部１３により得られる正規化重畳画像を用いているため、船軸から一定の範囲にある垂直軸座標を考慮すれば、目標領域全体がカバーされる。
【００６０】
（ｄ−２）境界位置候補選出部５２；  
境界位置候補選出部５２は、距離方向輝度分布生成部５１によって生成された距離方向輝度分布値（例えばＨ(xk)）が急激に変化する点を境界位置候補として選出する。ＩＳＡＲ画像の輝度値は目標が存在している領域で高くなるため、距離方向輝度分布値も、理想的には目標が存在している領域において高くなる。従って、目標が概ねＩＳＡＲ画像の中央付近に位置することを考慮すると、これに対応して距離方向輝度分布値も水平軸の中央付近に対応する部分で高い値をとり、両端部分で低い値をとることになる。こうした距離方向輝度分布の特性を利用して、距離方向輝度分布の両端からそれぞれ中央に向かって値が急激に増加する点を検出することで、水平軸上で目標の距離方向の広がりの範囲を特定する境界位置候補を選出する。
【００６１】
ここで、距離方向輝度分布値が急激に変化する点の検出手法の一例を、水平軸左端から中央に向かって探索する場合について以下に示す。ここでは、水平軸方向（レンジ方向）の各座標ｘにおいて、座標ｘより左側の一定間隔ｒの点における輝度値の平均Ｍ(x,r)と座標ｘの点における輝度値Ｈ(x)を比較し、両者の差または比、あるいは差と比の組合せを考慮する。具体的には、Ｍ(x,r)とＨ(x)の差をＭ(x,r)の階乗で除した乖離関数Ｓ(x)を定義し、Ｓ(x)が極大値をとる場合に距離方向輝度分布の値が急激に増加したとみなす。Ｓ(x)を式で表すと、次のようになる。
【００６２】
【数１１】
2005106566.tif 000013
ここで、αはＭ(x,r)による除算を重視する度合を示すパラメータ、Ｃはスケーリングのための定数である。具体的な数値としてはｒ＝１０（画素）、α＝２、Ｃ＝５０などとすればよい。境界位置では乖離関数Ｓ(x)が極大値をとると考えられるが、Ｓ(x)が極大値をとる座標は、目標領域の境界に限らず、ＩＳＡＲ画像に含まれるノイズなどにより複数存在するのが通常であり、これらの座標を基本的に境界位置候補とする。ただし、Ｓ(x)が極大値であっても、その絶対値が一定の値を下回る場合は候補の対象から除外する。
【００６３】
次に、上記とは逆に水平軸右端から中央に向かって順に探索する場合については、式(12)と対称の条件を考えて
【００６４】
【数１２】
2005106566.tif 000014
とすればよい。同様に、Ｓ(x)が極大値をとる座標を境界位置候補とする。
（ｄ−３）境界位置予測部５３；  
境界位置予測部５３では、過去の各時刻において決定された境界位置に基づいて現在の境界位置を予測する。目標領域に関してレンジ方向の位置ずれが生じない場合では、過去の境界位置を単純に現在の境界位置の推定位置とする。このため、境界位置予測部５３には、後述する境界決定部５４によって決定される各時刻における境界位置の情報が入力として与えられる。あるいは、目標領域が徐々にドリフトする状況では、過去の境界位置の変化を外挿すること、あるいはカルマンフィルタやモンテカルロフィルタなどによる時系列解析を行うことで、現在の境界位置を推定することも可能である。
【００６５】
（ｄ−４）境界決定部５４；  
境界決定部５４では、境界位置候補選出部５２によって選出された境界位置候補の中から、境界位置予測部５３による予測境界位置を参照しながら境界を決定する。境界決定方法としては、まず境界位置候補の中から予測境界位置に最も近い候補を選択することが考えられるが、ここでは各候補に対応する乖離関数Ｓ(x)の値を考慮に入れて選択する方法について述ベる。すなわち、ある境界位置候補の座標をｘｃ、予測位置をｐとおくとき、この境界位置候補に対する評価値として、例えば次のような関数を定義する。
【００６６】
【数１３】
2005106566.tif 000015
ここで、βは乖離関数Ｓ(x)の大きさを重視する度合を記述するパラメータである。これにより境界位置候補の座標ｘcは、評価値Ｅ(xc)が小さな値をとるほど、予測位置に近いと同時に、乖離関数Ｓ(xc)が大きいという条件を満足することになる。従って、境界決定部５４は境界位置候補選出部５２によって選出された境界位置候補の中から、評価値Ｅ(xc)を最小化する候補を選び、それを境界と決定する。ここで決定された境界は、図１中に示した目標ベクトル抽出部１５に渡される。
【００６７】
（ｅ）目標ベクトル抽出部１５；  
目標輪郭抽出部１５は、ＩＳＡＲ画像正規化重畳部１２からの正規化重畳画像、すなわち各フレームにおける目標を同じ方向から見た状況に揃えた画像から、目標の類識別に有用な情報を目標ベクトルとして抽出する。目標ベクトル抽出部１５は、例えば図６に示されるように閾値設定部６１、２値化処理部６２及び輪郭ベクトル出力部６３から構成される。以下、目標ベクトル抽出部１５の各構成要素について説明する。
【００６８】
（ｅ−１）閾値設定部６１；  
閾値設定部６１では、ＩＳＡＲ画像正規化重畳部１２からの正規化重畳画像を２値化するための適当な閾値をフレーム毎に正規化重畳画像内の輝度分布ヒストグラムに従って設定する。ここで、輝度分布ヒストグラムは各輝度毎の画素の数によって定義される。
【００６９】
具体的には、閾値設定部６１は閾値をθとして輝度がＩ＜θとなる画素のクラスと、Ｉ≧θとなる画素のクラスを考え、クラス間分散と全分散の比で定義されるクラス間分離度が最大になるθを選択する。選択された閾値θをそのまま用いることもできるが、θが小さすぎる場合には、例えば改めて適当な係数ｃを伴ってθ＋ｃ（Ｉmax−θ）のようにしてもよい。ただし、Ｉmaxは輝度値のとり得る最大値とする。
【００７０】
（ｅ−２）２値化処理部６２；  
２値化処理部６２は、閾値設定部５１により設定された閾値θを用いて、ＩＳＡＲ画像正規化重畳部１２からの正規化重畳画像のうち輝度値Ｉ(x,y)がθより小さい画素に“０”、輝度値Ｉ(x,y)がθ以上の画素に“１”をそれぞれ割り当てることにより正規化重畳画像を２値化して２値画像を生成する。
【００７１】
（ｅ−３）輪郭ベクトル出力部６３；  
輪郭ベクトル出力部６３は、２値化処理部６２からの２値画像中の目標形状のシルエットをオペレータが目標の類識別に利用しやすいベクトルとして出力する。ここでは、艦船において船軸の上側に位置する艦橋や砲台などの形状が目標を特徴付けていることを利用する。すなわち、２値化画像中のシルエット画像上で主軸上の各水平座標に対して垂直方向に主軸上部を探索し、シルエットの輪郭位置で画素が“１”から“０”に反転する垂直座標値を順に並ベていくことで、艦船の輪郭をベクトル表現することができる。このとき、ベクトル表現を行う範囲は、境界決定部４３によって目標のレンジ方向について決定された境界に含まれる領域とする。こうして出力される輪郭のベクトルは、目標である船舶（ここでは艦船）の特徴を表しており、図１中の目標ベクトル抽出部１５から目標ベクトルとして出力される。
【００７２】
図１における目標ベクトル抽出部１５は、このように輪郭ベクトルを目標ベクトルとして抽出する代わりに、各水平座標における垂直方向の輝度値の最大値に基づく輝度ベクトルを目標ベクトルとして抽出することもできる。すなわち、図５中に示す距離方向輝度分布生成部５１により生成された距離方向輝度分布値Ｈ(xk)のうち、境界決定部５３によって目標のレンジ方向について決定された境界に含まれる範囲のみを考慮してベクトル表現を行い、このベクトルを目標輪郭抽出部１５の出力としてもよい。このように本発明においては、部分的な要素処理の置き換えなどにより様々な拡張が可能である。
【００７３】
次に、図８を参照して本発明の他の実施形態に係る時系列画像処理装置について説明する。本実施形態の時系列画像処理装置は、実際に船舶のような目標の類識別までを行う装置であり、図１の構成に対してさらに辞書作成部１６及び目標識別部１７が追加されている。
【００７４】
未知の目標のＩＳＡＲ画像を第１の時系列画像とすると、辞書作成部１６は第２の時系列画像である既知の種々の目標のＩＳＡＲ画像を収集し、それら既知の目標のＩＳＡＲ画像に対して前述したＩＳＡＲ画像生成部１０、目標船軸候補検出部１１、目標船軸選択部１２、ＩＳＡＲ画像正規化重畳部１３、目標領域特定部１４及び目標ベクトル抽出部１５と同一の処理を施すことにより、種々の既知の目標の特徴ベクトルを抽出し、それらを辞書として作成して記録する。
【００７５】
目標識別部１７は、辞書作成部１６によって辞書として作成され記録されている種々の既知の目標の特徴ベクトルと、ＩＳＡＲ画像生成部１０、目標船軸候補検出部１１、目標船軸選択部１２、ＩＳＡＲ画像正規化重畳部１３、目標領域特定部１４を経て目標ベクトル抽出部１５によって抽出された未知の目標の特徴ベクトルとを比較照合することによって未知の目標の類識別を行う。こうして得られる類識別結果は、表示あるいは記録されることによりオペレータに呈示される。
【００７６】
なお、本発明は上記の実施形態で述ベた装置（時系列画像処理装置）に係る発明のみでなく、方法（時系列画像処理方法）に係る発明としても成立する。さらに、本発明はコンピュータを当該発明に相当する手段として機能させるための、またはコンピュータに当該発明に相当する機能を実現させるための、あるいはコンピュータに当該発明に相当する手順を実行させるためのプログラム、あるいは当該プログラムを記録したコンピュータ読み取り可能な記録媒体としても成立する。
【００７７】
その他、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【産業上の利用可能性】
【００７８】
本発明は、レーダ目標からのレーダエコーより生成される時系列のＩＳＡＲ画像を用いて船舶のような目標の類識別を容易かつ安定に行うシステムに利用される。
【図面の簡単な説明】
【００７９】
【図１】本発明の一実施形態に係る時系列画像処理装置の構成を示すブロック図
【図２】図１中の目標船軸候補検出部の詳細な構成例を示すブロック図
【図３】図１中の目標船軸選択部の詳細な構成例を示すブロック図
【図４】図１中のＩＳＡＲ画像正規化重畳部の詳細な構成例を示すブロック図
【図５】図１中の目標領域特定部の詳細な構成例を示すブロック図
【図６】図１中の目標ベクトル抽出部の詳細な構成例を示すブロック図
【図７】投票カーネルの例を示すグラフ図
【図８】本発明の他の実施形態に係る時系列画像処理装置である類識別装置の構成を示すブロック図
【符号の説明】
【００８０】
１０．．．ＩＳＡＲ画像生成部、１１．．．目標船軸候補検出部、１２．．．目標船軸選択部、１３．．．ＩＳＡＲ画像正規化重畳部、１４．．．目標領域特定部、１５．．．目標ベクトル抽出部、１６．．．辞書作成部、１７．．．目標識別部、２１．．．船軸構成要素抽出部、２２．．．船軸パラメータ投票部、２３．．．船軸パラメータ推定部、３１．．．輝度分布比較部、３２．．．船軸決定部、４１．．．正規化処理部、４２．．．正規化フレーム選択部、４３．．．正規化画像重畳部、５１．．．距離方向輝度分布生成部、５２．．．境界位置候補選出部、５３．．．境界位置予測部、５４．．．境界決定部、６１．．．閾値設定部、６２．．．２値化処理部、６３．．．輪郭ベクトル出力部。
【図１】
2005106566.tif 000016
【図２】
2005106566.tif 000017
【図３】
2005106566.tif 000018
【図４】
2005106566.tif 000019
【図５】
2005106566.tif 000020
【図６】
2005106566.tif 000021
【図７】
2005106566.tif 000022
【図８】
2005106566.tif 000023