(57)【要約】【課題】本発明は、誘導装置等で目標等をクラッタ等の背景と区別して的確に認識する。【解決手段】特徴量算出部３は、領域設定部２により領域設定され前フレーム画像内で特定した目標領域と同じく領域設定された後フレーム画像内の複数の対象領域とに共通した複数種の特徴点の特徴量を領域毎に算出する。  特徴量差算出部４は、目標領域における特徴量と複数の対象領域における特徴量との差を、対応する特徴点毎に算出し、特徴量差加算部５は、各対象領域における各特徴点の特徴量と前記目標領域において対応した特徴点の特徴量との差を前記対象領域毎に加算するので、時間軸上における特徴点全体の特徴量の変化が最も少ない目標物体ａを比較部６を経て抽出し、認識部７に供給するので、オペレータは目標物体を適切かつ正確に追随できる。【選択図】      図１
2007164288.tif 000002
【特許請求の範囲】
【請求項１】
映し出された映像のフレーム画像を順次入力し、その入力された各フレーム画像を分割して複数の領域を設定する領域設定手段と、
この領域設定手段により領域設定された前後のフレーム画像を導入し、前フレーム画像で特定された目標領域と後フレーム画像の複数の対象領域とに共通した複数種の特徴点の特徴量を領域毎に算出する特徴量算出手段と、
この特徴量算出手段によって算出された前記目標領域における特徴量と前記複数の対象領域における特徴量との差を、前記対象領域の特徴点毎に算出する特徴量差算出手段と、
この特徴量差算出手段で算出された各対象領域の特徴点毎の前記差を、対象領域毎に加算する特徴量差加算手段と、
この特徴量差加算手段により算出された対象領域毎の加算特徴量差の値を比較する比較手段と
を具備することを特徴とする目標物体識別装置。
【請求項２】
前記特徴量算出手段は、各領域における特徴点の特徴量を、各領域の含むフレーム画像における対応する特徴点の特徴量の平均値に基づいて正規化された値として算出して、前記特徴量差算出手段に供給するように構成されたことを特徴とする請求項１に記載の目標物体識別装置。
【請求項３】
前記特徴量差加算手段は、前記各対象領域における各特徴点の特徴量と前記目標領域の対応する特徴点の特徴量との差を、特徴点の種類に応じた重み付けを行って加算することを特徴とする請求項１または請求項２に記載の目標物体識別装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映し出された映像の中の目標物体を、背景と区別して認識し、追随可能な目標物体識別装置の改良に関する。
【背景技術】
【０００２】
例えば、誘導装置等において、映し出されたフレーム画像内で、移動目標をクラッタ等の背景と識別して検出しようとするとき、フレーム画像の領域をＸ−Ｙ方向に分割するとともに、移動目標が存在する領域のある１つの特徴点、例えば「輝度」に着目し、順次供給される前後２枚のフレーム画像領域内におけるその特徴点の相対位置関係を比較し、移動目標の移動ベクトル量と背景の移動ベクトル量との差から、後フレーム画像内における移動目標を背景と区別して抽出する技術が本出願人から提案されている。（例えば、特許文献１参照。）。
【０００３】
上記技術は、移動目標のある特徴点における動き量（ベクトル量）が背景と比較して大であることに着目し、その動き量の差から、移動目標を背景と区別して抽出するものである。
【０００４】
従って上記技術で移動目標を背景と区別して適正に抽出するには、目標及び背景における同一特徴点の特徴量の値（例えば、輝度レベル）が継続し、前後のフレーム画像間で、それほど変化しないことが前提条件とされる。
【０００５】
一般に、誘導装置等により移動目標等を追随している過程では、前後のフレーム画像間で、目標の向きが変ってしまったり、あるいはクラッタ等の背景が途絶えたりすることがあるが、その場合、目標物体を特徴づける全体的な特徴点の特徴量、つまり特徴量の総和はそれほど大きく変化することはない。
【０００６】
すなわち、目標物体の特徴点としては、輝度のみならず色彩や形状等、複数（ｍ）種考えられから、目標物体における特徴量の総和が前後フレーム画像間で大きく変化することはまれであるものの、その中のある１つの特徴点にのみ限ってしまうと、前後フレーム画像間での変化が大きく、前フレーム画像で捉えた目標物体に対応する目標と、背景あるいはいくつかの目標候補との間とに差が見出せなくなり、曖昧さが生じ真の目標を適正に継続追尾することが困難となることがある。
【０００７】
このように、前後のフレーム画像間で、すなわち時系列上のフレーム画像上において着目したある特徴点での特徴量が変化してしまうと、目標物体の検出に曖昧さが生じ目標追随に不確実性が発生するので、目標観測位置の状態及び目標予測存在範囲の容積を１次元で時系列に表現することで、目標追尾のあいまいさや背景の存在状況を評価する装置が提案されている。（例えば、特許文献２参照。）。
【０００８】
また、捕捉した追随目標の形状に着目し、その形状という特徴点に基づき目標の種類を識別しようとすると処理演算量が多くなるのは避けられないが、その処理演算量の軽減化を図るために、２次元ネットワーク回路を採用する提案が行われている。（例えば、特許文献３参照。）。
【特許文献１】特開平１０−２８３４８２号公報
【特許文献２】実開平５−１９９７９号公報
【特許文献３】実開平５−５９３７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記のように、フレーム画像内のある１つの特徴点、例えば輝度という特徴点を捉えて目標を追随しようとしていると、輝度という特徴量が前後のフレーム画像間で変化してしまい、正確に目標を認識できなくなる恐れが生ずる。
【００１０】
そこで、目標におけるある特徴点の特徴量が前後フレーム画像間で大きく変化することが予め分かっていれば、その変化する特徴点に着目することで、前後のフレーム画像間のその特徴点における変化量の違いから、目標を背景等と区別して認識することもできる。
【００１１】
すなわち、図５（ａ）（ｂ）は、時系列上で前後するフレーム画像の模式図であり、前後のフレーム画像において、図５（ａ）に示された前フレーム画像の目標物体ａやその目標物体ａと紛らわしい複数の背景ａ１〜ａ５が、後フレーム画像では、図５（ｂ）に示したように、目標物体ａが目標Ａに、背景ａ１〜ａ５がそれぞれ目標候補Ａ１〜Ａ５に変化した状態を表している。
【００１２】
図５（ａ）の前フレーム画像と図５（ｂ）の後フレーム画像とを対比したとき、もしも輝度という特徴点を捉えて両者を比較したとすれば、前フレーム画像（図５（ａ））の背景ａ１，ａ２，・・・ａ５も、後フレーム画像（図５（ｂ））との対比において輝度が変化しているものの、目標物体ａに対応した目標Ａは、いずれの背景における変化量よりもさらに顕著に（濃く）変化しているから、「輝度」という変化量を特徴点として対比したとすれば、前フレーム画像で目標物体ａに真に対応した目標Ａを適正に抽出できる。
【００１３】
一方、図５（ａ）の前フレーム画像と図５（ｂ）の後フレーム画像を対比し、もしも輝度ではなく「形状（大きさ）」という特徴点を捉えて目標物体ａを追尾しようとしたときには、後フレーム画像の目標Ａ及び目標候補Ａ１，Ａ２，・・・Ａ５を、それぞれ対応した図５（ａ）における目標ａや背景ａ１，ａ２，・・・ａ５と対比することになるが、目標ａも形状は変化しているものの、背景ａ１，ａ２，・・・ａ５の中には（例えば、背景ａ１は）、目標ａより形状がより大きく変化しているから、形状という特徴点を捉えてしまうと、前フレーム画像の目標物体ａが後フレーム画像の目標Ａに対応するのか、あるいは背景Ａ１が対応するのか紛らわしいものとなる。
【００１４】
このように、前フレームにおける目標物体に関しある１つの特徴点にのみ着目し、その特徴点のみを捉えて前後フレーム画像を対比観測しただけでは、曖昧さが生じ、目標物体ａを正確に認識して追随することができないことがある。
【００１５】
このように、たとえ空間的・時間的に変化の大きい特徴点を前後のフレーム画像を対比して検出したとしても、他の背景における空間的・時間的変化との比較において、目標物体の変化量が、他の特徴点とは異なり、目標物体固有の顕著な、すなわち有意な特徴点でなければ、正確に目標を検出することは困難である。
【００１６】
そこで本発明は、上記事情を考慮してなされたもので、わずかな時間差を有して順次フレーム画像が得られるとき、その前後フレーム画像内では、追随すべき目標の特徴点全体としては特徴量の変化が小さいことに着目してなされたもので、単に目標の種類を識別したり目標追尾のあいまいさや背景の存在状況の評価に止まることなく、前後フレーム画像の対比において、目標物体を背景と区別して容易かつ適切に追随可能な目標物体識別装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
すなわち、本発明の目標物体識別装置は、映し出された映像のフレーム画像を順次入力し、その入力された各フレーム画像を分割して複数の領域を設定する領域設定手段と、この領域設定手段により領域設定された前後のフレーム画像を導入し、前フレーム画像で特定された目標領域と後フレーム画像の複数の対象領域とに共通した複数種の特徴点の特徴量を領域毎に算出する特徴量算出手段と、この特徴量算出手段によって算出された前記目標領域における特徴量と前記複数の対象領域における特徴量との差を、前記対象領域の特徴点毎に算出する特徴量差算出手段と、この特徴量差算出手段で算出された各対象領域の特徴点毎の前記差を、対象領域毎に加算する特徴量差加算手段と、この特徴量差加算手段により算出された対象領域毎の加算特徴量差の値を比較する比較手段とを具備することを特徴とする。
【発明の効果】
【００１８】
上記のように、本発明の目標物体識別装置は、目標物体の特徴点は総体的に、前後フレーム画像間では変化量は小さいことに着目してなされたもので、前フレーム画像に続いて供給された後フレーム画像の各領域において、前フレーム画像において捉えた目標物体の特徴点と共通した複数の特徴点の特徴量を算出し、前後フレーム画像間におけるその差を求めて加算し、比較手段において、各対象領域の加算特徴量差の値を比較するので、背景等を含む紛らわしい目標候補の中から、目標物体に対応した真の目標を容易且つ適正に抽出して追随することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明に係る目標物体識別装置の一実施例を図１ないし図４を参照して詳細に説明する。
【００２０】
図１に示したように、誘導装置１による空間捜索により得られた画像信号は、フレーム画像として順次領域設定部２に供給される。
【００２１】
領域設定部２は、順次供給される各フレーム画像に対し、フレーム画像のＸ−Ｙ座標軸上での複数分割により領域設定を行う。領域設定部２で領域設定されたフレーム画像は、順次、特徴量算出部３に供給される。
【００２２】
特徴量算出部３は、供給される各フレーム画像のうち、時系列上、前フレーム画像において目標物体ａが存在した領域が呈する複数種の特徴点に関し、その前フレーム画像の目標物体が存在する領域、及び続いて供給される後フレーム画像において目標物体ａに対応すると考えられた複数の目標候補ａ１〜ａｎの存在領域を選択し、着目した複数種の特徴点の特徴量をそれぞれ算出する。
【００２３】
すなわち、特徴量算出部３は、前後フレーム画像における領域に関し、共通する複数種の特徴点、例えば形状、輝度、色彩等のｍ（複数）種の特徴点を捉え、そのｍ種の特徴量を算出する。
【００２４】
図２は、この実施例における特徴量算出部３の特徴量算出手順を示したもので、図２は、特に後フレーム画像における正規化された特徴量の算出手順を示している。
【００２５】
そこで、特徴量算出部３における後フレーム画像に対する特徴量計算手順を説明する。
【００２６】
特徴量計算回路３１は、領域設定部２により予め領域区分された後フレーム画像に対し、前フレーム画像における目標物体ａに対応すると考えられた背景等を含む目標候補ａ１〜ａｎの各領域に対し、予め設定されたｍ種の特徴点の特徴量をまず計算する。
【００２７】
次に、統計量計算回路３２は、ｍ種の特徴点に関し、当該フレーム画像（後フレーム画像）に現れたｍ種の各特徴点の頻度の統計処理を実行し、ｍ種の各特徴点における特徴量の平均値を算出する。
【００２８】
続いて、特徴量正規化回路３３は、特徴量計算回路３１で計算した少なくとも目標候補ａ１〜ａｎにおけるｍ種の特徴点の各特徴量に対し、統計量計算回路３２において算出したｍ個の特徴点の平均値により正規化を行い、その正規化された特徴量を出力する。
【００２９】
このように、この実施例の特徴量算出部３は、フレーム画像に関し、ｍ種の特徴点の各分割領域において算出される特徴量に対し、当該特徴量の正規化を行い、次の特徴量差算出部４に供給するものであり、前フレーム画像に対しても、予め各特徴点の平均値で目標物体ａの存在する領域の特徴量に対し、正規化されて、特徴量差算出部４に供給される。
【００３０】
この統計量計算回路３２における特徴量の正規化のねらいは、各分割領域の特徴量の算出値が、そのフレーム画像における当該特徴点の分布状態により影響を受けるのを回避することにある。
【００３１】
すなわち、各領域の特徴点に着目したとき、その領域の特徴点が背景と明確に識別し得るものであるか否かは、そのフレーム画像における特徴量計測値の拡がり状態によって左右される。
【００３２】
図３は、誘導装置が捜索空間を走査してフレーム画像を得たとき、誘導装置の受信感度特性や信号増幅特性のダイナミックレンジの中での、特徴量の計測値の分布を示したもので、図３（ａ）に示したように、計測された特徴点の計測値の分布が狭い（Δｋ）場合は、目標と背景との違いを見分けることは容易ではないが、図３（ｂ）に示したように、計測された特徴点の計測値の分布が広い（ΔＫ）場合は、目標を背景と区別して見分けることは比較的容易である。
【００３３】
そこで、この実施例の特徴量算出部３は、上記のように特徴量の算出において、当該領域の特徴量をそのフレーム画像における平均値で正規化を行うことで、各特徴量計測値の拡がり状態の影響を回避し、目標の背景からの識別をより精度良く行うものである。
【００３４】
そこで、この実施例の特徴量算出部３は、前フレーム画像で目標物体ａが存在する領域における、ｍ種の特徴点Ｆaを（Ｆa1，Ｆa2，・・・，Ｆam）として捉えたとき、目標物体ａが存在する領域に関するｍ種の特徴点の各特徴量、及び後フレーム画像で目標候補ａ１〜ａｎが存在する領域に関するｍ種の特徴点の各特徴量は、いずれも各特徴点におけるそのフレーム画像における平均値で正規化された値として算出するもので、前フレーム画像において目標物体ａが存在する領域の特徴量群Ａは、ｍ種の特徴量が正規化された特徴点の集合体として下記（１）式で表わされる。同様に、後フレーム画像におけるｎ（複数）個の目標候補ａ１〜ａｎに着目し、ｍ種の特徴点に関し、各目標候補の正規化とされた特徴量群（Ａ１，Ａ２，・・・，Ａｎ）とすれば、各特徴量群（Ａ１，Ａ２，・・・，Ａｎ）は、下記（２）のように表わされる。
【００３５】
目標物体の特徴量群Ａ＝（Ｆa1’，Ｆa2’，・・・，Ｆam’）            （１）
第１の目標候補ａ１の特徴量群Ａ1＝（Ｆa11’，Fa12’，・・・，Fa1m’）
第２の目標候補ａ２の特徴量群Ａ2＝（Ｆa21’，Fa22’，・・・，Fa2m’）
・
・
・
第ｎの目標候補ａｎの特徴量群Ａn＝（Ｆan1’，Fan2’，・・・，Fanm’）
（２）    
そこで、特徴量算出部３で算出された目標物体ａの特徴量群Ａ、及びｎ個の目標候補ａ１〜ａｎの各特徴量群Ａ1〜Ａｎは特徴量差算出部４に供給される。
【００３６】
特徴量差算出部４は、特徴量算出部３から供給される前後フレーム画像の特徴量群Ａ、及びｎ個の目標候補ａ１〜ａｎの各特徴量群Ａ1〜Ａｎにおけるｍ種の規格化された特徴量に関し、目標候補毎に、目標物体ａの特徴量群Ａの特徴量との差を算出する。
【００３７】
特徴量差算出部４は、前フレーム画像の目標の特徴量群Ａと後フレーム画像における第１ないし第ｎの目標候補ａ１〜ａｎの特徴量との差異Ｘ１〜Ｘｎは下記（３）式のように得られ、特徴量差加算部５に供給する。
【００３８】
差異Ｘ１＝（（Ｆa1’-Ｆa11’），（Ｆa2’-Fa12’），・・・，（Ｆam’-Fa1m’））
差異Ｘ２＝（（Ｆa1’-Ｆa21’），（Ｆa2’-Fa22’），・・・，（Ｆam’-Fa2m’））
・
・
・
差異Ｘn ＝（（Ｆa1’-Ｆan1’），（Ｆa2’-Fan2’），・・・，（Ｆam’-Fanm’））
（３）
特徴量差加算部５に供給された上記前フレーム画像の目標の特徴量群Ａと後フレーム画像における第１ないし第ｎの目標候補Ａ1〜Ａｎの特徴量との差異Ｘ１〜Ｘｎに関し、特徴量差加算部５は第１ないし第ｎの各目標候補の差異Ｘ１〜Ｘｎそれぞれに関し、下記式（４）に示すように、ｍ種（ｍ個）の差の総和（差異和Ｙ１〜Ｙｎ）を算出する。
【００３９】
差異和Ｙ１＝（（Ｆa1’-Ｆa11’）+（Ｆa2’-Fa12’）+・・・+（Ｆam’-Fa1m’））
差異和Ｙ２＝（（Ｆa1’-Ｆa21’）+（Ｆa2’-Fa22’）+・・・+（Ｆam’-Fa2m’））
・
・
・
差異和Ｙn ＝（（Ｆa1’-Ｆan1’）+（Ｆa2’-Fan2’）+・・・+（Ｆam’-Fanm’））
（４）
この特徴量差加算部４における加算された特徴量差のデータ（Ｙ１〜Ｙn）は、比較部６に供給される。
【００４０】
比較部６は、加算された特徴量差の和のデータ（差異和Ｙ１〜Ｙn）を相互に比較され認識部７に供給されるので、認識部７は、最も小さい差異和の目標候補を、目標物体ａに対応した真の目標として認識し抽出することができる。
【００４１】
なお、上記説明のように、この実施例の特徴量算出部３は、領域における特徴点の特徴量を、その領域を含むフレーム画像における当該特徴量の平均値に基づき正規化を行う旨説明したが、正規化を行うことなく、単に算出した特徴点の特徴量を特徴量差算出部４に供給し、特徴量差算出部４は、正規化されない特徴量に基づいて差を求めても良い。
【００４２】
すなわち、図４（ａ）及び図４（ｂ）は、特徴１（横軸）と特徴２（縦軸）の２種類の特徴量に関して、特徴量算出部３が特徴点の特徴量を正規化することなく出力したときの比較部６における比較（図４（ａ））と、特徴量算出部３が特徴点の特徴量を正規化して出力したときの比較部６における比較（図４（ｂ））との違いを説明したものである。
【００４３】
すなわち、黒塗りで示した前フレーム画像で捉えた目標物体ａに対し、後フレーム画像で捉えようとする四角形で示した目標候補ａ１〜ａ５の総体的な特徴点差を説明したものである。
【００４４】
図４（ａ）において、特徴１（横軸）と特徴２（縦軸）のうち、単に徴差ΔＬがより少ない特徴量の特徴点（特徴２）の絶対位置から目標候補ａ１が追随すべき目標と捉えることになる。
【００４５】
それに対し、図４（ｂ）は、特徴量算出部３において特徴量を正規化した場合を示したものであり、同じく、特徴１（横軸）と特徴２（縦軸）の２軸の直交座標軸上の相対評価により、実は、特徴差（ΔＬ）がより少ないａ２が追随すべき目標であることを示している。
【００４６】
上記実施例の説明では、上記（２）式及び（３）式において、差を求めたｍ種の特徴点のいずれに対しても、設計者あるいはオペレータは同じ注目度を持つものとして説明したが、誘導装置等が空間を捜索し、目標を捉えてこれを追随しようとするとき、目標物体が存在するたとえば背景の状況、すなわち背景が海面であるのかあるいは陸地であるのかあるいは曇りかがった上空の空間であるか等により、また目標追尾の用途に応じて、識別のしやすさの点では特徴点に差が生ずることがある。
【００４７】
そこで、設計者あるいはオペレータは、目標追尾の用途上から、目標物体の存在する背景等の状況を考慮し、（２）式及び（３）式で求める特徴点の種類に応じた重み付け（ウェイト付け）を行うことにより、より適正に真の目標を背景と区別して認識することができる。
【００４８】
すなわち、特徴２の特徴量が背景との区別に有効であると考えられる場合は、図４（ｃ）に示したように、その特徴２の特徴点の特徴量計算値に重み付けを行うことによって、特徴２の軸上での各目標候補間の差の明確化あるいは強調化により、目標候補ａ２が目標物体ａとの差が最も小さいものであるとの顕著化が可能であり、目標物体ａに対応した真の目標ａ２をより容易かつ正確に識別して抽出することができる。
【００４９】
このように、特徴点の種類に応じた重み付けを、観測状況や目的に応じて行うことにより、目標識別をより容易に行い適切に追随することができる。
【００５０】
なお、上記実施例の説明では、フレーム画像に関し、前後の対応する領域において、例えば輝度や色彩等の特徴点の変化量を捉えつつ目標追随するものとして説明したが、前後のフレーム画像間で目標物体が移動し領域が変化する、つまり移動目標の特徴量が位置変化する場合の追随にも適用できる。
【図面の簡単な説明】
【００５１】
【図１】本発明の目標認識装置の一実施例を示した構成図である。
【図２】図１に示した装置の特徴量算出部の具体的構成図である。
【図３】図２に示した特徴量算出部の機能説明図である。
【図４】図１に示した装置の動作比較説明図である。
【図５】従来の目標認識装置の動作説明図である。
【符号の説明】
【００５２】
１  誘導装置
２  領域設定部（領域設定手段）
３  特徴量算出部（特徴量算出手段）
４  特徴量差算出部（特徴量差算出手段）
５  特徴量差加算部（特徴量差加算手段）
６  比較部（比較手段）
７  認識部（認識手段）
【図１】
2007164288.tif 000003
【図２】
2007164288.tif 000004
【図３】
2007164288.tif 000005
【図４】
2007164288.tif 000006
【図５】
2007164288.tif 000007