(57)【特許請求の範囲】
【請求項１】
撮像装置で得られる有効視野内の離散的で動画像群からなる連続した撮像画像信号に対して画像抽出処理を施すことにより目標を捕捉し、この捕捉した目標に応じて画像抽出処理対象範囲に対応するウインドを制限して前記目標を連続して追尾する目標捕捉追尾装置において、
撮像画像信号に対し、垂直方向が画素単位に分割された水平方向のそれぞれの行毎に、像が存在する画素を計数しこの計数値が予め設定した基準値以上である行を有意と判定し、しかる後に、水平方向が画素単位に分割された垂直方向のそれぞれの列毎に、像が存在する画素でかつ前記有意と判定された行についての画素を計数し、全列の計数値群のうちの最大値を垂直方向の目標長として抽出する垂直方向目標長抽出手段、及びこの垂直方向目標長抽出手段による抽出処理と同時もしくはその後に、前記撮像画像信号に対し、水平方向が画素単位に分割された垂直方向のそれぞれの列毎に、像が存在する画素を計数しこの計数値が予め設定した基準値以上である列を有意と判定し、しかる後に、垂直方向が画素単位に分割された水平方向のそれぞれの行毎に、像が存在する画素でかつ前記有意と判定された列についての画素を計数し、全行の計数値群のうちの最大値を水平方向の目標長として抽出する水平方向目標長抽出手段を備える目標長抽出部と、
前記垂直方向目標長抽出手段及び前記水平方向目標長抽出手段で得られるそれぞれの目標長と、前回の目標捕捉時に得られた追尾点とに基づいてウインド設定座標を演算するウインド設定座標演算手段と、
このウインド設定座標演算手段で演算されたウインド設定座標に基づいて、ウインド拡大の変化率を制御するウインド拡大制御手段とを具備してなることを特徴とする目標捕捉追尾装置。
【請求項２】
さらに、前記目標長抽出部は、前記垂直方向目標長抽出手段及び前記水平方向目標長抽出手段で得られるそれぞれの目標長によるアスペクト比を求め、予め設定した基準アスペクト比以下であるか否かを判定し、この判定結果により基準アスペクト比以下であると判定されたときは各目標長を現状維持し、否であると判定されたときは各目標長を基準アスペクト比と一致するように制限する目標長制限手段を備えてなることを特徴とする請求項１記載の目標捕捉追尾装置。
【請求項３】
前記ウインド設定座標演算手段は、前記目標長抽出部で得られるそれぞれの目標長に係数を乗算してウインド長とし、このウインド長を目標捕捉時に得られた追尾点を基にしてウインド設定座標とすることを特徴とする請求項１記載の目標捕捉追尾装置。
【請求項４】
前記ウインド拡大制御手段は、ウインド拡大を行う際に、前記目標の大きさ，形状の変化の速度に応答可能な時定数に応じてウインド拡大を制御する手段を有してなることを特徴とする請求項１記載の目標捕捉追尾装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えば撮像装置により得られる有効視野内の撮像画像信号を用いて目標識別を行ない、この識別された目標像に合わせてウインド制限を行なって目標の捕捉及び追尾処理を行なう目標捕捉追尾装置に関する。
【０００２】
【従来の技術】
一般に、撮像装置を用いて移動目標を捕捉し、連続して移動目標を追尾する目標捕捉追尾装置においては、撮像装置により得られる有効視野内の撮像画像信号を画像抽出処理して目標識別を行なった後、この識別された目標像に合わせてウインド制限を行なって目標を追尾し続けている。
【０００３】
ところで、上記目標捕捉追尾装置で目標の捕捉もしくは追尾処理を行うにあたっては、ウインド制限された撮像画像信号に目標像以外のクラッタ像が含まれる場合があり、このクラッタ像まで誤検出される恐れがある。すると、目標像以外のクラッタ像を含む大きさでウインド拡大が行われるため、連続する複数の撮像画像信号上の目標像の捕捉もしくは追尾処理する上では、悪影響が巡回することとなる。この場合、捕捉すべき目標像を認識し難くなり、ウインド制限された撮像画像上から外してしまう恐れもある。
【０００４】
【発明が解決しようとする課題】
以上のように、従来の目標捕捉追尾装置では、ウインド制限された撮像画像信号上に目標像以外のクラッタ像が含まれる場合に、このクラッタ像を含めた大きさでウインド拡大が行われることとなり、連続する複数の撮像画像信号に対して目標捕捉もしくは追尾処理上で悪影響を及ぼすという問題を有している。
【０００５】
この発明の目的は、目標捕捉時に目標に合わせてウインド制限された撮像画像上に目標像以外のクラッタ像が含まれる場合にも、目標像を確実に追尾し続けることが可能で、かつ目標を撮像画像上から外す確率を低減し得る目標捕捉追尾装置を提供することにある。
【０００６】
【課題を解決するための手段】
この発明は、上記目的を達成するために、撮像装置で得られる有効視野内の離散的で動画像群からなる連続した撮像画像信号に対して画像抽出処理を施すことにより目標を捕捉し、この捕捉した目標に応じて画像抽出処理対象範囲に対応するウインドを制限して目標を連続して追尾する目標捕捉追尾装置を対象にし、撮像画像信号に対し、垂直方向が画素単位に分割された水平方向のそれぞれの行毎に、像が存在する画素を計数しこの計数値が予め設定した基準値以上である行を有意と判定し、しかる後に、水平方向が画素単位に分割された垂直方向のそれぞれの列毎に、像が存在する画素でかつ有意と判定された行についての画素を計数し、全列の計数値群のうちの最大値を垂直方向の目標長として抽出する垂直方向目標長抽出手段、及びこの垂直方向目標長抽出手段による抽出処理と同時もしくはその後に、撮像画像信号に対し、水平方向が画素単位に分割された垂直方向のそれぞれの列毎、像が存在する画素を計数しこの計数値が予め設定した基準値以上である列を有意と判定し、しかる後に、垂直方向が画素単位に分割された水平方向のそれぞれの行毎に、像が存在する画素でかつ有意と判定された列についての画素を計数し、全行の計数値群のうちの最大値を水平方向の目標長として抽出する水平方向目標長抽出手段を備える目標長抽出部と、垂直方向目標長抽出手段及び水平方向目標長抽出手段で得られるそれぞれの目標長と、前回の目標捕捉時に得られた追尾点とに基づいてウインド設定座標を演算するウインド設定座標演算手段と、このウインド設定座標演算手段で演算されたウインド設定座標に基づいて、ウインド拡大の変化率を制御するウインド拡大制御手段とを備えるようにしたものである。
【０００７】
この構成によれば、目標長抽出部は、垂直方向の目標長を抽出する場合に、まず撮像画像信号に対し、撮像画像の水平方向のそれぞれの行毎に、像が存在する画素を計数しこの計数値が予め設定した基準値以上である行を有意と判定し、この有意と判定された行についてのみ撮像画像の垂直方向それぞれの列毎に、像が存在する画素を計数し、全列の計数値群のうちの最大値を垂直方向の目標長として抽出する。そして、水平方向の目標長を抽出する場合に、まず撮像画像信号に対し、撮像画像の垂直方向のそれぞれの列毎に、像が存在する画素を計数しこの計数値が予め設定した基準値以上である列を有意と判定し、この有意と判定された列についてのみ撮像画像の水平方向それぞれの行毎に、像が存在する画素を計数し、全行の計数値群のうちの最大値を水平方向の目標長として抽出する。以後、得られた水平方向及び垂直方向それぞれの目標長に基づいてウインド設定処理を実現するようにしている。
【０００８】
このため、撮像画像上でクロスする例えば電線などの高架線像を目標像が一時的に横切る場合があっても、ウインドが高架線像に影響されて広がることなく目標像にフィットしてウインドを設定できる。
【０００９】
また、上記構成において、さらに、目標長抽出部は、垂直方向目標長抽出手段及び水平方向目標長抽出手段で得られるそれぞれの目標長によるアスペクト比を求め、予め設定した基準アスペクト比以下であるか否かを判定し、この判定結果により基準アスペクト比以下であると判定されたときは各目標長を現状維持し、否であると判定されたときは各目標長を基準アスペクト比と一致するように制限する目標長制限手段を備えてなることを特徴とする。
【００１０】
この構成によれば、目標像のアスペクト比は決められた値で設定されており、例えば地面とこれに結合した電柱等のようなクラッタ像を目標像が横切って、一時像同士が結合する場合に、電柱等のクラッタ像のアスペクト比は目標像のアスペクト比より大きいので、撮像画像の目標長が目標像のアスペクト比以下に制限され、連続した画像抽出処理においてウインドが電柱像に影響され、ひいては地面の像の影響も受けて広がることなく目標像にフィットしてウインド設定できる。
【００１１】
また、上記構成において、ウインド設定座標演算手段は、垂直方向目標長抽出手段及び前記水平方向目標長抽出手段で得られるそれぞれの目標長に係数を乗算してウインド長とし、このウインド長を目標捕捉時に得られた追尾点を基にしてウインド設定座標としているので、撮像装置で得られる有効視野内の離散的で動画像群からなる連続した撮像画像信号において、同一目標像のみの抽出を効果的に行なうための目標に応じた画像抽出処理対象範囲に対応するウインドを設定できる。
【００１２】
また、上記構成において、ウインド拡大制御手段は、ウインド拡大を行う際に、目標の大きさ，形状の変化の速度に応答可能な時定数に応じてウインド拡大を制御する手段を有してなることを特徴とする。
【００１３】
この構成によれば、連続する複数の撮像画像信号上の目標像の大きさや形状の変化の速度に応答可能な時定数を設定することで、目標像に一時結合するクラッタ像が存在しても、ウインドが直ちにクラッタ像に影響されて拡大することなく、ある程度目標にフィットし続けられる。この場合、目標像とクラッタ像との結合が後々分離されるまで効果を期待できる。
【００１４】
【発明の実施の形態】
以下、この発明の実施の形態について図面を参照して詳細に説明する。
【００１５】
図１は、この発明の一実施の形態を示している。
【００１６】
図１において、まず、目標とする画像を検出するまでの処理を説明すると、撮像装置１１で得られる有効視野内の撮像画像信号は、ウインド設定回路１２に供給される。ウインド設定回路１２は、撮像装置で得られる有効視野内の撮像画像信号に対して設定されたウインド設定座標に基づき、通過範囲を制限して、この撮像画像信号を目標検出処理回路１３に出力する。目標検出処理回路１３は、入力された撮像画像信号から目標とする画像を特定し、この目標像を捕捉したことに対応する目標捕捉信号として外部に出力する。そして、目標検出処理回路１３は、目標検出時に、撮像装置１１により得られる有効視野内の撮像画像に対し、目標に合わせて画像抽出処理対象範囲に対応するウインドの設定を行うために、ウインドの設定位置を撮像視野中心から目標位置を中心とした位置に置き換えるようにスイッチ１４，１５を端子１４ｂ，１５ｂから端子１４ａ，１５ａに切り替える。以後、ウインド設定回路１２は、ウインド外の画像情報を遮断し、撮像視野内での目標を含む局所域を指定し、目標以外のクラッタ（雲，山等の目標以外の各種雑音）を可能な限り排除するべく画像処理及び識別範囲を限定させて動画像群のうちから同一目標を効果的に捕捉及び追尾し易くする。
【００１７】
次に、ウインド制限された撮像画像における目標の捕捉もしくは追尾処理について説明する。
【００１８】
すなわち、ウインド設定回路１２にてウインド制限された撮像画像信号は、目標長抽出回路１６に供給される。目標長抽出回路１６は、連続する複数の撮像画像信号から、目標捕捉時で得られる目標位置を基準に、撮像画像から目標長を抽出する。この目標長抽出回路１６で得られる目標長は、目標長リミッタ回路１７に出力される。
【００１９】
目標長リミッタ回路１７は、水平方向及び垂直方向それぞれの目標長によるアスペクト比に対して大小比較する基準アスペクト比を予め設定しており、入力された目標長を基準アスペクト比以下となるように制限し、この目標長をウインド設定座標演算回路１８に出力する。ウインド設定座標演算回路１８は、入力された目標長に対して、前回の撮像画像で得られる目標位置を基準として、上下左右の目標長の各々にウインド設定係数を乗算して、ウインド設定座標を算出し、この算出結果をウインド拡大制御回路１９に出力する。例として、目標の大きさの２倍ほどのウインドを設定するときは、ウインド設定係数を１次元比√２として目標長に乗じればよい。
【００２０】
ウインド拡大制御回路１９は、ウインド設定座標算出回路１８で得られたウインド設定座標に基づいて、ウインド設定回路１２にて次回の目標識別のためのウインド制限を行なう際に、目標の大きさ，形状の変化の速度に応答可能な時定数に応じてウインド拡大を制御するような制御信号をスイッチ１５を介してウインド設定回路１２に出力する。なお、ウインドが縮小するときには適用しない。
【００２１】
次に、上記目標長抽出回路１６の処理について図２を参照して説明する。
まず従来では、図２に示すように、水平方向目標長について、４行が最大値で１２画素であり、垂直方向目標長についてｆ列が最大値で１０画素であるので、×像の目標長を抽出してしまうことになる。本発明では、目標長抽出回路１６は、垂直方向目標長抽出について、垂直方向が画素単位に分割された水平方向のそれぞれの行毎に、像が存在する画素を計数しこの計数値が予め設定した目標長計数しきい値（図２では２）以上であるときはこの行を有意と判定しておく。次に水平方向が画素単位に分割された垂直方向のそれぞれの列毎に、像が存在する画素でかつ有意と判定された列についての画素を計数し、全列の計数値群のうちの最大値を垂直方向の目標長として抽出する。
【００２２】
水平方向目標長抽出について、水平方向が画素単位に分割された垂直方向のそれぞれの列毎に、像が存在する画素を計数しこの計数値が予め設定した目標長計数しきい値（図２では２）以上である列を有意と判定しておく。次に垂直方向が画素単位に分割された水平方向のそれぞれの行毎に、像が存在する画素でかつ有意と判定された列についての画素を計数し、全行の計数値群のうちの最大値を水平方向の目標長として抽出する。
【００２３】
すなわち、目標長抽出回路１６は、水平方向目標長について、４行及び６行で５画素、５行及び７行で３画素であり、これらのうち５画素を抽出し、垂直方向目標長について、ｅ，ｆ，ｇ列が最大値として４画素であり、この４画素を抽出するので、×像に影響されることがない。
【００２４】
次に、上記目標長リミッタ回路１７の処理について図３を参照して説明する。なお、図３（ａ），（ｂ）は、従来の目標捕捉処理を示している。
【００２５】
図３（ａ）に示す撮像画像では、目標像Ｔが地面と結合した電柱Ｂを横切ると、図３（ｂ）に示すように、ウインドが目標像Ｔ以外の電柱Ｂ及び地面までを含めて拡大されることとなる。
【００２６】
そこで、目標長リミッタ回路１７では、図３に示す撮像画像に対して、目標像Ｔの水平方向及び垂直方向それぞれの目標長によるアスペクト比に対応する基準アスペクト比を予め設けておき、この基準アスペクト比以下に目標長を制限して目標捕捉時に得られた追尾点を基にして得たウインド設定座標をウインド設定回路１２にて設定させるようにしている。なお、目標像Ｔは、そのアスペクト比が（Ｌｌ＋Ｌｒ）：（Ｌｕ＋Ｌｄ）となる。また、Ｌｕ，Ｌｄ、Ｌｌ，Ｌｒは、目標捕捉時の目標位置を基準点とした上下左右の目標長である。
【００２７】
また、ウインド拡大制御回路１９は、図４の応答特性に示すように、目標の大きさもしくは形状の変化に応じて、ウインドが拡大する時間を従来より遅らせるように時定数を設定し、ウインド設定回路１２におけるウインド拡大を制御するようにしている。
【００２８】
次に、上記構成における目標長抽出からウインド設定までの動作を図５を参照して説明する。
目標長抽出回路１６では、前回画面における撮像画像信号で得られた前回基準点（前回追尾点）及び今回画面における撮像画像信号から上下左右の４つの今回目標長を抽出する。同時に、今回画面における撮像画像信号から今回基準点を得る。以後、ウインド設定座標演算回路１８にて、今回目標長及び今回基準点から、次回画面に設定するウインドを計算する。また、ウインド設定座標演算回路１８は、今回目標長に係数、例えば√２を乗算して、今回基準点を基にしてウインド設定座標を得ている。
【００２９】
従って、上記実施形態によれば、目標長抽出回路１６は、撮像画像信号から垂直方向の目標長を抽出する場合に、まず撮像画像信号に対し、撮像画像の水平方向のそれぞれの行毎に、像が存在する画素を計数しこの計数値が予め設定した基準値以上である行を有意と判定し、この有意と判定された行についてのみ撮像画像の垂直方向それぞれの列毎に、像が存在する画素を計数し、全列の計数値群のうちの最大値を垂直方向の目標長として抽出する。そして、撮像画像信号から水平方向の目標長を抽出する場合に、まず撮像画像信号に対し、撮像画像の垂直方向のそれぞれの列毎に、像が存在する画素を計数しこの計数値が予め設定した基準値以上である列を有意と判定し、この有意と判定された列についてのみ撮像画像の水平方向それぞれの行毎に、像が存在する画素を計数し、全行の計数値群のうちの最大値を水平方向の目標長として抽出する。以後、得られた水平方向及び垂直方向それぞれの目標長及び前回画面で得られた追尾点に基づいて、ウインド設定座標演算回路１８でウインド設定座標を演算し、このウインド設定座標及び前回のウインド設定座標に基づいてウインド拡大制御回路１９でウインド拡大の変化率が制御されたウインド設定座標をウインド設定回路１２に与えている。
【００３０】
このため、撮像画像上でクロスする例えば電線などの高架線像を目標像が一時的に横切る場合があっても、ウインドが高架線像に影響されて広がることなく目標像にフィットしてウインドを設定でき、目標の捕捉を外す確率を低減できる。
【００３１】
また、目標長リミッタ回路１７は、目標像の水平方向及び垂直方向それぞれの目標長によるアスペクト比に対応する基準アスペクト比を予め設定し、この基準アスペクト比以下に目標長を制限し、目標捕捉時に得られた追尾点を基にオフセットさせて得てウインド設定座標としている。このため、例えば地面とこれに結合した電柱等のようなクラッタ像を目標像が横切って、一時像同士が結合する場合に、電柱等のクラッタ像のアスペクト比は基準アスペクト比より大きいので、ウインドが電柱像に影響され、ひいては地面の像の影響も受けて広がることなく目標像にフィットしてウインド設定できる。特に、目標検出処理回路１３がウインド内の像の重心算出として目標の位置を処理しているときには極めて有効となる。
【００３２】
さらに、ウインド拡大制御回路１９にて連続する複数の撮像画像上の目標像の大きさや形状の変化の速度に応答可能な時定数を設定することで、ウインド制限された撮像画像上で、目標像に一時結合するクラッタ像が存在しても、ウインドが直ちにクラッタ像に影響されて拡大することなく、ある程度目標にフィットし続けられる。この場合、目標像とクラッタ像との結合が後々分離されるまで効果を期待できる。
【００３３】
また、ウインド設定座標演算回路１８は、水平方向及び垂直方向それぞれの目標長に係数を乗算してウインド長とし、このウインド長を目標捕捉時に得られる追尾点を基にオフセットさせてウインド設定座標としているので、撮像装置で得られる有効視野内の離散的で動画像群からなる連続した撮像画像において、同一目標のみを効果的に行なうための目標に応じた画像抽出処理対象範囲に対応するウインドを設定できる。
【００３４】
なお、この発明は、上記実施の形態の範囲に必ずしも限定されるものではなく、その他この要旨を逸脱しない範囲で種々変形して実施できることはもちろんのことである。
【００３５】
【発明の効果】
以上詳述したようにこの発明によれば、目標捕捉時に目標に合わせてウインド制限された撮像画像上に目標像以外のクラッタ像が含まれる場合にも、目標像を追尾し続けることが可能で、かつ目標の捕捉を外す確率を低減し得る目標捕捉追尾装置を提供することができる。
【図面の簡単な説明】
【図１】この発明に係る目標捕捉追尾装置の一実施形態を示すブロック構成図。
【図２】上記図１に示した目標長抽出回路の処理を説明するために示す画面図。
【図３】上記図１に示した目標長リミッタ回路の処理を説明するために示す画面図。
【図４】上記図１に示したウインド拡大制御回路における時間応答特性を示す特性図。
【図５】同実施形態における目標長抽出からウインド設定までの動作の流れを説明するために示す図。
【符号の説明】
１１…撮像装置、
１２…ウインド設定回路、
１３…目標検出処理回路、
１４，１５…スイッチ、
１６…目標長抽出回路、
１７…目標長リミッタ回路、
１８…ウインド設定座標演算回路、
１９…ウインド拡大制御回路。
【図１】
0003588569.tif 000002
【図２】
0003588569.tif 000003
【図３】
0003588569.tif 000004
【図４】
0003588569.tif 000005
【図５】
0003588569.tif 000006