(57)【要約】【課題】前回フレームにおいて追跡目標を含む複数の物体が結合した場合においても前回フレームの追跡目標のラベルと今回フレームの追跡目標のラベルとの対応関係を保持することができる誘導装置の動画像処理装置及び誘導装置の目標追跡システム及び誘導装置の動画像処理装置における目標追跡方法を提供する。【解決手段】前回フレームの追跡目標のラベルを格納する前回追跡目標テーブルを設け、今回フレームの追跡目標のラベルに対応する前回フレームの追跡目標のラベルだけを今回フレームの追跡目標のラベルに対応付けてテーブルに格納する。【選択図】図１
2008117196.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により生成された映像信号からフレーム毎に抽出された物体の画像にラベルを割り当てるラベリング処理部と、
前回フレームの追跡目標のラベルを格納する前回追跡目標テーブルと、
今回フレームの前記ラベルに対応する前記前回フレームの前記ラベルを格納する連結テーブルと、
前記連結テーブルに前記今回フレームにおける前記ラベルを書き込み、前記連結テーブルに前記今回フレームに対応する前記前回フレームのラベルを書き込む際に、前記前回追跡目標テーブルから前記前回フレームの追跡目標のラベルを読み出し、この追跡目標のラベルと書き込もうとする前記前回フレームのラベルとが同じときに前記前回フレームのラベルを書き込む連結処理部と、
を備えることを特徴とする誘導装置の動画像処理装置。
【請求項２】
前記連結処理部が前記連結テーブルに前記今回フレームの全てのラベルとこれに対応する前記前回フレームのラベルの書き込みが完了した後に、前記今回フレームの追跡目標のラベルを前記前回追跡目標テーブルに格納することを特徴とする請求項１記載の誘導装置の動画像処理装置。
【請求項３】
撮像装置により所定のフレームレートにて撮像されて生成されたアナログの映像信号をディジタル信号に変換し、この変換されたディジタル信号から撮像された画像の輪郭を強調し、この輪郭が強調された画像から物体の画像を抽出し、この抽出された物体の画像にフレーム毎にラベルを割り当て、このラベルをフレーム間で対応付けることにより追跡目標を各フレーム間において継続的に追跡する誘導装置の目標追跡システムであって、
前回フレームの追跡目標のラベルを格納する前回追跡目標テーブルと、
今回フレームの前記ラベルに対応する前記前回フレームの前記ラベルを格納する連結テーブルと、
前記今回フレームにおける前記ラベルとこの前記今回フレームにおける前記ラベルに対応する前記前回フレームにおける前記ラベルを書き込むことにより前記連結テーブルを生成する連結処理部と、を備え、
前記連結処理部が、前記連結テーブルに前記今回フレームに対応する前記前回フレームのラベルを書き込む際に、前記前回追跡目標テーブルから前記前回フレームの追跡目標のラベルを読み出し、この追跡目標のラベルと書き込もうとする前記前回フレームのラベルとが同じときに前記前回フレームのラベルを書き込む、
ことを特徴とする誘導装置の誘導装置の目標追跡システム。
【請求項４】
前記連結処理部が前記連結テーブルに前記今回フレームの全てのラベルとこれに対応する前記前回フレームのラベルの書き込みが完了した後に、前記今回フレームの追跡目標のラベルを前記前回追跡目標テーブルに格納することを特徴とする請求項３記載の目標追跡システム。
【請求項５】
撮像装置により所定のフレームレートにて撮像されて生成されたアナログの映像信号をディジタル信号に変換し、この変換されたディジタル信号から撮像された画像の輪郭を強調し、この輪郭が強調された画像から物体の画像を抽出し、この抽出された物体の画像にフレーム毎にラベルを割り当て、このラベルをフレーム間で対応付けることにより追跡目標を各フレーム間において継続的に追跡する誘導装置の動画像処理装置における目標追跡方法であって、
前記動画像処理装置が、
前回フレームの追跡目標のラベルを格納する前回追跡目標テーブルと、
今回フレームの前記ラベルに対応する前記前回フレームの前記ラベルを格納する連結テーブルと、
前記今回フレームにおける前記ラベルとこの前記今回フレームにおける前記ラベルに対応する前記前回フレームにおける前記ラベルを書き込むことにより前記連結テーブルを生成する連結処理部と、を備え、
前記連結処理部が、前記連結テーブルに前記今回フレームに対応する前記前回フレームのラベルを書き込む際に、前記前回追跡目標テーブルから前記前回フレームの追跡目標のラベルを読み出し、この追跡目標のラベルと書き込もうとする前記前回フレームのラベルとが同じときに前記前回フレームのラベルを書き込むステップ、
を有することを特徴とする誘導装置の動画像処理装置における目標追跡方法。
【請求項６】
前記連結処理部が前記連結テーブルに前記今回フレームの全てのラベルとこれに対応する前記前回フレームのラベルの書き込みが完了した後に、前記今回フレームの追跡目標のラベルを前記前回追跡目標テーブルに格納するステップを有することを特徴とする請求項５記載の誘導装置の動画像処理装置における目標追跡方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、誘導装置において撮像された画像の前回フレームにおける追跡目標と今回フレームにおける追跡目標との対応関係を保持する誘導装置の動画像処理システムに関する。
【背景技術】
【０００２】
従来の誘導装置の追跡目標追随装置は撮像装置から得られた画像データにおける前回フレームの追跡目標と今回フレームの物体画像の関係が保持されておらず、今回フレームにおける追跡目標の継続的追跡ができないという問題点があった。
【０００３】
この点に関し、特許文献1には物体の画像毎にラベルを付し、前回フレームの各ラベルに対応する今回フレームのラベルを１対１に対応付ける連結テーブルを作成することにより継続的追跡を行う技術が開示されている。
【特許文献１】特開２００３−６７７５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来技術においては、前回フレームにおいて追跡目標を含む複数の物体が結合した場合、連結テーブルに前回フレームのラベルが順次上書きされ、前回フレームの追跡目標との対応関係が保持されないという問題点があった。
【０００５】
本発明は、上記事情を考慮してなされたものであり、前回フレームにおいて追跡目標を含む複数の物体が結合した場合においても前回フレームの追跡目標のラベルと今回フレームの追跡目標のラベルとの対応関係を保持することができる誘導装置の動画像処理装置及び誘導装置の目標追跡システム及び誘導装置の動画像処理装置における目標追跡方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この目的を達成するために、請求項１記載の発明は、撮像装置により生成された映像信号からフレーム毎に抽出された物体の画像にラベルを割り当てるラベリング処理部と、前回フレームの追跡目標のラベルを格納する前回追跡目標テーブルと、今回フレームのラベルに対応する前回フレームのラベルを格納する連結テーブルと、連結テーブルに今回フレームにおけるラベルを書き込み、連結テーブルに今回フレームに対応する前回フレームのラベルを書き込む際に、前回追跡目標テーブルから前回フレームの追跡目標のラベルを読み出し、この追跡目標のラベルと書き込もうとする前回フレームのラベルとが同じときに前回フレームのラベルを書き込む連結処理部と、を備えることを特徴とする誘導装置の動画像処理システムを提供する。
【０００７】
また、請求項３記載の発明は、撮像装置により所定のフレームレートにて撮像されて生成されたアナログの映像信号をディジタル信号に変換し、この変換されたディジタル信号から撮像された画像の輪郭を強調し、この輪郭が強調された画像から物体の画像を抽出し、この抽出された物体の画像にフレーム毎にラベルを割り当て、このラベルをフレーム間で対応付けることにより追跡目標を各フレーム間において継続的に追跡する誘導装置の目標追跡システムであって、前回フレームの追跡目標のラベルを格納する前回追跡目標テーブルと、今回フレームの前記ラベルに対応する前記前回フレームの前記ラベルを格納する連結テーブルと、今回フレームにおけるラベルとこの今回フレームにおけるラベルに対応する前回フレームにおけるラベルを書き込むことにより連結テーブルを生成する連結処理部と、を備え、連結処理部が、連結テーブルに今回フレームに対応する前回フレームのラベルを書き込む際に、前回追跡目標テーブルから前回フレームの追跡目標のラベルを読み出し、この追跡目標のラベルと書き込もうとする前回フレームのラベルとが同じときに前回フレームのラベルを書き込む、ことを特徴とする誘導装置の目標追跡システムを提供する。
【発明の効果】
【０００８】
本発明によれば、今回フレームの追跡目標のラベルに対応する前回フレームの追跡目標のラベルだけを今回フレームの追跡目標のラベルに対応付けてテーブルに格納するため、今回フレームの追跡目標に対応する前回目標のラベルが複数存在する場合にも追跡目標のラベルの対応関係を保持することが可能となる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の一実施形態について図面を用いて説明する。図１は本実施形態の構成を表す概要図である。
【００１０】
本実施形態の誘導装置の動画像処理システムは、図示しないプロセッサ又はＣＰＵと、撮影視野を所定のフレームレートにて撮影し、生成された映像信号をフレーム毎に順次出力する撮像装置１０１と、この撮像処理部１０１のアナログ出力信号をディジタル信号に変換するＡ／Ｄ変換部１０２と、このＡ／Ｄ変換部１０２においてディジタル化された映像信号を受けて波形形成等の必要な前処理を行う前処理部１０３と、前処理部１０３の出力を受け画像の輪郭を強調する特徴強調部１０４と、輪郭が強調された信号を２値化して画像の強調された部分を他の部分から分割することにより抽出する２値化処理部１０５と、この２値化処理部１０５において抽出された部分である物体画像毎にラベルを割り当てるラベリング処理部１０６と、前回フレームにおけるラベルと今回フレームにおけるラベルとを関連付けてテーブルを作成する連結処理部１０７と、特徴強調部１０４とラベリング処理部１０６の出力を受けて物体画像毎の特徴量を計算する特徴量計算部１１１と、連結処理部１０７と特徴量計算部１１１の出力を受けて特徴量の相関から追跡目標を決定する追跡処理部１１０と、図示しない記憶装置に記憶される前回追跡目標テーブル１０８及び連結テーブルと、を備える。
【００１１】
上記の各部はプロセッサ又はＣＰＵと、このプロセッサ又はＣＰＵにおいて実行されるプログラムとを備え、必要に応じてその他の部品が設けられる装置である。その他の部品とは、例えば記憶装置との入出力に用いる入出力装置などが挙げられる。
【００１２】
プロセッサはディジタルシグナルプロセッサであってもよい。また、プロセッサは一つだけ用いても複数用いてもよい。プロセッサを一つだけ用いる場合には、各部において実行されるプログラムは一つのプログラムの一部として構成することも、独立したプログラムとして構成することもできる。プロセッサを複数用いる場合には、例えば上記各部毎にプロセッサを用いることもできる。この場合、各部においては各部の処理機能を備えた独立したプログラムが実行される。
【００１３】
記憶装置は揮発性メモリでも不揮発性メモリでも磁気記憶装置でもよい。撮像装置１０１は可視光又は赤外線を撮像できる装置でもよい。
【００１４】
図２（ｃ）に各テーブルの項目と格納されるデータの例を示す。前回追跡目標テーブル１０８に格納される項目は前回フレームにおける追跡目標のラベルである前回追跡目標ラベルを含むが、これに限られるものではない。また、連結テーブル１０９に格納される項目は今回フレームの物体画像に付されたラベルである今回ラベルと、前回フレームの物体画像に付されたラベルである前回ラベルを含むがこれらに限られるものではない。
【００１５】
次に本実施形態の動作について説明する。ラベリング処理部１０６は２値化処理部１０５において抽出された部分である物体画像毎にラベルを割り当てる。ラベルとは各フレーム内において物体画像毎に重複なく割り当てられる識別子であり、例えば数のような番号を用いることができる。ラベルはフレーム毎に振りなおされる。
【００１６】
図２は連結テーブル１０９の作成例を示した図である。図２（ａ）は撮像された前回フレーム２０１と今回フレーム２０２にラベリング処理部１０６により各物体画像にラベルが割り当てられた様子を表した図である。前回フレーム２０１において、５個の物体画像が抽出され、１から５のラベルが割り当てられている。
【００１７】
今回フレーム２０２においては抽出された物体画像が３つになり、１，２，４のラベルが割り当てられている。連結処理部１０７は各物体画像の位置に関する情報と、各物体画像の特徴量から前回フレーム２０１の各物体画像と今回フレーム２０２の各物体画像の関係を判定する。位置情報にはフレーム内における各物体画像の座標が含まれる。特徴量は例えば物体画像の面積、重心位置、輝度、移動方向などを用いることができるがこれらに限られるものではない。
【００１８】
連結処理部１０７は前回フレームと今回フレームの物体画像のうち、この位置情報と特徴量が互いに近似しているものを対応する物体画像であると判定する。特徴量のうち所定のものに係数を掛けることによりウエイト付けすることもできる。
【００１９】
図２（ｂ）は図２（ａ）において挙げた例の各物体画像の対応関係を示した図である。ここで、「対応する」とは前回フレーム２０１と今回フレーム２０２において物体画像が同一のものを示していることを言う。この例では、前回フレーム２０１におけるラベル１，３，５の物体画像が結合し、今回フレーム２０２におけるラベル２の物体画像となり、前回フレームのラベル４は今回フレームのラベル４であり、前回フレームのラベル２は今回フレームにおいて消滅している。前回フレーム２０１における追跡目標はラベル３の物体画像である。
【００２０】
図２（ｃ）は連結処理部１０７が作成した連結テーブル１０９と前回追跡目標テーブル１０８の例である。これらは図２（ａ）及び（ｂ）における追跡目標の連結関係から作成される。連結処理部１０７は今回ラベルを順に連結テーブル１０９の今回ラベルに書き込む。次に、連結処理部１０７は連結テーブル１０９に今回ラベルに対応する前回ラベルを書き込む。この際、連結処理部１０７は図２（ｄ）に示す前回追跡目標テーブル１０８の前回追跡目標ラベルを参照し、書き込もうとする前回ラベルが前回追跡目標ラベルと同じ場合だけ連結テーブル１０９に書き込む。
【００２１】
このようにすると、追跡目標の今回ラベルだけに前回ラベルの追跡目標が書き込まれ、今回フレーム２０２における追跡目標のラベルとそれに対応する前回フレーム２０１における追跡目標のラベルとの対応が保持される。この例では、今回ラベル２に前回ラベル３が格納されているため、前回フレーム２０１における追跡目標はラベル３であり、これに対応する今回フレーム２０２における追跡目標のラベル２が保持される。
【００２２】
図４は従来技術における連結テーブルを表した図である。図２の例と同様に、今回ラベルの２は前回フレームのラベル１，３，５の物体画像が結合し、前回フレームのラベル３の物体画像が前回フレームにおける追跡目標であるものとする。従来技術においては今回ラベル２に対応する前回ラベルに１，３，５の順で上書きされる。この結果、今回ラベルの２に対応する前回ラベルには５が格納され、前回フレームにおける追跡目標であるレベル３との対応が保持されない。本実施形態は、上述のようにこのような不具合が発生しない。
【００２３】
連結処理部１０７は位置情報から前回フレーム２０１における各物体画像と今回フレーム２０２における物体画像との対応関係を判定する。このため、前回フレーム２０１の追跡目標に対応する物体画像を今回フレーム２０２に存在しない場合もありうる。この場合には、追跡処理部１１０が特徴量計算部から受け取った特徴量により、追跡目標を判定し、前回追跡目標テーブル１０８に格納する。
【００２４】
図３は連結処理部１０７の処理を表すフローチャートである。ステップＳ３０１において、連結処理部１０７は連結テーブル１０９を初期化する。この初期化において連結処理部１０７は今回ラベルと前回ラベルを削除する。
【００２５】
ステップＳ３０２において、連結処理部１０７は前回追跡目標テーブル１０８から前回追跡目標ラベルを読み込む。次に、連結処理部１０７はステップＳ３０３からステップＳ３０８を今回フレームのラベル数ｉだけ繰り返す。ステップＳ３０４において、連結処理部１０７は今回フレームのラベルｉを連結テーブル１０９の今回ラベルに書き込む。
【００２６】
ステップＳ３０５において、連結処理部１０７は今回フレームのラベルｉに対応する前回フレームのラベルを判定する。判定方法は例えば次のように行う。ラベリング処理部１０６は前回フレームの各ラベルとその位置情報を保持している。連結処理部１０７はこのラベリング処理部１０７が保持している位置情報を、今回フレームのラベルｉの位置情報を基に検索し、今回フレームのラベルｉの位置情報から所定の範囲内にある位置情報を持つ前回フレームのラベルを今回フレームのラベルｉに対応するものと判定する。位置情報には例えば撮像された画像における座標を用いることができる。
【００２７】
ステップＳ３０６において、連結処理部１０７はステップＳ３０５において対応関係があると判定した前回フレームのラベルと前回追跡目標ラベルとが等しいか判定する。等しい場合にはステップＳ３０７に進み、等しくない場合にはステップＳ３０８に進む。対応関係がある前回フレームのラベルが複数ある場合には、これらの前回フレームのラベルについて順にステップＳ３０６を実行する。
【００２８】
ステップＳ３０７において、連結処理部１０７は前回フレームのラベルを連結テーブル１０９に書き込み、ステップＳ３０８に進む。ステップＳ３０８において、連結処理部１０７はｉに１を加算してステップＳ３０３に戻る。
【００２９】
ステップＳ３０９において、連結処理部１０７は今回フレームにおける追跡目標のラベルを前回追跡目標テーブル１０８に書き込む。連結テーブル１０９の前回ラベルには今回フレームの追跡目標である今回ラベルにだけラベルが書き込まれているため、今回フレームの追跡目標のラベルを判定することができる。
【００３０】
以上述べたように、本実施形態の誘導装置の動画像処理システム及び誘導装置の動画像処理装置においては、前回フレームの追跡目標のラベルを格納する前回追跡目標テーブル１０８を設け、今回フレームの追跡目標のラベルに対応する前回フレームの追跡目標のラベルだけを今回フレームの追跡目標のラベルに対応付けてテーブルに格納するため今回フレームの追跡目標に対応する前回目標のラベルが複数存在する場合にも追跡目標のラベルの対応関係を保持することが可能となる。
【００３１】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００３２】
【図１】構成を表す概要図である。
【図２】連結テーブルの作成例を示した図である。
【図３】連結処理部の処理を表すフローチャートである。
【図４】従来技術における連結テーブルを表した図である。
【符号の説明】
【００３３】
１０１：撮像装置、
１０２：Ａ／Ｄ変換部、
１０３：前処理部、
１０４：特徴強調部、
１０５：２値化処理部、
１０６：ラベリング処理部、
１０７：連結処理部、
１０８：前回追跡目標テーブル、
１０９：連結テーブル、
１１０：追跡処理部、
１１１：特徴量計算部。
【図１】
2008117196.tif 000003
【図２】
2008117196.tif 000004
【図３】
2008117196.tif 000005
【図４】
2008117196.tif 000006