(57)【特許請求の範囲】
【請求項１】
入力画像から目標を検出して追跡する画像目標検出追跡装置において、
目標の物体を含むテンプレートの画像が格納されるテンプレート記憶手段から前記テンプレートを読み出し、前記テンプレートと入力画像を所定の単位で分割した分割画像との相関を算出し、算出結果が所定の基準値を超えた分割画像に含まれる物体を目標候補として記憶手段に登録する目標候補検出手段と、
前記記憶手段に登録された目標候補を追跡対象として、前記追跡対象の目標候補を前記記憶手段へ登録した後に入力された直近の入力画像に含まれる前記追跡対象の目標候補を探索し、前記追跡対象の目標候補が探索できたときは前記追跡対象の目標候補の追跡を継続し、前記追跡対象の目標候補が探索できなかったときは前記追跡対象の目標候補を前記記憶手段から削除する候補追跡手段と、
前記記憶手段に登録された目標候補が予め決められた所定の期間、前記候補追跡手段によって継続して追跡され、かつ、前記目標候補検出手段によって目標候補として検出されたときは、前記登録された目標候補を目標として特定する目標特定手段と、
を有し、
前記目標候補検出手段は、前記記憶手段に目標候補として登録した物体が含まれていた分割画像を候補テンプレートとして候補テンプレート記憶手段に格納し、
前記候補追跡手段は、前記候補テンプレート記憶手段に格納された前記候補テンプレートを読み出し、前記直近の入力画像を所定の単位で分割した分割画像と前記候補テンプレートとの相関に基づいて前記追跡対象の目標候補を探索し、
さらに、
前記候補追跡手段は、前記追跡対象の目標候補が検出された分割画像の入力画像上の位置を前記追跡対象の目標候補に関連付けて記憶しておき、
前記目標候補検出手段は、目標候補を検出したときは、当該目標候補が検出された分割画像の入力画像上の位置が、前記候補追跡手段によって前記追跡対象の目標候補が検出された分割画像の入力画像上の位置と一致するかどうかを判定し、位置が一致する前記追跡対象の目標候補があったときは、検出された目標候補は前記追跡対象の目標候補であると判定し、位置が一致する前記追跡対象の目標候補がなかったときは、検出された目標候補を新たな目標候補として前記記憶手段に登録する、
ことを特徴とする画像目標検出追跡装置。
【請求項２】
入力画像から目標を検出して追跡する画像目標検出追跡方法において、
目標の物体を含むテンプレートの画像が格納されるテンプレート記憶手段から前記テンプレートを読み出し、前記テンプレートと入力画像を所定の単位で分割した分割画像との相関を算出し、算出結果が所定の基準値を超えた分割画像に含まれる物体を目標候補として記憶手段に登録し、
前記記憶手段に登録された目標候補を追跡対象として、前記追跡対象の目標候補を前記記憶手段へ登録した後に入力された直近の入力画像に含まれる前記追跡対象の目標候補を探索し、前記追跡対象の目標候補が探索できたときは前記追跡対象の目標候補の追跡を継続し、前記追跡対象の目標候補が探索できなかったときは前記追跡対象の目標候補を前記記憶手段から削除し、
前記記憶手段に登録された目標候補が予め決められた所定の期間、継続して追跡され、かつ、前記テンプレート記憶手段から読み出したテンプレートと入力画像を分割した分割画像との相関に基づいて目標候補として検出されたときは、前記登録された目標候補を目標として特定する、
処理を含み、
目標候補を前記記憶手段に登録する処理では、前記記憶手段に目標候補として登録した物体が含まれていた分割画像を候補テンプレートとして候補テンプレート記憶手段に格納し、
前記追跡対象の目標候補を探索する処理では、前記候補テンプレート記憶手段に格納された前記候補テンプレートを読み出し、前記直近の入力画像を所定の単位で分割した分割画像と前記候補テンプレートとの相関に基づいて前記追跡対象の目標候補を探索し、
さらに、
前記追跡対象の目標候補を探索する処理では、前記追跡対象の目標候補が検出された分割画像の入力画像上の位置を前記追跡対象の目標候補に関連付けて記憶しておき、
前記追跡対象の目標候補が検出された後に前記テンプレート記憶手段から読み出したテンプレートと入力画像を分割した分割画像との相関に基づいて目標候補を検出したときは、当該目標候補が検出された分割画像の入力画像上の位置が、前記追跡対象の目標候補が検出された分割画像の入力画像上の位置と一致するかどうかを判定し、位置が一致する前記追跡対象の目標候補があったときは、検出された目標候補は前記追跡対象の目標候補であると判定し、位置が一致する前記追跡対象の目標候補がなかったときは、検出された目標候補を新たな目標候補として前記記憶手段に登録する、
ことを特徴とする画像目標検出追跡方法。
【請求項３】
入力画像から目標を検出して追跡するための画像目標検出追跡プログラムにおいて、
コンピュータに、
目標の物体を含むテンプレートの画像が格納されるテンプレート記憶手段から前記テンプレートを読み出し、前記テンプレートと入力画像を所定の単位で分割した分割画像との相関を算出し、算出結果が所定の基準値を超えた分割画像に含まれる物体を目標候補として記憶手段に登録し、
前記記憶手段に登録された目標候補を追跡対象として、前記追跡対象の目標候補を前記記憶手段へ登録した後に入力された直近の入力画像に含まれる前記追跡対象の目標候補を探索し、前記追跡対象の目標候補が探索できたときは前記追跡対象の目標候補の追跡を継続し、前記追跡対象の目標候補が探索できなかったときは前記追跡対象の目標候補を前記記憶手段から削除し、
前記記憶手段に登録された目標候補が予め決められた所定の期間、継続して追跡され、かつ、前記テンプレート記憶手段から読み出したテンプレートと入力画像を分割した分割画像との相関に基づいて目標候補として検出されたときは、前記登録された目標候補を目標として特定する、
処理を実行させ、
目標候補を前記記憶手段に登録する処理では、前記記憶手段に目標候補として登録した物体が含まれていた分割画像を候補テンプレートとして候補テンプレート記憶手段に格納し、
前記追跡対象の目標候補を探索する処理では、前記候補テンプレート記憶手段に格納された前記候補テンプレートを読み出し、前記直近の入力画像を所定の単位で分割した分割画像と前記候補テンプレートとの相関に基づいて前記追跡対象の目標候補を探索し、
また、
前記追跡対象の目標候補を探索する処理では、前記追跡対象の目標候補が検出された分割画像の入力画像上の位置を前記追跡対象の目標候補に関連付けて記憶しておき、
さらに、
前記追跡対象の目標候補が検出された後に前記テンプレート記憶手段から読み出したテンプレートと入力画像を分割した分割画像との相関に基づいて目標候補を検出したときは、当該目標候補が検出された分割画像の入力画像上の位置が、前記追跡対象の目標候補が検出された分割画像の入力画像上の位置と一致するかどうかを判定し、位置が一致する前記追跡対象の目標候補があったときは、検出された目標候補は前記追跡対象の目標候補であると判定し、位置が一致する前記追跡対象の目標候補がなかったときは、検出された目標候補を新たな目標候補として前記記憶手段に登録する、
処理を前記コンピュータに実行させることを特徴とする画像目標検出追跡プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像目標検出追跡装置及び画像目標検出追跡方法並びに画像目標検出追跡プログラムに関し、特に入力画像から目標を検出して追跡する画像目標検出追跡装置及び画像目標検出追跡方法並びに画像目標検出追跡プログラムに関する。
【背景技術】
【０００２】
従来、赤外線カメラなどで撮影された画像を利用し、対象の目標を検出して追跡する画像目標検出追跡装置の実用化が各分野で進められている。海上交通の安全確保や、海難救助など、船舶を検出対象とする分野においても、海上を航行する船舶の検出と追跡の自動化への適用が進められている。
【０００３】
ところで、画像センサを用いた目標物の検出は、現在のところ精度は必ずしも良くないが、比較的簡単な装置で監視を行うことができるという利点がある。そこで、船舶を検出対象とする分野においても、フレーム間差分法によって船舶を検出してタグ付けし、タグ付けされた船舶の運動特性などの特徴量を利用してトラッキングする画像センサを利用した船舶の検知、追跡を自動的に行う技術が提案されている（たとえば、非特許文献１参照）。
【非特許文献１】矢田、「画像センサによる船舶のトラッキング」、第４回電子航法研究所研究発表会、平成１６年６月
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、海難救助の現場では、救命ボートなど、海上に浮かぶ浮遊物を早急に発見して活動を行うことが求められている。このため、ヘリコプターなどの航空機を用いて、海上を広範囲に捜索する。このとき、夜間でも対応可能な赤外線カメラで海上を撮影し、その画像を利用して目標の検出が行われる。しかし、海上の救命ボートなどの浮遊物は小さく、船舶など所定の大きさを有する物体と比べて、検出は容易ではないという問題点がある。
【０００５】
特に、航空機から撮影された画像など、遠方から撮影された画像では、救命ボートや海上に浮かぶ浮遊物の画像は非常に小さく、周辺の波頭の大きさと変わらなくなってしまう。このため、画像から目標の浮遊物を周辺の波頭と区別して特定することが非常に困難であり、自動検出の実用化は進んでいない。しかし、目視による目標物の検出と追跡は、非常に労力を要する作業であり、目標の検出・追跡の自動化が切望されている。
【０００６】
また、海難救助の現場に限らず、検出対象と似た形状を有する物体が一時的に出現するような画像から目標を検出する場合には、同様の問題が発生する。このため、このような画像の中から一時的に出現する物体を目標から除外し、特定の目標を確実に検出して追跡する技術が求められている。
【０００７】
本発明はこのような点に鑑みてなされたものであり、撮影された画像の中から特定の目標を検出して追跡することが可能な画像目標検出追跡装置及び画像目標検出追跡方法並びに画像目標検出追跡プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、入力画像から目標を検出して追跡する画像目標検出追跡装置において、目標の物体を含むテンプレートの画像が格納されるテンプレート記憶手段からテンプレートを読み出し、テンプレートと入力画像を所定の単位で分割した分割画像との相関を算出し、算出結果が所定の基準値を超えた分割画像に含まれる物体を目標候補に登録する目標候補検出手段と、目標候補ごとに、目標候補を追跡対象として、目標候補が新たに検出された入力画像または目標候補の追跡に用いた入力画像より後に撮影された直近の入力画像に含まれる追跡対象の目標候補を探索し、追跡対象の目標候補が探索できたときはこの追跡対象の目標候補の追跡を継続し、追跡対象の目標候補が探索できなかったときはこの追跡対象の目標候補を目標候補から削除する候補追跡手段と、目標候補が予め決められた所定の期間、候補追跡手段によって継続して追跡され、かつ、目標候補検出手段によって目標候補として検出されたときは、目標候補を目標として特定する目標特定手段と、を有することを特徴とする画像目標検出追跡装置が、提供される。また、上記の目標候補検出手段、候補追跡手段、及び目標特定手段によって処理手順が実行される画像目標検出追跡方法が提供される。また、上記課題を解決するために、コンピュータを上記画像目標検出追跡装置と同様に機能させる画像目標検出追跡プログラム、が提供される。
【０００９】
開示の画像目標検出追跡装置及び画像目標検出追跡方法並びに画像目標検出追跡プログラムでは、入力画像が取り込まれると、目標候補検出手段及び候補追跡手段が起動される。目標候補検出手段によって、目標の物体を含むテンプレートがテンプレート記憶手段から読み出され、入力画像を所定の単位で分割した分割画像とテンプレートとの相関が算出される。そして、算出結果が所定の基準値を超える分割画像に含まれる物体が目標候補に登録される。また、候補追跡手段によって、目標候補ごとに目標候補を追跡対象として追跡処理が行われ、直近の入力画像に含まれる追跡対象の目標候補が探索される。追跡対象の目標候補が探索されたときは、この目標候補の追跡が継続される。一方、追跡対象の目標候補が探索されなかったときはこの追跡対象の目標候補を目標候補から削除する。こうして、継続して検出されたものだけが目標候補として残る。そして、目標特定手段によって、所定の期間安定的に追跡可能で、かつ、目標候補として選択されている目標候補が目標に特定される。
【発明の効果】
【００１０】
開示の画像目標検出追跡装置及び画像目標検出追跡方法並びに画像目標検出追跡プログラムによれば、入力画像から所定の基準を満たす目標候補を選択し、それぞれの目標候補の追跡を開始させる。そして、追跡が開始された以降も安定して追跡が可能で、目標候補として検出される候補を目標として特定する。これにより、画像に一時的に出現する検出対象と似た形状を有する物体を目標候補から排除し、特定の目標を確実に検出して追跡することが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、実施の形態の画像目標検出追跡装置の構成図である。
画像目標検出追跡装置１は、画像入力手段１ａ、画像記憶手段１ｂ、テンプレート画像記憶手段１ｃ、目標候補検出手段１ｄ、候補テンプレート画像記憶手段１ｅ、候補追跡手段１ｆ、及び目標特定手段１ｇを有する。
【００１２】
画像入力手段１ａは、カメラ２によって撮影された画像データを取得し、画像記憶手段１ｂに格納する。カメラ２からは、撮影された画像データが順次送信される。画像入力手段１ａは、カメラ２から画像データを受信したとき、画像記憶手段１ｂに格納される画像データを更新する。
【００１３】
画像記憶手段１ｂには、画像入力手段１ａがカメラ２から取得した最新の画像データが格納されている。
テンプレート画像記憶手段１ｃには、目標の物体を含む目標テンプレートの画像が格納されている。
【００１４】
目標候補検出手段１ｄは、所定のタイミング、たとえば入力画像が取得されたときに起動され、テンプレートマッチングを利用して目標候補を検出する。まず、テンプレート画像記憶手段１ｃに格納される目標テンプレートを読み出す。また、画像記憶手段１ｂに格納されている最新の画像データを読み出し、所定の単位の領域に分割する。そして、所定の単位に分割された分割画像と目標テンプレートの相関を算出し、算出結果が予め決められた所定の基準値を超える分割画像を求める。この分割画像に含まれる物体を目標候補とする。目標候補が検出された領域と、既に登録されている目標候補が候補追跡手段１ｆによって検出された領域とを照合し、一致する既登録の目標候補があった場合、検出されたのは、この既登録の目標候補であると判定する。一致する既登録の目標候補がなかったときは、検出された目標候補を新規に登録する。そして、その検出された目標候補が含まれる分割画像を、追跡用の候補テンプレートとして候補テンプレート画像記憶手段１ｅに格納する。また、目標候補に識別記号（以下、ＩＤとする）を割り当て、目標候補が検出された入力画像上の領域をＩＤに関連付けて記憶しておく。なお、画像の相関は、差分の絶対値の総和、あるいは差分の２乗和を算出する方法など、さまざまな手法により求めることができる。画像の相関の算出には、このような公知の手法を適宜選択して用いるとし、詳細は省略する。
【００１５】
候補テンプレート画像記憶手段１ｅには、目標候補検出手段１ｄが目標候補に登録した候補の画像が候補テンプレートとして格納されている。
候補追跡手段１ｆは、入力画像が取得されたときなど、所定のタイミングで起動され、テンプレートマッチングを利用して目標候補を追跡対象として、目標候補ごとに追跡処理を行う。追跡処理は、最初に目標候補が検出された入力画像、または前回追跡処理を行った入力画像よりも後に撮影された画像を用いて行う。まず、この目標候補の候補テンプレートを候補テンプレート画像記憶手段１ｅから読み出すとともに、画像記憶手段１ｂに格納されている最新の画像データを読み出して所定の領域に分割し、候補テンプレートとのマッチングをとる。このとき、マッチングは、目標候補に関連付けて記憶されている目標候補が検出された入力画像上の領域、または前回追跡対象の目標候補が検出された入力画像上の領域を中心とし、その周辺の所定の領域で行う。そして、追跡対象の目標候補が検出されたときは、検出された領域の位置を目標候補のＩＤに関連付けて記憶するとともに、追跡処理を継続させる。一方、追跡対象の目標候補が検出されなかったときは、この追跡対象の目標候補を目標候補から削除する。
【００１６】
目標特定手段１ｇは、目標候補ごとに、目標として特定されるかどうかを判定する。予め決められた所定の期間、目標候補が、候補追跡手段１ｆによって継続的に追跡されており、かつ、目標候補検出手段１ｄによって目標候補として検出されているとき、この目標候補を目標として特定する。
【００１７】
このような画像目標検出追跡装置１では、カメラ２から送信される画像データは、画像入力手段１ａが入力し、画像記憶手段１ｂに格納する。画像記憶手段１ｂに格納される画像データは、画像入力手段１ａによって適宜更新されている。また、テンプレート画像記憶手段１ｃには、目標物を検出するためのテンプレートが予め格納されている。
【００１８】
所定のタイミング、少なくとも新たな入力画像が取得されたあとに、目標候補検出手段１ｄと、候補追跡手段１ｆとが起動される。目標候補検出手段１ｄは、画像記憶手段１ｂに格納される画像入力手段１ａが取得した入力画像を所定の単位に分割し、分割画像と目標テンプレートの相関を算出する。そして、算出結果が予め決められた所定の基準値を超える分割画像に含まれる物体を目標候補と判定する。それが既登録の目標候補でなければ、目標候補として新たに登録する。このとき、この目標候補の物体が検出された分割画像を候補テンプレートとして候補テンプレート画像記憶手段１ｅに格納しておく。候補追跡手段１ｆは、登録されている目標候補ごとに、入力画像を所定の単位に分割し、分割画像と追跡対象の目標候補の候補テンプレートとのマッチングをとり、追跡対象の目標候補の画像が検出される入力画像上の位置を探索する。追跡対象の目標候補が検出されないときは、この追跡対象の目標候補の登録を削除する。検出されたときは、追跡対象の目標候補の位置を記憶し、追跡を継続する。目標特定手段１ｇは、目標候補ごとに、その目標候補が候補追跡手段１ｆによって安定的に追跡され、かつ、目標候補検出手段１ｄによって目標候補として検出されているかどうかを判定する。そして、所定の期間この状態が継続されていれば、目標候補を目標に特定する。なお、目標に特定された後も、継続して候補追跡手段１ｆによって追跡することができるが、別途、目標用の追跡手段を設けて追跡させるようにしてもよい。
【００１９】
このように、入力画像から所定の基準を満たす目標候補を選択し、それぞれの目標候補の追跡を開始させる。そして、追跡できなかった物体を目標候補から除外する。一時的に出現する物体は、継続的に追跡することができないため、目標候補から除外される。一方、検出対象の目標であれば、継続して追跡できる。こうして、追跡が開始された以降も安定して追跡が可能で、かつ、目標テンプレートによって目標候補として検出される物体が目標として特定される。これにより、画像に一時的に出現する検出対象と似た形状を有する物体を目標候補から排除し、特定の目標を確実に検出して追跡することが可能となる。
【００２０】
以下、実施の形態を、ヘリコプターなどから赤外線カメラによって撮影された海上の画像から救命ボートなどの目標物を検出し、これを追跡する画像目標検出追跡装置の場合を例にとり、詳細に説明する。このような画像では、検出対象の目標物と似た形状を有する物体（波頭など）が一時的に出現することが知られている。
【００２１】
まず、航空機などによって遠方から撮影された海上の画像について説明する。図２は、撮影画像の一例を示した図である。（Ａ）は遠方から撮影された海上の画像の一例であり、（Ｂ）は（Ａ）の明度の高い箇所を示した図であり、（Ａ）の画像を説明するための図である。
【００２２】
（Ａ）の画像に示されたように、航空機などによって遠方から海上を撮影すると、救命ボートなどの検出目標（図の白丸で囲まれた部分）と、検出目標周辺の波頭と、が高い明度で表される画像が得られる。
【００２３】
（Ｂ）は、（Ａ）の画像において、所定の明度を有する部分を丸、または楕円で表現した図である。丸で示した検出目標２０１は、（Ａ）の画像において白丸で囲まれた検出目標を表している。また、楕円で示した波頭２０２は、（Ａ）の画像における周辺の波頭を表している。この画像を用いて検出目標２０１を検出するための目標テンプレートを用意し、画像相関による目標検出を行うと、検出目標２０１に加え、周辺の波頭２０２も検出される。
【００２４】
実施の形態の画像目標検出追跡装置１は、目標候補として検出される複数の検出目標２０１及び波頭２０２とから検出目標２０１を特定し、その追跡を行う。
ここで、画像目標検出追跡装置１のハードウェア構成について説明する。図３は、画像目標検出追跡装置のハードウェア構成例を示したブロック図である。
【００２５】
画像目標検出追跡装置１は、ＣＰＵ（Central Processing Unit）１０１によって装置全体が制御されている。ＣＰＵ１０１には、バス１０７を介してＲＡＭ（Random Access Memory）１０２、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）１０３、グラフィック処理装置１０４、入力インタフェース１０５、通信インタフェース１０６が接続されている。
【００２６】
ＲＡＭ１０２には、ＣＰＵ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、ＣＰＵ１０１による処理に必要な各種データが格納される。ＨＤＤ１０３には、ＯＳやアプリケーションのプログラムが格納される。グラフィック処理装置１０４には、モニタ１０８が接続されており、ＣＰＵ１０１からの命令に従って画像をモニタ１０８の画面に表示させる。入力インタフェース１０５には、キーボード１０９ａやマウス１０９ｂが接続されており、キーボード１０９ａやマウス１０９ｂから送られてくる信号を、バス１０７を介してＣＰＵ１０１に送信する。通信インタフェース１０６は、図示しないネットワークに接続されており、ネットワークを介してカメラ２から画像データを受信する。
【００２７】
このようなハードウェア構成によって、画像目標検出追跡装置１の処理機能を実現することができる。
次に、画像目標検出追跡装置１の目標候補検出手段１ｄ及び候補追跡手段１ｆを実現するソフトウェア構成について説明する。図４は、画像目標検出追跡装置の主要部のソフトウェア構成例を示した図である。
【００２８】
画像目標検出追跡装置１の主要部は、記憶部１１０、目標候補検出部１２０、候補追跡部１３０、及び目標特定部１４０を備える。なお、目標候補検出部１２０及び候補追跡部１３０は、入力画像を所定の単位の領域に分割した分割画像とテンプレートとのマッチング処理を行う。以下、この分割画像をブロックと呼ぶ。
【００２９】
記憶部１１０は、各種情報を記憶する記憶手段であり、入力画像１１１、目標テンプレート１１２、候補テンプレート１１３、候補管理情報１１４、及び候補保存メモリ管理情報１１５を記憶する。入力画像１１１は、カメラで撮影された画像データである。目標テンプレート１１２は、検出対象の目標の形状を含むテンプレートの画像データである。候補テンプレート１１３は、目標候補が新たに登録されるごとに、目標候補に関連付けて記憶される目標候補を含む候補テンプレートの画像データである。候補管理情報１１４には、登録された目標候補を管理するための情報が設定される。候補保存メモリ管理情報１１５には、追跡対象の目標候補の追跡に用いる候補テンプレートを管理するための情報が設定される。各情報の詳細は後述する。
【００３０】
目標候補検出部１２０は、テンプレートマッチング処理部１２１と、候補情報設定部１２２とを有する目標候補検出手段である。テンプレートマッチング処理部１２１は、入力画像１１１と目標テンプレート１１２を読み出し、テンプレートマッチングを行う。たとえば、入力画像のブロックの画素と、テンプレートの画素との差分絶対値を計算し、その差分絶対値のブロック内総和を計算して画像相関を算出する。そして、算出結果に基づいて、所定の基準を超えた分割画像に含まれる物体を目標候補とする。目標候補が検出されたブロックは、候補情報設定部１２２に通知される。候補情報設定部１２２は、通知された目標候補が新たに検出された目標候補であるかどうかを判定し、判定結果に応じて候補管理情報１１４を設定する。新たに検出された目標候補であれば、この目標候補に新規ＩＤを付与し、候補管理情報１１４に新規登録する。新たに検出された目標候補でない場合は、一致する既登録の目標候補を検索し、検索された目標候補に関する登録情報を更新する。ここでは、目標候補として検出されたことを示す検出カウンタをインクリメントする。
【００３１】
候補追跡部１３０は、トラッキング処理部１３１と、管理情報更新部１３２とを有する候補追跡手段である。トラッキング処理部１３１の追跡処理は、目標候補ごとに設定される候補テンプレート１１３を読み出し、入力画像１１１のブロックとパターンマッチングを行って、目標候補が検出されるブロックを探索して行う。その追跡結果は、管理情報更新部１３２に通知する。管理情報更新部１３２は、トラッキング処理部１３１の追跡結果に基づき、追跡が可能であった目標候補に関し、候補管理情報１１４の該当する情報を更新する。ここでは、追跡できたことを示す追跡カウンタをインクリメントする。追跡ができなかったときは、この目標候補を候補管理情報１１４から削除する。
【００３２】
目標特定部１４０は、目標特定手段である。記憶部１１０に格納される候補管理情報１１４を読み出し、候補管理情報１１４に基づいて、登録されている目標候補の中から目標を特定する。ここでは、目標候補の検出カウンタと追跡カウンタとが、所定の閾値を超えたとき、この目標候補を目標に特定する。
【００３３】
次に、候補管理情報１１４及び候補保存メモリ管理情報１１５から成る管理情報について説明する。図５は、管理情報の一例を示した図である。（Ａ）は、候補管理情報の一例を示した図である。（Ｂ）は、候補保存メモリ管理情報の一例を示した図である。
【００３４】
（Ａ）の候補管理情報は、候補番号（ＩＤ）１１４０ａ、入力画像内での位置（座標）１１４０ｂ、候補保存メモリ内のブロック番号１１４０ｃ、追跡カウント１１４０ｄ、検出カウント１１４０ｅ、及び次の候補データへのポインタ１１４０ｆの各情報項目を有する。
【００３５】
候補番号（ＩＤ）１１４０ａには、目標候補検出部１２０が目標候補を新たに検出したときに付与する一意の識別番号が格納される。入力画像内での位置（座標）１１４０ｂには、目標候補が検出された画像ブロックの入力画像上の位置を示す座標が格納される。たとえば、各ブロックの左上の頂点の座標が、ブロックの位置座標として設定される。候補保存メモリ内のブロック番号１１４０ｃには、目標候補の追跡に使用する候補テンプレートが格納される保存メモリの番号が格納される。追跡カウント１１４０ｄには、候補追跡部１３０が追跡対象の目標候補の追跡が可能であったときにインクリメントされるカウンタのカウント値が格納される。検出カウント１１４０ｅには、目標候補検出部１２０が、この目標候補を検出したときにインクリメントされるカウンタのカウント値が格納される。次の候補データへのポインタ１１４０ｆには、目標候補として登録されている次のＩＤの目標候補に関する候補管理情報が格納されるメモリを指示するポインタが格納される。この目標候補が最後であるときは、空コード（ＮＵＬＬ）が設定される。
【００３６】
（Ｂ）の候補保存メモリ管理情報は、インデックス１１５０ａ、候補テンプレートを保存するブロックの座標データ１１５０ｂ、及び使用中フラグ１１５０ｃの各情報項目を有する。
【００３７】
インデックス１１５０ａは、候補テンプレートの画像データを格納するために用意されたブロックを指示する。ここでは簡単のため、入力画像のブロック番号Ｂ１，Ｂ２，・・・，Ｂｎ（ｎは任意の整数）の番号に対応し、同サイズの候補テンプレート保存用のブロックが用意されているとする。入力画像のブロックと区別するため、ｂ１，ｂ２，・・・，ｂｎと表記する。ブロックの座標データ１１５０ｂは、各ブロック（ｂ１，ｂ２，・・・，ｂｎ）の位置を示す座標が格納される。入力画像のブロックと同様に、各ブロックの左上の頂点の座標を位置座標とする。使用中フラグ１１５０ｃは、対応するブロックが候補テンプレート保存領域として使用されているかどうかを示すフラグである。使用中であれば１、使用中でなければ０が設定される。また、ブロックが存在しないときは、空コードが設定される。
【００３８】
以上の管理情報を参照して、目標候補検出処理、候補追跡処理、及び目標特定処理が実行される。
具体例を用いて上記各処理部による画像目標検出追跡処理について説明する。図６は、入力画像と目標テンプレートの一例を示した図である。
【００３９】
図の例では、入力画像１１１０を、行方向に８、列方向に７のブロックに分割している。便宜的に、入力画像１１１０の左上のブロックをブロック１（以下、Ｂ１とする）１１１１とし、行方向にＢ２，Ｂ３，・・・，Ｂ８と番号を割り当て、次以降も同様に、左端のブロックを全行の最後の番号の次の番号として、順に番号を割り当てる。
【００４０】
目標候補検出部１２０では、テンプレートマッチング処理部１２１が、ブロックと同サイズの目標テンプレート１１２０の画像と、各ブロックの画像との相関を算出する。たとえば、Ｂ１から順に、ブロック番号の順にＢ５６まで目標テンプレート１１２０の画像との相関を算出する。そして、算出結果が所定の基準値を超えたブロックに含まれる物体を目標候補とする。図の例では、テンプレートマッチング処理部１２１は、ブロックＴ１（１１１２）から目標候補１、ブロックＴ２（１１１３）から目標候補２、及びブロックＴ３（１１１４）から目標候補３を検出し、Ｔ１（１１１２）のブロック座標（ｘ１，ｙ１）、Ｔ２（１１１３）のブロック座標（ｘ２，ｙ２）、及びＴ３（１１１４）のブロック座標（ｘ３，ｙ３）が候補情報設定部１２２に通知される。
【００４１】
候補情報設定部１２２は、通知に基づいて、候補管理情報１１４と、候補保存メモリ管理情報１１５を設定する。まず、これらの目標候補は、すべて新たに検出された目標候補であるとして、説明を続ける。
【００４２】
Ｔ１（１１１２）で検出された目標候補１に関する候補管理情報１１４について説明する。まず、目標候補１にＩＤ「１」が付与され、候補番号（ＩＤ）１１４０ａに登録される。入力画像内での位置（座標）１１４０ｂに、Ｔ１（１１１２）の位置座標「（ｘ１，ｙ１）」が登録される。また、このＴ１（１１１２）の画像データを候補テンプレートとして、候補保存メモリに登録する。ここでは、候補保存メモリのブロックｂ１に登録するとし、候補保存メモリ内のブロック番号１１４０ｃに「１」を登録する。そして、候補保存メモリ管理情報１１５に基づいて、ブロックｂ１の座標データを読み出し、該当するメモリ領域にＴ１（１１１２）の画像データを格納し、使用中フラグ１１５０ｃを使用中「１」に設定する。さらに、追跡カウント１１４０ｄを「０」、検出カウント１１４０ｅを「１」に初期化する。次の候補データがあるときは、そのポインタをセットする。ここでは、Ｔ２（１１１３）で検出された目標候補２の候補管理情報を指示するポインタが、次の候補データへのポインタ１１４０ｆに登録される。
【００４３】
Ｔ２（１１１３）で検出された目標候補２、及びＴ３（１１１４）で検出された目標候補についても同様の処理が行われる。
図７は、候補情報設定部の処理終了後の管理情報の一例を示した図である。（Ａ）は候補管理情報の例、（Ｂ）は候補保存メモリ管理情報の例を示している。
【００４４】
（Ａ）に示した候補管理情報の例は、目標候補１の候補管理情報１１４１、目標候補２の候補管理情報１１４２、及び目標候補３の候補管理情報１１４３が、ポインタによってリンクされる構造をとっている。
【００４５】
候補管理情報１１４１は、上述の通りである。なお、図では、追跡カウント及び検出カウントは、上記の説明の初期状態から更新された状態を示している。候補管理情報１１４２には、目標候補のＩＤ「２」、Ｔ２（１１１３）の位置座標「（ｘ２，ｙ２）」、候補保存メモリ内のブロック番号の「３」、及び追跡カウントと検出カウント、次目標候補の候補管理情報を指示するポインタが格納されている。候補管理情報１１４３には、目標候補のＩＤ「３」、Ｔ３（１１１４）の位置座標「（ｘ３，ｙ３）」、候補保存メモリ内のブロック番号の「４」、及び追跡カウントと検出カウントが格納されている。なお、次目標候補はないことから、次の候補データへのポインタは、空コードが設定されている。
【００４６】
（Ｂ）に示した候補保存メモリ管理情報１１５０には、（Ａ）の候補管理情報１１４１，１１４２，１１４３の候補保存メモリ内のブロック番号に登録されたブロック番号の候補保存メモリが使用中であることが示されている。具体的には、目標候補１の候補テンプレートの画像データが格納されるブロックｂ１、目標候補２の候補テンプレートの画像データが格納されるブロックｂ３、及び目標候補３の候補テンプレートの画像データが格納されるブロックｂ４に対応する使用中フラグが、使用中（「１」）に設定されている。
【００４７】
次に、候補管理情報１１４１，１１４２，１１４３の状態から候補追跡部１３０が行う処理について説明する。候補追跡部１３０は、目標候補１の候補管理情報１１４１から順に、リンク情報を辿って順次目標候補の追跡処理を行う。そして、次の候補データへのポインタに、空コードが検出された時点で処理を終了する。
【００４８】
目標候補１の場合で説明する。トラッキング処理部１３１は、目標候補１の候補管理情報１１４１を読み出し、入力画像内での位置（座標）「（ｘ１，ｙ１）」に基づいて目標候補１の探索範囲を決める。探索範囲は、入力画像が更新される周期や、トラッキング処理の周期、検出対象の物体の推定移動速度などに応じて経験的に決められる。また、画像から検出対象の物体の移動速度を測定し、測定結果に基づいて検出範囲が適宜調整されるようにしてもよい。たとえば、目標候補が検出されたブロックに隣接するブロックを範囲とすると、目標候補１が検出されたＴ１（１１１２）と、その周辺のブロック、Ｂ９，Ｂ１０，Ｂ１１，Ｂ１７，Ｂ１９，Ｂ２５，Ｂ２６，Ｂ２７が探索範囲になる。この探索範囲のブロックの画像と、候補管理情報１１４１の候補保存メモリ内のブロック番号で指示される目標候補１の候補テンプレートとのマッチングを行い、目標候補１を検出する。この場合の候補テンプレートは、目標候補１検出時に候補保存メモリのブロックｂ１に格納されたＴ１（１１１２）の画像データである。管理情報更新部１３２には、目標候補１が検出されたときは、検出されたブロック番号、またはその座標が通知され、検出されないときは検出不可が通知される。管理情報更新部１３２は、目標候補１が検出されたときは、通知されたブロックの座標を候補管理情報１１４１の入力画像内での位置（座標）に登録し、追跡カウントをインクリメントする。目標候補１が検出されなかったときは、目標候補１の登録を削除する。たとえば、目標候補１の候補管理情報１１４１を指示しているポインタを、目標候補２の候補管理情報１１４２に変更する。なお、ここでは、検出不可ですぐに目標候補から削除するとしたが、所定の期間検出不可のときに削除するとしてもよい。目標候補２、及び目標候補３について同様の処理が行われ、候補管理情報１１４２，１１４３が更新される。
【００４９】
次に、目標候補検出部１２０の処理について説明する。テンプレートマッチング処理部１２１が、目標テンプレート１１２０を用いて、目標テンプレート１１２０との相関が所定の基準値を超えたブロックに含まれる物体を目標候補とし、検出されたブロックの座標が候補情報設定部１２２に通知されることは、上記と同様である。候補情報設定部１２２は、候補管理情報１１４に登録があるときは、通知されたブロックの座標と、既に登録されている目標候補に関する入力画像内での位置（座標）とを照合する。一致する候補管理情報が検出されたときは、この目標候補が検出されたと判断し、この候補管理情報の検出カウントをインクリメントする。一方、一致する候補管理情報が検出されなかったときは、新たな目標候補に設定し、候補管理情報に登録する。
【００５０】
以上の処理が行われ、候補管理情報は更新されていく。目標特定部１４０は、候補管理情報を読み出し、目標候補ごとに検出カウント及び追跡カウントが所定の閾値を超えたかどうかを判定する。そして、所定の閾値を超えた目標候補を目標に特定する。なお、目標候補を目標として特定するための判定基準は、検出対象に応じて適宜設定することができる。たとえば、検出カウントと追跡カウントとの比率が一定値を超えたときといった判定基準や、条件に応じて判定基準を可変にするなどの判定ルールを設定してもよい。
【００５１】
図８は、目標特定までの処理の流れを目標候補の画像変化とともに示した図である。
図では、時刻１、時刻２、時刻３、時刻４と時間が経過していく。画像は、各目標候補の画像の変化を経過時間とともに示したものである。たとえば、目標候補１の画像は、時刻１では画像３０１、時刻２では画像３１１、時刻３では画像３２１、時刻４では画像３３１の状態になる。目標候補２の画像は、時刻１では画像３０２、時刻２では画像３１２、時刻３では画像３２２、時刻４では画像３３２の状態になる。そして、目標候補３は、時刻１では画像３０３、時刻２では画像３１３、時刻３では画像３２３の状態になる。
【００５２】
まず、時刻１において、目標候補検出部１２０によって、目標候補１、目標候補２、及び目標候補３が初めて検出されたとする。このときの目標候補の探索は、目標テンプレート１１２０を用いて行われる。このとき目標候補が検出された画像、すなわち、目標候補１の画像３０１、目標候補２の画像３０２、及び目標候補３の画像３０３は、それぞれの目標候補の候補テンプレートとして登録される。
【００５３】
時刻２における動作について説明する。目標候補１の時刻１における画像３０１は、時刻２において画像３１１の状態に変化するが、候補追跡部１３０によって目標候補１として検出される。目標候補２の時刻１における画像３０２は、時刻２においても画像３１２の状態と変化は少なく、候補追跡部１３０によって目標候補２として検出される。そして、目標候補３の時刻１における画像３０３は、時刻２において画像３１３の状態に変化するが、候補追跡部１３０によって目標候補３として検出される。
【００５４】
時刻３における動作について説明する。目標候補１の時刻２における画像３１１は、時刻３において画像３２１の状態に変化するが、候補追跡部１３０によって目標候補１として検出される。目標候補２の時刻２における画像３１２は、時刻３においても画像３２２の状態と変化は少なく、候補追跡部１３０によって目標候補２として検出される。そして、目標候補３の時刻２における画像３１３は、時刻３において画像３２３の状態に変化するため、候補追跡部１３０は目標候補３の検出ができない。この結果、追跡不能となり、目標候補３は目標候補から削除される。
【００５５】
時刻４における動作について説明する。目標候補１の時刻３における画像３２１は、時刻４において画像３３１の状態に変化し、候補追跡部１３０では目標候補１の検出ができない。このため、追跡不能となり、目標候補１についても、目標候補から削除される。目標候補２の時刻３における画像３２２は、時刻４においても画像３３２の状態と変化は少なく、候補追跡部１３０によって目標候補２として検出される。
【００５６】
以上の処理が行われることにより、波頭などによって一時的に発生する目標候補（目標候補１及び目標候補３）は、波頭の消滅とともに消え、目標候補からも外される。そして、継続的、かつ安定的に検出された目標候補２が目標に特定される。
【００５７】
なお、上記の説明では、目標候補検出部１２０の動作について省略したが、目標候補検出部１２０の検出結果を加味することによって、より正確に目標を特定することが可能になる。
【００５８】
次に、画像目標検出追跡装置が行う画像目標検出追跡方法についてフローチャートを用いて説明する。
図９は、画像目標検出追跡方法の処理手順の全体を示したフローチャートである。
【００５９】
所定の周期で処理が開始される。
［ステップＳ０１］  カメラが撮影した画像データを入力する。
［ステップＳ０２］  候補管理情報を読み出し、候補管理情報に目標候補が登録されているかどうかを調べる。目標候補が登録されているときは、処理をステップＳ０３に進める。目標候補が登録されていないときは、処理をステップＳ０４に進める。
【００６０】
［ステップＳ０３］  目標候補が登録されているときは、候補管理情報に基づいて、入力画像から目標候補を検出して、目標候補を追跡する追跡処理を行う。詳細は後述する。
［ステップＳ０４］  目標候補が登録されていないとき、あるいは、目標候補の追跡処理が終了したときは、入力画像から目標候補を検出する目標候補検出処理を行う。詳細は後述する。
【００６１】
［ステップＳ０５］  ステップＳ０３の目標候補追跡処理と、ステップＳ０４の目標候補検出処理とに基づいて、目標候補の中から目標を特定する。
各処理について説明する。
【００６２】
図１０は、目標候補追跡処理の処理手順を示したフローチャートである。
［ステップＳ３１］  処理を行う対象の目標候補ｎ（ｎは任意の整数）を、目標候補１に初期化する。
【００６３】
［ステップＳ３２］  目標候補ｎの追跡処理を行う。具体的には、候補管理情報に基づいて、目標候補ｎが検出された入力画像内での位置（座標）で示される周辺ブロックの画像と、候補保存メモリ内のブロック番号によって示される候補テンプレートの画像とのマッチングを行って、目標候補を追跡する。
【００６４】
［ステップＳ３３］  目標候補が追跡可であったかどうかを判定する。追跡可のときは、処理をステップＳ３４に進める。追跡不可のときは、処理をステップＳ３５に進める。
［ステップＳ３４］  目標候補が追跡可のときは、目標候補ｎの追跡カウントをインクリメントし、処理をステップＳ３６に進める。
【００６５】
［ステップＳ３５］  目標候補が追跡不可のときは、目標候補ｎを目標候補から削除する。
［ステップＳ３６］  全候補が終了したかどうかを判定する。終了したときは、処理を終了する。終了していないときは、ｎを１進め、ステップＳ３２に戻って次の目標候補に対する処理を行う。
【００６６】
以上の処理手順が実行されることにより、目標候補が追跡される。そして、追跡不可となった目標候補は、候補から削除される。これにより、一時的に発生する検出対象と似た形状を持つ物体を目標から除外することができる。
【００６７】
図１１は、目標候補検出処理の処理手順を示したフローチャートである。
［ステップＳ４１］  処理を行う対象の入力画像のブロック番号ｍ（ｍは任意の整数）を、Ｂ１に初期化する。
【００６８】
［ステップＳ４２］  入力画像のブロックＢｍの画像と、目標テンプレートの画像との相関を算出する。
［ステップＳ４３］  ステップＳ４２で算出された相関値が基準値以上であるかどうかを判定する。基準値を超えているときは、処理をステップＳ４４に進める。基準値を超えていないときは、処理をステップＳ４８に進める。
【００６９】
［ステップＳ４４］  相関値が基準値を超えているときは、このブロック番号ｍを、既に候補管理情報に登録された既目標候補の入力画像内での位置（座標）と照合する。一致していれば、一致した目標候補の画像であると判定する。一致していないときは、新規候補であると判定する。
【００７０】
［ステップＳ４５］  ブロックＢｍの物体が新規候補であるかどうかを判定する。新規候補であるときは、処理をステップＳ４６に進める。新規候補でないときは、処理をステップＳ４７に進める。
【００７１】
［ステップＳ４６］  ブロックＢｍの物体が新規候補のときは、目標候補として候補管理情報に登録を追加し、処理をステップＳ４８に進める。
［ステップＳ４７］  ブロックＢｍの物体が新規候補でないときは、ステップＳ４３で検出されたブロックｍと入力画像内での位置（座標）が同じ目標候補の検出カウントをインクリメントする。
【００７２】
［ステップＳ４８］  入力画像の全ブロックが終了したかどうかを判定する。終了したときは、処理を終了する。終了していないときは、ｍを１進め、ステップＳ４２に戻って次のブロックに対する処理を行う。
【００７３】
以上の処理手順が実行されることにより、新たな目標候補が検出される。また、既登録の目標候補については、目標テンプレートとのマッチングがとれるかどうかが検出される。
【００７４】
図１２は、目標特定処理の処理手順を示したフローチャートである。
［ステップＳ５１］  処理を行う対象の目標候補ｎを、目標候補１に初期化する。
［ステップＳ５２］  目標候補ｎに関する候補管理情報から、目標候補ｎの検出カウントと追跡カウントとを読み出す。
【００７５】
［ステップＳ５３］  読み出した検出カウントと、追跡カウントとを評価する。たとえば、検出カウントと、追跡カウントとが、予め決められた閾値を超えているかどうかが評価される。
【００７６】
［ステップＳ５４］  ステップＳ５３における評価の結果、目標候補ｎが目標に特定可であるどうかを判定する。目標に特定できるときは、処理をステップＳ５５に進める。目標に特定できないときは、処理をステップＳ５６に進める。
【００７７】
［ステップＳ５５］  目標候補ｎを目標に特定できるときは、目標候補ｎを目標に設定する。
［ステップＳ５６］  全候補が終了したかどうかを判定する。終了したときは、処理を終了する。終了していないときは、ｎを１進め、ステップＳ５２に戻って次の目標候補に対する処理を行う。
【００７８】
以上の処理手順が行われることにより、継続的に追跡可能で、安定して検出できた目標候補が目標に特定される。
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、画像目標検出追跡装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。
【００７９】
プログラムを流通させる場合には、たとえば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【００８０】
プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【００８１】
（付記１）  入力画像から目標を検出して追跡する画像目標検出追跡装置において、
目標の物体を含むテンプレートの画像が格納されるテンプレート記憶手段から前記テンプレートを読み出し、前記テンプレートと前記入力画像を所定の単位で分割した分割画像との相関を算出し、算出結果が所定の基準値を超えた前記分割画像に含まれる物体を目標候補に登録する目標候補検出手段と、
前記目標候補ごとに、前記目標候補を追跡対象として、前記目標候補が新たに検出された入力画像または前記目標候補の追跡に用いた入力画像より後に撮影された直近の入力画像に含まれる前記追跡対象の目標候補を探索し、前記追跡対象の目標候補が探索できたときは前記追跡対象の目標候補の追跡を継続し、前記追跡対象の目標候補が探索できなかったときは前記追跡対象の目標を前記目標候補から削除する候補追跡手段と、
前記目標候補が予め決められた所定の期間、前記候補追跡手段によって継続して追跡され、かつ、前記目標候補検出手段によって前記目標候補として検出されたときは、前記目標候補を目標として特定する目標特定手段と、
を有することを特徴とする画像目標検出追跡装置。
【００８２】
（付記２）  前記目標候補検出手段は、前記目標候補に登録した前記物体が含まれていた前記分割画像を候補テンプレートとして候補テンプレート記憶手段に格納し、
前記候補追跡手段は、前記候補テンプレート記憶手段に格納される前記候補テンプレートを読み出し、前記直近の入力画像を所定の単位で分割した分割画像と前記候補テンプレートとの相関に基づいて前記追跡対象の目標候補を探索する、
ことを特徴とする付記１記載の画像目標検出追跡装置。
【００８３】
（付記３）  前記候補追跡手段は、前記追跡対象の目標候補の探索範囲を、前回前記追跡対象の目標候補が検出された前記分割画像の前記入力画像上の位置を中心として予め決められた範囲にある前記分割画像に限定して前記目標候補の探索を行うことを特徴とする付記２記載の画像目標検出追跡装置。
【００８４】
（付記４）  前記候補追跡手段は、前記追跡対象の目標候補が検出された前記分割画像の前記入力画像上の位置を前記追跡対象の目標候補に関連付けて記憶しておき、
前記目標候補検出手段は、前記目標候補を検出したときは、前記目標候補が検出された前記分割画像の前記入力画像上の位置が、前記候補追跡手段によって前記追跡対象の目標候補が検出された前記分割画像の前記入力画像上の位置と一致するかどうかを判定し、位置が一致する前記追跡対象の目標候補があったときは、前記目標候補は前記追跡対象の目標候補であると判定し、位置が一致する前記追跡対象の目標候補がなかったときは、前記目標候補を新たな目標候補として登録する、
ことを特徴とする付記２記載の画像目標検出追跡装置。
【００８５】
（付記５）  前記目標候補検出手段は、前記目標候補が検出されるごとに該目標候補に関する検出カウンタを更新し、
前記候補追跡手段は、前記追跡対象の目標候補が検出されるごとに該目標候補に関する追跡カウンタを更新し、
前記目標特定手段は、前記目標候補ごとに、前記目標候補に関する前記検出カウンタの値と前記追跡カウンタの値とを読み出し、前記検出カウンタの値と前記追跡カウンタの値とが所定の閾値を超えたとき、前記目標候補を前記目標に特定する、
ことを特徴とする付記１記載の画像目標検出追跡装置。
【００８６】
（付記６）  入力画像から目標を検出して追跡する画像目標検出追跡装置において、
目標候補検出手段が、目標の物体を含むテンプレートの画像が格納されるテンプレート記憶手段から前記テンプレートを読み出し、前記テンプレートと前記入力画像を所定の単位で分割した分割画像との相関を算出し、算出結果が所定の基準値を超えた前記分割画像に含まれる物体を目標候補に登録し、
候補追跡手段が、前記目標候補ごとに、前記目標候補を追跡対象として、前記目標候補が新たに検出された入力画像または前記目標候補の追跡に用いた入力画像より後に撮影された直近の入力画像に含まれる前記追跡対象の目標候補を探索し、前記追跡対象の目標候補が探索できたときは前記追跡対象の目標候補の追跡を継続し、前記追跡対象の目標候補が探索できなかったときは前記追跡対象の目標候補を前記目標候補から削除し、
目標特定手段が、前記目標候補が予め決められた所定の期間、前記候補追跡手段によって継続して追跡され、かつ、前記目標候補検出手段によって前記目標候補として検出されたときは、前記目標候補を目標として特定する、
手順を有することを特徴とする画像目標検出追跡方法。
【００８７】
（付記７）  入力画像から目標を検出して追跡するための画像目標検出追跡プログラムにおいて、
コンピュータを、
目標の物体を含むテンプレートの画像が格納されるテンプレート記憶手段から前記テンプレートを読み出し、前記テンプレートと前記入力画像を所定の単位で分割した分割画像との相関を算出し、算出結果が所定の基準値を超えた前記分割画像に含まれる物体を目標候補に登録する目標候補検出手段、
前記目標候補ごとに、前記目標候補を追跡対象として、前記目標候補が新たに検出された入力画像または前記目標候補の追跡に用いた入力画像より後に撮影された直近の入力画像に含まれる前記追跡対象の目標候補を探索し、前記追跡対象の目標候補が探索できたときは前記追跡対象の目標候補の追跡を継続し、前記追跡対象の目標候補が探索できなかったときは前記追跡対象の目標候補を前記目標候補から削除する候補追跡手段、
前記目標候補が予め決められた所定の期間、前記候補追跡手段によって継続して追跡され、かつ、前記目標候補検出手段によって前記目標候補として検出されたときは、前記目標候補を目標として特定する目標特定手段、
として機能させることを特徴とする画像目標検出追跡プログラム。
【図面の簡単な説明】
【００８８】
【図１】実施の形態の画像目標検出追跡装置の構成図である。
【図２】撮影画像の一例を示した図である。
【図３】画像目標検出追跡装置のハードウェア構成例を示したブロック図である。
【図４】画像目標検出追跡装置の主要部のソフトウェア構成例を示した図である。
【図５】管理情報の一例を示した図である。
【図６】入力画像と目標テンプレートの一例を示した図である。
【図７】候補情報設定部の処理終了後の管理情報の一例を示した図である。
【図８】目標特定までの処理の流れを目標候補の画像変化とともに示した図である。
【図９】画像目標検出追跡方法の処理手順の全体を示したフローチャートである。
【図１０】目標候補追跡処理の処理手順を示したフローチャートである。
【図１１】目標候補検出処理の処理手順を示したフローチャートである。
【図１２】目標特定処理の処理手順を示したフローチャートである。
【符号の説明】
【００８９】
１  画像目標検出追跡装置
１ａ  画像入力手段
１ｂ  画像記憶手段
１ｃ  テンプレート画像記憶手段
１ｄ  目標候補検出手段
１ｅ  候補テンプレート画像記憶手段
１ｆ  候補追跡手段
１ｇ  目標特定手段
２  カメラ
【図１】
0005076971.tif 000002
【図２】
0005076971.tif 000003
【図３】
0005076971.tif 000004
【図４】
0005076971.tif 000005
【図５】
0005076971.tif 000006
【図６】
0005076971.tif 000007
【図７】
0005076971.tif 000008
【図８】
0005076971.tif 000009
【図９】
0005076971.tif 000010
【図１０】
0005076971.tif 000011
【図１１】
0005076971.tif 000012
【図１２】
0005076971.tif 000013