(57)【要約】【課題】追尾する目標物の特徴抽出処理を実行することなく、入力画像において目標物と他の物体とが一時的に重なる状況が発生しても、他の物体のリファレンス画像内への取り込みを抑えることができ、相関処理精度及び追尾精度を向上させることができる追尾装置を提供する。【解決手段】リファレンス画像生成部９は、フレーム毎に動的にリファレンス画像を生成する。リファレンス画像生成部９は、目標領域蓄積部８に蓄積されている複数フレームの目標領域を取得する。リファレンス画像生成部９は、目標領域におけるフレーム間の輝度の変化を監視する。リファレンス画像生成部９は、フレーム間の輝度変化が小さい画素を、目標物を構成する画素であると判断して、現時点の次のフレームのリファレンス画像を生成する。【選択図】図１
2011103040.tif 000002
【特許請求の範囲】
【請求項１】
センサ部を介してフレーム単位で画像が入力され、その入力画像における目標物を含む領域である目標領域に基づいて、前記目標物を追尾するための演算基準となるリファレンス画像をフレーム毎に動的に生成し、過去のフレームの前記入力画像の前記目標領域に基づいて生成した前記リファレンス画像と現時点のフレームの前記入力画像との相関について演算して、現時点のフレームの前記入力画像における前記目標物の位置である追尾点を取得し、その追尾点に基づく目標予測位置を用いて、現時点の次のフレームの前記入力画像に前記目標領域を設定する追尾装置本体
を備える追尾装置であって、
前記追尾装置本体は、
過去のフレームの前記リファレンス画像における各画素の輝度と現時点のフレームの前記リファレンス画像における各画素の輝度との変化率を算出し、
その算出した輝度の変化率に基づいて、その変化率が所定の閾値以下の画素である加算対象画素を、現時点のフレームの前記目標領域から抽出し、
現時点のフレームの前記目標領域における前記加算対象画素を用いて、現時点の次のフレームの前記リファレンス画像を生成し、
その生成した前記リファレンス画像を、現時点のフレームの前記入力画像との相関演算の対象とする
ことを特徴とする追尾装置。
【請求項２】
前記追尾装置本体は、
過去の複数のフレームの前記目標領域における前記加算対象画素を記憶し、
現時点の次のフレームの前記リファレンス画像を生成する際に、過去の複数のフレームの前記目標領域における前記加算対象画素のうち、現時点のフレームから所定数のフレームまでの前記目標領域における前記加算対象画素を用いる
ことを特徴とする請求項１記載の追尾装置。
【請求項３】
前記追尾装置本体は、
過去のフレームの前記目標領域における前記加算対象画素が加算対象として選択された回数を計数し、その計数した選択回数が所定の閾値を超えた前記加算対象画素を目標画素として設定し、
前記リファレンス画像と現時点のフレームの前記入力画像との相関について演算する際に、前記目標領域における前記加算対象画素のうち前記目標画素を相関演算の対象とする
ことを特徴とする請求項１又は請求項２に記載の追尾装置。
【請求項４】
前記追尾装置本体は、
過去の所定の時点のフレームにおける前記リファレンス画像の目標画素数に対する変化量であって、現時点の次のフレームの前記リファレンス画像の目標画素数の変化量が所定の閾値を超えたことを検出した場合に、
前記入力画像内の前記目標物の大きさが変化したと判断して、前記リファレンス画像の目標画素数の変化量に合わせて、現時点の次のフレームの前記リファレンス画像の大きさを変更する
ことを特徴とする請求項３記載の追尾装置。
【請求項５】
前記追尾装置本体は、
過去の所定の時点のフレームの前記リファレンス画像の目標画素領域の幅及び高さのいずれか一方と、現時点の次のフレームの前記リファレンス画像の幅及び高さの一方とを比較し、
その比較した幅及び高さの一方の変化量が所定の閾値を超えたことを確認した場合には、前記入力画像内の前記目標物の大きさが変化したと判断して、その幅及び高さの一方の変化率を算出し、その算出した変化率に合わせて、現時点の次のフレームの前記リファレンス画像の大きさを変更する
ことを特徴とする請求項３又は請求項４に記載の追尾装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、連続観測された画像中の目標を追尾する追尾装置に関する。
【背景技術】
【０００２】
連続観測された複数の画像より特定の目標物を追尾する追尾装置では、最新の入力画像から目標物の位置の検出処理を行った後、検出された目標物の位置と、過去の目標物の動きとに基づいて、次の入力画像における目標物の位置を予測する追尾処理を実行する。この追尾処理は、目標物の検出処理結果に基づいて実行されるので、精度の高い追尾処理を行うためには、精度の高い検出処理が必要となる。
【０００３】
ここで、従来の検出処理としては、目標物のリファレンス画像（あるいは、テンプレートともいう）を用意し、入力画像内でリファレンス画像と最も似ている領域（即ち、リファレンス画像と最も相関が高い領域）を目標物が存在する領域として切り出す方式が一般的である。
【０００４】
このような検出処理では、リファレンス画像を事前に用意する必要がある。このため、入力画像中の目標物の大きさや形状が時間的に変化する場合には、様々な大きさ、形状のリファレンス画像が必要となり、設計負担が増大し、効率が悪い。また、適切なリファレンス画像を用意することが困難である。
【０００５】
そこで、例えば特許文献１に示すような従来装置では、入力画像に応じてリファレンス画像を更新するリファレンス画像の更新方式が提案されている。この方式では、最新の入力画像に応じてリファレンス画像を更新することにより、追尾物の時間的変化による影響を小さくし、検出処理の精度を比較的高く保つことができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第２７２６１８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に示すような従来装置では、最新の入力画像を用いてリファレンス画像の更新を行う場合において、一時的に他の物体が入力画像内で目標物と重なるような状況（例えば、走行車両の追尾中に道路脇の看板等の他の物体が追尾車両と重なるような状況）では、リファレンス画像に他の物体が取り込まれてしまう。従って、このような状況では、特に時間の経過と共に目標物と他の物体との位置関係が変化する場合に、他の物体を取り込んだリファレンス画像が生成されてしまうと、その生成後の相関処理の精度が低下するという問題が生じる。
【０００８】
例えば、図１２に示すような入力画像（即ち追尾車両と他の物体とが重なり合った入力画像）からリファレンス画像が生成された場合に、図１３に示すような入力画像を取得すると、追尾車両と他の物体との位置関係が変化しているため、相関が正しく得られずに誤検出が発生し、追尾に失敗する場合がある。
【０００９】
また、上記のような状況であっても、入力画像内の目標物の特徴抽出処理（例えば、エッジ抽出や特徴点抽出等）を行うことによって、他の物体の影響を受けない相関処理を実行可能となると考えられる。しかしながら、このような相関処理を実行するためには、より精度の高い特徴抽出処理が別途必要となる。
【００１０】
この発明は、上記のような課題を解決するためになされたものであり、追尾する目標物の特徴抽出処理を実行することなく、入力画像において目標物と他の物体とが一時的に重なる状況が発生しても、他の物体のリファレンス画像内への取り込みを抑えることができ、相関処理精度及び追尾精度を向上させることができる追尾装置を得ることを目的とする。
【課題を解決するための手段】
【００１１】
この発明に係る追尾装置は、センサ部を介してフレーム単位で画像が入力され、その入力画像における目標物を含む領域である目標領域に基づいて、前記目標物を追尾するための演算基準となるリファレンス画像をフレーム毎に動的に生成し、過去のフレームの前記入力画像の前記目標領域に基づいて生成した前記リファレンス画像と現時点のフレームの前記入力画像との相関について演算して、現時点のフレームの前記入力画像における前記目標物の位置である追尾点を取得し、その追尾点に基づく目標予測位置を用いて、現時点の次のフレームの前記入力画像に前記目標領域を設定する追尾装置本体を備えるものであって、前記追尾装置本体は、過去のフレームの前記リファレンス画像における各画素の輝度と現時点のフレームの前記リファレンス画像における各画素の輝度との変化率を算出し、その算出した輝度の変化率に基づいて、その変化率が所定の閾値以下の画素である加算対象画素を、現時点のフレームの前記目標領域から抽出し、現時点のフレームの前記目標領域における前記加算対象画素を用いて、現時点の次のフレームの前記リファレンス画像を生成し、その生成した前記リファレンス画像を、現時点のフレームの前記入力画像との相関演算の対象とするものである。
【発明の効果】
【００１２】
この発明に係る追尾装置によれば、追尾装置本体が、過去のフレームのリファレンス画像における各画素の輝度と現在のフレームのリファレンス画像における各画素の輝度との変化率を算出し、その算出した変化率に基づいて、加算対象画素を抽出し、現在のフレームの目標領域における加算対象画素を用いて、現時点の次のフレームのリファレンス画像を生成するので、追尾する目標物の特徴抽出処理を実行することなく、入力画像において目標物と他の物体とが一時的に重なる状況が発生しても、他の物体のリファレンス画像内への取り込みを抑えることができ、相関処理精度及び追尾精度を向上させることができる。
【図面の簡単な説明】
【００１３】
【図１】この発明の実施の形態１による追尾装置を示すブロック図である。
【図２】入力画像と相関処理対象領域とリファレンス画像との関係を説明するための説明図である。
【図３】図１のリファレンス画像生成部による第ｋ＋１仮リファレンス画像の生成手順について説明するための説明図である。
【図４】図１のリファレンス画像生成部による加算対象画素の抽出手順について説明するための説明図である。
【図５】図１のリファレンス画像生成部による第ｋ＋１リファレンス画像の生成手順について説明するための説明図である。
【図６】図１のリファレンス画像生成部によって生成されたリファレンス画像の一例を示す画像図である。
【図７】この発明の実施の形態２による追尾装置を示すブロック図である。
【図８】この発明の実施の形態３による追尾装置を示すブロック図である。
【図９】この発明の実施の形態４による追尾装置を示すブロック図である。
【図１０】この発明の実施の形態５による追尾装置を示すブロック図である。
【図１１】図１０のリファレンス画像生成部による目標物の幅及び高さの抽出例を説明するための説明図である。
【図１２】入力画像の一例を示す画像図である。
【図１３】入力画像の一例を示す画像図である。
【発明を実施するための形態】
【００１４】
以下、この発明を実施するための形態について、図面を参照して説明する。
実施の形態１．
図１は、この発明の実施の形態１による追尾装置を示すブロック図である。
図１において、追尾装置本体１００は、センサ部１、画像取得部２、初期目標領域設定部３、相関処理対象領域抽出部４、相関処理部５、追尾処理部６、目標領域抽出部７、目標領域蓄積部８、リファレンス画像生成部９、加算対象画素情報蓄積部１０、第１遅延処理部１１及び第２遅延処理部１２を有している。
【００１５】
センサ部１は、一定時間間隔で目標物を含む一定範囲を撮影する。画像取得部２は、センサ部１が撮影した画像を、フレーム単位で入力画像として取得する。初期目標領域設定部３は、最初の入力画像（追尾開始時点の第１フレームの入力画像）に対して、目標物の追尾点（例えば、目標物の重心等）を設定するとともに、その追尾点を中心とした目標物全体を含むような矩形領域を目標領域として設定する。また、初期目標領域設定部３は、追尾点の座標を追尾処理部６に、目標領域を目標領域蓄積部８にそれぞれ送る。
【００１６】
相関処理対象領域抽出部４は、画像取得部２から入力画像を受ける。また、相関処理対象領域抽出部４は、現時点の１フレーム前の入力画像に対する追尾処理部６の処理結果である目標物の予測位置（以下、「目標予測位置」ともいう）を中心としたリファレンス画像よりも大きな矩形領域を、相関処理対象領域として入力画像から抽出する。
【００１７】
相関処理部５は、相関処理対象領域抽出部４によって抽出された相関処理対象領域に対して、１フレーム前のリファレンス画像生成部９の処理で生成されたリファレンス画像との相関処理を行う。そして、相関処理部５は、最も相関が高い相関処理対象領域内の位置を追尾点として設定する。また、相関処理部５は、設定した追尾点の座標を追尾処理部６及び目標領域抽出部７に送る。
【００１８】
追尾処理部６は、相関処理部５から受けた追尾点（現時点のフレームの入力画像における追尾点）を観測値とし、例えばカルマンフィルタ等の追尾フィルタを用いて、現時点の次のフレームの入力画像内の目標位置を予測する。即ち、追尾処理部６は、目標予測位置を算出する。追尾処理部６は、その算出した目標予測位置を相関処理対象領域抽出部４に送る。
【００１９】
目標領域抽出部７は、相関処理部５から受けた追尾点を中心としたリファレンス画像と同一の大きさの矩形領域を、現時点のフレームの入力画像から目標領域として抽出する。そして、目標領域抽出部７は、抽出した目標領域を目標領域蓄積部８に送り、初期目標領域設定部３によって設定された初期目標領域とフレーム番号とを目標領域蓄積部８に対応付けて記憶させる。即ち、目標領域抽出部７は、目標領域蓄積部８にフレーム毎の目標領域を蓄積して記憶させる。
【００２０】
リファレンス画像生成部９は、目標領域蓄積部８に蓄積されている複数フレームの目標領域を取得する。また、リファレンス画像生成部９は、目標領域におけるフレーム間の輝度の変化を監視する。さらに、リファレンス画像生成部９は、フレーム間の輝度変化が小さい画素を、目標物を構成する画素であると判断して、現時点の次のフレームのリファレンス画像を生成する。即ち、リファレンス画像生成部９は、フレーム毎に動的にリファレンス画像を生成する。
【００２１】
また、リファレンス画像生成部９は、生成したリファレンス画像を相関処理部５に送る。さらに、リファレンス画像生成部９は、リファレンス画像を生成する際に、現時点のフレームの目標領域内で目標物を構成すると判断した画素を加算対象画素として設定する。この加算対象画素とは、フレーム間の輝度変化が所定の閾値以下の画素であり、目標領域内で目標物を表す画素である。この加算対象画素を用いることにより、目標物の近傍に存在する物体、及び入力画像内で目標物と重なる物体がリファレンス画像から排除される。
【００２２】
また、リファレンス画像生成部９は、加算対象画素の座標とフレーム番号とを対応付けて、加算対象画素情報として加算対象画素情報蓄積部１０に記憶させて蓄積させる。第１遅延処理部１１及び第２遅延処理部１２（図１において「Ｚ−１」として示す。）は、前段から受けたデータを１フレーム分遅延させて、後段に送るものである。
【００２３】
第１遅延処理部１１は、追尾処理部６によって算出される目標物の予測位置を、１フレーム分遅延させるために用いられる。第２遅延処理部１２は、リファレンス画像生成部９によって生成されるリファレンス画像を、１フレーム分遅延させるために用いられる。
【００２４】
ここで、追尾装置本体１００は、演算処理部（ＣＰＵ）、記憶部（ＲＯＭ、ＲＡＭ及びハードディスク等）及び信号入出力部を持ったハードウェア（図示せず）により構成することができる。追尾装置本体１００のコンピュータの記憶部には、各機能ブロック２〜１２の機能を実現するためのプログラムが格納されている。
【００２５】
次に、追尾装置本体１００の一連の動作について説明する。この実施の形態１の追尾装置本体１００の動作は、入力画像が第１フレームである場合と、入力画像が第２フレーム以降である場合とで異なるため、場合を分けて以下に説明する。
【００２６】
［入力画像が第１フレームである場合の動作］
まず、センサ部１は、目標物を含む一定範囲を周期的に観測し、画像を生成する。次に、画像取得部２は、センサ部１で撮影された画像を入力画像として取得し、入力画像を初期目標領域設定部３に送る。
【００２７】
そして、初期目標領域設定部３は、第１フレームの入力画像内に存在する目標物を検出し、追尾点を設定する。また、初期目標領域設定部３は、目標物が中心付近に位置し、かつ目標物全体が含まれるように、第１フレームの入力画像から一定領域を切り出して、初期目標領域として設定する。
【００２８】
さらに、初期目標領域設定部３は、追尾点を追尾処理部６に送り、初期目標領域を目標領域蓄積部８に送る。この際に、初期目標領域設定部３は、フレーム番号と初期目標領域とを互いに対応付けて、目標領域蓄積部８に記憶させる。なお、初期目標領域設定部３による目標物の検出方式には、例えば、ユーザが画面操作等により指定する方式や、テンプレートマッチングや、特徴量抽出等の画像処理により自動検出する方式等を適用できる。
【００２９】
続いて、初期目標領域設定部３の処理後、追尾処理部６とリファレンス画像生成部９とがそれぞれ独立して動作する。追尾処理部６は、現時点の次のフレームにおける目標物の位置についての予測演算を行う。ここで、第１フレームでは、追尾処理部６が目標物の速度ベクトルを検出できない。このため、追尾処理部６は、初期目標領域設定部３から受けた追尾点の座標を、そのまま現時点の次のフレームにおける目標予測位置として、相関処理対象領域抽出部４に送る。なお、追尾処理部６によって算出される目標予測位置は、第１遅延処理部１１によって１フレーム分遅延され、第２フレーム（第１フレームの次のフレーム）の入力画像に対応するように、第１遅延処理部１１から相関処理対象領域抽出部４に送られる。
【００３０】
リファレンス画像生成部９は、目標領域蓄積部８に記憶（蓄積）されている初期目標領域を取得し、その取得した初期目標領域をそのまま第２フレームのリファレンス画像として設定する。そして、リファレンス画像生成部９は、第２フレームのリファレンス画像を相関処理部５に送る。
【００３１】
また、リファレンス画像生成部９は、初期目標領域の全画素を加算対象画素として、全加算対象画素の座標とフレーム番号とを対応付けて、加算対象画素情報として加算対象画素情報蓄積部１０に記憶させる。なお、生成されたリファレンス画像は、第２遅延処理部１２によって１フレーム分遅延され、第２フレームの入力画像に対応するように、第２遅延処理部１２から相関処理部５に送られる。
【００３２】
［入力画像が第ｋフレームである場合の動作（ｋ≧２）］
センサ部１は、第１フレームにおける動作と同様に、目標物を含む一定範囲を周期的に観測し、画像を生成する。そして、画像取得部２は、センサ部１で生成された画像を入力画像として取得し、入力画像を相関処理対象領域抽出部４に送る。
【００３３】
続いて、相関処理対象領域抽出部４は、画像取得部２が取得した入力画像と、第ｋ−１フレームの入力画像に対する追尾処理部６の処理結果である「第ｋフレームにおける目標予測位置」とを受ける。そして、相関処理対象領域抽出部４は、これらの情報を受けると、画像取得部２から受けた入力画像に対して、追尾処理部６によって算出された目標予測位置を中心としたリファレンス画像の縦横画素数をそれぞれｎ倍した大きさの矩形領域を相関処理対象領域として抽出する（なお、ｎの値は、事前に与えられるものとする）。この後、相関処理対象領域抽出部４は、抽出した相関処理対象領域の情報を相関処理部５に送る。
【００３４】
相関処理部５は、相関処理対象領域抽出部４が抽出した相関処理対象領域と、リファレンス画像生成部９が第ｋ−１フレームで生成した第ｋフレームのリファレンス画像とを受ける。そして、相関処理部５は、これらの情報を受けると、相関処理対象領域に対してリファレンス画像との相関処理を実行し、相関処理対象領域における最も相関が高い点を第ｋフレームの入力画像内の目標位置として、追尾処理部６及び目標領域抽出部７に送る。
【００３５】
ここで、相関処理部５の動作について、図２を用いてより具体的に説明する。図２は、入力画像と相関処理対象領域とリファレンス画像との関係を説明するための説明図である。図２において、相関処理対象領域は、入力画像内の座標（ｘ１，ｙ１）を左上頂点とし、座標（ｘ２，ｙ２）を右下頂点とする矩形領域である。また、リファレンス画像の幅はＷであり、リファレンス画像の高さはＨである。さらに、図２は、座標（ｘ，ｙ）における相関値を求める場合のリファレンス画像と相関処理対象領域との位置関係を表している。
【００３６】
入力画像の座標（ｘ，ｙ）における画素値をｉｍｇ（ｘ，ｙ）とし、リファレンス画像の座標（ｍ，ｎ）における画素値をｒｅｆ（ｍ，ｎ）とし、図２に示した座標（ｘ，ｙ）における相関値をＣｏｒｒ（ｘ，ｙ）としたとき、Ｃｏｒｒ（ｘ，ｙ）を、次の式（１）で定義する。この式（１）は、座標（ｘ，ｙ）が中心となるようにリファレンス画像を相関処理対象領域と重ね合わせ、重複部分における同一座標の入力画像の画素値とリファレンス画像の画素値との差分２乗和を相関値とすることを表している。
【００３７】
【数１】
2011103040.tif 000003
【００３８】
相関処理部５は、相関処理対象領域内の全ての画素に対して式（１）を用いて相関値を求め、その中で最小の相関値が得られる座標を相関点とする。次の式（２）に相関点の定義式を示す。この式（２）は、相関処理対象領域内で相関値Ｃｏｒｒ（ｘ，ｙ）が最小となる座標（ｘｃ，ｙｃ）を相関点とすることを表している。
【００３９】
【数２】
2011103040.tif 000004
【００４０】
相関処理部５は、式（１）及び式（２）より得られる相関点の座標（ｘｃ，ｙｃ）を、追尾点として追尾処理部６及び目標領域抽出部７に送る。相関処理部５の処理によって第ｋフレームの入力画像における追尾点が得られると、目標領域抽出部７、目標領域蓄積部８、リファレンス画像生成部９及び加算対象画素情報蓄積部１０の一連の処理と、追尾処理部６の処理とがそれぞれ実行される。ここでは、追尾処理部６の動作について説明した後に、目標領域抽出部７から加算対象画素情報蓄積部１０までの一連の動作について説明する。
【００４１】
追尾処理部６は、目標物の位置（Ｘ−Ｙ座標）とその目標物の速度（Ｘ方向成分及びＹ方向成分）とを状態ベクトルとして保持し、カルマンフィルタを用いて状態ベクトルの平滑値及び予測値を求めることによって、目標物に対する追尾処理を行う。また、追尾処理部６は、第ｋフレームの入力画像における相関点座標を相関処理部５から受けると、その受けた相関点座標を観測値と見なし、カルマンフィルタ平滑処理を実行して、目標物の状態ベクトルの平滑値（以下、「平滑状態ベクトル」とする。）を算出する。さらに、追尾処理部６は、算出した平滑状態ベクトルを用いてカルマンフィルタ予測処理を実行し、現時点の次のフレームにおける目標物の状態ベクトルの予測値（以下、「予測状態ベクトル」とする。）を算出する。
【００４２】
ここで、追尾処理部６の動作は、第２フレーム（ｋ＝２）と第３フレーム以降（ｋ≧３）とで異なる。このため、それぞれの場合に分けて、その動作を説明する。
【００４３】
［第２フレーム（ｋ＝２）での追尾処理部６の動作］
第１フレーム分と合わせて２時刻分の観測値に基づいて目標物の速度を算出可能となるので、追尾処理部６は、カルマンフィルタの初期化を行う。また、追尾処理部６は、平滑状態ベクトルを用いてカルマンフィルタ予測処理を実行し、第３フレームにおける予測状態ベクトルを算出する。さらに、追尾処理部６は、算出した予測状態ベクトルの要素のうち、目標予測位置の座標を相関処理対象領域抽出部４に送る。なお、目標予測位置の座標は、遅延処理部１１によって１フレーム分遅延されて、相関処理対象領域抽出部４に送られる。
【００４４】
［第３フレーム以降（ｋ≧３）での追尾処理部６の動作］
追尾処理部６は、第ｋフレームの観測値及び予測状態ベクトルに基づいて、カルマンフィルタ平滑処理を実行して第ｋフレームにおける平滑状態ベクトルを算出する。さらに、算出した平滑状態ベクトルを用いてカルマンフィルタ予測処理を実行し、第ｋ＋１フレームにおける予測状態ベクトルを算出する。さらに、算出した予測状態ベクトルの要素のうち、目標予測位置の座標を相関処理対象領域抽出部４に送る。なお、目標予測位置の座標は、第１遅延処理部１１によって１フレーム分遅延されて相関処理対象領域抽出部４に送られる。
【００４５】
次に、目標領域抽出部７から加算対象画素情報蓄積部１０までのリファレンス画像生成に関する一連の動作について説明する。まず、目標領域抽出部７は、相関処理部５から相関点（追尾点）の位置座標を受けると、相関点を中心としたリファレンス画像と同じ大きさの矩形領域を第ｋフレームの入力画像から切り出し、これを目標領域として目標領域蓄積部８に送る。この際に、目標領域抽出部７は、目標領域と、この目標領域が切り出された際のフレーム番号とを対応付けて、目標領域蓄積部８に記憶させ、これらの情報を蓄積させる。
【００４６】
ここで、入力画像における目標物を表す画素の輝度変化は、前後するフレーム間で小さく、これに対して、入力画像における背景を表す画素の輝度変化は、目標物の移動と共に変化するため、前後するフレーム間で輝度変化が大きい。従って、リファレンス画像生成部９は、前後するフレーム間で目標領域内の各画素の輝度変化が所定の閾値以下である画素を加算対象画素とする。そして、リファレンス画像生成部９は、目標領域蓄積部８に蓄積されている第１フレームから第ｋフレームまでの目標領域における加算対象画素を用いて、第ｋ＋１フレームのリファレンス画像（以下、「第ｋ＋１リファレンス画像」とする。）を生成する。
【００４７】
この後、リファレンス画像生成部９は、抽出された目標領域に合わせてフレーム毎に動的にリファレンス画像を生成する。以下に、リファレンス画像生成部９の動作について具体的に説明する。
【００４８】
リファレンス画像生成部９は、目標領域抽出部７によって抽出された第ｋフレームの目標領域が目標領域蓄積部８に記憶された後に、第１〜第ｋフレームの目標領域を目標領域蓄積部８から取得し、第１〜第ｋ−１フレームの加算対象画素情報を加算対象画素情報蓄積部１０から取得する。そして、リファレンス画像生成部９は、次の（ａ）仮リファレンス画像の生成、（ｂ）加算対象画素抽出、及び（ｃ）リファレンス画像生成の順に処理を実行する。
【００４９】
（ａ）第ｋ＋１仮リファレンス画像生成
まず、リファレンス画像生成部９は、第ｋフレームの目標領域の加算対象画素を抽出するために、第ｋ＋１仮リファレンス画像を生成する。図３は、図１のリファレンス画像生成部９による第ｋ＋１仮リファレンス画像の生成手順について説明するための説明図である。
【００５０】
図３に示すように、リファレンス画像生成部９は、第１〜第ｋ−１フレームの加算対象画素と、第ｋフレームの目標領域の全画素とを用いて、第ｋ＋１仮リファレンス画像を生成する。なお、図３の各目標領域における着色した画素は、加算対象画素を示している（図４，５についても同様）。ここで、第ｋ＋１仮リファレンス画像の画素（ｉ，ｊ）をｒｅｆ＿ｔｍｐｋ＋１（ｉ，ｊ）とし、そのｒｅｆ＿ｔｍｐｋ＋１（ｉ，ｊ）を次の式（３）で定義する。
【００５１】
【数３】
2011103040.tif 000005
【００５２】
（ｂ）加算対象画素抽出
次に、リファレンス画像生成部９は、第ｋ＋１仮リファレンス画像と１フレーム前に生成した第ｋリファレンス画像との間での同一座標における輝度変化を求め、その輝度変化の変化率が所定の閾値以下となる座標を第ｋフレームの目標領域の加算対象画素とする。
【００５３】
ここで、図４は、図１のリファレンス画像生成部９による加算対象画素の抽出手順について説明するための説明図である。図４に示すように、リファレンス画像生成部９は、第ｋ＋１仮リファレンス画像の画素（ｉ，ｊ）の輝度ｒｅｆ＿ｔｍｐｋ＋１（ｉ，ｊ）と、第ｋリファレンス画像の画素（ｉ，ｊ）の輝度ｒｅｆｋ（ｉ，ｊ）との変化率を、次の式（４）に示す判定式を用いて判定する。なお、式（４）において閾値ＴＨは、パラメータであり、事前に与えられる固定値とする。
【００５４】
【数４】
2011103040.tif 000006
【００５５】
リファレンス画像生成部９は、式（４）を満たしている画素（ｉ，ｊ）について、前後するフレーム間で輝度変化が小さく、目標物を表す画素（以下、「目標画素」とする。）である可能性が高いと判断し、その画素（ｉ，ｊ）を第ｋフレームの目標領域における加算対象画素とする。他方、リファレンス画像生成部９は、式（４）を満たしていない画素（ｉ，ｊ）について、背景又は他の物体を表す画素である可能が高いと判断して、加算対象画素から除外する。
【００５６】
そして、リファレンス画像生成部９は、第ｋフレーム目標領域の全画素に対する式（４）による加算対象画素の判定を終えると、抽出した第ｋフレーム目標領域の加算対象画素の座標及び輝度値をフレーム番号と対応付けて、加算対象画素情報として加算対象画素情報蓄積部１０に記憶させる。
【００５７】
（ｃ）第ｋ＋１リファレンス画像生成
次に、リファレンス画像生成部９は、加算対象画素情報蓄積部１０に記憶されている第１〜第ｋ−１フレームの加算対象画素情報を取得し、（ｂ）の処理で抽出した第ｋフレーム目標領域における加算対象画素情報と合わせて、次の式（５）を用いて第ｋ＋１リファレンス画像を生成する。
【００５８】
【数５】
2011103040.tif 000007
【００５９】
つまり、リファレンス画像生成部９は、式（５）を用いることにより、過去に抽出された目標領域のうちの加算対象画素について、リファレンス画像の生成処理の対象とする。他方、リファレンス画像生成部９は、過去に抽出された目標領域のうちの加算対象画素以外の画素について、リファレンス画像の生成処理の対象から除外する。この結果、入力画像内に他の物体による影響が除去される。そして、リファレンス画像生成部９は、第ｋ＋１リファレンス画像を生成した後に、その生成した第ｋ＋１リファレンス画像を相関処理部５に送る。
【００６０】
ここで、図５は、図１のリファレンス画像生成部９による第ｋ＋１リファレンス画像の生成手順について説明するための説明図である。図５の左側が第１〜第ｋの目標領域を示している。また、図５のｒｅｆｋ＋１（ｉ，ｊ）の値は、第１〜第ｋの各目標領域の画素（ｉ，ｊ）のうち、加算対象画素の平均輝度である。なお、生成された第ｋ＋１リファレンス画像は、遅延処理部１１によって、１フレーム分遅延され、相関処理部５に送られる。
【００６１】
なお、追尾装置本体１００は、センサ部１の駆動手段（図示せず）の駆動を制御して、第ｋ＋１フレーム（現時点の次のフレーム）の目標領域が入力画像の中心となるように（即ち目標物を追尾するように）、センサ部１の仰角及び方位角を変更してもよい。
【００６２】
上記のような実施の形態１の追尾装置によれば、リファレンス画像生成部９は、過去のフレームのリファレンス画像における各画素の輝度と現在のフレームのリファレンス画像における各画素の輝度との変化率を算出する。そして、リファレンス画像生成部９は、その算出した変化率に基づいて、加算対象画素を抽出し、現在のフレームの目標領域における加算対象画素を用いて、現時点の次のフレームのリファレンス画像を生成する。この構成により、追尾する目標物の特徴抽出処理を実行することなく、入力画像において目標物と他の物体とが一時的に重なる状況が発生しても、他の物体のリファレンス画像内への取り込みを抑えることができ、相関処理精度及び追尾精度を向上させることができる。
【００６３】
ここで、図６は、図１のリファレンス画像生成部に９よって生成されたリファレンス画像の一例を示す画像図である。この図６に示すリファレンス画像は、最新のフレームとして図１２に示す入力画像を取得した場合に生成されるリファレンス画像である。図１２の入力画像では、目標物としての車両の先頭部に他の物体が重なっているが、図６に示すリファレンス画像では、他の物体は、リファレンス画像に取り込まれていない。従って、現時点の次のフレームの座標において車両と他の物体との位置関係が変化しても、相関処理では、他の物体の影響を受けることなく、その処理の精度を向上させることができる。
【００６４】
実施の形態２.
実施の形態１では、リファレンス画像生成部９が、第１フレームから第ｋフレームまでの目標領域を用いて第ｋ＋１リファレンス画像を生成した。これに対して、実施の形態２では、リファレンス画像生成部２０９が、第ｋ−Ｎ＋１フレームから第ｋフレームまでの最新のＮ個（現時点のフレームから所定数）の目標領域を用いて第ｋ＋１リファレンス画像を生成する。
【００６５】
図７は、この発明の実施の形態２による追尾装置を示すブロック図である。図７において、実施の形態２の追尾装置本体２００は、実施の形態１の追尾装置本体１００と同様の機能ブロック構成であるが、実施の形態１のリファレンス画像生成部９に代えて、リファレンス画像生成部２０９を有している。
【００６６】
追尾装置本体２００のリファレンス画像生成部２０９以外の構成及び動作は、実施の形態１の追尾装置本体１００の構成及び動作と同様であり、ここでは、リファレンス画像生成部２０９の動作についてのみ説明する。また、第１フレームから第Ｎフレーム（Ｎは、事前に与えられる定数である。）までのリファレンス画像生成部２０９の動作は、実施の形態１におけるリファレンス画像生成部９の動作と同様であり、リファレンス画像生成部２０９の第ｋフレーム（ｋ≧Ｎ＋１）における動作についてのみ説明する。
【００６７】
リファレンス画像生成部２０９は、目標領域抽出部７によって抽出された第ｋフレームの目標領域が目標領域蓄積部８に記憶された後に、次の（ａ）仮リファレンス画像の生成、（ｂ）加算対象画素抽出、及び（ｃ）リファレンス画像生成の順に処理を実行する。
【００６８】
（ａ）第ｋ＋１仮リファレンス画像生成
リファレンス画像生成部２０９は、次の式（６）に従い、第ｋ−Ｎ＋１フレームから第ｋフレームまでの最新のＮ個の目標領域を用いて第ｋ＋１仮リファレンス画像を生成する。
【００６９】
【数６】
2011103040.tif 000008
【００７０】
（ｂ）加算対象画素抽出
次に、リファレンス画像生成部２０９は、加算対象画素抽出の処理について、実施の形態１のリファレンス画像生成部９と同様の処理を実行する。
【００７１】
（ｃ）第ｋ＋１リファレンス画像生成
次に、リファレンス画像生成部２０９は、加算対象画素情報蓄積部１０に記憶されている第ｋ−Ｎ＋１〜第ｋ−１フレームの加算対象画素情報を取得し、（ｂ）の処理で抽出した第ｋフレーム目標領域における加算対象画素情報と合わせて、次の式（７）を用いて第ｋ＋１リファレンス画像を生成する。
【００７２】
【数７】
2011103040.tif 000009
【００７３】
そして、リファレンス画像生成部２０９は、生成した第ｋ＋１リファレンス画像を相関処理部５に送る。なお、リファレンス画像生成部２０９によって生成された第ｋ＋１リファレンス画像は、遅延処理部１１によって、１フレーム分遅延されて、相関処理部５に送られる。他の動作は、実施の形態１と同様である。
【００７４】
上記のような実施の形態２の追尾装置によれば、最新のＮフレーム分の目標領域の加算対象画素情報のみを用いて、第ｋ＋１リファレンス画像を生成する。この構成により、フレーム数が進むに従い入力画像内の目標物の大きさや形状等が変化する場合に、リファレンス画像の生成処理において時系列上の古い目標領域の加算対象画素情報が除外されることから、古い目標領域の加算対象画素情報がリファレンス画像に反映されることを防ぐことができる。この結果、実施の形態１の効果に加えて、相関処理精度及び追尾精度をより向上させることができる。
【００７５】
実施の形態３．
実施の形態１，２では、相関処理部５が、リファレンス画像生成部９によって抽出された加算対象画素の全てを用いて相関処理を行った。これに対して、実施の形態３では、相関処理部３０５が、加算対象画素のうちリファレンス画像生成部３０９によってさらに抽出された目標画素を用いて相関処理を行う。
【００７６】
図８は、この発明の実施の形態３による追尾装置を示すブロック図である。図８において、実施の形態３の追尾装置本体３００は、実施の形態１，２の追尾装置本体１００，２００と同様の機能ブロック構成であるが、実施の形態１，２の相関処理部５に代えて、相関処理部３０５を有している。また、追尾装置本体３００は、実施の形態１，２のリファレンス画像生成部９，２０９に代えて、リファレンス画像生成部３０９を有している。さらに、追尾装置本体３００は、目標画素情報蓄積部３１３をさらに有している。
【００７７】
追尾装置本体３００の機能ブロック３０５，３０９，３１３以外の構成及び動作は、実施の形態１，２の追尾装置本体１００，２００の構成及び動作と同様であり、ここでは、相関処理部３０５、リファレンス画像生成部３０９及び目標画素情報蓄積部３１３の動作についてのみ説明する。
【００７８】
まず、リファレンス画像生成部３０９の動作について説明する。リファレンス画像生成部３０９は、実施の形態２のリファレンス画像生成部２０９の機能であるリファレンス画像生成処理に加えて、目標画素判定処理を実行可能である。リファレンス画像生成部３０９におけるリファレンス画像生成処理は、実施の形態２のリファレンス画像生成部２０９におけるリファレンス画像生成処理と同様であり、リファレンス画像生成部３０９の目標画素判定処理についてのみ説明する。
【００７９】
リファレンス画像生成部３０９は、第ｋ＋１リファレンス画像生成後、実施の形態２に示した式（７）におけるｄＮｋ（ｉ，ｊ）が次の式（８）に示す条件を満たす場合に、画素（ｉ，ｊ）が目標画素であると判断する。そして、リファレンス画像生成部３０９は、画素（ｉ，ｊ）を目標画素であると判断した後に、座標（ｉ，ｊ）の値とフレーム番号とを対応付けて目標画素情報として、目標画素情報蓄積部３１３に記憶させて蓄積させる。
【００８０】
【数８】
2011103040.tif 000010
【００８１】
なお、式（８）は、リファレンス画像内の画素（ｉ，ｊ）が一定フレーム数以上加算対象画素として選択された場合に、目標画素とすることを意味している。また、式（８）におけるＤは、事前に指定する定数である。
【００８２】
次に、相関処理部３０５が第ｋフレームの相関処理を行う場合の動作について説明する。相関処理部３０５の動作の概要は、実施の形態１の相関処理部５の動作と同じであり、目標画素情報蓄積部３１３から目標画素情報を取得する点と、相関値の算出式が実施の形態１に示した式（１）の演算とが実施の形態１の相関処理部５と異なる。ここでは、相関処理部３０５における実施の形態１との相違点についてのみ説明する。
【００８３】
相関処理部３０５は、第ｋフレームの入力画像について相関処理を行う場合、目標画素情報蓄積部３１３から第ｋ−１フレームの目標画素情報を取得する。そして、相関処理部３０５は、相関処理対象領域抽出部４から受けた第ｋフレームの相関処理対象領域と、リファレンス画像生成部３０９から受けた第ｋフレームリファレンス画像内の目標画素とを相関対象として、式（９）及び式（１０）を用いて相関値計算を行う。
【００８４】
【数９】
2011103040.tif 000011
【数１０】
2011103040.tif 000012
【００８５】
上記のような実施の形態３の追尾装置によれば、リファレンス画像生成部３０９は、過去のフレームの目標領域における加算対象画素が加算対象として選択された回数を計数し、その計数した選択回数が所定の閾値を超えた加算対象画素を目標画素として設定する。そして、相関処理部３０５は、加算対象画素のうちリファレンス画像生成部３０９によってさらに抽出された目標画素を用いて相関処理を行う。この構成により、実施の形態２の効果を得ることができるとともに、目標画素のみを相関値計算の対象とすることで、相関処理精度及び追尾精度をより向上させることができる。
【００８６】
実施の形態４．
実施の形態１〜３では、リファレンス画像生成部９，２０９，３０９が、一定の大きさのリファレンス画像を生成した。これに対して、実施の形態４では、リファレンス画像生成部４０９が、フレーム間での目標画素数の増減に合わせた大きさのリファレンス画像を生成する。
【００８７】
図９は、この発明の実施の形態４による追尾装置を示すブロック図である。図９において、実施の形態４の追尾装置本体４００は、実施の形態３の追尾装置本体３００と同様の機能ブロック構成であるが、実施の形態３のリファレンス画像生成部３０９に代えて、リファレンス画像生成部４０９を有している。また、追尾装置本体４００は、リファレンス画像サイズ変更判定部４１４をさらに有している。
【００８８】
追尾装置本体４００の機能ブロック４０９，４１４以外の構成及び動作は、実施の形態３の追尾装置本体３００の構成及び動作と同様であり、ここでは、リファレンス画像生成部４０９及びリファレンス画像サイズ変更判定部４１４の動作についてのみ説明する。
【００８９】
リファレンス画像生成部４０９は、リファレンス画像生成処理と目標画素判定処理とを実行可能である。ここで、このリファレンス画像生成処理の概要は、実施の形態３のリファレンス画像生成部３０９の処理と同様である。リファレンス画像生成部４０９の目標画素判定処理は、実施の形態３のリファレンス画像生成部３０９と同様に式（８）を用いて目標画素の判定を行い、目標画素情報を目標画素情報蓄積部３１３に送る。
【００９０】
リファレンス画像生成部４０９と実施の形態３のリファレンス画像生成部３０９との違いは、生成する目標画素情報の内容である。リファレンス画像生成部３０９は、フレーム番号と目標画素座標とを目標画素情報とする。これに対して、リファレンス画像生成部４０９は、フレーム番号と目標画素座標との他に、目標画素数を目標画素情報に加える。さらに、リファレンス画像生成部４０９は、第２フレーム（過去の所定の時点のフレーム）での処理において目標画素数を基準目標画素数として目標画素情報蓄積部３１３に送る。
【００９１】
次に、リファレンス画像サイズ変更判定部４１４の第ｋフレームにおける動作について説明する。リファレンス画像生成部４０９の処理が終わると、リファレンス画像サイズ変更判定部４１４は、基準目標画素数と第ｋフレームにおける目標画素数とを目標画素情報蓄積部３１３から取得し、リファレンス画像の大きさを変更するか否かについて判定する。ここで、基準目標画素数をＳｂａｓｅとし、第ｋフレームにおける目標画素数をＳｋとし、倍率閾値をｒとすると、次の式（１１）を満たした場合に、リファレンス画像サイズ変更判定部４１４がサイズ変更を行うと判断する。なお、倍率閾値ｒは、予め設定された値である。
【００９２】
【数１１】
2011103040.tif 000013
【００９３】
リファレンス画像サイズ変更判定部４１４は、第ｋフレームにおいてサイズ変更を行うと判断した場合、変更倍率Ｒ（＝Ｓｋ／Ｓｂａｓｅ）をリファレンス画像生成部４０９に送る。次に、リファレンス画像サイズ変更判定部４１４がリファレンス画像の大きさを変更すると判断した場合のリファレンス画像生成部４０９の動作について説明する。
【００９４】
リファレンス画像生成部４０９は、リファレンス画像サイズ変更判定部４１４から変更倍率を受けると、生成したリファレンス画像を変更倍率に合わせて、拡大又は縮小する。ここで、変更倍率をＲとし、変更前のリファレンス画像の幅及び高さをそれぞれＷ及びＨとし、変更後のリファレンス画像の幅及び高さをそれぞれＷｎｅｗ及びＨｎｅｗとすると、Ｗｎｅｗ及びＨｎｅｗは、それぞれ次の式（１２）及び式（１３）のより算出可能となる。
【００９５】
【数１２】
2011103040.tif 000014
【数１３】
2011103040.tif 000015
【００９６】
また、リファレンス画像生成部４０９は、第ｋフレームにおける目標画素数Ｓｋを新たな基準目標画素数として目標画素情報蓄積部３１３に送り（基準目標画素数を更新）、目標領域蓄積部８及び加算対象画素情報蓄積部１０に蓄積されているデータを全て削除する。さらに、リファレンス画像生成部４０９は、第ｋ＋１フレームでの処理において、目標領域抽出部７が抽出した目標領域画像を初期リファレンス画像に設定し、加算対象画素情報蓄積部１０には、サイズ変更後の初期リファレンス画像の全画素を加算対象画素として登録する。
【００９７】
これらのリファレンス画像生成部４０９の処理は、リファレンス画像の大きさが変更された場合は、リファレンス画像の大きさが異なる過去の蓄積情報を全て破棄し、大きさ変更後の最初の目標領域を、第１フレームでの処理と同様に初期リファレンス画像に設定することを意味している。
【００９８】
上記のような実施の形態４の追尾装置によれば、リファレンス画像生成部４０９が、基準画素数に対するリファレンス画像内の目標画素数の割合が一定値以上又は一定値以下となった場合に、基準画素数に対するリファレンス画像内の目標画素数の割合に合わせてリファレンス画像の大きさを拡大・縮小する。この構成により、時間の経過と共に入力画像内の目標物の大きさが変化する場合であっても目標物の大きさに応じたリファレンス画像を生成することが可能となる。これにより、実施の形態３の効果に加えて、相関処理の精度をより向上させることができる、追尾精度をより向上させることができる。
【００９９】
実施の形態５．
実施の形態４では、リファレンス画像生成部４０９が、フレーム間での目標画素数の増減に合わせた大きさのリファレンス画像を生成した。これに対して、実施の形態５では、リファレンス画像生成部５０９が、フレーム間でのリファレンス画像内の目標画素幅及び目標画素高さの変化に合わせた大きさのリファレンス画像を生成する。
【０１００】
図１０は、この発明の実施の形態５による追尾装置を示すブロック図である。図１０において、実施の形態５の追尾装置本体５００は、実施の形態４の追尾装置本体４００と同様の機能ブロック構成であるが、実施の形態４のリファレンス画像生成部４０９に代えて、リファレンス画像生成部５０９を有している。また、追尾装置本体５００は、実施の形態４のリファレンス画像サイズ変更判定部４１４に代えて、リファレンス画像サイズ変更判定部５１４を有している。
【０１０１】
追尾装置本体５００の機能ブロック５０９，５１４以外の構成及び動作は、実施の形態４の追尾装置本体４００の構成及び動作と同様であり、ここでは、リファレンス画像生成部５０９及びリファレンス画像サイズ変更判定部５１４の動作についてのみ説明する。
【０１０２】
まず、リファレンス画像生成部５０９は、実施の形態４のリファレンス画像生成部４０９と同様にリファレンス画像生成処理と目標画素判定処理とを実行可能である。リファレンス画像生成部５０９のリファレンス画像生成処理は、リファレンス画像生成部４０９と同様である。
【０１０３】
次に、リファレンス画像生成部５０９の目標画素判定処理について説明する。リファレンス画像生成部５０９は、実施の形態４のリファレンス画像生成部４０９と同様に式（８）を用いて目標画素の判定を行い、目標画素を抽出する。そして、リファレンス画像生成部５０９は、リファレンス画像における目標物の幅と高さを抽出する。
【０１０４】
ここで、図１１は、図１０のリファレンス画像生成部５０９による目標物の幅及び高さの抽出例を説明するための説明図である。図１１では、着色した画素が目標画素を表している。図１１に示すように、目標物の幅は、目標画素の左端から右端までの画素数であり、図１１のＷが目標物の幅を表している。また、目標物の高さは、目標画素の上端から下端までの画素数であり、図１１のＨが目標の高さを表している。
【０１０５】
続いて、リファレンス画像生成部５０９は、フレーム番号と目標画素座標と目標物の幅及び高さとを、目標画素情報として目標画素情報蓄積部３１３に送る。さらに、リファレンス画像生成部５０９は、第２フレーム（過去の所定の時点のフレーム）における目標物の幅及び高さを、それぞれ基準目標幅及び基準目標高さとして目標画素情報蓄積部３１３に送る。
【０１０６】
次に、リファレンス画像サイズ変更判定部５１４の第ｋフレームにおける動作について説明する。リファレンス画像サイズ変更判定部５１４は、目標画素情報蓄積部３１３から、基準目標幅及び基準目標高さと、第ｋフレームにおける目標物の幅及び高さとを取得し、リファレンス画像の大きさを変更するか否かを判定する。基準目標幅をＷｂａｓｅとし、基準目標高さをＨｂａｓｅとし、第ｋフレームにおける目標幅をＷｋとし、目標高をＨｋとし、倍率閾値をｒとすると、次の式（１４）を満たした場合に、リファレンス画像サイズ変更判定部５１４がサイズ変更を行うと判断する。なお、倍率閾値ｒは、予め設定された値である。
【０１０７】
【数１４】
2011103040.tif 000016
【０１０８】
そして、リファレンス画像サイズ変更判定部５１４は、第ｋフレームにおいてサイズ変更を行うと判断した場合に、変更倍率ｒＷ＝Ｗｋ／Ｗｂａｓｅ及びｒＨ＝Ｈｋ／Ｈｂａｓｅをリファレンス画像生成部５０９に送る。
【０１０９】
次に、リファレンス画像サイズ変更判定部５１４がリファレンス画像の大きさを変更すると判断した場合のリファレンス画像生成部５０９の動作について説明する。リファレンス画像生成部５０９は、リファレンス画像サイズ変更判定部５１４から変更倍率を受けると、生成したリファレンス画像を変更倍率に合わせて拡大、又は縮小する。変更前のリファレンス画像の幅及び高さをそれぞれＷ及びＨとし、変更後のリファレンス画像の幅及び高さをそれぞれＷｎｅｗ及びＨｎｅｗとすると、Ｗｎｅｗ及びＨｎｅｗは、それぞれ次の式（１５）及び式（１６）により算出可能となる。
【０１１０】
【数１５】
2011103040.tif 000017
【数１６】
2011103040.tif 000018
【０１１１】
また、リファレンス画像生成部５０９は、第ｋフレームにおける目標幅Ｗｋ及び目標幅Ｈｋを新たな基準目標幅及び基準目標高さとして目標画素情報蓄積部３１３に送り（基準目標幅及び基準目標高さを更新）、目標領域蓄積部８及び加算対象画素情報蓄積部１０に蓄積されているデータを全て削除する。さらに、リファレンス画像生成部５０９は、第ｋ＋１フレームでの処理において、目標領域抽出部７が抽出した目標領域画像を初期リファレンス画像に設定し、加算対象画素情報蓄積部１０には、サイズ変更後の初期リファレンス画像の全画素を加算対象画素として登録する。
【０１１２】
上記のような実施の形態５の追尾装置によれば、基準目標幅及び基準目標高さに対するリファレンス画像内の目標画素幅及び目標画素高さの割合が一定値以上又は一定値以下になった場合に、その目標画素幅及び目標画素高さの割合に応じて、リファレンス画像の大きさを拡大・縮小する。この構成により、実施の形態３と同様の効果を得ることができるとともに、時間の経過と共に入力画像内の目標物の大きさが変化する場合であっても、目標物の大きさに応じたリファレンス画像を生成することができる。この結果、相関処理の精度をより向上させることができ、追尾精度をより向上させることができる。
【０１１３】
なお、実施の形態４では、リファレンス画像生成部４０９がリファレンス画像内の目標画素数の割合に基づくサイズ変更を実行し、実施の形態５では、リファレンス画像生成部５０９がリファレンス画像内の目標画素幅及び目標画素高さの割合に基づくサイズ変更を実行した。しかしながら、この例に限定するものではなく、追尾装置本体は、実施の形態４におけるリファレンス画像内の目標画素数の割合に基づくサイズ変更と、実施の形態５におけるリファレンス画像内の目標画素幅及び目標画素高さの割合に基づくサイズ変更との両方を実行可能であってもよく、状況に応じていずれかを選択的に実行してもよい。
【０１１４】
また、実施の形態１〜５では、追尾装置本体１００〜５００にセンサ部１が組み込まれていたが、センサ部は、追尾装置本体から独立した別構成であってもよい。
【符号の説明】
【０１１５】
１  センサ部、２  画像取得部、３  初期目標領域設定部、４  相関処理対象領域抽出部、５  相関処理部、６  追尾処理部、７  目標領域抽出部、８  目標領域蓄積部、９，２０９，３０９，４０９，５０９  リファレンス画像生成部、１０  加算対象画素情報蓄積部、１１  第１遅延処理部、１２  第２遅延処理部、１００，２００，３００，４００，５００  追尾装置本体、３１３  目標画素情報蓄積部、４１４，５１４  リファレンス画像サイズ変更判定部。
【図１】
2011103040.tif 000019
【図２】
2011103040.tif 000020
【図３】
2011103040.tif 000021
【図４】
2011103040.tif 000022
【図５】
2011103040.tif 000023
【図６】
2011103040.tif 000024
【図７】
2011103040.tif 000025
【図８】
2011103040.tif 000026
【図９】
2011103040.tif 000027
【図１０】
2011103040.tif 000028
【図１１】
2011103040.tif 000029
【図１２】
2011103040.tif 000030
【図１３】
2011103040.tif 000031