(57)【特許請求の範囲】
【請求項１】
画像の中から特定の目標を追尾する画像追尾装置において、
参照画像記憶手段に格納される前記目標の参照画像を読み出し、対象画像と前記参照画像との画像相関に基づいて、前記対象画像における前記目標の位置を検出する目標位置検出手段と、
前記目標位置検出手段によって特定された前記目標の位置の周辺に大きさ及び位置の異なる複数の参照画像候補の領域を設定する参照画像候補領域設定手段と、
前記複数の参照画像候補の領域の画像を各々参照画像候補として、それぞれの前記参照画像候補について前記目標の位置を含む前記対象画像の所定の周辺領域に対する前記参照画像候補の自己相関値分布を算出する自己相関値分布算出手段と、
前記参照画像候補ごとに、算出された前記自己相関値分布において自己相関値が最も高いピークを第１のピークとし、前記周辺領域の位置を示す座標軸に対して直交する座標を前記自己相関値とする３次元座標によって前記自己相関値分布を表したとき、前記自己相関値を前記第１のピークを中心として前記自己相関値分布が、所定の閾値で形成される面と交差する面を所定の範囲とし、前記第１のピークから前記所定の範囲の外にある最大の自己相関値を第２のピークとし、前記第２のピークの値に基づいて前記第１のピークの鋭さを評価し、前記第２のピークの値の最も小さい前記参照画像候補の評価を最も高くするピーク評価手段と、
前記ピーク評価手段において最も高い評価が得られた前記参照画像候補を次の前記参照画像として選択し、前記参照画像記憶手段に格納する参照画像選択手段と、
を有することを特徴とする画像追尾装置。
【請求項２】
前記自己相関値分布算出手段は、前記参照画像候補を前記所定の周辺領域内を移動させ、移動地点ごとに算出した前記自己相関値に基づいて前記自己相関値の分布を生成する、ことを特徴とする請求項１記載の画像追尾装置。
【請求項３】
画像の中から特定の目標を追尾する画像追尾方法において、
目標位置検出手段が、参照画像記憶手段に格納される前記目標の参照画像を読み出し、対象画像と前記参照画像との画像相関に基づいて、前記対象画像における前記目標の位置を検出する手順と、
参照画像候補領域設定手段が、前記目標位置検出手段によって特定された前記目標の位置の周辺に大きさ及び位置の異なる複数の参照画像候補の領域を設定する手順と、
自己相関値分布算出手段が、前記複数の参照画像候補の領域の画像を各々参照画像候補として、それぞれの前記参照画像候補について前記目標の位置を含む前記対象画像の所定の周辺領域に対する前記参照画像候補の自己相関値分布を算出する手順と、
ピーク評価手段が、前記参照画像候補ごとに、算出された前記自己相関値分布において自己相関値が最も高いピークを第１のピークとし、前記周辺領域の位置を示す座標軸に対して直交する座標を前記自己相関値とする３次元座標によって前記自己相関値分布を表したとき、前記自己相関値を前記第１のピークを中心として前記自己相関値分布が、所定の閾値で形成される面と交差する面を所定の範囲とし、前記第１のピークから前記所定の範囲の外にある最大の自己相関値を第２のピークとし、前記第２のピークの値に基づいて前記第１のピークの鋭さを評価し、前記第２のピークの値の最も小さい前記参照画像候補の評価を最も高くする手順と、
参照画像選択手段が、前記ピーク評価手段において最も高い評価が得られた前記参照画像候補を次の前記参照画像として選択し、前記参照画像記憶手段に格納する手順と、
を有することを特徴とする画像追尾方法。
【請求項４】
コンピュータに画像の中から特定の目標を追尾させるための画像追尾プログラムにおいて、
コンピュータを、
参照画像記憶手段に格納される前記目標の参照画像を読み出し、対象画像と前記参照画像との画像相関に基づいて、前記対象画像における前記目標の位置を検出する目標位置検出手段、
前記目標位置検出手段によって特定された前記目標の位置の周辺に大きさ及び位置の異なる複数の参照画像候補の領域を設定する参照画像候補領域設定手段、
前記複数の参照画像候補の領域の画像を各々参照画像候補として、それぞれの前記参照画像候補について前記目標の位置を含む前記対象画像の所定の周辺領域に対する前記参照画像候補の自己相関値分布を算出する自己相関値分布算出手段、
前記参照画像候補ごとに、算出された前記自己相関値分布において自己相関値が最も高いピークを第１のピークとし、前記周辺領域の位置を示す座標軸に対して直交する座標を前記自己相関値とする３次元座標によって前記自己相関値分布を表したとき、前記自己相関値を前記第１のピークを中心として前記自己相関値分布が、所定の閾値で形成される面と交差する面を所定の範囲とし、前記第１のピークから前記所定の範囲の外にある最大の自己相関値を第２のピークとし、前記第２のピークの値に基づいて前記第１のピークの鋭さを評価し、前記第２のピークの値の最も小さい前記参照画像候補の評価を最も高くするピーク評価手段、
前記ピーク評価手段において最も高い評価が得られた前記参照画像候補を次の前記参照画像として選択し、前記参照画像記憶手段に格納する参照画像選択手段、
として機能させることを特徴とする画像追尾プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像追尾装置及び画像追尾方法並びに画像追尾プログラムに関し、特に撮像装置などより取得した画像の中から特定の目標を追尾する画像追尾装置及び画像追尾方法並びに画像追尾プログラムに関する。
【背景技術】
【０００２】
カメラなどで捉えた画像から特定の目標を追跡する画像処理技術は、自動監視やスポーツの運動解析など、幅広い応用分野を有する基盤技術である。任意の対象を追尾する方法としては、従来から、画像の相関を利用する方法が主として用いられてきた。例えば、前の時刻の画像における目標物近傍を注視領域として、対象画像の注視領域近傍で参照画像（テンプレート）を用いて探索を行い、テンプレートと相関度が最も高い領域に目標が移動したとして目標を追尾する。
【０００３】
しかし、このような画像追尾方法では、目標物体の見え方に変化が起きた場合などに、追跡が難しくなる。図１１は、従来の目標画像の追尾方法を説明するための図である。
ここでは、対象の目標画像を人の顔とし、テンプレート画像９１０を用いてマッチング処理を行って、目標画像の追尾を行うとする。例えば、水平方向や垂直方向の運動であれば、目標画像９００の見え方は安定しており、マッチング処理を行って目標画像９００を捉えることができる。しかし、運動が前後方向の場合は目標画像が拡大画像９０１または縮小画像９０２に変化する。このため、相関値が低下し、追尾が不安定になる。同様に、運動が回転の場合も人の顔の見え方が変化する。図の例では、目標画像９０３、９０４、９０５と人の顔が右回りに回転するにつれてテンプレート画像９１０との相関値が低下し、目標の追尾が不安定となる。最後には、目標を見失ってしまう可能性が高くなる。
【０００４】
そこで、対象の特定の特徴に着目してテンプレート画像を切り替える方法が提案されている。その中に目標物体の運動を捉え、テンプレート画像を更新する方法がある（たとえば、非特許文献１参照）。
【非特許文献１】足立佳久、中村恭之、浅田稔、「アフィン運動記述を利用した明度相関による視覚追跡」、情報処理学会研究報告［コンピュータとイメージメディア］、１９９６年５月、Ｖｏｌ．９６、Ｎｏ．４７、ｐ．１０１−１０６
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述のように、従来から対象の３次元的な運動による見え方の変化に対しても安定的に目標追尾することが求められていた。
しかし、対象の特定の特徴に着目してテンプレート画像を切り替える方法では、対象によって異なる特徴を選択しなければならないという点に技術課題がある。また、目標物体の運動を捉えてテンプレート画像を切り替える方法では、目標物体の運動を捉えることに技術的課題がある。特に、目標物体が回転運動に加えて前後運動もしているなど、複雑な動きをしている場合には、目標物体の運動を捉えることは容易ではない。
【０００６】
本発明はこのような点に鑑みてなされたものであり、追跡対象の目標物体の特徴や運動を特定することなく、見え方の変化する対象画像を安定的に追尾することが可能な画像追尾装置及び画像追尾方法並びに画像追尾プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、目標位置検出手段と、参照画像候補領域設定手段と、自己相関値分布算出手段と、ピーク評価手段と、参照画像選択手段と、を有し、画像の中から特定の目標を追尾する画像追尾装置が提供される。目標位置検出手段は、参照画像記憶手段に格納される目標の参照画像を読み出し、対象画像と参照画像との画像相関に基づいて、対象画像における目標の位置を検出する。参照画像候補領域設定手段は、目標位置検出手段によって特定された目標の位置の周辺に大きさ及び位置の異なる複数の参照画像候補の領域を設定する。自己相関値分布算出手段は、複数の参照画像候補の領域の画像を各々参照画像候補として、それぞれの参照画像候補について目標の位置を含む対象画像の所定の周辺領域に対する参照画像候補の自己相関値分布を算出する。ピーク評価手段は、参照画像候補ごとに、算出された自己相関値分布において自己相関値が最も高いピークを抽出するとともに、抽出されたピークの鋭さを評価する。参照画像選択手段は、ピーク評価手段において最も高い評価が得られた参照画像候補を次の参照画像として選択し、参照画像記憶手段に格納する。
【０００８】
このような画像追尾装置によれば、目標位置検出手段は、参照画像と対象画像との画像相関に基づいて、対象画像における目標の位置を検出する。続いて参照画像候補領域設定手段は、この目標の位置周辺に複数の参照画像候補領域を設定する。自己相関値分布算出手段は、参照画像候補領域の画像を参照画像候補として、目標の位置を含む周辺領域に対する自己相関値分布を算出する。ピーク評価手段は、参照画像候補ごとに、自己相関値分布のピークを抽出し、そのピークの鋭さを評価する。参照画像選択手段は、最も高い評価が得られた参照画像候補を参照画像として選択し、参照画像記憶手段に格納する。こうして対象画像が入力されるごとに、上記処理が行われる。
【０００９】
また、上記課題を解決するために、上記の画像追尾装置と同様の処理手順を実行させる画像追尾方法と、コンピュータを上記画像追尾装置と同様に機能させる画像追尾プログラムと、が提供される。
【発明の効果】
【００１０】
開示の画像追尾装置、画像追尾方法、及び画像追尾プログラムによれば、目標の位置の周辺に大きさ及び位置の異なる複数の参照画像候補が用意される。そして、各参照画像候補の近傍の領域に対する自己相関値分布が算出され、最も鋭いピークを有する参照画像候補が次の参照画像に選択される。これにより、追跡対象の特徴や運動状態などに依存することなく、見え方が変化する目標に対する参照画像を適宜更新して目標を追尾することが可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、実施の形態に適用される発明の概念図である。
画像追尾装置１は、対象の画像データを記憶する対象画像記憶手段１ａ、参照画像を記憶する参照画像記憶手段１ｂ、画像データを入力する画像入力手段１ｃ、目標の位置を検出する目標位置検出手段１ｄ、参照画像候補の領域を設定する参照画像候補領域設定手段１ｅ、自己相関値の分布を算出する自己相関値分布算出手段１ｆ、自己相関値分布のピークを評価するピーク評価手段１ｇ、及び参照画像を選択する参照画像選択手段１ｈを有する。なお、画像追尾装置１の各処理手段は、コンピュータが画像追尾プログラムを実行することにより、その処理機能が実現される。
【００１２】
対象画像記憶手段１ａには、画像入力手段１ｃが入力した画像データが記録される。
参照画像記憶手段１ｂには、追尾対象となる目標の画像が、参照画像（テンプレート）として格納されている。
【００１３】
画像入力手段１ｃは、撮像装置などから画像データを取得し、必要であればデジタル画像データに変換した後、対象画像記憶手段１ａに格納する。デジタルの画像データが取得されたときは、変換の必要はない。
【００１４】
目標位置検出手段１ｄは、対象画像記憶手段１ａに格納された対象画像と、参照画像記憶手段１ｂに格納された参照画像とを読み出す。そして、対象画像と参照画像との画像相関に基づいて、対象画像における目標の位置を検出する。
【００１５】
参照画像候補領域設定手段１ｅは、目標位置検出手段１ｄによって検出された目標の位置周辺に、大きさ及び位置が異なる複数の参照画像候補領域を設定する。例えば、目標位置を含む所定の参照画像領域範囲の大きさと、この参照画像領域範囲を分割する複数のパターンを予め決めておく。これを検出された目標位置に適用し、用意された複数のパターンを無作為に選択して参照画像領域を設定する。パターンの選択は、乱数などを用いて行う。なお、全てのパターンの参照画像候補領域を用意するとしてもよい。
【００１６】
自己相関値分布算出手段１ｆは、参照画像候補領域設定手段１ｅによって設定された複数の参照画像候補の領域の画像データを対象画像から抽出し、参照画像候補とする。そして、全ての参照画像候補について、対象画像の目標位置を含む所定の周辺領域に対する参照画像候補の自己相関値分布を算出する。なお、自己相関値分布を算出する周辺領域は、少なくとも、最大の参照画像候補領域を含む大きさとし、例えば、その範囲に予め決められた領域を付加して決定する。
【００１７】
ピーク評価手段１ｇは、各参照画像候補について算出された自己相関値分布から、それぞれのピークを抽出する。ピークは、最も自己相関値が高いところであり、これを第１のピークと呼ぶ。そして、それぞれの参照画像候補の第１のピークの鋭さを評価する。第１のピークとその周辺との自己相関値が大きいものほど、ピークが鋭いとする。例えば、第１のピークの自己相関値と、第１のピークの算出点に隣接する地点で算出された自己相関値との差が大きいほどピークが鋭いと評価する。また、第１のピークの算出点と所定の自己相関値、例えばピーク値の半分の値が算出された地点との距離を算出し、距離が短いほどピークが鋭いと評価することもできる。その他、公知のピークの鋭さを評価する方法が適宜選択される。また、第１のピークから所定の範囲の外で最大のピークを第２のピークとして検出し、第２のピークの値を評価に加えるとすることもできる。
【００１８】
参照画像選択手段１ｈは、ピーク評価手段１ｇにおいて最も高い評価が得られた参照画像候補を次の参照画像として選択し、参照画像記憶手段１ｂに格納する。例えば、第１のピークの鋭さの評価が最も高いもの、すなわち、第１のピークの最も鋭い参照画像候補を選択する。また、第２のピークの値が最も小さいものを選択するとしてもよい。第２のピークの自己相関値が大きいと、ノイズ成分が混入している可能性が高い。また、ピークの鋭さが一定の評価値を超えているものから、所定の選択ルールに基づいて選択するとしてもよい。例えば、前回の参照画像に対応する画像を優先するとしてもよい。このような選択ルールは、システムに応じて適宜設定される。
【００１９】
このような構成の画像追尾装置１の動作及び画像追尾方法について説明する。
画像入力手段１ｃによって対象の画像データが入力され、対象画像記憶手段１ａに格納されると、目標位置検出手段１ｄは、参照画像記憶手段１ｂに格納される参照画像と対象画像の画像相関に基づいて目標の位置を検出する。参照画像候補領域設定手段１ｅは、検出された目標の位置の周辺に大きさ及び位置の異なる複数の参照画像候補領域を設定する。続いて、自己相関値分布算出手段１ｆは、参照画像候補領域について対象の画像データから切り出された画像を参照画像候補として、目標位置周辺の所定の範囲と参照画像候補の自己相関値分布を算出する。ピーク評価手段１ｇは、各参照画像候補について算出された自己相関値分布のピーク（第１のピーク）を検出し、その鋭さを評価する。また、第２のピークの大きさを検出し、その値を第１のピークの鋭さの評価に加味してもよい。参照画像選択手段１ｈは、最も評価の高い参照画像候補を参照画像に選択し、参照画像記憶手段１ｂに格納する。次回の目標位置検出手段１ｄによる目標位置検出は、この参照画像を用いて行われる。
【００２０】
上記の画像追尾装置１によれば、参照画像が適宜選択されるので、目標の見え方が変化した場合にも対応することができる。この結果、追跡対象の特徴や運動状態などに依存することなく、見え方が変化する目標に対する参照画像を適宜更新して目標を追尾することが可能となる。
【００２１】
以下、実施の形態を、人の顔の追尾に適用した場合を例に図面を参照して詳細に説明する。なお、以下の説明では、参照画像をテンプレートと表記する。
図２は、実施の形態の画像追尾装置の処理部の構成例を示すブロック図である。
【００２２】
画像追尾装置１００は、記憶部１１０、画像入力部１２０、目標位置検出部１３０、画像相関算出部１４０、及びテンプレート更新部１５０を有し、カメラ２００から入力される画像データから目標の人の顔を検出して追尾する。各処理手段は、コンピュータが画像追尾プログラムを実行することにより、その処理機能が実現される。また、画像入力部１２０、画像相関算出部１４０などの処理は、ハードウェアによって行われるとしてもよい。
【００２３】
記憶部１１０には、画像データ１１１、テンプレート画像１１２、及び目標現在位置１１３が格納される。画像データ１１１は、画像入力部１２０が取得した対象画像の画像データである。テンプレート画像１１２は、目標位置検出に用いるテンプレート画像である。目標現在位置１１３は、目標位置検出部１３０によって検出された対象画像上の目標の位置を示す位置情報である。
【００２４】
画像入力部１２０は、カメラ２００より取得した画像データを必要に応じてデジタル変換し、画像データ１１１として記憶部１１０に格納する。
目標位置検出部１３０は、対象の画像データ１１１とテンプレート画像１１２の画像相関に基づいて対象画像における目標の位置を検出する。前回の対象画像で検出された目標位置の周辺の領域画像を指定し、テンプレート画像１１２を用いて画像相関算出部１４０に対し、画像相関値の算出を依頼する。そして、得られた画像相関値に基づいて、最も相関値の高い位置を決定し、その位置を追跡対象の目標現在位置１１３として記憶部１１０に格納する。以下、この処理をテンプレートマッチング処理と呼ぶ。
【００２５】
画像相関算出部１４０は、領域画像抽出部１４１と、画像相関演算部１４２とを有する。領域画像抽出部１４１は、対象画像の全画像データの中から、指定された領域の画像データを抽出する。画像相関演算部１４２は、領域画像抽出部１４１が抽出した画像データと、指定された画像データの画像相関を算出する。
【００２６】
テンプレート更新部１５０は、テンプレート候補設定部１５１、ピーク抽出部１５２、及びテンプレート選択部１５３を有する。テンプレート候補設定部１５１は、参照画像候補の設定とその自己相関値分布を生成する。目標現在位置１１３周辺に複数のテンプレート候補領域を設定するとともに、目標現在位置の周辺領域を領域画像に指定する。そして、テンプレート候補領域の画像をテンプレートとして画像相関算出部１４０に画像相関算出を指示し、自己相関値分布を得る。ピーク抽出部１５２は、算出された自己相関値分布に基づいて、各テンプレート候補の第１のピークと第２のピークとを抽出する。テンプレート選択部１５３は、抽出されたピークを評価し、テンプレート候補からテンプレートとする候補を選択し、その画像をテンプレート画像１１２として記憶部１１０に格納する。
【００２７】
ここで、画像追尾装置１００のハードウェア構成について説明する。図３は、画像追尾装置のハードウェア構成例を示すブロック図である。
画像追尾装置１００は、ＣＰＵ（Central Processing Unit）１０１によって装置全体が制御されている。ＣＰＵ１０１には、バス１０７を介してＲＡＭ（Random Access Memory）１０２、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）１０３、グラフィック処理装置１０４、入力インタフェース１０５、及び通信インタフェース１０６が接続されている。
【００２８】
ＲＡＭ１０２には、ＣＰＵ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、ＣＰＵ１０１による処理に必要な各種データが格納される。ＨＤＤ１０３には、ＯＳやアプリケーションのプログラムが格納される。グラフィック処理装置１０４には、モニタ１０８が接続されており、ＣＰＵ１０１からの命令に従って画像をモニタ１０８の画面に表示させる。入力インタフェース１０５には、キーボード１０９ａやマウス１０９ｂが接続されており、キーボード１０９ａやマウス１０９ｂから送られてくる信号を、バス１０７を介してＣＰＵ１０１に送信する。通信インタフェース１０６は、図示しないネットワークに接続されており、他装置との間でデータの送受信を行う。
【００２９】
このようなハードウェア構成によって、本実施の形態の処理機能を実現することができる。
以下、画像追尾装置１００の動作及び画像追尾方法を、具体例を用いて説明する。
【００３０】
カメラ２００から取得された画像データは、画像入力部１２０でデジタルデータに変換された後、記憶部１１０に画像データ１１１として格納される。目標位置検出部１３０は、画像データ１１１を読み出し、テンプレート画像１１２を用いたテンプレートマッチング処理を行う。最も相関値の高い位置を決定し、その位置を追跡対象の目標現在位置１１３として記憶部１１０に格納する。
【００３１】
続いて、テンプレート更新部１５０によるテンプレートの更新処理が開始される。まず、テンプレート候補設定部１５１により、目標現在位置１１３の周辺で、大きさ、位置の異なる複数のテンプレート候補領域を設定する。例えば、目標現在位置１１３を含む所定の参照画像領域範囲に含まれるテンプレート候補領域のパターンからいくつか無作為に選択する。図４は、テンプレート候補領域とそのテンプレート候補の例を示した図である。＜Ａ＞は、テンプレート候補領域の設定、＜Ｂ＞は、そのテンプレート候補を示している。
【００３２】
＜Ａ＞テンプレート候補領域設定の例では、目標現在位置１１３に対応する目標検出に用いられたテンプレート画像１１２の画像領域を、画像領域を実線で囲まれた現在目標領域３０１としている。テンプレート候補領域設定処理では、この現在目標領域３０１の周辺（なお、周辺には現在目標領域３０１内も含まれる）に複数のテンプレート候補領域を設定する。＜Ｂ＞は、設定されたテンプレート候補領域に対応する画像、すなわち、テンプレート候補である。
【００３３】
図の例では、第１のテンプレート候補領域として、現在目標領域３０１と同じ領域が設定される。このときの第１のテンプレート候補の画像は、画像３０１ａになる。第２のテンプレート候補領域は、現在目標領域３０１の上部１／４を切り取った領域で、短い鎖線で囲まれたテンプレート候補領域３０２である。このときの第２のテンプレート候補の画像は、画像３０２ａになる。第３のテンプレート候補領域は、現在目標領域３０１の下部１／４を切り取った領域で、短い鎖線で囲まれたテンプレート候補領域３０３である。このときの第３のテンプレート候補の画像は、画像３０３ａになる。第４のテンプレート候補領域は、現在目標領域３０１の上下部をそれぞれ１／４を切り取った領域で、短い鎖線で囲まれたテンプレート候補領域である。このときの第４のテンプレート候補の画像は、画像３０３ｂになる。第５のテンプレート候補領域は、現在目標領域３０１に対し、右側と下側に所定の幅の領域を付加した領域で、１点鎖線で囲まれたテンプレート候補領域３０４である。このときの第５のテンプレート候補の画像は、画像３０４ａになる。第６のテンプレート候補領域は、現在目標領域３０１に対し、右側と上側に所定の幅の領域を付加した領域で、２点鎖線で囲まれたテンプレート候補領域３０５である。このときの第６のテンプレート候補の画像は、画像３０５ａになる。第７のテンプレート候補領域は、現在目標領域３０１に対し、左側と下側に所定の幅の領域を付加した領域で、長い鎖線で囲まれたテンプレート候補領域３０６である。このときの第７のテンプレート候補の画像は、画像３０６ａになる。第８のテンプレート候補領域は、現在目標領域３０１に対し、上下左右に所定の幅の領域を付加した領域で、点線で囲まれたテンプレート候補領域３０７である。このときの第８のテンプレート候補の画像は、画像３０７ａになる。
【００３４】
こうして、目標現在位置１１３の周辺に、大きさや位置の異なる８つのテンプレート候補領域及びテンプレート候補が設定される。なお、図は一例であり、テンプレート候補領域のパターンや、候補として選択される個数は適用対象に応じて適宜設定される。
【００３５】
続いて、選定されたテンプレート候補について、現在目標領域３０１を含む所定の周辺領域に対する自己相関値分布を算出する。
図５は、自己相関値分布の算出方法を示した図である。
【００３６】
対象画像の画像データ４００に対し、テンプレート候補の自己相関値分布を算出するための周辺領域４１０が設定される。図では、画像データ４００の１画素を点線で囲んだブロックで表現している。周辺領域４１０は、起点の画素の座標の位置をＳ（１，１）４１１、終点の画素の位置をＳ（ｍ，ｎ）４１２とする列方向に１〜ｍ、行方向に１〜ｎ（ｍ，ｎは任意の整数）の画素が並ぶ領域であるとする。自己相関値分布の算出は、周辺領域４１０の各地点におけるテンプレート候補画像３０１ａと、テンプレート候補画像３０１ａと同じ大きさの周辺領域４１０の画像との相関値を算出する。例えば、まず、起点Ｓ（１，１）４１１にテンプレート候補画像３０１ａを配置し、同じ大きさの周辺領域４１０の画像との相関値を算出する。次に、テンプレート候補画像３０１ａを１画素、水平または垂直方向にずらし、その地点でテンプレート候補画像３０１ａと、同じ大きさの周辺領域４１０の画像との相関値を算出する。こうして、終点Ｓ（ｍ，ｎ）４１２までテンプレート候補画像３０１ａを順次移動し、各地点で相関値を算出することによって、自己相関値分布が算出される。
【００３７】
図６は、自己相関値分布の一例を示した図である。
図は、図５の周辺領域４１０を順次移動して算出した自己相関値の分布を示したものであり、自己相関値の値を明度で表している。すなわち、自己相関値が高くなるほど明度が高くなり、最も自己相関値の高い地点の明度が最も高くなる。また、自己相関値が低くなるに従って明度も低くなる。通常は、最も相関の高いところ、すなわちピークから距離が離れるに従って自己相関値が低くなるという分布が得られる。また、自己相関値のピークが鋭いほど、テンプレート候補が少しでもピークの位置を外れれば、自己相関値が低くなるということである。したがって、テンプレートとしては最適である。そこで、自己相関値が最も高くなるピークを抽出する。そして、そのピークが最も鋭いテンプレート候補をテンプレートに選択する。
【００３８】
図７は、テンプレート候補の自己相関値分布の例を示した図である。（Ａ）、（Ｂ）、（Ｃ）はそれぞれ異なるテンプレート候補の自己相関値分布を示した図である。
図の例では、目標位置の周辺に、大きさの異なるテンプレート３１１、３１２、３１３を設定したとしている。（Ａ）は、テンプレート候補３１１の自己相関値の分布、（Ｂ）は、テンプレート候補３１２の自己相関値の分布、（Ｃ）は、テンプレート候補３１３の自己相関値の分布である。
【００３９】
図の例では、（Ａ）、（Ｂ）、（Ｃ）のうち、ピークが最も鋭いテンプレート候補３１２がテンプレートに選択される。なお、ピークの鋭さは、例えば、ピークが検出された地点に隣接する地点で算出された自己相関値と、ピーク地点の自己相関値との差の大きさに応じて決める。また、所定の自己相関値が得られた地点と、ピークが検出された地点の距離に応じて決める。なお、簡単のため、２次元の自己相関値分布で説明したが、実際には、ｎ画素×ｍ画素の領域に対応する３次元の自己相関値分布になる。
【００４０】
また、最も自己相関値の高いピークを第１のピークとし、第１のピークの周辺の、第１のピークから所定の範囲の外で最大のピークを第２のピークとして抽出し、第２のピークを用いて次のテンプレートを選択するとしてもよい。
【００４１】
図８は、第１のピークと第２のピークの関係を示した図である。図の３次元座標は、周辺領域の位置を表す画素の行方向と列方向とを指示する座標と、自己相関値を表す座標とが互いに直交する。図の例では、水平方向、奥行き方向は、自己相関値の算出に用いたｎ×ｍ画素の周辺領域４０１内の位置を表している。また、垂直方向は、その地点における自己相関値を表している。
【００４２】
図に示したように、第１のピークは、周辺領域４０１の中で最も自己相関値が高いところになる。第２のピークを検出する範囲は、所定の閾値で形成される閾値面と自己相関値分布とが交差する面に対応する範囲の外とする。図の例では、自己相関値が０．５のところに閾値面が形成されている。この閾値面と、自己相関値分布とが交差する面の範囲の外側において、最も高い自己相関値が第２のピークとして抽出される。
【００４３】
こうして、全てのテンプレート候補の第２のピークを抽出して比較され、第２のピークの値が最も小さいテンプレート候補がテンプレートに選択される。
図９は、目標が３次元的に動作したときのテンプレートの変化例を示した図である。
【００４４】
たとえば、目標の画像が安定画像５００から目標が拡大された画像に変化したとする。このとき、テンプレート画像５１０を用いたテンプレートマッチングによって得られた目標現在位置周辺で複数のテンプレート候補が作成され、自己相関値分布に基づく評価が行われる。複数のテンプレート候補には、元のテンプレート画像５１０よりも拡大された領域がテンプレート候補領域に設定されたテンプレート候補５０１も用意される。自己相関値分布の評価によって、テンプレート候補５０１が次のテンプレートに選択されることは自明である。こうして、テンプレート候補５０１が選択され、次のテンプレートになる。さらに、目標の画像が拡大されたときは、テンプレート候補領域をさらに拡大して生成されたテンプレート候補５０２がテンプレートに選択される。一方、縮小される場合は、逆に、テンプレート画像５１０よりも小さい範囲に設定されたテンプレート候補領域に対応するテンプレート候補５０３が選択される。
【００４５】
一方、目標が回転する場合は、テンプレートに選択されるテンプレート候補は、テンプレート候補領域が前回のテンプレート範囲と変わらないものである。しかし、テンプレート候補画像は、対象画像から取得されるので、テンプレート候補画像５０４，５０５，５０６，５０７と順次回転する目標の画像がテンプレートに設定される。このように、テンプレートが再設定されるので、安定的に目標が追尾される。
【００４６】
もちろん、拡大／縮小と、回転とが組み合わされたときも、同様にしてテンプレートが再設定され、安定的に目標を追尾することができる。
さらに、目標の一部が障害物によって隠れたような場合にも安定的に目標を追尾することができる。例えば、目標の下部が障害物によって隠れたような場合、図４に示したテンプレート候補３０３ａがテンプレートに選択される。こうして、次の目標検出処理では、障害物が取り除かれたテンプレートを用いてテンプレートマッチングを行うことができる。
【００４７】
次に、画像追尾装置１００によって実行される画像追尾方法の処理手順について説明する。図１０は、画像追尾処理の手順を示したフローチャートである。
［ステップＳ０１］  カメラ２００などが撮影した目標の検出を行う対象の画像データが入力され、画像データ１１１として記憶部１１０に格納される。画像データがデジタルデータでないときは、デジタルデータに変換される。
【００４８】
［ステップＳ０２］  画像相関による目標の追跡処理が行われる。具体的には、テンプレート画像１１２に基づいて対象の画像データとのテンプレートマッチングが行われ、目標の現在位置が特定される。目標現在位置１１３は、記憶部１１０に記憶される。
【００４９】
［ステップＳ０３］  目標現在位置１１３によって特定される目標の位置の周辺で大きさや位置の異なる複数のテンプレート候補領域が設定される。そして、テンプレート候補領域の対象画像が読み出され、テンプレート候補が生成される。
【００５０】
［ステップＳ０４］  目標現在位置１１３によって特定される目標の位置を含む所定の周辺領域が設定される。そして、所定の周辺領域に対するテンプレート候補の自己相関値分布が算出される。
【００５１】
［ステップＳ０５］  全てのテンプレート候補について自己相関値分布が得られたかどうかが判定される。全てのテンプレート候補について得られていないときは、ステップＳ０４に戻って、未処理のテンプレート候補について自己相関値分布を算出する。終了していたときは、次のステップへ処理を進める。
【００５２】
［ステップＳ０６］  全テンプレート候補について自己相関値分布が算出されたときは、自己相関値分布に基づいて各テンプレート候補を評価し、最も評価の高いテンプレート候補を次処理のテンプレートに選択する。具体的には、自己相関値分布から、第１のピークと、第２のピークとを抽出する。第１のピークは、最も自己相関値が高い地点になる。第２のピークは、第１のピークから所定の範囲の外で、最も自己相関値が高い地点になる。そして、第２のピークの値の最も小さいテンプレート候補の画像をテンプレート画像１１２として記憶部１１０に格納する。なお、第１のピークだけでテンプレート候補の評価を行うとしてもよい。
【００５３】
以上の処理手順が実行されることにより、目標の追尾処理が行われるごとに、複数のテンプレート候補が生成され、最も評価の高いテンプレート候補が次の処理のためのテンプレートに再設定される。これにより、目標を安定的に追尾することが可能となる。
【００５４】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、画像追尾装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。
【００５５】
プログラムを流通させる場合には、たとえば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【００５６】
プログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【００５７】
以上説明した形態を含む実施形態に関し、更に以下の付記を開示する。
（付記１）  画像の中から特定の目標を追尾する画像追尾装置において、
参照画像記憶手段に格納される前記目標の参照画像を読み出し、対象画像と前記参照画像との画像相関に基づいて、前記対象画像における前記目標の位置を検出する目標位置検出手段と、
前記目標位置検出手段によって特定された前記目標の位置の周辺に大きさ及び位置の異なる複数の参照画像候補の領域を設定する参照画像候補領域設定手段と、
前記複数の参照画像候補の領域の画像を各々参照画像候補として、それぞれの前記参照画像候補について前記目標の位置を含む前記対象画像の所定の周辺領域に対する前記参照画像候補の自己相関値分布を算出する自己相関値分布算出手段と、
前記参照画像候補ごとに、算出された前記自己相関値分布において前記自己相関値が最も高いピークを抽出するとともに、抽出された前記ピークの鋭さを評価するピーク評価手段と、
前記ピーク評価手段において最も高い評価が得られた前記参照画像候補を次の前記参照画像として選択し、前記参照画像記憶手段に格納する参照画像選択手段と、
を有することを特徴とする画像追尾装置。
【００５８】
（付記２）  前記ピーク評価手段は、抽出された前記ピークに隣接する地点の前記自己相関値と前記ピークの自己相関値との差、あるいは、前記ピークが検出された地点から所定の前記自己相関値の地点までの距離に応じて前記ピークの鋭さを評価し、前記隣接する前記自己相関値との差が大きい前記参照画像候補、あるいは、前記距離が小さい前記参照画像候補の評価を最も高くする、
ことを特徴とする付記１記載の画像追尾装置。
【００５９】
（付記３）  前記自己相関値分布算出手段は、前記参照画像候補を前記所定の周辺領域内を移動させ、移動地点ごとに算出した前記自己相関値に基づいて前記自己相関値の分布を生成する、ことを特徴とする付記１記載の画像追尾装置。
【００６０】
（付記４）  前記ピーク評価手段は、前記自己相関値が最も高いピークを第１のピークとし、前記第１のピークから所定の範囲の外にある最大の自己相関値を第２のピークとし、前記第２のピークの値に基づいて前記第１のピークの鋭さを評価し、前記第２のピーク値の最も小さい前記参照画像候補の評価を最も高くする、
ことを特徴とする付記１記載の画像追尾装置。
【００６１】
（付記５）  前記ピーク評価手段は、前記周辺領域の位置を示す座標軸に対して直交する座標を前記自己相関値とする３次元座標によって前記自己相関値分布を表したとき、前記自己相関値を前記第１のピークを中心として前記自己相関値分布が、所定の閾値で形成される面と交差する面を前記所定の範囲とする、ことを特徴とする付記４記載の画像追尾装置。
【００６２】
（付記６）  前記参照画像候補領域設定手段は、前記目標位置を含む所定の参照画像領域範囲の大きさと、前記参照画像領域範囲を分割する複数のパターンを予め決めておき、前記複数のパターンを無作為に選択して前記参照画像候補の領域を設定する、ことを特徴とする付記１記載の画像追尾装置。
【００６３】
（付記７）  画像の中から特定の目標を追尾する画像追尾方法において、
目標位置検出手段が、参照画像記憶手段に格納される前記目標の参照画像を読み出し、対象画像と前記参照画像との画像相関に基づいて、前記対象画像における前記目標の位置を検出する手順と、
参照画像候補領域設定手段が、前記目標位置検出手段によって特定された前記目標の位置の周辺に大きさ及び位置の異なる複数の参照画像候補の領域を設定する手順と、
自己相関値分布算出手段が、前記複数の参照画像候補の領域の画像を各々参照画像候補として、それぞれの前記参照画像候補について前記目標の位置を含む前記対象画像の所定の周辺領域に対する前記参照画像候補の自己相関値分布を算出する手順と、
ピーク評価手段が、前記参照画像候補ごとに、算出された前記自己相関値分布において前記自己相関値が最も高いピークを抽出するとともに、抽出された前記ピークの鋭さを評価する手順と、
参照画像選択手段が、前記ピーク評価手段において最も高い評価が得られた前記参照画像候補を次の前記参照画像として選択し、前記参照画像記憶手段に格納する手順と、
を有することを特徴とする画像追尾方法。
【００６４】
（付記８）  コンピュータに画像の中から特定の目標を追尾させるための画像追尾プログラムにおいて、
コンピュータを、
参照画像記憶手段に格納される前記目標の参照画像を読み出し、対象画像と前記参照画像との画像相関に基づいて、前記対象画像における前記目標の位置を検出する目標位置検出手段、
前記目標位置検出手段によって特定された前記目標の位置の周辺に大きさ及び位置の異なる複数の参照画像候補の領域を設定する参照画像候補領域設定手段、
前記複数の参照画像候補の領域の画像を各々参照画像候補として、それぞれの前記参照画像候補について前記目標の位置を含む前記対象画像の所定の周辺領域に対する前記参照画像候補の自己相関値分布を算出する自己相関値分布算出手段、
前記参照画像候補ごとに、算出された前記自己相関値分布において前記自己相関値が最も高いピークを抽出するとともに、抽出された前記ピークの鋭さを評価するピーク評価手段、
前記ピーク評価手段において最も高い評価が得られた前記参照画像候補を次の前記参照画像として選択し、前記参照画像記憶手段に格納する参照画像選択手段、
として機能させることを特徴とする画像追尾プログラム。
【図面の簡単な説明】
【００６５】
【図１】実施の形態に適用される発明の概念図である。
【図２】実施の形態の画像追尾装置の処理部の構成例を示すブロック図である。
【図３】画像追尾装置のハードウェア構成例を示すブロック図である。
【図４】テンプレート候補領域とそのテンプレート候補の例を示した図である。
【図５】自己相関値分布の算出方法を示した図である。
【図６】自己相関値分布の一例を示した図である。
【図７】テンプレート候補の自己相関値分布の例を示した図である。
【図８】第１のピークと第２のピークの関係を示した図である。
【図９】目標が３次元的に動作したときのテンプレートの変化例を示した図である。
【図１０】画像追尾処理の手順を示したフローチャートである。
【図１１】従来の目標画像の追尾方法を説明するための図である。
【符号の説明】
【００６６】
１  画像追尾装置
１ａ  対象画像記憶手段
１ｂ  参照画像記憶手段
１ｃ  画像入力手段
１ｄ  目標位置検出手段
１ｅ  参照画像候補領域設定手段
１ｆ  自己相関値分布算出手段
１ｇ  ピーク評価手段
１ｈ  参照画像選択手段
【図１】
0005181781.tif 000002
【図２】
0005181781.tif 000003
【図３】
0005181781.tif 000004
【図４】
0005181781.tif 000005
【図５】
0005181781.tif 000006
【図６】
0005181781.tif 000007
【図７】
0005181781.tif 000008
【図８】
0005181781.tif 000009
【図９】
0005181781.tif 000010
【図１０】
0005181781.tif 000011
【図１１】
0005181781.tif 000012