(57)【要約】【課題】原画像に設定した小ブロックを誤対応することなく追跡可能な画像追跡装置を提供する。【解決手段】撮像装置１からの画像データをフレームごとにフレームメモリ２に記憶し、ここに記憶された１フレームの画像データを原画像として、第１の演算装置３で複数の小ブロックを分割し、次のフレームから各小ブロックと対応する領域を特定する。画像変換装置４で原画像データの位置を並進シフトさせて変換し、第２の演算装置５で、小ブロックを参照領域として、変換画像上で対応の領域を特定する。特定された領域の位置は、原画像をシフトさせるためのシフト量と対応関係があれば、判定装置６は、その小ブロックを追跡可能な小ブロックと判定し、第１の演算手段３は特定した領域を小ブロックの対応領域として保持する。これによって誤対応可能な小ブロックでの追跡が行われなくなる。【選択図】        図１
2004164427.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段により取得された画像データをフレームごとに記憶する記憶手段と、
前記記憶手段に記憶された原画像データから追跡するデータ領域を設定し、前記設定されたデータ領域を対象として、連続するフレームから前記データ領域に対応する対応領域を特定する第１の演算手段とを有する画像追跡装置において、
前記記憶手段に記憶された前記原画像データの位置を幾何変換する画像変換手段と、
前記変換された変換画像データより、前記設定されたデータ領域と対応する対応領域を特定する第２の演算手段と、
前記第２の演算手段によって特定された対応領域の位置に基づいて、前記データ領域は追跡可能な領域か否かを判定する判定手段とを備えたことを特徴とする画像追跡装置。
【請求項２】
前記画像変換手段は、前記原画像データの位置を所定量、並進シフトさせることによって幾何変換を行うことを特徴とする請求項１に記載の画像追跡装置。
【請求項３】
前記画像変換手段は、前記原画像データの位置を所定量、回転させることによって幾何変換を行うことを特徴とする請求項１または２に記載の画像追跡装置。
【請求項４】
前記画像変換手段は、前記原画像データの位置を所定量、拡大または縮小させることによって幾何変換を行うことを特徴とする請求項１から３のいずれか１つに記載の画像追跡装置。
【請求項５】
前記画像変換手段は、前記変換を行う際には、前記原画像データに白色ノイズを混入させていることを特徴とする請求項１から４のいずれか１つに記載の画像追跡装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像追跡装置に関する。
【０００２】
【従来の技術】
【特許文献１】特開２０００−２５９８３８号公報
従来、撮像装置からの画像データに基づいて、画像上で所定の領域を追跡する場合には、所定の領域の画素値分布をテンプレートとして相関演算を行って連続したフレームから、対応領域の位置特定を行うようになっている。この場合は、次のフレームには、テンプレートと同じ形状の領域が存在する必要があるから、画像形状が変化した場合には、追跡することができない。
これに対して、特開２０００−２５９８３８号公報においては、画像データを複数の小ブロックに分割して、小ブロックごとに相関演算を行うとともに、演算された相関値に対して評価を行い、有効な相関値を有する小ブロックのみを追跡する領域とする技術が開示されている。ここで、相関値の有効性は、最も相関値の高い小ブロックの値を基準として、その相関値との差がある閾値以内であれば有効としている。
【０００３】
図６は、小ブロックでの追跡処理の説明図である。
図６の（ａ）は、時刻ｔに取得した画像であり画像Ｉ１とし、（ｂ）は、続く時刻ｔ＋ΔＴで取得した画像で画像Ｉ２とする。（ａ）の画像Ｉ１を原画像として、小ブロックＷ１（ｘ１、ｙ１）を設定して、追跡する場合、（ｂ）の画像Ｉ２より、小ブロックＷ１と一致度が最も高くなる箇所を探索しその位置を特定する。一致度として、小ブロックＷ１の画素値分布をテンプレートとした際の正規化相関による相関値やＳＡＤ値（画像濃度値の差の絶対値和）が用いられる。
【０００４】
一致度が最も高くなる箇所を特定するためには、画像Ｉ２の全画像領域を探索領域に設定して相関値やＳＡＤ値を算出してもよいが、計算量が膨大になることから、画像Ｉ２中における小ブロックＷ１の位置（ｘ１、ｙ１）近傍に探索領域Ｓを設定し、この探索領域Ｓ中より、小ブロックＷ１と対応する対応領域を探索する。この場合、探索領域Ｓ中を、小ブロックＷ１の画素値分布を参照画像としてラスタースキャンすることにより、一致度が最も高い領域Ｗ２（ｘ２、ｙ２）を特定し、小ブロックＷ１の対応領域とする。この小ブロックは、原画像に複数設定されるから、一部の小ブロックでの追跡ができなくても、追跡可能な領域から、小ブロック内に含まれる対象物体を一部形状が変わっても検出可能になる。
【０００５】
【発明が解決しようとする課題】
しかしながら一方で、画像データを複数の小ブロックに分割したため、一部の小ブロックでは、特徴をもった画像情報が失われる可能性がある。この結果、小ブロックを含む周辺領域における画素値が均一になったり、単一方向のみ画素値が分布したりする状況が生ずる。
図７は、原画像Ｉ１内の小ブロックＷ１を含む周辺領域に直線のパターンのみが生じた場合を示している。
図８は、小ブロックＷ１を含む周辺領域に、特徴の無い均一なパターンが生じた場合を示している。
【０００６】
図７の場合では、小ブロックＷ１に含まれるパターンがＹ方向に均一であるため、その対応領域を（ｂ）の画像Ｉ２中の探索領域Ｓ中より求めると、破線のように操作してもＹ方向の位置が特定できないという窓問題が生じる。また図８の場合では、小ブロックＷ１を含む周辺領域の濃度値が均一のため、（ｂ）の画像Ｉ２中の探索領域Ｓ中からは、小ブロックＷ１の対応領域を特定することが不可能である。
【０００７】
しかしながら、相関演算では、上記いずれの場合でも、テンプレートと類似したパターン、およびテクスチャが探索領域Ｓ内に存在するとき、テンプレートと類似したパターン、およびテクスチャ間においても高い相関値が算出される場合があるので、対応関係のない領域を対応領域として特定してしまう可能性があり、相関演算だけでは各小ブロックでの追跡性能が保証されないという問題があった。
本発明は、上記従来の問題点に鑑み、画像データに追跡するための小ブロックを設定した場合でも、対象のデータ領域を信頼性高く特定できるようにした画像追跡装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
このため本発明は、撮像手段により取得された画像データをフレームごとに記憶手段に記憶するとともに、記憶された画像データを原画像として、第１の演算手段で追跡するためのデータ領域を設定し、設定されたデータ領域を対象として、連続するフレームからデータ領域に対応する対応領域を特定する。設定されたデータ領域は、追跡可能な領域か否かを判定するために、画像変換手段で原画像の位置を幾何変換し、第２の演算手段で、設定されたデータ領域の対応領域を変換画像から求める。この際、求められた領域の位置は、幾何変換の変換量と対応関係があれば、設定されたデータ領域は追跡可能な領域と判定手段が判定する。
【０００９】
【発明の効果】
本発明によれば、原画像に設定した追跡用のデータ領域について、原画像の位置を幾何変換した変換画像上で追跡処理を行うことにより、設定された追跡用データ領域が追跡可能な領域か否かを判定するようにしたことで、対応関係のない領域が追跡されることを防止でき信頼性の高い追跡が可能になる。
【００１０】
【発明の実施の形態】
次に、発明の実施の形態を実施例により説明する。
図１は、実施例の構成を示す図である。
撮像装置１は、ＣＣＤまたはＣＭＯＳカメラで構成され、光電変換により画素位置に対応し、明暗に対応した電圧値としての画像データを生成する。この画像データはフレームメモリ２に出力されて記憶される。フレームメモリ２には、時間的に連続した２フレームの画像データが記憶され、新しい画像データが入力されるとデータの更新が行われる。
フレームメモリ２は第１の演算装置３と接続され、第１の演算装置３では、原画像としての画像データに複数の小ブロック（データ領域）を設定し、各小ブロックの画素値分布を参照画像として、次のフレームより小ブロックの対応領域を特定する。
【００１１】
フレームメモリ２は画像変換装置４にも接続され、画像変換装置４では、原画像としての画像データを幾何変換する。幾何変換としては、例えば画像データの位置をｘ軸、ｙ軸方向へそれぞれ平行移動、あるいは回転、拡大・縮小させて変換する。
画像変換装置４と第１の演算装置３には、第２の演算装置５が接続されている。
この第２の演算装置５では、第１の演算装置３で設定された各小ブロックに基づいて、その対応領域を画像変換装置４により変換された変換画像中より特定する。
第１の演算装置３と第２の演算装置５に接続される判定装置６は、各小ブロックに対して、第２の演算装置５での追跡結果に基づき追跡可能か否かを判定し、第１の演算装置３は、その判定結果によって、追跡可能な小ブロックのみを追跡処理する。
【００１２】
次に、図２のフローチャートにしたがって、上記処理の流れを説明する。
ステップ１００において、撮像装置１から１フレームの画像データを入力し、フレームメモリ２に格納する。
ステップ１１０において、フレームメモリ２に格納された画像データを原画像として第１の演算装置３に読み出し、追跡用の小ブロックを複数設定する。
ステップ１２０において、設定された各小ブロックの画素値分布をテンプレートとして登録する。
【００１３】
ステップ１３０において、フレームメモリ２に格納された画像データを原画像として画像変換装置４に読み出し、ここで、画像データの位置を例えばｘ軸、ｙ軸に所定量移動させて幾何変換を行う。変換した変換画像は、画像変換装置４に記憶される。
ステップ１４０において、第２の演算装置５で、設定された小ブロックの位置に基づいて、画像変換装置４によって変換された変換画像上で探索領域を設定する。
【００１４】
ステップ１５０において、第２の演算装置５で、小ブロックのテンプレートを用いて、マッチング処理によって、設定された探索領域を探索する。テンプレートと最も一致度の高い領域を特定する。
ステップ１６０において、全小ブロックについて、上記の追跡処理が終了したか否かを判定し、終了していない場合は、ステップ１４０に戻り、上記同様に次の小ブロックに対して追跡処理を行う。全ての小ブロックについての追跡処理が終了したと判断すると、ステップ１７０へ進む。
【００１５】
ステップ１７０においては、撮像装置１から次のフレームの画像データを入力してフレームメモリ２に格納する。
ステップ１８０において、新しいフレームの画像データを第１の演算装置３に読み出し、ここで、小ブロックの位置に基づいて、新しいフレームで、小ブロックの対応領域を検出するための探索領域を設定する。
ステップ１９０において、第１の演算装置３で、小ブロックのテンプレートを用いて、マッチング処理によって設定された探索領域を探索し、一致度が最も高い領域を特定する。
【００１６】
ステップ２００において、判定装置６で、小ブロックに対して、変換画像での追跡処理の結果に基づいて、追跡可能なものか否かを判定し、追跡可能と判断した場合のみ、ステップ１９０で特定した領域を小ブロックの対応領域として保持する。
ステップ２１０において、全ての小ブロックについて追跡処理が終了したか否かを判断し、終了していない場合には、ステップ１８０に戻り、次の小ブロックに対して上記同様の追跡処理を行う。全ての小ブロックについての追跡処理が終了したと判断すると、入力されたフレーム上での追跡が完了する。
【００１７】
次に、図に基づいて、小ブロックが追跡できるかを判定するたの原理を説明する。
図３の（ａ）は、小ブロックＷ１が設定された原画像Ｉ１で、（ｂ）は、原画像の位置を所定量（ｄｘ、ｄｙ）並進シフトさせて得た変換画像である。ここで、小ブロックＷ１の中心座標位置を（ｘ１、ｙ１）とすると、（ｂ）の変換画像中に（ｘ１、ｙ１）を中心とする十分広い探索領域Ｓ’が設定され、探索領域Ｓ’中から、小ブロックＷ１と最も一致度が高い領域を特定する。
【００１８】
このとき変換画像（ｂ）中に設定した探索領域Ｓ’の中から小ブロックＷ１に対応する領域を正確に特定できているとすれば、小ブロックＷ１と最も一致度の高い領域の位置（ｘ、ｙ）は（ｘ１＋ｄｘ、ｙ１＋ｄｙ）となる。
したがって、判定装置６で、｜ｘ−（ｘ１＋ｄｘ）｜および｜ｙ−（ｙ１＋ｄｙ）｜を演算し、演算値がある閾値以下の場合、小ブロックＷ１は並進変化に対して追跡可能であると判定する。逆に｜ｘ−（ｘ１＋ｄｘ）｜および｜ｙ−（ｙ１＋ｄｙ）｜が設定閾値を超える場合は、特定された領域は、小ブロックでないため、追跡不可能であると判定する。
【００１９】
並進シフト以外にも、回転や縮小または拡大などの方法で変換画像を作成しても、小ブロックが追跡可能か否かの判定を行うことが可能である。
例えば図４の（ａ）の原画像Ｉ１に対して、設定した所定量θだけ回転させて、（ｂ）のような変換画像Ｉ２を作成する。変換画像Ｉ２では、小ブロックＷ１の中心座標位置（ｘ１、ｙ１）に基づいて、（ｘ１・ｃｏｓθ、ｙ１・ｓｉｎθ）を中心とする十分広い探索領域Ｓ’を設定し、探索領域Ｓ’中から小ブロックＷ１と最も一致度が高い領域の位置を求める。
【００２０】
このとき変換画像Ｉ２中に設定した探索領域Ｓ’の中から小ブロックＷ１に対応する領域を正確に特定できているとすれば、小ブロックＷ１と最も一致度が高くなる領域の位置（ｘ、ｙ）は（ｘ１・ｃｏｓθ、ｙ１・ｓｉｎθ）となる。そこで、｜ｘ−ｘ１・ｃｏｓθ｜および｜ｙ−ｙ１・ｓｉｎθ｜がある閾値以下の場合、小ブロックＷ１は回転変化に対して追跡可能であると判定する。逆に｜ｘ−ｘ１・ｃｏｓθ｜および｜ｙ−ｙ１・ｓｉｎθ｜が設定閾値を超える場合は、追跡不可能であると判定する。
【００２１】
図５の（ａ）に示す原画像Ｉ１に対して、ｘ方向にａ倍、ｙ方向にｂ倍に縮小または拡大して、（ｂ）の変換画像Ｉ２を得た場合、この変換画像Ｉ２では、小ブロックＷ１の中心座標位置（ｘ１、ｙ１）に基づいて、（ａ・ｘ１、ｂ・ｙ１）を中心とする十分広い探索領域Ｓ’を設定し、探索領域Ｓ’中でテンプレートＷ１と最も一致度が高くなる領域の位置が求められる。このとき変換画像Ｉ２中に設定した探索領域Ｓ’の中から小ブロックＷ１に対応する領域を正確に特定できているとすれば、小ブロックＷ１と最も一致度が高くなる領域の位置（ｘ、ｙ）は（ａ・ｘ１、ｂ・ｙ１）となる。
【００２２】
したがって、｜ｘ−ａ・ｘ１｜および｜ｙ−ｂ・ｙ１｜がある閾値以下の場合、小ブロックＷ１は縮小または拡大変化に対して追跡可能であると判定する。逆に｜ｘ−ａ・ｘ１｜および｜ｙ−ｂ・ｙ１｜が設定閾値を超える場合は、追跡不可能であると判定する。
【００２３】
なお、上述した並進シフト変換については、原画像を並進シフトさせるだけでは、図３の（ｂ）中の位置（ｘ１＋ｄｘ、ｙ１＋ｄｙ）において、最も一致度が高くなる可能性が高い。例えば、正規化相関を用いる場合、位置（ｘ１＋ｄｘ、ｙ１＋ｄｙ）において相関値が１．０となる。
そこで、画像変換の際に白色ノイズを重畳させ、相関値１．０が出現しないようにする。これは、異なる時間で撮像されたフレーム間には、撮像素子の熱雑音あるいは電気的ノイズが混入した場合における追跡性能についてのロバスト性を評価することに相当するので、追跡アルゴリズムの耐ノイズ性を含めて、並進変化に対する追跡性能をより正確に把握することが可能となる。追跡アルゴリズムの耐ノイズ性については、回転、縮小または拡大変換の場合でも、同様に白色ノイズを重畳させることができる。
【００２４】
本実施例は、以上のように構成され、原画像の位置を幾何変換し、変換画像上で、小ブロックＷ１と相関値の高い領域を特定し、そして、この領域が、小ブロックＷ１を変換した位置に対応する場合には、小ブロックが追跡可能な小ブロックであると判定するようにしたことで、対応領域の誤検出を防止でき、信頼性の高い追跡を行うことができる。
さらに、原画像の幾何変換は、上述した並進シフト、回転、拡大・縮小およびノイズの重畳操作を組み合わせた変換でもよい。
【図面の簡単な説明】
【図１】実施例の構成を示す図である。
【図２】処理の流れを示すフローチャートである。
【図３】並進シフト変換による判定の説明図である。
【図４】回転変換による判定の説明図である。
【図５】縮小または拡大変換による判定の説明図である。
【図６】従来の追跡処理の説明図である。
【図７】原画像内の小ブロックを含む周辺領域に直線のパターンのみが生じた場合を示す図である。
【図８】小ブロックを含む周辺領域に特徴の無い均一なパターンが生じた場合を示す図である。
【符号の説明】
１      撮像装置（撮像手段）
２      フレームメモリ（記憶手段）
３      第１の演算装置（第１の演算手段）
４      画像変換装置（画像変換手段）
５      第２の演算装置（第２の演算手段）
６      判定装置（判定手段）
【図１】
2004164427.tif 000003
【図２】
2004164427.tif 000004
【図３】
2004164427.tif 000005
【図４】
2004164427.tif 000006
【図５】
2004164427.tif 000007
【図６】
2004164427.tif 000008
【図７】
2004164427.tif 000009
【図８】
2004164427.tif 000010