(57)【要約】【課題】追跡対象物体を含むテンプレートの画像パターンに背景の強い特徴が含まれている場合や追跡対象物体に動きが無い場合でも、追跡対象物体を精度良く追跡できる方法を提供する。【解決手段】撮像時刻の異なる複数の入力画像からオプティカルフローを演算する（Ｓ１０１）。追跡対象物体を含むテンプレートの画像パターンと入力画像との相関を求める（Ｓ１０２）。テンプレートの動きパターンとオプティカルフローとの動き相関を求める（Ｓ１０３）。画像相関値と動き相関値とを用いてテンプレートの最適マッチング位置を探索する（Ｓ１０４）。最適マッチング位置によってテンプレートを更新する（Ｓ１０５）。オプティカルフローから動体領域を検出し、動体領域を含む画像パターンと動きパターンとをテンプレートとして記憶する（Ｓ１０６）。【選択図】  図１
2004240762.tif 000002
【特許請求の範囲】
【請求項１】
撮像時刻の異なる複数の入力画像からオプティカルフローを演算するオプティカルフロー演算ステップと、
追跡対象物体を含むテンプレートの画像パターンと前記入力画像との相関を求める画像相関演算ステップと、
前記テンプレートの動きパターンと前記オプティカルフローとの動き相関を求める動き相関演算ステップと、
前記画像相関演算ステップで得られた画像相関値と前記動き相関演算ステップで得られた動き相関値とを用いて前記テンプレートの最適マッチング位置を探索する最適マッチング位置探索ステップと、
前記最適マッチング位置によって前記テンプレートを更新するテンプレート更新ステップと、
前記オプティカルフローから動体領域を検出し、前記動体領域を含む画像パターンと動きパターンとをテンプレートとして記憶するテンプレート登録ステップとを有することを特徴とする物体追跡方法。
【請求項２】
前記最適マッチング位置探索ステップは、
前記画像相関値と前記動き相関値を一定の比率で加算して正規化した値をテンプレートの相関値とし、前記テンプレートの相関値がピークとなる位置を最適マッチング位置として探索することを特徴とする請求項１記載の物体追跡方法。
【請求項３】
前記最適マッチング位置探索ステップは、
前記テンプレートの特徴を用いて比率を決定し、前記画像相関値と前記動き相関値とを前記比率で加算して正規化した値をテンプレートの相関値とし、前記テンプレートの相関値が最適となる位置を最適マッチング位置として探索することを特徴とする請求項１記載の物体追跡方法。
【請求項４】
前記比率は、
前記テンプレートの動きパターンのフローが発生している割合に応じて決定されることを特徴とする請求項３記載の物体追跡方法。
【請求項５】
請求項１ないし４のいずれかに記載の物体追跡方法における各ステップをコンピュータに実行させるためのプログラム。
【請求項６】
請求項１ないし４のいずれかに記載の物体追跡方法における各ステップをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置からの入力画像を処理することによって移動物体を検出して追跡する物体追跡方法に関し、より詳細には、追跡対象物体が入力画像に含まれる背景に強い影響を受ける場合や、追跡対象物体の動きが無い場合であっても、追跡対象物体を精度良く追跡できるようにした物体追跡方法に関する。
【０００２】
【従来の技術】
従来の物体追跡方法としては、追跡対象物体の画像の特徴を用いて追跡するテンプレートマッチングを用いた方法、または追跡対象物体の動きの特徴を用いて追跡するオプティカルフローを用いた方法が広く知られている。
【０００３】
図１５に、テンプレートマッチングを用いた従来の物体追跡方法における処理の流れを示す。入力画像から追跡したい物体を含む領域をテンプレートとして切り出し、そのテンプレート画像を記憶する（Ｓ１５０１）。入力画像におけるテンプレートの切り出し位置をテンプレートの基準位置として記憶する（Ｓ１５０２）。撮像時刻の異なる複数の入力画像とテンプレートとに基づいて、入力画像におけるテンプレートのマッチング位置を求める（Ｓ１５０３）。マッチング位置と基準位置とに基づいて、基準位置に対するマッチング位置の移動量を算出する（Ｓ１５０４）。算出した移動量が予め定めた条件以上であれば基準位置をマッチング位置に更新し、且つテンプレートを撮像時刻の異なる入力画像のマッチング位置に基づき更新するが、移動量が予め定めた条件未満であれば基準位置ないしはテンプレートを更新しない（Ｓ１５０５）。（特許文献１参照）
【０００４】
図１６に、オプティカルフローを用いた従来の物体追跡方法における処理の流れを示す。撮像装置から逐次入力される入力画像を複数のブロックに分割し、ブロック毎に動きがあるか否かを検出する（Ｓ１６０１）。検出したブロックの重心位置を算出することで移動物体を追跡する（Ｓ１６０２）。（特許文献２参照）
【０００５】
【特許文献１】
特開２０００−１１３１５８号公報
【特許文献２】
特開２０００−３２２５８２号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、テンプレートマッチングを用いた従来の物体追跡方法においては、入力画像から切り出したテンプレートの画像パターンのみを用いて物体追跡を行っているため、たとえば白線のエッジ等による背景の強い特長がテンプレートの背景部に含まれる場合、テンプレートの背景部と相関が高い位置にテンプレートが誤ってマッチングしてしまい、物体追跡に失敗する場合があった。
【０００７】
また、オプティカルフローを用いた従来の物体追跡方法においては、入力画像から動きを検出して物体追跡を行っているため、追跡対象物体に動きが無くオプティカルフローが発生しない場合は追跡できないという問題があった。
【０００８】
本発明は、これら従来の技術の問題を解決するためになされたもので、その目的は、追跡対象物体を含むテンプレートの画像パターンに背景の強い特徴が含まれている場合や、追跡対象物体に動きが無い場合であっても、追跡対象物体を含むテンプレートの画像と動きの両方のパターンから相関を求めて追跡を行うことによって、追跡対象物体を精度良く追跡することができる物体追跡方法を提供し、併せて、この方法をコンピュータにより実現するためのプログラム、および当該プログラムを記録した記録媒体を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明の物体追跡方法は、撮像時刻の異なる複数の入力画像からオプティカルフローを演算するオプティカルフロー演算ステップと、追跡対象物体を含むテンプレートの画像パターンと前記入力画像との相関を求める画像相関演算ステップと、前記テンプレートの動きパターンと前記オプティカルフローとの動き相関を求める動き相関演算ステップと、前記画像相関演算ステップで得られた画像相関値と前記動き相関演算ステップで得られた動き相関値とを用いて前記テンプレートの最適マッチング位置を探索する最適マッチング位置探索ステップと、前記最適マッチング位置によって前記テンプレートを更新するテンプレート更新ステップと、前記オプティカルフローから動体領域を検出し、前記動体領域を含む画像パターンと動きパターンとをテンプレートとして記憶するテンプレート登録ステップとを有する。
【００１０】
この構成により、追跡対象物体を含むテンプレートの画像パターンに背景の強い特徴が含まれている場合や、追跡対象物体に動きが無い場合であっても、追跡対象物体を含むテンプレートの画像と動きの両方のパターンから相関を求めて追跡を行うことによって、追跡対象物体を精度良く追跡することができる。
【００１１】
また、本発明の物体追跡方法において、前記最適マッチング位置探索ステップは、前記画像相関値と前記動き相関値を一定の比率で加算して正規化した値をテンプレートの相関値とし、前記テンプレートの相関値がピークとなる位置を最適マッチング位置として探索することが望ましい。
【００１２】
この構成によれば、強い特長がテンプレートの背景部に含まれる場合には、前記動き相関値の比率を高く設定してテンプレートの相関値を求めることにより、追跡対象物体に動きが無く追跡が困難な場合には、前記画像相関値の比率を高く設定してテンプレートの相関値を求めることにより、追跡対象物体を精度良く追跡することができる。
【００１３】
また、前記最適マッチング位置探索ステップは、前記テンプレートの特徴を用いて比率を決定し、前記画像相関値と前記動き相関値とを前記比率で加算して正規化した値をテンプレートの相関値とし、前記テンプレートの相関値が最適となる位置を最適マッチング位置として探索することが望ましい。
【００１４】
この構成によれば、追跡対象物体の入力画像上の座標によってテンプレートの背景の影響が変化する場合や追跡対象物体の動きが時々刻々と変化する場合に、テンプレートの特徴に応じて、適応的に決定した比率で前記画像相関値と前記動き相関値を足し合わせて正規化した値をテンプレートの相関値として最適マッチング位置を探索することにより、強い特長がテンプレートの背景部に含まれる場合やオプティカルフローが発生しない場合であっても物体を精度良く追跡することができる。
【００１５】
前記比率は、前記テンプレートの動きパターンのフローが発生している割合に応じて決定されることが望ましい。
【００１６】
この構成によれば、テンプレートの動きパターンのフローが発生している割合を用いて前記適応的な比率を決定し、適応的に決定した比率で前記画像相関値と前記動き相関値を足し合わせて正規化した値をテンプレートの相関値として最適マッチング位置を探索することにより、強い特長がテンプレートの背景部に含まれる場合やオプティカルフローが発生しない場合であっても物体を精度良く追跡することができる。
【００１７】
また、本発明のプログラムは、本発明の物体追跡方法における各工程をコンピュータに実行させるべくプログラム化したものである。
【００１８】
このプログラムをコンピュータに実行させることにより、本発明の物体追跡方法をコンピュータを用いて容易に実施することができる。
【００１９】
本発明の記憶媒体は、本発明の物体追跡方法における各工程をコンピュータに実行させるためのプログラムをコンピュータに読み取り可能に記録してなる。
【００２０】
この記憶媒体に記録されているプログラムをコンピュータに実行させることにより、本発明の物体追跡方法をコンピュータを用いて容易に実施することができる。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２２】
［第１の実施の形態］
図１は本発明の第１の実施の形態の物体追跡方法における処理の流れを示すフロー図である。この物体追跡方法は、撮像時刻の異なる複数の入力画像からオプティカルフローを演算するオプティカルフロー演算ステップＳ１０１と、テンプレートの画像パターンと入力画像との相関を求める画像相関演算ステップＳ１０２と、テンプレートの動きパターンとオプティカルフロー演算ステップＳ１０１で得られたオプティカルフロートの動き相関を求める動き相関演算ステップＳ１０３と、画像相関演算ステップＳ１０２で得られた画像相関値と動き相関演算ステップＳ１０３で得られた動き相関値とに基づいて最適マッチング位置を探索する最適マッチング位置探索ステップＳ１０４と、最適マッチング位置探索ステップＳ１０４により得られた最適マッチング位置でテンプレートを更新するテンプレート更新ステップＳ１０５と、オプティカルフロー演算ステップＳ１０１で得られたオプティカルフローから動体領域を検出し、新規テンプレートを登録するテンプレート登録ステップＳ１０６とを有し、これら一連のステップＳ１０１〜Ｓ１０６の処理を繰り返し行うことにより物体追跡を行う。なお、テンプレートとは追跡対象物体を含む画像パターンと動きパターンを組にしたものである。入力画像からテンプレートを得る方法については後述する。
【００２３】
次に、各ステップＳ１０１〜Ｓ１０６における処理内容について詳細に説明する。
【００２４】
まず、図２および図３を参照して、オプティカルフロー演算ステップＳ１０１における処理の流れを説明する。オプティカルフローを演算する方法としては、たとえばブロックマッチング法や勾配法が知られている。本実施の形態ではブロックマッチング法を用いた方法を説明する。
【００２５】
オプティカルフロー演算ステップＳ１０１は、図２に示す一連のステップＳ２０１〜Ｓ２０４からなる。
ステップＳ２０１では、入力画像を（Ｍ×Ｎ）個の画素から構成されるブロック単位に分割する。
ステップＳ２０２では、入力画像のブロックを１つ選択する。
ステップＳ２０３では、図３に示すように入力画像内のブロックと前フレーム画像の探索範囲内のブロックとの相関値を演算し、ステップＳ２０２で選択したブロックのオプティカルフローを求める。オプティカルフローはブロックマッチング法によって入力画像内の（Ｍ×Ｎ）個の画素から構成されるブロック３０１に対し、前フレーム画像の（Ｋ×Ｌ）個の画素から構成される探索範囲３０２内から、（Ｍ×Ｎ）個の画素から構成される最も相関の高いブロック３０３を探索して求める。そして、ブロック３０３からブロック３０１への変移３０４としてオプティカルフローが求められる。
【００２６】
最も相関の高いブロック３０３は、たとえば入力画像内のブロックと前フレーム画像のブロックにおける同位置の画素の差分絶対値和Ｄ（ａ，ｂ）が最も小さい位置を調べることによって求められる。差分絶対値和Ｄ（ａ，ｂ）は下記の式１で表され、この値が０に近づくほど相関が高いことを意味する。
【００２７】
【数１】
2004240762.tif 000003
【００２８】
ａ  ：  入力画像内のブロックとｎフレーム前の画像内のブロックのｘ成分の変位
ｂ  ：  入力画像内のブロックとｎフレーム前の画像内のブロックのｙ成分の変位
Ｄ（ａ，ｂ）  ：  変位（ａ，ｂ）における差分絶対値和
ｆｔ  ：  入力画像
ｆｔ−ｎ  ：  ｎフレーム前の画像
ｘ  ：ブロックのｘ座標
ｙ  ：ブロックのｙ座標
【００２９】
これらステップＳ２０２、Ｓ２０３の一連の処理を入力画像の各ブロックに対して繰り返し行い、入力画像のオプティカルフローを各ブロック単位で演算する（ステップＳ２０４）。
【００３０】
次に、図４および図５を参照して、画像相関演算ステップＳ１０２における処理の流れを説明する。
【００３１】
画像相関演算ステップＳ１０２は、図４に示す一連のステップＳ４０１〜Ｓ４０８からなる。
ステップＳ４０１では、テンプレートが１つ以上登録されているか否か判定する。テンプレートが全く登録されていない場合は、図４の一連の処理を終了する。
テンプレートが１つ以上登録されている場合は、ステップＳ４０２においてテンプレートを１つ選択する。
ステップＳ４０３では、ステップＳ４０２で選択したテンプレートについて入力画像内に探索範囲を設定する。
ステップＳ４０４では、ステップＳ４０３で設定した探索範囲内で画像相関値Ｒ１を求める座標を設定する。
ステップＳ４０５では、ステップＳ４０４で設定した座標で入力画像の部分画像とテンプレートの画像パターンの画像相関値を演算する。画像相関値には、たとえば下記の式２で表される正規化相関値Ｒ１（ａ，ｂ）を用いる。Ｒ１（ａ，ｂ）は、０〜１の実数値を取り、１に近づくほど画像相関が高いことを意味する。正規化相関値Ｒ１（ａ，ｂ）は、照明の変動による輝度変化の影響を受けにくく、安定なマッチングが可能である点から好ましい。
【００３２】
【数２】
2004240762.tif 000004
【００３３】
Ｈ  ：  テンプレートのサイズ（横）  ，  Ｖ  ：  テンプレートのサイズ（縦）
ａ  ：  テンプレートの座標と画像相関を求める座標のｘ成分の変移
ｂ  ：  テンプレートの座標と画像相関を求める座標のｙ成分の変移
Ｒ１  ：  正規化相関値
Ｔ  ：  テンプレート
ｆ  ：  探索範囲内に設定した画像相関を求める入力画像の部分画像
【００３４】
ステップＳ４０６では、ステップＳ４０５で得られた画像相関値をステップＳ４０４で設定した座標と対応付けて記憶する。
【００３５】
ステップＳ４０４〜Ｓ４０６の一連の処理を、入力画像内に設定した探索範囲内の全ての座標に対して行う（ステップＳ４０７）。たとえば図５の場合、ステップＳ４０２でテンプレート５０１を選択し、ステップＳ４０３でテンプレート５０１の入力画像上の座標５０２に基づいて探索範囲５０３を設定し、ステップＳ４０４で画像相関値を求める座標５０４を設定し、ステップＳ４０５でテンプレート５０１と入力画像上の座標５０４の部分画像との画像相関値を求め、ステップＳ４０６で座標５０４と画像相関値を対応付けて記憶し、ステップＳ４０７で探索範囲５０３内の全ての座標で画像相関値Ｒ１を演算したか否かを判定する。
【００３６】
そして、ステップＳ４０２〜Ｓ４０７の一連の処理を、登録されているテンプレート全てに対して行う（ステップＳ４０８）。
【００３７】
次に、図６および図７を参照して、動き相関演算ステップＳ１０３における処理の流れを説明する。
【００３８】
動き相関演算ステップＳ１０３は、図６に示す一連のステップＳ６０１〜Ｓ６０８からなる。
ステップＳ６０１では、テンプレートが１つ以上登録されているか否か判定を行う。テンプレートが全く登録されていない場合は、図６の一連の処理を終了する。
テンプレートが１つ以上登録されている場合は、ステップＳ６０２においてテンプレートを１つ選択する。
ステップＳ６０３では、ステップＳ６０２で選択したテンプレートについて入力画像内に探索範囲を設定する。ステップＳ６０２で設定する探索範囲は、ステップＳ４０２（図４）で選択したテンプレートと同一のテンプレートを選択している場合は同一の探索範囲が設定される。
ステップＳ６０４では、ステップＳ４０３で設定した探索範囲内で動き相関値Ｒ２を求める座標を設定する。
ステップＳ６０５では、ステップＳ４０４で設定した座標で入力画像のオプティカルフローとテンプレートの動きパターンとの動き相関値を演算する。動き相関値は、たとえば下記の式３で示すように、入力画像のオプティカルフローとテンプレートの動きパターンとの一致率Ｒ２（ａ，ｂ）で求められる。Ｒ２（ａ，ｂ）は、０〜１の実数値を取り、１に近づくほど動き相関が高いことを意味する。
【００３９】
【数３】
2004240762.tif 000005
【００４０】
ステップＳ６０６では、ステップＳ６０５で得られた動き相関値Ｒ２をステップＳ６０５で設定した座標と対応付けて記憶する。
【００４１】
ステップＳ６０４〜Ｓ６０６の一連の処理を、入力画像内に設定した探索範囲内の全ての座標に対して行う（ステップＳ６０７）。たとえば図７の場合、ステップＳ６０２でテンプレート７０１を選択し、ステップＳ６０３でテンプレート７０１の画像上の領域７０２に基づいて探索範囲７０３を設定し、ステップＳ６０４で動き相関値を求める座標７０４を設定し、ステップＳ６０５で動き相関値Ｒ２を求め、ステップＳ６０６で座標７０４と動き相関値Ｒ２を対応付けて記憶し、ステップＳ６０７で探索範囲７０３内の全ての座標で動き相関値Ｒ２を演算したか否か判定する。図示の例では、動き相関値Ｒ２が領域７０５で最大となる。
【００４２】
そして、ステップＳ６０２〜Ｓ６０７の一連の処理を、登録されているテンプレート全てに対して行う（ステップＳ６０８）。
【００４３】
次に、図８を参照して最適マッチング位置探索ステップＳ１０４における処理の流れを説明する。
【００４４】
最適マッチング位置探索ステップＳ１０４は、図８に示す一連のステップＳ８０１〜Ｓ８１０からなる。
ステップＳ８０１では、テンプレートが１つ以上登録されているか否か判定する。テンプレートが全く登録されていない場合は、図８の一連の処理を終了する。
テンプレートが１つ以上登録されている場合は、ステップＳ８０２においてテンプレートを１つ選択する。
ステップＳ８０３では、ステップＳ８０２で選択したテンプレートの最大相関値Ｒｍａｘと最適マッチング位置を初期化する。
ステップＳ８０４では、ステップＳ８０２で選択したテンプレートについて入力画像内に探索範囲を設定する。ステップＳ８０２で設定する探索範囲は、ステップＳ４０２（図４）およびステップＳ６０２（図６）で選択したテンプレートと同一のテンプレートを選択している場合は同一の探索範囲が設定される。
ステップＳ８０５では、ステップＳ８０３で設定した探索範囲内で相関値Ｒを求める座標を設定する。
ステップＳ８０６において、画像相関演算ステップＳ１０２（図１）で得られた画像相関値Ｒ１と動き相関演算ステップＳ１０３（図１）で得られた動き相関値Ｒ２からテンプレートの相関値Ｒを演算する。
【００４５】
テンプレートの相関値Ｒは、下記の式４で示すように、あらかじめ設定しておいた一定の係数α，βを用いて画像相関値Ｒ１と動き相関値Ｒ２の算術和を求め、それを正規化することにより求められる。たとえば、画像相関値Ｒ１を前記式２で求め、動き相関値Ｒ２を前記式３で求めた場合、それぞれ０〜１の実数値を取り、１に近づくほど画像相関または動き相関が高いので、式４の相関値Ｒは、０〜１の実数値をとり、１に近づくほどテンプレートの相関が高いことを意味する。なお、（α，β）＝（１，１）と設定することによって、たとえば、画像相関値Ｒ１を式２で求め、動き相関値Ｒ２を式３で求めた場合、画像相関値Ｒ１と動き相関値Ｒ２の算術和の範囲を０〜１の実数値に正規化したものと等価になる。
【００４６】
【数４】
2004240762.tif 000006
【００４７】
Ｒ（ａ，ｂ）：テンプレートの相関値
Ｒ１（ａ，ｂ）：テンプレートの画像相関値
Ｒ２（ａ，ｂ）：テンプレートの動き相関値
α、β：定数
（ａ，ｂ）：テンプレートの座標と画像相関を求める座標の（ｘ，ｙ）成分の変位
【００４８】
ステップＳ８０７では、ステップＳ８０６で得られたテンプレートの相関値Ｒが最大相関値Ｒｍａｘより大きいか否か判定する。
テンプレートの相関値Ｒが最大相関値Ｒｍａｘより大きい場合は、ステップＳ８０８で最大相関値Ｒｍａｘを相関値Ｒで更新し、最適マッチング位置をステップＳ８０５で設定した座標で更新する。
これらステップＳ８０５〜Ｓ８０８の一連の処理を、入力画像内に設定した探索範囲内の全ての座標に対して行う（ステップＳ８０９）。
そして、ステップＳ８０２〜Ｓ８０９の一連の処理を、登録されているテンプレート全てに対して行う（ステップＳ８１０）。
【００４９】
次に、図９および図１０を参照してテンプレート更新ステップＳ１０５における処理の流れを説明する。
【００５０】
テンプレート更新ステップＳ１０５は、図９に示す一連のステップＳ９０１〜Ｓ９０４からなる。
ステップＳ９０１では、テンプレートを１つ選択する。
ステップＳ９０２では、テンプレートと入力画像内の最適マッチング位置との最大相関値Ｒｍａｘがしきい値を超えているか判定を行う。
ステップＳ９０３では、最大相関値Ｒｍａｘがしきい値を超えたテンプレートを入力画像内の最適マッチング位置の領域によって更新する。テンプレートを更新することによって、追跡対象物体の形状ないしは大きさの変化に追従することができる。また、最大相関値Ｒｍａｘがしきい値を超えない場合は、登録されているテンプレートを削除する。
【００５１】
ここで、テンプレートを更新する方法について説明する。たとえば、図１０に示すように、人物１００１に対して最適マッチング位置がテンプレート枠１００２であったとし、ブロック１００３のような淡色のブロックをオプティカルフローが発生していないブロック、ブロック１００４のような濃色のブロックをオプティカルフローが発生したブロックとする。
【００５２】
このとき、水平線Ｈ１を基準として、垂直線Ｖ１から垂直線Ｖ２の範囲のブロックについてオプティカルフローが発生した個数をカウントし、該当する全ブロックに対してオプティカルフローが発生していないブロックの割合がしきい値より大きければテンプレートの枠を収縮する。逆にオプティカルフローの発生しているブロックがしきい値より大きければ、テンプレート枠を拡大する方向の該当範囲の全ブロックについてオプティカルフローの発生している割合を求め、しきい値より大きければテンプレート枠を拡大し、小さい場合はテンプレート枠を維持する。この処理を、水平線Ｈ２を基準とした垂直線Ｖ１から垂直線Ｖ２の範囲、垂直線Ｖ１を基準とした水平線Ｈ１から水平線Ｈ２の範囲、垂直線Ｖ２を基準とした水平線Ｈ１から水平線Ｈ２の範囲のそれぞれについて同様の処理を行い、テンプレート枠を補正しテンプレートを更新する。
【００５３】
その結果、図１０に示すように、最適マッチング位置のテンプレート枠１００２がテンプレート枠１００５に更新される。そして、入力画像内の更新したテンプレート枠１００５に含まれる部分画像を用いてテンプレートの画像パターンを更新する。
【００５４】
ステップＳ９０２およびＳ９０３の一連の処理を、登録されている全てのテンプレートに対して行い、テンプレートを更新する（ステップＳ９０４）。
【００５５】
次に、図１１および図１２を参照してテンプレート登録ステップＳ１０６における処理の流れを説明する。
【００５６】
テンプレート登録ステップＳ１０６は、図１１に示すステップＳ１００１〜Ｓ１００７からなる。
ステップ１１０１では、オプティカルフローをラベリング処理して動体領域を検出する。ラベリング処理は一般的な画像処理の手法として広く知られている。
ステップＳ１１０２では、動体領域が１つ以上存在するか否か判定する。動体領域が全く存在しない場合は、図１１の一連の処理を終了する。
動体領域が１つ以上存在する場合は、ステップＳ１１０３で動体領域を１つ選択する。
ステップＳ１１０４では、ステップＳ１１０３で選択した動体領域が追跡対象物体の特徴を持つか判定を行う。たとえば、追跡対象物体の特徴としては、大きさ、縦横比などがある。
動体領域が追跡対象物体の特徴を持つ場合は、ステップＳ１１０５で選択した動体領域が既にテンプレートとして登録されているか否か判定する。
選択した動体領域がテンプレートに登録されていない場合は、ステップＳ１１０６で新規のテンプレートとして登録する。
【００５７】
たとえば、図１２に示すように、人物１２０１が人物１２０２の位置へ移動している場合、オプティカルフローは各ブロックでフロー１２０３のように求められる。このとき、図１２の各ブロックで得られたフロー１２０３をラベリング処理によりグループ化し、動体領域１２０４を求める。次に、動体領域１２０４が追跡対象物体の特徴を持つか否か判定を行い、追尾対象物体の特徴を持ち、テンプレートとして未登録である場合は、テンプレートの画像パターン１２０５を新規登録すると共に動体領域に対応する動きパターン１２０６を登録する。
【００５８】
ステップＳ１１０３〜Ｓ１１０６の一連の処理を、ステップＳ１１０１で検出した全ての動体領域について行う（ステップＳ１１０７）。
【００５９】
以上のように、本発明の第１の実施の形態の物体追跡方法では、撮像時刻の異なる複数の入力画像からオプティカルフローを演算し、追跡対象物体を含む入力画像とテンプレートの画像パターンとの画像相関を求め、オプティカルフローとテンプレートの動きパターンとの動き相関を求め、画像相関値と動き相関値から最適マッチング位置を探索する。
【００６０】
したがって、追跡対象物体を含むテンプレートの画像パターンに背景の強い特徴が含まれている場合や、追跡対象物体に動きが無い場合であっても、追跡対象物体を含むテンプレートの画像と動きの両方のパターンから相関を求めて追跡を行うことによって、追跡対象物体を精度良く追跡することができる。
【００６１】
また、画像相関値と動き相関値を一定の比率で足し合わせて正規化した値をテンプレートの相関値として最適マッチング位置を探索するようにしたので、強い特長がテンプレートの背景部に含まれる場合は、動き相関値の比率を高く設定してテンプレートの相関値を求めることによって、物体に動きが無く追跡が困難な場合は、画像相関値の比率を高く設定してテンプレートの相関値を求めることによって、物体を精度良く追跡することができる。
【００６２】
［第２の実施の形態］
図１３は本発明の第２の実施の形態の物体追跡方法における処理の流れを示すフロー図である。図１３中のステップＳ１３０１、Ｓ１３０３、およびＳ１３０４における処理内容は、それぞれ図１中のステップＳ１０１、Ｓ１０５、およびＳ１０６のそれと同じである。そこで、ここではステップＳ１３０１、Ｓ１３０３、およびＳ１３０４については詳細な説明を省き、画像相関演算・動き相関演算および最適マッチング位置探索ステップＳ１３０２における処理内容について、図１４を参照して詳細に説明する。
【００６３】
画像相関演算・動き相関演算および最適マッチング位置探索ステップＳ１３０２は、図１４に示す一連のステップＳ１４０１〜Ｓ１４１６からなる。
【００６４】
ステップＳ１４０１では、テンプレートが１つ以上登録されているか判定を行う。
テンプレートが全く登録されていない場合は、図１４の一連の処理を終了する。
テンプレートが１つ以上登録されている場合は、ステップＳ１４０２においてテンプレートを１つ選択する。
ステップＳ１４０３では、ステップＳ１４０２で選択したテンプレートの動きパターンのフローが発生している割合を求める。割合を求めるには、テンプレートのオプティカルフローが発生している画素数をカウントし、テンプレートの全画素数に対する割合を求めればよい。
ステップＳ１４０４では、ステップＳ１４０３で得られた割合がしきい値を超えているか否か判定する。
ステップＳ１４０３で得られた割合がしきい値を超えている場合は、係数（αｔ，βｔ）に（α１，β１）を代入する（ステップＳ１４０５）。
ステップＳ１４０３で得られた割合がしきい値を超えていない場合は、係数（αｔ，βｔ）に（α２，β２）を代入する（ステップＳ１４０６）。
ステップＳ１４０４〜ステップＳ１４０６の一連の処理を数式で示すと、下記の式５のように示される。
【００６５】
【数５】
2004240762.tif 000007
【００６６】
（αｔ，βｔ）  ：  時刻ｔにおける係数（α，β）
Ｆｒ：テンプレートのオプティカルフローが発生している割合
ＴＨ：しきい値
【００６７】
なお、係数（αｔ，βｔ）の決定方法は、ステップＳ１４０４〜Ｓ１４０６のようにテンプレートのオプティカルフローが発生している割合をしきい値処理して設定する方法に限定されず、たとえば、下記の式６に示すような連続関数  ｆ  で決定してもよい。
【００６８】
【数６】
2004240762.tif 000008
【００６９】
（αｔ，βｔ）  ：  時刻ｔにおける係数（α，β）
Ｆｒ：テンプレートのオプティカルフローが発生している割合
【００７０】
ステップＳ１４０７では、ステップＳ１４０２で選択したテンプレートの最大相関値Ｒｍａｘと最適マッチング位置を初期化する。
ステップＳ１４０８では、ステップＳ１４０２で選択したテンプレートについて入力画像内に探索範囲を設定する。
ステップＳ１４０９では、ステップＳ１４０８で設定した探索範囲内で相関値Ｒを求める座標を設定する。
ステップＳ１４１０では、ステップＳ１４０８で設定した座標で入力画像の部分画像とテンプレートの画像パターンの画像相関値Ｒ１を演算する。画像相関値Ｒ１には、たとえば式２で表される正規化相関値を用いる。
ステップＳ１４１１では、ステップＳ１４０８で設定した座標で入力画像のオプティカルフローとテンプレートの動きパターンとの動き相関値Ｒ２を演算する。画像相関値Ｒ２は、たとえば、式３で示すように入力画像のオプティカルフローとテンプレートの動きパターンとの一致率で求められる。
ステップＳ１４１２では、ステップＳ１４１０で得られた画像相関値Ｒ１とステップＳ１４１１で得られた動き相関値Ｒ２からテンプレートの相関値Ｒを演算する。テンプレートの相関値Ｒは、下記の式７で示すように、ステップＳ１４０６〜Ｓ１４０８で設定した係数αｔ，βｔの比率で、画像相関値Ｒ１と動き相関値Ｒ２との算術和を正規化した値で求められる。たとえば、画像相関値Ｒ１を式２で求め、動き相関値Ｒ２を式３で求めた場合、それぞれ０〜１の実数値を取り、１に近づくほど画像相関または動き相関が高いので、式７の相関値Ｒは、０〜１の実数値を取り、１に近づくほどテンプレートの相関が高いことを意味する。
【００７１】
【数７】
2004240762.tif 000009
【００７２】
Ｒ（ａ，ｂ）：テンプレートの相関値
Ｒ１（ａ，ｂ）：テンプレートの画像相関値
Ｒ２（ａ，ｂ）：テンプレートの動き相関値
αｔ、βｔ：時刻ｔにおける定数
（ａ，ｂ）：テンプレートの座標と画像相関を求める座標の（ｘ，ｙ）成分の変位
【００７３】
ステップＳ１４１３では、ステップＳ１４１２で得られたテンプレートの相関値Ｒが最大相関値Ｒｍａｘより大きいか否か判定する。
テンプレートの相関値Ｒが最大相関値Ｒｍａｘより大きい場合は、ステップＳ１４１４で最大相関値Ｒｍａｘを相関値Ｒで更新し、最適マッチング位置をステップＳ１４０９で設定した座標で更新する。
ステップＳ１４０９〜Ｓ１４１４の一連の処理を、入力画像内に設定した探索範囲内の全ての座標に対して行う（ステップＳ１４１５）。
そして、ステップＳ１４０２〜１４１５の一連の処理を、登録されているテンプレート全てに対して行う（ステップＳ１４１６）。
【００７４】
以上のように、本発明の第２の実施の形態の物体追跡方法では、画像相関演算・動き相関演算および最適マッチング位置探索ステップ１３０２において、テンプレートの動きパターンのフローが発生している割合に応じて、適応的に係数  （αｔ，βｔ）  を設定する。そして、適応的に設定した係数  （αｔ，βｔ）  の比率で画像相関値Ｒ１と動き相関値Ｒ２との算術和を求め、正規化した値をテンプレートの相関値Ｒとし、テンプレートの相関値Ｒが最適となる位置を最適マッチング位置として探索する。
【００７５】
したがって、追跡対象物体の入力画像上の座標によってテンプレートの背景の影響が変化する場合や追跡対象物体の動きが時々刻々と変化する場合に、テンプレートの特徴に応じて、適応的に決定した比率で画像相関値Ｒ１と動き相関値Ｒ２とを足し合わせて正規化した値Ｒをテンプレートの相関値として最適マッチング位置を探索することによって、強い特長がテンプレートの背景部に含まれる場合やオプティカルフローが発生しない場合であっても物体を精度良く追跡することができる。
【００７６】
なお、本発明はこの実施の形態に限定されるのではなく、本発明の範囲内で種々の改良および変形が可能である。
【００７７】
また、以上説明した各実施の形態における一連のステップをプログラム化すれば、本発明の物体追跡方法をコンピュータを用いて容易に実施することができる。
【００７８】
また、上記プログラムをコンピュータ読み取り可能な記録媒体に記録すれば、その記録媒体に記録されたプログラムを任意のコンピュータにインストールし実行させることにより、本発明の物体追跡方法をコンピュータを用いて容易に実施することができる。
【００７９】
【発明の効果】
以上のように本発明によれば、追跡対象物体を含むテンプレートの画像パターンに背景の強い特徴が含まれている場合や、追跡対象物体に動きが無い場合であっても、追跡対象物体を含むテンプレートの画像と動きの両方のパターンから相関を求めて追跡を行うことによって、追跡対象物体を精度良く追跡することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における物体追跡方法の全体の流れを示すフローチャートである。
【図２】図１中のオプティカルフロー演算ステップの内容を示すフローチャートである。
【図３】オプティカルフローを求める方法についての説明図である
【図４】図１中の画像相関演算ステップの内容を示すフローチャートである。
【図５】画像相関演算を行う方法についての説明図である。
【図６】図１中の動き相関演算ステップの内容を示すフローチャートである。
【図７】動き相関演算を行う方法についての説明図である。
【図８】図１中の最適マッチング位置検索ステップの内容を示すフローチャートである。
【図９】図１中のテンプレート更新ステップの内容を示すフローチャートである。
【図１０】テンプレートを更新する方法についての説明図である。
【図１１】図１中のテンプレート登録ステップの内容を示すフローチャートである。
【図１２】テンプレートを登録する方法についての説明図である。
【図１３】本発明の第２の実施の形態における物体追跡方法の全体の流れを示すフローチャートである。
【図１４】図１３中の画像相関演算・動き相関演算および最適マッチング位置検索ステップの内容を示すフローチャートである。
【図１５】テンプレートマッチングを用いた従来の物体追跡方法を示すフローチャートである。
【図１６】オプティカルフローを用いた従来の物体追跡方法を示すフローチャートである。
【符号の説明】
３０１：入力画像内のブロック
３０２：探索範囲
３０３：最も相関の高いブロック
３０４：変移（オプティカルフロー）
５０１：テンプレート
５０２：入力画像上の座標
５０３：探索範囲
５０４：画像相関値を求める座標
７０１：テンプレート
７０２：画像上の領域
７０３：探索範囲
７０４：動き相関値を求める座標
７０５：動き相関値が最大となる領域
１００１：人物（追跡対象物体）
１００２：更新前のテンプレート枠
１００３：オプティカルフローが発生してないブロック
１００４：オプティカルフローが発生したブロック
１００５：更新後のテンプレート枠
１２０１：人物（移動前の追跡対象物体）
１２０２：人物（移動後の追跡対象物体）
１２０３：オプティカルフロー
１２０４：動体領域
１２０５：テンプレートの画像パターン
１２０６：動きパターン
【図１】
2004240762.tif 000010
【図２】
2004240762.tif 000011
【図３】
2004240762.tif 000012
【図４】
2004240762.tif 000013
【図５】
2004240762.tif 000014
【図６】
2004240762.tif 000015
【図７】
2004240762.tif 000016
【図８】
2004240762.tif 000017
【図９】
2004240762.tif 000018
【図１０】
2004240762.tif 000019
【図１１】
2004240762.tif 000020
【図１２】
2004240762.tif 000021
【図１３】
2004240762.tif 000022
【図１４】
2004240762.tif 000023
【図１５】
2004240762.tif 000024
【図１６】
2004240762.tif 000025