【手続補正書】
【提出日】平成17年7月12日(2005.7.12)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
時系列画像を処理して画像中の移動物体を追跡する画像上移動物体追跡方法において、各画像が、複数画素からなるブロックに分割され、移動物体の識別符号がブロック単位で付与されているとともに該移動物体の動きベクトルがブロック単位で求められている場合に、
（ａ）該時系列画像のうち連続するＮ画像（Ｎ≧２）の各々について、隣り合うブロックの動きベクトルの差の絶対値が所定値以内のブロックに同一の識別符号を付与することにより、画像上で互いに重なった移動物体に互いに異なる識別符号を付与し、
（ｂ）該Ｎ画像の各々において、第１識別符号が付与されたブロック群である第１オブジェクトと第２識別符号が付与されたブロック群である第２オブジェクトとが接し、かつ、該Ｎ画像について時間的に隣り合う画像の第１オブジェクト間の相関度が所定値以上であるかどうかを判定し、
（ｃ）該ステップ（ｂ）で肯定判定された後に、時間を遡って該第１オブジェクトと該第２オブジェクトとを追跡する、
ことを特徴とする画像上移動物体追跡方法。
【請求項２】
該相関度は、該時間的に隣り合う第１オブジェクトの一方をその動きベクトルに基づいて移動させたものと他方との図形論理積の面積の、該一方又は他方の面積に対する割合に略等しいことを特徴とする請求項１記載の画像上移動物体追跡方法。
【請求項３】
時系列画像及びプログラムが格納される記憶装置と、
該記憶装置に結合されたプロセッサと、
を有する画像上移動物体追跡装置において、該プログラムは該プロセッサに対し該時系列画像を読み出して処理することにより画像中の移動物体を追跡し、該処理により、各画像が、複数画素からなるブロックに分割され、移動物体の識別符号がブロック単位で付与されているとともに該移動物体の動きベクトルがブロック単位で求められており、該プログラムは、
（ａ）該時系列画像のうち連続するＮ画像（Ｎ≧２）の各々について、隣り合うブロックの動きベクトルの差の絶対値が所定値以内のブロックに同一の識別符号を付与することにより、画像上で互いに重なった移動物体に互いに異なる識別符号を付与する手順と、
（ｂ）該Ｎ画像の各々において、第１識別符号が付与されたブロック群である第１オブジェクトと第２識別符号が付与されたブロック群である第２オブジェクトとが接し、かつ、該Ｎ画像について時間的に隣り合う画像の第１オブジェクト間の相関度が所定値以上であるかどうかを判定する手順と、
（ｃ）該ステップ（ｂ）で肯定判定された後に、時間を遡って該第１オブジェクトと該第２オブジェクトとを追跡する手順と、
を有することを特徴とする画像上移動物体追跡装置。
【請求項４】
該手順（ｂ）の該相関度は、該時間的に隣り合う第１オブジェクトの一方をその動きベクトルに基づいて移動させたものと他方との図形論理積の面積の、該一方又は他方の面積に対する割合に略等しいことを特徴とする請求項３記載の画像上移動物体追跡装置。
【請求項５】
時系列画像を処理して画像中の移動物体を追跡する画像上移動物体追跡方法において、各画像が、複数画素からなるブロックに分割され、移動物体の動きベクトルがブロック単位で求められ、動きベクトルが未定の第１ブロックが存在する場合、
（ａ）該第１ブロックの回りの決定済動きベクトルを抽出し、
（ｂ）該抽出された動きベクトルを、相互のベクトルの差の絶対値が所定値以下になるようにグループに分け、
（ｃ）ベクトル数が最大のグループに含まれる動きベクトルの略平均ベクトルを、該第１ブロックの動きベクトルと推定する、
ことを特徴とする画像上移動物体追跡方法。
【請求項６】
該ステップ（ａ）において抽出すべき決定済動きベクトルが存在しない場合、該ステップ（ｃ）で推定された動きベクトルを決定済動きベクトルとみなして、該ステップ（ａ）〜（ｃ）を実行することを特徴とする請求項５記載の画像上移動物体追跡方法。
【請求項７】
時系列画像及びプログラムが格納される記憶装置と、
該記憶装置に結合されたプロセッサと、
を有する画像上移動物体追跡装置において、該プログラムは該プロセッサに対し該時系列画像を読み出して処理することにより画像中の移動物体を追跡し、該処理により、各画像が、複数画素からなるブロックに分割され、移動物体の動きベクトルがブロック単位で求められており、該プログラムは、動きベクトルが未定の第１ブロックが存在する場合、
（ａ）該第１ブロックの回りの決定済動きベクトルを抽出する手順と、
（ｂ）該抽出された動きベクトルを、相互のベクトルの差の絶対値が所定値以下になるようにグループに分ける手順と、
（ｃ）ベクトル数が最大のグループに含まれる動きベクトルの略平均ベクトルを、該第１ブロックの動きベクトルと推定する手順と、
を有することを特徴とする画像上移動物体追跡装置。
【請求項８】
該プログラムはさらに、
（ｄ）該ステップ（ａ）において抽出すべき決定済動きベクトルが存在しない場合、該ステップ（ｃ）で推定された動きベクトルを決定済動きベクトルとみなし、該ステップ（ａ）〜（ｃ）を実行させる手順、
を有することを特徴とする請求項７記載の画像上移動物体追跡装置。
【請求項９】
時系列画像を処理して画像中の移動物体を追跡する画像上移動物体追跡方法において、各画像は、複数画素からなるブロックに分割されており、移動物体の識別符号をブロック単位で付与するとともに該移動物体の動きベクトルをブロック単位で求める場合に、
（ａ）時刻ｔ１の画像のブロックサイズの領域から時刻ｔ２の画像の着目ブロックへの動きベクトルをＭＶと推定し、該着目ブロックの識別符号をＩＤと推定し、
（ｂ）該時刻ｔ２の画像の該着目ブロックの回りのブロックのうち識別符号がＩＤである少なくとも１つのブロックの動きベクトルと該着目ブロックの動きベクトルＭＶとの差の絶対値を含む、相関度に関する量を求め、
（ｃ）該相関度に関する量を含む評価関数の値を、所定範囲内で該第１領域を移動させ各領域について求め、該値の略最適値に基づいて該動きベクトルＭＶ及び該識別符号ＩＤを決定する、
ことを特徴とする画像上移動物体追跡方法。
【請求項１０】
該ステップ（ｃ）の相関度に関する量は、
Σ｜ＭＶ−ＭＶneigher｜／Ｌであり、
ここに、ＭＶneigherは、該着目ブロックの回りのブロックのうち、該着目ブロックの識別符号ＩＤと同一ＩＤを有するブロックの動きベクトルであり、Σは該同一ＩＤを有するブロックについての総和を意味し、Ｌは該同一ＩＤを有するブロックの数である、
ことを特徴とする請求項９記載の画像上移動物体追跡方法。
【請求項１１】
時系列画像及びプログラムが格納される記憶装置と、
該記憶装置に結合されたプロセッサと、
を有する画像上移動物体追跡装置において、該プログラムは該プロセッサに対し該時系列画像を読み出して処理することにより画像中の移動物体を追跡し、該処理により、各画像が、複数画素からなるブロックに分割され、該プログラムは、移動物体の識別符号をブロック単位で付与するとともに該移動物体の動きベクトルをブロック単位で求める場合に、
（ａ）時刻ｔ１の画像のブロックサイズの領域から時刻ｔ２の画像の着目ブロックへの動きベクトルをＭＶと推定し、該着目ブロックの識別符号をＩＤと推定する手順と、
（ｂ）該時刻ｔ２の画像の該着目ブロックの回りのブロックのうち識別符号がＩＤである少なくとも１つのブロックの動きベクトルと該着目ブロックの動きベクトルＭＶとの差の絶対値を含む、相関度に関する量を求める手順と、
（ｃ）該相関度に関する量を含む評価関数の値を、所定範囲内で該第１領域を移動させ各領域について求め、該値の略最適値に基づいて該動きベクトルＭＶ及び該識別符号ＩＤを決定する手順と、
を有することを特徴とする画像上移動物体追跡装置。
【請求項１２】
該手順（ｃ）の相関度に関する量は、
Σ｜ＭＶ−ＭＶneigher｜／Ｌであり、
ここに、ＭＶneigherは、該着目ブロックの回りのブロックのうち、該着目ブロックの識別符号ＩＤと同一ＩＤを有するブロックの動きベクトルであり、Σは該同一ＩＤを有するブロックについての総和を意味し、Ｌは該同一ＩＤを有するブロックの数である、
ことを特徴とする請求項１１記載の画像上移動物体追跡装置。
【請求項１３】
背景画像も移動物体の１つとみなすことを特徴とする請求項９又は１０記載の画像上移動物体追跡方法。
【請求項１４】
時系列画像を処理して画像中の移動物体を追跡する画像上移動物体追跡方法において、
（ａ）各画像を、複数画素からなるブロックに分割し、
（ｂ）背景画像も移動物体の１つとみなして、ブロック単位で移動物体の識別符号を付与するとともにブロック単位で該移動物体の動きベクトルを求め、
該ステップ（ｂ）は、
（ｂ１）背景画像であるかどうかを区別せずに、時刻ｔ１とｔ２の画像間のブロックマッチングにより、該時刻ｔ２のブロックの動きベクトルを決定し、
（ｂ２）該ステップｂ１で決定されなかったブロックの動きベクトルを、請求項９、１０、１３又は１４のいずれか１つに記載の方法で推定することにより求め、
（ｂ３）隣り合うブロックの動きベクトルの差の絶対値が所定値以下のブロックに同一識別符号を付与する、
ことを特徴とする画像上移動物体追跡方法。
【請求項１５】
時系列画像及びプログラムが格納される記憶装置と、
該記憶装置に結合されたプロセッサと、
を有する画像上移動物体追跡装置において、該プログラムは該プロセッサに対し該時系列画像を読み出して処理することにより画像中の移動物体を追跡し、該処理により、各画像が、複数画素からなるブロックに分割され、該プログラムは、
（ｂ１）背景画像であるかどうかを区別せずに、時刻ｔ１とｔ２の画像間のブロックマッチングにより、該時刻ｔ２のブロックの動きベクトルを決定する手順と、
（ｂ２）該ステップｂ１で決定されなかったブロックの動きベクトルを、請求項９、１０、１３又は１４のいずれか１つに記載の方法で推定することにより求める手順と、
（ｂ３）隣り合うブロックの動きベクトルの差の絶対値が所定値以下のブロックに同一識別符号を付与する手順と、
を有することを特徴とする画像上移動物体追跡装置。
【請求項１６】
時系列画像を処理して画像中の移動物体を追跡する画像上移動物体追跡方法において、各画像が、複数画素からなるブロックに分割され、
ある時刻での移動物体の動きベクトルをブロック単位で求めたオブジェクトマップを、互いに異なる時刻について複数枚記憶しておき、
（ａ）該複数枚のオブジェクトマップのうちの１つについて、着目領域の動きベクトルを求め、
（ｂ）求めた動きベクトルだけ該着目領域を正又は負の方向へ移動させた領域の動きベクトルを、移動後の時刻におけるオブジェクトマップに基づいて求め、
該移動させた領域を該移動後の時刻におけるオブジェクトマップ上の着目領域として、該ステップ（ｂ）を複数回繰り返すことにより、該着目領域を追跡し、
該ステップ（ａ）又は（ｂ）において、該着目領域と重なった各ブロックの重なり部分の画素数を重みとし該着目領域と重なった各ブロックの動きベクトルの重み付き平均ベクトルを求め、該重み付き平均ベクトルを該着目領域の動きベクトルとすることを特徴とする画像上移動物体追跡方法。
【請求項１７】
該ステップ（ａ）の着目領域は、１つのブロックであることを特徴とする請求項１６記載の画像上移動物体追跡方法。
【請求項１８】
該ステップ（ａ）のオブジェクトマップは最新のものであり、該ステップ（ｂ）では該着目領域を負の方向へ移動させることを特徴とする請求項１６記載の画像上移動物体追跡方法。
【請求項１９】
最も古いオブジェクトマップを、最も新しいオブジェクトマップで更新することにより、該複数枚を一定にすることを特徴とする請求項１６記載の画像上移動物体追跡方法。
【請求項２０】
時刻ｔ１と時刻ｔ２のオブジェクトマップ上の互いに対応する着目領域に基づいて、該時刻ｔ１から該時刻ｔ２への動きベクトルを早送り動きベクトルとして求め、
該時刻ｔ２のオブジェクトマップ上の隣り合う着目領域の早送り動きベクトルの差の絶対値が所定値より大きい場合、該隣り合う着目領域は互いに異なる移動物体であると認識する、
ことを特徴とする請求項１６記載の画像上移動物体追跡方法。
【請求項２１】
動きベクトルを有する隣り合うブロックの集合体である１つのクラスタについて、動きベクトルの絶対値のヒストグラムのピークが複数存在する場合、ピーク間の速度差に基づいて、該時刻ｔ１と該時刻ｔ２の間隔を決定することを特徴とする請求項２０記載の画像上移動物体追跡方法。
【請求項２２】
該時刻ｔ１から該時刻ｔ２までの間隔を広げる毎に、該時刻ｔ２のオブジェクトマップ上の隣り合う着目領域の早送り動きベクトルの絶対値の差が所定値より大きいかどうかを判定し、
該間隔が、予め定めた最大値以下であり、かつ、該差が所定値より大きければ、該隣り合う着目領域は互いに異なる移動物体であると認識する、
ことを特徴とする請求項２０記載の画像上移動物体追跡方法。
【請求項２３】
時系列画像及びプログラムが格納される記憶装置と、
該記憶装置に結合されたプロセッサと、
を有する画像上移動物体追跡装置において、該プログラムは該プロセッサに対し該時系列画像を読み出して処理することにより画像中の移動物体を追跡し、該処理により、各画像が、複数画素からなるブロックに分割され、ある時刻での移動物体の動きベクトルをブロック単位で求めたオブジェクトマップが、互いに異なる時刻について複数枚該記憶装置に格納され、該プログラムは、
（ａ）該複数枚のオブジェクトマップのうちの１つについて、着目領域の動きベクトルを求める手順と、
（ｂ）求めた動きベクトルだけ該着目領域を正又は負の方向へ移動させた領域の動きベクトルを、移動後の時刻におけるオブジェクトマップに基づいて求める手順と、
を有し、該移動させた領域を該移動後の時刻におけるオブジェクトマップ上の着目領域として、該手順（ｂ）を複数回繰り返すことにより、該着目領域を追跡し、
該手順（ａ）又は（ｂ）において、該着目領域と重なった各ブロックの重なり部分の画素数を重みとし該着目領域と重なった各ブロックの動きベクトルの重み付き平均ベクトルを求め、該重み付き平均ベクトルを該着目領域の動きベクトルとすることを特徴とする画像上移動物体追跡装置。
【請求項２４】
該手順（ａ）の着目領域は、１つのブロックであることを特徴とする請求項２３記載の画像上移動物体追跡装置。
【請求項２５】
該手順（ａ）のオブジェクトマップは最新のものであり、該手順（ｂ）では該着目領域を負の方向へ移動させることを特徴とする請求項２３記載の画像上移動物体追跡装置。
【請求項２６】
該プログラムはさらに、
最も古いオブジェクトマップを、最も新しいオブジェクトマップで更新することにより、該複数枚を一定にする手順を有することを特徴とする請求項２３記載の画像上移動物体追跡装置。
【請求項２７】
該プログラムはさらに、
時刻ｔ１と時刻ｔ２のオブジェクトマップ上の互いに対応する着目領域に基づいて、該時刻ｔ１から該時刻ｔ２への動きベクトルを早送り動きベクトルとして求める手順と、
該時刻ｔ２のオブジェクトマップ上の隣り合う着目領域の早送り動きベクトルの差の絶対値が所定値より大きい場合、該隣り合う着目領域は互いに異なる移動物体であると認識する手順と、
を有することを特徴とする請求項２３記載の画像上移動物体追跡装置。
【請求項２８】
該プログラムはさらに、
動きベクトルを有する隣り合うブロックの集合体である１つのクラスタについて、動きベクトルの絶対値のヒストグラムのピークが複数存在する場合、ピーク間の速度差に基づいて、該時刻ｔ１と該時刻ｔ２の間隔を決定する手順を有することを特徴とする請求項２７記載の画像上移動物体追跡装置。
【請求項２９】
該プログラムはさらに、
該時刻ｔ１から該時刻ｔ２までの間隔を広げる毎に、該時刻ｔ２のオブジェクトマップ上の隣り合う着目領域の早送り動きベクトルの絶対値の差が所定値より大きいかどうかを判定する手順と、
該間隔が、予め定めた最大値以下であり、かつ、該差が所定値より大きければ、該隣り合う着目領域は互いに異なる移動物体であると認識する手順と、
を有することを特徴とする請求項２７記載の画像上移動物体追跡装置。
ことを特徴とする画像上移動物体追跡方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
このアルゴリズムによれば、未定の動きベクトルが多く存在していても、該未定動きベクトルが合理的に推定される。これにより、複数のオブジェクトを含む１つのクラスタを動きベクトルに基づいて分割することが可能となる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
ＵＭ（ｉ，ｊ，ＭＶ）＝（Ｍ−ｍ2）2    （３）
ＵＭの値が小さいほど、時空的ＩＤ相関度が高い。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１１３
【補正方法】変更
【補正の内容】
【０１１３】
例えば、ステップＳ１４で、１つのブロックのＭＶを所定範囲内で１画素ずらし又は１つのブロックのＩＤを変更し、ステップＳ１３に戻って総和ＵＴが前の値より大きくなれば、ステップＳ１４で、変更したＭＶ又はＩＤを元に戻し、小さくなれば、次のブロックについて同様の変更を行う。該所定範囲は例えば、上下左右の各々について＋４画素である。