(57)【要約】本発明は、物体又は人物の動きを追跡する方法、装置及びコンピュータプログラムに関する。電子的なビデオフレームにより人物又は物体の動きを追跡することは慣習的であるが、人物又は物体がその移動の速度において突然の著しい変化を受ける場合には追跡することができない。提案される方法は、デジタルビデオフレームの系列を捕捉し、これにより物体又は人物を捕捉する第一のステップを含む。同時に、パラメータの測定値が取得され、前記測定値は、デジタルビデオフレームにより追跡される物体又は人物の動きを示す。次のステップでは、ビデオフレームは処理ロジックにより処理され、処理ロジックは、ブロックマッチングアルゴリズムを使用する。前記ブロックマッチングアルゴリズムは、フレームにおける画素ブロックを定義し、この画素ブロックを次のフレーム内のサーチエリア内でサーチし、次のフレーム内のサーチエリアの位置は、測定値に基づいて動的に調整される。本発明は、ブロックマッチングアルゴリズムによりデジタルビデオフレームの電子的な処理は、追跡される物体又は人物の速度における大きな変化があるケースでさえ実行することができる。
2009510558.tif 000002
【特許請求の範囲】
【請求項１】
物体又は人物の動きを追跡する方法であって、
ａ）物体又は人物を捕捉するデジタルビデオフレームを受信するステップと、
ｂ）前記デジタルビデオフレームを受信する間に、物体又は人物の動きを示すパラメータの値（測定値）を測定するステップと、
ｃ）処理ロジックにより前記デジタルビデオフレームを処理するステップとを含み、
前記処理ロジックは、フレームにおいて画素ブロックを定義し、この画素ブロックを次のフレーム内のサーチエリア内でサーチするアルゴリズムを使用し、
前記次のフレーム内の前記サーチエリアの位置は、前記測定値に基づいて動的に調整される、
ことを特徴とする方法。
【請求項２】
前記サーチエリアの位置を調整するため、前記次のフレームにおける前記画素ブロックの位置は、前記測定値に基づいて計算又は予測される、
ことを特徴とする請求項１記載の方法。
【請求項３】
前記パラメータは、加速度ベクトルであるか、又は速度ベクトルである、
ことを特徴とする請求項１記載の方法。
【請求項４】
前記サーチエリアは、それぞれのフレームについて調整されるか、又は、前記測定値が予め定義された閾値よりも大きいときに調整される、
ことを特徴とする請求項１記載の方法。
【請求項５】
前記アルゴリズムは、再帰型のサーチによるブロックマッチングアルゴリズムである、
ことを特徴とする請求項１記載の方法。
【請求項６】
前記処理ロジックは、ハードウェアで実現されるか、又はコンピュータプログラムで実現される、
ことを特徴とする請求項１記載の方法。
【請求項７】
自動車内の乗員の動きが追跡される、
ことを特徴とする請求項１記載の方法。
【請求項８】
自動車内のエアバッグの膨張を最適化するために使用される、
ことを特徴とする請求項１記載の方法。
【請求項９】
コンピュータに、
ａ）物体又は人物を捕捉するデジタルビデオフレームを受信するステップと、
ｂ）前記デジタルビデオフレームを受信する間に、物体又は人物の動きを示すパラメータの値（測定値）を測定するステップと、
ｃ）前記デジタルビデオフレームを処理するステップとを含み、
前記処理ステップｃ）は、
ｃ１）フレームにおいて画素ブロックを定義し、この画素ブロックを次のフレームのサーチエリア内でサーチするアルゴリズムを使用するサブステップと、
ｃ２）前記次のフレーム内の前記サーチエリアの位置は、前記測定値に基づいて動的に調整されるサブステップとを含む、
方法を実行させるためのコンピュータプログラムコードを有するコンピュータ読取り可能な記録媒体。
【請求項１０】
前記サーチエリアの位置を調整するため、前記次のフレームにおける画素ブロックの位置は、前記測定値に基づいて予測される、
ことを特徴とする請求項９記載のコンピュータ読取り可能な記録媒体。
【請求項１１】
前記サーチエリアは、それぞれのフレームについて調整されるか、前記測定値が予め定義された閾値よりも大きいときに調整される、
ことを特徴とする請求項９記載のコンピュータ読取り可能な記録媒体。
【請求項１２】
ビデオフレームの系列から物体又は人物の動きを追跡する装置であって、
ａ）ビデオフレームの系列を受信するデジタルビデオカメラと、
ｂ）前記ビデオフレームにより捕捉される物体又は人物の動きを示すパラメータを受信する入力ポートと、
ｃ）前記ビデオカメラにより提供されるビデオフレームを処理する処理ロジックとを含み、
前記処理ロジックは、フレームにおいて画素ブロックを定義し、この画素ブロックを次のフレームのサーチエリア内でサーチするために構成され、前記測定値に基づいて前記次のフレーム内の前記サーチエリアの位置を動的に調整するために構成される、
ことを特徴とする装置。
【請求項１３】
当該装置は、前記測定値を提供するセンサを更に含む、
ことを特徴とする請求項１２記載の装置。
【請求項１４】
前記センサは、加速度のセンサである、
ことを特徴とする請求項１３記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ処理の分野に関し、ビデオフレームの系列から動き情報を抽出する装置、対応する方法及びコンピュータプログラムを提供するものである。本発明は、物体の速度において大きな差を受ける物体を追跡するために使用することができる。
【背景技術】
【０００２】
動き情報は、トラフィックモニタリング、人物の追跡、セキュリティ及び監視を含む多数の応用で非常に重要である。動き情報を得ることは、自動車が別の自動車又は物体との衝突を受ける場合に、自動車内の乗客の安全を向上するのに役立つ。このケースでは、乗客の一時的な動きは、エアバッグがトリガされるべき正確な時間を最適化するため、その膨張の段階の間のエアバッグの適切な設計のために重要である。
【０００３】
デジタルビデオ処理は、ここ数年間にわたり大幅に進化している。様々な刊行物は、自動車又は人物のような物体の動きを検出する問題に取り組んでいる。自動車の速度予測のような比較的シンプルなタスクについてさえ、既存のソリューションは、メモリに集中するアルゴリズム及び／又は複数のアルゴリズムの組み合わせを使用するものであり、これは膨大なコンピュータの処理能力を必要とする。その目的のために知られるアルゴリズムは、物体の認識、物体の追跡を利用するか、又は時間的に異なる瞬間で撮影された画像の比較を行う。したがって、かかる用途のリアルタイムシステムを実現することが困難かつ高価である。
【０００４】
現実の動き予測は、ハイエンドＴＶセットで使用されるビデオ処理技術である。これらのＴＶセットは、標準的な５０Ｈｚの代わりに１００Ｈｚのフレームレートを使用する。これは、補間により新たな中間のビデオフレームを形成するのを必要とする。それを行うため、高いフレーム品質により、２次元フレームにおける画素ブロックの動きが予測される必要がある。これは、Gerard  de  Haan等の文献“True  motion  estimation  with  3D  recursive  search  block  matching”,  IEEE  transactions  on  circuits  and  systems  of  video  technology,  volume  3,  number  5,  October  1993に記載されるように、３次元再帰型のサーチブロックマッチングアルゴリズムにより行われる。このアルゴリズムは、あるフレームを８×８画素のブロックに小分割し、次のフレームにおけるこのブロックの位置を識別しようとする。これらの位置の比較は、動きベクトルをそれぞれの画素ブロックに割り当てることを可能にし、ブロックの画素の置換と２つのフレーム間の時間の比を含む。
【０００５】
Michael  Aron等による“Handling  uncertain  sensor  date  in  vision-based  camera  tracking”,  proceeding  of  the  third  IEEE  and  ACM  International  Symposium  on  mixed  and  augumented  reality,  ISMAR  2004は、デジタルビデオカメラとこのカメラに固定された慣性のセンサを有するＡＲ（augmented  reality）のためのシステムを記載している。このシステムは、ＡＲユーザの頭部に取り付けられ、これにより、センサは、ユーザの頭部の回転を検出する役割を果たす。カメラの位置は、ＡＲスキームにおけるプレーナ表面に属するキーポイントで計算される。慣性センサが大きなカメラの回転を検出した場合、視覚に基づいたトラッキングシステムは、センサデータを使用して、次のフレームにおけるキーポイントについてサーチウィンドウを調整する。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、追跡された物体又は人物がそれらの移動速度において大きな変化を受けるときでさえ使用することができる、物体又は人物を追跡する方法、装置及び対応するコンピュータプログラムプロダクトを提供することにある。
【課題を解決するための手段】
【０００７】
上記目的及び他の目的は、独立の請求項の特徴により解決される。本発明の好適な実施の形態は、従属の請求項の特徴により記載される。なお、請求項における参照符号は、本発明の範囲を限定するものとして解釈されるべきではない。
【０００８】
本発明の第一の態様によれば、上述された目的は、物体又は人物の動きを追跡する方法により解決される。この方法の第一のステップは、物体又は人物を捕捉するデジタルビデオフレームを受信するステップ、第二のステップでは、ビデオフレームを受信する間、パラメータの値が測定される。前記パラメータは、物体又は人物の動きを示す。これは、上述された２つのステップは、同時に実行されることを意味する。前記パラメータの値は、更に詳細に以下に記載されるやり方で得られる測定値である。本方法の第三のステップでは、ビデオフレームは、処理ロジックにより処理される。処理ロジックは、あるフレームにおける画素ブロックを定義するアルゴリズムを使用し、次のフレーム内のサーチエリア内でこの画素ブロックをサーチする。本発明によれば、次のフレーム内のサーチエリアの位置は、測定値に基づいて動的に調整される。
【０００９】
上述された方法を実行するとき、デジタルビデオフレームの系列を捕捉するデジタルビデオカメラと、前記パラメータの値を受ける入力ポートとを更に有する装置が使用される。パラメータは、ビデオフレームにより捕捉された物体又は人物の動きを示す。さらに、装置は、デジタルビデオカメラにより提供されるビデオフレームを処理する処理ロジックを有する。処理ロジックは、あるフレームにおいて画素ブロックを定義し、次のフレームにおけるサーチエリア内でのこの画素ブロックをサーチするために調整される。次のフレーム内のこのサーチエリアの位置は、測定の値に基づいて動的に調整される。
【００１０】
先のソリューションは、ブロックマッチングアルゴリズムによるデジタルビデオフレームの電子的な処理は、捕捉された物体又は人物がそれらの速度において大きな変化を受けるときでさえ可能であるという利点を提供する。ブロックマッチングアルゴリズムは、計算上の負荷を軽減するためにサーチエリアを使用する場合がある。サーチエリアを動的に調整することなしに、物体又は人物の追跡は失敗するか、低減された性能を受ける。その理由は、大きな速度の変化のケースでは、物体は、次のフレームにおけるサーチエリアに動的な調整により治される問題を残すためである。
【００１１】
最後のパラグラフの観点での動きは、移動の動きである。移動の動きは、純粋な移動による動きであるか、又は移動の速度成分を含む動きである場合がある。両方のケースでは、追跡されるオブジェクトは、その移動速度の変化、特に突然の変化の後に次のフレームの異なる部分に位置される。言い換えれば、本発明は、純粋な回転の動きである場合に利点を提供することができない。
【００１２】
本発明の好適な実施の形態によれば、次のフレームにおけるサーチエリアの位置を調整することは、前記パラメータの測定値に基づいて前記次のフレームにおける前記画素ブロックの位置を予測又は計算することで行われる。言い換えれば、画素ブロックの変位は、これに基づいて予測又は計算される。これは、外部の情報、すなわちパラメータの測定値は、ブロックマッチングアルゴリズムの出力を改善するために使用されることを意味する。
【００１３】
これは、パラメータが加速度ベクトルであるケースについて更に詳細に説明される。加速度ベクトルは、３次元空間における大きさ及び方向を有する量である。この加速ベクトルは、本発明を実行する装置の外部にあるか、又は該装置の一部である加速度センサにより得られるものであり、フレームが位置される場所にマッピングされる。数学的に言えば、このマッピングは、３次元の加速度ベクトルのビデオフレームにより表される２次元平面への投影である。加速度ベクトルの大きさがａで示され、加速ベクトルによる画素ブロックの横方向の変位の大きさがｓで示され、時間がｔで示されるとき、ｓ＝０．５*ａ*ｔ2である。ｓは画素の単位で表現される。サーチエリアは、シンプルなケースでは矩形であり、２次元の加速度ベクトルに比較されたときに反対の方向の量ｓだけシフトされる。
【００１４】
本発明の好適な実施の形態によれば、サーチエリアは、それぞれのフレームについて調整されるか、又はパラメータの測定値が予め定義された閾値よりも大きいときに調整される。第一の代替は、フレームからフレームにサーチエリアを連続的に調整することを必要とする、物体又は人物が一連の速度の変化を受けるときに適切である。第二の可能性は、たとえば自動車が別の自動車と衝突したためといった、物体又は人物が１度の速度変化のみを受けるケースで更に適切である。後者のケースでは、計算上の負荷が低減され、これにより、リアルタイムシステムとして装置を実現することが容易となる。
【００１５】
本発明の好適な実施の形態によれば、処理ロジックによりビデオフレームを処理するアルゴリズムは、再帰型のサーチブロックマッチングアルゴリズムであり、３Ｄ再帰型のサーチブロックマッチングアルゴリズムとも呼ばれる。このアルゴリズムは、Gerard  de  Haan等による“True  motion  estimation  with  3D  recursive  search  block  matching”,  IEEE  transactions  on  circuits  and  systems  of  video  technology,  volume  3,  number  5,  October  1993に記載されるやり方で動作し、本出願は上記文献を明示的に引用し、引用により上記文献の内容が盛り込まれる。このアルゴリズムは、リアルタイムで動作する装置の設計が簡単になるように、他の公知のブロックマッチングアルゴリズムに比較して極端に効率的である。それを行うことで、この再帰型のサーチブロックマッチングアルゴリズムの実行がハードウェアと同様にソフトウェアで実現されるように、処理ロジックの選択が関係する限り、高い自由度が存在する。
【００１６】
処理ロジックは、以下の何れかである。（ａ）プロセッサ及び対応するコンピュータプログラム。例として、プロセッサは、たとえばＴＭ１３００プロセッサを有するＰＨＩＬＩＰＳ  ＰＮＸ１３００チップといったｐｈｉｌｉｐｓ社のＴＲＩＭＥＤＩＡプロセッサ又はＸＥＴＡＬプロセッサである。（ｂ）たとえばＡＳＩＣ又はＦＰＧＡといった専用チップ。（ｃ）ビデオカメラハードウェアの既存のチップの統合された部分。又は、（ｄ）上述された可能性の組み合わせ。
【００１７】
好適な選択は、システムの態様及び製品の要件に依存する。処理ロジックの好適な実施の形態は、１８０ｍｍ×１２５ｍｍのサイズを有し、それ自身がＰＨＩＬＩＰＳ  ＴＮ１３００プロセッサを有するＰＨＩＬＩＰＳ  ＰＭＸ１３００チップを有するデジタルビデオカメラに挿入される余分のカードを使用する。さらに、カードは、２つのフレームメモリ及び１つのベクトルメモリのために１ＭＢのＲＡＭを使用する。
【００１８】
本発明の更に好適な実施の形態によれば、自動車内の乗客の動きが追跡される。このケースでは、衝突の場合における乗客の痙攣する頭部が衝突後に追跡される。
【００１９】
更に別の好適な実施の形態によれば、本方法は、自動車内のエアバッグの膨張を最適化するために使用される。衝突のケースにおける乗客の動きを追跡すること、特に乗客の頭部を追跡することは、エアバッグがトリガされるべき正確な時間を最適化するのに役立つ。その膨張の段階の間にエアバッグの最適化された形状を設計するのに役立つ。このように、乗客へのダメージが最小に保持される。
【００２０】
上述された説明から導出されるように、本発明に係る方法、特にビデオフレームの処理は、コンピュータプログラムにより実行される。このコンピュータプログラムは、コンピュータ読取り可能な媒体で記憶され、ビデオフレームの系列を受信して、ビデオフレームが物体又は人物を捕捉するために処理ロジックを実行可能にするのに役立つ。コンピュータプログラムは、ビデオフレームを受信しつつ、パラメータの値を受信する役割を果たし、前記パラメータは、物体又は人物の動きを示す。さらに、コンピュータプログラムは、以下のサブステップでビデオフレームを処理する役割を果たす。ｃ１）あるフレームにおいてある画素ブロックを定義し、次のフレームのサーチエリア内でこの画素ブロックをサーチするアルゴリズムを使用するサブステップ。ｃ２）測定値に基づいて次のフレーム内のサーチエリアの位置を動的に調整するサブステップ。
【００２１】
本発明のこれらの態様及び他の態様は、以下に記載される実施の形態を参照して明らかにさえるであろう。なお、参照符号の使用は、本発明の範囲を限定するものとして解釈されるべきではない。以下の好適な実施の形態では、本発明は、添付図面を参照する例を通して更に詳細に記載される。
【発明を実施するための最良の形態】
【００２２】
図１は、本発明に係る方法が実行されるやり方を説明するフローチャートである。ステップ１では、デジタルビデオフレームの系列の受信が実行され、前記ビデオフレームは、物体又は人物を捕捉する。ステップ２では、このステップはステップ１と同時に実行され、外部のパラメータが測定される。ステップ３では、ステップ１で取得されたビデオフレームは、処理ロジックにより処理され、処理ロジックは、ブロックマッチングアルゴリズム、すなわちあるフレームにおいてある画素ブロックを定義し、この画素ブロックを次のフレーム内のサーチエリア内でサーチするアルゴリズムを使用する。ステップ３のブロックマッチングアルゴリズムを実行することは、サーチエリアの助けを借りて実行される。画素ブロックは、次のフレームのこのサーチエリアにおいてのみサーチされる。サーチエリアは、ステップ２で取得された測定された外部パラメータに基づいて動的に調整される。
【００２３】
図２は、図１のステップ３のデジタルビデオフレームの処理を更に詳細に説明するフローチャートである。このフローチャートのステップ１では、現在のフレームにおける画素ブロックの位置が決定され、従来オブロックマッチングアルゴリズムと同じやり方で次のフレームで画素ブロックと比較される。ステップ２では、処理ロジックは、サーチエリアが調整される必要があるかを判定する。この判定は、事前に測定されたパラメータに基づく。たとえば、追跡される物体又は人物の速度が大幅に変化しないため、サーチエリアが調整される必要がないと判定された場合、本方法はステップ３に進む。ステップ３では、サーチエリアは、画素ブロックの古い位置の周りに位置されるように定義され、前記画素ブロックの周りで矩形である場合がある。次いで、本方法はステップ７に進む。ステップ７では、ステップ１で決定された画素ブロックは、後続するフレーム内のサーチエリア内でサーチされる。
【００２４】
ステップ２における判定が肯定的である場合、本方法はステップ４に進む。ステップ４では、たとえば衝突といった加速のような外部の影響のために、ステップ１の画素ブロックがどのような変位を受けたかが判定される。この加速は、ベクトル量であり、図１のステップ２で測定された外部パラメータである。
【００２５】
この変位は、デジタルビデオフレームにより広がる平面への、３次元の加速度ベクトルの投影を決定することで計算される。このマッピングは、加速度の方法を提供するものであり、この方向は、変位の方向と同じであって、変位の大きさを与えるものであって、個の大きさは画素のユニットで表現することができる。
【００２６】
次いで、本方法は、ステップ５に進み、ここでは画素ブロックの新たな位置は、ステップ４で得られた変位の方向及び大きさで計算される。
【００２７】
したがって、ステップ６で定義された新たなサーチエリアは、画素ブロックの新たな位置の周りで位置され、新たな位置は、加速度のために変位される画素ブロックの古い位置であるように定義される。ステップ７において、ステップ１の画素ブロックが、次のフレーム内のこの新たなサーチエリアにおいてサーチされるように、新たなサーチエリアは、画素ブロックの新たな位置の周りに位置される。
【００２８】
図３は、次のフレーム内のサーチエリアの位置が動的に調整される方法を説明する。図３は、２つのフレーム１及び２を示し、フレーム１は現在のフレームであり、フレーム２は次のフレーム、すなわちフレーム１の直後のフレームである。この時間的な振る舞いは、フレーム１及び２について時間ｔの展開を示す矢印で例示される。フレーム１は、画素ブロック３を有する。前記画素ブロック３により表現される追跡されたオブジェクトの速度において変化がない場合、フレーム２におけるその位置が一定のままであることが期待されるように、画素ブロック３は、フレーム２のサーチエリア５においてサーチされる。このケースでは、画素ブロックは、位置３’に配置される。
【００２９】
しかし、外部の加速のため、画素ブロック３の位置は、位置４にシフトされる。したがって、この変位ｓは、画素ブロック３がサーチされる新たなサーチエリア７に導く。
【００３０】
図４は、自動車１７における乗客８及び８’による２つのフレームを示す。フレーム２は、下方向を示す矢印により示されるように、フレーム１の次のフレームである。右を示す矢印を与える加速のため、フレーム２における乗客の頭部は、慣性のために左に動く。揺れる頭部は、エアバッグ１８により自動車の内部に対して衝突から防止される。
【００３１】
図５は、次のフレームにおけるサーチエリアの位置が図４のケースについて動的に調整される方法を示す。フレーム１では、画素ブロック３は、加速度ａを受ける。フレーム２は、右を示す矢印を与える時間ｔにおいてフレーム１の次のフレームである。加速のため、画素ブロックの位置は、ポジション３’からポジション４にシフトする。さらに、加速度は、位置５から位置７へのサーチエリアの変位を導く。
【００３２】
図６は、本発明に係る方法を実行する装置９を示す。外側の外観に関しては、この装置はデジタルビデオカメラ１０であり、本発明を実行するために変更されている。装置９は、前記従来のデジタルビデオカメラ１０、及びたとえば加速度ベクトルといったパラメータの値を受ける入力ポート１１を有し、前記パラメータは、ビデオフレームにより捕捉される物体又は人物の動きを一般に示す。この装置は、デジタルビデオカメラ１０により提供されるビデオフレームを処理する処理ロジック１２を更に有する。処理ロジック１２は、コンピュータプログラム１３を有する。さらに、装置９は、そのデータをケーブル１５及び入力ポート１６を通して処理ロジック１２に出力する加速度センサ１４を有する。
【００３３】
動作において、処理ロジック１２は、デジタルビデオカメラ１０により提供されるビデオフレームを処理し、ブロックマッチングアルゴリズムを実行し、サーチエリアの位置は、加速度センサ１４によるか、又はそのデータを出力し、それらデータを入力ポート１１により装置９に送出する外部のセンサにより得られる測定値に基づいて次のフレーム内で動的に調整される。
【図面の簡単な説明】
【００３４】
【図１】本発明に係る方法のフローチャートである。
【図２】図１の処理ステップに対する中心となるブロックマッチングアルゴリズムを例示するフローチャートである。
【図３】サーチエリアの調整を説明する図である。
【図４】衝突により追跡される人物の重要な変位を概略的に示す図である。
【図５】図４のケースについてサーチエリアの調整を示す図である。
【図６】本発明に係る装置を示す図である。
【符号の説明】
【００３５】
１：フレーム
２：次のフレーム
３：画素ブロックの古い位置
３’：画素ブロックの古い位置
４：画素ブロックの新しい位置
５：サーチエリア
６：画素ブロック
７：新たなサーチエリア
８：乗客
８’：乗客
９：トラッキング装置
１０：デジタルビデオカメラ
１１：入力ポート
１２：処理ロジック
１３：コンピュータプログラム
１４：センサ
１５：ケーブル
１６：入力ポート
１７：自動車
１８：エアバッグ
ａ  ：加速度
ｓ  ：変位
【図１】
2009510558.tif 000003
【図２】
2009510558.tif 000004
【図３】
2009510558.tif 000005
【図４】
2009510558.tif 000006
【図５】
2009510558.tif 000007
【図６】
2009510558.tif 000008