(57)【要約】本発明は、映像フレームのシーケンスから動き情報を取り出す装置、方法及びコンピュータプログラムに関する。映像フレームのシーケンスから動き情報を取り出す既存の方法は、実時間システムの実施を困難且つ高価なものとする大規模な演算能力を必要とする。従って、本発明は、このような装置を簡単化し、実時間の内蔵システムを提供することを目的とする。デジタルビデオカメラ１を有する装置を設けることが提案される。ビデオカメラ１は、ビデオカメラ１によって取り込まれた映像フレームを処理する処理ユニット３を有する。この処理は、映像フレームから動き情報を取り出すために３次元の帰納的な探索ブロックアルゴリズムを使用する。装置は、例えば、通り及び道路上の車両速度を決定するために、交通監視用途に使用され得る。
2009510827.tif 000002
【特許請求の範囲】
【請求項１】
映像フレームのシーケンスから動き情報を取り出す装置であって：
ａ）映像フレームのシーケンスを取り込むデジタルビデオカメラ，
ｂ）前記ビデオカメラによって提供される前記映像フレームを処理する処理ユニット，及び
ｃ）前記映像フレームが動いている対象又は人を示しているかどうかを判断するために帰納的な探索ブロックアルゴリズムを使用するよう構成される前記処理ユニット，
を有する装置。
【請求項２】
前記処理ユニットは前記対象又は人の速度を決定するよう構成される、ことを特徴とする請求項１記載の装置。
【請求項３】
前記処理ユニットは多数の対象又は人の速度を同時に決定するよう構成される、ことを特徴とする請求項２記載の装置。
【請求項４】
前記処理ユニットは前記ビデオカメラの筐体に配置される、ことを特徴とする請求項１記載の装置。
【請求項５】
前記処理ユニットは実時間システムとして実施される、ことを特徴とする請求項１記載の装置。
【請求項６】
前記処理ユニットは、動いている対象又は動いている人の位置を示すよう構成される、ことを特徴とする請求項１記載の装置。
【請求項７】
前記処理ユニットは対象認識を実行するよう構成される、ことを特徴とする請求項１記載の装置。
【請求項８】
前記処理ユニットはナンバープレート認識を実行するよう構成される、ことを特徴とする請求項１記載の装置。
【請求項９】
映像フレームのシーケンスから動き情報を取り出すことによる方法であって：
ａ）映像フレームのシーケンスを取り込むステップ，及び
ｂ）前記映像フレームが動いている対象又は人を示しているかどうかを判断するために帰納的な探索ブロックアルゴリズムを使用することによって、前記デジタル映像フレームを処理するステップ，
を有する方法。
【請求項１０】
前記対象又は人の速度が決定される、ことを特徴とする請求項９記載の方法。
【請求項１１】
多数の対象又は人の速度が同時に決定される、ことを特徴とする請求項９記載の方法。
【請求項１２】
交通監視のような監視用途のために又は建物若しくは土地への侵入を検出するために使用される、ことを特徴とする請求項９記載の方法。
【請求項１３】
特に速度カメラ又は赤色ランプカメラとしての交通規則実施カメラに使用される、ことを特徴とする請求項９記載の方法。
【請求項１４】
コンピュータプログラムコード手段を有するコンピュータ読取可能な媒体を有するコンピュータプログラムであって、
読み込まれる場合に、コンピュータに、請求項９乃至１３のうちいずれか一項記載の方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理の分野に関し、映像フレームのシーケンスから動き情報を取り出す装置、対応する方法及びコンピュータプログラムプロダクトを提供する。本発明は、例えば交通監視用途のような監視用途において及び建物又は土地への侵入の検出のために使用され得る。
【背景技術】
【０００２】
動き情報は、交通監視、人々の追跡、セキュリティ及び監視を含む多数の用途で非常に重要なものである。例えば、道路に自動車が増えたことで、多くの都市は交通渋滞に関する重大な課題に直面している。世界中の大部分の都市は、現在、このような状況を改善し、より有効に既存の基幹設備を使用するために交通ガイドシステムを使用している。それを行うためには、システムは、実時間で且つ低コストで多数の自動車を同時に監視する必要がある。
【０００３】
デジタル映像処理は、ここ数年間で大いに発展した。多くの文献は、例えば車両又は人といった対象の動きを検出するという問題に取り組んできた。例えば自動車の速度推定といった比較的簡単な課題に関してさえ、既存の解決法は、メモリ集中アルゴリズム及び／又は大容量の計算能力を必要とするアルゴリズムの組み合わせを使用する。その目的のために知られているアルゴリズムは、対象認識若しくは対象追跡を使用し、あるいは、異なる時点に撮られた画像の比較を行う。従って、このような用途のための実時間システムを実行することは困難且つ高価である。
【０００４】
実際の動きの検出は、高性能のテレビ受像機に適用される映像処理技術である。このようなテレビ受像機は、標準の５０Ｈｚの代わりに、１００Ｈｚのフレームレートを使用する。これは、補間によって新しい映像フレームを生成することを必要とする。それを行うために、高いフレーム品質により、２次元フレーム内の画素ブロックの動きが推定される。これは、１９９３年１０月に発行されたIEEE  transactions  on  circuits  and  systems  of  video  technology、第３巻、No.５、“True  motion  estimation  with  ３D-recursive  search  block  matching”、Gerard  de  Haan等の文献に記載される３次元帰納探索ブロック整合アルゴリズムによって行われ得る。このアルゴリズムは、フレームを８×８画素に分け、次のフレームでこのブロックの位置を識別するよう試みる。これらの場所の比較は、フレーム間の時間及びブロックの画素位置の比を含む各画素ブロックへ運動ベクトルを割り当てることを可能にする。
【０００５】
ＵＳ６，７５７，３２８Ｂ１は、映像シーケンスから動き情報を取り出す方法を開示する。この特許文献で使用される映像シーケンスは、映像ストリーム、例えばＭＰＥＧストリームに固有の運動ベクトルを予め有する。この運動ベクトルは、符号化された映像ストリームから取り出される。ＭＰＥＧストリームにおけるこれらの運動ベクトルは、符号化処理によって生成される。従って、それらは、実際の動きを表さない。一例として、ＭＰＥＧストリームは、対象が右へ動くことができるとしても、左向きの運動ベクトルを有する。この問題を解決するために、フィルタリングステップが運動ベクトルの質の悪さを改善するために実行される。フィルタリングステップの後に、この特許文献の出願人は、交通監視用途のために動き情報を使用する。
【特許文献１】ＵＳ６，７５７，３２８Ｂ１
【非特許文献１】Gerard  de  Haan等、“True  motion  estimation  with  ３D-recursive  search  block  matching”、IEEE  transactions  on  circuits  and  systems  of  video  technology、第３巻、No.５
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、符号化されていない映像フレームに使用され得る、映像フレームのシーケンスから動き情報を取り出す装置、方法及びコンピュータプログラムプロダクトを提供することを目的とする。
【０００７】
本発明は、実時間処理が可能であるように簡単且つ極めて効率的な動き情報の抽出を実行することを他の目的とする。
【課題を解決するための手段】
【０００８】
上記及びその他の目的は、独立請求項の特徴事項によって達成される。本発明の好ましい実施形態は、従属請求項の特徴事項によって記載される。留意すべきは、特許請求の範囲における如何なる参照符号も、本発明の適用範囲を限定するように解釈されるべきではない点である。
【０００９】
本発明の第１の態様に従って、上記目的は、映像フレームのシーケンスから動き情報を取り出す装置であって、映像フレームを取り込むデジタルビデオカメラを有する装置によって達成される。更に、当該装置は、前記ビデオカメラによって提供される前記映像フレームを処理する処理ユニットを有し、これによって、前記処理ユニットは、前記映像フレームが動いている対象又は人を示しているかどうかを判断するために３次元の帰納的な探索ブロックアルゴリズムを使用するよう構成される。
【００１０】
本発明に従って、動き情報の抽出は、符号化されない映像シーケンスによって行われる。それは、映像シーケンスが、例えばＭＰＥＧ映像ストリームであるために、予め符号化されている場合は、最初に復号化される必要があることを意味する。それは、以下で詳細に論じられる動き情報を取り出すためのアルゴリズムが映像フレームの画素に作用するためである。
【００１１】
当該装置を作動させると、デジタルビデオカメラは映像フレームのシーケンスを取り込み、前記処理ユニットは、動き情報を取り出すために、前記デジタルビデオカメラからのデジタル映像フレームを処理する。この処理は、映像フレームが動いている対象又は人を示しているかどうかを判断するために帰納的な探索ブロックアルゴリズムを使用することによって行われる。
【００１２】
言うまでもなく、当該方法は、基礎を成すアルゴリズムを用いるコンピュータプログラムプロダクトを使用することによって実行され得る。このコンピュータプログラムプロダクトは、読み込まれる場合に、コンピュータに、映像フレームが動いている対象又は人を示しているかどうかを判断させ、あるいは、概して、より詳細に以下で説明される方法を実行させるコンピュータプログラムコードを記憶するコンピュータ読取可能な媒体を有する。
【００１３】
映像フレームのシーケンスは、固定式又は移動式の、例えば、ＣＭＯＳ、ＣＣＤ、又は赤外線ビデオカメラといった任意の形式のデジタルビデオカメラによって提供される。前記デジタルビデオカメラは、本発明の一部ではなく、従って、更なる説明は不要である。
【００１４】
前記処理ユニットは、
ａ）処理装置及び対応するコンピュータプログラムであっても良い。一例として、処理装置は、例えばＴＭ１３００プロセッサを備えたフィリップスＰＮＸ１３００チップといった、フィリップスのＸｅｔａｌプロセッサ又はＴｒｉｍｅｄｉａプロセッサであっても良い。
ｂ）例えばＡＳＩＣ又はＦＰＧＡといった専用チップであっても良い。
ｃ）ビデオカメラハードウェアの既存のチップの不可欠な経路であっても良い。あるいは、
ｄ）前出の可能性の組み合わせであっても良い。
【００１５】
好ましい選択は、システム態様及び製品要求に依存する。前記処理ユニットの好ましい実施形態は、１８０ｍｍ×１２５ｍｍの大きさを有し且つフィリップスＰＮＸ１３００チップを備えたデジタルビデオカメラに挿入されるべき特別のカードを使用する。フィリップスＰＮＸ１３００チップ自体は、フィリップスＴＮ１３００プロセッサを有する。更に、カードは、２つのフレームメモリ及び１つのベクトルメモリのためにＲＡＭの１ＭＢを使用する。
【００１６】
前記処理ユニットは、映像フレームから動き情報を取り出すために３次元の帰納探索ブロック（３ＤＲＳ）アルゴリズムを使用する。このアルゴリズムは、１９９３年１０月に発行されたIEEE  transactions  on  circuits  and  systems  of  video  technology、第３巻、No.５、“True  motion  estimation  with  ３D-recursive  search  block  matching”、Gerard  de  Haan等の文献に記載されるように動作する。この文献は、参照することによって本願に援用される。
【００１７】
本発明に従う装置は、符号化されていない映像シーケンスに広く適用され得るという利点を有する。従って、映像シーケンスを処理する前にそれらを符号化する必要はなく、対応するソフトウェア又はハードウェアに財政投資を行う必要もない。
【００１８】
当該装置の他の利点は、３ＤＲＳアルゴリズムによって計算される運動ベクトルが、対象又は人の実際の動きを表すことである。従って、その品質を許容可能なレベルへ改善するために、取得した運動ベクトルを後処理する必要はない。なお、これは、当該装置の用途にとって重要である。即ち、当該装置が速度測定に使用される場合は、速度値の信頼性及び正確性は、運動ベクトルが実際の動きを表す場合には高く、運動ベクトルの後処理が必要である場合にはより低い。
【００１９】
当該装置の更なる他の利点は、３ＤＲＳアルゴリズムが、他の既知のブロック整合アルゴリムと比較しても、極めて有効である点である。従って、実時間で動作している装置の設計は端的となる。その際、前記処理ユニットの選択が憂慮される限り、高い自由度が存在する。従って、３ＤＲＳアルゴリズムの実行は、ハードウェア及びソフトウェアで実施可能である。
【００２０】
本発明の好ましい実施形態に従って、前記処理ユニットは、映像シーケンスの映像フレームによって捕捉される対象又は人の速度を決定するよう構成される。これは以下のように行われ得る。３ＤＲＳアルゴリズムは、画素のブロック（例えば、８×８画素／ブロック）にある全てのフレームを処理する。３ＤＲＳアルゴリズムは、８×８の画素ブロック毎に１つの運動ベクトルを出力する。夫々のベクトルはｘ成分及びｙ成分を有する。ここで、ｘ及びｙは、図３を参照して、右に向かう水平なｘ軸及び上に向かう垂直なｙ軸を有する２次元デカルト座標システムを表す。運動ベクトルの絶対値は、画素又は画素の一部、例えば、４分の１の画素で測定された速度を表す。
【００２１】
一例として、例えば、フレーム内の８×８画素のブロックに関し、ある位置で、運動ベクトルのｘ値は１２であり、運動ベクトルのｙ値が−３７であるとする。更に、４分の１の画素精度が仮定される。これは、ｘ値が正であるから、この特定のブロックが１２×０．２５＝４画素の速度を有して右へ動いていており、ｙ値が負であるから、３７×０．２５＝９．２５画素を有して下降していることを意味する。
【００２２】
実際の速さ又は速度への運動ベクトルの変換は以下の通りである。第１のステップで、ｘ成分及びｙ成分は、（画素の単位で）
【数１】
2009510827.tif 000003
によって与えられる運動ベクトルの方向で、veclengthによって表される運動ベクトルの長さを計算するために使用される。ここで、νxは当該速度のｘ成分であり、νyは当該速度のｙ成分である。
【００２３】
フレーム周波数、例えば２５Ｈｚは、デジタルビデオカメラから知られるので、毎秒画素（pps）での対象の速度は、
【数２】
2009510827.tif 000004
によって計算される。ここで、frame_freqはフレーム周波数を表す。
【００２４】
毎秒画素での速度は、speed_ppsによって示され、
【数３】
2009510827.tif 000005
に従って変換係数で割り算することによって、speed_mpsによって示される毎秒メートル（mps）での実際の速度に変換される。ここで、conv_factorは画素における距離をメートルにおける距離に変換する役目を果たす変換係数を示す。最後に、ｍ／ｓの速度は、より容易な解釈のために、ｋｍ／ｈ又はマイル／ｈで表される。
【００２５】
変換係数は、当該装置が構成される場合に１度だけ決定される。その値は、対象、例えば自動車のフレーム内の場所に依存する。夫々の場所は、それ自体の変換係数を有する。ここで、その値は、フレーム自体に存在する情報から取り出され得る。これは、例えばメートルでは既知の距離が、画素で測定される場合に実行され得る。一例は、道路の中央にある隣接する車線マークの間の距離を、例えばメートルで測定し、その測定された距離を、画素における対応する距離と比較することである。その目的のために使用される他の対象は、道路に隣接する２つの対象、自動車自体などの間の距離である。
【００２６】
このようにして決定された速度は、２つのフレームの間の平均速度である。用語“速度”は、本明細書中の用語“速さ”と同意語として使用される。２つのフレームの間の時間差が非常に小さい場合は、測定される速度は、適切な近似において、所与の時点での現在の速度である。しかし、フレームからフレームへと速度追跡を実行するために、多くの２つの連続したフレームの間の速度を計算することも可能である。言い換えると、これにより、かかる速度値の平均値を計算することを可能にする。
【００２７】
本発明の好ましい実施形態に従って、前記処理ユニットは多数の対象又は人の速度を同時に決定するよう構成される。３ＤＲＳアルゴリズムは、フレームによって捕捉され、かかるフレーム内で動いている全ての対象又は人が処理されるように、フレーム全体を処理する。これは、交通監視用途に本発明を使用することを可能にする。このとき、多数の自動車の速度が確認されるべきである。望ましくは、速度は、速度制限が守られているかどうかを効果的に制御するよう同時に確認されるべきである。
【００２８】
本発明を用いると、自動車がカメラに近づいているかどうか又は自動車がカメラから遠ざかっているかどうかを区別することが可能となる。更に、多数の車線上の自動車の速度を監視すること及び車線上の自動車の平均速度を決定することが可能である。前記多数の自動車の平均速度を決定することにより、道路に交通渋滞が存在するかどうかに関してインジケータを有することが可能となる。
【００２９】
本発明の好ましい実施形態に従って、前記処理ユニットは前記ビデオカメラの筐体に配置される。このように、システムは、持ち運び及び使用が容易である組み込みシステムとなる。その目的のためのハードウェア要求は、用途及び所望の装置精度に極めて依存する。一例として、当該装置は、フィリップスＴＭ１３００プロセッサを備えたフィリップスＰＮＸ１３００チップを有し且つ１ＭＢのＲＡＭを有する１８０×１２５ｍｍのサイズを有するメインボードを有することができる。この特別のカードは、高速道路上の交通を監視すべくビデオカメラに組み込まれ得る。しかし、ハードウェア要求は、人が建物又は土地に侵入しているかどうかを確認するよう設計された装置に関しては、より低い。後者の例では、低解像度のカメラで十分であり、従って、ハードウェア要求もより低い。
【００３０】
更なる好ましい実施形態では、前記処理ユニットは実時間システムとして実施される。実時間実施の実現はハードウェアの性能に依存する。例えばフィリップスＴＭ１３００プロセッサのような既存のハードウェアでさえ、３ＤＲＳアルゴリズムが、オフライン処理のために大量のデータを記憶する必要がないように実時間で動作することを保証することができる。第１の理由として、３ＤＲＳアルゴリズムは極めて効率的且つロバストであり、実際の実施及び必要条件に依存して画素ごとに７から１０の動作しか必要としないためである。
【００３１】
本発明の更なる好ましい実施形態では、前記処理ユニットは、動いている対象又は動いている人の位置を示すよう構成される。この機能は、３ＤＲＳアルゴリズムによって得られた多数の運動ベクトルを後処理することによって提供される。最も簡単な場合では、動いている対象、例えば、道路上を移動中の自動車は、ゼロになることのない運動ベクトルを有する領域を定める。一方、その周囲の領域はゼロに近い運動ベクトルを有する。このように、対象の位置は、ゼロになることのない運動ベクトルを有する前記領域の中央であるよう定められ得る。
【００３２】
他の好ましい実施形態では、前記処理ユニットは対象認識を実行するよう構成される。これを実行することは、例えば、人を車両と区別するために、及び、例えば自動車と大型トラックとの間を区別するといったように車両同士を区別するために、先行技術で知られているアルゴリズムによってフレーム内の対象の大きさ及び形状を比較することを意味する。
【００３３】
本発明の他の実施形態では、前記処理ユニットはナンバープレート認識を実行するよう構成される。このナンバープレート認識は、いわゆる当業者にはよく知られている光学式文字認識に基づく周知のアルゴリズムにより実行され得る。ナンバープレート認識は、当該装置が、赤信号を通った車両を特定するために又は速度検出のために使用され得る場合の当該装置の有用な機能である。
【００３４】
本発明の第２の態様は、映像フレームのシーケンスから動き情報を取り出す方法を参照する。この方法の第１のステップでは、映像フレームのシーケンスが取り込まれる。第２のステップでは、ビデオカメラによって取り込まれたデジタル映像フレームが処理される。この処理は、帰納的な探索ブロックアルゴリズムを使用することによって行われ、前記映像フレームが動いている対象又は人を示しているかどうかを判断する。先と同じく、このアルゴリズムは、１９９３年１０月に発行されたIEEE  transactions  on  circuits  and  systems  of  video  technology、第３巻、No.５、“True  motion  estimation  with  ３D-recursive  search  block  matching”、Gerard  de  Haan等の文献に記載されるように動作する。この文献は、参照することによって本願に援用される。
【００３５】
本発明に従う方法は、符号化されていない映像シーケンスに広く適用され得るという利点を有する。従って、当該方法は、映像シーケンスを処理する前にそれらを符号化することはない。対照的に、符号化された映像シーケンスが処理されるべき場合は、当該方法は３ＤＲＳアルゴリズムを用いてフレームの画素を処理するので、その符号化された映像シーケンスを最初に復号化する必要がある。
【００３６】
当該方法の他の利点は、３ＤＲＳアルゴリズムによって計算される運動ベクトルが対象又は人の実際の動きを表す点である。従って、それらの品質を許容可能なレベルへと改善するために、取得した運動ベクトルを後処理する必要はない。
【００３７】
当該発明の更なる他の利点は、３ＤＲＳアルゴリズムが、他の既知のブロック整合アルゴリムと比較しても、極めて有効である点である。従って、当該方法は、特に高速である。このことは、取り込んだ映像シーケンスを実時間で処理することを可能にする。
【００３８】
上述された方法により、前記対象又は人の速度が決定される。更には、多数の対象又は人の速度でさえ同時に決定され得る。当該方法は、交通監視のような監視用途のために使用され得る。当該方法が使用される他の範囲は、特に速度カメラ又は赤色ランプカメラとしての交通規則実施カメラに関する。
【００３９】
本発明のこれらの及び他の態様は、以下に記載される実施例を参照して説明され、明らかとなるであろう。留意すべきは、参照符号の使用は本発明の適用範囲を限定するよう解釈されるべきでない点である。
【発明を実施するための最良の形態】
【００４０】
以下、一例として、本発明の好ましい実施形態を、図面を参照して説明する。
【００４１】
図１は、本発明に従う装置を示す。この装置は、処理ユニット３を含む筐体２を有するデジタルビデオカメラ１を備える。更に、デジタルビデオカメラ１は、例えばイーサネット（登録商標）ケーブル５を介して、外部のコンピュータ（図示せず。）と通信するための出力ポート４を有する。外部のコンピュータは、警察署に配置され得る。加えて、デジタルビデオカメラ１は、遠くのコンピュータへの取得データの無線送信のために、任意的な送受信機６を有する。
【００４２】
実現可能性の検討のために、システムは、図１に示されるように、デジタルビデオカメラ１を踏み出して使用される。デジタルカメラ１は、市販されており、更なる説明が不要であるパナソニック（登録商標）製ＮＶ−ＤＸ１１０ＥＧの民生ビデオカメラである。このビデオカメラ１は、２５Ｈｚのフレームレートで映像フレームを取り込み、それらを４ピンのｉリンク入出力ポートを介して出力する。
【００４３】
出力された映像フレームは、従来のノート型コンピュータ（図示せず。）へ送られ、２５ＨｚでＡＶＩフォワードに記憶される。３ＤＲＳアルゴリズムを使用するために、このような圧縮映像フォーマットは、ＹＵＶ４２２標準へと送られるように、最初に復号化される必要がある。復号化された映像シーケンスは、７２０×５７６画素の解像度と、２５Ｈｚのフレームレートとを有する。３ＤＲＳアルゴリズムに基づくコンピュータプログラムは、如何なる前処理又は後処理も伴うことなく、符号化された映像シーケンスを処理するために使用される。このアルゴリズムは、前出のノート型コンピュータで実行される。それにより、真の運動ベクトルは信頼できる速度値を生じさせる。更に、真の運動ベクトルは、ロバストな３ＤＲＳアルゴリズムを有効に且つ極めて速く動作させることができる。従って、装置は、前処理又は後処理を伴わずに実時間でフレームを処理する。
【００４４】
動作において、第１のステップは、デジタルビデオカメラを組み込む段階と、それを高速道路にかかる橋に取り付ける段階とを有する。第２のステップでは、デジタルビデオカメラが映像シーケンスを生成して、適切に機能するかどうかが試験される。第３のステップでは、前出のノート型コンピュータは、アプリケーションソフトウェアによって装置を較正するために使用される。言い換えると、本発明に従う装置は、実現可能性の検討のための構造において、デジタルビデオカメラ及びノート型コンピュータを有する。ノート型コンピュータは、前出の代替案ａ）の意味で、処理装置及び関連するメモリを有する処理ユニットを表す。
【００４５】
最初の較正ステップは、速度確認が実行されるべき高速道路の場所を選択する段階を有する。これは、図２を用いて表される。図２は、ビデオカメラに近づく自動車がある三車線の高速道路を示す。車線ごとに、測定場所８、９及び１０が選択される。３ＤＲＳアルゴリズムは、対象がフレーム／画像に入ってくると直ぐに、その全ての対象の速度を推定するが、適切な位置を選択することに幾らかの注意が必要である。良好な位置は、画像の境界に近すぎず、且つ、背景まで遠すぎない。
【００４６】
次なる較正ステップでは、式３を用いて自動車の速度を計算するための変換係数conv_factorが決定される。これは、測定場所８、９及び１０ごとに行われる。そのために、二重矢印によって示される最も左の車線の間の４つの連続した幅広い縞の距離は、メートル単位でアプリケーションソフトウェアに入力される。同じ距離が、画素単位で計算される。即ち、Δｘ＝１７２．２画素。この値画素から、ｘ軸（Δｘ＝７３画素）上及びｙ軸（Δｙ＝１５６画素）上へのかかる長さの対応する投影が計算される。変換係数は、ｘ及びｙ方向の距離を画素からメートルへ変換するために処理ユニットによって使用される。変換係数は、表１の列６に列挙される。
【００４７】
装置を較正した後に、速度測定が実行される。ノート型コンピュータは、処理ユニットとしての役割を果たし、如何なる前処理又は後処理も伴うことなく基本的な３ＤＲＳアルゴリズムを使用する。アルゴリズムはフレームを処理し、そのフレームを画素のブロック、即ち、ブロックごとに８×８画素に分割する。
【００４８】
１つのこのような測定は、図４を用いて表される。カメラに近づく２台の自動車は、画素ブロックがゼロになることのない運動ベクトルを有するよう示されている領域１１及び１２を示すために、目下、丸で囲まれている。領域１１及び１２での平均運動ベクトルは、夫々、式１を用いて運動ベクトルの長さを計算するために使用される。フレームレートは２５Ｈｚを有し、従って、自動車の速度は式２及び３並びに表１に列挙される変換係数を用いて計算される。その結果は表１に示される。
【００４９】
注目すべきは、このような実験的な設定による測定値は、
【数４】
2009510827.tif 000006
を用いて計算され得る極めて高い精度を有する点である。ここで、εは運動ベクトルの誤差であり、かかる設定ではε＝０．２５画素である。
【００５０】
変換係数が表１における最悪値である７．５０であって、フレームレートが２５Ｈｚであるとした場合は、速度誤差はたった０．３３ｋｍ／ｈである。この簡単化された実験的な設定に関してさえ、精度は極めて良好であると考えられる。
【００５１】
較正が行われると、装置の使用は図５のフローチャートを用いて表される。ステップ１では、映像フレームのシーケンスの取り込みが実行される。これらの映像フレームはステップ６で処理されて、その結果はステップ５で出力される。
【００５２】
第１の処理ステップ２では、フレームは、図２に示される測定場所８、９又は１０のいずれかにある動いている対象を識別するよう３ＤＲＳアルゴリズムを用いて解析される。動いている対象、例えば自動車は、この領域でゼロになることのない運動ベクトルを有する画素ブロックが存在する場合には、かかる領域に存在する。ステップ３で、この動いている画素ブロックに関連する速度は決定され、この速度が許容値、例えば高速道に関しては１００ｋｍ／ｈと比較して速度超過していないかどうかが判断される。速度超過している場合には、車両のナンバープレートが、ステップ４で、映像フレームから取り出される。これは、先行技術で知られる更なるコンピュータプログラムモジュールによって行われる。ステップ５で、データは、警察署に設置され得る外部コンピュータへ出力される。このデータは、速度超過をしている車両のナンバープレート、速度、及び、場合によりフレーム／画像を含む。
【図面の簡単な説明】
【００５３】
【図１】動き情報を取り出すデジタルビデオカメラを示す。
【図２】速度照合のための場所の選択を表す。
【図３】速度照合場所に対する装置の較正を表す。
【図４】運動ベクトルがゼロになることのない領域を示す測定である。
【図５】本発明を実施するフローチャートを示す。
【００５４】
［表１］測定値及び較正のための変換係数を含む。
【図１】
2009510827.tif 000007
【図２】
2009510827.tif 000008
【図３】
2009510827.tif 000009
【図４】
2009510827.tif 000010
【図５】
2009510827.tif 000011
【手続補正書】
【提出日】平成20年5月27日(2008.5.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像フレームのシーケンスから動き情報を取り出す装置であって：
ａ）映像フレームのシーケンスを取り込むデジタルビデオカメラ，
ｂ）前記ビデオカメラによって提供される前記映像フレームを処理する処理ユニット，及び
ｃ）前記映像フレームが動いている対象又は人を示しているかどうかを判断するために３次元の帰納的な探索ブロックアルゴリズムを使用するよう構成され、画素のブロックにおける全てのフレームを処理して、画素のブロックごとに１つの運動ベクトルを出力する前記処理ユニット，
を有する装置。
【請求項２】
前記処理ユニットは前記対象又は人の速度を決定するよう構成される、ことを特徴とする請求項１記載の装置。
【請求項３】
前記処理ユニットは多数の対象又は人の速度を同時に決定するよう構成され、フレーム内の対象又は人及び動きを捕捉するよう前記フレームの全体を処理する、ことを特徴とする請求項２記載の装置。
【請求項４】
前記処理ユニットは前記ビデオカメラの筐体に配置される、ことを特徴とする請求項１記載の装置。
【請求項５】
前記処理ユニットは実時間システムとして実施される、ことを特徴とする請求項１記載の装置。
【請求項６】
前記処理ユニットは、動いている対象又は動いている人の位置を示すよう構成される、ことを特徴とする請求項１記載の装置。
【請求項７】
前記処理ユニットは対象認識を実行するよう構成される、ことを特徴とする請求項１記載の装置。
【請求項８】
前記処理ユニットはナンバープレート認識を実行するよう構成される、ことを特徴とする請求項１記載の装置。
【請求項９】
映像フレームのシーケンスから動き情報を取り出すことによる方法であって：
ａ）映像フレームのシーケンスを取り込むステップ，及び
ｂ）前記映像フレームが動いている対象又は人を示しているかどうかを判断するために帰納的な探索ブロックアルゴリズムを使用することによって、前記デジタル映像フレームを処理し、画素のブロックにおけるフレーム全体が処理されて、画素のブロックごとに１つの運動ベクトルが出力されるステップ，
を有する方法。
【請求項１０】
前記対象又は人の速度が決定される、ことを特徴とする請求項９記載の方法。
【請求項１１】
多数の対象又は人の速度が同時に決定され、フレームの全体は該フレーム内の対象又は人及び動きを捕捉するよう処理される、ことを特徴とする請求項９記載の方法。
【請求項１２】
交通監視のような監視用途のために又は建物若しくは土地への侵入を検出するために使用される、ことを特徴とする請求項９記載の方法。
【請求項１３】
特に速度カメラ又は赤色ランプカメラとしての交通規則実施カメラに使用される、ことを特徴とする請求項９記載の方法。
【請求項１４】
コンピュータプログラムコード手段を有するコンピュータ読取可能な媒体を有するコンピュータプログラムであって、
読み込まれる場合に、コンピュータに、請求項９乃至１３のうちいずれか一項記載の方法を実行させるコンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
［表１]  測定値及び較正のための変換係数を含む。
【表１】
2009510827.tif 000012
【国際調査報告】
2009510827.tif 000013
2009510827.tif 000014
2009510827.tif 000015