(57)【要約】      （修正有）【課題】シーン解析を使用するカメラ幾何学的キャリブレーションを更新する方法およびシステムを提供する。【解決手段】カメラ幾何学的キャリブレーションパラメータは、１つまたは複数のカメラと、１つまたは複数のカメラによって取得されたシーンから識別された選択された基準関心点とに対して導出することができる。カメラ幾何学的キャリブレーションパラメータは、選択された基準関心点の画像座標に適用され、カメラの初期キャリブレーションの時点で、現実世界座標をもたらすことができる。次いで、カメラからのビデオストリームのサブセットは、選択された基準関心点とマッチする、カメラによって取り込まれた現在シーンの特徴を識別するよう分析され、現在シーンに対して、カメラ幾何学的キャリブレーションパラメータの追加更新をもたらす。【選択図】図７
2014217052.tif 000002
【特許請求の範囲】
【請求項１】
シーン解析を使用してカメラ幾何学的キャリブレーションを更新するための方法であって、前記方法は、
少なくとも１つのカメラに関する初期カメラ幾何学的キャリブレーションパラメータを受け取ることと、
前記少なくとも１つのカメラによって取得されたシーン内の初期基準フレームから基準関心点を発見することと、
前記カメラ幾何学的キャリブレーションパラメータを、前記発見した基準関心点の画像座標に適用して、前記発見した基準関心点の現実世界座標を提供することと、
前記少なくとも１つのカメラからのビデオストリームのサブセットを解析して、前記発見した基準関心点とマッチする、前記少なくとも１つのカメラによって取り込まれた現在シーンの特徴点を識別することと、
前記現在シーンに関する前記カメラ幾何学的キャリブレーションパラメータの追加更新を提供することとを備える、方法。
【請求項２】
前記現在シーンと、前記少なくとも１つのカメラの初期カメラキャリブレーションを導出するために取得された前記シーンとの間の変化を測定することと、
現在シーンの前記識別された特徴点の画像画素座標と、前記発見した基準関心点の画像画素座標との間の差、
現在シーンの前記識別された特徴点の現実世界座標と、前記発見した基準関心点の現実世界座標との間の差、および
現在シーンの識別された特徴点の前記画像画素座標ならびに現実世界座標から導出された前記カメラキャリブレーションパラメータと、前記初期カメラキャリブレーションパラメータとの間の差、の少なくとも１つを使用して、
前記少なくとも１つのカメラの再キャリブレーション、保守、および診断の少なくとも１つのきっかけとするための評価データを生成することとをさらに備える、請求項１に記載の方法。
【請求項３】
前記少なくとも１つのカメラの将来的なオンラインキャリブレーション更新のために、前記発見した基準点の前記画像画素座標および前記現実世界座標を格納することをさらに備える、請求項１に記載の方法。
【請求項４】
前記発見した基準関心点とマッチする、前記少なくとも１つのカメラによって取り込まれた現在シーンの前記特徴点を識別することと、以下の技術、すなわち、ＳＩＦＴマッチング、ＳＵＲＦマッチング、相互相関マッチング、または、マッチング関心オブジェクトの少なくとも１つを使用することとをさらに備える、請求項１に記載の方法。
【請求項５】
前記発見した基準関心点は、以下の検出技術、すなわち、ＳＩＦＴ、ＳＵＲＦ、Ｈａｒｒｉｓ  ｃｏｒｎｅｒ、Ｓｈｉ−Ｔｏｍａｓｉ  ｃｏｒｎｅｒ、関心オブジェクトの検出、ＲＡＮＳＡＣ、および、グラフィカルユーザインターフェースを使用する手動指示の少なくとも１つを使用して発見される、請求項１に記載の方法。
【請求項６】
シーン解析を使用してカメラ幾何学的キャリブレーションを更新するためのシステムであって、前記システムは、
少なくとも１つのカメラに関するカメラ幾何学的キャリブレーションパラメータを受け取ることと、
前記少なくとも１つのカメラによって取得されたシーンから基準関心点を発見することと、
前記カメラ幾何学的キャリブレーションパラメータを、前記発見した基準関心点の画像座標に適用して、前記発見した基準関心点の現実世界座標を提供することと、
前記少なくとも１つのカメラからのビデオストリームのサブセットを解析して、前記発見した基準関心点とマッチする、前記少なくとも１つのカメラによって取り込まれた現在シーンの特徴点を識別することと、
前記現在シーンに関する前記カメラ幾何学的キャリブレーションパラメータの追加更新を提供することとを備える、システム。
【請求項７】
前記指示は、前記現在シーンと、前記少なくとも１つのカメラの初期カメラキャリブレーションを導出するために取得された前記シーンとの間の変化を測定し、
現在シーンの前記識別された特徴点の画像画素座標と、前記発見した基準関心点の画像画素座標との間の差、
現在シーンの前記識別された特徴点の現実世界座標と、前記発見した基準関心点の現実世界座標との間の差、および
現在シーンの識別された特徴点の前記画像画素座標ならびに現実世界座標から導出された前記カメラキャリブレーションパラメータと、前記初期カメラキャリブレーションパラメータとの間の差、の少なくとも１つを使用して、
前記少なくとも１つのカメラの再キャリブレーション、保守、および診断の少なくとも１つのきっかけとするための評価データを生成するためにさらに構成される、請求項６に記載のシステム。
【請求項８】
前記現実世界座標は、前記初期カメラ幾何学的キャリブレーションの、画像画素座標への適用によって割り出される、請求項６に記載のシステム。
【請求項９】
前記指示は、前記少なくとも１つのカメラの将来的なオンラインキャリブレーション更新のために、前記発見した基準点の前記画像画素座標および前記現実世界座標を格納するようさらに構成される、請求項６に記載のシステム。
【請求項１０】
交通解析および監視システムであって、前記システムは、
交通カメラを備え、幾何学的キャリブレーション機能が、前記交通カメラの画像画素座標を現実世界座標に関連づけ、
前記システムはさらに、前記交通カメラの視野域内に存在する発見した基準点の現実世界座標から構成される基準データセットを格納するデータベースと、
前記データベースと通信し、さらに、前記交通カメラによって画像化された、前記発見した基準点とマッチする、新しいフレームの特徴点の画像画素座標を識別する特徴点識別モジュールと、
前記基準点識別モジュールおよび前記データベースと通信し、さらに
前記特徴点識別モジュールによって識別された、前記新しいフレーム内の前記特徴点の画像画素座標と、前記データベースに格納された前記発見した基準点の画像画素座標との間の差、および
前記基準データセットから取り出された前記発見した基準点の現実世界座標と、前記特徴点識別モジュールによって割り出された、前記新しいフレーム内の前記特徴点の画像画素座標に適用される前記幾何学的キャリブレーション機能から算出される前記新しいフレーム内の対応する前記特徴点の現実世界座標との間の差、の少なくとも一方を算出するキャリブレーション試験モジュールと、
前記キャリブレーション試験モジュール、前記特徴点識別モジュール、および前記データベースと通信し、さらに、前記キャリブレーション試験モジュールによって算出された前記差が、所定の閾値よりも大きい場合、前記幾何学的キャリブレーション機能を更新するキャリブレーション更新モジュールを備える、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明による実施形態は、一般に、画像処理方法およびシステムに関する。本発明による実施形態は、さらに、ビデオ式監視方法およびシステムに関する。本発明による実施形態はまた、交通カメラおよびビデオカメラに関する。
【背景技術】
【０００２】
カメラ幾何学的キャリブレーション、すなわち、画像画素座標の現実世界座標への変換は、スピード違反の取り締まりや路上駐車などの、さまざまな画像式およびビデオ式交通アプリケーションにとって、重要なステップである。最も直接的な手法は、既知の現実世界の寸法測定値を有する視認可能なマーカを一時的に配置し、そのシーンの画像／ビデオを手動で撮影し、それらのマーカの画素座標を手動で識別し、次いで、標準的なカメラキャリブレーション技術を使用して、適切な変換を導出することである。そのような方法は、多くの労力を必要とし、および／または交通の流れに混乱をきたす可能性がある。他のオプションは、既知の寸法を有する標的を搬送する試験車両を、カメラの視野域を横切って走らせることである。
【０００３】
初期カメラキャリブレーションをどのように行おうとも、時間とともに、キャリブレーションの精度は劣化し、結果として、要求される機能を適切に実行することがもはやできなくなる。カメラキャリブレーションの修正および保守のためのシステムおよび方法が必要とされる。
【発明の概要】
【課題を解決するための手段】
【０００４】
カメラ幾何学的キャリブレーション、すなわち、画像画素座標の現実世界座標への変換は、スピード測定／違反の取り締まりや路面標示のない場所への駐車などの、さまざまな画像式およびビデオ式交通アプリケーションの実現において、重要なステップである。非常に多くのカメラが使用される現在、通常の交通の中断を最小限に抑える有効で効果的なカメラキャリブレーションが課題となっている。
【０００５】
したがって、開示する実施形態の一態様は、それぞれが異なる時間に撮影された、車道、歩道、または交差点を含むシーンの画像化のために位置づけた交通カメラからの一連の画像を受け取ることである。シーン内には、多くの画像化点がある。
【０００６】
本発明による実施形態の他の態様は、オフラインキャリブレーションデータセットを最初に格納し、交通解析および監視システムでのキャリブレーションデータセットとして使用することである。後のオンラインキャリブレーションで、キャリブレーションデータセットに対する更新または交換をもたらすことができる。シーン位置解析モジュールは、いくつかの実施形態において、キャリブレーションデータセットからの画像化点のサブセットおよび画像系列の１つまたは複数のフレームに対して、３次元位置データを生成するために使用することができる。
【０００７】
本発明による実施形態のさらに他の態様は、画像化点の中から基準点のセットを識別する、基準点発見アルゴリズムを実現することである。基準点は、画像データ内の基準点サブ画像によって発見することができる。基準点記述は、基準点について記述することができ、基準点識別モジュールに通される。基準点識別モジュールは、画像データ内の基準点の位置を特定し、基準点サブ画像のそれぞれが、画像内のどこで発見されたかを記述する、基準点画像位置データを生成することができる。シーン位置解析モジュールは、各基準点の３次元位置を記述する基準点位置データを割り出すことができる。
【０００８】
本発明による実施形態のさらに他の態様では、オンラインキャリブレーションモジュールが、基準点位置データおよび基準点画像位置データからオンラインキャリブレーションデータセットを割り出す。本文において、「位置」とは、現実世界座標を意味し、「画像位置」とは、画素座標を意味する。キャリブレーション更新モジュールは、オンラインキャリブレーションデータセットを受け入れ、キャリブレーションデータセットとして使用し、それにより、自動的に、ある時間にわたって、システムを再キャリブレーションすることができる。
【０００９】
概して、シーン解析を使用するカメラ幾何学的キャリブレーションを更新する方法およびシステムを開示する。幾何学的キャリブレーションパラメータは、１つまたは複数のカメラと、既知の現実世界座標を用いて、そのようなカメラの１つまたは複数によって取得されたシーン内で、選択された関心点とに対して導出することができる。カメラ幾何学的キャリブレーションパラメータは、選択された基準関心点の画像座標に適用され、カメラの初期キャリブレーションの時点で、現実世界座標をもたらすことができる。次いで、カメラからのビデオストリームのサブセットは、選択された基準関心点とマッチする、カメラによって取り込まれた現在シーンの特徴を識別するよう分析され、現在シーンに対して、カメラ幾何学的キャリブレーションパラメータの追加更新をもたらすことができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本実施形態の態様による、シーンを監視する交通カメラの図である。
【図２】図２は、本実施形態の態様による、交通解析および監視のためのシステムの、高レベルブロック図である。
【図３】図３は、本実施形態の態様による、基準点を確認するオペレータである。
【図４】図４は、本実施形態の態様による、あるキャリブレーションデータ管理機能である。
【図５】図５は、本実施形態の態様による、基準点管理である。
【図６】図６は、本実施形態の態様による、オペレータと、交通解析および監視のためのシステムとの連携である。
【図７】図７は、本実施形態の態様による、カメラキャリブレーションのための、高レベルフローダイアグラムである。
【図８】図８は、本実施形態の態様による、例示的なキャリブレーションマップである。
【図９】図９は、本実施形態の態様による、基準関心点を有する道路である。
【図１０】図１０は、路面上方の高さＺのいくつかの値に対する現実世界座標における、カメラ視野域（ＦＯＶ）を示す画像である。
【図１１】図１１は、実際の試験現場から取得した試験ビデオのフレームに、ＳＵＲＦ特徴を使用する実装態様からの、結果としてのＲＰＩを示すデータを示す画像である。
【発明を実施するための形態】
【００１１】
カメラキャリブレーションのための直接的な手法の１つには、既知の現実世界の寸法測定値を有する視認可能なマーカを一時的に配置し、シーンの画像／ビデオを撮影し、それらのマーカの画素座標を識別し、次いで、標準的なカメラキャリブレーション技術を使用して、カメラ幾何学的キャリブレーションのために適切な変換を導出することが含まれる。そのような方法は、多くの労力を必要とし、および／または交通の流れに混乱をきたす可能性がある。より良い解決法は、米国特許出願第１３／３７１，０６８号に記載され、既知の寸法を有する標的を搬送する試験車両を、カメラの視野域を横切って走らせることができ、次いで、さまざまな自動化処理アルゴリズムを、カメラキャリブレーションを導出するために取得されたデータに適用する。米国特許出願第１３／３７１，０６８号は、参照によりその全体が本明細書に組み込まれ、以下、Ｗｕと称する。
【００１２】
初期カメラキャリブレーションをどのように実現しようとも、時間とともに、カメラキャリブレーションの精度は劣化し、結果として、要求される機能を適切に実行することがもはやできなくなる。この劣化は、徐々に進行する可能性があり、または、突然発生する可能性があり、さらに、カメラのハウジングへの偶発的な衝撃などが原因となる可能性がある。完全な機能停止（例えば、ケーブルの切断）は、自動的な手段で容易に検出されるが、より微細な劣化の検出は、特に、手動点検無しでは、より困難である。したがって、本発明の目的は、初期キャリブレーションを行う方法にかかわらず、シーン特徴のみを使用するキャリブレーション更新方法を提案することである。
【００１３】
以下の用語は、本明細書では、以下のように定義および使用され得ることに留意されたい。
【００１４】
基準点とは、初期キャリブレーションが有効であると分かっている間に割り出され、ＳＩＦＴやＳＵＲＦなどによって発見される、現実世界座標を有する点（例えば、街灯の支柱の１端、または道路標示）である。
【００１５】
特徴点は、基準点とマッチする現時点（例えば、初期キャリブレーションがもはや有効ではない可能性がある場合）での類似点であり、これらの点のいくつかのサブセットが選択可能である。
【００１６】
発見とは、基準点を初めて見つけることである。
【００１７】
識別とは、基準点とマッチする特徴点を見つけることである。
【００１８】
図１は、開示する実施形態の態様による、シーン１０２を監視するための交通カメラ１０１（例えば、ビデオカメラ）を備えるシステムのブロック図を示す。図１に示すように、シーン１０２は、例えば、トラフィック１０７を搬送する、車道、歩道、交差点などを含むことができる。シーン１０２には多数の画像化点があり、その内のいくつかは、基準点１２２として使用され、交通カメラ１０１をキャリブレーションすることができる。交通カメラ１０１は、ビデオストリームなどの、画像化時系列を生成することができる。画像化時系列１０８は、それぞれが異なる時間に撮影された、多数のフレームまたは画像データ１０９、１１０、および１１１からなる。画像は、交通解析および監視システム１１３の画像データ入力に送られる。
【００１９】
交通解析および監視システム１１３は、多数のモジュールおよびデータセットを含むことができる。モジュールの中には、オンラインキャリブレーションデータ１１５を受け入れて、キャリブレーションデータセット１１４を更新する際に使用することができる、キャリブレーション更新モジュール１２１がある。キャリブレーションデータセットは、画像化時系列内の個々の画素、またはサブ画像に対応する現実世界座標を割り出すために使用される。オフラインキャリブレーションデータセット１１２は、キャリブレーションデータセット１１４として、特に、初期キャリブレーションとして、使用することができる。
【００２０】
交通解析および監視システム１１３は、キャリブレーションログ１１６、交通データ１１７、交通統計１１８、および交通法令執行証拠１１９を生成することができる。本明細書の記述は、速度測定／違反取り締まりに対するキャリブレーションの使用に関連する、典型的な交通情報に焦点を当てていることに留意されたい。キャリブレーションログ１１６は、障害解決の際に後に使用するための、さまざまな時間間隔の間に使用されたキャリブレーションデータセットを、証拠として記録することができる。交通データ１１７は、交通の有無、および車両の速度ならびに方向を示すことができる。交通統計１１８は、さまざまな時間間隔の間にシーンを通過する車両の数、平均速度、最高速度、最低速度、速度ヒストグラム、全体的な進行方向、および他の情報を示すことができる。交通法令執行証拠１１９は、法令を破っている車両のビデオデータ、キャリブレーションデータ、速度推定値、および、機械の観測値を交通法違反に対する確証とするために必要となる可能性がある他のデータを示すことができる。
【００２１】
図２は、本実施形態の態様による、交通解析および監視のためのシステムの高レベルブロック図を示す。交通解析および監視システム１１３の文脈内に含まれる可能性のある他の要素は、例えば、基準点発見モジュール２０５、シーン位置解析モジュール２０３、基準点画像位置モジュール２０９、およびキャリブレーションモジュール２２２である。基準点発見モジュール２０５は、画像データ２０１を解析する基準点発見アルゴリズム２０６を使用して、基準点サブ画像２０７を生成または位置特定し、基準点位置データ２０８を生成することができる。
【００２２】
基準点識別モジュール２０９は、基準点記述データ２０６および／または基準点サブ画像２０７を使用して、画像データ２０１内の基準点の位置を割り出すことができる。基準点発見モジュール２０５と、基準点識別モジュール２０９との違いは、前者が、新しい基準点を発見し、一方、後者は、すでに発見した基準点に対する画像を検索して、基準点画像位置データ２１０を生成することである。
【００２３】
シーン位置解析モジュール２０３は、主として、基準点などの、画像内に現れる物体の、３次元位置、または現実世界位置を割り出すことに関連する。シーン位置解析モジュール２０３は、基準点識別モジュールと連携して（または、同様の機能を備え）、画像内のどこに基準点が位置しているかを割り出すことができる。次いで、シーン位置解析モジュール２０３は、キャリブレーションデータセットを使用して、画像化点の現実世界座標を割り出すことができる。車のナンバープレートなどの、対象物の位置は、３次元位置データ２０４として出力することができ、一方、基準点の位置は、基準点位置データ２１１として出力することができる。ここで、基準点位置データ２１１は、カメラ位置に関連し、カメラの動きが、基準点の見かけ上の変位をもたらすことに留意されたい。
【００２４】
キャリブレーションモジュール２２２は、キャリブレーションデータセット１１５を生成する。ある実施形態において、基準点位置データ２１１は、画像化基準点の３次元位置であり、基準点画像位置データ２１０は、解析され、オンラインキャリブレーションデータセット１１５を生成することができる。
【００２５】
図３は、本発明のいくつかの実施形態の態様による、基準点の確認を示すブロック図を示す。図３に示す動作は、自動化することができ、または、場合によっては、オペレータの介入を含んでもよいことが理解されるであろう。しかしながら、好適な実施形態において、図３に示すさまざまなモジュールおよび／または論理動作は、すべてではないとしても大部分は、自動化される。図３に示すように、画像データ２０１は、基準点発見モジュール２０５によって解析することができ、候補基準点のセットが、基準点確認モジュール３０１に通される。
【００２６】
基準点確認モジュール３０１は、増強画像データ３０２を、オペレータ３０４に表示させることができる。増強画像データ３０２は、画像データ２０１に重ねた基準点インジケータ３０３を含み、それによって、オペレータ３０４のために、基準点に印を付けることができる。オペレータ３０４は、増強画像データ３０２を観測し、基準点を確認するか、または不可とすることができる。例えば、本システムは、道路上に一時停車した車両などの非恒久的物体を、基準点として解釈する可能性がある。オペレータは、そのような基準点を除外することができる。
【００２７】
図４は、本実施形態の態様による、あるキャリブレーションデータ管理機能を示す。既知の基準点位置データ４０１は、既知の基準点の３次元位置を示す、事前に算出またはアップロードされたデータである。その後、本システムは、それらの位置を再度算出し、新しい基準点位置データ４０２を生成することができる。キャリブレーション試験モジュール４０３は、位置の差異を割り出し、差異が十分大きい場合、再キャリブレーション機能を作動させることができる。例えば、新しい位置が、古い位置から閾値を超えてシフトするために、カメラが十分移動した可能性がある。
【００２８】
ノイズのため、基準点位置のシフトは、基準点と共に変化する可能性がある。したがって、複数の基準点位置のいくつかの統計的測定（例えば、平均、中央値、または９５パーセンタイル）を使用することができる。次いで、キャリブレーション試験モジュール４０３が、オンラインキャリブレーションサイクルで、新しいキャリブレーションを生成およびロードするブロック４０５に示す指示／動作を実行することができる。キャリブレーションロギングモジュール４０６は、本システムが再キャリブレーションされる場合に示されるキャリブレーションログ４０７を維持することができる。キャリブレーションログ４０７は、新旧のキャリブレーション値を含むこともできる。
【００２９】
図５は、本実施形態の態様による、基準点管理を示す。すべての基準点が、すべての時点で、シーン内で必ずしも視認可能であるわけではないことに留意されたい。交通解析および監視システムは、最初に運用開始したときに、基準点のセットを使用する。それらの基準点のいくつかは、道路工事、道路補修、または他の原因により、長期間、または、シーンを横切る車両による瞬間的なオクルージョンなどにより、短期間、見えなくなる可能性がある。同様の機能もまた、画像化シーン内に、新しく、おそらく、より良い、基準点を作り出すことができる。基準追跡モジュール５０１は、基準点の存在、非存在、および、場合によっては、品質を追跡することができる。基準点追跡モジュールは、シーン２０１の画像、および基準点サブ画像２０７を受け入れ、その画像内の基準点を見つけようとすることができる。１つまたは複数の基準点が見つからなかった場合、基準点追跡モジュール５０１は、さらなる基準点の発見のためのトリガ５０２を、基準点発見モジュール２０５に送ることができる。基準点追跡モジュール５０１が、基準点識別モジュール２０９と多くの機能を共有するので、タスクを達成するために、同じか同様の入力を使用することも可能である。
【００３０】
図６は、本実施形態の態様による、オペレータと、交通解析および監視のためのシステムとの連携を示す。図６に示す動作は、自動化することができ、または、場合によっては、オペレータの介入を含んでもよいことが理解されるであろう。しかしながら、好適な実施形態において、図６に示すさまざまなモジュールおよび／または論理動作は、すべてではないとしても大部分は、自動化される。図６に示す動作は、図３が、基準点の確認を示し、一方図６では、オペレータ３０４が、基準点発見サブシステム６０１と連携して、基準点の提案、追加、および編集も行うこと以外は、図３に示す動作と同様である。例えば、オペレータ３０４は、ポインティングデバイスを使用して、基準点の選択、または適切な基準点画像を含むことが明らかなサブ画像を提案することができる。他の可能性としては、オペレータは、基準点の削除、またはサブ画像のサイズならびに形状の変更を行うことができる。基準点発見サブシステム６０１は、基準点サブ画像２０７および基準点記述データを出力することができる。
【００３１】
図７は、本実施形態の態様による、カメラキャリブレーションのための、高レベルフローダイアグラムを示す。交通カメラ幾何学的キャリブレーションは、シーン解析を使用して更新することができる。特に、シーンから識別された、適切な基準関心点（ＲＰＩ）は、ある時間にわたって監視および解析され、必要に応じて、カメラキャリブレーションを更新することができる。本処理は、２つの時間スケールを含むことができ、すなわち、基準データおよび特徴を収集するためのオフライン処理（小頻度）、および現在シーン特徴を基準と比較して、キャリブレーションパラメータを更新するためのオンライン処理（多頻度）である。オフライン処理では、初期カメラ幾何学的キャリブレーションパラメータは、７０１で、既知の方法を使用して導出することができる。
【００３２】
次いで、７０２で、シーンの１つまたは複数の画像は、キャリブレーションの時点で、もしくはキャリブレーションと非常に近い時間で取得され、適切なＲＰＩ（例えば、路面上の点、建物の角やフェンスなどの固定垂直構造物の上部や底部）を検出するために解析される。７０３で、導出したキャリブレーションを、選択したＲＰＩの画像座標に適用することで、初期カメラキャリブレーションの時点での、それらに対応する現実世界座標を取得する。選択したＲＰＩの取得した画像座標、現実世界座標、および高さは、キャリブレーションの将来的なオンライン更新のための基準データとして格納することができる。これで、オフライン処理を終了する。上記した現実世界座標は、カメラ座標に対するＸＹＺの形式とすることができ、または、より簡便には、多くの交通アプリケーションのために、路面に対するＸＹＺの形式とすることができる。前者では、ＸＹＺは、すべて、カメラを基準とし、Ｚは、深さと称されることが多い。後者では、ＸＹは、路面上の軸であり、一方、Ｚは、路面上方の関心点の高さである。
【００３３】
オンライン（例えば、ランタイム）処理において、交通カメラからのビデオストリームのサブセットのいくつかは、解析され、７０４で、格納されたＲＰＩとマッチする現在シーンの特徴を見つけることができる。ビデオストリームの選択されたサブセットは、検出された動きがきわめて少ないフレームを含むことが好ましい。その場合、それらのマッチしたＲＰＩのすべてもしくはサブセットの現在の画像座標は、それらの基準データと共に、７０５で、現在シーンに対するカメラ幾何学的キャリブレーションを更新するために使用される。
【００３４】
さらに、および任意選択的に、７０６で、追加更新されたカメラキャリブレーションと、初期に導出されたカメラキャリブレーションとの変化を測定するために評価が行われる。この評価は、カメラ保守または診断のきっかけとするために使用することができる。本実施形態の利点には、スピード違反の取り締まり、および路上駐車などの、幾何学的測定が重要であるビデオ式システムに対して、実質コスト無しで、直ちにカメラ幾何学的キャリブレーションを更新することを提供することがある。
【００３５】
一般性を失うことなく、カメラ幾何学的キャリブレーションは、路面上方の各高さＺに対する一連の射影行列の観点から記述することができ、ＭＺ：（ｉ，ｊ）→（Ｘ，Ｙ）と表され、ここで、ＭＺは、画像画素座標（ｉ，ｊ）の、以下の式による高さＺでの面上の点に対する現実世界座標（Ｘ，Ｙ）に関する３×３射影行列Ｔｚによって一意に定義される。
【数１】
2014217052.tif 000003
【００３６】
これは、ビデオ式スピード違反取り締まりシステムのために、米国特許出願第１３／４１１，０３２号で使用されるものである。しかしながら、内因の、および外因のカメラキャリブレーション行列で、または他の形式でも記述することができる。米国特許出願第１３／４１１，０３２号は、参照によってその全体が本明細書に組み込まれる。
【００３７】
初期カメラ幾何学的キャリブレーションの導出７０１は、オフラインで行うことができる。オフラインとは、交通解析システムが交通を現在解析していない、という意味である。初期カメラ幾何学的キャリブレーション、ＭＺ：（ｉ，ｊ）→（Ｘ，Ｙ）、Ｚ＝０，１，２，…（ｆｔ）は、Ｗｕで記載されたような既知の方法を使用して導出することができる。例示的出力を図８から図１０に示す。これらの図は、試験において生成され、その試験では、カメラが、地面の上方２５ｆｔ、道路の端から約３ｆｔの場所に、約９０ｆｔ離れた道路を目標にして、ポールに取り付けられた。図８から図１０におけるＸＹＺ座標は、地面を（０，０，０）とした任意の点を使用し、次いで、地面上方の高さとしてＺ軸を使用し、道路方向としてＹ軸を使用し、道路に直交する方向としてＸ軸を使用する。
【００３８】
図１０は、路面上方の高さＺのいくつかの値に対する、ｆｔ単位での現実世界座標における、カメラ視野域（ＦＯＶ）を示す画像である。図１０に示すように、Ｚ方向に延長すると、点が（Ｚ方向で）約２５ｆｔで収束することが明らかであり、これは、試験におけるカメラの実際の位置である。ここで観測された現象は、カメラモデリングでよく知られている。例えば、Ｚが増加するにつれ、ＦＯＶは、減少およびシフトするであろう。Ｚが、カメラを取り付けた高さ（約２５ｆｔ）に達すると、ＦＯＶは、単一点に収束するであろう。
【００３９】
他の例において、カメラ射影歪みの特性のため、現実世界のアプリケーションにおけるＦＯＶ（例えば、図８に示したものなど）は、カメラに近接する画素に対して小さくなり（すなわち、物体がより大きく見える）、カメラから離れた画素に対して大きくなる。これは、ＦＯＶが、底部より幅の広い上部を有する四角形を有するためである。スピード違反の取り締まりアプリケーションに対しては、（図９に示すような）Ｚに対して２から５フィートの範囲の高さをカバーすれば十分であり、というのも、これは、ナンバープレートが取り付けられる一般的な高さであり、多くの場合、速度測定のために最適な特徴である。図９または図１０から、Ｚ方向のマッピングは、（かなりのレンズ光学歪みが存在しない場合）相当直線的であり、というのも、ＦＯＶの角の直線外挿は、約２５ｆｔで、単一点に収束するからである。したがって、直線内挿は、精度の損失無しに、Ｚ方向全体で実行することができる。この観測の結果として、ただ１つの面（例えば、地面）、または比較的高くない面からの基準シーンマークでキャリブレーションマッピングを更新することができ、これは、以下で説明する。
【００４０】
基準シーンからの適切な基準点の識別７０２はまた、オフラインで実行することができる。適切なＲＰＩは、基準シーンから識別することができる。ここで、基準シーンは、一時的な目印を除去した（Ｗｕでは、これは、基準幾何学対象を有する試験車両が、シーンから出たことを意味する）後の、シーンのフレームまたは一連のフレームとすることができる。ＲＰＩにとって適切なディスクリプタ（すなわち、ＲＰＩを記述するために使用した特徴データ、例えば、ＲＰＩを中心とした２５×２５画像データのカラーヒストグラム）は、スケーリングおよび中程度の幾何学的歪みに対して明確かつ頑強であるべきであり、したがって、（キャリブレーションを更新するための理由の１つである）カメラが何らかの変位にさらされた場合でさえも、フレーム全体で頑強に検出およびマッチすることが可能である。
【００４１】
さらに、路面上方のＲＰＩの高さＺは、既知であるか、または、初期カメラ幾何学的キャリブレーションから正確に判断され得るべきである。各ＲＰＩは、異なる長さおよびタイプの特徴データを有することが可能であることに留意されたい。例えば、あるＲＰＩは、ＲＰＩを中心とした２５×２５画像データのカラーヒストグラムを使用することができ、一方、他のＲＰＩは、ＲＰＩを中心とする５０×５０画像データのカラーヒストグラムを使用する可能性があり、または、ＲＰＩを中心とする２５×２５画像データの未処理カラー強度を使用する可能性がある。
【００４２】
スケール不変ＲＰＩは、ＳＩＦＴまたはＳＵＲＦなどのアルゴリズムを使用することによって、選択することができる。ＳＩＦＴは、Ｄａｖｉｄ  Ｇ．Ｌｏｗｅによる“Ｏｂｊｅｃｔ  ｒｅｃｏｇｎｉｔｉｏｎ  ｆｒｏｍ  ｌｏｃａｌ  ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅｓ”Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ．２．１１５０−１１５７（１９９９）（以下”Ｌｏｗｅ”と称する）で教示される。ＳＵＲＦは、Ｈｅｒｂｅｒｔ  Ｂａｙ、Ａｎｄｒｅａｓ  Ｅｓｓ、Ｔｉｎｎｅ  Ｔｕｙｔｅｌａａｒｓ、Ｌｕｃ  Ｖａｎ  Ｇｏｏｌらによる“ＳＵＲＦ：Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ”Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ（ＣＶＩＵ），１１０（３），３４６−３５９（２００８）（以下、“Ｂａｙ”と称する）で教示される。ＬｏｗｅおよびＢａｙは、参照によりその全体が本明細書に含まれる。実験により、ＳＵＲＦは、優れた結果を残した。ＲＰＩ高さは、基準点を、地面（Ｚ＝０）または固定垂直構造物の上部もしくは底部となるよう限定することによって拘束することができ、その結果、そのＺは、初期カメラ幾何学的マッピングＭＺから容易に推定することができる。
【００４３】
自動化路面推定のために、Ｔ．Ｎ．ＳｃｈｏｅｐｆｌｉｎとＤ．Ｊ．Ｄａｉｌｅｙらによる“Ｄｙｎａｍｉｃ  ｃａｍｅｒａ  ｃａｌｉｂｒａｔｉｏｎ  ｏｆ  ｒｏａｄｓｉｄｅ  ｔｒａｆｆｉｃ  ｍａｎａｇｅｍｅｎｔ  ｃａｍｅｒａｓ  ｆｏｒ  ｖｅｈｉｃｌｅ  ｓｐｅｅｄ  ｅｓｔｉｍａｔｉｏｎ”ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｔｒａｎｓｐｏｒｔａｔｉｏｎ  Ｓｙｓｔｅｍｓ，４（２），９０−９８（２００３）（以下、“Ｓｃｈｏｅｐｆｌｉｎ”と称する）で説明された手法と同様の方法を使用することができる。路面を識別するために、Ｓｃｈｏｅｐｆｌｉｎは、ある期間にわたって交通シーンにおける動きを監視することを開示し、次いで、高い活動状態を有する画素は、（車両が絶えず通過するため）道路としてラベル付けされ、および／または道路境界検出を使用することができる。試験的実装の１つでは、自動路面検出方法を使用して、自動的に地面上のＲＰＩを選択したが、固定垂直構造物上のＲＰＩを選択するために、（シンプルＭＡＴＬＡＢ  ＧＵＩを用いる）手動方法を使用した。図１１は、実際の試験現場から取得した試験ビデオのフレームに、ＳＵＲＦ特徴を使用する実装態様から、結果としてのＲＰＩを示すデータを示す画像を示す。本実装態様の詳細は、以下で説明する。
【００４４】
基準シーン７０２からの適切な基準点の基準現実世界座標の算出７０３はまた、オフラインで実行することができる。適切なＲＰＩは、基準シーンから識別することができる。初期カメラ幾何学的キャリブレーションマッピングＭＺ、および選択されたＲＰＩの画像座標ならびに高さが割り出されると、それぞれ選択されたＲＰＩ  ｋに対する画像座標（ｉ（ｋ），ｊ（ｋ））、現実世界座標（Ｘ（ｋ），Ｙ（ｋ），Ｚ（ｋ））、および特徴ディスクリプタＤ（ｋ）を含む基準データセットを算出し、後に使用するために格納することができる。ここで、Ｄ（ｋ）は、ＲＰＩを後にマッチングするために使用される、ＲＰＩの特徴ディスクリプタである。Ｓｃｈｏｅｐｆｌｉｎはまた、ＳＵＲＦディスクリプタおよびマッチングについての詳細を開示する。これらの算出された現実世界座標（Ｘ（ｋ），Ｙ（ｋ），Ｚ（ｋ））、および任意選択的に、（以下で説明する）現在シーンからのマッチしたＲＰＩのもとの画像座標（ｉ（ｋ），ｊ（ｋ））は、カメラキャリブレーションをＭ’Ｚに更新するために使用することができる。
【００４５】
現在シーン内のマッチした基準点の発見７０４は、オンラインで実行することができる。オンラインという用語は、システムが、現在、データの取得および交通の解析をしているという意味である。ここで、現在シーン内のＲＰＩのマッチが見つかる。ＲＰＩを識別するために選択された方法および特徴により、異なるマッチング方法および基準を使用することができる。例えば、Ｈａｒｒｉｓ−ｃｏｒｎｅｒを使用してＲＰＩを識別する場合、ＲＰＩを中心とする画像パッチ（例えば、２５×２５）の正規化相互相関を使用して、最良のマッチを見つけることができる。ＳＵＲＦの場合では、そのディスクリプタに基づく標準的なマッチングアルゴリズムは、ＭＡＴＬＡＢで利用可能である（例えば、“ＭＡＴＬＡＢ  ＳＵＲＦ  ｆｅａｔｕｒｅ  ｍａｔｃｈｉｎｇ”があり、参照によりその全体が本明細書に含まれる）。あらゆる場面において、ノイズのため、何らかの閾値設定を適用することができ、その結果、所定の信頼度レベルを超えるマッチのみが保持される。このステップの出力は、マッチしたＲＰＩの新しい画像座標（ｉ’（ｋ’），ｊ’（ｋ’））のセットである。新しい画像座標は、対応するマッチＲＰＩの座標と同じである可能性があり、すべてのＲＰＩに変更がない場合、キャリブレーションを更新する必要もなく、そのため、画像座標の変化量は、キャリブレーションのための更新をいつ適用する必要があるかを判断するために使用することができる。
【００４６】
カメラ幾何学的キャリブレーション更新７０５もまた、オンラインで実行することができる。カメラ幾何学的キャリブレーションは、現在フレームまたはいくつかの先行フレーム内のマッチＲＰＩの、取得した画像座標に基づいて更新することができる。
【００４７】
例示的な実施形態の１つにおいて、カメラ幾何学的キャリブレーションマッピングの完全リフレッシュは、Ｍ’Ｚを確立する。すなわち、カメラ幾何学的キャリブレーションマッピングは、新しい画像座標（ｉ’（ｋ’），ｊ’（ｋ’））、およびマッチｋ’ＲＰＩの対応する基準現実世界座標（Ｘ（ｋ’），Ｙ（ｋ’），Ｚ（ｋ’））に基づいて再構築される。基準（古い）画像座標（ｉ（ｋ’），ｊ（ｋ’））は、全く使用されず、したがって、「リフレッシュ」という用語を使用することに留意されたい。これは、マッチＲＰＩの数を多くし、リフレッシュによりノイズに対して頑強になるように、地面表面上のさまざまな高さレベル（すなわち、Ｚのさまざまな値）をカバーすることが必要となる。典型的な交通シーンに対し、Ｚ＝０で多くのＲＰＩが存在するが、静的シーンからの他のＺ値はほとんどない可能性があるため、優れた戦略は、Ｍ’Ｚ＝０に対する同じ線形関係に基づく他のＭ’Ｚ、Ｚ＝１，２，…を、ＭＺ＝０に対する初期モデルＭＺ、Ｚ＝１，２，…から更新しながら、Ｚ＝０でのマッチ点のすべてを使用してＭ’Ｚ＝０をリフレッシュすることである可能性がある。
【００４８】
他の例示的な実施形態では、前のＭ’Ｚからのカメラ幾何学的キャリブレーションマッピングの荷重調整（リファインメント）を使用することができる。すなわち、初期カメラ幾何学的キャリブレーションマッピングＭＺに対してわずかな調整を行い、新しい測定値（すなわち、現在フレーム内のマッチＲＰＩからの画像座標の新しいセット）が取得されたら、毎回、新しいＭ’Ｚを取得する。そのような調整に対する共通手法は、（拡張）カルマンフィルタを使用することである。この手法は、制御論理のコンセプトと整合するため、多くの既知のノイズ除去制御アルゴリズムを、ここで適用することができる。リフレッシュ方法についてのこの方法の利点は、（１）マッチＲＰＩがただ１つしか見つからない場合でも、モデルを更新できる、（２）これは、更新の遅さに影響を受ける可能性があるが、例えば、より低い制御利得を使用して、マッチングノイズに対して頑強となるよう調整することができる、（３）多くの既知の制御アルゴリズムを、容易に利用可能となる、ということがある。しかしながら、測定ノイズが非常に低く、マッチング点の数が多い場合、完全リフレッシュは、精度および計算効率の点から、最良の解決法である可能性がある。
【００４９】
時間尺度にわたってリフレッシュとリファインメントを組み合わせるハイブリッド手法を使用する、さらに他の例示的な実施形態もまた、検出された基準点の数、およびキャリブレーションパラメータの算出された変化率に基づいて使用することが可能である。
【００５０】
上記実施形態の時間的態様は、まだ明確に説明していなかった。ほとんどの共通および直接的な手法は、各選択されたフレームに対して別々に上記方法を適用することであり、例えば、Ｎフレームごとに１度、または、フレームが５つより多くマッチしたらいつでも、またはＮフレーム内で最もマッチするＲＰＩを有するフレームに対して、適用することができる。より良い解決法は、所定の期間にわたって、マッチＲＰＩのすべてを追跡することであり、さらに、非平滑化データを直接使用することよりも、時間フィルタをかけた（例えば、異常値を除去するための平滑化、または中央値フィルタリング）平滑移動軌跡データを使用して、キャリブレーションマッピングを更新することである。オン−オフタイプの更新を提供することも可能であり、この場合、更新は、マッチＲＰＩの、取得した新しい画像座標で相当な量の変化が検出された場合のみに適用される。他のタイプの時間的処理もまた、上記した更新方法と共に使用することができる。
【００５１】
キャリブレーション変化の評価７０６はまた、オプションとすることができ、オンラインで実行することができる。ここで、キャリブレーション変化の量（より正確には、視野域の変化量）は、更新、診断、および保守の目的で評価および監視することができる。単純な手法は、キャリブレーション変化の測定値として、絶対画像座標変化の平均、すなわち、
【数２】
2014217052.tif 000004
を使用することである。平均二乗誤差（ＭＳＥ）や中央値などの差に関する他の統計的測定も使用することが可能である。
【００５２】
他のオプションは、現実世界座標における変位の点から差を評価することであり、すなわち、（ｉ’（ｋ’），ｊ’（ｋ’））および（ｉ（ｋ’），ｊ（ｋ’））の両方を、初期カメラキャリブレーションマッピングＭＺを使用して、現実世界座標にマッピングすることであり、その場合、現実世界座標における平均絶対差（または、ＭＳＥ、もしくは他の統計値）を算出することである。基準マーカは動かないが、カメラは動くことができると仮定する。そのような場合において、この評価は、補償されていないカメラの動きによる現実世界寸法誤差の測定値である。この評価の他の改善点は、画像座標における点のセット（例えば、ｉおよびｊ方向への１００画素ごとに配置されたグリッド）を予め選択し、ＭＺの使用とＭ’Ｚの使用との間の現実世界座標差を計算することである。本評価が利用可能となると、更新を適用するかどうかを判断する（例えば、差が小さい場合、更新しないと決定する可能性がある）ために、または、診断ならびに保守（カメラが過剰に動いた場合、サービスコールが必要になる可能性がある）のために使用することができる。
【００５３】
例示的で非限定の実施形態のある態様における計画的実装からのいくつかの詳細を、明確にするために、ここで説明する。
【００５４】
試験現場のビデオのショートクリップ（約２０秒）は、ほぼ静的であるそれらのフレームから、路面を識別するよう解析することができる。これは、単純バックグラウンド減算法によって実現することができ、ここで、バックグラウンドは、例えば、式：Ｉｂｇ＝０．９５Ｉｂｇ＋０．０５Ｉｃｕｒｒｅｎｔを使用して、オンラインで求められる。一例において、第１のＮ＝９９フレームは、バックグラウンドを求めるためのみに使用してもよい。Ｎフレーム後、各フレームに対し、各画素の累積アクティビティマップ（Ｉと同サイズ）は、現在フレームの強度値が、例えば、（０〜２５５スケールで）η１＝５ユニットよりも多く、現在のバックグラウンドフレームと異なる場合はいつでも、１ずつ増加する。このフレームの総アクティビティ（アクティブである画素の数）はまた、算出され、後にほぼ静的なフレームを識別するために使用される。各試験現場に対しそのようなほぼ静的なフレームのただ１つ、または数個が識別される必要があるため、それらを発見する確率が非常に高い。
【００５５】
少なくとも１つの静的なフレームまたはほぼ静的なフレームが見つかると、標準的なＳＵＲＦ検出が適用され、例えば、このフレームの上位Ｍ＝１００関心点を見つけることができる。任意選択的に、標準的なＳＵＲＦ検出は、（理想的には、連続するのではなく、時間的に間隔を空けた）２つのそのような静的フレームに適用することができ、投影マッピングモデルにおける２つのフレームの間の検出およびマッチングの両方で頑強である、上位Ｍ＝１００ＲＰＩを抽出するために使用されたＲＡＮＳＡＣを使用することができる。ＲＡＮＳＡＣは、”ＲＡＮｄｏｍ  ＳＡｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ”の略であり、異常値を含む観測データのセットから、数学的モデルのパラメータを推定するために使用することが可能な反復法である。ＲＡＮＳＡＣは、一定の確率でのみ適度な結果を生成する、シーンにおける非確定的アルゴリズムであり、この確率は、より多くの繰返しが可能になるにつれて増加する。
【００５６】
ある実施形態において、路面として確信的にラベル付けされたＲＰＩのみが保持される。これにより、ＲＰＩセットを形成することができる。ここで、「確信的にラベル付けされた」とは、道路画素として分類された各候補ＲＰＩの位置を中心とした窓内の画素の割合を算出し、予め決められた閾値と比較することによって判断される。この動作は、静的フレームを見つける動作の前、または後に実行することができる。
【００５７】
手動ステップが提供される場合、単純なＧＵＩを提供し、オペレータが、道路境界を引き、候補ＲＰＩを編集または除去することなどを可能にする。さらに、手動選択により、路面上ではなく固定垂直構造物上の点の選択が可能となる。Ｚ≠０でのこれらの点は、ＭＺおよびＭ０の間の線形関係を修正するために使用することができる。このステップは、セットアップでのみ必要とされ、ごくまれにしか発生しないため、そのようなオプションがシステムに含まれることは価値のあることである。
【図１】
2014217052.tif 000005
【図２】
2014217052.tif 000006
【図３】
2014217052.tif 000007
【図４】
2014217052.tif 000008
【図５】
2014217052.tif 000009
【図６】
2014217052.tif 000010
【図７】
2014217052.tif 000011
【図８】
2014217052.tif 000012
【図９】
2014217052.tif 000013
【図１０】
2014217052.tif 000014
【図１１】
2014217052.tif 000015