(57)【要約】      （修正有）【課題】費用対効果が高く、独立式の駐車スペース及び複数の駐車スペースの両方で監視を可能とするものであり、短時間の駐車違反を検知し通知するビデオベースの自動システムが提供する。【解決手段】車両が停止している継続時間に渡り、駐車区域を監視する画像取込装置により供給されるフレームのシーケンス内のビデオデータを受信する。受信したフレームのシーケンスのうちの少なくとも１フレーム内に取り込まれる車両の存在を判定し、フレームのシーケンスに渡り車両の位置を追跡する。さらに各フレーム内の車両の空間位置を判定する。各フレームでの車両の空間位置を、フレームが取り込まれた時刻に関連付けることにより、時間に対する車両の位置を示す時空間情報を判定する。車両が停止することを示す時空間情報に応じて、車両が停止する継続時間を判定する。この継続時間が閾値を超えた場合に通知を発行する。【選択図】図４
2013218679.tif 000002
【特許請求の範囲】
【請求項１】
短時間の駐車違反の発生を判定する方法であって、
車両が停止する継続時間に渡り、駐車区域を監視する関連の画像取込装置から提供されるフレームのシーケンス内のビデオデータを受信するステップと、
前記フレームのシーケンスのうちの少なくとも１フレーム内に取り込まれる車両の存在を判定するステップと、
前記フレームのシーケンスに渡り、車両の位置を追跡するステップであって、
複数のフレーム内の車両の空間位置を判定することと、
前記複数のフレームに渡る前記車両の前記空間位置を、前記複数のフレームのうちの各フレームが取り込まれた時刻に関連付けることにより、時間に対する前記車両の前記位置を示す時空間情報を判定することと、を含む追跡するステップと、
前記車両が停止したことを示す時空間情報に応じて、前記判定された車両の時空間情報を用いて、前記車両が停止している継続時間を判定するステップと、を含む方法。
【請求項２】
前記車両の存在を判定する前記ステップが、背景の減算処理、時間差処理、オプティカルフロー処理、初期設定化処理のうちの１つにより実行される、請求項１に記載の方法。
【請求項３】
前記フレームのシーケンスに渡って、前記車両を追跡する前記ステップは、ポイント追跡、基本的幾何学形状追跡、輪郭追跡、物体の容姿の確率密度関数に基づく追跡、テンプレート照合に基づく追跡のうちの１つにより実現する、請求項１に記載の方法。
【請求項４】
前記車両の空間位置を決定することには、
追跡アルゴリズムの出力値を用いて、車両の位置を監視することが含まれる、請求項１に記載の方法。
【請求項５】
前記監視することが、前記ビデオフレーム率に反比例する複数の整数に対応する所定の時間間隔で行われる、請求項４に記載の方法。
【請求項６】
前記短時間の駐車違反の発生を判定するシステムであって、
ビデオ取込装置と通信し、車両が停止する継続時間に渡り駐車区域を監視する画像取込装置により、供給されるフレームのシーケンス内のビデオデータを受信するよう適用するビデオバッファリングモジュールと、
前記フレームのシーケンスのうちの少なくとも１フレーム内に取り込まれる車両の存在を判定するよう適用する車両検知モジュールと、
前記フレームのシーケンスに渡り、前記車両の空間位置を追跡するよう適用する車両追跡モジュールと、
前記フレームのシーケンスに渡る前記空間位置を用いて、前記車両が停止したかどうかを判定するよう適用する停止車両監視モジュールと、
時空間情報を用いて、車両が停止している継続時間を判定するよう適用する時間計測モジュールと、
前記モジュールを実行するよう適用するプロセッサと、含む監視装置を含むシステム。
【請求項７】
前記車両検知モジュールが、背景の減算処理、時間差処理、オプティカルフロー処理のうちの１つを実行するよう適用する、請求項６に記載のシステム。
【請求項８】
前記車両追跡モジュールが、ポイント追跡、基本的幾何学形状追跡、輪郭追跡、物体の容姿の確率密度関数に基づく追跡、テンプレート照合に基づく追跡のうちの１つを実行するよう適用する、請求項６に記載のシステム。
【請求項９】
前記停止車両監視モジュールが、追跡アルゴリズムの出力値を用いて、前記車両の位置を監視するよう適用する、請求項６に記載のシステム。
【請求項１０】
前記停止車両監視モジュールが、前記ビデオフレーム率に反比例する複数の整数に対応する所定の時間間隔で監視を行う、請求項６に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書は、車両を追跡して駐車違反の発生を判定するシステム及び方法に関する。しかし、例示的な本実施形態は、同様の用途にも修正可能であることを理解されたい。
【背景技術】
【０００２】
従来、短時間の駐車違反の検知は、時間切れのパーキングメータの読取り、又は駐車違反取締官の監視により行われてきた。後者の例では、最初の訪問で、取締官が駐車規制に違反する車両のタイヤにチョークで印を付け、再訪して、前にチョークで印をした車両に違反チケットを発行している。諸事情から、これらの処理は両方とも徐々に無くなりつつある。すなわち、これらの処理では、メータを読取るたに必要な人件費がかかり、読取られないメータからの罰金を徴収し損なうことがある。独立式メータはさらに好ましくない、というのも、１台又は２台分の駐車場ごとに１台のメータを取り付けるスペース必要となるためである。また、これにより破壊行為や盗難も発生しやすい。
【０００３】
近年、駐車スペースを監視するために、センサベース方法が提案されてきた。例えば、駐車スペースで車両が検知されると、「パック式」のセンサ及び天井設置式、又は地中埋め込み式の超音波センサにより二値信号が出力される。検知される情報はユーザ装置に無線で通信される。センサベースの方法に対する短所の１つは、センサの取り付け、及び保守に関する費用が高いことである。さらに、保守点検のために駐車スペースが利用不可になる場合、センサを保守又は交換することにより駐車効率が下がる可能性がある。
【０００４】
その他に駐車規制を実施するために検討されている技術には、ビデオベース方法がある。この方法では、非立体視ビデオカメラを用いて、路上の駐車スペースを監視する。ビデオベースシステムは、二値信号をプロセッサに出力し、プロセッサは、駐車スペースの占有率を判定するために、このデータを用いる。既知の技術を適用して、駐車区域の情報を取り込む。しかし、駐車区域内の車両の動作又は停止を追跡するよう適用したビデオベース方法は存在しない。さらに、照明の変化及びうす暗さにより、車両検知エラーが発生する可能性がある。したがって、駐車スペースに対する車両を追跡することにより、不正確さの原因を回避できるシステム及び方法が必要となる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本明細書では、短時間の駐車違反を検知し通知するビデオベースの自動システムが提供される。提案されるシステムは、費用効果が高く、独立式の駐車スペース及び複数の駐車スペースの両方で監視が可能である。
【課題を解決するための手段】
【０００６】
本明細書の第１の実施形態は、短時間の駐車違反の発生を判定する方法に関する。この方法は、継続時間に渡り、駐車区域を監視する画像取込装置から提供されるフレームのシーケンス内のビデオデータを受信するステップを含む。この方法は、フレームのシーケンスのうちの少なくとも１フレーム内に取り込まれる車両の存在を判定するステップを含む。この方法は、フレームのシーケンスに渡り、車両の位置を追跡するステップを含む。この追跡するステップには、各フレームでの車両の空間位置を、そのフレームが取り込まれた時刻に関連付けることにより、時間に対する車両の位置を示す時空間情報を判定することが含まれる。方法は、車両が停止することを示す時空間情報に応じて、この判定された車両の時空間情報を用いて、車両が停止している継続時間を判定するステップを含む。
【０００７】
本明細書の別の実施形態は、短時間の駐車違反の発生を判定するシステムに関する。このシステムは、モジュールを実行するよう適用するプロセッサを含む監視装置を含む。ビデオバッファリングモジュールは、ビデオ取込装置と通信し、車両が停止する継続時間に渡り駐車区域を監視する画像取込装置により、供給されるフレームのシーケンス内のビデオデータを受信するよう適用する。車両検知モジュールは、フレームのシーケンスのうちの少なくとも１フレーム内に取り込まれる車両の存在を判定するよう適用する。車両追跡モジュールは、フレームのシーケンスに渡り、車両の時空間の位置を追跡するよう適用する。停止車両監視モジュールは、時空間のデータを用いて、車両が停止したかどうかを判定するよう適用する。時間計測モジュールは、時空間情報を用いて、車両が停止している継続時間を判定するよう適用する。
【図面の簡単な説明】
【０００８】
【図１】図１は、時間制限付の駐車スペースに接近する車両を判定するよう適用している本明細書のシナリオの一例を示す説明図である。
【図２】図２は、図１の車両の駐車違反を検知する本明細書を示す説明図である。
【図３】図３は、一実施形態による車両追跡及び違反検知システムの概略図である。
【図４】図４は、駐車違反を判定するための、車両を追跡する方法の概要を示すフローチャートである。
【図５】図５は、駐車違反を判定するための、車両を追跡する詳細な方法を示すフローチャートである。
【図６】図６は、本明細書の実装形態の一例の結果を示す説明図である。
【図７】図７は、本明細書の実装形態の一例の結果を示す説明図である。
【図８Ａ】図８Ａは、本明細書の実装形態の一例の結果を示す説明図である。
【図８Ｂ】図８Ｂは、本明細書の実装形態の一例の結果を示す説明図である。
【図９】図９は、本明細書の実装形態の一例の結果を示す説明図である。
【発明を実施するための形態】
【０００９】
本明細書は、短時間の駐車違反を検知するための、車両を追跡するビデオベースの自動システム及び方法に関する。図１には、時間制限付の駐車スペースに接近する車両を判定するよう適用する本明細書シナリオの一例が示される。少なくとも１台のビデオカメラ１０が、駐車区域１２を監視する。このシステムは、取り込んだビデオデータを用いて、画面の領域内を移動する車両１４（破線で示す）を検知する。車両１４が、駐車区域内の駐車スペース１６に接近すると、このシステムは、検知車両１４を追跡する。図２には、図１シナリオの例で示した車両の駐車違反を検知するシステムが示される。この車両が駐車スペース１６内に収まると、システムは車両１４を監視して、車両がスペース１６（破線で示す）内で停車したままの時間を判定する。車両１４が、所定の閾値に達する、又は超える時間連続して停車した状態でいると、システムは通知を行う。
【００１０】
図３は、例示的な一実施形態による車両追跡及び違反検知システム１００の概略図である。このシステムは、追跡装置１０２と、画像取込装置１０４と、記憶装置１０６とを含み、これらの装置が、本明細書ではネットワークと呼ばれる、通信リンクにより、共有接続する。一実施形態では、システム１００が、さらにユーザ装置１０８と通信してもよい。これらの構成部品を下記により詳細に説明する。
【００１１】
図３に示す追跡装置１０２は、制御装置１１０を含み、この制御装置１１０は、追跡装置１０２の一部を成す、又は制御装置１１０と関連する。例示的な制御装置１１０は、システム１００により、受信されるビデオデータの分析を制御するよう適用する。制御装置１１０は、プロセッサ１１２を含み、プロセッサ１１２に接続したメモリ１１４内に格納された処理命令を、このプロセッサ１１２が実行して、追跡装置１０２の動作全体を制御する。
【００１２】
メモリ１１４は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、磁気ディスク又は磁気テープ、光ディスク、フラッシュメモリ、又はホログラフィックメモリ等のあらゆる種類の有形のコンピュータ可読媒体を表すことができる。一実施形態では、メモリ１１４は、ランダムアクセスメモリ及びリードオンリーメモリの組合せを含む。デジタルプロセッサ１１２は、例えば、シングルコアプロセッサ、デュアルコアプロセッサ（より一般的には複数のコアプロセッサ）、デジタルプロセッサ協動数値計算プロセッサ、デジタル制御装置等の様々に形で具現化され得る。デジタルプロセッサ１１２は、追跡装置１０２の動作の制御に加えて、図４及び図５で概略的に示す方法を部分的に行うための、メモリ１１４内に格納された命令を実行する。いくつかの実施形態では、プロセッサ１１２及びメモリ１１４を単一のチップ内で組み合わせることができる。
【００１３】
追跡装置１０２を、画像取込装置１０４等のネットワークに接続する装置内で具現化することができるが、システム１００がネットワーク上で接続する中央サーバ、ネットワークに接続したコンピュータ等のあらゆる場所に、この追跡装置１０２を駐在させることができる、又はネットワーク全体に渡って分配、或いは、別の方法でアクセス可能にすることも可能である。本明細書に記載する、車両追跡及び違反検知の様態は、メモリ１１４内に格納された命令により、プロセッサ１１２が実行する。より具体的には、メモリ１１４が、選択された駐車区域のビデオ映像を取り込むビデオバッファリングモジュール１１６と、シーケンスの第１のフレーム内で停車した車両の位置を判定する初期化モジュール１１７と、カメラの画面の領域内で、動く物体及び／又は車両を検知する車両検知モジュール１１８と、動作検知モジュールにより検知された車両を追跡する車両追跡モジュール１２０と、注目するスペース内に駐車した車両の位置を監視する停止車両監視モジュール１２２と、車両が所与のスペース内で駐車したままの時間を計測する時間計測モジュール１２４と、違反が判定されたとき施行当局に通知を行う通知モジュール１２６と、を含む。実施形態では、これらの命令は単一のモジュール内に格納可能な、又は異なる装置内で具現化される複数のモジュールと想定される。例示的な方法を参照して、これらのモジュール１１６〜１２６を以下に説明する。
【００１４】
本明細書で使用するソフトウェアモジュールとは、コンピュータ又はその他のデジタルシステムを設定して、ソフトウェアが意図するタスクを行うために、追跡装置１０２又はその他のデジタルシステムにより、実行可能な全ての命令の集まり又は一連の命令を包含することを意図する。本明細書で使用する用語「ソフトウェア」とは、ＲＡＭ、ハードディスク、光ディスク等の記憶媒体に格納される、そのような命令を包含することを意図し、またＲＯＭ等に格納されたソフトウェアを意味する、いわゆる「ファームウェア」も包含することも意図する。これらのソフトウェアは、様々に構成されることができ、ライブラリ、遠隔サーバ等に格納されたインターネットベースのプログラム、ソースコード、解釈コード、オブジェクトコード、直接実行可能なコード等として構成されるソフトウェア構成要素を含むことができる。これらのソフトウェアが、システムレベルのコードを起動させ、或いは、サーバ（図示せず）又はその他の場所に常駐する別のソフトウェアを呼び出して、特定の機能を実行することも想定される。追跡装置１０２の種々の構成要素は、全てバス１２８により接続することができる。
【００１５】
引き続き図３を参照すると、追跡装置１０２は、外部装置と通信するためのネットワークインターフェース等の１つ以上の通信インターフェース１３０も含む。この通信インターフェース１３０には、例えば、モデム、ルータ、ケーブル、及び／又はイーサネット（登録商標）ポート等が含まれ得る。通信インターフェース１３０は、ビデオ映像、及び／又は画像データ１３２を入力として受信するよう適用する。
【００１６】
追跡装置１０２は、サーバコンピュータ又はデジタルフロントエンド（ＤＦＥ）、或いは例示的な方法を行うための命令を実行可能なその他の全てのコンピュータ装置等の１台以上の専用又は汎用のコンピュータ装置を含むことができる。
【００１７】
図３には、ビデオデータ、及び／又は画像データ（以後本明細書では集合的に「ビデオデータ」と呼ぶ）を電子形式で入力、且つ／又は、受信する画像供給源１０４に接続する追跡装置１０２もさらに示される。この画像供給源１０４は、カメラ等の画像取込装置を含むことができる。画像供給源１０４は、注目する駐車区域からビデオデータを取り込む１台以上の監視カメラを含むことができる。カメラの台数は監視される区域の全長及び場所に応じて変更可能である。一般に複数のカメラの画面の領域を組み合わせることで、駐車禁止区域全体を把握することが想定される。照明源なしの外部で夜間の駐車区域内で、この方法を実行するために、カメラ１０４は、−近赤外線スペクトル（７００ｎｍ〜１０００ｎｍ）の下限の波長帯の近赤外線（ＮＩＲ）の能力を含むことができる。
【００１８】
一実施形態では、画像供給源１０４、カメラにより取り込まれるビデオ映像を追跡装置１０２に中継する、且つ／又は、送信するよう適用した装置でよい。別の実施形態では、ビデオデータ１３２をワークステーション、データベース、ディスク等のメモリ記憶装置等の全ての好適な供給源から入力することができる。画像供給源１０４は、プロセッサ１１２、及びメモリ１１４を含む制御装置１１０と通信する。
【００１９】
引き続き図３を参照すると、システム１００は、記憶装置１０６を含み、この記憶装置１０６は追跡装置１０２の一部である、又は追跡装置と通信する。想定される実施形態では、追跡装置１０２は、特定の駐車スペースに対して最大限許容される駐車時間に関する探索テーブル（ＬＵＴ）を格納するための、サーバ（図示せず）と通信することができ、このサーバは、処理装置及び記憶装置１０６等のメモリを含む、又は記憶装置１０６にアクセスする。記憶装置１０６は、システム１００により使用される、それぞれ特定のカメラ用に少なくとも１つの（前もって生成された）探索テーブル（ＬＵＴ）１３４を格納するレポジトリを含む。
【００２０】
引き続き図３を参照すると、追跡装置１０２により、ビデオデータ１３２が処理されて、短時間の駐車違反１３６の通知を、グラフィックユーザインターフェース（ＧＵＩ）１３８上の好適な形態で、オペレータに送信する、又は執行当局に属するコンピュータ等のユーザ装置１０８に送信する。ユーザ装置１０８には、指令センタのコンピュータ、移動で運転中の取締官の所有するスマートフォン、又は追跡装置１０２と通信する車両のコンピュータ、及び／又はＧＰＳシステムが含まれ得る。その他の想定される実施形態では、短時間の駐車違反を犯している車両の運転手が、ユーザ−装置１０８を所有することができる。このように、運転手は、車両を移動させなければならない通知を受けることができる。ＧＵＩ１３８は、違反している場所等の情報と、短時間の駐車違反をしている車両に関する情報と、をユーザに対して表示するディスプレイ、及び入力として命令を受けるキーボード或いはタッチスクリーン又は書き込み可能スクリーン等のユーザ入力装置、及び／又はユーザ入力情報、及び命令選択をプロセッサ１１２に通信するマウス、トラッキングボール等のカーソル制御装置を含むことができる。
【００２１】
図４は、駐車違反を判定するために、車両を追跡する方法４００の概要を示すフローチャートである。この方法はＳ４０２から始まる。Ｓ４０４で、システムは、画像取込装置から供給されるフレームのシーケンス内のビデオデータを受信する。Ｓ４０６で、フレームと分析して車両の存在を判定する。Ｓ４０８で、車両検知モジュール１１８が、現在のフレーム内で新しい車両が検知されたかどうかを判定する。つまり、モジュール１１８は、画面の中に車両が入ってきたかどうかを判定する。新しい車両が検知されると（Ｓ４０８で、はい）、Ｓ４１０で、車両追跡モジュール１２０が、車両の追跡を開始する。車両が検知されないと（Ｓ４０８で、いいえ）、Ｓ４１２で、モジュール１２０は現在、別の車両を追跡しているかどうかを判定する。Ｓ４１４で、検知車両及び現在追跡している車両の位置をフレームのシーケンスに渡って追跡する。追跡した位置を用いて、車両の空間位置をフレームごとに判定する。Ｓ４１６で、時空間情報を判定して、時間に対する検知車両の位置を示す。各フレームでの車両の空間位置を、フレームが取り込まれた時刻に関連付けることにより、時空間情報を判定する。Ｓ４１８で、この時空間情報を用いて、時間計測モジュール１２４が、車両が停止している継続時間を判定する。Ｓ４２０で、通知モジュール１２６が、継続時間が駐車時間限度の閾値に達した、又は超えたどうかを判定する。継続時間が閾値に達する、又は閾値を超えると（Ｓ４２０で、はい）、Ｓ４２２で、モジュール１２６が、短時間の駐車違反の警告を開始する。それ以外の場合（Ｓ４２０で、いいえ）、Ｓ４２４で、システムが、現在のフレームがシーケンスの最後のフレームかどうかを判定する。現在のフレームが最後のフレームでない（Ｓ４２４で、いいえ）場合、この処理はＳ４０４から繰り返される。現在フレームが最後のフレーム（Ｓ４２４で、はい）の場合、Ｓ４２６で、この方法は終了する。
【００２２】
図５は、駐車違反を判定するために車両を追跡する方法５００を示すフローチャートである。方法は、Ｓ５０２から開始する。Ｓ５０４で、ビデオバッファリングモジュール１１６が、駐車区域を監視する画像取込装置１０４により撮影されたフレームのシーケンスからビデオデータを受信する。ビデオバッファリングモジュール１１６が、ビデオデータを車両検知モジュール１１８に送信する。
【００２３】
一般的に、Ｓ５０６で車両検知モジュール１１８が、シーケンスの各フレーム内で移動する物体を検知する。静止背景の建物に属する画素を取り除いて、静止画像の最前面内の移動物体を特定する。最前面の物体に属する画素をさらに処理して、物体が、車両か、車両以外かを判定することができる。
【００２４】
いくつかの処理は静止背景の最前面で動く物体の存在を判定するよう想定される。い一実施形態では、静止画像内に最前面の物体が存在しない配信ビデオ映像第１のフレーム内に取り込まれるよう想定される。つまり、第１のフレームには最前面の画像が不在である。この背景が、第１のフレーム内の基準（すなわち既知）の背景として、初期化される。このシナリオでは、モジュール１１８が、ビデオシーケンスの各フレーム／画像内の背景を、基準の背景と比較する。この比較では、基準の背景と、現在の背景内とで対応する位置どうしの絶対色、及び／又は、画素間の明度差を判定することが含まれる。この差を閾値と比較する。一般に、差が小さいことは、背景内に変化がないことを示す。第１のフレームと、各フレームの間の画素（又は画素のグループ）に関する差が大きいことで、各フレーム内の画面内に最前面の物体／車両が入ってきたことが示される。この差が閾値に達していないと、その画素が現在のフレームの背景画像に属すると分類される。この差が閾値に達すると、その画素は、現在のフレーム内の最前面の画像に属すると分類される。この処理では、絶えず照明のついている環境が考慮されている。
【００２５】
その他に想定される実施形態では、時間差処理では、屋外カメラ等の様々な照明の状況を有する環境、又は、第１のフレーム内に最前面の画像を有するシーケンス内の環境が考慮される。一般に、初期設定のフレーム、又は先行するフレームから、それに続く（すなわち、現在の）画像を減算する。その差分画像を、閾値と比較する。この閾値との比較の結果により、領域が変更される。より具体的には、ビデオシーケンス内の隣接するフレームどうしを比較する。隣接するフレーム内で対応する位置の画素間で、完全な差を判定する。つまり、上記のプロセスを隣接するフレームどうしでそれぞれ繰り返す。
【００２６】
さらに別の実施形態では、特定の時間帯に渡り複数のフレームを平均することで、背景を判定することができる。本明細書では、移動する車両を検知するために用いることができる処理を限定はしない。ある処理は、各画素とみなされている一連のビデオフレーム内の画素値の時間ヒストグラムの計算を含む。最も頻出する画素値を、背景の値とみなすことができる。この値の周辺でクラスタリング処理を適用して、背景値と最前面値との間の境界を判定することができる。
【００２７】
この車両検知モジュール１１８による、フレームどうしの比較の一態様では、物体及び／又は車両のシーケンスに渡る移動状態の変化を判定する。モジュール１１８を用いて、絶えず移動する物体を検知する。さらに、議論される実施形態では、モルフォロジ演算を時間差処理と共に用いることができる。当技術分野では周知のモフォロジ処理を異なる画像に適用して、虚偽の動きのソースを濾過して取り除き、移動する車両を正確に検知することができる。
【００２８】
要するに、車両検知モジュール１１８は、フレームどうしを比較することで、フレームに渡り、絶えず移動する車両を検知する。フレームとフレームとの間の対応する位置の画素間の差が、所定の閾値を超えることで、物体の動きが示される。しかし、物体が停止すると、対応する位置の画素間の差が、続くフレームにて小さくなる。この例では、ビデオ検知モジュール１１８は、現在のフレーム内で移動する物体を検知されていないと判定する（Ｓ５０６で、いいえ）。移動する物体が検知されていないと、Ｓ５１６で、車両追跡モジュール１２０は、先行するフレーム内で検知された全ての車両が、まだ追跡されているかどうかを判定する。
【００２９】
引き続き図５を参照すると、配信ビデオ映像の異なるフレームに渡って、物体が移動するとき、車両追跡モジュール１２０が、この移動する最前面の物体を追跡する。このモジュールは、車両が停止し、したがって、移動する最前面の部分でなくなった場合でも、その車両を引き続き追跡することができる。いくつかの処理は物体を追跡するよう想定される。一実施形態では、モジュール１２０が、特定のフレーム内で最前面の物体及び／又は車両（「元の物体」）が検知されたという判定を、車両検知モジュール１１８から受信する（Ｓ５０６で、はい）。Ｓ５０８で、このフレームを分析して、元の最前面の物体の位置、及び最前面の物体の容姿特徴（例えば、色、質感、形状）を判定することができる。物体の容姿特徴の抽出は、物体の特徴表現を介して行われる。物体の位置に近接する、及び物体の位置を含む領域がそのフレーム内で特定される。位置情報を用いて、その領域内の対応する位置の画素を複数のフレームに渡って追跡する。Ｓ５１０で、物体の容姿特徴及び位置情報は、特徴照合プロセスを介して、現在追跡されている物体、及び／又は、別のフレーム内の対応する領域で特定された既知の物体と比較され、これにより、フレームに渡る異なる物体の特徴表現間の対応関係が確立される。現在のフレーム内で基準の物体と一致する特徴を含む物体が、車両として関連付けられる（Ｓ５１０で、はい）。それに応じて、Ｓ５１８で、追跡されている車両特徴、及び空間位置情報が、現在のフレームに関して更新される。しかし、現在のフレーム内の物体の特徴が、基準の物体と一致しないと（Ｓ５１０で、いいえ）、車両追跡モジュールは、その物体が新しい物体と判定する。Ｓ５１２で、検証アルゴリズムを実行して、物体が実際に新しい車両であることを検証する。Ｓ５１４で、車両の追跡を開始することができる。
【００３０】
その他の処理も車両を追跡するよう想定される。本明細書では使用する処理の種類に限定はしない。オプティカルフロー、平均シフト追跡、ＫＬＴ追跡、輪郭追跡、カルマンフィルタリング、粒子フィルタリング等の当技術分野では既知の処理を用いることができる。
【００３１】
本明細書の別の実施形態では、車両追跡モジュール１２０は、平均シフト追跡アルゴリズムを適用して、カメラ画面の領域に渡って移動する車両を追跡することができる。このアルゴリズムは、ヒストグラムの形態で表すことができる、色や質感等の特徴を含む、物体の特徴表現に基づく。例えば、色が特徴として用いられるとき、アルゴリズムの特徴照合段階で、複数のフレーム内に存在する色の類似点を最大化して、最前面の物体及び／又は車両をフレームに渡り追跡する。より具体的には、Ｓ５０８で、モジュール１２０は、所与のフレーム内の物体の特徴ヒストグラムを生成する。このヒストグラムは、第１の（すなわち、基準）フレーム内の領域の容姿に関する。この領域は、検知される最前面の物体に含まれるｎ×ｎ画素セルを含むことができる。つまり、この領域は、検知された最前面の物体の一部を含むことができる。このヒストグラムが、基準のヒストグラムとなる。
【００３２】
より具体的には、基準ヒストグラムにより、特定の色及び／又は明度の値に関連したセル内の複数の画素を映像で表す。物体／車両のヒストグラムの特徴表現を判定して、物体／車両に関連した領域内に位置する画素の色分布にする。
【００３３】
説明した領域の周辺で複数の位置を特定し、基準ヒストグラムを計算する。これは車両が、滑らかな移動パターンを有する、つまり、隣接するフレーム内の所与の車両の位置どうしが、比較的接近していると予想されるためである。現在のフレーム等の続くフレームに関して、車両が位置する可能性のある複数の場所のうちの対応する領域に対してヒストグラムを算出する。Ｓ５１０で、これらのヒストグラムを、基準のヒストグラムと比較する。次いで、現在のフレーム内で、基準ヒストグラムと、最も一致するヒストグラム（Ｓ５１０で、はい）を有する画素領域が車両新しい位置であると判定される。Ｓ５１８で、この判定された領域を、その後のフレーム内で、最前面の物体及び／又は車両が移動した更新位置として関連付ける。再度、基準ヒストグラムと一致する画素領域、及び追跡する車両が移動した可能性のある位置を有さない（Ｓ５１０で、いいえ）、現在のフレーム内の物体に対して、車両追跡モジュールは物体が新しい物体かどうかを判定する。Ｓ５１２で、検証アルゴリズムを実行して、物体が実際に新しい車両であることを検証する。Ｓ５１４で、車両追跡モジュール１２０は、この情報を用いて、車両の追跡を開始する。
【００３４】
要するに、車両追跡モジュール１２０は、最も一致する特徴ヒストグラム、又は基準ヒストグラムの最初の位置周辺の候補のグループのうちの目標ヒストグラムを検索することにより、続くフレームに渡り最前面の物体、及び／又は、車両の移動を追跡する。この処理を用いる追跡の一態様は、色の特徴に基づいた平均シフト追跡アルゴリズムであり、一般に部分的なオクルージョン、被写体ぶれ、物体とカメラとの間相対位置の変化に対して安定している。
【００３５】
引き続き図５を参照すると、Ｓ５２０で、車両追跡モジュール１２０は、全ての処理されたフレームで監視される、最前面の各物体及び／又は各車両の空間位置（画素の座標）を、停止車両監視モジュール１２２に供給する。車両監視モジュール１２２は、この情報を用いて、最初のうちは動いているが、そのうちに任意の所与の地点で停止する車両を監視する。モジュール１２２を導入して、車両検知モジュール１１８により検知されない、ゆっくりと移動する車両、及び／又は停止した車両を追跡する。
【００３６】
最初しばらくの移動した後、停止する最前面の物体及び／又は車両に応じて、このシステムは、最前面の物体が駐車車両であると判定する。一般に、車両監視モジュール１２２は、標本抽出率に関する時間内で、停止物体を監視するよう適用する。追跡アルゴリズムを用いて、停止物体の位置も監視することができる。つまり、停止車両監視モジュール１２２は、上記の移動する車両を追跡する処理と、類似する処理を実行することができる。モジュール１２２は、むしろ連続したフレームのシーケンス内の特徴表現を用いて、停止車両を監視する。対応する停止車両の位置／領域に関して、一般に生成された特徴表現どうしは、一致していなければならない。空間内の比較的一定の位置で特徴がほぼ一致する連続フレームの間、その車両は停止していると判定する。
【００３７】
車両追跡モジュール１２２の一態様は、全ての停止時間中の止まっている車両を特定する。短時間の駐車違反を判定するこの試みでは、その他の要因で車両が一定時間中停止状態なることも考慮しなければならない。例えば、交通渋滞、赤信号、停止表示、障害、及びその他の条件によっても、車両は停止し得る。一般に、これらの停止時間は短い。したがって、車両が停止する車両が停止する継続時間を計って、違反が実際に発生しているかどうかを区別する処理が必要となる。
【００３８】
本明細書に開示する追跡モジュール１２０、及び監視モジュール１２２の一態様では、両方とも検知した物体の位置を、全てのビデオフレームごとに更新する、その中には、１秒間に数回を更新することもあり得る。時間計測モジュール１２４は、この情報を用いて、車両が駐車スペースで駐車したままの時間の長さを判定する。一般に、このモジュール１２４は、時間に対する車両の位置を示す、時空間情報を判定する。Ｓ５２２で、各フレームでの車両の空間位置を、Ｓ５０４でフレームが取り込まれた時刻に関連付けることにより、モジュール１２４は時空間情報を判定する。
【００３９】
より具体的には、モジュール１２４は、フレームのシーケンスに関して、時間に対する車両の画素座標（Ｓ５２０で出力）に関するデータを生成する。車両が画面内を移動するときの位置をプロットで示すことができる。モジュール１２４は、このデータを用いて、車両が最初に停止する開始時間を判定する。データプロット内でプロットが水平になった時点により、車両が停止したフレームが示される。ほぼ水平の状態の時間を計測することにより、車両が駐車したままの継続時間を計ることができる。つまり、Ｓ５２４で、プロットが水平になる時間と、水平でなくなる時間との間の差として、この継続時間を算出することができる。
【００４０】
一実施形態では、モジュールが時間を計る前に、車両追跡モジュール１２２により用いられる空間位置情報をフィルタリング処理する。フィルタリングを用いて、ノイズを減らし、存在しない動きを無効とし、間違った結果を防止することができる。この結果は、さらに検証プロセスにかけられて、その精度を判定される。
【００４１】
要するに、時間計測モジュール１２４は、移動する物体が停止した時点からその物体が再び動き始める時点までに経過する時間を計測する。時間計測モジュール１２４の一態様では、車両追跡モジュール１２０と連動して、車両が駐車スペースに駐車したときから、継続時間の計測を開始する。追跡モジュール１２０が注目する領域で車両が停止したことを示すと、時間計測モジュール１２４が計測を開始する。
【００４２】
この経過時間は、通知モジュール１２６に供給される。一実施形態では、時間計測モジュール１２４は、所定の継続時間の処理周期後に、通知モジュール１２６に経過時間を供給することができる。一実施形態では、所定の時間は約数秒よい。別の実施形態では、所定の時間間隔は、ビデオフレーム率に逆比例する複数の整数に対応することができる。
【００４３】
引き続き図５を参照すると、通知モジュール１２６が、短時間の駐車違反が発生したかどうかを判定する。このモジュール１２６は、指定された注目の区域に駐車する車両に対する経過時間（すなわち、停止している継続時間）の情報を時間計測モジュール１２４から受信する。Ｓ５２６で、継続時間を閾値と比較する。閾値は注目の駐車区域及び／又はスペースに対して最大限許容される駐車時間でよい。この閾値は、記憶装置１０６内に格納されたＬＵＴに含むことができる。このＬＵＴは、監視下の特定スペースでの駐車に関する許容時間の制限に関連する。
【００４４】
継続時間が閾値に達しないときは、（Ｓ５２６で、いいえ）システムは、動作を起こさない。継続時間が閾値に達する、又は超えたると（Ｓ５２６で、はい）、Ｓ５２８で、システムは、短時間の駐車違反に対する警告を開始する。通知をユーザ装置１０４に送信して、車両駐車規制が違反されていることを示すことができる。違反が検知されると、警察等の取締を許可される組織に情報が送信されて、画面を確認し、違反チケットを発行する、及び／又は、その車両をレッカー車で移動することができる。一実施形態では、自治体が利用するサービスの駐車違反取締官が有するユーザ装置に、この情報を送信することができ、且つ／又は、ＧＰＳデータを介して、駐車禁止区域に近い領域と判定することができる。別の実施形態では、ユーザ−装置１０４からの情報に関するシステムへの問い合わせに応じて、情報を送信することができる。この情報により、駐車スペースの位置、車両の種類、ブランド名、型式、色等を含む車両の明細と、駐車規制に違反した車両のプレートの登録番号とを示すことができる。
【００４５】
Ｓ４３０で、システムは、現在のフレームがシーケンス内の最後のフレームかどうかを判定する。現在のフレームが最後のフレームでないこと（Ｓ５３０で、いいえ）、Ｓ５０４で、処理は再び開始される。現在のフレームが、最後のフレームであること（Ｓ５３０で、はい）、Ｓ５３２で、方法は終了する。
【００４６】
その他の実施形態
本明細書の一態様では、移動する車両を追跡し監視する。例示のシナリオでは、ビデオシーケンスが開始されるときに既に監視スペースに駐車中の車両を想定している。このシステムの別の実施形態は、初期化モジュール１１７を含むことができ、この初期化モジュール１１７は、配信ビデオ映像が開始されるときに既に停止している車両を判定するよう適用される。つまり、カメラを調整し設置し、及び／又は初期化したときは、既に車両がカメラ画面の領域内に駐車中である。初期化モジュール１１７が、シーケンスの第１のフレーム内の駐車中の車両の位置を判定して、短時間の駐車区域内に既に存在する車両を検知する。初期化モジュール１１７は、最初のフレーム内の画素に対し、さらに処理を行って、その画素が車両に属しているか、又はその車両に属していないかを判定する。一実施形態では、この処理にはオクルージョン検出が含まれ得る。別の実施形態では、この処理には影の抑制が含まれ得る。本明細書では、最前面の画素を分類するために実行可能な処理の種類に関して限定はしない。処理の一例では、オクルージョン検出が含まれ得る、このオクルージョン検出は、同時係属出願中の代理人整理番２０１２０２４３−ＵＳ−ＮＰ−ＸＥＲＺ２０２２８８ＵＳ０１号明細書に記載されており、その教示は本明細書に完全に組み込まれるものとする。
【００４７】
初期化モジュール１１７は、背景の二値画像を生成する。つまり、モジュール１１７は、最前面の画像に属していると分類される画素、すなわちビデオ映像の第１のフレーム内の車両に対応する画素には「０」の値を割り当て、背景の建物に属していると分類される画素には「１」の値を割り当てる。の二値情報を用いて、時間計測モジュール１２４を起動することができる。
【００４８】
方法５００を、一連の動作及び事象の形で上記に例示・説明してきたが、本明細書の種々の方法又は処理は、そのような例示された動作又は事象の順番に限定されないことは言うまでもない。これに関して、本明細書による本明細書に例示・説明した動作又は事象は別として、本明細書で明確な定めがない限り、いくつかの動作又は事象を異なる順番、及び／又は、その他の動作、又は事象と同時に行うことが可能である。本明細書による処理又は方法を実行するために例示されたステップは、必ずしも全て必要ではなく、１つ以上のそのような動作を組み合わせることも可能であることをさらにつけ加えておく。本明細書に記載の制御機能を提供するために、本明細書の例示された方法、及びその他の方法は、ハードウェア、ソフトウェア、又はそれらの組合せで実行可能であり、非限定的に、上記のシステム１００を含む、全てのシステムで用いることができる。本明細書は、本明細書で例示し説明した特定な用途及び実施形態に限定されるわけではない。
【実施例】
【００４９】
図６〜図９には、本明細書の実装形態の一例が示される。Ｗｅｂｓｔｅｒ  Ｖｉｌｌａｇｅ通り（Ｎｅｗ  Ｙｏｒｋ）で取り込まれたビデオ映像に対して、提案されたシステム及び方法を実行し、テストしてみた。図６には、ビデオフレームのサンプルが示され、カメラシステムの設定、及び監視する駐車区域の構成を例示している。
【００５０】
図６に示された車両が、実験の継続時間中駐車したままであったため、車両検知モジュール１１８に関して説明した自動の方法に代わり、手動でアルゴリズムを初期化した。監視する駐車スペース内に車両が存在することを、手動でこのアルゴリズムに通知した。その結果、このアルゴリズムが、要求された第１のフレームから、車両の占有時間の計測を開始した。
【００５１】
図７、図８Ａ、及び図８Ｂには、出力フレームのサンプルが示される。画素のウィンドウが、監視する車両に関連する領域内で強調された。また注目車両に関して、計測する駐車時間も図７の画像で表示した。例示の実装形態では、計測される駐車時間（１０秒）は、ビデオ映像の撮影時間と同じであり、したがって最初のフレームが取り込まれた瞬間からこの車両ビデオ映像に内に存在していたことを示す。
【００５２】
違反通知モジュール１２６の動作を示すために、架空の時間制限を４分と設定した。駐車時間制限に違反した瞬間、警告が開始された。説明のために、この警告を視覚的に表示した。視覚による通知は、点滅タイマからなり、タイマの呼び出し背景（数字）を暗（明）と明（暗）の交互で表示する（図９）。実際の実装形態では、この通知を適切な施行当局へ送信、又は通信することが可能である。
【図１】
2013218679.tif 000003
【図２】
2013218679.tif 000004
【図３】
2013218679.tif 000005
【図４】
2013218679.tif 000006
【図５】
2013218679.tif 000007
【図６】
2013218679.tif 000008
【図７】
2013218679.tif 000009
【図８Ａ】
2013218679.tif 000010
【図８Ｂ】
2013218679.tif 000011
【図９】
2013218679.tif 000012