(57)【要約】      （修正有）【課題】屋外の使用において光や影の影響や、雨、雪、昆虫などの影響を受けず、車両の走行方向を計測する監視支援装置を提供する。【解決手段】監視支援装置ＭＡＤは、ステレオカメラで撮影した画像を取得する取得部ＡＣＱと、画像内における監視面を設定する監視面設定部ＭＰＳと、画像内における逆走方向または順方向を設定する方向設定部ＤＤと、監視面に接触したオブジェクトを注目オブジェクトとして設定し、注目オブジェクトと、当該画像の前または後の少なくとも１つのフレームの注目オブジェクトとの空間座標を比較して、注目オブジェクトの移動方向を求める監視部ＭＯＮと、注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合に、警報を発する警報部ＷＡＮとを有する。【選択図】図１
2020017240.tif 000002
【特許請求の範囲】
【請求項１】
ステレオカメラで撮影した画像を取得する取得部と、
画像内における監視面を設定する監視面設定部と、
画像内における逆走方向または順方向を設定する方向設定部と、
監視面に接触したオブジェクトを注目オブジェクトとして設定し、該注目オブジェクトと、当該画像の前または後の少なくとも１つのフレームの注目オブジェクトとの空間座標を比較して、注目オブジェクトの移動方向を求める監視部と、
注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合に、警報を発する警報部と、
を有する監視支援装置。
【請求項２】
請求項１に記載の監視支援装置において、
前記警報と共に、前記注目オブジェクトが映っている画像を出力する出力部、
をさらに有する監視支援装置。
【請求項３】
請求項１または２に記載の監視支援装置において、
前記警報部が、
注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合に、警報を発するに代えて、注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合であっても、監視面における注目オブジェクトの最大の面積が、第１基準未満の場合（ゴミ、落下物、など小さいもの、または、シートなど体積のないものとして除外する）は、警報を発しない、
ことを特徴とする監視支援装置。
【請求項４】
請求項１または２に記載の監視支援装置において、
前記注目オブジェクトが、監視面に接触または／および通過するフレーム毎に、当該オブジェクトの監視面における輪切り状の形状を収集し、これら当該オブジェクトから3次元の注目オブジェクトを生成する3次元オブジェクト生成部を、
さらに有する監視支援装置。
【請求項５】
請求項４に記載の監視支援装置において、
前記警報部が、
注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合に、警報を発するに代えて、注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合であっても、3次元の注目オブジェクトの体積が、第１基準未満の場合（ゴミ、落下物、シートなど体積のないものとして除外する）は、警報を発しない、
ことを特徴とする監視支援装置。
【請求項６】
請求項４に記載の監視支援装置において、
前記警報部が、
注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合に、警報を発するに代えて、注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合、かつ、第１基準以上、または、第1基準以上かつ第2基準未満の場合（バイク、乗用車などの第１のサイズの車両として扱う）は、第１のサイズの車両が逆走したものとして警報を発する、
ことを特徴とする監視支援装置。
【請求項７】
ステレオカメラで撮影した画像を取得する取得部と、
画像内において、第１の監視面および第２の監視面を設定する監視面設定部と、
画像内における逆走方向または順方向を設定する方向設定部と、
第１または第２の監視面に接触したオブジェクトを注目オブジェクトとして設定し、該注目オブジェクトが、最初に第１の監視面に接触した時間と、最初に第２の監視面に接触したときの時間差を利用して、注目オブジェクトの移動方向を求める監視部と、
注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合に、警報を発する警報部と、
を有する監視支援装置。
【請求項８】
第１のステレオカメラで撮影した第１の画像と、第２のステレオカメラで撮影した第２の画像とを取得する取得部と、
第１の画像内における第１の監視面と、該第１の監視面と同じ空間座標に、第２の画像内における第２の監視面と、を設定する監視面設定部と、
第１および第２の画像内における逆走方向または順方向を設定する方向設定部と、
第１または第２の監視面に接触したオブジェクトを注目オブジェクトとして設定し、該注目オブジェクトと、当該画像の前または後の少なくとも１つのフレームの注目オブジェクトとの空間座標を比較して、注目オブジェクトの移動方向を求める監視部と、
注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合に、警報を発する警報部と、
を有する監視支援装置。
【請求項９】
第１のステレオカメラで撮影した第１の画像と、第２のステレオカメラで撮影した第２の画像とを取得する取得部と、
第１の画像内における第１の監視面と、該第１の監視面と同じ空間座標に、第２の画像内における第２の監視面と、を設定する監視面設定部と、
第１および第２の画像内における逆走方向または順方向を設定する方向設定部と、
第１または第２の監視面に接触したオブジェクトを注目オブジェクトとして設定し、該注目オブジェクトと、当該画像の前または後の少なくとも１つのフレームの注目オブジェクトとの空間座標を比較して、注目オブジェクトの移動方向を求める監視部と、
第１の画像の第1の監視面における注目オブジェクトと、第２の画像の第２の監視面における注目オブジェクトとをマージして、統合化注目オブジェクトを生成し、該統合化注目オブジェクトを仮想監視面に投影する投影部と、
統合化注目オブジェクトの仮想監視面における面積が、所定の閾値を越えるか否かを判定する判定部と、
注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合であって、かつ、統合化注目オブジェクトの監視面における面積が、所定の閾値を越える場合に、警報を発する警報部と、
を有する監視支援装置。
【請求項１０】
第１のステレオカメラで撮影した第１の画像と、第２のステレオカメラで撮影した第２の画像とを取得する取得部と、
第１の画像内における第１の監視面と、該第１の監視面と同じ空間座標に、第２の画像内における第２の監視面と、を設定する監視面設定部と、
第１および第２の画像内における逆走方向または順方向を設定する方向設定部と、
第１または第２の監視面に接触したオブジェクトを注目オブジェクトとして設定し、該注目オブジェクトと、当該画像の前または後の少なくとも１つのフレームの注目オブジェクトとの空間座標を比較して、注目オブジェクトの移動方向を求める監視部と、
第１の画像の第1の監視面における注目オブジェクトと、第２の画像の第２の監視面における注目オブジェクトとをマージして、統合化注目オブジェクトを生成し、該統合化注目オブジェクトを仮想監視面に投影する投影部と、
統合化注目オブジェクトの仮想監視面における面積（サイズ）が、第１の閾値を越えて第２の閾値以下であるか否か、または、第２の閾値を越えるか否かを判定する判定部と、
注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合であって、かつ、統合化注目オブジェクトの監視面における面積が、第１の閾値を越えて第２の閾値以下である場合は、注目オブジェクトが、第１のサイズの車両（例えば、バイク、小型車両、または乗用車、など）であるという情報と共に、警報を発し、または、注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合であって、かつ、第２の閾値を越える場合は、注目オブジェクトが、第２のサイズの車両（例えば、トラック、バス、または大型車両など）であるという情報と共に、警報を発する警報部と、
を有する監視支援装置。
【請求項１１】
第１の地点における第１のステレオカメラで撮影した第１の画像と、第２の地点における第２のステレオカメラで撮影した第２の画像とを取得する取得部と、
第１の画像内における第１の監視面と、第２の画像内における第２の監視面と、を設定する監視面設定部と、
第１または第２の監視面に接触したオブジェクトを注目オブジェクトとして設定し、該注目オブジェクトと、当該画像の前または後の少なくとも１つのフレームの注目オブジェクトとの空間座標を比較して、注目オブジェクトの移動方向を求める監視部と、
注目オブジェクトの移動方向が、第１の地点と、第２の地点との間に入る方向である場合に、当該注目オブジェクトの数を１加算し、注目オブジェクトの移動方向が、第１の地点と、第２の地点との間から出る方向である場合に、当該注目オブジェクトの数を１減算して、第１の地点と第2の地点間の注目オブジェクト数を計測する計測部と、
を有する監視支援装置。
【請求項１２】
１つまたは複数の演算処理装置を請求項１〜１１に記載の監視支援装置として機能させる監視支援プログラム。
【請求項１３】
請求項１２に記載の監視支援プログラムを格納したコンピュータ可読な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視支援装置、監視支援プログラム、および記憶媒体に関し、特に、屋外の使用において光や影の影響や、雨、雪、昆虫などの影響を受けず、車両の走行方向を計測する監視支援装置、監視支援プログラム、および記憶媒体に関するものである。
【背景技術】
【０００２】
近年、高齢ドライバーが増加し、高速道路などでの逆走事故が増加している。この逆走の監視については、技術開発が待たれている状況である。他方、監視カメラが安価になり、多数設置され、監視装置として利用されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−２６９４９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術は、「一方通行路に設置された複数台の車両感知器と、複数台の車両感知器の出力から走行車両の進行方向を判定する車両進行方向判定手段と、車両進行方向判定手段の判定結果から走行車両が一方通行路を逆方向に走行しているか否かを判定する逆走車両判定手段とを備える。」といったものである。これは、車両にビーコンなどの電波を発信する電波発信装置を設置したことを前提とするものである。従って、監視区間に入る全ての車両に電波発信装置を設置する必要があり、導入が困難である。
【０００５】
また、２次元カメラの画像で、特定の注目物（人物や子犬など）を追随する技法はあるが、２次元カメラは、屋外においては光や影の影響や、カメラと車両の間に位置する、鳥や昆虫、雨、雪などの影響で、誤検知が多く、屋外において、車両の方向を判定する技法の実用化は、達成されていない状況である。
【０００６】
そこで、本発明の目的は、監視支援装置、監視支援プログラム、および記憶媒体を提供することである。
【課題を解決するための手段】
【０００７】
上述した諸課題を解決すべく、第１の発明による、監視支援装置は、
ステレオカメラで撮影した画像を取得する取得部と、
画像内における監視面を設定する監視面設定部と、
画像内における逆走方向または順方向を設定する方向設定部と、
監視面に接触したオブジェクトを注目オブジェクトとして設定し、該注目オブジェクトと、当該画像の前または後の少なくとも１つのフレームの注目オブジェクトとの空間座標を比較して、注目オブジェクトの移動方向を求める監視部と、
注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合に、警報を発する警報部と、
を有する。
を有することを特徴とする。
【０００８】
また、第２の発明による監視支援装置は、
前記警報と共に、前記注目オブジェクトが映っている画像を出力する出力部、
をさらに有する。
【０００９】
また、第３の発明による監視支援装置は、
前記警報部が、
注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合に、警報を発するに代えて、注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合であっても、監視面における注目オブジェクトの最大の面積が、第１基準未満の場合（ゴミ、落下物、など小さいもの、または、シートなど体積のないものとして除外する）は、警報を発しない、
ことを特徴とする。
【００１０】
また、第４の発明による監視支援装置は、
前記注目オブジェクトが、監視面に接触または／および通過するフレーム毎に、当該オブジェクトの監視面における輪切り状の形状を収集し、これら当該オブジェクトから3次元の注目オブジェクトを生成する3次元オブジェクト生成部を、
さらに有する。
【００１１】
また、第５の発明による監視支援装置は、
前記警報部が、
注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合に、警報を発するに代えて、注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合であっても、3次元の注目オブジェクトの体積が、第１基準未満の場合（ゴミ、落下物、シートなど体積のないものとして除外する）は、警報を発しない、
ことを特徴とする。
【００１２】
また、第６の発明による監視支援装置は、
前記警報部が、
注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合に、警報を発するに代えて、注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合、かつ、第１基準以上、または、第1基準以上かつ第2基準未満の場合（バイク、乗用車などの第１のサイズの車両として扱う）は、第１のサイズの車両が逆走したものとして警報を発する、
ことを特徴とする監視支援装置。
【００１３】
また、第７の発明による監視支援装置は、
ステレオカメラで撮影した画像を取得する取得部と、
画像内において、第１の監視面および第２の監視面を設定する監視面設定部と、
画像内における逆走方向または順方向を設定する方向設定部と、
第１または第２の監視面に接触したオブジェクトを注目オブジェクトとして設定し、該注目オブジェクトが、最初に第１の監視面に接触した時間と、最初に第２の監視面に接触したときの時間差を利用して、注目オブジェクトの移動方向を求める監視部と、
注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合に、警報を発する警報部と、
を有する。
【００１４】
また、第８の発明による監視支援装置は、
第１のステレオカメラで撮影した第１の画像と、第２のステレオカメラで撮影した第２の画像とを取得する取得部と、
第１の画像内における第１の監視面と、該第１の監視面と同じ空間座標に、第２の画像内における第２の監視面と、を設定する監視面設定部と、
第１および第２の画像内における逆走方向または順方向を設定する方向設定部と、
第１または第２の監視面に接触したオブジェクトを注目オブジェクトとして設定し、該注目オブジェクトと、当該画像の前または後の少なくとも１つのフレームの注目オブジェクトとの空間座標を比較して、注目オブジェクトの移動方向を求める監視部と、
注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合に、警報を発する警報部と、
を有する。
【００１５】
また、第９の発明による監視支援装置は、
第１のステレオカメラで撮影した第１の画像と、第２のステレオカメラで撮影した第２の画像とを取得する取得部と、
第１の画像内における第１の監視面と、該第１の監視面と同じ空間座標に、第２の画像内における第２の監視面と、を設定する監視面設定部と、
第１および第２の画像内における逆走方向または順方向を設定する方向設定部と、
第１または第２の監視面に接触したオブジェクトを注目オブジェクトとして設定し、該注目オブジェクトと、当該画像の前または後の少なくとも１つのフレームの注目オブジェクトとの空間座標を比較して、注目オブジェクトの移動方向を求める監視部と、
第１の画像の第1の監視面における注目オブジェクトと、第２の画像の第２の監視面における注目オブジェクトとをマージして、統合化注目オブジェクトを生成し、該統合化注目オブジェクトを仮想監視面に投影する投影部と、
統合化注目オブジェクトの仮想監視面における面積が、所定の閾値を越えるか否かを判定する判定部と、
注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合であって、かつ、統合化注目オブジェクトの監視面における面積が、所定の閾値を越える場合に、警報を発する警報部と、
を有する。
【００１６】
また、第１０の発明による監視支援装置は、
第１のステレオカメラで撮影した第１の画像と、第２のステレオカメラで撮影した第２の画像とを取得する取得部と、
第１の画像内における第１の監視面と、該第１の監視面と同じ空間座標に、第２の画像内における第２の監視面と、を設定する監視面設定部と、
第１および第２の画像内における逆走方向または順方向を設定する方向設定部と、
第１または第２の監視面に接触したオブジェクトを注目オブジェクトとして設定し、該注目オブジェクトと、当該画像の前または後の少なくとも１つのフレームの注目オブジェクトとの空間座標を比較して、注目オブジェクトの移動方向を求める監視部と、
第１の画像の第1の監視面における注目オブジェクトと、第２の画像の第２の監視面における注目オブジェクトとをマージして、統合化注目オブジェクトを生成し、該統合化注目オブジェクトを仮想監視面に投影する投影部と、
統合化注目オブジェクトの仮想監視面における面積（サイズ）が、第１の閾値を越えて第２の閾値以下であるか否か、または、第２の閾値を越えるか否かを判定する判定部と、
注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合であって、かつ、統合化注目オブジェクトの監視面における面積が、第１の閾値を越えて第２の閾値以下である場合は、注目オブジェクトが、第１のサイズの車両（例えば、バイク、小型車両、または乗用車、など）であるという情報と共に、警報を発し、または、注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合であって、かつ、第２の閾値を越える場合は、注目オブジェクトが、第２のサイズの車両（例えば、トラック、バス、または大型車両など）であるという情報と共に、警報を発する警報部と、
を有する。
【００１７】
また、第１１の発明による監視支援装置は、
第１の地点における第１のステレオカメラで撮影した第１の画像と、第２の地点における第２のステレオカメラで撮影した第２の画像とを取得する取得部と、
第１の画像内における第１の監視面と、第２の画像内における第２の監視面と、を設定する監視面設定部と、
第１または第２の監視面に接触したオブジェクトを注目オブジェクトとして設定し、該注目オブジェクトと、当該画像の前または後の少なくとも１つのフレームの注目オブジェクトとの空間座標を比較して、注目オブジェクトの移動方向を求める監視部と、
注目オブジェクトの移動方向が、第１の地点と、第２の地点との間に入る方向である場合に、当該注目オブジェクトの数を１加算し、注目オブジェクトの移動方向が、第１の地点と、第２の地点との間から出る方向である場合に、当該注目オブジェクトの数を１減算して、第１の地点と第2の地点間の注目オブジェクト数を計測する計測部と、
を有する。
【００１８】
上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。なお、下記の方法やプログラムの各ステップは、データの処理においては必要に応じて、CPU、DSPなどの演算処理装置を使用するものであり、入力したデータや加工・生成したデータなどを磁気テープ、HDD、メモリなどの記憶装置に格納するものである。
【００１９】
例えば、本発明をプログラムとして実現させた、コンピュータに実行させる第１２の発明によるプログラムは、
１つまたは複数の演算処理装置を第１〜１１の発明に記載の監視支援装置として機能させる監視支援プログラムである。
【００２０】
本発明によれば、屋外の使用において光や影の影響や、雨、雪、昆虫などの影響を受けず、車両の走行方向を計測し、車両を適正に監視することが可能となる。
【図面の簡単な説明】
【００２１】
【図１】図１は、本発明の一実施態様による監視支援装置（システム）の概要を示すブロック図である。
【図２】図２は、本発明の一実施態様による監視支援装置を逆走監視装置として機能させたときの模式図である。
【図３】図３は、本発明の一実施態様による監視支援装置（システム）で実行される処理の一例を示すフローチャートである。
【図４】図４は、本発明の一実施態様による監視支援装置を逆走監視装置として機能させたときの模式図である。
【図５】図５は、本発明の一実施態様による監視支援装置（システム）で実行される処理の一例を示すフローチャートである。
【図６】図６は、本発明の一実施態様による監視支援装置を逆走監視装置として機能させたときの模式図である。
【図７】図７は、ステレオカメラ２台を用いた統合化オブジェクトを生成する技法を説明する模式図である。
【図８】図８は、ステレオカメラ２台を用いた統合化オブジェクトを生成する技法をさらに詳細に説明する模式図である。
【図９】図９は、監視面を通過するオブジェクトの各断面からオブジェクトをモデリングする技法を説明する模式図である。
【図１０】図１０は、本装置により監視面に接触したモノを分類する技法を説明する模式図である。
【図１１】図１１は、本装置をカーカウンター（車種別車両数計測装置）として実現させた実施態様の模式図である。
【図１２】図１２は、本装置をカーカウンター（車種別車両数計測装置）として実現させた他の実施態様の模式図である。
【図１３】図１３は、車両がロータリに進入してからの車両の軌跡ＰＷ１−ＰＷ４までをトラッキングした様子を示す模式図である。
【発明を実施するための形態】
【００２２】
以降、諸図面を参照しながら、本発明の実施態様を詳細に説明する。
【００２３】
図１は、本発明の一実施態様による監視支援装置（システム）の概要を示すブロック図である。図に示すように、監視支援装置ＭＡＤ１は、
ステレオカメラで撮影した画像を取得する取得部ＡＣＱ、
画像内における監視面を設定する監視面設定部ＭＰＳと、
画像内における逆走方向または順方向を設定する方向設定部ＤＳと、
監視面に接触したオブジェクトを注目オブジェクトとして設定し、該注目オブジェクトと、当該画像の前または後の少なくとも１つのフレームの注目オブジェクトとの空間座標を比較して、注目オブジェクトの移動方向を求める監視部ＭＯＮと、
注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合に、警報を発する警報部ＷＡＮと、
を有する。
【００２４】
取得部ＡＣＱ、監視面設定部ＭＰＳ、方向設定部ＤＳ、監視部ＭＯＮ、警報部ＷＡＮなどは、プロセッサなどの演算装置である制御部ＣＯＮにロードされたプログラムモジュールで構成されることが好適である。
【００２５】
本装置は、前記警報と共に、前記注目オブジェクトが映っている画像を出力する出力部ＯＵＴとを有する。警報部ＷＡＮが、出力部を兼ねてもよい。
【００２６】
警報部ＷＡＮが、注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合に、警報を発するに代えて、注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合であっても、監視面における注目オブジェクトの最大の面積が、第１基準未満の場合（ゴミ、落下物、など小さいもの、または、シートなど体積のないものとして除外する）は、警報を発しない。本構成によれば、ゴミ、落下物、など小さいもの、または、シートなどを適正に除外して誤警報を防止することが可能である。
【００２７】
制御部ＣＯＮは、
注目オブジェクトが、監視面に接触または／および通過するフレーム毎に、当該オブジェクトの監視面における輪切り状の形状を収集し、これら当該オブジェクトから3次元の注目オブジェクトを生成する3次元オブジェクト生成部ＧＥＮを、さらに有する。
【００２８】
また、警報部ＷＡＮが、
注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合に、警報を発するに代えて、注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合であっても、3次元の注目オブジェクトの体積が、第１基準未満の場合（ゴミ、落下物、シートなど体積のないものとして除外する）は、警報を発しない、ことも可能である。本構成によれば、ゴミ、落下物、など小さいもの、または、シートなどの薄くほぼ体積のないノイズとなる物体を適正に除外して誤警報を防止することが可能である。
【００２９】
また、警報部ＷＡＮは、
注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合に、警報を発するに代えて、注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合、かつ、第１基準以上、または、第1基準以上かつ第2基準未満の場合（バイク、乗用車などの第１のサイズの車両として扱う）は、第１のサイズの車両が逆走したものとして警報を発する。本構成によれば、逆走車両のサイズを分類して警報を出すことが可能となる。
【００３０】
また、監視支援装置ＭＡＤ１は、入力部ＩＮ、出力部ＯＵＴ、通信部ＣＯＭ、記憶部ＳＴＲ、および、表示部ＤＩＳを有する。また、監視支援装置ＭＡＤ１は、通信部ＣＯＭ、ネットワークＮＥＴを介して、道路、経路などを撮影するステレオカメラＭＣ１、ＭＣ２と接続し、画像を取得する。また、監視支援装置ＭＡＤ１は、通信部ＣＯＭ、ネットワークＮＥＴを介して、携帯端末ＰＤＡ１と接続し、情報のやり取りが可能である。出力部ＯＵＴは、プリンタＰＲＮや電子掲示板ＥＢ１に本装置に格納される情報や生成された情報を出力することができる。表示部ＤＩＳも、本装置に格納される情報や生成された情報を表示することができる。入力部ＩＮは、マウスＭＵＳやキーボードＫＢＤを介して入力される操作指示や情報入力を受け付け、受け付けた情報やデータを取得部ＡＣＱに渡す。記憶部ＳＴＲには、第１−３基準の数値や当該基準の車種情報を格納する基準情報ＳＴＤと、モデリングオブジェクトと比較される車両オブジェクトとその車種名を含む、車両情報ＣＩとが格納される。
【００３１】
制御部に含まれる各機能部は、制御部のメモリ空間に読み込まれたプログラムモジュールによって実現することが好適である。通常は、記憶部或いはウェブサイトから、プロセッサを本装置の各部として機能させるソフトウェアをダウンロードして、ＰＣにインストールして起動することで、ＰＣが、本装置として動作する。なお、制御部に設けた各機能部は、機能上一定のまとまりのあるステップを１つにまとめたものに過ぎず、複数の機能部を１つの機能部にしたり、その一部を他の機能部に組み入れたり、他の独立した機能部に分割したりすることが可能である。
【００３２】
このように、生成・抽出した情報や中間データおよび取得したデータを外部に送信したり、表示部に表示したり、生成・抽出した情報や中間データおよび取得したデータなどを記憶部に格納したりすることは、後述する他の実態態様でも同様に可能であることに注意されたい。なお、本装置は、汎用コンピュータ、特定用途コンピュータ、サーバ、ＰＣ、スマートフォンなどの携帯端末などのコンピュータ、或いは、本装置の機能や処理手順（方法）をコンピュータ上で実現（実行）するプログラムモジュールをコンピュータが持つＣＰＵや記憶部に保持したり、外部のサーバやストレージから読み込んだりすることで、コンピュータ上に本装置を構築することが好適であり、後続の各実施態様においても同様である。また、各機能部は、ネットワークで接続された別個のコンピュータや装置に分散させてもよい。また、複数の機能部を１つにしたり、処理ステップの一部を他の機能部にさせたりするような形態でもよい。
【００３３】
図２は、本発明の一実施態様による監視支援装置を逆走監視装置として機能させたときの模式図である。図に示すように、道路ＲＤを通過する車両ＶＨがあるとする。道路ＲＤを通過する車両ＶＨを撮影するステレオカメラＣＭ１の画像内において、車両の逆走方向ＤＩＲを設定し、画像内において、さらに、監視面ＶＦを設定する。本装置は、車両が監視面ＶＦに触れるたびに、逆走方向か否かを上述した技法で判定する。逆走と判定された場合は、が逆走方向に設置された電子掲示板ＥＢ１に、当該車両の画像と、逆走である旨の警告表示をする。
【００３４】
図３は、本発明の一実施態様による監視支援装置（システム）で実行される処理の一例を示すフローチャートである。図に示すように、ステップＳ１１にて、監視面を設定する。監視面は、車両が通過する道路を横切る鉛直の平面とすることが好適である。ステップＳ１２では、逆走方向（または順方向でもよい）を設定する。そして、ステップＳ１３にて、画像を取得する。ステップＳ１４にて、監視面に接触したオブジェクトを注目オブジェクトとして設定し、該注目オブジェクトと、当該画像の前または後の少なくとも１つのフレームの注目オブジェクトとの空間座標を比較して、注目オブジェクトの移動方向を求める。そして、ステップＳ１５にて、注目オブジェクトの移動方向が、逆走方向であるか否か、または、順方向の逆であるか否かを判定する。ステップＳ１５の判定条件を満たす場合、即ち、注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合に、ステップＳ１６に進み、警報を発する。警報の際は、掲示板などに、当該車両の画像を表示したり、当該画像の車種やナンバーを音声で流したりなども可能である。判定を満たさない場合は、ステップＳ１３の処理に戻る。なお、格納ステップは、一回実施しておけば、その情報が変更されるまでは再実施する必要はない。或いは、格納ステップは、当該情報を格納したＲＯＭやフラッシュメモリを装置やコンピュータに搭載することで不要となる。
【００３５】
図４は、本発明の一実施態様による監視支援装置を逆走監視装置として機能させたときの模式図である。図に示すように、道路ＲＤを通過する車両ＶＨがあるとする。道路ＲＤを通過する車両ＶＨを撮影するステレオカメラＣＭ１の画像内において、車両の逆走方向ＤＩＲを設定し、画像内において、さらに、監視面ＶＦ１と監視面ＶＦ２とを設定する。本装置は、車両が監視面ＶＦに触れるたびに、逆走方向か否かを上述した技法で判定する。具体的には、第１または第２の監視面に接触したオブジェクトを注目オブジェクトとして設定し、該注目オブジェクトが、最初に第１の監視面に接触した時間と、最初に第２の監視面に接触したときの時間差を利用して、注目オブジェクトの移動方向を求める。逆走と判定された場合は、が逆走方向に設置された電子掲示板ＥＢ１に、当該車両の画像と、逆走である旨の警告表示をする。本構成によれば、監視面が２つあるため、方向判定が簡易となり、さらに、２枚の監視面により、シートや段ボールなどの飛来物の接触を排除可能になる。即ち、誤警報を抑止できる。飛来物は、各接触面で、接触する際の形状が著しく変わるため、そのようなものを排除可能となる。
【００３６】
図５は、本発明の一実施態様による監視支援装置（システム）で実行される処理の一例を示すフローチャートである。図に示すように、ステップＳ２１にて、第１および第２の監視面を設定する。監視面は、車両が通過する道路を横切る鉛直の平面とすることが好適である。ステップＳ２２では、逆走方向（または順方向でもよい）を設定する。そして、ステップＳ２３にて、画像を取得する。ステップＳ２４にて、第１または第２の監視面に接触したオブジェクトを注目オブジェクトとして設定し、該注目オブジェクトが、最初に第１の監視面に接触した時間と、最初に第２の監視に接触したときの時間差を利用して、注目オブジェクトの移動方向を求める。そして、ステップＳ２５にて、注目オブジェクトの移動方向が、逆走方向であるか否か、または、順方向の逆である否かを判定する。ステップＳ２５の判定条件を満たす場合は、ステップＳ２６に進み、警報を発する。警報の際は、掲示板などに、当該車両の画像を表示したり、当該画像の車種やナンバーを音声で流したりするなども可能である。判定条件を満たさない場合は、ステップＳ２３の処理に戻る。
【００３７】
図６は、本発明の一実施態様による監視支援装置を逆走監視装置として機能させたときの模式図である。図に示すように、道路ＲＤを通過する車両ＶＨがあるとする。道路ＲＤを通過する車両ＶＨを撮影するステレオカメラＣＭ１の画像内において、車両の逆走方向ＤＩＲを設定し、画像内において、さらに、監視面ＶＦ１を設定する。本構成では、さらに、道路ＲＤを挟んでステレオカメラＣＭ１に対向する位置に置かれたステレオカメラＣＭ２の画像内においても、同様に車両の逆走方向ＤＩＲを設定し、画像内において、さらに、監視面ＶＦ２を設定する。監視面ＶＦ１と監視面ＶＦ２とは、空間座標としては、同じ位置に設定する。即ち、同じ監視面を異なる位置から監視するのが、本構成の特徴の１つである。本装置は、車両が監視面ＶＦ１、ＶＦ２に触れるたびに、逆走方向か否かを上述した技法で判定する。逆走と判定された場合は、が逆走方向に設置された電子掲示板ＥＢ１に、当該車両の画像と、逆走である旨の警告表示をする。本構成の利点の１つは、１つのカメラでは、カメラと被写体（逆走車）との間を通過する鳥や昆虫などで視界が遮られ、検出漏れが発生する恐れを解消することである。ステレオカメラＣＭ１の視界が鳥などで塞がれた場合であっても、同時にステレオカメラＣＭ２の視界が同時に塞がれる可能性は非常に低いため、検出漏れを確実に防止することが可能である。
【００３８】
図７は、ステレオカメラ２台を用いた統合化オブジェクトを生成する技法を説明する模式図である。この場合は、以下のような構成の監視支援装置を使用する。
【００３９】
監視支援装置は、
第１のステレオカメラで撮影した第１の画像と、第２のステレオカメラで撮影した第２の画像とを取得する取得部と、
第１の画像内における第１の監視面と、該第１の監視面と同じ空間座標に、第２の画像内における第２の監視面と、を設定する監視面設定部と、
第１および第２の画像内における逆走方向または順方向を設定する方向設定部と、
第１または第２の監視面に接触したオブジェクトを注目オブジェクトとして設定し、該注目オブジェクトと、当該画像の前または後の少なくとも１つのフレームの注目オブジェクトとの空間座標を比較して、注目オブジェクトの移動方向を求める監視部と、
第１の画像の第1の監視面における注目オブジェクトと、第２の画像の第２の監視面における注目オブジェクトとをマージして、統合化注目オブジェクトを生成し、該統合化注目オブジェクトを仮想監視面に投影する投影部と、
統合化注目オブジェクトの仮想監視面における面積が、所定の閾値を越えるか否かを判定する判定部と、
注目オブジェクトの移動方向が、逆走方向である場合、または、順方向の逆である場合であって、かつ、統合化注目オブジェクトの監視面における面積が、所定の閾値を越える場合に、警報を発する警報部と、
を有する。
【００４０】
図に示すように、小型車両に監視面に触れた場合、ステレオカメラＣＭ１では、第１の画像の第1の監視面ＶＦ１における注目オブジェクトＡＯ１を認識する。同様に、監視面ＶＦ１と同じ平面の空間座標に設置された監視面ＶＦ２でも小型車両に監視面に触れたことを認識する。即ち、ステレオカメラＣＭ２では、第２の画像の第２の監視面ＶＦ２における注目オブジェクトＡＯ２を認識する。そして、投影部が、第１の画像の第1の監視面における注目オブジェクトと、第２の画像の第２の監視面における注目オブジェクトとをマージして、統合化注目オブジェクトを生成し、その統合化注目オブジェクトＩＡＯ１を仮想監視面ＭＶＦＩに投影する。この技法の利点は、２つのステレオカメラが、異なるアングルから同一平面の監視面を監視しているため、１つのステレオカメラが捉えられない物体の輪郭、物体全体などを、他の１つのステレオカメラで撮影することが可能であり、それぞれのカメラで捉えたオブジェクトをマージすることで、物体のほぼ完全な輪郭を認識することが可能となる。
【００４１】
図８は、ステレオカメラ２台を用いた統合化オブジェクトを生成する技法をさらに詳細に説明する模式図である。図に示すように、監視面ＶＦ１では、物体の上辺ＳＤＴ１、右辺ＳＤＲ１のみを認識することが可能である。他方、監視面ＶＦ２では、物体の上辺ＳＤＴ２、右辺ＳＤＬ１のみを認識することが可能である。そして、本装置は、これら各辺をマージして、統合化注目オブジェクトを生成し、その統合化注目オブジェクトＩＡＯ２を仮想監視面ＭＶＦＩに投影する。この技法によって、監視面に接触を開始したときから、途中の接触面の大きさを正確に把握することが可能となり、監視面に接触する物体を推定することが可能となる。即ち、監視面を通過中のオブジェクトは、監視カメラから近い２辺（上の辺と、横の片側の面）しか、認識できない。そこで、本技法のように、２つの別方向からのカメラの監視面画像をマージすることで、監視面通過中のオブジェクトの監視面における正確な断面を推定・把握できる、
【００４２】
図９は、監視面を通過するオブジェクトの各断面からオブジェクトをモデリングする技法を説明する模式図である。これは、本装置に、注目オブジェクトが、監視面に接触または／および通過するフレーム毎に、当該オブジェクトの監視面における輪切り状の形状を収集し、これら当該オブジェクトから3次元の注目オブジェクトを生成する3次元オブジェクト生成部を設けることで実現できる。図に示すように、本装置は、シーンＳＮ１では、監視面ＶＦ１に車両ＶＨ１のノーズ（先端部分）が接触していることを認識する。このシーンＳＮ１は、仮想監視面ＶＦＩ１に注目オブジェクトＡＯ１が投影される形式に変換される。同様に、本装置は、シーンＳＮ２では、監視面ＶＦ１に車両ＶＨ１のボディ（中間部分）が接触していることを認識する。このシーンＳＮ２は、仮想監視面ＶＦＩ２に注目オブジェクトＡＯ２が投影される形式に変換される。そして、本装置は、シーンＳＮ３では、監視面ＶＦ１に車両ＶＨ１のテール（後端部分）が接触していることを認識する。このシーンＳＮ３は、仮想監視面ＶＦＩ３に注目オブジェクトＡＯ３が投影される形式に変換される。作図と説明の便宜上、中間のシーンが１つだけであるが、これは、例えば、６０フレーム／秒で撮影した場合は、車両の速度にもよるが、１つの車両が監視面を通過するシーンは１０数個に及び、車両の断面(即ち、注目オブジェクト)は、１０数個投影される。最終的には、これら注目オブジェクトＡＯ１−３と、推定した車両速度（例えば、フレーム間の時間と、フレーム間における注目オブジェクトの移動距離に基づき速度を求める）に基づき、モデリングオブジェクトＭＤＯを生成する。このモデリングオブジェクトＭＤＯは、記憶部に格納済みの車種データベースと比較・参照して、車種が特定される。この場合は、小型車両でＡ社のモデルｘｘ１と推定される。１秒あたりのフレーム数を多くすればするほど、より精度が高いモデリングオブジェクトを生成できる。また、この例では、１つのステレオカメラで撮影したものであるが、もちろん２つのステレオカメラで撮影したものでも、本技法を適用させることが可能である。
【００４３】
図１０は、本装置により監視面に接触したモノを分類する技法を説明する模式図である。図に示すように、処理ＩＳＴ０１では、監視面におけるモノの接触面積を求める。次に、処理ＩＳＴ０２では、監視面でのオブジェクトの面積(またはモデリングオブジェクト)を求める、または、面積から、オブジェクトの大きさを推定する。次に、処理ＩＳＴ０３ではオブジェクトの大きさ（または面積や体積）と、基準とを比
較する。基準とは、記憶部に格納された数値であり、第１基準、第２基準、第３基準とがあり、以下のように設定されている。
第１基準未満：ゴミ、落下物、鳥、小動物など
第１基準以上、第２基準未満：バイク、自転車
第２基準以上、第３基準未満：小型車両{乗用車など}
第３基準以上：大型車両（トラック、バスなど）
なお、各基準の数値は、面積でも、体積でもよい。
【００４４】
この例では、第１基準未満のもの（図示するように「ゴミ」など）は、処理ＩＳＴ０４に進み、警報は発しない。第１基準以上、第２基準未満のもの（図示するように「バイク」など）は、処理ＩＳＴ０５に進み、バイクとして警報を出す。第２基準以上、第３基準未満のもの（図示するように小型車両など）は、処理ＩＳＴ０６に進み、小型車両（乗用車など）として発報する。そして、第３基準以上のもの（大型車両など）は、処理ＩＳＴ０７に進み、大型車両（トラック、バスなど）として発報する。このように、本装置は、逆走したモノを大まかな車種別に分類することが可能である。
【００４５】
図１１は、本装置をカーカウンター（車種別車両数計測装置）として実現させた実施態様の模式図である。これは、以下のような装置構成で実現できる。
【００４６】
監視支援装置は、
第１の地点における第１のステレオカメラで撮影した第１の画像と、第２の地点における第２のステレオカメラで撮影した第２の画像とを取得する取得部と、
第１の画像内における第１の監視面と、第２の画像内における第２の監視面と、を設定する監視面設定部と、
第１または第２の監視面に接触したオブジェクトを注目オブジェクトとして設定し、該注目オブジェクトと、当該画像の前または後の少なくとも１つのフレームの注目オブジェクトとの空間座標を比較して、注目オブジェクトの移動方向を求める監視部と、
注目オブジェクトの移動方向が、第１の地点と、第２の地点との間に入る方向である場合に、当該注目オブジェクトの数を１加算し、注目オブジェクトの移動方向が、第１の地点と、第２の地点との間から出る方向である場合に、当該注目オブジェクトの数を１減算して、第１の地点と第2の地点間の注目オブジェクト数を計測する計測部と、
を有する。
【００４７】
図に示すように、高速道路のパーキングエリアＰＡの進入経路にステレオカメラＣＭ１を設置し、そこに監視面ＶＦ１を設定し、ＰＡに入る方向の車両をカウントする（数値をＣＴ１とする）。同様に、パーキングエリアＰＡの退出経路にステレオカメラＣＭ２を設置し、そこに監視面ＶＦ２を設定し、ＰＡから出る方向の車両をカウントする（数値をＣＴ２とする）。そして、以下の式でＰＡに滞留している車両数を計測する。
ＰＡに滞留している車両数＝ＣＴ１−ＣＴ２
本装置は、車両の大きさ別、即ち、車種別の計測も可能であるため、車種別に滞留数を計測することが可能である。この場合には、車種別の滞留数から、ＰＡの車種別の駐車スペースの使用率を推定することが可能であり、この情報をＰＡ以前の本線の掲示板に表示することが可能である。これによって、せっかく寄ったＰＡに、自分の運転する車種の駐車スペースがないといった状況を防止することが可能となる。また、これは、駅のロータリでも、この技法は適用可能である。
【００４８】
この例では、車両ＶＨ２、ＶＨ３、ＶＨ４が、監視面ＶＦ１を通過して進入している。
ＣＴＴ１＝３
そして、ＶＨ４が、監視面ＶＦ２を通過してＰＡから外に出ている。
ＣＴ２＝１
よって、ＰＡ滞留車両数＝ＣＴ１−ＣＴ２
＝３−１
＝２台
となる。
【００４９】
図に示すように、カーカウンターＣＣＮＴ１に、車種別の「現在の車両数」、「本日の累計車両数」などを記録して、表示部に表示したり、記憶部に格納したりすることが可能である。
【００５０】
図１２は、本装置をカーカウンター（車種別車両数計測装置）として実現させた他の実施態様の模式図である。装置構成は、とくに言及しない限り、図１１の説明でしたものとほぼ同様である。追加の装置は、ロータリＲＯＴを俯瞰できる俯瞰カメラＢＣＭである。これについては、図１３を参照して後で説明する。図１２でも、カーカウンターＣＣＮＴ２に、車種別の「現在の車両数」、「本日の累計車両数」などを記録して、表示部に表示したり、記憶部に格納したりすることが可能である。
【００５１】
図１３は、車両がロータリに進入してからの車両の軌跡ＰＷ１−ＰＷ４までをトラッキングした様子を示す模式図である。俯瞰カメラＢＣＭは、ロータリに進入してきた車両を、進入から退出まで、1台ずつ、トラッキングするためのものである。図１３に示すように、車両ＶＨ３−１は、軌跡ＰＷ１を通って、位置ＰＴ１に移動する。そして、車両ＶＨ３−１は、位置ＰＴ１から軌跡ＰＷ２を通って、位置ＰＴ２に移動している様子を記録できる。そして、車両ＶＨ３−１は、位置ＰＴ２から軌跡ＰＷ３を通って、位置ＰＴ３に移動し、さらに、軌跡ＰＷ４を通って、位置ＰＴ４を経て、ロータリから退出している。このように、本装置は、リアルタイムまたは事後に、各車両のロータリ滞留時の移動や駐車の様子を記録し、分析することが可能である。なお、本実施態様では、１つの車両をトラッキングしたが、複数の車両や、種類の異なる車両（例えば、バイクとトラックなど）を同時にトラッキングすることも可能である。図に示すように、カーカウンターＣＣＮＴ３に、車種別の「現在の車両数」、「本日の累計車両数」などを記録して、表示部に表示したり、記憶部に格納したりすることが可能である。さらに、車種別の「現在の平均滞留時間」、「本日の平均滞留時間」などを記録して、表示部に表示したり、記憶部に格納したりすることが可能である。
【００５２】
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各部、各ステップなどに含まれる処理や機能などは論理的に矛盾しないように再配置可能であり、複数の手段／部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。或いは、本発明による装置、方法、プログラムなどの一部の構成要素、機能、処理、ステップなどを遠隔地のサーバなどに配置することも可能であることに注意されたい。
【符号の説明】
【００５３】
ＡＣＱ…取得部
ＡＯ１…注目オブジェクト
ＡＯ２…注目オブジェクト
ＡＯ３…注目オブジェクト
ＣＩ…車両情報
ＣＭ１…ステレオカメラ
ＣＭ２…ステレオカメラ
ＣＯＭ…通信部
ＣＯＮ…制御部
ＤＩＲ…逆走方向
ＤＩＳ…表示部
ＤＳ…方向設定部
ＥＢ１…電子掲示板
ＧＥＮ…次元オブジェクト生成部
ＩＡＯ１…統合化注目オブジェクト
ＩＡＯ２…統合化注目オブジェクト
ＩＮ…入力部
ＩＳＴ０１…処理
ＩＳＴ０２…処理
ＩＳＴ０３…処理
ＩＳＴ０４…処理
ＩＳＴ０５…処理
ＩＳＴ０６…処理
ＩＳＴ０７…処理
ＫＢＤ…キーボード
ＭＡＤ１…監視支援装置
ＭＣ１…ステレオカメラ
ＭＤＯ…モデリングオブジェクト
ＭＯＮ…監視部
ＭＰＳ…監視面設定部
ＭＵＳ…マウス
ＭＶＦＩ…仮想監視面
ＮＥＴ…ネットワーク
ＯＵＴ…出力部
ＰＡ…パーキングエリア
ＰＤＡ１…携帯端末
ＰＲＮ…プリンタ
ＲＤ…道路
Ｓ１１…ステップ
Ｓ１２…ステップ
Ｓ１３…ステップ
Ｓ１４…ステップ
Ｓ１５…ステップ
Ｓ１６…ステップ
Ｓ２１…ステップ
Ｓ２２…ステップ
Ｓ２３…ステップ
Ｓ２４…ステップ
Ｓ２５…ステップ
Ｓ２６…ステップ
ＳＤＬ１…右辺
ＳＤＲ１…右辺
ＳＤＴ１…上辺
ＳＤＴ２…上辺
ＳＮ１…シーン
ＳＮ２…シーン
ＳＮ３…シーン
ＳＴＤ…基準情報
ＳＴＲ…記憶部
ＶＦ…監視面
ＶＦ１…監視面
ＶＦ２…監視面
ＶＦＩ１…仮想監視面
ＶＦＩ２…仮想監視面
ＶＦＩ３…仮想監視面
ＶＨ…車両
ＶＨ１…車両
ＶＨ２…車両
ＷＡＮ…警報部
【図１】
2020017240.tif 000003
【図２】
2020017240.tif 000004
【図３】
2020017240.tif 000005
【図４】
2020017240.tif 000006
【図５】
2020017240.tif 000007
【図６】
2020017240.tif 000008
【図７】
2020017240.tif 000009
【図８】
2020017240.tif 000010
【図９】
2020017240.tif 000011
【図１０】
2020017240.tif 000012
【図１１】
2020017240.tif 000013
【図１２】
2020017240.tif 000014
【図１３】
2020017240.tif 000015