(57)【要約】【課題】道路施設の監視を効率的に行うことを課題とする。【解決手段】料金所Ｔに備えられている複数のカメラ４と、複数のカメラ４それぞれで撮影されたカメラ映像から俯瞰映像を生成する俯瞰映像生成部１２と、俯瞰映像生成部１２で生成された俯瞰映像を合成することで合成俯瞰映像を生成する合成俯瞰映像生成部１３と、複数のカメラ４で撮像されたカメラ映像から物体の異常状態を検出する異常検出処理部２２と異常状態が検出された物体を合成俯瞰映像中に強調表示する映像処理部３３と、を有することを特徴とする。【選択図】図１
2019008474.tif 000002
【特許請求の範囲】
【請求項１】
道路施設に備えられている複数の撮像部と、
前記複数の撮像部それぞれで撮像された撮像映像から俯瞰映像を生成する俯瞰映像生成部と、
前記俯瞰映像生成部で生成された前記俯瞰映像を合成することで合成俯瞰映像を生成する合成俯瞰映像生成部と、
前記複数の撮像部で撮像された前記撮像映像から物体の異常状態を検出する異常検出処理部と
前記異常状態が検出された前記物体を前記合成俯瞰映像中に強調表示する映像処理部と、
を有することを特徴とする監視支援システム。
【請求項２】
前記異常状態を検出された前記物体が、前記俯瞰映像を生成するための境界部に存在する場合、前記境界部を移動する境界調整部
を有することを特徴とする請求項１に記載の監視支援システム。
【請求項３】
前記境界調整部は、
前記境界部に存在している前記物体の面積・サイズを、前記物体が存在する、それぞれの前記撮像映像において算出し、所定の撮像映像において、前記物体の全体が写るよう、境界部を移動する
ことを特徴とする請求項２に記載の監視支援システム。
【請求項４】
センサ部を有し、
前記映像処理部は、前記センサ部で検出された異常状態を前記合成俯瞰映像に表示する
ことを特徴とする請求項１に記載の監視支援システム。
【請求項５】
前記道路施設は料金所である
ことを特徴とする請求項１から請求項４のいずれか一項に記載の監視支援システム。
【請求項６】
複数の前記道路施設で撮影された撮像映像を基に、前記映像処理部で生成された映像を、前記道路施設毎に表示する表示部
を有することを特徴とする請求項１から請求項５のいずれか一項に記載の監視支援システム。
【請求項７】
道路施設に備えられている複数の撮像部を有する監視支援システムが、
前記複数の撮像部それぞれで撮像された撮像映像から俯瞰映像を生成し、
生成された前記俯瞰映像を合成することで合成俯瞰映像を生成し、
前記複数の撮像部で撮像された前記撮像映像から物体の異常状態を検出し、
前記異常状態が検出された前記物体を前記合成俯瞰映像中に強調表示する
ことを特徴とする監視支援方法。
【請求項８】
前記監視支援システムが、
前記異常状態を検出された前記物体が、前記俯瞰映像を生成するための境界部に存在する場合、前記境界部を移動する
ことを特徴とする請求項７に記載の監視支援方法。
【請求項９】
前記監視支援システムが、
前記境界部に存在している前記物体の面積・サイズを、前記物体が存在する、それぞれの前記撮像映像において算出し、所定の撮像映像において、前記物体の全体が写るよう、境界部を移動する
ことを特徴とする請求項８に記載の監視支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路施設の監視を支援する監視支援システム及び監視支援方法の技術に関する。
【背景技術】
【０００２】
近年、ネットワーク技術の発展により、様々な分野において運用・維持管理の効率化が進んでいる。例えば道路分野では、料金収受システムとして、既にＥＴＣ(Electronic Toll Collection)システムが広く普及しており、アイランド内部のブース内に収受員を配置する必要がない。このような収受員が存在しない料金所では、遠隔監視が行われる。
【０００３】
特許文献１には、「有料道路（１）の第１料金所１０の第１車線（１１ａ）を監視し、監視画像の実時間データである監視画像実時間データを出力する複数の監視カメラ（５０１〜５０６）と、前記第１車線に設置されている第１料金自動収受装置（３）と、前記第１料金自動収受装置及び前記複数の監視カメラと接続されており、前記第１料金所に設置されている第１監視サーバ（６）と、前記第１監視サーバとネットワーク（９９９）を介して接続されている遠隔監視装置（７）とを具備している。前記遠隔監視装置は、前記第１料金自動収受装置に障害が発生しているか否かを表示する第１表示部（７４）と、第１操作部（７５）とを備えている」有料道路料金所の遠隔監視システムが開示されている（要約参照）。
【０００４】
特許文献２には、「車両周囲の画像を複数の車載カメラ１１，１２，１３，１４で各々撮影し、これら複数の車載カメラ１１，１２，１３，１４により撮影された複数の撮影画像をそれぞれ俯瞰画像に変換すると共に繋ぎ合わせることで、１つの連続した俯瞰表示画像として表示装置４０に表示するにあたり、第１乃至第４のソナー２１，２２，２３，２４によって俯瞰表示画像の繋ぎ目部分に対応する領域に障害物が存在することが検知された場合には、俯瞰表示画像の繋ぎ目部分となる位置を変化させるようにした」俯瞰画像表示システム及び俯瞰画像の表示方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１１４８２９号公報
【特許文献２】特開２００７−４１７９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、更なる効率化を目的に、特許文献１に記載されている技術を実施しようとすると、以下の課題が生じる。すなわち、特許文献１に記載されている技術では、車両が通行している部分を撮影しているレーン監視カメラだけでは撮影範囲が狭いため、別途、料金所周囲の広域を撮影するためのカメラを数多く設置する必要がある。複数台のカメラ映像を配信する管制システムでは、システムのネットワーク回線の制限から、これらのカメラ映像を単純に縮小し、さらに、縮小した複数の映像で画面を複数分割した映像を用いて、監視が行われる。その場合、監視員が監視する映像は、料金所の各部が表示されているにすぎない。すなわち、各画面が、料金所のどこを映しているものなのかを監視員が把握しにくい。
【０００７】
そのため、遠隔の管制室に配置された監視員は、配信された映像内で異常が発生し、その異常発生箇所の詳細位置を特定する場合、各料金所のカメラ配置図を予め記憶しておかなければならない。また、複数の料金所を監視する場合、一方的に配信されてくるカメラ映像を、常に注視しておく必要があり、監視員の管理業務の負担増加が課題となる。
【０００８】
特許文献２の課題については実施形態中に記載する。
【０００９】
このような背景に鑑みて本発明がなされたのであり、本発明は、道路施設の監視を効率的に行うことを課題とする。
【課題を解決するための手段】
【００１０】
前記した課題を解決するため、本発明は、道路施設に備えられている複数の撮像部と、前記複数の撮像部それぞれで撮像された撮像映像から俯瞰映像を生成する俯瞰映像生成部と、前記俯瞰映像生成部で生成された前記俯瞰映像を合成することで合成俯瞰映像を生成する合成俯瞰映像生成部と、前記複数の撮像部で撮像された前記撮像映像から物体の異常状態を検出する異常検出処理部と前記異常状態が検出された前記物体を前記合成俯瞰映像中に強調表示する映像処理部と、を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、道路施設の監視を効率的に行うことができる。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態で用いられる監視支援システムの全体構成例を示す図である。
【図２】第１実施形態で用いられるコンピュータの構成を示す図である。
【図３】第１実施形態で用いられる料金所におけるカメラの配置例を示した図である。
【図４】第１実施形態で用いられる監視支援システムの映像サーバが生成する表示用映像の例を示した図である。
【図５】第１実施形態で用いられる監視支援システムの管制室において、監視員が確認する画面例を示す図である。
【図６】第１実施形態で用いられる俯瞰映像処理装置における処理手順を示すフローチャートである。
【図７】第１実施形態で用いられる異常検出サーバにおける処理手順を示すフローチャートである。
【図８】第１実施形態で用いられる映像サーバにおける処理手順を示すフローチャートである。
【図９】第２実施形態で用いられる監視支援システムの全体構成例を示す図である。
【図１０】第２実施形態で用いられる合成俯瞰映像の例を示す図（その１）である。
【図１１】境界の移動を説明するための図（その１）である。
【図１２】境界の移動を説明するための図（その２）である。
【図１３】第２実施形態で用いられる合成俯瞰映像の例を示す図（その２）である。
【図１４】第２実施形態で用いられる俯瞰映像処理装置の処理手順を示すフローチャートである。
【図１５】第２実施形態で用いられる異常検出サーバの処理手順を示すフローチャートである。
【図１６】第３実施形態で用いられる監視支援システムの全体構成例を示す構成図である。
【図１７】第３実施形態で用いられる異常検出サーバの処理手順を示すフローチャートである。
【図１８】第３実施形態で用いられる映像サーバの処理手順を支援すフローチャートである。
【図１９】第５実施形態で用いられる監視支援システムにおける表示用映像を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態（以下においては「実施形態」と表記する）を、図面を参照して説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、重複する説明は、適宜、省略する。
【００１４】
≪第１実施形態≫
［監視支援システムＺ］
図１は、第１実施形態で用いられる監視支援システムＺの全体構成例を示す図である。
図１に示す例では、複数（図１の例では３つ）の料金所Ｔ（Ｔ１〜Ｔ３）を管制室Ｃで監視する形式を示している。
図１の例では、管制室Ｃが１つで、料金所Ｔが３つである場合を例示している。しかしながら、１つの管制室Ｃ、及び、３つ料金所Ｔには格別な意味はなく、管制室Ｃの数、及び、料金所Ｔの数は、図１の例に限らない。すなわち、管制室Ｃの数、及び、料金所Ｔの数は、それぞれ他の数となっても監視支援システムＺの機能の観点は基本的に同一である。
【００１５】
料金所Ｔには、複数台のカメラ（撮像部）４と、俯瞰映像処理装置１と、異常検出サーバ２と、映像サーバ３とが設置されている。
【００１６】
複数台のカメラ４は、料金所Ｔにおいて必要な監視エリアに対して死角がなく、可能な限り各カメラ４の撮影範囲がオーバーラップするような配置で設置される。
【００１７】
各カメラ４で撮影されたカメラ映像（撮像映像）は、俯瞰映像処理装置１に入力される。俯瞰映像処理装置１は、各カメラ４から入力されたカメラ映像を基に、俯瞰映像を生成する。なお、生成される俯瞰映像は、料金所Ｔの真上から見たような俯瞰映像に限定するものでなく、料金所Ｔの全体が一目でわかるようにすればよく、例えば、斜めから見たような鳥瞰映像でもよい。なお、俯瞰映像の生成は、射影変換等、公知の手法によって行われる。
【００１８】
さらに、俯瞰映像処理装置１は、各カメラ映像から生成された俯瞰映像を合成し、１つの合成俯瞰映像とする。
【００１９】
また、カメラ４で撮影されたカメラ映像は、異常検出サーバ２に入力される。異常検出サーバ２は、画像認識技術を用いることで、入力された各カメラ映像から、移動物体や、異常状況の検出を行う。さらに、異常検出サーバ２は、検出された異常物体のカメラ映像内の位置を算出する処理を行う。異常検出される物体や事象は、例えば、料金所Ｔを通過前後の道路で停止している車両、道路上の落下物、車線上へ出入りしている人物、車線を逆走する車両等である。異常検出の具体的な手法については、検出する物体や事象によって最適な手法が用いられる。異常検出の手法として、背景差分法や、特徴量抽出によるパターンマッチング等様々な公知手法が用いられる。
【００２０】
映像サーバ３は、異常検出サーバ２から送信された異常検出結果、及び、異常物体の位置情報等を基に、異常発生位置を強調する枠線等を俯瞰映像処理装置１から送信された合成俯瞰映像に重畳する。これにより、映像サーバ３は、強調表示した表示用映像を生成する。さらに、映像サーバ３は、ネットワーク５を介して、管制サーバ６への表示用映像の送信処理を行う。
【００２１】
各料金所Ｔの映像サーバ３は、ネットワーク５を介して管制室Ｃの管制サーバ６に接続されている。
管制サーバ６は、各料金所Ｔの映像サーバ３から送信された表示用映像を管制室６に設置されているモニタ（表示部）６１に表示する。図１の例では、各料金所Ｔに対応するようモニタ６１が設置されている。
【００２２】
次に、俯瞰映像処理装置１、異常検出サーバ２、映像サーバ３の詳細について説明する。
【００２３】
（俯瞰映像処理装置１）
俯瞰映像処理装置１は、情報受信部１１、俯瞰映像生成部１２、合成俯瞰映像生成部１３、情報送信部１４を有している。
情報受信部１１は、他の機器（カメラ４等）から情報（カメラ映像等）を受信する。
俯瞰映像生成部１２は、受信した各カメラ映像から俯瞰映像を生成する。
合成俯瞰映像生成部１３は、俯瞰映像生成部１２で生成された各俯瞰映像を接続することで、１つの合成俯瞰映像を生成する。
情報送信部１４は、他の機器（映像サーバ３等）へ情報（合成俯瞰映像等）を送信する。
【００２４】
（異常検出サーバ２）
異常検出サーバ２は、情報受信部２１、異常検出処理部２２、情報送信部２３を有している。
情報受信部２１は、他の機器（カメラ４等）から情報（カメラ映像等）を受信する。
異常検出処理部２２は、前記した画像認識処理を用いて、各カメラ映像から異常を検出し、さらに異常物体の位置情報等を含む異常情報をカメラ映像から抽出する。
情報送信部２３は、他の機器（映像サーバ３等）へ情報（異常情報等）を送信する。
【００２５】
（映像サーバ３）
映像サーバ３は、情報受信部３１、判定処理部３２、映像処理部３３、情報送信部３４を有している。
情報受信部３１は、他の機器（俯瞰映像処理装置１、異常検出サーバ２等）から情報（合成俯瞰映像、異常情報等）を受信する。
判定処理部３２は、各種判定を行う。
映像処理部３３は、異常情報を基に、合成俯瞰映像上に異常物体を強調表示した表示用映像を生成する。
情報送信部３４は、他の機器（管制サーバ６等）へ情報（表示用映像等）を送信する。
【００２６】
［ハードウェア構成］
図２は、第１実施形態で用いられるコンピュータ１００の構成を示す図である。
コンピュータ１００は、図１の俯瞰映像処理装置１、異常検出サーバ２、映像サーバ３に相当する。
コンピュータ１００は、メモリ１０１、ＣＰＵ（Central Processing Unit）１０２、ＨＤ（Hard Disk）等の記憶装置１０３、通信装置１０４等を有している。
通信装置１０４は、他の機器との通信を行う装置である。
図１の俯瞰映像処理装置１、異常検出サーバ２、映像サーバ３における各部１１〜１４，２１〜２３，３１〜３４は、各装置１〜３において、記憶装置１０３に格納されているプログラムが、メモリ１０１にロードされ、ロードされたプログラムがＣＰＵ１０２によって実行されることにより具現化する。
なお、第２実施形態、第３実施形態における俯瞰映像処理装置１、異常検出サーバ２、映像サーバ３も同様である。
【００２７】
（カメラ配置）
図３は、第１実施形態で用いられる料金所Ｔにおけるカメラ４の配置例を示した図である。
図３では、２つの入口レーン、２つの出口レーンの計４レーンを有する料金所Ｔの例を示す。図３に示すように、照明柱ＰＡ〜ＰＤ（Ｐ）に、カメラ４Ａ〜４Ｄ（４）が４台設置されている。また、屋根下に、カメラ４Ｅ〜４Ｈ（４）が４台設置されている。すなわち、図３の例では、合計８台のカメラ４が設置されている。図３では、照明柱Ｐ、及び、料金所Ｔの屋根下へカメラ４を設置する構成を示しているが、設置場所は、これらに限らない。例えば、カメラ４の専用柱が設置されてもよいし、料金所Ｔの屋根上にカメラ４が設置されてもよい。
【００２８】
（表示用映像例）
図４は、第１実施形態で用いられる監視支援システムＺの映像サーバ３が生成する表示用映像２０１の例を示した図である。
表示用映像２０１は、図３に示す料金所Ｔの映像である。
図４には、図３の配置例で配置された８台のカメラ４Ａ〜４Ｈ（４）のカメラ映像から生成された表示用映像２０１の例が示されている。ここで、表示用映像２０１は、８つの俯瞰映像２００Ａ〜２００Ｈ（２００）が接続されることによって生成される合成俯瞰映像２５１に異常物体を強調表示するための破線の枠線Ｍが表示されているものである。俯瞰映像２００Ａ〜２００Ｈのそれぞれは、図３における各カメラ４Ａ〜４Ｈで撮影されたカメラ映像を基に生成されるものである。
【００２９】
ここで、合成俯瞰映像２５１は枠線Ｍが表示されていないものである。そして、表示用映像２０１は合成俯瞰映像２５１に枠線Ｍが表示されているものである。すなわち、合成俯瞰映像２５１と、表示用映像２０１の違いは枠線Ｍの有無である。
【００３０】
枠線Ｍは、異常検出サーバ２内の異常検出処理部２２（図１参照）において検出した異常状態が発生している箇所を示す。図４に示す表示用映像２０１の例では、料金所Ｔの出口通過後の停止禁止区域において停止している車両が異常として検出されている例を示している。
【００３１】
（管制室Ｃにおける映像）
図５は、第１実施形態で用いられる監視支援システムＺの管制室Ｃにおいて、監視員が確認する画面例を示す図である。
ここでは、３つの料金所Ｔ１〜Ｔ３（図１参照）が管制室Ｃ（図１参照）において監視されている例を示す。
管制室Ｃには３つのモニタ６１ａ〜６１ｃ（６１）が設置されている。各々のモニタ６１ａ〜６１ｃには、各料金所Ｔ１〜Ｔ３の表示用映像２０１ａ〜２０１ｃ（２０１）が表示されている。表示用映像２０１ａ〜２０１ｃは、それぞれ料金所Ｔ１〜Ｔ３の表示用映像２０１に相当する。
【００３２】
例えば、料金所Ｔ１において、ある異常が検出された場合、モニタ６１ａに表示されている表示用映像２０１ａに、異常発生場所を強調する枠線Ｍが出現する。この枠線Ｍが出現することにより、監視員は瞬時に料金所Ｔ１で異常が発生したことを認識できる。
【００３３】
また、各表示用映像２０１ａ〜２０１ｃは、各料金所Ｔにおける監視範囲の俯瞰映像であるため、監視員は異常発生のみならず、どの料金所Ｔのどこで異常が発生しているかも迅速、かつ、容易に把握することが可能となる。
このように、第１実施形態によれば、監視員は、料金所Ｔにおける異常発生、及び、発生位置を、迅速、かつ、容易に把握することができる。従って、第１実施形態によれば、料金所Ｔにおける異常発生後の必要な作業への移行時間短縮等、監視業務の負荷軽減及び、効率化が可能となる。
【００３４】
なお、図５に示す例では、管制室Ｃに料金所Ｔの数のモニタ６１（６１ａ〜６１ｃ）が設置されている構成となっているが、モニタ６１の数は限定されるものではない。例えば、１台のモニタ６１に複数の料金所Ｔに相当する表示用映像２０１が分割して表示されてもよいし、１台のモニタ６１において、各料金所Ｔの表示用映像２０１が時分割表示されてもよい。時分割表示とは、各料金所Ｔの表示用映像２０１が代わる代わる表示されることである。
【００３５】
［フローチャート］
以下、俯瞰映像処理装置１、異常検出サーバ２、映像サーバ３で行われる処理を説明する。各フローチャートの説明では、図１を適宜参照する。
（俯瞰映像処理装置１）
図６は、第１実施形態で用いられる俯瞰映像処理装置１における処理手順を示すフローチャートである。
まず、情報受信部１１が各カメラ４からカメラ映像を取得する（Ｓ１０１）。
次に、俯瞰映像生成部１２は、各カメラ４から取得した各カメラ映像から、射影変換等といった公知の技術を用いて俯瞰映像を生成する（Ｓ１０２）。
そして、合成俯瞰映像生成部１３は、ステップＳ１０２で生成された各俯瞰映像を合成して、１つの合成俯瞰映像を生成する（Ｓ１０３）。
その後、情報送信部１４は、生成した合成俯瞰映像を映像サーバ３へ送信する（Ｓ１０４）。
その後、俯瞰映像処理装置１はステップＳ１０１へ処理を戻す。
【００３６】
（異常検出サーバ２）
図７は、第１実施形態で用いられる異常検出サーバ２における処理手順を示すフローチャートである。
まず、情報受信部２１は、各カメラ４からカメラ映像を取得する（Ｓ２０１）。
そして、異常検出処理部２２は、カメラ映像中に異常を検出したか否かを判定する（Ｓ２０２）。異常とは、カメラ映像のフレーム間差分を基に所定範囲外の速度で走っている物体があるか否か、逆方向に走行している物体があるか否か、大きさが所定の大きさより小さい移動物体（人等）があるか否かである。
【００３７】
ステップＳ２０２の結果、異常を検出しない場合（Ｓ２０２→Ｎｏ）、異常検出サーバ２はステップＳ２０１へ処理を戻す。
ステップＳ２０２の結果、異常を検出した場合（Ｓ２０２→Ｙｅｓ）、異常検出処理部２２は異常を検出したカメラ映像から異常情報を抽出する（Ｓ２０３）。異常情報とは、異常を検出したカメラ４のカメラ番号、異常を検出した映像範囲の座標情報等である。
その後、情報送信部２３は抽出した異常情報を映像サーバ３へ送信し（Ｓ２０４）、異常検出サーバ２はステップＳ２０１へ処理を戻す。
【００３８】
（映像サーバ３）
図８は、第１実施形態で用いられる映像サーバ３における処理手順を示すフローチャートである。
まず、映像サーバ３の情報受信部３１が、俯瞰映像処理装置１から合成俯瞰映像を受信する（Ｓ３０１）。
そして、判定処理部３２は、異常検出サーバ２から異常情報を受信したか否かを判定する（Ｓ３０２）。
ステップＳ３０２の結果、異常情報を受信した場合（Ｓ３０２→Ｙｅｓ)、映像処理部３３は、異常を検出された物体（異常物体）の合成俯瞰映像上の位置を算出する（Ｓ３０３）。すなわち、映像処理部３３は、異常情報に含まれるカメラ番号や、異常検出した映像範囲の座標情報を基に、異常を検出された物体が合成俯瞰映像のどこに相当するか（合成俯瞰映像上の位置）を算出する。
そして、映像処理部３３は、ステップＳ３０３で算出した映像範囲を強調表示した表示用映像を生成する（Ｓ３０４）。
【００３９】
一方、ステップＳ３０２の結果、異常情報を受信していない場合（Ｓ３０２→Ｎｏ）、映像処理部３３は合成俯瞰映像をそのまま表示用映像とすることで表示用映像を生成する（Ｓ３０５）。
そして、情報送信部３４が表示用映像を管制サーバ６へ送信し、映像サーバ３はステップＳ３０１へ処理を戻す。
【００４０】
管制サーバ６は、モニタ６１に送信された表示用映像を表示する。
【００４１】
これまでの監視支援システムは、カメラ映像が単に表示されているだけであるため、写っている映像が料金所Ｔのどの部分なのかを把握することが難しい。このため、異常発生が料金所Ｔのどこで発生しているのかを、監視員が特定することが困難である。
第１実施形態の監視支援システムＺでは、図６に示すように、料金所Ｔのすべてを上方から俯瞰した映像で監視を行うことができるため、異常発生が料金所Ｔのどこで発生しているのかを容易に把握することができる。
【００４２】
また、合成俯瞰映像に異常発生物体を枠線Ｍ（図４参照）等の強調表示することにより、異常発生が料金所Ｔのどこで発生しているのかを容易に把握することができる。
このようにすることで、料金所Ｔ（道路施設）の監視を効率的に行うことができる。
すなわち、第１実施形態の監視支援システムＺによれば、監視員が、料金所Ｔにおける異常発生や、異常の発生位置が、正確、かつ、容易に把握できる。従って、第１実施形態の監視支援システムＺを用いることによって、その後の必要な作業への移行時間短縮等、監視業務の負荷軽減、効率化が可能となる。
【００４３】
さらに、料金所Ｔに監視支援システムＺを適用することで、料金所Ｔにおける監視の効率性を向上させることができる。
【００４４】
≪第２実施形態≫
次に、本発明の第２実施形態として、図９に示すように、俯瞰映像処理装置１ａと、異常検出サーバ２ａとに、俯瞰映像内の各カメラ映像における表示範囲の境界（境界部）を調整する機能を追加した監視支援システムＺａについて説明する。
【００４５】
［監視支援システムＺａ］
図９は、第２実施形態で用いられる監視支援システムＺａの全体構成例を示す図である。なお、図９において、図１と同様の構成については同一の符号を付して説明を省略する。
第２実施形態に示す監視支援システムＺａの料金所Ｔａ（Ｔ１ａ〜Ｔ３ａ）では、異常物体が俯瞰映像における境界部分にある場合、異常検出サーバ２ａで抽出された異常情報が俯瞰映像処理装置１ａへ送信されている。
そして、俯瞰映像処理装置１ａは、入力された異常情報を基に俯瞰映像を生成する際の境界を移動させることで境界の調整を行う。境界の移動については後記する。
次に、第２実施形態における俯瞰映像処理装置１ａ及び異常検出サーバ２ａについて、図１に示す構成と異なる部分について説明する。映像サーバ３の構成は図１に示すものと同様である。
【００４６】
（俯瞰映像処理装置１ａ）
俯瞰映像処理装置１ａは、判定処理部１５及び境界調整部１６を有している点が、図１に示す俯瞰映像処理装置１と異なっている。
判定処理部１５は、各種の判定を行う。
境界調整部１６は、異常検出サーバ２ａから送信された異常情報を基に俯瞰映像を生成する際の境界を移動させることで境界の調整を行う。境界の移動については後記する。
【００４７】
（異常検出サーバ２ａ）
異常検出サーバ２ａは、判定処理部２４を有している点が、図１に示す異常検出サーバ２と異なっている。
判定処理部２４は、各種の判定を行う。
また、異常検出処理部２２は、検出した移動物体が俯瞰映像を生成する際の境界上にあるか否かを判定等する。
【００４８】
［合成俯瞰映像２５１の例］
図１０〜図１３を参照して、第２実施形態で用いられる合成俯瞰映像２５１について説明する。なお、図１０及び図１３において、図４と同様、俯瞰映像２００Ａ〜２００Ｈは、図３のカメラ４Ａ〜４Ｈで撮影されるカメラ映像を基に生成されるものである。
図１０で示す合成俯瞰映像２５１ａ（２５１）は、第２実施形態で用いられる処理が行われていない状態である。図１０では、俯瞰映像２００Ａと俯瞰映像２００Ｂの境界位置２０２において、車両２０３が異常停止している例を示している。この車両２０３は、センターライン上で停止しているため異常物体として検出されたものである。
【００４９】
第１実施形態に示す処理では、図１０の合成俯瞰映像２５１ａのように、境界位置２０２の物体の高さ方向情報が欠落するという欠点がある。このため、一見すると歪な形状の車両が停止しているように見える。車両２０３のように、歪な形状で物体が表示されると監視者が違和感を覚えてしまうため好ましくない。
なお、境界２０２ａについては後記する。
【００５０】
このことを、図１１及び図１２を参照して説明する。適宜、図１０を参照する。
図１１に示す映像Ｂ１は、図３のカメラ４Ｂによって撮影されたカメラ映像の模式例であり、図１２に示す映像Ｂ２は、図３のカメラ４Ａによって撮影されたカメラ映像の模式例である。なお、図１１及び図１２に示す映像Ｂ１，Ｂ２では、図を簡単にするため、車両の真横が写っているものとしているが、実際には車両を斜め上から写した映像となっている。
【００５１】
境界が移動されない場合（第１実施形態の手法）、俯瞰映像生成部１２は、境界Ｌ１１，Ｌ１２で映像Ｂ１及び映像Ｂ２をそれぞれ切った映像（ドットで示す部分）を合わせることで合成俯瞰映像２５１ａを生成する。そのため、合成俯瞰映像２５１ａでは、図１０の符号２０３のように車両（物体）の所定部分が切れた映像となってしまう。このため、図１０の車両２０３のように歪な形状で物体が表示されてしまう。
【００５２】
そこで、第２実施形態では、俯瞰映像生成部１２が、映像Ｂ２の境界Ｌ１２を境界Ｌ２２へ移動する。すなわち、俯瞰映像生成部１２は、異常物体の全体が入るよう境界Ｌ１２を境界Ｌ２２へ移動する。そして、この移動に伴い、俯瞰映像生成部１２は、映像Ｂ１の境界Ｌ１１を境界Ｌ２１へ移動する。そして、俯瞰映像生成部１２は、境界の移動に伴って生成される、図１１及び図１２における斜線部分の映像を基に俯瞰映像を生成し、さらに合成俯瞰映像２５１を生成する。このようにすることで、車両の映像が切れることなく、俯瞰映像２００を接続して合成俯瞰映像２５１を生成することができる。
【００５３】
このような境界が移動された俯瞰映像を用いて生成された合成俯瞰映像２５１ｂを図１３に示す。
図１３の合成俯瞰映像２５１ｂでは、俯瞰映像２００Ａ及び俯瞰映像２００Ｂの境界２０２が紙面上方向に移動している。境界の移動は、後記するように異常検出サーバ２から送信される異常情報を基に行われる。つまり、図１２の映像Ｂ２の境界Ｌ１２を境界Ｌ２２へ移動し、図１１の映像Ｂ１の境界Ｌ１１を境界Ｌ２１へ移動する処理と同様に、境界２０２を移動する。このようにすることで、図１１及び図１２に示すように、車両（物体）の映像が切れることなく俯瞰映像２００が接続される。
このようにすることで、符号２０３ａに示すように、物体（車両）の形状の歪みを低くして表示することができる。
なお、境界２０２は、紙面上方だけでなく、紙面下方に移動してもよい。あるいは、図１０の俯瞰映像２００Ｅ，２００Ｆと、俯瞰映像２００Ｃの境界２０２ａが図１０の紙面左右方向に移動することも可能である。
【００５４】
［フローチャート］
以下、俯瞰映像処理装置１ａ、異常検出サーバ２ａで行われる処理を説明する。各フローチャートの説明では、図９を適宜参照する。
（俯瞰映像処理装置１ａ）
図１４は、第２実施形態で用いられる俯瞰映像処理装置１ａの処理手順を示すフローチャートである。
なお、図１４において、図６と同様の処理については同一のステップ番号を付して説明を省略する。
【００５５】
ステップＳ１０１におけるカメラ映像の取得後、判定処理部１５は異常検出サーバ２ａから境界移動情報を受信したか否かを判定する（Ｓ１１１）。境界移動情報は、異常検出サーバ２ａは、カメラ映像の境界部分において異常を検出すると、抽出した異常情報を基に、カメラ映像における境界の移動方向・距離を境界移動情報として俯瞰映像処理装置１ａへ送信する。この処理については、図１５で後記する。
ステップＳ１１１の結果、境界移動情報を受信していない場合（Ｓ１１１→Ｎｏ）、俯瞰映像処理装置１ａはステップＳ１０２へ処理を進める。
【００５６】
ステップＳ１１１の結果、境界移動情報を受信している場合（Ｓ１１１→Ｙｅｓ）、俯瞰映像生成部１２は、境界移動情報に従って、境界移動対象のカメラ映像の境界を移動させる（Ｓ１１２）。
【００５７】
そして、俯瞰映像生成部１２は境界を移動させたカメラ映像を含む各カメラ映像から俯瞰映像を生成する（Ｓ１０２）。以降の処理は図６のステップＳ１０３，Ｓ１０４と同じである。
【００５８】
（異常検出サーバ２ａ）
図１５は、第２実施形態で用いられる異常検出サーバ２ａの処理手順を示すフローチャートである。
なお、図１５において、図７と同様の処理については同一のステップ番号を付して説明を省略する。
ステップＳ２０３で異常情報を抽出した後、異常検出処理部２２は異常を検出した映像範囲が、カメラ映像の境界上にあるか否かを判定する（Ｓ２１１）。なお、異常検出サーバ２ａは、カメラ映像のどこが境界となるかを俯瞰映像処理装置１と共有している。
ステップＳ２１１の結果、異常を検出した映像範囲が、境界にない場合（Ｓ２１１→Ｎｏ）、異常検出サーバ２ａは、ステップＳ２０３及びステップＳ２０４の処理を行う。
ステップＳ２１１の結果、異常を検出した映像範囲が、境界にある場合（Ｓ２１１→Ｙｅｓ）、異常検出処理部２２は、カメラ映像における異常範囲の面積（サイズ）を、異常を検出しているカメラ映像毎に算出する（Ｓ２１２）。
そして、異常検出処理部２２は、異常を検出しているカメラ映像のうち、どのカメラ映像における異常範囲が最も大きいかを特定する（Ｓ２１３）。ここで特定されるカメラ映像は、図１２の映像Ｂ２に相当するものである。
【００５９】
続いて、異常検出処理部２２は、ステップＳ２１３で特定したカメラ映像の情報と、ステップＳ２１２で算出した異常範囲の面積とを基に、境界移動方向・距離を算出する（Ｓ２１４）。すなわち、異常検出処理部２２は、どのカメラ映像において、境界をどの方向にどの程度移動させるかを判定する。境界の移動距離は、ステップＳ２１３で特定したカメラ映像において、異常を示す物体の全体が含まれるような距離である。従って、境界の移動距離は、異常物体の大きさに応じた距離となる。また、異常検出処理部２２は、異常を示す物体が写っているが、ステップＳ２１３で特定されたカメラ映像（図１２の映像Ｂ２）ではないカメラ映像（図１１の映像Ｂ１）についても、境界の移動方向・距離を算出する。
【００６０】
続いて、情報送信部２３が、境界移動情報を俯瞰映像処理装置１ａへ送信する（Ｓ２１５）。境界移動情報は、境界を移動させたカメラ映像に相当するカメラ番号、カメラ映像のどの方向にどの程度境界を移動させたかを含む情報である。
【００６１】
そして、異常検出処理部２２は、境界移動情報に従って、境界移動対象となるカメラ映像の境界を移動させた上で、異常情報を再抽出する（Ｓ２１６）。
そして、情報送信部２３は、ステップＳ２１６が実行された場合、ステップＳ２１６で再抽出された異常情報を含む異常情報を映像サーバ３へ送信し（Ｓ２０４）、異常検出サーバ２ａはステップＳ２０１へ処理を戻す。
【００６２】
なお、すべてのカメラ４に予め優先順位を付しておいてもよい。この場合、図１５のステップＳ２１２の処理を省略することで、異常範囲の面積の大きさに関係なく、優先順位の大きいカメラ映像の境界を移動させるようにしてもよい。
このように、第２実施形態によれば、俯瞰映像の境界に物体が存在していても、その物体の形状の歪度を低くして表示することができる。
【００６３】
なお、特許文献２にも、俯瞰映像を生成する際に境界領域に障害物が存在している場合における俯瞰映像の合成方法が記載されている。しかしながら、特許文献２では、境界領域に相当する箇所にソナーを配置し、そのソナーによって障害物を検出している。そして、障害物を検出すると、カメラ映像の境界が一定距離移動される。
【００６４】
また、道路施設上にソナーを設置することは、自律運転等の関連から好ましくない。
第２実施形態では、そのようなソナーを不要としている。
【００６５】
また、特許文献２に記載の技術のように、ソナーで障害物を検出すると、その障害物が、どのような距離にあるのかを検出することができるが、どのような物体で、どのくらいの大きさであるのかがわからない。そのため、特許文献２に記載の技術は、監視に不向きであり、また、どのくらい境界を移動させればよいかもわからない。そのため、境界の移動距離は一定の距離である。
【００６６】
第２実施形態の監視支援システムＺａは、異常物体がどのような物体であるのかを監視員が容易に特定できるのみならず、物体の大きさ等に応じて、境界を移動させることができる。一般に、俯瞰映像をカメラ映像から生成する場合、広角カメラが用いられるため、境界を大きく移動させればさせるほど、俯瞰生成時の映像の歪みが大きくなってしまう。第２実施形態の監視支援システムＺａは、物体の大きさ等に応じて、境界を移動させるため、俯瞰生成時の映像の歪みを最小限に抑えることができる。
【００６７】
≪第３実施形態≫
次に、第３実施形態として、図１６に示すように、人感センサや、火災報知機等のセンサ（センサ部）７が設置された監視支援システムＺｂについて説明する。
【００６８】
（監視支援システムＺｂ）
図１６は、第３実施形態で用いられる監視支援システムＺｂの全体構成例を示す構成図である。
図１６において、図９と同様の構成については同一の符号を付して、説明を省略する。
図１６に示されるように、監視支援システムＺｂにおける料金所Ｔｂ（Ｔ１ｂ〜Ｔ３ｂ）は、図９に示す監視支援システムＺａの構成に対して、複数のセンサ７が追加された構成である。なお、ここでは、図９に示す監視支援システムＺａの構成に対してセンサ７を追加した例を示すが、図１に示す監視支援システムＺにセンサ７を追加しても、機能的には同義である。
次に、第３実施形態における異常検出サーバ２ｂについて、図９に示す構成と異なる部分について説明する。俯瞰映像処理装置１ａ及び映像サーバ３の構成は図９に示すものと同様である。
【００６９】
（異常検出サーバ２ｂ）
異常検出サーバ２ｂは、センサ判定処理部２５を有している点が、図９に示す異常検出サーバ２ａと異なっている。
センサ判定処理部２５は、各センサ７の値が異常であるか否かを監視等する。
【００７０】
第１実施形態及び第２実施形態では、異常検出処理が、複数台のカメラ４からのカメラ映像に基づいて行われている。第３実施形態では、第１実施形態及び第２実施形態による異常検出に加えて、センサ７による検出結果が追加される。
センサ７とは、具体的には、赤外線を利用した人感センサや、火災報知機や、磁気を利用した車両検知センサ等といった公知のセンサである。車両検知センサとして、ＥＴＣに搭載されているセンサが利用されてもよい。
どのようなセンサ７を用いるかは、検出する物体や事象により異なる。このようにセンサ７を追加することにより、移動物体や異常状況の検出の精度が向上する。
【００７１】
［フローチャート］
以下、異常検出サーバ２ｂ、映像サーバ３で行われる処理を説明する。各フローチャートの説明では、図１６を適宜参照する。
（異常検出サーバ２ｂ）
図１７は、第３実施形態で用いられる異常検出サーバ２ｂの処理手順を示すフローチャートである。
なお、図１７について、図１５と同様の処理については、同一のステップ番号を付して説明を省略する。
ステップＳ２０４の後、センサ判定処理部２５は、センサ７による異常（センサ異常値）を検出したか否かを判定する（Ｓ２２１）。
ステップＳ２２１の結果、センサ７による異常を検出していない場合（Ｓ２２１→Ｎｏ）、異常検出サーバ２は、ステップＳ２０１へ処理を戻す。
【００７２】
ステップＳ２２１の結果、センサ７による異常を検出した場合（Ｓ２２１→Ｙｅｓ）、情報送信部２３は、異常を検出したセンサ７の番号であるセンサ番号を映像サーバ３へ送信する（Ｓ２２２）。そして、異常検出サーバ２はステップＳ２０１へ処理を戻す。
【００７３】
なお、ステップＳ２２１及びステップＳ２２２が実行されるタイミングは、図１７に示すタイミングに限らず、ステップＳ２０１〜ステップＳ２０４の間のどのタイミングで行われてもよい。
【００７４】
（映像サーバ３）
図１８は、第３実施形態で用いられる映像サーバ３の処理手順を支援すフローチャートである。
なお、図１８について、図８と同様の処理については、同一の符号を付して説明を省略する。
ステップＳ３０４及びステップＳ３０５の後、判定処理部３２は図１７のステップＳ２２２で送信されたセンサ番号を受信したか否かを判定する（Ｓ３１１）。
ステップＳ３１１の結果、センサ番号を受信していない場合（Ｓ３１１→Ｎｏ）、映像サーバ３はステップＳ３０１へ処理を戻す。
【００７５】
ステップＳ３１１の結果、センサ番号を受信した場合（Ｓ３１１→Ｙｅｓ）、映像処理部３３は、合成俯瞰映像において受信したセンサ番号に相当する箇所にセンサ警告表示を表示した表示用映像を生成する（Ｓ３１２）。
そして、映像サーバ３はステップＳ３０１へ処理を戻す。
【００７６】
（画面例）
図１９は、第５実施形態で用いられる監視支援システムＺｂにおける表示用映像２０１ｄを示す図である。
図１９において、図１３と同様の要素については、図１３と同一の符号を付して説明を省略する。
図１９に示す表示用映像２０１ｄでは、異常物体を示す枠線Ｍ２の他に、人がいることを示すセンサ警告表示３０１と、火災が発生していることを示すセンサ警告表示３０２が表示されている。
センサ警告表示３０１で示される人がいることを示す警告表示は人感センサによって検出される異常である。また、センサ警告表示３０１における火災が発生していることを示す警告表示は火災報知機によって検出される異常である。映像サーバ３には、センサ７の種類と、警告表示のパターンとをひも付けて記憶していることで、図１９に示すように、警告内容に合わせた警告表示が可能となる。
【００７７】
第３実施形態の監視支援システムＺｂは、映像による監視だけでなく、センサ７による監視もできるため、監視精度を向上させることができる。
【００７８】
なお、例えば、火災報知機に備えられている温度センサで検出される温度が高いほど、センサ警告表示３０１を赤く表示させる等といったように、センサ７の出力値に応じた表示が行われてもよい。
【００７９】
例えば、本実施形態では、高速道路の料金所Ｔ，Ｔａ，Ｔｂに適用されている例を示しているが、高速道路の本線や、サービスエリアや、パーキングエリア、ガソリンスタンド等といった道路施設に適用することができる。
【００８０】
本発明は前記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を有するものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【００８１】
俯瞰映像処理装置１（１ａ）、異常検出サーバ２（２ａ，２ｂ）、映像サーバ３は、いずれか２つを１つの装置としてもよい。あるいは、俯瞰映像処理装置１（１ａ）、異常検出サーバ２（２ａ，２ｂ）、映像サーバ３が１つの装置にまとめられてもよい。
【００８２】
また、本実施形態では、枠線で異常物体を囲むことで強調表示を行っているが、枠線に限らない。また、異常物体が検出された場合、異常物体が強調表示されるとともに、警報音等を発することで監視員に異常物体が検出されたことを報知してもよい。
【００８３】
また、映像サーバ３が管制室Ｃに設置されていたり、管制サーバ６が映像サーバ３の機能を有していたりしてもよい。
また、モニタ６１は、スマートフォンや、タブレット端末等の携帯端末であってもよい。
【００８４】
また、前記した各構成、機能、各部１１〜１６，２１〜２５，３１〜３４、記憶装置１０３等は、それらの一部又はすべてを、例えば集積回路で設計すること等によりハードウェアで実現してもよい。また、図５に示すように、前記した各構成、機能等は、ＣＰＵ１０２等のプロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、ＨＤ（Hard Disk）に格納すること以外に、メモリ１０１や、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣ（Integrated Circuit）カードや、ＳＤ（Secure Digital）カード、ＤＶＤ（Digital Versatile Disc）等の記録媒体に格納することができる。
また、各実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には、ほとんどすべての構成が相互に接続されていると考えてよい。
【符号の説明】
【００８５】
１，１ａ  俯瞰映像処理装置
２，２ａ，２ｂ  異常検出サーバ
３      映像サーバ
４，４Ａ〜４Ｈ  カメラ（撮像部）
６      管制サーバ
７      センサ（センサ部）
１１    情報受信部
１２    俯瞰映像生成部
１３    合成俯瞰映像生成部
１４    情報送信部
１５    判定処理部
１６    境界調整部
２１    情報受信部
２２    異常検出処理部
２３    情報送信部
２４    判定処理部
３１    情報受信部
３２    判定処理部
３３    映像処理部
３４    情報送信部
６１，６１ａ〜６１ｃ  モニタ（表示部）
２００，２００Ａ〜２００Ｈ  俯瞰映像
２０１，２０１ａ〜２０１ｄ  表示用映像
２０２，Ｌ１１，Ｌ１２，Ｌ２１，Ｌ２２  境界（境界部）
２５１，２５１ａ，２５１ｂ  合成俯瞰映像
３０１，３０１  センサ警告表示
Ｍ      枠線（強調表示）
Ｔ，Ｔ１〜Ｔ３，Ｔａ，Ｔ１ａ〜Ｔ３ａ，Ｔｂ，Ｔ１ｂ〜Ｔ３ｂ  料金所（道路施設）
Ｚ，Ｚａ，Ｚｂ  監視支援システム
【図１】
2019008474.tif 000003
【図２】
2019008474.tif 000004
【図３】
2019008474.tif 000005
【図４】
2019008474.tif 000006
【図５】
2019008474.tif 000007
【図６】
2019008474.tif 000008
【図７】
2019008474.tif 000009
【図８】
2019008474.tif 000010
【図９】
2019008474.tif 000011
【図１０】
2019008474.tif 000012
【図１１】
2019008474.tif 000013
【図１２】
2019008474.tif 000014
【図１３】
2019008474.tif 000015
【図１４】
2019008474.tif 000016
【図１５】
2019008474.tif 000017
【図１６】
2019008474.tif 000018
【図１７】
2019008474.tif 000019
【図１８】
2019008474.tif 000020
【図１９】
2019008474.tif 000021