(57)【要約】【課題】車両のドアを外部カメラで撮影する場合でも、ドアにおける異物の挟み込みの判定を精度よく行うことができるようにする。【解決手段】車両のドアの周辺を外部カメラで撮影したカメラ画像を取得し、カメラ画像からドアを検出し、検出されたドアの位置に基づいて、判定エリアを設定し、カメラ画像から判定エリアの画像を取得し、判定エリアの画像に基づいて、ドアにおける異物の挟み込みの有無を判定し、その判定結果に応じて報知出力を行う。【選択図】図６
2018167594.tif 000002
【特許請求の範囲】
【請求項１】
車両のドアの周辺を外部カメラで撮影したカメラ画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定して、その判定結果に応じて報知を行う処理を、プロセッサにより実行する車両ドア監視システムであって、
前記プロセッサは、
前記カメラ画像から前記ドアを検出し、
検出された前記ドアの位置に基づいて、判定エリアを設定し、
前記カメラ画像から前記判定エリアの画像を取得し、
前記判定エリアの画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定し、
その判定結果に応じて報知出力を行うことを特徴とする車両ドア監視システム。
【請求項２】
前記プロセッサは、
異物の挟み込みがない正常状態と異物の挟み込みがある異常状態との２クラスを予め学習した識別器を用いて、前記ドアにおける異物の挟み込みの有無を判定することを特徴とする請求項１に記載の車両ドア監視システム。
【請求項３】
前記プロセッサは、
前記カメラ画像に写る前記ドアの開口部を検出して、その開口部の位置に基づいて、前記判定エリアを設定することを特徴とする請求項１または請求項２のいずれかに記載の車両ドア監視システム。
【請求項４】
前記プロセッサは、
前記カメラ画像に写る前記ドアの戸先部を検出して、その戸先部の位置に基づいて、前記判定エリアを設定することを特徴とする請求項１または請求項２のいずれかに記載の車両ドア監視システム。
【請求項５】
前記プロセッサは、
前記カメラ画像から前記ドアを検出した状態が所定時間継続したタイミングで、前記ドアにおける異物の挟み込みの有無を判定することを特徴とする請求項１から請求項４のいずれかに記載の車両ドア監視システム。
【請求項６】
前記プロセッサは、
前記カメラ画像から前記ドアを検出する処理が所定数以上の前記ドアで完了したタイミングで、前記ドアにおける異物の挟み込みの有無を判定することを特徴とする請求項１から請求項５のいずれかに記載の車両ドア監視システム。
【請求項７】
前記プロセッサは、
前記報知出力として、報知装置に所定の報知動作を行わせる制御信号を送信することを特徴とする請求項１から請求項６のいずれかに記載の車両ドア監視システム。
【請求項８】
前記プロセッサは、
前記報知出力として、表示装置に、前記ドアにおける異物の挟み込みの有無に対応した状態画像を前記カメラ画像に重畳して表示することを特徴とする請求項１から請求項７のいずれかに記載の車両ドア監視システム。
【請求項９】
前記プロセッサは、
前記報知出力として、従業員が所持する携帯端末に所定の報知動作を行わせる通知信号を送信することを特徴とする請求項１から請求項８のいずれかに記載の車両ドア監視システム。
【請求項１０】
車両のドアの周辺を外部カメラで撮影したカメラ画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定して、その判定結果に応じて報知を行う処理を、プロセッサにより実行する車両ドア監視方法であって、
前記カメラ画像から前記ドアを検出し、
検出された前記ドアの位置に基づいて、判定エリアを設定し、
前記カメラ画像から前記判定エリアの画像を取得し、
前記判定エリアの画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定し、
その判定結果に応じて報知出力を行うことを特徴とする車両ドア監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両のドアの周辺を外部カメラで撮影したカメラ画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定して、その判定結果に応じて報知を行う車両ドア監視システムおよび車両ドア監視方法に関するものである。
【背景技術】
【０００２】
鉄道の駅に停車した列車（鉄道車両）において、乗客が乗降するドアに、乗客の荷物、例えば傘や鞄などが挟み込まれることがあり、このような異物の挟み込みを駅員や列車の乗務員が発見した場合には、異物を取り除く処置を行えばよいが、近年、ドアに異物が挟み込まれたままで列車が発車してしまう事故が多発している。このため、ドアにおける異物の挟み込みを検知して、異物の挟み込みが発生したことを駅員や列車の乗務員に報知する技術が望まれる。
【０００３】
このような列車のドアにおける異物の挟み込みを検知して報知する技術として、従来、列車の車体におけるドアの上部にカメラを設けて、このカメラで撮影されたカメラ画像に基づいて、ドアにおける異物の挟み込みの有無を判定して、異物の挟み込みが発生している場合に、乗務員室に設けられたモニタにカメラ画像を表示して、異物の挟み込みの状況を乗務員が目視で確認できるようにした技術が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４１６３４２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
さて、前記従来の技術では、全ての列車にカメラを設ける必要があり、カメラが設けられていない列車では、ドアにおける異物の挟み込みを検知することができないという問題があった。
【０００６】
このような問題を解決するには、カメラを、列車の車体ではなくホーム側に設置することが考えられる。しかしながら、全ての列車が同じに位置に停止することはなく、列車の停止位置がずれる場合がある。このため、ホーム側に設置されたカメラでは、列車の停止位置がずれるのに応じて、カメラ画像内でのドアの位置もずれることで、ドアにおける異物の挟み込みの判定を精度よく行うことができないという問題が生じる。
【０００７】
そこで、本発明は、車両のドアを外部カメラで撮影する場合でも、ドアにおける異物の挟み込みの判定を精度よく行うことができる車両ドア監視システムおよび車両ドア監視方法を提供することを主な目的とする。
【課題を解決するための手段】
【０００８】
本発明の車両ドア監視システムは、車両のドアの周辺を外部カメラで撮影したカメラ画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定して、その判定結果に応じて報知を行う処理を、プロセッサにより実行する車両ドア監視システムであって、前記プロセッサは、前記カメラ画像から前記ドアを検出し、検出された前記ドアの位置に基づいて、判定エリアを設定し、前記カメラ画像から前記判定エリアの画像を取得し、前記判定エリアの画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定し、その判定結果に応じて報知出力を行う構成とする。
【０００９】
また、本発明の車両ドア監視方法は、車両のドアの周辺を外部カメラで撮影したカメラ画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定して、その判定結果に応じて報知を行う処理を、プロセッサにより実行する車両ドア監視方法であって、前記カメラ画像から前記ドアを検出し、検出された前記ドアの位置に基づいて、判定エリアを設定し、前記カメラ画像から前記判定エリアの画像を取得し、前記判定エリアの画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定し、その判定結果に応じて報知出力を行う構成とする。
【発明の効果】
【００１０】
本発明によれば、カメラ画像からドアを検出して、検出されたドアの位置に基づいて判定エリアを設定する。このため、車両のドアを外部カメラで撮影することで、列車の停止位置がずれるのに応じて、カメラ画像におけるドアの位置がずれた場合でも、判定エリアを適切に設定して、ドアにおける異物の挟み込みの判定を精度よく行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態に係る車両ドア監視システムの全体構成図
【図２】カメラ１の設置状況を示す説明図
【図３】カメラ画像に設定される判定エリアの状況を示す説明図
【図４】カメラ画像に設定される判定エリアの状況を示す説明図
【図５】監視装置２の概略構成を示すブロック図
【図６】監視装置２で行われる処理の手順を示すフロー図
【図７】監視装置２で行われる処理の手順の別例を示すフロー図
【図８】監視装置２で行われる処理の手順の別例を示すフロー図
【図９】モニタ２１に表示される監視画面を示す説明図
【図１０】報知装置３で行われる報知動作の概要を示す説明図
【発明を実施するための形態】
【００１２】
前記課題を解決するためになされた第１の発明は、車両のドアの周辺を外部カメラで撮影したカメラ画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定して、その判定結果に応じて報知を行う処理を、プロセッサにより実行する車両ドア監視システムであって、前記プロセッサは、前記カメラ画像から前記ドアを検出し、検出された前記ドアの位置に基づいて、判定エリアを設定し、前記カメラ画像から前記判定エリアの画像を取得し、前記判定エリアの画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定し、その判定結果に応じて報知出力を行う構成とする。
【００１３】
これによると、カメラ画像からドアを検出して、検出されたドアの位置に基づいて判定エリアを設定する。このため、車両のドアを外部カメラで撮影することで、列車の停止位置がずれるのに応じて、カメラ画像におけるドアの位置がずれた場合でも、判定エリアを適切に設定して、ドアにおける異物の挟み込みの判定を精度よく行うことができる。
【００１４】
また、第２の発明は、前記プロセッサは、異物の挟み込みがない正常状態と異物の挟み込みがある異常状態との２クラスを予め学習した識別器を用いて、前記ドアにおける異物の挟み込みの有無を判定する構成とする。
【００１５】
これによると、ドアにおける異物の挟み込みの判定を精度よく行うことができる。
【００１６】
また、第３の発明は、前記プロセッサは、前記カメラ画像に写る前記ドアの開口部を検出して、その開口部の位置に基づいて、前記判定エリアを設定する構成とする。
【００１７】
これによると、判定エリアを適切に設定することができる。
【００１８】
また、第４の発明は、前記プロセッサは、前記カメラ画像に写る前記ドアの戸先部を検出して、その戸先部の位置に基づいて、前記判定エリアを設定する構成とする。
【００１９】
これによると、判定エリアを適切に設定することができる。
【００２０】
また、第５の発明は、前記プロセッサは、前記カメラ画像から前記ドアを検出した状態が所定時間継続したタイミングで、前記ドアにおける異物の挟み込みの有無を判定する構成とする。
【００２１】
これによると、ドアを検出する際の誤検出を抑制することができる。
【００２２】
また、第６の発明は、前記プロセッサは、前記カメラ画像から前記ドアを検出する処理が所定数以上の前記ドアで完了したタイミングで、前記ドアにおける異物の挟み込みの有無を判定する構成とする。
【００２３】
これによると、ドアを検出する際の誤検出を抑制することができる。
【００２４】
また、第７の発明は、前記プロセッサは、前記報知出力として、報知装置に所定の報知動作を行わせる制御信号を送信する構成とする。
【００２５】
これによると、ドアにおける異物の挟み込みの有無の判定結果に応じた報知動作が報知装置で行われるため、異物の挟み込みの状況を従業員が即座に把握することができる。
【００２６】
また、第８の発明は、前記プロセッサは、前記報知出力として、表示装置に、前記ドアにおける異物の挟み込みの有無に対応した状態画像を前記カメラ画像に重畳して表示する構成とする。
【００２７】
これによると、ドアにおける異物の挟み込みの有無に対応した状態画像がカメラ画像に重畳して表示されるため、異物の挟み込みの状況を従業員が即座にかつ詳細に把握することができる。
【００２８】
また、第９の発明は、前記プロセッサは、前記報知出力として、従業員が所持する携帯端末に所定の報知動作を行わせる通知信号を送信する構成とする。
【００２９】
これによると、ドアにおける異物の挟み込みが発生したことを、駅のホームに滞在する従業員（駅員や監視員など）に報知することができるため、異物を取り除く処置に迅速に着手することができる。
【００３０】
また、第１０の発明は、車両のドアの周辺を外部カメラで撮影したカメラ画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定して、その判定結果に応じて報知を行う処理を、プロセッサにより実行する車両ドア監視方法であって、前記カメラ画像から前記ドアを検出し、検出された前記ドアの位置に基づいて、判定エリアを設定し、前記カメラ画像から前記判定エリアの画像を取得し、前記判定エリアの画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定し、その判定結果に応じて報知出力を行う構成とする。
【００３１】
これによると、第１の発明と同様に、車両のドアを外部カメラで撮影する場合でも、ドアにおける異物の挟み込みの判定を精度よく行うことができる。
【００３２】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００３３】
図１は、本実施形態に係る車両ドア監視システムの全体構成図である。
【００３４】
この車両ドア監視システムは、鉄道の駅に停車している列車（鉄道車両）において、乗客が乗降するドアにおける異物の挟み込みを検知して、ドアにおける異物の挟み込みの状態を従業員（駅員、車掌などの乗務員など）に報知するものであり、複数のカメラ１と、監視装置２と、報知装置３と、携帯端末４と、を備えている。
【００３５】
カメラ１、監視装置２および報知装置３は、有線ＬＡＮ（構内ネットワーク）を介して相互に接続されている。また、携帯端末４は、無線ＬＡＮを介して監視装置２と接続されている。なお、このような有線ＬＡＮおよび無線ＬＡＮに限定されるものではなく、適宜な通信方式を採用すればよい。
【００３６】
カメラ１は、駅に停車している列車のドアの周辺を撮影する。このカメラ１は、撮影により生成したカメラ画像を、有線ＬＡＮを介して監視装置２に送信する。
【００３７】
監視装置２は、ＰＣなどの情報処理装置で構成され、車両ドア監視用のアプリケーションプログラムがインストールされている。この監視装置２では、カメラ１から送信されるカメラ画像を受信し、カメラ画像からドアを検出して、ドアにおける異物の挟み込みの状態を検知する処理が行われる。この監視装置２は、駅の監視室などに設置される。
【００３８】
また、監視装置２は、モニタ２１（表示装置）を備えている。このモニタ２１の監視画面には、カメラ画像が表示され、監視エリアの実際の状況を従業員（駅員など）が確認することができる。また、モニタ２１の監視画面には、ドアにおける異物の挟み込みの状態が表示され、異物の挟み込みの状態を従業員に報知する。
【００３９】
なお、このモニタ２１は、従業員が監視画面を閲覧できるように、監視室に設置すればよいが、ホームに設置して、従業員（駅員、乗務員、監視員など）が閲覧できるようにしてもよい。また、モニタを、列車の乗務員室（車掌室など）に設置して、適宜な無線通信を介して監視装置２から画面情報を送信することで、列車の乗務員（車掌など）が監視画面を閲覧することができるようにしてもよい。また、駅のホームに設置されたデジタルサイネージに、モニタと同様に、ドアにおける異物の挟み込みの状態を表示するようにしてもよい。
【００４０】
報知装置３は、ランプ３１およびブザー３２を備えており、このランプ３１の点灯およびブザー３２の鳴動により、ドアにおける異物の挟み込みの状態を従業員に報知する。この報知装置３では、監視装置２から送信される制御情報を受信し、その制御情報に基づいてランプ３１およびブザー３２が所定の報知動作を行う。なお、この報知装置３は、駅の監視室などに設置されるようにすればよいが、列車の乗務員室（車掌室など）に設置して、適宜な無線通信を介して監視装置２から制御情報を送信することで、列車の乗務員（車掌など）に報知するようにしてもよい。
【００４１】
携帯端末４は、スマートフォンやタブレット端末などであり、従業員（駅員、乗務員、監視員など）が所持するものであり、報知装置３での報知動作に同期して、監視装置２から通知信号を送信するプッシュ通知を行うことにより、所定のアラート画面の表示やバイブレーションにより、ドアにおける異物の挟み込みの状態を従業員に報知する。また、監視装置２にアクセスすることで、モニタ２１と同様の監視画面を表示させることができる。
【００４２】
これにより、従業員が任意の場所で、ドアにおける異物の挟み込みが発生した旨の報知を携帯端末４で受け取ることができるため、従業員が異物の挟み込みを解消する作業に迅速に着手することができる。
【００４３】
次に、カメラ１の設置状況について説明する。図２は、カメラ１の設置状況を示す説明図である。
【００４４】
カメラ１は、駅のプラットホーム側、例えばプラットホームの屋根や柱に設置され、列車のドアの周辺部を斜め上方から撮影する。また、カメラ１は、列車が停止した状態で、列車の各ドアに対応する位置に設置され、各ドアを個別に撮影する。また、複数のドアがカメラ１の撮影範囲に収まるようにして、カメラ１を設置するようにしても良い。その場合、撮影画像中に写る複数のドアに対する異物の挟み込みの判定がそれぞれ実行される。
【００４５】
次に、カメラ画像に設定される判定エリアについて説明する。図３および図４は、カメラ画像に設定される判定エリアの状況を示す説明図である。
【００４６】
図３および図４に示すように、カメラ１は、駅に停車している１本の列車の各ドアを個別に撮影し、カメラ画像には、１つのドアの周辺部が写る。ここで、列車の停止位置がずれると、図３（Ａ），（Ｂ）および図４（Ａ），（Ｂ）に示すように、カメラ画像内でのドアの位置もずれる。
【００４７】
そこで、本実施形態では、カメラ画像からドアの領域を検出して、その領域の位置情報を取得して、その位置情報に基づいて、異物の挟み込みを判定する際の判定エリアを設定する。
【００４８】
特に、図３に示す例では、カメラ画像からドアの開口部（開放エリア）、すなわち、車体とドアパネルとの境界で区画された領域を検出して、この開口部の位置情報に基づいて判定エリアを設定する。この場合、開口部の検出領域の左右方向の中心から所定の幅の範囲に判定エリアを設定する。
【００４９】
一方、図４に示す例では、ドアの戸先部（戸先ゴム）、すなわち、左右のドアが接する部分の領域を検出して、この戸先部の位置情報に基づいて判定エリアを設定する。この場合、戸先部の検出領域の左右方向の中心から所定の幅の範囲に判定エリアを設定する。
【００５０】
なお、図３および図４に示す例では、ドアを斜め上方から撮影したカメラ画像に判定エリアを設定するようにしたが、ドアを正面から見たような状態となるようにカメラ画像の歪みを補正した上で、判定エリアを設定するようにしてもよい。
【００５１】
また、図３および図４に示す例では、両開き式のドアとしたが、片開き式のドアでも同様に異物の挟み込みの状態を検知することができる。また、判定エリアは、方形の他、台形や平行四辺形など、種々の形状で設定することができる。
【００５２】
次に、監視装置２について説明する。図５は、監視装置２の概略構成を示すブロック図である。
【００５３】
監視装置２は、モニタ２１と、通信部２２と、プロセッサ２３と、記憶部２４と、を備えている。
【００５４】
通信部２２は、ネットワークを介してカメラ１および報知装置３との間で通信を行う。本実施形態では、各カメラ１から送信されるカメラ画像を受信する。また、報知装置３に所要の報知動作を行わせるための制御情報を報知装置３に送信する。
【００５５】
記憶部２４は、通信部２２で受信したカメラ画像や、各種の設定情報や、プロセッサ２３で実行されるプログラムを記憶する。
【００５６】
プロセッサ２３は、記憶部２４に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、ドア検出、判定エリア設定、判定エリア画像抽出、挟み込み判定、および報知出力の処理を行う。
【００５７】
ドア検出処理では、カメラ画像からドアの領域を検出して、その領域の位置情報を取得する。本実施形態では、ドアの開口部（図３参照）、または、ドアの戸先部（図４参照）を検出して、その開口部または戸先部の位置情報を取得する。
【００５８】
なお、このドア検出処理では、ドアの閉状態のタイミングでカメラ画像を取得して、そのドアの閉状態でのカメラ画像から抽出される特徴情報からドアの領域（開口部または戸先部）を検出すればよい。また、ドアの開状態のタイミングでもカメラ画像を取得して、ドアの開状態での特徴情報と閉状態での特徴情報との両方に基づいてドアの領域を検出するようにしてもよい。
【００５９】
判定エリア設定処理では、ドア検出処理で取得したドアの領域（開口部または戸先部）の位置情報に基づいて、挟み込み判定の対象となる判定エリアを設定する。
【００６０】
判定エリア画像抽出処理では、判定エリア設定処理で取得した判定エリアの位置情報に基づいて、カメラ画像から判定エリアの画像を切り出す。
【００６１】
挟み込み判定処理では、判定エリア画像取得処理で取得した判定エリアの画像に基づいて、ドアにおける異物の挟み込みの有無、すなわち、異物の挟み込みがない正常状態と、異物の挟み込みがある異常状態とのいずれであるかを判定する。
【００６２】
報知出力処理では、挟み込み判定処理での判定結果に応じた報知動作を行うための情報を出力する。本実施形態では、モニタ２１および報知装置３に報知動作を行わせる。すなわち、表示情報をモニタ２１に出力して、このモニタ２１の画面上で、異物の挟み込みの状態（正常状態および異常状態）をユーザに報知する。また、報知装置３に所定の報知動作を行わせる制御情報を報知装置３に出力して、この報知装置３において、ランプ３１の点灯およびブザー３２の鳴動により、異物の挟み込みの状態をユーザに報知する。
【００６３】
なお、列車には、ドアの先端に設けられた戸先ゴムの変形により異物の挟み込みを検知するセンサ（図示せず）が設けられているが、このセンサによる異物の挟み込みの検知と、本実施形態による異物の挟み込みの検知とは併用することができる。戸先ゴムの変形によるセンサでは、細い異物や薄い異物、例えばバックのベルトや、傘の先や、衣服などの異物を精度よく検知することができないが、本実施形態では、このような異物も精度よく検知することができる。
【００６４】
ところで、挟み込み判定処理では、ディープラーニングにより、異物の挟み込みがない正常状態と異物の挟み込みがある異常状態との２クラスを予め学習させた識別器が用いられる。挟み込み判定の際には、識別器により、判定エリアの画像に関して正常状態としての尤度（確からしさ）と異常状態としての尤度とを求めて、２つの尤度を比較することで、正常状態と異常状態とのいずれであるかを判定する。
【００６５】
また、ドア検出処理でも、ディープラーニングにより、対象となる各種の列車のドアの領域（開口部または戸先部）を予め学習させた識別器が用いられる。ドア検知の際には、識別器により、カメラ画像内の各領域に関してドア（開口部または戸先部）の領域としての尤度を求めて、その尤度が所定のしきい値を超える領域が存在すれば、その領域をドアの領域と判定する。
【００６６】
このようにディープラーニングの手法を採用することで、種々の型式の列車やラッピングが施された列車を対象にして、挟み込み判定やドア検出を精度よく行うことができる。また、日照変動による影響を受けにくい挟み込み判定やドア検出を行うことができる。また、挟み込み判定で、多様な異物が挟まった状態を検知することができる。
【００６７】
次に、監視装置２で行われる処理の手順について説明する。図６は、監視装置２で行われる処理の手順を示すフロー図である。
【００６８】
本実施形態では、列車のドアが閉じたタイミングで、判定エリアの画像を取得して、異物の挟み込みの有無を判定する。
【００６９】
具体的には、監視装置２のプロセッサ２３において、まず、列車の乗務員がドアの開閉スイッチを操作するのに応じて出力されるドア閉信号の受信を検知すると（ＳＴ１０１）、カメラ１からカメラ画像を取得する（ＳＴ１０２）。次に、カメラ画像からドアを検出して、ドアの位置情報を取得する（ＳＴ１０３）。次に、ドアの位置情報に基づいて、判定エリアを設定する（ＳＴ１０４）。次に、カメラ画像から判定エリアの画像を抽出する（ＳＴ１０５）。次に、判定エリアの画像に基づいて、異物の挟み込みの有無を判定する（ＳＴ１０６）。
【００７０】
そして、挟み込み判定で、異物の挟み込みがあると判定された場合には（ＳＴ１０７でＹｅｓ）、モニタ２１や報知装置３に所定の報知動作を行わせるための報知出力を行う（ＳＴ１０８）。一方、異物の挟み込みがないと判定された場合には（ＳＴ１０７でＮｏ）、特別な動作は行わない。
【００７１】
なお、図６に示す例では、列車のドアが閉じたことを検知するために、ドア閉信号を受信するようにしたが、ドア閉信号に限定されるものではなく、例えば発車ベルの操作信号など、ドアを閉鎖したタイミングや列車を発車させるタイミングで、列車の乗務員室や駅の監視室やホームに設置された操作機器から送信される何らかの通知信号を受信するようにすればよい。
【００７２】
次に、監視装置２で行われる処理の手順の別例について説明する。図７および図８は、監視装置２で行われる処理の手順の別例を示すフロー図である。
【００７３】
図７に示す例では、カメラ画像から閉状態のドア（開口部または戸先部）が検出される状態が所定時間継続したタイミングで、異物の挟み込みの判定を行う。なお、監視装置２では、カメラ１から送信されるカメラ画像を所定の時間間隔で定期的に受信する。
【００７４】
具体的には、監視装置２のプロセッサ２３において、まず、列車の乗務員がドアの開閉スイッチを操作するのに応じて出力されるドア閉信号の受信を検知すると（ＳＴ１０１）、カメラ１からカメラ画像を取得する（ＳＴ１０２）。次に、カメラ画像からドアを検出して、ドアの位置情報を取得する（ＳＴ１０３）。次に、カメラ画像から閉状態のドアが検出される状態が所定時間継続したか否かを判定する（ＳＴ２０１）。
【００７５】
ここで、カメラ画像から閉状態のドアが検出される状態が所定時間継続していない場合には（ＳＴ２０１でＮｏ）、次のカメラ画像の処理に進み、カメラ画像の取得（ＳＴ１０２）以降の処理が繰り返される。
【００７６】
一方、カメラ画像から閉状態のドアが検出される状態が所定時間継続した場合には（ＳＴ２０１でＹｅｓ）、次に、ドアの検出（ＳＴ１０３）で取得したドアの位置情報に基づいて、判定エリアを設定する（ＳＴ１０４）。以降は、図６に示した例と同様である。
【００７７】
なお、図７に示す例では、図６に示した例と同様に、ドア閉信号を受信したタイミングで、カメラ画像の取得（ＳＴ１０１）を開始するようにしたが、カメラ１から受信したカメラ画像からドアを検出する処理を常時行うようにしてもよい。
【００７８】
図８に示す例では、カメラ画像から閉状態のドアを検出する処理が所定数以上のドアで完了したタイミングで、異物の挟み込みの判定を行う。
【００７９】
具体的には、監視装置２のプロセッサ２３において、まず、列車の乗務員がドアの開閉スイッチを操作するのに応じて出力されるドア閉信号の受信を検知すると（ＳＴ１０１）、カメラ１からカメラ画像を取得する（ＳＴ１０２）。次に、カメラ画像からドアを検出して、ドアの位置情報を取得する（ＳＴ１０３）。次に、カメラ画像から閉状態のドアを検出する処理が所定数以上のドアで完了したか否かを判定する（ＳＴ２１１）。
【００８０】
ここで、カメラ画像から閉状態のドアを検出する処理が所定数以上のドアで完了していない場合には（ＳＴ２１１でＮｏ）、次のカメラ画像の処理に進み、カメラ画像の取得（ＳＴ１０２）以降の処理が繰り返される。
【００８１】
一方、カメラ画像から閉状態のドアを検出する処理が所定数以上のドアで完了した場合には（ＳＴ２１１でＹｅｓ）、次に、ドアの検出（ＳＴ１０３）で取得したドアの位置情報に基づいて、判定エリアを設定する（ＳＴ１０４）。以降は、図６に示した例と同様である。
【００８２】
なお、図７および図８に示した例では、図６に示した例と同様に、ドア閉信号を受信したタイミングで、カメラ画像の取得（ＳＴ１０１）を開始するようにしたが、カメラ１から受信したカメラ画像からドアを検出する処理を常時行うようにしてもよい。
【００８３】
また、図７に示したドア検出状態継続の判定（ＳＴ２０１）と、図８に示したドア検出数の判定（ＳＴ２１１）とを組み合わせるようにしてもよい。すなわち、カメラ画像から閉状態のドアが検出される状態が所定時間継続したことが、所定数以上のドアで確認された場合に、判定エリアの設定（ＳＴ１０４）に進むようにする。
【００８４】
また、本実施形態では、ドア閉信号の受信に応じて、監視動作（ドア検出、判定エリア設定、挟み込み判定）を開始するようにしたが、カメラ画像からドアの閉状態を検知して監視動作を開始するようにしてもよい。
【００８５】
次に、モニタ２１で行われる報知動作について説明する。図９は、モニタ２１に表示される監視画面を示す説明図である。
【００８６】
この監視画面は、列車のドアの状況を監視者が監視するものである。この監視画面には、カメラ画像表示部４１が設けられており、このカメラ画像表示部４１に、１つの列車の各ドアの周辺を撮影した複数のカメラ画像４２が並べて表示され、各ドアの実際の状況を従業員（駅員など）が確認することができる。また、複数の車両が連結されて、他の車両の各ドアの状況を表示させる場合には、画像送りボタン４７を用いて、他の車両のカメラ画像４２を読み込むようにする。また、監視画面の一部に列車の編成を表わす列車アイコン（図示せず）を表示しておき、表示したい車両を指定する操作にしたがって、指定の車両のカメラ画像４２を読み込むようにしても良い。なお、列車アイコンを用いる場合には、異物挟みのある車両が一目で分かるように、異物挟みのない車両と異なる表示態様にすると良い。
【００８７】
カメラ画像表示部４１では、判定エリアが設定されると、その判定エリアを表す枠画像４３（状態画像）が、カメラ画像４２上に重畳して表示される。この枠画像４３は、異物の挟み込みの状態（正常状態および異常状態）に応じて表示形態が変化する。具体的には、異物の挟み込みが検知されると、枠画像４３の色が変化する。例えば、異物の挟み込みがない正常状態では、枠画像４３が緑色で表示され、異物の挟み込みが発生した異常状態では、枠画像４３が赤色に変化する。これにより、各ドアにおける異物の挟み込みの有無を監視者に報知することができる。
【００８８】
また、この監視画面には、状態表示アイコン４５が表示される。この状態表示アイコン４５は、異物の挟み込みの状態（正常状態および異常状態）に応じて表示形態が変化する（図１０参照）。例えば、異物の挟み込みがない正常状態では、状態表示アイコン４５が緑色で表示されるとともに、状態表示アイコン４５に「異物挟みなし」の文字が表示される。異物の挟み込みが発生した異常状態では、状態表示アイコン４５が赤色で表示されるとともに、状態表示アイコン４５に「異物挟みあり」の文字が表示される。
【００８９】
この状態表示アイコン４５は、１つの列車の全てのドアを対象としており、１つの列車の全てのドアの中で、異物の挟み込みが１つでも発生していれば、状態表示アイコン４５が異常状態の表示形態に変化する。これにより、１つの列車における異物の挟み込みの有無を監視者に報知することができる。
【００９０】
また、監視画面には設定ボタン４６が設けられている。この設定ボタン４６を操作すると、図示しない設定画面に遷移する。この設定画面では、各種の処理条件（判定のしきい値など）などをユーザが指定することができる。
【００９１】
なお、本実施形態では、異物の挟み込みが検知されると、判定エリアを表す枠画像４３の色が変化するようにしたが、枠画像４３の表示形態の変化はこれに限定されるものではない。例えば、正常時には枠画像４３が表示されず、異物の挟み込みが検知されると、枠画像４３が表示されようにしてもよい。また、正常時に枠画像４３が表示され、異物の挟み込みが検知されると、枠画像４３が点滅表示されるようにしてもよい。また、異物の挟み込みが検知されると、枠画像４３が強調表示される、例えば、枠画像の線（枠線）の太さが変化するようにしてもよい。
【００９２】
次に、報知装置３で行われる報知動作について説明する。図１０は、報知装置３で行われる報知動作の概要を示す説明図である。
【００９３】
報知装置３には、緑色および赤色のランプ３１ａ，３１ｂが設けられており、このランプ３１ａ，３１ｂの点灯状態を変化させることで、状態表示アイコン４５と同様に、異物の挟み込みがない正常状態と、異物の挟み込みが発生した異常状態とのいずれであるかを監視者に報知する。具体的には、例えば正常状態では緑色のランプ３１ａを点灯させ、異常状態では赤色のランプ３１ｂを点滅させる。
【００９４】
また、報知装置３では、ランプ３１の点灯の他に、ブザー３２の鳴動により、正常状態から異常状態に変化したことを監視者に報知する。
【００９５】
なお、報知装置３を、緑色、黄色および赤色のランプを備えたものとして、異物の挟み込みの判定において、判定の確度が低い場合に、黄色のランプを点灯させるようにしてもよい。また、報知装置３を、１つのランプを備えたものとして、異常状態となるとランプが点灯したり点滅したりするようにしてもよい。
【００９６】
なお、異物の挟み込みが発生した異常状態の報知を監視者が手動で解除するようにしてもよいが、異常状態の報知の解除を、監視装置２が自動で行うようにしてもよい。すなわち、監視装置２で行われる監視動作を列車が発車するまで継続するようにすると、ドアにおける異物の挟み込みが解消されて、異物の挟み込みがない正常状態に変化したことも検知することができる。このため、モニタ２１の監視画面に表示される状態表示アイコン４５や報知装置３を正常状態に復帰させて、ドアにおける異物の挟み込みが解消されたことを監視者に報知することができる。
【００９７】
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
【００９８】
例えば、前記の実施形態では、列車（鉄道車両）のドアを対象にして異物の挟み込みを検知するようにとしたが、異物の挟み込みの検知対象は列車のドアに限定されるものではなく、バスなどの他の車両のドアを対象にして異物の挟み込みを検知するようにしてもよい。
【産業上の利用可能性】
【００９９】
本発明に係る車両ドア監視システムおよび車両ドア監視方法は、車両のドアを外部カメラで撮影する場合でも、ドアにおける異物の挟み込みの判定を精度よく行うことができる効果を有し、車両のドアの周辺を外部カメラで撮影したカメラ画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定して、その判定結果に応じて報知を行う車両ドア監視システムおよび車両ドア監視方法などとして有用である。
【符号の説明】
【０１００】
１  カメラ（外部カメラ）
２  監視装置
３  報知装置
４  携帯端末
２１  モニタ（表示装置）
２２  通信部
２３  プロセッサ
２４  記憶部
４２  カメラ画像
４３  枠画像（状態画像）
【図１】
2018167594.tif 000003
【図２】
2018167594.tif 000004
【図３】
2018167594.tif 000005
【図４】
2018167594.tif 000006
【図５】
2018167594.tif 000007
【図６】
2018167594.tif 000008
【図７】
2018167594.tif 000009
【図８】
2018167594.tif 000010
【図９】
2018167594.tif 000011
【図１０】
2018167594.tif 000012
【手続補正書】
【提出日】平成30年6月12日(2018.6.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両のドアの周辺を外部カメラで撮影したカメラ画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定して、その判定結果に応じて報知を行う処理を、プロセッサにより実行する車両ドア監視システムであって、
前記プロセッサは、
前記カメラ画像から前記ドアを検出し、
検出された前記ドアの位置に基づいて、判定エリアを設定し、
前記カメラ画像から前記判定エリアの画像を取得し、
前記判定エリアの画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定し、
その判定結果に応じた報知出力として、表示装置に、前記判定エリアを表す状態画像を前記カメラ画像に重畳し、前記ドアにおける異物の挟み込みの有無に応じて前記状態画像の表示形態を変化させて表示することを特徴とする車両ドア監視システム。
【請求項２】
前記プロセッサは、
異物の挟み込みがない正常状態と異物の挟み込みがある異常状態との２クラスを予め学習した識別器を用いて、前記ドアにおける異物の挟み込みの有無を判定することを特徴とする請求項１に記載の車両ドア監視システム。
【請求項３】
前記プロセッサは、
前記カメラ画像に写る前記ドアの開口部を検出して、その開口部の位置に基づいて、前記判定エリアを設定することを特徴とする請求項１または請求項２のいずれかに記載の車両ドア監視システム。
【請求項４】
前記プロセッサは、
前記カメラ画像に写る前記ドアの戸先部を検出して、その戸先部の位置に基づいて、前記判定エリアを設定することを特徴とする請求項１または請求項２のいずれかに記載の車両ドア監視システム。
【請求項５】
前記プロセッサは、
前記カメラ画像から前記ドアを検出した状態が所定時間継続したタイミングで、前記ドアにおける異物の挟み込みの有無を判定することを特徴とする請求項１から請求項４のいずれかに記載の車両ドア監視システム。
【請求項６】
前記プロセッサは、
前記カメラ画像から前記ドアを検出する処理が所定数以上の前記ドアで完了したタイミングで、前記ドアにおける異物の挟み込みの有無を判定することを特徴とする請求項１から請求項５のいずれかに記載の車両ドア監視システム。
【請求項７】
前記プロセッサは、
前記報知出力として、報知装置に所定の報知動作を行わせる制御信号を送信することを特徴とする請求項１から請求項６のいずれかに記載の車両ドア監視システム。
【請求項８】
前記プロセッサは、
前記報知出力として、従業員が所持する携帯端末に所定の報知動作を行わせる通知信号を送信することを特徴とする請求項１から請求項７のいずれかに記載の車両ドア監視システム。
【請求項９】
車両のドアの周辺を外部カメラで撮影したカメラ画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定して、その判定結果に応じて報知を行う処理を、プロセッサにより実行する車両ドア監視方法であって、
前記カメラ画像から前記ドアを検出し、
検出された前記ドアの位置に基づいて、判定エリアを設定し、
前記カメラ画像から前記判定エリアの画像を取得し、
前記判定エリアの画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定し、
その判定結果に応じた報知出力として、表示装置に、前記判定エリアを表す状態画像を前記カメラ画像に重畳し、前記ドアにおける異物の挟み込みの有無に応じて前記状態画像の表示形態を変化させて表示することを特徴とする車両ドア監視方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明の車両ドア監視システムは、車両のドアの周辺を外部カメラで撮影したカメラ画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定して、その判定結果に応じて報知を行う処理を、プロセッサにより実行する車両ドア監視システムであって、前記プロセッサは、前記カメラ画像から前記ドアを検出し、検出された前記ドアの位置に基づいて、判定エリアを設定し、前記カメラ画像から前記判定エリアの画像を取得し、前記判定エリアの画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定し、その判定結果に応じた報知出力として、表示装置に、前記判定エリアを表す状態画像を前記カメラ画像に重畳し、前記ドアにおける異物の挟み込みの有無に応じて前記状態画像の表示形態を変化させて表示する構成とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また、本発明の車両ドア監視方法は、車両のドアの周辺を外部カメラで撮影したカメラ画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定して、その判定結果に応じて報知を行う処理を、プロセッサにより実行する車両ドア監視方法であって、前記カメラ画像から前記ドアを検出し、検出された前記ドアの位置に基づいて、判定エリアを設定し、前記カメラ画像から前記判定エリアの画像を取得し、前記判定エリアの画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定し、その判定結果に応じた報知出力として、表示装置に、前記判定エリアを表す状態画像を前記カメラ画像に重畳し、前記ドアにおける異物の挟み込みの有無に応じて前記状態画像の表示形態を変化させて表示する構成とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明によれば、カメラ画像からドアを検出して、検出されたドアの位置に基づいて判定エリアを設定する。このため、車両のドアを外部カメラで撮影することで、列車の停止位置がずれるのに応じて、カメラ画像におけるドアの位置がずれた場合でも、判定エリアを適切に設定して、この判定エリアを表す状態画像をカメラ画像に重畳して、異物の挟み込みの有無に応じて状態画像の表示形態を変化させて表示するため、ドアにおける異物の挟み込みの状況を従業員が即座にかつ詳細に把握することができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
前記課題を解決するためになされた第１の発明は、車両のドアの周辺を外部カメラで撮影したカメラ画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定して、その判定結果に応じて報知を行う処理を、プロセッサにより実行する車両ドア監視システムであって、前記プロセッサは、前記カメラ画像から前記ドアを検出し、検出された前記ドアの位置に基づいて、判定エリアを設定し、前記カメラ画像から前記判定エリアの画像を取得し、前記判定エリアの画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定し、その判定結果に応じた報知出力として、表示装置に、前記判定エリアを表す状態画像を前記カメラ画像に重畳し、前記ドアにおける異物の挟み込みの有無に応じて前記状態画像の表示形態を変化させて表示する構成とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
これによると、カメラ画像からドアを検出して、検出されたドアの位置に基づいて判定エリアを設定する。このため、車両のドアを外部カメラで撮影することで、列車の停止位置がずれるのに応じて、カメラ画像におけるドアの位置がずれた場合でも、判定エリアを適切に設定して、この判定エリアを表す状態画像をカメラ画像に重畳して、異物の挟み込みの有無に応じて状態画像の表示形態を変化させて表示するため、ドアにおける異物の挟み込みの状況を従業員が即座にかつ詳細に把握することができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
また、第８の発明は、前記プロセッサは、前記報知出力として、従業員が所持する携帯端末に所定の報知動作を行わせる通知信号を送信する構成とする。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
また、第９の発明は、車両のドアの周辺を外部カメラで撮影したカメラ画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定して、その判定結果に応じて報知を行う処理を、プロセッサにより実行する車両ドア監視方法であって、前記カメラ画像から前記ドアを検出し、検出された前記ドアの位置に基づいて、判定エリアを設定し、前記カメラ画像から前記判定エリアの画像を取得し、前記判定エリアの画像に基づいて、前記ドアにおける異物の挟み込みの有無を判定し、その判定結果に応じた報知出力として、表示装置に、前記判定エリアを表す状態画像を前記カメラ画像に重畳し、前記ドアにおける異物の挟み込みの有無に応じて前記状態画像の表示形態を変化させて表示する構成とする。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
これによると、第１の発明と同様に、車両のドアを外部カメラで撮影する場合でも、判定エリアを適切に設定して、この判定エリアを表す状態画像をカメラ画像に重畳して、異物の挟み込みの有無に応じて状態画像の表示形態を変化させて表示するため、ドアにおける異物の挟み込みの状況を従業員が即座にかつ詳細に把握することができる。