(57)【特許請求の範囲】
【請求項１】
線路又はそれに準じる軌道上を走行する鉄道車両が通過する踏切の監視領域若しくはその近傍に配設された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、前記鉄道車両を監視する監視センタ装置とを有し、前記監視領域における異常を検出して前記鉄道車両に通知する異常通知システムであって、
前記情報処理装置は、
前記踏切周辺の現場画像を撮像する撮像手段と、
前記撮像手段で撮像した現場画像を前記サーバ装置に通知する現場画像通知手段とを有し、
前記サーバ装置は、
所定の教師用画像を含む教師情報を記憶する記憶手段と、
前記情報処理装置から前記現場画像を取得する現場画像取得手段と、
前記記憶手段に記憶された教師用画像と前記現場画像とに基づいて学習済モデルを生成する学習済モデル生成手段と、
前記学習済モデル生成手段により生成された学習済モデルを前記情報処理装置に通知する学習済モデル通知手段と
を有し、
前記情報処理装置は、
前記サーバ装置から受信した学習済モデルを用いて異常判定を行い、異常判定結果を前記監視センタ装置に通知する
ことを特徴とする異常通知システム。
【請求項２】
前記学習済モデル生成手段は、
前記記憶手段に記憶された教師用画像を前記現場画像と合成して合成画像を生成する合成画像生成手段と、
前記合成画像生成手段により生成された合成画像及び異常スコアを所定の多層ニューラルネットワークに適用して教師有り学習を繰り返して学習済モデルを生成する学習手段と
を有することを特徴とする請求項１に記載の異常通知システム。
【請求項３】
前記合成画像生成手段は、
前記記憶手段に記憶された教師用画像を半透明状態として前記現場画像に重畳して合成画像を生成することを特徴とする請求項２に記載の異常通知システム。
【請求項４】
前記情報処理装置は、
前記踏切における異常を行う場合に、前記撮像手段により撮像された入力画像を前記学習済モデルに入力し、該学習済モデルから出力される危険確率に基づいて異常判定結果を算定することを特徴とする請求項１乃至３のいずれか一つに記載の異常通知システム。
【請求項５】
線路又はそれに準じる軌道上を走行する鉄道車両が通過する踏切の監視領域若しくはその近傍に配設された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、前記鉄道車両を監視する監視センタ装置とを有し、前記監視領域における異常を検出して前記鉄道車両に通知する異常通知システムにおける異常通知方法であって、
前記情報処理装置が、前記踏切周辺の現場画像を撮像する撮像工程と、
前記情報処理装置が、前記撮像工程で撮像した現場画像を前記サーバ装置に通知する現場画像通知工程と、
前記サーバ装置が、所定の教師用画像を含む教師情報を記憶部に格納する格納工程と、
前記サーバ装置が、前記情報処理装置から前記現場画像を取得する現場画像取得工程と、
前記記憶部に記憶された教師用画像と前記現場画像とに基づいて学習済モデルを生成する学習済モデル生成工程と、
前記学習済モデル生成工程により生成された学習済モデルを前記情報処理装置に通知する学習済モデル通知工程と、
前記情報処理装置が、前記サーバ装置から受信した学習済モデルを用いて異常判定を行い、異常判定結果を前記監視センタ装置に通知する異常判定結果通知工程と
を含むことを特徴とする異常通知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、踏切での異常を判定し、該踏切に接近する電車に対して異常を迅速に通知することができる異常通知システム及び異常通知方法に関する。
【背景技術】
【０００２】
従来、鉄道線路と道路が平面交差する踏切は、歩行者又は自動車等の移動体と電車とが衝突して重大の事故を起こす可能性がある危険領域である。このため、かかる踏切には、警報機と遮断機を設置し、踏切の一定距離内に電車が近づくと、警報機に設けられた２個以上の赤色閃光灯を交互に点滅するとともに、警報機からカンカンという音を発し、その後に自動遮断機の遮断棒を降下させ、踏切内への移動体の侵入を抑制している。
【０００３】
このように遮断棒による踏切内への移動体の侵入を抑制したとしても、電車が踏切を通過するときに踏切内の移動体と接触し、重大事故に至るケースがある。このため、固定カメラにより踏切を撮像し、電車の運転席に搭載された表示装置に該踏切の映像を表示する技術が知られている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−０８７９７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、この特許文献１のものは、踏切におけるリアルタイムの映像が電車の表示装置に表示されるため、運転手は、この映像を見ながら異常の有無を予測しなければならない。踏切は、電車が通過する直前まで多種多様の移動体が通過するため、運転手が事前の映像を見ながら異常を予測することは難しい。
【０００６】
その結果、この特許文献１を用いて電車の表示装置に映像を表示したとしても、電車の運転手が踏切内の状況に適正に対処できず、その結果として重大事故が発生する可能性がある。
【０００７】
本発明は、上記の課題を解決するためになされたものであって、踏切の異常状態を電車の運転席に通知し、運転手による安全な走行を支援することができる異常通知システム及び異常通知方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明は、線路又はそれに準じる軌道上を走行する鉄道車両が通過する踏切の監視領域若しくはその近傍に配設された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、前記鉄道車両を監視する監視センタ装置とを有し、前記監視領域における異常を検出して前記鉄道車両に通知する異常通知システムであって、前記情報処理装置は、前記踏切周辺の現場画像を撮像する撮像手段と、前記撮像手段で撮像した現場画像を前記サーバ装置に通知する現場画像通知手段とを有し、前記サーバ装置は、所定の教師用画像を含む教師情報を記憶する記憶手段と、前記情報処理装置から前記現場画像を取得する現場画像取得手段と、前記記憶手段に記憶された教師用画像と前記現場画像とに基づいて学習済モデルを生成する学習済モデル生成手段と、前記学習済モデル生成手段により生成された学習済モデルを前記情報処理装置に通知する学習済モデル通知手段とを有し、前記情報処理装置は、前記サーバ装置から受信した学習済モデルを用いて異常判定を行い、異常判定結果を前記監視センタ装置に通知することを特徴とする。
【０００９】
また、本発明は、上記の発明において、前記学習済モデル生成手段は、前記記憶手段に記憶された教師用画像を前記現場画像と合成して合成画像を生成する合成画像生成手段と、前記合成画像生成手段により生成された合成画像及び異常スコアを所定の多層ニューラルネットワークに適用して教師有り学習を繰り返して学習済モデルを生成する学習手段とを有することを特徴とする。
【００１０】
また、本発明は、上記の発明において、前記合成画像生成手段は、前記記憶部に記憶された教師用画像を半透明状態として前記現場画像に重畳して合成画像を生成することを特徴とする。
【００１１】
また、本発明は、上記の発明において、前記情報処理装置は、前記踏切における異常を行う場合に、前記撮像手段により撮像された入力画像を前記学習済モデルに入力し、該学習済モデルから出力される危険確率に基づいて異常判定結果を算定することを特徴とする。
【００１４】
また、本発明は、線路又はそれに準じる軌道上を走行する鉄道車両が通過する踏切の監視領域若しくはその近傍に配設された情報処理装置と、前記情報処理装置と通信可能なサーバ装置と、前記鉄道車両を監視する監視センタ装置とを有し、前記監視領域における異常を検出して前記鉄道車両に通知する異常通知システムにおける異常通知方法であって、前記情報処理装置が、前記踏切周辺の現場画像を撮像する撮像工程と、前記情報処理装置が、前記撮像工程で撮像した現場画像を前記サーバ装置に通知する現場画像通知工程と、前記サーバ装置が、所定の教師用画像を含む教師情報を記憶部に格納する格納工程と、前記サーバ装置が、前記情報処理装置から前記現場画像を取得する現場画像取得工程と、前記記憶部に記憶された教師用画像と前記現場画像とに基づいて学習済モデルを生成する学習済モデル生成工程と、前記学習済モデル生成工程により生成された学習済モデルを前記情報処理装置に通知する学習済モデル通知工程と、前記情報処理装置が、前記サーバ装置から受信した学習済モデルを用いて異常判定を行い、異常判定結果を前記監視センタ装置に通知する異常判定結果通知工程とを含むことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、踏切の異常状態を電車の運転席に通知し、運転手による安全な走行を支援することができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、実施形態に係る異常通知システムの概要の説明図である。
【図２】図２は、図１に示した情報処理装置の構成を示す機能ブロック図である。
【図３】図３は、図２に示した学習済モデルの一例を示す図である。
【図４】図４は、危険スコアの算定を説明するための説明図である。
【図５】図５は、図１に示したサーバ装置の構成を示す機能ブロック図である。
【図６】図６は、図１に示したサーバ装置における教師有り学習の概要を説明するための説明図である。
【図７】図７は、２つの画像の合成を説明するための説明図である。
【図８】図８は、図１に示した監視センタ装置の構成を示す機能ブロック図である。
【図９】図９は、図５に示したサーバ装置における学習済モデルの生成手順を示すフローチャートである。
【図１０】図１０は、図２に示した情報処理装置における処理手順を示すフローチャートである。
【図１１】図１１は、図５に示したサーバ装置のハードウエア構成の一例を示す図である。
【発明を実施するための形態】
【００１７】
以下に、添付図面を参照して、本発明に係る異常通知システム及び異常通知方法の好適な実施形態を詳細に説明する。
【００１８】
＜異常通知システムの概要＞
まず、本実施形態に係る異常通知システムの概要について説明する。図１は、本実施形態に係る異常通知システムの概要を説明するための説明図である。なお、本実施形態では、電車が通過する踏切に適用した場合について説明する。以下では、プログラムからなるＣＮＮ（Convolutional Neural Network）の学習済モデルを用いる場合を中心に説明する。
【００１９】
従来、鉄道線路と道路が平面交差する踏切は、歩行者、自転車、カート、自動二輪車又は自動車等の移動体と電車とが衝突して重大の事故を起こす可能性がある危険領域である。このため、かかる踏切には、警報機と遮断機を設置し、踏切の一定距離内に電車が近づくと、警報機に設けられた２個以上の赤色閃光灯を交互に点滅させるとともに、警報機からカンカンという警告音を発報し、移動体に対して電車の到来を告げる。その後、自動遮断機の遮断棒を降下させ、踏切内への移動体の侵入を抑制している。
【００２０】
しかしながら、１両あたり３０〜４０tと重い車両からなる電車は、緊急ブレーキ操作によって至短時間で停止することができず、電車が緊急ブレーキを掛けてから電車が停車するまでには、数百ｍの距離、数十秒の時間を要する。このため、電車の運転手は、いち早く踏切内の異常状況を把握する必要がある。
【００２１】
このため、電車が踏切手前の所定位置に到達したならば、該踏切に設置された固定カメラによる映像を該電車の運転席に搭載された表示装置に表示する技術が知られてる（特開２０１７−０８７９７８号公報を参照）。この先行技術によれば、例えば踏切内に自動車が立ち往生している場合に、運転手がその状況を察知して緊急ブレーキ操作を行うことができる。
【００２２】
しかしながら、この先行技術において、電車の運転手が表示装置上で視認することができる映像は、同じ時点での踏切内のリアルタイムな映像そのものであるため、運転手が踏切内での異常の兆候を見過ごしてしまう可能性がある。
【００２３】
そこで、本実施形態では、踏切に設置された情報処理装置３０に学習済モデルＭを設け、この学習済モデルＭにカメラ１０で撮像した画像を入力し、学習済モデルＭから出力される異常確率に基づく異常スコアを算出して、監視センタ装置６０に送信するよう構成している。この監視センタ装置６０が、電車７０の運転席の表示装置に異常スコアを送信し、表示装置に異常スコアを表示することにより、電車７０の運転者が踏切での異常を見逃す事態を低減することが可能となる。なお、この異常スコアとともに、踏切の映像を電車７０の運転席の表示装置に通知して、表示装置に表示することもできる。
【００２４】
この「異常スコア」とは、電車が該踏切を通過するときに危険の要因すなわち異常をもたらす可能性がある度合いを点数化したものであり、例えば０〜１００点のいずれかとなる。１００点に近いほど異常となる可能性が高くなる。なお、学習済モデルＭからは「異常確率（異常をもたらす確率）」が０．００〜１．００の小数点を含む値で出力される。情報処理装置３０は、この異常確率に環境要因（天候等）のパラメータ、踏切における事故率のパラメータなどの係数を掛けて重み付けを行い、０〜１００の値に正規化した値を異常スコアとすることができる。
【００２５】
サーバ装置４０は、ＣＮＮに対して教師有り学習を行って学習済モデルＭを生成し、生成した学習済モデルＭを情報処理装置３０に通知する装置である。ＣＮＮについての教師有り学習を行うためには、大量の教師データが必要となる。このため、本実施形態では、あらかじめ準備された教師用画像Ｂ（例えば、どこかの踏切周辺に停車した車両を含む画像）を準備しておく。一方、情報処理装置３０は、カメラ１０により撮像された踏切の現場画像Ａをサーバ装置４０に通知する。
【００２６】
サーバ装置４０は、この現場画像Ａに教師用画像Ｂを重ね合わせることにより、学習用画像を生成する。ここで、教師用画像Ｂを現場画像Ａに重ね合わせる座標位置を変更することにより、新たな学習用画像を取得することができる。また、教師用画像Ｂを拡大・縮小して現場画像Ａに重ね合わせることにより、新たな学習用画像を取得することができる。このため、深層学習を行う場合に問題となる学習用画像の取得が容易になる。
【００２７】
この際、サーバ装置４０は、教師用画像Ｂを透過的（半透明）に現場画像Ａに重ね合わせるよう構成している。透過的に重ね合わせて合成画像を生成することにより、合成画像中の物体が認識し難くなり、物体の検出が難しくなる。かかる教師有り学習を繰り返すことにより、学習済モデルＭが検出精度の高い堅牢なモデルとなる。実際の踏切の現場画像Ａは、夜間の画像、雨天の画像などが含まれるため、このような状況においても適正な異常スコアを出力することが望まれるため、敢えて物体の検出が難しくなる合成画像Ｃを用いて深層学習を行っている。
【００２８】
情報処理装置３０は、踏切での異常を検出する場合に、カメラ１０で撮像した入力画像を学習済モデルＭに入力する。その結果、学習済モデルＭから出力される異常確率に環境要因（天候等）のパラメータ、踏切における事故率のパラメータなどの係数を掛けて重み付けを行い、０〜１００の値に正規化された異常スコアを算出する。そして、算出した異常スコアを監視センタ１００に通知する。
【００２９】
監視センタ装置６０は、踏切の異常スコアが所定値（例えば、７０）以上である場合に、該踏切に向かい、かつ、踏切から一定距離（例えば、３００ｍ）以内に所在する電車７０の運転席に搭載された表示装置に対して異常スコアを通知し、電車の表示装置に異常スコアを表示する。これにより、電車の運転手が異常スコアから踏切の異常の可能性を察知することができる。
【００３０】
具体的には、図１に示すように、学習済モデルを生成する場合には、情報処理装置３０が、カメラ１０で撮像した現場画像Ａをサーバ装置４０に送信する(Ｓ１)。サーバ装置４０は、あらかじめ記憶部に記憶した教師用画像Ｂを透過的に現場画像Ａに重ね合わせて合成画像Ｃを生成する。この合成画像Ｃが学習用画像となる。そして、この合成画像Ｃと正解データ（異常確率）Ｒを教師データとしてＣＮＮに付与し、バックプロパゲーション等により教師有り学習を行わせる。このようにして、多数の合成画像Ｃを生成し、このうちの適正な合成画像（学習用画像）と正解データＲに基づいてＣＮＮに教師有り学習を行わせ（Ｓ２）、学習済モデルＭを情報処理装置３０に通知する（Ｓ３）。なお、バックプロパゲーションは深層学習に関する周知技術であるため、ここではその説明を省略する。
【００３１】
ここで、上記の合成画像Ｃが、現実に起こりえない状況を示す画像である場合には、この合成画像Ｃが適正ではないため学習用画像として利用せず、合成画像Ｃが適正であるならば学習用画像として利用する。例えば、合成画像Ｃに含まれる自動車の像が空中を浮遊しているような状況を示す場合には、かかる合成画像Ｃは学習用画像とはしない。なお、合成画像Ｃが適正な状況を示すか否かは、既存の画像処理技術により行うことができる。例えば、自動車のタイヤをテンプレートマッチングにより検出し、この道路の領域を特定し、タイヤが道路と接しているか否かを判定するよう構成すればよい。なお、合成画像Ｃを入力して妥当性の確率を出力する新たな学習済モデルを用いて判定するよう構成することもできる。
【００３２】
なお、上記の正解データＲすなわち異常である確率は、教師有り学習を行う担当者が付与することができる。また、現場画像Ａ中に異常状態が発生しているか否かを画像処理技術により検出し、この現場画像Ａの異常状態に基づいて正確データＲを自動的に特定することもできる。例えば、踏切内の自動車が燃えている状況は明らかな異常状態であり、この状況は公知の画像処理により検知することができる。このため、異常である確率「０．９」を自動的に算定する処理を行うことが可能である。
【００３３】
異常判定を行う場合には、情報処理装置３０は、カメラ１０から一定時間ごとに画像を取得し（Ｓ４）、この画像を入力画像として学習済モデルＭに入力し、学習済モデルＭから出力される異常確率に基づいて異常スコアを算出し（Ｓ５）、この異常スコアを監視センタ装置６０に通知する（Ｓ６）。
【００３４】
監視センタ装置６０は、情報処理装置３０から通知された異常スコアが所定値以上である場合に、この異常スコアを電車７０の表示装置に通知し（Ｓ７）、表示装置に異常スコアを表示する。これにより、電車７０の運転手は、踏切における異常状態を察知することができる。
【００３５】
＜情報処理装置３０の構成＞
次に、図１に示した情報処理装置３０の構成について説明する。図２は、図１に示した情報処理装置３０の構成を示す機能ブロック図である。図２に示すように、情報処理装置３０は、カメラ１０と接続され、記憶部３１、制御部３２及び通信Ｉ／Ｆ部３３を有する。
【００３６】
カメラ１０は、例えばＣＣＤ（Charge Coupled Device）からなる撮像装置であり、踏切周辺の画像を撮像する。通信Ｉ／Ｆ部３３は、サーバ装置４０又は監視センタ装置５０と無線通信を行うためのインタフェース部である。記憶部３１は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、学習済モデルＭを記憶する。
【００３７】
ここで、学習済モデルＭの層構造について説明する。図３に示す学習済モデルＭは、学習済モデルの層構造の一例を示す図であり、ここではコンボリューション層（Convolution）５１、コンボリューション層（Convolution）５２、アベレージプーリング層（Average Pooling）５３、コンボリューション層（Convolution）５４、アベレージプーリング層（Average Pooling）５５、全結合層（Fully Connect）５６、全結合層（Fully Connect）５７及び出力層（Softmax）５８を有する。
【００３８】
コンボリューション層５１，５２，５４は、局所的な特徴を抽出するために、前層で近くにあるノードにフィルタを畳み込んで特徴マップを生成する。アベレージプーリング層５３，５５は、局所的な特徴をまとめあげるために、前層であるコンボリューション層から出力された特徴マップをさらに縮小して新たな特徴マップとする。このように、ＣＮＮの隠れ層は、コンボリューション層とアベレージプーリング層により形成される。全結合層５６，５７は、特徴部分が取り出された特徴マップを一つのノードに結合し、所定の活性化関数によって変換された値を出力する。この活性化関数には、周知技術であるＲｅＬＵ（Rectified Linear Unit）等を用いることができる。出力層５８は、全結合層５７からの出力（特徴変数）を元に、ソフトマックス関数を用いて確率に変換し、それぞれ正しく分類される確率を出力する。なお、オーバーフィッティングを避けるためにドロップアウト層を追加することもできる。なお、ＣＮＮの基本構造は公知技術であるため、ここではその詳細な説明を省略する。
【００３９】
制御部３２は、情報処理装置３０の全体制御を行う制御部であり、画像受付部３２ａ、現場画像通知部３２ｂ、異常スコア算出部３２ｃ及び通知部３２ｄを有する。実際には、これらのプログラムをＣＰＵ（Central Processing Unit）にロードして実行することにより、画像受付部３２ａ、現場画像通知部３２ｂ、異常スコア算出部３２ｃ及び通知部３２ｄにそれぞれ対応するプロセスを実行させることになる。
【００４０】
画像受付部３２ａは、カメラ１０から送信された画像を受け付ける処理部である。なお、カメラ１０からＭＰＥＧ等で圧縮された動画像（映像）を受け付けた場合には、この動画像から一定時間毎に画像を切り出し、現場画像Ａとして記憶部３１に一時記憶する。現場画像通知部３２ｂは、現場画像Ａをサーバ装置４０に通知する処理部である。
【００４１】
異常スコア算出部３２ｃは、学習済モデルＭを用いて異常スコアを算出する処理部であり、通知部３２ｄは、異常スコア算出部３２ｃにより算出された異常スコアを監視センタ装置６０に通知する処理部である。具体的には、図４に示すように、カメラ１０で撮像した入力画像Ｅを学習済モデルＭに入力し、学習済モデルＭから出力される異常確率（０．００〜１．００）を取得する。この異常確率を天候、踏切での過去の事故率などのパラメータにより重み付けし、この値を０〜１００に正規化して異常スコアを算出する。
【００４２】
＜サーバ装置４０の構成＞
次に、図１に示したサーバ装置４０の構成について説明する。図５は、図１に示したサーバ装置４０の構成を示す機能ブロック図である。図６は、図１に示したサーバ装置４０による学習済モデルＭの生成の概要を示す図である。
【００４３】
図５に示すように、サーバ装置４０は、入力部４１、表示部４２、通信Ｉ／Ｆ部４３、記憶部４４及び制御部４５を有する。入力部４１は、キーボードやマウス等の入力デバイスであり、表示部４２は、液晶パネルやディスプレイ装置等の表示デバイスである。通信Ｉ／Ｆ部４３は、情報処理装置３０と無線通信を行うためのインタフェース部である。
【００４４】
記憶部４４は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、教師用画像Ｂ、合成画像Ｃ、ＣＮＮＤ及び学習済モデルＭを記憶する。教師用画像Ｂは、ＣＮＮＤに教師有り学習を行わせるためにあらかじめ準備された画像であり、例えば、どこかの踏切周辺に停車した車両を含む画像である。
【００４５】
合成画像Ｃは、教師用画像Ｂを透過的（半透明）に現場画像Ａに重ね合わせつつ合成した画像である。ＣＮＮデータＤは、学習済モデルＭを作成するための多層の畳込モデルである。学習済モデルＭは、合成画像Ｃ及び正解データＲ（異常確率）を用いて深層学習による挙止有り学習を行った結果得られるモデルである。
【００４６】
制御部４５は、サーバ装置４０の全体制御を行う制御部であり、現場画像受信部４５ａ、合成画像生成部４５ｂ、学習処理部４５ｃ及び学習済モデル送信部４５ｄを有する。実際には、これらを含む学習済モデル生成プログラムをＣＰＵにロードして実行することにより、現場画像受信部４５ａ、合成画像生成部４５ｂ、学習処理部４５ｃ及び学習済モデル送信部４５ｄにそれぞれ対応するプロセスを含む学習済モデル生成プロセスを実行させることになる。
【００４７】
現場画像受信部４５ａは、情報処理装置３０から踏切の現場画像Ａを受信する処理部である。合成画像生成部４５ｂは、図６に示すように、教師用画像Ｂを透過的（半透明）に現場画像Ａに重ね合わせつつ合成して合成画像Ｃを生成する処理部である。
【００４８】
図７は、合成画像Ｃの一例を示す図である。この例では、ある踏切に停車する車両の画像が教師用画像Ｂとされた場合を示している。図７に示すように、合成画像Ｃを生成する場合には、この教師用画像Ｂを半透明にして現場画像Ａに合成する。画像を合成する際の透過率については、あらかじめ設定されているものとする。これにより、深層学習を行うための学習データを大量に生成することができる。
【００４９】
なお、教師用画像Ｂを透過的に現場画像Ａに重ね合わせて合成画像Ｃを生成することにより、合成画像Ｃ中の物体が認識し難くなり、物体の検出が難しくなる。かかる教師有り学習を繰り返すことにより、学習済モデルＭが検出精度の高い堅牢なモデルとなる。実際の踏切の現場画像Ａは、夜間の画像、雨天の画像などが含まれるため、このような状況においても適正な異常スコアを出力することが望まれるため、敢えて物体の検出が難しくなる合成画像Ｃを用いて深層学習を行っている。
【００５０】
ここで、すでに説明した通り、合成画像Ｃが、現実に起こりえない状況を示す画像である場合には、この合成画像Ｃが適正ではないため学習用画像として利用せず、合成画像Ｃが適正であるならば学習用画像として利用する。例えば、合成画像Ｃに含まれる自動車の像が空中を浮遊しているような状況を示す場合には、かかる合成画像Ｃは学習用画像とはしない。なお、合成画像Ｃが適正な状況を示すか否かは、既存の画像処理技術により行うことができる。例えば、自動車のタイヤをテンプレートマッチングにより検出し、この道路の領域を特定し、タイヤが道路と接しているか否かを判定するよう構成すればよい。なお、合成画像Ｃを入力して妥当性の確率を出力する新たな学習済モデルを用いて判定するよう構成することもできる。
【００５１】
学習処理部４５ｃは、合成画像Ｃ及び正解データＲを学習データとして深層学習の教師有り学習を行う処理部であり、具体的には、図６に示すように、合成画像ＣをＣＮＮデータＤに入力するとともに、正解データＲに基づいてバックプロパゲーションを行わせ、各パスの重みを決定する教師有り学習処理を繰り返して、学習済モデルＭを生成する。
【００５２】
なお、正解データＲすなわち異常である確率は、教師有り学習を行う担当者が付与することができる。また、現場画像Ａ中に異常状態が発生しているか否かを画像処理技術により検出し、この現場画像Ａの異常状態に基づいて正確データＲを自動的に特定することもできる。例えば、踏切内の自動車が燃えている状況は明らかな異常状態であり、この状況は公知の画像処理により検知することができる。このため、異常である確率「０．９」を自動的に算定する処理を行うことが可能である。
【００５３】
学習済モデル送信部４５ｄは、踏切に設置された情報処理装置３０に学習済モデルＭを通知する処理部である。なお、情報処理装置３０は、この学習済モデルＭを用いて異常スコアを算出することになる。
【００５４】
＜監視センタ装置６０の構成＞
次に、図１に示した監視センタ装置６０の構成について説明する。図４は、図１に示した監視センタ装置６０の構成を示す機能ブロック図である。図４に示すように、監視センタ装置６０は、入力部６１、表示部６２、通信Ｉ／Ｆ部６３、記憶部６４及び制御部６５を有する。
【００５５】
入力部６１は、キーボードやマウス等の入力デバイスであり、表示部６２は、液晶パネルやディスプレイ装置等の表示デバイスである。通信Ｉ／Ｆ部６３は、情報処理装置３０及び電車７０に搭載された表示装置と無線通信を行うためのインタフェース部である。
【００５６】
記憶部６４は、ハードディスク装置や不揮発性メモリ等の記憶デバイスであり、異常スコア６４ａ及び判定しきい値６４ｂを記憶する。異常スコア６４ａは、情報処理装置３０から受信した異常スコアのログデータであり、判定しきい値６４ｂは、電車７０の表示装置に対して異常スコアを通知するか否かを判定する際に用いられるしきい値データである。
【００５７】
制御部６５は、監視センタ装置６０の全体制御を行う制御部であり、異常スコア受信部６５ａ、通知判定部６５ｂ及び異常スコア通知部６５ｃを有する。実際には、これらのプログラムをＣＰＵにロードして実行することにより、異常スコア受信部６５ａ、通知判定部６５ｂ及び異常スコア通知部６５ｃにそれぞれ対応するプロセスを実行させることになる。
【００５８】
異常スコア受信部６５ａは、情報処理装置３０により送信された異常スコアを受信する処理部である。通知判定部６５ｂは、異常スコア受信部６５ａが受信した異常スコアを電車７０の表示装置に通知するか否かを判定する処理部である。例えば、記憶部６４に記憶した判定しきい値６４ｂが「７０」であり、異常スコアが８０である場合には、通知判定部６５ｂは異常スコアを電車７０の表示装置に通知すると判定し、異常スコアが６０である場合には、通知判定部６５ｂは異常スコアを電車７０の表示装置に通知しないと判定する。
【００５９】
異常スコア通知部６５ｃは、通知判定部６５ｂにより異常スコアを電車７０の表示装置に通知すると判定された場合に、電車７０の表示装置に対して異常スコアを通知する処理部である。
【００６０】
＜サーバ装置４０の処理手順＞
次に、サーバ装置４０の処理手順について説明する。図９は、図５に示したサーバ装置９０の処理手順を示すフローチャートである。サーバ装置４０は、情報処理装置３０から現場画像Ａを受信したならば（ステップＳ１０１）、この現場画像Ａに教師用画像Ｂを透過的に重畳して合成画像Ｃを生成する（ステップＳ１０２）。
【００６１】
そして、合成画像Ｃと正解データＲを用いてＣＮＮＤに教師有り学習処理を行わせる（ステップＳ１０３）。同じ教師用画像Ｂを用いて所定数未満しか教師有り学習を行わなかった場合には（ステップＳ１０４；Ｎｏ）、教師用画像Ｂを重畳する際の位置又は教師用画像Ｂの拡大縮小率等の合成条件を変えて（ステップＳ１０５）、ステップＳ１０２に移行し、同様の処理を行う。
【００６２】
これに対して、同じ教師用画像Ｂを用いて所定数以上教師有り学習を行った場合には（ステップＳ１０４；Ｙｅｓ）、ステップＳ１０１に移行して、新たな現場画像Ａを取得し、同様の処理を繰り返す。
【００６３】
そして、所定の終了条件を満たしたならば、学習済モデルＭを記憶部４４に記憶するとともに（ステップＳ１０７）、学習済モデルＭを情報処理装置３０に送信して（ステップＳ１０８）、上記一蓮の処理を終了する。
【００６４】
＜情報処理装置３０の処理手順＞
次に、情報処理装置３０により異常判定を行う場合の処理手順について説明する。図１０は、図２に示した情報処理装置３０により異常判定を行う場合の処理手順を示すフローチャートである。同図に示すように、情報処理装置３０は、入力画像Ｅを受信したならば（ステップＳ２０１）、該入力画像Ｅを学習済モデルＭに入力して異常確率（０．００〜１．００）を取得する（ステップＳ２０２）。
【００６５】
その後、この異常確率に天候、踏切における事故率等のパラメータの重み付けを行い、０〜１００の値に正規化して、異常スコアを算定し（ステップＳ２０３）、算定した異常スコアを監視センタ装置６０に送信する（ステップＳ２０４）。かかる一連の処理を所定の終了条件を満たすまで繰り返し（ステップＳ２０５；Ｎｏ）、所定の終了条件を満たしたならば（ステップＳ２０５；Ｙｅｓ）、上記一蓮の処理を終了する。
【００６６】
＜ハードウエアとの関係＞
次に、本実施形態に係るサーバ装置４０と、コンピュータの主たるハードウエア構成の対応関係について説明する。図１１は、ハードウエア構成の一例を示す図である。
【００６７】
一般的なコンピュータは、ＣＰＵ９１、ＲＯＭ（Read Only Memory）９２、ＲＡＭ９３及び不揮発性メモリ９４などがバス９５により接続された構成となる。不揮発性メモリ９４の代わりにハードディスク装置が設けられていても良い。説明の便宜上、基本的なハードウエア構成のみを示している。
【００６８】
ここで、ＲＯＭ９２又は不揮発性メモリ９４には、オペレーティングシステム（Operating System；以下、単に「ＯＳ」と言う）の起動に必要となるプログラム等が記憶されており、ＣＰＵ９１は、電源投入時にＲＯＭ９２又は不揮発性メモリ９４からＯＳのプログラムをリードして実行する。
【００６９】
一方、ＯＳ上で実行される各種のアプリケーションプログラムは、不揮発性メモリ９４に記憶されており、ＣＰＵ９１がＲＡＭ９３を主メモリとして利用しつつアプリケーションプログラムを実行することにより、アプリケーションに対応するプロセスが実行される。
【００７０】
そして、本実施形態のサーバ装置４０の学習済モデル生成プログラムについても、他のアプリケーションプログラムと同様に不揮発性メモリ９４等に記憶され、ＣＰＵ９１が、この学習済モデル生成プログラムをロードして実行することになる。サーバ装置４０の場合には、図５に示した現場画像受信部４５ａ、合成画像生成部４５ｂ、学習処理部４５ｃ及び学習済モデル送信部４５ｄに対応するルーチンを含む学習済モデル生成プログラムが不揮発性メモリ９４等に記憶される。ＣＰＵ９１により学習済モデル生成プログラムがロード実行されることにより、現場画像受信部４５ａ、合成画像生成部４５ｂ、学習処理部４５ｃ及び学習済モデル送信部４５ｄに対応する学習済モデル生成プロセスが生成される。なお、教師用画像Ｂ及びＣＮＮＤ等は、あらかじめ不揮発性メモリ９４に記憶される。
【００７１】
上述してきたように、本実施形態では、サーバ装置４０が、現場画像Ａと教師用画像Ｂとを透過的に重畳して合成画像Ｃを生成し、この合成画像Ｃと正解データＲに基づいて学習済モデルＭを生成して情報処理装置３０に通知する。情報処理装置３０は、この学習済モデルＭを用いて入力画像Ｅの異常スコアを生成して監視センタ装置６０に通知し、監視センタ装置６０は、異常スコアが所定の判定しきい値以上である場合に電車７０の表示装置に異常スコアを通知するよう構成したので、電車７０の運転手は、踏切での異常を把握することができる。この際、深層学習に必要となる学習用画像を効率良く生成することが可能となる。
【００７２】
なお、上記実施形態では、自動車が含まれる画像を教師用画像Ｂとして用いる場合について説明したが、人、自転車、自動二輪車などの各種移動体が含まれる画像を教師用画像Ｂとして用いる場合に適用することもできる。また、踏切周辺に移動体が存在しないが、踏切周辺で火災などの異常が発生した画像を教師用画像Ｂとして用いることもできる。
【００７３】
また、上記実施形態では、電車の表示装置に異常スコアを表示する場合を示したが、本発明はこれに限定されるものではなく、異常スコアとともに踏切の映像を表示するよう構成することもできる。
【００７４】
また、上記実施形態では、サーバ装置４０において深層学習による教師有り学習を行う場合を示したが、本発明はこれに限定されるものではなく、クラウド又はクラウドのエッジコンピューティングにより教師有り学習を行う場合に適用することもできる。
【００７５】
また、上記実施形態では、本発明を電車に適用した場合を示したが、本発明はこれに限定されるものではなく、線路又はそれに準じる軌道上を走行する各種の鉄道車両に適用することもできる。
【００７６】
また、上記の各実施形態で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。
【産業上の利用可能性】
【００７７】
本発明に係る異常通知システム及び異常通知方法は、踏切の異常状態を電車の運転席に通知し、運転手による安全な走行を支援する場合に適している。
【符号の説明】
【００７８】
Ａ  現場画像
Ｂ  教師用画像
Ｃ  合成画像
Ｄ  ＣＮＮデータ
Ｅ  入力画像
Ｍ  学習済モデル
Ｒ  正解データ
１０  カメラ
３０  情報処理装置
３１  記憶部
３２  制御部
３２ａ  画像受付部
３２ｂ  現場画像通知部
３２ｃ  異常スコア算出部
３２ｄ  通知部
３３  通信Ｉ／Ｆ部
４０  サーバ装置
４１  入力部
４２  表示部
４３  通信Ｉ／Ｆ部
４４  記憶部
４５  制御部
４５ａ  現場画像受信部
４５ｂ  合成画像生成部
４５ｃ  学習処理部
４５ｄ  学習済モデル送信部
６０  監視センタ装置
６１  入力部
６２  表示部
６３  通信Ｉ／Ｆ部
６４  記憶部
６４ａ  異常スコア
６４ｂ  判定しきい値
６５  制御部
６５ａ  異常スコア受信部
６５ｂ  通知判定部
６５ｃ  異常スコア通知部
７０  電車
【要約】
【課題】踏切の異常状態を電車の運転席に通知し、運転手による安全な走行を支援することを課題とする。
【解決手段】サーバ装置４０が、現場画像Ａと教師用画像Ｂとを透過的に重畳して合成画像Ｃを生成し、この合成画像Ｃと正解データＲに基づいて学習済モデルＭを生成して情報処理装置３０に通知する。情報処理装置３０は、この学習済モデルＭを用いて入力画像Ｅの異常スコアを生成して監視センタ装置６０に通知し、監視センタ装置６０は、異常スコアが所定の判定しきい値以上である場合に電車７０の表示装置に異常スコアを通知する。
【選択図】図１【図１】
0006961041.tif 000002
【図２】
0006961041.tif 000003
【図３】
0006961041.tif 000004
【図４】
0006961041.tif 000005
【図５】
0006961041.tif 000006
【図６】
0006961041.tif 000007
【図７】
0006961041.tif 000008
【図８】
0006961041.tif 000009
【図９】
0006961041.tif 000010
【図１０】
0006961041.tif 000011
【図１１】
0006961041.tif 000012