(57)【要約】【課題】架線金具のみを正しく検出することを可能とした架線金具検出装置および架線金具検出方法を提供する。【解決手段】電車車両１の走行中にトロリ線４および架線設備を撮影するラインセンサカメラ２と、予め取得した架線金具の画像および架線金具以外の画像を用いて人工知能機能を学習させる事前処理部３１ａと、車両１の走行中にラインセンサカメラ２から入力される画像信号からラインセンサ画像を作成するラインセンサ画像作成部３１ｂと、ラインセンサ画像に対し、画像信号に明暗の差を大きくする明るさ補正処理を行う明るさ補正部３１ｃと、明るさ補正処理を行ったラインセンサ画像から架線金具又は架線金具以外を切り出した切り出し画像を作成する画像切り出し部３１ｄと、切り出し画像を人工知能機能に入力することにより架線金具の識別を行う金具識別処理部３１ｅとを備える構成とした。【選択図】図２
2020147129.tif 000002
【特許請求の範囲】
【請求項１】
鉄道車両の走行中に架線および架線設備を前記鉄道車両の進行方向に対して垂直に撮影するラインセンサカメラと、
前記ラインセンサカメラから出力された画像信号を時系列に並べて作成したラインセンサ画像に対し、画像処理を行って、前記画像の中から架線金具を検出する画像処理部とを有し、
前記画像処理部は、
予め取得した前記架線金具の画像および前記架線金具以外の画像を用いて学習した人工知能機能を実装した演算装置を備え、
前記演算装置は、
前記人工知能機能の学習を行う事前処理部と、
前記車両の走行中に前記ラインセンサカメラから入力される画像信号からラインセンサ画像を作成するラインセンサ画像作成部と、
前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正処理を行う明るさ補正部と、
前記明るさ補正処理を行った前記ラインセンサ画像から前記架線金具又は前記架線金具以外を切り出した切り出し画像を作成する画像切り出し部と、
前記切り出し画像を前記人工知能機能に入力することにより前記架線金具の識別を行う金具識別処理部と
を備えることを特徴とする架線金具検出装置。
【請求項２】
前記画像切り出し部は、
前記明るさ補正処理を行った前記ラインセンサ画像を格子状に分割し、分割された前記ラインセンサ画像中から前記架線金具の画像又は前記架線金具以外の画像を切り出す判定画像切り出し部である
ことを特徴とする請求項１に記載の架線金具検出装置。
【請求項３】
前記人工知能機能は、予め取得したラインセンサ画像を格子状に分割し、分割された各画像について、前記架線金具が存在し正解フラグが付された画像と、前記架線金具以外が存在し不正解フラグが付された画像とに基づいて、予め前記架線金具と前記架線金具以外の２クラス識別学習を行った学習済みの畳み込みニューラルネットワークである
ことを特徴とする請求項２に記載の架線金具検出装置。
【請求項４】
前記演算装置は、
前記明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定部と、
前記画像に対し、前記昼夜判定部で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転部と、
前記画像輝度反転部で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理部と、
前記メディアンフィルタ処理部でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行うＧＳＴＨ処理部と、
前記ＧＳＴＨ処理部でＧＳＴＨ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理部と、
前記グレースケールオープニング処理部でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理部と、
前記二値化処理部で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理部と、
前記クロージング処理部でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理部と
をさらに備え、
前記画像切り出し部が、前記金具候補検出処理部で検出した金具候補の情報に基づいて前記画像から金具候補の画像を切り出す金具候補画像切り出し部である
ことを特徴とする請求項１に記載の架線金具検出装置。
【請求項５】
前記人工知能機能は、予め取得したラインセンサ画像中に存在する前記架線金具の部分を切り出して正解フラグを付した画像と、予め取得したラインセンサ画像中に存在する前記架線金具以外の部分を切り出して不正解フラグを付した画像とに基づいて、予め前記架線金具と前記架線金具以外の２クラス識別学習を行った学習済みの畳み込みニューラルネットワークである
ことを特徴とする請求項４に記載の架線金具検出装置。
【請求項６】
前記事前処理部は、
予め取得した前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正処理を行う明るさ補正部と、
明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定部と、
昼夜判定部で昼夜判定を行った前記ラインセンサ画像に対し、前記昼夜判定部で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転部と、
前記画像輝度反転部で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理部と、
前記メディアンフィルタ処理部でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行うＧＳＴＨ処理部と、
前記ＧＳＴＨ処理部でＧＳＴＨ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理部と、
前記グレースケールオープニング処理部でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理部と、
前記二値化処理部で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理部と、
前記クロージング処理部でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理部と、
前記金具候補検出処理部で検出した金具候補の情報に基づいて前記ラインセンサ画像から金具候補の画像を切り出す金具候補画像切り出し部と、
前記金具候補画像切り出し部で切り出され正解フラグが付された画像と、前記金具候補画像切り出し部で切り出され不正解フラグが付された画像とを前記人工知能機能に入力して前記人工知能機能の学習を行う重み学習部と
を備えることを特徴とする請求項４又は請求項５に記載の架線金具検出装置。
【請求項７】
予め取得した架線金具の画像および前記架線金具以外の画像を用いて人工知能機能の学習を行う事前処理工程と、
鉄道車両の走行中に架線および架線設備を前記鉄道車両の進行方向に対して垂直に撮影するラインセンサカメラから出力された画像信号を時系列に並べてラインセンサ画像を作成する画像作成工程と、
前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正工程と、
明るさ補正を行った前記ラインセンサ画像から前記架線金具又は前記架線金具以外を切り出す画像切り出し工程と、
切り出した画像を、前記事前処理工程により学習した前記人工知能機能に入力して前記架線金具の識別を行う金具判定工程と
を含むことを特徴とする架線金具検出方法。
【請求項８】
前記画像切り出し工程が、前記架線金具の画像又は前記架線金具以外の画像を格子状に分割し、分割された前記ラインセンサ画像中から前記架線金具の画像又は前記架線金具以外の画像を切り出す判定画像切り出し工程である
ことを特徴とする請求項７に記載の架線金具検出方法。
【請求項９】
前記人工知能機能は、予め取得したラインセンサ画像を格子状に分割し、分割された各画像について、前記架線金具が存在し正解フラグが付された画像と、前記架線金具以外が存在し不正解フラグが付された画像とに基づいて、予め前記架線金具と前記架線金具以外の２クラス識別学習を行った学習済みの畳み込みニューラルネットワークである
ことを特徴とする請求項８に記載の架線金具検出方法。
【請求項１０】
前記明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定工程と、
前記ラインセンサ画像に対し、前記昼夜判定工程で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転工程と、
前記画像輝度反転工程で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理工程と、
前記メディアンフィルタ処理工程でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行うＧＳＴＨ処理工程と、
前記ＧＳＴＨ処理工程でＧＳＴＨ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理工程と、
前記グレースケールオープニング処理工程でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理工程と、
前記二値化処理工程で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理工程と、
前記クロージング処理工程でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理工程と
をさらに含み、
前記画像切り出し工程が、前記金具候補検出処理部で検出した金具候補の情報に基づいて前記画像から金具候補の画像を切り出す金具候補画像切り出し工程である
ことを特徴とする請求項７に記載の架線金具検出方法。
【請求項１１】
前記人工知能機能は、予め取得したラインセンサ画像中に存在する前記架線金具の部分を切り出して正解フラグを付した画像と、予め取得したラインセンサ画像中に存在する前記架線金具以外の部分を切り出して不正解フラグを付した画像とに基づいて、予め前記架線金具と前記架線金具以外の２クラス識別学習を行った学習済みの畳み込みニューラルネットワークである
ことを特徴とする請求項１０に記載の架線金具検出方法。
【請求項１２】
前記事前処理工程は、
予め取得した前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正処理を行う明るさ補正工程と、
明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定工程と、
昼夜判定工程で昼夜判定を行った前記ラインセンサ画像に対し、前記昼夜判定工程で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転工程と、
前記画像輝度反転工程で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理工程と、
前記メディアンフィルタ処理工程でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行うＧＳＴＨ処理工程と、
前記ＧＳＴＨ処理工程でＧＳＴＨ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理工程と、
前記グレースケールオープニング処理工程でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理工程と、
前記二値化処理工程で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理工程と、
前記クロージング処理工程でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理工程と、
前記金具候補検出処理工程で検出した金具候補の情報に基づいて前記ラインセンサ画像から金具候補の画像を切り出す金具候補画像切り出し工程と、
前記金具候補画像切り出し工程で切り出され正解フラグが付された画像と、前記金具候補画像切り出し部で切り出され不正解フラグが付された画像とを前記人工知能機能に入力して前記人工知能機能の学習を行う重み学習工程と
を含むことを特徴とする請求項１０又は請求項１１に記載の架線金具検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ハンガーをはじめとする架線金具を画像処理によって検出する架線金具検出装置および架線金具検出方法に関する。
【背景技術】
【０００２】
鉄道事業者では、長距離に亘る鉄道軌道に沿って設置された電車線の検査を行う必要がある。電車線としてのハンガーをはじめとする架線金具は、従来、保守員の目視によって営業車や軌陸車あるいは線路上から確認される。この作業にかかる保守員の労力を低減するため、電車線の検査の自動化によって業務を省力化することが望まれている。例えば、架線金具の検査において、鉄道軌道を走行する鉄道車両の屋根上にラインセンサカメラを設置して撮影したトロリ線近傍の画像を用いて架線金具の画像を検出する方法がある。そして、この架線金具の画像からハンガーの画像を検出してその検査や良否判定を行うものである。
【０００３】
一般に、正常なハンガーは鉛直に架設されているが、温度変化等により鉛直方向に対して傾斜すると電車の集電特性を劣化させるため、ハンガーの角度や位置を把握することも要求されている。
【０００４】
ここで、下記特許文献１には、撮影した画像からテンプレートマッチング処理、または鉛直方向のエッジ検出処理によって、ハンガーを検出する技術が開示されている。また下記特許文献２には、撮影した画像から、Ｈｏｕｇｈ変換処理によりハンガーを検出する技術が開示されている。
【０００５】
また、下記特許文献３には、ＧＳＴＨ処理を応用することで、ハンガーを検出する技術が開示されている。特許文献３によれば、架線に対して交差する長方形形状をしたハンガーを検出することができる。
【０００６】
また、本出願人は、特許文献４で、ハンガーだけではなく、コネクタなどの架線金具を検出することを可能とした技術を提案した。特許文献１〜３に開示された技術が、ハンガーのように架線に交差する方向に延びるものを検出する技術であるのに対し、特許文献４では架線をまず初めに除去し、残った構造物を検出することで、電車線を枕木方向から見た際（図１３）に、架線と異なる方向に延伸している架線金具を検出することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第５４０２０９６号公報
【特許文献２】特開２０１０−２８５０５４号公報
【特許文献３】特開２０１６−１６８９３７号公報
【特許文献４】特願２０１７−２４７２３４号
【非特許文献】
【０００８】
【非特許文献１】内田祐介，山下隆義著、「［サーベイ論文］畳み込みニューラルネットワークの研究動向」、信学技報、社団法人電子情報通信学会出版、2017年12月、vol. 117、no. 362、pp. 25-38
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１，２に開示された発明は、単純な線条構成であればハンガー検出が可能であるが、わたり線や、オーバーラップ箇所など、複数の線条が交差する箇所では、ハンガー検出が難しい。
すなわち、特許文献１は鉛直方向のエッジ検出によってハンガーを検出する。一般的なエッジ検出は２ｐｉｘｅｌ間の微分値の大きい箇所をエッジとして検出するが、２ｐｉｘｅｌ間という局所的な検出では、誤検出が多くなる可能性があるという問題があった。
また、特許文献２は、Ｈｏｕｇｈ変換処理によりハンガーを検出する。Ｈｏｕｇｈ変換は画像全体の特徴とハンガー特徴との相対的な投票量を用いてハンガーを検出するので、画像全体に対して小さく写るハンガーを検出することが難しいという問題があった。
【００１０】
また、特許文献３は、例えばコネクタのような、長方形ではなく曲線を持つような形状のものは検出できないという問題があった。
【００１１】
特許文献４は、背景に架線と異なる方向に延伸している背景物やノイズが存在する場合に、それらを架線金具として誤検出してしまう可能性があるという問題があった。
【００１２】
このようなことから本発明は、架線金具のみを正しく検出することを可能とした架線金具検出装置および架線金具検出方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記の課題を解決するための第１の発明に係る架線金具検出装置は、
鉄道車両の走行中に架線および架線設備を前記鉄道車両の進行方向に対して垂直に撮影するラインセンサカメラと、
前記ラインセンサカメラから出力された画像信号を時系列に並べて作成したラインセンサ画像に対し、画像処理を行って、前記画像の中から架線金具を検出する画像処理部とを有し、
前記画像処理部は、
予め取得した前記架線金具の画像および前記架線金具以外の画像を用いて学習した人工知能機能を実装した演算装置を備え、
前記演算装置は、
前記人工知能機能の学習を行う事前処理部と、
前記車両の走行中に前記ラインセンサカメラから入力される画像信号からラインセンサ画像を作成するラインセンサ画像作成部と、
前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正処理を行う明るさ補正部と、
前記明るさ補正処理を行った前記ラインセンサ画像から前記架線金具又は前記架線金具以外を切り出した切り出し画像を作成する画像切り出し部と、
前記切り出し画像を前記人工知能機能に入力することにより前記架線金具の識別を行う金具識別処理部と
を備えることを特徴とする。
【００１４】
また、上記の課題を解決するための第２の発明に係る架線金具検出装置は、第１の発明において、
前記画像切り出し部は、
前記明るさ補正処理を行った前記ラインセンサ画像を格子状に分割し、分割された前記ラインセンサ画像中から前記架線金具の画像又は前記架線金具以外の画像を切り出す判定画像切り出し部である
ことを特徴とする。
【００１５】
また、上記の課題を解決するための第３の発明に係る架線金具検出装置は、第２の発明において、
前記人工知能機能は、予め取得したラインセンサ画像を格子状に分割し、分割された各画像について、前記架線金具が存在し正解フラグが付された画像と、前記架線金具以外が存在し不正解フラグが付された画像とに基づいて、予め前記架線金具と前記架線金具以外の２クラス識別学習を行った学習済みの畳み込みニューラルネットワークである
ことを特徴とする。
【００１６】
また、上記の課題を解決するための第４の発明に係る架線金具検出装置は、第１の発明において、
前記演算装置は、
前記明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定部と、
前記画像に対し、前記昼夜判定部で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転部と、
前記画像輝度反転部で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理部と、
前記メディアンフィルタ処理部でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行うＧＳＴＨ処理部と、
前記ＧＳＴＨ処理部でＧＳＴＨ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理部と、
前記グレースケールオープニング処理部でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理部と、
前記二値化処理部で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理部と、
前記クロージング処理部でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理部と
をさらに備え、
前記画像切り出し部が、前記金具候補検出処理部で検出した金具候補の情報に基づいて前記画像から金具候補の画像を切り出す金具候補画像切り出し部である
ことを特徴とする。
【００１７】
また、上記の課題を解決するための第５の発明に係る架線金具検出装置は、第４の発明において、
前記人工知能機能は、予め取得したラインセンサ画像中に存在する前記架線金具の部分を切り出して正解フラグを付した画像と、予め取得したラインセンサ画像中に存在する前記架線金具以外の部分を切り出して不正解フラグを付した画像とに基づいて、予め前記架線金具と前記架線金具以外の２クラス識別学習を行った学習済みの畳み込みニューラルネットワークである
ことを特徴とする。
【００１８】
また、上記の課題を解決するための第６の発明に係る架線金具検出装置は、第４又は第５の発明において、
前記事前処理部は、
予め取得した前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正処理を行う明るさ補正部と、
明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定部と、
昼夜判定部で昼夜判定を行った前記ラインセンサ画像に対し、前記昼夜判定部で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転部と、
前記画像輝度反転部で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理部と、
前記メディアンフィルタ処理部でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行うＧＳＴＨ処理部と、
前記ＧＳＴＨ処理部でＧＳＴＨ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理部と、
前記グレースケールオープニング処理部でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理部と、
前記二値化処理部で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理部と、
前記クロージング処理部でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理部と、
前記金具候補検出処理部で検出した金具候補の情報に基づいて前記ラインセンサ画像から金具候補の画像を切り出す金具候補画像切り出し部と、
前記金具候補画像切り出し部で切り出され正解フラグが付された画像と、前記金具候補画像切り出し部で切り出され不正解フラグが付された画像とを前記人工知能機能に入力して前記人工知能機能の学習を行う重み学習部と
を備えることを特徴とする。
【００１９】
また、上記の課題を解決するための第７の発明に係る架線金具検出方法は、
予め取得した架線金具の画像および前記架線金具以外の画像を用いて人工知能機能の学習を行う事前処理工程と、
鉄道車両の走行中に架線および架線設備を前記鉄道車両の進行方向に対して垂直に撮影するラインセンサカメラから出力された画像信号を時系列に並べてラインセンサ画像を作成する画像作成工程と、
前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正工程と、
明るさ補正を行った前記ラインセンサ画像から前記架線金具又は前記架線金具以外を切り出す画像切り出し工程と、
切り出した画像を、前記事前処理工程により学習した前記人工知能機能に入力して前記架線金具の識別を行う金具判定工程と
を含むことを特徴とする。
【００２０】
また、上記の課題を解決するための第８の発明に係る架線金具検出方法は、第７の発明において、
前記画像切り出し工程が、前記架線金具の画像又は前記架線金具以外の画像を格子状に分割し、分割された前記ラインセンサ画像中から前記架線金具の画像又は前記架線金具以外の画像を切り出す判定画像切り出し工程である
ことを特徴とする。
【００２１】
また、上記の課題を解決するための第９の発明に係る架線金具検出方法は、第８の発明において、
前記人工知能機能は、予め取得したラインセンサ画像を格子状に分割し、分割された各画像について、前記架線金具が存在し正解フラグが付された画像と、前記架線金具以外が存在し不正解フラグが付された画像とに基づいて、予め前記架線金具と前記架線金具以外の２クラス識別学習を行った学習済みの畳み込みニューラルネットワークである
ことを特徴とする。
【００２２】
また、上記の課題を解決するための第１０の発明に係る架線金具検出方法は、第７の発明において、
前記明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定工程と、
前記ラインセンサ画像に対し、前記昼夜判定工程で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転工程と、
前記画像輝度反転工程で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理工程と、
前記メディアンフィルタ処理工程でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行うＧＳＴＨ処理工程と、
前記ＧＳＴＨ処理工程でＧＳＴＨ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理工程と、
前記グレースケールオープニング処理工程でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理工程と、
前記二値化処理工程で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理工程と、
前記クロージング処理工程でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理工程と
をさらに含み、
前記画像切り出し工程が、前記金具候補検出処理部で検出した金具候補の情報に基づいて前記画像から金具候補の画像を切り出す金具候補画像切り出し工程である
ことを特徴とする。
【００２３】
また、上記の課題を解決するための第１１の発明に係る架線金具検出方法は、第１０の発明において、
前記人工知能機能は、予め取得したラインセンサ画像中に存在する前記架線金具の部分を切り出して正解フラグを付した画像と、予め取得したラインセンサ画像中に存在する前記架線金具以外の部分を切り出して不正解フラグを付した画像とに基づいて、予め前記架線金具と前記架線金具以外の２クラス識別学習を行った学習済みの畳み込みニューラルネットワークである
ことを特徴とする。
【００２４】
また、上記の課題を解決するための第１２の発明に係る架線金具検出方法は、第１０又は第１１の発明において、
前記事前処理工程は、
予め取得した前記ラインセンサ画像に対し、前記画像信号に明暗の差を大きくする明るさ補正処理を行う明るさ補正工程と、
明るさ補正処理を行った前記画像信号毎に明るさが昼と同等か又は夜と同等かを判定する昼夜判定工程と、
昼夜判定工程で昼夜判定を行った前記ラインセンサ画像に対し、前記昼夜判定工程で明るさが昼と同等と判定された前記画像信号に輝度反転処理を行う画像輝度反転工程と、
前記画像輝度反転工程で輝度反転処理を行った前記ラインセンサ画像に対し、メディアンフィルタ処理を行うメディアンフィルタ処理工程と、
前記メディアンフィルタ処理工程でメディアンフィルタ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行うＧＳＴＨ処理工程と、
前記ＧＳＴＨ処理工程でＧＳＴＨ処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行うグレースケールオープニング処理工程と、
前記グレースケールオープニング処理工程でグレースケールオープニング処理を行った前記ラインセンサ画像に対し、二値化処理を行う二値化処理工程と、
前記二値化処理工程で前記二値化処理を行った前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行うクロージング処理工程と、
前記クロージング処理工程でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊の大きさから、前記架線金具の候補を検出する金具候補検出処理工程と、
前記金具候補検出処理工程で検出した金具候補の情報に基づいて前記ラインセンサ画像から金具候補の画像を切り出す金具候補画像切り出し工程と、
前記金具候補画像切り出し工程で切り出され正解フラグが付された画像と、前記金具候補画像切り出し部で切り出され不正解フラグが付された画像とを前記人工知能機能に入力して前記人工知能機能の学習を行う重み学習工程と
を含むことを特徴とする。
【発明の効果】
【００２５】
本発明に係る架線金具検出装置および架線金具検出方法によれば、人工知能機能を利用して金具判定を行うことにより、誤検出を含む検出箇所の中から架線金具以外を除外し、架線金具のみを正しく検出することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施例１に係る架線金具検出装置の設置例を示す説明図である。
【図２】本発明の実施例１に係る架線金具検出装置の構成を示すブロック図である。
【図３】本発明の実施例１における架線金具検出処理の流れを示すフローチャートである。
【図４】本発明の実施例１における予め取得したラインセンサ画像例を模式的に示す説明図である。
【図５】本発明の実施例１における図４に示すラインセンサ画像から正解データを作成する例を示す説明図である。
【図６】本発明の実施例１において適用する畳み込みニューラルネットワークの例を示す説明図である。
【図７】本発明の実施例１における畳み込みフィルタ処理の一例を示す説明図である。
【図８】本発明の実施例２に係る架線金具検出装置の構成を示すブロック図である。
【図９】本発明の実施例２における架線金具検出処理の流れを示すフローチャートである。
【図１０】本発明の実施例２における図４に示すラインセンサ画像から正解データを作成する例を示す説明図である。
【図１１】本発明の実施例３に係る架線金具検出装置の構成を示すブロック図である。
【図１２】本発明の実施例３における架線金具検出処理の流れを示すフローチャートである。
【図１３】架線金具の例を示す説明図であって、架線の側方から見た図である。
【発明を実施するための形態】
【００２７】
以下、図面を参照しつつ本発明に係る架線金具検出装置および架線金具検出方法について説明する。
【００２８】
ここで、以下の説明において「架線金具」とは以下のものを指すものとする。
・ハンガー、ドロッパ、コネクタ、ダブルイヤー
・曲線引架線金具、支持物
これらが本発明に係る架線金具検出装置および架線金具検出方法によって検出できるものである。
【００２９】
本発明は、ラインセンサカメラによって取得した画像からまず架線を除去し、残った構造物を検出することにより、架線設備を枕木方向から見た際に、架線と異なる方向に延伸している架線金具を検出するものであり、図１３に示す交差架線金具８のように架線と同一方向に延伸している架線金具以外であれば、ハンガー６に限らずコネクタ７などの架線金具を検出することができる。換言すると、上述した架線金具（ハンガー６，コネクタ７）以外のものでも、架線と異なる方向に延伸している構造物であれば検出可能である。さらに、深層学習（機械学習）による架線金具の識別を行うことにより、従来、架線金具として誤検出されていた架線と異なる方向に延伸している背景物などを除外することが可能となる。
【００３０】
なお、本明細書において「ライン」は以下の意味とする。
ライン：ラインセンサカメラで車両の進行方向に直交する方向に沿ってスキャンした時に得られる測定面。例えばラインセンサカメラが１０００Ｈｚで測定する際、１秒間に得られるライン数は１０００ラインとなる。
【実施例１】
【００３１】
図１から図７を用いて本発明の実施例１に係る架線金具検出装置および架線金具検出方法について説明する。
【００３２】
図１に示すように、本実施例において架線金具検出装置は、電車車両（以下、車両）１の屋根上に設置されたラインセンサカメラ２と、車両１の内部に設置された画像処理部３とを備えている。
また、トロリ線（架線）４はちょう架線５に概ね等間隔に設置された複数のハンガー６によって支持されている。
【００３３】
ラインセンサカメラ２は、車両１の屋根上の側方に設置され、その光軸が車両１の進行方向に直交するように、且つ、その視野に一つのハンガー６が収まるように設置角度および仰角を設定されている。なお、図１中に示す一点鎖線はラインセンサカメラ２による撮影ラインである。ラインセンサカメラ２によって取得した画像信号（ライン）は画像処理部３に入力される。
【００３４】
画像処理部３は、ラインセンサカメラ２から入力される画像信号（ライン）を時系列に並べてなるラインセンサ画像を解析して架線金具を検出するものであり、演算装置３１と記録装置３２とから構成されている。
【００３５】
演算装置３１は、予め取得した架線金具の画像および架線金具以外の画像を用いて学習した人工知能機能を実装したものであり、図２に示すように、演算装置３１は事前処理部３１ａ、ラインセンサ画像作成部３１ｂ、明るさ補正部３１ｃ、判定画像切り出し部（画像切り出し部）３１ｄ、金具識別処理部３１ｅ、メモリＭ１およびメモリＭ２を備えている。画像処理部３の具体的な機能については図３に示すフローチャートと共に説明する。
【００３６】
（ステップＳ１）
事前処理部３１ａは、人工知能機能の学習を行う部分であり、画像データベース３１ａａ、正解データ作成部３１ａｂおよび重み学習部３１ａｃを備えている。画像処理部３では、まず事前処理部３１ａを利用して次のステップＳ１−１からステップＳ１−３の事前処理を行う。
【００３７】
（ステップＳ１−１）
画像データベース３１ａａには、架線金具および架線金具以外をラインセンサカメラ２により撮影して取得した画像信号（ライン）を時系列的に並べて取得した例えば図４に示すような入力画像（以下、ラインセンサ画像）Ｌ０が予め多数保管されている。
【００３８】
そこで、まず、画像データベース３１ａａに保管されているラインセンサ画像Ｌ０を取得する。
【００３９】
（ステップＳ１−２）
続いて、画像データベース３１ａａから取得したラインセンサ画像Ｌ０を用いて正解データ作成部３１ａｂおよび手動で正解データの作成を行う。
【００４０】
本実施例において正解データは、ラインセンサ画像Ｌ０中の架線金具が存在する箇所の切り出し画像と正解フラグ、ラインセンサ画像Ｌ０中の架線金具以外の構造物（以下、単に架線金具以外という）が存在する箇所の切り出し画像と不正解フラグの二つを指す。
【００４１】
例えば、図４に示すようなラインセンサ画像Ｌ０がある場合、符号９１，９２，９３が架線金具、９４が架線金具以外とすると、正解データは図５に示すＡ91，Ａ92，Ａ93およびＡ94となる。すなわち、本実施例では図５に示すように、正解データ作成部３１ａｂによりラインセンサ画像Ｌ０を格子状に分割する。その後、手動で架線金具９１，９２又は９３が存在する領域（図５中、一点鎖線で囲んで示す分割領域）には架線金具ラベル（正解フラグ）を、架線金具以外９４が存在する領域（図５中、二点鎖線で囲んで示す分割領域）には架線金具以外のラベル（不正解フラグ）を付与する。正解データ作成部３１ａｂは、架線金具ラベル又は架線金具以外のラベルを付与された部分を切り出し、畳み込みニューラルネットワーク（上記非特許文献１参照）に入力できる形状にリサイズする（以下、切り出した画像（正解データ）を切り出し画像Ａと称する）。
【００４２】
（ステップＳ１−３）
重み学習部３１ａｃは、リサイズされた切り出し画像Ａを、畳み込みニューラルネットワーク（ＣＮＮ）に入力し、架線金具と架線金具以外の２クラス識別の学習（機械学習）をさせる。
【００４３】
以下、図６を用いて重み学習部３１ａｃにおける機械学習の内容について大まかに説明する。図６に示すように、本実施例において、畳み込みニューラルネットワークＣＮＮは、５層の畳み込み層Ｃ１〜Ｃ５（総称する場合は畳み込み層Ｃ）と３層の全結合層Ｄ１〜Ｄ３（総称する場合は全結合層Ｄ）とから構成されている。
【００４４】
畳み込み層Ｃでは、畳み込みフィルタ処理と、プーリング処理と、正規化処理とを行う。
【００４５】
畳み込みフィルタ処理では、図７に示すように例えばａ×ａの入力画像（ここでは、リサイズされた切り出し画像Ａ）に対して畳み込み処理を適用する。畳み込み処理とは、リサイズされた切り出し画像Ａに対し一定サイズごとに重み付き和を取る処理のことである。このときの重み係数のことをフィルタＦと呼ぶ。フィルタＦのサイズがｆ×ｆ［pixel］の場合、リサイズされた切り出し画像Ａ上でフィルタＦを移動させながらｆ×ｆ［pixel］の領域ごとに重み付き和を取る。この処理を、リサイズされた切り出し画像Ａ全体に対して行う。
【００４６】
畳み込みフィルタ処理は具体的には、入力に対し、どの部分を強調しどの部分を平滑化すべきかなどの重み係数を表すフィルタＦとの重み付き和を取ることで、リサイズされた切り出し画像Ａの特徴マップＭを作成する処理のことである。特徴マップＭによりエッジ特徴等の画像の濃淡パターンを抽出することが可能になる。また、局所的な領域からフィルタＦを通して特徴を抽出するため、物体の位置の空間的なずれに頑健になる。
【００４７】
そして、プーリング処理とは、入力データをより扱いやすくするために、情報を圧縮する処理のことである。本実施例では、局所領域から出力が最大となる部分を選択して次の層に継承するマックスプーリング処理を行う。これにより、画像の特徴に特化した最適な特徴のみを後続の層に継承することが可能となる。
【００４８】
正規化処理とは、濃淡変化が強調されるように正規化を行う処理のことである。上記の畳み込み層は２クラス分類のための特徴抽出をするというよりは、リサイズされた切り出し画像Ａに対して、画像らしい特徴（エッジや軌道の濃淡パターンなど）を抽出する処理である。
【００４９】
全結合層Ｄでは、上記畳み込み層を通して得られた各特徴マップＭから架線金具９１〜９３と架線金具以外９４との２クラスの分類を行うために全特徴マップＭを結合する重みを学習させる。
【００５０】
重み学習部３１ａｃで学習した結果（以下、学習済みネットワーク）はメモリＭ２に保存される。
【００５１】
車両１の走行中に実際に架線金具検出を行うときは、次のステップＳ２からステップＳ６の処理を行う。
【００５２】
（ステップＳ２）
ラインセンサ画像作成部３１ｂは、車両１の走行中にラインセンサカメラ２から入力される画像信号（ライン）を時系列的に並べて、ラインセンサ画像Ｌ１を作成する。作成されたラインセンサ画像Ｌ１は、メモリＭ１に保存され、その後、メモリＭ２に保存される。
【００５３】
（ステップＳ３）
明るさ補正部３１ｃは、ラインセンサ画像Ｌ１が入力されると、白と黒（明暗）の差を大きくするように輝度値を補正する明るさ補正処理を行って、明るさ補正処理後のラインセンサ画像（金具判定画像）Ｌ２をメモリＭ２へ保存する。
（ステップＳ４）
判定画像切り出し部３１ｄは、ラインセンサ画像Ｌ２が入力されると、ラインセンサ画像Ｌ２を格子状に分割して、分割後のラインセンサ画像（判定画像）Ｌ３をメモリＭ２へ保存する。
【００５４】
（ステップＳ５）
金具識別処理部３１ｅは、メモリＭ２から学習済みネットワークとラインセンサ画像Ｌ３とを読み出して、ラインセンサ画像Ｌ３を学習済みネットワークに入力し、金具識別ラベルとそのときの金具識別確率を算出してそれぞれを金具識別ラベルデータ，金具識別確率データとしてメモリＭ２へ保存すると共に、金具識別ラベルおよび金具識別確率に基づき架線金具ラベルであると判定された箇所を架線金具存在箇所として金具判定結果、金具位置情報をメモリＭ２へ保存する。
（ステップＳ６）
上述したステップＳ２からステップＳ５までの処理を検査が終了するまで繰り返す。
【００５５】
このように構成される本実施例に係る架線金具検出装置および架線金具検出方法によれば、人工知能機能を利用して金具判定を行うことにより、誤検出を含む検出箇所の中から架線金具以外を除外し、架線金具のみを正しく検出することができる。また、ラインセンサ画像Ｌ１全体を金具識別対象領域とすることにより、従来架線金具検出処理で未検出となってしまっていた架線金具であっても、検出することが可能となる。また、識別対象箇所の個数が一定であるため、一定の処理時間で架線金具検出が可能となる。
【００５６】
なお、本実施例では車両１にラインセンサカメラ２および画像処理部３を設置する例を示したが、本発明は上述した実施例に限定されるものではなく、車両１以外の鉄道車両（例えば、気動車）にラインセンサカメラ２および画像処理部３を設置して架線金具の検出を行うなど、本発明の趣旨を逸脱しない範囲で種々の変更が可能であることは言うまでもない。
【実施例２】
【００５７】
図８から図１０を用いて本発明の実施例２に係る架線金具検出装置および架線金具検出方法について説明する。
【００５８】
図８に示すように、本実施例において演算装置３１は、図２に示し上述した事前処理部３１ａ、ラインセンサ画像作成部３１ｂ、明るさ補正部３１ｃ、金具識別処理部３１ｅと、昼夜判定部３１ｆ、画像輝度反転部３１ｇ、メディアンフィルタ処理部３１ｈ、ＧＳＴＨ処理部３１ｉ、グレースケールオープニング処理部３１ｊ、二値化処理部３１ｋ、クロージング処理部３１ｌ、ラベリング処理部３１ｍ、金具候補検出処理部３１ｎおよび金具候補画像切り出し部３１ｏとを備えている。本実施例における画像処理部３の具体的な機能については図９に示すフローチャートと共に説明する。
【００５９】
なお、演算装置３１以外の構成は実施例１と概ね同様であるので、以下、重複する説明は省略する。
【００６０】
（ステップＳ１１）
事前処理部３１ａは、実施例１と同様に、画像データベース３１ａａ、正解データ作成部３１ａｂおよび重み学習部３１ａｃを備えている。画像処理部３では、まず事前処理部３１ａを利用して次のステップＳ１１−１からステップＳ１１−３の事前処理を行う。
（ステップＳ１１−１）
まず、画像データベース３１ａａに保管されているラインセンサ画像Ｌ０を取得する。
（ステップＳ１１−２）
本実施例では実施例１に比較して、正解データを作成する手順が異なる。すなわち、本実施例では、ラインセンサ画像Ｌ０を格子状に分割することはせず、図１０に示すように、手動で直接架線金具９１，９２，９３および架線金具以外の構造物９４を囲み、架線金具９１，９２又は９３が存在する領域（図１０中、実線で囲んで示す領域）には架線金具ラベルを、架線金具以外９４が存在する領域（図１０中、破線で囲んで示す領域）には架線金具以外のラベルを付与する。正解データ作成部３１ａｂは、手動で囲んだ部分（以下、切り出し画像）Ｂ91，Ｂ92，Ｂ93，Ｂ94を切り出し、畳み込みニューラルネットワークに入力できる形状にリサイズする。
【００６１】
（ステップＳ１１−３）
重み学習部３１ａｃは、リサイズされた切り出し画像Ｂ91，Ｂ92，Ｂ93，Ｂ94を、畳み込みニューラルネットワーク（ＣＮＮ）に入力し、架線金具と架線金具以外の２クラス識別の学習（機械学習）をさせる。
【００６２】
車両１の走行中に実際に架線金具検出を行うときは、次のステップＳ１２からステップＳ２５の処理を行う。
【００６３】
（ステップＳ１２）
ラインセンサ画像作成部３１ｂは、車両１の走行中にラインセンサカメラ２から入力される画像信号（ライン）を時系列的に並べて、ラインセンサ画像Ｌ１を作成する。作成されたラインセンサ画像Ｌ１は、メモリＭ１に保存され、その後、メモリＭ２に保存される。
【００６４】
（ステップＳ１３）
明るさ補正部３１ｃは、ラインセンサ画像Ｌ１が入力されると、白と黒（明暗）の差を大きくするように輝度値を補正する明るさ補正処理を行って、明るさ補正処理後のラインセンサ画像Ｌ１２をメモリＭ２へ保存する。
【００６５】
（ステップＳ１４）
昼夜判定部３１ｆは、ラインセンサ画像Ｌ１２が入力されると、ラインセンサ画像Ｌ１２を構成するそれぞれのラインに対して昼夜判定処理を行う。つまり、各ラインの明るさが昼（昼と同等）なのか夜（夜と同等）なのかを判定する。判定基準は、各ラインにおいて、その明るさの中央値が閾値以上であれば昼とし、閾値未満であれば夜とする。各ラインに対する昼夜判定処理の結果は昼夜フラグデータとしてメモリＭ２へ保存する。
【００６６】
（ステップＳ１５）
画像輝度反転部３１ｇは、ラインセンサ画像Ｌ１２および昼夜フラグデータが入力されると、ラインセンサ画像Ｌ１２の輝度値を反転させる輝度反転処理を行う。このとき、昼夜フラグデータに基づいて、昼夜判定部３１ｆで明るさが昼（昼と同等）と判定されたラインのみに輝度反転を行って、輝度反転処理後のラインセンサ画像Ｌ１３をメモリＭ２へ保存する。
【００６７】
（ステップＳ１６）
メディアンフィルタ処理部３１ｈは、ラインセンサ画像Ｌ１３が入力されると、例えば明るさ補正部３１ｃにおける処理により背景に発生した白い点を除去するためにメディアンフィルタ処理を行い、メディアンフィルタ処理後のラインセンサ画像Ｌ１４をメモリＭ２へ保存する。
【００６８】
（ステップＳ１７）
ＧＳＴＨ処理部３１ｉは、ラインセンサ画像Ｌ１４が入力されると、ラインセンサ画像Ｌ１４に対して横方向ではなく、縦方向にＧＳＴＨ処理を行う。具体的には、まず、縦方向にグレースケールオープニング処理（収縮してから膨張する処理）を行うことで、ハンガー６やコネクタ７等の横線を消す。ここで行う収縮膨脹の回数は、ハンガー６やコネクタ７の縦方向の長さよりも大きな値に設定することで、ハンガー６やコネクタ７等の横線を消すことができるようになる。続いて、ラインセンサ画像Ｌ１４からグレースケールオープニング処理をした画像を引くことでハンガー６やコネクタ７、そして、トロリ線４やちょう架線５の縁のみが残るようなラインセンサ画像Ｌ１５を得ることができ、これをメモリＭ２へ保存する。
【００６９】
（ステップＳ１８）
グレースケールオープニング処理部３１ｊは、ラインセンサ画像Ｌ１５が入力されると、ラインセンサ画像Ｌ１５中に残ったトロリ線４やちょう架線５の縁を消すため、横方向にグレースケールオープニング処理を行う。具体的には、ラインセンサ画像Ｌ１５中に残ったトロリ線４やちょう架線５の縁よりも大きな値でグレースケールオープニング処理を行うことで、トロリ線４やちょう架線５の縁を消去したラインセンサ画像Ｌ１６を得ることができ、これをメモリＭ２へ保存する。
【００７０】
（ステップＳ１９）
二値化処理部３１ｋは、ラインセンサ画像Ｌ１６が入力されると、グレースケールを白黒二値に変換する二値化処理を行う。このときの二値化しきい値は、背景よりも大きく、かつ、非常に小さな輝度値（例えば、１０等）を設定する。つまり、背景の輝度値よりも大きな値は全て２５５に変換する。この処理により、二値化されたラインセンサ画像Ｌ１７を得ることができ、これをメモリＭ２へ保存する。
【００７１】
（ステップＳ２０）
クロージング処理部３１ｌは、ラインセンサ画像Ｌ１７が入力されると、途切れた塊をつなげるため、横方向にクロージング処理（膨脹してから収縮する処理）を行う。このとき、クロージング処理の膨張収縮回数は、トロリ線４やちょう架線５の幅よりも大きな値を設定する。この処理により、トロリ線４やちょう架線５の幅で一度途切れたハンガー６やコネクタ７の架線金具が再度つながった二値化のラインセンサ画像Ｌ１８を得ることができ、これをメモリＭ２へ保存する。
【００７２】
（ステップＳ２１）
ラベリング処理部３１ｍは、ラインセンサ画像Ｌ１８が入力されると、二値化画像の白色塊を検出し、それぞれの塊にラベル付けをするラベリング処理を行い、検出した白色塊の各々にラベルを付けたラベル付きラインセンサ画像Ｌ１９をメモリＭ２へ保存する。
【００７３】
（ステップＳ２２）
金具候補検出処理部３１ｎは、ラベル付きラインセンサ画像Ｌ１９が入力されると、ラベルを付与した白色塊の大きさに基づいて、架線金具かノイズかを判定する。大きさが小さいものはノイズであるとして除去し、一定の大きさ以上の白色塊を架線金具と判定し、架線金具と判定されたものの位置情報を金具候補位置情報としてメモリＭ２へ保存する。
【００７４】
（ステップＳ２３）
金具候補画像切り出し部３１ｏは、金具候補位置情報に基づきラインセンサ画像Ｌ１から金具候補画像を切り出し、金具候補切り出し画像としてメモリＭ２へ保存する。
【００７５】
（ステップＳ２４）
金具識別処理部３１ｅは、メモリＭ２から学習済みネットワークと金具候補切り出し画像とを読み出して、金具候補切り出し画像を学習済みネットワークに入力し、金具識別ラベルとそのときの金具識別確率を算出してそれぞれを金具識別ラベルデータ，金具識別確率データとしてメモリＭ２へ保存すると共に、金具識別ラベルおよび金具識別確率に基づき架線金具ラベルであると判定された箇所を架線金具存在箇所として金具判定結果、金具位置情報をメモリＭ２へ保存する。
（ステップＳ２５）
以上に示したステップＳ１２からステップＳ２４の処理を検査が終了するまで繰り返す。
【００７６】
このように構成される本実施例に係る架線金具検出装置および架線金具検出方法によれば、人工知能機能を利用して金具判定を行うことにより、誤検出を含む検出箇所の中から特許文献４で誤検出されてしまっていた背景物を除去して、架線金具のみを正しく検出することが可能である。また、学習する画像データの見え方を統一することが可能である。そのため、学習する画像のばらつきが減り、学習が収束しやすくなり、識別精度が向上する。
【００７７】
なお、上述したラベリング処理部３１ｍは、視認性のためにはあったほうが良いが、必須ではない。ラベリング処理部３１ｍがない場合には、金具候補検出処理部３１ｎにはラインセンサ画像Ｌ１８が入力され、金具候補検出処理部３１ｎは、ラインセンサ画像Ｌ１８に対して白色塊の検出を行い、検出した白色塊の大きさによって架線金具かノイズかを判定すればよい。
【実施例３】
【００７８】
図１１および図１２を用いて本発明の実施例３に係る架線金具検出装置および架線金具検出方法について説明する。本実施例は、上述した実施例２に比較して、事前処理部３１ａにより正解データを作成する手法が異なるものである。その他の構成は実施例２と同様であり、以下、実施例２と重複する説明は省略する。
【００７９】
図１１に示すように、本実施例において事前処理部３１ａは、上述した画像データベース３１ａａ、正解データ作成部３１ａｂおよび重み学習部３１ａｃと、金具候補検出部３１ａｄとを備えている。本実施例における画像処理部３の機能については図１２に示すフローチャートと共に説明する。
（ステップＳ３１）
画像処理部３では、まず事前処理部３１ａを利用して次のステップＳ３１−１〜ステップＳ３１−５の事前処理を行う。
【００８０】
（ステップＳ３１−１）
まず、画像データベース３１ａａに保管されているラインセンサ画像Ｌ０を取得する。
（ステップＳ３１−２）
金具候補検出部３１ａｄは、図９に示し上述したステップＳ１３からステップＳ２３と同様の処理を行う。なお、図１１では、簡単のため図８に示し上述した明るさ補正部３１ｃ、昼夜判定部３１ｆ、画像輝度反転部３１ｇ、メディアンフィルタ処理部３１ｈ、ＧＳＴＨ処理部３１ｉ、グレースケールオープニング処理部３１ｊ、二値化処理部３１ｋ、クロージング処理部３１ｌ、ラベリング処理部３１ｍ、架線金具検出処理部３１ｎ、金具候補画像切り出し部３１ｏをまとめて金具候補検出部３１ａｄとして示している。
【００８１】
要するに、本実施例において事前処理部３１ａでは、画像データベース３１ａａから取得したラインセンサ画像Ｌ０に対して上述したステップＳ１３からステップＳ２３までの処理により金具候補切り出し画像を切り出す。すなわち、実施例２では手動で金具位置を検出し、ラベル付けを行っていたが、本実施例では、画像データベース３１ａａから取得したラインセンサ画像Ｌ０に対して、画像処理により金具候補を検出し、検出された金具候補の位置情報を基に検出箇所を金具候補切り出し画像として切り出す。
【００８２】
（ステップＳ３１−３）
金具候補検出部３１ａｄにより切り出した金具候補切り出し画像に対し、手動で、架線金具９１，９２又は９３が存在する領域（図１０中、実線で囲んで示す領域）には架線金具ラベルを、架線金具以外９４が存在する領域（図１０中、破線で囲んで示す領域）には架線金具以外のラベルを付与する。
【００８３】
（ステップＳ３１−４）
正解データ作成部ａｂは、ラベルを付与された金具候補切り出し画像を、畳み込みニューラルネットワークに入力できる形状にリサイズして正解データとする。
【００８４】
（ステップＳ３１−５）
重み学習部３１ａｃは、リサイズされた金具候補切り出し画像を、畳み込みニューラルネットワーク（ＣＮＮ）に入力し、架線金具と架線金具以外の２クラス識別の学習（機械学習）をさせる。
【００８５】
車両１の走行中に実際に架線金具検出を行うときは、次のステップＳ３２からステップＳ３４の処理を行う。
【００８６】
（ステップＳ３２）
ラインセンサ画像作成部３１ｂは、車両１の走行中にラインセンサカメラ２から入力される画像信号（ライン）を時系列的に並べて、ラインセンサ画像Ｌ１を作成する。作成されたラインセンサ画像Ｌ１は、メモリＭ１に保存され、その後、メモリＭ２に保存される。
【００８７】
（ステップＳ３３）
金具識別部３１ｐは、上述した実施例２で説明したステップＳ１３からステップＳ２４と同様の処理を行う。なお、図１１では、簡単のため図８に示し上述した明るさ補正部３１ｃ、昼夜判定部３１ｆ、画像輝度反転部３１ｇ、メディアンフィルタ処理部３１ｈ、ＧＳＴＨ処理部３１ｉ、グレースケールオープニング処理部３１ｊ、二値化処理部３１ｋ、クロージング処理部３１ｌ、ラベリング処理部３１ｍ、架線金具検出処理部３１ｎ、金具候補画像切り出し部３１ｏ、および金具識別処理部３１ｅをまとめて金具候補検出部３１ｐとして示している。
（ステップＳ３４）
ステップＳ３２からステップＳ３３の処理を検査が終了するまで繰り返す。
【００８８】
このように構成されることにより、例えば、実施例２では、学習する画像のばらつきが減り、学習が収束しやすくなり、学習精度が向上するものの、実際に入力される金具候補切り出し画像とは乖離がある場合があるため、未知の画像に対する識別精度が悪くなってしまう可能性があるのに対し、本実施例に係る架線金具検出装置および架線金具検出方法によれば、事前学習部３１ａにおいて、架線金具検出処理によって検出された画像に対してラベル付けを行うことにより、実際に金具識別部３１ｐに入力される画像に近い画像で機械学習を行うことができるため、識別精度が向上する。
【符号の説明】
【００８９】
１  電車車両
２  ラインセンサカメラ
３  画像処理部
４  トロリ線
５  ちょう架線
６  ハンガー
７  コネクタ
８  交差架線金具
３１  演算装置
３１ａ  事前処理部
３１ａａ  画像データベース
３１ａｂ  正解データ作成部
３１ａｃ  重み学習部
３１ａｄ  金具候補検出部
３１ｂ  ラインセンサ画像作成部
３１ｃ  明るさ補正部
３１ｄ  判定画像切り出し部
３１ｅ  金具識別処理部
３１ｆ  昼夜判定部
３１ｇ  画像輝度反転部
３１ｈ  メディアンフィルタ処理部
３１ｉ  ＧＳＴＨ処理部
３１ｊ  グレースケールオープニング処理部
３１ｋ  二値化処理部
３１ｌ  クロージング処理部
３１ｍ  ラベリング処理部
３１ｎ  金具候補検出処理部
３１ｏ  金具候補画像切り出し部
３１ｐ  金具識別部
３２  記録装置
９１〜９３  架線金具
９４  架線金具以外
Ａ91〜Ａ93，Ｂ91〜Ｂ93  架線金具ラベル
Ａ94，Ｂ94  架線金具以外ラベル
Ｍ１，Ｍ２  メモリ
【図１】
2020147129.tif 000003
【図２】
2020147129.tif 000004
【図３】
2020147129.tif 000005
【図４】
2020147129.tif 000006
【図５】
2020147129.tif 000007
【図６】
2020147129.tif 000008
【図７】
2020147129.tif 000009
【図８】
2020147129.tif 000010
【図９】
2020147129.tif 000011
【図１０】
2020147129.tif 000012
【図１１】
2020147129.tif 000013
【図１２】
2020147129.tif 000014
【図１３】
2020147129.tif 000015