(57)【要約】      （修正有）【課題】架線金具のみを正しく検出することを可能とした架線金具検出装置および架線金具検出方法を提供する。【解決手段】架線および架線設備を撮影する二台のラインセンサカメラ２Ａ、２Ｂと、人工知能機能の学習を行う事前処理部３１ａと、車両の走行中に二台のラインセンサカメラ２Ａ、２Ｂから入力される画像信号から二つのラインセンサ画像を作成するラインセンサ画像作成部３１ｂと、二つのラインセンサ画像から架線金具の候補を検出する金具候補検出部３１ｃと、架線金具の候補に基づきラインセンサ画像から架線金具の候補を切り出した切り出し画像を作成する金具候補画像切り出し部３１ｄと、切り出し画像を人工知能機能に入力することにより架線金具の識別を行う金具判定部３１ｅとを備える構成として二つのラインセンサ画像の中から架線金具を検出するようにした。【選択図】図２
2020149286.tif 000002
【特許請求の範囲】
【請求項１】
鉄道車両の車幅方向に離間して配置され、前記鉄道車両の走行中に架線および架線設備を前記鉄道車両の進行方向に対して垂直に撮影する二台のラインセンサカメラと、
前記二台のラインセンサカメラから出力された画像信号を時系列に並べてそれぞれ作成した二つのラインセンサ画像に対し、画像処理を行って、前記二つのラインセンサ画像の中から架線金具を検出する画像処理部とを有し、
前記画像処理部は、
予め取得した前記架線金具の画像および前記架線金具以外の画像を用いて学習した人工知能機能を実装した演算装置を備え、
前記演算装置は、
前記人工知能機能の学習を行う事前処理部と、
前記車両の走行中に前記二台のラインセンサカメラから入力される画像信号からそれぞれ前記二つのラインセンサ画像を作成するラインセンサ画像作成部と、
前記二つのラインセンサ画像から前記架線金具の候補を検出する金具候補検出部と、
前記架線金具の候補に基づき前記ラインセンサ画像から前記架線金具の候補を切り出した切り出し画像を作成する画像切り出し部と、
前記切り出し画像を前記人工知能機能に入力することにより前記架線金具の識別を行う金具識別処理部と
を備えることを特徴とする架線金具検出装置。
【請求項２】
前記金具候補検出部は、
前記二つのラインセンサ画像の各ラインごとに明るさが昼と同等か又は夜と同等かを判定する昼夜判定処理と、
前記昼夜判定処理により昼と判定された前記ラインに対して輝度値を反転させる第一の輝度反転補正処理と、
前記昼夜判定処理により夜と判定された前記ラインに対して、予め設定するしきい値以上の輝度値が所定のライン数連続した領域の輝度値を反転させる第二の輝度反転補正処理と、
前記第一の輝度反転補正処理または前記第二の輝度反転補正処理により必要に応じて輝度値を反転させた前記二つのラインセンサ画像に対して、太陽光が写っているのと同等か否かを判定する太陽光判定処理と、
前記太陽光判定処理により太陽光が写っていないのと同等と判定された前記ラインセンサ画像に対し、画像のヒストグラムを求め、線形による正規化補正を行う第一の正規化補正処理と、
前記太陽光判定処理により太陽光が写っているのと同等と判定された前記ラインセンサ画像に対し、予め設定するしきい値よりも輝度値が低い前記画像信号に対して正規化補正を行う第二の正規化補正処理と、
前記第一の正規化補正処理または前記第二の正規化補正処理により必要に応じて正規化補正を行った前記二つのラインセンサ画像に対して、点状のノイズを除去するメディアンフィルタ処理と、
前記メディアンフィルタ処理を行った前記二つのラインセンサ画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行う縦方向ＧＳＴＨ処理と、
前記縦方向ＧＳＴＨ処理を行った前記二つのラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行う横方向オープニング処理と、
前記横方向オープニング処理を行った前記二つのラインセンサ画像に対し、二値化処理を行う第一の二値化処理と、
前記第一の二値化処理を行った前記二つのラインセンサ画像に対して、前記縦方向ＧＳＴＨ処理および前記横方向オープニング処理が正常に行われたか否かを判定する二値化判定処理と、
前記二値化判定処理により前記縦方向ＧＳＴＨ処理および前記横方向オープニング処理が正常に行われていないと判定された前記ラインセンサ画像に対し、画像のヒストグラムを求め、線形による正規化補正を行う第三の正規化補正処理と、
前記第三の正規化補正処理を行った前記ラインセンサ画像に対し、二値化処理を行う第二の二値化処理と、
前記二値化判定処理により前記縦方向ＧＳＴＨ処理および前記横方向オープニング処理が正常に行われたと判定された前記ラインセンサ画像または前記第二の二値化処理が行われた前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行う横方向クロージング処理と、
前記横方向クロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊にラベル付けを行うラベリング処理と、
前記ラベリング処理によりラベル付けが行われた前記白色塊の大きさに基づいて前記白色塊が金具か否かを判定する金具候補判定処理と
を行うことを特徴とする請求項１に記載の架線金具検出装置。
【請求項３】
前記ラインセンサカメラが、モノクロカメラであり、
前記事前処理部が、予め取得した前記架線金具のモノクロ画像および前記架線金具以外のモノクロ画像を用いて前記人工知能機能の学習を行う
ことを特徴とする請求項１または請求項２に記載の架線金具検出装置。
【請求項４】
前記ラインセンサカメラが、カラーカメラであり、
前記事前処理部が、予め取得した前記架線金具のカラー画像および前記架線金具以外のカラー画像を用いて前記人工知能機能の学習を行い、
前記金具候補検出部が、グレースケール化した前記二つのラインセンサ画像から前記架線金具の候補を検出し、
前記金具候補画像切り出し部が、前記金具候補検出部により検出した前記二つのラインセンサ画像中の前記架線金具の候補の情報に基づいてグレースケール化する前の前記二つのラインセンサ画像から前記架線金具の候補を切り出した切り出し画像を作成する
ことを特徴とする請求項１または請求項２に記載の架線金具検出装置。
【請求項５】
前記ラインセンサカメラが、赤外光カメラであるとともに、
前記赤外光カメラにより撮影される範囲に対して赤外光を照射する赤外照明をさらに備え、
前記事前処理部が、予め取得した前記架線金具の赤外光画像および前記架線金具以外の赤外光画像を用いて前記人工知能機能の学習を行う
ことを特徴とする請求項１または請求項２に記載の架線金具検出装置。
【請求項６】
予め取得した架線金具の画像および前記架線金具以外の画像を用いて人工知能機能の学習を行う事前処理工程と、
鉄道車両の幅方向に離間して配置され前記鉄道車両の走行中に架線および架線設備を前記鉄道車両の進行方向に対して垂直に撮影する二台のラインセンサカメラから出力された画像信号をそれぞれ時系列に並べて二つのラインセンサ画像を作成する画像作成工程と、
前記二つのラインセンサ画像から前記架線金具の候補を検出する金具候補検出工程と、
前記架線金具の候補に基づき前記ラインセンサ画像から前記架線金具の候補を切り出した切り出し画像を作成する画像切り出し工程と、
前記切り出し画像を前記人工知能機能に入力することにより前記架線金具の識別を行う金具識別処理工程と
を含むことを特徴とする架線金具検出方法。
【請求項７】
前記金具候補検出工程は、
前記二つのラインセンサ画像の各ラインごとに明るさが昼と同等か又は夜と同等かを判定する昼夜判定処理工程と、
前記昼夜判定処理工程で昼と判定された前記ラインに対して輝度値を反転させる第一の輝度反転補正処理工程と、
前記昼夜判定処理工程で夜と判定された前記ラインに対して、予め設定するしきい値以上の輝度値が所定のライン数連続した領域の輝度値を反転させる第二の輝度反転補正処理工程と、
前記第一の輝度反転補正処理工程または前記第二の輝度反転補正処理工程で必要に応じて輝度値を反転させた前記二つのラインセンサ画像に対して、太陽光が写っているのと同等か否かを判定する太陽光判定処理工程と、
前記太陽光判定処理工程で太陽光が写っていないのと同等と判定された前記ラインセンサ画像に対し、画像のヒストグラムを求め、線形による正規化補正を行う第一の正規化補正処理工程と、
前記太陽光判定処理工程で太陽光が写っているのと同等と判定された前記ラインセンサ画像に対し、予め設定するしきい値よりも輝度値が低い前記画像信号に対して正規化補正を行う第二の正規化補正処理部と、
前記第一の正規化補正処理工程または前記第二の正規化補正処理工程で必要に応じて正規化補正を行った前記二つのラインセンサ画像に対して、点状のノイズを除去するメディアンフィルタ処理を行うメディアンフィルタ処理工程と、
前記メディアンフィルタ処理工程で点状のノイズを除去された前記二つのラインセンサ画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行う縦方向ＧＳＴＨ処理工程と、
前記縦方向ＧＳＴＨ処理工程で前記架線の延伸方向にＧＳＴＨ処理を行った前記二つのラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行う横方向オープニング処理工程と、
前記横方向オープニング処理工程でグレースケールオープニング処理を行った前記二つのラインセンサ画像に対し、二値化処理を行う第一の二値化処理工程と、
前記第一の二値化処理工程で二値化処理を行った前記二つのラインセンサ画像に対して、前記ＧＳＴＨ処理および前記横方向オープニング処理が正常に行われたか否かを判定する二値化判定処理工程と、
前記二値化判定処理工程で前記ＧＳＴＨ処理および前記横方向オープニング処理が正常に行われていないと判定された前記ラインセンサ画像に対し、画像のヒストグラムを求め、線形による正規化補正を行う第三の正規化補正処理工程と、
前記第三の正規化補正処理工程で正規化補正を行った前記ラインセンサ画像に対し、二値化処理を行う第二の二値化処理工程と、
前記二値化判定処理工程で前記ＧＳＴＨ処理および前記横方向オープニング処理が正常に行われたと判定された前記ラインセンサ画像または前記第二の二値化処理部により二値化処理が行われた前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行う横方向クロージング処理工程と、
前記横方向クロージング処理工程でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊にラベル付けを行うラベリング処理工程と、
前記ラベリング処理工程でラベル付けが行われた前記白色塊の大きさに基づいて前記白色塊が金具か否かを判定する金具候補判定処理工程と
を含むことを特徴とする請求項６に記載の架線金具検出方法。
【請求項８】
前記ラインセンサカメラが、モノクロカメラであり、
前記事前処理工程で、予め取得した前記架線金具のモノクロ画像および前記架線金具以外のモノクロ画像を用いて前記人工知能機能の学習を行う
ことを特徴とする請求項６または請求項７に記載の架線金具検出方法。
【請求項９】
前記ラインセンサカメラが、カラーカメラであり、
前記事前処理工程で、予め取得した前記架線金具のカラー画像および前記架線金具以外のカラー画像を用いて前記人工知能機能の学習を行い、
前記金具候補検出工程で、前記昼夜判定処理を行う前に前記ラインセンサ画像をグレースケール化する処理を行い、
前記金具候補画像切り出し工程で、前記金具候補検出工程で検出した前記二つのラインセンサ画像中の前記架線金具の候補の情報に基づいてグレースケール化する前の前記二つのラインセンサ画像から前記架線金具の候補を切り出した切り出し画像を作成する
ことを特徴とする請求項６または請求項７に記載の架線金具検出方法。
【請求項１０】
前記ラインセンサカメラが、赤外照明により照らされた前記架線を含む領域を撮影する赤外光カメラであり、
前記事前処理工程で、予め取得した前記架線金具の赤外光画像および前記架線金具以外の赤外光画像を用いて前記人工知能機能の学習を行う
ことを特徴とする請求項６または請求項７に記載の架線金具検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ハンガーをはじめとする架線金具を画像処理によって検出する架線金具検出装置および架線金具検出方法に関する。
【背景技術】
【０００２】
鉄道事業者では、長距離に亘る鉄道軌道に沿って設置された電車線の検査を行う必要がある。電車線としてのハンガーをはじめとする架線金具は、従来、保守員の目視によって営業車や軌陸車あるいは線路上から確認される。この作業にかかる保守員の労力を低減するため、電車線の検査の自動化によって業務を省力化することが望まれている。例えば、架線金具の検査において、鉄道軌道を走行する鉄道車両の屋根上にラインセンサカメラを設置して撮影したトロリ線近傍の画像を用いて架線金具の画像を検出する方法がある。そして、この架線金具の画像からハンガーの画像を検出してその検査や良否判定を行うものである。
【０００３】
一般に、正常なハンガーは鉛直に架設されているが、温度変化等により鉛直方向に対して傾斜すると電車の集電特性を劣化させるため、ハンガーの角度や位置を把握することも要求されている。
【０００４】
ここで、下記特許文献１には、撮影した画像からテンプレートマッチング処理、または鉛直方向のエッジ検出処理によって、ハンガーを検出する技術が開示されている。また下記特許文献２には、撮影した画像から、Ｈｏｕｇｈ変換処理によりハンガーを検出する技術が開示されている。
【０００５】
また、下記特許文献３には、ＧＳＴＨ処理を応用することで、ハンガーを検出する技術が開示されている。特許文献３によれば、架線に対して交差する長方形形状をしたハンガーを検出することができる。
【０００６】
また、本出願人は、特許文献４で、ハンガーだけではなく、コネクタなどの架線金具を検出することを可能とした技術を提案した。特許文献１〜３に開示された技術が、ハンガーのように架線に交差する方向に延びるものを検出する技術であるのに対し、特許文献４では架線をまず初めに除去し、残った構造物を検出することで、電車線を枕木方向から見た際（図１８）に、架線と異なる方向に延伸している架線金具を検出することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第５４０２０９６号公報
【特許文献２】特開２０１０−２８５０５４号公報
【特許文献３】特開２０１６−１６８９３７号公報
【特許文献４】特願２０１７−２４７２３４号
【特許文献５】特願２０１９−０４５４３２号
【特許文献６】特開２０１３−０１５３３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１，２に開示された発明は、単純な線条構成であればハンガー検出が可能であるが、わたり線や、オーバーラップ箇所など、複数の線条が交差する箇所では、ハンガー検出が難しい。
すなわち、特許文献１は鉛直方向のエッジ検出によってハンガーを検出する。一般的なエッジ検出は２ｐｉｘｅｌ間の微分値の大きい箇所をエッジとして検出するが、２ｐｉｘｅｌ間という局所的な検出では、誤検出が多くなる可能性があるという問題があった。
また、特許文献２は、Ｈｏｕｇｈ変換処理によりハンガーを検出する。Ｈｏｕｇｈ変換は画像全体の特徴とハンガー特徴との相対的な投票量を用いてハンガーを検出するので、画像全体に対して小さく写るハンガーを検出することが難しいという問題があった。
【０００９】
また、特許文献３は、例えばコネクタのような、長方形ではなく曲線を持つような形状のものは検出できないという問題があった。
【００１０】
特許文献４は、背景に架線と異なる方向に延伸している背景物やノイズが存在する場合に、それらを架線金具として誤検出してしまう可能性があるという問題があった。
また、特許文献４では、背景に建物が映り込んでいる場合この建物の影響により昼夜判定処理がうまくいかず、未検出が発生するおそれがあるという問題、太陽光の影響により、正規化処理がうまくいかず、誤検出および未検出が発生するおそれがあるという問題、トンネル内において、トンネル壁面の背景除去処理がうまくいかず、誤検出が発生するおそれがあるという問題があった。
【００１１】
このようなことから本発明は、架線金具のみを正しく検出することを可能とした架線金具検出装置および架線金具検出方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の課題を解決するための第１の発明に係る架線金具検出装置は、
鉄道車両の車幅方向に離間して配置され、前記鉄道車両の走行中に架線および架線設備を前記鉄道車両の進行方向に対して垂直に撮影する二台のラインセンサカメラと、
前記二台のラインセンサカメラから出力された画像信号を時系列に並べてそれぞれ作成した二つのラインセンサ画像に対し、画像処理を行って、前記二つのラインセンサ画像の中から架線金具を検出する画像処理部とを有し、
前記画像処理部は、
予め取得した前記架線金具の画像および前記架線金具以外の画像を用いて学習した人工知能機能を実装した演算装置を備え、
前記演算装置は、
前記人工知能機能の学習を行う事前処理部と、
前記車両の走行中に前記二台のラインセンサカメラから入力される画像信号からそれぞれ前記二つのラインセンサ画像を作成するラインセンサ画像作成部と、
前記二つのラインセンサ画像から前記架線金具の候補を検出する金具候補検出部と、
前記架線金具の候補に基づき前記ラインセンサ画像から前記架線金具の候補を切り出した切り出し画像を作成する画像切り出し部と、
前記切り出し画像を前記人工知能機能に入力することにより前記架線金具の識別を行う金具識別処理部と
を備えることを特徴とする。
【００１３】
また、上記の課題を解決するための第２の発明に係る架線金具検出装置は、第１の発明において、
前記金具候補検出部は、
前記二つのラインセンサ画像の各ラインごとに明るさが昼と同等か又は夜と同等かを判定する昼夜判定処理と、
前記昼夜判定処理により昼と判定された前記ラインに対して輝度値を反転させる第一の輝度反転補正処理と、
前記昼夜判定処理により夜と判定された前記ラインに対して、予め設定するしきい値以上の輝度値が所定のライン数連続した領域の輝度値を反転させる第二の輝度反転補正処理と、
前記第一の輝度反転補正処理または前記第二の輝度反転補正処理により必要に応じて輝度値を反転させた前記二つのラインセンサ画像に対して、太陽光が写っているのと同等か否かを判定する太陽光判定処理と、
前記太陽光判定処理により太陽光が写っていないのと同等と判定された前記ラインセンサ画像に対し、画像のヒストグラムを求め、線形による正規化補正を行う第一の正規化補正処理と、
前記太陽光判定処理により太陽光が写っているのと同等と判定された前記ラインセンサ画像に対し、予め設定するしきい値よりも輝度値が低い前記画像信号に対して正規化補正を行う第二の正規化補正処理と、
前記第一の正規化補正処理または前記第二の正規化補正処理により必要に応じて正規化補正を行った前記二つのラインセンサ画像に対して、点状のノイズを除去するメディアンフィルタ処理と、
前記メディアンフィルタ処理を行った前記二つのラインセンサ画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行う縦方向ＧＳＴＨ処理と、
前記縦方向ＧＳＴＨ処理を行った前記二つのラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行う横方向オープニング処理と、
前記横方向オープニング処理を行った前記二つのラインセンサ画像に対し、二値化処理を行う第一の二値化処理と、
前記第一の二値化処理を行った前記二つのラインセンサ画像に対して、前記縦方向ＧＳＴＨ処理および前記横方向オープニング処理が正常に行われたか否かを判定する二値化判定処理と、
前記二値化判定処理により前記縦方向ＧＳＴＨ処理および前記横方向オープニング処理が正常に行われていないと判定された前記ラインセンサ画像に対し、画像のヒストグラムを求め、線形による正規化補正を行う第三の正規化補正処理と、
前記第三の正規化補正処理を行った前記ラインセンサ画像に対し、二値化処理を行う第二の二値化処理と、
前記二値化判定処理により前記縦方向ＧＳＴＨ処理および前記横方向オープニング処理が正常に行われたと判定された前記ラインセンサ画像または前記第二の二値化処理が行われた前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行う横方向クロージング処理と、
前記横方向クロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊にラベル付けを行うラベリング処理と、
前記ラベリング処理によりラベル付けが行われた前記白色塊の大きさに基づいて前記白色塊が金具か否かを判定する金具候補判定処理と
を行うことを特徴とする。
【００１４】
また、上記の課題を解決するための第３の発明に係る架線金具検出装置は、第１または第２の発明において、
前記ラインセンサカメラが、モノクロカメラであり、
前記事前処理部が、予め取得した前記架線金具のモノクロ画像および前記架線金具以外のモノクロ画像を用いて前記人工知能機能の学習を行う
ことを特徴とする。
【００１５】
また、上記の課題を解決するための第４の発明に係る架線金具検出装置は、第１または第２の発明において、
前記ラインセンサカメラが、カラーカメラであり、
前記事前処理部が、予め取得した前記架線金具のカラー画像および前記架線金具以外のカラー画像を用いて前記人工知能機能の学習を行い、
前記金具候補検出部が、グレースケール化した前記二つのラインセンサ画像から前記架線金具の候補を検出し、
前記金具候補画像切り出し部が、前記金具候補検出部により検出した前記二つのラインセンサ画像中の前記架線金具の候補の情報に基づいてグレースケール化する前の前記二つのラインセンサ画像から前記架線金具の候補を切り出した切り出し画像を作成する
ことを特徴とする。
【００１６】
また、上記の課題を解決するための第５の発明に係る架線金具検出装置は、第１または第２の発明において、
前記ラインセンサカメラが、赤外光カメラであるとともに、
前記赤外光カメラにより撮影される範囲に対して赤外光を照射する赤外照明をさらに備え、
前記事前処理部が、予め取得した前記架線金具の赤外光画像および前記架線金具以外の赤外光画像を用いて前記人工知能機能の学習を行う
ことを特徴とする。
【００１７】
また、上記の課題を解決するための第６の発明に係る架線金具検出方法は、
予め取得した架線金具の画像および前記架線金具以外の画像を用いて人工知能機能の学習を行う事前処理工程と、
鉄道車両の幅方向に離間して配置され前記鉄道車両の走行中に架線および架線設備を前記鉄道車両の進行方向に対して垂直に撮影する二台のラインセンサカメラから出力された画像信号をそれぞれ時系列に並べて二つのラインセンサ画像を作成する画像作成工程と、
前記二つのラインセンサ画像から前記架線金具の候補を検出する金具候補検出工程と、
前記架線金具の候補に基づき前記ラインセンサ画像から前記架線金具の候補を切り出した切り出し画像を作成する画像切り出し工程と、
前記切り出し画像を前記人工知能機能に入力することにより前記架線金具の識別を行う金具識別処理工程と
を含むことを特徴とする。
【００１８】
また、上記の課題を解決するための第７の発明に係る架線金具検出方法は、第６の発明において、
前記金具候補検出工程は、
前記二つのラインセンサ画像の各ラインごとに明るさが昼と同等か又は夜と同等かを判定する昼夜判定処理工程と、
前記昼夜判定処理工程で昼と判定された前記ラインに対して輝度値を反転させる第一の輝度反転補正処理工程と、
前記昼夜判定処理工程で夜と判定された前記ラインに対して、予め設定するしきい値以上の輝度値が所定のライン数連続した領域の輝度値を反転させる第二の輝度反転補正処理工程と、
前記第一の輝度反転補正処理工程または前記第二の輝度反転補正処理工程で必要に応じて輝度値を反転させた前記二つのラインセンサ画像に対して、太陽光が写っているのと同等か否かを判定する太陽光判定処理工程と、
前記太陽光判定処理工程で太陽光が写っていないのと同等と判定された前記ラインセンサ画像に対し、画像のヒストグラムを求め、線形による正規化補正を行う第一の正規化補正処理工程と、
前記太陽光判定処理工程で太陽光が写っているのと同等と判定された前記ラインセンサ画像に対し、予め設定するしきい値よりも輝度値が低い前記画像信号に対して正規化補正を行う第二の正規化補正処理部と、
前記第一の正規化補正処理工程または前記第二の正規化補正処理工程で必要に応じて正規化補正を行った前記二つのラインセンサ画像に対して、点状のノイズを除去するメディアンフィルタ処理を行うメディアンフィルタ処理工程と、
前記メディアンフィルタ処理工程で点状のノイズを除去された前記二つのラインセンサ画像に対し、前記架線の延伸方向にＧＳＴＨ処理を行う縦方向ＧＳＴＨ処理工程と、
前記縦方向ＧＳＴＨ処理工程で前記架線の延伸方向にＧＳＴＨ処理を行った前記二つのラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にグレースケールオープニング処理を行う横方向オープニング処理工程と、
前記横方向オープニング処理工程でグレースケールオープニング処理を行った前記二つのラインセンサ画像に対し、二値化処理を行う第一の二値化処理工程と、
前記第一の二値化処理工程で二値化処理を行った前記二つのラインセンサ画像に対して、前記ＧＳＴＨ処理および前記横方向オープニング処理が正常に行われたか否かを判定する二値化判定処理工程と、
前記二値化判定処理工程で前記ＧＳＴＨ処理および前記横方向オープニング処理が正常に行われていないと判定された前記ラインセンサ画像に対し、画像のヒストグラムを求め、線形による正規化補正を行う第三の正規化補正処理工程と、
前記第三の正規化補正処理工程で正規化補正を行った前記ラインセンサ画像に対し、二値化処理を行う第二の二値化処理工程と、
前記二値化判定処理工程で前記ＧＳＴＨ処理および前記横方向オープニング処理が正常に行われたと判定された前記ラインセンサ画像または前記第二の二値化処理部により二値化処理が行われた前記ラインセンサ画像に対し、前記架線の延伸方向に垂直な方向にクロージング処理を行う横方向クロージング処理工程と、
前記横方向クロージング処理工程でクロージング処理を行った前記ラインセンサ画像の中から白色塊を検出し、検出した前記白色塊にラベル付けを行うラベリング処理工程と、
前記ラベリング処理工程でラベル付けが行われた前記白色塊の大きさに基づいて前記白色塊が金具か否かを判定する金具候補判定処理工程と
を含むことを特徴とする。
【００１９】
また、上記の課題を解決するための第８の発明に係る架線金具検出方法は、第６又は第７の発明において、
前記ラインセンサカメラが、モノクロカメラであり、
前記事前処理工程が、予め取得した前記架線金具のモノクロ画像および前記架線金具以外のモノクロ画像を用いて前記人工知能機能の学習を行う
ことを特徴とする。
【００２０】
また、上記の課題を解決するための第９の発明に係る架線金具検出方法は、第６又は第７の発明において、
前記ラインセンサカメラが、カラーカメラであり、
前記事前処理工程で、予め取得した前記架線金具のカラー画像および前記架線金具以外のカラー画像を用いて前記人工知能機能の学習を行い、
前記金具候補検出工程で、前記昼夜判定処理を行う前に前記ラインセンサ画像をグレースケール化する処理を行い、
前記金具候補画像切り出し工程で、前記金具候補検出工程で検出した前記二つのラインセンサ画像中の前記架線金具の候補の情報に基づいてグレースケール化する前の前記二つのラインセンサ画像から前記架線金具の候補を切り出した切り出し画像を作成する
ことを特徴とする。
【００２１】
また、上記の課題を解決するための第１０の発明に係る架線金具検出方法は、第６又は第７の発明において、
前記ラインセンサカメラが、赤外照明により照らされた前記架線を含む領域を撮影する赤外光カメラであり、
前記事前処理工程で、予め取得した前記架線金具の赤外光画像および前記架線金具以外の赤外光画像を用いて前記人工知能機能の学習を行う
ことを特徴とする。
【発明の効果】
【００２２】
本発明に係る架線金具検出装置および架線金具検出方法によれば、架線金具のみを正しくかつ確実に検出することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施例１に係る架線金具検出装置の設置例を示す説明図である。
【図２】本発明の実施例１に係る架線金具検出装置の構成を示すブロック図である。
【図３】本発明の実施例１における架線金具検出処理の流れを示すフローチャートである。
【図４】本発明の実施例１における金具候補検出部における処理の流れを示すフローチャートである。
【図５】建物が映り込んだラインセンサ画像の例を示す図である。
【図６】図５に示すラインセンサ画像に対して建物等を考慮した輝度値反転処理を行った結果を示す図である。
【図７】太陽光の反射が映り込んだラインセンサ画像の例を示す図である。
【図８】図７に示すラインセンサ画像に対して架線および架線金具を強調する正規化処理を行った結果を示す図である。
【図９】ラインセンサ画像に対してＧＳＴＨ処理を行った結果を示す図である。
【図１０】第一の二値化結果が正常である例を示す図である。
【図１１】第一の二値化結果が異常である例を示す図である。
【図１２】第一の二値化結果が異常であると判定された横方向オープニング処理後の画像に対して正規化補正処理を行った結果を示す図である。
【図１３】二台のラインセンサカメラの向きと架線および吊架線の位置との関係を示す説明図である。
【図１４】図１３に実線で示す架線、吊架線およびハンガーを第一，第二のラインセンサカメラでそれぞれ撮像して取得したラインセンサ画像の例を示す説明図である。
【図１５】図１３に一点鎖線で示す架線、吊架線およびハンガーを第一，第二のラインセンサカメラでそれぞれ撮像して取得したラインセンサ画像の例を示す説明図である。
【図１６】本発明の実施例２における金具候補検出部における処理の流れを示すフローチャートである。
【図１７】本発明の実施例３に係る架線金具検出装置の設置例を示す説明図である。
【図１８】架線金具の例を示す説明図であって、架線の側方から見た図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照しつつ本発明に係る架線金具検出装置および架線金具検出方法について説明する。
【００２５】
ここで、以下の説明において「架線金具」とは以下のものを指すものとする。
・ハンガー、ドロッパ、コネクタ、ダブルイヤー
・曲線引架線金具、支持物
これらが本発明に係る架線金具検出装置および架線金具検出方法によって検出できるものである。
【００２６】
本発明は、ラインセンサカメラによって取得した画像からまず架線を除去し、残った構造物を検出することにより、架線設備を枕木方向から見た際に、架線と異なる方向に延伸している架線金具を検出するものであり、図１８に示す交差架線金具８のように架線と同一方向に延伸している架線金具以外であれば、ハンガー６に限らずコネクタ７などの架線金具を検出することができる。換言すると、上述した架線金具（ハンガー６，コネクタ７）以外のものでも、架線と異なる方向に延伸している構造物であれば検出可能である。さらに、深層学習（機械学習）による架線金具の識別を行うことにより、従来、架線金具として誤検出されていた架線と異なる方向に延伸している背景物などを除外することが可能となる。
【００２７】
なお、本明細書において「ライン」は以下の意味とする。
ライン：ラインセンサカメラで車両の進行方向に直交する方向に沿ってスキャンした時に得られる測定面。例えばラインセンサカメラが１０００Ｈｚで測定する際、１秒間に得られるライン数は１０００ラインとなる。
【実施例１】
【００２８】
図１から図１５を用いて本発明の実施例１に係る架線金具検出装置および架線金具検出方法について説明する。
【００２９】
図１に示すように、本実施例において架線金具検出装置は、電車車両（以下、車両）１の屋根上に設置され、相互に同期された第一，第二のラインセンサカメラ（モノクロカメラ）２Ａ，２Ｂと、車両１の内部に設置された画像処理部３とを備えている。
また、トロリ線（架線）４は吊架線５に概ね等間隔に設置された複数のハンガー６によって支持されている。
【００３０】
第一，第二のラインセンサカメラ２Ａ，２Ｂは、車両１の屋根上に車幅方向に離間して設置され、その光軸が車両１の進行方向に直交するように、且つ、その視野に一つのハンガー６が収まるように設置角度および仰角を設定されている。なお、図１中に示す一点鎖線は第一，第二のラインセンサカメラ２Ａ，２Ｂによる撮影ラインである。第一，第二のラインセンサカメラ２Ａ，２Ｂによって取得した画像信号（ライン）は画像処理部３に入力される。
【００３１】
画像処理部３は、第一，第二のラインセンサカメラ２Ａ，２Ｂから入力される画像信号（ライン）をそれぞれ時系列に並べてなるラインセンサ画像を解析して架線金具を検出するものであり、演算装置３１と記録装置３２とから構成されている。
【００３２】
図２に示すように、演算装置３１は事前処理部３１ａ、ラインセンサ画像作成部３１ｂ、金具候補検出部３１ｃ、金具候補画像切り出し部３１ｄ、金具判定部３１ｅ、メモリＭ１およびメモリＭ２を備えている。画像処理部３の具体的な機能については図３および図４に示すフローチャートと共に説明する。
【００３３】
（ステップＳ１）
事前処理部３１ａは、人工知能機能の学習を行う部分であり、画像データベース３１ａａ、正解データ作成部３１ａｂおよび重み学習部３１ａｃを備えている。事前処理部３１ａａでは、画像データベース３１ａａに保管されているラインセンサ画像Ｌ０を取得し、画像データベース３１ａａから取得したラインセンサ画像Ｌ０を用いて正解データ作成部３１ａｂおよび手動で正解データの作成を行い、重み学習部３１ａｃにおいて、リサイズされた切り出し画像を、畳み込みニューラルネットワーク（ＣＮＮ）に入力し、架線金具と架線金具以外の２クラス識別の学習（機械学習）をさせる。なお、事前処理部３１ａにより行う具体的な処理（事前処理）は、上記特許文献５における事前処理と概ね同様とし、ここでの詳細な説明は省略する。
【００３４】
本実施例において上述したラインセンサ画像Ｌ０は、図１に示す第一，第二のラインセンサカメラ２Ａ，２Ｂによって予め取得し、画像データベース３１ａａに保管されているラインセンサ画像とし、このラインセンサ画像Ｌ０を用いて架線金具と架線金具以外の２クラス識別の学習を行って、第一，第二のラインセンサカメラ２Ａ，２Ｂの設置角度の違いによる映り込みの情報も学習させるものとする。
【００３５】
そして、車両１の走行中に実際に架線金具検出を行うときは、次のステップＳ２からステップＳ６の処理を行う。
【００３６】
（ステップＳ２）
ラインセンサ画像作成部３１ｂは、車両１の走行中に第一，第二のラインセンサカメラ２Ａ，２Ｂから入力される画像信号（ライン）をそれぞれ時系列的に並べて、第一，第二のラインセンサ画像ＬＡ，ＬＢ（図１４〜図１５等参照）を作成する。作成された第一，第二のラインセンサ画像ＬＡ，ＬＢは、メモリＭ１に保存され、その後、メモリＭ２に保存される。
【００３７】
（ステップＳ３）
金具候補検出部３１ｃは、第一，第二のラインセンサ画像ＬＡ，ＬＢに対して画像処理を行い、金具候補を検出し、検出した金具候補の位置情報をメモリＭ２へ保存する。具体的には、次のステップＳ３−１からステップＳ３−１９の処理を行う。
【００３８】
（ステップＳ３−１）
まず、金具候補検出部３１ｃでは、第一，第二のラインセンサ画像ＬＡ，ＬＢを構成するそれぞれのラインに対して昼夜判定処理を行う。つまり、ステップＳ３−５以降の処理を昼夜に影響されることなく同様に行うことができるように、各ラインの明るさが昼（昼と同等）なのか夜（夜と同等）なのかを判定する。判定基準は、各ラインにおいて、その明るさの中央値（背景の輝度値）がしきい値以上であれば昼とし、しきい値未満であれば夜として、各ラインに対する昼夜判定処理の結果を昼夜フラグデータとして保持する。なお、この処理は、上記特許文献４，５の「昼夜判定処理」と同様の処理となる。
【００３９】
（ステップＳ３−２）
続いて、昼夜フラグデータに基づいて明るさが昼（昼と同等）と判定されたラインについてはステップＳ３−３の処理を行い、明るさが夜（夜と同等）と判定されたラインについてはステップＳ３−４の処理を行う。
【００４０】
（ステップＳ３−３）
第一，第二のラインセンサ画像ＬＡ，ＬＢおよび昼夜フラグデータに基づき、第一，第二のラインセンサ画像ＬＡ，ＬＢの明るさが昼（昼と同等）と判定されたラインのみに対し、輝度値を反転させる輝度反転補正（第一の輝度反転補正）を行う。具体的には、０から２５５の輝度値で表現されたグレースケール画像に対し、例えば輝度値０の部分を輝度値２５５に、輝度値２５５の部分を輝度値０にすることにより輝度値を反転させる。これにより、架線および架線金具が高輝度で表示された画像（輝度反転画像）が得られる。
【００４１】
（ステップＳ３−４）
第一，第二のラインセンサ画像ＬＡ，ＬＢおよび昼夜フラグデータに基づき、第一，第二のラインセンサ画像ＬＡ，ＬＢの明るさが夜（夜と同等）と判定されたラインのみに対し、画像を端からスキャンしていき、しきい値以上の輝度値が一定ライン数連続した領域について輝度反転補正（第二の輝度反転補正）を行う。
すなわち、例えば昼間に撮影して取得した第一，第二のラインセンサ画像ＬＡ，ＬＢであっても、図５に示すように、建物１０１が映り込んでいる等の理由によって夜と判定されるラインが存在する可能性がある。このような場合、夜と判定されたラインには、建物１０１と同様にそのラインの明るさの中央値よりも輝度が低いものの、建物とは異なり輝度を反転したい対象（架線や架線金具など。図５に示す例では、トロリ線４、吊架線５およびハンガー６）が存在することになる。そこで、ステップＳ３−４では、架線および架線金具の形状特徴とカメラ画角情報とを利用し、夜と判定されたライン内に存在している、架線や架線金具のサイズに応じて設定したしきい値以下の輝度値の領域について、輝度値を反転することにより、建物領域のみを除外した輝度反転処理を行うようにしている。図６に、図５に示すラインセンサ画像に対して第二の輝度反転補正を行った結果を示す。図６では、トロリ線４、吊架線５およびハンガー６が高輝度で表示された状態となっている。
【００４２】
（ステップＳ３−５）
第一の輝度反転処理または第二の輝度反転処理を行った第一，第二のラインセンサ画像ＬＡ，ＬＢに対し、架線および架線金具を強調するための正規化処理を適切に行うことができるように、画像上の最大輝度値から最小輝度値までの幅を正規化の効果とした太陽光判定を行う。具体的には、画像上の最大輝度値から最小輝度値までの幅が狭く正規化の効果が大きい画像（太陽光などの輝度値の高い箇所が少ない画像）を太陽光が写っていないと判定し、画像上の最大輝度値から最小輝度値までの幅が広く正規化の効果が小さい画像（太陽光などによる輝度値の高い箇所が多い画像）を太陽光が写っていると判定する。
【００４３】
（ステップＳ３−６）
太陽光判定の結果、太陽光が写っていないと判定された画像に対してはステップＳ３−７の処理を行い、太陽光が写っていると判定された画像に対してはステップＳ３−８の処理を行う。
【００４４】
（ステップＳ３−７）
第一の輝度反転処理または第二の輝度反転処理を行い、太陽光が写っていないと判定された第一，第二のラインセンサ画像ＬＡ，ＬＢに対し、画像のヒストグラムを求め、線形による正規化補正を行う（第一の正規化補正）。具体的には、太陽光が写っていないと判定された第一，第二のラインセンサ画像ＬＡ，ＬＢに対し、明暗の差を大きくするように輝度値を補正する。
【００４５】
（ステップＳ３−８）
第一の輝度反転処理または第二の輝度反転処理を行い、太陽光が写っていると判定された第一，第二のラインセンサ画像ＬＡ，ＬＢに対し、架線や架線金具などは背景に比べ輝度値が低いという架線および架線金具の特徴を利用し、輝度値の低い方から任意のしきい値までの幅の部分について正規化を行う（第二の正規化補正）。これにより、図７のような太陽光の反射１０２が写っている画像から、図８のように輝度値の高い箇所が多い画像中にある輝度値の低い架線や架線金具（図８に示す例では、トロリ線４、吊架線５およびハンガー６）を強調することが可能となる。
すなわち、太陽光の反射が写っている画像のように輝度値の高い箇所が多い画像では、最小輝度値から最大輝度値までの幅が大きく、通常の正規化補正処理では効果が見込めない。その結果、輝度値の高い背景に影響を受け、輝度値の低い架線金具が強調されず、ラインセンサ画像から架線金具が検出されない可能性がある。
そこで、ステップＳ３−８では、太陽光の影響で輝度値の高い箇所が多い画像に対して、正規化時に、最大輝度値から最小輝度値までの幅を正規化の効果とした判定処理に加え、最大輝度値から最小輝度値までの幅が広く正規化補正処理の効果が小さいと判断した場合には、架線や架線金具などは輝度値が低いという情報を参考に、輝度値の低い方から任意のしきい値までの幅の部分に対し正規化補正処理を行うようにしている。
【００４６】
（ステップＳ３−９）
第一の正規化補正または第二の正規化補正を行った第一，第二のラインセンサ画像ＬＡ，ＬＢに対して、背景に存在する点状のノイズを除去するためにメディアンフィルタ処理を行う。なお、この処理は、上記特許文献４，５の「メディアンフィルタ処理」と同様の処理である。
【００４７】
（ステップＳ３−１０）
メディアンフィルタ処理を行った第一，第二のラインセンサ画像ＬＡ，ＬＢに対し、横方向ではなく、縦方向にＧＳＴＨ処理を行う（縦方向ＧＳＴＨ処理）。具体的には、まず、縦方向にグレースケールオープニング処理（収縮してから膨張する処理）を行うことで、ハンガー６やコネクタ７等の横線を消す。ここで行う収縮膨脹の回数は、ハンガー６やコネクタ７の縦方向の長さよりも大きな値に設定する。これにより、ハンガー６やコネクタ７等の横線を消すことができるようになる。続いて、ラインセンサ画像Ｌ４からグレースケールオープニング処理をした画像を引くことでハンガー６やコネクタ７、そして、トロリ線４や吊架線５の縁のみが残るようにする。図９に、縦方向ＧＳＴＨ処理後の画像の例を示す。なお、この処理は、上記特許文献４，５の「ＧＳＴＨ処理」と同様の処理である。
【００４８】
（ステップＳ３−１１）
縦方向ＧＳＴＨ処理を行った第一，第二のラインセンサ画像ＬＡ，ＬＢに対し、第一，第二のラインセンサ画像ＬＡ，ＬＢ中に残ったノイズ（トロリ線４や吊架線５の縁）を消すため、横方向にグレースケールオープニング処理を行う（横方向オープニング処理）。具体的には、第一，第二のラインセンサ画像ＬＡ，ＬＢ中に残ったノイズ（トロリ線４や吊架線５の縁）よりも大きな値でグレースケールオープニング処理を行うことで、ノイズ（トロリ線４や吊架線５の縁）を消去することができる。なお、この処理は、上記特許文献４，５の「横方向グレースケールオープニング処理」と同様の処理である。
【００４９】
（ステップＳ３−１２）
横方向オープニング処理を行った第一，第二のラインセンサ画像ＬＡ，ＬＢに対し、グレースケールを白黒二値に変換する二値化処理を行う（第一の二値化処理）。このときの二値化しきい値は、背景よりも大きく、かつ、非常に小さな輝度値（例えば、１０等）を設定するものとし、固定値であっても、大津の二値化などの動的にしきい値を決定する手法によって求めた値でもよい。この処理により、背景の輝度値よりも大きな値は全て輝度値が２５５に変換される。なお、この処理は、上記特許文献４，５の「二値化処理」と同様の処理である。
【００５０】
（ステップＳ３−１３）
第一の二値化処理を行った第一，第二のラインセンサ画像ＬＡ，ＬＢに対し、上述したステップＳ３−１１からステップＳ３−１２の処理が適切に行われたか（二値化結果が正常か異常か）を判定する。
判定方法としては、架線と架線金具の形状特徴とカメラの画角から、架線と架線金具が画像上に占める領域を利用する。これにより、第一の二値化処理を行った第一，第二のラインセンサ画像ＬＡ，ＬＢ上の白領域（架線と架線金具）の比率を判定基準とし、二値化結果が正常か異常かを判定することが可能となる。例えば、図１０のように二値化後の白（架線と架線金具）領域が架線金具（図１０に示す例では、ハンガー６）のみである場合は正常と判断し、図１１のようにノイズも二値化後の白領域に含まれ、多くの領域が白領域になる場合は異常と判断する。
例えば、メディアンフィルタ処理後の第一，第二のラインセンサ画像ＬＡ，ＬＢが、全体的に輝度値が低く、背景と架線および架線金具との輝度差が少ない場合、架線金具を抽出するＧＳＴＨ処理時にノイズが残ってしまい、これにより図１１に示すように第一の二値化処理後の画像にも白領域がノイズとして含まれることが考えられる。このような場合は二値化結果が異常と判断されることになる。
【００５１】
（ステップＳ３−１４）
二値化判定により二値化結果が異常と判断された場合はステップＳ３−１５の処理を行い、二値化判定により二値化結果が正常であると判断された場合はステップＳ３−１７の処理を行う。
【００５２】
（ステップＳ３−１５）
上述したステップＳ３−９からステップＳ３−１１で、メディアンフィルタ処理、縦方向ＧＳＴＨ処理、および横方向オープニング処理を行った第一，第二のラインセンサ画像ＬＡ，ＬＢに対してステップＳ３−７と同様の正規化補正（第三の正規化補正）を行う。
図１２に、メディアンフィルタ処理、縦方向ＧＳＴＨ処理、および横方向オープニング処理後の画像に対して第三の正規化補正を行った結果を示す。
【００５３】
（ステップＳ３−１６）
第三の正規化補正後の第一，第二のラインセンサ画像ＬＡ，ＬＢに対し、ステップＳ−１２と同様の二値化処理を行う（第二の二値化処理）。ステップＳ３−１５でメディアンフィルタ処理、縦方向ＧＳＴＨ処理、および横方向オープニング処理後の画像に対して正規化補正を行ったものに対し、二値化処理を行うことで、ノイズを含む架線金具画像から架線金具部を強調した図１０に示すような画像を得ることができる。
【００５４】
（ステップＳ３−１７）
第一の二値化処理、または第一および第二の二値化処理を行った第一，第二のラインセンサ画像ＬＡ，ＬＢに対し、途切れた塊をつなげるため、横方向にクロージング処理（膨脹してから収縮する処理）を行う（横方向クロージング処理）。すなわち、第一の二値化処理、または第一および第二の二値化処理を行った第一，第二のラインセンサ画像ＬＡ，ＬＢにおいて、ハンガー６やドロッパ（図示せず）等の金具に対応する部分は、ステップＳ３−１０の縦方向ＧＳＴＨ処理により消した架線の幅だけ途切れた塊となってしまっている。そこで、ステップＳ３−１７では、横方向クロージング処理を行って途切れた塊をつなげるようにしている。そのため、クロージング処理（膨張してから収縮する処理）の膨張収縮回数は、架線（トロリ線４や吊架線５）の幅よりも大きな値を設定する。この処理により、トロリ線４や吊架線５の幅で一度途切れたハンガー６やコネクタ７の架線金具が再度つながった二値の第一，第二のラインセンサ画像ＬＡ，ＬＢを得ることができる。なお、この処理は、上記特許文献４，５の「横方向クロージング処理」と同様の処理である。
【００５５】
（ステップＳ３−１８）
横方向クロージング処理を行った第一，第二のラインセンサ画像ＬＡ，ＬＢに対し、二値化画像の白色塊を検出し、検出した白色塊の各々にラベルを付ける（ラベリング処理）。なお、この処理は、上記特許文献４，５の「ラベリング処理」と同様の処理である。
【００５６】
（ステップＳ３−１９）
ラベリング処理によってラベルを付与した白色塊の大きさに基づいて、架線金具かノイズかを判定する（金具候補判定）。大きさが小さいものはノイズであるとして除去し、一定の大きさ以上の白色塊を架線金具と判定し、架線金具と判定されたものの位置情報を金具候補位置情報としてメモリＭ２へ保存する。この金具候補判定処理により、ハンガー６やドロッパの候補を抽出できる。この処理は、上記特許文献４，５の「金具判定処理」と同様の処理である。
なお、この金具候補判定時に、塊の形状を見て、金具の有無や種別を判定しても良い。例えばハンガー６であれば長方形な形状であり、ドロッパであれば曲率を持つような形状である。そのような形状から金具の有無や種類まで判定することが可能である。
【００５７】
（ステップＳ４）
金具候補画像切り出し部３１ｏは、金具候補位置情報に基づき第一，第二のラインセンサ画像ＬＡ，ＬＢから金具候補画像を切り出し、金具候補切り出し画像群としてメモリＭ２へ保存する。なお、この処理は、上記特許文献４，５の「金具候補画像切り出し部」における処理と同様である。
【００５８】
（ステップＳ５）
金具判定部３１ｅは、金具候補の数だけ、メモリＭ２から学習済みネットワークと金具候補切り出し画像群とを読み出して、金具候補切り出し画像群を学習済みネットワークに入力し、金具識別ラベルとそのときの金具識別確率を算出してそれぞれを金具識別ラベルデータ，金具識別確率データとしてメモリＭ２へ保存すると共に、金具識別ラベルおよび金具識別確率に基づき架線金具ラベルであると判定された箇所を架線金具存在箇所として、金具判定結果，金具位置情報をメモリＭ２へ保存する。
【００５９】
（ステップＳ６）
以上に示したステップＳ２からステップＳ４の処理を検査が終了するまで繰り返す。
【００６０】
以下に、本実施例に係る架線金具検出装置および架線金具検出方法による作用効果について説明する。
【００６１】
図１３に実線で示すトロリ線４、吊架線５およびハンガー６を第一，第二のラインセンサカメラ２Ａ，２Ｂによって撮影して得られるラインセンサ画像の例をそれぞれ図１４にＬＡ，ＬＢとして示し、図１３に一点鎖線で示すトロリ線４、吊架線５およびハンガー６を第一，第二のラインセンサカメラ２Ａ，２Ｂによって撮影して得られるラインセンサ画像の例をそれぞれ図１５にＬＡ，ＬＢとして示す。
【００６２】
図１４に示すように、ハンガー６が第一，第二のラインセンサカメラ２Ａ，２Ｂのほぼ中間に位置する場合、第一，第二のラインセンサ画像ＬＡ，ＬＢにはともにハンガー６が明瞭に写っていることが分かる。これに対し、図１５に示すように、ハンガー６が第一のラインセンサカメラ２Ａのほぼ直上に位置している場合は、ラインセンサ画像ＬＡではハンガー６が認識しづらくなっているのに対し、ラインセンサ画像ＬＢにはハンガー６が明瞭に写っていることが分かる。
【００６３】
すなわち、二台のラインセンサカメラ２Ａ，２Ｂを用いる構成としたことにより、一方のラインセンサカメラでハンガー６を撮影できなかった場合であっても、他方のラインセンサカメラで撮影した画像を用いて確実にハンガー６を検出することが可能になる。
【００６４】
さらに、金具候補検出部３１ｃにおいて昼夜判定および太陽光判定を行う構成としたことにより、建物や太陽光、トンネルといった外乱の多い環境下においても、背景から架線および架線金具を適切に抽出することができ、架線および架線金具の未検出や誤検出を防止して外乱に強いロバストな架線金具検出を行うことが可能となる。
【００６５】
このように、本実施例に係る架線金具検出装置および架線金具検出方法によれば、架線金具のみを正しくかつ確実に検出することができる。
【００６６】
なお、上述した実施例では、事前処理部３１ａで人工知能機能の学習を行う際に用いるラインセンサ画像Ｌ０として、第一，第二のラインセンサカメラ２Ａ，２Ｂによりそれぞれ取得したラインセンサ画像Ｌ０を利用し、カメラの向きによる映り込みも考慮して人工知能機能の学習を行う例を示したが、事前処理部３１ａにおいては、第一，第二のラインセンサカメラ２Ａ，２Ｂにより取得したラインセンサ画像Ｌ０を利用する一方、カメラの向きによる映り込みを考慮せずに金具自体のみの特徴を学習させるようにしても良く、又は、第一，第二のラインセンサカメラ２Ａ，２Ｂ以外の一台又は複数台のラインセンサカメラを用いてラインセンサ画像Ｌ０を取得し金具自体のみの特徴を学習させても良い。すなわち、事前処理部３１ａにおける人工知能機能の学習は、金具検出の精度を重視する場合は金具検出に用いるラインセンサカメラにより取得した画像を利用し、カメラの向きによる映りこみを考慮して行うことが好適であり、作業量の軽減を重視する場合はカメラの向きによる映りこみを考慮せずに行うことが好適となるため、必要に応じて選択すればよい。
【００６７】
また、本実施例では車両１にラインセンサカメラ２および画像処理部３を設置する例を示したが、本発明は上述した実施例に限定されるものではなく、車両１以外の鉄道車両（例えば、気動車）に第一，第二のラインセンサカメラ２Ａ，２Ｂおよび画像処理部３を設置して架線金具の検出を行うなど、本発明の趣旨を逸脱しない範囲で種々の変更が可能であることは言うまでもない。
【実施例２】
【００６８】
以下、図１から図３および図１６を用いて本発明の実施例２に係る架線金具検出装置および架線金具検出方法について説明する。
【００６９】
本実施例は、上述した実施例１で説明した第一，第二のラインセンサカメラ２Ａ，２Ｂに代えて、図１に示す第一，第二のカラーラインカメラ（カラーカメラ）２Ｃ，２Ｄを採用するものである。また、画像処理部３の具体的な機能については、金具候補検出部３１ｃにおける処理が一部異なるのみであり、以下、実施例１において説明した部材と同一の作用を奏する部材および実施例１において説明した処理と同一の処理には同一の符号を付し、重複する説明は省略する。
【００７０】
以下、図３および図１６を用いて本実施例における画像処理部３の具体的な機能について実施例１と異なる点を中心に説明する。
【００７１】
（ステップＳ１）
事前処理部３１ａは、ラインセンサ画像Ｌ０として、図１に示す第一，第二のカラーラインカメラ２Ｃ，２Ｄによって予め取得し、画像データベース３１ａａに保管されているラインセンサ画像を用いて事前処理を行う。カラー画像を利用して事前処理を行うことにより、カラー情報を含む学習が可能となる。
【００７２】
（ステップＳ２）
ラインセンサ画像作成部３１ｂは、車両１の走行中に第一，第二のカラーラインカメラ２Ｃ，２Ｄから入力される画像信号（ライン）をそれぞれ時系列的に並べて、第一，第二のカラーラインセンサ画像（図示せず）を作成する。作成された第一，第二のカラーラインセンサ画像は、メモリＭ１に保存され、その後、メモリＭ２に保存される。
【００７３】
（ステップＳ３）
金具候補検出部３１ｃは、第一，第二のカラーラインセンサ画像に対して画像処理を行い、金具候補を検出し、検出した金具候補の位置情報をメモリＭ２へ保存する。具体的には、図１６に示すように実施例１で説明したステップＳ３−１〜ステップＳ３−１９の処理を行う前に、ステップＳ３−０として第一，第二のカラーラインセンサ画像をグレースケール化する処理を行う。ステップＳ３−１からステップＳ３−１９の処理は実施例１と同様となる。
【００７４】
（ステップＳ４）
金具候補画像切り出し部３１ｏは、金具候補位置情報に基づきグレースケール化を行う前の第一，第二のカラーラインセンサ画像から金具候補画像を切り出し、金具候補切り出し画像群としてメモリＭ２へ保存する。
【００７５】
（ステップＳ５）
金具判定部３１ｅは、メモリＭ２から学習済みネットワークとカラーの金具候補切り出し画像群とを読み出して、金具候補切り出し画像群を学習済みネットワークに入力し、金具識別ラベルとそのときの金具識別確率を算出してそれぞれを金具識別ラベルデータ，金具識別確率データとしてメモリＭ２へ保存すると共に、金具識別ラベルおよび金具識別確率に基づき架線金具ラベルであると判定された箇所を架線金具存在箇所として、金具判定結果，金具位置情報をメモリＭ２へ保存する。
【００７６】
このように構成される本実施例に係る架線金具検出装置および架線金具検出方法によれば、事前処理部３１ａにおいてカラーラインセンサ画像Ｌ０を用いたカラー情報を含む学習を行い、金具判定部３１ｅにおいてカラー画像に基づいて金具判定を行うことにより、実施例１による効果に加え、カラー特徴を利用したより高精度な金具判定を行うことが可能となる。
【実施例３】
【００７７】
以下、図２から図４および図１７を用いて本発明の実施例３に係る架線金具検出装置および架線金具検出方法について説明する。
【００７８】
図１７に示すように、本実施例は、上述した実施例１で説明した第一，第二のラインセンサカメラ２Ａ，２Ｂに代えて、第一，第二の赤外光ラインカメラ（赤外光カメラ）２Ｅ，２Ｆを採用するとともに、第一，第二の赤外照明９Ａ，９Ｂを追加するものである。第一，第二の赤外照明９Ａ，９Ｂはそれぞれ第一，第二の赤外光ラインカメラ２Ｅ，２Ｆによって撮像される架線および架線金具を含む領域に向けて照明を行う。
画像処理部３の具体的な機能については実施例１において図２から図４に示し上述した内容と同様であり、重複する説明は省略する。
【００７９】
以下、図３および図１７を用いて本実施例における画像処理部３の具体的な機能について実施例１と異なる点を中心に説明する。
【００８０】
（ステップＳ１）
事前処理部３１ａは、ラインセンサ画像Ｌ０として、図１７に示す第一，第二の赤外光ラインカメラ２Ｅ，２Ｆによって予め取得し、画像データベース３１ａａに保管されているラインセンサ画像を用いて事前処理を行う。
【００８１】
（ステップＳ２）
ラインセンサ画像作成部３１ｂは、車両１の走行中に第一，第二の赤外光ラインカメラ２Ｅ，２Ｆから入力される画像信号（ライン）をそれぞれ時系列的に並べて、第一，第二の赤外光ラインセンサ画像（図示せず）を作成する。作成された第一，第二の赤外光ラインセンサ画像は、メモリＭ１に保存され、その後、メモリＭ２に保存される。
【００８２】
（ステップＳ３）
金具候補検出部３１ｃは、第一，第二の赤外光ラインセンサ画像に対して画像処理を行い、金具候補を検出し、検出した金具候補の位置情報をメモリＭ２へ保存する。具体的な処理は、実施例１で説明したステップＳ３−１〜ステップＳ３−１９の処理と同様となる。なお、本実施例においては上述した昼夜判定として、各ラインにおいて、その明るさの中央値がしきい値以上であれば昼と同等、各ラインの明るさの中央値がしきい値未満であれば夜と同等と判定するものとし、上述した太陽光判定として、ステップＳ３−３またはステップＳ３−４で輝度反転処理を行った第一，第二の赤外光ラインセンサ画像の最大輝度値から最小輝度値までの幅が狭く正規化効果が強い画像を太陽光が写っているものと同等とし、第一，第二の赤外光ラインセンサ画像の最大輝度値から最小輝度値までの幅が広く正規化効果が弱い画像を太陽光が写っていないものと同等と判定するものとする。
【００８３】
（ステップＳ４）
金具候補画像切り出し部３１ｏは、金具候補位置情報に基づき第一，第二の赤外光ラインセンサ画像から金具候補画像を切り出し、金具候補切り出し画像群としてメモリＭ２へ保存する。
【００８４】
（ステップＳ５）
金具判定部３１ｅは、メモリＭ２から学習済みネットワークと金具候補切り出し画像群とを読み出して、金具候補切り出し画像群を学習済みネットワークに入力し、金具識別ラベルとそのときの金具識別確率を算出してそれぞれを金具識別ラベルデータ，金具識別確率データとしてメモリＭ２へ保存すると共に、金具識別ラベルおよび金具識別確率に基づき架線金具ラベルであると判定された箇所を架線金具存在箇所として、金具判定結果，金具位置情報をメモリＭ２へ保存する。
【００８５】
このように構成される本実施例に係る架線金具検出装置および架線金具検出方法によれば、夜間やトンネルなど暗闇区間においても架線金具を撮影することができ、実施例１に比較して、暗闇区間でもより確実に架線金具を検出することが可能となる。
【符号の説明】
【００８６】
１  電車車両
２  ラインセンサカメラ
３  画像処理部
４  トロリ線
５  吊架線
６  ハンガー
７  コネクタ
８  交差架線金具
３１  演算装置
３１ａ  事前処理部
３１ａａ  画像データベース
３１ａｂ  正解データ作成部
３１ａｃ  重み学習部
３１ｂ  ラインセンサ画像作成部
３１ｃ  金具候補検出部
３１ｄ  金具候補画像切り出し部
３１ｅ  金具判定部
３２  記録装置
Ｍ１，Ｍ２  メモリ
【図１】
2020149286.tif 000003
【図２】
2020149286.tif 000004
【図３】
2020149286.tif 000005
【図４】
2020149286.tif 000006
【図５】
2020149286.tif 000007
【図６】
2020149286.tif 000008
【図７】
2020149286.tif 000009
【図８】
2020149286.tif 000010
【図９】
2020149286.tif 000011
【図１０】
2020149286.tif 000012
【図１１】
2020149286.tif 000013
【図１２】
2020149286.tif 000014
【図１３】
2020149286.tif 000015
【図１４】
2020149286.tif 000016
【図１５】
2020149286.tif 000017
【図１６】
2020149286.tif 000018
【図１７】
2020149286.tif 000019
【図１８】
2020149286.tif 000020