(57)【要約】  本開示における前方監視装置は、列車の進行方向を撮像するステレオカメラを有し、ステレオカメラによって列車の走行前に撮像された走行前両眼画像及び走行中に撮像された走行中両眼画像が入力される画像入力部と、走行前両眼画像から列車周辺の複数のランドマークを検出するとともに、走行中両眼画像から列車周辺の１つのランドマークを検出するランドマーク検出部と、走行前両眼画像に対し、列車周辺の複数のランドマークの位置情報に基づき第１のキャリブレーション計算を行うとともに、走行中両眼画像に対し、列車周辺の１つのランドマークの位置情報に基づき第１のキャリブレーション計算よりも高速な第２のキャリブレーション計算を行うキャリブレーション部と、を備え、キャリブレーション部は、列車の走行前に実施した第１のキャリブレーション計算に基づき補正された走行中両眼画像から算出された列車周辺の１つのランドマークの推定位置情報と、列車周辺の１つのランドマークの基準の位置である基準位置情報とを比較するとともに、基準位置情報に対する推定位置情報のずれ量が閾値以上であれば、第２のキャリブレーション計算に基づき走行中両眼画像の補正を行うものである。
2021044564.tif 000002
【特許請求の範囲】
【請求項１】
列車の進行方向を撮像するステレオカメラを有し、前記ステレオカメラによって列車の走行前に撮像された走行前両眼画像及び走行中に撮像された走行中両眼画像が入力される画像入力部と、
前記走行前両眼画像から列車周辺の複数のランドマークを検出するとともに、前記走行中両眼画像から列車周辺の１つのランドマークを検出するランドマーク検出部と、
前記走行前両眼画像に対し、列車周辺の前記複数のランドマークの位置情報に基づき第１のキャリブレーション計算を行うとともに、前記走行中両眼画像に対し、列車周辺の前記１つのランドマークの位置情報に基づき前記第１のキャリブレーション計算よりも高速な第２のキャリブレーション計算を行うキャリブレーション部と、を備え、
前記キャリブレーション部は、列車の走行前に実施した前記第１のキャリブレーション計算に基づき補正された前記走行中両眼画像から算出された列車周辺の前記１つのランドマークの推定位置情報と、列車周辺の前記１つのランドマークの基準の位置である基準位置情報とを比較するとともに、前記基準位置情報に対する前記推定位置情報のずれ量が閾値以上であれば、前記第２のキャリブレーション計算に基づき前記走行中両眼画像の補正を行う、
前方監視装置。
【請求項２】
前記列車周辺の前記１つのランドマークは、線路位置であり、
前記基準位置情報は、補正された前記走行前両眼画像から算出された線路の位置情報であり、
前記推定位置情報は、補正された前記走行中両眼画像から算出された線路の位置情報である、
請求項１に記載の前方監視装置。
【請求項３】
前記列車周辺の前記１つのランドマークは、線路幅であり、
前記基準位置情報は、既知の線路幅から算出された線路幅の情報であり、
前記推定位置情報は、補正された前記走行中両眼画像から算出された線路幅の情報である、
請求項１に記載の前方監視装置。
【請求項４】
前記列車周辺の前記１つのランドマークは、架線柱の配置距離であり、
前記基準位置情報は、既知の架線柱の配置距離から算出された架線柱の配置距離の情報であり、
前記推定位置情報は、補正された前記走行中両眼画像から算出された架線柱の配置距離の情報である、
請求項１に記載の前方監視装置。
【請求項５】
前記ランドマーク検出部は、前記走行中両眼画像中に前記ランドマークを検知する検知エリアを設け、前記列車が走行することにより発生する前記走行中両眼画像上の動きを、前記走行中両眼画像の時系列変化から光流動パターンとして算出し、前記光流動パターンから前記検知エリアの移動ベクトルを算出し、前記検知エリアを移動させて前記ランドマークを検知する、
請求項１〜４のいずれか一項に記載の前方監視装置。
【請求項６】
走行中の前記列車の３次元位置、前記列車周辺の２次元地図、前記列車が走行する線路の地図上の位置情報、及び前記列車周辺のランドマークの位置情報の少なくともいずれかを地図情報として取得する地図情報取得部を備える、
請求項１〜５のいずれか一項に記載の前方監視装置。
【請求項７】
列車の走行前にステレオカメラによって走行前両眼画像を撮像する工程と、
前記走行前両眼画像から列車周辺の複数のランドマークを検出し、列車周辺の前記複数のランドマークに基づき第１のキャリブレーションを実施する工程と、
前記第１のキャリブレーションに基づき、前記走行前両眼画像を補正する工程と、
列車の走行中にステレオカメラによって走行中両眼画像を撮像する工程と、
前記列車の走行前に実施した前記第１のキャリブレーションに基づき、前記走行中両眼画像を補正する工程と、
補正された前記走行中両眼画像から列車周辺の１つのランドマークを抽出する工程と、
抽出された列車周辺の前記１つのランドマークに基づき、列車周辺の前記１つのランドマークの推定位置情報を算出する工程と、
前記推定位置情報及び列車周辺の前記１つのランドマークの基準の位置である基準位置情報を比較する工程と、
前記基準位置情報及び前記推定位置情報の差が閾値以上であれば、列車周辺の前記１つのランドマークに基づき、前記第１のキャリブレーション計算よりも高速で第２のキャリブレーション計算を行う工程と、
前記第２のキャリブレーションに基づき、前記走行中両眼画像を補正する工程と
を備える、前方監視装置のキャリブレーション方法。
【請求項８】
補正された前記走行前両眼画像から列車周辺の１つのランドマークを抽出する工程と、
抽出された列車周辺の前記１つのランドマークに基づき、前記基準位置情報を算出する工程と
を備える、請求項７に記載の前方監視装置のキャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、前方監視装置及び前方監視装置のキャリブレーション方法に関するものである。
【背景技術】
【０００２】
三次元の距離情報を取得し、この情報に基づいて周囲環境や自己位置を認識する三次元計測装置が知られており、例えば自動車に搭載されて実用化されている。この種の三次元計測装置は、例えば、左右一対のカメラ（以下、「ステレオカメラ」という）で撮影した同一対象物の一対の画像（以下、「両眼画像」という）についての相関を求め、同一物体に対する両眼視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により対象物までの距離を算出する。しかしながら、ステレオカメラの設置時、自動車の走行中等に、ステレオカメラの光軸がずれ、両眼視差が経時的にずれてしまう場合がある。【０００３】
このような光軸ずれを補正するため、例えば特許文献１では、ステレオカメラによる両眼画像の同一フレームから、自車両からの距離が異なる２つの対象物、例えば信号機のような停止物を検出するとともに、これらに対応する２つの停止物をナビゲーションシステムの地図情報から検出する技術が開示されている。
画像情報から検出された２つの停止物間距離を第１の停止物間距離、地図情報から検出された２つの停止物間距離を第２の停止物間距離として算出し、第２の停止物間距離を真値として第１の停止物間距離が第２の停止物間距離に一致するように画像情報を補正する。【０００４】
このように、画像情報を補正することによって、例えば道路上に検出された障害物までの距離を正確に算出することができ、運転者は、ブレーキを踏む、障害物を避ける等の対応を行うことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１７−３２３５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、線路上を走行する列車においては、障害物等を避けて走行することができないことから、自動車と比べてより高い測距精度が求められるが、ステレオカメラの視軸補正や傾き補正等に必要なキャリブレーション情報にずれが生じると、十分な測距精度が確保できないという課題があった。【０００７】
さらに、列車は自動車と比較して制動距離が長いため、測距精度を維持しながら安定的に障害物までの測距を行うために、両眼画像に対する補正の実行速度を高速化させる必要があるという課題があった。【０００８】
本開示は、上述の課題を解決するためになされたもので、列車周辺の複数のランドマークを用いて、列車の走行前に実施した詳細キャリブレーション計算に基づき走行中の両眼画像を補正し、列車周辺の１つのランドマークを用いて、簡易キャリブレーション計算に基づき補正された走行中の両眼画像を補正することによって、障害物検知を行う際の測距精度を向上できるとともに、走行中の両眼画像に対する補正の実行速度を向上できる前方監視装置及び前方監視装置のキャリブレーション方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本開示にかかる前方監視装置は、列車の進行方向を撮像するステレオカメラを有し、前記ステレオカメラによって列車の走行前に撮像された走行前両眼画像及び走行中に撮像された走行中両眼画像が入力される画像入力部と、前記走行前両眼画像から列車周辺の複数のランドマークを検出するとともに、前記走行中両眼画像から列車周辺の１つのランドマークを検出するランドマーク検出部と、前記走行前両眼画像に対し、列車周辺の前記複数のランドマークの位置情報に基づき第１のキャリブレーション計算を行うとともに、前記走行中両眼画像に対し、列車周辺の前記１つのランドマークの位置情報に基づき前記第１のキャリブレーション計算よりも高速な第２のキャリブレーション計算を行うキャリブレーション部と、を備え、前記キャリブレーション部は、列車の走行前に実施した前記第１のキャリブレーション計算に基づき補正された前記走行中両眼画像から算出された列車周辺の前記１つのランドマークの推定位置情報と、列車周辺の前記１つのランドマークの基準の位置である基準位置情報とを比較するとともに、前記基準位置情報に対する前記推定位置情報のずれ量が閾値以上であれば、前記第２のキャリブレーション計算に基づき前記走行中両眼画像の補正を行うものである。【００１０】
本開示にかかる前方監視装置のキャリブレーション方法は、列車の走行前にステレオカメラによって走行前両眼画像を撮像する工程と、走行前両眼画像から列車周辺の複数のランドマークを検出し、列車周辺の複数のランドマークに基づき第１のキャリブレーションを実施する工程と、第１のキャリブレーションに基づき、走行前両眼画像を補正する工程と、列車の走行中にステレオカメラによって走行中両眼画像を撮像する工程と、列車の走行前に実施した第１のキャリブレーションに基づき、走行中両眼画像を補正する工程と、補正された走行中両眼画像から列車周辺の１つのランドマークを抽出する工程と、抽出された列車周辺の１つのランドマークに基づき、列車周辺の１つのランドマークの推定位置情報を算出する工程と、推定位置情報及び列車周辺の１つのランドマークの基準の位置である基準位置情報を比較する工程と、基準位置情報及び推定位置情報の差が閾値以上であれば、列車周辺の１つのランドマークに基づき、第１のキャリブレーション計算よりも高速で第２のキャリブレーション計算を行う工程と、第２のキャリブレーションに基づき、走行中両眼画像を補正する工程とを備えるものである。
【発明の効果】
【００１１】
本開示によれば、列車周辺の複数のランドマークを用いて、列車の走行前に実施した詳細キャリブレーション計算に基づき走行中の両眼画像を補正し、列車周辺の１つのランドマークを用いて、簡易キャリブレーション計算に基づき補正された走行中の両眼画像を補正することによって、障害物検知を行う際の測距精度を向上できるとともに、走行中の両眼画像に対する補正の実行速度を向上できる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１にかかる前方監視装置を示すブロック図。
【図２】実施の形態１にかかる前方監視装置のキャリブレーション処理を示す工程図。
【図３】実施の形態２にかかる前方監視装置のキャリブレーション処理を示す工程図。
【図４】実施の形態２にかかる補正済走行中両眼画像を示す図。
【図５】実施の形態３にかかる前方監視装置のキャリブレーション処理を示す工程図。
【図６】実施の形態４にかかる前方監視装置を示すブロック図。
【図７】実施の形態４にかかる前方監視装置のキャリブレーション処理を示す工程図。
【図８】実施の形態４にかかる線路検知方法を示す図。
【図９】実施の形態５にかかる検知エリアを設定する方法を示す図。
【図１０】実施の形態５にかかる前方監視装置のパターンマッチング動作を示す図。
【図１１】実施の形態５にかかる前方監視装置の左右カメラ画像及び距離マップを示す図。
【図１２】実施の形態５にかかる前方監視装置の距離マップを示す図。
【図１３】実施の形態５にかかる前方監視装置の検知エリア内の拡大図。
【図１４】実施の形態５にかかる前方監視装置の障害物検知方法を示す工程図
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は、実施の形態１にかかる前方監視装置を示すブロック図であり、図２は、実施の形態１にかかる前方監視装置のキャリブレーション処理を示す工程図である。前方監視装置１００は、ステレオカメラ１０を有する画像入力部１、ランドマーク検出部２、キャリブレーション部３、及び記憶部４を備える。
【００１４】
ステレオカメラ１０は、２台のカメラを備える。これらのカメラは、例えば列車前方の左側と右側にそれぞれ設置されている。左側のカメラによって左カメラ画像が撮像され、右側のカメラによって右カメラ画像が撮像される。左カメラ画像及び右カメラ画像を合わせて、両眼画像という。左側のカメラ及び右側のカメラは、線路面、すなわち線路が敷設されている地面と平行に設置される。
【００１５】
以下の説明において、「列車の走行前」とは、例えば、乗客を乗せた走行（営業走行）を開始する前に、テスト走行として営業走行と同じルートを走行するケース、及び営業走行を開始する直前に、駅で停止しているケース等を指す。「列車の走行前」とは、営業走行の前後に列車が車庫で停車しているケースも含む。また、「列車の走行中」とは、営業走行を指す。
【００１６】
画像入力部１は、列車の走行前及び走行中に、ステレオカメラ１０により撮像された両眼画像が入力される。図１において、画像入力部１は、ステレオカメラ１０と一体となった構成であるが、画像入力部１及びステレオカメラ１０を別体としてもよい。
【００１７】
ランドマーク検出部２は、列車の走行前及び走行中に撮像された両眼画像から、ランドマークを検出する。ランドマークの一例としては、線路が該当する。
【００１８】
キャリブレーション部３は、列車の走行前及び走行中に撮像された両眼画像に対し、キャリブレーション計算を行う。列車の走行前に行うキャリブレーション計算は、列車周辺のあらゆる情報、例えば列車が走行している線路、線路を構成するレール間距離、線路の両側に配置された架線柱、標識、及び信号等のランドマークに関する情報を用いて行う詳細キャリブレーション計算（第１のキャリブレーション計算）である。列車の走行中に行うキャリブレーション計算は、線路の位置情報のみを用いて、詳細キャリブレーション計算よりも高速に行う簡易キャリブレーション計算（第２のキャリブレーション計算）である。詳細キャリブレーション計算及び簡易キャリブレーション計算の詳細は後述する。
【００１９】
また、キャリブレーション部３は、走行前に取得した両眼画像からさまざまなランドマークを抽出し、抽出されたランドマークに基づき詳細キャリブレーション計算を行う。そして、詳細キャリブレーション計算によって画像補正情報を得る。画像補正情報とは、カメラの視軸補正、傾き補正、及び歪み補正に関する情報である。すなわち、画像補正情報とは、詳細キャリブレーション計算の結果算出された、カメラの視軸のずれ、傾き、及び歪みを解消するための、三次元空間内での回転行列と並進行列である。
【００２０】
また、キャリブレーション部３は、取得した画像補正情報に基づき、走行前に撮像された両眼画像を補正する。キャリブレーション部３は、補正された両眼画像から線路位置を取得し、基準位置情報である基準線路位置（後述）を算出する。列車の走行中に行われる両眼画像の補正は、列車の走行前に実施された詳細キャリブレーション計算によって得られた画像補正情報を用いて行われる。
【００２１】
さらに、キャリブレーション部３は、走行中に撮像された両眼画像を走行前に取得した画像補正情報に基づき補正し、補正された両眼画像から線路位置を取得して、推定位置情報である推定線路位置を算出する。
【００２２】
記憶部４は、詳細キャリブレーション計算によって得られた画像補正情報、及び画像補正情報に基づき算出された基準線路位置情報が記録される。図１では、前方監視装置１００が記憶部４を備えた例を示したが、別体としてもよい。この場合、画像補正情報及び基準線路位置情報は、例えば地上の制御部に記憶され、必要な時に制御部から取得して、キャリブレーション部３に入力されればよい。以下、図２を用いて、列車の走行前及び走行中における前方監視装置１００のキャリブレーション処理を説明する。
【００２３】
まず、列車の走行前における前方監視装置１００のキャリブレーション処理について説明する。ステレオカメラ１０によって列車の走行前に撮像された両眼画像（以下、「走行前両眼画像」という）が、画像入力部１に入力される（ステップＳ１）。
【００２４】
キャリブレーション部３は、走行前両眼画像に対して詳細キャリブレーション計算を行い、画像補正情報、すなわちキャリブレーション計算の計算結果を算出する（ステップＳ２、Ｓ３）。詳細キャリブレーション計算とは、列車の進路方向前方に存在するさまざまなランドマーク、例えば線路、線路を構成するレール間距離、線路の両側に配置された架線柱、標識、及び信号等に関する情報を網羅的に活用したキャリブレーション計算である。
【００２５】
キャリブレーション部３は、ステップＳ３で得られた画像補正情報に基づき、走行前両眼画像の補正を実施する（ステップＳ４）。「画像の補正」とは、詳細キャリブレーション計算の結果算出された画像補正情報に基づき、走行前両眼画像に対するカメラの視軸のずれ、傾き、及び歪みの影響を解消することである。
【００２６】
ランドマーク検出部２は、補正済走行前両眼画像から線路位置を検出し、抽出する（ステップＳ５）。ここで、線路位置の抽出とは、補正済走行前両眼画像に対してエッジ抽出を行い、抽出されたエッジに基づき補正済走行前両眼画像における線路位置を特定することを指す。
【００２７】
キャリブレーション部３は、画像補正が実施された補正済走行前両眼画像から、基準線路位置を算出する（ステップＳ６）。基準線路位置は、走行中に行う簡易キャリブレーション計算において、基準となる線路位置であり、ステレオカメラ１０に対する線路面の幾何学的な位置関係が固定であることを利用して、補正済走行前両眼画像から算出される。画像補正情報及び基準線路位置は、記憶部４に記憶される（ステップＳ７）。
【００２８】
次に、列車の走行中における前方監視装置１００のキャリブレーション処理について説明する。ステレオカメラ１０によって列車の走行中に撮像された両眼画像（以下、「走行中両眼画像」という）が画像入力部１に入力される（ステップＳ８）。
【００２９】
キャリブレーション部３は、列車の走行前に取得した画像補正情報を記憶部４から取得し、取得した画像補正情報に基づき、走行中両眼画像を補正し、補正済走行中両眼画像を出力する（ステップＳ９、Ｓ１０）。ランドマーク検出部２は、出力された補正済走行中両眼画像から、線路位置を検出し、抽出する（ステップＳ１１）。キャリブレーション部３は、抽出された線路位置から、推定線路位置を算出する（ステップＳ１２）。
【００３０】
キャリブレーション部３は、列車の走行前に取得した基準線路位置、及び列車の走行中に取得した推定線路位置を比較し、基準線路位置に対する推定線路位置のずれ量を算出する（ステップＳ１３）。ここで、ずれ量とは、複数のパラメータ、例えば三次元空間内における、ステレオカメラ１０の回転によるずれの大きさ及び併進によるずれの大きさを指す。これらのずれは、ステレオカメラ１０の左右のカメラそれぞれに起こりうる。
【００３１】
複数のパラメータにおいて、ずれ量が閾値以上のパラメータがあるか否かを判定し（ステップＳ１４）、１つでもずれ量が閾値以上のパラメータがあれば、キャリブレーション部３は簡易キャリブレーション計算を行い、新たな画像補正情報を取得して、記憶部４に画像補正情報を記憶させる（ステップＳ１５、Ｓ１６、Ｓ１７）。そして、新たな画像補正情報に基づき、走行中両眼画像を補正する。簡易キャリブレーション計算は、基準線路位置に対する推定線路位置のずれを解消するための、三次元空間内での回転行列と並進行列を算出し、算出された結果を画像補正情報とする。
【００３２】
また、いずれのパラメータもずれ量が閾値未満であれば（ステップＳ１４）、処理を終了する。
【００３３】
このように、前方監視装置１００は、列車の進行方向を撮像するステレオカメラ１０を有し、ステレオカメラ１０によって列車の走行前に撮像された走行前両眼画像及び走行中に撮像された走行中両眼画像が入力される画像入力部１と、走行前両眼画像から列車周辺の複数のランドマークを検出するとともに、走行中両眼画像から列車周辺の１つのランドマーク、すなわち線路位置を検出するランドマーク検出部２と、走行前両眼画像に対し、列車周辺の複数のランドマークの位置情報に基づき第１のキャリブレーション計算を行うとともに、走行中両眼画像に対し、列車周辺の１つのランドマークの位置情報に基づき第１のキャリブレーション計算よりも高速な第２のキャリブレーション計算を行うキャリブレーション部３と、を備える。キャリブレーション部３は、列車の走行前に実施した第１のキャリブレーション計算に基づき補正された走行中両眼画像から算出された列車周辺の１つのランドマークの推定位置情報と、列車周辺の１つのランドマークの基準の位置である基準位置情報とを比較するとともに、基準位置情報に対する推定位置情報のずれ量が閾値以上であれば、第２のキャリブレーション計算に基づき走行中両眼画像の補正を行うものである。
【００３４】
以上のように、列車周辺の複数のランドマークを用いて、列車の走行前に実施した詳細キャリブレーション計算に基づき走行中の両眼画像を補正し、列車周辺の１つのランドマークを用いて、簡易キャリブレーション計算に基づき補正された走行中の両眼画像を補正することによって、障害物検知を行う際の測距精度を向上できるとともに、走行中の両眼画像に対する補正の実行速度を向上できる。
【００３５】
実施の形態２．
図３は、実施の形態２にかかる前方監視装置のキャリブレーション処理を示す工程図である。前方監視装置１１０は、画像入力部１、ランドマーク検出部２、キャリブレーション部３、及び記憶部４を備える。前方監視装置１１０は、線路を構成する２本のレール間距離、すなわち線路幅が既知であることを利用し、両眼画像に対して簡易キャリブレーション計算を実施する点で、前方監視装置１００とは異なる。また、前方監視装置１１０における、列車周辺の１つのランドマークとは、線路幅を指す。以下、詳細を説明する。
【００３６】
まず、列車の走行前における前方監視装置１１０のキャリブレーション処理について説明する。前方監視装置１１０の列車の走行前におけるキャリブレーション処理は、前方監視装置１００におけるステップＳ１〜ステップＳ５、及びステップＳ７の記憶部４に画像補正情報を記憶させる点は同様であるため、これらの工程の詳細な説明は省略する。
【００３７】
線路面からステレオカメラ１０が設置されている位置までの高さと、線路面に対するステレオカメラ１０の俯角を算出する（ステップＳ２０）。ステップＳ２０で算出された高さ、俯角、及び補正済走行中両眼画像から抽出された線路位置に基づき、線路幅を画素数として算出する（ステップＳ２１）。画素数として算出された線路幅は、基準線路幅（基準位置情報）として記憶部４に記憶される（ステップＳ２２）。
【００３８】
次に、列車の走行中における前方監視装置１１０のキャリブレーション処理について説明する。前方監視装置１１０の列車の走行中におけるキャリブレーション処理は、前方監視装置１００のステップＳ８〜Ｓ１０、及びステップＳ１５〜Ｓ１７と同様であるため、これらの工程の詳細な説明は省略する。
【００３９】
ここで、図４は、実施の形態２にかかる補正済走行中両眼画像を示す図である。図４の左カメラ画像及び右カメラ画像において、高さ方向をＹ軸方向とし、幅方向をＸ軸方向とする。図４中のＸ軸に平行な破線は、走査線９を示す。走査線９は、例えば列車の制動距離を示す。制動距離とは、運転者がブレーキをかけて列車を停止させるまでの距離のうち、実際にブレーキがきき始めてから停まるまでの距離を指す。ステレオカメラ１０の設置時に、走査線９と列車の制動距離とを一致させて列車に左右カメラを固定すればよい。制動距離の位置に左右カメラ画像上の走査線９を設定してもよい。
【００４０】
以下の説明において、左カメラ画像及び右カメラ画像を合わせて、左右カメラ画像と記す場合がある。
【００４１】
図４において、左カメラ画像の左側のレールをレール７Ｌと記し、右側のレールをレール８Ｌと記す。また、右カメラ画像の左側のレールをレール７Ｒと記し、右側のレールを８Ｒと記す。以下の説明において、レール７Ｌ及びレール７Ｒを合わせてレール７と記し、レール８Ｌ及びレール８Ｒを合わせてレール８と記す場合がある。
【００４２】
ステップＳ８からステップＳ１０の処理の後、左右カメラ画像上のそれぞれの走査線９と、レール７との交点７Ｌ１及び交点７Ｒ１を算出する（ステップＳ２３）。同様に、走査線９、レール８との交点８Ｌ２及び交点８Ｒ２を算出する（ステップＳ２４）。
【００４３】
ここで、図４に示した交点７Ｌ１及び交点８Ｌ２の長さをＬ１Ｌ２とし、交点７Ｒ１及び交点８Ｒ２の長さをＲ１Ｒ２とする。Ｌ１Ｌ２及びＲ１Ｒ２は、それぞれ推定線路幅（推定位置情報）である。キャリブレーション部３は、補正済走行中両眼画像上でレール７、８と走査線９との交点、すなわち交点７Ｌ１及び交点８Ｌ２、交点７Ｒ１、及び交点８Ｒ２のＸ座標を読み取り、Ｘ座標の画素位置の差を計算し、三角測量に基づいて推定線路幅を算出する（ステップＳ２５）。
【００４４】
基準線路幅と推定線路幅とを比較し、基準線路幅及び推定線路幅の差が閾値以上か否かを判定する（ステップＳ２６、Ｓ２７）。
【００４５】
ここで、前方監視装置１１０における簡易キャリブレーション計算について説明する。簡易キャリブレーション計算では、基準線路幅及び推定線路幅のＸ座標の画素位置の差を算出し、補正済走行中両眼画像のうち、例えば左カメラ画像を基準として、右カメラ画像をＸ軸方向に並進移動させる。
【００４６】
右カメラ画像のＹ軸方向への並進移動については、例えばＳＵＲＦ（Ｓｐｅｅｄｅｄ−Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）特徴量等を用いればよい。これにより、左右カメラ画像の同じ特徴点に関する対応関係を取得することができ、Ｙ軸方向への並進移動分を算出することできる。このように算出されたＸＹ軸方向への併進移動分は、画像補正情報として走行中両眼画像の補正を行う。
【００４７】
ステレオカメラ１０が正しくキャリブレーションできている場合、すなわちステレオカメラ１０に視軸のずれ等が生じていない場合には、左カメラ画像の交点７Ｌ１及び右カメラ画像の交点７Ｒ１の両眼視差、並びに左カメラ画像の交点８Ｌ１及び右カメラ画像の交点８Ｒ２の両眼視差は等しい値となる。推定線路幅であるＬ１Ｌ２及びＲ１Ｒ２の長さも等しい値となる。
【００４８】
一方、ステレオカメラ１０が正しくキャリブレーションできていない場合、すなわちステレオカメラ１０に視軸のずれ等が生じている場合、（１）左カメラ画像の交点７Ｌ１及び右カメラ画像の交点７Ｒ１の両眼視差、並びに左カメラ画像の交点８Ｒ１及び右カメラ画像の交点８Ｒ２の両眼視差が異なる値となる、又は（２）推定線路幅であるＬ１Ｌ２及びＲ１Ｒ２の長さが異なる値となる。すなわち、走行中両眼画像において、（１）又は（２）となった場合、ステレオカメラ１０の左右のカメラの少なくともいずれかの視軸が平行化されていないか、カメラが傾いて、線路面に対して水平を保てていない可能性があり、ステレオカメラ１０がキャリブレーションできていないと判断する。
【００４９】
以上のように、列車周辺の複数のランドマークを用いて、列車の走行前に実施した詳細キャリブレーション計算に基づき走行中の両眼画像を補正し、列車周辺の１つのランドマークを用いて、簡易キャリブレーション計算に基づき補正された走行中の両眼画像を補正することによって、障害物検知を行う際の測距精度を向上できるとともに、走行中の両眼画像に対する補正の実行速度を向上できる。
【００５０】
なお、列車の走行前に基準線路幅を算出する例を示したが、既知の線路幅を画素数に換算し、その値を走行中に得られた推定線路幅と比較して、簡易キャリブレーション計算を行うか否かの判定を行ってもよい。
【００５１】
また、簡易キャリブレーション計算において、左カメラ画像を基準とした例を示したが、右カメラ画像を基準としてもよい。
【００５２】
実施の形態３．
図５は、実施の形態３にかかる前方監視装置のキャリブレーション処理を示す工程図である。前方監視装置１２０は、画像入力部１、ランドマーク検出部２、キャリブレーション部３、及び記憶部４を備える。前方監視装置１２０は、架線柱の配置間隔、すなわち架線柱距離が一定且つ既知であることを利用して簡易キャリブレーション計算を実施する点で、前方監視装置１００とは異なる。ここで、架線柱距離とは、レール脇に等間隔で配置された、隣接する架線柱の配置距離を指す。前方監視装置１２０における、列車周辺の１つのランドマークは、架線柱の配置距離を指す。以下、詳細を説明する。
【００５３】
前方監視装置１２０の列車の走行前のキャリブレーション処理は、前方監視装置１００のステップＳ１〜ステップＳ５、ステップＳ７の記憶部４に画像補正情報を記憶させる点、及び前方監視装置１１０のステップＳ２０〜２２と同様であるため、これらの工程の詳細な説明は省略する。
【００５４】
また、前方監視装置１１０におけるステップＳ２１及びステップＳ２２に記載の線路幅を、前方監視装置１２０では既知の架線柱距離と読み替える。すなわち、算出された位置情報である基準架線柱距離（基準位置情報）が記憶部４に記憶される。
【００５５】
列車の走行中における前方監視装置１２０のキャリブレーション処理について、図５を用いて説明する。前方監視装置１２０の列車の走行中におけるキャリブレーション処理は、前方監視装置１００におけるステップＳ８〜Ｓ１１、及びステップＳ１５〜Ｓ１７と同様であるため、これらの工程の詳細な説明は省略する。
【００５６】
架線柱は、左右カメラ画像中では鉛直方向、つまり線路面から上方に伸びているため、ステップＳ１０で出力された補正済走行中両眼画像に対して、線分検知アルゴリズム、例えばハフ変換を実施し、補正済走行中両眼画像から縦エッジを検出し、抽出する（ステップＳ３０）。
【００５７】
抽出された縦エッジを連結し、連結された縦エッジの長さに対して閾値判定を行う。架線柱は、左右カメラ画像中の他のランドマークよりも縦方向に長く伸びているため、連結された縦エッジの長さに閾値を設け、閾値判定を行うことにより、架線柱候補抽出の精度を向上できる。閾値判定により、連結された縦エッジの中から架線柱候補を抽出する（ステップＳ３１）。
【００５８】
架線柱候補のうち、例えばレール７の左側に存在するもの以外を排除し（ステップＳ３２）、左右カメラ画像において各架線柱候補の総当たりマッチングを行い、画素値としての両眼視差を算出する（ステップＳ３３）。架線柱は線路の両脇に存在するため、ステップＳ１１で検出及び抽出された線路のレール７、８の位置を基準に、架線柱が配置された範囲を限定することによって、架線柱候補抽出の精度を向上できる。
【００５９】
画素値としての両眼視差と距離は１対１の対応関係を有することから、列車から架線柱までの想定距離外のマッチングペアを排除し、残ったマッチングペアに対応する距離から架線柱間の推定架線柱距離（推定位置情報）を算出して、基準架線柱距離及び推定架線柱距離を比較する（ステップＳ３４、Ｓ３５、Ｓ３６）。基準架線柱距離及び推定架線柱距離の差が閾値以上か否かを判定する（ステップＳ３７）。
【００６０】
左右カメラ画像のそれぞれにおいて検出された架線柱候補の位置を、それぞれのＸ座標を基準に、左右カメラ画像における縦エッジの対応（両眼マッチング）を解析することにより、個々の架線柱に関する画素値としての両眼視差を算出することができる。ステレオカメラ１０を用いた測距において、画素値としての両眼視差は、距離と１対１の対応関係であるから、想定された距離の範囲内にある架線柱の列車からの距離が算出できる。
【００６１】
ここで、左右カメラ画像の対応関係で算出された両眼視差から、対象物までの距離Ｄを算出する方法について説明する。それぞれのパラメータは、ステレオカメラ１０を構成する左右カメラの焦点距離ｆを７５ｍｍ、ステレオカメラ１０の撮像中心間の距離（ベースライン）Ｂを２ｍ、ステレオカメラ１０に搭載された画像センサの画素ピッチｐを０．００３５１６ｍｍ、検出すべき対象物が持つ両眼視差Ｚを１４２画素とする。このとき、距離Ｄは以下の数式１により求められる。
【００６２】
【数１】
2021044564.tif 000003
【００６３】
これにより、距離Ｄは３００ｍと算出できる。
【００６４】
上述のパラメータにおいて、列車から進行方向前方への限定された距離、例えば列車から１００ｍ〜２００ｍの間に存在する障害物が持つ両眼視差は、２１３画素から４２６画素の範囲に収まる。そのため、左右カメラ画像における縦エッジ対応を解析する際は、この範囲内の縦エッジ対応に限定すればよく、これにより架線柱までの距離算出の精度を向上できる。
【００６５】
以上のように、列車周辺の複数のランドマークを用いて、列車の走行前に実施した詳細キャリブレーション計算に基づき走行中の両眼画像を補正し、列車周辺の１つのランドマークを用いて、簡易キャリブレーション計算に基づき補正された走行中の両眼画像を補正することによって、障害物検知を行う際の測距精度を向上できるとともに、走行中の両眼画像に対する補正の実行速度を向上できる。
【００６６】
なお、列車の走行前に基準架線柱距離を算出する例を示したが、既知の架線柱距離を画素数に換算し、その値を走行中に得られた推定架線柱距離と比較して、簡易キャリブレーション計算を行うか否かの判定を行ってもよい。
【００６７】
実施の形態４．
図６は、実施の形態４にかかる前方監視装置を示すブロック図であり、図７は、実施の形態４にかかる前方監視装置のキャリブレーション処理を示す工程図である。前方監視装置１３０は、画像入力部１、ランドマーク検出部２、キャリブレーション部３、記憶部４、及び地図情報取得部５を備える。前方監視装置１３０は、地図情報取得部５を備える点で、前方監視装置１００、１１０、１２０と異なる。さらに、前方監視装置１３０は、外部に地図データベース６を備える。以下、詳細を説明する。
【００６８】
実施の１〜３において、列車がカーブにさしかかった場合、走行中両眼画像中の線路位置は、基準線路位置からずれてしまう。そのため、前方監視装置１３０のランドマーク検出部２は、列車自身の動きによって走行中両眼画像上にもたらされる光流動パターンから動きベクトルを算出し、動きベクトルに基づいて検知エリア１１を移動させることにより、推定線路位置を算出する。以下、この処理をオプティカルフロー検出処理（後述）という。そして、基準線路位置と推定線路位置とのずれ量に基づき、走行中に簡易キャリブレーション計算を実行する
【００６９】
さらに、前方監視装置１３０では、地図情報取得部５が、列車が走行する周辺の地理的情報、例えば列車の地図上の位置及び地図上の線路位置を地図データベース６から取得し、キャリブレーション部３で走行中両眼画像中の基準線路位置を算出する。
【００７０】
列車の走行中における前方監視装置１３０のキャリブレーション処理について、図７を用いて説明する。前方監視装置１３０の列車の走行中におけるキャリブレーション処理は、前方監視装置１００のステップＳ８〜Ｓ１０、及びステップＳ１５〜Ｓ１７と同様であるため、これらの工程の詳細な説明は省略する。
【００７１】
ランドマーク検出部２は、ステップＳ１０において出力された走行中両眼画像に対して検知エリア１１を設定し、設定された検知エリア１１に対してオプティカルフロー検出処理を適用する（ステップＳ４０、Ｓ４１）。検出されたオプティカルフローを構成する動きベクトルのうち、前フレームで検出された線路周辺の動きベクトルを抽出する（ステップＳ４２）。前フレームとは、例えば列車がカーブにさしかかり、左右カメラ画像内における線路の位置が変化したフレームを後フレームとした時、線路の位置が変化する前（列車が直線を走っている等）のフレームを指す。
【００７２】
ランドマーク検出部２は、抽出された線路周辺の動きベクトルの総和を計算し（ステップＳ４３）、動きベクトルの総和から、走行中両眼画像における検知エリア１１の移動ベクトルを算出する（ステップＳ４４）。そして、走行中両眼画像における、移動後の検知エリア１１内での線路位置を検知し、推定線路位置取得する（ステップＳ４５）。
【００７３】
地図情報取得部５から、地図上における列車の現在位置及び線路位置を取得して、これらに基づき列車の進行方向に対する空間的な線路位置を算出する（ステップＳ４６）。算出された空間的な線路位置から、走行中両眼画像中の基準線路位置を算出する（ステップＳ４７）。基準線路位置と推定線路位置とのずれ量を、上述した複数のパラメータに基づき比較する（ステップＳ４８）。
【００７４】
ここで、オプティカルフロー検出処理について説明する。一般に、線路上を走行する列車の進行方向前方に存在する線路位置は一定ではなく、カーブにさしかかる場合等、一直線に進む箇所以外では、線路の存在位置は未知である。また、列車に搭載されたステレオカメラ１０の撮像方向と、線路面との位置関係は固定であるため、両眼画像中において、線路は必ず画像下端に存在する。
【００７５】
これを前提に、例えば画像下端の中央に検知エリア１１を設けることにより、キャリブレーション計算の計算量を削減できるとともに、障害物検知の精度を向上できる。しかしながら、線路がカーブにさしかかる場合、両眼画像中の線路が存在する位置は、画像下端の中央だけではなく、画像下端の右側及び左側にも移動するため、それに伴い検知エリア１１も移動させる必要がある。
【００７６】
図８は、実施の形態４にかかる線路検知方法を示す図である。両眼画像の下端に検知エリア１１Ｌを設け、列車がカーブにさしかかる際に、検知エリア１１Ｌをどのように移動させて線路検知を行うかについて、図８を用いて説明する。図８（ａ）〜図８（ｅ）は、いずれも左カメラ画像を示す。検知エリア１１Ｌは、左カメラ画像での検知エリア１１を指す。
【００７７】
図８（ａ）は、線分検知アルゴリズム、例えばハフ変換を適用し、取得されたレール７、８の位置を示す。図８（ｂ）は、図８（ａ）の状態から列車が左に曲がるカーブにさしかかろうとしている時点における光流動パターンを動きベクトルで示したものである。図８（ｂ）では、画像内においてレール７Ｌ、８Ｌが左に移動していることを示している。図８（ｃ）は、検知エリア１１Ｌをどれだけ移動させるべきか、図８（ｂ）の動きベクトルに基づき画素単位の移動量を算出し、検知エリア１１Ｌを画像下端の中央から左側に移動させたものを示す。これにより、レール７Ｌ、８Ｌを検知エリア１１Ｌ内で検出することができる。
【００７８】
図８（ｄ）は、図８（ａ）の状態から列車が左に曲がるカーブにさしかかろうとしている時点の光流動パターンを動きベクトルで示したものである。図８（ｅ）は、検知エリア１１Ｌをどれだけ移動させるべきか、図８（ｄ）の動きベクトルに基づき画素単位の移動量を算出し、検知エリア１１Ｌを画像下端の中央から右側に移動させたものを示す。これにより、レール７Ｌ、８Ｌを検知エリア１１Ｌ内で検出することができる。図８（ａ）〜図８（ｅ）では、左カメラ画像の例を示したが、右カメラ画像も同様である。カメラの動きによりもたらされる光流動パターンの算出方法については、一般的な方法を用いればよい。
【００７９】
このように、前方監視装置１３０のランドマーク検出部２は、走行中両眼画像中にランドマークを検知する検知エリア１１を設け、列車が走行することにより発生する走行中両眼画像上の動きを、走行中両眼画像の変化から光流動パターンとして算出し、光流動パターンから検知エリア１１の移動ベクトルを算出し、検知エリア１１を移動させてランドマークを検知するものである。
【００８０】
また、前方監視装置１３０は、走行中の列車の３次元位置、列車周辺の２次元地図、列車が走行する線路の地図上の位置情報、及び線路周辺に存在するランドマークの位置情報の少なくともいずれかを地図情報として取得する地図情報取得部５を備えるものである。
【００８１】
以上のように、カーブにより走行中両眼画像中の線路位置が基準線路位置とずれた場合でも、検知エリアを移動させることにより、精度よく線路位置を検出することができる。
【００８２】
なお、地図データベース６は、例えば、列車システムが持つ地図情報、列車自身が持つＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）による地図上の位置情報、又は線路周辺に存在するランドマークの位置情報等を、例えば鉄道会社が管理するクラウドサーバー等の計算機によりネットワーク経由で入手すればよい。事前にオフラインで地図情報とランドマークの位置情報とを取得し、ＧＰＳ情報のみ利用して地図上の自己位置を取得するシステムによって構成してもよい。
【００８３】
また、前方監視装置１３０は、オプティカルフロー検出処理及び地図情報のいずれも備える例を示したが、いずれか一方を実施の形態１〜３に適用してもよい。
【００８４】
実施の形態５．
前方監視装置１００〜１３０で補正された走行中両眼画像を用いて、列車の進行方向前方に存在しうる障害物の有無を検出する。以下、補正済走行中両眼画像において検出された線路の位置情報から、制動距離先のレール間に存在する障害物を検知する検知エリア１１を設定する方法について説明する。
【００８５】
図９は、実施の形態５にかかる検知エリアを設定する方法を示す図である。図９（ａ）〜図９（ｄ）において、それぞれ左側の図は左カメラ画像であり、右側の図は右カメラ画像である。補正済走行中両眼画像は、図９の左カメラ画像及び右カメラ画像を指す。
【００８６】
図９（ａ）に示すように、左右カメラ画像のそれぞれからレール７及びレール８の位置を検出する。一般に、ステレオカメラ１０におけるステレオ視では、左右カメラ画像間で同じＹ座標を持つ対応点におけるＸ座標の差を両眼視差として、ステレオカメラ１０から対象物までの距離を算出する。
【００８７】
左右カメラ画像におけるそれぞれのレール７、８について、同じＹ座標をもつ対応点を、レール７、８上の画素位置として特定し、左右カメラ画像のそれぞれにおける両眼視差を算出して、列車から制動距離だけ離れた線路上の画素位置を特定する。
【００８８】
図９（ｂ）中の走査線９は、列車の制動距離を示す。走査線９は、レール７、８上で同じＹ座標を持つ点を検出する。走査線９と左カメラ画像におけるレール７Ｌとの交点のＸ座標、及び走査線９と右カメラ画像におけるレール７Ｒとの交点のＸ座標の差を、両眼視差として算出する。
【００８９】
算出された両眼視差から、ステレオカメラ１０から各交点までの推定距離を算出し、推定距離と、両眼視差に相当する制動距離との差が予め設定した閾値以下であれば、推定距離は制動距離に等しいと判断できる。そして、左右カメラ画像におけるレール７上の制動距離だけ離れた画素位置として走査線９とレール７、８との交点７Ｌ１、７Ｒ１を算出する。同様に、右レールにおいても、走査線９とレール７、８との交点８Ｌ１、８Ｒ１を、ステレオカメラ１０から制動距離だけ離れた画素位置として算出する。
【００９０】
算出した結果を図９（ｃ）に示す。制動距離先にあるレール７、８上の交点７Ｌ１、７Ｒ１、８Ｌ１、及び８Ｒ１の画素位置が算出できれば、図９（ｄ）に示すように、上述した４つの交点を基準に、制動距離先の線路上の領域に検知エリア１１Ｌ、１１Ｒを設定できる。
【００９１】
ここで、上で述べた両眼視差の算出方法について説明する。ステレオカメラ１０を構成する左右カメラの焦点距離ｆを７５ｍｍ、ステレオカメラ１０の撮像中心間の距離（ベースライン）Ｂを２ｍ、ステレオカメラ１０に搭載された画像センサの画素ピッチｐを０．００３５１６ｍｍ、及び測距対象、すなわちステレオカメラ１０から制動距離までの距離Ｄを３００ｍとする。左右カメラ画像における距離Ｄの位置、すなわち列車の位置から３００ｍ先に障害物が存在するとき、三角測量に基づいて障害物が持つ両眼視差Ｚは、上述した数式１によって算出できる。これにより、両眼視差Ｚを１４２．２画素と算出できる。
【００９２】
このように、制動距離先の線路位置における両眼視差を算出できるので、これに基づき制動距離先でのレール７、８に挟まれた領域の上方に相当する検知エリア１１を両眼画像中に設定できる。
【００９３】
検知エリア１１内で左カメラ画像及び右カメラ画像の同じＹ軸位置でのパターンマッチングを行い、マッチングが成功した基準画像を左カメラ画像としたときの画素位置と、その画素位置に対応する右カメラ画像との両眼視差を記録する。このときの両眼視差は、右カメラ画像のＸ座標と左カメラ画像のＸ座標の差分である。なお、基準画像を左カメラ画像とする例を示したが、基準画像を右カメラ画像としてもよい。
【００９４】
図１０は、実施の形態１にかかる前方監視装置のパターンマッチング動作を示す図である。図１０において、左カメラ画像上に設定された検知エリア１１Ｌ、及び右カメラ画像上に設置された検知エリア１１Ｒ内を、例えばそれぞれの検知エリア１１の左上隅を基準として、検知エリア１１内の同じ部分領域１１Ｌａ、１１Ｒａを左上隅から右下隅までスキャンする。パターンマッチングは、画素値マッチングでもよく、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ  Ｏｆ  Ｇｒａｄｉｅｎｔ）等の特徴量を用いたマッチングでもよい。
【００９５】
図１１は、実施の形態１にかかる前方監視装置の左右カメラ画像及び距離マップを示す図であり、図１１（ａ）は、制動距離近辺の線路内に進入した障害物１２である人を検出した例を示し、図１１（ｂ）は、制動距離の先の線路脇に、障害物１３である樹木を検出した例を示す。図１１（ａ）及び図１１（ｂ）は、それぞれ左から左カメラ画像、右カメラ画像、距離マップを示す。距離マップとは、左右カメラ画像のそれぞれにおいて検出された障害物１２、１３の位置を、それぞれのＸ座標を基準に、左右カメラ画像における対応（両眼マッチング）を解析し、得られた障害物１２、１３に関する両眼視差の結果を画像の形式で距離マップ化したものである。
【００９６】
図１１（ａ）の距離マップでは、検知エリア１１Ｍ内に、ある一定のサイズを持った、制動距離に相当する距離値を持った塊状の障害物１２Ｍが検出される。これに対し、図１１（ｂ）は制動距離よりも離れた距離値の線路脇に縦長の障害物１３Ｍが検出される例である。
【００９７】
算出された距離マップを画像と見たとき、画素値は距離の大小を反映する。すなわち、画素値が大きい場合は距離値が小さく（近い）、画素値が小さい場合は距離値が大きい（遠い）と言える。
【００９８】
図１１では、説明のために、画素値の大きな障害物を実線で示し、画素値の小さな障害物を破線で示す。図１１に示すように、障害物１２Ｍが実線で示され、障害物１３Ｍが破線で示されている場合、すなわち、障害物１２Ｍの画素値よりも障害物１３Ｍの画素値が大きい場合、障害物１２Ｍの距離値は、障害物１３Ｍの距離値よりも小さい。つまり、列車から見て、障害物１２Ｍは障害物１３Ｍよりも近距離にあると推定できる。
【００９９】
図１２は、実施の形態１にかかる前方監視装置の距離マップを示す図であり、様々な状況下で生成された距離マップの例を示す。前方監視装置１００では、図１２（ａ）のケースのみを障害物ありのケースとして判定する。
【０１００】
図１２（ａ）は、レール７Ｍ、８Ｍの間の制動距離近辺に人が進入し、検知エリア１１Ｍ内に障害物１２Ｍとして検知され、検知された障害物１２Ｍの塊が持つ距離値が制動距離と一致しているケースを示し、図１２（ｂ）は、検知エリア１１Ｍ内に障害物１３Ｍが検知されたが、障害物１３Ｍの塊が持つ距離値が制動距離より遠いケースを示し、図１２（ｃ）は、実際には制動距離近辺に障害物は存在しないが、背景のテクスチャの影響でたまたまパターンマッチングが離散的に成功し、算出された距離値が制動距離に近い粒状の塊が、検知エリア１１Ｍ内にまばらに発生したケースを示す。
【０１０１】
図１３は、実施の形態１にかかる前方監視装置の検知エリア内の拡大図である。図１３（ａ）、図１３（ｂ）、及び図１３（ｃ）は、それぞれ図１２（ａ）、図１２（ｂ）、及び図１２（ｃ）における、距離マップのそれぞれの検知エリア１１Ｍを拡大した図である。図１３は、距離マップの広がりを矩形として特定した結果の、水平方向（Ｘ軸方向）の左端及び右端と、垂直方向（Ｙ軸方向）の上端及び下端を補助線Ｌで示している。
【０１０２】
補助線Ｌで囲まれた距離マップの広がりの上下左右端の決め方を説明する。例えば左端は、距離マップを画像とみたときの画素値を左上端から右下端へ向かって列毎にスキャンし、各画素値に相当する距離と列車の走行速度から算出される制動距離との差が、予め設定した閾値以下であればカウント＋１とする。各列におけるカウント値が、予め設定した閾値以上であればそのＸ座標を左端としてスキャンを停止する。
【０１０３】
同様に右端は、右上端から左下端に向かって列毎にスキャンすることで右端のＸ座標を得る。上端は、左上端から右下端に向かって行毎にスキャンすることで上端のＹ座標を得る。下端は、左下端から右上端に向かって行毎にスキャンすることで下端のＹ座標を得る。このようにして、図１３において補助線で示した距離マップの広がりを矩形で取得することができる。
【０１０４】
図１４は、実施の形態５にかかる前方監視装置の障害物検知方法を示す工程図である。前方監視装置１００〜１３０は、補正された補正済走行中両眼画像を用いて、障害物検知を行う。
【０１０５】
補正済走行中両眼画像を取得し、補正済走行中両眼画像から線路の位置情報を取得する（ステップＳ１００、Ｓ１０１）。補正済両眼画像上で水平ラインスキャンを行い、各ライン上でレール７の両眼視差及びレール８の両眼視差を算出する（ステップＳ１０２）。
【０１０６】
算出された両眼視差に相当する距離が制動距離に等しい位置の両眼画像上の水平ライン位置を取得する（ステップＳ１０３）。補正済両眼画像における制動距離先の線路上に障害物を検知する検知エリア１１を設定する（ステップＳ１０４）。
【０１０７】
補正済両眼画像上の検知エリア１１内で同じＹ座標を持つ部分領域同士のパターンマッチングを実施する（ステップＳ１０５）。マッチング成功した検知エリア１１内の部分領域のＸ座標の差を算出し、両眼視差から距離に変換する（ステップＳ１０６）。
【０１０８】
左右カメラ画像上で対応する画素値を算出された距離とする距離マップを生成する（ステップＳ１０７）。列車の制動距離に近い両眼視差を持つ画素値かどうかを閾値判定し、距離マップを二値画像化する（ステップＳ１０８）。二値画像に対してＸ軸方向およびＹ軸方向に画素スキャンを実施する（ステップＳ１０９）。
【０１０９】
検知エリア１１内に閾値以上のサイズを持つ塊領域の有無を判定し、閾値以上のサイズを持つ塊が存在すれば、制動距離先に障害物が存在すると判定し、閾値以上のサイズを持つ塊が存在しなければ、制動距離先に障害物はないと判定する（ステップＳ１１０〜Ｓ１１３）。
【０１１０】
以上のように、本開示は、精度よく、より高速に補正された補正済走行中両眼画像に基づき障害物検知を行うため、障害物までの測距精度を向上できるとともに、制動距離先に障害物が存在するか否かを精度よく判定することができる。
【０１１１】
なお、本開示において、２本のレールから構成された線路を用いた例を示したが、本開示の前方監視装置１００〜１３０は、モノレール等に適用してもよく、レールの数は２本に限定されない。
【０１１２】
また、本開示において、各実施の形態を自由に組み合わせることや、各実施の形態を適宜、変形、省略することも、本開示の範囲に含まれる。
【符号の説明】
【０１１３】
１  画像入力部、２  ランドマーク検出部２  キャリブレーション部、４  記憶部、
５  地図情報取得部、６  地図データベース、７、８  レール、９  走査線、
１０  ステレオカメラ、１１  検知エリア、１２、１３  障害物、
１００、１１０、１２０、１３０  前方監視装置。
【図１】
2021044564.tif 000004
【図２】
2021044564.tif 000005
【図３】
2021044564.tif 000006
【図４】
2021044564.tif 000007
【図５】
2021044564.tif 000008
【図６】
2021044564.tif 000009
【図７】
2021044564.tif 000010
【図８】
2021044564.tif 000011
【図９】
2021044564.tif 000012
【図１０】
2021044564.tif 000013
【図１１】
2021044564.tif 000014
【図１２】
2021044564.tif 000015
【図１３】
2021044564.tif 000016
【図１４】
2021044564.tif 000017
【国際調査報告】
2021044564.tif 000018
2021044564.tif 000019