(57)【特許請求の範囲】
【請求項１】
ステレオ画像処理装置によるステレオ画像をマッチング処理して視差を算出するステレオ画像処理方法において、
左右２台のカメラ装置で列車前方を撮像して得られる映像信号をレール抽出部のレール抽出アルゴリズムにより一方のカメラ装置の画像（基準画像）と他方のカメラ装置の画像（対応画像）からそれぞれレールを抽出し、抽出したレールの画像上の座標から前記基準画像と前記対応画像で前記レールの同じ地点を示す座標間の画素数を算出して「レール抽出による視差」として記憶し、
前記基準画像の基準点と同じ座標となる前記対応画像上の点から同じ走査線上の「レール抽出による視差」だけずらした点から前記対応画像の左端または右端までを前記基準画像の基準点に対応する前記対応画像上の対応点を探索する探索範囲とすることを特徴とするステレオ画像処理方法。
【請求項２】
ステレオ画像をマッチング処理して視差を算出するステレオ画像処理装置であって、
間隔を開けて水平等位に設置した左右のカメラ装置と、各カメラ装置で取得される画像信号からそれぞれレールの映像を抽出するレール抽出部と、抽出されたレールの映像を有するステレオ画像をマッチング処理して視差を算出する視差算出部とを有し、
前記視差算出部は、基準画像のレール映像の基準点と同じ座標となる対応画像上の一次対応点を検出して、その座標を出力する一次対応点検出手段と、
前記一次対応点から同じ走査線上を「レール抽出による視差」と等しい距離だけ左又は右方向にずらした点を二次対応点とする二次対応点検出手段と、
前記二次対応点から前記対応画像の左端または右端までマッチング処理を行って相関値を求めるマッチング処理手段と、
を有することを特徴とするステレオ画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ画像処理方法およびその装置に関する。
【背景技術】
【０００２】
前方に存在する物体の位置を三次元的に検出し、その物体までの距離を計測する方法として、ステレオ画像処理技術が知られている。ステレオ画像処理技術は、ステレオ画像（間隔を開けて水平等位に設置した左右のカメラで取得した画像）をコンピュータでマッチング処理を行うことにより視差を算出し、その視差を用いて三角測量の原理から対象物までの距離を算出する方法である（たとえば、特許文献１，２参照）。
【０００３】
図１２に、ステレオ画像処理技術による距離計測の原理を示す。図１２は、平行化により画像におけるｙ軸（ｖ軸）が揃えられた左右２台のカメラで対象物ｍを撮像したときの画像I，Ｊを示す。u軸とu’軸は画像I，Ｊの横方向の位置、ｖ軸は画像の縦方向の位置を示す。各カメラの画像上には当該カメラの視点と対象物ｍを結ぶ直線ｌとrと画面との交点P 、ｑに対象物ｍが写されるため、対象物ｍの３次元座標（Ｘ,Ｙ,Ｚ）は、Pとｑの座標（ｕｓ１,ｖ１）、（ｕｓ２,ｖ２）から求まる。そして、点P，ｑの座標位置の差ｄ、つまり画素数が視差であり、次の式１から視差ｄを求めることができる。
ｄ＝ｕｓ１−ｕｓ２        ・・・・・・(式１)
【０００４】
また、カメラの焦点距離をｆ、二つの画像Ｉ，Ｊの中心位置間距離、すなわち、基線長をＢとすると、ｍの世界座標と画像上の位置の関係は、次のとおりである。
Ｘ＝Ｂｕｓ１／ｄ，  Ｙ＝Ｂｖ１／ｄ，  Ｚ＝Ｂｆ／ｄ
Ｚは、カメラ設置位置から対象物ｍまでの距離である。
【０００５】
したがって、ステレオ画像処理において対象物ｍまでの距離Ｚを計測するには、視差ｄを算出する必要がある。そのためには、そのためには、左右２台のカメラのうち、一方のカメラ、たとえば左カメラの画像Ｉ（以下、基準画像という。）上の基準点ｐと相関を有する点、すなわち対応点ｑが左右２台のカメラのうち、他方のカメラ、たとえば右カメラの画像Ｊ（以下、対応画像という。）上のどこに存在するかを探索する画像マッチング（対応付け）が必要である。基準点とは基準画像における所定の点であり、対応点とは基準点と相関を求める対応画像上の点である。
【０００６】
画像マッチングには、従来、ブロックマッチング法と位相限定相関法とが用いられている。
【０００７】
ブロックマッチング法における従来の画像マッチング（画像探索）の方法を、図１３に基づいて説明する。基準画像Ｉと対応画像Ｊをそれぞれ同数の小面積の領域（以下、ブロックという。）に分割する。図１３の（ａ）（ｂ）は、基準画像ＩがブロックＩ１１〜Ｉ１６，Ｉ２１〜Ｉ２６，・・・Ｉ４１〜Ｉ４６に、対応画像ＪがブロックＪ１１〜Ｊ１６，Ｊ２１〜Ｊ２６，・・・Ｊ４１〜Ｊ４６に分割された、簡略化した例を示している。
【０００８】
各ブロックには、図１３の（ｃ）（ｄ）に、基準画像Ｉと対応画像ＪのブロックＩ１１、Ｊ１１について例示するように、横方向ｎ個、縦方向ｍ個の画素が含まれ、各画素は画素値（ピクセルデータ）を有する。そして、ブロックマッチングにおいては、基本画像Ｉの各ブロックの画素値の配列と同じ画素値の配列を有するブロックを対応画像Ｊの中から探索する。その探索を行うため、基準画像Ｉの第１行１列目のブロックＩ１１の最初の画素ＩＰ１１の画素値と対応画像Ｊの第１行１列目のブロックＪ１１の最初の画素ＪＰ１１の画素値とを比較（減算）し、その差を図１３の（ｅ）に示すように、画素値差マトリックスＤＴの最初のエリアＤＰ１１に記録する。
【０００９】
そして、このような画素値の比較をブロックＩ１１とブロックＪ１１内の全画素について行う。つまり、基準画像ＩのブロックＩ１１の同行の他の画素ＩＰ１２〜ＩＰ１ｎ、他の行の画素ＩＰ２１〜ＩＰ２ｎ、・・・ＩＰｍ１〜ＩＰｍｎについても同様にそれぞれ画素値の差を取り、その差を画素値差マトリックスＤＴの他のエリアＤＰ１２〜ＤＰｍｎに記録する。そして、全画素の画素値の差を合計し、その合計値ｔ１１を図１３の（ｆ）に示すように、画素値差合計マトリックスＴＴに記録する。
【００１０】
次に、対応画像Ｊの第１行２列目のブロックＪ１２についても同様に、基準画像Ｉの第１行１列目のブロックＩ１１の全画素の画素値との差を取り、その差を画素値差マトリックスＤＴに記録し、その差を合計して、その合計値ｔ１２を画素値差合計マトリックスＴＴに記録する。
【００１１】
同様の処理を対応画像Ｊの第１行の最後のブロックＪ１６まで行う。そして、画素値差合計マトリックスＴＴの対応画像Ｊの第１行の全ブロックＩ１１〜Ｉ１６に対応する画素値差の合計値ｔ１１〜ｔ１６の中で、合計値が最小のブロックを基準画像Ｉの第１行１列目のブロックＩ１１と対応する、すなわち、マッチングが取れたと判断する。
【００１２】
続いて、基準画像Ｉの第１行２列目のブロックＩ１２について、対応画像Ｊの第１行の全ブロックをスキャンして前述と同様のマッチング処理を行う。さらに、基準画像Ｉの最後の行の全ブロックについてスキャンして前述と同様にマッチング処理を行う。
【００１３】
上記ブロックマッチング法においては、画素値差合計マトリックスＴＴの画素値の差の合計値が最小の対応画像Ｊ上のブロックが基準画像Ｉのブロックと対応するので、その時の基準画像Ｉのブロックから対応画像Ｊのブロックまで画素数は、視差を表す。
【００１４】
上述のように、従来の探索方法では、基準画像Ｉの基準点ｐに対応する対応画像Ｊ上の対応点ｑを探索するには、対応画像Ｊの基準点ｐと同じ走査線（ライン）上の全長を対応点ｑの探索範囲としていた（特許文献３参照）。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２００２−２５０６０５号公報
【特許文献２】特開２００８−０３９４９１号公報
【特許文献３】特開２０１４−２３５６１５号公報
【非特許文献】
【００１６】
【非特許文献１】ＩＥＥＪ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｄｕｓｔｒｙ Ａｐｐｌｉｃａｔｉｏｎｓ Ｖｏｌ.１３４ Ｎｏ.１０ ｐｐ９２１−９２９,２０１４
【発明の概要】
【発明が解決しようとする課題】
【００１７】
したがって、従来のステレオ画像処理方法においては、対応画像の走査線上の全長を対応点の探索範囲としていたので、マッチング処理に非常に多くの時間がかかる。したがって、たとえば、軌道を走行中の車上から線路上の障害物を検知すること等に適用する場合は、リアルタイムで視差算出および距離計測ができないという問題がある。
【００１８】
また、位相限定相関法は、高精度なマッチングが可能であるという利点を有するが、基準画像と対応画像の各ラインの各ブロックに対して複雑なフーリエ変換を行うため、計算量が膨大になり、コンピュータの演算負荷が大きいとともに、計算コストが高いという問題がある。
【００１９】
本発明は、上記の問題点に鑑みてなされたものであり、ステレオ画像をマッチング処理して基準画像の基準点に対応する対応画像上の対応点を探索し、視差を求めるステレオ画像処理方法において、探索範囲の縮小化を可能にすることを目的とする。
【００２０】
換言すると、リアルタイムで視差算出および距離計測ができ、派生的効果として、障害物検知速度および距離計測速度の向上がもたらされるステレオ画像処理方法およびその装置を提供することを目的とする。
【課題を解決するための手段】
【００２１】
上記目的を達成するため、本発明の一側面は、ステレオ画像処理装置によるステレオ画像をマッチング処理して視差を算出するステレオ画像処理方法において、左右２台のカメラ装置で列車前方を撮像して得られる映像信号をレール抽出部のレール抽出アルゴリズムにより一方のカメラの画像（基準画像）と他方のカメラの画像（対応画像）からそれぞれレールを抽出し、抽出したレールの画像上の座標から基準画像と対応画像でレールの同じ地点を示す座標間の画素数を算出して「レール抽出による視差」として記憶し、基準画像の基準点と同じ座標となる対応画像上の点から同じ走査線上の「レール抽出による視差」だけずらした点から対応画像の左端または右端までを基準画像の基準点に対応する対応画像上の対応点を探索する探索範囲とすることを特徴とする。
【００２２】
本発明の他の側面は、ステレオ画像をマッチング処理して視差を算出するステレオ画像処理装置であって、間隔を開けて水平等位に設置した左右のカメラ装置と、各カメラ装置で取得される画像信号からそれぞれレールの映像を抽出するレール抽出部と、抽出されたレールの映像を有するステレオ画像をマッチング処理して視差を算出する視差算出部とを有し、視差算出部は、基準画像のレール映像の基準点と同じ座標となる対応画像上の一次対応点を検出して、その座標を出力する一次対応点検出手段と、一次対応点から同じ走査線上を「レール抽出による視差」と等しい距離だけ左又は右方向にずらした点を二次対応点とする二次対応点検出手段と、二次対応点から対応画像の左端または右端までマッチング処理を行って相関値を求めるマッチング処理手段とを有することを特徴とする。
【発明の効果】
【００２３】
本発明によれば、探索範囲の縮小化が可能であり、したがって、リアルタイムで視差算出および距離計測ができる。派生的効果として、障害物検知速度および距離計測速度の向上がもたらされる
【図面の簡単な説明】
【００２４】
【図１】本発明の実施の形態に係る第１のステレオ画像処理方法を実施するステレオ画像処理装置の構成を示すブロック図である。
【図２】図１のカメラ装置の構成を示すブロック図である。
【図３】図１のレール抽出部の構成を示すブロック図である。
【図４】図３のレール映像推定部の作用を説明するフローチャートである。
【図５】図３の記憶部に登録された典型的なレール形状パターンを示す図である。
【図６】図３のレール映像比較部の作用を説明するフローチャートである。
【図７】抽出されたレールを表示しているステレオ画像の一例を示す図である。
【図８】図１の視差算出部の機能を実現する手段を示す図である。
【図９】「レール抽出による視差」を説明する図である。
【図１０】「レール抽出による視差」の求め方を説明する図である。
【図１１】マッチング処理の具体的な方法を説明する模式図である。
【図１２】ステレオ画像処理技術による距離計測の原理を説明する図である。
【図１３】従来のブロックマッチング法におけるデータ処理を説明する図である。
【発明を実施するための形態】
【００２５】
続いて、本発明の実施の形態について、図面を用いながら説明する。
【００２６】
本発明の実施の形態に係るステレオ画像処理方法は、左右２台のカメラによる撮像対象が鉄道線路である場合に適用される。列車運転台に設置された左右２台のカメラで列車前方を撮像した場合、左右各画像に写される映像のうち、線路または線路を含む近傍の映像が写される範囲は限定される。
【００２７】
また、撮像対象が鉄道線路である場合は、列車前方画像からレール抽出アルゴリズムによりレールを抽出することができ、その抽出したレールの画像上の座標を算出することができる。レール抽出アルゴリズムには、レールのエッジと輝度勾配に着目した方法がある（非特許文献１参照）。この方法では、レールを列車運転台から２〜３０ｍ程度までの近傍領域のレールと、それ以上の距離の遠方領域のレールに分けて処理を行う。近傍領域は予め用意した代表的レールテンプレートとのマッチングにより、また、遠方領域は近傍領域で得られた情報を基にレール形状パターンを動的に生成して、短い直線と曲線セグメントを連結しながら、遠方までレールを追跡する。
【００２８】
レール抽出アルゴリズムは、上記の代表的レールテンプレートとのマッチングおよびレール形状パターンとのマッチングによる方法のほか、画像中の特徴量抽出による方法、色や強度による特徴に基づく方法、輝度勾配を用いる方法、その他がある。本発明では、これら既知のレール抽出アルゴリズムのいずれを用いてもよい。
【００２９】
左右２台のカメラで列車前方を撮影したとき、レール抽出アルゴリズムにより左のカメラの画像（基準画像）と右のカメラの画像（対応画像）からレールを抽出すると、抽出したレールの画像上の座標が分かる。この基準画像と対応画像でレールの同じ地点を示す座標間の画素数が「レール抽出による視差」である。
【００３０】
レールは２本が平行に敷かれているため、「レール抽出による視差」は、左右いずれか１本のレールの座標から算出することができる。また、左右のレールの座標の差（各レールのレール抽出による視差）の平均値を「レール抽出による視差」としてもよい。したがって、「レール抽出による視差」は、次のいずれかの式を演算することにより求めることができる。
ｄｈ＝Ｌｈ（Ｉ）−Ｌｈ（Ｊ）
ｄｈ＝Ｒｈ（Ｉ）−Ｒｈ（Ｊ）
ｄｈ＝｛（Ｌｈ（Ｉ）―Ｌｈ（Ｊ））＋（Ｒｈ（Ｉ）―Ｒｈ（Ｊ））｝／２
ここで、ｄｈは画像中の高さｈでのレールの視差、
Ｌｈ（Ｉ）は左画像中の高さｈにおける左レールのｕ座標を表す関数、
Ｌｈ（Ｊ）は右画像中の高さｈにおける左レールのｕ’座標を表す関数、
Ｒｈ（Ｉ）は左画像中の高さｈにおける右レールのｕ座標を表す関数、
Ｒｈ（Ｊ）は右画像中の高さｈにおける右レールのｕ’座標を表す関数である。
【００３１】
画像中のそれぞれの高さｈにおけるレールの視差ｄｈの一連のデータが「レール抽出による視差」として、図示されていないメモリに予め記憶される。そして、後述されるように、列車の走行時、視差を求めるマッチングの際に、メモリから「レール抽出による視差」が読み出される。
【００３２】
本発明は、左右各画像に写される映像のうち、線路または線路を含む近傍の映像が写される範囲は限定される、レール抽出アルゴリズムにより抽出したレールの座標が分かる、レールの直線部と曲線部のいずれにおいても画面上の高さ位置の変更に対応する「レール抽出による視差」の変化率はほぼ一定であるという事実を、ステレオ画像の視差算出の高速化に利用することを基本的な技術思想とする。
【００３３】
図１は、本発明に係る第１のステレオ画像処理方法を実施するためのステレオ画像処理装置の一例を示す。このステレオ画像処理装置１は、２台のカメラ装置１０Ｌ，１０Ｒと、各カメラ装置１０Ｌ，１０Ｒから映像信号を与えられるレール抽出部２０Ｌ，２０Ｒと、レール抽出部２０Ｌ，２０Ｒに接続された一つの視差算出部３０と、視差算出部３０に接続された距離計測部４０とを有する。
【００３４】
ステレオ画像処理装置１の作用を概括的に説明すると、まず、２台のカメラ装置１０Ｌ，１０Ｒにより列車前方を撮像し、各映像信号の中からレール抽出部２０Ｌ，２０Ｒによりレールを抽出して、左の画像（基本画像）と右の画像（対応画像）を生成する。次に、視差算出部３０により対応画像の中に基本画像のレールの基準点に対応する一次対応点を検出するとともに、その一次対応点からレール抽出による視差分だけ左側または右側に移動した位置に二次対応点を生成する。そして、その二次対応点から対応画像の左端または右端まで対応点を探索する。
【００３５】
カメラ装置１０Ｌ，１０Ｒとレール抽出部２０Ｌ，２０Ｒには、特許文献３に開示されたものを用いることができる。以下に、特許文献３の記載を引用して説明する。
【００３６】
カメラ装置１０Ｌ，１０Ｒは、同一の構成を有する。カメラ装置１０Ｌを例に説明すると、図２に例示するように、カメラ装置１０Ｌは、光学レンズ１１と、光学レンズ１１から入射する被写体の光学映像を電気信号に変換する撮像素子１２と、撮像素子１２の出力に基づいて映像信号を生成する映像信号生成部１３と、撮像制御部１４とを有する。
【００３７】
光学レンズ１１は、被写体の映像を光学的に撮像素子１２の上に結像させる。光学レンズ１１は、レンズの焦点を調整するための焦点調整機構および撮像素子１２への入射光量を調整するための絞り調整機構を有する。さらに、光学レンズ１１は、焦点距離を変えるズーム機構を有してもよい。
【００３８】
撮像素子１２には、たとえば数百万個程度のＣＣＤ(Charge Coupled Device)またはＣＭＯＳ（相補性金属酸化膜半導体）などの電荷結合素子の集合体が用いられる。
【００３９】
撮像制御部１４は、光学レンズ１１、撮像素子１２および映像信号生成部１３による被写体の撮像を制御する。つまり、撮像制御部１４は光学レンズ１１の焦点調整機構、絞り調整機構、またはズーム機構などを制御する。
【００４０】
映像信号生成部１３は、撮像素子１２の出力（すなわち画素値）に基づいて映像信号を生成する。映像信号生成部１３は、撮像制御部１４の制御により、たとえば、周期的に撮像素子１２の各電荷結合素子の出力を取り込んで映像信号を生成する。映像信号生成部１３が映像信号を生成する周期は、たとえば数十分の１秒程度である。このようにして周期的に生成された複数の映像信号を静止画像として時系列順に表示したときに、人の目には動画として認識される。
【００４１】
図１のレール抽出部２０Ｌ，２０Ｒは、同一の構成を有する。以下には、レール抽出部２０Ｌを例に説明する。レール抽出部２０Ｌの機能は、要約すると、カメラ装置１０Ｌの映像信号生成部１３が生成した映像信号を取り込み、その映像信号に含まれるレールを抽出することである。さらに具体的に説明すると、レール抽出部２０Ｌは、所定のレールの映像として予め登録されている複数のレール形状パターン（の映像信号）と、実際に撮像されたレール（の映像信号）とを比較して「一致」または「不一致」を抽出結果として出力する。すなわち、レール抽出部２０Ｌが「一致」を出力したときには、映像信号生成部１３が生成した映像信号に所定のレール（の映像信号）が含まれており、レール抽出部２０Ｌがその所定のレール(の映像)を抽出したことになる。また、レール抽出部２０Ｌが「不一致」を出力したときには、映像信号生成部１３が生成した映像信号に所定のレール（の映像信号）が含まれておらず、レール抽出部２０Ｌが所定のレール(の映像)を抽出できなかったことになる。
【００４２】
レール抽出部２０Ｌは、図３に例示するように、映像信号生成部１３から出力される映像信号を入力し、映像信号の中からレールを含むと推定される映像信号を取り出すレール映像推定部２１と、複数のレール形状パターンを記憶しているメモリである記憶部２２と、レール映像推定部２１で推定されたレール(の映像)と複数のレール形状パターンとを比較するレール映像比較部２３と、データ蓄積部２４とを有する。
【００４３】
レール映像推定部２１は、映像信号生成部１３から出力された映像信号の中からレール(の映像)であると推定される映像信号を取り出す。たとえば、カメラ装置１０は、鉄道車両（以下、単に車両という。）の先頭に搭載されているので、通常、カメラ装置１０の視野の下部にレールの映像が映り込む。したがって、視野の下部から縦方向に伸びる２本の線(の映像)がレール(の映像)であると推定する。そこで、レール映像推定部２１は、レールであると推定される映像信号の部分のみを残し、他の映像信号を消去した映像信号を生成し、レール映像比較部２３に送出する。この映像信号は、撮像素子１２の縦横の電荷結合素子の配設位置に対応する縦横の画素値が記録された座標情報として表される。
【００４４】
図４のフローチャートを参照しながら、レール映像推定部２１の動作をさらに詳細に説明する。映像信号生成部１３から出力される映像信号がレール映像推定部２１に入力されると、図４の「ＳＴＡＲＴ」の条件が満たされ、フローはステップＳ１に進む。なお、図４の「ＳＴＡＲＴ」から「ＥＮＤ」までの処理は１周期分の処理であり、フローが「ＥＮＤ」になった後は、「ＳＴＡＲＴ」の条件が満たされたとき、フローは再び実行される。
【００４５】
ステップＳ１において、レール映像推定部２１は、映像信号生成部１３から入力した映像信号の中で、視野下部におけるレール(の映像)の位置を検索し、フローはステップＳ２に進む。
【００４６】
ステップＳ２において、レール映像推定部２１は、２本の縦方向に伸びる線を見付けたか否かを判定する。ステップＳ２において、見付けたと判定されると、フローはステップＳ３に進む。一方、ステップＳ２において、見付からないと判定されると、フローはステップＳ１に戻る。
【００４７】
ステップＳ３において、レール映像推定部２１は、レールと推定される映像信号以外の映像信号を消去して、フローはステップＳ４に進む。
【００４８】
ステップＳ４において、レール映像推定部２１は、レール映像比較部２３に対し、レール(の映像)と推定される映像信号を出力して処理を終了する（ＥＮＤ）。
【００４９】
レール映像比較部２３は、レール映像推定部２１から出力されたレール(の映像)と推定される映像信号と、記憶部２２に記憶されているレール形状パターン(の映像信号)とを比較する。
【００５０】
記憶部２２には、カメラ装置１０の位置から見えるレールが複数種類のレール形状パターンで記憶されている。図５に、記憶部２２に記憶されている７種類(＃１〜＃７)のレール形状パターンを例示する。このレール形状パターンは、カメラ装置１０が搭載された車両の線区において、車両が直進状態であるとき、またはカーブを走行中であるときなど、想定されるレールの見え方の種類を表している。このようなレール形状パターンは、カメラ装置１０を搭載した車両を試験走行させて撮像したレールの映像信号に基づいて設定される。
【００５１】
記憶部２２に記憶されているレール形状パターン＃１〜＃７も、レール映像推定部２１から出力される映像信号と同様に、撮像素子１２の縦横の電荷結合素子の配設位置に対応する縦横の画素値が記録された座標情報として表される。
【００５２】
レール映像比較部２３は、レール映像推定部２１から出力されたレールの映像と推定される映像信号と記憶部２２に記憶されているレール形状パターンの映像信号との互いに対応する座標を比較する。レール映像比較部２３は、比較の結果、座標が一致する割合が所定の割合（たとえば８０％程度）以上であれば「一致」と判定し、所定の割合未満であれば「不一致」と判定する。
【００５３】
次に、図６のフローチャートを参照しながら、レール映像比較部２３の動作をさらに詳細に説明する。レール映像推定部２１から出力される映像信号がレール映像比較部２３に入力されると図６の「ＳＴＡＲＴ」の条件が満たされ、フローはステップＳ１０に進む。なお、図６の「ＳＴＡＲＴ」から「ＥＮＤ」までの処理は、１周期分の処理であり、フローが「ＥＮＤ」になった後は、「ＳＴＡＲＴ」の条件が満たされたとき、フローは再び実行される。
【００５４】
ステップＳ１０において、レール映像比較部２３は比較するパターン＃ｎをレール形状パターン＃１に設定して、フローはステップＳ１１に進む。
【００５５】
ステップＳ１１において、レール映像比較部２３は、レール映像推定部２１から受け取った映像信号と記憶部２２に記憶しているレール形状パターンのうちのパターン＃ｎ（ここではｎ＝１）とを比較して、フローはステップＳ１２に進む。
【００５６】
ステップＳ１２において、レール映像比較部２３は、ステップＳ１１の比較結果が「一致」であるか否かを判定する。ステップＳ１２において、比較結果が「一致」であると判定されると、フローはステップＳ１３に進む。一方、ステップＳ１２において、比較結果が「一致」でない（すなわち「不一致」）と判定されると、フローはステップＳ１４に進む。
【００５７】
ステップＳ１３において、レール映像比較部２３は、「一致」とする比較結果を不図示の正常性判定部に出力するとともに、「一致」とされたときの記憶部２２に記憶されているレール形状パターンの映像信号をデータ蓄積部２４に格納して、処理を終了する（ＥＮＤ）。
【００５８】
ステップＳ１４において、レール映像比較部２３は、全レール形状パターンとの比較が終了したか否かを判定する。すなわち、パターン＃ｎはパターン＃７であるか否かを判定する。ステップＳ１４において、全パターンとの比較が終了したと判定されると、フローはステップＳ１５に進む。一方、ステップＳ１４において、未だ全パターンとの比較が終了していないと判定されると、フローはステップＳ１６に進む。
【００５９】
ステップＳ１５において、レール映像比較部２３は、「不一致」とする比較結果を不図
示の正常性判定部に出力して処理を終了する（ＥＮＤ）。
【００６０】
ステップＳ１６において、レール映像比較部２３は、パターン＃ｎをパターン＃（ｎ＋１）に変更（ここでは、パターン＃１をパターン＃２に変更）して、フローはステップＳ１１に戻る。
【００６１】
このようにして、ステップＳ１２で比較結果が「一致」とならないときには、ステップＳ１１→ステップＳ１２→ステップＳ１４→ステップＳ１６→ステップＳ１１のフローが全パターン＃１〜＃７について繰り返し実行される。
【００６２】
上記のようにして、レール抽出部２０Ｌにより抽出されたレール映像は、データ蓄積部２４に蓄積される。
【００６３】
カメラ装置１０Ｌ，１０Ｒおよびレール抽出部２０Ｌ，２０Ｒは、基準画像と対応画像を取得するために、図１に示すように左右２組が備えられる。図７は、レール抽出部２０Ｌ，２０Ｒによって抽出されたレールが表示された基準画像Ｉ（ｎ）と対応画像Ｊ（ｎ）を例示する。
【００６４】
そして、各レール抽出部２０Ｌ，２０Ｒのデータ蓄積部２４のレール映像データは、基準画像と対応画像からレールの視差を算出するため、視差算出部３０に与えられる。
【００６５】
視差算出部３０は、図８に一例を示すように、一次対応点検出手段３１と、二次対応点生成手段３２と、マッチング処理手段３３と、相関値比較手段３４と、視差値読出手段３５と、視差算出手段３６と、図示されていないメモリを有する。
【００６６】
一次対応点検出手段３１は、基準画像Ｉ（ｎ）のレール映像の基準点と同じ座標となる対応画像上の同じ走査線上の点（一次対応点）を検出して、その座標を出力する。二次対応点生成手段３２は、一次対応点から同じ走査線上を「レール抽出による視差」と等しい距離だけ左方向にずらした点を二次対応点とする。その場合、上記メモリに記憶されている「レール抽出による視差」が読み出される。そして、マッチング処理手段３３は、二次対応点から対応画像の左端までマッチング処理（探索）を行って相関値を求める。
【００６７】
「レール抽出による視差」は、事前の列車走行時に既知のマッチング手法を用いて取得される。図９（ａ）に示すように、基準画像Ｉ（ｎ）のレールＲの任意の基準点ｒの座標をｒ（ｕｒ１，ｖ１）、対応画像Ｊ（ｎ）のエピポーラ線上のレールＲの対応点ｓの座標をｓ（ｕｒ２，ｖ１）とすると、基準点ｕと対応点ｓの視差、すなわち、画像中の高さｈにおける「レール抽出による視差」ｄｈ’は、次の式、
ｄｈ’＝ｕｒ１−ｕｒ２
から求めることができる。
【００６８】
そして、視差はカメラからの距離が遠くなるほど小さく、近いほど大きくなる。したがって、図９（ｂ）に比喩的に示すように、画像Ｉ（ｎ）、Ｊ（ｎ）のレールの長手方向の各地点における「レール抽出による視差」ｄｈ’（画素数）は、カメラ設置位置から各地点までの距離（画面中の高さｈ）に応じて、３０，２５，２０，…，５，２のように漸減する。このような「レール抽出による視差」ｄｈ’が視差算出部３０のメモリに記憶されている。
【００６９】
視差は、カメラの仰角によって異なる。したがって、メモリにはカメラの仰角に対応する「レール抽出による視差値」ｄｈ’が記憶される。
【００７０】
図１０および図１１を用いて、上記視差算出部３０の一次対応点検出手段３１、二次対応点生成手段３２およびマッチング処理手段３３による作用を具体的に説明する。
【００７１】
一次対応点算出手段３１は、図１０に示すように、基準画像Ｉ（ｎ）上の基準点ｒの座標ｒ（ｕｒ１，ｖ１）と同じ座標となる対応画像Ｊ（ｎ）上の点ｒを求め、この点ｒを一次対応点とする。二次対応点生成手段３２は、一次対応点ｒと同じエピポーラ線上の対応画像Ｊ（ｎ）上の「レール抽出による視差」ｄｈ’＝ｕｒ１−ｕｒ２と等しい距離だけ左に離れた点を基準点ｒに対応する二次対応点ｓとする。続いて、マッチング処理手段３３は、マッチング処理により基準点ｒの座標（ｕｒ１，ｖ１）と二次対応点ｓの座標（ｕｒ２，ｖ１）との相関値αを求める。
【００７２】
図１１は、基準画像Ｉ（ｎ）および対応画像Ｊ（ｎ）の同じ走査線上の一つのブロックＩｉ１，Ｊｉ１を示す。基準画像Ｉ（ｎ）のブロックＩｉ１の基準点ｒ（ｕｒ１，ｖ１）に対応する対応点ｓ（ｕｒ２，ｖ１）を探索するときは、対応画像Ｊ（ｎ）のブロックＪｉ１の同じ走査線上の基準点ｒ（ｕｒ１，ｖ１）と同じ座標点ｒ’（ｕｒ１，ｖ１）、すなわち一次対応点から同じ走査線上を「レール抽出による視差」ｄｈ’だけ左にずらした点ｓ’（ｕｒ２，ｖ１）を二次対応点とする。そして、その二次対応点ｓ’（ｕｒ２，ｖ１）からブロックＪｉ１の同じ走査線上の左端までの画素値についてブロックＩｉ１の同じ走査線上の画素値との相関値αを取り、図１３（ｅ）の画素値差マトリックスＤＴと同様な画素値差マトリックス、および図１３（ｆ）の画素値差合計マトリックスＴＴと同様な画素値差合計マトリックスを生成する。
【００７３】
二次対応点を探索するときに「レール抽出による視差」をずらす方向は、左右の画像のいずれを基準画像とし、いずれを対応画像とするかにより異なる。図１０，１１は左の画像を基準画像とし、右の画像を対応画像とした例であるので、「レール抽出による視差」だけ左にずらしたが、右の画像を基準画像とし、左の画像を対応画像とした場合は、右にずらされる。
【００７４】
マッチング処理手段３３によるマッチング処理により得られた相関値αは、相関値比較手段３４に与えられる。相関値比較手段３４は、その相関値αを所定の閾値ｔと比較する。相関値αが所定の閾値ｔに対して所定の条件を満たすときは第１判定信号ａを出力して、視差値読出手段３５に入力する。また、相関値αが所定の閾値ｔに対して所定の条件を満たさないときは第２判定信号ｂを出力して、視差算出手段３６に出力する。
【００７５】
相関値の算出方法は、マッチング処理の手法により異なる。マッチング処理の手法がブロックマッチングである場合は、相関値の算出方法にはＳＳＤ（Sum of Squared Difference）とＳＡＤ（Sum of Absolute Difference）がある。これらの場合は、マッチングが取れていれば取れているほど（類似度が高いほど）相関値が小さくなる。したがって、この場合は、算出された相関値αが閾値ｔ以下（α≦ｔ）のときは所定の条件が満たされたことになり、閾値ｔを上回った（α＞ｔ）ときは所定の条件が満たされないこととなる。これに対し、マッチング処理の手法が位相限定相関法である場合は、マッチングが取れていれば取れているほど相関値が大きくなる。したがって、算出された相関値αが閾値ｔを上回った（α＞ｔ）ときは所定の条件が満たされたことになり、閾値ｔ以下（α≦ｔ）のときは所定の条件が満たされないこととなる。
【００７６】
そして、視差値読出手段３５は、第１判定信号ａを入力されたときは、前記メモリに記憶されている「レール抽出による視差値」ｄｈ’を読み出す。そして、その「レール抽出による視差値」ｄｈ’をその走査線における基準点と対応点との視差と確定し、距離計測部４０に与える。つまり、基準点と対応点との相関値が所定の条件を満たす場合は、計算処理に時間がかかる粗密探索手法は実行されない。したがって、粗密探索手法が実行されない分、視差算出の時間が短縮される。
【００７７】
相関値比較手段３４が第２判定信号ｂを視差算出手段３６に出力したときは、視差算出手段３６は、そのマッチング処理を行った走査線に対して周知の粗密探索法を適用して視差値を算出し、得られた視差値を距離計測部４０に与える。
【００７８】
距離計測部４０は、視差読出手段３５が出力した視差値または視差算出手段３６が出力した視差値を用いてカメラ設置位置から列車前方のレールの注目点（撮像対象物）までの距離を周知の演算式により計測する。
【符号の説明】
【００７９】
Ｉ,Ｉ（ｎ）  基準画像
Ｊ,Ｊ（ｎ）  対応画像
ｐ，ｒ       基準点
ｑ，ｓ       対応点
１          ステレオ画像処理装置
１０Ｌ，１０Ｒ  カメラ装置
２０Ｌ，２０Ｒ  レール抽出部
３０        視差算出部
４０        距離計測部
【図１】
0006346869.tif 000002
【図２】
0006346869.tif 000003
【図３】
0006346869.tif 000004
【図４】
0006346869.tif 000005
【図５】
0006346869.tif 000006
【図６】
0006346869.tif 000007
【図７】
0006346869.tif 000008
【図８】
0006346869.tif 000009
【図９】
0006346869.tif 000010
【図１０】
0006346869.tif 000011
【図１１】
0006346869.tif 000012
【図１２】
0006346869.tif 000013
【図１３】
0006346869.tif 000014