(57)【要約】【課題】レールの曲率半径を簡便に求めることを可能とするレール曲率推定装置を提供する。【解決手段】車両１に設置されレール２を撮像するエリアセンサカメラ１１と、エリアセンサカメラ１１にて取得した画像データに基づき、レール２の曲率半径を求める処理部１３とを備え、処理部１３は、画像データ、及び、レール２の直線区間におけるレール２の幅と隣り合う枕木３間の距離と電柱間の距離とを用いて、エリアセンサカメラ１１の焦点距離及び主点座標を算出する内部パラメータ算出部２２と、画像データ及びエリアセンサカメラ１１の焦点距離に基づき、エリアセンサカメラ１１とレール２との間の位置姿勢を算出する外部パラメータ算出部２３と、レール２の中心座標、エリアセンサカメラ１１の焦点距離と主点座標、及び、上記位置姿勢を用いて、レール２の曲率半径を求める曲率半径算出部２４とを備える。【選択図】図２
2020180905.tif 000002
【特許請求の範囲】
【請求項１】
鉄道車両に設置されレールを撮像するカメラと、
前記カメラにより連続的に取得した複数の画像に基づき、前記レールの曲率半径を求める処理部とを備え、
前記処理部は、
前記カメラの焦点距離及び主点座標を算出する内部パラメータ算出部と、
前記画像、前記焦点距離及び前記主点距離、並びに、前記レールの直線区間における前記レールの幅、隣り合う枕木間の距離及び電柱間の距離を用いて、各前記画像ごとに前記カメラの前記レールに対する位置姿勢を算出する外部パラメータ算出部と、
前記レールの中心座標、前記焦点距離及び前記主点座標、並びに、前記位置姿勢を用いて、各前記画像ごとに前記レールの曲率半径を求める曲率半径算出部とを備える
ことを特徴とするレール曲率推定装置。
【請求項２】
前記曲率半径算出部は、前記カメラにより取得した画像上の前記レールの中心座標、前記焦点距離及び前記主点座標、並びに、前記位置姿勢を用いて前記曲率半径を求める
ことを特徴とする請求項１に記載のレール曲率推定装置。
【請求項３】
前記曲率半径の初期値およびレール座標系における前記レールの長手方向の任意の位置に基づいて前記中心座標を算出するレール中心座標算出部をさらに備える
ことを特徴とする請求項２に記載のレール曲率推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、鉄道分野における画像処理を用いたレール曲率推定装置に関する。
【背景技術】
【０００２】
鉄道分野においては、カメラで取得した画像を処理することでレールの曲率半径を求めることがある。
【０００３】
例えば、下記特許文献１は、建築限界内の支障物の有無、より一般的には、線路空間における支障物の有無を定量的に評価するものであり、さらには、営業列車を用いて支障物の検知を行うものであるが、建築限界枠を計算するために必要なレールの曲率半径を、車両中心位置やカメラ位置などのパラメータから導出する方法を開示している。
【０００４】
また、下記特許文献２は、エリアセンサカメラの画像を用いて高精度にレールの検出を行うことができる装置を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６‐０００５９８号公報
【特許文献２】特開２０１６‐０９１５０６号公報
【非特許文献】
【０００６】
【非特許文献１】Z. Zhang. "A Flexible New Technique for Camera Calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, No. 11, 2000年, pp.1330-1334.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１では、カメラの位置（車両の枕木方向中央）及び傾き（光軸方向にのみ回転）を精密に設定しなければ、正確に曲率半径を求めることができない。
【０００８】
また、上記特許文献２では、対象領域のレールを纏めて検出するのに「レール形状モデル」という統計モデルを使用するが、このモデルを作成するために、事前にレール中心座標とレール形状との関係を統計的にモデル化するため、これらの対応がとれているデータを予め用意しなければ曲率半径を求めることができない。
【０００９】
本発明は、上記各特許文献のような手間を必要とせず、レールの曲率半径を簡便に求めることを可能とするレール曲率推定装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するための第１の発明に係るレール曲率推定装置は、
鉄道車両に設置されレールを撮像するカメラと、
前記カメラにより連続的に取得した複数の画像に基づき、前記レールの曲率半径を求める処理部とを備え、
前記処理部は、
前記カメラの焦点距離及び主点座標を算出する内部パラメータ算出部と、
前記画像、前記焦点距離及び前記主点距離、並びに、前記レールの直線区間における前記レールの幅、隣り合う枕木間の距離及び電柱間の距離を用いて、各前記画像ごとに前記カメラの前記レールに対する位置姿勢を算出する外部パラメータ算出部と、
前記レールの中心座標、前記焦点距離及び前記主点座標、並びに、前記位置姿勢を用いて、各前記画像ごとに前記レールの曲率半径を求める曲率半径算出部とを備える
ことを特徴とする。
【００１１】
上記課題を解決するための第２の発明に係るレール曲率推定装置は、
上記第１の発明に係るレール曲率推定装置において、
前記曲率半径算出部は、前記カメラにより取得した画像上の前記レールの中心座標、前記焦点距離及び前記主点座標、並びに、前記位置姿勢を用いて前記曲率半径を求める
ことを特徴とする。
【００１２】
上記課題を解決するための第３の発明に係るレール曲率推定装置は、
上記第２の発明に係るレール曲率推定装置において、
前記曲率半径の初期値およびレール座標系における前記レールの長手方向の任意の位置に基づいて前記中心座標を算出するレール中心座標算出部をさらに備える
ことを特徴とする。
【発明の効果】
【００１３】
本発明に係るレール曲率推定装置によれば、レールの曲率半径を簡便に求めることが可能となる。
【図面の簡単な説明】
【００１４】
【図１】鉄道車両に設置された本発明の実施例１に係るレール曲率推定装置を示す模式図である。
【図２】本発明の実施例１に係るレール曲率推定装置の構成を説明するブロック図である。
【図３】カメラ座標系とレール座標系との関係を説明する模式的斜視図である。
【図４】画像座標系を説明する模式図である。
【図５】曲率半径とＸｒとの関係を示す説明図である。
【図６】本発明の実施例３に係るレール曲率推定装置の構成を説明するブロック図である。
【発明を実施するための形態】
【００１５】
本発明に係るレール曲率推定装置は、鉄道車両に設置されたカメラから得られた画像データ、及び、カメラの内部パラメータに基づき、画像中のレール位置を検出するとともに、曲率半径を求めるものである。
【００１６】
以下、本発明に係るレール曲率推定装置について、実施例にて図面を用いて説明する。
【００１７】
［実施例１］
本実施例に係るレール曲率推定装置は、エリアセンサカメラから得られた画像データ、及び、カメラの焦点距離及び主点座標等の内部パラメータから、曲率半径を求めるのに必要なレールとカメラとの位置姿勢関係を算出するものである。
【００１８】
本実施例に係るレール曲率推定装置の構成について説明する。図１は、鉄道車両（車両１）に設置された本実施例に係るレール曲率推定装置を示す模式図であり、図２は、本実施例に係るレール曲率推定装置の構成を説明するブロック図である。
【００１９】
図１，２に示すように、本実施例に係るレール曲率推定装置は、エリアセンサカメラ１１、記憶部１２、及び、処理部１３を備えている。
【００２０】
エリアセンサカメラ１１は、図１のように、車両１の屋根上１ａにおける進行方向前方側にて、車両１の進行方向に向けて配置され、車両１の進行方向のレール２を撮像（レール２が写った画像データを取得）するか、あるいは、車両１の屋根上１ａにおける進行方向後方側にて、車両１の進行方向と反対に向けて配置され、車両１の進行方向と反対側のレール２を撮像するものである。
【００２１】
記憶部１２は、エリアセンサカメラ１１に接続されており、エリアセンサカメラ１１にて取得した画像データを記憶する。
【００２２】
処理部１３は、エリアセンサカメラ１１にて取得した画像データを用いてレール２の曲率半径を求めるものであり、記憶部１２に接続され、図２に示すように、入力部２１、内部パラメータ算出部２２、外部パラメータ算出部２３、及び曲率半径算出部２４を備えている。このうち、入力部２１には、記憶部１２に記憶された画像データが入力される。
【００２３】
内部パラメータ算出部２２は、エリアセンサカメラ１１の焦点距離及び主点距離（以下、「内部パラメータ」と記載）を求める。なお、内部パラメータの算出手法については既知の手法（例えば、非特許文献１に記載されたキャリブレーションボードを用いる手法等）を用いればよく、ここでの詳細な説明は省略する。
【００２４】
また、外部パラメータ算出部２３では、入力部２１に入力された画像データからレール２、枕木３及び電柱の位置を作業者が手動で検出することにより取得したレール２の直線区間における、レール２の幅（以下、単に「レール幅」と記載）、隣り合う枕木３間の距離、及び、電柱間の距離（レール２を挟んだ距離及びレール２の延伸方向に沿った距離）と、内部パラメータ算出部２２にて算出した内部パラメータとを用いて、エリアセンサカメラ１１とレール２との間の位置姿勢関係（レール２に対するエリアセンサカメラ１１の位置姿勢。以下、「外部パラメータ」と記載）を算出する。
【００２５】
具体的には、本実施例では、非特許文献１における外部パラメータの算出手順の一部を変更して、外部パラメータを求める。
【００２６】
すなわち、非特許文献１では、カメラの外部パラメータを算出するために、カメラ及びキャリブレーション用のキャリブレーションボードをレール面上に設置している。このキャリブレーションボードを用いることで、カメラの外部パラメータを求めることができる。
【００２７】
しかしながら、鉄道車両に設置されたカメラの位置からレールまでは、距離が数メートルから数十メートルと遠いケースが多く、外部パラメータを正確に求めるために必要な「画像中に大きくキャリブレーションボードが映るようにする」という条件を満たすには、相応の大きさのキャリブレーションボードが必要になり、現実的にはそのようなキャリブレーションボードの設置は難しい。
【００２８】
そこで本実施例では、外部パラメータ算出部２３において、非特許文献１におけるカメラの外部パラメータの算出手順のうち、既知の情報として、キャリブレーションボードの代わりに、レール２の直線区間における、レール幅、枕木３間の距離、及び、電柱間の距離を用いて、外部パラメータを求める。
【００２９】
このように、キャリブレーションボードに代えてエリアセンサカメラ１１で撮影する領域内に必ず存在するレール２、枕木３及び電柱を利用し、これらレール２、枕木３及び電柱がエリアセンサカメラ１１により撮像した画像中に大きく映るようにすることで、非特許文献１の理論を用いて外部パラメータを求めることができる。
【００３０】
曲率半径算出部２４は、手動又は自動で検出したレール２の中心座標（レール２の軌道間の中間地点）、エリアカメラ１１の内部パラメータおよび外部パラメータ等を利用してレール２の曲率半径を求める。なお、曲率半径算出部２４における処理は後述する実施例２以降で詳細に説明する。
【００３１】
このように構成されることにより、本実施例に係るレール曲率推定装置によれば、エリアセンサカメラ１１の位置（車両の枕木方向中央）及び傾き（光軸方向にのみ回転）を精密に設定したり、レール形状モデルを作成するために、事前にレール中心座標とレール形状との関係を統計的にモデル化することなく、正確に曲率半径を求めることができる。また、本実施例では、用途が鉄道に限定されているため、巨大なキャリブレーションボードがなくとも、既知であるレール２、枕木３及び電柱の情報を用いて簡便に外部パラメータを算出することができる。
【００３２】
［実施例２］
本実施例に係るレール曲率推定装置は、図１および図２に示し上述した実施例１と同様の構成を備えるものであり、実施例１に対して曲率半径算出部２４における処理を詳細に説明するものである。以下、実施例１と同様の構成については説明を省略し、曲率半径算出部２４における処理を中心に説明する。
【００３３】
本実施例において曲率半径算出部２４は、エリアセンサカメラ１１によって取得した画像データ上に複数存在するレール２の軌道間の中間地点である、レール中心座標（ｕi，ｖi）、及び実施例１で求めたエリアセンサカメラ１１のカメラパラメータを用いて、下記（１）の変換式からレール２の曲率半径（レール２の軌道間の中間地点の曲率半径）ＣＲを求める。
【００３４】
なお、本実施例において、レール中心座標（ｕi，ｖi）はエリアセンサカメラ１１にて取得した画像データから作業者が手動で指定する。ｉはインデックス番号を表す。
【００３５】
また、本実施例においてカメラパラメータとは、焦点距離及び主点座標等の内部パラメータ、及び、エリアセンサカメラ１１とレール２との間の位置姿勢である外部パラメータを指す。また、下記の式（１）〜（９）において、ボールド体（太字）ではないアルファベットはスカラーであり、ボールド体（太字）の小文字のアルファベットはベクトルであり、ボールド体（太字）の大文字のアルファベットは行列である。なお、文書中においては、ボールド体（太字）を使用できないので、通常の書式とし、該当するアルファベットの直後に“（ボールド体）”と付記している。
【数１】
2020180905.tif 000003
上記（１）式は、下記（１´）の円の方程式から導出している。
（Ｘr−ＣＲ）2＋Ｚr2＝ＣＲ2  …（１´）
【００３６】
図４に示すように、Ｘr座標はレール２の枕木方向、Ｙr座標は鉛直方向、Ｚr座標はレール２の延伸方向に、それぞれ設定されており、上記（１）式におけるＸri，Ｚriは、レール座標系（レール２の幅方向にＸr軸、鉛直方向にＹr軸、レール２の長手方向にＺr軸をとる座標系）の座標であるマーカ座標系座標データ（真値座標（Ｘi，０））の任意の点のＸr座標及びＺr座標の値（画像中に複数存在するレール中心座標のｕi，ｖiに対応するＸr座標及びＺr座標の値）である。図６に示すように、曲率半径ＣＲは、Ｘr座標が負のときに負の値（ＣＲ＜０）、Ｘr座標が正のときに正の値（ＣＲ＞０）となる。また、レール座標系の任意の点のＹr座標の値をＹriとする。
【００３７】
また、カメラ座標系（カメラ光軸方向にＸc軸、鉛直方向にＹc軸、Ｘ軸c及びＹ軸cに直交する方向にＺc軸をとる座標系）の任意の点のＸc座標上、Ｙc座標上、Ｚc座標上の値を、それぞれＸci，Ｙci，Ｚciとする。Ｘc座標はエリアセンサカメラ１１の画像平面における横軸と平行な方向、Ｙc座標はエリアセンサカメラ１１の画像平面における縦軸と平行な方向、Ｚc座標はエリアセンサカメラ１１の光軸方向である。
【００３８】
ここで、上記円の方程式（１´）は、円の中心がＸr座標の正の位置にあることを想定した式である。円の中心がＸr座標の負の位置にある場合には式が変わるが、Ｘr座標、Ｙr座標、Ｚr座標を上述のように設けた為、円の中心の座標に関わらず、上記（１）式の変換式を用いて曲率半径ＣＲを求めることができる。
【００３９】
また、上記カメラ座標系と上記レール座標系との関係は、下記（２）式で表される。
【数２】
2020180905.tif 000004
また、下記（３）式に示すように、Ｒ（ボールド体）はカメラ座標系とレール座標系との間の回転行列、ｔ（ボールド体）は並進ベクトルである。
【数３】
2020180905.tif 000005
【００４０】
図５に示すように、エリアセンサカメラ１１にて取得した画像データ上における座標系である画像座標系は、画像の横軸をｕ、縦軸をｖとして定義する。そして、この画像座標系と上記カメラ座標系との関係は、下記（４）式で表現することができる。
【数４】
2020180905.tif 000006
【００４１】
ここではカメラモデルとしてピンホールモデルを用いた。ｕi，ｖiは、画像座標系の任意の点のｕ座標上及びｖ座標上の値であり、ｆuは画像ｕ軸方向の焦点距離、ｆvは画像ｖ軸方向の焦点距離、ｃuは画像ｕ軸方向の主点座標、ｃvは画像ｖ軸方向の主点座標である。
【００４２】
曲率半径ＣＲを求めるにはＸri及びＺriの値が分かればよいが、画像データはｕ，ｖについての２次元情報しかないため、Ｘ，Ｙ，Ｚの全情報を復元することは（形状情報既知で複数点を用いる、あるいは、複数のカメラを用いることがない限り）できない。
【００４３】
しかしながら、レール座標系におけるレール２については、Ｙr軸方向の情報が無い（Ｙri＝０）ため、ｕi，ｖi情報だけでもＸri及びＺriを算出することが可能である。
【００４４】
Ｙriが常に０になることを考慮し、上記（４）式に上記（２），（３）式を代入すると下記（５）式のようになる。
【数５】
2020180905.tif 000007
【００４５】
上記（５）式から、ｕi，ｖiは下記（６），（７）式のように連立方程式として表すことができる。
【数６】
2020180905.tif 000008
【００４６】
上記（６），（７）式から、Ｘri及びＺriは下記（８）式のように表すことができ、これにより、Ｘri及びＺriを求めることができる。
【数７】
2020180905.tif 000009
ただし、Ａ〜Ｆは次の通りとする。
Ａ＝ｆvｒ23−（ｖi−ｃv）ｒ33
Ｂ＝ｆuｒ13−（ｕi−ｃu）ｒ33
Ｃ＝ｆuｔ1−（ｕi−ｃu）ｔ3
Ｄ＝ｆvｔ2−（ｖi−ｃv）ｔ3
Ｅ＝（ｕi−ｃu）ｒ31−ｆuｒ11
Ｆ＝（ｖi−ｃv）ｒ31−ｆvｒ21
【００４７】
あとは、Ｘri及びＺriを上記（１）式に代入することで、曲率半径ＣＲを求めることができる。なお、ここでは、画像座標系における一点のｕi，ｖiから曲率半径ＣＲを求める式について説明したが、最小二乗法を用いて複数のｕ，ｖ座標から曲率半径ＣＲを求めるようにしてもよい。
【００４８】
このようにして本実施例では、エリアセンサカメラ１１により取得した画像データから手動で検出したレール中心座標（ｕi，ｖi）、外部パラメータ及び内部パラメータを用いることで、レール２の曲率半径ＣＲを算出することができる。
【００４９】
［実施例３］
図７は、本実施例に係るレール曲率推定装置の構成を説明するブロック図である。図７に示すように、本実施例に係るレール曲率推定装置は、実施例２と同様の構成に加え、レール中心座標算出部２５を備えている。以下、実施例１，２と同様の構成については詳しい説明は省略し、レール中心座標算出部２５における処理を中心に説明する。
【００５０】
上述した実施例２では、内部パラメータは一度求めたものを固定値として、レール曲率推定を行う間用いることができる一方、外部パラメータ、レール中心座標（ｕi，ｖi）、曲率半径ＣＲは画像データごとに求める必要がある。本実施例では、レール中心座標（ｕi，ｖi）の算出を自動化することにより、外部パラメータ、レール中心座標（ｕi，ｖi）、曲率半径ＣＲを連続的に求めることが可能となる。
【００５１】
ここで、実施例２では、エリアセンサカメラ１１によって取得した画像データ上のレール２のｕ，ｖ座標を手動で与えることでレール中心座標（ｕi，ｖi）を指定した。
【００５２】
これに対し、本実施例では、内部パラメータ算出部２２および外部パラメータ算出部２３により求めたエリアセンサカメラ１１のカメラパラメータ、及び、エリアセンサカメラ１１により取得した画像データを用いて、レール中心座標算出部２５においてレール中心座標（ｕi，ｖi）を算出し、曲率半径算出部２４において曲率半径ＣＲを算出する。
【００５３】
すなわち、実施例２における（１´）式から、Ｘriは下記（９）式のように示すことができる。ただし、下記（９）式は、曲率半径ＣＲが正の値のときにＸr座標が曲率半径ＣＲよりも小さい場合、及び曲率半径ＣＲが負の値のときにＸr座標が曲率半径ＣＲよりも大きい場合にレール２に該当することを利用した式となっている。
【数８】
2020180905.tif 000010
【００５４】
上記（９）式により、曲率半径ＣＲの初期値（例えば、上述した実施例２の手法で求めた曲率半径を手動で登録、または、曲率半径が既知の区間であればその既知の曲率半径を手動で登録したもの）を使うことでＺri（レール座標系における前記レールの長手方向の任意の位置）が既知であればこのＺriからＸri座標を求めることができることが分かる。さらに、実施例２における（６），（７）式に上記Ｘriを代入することで、レール中心座標（ｕi，ｖi）についてもＺriで求めることができる。このようにして求めたＸr座標、レール中心座標（ｕi，ｖi）を用いて、曲率半径算出部２４で曲率半径ＣＲを求め、レール中心座標算出部２５でレール中心座標（ｕi，ｖi）を求める。
【００５５】
なお、本実施例ではレール中心座標算出部２５におけるレール中心座標（ｕi，ｖi）の検出に上記特許文献２の技術を利用する。ただし、既に説明したように、この上記特許文献２では「レール形状モデル」という統計モデルが必要であった。本実施例では、このレール形状モデルを実施例２における（６），（７）式及び上記（９）式の幾何モデルに変えることで、事前に統計モデルを作成する必要なく、レール中心座標（ｕi，ｖi）の算出が可能となり、これにより曲率半径算出部２４における曲率半径ＣＲの算出も可能となる。
【００５６】
このようにして本実施例では、実施例２における効果に加え、さらにレール中心座標を自動的に算出することができ、これにより外部パラメータ、レール中心座標（ｕi，ｖi）、曲率半径ＣＲを連続的に求めることが可能になるため、レール曲率推定に係る時間を大幅に短縮することが可能になる。
【産業上の利用可能性】
【００５７】
本発明は、鉄道分野における画像処理によるレール曲率推定装置として好適である。
【符号の説明】
【００５８】
１  車両
１ａ  車両の屋根上
２  レール
３  枕木
１１  エリアセンサカメラ
１２  記憶部
１３  処理部
２１  入力部
２２  内部パラメータ算出部
２３  外部パラメータ算出部
２４  曲率半径算出部
２５  レール中心座標算出部
【図１】
2020180905.tif 000011
【図２】
2020180905.tif 000012
【図３】
2020180905.tif 000013
【図４】
2020180905.tif 000014
【図５】
2020180905.tif 000015
【図６】
2020180905.tif 000016