(57)【要約】      （修正有）【課題】信号機等の設置物の新設計画、線路に障害物の発生を予想する場合のシミュレーション方法及びシミュレータを提供する。【解決手段】車上カメラで撮影して得た前方撮影画像データＤ１と、予め作成した施設・設備−キロ程対応データＤ２を用いて前方撮影画像とキロ程とのマッチング処理を行って、画像の各フレームに対応するキロ程を表すキロ程データＤ４を作成し、前方撮影画像データからレール形状データを生成するレール形状抽出処理を行い、施設・設備−キロ程対応データとキロ程データとレール形状データＤ５とに基づいて、設置物の設置を希望する位置を導出する設置希望位置導出処理を行って設置希望位置データＤ６を作成し、その設置希望位置データに基づいて設置物の設置を希望する位置の前方撮影画像データを読み出すとともに、予め保存されている設置物画像データＤ３を読み出して、前方撮影画像の上に設置物の画像をオーバーレイ表示する。【選択図】図２
2015141698.tif 000002
【特許請求の範囲】
【請求項１】
車上に設けたカメラで線路の車両進行方向前方を所定短小時間間隔で撮影して取得した前方撮影画像データと、予め作成した施設・設備−キロ程対応データを用いて前方撮影画像とキロ程とのマッチング処理を行って、画像の各フレームに対応するキロ程を表すキロ程データを作成し、
他方、前記前方撮影画像データからレール形状を抽出してレール形状データを生成するレール形状抽出処理を行い、
前記施設・設備−キロ程対応データと、前記キロ程データと、前記レール形状データとに基づいて、設置物の設置を希望する位置を導出する設置希望位置導出処理を行って設置希望位置データを作成し、
その設置希望位置データに基づいて、前記設置物の設置を希望する位置の前記前方撮影画像データを読み出すとともに、予め保存されている設置物画像データを読み出して、前記設置物の設置を希望する位置の実像である前記前方撮影画像の上に前記設置物の画像を表示する設置物表示処理を行う、
ことを特徴とする設置物の視認性事前確認方法。
【請求項２】
請求項１に記載の設置物の視認性事前確認方法において、前記設置物の画像は、実物の画像、ＣＧにより作成されたイメージ、イラストなどを含むことを特徴とする設置物の視認性事前確認方法。
【請求項３】
車上に設けられ、線路上を走行する車両の進行方向前方を所定短小時間間隔で撮影するカメラ、各種データを記憶する記憶部、カメラから入力された前方撮影画像データを処理する画像処理装置、前記画像処理装置に対して制御指令を入力する入力部，前記画像処理装置により処理された後の画像を表示するモニタとを有し、
前記記憶部は、前記カメラから入力された前方撮影画像データおよび前記画像処理装置で画像処理された後の画像データを記憶する第１記憶部と、施設・設備−キロ程対応データを記憶する第２記憶部と、前記画像処理装置によるレール形状抽出処理により生成されるレール形状データを記憶する第３記憶部と、設置物の画像データを記憶する第４記憶部とを含み、
前記画像処理装置は、前記記憶部に対するデータの記憶及び前記記憶部からのデータの読み出しを制御する記憶・読出制御部、前記第１記憶部に記憶された線路画像上の起点から各フレーム画像の撮影地点(視認地点でもある)までのキロ程を演算し、前記前方撮影画像データからレール形状を抽出する演算部、前記設置物の画像の表示比率を調整する表示比率調整部、前記線路の視認地点の画像に設置物の表示比率を調整された画像を合成する画像合成部とを有し、
前記入力部は、前記第２記憶部に対して読み出すべき線路画像上の地点（キロ程）を指定するための地点指定部と、前記第３記憶部に記憶されている設置物を指定するための設置物指定部とを備え、
前記画像処理装置は、前記地点指定部の操作により指定される視認地点の画像を前記第１記憶部から読み出してモニタに表示し、その地点の画像からレール形状抽出処理により得られたレール形状データと施設・設備−キロ程対応データとキロ程データに基づいて設置物の設置を希望する位置を導出し、かつ前記設置物指定部の操作により指定される設置物の画像データを読み出して、モニタに表示されている視認地点の画像の上に設置物の画像を前記表示比率調整部により設置物設置希望地点のキロ程に応じて調整された比率で表示することを特徴とする請求項１又は２記載の設置物の視認性事前確認方法を使用するためのシミュレータ。
【請求項４】
車上に設けられ、線路前方を所定短小時間間隔で撮影するカメラ、各種データを記憶する記憶部、カメラから入力された前方撮影画像データを処理する画像処理装置、前記画像処理装置に対して制御指令を入力する入力部、前記画像処理装置により処理された後の画像を表示するモニタとを有し、
前記記憶部は、前記カメラから入力された前方撮影画像データおよび前記画像処理装置で画像処理された後の画像データを記憶する第１記憶部と、施設・設備−キロ程対応データを記憶する第２記憶部と、前記画像処理装置によるレール形状抽出処理により生成されるレール形状データを記憶する第３記憶部と、障害物の画像データを記憶する第４記憶部とを含み、
前記画像処理装置は、前記記憶部に対するデータの記憶及び前記記憶部からのデータの読み出しを制御する記憶・読出制御部、前記第１記憶部に記憶された線路画像上の起点から各フレーム画像の撮影地点(視認地点でもある)までのキロ程を演算し、前記前方撮影画像データからレール形状を抽出する演算部、前記障害物の画像の表示比率を調整する表示比率調整部、前記モニタに表示された線路の視認地点の画像上に障害物の表示比率を調整された画像をオーバーレイ表示する画像合成部とを有し、
前記入力部は、前記第２記憶部に対して読み出すべき線路画像上の地点（キロ程）を指定するための地点指定部と、前記第３記憶部に記憶されている障害物を指定するための障害物指定部とを備え、
前記画像処理装置は、前記地点指定部の操作により指定される視認地点の画像を前記第１記憶部から読み出して前記モニタに表示し、その地点の画像からレール形状抽出処理により得られたレール形状データと施設・設備−キロ程対応データとキロ程データに基づいて前記障害物の設置を希望する位置を導出し、かつ前記障害物指定部の操作により指定される障害物の画像データを読み出して、前記モニタに表示されている視認地点の画像（実映像）の上に前記障害物の画像を前記表示比率調整部により障害物発生予想地点のキロ程に応じて調整された比率で表示することを特徴とするシミュレータ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、鉄道線路などにおいて設置が計画されている信号機などの設置物または鉄道線路などに偶発的存在が予想される障害物などを、車上の運転者が鉄道線路などの任意の地点で進行方向前方を見る場合の設置物または障害物の視認性を事前(設置物の施工前または障害物発生前)に確認するために使用されるシミュレーション方法及びシミュレータに関する。
【背景技術】
【０００２】
たとえば、鉄道線路(以下、単に線路という。)などに信号機などの設置物の設置を計画するときは、その設置位置が車上の運転者から見通しの利く(視認性が良い)場所であるか否かを事前(施工前)に確認する必要がある。また、線路に落石等の障害物が存在するとき、あるいは駅構内線路に転落者や落下物その他の障害物が存在するときは、運転者は衝突を回避するためにはどの地点で車両または列車の制動を開始すべきかを事前(現実の走行前)に学習しておく必要がある。自動車道に落石等が発生した場合は、発生場所に近づく車両に対して十分手前で注意標識などを設置することが望まれる。
【０００３】
たとえば、線路の設置物である特殊信号発光機（以下、特発という。)は、踏切障害、落石、雪崩、強風等により警戒を要する箇所に設けられ、常時は消灯しているが、警戒の必要があるときは、赤色灯が点灯して線路を走行する車両（または列車。以下、同じ。）を停止させるものである。
【０００４】
したがって、特発を新設するときは、警戒を要する箇所の外方であって、車両が所定の距離まで接近したとき見通し可能な場所に設置するため、施工前に見通しの確認をしなければならない。新設時に見通し確認を必要とする設置物には、特発以外にたとえば、山などにより見通しを阻害されている信号機の信号現示を中継する中継信号機、その他の施設や設備がある。
【０００５】
従来、特発の新設時には、模擬特発を現地に設置し、信号関係者と運転関係者が共同で現場立会いのもと見通し確認を行い、設置キロ程の妥当性を検証した上で、特発設置を施工している。したがって、見通し確認と施工には非常に多くの手間と時間を必要としている。
【０００６】
踏切での事故発生の防止には、特発の増設が喫緊の課題であるが、見通し確認と施工に非常に多くの手間と時間を必要とする上記従来の方法では、その要請に応えることが困難である。
【０００７】
また、線路に落石、ホーム歩行者の転落、落下物などの障害物が発生した場合に、その場所からどれだけ手前の距離で緊急制動を開始すれば事故防止のために有効かを、予め線路の現場で確認することは危険が伴うので好ましくない（先行技術文献は特にない。）。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上記の事情に鑑みてなされたものであり、線路に信号機等の設置物の新設を計画する場合に、または線路に障害物の発生を予想する場合に、線路を走行する車両の進行方向前方の実映像に対して設置物または障害物のＣＧないしイラスト、画像などを正しい位置に表示できる画像処理技術を開発し、これを用いることにより、施工スピードの向上または事故防止率の向上を図ることができるシミュレーション方法及びシミュレータを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成する本発明に係るシミュレーション方法は、（ａ）車上に設けたカメラで線路を走行する車両の進行方向前方（線路前方）を所定短小時間間隔で撮影して取得した前方撮影画像データと、予め作成した施設・設備−キロ程対応データを用いて前方撮影画像とキロ程とのマッチング処理を行って、各フレーム画像に対応するキロ程を表すキロ程データを作成し、(ｂ)他方、前方撮影画像データからレール形状を抽出してレール形状データを生成するレール形状抽出処理を行い、(ｃ)施設・設備−キロ程対応データと、キロ程データと、レール形状データとに基づいて、設置物の設置を希望する位置を導出する設置希望位置導出処理を行って設置希望位置データを作成し、(ｄ)その設置希望位置データに基づいて、設置物の設置を希望する位置の前方撮影画像データを読み出すとともに、予め保存されている設置物画像データを読み出して、設置物の設置を希望する位置の実映像である前方撮影画像の上に設置物の画像を表示するオーバーレイ表示処理を行うことを特徴とする。
【００１０】
設置物の画像は、実物の画像、ＣＧにより作成されたイメージ、イラストなどを含むものである。
【００１１】
上記目的を達成する本発明に係るシミュレータは、設置物の視認性事前確認に用いられる場合は、（ａ１）車上に設けられ、線路前方を所定短小時間間隔で撮影するカメラ、(ｂ１)各種データを記憶する記憶部、（ｃ１）カメラから入力された前方撮影画像データを処理する画像処理装置、（ｄ１）画像処理装置に対して制御指令を入力する入力部，(ｅ１)画像処理装置により処理された後の画像を表示するモニタとを有し、
記憶部は、（ｂ１１）カメラから入力された前方撮影画像データおよび画像処理装置で画像処理された後の画像データを記憶する第１記憶部と、（ｂ１２）施設・設備−キロ程対応データを記憶する第２記憶部と、（ｂ１３）画像処理装置によるレール形状抽出処理により生成されるレール形状データを記憶する第３記憶部と、（ｂ１４）設置物の画像データを記憶する第４記憶部とを含み、
画像処理装置は、（ｃ１１）記憶部に対するデータの記憶及び記憶部からのデータの読み出しを制御する記憶・読出制御部、（ｃ１２）第１記憶部に記憶された線路画像上の起点から各フレーム画像の撮影地点(視認地点でもある)までのキロ程を演算し、前方撮影画像データからレール形状を抽出する演算部、（ｃ１３）設置物の画像の表示比率を調整する表示比率調整部、(ｃ１４) モニタに表示された線路の視認地点の画像上に設置物の表示比率を調整された画像をオーバーレイ表示する画像合成部とを有し、
入力部は、（ｄ１１）第２記憶部に対して読み出すべき線路画像上の地点（キロ程）を指定するための地点指定部と、（ｄ１２）第３記憶部に記憶されている設置物を指定するための設置物指定部とを備え、
画像処理装置は、地点指定部の操作により指定される視認地点の画像を第１記憶部から読み出してモニタに表示し、その地点の画像からレール形状抽出処理により得られたレール形状データと施設・設備−キロ程対応データとキロ程データに基づいて設置物の設置を希望する位置を導出し、かつ設置物指定部の操作により指定される設置物の画像データを読み出して、モニタに表示されている視認地点の画像（実映像）の上に設置物の画像を表示比率調整部により設置物設置希望地点のキロ程に応じて調整された比率で表示することを特徴とする。
【００１２】
上記目的を達成する本発明に係るシミュレータは、障害物の視認性事前確認に用いられる場合は、（ａ１）車上に設けられ、線路前方を所定短小時間間隔で撮影するカメラ、(ｂ１) 各種データを記憶する記憶部、（ｃ１）カメラから入力された前方撮影画像データを処理する画像処理装置、（ｄ１）画像処理装置に対して制御指令を入力する入力部，(ｅ１)画像処理装置により処理された後の画像を表示するモニタとを有し、
記憶部は、（ｂ１１）カメラから入力された前方撮影画像データおよび画像処理装置で画像処理された後の画像データを記憶する第１記憶部と、（ｂ１２）施設・設備−キロ程対応データを記憶する第２記憶部と、（ｂ１３）画像処理装置によるレール形状抽出処理により生成されるレール形状データを記憶する第３記憶部と、（ｂ１４）障害物の画像データを記憶する第４記憶部とを含み、
画像処理装置は、（ｃ１１）記憶部に対するデータの記憶及び記憶部からのデータの読み出しを制御する記憶・読出制御部、（ｃ１２）第１記憶部に記憶された線路画像上の起点から各フレーム画像の撮影地点(視認地点でもある)までのキロ程を演算し、前方撮影画像データからレール形状を抽出する演算部、（ｃ１３）障害物の画像の表示比率を調整する表示比率調整部、(ｃ１４) モニタに表示された線路の視認地点の画像上に障害物の表示比率を調整された画像をオーバーレイ表示する画像合成部とを有し、
入力部は、（ｄ１１）第２記憶部に対して読み出すべき線路画像上の地点（キロ程）を指定するための地点指定部と、（ｄ１２）第３記憶部に記憶されている障害物を指定するための障害物指定部とを備え、
画像処理装置は、地点指定部の操作により指定される視認地点の画像を第１記憶部から読み出してモニタに表示し、その地点の画像からレール形状抽出処理により得られたレール形状データと施設・設備−キロ程対応データとキロ程データに基づいて障害物の設置を希望する位置を導出し、かつ障害物指定部の操作により指定される障害物の画像データを読み出して、モニタに表示されている視認地点の画像（実映像）の上に障害物の画像を表示比率調整部により障害物設置希望地点のキロ程に応じて調整された比率で表示することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、設置物の視認性事前確認に用いる場合は、車上のカメラで撮影した線路前方の実映像に対して、設置物の画像を指定した正しい位置に表示することができる。したがって、現場に行かずに、その設置物の設置予定地点における見通しの良し悪し(視認性)を確認することができるので、現場での施工スピードを従来よりも格段に向上させることができる。
また、障害物の視認性事前確認に用いる場合は、車上のカメラで撮影した線路前方の実映像に対して、障害物の画像を指定した発生予想地点に表示することができる。したがって、現場に行かずに、その障害物の発生予想地点における視認性を確認することができるので、事故防止率の向上を図ることができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態に係る設置物視認性事前確認装置の構成の一例を示すブロック図である。
【図２】本発明に係るシミュレータの機能の概要ならびに関連する入力データ、中間データおよび出力データを示す概念図である。
【図３】前方撮影画像の正規化を説明する図である。
【図４】正規化処理の概念図である。
【図５】正規化に用いる座標系と記号を示す図である。
【図６】画面の正規化をさらに示す図である。
【図７】フレーム画像の台形と台形が正規化された矩形との関係を示す図である。
【図８】正規化された前後のフレーム画像と画素移動量との関係を示す図である。
【図９】相対速度計測の概要を示す図である。
【図１０】相対速度計測の処理の流れを示すフローチャートである。
【図１１】距離計算の処理の流れを示すフローチャートである
【図１２】相対距離計測の結果の一例を示すグラフである。
【図１３】相対距離と対応する施設・設備のキロ程データの仮想例を示す図である。
【図１４】フレーム−キロ程グラフ作成の概要を示す図である。
【図１５】作成されたフレーム−キロ程グラフの一例を示す図である。
【図１６】レール形状抽出の流れを示す図である。
【図１７】既存システムによるレール抽出の結果を示す図である。
【図１８】画面レール上の点群データと実空間レール上の点群データの関係を示す図である。
【図１９】レールの実空間座標系を示す図である。
【図２０】距離ｄ離れた場合のレールの実空間座標系を示す図である。
【図２１】設置物位置データの変換を説明する図である。
【図２２】実空間レール上の整列補正点群データを示す図である。
【図２３】本発明の実施の形態に係る視認性確認の動作の流れを説明するフローチャートである。
【図２４】設置希望地点よりも外方８００ｍの視認地点Ｐ１の線路画像の一例を示す図である。
【図２５】前方撮影画像の上に、設置物の画像がオーバーレイ表示されている例を示す図である。
【発明を実施するための形態】
【００１５】
以下には、設置物視認性事前確認方法に適用した場合の実施の形態について、本発明のシミュレーション方法の基本思想を、図面を参照しながら説明する。
【００１６】
本発明に係る設置物視認性事前確認方法は、概略的には、車上のカメラで撮影された線路前方の画像データ（前方撮影画像データ）の画像相関を用いて、実映像のフレームとキロ程の合わせ（マッチング）をし、前方撮影画像データからレール抽出を行うことにより、画面中の設置物の３次元位置を推定し、設置物の高さ、大きさ、離れ（レール中心からの距離）を決定してモニタに表示するものである。
【００１７】
上記の本発明に係る設置物視認性事前確認方法に使用するシミュレータＶＣＡは、図１に例示するように、車上に設けられ、線路前方を所定短小時間間隔で撮影して前方撮影画像データを作成するカメラ１と、カメラ１から入力される前方撮影画像データを処理する画像処理装置２と、各種データを記憶する記憶部３と、画像処理装置２に対して制御指令を入力する入力部４と、画像処理装置２により読み出される画像または処理された画像を表示するモニタ５とを有する。
【００１８】
画像処理装置２は、カメラ１から入力される前方撮影画像データを記憶部３の所定領域に記憶し、かつ、入力部４により指定される地点の前方撮影画像データ及び入力部４により指定される設置物の画像データを読み出してモニタ５に出力する画像データ記憶・読出制御部２１と、記憶された線路画像上の起点から各画像上の撮影地点までのキロ程を演算したり、前方撮影画像データからレール形状を抽出したりする演算部２２と、得られたレール形状データに基づいて設置物の画像の表示比率を調整する表示比率調整部２３と、および表示比率が調整された設置物の画像を指定された地点の前方撮影画像(実映像)にオーバーレイ表示する画像合成部２４とを有する。
【００１９】
記憶部３は、目的を実現するためのプログラムを記憶しているプログラム記憶部３１と、カメラ１から入力される前方撮影画像データおよび画像処理装置２で画像処理された画像データを記憶する画像データ記憶部（第１記憶部）３２と、その画像データを画像処理装置２により画像処理して得られる施設・設備−キロ程対応データを保存する位置情報記憶部（第２記憶部）３３と、画像処理装置２によるレール形状処理により得られるレール形状データを記憶するレール形状データ記憶部(第３記憶部)３４と、設置物の画像データを記憶する設置物画像データ記憶部（第４記憶部）３５とを含む。
【００２０】
入力部４は、カメラ１からの前方撮影画像データの取り込みを指令するための画像取り込みスイッチ４１と、取り込まれた前方撮影画像をモニタ５に写して視認性確認作業を開始するための視認性確認スイッチ４２と、位置情報記憶部３３から読み出すべき前方撮影画像上の地点を指定するための地点指定部４３と、設置物画像データ記憶部３５に記憶されている設置物を指定するための設置物指定部４４とを備えている。
【００２１】
以下に、シミュレータＶＣＡについてさらに詳述し、併せて、設置物視認性事前確認方法について説明する。
【００２２】
本実施の形態においては、線路を走行する車両の進行方向前方を撮影するカメラ１が搭載される。カメラ１は、一定の時間間隔、一例として３０分の１秒間隔で撮影できるデジタルビデオカメラである。デジタルビデオカメラの場合は、一定の時間間隔で撮影された静止画をデジタル画像データで出力可能であるので、その出力信号をそのまま(ＡＤ変換を要することなく)画像処理装置２に入力することができるからである。カメラ１がデジタルビデオカメラでない場合は、そのカメラの出力信号をＡＤ変換機（図示せず）によりＡＤ変換した後、画像処理装置２に入力すればよい。
【００２３】
図１のシミュレータＶＣＡは、コンピュータで構成される場合の一例を示す。通常、カメラ１は車両に常設され、または必要時に車両に取り付けられるが、カメラ１以外の構成要素、すなわち、画像処理装置２と記憶部３と入力部４とモニタ５は、常に結合された状態で保守区管理事務所などに据え置かれ、撮影を終えたカメラ１が車両から取外されて、画像処理装置２にケーブルなどで接続される。しかし、車両に取り付けられているカメラ１から周知の電気通信回線を介してカメラの前方撮影画像データ（単に画像データと言う場合もある。)を画像処理装置２に送るようにしてもよい。
【００２４】
［シミュレータの機能の概要］
図２は、本発明に係るシミュレータＶＣＡの機能の概要ならびに関連する入力データ、中間データおよび出力データを示す概念図である。
【００２５】
シミュレータＶＣＡは、必要な入力データを処理し、その結果として目的のデータを出力するため、大きく分けると、次の４つのデータ処理機能を有する。それぞれについては、後に詳述する。
（１）前方撮影画像とキロ程とのマッチング 
（２）レール形状抽出 
（３）画像内設置物位置導出 
（４）前方撮影画像と設置物画像のオーバーレイ表示 
【００２６】
まず、本発明に係る視認性確認方法を使用する際に必要な入力データ、データ処理の中途において得られる中間データおよびデータ処理の結果として得られる出力データについて、予備知識として、説明する。
【００２７】
［入力データ］
本発明に係る視認性確認方法を使用するためには、次のデータがシミュレータＶＣＡに保存されていることが必要である。
（ａ）前方撮影画像データ
（ｂ）施設・設備−キロ程対応データ
（ｃ）設置物及び障害物画像データ
【００２８】
前方撮影画像データ(図２のＤ１)は、列車の先頭車内に設けたカメラにより線路前方を一定のフレーム時間毎に撮影した映像のデータである。前方撮影画像データは、線路前方を撮影したカメラをシミュレータＶＣＡに電気的に接続し、または、電気通信回線により接続して、シミュレータＶＣＡの画像データ記憶部３２に格納されて使用される。
【００２９】
施設・設備−キロ程対応データ(図２のＤ２)は、設置物の設置が計画されている線路上の各施設または設備と、その線路の起点から各施設または設備までのキロ程とを対応させて構成されたデータである。この施設・設備−キロ程対応データも、シミュレータＶＣＡの位置情報記憶部３３に格納されて使用される。
【００３０】
設置物及び障害物画像データ(図２のＤ３)は、設置物、たとえば、特殊信号発光機等の線路上または線路近傍に設置される施設や設備、の画像データである。この設置物及び障害物画像データも、シミュレータＶＣＡの設置物画像データ記憶部３５に格納されて使用される。設置物及び障害物の画像は、実物の画像、ＣＧにより作成されたイメージ、イラストなどのいずれでもよい。
【００３１】
［中間処理データ］
シミュレータＶＣＡでは、第１のデータ処理機能として、後述される前方撮影画像とキロ程とのマッチング処理が行われる。その処理の結果として、前方撮影画像データ(図２のＤ１)の各画像フレーム(撮影地点)と、その画像フレーム(撮影地点)における路線の起点からのキロ程をグラフ化したキロ程データ(図２のＤ４)が得られる。
また、シミュレータＶＣＡの好ましい実施の形態においては、第２のデータ処理機能として、後述されるレール形状抽出処理が行われる。その処理の結果として、レール形状データ(図２のＤ５)が得られる。
さらに、シミュレータＶＣＡでは、第３のデータ処理機能として、画像内設置物位置導出が行われる。その処理の結果として、設置物及び障害物位置データ(図２のＤ６)が得られる。
【００３２】
［出力データ］
そして、シミュレータＶＣＡでは、第４のデータ処理機能として、設置物及び障害物画像データ(図２のＤ３)を読み込み、第３のデータ処理機能により得られた設置物及び障害物位置データ(図２のＤ６)に基づいて、表示されている前方撮影画像上の所定の位置に所定の設置物画像がオーバーレイ表示されるようになっている。前方撮影画像と設置物画像が表示されているモニタ５には、施設・設備−キロ程対応データ(図２のＤ２)に基づいて、設置物のＩＤ、キロ程、レール離れ(レール中心からの距離)、高さおよび列車位置が併せて表示されるようになっている。
【００３３】
［シミュレータの機能の詳細］
（１）前方撮影画像とキロ程とのマッチング
この処理を行うには、その準備処理として、前方撮影画像の各撮影時点での相対的速度を計測する。そして、画像フレーム―相対距離グラフを縮尺変換して、画像フレーム―相対距離グラフを作成する。
詳細なデータ処理は、次の５つに分けられる。
1）前方画像の正規化
2）画像フレーム―相対速度グラフ作成
3）画像フレーム―相対距離グラフ作成
4）施設・設備位置と相対距離のマッチング
5）画像フレーム−キロ程グラフ作成
以下、順次説明する。
【００３４】
1）前方画像の正規化
図３(ａ)に示すように、カメラ１で得られた前方撮影画像上の見かけ距離Δd, Δdは実際の距離と異なる。これでは正確な計測ができない。したがって、相対的速度を計測するために、画面上の任意の見かけ距離の実際の距離がどこでも同じになるように正規化（補正）することが必要である。前方撮影画像の正規化とは、図４に概念的に示すように、車上の斜め下方に向けて設置されたカメラ１の映像の透視変換画像を真上のカメラ１’から撮影した映像に相当する図３(ｂ)に示すような映像に変換することである。
【００３５】
前方撮影画像の正規化処理について説明する。図５は正規化処理のために用いられる座標系と記号を示す。Ｈはカメラ１の高さ、ｅはカメラ１の向き、θはカメラ１の俯角、ｆはカメラ１の焦点距離、ｘは画面横方向、ｙは画面縦方向である。
【００３６】
はじめに、画面上のx-y 座標とX-Y-Z 座標系の関係について整理しておく。カメラ１の向きｅを単位ベクトルで表すと、
【数１】
2015141698.tif 000003
となる。仮想画面の中心、つまりx-y 座標の原点をX-Y-Z 座標系で表すと、
【数２】
2015141698.tif 000004
である。仮想画面上のある点(Xn,Yn)はX-Y-Z 座標系で
【数３】
2015141698.tif 000005
と表すことができる。カメラ焦点の原点から( Xn ,Yn ) に向かうベクトルは、
【数４】
2015141698.tif 000006
なので、原点からこのベクトルの延長線上に( Xn ,Yn ) の実際の位置( Xn,Yn,Zn ) があるので未知数αを用いて、
【数５】
2015141698.tif 000007
と表現できる。Ｙｎ＝−Ｈなので
【数６】
2015141698.tif 000008
である。これより未知数αは
【数７】
2015141698.tif 000009
として与えられる。これを用いて
【数８】
2015141698.tif 000010
が得られる。
【００３７】
ここで、図６（ａ）に示すように、前方撮影画像上のZ 方向に対して同じ距離にある左右のレール上の点を２組設定し、Lt ，Rt ；Lb ，Rb とおく。対応する点のX-Y-Z 座標系での位置と画面上の位置を
【数９】
2015141698.tif 000011
とおく。これよりレール方向の点Ｚｂ, Ｚｔ（Ｒｂ,Ｒｔ）間の距離（Ｚｔ-Ｚｂ）は、
【数１０】
2015141698.tif 000012
となる。また、左右レールの距離は１０６７ｍｍなので
【数１１】
2015141698.tif 000013
【数１２】
2015141698.tif 000014
である。これより、
【数１３】
2015141698.tif 000015
【数１４】
2015141698.tif 000016
【数１５】
2015141698.tif 000017
【数１６】
2015141698.tif 000018
が得られる。これを用いると、焦点距離ｆが
【数１７】
2015141698.tif 000019
として求められる。これらを代入することでＺｔ−Ｚｂが求められる。正規化された４点のｘ方向の長さとｙ方向の長さの比は、
【数１８】
2015141698.tif 000020
である。よって、画面上の４点を、
【数１９】
2015141698.tif 000021
へ移すことで、図６（ａ）の画像は、図６（ｂ）に示すように、映像の正規化がされる。
前方撮影画像の正規化処理は、要約すると、図７に示すように、カメラ１で撮影した台形の画像ＦＡ１を、台形の底辺Ｗを共通にする矩形の画像ＦＡ２に変換することである。
【００３８】
2）画像フレーム―相対速度グラフ作成
この処理においては、上記のように正規化した画像に対して、図８に示すように、前後２つのタイミングt，t+１の画面の画素移動量から相対的な速度を計測する。その場合、計測誤差などを考慮して、外れ値の除去や速度変化の連続性を保つような処理を行う。 
【００３９】
相対的速度計測の概要を図９に基づいて説明すると、一つのフレーム画面を複数の等しい領域に分割し、各領域を移動量計測範囲とする(図９(a))。次に、画面全体から各領域の移動先を探し、移動量を求める(図９(b))。求められた移動量に外れ値がある場合は、その領域を除外する(図９(c))。そして、除外されなかった領域の平均移動量を求める(図９(d))。相対速度計測の詳細は図１０に例示したフローチャートに記載のとおりである。
【００４０】
3）画像フレーム―相対距離グラフ作成
この処理においては、相対速度を単純に累積することで相対距離グラフを作成する。
図１１は、距離計算の処理フローを示す。また、図１２は、相対距離計算プログラムの実行の結果を示す。相対距離の単位はピクセルである。
【００４１】
4）施設・設備位置と相対距離のマッチング
施設・設備位置と相対距離のマッチング処理においては、上記相対距離計算により得られた相対距離と対応する施設・設備のキロ程の対応付けを行う。相対距離と対応する施設・設備のキロ程の対応データは、施設・設備キロ程対応データと画像フレーム―相対距離グラフから手作業で作成することもできる。
図１３は、相対距離と対応する施設・設備のキロ程の対応データの一例(仮想のデータ)を示す表である。
【００４２】
5）画像フレーム−キロ程グラフ作成
この画像フレーム−キロ程グラフ作成処理においては、施設・設備キロ程がある区間ごとに画像フレーム−相対距離グラフの拡大・縮小を行い、画像フレーム−キロ程グラフを作成する。
すなわち、次の変換式に示すように、図１４(ａ)の画像フレーム−相対距離グラフの相対距離ｄｉを、参照データ{(ｉｆ,Ａｆ)}を用いて画像フレーム−キロ程Ｄｉを求め、図１４(ｂ)の画像フレーム−キロ程グラフを作成する。
【数２０】
2015141698.tif 000022
参照データの得られているＦ０：Ｆ１，Ｆ１：Ｆ２ごとに相対距離と参照データから得られる実際の距離の比率によって距離を変換する。
【００４３】
図１５は、画像フレーム−キロ程グラフ作成プログラムの実行の結果、得られた画像フレーム−キロ程グラフの一例である。
【００４４】
（２）レール形状抽出
たとえば、特発の画像を前方撮影画像の上にオーバーレイ表示するときは、その特発のレールからの離れ(レール中心からの距離)と高さを求めないと正しくできない。レール形状抽出プログラムは、前方撮影画像からレール形状を抽出し、その抽出されたレール形状データを用いることにより、２次元の情報しかない画像の上に、正しい位置に特発の画像を表示することを可能にするものである。
【００４５】
レール形状抽出プログラムは、既存システムによるレール形状抽出プログラムを利用するが、レールの曲率の条件、レールの幅員条件に着目して正確なレール形状を求めるために改良されている。
【００４６】
図１６に、レール形状抽出の流れが示されている。すなわち、レール形状抽出においては、次の処理がなされる。
1）既存システムによるレール形状抽出
2）画面レール上の点群データ作成
3）実空間レール上の点群データ作成
4）実空間レール上の点群までの距離データ作成
5）実空間レール上の整列点群データ作成
6）実空間レールのセンターライン上点群データとレール角度データ作成
【００４７】
1）既存システムによるレール形状抽出
既存システムによって抽出される画面上での左右レール形状を画面高さに対する横方向の関数として
【数２１】
2015141698.tif 000023
と表す。
【００４８】
図１７は、既存システムによるレール形状抽出の結果を示す。
【００４９】
画面上の位置を実際のレール位置へ写す関数をＦ、その逆関数をＦ-1とする。なお、この関数はレールに対するカメラ位置（レールからの高さｈ、レール中心に対するレール直交方向の位置ｗ）、カメラ俯角θ（ピッチング）、その他のロール、ヨーイング角は０とする。レール形状は、カメラ焦点距離ｆと、カメラＣＣＤサイズから得られる。ただし、レールが水平であることを条件とする。レールの傾斜はわずかであり、これを正確に計測することは困難である。逆に、水平を仮定しても、これによる大きな影響は生じないと考えられる。
【００５０】
2）画面レール上の点群データ作成
3）実空間レール上の点群データ作成
図１８(ａ)に示すように、画面上の左右レール上へ画面のみかけ距離で等間隔に画面下端から番号をつけ、点群{rL(i)},{rR(i)}を設定する。図１８(ｂ)に示すように、この点をＦによって実空間上の点群{ＲL(i)}，{ＲR(i)}へ変換する。
【００５１】
4）実空間レール上の点群までの距離データ作成
図１８(ｂ)の{ＲL(i)}，{ＲR(i)}の位置を用いて、左右レールごとに、設定した点の間の距離を累積していくことで各点までの距離を求める。これは、ＲL(i+l)からＲL(i)までの距離を｜ＲL(i+l): ＲL(i)｜とするとき、
【数２２】
2015141698.tif 000024
によって求められる。これにより、ＲL(０)とＲR(０)からｄ離れたレール位置が左右レールに設定した点群の何番目と何番目の間にあるかを知ることができる。また、図１９,２０に示すように、距離ｄ離れたレール位置の近似値を
【数２３】
2015141698.tif 000025
と表現することができる。
【００５２】
5）実空間レール上の整列点群データ作成
6）実空間レールのセンターライン上点群データとレール角度データ作成
実空間上のレールセンタの位置とレールの角度を求める。実空間上で単位距離をlとして等間隔となるようレールセンタ上の点を設定し、番号をjとする。レールのセンタについて、画面下端部分の位置は
【数２４】
2015141698.tif 000026
である。j番目のセンタ位置は距離jlだけ離れた左右のレール位置から
【数２５】
2015141698.tif 000027
と求めることができる。θ(ｊ)をレールの絶対角度、Δθ(ｊ)を対象地点でのレール曲率とする。初期値として、たとえば
ｃｏｓθ（０）＝１
ｃｏｓΔθ（０）＝1
と曲率を設定し、j＝1、2と順々にθ(j)、Δθ(j)を求めていく。j番目とj＋１番目のレールセンタ位置について、Ｒｃ(j)とＲｃ(j＋１)間の距離はlであるので、Ｒｃ(j)からθの向きにlだけ伸ばしたベクトルをＶ、Ｒｃ(j)からＲｃ(j＋１)までのベクトルをＶ’とすると、
【数２６】
2015141698.tif 000028
によってＲｃ(j)でのレール曲率が求められる。θの正負はＶとＶ’のベクトルの終点の位置関係から求められる。
ただし、この値は誤差を含んでいるため、曲率の最大値をΔθmaxとするとき、
【数２７】
2015141698.tif 000029
として曲率の設定上限を超えることがないようにする。また、曲率変化の連続性を考慮して
【数２８】
2015141698.tif 000030
と曲率が徐々に更新されるようにする。これによりＲｃ(j＋１)でのレールの向きは
【数２９】
2015141698.tif 000031
で求められ、Ｒｃ(j＋１)でのレールセンタ位置は
【数３０】
2015141698.tif 000032
と与えられる。これにより、レールの最大曲率条件、曲率の変化率を考慮したレールセンタ位置を求めることができる。
【００５３】
（３）画像内設置物位置導出 
この処理を行うためには、設置物の位置、たとえば、特発の位置の絶対座標系から前方画像座標系への変換が必要である。そのため、上記レール抽出処理により得られたレール位置およびカメラ条件から設置物位置を写像する。Ｒｃ(０)から距離ｄだけ離れたレールセンタ位置は
【数３１】
2015141698.tif 000033
と表現できる。レールの向きも
【数３２】
2015141698.tif 000034
で求めることができる。
【００５４】
図２１に特発の場合について示すように、設置する設置物(特発)のＲｃ(０)からの距離ｄが分かれば、その位置のレールの向きを上記の式から求め、離れ位置、高さの値からカメラ位置を基準とする実空間上での設置位置が求められる。この位置をＦ-１で画面上の位置に移すことで、画面上の位置(特発の位置ｐ)が求められる。
【００５５】
[画面上のレール形状の補正について]
なお、図２２に示すように、対応する左右のレール位置はレールのセンタ位置Ｒ'ｃ(j)から向きθと直交する左右の向きに１０６７/２［ｍｍ]移動した位置として
【数３３】
2015141698.tif 000035
の点群データが得られる。
この点群をＦ-１で画面上に写すと、レール幅１０６７ｍｍの制約条件を満たすレール曲線が得られる。
【００５６】
（４）前方撮影画像と設置物画像のオーバーレイ表示
上記のようにして求められた画面上の位置に対して、指定された設置物の画像がクロマキー（画像合成）によって表示される。
【００５７】
続いて、上記シミュレータＶＣＡを用いて行われる設置物視認性事前確認作業を一貫して説明する。
【００５８】
前方画像データが格納されたシミュレータＶＣＡにおいて、一例として対象路線の特定の踏切道の外方に特発を新設するに当たり、設置希望地点における視認性を事前に確認する場合の操作について図２３に基づいて説明する。
【００５９】
シミュレータＶＣＡの入力部４の視認性確認スイッチ４２をＯＮすると、画像処理装置２は画像データ記憶部３２からその路線の起点(位置情報Ｐ０)のフレーム画像を読み出し、モニタ５に表示する（ｐ４１）。この画像表示を見て、特発設置対象の路線であるか否かを確認することができる。
【００６０】
続いて、地点指定部４３においていずれかの地点(位置情報Ｐ１およびＰ２)が指定されたかを判断し（ｐ４２）、指定されると、その指定された地点(位置情報Ｐ１およびＰ２)Ｐｉの線路画像をモニタ５に表示する（ｐ４３）。通常は、最初、特発の設置対象となる踏切道のコードを地点指定部４３に入力すると、そのコードに対応する踏切道の位置情報に変換されることにより、その踏切道の画像をモニタ５に表示させて、その踏切道の場面を確認する。引き続き、地点指定部４３を操作して、特発設置希望地点の一例としてその踏切道から６００〜８００ｍ外方の視認地点Ｐ１を入力すると、今表示されている踏切道の画像が、その特発設置希望地点の外方６００〜８００ｍの視認地点Ｐ１の線路画像に変更される。踏切道の画像を表示させることなく、直接に特発設置希望地点より６００〜８００ｍ外方の視認地点Ｐ１の線路画像を表示させてもよい。図２４は、設置希望地点よりも外方８００ｍの視認地点Ｐ１の線路画像の一例である。
【００６１】
次に、地点指定部４３において設置物設置希望地点Ｐ２が指定されたかを判断し（ｐ４４）、指定されると、その指定された設置物設置希望地点Ｐ２の線路画像データを画像データ記憶部３２から読み出して、モニタ５に表示する（ｐ４５）。続いて、画像処理装置２は入力部４の設置物指定部４４から設置物の指定がされたか否かを判断し（ｐ４６）、設置物が指定されたときは、その設置物画像データ記憶部３５からその設置物の画像データを読み出すとともに、表示比率調整部２３によりその設置物の高さ、形状、設置位置(離れ)等を視認地点Ｐ１から設置物設置希望地点Ｐ２までの距離に応じて表示比率の比率を演算し(ｐ４７）、その演算結果の比率に基づいてその設置物の画像を縮小し、その縮小された設置物の画像を画像合成部２４により図２５に示されている設置希望地点よりも外方の視認地点Ｐ１の前方撮影画像の上にオーバーレイ表示する（ｐ４８）。したがって、モニタ５には、視認地点Ｐ１の前方撮影画像に視認地点Ｐ１の内方の指定された設置希望地点Ｐ２に、指定された設置物の画像が合成されて表示される（ｐ４９）。
【００６２】
図２５(ａ)は、モニタ５に視認地点Ｐ１の前方撮影画像に視認地点Ｐ１の内方の指定された設置希望地点Ｐ２に指定された設置物の画像が合成されて表示されている状態を示している。このモニタ５の表示状態からその設置物の画像の視認性から現場での設置物の見通しの良し悪しを判断することができる（ｐ４１０）。視認地点を内方に徐々に近づければ、図２５(ｂ)に示されるように、モニタの特発の画像が接近距離に応じて拡大して表示されるので、設置希望位置（設置予定位置)として適合するか否かを確認することができる。適合する場合は、その設置予定位置を保存する（ｐ４１１）。もし、特発の画像が十分に確認できない場合は、設置希望地点を入力し直して（ｐ４１２）、再度視認性を確認し（ｐ４１３）、視認性が良好なときはその設置希望地点を設置予定位置としてその時の画像を保存すればよい（ｐ４１４）。画像の保存に代えて、設置予定位置をキロ程で紙面に記録してもよい。
【００６３】
設置予定位置の画像保存または紙面記録により、設置物の視認性事前確認作業が終了する。
【００６４】
[他の実施の形態]
視認地点の画像表示の際にその地点の位置情報を合わせて表示する場合は、視認可能な範囲の認識又は記録が容易にできる利点があるが、見通し良好な範囲の位置情報が自動的に保存され、後に確認可能であれば、視認地点の画像に位置情報を必ず表示する必要はない。
【００６５】
上記のようにして、上記実施の形態においては、設置物の視認性事前確認および施工のスピードの向上という目的を達成することができる。
【００６６】
上記実施の形態においては、本発明を設置物の視認性事前確認に応用したが、本発明は他の応用として、たとえば、踏切に停止した車、線路に落下した落石、構内線路に転落した人または落下物などの障害物が発生した等の異常時を想定して、障害物の視認性事前確認のため、すなわち、異常発生時に対する車両運転士の訓練用の運転シミュレータを提供することができる。
【００６７】
その場合は、図１における入力部４の設置物指定部４４は障害物指定部とされ、記憶部３の設置物画像データ記憶部３５は、障害物画像データ記憶部とされ、設置物視認性事前確認の場合の操作と同様の操作により前方撮影画像の実映像に障害物(車、落石、ホーム転落など)のＣＧを重ねて表示して、指定した障害発生予想地点における障害物の視認性を確認することができる。
【００６８】
上記構成において、障害物指定部を操作しない場合は、異常のない通常時の運転シミュレータとしても使用することができる。
【図１】
2015141698.tif 000036
【図２】
2015141698.tif 000037
【図３】
2015141698.tif 000038
【図４】
2015141698.tif 000039
【図５】
2015141698.tif 000040
【図６】
2015141698.tif 000041
【図７】
2015141698.tif 000042
【図８】
2015141698.tif 000043
【図９】
2015141698.tif 000044
【図１０】
2015141698.tif 000045
【図１１】
2015141698.tif 000046
【図１２】
2015141698.tif 000047
【図１３】
2015141698.tif 000048
【図１４】
2015141698.tif 000049
【図１５】
2015141698.tif 000050
【図１６】
2015141698.tif 000051
【図１７】
2015141698.tif 000052
【図１８】
2015141698.tif 000053
【図１９】
2015141698.tif 000054
【図２０】
2015141698.tif 000055
【図２１】
2015141698.tif 000056
【図２２】
2015141698.tif 000057
【図２３】
2015141698.tif 000058
【図２４】
2015141698.tif 000059
【図２５】
2015141698.tif 000060