(57)【要約】【課題】道路の測量を必要とせず、カメラ座標系と世界座標系との、容易でかつ精度の高い関連付けを実現する手法を提供する。【解決手段】ＧＰＳ等により正確な位置が既知の車両を走行させて撮影する際、カメラのシャッター部２をＧＰＳ時刻等、正確な時刻に同期させて開閉させることにより、撮影した画像上にタイムスタンプを記録する。撮影終了後、路側データ記録部７に保存した映像上において、記録されたタイムスタンプをもとに各映像フレームの正確な時刻を算出する。続いて、各映像フレームにおけるカメラ座標系上での車両位置と、その時刻に対応する、車両に記録した世界座標系での位置との対応テーブルを作成し、カメラの視野と世界座標系とを精度良く関連付ける。【選択図】図２
2010236891.tif 000002
【特許請求の範囲】
【請求項１】
世界座標系での車両の位置座標と、時刻と、を記録して走行する車両をカメラで撮影記録するカメラ撮影手段と、
時刻情報を撮影画像の中に記録する時刻情報記録手段と、
前記カメラ撮影手段により撮影した時刻を送信する時刻送信手段と、
前記車両より送信された前記時刻における前記車両の世界座標系の位置座標を取得する取得手段と、
前記撮影手段により撮影した撮影データ内における前記車両のカメラ座標系の位置座標を求める座標算出手段と、
前記世界座標系の位置座標と、前記カメラ座標系の位置座標と、を対応づけて位置情報テーブルを作成することにより、前記カメラ座標系の位置座標を世界座標系の座標に変換して前記撮影データの座標を特定する位置情報データ作成手段と、
を有することを特徴とする路側撮影装置。
【請求項２】
外部時刻情報に基づいて正確に時刻同期された時刻に同期して前記カメラのシャッターの開閉を制御して撮影を行うシャッター制御手段を有し、
前記時刻情報記録手段により前記撮影画像の中に記録された時刻情報に基づいて、
前記世界座標系の位置座標と、前記カメラ座標系の位置座標と、を対応づけて位置情報テーブルを作成することにより、前記カメラ座標系の位置座標を世界座標系の座標に変換して前記撮影データの座標を特定することを特徴とする請求項１に記載の路側撮影装置。
【請求項３】
前記正確に時刻同期された時刻に同期して点滅する光源を備えた前記車両を前記カメラ撮影手段により撮影し、前記点滅する光源を撮影画像の中に直接記録した画像データに基づいて、
前記世界座標系の位置座標と、前記カメラ座標系の位置座標と、を対応づけて位置情報テーブルを作成することにより、前記カメラ座標系の位置座標を世界座標系の座標に変換して前記撮影データの座標を特定することを特徴とする請求項２に記載の路側撮影装置。
【請求項４】
遠赤外線を放射するための熱源である熱源手段と、
前記熱源手段から放射される遠赤外線を遮蔽できる前記正確に時刻同期された時刻に同期して開閉する熱源シャッター手段と、
を備えた前記車両を前記カメラ撮影手段により撮影し、前記熱源から放射される遠赤外線を撮影画像の中に直接記録した画像データに基づいて、
前記世界座標系の位置座標と、前記カメラ座標系の位置座標と、を対応づけて位置情報テーブルを作成することにより、前記カメラ座標系の位置座標を世界座標系の座標に変換して前記撮影データの座標を特定することを特徴とする請求項２に記載の路側撮影装置。
【請求項５】
ＧＰＳや車速パルスなどの外部情報に基づいて世界座標系の位置座標と、時刻と、を記録する位置時刻情報記録手段と、
前記時刻送信手段から受け取った時刻における前記世界座標系の位置座標を送信する位置座標送信手段と、
を備えることを特徴とする車載装置。
【請求項６】
外部時刻情報に基づいて正確に時刻同期された時刻に同期して点滅する光源である光源手段を備えることを特徴とする請求項５に記載の車載装置。
【請求項７】
前記車両に遠赤外線を放射するための熱源である熱源手段と、
前記熱源手段から放射される遠赤外線を遮蔽できる前記正確に時刻同期された時刻に同期して開閉する熱源シャッター手段と、を備えることを特徴とする請求項５に記載の車載装置。
【請求項８】
前記熱源シャッターは、前記熱源から放射される遠赤外線を遮蔽する時のみ前記熱源遮蔽位置に移動し、熱源遮蔽後は直ちに前記熱源の加熱影響のない離れた待機位置に復帰することを特徴とする請求項７に記載の車載装置。
【請求項９】
世界座標系での車両の位置座標と、時刻と、を記録して走行する車両をカメラで撮影記録するカメラ撮影工程と、
時刻情報を撮影画像の中に記録する時刻情報記録工程と、
前記カメラ撮影工程により撮影した時刻を送信する時刻送信工程と、
前記車両より送信された前記時刻における前記車両の世界座標系の位置座標を取得する取得工程と、
前記撮影工程により撮影した撮影データ内における前記車両のカメラ座標系の位置座標を求める座標算出工程と、
前記世界座標系の位置座標と、前記カメラ座標系の位置座標と、を対応づけて位置情報テーブルを作成する位置情報テーブル作成工程と、
前記カメラ座標系の位置座標を世界座標系の座標に変換して前記撮影データの座標を特定する位置情報データ作成工程と、
を有することを特徴とする位置座標変換方法。
【請求項１０】
外部時刻情報に基づいて正確に時刻同期された時刻に同期して前記カメラのシャッターの開閉を制御して撮影を調節するシャッター制御工程と、
前記時刻情報記録工程により前記撮影画像の中に記録された時刻情報に基づいて、
前記世界座標系の位置座標と、前記カメラ座標系の位置座標と、を対応づけて位置情報テーブルを作成する位置情報テーブル作成工程と、
前記カメラ座標系の位置座標を世界座標系の座標に変換して前記撮影データの座標を特定する工程と、
を有することを特徴とする請求項９に記載の位置座標変換方法。
【請求項１１】
前記正確に時刻同期された時刻に同期して点滅する光源を備えた前記車両を前記カメラ撮影工程により撮影し、前記点滅する光源を撮影画像の中に直接記録した画像データに基づいて、
前記世界座標系の位置座標と、前記カメラ座標系の位置座標と、を対応づけて位置情報テーブルを作成する位置情報テーブル作成工程と、
前記カメラ座標系の位置座標を世界座標系の座標に変換して前記撮影データの座標を特定する工程と、
を有することを特徴とする請求項１０に記載の位置座標変換方法。
【請求項１２】
遠赤外線を放射するための熱源である熱源工程と、
前記熱源工程から放射される遠赤外線を遮蔽できる前記正確に時刻同期された時刻に同期して開閉する熱源シャッター工程と、
を備えた前記車両を前記カメラ撮影工程により撮影し、前記熱源から放射される遠赤外線を撮影画像の中に直接記録した画像データに基づいて、
前記世界座標系の位置座標と、前記カメラ座標系の位置座標と、を対応づけて位置情報テーブルを作成する位置情報テーブル作成工程と、
前記カメラ座標系の位置座標を世界座標系の座標に変換して前記撮影データの座標を特定する工程と、
を有することを特徴とする請求項１０に記載の位置座標変換方法。
【請求項１３】
前記熱源シャッターは、前記熱源から放射される遠赤外線を遮蔽する時のみ前記熱源遮蔽位置に移動し、遮蔽後は直ちに前記熱源の加熱影響のない離れた待機位置に復帰する工程を備えることを特徴とする請求項１２に記載の位置座標変換方法。
【請求項１４】
路側に備えられて車両の撮影を行う路側撮影装置と、前記車両に備えられる車載装置と、を有する位置座標変換システムであって、
前記路側撮影装置は、
世界座標系での車両の位置座標と、時刻と、を記録して走行する車両をカメラで撮影記録するカメラ撮影手段と、
時刻情報を撮影画像の中に記録する時刻情報記録手段と、
前記カメラ撮影手段により撮影した時刻を送信する時刻送信手段と、
前記車両より送信された前記時刻における前記車両の世界座標系の位置座標を取得する取得手段と、
前記撮影手段により撮影した撮影データ内における前記車両のカメラ座標系の位置座標を求める座標算出手段と、
前記世界座標系の位置座標と、前記カメラ座標系の位置座標と、を対応づけて位置情報テーブルを作成することにより、前記カメラ座標系の位置座標を世界座標系の座標に変換して前記撮影データの座標を特定する位置情報データ作成手段と、
を有し、
前記車載装置は、
ＧＰＳや車速パルスなどの外部情報に基づいて世界座標系の位置座標と、時刻と、を記録する位置時刻情報記録手段と、
前記時刻送信手段から受け取った時刻における前記世界座標系の位置座標を送信する位置座標送信手段と、
を有することを特徴とする位置座標変換システム。
【請求項１５】
路側に備えられて車両の撮影を行う路側撮影装置と、前記車両に備えられる車載装置と、データを演算処理する情報処理装置と、を有する位置座標変換システムであって、
前記路側撮影装置は、
世界座標系での車両の位置座標と、時刻と、を記録して走行する車両をカメラで撮影記録するカメラ撮影手段と、
時刻情報を撮影画像の中に記録する時刻情報記録手段と、
前記カメラ撮影手段により撮影した時刻を送信する時刻送信手段と、
前記撮影手段により撮影した撮影データ内における前記車両のカメラ座標系の位置座標を求める座標算出手段と、
前記座標算出手段により算出された前記カメラ座標系の位置座標を送信する位置座標送信手段と、を有し、
前記車載装置は、
ＧＰＳや車速パルスなどの外部情報に基づいて世界座標系の位置座標と、時刻と、を記録する位置時刻情報記録手段と、
前記時刻送信手段から受け取った時刻における前記世界座標系の位置座標を送信する位置座標送信手段と、を有し、
前記情報処理装置は、
前記カメラ撮影手段が撮影した時刻を取得する時刻取得手段と、
前記車両より送信された前記時刻における前記車両の世界座標系の位置座標を取得する取得手段と、
前記路側撮影装置より送信された前記カメラ座標系の位置座標を取得する位置座標取得手段と、
前記世界座標系の位置座標と、前記カメラ座標系の位置座標と、を対応づけて位置情報テーブルを作成することにより、前記カメラ座標系の位置座標を世界座標系の座標に変換して前記撮影データの座標を特定する位置情報データ作成手段と、
を有することを特徴とする位置座標変換システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路を走行する車両の位置検出などを行うカメラ座標系と世界座標系との位置座標変換方法、車載装置、路側撮影装置及び位置座標変換システムに関する。
【背景技術】
【０００２】
道路の路側に設置したカメラより車両を撮影し、そのビデオ映像に画像処理を施して車両種別やその位置、速度の自動検出を行うシステムとしては、交通流量を計測するトラヒックカウンタや、衝突事故防止などのために開発が進められているＡＨＳ、ＤＳＳＳなどの安全運転支援システムが存在する（例えば非特許文献１）。このうち、特に安全運転支援システムについては、映像より測定した車両の位置や速度をもとに、ＴＴＣ（Ｔｉｍｅ−Ｔｏ−Ｃｏｌｌｉｓｉｏｎ：衝突余裕時間）を推定してドライバへの注意喚起や車両のブレーキ制御を行うなど、その測定には高い精度が求められている。
【０００３】
カメラで撮影した映像から車両の位置、速度を正確に求めるためには、その車両が写っているカメラ座標系での各画素と、それら各画素と世界座標系（緯度／経度／高度）との関連付け（位置座標変換）が予め正確に行われている必要がある。しかしながら、特に安全運転支援システムが設置される、すなわち、事故を誘発する要因のある箇所は、例えば図１に示すようなカーブ区間など、単純な直線ではなく曲率や勾配を伴っている場合が多い。このような場合、カメラ座標系に投影される道路形状は複雑に歪み、カメラ座標系と世界座標系との正確な関連付けは容易ではない。
【０００４】
そこで例えば道路の路側に交通車両を監視するカメラ等を新しく設置した場合に、最初に行われることはカメラ座標系の位置座標と世界座標系の位置座標とを正確に対応づける対応テーブル（２次元座標テーブルを３次元座標テーブルに変換したテーブル）を作成することが重要なこととなる。一般的にこの関連付けを行う方法として、以下に述べる方法が主としてあげられる。
【０００５】
方法１としては、一般地図、航空写真、道路図面などにより、照明柱等、カメラ視野上にある主要な目標物の世界座標系での位置を導出する方法である。そして導出した目標物の世界座標系での位置と、撮影した画像上、すなわちカメラ座標系での位置とを比較し、両者の関連付けを行うものである。また各目標物間の座標については、補間などを行い、連続的な対応テーブルを作成するものである。
【０００６】
また方法２としては、トータルステーションなど、道路測量用の機材を用い、照明柱等、カメラ視野上にある主要な目標物の世界座標系での位置を導出する方法である。それら導出した目標物の世界座標系での位置と、撮影した画像上、すなわちカメラ座標系での位置とを比較し、両者の関連付けを行うものである。各目標物間の座標については、補間などを行い、連続的な対応テーブルを作成するものである。
【０００７】
また方法３としては、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）／慣性航法装置やステレオカメラ、レーザレーダなどを搭載した測量車を用い、３次元での連続した世界座標系での道路形状データ（マップデータ）を導出する方法である。照明柱等、カメラ視野上にある主要な目標物のマップデータ値と、それらを撮影した画像上、すなわちカメラ座標系での位置とを比較し、両者の関連付けを行うものである。各目標物間の座標についても、マップデータを用いることにより、補間などは行わずに連続的な対応テーブルを作成するものである。
【０００８】
測量車を用いる方法ではないが、上記の方法３を応用したものとして、例えば特許文献１では、車両に搭載するカメラで進行方向前方を撮像して自車両位置の計測と道路形状の計測を行い、ＧＰＳや地図情報を参照して３次元道路モデルを求めて自車両の正確な位置を計算して、安全運転支援のための警報を発生する技術について開示されている。
【０００９】
また特許文献２では、交差点に設置されたカメラで交通状況を撮像し、該撮像した映像を交差点に近づく車両に搭載した車載装置に表示させて運転者に知らせる技術について開示されている。
【００１０】
また特許文献３では、車両に搭載するカメラで前方を撮像した画像を処理して道路領域を認識し、実空間における道路形状を求めて、その映像を車両に搭載した表示装置に俯瞰図として表示する技術について開示されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平０７−２７５４１号公報
【特許文献２】特開２００４−９４８６２号公報
【特許文献３】特開平０１−２６５３９９号公報
【非特許文献】
【００１２】
【非特許文献１】「交差点における安全運転支援システムの動向とＮＥＣの取り組み」、ＮＥＣ技報Ｖｏｌ．６１、Ｎｏ．１、ｐ１４−１８、２００８．
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、方法１においては、一般地図は誤差が大きく、また、航空写真は存在しない箇所も多く、たとえ存在しても、最新ではない場合も多い。更に道路図面は必ずしも入手できるとは限らず、また施工上の都合などにより、実際の道路形状は図面通りとはなっていない場合もある。このため、精度の高い関連付けは困難な場合が多いという問題があった。
【００１４】
また方法２においては、特に高速道路などの高架上にてトータルステーションによる測量を実施するためには、通常、車線規制を行う必要がある。車線規制を伴う測量はコストがかかると共に、幹線道路では、交通流を妨げる車線規制の実施が容易ではない。例えば車線間をまたぐ測量には完全な通行止めが必要な場合もあるが、通常、幹線道路で通行を止めることは困難であるという問題があった。
【００１５】
また方法３においては、測量車を用いる場合は、関連付け方法２にある車線規制の問題は生じない。しかしながら、高価な機材を多数搭載した測量車を用いるためには、通常、車線規制以上のコストが必要である。また、道路勾配の計測には高度の情報が必要であるが、測量のベースとなるＧＰＳは高さ方向の誤差が大きいため、勾配のある箇所では精度の高い関連付けが困難であるという問題があった。
【００１６】
また特許文献１においては、自車両位置の計測装置及び道路形状の計測装置が必要であるという問題がある。
【００１７】
また特許文献２及び特許文献３からは、撮影した映像を用いて俯瞰図を構築しているが、実際に走行している車両位置座標を求めてはいないため、構築した俯瞰図とずれが生じてしまうという問題がある。
【００１８】
このように上記で述べた各手法では、カメラの視野（カメラ座標系）と実座標（世界座標系）とを関連付ける場合に、実際にはカメラの視野に映っている撮影した画像上のカメラ座標系での位置座標と、それに対応する３次元での連続した世界座標系での位置座標（緯度／経度／高度）との対応づけ（位置座標変換）を行うために道路形状などの実測量をする必要があり、測量コストやその測量精度が課題であった。
【００１９】
そこで本発明は、上記問題点に鑑みてなされたもので、カメラ座標系と世界座標系との精度の高い位置座標変換を行うことを目的とする。
【課題を解決するための手段】
【００２０】
上記課題を解決するため、本発明に係る位置座標変換方法は、世界座標系での車両の位置座標と、時刻と、を記録して走行する車両をカメラで撮影記録するカメラ撮影工程と、時刻情報を撮影画像の中に記録する時刻情報記録工程と、カメラ撮影工程により撮影した時刻を送信する時刻送信工程と、車両より送信された時刻における車両の世界座標系の位置座標を取得する取得工程と、撮影工程により撮影した撮影データ内における車両のカメラ座標系の位置座標を求める座標算出工程と、世界座標系の位置座標と、カメラ座標系の位置座標と、を対応づけて位置情報テーブルを作成する位置情報テーブル作成工程と、カメラ座標系の位置座標を世界座標系の座標に変換して前記撮影データの座標を特定する位置情報データ作成工程と、を有することを特徴とする。
【００２１】
また本発明に係る路側撮影装置は、世界座標系での車両の位置座標と、時刻と、を記録して走行する車両をカメラで撮影記録するカメラ撮影手段と、時刻情報を撮影画像の中に記録する時刻情報記録手段と、カメラ撮影手段により撮影した時刻を送信する時刻送信手段と、車両より送信された時刻における前記車両の世界座標系の位置座標を取得する取得手段と、撮影手段により撮影した撮影データ内における車両のカメラ座標系の位置座標を求める座標算出手段と、世界座標系の位置座標と、カメラ座標系の位置座標と、を対応づけて位置情報テーブルを作成することにより、カメラ座標系の位置座標を世界座標系の座標に変換して撮影データの座標を特定する位置情報データ作成手段と、を有することを特徴とする。
【００２２】
また本発明に係る車載装置は、ＧＰＳや車速パルスなどの外部情報に基づいて世界座標系の位置座標と、時刻と、を記録する位置時刻情報記録手段と、時刻送信手段から受け取った時刻における世界座標系の位置座標を送信する位置座標送信手段と、を備えることを特徴とする。
【００２３】
また本発明に係る位置座標変換システムは、路側に備えられて車両の撮影を行う路側撮影装置と、車両に備えられる車載装置と、を有する位置座標変換システムであって、路側撮影装置は、世界座標系での車両の位置座標と、時刻と、を記録して走行する車両をカメラで撮影記録するカメラ撮影手段と、時刻情報を撮影画像の中に記録する時刻情報記録手段と、カメラ撮影手段により撮影した時刻を送信する時刻送信手段と、車両より送信された時刻における車両の世界座標系の位置座標を取得する取得手段と、撮影手段により撮影した撮影データ内における車両のカメラ座標系の位置座標を求める座標算出手段と、世界座標系の位置座標と、カメラ座標系の位置座標と、を対応づけて位置情報テーブルを作成することにより、カメラ座標系の位置座標を世界座標系の座標に変換して撮影データの座標を特定する位置情報データ作成手段と、を有し、車載装置は、ＧＰＳや車速パルスなどの外部情報に基づいて世界座標系の位置座標と、時刻と、を記録する位置時刻情報記録手段と、時刻送信手段から受け取った時刻における世界座標系の位置座標を送信する位置座標送信手段と、を有することを特徴とする。
【発明の効果】
【００２４】
本発明により、カメラで撮影した映像から車両の位置、速度を正確に求めるカメラ座標系と世界座標系との位置座標変換を正確に行うことが可能になる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態に係る道路状況を示す図である。
【図２】本発明の実施形態に係る路側撮影装置を示す図である。
【図３】本発明の実施形態に係る車載装置を示す図である。
【図４】本発明の実施形態に係る処理ステップを表すフロー図である。
【図５】本発明の実施形態に係る他の実施形態の路側撮影装置を示す図である。
【図６】本発明の実施形態に係る他の実施形態の路側撮影装置を示す図である。
【図７】本発明の実施形態に係る他の実施形態の車載装置を示す図である。
【図８】本発明の実施形態に係る他の実施形態での処理ステップを表すフロー図である。
【図９】本発明の実施形態に係る他の実施形態の車載装置を示す図である。
【図１０】本発明の実施形態に係る熱源シャッター部の動作を示す図である。
【発明を実施するための形態】
【００２６】
本発明に係る実施形態の第１の特徴は、ＧＰＳなどの利用により、世界座標系での位置を記録し走行する車両をカメラで撮影し、各時刻におけるその車両のカメラ座標系上での位置と、車両に記録している世界座標系での位置の対応テーブルを直接作成することにある。これにより、道路の測量を行うことなく、カメラ座標系と世界座標系の関連付けが可能となる（図４及びステップＳ１０８に記載）。
【００２７】
また、前記の対応テーブルを作成する際には、車載装置と路側撮影装置のそれぞれに記録してある位置データの時刻同期を正確にとる必要がある。車載装置の位置データについては、通常、ＧＰＳを用いれば、測位した際の正確な絶対時刻（ＧＰＳ時刻）も併せて記録することが可能である。
【００２８】
しかしながら、路側撮影装置に記録したカメラの映像については、通常、カメラや記録装置の内部でのフレームずれなど、時間的に不定な誤差要因が存在するため、あるフレームの画像が正確にいつ発生したのかを特定することは容易ではない。
【００２９】
そこで本発明に係る実施形態の第２の特徴は、ＧＰＳなどの正確な時刻に同期してカメラのシャッターなどを開閉し、正確な時刻情報、すなわちタイムスタンプを画像の中に直接記録することにある。これにより、カメラ内部や記録装置におけるフレームずれなどの時間的な誤差要因に左右されず、正確な時刻情報を画像上に記録することが可能となる。
【００３０】
従って、車載装置と路側撮影装置、それぞれに記録された位置データの正確な時刻同期、すなわち、カメラ座標系と世界座標系との精度の高い関連付けが可能となる（図２及びシャッター制御部６に記載）。
【００３１】
一方、既設の路側撮影装置に本発明を適用する場合などは、ＧＰＳなどの正確な時刻に同期して開閉するシャッターを取り付けられないなどの問題が想定される。
【００３２】
そこで本発明に係る実施形態の第３の特徴は、そのような場合においては、路側撮影装置ではなく車載装置に高輝度ＬＥＤやストロボライト等の光源を搭載し、その光源をＧＰＳなどの正確な時刻に同期して点滅させることにある。これにより、車載装置側の対応のみで正確な時刻情報を画像上に記録する、すなわち、タイムスタンプを画像の中に直接記録することが可能となる（図７及び光源制御部１０に記載）。
【００３３】
なお、路側撮影装置で通常の可視映像ではなく遠赤外映像（熱映像）を記録する場合、高輝度ＬＥＤやストロボライト等の可視光源とは異なり、車載装置に搭載した熱源自身を直接点滅（発熱／冷却）させることは容易ではない。
【００３４】
そこで本発明の第四の特徴は、そのような場合においては、ＧＰＳなどの正確な時刻に同期して熱源を物理的に遮蔽するシャッターを設けることにある。これにより、可視光源の点滅と同様の効果を得ることができ、車載装置側の対応のみで正確な時刻情報を画像上に記録することが可能となる（図９熱源シャッター制御部１３）。
【００３５】
次に、本発明の実施の形態について、図面を参照して詳細に説明する。
【００３６】
図２は、路側撮影装置の構成を示す図である。まず、図２の路側撮影装置について、各構成要素を順に説明する。道路上の車両など映像はレンズ部１により集光され、シャッター部２を介し、受光素子部３へ入力される。受光素子部３では受光した映像をアナログ電気信号へ変換して映像データ生成部４へ出力し、映像データ生成部４では、映像のＡ／Ｄ変換やフレーム単位への整形処理を行い、その結果を映像データ記録部７へ出力する。さらに映像データ記録部７に記録されたデータは必要に応じて演算処理された結果を外部装置へ送受信することが可能である演算処理部（図示せず）と送受信部（図示せず）とを備えるようにしても良い。
【００３７】
一方、時刻同期部５では、ＧＰＳ衛星やＮＴＰサーバなどを利用して正確な時刻同期を行い、時刻情報をシャッター制御部６へ出力する。シャッター制御部６では、入力された時刻情報をもとに、例えば０．１秒ごとなど、一定間隔でシャッターを開閉する信号を生成し、それをシャッター部２、及び映像データ記録部７へ出力する。シャッター部２では、入力された信号に基づきシャッターを開閉し、受光素子部３の露光を中断する。映像データ記録部７では、映像データ生成部４の処理結果と、シャッター制御部６のシャッター開閉信号を保存する。
【００３８】
図３は、車載装置の構成を示す図である。次に、図３の車載装置について、各構成を順に説明する。位置算出／時刻同期部８は、ＧＰＳ衛星や車両からの車速パルス信号などを利用して正確な現在位置と時刻を算出し、その結果を車載データ記録部９へ出力する。車載データ記録部９では、入力された現在位置と時刻の情報を保存する。さらに車載データ記録部９に記録されたデータは必要に応じて外部装置へ送受信することが可能である送受信部（図示せず）を備えるようにしても良い。
【００３９】
さらに情報処理装置は（図示せず）、上記の図２の路側撮影装置に記録されたデータ及び図３の車載装置に記録されたデータを、それぞれ受け取って、演算処理を行って、カメラ座標系上での車両位置と、その時刻に対応する、世界座標系での位置との対応テーブルを作成し一連の位置座標変換処理を行うようにしても良い。なお路側撮影装置の映像データ記録部７に記録されたデータ及び車載データ記録部９に記録されたデータ取得方法は、例えば通信によるデータ送受信により行われることが望ましいが、これに限ることではなく、いかなる手段であっても構わない。
【００４０】
図４は、カメラ座標系と世界座標系の関連付けのステップを示す図である。順を追ってその動作を説明する。まず、車載装置を搭載した車両を走行させ、その映像の路側撮影装置での撮影を開始（ステップＳ１０１）する。その際に、車載装置は位置算出／時刻同期部８により正確な位置と時刻を連続的に算出し、その結果を車載データ記録部９へ保存する（ステップＳ１０２）。
【００４１】
ステップＳ１０２の動作と平行して、路側撮影装置では映像データ生成部４の出力、すなわち車載装置を搭載した車両のビデオ映像を路側データ記録部７へ連続して保存する（ステップＳ１０３）。その際、路側撮影装置では時刻同期部５により得た正確な時間をもとに、シャッター制御部６がシャッター部２を定期的に開閉し、ステップＳ１０３で保存する映像上に正確なタイムスタンプを記録する（ステップＳ１０４）。
【００４２】
次に、車載装置を搭載した車両がカメラの視野外か否かを判断し（ステップＳ１０５）、視野外でなければ撮影処理を継続し（ステップＳ１０５、ＮＯ）、視野外であれば（ステップＳ１０５、ＹＥＳ）、撮影処理を終了（ステップＳ１０６）してステップＳ１０７へ進む。
【００４３】
次に、路側データ記録部７に保存した映像上において、記録されたタイムスタンプをもとに各映像フレームの正確な時刻を算出する（ステップＳ１０７）。続いて、各映像フレームにおけるカメラ座標系上での車両位置と、その時刻に対応する、車載データ記録部９に記録している世界座標系での位置との対応テーブルを作成し（ステップＳ１０８）、一連の関連付け処理を完了する。なお車載データ記録部９のデータ取得方法は、例えば通信によるデータ送受信により行われることが望ましいが、これに限ることではなく、いかなる手段であっても構わない。
【００４４】
本発明では、路側撮影装置のレンズ部１と受光素子部３との間にシャッター部２を設けて、物理的に露光を遮断してタイムスタンプを記録することとした。しかし、タイムスタンプは物理的な露光の遮断ではなくとも、例えば映像データ生成部４において、電気的に露光を中断する、または何某かのマーカーを映像に重畳するなどして、シャッター部２を設けることと等価の効果を得ることが可能となる。
【００４５】
従ってタイムスタンプの記録としては、正確な時刻に同期したデータを映像データに直接記録するもの（タイムマーカー）であればいかなる形態であっても良い。
【００４６】
上記のような場合における路側撮影装置の構成を図５に示す。この本実施形態の動作については、図４に示すステップＳ１０４の箇所が電気的に露光を中断、ないしは、何某かのマーカーの重畳に変わるのみで、その他は同一である。
【００４７】
また、タイムスタンプについては、路側撮影装置ではなく、車載装置にその機構を設けることも可能である。この場合、路側撮影装置は図６に示すようにタイムスタンプに関する機構を一切持たず、映像を記録するだけの構成となる。
【００４８】
一方、車載装置は図７に示すように、ＧＰＳ衛星から得た正確な時刻に同期して点滅する光源部１１、及び光源を点滅させる光源制御部１０が追加される。
【００４９】
この本実施形態について、図８を用いて動作の説明を行う。まず、車載装置を搭載した車両を走行させ、その映像の路側撮影装置での撮影を開始（ステップＳ２０１）する。その際、路側撮影装置では映像データ生成部４の出力、すなわち車載装置を搭載した車両のビデオ映像を路側データ記録部７へ連続して保存する（ステップＳ２０２）。
【００５０】
ステップＳ２０２の動作と平行して、車載装置は位置算出／時刻同期部８により正確な位置と時刻を連続的に算出し、その結果を車載データ記録部９へ保存する（ステップＳ２０３）。その際、車載装置では、位置算出／時刻同期部８により得た正確な時間をもとに、光源制御部１０が光源部１１を定期的に点滅し、ステップＳ２０２で保存する映像上に正確なタイムスタンプを記録する（ステップＳ２０４）。
【００５１】
次に、車載装置を搭載した車両がカメラの視野外か否かを判断し（ステップＳ２０５）、視野外でなければ撮影処理を継続し（ステップＳ２０５、ＮＯ）、視野外であれば（ステップＳ２０５、ＹＥＳ）、撮影処理を終了（ステップＳ２０６）してステップＳ２０７へ進む。
【００５２】
次に、路側データ記録部７に保存した映像上において、記録されたタイムスタンプをもとに各映像フレームの正確な時刻を算出する（ステップＳ２０７）。続いて、各映像フレームにおけるカメラ座標系上での車両位置と、その時刻に対応する、車載データ記録部９に記録している世界座標系での位置との対応テーブルを作成し（ステップＳ２０８）、一連の関連付け処理を完了する。
【００５３】
本実施形態では、タイムスタンプの発生機構を車載装置へ設けることにより、例えばそのような機構を保有していない、既存の路側撮影装置にも適用可能である。
【００５４】
タイムスタンプの発生機構、すなわち、光源の点滅機構を車載装置へ設ける場合、路側撮影装置が可視光線を記録するカメラであれば、光源には高輝度ＬＥＤやストロボライトなどを用いればよい。
【００５５】
しかしながら、路側撮影装置が遠赤外線などの熱映像を記録するカメラである場合、ヒーター等の熱源を車両へ搭載することはできても、それ自体を十分な速さ、例えばカメラ映像の1フレームである１／３０秒以下で発熱、もしくは冷却させることは容易ではない。
【００５６】
そこで、そのような場合には熱源を物理的に遮蔽する熱源シャッター部を車載装置へ設け、十分な速さで遠赤外線を点滅させることにより、熱映像を記録する路側撮影装置にも本発明を適用可能となる。
【００５７】
図９は上記の実施形態を説明した車載装置の構成であるが、図３に対して、定常的に発熱して遠赤外線を発する熱源部１２、ＧＰＳ衛星から得た正確な時刻に同期してシャッターを開閉する熱源シャッター部１４、及び熱源シャッターを開閉させる熱源シャッター制御部１３が追加される。
【００５８】
図１０は熱源シャッター部の動作を模式的に示した図である。まず、待機位置にあるシャッターは稼動時のみスライドして熱源を遮蔽する位置に移動し、その直後、直ちに待機位置に復帰する。このような動作により、シャッターが熱源の前にある、つまり、熱源を遮蔽する時間を必要最小限とし、シャッター自体の加熱による遠赤外線の放射を防止する。
【００５９】
本実施形態の動作については、図８に示すステップＳ２０４の箇所が熱源の点滅に変わるのみで、その他は同一である。
【００６０】
以上説明したように、本実施形態では次のような効果を有することになる。
【００６１】
第１の効果は、本実施形態では測量を実施せず、カメラ座標系と世界座標系との関連付けが実現できる点である。その理由は、車載装置と路側撮影装置に保存したデータの時刻同期を取り、両者の座標を関連付ける対応テーブルを直接作成するからである。
【００６２】
第２の効果は、車載装置と路側撮影装置に保存したデータの時刻同期を正確に取り、高精度なカメラ座標系と世界座標系との関連付けが実現できる点である。その理由は、正確な時刻に同期したシャッターの開閉などにより、時刻同期に用いるタイムスタンプを直接画像の中に記録し、カメラや記録装置の内部でのフレームずれなど、時間的に不定な誤差要因を排除するからである。
【００６３】
第３の効果は、既設などの路側撮影装置にも手を加えることなく、前記第１の効果、及び第２の効果を適用可能な点である。その理由は、車載装置に光源の点滅によるタイムスタンプの機能を設けることにより、路側撮影装置にシャッターを設ける方法と同様の効果を発揮できるからである。
【００６４】
第４の効果は、既設の路側撮影装置で通常の可視映像ではなく遠赤外映像（熱映像）を記録する場合でも、第３の効果を適用可能な点である。その理由は、車載装置へ物理的に熱源を遮蔽可能なシャッターを搭載するからである。
【００６５】
上記の本実施形態によれば、例えば道路の路側に交通を監視するカメラ等を新しく設置した場合に、カメラを運用するために行われる設置後の最初の調整及び運用後の調整に対してカメラ座標系の位置座標と世界座標系の位置座標とを正確に対応づける対応テーブルを作成するために測量を行う必要がなく、カメラ等の設置調整を低コストで容易に行うことが可能となる。
【００６６】
また路側撮影装置については、車両の撮像から得られた世界座標における位置座標データと各種の関連情報、例えば車両運行情報、渋滞情報等の道路情報などの情報に基づいて各種の運転支援情報を発信することが出来るようになる。そのために、路側撮影装置には通信でデータを送受信できる手段を備えていることが望ましい。
【００６７】
また運行する車両には上記の車載装置とは別である路側撮影装置と通信でデータを送受信して各種のデータを表示できる車載表示装置を設置することが望ましい。
【００６８】
上記の本実施形態によれば、上述した車載表示装置と路側撮影装置の間でデータを送受信できるようにして組み合わせて用いることで、世界座標による位置座標に基づいた各種のデータと各種の情報から、例えば車両運行において交通事故を防止するための運転支援システムの構築や走行支援システムの構築などに適用できることはもとより、様々な実施形態に応用できることは言うまでもない。
【００６９】
また上記の実施形態の組み合わせに限られることなく多様な実施形態が可能である。
【００７０】
また本発明の路側撮影装置は、外部時刻情報に基づいて正確に時刻同期された時刻に同期してカメラのシャッターの開閉を制御して撮影を行うシャッター制御手段を有し、時刻情報記録手段により撮影画像の中に記録された時刻情報に基づいて、世界座標系の位置座標と、カメラ座標系の位置座標と、を対応づけて位置情報テーブルを作成することにより、カメラ座標系の位置座標を世界座標系の座標に変換して撮影データの座標を特定するようにしても良い。
【００７１】
また本発明の路側撮影装置は、正確に時刻同期された時刻に同期して点滅する光源を備えた車両をカメラ撮影手段により撮影し、点滅する光源を撮影画像の中に直接記録した画像データに基づいて、世界座標系の位置座標と、カメラ座標系の位置座標と、を対応づけて位置情報テーブルを作成することにより、カメラ座標系の位置座標を世界座標系の座標に変換して撮影データの座標を特定するようにしても良い。
【００７２】
また本発明の路側撮影装置は、遠赤外線を放射するための熱源である熱源手段と、熱源手段から放射される遠赤外線を遮蔽できる正確に時刻同期された時刻に同期して開閉する熱源シャッター手段と、を備えた車両をカメラ撮影手段により撮影し、熱源から放射される遠赤外線を撮影画像の中に直接記録した画像データに基づいて、世界座標系の位置座標と、カメラ座標系の位置座標と、を対応づけて位置情報テーブルを作成することにより、カメラ座標系の位置座標を世界座標系の座標に変換して撮影データの座標を特定するようにしても良い。
【００７３】
また本発明の車載装置は、外部時刻情報に基づいて正確に時刻同期された時刻に同期して点滅する光源である光源手段を備えるようにしても良い。
【００７４】
また本発明の車載装置は、車両に遠赤外線を放射するための熱源である熱源手段と、熱源手段から放射される遠赤外線を遮蔽できる正確に時刻同期された時刻に同期して開閉する熱源シャッター手段と、を備えるようにしても良い。
【００７５】
また本発明の車載装置の熱源シャッターは、熱源から放射される遠赤外線を遮蔽する時のみ熱源遮蔽位置に移動し、熱源遮蔽後は直ちに熱源の加熱影響のない離れた待機位置に復帰するようにしても良い。
【００７６】
また本発明の位置座標変換方法は、外部時刻情報に基づいて正確に時刻同期された時刻に同期してカメラのシャッターの開閉を制御して撮影を調節するシャッター制御工程と、時刻情報記録工程により撮影画像の中に記録された時刻情報に基づいて、世界座標系の位置座標と、カメラ座標系の位置座標と、を対応づけて位置情報テーブルを作成する位置情報テーブル作成工程と、カメラ座標系の位置座標を世界座標系の座標に変換して撮影データの座標を特定する工程と、を有するようにしても良い。
【００７７】
また本発明の位置座標変換方法は、正確に時刻同期された時刻に同期して点滅する光源を備えた車両を前記カメラ撮影工程により撮影し、点滅する光源を撮影画像の中に直接記録した画像データに基づいて、世界座標系の位置座標と、カメラ座標系の位置座標と、を対応づけて位置情報テーブルを作成する位置情報テーブル作成工程と、カメラ座標系の位置座標を世界座標系の座標に変換して撮影データの座標を特定する工程と、を有することを特徴とするようにしても良い。
【００７８】
また本発明の位置座標変換方法は、遠赤外線を放射するための熱源である熱源工程と、熱源工程から放射される遠赤外線を遮蔽できる正確に時刻同期された時刻に同期して開閉する熱源シャッター工程と、を備えた車両をカメラ撮影工程により撮影し、熱源から放射される遠赤外線を撮影画像の中に直接記録した画像データに基づいて、世界座標系の位置座標と、カメラ座標系の位置座標と、を対応づけて位置情報テーブルを作成する位置情報テーブル作成工程と、カメラ座標系の位置座標を世界座標系の座標に変換して撮影データの座標を特定する工程と、を有するようにしても良い。
【００７９】
また本発明の位置座標変換方法の熱源シャッターは、熱源から放射される遠赤外線を遮蔽する時のみ熱源遮蔽位置に移動し、遮蔽後は直ちに前記熱源の加熱影響のない離れた待機位置に復帰する工程を備えるようにしても良い。
【００８０】
また本発明の位置座標変換システムは、路側に備えられて車両の撮影を行う路側撮影装置と、前記車両に備えられる車載装置と、データを演算処理する情報処理装置と、を有する位置座標変換システムであって、路側撮影装置は、世界座標系での車両の位置座標と、時刻と、を記録して走行する車両をカメラで撮影記録するカメラ撮影手段と、時刻情報を撮影画像の中に記録する時刻情報記録手段と、カメラ撮影手段により撮影した時刻を送信する時刻送信手段と、撮影手段により撮影した撮影データ内における車両のカメラ座標系の位置座標を求める座標算出手段と、座標算出手段により算出されたカメラ座標系の位置座標を送信する位置座標送信手段と、を有し、車載装置は、ＧＰＳや車速パルスなどの外部情報に基づいて世界座標系の位置座標と、時刻と、を記録する位置時刻情報記録手段と、時刻送信手段から受け取った時刻における世界座標系の位置座標を送信する位置座標送信手段と、を有し、情報処理装置は、カメラ撮影手段が撮影した時刻を取得する時刻取得手段と、車両より送信された時刻における車両の世界座標系の位置座標を取得する取得手段と、路側撮影装置より送信されたカメラ座標系の位置座標を取得する位置座標取得手段と、世界座標系の位置座標と、カメラ座標系の位置座標と、を対応づけて位置情報テーブルを作成することにより、カメラ座標系の位置座標を世界座標系の座標に変換して撮影データの座標を特定する位置情報データ作成手段と、を有するようにしても良い。
【産業上の利用可能性】
【００８１】
本発明によれば、車両撮像装置、画像認識装置、交通映像撮影装置、路側撮影装置、車載装置、運転支援情報システムなどの用途に適用できる。
【符号の説明】
【００８２】
１    レンズ部
２    シャッター部
３    受光素子部
４    映像データ生成部
５    時刻同期部
６    シャッター制御部
７    路側データ記録部
８    位置算出／時刻同期部
９    車載データ記録部
１０    光源制御部
１１    光源部
１２    熱源部
１３    熱源シャッター制御部
１４    熱源シャッター部
【図１】
2010236891.tif 000003
【図２】
2010236891.tif 000004
【図３】
2010236891.tif 000005
【図４】
2010236891.tif 000006
【図５】
2010236891.tif 000007
【図６】
2010236891.tif 000008
【図７】
2010236891.tif 000009
【図８】
2010236891.tif 000010
【図９】
2010236891.tif 000011
【図１０】
2010236891.tif 000012