(57)【要約】【課題】車両などに設置されたカメラの光学系のパラメータを補正することができるカメラ補正装置を提供すること。【解決手段】第１の筐体位置情報を保持する第１の筐体位置情報保持部１１５と、第２の筐体位置情報を保持する第２の筐体位置情報保持部１１６と、第１の光学系位置情報を生成する第１の光学系位置情報生成部１１７と、第１の光学系位置情報を保持する第１の光学系位置情報保持部１１８と、第２の光学系位置情報を生成する第２の光学系位置情報生成部１２０と、第２の光学系位置情報を保持する第２の光学系位置情報保持部１３０と、カメラ１１０によって取得された第２の座標系１０２における画像情報に基づいて、第２の光学系位置情報保持部１３０に保持された第２の光学系位置情報を補正する補正部１６０とを備えるように構成する。【選択図】　図１
2004004043.tif 000002
【特許請求の範囲】
【請求項１】
筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正装置であって、
第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持手段と、
第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持手段と、
前記撮像装置によって取得された前記第１の座標系における画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成手段と、
前記第１の光学系位置情報生成手段によって生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持手段と、
前記第１の筐体位置情報保持手段に保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持手段に保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持手段に保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成手段と、
前記第２の光学系位置情報生成手段によって生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持手段と、
前記撮像装置によって取得された前記第２の座標系における画像情報に基づいて、前記第２の光学系位置情報保持手段に保持された前記第２の光学系位置情報を補正する補正手段とを備えたことを特徴とするカメラ補正装置。
【請求項２】
筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正装置であって、
所定の座標系に対する前記光学系の位置を示す光学系位置情報を保持する光学系位置情報保持手段と、
前記撮像装置によって取得された前記座標系における画像情報に基づいて、前記光学系位置情報保持手段に保持された前記光学系位置情報を補正する補正手段とを備えたことを特徴とするカメラ補正装置。
【請求項３】
筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正装置であって、
校正マーカが配置された第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持手段と、
補正マーカが配置された第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持手段と、
前記撮像装置によって取得された前記校正マーカの画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成手段と、
前記第１の光学系位置情報生成手段によって生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持手段と、
前記第１の筐体位置情報保持手段に保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持手段に保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持手段に保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成手段と、
前記第２の光学系位置情報生成手段によって生成された前記第２の光学系位置情報に基づいて、前記撮像装置の画像座標系に対する前記補正マーカの予測位置情報を生成する予測位置情報生成手段と、
前記第２の光学系位置情報生成手段によって生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持手段と、
前記予測位置情報生成手段によって生成された前記予測位置情報を保持する予測位置情報保持手段と、
前記撮像装置によって取得された前記補正マーカの画像情報および前記予測位置情報保持手段に保持された前記予測位置情報に基づいて、前記第２の光学系位置情報保持手段に保持された前記第２の光学系位置情報を補正する補正手段とを備えたことを特徴とするカメラ補正装置。
【請求項４】
前記補正手段が、
前記撮像装置によって取得された前記補正マーカの画像情報から、前記撮像装置の画像座標系に対する前記補正マーカの結像位置情報を抽出する結像位置情報抽出手段と、
前記結像位置情報抽出手段によって抽出された前記結像位置情報および前記予測位置情報保持手段に保持された前記予測位置情報に基づいて、前記第２の光学系位置情報保持手段に保持された前記第２の光学系位置情報の補正量を算出する補正量算出手段と、
前記補正量算出手段によって算出された前記補正量に基づいて、前記第２の光学系位置情報保持手段に保持された前記第２の光学系位置情報を補正する光学系位置情報補正手段とを有することを特徴とする請求項３記載のカメラ補正装置。
【請求項５】
前記補正手段が、前記第２の光学系位置情報の回転成分の誤差だけを補正することを特徴とする請求項４記載のカメラ補正装置。
【請求項６】
前記結像位置情報抽出手段が、
前記撮像装置によって取得された前記補正マーカの画像情報を表示する画像情報表示手段と、
前記画像情報表示手段に表示された前記補正マーカの画像情報において前記補正マーカの結像位置を指定し、前記結像位置情報を抽出する結像位置指定手段とを有することを特徴とする請求項４記載のカメラ補正装置。
【請求項７】
前記結像位置情報抽出手段が、
前記撮像装置の画像座標系に対する前記補正マーカの予測範囲情報を保持する予測範囲情報保持手段と、
前記予測範囲情報保持手段に保持された前記予測範囲情報および前記予測位置情報保持手段に保持された前記予測位置情報に基づいて、前記撮像装置によって取得された前記補正マーカの画像情報から前記補正マーカの結像位置を検索し、前記結像位置情報を抽出する結像位置検索手段とを有することを特徴とする請求項４記載のカメラ補正装置。
【請求項８】
筐体と前記筐体に支持される光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正装置であって、
校正マーカが配置された第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持手段と、
第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持手段と、
前記撮像装置によって取得された前記校正マーカの画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成手段と、
前記第１の光学系位置情報生成手段によって生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持手段と、
前記第１の筐体位置情報保持手段に保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持手段に保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持手段に保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成手段と、
前記第２の光学系位置情報生成手段によって生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持手段と、
前記撮像装置によって取得された前記第２の座標系における画像情報に含まれる動きベクトルに基づいて、前記第２の光学系位置情報保持手段に保持された前記第２の光学系位置情報を補正する補正手段とを備えたことを特徴とするカメラ補正装置。
【請求項９】
前記補正手段が、
前記撮像装置によって取得された前記第２の座標系における画像情報から平面投影画像を生成する平面投影画像生成手段と、
前記平面投影画像生成手段によって生成された前記平面投影画像を複数の画像領域に分割する平面投影画像分割手段と、
前記平面投影画像分割手段によって分割された複数の前記画像領域から動きベクトルを抽出する動きベクトル抽出手段と、
前記動きベクトル抽出手段によって抽出された前記動きベクトルに基づいて、前記第２の光学系位置情報保持手段に保持された前記第２の光学系位置情報の補正量を算出する補正量算出手段と、
前記補正量算出手段によって算出された前記補正量に基づいて、前記第２の光学系位置情報保持手段に保持された前記第２の光学系位置情報を補正する光学系位置情報補正手段とを有することを特徴とする請求項８記載のカメラ補正装置。
【請求項１０】
前記第２の座標系に設けられた分割マーカが、前記第２の筐体位置情報保持手段に保持された前記第２の筐体位置情報に含まれる前記筐体の位置に対して一定の位置関係を保つように配置され、
前記平面投影画像分割手段が、前記撮像装置によって取得された前記分割マーカの画像情報に基づいて、前記平面投影画像を複数の画像領域に分割することを特徴とする請求項９記載のカメラ補正装置。
【請求項１１】
筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正装置であって、
校正マーカが配置された第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持手段と、
車両が配置された第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持手段と、
前記撮像装置によって取得された前記校正マーカの画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成手段と、
前記第１の光学系位置情報生成手段によって生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持手段と、
前記第１の筐体位置情報保持手段に保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持手段に保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持手段に保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成手段と、
前記第２の光学系位置情報生成手段によって生成された前記第２の光学系位置情報に基づいて、前記撮像装置の画像座標系に対する前記車両の予測位置情報を生成する予測位置情報生成手段と、
前記第２の光学系位置情報生成手段によって生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持手段と、
前記予測位置情報生成手段によって生成された前記予測位置情報を保持する予測位置情報保持手段と、
前記撮像装置によって取得された前記車両の画像情報および前記予測位置情報保持手段に保持された前記予測位置情報に基づいて、前記第２の光学系位置情報保持手段に保持された前記第２の光学系位置情報を補正する補正手段とを備えたことを特徴とするカメラ補正装置。
【請求項１２】
前記補正手段が、
前記撮像装置によって取得された前記車両の画像情報から、前記撮像装置の画像座標系に対する前記車両の結像位置情報を抽出する結像位置情報抽出手段と、
前記結像位置情報抽出手段によって抽出された前記結像位置情報および前記予測位置情報保持手段に保持された前記予測位置情報に基づいて、前記第２の光学系位置情報保持手段に保持された前記第２の光学系位置情報の補正量を算出する補正量算出手段と、
前記補正量算出手段によって算出された前記補正量に基づいて、前記第２の光学系位置情報保持手段に保持された前記第２の光学系位置情報を補正する光学系位置情報補正手段とを有することを特徴とする請求項１１記載のカメラ補正装置。
【請求項１３】
前記補正量算出手段が、
前記結像位置情報に含まれる前記車両の輪郭線と前記予測位置情報に含まれる前記車両の輪郭線とを重ね合わせるマッチング手段と、
前記マッチング手段によって重ね合わされた前記車両の輪郭線から複数の点を抽出する抽出手段と、
前記結像位置情報に含まれる前記点と前記予測位置情報に含まれる前記点とを比較することにより前記第２の光学系位置情報の補正量を算出する演算手段とを有することを特徴とする請求項１２記載のカメラ補正装置。
【請求項１４】
前記撮像装置が車両に取り付けられることを特徴とする請求項１から請求項１３までの何れかに記載のカメラ補正装置。
【請求項１５】
請求項１から請求項１４までの何れかに記載のカメラ補正装置を備えたことを特徴とする撮像装置。
【請求項１６】
請求項１から請求項１４までの何れかに記載のカメラ補正装置を備えたことを特徴とする撮像制御装置。
【請求項１７】
筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正方法であって、
第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持ステップと、
第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持ステップと、
前記撮像装置によって取得された前記第１の座標系における画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成ステップと、
前記第１の光学系位置情報生成ステップで生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持ステップと、
前記第１の筐体位置情報保持ステップで保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持ステップで保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持ステップで保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成ステップと、
前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持ステップと、
前記撮像装置によって取得された前記第２の座標系における画像情報に基づいて、前記第２の光学系位置情報保持ステップで保持された前記第２の光学系位置情報を補正する補正ステップとを備えたことを特徴とするカメラ補正方法。
【請求項１８】
筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正方法であって、
所定の座標系に対する前記光学系の位置を示す光学系位置情報を保持する光学系位置情報保持ステップと、
前記撮像装置によって取得された前記座標系における画像情報に基づいて、前記光学系位置情報保持ステップで保持された前記光学系位置情報を補正する補正ステップとを備えたことを特徴とするカメラ補正方法。
【請求項１９】
筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正方法であって、
校正マーカが配置された第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持ステップと、
補正マーカが配置された第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持ステップと、
前記撮像装置によって取得された前記校正マーカの画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成ステップと、
前記第１の光学系位置情報生成ステップで生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持ステップと、
前記第１の筐体位置情報保持ステップで保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持ステップで保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持ステップで保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成ステップと、
前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報に基づいて、前記撮像装置の画像座標系に対する前記補正マーカの予測位置情報を生成する予測位置情報生成ステップと、
前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持ステップと、
前記予測位置情報生成ステップで生成された前記予測位置情報を保持する予測位置情報保持ステップと、
前記撮像装置によって取得された前記補正マーカの画像情報および前記予測位置情報保持ステップで保持された前記予測位置情報に基づいて、前記第２の光学系位置情報保持ステップで保持された前記第２の光学系位置情報を補正する補正ステップとを備えたことを特徴とするカメラ補正方法。
【請求項２０】
筐体と前記筐体に支持される光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正方法であって、
校正マーカが配置された第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持ステップと、
第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持ステップと、
前記撮像装置によって取得された前記校正マーカの画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成ステップと、
前記第１の光学系位置情報生成ステップで生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持ステップと、
前記第１の筐体位置情報保持ステップで保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持ステップで保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持ステップで保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成ステップと、
前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持ステップと、
前記撮像装置によって取得された前記第２の座標系における画像情報に含まれる動きベクトルに基づいて、前記第２の光学系位置情報保持ステップで保持された前記第２の光学系位置情報を補正する補正ステップとを備えたことを特徴とするカメラ補正方法。
【請求項２１】
筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正方法であって、
校正マーカが配置された第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持ステップと、
車両が配置された第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持ステップと、
前記撮像装置によって取得された前記校正マーカの画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成ステップと、
前記第１の光学系位置情報生成ステップで生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持ステップと、
前記第１の筐体位置情報保持ステップで保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持ステップで保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持ステップで保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成ステップと、
前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報に基づいて、前記撮像装置の画像座標系に対する前記車両の予測位置情報を生成する予測位置情報生成ステップと、
前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持ステップと、
前記予測位置情報生成ステップで生成された前記予測位置情報を保持する予測位置情報保持ステップと、
前記撮像装置によって取得された前記車両の画像情報および前記予測位置情報保持ステップで保持された前記予測位置情報に基づいて、前記第２の光学系位置情報保持ステップで保持された前記第２の光学系位置情報を補正する補正ステップとを備えたことを特徴とするカメラ補正方法。
【請求項２２】
前記撮像装置が車両に取り付けられることを特徴とする請求項１７から請求項２１までの何れかに記載のカメラ補正方法。
【請求項２３】
筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正プログラムであって、
第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持ステップと、
第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持ステップと、
前記撮像装置によって取得された前記第１の座標系における画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成ステップと、
前記第１の光学系位置情報生成ステップで生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持ステップと、
前記第１の筐体位置情報保持ステップで保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持ステップで保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持ステップで保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成ステップと、
前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持ステップと、
前記撮像装置によって取得された前記第２の座標系における画像情報に基づいて、前記第２の光学系位置情報保持ステップで保持された前記第２の光学系位置情報を補正する補正ステップとをコンピュータに実行させることを特徴とするカメラ補正プログラム。
【請求項２４】
筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正プログラムであって、
所定の座標系に対する前記光学系の位置を示す光学系位置情報を保持する光学系位置情報保持ステップと、
前記撮像装置によって取得された前記座標系における画像情報に基づいて、前記光学系位置情報保持ステップで保持された前記光学系位置情報を補正する補正ステップとをコンピュータに実行させることを特徴とするカメラ補正プログラム。
【請求項２５】
筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正プログラムであって、
校正マーカが配置された第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持ステップと、
補正マーカが配置された第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持ステップと、
前記撮像装置によって取得された前記校正マーカの画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成ステップと、
前記第１の光学系位置情報生成ステップで生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持ステップと、
前記第１の筐体位置情報保持ステップで保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持ステップで保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持ステップで保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成ステップと、
前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報に基づいて、前記撮像装置の画像座標系に対する前記補正マーカの予測位置情報を生成する予測位置情報生成ステップと、
前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持ステップと、
前記予測位置情報生成ステップで生成された前記予測位置情報を保持する予測位置情報保持ステップと、
前記撮像装置によって取得された前記補正マーカの画像情報および前記予測位置情報保持ステップで保持された前記予測位置情報に基づいて、前記第２の光学系位置情報保持ステップで保持された前記第２の光学系位置情報を補正する補正ステップとをコンピュータに実行させることを特徴とするカメラ補正プログラム。
【請求項２６】
筐体と前記筐体に支持される光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正プログラムであって、
校正マーカが配置された第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持ステップと、
第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持ステップと、
前記撮像装置によって取得された前記校正マーカの画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成ステップと、
前記第１の光学系位置情報生成ステップで生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持ステップと、
前記第１の筐体位置情報保持ステップで保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持ステップで保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持ステップで保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成ステップと、
前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持ステップと、
前記撮像装置によって取得された前記第２の座標系における画像情報に含まれる動きベクトルに基づいて、前記第２の光学系位置情報保持ステップで保持された前記第２の光学系位置情報を補正する補正ステップとをコンピュータに実行させることを特徴とするカメラ補正プログラム。
【請求項２７】
筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正プログラムであって、
校正マーカが配置された第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持ステップと、
車両が配置された第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持ステップと、
前記撮像装置によって取得された前記校正マーカの画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成ステップと、
前記第１の光学系位置情報生成ステップで生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持ステップと、
前記第１の筐体位置情報保持ステップで保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持ステップで保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持ステップで保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成ステップと、
前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報に基づいて、前記撮像装置の画像座標系に対する前記車両の予測位置情報を生成する予測位置情報生成ステップと、
前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持ステップと、
前記予測位置情報生成ステップで生成された前記予測位置情報を保持する予測位置情報保持ステップと、
前記撮像装置によって取得された前記車両の画像情報および前記予測位置情報保持ステップで保持された前記予測位置情報に基づいて、前記第２の光学系位置情報保持ステップで保持された前記第２の光学系位置情報を補正する補正ステップとをコンピュータに実行させることを特徴とするカメラ補正プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラ補正装置に関し、特に、車両などに設置されるカメラの校正を行うカメラ補正装置に関する。
【０００２】
【従来の技術】
従来、車両の外部に設置されたカメラに接続され、カメラによって取得された画像情報に基づいて、車両の周辺、特に、路面上の対象物の位置を検出するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）などの撮像制御装置が普及している。この種の撮像制御装置に対してカメラを組み合わせる過程においては、カメラ個々の光学系のパラメータを特定するために、一般に「校正」と呼ばれる作業が行われている。
【０００３】
上述したカメラの校正を行うカメラ校正装置としては、カメラが車両に設置される前にカメラの校正を行うものと、カメラが車両に設置された後にカメラの校正を行うものとが知られており、特に、カメラを車両に設置する際に行われる作業を簡略化するという観点から、カメラが車両に設置される前にカメラの校正を行うカメラ校正装置の需要が高まっている。
【０００４】
このような従来のカメラ校正装置５００は、図３９から図４１に示すように、撮像装置としてのカメラ５１０に接続されるようになっている。カメラ５１０は、筐体５１１と筐体５１１に支持された光学系５１２とを有しており、光学系５１２を介して画像情報を取得するようになっている。
【０００５】
カメラ校正装置５００は、カメラ生産工場に構成された第１の座標系５０１に対する筐体５１１の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持部５１５と、車両生産工場に構成された第２の座標系５０２に対する筐体５１１の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持部５１６とを備えている。
【０００６】
カメラ校正装置５００は、カメラ生産工場においてカメラ５１０の校正を行うようになっており、第１の座標系５０１には、カメラ５１０の校正を行うための校正マーカ５０５が配置されている。ここで、カメラ５１０の校正とは、筐体５１１が車両５０８に対して設計によって決められた位置に設置された場合の光学系５１２の位置を算出する動作である。
【０００７】
また、カメラ校正装置５００は、第１の座標系５０１に対する光学系５１２の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成部５１７と、第１の光学系位置情報生成部５１７によって生成された第１の光学系位置情報を保持する第１の光学系位置情報保持部５１８とを備えている。第１の光学系位置情報生成部５１７は、カメラ５１０によって取得された校正マーカ５０５の画像情報に基づいて、第１の座標系５０１に対する光学系５１２の位置を算出するようになっている。
【０００８】
また、カメラ校正装置５００は、第２の座標系５０２に対する光学系５１２の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成部５２０と、第２の光学系位置情報生成部５２０によって生成された第２の光学系位置情報を保持する第２の光学系位置情報保持部５３０とを備えている。
【０００９】
第２の光学系位置情報生成部５２０は、第１の筐体位置情報保持部５１５に保持された第１の筐体位置情報および第１の光学系位置情報保持部５１８に保持された第１の光学系位置情報に基づいて、第２の筐体位置情報保持部５１６に保持された第２の筐体位置情報から、第２の座標系５０２に対する光学系５１２の位置を算出するようになっている。
【００１０】
このように構成されたカメラ校正装置５００は、第２の座標系５０２に対する光学系５１２の位置を算出することにより、カメラ生産工場においてカメラ５１０の校正を行うようになっている。そして、第２の光学系位置情報保持部５３０に保持された第２の光学系位置情報に基づいて、車両５０８に設置されたカメラ５１０によって取得された画像情報から、撮像制御装置で路面上の対象物の位置を検出するようにしている。
【００１１】
【発明が解決しようとする課題】
しかしながら、上記従来のカメラ校正装置においては、第２の光学系位置情報保持部に保持された第２の光学系位置情報を補正することができないため、筐体が車両に対して不正確な位置に設置された場合に、撮像制御装置に路面上の対象物の位置を正確に検出させることができないという問題があった。
【００１２】
本発明は、このような問題を解決するため、車両などに設置されたカメラの光学系のパラメータを補正することができるカメラ補正装置を提供するものである。
【００１３】
【課題を解決するための手段】
上記の課題を解決するために、本発明のカメラ補正装置は、筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正装置であって、第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持手段と、第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持手段と、前記撮像装置によって取得された前記第１の座標系における画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成手段と、前記第１の光学系位置情報生成手段によって生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持手段と、前記第１の筐体位置情報保持手段に保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持手段に保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持手段に保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成手段と、前記第２の光学系位置情報生成手段によって生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持手段と、前記撮像装置によって取得された前記第２の座標系における画像情報に基づいて、前記第２の光学系位置情報保持手段に保持された前記第２の光学系位置情報を補正する補正手段とを備えたことを特徴とする構成を有している。
【００１４】
この構成により、本発明のカメラ補正装置は、車両などに設置されたカメラの光学系のパラメータを補正することができる。
【００１５】
また、本発明のカメラ補正装置は、筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正装置であって、所定の座標系に対する前記光学系の位置を示す光学系位置情報を保持する光学系位置情報保持手段と、前記撮像装置によって取得された前記座標系における画像情報に基づいて、前記光学系位置情報保持手段に保持された前記光学系位置情報を補正する補正手段とを備えたことを特徴とする構成を有している。
【００１６】
この構成により、本発明のカメラ補正装置は、車両などに設置されたカメラの光学系のパラメータを補正することができる。
【００１７】
また、本発明のカメラ補正装置は、筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正装置であって、校正マーカが配置された第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持手段と、補正マーカが配置された第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持手段と、前記撮像装置によって取得された前記校正マーカの画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成手段と、前記第１の光学系位置情報生成手段によって生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持手段と、前記第１の筐体位置情報保持手段に保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持手段に保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持手段に保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成手段と、前記第２の光学系位置情報生成手段によって生成された前記第２の光学系位置情報に基づいて、前記撮像装置の画像座標系に対する前記補正マーカの予測位置情報を生成する予測位置情報生成手段と、前記第２の光学系位置情報生成手段によって生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持手段と、前記予測位置情報生成手段によって生成された前記予測位置情報を保持する予測位置情報保持手段と、前記撮像装置によって取得された前記補正マーカの画像情報および前記予測位置情報保持手段に保持された前記予測位置情報に基づいて、前記第２の光学系位置情報保持手段に保持された前記第２の光学系位置情報を補正する補正手段とを備えたことを特徴とする構成を有している。
【００１８】
この構成により、本発明のカメラ補正装置は、簡単な補正マーカを利用して第２の光学系位置情報を補正することができる。
【００１９】
また、本発明のカメラ補正装置は、前記補正手段が、前記撮像装置によって取得された前記補正マーカの画像情報から、前記撮像装置の画像座標系に対する前記補正マーカの結像位置情報を抽出する結像位置情報抽出手段と、前記結像位置情報抽出手段によって抽出された前記結像位置情報および前記予測位置情報保持手段に保持された前記予測位置情報に基づいて、前記第２の光学系位置情報保持手段に保持された前記第２の光学系位置情報の補正量を算出する補正量算出手段と、前記補正量算出手段によって算出された前記補正量に基づいて、前記第２の光学系位置情報保持手段に保持された前記第２の光学系位置情報を補正する光学系位置情報補正手段とを有することを特徴とする構成を有している。
【００２０】
この構成により、本発明のカメラ補正装置は、簡単な補正マーカを利用して第２の光学系位置情報の補正量を算出することができる。
【００２１】
また、本発明のカメラ補正装置は、前記補正手段が、前記第２の光学系位置情報の回転成分の誤差だけを補正することを特徴とする構成を有している。
【００２２】
この構成により、本発明のカメラ補正装置は、前記第２の光学系位置情報の平行移動成分の誤差を無視することができ、簡単な補正マーカを利用して第２の光学系位置情報を補正することができる。
【００２３】
また、本発明のカメラ補正装置は、前記結像位置情報抽出手段が、前記撮像装置によって取得された前記補正マーカの画像情報を表示する画像情報表示手段と、前記画像情報表示手段に表示された前記補正マーカの画像情報において前記補正マーカの結像位置を指定し、前記結像位置情報を抽出する結像位置指定手段とを有することを特徴とする構成を有している。
【００２４】
この構成により、本発明のカメラ補正装置は、補正マーカの結像位置を指定することができ、補正マーカの結像位置情報を確実に抽出することができる。
【００２５】
また、本発明のカメラ補正装置は、前記結像位置情報抽出手段が、前記撮像装置の画像座標系に対する前記補正マーカの予測範囲情報を保持する予測範囲情報保持手段と、前記予測範囲情報保持手段に保持された前記予測範囲情報および前記予測位置情報保持手段に保持された前記予測位置情報に基づいて、前記撮像装置によって取得された前記補正マーカの画像情報から前記補正マーカの結像位置を検索し、前記結像位置情報を抽出する結像位置検索手段とを有することを特徴とする構成を有している。
【００２６】
この構成により、本発明のカメラ補正装置は、補正マーカの結像位置を検索することができ、補正マーカの結像位置情報を容易に抽出することができる。
【００２７】
また、本発明のカメラ補正装置は、筐体と前記筐体に支持される光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正装置であって、校正マーカが配置された第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持手段と、第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持手段と、前記撮像装置によって取得された前記校正マーカの画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成手段と、前記第１の光学系位置情報生成手段によって生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持手段と、前記第１の筐体位置情報保持手段に保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持手段に保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持手段に保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成手段と、前記第２の光学系位置情報生成手段によって生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持手段と、前記撮像装置によって取得された前記第２の座標系における画像情報に含まれる動きベクトルに基づいて、前記第２の光学系位置情報保持手段に保持された前記第２の光学系位置情報を補正する補正手段とを備えたことを特徴とする構成を有している。
【００２８】
この構成により、本発明のカメラ補正装置は、動きベクトルを利用して第２の光学系位置情報を補正することができる。
【００２９】
また、本発明のカメラ補正装置は、前記補正手段が、前記撮像装置によって取得された前記第２の座標系における画像情報から平面投影画像を生成する平面投影画像生成手段と、前記平面投影画像生成手段によって生成された前記平面投影画像を複数の画像領域に分割する平面投影画像分割手段と、前記平面投影画像分割手段によって分割された複数の前記画像領域から動きベクトルを抽出する動きベクトル抽出手段と、前記動きベクトル抽出手段によって抽出された前記動きベクトルに基づいて、前記第２の光学系位置情報保持手段に保持された前記第２の光学系位置情報の補正量を算出する補正量算出手段と、前記補正量算出手段によって算出された前記補正量に基づいて、前記第２の光学系位置情報保持手段に保持された前記第２の光学系位置情報を補正する光学系位置情報補正手段とを有することを特徴とする構成を有している。
【００３０】
この構成により、本発明のカメラ補正装置は、複数の画像領域における動きベクトルを容易に抽出することができる。
【００３１】
また、本発明のカメラ補正装置は、前記第２の座標系に設けられた分割マーカが、前記第２の筐体位置情報保持手段に保持された前記第２の筐体位置情報に含まれる前記筐体の位置に対して一定の位置関係を保つように配置され、前記平面投影画像分割手段が、前記撮像装置によって取得された前記分割マーカの画像情報に基づいて、前記平面投影画像を複数の画像領域に分割することを特徴とする構成を有している。
【００３２】
この構成により、本発明のカメラ補正装置は、分割マーカを利用して平面投影画像を正確に分割することができる。
【００３３】
また、本発明のカメラ補正装置は、筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正装置であって、校正マーカが配置された第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持手段と、車両が配置された第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持手段と、前記撮像装置によって取得された前記校正マーカの画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成手段と、前記第１の光学系位置情報生成手段によって生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持手段と、前記第１の筐体位置情報保持手段に保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持手段に保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持手段に保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成手段と、前記第２の光学系位置情報生成手段によって生成された前記第２の光学系位置情報に基づいて、前記撮像装置の画像座標系に対する前記車両の予測位置情報を生成する予測位置情報生成手段と、前記第２の光学系位置情報生成手段によって生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持手段と、前記予測位置情報生成手段によって生成された前記予測位置情報を保持する予測位置情報保持手段と、前記撮像装置によって取得された前記車両の画像情報および前記予測位置情報保持手段に保持された前記予測位置情報に基づいて、前記第２の光学系位置情報保持手段に保持された前記第２の光学系位置情報を補正する補正手段とを備えたことを特徴とする構成を有している。
【００３４】
この構成により、本発明のカメラ補正装置は、車両の一部を利用して第２の光学系位置情報を補正することができる。
【００３５】
また、本発明のカメラ補正装置は、前記補正手段が、前記撮像装置によって取得された前記車両の画像情報から、前記撮像装置の画像座標系に対する前記車両の結像位置情報を抽出する結像位置情報抽出手段と、前記結像位置情報抽出手段によって抽出された前記結像位置情報および前記予測位置情報保持手段に保持された前記予測位置情報に基づいて、前記第２の光学系位置情報保持手段に保持された前記第２の光学系位置情報の補正量を算出する補正量算出手段と、前記補正量算出手段によって算出された前記補正量に基づいて、前記第２の光学系位置情報保持手段に保持された前記第２の光学系位置情報を補正する光学系位置情報補正手段とを有することを特徴とする構成を有している。
【００３６】
この構成により、本発明のカメラ補正装置は、車両の一部を利用して第２の光学系位置情報の補正量を算出することができる。
【００３７】
また、本発明のカメラ補正装置は、前記補正量算出手段が、前記結像位置情報に含まれる前記車両の輪郭線と前記予測位置情報に含まれる前記車両の輪郭線とを重ね合わせるマッチング手段と、前記マッチング手段によって重ね合わされた前記車両の輪郭線から複数の点を抽出する抽出手段と、前記結像位置情報に含まれる前記点と前記予測位置情報に含まれる前記点とを比較することにより前記第２の光学系位置情報の補正量を算出する演算手段とを有することを特徴とする構成を有している。
【００３８】
この構成により、本発明のカメラ補正装置は、車両の輪郭線から点を抽出することができ、第２の光学系位置情報の補正量を確実に算出することができる。
【００３９】
また、本発明のカメラ補正装置は、前記撮像装置が車両に取り付けられることを特徴とする構成を有している。
【００４０】
この構成により、本発明のカメラ補正装置は、筐体が車両に対して不正確な位置に設置された場合に、カメラの光学系のパラメータを補正することができ、路面上の対象物の位置を正確に検出することができる。
【００４１】
また、本発明の撮像装置は、カメラ補正装置を備えた構成を有している。
【００４２】
この構成により、本発明の撮像装置は、車両などに設置されたカメラの光学系のパラメータを補正することができる。
【００４３】
また、本発明の撮像制御装置は、カメラ補正装置を備えた構成を有している。
【００４４】
この構成により、本発明の撮像制御装置は、車両などに設置されたカメラの光学系のパラメータを補正することができる。
【００４５】
また、本発明のカメラ補正方法は、筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正方法であって、第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持ステップと、第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持ステップと、前記撮像装置によって取得された前記第１の座標系における画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成ステップと、前記第１の光学系位置情報生成ステップで生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持ステップと、前記第１の筐体位置情報保持ステップで保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持ステップで保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持ステップで保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成ステップと、前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持ステップと、前記撮像装置によって取得された前記第２の座標系における画像情報に基づいて、前記第２の光学系位置情報保持ステップで保持された前記第２の光学系位置情報を補正する補正ステップとを備えたことを特徴とする構成を有している。
【００４６】
この構成により、本発明のカメラ補正方法は、車両などに設置されたカメラの光学系のパラメータを補正することができ、路面上の対象物の位置を正確に検出することができる。
【００４７】
また、本発明のカメラ補正方法は、筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正方法であって、所定の座標系に対する前記光学系の位置を示す光学系位置情報を保持する光学系位置情報保持ステップと、前記撮像装置によって取得された前記座標系における画像情報に基づいて、前記光学系位置情報保持ステップで保持された前記光学系位置情報を補正する補正ステップとを備えたことを特徴とする構成を有している。
【００４８】
この構成により、本発明のカメラ補正方法は、車両などに設置されたカメラの光学系のパラメータを補正することができ、路面上の対象物の位置を正確に検出することができる。
【００４９】
また、本発明のカメラ補正方法は、筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正方法であって、校正マーカが配置された第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持ステップと、補正マーカが配置された第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持ステップと、前記撮像装置によって取得された前記校正マーカの画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成ステップと、前記第１の光学系位置情報生成ステップで生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持ステップと、前記第１の筐体位置情報保持ステップで保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持ステップで保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持ステップで保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成ステップと、前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報に基づいて、前記撮像装置の画像座標系に対する前記補正マーカの予測位置情報を生成する予測位置情報生成ステップと、前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持ステップと、前記予測位置情報生成ステップで生成された前記予測位置情報を保持する予測位置情報保持ステップと、前記撮像装置によって取得された前記補正マーカの画像情報および前記予測位置情報保持ステップで保持された前記予測位置情報に基づいて、前記第２の光学系位置情報保持ステップで保持された前記第２の光学系位置情報を補正する補正ステップとを備えたことを特徴とする構成を有している。
【００５０】
この構成により、本発明のカメラ補正方法は、簡単な補正マーカを利用して第２の光学系位置情報を補正することができる。
【００５１】
また、本発明のカメラ補正方法は、筐体と前記筐体に支持される光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正方法であって、校正マーカが配置された第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持ステップと、第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持ステップと、前記撮像装置によって取得された前記校正マーカの画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成ステップと、前記第１の光学系位置情報生成ステップで生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持ステップと、前記第１の筐体位置情報保持ステップで保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持ステップで保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持ステップで保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成ステップと、前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持ステップと、前記撮像装置によって取得された前記第２の座標系における画像情報に含まれる動きベクトルに基づいて、前記第２の光学系位置情報保持ステップで保持された前記第２の光学系位置情報を補正する補正ステップとを備えたことを特徴とする構成を有している。
【００５２】
この構成により、本発明のカメラ補正方法は、動きベクトルを利用して第２の光学系位置情報を補正することができる。
【００５３】
また、本発明のカメラ補正方法は、筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正方法であって、校正マーカが配置された第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持ステップと、車両が配置された第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持ステップと、前記撮像装置によって取得された前記校正マーカの画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成ステップと、前記第１の光学系位置情報生成ステップで生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持ステップと、前記第１の筐体位置情報保持ステップで保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持ステップで保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持ステップで保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成ステップと、前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報に基づいて、前記撮像装置の画像座標系に対する前記車両の予測位置情報を生成する予測位置情報生成ステップと、前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持ステップと、前記予測位置情報生成ステップで生成された前記予測位置情報を保持する予測位置情報保持ステップと、前記撮像装置によって取得された前記車両の画像情報および前記予測位置情報保持ステップで保持された前記予測位置情報に基づいて、前記第２の光学系位置情報保持ステップで保持された前記第２の光学系位置情報を補正する補正ステップとを備えたことを特徴とする構成を有している。
【００５４】
この構成により、本発明のカメラ補正方法は、車両の一部を利用して第２の光学系位置情報を補正することができる。
【００５５】
また、本発明のカメラ補正方法は、前記撮像装置が車両に取り付けられることを特徴とする構成を有している。
【００５６】
この構成により、本発明のカメラ補正方法は、筐体を車両に対して不正確な位置に設置した場合に、カメラの光学系のパラメータを補正することができ、路面上の対象物の位置を正確に検出することができる。
【００５７】
また、本発明のカメラ補正プログラムは、筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正プログラムであって、第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持ステップと、第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持ステップと、前記撮像装置によって取得された前記第１の座標系における画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成ステップと、前記第１の光学系位置情報生成ステップで生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持ステップと、前記第１の筐体位置情報保持ステップで保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持ステップで保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持ステップで保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成ステップと、前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持ステップと、前記撮像装置によって取得された前記第２の座標系における画像情報に基づいて、前記第２の光学系位置情報保持ステップで保持された前記第２の光学系位置情報を補正する補正ステップとをコンピュータに実行させることを特徴とする構成を有している。
【００５８】
この構成により、本発明のカメラ補正プログラムは、車両などに設置されたカメラの光学系のパラメータを補正することができ、路面上の対象物の位置を正確に検出することができる。
【００５９】
また、本発明のカメラ補正プログラムは、筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正プログラムであって、所定の座標系に対する前記光学系の位置を示す光学系位置情報を保持する光学系位置情報保持ステップと、前記撮像装置によって取得された前記座標系における画像情報に基づいて、前記光学系位置情報保持ステップで保持された前記光学系位置情報を補正する補正ステップとをコンピュータに実行させることを特徴とする構成を有している。
【００６０】
この構成により、本発明のカメラ補正プログラムは、車両などに設置されたカメラの光学系のパラメータを補正することができ、路面上の対象物の位置を正確に検出することができる。
【００６１】
また、本発明のカメラ補正プログラムは、筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正プログラムであって、校正マーカが配置された第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持ステップと、補正マーカが配置された第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持ステップと、前記撮像装置によって取得された前記校正マーカの画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成ステップと、前記第１の光学系位置情報生成ステップで生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持ステップと、前記第１の筐体位置情報保持ステップで保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持ステップで保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持ステップで保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成ステップと、前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報に基づいて、前記撮像装置の画像座標系に対する前記補正マーカの予測位置情報を生成する予測位置情報生成ステップと、前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持ステップと、前記予測位置情報生成ステップで生成された前記予測位置情報を保持する予測位置情報保持ステップと、前記撮像装置によって取得された前記補正マーカの画像情報および前記予測位置情報保持ステップで保持された前記予測位置情報に基づいて、前記第２の光学系位置情報保持ステップで保持された前記第２の光学系位置情報を補正する補正ステップとをコンピュータに実行させることを特徴とする構成を有している。
【００６２】
この構成により、本発明のカメラ補正プログラムは、簡単な補正マーカを利用して第２の光学系位置情報を補正することができる。
【００６３】
また、本発明のカメラ補正プログラムは、筐体と前記筐体に支持される光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正プログラムであって、校正マーカが配置された第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持ステップと、第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持ステップと、前記撮像装置によって取得された前記校正マーカの画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成ステップと、前記第１の光学系位置情報生成ステップで生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持ステップと、前記第１の筐体位置情報保持ステップで保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持ステップで保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持ステップで保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成ステップと、前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持ステップと、前記撮像装置によって取得された前記第２の座標系における画像情報に含まれる動きベクトルに基づいて、前記第２の光学系位置情報保持ステップで保持された前記第２の光学系位置情報を補正する補正ステップとをコンピュータに実行させることを特徴とする構成を有している。
【００６４】
この構成により、本発明のカメラ補正プログラムは、動きベクトルを利用して第２の光学系位置情報を補正することができる。
【００６５】
また、本発明のカメラ補正プログラムは、筐体と前記筐体に支持された光学系とを有し前記光学系を介して画像情報を取得する撮像装置の光学系の位置情報を補正するカメラ補正プログラムであって、校正マーカが配置された第１の座標系に対する前記筐体の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持ステップと、車両が配置された第２の座標系に対する前記筐体の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持ステップと、前記撮像装置によって取得された前記校正マーカの画像情報に基づいて、前記第１の座標系に対する前記光学系の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成ステップと、前記第１の光学系位置情報生成ステップで生成された前記第１の光学系位置情報を保持する第１の光学系位置情報保持ステップと、前記第１の筐体位置情報保持ステップで保持された前記第１の筐体位置情報および前記第１の光学系位置情報保持ステップで保持された前記第１の光学系位置情報に基づいて、前記第２の筐体位置情報保持ステップで保持された前記第２の筐体位置情報から、前記第２の座標系に対する前記光学系の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成ステップと、前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報に基づいて、前記撮像装置の画像座標系に対する前記車両の予測位置情報を生成する予測位置情報生成ステップと、前記第２の光学系位置情報生成ステップで生成された前記第２の光学系位置情報を保持する第２の光学系位置情報保持ステップと、前記予測位置情報生成ステップで生成された前記予測位置情報を保持する予測位置情報保持ステップと、前記撮像装置によって取得された前記車両の画像情報および前記予測位置情報保持ステップで保持された前記予測位置情報に基づいて、前記第２の光学系位置情報保持ステップで保持された前記第２の光学系位置情報を補正する補正ステップとをコンピュータに実行させることを特徴とする構成を有している。
【００６６】
この構成により、本発明のカメラ補正プログラムは、車両の一部を利用して第２の光学系位置情報を補正することができる。
【００６７】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
（第１の実施の形態）
【００６８】
図１から図１３は、本発明に係るカメラ補正装置の第１の実施の形態を示す図である。
【００６９】
まず、本実施の形態に係るカメラ補正装置の構成について説明する。
【００７０】
図１から図３において、カメラ補正装置１００は、撮像装置としてのカメラ１１０に接続されるようになっている。カメラ１１０は、筐体１１１と筐体１１１に支持された光学系１１２とを有しており、光学系１１２を介して画像情報を取得するようになっている。
【００７１】
カメラ補正装置１００は、第１の座標系１０１に対する筐体１１１の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持部１１５と、第２の座標系１０２に対する筐体１１１の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持部１１６と、第１の座標系１０１に対する校正マーカ１０５の位置を示す校正マーカ位置情報を保持する校正マーカ位置情報保持部１２５と、第２の座標系１０２に対する補正マーカ１０６の位置を示す補正マーカ位置情報を保持する補正マーカ位置情報保持部１２６とを備えている。
【００７２】
第１の座標系１０１は、カメラ生産工場などの第１の作業場所に設けられている。第１の座標系１０１には、Ｘ１軸、Ｙ１軸、Ｚ１軸が設けられ、第１の作業場所に設置されたカメラ１１０の校正を行うための校正マーカ１０５が配置されている。校正マーカ１０５は、３次元に配列された複数の点によって構成されており、それぞれの点は、第１の座標系１０１に対して所定の位置に配置されている。また、校正マーカ１０５は、第１の作業場所に設置されたカメラ１１０の視野範囲を覆うように配置されている。
【００７３】
第２の座標系１０２は、車両生産工場などの第２の作業場所に設けられている。第２の座標系１０２には、Ｘ２軸、Ｙ２軸、Ｚ２軸が設けられ、第２の座標系１０２のＸ２Ｙ２平面は、車両１０８が設置される路面１０２ａを構成している。路面１０２ａには、補正マーカ１０６が配置されている。補正マーカ１０６は、２次元に配列された２個以上の点によって構成されており、それぞれの点は、第２の座標系１０２に対して所定の位置に配置されている。
【００７４】
カメラ補正装置１００は、第１の作業場所においてカメラ１１０の校正を行うようになっている。カメラ１１０は、第１の座標系１０１に対して所定の位置に配置されており、このときの筐体１１１の位置を示す第１の筐体位置情報が、第１の筐体位置情報保持部１１５に保持されるようになっている。ここで、カメラ１１０の校正とは、カメラ１１０が第２の作業場所において車両１０８に設置されたときの光学系１１２の位置を算出する動作である。
【００７５】
カメラ補正装置１００によって校正されたカメラ１１０は、第２の作業場所において車両１０８に設置されるようになっている。カメラ１１０は、第２の座標系１０２に対して所定の位置に配置されており、このときの筐体１１１の位置を示す第２の筐体位置情報が、第２の筐体位置情報保持部１１６に保持されるようになっている。ここで、第２の筐体位置情報は、筐体１１１が車両１０８に対して正確な位置に設置された場合の筐体１１１の位置を示している。
【００７６】
また、カメラ補正装置１００は、第１の座標系１０１に対する光学系１１２の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成部１１７と、第１の光学系位置情報生成部１１７によって生成された第１の光学系位置情報を保持する第１の光学系位置情報保持部１１８とを備えている。
【００７７】
第１の光学系位置情報生成部１１７は、カメラ１１０によって取得された校正マーカ１０５の画像情報に基づいて、校正マーカ位置情報保持部１２５に保持された校正マーカ位置情報から、第１の座標系１０１に対する光学系１１２の位置を算出するようになっている。ここで、光学系１１２の位置とは、光学系１１２の光学中心および光軸の位置を含むものである。第１の座標系１０１に対する光学系１１２の位置を算出する方法としては、文献１（Ｒ．　Ｔｓａｉ，　Ａ　ｖｅｒｓａｔｉｌｅ　ｃａｍｅｒａ　ｃａｌｉｂｒａｔｉｏｎ　ｔｅｃｈｎｉｑｕｅ　ｆｏｒ　ｈｉｇｈ−ａｃｃｕｒａｃｙ　３Ｄ　ｍａｃｈｉｎｅ　ｖｉｓｉｏｎ　ｍｅｔｒｏｌｏｇｙ　ｕｓｉｎｇ　ｏｆｆ−ｔｈｅ−ｓｈｅｌｆ　ＴＶ　ｃａｍｅｒａｓ　ａｎｄ　ｌｅｎｓｅｓ，　ＩＥＥＥ　Ｊｏｕｒｎａｌ　ｏｆ　Ｒｏｂｏｔｉｃｓ　ａｎｄ　Ａｕｔｏｍａｔｉｏｎ，　ＲＡ−３（４）：　３２３−３４４，　１９８７）に記載された方法を用いることができる。
【００７８】
また、カメラ補正装置１００は、第２の座標系１０２に対する光学系１１２の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成部１２０と、第２の光学系位置情報生成部１２０によって生成された第２の光学系位置情報を保持する第２の光学系位置情報保持部１３０とを備えている。
【００７９】
第２の光学系位置情報生成部１２０は、第１の筐体位置情報保持部１１５に保持された第１の筐体位置情報および第１の光学系位置情報保持部１１８に保持された第１の光学系位置情報に基づいて、第２の筐体位置情報保持部１１６に保持された第２の筐体位置情報から、第２の座標系１０２に対する光学系１１２の位置を算出するようになっている。
【００８０】
第２の光学系位置情報生成部１２０は、次の方法によって第２の座標系１０２に対する光学系１１２の位置を算出するようになっている。
【００８１】
まず、第１の座標系１０１に対する筐体１１１の位置と第１の座標系１０１に対する光学系１１２の位置とを比較し、筐体１１１の位置と光学系１１２の位置との相対関係を求める。そして、筐体１１１の位置と光学系１１２の位置との相対関係に基づいて、第２の座標系１０２に対する筐体１１１の位置から、第２の座標系１０２に対する光学系１１２の位置を算出する。したがって、第２の光学系位置情報は、筐体１１１が車両１０８に対して正確な位置に設置された場合の光学系１１２の位置を示している。
【００８２】
第２の作業場所において車両１０８に設置されたカメラ１１０には、図４に示すように、第２の光学系位置情報を基準とするカメラ座標系１１３が構成されている。カメラ座標系１１３には、ｘ軸、ｙ軸、ｚ軸が設けられ、カメラ座標系１１３の原点は、光学系１１２の光学中心と一致するようになっている。カメラ座標系１１３のｘ軸は、カメラ１１０の左右方向に設けられ、カメラ座標系１１３のｙ軸は、カメラ１１０の上下方向に設けられ、カメラ座標系１１３のｚ軸は、光学系１１２の光軸と一致するように設けられている。
【００８３】
また、カメラ座標系１１３の原点からｚ軸方向に焦点距離ｆだけ離隔した平面には、画像座標系１１４が構成されている。画像座標系１１４には、ｐ軸、ｑ軸が設けられている。カメラ１１０は、光学系１１２を介して画像座標系１１４に結像した画像を画像情報として取得するようになっている。
【００８４】
また、カメラ補正装置１００は、カメラ１１０の画像座標系１１４に対する補正マーカ１０６の予測位置情報を生成する予測位置情報生成部１４０と、予測位置情報生成部１４０によって生成された予測位置情報を保持する予測位置情報保持部１５０とを備えている。
【００８５】
予測位置情報生成部１４０は、第２の光学系位置情報生成部１２０によって生成された第２の光学系位置情報に基づいて、補正マーカ位置情報保持部１２６に保持された補正マーカ位置情報から、カメラ１１０の画像座標系１１４に対する補正マーカ１０６の予測位置を算出するようになっている。カメラ１１０の画像座標系１１４に対する補正マーカ１０６の予測位置を算出する方法としては、上記の文献１に記載された方法を用いることができる。
【００８６】
第２の座標系１０２に配置された補正マーカ１０６は、図５に示すように、光学系１１２を介して画像座標系１１４の結像位置Ｐｎ’（ｎ＝１，２，３，４，５，６）に結像するようになっている。ここで、結像位置Ｐｎ’は、筐体１１１が車両１０８に対して正確な位置、即ち、第２の筐体位置情報に含まれる位置に設置され、第２の光学系位置情報に誤差が生じていない場合、予測位置情報生成部１４０によって算出された予測位置Ｐｎ（ｎ＝１，２，３，４，５，６）と一致するようになっている。しかしながら、実際には、筐体１１１が車両１０８に対して不正確な位置に設置され、第２の光学系位置情報に誤差が生じることにより、画像座標系１１４における結像位置Ｐｎ’は、予測位置Ｐｎから離隔している。
【００８７】
第２の光学系位置情報は、第２の座標系１０２に対するカメラ座標系１１３の平行移動および回転を示す６個のパラメータを含んでいる。この６個のパラメータは、図６に示すＸ２軸、Ｙ２軸、Ｚ２軸方向の平行移動成分と、図７に示すｘ軸、ｙ軸、ｚ軸まわりの回転成分とによって構成されている。筐体１１１が車両１０８に対して不正確な位置に設置されることによって生じる第２の光学系位置情報の誤差は、平行移動成分および回転成分のそれぞれの誤差を含んでいる。筐体１１１が車両１０８に取り付けられる際には、平行移動成分にして数ｃｍ、回転成分にして数度の誤差が生じている。
【００８８】
ここで、カメラ１１０によって取得された路面１０２ａの画像情報に対して車両１０８の駐車動作を補助するための補助線を表示する場合を考える。なお、筐体１１１は、車両１０８に対して高さ１０００ｍｍの位置に設置され、補助線は、車両１０８の後端から３０００ｍｍの位置に表示されるものとする。
【００８９】
まず、図８に示すように、筐体１１１が車両１０８に対してＹ２軸方向に５０ｍｍずれた位置に設置された場合、即ち、第２の光学系位置情報のＹ２軸方向の平行移動成分に誤差が生じた場合には、誤差が生じていない場合と比較して補助線がＹ２軸方向に５０ｍｍずれた位置に表示される。この場合、３０００ｍｍ先の５０ｍｍの離隔量であるため、図５に示す画像座標系１１４における結像位置Ｐｎ’の予測位置Ｐｎからの離隔量は小さい。したがって、第２の光学系位置情報の平行移動成分の誤差は無視することができる。
【００９０】
これに対して、図９に示すように、筐体１１１が車両１０８に対してｘ軸まわりに１°ずれた位置に設置された場合、即ち、第２の光学系位置情報のｘ軸まわりの回転成分に誤差が生じた場合には、誤差が生じていない場合と比較して補助線がＹ２軸方向に約１８４ｍｍずれた位置に表示される。この場合、図５に示す画像座標系１１４における結像位置Ｐｎ’の予測位置Ｐｎからの離隔量は無視できなくなる。したがって、第２の光学系位置情報の回転成分の誤差だけを第２の光学系位置情報の誤差として用いることができる。
【００９１】
このような第２の光学系位置情報の誤差を補正するため、カメラ補正装置１００は、第２の光学系位置情報保持部１３０に保持された第２の光学系位置情報を補正する補正部１６０を備えている。
【００９２】
補正部１６０は、カメラ１１０によって取得された補正マーカ１０６の画像情報および予測位置情報保持部１５０に保持された予測位置情報に基づいて、第２の光学系位置情報保持部１３０に保持された第２の光学系位置情報を補正するようになっている。
【００９３】
補正部１６０は、カメラ１１０によって取得された補正マーカ１０６の画像情報から、カメラ１１０の画像座標系１１４に対する補正マーカ１０６の結像位置情報を抽出する結像位置情報抽出部１７０と、結像位置情報抽出部１７０によって抽出された結像位置情報および予測位置情報保持部１５０に保持された予測位置情報に基づいて、第２の光学系位置情報保持部１３０に保持された第２の光学系位置情報の補正量を算出する補正量算出部１８０と、補正量算出部１８０によって算出された補正量に基づいて、第２の光学系位置情報保持部１３０に保持された第２の光学系位置情報を補正する光学系位置情報補正部１９０とを有している。
【００９４】
結像位置情報抽出部１７０は、カメラ１１０によって取得された補正マーカ１０６の画像情報を表示する画像情報表示部１７１と、画像情報表示部１７１に表示された補正マーカ１０６の画像情報において補正マーカ１０６の結像位置Ｐｎ’を指定し、画像情報から結像位置情報を抽出する結像位置指定部１７２とを有している。
【００９５】
図１０に示すように、画像情報表示部１７１には、カメラ１１０によって取得された補正マーカ１０６の画像情報と、補正マーカ１０６の結像位置Ｐｎ’を指定するカーソル１７４とが表示されるようになっている。
【００９６】
結像位置指定部１７２には、画像情報表示部１７１に表示されたカーソル１７４の位置を移動させる上方向キー１７５ａ、下方向キー１７５ｂ、左方向キー１７５ｃおよび右方向キー１７５ｄと、カーソル１７４の位置を決定する決定キー１７６と、補正マーカ１０６の点の番号ｎを表示する番号表示部１７７と、番号表示部１７７に表示された番号ｎを変更する加算キー１７８ａおよび減算キー１７８ｂとが設けられている。
【００９７】
補正量算出部１８０は、次の方法によって第２の光学系位置情報の補正量を算出するようになっている。
【００９８】
まず、第２の光学系位置情報の回転成分の誤差だけを第２の光学系位置情報の誤差として用い、筐体１１１が車両１０８に対して傾いた位置に設置されたものとする。このときのカメラ座標系１１３のｘ軸、ｙ軸、ｚ軸まわりの回転角をそれぞれθ、φ、ψ、画像座標系１１４における結像位置Ｐｎ’の座標を（ｐｎ’，ｑｎ’）、予測位置Ｐｎの座標を（ｐｎ，ｑｎ）と表すと、θ、φ、ψの値は、式（１）において、Ｊの値を最小にするＲ１１、Ｒ１２、Ｒ１３、Ｒ２１、Ｒ２２、Ｒ２３、Ｒ３１、Ｒ３２、Ｒ３３を求めることにより算出される。
【数１】
2004004043.tif 000003
なお、式（１）において、（ｐｎ’，ｑｎ’）と（ｐｎ，ｑｎ）との関係は、式（２）のように表される。
【数２】
2004004043.tif 000004
また、Ｒ１１からＲ３３とθ、φ、ψとの関係は、式（３）、式（４）、式（５）のように表される。
【数３】
2004004043.tif 000005
なお、本実施の形態では、補正マーカ１０６が６個の点によって構成されているが、補正マーカ１０６は２個以上の点によって構成されていればよく、補正量算出部１８０は、補正マーカ１０６が２個の点によって構成されていれば、θ、φ、ψの値を算出することができ、補正マーカ１０６が３個以上の点によって構成されていれば、θ、φ、ψの値をより正確に算出することができる。
【００９９】
このように構成されたカメラ補正装置１００は、図１１に示すように、カメラ１１０を調整するためのコンピュータ１９１、カメラ１１０を制御する撮像制御装置としてのＥＣＵ１９２などによって実現されている。
【０１００】
コンピュータ１９１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、入出力インターフェイスなどによって構成されており、図１１（ａ）に示すように、第１の作業場所においてカメラ１１０に接続されるようになっている。なお、本実施の形態において、コンピュータ１９１は、上述した第１の筐体位置情報保持部１１５、第２の筐体位置情報保持部１１６、第１の光学系位置情報生成部１１７、第１の光学系位置情報保持部１１８、第２の光学系位置情報生成部１２０、校正マーカ位置情報保持部１２５、補正マーカ位置情報保持部１２６、第２の光学系位置情報保持部１３０、予測位置情報生成部１４０および予測位置情報保持部１５０を構成している。
【０１０１】
ＥＣＵ１９２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、入出力インターフェイスなどによって構成されており、図１１（ｃ）に示すように、第２の作業場所においてカメラ１１０に接続され、車両１０８に搭載されるようになっている。なお、本実施の形態において、ＥＣＵ１９２は、上述した第２の光学系位置情報保持部１３０、予測位置情報保持部１５０および補正部１６０を構成している。
【０１０２】
第１の作業場所から第２の作業場所には、図１１（ｂ）に示すように、ＣＤ−ＲＯＭ、磁気ディスクなどの記録媒体１９３が添付されたカメラ１１０が搬送されるようになっている。記録媒体１９３には、第２の光学系位置情報および予測位置情報が記録されており、第２の光学系位置情報および予測位置情報をコンピュータ１９１からＥＣＵ１９２に移送するために用いられるようになっている。
【０１０３】
なお、本実施の形態では、第１の作業場所から第２の作業場所には、カメラ１１０および記録媒体１９３が搬送されるようになっているが、図１２に示すように、カメラ１１０、第２の光学系位置情報保持部１３０、予測位置情報保持部１５０および補正部１６０によって構成されたカメラユニット１９４が搬送されるように構成してもよい。
【０１０４】
次に、本実施の形態に係るカメラ補正装置の動作について説明する。
【０１０５】
図１３において、カメラ補正装置１００は、次の工程で第２の光学系位置情報を補正する。
【０１０６】
まず、カメラ１１０が、第１の作業場所に設置され、第１の座標系１０１に対して所定の位置に配置される（Ｓ１０１）。そして、第１の筐体位置情報、第２の筐体位置情報、校正マーカ位置情報および補正マーカ位置情報が、第１の筐体位置情報保持部１１５、第２の筐体位置情報保持部１１６、校正マーカ位置情報保持部１２５および補正マーカ位置情報保持部１２６にそれぞれ保持される（Ｓ１０２）。ここで、第１の筐体位置情報、第２の筐体位置情報、校正マーカ位置情報および補正マーカ位置情報は、測定器によって測定された位置、設計において設定された位置などを基にして取得される。
【０１０７】
次に、カメラ１１０によって校正マーカ１０５が撮影され（Ｓ１０３）、第１の光学系位置情報生成部１１７が、カメラ１１０によって取得された校正マーカ１０５の画像情報に基づいて、校正マーカ位置情報保持部１２５に保持された校正マーカ位置情報から、第１の光学系位置情報を生成する（Ｓ１０４）。そして、第１の光学系位置情報生成部１１７によって生成された第１の光学系位置情報が、第１の光学系位置情報保持部１１８に保持される（Ｓ１０５）。
【０１０８】
次に、第２の光学系位置情報生成部１２０が、第１の筐体位置情報保持部１１５に保持された第１の筐体位置情報および第１の光学系位置情報保持部１１８に保持された第１の光学系位置情報に基づいて、第２の筐体位置情報保持部１１６に保持された第２の筐体位置情報から、第２の光学系位置情報を生成する（Ｓ１０６）。そして、第２の光学系位置情報生成部１２０によって生成された第２の光学系位置情報が、第２の光学系位置情報保持部１３０に保持される（Ｓ１０７）。
【０１０９】
次に、予測位置情報生成部１４０が、第２の光学系位置情報生成部１２０によって生成された第２の光学系位置情報に基づいて、補正マーカ位置情報保持部１２６に保持された補正マーカ位置情報から、カメラ１１０の画像座標系１１４に対する補正マーカ１０６の予測位置情報を生成する（Ｓ１０８）。そして、予測位置情報生成部１４０によって生成された予測位置情報が、予測位置情報保持部１５０に保持される（Ｓ１０９）。
【０１１０】
次に、カメラ１１０および記録媒体１９３が、第１の作業場所から第２の作業場所に搬送される。そして、カメラ１１０が、第２の作業場所において車両１０８に設置され、第２の座標系１０２に対して所定の位置に配置される（Ｓ１１０）。
【０１１１】
次に、カメラ１１０によって補正マーカ１０６が撮影され（Ｓ１１１）、カメラ１１０によって取得された補正マーカ１０６の画像情報が、図１０に示すように、画像情報表示部１７１に表示される（Ｓ１１２）。そして、結像位置指定部１７２によって、補正マーカ１０６の結像位置Ｐｎ’が指定され、結像位置情報が抽出される（Ｓ１１３）。このとき、操作者は、加算キー１７８ａおよび減算キー１７８ｂを操作して番号表示部１７７に表示される番号ｎを変更し、上方向キー１７５ａ、下方向キー１７５ｂ、左方向キー１７５ｃおよび右方向キー１７５ｄを操作して画像情報表示部１７１に表示されるカーソル１７４の位置を移動させ、決定キー１７６を操作してカーソル１７４の位置を決定することにより、番号表示部１７７に表示された番号ｎに対応する補正マーカ１０６の結像位置Ｐｎ’を指定する。
【０１１２】
次に、補正量算出部１８０が、結像位置情報抽出部１７０によって抽出された結像位置情報および予測位置情報保持部１５０に保持された予測位置情報に基づいて、第２の光学系位置情報保持部１３０に保持された第２の光学系位置情報の補正量を算出する（Ｓ１１４）。
【０１１３】
そして、光学系位置情報補正部１９０が、補正量算出部１８０によって算出された補正量に基づいて、第２の光学系位置情報保持部１３０に保持された第２の光学系位置情報を補正して（Ｓ１１５）、工程を終了する。なお、本実施の形態では、上述したステップＳ１０１からＳ１１５を記述したプログラムをコンピュータに実行させてもよい。
【０１１４】
以上説明したように、本実施の形態においては、車両１０８などに設置されたカメラ１１０の光学系のパラメータを補正することができ、路面上の対象物の位置を正確に検出することができる。
【０１１５】
また、本実施の形態においては、簡単な補正マーカ１０６を利用して第２の光学系位置情報を補正することができる。
【０１１６】
また、本実施の形態においては、補正マーカ１０６の結像位置を指定することができ、補正マーカ１０６の結像位置情報を確実に抽出することができる。
（第２の実施の形態）
【０１１７】
図１４から図１６は、本発明に係るカメラ補正装置の第２の実施の形態を示す図である。
【０１１８】
まず、本実施の形態に係るカメラ補正装置の構成について説明する。なお、第１の実施の形態に係るカメラ補正装置の構成とほぼ同様な構成については、第１の実施の形態において使用した符号と同一の符号を付して、詳細な説明を省略する。
【０１１９】
図１４において、カメラ補正装置２００は、第２の光学系位置情報保持部１３０に保持された第２の光学系位置情報を補正する補正部２６０を備えている。
【０１２０】
補正部２６０は、カメラ１１０によって取得された補正マーカ１０６の画像情報および予測位置情報保持部１５０に保持された予測位置情報に基づいて、第２の光学系位置情報保持部１３０に保持された第２の光学系位置情報を補正するようになっている。
【０１２１】
補正部２６０は、カメラ１１０によって取得された補正マーカ１０６の画像情報から、カメラ１１０の画像座標系１１４に対する補正マーカ１０６の結像位置情報を抽出する結像位置情報抽出部２７０と、結像位置情報抽出部２７０によって抽出された結像位置情報および予測位置情報保持部１５０に保持された予測位置情報に基づいて、第２の光学系位置情報保持部１３０に保持された第２の光学系位置情報の補正量を算出する補正量算出部２８０と、補正量算出部２８０によって算出された補正量に基づいて、第２の光学系位置情報保持部１３０に保持された第２の光学系位置情報を補正する光学系位置情報補正部２９０とを有している。
【０１２２】
結像位置情報抽出部２７０は、カメラ１１０の画像座標系１１４に対する補正マーカ１０６の予測範囲２７４を示す予測範囲情報（図１５参照）を保持する予測範囲情報保持部２７１と、予測範囲情報保持部２７１に保持された予測範囲情報および予測位置情報保持部１５０に保持された予測位置情報に基づいて、カメラ１１０によって取得された補正マーカ１０６の画像情報から補正マーカ１０６の結像位置Ｐｎ’を検索し、結像位置情報を抽出する結像位置検索部２７２とを有している。
【０１２３】
補正量算出部２８０は、第１の実施の形態における補正量算出部１８０と同様の方法によって第２の光学系位置情報の補正量を算出するようになっている。
【０１２４】
次に、本実施の形態に係るカメラ補正装置の動作について説明する。
【０１２５】
図１６において、カメラ補正装置２００は、次の工程で第２の光学系位置情報を補正する。
【０１２６】
まず、カメラ１１０が、第１の作業場所に設置され、第１の座標系１０１に対して所定の位置に配置される（Ｓ２０１）。そして、第１の筐体位置情報、第２の筐体位置情報、校正マーカ位置情報および補正マーカ位置情報が、第１の筐体位置情報保持部１１５、第２の筐体位置情報保持部１１６、校正マーカ位置情報保持部１２５および補正マーカ位置情報保持部１２６にそれぞれ保持される（Ｓ２０２）。ここで、第１の筐体位置情報、第２の筐体位置情報、校正マーカ位置情報および補正マーカ位置情報は、測定器によって測定された位置、設計において設定された位置などを基にして取得される。
【０１２７】
次に、カメラ１１０によって校正マーカ１０５が撮影され（Ｓ２０３）、第１の光学系位置情報生成部１１７が、カメラ１１０によって取得された校正マーカ１０５の画像情報に基づいて、校正マーカ位置情報保持部１２５に保持された校正マーカ位置情報から、第１の光学系位置情報を生成する（Ｓ２０４）。そして、第１の光学系位置情報生成部１１７によって生成された第１の光学系位置情報が、第１の光学系位置情報保持部１１８に保持される（Ｓ２０５）。
【０１２８】
次に、第２の光学系位置情報生成部１２０が、第１の筐体位置情報保持部１１５に保持された第１の筐体位置情報および第１の光学系位置情報保持部１１８に保持された第１の光学系位置情報に基づいて、第２の筐体位置情報保持部１１６に保持された第２の筐体位置情報から、第２の光学系位置情報を生成する（Ｓ２０６）。そして、第２の光学系位置情報生成部１２０によって生成された第２の光学系位置情報が、第２の光学系位置情報保持部１３０に保持される（Ｓ２０７）。
【０１２９】
次に、予測位置情報生成部１４０が、第２の光学系位置情報生成部１２０によって生成された第２の光学系位置情報に基づいて、補正マーカ位置情報保持部１２６に保持された補正マーカ位置情報から、カメラ１１０の画像座標系１１４に対する補正マーカ１０６の予測位置情報を生成する（Ｓ２０８）。そして、予測位置情報生成部１４０によって生成された予測位置情報が、予測位置情報保持部１５０に保持される（Ｓ２０９）。
【０１３０】
次に、カメラ１１０および記録媒体１９３が、第１の作業場所から第２の作業場所に搬送される。そして、カメラ１１０が、第２の作業場所において車両１０８に設置され、第２の座標系１０２に対して所定の位置に配置される（Ｓ２１０）。
【０１３１】
次に、カメラ１１０によって補正マーカ１０６が撮影され（Ｓ２１１）、結像位置検索部２７２が、図１５に示すように、補正マーカ１０６の予測位置Ｐｎを中心として予測範囲２７４の内側に存在する結像位置Ｐｎ’を検索し、画像情報から結像位置情報を抽出する（Ｓ２１２）。
【０１３２】
次に、補正量算出部２８０が、結像位置情報抽出部２７０によって抽出された結像位置情報および予測位置情報保持部１５０に保持された予測位置情報に基づいて、第２の光学系位置情報保持部１３０に保持された第２の光学系位置情報の補正量を算出する（Ｓ２１３）。
【０１３３】
そして、光学系位置情報補正部２９０が、補正量算出部２８０によって算出された補正量に基づいて、第２の光学系位置情報保持部１３０に保持された第２の光学系位置情報を補正して（Ｓ２１４）、工程を終了する。なお、本実施の形態では、上述したステップＳ２０１からＳ２１４を記述したプログラムをコンピュータに実行させてもよい。
【０１３４】
以上説明したように、本実施の形態においては、補正マーカ１０６の結像位置を検索することができ、補正マーカ１０６の結像位置情報を容易に抽出することができる。
（第３の実施の形態）
【０１３５】
図１７から図２８は、本発明に係るカメラ補正装置の第３の実施の形態を示す図である。
【０１３６】
まず、本実施の形態に係るカメラ補正装置の構成について説明する。
【０１３７】
図１７から図１９において、カメラ補正装置３００は、撮像装置としてのカメラ３１０に接続されるようになっている。カメラ３１０は、筐体３１１と筐体３１１に支持された光学系３１２とを有しており、光学系３１２を介して画像情報を取得するようになっている。
【０１３８】
カメラ補正装置３００は、第１の座標系３０１に対する筐体３１１の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持部３１５と、第２の座標系３０２に対する筐体３１１の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持部３１６と、第１の座標系３０１に対する校正マーカ３０５の位置を示す校正マーカ位置情報を保持する校正マーカ位置情報保持部３２５とを備えている。
【０１３９】
第１の座標系３０１は、カメラ生産工場などの第１の作業場所に設けられている。第１の座標系３０１には、Ｘ１軸、Ｙ１軸、Ｚ１軸が設けられ、第１の作業場所に設置されたカメラ３１０の校正を行うための校正マーカ３０５が配置されている。校正マーカ３０５は、３次元に配列された複数の点によって構成されており、それぞれの点は、第１の座標系３０１に対して所定の位置に配置されている。また、校正マーカ３０５は、第１の作業場所に設置されたカメラ３１０の視野範囲を覆うように配置されている。
【０１４０】
第２の座標系３０２は、車両生産工場などの第２の作業場所に設けられている。第２の座標系３０２には、Ｘ２軸、Ｙ２軸、Ｚ２軸が設けられ、第２の座標系３０２のＸ２Ｙ２平面は、車両３０８が走行する路面３０２ａを構成している。車両３０８のバンパー部３０９には、分割マーカ３０７が配置されている。分割マーカ３０７は、２個の点によって構成されており、それぞれの点は、車両３０８に設置されたカメラ３１０の視野範囲内に配置されている。また、分割マーカ３０７は、車両３０８に設置されたカメラ３１０の真下位置に設けられている。
【０１４１】
カメラ補正装置３００は、第１の作業場所においてカメラ３１０の校正を行うようになっている。カメラ３１０は、第１の座標系３０１に対して所定の位置に配置されており、このときの筐体３１１の位置を示す第１の筐体位置情報が、第１の筐体位置情報保持部３１５に保持されるようになっている。ここで、カメラ３１０の校正とは、カメラ３１０が第２の作業場所において車両３０８に設置されたときの光学系３１２の位置を算出する動作である。
【０１４２】
カメラ補正装置３００によって校正されたカメラ３１０は、第２の作業場所において車両３０８に設置されるようになっている。カメラ３１０は、第２の座標系３０２に対して所定の位置に配置されており、このときの筐体３１１の位置を示す第２の筐体位置情報が、第２の筐体位置情報保持部３１６に保持されるようになっている。ここで、第２の筐体位置情報は、筐体３１１が車両３０８に対して正確な位置に設置された場合の筐体３１１の位置を示している。
【０１４３】
車両３０８のバンパー部３０９に配置された分割マーカ３０７は、第２の筐体位置情報に含まれる筐体３１１の位置に対して一定の位置関係を保つように配置されている。したがって、車両３０８が路面３０２ａ上を走行した場合でも、分割マーカ３０７の位置と第２の筐体位置情報に含まれる筐体３１１の位置との相対関係は一定である。
【０１４４】
また、カメラ補正装置３００は、第１の座標系３０１に対する光学系３１２の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成部３１７と、第１の光学系位置情報生成部３１７によって生成された第１の光学系位置情報を保持する第１の光学系位置情報保持部３１８とを備えている。
【０１４５】
第１の光学系位置情報生成部３１７は、カメラ３１０によって取得された校正マーカ３０５の画像情報に基づいて、校正マーカ位置情報保持部３２５に保持された校正マーカ位置情報から、第１の座標系３０１に対する光学系３１２の位置を算出するようになっている。ここで、光学系３１２の位置とは、光学系３１２の光学中心および光軸の位置を含むものである。第１の座標系３０１に対する光学系３１２の位置を算出する方法としては、文献１に記載された方法を用いることができる。
【０１４６】
また、カメラ補正装置３００は、第２の座標系３０２に対する光学系３１２の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成部３２０と、第２の光学系位置情報生成部３２０によって生成された第２の光学系位置情報を保持する第２の光学系位置情報保持部３３０とを備えている。
【０１４７】
第２の光学系位置情報生成部３２０は、第１の筐体位置情報保持部３１５に保持された第１の筐体位置情報および第１の光学系位置情報保持部３１８に保持された第１の光学系位置情報に基づいて、第２の筐体位置情報保持部３１６に保持された第２の筐体位置情報から、第２の座標系３０２に対する光学系３１２の位置を算出するようになっている。
【０１４８】
第２の光学系位置情報生成部３２０は、第１の実施の形態における第２の光学系位置情報生成部１２０と同様の方法によって第２の座標系３０２に対する光学系３１２の位置を算出するようになっている。
【０１４９】
第２の作業場所において車両３０８に設置されたカメラ３１０には、図２０に示すように、第２の光学系位置情報を基準とするカメラ座標系３１３が構成されている。カメラ座標系３１３には、ｘ軸、ｙ軸、ｚ軸が設けられ、カメラ座標系３１３の原点は、光学系３１２の光学中心と一致するようになっている。カメラ座標系３１３のｘ軸は、カメラ３１０の左右方向に設けられ、カメラ座標系３１３のｙ軸は、カメラ３１０の上下方向に設けられ、カメラ座標系３１３のｚ軸は、光学系３１２の光軸と一致するように設けられている。
【０１５０】
また、カメラ座標系３１３の原点からｚ軸方向に焦点距離ｆだけ離隔した平面には、画像座標系３１４が構成されている。画像座標系３１４には、ｐ軸、ｑ軸が設けられている。路面３０２ａ上の点Ｐは、光学系３１２を介して画像座標系３１４の結像位置Ｐ’に結像するようになっている。カメラ３１０は、光学系３１２を介して画像座標系３１４に結像した画像を画像情報として取得するようになっている。
【０１５１】
また、カメラ補正装置３００は、カメラ３１０によって取得された第２の座標系３０２における画像情報に含まれる動きベクトルに基づいて、第２の光学系位置情報保持部３３０に保持された第２の光学系位置情報を補正する補正部３６０を備えている。
【０１５２】
補正部３６０は、カメラ３１０によって取得された第２の座標系３０２における画像情報から平面投影画像を生成する平面投影画像生成部３６１と、平面投影画像生成部３６１によって生成された平面投影画像を複数の画像領域に分割する平面投影画像分割部３６２と、平面投影画像分割部３６２によって分割された複数の画像領域から動きベクトルを抽出する動きベクトル抽出部３６３と、動きベクトル抽出部３６３によって抽出された動きベクトルに基づいて、第２の光学系位置情報保持部３３０に保持された第２の光学系位置情報の補正量を算出する補正量算出部３６４と、補正量算出部３６４によって算出された補正量に基づいて、第２の光学系位置情報保持部３３０に保持された第２の光学系位置情報を補正する光学系位置情報補正部３６５とを有している。
【０１５３】
平面投影画像生成部３６１によって生成される平面投影画像は、図２１に示すように、カメラ３１０によって取得された画像情報を路面３０２ａに仮想的に投影し、この画像を仮想カメラ３７０から見ることによって取得される画像である。この仮想カメラ３７０には、路面３０２ａに対して平行な画像座標系３７１が構成されており、この画像座標系３７１には、路面３０２ａを単に縮小した画像としての平面投影画像が結像するようになっている。
【０１５４】
平面投影画像生成部３６１は、次の方法によって平面投影画像を生成するようになっている。
【０１５５】
図２０において、カメラ座標系３１３のｘ軸と路面３０２ａのなす角をα、ｙ軸と路面３０２ａのなす角をβと表し、カメラ座標系３１３の原点からｚ軸の延長線と路面３０２ａとの交点までの距離をｃと表す。そして、式（６）のようにａ、ｂを定義すると、第２の座標系３０２のＸ２Ｙ２平面としての路面３０２ａは、式（７）のように表される。
【数４】
2004004043.tif 000006
ここで、画像座標系３１４の結像位置Ｐ’の座標を（ｐ，ｑ）と表すと、画像座標系３１４からカメラ座標系３１３への変換は、式（８）のように表される。
【数５】
2004004043.tif 000007
また、カメラ座標系３１３から第２の座標系３０２への変換は、式（９）のように表される。
【数６】
2004004043.tif 000008
なお、式（９）において、平行移動ベクトルＴは、カメラ座標系３１３の原点から第２の座標系３０２の原点までの方向および距離を表し、回転行列Ｒは、カメラ座標系３１３と第２の座標系３０２との回転方向のずれを表している。本実施の形態においても第１の実施の形態と同様に、第２の光学系位置情報の回転成分の誤差だけを第２の光学系位置情報の誤差として用い、筐体３１１が車両３０８に対して傾いた位置に設置されたものとする。このときのカメラ座標系３１３のｘ軸、ｙ軸、ｚ軸まわりの回転角をそれぞれθ、φ、ψと表すと、式（９）における回転行列Ｒは、式（３）から式（５）によって表される。
【０１５６】
筐体３１１が車両３０８に対して正確な位置に設置された場合、平面投影画像生成部３６１は、図２２（ａ）に示す画像情報から、図２２（ｂ）に示す平面投影画像を生成するようになっている。この平面投影画像は、路面３０２ａに対して平行に設けられた仮想カメラ３７０から見ることによって取得される画像に相当しているので、路面３０２ａに設けられた平行線３７３、３７４が、平面投影画像において平行になっている。
【０１５７】
また、筐体３１１が車両３０８に対して下向きに傾いた位置に設置され、カメラ座標系３１３がｘ軸まわりに回転した場合、平面投影画像生成部３６１は、図２３（ａ）に示す画像情報から、図２３（ｂ）に示す平面投影画像を生成するようになっている。
【０１５８】
また、筐体３１１が車両３０８に対して左向きに傾いた位置に設置され、カメラ座標系３１３がｙ軸まわりに回転した場合、平面投影画像生成部３６１は、図２４（ａ）に示す画像情報から、図２４（ｂ）に示す平面投影画像を生成するようになっている。
【０１５９】
また、筐体３１１が車両３０８に対して傾いた位置に設置され、カメラ座標系３１３がｚ軸まわりに回転した場合、平面投影画像生成部３６１は、図２５（ａ）に示す画像情報から、図２５（ｂ）に示す平面投影画像を生成するようになっている。
【０１６０】
平面投影画像分割部３６２は、図２２（ｂ）、図２３（ｂ）、図２４（ｂ）および図２５（ｂ）に示すように、カメラ３１０によって取得された分割マーカ３０７の画像情報に基づいて、平面投影画像を複数の画像領域に分割するようになっている。
【０１６１】
平面投影画像分割部３６２は、分割マーカ３０７を通る基準線３８０および分割マーカ３０７の中点３８１を基準にして、平面投影画像に分割線３８３、３８４を設けるようになっている。分割線３８３は、基準線３８０に直行し、中点３８１を通る位置に設けられている。また、分割線３８４は、基準線３８０に平行で、基準線３８０から一定の距離だけ離隔する位置に設けられている。
【０１６２】
筐体３１１が車両３０８に対して傾いた位置に設置され、カメラ座標系３１３がｚ軸まわりに回転した場合、図２５（ｂ）に示すように、基準線３８０は、平面投影画像に対して傾いている。
【０１６３】
動きベクトル抽出部３６３は、図２２（ｂ）、図２３（ｂ）、図２４（ｂ）および図２５（ｂ）に示すように、平面投影画像分割部３６２によって分割された４つの画像領域３８６ａ、３８６ｂ、３８６ｃ、３８６ｄから動きベクトル３８８ａ、３８８ｂ、３８８ｃ、３８８ｄを抽出するようになっている。
【０１６４】
動きベクトル３８８ａから３８８ｄは、車両３０８の走行、即ち、カメラ３１０の移動によって生じる画像領域３８６ａから３８６ｄの部分的な画像の流れに基づいて算出されるもので、車両３０８が直進している場合に方向が等しくなる。以下、動きベクトル３８８ａから３８８ｄは、車両３０８が直進しているときに取得される画像情報から抽出されるものとする。
【０１６５】
筐体３１１が車両３０８に対して正確な位置に設置された場合、図２２（ｂ）に示すように、動きベクトル３８８ａから３８８ｄは、大きさが等しくなる。
【０１６６】
また、筐体３１１が車両３０８に対して下向きに傾いた位置に設置され、カメラ座標系３１３がｘ軸まわりに回転した場合、図２３（ｂ）に示すように、画像上側の動きベクトル３８８ａ、３８８ｂが、画像下側の動きベクトル３８８ｃ、３８８ｄよりも大きくなる。
【０１６７】
また、筐体３１１が車両３０８に対して左向きに傾いた位置に設置され、カメラ座標系３１３がｙ軸まわりに回転した場合、図２４（ｂ）に示すように、画像右側の動きベクトル３８８ｂ、３８８ｄが、画像左側の動きベクトル３８８ａ、３８８ｃよりも大きくなる。
【０１６８】
補正量算出部３６４は、次の方法によって第２の光学系位置情報の補正量を算出するようになっている。
【０１６９】
図２２（ｃ）、図２３（ｃ）および図２４（ｃ）において、まず、動きベクトル３８８ａに大きさが等しいベクトル３９０ａと、動きベクトル３８８ｂに大きさが等しいベクトル３９０ｂと、動きベクトル３８８ｃに大きさが等しいベクトル３９０ｃと、動きベクトル３８８ｄに大きさが等しいベクトル３９０ｄとを、合計ベクトル算出座標系３９１にそれぞれ配置する。
【０１７０】
ここで、ベクトル３９０ａは、合計ベクトル算出座標系３９１の原点から左上４５度方向に配置されている。また、ベクトル３９０ｂは、合計ベクトル算出座標系３９１の原点から右上４５度方向に配置されている。また、ベクトル３９０ｃは、合計ベクトル算出座標系３９１の原点から左下４５度方向に配置されている。また、ベクトル３９０ｄは、合計ベクトル算出座標系３９１の原点から右下４５度方向に配置されている。
【０１７１】
次に、合計ベクトル算出座標系３９１において、ベクトル３９０ａから３９０ｄの合計ベクトル３９２を算出する。
【０１７２】
筐体３１１が車両３０８に対して正確な位置に設置された場合、図２２（ｃ）に示すように、ベクトル３９０ａから３９０ｄの大きさが等しいので、合計ベクトル３９２は０になる。このとき、カメラ座標系３１３のｘ軸、ｙ軸、ｚ軸まわりの回転角θ、φ、ψの値は０である。
【０１７３】
また、筐体３１１が車両３０８に対して下向きに傾いた位置に設置され、カメラ座標系３１３がｘ軸まわりに回転した場合、図２３（ｃ）に示すように、ベクトル３９０ａ、３９０ｂが、ベクトル３９０ｃ、３９０ｄよりも大きいので、合計ベクトル３９２は上向きのベクトルになる。このとき、式（９）において、合計ベクトル３９２を０にする回転行列Ｒを求めることにより、カメラ座標系３１３のｘ軸まわりの回転角θの値を算出する。
【０１７４】
また、筐体３１１が車両３０８に対して左向きに傾いた位置に設置され、カメラ座標系３１３がｙ軸まわりに回転した場合、図２４（ｃ）に示すように、ベクトル３９０ｂ、３９０ｄが、ベクトル３９０ａ、３９０ｃよりも大きいので、合計ベクトル３９２は右向きのベクトルになる。このとき、式（９）において、合計ベクトル３９２を０にする回転行列Ｒを求めることにより、カメラ座標系３１３のｙ軸まわりの回転角φの値を算出する。
【０１７５】
一方、筐体３１１が車両３０８に対して傾いた位置に設置され、カメラ座標系３１３がｚ軸まわりに回転した場合、図２５（ｂ）に示す平面投影画像の画像座標系３７１に対する基準線３８０の傾きに基づいて、カメラ座標系３１３のｚ軸まわりの回転角ψの値を算出する。
【０１７６】
このように構成されたカメラ補正装置１００は、図２６に示すように、カメラ３１０を調整するためのコンピュータ３９１、カメラ３１０を制御する撮像制御装置としてのＥＣＵ３９２などによって実現されている。
【０１７７】
コンピュータ３９１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、入出力インターフェイスなどによって構成されており、図２６（ａ）に示すように、第１の作業場所においてカメラ３１０に接続されるようになっている。なお、本実施の形態において、コンピュータ３９１は、上述した第１の筐体位置情報保持部３１５、第２の筐体位置情報保持部３１６、第１の光学系位置情報生成部３１７、第１の光学系位置情報保持部３１８、第２の光学系位置情報生成部３２０、校正マーカ位置情報保持部３２５および第２の光学系位置情報保持部３３０を構成している。
【０１７８】
ＥＣＵ３９２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、入出力インターフェイスなどによって構成されており、図２６（ｃ）に示すように、第２の作業場所においてカメラ３１０に接続され、車両３０８に搭載されるようになっている。なお、本実施の形態において、ＥＣＵ３９２は、上述した第２の光学系位置情報保持部３３０および補正部３６０を構成している。
【０１７９】
第１の作業場所から第２の作業場所には、図２６（ｂ）に示すように、ＣＤ−ＲＯＭ、磁気ディスクなどの記録媒体３９３が添付されたカメラ３１０が搬送されるようになっている。記録媒体３９３には、第２の光学系位置情報が記録されており、第２の光学系位置情報をコンピュータ３９１からＥＣＵ３９２に移送するために用いられるようになっている。
【０１８０】
なお、本実施の形態では、第１の作業場所から第２の作業場所には、カメラ３１０および記録媒体３９３が搬送されるようになっているが、図２７に示すように、カメラ３１０、第２の光学系位置情報保持部３３０および補正部３６０によって構成されたカメラユニット３９４が搬送されるように構成してもよい。
【０１８１】
次に、本実施の形態に係るカメラ補正装置の動作について説明する。
【０１８２】
図２８において、カメラ補正装置３００は、次の工程で第２の光学系位置情報を補正する。
【０１８３】
まず、カメラ３１０が、第１の作業場所に設置され、第１の座標系３０１に対して所定の位置に配置される（Ｓ３０１）。そして、第１の筐体位置情報、第２の筐体位置情報および校正マーカ位置情報が、第１の筐体位置情報保持部３１５、第２の筐体位置情報保持部３１６および校正マーカ位置情報保持部３２５にそれぞれ保持される（Ｓ３０２）。ここで、第１の筐体位置情報、第２の筐体位置情報および校正マーカ位置情報は、測定器によって測定された位置、設計において設定された位置などを基にして取得される。
【０１８４】
次に、カメラ３１０によって校正マーカ３０５が撮影され（Ｓ３０３）、第１の光学系位置情報生成部３１７が、カメラ３１０によって取得された校正マーカ３０５の画像情報に基づいて、校正マーカ位置情報保持部３２５に保持された校正マーカ位置情報から、第１の光学系位置情報を生成する（Ｓ３０４）。そして、第１の光学系位置情報生成部３１７によって生成された第１の光学系位置情報が、第１の光学系位置情報保持部３１８に保持される（Ｓ３０５）。
【０１８５】
次に、第２の光学系位置情報生成部３２０が、第１の筐体位置情報保持部３１５に保持された第１の筐体位置情報および第１の光学系位置情報保持部３１８に保持された第１の光学系位置情報に基づいて、第２の筐体位置情報保持部３１６に保持された第２の筐体位置情報から、第２の光学系位置情報を生成する（Ｓ３０６）。そして、第２の光学系位置情報生成部３２０によって生成された第２の光学系位置情報が、第２の光学系位置情報保持部３３０に保持される（Ｓ３０７）。
【０１８６】
次に、カメラ３１０および記録媒体３９３が、第１の作業場所から第２の作業場所に搬送される。そして、カメラ３１０が、第２の作業場所において車両３０８に設置され、第２の座標系３０２に対して所定の位置に配置される（Ｓ３０８）。
【０１８７】
次に、カメラ３１０によって路面３０２ａが撮影され（Ｓ３０９）、平面投影画像生成部３６１が、図２２（ｂ）、図２３（ｂ）、図２４（ｂ）および図２５（ｂ）に示すように、カメラ３１０によって取得された第２の座標系３０２における画像情報から平面投影画像を生成する（Ｓ３１０）。
【０１８８】
次に、平面投影画像分割部３６２が、図２２（ｂ）、図２３（ｂ）、図２４（ｂ）および図２５（ｂ）に示すように、平面投影画像生成部３６１によって生成された平面投影画像を画像領域３８６ａから３８６ｄに分割する（Ｓ３１１）。
【０１８９】
次に、動きベクトル抽出部３６３が、図２２（ｂ）、図２３（ｂ）、図２４（ｂ）および図２５（ｂ）に示すように、平面投影画像分割部３６２によって分割された各画像領域から各動きベクトルを抽出する（Ｓ３１２）。
【０１９０】
次に、補正量算出部３６４が、図２５（ｂ）に示すように、平面投影画像の画像座標系３７１に対する基準線３８０の傾きに基づいて、第２の光学系位置情報保持部３３０に保持された第２の光学系位置情報のｚ軸まわりの補正量を算出する（Ｓ３１３）。そして、補正量算出部３６４が、図２２（ｃ）、図２３（ｃ）および図２４（ｃ）に示すように、動きベクトル抽出部３６３によって抽出された各動きベクトルに基づいて、第２の光学系位置情報保持部３３０に保持された第２の光学系位置情報のｘ軸、ｙ軸まわりの補正量を算出する（Ｓ３１４）。
【０１９１】
そして、光学系位置情報補正部３６５が、補正量算出部３６４によって算出された補正量に基づいて、第２の光学系位置情報保持部３３０に保持された第２の光学系位置情報を補正して（Ｓ３１５）、工程を終了する。なお、本実施の形態では、上述したステップＳ３０１からＳ３１５を記述したプログラムをコンピュータに実行させてもよい。
【０１９２】
以上説明したように、本実施の形態においては、動きベクトル３８８ａから３８８ｄを利用して第２の光学系位置情報を補正することができる。
【０１９３】
また、本実施の形態においては、画像領域３８６ａから３８６ｄにおける動きベクトル３８８ａから３８８ｄを容易に抽出することができる。
【０１９４】
また、本実施の形態においては、分割マーカ３０７を利用して平面投影画像を正確に分割することができる。
（第４の実施の形態）
【０１９５】
図２９から図３８は、本発明に係るカメラ補正装置の第４の実施の形態を示す図である。
【０１９６】
まず、本実施の形態に係るカメラ補正装置の構成について説明する。
【０１９７】
図２９から図３１において、カメラ補正装置４００は、撮像装置としてのカメラ４１０に接続されるようになっている。カメラ４１０は、筐体４１１と筐体４１１に支持された光学系４１２とを有しており、光学系４１２を介して画像情報を取得するようになっている。
【０１９８】
カメラ補正装置４００は、第１の座標系４０１に対する筐体４１１の位置を示す第１の筐体位置情報を保持する第１の筐体位置情報保持部４１５と、第２の座標系４０２に対する筐体４１１の位置を示す第２の筐体位置情報を保持する第２の筐体位置情報保持部４１６と、第１の座標系４０１に対する校正マーカ４０５の位置を示す校正マーカ位置情報を保持する校正マーカ位置情報保持部４２５と、第２の座標系４０２に対する車両４０８の一部、例えば、車体の後部に設けられたバンパー部４０９の位置を示す車体位置情報を保持する車体位置情報保持部４２６とを備えている。
【０１９９】
第１の座標系４０１は、カメラ生産工場などの第１の作業場所に設けられている。第１の座標系４０１には、Ｘ１軸、Ｙ１軸、Ｚ１軸が設けられ、第１の作業場所に設置されたカメラ４１０の校正を行うための校正マーカ４０５が配置されている。校正マーカ４０５は、３次元に配列された複数の点によって構成されており、それぞれの点は、第１の座標系４０１に対して所定の位置に配置されている。また、校正マーカ４０５は、第１の作業場所に設置されたカメラ４１０の視野範囲を覆うように配置されている。
【０２００】
第２の座標系４０２は、車両生産工場などの第２の作業場所に設けられている。第２の座標系４０２には、Ｘ２軸、Ｙ２軸、Ｚ２軸が設けられ、第２の座標系４０２のＸ２Ｙ２平面は、車両４０８が設置される路面４０２ａを構成している。路面４０２ａには、補正板４０６が配置されている。補正板４０６は、単一色であって、明度、色度、彩度が車両４０８の色と異なる色に塗装されており、車両４０８の下に敷設されている。
【０２０１】
カメラ補正装置４００は、第１の作業場所においてカメラ４１０の校正を行うようになっている。カメラ４１０は、第１の座標系４０１に対して所定の位置に配置されており、このときの筐体４１１の位置を示す第１の筐体位置情報が、第１の筐体位置情報保持部４１５に保持されるようになっている。ここで、カメラ４１０の校正とは、カメラ４１０が第２の作業場所において車両４０８に設置されたときの光学系４１２の位置を算出する動作である。
【０２０２】
カメラ補正装置４００によって校正されたカメラ４１０は、第２の作業場所において車両４０８に設置されるようになっている。カメラ４１０は、第２の座標系４０２に対して所定の位置に配置されており、このときの筐体４１１の位置を示す第２の筐体位置情報が、第２の筐体位置情報保持部４１６に保持されるようになっている。ここで、第２の筐体位置情報は、筐体４１１が車両４０８に対して正確な位置に設置された場合の筐体４１１の位置を示している。
【０２０３】
また、カメラ補正装置４００は、第１の座標系４０１に対する光学系４１２の位置を示す第１の光学系位置情報を生成する第１の光学系位置情報生成部４１７と、第１の光学系位置情報生成部４１７によって生成された第１の光学系位置情報を保持する第１の光学系位置情報保持部４１８とを備えている。
【０２０４】
第１の光学系位置情報生成部４１７は、カメラ４１０によって取得された校正マーカ４０５の画像情報に基づいて、校正マーカ位置情報保持部４２５に保持された校正マーカ位置情報から、第１の座標系４０１に対する光学系４１２の位置を算出するようになっている。ここで、光学系４１２の位置とは、光学系４１２の光学中心および光軸の位置を含むものである。第１の座標系４０１に対する光学系４１２の位置を算出する方法としては、文献１に記載された方法を用いることができる。
【０２０５】
また、カメラ補正装置４００は、第２の座標系４０２に対する光学系４１２の位置を示す第２の光学系位置情報を生成する第２の光学系位置情報生成部４２０と、第２の光学系位置情報生成部４２０によって生成された第２の光学系位置情報を保持する第２の光学系位置情報保持部４３０とを備えている。
【０２０６】
第２の光学系位置情報生成部４２０は、第１の筐体位置情報保持部４１５に保持された第１の筐体位置情報および第１の光学系位置情報保持部４１８に保持された第１の光学系位置情報に基づいて、第２の筐体位置情報保持部４１６に保持された第２の筐体位置情報から、第２の座標系４０２に対する光学系４１２の位置を算出するようになっている。
【０２０７】
第２の光学系位置情報生成部４２０は、第１の実施の形態における第２の光学系位置情報生成部１２０と同様の方法によって第２の座標系４０２に対する光学系４１２の位置を算出するようになっている。
【０２０８】
第２の作業場所において車両４０８に設置されたカメラ４１０には、図３２に示すように、第２の光学系位置情報を基準とするカメラ座標系４１３が構成されている。カメラ座標系４１３には、ｘ軸、ｙ軸、ｚ軸が設けられ、カメラ座標系４１３の原点は、光学系４１２の光学中心と一致するようになっている。カメラ座標系４１３のｘ軸は、カメラ４１０の左右方向に設けられ、カメラ座標系４１３のｙ軸は、カメラ４１０の上下方向に設けられ、カメラ座標系４１３のｚ軸は、光学系４１２の光軸と一致するように設けられている。
【０２０９】
また、カメラ座標系４１３の原点からｚ軸方向に焦点距離ｆだけ離隔した平面には、画像座標系４１４が構成されている。画像座標系４１４には、ｐ軸、ｑ軸が設けられている。路面４０２ａ上の点Ｐは、光学系４１２を介して画像座標系４１４の結像位置Ｐ’に結像するようになっている。カメラ４１０は、光学系４１２を介して画像座標系４１４に結像した画像を画像情報として取得するようになっている。
【０２１０】
また、カメラ補正装置４００は、カメラ４１０の画像座標系４１４に対するバンパー部４０９の予測位置情報を生成する予測位置情報生成部４４０と、予測位置情報生成部４４０によって生成された予測位置情報を保持する予測位置情報保持部４５０とを備えている。
【０２１１】
予測位置情報生成部４４０は、第２の光学系位置情報生成部４２０によって生成された第２の光学系位置情報に基づいて、車体位置情報保持部４２６に保持された車体位置情報から、カメラ４１０の画像座標系４１４に対するバンパー部４０９の予測位置を算出するようになっている。カメラ４１０の画像座標系４１４に対するバンパー部４０９の予測位置を算出する方法としては、上記の文献１に記載された方法を用いることができる。
【０２１２】
第２の座標系１０２に設置された車両４０８のバンパー部４０９は、図３３に示すように、光学系４１２を介して画像座標系４１４の結像位置Ｐ’に結像するようになっている。ここで、結像位置Ｐ’は、筐体４１１が車両４０８に対して正確な位置、即ち、第２の筐体位置情報に含まれる位置に設置され、第２の光学系位置情報に誤差が生じていない場合、予測位置情報生成部４４０によって算出された予測位置Ｐと一致するようになっている。しかしながら、実際には、筐体４１１が車両４０８に対して不正確な位置に設置され、第２の光学系位置情報に誤差が生じることにより、画像座標系４１４における結像位置Ｐ’は、予測位置Ｐから離隔している。
【０２１３】
このような第２の光学系位置情報の誤差を補正するため、カメラ補正装置４００は、第２の光学系位置情報保持部４３０に保持された第２の光学系位置情報を補正する補正部４６０を備えている。
【０２１４】
補正部４６０は、カメラ４１０によって取得されたバンパー部４０９の画像情報および予測位置情報保持部４５０に保持された予測位置情報に基づいて、第２の光学系位置情報保持部４３０に保持された第２の光学系位置情報を補正するようになっている。
【０２１５】
補正部４６０は、カメラ４１０によって取得されたバンパー部４０９の画像情報から、カメラ４１０の画像座標系４１４に対するバンパー部４０９の結像位置情報を抽出する結像位置情報抽出部４７０と、結像位置情報抽出部４７０によって抽出された結像位置情報および予測位置情報保持部４５０に保持された予測位置情報に基づいて、第２の光学系位置情報保持部４３０に保持された第２の光学系位置情報の補正量を算出する補正量算出部４８０と、補正量算出部４８０によって算出された補正量に基づいて、第２の光学系位置情報保持部４３０に保持された第２の光学系位置情報を補正する光学系位置情報補正部４９０とを有している。
【０２１６】
補正量算出部４８０は、結像位置情報に含まれるバンパー部４０９の輪郭線と予測位置情報に含まれるバンパー部４０９の輪郭線とを重ね合わせるマッチング部４８１と、マッチング部４８１によって重ね合わされたバンパー部４０９の輪郭線から複数の点、例えば、両端の点を抽出する抽出部４８２と、結像位置情報に含まれる点と予測位置情報に含まれる点とを比較することにより第２の光学系位置情報の補正量を算出する演算部４８３とを有している。
【０２１７】
マッチング部４８１は、予測位置情報に含まれるバンパー部４０９の輪郭線Ｐ（図３４（ａ）参照）に対して、結像位置情報に含まれるバンパー部４０９の輪郭線Ｐ’（図３４（ｂ）参照）を、移動させたり回転させたりすることにより、重ね合わせるようになっている（図３４（ｃ）参照）。
【０２１８】
抽出部４８２は、図３５（ａ）に示すように、マッチング部４８１によって重ね合わされたバンパー部４０９の輪郭線Ｐ、Ｐ’から、輪郭線Ｐ、Ｐ’が重なった部分の両端の点（Ｐ１，Ｐ２）、（Ｐ１’，Ｐ２’）を抽出するようになっている。
【０２１９】
演算部４８３は、予測位置情報に含まれる点（Ｐ１，Ｐ２）（図３５（ｂ）参照）と、結像位置情報に含まれる点（Ｐ１’，Ｐ２’）（図３５（ｃ）参照）とを比較することにより、第１の実施の形態における補正量算出部１８０と同様の方法によって第２の光学系位置情報の補正量を算出するようになっている。
【０２２０】
このように構成されたカメラ補正装置４００は、図３６に示すように、カメラ４１０を調整するためのコンピュータ４９１、カメラ４１０を制御する撮像制御装置としてのＥＣＵ４９２などによって実現されている。
【０２２１】
コンピュータ４９１は、ＣＰＵ、ＲＡＭ、ＲＯＭ、入出力インターフェイスなどによって構成されており、図３６（ａ）に示すように、第１の作業場所においてカメラ４１０に接続されるようになっている。なお、本実施の形態において、コンピュータ４９１は、上述した第１の筐体位置情報保持部４１５、第２の筐体位置情報保持部４１６、第１の光学系位置情報生成部４１７、第１の光学系位置情報保持部４１８、第２の光学系位置情報生成部４２０、校正マーカ位置情報保持部４２５、車体位置情報保持部４２６、第２の光学系位置情報保持部４３０、予測位置情報生成部４４０および予測位置情報保持部４５０を構成している。
【０２２２】
ＥＣＵ４９２は、ＣＰＵ、ＲＡＭ、ＲＯＭ、入出力インターフェイスなどによって構成されており、図３６（ｃ）に示すように、第２の作業場所においてカメラ４１０に接続され、車両４０８に搭載されるようになっている。なお、本実施の形態において、ＥＣＵ４９２は、上述した第２の光学系位置情報保持部４３０、予測位置情報保持部４５０および補正部４６０を構成している。
【０２２３】
第１の作業場所から第２の作業場所には、図３６（ｂ）に示すように、ＣＤ−ＲＯＭ、磁気ディスクなどの記録媒体４９３が添付されたカメラ４１０が搬送されるようになっている。記録媒体４９３には、第２の光学系位置情報および予測位置情報が記録されており、第２の光学系位置情報および予測位置情報をコンピュータ４９１からＥＣＵ４９２に移送するために用いられるようになっている。
【０２２４】
なお、本実施の形態では、第１の作業場所から第２の作業場所には、カメラ４１０および記録媒体４９３が搬送されるようになっているが、図３７に示すように、カメラ４１０、第２の光学系位置情報保持部４３０、予測位置情報保持部４５０および補正部４６０によって構成されたカメラユニット４９４が搬送されるように構成してもよい。
【０２２５】
次に、本実施の形態に係るカメラ補正装置の動作について説明する。
【０２２６】
図３８において、カメラ補正装置４００は、次の工程で第２の光学系位置情報を補正する。
【０２２７】
まず、カメラ４１０が、第１の作業場所に設置され、第１の座標系４０１に対して所定の位置に配置される（Ｓ４０１）。そして、第１の筐体位置情報、第２の筐体位置情報、校正マーカ位置情報および車体位置情報が、第１の筐体位置情報保持部４１５、第２の筐体位置情報保持部４１６、校正マーカ位置情報保持部４２５および車体位置情報保持部４２６にそれぞれ保持される（Ｓ４０２）。ここで、第１の筐体位置情報、第２の筐体位置情報、校正マーカ位置情報および車体位置情報は、測定器によって測定された位置、設計において設定された位置などを基にして取得される。
【０２２８】
次に、カメラ４１０によって校正マーカ４０５が撮影され（Ｓ４０３）、第１の光学系位置情報生成部４１７が、カメラ４１０によって取得された校正マーカ４０５の画像情報に基づいて、校正マーカ位置情報保持部４２５に保持された校正マーカ位置情報から、第１の光学系位置情報を生成する（Ｓ４０４）。そして、第１の光学系位置情報生成部４１７によって生成された第１の光学系位置情報が、第１の光学系位置情報保持部４１８に保持される（Ｓ４０５）。
【０２２９】
次に、第２の光学系位置情報生成部４２０が、第１の筐体位置情報保持部４１５に保持された第１の筐体位置情報および第１の光学系位置情報保持部４１８に保持された第１の光学系位置情報に基づいて、第２の筐体位置情報保持部４１６に保持された第２の筐体位置情報から、第２の光学系位置情報を生成する（Ｓ４０６）。そして、第２の光学系位置情報生成部４２０によって生成された第２の光学系位置情報が、第２の光学系位置情報保持部４３０に保持される（Ｓ４０７）。
【０２３０】
次に、予測位置情報生成部４４０が、第２の光学系位置情報生成部４２０によって生成された第２の光学系位置情報に基づいて、車体位置情報保持部４２６に保持された車体位置情報から、カメラ４１０の画像座標系４１４に対するバンパー部４０９の予測位置情報を生成する（Ｓ４０８）。そして、予測位置情報生成部４４０によって生成された予測位置情報が、予測位置情報保持部４５０に保持される（Ｓ４０９）。
【０２３１】
次に、カメラ４１０および記録媒体４９３が、第１の作業場所から第２の作業場所に搬送される。そして、カメラ４１０が、第２の作業場所において車両４０８に設置され、第２の座標系４０２に対して所定の位置に配置される（Ｓ４１０）。
【０２３２】
次に、カメラ４１０によって補正板４０６を背景にしてバンパー部４０９が撮影され（Ｓ４１１）、結像位置情報抽出部４７０が、図３３に示すように、カメラ４１０によって取得されたバンパー部４０９の画像情報から、カメラ４１０の画像座標系４１４に対するバンパー部４０９の結像位置情報を抽出する（Ｓ４１２）。
【０２３３】
次に、マッチング部４８１が、図３４に示すように、予測位置情報に含まれるバンパー部４０９の輪郭線Ｐに対して、結像位置情報に含まれるバンパー部４０９の輪郭線Ｐ’を重ね合わせる（Ｓ４１３）。
【０２３４】
次に、図３５に示すように、抽出部４８２が、バンパー部４０９の輪郭線Ｐ、Ｐ’から、輪郭線Ｐ、Ｐ’が重なった部分の両端の点（Ｐ１，Ｐ２）、（Ｐ１’，Ｐ２’）を抽出する（Ｓ４１４）。そして、演算部４８３が、予測位置情報に含まれる点（Ｐ１，Ｐ２）と、結像位置情報に含まれる点（Ｐ１’，Ｐ２’）とを比較することにより、第２の光学系位置情報の補正量を算出する（Ｓ４１５）。
【０２３５】
そして、光学系位置情報補正部４９０が、補正量算出部４８０によって算出された補正量に基づいて、第２の光学系位置情報保持部４３０に保持された第２の光学系位置情報を補正して（Ｓ４１６）、工程を終了する。なお、本実施の形態では、上述したステップＳ４０１からＳ４１６を記述したプログラムをコンピュータに実行させてもよい。
【０２３６】
以上説明したように、本実施の形態においては、車両４０８などに設置されたカメラ４１０の光学系４１２のパラメータを補正することができ、路面上の対象物の位置を正確に検出することができる。
【０２３７】
また、本実施の形態においては、バンパー部４０９を利用して第２の光学系位置情報を補正することができる。
【０２３８】
また、本実施の形態においては、バンパー部４０９の輪郭線から点を抽出することができ、第２の光学系位置情報の補正量を確実に算出することができる。
【０２３９】
【発明の効果】
以上説明したように、本発明によれば、車両などに設置されたカメラの光学系のパラメータを補正することができるカメラ補正装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るカメラ補正装置および撮像装置としてのカメラを示すブロック図
【図２】図１に示されたカメラが設置された第１の座標系を示す斜視図
【図３】図１に示されたカメラが設置された第２の座標系を示す斜視図
【図４】図１に示されたカメラの座標系を示す斜視図
【図５】図１に示されたカメラの画像座標系を示す平面図
【図６】図１に示されたカメラの平行移動を示す斜視図
【図７】図１に示されたカメラの回転動作を示す斜視図
【図８】図１に示されたカメラの平行移動を示す側面図
【図９】図１に示されたカメラの回転動作を示す側面図
【図１０】図１に示されたカメラ補正装置の結像位置情報抽出部を示すブロック図
【図１１】図１に示されたカメラ補正装置を実現するためのコンピュータおよびＥＣＵを示すブロック図
【図１２】図１に示されたカメラ補正装置のカメラユニットを示すブロック図
【図１３】図１に示されたカメラ補正装置の補正動作を示すフローチャート
【図１４】本発明の第２の実施の形態に係るカメラ補正装置および撮像装置としてのカメラを示すブロック図
【図１５】図１４に示されたカメラの画像座標系を示す平面図
【図１６】図１４に示されたカメラ補正装置の補正動作を示すフローチャート
【図１７】本発明の第３の実施の形態に係るカメラ補正装置および撮像装置としてのカメラを示すブロック図
【図１８】図１７に示されたカメラが設置された第１の座標系を示す斜視図
【図１９】図１７に示されたカメラが設置された第２の座標系を示す斜視図
【図２０】図１７に示されたカメラの座標系を示す斜視図
【図２１】図１７に示されたカメラ補正装置の仮想カメラを示す側面図
【図２２】図１７に示されたカメラ補正装置の補正部の動作を示す説明図
【図２３】図１７に示されたカメラ補正装置の補正部の動作を示す説明図
【図２４】図１７に示されたカメラ補正装置の補正部の動作を示す説明図
【図２５】図１７に示されたカメラ補正装置の補正部の動作を示す説明図
【図２６】図１７に示されたカメラ補正装置を実現するためのコンピュータおよびＥＣＵを示すブロック図
【図２７】図１７に示されたカメラ補正装置のカメラユニットを示すブロック図
【図２８】図１７に示されたカメラ補正装置の補正動作を示すフローチャート
【図２９】本発明の第４の実施の形態に係るカメラ補正装置および撮像装置としてのカメラを示すブロック図
【図３０】図２９に示されたカメラが設置された第１の座標系を示す斜視図
【図３１】図２９に示されたカメラが設置された第２の座標系を示す斜視図
【図３２】図２９に示されたカメラの座標系を示す斜視図
【図３３】図２９に示されたカメラの画像座標系を示す平面図
【図３４】図２９に示されたカメラ補正装置の補正部の動作を示す説明図
【図３５】図２９に示されたカメラ補正装置の補正部の動作を示す説明図
【図３６】図２９に示されたカメラ補正装置を実現するためのコンピュータおよびＥＣＵを示すブロック図
【図３７】図２９に示されたカメラ補正装置のカメラユニットを示すブロック図
【図３８】図２９に示されたカメラ補正装置の補正動作を示すフローチャート
【図３９】従来のカメラ校正装置および撮像装置としてのカメラを示すブロック図
【図４０】図３９に示されたカメラが設置された第１の座標系を示す斜視図
【図４１】図３９に示されたカメラが設置された第２の座標系を示す斜視図
【符号の説明】
１００　カメラ補正装置
１０１　第１の座標系
１０２　第２の座標系
１０５　校正マーカ
１０６　補正マーカ
１１０　カメラ（撮像装置）
１１１　筐体
１１２　光学系
１１５　第１の筐体位置情報保持部（第１の筐体位置情報保持手段）
１１６　第２の筐体位置情報保持部（第２の筐体位置情報保持手段）
１１７　第１の光学系位置情報生成部（第１の光学系位置情報生成手段）
１１８　第１の光学系位置情報保持部（第１の光学系位置情報保持手段）
１２０　第２の光学系位置情報生成部（第２の光学系位置情報生成手段）
１３０　第２の光学系位置情報保持部（第２の光学系位置情報保持手段）
１４０　予測位置情報生成部（予測位置情報生成手段）
１５０　予測位置情報保持部（予測位置情報保持手段）
１６０　補正部（補正手段）
１７０　結像位置情報抽出部（結像位置情報抽出手段）
１７１　画像情報表示部（画像情報表示手段）
１７２　結像位置指定部（結像位置指定手段）
１８０　補正量算出部（補正量算出手段）
１９０　光学系位置情報補正部（光学系位置情報補正手段）
２００　カメラ補正装置
２６０　補正部（補正手段）
２７０　結像位置情報抽出部（結像位置情報抽出手段）
２７１　予測範囲情報保持部（予測範囲情報保持手段）
２７２　結像位置検索部（結像位置検索手段）
２８０　補正量算出部（補正量算出手段）
２９０　光学系位置情報補正部（光学系位置情報補正手段）
３００　カメラ補正装置
３０１　第１の座標系
３０２　第２の座標系
３０５　校正マーカ
３０７　分割マーカ
３１０　カメラ（撮像装置）
３１１　筐体
３１２　光学系
３１５　第１の筐体位置情報保持部（第１の筐体位置情報保持手段）
３１６　第２の筐体位置情報保持部（第２の筐体位置情報保持手段）
３１７　第１の光学系位置情報生成部（第１の光学系位置情報生成手段）
３１８　第１の光学系位置情報保持部（第１の光学系位置情報保持手段）
３２０　第２の光学系位置情報生成部（第２の光学系位置情報生成手段）
３３０　第２の光学系位置情報保持部（第２の光学系位置情報保持手段）
３６０　補正部（補正手段）
３６１　平面投影画像生成部（平面投影画像生成手段）
３６２　平面投影画像分割部（平面投影画像分割手段）
３６３　動きベクトル抽出部（動きベクトル抽出手段）
３６４　補正量算出部（補正量算出手段）
３６５　光学系位置情報補正部（光学系位置情報補正手段）
３８６ａ、３８６ｂ、３８６ｃ、３８６ｄ　画像領域
３８８ａ、３８８ｂ、３８８ｃ、３８８ｄ　動きベクトル
４００　カメラ補正装置
４０１　第１の座標系
４０２　第２の座標系
４０５　校正マーカ
４０６　補正板
４０８　車両
４１０　カメラ（撮像装置）
４１１　筐体
４１２　光学系
４１５　第１の筐体位置情報保持部（第１の筐体位置情報保持手段）
４１６　第２の筐体位置情報保持部（第２の筐体位置情報保持手段）
４１７　第１の光学系位置情報生成部（第１の光学系位置情報生成手段）
４１８　第１の光学系位置情報保持部（第１の光学系位置情報保持手段）
４２０　第２の光学系位置情報生成部（第２の光学系位置情報生成手段）
４３０　第２の光学系位置情報保持部（第２の光学系位置情報保持手段）
４４０　予測位置情報生成部（予測位置情報生成手段）
４５０　予測位置情報保持部（予測位置情報保持手段）
４６０　補正部（補正手段）
４７０　結像位置情報抽出部（結像位置情報抽出手段）
４８０　補正量算出部（補正量算出手段）
４８１　マッチング部（マッチング手段）
４８２　抽出部（抽出手段）
４８３　演算部（演算手段）
４９０　光学系位置情報補正部（光学系位置情報補正手段）
【図１】
2004004043.tif 000009
【図２】
2004004043.tif 000010
【図３】
2004004043.tif 000011
【図４】
2004004043.tif 000012
【図５】
2004004043.tif 000013
【図６】
2004004043.tif 000014
【図７】
2004004043.tif 000015
【図８】
2004004043.tif 000016
【図９】
2004004043.tif 000017
【図１０】
2004004043.tif 000018
【図１１】
2004004043.tif 000019
【図１２】
2004004043.tif 000020
【図１３】
2004004043.tif 000021
【図１４】
2004004043.tif 000022
【図１５】
2004004043.tif 000023
【図１６】
2004004043.tif 000024
【図１７】
2004004043.tif 000025
【図１８】
2004004043.tif 000026
【図１９】
2004004043.tif 000027
【図２０】
2004004043.tif 000028
【図２１】
2004004043.tif 000029
【図２２】
2004004043.tif 000030
【図２３】
2004004043.tif 000031
【図２４】
2004004043.tif 000032
【図２５】
2004004043.tif 000033
【図２６】
2004004043.tif 000034
【図２７】
2004004043.tif 000035
【図２８】
2004004043.tif 000036
【図２９】
2004004043.tif 000037
【図３０】
2004004043.tif 000038
【図３１】
2004004043.tif 000039
【図３２】
2004004043.tif 000040
【図３３】
2004004043.tif 000041
【図３４】
2004004043.tif 000042
【図３５】
2004004043.tif 000043
【図３６】
2004004043.tif 000044
【図３７】
2004004043.tif 000045
【図３８】
2004004043.tif 000046
【図３９】
2004004043.tif 000047
【図４０】
2004004043.tif 000048
【図４１】
2004004043.tif 000049