(57)【要約】【課題】特定の路面標示や、予め記憶した路面標示の特徴量を必要とすることなくカメラの校正を行える「車載カメラ校正システム及びコンピュータプログラム」を提供する。【解決手段】カメラ１で撮影した二つ画像フレームから特徴点を抽出し、同じ地点を表す特徴点のペアにペアリングする。画像フレーム上の座標と、当該画像フレーム上の座標に写り込む地点の前記自動車に固定された世界座標系上の座標との、カメラ姿勢を変数として用いた関係式に従って、前記ペアにペアリングされた二つの特徴点の前記画像フレーム上の座標を用いて示される、当該ペアにペアリングされた二つの特徴点が表す地点の世界座標系上の移動量と、自動車の車速から算出した当該自動車の移動量Ｄｙに対する誤差の、各ペアについての総和が最小となるように、カメラの姿勢を算出する。【選択図】図５
2011217233.tif 000002
【特許請求の範囲】
【請求項１】
自動車に搭載されたカメラの姿勢を校正する車載カメラ校正システムであって、
前記カメラによって異なる時点において撮影した二つの画像フレームから特徴点を抽出し、前記二つの各画像フレームから各々抽出された同じ地点を表す二つの特徴点をペアにペアリングする特徴点ペアリング手段と、
前記二つの画像フレームの撮影時点間における、前記自動車の移動量を、前記自動車の車速に基づいて算出する移動量算出手段と、
前記画像フレーム上の座標と、当該画像フレーム上の座標に写り込む地点の前記自動車に対して固定された世界座標系上の座標とのカメラ姿勢を変数として用いた関係式に従って、前記ペアにペアリングされた二つの特徴点の前記画像フレーム上の座標を用いて示される、当該ペアにペアリングされた二つの特徴点が表す地点の世界座標系上の移動量の、前記移動量算出手段が算出した移動量に対する誤差の、各ペアについての総和が最小となるように、前記カメラの前記世界座標系上での回転角を算出するカメラ姿勢算出手段とを有することを特徴とする車載カメラ校正システム。
【請求項２】
請求項１記載の車載カメラ校正システムであって、
前記世界座標系は、前記自動車の前後方向、左右方向、高さ方向を直交する３軸とする三次元座標系であり、
前記移動量算出手段は、前記自動車の前後方向にのみ自動車が移動し、前記左右方向、高さ方向についての移動はしないものとして、前記自動車の車速に前記二つの画像フレームの撮影時点間の時間差を乗じて、前記自動車の移動量を算出することを特徴とする車載カメラ校正システム。
【請求項３】
カメラを備えた自動車に搭載されたコンピュータによって読みとられるコンピュータプログラムであって、
前記コンピュータを、
前記カメラによって異なる時点において撮影した二つの画像フレームから特徴点を抽出し、前記二つの各画像フレームから各々抽出された同じ地点を表す二つの特徴点をペアにペアリングする特徴点ペアリング手段と、
前記二つの画像フレームの撮影時点間における、前記自動車の移動量を、前記自動車の車速に基づいて算出する移動量算出手段と、
前記画像フレーム上の座標と、当該画像フレーム上の座標に写り込む地点の前記自動車に対して固定された世界座標系上の座標とのカメラ姿勢を変数として用いた関係式に従って、前記ペアにペアリングされた二つの特徴点の前記画像フレーム上の座標を用いて示される、当該ペアにペアリングされた二つの特徴点が表す地点の世界座標系上の移動量の、前記移動量算出手段が算出した移動量に対する誤差の、各ペアについての総和が最小となるように、前記カメラの前記世界座標系上での回転角を算出するカメラ姿勢算出手段として機能させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車に搭載されたカメラを校正する技術に関するものである。
【背景技術】
【０００２】
自動車に搭載されたカメラを校正する技術としては、路面標示の寸法等の特徴量を予め記憶しておき、カメラで撮影した路面標示と、当該路面標示の特徴量とに基づいて、カメラの回転角などを校正する技術が知られている（たとえば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８-１１１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述した、カメラで撮影した路面標示と、当該路面標示の特徴量とに基づいて、カメラの回転角などを校正する技術によれば、予め路面標示の特徴量を記憶する必要がある他、特徴量を記憶している特定の路面標示が存在する箇所でしかカメラの校正を行うことができない。
【０００５】
そこで、本発明は、特定の路面標示や、予め記憶した路面標示の特徴量を必要とすることなく、自動車に搭載されたカメラの校正を行うことを課題とする。
【課題を解決するための手段】
【０００６】
自動車に搭載されたカメラの姿勢を校正する車載カメラ校正システムに、前記カメラによって異なる時点において撮影した二つの画像フレームから特徴点を抽出し、前記二つの各画像フレームから各々抽出された同じ地点を表す二つの特徴点をペアにペアリングする特徴点ペアリング手段と、前記二つの画像フレームの撮影時点間における、前記自動車の移動量を、前記自動車の車速に基づいて算出する移動量算出手段と、前記画像フレーム上の座標と、当該画像フレーム上の座標に写り込む地点の前記自動車に対して固定された世界座標系上の座標とのカメラ姿勢を変数として用いた関係式に従って、前記ペアにペアリングされた二つの特徴点の前記画像フレーム上の座標を用いて示される、当該ペアにペアリングされた二つの特徴点が表す地点の世界座標系上の移動量の、前記移動量算出手段が算出した移動量に対する誤差の、各ペアについての総和が最小となるように、前記カメラの前記世界座標系上での回転角を算出するカメラ姿勢算出手段とを備えたものである。
【０００７】
ここで、このような車載カメラ校正システムにおいて、前記世界座標系は、前記自動車の前後方向、左右方向、高さ方向を直交する３軸とする三次元座標系であってよく、前記移動量算出手段は、前記自動車の前後方向にのみ自動車が移動し、前記左右方向、高さ方向についての移動はしないものとして、前記自動車の車速に前記二つの画像フレームの撮影時点の時間差を乗じて、前記自動車の移動量を算出するものであってよい。
【０００８】
このような車載カメラ校正システムによれば、特徴点は任意の地点を表すものであって良いので、特定の路面標示や、予め記憶した路面標示の特徴量を必要とすることなく、自動車に搭載されたカメラの校正を行うことができる。
【発明の効果】
【０００９】
以上のように、本発明によれば、特定の路面標示や、予め記憶した路面標示の特徴量を必要とすることなく、自動車に搭載されたカメラの校正を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る周辺モニタシステムの構成を示す図である。
【図２】本発明の実施形態に係るカメラ状態校正処理を示すフローチャートである。
【図３】本発明の実施形態に係るカメラ状態校正処理の動作例を示す図である。
【図４】本発明の実施形態に係るカメラ状態校正処理の動作例を示す図である。
【図５】本発明の実施形態に係るカメラ状態校正処理の動作例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る周辺モニタシステムの構成を示す。
本実施形態に係る周辺モニタシステムは、自動車に搭載されるシステムであり、図示するように、魚眼レンズを備えたカメラ１、カメラ１で撮影された画像を一時格納する画像メモリ２、表示画像生成部３、表示装置４、制御部５、車両状態センサ６、カメラ状態校正部７、入力装置８を備えている。
【００１２】
ただし、周辺モニタシステム、ハードウエアとしては、マイクロプロセッサやメモリやその他の周辺装置を備えたコンピュータを用いて構成することもでき、この場合、カメラ状態校正部７や表示画像生成部３や制御部５等は、マイクロプロセッサが所定のコンピュータプログラムを実行することにより実現されるものであってよい。
【００１３】
ここで、車両状態センサ６は、自動車の車速などの、自動車の各種状態を検出するセンサである。
また、カメラ１は、図１ｂに示すように、車両前端に配置され車両前方の映像を魚眼レンズを用いて撮影する。
そして、表示画像生成部３は、画像メモリ２に格納されたカメラ１で撮影した画像に対して、カメラ１の姿勢や配置に基づいた画像変換（歪み補正や視点変換等）を施して、前方のようすを歪みなく表す画像である前方画像や、自動車上方の視点から自動車前方のようすを表す画像である俯瞰画像などを生成し、表示装置４に表示する。
【００１４】
そして、カメラ状態校正部７は、以下に述べるカメラ状態校正処理によってカメラ１の姿勢を算出し、算出したカメラ１の姿勢を表すカメラ姿勢データを表示画像生成部３に設定する。そして、表示画像生成部３は、上述した画像変換を、カメラ状態校正部７から設定されたカメラ姿勢データが表すカメラ１の姿勢に基づいて行う。
【００１５】
以下、このカメラ状態校正部７が行うカメラ状態校正処理について説明する。
なお、このカメラ状態校正部７のカメラ状態校正処理は、オペレータからのカメラ状態校正要求が入力装置８を介して入力されたときに制御部５によって起動される。
図２に、カメラ状態校正部７が行うカメラ状態校正処理の手順を示す。
図示するように、この処理では、当該時点において画像メモリ２に可能されている最新の画像フレームＦ１と、当該時点において車両状態センサ６が検出している車速Ｖ１を取得する（ステップ２０２）。また、引き続き、当該時点において画像メモリ２に可能されている最新の画像フレームＦ２と、当該時点において車両状態センサ６が検出している車速Ｖ２を取得する（ステップ２０４）。
【００１６】
ただし、ステップ２０２の実行時刻と、ステップ２０４の実行時刻の時間間隔は、画像フレームＦ１、画像フレームＦ２として同じ画像フレームを取得してしまわないようにカメラ１のフレーム周期より大きな時間間隔となるようにする。
そして、ステップ２０２で取得した画像フレームＦ１の撮影時刻Ｔ１と、ステップ２０４で取得した画像フレームＦ２の撮影時刻Ｔ２との時間差Ｔを算出する（ステップ２０６）。時間差Ｔは、画像フレームＦ１がｎ番目の画像フレーム、画像フレームＦ２がｍ番目の画像フレームとして、ｍ-ｎにカメラ１のフレーム周期を乗じた時間として求めることができる。
【００１７】
また、画像フレームＦ１の撮影時刻Ｔ１から画像フレームＦ２の撮影時刻Ｔ２の間の車速Ｖを算出する（ステップ２０８）。車速Ｖは、ステップ２０２で取得した車速Ｖ１とステップ２０４で取得した車速Ｖ２の平均として求めるようにしてもよいし、車速Ｖ１と車速Ｖ２のいずれかを車速Ｖとすることにより求めてもよい。
【００１８】
そして、次に、画像フレームＦ１の画像中の特徴点ｐ１ｎと、画像フレームＦ２の画像中の特徴点ｐ２ｎとを抽出する（ステップ２１０）。
ここで、ステップ２１０で抽出する画像中の特徴点としては画像に含まれる直線パターン同士の交点や角等を用いる。すなわち、たとえば、図３に示すように画像フレームＦ１と画像フレームＦ２が取得された場合には、画像フレームＦ１からは、画像フレームＦ１の画像中に直線パターンとして現れる路面上の白線の交点/角であるｐ１１-ｐ１４を特徴点として抽出し、画像フレームＦ２からは、画像フレームＦ２の画像中に直線パターンとして現れる路面上の白線の交点/角であるｐ２１-ｐ２４を特徴点として抽出する。
【００１９】
そして、次に、画像フレームＦ１から抽出した特徴点ｐ１ｎと、画像フレームＦ２から抽出した特徴点ｐ２ｎとを、同じ地点を表すもの同士のペアＧｎにペアリングする（ステップ２１２）。このペアリングは、たとえば、画像フレームＦ１上の複数の特徴点の配置パターンと、画像フレームＦ２上の複数の特徴点の配置パターンとをマッチングすることにより、画像フレームＦ１の各特徴点ｐ１ｎに、当該特徴点ｐ１ｎの画像フレームＦ１上の配置パターン上の配置に対応する、画像フレームＦ２上の配置パターン上の配置を持つ画像フレームＦ２の特徴点ｐ２ｎを組み合わせる等により行うことができる。
【００２０】
このペアリングによって、たとえば、図３に示した場合では、画像フレームＦ１の特徴点ｐ１１と画像フレームＦ２の特徴点ｐ２１とがペアＧ１にペアリングされ、画像フレームＦ１の特徴点ｐ１２と画像フレームＦ２の特徴点ｐ２２とがペアＧ２にペアリングされ、画像フレームＦ１の特徴点ｐ１３と画像フレームＦ２の特徴点ｐ２３とがペアＧ３にペアリングされ、画像フレームＦ１の特徴点ｐ１４と画像フレームＦ２の特徴点ｐ２４とがペアＧ４にペアリングされることになる。
【００２１】
そして、次に、カメラ姿勢の算出を行い（ステップ２１４）、算出したカメラ１の姿勢を表すカメラ姿勢データを表示画像生成部３に設定し（ステップ２１６）、カメラ状態校正処理を終了する。
ここで、ステップ２１４におけるカメラ姿勢の算出は、次のように行う。
すなわち、まず、ペアＧｎにペアリングした各特徴点に対応する路面上の地点のカメラ座標系上の座標を次のように設定する。
いま、路面上の地点のカメラ座標系上の座標を設定する特徴点を特徴点ｐとする。
まず、図３に示すように、各画像フレームの二次元の直交座標系である画像座標系ＨＬ上における特徴点ｐの座標（Ｈ１、Ｌ１）を、式１によって、図４ａに示す、３次元の直交座標系ｘｙｚ座標系上の座標（ｘ１、ｙ１、０）に変換する。ただし、（Ｈｃ、Ｌｃ）は、画像座標系ＨＬ上における画像フレームの中心、すなわちカメラ１の撮影面中心の座標である。また、ｘｙｚ座標系は、原点が画像フレームの中心、すなわちカメラ１の撮影面中心となり、ｘ方向がＨＬ座標系のＨ方向に一致し、ｙ方向の正負がＨＬ座標系のＬ方向の正負と反対となるように設定する。
【００２２】
【数１】
2011217233.tif 000003
【００２３】
次に、特徴点ｐのｘｙｚ座標系上の座標（ｘ１、ｙ１、０）を、式２によって、図４ａに示す三次元の直交座標系であるカメラ座標系ＵＳＶ上の点Ｐの座標（ｕ１、ｓ１、ｖ１）に変換する。
【００２４】
【数２】
2011217233.tif 000004
【００２５】
ここで、カメラ座標系ＵＳＶは、原点Ｏがｘｙｚ座標系の原点と一致し、Ｕ方向がｘｙｚ座標系のｘ方向と一致し、Ｖ方向がｘｙｚ座標系のｙ方向と一致し、Ｓ方向がｘｙｚ座標系のｚ方向と一致するように設定する。また、ｘｙｚ座標系上で、魚眼レンズの作用により、座標（ｘ１、ｙ１、０）に投影される被写体が存在する方向をＲとして、θはＲ方向がＳ軸と成す角、φはＲ方向をＵＶ平面上に投影した方向がＵ軸と成す角である。そして、点Ｐは、カメラ座標系ＵＳＶ上の原点Ｏを中心とする半径１の半球面と、原点ＯからＲ方向に延ばした線分との交点の位置とする。
【００２６】
次に、点Ｐの座標（ｕ１、ｓ１、ｖ１）より、特徴点ｐに対応する路面上の地点Ｐｒのカメラ座標系ＵＳＶ上の座標（Ｕ１、Ｓ１、Ｖ１）を、式３により設定する。
【００２７】
【数３】
2011217233.tif 000005
【００２８】
ここで、ｎは、点Ｐの座標（ｕ１、ｓ１、ｖ１）を、地点Ｐｒの座標（Ｕ１、Ｓ１、Ｖ１）に変換するための倍率であり、当該ｎは、原点ＯからＯＰ方向に延ばした直線と路面との交点までの、原点Ｏからの長さに相当し、地点Ｐｒが原点Ｏを中心とする半径ｎの球面上にあることを意味する。ただし、この時点においてｎは未知数である。
【００２９】
次に、このようにして、各特徴点に対応する路面上の地点Ｐｒのカメラ座標系ＵＳＶ上の座標を設定したならば、特徴点の各ペアについて式４が成り立つこととなる。
【００３０】
【数４】
2011217233.tif 000006
【００３１】
ここで、（Ｕ１、Ｓ１、Ｖ１）は、ペア中の画像フレームＦ１の特徴点Ｐ１に対応する路面上の地点Ｐｒ１のカメラ座標系ＵＳＶ上の座標、（Ｕ２、Ｓ２、Ｖ２）は、ペア中の画像フレームＦ２の特徴点Ｐ２に対応する路面上の地点Ｐｒ２のカメラ座標系ＵＳＶ上の座標である。また、三次元の直交座標系である世界座標系ＸＹＺを、原点をカメラ１の撮影面中心、Ｙ方向を車両の前後方向、Ｘ方向をＹ方向と垂直な水平方向、Ｚ方向を高さ方向として、（Ｘ１、Ｙ１、Ｚ１）は、特徴点Ｐ１に対応する路面上の地点Ｐｒ１の世界座標系ＸＹＺ上の座標、（Ｘ２、Ｙ２、Ｚ２）は、特徴点Ｐ２に対応する路面上の地点Ｐｒ２の世界座標系ＸＹＺ上の座標である。また、θｘはカメラ１（カメラ座標系ＵＳＶ）の世界座標系ＸＹＺのＸ軸回りの回転角、θｙはカメラ１（カメラ座標系ＵＳＶ）の世界座標系ＸＹＺのＹ軸回りの回転角、θｚはカメラ１（カメラ座標系ＵＳＶ）の世界座標系ＸＹＺのＺ軸回りの回転角、Ｒｘ（）は世界座標系ＸＹＺのＸ軸回りの回転行列、Ｒｙ（）は世界座標系ＸＹＺのＹ軸回りの回転行列、Ｒｚ（）は世界座標系ＸＹＺのＺ軸回りの回転行列である。
【００３２】
ここで、式４を整理すると式５が得られる。
【００３３】
【数５】
2011217233.tif 000007
【００３４】
また、図５に示すように、画像フレームＦ１の撮影時刻Ｔ１から画像フレームＦ２の撮影時刻Ｔ２まで、自動車が直進のみをし、左右、高さ方向については移動することが無いことを条件とすると、先に求めた車速Ｖ、時間差Ｔを用いて、
Ｘ１-Ｘ２=０
Ｙ１-Ｙ２=Ｖ×Ｔ
Ｚ１-Ｚ２=０となる。
【００３５】
よって、これを、式５に代入すると、式６が得られ、式６を整理すると式７となる。
【００３６】
【数６】
2011217233.tif 000008
【００３７】
【数７】
2011217233.tif 000009
【００３８】
そこで、式８のＹ１-Ｙ２=Ｖ×Ｔの場合に０となるｅの、各ペアＧについて求まる総和Ｅを最小とする、θｘ、θｙ、θｚを、各特徴点の倍率ｎ共々、GRG2(Generalized Reduced Gradient)アルゴリズム等により求め、カメラ姿勢として算出する。
【００３９】
【数８】
2011217233.tif 000010
【００４０】
以上、本発明の実施形態について説明した。
ところで、以上では、車両前端に設けた車両前方を撮影するカメラ１の姿勢を算出する場合について説明したが、本実施形態は、車両後端に設けた車両後方を撮影するカメラ１の姿勢を算出する場合、車両右側に設けた車両右方を撮影するカメラ１の姿勢を算出する場合、車両左側に設けた車両左方を撮影するカメラ１の姿勢を算出する場合に同様に適用可能である。
【００４１】
すなわち、車両後端に設けた車両後方を撮影するカメラ１の姿勢を算出する場合には、
前記条件を、
Ｘ１-Ｘ２=０
Ｙ１-Ｙ２=ｄＹ=-Ｖ×Ｔ
Ｚ１-Ｚ２=０として、
式８のｅの、各ペアＧについて求まる総和Ｅを最小とする、θｘ、θｙ、θｚをカメラ姿勢として算出する。
【００４２】
また、車両右側に設けた車両右方を撮影するカメラ１の姿勢を算出する場合には、
前記条件を、
Ｘ１-Ｘ２=Ｄｘ=Ｖ×Ｔ
Ｙ２-Ｙ１= ０
Ｚ１-Ｚ２=０として、式５に代入して整理した式９に従って、式１０のｅの、各ペアＧについて求まる総和Ｅを最小とする、θｘ、θｙ、θｚをカメラ姿勢として算出する。
【００４３】
【数９】
2011217233.tif 000011
【００４４】
【数１０】
2011217233.tif 000012
【００４５】
車両左側に設けた車両左方を撮影するカメラ１の姿勢を算出する場合には、
前記条件を、
Ｘ１-Ｘ２=Ｄｘ=  -Ｖ×Ｔ
Ｙ２-Ｙ１= ０
Ｚ１-Ｚ２=０として、
式１０のｅの、各ペアＧについて求まる総和Ｅを最小とする、θｘ、θｙ、θｚをカメラ姿勢として算出する。
【符号の説明】
【００４６】
１…カメラ、２…画像メモリ、３…表示画像生成部、４…表示装置、５…制御部、６…車両状態センサ、７…カメラ状態校正部、８…入力装置。
【図１】
2011217233.tif 000013
【図２】
2011217233.tif 000014
【図３】
2011217233.tif 000015
【図４】
2011217233.tif 000016
【図５】
2011217233.tif 000017