(57)【要約】【課題】ユーザーが任意の場所で車載カメラのキャリブレーションを行うことが可能なカメラキャリブレーション装置およびカメラキャリブレーション方法を提供する。【解決手段】車載カメラのカメラキャリブレーション装置であって、車両に配設された３軸加速度センサと、車載カメラに配設された３軸加速度センサと、傾きの異なる路面に車両が駐車中における車両に配設された３軸加速度センサの出力と車載カメラに配設された３軸加速度センサの出力のペアのうち、少なくとも３個の出力のペアに基づいて算出される３次元回転行列の値を３軸周りの各回転角に分解して、車載カメラの取り付け角度を算出する制御部と、を備える。【選択図】図１
2017188743.tif 000002
【特許請求の範囲】
【請求項１】
車載カメラのカメラキャリブレーション装置であって、
車両に配設された３軸加速度センサと、
前記車載カメラに配設された３軸加速度センサと、
傾きの異なる路面に車両が駐車中における前記車両に配設された３軸加速度センサの出力と前記車載カメラに配設された３軸加速度センサの出力のペアのうち、少なくとも３個の前記出力のペアに基づいて算出される３次元回転行列の値を３軸周りの各回転角に分解して、前記車載カメラの取り付け角度を算出する制御部と、
を備えるカメラキャリブレーション装置。
【請求項２】
車載カメラのカメラキャリブレーション装置であって、
車両に配設された第１の３軸加速度センサと、
前記車載カメラに配設された第２の３軸加速度センサと、
前記第１の３軸加速度センサの出力を格納する第１のメモリと、
前記第１のメモリ、および前記第１の３軸加速度センサを制御する第１の制御部と、
前記第２の３軸加速度センサの出力を格納する第２のメモリと、
傾きの異なる路面に車両が駐車中における前記第１の３軸加速度センサの出力と前記第２の３軸加速度センサの出力のペアのうち、少なくとも３個の前記出力のペアに基づいて算出される３次元回転行列を算出する回転行列算出部と、
前記第２の３軸加速度センサ、前記第２のメモリ、および前記回転行列算出部を制御するとともに、前記３次元回転行列の値を３軸周りの各回転角に分解して、車載カメラの取り付け角度を算出する第２の制御部と、
を備えるカメラキャリブレーション装置。
【請求項３】
車両の車速を検出する車速センサを車両に配設した請求項１または請求項２に記載のカメラキャリブレーション装置。
【請求項４】
車両の前後の傾きや左右の傾きが異なる３ケ所以上の路面に駐車させる請求項１乃至請求項３のいずれか１項に記載のカメラキャリブレーション装置。
【請求項５】
前記制御部は、
３個を超える前記出力のペアを利用して、特異値分解によって回転行列を算出する請求項１に記載のカメラキャリブレーション装置。
【請求項６】
車載カメラのカメラキャリブレーション方法であって、
車両の路面に駐車中を判定するステップと、
車両に配設された３軸加速度センサの出力と車載カメラに配設された３軸加速度センサの出力のペアを、傾きの異なる路面で少なくとも３個取得するステップと、
前記出力のペアに基づいて３次元回転行列を算出し、３軸周りの各回転角に分解して、車載カメラの取り付け角度を算出するステップと、
を備えるカメラキャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、カメラの取付状態を校正するためのカメラキャリブレーション装置およびカメラキャリブレーション方法に関する。
【背景技術】
【０００２】
近年、車両の周囲状況を撮像するため、カメラが車両に取り付けられている。車両に取付けられた車載カメラは、経年変化等によって、取り付け状態に変化が生じる。
【０００３】
そこで、地面に描かれた形状を利用して車載カメラのキャリブレーションを行うことが提案されている。
【０００４】
また、車載カメラのみに３軸加速度センサを配設し、既知の角度に車両を傾けることでキャリブレーションを行うことも提案されている。
【０００５】
キャリブレーションを行うためには、前者では、地面に描かれた形状が既知である必要があり、後者では、地面の傾きが既知である必要がある。
【０００６】
そのため、地面に描かれた形状や地面の傾きの情報が取得できない状況下では、ユーザーが任意の場所で車載カメラのキャリブレーションを行うことが難しいという問題があった。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１１１７４号公報
【特許文献２】特開２０１０−１６０３７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明が解決しようとする課題は、ユーザーが任意の場所で車載カメラのキャリブレーションを行うことが可能なカメラキャリブレーション装置およびカメラキャリブレーション方法を提供することである。
【課題を解決するための手段】
【０００９】
実施形態のカメラキャリブレーション装置は、車載カメラのカメラキャリブレーション装置であって、車両に配設された３軸加速度センサと、前記車載カメラに配設された３軸加速度センサと、傾きの異なる路面に車両が駐車中における前記車両に配設された３軸加速度センサの出力と前記車載カメラに配設された３軸加速度センサの出力のペアのうち、少なくとも３個の前記出力のペアに基づいて算出される３次元回転行列の値を３軸周りの各回転角に分解して、前記車載カメラの取り付け角度を算出する制御部と、を備える。
【図面の簡単な説明】
【００１０】
【図１】本発明の本実施形態に係るカメラキャリブレーション装置の構成例を示す図である。
【図２】車両側の３軸加速度センサの３軸を説明する図である。
【図３】カメラ側の３軸加速度センサの３軸を説明する図である。
【図４】車両側の第１の３軸加速度センサの出力とカメラ側の第２の３軸加速度センサの出力の関係を説明する図である。
【図５】キャリブレーションに用いる３個の３軸加速度のペアの一例を示す図である。
【図６】車載カメラの外部パラメータの３次元回転行列に基づく３軸周りの各回転角の算出処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施の形態について、図面を参照して説明する。尚、各図において同一箇所については同一の符号を付すとともに、重複した説明は省略する。
【００１２】
本実施形態に係るカメラキャリブレーション装置は、車載カメラの取付状態の校正（キャリブレーション）を行うものである。車載カメラの取付状態、すなわち、車載カメラの姿勢は、オイラー角と呼ばれる３個の回転軸を使って表現される。この３個の回転軸は、左右を軸とした回転であるピッチ、前後を軸にした回転であるロール、上下を軸にした回転であるヨーである。ピッチ方向の回転量がピッチ角、ロール方向の回転量がロール角、ヨー方向の回転量がヨー角となる。
【００１３】
本実施形態は、車両に配設された３軸加速度センサの出力と、車載カメラに配設された３軸加速度センサの出力を利用するもので、車両が３か所以上の傾きの異なる路面に駐車中に得られる各センサ出力のペアの少なくとも３個のペアに基づいて車載カメラの取り付け角度を算出し、カメラの外部パラメータに反映させるものである。
【００１４】
図１は、本発明の実施形態に係るカメラキャリブレーション装置の構成例を示す図である。図１に示すように、カメラキャリブレーション装置１００は、車両側の装置１０と車載カメラ側（以下、単にカメラ側とも称する）の装置２０に大別できる。
【００１５】
車両側の装置１０は、主として、車速センサ１１と、第１の３軸加速度センサ１２と、第１のメモリ１３と、第１の制御部１４とから構成されている。
【００１６】
車速センサ１１は、車両の速度を取得するもので、本実施形態では、第１の３軸加速度センサ１２の出力を取得するため、車両の停車中の判定に利用される。第１の３軸加速度センサ１２は、車両に作用する３軸方向の加速度を取得するセンサである。第１の３軸加速度センサ１２は、車両の傾き角を取得するもので水平状態も検出できる。第１の３軸加速度センサ１２は、例えば、ばね定数kのばねに支えられた質量mのおもりを使って、ばねの変位量xを基に加速度aを検出するセンサである。すなわち、kx＝maが成立するので、a＝kx／mと置き換えることで加速度aを検出できる。kとmは既知なので、変位量xが分かれば加速度aが求まる。変位量xを計測する方式には、ひずみゲージ、圧電素子あるいは静電容量を計測する３方式があるが、本実施形態においては、いずれの方式の３軸加速度センサでもよい。
【００１７】
第１のメモリ１３は、車速センサ１１によって得られた車速と、第１の３軸加速度センサ１２で得られた車両にかかる３軸方向の加速度を格納しておくものである。
【００１８】
第１の制御部１４は、第１のメモリ１３、車速センサ１１および第１の３軸加速度センサ１２を制御するとともに、カメラ側の第２の制御部（後述する）に当該車両の車速と第１の３軸加速度センサの出力情報を送信する。
【００１９】
カメラ側の装置２０は、主として、第２の３軸加速度センサ２１と、第２のメモリ２２と、回転行列算出部２３と、第２の制御部２４とから構成されている。
【００２０】
第２の３軸加速度センサ２１は、車載カメラの車両への取付状態を表す傾き角を把握するために車載カメラに作用する３軸方向の加速度を取得するものである。車載カメラの傾き角は、車載カメラのピッチ方向の傾き角度であるピッチ角、車載カメラのロール方向の傾き角度であるロール角、車載カメラのヨー方向の傾き角度であるヨー角に分解することができる。
【００２１】
第２の３軸加速度センサ２１としては、例えば、第１の３軸加速度センサ１２と同種のものを使用することができる。
【００２２】
第２のメモリ２２は、車速と第１の３軸加速度センサ１２によって得られる車両側の３軸方向の加速度および第２の３軸加速度センサ２１によって得られるカメラ側の３軸方向の加速度を格納しておく。
【００２３】
回転行列算出部２３は、車両側に配設された第１の３軸加速度センサ１２の出力するベクトルとカメラ側に配設された第２の３軸加速度センサ２１の出力するベクトルに基づいて回転行列を算出するものである。回転行列は、原点を中心とした回転変換を表現する行列である。本実施形態では３次元の回転行列を使用し、３次元回転行列の算出については、後述する。
【００２４】
第２の制御部２４は、第２の３軸加速度センサ２１、第２のメモリ２２、および回転行列算出部２３を制御するとともに、３次元回転行列の値を３軸周りの各回転角（ロール角、ピッチ角、ヨー角）に分解することにより、車載カメラの取り付け角度を算出する。
【００２５】
尚、第１の制御部１４および第２の制御部２４、第１のメモリ１３および第２のメモリ２２は、別体として構成することは必須ではなく、一体的に構成することもできる。
【００２６】
図２は、車両側の第１の３軸加速度センサ１２の３軸を説明する図である。本実施形態では、車両側の第１の３軸加速度センサ１２の各軸は、車両の３次元座標系の各軸と平行になるように設置する。例えば、図２に示すように、それぞれ車両の進行方向、車両の進行方向に垂直で路面と平行な向き、路面から垂直方向になるように設置する。
【００２７】
図３は、カメラ側の第２の３軸加速度センサ２１の３軸を説明する図である。
【００２８】
本実施形態では、カメラ側の第２の３軸加速度センサ２１の各軸は、車載カメラの３次元座標系での各軸と平行になるように設置する。例えば、図３に示すように、車載カメラの光軸方向、光軸方向に垂直で車載カメラの撮像素子の上向き、光軸方向に垂直で撮像素子と同じ向きにとなるように設置する。
【００２９】
＜３次元回転行列の算出＞
次に、上述したように構成するとともに設置したカメラキャリブレーション装置１００における３次元回転行列の算出について説明する、
図４は、車両側の第１の３軸加速度センサ１２の出力とカメラ側の第２の３軸加速度センサ２１の出力の関係を説明する図である。図４に示すように、上で述べた設置条件から、例えば、車載カメラの新しい（傾いた）取り付け状況等を表す車載カメラの外部パラメータの３次元回転行列Rは、車両側の第１の３軸加速度センサ１２とカメラ側の第２の３軸加速度センサ２１の座標系間の３次元回転行列と一致する。そのため任意の路面に駐車している際の重力加速度から得られるカメラ側の第２の３軸加速度センサ２１の出力g（x, y, z）、車両側の第１の３軸加速度センサ１２の出力のG (X, Y, Z)を使い、以下の関係式が成り立つ。
【数１】
2017188743.tif 000003
【００３０】
上記した式に示されるように、各出力g、Gは、ｘ軸、ｙ軸、ｚ軸の３軸方向の成分から成っている。成分毎に把握するため、本実施形態に係るカメラキャリブレーション装置１００では、車両を任意の路面に駐車させることで、車両側とカメラ側の３軸加速度のペアを少なくとも３個取得する。尚、３個の３軸加速度のペアは線形独立である必要があり、車両は３ヶ所以上の傾きの異なる路面に駐車させることが好適である。
【００３１】
図５は、キャリブレーションに用いる３個の３軸加速度のペアの一例を示す図である。図５に示すように、例えば、車両の前後の傾きや左右の傾きが異なる、車両側とカメラ側の３軸加速度の３個のペア{(x1, y1, z1), (X1, Y1, Z1)}、{(x2, y2, z2), (X2, Y2, Z2)}、{(x3, y3, z3), (X3, Y3, Z3)}を使用すると、以下の式が成り立ち、回転行列Rを求めることができる。
【数２】
2017188743.tif 000004
【００３２】
また、回転行列Rを求めるには上記のように３個の加速度のペアを使って逆行列を求めることで行うだけでなく、次式のように、３個を超える多数の加速度のペアを使って特異値分解（SVD： singular value decomposition）により求めることもできる。特異値分解（SVD）によれば、求める回転行列Rが３軸加速度センサのノイズに影響されにくいものとなる。
【数３】
2017188743.tif 000005
【００３３】
以上のようにして求めた回転行列Rを、以下に示す式により、新たなZ軸周りの回転（ロール角）φ、新たなY軸周りの回転（ピッチ角）θ、新たなX軸周りの回転（ヨー角）ψに分解することで、車両に対しての車載カメラの姿勢（傾き角）が推定できる。
【数４】
2017188743.tif 000006
【００３４】
得られたロール角φ、ピッチ角θ、ヨー角ψを車載カメラの外部パラメータに反映させ、車載カメラのキャリブレーションを実行することができる。
【００３５】
図６は、車載カメラの外部パラメータの３次元回転行列に基づく３軸周りの各回転角の算出処理の流れを示すフローチャートである。
【００３６】
まず、車両が停車しているか否かを判定する（ステップＳ６１）。車両の停車中に、第１の３軸加速度センサ１２の出力を取得するためである。
【００３７】
車両が停車していれば（ステップＳ６１でＹｅｓ）、次に、車両側の第１の３軸加速度センサ１２の出力（３軸加速度）を取得する（ステップＳ６２）。取得した３軸加速度は、一旦、第１のメモリ１３に格納され、第１の制御部１４を介して、車両の停車中の情報とともに、カメラ側の第２の制御部２４に送信される。車両側の３軸加速度は、一旦、第２のメモリ２２に格納される。
【００３８】
続いて、カメラ側の第２の３軸加速度センサ２１の出力（３軸加速度）を取得する（ステップＳ６３）。取得した３軸加速度は、一旦、第２のメモリ２２に格納される。
【００３９】
次に、今回取得した車両側の３軸加速度とカメラ側の３軸加速度のペアが、既に第２のメモリ２２上に格納されている車両側の３軸加速度とカメラ側の３軸加速度のペアのいずれに対しても線形独立か否かを判定する（ステップＳ６４）。
【００４０】
独立していなければ（ステップＳ６４でＮｏ）、３軸周りの各回転角の算出処理を終了する。一方、独立していれば（ステップＳ６４でＹｅｓ）、次に、車両側の３軸加速度とカメラ側の３軸加速度のペアを第２のメモリ２２に格納する（ステップＳ６５）。
【００４１】
続いて、第２のメモリ２２上に格納された車両側の３軸加速度とカメラ側の３軸加速度のペアが３個以上か否かを判定する（ステップＳ６６）。
【００４２】
３軸加速度センサの出力のペアが３個以上でなければ（ステップＳ６６でＮｏ）、ステップＳ６１に移行し、ペアが３個以上であれば（ステップＳ６６でＹｅｓ）、次に、少なくとも３個の車両側の３軸加速度とカメラ側の３軸加速度のペアに基づいて、回転行列Rを算出する（ステップＳ６７）。
【００４３】
次に、回転行列Rから、車両に対しての車載カメラの取り付けの姿勢（傾き角）を示すロール角φ、ピッチ角θ、ヨー角ψをそれぞれ算出する（ステップＳ６８）。
【００４４】
このようにして得られた新しいロール角φ、ピッチ角θ、ヨー角ψを車載カメラの外部パラメータに反映させ、車載カメラのキャリブレーションを実行する。
【００４５】
上述してきたように、本実施形態によれば、ユーザーが任意の場所で車載カメラのキャリブレーションを行うことができる。
【００４６】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４７】
１１・・・車速センサ
１２・・・第１の３軸加速度センサ
１３・・・第１のメモリ
１４・・・第１の制御部
２１・・・第２の３軸加速度センサ
２２・・・第２のメモリ
２３・・・回転行列算出部
２４・・・第２の制御部
１００・・・カメラキャリブレーション装置
【図１】
2017188743.tif 000007
【図２】
2017188743.tif 000008
【図３】
2017188743.tif 000009
【図４】
2017188743.tif 000010
【図５】
2017188743.tif 000011
【図６】
2017188743.tif 000012