(57)【要約】【課題】生産ライン上で車両を停車することなく、生産ラインを車両が移動する際に自動的にカメラ校正を行う車載カメラ用校正システムを提供すること。【解決手段】車載カメラ用校正システムは、車両に取り付けられ時系列に路面の画像を撮影するカメラ１０１と、カメラ１０１で撮影された画像を時系列に保存するメモリ１０２と、メモリ１０２に保存された撮影画像から特徴点を抽出する特徴点抽出部１０３と、特徴点の所定時間経過後の移動先である追跡点を抽出する追跡点抽出部１０４と、特徴点と追跡点からカメラ１０１の校正パラメータを算出するカメラ校正パラメータ算出部１０５と、を具備する。【選択図】図１
2017139612.tif 000002
【特許請求の範囲】
【請求項１】
車両に取り付けられ時系列に路面の画像を撮影するカメラと、
前記カメラで撮影された画像を時系列に保存するメモリと、
前記メモリに保存された撮影画像から特徴点を抽出する特徴点抽出部と、
前記特徴点の所定時間経過後の移動先である追跡点を抽出する追跡点抽出部と、
前記特徴点と前記追跡点から前記カメラの校正パラメータを算出するカメラ校正パラメータ算出部と、
を具備する車載カメラ用校正システム。
【請求項２】
前記特徴点抽出部は、ＣＰＵ（中央処理装置）がプログラムを実行することにより抽出処理を行う、
請求項１に記載の車載カメラ用校正システム。
【請求項３】
前記追跡点抽出部は、ＣＰＵ（中央処理装置）がプログラムを実行することにより抽出処理を行う、
請求項１に記載の車載カメラ用校正システム。
【請求項４】
前記カメラ校正パラメータ算出部は、ＣＰＵ（中央処理装置）がプログラムを実行することにより算出処理を行う、
請求項１に記載の車載カメラ用校正システム。
【請求項５】
前記カメラ校正パラメータ算出部は、前記特徴点のイメージ座標と前記追跡点のイメージ座標を世界座標に変換することにより前記カメラの校正パラメータを算出する、
請求項１に記載の車載カメラ用校正システム。
【請求項６】
前記車両に関する車速情報と舵角情報を取得し、前記車両の移動量を算出して前記メモリに保存する、
請求項５に記載の車載カメラ用校正システム。
【請求項７】
前記特徴点抽出部が抽出する特徴点と前記追跡点抽出部が抽出する追跡点から基礎行列を算出し、算出した前記基礎行列から前記車両の移動量を算出する移動体移動量算出部を更に具備する、
請求項５に記載の車載カメラ用校正システム。
【請求項８】
前記カメラ校正パラメータ算出部は、前記車両の移動量と前記世界座標から前記カメラの校正パラメータを算出する、
請求項６に記載の車載カメラ用校正システム。
【請求項９】
前記カメラ校正パラメータ算出部は、前記車両の移動量と前記世界座標から前記カメラの校正パラメータを算出する、
請求項７に記載の車載カメラ用校正システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラにより撮影された画像を用いてカメラ画像の校正を行う車載カメラ用校正システムに関する。
【背景技術】
【０００２】
従来から、車載カメラで撮影された車両後方の画像を車載モニタに表示することで、運転者から死角になる車両後方直近の状況を車載モニタに表示された画像として視認し、車両後退時の視認性を向上させることが行われている。
【０００３】
このような車載カメラの画像を車載モニタに表示するに際しては、車載カメラの車両への取り付け状態を是正するために、車両の後方に校正用のターゲットを設置し、車載モニタに映った校正用ターゲットの像を見ながら、その校正用ターゲットの像が適正に映るように車載カメラの取り付け状態を調整することが行われる。
【０００４】
また、車載カメラで得られた画像に対して、校正用ターゲットの像に基づいた所定の演算処理を施すことで車載モニタに映る画像を適正に校正することが行われている。
【０００５】
また、車両の全周囲を複数の車載カメラで撮影し、各車載カメラで得られた複数の画像をそれぞれ車両の真上から見下ろしたような画像（俯瞰画像）に変換するとともに、各画像間での位置を調整したマッピングを行うことで、単一の視点変換合成画像を得ることも行われている。このような場合には、隣接する２つの画像間で精度よく位置合わせを行う必要があるため、高精度の校正が求められる。
【０００６】
しかし、従来の校正方法は、校正用ターゲットと車両との相対的な位置関係を厳密に定める必要があり、車両を設置した後にその車両に対して精度よく校正用ターゲットを設置するか、または校正用ターゲットを設置した後にその校正用ターゲットに対して精度よく車両を設置する必要があった。
【０００７】
このため、車両生産ラインでは費用をかけて設備を改造し、車両と校正用ターゲットとの位置合わせ精度を向上させる工夫がされている。さらに、生産現場から一旦出荷された後に販売・サービス会社の整備部門で校正をやり直す場合（修理等の場合や車載カメラ等を後付けする場合等）は、校正用ターゲットをその都度、精度良く設置する必要があるため作業の手間が一層かかるものとなっている。
【０００８】
このような状況から、車両と校正用ターゲットの相対的な設置精度をさほど要求されない校正方法が望まれており、従来においても幾つかの技術が提案されている。
【０００９】
例えば、特許文献１には、白線格子を校正用ターゲットとし、白線格子の直線度、平行度、直交度、間隔といった車両の停車状態とは無関係な特徴を利用して、複数台のカメラの内部／歪みパラメータ、および外部パラメータを校正する手法が提案されている。
【００１０】
また、特許文献２には、校正用ターゲットと、校正精度評価用ターゲットが一体化したものを使用して校正する手法が提案されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２０１２−０１５５７６号公報
【特許文献２】特開２００９−１１８４１４号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、特許文献１、２は、校正ターゲット内に車両を停車することが必要となっており、工場の生産ラインにおいて、各車両に対して、作業員が車両を校正ターゲット内に停車する作業（コスト）が発生してしまう。
【００１３】
本発明はかかる点に鑑みてなされたものであり、生産ライン上で車両を停車することなく、車載カメラの校正を行うことができる車載カメラ用校正システムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明の車載カメラ用校正システムは、車両に取り付けられ時系列に路面の画像を撮影するカメラと、前記カメラで撮影された画像を時系列に保存するメモリと、前記メモリに保存された撮影画像から特徴点を抽出する特徴点抽出部と、前記特徴点の所定時間経過後の移動先である追跡点を抽出する追跡点抽出部と、前記特徴点と前記追跡点から前記カメラの校正パラメータを算出するカメラ校正パラメータ算出部と、を具備する構成を採る。
【発明の効果】
【００１５】
本発明よれば、生産ライン上で車両を停車することなく、生産ラインを車両が移動する際に自動的にカメラ校正を行うことができる。従って、車両の位置決めが不要な車載カメラの校正を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態１に係るカメラ校正装置の機能構成を示すブロック図
【図２】メモリに保存されたＮ番目の画像の特徴点のイメージ座標
【図３】メモリに保存されたＮ＋１番目の画像の追跡点のイメージ座標
【図４】カメラ校正パラメータを算出するフローチャート
【図５】メモリに保存された特徴点のイメージ座標と追跡点のイメージ座標を世界座標に変換するフローチャート
【図６】特徴点、追跡点のイメージ座標を世界座標に変換する処理を説明する図
【図７】移動体の移動量のズレを算出する処理を説明する図
【図８】本発明の実施の形態２に係るカメラ校正装置の機能構成を示すブロック図
【図９】移動体の移動量を算出する移動体移動量算出部の処理を説明するフローチャート
【図１０】カメラの相対的な並進行列Ｔと回転行列Ｒから実世界上の移動量を算出する処理を説明する図
【発明を実施するための形態】
【００１７】
（実施の形態１）
以下、本発明の実施の形態について、図面を参照して詳細に説明する。図１は、本発明の実施の形態１に係るカメラ校正装置の機能構成を示すブロック図である。以下、図１を用いて、本実施の形態に係るカメラ校正装置の構成および動作を説明する。
【００１８】
本実施の形態のカメラ校正装置は、車両などの移動体に設置される。このカメラ校正装置は、カメラ１０１の校正を行うものであって、メモリ１０２、特徴点抽出部１０３、追跡点抽出部１０４およびカメラ校正パラメータ算出部１０５を備えている。なお、図１には、車両１０６も示す。
【００１９】
特徴点抽出部１０３、追跡点抽出部１０４およびカメラ校正パラメータ算出部１０５の各部は、カメラ校正装置内のＣＰＵ１０７がＲＯＭ（図示せず）に格納されたプログラムを実行することで実現される。なお、ＣＰＵ、ＲＯＭを用いる代わりにハードウェアで構成された専用回路で各部を実現してもよい。
【００２０】
カメラ１０１は、車両に設置され、車両の移動中に路面を撮像した画像を時系列的にメモリ１０２に保存する。
【００２１】
特徴点抽出部１０３は、図２に示すようなメモリ１０２に保存されたＮ番目の画像から特徴点を抽出し、その特徴点のイメージ座標をメモリ１０２に保存する。なお、イメージ座標とは、メモリ上に置かれた画像の左上を原点とする２次元の座標系である。また、特徴点とは、その点を含む所定の範囲における輝度の情報量が特徴的な大きさを持つような点である。例えば、ハリスコーナ点等が上記特徴点として探索される。
【００２２】
追跡点抽出部１０４は、図３に示すようなメモリ１０２に保存されたＮ＋１番目の画像から特徴点と同じ特徴を有する点を追跡点として抽出し、その追跡点のイメージ座標をメモリ１０２に保存する。追跡点の抽出は、the Kanade-Lucas-Tomasi (KLT)などの処理方法を用いて行われる。
【００２３】
カメラ校正パラメータ算出部１０５は、カメラ校正パラメータを算出する。以下、図４を用いてカメラ校正パラメータ算出部１０５が行う処理を詳細に説明する。
【００２４】
まず、初期カメラパラメータ設定処理において（ステップ２０１）、カメラ校正パラメータ算出部１０５は、カメラ取り付け設計値のカメラ角度（パン、チルト、ロール）、カメラ位置を初期カメラパラメータと設定する。
【００２５】
次に、特徴点、追跡点座標変換処理において（ステップ２０２）、カメラ校正パラメータ算出部１０５は、メモリ１０２に保存された特徴点のイメージ座標と追跡点のイメージ座標を世界座標に変換する。なお、ステップ２０２の処理の詳細については後述する。
【００２６】
次に、移動量ズレ算出処理において（ステップ２０３）、カメラ校正パラメータ算出部１０５は、各特徴点、追跡点の世界座標上の移動量とメモリ１０２に保存された実際の移動体の移動量との差を、移動量のズレとして算出する。なお、ステップ２０３の処理の詳細については後述する。
【００２７】
カメラ校正パラメータ算出部１０５は、一定の範囲でカメラパラメータを変更し、ステップ２０２−２０３の処理を繰り返す（ステップ２０４：ＮＯ、２０５）。
【００２８】
そして、一定の範囲でステップ２０２−２０３の処理を完了すると（ステップ２０４：ＹＥＳ）、カメラ校正パラメータ出力処理において（ステップ２０６）、カメラ校正パラメータ算出部１０５は、移動量のズレを評価値とし、この評価値が最少となるカメラパラメータ（カメラ角度、位置）を、カメラの画像と実際の道路との対応関係を示すカメラ校正パラメータとし、カメラ校正パラメータをカメラ画像校正装置（図示せず）に出力する。
【００２９】
なお、カメラ画像校正装置は、カメラ校正パラメータを用いて、車載モニタ（図示せず）に映る画像を適正に校正する。
【００３０】
次に、図５、図６を用いて、特徴点、追跡点座標変換処理（ステップ２０２）、すなわち、メモリ１０２に保存された特徴点のイメージ座標と追跡点のイメージ座標を、世界座標に変換する処理の詳細について説明する。
【００３１】
なお、世界座標とは実世界上の３次元座標系のことであり、式（１）は世界座標とカメラ座標の関係を示す式である。世界座標とカメラ座標の関係は、回転行列Ｒと並進行列Ｔというパラメータにより決定される。
【数１】
2017139612.tif 000003
【００３２】
ステップ３０１において、カメラ校正パラメータ算出部１０５は、入力されたイメージ座標を歪ありセンサー座標に変換する。式（２）は、イメージ座標と歪ありセンサー座標の関係を示す式である。なお、ｘ，ｙ方向の画素ピッチと画像中心は、カメラ内部パラメータとしてメモリ１０２に保存されている値を用いる。
【数２】
2017139612.tif 000004
【００３３】
ステップ３０２において、カメラ校正パラメータ算出部１０５は、歪ありセンサー座標を歪なしセンサー座標に変換する。式（３）は、歪ありセンサー座標と歪なしセンサー座標の関係を示す式である。レンズ歪補正係数は、カメラ内部パラメータとしてメモリ１０２に保存されている値を用いる。
【数３】
2017139612.tif 000005
【００３４】
ステップ３０３において、カメラ校正パラメータ算出部１０５は、歪なしセンサー座標を世界座標に変換する。式（４）は、歪なしセンサー座標と世界座標の関係を示す式である。式１の回転行列Ｒと並進行列Ｔが既に決定している、および、特徴点、追跡点が路面であるという条件によって、カメラ校正パラメータ算出部１０５は、式（１）と式（４−２）、式（４−４）から式（４−５）にある３次元方程式が導き出され、世界ｘ座標Ｘｗ、世界ｚ座標Ｚｗを算出できる。
【数４】
2017139612.tif 000006
【００３５】
このように、図５のフローが実行されることにより、各特徴点、追跡点のイメージ座標は、図６に示すように世界座標の点に変換される。なお、図６では、カメラの光軸の頂点から路面に垂直に落とした点を原点としている。
【００３６】
次に、図７を用いて、移動量ズレ算出処理（ステップ２０３）の詳細について説明する。
【００３７】
カメラ校正パラメータ算出部１０５は、式（５）により、世界座標に変換された特徴点と追跡点からＺ軸方向とＸ軸方向の世界座標上の移動量を算出する。
【数５】
2017139612.tif 000007
【００３８】
次に、カメラ校正パラメータ算出部１０５は、式（６）により、各特徴点、追跡点の世界座標上の移動量とメモリ１０２に保存された実際の移動体の移動量との差を、移動量のズレとして算出する。この場合、実際の移動体（車両）の移動量は、車両１０６から取得された移動量に関する情報（車速パルスや舵角情報、車速など）に基づいて計算され、メモリ１０２に保存される。カメラの取り付けにズレがなければ、カメラパラメータを用いて算出した移動量と実際の車両の移動量とのズレは「０」となる。
【数６】
2017139612.tif 000008
【００３９】
図７の例では、式（５）、式（６）を使用することにより、特徴点１のイメージ座標（x,y）=（250,350）が特徴点１の世界座標（X,Y,Z）=（500,0,650）に変換され、追跡点１のイメージ座標（x,y）=（270,300）が追跡点１の世界座標（X,Y,Z）=（600,0,900）に変換されている。
【００４０】
以上説明したように、本実施の形態によれば、車両の移動中に撮影された画像上の特徴点と追跡点を用いて実世界上の移動量を算出することにより、カメラ校正パラメータを算出することができるので、生産ライン上で車両を停車することなく、生産ラインを車両が移動する際に自動的にカメラ校正を行うことができる。
【００４１】
（実施の形態２）
本発明は、上述した実施の形態１に限定されず、一部を変更した実施の形態も考えられる。以下、本発明の実施の形態２について、図面を参照して詳細に説明する。
【００４２】
図８は、本発明の実施の形態２に係るカメラ校正装置の機能構成を示すブロック図である。なお、図８に示すカメラ校正装置において、図１に示したカメラ校正装置と共通する構成部分には図１と同一符号を付してその説明を省略する。図８に示すカメラ校正装置は、図１に示したカメラ校正装置と比較して、ＣＰＵ１０７内に移動体移動量算出部８０６を追加した構成を採る。
【００４３】
移動体移動量算出部８０６は、移動体（車両）の移動量を算出する。以下、図９を用いて、移動体移動量算出部８０６の処理の詳細を説明する。
【００４４】
まず、基礎行列の算出処理において（ステップ９０１）、移動体移動量算出部８０６は、対応する特徴点と追跡点のイメージ座標の組（xα,yα), (x’α,y’α),α=1,…,N（≧8）を入力とし、式（７）によりＦ行列を算出する。
【数７】
2017139612.tif 000009
【００４５】
次に、カメラの並進行列Ｔ、回転行列算出処理において（ステップ９０２）、移動体移動量算出部８０６は、基礎行列Ｆと焦点距離ｆから、式（８）により、カメラ１０１の相対的な並進行列Ｔ（単位行列）と回転行列Ｒを算出する。
【数８】
2017139612.tif 000010
【００４６】
次に、実世界上の移動量算出処理において（ステップ９０３）、移動体移動量算出部８０６は、カメラの相対的な並進行列Ｔと回転行列Ｒから実世界上の移動量を算出する。以下、図１０を用いて、ステップ９０３について詳細に説明する。
【００４７】
まず、移動体移動量算出部８０６は、特徴点のカメラ座標をPi(i=1,2,…,n)から、式９、式１０により、平面の方程式を算出する。なお、特徴点は路面上の点なので、特徴点のカメラ座標Piは、一つの平面上にある。
【数９】
2017139612.tif 000011
【数１０】
2017139612.tif 000012
【００４８】
次に、移動体移動量算出部８０６は、カメラ座標の原点から平面への垂線を計算し、式１１により、交点C0の座標を求める。
【数１１】
2017139612.tif 000013
【００４９】
ただし、Ｔは単位行列なのでカメラ座標原点と交点C0間の距離は、カメラ高さに等しくない。そこで、移動体移動量算出部８０６は、カメラ座標原点とC1を結ぶ直線を延長し、カメラ高さに等しい点C1を、点と平面の距離の公式（式１２）を用いて算出する。
【数１２】
2017139612.tif 000014
【００５０】
図１０のC0P0とC1Q0は平行なのでQ0を求めることができる。同様に、Q'0も求めることができる。移動体移動量算出部８０６は、車両の移動前の点Q0と移動後の点Q'0を求め、すべての特徴点のカメラ座標をPi(i=1,2,…n)での移動ベクトルの平均を求めて実世界上の移動量とし、メモリ１０２に保存する。
【００５１】
以上のように、本実施の形態によっても、実施の形態１と同様に、生産ライン上で車両を停車することなく、生産ラインを車両が移動する際に自動的にカメラ校正を行うことができる。
【産業上の利用可能性】
【００５２】
本発明は、カメラにより撮影された画像を用いてカメラの校正を行う車載カメラ用校正システムに用いられる。
【符号の説明】
【００５３】
１０１  カメラ
１０２  メモリ
１０３  特徴点抽出部
１０４  追跡点抽出部
１０５  カメラ校正パラメータ算出部
１０６  車両
１０７  ＣＰＵ
８０６  移動体移動量算出部
【図１】
2017139612.tif 000015
【図２】
2017139612.tif 000016
【図３】
2017139612.tif 000017
【図４】
2017139612.tif 000018
【図５】
2017139612.tif 000019
【図６】
2017139612.tif 000020
【図７】
2017139612.tif 000021
【図８】
2017139612.tif 000022
【図９】
2017139612.tif 000023
【図１０】
2017139612.tif 000024