(57)【要約】      （修正有）【課題】車両の位置決めが不要で且つ路面の汚れに影響されずにカメラ校正する。【解決手段】車両１０において、カメラ校正装置は、壁面の３次元座標を用いて、仮想空間における壁面とカメラとの距離を算出する距離算出部と、仮想空間における、移動前のカメラと壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、実際のカメラ移動距離を算出する移動距離算出部と、算出された実際のカメラ移動距離と、カメラのカメラパラメータを用いて、壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、移動後のカメラによって撮像された画像における追跡点のイメージ座標との間の座標ずれを算出し、算出された座標ずれが許容値以下が小さくなるよう、カメラパラメータを変更するカメラ校正パラメータ算出部と、を備える。【選択図】図１
2019087858.tif 000002
【特許請求の範囲】
【請求項１】
壁面に対して略平行に車両が移動中に当該車両に搭載されたカメラによって撮像された画像から、当該壁面の特徴点を抽出する特徴点抽出部と、
前記抽出された特徴点を用いて３次元復元を行うことにより、仮想空間における壁面の３次元座標を算出する３次元座標算出部と、
前記算出された壁面の３次元座標を用いて、前記仮想空間における前記壁面とカメラとの距離を算出する距離算出部と、
前記仮想空間における、移動前のカメラと前記壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記壁面とカメラとの距離と、前記壁面とカメラの間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラパラメータを変更するカメラ校正パラメータ算出部と、
を備えるカメラ校正装置。
【請求項２】
前記カメラパラメータは、前記カメラの角度、及び／または前記カメラの位置を含む
請求項１に記載のカメラ校正装置。
【請求項３】
前記カメラ校正パラメータ算出部は、前記追跡点の移動前のカメラによって撮像された画像におけるイメージ座標を世界座標へ変換し、変換後の世界座標に前記算出された実際のカメラ移動距離を加算して移動予測点の世界座標を算出し、算出した移動予測点の世界座標をイメージ座標に変換する
請求項１または２に記載のカメラ校正装置。
【請求項４】
第１の壁面と第２の壁面との間を車両が当該第１の壁面及び当該第２の壁面に対して略平行に移動中に当該車両に搭載されたカメラによって撮像された画像から、当該第１の壁面の特徴点及び当該第２の壁面の特徴点を抽出する特徴点抽出部と、
前記抽出された第１の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第１の壁面の３次元座標を算出し、前記抽出された第２の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第２の壁面の３次元座標を算出する３次元座標算出部と、
前記算出された第１の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出し、前記算出された第２の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出する距離算出部と、
前記仮想空間における、移動前のカメラと前記第１の壁面及び前記第２の壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記第１の壁面とカメラとの距離と、前記算出された前記仮想空間における前記第２の壁面とカメラとの距離と、前記第１の壁面と前記第２の壁面の間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラのパラメータを変更するカメラ校正パラメータ算出部と、
を備えるカメラ校正装置。
【請求項５】
前記カメラのパラメータは、前記カメラの角度、及び／または前記カメラの位置を含む
請求項４に記載のカメラ校正装置。
【請求項６】
前記カメラ校正パラメータ算出部は、前記追跡点の移動前のカメラによって撮像された画像におけるイメージ座標を世界座標へ変換し、変換後の世界座標に前記算出された実際のカメラ移動距離を加算して移動予測点の世界座標を算出し、算出した移動予測点の世界座標をイメージ座標に変換する
請求項４または５に記載のカメラ校正装置。
【請求項７】
壁面に対して略平行に車両が移動中に当該車両に搭載されたカメラによって撮像された画像から、当該壁面の特徴点を抽出する特徴点抽出部と、
前記抽出された特徴点を用いて３次元復元を行うことにより、仮想空間における壁面の３次元座標を算出する３次元座標算出部と、
前記算出された壁面の３次元座標を用いて、前記仮想空間における前記壁面とカメラとの距離を算出する距離算出部と、
前記仮想空間における、移動前のカメラと前記壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記壁面とカメラとの距離と、前記壁面とカメラの間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラパラメータを変更するカメラ校正パラメータ算出部と、
を備えるカメラ校正システム。
【請求項８】
第１の壁面と第２の壁面との間を車両が当該第１の壁面及び当該第２の壁面に対して略平行に移動中に当該車両に搭載されたカメラによって撮像された画像から、当該第１の壁面の特徴点及び当該第２の壁面の特徴点を抽出する特徴点抽出部と、
前記抽出された第１の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第１の壁面の３次元座標を算出し、前記抽出された第２の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第２の壁面の３次元座標を算出する３次元座標算出部と、
前記算出された第１の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出し、前記算出された第２の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出する距離算出部と、
前記仮想空間における、移動前のカメラと前記第１の壁面及び前記第２の壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記第１の壁面とカメラとの距離と、前記算出された前記仮想空間における前記第２の壁面とカメラとの距離と、前記第１の壁面と前記第２の壁面の間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラのパラメータを変更するカメラ校正パラメータ算出部と、
を備えるカメラ校正システム。
【請求項９】
壁面に対して略平行に車両が移動中に当該車両に搭載されたカメラによって撮像された画像から、当該壁面の特徴点を抽出する特徴点抽出ステップと、
前記抽出された特徴点を用いて３次元復元を行うことにより、仮想空間における壁面の３次元座標を算出する３次元座標算出ステップと、
前記算出された壁面の３次元座標を用いて、前記仮想空間における前記壁面とカメラとの距離を算出する距離算出ステップと、
前記仮想空間における、移動前のカメラと前記壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出ステップと、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記壁面とカメラとの距離と、前記壁面とカメラの間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出ステップと、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラパラメータを変更するカメラ校正パラメータ算出ステップと、
を有するカメラ校正方法。
【請求項１０】
第１の壁面と第２の壁面との間を車両が当該第１の壁面及び当該第２の壁面に対して略平行に移動中に当該車両に搭載されたカメラによって撮像された画像から、当該第１の壁面の特徴点及び当該第２の壁面の特徴点を抽出する特徴点抽出ステップと、
前記抽出された第１の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第１の壁面の３次元座標を算出し、前記抽出された第２の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第２の壁面の３次元座標を算出する３次元座標算出ステップと、
前記算出された第１の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出し、前記算出された第２の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出する距離算出ステップと、
前記仮想空間における、移動前のカメラと前記第１の壁面及び前記第２の壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出ステップと、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記第１の壁面とカメラとの距離と、前記算出された前記仮想空間における前記第２の壁面とカメラとの距離と、前記第１の壁面と前記第２の壁面の間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出ステップと、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラのパラメータを変更するカメラ校正パラメータ算出ステップと、
を有するカメラ校正方法。
【請求項１１】
コンピュータを、
壁面に対して略平行に車両が移動中に当該車両に搭載されたカメラによって撮像された画像から、当該壁面の特徴点を抽出する特徴点抽出部と、
前記抽出された特徴点を用いて３次元復元を行うことにより、仮想空間における壁面の３次元座標を算出する３次元座標算出部と、
前記算出された壁面の３次元座標を用いて、前記仮想空間における前記壁面とカメラとの距離を算出する距離算出部と、
前記仮想空間における、移動前のカメラと前記壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記壁面とカメラとの距離と、前記壁面とカメラの間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラパラメータを変更するカメラ校正パラメータ算出部
として機能させるためのプログラム。
【請求項１２】
コンピュータを、
第１の壁面と第２の壁面との間を車両が当該第１の壁面及び当該第２の壁面に対して略平行に移動中に当該車両に搭載されたカメラによって撮像された画像から、当該第１の壁面の特徴点及び当該第２の壁面の特徴点を抽出する特徴点抽出部と、
前記抽出された第１の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第１の壁面の３次元座標を算出し、前記抽出された第２の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第２の壁面の３次元座標を算出する３次元座標算出部と、
前記算出された第１の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出し、前記算出された第２の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出する距離算出部と、
前記仮想空間における、移動前のカメラと前記第１の壁面及び前記第２の壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記第１の壁面とカメラとの距離と、前記算出された前記仮想空間における前記第２の壁面とカメラとの距離と、前記第１の壁面と前記第２の壁面の間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラのパラメータを変更するカメラ校正パラメータ算出部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車載カメラにより撮影された画像を用いて、当該カメラの校正を行うカメラ校正装置、カメラ校正システム、カメラ校正方法及びプログラムに関する。
【背景技術】
【０００２】
車載カメラで撮影された車両後方の画像を車載モニタに表示することで、運転者から死角になる車両後方直近の状況を車載モニタに表示された画像として視認し、車両後退時の視認性を向上させることが行われている。 
このような車載カメラの画像を車載モニタに表示するに際しては、車載カメラの車両への取り付け状態を是正するために、車両の後方に校正用のターゲットを設置し、車載モニタに映った校正用ターゲットの像を見ながら、その校正用ターゲットの像が適正に映るように車載カメラの取り付け状態を調整することが行われる。 
【０００３】
また、車載カメラで得られた画像に対して、校正用ターゲットの像に基づいた所定の演算処理を施すことで車載モニタに映る画像を適正に校正することが行われている。
また、車両の全周囲を複数の車載カメラで撮影し、各車載カメラで得られた複数の画像をそれぞれ車両の真上から見下ろしたような画像（俯瞰画像）に変換するとともに、各画像間での位置を調整したマッピングを行うことで、単一の視点変換合成画像を得ることも行われている。このような場合は、隣接する２つの画像間で精度よく位置合わせを行う必要があるため、高精度のカメラ校正が求められる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１１１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示は、車両の位置決めが不要で且つ路面の汚れに影響されずにカメラ校正することを可能とするカメラ校正装置、カメラ校正システム、カメラ校正方法及びプログラムを提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様に係るカメラ校正装置は、壁面に対して略平行に車両が移動中に当該車両に搭載されたカメラによって撮像された画像から、当該壁面の特徴点を抽出する特徴点抽出部と、前記抽出された特徴点を用いて３次元復元を行うことにより、仮想空間における壁面の３次元座標を算出する３次元座標算出部と、前記算出された壁面の３次元座標を用いて、前記仮想空間における前記壁面とカメラとの距離を算出する距離算出部と、前記仮想空間における、移動前のカメラと前記壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記壁面とカメラとの距離と、前記壁面とカメラの間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラパラメータを変更するカメラ校正パラメータ算出部と、を備える。
【０００７】
本開示の一態様に係るカメラ校正装置は、第１の壁面と第２の壁面との間を車両が当該第１の壁面及び当該第２の壁面に対して略平行に移動中に当該車両に搭載されたカメラによって撮像された画像から、当該第１の壁面の特徴点及び当該第２の壁面の特徴点を抽出する特徴点抽出部と、前記抽出された第１の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第１の壁面の３次元座標を算出し、前記抽出された第２の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第２の壁面の３次元座標を算出する３次元座標算出部と、前記算出された第１の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出し、前記算出された第２の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出する距離算出部と、前記仮想空間における、移動前のカメラと前記第１の壁面及び前記第２の壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記第１の壁面とカメラとの距離と、前記算出された前記仮想空間における前記第２の壁面とカメラとの距離と、前記第１の壁面と前記第２の壁面の間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが許容値以下が小さくなるよう、前記カメラのパラメータを変更するカメラ校正パラメータ算出部と、を備える。
【発明の効果】
【０００８】
本開示におけるカメラ校正装置は、路面の輝度の情報量に特徴的な大きさがない（生産ライン上のコンクリート路面などの）場合にも、生産ラインなどで車両を停車することなく、生産ラインなどを車両が移動する際に自動的にカメラ校正を行うことができる。従って、車両の位置決めをせずに車載カメラの校正を行うことができる。また、路面の特徴点、及び／または追跡点を抽出する場合とは違い、路面の汚れに影響されることがない。
【図面の簡単な説明】
【０００９】
【図１】一実施の形態に係るカメラ校正装置の機能構成を示すブロック図である。
【図２】第１の実施形態において実際のカメラ移動距離の算出方法を説明するための模式図である。
【図３】カメラ校正パラメータの算出処理の流れの一例を示すフローチャートである。
【図４】移動予測点のイメージ座標の算出工程を示す模式図である。
【図５】図３のステップＳ２０２における移動予測点のイメージ座標の算出処理の詳細を示すフローチャートである。
【図６】図５のステップＳ３０１の座標変換処理の詳細を示すフローチャートである。
【図７】第２の実施形態において実際のカメラ移動距離の算出方法を説明するための模式図である。
【発明を実施するための形態】
【００１０】
以下、実施の形態について、図面を参照しながら説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１１】
なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１２】
［実施の形態］
［１−１．課題］
以下、本実施の形態の課題について説明する。従来のカメラ校正方法は、校正用ターゲットと車両との相対的な位置関係を厳密に定める必要があり、車両を設置した後にその車両に対して精度よく校正用ターゲットを設置するか、または校正用ターゲットを設置した後にその校正用ターゲットに対して精度よく車両を設置する必要があった。
【００１３】
このため、車両生産ラインでは費用をかけて設備を改造し、車両と校正用ターゲットとの位置合わせ精度を向上させる工夫がされている。さらに、生産現場から一旦出荷された後に販売・サービス会社の整備部門でカメラ校正をやり直す場合（修理等の場合や車載カメラ等を後付けする場合等）は、校正用ターゲットをその都度、精度良く設置する必要があるため作業の手間が一層かかるものとなっている。このような状況から、車両と校正用ターゲットの相対的な設置精度をさほど要求されないカメラ校正方法が望まれており、従来においても幾つかの技術が提案されている。
【００１４】
特許文献１に記載の方法は、車両を移動しながらカメラ校正を行うことが可能であり、作業の容易さの面で優れている。ただし、路面の標識を検出する必要があるため、車両が走行することによる路面の汚れがカメラ校正精度に影響を与える可能性がある。
【００１５】
本実施の形態は、係る事情に鑑みてなされたものであり、カ車両の位置決めが不要で且つ路面の汚れに影響されずにカメラ校正することを可能とするカメラ校正装置、カメラ校正システム、カメラ校正方法及びプログラムを提供する。
【００１６】
以下、一実施の形態について、図面を参照して詳細に説明する。
【００１７】
＜第１の実施形態＞
［１−２．構成］
［１−２−１．カメラ校正装置の構成］
図１は、一実施の形態に係るカメラ校正装置の機能構成を示すブロック図である。この図１に従って一実施の形態に係るカメラ校正装置の構成および動作を説明する。
【００１８】
本実施形態のカメラ校正装置１は、移動体の一例である車両１０に設置されている。このカメラ校正装置１は、車両１０に搭載されたカメラ１０１の校正を行う。具体的にはカメラ校正装置１をカメラ校正用のカメラ校正パラメータを出力する。
【００１９】
図１に示すように、カメラ校正装置１は、メモリ１０２、ＣＰＵ（Central Processing Unit）１０３及びＲＯＭ（Read Only Memory）１２０を備える。ＲＯＭ１２０にはプログラムが記憶されている。
ＣＰＵ１０３は、ＲＯＭ１２０からプログラムを読み出すことにより、特徴点抽出部１０４、追跡点抽出部１０５、Ｆ,Ｒ,Ｔ,Ｐ行列算出部１０６、３次元座標算出部１０７、距離算出部１０８、車両進行ベクトル算出部１０９、移動距離算出部１１０、カメラ校正パラメータ算出部１１１をとして機能する。これらの各部の機能は以下で詳述する。
【００２０】
なお、本実施形態では一例として、これらの各部は、カメラ校正装置内のＣＰＵ１０３がＲＯＭ１２０に格納されたプログラムを実行することで実現されるが、これに限ったものではない。これらの各部は、ＣＰＵ１０３、ＲＯＭ１２０を用いる代わりにハードウェアで構成された専用回路で実現されてもよい。
【００２１】
カメラ１０１は、車両１０に設置され、車両１０の移動中に壁面を撮像した画像を時系列的にメモリ１０２に保存する。
【００２２】
特徴点抽出部１０４は、メモリ１０２に保存されたｋ番目（ｋは自然数）の画像から特徴点を抽出し、その特徴点のイメージ座標をメモリ１０２に保存する。イメージ座標とは、メモリ上に格納された画像の左上を原点とする２次元の座標系のことである。特徴点は、その点を含む範囲における輝度の情報量が特徴的な大きさを持つような点である。例えば、ハリスコーナー点等が上記特徴点として抽出される。特徴点の抽出精度を向上させるために壁面に格子や矩形などを印字してもよい。このように、特徴点抽出部１０４は、壁面に対して略平行に車両が移動中に当該車両に搭載されたカメラによって撮像された画像から、当該壁面の特徴点を抽出する。
【００２３】
追跡点抽出部１０５はメモリ１０２に保存されたｋ＋１番目の画像からｋ番目の画像における対象の特徴点と同じ特徴を有する点を追跡点として抽出し、その追跡点のイメージ座標をメモリ１０２に保存する。これにより、図１に示すように、例えば、注目点それぞれについて、特徴点のイメージ座標と、追跡点のイメージ座標がメモリ１０２に保存される。画像はｋ＋１番目に限らず、ｋ＋２番目以降の画像でもよいし、ｋ＋１番目以降の画像かつ複数枚使用してもよい。追跡点の抽出は、例えばthe Kanade-Lucas-Tomasi (KLT)などの処理を用いて行う。
【００２４】
行列算出部１０６はメモリ１０２に保存された特徴点のイメージ座標と追跡点のイメージ座標から、次の式で表される行列Ｆ，Ｒ，Ｔ，Ｐを算出する。以下、行列Ｆ，Ｒ，Ｔ，Ｐの算出方法の一例について説明する。
【００２５】
ｘ１とｘ２が対応点の場合、すべての対応点ｘ１、ｘ２に関して、以下の関係が成り立つ。
【００２６】
【数１】
2019087858.tif 000003
【００２７】
ここで、行列Ｆは基礎行列を呼ばれていて、３ｘ３行列である。ｘ１、ｘ２は、画像座標系での対応点の座標を同時座標系で表した３次元ベクトルである。ｋ番目画像の点（ｘ，ｙ）とｋ＋１番目の点（ｘ’，ｙ’）がシーンの同一点であれば，次のエピ極線方程式が成り立つ。
【００２８】
【数２】
2019087858.tif 000004
【００２９】
ここで、Ｆｉｊは（ｉ、ｊはインデックス）、行列Ｆの各成分を表し、ｆは焦点距離である。
【００３０】
対応する特徴点と追跡点のイメージ座標の組
【数３】
2019087858.tif 000005
を入力とし行列Ｆを求める。
ここでαは自然数をとるインデックス、Ｎは自然数である。
【００３１】
続いて、行列Ｆと焦点距離ｆからカメラの相対的な並進行列Ｔ、回転行列Ｒを算出する。その際に、まず次の基本行列Ｅを計算する。
【数４】
2019087858.tif 000006
ここで、焦点距離は、内部パラメータとして保持しているため、ｆ０＝ｆ＝ｆ’である。対称行列ＥＥＴの最少固有値に対する単位固有ベクトルを並進行列Ｔとする。ここで上付きのＴは転置を表す。行列‐Ｔ×Ｅを次のように特異値分解する。これにより並進行列Ｔが得られる。
【００３２】
【数５】
2019087858.tif 000007
ここでＵはｍ行ｍ列のユニタリ行列、Ｖはｎ行ｎ列のユニタリ行列で、diagは特異値σ１、σ２、σ３が並ぶ対角行列で、上付きのＴは転置を表す。次に、回転行列Ｒを次のように計算する。
【００３３】
【数６】
2019087858.tif 000008
【００３４】
３次元座標算出部１０７は、既知の技術であるSFM（Structure from Motion：３次元復元）を用いて、壁面の３次元座標(スケールなし)を算出する。３次元座標算出部１０７は、算出した壁面の３次元座標(スケールなし)をメモリ１０２に保存する。これにより、図１に示すように、注目点毎に、壁面の３次元座標(スケールなし)がメモリ１０２に保存される。ここで３次元空間（スケールなし）は、仮想空間ともいう。このように、３次元座標算出部１０７は、前記抽出された特徴点を用いて３次元復元を行うことにより、仮想空間における壁面の３次元座標を算出する。
【００３５】
距離算出部（法線ベクトル算出部）１０８は、３次元座標算出部１０７が算出した壁面の３次元座標(スケールなし)をメモリ１０２から読み出し、当該面の３次元座標(スケールなし)から３次元空間（スケールなし）上でのカメラと壁面との間の距離ｄを算出する。以下、距離ｄの算出方法について説明する。
【００３６】
ＳＦＭで算出した壁面の３次元座標（スケールなし）は、同一平面上に存在しているため、以下の平面方程式が成り立つ。
【００３７】
【数７】
2019087858.tif 000009
【００３８】
よって、壁面（ａｘ+ｂｙ+ｃｚ+ｄ=0）とカメラ座標原点(ｘ0, ｙ0, ｚ0)との距離ｄは、次の式で表される。
【００３９】
【数８】
2019087858.tif 000010
ここで、車両１０は壁面に対して略水平に移動するのでカメラ１０１も壁面に対して略水平に移動する。このため、壁面とカメラ座標原点との距離ｄは、壁面とカメラ１０１との距離を表す。このように距離算出部（法線ベクトル算出部）１０８は、前記算出された壁面の３次元座標を用いて、仮想空間における壁面とカメラとの距離を算出する。
【００４０】
車両進行ベクトル算出部１０９は、行列算出部１０６が算出した行列（併進行列）Ｔから進行ベクトルの大きさｚ１を算出する。以下、進行ベクトルの大きさｚ１の算出方法について説明する。まず並進行列Ｔは、次のように表される。
【００４１】
【数９】
2019087858.tif 000011
【００４２】
ここでＴｘ、Ｔｙ、Ｔｚはそれぞれ行列Ｔの成分である。進行ベクトルの大きさｚ１は、次の式で表される。
【００４３】
【数１０】
2019087858.tif 000012
【００４４】
移動距離算出部１１０は、距離算出部（法線ベクトル算出部）１０８が算出した３次元空間（スケールなし）上でのカメラと壁面間の距離ｄと壁面とカメラの実際の距離Ｄ（既知）を用いて実際のカメラ移動距離ＤＲを算出する。以下、実際のカメラ移動距離ＤＲの算出方法について説明する。
【００４５】
図２は、実際のカメラ移動距離の算出方法を説明するための模式図である。図２において、３次元空間（スケールなし）上での壁面ＶＷ、実際の壁面ＲＷ、移動前のカメラＣ１、３次元空間（スケールなし）上での移動後のカメラＣ２、実際の移動後のカメラＣ３が示されている。更に、ＳＦＭで算出された３次元空間（スケールなし）Ｓ１が破線の領域で示されている。３次元空間（スケールなし）上で移動前後のカメラ間距離は単位ベクトルに正規化しており、そのベクトルの大きさは進行ベクトルの大きさｚ１である。図２に示すように相似形となる。実際のカメラ移動距離ＤＲは、次の式で表される。
【００４６】
【数１１】
2019087858.tif 000013
【００４７】
上記の式に従って、移動距離算出部１１０は、前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記壁面とカメラとの距離ｄと、前記壁面とカメラの間の実際の距離Ｄとを用いて、実際のカメラ移動距離ＤＲを算出する。
【００４８】
このように実際のカメラ移動距離ＤＲを求めるために、カメラ高さを用いるのではなく、カメラと壁面の距離を用いる。カメラの高さは車両ごとでサスペンションなどの状態でばらつくが、本実施形態の方式であれば、工程として、カメラと壁面の距離を一定に保つ（例：ベルトコンベアなど）ことで従来技術より、実際のカメラ移動距離ＤＲの算出精度が向上する。
【００４９】
カメラ校正パラメータ算出部１１１は、校正後のカメラパラメータであるカメラ校正パラメータを算出して、算出したカメラ校正パラメータを出力する。
【００５０】
［１−２．動作］
以下、カメラ校正パラメータ算出部１１１におけるカメラ校正パラメータの算出処理の流れについて、図３〜図６を用いて以下説明する。図３は、カメラ校正パラメータの算出処理の流れの一例を示すフローチャートである。図４は、移動予測点のイメージ座標の算出工程を示す模式図である。図５は、図３のステップＳ２０２における移動予測点のイメージ座標の算出処理の詳細を示すフローチャートである。
【００５１】
（ステップＳ２０１）図３において、まず、カメラ校正パラメータ算出部１１１は、カメラ１０１の取り付け設計値のカメラ角度（パン、チルト、ロール）、カメラ１０１の位置を初期カメラパラメータに設定する。
【００５２】
（ステップＳ２０２）次に、カメラ校正パラメータ算出部１１１は、算出された実際のカメラ移動距離と、カメラ１０１のカメラパラメータを用いて、壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出する。
【００５３】
（ステップＳ２０３）次に、カメラ校正パラメータ算出部１１１は、追跡点と移動予測点の座標ずれ（図４（Ｄ）参照）を算出する。具体的には例えば、カメラ校正パラメータ算出部１１１は、メモリ１０２に保存された追跡点のイメージ座標とステップＳ２０２で算出した移動予測点のイメージ座標のユークリッド距離を座標ずれとして算出する。図４（Ｄ）に示すように、移動予測点のイメージ座標と追跡点のイメージ座標との間の座標ずれが得られる。
【００５４】
（ステップＳ２０４）次に、カメラ校正パラメータ算出部１１１は、座標ズレが許容値以下であるか判定する。ここで許容値は例えば予め設定された最小値であってもよい。座標ズレが許容値以下であると判定された場合、カメラ校正パラメータ算出部１１１は、そのときのカメラパラメータをカメラ校正パラメータとして出力する。
【００５５】
（ステップＳ２０５）一方、ステップＳ２０４で座標ズレが許容値を超えると判定された場合、カメラ校正パラメータ算出部１１１は、カメラパラメータを変更する。ここで、変更対象のカメラパラメータには、カメラ１０１のカメラ角度（パン、チルト、ロール）、カメラ１０１の位置などが含まれる。なお、カメラパラメータには、カメラ内部パラメータ（例えば、焦点距離、画素サイズ、画像中心、レンズ歪補正係数など）が含まれてもよい。
【００５６】
このように、カメラ校正パラメータ算出部１１１は、この座標ズレが許容値以下となるまで、例えば一定の範囲でカメラパラメータを変更し、処理を繰り返す。そして、カメラ校正パラメータ算出部１１１は、この座標ズレが許容値以下となるカメラパラメータ（カメラ角度、位置など）をカメラ校正パラメータとして出力する。カメラパラメータは、カメラ１０１の角度、及び／またはカメラ１０１の位置を含む。
【００５７】
以上の処理により、路面に輝度の情報量が特徴的な大きさがない場合（例えば、生産ライン上のコンクリート路面などの場合）にも、壁面の特徴点を抽出することで車両が移動する際に自動的にカメラ校正を行うことができる。
【００５８】
以下、図３のステップＳ２０２における移動予測点のイメージ座標の算出処理について、図４と図５を用いて説明する。
図４（Ａ）では、移動前の画像ＢＩにおいて特徴点のイメージ座標が示され、移動後の画像において追跡点のイメージ座標が示されている。
【００５９】
（ステップＳ３０１）まず、カメラ校正パラメータ算出部１１１は、メモリ１０２に保存された特徴点のイメージ座標を世界座標に変換する。ここで世界座標とは実空間に設定された座標である。これにより、例えば、図４（Ｂ）に示すように、特徴点の世界座標が得られる。処理の詳細は図６で後述する。
【００６０】
（ステップＳ３０２）次に、カメラ校正パラメータ算出部１１１は、特徴点の世界座標に車両の移動量を加算し、移動予測点の世界座標を算出する。これにより、例えば、図４（Ｃ）に示すように、移動予測点の世界座標が得られる。
【００６１】
（ステップＳ３０３）次に、カメラ校正パラメータ算出部１１１は、移動予測点の世界座標をイメージ座標に変換する。これにより、例えば、図４（Ｄ）に示すように、移動予測点のイメージ座標が得られる。
【００６２】
このように、カメラ校正パラメータ算出部１１１は、前記追跡点の移動前のカメラによって撮像された画像におけるイメージ座標を世界座標へ変換し、変換後の世界座標に前記算出された実際のカメラ移動距離を加算して移動予測点の世界座標を算出し、算出した移動予測点の世界座標をイメージ座標に変換する。
【００６３】
図６は、図５のステップＳ３０１の座標変換処理の詳細を示すフローチャートである。
（ステップＳ４０１）まず、カメラ校正パラメータ算出部１１１は、イメージ座標を歪みありセンサー座標に変換する。
【００６４】
（ステップＳ４０２）次に、カメラ校正パラメータ算出部１１１は、歪みありセンサー座標を歪みなしセンサー座標に変換する。
【００６５】
（ステップＳ４０３）次に、カメラ校正パラメータ算出部１１１は、歪みなしセンサー座標から世界座標に変換する。
［１−４．効果等］
以上のように、本実施の形態において、カメラ校正装置１は、壁面に対して略平行に車両が移動中に当該車両１０に搭載されたカメラ１０１によって撮像された画像から、当該壁面の特徴点を抽出する特徴点抽出部１０４を備える。更にカメラ校正装置１は、前記抽出された特徴点を用いて３次元復元を行うことにより、仮想空間における壁面の３次元座標を算出する３次元座標算出部１０７を備える。更にカメラ校正装置１は、前記算出された壁面の３次元座標を用いて、前記仮想空間における前記壁面とカメラとの距離を算出する距離算出部１０８を備える。更にカメラ校正装置１は、前記仮想空間における、移動前のカメラと前記壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部１０８を備える。更にカメラ校正装置１は、前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記壁面とカメラとの距離と、前記壁面とカメラの間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部を備える。更にカメラ校正装置１は、前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが許容値以下が小さくなるよう、前記カメラパラメータを変更するカメラ校正パラメータ算出部を備える。
【００６６】
この構成により、路面の輝度の情報量に特徴的な大きさがない（生産ライン上のコンクリート路面などの）場合にも、生産ラインなどで車両を停車することなく、生産ラインなどを車両が移動する際に自動的にカメラ校正を行うことができる。従って、車両の位置決めをせずに車載カメラの校正を行うことができる。また、路面の特徴点、及び／または追跡点を抽出する場合とは違い、路面の汚れに影響されることがない。
【００６７】
［他の実施の形態］
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。
【００６８】
本開示は、上述した実施の形態に限定されず、以下に示すように実際のカメラの移動量の算出方法を変更した実施形態も考えられる。そこで、以下、他の実施の形態を例示する。
【００６９】
＜第２の実施形態＞
図７は、第２の実施形態において実際のカメラ移動距離の算出方法を説明するための模式図である。３次元空間（スケールなし）上での第１の壁面ＶＷ１、３次元空間（スケールなし）上での第２の壁面ＶＷ２、実際の第１の壁面ＲＷ１、実際の第２の壁面ＲＷ２が示されている。更に、ＳＦＭで算出された３次元空間（スケールなし）Ｓ２が破線の領域で示されている。また移動前のカメラＣ１１、３次元空間（スケールなし）上での移動後のカメラＣ１２、実際の移動後のカメラＣ１３が示されている。
【００７０】
移動距離算出部１１０は、距離算出部（法線ベクトル算出部）１０８が算出した３次元空間（スケールなし）上でのカメラと両側の壁面間の距離（ｄ１，ｄ２）と実際の両壁面の距離Ｄ（既知）を用いて、実際のカメラ移動距離ＤＲを算出する。
３次元空間（スケールなし）上での第１の壁面ＶＷ１とカメラの距離をｄ１とする。３次元空間（スケールなし）上での第２の壁面ＶＷ２とカメラの距離をｄ２とする。３次元空間（スケールなし）上で移動前後のカメラ間距離は単位ベクトルに正規化しており、そのベクトルの大きさをＺ１とする。すると、図７のような相似形になる。実際のカメラ移動距離ＤＲは、次の式で表される。
【００７１】
【数１２】
2019087858.tif 000014
【００７２】
上記の式に従って、移動距離算出部１１０は、前記算出されたカメラ間距離ｚ１と、前記算出された前記仮想空間における前記第１の壁面ＶＷ１とカメラとの距離ｄ１と、前記算出された前記仮想空間における前記第２の壁面ＶＷ２とカメラとの距離ｄ２と、前記第１の壁面ＲＷ１と前記第２の壁面ＲＷ２の間の実際の距離Ｄとを用いて、実際のカメラ移動距離ＤＲを算出する。
【００７３】
本実施形態によれば、実際のカメラ移動量を求めるために、カメラ高さを既知とするのではなく、両側の壁面間の距離を既知とする。カメラの高さは車両ごとでサスペンションなどの状態によって、ばらつくが、本実施形態の方法であれば、両側の壁面間の距離を一定した設備を導入すれば、従来技術より、実際のカメラ移動距離の算出精度が向上する。また、片側のみの壁面の場合である第１の実施形態とは違い、カメラと壁面間の距離が既知でなくてよいので、壁面間であれば、任意の位置を直進するだけでよく、作業の容易性が第１の実施形態よりも向上する。
【００７４】
なお、複数の装置を備えるカメラ校正システムが、各実施形態のカメラ校正装置の各処理を、それらの複数の装置で分散して処理してもよい。
また、各実施形態のカメラ校正装置の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、プロセッサが実行することにより、各実施形態のカメラ校正装置に係る上述した種々の処理を行ってもよい。
【符号の説明】
【００７５】
１  カメラ校正装置
１０  車両
１０１  カメラ
１０２  メモリ
１０３  ＣＰＵ
１０４  特徴点抽出部
１０５  追跡点抽出部
１０６  行列算出部
１０７  ３次元座標算出部
１０８  距離算出部
１０９  進行ベクトル算出部
１１０  移動距離算出部
１１１  カメラ校正パラメータ算出部
１２０  ＲＯＭ
【図１】
2019087858.tif 000015
【図２】
2019087858.tif 000016
【図３】
2019087858.tif 000017
【図４】
2019087858.tif 000018
【図５】
2019087858.tif 000019
【図６】
2019087858.tif 000020
【図７】
2019087858.tif 000021