(57)【要約】【課題】３次元構造が既知なる校正指標を使用せずに移動体に設置されたステレオカメラや多眼カメラを校正することができるカメラパラメータ算出方法を提供する。【解決手段】（ａ１）１又は複数のカメラに共通の撮影空間に含まれる複数の３次元点の３次元座標を表す３次元点群データを受信し、（ａ２）前記１又は複数のカメラで撮影した１又は複数の画像を送信し、（ａ３）送信された前記１又は複数の画像を受信し、（ａ４）前記カメラの取り付け位置と向きに基づいて、各カメラの初期カメラパラメータを決定し、（ａ５）３次元点群データと前記初期カメラパラメータとに基づいて、前記複数の３次元点の各々について前記１又は複数の画像における対応点を算出し、（ａ６）前記１又は複数の画像の前記対応点における画素値に基づいて、前記１又は複数のカメラの前記１又は複数のカメラパラメータを算出する。【選択図】図１
2018189637.tif 000002
【特許請求の範囲】
【請求項１】
移動体に設置されたカメラのカメラパラメータを算出するカメラパラメータ算出方法であって、
（ａ１）１又は複数のカメラに共通の撮影空間に含まれる複数の３次元点の３次元座標を表す３次元点群データを受信し、
（ａ２）前記１又は複数のカメラで撮影した１又は複数の画像を送信し、
（ａ３）処理（ａ２）で送信された前記１又は複数の画像を受信し、
（ａ４）前記１又は複数のカメラの取り付け位置と向きに基づいて、前記１又は複数のカメラの１又は複数の初期カメラパラメータを決定し、
（ａ５）処理（ａ１）で受信された３次元点群データと処理（ａ４）で決定された１又は複数の初期カメラパラメータとに基づいて、前記複数の３次元点の各々について処理（ａ３）で受信された前記１又は複数の画像における対応点を算出し、
（ａ６）前記１又は複数の画像の、処理（ａ５）で算出された対応点における画素値に基づいて、前記１又は複数のカメラの前記１又は複数のカメラパラメータを算出し、
（ａ７）処理（ａ６）で算出された前記１又は複数のカメラパラメータを出力し、
前記１又は複数のカメラ、前記１又は複数の初期カメラパラメータ、前記１又は複数の画像、前記１又は複数のカメラパラメータは１対１対応し、
処理（ａ１）〜処理（ａ７）の少なくとも１つがプロセッサによって実行される、
カメラパラメータ算出方法。
【請求項２】
処理（ａ５）では、前記複数の３次元座標を、前記１または複数のカメラに対応する前記１または複数の初期カメラパラメータに基づいて前記１または複数のカメラに対応する画像における前記対応点の画像座標へ変換する、
請求項１に記載のカメラパラメータ算出方法。
【請求項３】
前記１又は複数のカメラは、２つのカメラを含み、
処理（ａ６）では、複数の差に基づいて前記カメラパラメータを算出し、
前記複数の差の各々は、
前記複数の３次元点のうちの１つの３次元点について前記２つカメラに含まれる第１カメラで撮影した第１画像における対応点における画素値と、
前記１つの３次元点について前記２つカメラに含まれる第２カメラで撮影した第２画像における対応点における画素値と、の差である、
請求項１又は２に記載のカメラパラメータ算出方法。
【請求項４】
前記１又は複数のカメラは、２以上のカメラであり、
処理（ａ６）では、複数の差に基づいて前記カメラパラメータを算出し、
前記複数の差の各々は、
前記複数の３次元点のうちの１つの３次元点について前記２以上のカメラで撮影した個々の画像における対応点での画素値のうち１つの画素値と、
当該画素値の平均値と、の差である、
請求項１又は２に記載のカメラパラメータ算出方法。
【請求項５】
前記１又は複数のカメラは、２以上のカメラであり、
処理（ａ６）では、同じ３次元点に対応する前記個々の画像における対応点の近傍画素における画素値パターンの類似度に基づいて前記カメラパラメータを算出する、
請求項１又は２に記載のカメラパラメータ算出方法。
【請求項６】
処理（ａ６）では、複数の正規化相互相関に基づいてカメラパラメータを算出し、前記複数の正規化相互相関の各々は、前記複数の３次元点のうちの１つの３次元点について前記２以上のカメラで撮影した個々の画像における対応点の近傍に含まれる画素値の相関である、
請求項５に記載のカメラパラメータ算出方法。
【請求項７】
処理（ａ６）では、前記複数の３次元点のうち、少なくとも何れか１つの画像において離間距離が閾値以下である複数の対応点が求まった３次元点を、前記カメラパラメータの算出から除外する、
請求項１から６の何れか１項に記載のカメラパラメータ算出方法。
【請求項８】
処理（ａ６）では、前記複数の３次元点のうち、前記１又は複数の画像のうちの少なくとも１つの画像の対応点における輝度勾配が閾値より小さい１又は複数の３次元点を除いた３次元点から前記カメラパラメータを算出する、
請求項１から６の何れか１項に記載のカメラパラメータ算出方法。
【請求項９】
前記３次元点群データは、所定の測距視点から出射された測定光の反射に基づいて、前記複数の３次元点の３次元位置を表し、
処理（ａ６）では、前記複数の３次元点に含まれる２つの３次元点であって、当該２つの３次元点間の距離が閾値より大きく、かつ当該２つの３次元点への前記測定光の方向ベクトルのなす角が閾値より小さい２つの３次元点を、前記カメラパラメータの算出から除外する、
請求項１から６の何れか１項に記載のカメラパラメータ算出方法。
【請求項１０】
前記３次元点群データは、所定の測距視点から出射された測定光の反射に基づいて、前記複数の３次元点の３次元位置と各３次元点からの当該測定光の戻り光の強度値とを表し、
処理（ａ６）では、前記複数の３次元点のうち、前記測距視点から所定近傍内に見えてかつ前記強度の差が第１の閾値と第２の閾値とで決まる範囲内にある複数の３次元点を用いて前記カメラパラメータを算出する、
請求項１から６の何れか１項に記載のカメラパラメータ算出方法。
【請求項１１】
前記３次元点群データは、３次元レーザースキャナによって前記複数の３次元点を測距して得たデータである、
請求項１から１０の何れか１項に記載のカメラパラメータ算出方法。
【請求項１２】
前記３次元点群データは、所定の測距視点から出射された測定光の反射と当該測距視点からのカラー撮影とに基づいて、前記複数の３次元点の３次元位置と各３次元点にある物体の色とを表し、
処理（ａ６）では、前記複数の３次元点のうち、前記測距視点から所定近傍内に見えてかつ前記物体の色の差が第１の閾値と第２の閾値とで決まる範囲内にある複数の３次元点を用いて前記カメラパラメータを算出する、
請求項１から６の何れか１項に記載のカメラパラメータ算出方法。
【請求項１３】
前記３次元点群データは、所定の測距視点から出射された測定光の反射と当該測距視点からのカラー撮影とに基づいて、前記複数の３次元点の３次元位置と各３次元点にある物体の色とを表し、
前記１又は複数のカメラの各々はカラーカメラであり、
処理（ａ６）では、複数の差に基づいて前記１又は複数のカメラのうちの１つのカメラのカメラパラメータを算出し、前記複数の差の各々は、前記複数の３次元点のうちの１つの３次元点について前記１つのカメラで撮影した画像における対応点での画素値によって表される色と、前記３次元点群データによって表される前記１つの３次元点にある物体の色との差である、
請求項１に記載のカメラパラメータ算出方法。
【請求項１４】
処理（ａ１）では、測距空間をカラー撮影するカラーカメラ付きの３次元レーザースキャナから、前記３次元点群データを受信する、
請求項１２又は１３に記載のカメラパラメータ算出方法。
【請求項１５】
移動体に設置されたカメラのカメラパラメータをコンピュータに算出させるカメラパラメータ算出プログラムであって、
（ａ１）１又は複数のカメラの撮影空間に含まれる複数の３次元点の各々の３次元位置を表す３次元点群データを取得する処理と、
（ａ２）前記１又は複数のカメラで撮影した１又は複数の画像を送信する処理と、
（ａ３）処理（ａ２）で送信された前記１又は複数の画像を受信する処理と、
（ａ４）前記１又は複数のカメラの取り付け位置と向きに基づいて、前記１又は複数のカメラの１又は複数の初期カメラパラメータを決定する処理と、
（ａ５）前記３次元点群データと前記１又は複数の初期カメラパラメータとに基づいて、前記複数の３次元点の各々について処理（ａ３）で受信した前記１又は複数の画像における対応点を算出する処理と、
（ａ６）前記１又は複数の画像における前記対応点における画素値に基づいて、前記１又は複数のカメラのカメラパラメータを算出する処理と、
（ａ７）処理（ａ６）で算出された前記１又は複数のカメラパラメータを出力する処理と、
をコンピュータに実行させ、
前記１又は複数のカメラ、前記１又は複数の初期カメラパラメータ、前記１又は複数の画像、前記１又は複数のカメラパラメータは１対１対応する、
カメラパラメータ算出プログラム。
【請求項１６】
移動体に設置されたカメラのカメラパラメータを算出する処理回路を備え、
前記処理回路は、
（ａ１）１又は複数のカメラに共通の撮影空間に含まれる複数の３次元点の３次元座標を表す３次元点群データを受信し、
（ａ２）前記１又は複数のカメラで撮影した１又は複数の画像を送信し、
（ａ３）処理（ａ２）で送信された前記１又は複数の画像を受信し、
（ａ４）前記１又は複数のカメラの取り付け位置と向きに基づいて、前記１又は複数のカメラの１又は複数の初期カメラパラメータを決定し、
（ａ５）処理（ａ１）で受信された３次元点群データと処理（ａ４）で決定された１又は複数の初期カメラパラメータとに基づいて、前記複数の３次元点の各々について処理（ａ３）で受信された前記１又は複数の画像における対応点を算出し、
（ａ６）前記１又は複数の画像の、処理（ａ５）で算出された対応点における画素値に基づいて、前記１又は複数のカメラの前記１又は複数のカメラパラメータを算出し、
（ａ７）処理（ａ６）で算出された前記１又は複数のカメラパラメータを出力し、
前記１又は複数のカメラ、前記１又は複数の初期カメラパラメータ、前記１又は複数の画像、前記１又は複数のカメラパラメータは１対１対応する、
カメラパラメータ算出装置。
【請求項１７】
１又は複数のカメラに共通の撮影空間に固定的に設置された３次元レーザースキャナと、
移動体に設置されたカメラのカメラパラメータを算出する処理回路と、を備え、
前記３次元レーザースキャナは、前記撮影空間に含まれる複数の３次元点の３次元座標系における前記移動体の位置と向きを測定し、
前記処理回路は、
（ａ１）前記撮影空間に含まれる複数の３次元点の３次元座標を表す３次元点群データを受信し、
（ａ２）前記１又は複数のカメラで撮影した１又は複数の画像を送信し、
（ａ３）処理（ａ２）で送信された前記１又は複数の画像を受信し、
（ａ４）前記３次元レーザースキャナで測定された前記移動体の位置と向きに基づいて前記３次元座標系における前記１または複数のカメラの取り付け位置と向きを算出し、前記１または複数のカメラの取り付け位置と向きに基づいて前記１又は複数のカメラの１又は複数の初期カメラパラメータを決定し、
（ａ５）処理（ａ１）で受信された３次元点群データと処理（ａ４）で決定された１又は複数の初期カメラパラメータとに基づいて、前記複数の３次元点の各々について処理（ａ３）で受信された前記１又は複数の画像における対応点を算出し、
（ａ６）前記１又は複数の画像の、処理（ａ５）で算出された対応点における画素値に基づいて、前記１又は複数のカメラの前記１又は複数のカメラパラメータを算出し、
（ａ７）処理（ａ６）で算出された前記１又は複数のカメラパラメータを出力し、
前記１又は複数のカメラ、前記１又は複数の初期カメラパラメータ、前記１又は複数の画像、前記１又は複数のカメラパラメータは１対１対応する、
カメラパラメータ算出システム。
【請求項１８】
１又は複数のカメラに共通の撮影空間に固定的に設置された３次元レーザースキャナと、
移動体に設置されたカメラのカメラパラメータを算出する処理回路と、を備え、
前記３次元レーザースキャナは、前記カメラパラメータ算出装置の校正における予め定めた前記移動体の停止位置である校正開始位置への前記移動体の停止を検出し、
前記処理回路は、
（ａ１）前記撮影空間に含まれる複数の３次元点の３次元座標を表す３次元点群データを受信し、
（ａ２）前記１又は複数のカメラで撮影した１又は複数の画像を送信し、
（ａ３）処理（ａ２）で送信された前記１又は複数の画像を受信し、
（ａ４）前記校正開始位置を用いて前記複数の３次元点の３次元座標系における前記１または複数のカメラの取り付け位置と向きを算出し、前記１または複数のカメラの取り付け位置と向きに基づいて前記１又は複数のカメラの１又は複数の初期カメラパラメータを決定し、
（ａ５）処理（ａ１）で受信された３次元点群データと処理（ａ４）で決定された１又は複数の初期カメラパラメータとに基づいて、前記複数の３次元点の各々について処理（ａ３）で受信された前記１又は複数の画像における対応点を算出し、
（ａ６）前記１又は複数の画像の、処理（ａ５）で算出された対応点における画素値に基づいて、前記１又は複数のカメラの前記１又は複数のカメラパラメータを算出し、
（ａ７）処理（ａ６）で算出された前記１又は複数のカメラパラメータを出力し、
前記１又は複数のカメラ、前記１又は複数の初期カメラパラメータ、前記１又は複数の画像、前記１又は複数のカメラパラメータは１対１対応する、
カメラパラメータ算出システム。
【請求項１９】
移動体に取り付けられた３次元レーザースキャナと、
前記移動体に設置されたカメラのカメラパラメータを算出する処理回路と、を備え、
前記処理回路は、
（ａ１）前記撮影空間に含まれる複数の３次元点の３次元座標を表す３次元点群データを受信し、
（ａ２）前記１又は複数のカメラで撮影した１又は複数の画像を送信し、
（ａ３）処理（ａ２）で送信された前記１又は複数の画像を受信し、
（ａ４）前記３次元レーザースキャナの取り付け位置と向きに基づき、前記複数の３次元点の３次元座標系における前記１または複数のカメラの取り付け位置と向きを算出し、前記１または複数のカメラの取り付け位置と向きに基づいて前記１又は複数のカメラの１又は複数の初期カメラパラメータを決定し、
（ａ５）処理（ａ１）で受信された３次元点群データと処理（ａ４）で決定された１又は複数の初期カメラパラメータとに基づいて、前記複数の３次元点の各々について処理（ａ３）で受信された前記１又は複数の画像における対応点を算出し、
（ａ６）前記１又は複数の画像の、処理（ａ５）で算出された対応点における画素値に基づいて、前記１又は複数のカメラの前記１又は複数のカメラパラメータを算出し、
（ａ７）処理（ａ６）で算出された前記１又は複数のカメラパラメータを出力し、
前記１又は複数のカメラ、前記１又は複数の初期カメラパラメータ、前記１又は複数の画像、前記１又は複数のカメラパラメータは１対１対応する、
カメラパラメータ算出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、カメラパラメータを算出する技術に関する。
【背景技術】
【０００２】
カメラパラメータの算出、すなわちカメラの校正を行うために、３次元空間中の３次元座標と２次元画像中の画像座標を対応づける必要がある。この目的のために、従来、形状が既知のチェッカーパタンなどの校正指標を撮影し、校正指標たるチェッカーパタンの交点と撮影したチェッカーパタンにおける当該交点に対応する点を検出することで、３次元座標と２次元画像中の画像座標を対応付けることが行われている（例えば、特許文献１、２、及び非特許文献１、２を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４６８１８５６号公報
【特許文献２】特許第５５８０１６４号公報
【非特許文献】
【０００４】
【非特許文献１】Roger Y. Tsai. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses. IEEE Journal of Robotics and Automation. Vol. 3, pp.323-344, 1987
【非特許文献２】Zhengyou Zhang. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 22, pp.1330-1334, 2000
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来のカメラ校正では、３次元構造が既知の校正指標を使用する。このため、加工精度の高い校正指標と広い撮影空間を必要とする。また、このような広角カメラの校正においては、校正指標を視野全体に配置するために、大掛かりな校正設備が必要となる。
【０００６】
本開示の非限定的で例示的な一態様は、上記課題に鑑みて創案されたもので、３次元構造が既知なる校正指標を使用せずに、単眼カメラ、及び、ステレオカメラや多眼カメラを校正することを開示する。
【課題を解決するための手段】
【０００７】
本開示の一態様に係るカメラパラメータ算出方法は、移動体に設置されたカメラのカメラパラメータを算出するカメラパラメータ算出方法であって、（ａ１）１又は複数のカメラに共通の撮影空間に含まれる複数の３次元点の３次元座標を表す３次元点群データを受信し、（ａ２）前記１又は複数のカメラで撮影した１又は複数の画像を送信し、（ａ３）処理（ａ２）で送信された前記１又は複数の画像を受信し、（ａ４）前記１又は複数のカメラの取り付け位置と向きに基づいて、前記１又は複数のカメラの１又は複数の初期カメラパラメータを決定し、（ａ５）処理（ａ１）で受信された３次元点群データと処理（ａ４）で決定された１又は複数の初期カメラパラメータとに基づいて、前記複数の３次元点の各々について処理（ａ３）で受信された前記１又は複数の画像における対応点を算出し、（ａ６）前記１又は複数の画像の、処理（ａ５）で算出された対応点における画素値に基づいて、前記１又は複数のカメラの前記１又は複数のカメラパラメータを算出し、（ａ７）処理（ａ６）で算出された前記１又は複数のカメラパラメータを出力し、前記１又は複数のカメラ、前記１又は複数の初期カメラパラメータ、前記１又は複数の画像、前記１又は複数のカメラパラメータは１対１対応し、処理（ａ１）〜処理（ａ７）の少なくとも１つがプロセッサによって実行される。
【０００８】
なお、この包括的または具体的な態様は、装置、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性の記録媒体を含む。
【発明の効果】
【０００９】
本開示に係るカメラ校正技術によれば、３次元座標をカメラパラメータで画像上に投影した画像座標における画素値に基づいてカメラパラメータを評価することにより、３次元構造が既知なる校正指標を使用せずに、カメラパラメータを算出すること、すなわちカメラを校正することができる。このため、３次元空間中の３次元座標と２次元画像中の画像座標の対応付けを行わずに、カメラを校正することができる。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１に係るカメラパラメータ算出装置の機能的な構成の一例を示すブロック図。
【図２】実施の形態１に係るカメラパラメータ算出装置の動作の一例を示すフローチャート。
【図３】実施の形態１に係る初期カメラパラメータ決定処理の一例を示すフローチャート。
【図４】実施の形態１に係る初期カメラパラメータ決定処理の適用例を示す模式図。
【図５】実施の形態１に係る初期カメラパラメータ決定処理の一例を示すフローチャート。
【図６】実施の形態１に係る初期カメラパラメータ決定処理の適用例を示す模式図。
【図７】実施の形態１に係るＣＧ（コンピュータグラフィクス）画像の一例を示す図。
【図８】Ｃｘの正しいカメラパラメータ近傍での評価値を示す図。
【図９】Ｃｙの正しいカメラパラメータ近傍での評価値を示す図。
【図１０】ｆの正しいカメラパラメータ近傍での評価値を示す図。
【図１１】ｄ’ｘの正しいカメラパラメータ近傍での評価値を示す図。
【図１２】Ｒｘの正しいカメラパラメータ近傍での評価値を示す図。
【図１３】Ｒｙの正しいカメラパラメータ近傍での評価値を示す図。
【図１４】Ｒｚの正しいカメラパラメータ近傍での評価値を示す図。
【図１５】Ｔｘの正しいカメラパラメータ近傍での評価値を示す図。
【図１６】Ｔｙの正しいカメラパラメータ近傍での評価値を示す図。
【図１７】Ｔｚの正しいカメラパラメータ近傍での評価値を示す図。
【図１８】実施の形態２に係るカメラパラメータ算出装置の機能的な構成の一例を示すブロック図。
【図１９】実施の形態３に係るカメラパラメータ算出装置の機能的な構成の一例を示すブロック図。
【図２０】実施の形態３に係る初期カメラパラメータ算出装置の適用例を示す模式図。
【図２１】変形例１に係るカメラパラメータ算出装置の動作の一例を示すフローチャート。
【図２２】変形例２に係るカメラパラメータ算出処理の一例を示すフローチャート。
【図２３】変形例３に係るカメラパラメータ算出処理の一例を示すフローチャート。
【図２４】変形例４に係るカメラパラメータ算出処理の一例を示すフローチャート。
【図２５】変形例５に係るカメラパラメータ算出処理の一例を示すフローチャート。
【図２６】変形例６に係るカメラパラメータ算出処理の一例を示すフローチャート。
【図２７】変形例７に係るカメラパラメータ算出処理の一例を示すフローチャート。
【図２８】変形例８に係るカメラパラメータ算出処理の一例を示すフローチャート。
【図２９】変形例９に係るカメラパラメータ算出装置の機能的な構成の一例を示すブロック図。
【図３０】変形例９に係るカメラパラメータ算出処理の一例を示すフローチャート。
【図３１】変形例１０に係るカメラパラメータ算出処理の一例を示すフローチャート。
【図３２】変形例１１に係る点群選択マスク作成処理の一例を示すフローチャート。
【図３３】魚眼カメラによるチェッカーパタンの撮影画像。
【発明を実施するための形態】
【００１１】
（本開示の基礎となった知見）
本発明者は、背景技術の欄において記載したカメラ校正に関し、以下の問題が生じることを見出した。
【００１２】
カメラ校正を行うために、カメラが存在する３次元空間中の着目点、例えば被写体上の点、の３次元座標と、前記カメラで前記着目点を撮影して得た２次元画像中の前記着目点が撮影された点（以下、対応点と言う）の２次元座標を対応づける必要がある。この目的のために、従来、形状が既知のチェッカーパタンなどの校正指標を撮影する。そして、校正指標たるチェッカーパタンの交点と撮影したチェッカーパタンにおける当該交点に対応する点を検出することで、３次元座標と２次元画像中の画像座標を対応付けることが行われている。ここで、前記３次元空間中の３次元座標を世界座標と言い、前記２次元画像中の２次元座標を画像座標と言う。世界座標は世界座標空間にて定義される。
【００１３】
例えば、図３３は、箱状の被写体の内側に一定間隔でチェッカーパタンを描画した校正指標である。２次元画像中の画素位置については、図３３に示すように、例えばチェッカーパタンを撮影した画像の左上を原点とした画像座標系においてチェッカーパタンの交点に対応する位置をオペレータが読み取る。チェッカーパタンの交点の３次元座標については、撮影に使用したチェッカーパタンから得る。具体的には、特定の位置に世界座標空間の原点とＸ、Ｙ、Ｚの３軸を定め、着目交点が原点から何番目のチェッカーパタンの交点になっているかによって３次元座標を同定できる。
【００１４】
カメラパラメータに基づく座標変換により、世界座標空間における点を画像座標平面上に投影できる。言い換えれば、カメラパラメータを用いて世界座標空間における点の座標に対応するカメラ画像上の対応点の座標を計算して求めることができる。逆に、現に対応している世界座標）と画像座標との組から、カメラパラメータを算出できる。ピンホールカメラを例として、カメラパラメータを用いた世界座標（Ｘ，Ｙ，Ｚ）と画像座標（ｘｕ，ｙｕ）の関係を式１に示す。
【００１５】
【数１】
2018189637.tif 000003
【００１６】
このピンホールカメラモデルのカメラパラメータは、画像中心のｘ成分とｙ成分をそれぞれＣｘとＣｙ、焦点距離をｆ、撮像素子の１画素のｘ方向とｙ方向の長さをそれぞれｄ’ｘ、ｄ’ｙとする。また、カメラの向き（世界座標空間における基準方向からの回転量）を表す３行３列の行列を回転Ｒ（配列要素の添え字の１０の位は行を、１の位は列を表す）、カメラの取り付け位置（世界座標空間の基準点からの変位量）を表す３行１列の行列を並進Ｔ（配列要素の添え字のｘ、ｙ、ｚは座標軸を表す）、自由度のない媒介変数をｈとする。また、歪曲収差等の歪みは、歪みのない画像座標（ｘｕ，ｙｕ）から、歪みのある画像座標（ｘ，ｙ）への変換を表すΦ（［ｘｕ  ｙｕ］Ｔ）を用いることにより表現できる（式２）。
【００１７】
【数２】
2018189637.tif 000004
【００１８】
従来の複数のカメラ校正技術とその課題について、順に説明する。
【００１９】
非特許文献１では、着目点の世界座標と当該着目点を撮影して得た２次元画像中の当該着目点が撮影された点の画像座標の組の各々に対し、世界座標を、カメラパラメータを用いて、画像上に投影された画像座標を求める。当該着目点が撮影された点の画像座標と世界座標が投影された画像座標の距離（再投影誤差）の総和を最小化することによりカメラを校正する。このため、着目点の世界座標と当該着目点が撮影された点の２次元画像中の画素位置を対応づける必要がある。
【００２０】
非特許文献２では、複数の異なる奥行きに校正指標を設置し、１つのカメラで複数の平面上に配置された校正指標をそれぞれ撮影する。複数の校正指標のそれぞれに含まれる着目点の世界座標と撮影された画像に含まれる当該着目点が撮影された点の画像座標の組に対し、カメラパラメータを用いて世界座標を当該画像上に投影した点の座標を求める。世界座標を当該画像上に投影した点の座標と撮影された画像に含まれる当該着目点が撮影された点の画像座標の距離の二乗を求める。各組に対応する距離の二乗の総和を最小化することによりカメラを校正する。このため、着目点の世界座標と当該着目点が撮影された点の２次元画像中の画素位置を対応づける必要がある。
【００２１】
特許文献１では、世界座標である３次元座標と２次元画像中の画素値が複数フレーム間に渡って対応付けられた平面上の校正点の情報を入力する。世界座標空間に定義された平面に存在する校正点と、画像座標上の校正点が平面射影変換になるように、カメラパラメータを決定する。このため、３次元空間中の３次元座標と２次元画像中の画素位置を対応づける必要がある。
【００２２】
特許文献２では、３次元レーザースキャナとステレオカメラとで、それぞれの３次元位置を取得する。３次元レーザースキャナとステレオカメラで取得された３次元位置を対応付け、ステレオカメラより測距精度が高い３次元レーザースキャナの３次元位置に基づいて、ステレオカメラを校正する。前記校正方法を以下に説明する。ステレオカメラで取得された三次元座標が、前記三次元座標と対応した３次元レーザースキャナによって取得した三次元座標に一致するように、ステレオカメラのカメラパラメータを校正する。３次元点同士の対応付けをマニュアルで行うことは煩雑であり、自動化する場合は専用の校正指標が必要である。また、基線長が短い小型のステレオカメラにおいて、カメラパラメータに誤差を含む場合、基線長が長いステレオカメラに比べ、測距精度の低下が大きい。そのため、被写体距離と比べて基線長が短い場合、３次元レーザースキャナの３次元位置と誤対応する可能性がある。
【００２３】
車やドローン等の移動体における周辺監視や運転支援等のために、ステレオカメラが利用される。このような目的の場合、広角なカメラが好適である。これらの測距を目的とした一般的なステレオカメラは、製造時の校正が必要である。また、経年変化や衝撃による歪みに対して、カメラの再校正が必要となる。
【００２４】
通常、製造時の校正および、再校正は専用の校正設備で実施する。これらの校正では、３次元構造が既知の校正指標を使用する。このため、加工精度の高い校正指標と広い撮影空間を必要とする。また、このような広角カメラの校正においては、校正指標を広角カメラの視野全体に配置するために、大掛かりな校正設備が必要となる。また、大掛かりな校正設備を動かすことが難しい。よって、大掛かりな校正設備を用いて、移動体に搭載されたカメラを校正する場合、大掛かりな校正設備の設置場所で校正しなければならない。つまり、校正設備の設置場所に移動体を搬送し、カメラを校正する必要がある。さらに、移動体の校正設備への搬送時及びカメラ校正時には、ユーザは移動体を使用できない。
【００２５】
本開示は、上記課題に鑑みて創案されたもので、３次元構造が既知なる校正指標を使用せずに、移動体に搭載されたカメラを校正することを目的とする。
【００２６】
本開示の一態様に係るカメラパラメータ算出方法は、移動体に設置されたカメラのカメラパラメータを算出するカメラパラメータ算出方法であって、（ａ１）１又は複数のカメラに共通の撮影空間に含まれる複数の３次元点の３次元座標を表す３次元点群データを受信し、（ａ２）前記１又は複数のカメラで撮影した１又は複数の画像を送信し、（ａ３）処理（ａ２）で送信された前記１又は複数の画像を受信し、（ａ４）前記１又は複数のカメラの取り付け位置と向きに基づいて、前記１又は複数のカメラの１又は複数の初期カメラパラメータを決定し、（ａ５）処理（ａ１）で受信された３次元点群データと処理（ａ４）で決定された１又は複数の初期カメラパラメータとに基づいて、前記複数の３次元点の各々について処理（ａ３）で受信された前記１又は複数の画像における対応点を算出し、（ａ６）前記１又は複数の画像の、処理（ａ５）で算出された対応点における画素値に基づいて、前記１又は複数のカメラの前記１又は複数のカメラパラメータを算出し、（ａ７）処理（ａ６）で算出された前記１又は複数のカメラパラメータを出力し、前記１又は複数のカメラ、前記１又は複数の初期カメラパラメータ、前記１又は複数の画像、前記１又は複数のカメラパラメータは１対１対応し、処理（ａ１）〜処理（ａ７）の少なくとも１つがプロセッサによって実行される。
【００２７】
この構成によれば、３次元座標をカメラパラメータで画像上に投影した画像座標における画素値に基づいてカメラパラメータを評価するので、３次元構造が既知なる校正指標を使用せずに、カメラパラメータを算出すること、すなわちカメラを校正することができる。このため、３次元空間中の３次元座標と２次元画像中の画素位置の対応付けを行わずに、移動体に設置されたカメラを校正することができる。
【００２８】
また、プロセッサが、前記１又は複数のカメラの取り付け位置と向きに基づいて、前記１又は複数のカメラの１又は複数の初期カメラパラメータを決定するので、マニュアル操作を必要とせずに前記１または複数の初期カメラパラメータを決定できる。
【００２９】
また、処理（ａ５）では、前記複数の３次元座標を、前記１または複数のカメラに対応する前記１または複数の初期カメラパラメータに基づいて前記１または複数のカメラに対応する画像における前記対応点の画像座標へ変換してもよい。
【００３０】
この構成によれば、例えば、ピンホールカメラモデルなど、カメラモデルに応じたカメラパラメータを媒介とする座標変換による定型的な手順で、前記３次元座標から前記画像座標を算出できる。
【００３１】
また、前記１又は複数のカメラは、２つのカメラを含み、処理（ａ６）では、複数の差に基づいて前記カメラパラメータを算出し、前記複数の差の各々は、前記複数の３次元点のうちの１つの３次元点について前記２つカメラに含まれる第１カメラで撮影した第１画像における対応点における画素値と、前記１つの３次元点について前記２つカメラに含まれる第２カメラで撮影した第２画像における対応点における画素値と、の差であってもよい。
【００３２】
この構成によれば、前記カメラパラメータが正しければ、前記個々の画像における対応点には、１つの３次元点が正しく投影されるので、前記複数の差はいずれも０に近づく。つまり、前記複数の差の累計が大きいことは、前記個々の画像における対応点の誤差が大きい、つまり、前記カメラパラメータの誤差が大きいことを意味する。そのため、例えば、前記差の累計で定義される評価関数を導入し、勾配降下法などの、周知の手順で、当該評価関数を小さくする方向に前記カメラパラメータを更新する。これにより、前記カメラパラメータの誤差が縮小し、カメラ校正を実施できる。
【００３３】
また、前記１又は複数のカメラは、２以上のカメラであり、処理（ａ６）では、複数の差に基づいて前記カメラパラメータを算出し、前記複数の差の各々は、前記複数の３次元点のうちの１つの３次元点について前記２以上のカメラで撮影した個々の画像における対応点での画素値のうち１つの画素値と、当該画素値の平均値と、の差であってもよい。前記差は、前記画素値の差の絶対値であってもよく、前記画素値の差の２乗値であってもよい。
【００３４】
この構成によれば、前記カメラパラメータが正しければ、前記個々の画像における対応点には、１つの３次元点が正しく投影されるので、前記複数の差はいずれも０に近づく。つまり、前記複数の差の累計が大きいことは、前記個々の画像における対応点の誤差が大きい、つまり、前記カメラパラメータの誤差が大きいことを意味する。そのため、例えば、前記差の累計で定義される評価関数を導入し、勾配降下法などの、周知の手順で、当該評価関数を小さくする方向に前記カメラパラメータを更新する。これにより、前記カメラパラメータの誤差が縮小し、カメラ校正を実施できる。
【００３５】
また、前記１又は複数のカメラは、２以上のカメラであり、処理（ａ６）では、同じ３次元点に対応する前記個々の画像における対応点の近傍画素における画素値パターンの類似度に基づいて前記カメラパラメータを算出してもよい。具体的に、処理（ａ６）では、複数の正規化相互相関に基づいてカメラパラメータを算出し、前記複数の正規化相互相関の各々は、前記複数の３次元点のうちの１つの３次元点について前記２以上のカメラで撮影した個々の画像における対応点の近傍に含まれる画素値の相関であってもよい。
【００３６】
この構成によれば、前記個々の画像にゲイン差（例えば、露出の不一致による全体的な輝度差）がある場合でも、画素値パターンの類似に基づいて、当該ゲイン差を排除して、対応点の誤差の大きさを知ることができる。
【００３７】
また、処理（ａ６）では、前記複数の３次元点のうち、少なくとも何れか１つの画像において離間距離が閾値以下である複数の対応点が求まった３次元点を、前記カメラパラメータの算出から除外してもよい。
【００３８】
この構成において、離間距離が閾値以下である複数の対応点は、カメラから略一方向に延びる領域に存在する複数の３次元点の対応点である。そのため、後方の３次元物体が前方の３次元物体によって遮蔽されている可能性がある。そこで、前記カメラパラメータの算出に際し、離間距離が閾値以下である複数の対応点が求まった３次元点を、前記カメラパラメータの算出から除外する。これにより、本来とは異なる画素値を表している可能性がある対応点の画素値を評価値の算出から除外することができ、遮蔽による影響を排除して評価値を算出できる。
【００３９】
また、処理（ａ６）では、前記複数の３次元点のうち、前記１又は複数の画像のうちの少なくとも１つの画像の対応点における輝度勾配が閾値より小さい１又は複数の３次元点を除いた３次元点から前記カメラパラメータを算出してもよい。
【００４０】
この構成によれば、カメラ画像において輝度勾配の小さい領域に位置する３次元点を除いて、カメラパラメータを算出することにより、評価値への寄与が小さい３次元点による計算を省き、計算量を低減することができる。
【００４１】
前記３次元点群データは、所定の測距視点から出射された測定光の反射に基づいて、前記複数の３次元点の３次元位置を表し、処理（ａ６）では、前記複数の３次元点に含まれる２つの３次元点であって、当該２つの３次元点間の距離が閾値より大きく、かつ当該２つの３次元点への前記測定光の方向ベクトルのなす角が閾値より小さい２つの３次元点を、前記カメラパラメータの算出から除外してもよい。
【００４２】
この構成において、前記２つの３次元点は、前記３次元点群データの物体の境界や表面凹凸の大きい領域に位置するギャップ領域であり、画像の対応点での画素値にもギャップが生じ易い。そのような対応点の画素値を評価値の算出に用いると、対応点の誤差に対して評価値が鋭敏に変化し過ぎることで、カメラパラメータの収束性を悪化させる懸念がある。このような問題に対し、上記の構成では、物体の境界や表面凹凸の大きい領域を避け、適した領域の画素値を用いて評価値を算出できる。
【００４３】
また、前記３次元点群データは、所定の測距視点から出射された測定光の反射に基づいて、前記複数の３次元点の３次元位置と各３次元点からの当該測定光の戻り光の強度値とを表し、処理（ａ６）では、前記複数の３次元点のうち、前記測距視点から所定近傍内に見えてかつ前記強度の差が第１の閾値と第２の閾値とで決まる範囲内にある複数の３次元点を用いて前記カメラパラメータを算出してもよい。
【００４４】
この構成によれば、前記測定光の強度、つまり物体の反射率が滑らかに変化する範囲内にある複数の３次元点を用いて前記カメラパラメータを算出できる。例えば、物体の境界などで物体の反射率にギャップがある領域では、画像の対応点での画素値にもギャップが生じ易い。そのような対応点の画素値を評価値の算出に用いると、対応点の誤差に対して評価値が鋭敏に変化し過ぎることで、カメラパラメータの収束性を悪化させる懸念がある。このような問題に対し、上記の構成では、物体の反射率に過度の差異がある領域を避け、適した領域の画素値を用いて評価値を算出できる。また、例えば、単調な連続面など、反射率の変化がなさ過ぎる領域も、カメラパラメータの収束を困難にするため、評価値の算出から除外される。
【００４５】
また、前記３次元点群データは、３次元レーザースキャナによって前記複数の３次元点を測距して得たデータであってもよい。
【００４６】
この構成によれば、前記３次元点群データを、一般的に利用が容易な３次元レーザースキャナから取得することができる。
【００４７】
また、前記３次元点群データは、所定の測距視点から出射された測定光の反射と当該測距視点からのカラー撮影とに基づいて、前記複数の３次元点の３次元位置と各３次元点にある物体の色とを表し、処理（ａ６）では、前記複数の３次元点のうち、前記測距視点から所定近傍内に見えてかつ前記物体の色の差が第１の閾値と第２の閾値とで決まる範囲内にある複数の３次元点を用いて前記カメラパラメータを算出してもよい。
【００４８】
この構成によれば、物体の色が滑らかに変化する範囲内にある複数の３次元点を用いて前記カメラパラメータを算出できる。例えば、物体の境界などで物体の色にギャップがある領域では、画像の対応点での色にもギャップが生じる。そのような対応点の画素値を評価値の算出に用いると、対応点の誤差に対して評価値が鋭敏に変化し過ぎることで、カメラパラメータの収束性を悪化させる懸念がある。このような問題に対し、上記の構成では、物体の色に過度の差異がある領域を避け、適した領域の画素値を用いて評価値を算出できる。また、例えば、単調な連続面など、色の変化がなさ過ぎる領域も、カメラパラメータの収束を困難にするため、評価値の算出から除外される。
【００４９】
また、前記３次元点群データは、所定の測距視点から出射された測定光の反射と当該測距視点からのカラー撮影とに基づいて、前記複数の３次元点の３次元位置と各３次元点にある物体の色とを表し、前記１又は複数のカメラの各々はカラーカメラであり、処理（ａ６）では、複数の差に基づいて前記１又は複数のカメラのうちの１つのカメラのカメラパラメータを算出し、前記複数の差の各々は、前記複数の３次元点のうちの１つの３次元点について前記１つのカメラで撮影した画像における対応点での画素値によって表される色と、前記３次元点群データによって表される前記１つの３次元点にある物体の色との差であってもよい。
【００５０】
この構成によれば、前記３次元点群データによって表される物体の色の情報を用いることにより、単一のカメラを校正し、また、複数のカメラを１台ずつ校正することができる。
【００５１】
また、処理（ａ１）では、測距空間をカラー撮影するカラーカメラ付きの３次元レーザースキャナから、前記３次元点群データを受信してもよい。
【００５２】
この構成によれば、前記３次元点群データを、３次元レーザースキャナから、色情報付きで受信することができる。
【００５３】
また、本開示の一態様に係るカメラパラメータ算出プログラムは、移動体に設置されたカメラのカメラパラメータをコンピュータに算出させるカメラパラメータ算出プログラムであって、（ａ１）１又は複数のカメラの撮影空間に含まれる複数の３次元点の各々の３次元位置を表す３次元点群データを取得する処理と、（ａ２）前記１又は複数のカメラで撮影した１又は複数の画像を送信する処理と、（ａ３）処理（ａ２）で送信された前記１又は複数の画像を受信する処理と、（ａ４）前記１又は複数のカメラの取り付け位置と向きに基づいて、前記１又は複数のカメラの１又は複数の初期カメラパラメータを決定する処理と、（ａ５）前記３次元点群データと前記１又は複数の初期カメラパラメータとに基づいて、前記複数の３次元点の各々について処理（ａ３）で受信した前記１又は複数の画像における対応点を算出する処理と、（ａ６）前記１又は複数の画像における前記対応点における画素値に基づいて、前記１又は複数のカメラのカメラパラメータを算出する処理と、（ａ７）処理（ａ６）で算出された前記１又は複数のカメラパラメータを出力する処理と、をコンピュータに実行させ、前記１又は複数のカメラ、前記１又は複数の初期カメラパラメータ、前記１又は複数の画像、前記１又は複数のカメラパラメータは１対１対応する。
【００５４】
この構成によれば、前記カメラパラメータ算出方法について説明した効果と同等の効果を、カメラパラメータ算出プログラムにおいて得ることができる。
【００５５】
また、本開示の一態様に係るカメラパラメータ算出装置は、移動体に設置されたカメラのカメラパラメータを算出する処理回路を備え、前記処理回路は、（ａ１）１又は複数のカメラに共通の撮影空間に含まれる複数の３次元点の３次元座標を表す３次元点群データを受信し、（ａ２）前記１又は複数のカメラで撮影した１又は複数の画像を送信し、（ａ３）処理（ａ２）で送信された前記１又は複数の画像を受信し、（ａ４）前記１又は複数のカメラの取り付け位置と向きに基づいて、前記１又は複数のカメラの１又は複数の初期カメラパラメータを決定し、（ａ５）処理（ａ１）で受信された３次元点群データと処理（ａ４）で決定された１又は複数の初期カメラパラメータとに基づいて、前記複数の３次元点の各々について処理（ａ３）で受信された前記１又は複数の画像における対応点を算出し、（ａ６）前記１又は複数の画像の、処理（ａ５）で算出された対応点における画素値に基づいて、前記１又は複数のカメラの前記１又は複数のカメラパラメータを算出し、（ａ７）処理（ａ６）で算出された前記１又は複数のカメラパラメータを出力し、前記１又は複数のカメラ、前記１又は複数の初期カメラパラメータ、前記１又は複数の画像、前記１又は複数のカメラパラメータは１対１対応する。
【００５６】
この構成によれば、前記カメラパラメータ算出方法について説明した効果と同等の効果を、カメラパラメータ算出装置において得ることができる。
【００５７】
また、本開示の一態様に係るカメラパラメータ算出システムは、１又は複数のカメラに共通の撮影空間に固定的に設置された３次元レーザースキャナと、移動体に設置されたカメラのカメラパラメータを算出する処理回路と、を備え、前記３次元レーザースキャナは、前記撮影空間に含まれる複数の３次元点の３次元座標系における前記移動体の位置と向きを測定し、前記処理回路は、（ａ１）前記撮影空間に含まれる複数の３次元点の３次元座標を表す３次元点群データを受信し、（ａ２）前記１又は複数のカメラで撮影した１又は複数の画像を送信し、（ａ３）処理（ａ２）で送信された前記１又は複数の画像を受信し、（ａ４）前記３次元レーザースキャナで測定された前記移動体の位置と向きに基づいて前記３次元座標系における前記１または複数のカメラの取り付け位置と向きを算出し、前記１または複数のカメラの取り付け位置と向きに基づいて前記１又は複数のカメラの１又は複数の初期カメラパラメータを決定し、（ａ５）処理（ａ１）で受信された３次元点群データと処理（ａ４）で決定された１又は複数の初期カメラパラメータとに基づいて、前記複数の３次元点の各々について処理（ａ３）で受信された前記１又は複数の画像における対応点を算出し、（ａ６）前記１又は複数の画像の、処理（ａ５）で算出された対応点における画素値に基づいて、前記１又は複数のカメラの前記１又は複数のカメラパラメータを算出し、（ａ７）処理（ａ６）で算出された前記１又は複数のカメラパラメータを出力し、前記１又は複数のカメラ、前記１又は複数の初期カメラパラメータ、前記１又は複数の画像、前記１又は複数のカメラパラメータは１対１対応する。
【００５８】
また、本開示の一態様に係るカメラパラメータ算出システムは、１又は複数のカメラに共通の撮影空間に固定的に設置された３次元レーザースキャナと、移動体に設置されたカメラのカメラパラメータを算出する処理回路と、を備え、前記３次元レーザースキャナは、前記カメラパラメータ算出装置の校正における予め定めた前記移動体の停止位置である校正開始位置への前記移動体の停止を検出し、前記処理回路は、（ａ１）前記撮影空間に含まれる複数の３次元点の３次元座標を表す３次元点群データを受信し、（ａ２）前記１又は複数のカメラで撮影した１又は複数の画像を送信し、（ａ３）処理（ａ２）で送信された前記１又は複数の画像を受信し、（ａ４）前記校正開始位置を用いて前記複数の３次元点の３次元座標系における前記１または複数のカメラの取り付け位置と向きを算出し、前記１または複数のカメラの取り付け位置と向きに基づいて前記１又は複数のカメラの１又は複数の初期カメラパラメータを決定し、（ａ５）処理（ａ１）で受信された３次元点群データと処理（ａ４）で決定された１又は複数の初期カメラパラメータとに基づいて、前記複数の３次元点の各々について処理（ａ３）で受信された前記１又は複数の画像における対応点を算出し、（ａ６）前記１又は複数の画像の、処理（ａ５）で算出された対応点における画素値に基づいて、前記１又は複数のカメラの前記１又は複数のカメラパラメータを算出し、（ａ７）処理（ａ６）で算出された前記１又は複数のカメラパラメータを出力し、前記１又は複数のカメラ、前記１又は複数の初期カメラパラメータ、前記１又は複数の画像、前記１又は複数のカメラパラメータは１対１対応する。
【００５９】
また、本開示の一態様に係るカメラパラメータ算出システムは、移動体に取り付けられた３次元レーザースキャナと、前記移動体に設置されたカメラのカメラパラメータを算出する処理回路と、を備え、前記処理回路は、（ａ１）前記撮影空間に含まれる複数の３次元点の３次元座標を表す３次元点群データを受信し、（ａ２）前記１又は複数のカメラで撮影した１又は複数の画像を送信し、（ａ３）処理（ａ２）で送信された前記１又は複数の画像を受信し、（ａ４）前記３次元レーザースキャナの取り付け位置と向きに基づき、前記複数の３次元点の３次元座標系における前記１または複数のカメラの取り付け位置と向きを算出し、前記１または複数のカメラの取り付け位置と向きに基づいて前記１又は複数のカメラの１又は複数の初期カメラパラメータを決定し、（ａ５）処理（ａ１）で受信された３次元点群データと処理（ａ４）で決定された１又は複数の初期カメラパラメータとに基づいて、前記複数の３次元点の各々について処理（ａ３）で受信された前記１又は複数の画像における対応点を算出し、（ａ６）前記１又は複数の画像の、処理（ａ５）で算出された対応点における画素値に基づいて、前記１又は複数のカメラの前記１又は複数のカメラパラメータを算出し、（ａ７）処理（ａ６）で算出された前記１又は複数のカメラパラメータを出力し、前記１又は複数のカメラ、前記１又は複数の初期カメラパラメータ、前記１又は複数の画像、前記１又は複数のカメラパラメータは１対１対応する。
【００６０】
これらのカメラパラメータ算出システムによれば、マニュアル操作を必要とせずに前記１または複数の初期カメラパラメータを決定できる。
【００６１】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【００６２】
（実施の形態１）
以下、本開示の実施の形態を、図面を参照しながら説明する。本開示は、１つ以上のカメラにおいて実施可能であるが、説明を簡単にするために、ここでは、左カメラと右カメラからなるステレオカメラの例を用いて説明する。
【００６３】
図１は、実施の形態１のカメラパラメータ算出装置の機能的な構成の一例を示すブロック図である。カメラパラメータ算出装置１０１は、地上設備６０１に含まれる３次元レーザースキャナ１０７を用いて、移動体５０１に搭載された左カメラ１０２及び右カメラ１０３の校正を行う。
【００６４】
３次元レーザースキャナ１０７は、左カメラ１０２及び右カメラ１０３に共通の撮影空間に固定的に設置されてもよい。３次元レーザースキャナ１０７は、限定されない一例として、カメラ校正サービスを提供するためのインフラ設備として、施設の駐車場、ガソリンスタンド、水素スタンド、充電スタンド、自動車ディーラーの店舗などに設置されてもよい。
【００６５】
カメラパラメータ算出装置１０１と３次元レーザースキャナ１０７とで、カメラパラメータ算出システムが構成される。
【００６６】
なお、本明細書においてカメラを校正するとは、実機のカメラのカメラパラメータを求めることを意味する。従って、本明細書のカメラパラメータ算出装置及びカメラパラメータ算出システムは、カメラ校正装置及びカメラ校正システムとそれぞれ同義である。
【００６７】
カメラパラメータ算出装置１０１は、フレームメモリ１０４、画像送信器１０５、画像受信器１０６、点群データ受信器１０８、プロセッサ１０９、及びカメラパラメータ出力器１１０を含む。
【００６８】
カメラパラメータ算出装置１０１は、移動体５０１とサーバー７０１とに分散して設けられた分散処理システムとして実現される。具体的に、フレームメモリ１０４および画像送信器１０５は、移動体５０１に搭載され、画像受信器１０６、点群データ受信器１０８、プロセッサ１０９、及びカメラパラメータ出力器１１０は、サーバー７０１に設けられてもよい。画像送信器１０５と画像受信器１０６とは、例えば、無線ＬＡＮ（Ｌｏｃａｌ
Ａｒｅａ  Ｎｅｔｗｏｒｋ）などの通信ネットワーク（図示せず）を介して、互いに通信可能に接続されてもよい。
【００６９】
図１に示される各構成要素の詳細について、以下に説明する。
【００７０】
左カメラ１０２は撮影空間である第１空間を撮影し、撮影した第１画像をフレームメモリ１０４に送付する。
【００７１】
右カメラ１０３は撮影空間である第２空間を撮影し、撮影した第２画像をフレームメモリ１０４に送付する。
【００７２】
第１空間と第２空間は共通の空間である第３空間を含む。第３空間は１以上の物体かつ／または１以上の生物を含んでもよい。カメラ位置による被写体表面の見え方（ある点における色）が変わらない観点で、ランバート反射により近似できる被写体が好適である。
【００７３】
フレームメモリ１０４は第１画像及び第２画像を受け取り、格納する。
【００７４】
画像送信器１０５はフレームメモリ１０４に格納された第１画像及び第２画像を画像受信器１０６に送信する。
【００７５】
画像受信器１０６は画像送信器１０５で送信された画像を受信する。画像送信器１０５及び画像受信器１０６は、無線通信回路を含むハードウェア回路で構成されてもよい。
【００７６】
３次元レーザースキャナ１０７は、レーザー光を上述した第３空間を含む空間に走査し、第３空間を含む空間に含まれる複数の点、すなわち、複数の３次元点、のそれぞれの３次元位置を測定する。３次元レーザースキャナ１０７は、第３空間内のＮ点の校正点に加えて、移動体５０１の外形上の複数の点の３次元位置を測定する。測定された３次元位置を表すデータを３次元点群データと呼ぶ。３次元位置は、３次元レーザースキャナ１０７を基準とする世界座標空間における座標（Ｘ，Ｙ，Ｚ）で表される。３次元レーザースキャナ１０７は、３次元点群データを、例えば無線通信により、点群データ受信器１０８に送付する。３次元群データは、３次元空間内のＮ点の校正点の３次元位置標と、移動体５０１の外形上の複数の点の３次元位置を含む。これらの３次元位置の各々は世界座標空間における座標で表現してもよい。
【００７７】
点群データ受信器１０８は、３次元レーザースキャナ１０７から、３次元点群データを受信する。点群データ受信器１０８は、無線通信回路を含むハードウェア回路で構成されてもよい。
【００７８】
プロセッサ１０９は、例えば、サーバー７０１が有する汎用のＣＰＵ（Ｃｅｎｔｒａｌ
Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であってもよい。プロセッサ１０９は、メモリにあらかじめ記録されているプログラムを実行することにより、初期カメラパラメータ決定器１１１およびカメラパラメータ算出器１１３として機能する。
【００７９】
初期カメラパラメータ決定器１１１は、点群データ受信器１０８から受け取った３次元点群データに含まれる移動体５０１の外形上の点の３次元位置と、左カメラ１０２と右カメラ１０３の取り付け位置と向きに基づいて、左カメラ１０２と右カメラ１０３のそれぞれの初期カメラパラメータを決定する。
【００８０】
カメラパラメータ算出器１１３は、前記３次元点群データと前記初期カメラパラメータとに基づいて、前記複数の３次元点（特には、第３空間内の校正点）の各々について、画像受信器１０６で受信した第１画像および第２画像における対応点の画像座標を算出する。そして、前記第１画像における対応点の画像座標の画素値に基づいて、左カメラ１０２のカメラパラメータを算出し、前記第２画像における対応点の画像座標の画素値に基づいて、右カメラ１０３のカメラパラメータを算出する。
【００８１】
カメラパラメータ出力器１１０は、カメラパラメータ算出器１１３で算出されたカメラパラメータを出力する。
【００８２】
次に、カメラパラメータ算出装置１０１によるカメラパラメータ算出処理について説明する。
【００８３】
図２は、カメラパラメータ算出処理Ｓ３００の一例を示すフローチャートである。カメラパラメータ算出処理Ｓ３００は、初期カメラパラメータ決定処理（Ｓ３０１）と、決定された初期カメラパラメータに基づくカメラパラメータ算出処理（Ｓ３０２〜Ｓ３０７）とを含む。
【００８４】
初期カメラパラメータ算出処理（Ｓ３０１）について、前述した式１に含まれるカメラパラメータの初期値を決定する具体例を用いて説明する。式１に含まれるカメラパラメータのうち、回転Ｒと並進Ｔは、世界座標空間におけるカメラの取り付け位置と向きに依存するパラメータであり、外部パラメータと称する。他方、画像中心のｘ成分Ｃｘ、ｙ成分Ｃｙ、焦点距離ｆ、画像素子の１画素のｘ方向とｙ方向の長さｄ’ｘ、ｄ’ｙは、世界座標空間におけるカメラの取り付け位置と向きに依存しないカメラパラメータであり、内部パラメータと称する。
【００８５】
以下、初期カメラパラメータ決定処理の詳細な例を２つ示す。
【００８６】
図３は、初期カメラパラメータ決定処理の詳細な第１の例を示すフローチャートである。
【００８７】
図４は、図３の初期カメラパラメータ決定処理の適用例を示す模式図である。
【００８８】
図３の初期カメラパラメータ決定処理は、外部パラメータの初期値の決定処理（Ｓ３０１１〜Ｓ３０１６）と、内部パラメータの初期値の決定処理（Ｓ３０１７〜Ｓ３０１９）とを含む。
【００８９】
地上設備６０１に含まれる３次元レーザースキャナ１０７は、レーザー光線Ｌを用いて、移動体５０１の外形上の複数の点を含む３次元点の位置を測定し、測定結果を表す３次元点群データを移動体５０１へ送信する。３次元点群データは移動体５０１の外形上の複数の点の位置のそれぞれを特定する３次元座標を含む。
【００９０】
初期カメラパラメータ決定器１１１は、３次元レーザースキャナ１０７から受信した３次元点群データから、移動体５０１の外形上の複数の点の３次元位置を参照する（Ｓ３０１１）。移動体５０１の外形上の複数の点は、移動体５０１の３次元形状を表す３次元点群である。初期カメラパラメータ決定器１１１は、当該３次元点群の３次元位置に基づき移動体５０１の位置と向きを特定する。
【００９１】
限定されない一例として、初期カメラパラメータ決定器１１１は、移動体５０１の外形上の複数点に外接する多面体の中で、多面体の体積が最小となる外接多面体５０２を算出してもよい（Ｓ３０１２）。外接多面体５０２は、例えば、直方体や直方体の一部を切り落とした立体である。
【００９２】
初期カメラパラメータ決定器１１１は、外接多面体５０２の位置および向きを利用して、左カメラ１０２、右カメラ１０３の、３次元レーザースキャナ１０７を基準とする世界座標空間における取り付け位置と向きを特定する（Ｓ３０１３）。そして、特定された左カメラ１０２、右カメラ１０３の取り付け位置および向きを、式１の並進Ｔおよび回転Ｒとして決定する（Ｓ３０１６）。
【００９３】
次に、内部パラメータの初期値が決定される。内部パラメータにはカメラの取り付け位置と向きに依存しない設計値があり、この設計値は内部パラメータの初期値として利用できる。
【００９４】
内部パラメータの設計値は、一般に車種ごとに固有であるため、複数の車種の各々に対応する内部パラメータの設計値を車種データベース１１２に保持しておき、車種を基に内部パラメータを検索する。
【００９５】
初期カメラパラメータ決定器１１１は、移動体５０１の車種を特定する（Ｓ３０１７）。車種の特定方法は特には限定されないが、例えば、ステップＳ３０１１で参照した移動体５０１の外形上の複数の点の３次元位置を基に移動体５０１の形状を認識し、認識された形状から車種を特定してもよい。また、図示していないカメラで移動体５０１を撮影し、画像認識に基づいて移動体５０１の車種を特定してもよい。
【００９６】
初期カメラパラメータ決定器１１１は、車種データベース１１２から、特定された車種に対応する内部パラメータの設計値を検索し（Ｓ３０１８）、検索した設計値を内部パラメータの初期値として決定する（Ｓ３０１９）。
【００９７】
このように、初期カメラパラメータ決定処理Ｓ３０１により、カメラパラメータの初期値を、マニュアル操作を含まずに決定できる。
【００９８】
なお、外部パラメータの初期値の決定に、移動体５０１の外接多面体５０２を用いることは必須ではない。例えば、移動体があらかじめ定めた停止位置である校正開始位置に停止することにより、外部パラメータの初期値を決定することもできる。校正開始位置の典型的な一例は、ガソリンスタンドや駐車場などにおいて移動体の停止位置を示す白線で区画された矩形領域である。以下では、校正開始位置を用いる初期パラメータ決定処理について説明する。
【００９９】
図５は、初期カメラパラメータ決定処理の詳細な第２の例を示すフローチャートである。
【０１００】
図６は、図５の初期カメラパラメータ決定処理の適用例を示す模式図である。
【０１０１】
図５の初期カメラパラメータ決定処理Ｓ３０１ａは、図３の初期カメラパラメータ決定処理Ｓ３０１のステップＳ３０１２、Ｓ３０１３を、ステップＳ３０１４、Ｓ３０１５に変更して構成される。初期カメラパラメータ決定処理Ｓ３０１ａのその他のステップは、初期カメラパラメータ決定処理Ｓ３０１の対応するステップと同一のため、同一の符号を付して説明を省略する。
【０１０２】
初期カメラパラメータ決定器１１１は、移動体５０１の校正開始位置５０３への停止を検出する（Ｓ３０１４）。停止の検出方法は特には限定されないが、例えば、ステップＳ３０１１で参照した移動体５０１の外形上の点が校正開始位置５０３内に存在することで、移動体５０１の校正開始位置５０３への停止を検出してもよい。また、ループコイルなどの検出器（図示せず）を校正開始位置に設け、当該検出器の反応により、移動体５０１の校正開始位置５０３への停止を検出してもよい。
【０１０３】
初期カメラパラメータ決定器１１１は、校正開始位置５０３の位置および向きを利用して、左カメラ１０２、右カメラ１０３の、３次元レーザースキャナ１０７を基準とする世界座標空間における取り付け位置と向きを特定する（Ｓ３０１５）。そして、特定された左カメラ１０２、右カメラ１０３の取り付け位置および向きを、式１の並進Ｔおよび回転Ｒとして決定する（Ｓ３０１６）。
【０１０４】
このように、初期カメラパラメータ決定処理Ｓ３０１ａにより、カメラパラメータの初期値を、マニュアル操作を含まずに決定できる。
【０１０５】
再び図２を参照し、カメラパラメータ算出処理（Ｓ３０２〜Ｓ３０７）について説明を続ける。
【０１０６】
カメラパラメータ算出器１０８はフレームメモリ１０４に格納された左カメラ１０２が撮影した第１画像、及びフレームメモリ１０４に格納された右カメラ１０３が撮影した第２画像を受け取る（Ｓ３０２）。以下では、カメラで撮影され、当該カメラから受け取った画像を、撮影画像またはカメラ画像とも言う。
【０１０７】
点群データ受信器１０８は３次元レーザースキャナ１０７が測定したＮ点の校正点の３次元位置を表す３次元点群データを受信する。カメラパラメータ算出器１１３は、点群データ受信器１０８から、３次元点群データを受け取る（Ｓ３０３）。
【０１０８】
カメラパラメータ算出器１１３は、式１と式２を用いて、３次元点群データに含まれる３次元座標である世界座標（Ｘ，Ｙ，Ｚ）から画像座標（ｘＬｋ，ｙＬｋ）と（ｘＲｋ，ｙＲｋ）を算出する。前記（ｘＬｋ，ｙＬｋ）は、ｋ番目の３次元点に対応する第１画像に含まれるｋ番目の対応点の画像座標であり、前記（ｘＲｋ，ｙＲｋ）は、ｋ番目の３次元点に対応する第２画像に含まれるｋ番目の対応点の画像座標である。
【０１０９】
３次元レーザースキャナ１０７で得た複数の３次元点に含まれるｋ番目の３次元点に対応する第１画像に含まれる点、すなわちｋ番目の３次元点に対応する第１画像に含まれるｋ番目の対応点での画素値と、ｋ番目の３次元点に対応する第２画像に含まれる点、すなわちｋ番目の３次元点に対応する第２画像に含まれるｋ番目の対応点での画素値の差の絶対値和で定義される評価関数Ｊ（式３）を算出する（Ｓ３０４）。
【０１１０】
【数３】
2018189637.tif 000005
【０１１１】
ここで、Ｎは画素値を比較する３次元点の数であり、３次元レーザースキャナで取得した点の全て、あるいは、一部分を選択する。「一部分を選択する」とは、例えば、評価値Ｊの計算に影響しない、画像上の画素値が連続して同じ値を有する領域を除くことを意味してもよい。
【０１１２】
ＩＬ（ｘ，ｙ）は、前記第１画像の画像座標（ｘ，ｙ）における画素値であり、ＩＲ（ｘ，ｙ）は、前記第２画像の画像座標（ｘ，ｙ）における画素値である。前記第１画像及び前記第２画像がモノクロ画像の場合、画素値は輝度値であり、前記第１画像及び前記第２画像がカラー画像の場合、画素値は色ベクトルである。なお、色ベクトルの差の絶対値は、色ベクトルの距離を意味する。色収差の影響を除くために、色ベクトルを構成する色成分のうち特定の１色の成分を使用してもよい。
【０１１３】
３次元点群データに含まれる複数の３次元点の各々を、左カメラ１０２のカメラパラメータを用いて前記第１画像に投影し、右カメラ１０３のカメラパラメータを用いて前記第２画像に投影する。
【０１１４】
ここで、投影するとは、３次元点に基づいてカメラ画像上の対応点を計算して求めることであり、具体的には、３次元点群データに含まれる複数の３次元点の各々の３次元座標である世界座標に基づいて、左カメラ１０２のカメラパラメータを用いて座標変換を行って前記第１画像上の画像座標を算出し、右カメラ１０３のカメラパラメータを用いて座標変換を行って前記第２画像上の画像座標を算出することを言う。座標変換には、例えば、式１を利用してもよい。画像座標は、サブピクセル精度で算出してもよく、このサブピクセル精度の画像座標に対し、画素値はバイリニアやバイキュービック等の補間計算から小数精度で算出してもよい。
【０１１５】
また、評価値Ｊの計算において、画素値の差の絶対値に重み付けしてもよい。例えば、被写体の色が連続的に変化する点群に含まれる点の画素値の重みを重く、あるいは、物体の表面の凹凸が大きい点群に含まれる点の画素値の重みを軽くする。これらの重み付けは、カメラパラメータの連続的な変化に対し、評価値Ｊの変化を滑らかにし、評価値Ｊを最小化し易くする。
【０１１６】
カメラパラメータの探索範囲内の評価値Ｊの算出を完了するか、評価値Ｊが閾値より小さい場合に反復計算を終了する（Ｓ３０５で終了）。一方、反復計算が継続となった場合（Ｓ３０５で継続）、カメラパラメータを探索範囲で変更する（Ｓ３０６）。前記カメラパラメータの探索範囲として、各カメラパラメータが取り得る範囲をあらかじめ設定しておく。例えば、画像中心のｘ成分Ｃｘ、ｙ成分Ｃｙ、焦点距離ｆ、撮像素子の１画素のｘ方向とｙ方向の長さｄ’ｘ、ｄ’ｙは、それぞれ設計値の±５％とすればよい。また、カメラ位置の回転成分、Ｒｘ、Ｒｙ、Ｒｚ、および、並進移動成分はＴｘ、Ｔｙ、Ｔｚは、３次元レーザースキャナ１０７と左カメラ１０２、右カメラ１０３との位置関係をスケール等で計測し、角度については計測値の±１０度、並進移動については±０．２ｍとすればよい。
【０１１７】
なお、ステップＳ３０４〜ステップＳ３０６の反復処理の計算時間を削減するために、前記範囲は初期カメラパラメータ近傍に限定しても良く、評価関数の勾配を用いて最急降下法などを適用してもよい。
【０１１８】
最後に、上述したステップＳ３０４〜ステップＳ３０６の反復計算によって算出された、カメラパラメータと評価値の組から、評価値が最小である場合のカメラパラメータを選択し、選択したカメラパラメータを出力する（Ｓ３０７）。
【０１１９】
このような手順に従ってカメラの校正が可能であることを順に説明する。カメラを校正するための評価関数は、正しいカメラパラメータで評価値が最小であることが必要である。評価関数のこの性質によって、評価値を最小化することにより、正解のカメラパラメータを探索することが可能になる。
【０１２０】
全て正しいカメラパラメータから、１つのカメラパラメータの値を変える。この時、評価値Ｊが全てのカメラパラメータで、正しいカメラパラメータを極小とする下に凸な関数形であるならば、評価関数Ｊは全カメラパラメータに対して下に凸となる。これは、１つのカメラパラメータλの値を変え、極値を算出することは偏微分∂Ｊ／∂λに相当し、ある点において全ての偏微分が０となることは、関数全体の全微分ｄＪ／ｄΩが０であることに相当する（式４）。
【０１２１】
【数４】
2018189637.tif 000006
【０１２２】
ここで、ｍはカメラパラメータの個数、λ１〜λｍは焦点距離等の個々のカメラパラメータ、Ωは個々のカメラパラメータをまとめたカメラパラメータ全体を表す。
【０１２３】
カメラパラメータはカメラモデルにより異なるため、非特許文献１で示すＴｓａｉの方式で使用される１０個のカメラパラメータを例に説明する。このピンホールカメラモデルのカメラパラメータは、画像中心のｘ成分とｙ成分をＣｘとＣｙ、焦点距離をｆ、撮像素子の１画素のｘ方向の長さをｄ’ｘ、カメラの世界座標空間の基準に対する回転のｘ、ｙ、ｚ成分をそれぞれＲｘ、Ｒｙ、Ｒｚ、カメラの世界座標空間の基準に対する並進のｘ、ｙ、ｚ成分をそれぞれＴｘ、Ｔｙ、Ｔｚとする。この時、評価値Ｊはこれらの１０個のカメラパラメータを変数とする関数となる。
【０１２４】
本方式は実際の空間を撮影して実施することも、ＣＧデータを用いて実施することもできる。以下では、一例として、ＣＧデータを用いて行うカメラ校正について説明する。
【０１２５】
図７で示す駐車場を模したＣＧを作成する。右カメラは左カメラに対し、水平に１５ｍｍ離し、光軸を左カメラと平行とする。また、カメラは魚眼カメラであるとする。
【０１２６】
前記のＣＧモデルに対し、全てのカメラパラメータの値が正しい状態から、右カメラの１つのカメラパラメータを変化させた時の評価値Ｊを算出する。これらの評価値Ｊを、横軸にカメラパラメータ値、縦軸に評価値Ｊとし、１０個のカメラパラメータについて図８〜図１７に示す。変化させるカメラパラメータはそれぞれ、図８ではＣｘ、図９ではＣｙ、図１０ではｆ、図１１ではｄ’ｘ、図１２ではＲｘ、図１３ではＲｙ、図１４ではＲｚ、図１５ではＴｘ、図１６ではＴｙ、図１７ではＴｚである。また、各カメラパラメータの正しい値は以下のとおりである。すなわち、Ｃｘは６４０ｐｉｘｅｌ、Ｃｙは４８０ｐｉｘｅｌ、ｆは１．１２ｍｍ、ｄ’ｘは２．７５μｍ、Ｒｘは９０°、Ｒｙは０°、Ｒｚは０°、Ｔｘは０ｍｍ、Ｔｙは０ｍｍ、Ｔｚは０ｍｍである。
【０１２７】
図８〜図１７のいずれにおいても、正しいカメラパラメータの近傍で評価値Ｊは下に凸であり、評価値Ｊが極小となるカメラパラメータと正しいカメラパラメータは一致する。
【０１２８】
以上のことから、本方式でカメラ校正が可能である。
【０１２９】
なお、カメラが３台以上の場合、カメラ台数をｎとし、式３の評価関数Ｊを、式５に拡張すればよい。
【０１３０】
【数５】
2018189637.tif 000007
【０１３１】
ここで、ｉ番目のカメラ画像に含まれるｋ番目の対応点の画像座標を（ｘｉｋ，ｙｉｋ）、とｊ番目のカメラ画像に含まれるｋ番目の対応点の画像座標を（ｘｊｋ，ｙｊｋ）とする。Ｉｉ（ｘ，ｙ）は、ｉ番目のカメラ画像の画像座標（ｘ，ｙ）におけるＲＧＢ値または輝度の画素値を表し、Ｉｊ（ｘ，ｙ）は、ｊ番目のカメラ画像の画像座標（ｘ，ｙ）におけるＲＧＢ値または輝度の画素値を表す。その他の変数は、式３に含まれる変数と同一のため、その説明は省略する。
【０１３２】
以上のように、３次元座標をカメラパラメータで画像上に投影した画像座標における画素値に基づいてカメラパラメータを評価するので、３次元構造が既知なる校正指標を使用せずに、カメラパラメータを算出すること、すなわちカメラを校正することができる。このため、３次元空間中の３次元座標と２次元画像中の画素位置の対応付けを行わずに、カメラを校正することができる。
【０１３３】
（実施の形態２）
実施の形態１では、カメラパラメータ算出装置が、移動体とサーバーとに分散して設けられた分散処理システムにより実現される例を示したが、カメラパラメータ算出装置の構成はこの例には限られない。カメラパラメータ算出装置は、例えば、移動体に設けられた端末装置として実現されてもよい。
【０１３４】
図１８は、そのようなカメラパラメータ算出装置２０１の機能的な構成の一例を示すブロック図である。図１８のカメラパラメータ算出装置２０１は、図１のカメラパラメータ算出装置１０１と比べて、プロセッサ２０９、及びプロセッサ２０９によって実現される初期カメラパラメータ決定器２１１の機能（特には、内部パラメータの初期値を決定する機能）が変更される。
【０１３５】
以下では、カメラパラメータ算出装置１０１と共通の事項については説明を省略し、カメラパラメータ算出装置１０１との相違点について主として説明する。
【０１３６】
プロセッサ２０９は、例えば、移動体５０１に搭載されたマイコンであってもよい。プロセッサ２０９は、メモリにあらかじめ記録されているプログラムを実行することにより、初期カメラパラメータ決定器２１１及びカメラパラメータ算出器１１３として機能する。なお、初期カメラパラメータ決定器２１１及びカメラパラメータ算出器１１３は、プロセッサ２０９によって実現されるソフトウェア機能には限られず、専用のハードウェア回路（図示せず）で構成されてもよい。
【０１３７】
初期カメラパラメータ決定器２１１は、初期カメラパラメータ決定器１１１とは異なり、カメラパラメータ算出装置２０１が特定の移動体５０１（以下、自車と言う）に搭載されていることから、自車用のカメラパラメータの初期値を決定すればよい。
【０１３８】
そのため、初期カメラパラメータ決定器２１１は、自車用の内部パラメータの設計値をパラメータ設計値メモリ２１２に保持しておき、内部パラメータの初期値には、パラメータ設計値メモリ２１２に保持されている設計値を固定的に用いることができる。
【０１３９】
これにより、初期カメラパラメータ決定器２１１による初期カメラパラメータ決定処理では、車種を特定するステップＳ３０１７および車種データベースを検索するステップＳ３０１８が省略される。
【０１４０】
なお、外部パラメータの初期値は、初期カメラパラメータ決定器２１１においても、初期カメラパラメータ決定器１１１と同様、３次元レーザースキャナ１０７による移動体５０１の位置と向きの測定に基づいて決定される。
【０１４１】
このように、初期カメラパラメータ決定器２１１により、カメラパラメータの初期値を、マニュアル操作を含まずに決定できる。
【０１４２】
（実施の形態３）
実施の形態１、２において、３次元レーザースキャナが地上設備に含まれる例を示したが、３次元レーザースキャナの配置はこの例には限られない。例えば、３次元レーザースキャナを移動体に搭載してもよい。
【０１４３】
図１９は、そのようなカメラパラメータ算出装置３０１の機能的な構成の一例を示すブロック図である。図１９のカメラパラメータ算出装置３０１は、図１８のカメラパラメータ算出装置２０１と比べて、３次元レーザースキャナ１０７が移動体５０１に搭載される点で相違する。
【０１４４】
以下では、カメラパラメータ算出装置３０１に関して、カメラパラメータ算出装置２０１と共通の事項については説明を省略し、カメラパラメータ算出装置２０１との相違点について主として説明する。
【０１４５】
図２０は、図１９のカメラパラメータ算出装置３０１の適用例を示す模式図である。図２０に示されるように、３次元レーザースキャナ１０７は、移動体５０１に固定的に取り付けられる。そのため、３次元レーザースキャナ１０７を基準とする世界座標空間は移動体５０１に固定され、移動体５０１と共に移動する。３次元レーザースキャナ１０７は、例えば、移動体５０１の屋根に取り付けられてもよい。
【０１４６】
したがって、実施の形態３では、移動体５０１に設置された左カメラ１０２及び右カメラ１０３の世界座標空間における取り付け位置と向きは、移動体５０１の移動に関わらず常に一定である。すなわち、実施の形態１、２では外部パラメータとして説明した並進Ｔと回転Ｒが、実施の形態３では、内部パラメータとして処理され、並進Ｔと回転Ｒの初期値を決定するために、移動体５０１の世界座標空間における位置と向きを測定する必要がなくなる。
【０１４７】
そこで、初期カメラパラメータ決定器３１１では、左カメラ１０２及び右カメラ１０３の取り付け位置と向きの設計値を、他の内部パラメータの設計値と共に、パラメータ設計値メモリ３１２に保持しておく。左カメラ１０２及び右カメラ１０３の取り付け位置と向きの設計値は、例えば、３次元レーザースキャナ１０７の取り付け位置と向きからの変位及び回転で表される。そして、左カメラ１０２及び右カメラ１０３の取り付け位置及び向きの設計値を、並進Ｔと回転Ｒの初期値として用いる。他の内部パラメータの設計値も、同様に、初期値として用いる。
【０１４８】
このように、初期カメラパラメータ決定器３１１により、カメラパラメータの初期値を、マニュアル操作を含まずに取得できる。
【０１４９】
初期カメラパラメータ決定処理のいくつかの変形について説明してきたが、カメラパラメータ決定処理についても、種々の変形が考えられる。
【０１５０】
以下では、カメラパラメータ算出処理の細部の変形例について説明する。以下の変形例は、実施の形態１〜３のいずれの１つとも組み合わせることができる。
【０１５１】
（変形例１）
実施の形態における評価関数は式３に示した画素値の差の絶対値和に限る必要はない。変形例１では、評価関数を画素値の差の２乗和とした場合について説明する。
【０１５２】
変形例１では、実施の形態と比べて、評価値の算出に用いる評価関数が異なる。変形例１に係るカメラパラメータ算出装置の機能的な構成は、実施の形態で説明したカメラパラメータ算出装置１０１と実質的に同一であるため、その説明を省略する。
【０１５３】
図２１は、変形例１に係るカメラパラメータ算出処理Ｓ３１０の一例を示すフローチャートである。図２１において、実施の形態と同一ステップには、図２と同一のステップ名を付し、その説明を省略する。ステップＳ３１４はテレオカメラの対応する画素値の差の２乗和で定義される評価関数Ｊ（式６）を算出する。
【０１５４】
【数６】
2018189637.tif 000008
【０１５５】
ここで、式６の変数は、式３に含まれる変数と同一のため、その説明は省略する。
【０１５６】
なお、カメラが３台以上の場合、式６の評価関数Ｊを、式７に拡張すればよい。
【０１５７】
【数７】
2018189637.tif 000009
【０１５８】
ここで、式７の変数は、式５に含まれる変数と同一のため、その説明は省略する。
【０１５９】
以上のように、実施の形態と同様に、３次元空間中の３次元座標と２次元画像中の画素位置の対応付けを行わずに、カメラを校正することができる。
【０１６０】
（変形例２）
実施の形態における評価関数は式３および式６に示した画素値の差の絶対値和もしくは２乗和に限る必要はない。変形例２では、評価関数を平均画素値との差の絶対値和とした場合について説明する。
【０１６１】
変形例２では、実施の形態と比べて、評価値を算出するための評価関数が異なる。変形例２に係るカメラパラメータ算出装置の機能的な構成は、実施の形態で説明したカメラパラメータ算出装置１０１と実質的に同一であるため、その説明を省略する。
【０１６２】
図２２は、変形例２に係るカメラパラメータ算出処理Ｓ３２０の一例を示すフローチャートである。図２２において、実施の形態１と同一ステップには、図２と同一のステップ名を付し、その説明を省略する。ステップＳ３２４はテレオカメラの対応する画素値と平均画素値の差の絶対値和で定義される評価関数Ｊ（式８）を算出する。
【０１６３】
【数８】
2018189637.tif 000010
【０１６４】
ここで、Ｉ’ｋは全てのカメラ画像におけるｋ番目の対応点の画素値の全てのカメラ画像での平均を表す。その他の変数は、式３に含まれる変数と同一のため、その説明は省略する。
【０１６５】
なお、カメラが３台以上の場合、式８の評価関数Ｊを、式９に拡張すればよい。
【０１６６】
【数９】
2018189637.tif 000011
【０１６７】
ここで、式９の変数は、式３および式５に含まれる変数と同一のため、その説明は省略する。
【０１６８】
以上のように、実施の形態と同様に、３次元空間中の３次元座標と２次元画像中の画素位置の対応付けを行わずに、カメラを校正することができる。
【０１６９】
（変形例３）
実施の形態における評価関数は式３、式６、式８に示した画素値の差の絶対値和、２乗和、もしくは、平均画素値との差の絶対値和に限る必要はない。変形例３では、評価関数を平均画素値の差の２乗和とした場合について説明する。
【０１７０】
変形例３は、実施の形態と比べて、評価値を算出するための評価関数が異なる。変形例３に係るカメラパラメータ算出装置の機能的な構成は、実施の形態で説明したカメラパラメータ算出装置１０１と実質的に同一であるため、その説明を省略する。
【０１７１】
図２３は、変形例３に係るカメラパラメータ算出処理Ｓ３３０の一例を示すフローチャートである。図２３において、実施の形態と同一ステップには、図２と同一のステップ名を付し、その説明を省略する。ステップＳ３３４はテレオカメラの対応する画素値と平均画素値の差の２乗和で定義される評価関数Ｊ（式１０）を算出する。
【０１７２】
【数１０】
2018189637.tif 000012
【０１７３】
ここで、式１０の変数は、式８に含まれる変数と同一のため、その説明は省略する。
【０１７４】
なお、カメラが３台以上の場合、式１０の評価関数Ｊを、式１１に拡張すればよい。
【０１７５】
【数１１】
2018189637.tif 000013
【０１７６】
ここで、式１１の変数は、式３および式８に含まれる変数と同一のため、その説明は省略する。
【０１７７】
以上のように、実施の形態と同様に、３次元空間中の３次元座標と２次元画像中の画素位置の対応付けを行わずに、カメラを校正することができる。
【０１７８】
（変形例４）
変形例４では、３次元点群データに対応する個々のカメラの画像座標の近傍画素における、パターンの類似度に基づいて、カメラパラメータを算出することにより、カメラ間のゲイン差による画素値ＩＬ（ｘ，ｙ）とＩＲ（ｘ，ｙ）の差の影響を低減する。
【０１７９】
以下では、具体例として、評価関数を正規化相互相関とした場合について説明する。
【０１８０】
変形例４では、実施の形態と比べて、評価値を算出するための評価関数が異なる。変形例４に係るカメラパラメータ算出装置の機能的な構成は、実施の形態で説明したカメラパラメータ算出装置１０１と実質的に同一であるため、その説明を省略する。
【０１８１】
図２４は、変形例４に係るカメラパラメータ算出処理Ｓ３４０の一例を示すフローチャートである。図２４において、実施の形態と同一ステップには、図２と同一のステップ名を付し、その説明を省略する。ステップＳ３４４はステレオカメラの対応する画素値の正規化相互相関で定義される評価関数Ｊ（式１２）を算出する。
【０１８２】
【数１２】
2018189637.tif 000014
【０１８３】
ここで、比較する３次元点群をそれぞれのカメラパラメータによって左カメラと右カメラのそれぞれで撮影されたカメラ画像に投影し、画像座標を得る。それぞれのカメラ画像上の領域同士を比較するため、これらの画像座標の近傍からｍ画素選択する。例えば、投影した画素を中心とし、半径をｒ（例えば、４画素）とする円の内部の画素を選択する。左カメラと右カメラの前記の選択したｍ画素のｉ番目の画素値をそれぞれＭＬｋｉ、ＭＲｋｉとする。その他の変数は、式３に含まれる変数と同一のため、その説明は省略する。
【０１８４】
以上のように、画素値の正規化相互相関を使用することにより、左カメラと右カメラのゲイン差に影響されずに、カメラ校正を行うことができる。
【０１８５】
なお、カメラが３台以上の場合、式１２の評価関数Ｊを、式１３に拡張すればよい。
【０１８６】
【数１３】
2018189637.tif 000015
【０１８７】
ここで、Ｎは画素値を比較する３次元点の数、ｎはカメラ台数、Ｍｊｋｉは、ｋ番目の３次元点に対応するｊ番目のカメラによるカメラ画像中の画素位置について正規化相互相関を計算する近傍画素におけるｉ番目の画素値を表す。
【０１８８】
なお、正規化相互相関でなく、３値表現や隣接画素間の画素値の差を使用してもよい。
【０１８９】
（変形例５）
実施の形態において、評価に使用する３次元点群データを画素値に基づいて選択する例を示したが、選択の基準は画素値に限る必要はない。変形例５では、遮蔽領域に基づいて３次元点群データを選択する場合について説明する。
【０１９０】
変形例５に係るカメラパラメータ算出装置の機能的な構成は、実施の形態で説明したカメラパラメータ算出装置１０１と実質的に同一であるため、その説明を省略する。
【０１９１】
図２５は、変形例５に係るカメラパラメータ算出処理Ｓ３５０の一例を示すフローチャートである。図２５において、実施の形態と同一ステップには、図２と同一のステップ名を付し、その説明を省略する。ステップＳ３５４はステップＳ３０３で取得された３次元点群データから、左カメラ１０２及び右カメラ１０３の少なくとも一方の遮蔽領域に存在する３次元点のデータを除く。遮蔽領域とは、当該遮蔽領域内にある前方の３次元物体が後方の３次元物体を遮蔽することになる領域であり、カメラから一方向に延びる領域である。この遮蔽領域の判定について説明する。
【０１９２】
カメラへの入射光の１つの光路に対し、３次元空間中の１点が対応する。複数の３次元物体が遮蔽領域に並んで存在している場合でも、３次元レーザースキャナ１０７は、前記カメラとは異なる視点から、前記複数の３次元物体の世界座標を取得する。当該世界座標をカメラパラメータに基づいて画像上に投影すると、同一又は差がほとんどない複数の画像座標が算出される。つまり、１つの画像において、離間距離が閾値以下である複数の対応点が求まることにより、複数の３次元点が、当該画像を撮影したカメラの遮蔽領域に位置することが分かる。そのような３次元点の対応点は、本来の３次元点と対応していない画素値を表している可能性があるため、評価値Ｊの算出には適さない。
【０１９３】
したがって、前記画像上に投影した画像座標間の距離が閾値より小さい３次元点の組を、遮蔽領域に存在する３次元点であると判定し、前記判定より、遮蔽領域に存在する３次元点を除き、評価値Ｊを算出する。
【０１９４】
以上のように、遮蔽領域に存在する３次元点を評価値の算出から除くことにより、遮蔽領域に影響されずに、カメラ校正を行うことができる。
【０１９５】
（変形例６）
実施の形態において、評価に使用する３次元点群データを画素値、もしくは、遮蔽領域に基づいて選択する例を示したが、選択の基準はこれらに限る必要はない。変形例６では、３次元レーザースキャナの測定光のなす角度が閾値より小さい２つの３次元点間の距離に基づいて、３次元点群データを選択する場合について説明する。３次元レーザースキャナの測定光のなす角度が閾値より小さいとは、測距視点から所定近傍内に見えることと同義であり、例えば、パン角及びチルト角の２軸回転する３次元レーザースキャナでは、当該パン角とチルト角で近い（つまり、当該パン角及びチルト角の何れもが閾値より小さい）ことと定義される。
【０１９６】
変形例６に係るカメラパラメータ算出装置の機能的な構成は、実施の形態で説明したカメラパラメータ算出装置１０１と実質的に同一であるため、その説明を省略する。
【０１９７】
図２６は、カメラパラメータ算出処理Ｓ３６０の一例を示すフローチャートである。図１９において、実施の形態と同一ステップには、図２と同一のステップ名を付し、その説明を省略する。ステップＳ３６４はステップＳ３０３で取得された３次元点群データから、空間的な距離変化が大きい領域を除く。この空間的な距離変化が大きい領域の判定について説明する。
【０１９８】
３次元レーザースキャナは複数の回転軸でレーザー照射口を回転させ、ある角度間隔で３次元点群データを取得する。説明を簡単にするため、３次元レーザースキャナの回転中心を原点、レーザー照射口は前記原点を中心とするパン角とチルト角の２軸回転とする。パン角とチルト角が近い２つの３次元点間の距離は、例えば、３次元レーザースキャナで測定した奥行き値の差によって近似される。パン角とチルト角が近い２つの３次元点間の距離の最大値が閾値より大きい点の組を含む領域を、前記空間的な距離変化が大きい領域として判定する。そして、前記判定より、空間的な距離変化が大きい領域に存在する３次元点群を除外し、評価値Ｊを算出する。前記除外により、評価値Ｊの関数の概形が滑らかになり、評価値Ｊの最小化をし易くなる。
【０１９９】
以上のように、空間的な変化が大きい領域の３次元点群データを除くことにより、物体間の境界や凹凸の大きい表面に存在する３次元点群データに影響されずに、カメラ校正を行うことができる。
【０２００】
（変形例７）
実施の形態において、評価に使用する３次元点群データを画素値、遮蔽領域、もしくは、３次元レーザースキャナのパン角とチルト角が近い３次元点群の２点間距離の空間的な変化に基づいて選択する例を示したが、これらに限る必要はない。変形例７では、強度値に基づいて３次元点群データを選択する場合について説明する。変形例７に係るカメラパラメータ算出装置の機能的な構成は、実施の形態で説明したカメラパラメータ算出装置１０１と実質的に同一であるため、その説明を省略する。
【０２０１】
図２７は、カメラパラメータ算出処理Ｓ３７０の一例を示すフローチャートである。図２７において、実施の形態と同一ステップには、図２と同一のステップ名を付し、その説明を省略する。ステップＳ３７３では、強度値を含む３次元点群データを取得する。ステップＳ３７４では、ステップＳ３７３で取得された強度値を含む３次元点群データから、強度値に基づいて３次元点群データの選択をする。前記選択の方法について説明する。
【０２０２】
３次元レーザースキャナはレーザーを物体に照射し、その受光した反射光に基づいて、物体の奥行きを算出する。このため、３次元点群データに対応付けられた強度値（受光強度あるいは、物体反射率）を取得できる。前記強度値は物体表面の形状や材質により変化し、物体表面の色と相関がある。前記相関の説明を以下にする。可視光領域で自発光しない白と黒の物体は、それぞれ光の反射率が高い場合と低い場合に対応する。このため、可視あるいは近赤外のレーザー光に対する物体の反射特性は、可視光の反射特性に近い。したがって、物体表面の色と強度値に相関がある。
【０２０３】
変形例６の説明と同様の、パン角とチルト角の２軸回転する３次元レーザースキャナにおいて、パン角とチルト角で近い（つまり、測距視点から所定近傍内に見える）３次元点群のいずれかの２点間の強度値の差が第１の閾値より小さいか、あるいは、第２の閾値より大きい３次元点の組を、Ｓ３７３で取得された３次元点群データから除外する。前記除外により、強度値の差が小さく評価値Ｊが変化しない３次元点群と、強度値の差が大きく、評価値Ｊの変化が大きい３次元点群を評価値の算出から除くことにより、評価値Ｊの関数の概形が滑らかになり、評価値Ｊの最小化をし易くなる。
【０２０４】
以上のように、強度値の差が大きい３次元点群データを除くことにより、色の変化が大きい物体表面に存在する３次元点群データに影響されずに、カメラ校正を行うことができる。
【０２０５】
（変形例８）
実施の形態において、評価に使用する３次元点群データを画素値、遮蔽領域、３次元レーザースキャナのパン角とチルト角が近い３次元点群の２点間距離の空間的な変化、もしくは、強度値に基づいて選択する例を示したが、これらに限る必要はない。変形例８では、３次元点群の色情報に基づいて３次元点群データを選択する場合について説明する。
【０２０６】
変形例８に係るカメラパラメータ算出装置の機能的な構成は、実施の形態で説明したカメラパラメータ算出装置１０１と実質的に同一であるため、その説明を省略する。
【０２０７】
図２８は、カメラパラメータ算出処理Ｓ３８０の一例を示すフローチャートである。図２８において、実施の形態と同一ステップには、図２と同一のステップ名を付し、その説明を省略する。ステップＳ３８３では、色情報を含む３次元点群データを取得する。ステップＳ３８４では、ステップＳ３８３で取得された色情報を含む３次元点群データから、３次元点群の色情報に基づいて３次元点群データ選択をする。前記選択の方法について説明する。
【０２０８】
３次元レーザースキャナのレーザー照射軸と同軸で可視光撮影可能な場合、３次元点群データに対応付けられた色情報（例えば、ＲＧＢ値あるいは輝度値）を取得できる。変形例６の説明と同様の、パン角とチルト角の２軸回転する３次元レーザースキャナにおいて、パン角とチルト角で近い（つまり、測距視点から所定近傍内に見える）３次元点群のいずれかの２点間の色情報（例えば、ＲＧＢ値あるいは輝度値）の差が第１の閾値より小さい、あるいは、第２の閾値より大きい３次元点の組をステップＳ３８３で取得された３次元点群データから除外する。前記除外により、色情報値の差が小さく評価値Ｊが変化しない３次元点群と、色情報の差が大きく、評価値Ｊの変化が大きい３次元点群を評価値の算出から除くことにより、評価値Ｊの関数の概形が滑らかになり、評価値Ｊの最小化をし易くなる。
【０２０９】
以上のように、色情報の差が大きい３次元点群データを除くことにより、色の変化が大きい物体表面に存在する３次元点群データに影響されずに、カメラ校正を行うことができる。
【０２１０】
（変形例９）
実施の形態において、複眼カメラと３次元レーザースキャナを使用するカメラ校正について説明したが、変形例８で説明したように３次元レーザースキャナが色情報を取得できる場合、１つのカメラと３次元レーザースキャナでカメラを校正することができる。変形例９では、１つのカメラと３次元レーザースキャナによるカメラ校正について説明する。
【０２１１】
図２９は、カメラパラメータ算出装置４０１のブロック図である。図２９において、実施の形態と同一構成要素には、図１と同一の符号を付し、その説明を省略する。カメラパラメータ算出装置４０１は、実施の形態１のカメラパラメータ算出装置１０１と比べて、補正の対象となるカメラ４０２が１台である点、及びカメラパラメータ算出器４１３においてカメラパラメータ算出処理に用いる評価関数が異なる。
【０２１２】
図３０は、変形例９に係るカメラパラメータ算出処理Ｓ４００パラメータ算出の動作を示すフローチャートである。図３０において、実施の形態および変形例８と同一ステップには、図２８と同一のステップ名を付し、その説明を省略する。ステップＳ３８３で取得された３次元点群データには、３次元レーザースキャナとその同軸撮影による色情報が付加されている。式１４に、ステップＳ４０４の評価値算出で用いられる評価関数Ｊを示す。
【０２１３】
【数１４】
2018189637.tif 000016
【０２１４】
ここで、Ａｋはカメラのｋ番目の画像座標の算出に使用した３次元点の色情報を表す。前記色情報はカメラの画素値と同じ色情報にする。例えば、カメラの画素値がＲＧＢ値の場合、Ａｋの色情報はＲＧＢ値を使用する。その他の変数は、式３に含まれる変数と同一のため、その説明は省略する。
【０２１５】
以上のように、変形例９のカメラパラメータ算出処理Ｓ４００では、３次元点の色情報を使用することにより、１つのカメラと３次元レーザースキャナでカメラ校正を行うことができる。
【０２１６】
なお、式１４の画素値と色情報の差の絶対値和は、前記差の２乗和でもよい。また、２つ以上のカメラを使用してもよい。
【０２１７】
（変形例１０）
変形例１０では、画像輝度勾配がないか、または、十分小さい領域を除いて、カメラパラメータを算出することにより、評価値への寄与が小さい領域の計算を省き、計算量を低減する。
【０２１８】
これは、次の考え方に基づく。すなわち、ある３次元点が対応する２つのカメラ画像上の画素の周りで、輝度勾配が０の場合、カメラパラメータを微小変化させても、この３次元点に対する２画素の輝度差はほとんど一定になる。言い換えると、評価値Ｊを最小化するカメラパラメータ算出に影響がない。そこで、このような３次元点を評価値Ｊの算出から除くことで、計算量を低減できる。
【０２１９】
変形例１０では、実施の形態と比べて、カメラパラメータを算出するためのカメラパラメータ算出器１１３の動作が異なる。変形例１０に係るカメラパラメータ算出装置１０１の機能的な構成は、実施の形態で説明したカメラパラメータ算出装置１０１と実質的に同一であるため、その説明を省略する。
【０２２０】
図３１は、変形例１０に係るカメラパラメータ算出処理Ｓ５００の一例を示すフローチャートである。図３１において、実施の形態と同一ステップには、図２と同一のステップ名を付し、その説明を省略する。
【０２２１】
図３１のステップＳ５０１において、カメラパラメータ算出器１１３は、ステップＳ３０１で取得されたカメラ画像の輝度勾配に基づき、ステップＳ３０３で取得したＮ点の３次元点の各々を評価値の算出に使用するか否かを判定するための点群選択マスクを作成する。点群選択マスクは、カメラ画像中の各画素に対して、当該画素が、評価値の算出に用いる有効画素及び当該画素の輝度値を評価値の算出に用いない無効画素の何れであるかを示す２値を取る。点群選択マスクは、１又は複数のカメラで撮影された個々のカメラ画像について作成される。
【０２２２】
図３２は、点群選択マスク作成処理Ｓ５０１の詳細な一例を示すフローチャートである。
【０２２３】
点群選択マスク作成処理Ｓ５０１では、画素インデックスをｉとし、カメラ画像中の画素ｉを順次選択しながら、選択された画素ｉが有効画素か無効画素かを特定するループ処理を行う（Ｓ５０１１〜Ｓ５０１６）。
【０２２４】
画素ｉでの輝度勾配Ｇｉを、画素ｉを中心とする近傍画素から算出する（Ｓ５０１２）。輝度勾配の一例として、式１５に、画素ｉを中心とする隣接画素による輝度勾配Ｇｉを示す。
【０２２５】
【数１５】
2018189637.tif 000017
【０２２６】
ここで、Ｉ（ｘ、ｙ）は画像座標（ｘ、ｙ）における輝度値である。
【０２２７】
輝度勾配Ｇｉと閾値を比較し（Ｓ５０１３）、輝度勾配Ｇｉが閾値より大きい場合、点群選択マスクにおいて画素ｉを有効画素に設定する（Ｓ５０１４）。また、輝度勾配Ｇｉが閾値以下の場合、点群選択マスクにおいて画素ｉを無効画素に設定する（Ｓ５０１５）。前記閾値は、一例として、画像全体の平均輝度勾配の定数倍であってもよい。
【０２２８】
再び図３１を参照して、ステップＳ５０２において、カメラパラメータ算出器１１３は、ステップＳ３０３で取得した３次元点群データの中から、ステップＳ５０１で作成した点群選択マスクに基づいて選択される３次元座標を用いて、評価関数Ｊ（例えば、式３）を算出する。
【０２２９】
ステレオカメラの例では、左右のカメラ画像の少なくとも一方において、ある３次元点の対応点に位置する画素が、点群選択マスクによって無効画素として示される場合、当該３次元点に対応するカメラ画像上の画素値を評価関数の算出から除いてもよい。
【０２３０】
また、左右のカメラ画像の両方において、ある３次元点の対応点に位置する画素が、点群選択マスクによって無効画素として示される場合、当該３次元点に対応するカメラ画像上の画素値を評価関数の算出から除いてもよい。
【０２３１】
以上のように、３次元点群データの中から、カメラ画像の対応点における輝度勾配の小さい３次元点を評価関数Ｊの算出から除くことにより、計算量を削減し、カメラ校正を行うことができる。
【０２３２】
なお、評価関数Ｊは式３に限る必要はなく、式４〜１４を使用してもよい。また、点群選択マスクは、各カメラ画像の全ての画素に対して有効画素か無効画素かを示す必要はなく、各３次元点の対応点の近傍画素に対して有効画素か無効画素かを示してもよい。
【０２３３】
（その他の変形例）
以上、本開示の一つまたは複数の態様に係るカメラパラメータ算出装置について、実施の形態および変形例に基づいて説明したが、本開示は、この実施の形態および変形例に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつくその他の各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０２３４】
本開示のカメラパラメータ算出装置は、３次元構造が既知なる校正指標を使用せずに、各種のカメラを校正するカメラパラメータ算出装置として有用である。
【符号の説明】
【０２３５】
１０１、２０１、３０１、４０１    カメラパラメータ算出装置  
１０２    左カメラ
１０３    右カメラ
１０４    フレームメモリ
１０５    画像送信器
１０６    画像受信器
１０７    ３次元レーザースキャナ
１０８    点群データ受信器
１０９、２０９    プロセッサ
１１０    カメラパラメータ出力器
１１１、２１１、３１１    初期カメラパラメータ決定器
１１２    車種データベース
１１３、４１３    カメラパラメータ算出器
４０２    カメラ
５０１    移動体
５０２    移動体の外接多面体
５０３    校正開始位置
６０１    地上設備
７０１    サーバー
【図１】
2018189637.tif 000018
【図２】
2018189637.tif 000019
【図３】
2018189637.tif 000020
【図４】
2018189637.tif 000021
【図５】
2018189637.tif 000022
【図６】
2018189637.tif 000023
【図７】
2018189637.tif 000024
【図８】
2018189637.tif 000025
【図９】
2018189637.tif 000026
【図１０】
2018189637.tif 000027
【図１１】
2018189637.tif 000028
【図１２】
2018189637.tif 000029
【図１３】
2018189637.tif 000030
【図１４】
2018189637.tif 000031
【図１５】
2018189637.tif 000032
【図１６】
2018189637.tif 000033
【図１７】
2018189637.tif 000034
【図１８】
2018189637.tif 000035
【図１９】
2018189637.tif 000036
【図２０】
2018189637.tif 000037
【図２１】
2018189637.tif 000038
【図２２】
2018189637.tif 000039
【図２３】
2018189637.tif 000040
【図２４】
2018189637.tif 000041
【図２５】
2018189637.tif 000042
【図２６】
2018189637.tif 000043
【図２７】
2018189637.tif 000044
【図２８】
2018189637.tif 000045
【図２９】
2018189637.tif 000046
【図３０】
2018189637.tif 000047
【図３１】
2018189637.tif 000048
【図３２】
2018189637.tif 000049
【図３３】
2018189637.tif 000050