(57)【要約】【課題】高い精度でカメラの位置および姿勢を較正することができる。【解決手段】較正装置１は、カメラ２と、プロセッサ４とを備える。カメラ２は、移動体１００に取付けられている。プロセッサ４は、カメラ２によって、互いに異なる部材上に配置される４点以上の較正点を撮像した画像における較正点の像である画像較正点に基づいて、カメラ２の位置および姿勢を６軸調整する較正値を算出する。【選択図】図１
2020051932.tif 000002
【特許請求の範囲】
【請求項１】
移動体に取付けられているカメラと、
前記カメラによって、互いに異なる部材上に配置されている４点以上の較正点を撮像した画像における前記較正点の像である画像較正点の位置に基づいて、前記カメラの位置および姿勢を６軸調整する較正値を算出するプロセッサと、
を備える較正装置。
【請求項２】
予め定められた実空間における前記較正点の位置ならびに前記移動体に対する前記カメラの位置および姿勢を記憶するメモリをさらに備え、
前記プロセッサは、前記メモリに記憶された前記較正点の位置ならびに前記カメラの位置および姿勢に基づいて前記画像における前記較正点が位置すると推定される推定位置を算出し、前記画像上の較正点の位置と前記推定位置との誤差に対応する指標が小さくなるように前記カメラの前記較正値を算出する請求項１に記載の較正装置。
【請求項３】
前記プロセッサは、前記較正値に基づいて前記カメラの位置および姿勢を較正し、較正された前記カメラの位置および姿勢に基づいて、前記画像上の前記較正点が位置すると推定される前記推定位置を算出し、前記画像における前記画像較正点の位置と、前記推定位置との誤差が所定の条件を満たすまで、前記較正値を算出する処理を繰り返す、請求項２に記載の較正装置。
【請求項４】
移動体に取付けられたカメラであって、
撮像素子と、
前記撮像素子によって、互いに異なる部材上に配置されている４点以上の較正点を撮像した画像における前記較正点の像である画像較正点の位置に基づいて、前記カメラの位置および姿勢を６軸調整する較正値を算出するプロセッサと、
を備えるカメラ。
【請求項５】
撮像素子と、前記撮像素子によって、互いに異なる部材上に配置されている４点以上の較正点を撮像した画像における前記較正点の像である画像較正点の位置に基づいて、前記撮像素子の位置および姿勢を６軸調整する較正値を算出するプロセッサと、を含むカメラ
を備える移動体。
【請求項６】
移動体に取付けられているカメラと、プロセッサとを備える較正装置が実行する較正値調整方法であって、
前記カメラが、互いに異なる部材上に配置されている４点以上の較正点を撮像した画像を生成するステップと、
前記プロセッサが、前記画像における前記較正点の像である画像較正点の位置に基づいて、前記カメラの位置および姿勢を６軸調整する較正値を算出するステップと、
を含む較正値調整方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、較正装置、カメラ、移動体、および較正値調整方法に関する。
【背景技術】
【０００２】
従来、車両に取付けられたカメラが撮像した画像を用いて、車両の周辺にある物体等を検出する技術が知られている。このような技術において、物体の位置を正確に算出するために、カメラは、高い精度で車両に取付けられていることが要求される。特許文献１に記載された較正装置は、２ヶ所に配置されたマーカーを撮像した画像を用いて、３次元直交座標系の各軸に対するカメラの姿勢の誤差を算出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１３１２５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上述の技術において、カメラの姿勢だけでなく位置に誤差がある場合、位置及び姿勢の誤差に起因する、カメラによって撮像された画像上のマーカーの位置のずれに基づいて、位置に誤差がないという前提で姿勢の誤差を算出することになる。この結果、カメラの位置及び姿勢が正確に較正されないことがある。
【０００５】
本開示は、カメラの位置および姿勢を正確に較正することができる較正装置、カメラ、移動体、および較正値調整方法を提供する。
【課題を解決するための手段】
【０００６】
本開示の較正装置は、カメラと、プロセッサとを備える。前記カメラは、移動体に取付けられている。前記プロセッサは、前記カメラによって、互いに異なる部材上に配置される４点以上の較正点を撮像した画像における前記較正点の像である画像較正点に基づいて、前記カメラの位置および姿勢を６軸調整する。
【０００７】
本開示のカメラは、移動体に取付けられる。前記カメラは、撮像素子と、プロセッサとを備える。前記撮像素子は、互いに異なる部材上に配置されている４点以上の較正点を撮像した画像を生成する。前記プロセッサは、前記画像における前記較正点の像に基づいて、前記カメラの位置および姿勢を６軸調整する。
【０００８】
本開示の移動体は、カメラを備える。前記カメラは、移動体に取付けられている。前記カメラは、撮像素子と、プロセッサとを備える。前記プロセッサは、前記撮像素子によって、互いに異なる部材上に配置されている４点以上の較正点を撮像した画像における前記較正点の像である画像較正点に基づいて、前記カメラの位置および姿勢を６軸調整する。
【０００９】
本開示の較正値調整方法は、移動体に取付けられているカメラと、プロセッサとを備える較正装置が実行する較正値調整方法である。前記較正値調整方法は、前記カメラが、互いに異なる部材上に配置されている４点以上の較正点を撮像した画像を生成するステップを含む。前記較正値調整方法は、前記プロセッサが、前記画像における前記較正点の像に基づいて、前記カメラの位置および姿勢を６軸調整するステップを含む。
【発明の効果】
【００１０】
本開示の一実施形態によれば、カメラにより撮像される画像の較正の精度を改善することができる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態による較正装置の概略構成を示す機能ブロック図である。
【図２】図１に示すカメラが搭載された移動体と、較正点との配置について説明するための図である。
【図３】実空間系におけるカメラの位置および姿勢を説明するための図である。
【図４】図１に示すカメラによって生成された画像上の画像較正点と、推定較正点との例を示す図である。
【図５】図１に示す較正装置の処理フローの一例を示すフローチャートである。
【図６】第１実施形態による較正値の調整処理の実験結果と従来技術による較正値の調整処理の実験結果とを示す図である。
【図７】第２実施形態によるカメラの概略構成を示す機能ブロック図である。
【発明を実施するための形態】
【００１２】
以下、本開示の第１実施形態について、図面を参照して説明する。なお、以下の説明で用いられる図は模式的なものであり、図面上の寸法比率等は現実のものとは必ずしも一致していない。
【００１３】
図１に示すように、本開示の一実施形態にかかる較正装置１は、カメラ２と、メモリ３と、プロセッサ４とを含んで構成される。
【００１４】
本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車および産業車両を含むが、これに限られず、鉄道車両および生活車両、滑走路を走行する固定翼機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、およびトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。産業車両は、農業および建設向けの産業車両を含む。産業車両には、フォークリフト、およびゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラを含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。本開示における船舶には、マリンジェット、ボート、タンカーを含む。本開示における航空機には、固定翼機、回転翼機を含む。
【００１５】
図２に示すように、カメラ２は、移動体１００に取付けられている。具体的には、カメラ２は、移動体１００の後方を撮像可能なように該移動体１００に取付けられている。カメラ２は、移動体１００の後方に限らず、側方または前方を撮像可能なように移動体１００に取付けられてもよい。
【００１６】
図１に示したように、カメラ２は、撮像光学系２１と、撮像素子２２とを含んで構成される。
【００１７】
撮像光学系２１は、１つ以上のレンズを含んで構成される。撮像光学系２１は、撮像光学系２１の光軸が撮像素子２２の撮像面に垂直となるように配置されている。撮像光学系２１は、被写体から入射した光を撮像素子２２の撮像面において被写体像として結像させる。
【００１８】
撮像素子２２は、撮像光学系２１によって撮像面に結像された被写体像を含む画像ＩＭＧを生成する。撮像素子２２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサまたはＣＣＤ（Charge Coupled Device）等である。
【００１９】
メモリ３は、例えばＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）など、任意の記憶デバイスにより構成される。メモリ３は、移動体１００を基準とする実空間におけるカメラ２の位置および姿勢である設計位置（ＸC，ＹC，ＺC）および設計姿勢（ψC，θC，φC）を記憶する。
【００２０】
設計位置（ＸC，ＹC，ＺC）は、カメラ２が設計通りに取付けられている場合の、移動体１００を基準とする実空間におけるカメラ２の位置である。本実施形態では、実空間における位置は、図２に示すように、移動体１００の後方に向かう方向であるＹ軸方向、鉛直方向であるＺ方向、およびＹ軸方向およびＺ軸方向に垂直な方向であるＸ軸方向を用いて示される。
【００２１】
設計姿勢（ψC，θC，φC）は、カメラ２が設計通りに取付けられている場合の、移動体１００を基準とする実空間におけるカメラ２の姿勢である。図３に示すように、実空間におけるカメラ２の姿勢は、Ｘ軸を中心にした回転角度であるチルト角θ、Ｙ軸を中心にした回転角度であるロール角φ、およびＺ軸を中心にした回転角度であるパン角ψを用いて示される。本実施形態では、カメラ２は、設計通りに取付けられている場合、該カメラ２の光軸がＹ軸方向からやや下方に向くように取付けられている。
【００２２】
メモリ３は、予め定められた、実空間における４つの較正点Ｐiの位置（ＸPi，ＹPi，ＺPi）（ｉ＝１〜ｎ：ｎは較正点の数）をさらに記憶する。本実施形態では、ｎ＝４として説明するが、これに限られず、ｎ≧５であってもよい。各較正点Ｐiは、カメラ２の撮影範囲内の予め定められた位置に配置されている。図２および図３に示したように、各較正点Ｐiは、互いに異なる部材Ｍi上に配置されている。各較正点Ｐiは、該較正点Ｐiから射出される光が他の物体（例えば、他の較正点が配置されている部材）によって遮られることなくカメラ２に到達するように配置されている。
【００２３】
図２および図３に示す例では、各較正点Ｐiは、互いに異なるパネル状の部材Ｍiに描画された白黒の市松模様のパターンによって規定される。具体的には、市松模様のパターンは、鉛直方向および水平方向それぞれに隣接して配列される、白の矩形と黒の矩形とによって構成される。較正点Ｐiは、鉛直方向における白の矩形と黒の矩形との境界であって、水平方向における白の矩形と黒の矩形との境界となる点である。言い換えれば、各較正点Ｐiは、それぞれ一の矩形における他の矩形と隣接する側の角となる点である。各較正点は、このような例に限られず、例えば、円状のパターンの中心、２つの線状のパターンの交点等、任意の点であってよい。
【００２４】
プロセッサ４は、カメラ２によって、互いに異なる部材Ｍi上に配置される４点以上の較正点を撮像した画像における較正点の像である画像較正点の位置Ｉiに基づいて、カメラ２の位置および姿勢を６軸調整する較正値を算出する。較正値は、較正されるカメラ２の位置および姿勢そのものであってよい。較正値は、較正されるカメラ２の位置および姿勢の、それぞれ設計位置および設計姿勢からの差分であってもよい。プロセッサ４は、較正装置１の入力インターフェース（不図示）から、較正モードの実行を示す命令を受け付けると較正値の調整処理を開始する。
【００２５】
＜＜較正値の調整処理の概要＞＞
プロセッサ４は、画像較正点の位置Ｉiと推定較正点の位置ｆiとに基づいてカメラ２の較正値を算出する。画像較正点の位置Ｉiは、カメラ２で実際に撮像した画像から得られる較正点Ｐiの像の位置である。推定較正点の位置ｆiは、実空間の各較正点の３次元位置と、カメラ２の位置（Ｘ，Ｙ，Ｚ）および姿勢（ψ，θ，φ）から推定される、撮像された画像上の較正点Ｐiの像の位置である。ｆiは、画像上の例えばｘ座標およびｙ座標の値を有する２次元量である。実空間上の各較正点Ｐiの位置を示す３次元座標は、予め定められているので、ｆiは、位置姿勢αの関数である。カメラ２の位置（Ｘ，Ｙ，Ｚ）および姿勢（ψ，θ，φ）は、位置姿勢αとして次式で表される。
α＝［Ｘ，Ｙ，Ｚ，ψ，θ，φ］T                                 （１）
【００２６】
具体的には、プロセッサ４は、カメラ２で実際に撮像した画像上の画像較正点の位置Ｉiを算出する。プロセッサ４は、カメラの位置姿勢αに基づいて画像上の推定較正点の位置ｆiを算出する。プロセッサ４は、画像較正点の位置Ｉiと推定較正点の位置ｆiとの誤差の大きさに対応する指標である誤差関数ｅ（α）を算出する。誤差関数ｅ（α）は、カメラ２が位置姿勢αにある場合の、画像較正点の位置Ｉiと推定較正点の位置ｆiとの誤差Ｌi（α）に対応する値である。誤差関数ｅ（α）は、例えば、誤差Ｌi（α）の平方和であってよいし、誤差Ｌi（α）の絶対値の和であってもよい。本実施形態では、誤差関数ｅ（α）が誤差Ｌi（α）の二乗和である例を詳細に説明する。誤差関数ｅ（α）および誤差Ｌi（α）は、後述する。
【００２７】
次に、プロセッサ４は、誤差関数ｅ（α）が所定の条件を満たすか否かを判定する。所定の条件は、誤差関数ｅ（α）が閾値Ｔｈ以下であるという条件、あるいは誤差関数ｅ（α）が収束しているという条件であり、詳細については後述する。プロセッサ４は、誤差ｅ（α）が所定の条件を満たすと判定した場合、位置姿勢αに基づく較正値を出力する。プロセッサ４は、誤差関数ｅ（α）が所定の条件を満たさないと判定した場合、誤差関数ｅ（α）が小さくなるようにカメラ２の位置姿勢αを変更した場合の推定較正点の位置ｆiを算出する。そして、プロセッサ４は、画像較正点の位置Ｉiと変更された推定較正点の位置ｆiとの誤差関数ｅ（α）を算出する。
【００２８】
以降、プロセッサ４は、誤差関数ｅ（α）が所定の条件を満たすまで、誤差関数ｅ（α）の算出、および誤差関数ｅ（α）の判定、位置姿勢αの変更に伴う推定較正点の位置ｆiの算出を繰り返すことによって誤差関数ｅ（α）が小さくなる、カメラ２の位置姿勢αを算出し、位置姿勢αに基づく較正値を出力する。誤差関数ｅ（α）が小さくなるとは、例えば、誤差関数ｅ（α）が最小になることであってよい。
【００２９】
＜＜較正値の調整処理の詳細＞＞
ここで、プロセッサ４による較正値の調整処理について詳細に説明する。
【００３０】
＜位置姿勢の算出の基本原理＞
まず、プロセッサ４が較正値を算出するための位置姿勢αの算出の基本原理について説明する。
【００３１】
カメラ２の実際の位置姿勢が設計値の位置姿勢αと一致していれば、Ｉi＝ｆi（α）となる。しかしながら、カメラ２の位置ずれまたは姿勢のずれにより、画像較正点の位置Ｉiと推定較正点の位置ｆi（α）との間には、次式で示される誤差Ｌi（α）が生じる。
【００３２】
【数１】
2020051932.tif 000003
【００３３】
そこで、プロセッサ４は、最小二乗法により誤差Ｌi（α）を最小化する演算を行う。具体的には、この誤差Ｌi（α）の各較正点についての平方和を誤差関数ｅ（α）とし、これを最小とする位置姿勢αを算出することにより、位置（Ｘ，Ｙ，Ｚ）および姿勢（ψ，θ，φ）の較正値を算出することができる。誤差Ｌｉの各較正点についての誤差関数ｅ（α）は次式で表される。
【００３４】
【数２】
2020051932.tif 000004
【００３５】
誤差関数ｅ（α）の最小化は、反復計算により行うことができる。すなわち、プロセッサ４は、誤差関数ｅ（α）を減少させる方向に各位置姿勢αのパラメータを変更する。プロセッサ４は、変更した位置姿勢αを用いて、較正点の位置ｆi（α）、誤差Ｌi（α）および誤差関数ｅ（α）を再計算する。プロセッサ４は、誤差関数ｅ（α）が最小値またはその近傍となるまで上記位置姿勢αの調整、および、推定較正点の位置ｆi（α）、誤差Ｌi（α）および誤差関数ｅ（α）の再計算を繰り返す。
【００３６】
誤差関数ｅ（α）が最小値またはその近傍となったことは、種々の方法で判定できる。例えば、プロセッサ４は、誤差関数ｅ（α）に閾値を設け、誤差関数ｅ（α）が閾値未満となったとき、反復計算を終了してよい。また、プロセッサ４は、繰り返し計算の前後の誤差関数ｅ（α）または各位置姿勢αのパラメータの変化量を算出して、当該変化量が所定値以下になったとき、誤差関数ｅ（α）が最小値またはその近傍に収束したものと判定して、反復計算を終了してよい。
【００３７】
反復計算を行う方法には、最急降下法、ニュートン法、ガウス・ニュートン法、レーベンバーグ・マルカート法等の種々の公知の計算手法を用いることができる。
【００３８】
一例として、ガウス・ニュートン法を用いる場合、誤差関数ｅ（α）が所定の閾値Ｔｈ未満になるまで反復計算を行う。閾値Ｔｈは、適宜定めることができる。
【００３９】
また、他の例として、ガウス・ニュートン法を用いる場合、以下の式が収束されるまで反復計算を行う。
【００４０】
【数３】
2020051932.tif 000005
ここで、Δαは反復計算による位置姿勢αの変化量である。Ｊは、αにおけるＬi（α）のヤコビアンであり、次のように表すことができる。
【００４１】
【数４】
2020051932.tif 000006
【００４２】
以降において、誤差関数ｅ（α）が所定の閾値Ｔｈ未満になるまで反復計算が繰り返される例について説明する。
【００４３】
＜較正値の調整処理全体の詳細＞
続いて、プロセッサ４が、上述した位置姿勢αの算出の基本原理を用いて、較正値を調整する方法を詳細に説明する。
【００４４】
（画像較正点の位置の取得）
プロセッサ４は、図４に示すような、カメラ２によって生成された画像ＩＭＧを取得する。プロセッサ４は、画像ＩＭＧに含まれる４つの較正点Ｐiの像である画像較正点の位置Ｉiをそれぞれ取得する。例えば、プロセッサ４は、画像ＩＭＧからエッジを検出する。プロセッサ４は、検出されたエッジが形成する、互いに交差する２つの線分の交点を画像較正点として、画像較正点の位置Ｉiを取得する。
【００４５】
（１回目の推定較正点の位置の算出）
プロセッサ４は、メモリ３に記憶されている、較正点Ｐiの位置ならびにカメラ２の設計位置（ＸC，ＹC，ＺC）および設計姿勢（ψC，θC，φC）を示す位置姿勢α1に基づいて、画像ＩＭＧ上の推定較正点の位置ｆi1を算出する。
【００４６】
（１回目の誤差の指標の算出）
プロセッサ４は、画像較正点の位置Ｉiと、推定較正点の位置ｆi1との誤差関数ｅ（α）においてα＝α1とした誤差の指標ｅ（α1）を算出する。
【００４７】
（１回目の誤差の指標の判定）
次に、プロセッサ４は、誤差の指標ｅ（α1）が所定条件を満たすか否かを判定する。例えば、プロセッサ４は、誤差の指標ｅ（α1）が閾値Ｔｈ以下であるか否かを判定する。閾値Ｔｈは、カメラ２によって生成された画像に基づいて物体を検出する装置において、検出された物体の位置について誤差が許容される範囲に応じて決定される。
【００４８】
プロセッサ４は、誤差の指標ｅ（α1）が閾値Ｔｈ以下であると判定すると、位置姿勢α1に基づく値を較正値として出力する。位置姿勢αに基づく値は、較正されるカメラ２の位置および姿勢そのものであってよい。位置姿勢αに基づく値は、較正されるカメラ２の位置および姿勢の、それぞれ設計位置および設計姿勢からの差分であってもよい。
【００４９】
（２回目の推定較正点の位置の算出）
プロセッサ４は、誤差の指標ｅ（α1）が閾値Ｔｈより大きいと判定すると、ｅ（α）がより小さくなるように、カメラ２の位置姿勢αをα2に変更する。そして、プロセッサ４は、カメラ２の位置姿勢α2に基づいて、推定較正点の位置ｆi2を算出する。
【００５０】
（２回目の誤差の指標の算出）
プロセッサ４は、カメラ２の位置姿勢をα2に変更し、画像較正点の位置Ｉiと、推定較正点の位置ｆi2との誤差関数ｅ（α）においてα＝α2とした誤差の指標ｅ（α2）を算出する。
【００５１】
（２回目の誤差の指標の判定）
次に、プロセッサ４は、誤差の指標ｅ（α2）が所定条件を満たすか否かを判定する。例えば、プロセッサ４は、誤差の指標ｅ（α2）が閾値Ｔｈ以下であるか否かを判定する。プロセッサ４は、誤差の指標ｅ（α2）が閾値Ｔｈ以下であると判定すると、位置姿勢α2に基づく値を較正値として出力する。
【００５２】
（ｋ回目の推定較正点の位置の算出）
以上のように、プロセッサ４は、カメラ２の位置姿勢αkに基づいて、推定較正点の位置ｆikを算出する。
【００５３】
（ｋ回目の誤差の指標の算出）
プロセッサ４は、画像較正点の位置Ｉiと、推定較正点の位置ｆikとの誤差関数ｅ（α）において、α＝αkとした誤差の指標ｅ（αk）を算出する。
【００５４】
（ｋ回目の誤差の指標の判定）
プロセッサ４は、誤差の指標ｅ（αk）が所定条件を満たすか否かを判定する。例えば、プロセッサ４は、誤差の指標ｅ（αk）が閾値Ｔｈ以下であるか否かを判定する。
【００５５】
プロセッサ４は、誤差の指標ｅ（αk）が閾値Ｔｈ以下であると判定すると、位置姿勢αkに基づく値を較正値として算出する。プロセッサ４は、誤差の指標ｅ（αk）が閾値Ｔｈより大きいと判定すると、ｋ＝ｋ＋１として誤差の指標ｅ（αk）が閾値Ｔｈ以下となるまで、較正値の算出、誤差の指標ｅ（αk）の算出、誤差の指標ｅ（αk）の判定を繰り返す。
【００５６】
続いて、第１実施形態において、較正装置１のプロセッサ４が行う処理の一例について図５を参照して説明する。プロセッサ４は、較正装置１の入力インターフェースから、較正モードの実行を示す命令を受け付けると較正値を算出する処理を実行する。
【００５７】
まず、プロセッサ４は、カメラ２が４点の較正点Ｐiを撮像して生成した画像ＩＭＧを取得する（ステップＳ１０）。
【００５８】
プロセッサ４は、カメラ２によって生成された画像ＩＭＧにおける画像較正点の位置Ｉiを取得する（ステップＳ１１）。
【００５９】
ステップＳ１１で画像較正点の位置Ｉiが取得されると、プロセッサ４は、ｋ＝１として（ステップＳ１２）、推定較正点の位置ｆikを算出する（ステップＳ１３）。
【００６０】
ステップＳ１３で推定較正点の位置ｆikが算出されると、プロセッサ４は、画像較正点の位置Ｉiと、推定較正点の位置ｆikとの誤差関数ｅ（α）において、α＝αkとした誤差の指標ｅ（αk）を算出する（ステップＳ１４）。
【００６１】
ステップＳ１４で誤差の指標ｅ（αk）が算出されると、プロセッサ４は、誤差の指標ｅ（αk）が閾値Ｔｈ以下であるか否かを判定する（ステップＳ１５）。
【００６２】
ステップＳ１５で、誤差の指標ｅ（αk）が閾値Ｔｈ以下であると判定されると、プロセッサ４は、位置姿勢αkに基づく較正値を出力する（ステップＳ１６）。
【００６３】
ステップＳ１５で、誤差の指標ｅ（αk）が閾値Ｔｈより大きいと判定されると、プロセッサ４は、ｋ＝ｋ＋１として（ステップＳ１７）、カメラの位置姿勢αをαk+1に変更する（ステップＳ１８）。
【００６４】
ステップＳ１８で、カメラの位置姿勢αがαk+1に変更されると、ステップＳ１３に戻る。
【００６５】
上述のようにして、カメラ２の位置および姿勢を較正した実験結果の一例を、図６を参照して説明する。本例におけるカメラ２の位置の設計値は、図６の「設計値」の欄に示すように、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向にそれぞれ原点から０（ｍｍ）、０（ｍｍ）、１０００（ｍｍ）である。カメラ２のパン角ψ、チルト角θ、ロール角φの設計値は、それぞれ５°、−４５°、５°である。これに対して、カメラ２が取付けられている位置は、「取付値」の欄に示すように、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向にそれぞれ原点から２０（ｍｍ）、２０（ｍｍ）、１０２０（ｍｍ）である。カメラ２が取付けられているパン角ψ、チルト角θ、ロール角φの設計値は、それぞれ５°、−４５°、５°である。
【００６６】
角度の較正値のみを調整可能な従来の較正装置を用いて、取付値の欄に示される位置および姿勢で取付けられているカメラ２を較正することを想定すると、「較正値（従来技術）」欄に示すように、カメラ２の位置は、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向にそれぞれ原点から０（ｍｍ）、０（ｍｍ）、１０００（ｍｍ）となった。このとき、パン角ψ、チルト角θ、ロール角φは、それぞれ４．６°、−４４．３°、５．１°となった。従来の較正装置は、設計位値からのＸ軸方向およびＹ軸方向のずれにも起因している画像に基づいて、角度のみを較正したため、Ｚ方向の位置が正確には較正されず、かつ、角度方向の較正値の正確性が低下した。
【００６７】
しかし、本実施形態の較正装置１が、上述した取付位置にあるカメラを較正すると、「較正値（本実施形態）」欄に示すように、カメラ２の位置はＸ軸方向、Ｙ軸方向、Ｚ軸方向にそれぞれ原点から０（ｍｍ）、０（ｍｍ）、１０００（ｍｍ）となった。このとき、パン角ψ、チルト角θ、ロール角φは、それぞれ５°、−４５°、５°となった。このように、本実施形態の較正装置１は、正確に較正値を算出することができた。
【００６８】
以上説明したように、第１実施形態によれば、カメラ２は、移動体１００に取付けられ、プロセッサ４は、４点以上の較正点Ｐiを撮像した画像における較正点Ｐiの像である画像較正点の位置Ｉiに基づいてカメラの位置および姿勢を６軸調整する較正値を算出する。カメラ２の位置および姿勢を６軸調整するにあたって３点の較正点が用いられる場合、３点の較正点とカメラの位置との関係によっては、６つのパラメータＸ、Ｙ、Ｚ、ψ、θ、およびφが不確かな値となったり、一意に算出されなかったりすることがある。これに対して、第１実施形態では、４点の較正点Ｐiの像である４点の画像較正点の位置Ｉiは、２次元の画像空間において、合計８つの自由度を有する。このため、較正装置１は、４点の画像較正点の位置Ｉiに基づいて６つのパラメータＸ、Ｙ、Ｚ、ψ、θ、およびφによって示される位置姿勢αを算出することができる。したがって、較正装置１は、正確にカメラ２の位置および姿勢を較正することができる。
【００６９】
第１実施形態によれば、カメラ２は、互いに異なる部材Ｍi上に配置される４点以上の較正点Ｐiを撮像した画像を生成する。本較正装置１は、本来、ずれがないように配置された較正点を用いることが前提である。しかし、較正点が僅かにずれることもありうる。そのような場合、全ての較正点が一体の部材に配置されていると、部材のずれや傾きがそのまま、較正値に反映されて、誤った較正値を算出してしまう。較正点が異なる部材上に配置されることによって、１つの較正点のずれが較正値の調整に与える影響が小さくなる。第１実施形態のように、４点以上の較正点が互いに異なる部材Ｍiにそれぞれ配置されることによって、いずれか１つの部材Ｍiの位置または向きがずれていたとしても、他の部材Ｍiが正確に配置されていれば、全体としての誤差関数ｅ（α）に含まれる誤差は緩和される。また、４つの部材Ｍiそれぞれが異なる方向にずれていれば、全体としての指標ｅ（α）に含まれる誤差は緩和される。したがって、較正装置１は、より高い精度でカメラ２の位置および姿勢を較正することができる。
【００７０】
第１実施形態によれば、較正装置１は、位置姿勢αより高い自由度を有する４点の画像較正点の位置Ｉiを用いて、画像較正点の位置Ｉiと推定較正点の位置ｆiとの誤差関数ｅ（α）が小さくなるカメラ２の位置および姿勢に基づく値を較正値として算出する。このため、例えば、いずれかの較正点Ｐiに設置の位置及び姿勢の一方に誤差があった場合、正確に設置されている他の較正点Ｐiにより誤差関数ｅ（α）に含まれる誤差が緩和される。また、カメラ２の処理においていずれかの画像較正点の位置Ｉiに誤差が発生した場合、正確に取得された他の画像較正点の位置Ｉiにより誤差関数ｅ（α）に含まれる誤差が緩和される。したがって、高い精度でカメラ２の位置および姿勢を較正することができる。
【００７１】
第１実施形態によれば、較正装置１は、較正値に基づいてカメラの位置および姿勢を較正し、較正された前記カメラの位置および姿勢に基づいて、画像上の較正点が位置すると推定される推定位置を算出する。較正装置１は、画像における画像較正点の位置Ｉiと、推定較正点の位置ｆiとの誤差の指標が所定の条件を満たすまで、較正値を算出する処理を繰り返す。このため、較正装置１は、所定の条件が適宜決定されている場合に、カメラの位置姿勢αに基づいて推定される物体の位置と、実際にカメラ２によって撮像された画像上の物体の位置との誤差の指標を許容される範囲内とすることができる。したがって、較正装置１は、カメラ２によって検出される物体の位置の精度を向上させることができる。
【００７２】
以下、本開示の第２実施形態について、図面を参照して説明する。
【００７３】
図７に示すように、第２実施形態におけるカメラ２０は、撮像光学系２１０と、撮像素子２２０とを備える。第２実施形態における撮像光学系２１０および撮像素子２２０は、それぞれ第１実施形態の撮像光学系２１および撮像素子２２と同じである。第２実施形態におけるカメラ２０は、さらにメモリ３０およびプロセッサ４０を備える点で第１実施形態のカメラ２とは異なる。メモリ３０およびプロセッサ４０は、それぞれ第１実施形態のメモリ３およびプロセッサ４と同じである。
【００７４】
以上説明したように、第２実施形態によれば、カメラ２０は、第１実施形態の較正装置１と同じく、カメラ２０の位置および姿勢を正確に較正することができる。
【００７５】
上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態および実施例に記載の複数の構成ブロックを１つに組合せたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【００７６】
例えば、上述の実施形態では、プロセッサ４は、ガウス・ニュートン法を用いて、誤差ｅが小さくなる位置姿勢αを算出したが、これに限られない。例えば、プロセッサ４は、レーベンバーグ・マーカート法を用いてよいし、誤差を小さくするための他の任意の方法を用いてよい。
【００７７】
なお、上記実施形態では、プロセッサ４は、誤差Ｌi（α）の平方和を誤差ｅ（α）として最小化する計算を行った。しかし、位置姿勢αの最適値を求める方法はこれに限られない。例えば、プロセッサ４は、最小絶対値法によりカメラ２の位置姿勢を導出することができる。最小絶対値法において、誤差に対応する指標である誤差関数ｅ（α）は次式で表される。
【００７８】
【数５】
2020051932.tif 000007
【００７９】
このような構成において、ｅ（α）を最小化するため、プロセッサ４は目標計画法を採用することができる。
【００８０】
上述の実施形態では、プロセッサ４は、ステップＳ１１で画像較正点の位置Ｉiを算出した後に、ステップＳ１２で推定較正点の位置ｆi1を算出したが、この限りではない。プロセッサ４は、推定較正点の位置ｆi1を算出した後に、画像較正点の位置Ｉiを算出してもよい。プロセッサ４は、推定較正点の位置ｆi1を算出すると同時に、画像較正点の位置Ｉiを算出してもよい。
【００８１】
上述の実施形態では、プロセッサ４は、誤差ｅkが閾値Ｔｈ以下であるか否かを判定したが、これに限られない。例えば、プロセッサ４は、誤差ｅkの、誤差ｅk-1との差Δｅの絶対値｜Δｅ｜が閾値以下であるか否かを判定してもよい。このような較正において、プロセッサ４は、絶対値｜Δｅ｜が閾値以下である場合に、絶対値｜Δｅ｜が収束したと判定し、算出されている較正値を出力する。
【符号の説明】
【００８２】
１            較正システム
２、２０      カメラ
３、３０      較正装置
２１、２１０  撮像光学系
２２、２２０  撮像素子
３、３０      メモリ
４、４０      プロセッサ
１００        移動体
ｆ1k〜ｆ4k   推定較正点の位置
Ｍ1〜Ｍ4      部材
Ｐ1〜Ｐ4      較正点
【図１】
2020051932.tif 000008
【図２】
2020051932.tif 000009
【図３】
2020051932.tif 000010
【図４】
2020051932.tif 000011
【図５】
2020051932.tif 000012
【図６】
2020051932.tif 000013
【図７】
2020051932.tif 000014