(57)【特許請求の範囲】
【請求項１】
較正済の内部カメラパラメータを有する２つ以上の広角カメラを含む車両サラウンドビューシステムの較正用データ処理システムの動作方法において、前記内部カメラパラメータは、前記データ処理システムによってアクセス可能に蓄積され、該方法は、
(i)車両に固定された２つ以上のカメラciの間の重複視界において、任意の位置ｊに位置する１つ以上の2D較正パターンを撮像する工程を含み、該較正パターンsjは、前記車両または他の較正パターンに対して任意に配向され、各較正パターンは、前記サラウンドビューシステムを有する車両を載置した平面Z = 0内にあり、２つ以上のカメラの間の重複視界に位置するいずれかの較正パターンsjの映像は、前記カメラによって同時に撮像されて、カメラおよび較正パターンの交互のシリーズの鎖、
... - カメラci - パターンsj - カメラci' - パターンsj' - カメラci" - ...
が前記車両を較正対象のサラウンドビューシステムで囲繞し、
(ii)該方法はさらに、データ収集工程を含み、該工程は、内部カメラパラメータをロードし、各カメラciから受け較正パターンsjから検出された2Dマーカ座標xijをロードし、前記較正パターンsjに固定された座標系において表わされる前記較正パターンsjから特定済みのマーカ座標Xjに対応する3D座標をロードし、すべてのパラメータを前記データ処理システムに蓄積することを含み、
(iii)さらに、前記カメラｉについて外部パラメータの集合RijおよびCijを算出し、該集合は、前記対応する較正パターンに対応する座標系ｊについて算出され、前記RijおよびCijを使用して、特定済みのマーカ座標Xijに対応する3D座標を2Dカメラｉ点xijへ内部カメラパラメータによってマッピングし、
(iv)較正パターンsjの集合を撮像する各カメラｉについて、１つの座標系を共通座標系として宣言し、対応する外部カメラciパラメータをRiおよびCiとして割り当て、前記カメラciに対応し異なる座標系ｊに属する他のXijデータはすべて下記の式、
Xij ← TXij、ただし j ≠ common
【数３４】
0006334734.tif 000036
で再計算し、
(v)各カメラciについて、前記データ処理システムは、前記カメラおよび較正パターンの交互のシリーズの鎖内で前記カメラciに結合されたカメラckの集合を較正パターンｓによって特定し、対応する外部パラメータRk、Ckを再計算し、前記カメラckから撮像可能で前記結合された較正パターンｓから撮像可能なパラメータを含む各マーカを下記の変換式、
【数３５】
0006334734.tif 000037
によって再計算し、ただしＲパラメータおよびＴパラメータは、２つのデータ集合を結合する剛体変換Xks → Xcsとして式Xcs = RXks + Tによって定義され、
非線形最適化を各カメラciについて、
【数３６】
0006334734.tif 000038
を最小化することによって行なう工程を含み、ただし下記、
【数３７】
0006334734.tif 000039
は測定値であり、xijは撮像された較正パターンsjに対してモデル化された値であり、その場合、各モデル化された較正パターンは、Z = 0平面内でベクトル[txj、tyj]だけ移動し、かつＺ軸を中心にαjだけ回転するものとし、該工程は、前記座標系ｊに属する3D座標Xjを各カメラciの2D座標xijへの正確なマッピングを可能なパラメータ集合Ri、Ci、txj、tyj、αjで終了し、
(vi)各カメラciの工程(vi)で推定された前記外部パラメータRi、Ciは、
Ａ．製造者から提供される各カメラｉの前記車体に対する下記の正確な位置、
【数３８】
0006334734.tif 000040
を使用することによって、または
Ｂ．各カメラciの下記の理想的な位置、
【数３９】
0006334734.tif 000041
を再計算し、その場合、車両中心は、前方カメラおよび後方カメラの間の中点centerC = (Cfront + Crear)/2として定義され、下記、
【数４０】
0006334734.tif 000042
を再計算して、下記、
【数４１】
0006334734.tif 000043
とし、下記マッピング、
【数４２】
0006334734.tif 000044
を実行し、ただし、
【数４３】
0006334734.tif 000045
であり、行列は、B = rotZ(-(β - π/2))であり、
さらに、パラメータRV、TVを求める剛体変換を行ない、該剛体変換は、Ａ．もしくはＢ．からの下記の点集合、
【数４４】
0006334734.tif 000046
を、下記の式、
【数４５】
0006334734.tif 000047
によって、対応する点集合Ciに変換するものであり、
さらに、
Ri ← Mi(1:3, 1:3)
Ci ← -Ri-1 Mi(1:3, 4)
を再計算することにより再計算されて車両座標系に合わせ、
ただし、
【数４６】
0006334734.tif 000048
であることを特徴とするデータ処理システムの動作方法。
【請求項２】
請求項１に記載の方法において、使用する較正パターンは、市松模様の較正パターンの形状であることを特徴とするデータ処理システムの動作方法。
【請求項３】
請求項１または２に記載の方法において、較正パターンを１つのみ使用して複数のカメラ較正を行なうことを特徴とするデータ処理システムの動作方法。
【請求項４】
請求項１ないし３のいずれかに記載の方法において、前記広角カメラは、魚眼レンズを備えたカメラであることを特徴とするデータ処理システムの動作方法。
【請求項５】
請求項１ないし４のいずれかに記載の方法を実行する手段を含む車両サラウンドビューシステムの較正用データ処理システム。
【請求項６】
車両サラウンドビューシステムの一体部分を形成する請求項５に記載のデータ処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の内部較正を有する複数のカメラを含むカメラシステムの較正方法に関するものである。カメラは、車両などの物体に設けられ、物体の周囲領域をカバーする。
【技術的課題】
【０００２】
車両の周囲の物体について視覚情報を実時間で得る必要性がますます高まっている。車両運転者はしばしば、単純なセンサの範囲を超える情報を得て車両の隣接物体との距離を調整する必要がある。そのような情報はとりわけ、不慣れな、狭い、もしくは限られた空間で、または超長尺車両を正確に運転するのに視覚的支援が必要な状況で、有用なことがある。そのような場合、しばしば望ましいのは、操作ディスプレイに提示される実質的な全体像を出力し、車両とその周囲の両方を鳥瞰図、または入力データから算出可能な何らかの他の所望の俯瞰図で示すことである。上述の全体像によって運転者は、限られた空間、および長尺車両で通り抜けるなどの困難の多い他の運転状況でも、車両を正確に運転することができる。
【０００３】
典型的には、実質的に360°に近い状況の周囲の映像を得るには、少なくとも２台のカメラが必要である。そのようなカメラは、車両のサイドミラー、および車体の前後部に設けてもよい。これらのカメラから得たデータをデータ処理システムで処理する。そのような全体像を出力するカメラシステムの重要な側面は、システムの較正、とくに正確な映像の接合に必要なカメラの外部パラメータ較正である。製造者が正確に装着し外部パラメータを初期較正しても、車両を使用し車体を修理すると、外部カメラパラメータが変わり、不正確な映像接合に起因して車両サラウンドビューが歪んでしまうことである。
【０００４】
公知の技術では、較正処理は単純でも迅速でもなく、高度の技術的知識を必要とする。また、外部カメラパラメータの較正は通常、通常の修理工場で見受けられる標準装備室よりはるかに高度な特殊装備室にて行なわれる。
【０００５】
本発明は、カーペット状の較正パターンなどの廉価なハードウエアを使って車両サラウンドビューについての高度の知識を必要とせずに、車両サラウンドビューシステムの較正、すなわち外部カメラパラメータの較正の問題を解決するものである。また、この方法は、較正パターンを１つだけ使用し、わずかに平坦な床を有する何らかの通常の修理工場で実行することができる。較正点をさらに追加する必要はなく、システム自体は、使用するカーペット間の相対的位置、またはサラウンドビューシステムを装備した車両についてその相対的位置が不明でも、短時間で較正可能である。
【０００６】
最後に、サラウンドビューシステムを装備した超長尺車両の場合のように修理工場に十分な空間がなくても、１つ以上の較正パターンから較正映像の順次撮像が可能である。
【先行技術】
【０００７】
関連技術分野に関する特許文献および非特許文献をいくつか選んだ。欧州特許公開公報2523163号(Natroshvili K.およびGassmann B.)には、マルチカメラシステムの較正方法およびプログラムが教示されている。これは、所定の内部較正を有する複数のカメラを有し、カメラは、車両に設けられて車両の周囲領域をカバーしている。この方法では、既知の距離で相互に離間され物体の周囲領域で単一平面上にあってカメラの視界に配置される１組のマーカを配置し、次にカメラのそれぞれのマーカからカメラの外部パラメータを算出し、複数のカメラのうちの他のカメラのそれぞれについてこれを繰り返すものである。本発明とこの引用した欧州公開公報2523163号との本質的な相違点は、本発明が座標を再計算して車両座標系と合わせるやり方をとっていることである。
【０００８】
国際公開公報2013/074604号(Pliefke S.)には、較正パターンを使用して車両サラウンドビュー用の１組のカメラを較正する方法が開示され、その方法は、この引例の段落0028に記載のように、各カメラの被写界が重複して共通の較正パターンを取得し、外部パラメータを計算して各カメラを互いに較正するものである。
【０００９】
欧州公開公報2530647号(NATROSHVILI K.およびSCHOLL K.-U.)によれば、車両視覚システムの較正方法が教示されている。車両視覚システムは複数の撮像装置を有し、これらはそれぞれ、非線形分布を有する映像を撮像する。各撮像装置、すなわち各カメラは、視界が重なっている。撮像装置の複数の被写体に対する位置および配向は、撮像した映像を基に得られる。この文献の段落[0010]に記載のように、複数の被写体の互いに対する位置は既知であり、これらの所定の相対的位置を使用して、その撮像装置および別の撮像装置の複数の被写体に対する位置および配向を求めることができる。複数の被写体は、三面体配置の市松模様などの専用のマーカでもよい。段落[0010]には、当業者に明瞭な方式が記載され、正確な相対マーカ位置が既知である必要があり、そのためこの方法を何らかの修理工場内で使用するのは煩雑である。
【００１０】
米国特許公開公報2011/115922号(SHIMIZU S.)には、物体に装着された複数のカメラのそれぞれについて複数のカメラのうちの２台の撮像範囲が互いに重複するようにしてカメラ較正を行なう較正装置および較正方法が開示されている。上記較正装置は、２台のカメラで撮像した第１および第２の映像を得るように構成された撮像装置と、マーカセットの映像を含む第１および第２の映像を使用することで一時的リンク構成を形成するように構成された一時的リンク構成形成部とを有している。本方式でもマーカの正確な位置が必要なことは、当業者に明瞭である。
【００１１】
米国特許公開公報2010/194886号(ASARI K.、ISHII Y.)には、カメラ較正を行なって複数のカメラ映像を複数のカメラから所定の表面に投写し、較正後、受けた結果に基づいてこれらを組み合わせるカメラ較正装置が教示されている。本方式でもマーカの正確な位置が必要なことは、当業者に明瞭である。
【００１２】
文献、Kannala J.、Brandt S.S.、"A Generic Camera Model and Calibration Method for Conventional, Wide-Angle, and Fish-Eye Lenses"、IEEE Transactions on Pattern Analysis and Machine Intelligence、vol. 28、no. 8、pp. 1335-1340、2006年8月には、平面状較正パターンの撮像に基づく魚眼レンズカメラのカメラ較正方法が教示されている。実験で検証しているが、この方法は使用が簡単で、円形配置した操作点で比較的高度の正確さが得られる。提案されたカメラモデルは上位概念であり、望遠レンズまたは広角レンズを有する従前のカメラにも容易に拡張され適用される。
【００１３】
文献、Sorkine 0.、"Least-Squares Rigid Motion Using SVD"、Technical notes、2009年には、２組の点を位置合わせする剛体変換を計算するアルゴリズムが教示されている。これは以下のサイトから得られる。
http://igl.ethz.ch/projects/ARAP/svd_rot.pdf
【発明の概要】
【００１４】
本発明は、較正済の内部カメラパラメータを有する２つ以上の広角カメラciを含む車両サラウンドビューシステムの較正用データ処理システムの動作方法を開示するものである。内部カメラパラメータは、データ処理システムによってアクセス可能に蓄積される。較正方法は以下の工程を含む。すなわち、
(i)車両に固定された２つ以上のカメラciの間の重複視界において、任意の位置ｊに位置する２つ以上の2D較正パターンsjを撮像し、較正パターンsjは、車両または他の較正パターンに対して任意に配向され、各較正パターンは、サラウンドビューシステムを有する車両を載置した平面Z = 0内にあり、２つ以上のカメラの間の重複視界に位置するいずれかの較正パターンsjの映像は、上記カメラによって同時に撮像されて、カメラおよび較正パターンの交互のシリーズの鎖、
... - カメラci - パターンsj - カメラci' - パターンsj' - カメラci" - ...
が車両を上記較正対象のサラウンドビューシステムで囲繞する工程と、
(ii)データ収集工程と、
(iii)外部パラメータの集合RijおよびCijを算出する工程と、
(iv)各較正パターンsjに関連するカメラciによって撮像可能なXijマーカ座標を各カメラciについて選択した共通座標系へマッピングする工程と、
(v)較正パターンｓを結合することによってカメラckの補正された集合をすべてカメラciへ併合し、外部カメラckパラメータRk、Ck、および上記カメラckより撮像可能な較正パターン座標の共通座標系への再計算を実行する工程と、
(vi)外部カメラパラメータの集合Ri、Ciおよび対応する較正パターン変位パラメータtxj、tyj、αjを最適化し、これによって較正システムsjに属するいずれかの3D座標Xjの各カメラciの2D座標xijへの正確なマッピングを可能とする工程である。
【００１５】
最後に、工程(vi)で推定された各カメラciの外部パラメータRi、Ciを再計算して車両座標系を一致させる。
【００１６】
本方法は、車体に対するカメラの正確な位置が製造者から既知である場合、およびそのようなデータが提供されていない場合に、適している。後者の、そのようなデータが提供されない場合は、車体に関する理想的なカメラ位置を再計算する必要がある。
【図面の簡単な説明】
【００１７】
【図１】４台のカメラ{c1、c2、c3、c4}が車両サラウンドビューを形成するもっとも一般的な状況を表す図である。各カメラの視界は点線で示されている。１つ以上の較正パターンは、ここでは市松模様カーペット{s1、s2、s3、s4}として単純化して示すが、何らの互いに対する相関、または停めた車両との相関なしに、２台の車両カメラ間の重複する視野内に配置されている。
【発明の詳細な説明】
【００１８】
車両に実装されるサラウンドビューは通常、魚眼またはその変形の広角カメラがいくつか上記車両の本体に搭載されている。これらのカメラは、全視界を十分にカバーするように配分されている。本映像処理システムはさらに、カメラ撮像された各映像を映像接合として知られる処理によって、好ましくは実時間で組み合わせる。正確な映像接合には、各カメラの内部パラメータおよび外部パラメータを較正する必要がある。
【００１９】
車両搭載に先立って、各カメラを較正し、カメラごとの内部パラメータを決定して記憶しておく。正確な装着および外部パラメータの初期較正をしても、車両を使用し車体を修理すれば、不正確な映像接合に起因して車両サラウンドビューが歪むような外部カメラパラメータに変わってしまう。
【００２０】
本発明は、何れの修理工場でも最小の技術的装備で何らの熟練知識がなくても行なうことができる車両サラウンドビューの迅速で正確な較正の問題を解決するものである。カメラ外部パラメータの較正に必要な唯一の装備は、２次元構体として形成された較正パターン、すなわちカーペットであり、これは、検出が容易で良好に画成された幾何学的パターンを有している。車両位置、相対的較正パターン位置または相対的較正パターン配向などの他の情報は、下記以外、不要である。すなわち、
(1)較正作業中は、車両を載置したのと同じ平面内に１つ以上の較正パターンを置き、
(2)カーペット状の較正パターンを２台のカメラの間の重複する視界内に配置し、上記カメラからの映像を同時に撮像すること以外は、不要である。
【００２１】
較正作業は、使用するカメラまたは較正パターンの数とは無関係である。簡単のため、４台のカメラおよび４つの較正パターンによる一般的な状況を詳細に説明するが、本発明を制限するものではない。当業者は、このような較正作業を任意の数のカメラ/較正パターンに拡張するにすぎない。
内部カメラパラメータの決定
【００２２】
内部カメラパラメータは、車両サラウンドビューシステムへの装着前に較正処理において取得する。一般的に言うと、どんな広角カメラにも、以下の集合{k1,k2,k3,k4,u0,v0}で記述される、いわゆるp6カメラモデルを使うことができる。ただし、[u0,v0]Tはカメラの撮像装置(CMOS、CCDまたは同様のもの)の主点を表し、{k1,k2,k3,k4}−は広角カメラモデル、すなわちレンズモデルを定義するものである。
【００２３】
一般の較正作業では通常、理想的なピンホールカメラモデルを仮定するが、その場合、カメラから見えるどの3D座標も上記モデルを用いて下記の変換で定義される実際のカメラピクセル[x,y]Tへマッピングする。
【００２４】
【数１】
0006334734.tif 000002
ただし、
【００２５】
【数２】
0006334734.tif 000003
は、理想的なピンホールカメラモデル投写座標を表し、この場合、
【００２６】
【数３】
0006334734.tif 000004
はピンホールカメラの幅および高さの半分を定義し、θmaxは所望の水平視界を定義するものである。パラメータ間の関係は当該技術で公知であり、以下のように定義される。
【００２７】
【数４】
0006334734.tif 000005
【００２８】
各カメラciの最終結果は、理想的なピンホールカメラの内部行列である。
【００２９】
【数５】
0006334734.tif 000006
【００３０】
較正作業が成功した後、算出されたカメラパラメータを各カメラの内部、例えば対応する搭載されたフラッシュメモリへ蓄積する。
【００３１】
内部カメラパラメータおよび外部カメラパラメータの推定に関する作業は、当該技術で公知である。例えば、上述の作業は、以下の学会論文に記載されている。すなわち、
Hedi A.、Loncaric S.、"System for Vehicle Surround View"、10th IFAC Symposium on Robot Control 2012、IFAC SYROCO 2012、Dubrovnik; ISBN: 978-1-62276-367-2。
【００３２】
または、様々なレンズモデルを比較してさらに検討した下記の文献がある。
Kannala J.、Brandt S. S.、A Generic Camera Model and Calibration Method for Conventional, Wide-Angle, and Fish-Eye Lenses"; IEEE Transactions on Pattern Analysis and Machine Intelligence、vol. 28、no. 8、pp. 1335-1340、2006年8月。
【００３３】
後者の文献には、θmax > 75°なるカメラのさらに好都合の表記法が記載され、その場合、内部カメラパラメータはわずかに書き換えられている。式(1)および(2)は、カメラ座標に対応する何らかの3D点X=[X,Y,Z]Tを実際のカメラピクセルx = [x,y]Tにマッピングするが、これは以下のように書き換えられる。
【００３４】
【数６】
0006334734.tif 000007
ただし パラメータθ、φ、およびr(θ)は式(2')で与えられる。
φ = atan2(Y,X)
θ = atan2{(X2 + Y2)1/2,Z}                                    (2')
r(θ) = k1θ+ k2θ3 + k3θ5 + k4θ7 + k5θ9 + ... 
【００３５】
パラメータmuおよびmvは、水平および垂直方向における単位距離当たりのカメラピクセル数を示す。(2')においてr(θ)を定義するkjパラメータの集合は所望の精度に依存し、著者らは、適切なr(θ)の定義について一般に５つのパラメータで十分であることを確認している。
【００３６】
当業者に明らかなように、行列Aiを使用して、3D点X = [X,Y,Z]Tを実際のカメラピクセルx = [x,y]Tへ、または同じマッピングについて上記(1')および(2')で定義される写影へマッピングすることは、逆変換を求めない限り、計算上の観点からは等価である。
【００３７】
本文では、Ai行列に言及する際、これは、予め較正した内部カメラパラメータを特徴とする3D空間から2D空間への十分に定義された変換を表すと仮定する。本発明にとって逆変換が重要でないことを考慮して、簡単のためにAi行列による表記を取り入れる。
外部カメラパラメータの決定
【００３８】
外部カメラパラメータの決定は、実世界の3D座標系とカメラ3D座標系の間の幾何学的関係で生ずる処理である。回転行列Rijおよび並進ベクトルtijは、ピンホールカメラモデルの場合、当該技術で周知の方法で定義される。
【００３９】
【数７】
0006334734.tif 000008
(4)
マーカ座標系ｊのいずれかに属する3D座標Xijを、カメラciで捉えた2D座標xijにマッピングする。各行列Aiは、車両に搭載されたカメラによって既に定義されているので、パラメータRijおよびtijが推定されよう。系内の各カメラは、６つのパラメータを使ってパラメータ化される。すなわち、３つのパラメータは相対的位置について、また３つのパラメータは配向についてである。つまり回転行列は、オイラ角を用いでパラメータ化される。
【００４０】
Rijおよびtijを評価するのに必要なのは、カメラciから見える較正パターンsjに関する少なくとも４つの明確な点、すなわち3Dマーカ座標の特定である。この特徴抽出は、使用する較正パターンに依存し、魚眼レンズまたは広角レンズに起因する強い幾何学的歪によるため、困難なことがある。様々なタイプのマーカで実験すると、所期の作業には市松模様マーカが適切であることが分かる。市松模様マーカの自動検出として実現されるパターン認識処理は、当該技術で公知である。同様のアプローチは、Scharfenberger N. C.、"Panoramic Vision for Automotive Applications: From Image Rectification to Ambiance Monitoring and Driver Body Height Estimation"、PhD. Thesis、Technischen Universitat Munchen 2010、http://mediatum.ub.tum.de/doc/1002339/1002339.pdfに説明されている。
【００４１】
本発明では、市松模様マーカ/カーペットを使用するが、いずれの他の適切な較正パターンも同様に使用できる。使用するマーカのタイプ、またはそれらの可能な組合せは任意であり、較正処理アルゴリズム自体は、使用するマーカに依存しない。正確に知る必要があるのは、車両の周囲に位置する他の市松模様マーカおよび車両の配向自体に対して任意に配向された座標系ｊにおける抽出したマーカ座標の位置である。抽出したマーカ点の集合は、各点についてZj = 0とすると、[Xj, Yj, 0, l]の形を有する。ホモグラフィHijを使用すると、外部パラメータRijおよびtijを以下のように求めることができる。
Rij =[r1ij, r1ij, r3ij]                                        (5)
ただし、
【００４２】
【数８】
0006334734.tif 000009
であり、tiは以下で定義される。
【００４３】
【数９】
0006334734.tif 000010
【００４４】
要素h1ij、h1ij、h3ijは対応する行列Hijの列である。スカラλjは次のように定義される。
【００４５】
【数１０】
0006334734.tif 000011
ただし行列ノルムはフロベニウス型である。
【００４６】
算出したホモグラフィ Hijの結果は求まったRijおよびtijを与える。また、較正パターンsjについて算出したカメラci中心、
【００４７】
【数１１】
0006334734.tif 000012
が正の第３の座標を有するか否かをチェックすることが必要である。これが否定的であると、地平面に対するカメラ位置を以下の変換の集合によってフリップしなければならない。
r1ij = -r1ij    r2ij = -r2ij    t1ij = -t1ij  および  r3ij = r1ij x r2ij      (9)
【００４８】
最後に、適切に定義されたRij、tij = -Rij Cijを得る。
【００４９】
良好に定義されたパラメータRijおよびtijの結果が得られるならば、何れの他の適切な外部カメラパラメータ較正技術も同様に用いてもよい。強調すべきは、外部カメラパラメータおよび内部カメラパラメータを求めることは、本発明の主要な技術的課題の解決に必須の条件、すなわち車両サラウンドビューの迅速かつ正確な較正を形成していることである。内部パラメータおよび外部パラメータを求めることは当該技術において周知であり、他にも記載されている。例えば、Hartley R.、Zisserman A.、"Multiple View Geometry in Computer Vision"、Cambridge University Press 2000、2003年である。
較正作業
工程１
【００５０】
較正作業は、後にサラウンドビュー映像の生成に使用する外部カメラciパラメータRiおよびCiを補正する作業である。本発明は、操作が単純で迅速、かつ専門知識または高度の較正装置を用いることなく使用することを企図している。上述の作業を達成するために、本システムは、修理工場の床の周囲に較正パターンを分配配置し、較正担当者が車両をカメラの重複視界内に載置しなければならないように設計されている。
【００５１】
最も好都合の作業が図１に示され、この場合、それぞれの較正パターンはカメラの対ごとに撮られ、十分な数のカーペット状の較正パターンが車両の周囲に配分されている。そのような較正設定により、較正作業に用いる必要な映像のすべてを瞬時に撮像することができる。
【００５２】
しかし、車両が動いていないことを考慮すると、この作業は、市松模様カーペットとしてわずか１つの較正パターンを使って順次に行なうことができる。車両を載置したことは、車体搭載カメラが修理工場の床に対して静止していることも意味する。較正パターンは、車両に対して２台の異なるカメラで同時に撮像されるように配置されている。較正パターン映像を上記カメラで撮像したら、その較正パターンを次の重複カメラ視界に移して、新たな映像の集合を撮像する。効果的には、多数の較正パターンを同時に使用する場合も最終結果は同じであるが、この作業は、精度を損なうことなく長く続く。しかし、超長尺車両で較正作業を行なう場合は、後者の方が重要である。そのような車両で較正作業を行なう理想的な空間を見つけて必要なカメラ映像をすべて瞬時に撮像することは、いかにも困難である。そこで、撮像を段階的に行なうのは非常に好都合であり、これは本願記載の較正システムの利点である。
【００５３】
較正作業について必要なのは、較正が必要なサラウンドビューを有する車両全体を囲繞するカメラ映像および較正パターンの交互のシリーズの鎖を確立することである。図１を参照すると、較正鎖はs1-c1-s2-c4-s4-c3-s3-c2-s1である。上述のように、使用する較正パターンは、論理的には、１枚の較正パターンを車両の周囲の複数の位置に次々と移すことでも、効果的に代替えすることができる。換言すれば、c1-s2-c4は、この例では前方車両カメラc1および右側車両カメラc4が較正パターンs2から同時に映像を撮像したことを意味している。１台のカメラが３枚以上の較正パターンを撮影する場合は、この処理に分岐鎖などの他の位相的構造も有用である。ここでは検討しないような較正誤差補正があり得るような状況の技術的可能性があることは、当業者はすぐに分かるであろう。
【００５４】
較正アルゴリズムは、車両サラウンドビューシステムの一部としての、または車両サラウンドビューシステムへデータを出力する機能を有し車両とは別の動作可能なデータ処理システムで実行される。本文の後半では、較正パターンsjに着目すると、文字ｊに伴う数字は、対応するカメラで撮像される較正パターンの位置を示す。
工程２
【００５５】
工程２は、基本的にデータ収集工程である。データ処理システムは、すべてのAi内部カメラパラメータをロードする必要がある。ただしｉは、図１に示す例では１ないし４であり、この場合、Aiの意味は、内部カメラパラメータの決定の項目で前に説明したように、外部行列を超えて拡張される。
【００５６】
次に、データ処理システムは、２つ以上の較正パターンsjから各カメラciで撮像した映像よりマーカの集合xijを検出しなければならない。検出値の集合xijは、較正パターンsjに属する対応のカメラciで受けた2D点である。この検出は、外部カメラパラメータの決定の項目で前に説明したように、関連技術で既述した何れの適切な技術によっても行なうことができる。
【００５７】
各較正パターンsjについて、Xjマーカの集合、すなわち車両に搭載されたカメラで撮像された対応するカメラ映像によって既に検出されている2D値に関連する対応の較正パターンsjの座標系内に位置する3D点をデータ処理システム内部にロードする。
【００５８】
最後の動作では、すべての必要なデータをデータ処理システムに蓄積すると、最早較正パターンは不要となる。
工程３
【００５９】
工程３は外部パラメータRij, tij = -Rij Cijを計算するものであり、これは、内部カメラパラメータAiが既知であることを考慮して、検出したxijマーカとカメラciからそれぞれ撮像可能な較正パターンsjの対応する3D値Xjとを直接連結するのに必要である。パラメータtij = -RijCijについて式(4)を書き直すと、
【００６０】
【数１２】
0006334734.tif 000013
【００６１】
既に図１に記載したシステムを参照すると、工程３は各カメラciについて下記のRij、Cijパラメータの集合、
カメラ１：{R11, C11; R12, C12}
カメラ２：{R21, C21; R23, C23}
カメラ３：{R33, C33; R34, C34}
カメラ４：{R42, C42; R44, C44}
を生ずる。
【００６２】
例えば、図１のカメラ/較正パターン構成を参照すると、本例で式(10)を使用して、較正パターンs3について２つの対応する式が得られる
【００６３】
【数１３】
0006334734.tif 000014
工程４
【００６４】
工程４は、専ら各カメラciの共通座標系への、より正確には、同じカメラciで撮像される較正パターンsjに対応する座標系のうちの１つへの変換である。あるカメラciがいくつかの較正パターンを撮像している場合を考えると、アルゴリズムは、１つのｊ座標系を、カメラciから撮像可能な他のすべての較正パターンsjについて共通の座標系として宣言することを決定する。
【００６５】
図１に示す例では、カメラc1は、較正パターンs1および較正パターンs2を同時に撮像している。そこで、j = 1またはj = 2を共通座標系として選択してもよい。各カメラciについて少なくとも１つの、いわゆる1st座標系を識別し、対応するルックアップテーブル、例えば、
【００６６】
【表１】
0006334734.tif 000015
を作成することができる。
【００６７】
上記各ルックアップテーブルは、共通のカメラ座標系への変換に対して等しく良好である。各カメラc1について、明らかに、ルックアップテーブルに従ってRi = Ri1st、Ci = Ci1stとして既に割り当てた1st座標系に対応する１対の外部パラメータRij、Cijを割り当てると都合がよい。
【００６８】
さて、選んだ1st較正パターンとは異なるカメラciから撮像される他の較正パターンsjのそれぞれについて、以下の変換を行なう。
Xij ← TXij、ただし ｊ≠ 1st                        (12)
また、変換行列Ｔは下記の通りである。
【００６９】
【数１４】
0006334734.tif 000016
【００７０】
記号「←」は、それぞれのXijについて変換Xijを算出し、新たに得た値を一時蓄積し、それぞれのｉおよびｊ指数について演算を行なうと、一時蓄積した値をXijに蓄積することを意味する。
【００７１】
ここで、いくつかの3D座標Xiをカメラciの1st座標系からカメラciへ投写できることを利用して、
【００７２】
【数１５】
0006334734.tif 000017
のようになった。ただしXijは、同じ3D点に対応するが、較正パターンsjに対応する座標系で表わしてある。行列Ｔは、２つの座標系の間の標準変換行列であり、j≠lstである。Ｔ行列を式(13)から(14)に代入すると、等号が成立する。
【００７３】
工程４の結果は、各カメラごとに、対応するRij、Cijの集合が１つだけ存在し、このとき上記同じカメラciから撮像される各較正パターンsjについて他のデータXijはすべて、カメラciについてルックアップテーブルで定義された共通座標系に属する。
工程５
【００７４】
工程５は、専ら共通座標系への変換であり、隣接するカメラから撮像される共通の較正パターンでこれらのカメラを結合することになる。
【００７５】
工程５はいずれのカメラで開始してもよい。しかし都合がよいのは、カメラc1で始めることである。このカメラは待ち行列に入れられ、上記待ち行列か空にならない限り、以下の動作を繰り返すことになる。
【００７６】
最先のカメラｃを待ち行列から取り出し、いくつかのループを循環する。
【００７７】
上記カメラciから撮像される各較正パターンｓについて、カメラck(i ≠ k)の集合を求め、そこから、これが重要であるが較正パターンｓの同じ集合を撮像する。ただし、カメラckは未処理である。これによって、与えられた位相的構造内の全結合を探索できる。
【００７８】
この例では、位相的構造はs1-c1-s2-[c4]-s4-c3-s3-c2-s1となる。
【００７９】
例えば、i = 4が最先のカメラの場合、撮像される較正パターンはs2およびs4であり、これによって２つのタイプの結合、すなわちc1-s2-[c4](k = 1の場合)、およびc4-s4-[c3](k = 3の場合)が可能となる。
【００８０】
剛体変換を用いると、上述の較正パターンｓを介して各カメラciをカメラckと直接併合することができる。目標は、各カメラckについて式Xcs = RXcs + Tによって同じ点XksおよびXcsの集合を結合する回転行列Ｒおよび並進行列Ｔを求めることである。適切なアルゴリズムが当該技術において公知であり、以下に記載のものを用いてもよい。Sorkine O.、"Least-Squares Rigid Motion Using SVD"; Technical notes、2009年。
【００８１】
推定した対Ｒ、Ｔは変換XRks → X Rcsを定義し、これによってすべてのパラメータとカメラckから撮像可能なマーカとを再計算することができる。ｑは、カメラckから撮像可能なすべてのマーカを表わし、結合する較正パターンｓからのマーカを含むものとすると、それぞれのXkqを再計算する。
【００８２】
【数１６】
0006334734.tif 000018
【００８３】
さらに、次の変換行列を算出して、
【００８４】
【数１７】
0006334734.tif 000019
各外部カメラckパラメータRk、Ckを変換する。
Rk ← M(1:3, 1:3)
Ck ← -Rk-1 M(1:3, 4)                            (17)
留意すべきは、まずRkを計算して、値を使用してCkの更新された値を算出することである。
【００８５】
最後に、全部のカメラckを待ち行列の先頭から取り出し、最初から作業を開始し、上記の場合、すなわちある特定のカメラｃについてすべてのパラメータを記憶する。
【００８６】
備考：演算を実行すると、同じ較正パターンｓによってカメラciを結合するすべてのカメラに対して、カメラciに共通の座標系、より厳密にはカメラciについて1stであるように割り当てられた座標系に対応する座標系について、対応するすべての3Dマーカ座標Xkqが再計算された。また、カメラckの上記集合の対応する外部パラメータは、同じ座標系について再計算される。
【００８７】
工程５は、移送的相互結合をすべて評価すると、終了する。
工程６
【００８８】
工程６は、専ら、それぞれ撮影範囲内の較正パターンｓパラメータ、およびすべてのカメラパラメータRi、Ciの微調整を行なうものである。各較正パターンについて、共通座標系について再計算され工程５で得られた上記較正パターンを直接撮像するカメラからの情報を使用することができる。図１に示す例を参照すると、下記データの集合Xj、
較正パターンs1：X1 = X11またはX1 = X21
較正パターンs2：X2 = X12またはX2 = X42
較正パターンs3：X3 = X23またはX3 = X33
較正パターンs4：X4 = X44またはX4 = X34
がある。
【００８９】
各較正パターン座標系ｊは、対応するＺ軸を中心に角度αjだけ回転し、Z = 0面内でベクトル[txj、tyj]だけ最適位置から並進すると考えることができる。
【００９０】
計算上の理由から、データXjは、重心Ojに対して補正される。
Xj = Xj - Oj                                  (18)
ただし重心Ojは、同じ較正パターンsjに属するすべてのXjに対して計算される。較正パターンsj上のいくつかのマーカ3D位置Xjの微調整は、次のように書くことができる。
【００９１】
【数１８】
0006334734.tif 000020
または、式(19)におけるRotZ(αj)を書き換えると、
【００９２】
【数１９】
0006334734.tif 000021
この場合、初期状態でajが０にセットされ、[txj、tyj]が算出された重心Ojと一致する。
【００９３】
補正されたRi、Ciを各カメラciごとに、またtxj、tyjおよびαjパラメータを各較正パターンsjごとに得るために、下記の非線形最適化を行なう。
【００９４】
【数２０】
0006334734.tif 000022
この場合、各カメラciおよび各較正パターンsjごとに全パラメータRi、Ci、txj、tyj、αjについてargmin最小化を行なう。本例では、これは36個の独立パラメータ、すなわち12個のパラメータは４つの較正パターンに、また別の24個のパラメータは４台のカメラに対応している。
【００９５】
下記の値、
【００９６】
【数２１】
0006334734.tif 000023
はカメラで得られた測定値に対応し、値xijはモデル化された値に対応している。式(10)および(20)を組み合わせると、モデルは以下のようになる。
【００９７】
【数２２】
0006334734.tif 000024
【００９８】
それぞれ選択されたカメラciについて、上記カメラで撮像される各較正パターンｓごとに最適化を行なう。ただしXjは、較正パターンｓから得られた3Dデータに属するデータである。
【００９９】
工程６は、較正パターン座標系ｓに属する3D座標Xjを各カメラciの2D座標Xijへの正確なマッピングが可能なパラメータの集合Ri、Ci、txj、tyj、αjで終了する。
工程７
【０１００】
すでに１つの共通車両座標系へ最適化したすべての3D座標系ｓを車両中心にある原点と一致させることが必要である。実際上、２つの可能性が生じよう。すなわち、第１の可能性は、各カメラciの車体に対する正確な位置が車両製造者からの提供データによって既知である最も一般的な場合である。第２の可能性は、車両カメラ位置が未定な場合である。しかし、後者は、前方カメラおよび後方カメラと、車両中心と考えられる上記距離の半分を表わす点とを結ぶベクトルを定義することによって、解決可能である。
【０１０１】
カメラ中心Ciは工程６で求める。装着位置が得られない場合は、車両の中心をそれについて測定した中点centerC = (Cfront + Crear)/2として定義する。各カメラciについて、下記の理想的な装着位置
【０１０２】
【数２３】
0006334734.tif 000025
をcenterCに対する理想的な装着位置として算出する。これは以下のようになる。
【０１０３】
【数２４】
0006334734.tif 000026
ただし、前方カメラおよび後方カメラと車両とを結ぶベクトルの相対的回転βは、以下から算出される。
【０１０４】
【数２５】
0006334734.tif 000027
行列B = rotΖ(-(β-π/2))を定義する。その機能は、前後ベクトルを車両ｙ軸方向へ補正することである。ここで、各カメラciについて下記の位置、
【０１０５】
【数２６】
0006334734.tif 000028
を再計算して、
【０１０６】
【数２７】
0006334734.tif 000029
としてもよい。
【０１０７】
車体上の正確なカメラ装着位置が既知であれば、下記、
【０１０８】
【数２８】
0006334734.tif 000030
が定義される。
【０１０９】
下記、
【０１１０】
【数２９】
0006334734.tif 000031
が良好に定義されれば、剛体変換パラメータRV、TVを計算でき、これは、下記の点集合、
【０１１１】
【数３０】
0006334734.tif 000032
を対応する点集合Ciへ下記の式によってマッピングするものである。
【０１１２】
【数３１】
0006334734.tif 000033
【０１１３】
入力パラメータが工程６からのRi、Ciパラメータ、および新たに確立したパラメータRV、TVである下記の行列を構成すると、
【０１１４】
【数３２】
0006334734.tif 000034
各カメラciのRiおよびCiを補正して車両座標系、
Ri ← Mi(l:3, l:3)
Ci ← -Ri-1Mi(1:3, 4)                                  (24)
に合うように調整することができる。
【０１１５】
この工程によって技術的問題は完全に解決する。すなわち、各カメラのパラメータを較正して値Ri、Ciを車両サラウンドビューに蓄積する。制限があっても、工程１〜工程７に規定される計算を標準のFPGAベースハードウエアで、図１に示す例の場合、60秒未満で行なうことができる。
【０１１６】
様々な映像処理手順を含む映像化処理において、カメラci座標系にマッピングされたいずれの3D座標Xiも車両座標系に再計算されて下記のようになる。
【０１１７】
【数３３】
0006334734.tif 000035
【０１１８】
変換式(25)によって、当該技術で公知の鳥瞰図または同様の方法などの所望の写影を生成することができる。
【産業上の利用】
【０１１９】
本発明の産業上の利用は顕著である。車両サラウンドビューの再較正の用途以外に、本発明は、２台以上のカメラから撮像した「映像接合」によって映像を得るようなずれのサラウンドカメラシステムの再較正にも有用である。
【符号の説明】
【０１２０】
Ci  カメラ
sj  較正パターン(カーペット)
Xj 座標系ｊにおける較正パターンsjの3Dマーカ座標
Xij  座標系ｉにおける較正パターンsjの3Dマーカ座標
xij  カメラciにおいて較正パターンsjから見た2Dマーカ座標
Ri  カメラci回転行列
Ci  カメラci中心
Ai  撮像された2Dカメラ映像への3Dカメラ座標系から定義されたマッピング
【図１】
0006334734.tif 000049