(57)【要約】      （修正有）【課題】カメラのモデリングおよび校正において、結像面に対するレンズ軸の非直角性を生じさせるような、撮像装置またはカメラ／レンズ系の組み立てにおける公差を考慮した透視の正確な補正を導入する。【解決手段】カメラ面に対する視軸の線の直角性における不完全性を補償するための新たな変数の組を使用するとともに、幾何学的および色彩的なレンズ収差に起因した画像の曲がりが原因となっている歪みを測定する際の精度を向上させることにより、カメラ画像面がフル３Ｄの透視投影から表現される。【選択図】図８ａ
2019149809.tif 000002
【特許請求の範囲】
【請求項１】
校正と画像補正とを行う際に撮像装置をモデリングするために使用される、コンピュータによって実現される方法であって、前記方法は以下のものを備える：
前記撮像装置の焦点に原点を有する第１の３Ｄ直交座標系を定義すること、ただし、前記第１の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びている；
前記焦点から単位距離である１だけ離れた原点を有する、第２の３Ｄ直交座標系を定義すること、ただし、前記単位距離である１は、前記第２の３Ｄ直交座標系のスケール単位において定義されており、前記第２の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第２の３Ｄ直交座標系の第２軸および第３軸は、前記第１の３Ｄ直交座標系の第２軸および第３軸にそれぞれ実質的に平行であり、それによって前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸は、前記視線に対して直角な実スケール面を規定しており；
前記焦点から焦点距離だけ離れた原点を有する、第３の３Ｄ座標系を定義すること、ただし、前記第３の３Ｄ座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第３の３Ｄ座標系の第２軸および第３軸は、前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸の方向に対して相対的に第１と第２の角度だけ傾いており、それによって前記第３の３Ｄ座標系の前記第２軸および前記第３軸は、前記視線に対して相対的に非直角な画像面を規定しており；
前記撮像装置によってキャプチャされた実世界の３Ｄオブジェクトの点に関連づけられた３Ｄ座標を受け取ること；
前記実スケール面への前記点の投影を計算しそれによって第１の平面座標を得るとともに、前記画像面への前記点の投影を計算しそれによって第２の平面座標を得ること；および
前記３Ｄオブジェクトの前記点に対応する像点の位置を示す前記第２の平面座標を出力すること。
【請求項２】
請求項１の方法であって、前記実スケール面への前記点の前記投影が、外部から前記撮像装置のレンズシステムへの入射（entry）を規定（establish）するとともに、前記撮像装置の外部モデルと内部モデルとのうち外部モデルのみを用いた投影となるように前記第２の３Ｄ直交座標系が規定され、前記画像面への前記点の前記投影が前記レンズシステムからの出力を規定するとともに、前記撮像装置の内部モデルを用いた投影となるように前記第３の３Ｄ座標系が規定される、方法。
【請求項３】
請求項１の方法であって、受け取った３Ｄ座標が[x y z 1]Tであり、前記３Ｄオブジェクトの前記点の前記実スケール面への投影が、
【数１】
2019149809.tif 000040
のように同次座標において計算され、ここにおいて
2019149809.tif 000041
は等価スケール演算子であり、Ｐ1は前記第１の３Ｄ直交座標系についての前記実スケール面への投影演算子である、方法。
【請求項４】
請求項３の方法であって、前記３Ｄオブジェクトの前記点の前記画像面への投影は、
【数２】
2019149809.tif 000042
のように同次座標において計算され、ここにおいてＰfは前記画像面への投影演算を定義しており、ｆは焦点距離であり、αは前記第１の角度であり、βは前記第２の角度であり、Ｒ（ｘ，α）は前記画像面の軸ｘに関するα回転行列であり、前記軸ｘは前記α回転前における前記第２の３Ｄ直交座標系の前記第２軸に実質的に平行であるように定義され、Ｒ（ｙ，β）は前記画像面の軸ｙに関するβ回転行列であり、前記軸ｙは前記β回転前における前記第２の３Ｄ直交座標系の前記第３軸に実質的に平行であるように定義され、前記角度αだけ回転した前記軸ｘに対して相対的に前記β回転が実行されるように前記α回転が右端で計算され、これらにおいて
h11 = cosβ，
h12 = sinβ sinα，
h13 = sinβ cosα，
h22 = cosα，
h23 = -sinα，
h31 = -sinβ，
h32 = cosβ sinα，および
h33 = cosβ cosα
である、方法。
【請求項５】
請求項４の方法であって、前記実スケール面と前記画像面との間のホモグラフィーＨを、
【数３】
2019149809.tif 000043
のように決定することをさらに備え、ここにおいてｈ31およびｈ32は前記画像面のｘおよびｙスケールに透視補正を適用する非ゼロ要素であり、前記第２の平面座標(x’’，y’’) は前記実スケール面の前記点の画像が歪んだ位置(x’，y’)についてのホモグラフィック変換であり、前記ホモグラフィック変換は、
【数４】
2019149809.tif 000044
のように表現され、ここにおいて
u = f(cosβ x’+ sinβ sinα y’+ sinβ cosα)，
v = f(cosα y’- sinα)，
w = -sinβ x’+ cosβ sinα y’+ cosβ cosα，
であって 、(CX，CY) は前記第３の３Ｄ座標系での前記原点の位置である、方法。
【請求項６】
請求項５の方法であって，前記ホモグラフィＨは、
【数５】
2019149809.tif 000045
のように計算され、ここにおいて、微小角αおよびβについて、
2019149809.tif 000046
および
2019149809.tif 000047
の近似が使用されている、方法。
【請求項７】
請求項１の方法であって、
前記実スケール面における前記撮像装置のレンズ収差を補償することをさらに備え、当該補償は、
r' = r + k1 r3 + k2 r5 + …，
のように定義されたレンズ収差補正モデルを適用することを備え、ここにおいて、前記第１の平面座標は前記実スケール面上の前記点の画像の歪みがない位置(x，y)を極座標(r，θ)で表現したものを備え、ここにおいて r2=x2+y2 および tanθ = y/xであり、xとyのうち少なくとも１つは非零であり、 (x’，y’) は前記画像面での前記点の投影前の前記レンズの出力において歪んだ位置(x，y)を表現しており、r’は (x’，y’)に基づいて計算され歪んだラジアル距離であり、そしてk1 および k2は前記レンズの幾何学的収差パラメータである、方法。
【請求項８】
校正と画像補正との際に撮像装置をモデリングするために使用されるシステムであって、前記システムは、以下のものを備える：
メモリ；
プロセッサ；および
前記メモリに格納され、前記プロセッサによって以下のことを実行可能な少なくともひとつのアプリケーション、
前記撮像装置の焦点に原点を有する第１の３Ｄ直交座標系を定義すること、ただし、前記第１の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びている；
前記焦点から単位距離である１だけ離れた原点を有する、第２の３Ｄ直交座標系を定義すること、ただし、前記単位距離である１は、前記第２の３Ｄ直交座標系のスケール単位において定義されており、前記第２の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第２の３Ｄ直交座標系の第２軸および第３軸は、前記第１の３Ｄ直交座標系の第２軸および第３軸にそれぞれ実質的に平行であり、それによって前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸は、前記視線に対して直角な実スケール面を規定しており；
前記焦点から焦点距離だけ離れた原点を有する、第３の３Ｄ座標系を定義すること、ただし、前記第３の３Ｄ座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第３の３Ｄ座標系の第２軸および第３軸は、前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸の方向に対して相対的に第１と第２の角度だけ傾いており、それによって前記第３の３Ｄ座標系の前記第２軸および前記第３軸は、前記視線に対して相対的に非直角な画像面を規定しており；
前記撮像装置によってキャプチャされた実世界の３Ｄオブジェクトの点に関連づけられた３Ｄ座標を受け取ること；
前記実スケール面への前記点の投影を計算しそれによって第１の平面座標を得るとともに、前記画像面への前記点の投影を計算しそれによって第２の平面座標を得ること；および
前記３Ｄオブジェクトの前記点に対応する像点の位置を示す前記第２の平面座標を出力すること。
【請求項９】
請求項８のシステムであって，前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、前記実スケール面への前記点の前記投影が外部から前記撮像装置のレンズシステムへの入射（entry）を規定（establish）するとともに、前記撮像装置の外部モデルと内部モデルとのうち外部モデルのみを用いた投影となるように前記第２の３Ｄ直交座標系を規定することと、前記画像面への前記点の前記投影が前記レンズシステムからの出力を規定するとともに、前記撮像装置の内部モデルを用いた投影となるように前記第３の３Ｄ座標系を規定すること、とが可能なシステム。
【請求項１０】
請求項８のシステムであって，前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、
前記３Ｄ座標[x y z 1]Tを受け取ることと、前記３Ｄオブジェクトの前記点の前記実スケール面への投影を、
【数６】
2019149809.tif 000048
のように同次座標において計算することが可能であり、ここにおいて
2019149809.tif 000049
は等価スケール演算子であり、Ｐ1は前記第１の３Ｄ直交座標系についての前記実スケール面への投影演算子である、システム。
【請求項１１】
請求項１０のシステムであって，前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、
前記３Ｄオブジェクトの前記点の前記画像面への投影が、
【数７】
2019149809.tif 000050
のように同次座標において計算され、ここにおいてＰfは前記画像面への投影演算を定義しており、ｆは焦点距離であり、αは前記第１の角度であり、βは前記第２の角度であり、Ｒ（ｘ，α）は前記画像面の軸ｘに関するα回転行列であり、前記軸ｘは前記α回転前における前記第２の３Ｄ直交座標系の前記第２軸に実質的に平行であるように定義され、Ｒ（ｙ，β）は前記画像面の軸ｙに関するβ回転行列であり、前記軸ｙは前記β回転前における前記第２の３Ｄ直交座標系の前記第３軸に実質的に平行であるように定義され、前記角度αだけ回転した前記軸ｘに対して相対的に前記β回転が実行されるように前記α回転が右端で計算され、これらにおいて
h11 = cosβ，
h12 = sinβ sinα，
h13 = sinβ cosα，
h22 = cosα，
h23 = -sinα，
h31 = -sinβ，
h32 = cosβ sinα，および
h33 = cosβ cosα
である、システム。
【請求項１２】
請求項１１のシステムであって，前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、
前記実スケール面と前記画像面との間のホモグラフィーＨを、
【数８】
2019149809.tif 000051
のように決定することが可能であり、ここにおいてｈ31およびｈ32は前記画像面のｘおよびｙスケールに透視補正を適用する非ゼロ要素であり、前記第２の平面座標(x’’，y’’) は前記実スケール面の前記点の画像の歪んだ位置(x’，y’)についてのホモグラフィック変換であり、前記ホモグラフィック変換は、
【数９】
2019149809.tif 000052
のように表現され、ここにおいて
u = f(cosβ x’+ sinβ sinα y’+ sinβ cosα)，
v = f(cosα y’- sinα)，
w = -sinβ x’+ cosβ sinα y’+ cosβ cosα，
であって 、(CX，CY) は前記第３の３Ｄ座標系での前記原点の位置である、システム。
【請求項１３】
請求項１２のシステムであって，前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、
前記ホモグラフィＨを、
【数１０】
2019149809.tif 000053
のように計算することが可能であり、ここにおいて、微小角αおよびβについて、
2019149809.tif 000054
および
2019149809.tif 000055
の近似が使用されている、システム。
【請求項１４】
請求項８のシステムであって，前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、
前記実スケール面における前記撮像装置のレンズの収差を補償することが可能であり、当該補償は、
r' = r + k1 r3 + k2 r5 + …，
のように定義されたレンズ収差補正モデルを適用することを備え、ここにおいて、前記第１の平面座標は前記実スケール面上の前記点の画像の歪みがない位置(x，y)を極座標(r，θ)で表現したものを備え、ここにおいて r2=x2+y2 および tanθ = y/xであり、xとyのうち少なくとも１つは非零であり、 (x’，y’) は前記画像面での前記点の投影前の前記レンズの出力において歪んだ位置(x，y)を表現しており、r’は (x’，y’)に基づいて計算され歪んだラジアル距離であり、そしてk1 および k2は前記レンズの幾何学的収差パラメータである、システム。
【請求項１５】
請求項１０のシステムであって，前記撮像装置が、ズームレンズカメラ、近赤外撮像装置、短波長赤外撮像装置、長波長赤外撮像装置、レーダ装置、光検出測距装置、パラボラミラー望遠イメージャ、外科的内視鏡カメラ、コンピュータ断層撮影走査装置、サテライト撮像装置、ソナー装置、およびマルチスペクトルセンサフュージョンシステムのうちのひとつを備える、システム。
【請求項１６】
プロセッサによって実行されることによって、校正と画像補正との際に撮像装置をモデリングすることを可能なプログラムコードが格納されたコンピュータ読み取り可能な媒体であって、前記プログラムコードは、以下のことを可能とする：
前記撮像装置の焦点に原点を有する第１の３Ｄ直交座標系を定義すること、ただし、前記第１の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びている；
前記焦点から単位距離である１だけ離れた原点を有する、第２の３Ｄ直交座標系を定義すること、ただし、前記単位距離である１は、前記第２の３Ｄ直交座標系のスケール単位において定義されており、前記第２の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第２の３Ｄ直交座標系の第２軸および第３軸は、前記第１の３Ｄ直交座標系の第２軸および第３軸にそれぞれ実質的に平行であり、それによって前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸は、前記視線に対して直角な実スケール面を規定しており；
前記焦点から焦点距離だけ離れた原点を有する、第３の３Ｄ座標系を定義すること、ただし、前記第３の３Ｄ座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第３の３Ｄ座標系の第２軸および第３軸は、前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸の方向に対して相対的に第１と第２の角度だけ傾いており、それによって前記第３の３Ｄ座標系の前記第２軸および前記第３軸は、前記視線に対して相対的に非直角な画像面を規定しており；
前記撮像装置によってキャプチャされた実世界の３Ｄオブジェクトの点に関連づけられた３Ｄ座標を受け取ること；
前記実スケール面への前記点の投影を計算しそれによって第１の平面座標を得るとともに、前記画像面への前記点の投影を計算しそれによって第２の平面座標を得ること；および
前記３Ｄオブジェクトの前記点に対応する像点の位置を示す前記第２の平面座標を出力すること。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置のモデリングおよび撮像装置の画像面に対する視軸線の直角度における欠陥を補償する校正を行うシステムおよび方法に関する。
【背景技術】
【０００２】
デジタルカメラおよび他の撮像装置の校正は、像が、レンズを通して撮像素子の表面にどのように表示されるのかを示す数学的モデルを構築しようとする。その手順は、最初に、誤差が正確に分かっている校正ターゲットの画像を用いて、当該画像から各ターゲット要素を抽出する。最終的に、ある数学的モデルが当該画像情報をターゲットの真の三次元（3D）情報に関連づける。一旦、校正されれば、その撮像装置は、スケールファクタ、すなわち焦点距離ｆを用いて実世界オブジェクトの測量に用いることができる。市販のカメラとレンズを用いる場合にはレンズ焦点距離の誤差を補償するためにカメラを校正する必要が有り、その誤差は、１０％にもなり得る。
【０００３】
さらに、一旦、モデルが正確に分かった場合には、殆ど全てのハイエンド自動撮像システムに必要な、ピンホールとも称される完全なカメラ画像を再構築するために当該モデルを用いることができる。ソフトウェアによる画像の修正によって、レンズの不完全な性質により生ずる画像の誤差、すなわち、幾何学的収差と言われる魚眼像状の変形と、色収差と言われるレンズ光学系における虹色状の光の分離を補償することができる。幾つかの撮像装置は、画像面に対して、直角度の無い視線のバイアスを示す。画像の歪みを正確に測定するためには、レンズの視線に対する画像面の直角度の無さが、補償される必要が有る。既知の校正技術は、当該目的のために、傾き軸推定を用いる。しかしながら、この推定は、モデルの全てのカメラパラメータを偏らせることが判っており、系統的な測定誤差を生ずる。その結果、スケールサイズ歪み（a scale-size-distortion）のバイアスが画像に生じ、他の全てのカメラパラメータが当該バイアスを補償しようとして、これらのカメラパラメータも同様に偏る。これは、三次元スキャン若しくは遠隔測定法において、カメラで同時に測定された一対の画像から三次元対象物を再構成するときに、三次元対象物の形状および位置のバイアスに変換される。
【０００４】
従って、撮像装置の既存の校正技術およびモデリング技術を改良する必要がある。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Frederic Devernay. A Non-Maxima Suppression Method for Edge Detection with Sub-Pixel Accuracy. INRIA: INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE. Report N° 2724, November 1995, 20 pages.
【非特許文献２】Y. M. Harry Ng, C. P. Kwong. Correcting the Chromatic Aberration in Barrel Distortion of Endoscopic Images. Department of Automation and Computer Aided Engineering, Chinese University of Hong Kong. 6 pages
【非特許文献３】Shawn Becker. Semiautomatic Camera Lens Calibration from Partially Known Structure. MIT: Massachusetts Institute of Technology.http://alumni.media.mit.edu/~sbeck/results/Distortion/distortion.html (c)1994, 1995
【非特許文献４】Konstantinos G. Derpanis. The Harris Corner Detector. October 2004, 2 pages.
【非特許文献５】L.H. Hartley, P. Sturm. Triangulation. Proc. of the ARPA Image Understanding Workshop 1994, Monterey, CA 1994, pp. 957-966.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
提案される校正およびモデリング技術は、結像面に対するレンズ軸の非直角性を生じさせるような、撮像装置またはカメラ／レンズ系の組み立てにおける公差を考慮した透視の正確な補正を導入する。
【０００７】
カメラ平面とレンズ組み立て部品の正確な知見は、デジタルカメラまたはステレオカメラを用いる３Ｄスキャンおよび遠隔測定システムにおいて、系統的なバイアスを取り除き、正確な焦点距離（画像スケール）を生じさせ、真の像の中心をカメラ平面上に定め、像の湾曲（幾何学的収差）およびレンズ光学系における虹状の光の分離（色収差）により生ずる歪みの測定精度を増加させる。
【０００８】
カメラ平面とレンズ組み立て部品の正確な知見は、コンピュータ計算の効率性と、幾何学的および色的なレンズ収差の除去の正確さとを増大させる。
【０００９】
レンズ収差の除去は、いかなる損失も生ずることなく画像圧縮率を増加させる。
【課題を解決するための手段】
【００１０】
第１の広汎な局面に従うと、ここで説明されているのは、校正と画像補正とを行う際に撮像装置をモデリングするために使用される、コンピュータによって実現される方法であって、前記方法は以下のものを備える：前記撮像装置の焦点に原点を有する第１の３Ｄ直交座標系(a first 3D orthogonal coordinate system)を定義すること、ただし、前記第１の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びている；前記焦点から単位距離(a unitary distance) である１だけ離れた原点を有する、第２の３Ｄ直交座標系を定義すること、ただし、前記単位距離である１は、前記第２の３Ｄ直交座標系のスケール単位において定義されており、前記第２の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第２の３Ｄ直交座標系の第２軸および第３軸は、前記第１の３Ｄ直交座標系の第２軸および第３軸にそれぞれ実質的に平行であり、それによって前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸は、前記視線に対して直角な実スケール面を規定しており；前記焦点から焦点距離だけ離れた原点を有する、第３の３Ｄ座標系を定義すること、ただし、前記第３の３Ｄ座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第３の３Ｄ座標系の第２軸および第３軸は、前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸の方向に対して相対的に第１と第２の角度だけ傾いており、それによって前記第３の３Ｄ座標系の前記第２軸および前記第３軸は、前記視線に対して相対的に非直角な画像面を規定しており；前記撮像装置によってキャプチャされた実世界の３Ｄオブジェクトの点に関連づけられた３Ｄ座標を受け取ること；前記実スケール面への前記点の投影を計算しそれによって第１の平面座標(a first set of planar coordinates)を得るとともに、前記画像面への前記点の投影を計算しそれによって第２の平面座標を得ること；および前記３Ｄオブジェクトの前記点に対応する像点の位置を示す前記第２の平面座標を出力することである。
【００１１】
いくつかの実施例においては、前記実スケール面への前記点の前記投影が、外部から前記撮像装置のレンズシステムへの入射を規定するとともに、前記撮像装置の外部モデルと内部モデルとのうち外部モデルのみを用いた投影となるように前記第２の３Ｄ直交座標系が規定され、前記画像面への前記点の前記投影が前記レンズシステムからの出力を規定するとともに、前記撮像装置の内部モデルを用いた投影となるように前記第３の３Ｄ座標系が規定される。
【００１２】
いくつかの実施例においては、受け取った３Ｄ座標が[x y z 1]Tであり、前記３Ｄオブジェクトの前記点の前記実スケール面への投影が、
【００１３】
【数１】
2019149809.tif 000003
【００１４】
のように同次座標において計算され、ここにおいて
2019149809.tif 000004
は等価スケール演算子であり、Ｐ1は前記第１の３Ｄ直交座標系についての前記実スケール面への投影演算子である。
【００１５】
いくつかの実施例においては、前記３Ｄオブジェクトの前記点の前記画像面への投影は、
【００１６】
【数２】
2019149809.tif 000005
【００１７】
のように同次座標において計算され、ここにおいてＰfは前記画像面への投影演算を定義しており、ｆは焦点距離であり、αは前記第１の角度であり、βは前記第２の角度であり、Ｒ（ｘ，α）は前記画像面の軸ｘに関するα回転行列であり、前記軸ｘは前記α回転前における前記第２の３Ｄ直交座標系の前記第２軸に実質的に平行であるように定義され、Ｒ（ｙ，β）は前記画像面の軸ｙに関するβ回転行列であり、前記軸ｙは前記β回転前における前記第２の３Ｄ直交座標系の前記第３軸に実質的に平行であるように定義され、前記角度αだけ回転した前記軸ｘに対して相対的に前記β回転が実行されるように前記α回転が右端で計算され、これらにおいて
h11 = cosβ，
h12 = sinβ sinα，
h13 = sinβ cosα，
h22 = cosα，
h23 = -sinα，
h31 = -sinβ，
h32 = cosβ sinα，および
h33 = cosβ cosα
である。
【００１８】
いくつかの実施例においては、当該方法が、前記実スケール面と前記画像面との間のホモグラフィーＨを、
【００１９】
【数３】
2019149809.tif 000006
【００２０】
のように決定することをさらに備え、ここにおいてｈ31およびｈ32は前記画像面のｘおよびｙスケールに透視補正を適用する非ゼロ要素であり、前記第２の平面座標(x’’，y’’)は前記実スケール面の前記点の画像が歪んだ位置(x’，y’)についてのホモグラフィック変換であり、前記ホモグラフィック変換は、
【００２１】
【数４】
2019149809.tif 000007
【００２２】
のように表現され、ここにおいて
u = f(cosβ x’+ sinβ sinα y’+ sinβ cosα)，
v = f(cosα y’- sinα)，
w = -sinβ x’+ cosβ sinα y’+ cosβ cosα，
であって 、(CX ，CY) は前記第３の３Ｄ座標系での前記原点の位置である。
【００２３】
いくつかの実施例においては、前記ホモグラフィＨは、
【００２４】
【数５】
2019149809.tif 000008
【００２５】
のように計算され、ここにおいて、微小角αおよびβについて、
2019149809.tif 000009
および
2019149809.tif 000010
の近似が使用されている。
【００２６】
いくつかの実施例においては、当該方法が、前記実スケール面における前記撮像装置のレンズ収差を補償することをさらに備え、当該補償は、
r' = r + k1 r3 + k2 r5 + …，
のように定義されたレンズ収差補正モデルを適用することを備え、ここにおいて、前記第１の平面座標は前記実スケール面上の前記点の画像の歪みがない位置(x，y)を極座標(r，θ)で表現したものを備え、ここにおいて r2=x2+y2 および tanθ = y/xであり、xとyのうち少なくとも１つは非零であり、 (x’，y’) は前記画像面での前記点の投影前の前記レンズの出力において歪んだ位置(x，y)を表現しており、r’は (x’，y’)に基づいて計算され歪んだラジアル距離であり、そしてk1 および k2は前記レンズの幾何学的収差パラメータである。
【００２７】
第２の広汎な局面に従うと、ここで説明されているのは、校正と画像補正との際に撮像装置をモデリングするために使用されるシステムであって、前記システムは、以下のものを備える：メモリ；プロセッサ；および前記メモリに格納され、前記プロセッサによって以下のことを実行可能な少なくともひとつのアプリケーション、前記撮像装置の焦点に原点を有する第１の３Ｄ直交座標系を定義すること、ただし、前記第１の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びている；前記焦点から単位距離である１だけ離れた原点を有する、第２の３Ｄ直交座標系を定義すること、ただし、前記単位距離である１は、前記第２の３Ｄ直交座標系のスケール単位において定義されており、前記第２の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第２の３Ｄ直交座標系の第２軸および第３軸は、前記第１の３Ｄ直交座標系の第２軸および第３軸にそれぞれ実質的に平行であり、それによって前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸は、前記視線に対して直角な実スケール面を規定しており；前記焦点から焦点距離だけ離れた原点を有する、第３の３Ｄ座標系を定義すること、ただし、前記第３の３Ｄ座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第３の３Ｄ座標系の第２軸および第３軸は、前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸の方向に対して相対的に第１と第２の角度だけ傾いており、それによって前記第３の３Ｄ座標系の前記第２軸および前記第３軸は、前記視線に対して相対的に非直角な画像面を規定しており；前記撮像装置によってキャプチャされた実世界の３Ｄオブジェクトの点に関連づけられた３Ｄ座標を受け取ること；前記実スケール面への前記点の投影を計算しそれによって第１の平面座標を得るとともに、前記画像面への前記点の投影を計算しそれによって第２の平面座標を得ること；および前記３Ｄオブジェクトの前記点に対応する像点の位置を示す前記第２の平面座標を出力することである。
【００２８】
いくつかの実施例においては、前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、前記実スケール面への前記点の前記投影が外部から前記撮像装置のレンズシステムへの入射を規定するとともに、前記撮像装置の外部モデルと内部モデルとのうち外部モデルのみを用いた投影となるように前記第２の３Ｄ直交座標系を規定することと、前記画像面への前記点の前記投影が前記レンズシステムからの出力を規定するとともに、前記撮像装置の内部モデルを用いた投影となるように前記第３の３Ｄ座標系を規定すること、とが可能である。
【００２９】
いくつかの実施例においては、前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、前記３Ｄ座標の組[x y z 1]Tを受け取ることと、前記３Ｄオブジェクトの前記点の前記実スケール面への投影を、
【００３０】
【数６】
2019149809.tif 000011
【００３１】
のように同次座標において計算することが可能であり、ここにおいて
2019149809.tif 000012
は等価スケール演算子であり、Ｐ1は前記第１の３Ｄ直交座標系についての前記実スケール面への投影演算子である。
【００３２】
いくつかの実施例においては、前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、前記３Ｄオブジェクトの前記点の前記画像面への投影が、
【００３３】
【数７】
2019149809.tif 000013
【００３４】
のように同次座標において計算され、ここにおいてＰfは前記画像面への投影演算を定義しており、ｆは焦点距離であり、αは前記第１の角度であり、βは前記第２の角度であり、Ｒ（ｘ，α）は前記画像面の軸ｘに関するα回転行列であり、前記軸ｘは前記α回転前における前記第２の３Ｄ直交座標系の前記第２軸に実質的に平行であるように定義され、Ｒ（ｙ，β）は前記画像面の軸ｙに関するβ回転行列であり、前記軸ｙは前記β回転前における前記第２の３Ｄ直交座標系の前記第３軸に実質的に平行であるように定義され、前記角度αだけ回転した前記軸ｘに対して相対的に前記β回転が実行されるように前記α回転が右端で計算され、これらにおいて
h11 = cosβ，
h12 = sinβ sinα，
h13 = sinβ cosα，
h22 = cosα，
h23 = -sinα，
h31 = -sinβ，
h32 = cosβ sinα，および
h33 = cosβ cosα
である。
【００３５】
いくつかの実施例においては、前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、前記実スケール面と前記画像面との間のホモグラフィーＨを、
【００３６】
【数８】
2019149809.tif 000014
【００３７】
のように決定することが可能であり、ここにおいてｈ31およびｈ32は前記画像面のｘおよびｙスケールに透視補正を適用する非ゼロ要素であり、前記第２の平面座標(x’’，y’’) は前記実スケール面の前記点の画像の歪んだ位置(x’，y’)についてのホモグラフィック変換であり、前記ホモグラフィック変換は、
【００３８】
【数９】
2019149809.tif 000015
【００３９】
のように表現され、ここにおいて
u = f(cosβ x’+ sinβ sinα y’+ sinβ cosα)，
v = f(cosα y’- sinα)，
w = -sinβ x’+ cosβ sinα y’+ cosβ cosα，
であって、(CX，CY)は前記第３の３Ｄ座標系での前記原点の位置である。
【００４０】
いくつかの実施例においては、前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、前記ホモグラフィＨを、
【００４１】
【数１０】
2019149809.tif 000016
【００４２】
のように計算することが可能であり、ここにおいて、微小角αおよびβについて、
2019149809.tif 000017
および
2019149809.tif 000018
の近似が使用されている。
【００４３】
いくつかの実施例においては、前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、前記実スケール面における前記撮像装置のレンズの収差を補償することが可能であり、当該補償は、
r' = r + k1 r3 + k2 r5 + …，
のように定義されたレンズ収差補正モデルを適用することを備え、ここにおいて、前記第１の平面座標は前記実スケール面上の前記点の画像の歪みがない位置(x，y)を極座標(r，θ)で表現したものを備え、ここにおいて r2=x2+y2 および tanθ = y/xであり、xとyのうち少なくとも１つは非零であり、 (x’，y’) は前記画像面での前記点の投影前の前記レンズの出力において歪んだ位置(x，y)を表現しており、r’は (x’，y’)に基づいて計算され歪んだラジアル距離であり、そしてk1 および k2は前記レンズの幾何学的収差パラメータである。
【００４４】
いくつかの実施例においては、前記撮像装置が、ズームレンズカメラ、近赤外撮像装置、短波長赤外撮像装置、長波長赤外撮像装置、レーダ装置、光検出測距装置、パラボラミラー望遠イメージャ、外科的内視鏡カメラ、コンピュータ断層撮影走査装置、サテライト撮像装置、ソナー装置、およびマルチスペクトルセンサフュージョンシステムのうちのひとつを備える。
【００４５】
第３の広汎な局面に従うと、ここで説明されているのは、プロセッサによって実行されることによって、校正と画像補正との際に撮像装置をモデリングすることを可能なプログラムコードが格納されたコンピュータ読み取り可能な媒体であって、前記プログラムコードは、以下のことを可能とする：前記撮像装置の焦点に原点を有する第１の３Ｄ直交座標系を定義すること、ただし、前記第１の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びている；前記焦点から単位距離である１だけ離れた原点を有する、第２の３Ｄ直交座標系を定義すること、ただし、前記単位距離である１は、前記第２の３Ｄ直交座標系のスケール単位において定義されており、前記第２の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第２の３Ｄ直交座標系の第２軸および第３軸は、前記第１の３Ｄ直交座標系の第２軸および第３軸にそれぞれ実質的に平行であり、それによって前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸は、前記視線に対して直角な実スケール面を規定しており；前記焦点から焦点距離だけ離れた原点を有する、第３の３Ｄ座標系を定義すること、ただし、前記第３の３Ｄ座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第３の３Ｄ座標系の第２軸および第３軸は、前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸の方向に対して相対的に第１と第２の角度だけ傾いており、それによって前記第３の３Ｄ座標系の前記第２軸および前記第３軸は、前記視線に対して相対的に非直角な画像面を規定しており；前記撮像装置によってキャプチャされた実世界の３Ｄオブジェクトの点に関連づけられた３Ｄ座標を受け取ること；前記実スケール面への前記点の投影を計算しそれによって第１の平面座標を得るとともに、前記画像面への前記点の投影を計算しそれによって第２の平面座標を得ること；および前記３Ｄオブジェクトの前記点に対応する像点の位置を示す前記第２の平面座標を出力することである。
【図面の簡単な説明】
【００４６】
【図１】レンズの収差を示す模式図である。
【図２】樽形および糸巻き形のレンズの幾何学的収差を示す模式図である。
【図３】２つの隣接する画素の色が混じるときのエッジのディザリングを示す平面図である。
【図４】視線に対して画像面が直角の理想的なカメラのモデル表現においてカメラとレンズの組合せの挙動を定義するパラメータを示す模式図である。
【図５】図４の理想カメラに傾いた軸の補償が加えられたカメラの内部モデルの傾き軸推定を示す模式図である。
【図６】本発明の例示的な実施形態に沿うカメラの内部モデル用の新しい変数セットを示す模式図である。
【図７】本発明の例示的な実施形態に沿う径方向の収差の模式図である。
【図８ａ】本発明の例示的な実施形態に沿う像点の位置の算出方法を示すフローチャートである。
【図８ｂ】カメラの外部モデルを用いて、ｆ＝１の平面へ投影する図８ａのステップを示すフローチャートである。
【図８ｃ】レンズ収差モデルを適用する図８ａのステップを示すフローチャートである。
【図８ｄ】カメラの内部モデルを用いて、傾いた画像面ｆ上へ投影する図８ａのステップを示すフローチャートである。
【図９ａ】像点の位置を算出する本発明の例示的な実施形態に沿うシステムを示す模式図である。
【図９ｂ】図９ａのプロセッサにおいて実行される典型的なアプリケーションを示すブロック図である。
【図１０】校正ターゲットの歪みがある写真である。
【図１１】回路基板付きのテスト用マイクロレンズカメラの写真である。
【図１２】ターゲットの抽出を示す複合図である。
【図１３】２つのカメラ画像を同時に用いた対象物の三次元測定用のステレオ写真を示す模式図である。
【図１４】テストカメラを用いた幾何学的収差の補正を示す写真である。
【図１５】焦点距離４ｍｍのCosmicar（登録商標）のＣマウントレンズの色収差を示すグラフである。
【図１６】像中心（画素）からの距離に対する赤色収差の径方向の補正を示すグラフである。
【図１７】像中心（画素）からの距離に対する青色収差の径方向の補正を示すグラフである。
【図１８】カラーカメラ用のベイヤー配列のレイアウトを示す模式図である。
【発明を実施するための形態】
【００４７】
本願発明のさらなる特徴および利点は、添付された図面と組み合わされる、以下の詳細な説明から明らかとなる。添付された各図面においては、同様の対象物は、同様の参照符号によって識別されている。
【００４８】
１．１  レンズ収差
レンズ収差は、デジタルイメージングにおいて見受けられる最大の誤差を招来する。このことは、図１および図２に描かれている。図１に示されるように、魚眼効果は、幾何学的収差と称され、直線を湾曲させる。画像の縁における色つきの濃淡（図１おいて「青色エッジ」および「赤色エッジ」と参照される）は、色収差と称され、撮像装置（不図示）のレンズにおける光の分離によって引き起こされる。ピンホールの挙動に対するこれらの偏差は、レンズ角度に関して増加する。サブピクセルの精度を達成するためには、双方の収差は、モデル化されて、補償されねばならず、ソフトウェアを介してのみハードウェア性能を上回る補償が可能となる。図２に示されるように、幾何学的収差が画像を圧縮するときには、当該収差は樽形収差（図２(a)参照）と称され、画像が拡張するときには糸巻き形収差（図２(b)参照）と称される。
【００４９】
１．２  ディザリング
図３において、ディザリングは、ある画素をエッジが通り、隣り合う双方の色が混じるときに生ずる中間の画素色である。画素内の各色の各面について、画素の色は、エッジの両側において隣の色値の重み付き平均である。
【００５０】
低画質画像において、エッジのディザリング（対象物のエッジにおける濃淡）は、レンズの幾何学的収差および色収差に干渉する。白黒のターゲットについて、ディザリングは、幾何学的収差が生ずるにつれて灰色の影として現れる。それゆえ、エッジの色を用いてエッジのディザリング若しくは幾何学的収差からレンズの色収差を分離することが望ましい。
【００５１】
１．３  カメラモデル
カメラ若しくは他の撮像装置のモデリングは、カメラとレンズの特有の組合せの挙動を定義するパラメータを測定するために、数学モデルと校正手順を要する。
【００５２】
ここでは、カメラが参照されているが、提案するシステムおよび方法は、他の撮像装置へも適用されることが理解されるべきである。特に、ズームレンズカメラと、近赤外線（NIR）、短波長赤外線（SWIR）、および長波長赤外線（LWIR）の赤外線撮像装置と、レーダー並びに光検出及び測距（LIDAR）装置と、放物面鏡望遠撮像装置と、外科用内視鏡カメラと、コンピュータトモグラフィ（ＣＴ）スキャン装置と、衛星の撮像装置と、ソナー装置と、マルチスペクトルセンサ融合システムを含み、これらに限定されない各装置に適用される。
【００５３】
当該主題の公表文献によれば、理想カメラモデルは、図４に示されるように、３つの要素を有している、すなわち；
１−  外部モデル：焦点Ｏ（全ての光が一点に集中する空間中の点）におけるカメラ座標と、ワールド座標系（XW YW ZW）におけるワールド座標との関係；
２−  内部モデル：ZCがレンズ軸（すなわち、レンズの視線）であるカメラ平面座標系（XC YC ZC）；および
３−  レンズモデル：レンズの幾何学的収差の式および色収差の式。
【００５４】
焦点Ｏは、全ての像が一点に集中する空間中の場所であり、焦点Ｏの前にはカメラの画像面(the camera image plane)（不図示）がある。レンズ軸ZCは画像面を２つの直角をなして横切る（すなわち、像面と直交する）とともに、像中心位置（CX，CY）を定義する。
【００５５】
１．３．１  カメラの外部モデル
カメラの外部モデルは、当該文献によって正確に分かり、２つの座標セットを定義する、
１−  原点が（０，０，０）に設定されたワールド座標(XW YW ZW)；と
２−  焦点Ｏにおけるカメラ座標（XC YC ZC）。
【００５６】
理想カメラモデルを示す図４から判るように、 カメラ座標セット（XC YC ZC）は、レンズ軸ZCに端を発して焦点Ｏを原点とし、XCは、水平軸（不図示）と並ぶように選択されている。幾何学的に、垂直軸YCは、右手系規則に則ってカメラ座標セットを完成させる。当該外部モデルは、行列[ R3x3  T3x1 ] (以下にさらに述べる)として記載され、原点を(0，0，0)とするワールド座標セット(XW YW ZW)を表現する。
【００５７】
カメラの外部モデルは、ワールド座標セット(XW YW ZW)に対してカメラ座標セット(XC YC ZC)を配置するために必要な回転(κ φ Ω)と平行移動(TX TY TZ)とを表現し、ワールド原点(0，0，0)に焦点Ｏを配置する。カメラの外部モデルは、従って、６自由度、すなわち、(κ φ Ω)回転角度と、平行移動(TX TY TZ)とを有する。
【００５８】
１．３．２  カメラの内部モデル
図４に加えて図５を参照しつつ、非直角度(off squareness)の補償を行う先行技術のカメラの内部モデルについて以下に述べる。仮に、画像面がレンズ軸ZCと完全に直交する場合には、ワールド測定値XW、YWと、カメラ測定値XC、YCとのスケールファクタは、ｘとｙの双方向においてｆとなる。製造誤差に起因するレンズ軸ZCと画像面との直交度の欠落を考慮するために、研究コミュニティーは、図５に示される傾き軸推定(the tilted axis assumption)を紹介している。当該傾き軸推定においては、画像面がレンズ軸と垂直であるとみなされ得るように、画像面の軸の傾きが仮定される。
【００５９】
本質的に、種々の定式化が存在する：
パラメータａは、カメラの画素格子配列の水平軸と完全に一直線に並ぶ、水平方向の画像スケールである；
ａとは異なる垂直方向のスケールは、ｂとして設定されている；
画像面の垂直軸のスケールと向きは、傾斜パラメータｓによって、軸YCに対して傾けられており、ｓは、画像スケールに対する傾斜のスケールメジャー（a scale measure）である。
【００６０】
傾き軸推定を用いる公開済みの研究によれば、レンズ軸ZCが画像面と交差する点である像中心（CX，CY）と共に、ａ、ｂ、およびｓは、カメラの５つの内部パラメータである。従って、カメラの内部モデルは、５自由度を有する。
【００６１】
画像面の画素格子配列の製造工程は、非常に正確であり、校正は水平方向の画像スケールを垂直方向の画像スケールに等しくする、すなわち、a = b = fであり、垂直軸の傾斜はなく、すなわちs = 0となる。広く知られている傾き軸推定は、しかしながら、透視バイアスを導入し、全てのカメラパラメータをシフトする、そして、カメラの画像面の形状を維持する画像面の完全な三次元透視モデルに置き換えられるべきである。従って、カメラ座標（焦点Ｏを起点とする）内にモデルが表現されている図６に示されるように、カメラの内部モデルに新しい変数セットの導入が提案されている。
【００６２】
提案されるモデルでは、像中心（CX，CY）は、レンズ軸ZCとカメラ平面（すなわち、結像）平面との交点であり続ける。外部の三次元のワールド対象物（当該対象物の点Ｐは、各軸(XC YC ZC)に対して、当該ワールドにおいて何処かの座標に配置される）を対象とする、スケールの影響を受けない２つの同時透視(simultaneous perspectives)が考慮される。
【００６３】
実例として、レンズ系の入射口(entry)は、視線軸ZCに沿って、ｆ＝１に位置する理論上の平面として定義され、当該理論上の平面は、図６において２つの軸により示され、ｆ＝１の単位焦点距離(unit focal distance)を伴い、レンズ軸ZCと完全に垂直である。この第１平面は、xとyにおいて無限次元を有する平面への三次元対象物の完全な１対１の実スケール投影を表わす。
【００６４】
f = 1への投影は、従って、行列変換[ R3x3 T3x1 ]により表現される：
【００６５】
【数１１】
2019149809.tif 000019
【００６６】
同次座標を用いて、三次元ワールド座標（X Y Zは、ワールド座標系(XW YW ZW)に対して与えられ、X’ Y’ Z’はカメラ座標系(XC YC ZC)に対して与えられる）における点P = [X Y Z 1]Tは、次のように投影される：
【００６７】
【数１２】
2019149809.tif 000020
【００６８】
ここで、生成される三成分ベクトルの第３成分Z’は、[X’ Y’ Z’]Tが[X’/Z’ Y’/Z’ 1 ]Tに対して等価スケール(scale equivalent)となるように１に再変倍（rescale）される。三次元の点P = (X，Y，Z)は、(X’/Z’，Y’/Z’)として２次元に投影される。方程式(2)における記号
2019149809.tif 000021
は、同次座標における等価スケール演算子を表わす。
【００６９】
方程式(1)中の要素 rij，i，j=1，2，3は、モデルパラメータの関数、すなわち、上述の３つの回転角度 (κ φ Ω) であり、(TX TY TZ)は、焦点Ｏに対するワールド原点の位置である。
【００７０】
外部の三次元のワールド対象物の実スケール透視に加えて、第２透視は、当該画像面自体、すなわちレンズ系の出力である。図６において、画像面は、(CX，CY)で交差する２つの軸によって表現されている。焦点距離ｆの位置にある当該画像面は、レンズ軸Zcに対して垂直ではないので、５個のパラメータが必要となる。焦点Ｏの座標セット(すなわち、座標セット(XC YC ZC))において定義されるものと同じ、水平軸と垂直軸の各向きを、ｆにおける画像面上で用いて、x軸およびy軸に対する２つの回転角度αとβが、カメラ平面の傾きを考慮するために使用される。特に、図６に示されるように、画像面のx軸は、角度α回転され、画像面のy軸は、角度β回転されており、その結果、画像面は、x軸、y軸に対して角度α、β傾いている、なお、画像面のx、y軸は、当初、すなわち回転前には、原点ＯにおけるXC、YC軸に平行である。換言すれば、x、y軸は、例示的には、画像面を傾ける回転が適用される前に、原点ＯにおけるXC、YC軸に平行であり、画像面上に複製されている。その結果、画像面の傾きは空間における２つの三次元回転、すなわち、YC軸に関する角度αの回転と、XC軸に関する角度βの回転によって表現される。画像面のx軸は、カメラ平面の水平方向と一直線に並ぶように任意に設定されており、従って、ｚ軸の回転角度は不要である。 幾つかの実施例、例えば、同じ視線を共有する２つの撮像装置がワールド対象物の像を撮影(capture)するために同時に使用されている実施例、若しくは、３-CCDカメラ(３つの電荷結合素子(CCD)を備える)が使用される実施例においては、z軸の回転角度が望ましいことを理解すべきである。回転角度α、βに加えて、カメラの内部モデルの残りの３つの自由度は、焦点距離ｆ（若しくは、カメラの画像スケール）と像中心(CX，CY)の座標である。
【００７１】
図５の一般的な傾き軸推定に対応する内部Ｋ行列は下記の方程式（３）によって与えられる。
【００７２】
【数１３】
2019149809.tif 000022
【００７３】
方程式（３）における左上の２×２行列の区画は、傾斜パラメータｓ、水平方向のスケールａ、および垂直方向のスケールｂを伴う、画像面のｘ、ｙ軸を表す。画像面のｘ軸は、各列ベクトルとして与えられ、画像面のｘ軸は、Ｋ行列の２行１列の値０を考慮すると、カメラ平面の画素配列格子（不図示）の水平方向と一列に並ぶ。画像面のｙ軸は、図５に示されるように、ｘ方向にｓ傾いている。最後の列は、像中心位置(CX，CY)を表している。
【００７４】
図５の傾き軸推定の誤りは、左下の１×２行列の区画に見受けられる。レンズ軸がカメラ平面に対して垂直でないときには、当該左下の１×２区画の２つの項は、０であるべきではない。それらが０でないときには、これらの項は、画像面におけるｘ，ｙスケールに対して像中心から離れるように、透視補正を適用する。
【００７５】
投影されたｘ、ｙ軸を、それらが透視を表しているように、計算する場合には、従って、レンズZcと完全に垂直なカメラの画像面から開始することが提案される。次に、投影されたカメラのx、ｙ軸が、それぞれ角度α、β傾くように計算され、これにより、上述のように、レンズ軸と垂直でない画像面が取得される。提案する方法では、カメラの内部モデルは、１対１の実スケールのカメラの外部モデル投影を共通の視線ZC上の焦点距離ｆにおける画像面投影に関連づける、５自由度の透視変換として定義される、そして、原点ＯにおけるXC 、YCと平行な、回転の前の画像面のｘ，ｙ軸に対して画像面が角度α、β傾けられる。図６は、視線ZCにおける(CX，CY)を示す。図６において、視線と交差する全ての平面の原点がZCに設定される。当初は、(CX，CY)は、(0，0)に設定され、投影後は、原点がシフトされて、画像面の中心が(0，0)から(CX，CY)にずれる。
【００７６】
同次座標においては、次のように、[x y z 1]T空間におけるどのような三次元点も１対１、f=1の実スケールの平面上に投影される：
【００７７】
【数１４】
2019149809.tif 000023
【００７８】
方程式（４）における最後の演算は、第４座標を１にする再変倍である。第３座標は、点(x/z，y/z)が、Ｚ＝１の平面上にあることを示す。
【００７９】
ｘ，ｙに対してそれぞれα、β傾いた焦点距離がｆの画像面について、同一点が当該傾いた画像面に次のように投影される。
【００８０】
【数１５】
2019149809.tif 000024
【００８１】
ここで、Pfは、４行３列目の要素が１／ｆである投影演算子であり、ｆは、焦点距離、R(y，β)は、ｙ軸に対するαβ回転行列、そして、R(x，α)は、ｘ軸に対するα回転行列である。
【００８２】
方程式（５）におけるα回転は、最も右端で計算される、それ故、β回転は、ｙ軸が角度α回転した画像面に対して相対的に実行される。β回転は、方程式（５）において最も右端で扱われ得ることを理解すべきである、これは、α回転がｘ軸のβ回転に対して相対的に行われることを意味する。右から左に読まれ、かけ算の順序を反転させる同次方程式は、異なる数学的な式を生ずる。幾つかのモデルが可能である。
【００８３】
方程式（５）の行列同士を掛け合わせると次式が得られる：
【００８４】
【数１６】
2019149809.tif 000025
【００８５】
【数１７】
2019149809.tif 000026
【００８６】
【数１８】
2019149809.tif 000027
【００８７】
最後の演算子（方程式（８））は、再び、第４座標の１(unity)への再変倍である。
【００８８】
P1 [x y z 1]TとPf R(y，β) R(x，α) [x y z 1]Tとは、同一の三次元点[x y z 1]Tの２つの投影であり、簡単なホモグラフィック変換（homographic transformation）によって関連づけられている。x’= x/zおよびy’= y/zを代入し、(x’，y’)が投影P1 [x y z 1]Tであることに留意し、ここでz成分（１，ｚ＝１に位置する平面）と単位スケールファクタ(unit scale factor)とを切り捨てて、Pf R(y，β) R(x，α) [x y z 1]Tは次のように書ける。
【００８９】
【数１９】
2019149809.tif 000028
【００９０】
ここで
h11 = cosβ
h12 = sinβ sinα
h13 = sinβ cosα
h22 = cosα
h23 = -sinα
h31 = -sinβ
h32 = cosβ sinα
h33 = cosβ cosα
f=1とf=fの両平面間のホモグラフィー(homography)Ｈを次のように定義する：
【００９１】
【数２０】
2019149809.tif 000029
【００９２】
傾いた画像面の座標(x’’，y’’)は、(x’，y’)の１対１の実スケール平面投影の一次変換であり、二次元同次座標で表現されている。
【００９３】
【数２１】
2019149809.tif 000030
【００９４】
ここで、 x’’=u/w 、 y’’=v/w
ここで、記号
2019149809.tif 000031
は、同次座標における等価スケールの演算子を表わす。予想されるように、H (方程式 (10)) の(2，1)要素は0であり、x軸がカメラ平面の水平格子と平行であることを意味している。第３行(方程式(10)参照)における透視要素h31とh32は、像中心から遠ざかる平面透視のスケール変化(scale change)を生成する。これらの要素は、カメラ平面がレンズ軸と垂直、すなわちα = β = 0であるときに、０になる。
【００９５】
０でない(CX，CY)について、カメラの内部モデルは、同次座標において扱われなければならないので、像中心(CX，CY)を加える前に、透視の再変倍が必要となる。１対１の実スケールの外部モデルの点(x’，y’)と、画像面の座標(x’’，y’’)との間の、レンズ収差を仮定しない、二段階プロセスにおいて、以下が得られる：
ステップ１： [u v w]T = H [x’ y’ 1]T
u= f(cosβ x’+ sinβ sinα y’+ sinβ cosα)
v= f(cosα y’- sinα)                                        (12)
w = - sinβ x’+ cosβ sinα y’+ cosβ cosα
ステップ２：単位のw=1への再変倍と、像点(x’’，y’’)を与える(CX，CY)の平行移動
x’’= (u/w + CX)
y’’= (v/w + CY)                                              (13)
レンズ収差が無い場合、校正は、従って、２つの射影間の最良の一致を探索する。空間のあらゆる点は、２つの独立した投影面、すなわち実スケール面(true scale plane)と、傾いた画像面に写る。 上述のように、f = 1 (すなわち、実スケール)の平面は、 例示的に、レンズ軸と完全に垂直であり、６自由度：(κ φ Ω)と(TX TY TZ)を有し、提案する外部モデル（すなわち、カメラ座標とワールド座標との関係）を与える。ｆにおいて、カメラ（すなわち、結像）平面は、実スケール平面に対してスケールが変化しない:ｆにおける画像は、f=1の実スケール画像の単なる変倍したものではない。ｆにおいて、画像面は５自由度：面の傾き角度α、βと、像中心(CX，CY)と、焦点距離ｆ、を有し、内部モデルを与える。
【００９６】
f=1の実サイズ平面上の１点は、当該傾斜した画像面上の１点に対応し、ｆ＝１とｆ＝ｆとの間での全ての対応点ペアは、（レンズ収差が無い状況では）焦点Ｏに集まる各線を定義する。しかし、当該２面間でレンズ収差が発生し、当該収差は、モデルにおいて考慮されねばならない。従って、校正ターゲットの正確な三次元対象物形状を知ることによって、校正は、当該２面に投影される各座標の各ペア間の三次元の対応を見つけて、レンズ収差を補償する。
【００９７】
上述と全く同じ基本原理を使うことによって、カメラの内部モデルに関する交互の定式化が可能となる、例えば、回転前に原点ＯにおけるXC、YCに平行な画像面上のx、y軸に対する回転が、逆の順に幾何学的に適用され得る。上述のように、２つの画像面が同一の視線を共有する場合、両画像の水平軸ｘ同士の相対的な配置誤差を表現するために、ｚ軸回転が、それらの１つに加えられ得る。
【００９８】
１．３．３  レンズ収差モデル
一旦カメラ平面の傾き角度α、βが適切に考慮されれば、カメラ画像は、レンズ軸Zcと完全に垂直な平面上で計算される、当該平面は、例えば、上述のように、検討される全ての面の視線であるレンズ軸Zcに対する垂直度を補正されたf = 1の平面、若しくはf = fの平面である。ここで議論される技術は、f = 1の平面とf = fの平面への投影を使用する撮像装置（例えば、カメラ）をモデル化するが、２よりも多い平面がレンズ収差のモデル化に使用され得ることを理解すべきである。f = 1は、外部モデルにおける投影であり、ｆは、画像面を定めるので、実際には、f = 1とf の各平面は、例示的に、最小要件である。幾つかの実施例において、１以上の中間の平面が、f = 1とf の各平面の間にモデル化されてもよい。例えば、第３中間平面が、撮像素子の最小の焦点距離fminに、f = 1とfminの各平面の間で計算される第１ホモグラフィーとf = fminとfの各平面間で計算される第２ホモグラフィーとを伴って、置かれてもよい。
【００９９】
Zcと直角の投影面に関して、レンズ収差モデルは、純粋に、幾何学的かつ色彩的な動径関数に減少させられ得る。
【０１００】
多くの幾何学的レンズ収差のモデルが発表されている。幾人かの著者は、幾何学的レンズ収差の除去において１／２０画素の精度を主張している。概して、それらの基本的な基準は、大体同じであり、実際に真っ直ぐな線は、一旦、幾何学的収差が除去された画像において真っ直ぐに見えるべきであるというものである。非常に僅かな著者しか、彼らのレンズモデルにおいて色収差を考慮していない。最も普及しているレンズの幾何学的収差のモデルは、非特許文献３に示されるように、Shawn Beckerモデルである。
x' = x + x (k1 r2 + k2 r4 + k3 r6) + p1*( r2 + 2 x2) + 2 p2 xy             (14)
y' = y + y (k1 r2 + k2 r4 + k3 r6) + p2*( r2 + 2 y2) + 2 p1 xy，r2=x2+y2    (15)
ここで(x'，y' )は、像中心(CX，CY)に対して計算された、点(x，y)の新たな位置を表わしており、k1，k2およびk3は、径方向の収差の３つの項であり、p1とp2は、偏心収差の２つの項である。校正は、パラメータk1、k2、k3、p1、およびp2の数値を得る。画像解析は、(x' y')を与える。歪みがない(x y)位置は、二次元探索アルゴリズムを用いて２つの方程式を解くことによって見つけられる。
【０１０１】
たいていのレンズ収差モデルは、湾曲した線を真っ直ぐにできた。モデル化誤差は、校正されたステレオペアから三次元位置を復元する際に現れた。真っ直ぐに見える直線は、幾何学的収差の正確な補正を保証する基準としては不十分である。間違った透視は、画像全体の測定誤差を引き起こし、図５の傾き軸推定は、系統的な透視バイアスを生ずる。
【０１０２】
提案するカメラモデルの修正は、校正の正確さを増大させ、レンズの幾何学的収差モデルの複雑さを減少させる。Shawn Beckerのレンズの幾何学的収差モデルのうちパラメータk1、k2のみが維持されるとともに、Shawn Beckerの２つの方程式(14)、(15)は、次の１つの方程式のみに減じられた。
r' = r + k1 r3 + k2 r5 + …（拡張可能）                              (16)
ｒが見つかると、完全径方向変位モデルからr'を知ることができ、ｒにおける奇数項を用いて拡張できる、ただし、r2=x2+y2である。図７において見受けられるように、完全径方向変位モデルは、幾何学的収差が完全に径方向変位であるとモデル化できる場合に用いることができる。外部モデルの像点(x，y)（例示的に、測定可能な量、例えば、画素よりも、インチ若しくはミリメートルで表現している）は、極座標(r，θ)によって表現できる、ただし、r2=x2+y2でありtanθ=y/xであり、xとyのうち少なくとも１つは非零であり、xとyは、像中心に対して与えられる。
【０１０３】
ルックアップテーブル（ＬＵＴ）によっても、方程式（１６）を用いると、著しく少ないメモリを使用しつつ計算を４対１で減少させ、実時間計算に、さらに適した提案カメラモデルを作成できる。単純化されたモデルによっても、f= 4mmのマイクロレンズ(視野角約９０度)を備える640×480画素ベイヤパターン１／３インチCCDのカラーカメラから、10-10 mmの正確さで焦点距離ｆを得ることができた。
【０１０４】
一旦、真の像中心が知られれば、色収差は、１つの像中心からモデル化できる。色収差について、幾つかの定式化が可能である：
１-緑チャンネルにおける幾何学的校正に基づく１つの中心；
２-赤、緑、及び青の各チャンネル独立の校正；
３-幾何学的校正に関する平均の赤、緑、及び青、色彩に関する赤と青の偏差。
【０１０５】
１．３．４完全なカメラモデル
ここで、図８ａを参照すると、提案のカメラモデルを用いて上記のように像点の位置を計算するための方法１００が図示されている。画像面に位置する像点を与えるために、三次元点は、３つの変換を経る。方法１００は、ステップ１０２における、提案のカメラの外部モデルを用いるf=1の平面への投影、ステップ１０４におけるレンズ収差モデルの適用、およびステップ１０６におけるカメラの内部モデルを用いた傾いた画像面への投影を例示的に含んでいる。 ステップ１０６が実行された後に、カメラによって撮影された三次元点(X，Y，Z)に対応するカメラの像点の位置(x’’，y’’)が得られる。
【０１０６】
ここで図８ｂを参照すると、ステップ１０２は、提案するカメラの外部モデルの変換を例示的に計算するとともに、ワールド座標系(XW YW ZW)に対して表現された三次元点Ｐの座標(X，Y，Z)のステップ１０６における受け取りを備えている。
【０１０７】
上述のように、対象物の三次元点の姿勢、すなわちカメラが対象物を見る角度および位置を与えられると、f=1の投影は、６自由度、すなわち、ワールド座標系(XW YW ZW)と参照カメラ座標系(XC YC ZC)との間の相対的な向きおよび位置を定義する３つの角度(κ φ Ω)と位置(TX TY TZ)から、対象物の１対１の実スケール画像を与える。当該モデルパラメータ(κ φ Ω)、(TX TY TZ)を用いて、上述のように、次のものが、ステップ１０８において同次座標において計算される：
P = [X Y Z 1]T
【０１０８】
【数２２】
2019149809.tif 000032
【０１０９】
rij，i，j=1，…，3 は、ターゲットの姿勢角度(κ φ Ω)の関数であり、
[ X’ Y’ Z’]T = [R3x3 T3x1][X Y Z 1]T
単位Z’へのスケーリングは、外部モデルの像点(x，y)を与える、ここで：
[x y 1]T = [X’/Z’ Y’/Z’ 1]T
2019149809.tif 000033
[X’ Y’ Z’]T
次に、外部モデルの像点がステップ１１０で出力される。
【０１１０】
ここで図８ｃを参照すると、ステップ１０４におけるレンズ収差モデルの適用は、例示的に、ステップ１１２における外部モデルの像点(x，y)の受け取りを備えている。各モデルパラメータ、すなわち、レンズの幾何学的収差パラメータk1とk2とを用いて、ステップ１１４は、例示的に、r、r’と、歪んだ像点(x’，y’)との計算を備える。例えば、撮像装置の魚眼レンズに係る幾つかの実施形態においては、パラメータk1とk2とが拡張されても良いことを理解すべきである。実際、上述のように、最も単純な形式においては、幾何学的収差は、完全に径方向の変位としてモデル化され得る。外部モデルの像点(x，y)は、極座標(r，θ)において表現され得る、ここでr2=x2+y2、tanθ=y/xであり、xとyのうち少なくとも１つは非零であり、xとyは、像中心(0，0)に対して得られる。ｒを知れば、新しい歪んだ距離r’は、次によって与えられる：
r' = r + k1 r3 + k2 r5 + …（拡張可能），
ここでk1とk2とは、レンズの幾何学的収差パラメータである。θが判るか、若しくは、同様の三角形の特性を用いることによって、歪んだ像点(x’ y’)が、計算できる：
(x’，y’) = (r’cosθ，r’sinθ)，
or (x’，y’) = (x r’/r，y r’/r)
次に、ステップ１１６において、歪んだ像点(x’，y’) が出力される。
【０１１１】
一つの実施形態において、レンズ収差は、像中心(0，0)に対する１対１、f=1のスケールでモデル化される。しかし、以下にさらに述べるように、ｆが、カメラの内部モデルと、ｆスケールで取り扱われるレンズ収差とから、得られえることを理解すべきである。
【０１１２】
ここで、図８ｄを参照すると、１０６のカメラの内部モデルの取得は、ステップ１１８における歪んだ像点(x’，y’)の受け取りを、例示的に、備えている。 歪んだ像点(x’，y’)と、カメラの内部モデルの５自由度、すなわち、αとβ（画像面の傾き角度）、焦点距離f、および像中心座標(CX，CY)から、ステップ１２０において以下のものが計算される：
u = f(cosβ x’+ sinβ sinα y’+ sinβ cosα)
v = f(cosα y’- sinα)
w = - sinβ x’+ cosβ sinα y’+ cosβ cosα
x’’= (u/w + CX)
y’’= (v/w + CY)
ここで、(x’’，y’’) はカメラの内部画像面上の像点であり、ステップ１２２において出力される。
【０１１３】
上述のように、fは、カメラの内部モデルから得られる。カメラの内部モデルの近似値を生成するために、小さい角度αとβ、近似値
2019149809.tif 000034
および
2019149809.tif 000035
を用いることができる。サインとコサインの他の近似が可能であることを理解すべきである。方程式(12)から下記にわかるように、 代入すると、 h33は、１になり、h13= fβとh23= -fαとは像中心の修正を生じ、h11とh22とは、fとなって、x、yにおける共通のスケールを与え、h12= fαβは、像の傾きの等価物を生成する。以前に示されているように、h31= -β とh32= αとは、０になり得ない。それらは、像中心に対して測定されたxとyに対するw’=1+ yα - xβによる再変倍の際に、像中心からｘ，ｙに沿って離れる透視の修正を、像に与える。
【０１１４】
【数２３】
2019149809.tif 000036
【０１１５】
さらに上述のように、レンズ収差は、画像面のｆスケールに対してモデル化され得る。画像面のスケールに従ってレンズ収差をモデル化するためには、レンズ軸ZCと完全に垂直で、ZCに沿ってｆに位置し、中心(0，0)を有する仮想の中間投影面がモデルに加えられる必要が有る。
【０１１６】
【数２４】
2019149809.tif 000037
【０１１７】
当該変換は、純粋なスケーリングホモグラフィー(scaling homography)Sfによって表現される
【０１１８】
【数２５】
2019149809.tif 000038
【０１１９】
カメラの内部モデルにおいて、HからSfを生成できる。(fx，fy)を計算するために外部モデルの最後にSfによるスケーリングを適用でき、(fx，fy)をレンズ収差モデルに使用でき、それ故、カメラの内部モデルにおいてf = 1に設定できる。次に、画像面が、修正されて、中心位置(0，0)を有して、視線ZCと直角をなすように傾斜を戻されたかのように、レンズ収差パラメータがｆスケールで計算される。
【０１２０】
レンズ収差のモデル化における要件は、視線に対して完全に垂直な平面に関して、像中心に対する径方向の距離を計算することである。これは、固定レンズのモデリングに追加の自由度を与える、しかし、レンズ収差のf=1、１対１の実スケールのモデリングは、レンズ収差パラメータをｆから独立させる、ズームレンズに対する利点である。
【０１２１】
ここで図９ａを参照すると、撮像素子のモデル化および校正のためのシステム２００が描かれている。システム２００は、ネットワーク２０４を経てアクセス可能な１以上のサーバー２０２を備える。例えば、ウェブサーバー、アプリケーションサーバー、およびデータベースサーバーに対応した一連のサーバーが使用される。これらのサーバーは、全て、サーバー２０２により表されている。サーバー２０２は、ネットワーク２０４を通じて通信に適合する複数の装置２０６のうち１つを使うユーザーによってアクセスされる。装置２０６は、パーソナルコンピュータ、タブレットコンピュータ、携帯情報端末、 およびスマートフォンなどの装置を備え、インターネット、公衆交換電話網、セルラーネットワークその他の当業者に知られたネットワーク２０４を通して通信可能に構成されている。サーバー２０２は、各装置２０６から遠くに別個に設けられているように描かれているが、サーバー２０２が、ダウンロードされたソフトウェア、ファームウェアアプリケーション、若しくはそれらの組合せとして各装置２０６と統合されてもよいことを理解すべきである。また、複数の装置２０６のうち幾つかの装置が同時にサーバー２０２にアクセスしてもよいと理解すべきである。
【０１２２】
撮像データは、校正およびデータ収集に用いられる撮像装置２０７によって獲得され得る。装置２０７は、装置２０６と（描かれているように）別体でもよいし、統合されていてもよい。当該撮像データは、以降にさらに述べられる校正ターゲットのような実際のワールド三次元対象物（不図示）の１以上の画像を含んでいてもよい。次に、当該撮像データが、サーバー２０２において処理されて、撮像装置２０７のモデルが、図８ａ、図８ｂ、図８ｃ、および図８ｄと関連して上述された手法によって取得される。撮像データは、空間での動きがモニタされている移動対象物のような対象物について、例示的に、実時間（例えば、毎秒画像３０枚の速度）で取得される。次に、サーバー２０２は、撮像データを処理し、取得された各画像に関して像点を決定する。あるいは、撮像データは、画像中の１以上の注目点のそれぞれと関連づけられた像点を決定するために処理される。
【０１２３】
サーバー２０２は、他の物のうち、メモリ２１０と組み合わされて当該メモリで動作する複数のアプリケーション２１２ａ〜２１２ｎを有するプロセッサ２０８を備えてもよい。ここで表示されてるアプリケーション２１２ａ〜２１２ｎは、別々のものとして描かれ述べられているが、結合されるか、若しくは種々の手法で分けられてもよいことを理解すべきである。
【０１２４】
１以上のデータベース２１４が、メモリ２１０に直接統合されてもよいし、分けて、（描かれているように）サーバー２０２から遠方に設けられてもよい。データベース２１４への遠隔アクセスの場合には、上に示されたように、何れかのタイプのネットワーク２０４を介してアクセスがされる。ここで述べられた種々のデータベース２１４は、コンピュータによる高速な検索及び取得のために編成されたデータ若しくは情報の集合として与えられる。データベース２１４は、種々のデータ処理操作におけるデータの保存、取得、変更、および削除を容易にするために構成されている。データベース２１４は、各レコードに分けられる１つのファイル若しくは、ファイルの集合から成ってもよく、各レコードは、１以上のフィールドからなる。フィールドを素早く、検索し、再編成し、グループ化し、そして選択するために、データベースの情報は、キーワードと仕分けコマンドとを使用する問い合せを通じて取得される。データベース２１４は、１以上のサーバーのようなデータ格納媒体におけるデータのどのような編成物であってもよい。
【０１２５】
１つの実施形態において、データベース２１４は、セキュア・ウェブ・サーバーと、データへのアクセスに使用されるプロトコルであるトランスポート・レイヤー・セキュリティ（TLS）をサポート可能なハイパーテキスト・トランスファー・プロトコル・セキュア（HTTPS）である。当該セキュア・ウェブ・サーバーとの間での通信は、セキュア・ソケット・レイヤー（SSL）を使用して安全にされる。ユーザーの本人確認は、全てのユーザーについて、各ユーザー名と各パスワードとを使用して行われる。種々のレベルのアクセス権が、多様なレベルのユーザーに付与される。
【０１２６】
あるいは、コンピュータネットワーク内の装置に情報交換を可能とする既知の各通信プロトコルのどれかが使用されてもよい。各プロトコルの例として以下のものが挙げられる、ＩＰ（インターネット・プロトコル）、ＵＤＰ（ユーザー・データグラム・プロトコル）、ＴＣＰ（トランスミッション・コントロール・プロトコル）、ＤＨＣＰ（ダイナミック・ホスト・コンフィギュレーション・プロトコル）、ＨＴＴＰ（ハイパーテキスト・トランスファー・プロトコル）、ＦＴＰ（ファイル・トランスファー・プロトコル）、Ｔｅｌｎｅｔ（テルネット・リモート・プロトコル）、ＳＳＨ（セキュア・シェル・リモート・プロトコル）。
【０１２７】
プロセッサ２０８がアクセス可能なメモリ２１０は、データを受信し、格納する。.メモリ２１０は、高速ランダム・アクセス・メモリ（ＲＡＭ）などのメインメモリ、又は、ハード・ディスク、フラッシュ・メモリ、若しくはマグネティック・テープ・ドライブなどの補助記憶装置であってもよい。メモリ２１０が、リード・オンリー・メモリ（ＲＯＭ）、イレーサブル・プログラマブル・リード・オンリー・メモリ（ＥＰＲＯＭ）などの他のタイプのメモリ、又はビデオディスク若しくはコンパクト・ディスクなどの光学記憶媒体であってもよい。
【０１２８】
プロセッサ２０８は、メモリ２１０にアクセスし、データを取得する。プロセッサ２０８は、データの操作ができるどのようなデバイスであってもよい。例は、中央処理装置（ＣＰＵ）、フロント・エンド・プロセッサ、マイクロプロセッサ、およびネットワーク・プロセッサである。  アプリケーション２１２ａ〜２１２ｎは、プロセッサ２０８と組み合わされており、以降により詳細に説明する種々のタスクを実行するように構成されている。出力は、各装置２０６に送られる。
【０１２９】
図９ｂは、プロセッサ２０８において実行されるアプリケーション２１２ａの典型的な実施形態である。 アプリケーション２１２ａは、撮像装置２０７から撮像データを受け取って、撮像装置２０７によって撮影された実三次元ワールド対象物の点の座標を取得する受信モジュール３０２と、図８ｂに図示され述べられた方法を可能とする外部モデル投影モジュール３０４と、図８ｃに図示され述べられた方法を可能とするレンズ収差補正モジュール３０６と、図８ｄに図示され述べられた方法を可能とする内部モデル投影モジュール３０８と、内部モデル定義モジュール３０８によって計算された、カメラの像点の座標を出力する出力モジュール３１０とを備える。
【０１３０】
２．０  校正
ここで、図１０、図１１、および図１２の、三次元から二次元画像を生成する処理の校正モデルを参照する。２台の校正されたカメラから、二次元から三次元へのステレオペアの逆操作が用いられてモデルの正確さが確認される。
【０１３１】
２．１  実験の構成
提案する実験の構成は、たとえ、低解像度の短波長赤外線（SWIR）撮像装置を用いても、現場で使用可能であることを目的としている。図１０に図示されるように、９０度をなす、２つの黒色のアルマイト処理されたアルミニウム（不図示）の平面上に、短波長赤外線スペクトルの表面放射特性を変化させるとともに、カラー校正用の白黒情報を与える、２つの円格子（不図示）が形成されている(例えば、彫られている)。
【０１３２】
発表された幾つかのアプローチは、収差を避けて幾つかのカメラパラメータを分離するために画像の中心部分を使用する。あいにく、それは、パラメータ評価のバイアスも生ずる。提案するアプローチにおいては、画像のどこで取得されるどのような楕円の中心も、モデルに当てはまる。それ故、提案するモデルは、広角レンズに対しても、画像全体にわたって正確である。
【０１３３】
一度、画像から各楕円の中心が測定された場合には、三次元の実ワールドのターゲット位置と、画像におけるそれらの二次元の対応する位置とを関係づけるデータセットが得られる。それらを相互に関連づけるカメラモデルを用いて、Levenberg-Marquardtの探索アルゴリズムが各モデルパラメータを計算するために使用される。Levenberg-Marquardtアルゴリズム以外のアルゴリズムが適用され得ることを理解すべきである。例えば、最急降下アルゴリズム、若しくはニュートンアルゴリズムが使用され得る。提案される技術により達成される精度の向上は、バイアス無しで、最小２乗誤差和の基準の使用を可能とした。誤差は、モデルと三次元データセットから予想されるターゲット位置から、対応する二次元の実際の像の測定値を引いたものとして定義される。
【０１３４】
校正ターゲットは、２インチの中心間の間隔で設けられた直径１インチの複数の円を用いる。複数の円を用いることにより高画素の画像に対しても、コーナーが検出されないことが保証される。
【０１３５】
各円は、バイアスも、エッジのいかなる優先の向きも無しで、カメラの挙動の局所評価を与える。我々は、エッジ検出の信号対雑音（S/N）比よりも、正確な楕円中心位置精度に関心を持っている。楕円のモデル化と中心バイアスの評価とに関する種々の技術の試験に多くの労力を要した。画像は、高画素であるので、エッジ検出器の測定領域は、例示的に、３×３画素の領域に限定される。
【０１３６】
提案する技術は、低解像度のカメラでの使用を意図しているので、図１１に示されるような、ｆ＝４ｍｍのテスト用レンズを備えた６４０×４８０画素のベイヤ・パターン・ポイント・グレイ・リサーチ・ファイアフライ（商標）・カラーカメラ（Bayer Pattern Point Grey Research FireflyTM colour camera）が、例えば、選択される。
【０１３７】
最終的に、モーメント技術は、まぶしい光と反射を扱えず、それゆえ現場での校正に使用できないと結論づけられた。 幾つかのケースで、１／４画素〜１／２画素の中心のバイアスが見られた。これらの誤差は非常に小さく、これらを形状復元処理から取り除くために、広範な数学的解析が必要であった、そして、これらは、人の眼には見えない。
【０１３８】
一方、エッジ勾配センシング技術は、エッジの向きが水平若しくは垂直のカメラの格子画素配列と並ばないときには、サブピクセルの位置のバイアスを示した。結局、Devernay（非特許文献１）による「非マキシマ抑制（Non Maxima Suppression）」のサブピクセルへの拡張によるサブピクセルの修正が使用された。２段階処理において、ステップ１は、エッジの向きのバイアスの補正を加えて、エッジ点の初期推定値を復元した。 この初期セットにおいて、楕円形状の初期推定値が計算される。 ステップ２において、初期楕円の当てはめが局所的な湾曲の評価と、エッジ位置の修正とに用いられる。
【０１３９】
２．２  校正結果
下記の表１に示されるように、同一の実験データを用いて、２つのカメラモデルについてパラメータの推定値が比較されている。
【０１４０】
【表１】
2019149809.tif 000039
【０１４１】
一番左のカメラパラメータセットは、我々自身の実験データ用いてテストされた、発表されている最も正確なモデルから得られている。 一番右のセットは、提案するモデルから計算された、ここで、レンズモデルは、純粋に、径方向の幾何学的収差であるとされている、そして、カメラの内部モデルは、提案する実装を用いた。
【０１４２】
上記表における最初の６行は、カメラの外部パラメータ、すなわち、[R3x3 T3x1]の計算に必要な３つの角度と、３つの位置である。次の５行は、カメラの内部パラメータであり、我々は、我々のパラメータの表現を、図５の一般的に使用されているモデルに合うように修正した。我々の自由度は、異なる数学的定式化を使用する。次に、残りの２行は、主要なレンズの幾何学的収差のパラメータk1とk2を示している。これらの２つは、多くのモデルにみられ、たいていの魚眼の幾何学的収差を説明するものである。
【０１４３】
上で論じられたように、a、b、およびsから、カメラ画素の直角度と、焦点距離ｆにおける誤差とを表現するように、我々は、 a = b = fでs = 0を考慮した。もしも画素が正方形であれば、高さスケールは、幅スケールと等しく、双方は、完全に直角であり、a = b = fは、画像スケールを表現する。
【０１４４】
提案されるモデルへ切り替えたことにより、ｆの誤差は、10-3 mmから10-10 mmに減少した。当初、焦点距離ｆは、０．０３％誤差があった。これは、小さく見えるが、当該モデルバイアスは、像中心(CX，CY)を主にY方向に沿って２画素近く移動させた。同時に、全ての外部パラメータも移動した。全ての角度が変化し、対象物距離TZは、０．３％間違っている。 fの誤差に対して、距離測定の誤差は、１０倍に増幅される。それは、系統的な距離測定誤差である。１ｍの距離に付き３ｍｍの誤差は、１０ｋｍの距離について３０ｍに拡大される。TXとTYの誤差率も、悪化しており、一番左のモデルがレンズ軸ZCに沿った距離を維持しようと努めることを示している。校正されたステレオペアに基づいて、三次元の復元は、画像スケールにおいて２画素に相当する誤差を示す。ステレオ三次元測定について、さらに以降において、さらに論ずる。
【０１４５】
収差パラメータk1とk2とを考慮すると（k1の負号は、樽形収差を意味している）、双方が、過小評価されていることが判る。像中心から離れるにつれて、いくらかの除去できない湾曲がある。それは、一画素よりも小さいかもしれないが、複数の写真から地図を作るために画像をつなぎ合せようとすると、湾曲は増加する。
【０１４６】
３．０  モデル／校正のバイアスの影響
主なモデルバイアスの影響は、三次元スキャナーのアプリケーションに使われるような、ステレオペアに基づく三次元遠隔測定法に現れる。基本的に、数学的な三角測量処理が同じであるため、移動カメラに基づく三次元抽出にも同じ結論が当てはまる。
【０１４７】
３．１  ステレオペアに基づく三次元の復元
前もって言及したように、カメラモデルにおける提案の修正をしないと、三次元の三角測量の系統的誤差を生ずる。図１３は、カメラで同時に撮影した２つの画像を用いて、三次元対象物の測定に一般に使用されるステレオペアを示している。三角測量についての詳細な考察は、非特許文献５に与えられている。
【０１４８】
図４に示されるように、OとO’とは２つのカメラ（不図示）の光学中心であり、双方のレンズ軸は、各像中心における各画像面に直角にそれぞれ突出している、各像中心は、それぞれ、（CX，CY，f）と（CX’，CY’，f’）（明らかにつき不図示）であり、ここで、(CX，CY)は、画像面の原点であり、fは、Oと画像面との距離である。同様に、(CX’，CY’)は、画像面の原点であり、f’は、O’と画像面との距離である。
【０１４９】
双方のカメラは、対象物（不図示）上の共通の点Ｍを見ている。Ｍは、双方のカメラ画像に点m、m’として投影している。
【０１５０】
空間においてＭがどこにあるかを見つけるために、O、O’をそれぞれ起点とし、それぞれのカメラの像点m、m’を通る２つの直線がそれぞれ伸ばされている。Mは、双方の直線の交点として計算される。
【０１５１】
三次元の精度は、以下のものの正確な知見に依存する：
１．  光学中心OとO’
２．  焦点距離fとf’
３．  像中心(CX，CY)と(CX’，CY’)
４．  レンズ軸の向きZC とZC’
５．  像点mとm’の正確さ
６．  OMとO’Mとの交点
三次元遠隔測定の正確さに関する最初の４つの要件は、カメラの校正を通して見つけられる、５番目の要件は、サブピクセルの画像の特徴抽出によって見つけられる。最後の要件は、三角測量の三次元の復元そのものである。
【０１５２】
最初の４つ、すなわち、光学中心OとO’、焦点距離fとf ’、像中心(CX，CY)と(CX’，CY’)、およびレンズ軸の向きZCとZC’の上述の誤差依存性は、カメラモデルの発見された上述のバイアスの影響を受ける。
【０１５３】
傾き軸推定は、焦点距離ｆについて非常に小さい誤差を生ずる一方、像中心(CX，CY)と焦点OとO’に大きなバイアスを生ずる。OとO’の位置がずれているので、Ｍを見つけるための三角測量は、系統的な三次元誤差を与える。提案する校正の例によれば、光学中心OとO’の２画素の誤差は、像点mとm’のいかなる測定誤差をも支配する、なぜなら我々は、それらを１／４画素の精度で取得できたからである。
【０１５４】
特徴点（mとm’）抽出は、エッジの向きのバイアスの影響を受け、コーナー検出のバイアスは、校正において処理されなければならない。
【０１５５】
そして、最終的に、古典的な特異値分解（SVD）アプローチが、その安定性とスピードを目的に、実行された。２つの直線が空間で交差する保証は何らされない。それ故、Ｍは、双方の直線が最も近くなる空間中の点として見つけられる。
【０１５６】
我々の研究の過程で、精度に影響する幾つかのバイアス源が、主要な原因であるカメラモデルのバイアスとともに、測定された。バイアス源は、以下のものを含んでいる：
−  カメラ／レンズ  モデル        （像中心(CX，CY)における２画素誤差）
−  サブピクセルのエッジの向きのバイアス    （１／４画素のエッジシフト）
−  サブピクセルのコーナー検出バイアス  （１／４画素のコーナーずれ）
−  未考慮の色収差                      （色に関する１／２画素のエッジシフト）
−  十分に補償されていない幾何学的収差  （容易に検出できない１／２画素の除去できない湾曲）
−  サブピクセルレベルでのＪＰＥＧ画像フィルタリング  （ＪＰＥＧ質パラメータによって可変）
カメラモデルのバイアスとは別に、たいていのバイアス源は、特徴点抽出の誤差を生ずる。これらのバイアス源を除去することは利点の蓄積となる。広角のマイクロレンズを備えた低解像度のベイヤ・パターンカメラからでさえ、単にカメラの内部モデルを変更することによって10-10 mm の精度でｆを得ることは、大幅な改良を示し、今まで何故正確なズームレンズモデルが不可能であったのかを説明する。
【０１５７】
３．２  モデルのバイアス：全体とズームレンズ
上述のように、すべてのレンズパラメータは、傾き軸推定と称されるカメラの内部モデルのバイアスによって「汚染」されている。当該バイアスは、傾き推定を、カメラの三次元内部画像面の正確な透視モデルに変更することによって除去できる。
【０１５８】
ステレオカメラ若しくは移動カメラに基づく三次元の三角測量において、影響は、画像スケールと像中心とが悪いので、三角測量がシフトされることである。
【０１５９】
表１に描かれた例は、レンズ収差パラメータは、小さく見積もられており、樽形収差を意味する負号のk1を伴うことも示す。複数の画像をつなぎ合わせて地図を作るときには、それは画像から画像への増大する湾曲を生ずる。
【０１６０】
カメラは変倍された寸法を与えるので、範囲と照準の測定値もまたバイアスされるとともに、焦点距離ｆの誤差の割合に関連づけられる。
【０１６１】
それは、また、ズームレンズカメラの正確なモデル化を妨げる。ズームレンズにおいて、焦点Oは、レンズ軸ZCに沿って移動する。校正に基づいて、画像面に対して直角にｆ離れた像中心(CX，CY)を知ることによって、Ｏが見つけられる。提案の例は、これらのパラメータにおける系統的なバイアスを示す。レンズ機構における芯振れを考慮すると、芯振れはレンズ軸ZCを動かすので、バイアスがさらに悪化する。
【０１６２】
カメラモデルに対して、提案する修正をしない場合、ズームレンズのモデル化は不可能になる。
【０１６３】
ズームレンズカメラのモデル化は、空間における焦点Ｏの変位のプロットを要する。理想のズームレンズは、レンズ軸ZC上の直線に沿って移動するＯを有し、f=1の入射平面も移動する。メカ的な組み立て誤差が発生すると、直ちに、点Ｏの直線変位関係も崩れる。ズームレンズのメカ的な品質を評価する唯一の方法は、それ故、像中心(CX，CY)とfの正確な知見に依存する。
【０１６４】
メカ的な上質の挙動は、また、ズームレンズの矛盾点：すなわち、レンズ機構における組み立て公差のために精度を失うという代償を払って、必要時に追加的な精度を得るためにズーム拡大することである。
【０１６５】
３．３  幾何学的収差の除去例
ここで図１４を参照すると、上述の予め校正されたテストカメラを用いるとともに、レンズの幾何学的収差が方程式（１６）のように表現されている提案するアルゴリズムに基づいて、どのように画像からレンズ収差が除去されるのかを図１４は示している。色収差は、白黒画像上では見ることができない。
【０１６６】
３．４  色収差
次に、焦点距離４ｍｍのCosmicar（登録商標）のＣマウントレンズの色収差を図示する図１５を参照する。一旦、真の像中心(CX，CY)が判ると、色収差がモデル化できる。たいていの画像において、被写体が完全な白黒でなく、カラーカメラで撮影されない場合は、色収差は殆ど見られない。非特許文献２は、各ＲＧＢカラーチャンネルがそれぞれ独立にモデル化されているモデルを提供する。
【０１６７】
図１５において、色収差によるターゲットの変位は、５０倍に拡大されて示されている。ターゲットの各位置は、赤、緑、および青（RGB）のカメラのカラーチャンネルに対して示されていおり、３つの集合に分類されている。‘x’若しくは十字のマーカー記号は、青色でのターゲットの抽出を示し、‘+’若しくはプラス符号のマーカー記号は、赤色でのターゲットの抽出を示し、ドット若しくは点のマーカー記号は、緑色でのターゲットの抽出を示している。可視スペクトルの拡がりは、緑色ターゲットに対して赤色ターゲットの中心を外側に、青色ターゲットの中心を内側に配置する。図１５のグラフは、ほとんどが径方向の挙動を示す。各想像線は、座標(500，400)の近くに円で囲まれたプラス符号のマーカー記号により示される像中心に向けて整列するどのターゲット位置に対しても赤、緑、および青の中心をそれぞれ接続する。
【０１６８】
図１６と図１７にそれぞれ示される次の２つのグラフは、予想されるように、縦座標の原点(0，0)から始まっており、青と赤の双方の色収差が像中心において零であることを示している。レンズの理論上の挙動から予想されるように、色収差は、像中心において零となるべきである。
【０１６９】
青色収差と赤色収差の双方が、像中心から径方向の異なる各距離においてピーク値をそれぞれ有している。±１／２画素より大きいものから±１／８画素未満のものまで、色収差はモデル化され得る。
【０１７０】
像中心(CX，CY)から設定される極座標において、考慮されていない色収差が±１／２画素の誤差を、対象物の色が変わるか、若しくは光源のスペクトルが変わるエッジ位置で生ずる。これは、エッジ検出が色に対してバイアスされるので、ベイヤ・パターンのカラー画像からＲＧＢを抽出する際には注意しなければならないことを強調している。
【０１７１】
３．５  ベイヤ・パターンの復元
ここで、図１８を参照すると、ベイヤ・パターンのカラーカメラは、Ｒ、Ｇ、若しくはＢが前に付いた図１８の画素番号で示される赤、緑、若しくは青の各画素に対して１つのカラー信号を付与する。失われたカラー情報は、隣接画素の情報を用いて補間される。
【０１７２】
最も正確なベイヤ・パターンの補間方式は、失われたＲＧＢ情報を回復させるためにエッジ検出を用いる。正確なベイヤ・パターンの復元は不連続性を避ける必要が有るので、エッジを越える補間はできない。
【０１７３】
２段階処理において、最初に、失われたＧ画素値がＢとＲの画素において計算される。例えば、赤画素Ｒ１３において、失われたＧ１３の値は、次のように計算される：
もしもエッジが水平であれば
(G12+G14)/2  (R13 > ( R3 +R23)/2)                    (11)
もしもエッジが垂直であれば
(G8 +G18)/2  (R13 > (R11+R15)/2)                    (12)
そうでなければ
(G12+G8+G14+G18)/4                                  (13)
ステップ２において、ＢとＲのエッジがＧエッジと同じ画像面の場所で幾何学的に見つけられると仮定して、失われたＢ値およびＲ値が、エッジ検出のために既知のＧを用いて計算される。
【０１７４】
レンズには色収差があるので、ベイヤ・パターンの復元は、Ｂ画素からＧ画素、Ｒ画素にスキャンする際に「色シフト」するエッジ位置を補償するように適合することを必要とする。
【０１７５】
３．６  光学系設計のトレードオフ
監視、三次元遠隔測定法、およびスキャナーに関して、カメラ校正のバイアスを除去する必要性が示された。当該技術の他の重要なものは、以下を含むが、これらに限定されない：
１．  オープン統合アーキテクチャを構築するためのソフトウェアによるアプローチ；
２．  広角レンズの使用の許容、若しくはレンズサイズの削減；
３．  ズームレンズカメラのモデル化の許容；
４．  計算速度が速く、損失のない画像圧縮の追加する画像の幾何学的収差および色収差の補正アルゴリズム；
５．色収差により生ずるベイヤ・パターンの復元誤差の除去。
【０１７６】
ソフトウェアが、カメラのハードウェア性能を越えて精度を向上できる唯一の戦略であると思われることに留意されたい。
【０１７７】
イネーブラとして、当該技術は、以下を許容する：
・精度を損なうことなくカメラの視野角を増加させる広角レンズの使用。１／３インチＣＣＤとf = 4mmレンズとの組合せは、９０度の視野角を与える。
・色収差のモデル化と、スペクトルにわたるサブピクセルのエッジ測定を加えることによるカメラの低解像度の補償。
・小型化：我々は、マイクロレンズを使用する校正と、略水素分子の大きさである10-10ｍｍの精度の焦点距離の評価とを成し遂げた。
・ＳＷＩＲ、カラー合成画像、レーダー、およびＬＩＤＡＲ間のセンサの融合：正確な融合を達成するために、各画像スケールと像中心が知られる必要が有り、画像の収差は除去される。
【０１７８】
デジタル画像の遅れは、４対１の低減が望ましい提案される幾何学的収差の除去を行う観察者に吐き気を催させる。校正バイアスに基づく除去できない３Ｄ誤差もまた、頭痛、若しくはコンピュータ関連の病気などの人の不快感の原因となる。兵士用ビジョンのための視野の増幅のテストは、画像合成の実際の１／４秒の遅れは、人に吐き気をおこし得ると結論づける。
【０１７９】
解決手段は、実装されたソフトウェアであるので、クロスプラットフォームに依存しなくなる。
【０１８０】
低解像度画像において、サブピクセルのエッジ抽出とプロットとは、人の脳が画像を理解する助けになる。低解像度のSWIR画像は、高解像度のカラー画像と融合され得る。
【０１８１】
拡張現実において、コンピュータ生成画像は、理想的な透視と既知の焦点距離とを有している。コンピュータ生成画像は、ｆの設定値に基づいて生成されており、完全にピンホールであるので、収差のためにカメラ画像を修正する必要も、合成画像と同じスケールに当てはめる必要もない。
【０１８２】
衛星からの地球の観測と監視において、どのレンズも、ある程度のレベルの収差を示すであろう。地球の大気は、また、レンズ収差が正確に分かっているときにのみ、補償可能な収差を加える。画像をつなぎ合せるときに、十分に補償されていない幾何学的収差は、湾曲を増加させ、傾き軸推定により生ずるバイアスされた透視は形状の変形、すなわち、直角度の喪失、鉛直度の喪失を生ずる。
【０１８３】
サブピクセルのエッジ抽出は、飛び抜けて、最も効果的な画像圧縮方法である。画像のレンズ収差の補正と、ＪＰＥＧの改善とによって、３０％増加された損失のない画像圧縮が示された。
【０１８４】
提案されたアプローチは、ズームレンズの遠隔測定法に望ましいものであり、広角レンズのアプリケーションにおいて速度と精度とを増加させるとともに、２つの方法でシステムの小型化を可能とする。小型化は、第１に、より小さいレンズ系に基づいて追加の正確さを付与することにより可能とされ、第２に、光学系の簡素化を可能とする、ソフトウェアを介したフィルタリングによって可能とされる。
【０１８５】
これは、精度、速度、コスト、大きさ、重量、メンテナンス、およびアップグレード性のための最良のトレードオフを提供する。
【０１８６】
４．０  結論
その機器よりも正確な自動システムは無い。知的システム（IS）において、デジタルカメラを測定器として使用するためには、当該カメラの校正が必要である。
【０１８７】
市販のレンズは、焦点距離ｆに１０％の公差を有し得るので、追加される精度は、ソフトウェアを通してのみ達成される、そしてはソフトウェアは、サブピクセルレベルでレンズ収差を補償する唯一の手段である。
【０１８８】
傾き軸推定は大きなバイアスを生じるので、カメラの画像面の三次元形状：すなわち、水平方向と垂直方向の画像スケールが等しく直角であること、を維持する画像面の透視モデルに置き換えられる必要が有る。像中心がずれているため、傾き軸推定は、三次元の三角測量に現れる校正バイアスを導き入れてしまう。上述の例では、２画素の像中心のバイアスが、三角測量処理における他の全ての誤差を支配する、何故なら、画像の特徴点は、１／４画素の精度で抽出されるからである。
【０１８９】
幾つかのサブピクセルのバイアスが生じ得るため、校正のための画像の特徴点の抽出においては、注意する必要が有る。サブピクセルのバイアス源は、以下のものを含むが、限定されるわけではない：
−サブピクセルのエッジの位置と向きとのバイアス；
−サブピクセルのコーナー検出バイアス；
−考慮されていない色収差；
−十分に補償されていない幾何学的収差；
−サブピクセルレベルでのJPEGの画像フィルタリング。
【０１９０】
ズームレンズのレンズ焦点の変位を特定するためには、カメラの内部画像面に関する透視モデルが必要である。ソフトウェアによる補正手法は、広角レンズのアプリケーションにおいて速度と精度を増大させ、２つの方法でシステムの小型化を可能にする。小型化は、第１に、より小さいレンズ系に基づいて追加の正確さを付与することにより可能とされ、第２に、光学系の簡素化を可能とする、ソフトウェアを介したフィルタリングによって可能とされる。ソフトウェアによるモデル／校正は、ハードウェアの制限を超えて、カメラの性能を向上させるための唯一の手法である。
【０１９１】
ブロック図において、異なるデータ信号接続を介して互いに通信し、個別の各構成要素を含む各グループとして図示されているが、本実施形態はハードウェアとソフトウェア構成要素との組合せによって提供され、幾つかの構成要素は、ハードウェア若しくはソフトウェアシステムの所定の関数若しくは操作により実装され、図示されているデータ経路の多くは、コンピュータアプリケーション若しくはオペレーティングシステム内でのデータ通信によって実装されているとことが、当業者によって理解されるであろう。図示されている構成は、本実施形態の教示効率のために、このように与えられている。
【０１９２】
本発明は、方法として実施可能であり、システムおよび／若しくはコンピュータが読取り可能な記憶媒体において具現化され得ることに留意すべきである。上述した本発明の実施形態は、例示のみを目的としている。それ故、本発明の範囲は、添付の特許請求の範囲によってのみ限定される。
【図１】
2019149809.tif 000056
【図２】
2019149809.tif 000057
【図３】
2019149809.tif 000058
【図４】
2019149809.tif 000059
【図５】
2019149809.tif 000060
【図６】
2019149809.tif 000061
【図７】
2019149809.tif 000062
【図８ａ】
2019149809.tif 000063
【図８ｂ】
2019149809.tif 000064
【図８ｃ】
2019149809.tif 000065
【図８ｄ】
2019149809.tif 000066
【図９ａ】
2019149809.tif 000067
【図９ｂ】
2019149809.tif 000068
【図１０】
2019149809.tif 000069
【図１１】
2019149809.tif 000070
【図１２】
2019149809.tif 000071
【図１３】
2019149809.tif 000072
【図１４】
2019149809.tif 000073
【図１５】
2019149809.tif 000074
【図１６】
2019149809.tif 000075
【図１７】
2019149809.tif 000076
【図１８】
2019149809.tif 000077
【手続補正書】
【提出日】令和1年6月7日(2019.6.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
校正と画像補正とを行う際に撮像装置をモデリングするために使用される、コンピュータによって実現される方法であって、前記方法は以下のものを備える：
前記撮像装置の焦点に原点を有する第１の３Ｄ直交座標系を定義すること、ただし、前記第１の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びている；
前記焦点から単位距離である１だけ離れた原点を有する、第２の３Ｄ直交座標系を定義すること、ただし、前記単位距離である１は、前記第２の３Ｄ直交座標系のスケール単位において定義されており、前記第２の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第２の３Ｄ直交座標系の第２軸および第３軸は、前記第１の３Ｄ直交座標系の第２軸および第３軸にそれぞれ実質的に平行であり、それによって前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸は、前記視線に対して直角な実スケール面を規定しており；
前記焦点から焦点距離だけ離れた原点を有する、第３の３Ｄ座標系を定義すること、ただし、前記第３の３Ｄ座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第３の３Ｄ座標系の第２軸および第３軸は、前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸の方向に対して相対的に第１と第２の角度だけ傾いており、それによって前記第３の３Ｄ座標系の前記第２軸および前記第３軸は、前記視線に対して相対的に非直角な画像面を規定しており；
前記撮像装置によってキャプチャされた実世界の３Ｄオブジェクトの点に関連づけられた３Ｄ座標を受け取ること；
前記実スケール面への前記点の投影を計算しそれによって第１の平面座標を得るとともに、前記画像面への前記点の投影を計算しそれによって第２の平面座標を得ること；および
前記３Ｄオブジェクトの前記点に対応する像点の位置を示す前記第２の平面座標を出力すること；
ここにおいて、
受け取った３Ｄ座標が[x y z 1]Tであり、前記３Ｄオブジェクトの前記点の前記実スケール面への投影が、
【数１】
2019149809.tif 000078
のように同次座標において計算され、ここにおいて
2019149809.tif 000079
は等価スケール演算子であり、Ｐ1は前記第１の３Ｄ直交座標系についての前記実スケール面への投影演算子であり、
前記３Ｄオブジェクトの前記点の前記画像面への投影は、
【数２】
2019149809.tif 000080
のように同次座標において計算され、ここにおいてＰfは前記画像面への投影演算を定義しており、ｆは焦点距離であり、αは前記第１の角度であり、βは前記第２の角度であり、Ｒ（ｘ，α）は前記画像面の軸ｘに関するα回転行列であり、前記軸ｘは前記α回転前における前記第２の３Ｄ直交座標系の前記第２軸に実質的に平行であるように定義され、Ｒ（ｙ，β）は前記画像面の軸ｙに関するβ回転行列であり、前記軸ｙは前記β回転前における前記第２の３Ｄ直交座標系の前記第３軸に実質的に平行であるように定義され、前記角度αだけ回転した前記軸ｘに対して相対的に前記β回転が実行されるように前記α回転が右端で計算され、これらにおいて
h11 = cosβ，
h12 = sinβ sinα，
h13 = sinβ cosα，
h22 = cosα，
h23 = -sinα，
h31 = -sinβ，
h32 = cosβ sinα，および
h33 = cosβ cosα
であり、
前記実スケール面と前記画像面との間のホモグラフィーＨを、
【数３】
2019149809.tif 000081
のように決定することをさらに備え、ここにおいてｈ31およびｈ32は前記画像面のｘおよびｙスケールに透視補正を適用する非ゼロ要素であり、前記第２の平面座標(x’’，y’’) は前記実スケール面の前記点の画像が歪んだ位置(x’，y’)についてのホモグラフィック変換であり、前記ホモグラフィック変換は、
【数４】
2019149809.tif 000082
のように表現され、ここにおいて
u = f(cosβ x’+ sinβ sinα y’+ sinβ cosα)，
v = f(cosα y’- sinα)，
w = -sinβ x’+ cosβ sinα y’+ cosβ cosα，
であって 、(CX，CY) は前記第３の３Ｄ座標系での前記原点の位置である。
【請求項２】
請求項１の方法であって、前記実スケール面への前記点の前記投影が、外部から前記撮像装置のレンズシステムへの入射（entry）を規定（establish）するとともに、前記撮像装置の外部モデルと内部モデルとのうち外部モデルのみを用いた投影となるように前記第２の３Ｄ直交座標系が規定され、前記画像面への前記点の前記投影が前記レンズシステムからの出力を規定するとともに、前記撮像装置の内部モデルを用いた投影となるように前記第３の３Ｄ座標系が規定される、方法。
【請求項３】
請求項１の方法であって、
前記実スケール面における前記撮像装置のレンズ収差を補償することをさらに備え、当該補償は、
r' = r + k1 r3 + k2 r5 + …，
のように定義されたレンズ収差補正モデルを適用することを備え、ここにおいて、前記第１の平面座標は前記実スケール面上の前記点の画像の歪みがない位置(x，y)を極座標(r，θ)で表現したものを備え、ここにおいて r2=x2+y2 および tanθ = y/xであり、xとyのうち少なくとも１つは非零であり、 (x’，y’) は前記画像面での前記点の投影前の前記レンズの出力において歪んだ位置(x，y)を表現しており、r’は (x’，y’)に基づいて計算され歪んだラジアル距離であり、そしてk1 および k2は前記レンズの幾何学的収差パラメータである、方法。
【請求項４】
校正と画像補正との際に撮像装置をモデリングするために使用されるシステムであって、前記システムは、以下のものを備える：
メモリ；
プロセッサ；および
前記メモリに格納され、前記プロセッサによって以下のことを実行可能な少なくともひとつのアプリケーション、
前記撮像装置の焦点に原点を有する第１の３Ｄ直交座標系を定義すること、ただし、前記第１の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びている；
前記焦点から単位距離である１だけ離れた原点を有する、第２の３Ｄ直交座標系を定義すること、ただし、前記単位距離である１は、前記第２の３Ｄ直交座標系のスケール単位において定義されており、前記第２の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第２の３Ｄ直交座標系の第２軸および第３軸は、前記第１の３Ｄ直交座標系の第２軸および第３軸にそれぞれ実質的に平行であり、それによって前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸は、前記視線に対して直角な実スケール面を規定しており；
前記焦点から焦点距離だけ離れた原点を有する、第３の３Ｄ座標系を定義すること、ただし、前記第３の３Ｄ座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第３の３Ｄ座標系の第２軸および第３軸は、前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸の方向に対して相対的に第１と第２の角度だけ傾いており、それによって前記第３の３Ｄ座標系の前記第２軸および前記第３軸は、前記視線に対して相対的に非直角な画像面を規定しており；
前記撮像装置によってキャプチャされた実世界の３Ｄオブジェクトの点に関連づけられた３Ｄ座標を受け取ること；
前記実スケール面への前記点の投影を計算しそれによって第１の平面座標を得るとともに、前記画像面への前記点の投影を計算しそれによって第２の平面座標を得ること；および
前記３Ｄオブジェクトの前記点に対応する像点の位置を示す前記第２の平面座標を出力すること；
ここにおいて、前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、
前記３Ｄ座標[x y z 1]Tを受け取ることと、前記３Ｄオブジェクトの前記点の前記実スケール面への投影を、
【数５】
2019149809.tif 000083
のように同次座標において計算することが可能であり、ここにおいて
2019149809.tif 000084
は等価スケール演算子であり、Ｐ1は前記第１の３Ｄ直交座標系についての前記実スケール面への投影演算子であり、
前記３Ｄオブジェクトの前記点の前記画像面への投影が、
【数６】
2019149809.tif 000085
のように同次座標において計算され、ここにおいてＰfは前記画像面への投影演算を定義しており、ｆは焦点距離であり、αは前記第１の角度であり、βは前記第２の角度であり、Ｒ（ｘ，α）は前記画像面の軸ｘに関するα回転行列であり、前記軸ｘは前記α回転前における前記第２の３Ｄ直交座標系の前記第２軸に実質的に平行であるように定義され、Ｒ（ｙ，β）は前記画像面の軸ｙに関するβ回転行列であり、前記軸ｙは前記β回転前における前記第２の３Ｄ直交座標系の前記第３軸に実質的に平行であるように定義され、前記角度αだけ回転した前記軸ｘに対して相対的に前記β回転が実行されるように前記α回転が右端で計算され、これらにおいて
h11 = cosβ，
h12 = sinβ sinα，
h13 = sinβ cosα，
h22 = cosα，
h23 = -sinα，
h31 = -sinβ，
h32 = cosβ sinα，および
h33 = cosβ cosα
であり、
前記実スケール面と前記画像面との間のホモグラフィーＨを、
【数７】
2019149809.tif 000086
のように決定することが可能であり、ここにおいてｈ31およびｈ32は前記画像面のｘおよびｙスケールに透視補正を適用する非ゼロ要素であり、前記第２の平面座標(x’’，y’’) は前記実スケール面の前記点の画像の歪んだ位置(x’，y’)についてのホモグラフィック変換であり、前記ホモグラフィック変換は、
【数８】
2019149809.tif 000087
のように表現され、ここにおいて
u = f(cosβ x’+ sinβ sinα y’+ sinβ cosα)，
v = f(cosα y’- sinα)，
w = -sinβ x’+ cosβ sinα y’+ cosβ cosα，
であって 、(CX，CY) は前記第３の３Ｄ座標系での前記原点の位置である。
【請求項５】
請求項４のシステムであって，前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、前記実スケール面への前記点の前記投影が外部から前記撮像装置のレンズシステムへの入射（entry）を規定（establish）するとともに、前記撮像装置の外部モデルと内部モデルとのうち外部モデルのみを用いた投影となるように前記第２の３Ｄ直交座標系を規定することと、前記画像面への前記点の前記投影が前記レンズシステムからの出力を規定するとともに、前記撮像装置の内部モデルを用いた投影となるように前記第３の３Ｄ座標系を規定すること、とが可能なシステム。
【請求項６】
請求項４のシステムであって，前記少なくともひとつのアプリケーションが前記プロセッサによって実行されて、
前記実スケール面における前記撮像装置のレンズの収差を補償することが可能であり、当該補償は、
r' = r + k1 r3 + k2 r5 + …，
のように定義されたレンズ収差補正モデルを適用することを備え、ここにおいて、前記第１の平面座標は前記実スケール面上の前記点の画像の歪みがない位置(x，y)を極座標(r，θ)で表現したものを備え、ここにおいて r2=x2+y2 および tanθ = y/xであり、xとyのうち少なくとも１つは非零であり、 (x’，y’) は前記画像面での前記点の投影前の前記レンズの出力において歪んだ位置(x，y)を表現しており、r’は (x’，y’)に基づいて計算され歪んだラジアル距離であり、そしてk1 および k2は前記レンズの幾何学的収差パラメータである、システム。
【請求項７】
請求項４のシステムであって，前記撮像装置が、ズームレンズカメラ、近赤外撮像装置、短波長赤外撮像装置、長波長赤外撮像装置、レーダ装置、光検出測距装置、パラボラミラー望遠イメージャ、外科的内視鏡カメラ、コンピュータ断層撮影走査装置、サテライト撮像装置、ソナー装置、およびマルチスペクトルセンサフュージョンシステムのうちのひとつを備える、システム。
【請求項８】
プロセッサによって実行されることによって、校正と画像補正との際に撮像装置をモデリングすることを可能なプログラムコードが格納されたコンピュータ読み取り可能な媒体であって、前記プログラムコードは、以下のことを可能とする：
前記撮像装置の焦点に原点を有する第１の３Ｄ直交座標系を定義すること、ただし、前記第１の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びている；
前記焦点から単位距離である１だけ離れた原点を有する、第２の３Ｄ直交座標系を定義すること、ただし、前記単位距離である１は、前記第２の３Ｄ直交座標系のスケール単位において定義されており、前記第２の３Ｄ直交座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第２の３Ｄ直交座標系の第２軸および第３軸は、前記第１の３Ｄ直交座標系の第２軸および第３軸にそれぞれ実質的に平行であり、それによって前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸は、前記視線に対して直角な実スケール面を規定しており；
前記焦点から焦点距離だけ離れた原点を有する、第３の３Ｄ座標系を定義すること、ただし、前記第３の３Ｄ座標系の第１軸は、前記撮像装置の視線の方向に沿って伸びており、前記第３の３Ｄ座標系の第２軸および第３軸は、前記第２の３Ｄ直交座標系の前記第２軸および前記第３軸の方向に対して相対的に第１と第２の角度だけ傾いており、それによって前記第３の３Ｄ座標系の前記第２軸および前記第３軸は、前記視線に対して相対的に非直角な画像面を規定しており；
前記撮像装置によってキャプチャされた実世界の３Ｄオブジェクトの点に関連づけられた３Ｄ座標を受け取ること；
前記実スケール面への前記点の投影を計算しそれによって第１の平面座標を得るとともに、前記画像面への前記点の投影を計算しそれによって第２の平面座標を得ること；および
前記３Ｄオブジェクトの前記点に対応する像点の位置を示す前記第２の平面座標を出力すること；
ここにおいて、
受け取った３Ｄ座標が[x y z 1]Tであり、前記３Ｄオブジェクトの前記点の前記実スケール面への投影が、
【数９】
2019149809.tif 000088
のように同次座標において計算され、ここにおいて
2019149809.tif 000089
は等価スケール演算子であり、Ｐ1は前記第１の３Ｄ直交座標系についての前記実スケール面への投影演算子であり、
前記３Ｄオブジェクトの前記点の前記画像面への投影は、
【数１０】
2019149809.tif 000090
のように同次座標において計算され、ここにおいてＰfは前記画像面への投影演算を定義しており、ｆは焦点距離であり、αは前記第１の角度であり、βは前記第２の角度であり、Ｒ（ｘ，α）は前記画像面の軸ｘに関するα回転行列であり、前記軸ｘは前記α回転前における前記第２の３Ｄ直交座標系の前記第２軸に実質的に平行であるように定義され、Ｒ（ｙ，β）は前記画像面の軸ｙに関するβ回転行列であり、前記軸ｙは前記β回転前における前記第２の３Ｄ直交座標系の前記第３軸に実質的に平行であるように定義され、前記角度αだけ回転した前記軸ｘに対して相対的に前記β回転が実行されるように前記α回転が右端で計算され、これらにおいて
h11 = cosβ，
h12 = sinβ sinα，
h13 = sinβ cosα，
h22 = cosα，
h23 = -sinα，
h31 = -sinβ，
h32 = cosβ sinα，および
h33 = cosβ cosα
であり、
前記実スケール面と前記画像面との間のホモグラフィーＨを、
【数１１】
2019149809.tif 000091
のように決定することをさらに備え、ここにおいてｈ31およびｈ32は前記画像面のｘおよびｙスケールに透視補正を適用する非ゼロ要素であり、前記第２の平面座標(x’’，y’’) は前記実スケール面の前記点の画像が歪んだ位置(x’，y’)についてのホモグラフィック変換であり、前記ホモグラフィック変換は、
【数１２】
2019149809.tif 000092
のように表現され、ここにおいて
u = f(cosβ x’+ sinβ sinα y’+ sinβ cosα)，
v = f(cosα y’- sinα)，
w = -sinβ x’+ cosβ sinα y’+ cosβ cosα，
であって 、(CX，CY) は前記第３の３Ｄ座標系での前記原点の位置である。