(57)【要約】      （修正有）【課題】撮像装置のモデリングプロセスを向上する。【解決手段】画像センサ及び光学系を含む撮像装置をモデリングする方法であって、光学系は光学系の入射瞳を画定する開口虹彩絞りを含み、撮像装置の所与のコンフィグレーションにおいて、像面と光学系に関して画像センサに共役するセンサ共役面との間の距離を表す第１の固有パラメータ、センサ共役面と入射瞳との間の距離を表す第２の固有パラメータ及び光学系の拡大倍率を表す第３の固有パラメータを含む、撮像装置の１組の特徴的な固有パラメータを推定するステップ２１と、第１の固有パラメータ及び第３の固有パラメータ、並びに第２の固有パラメータ及び第３の固有パラメータに応じて第１のモデリングデータ及び第２のモデリングデータをそれぞれ求めるステップ２２と、第２のモデリングデータ及び第３のモデリングデータに応じて撮像装置のモデルを確立するステップ２３とを含む。【選択図】図２
2018164249.tif 000002
【特許請求の範囲】
【請求項１】
画像センサ（２０）及び光学系（１０）を含む撮像装置をモデリングする方法であって、前記画像センサは前記光学系の像面（ＩＰ）内に配置され、前記光学系は前記光学系の入射瞳を画定する開口虹彩絞りを含む、方法において、前記撮像装置の所与のコンフィグレーションに関して、
−  前記像面（ＩＰ）と前記光学系に関して前記画像センサに共役するセンサ共役面（ＣＰ）との間の距離を表す第１の固有パラメータ（Ｚ）、
−  前記センサ共役面（ＣＰ）と前記入射瞳（ＥＰ）との間の距離を表す第２の固有パラメータ（Ｄ）、
−  前記光学系の拡大倍率を表す第３の固有パラメータ（Ｍ）
を含む、前記撮像装置の１組の特徴的な固有パラメータを求めること（２１）、
前記第１の固有パラメータ及び第３の固有パラメータ（Ｚ、Ｍ）に応じて第１のモデリングデータ（Ｐｘ）を求めること（２２）、
前記第２の固有パラメータ及び第３の固有パラメータ（Ｄ、Ｍ）に応じて第２のモデリングデータ（Ｐα）を求めること（２２）、及び
前記第２のモデリングデータ及び第３のモデリングデータ（Ｐｘ、Ｐα）に応じて得られる前記撮像装置のモデルに基づき、前記画像センサ（２０）上の関連する少なくとも像点を有する少なくとも３Ｄ点をマップすること
を含むことを特徴とする、方法。
【請求項２】
前記第１のモデリングデータは、前記像面（ＩＰ）と前記撮像装置の光軸（ＯＡ）上に配置される第１の不変投影点（ｐｘ）との間に定められる第１の不変距離Ｐｘを含み、前記第１の不変距離Ｐｘは以下の式：
【数１】
2018164249.tif 000013
を満たし、
Ｚは前記像面（ＩＰ）と前記センサ共役面（ＣＰ）との間の前記距離であり、
Ｍは前記光学系の前記拡大倍率である、請求項１に記載の方法。
【請求項３】
前記第２のモデリングデータは、前記像面（ＩＰ）と前記撮像装置の光軸（ＯＡ）上に位置する第２の不変投影点（ｐα）との間に定められる第２の不変距離Ｐαであり、前記第２の不変距離Ｐαは以下の式：
【数２】
2018164249.tif 000014
を満たし、
Ｄは前記センサ共役面（ＣＰ）と前記入射瞳（ＥＰ）との間の前記距離であり、
Ｍは光学系の前記拡大倍率である、請求項１に記載の方法。
【請求項４】
前記第２の固有パラメータ（Ｄ）は較正によって推定される、請求項１〜３の何れか一項に記載の方法。
【請求項５】
前記第２の固有パラメータ（Ｄ）は、前記１組の前記第１の固有パラメータ（Ｚ）及び前記像面（ＩＰ）と前記入射瞳（ＥＰ）との間の距離を表す第４の固有パラメータ（Ｅ）に応じて推定される、請求項１〜３の何れか一項に記載の方法。
【請求項６】
前記１組の特徴的な固有パラメータは、前記像面（ＩＰ）に対する前記光軸（ＯＡ）の位置を表す第５の固有パラメータを更に含む、請求項２〜５の何れか一項に記載の方法。
【請求項７】
前記１組の特徴的な固有パラメータは、前記入射瞳（Ｅ）の寸法を表す第６のパラメータを更に含む、請求項１〜６の何れか一項に記載の方法。
【請求項８】
前記撮像装置の前記所与のコンフィグレーションは、集束の設定、前記光学系の主平面と前記像面（ＩＰ）との間の距離の設定を含む群に属する設定を含む、請求項１〜７の何れか一項に記載の方法。
【請求項９】
コンピュータ又はプロセッサ上で実行されるとき請求項１〜８の少なくとも一項に記載の方法を実施するプログラムコード命令を含む、コンピュータプログラム製品。
【請求項１０】
請求項９に記載のコンピュータプログラム製品を記憶する、非一時的コンピュータ可読担体媒体。
【請求項１１】
画像センサ及び光学系を含む撮像装置をモデリングする装置であって、前記画像センサは前記光学系の像面（ＩＰ）内に配置され、前記光学系は前記光学系の入射瞳を画定する開口虹彩絞りを含む、装置において、前記撮像装置の所与のコンフィグレーションに関して、
−  前記像面（ＩＰ）と前記光学系に関して前記画像センサに共役するセンサ共役面（ＣＰ）との間の距離を表す第１の固有パラメータ（ｚ１）、
−  前記センサ共役面（ＣＰ）と前記入射瞳（Ｅ）との間の距離を表す第２の固有パラメータ（Ｄ）、
−  前記光学系の拡大倍率を表す第３の固有パラメータ（Ｍ）
を含む、前記撮像装置の１組の特徴的な固有パラメータを推定するように構成されている推定ユニットと、
前記第１の固有パラメータ及び第３の固有パラメータ（Ｚ、Ｍ）に応じて第１のモデリングデータ（Ｐｘ）を求めるように構成されている算出ユニットと、
前記第２の固有パラメータ及び第３の固有パラメータ（Ｄ、Ｍ）に応じて第２のモデリングデータ（Ｐα）を求めるように構成されている算出ユニットと、
前記第２のモデリングデータ及び第３のモデリングデータ（Ｐｘ、Ｐα）に応じて得られる前記撮像装置のモデルに基づき、前記画像センサ（２０）上の関連する少なくとも像点を有する少なくとも３Ｄ点をマップするように構成されているマッピングユニットと
を含むことを特徴とする、装置。
【請求項１２】
前記第１のモデリングデータは、前記像面（ＩＰ）と前記撮像装置の光軸（ＯＡ）上に配置される第１の不変投影点（ｐｘ）との間に定められる第１の不変距離Ｐｘを含み、前記第１の不変距離Ｐｘは以下の式：
【数３】
2018164249.tif 000015
を満たし、
Ｚは前記像面（ＩＰ）と前記センサ共役面（ＣＰ）との間の距離であり、
Ｍは前記光学系の前記拡大倍率である、請求項１１に記載の装置。
【請求項１３】
前記第２のモデリングデータは、前記像面（ＩＰ）と前記撮像装置の光軸（ＯＡ）上に位置する第２の不変投影点（ｐα）との間に定められる第２の不変距離Ｐαであり、前記第２の不変距離Ｐαは以下の式：
【数４】
2018164249.tif 000016
を満たし、
Ｄは前記センサ共役面（ＣＰ）と前記入射瞳（ＥＰ）との間の距離であり、
Ｍは光学系の前記拡大倍率である、請求項１１に記載の装置。
【請求項１４】
前記第２の固有パラメータ（Ｄ）は較正によって推定される、請求項１１〜１３の何れか一項に記載の装置。
【請求項１５】
前記第２の固有パラメータ（Ｄ）は、前記１組の前記第１の固有パラメータ（Ｚ）及び前記像面（ＩＰ）と前記入射瞳（ＥＰ）との間の距離を表す第４の固有パラメータ（Ｅ）に応じて推定される、請求項１１〜１３の何れか一項に記載の装置。
【請求項１６】
前記１組の特徴的な固有パラメータは、前記像面（ＩＰ）に対する前記光軸（ＯＡ）の位置を表す第５の固有パラメータを更に含む、請求項１２〜１５の何れか一項に記載の装置。
【請求項１７】
前記１組の特徴的な固有パラメータは、前記入射瞳（Ｅ）の寸法を表す第６のパラメータを更に含む、請求項１１〜１６の何れか一項に記載の装置。
【請求項１８】
前記撮像装置の前記所与のコンフィグレーションは、集束の設定、前記光学系の主平面と前記像面（ＩＰ）との間の距離の設定を含む群に属する設定を含む、請求項１１〜１７の何れか一項に記載の装置。
【請求項１９】
前記撮像装置によって撮像されるシーンのメトリック情報を求めるために、請求項１〜８の何れか一項に記載の方法によって確立される撮像装置のモデルの使用。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は撮像装置のモデリングに関する。
【０００２】
本開示は、排他的にではないが特に寸法測定応用及び三次元レンダリングを目的とする撮像装置をモデリングする方法に関する。
【０００３】
本開示では「撮像装置」又は「カメラ」は、画像センサ及びシーンの像を光センサ上に形成するために使用される光学系を含む光学撮像系を意味するものとする。
【背景技術】
【０００４】
この節は、以下に記載の及び／又は特許請求の範囲に記載の本原理の様々な態様に関係し得る技術の様々な側面を読者に紹介することを目的とする。この解説は、本原理の様々な態様をより良く理解するのを助けるための背景情報を読者に与えるのに有用だと考えられる。従って、これらの記述は従来技術の承認としてではなく、かかる観点から読まれるべきことを理解すべきである。
【０００５】
ここ何十年もの間、コンピュータグラフィックス及び仮想現実応用向けの三次元（「３Ｄ」）コンテンツのかなりの需要がある。画像ベースの３Ｄ再構築は、実際のオブジェクト又は実際のシーンの異なる視点から取得される１組の画像から、実際のオブジェクト又は実際のシーンの３Ｄ表現（即ち３Ｄモデル）を得ることを可能にする技法である。より広くは、１組の画像から、３Ｄ実空間基準（referential）内のそれらの画像上の可視点の二次元（「２Ｄ」）座標を求めることが狙いである。
【０００６】
従来の画像捕捉装置は３Ｄシーンから２Ｄ面（画像センサ）上への投影である画像を取得するので、取得プロセス中に深度情報が失われる。所与の像点に対応する３Ｄ点は視線（line of sight）上に制約される。従って、その線上のどの点が像点に対応するのか単一の画像から明らかにすることができない。異なる視点から取得される２つの画像を利用できる場合、２つの投影光線の交点として３Ｄ点の位置を見出すことができる。従って、３Ｄ表現を得るために例えば１対のデジタルカメラ等の立体撮像機器が通常使用される。
【０００７】
或るシーンの３Ｄ表現を複数の画像から作成すること（「逆投影プロセス」）は、実際のシーンから２Ｄ画像を得る（「順投影プロセス」）のと逆のプロセスである。従って、カメラが取得する２Ｄ画像からシーンの３Ｄ表現を推論するために、それらのカメラのそれぞれについて３Ｄシーンがどのように２Ｄ画像内にマップされるのかを理解する必要がある。カメラごとの画像形成プロセスについての厳密な説明が必要なのはそのためである。これをカメラ較正と呼ぶ。
【０００８】
カメラ較正は、シーンの３Ｄ点の３Ｄ座標と、画像内のそれらの点の投影（像点と呼ばれる）の２Ｄ座標との間の関係を求めることから成り立つ。これは画像ベースの３Ｄ再構築プロセスの開始点である。カメラ較正は、とりわけ寸法測定応用では取得画像から厳密なメトリック情報を得るための重要なステップである。実際、カメラの光学系（一般に「主レンズ」とも呼ばれる）は光学レンズの特定の構成に基づく複雑な多重レンズ系であり、この光学系によって引き起こされるデフォルト（例えば幾何学的歪み）を考慮する必要がある。
【０００９】
カメラの画像形成プロセスをモデリングするために、様々な既知の較正モデルが提案されてきた。それらのモデルの中に、ピンホールモデル（中心投影モデルとも呼ばれる）、薄肉レンズモデル、及び厚肉レンズモデルがある。
【００１０】
ピンホールモデルを使用して較正を行うことは、オブジェクト基準内のシーンの点の３Ｄ座標Ｐ（ｘ３ｄ，ｙ３ｄ，ｚ３ｄ）から、画像基準内に表わされるこの点に関連する画像の２Ｄ座標Ｉ（ｘ２ｄ，ｙ２ｄ）への移行を行うための変換を推定することで成り立つ。この変換は、モデルのパラメータを含む多次元行列形式で表すことができる。
【００１１】
カメラの較正モデルは、カメラの特徴的な固有パラメータによって定められる。寸法測定応用では、外的パラメータ、即ちオブジェクト座標系内のカメラの位置及び向きを知ることも必要であり得る。
【００１２】
但し、ピンホールモデルは画像センサ面の仮想的な位置に基づく。そのため、取得画像から物点群を再マップする逆投影プロセスは、物体面と仮想的な画像センサ面との間の距離を確認することを必要とする。このモデルは撮像系の幾何学的配置（センサ−レンズ−オブジェクトの三つ組の幾何学的配置）を考慮することができないので、逆投影プロセスは信頼できなくなる。
【００１３】
モデルの精度を改善するために、７個１組の固有パラメータを使用する、別の既知の較正モデルが提案されている。この既知の較正モデルは、カメラの開口虹彩絞り（一般に「開口絞り」とも呼ばれる）に関連する入射瞳及び射出瞳の位置を考慮に入れる。概して、開口虹彩絞りは光学系を通る光束の量を限定する。瞳は光学系の開口虹彩絞りの共役である。瞳は、それにより光束が光学系を通過する開口虹彩絞りによって限定される面に対応する。瞳はオブジェクト空間において「入射瞳」と呼ばれ、光学系の上流部分を通る開口虹彩絞りの像に対応する。瞳は像空間において「射出瞳」と呼ばれ、光学系の下流部分を通る開口虹彩絞りの像に対応する。
【００１４】
その既知のモデルに必要な７個１組のパラメータは、光学系の一次主平面及び二次主平面の位置、入射瞳及び射出瞳の位置、入射瞳及び射出瞳の大きさ、並びに二次主平面と像面との間の距離である。このモデルは、その一部が（一次主平面及び二次主平面の位置のように）厳密に評価するのが難しい多数のパラメータを手動で決定することを必要とする。光学系の光学式に関係なく、この種のモデルは実際には実装が複雑である。
【００１５】
従って、撮像装置のモデリングプロセスを向上させる需要がある。
【発明の概要】
【００１６】
本明細書での「一実施形態」、「或る実施形態」、「一実施形態例」への言及は、記載される実施形態が特定の特徴、構造、又は特性を含み得るが、全ての実施形態がそれらの特定の特徴、構造、又は特性を必ずしも含まない場合があることを意味する。更に、かかる語句は必ずしも同じ実施形態を指すものではない。更に、或る実施形態に関連して特定の特徴、構造、又は特性が記載される場合、明確に記載されていようがいまいが、かかる特徴、構造、又は特性を他の実施形態に関連して目指すことが当業者の知識の範囲内にあると考えられる。
【００１７】
本原理の特定の態様は、画像センサ及び光学系を含む撮像装置をモデリングする方法を提案し、画像センサは光学系の像面内に配置され、光学系は光学系の入射瞳を画定する開口虹彩絞りを含み、この方法は上記撮像装置の所与のコンフィグレーションに関して、
−  上記像面と光学系に関して画像センサに共役するセンサ共役面との間の距離を表す第１の固有パラメータ、
−  上記センサ共役面と入射瞳との間の距離を表す第２の固有パラメータ、及び
−  上記光学系の拡大倍率を表す第３の固有パラメータ
を含む、上記撮像装置の１組の特徴的な固有パラメータを推定するステップと、
上記第１の固有パラメータ及び第３の固有パラメータに応じて第１のモデリングデータを求めるステップと、
上記第２の固有パラメータ及び第３の固有パラメータに応じて第２のモデリングデータを求めるステップと、
上記第２のモデリングデータ及び第３のモデリングデータに応じて撮像装置のモデルを確立するステップと
を含む。
【００１８】
従ってこの特定の態様は、撮像装置をモデリングする単純且つ正確な方法を提供する。この方法は、撮像装置の限られた数の特徴的な固有パラメータを考慮し、従来技術の方法よりもモデルの確立方法を簡単にする巧妙な手法に依拠する。
【００１９】
特定の特徴によれば、第１のモデリングデータは、上記像面と上記撮像装置の光軸上に配置される第１の不変投影点との間に定められる第１の不変距離を含み、上記第１の不変距離は以下の式：
【数１】
2018164249.tif 000003
を満たし、
Ｚは上記像面と上記センサ共役面との間の距離であり、
Ｍは上記光学系の拡大倍率である。
【００２０】
特定の特徴によれば、第２のモデリングデータは、上記像面と撮像装置の光軸上に位置する第２の不変投影点との間に定められる第２の不変距離であり、上記第２の不変距離は以下の式：
【数２】
2018164249.tif 000004
を満たし、
Ｄは上記センサ共役面と入射瞳との間の距離であり、
Ｍは光学系の拡大倍率である。
【００２１】
特定の特徴によれば、第２の固有パラメータが較正によって推定される。
【００２２】
特定の特徴によれば、第２の固有パラメータが、上記組の第１の固有パラメータ及び上記像面と入射瞳との間の距離を表す第４の固有パラメータに応じて推定される。
【００２３】
特定の特徴によれば、１組の特徴的な固有パラメータが、像面に対する光軸の位置を表す第５の固有パラメータを更に含む。
【００２４】
特定の特徴によれば、１組の特徴的な固有パラメータが、入射瞳の寸法を表す第６のパラメータを更に含む。
【００２５】
特定の特徴によれば、上記撮像装置の所与のコンフィグレーションが、集束の設定、光学系の主平面と上記像面との間の距離の設定を含む群に属する設定を含む。
【００２６】
言葉の誤用により、光学系の主平面と像面との間の距離は一般に「焦点距離」と呼ばれる。しかしこの距離は、光学系が無限遠に焦点を合わせられる場合にのみ焦点距離に対応する。
【００２７】
別の態様では、本原理が、上記コンピュータ又はプロセッサ上で実行されるとき上記の方法を（その様々な態様の何れかによって）実施するプログラムコード命令を含む、コンピュータプログラム製品に関する。
【００２８】
別の態様では、本原理が、コンピュータ又はプロセッサによって実行されるとき上記の方法を（その様々な態様の何れかによって）コンピュータ又はプロセッサに実行させるプログラムを記憶する、非一時的コンピュータ可読担体媒体に関する。
【００２９】
別の態様では、本原理が画像センサ及び光学系を含む撮像装置をモデリングするモデリング装置に関し、画像センサは光学系の像面（ＩＰ）内に配置され、光学系は光学系の入射瞳を画定する開口虹彩絞りを含み、この装置は上記撮像装置の所与のコンフィグレーションに関して、
−  上記像面と光学系に関して画像センサに共役するセンサ共役面との間の距離を表す第１の固有パラメータ、
−  上記センサ共役面と入射瞳との間の距離を表す第２の固有パラメータ、及び
−  上記光学系の拡大倍率を表す第３の固有パラメータ
を含む、上記撮像装置の１組の特徴的な固有パラメータを推定するように構成されている推定ユニットと、
上記第１の固有パラメータ及び第３の固有パラメータに応じて第１のモデリングデータを求めるように構成されている算出ユニットと、
上記第２の固有パラメータ及び第３の固有パラメータに応じて第２のモデリングデータを求めるように構成されている算出ユニットと、
上記第２のモデリングデータ及び第３のモデリングデータに応じて撮像装置のモデルを確立するように構成されている確立ユニットと
を含むことを特徴とする。
【００３０】
有利には、この装置は、上記のモデリングのプロセス内で実行されるステップをその様々な態様の何れかによって実施する手段を含む。
【００３１】
別の態様では、本原理が、上記撮像装置によって撮像されるシーンのメトリック情報を求めるために、上記の方法に従ってその様々な態様の何れかによって確立される撮像装置のモデルを使用することに関する。
【００３２】
本原理の実施形態の他の特徴及び利点が、指示的且つ非網羅的な例として与える以下の説明及び添付図面から現れる。
【図面の簡単な説明】
【００３３】
【図１】従来の撮像装置の構造の単純化した例を示す。
【図２】本開示によるモデリング方法の特定の実施形態の流れ図である。
【図３】本開示の特定の実施形態による、撮像装置の投影モデルの確立の原理を示す単純化した概略図である。
【図４】本開示の特定の実施形態による、撮像装置の投影モデルの確立の原理を示す単純化した概略図である。
【図５】本開示の特定の実施形態による、処理装置の単純化した構造を示す。
【発明を実施するための形態】
【００３４】
本明細書の図面の全てにおいて、同一の要素を同じ参照番号によって示す。
【００３５】
添付図面に関して以下でより完全に説明するように、撮像装置をモデリングすることを本開示の一態様で提案する。但し、本開示は多くの代替形態によって実施することができ、本明細書に記載の実施形態に限定されるものとして理解されるべきではない。従って、本開示は様々な変更及び代替の形態の余地があり、一方、本開示の特定の実施形態を図中に例として示し、本明細書で詳細に説明する。但し、開示する特定の形態に本開示を限定する意図はなく、逆に本開示は特許請求の範囲によって定める本開示の趣旨及び範囲に含まれる全ての変更、等価物、及び代替の形態を範囲に含むことを理解すべきである。図面の説明の全体を通して同様の番号は同様の要素を指す。
【００３６】
本明細書では、様々な要素を説明するために第１のや第２の等の用語を使用する場合があるが、それらの要素はそれらの用語によって限定されるべきではないことも理解されよう。これらの用語は或る要素を別の要素と区別するためにのみ使用する。例えば、本開示の教示から逸脱することなしに第１の要素は第２の要素と呼ぶことができ、同様に第２の要素は第１の要素と呼ぶことができる。
【００３７】
明示的に説明されていなくても、本明細書の実施形態及び変形は、任意の組合せ又はサブコンビネーションにおいて用いることができる。
【００３８】
本開示を１つ又は複数の例に関して説明するが、本開示及び／又は添付の特許請求の範囲から逸脱することなしに、形態及び詳細に変更を加えても良いことを当業者なら理解されよう。
【００３９】
図１に概略的に示すように、撮像装置１００は、光学系１０（「主レンズ」とも呼ばれる）及び画像センサ２０を含む。
【００４０】
画像センサ２０は、光学系１０の像面ＩＰ内に配置され、例えばＣＣＤ（電荷結合素子）技術やＣＭＯＳ（相補型金属酸化膜半導体）技術を使用する。
【００４１】
光学系１０は、実際の３Ｄシーンの像を画像センサ１０上に形成するために、光学系１０の光軸ＯＡに沿って特定の構成に従って配置される１枚又は複数枚の光学レンズを含む。図１に例に基づき、光学系１０は４枚１組のレンズを含む。図示のレンズの枚数は、教示的説明のための非限定的な例に過ぎない。当然ながら、本原理の範囲から逸脱することなしに、より少ない又はより多い枚数のレンズを使用することができる。本原理の範囲から逸脱することなしに、あらゆるレンズ構成も使用され得る。
【００４２】
光学系１０は、光学系の入射瞳ＥＰを画定する開口虹彩絞り３０を更に含む。ＯＰと呼ぶ面は光学系１０の物体面である。
【００４３】
図２は、本開示の特定の実施形態による撮像装置をモデリングする方法を示す。この方法は、その原理を図５に関して以下で詳細に説明する処理装置によって実行される。
【００４４】
この特定の実施形態では、この方法が、撮像装置１００の二重不変点投影モデルを確立することを目的とする。このモデルは、限られた数の較正パラメータ及び光学系の関連する幾何学的配置から巧妙に確立される。このモデルは、シーンの点の３Ｄ座標と撮像装置１００の画像センサ２０上へのそれらの点の投影の２Ｄ座標との間の関係を作ることを可能にする（「順投影プロセス」とも呼ばれる）。
【００４５】
本原理をより良く理解するために、本方法の実装原理の概略的表現を示す図３に関して本方法を以下で説明する。
【００４６】
この方法を開始する前に、所与の撮像コンフィグレーションに従って撮像装置１００をまず設定する。このコンフィグレーションは、例えば集束距離や光学系の主平面とセンサ面との間の距離（用語の誤用により「焦点距離」とも呼ばれる）等の１組の設定によって特徴付けられる。
【００４７】
ステップ２１で、撮像装置の上記所与のコンフィグレーションに関して、処理装置が以下の１組の撮像装置１００の特徴的な固有パラメータ：
−  像面ＩＰとセンサ共役面ＣＰとの間の距離（以下「Ｚ」と呼ぶ）を表す固有パラメータ、
−  センサ共役面ＣＰと入射瞳ＥＰとの間の距離（以下「Ｄ」と呼ぶ）を表す固有パラメータ、
−  光学系１０の拡大倍率を表す固有パラメータ（以下「Ｍ」と呼ぶ）
を得る。
【００４８】
上記のセンサ共役面ＣＰとは、光学系１０に関して画像センサ２０に共役する面である。
【００４９】
距離パラメータＤは、通常の較正技法によって、例えば異なる位置に配置される較正チャート（例えばチェスボードパターンを有する）の画像を取得することに基づいて推定される。
【００５０】
拡大倍率パラメータＭは、通常の較正技法によって、例えば寸法が分かっている基準オブジェクトの画像を取得することに基づいて推定される。拡大倍率は定義上、オブジェクトの寸法と光学系１０によるそのオブジェクトの像との間の比率である。
【００５１】
距離パラメータＺは、遠隔測定法によって測定される。代替策として、距離パラメータＺは以下の式：
Ｚ＝Ｄ＋Ｅ
を使用して推定することができ、
距離の固有パラメータであるＤはセンサ共役面ＣＰと入射瞳ＥＰとの間の距離を表し、
固有パラメータであるＥは像面ＩＰと入射瞳ＥＰとの間の距離（通常の較正技法によって推定される）を表す。
【００５２】
従って、こうして得られるこの１組の固有パラメータ（Ｚ、Ｄ、Ｍ、及び場合によりＥ）は上記所与のコンフィグレーションに関連する。
【００５３】
第１の特定の実施形態によれば、１組の固有パラメータを取得する手段を含むように撮像装置１００自体が構成され、それらの固有パラメータはその後、有線伝送手段又は無線伝送手段によって処理装置に自動で与えられる。
【００５４】
第２の特定の実施形態によれば、較正によって取得された後、１組の固有パラメータを例えばマン−マシンインタフェースによって処理装置に手動で与えるのは利用者である。
【００５５】
ステップ２２で、処理装置が、ステップ２１で得た固有パラメータを使用して第１のモデリングデータ及び第２のモデリングデータを求める。
【００５６】
・第１のモデリングデータ
装置が以下の式：
【数３】
2018164249.tif 000005
に基づいて像面ＩＰまでの第１の不変距離（以下Ｐｘと呼ぶ）を求める。
Ｚは像面ＩＰとセンサ共役面ＣＰとの間の距離であり、
Ｍは光学系１０の拡大倍率である。
【００５７】
この第１の不変距離Ｐｘは、像面ＩＰと、撮像装置の光軸ＯＡ上に配置される第１の特性点ｐｘ（「第１の不変投影点」と呼ばれる）との間に含まれる。第１の不変距離Ｐｘは、像面ＩＰ（センサ面）に対する第１の不変投影点ｐｘの位置を知るために求められる。
【００５８】
・第２のモデリングデータ
装置が以下の式：
【数４】
2018164249.tif 000006
に基づいて像面ＩＰまでの第２の投影距離（以下Ｐαと呼ぶ）を求める。
Ｄはセンサ共役面ＣＰと入射瞳ＥＰとの間の距離であり、
Ｍは光学系１０の拡大倍率である。
【００５９】
この第２の不変距離Ｐαは、像面ＩＰと、撮像装置の光軸ＯＡ上に配置される第２の特性点ｐα（「第２の不変投影点」と呼ばれる）との間に含まれる。第２の不変距離Ｐαは、像面ＩＰ（センサ面）に対する第２の不変投影点ｐαの位置を知るために求められる。
【００６０】
処理装置は第１の不変距離及び第２の不変距離を同時に又は逐次的に求めることに留意すべきである。
【００６１】
ステップ２３で、処理装置が第１の不変距離及び第２の不変距離に応じて撮像装置１００のモデルを確立する。このモデルは、シーンの物点と撮像装置１００によって画像センサ上に投影される関連する像点との間の対応関係を確立すること、及び撮像装置１００の上記所与のコンフィグレーションを可能にする。
【００６２】
空間内のモデルの様々な要素の位置を突き止めて参照するために、図３に示すように撮像装置１００を座標系（Ｏ；ｘ，ｙ，ｚ）内に設ける。中心Ｏは、光軸ＯＡと像面ＩＰとの交点に位置する。
【００６３】
像面ＩＰ上に像点Ｉ0を形成するために、面ＯＰ内に配置される物点Ｑ０を投影するコンテキストで論じる（順投影プロセス）。物点Ｑ０の座標は（ｘ０，ｙ０，ｚ０）であり、像面ＩＰ内の像点ＩＣの座標は（ｘｃ，ｙｃ，ｚｃ）である。
【００６４】
論証を単純化するために、像面ＩＰをｚＣ＝０に設定する。従って、像面ＩＰはｚ＝ｚＣ＝０に配置され、物体面ＯＰはｚ＝ｚ０に配置され、センサ共役面ＣＰはｚ＝ｚ１に配置される。順投影プロセス中に深度情報が失われるので、物体面ＯＰはｚ＝ｚ０のどこかに任意に設定される。加えて、第１の不変点はｚ＝ｐｘ（ｚＣ＝０なのでＰｘに等しい）に配置され、第２の不変点はｚ＝ｐα（ｚＣ＝０なのでＰαに等しい）に配置される。第１の不変点及び第２の不変点が座標系（Ｏ；ｘ，ｙ，ｚ）内で参照される。
【００６５】
オブジェクト空間内の明視野を再構築するために、位置（ｘＣ，ｙＣ）の像点ＩＣにおいて像面ＩＰに当たる、（ｘ０，ｙ０，ｚ０）の物点Ｑ０から来る光線を再構築する例を与える（逆投影プロセス）。この再構築は、第１の不変投影点ｐｘを伴う第１の段階、及び第２の不変投影点ｐαを伴う第２の段階という２つの段階で行われる。
【００６６】
第１の段階では、像点ＩＣ（ｘＣ，ｙＣ）及び第１の不変投影点ｐｘを通る光線（図３の実線で表す）が、座標（ｘ１，ｙ１，ｚ１）の点Ｑ１においてセンサ共役面ＣＰと交差する。この第１の段階は、以下の式によって表すことができる。
【数５】
2018164249.tif 000007
【００６７】
次いで第２の段階では、点Ｑ１を通過し、像点ＩＣ（ｘＣ，ｙＣ）及び第２の不変点ｐαを通る光線（図３の点線で示す）の方向と同一の方向を有する光線が、座標（ｘ０，ｙ０，ｚ０）の点Ｑ０において物体面ＯＰと交差する。この第２の段階は、以下の式によって表すことができる。
【数６】
2018164249.tif 000008
【００６８】
上記の式（１）及び（２）から、逆投影の式：
【数７】
2018164249.tif 000009
を得ることができる。
【００６９】
当然ながら、この逆投影の式は順投影の式を得るために反転させることができる：
【数８】
2018164249.tif 000010
【００７０】
順投影プロセス中に深度情報が失われるので、この例証では物体面ＯＰは、ｚ＝ｚ０のどこかに任意に設定されることに留意すべきである。
【００７１】
従って、理解できるように、投影の式は（逆投影の式であろうと順投影の式であろうと）像面ＩＰに対する第１の不変投影点及び第２の不変投影点の位置（ｐα，ｐｘ）、並びに像面ＩＰに対するセンサ共役面ＣＰの位置（ｚ１）の関数である。
【００７２】
順投影の式に基づく投影モデルは、２つの不変点ｐｘ及びｐαのおかげで、全ての物点Ｑ０（ｘ０，ｙ０，ｚ０）と画像センサ２０上の関連する全ての像点ＩＣ（ｘＣ，ｙＣ）との間の対応関係を作る。図４は、本開示のモデルを使用する物点Ｑ０’（ｘ０’，ｙ０’，ｚ０’）とその関連する像点ＩＣ’（ｘＣ’，ｙＣ’，ｚＣ’）との間の対応関係の別の例を示す。
【００７３】
ステップ２４に関して以下で論じるように、寸法測定応用及び三次元レンダリングに使用するために、順投影モデルは単純に反転させることができる。
【００７４】
やがて撮像装置１００の新たな撮像コンフィグレーションが行われる場合（例えば新たな集束距離値及び／又は新たな焦点距離値）、上記のステップ２１からステップ２３の新たな反復が必要であることに留意すべきである。
【００７５】
ステップ２４で、処理装置は前のステップ２３で確立されたモデルを使用してシーンのメトリック情報を求める。例えば、座標系（Ｏ；ｘ，ｙ，ｚ）内のシーンのオブジェクトの深度を知ることが興味深い場合がある。
【００７６】
１対のデジタルカメラ（Ｃ１，Ｃ２）に基づく立体撮像機器のコンテキストで論じる。各カメラは、撮像装置１００内に含まれているような光学系及び画像センサを含む。
【００７７】
所与の画像センサ（例えばカメラＣ１の画像センサ）の像点ＩＣごとに、像点ＩＣ（ｘ０，ｙ０，ｚ０）において撮像されているＱ０における対応する物点を求めることに着目する。
【００７８】
以下、本開示の範囲から逸脱することなしに像点ＩＣは画素又は既定の画素群と見なす。
【００７９】
１台のカメラが使用される場合に取得プロセス中に失われる深度情報は、１対のカメラを使用する場合に求めることができる。
【００８０】
（例えば従来技術から知られている照合アルゴリズムによる）視差計算を使用することにより、カメラＣ１及びＣ２それぞれの深度マップを計算することができる。この深度マップは、例えば座標（ｘＣ，ｙＣ）の各像点ＩＣが深度情報ｚ０に関連する３Ｄシーンの２Ｄ表現である。所与のカメラ（例えばカメラＣ１）について、深度情報ｚ０を次式：
【数９】
2018164249.tif 000011
で表すことができ、
ｚ０は像面ＩＰに対する物点の距離を表す、上記像点ＩＣに関連するシーンの物点の深度情報であり、
ｚ１はセンサ共役面ＣＰと上記所与のカメラの像面ＩＰとの間の距離であり、
ｂはカメラＣ１の光学中心とカメラＣ２の光学中心との間（又はカメラＣ１の第１の不変点ｐｘとカメラＣ２の第１の不変点ｐｘとの間）に含まれる距離であり、
ｄは上記像点ＩＣについて評価される視差である。
【００８１】
この深度マップは、像面ＩＰに対する物点の距離を表す深度情報を含む。この深度マップは、デジタルファイル又は任意形式の表として記憶することができる。
【００８２】
この段階で、処理装置は（上記で説明したように上記カメラの特徴的な固有パラメータに応じて確立される）逆投影の式に基づく投影モデル、並びに上記カメラに関連する深度マップをカメラごとに有する。従って処理装置は、上記カメラのセンサの像点ＩＣ（ｘＣ，ｙＣ）及びその関連する深度情報ｚ０ごとに、シーンの物点Ｑ０内の対応する点を以下の式：
【数１０】
2018164249.tif 000012
を適用することによって求めることができる。
【００８３】
次いで、処理装置はこの式に基づいて寸法測定を行うことができる。
【００８４】
従って、画像センサの実際の位置に対する座標系内のシーンの物点群を、取得画像から求めることができる。従って、画像センサの仮想的な位置に対して物点群を求める従来技術の方法（ピンホールモデル）とは逆に、本開示による方法は、撮像系の幾何学的配置（センサ−レンズ−オブジェクトの三つ組の幾何学的配置）を考慮する正確なベース画像レンダリング（based-image rendering）を提供することを可能にする。
【００８５】
従って本方法は、撮像装置の限られた数の特徴的な固有パラメータを考慮できるようにし、従来技術の慣習的方法よりもモデルの確立方法を簡単にする巧妙な手法に依拠する。
【００８６】
特定の特徴によれば、１組の特徴的な固有パラメータが、像面に対する光軸位置を表す追加の固有パラメータを更に含む。この追加の固有パラメータは、像面ＩＰに対する光軸ＯＡの位置をもたらすために従来の較正によって得られる。実際には、光学系の光軸はセンサの中心を必ずしも通過しない。次いで、例えば画素数で表わされる画像センサ２０の光学中心に対するオフセットを用いて、この追加の固有パラメータを考慮することによってモデルを確立することができる。この特定の特徴は確立したモデルを更により正確にする。
【００８７】
別の特定の特徴によれば、１組の特徴的な固有パラメータが、入射瞳ＥＰの寸法を表す追加の固有パラメータを更に含む。この追加の固有パラメータは、瞳径等、入射瞳ＥＰの寸法をもたらすために従来の較正によって得られる。とりわけモデルを確立するために（光線表現ではなく）光ビーム表現を使用する場合、この追加の固有パラメータを考慮に入れることによってモデルを確立することができる（実際、瞳径は光学系内の入力光ビーム量を限定する幾何学的パラメータである）。
【００８８】
図５は、図２に示す方法のステップ２１からステップ２４を実行する、本開示の特定の実施形態による処理装置（又はモデリング装置）５００の単純化した構造を示す。
【００８９】
処理装置５００は、非一時的コンピュータ可読担体媒体である不揮発性メモリ５３０を含む。不揮発性メモリ５３０は、上記の修正済みマルチビューコンテンツ取得方法を実施できるようにするためにプロセッサ５１０によって実行される実行可能プログラムコード命令を記憶する。初期設定されると、プログラムコード命令はプロセッサ５１０によって実行されるように不揮発性メモリ５３０から揮発性メモリ５２０に移される。揮発性メモリ５２０も同様に、この実行に必要な変数及びパラメータを記憶するレジスタを含む。
【００９０】
この特定の実施形態によれば、処理装置５００が撮像装置の特徴的な固有パラメータ（Ｚ距離パラメータ５０１、Ｄ距離パラメータ５０２、Ｍ拡大倍率パラメータ５０３）を入力として受信する。処理装置５００は、上記のように二重不変点投影モデル（５０５）を出力として生成する。
【００９１】
当業者なら理解するように、本原理の態様はシステム、方法、又はコンピュータ可読媒体として実施することができる。従って、本原理の態様は完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、又は「回路」、「モジュール」、若しくは「システム」として本明細書で全て広く呼ばれ得るソフトウェアの態様とハードウェアの態様とを組み合わせる実施形態の形を取り得る。
【００９２】
本原理を１つ又は幾つかのハードウェアコンポーネントによって実装する場合、ハードウェアコンポーネントは、中央処理装置、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け命令セットプロセッサ（ＡＳＩＰ）、グラフィックス処理装置（ＧＰＵ）、物理演算処理装置（ＰＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、画像プロセッサ、コプロセッサ、浮動小数点ユニット、ネットワークプロセッサ、音声プロセッサ、マルチコアプロセッサ等の集積回路であるプロセッサを含むことに留意し得る。更にハードウェアコンポーネントは、（例えばメモリユニット及びファームウェアを含む）ベースバンドプロセッサ、及び／又は無線信号を受信し若しくは伝送する無線電子回路（アンテナを含み得る）も含み得る。一実施形態では、ハードウェアコンポーネントが、ＩＳＯ／ＩＥＣ  １８０９２／ＥＣＭＡ−３４０、ＩＳＯ／ＩＥＣ  ２１４８１／ＥＣＭＡ−３５２、ＧＳＭＡ、ＳｔｏＬＰａＮ、ＥＴＳＩ／ＳＣＰ（スマートカードプラットフォーム）、GlobalPlatform（即ちセキュアエレメント）等の１つ又は複数の規格に準拠する。変形では、ハードウェアコンポーネントが無線自動識別（ＲＦＩＤ）タグである。一実施形態では、ハードウェアコンポーネントが、Bluetooth（登録商標）通信、Wi-fi（登録商標）通信、Zigbee通信、ＵＳＢ通信、Firewire通信、及び／又はＮＦＣ（近距離：Near Fieldの略）通信を可能にする回路を含む。
【００９３】
更に、本原理の態様はコンピュータ可読記憶媒体の形を取り得る。１つ又は複数のコンピュータ可読記憶媒体の任意の組合せを利用することができる。
【００９４】
コンピュータ可読記憶媒体は、１つ又は複数のコンピュータ可読媒体の中に実装され、コンピュータによって実行可能なコンピュータ可読プログラムコードをかかるコンピュータ可読媒体上に実装させるコンピュータ可読プログラム製品の形を取り得る。本明細書で使用するとき、コンピュータ可読記憶媒体は、情報を内部に記憶する固有の能力並びに情報をそこから取得できるようにする固有の能力を所与として非一時的記憶媒体と見なされる。コンピュータ可読記憶媒体は、例えばこれだけに限定されないが、電子、磁気、光学、電磁、赤外、若しくは半導体のシステム、機器、装置、又は上記のものの任意の適切な組合せとすることができる。当業者なら容易に理解されるように、次のもの、つまり携帯型フロッピディスク、ハードディスク、読取専用メモリ（ＲＯＭ）、消去プログラム可能読取専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、携帯型コンパクトディスク読取専用メモリ（ＣＤ−ＲＯＭ）、光学記憶装置、磁気記憶装置、又は上記のものの任意の適切な組合せは、本原理を適用できるコンピュータ可読記憶媒体のより具体的な例を示すが、例示に過ぎず網羅的な列挙ではないことを理解すべきである。
【００９５】
従って、例えば本明細書で示したブロック図は、本開示の原理を具体化する例示的なシステムコンポーネント及び／又は回路の概念図を表すことを当業者なら理解されよう。同様に、任意の工程図、流れ図、状態遷移図、疑似コード等は、コンピュータ可読記憶媒体内で実質的に表すことができ、そのためコンピュータ又はプロセッサによって、かかるコンピュータ又はプロセッサが明確に示されていようがいまいが実行される様々なプロセスを表すことが理解されよう。
【００９６】
本開示を１つ又は複数の例に関して説明してきたが、本開示及び／又は添付の特許請求の範囲から逸脱することなしに、形態及び詳細に変更を加えても良いことを当業者なら理解されよう。
【００９７】
当然ながら、本開示は先に記載した実施形態に限定されない。
【００９８】
本明細書に記載した実装形態は、例えば方法若しくはプロセス、機器、コンピュータプログラム製品、データストリーム、又は信号によって実装され得る。単一形式の実装形態のコンテキストで論じられるだけであったとしても（例えば方法又は装置としてのみ論じられるとしても）、論じられた特徴の実装形態は他の形式（例えばプログラム）でも実装することができる。機器は、例えば適切なハードウェア、ソフトウェア、及びファームウェアによって実装することができる。方法は、例えばプロセッサ等の機器によって実施することができ、プロセッサは例えばコンピュータ、マイクロプロセッサ、集積回路、プログラム可能論理デバイスを含む処理装置全般を指す。プロセッサは、例えばスマートフォン、タブレット、コンピュータ、携帯電話、ポータブル／携帯情報端末（「ＰＤＡ」）、エンドユーザ間の情報の通信を助ける他の装置等の通信装置も含む。
【００９９】
本明細書に記載した様々なプロセス及び特徴の実装形態は、多岐にわたる異なる機器又はアプリケーション、とりわけ例えばデータの符号化、データの復号、ビュー生成、テクスチャ処理、並びに画像及び関係するテクスチャ情報及び／又は深度情報の他の処理に関連する機器やアプリケーションによって具体化することができる。かかる機器の例は、符号器、復号器、復号器からの出力を処理する後処理系、符号器への入力を与える前処理系、ビデオコーダ、ビデオ復号器、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、ＰＤＡ、及び他の通信装置を含む。明白であるように、機器は可搬式とすることができ、移動車両内に設置することさえできる。
【０１００】
加えて、これらの方法はプロセッサによって実行される命令によって実装されても良く、かかる命令（及び／又は実装形態によって作り出されるデータ値）は例えばハードディスク、コンパクトディスケット（「ＣＤ」）、光ディスク（例えばデジタル多用途ディスクやデジタルビデオディスクとしばしば呼ばれるＤＶＤ等）、ランダムアクセスメモリ（「ＲＡＭ」）、読取専用メモリ（「ＲＯＭ」）等、例えば集積回路、ソフトウェア担体、又は他の記憶装置等のプロセッサ可読媒体上に記憶され得る。命令は、プロセッサ可読媒体上で有形に具体化されるアプリケーションプログラムを形成し得る。命令は、例えばハードウェア、ファームウェア、ソフトウェア、又は組合せの中にあり得る。命令は、例えばオペレーティングシステム、別個のアプリケーション、又はその２つの組合せの中で見つけることができる。従ってプロセッサは、例えばプロセスを実行するように構成されている装置及びプロセスを実行する命令を有するプロセッサ可読媒体（記憶装置等）を含む装置の両方として特徴付けることができる。更にプロセッサ可読媒体は、実装形態によって作り出されるデータ値を命令に加えて又は命令の代わりに記憶し得る。
【０１０１】
当業者に明らかなように、実装形態は例えば記憶され又は伝送され得る情報を運ぶようにフォーマットされる多岐にわたる信号を作り出し得る。かかる情報は、例えば方法を実行する命令や、記載した実装形態の１つによって作り出されるデータを含み得る。例えば信号は、記載した実施形態の構文を読み書きする規則をデータとして運ぶように、又は記載した実施形態によって書かれる実際の構文値をデータとして運ぶようにフォーマットされ得る。かかる信号は、例えば電磁波として（例えばスペクトルの無線周波数部分を用いて）、又はベースバンド信号としてフォーマットされ得る。フォーマットすることは、例えばデータストリームを符号化し、符号化データストリームで担体を変調することを含み得る。信号が運ぶ情報は、例えばアナログ情報又はデジタル情報とすることができる。信号は、知られているように様々な異なる有線リンク又は無線リンク上で伝送され得る。信号はプロセッサ可読媒体上に記憶され得る。
【０１０２】
幾つかの実装形態を記載してきた。それでもなお、様々な修正が加えられ得ることが理解されよう。例えば、他の実装形態を作り出すために別の実装形態の要素が組み合わせられ、補われ、修正され、又は除去され得る。更に、開示した構造及びプロセスを他の構造及びプロセスが置換しても良く、その結果生じる実装形態が開示した実装形態と少なくともほぼ同じ結果を実現するために、少なくともほぼ同じ機能を少なくともほぼ同じやり方で実行することを当業者なら理解されよう。従って、これらの及び他の実装形態も本願によって予期される。
【図１】
2018164249.tif 000017
【図２】
2018164249.tif 000018
【図３】
2018164249.tif 000019
【図４】
2018164249.tif 000020
【図５】
2018164249.tif 000021
【外国語明細書】
2018164249000001.pdf