(57)【要約】【課題】特に三次元（３Ｄ）造形や拡張現実アプリケーションに使用される撮像装置の位置や方向を含む、保存された画像に関する撮像値のパラメータ推定方法を提供する。【解決手段】シーン画像に関する撮像装置のパラメータ推定方法は、ａ．シーンにターゲット座標系を設定するステップと、ｂ．撮像装置を使用してシーンの画像を撮影するステップと、ｃ．前記画像に関する撮像装置のパラメータを推定するために、前記ターゲット座標系を参照して前記画像を処理するステップを備え、前記ターゲット座標系は少なくとも１つの平面ターゲットを備え、前記少なくとも１つの平面ターゲットは、相対的な位置が既知である一組の特定可能な特徴物を含む。【選択図】図１
2015201850.tif 000002
【特許請求の範囲】
【請求項１】
シーンの画像に関する撮像装置のパラメータ推定方法であって、
ａ．シーンにターゲット座標系を設定するステップであって、少なくとも２つの平面ターゲットを備え、前記少なくとも２つの平面ターゲットは、それぞれ個別に、それぞれの平面ターゲット内で相対的な位置が既知である一組の特定可能な特徴を含み、
ｂ．撮像装置を使用して前記シーンの画像を撮影するステップと、
ｃ．前記画像に関する撮像装置のパラメータを推定するために、前記ターゲット座標系を参照して前記画像を処理するステップであって、
i)ターゲット面に属する前記少なくとも２つの平面ターゲットの前記特定可能な特徴を特定するステップと、
ii)三次元空間における前記特定可能な特徴の位置を計算するために、前記少なくとも２つの平面ターゲットの間の関係を測定するステップと、
iii)前記三次元空間における前記特定可能な特徴のそれぞれについての計算された位置と、それに伴う前記画像から測定された前記特定可能な特徴のそれぞれについての二次元座標とを用いて、前記撮像装置のパラメータを推定するステップ
を備えたことを特徴とする方法。
【請求項２】
前記シーンの画像上に、描写された三次元モデルを表示することによって、前記シーンの画像を拡張するステップをさらに備えたことを特徴とする請求項１に記載の方法。
【請求項３】
前記平面ターゲットは、それぞれ大きさと位置が既知であるパターンを備えていることを特徴とする請求項１又は請求項２に記載の方法。
【請求項４】
前記平面ターゲットは、それぞれ相対的な位置が既知である一組のドットを備えていることを特徴とする請求項３に記載の方法。
【請求項５】
前記平面ターゲットは、それぞれ一組のアレイ状に配列されたドットを備えていることを特徴とする請求項４に記載の方法。
【請求項６】
前記平面ターゲットは、それぞれ一組の２×３のアレイ状に配列されたドットを備えていることを特徴とする請求項５に記載の方法。
【請求項７】
前記複数のドットの内少なくとも１つは他のドットと対比される色であることを特徴とする請求項４乃至請求項６のいずれか一項に記載の方法。
【請求項８】
前記ドットのパターンは、１８０度回転させたときに同じにならないように配列されていることを特徴とする請求項６に記載の方法。
【請求項９】
前記撮像装置はカメラを備えていることを特徴とする請求項１乃至請求項８のいずれか一項に記載の方法。
【請求項１０】
前記画像は、写真又は静止映像であることを特徴とする請求項１乃至請求項９のいずれか一項に記載の方法。
【請求項１１】
推定されるべき前記撮像装置のパラメータは、前記撮像装置の位置及び方向を含むことを特徴とする請求項１乃至請求項１０のいずれか一項に記載の方法。
【請求項１２】
複数の画像が撮影されることを特徴とする請求項１乃至請求項１１のいずれか一項に記載の方法。
【請求項１３】
前記ii)のステップは、三次元空間における前記特定可能な特徴の位置を計算するために、前記少なくとも２つの平面ターゲットの間の関係を測定するステップと、計算結果を合成するステップを含むことを特徴とする請求項１乃至請求項１２のいずれか一項に記載の方法。
【請求項１４】
合成された計算結果は、平均化されることを特徴とする請求項１３に記載の方法。
【請求項１５】
信頼性の高い計算結果を合成し、信頼性の低い計算結果は除外することを特徴とする請求項１１又は請求項１３に記載の方法。
【請求項１６】
計算結果の信頼性は、前記少なくとも２つの平面ターゲットのそれぞれが画像中に見えている面積のパーセンテージに基づくことを特徴とする請求項１５に記載の方法。
【請求項１７】
画像処理は、オフライン、リアルタイム又はこれら２つの組合せによってなされることを特徴とする請求項１乃至請求項１６のいずれか一項に記載の方法。
【請求項１８】
前記画像に関する推定された前記撮像装置のパラメータは、三次元情報の復元に用いられることを特徴とする請求項１乃至請求項１７のいずれか一項に記載の方法。
【請求項１９】
復元された三次元情報は、形状復元(shape-from-silhouette)を含む標準技術を利用することを特徴とする請求項１８に記載の方法。
【請求項２０】
前記三次元情報は、表面幾何構造、三次元ポイントデータ又は三次元メッシュモデルを備えていることを特徴とする請求項１８又は請求項１９に記載の方法。
【請求項２１】
三次元図形要素が、推定された前記撮像装置のパラメータを用いて前記画像の上に重ねられることを特徴とする請求項１乃至請求項２０のいずれか一項に記載の方法。
【請求項２２】
前記方法は、拡張現実アプリケーションに用いられることを特徴とする請求項１乃至請求項２１のいずれか一項に記載の方法。
【請求項２３】
シーンの画像に関する撮像装置のパラメータ推定方法であって、
ａ．シーンにターゲット座標系を設定するステップと、
ｂ．撮像装置を使用して前記シーンの画像を撮影するステップと、
ｃ．前記画像に関する前記撮像装置のパラメータを推定するために、前記ターゲット座標系を参照して前記画像を処理するステップを備え、
前記ターゲット座標系は少なくとも２つの平面ターゲットを備え、前記少なくとも２つの平面ターゲットは、それぞれ個別に、相対的な位置が既知である一組のドットを備えたことを特徴とする方法。
【請求項２４】
前記平面ターゲットは、それぞれアレイ状に配列された一組のドットを備えたことを特徴とする請求項２３に記載の方法。
【請求項２５】
前記平面ターゲットは、それぞれ一組の２×３のアレイ状に配列されたドットを備えていることを特徴とする請求項２４に記載の方法。
【請求項２６】
前記複数のドットの内少なくとも１つは他のドットと対比される色であることを特徴とする請求項２３乃至請求項２５のいずれか一項に記載の方法。
【請求項２７】
前記ドットのパターンは、１８０度回転させたときに同じにならないように配列されていることを特徴とする請求項２６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に三次元（３Ｄ）造形や拡張現実アプリケーションに使用される撮像装置の位置や方向を含む、撮影された画像に関する撮像装置のパラメータ推定方法に関する。
【シーン技術及び発明が解決しようとする課題】
【０００２】
写真やその他の画像から三次元モデルを作り出す第１段階は、入力された写真又はその他の画像を撮影するために用いられたカメラ又は撮像装置の三次元の位置や方向を推定することである。同様に、拡張現実（ＡＲ）アプリケーションにおいても、生の映像に三次元画像要素を重ねるために、仮想カメラの位置や方向が必要である。Creative Dimension Software Ltd製の3D Software Object Modeller (3DSOM) Proで使用されている従来の方法では、単一の非常に複雑な公知の二次元キャリブレーションパターン（マット）が、目的物の下に設定されている。しかしながら、大きな目的物に対しては、その目的物の下にそれに対応した大きなキャリブレーションマットを作ることは、必ずしも現実的ではない。
【０００３】
（例えば、Microsoft PhotoSynth（登録商標）ソフトウエアなどの）従来の写真測量法は、多数組の、主に屋外のシーン写真から、全てのカメラのパラメータ（方向、位置、焦点距離）を自動的に推定するために、イメージ・シーン構造を用いている。しかしながら、このアプローチには、コンピュータで計算するには複雑であり、自動的にぴったりと一致されうる好適な「自然な」特徴を備えた多数の重なり合う写真を必要とするといった、いくつかの問題点が存在する。実際のところ、ユーザは、信頼性の高い特徴がより少ない、あまり乱されていない環境で、より少ない画像を用いて、大きな目的物を作ることを望んでいるであろう。
【０００４】
拡張現実やモバイルセンシングには、スラム(SLAM: Simultaneous Localization and Mapping)と呼ばれる、自己位置推定と環境地図作成を同時に行う技術が存在し、この技術は、現在位置の軌道を維持しつつ、（アプリオリ知識を用いることなく）未知の環境で地図を構成し、（得られた地図からのアプリオリ知識を用いて）既知の環境で地図を更新するために、ロボットや自立移動車両によって用いられている。映像分野でのスラム(VSLAM)は、同じ技術をビデオ画像に対して用いる。これらの技術は、事前の目標や地図を必要としないが、相当な処理能力を必要とし、実際のアプリケーションに対しては信頼性が十分ではないかもしれない。特に、映像追跡へのアプローチは、カメラがシーンをあちこち動き回るといった追跡誤差の集積に悩まされるかもしれない。
【０００５】
Gilles Simon, Andrew W. Fitzgibbon 及び Andrew Zissermanは、Markerless Tracking using Planar Structures in the Scene というタイトルの論文を発表しており(http://www.robots.ox.ac.uk/~vgg/publications/papers/simon00.pdf)、カメラによる追跡のために、１又は複数の平面を用いることを開示している。しかしながら、このアプローチは、本質的に一度に１つの平面しか追跡できず、１つの平面の追跡と次の平面の追跡の間に「受け渡し(hand-off)」を必要とする。この論文は、複数の平面的なターゲットと、アプリオリ的に未知のこれらのターゲットとの関係（すなわち、ターゲット平面上の特徴の位置があらかじめわかっていない）を、信頼性を高く推定することによって、処理を簡単にすることができるという課題には対処していない。
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明の一態様に係るシーン画像に関する撮像装置のパラメータ推定方法は、
ａ．シーンにターゲット座標系を設定するステップと、
ｂ．撮像装置を使用して前記シーンの画像を撮影するステップと、
ｃ．前記画像に関する前記撮像装置のパラメータを推定するために、前記ターゲット座標系を参照して前記画像を処理するステップを備え、
前記ターゲット座標系は少なくとも１つの平面ターゲットを備え、前記少なくとも１つの平面ターゲットは、相対的な位置が既知である一組の特定可能な特徴物を含む。
【０００７】
この方法は、前記シーンの画像の上に、描写された三次元モデルを表示することによって、前記シーンの画像を拡張するステップをさらに備えていることが好ましい。
【０００８】
前記ターゲット座標系は、少なくとも２つの平面ターゲットを備え、前記少なくとも２つの平面ターゲットは、それぞれ個別に、各平面ターゲット内の相対的な位置が既知である一組の特定可能な特徴物を含むことが好ましい。
【０００９】
前記少なくとも２つの平面ターゲットは、それぞれ個別に、各平面ターゲット内の相対的な位置が既知である一組の特定可能な特徴物を含みつつ、前記少なくとも２つの平面ターゲットの正確な位置関係は未知である。
【００１０】
各平面ターゲットは、大きさと位置が既知であるパターンを備えていることが好ましい。このパターンは、例えば相対的な位置が既知である一組のドットであってもよい。前記パターンは、２×３のアレイ状に配列された一組のドット、あるいは、３×４、４×５、３×５、又は４×４のアレイ状に配列された一組のドットであることが好ましい。複数のドットの内少なくとも１つは他のドットと対比される色であることが好ましく、ドットのパターンは、１８０度回転させたときに同じにならないように配列されていることが好ましい。前記パターン又はアレイは、容易に検出可能な一組のドット又は半球状の特徴物を備えたものであることが好ましい。あるいは、前記平面ターゲットは、例えば、美術館における絵画を備えていてもよく、平坦な絵画の上の特徴物の二次元の位置が測定されうる正面写真がその絵画から撮影されてもよい。
【００１１】
前記撮像装置はカメラを備えていることが好ましい。
【００１２】
前記画像は、写真又は静止映像であることが好ましい。
【００１３】
推定されるべき前記撮像装置のパラメータは、前記撮像装置の位置及び方向を含むことが好ましい。
【００１４】
複数の画像が撮影されることが好ましい。
【００１５】
前記画像に関連した前記撮像装置のパラメータを推定するためのターゲット座標系を参照した画像処理は、
ａ．ターゲット平面に属する前記少なくとも２つの平面ターゲットの特定可能な特徴を特定するステップと、
ｂ．三次元空間における前記特定可能な特徴の位置を計算するために、前記少なくとも２つの平面ターゲットの間の関係を測定するステップと、
ｃ．前記三次元空間における前記特定可能な特徴のそれぞれの計算された位置、及び、それに関連する前記画像から測定された前記特定可能な特徴の二次元座標を用いて、前記撮像素子のパラメータを推定するステップ
を備えることが好ましい。
【００１６】
上記ステップｂ．は、前記三次元空間における前記特定可能な特徴の位置を計算し、その計算結果を合成するために、複数組の平面ターゲットの間の関係を測定することを含むことが好ましい。
【００１７】
合成された計算結果は、平均化されることが好ましい。また、信頼性の高い計算結果を合成し、信頼性の低い計算結果は除外することが好ましい。計算結果の信頼性は、少なくとも２つの平面ターゲットのそれぞれが画像中に見えている面積のパーセンテージに基づくことが好ましい。
【００１８】
画像処理は、オフライン、リアルタイム又はこれら２つの組合せによってなされることが好ましい。例えば、拡張現実アプリケーションにおいて用いるための、カメラのパラメータを推定するために、前記画像処理を、前記平面ターゲットの相対的な位置を測定するために、選択された画像をオフラインで処理するプロセスと、それに続く、あらかじめ記録された情報を用いて視覚追跡(visual tracking)をリアルタイムで実行するプロセスに分割してもよい。
【００１９】
前記画像に関する推定された前記撮像装置のパラメータは、三次元情報の復元に用いられることが好ましい。
【００２０】
復元された三次元情報は、形状復元(shape-from-silhouette)を含む標準技術を利用することが好ましい。
【００２１】
前記三次元情報は、表面幾何構造、三次元ポイントデータ又は三次元メッシュモデルを備えていることが好ましい。
【００２２】
三次元図形要素が、推定された前記撮像装置のパラメータを用いて前記画像の上に重ねられることが好ましい。
【００２３】
前記方法は、拡張現実アプリケーションに用いられることが好ましい。
【図面の簡単な説明】
【００２４】
【図１】撮影されるべきシーンにおけるターゲット座標系として作用する複数の平面ターゲットを配置する方法を示すコンピュータで作り出された画像を示す図。
【図２】ターゲット座標系として作用する原位置における複数の平面ターゲットの写真を示す図。
【図３】ターゲット座標系として作用する複数の平面ターゲットからのデータを計算するシステムを示す図。
【図４】オフィステーブル用の椅子の周りで撮影された一連の画像から再生されたカメラの位置を示す3DSOM Proによる画面を示す図。
【図５】シーン画像に三次元モデルを挿入する方法における各ステップを示す図。
【図６】シーン画像に三次元モデルを挿入する方法における各ステップを示す図。
【図７】シーン画像に三次元モデルを挿入する方法における各ステップを示す図。
【図８】シーン画像に三次元モデルを挿入する方法における各ステップを示す図。
【発明を実施するための形態】
【００２５】
本発明の実施態様や特徴は、当業者であれば、添付図面と共に以下の発明の実施形態の説明を精査することによって明らかになるであろう。図１及び図２は、本発明に係る撮像装置のパラメータ推定方法を示す。既知のキャリブレーション用ターゲットを備えた一組の平面ターゲットが、ターゲット座標系として作用するように、撮影されるべき目的物の周り又はシーンに配置されている。ターゲットの位置は全くランダムであり、未知である。図示された実施形態において、各ターゲットのパターンは既知（外観及び相対的な大きさは既知）であるが、他の選択肢として、各ターゲットは、例えば美術館における絵画を備えていてもよく、平坦な絵画における各特徴の二次元位置が測定されうる複数の正面写真がその絵画から撮影されてもよい。図示された実施形態では、具体的には、一組のＡ４サイズの２色（黒色及び灰色）の２×３ドットパターンが用いられている。使用されるパターンは、そのパターンの方向が特定されることを可能にするものであることが重要であり、例えば単色のドットだけを用いることは、得られた画像からはパターンの２つの方向が区別できないので、図示された実施形態では好ましくない。それゆえ、１８０度回転させても同一にならないことが明らかなパターンのみを使用するべきである。全てのターゲットを目的物の周囲の床の上に配置してもよいし、他の選択肢として、全てのターゲットの二次元表面が同一面上に位置するように、また、目的物の周囲の全ての入力画像に対して、（図示された実施形態ではカメラであるが）撮像装置によって少なくとも２つのターゲットが観察されうるように、例えば壁に貼り付けてもよい。
【００２６】
ターゲットが配置されると、撮像装置を用いて目的物又はシーンの画像が撮影される。理想的には、多数の画像が異なった方向から撮影されるべきである。
【００２７】
複数の画像が撮影されると、それらの画像は処理され、ターゲットが検出される。選択肢の１つとして、Vuforia（登録商標）拡張現実目標追跡装置のような既存の平面ターゲット認識を、各画像中のターゲットの位置の特定に用いることができる。上記選択肢においてドットパターンが用いられた場合、ターゲットの位置を、以下のような画像処理技術を用いて特定することができる。
・画像処理「ドット検出」アルゴリズムを用いたドット検出、これは、明るいシーン上の暗くて小さい領域を検出することが可能である；
・隣接する複数のドットの特定及びそれらの一体的リンク；
・ドットアレイ、すなわち、３以上の一体的にリンクされたドットの検出；
・２×３ドットアレイの保存；
・どのドットが黒色で、どのドットが灰色かの特定（例えば青色と緑色などの他の色の組合せを使用することも可能である）；
・（対称性を考慮して）各２×３ドットアレイの内、どのターゲットが対応するのかを決定するために、１次元黒色／灰色ドット・コーディングの作成。
【００２８】
標準的なアプローチを用いた好適なドット検出アルゴリズムは、Tony Lindebergによって、"Feature detection with automatic scale selection", International Journal of Computer Vision, 1988, Volume 30, Page 79-116 に開示されている。
【００２９】
各ターゲットが特定され、画像中におけるその位置が突き止められると、画像の位置及び三次元空間におけるターゲット上の各ドットの三次元位置を測定することが可能である。図示された実施形態では、ターゲットのドット座標は、複数のドットが配置されている面をＸ−Ｙ平面、ターゲットの中心を（０，０，０）として定義される。そして、三次元空間における撮像装置（カメラ）の位置及び方向は、OpenCVのコマンド"solvePnPRansac"などの標準的な三次元から二次元へのカメラ解法を用いて推定される。（OpenCVとは、オープンソースのコンピュータ・ビジョン向けライブラリであり、opencv.orgで利用可能である。）
【００３０】
ターゲットの三次元の位置及び方向の推定
各画像について、
・一組の特定されたターゲットと、
・三次元空間における各ターゲットのためのカメラの位置及び方向
を有しているものとする。
【００３１】
「全体的な」三次元空間における全てのターゲットの位置と方向が推定される。このことは、複数組のターゲットの相対的な位置と方向を考慮することによって達成される。単一の画像におけるいずれかの目視可能なターゲットＡとＢの組について、図３に示すように、ターゲットＡ及びＢから得られたカメラの推定値を用いて、Ｂに対するＡの相対的な平行移動及び位置を推定することが可能である。
【００３２】
各ターゲットが何れも目視可能状態である複数の画像から得られた２以上の推定値があるときは、複数組のターゲットの間でのターゲットの結合（相対的な位置及び方向の推定値）は平均化される。平均化された推定値の数（かけ離れたものは無視する）は、結合のウエイトとして記憶される。
【００３３】
最初の「シード」ターゲット（最も多くの画像で目視可能なターゲット）から開始して、全体的な三次元空間における「シード」ターゲットに関して新たなターゲットの位置を増殖させるために、「結合された」ターゲットの位置と方向を特定することができる。これを実行するために、新たなターゲットと既に処理された（位置及び方向が既知である）ターゲットとの間の最も信頼性の高い（最もウエイトが大きい）結合が決定される。新たなターゲットの位置及び方向は、既知のターゲットの位置及び方向に、既知の相対的な位置及び方向を合成することによって得られる。この処理は、ターゲットを追加することができなくなるまで繰り返される。
【００３４】
カメラパラのメータの解析
全てのターゲットの位置及び方向の推定は、各ターゲット上の各ドットが全体的な三次元空間における推定された三次元の位置を有することを意味する。また、各画像に対して、既知のターゲットのドット（又はその他のパターン）の位置についての一組の二次元画像の座標を有している。標準的な"RANSAC"又はその他のカメラ解析技術を用いて、各画像についてのカメラのパラメータ（位置及び方向）を推定する。
【００３５】
全体の最適化
カメラ及びターゲットの位置及び方向について最初の推定値が得られると、これらのパラメータは、画像投影誤差の二乗和が最小となるように、標準的なバンドル調整技術を用いて最適化される。たくさんの三次元の点を表している異なった視点からの一組の画像が与えられると、それに対応する全ての点の画像投影に関する最適性基準に準じて、バンドル調整は、シーンの幾何学的特性を表す三次元座標だけでなく、同時に、画像を得るために用いたカメラの相対的な動き及び光学特性のパラメータを同時に精緻化する問題として定義される。バンドル調整は、ほとんどの場合、全ての特徴に基づいた三次元復元アルゴリズムの最終段階として用いられる。結局のところ、観察される画像の特徴にはノイズが付随しているという前提の下で、最適な復元を得るために、三次元構造物及び観察パラメータ（すなわち、カメラの姿勢及びおそらくは固有のキャリブレーション及び半径方向の歪み）を最適化するという問題になる。
【００３６】
図４は、オフィステーブル用の椅子の周囲で撮影された一連の画像からカメラの位置を復元する手順を示すために、視覚化の一例を示す。図示された視覚化において、例えば０８の画像においてどのターゲットも完全には見えていないので、一組のカメラのパラメータの復元に失敗している。
【００３７】
本発明の応用とその範囲
カメラのパラメータの推定値は、三次元モデルを構成するための第１ステップとして用いることができる。例えば、各解析された写真におけるある目的物の形状を分割することによって、三次元メッシュの推定に「形状復元(shape-from-silhouette)」の技術を用いることができる。異なった視点から取り込まれた一組の画像から目的物の三次元モデルを構成することは、コンピュータ・ビジョンにおける重要な課題である。それを実行するための最も簡単な方法の一つは、目的物のシルエット（目的物の二値分類）を用いることである。この容積を効果的に表すために、目的物を、再帰的に細かく分割された立方体のツリーとして表す、八分木(Octree)が用いられる。好適な技術は、RICHARD SZELINSKIによる"Rapid Octree Construction from Image sequence, CVGIP", IMAGE UNDERSTANDING, Vol. 58, No.1, July, pp.23-32, 1993に開示されており、多数のシルエットから容積(volume)を結合する八分木を計算するためのアルゴリズム及びそれを静止カメラの前方のターンテーブル上で回転する目的物に対して適応させることを開示している。
【００３８】
目的物の検出と解析の潜在的な単純さにより、このアプローチをリアルタイム拡張現実アプリケーションに用いることも可能である。目的物は、住宅、オフィス、ショールームなどの部屋の周りに設置され、その部屋の周囲で撮影された一連の画像（映像又は静止映像）を処理することによって空間のキャリブレーション（目盛付け）に使用される。キャリブレーションがなされると、映像中に少なくとも一つのターゲットが目視可能である限りにおいて、仮想現実三次元モデルを生の映像に被せることができ、このことは、常に一つのターゲットが目視可能であることを必要とする従来のターゲットに基づく拡張現実の潜在能力を広大に拡張する。
【００３９】
拡張現実への展開
潜在的に、ターゲットは事前に既知である必要はない。ユーザは、例えば美術館における絵画のような、シーン中の何か興味のある平面目的物の二次元画像を取り込み、それらをターゲットとして使用することができる。目的物の縮尺は、他の方法、例えば、距離センサによって得られた又は手作業で入力された一つの距離の推定値、あるいは、ユーザが特定した目標物の一辺の長さなど、他の方法による推定値を用いることによって、入手されなければならない。
【００４０】
画像拡大のための単純なドットパターンの例
課題
家具又は同様の三次元モデルを部屋の写真又は映像中にどうやって挿入するのか、三次元モデルは自動的に縮小され位置決めされる必要があることは明白である。
【００４１】
解決策
図５に示すように、ユーザは撮影されるべき一つの平面ターゲットをシーン中に配置する。図示された実施形態では、このターゲットはＡ４サイズであり、画像中においてそれがたとえどれだけ小さくても、しっかりと検出される必要がある。従って、パターンとして、二行三列の大きなドットアレイからなる単純なターゲットが用いられる。ドットは、例えば黒色など、全て同じ色であってもよいし、例えば黒色と灰色のドットの混合のように、異なった色であってもよい。より複雑なパターンよりも単純な格子を使用する利点は、パターンが小さい画像領域に取り込まれた場合、より複雑なパターンは信頼性が低いことである。画像を拡張する場合、特に、部屋の中に大きな目的物を拡張する場合、通常はパターンが小さな面積しか占めないことが重要である。
【００４２】
このシーンの一例では、ターゲットが床に設置され、三次元モデルは、ターゲットと同じ面に配置され、目的物の背面の縁が部屋の壁に対して平行になるように揃えられる。三次元モデルは、またターゲットの長手方向に沿ってその中心位置が決められる。
【００４３】
ターゲットの大きさは既知であり、例えば家具などの商品である三次元モデルの大きさに比べてずっと小さい。
【００４４】
図５に示された入力画像は、iPad（登録商標）のカメラを用いて撮影されたものであり、手持ちで撮影されたので画質は低い。
【００４５】
図６及び７に例示されているように、入力画像は、以下のステップを実行することによって処理される。
・明るい背景中の暗くて小さい領域を検出することが可能な「ドット検出器」を用いて画像を解析するステップ；
・検出されたドットの大きさに基づいて、サーチすべきウインドウ内の同じような大きさの最も近い４つの隣接領域に対して、それぞれドット検出を行うステップ；
・垂直方向又は水平方向を定義するために、最も近い隣接するドットの位置を突き止めるステップ；
・水平−垂直方向における３つの付加的な隣接するドットを選択するステップ；
・これらのリンクされたドットをアレイとして一体的に繋ぐステップ；
・２×３アレイを特定するステップ。
【００４６】
次に、三次元の目的物は、推定されたターゲットの位置を用いて適当な陰影を付けながら、画像上に貼り付けられる。この例では、ターゲットは６つの既知の点（ドットの中心）を有しており、それによって、視野を（利用可能であれば、JPEGのタグから焦点距離データを入手して）測定されるべき三次元カメラの画像への変換を可能にする。三次元の目的物は、図８に示すように、正確に縮尺され、ターゲットに対して位置決めされた同じ座標系のフレームに配置される。
【図１】
2015201850.tif 000003
【図２】
2015201850.tif 000004
【図３】
2015201850.tif 000005
【図４】
2015201850.tif 000006
【図５】
2015201850.tif 000007
【図６】
2015201850.tif 000008
【図７】
2015201850.tif 000009
【図８】
2015201850.tif 000010