(57)【要約】  ３次元（３Ｄ）座標をスキャンし獲得するための方法が提供される。方法は、プロジェクタ、第１のカメラ、および第２のカメラを有する３Ｄ測定デバイスを提供することを含む。方法は、プロジェクタによって物体上に投射された光のパターンの画像を記録する。測定されるパラメータの、予測されるパラメータからの逸脱が決定される。逸脱が所定の閾値の範囲外であるとき、３Ｄ測定デバイスの較正を変更することができる。
2017527812.tif 000002
【特許請求の範囲】
【請求項１】
第１のカメラ、第２のカメラ、およびプロジェクタを有する３次元（３Ｄ）測定デバイスであって、メモリを有し前記少なくとも一方のカメラおよび前記プロジェクタに動作可能に結合された制御および評価デバイスをさらに有する、３Ｄ測定デバイスを提供することと、
前記プロジェクタで物体上に光のパターンを投射することと、
第１の時間に前記第１のカメラで前記光のパターンの第１の画像を記録することと、
前記第１の時間に前記第２のカメラで前記光のパターンの第２の画像を記録することと、
前記第１の画像および前記第２の画像に少なくとも一部基づいて、前記物体の３Ｄスキャンを作り出すことと、
前記第１の画像および前記第２の画像中の少なくとも１つの点を選択することと、
較正パラメータの第１の組に少なくとも一部基づいて、前記第１の画像中の前記少なくとも１つの点の第１の３Ｄ座標を決定することと、
較正パラメータの前記第１の組に少なくとも一部基づいて、前記第２の画像中の前記少なくとも１つの点の第２の３Ｄ座標を決定することと、
前記第１の３Ｄ座標および前記第２の３Ｄ座標に少なくとも一部基づいて、偏移を決定することと、
前記偏移に少なくとも一部基づいて較正パラメータの第２の組を決定することと、
較正パラメータの前記第２の組をメモリに保存することと、
を含むことを特徴とする、環境を光学的にスキャンし測定するための方法。
【請求項２】
請求項１に記載の方法であって、前記偏移を所定の閾値と比較することと、前記偏移が前記所定の閾値を超えるときに較正パラメータの前記第２の組で較正パラメータの前記第１の組を置き換えることと、をさらに含むことを特徴とする方法。
【請求項３】
請求項１に記載の方法であって、前記偏移を決定する前記ステップが、前記第１の３Ｄ座標と前記第２の３Ｄ座標との間の位置の差異を決定することを含むことを特徴とする方法。
【請求項４】
請求項２に記載の方法であって、
前記プロジェクタがプロジェクタ平面を含み、
前記第１のカメラが第１の画像平面を含み、
前記第２のカメラが第２の画像平面を含み、
前記少なくとも１つの点が、前記第１の画像平面、前記第２の画像平面、および前記プロジェクタ平面から選択された少なくとも２つの平面上に対応を有するように選択され、
前記偏移を決定する前記ステップが、前記少なくとも２つの平面のうちの１つの上の前記少なくとも１つの点の位置が、予想される位置とは異なることを判定することを特徴とする方法。
【請求項５】
請求項４に記載の方法であって、前記決定された偏移が誤差のフィールド内に挿入されることを特徴とする方法。
【請求項６】
請求項５に記載の方法であって、前記第２の較正パラメータを決定する前記ステップが、誤差フィールドの種類および前記偏移のサイズに基づくことを特徴とする方法。
【請求項７】
請求項１に記載の方法であって、前記少なくとも１つの点が第１の点および第２の点を含み、前記第１の点および前記第２の点が、前記３Ｄ測定デバイスから異なる距離のところに位置決めされるように選択されることを特徴とする方法。
【請求項８】
請求項１に記載の方法であって、前記プロジェクタ、前記第１のカメラ、および前記第２のカメラが、三角形の配置構成で位置決めされることを特徴とする方法。
【請求項９】
請求項１に記載の方法であって、
前記３Ｄ測定デバイスが２次元（２Ｄ）カメラを含み、
前記少なくとも１つの点が前記物体上の特徴に対応することを特徴とする方法。
【請求項１０】
請求項９に記載の方法であって、前記２Ｄカメラで前記特徴を含む第３の画像を記録することをさらに含むことを特徴とする方法。
【請求項１１】
請求項１０に記載の方法であって、前記偏移を決定する前記ステップが、前記少なくとも１つの点の前記第１の画像および前記少なくとも１つの点の前記第２の画像を、前記第３の画像中の前記特徴と比較することを特徴とする方法。
【請求項１２】
請求項１１に記載の方法であって、前記第１の画像、前記第２の画像、および前記第３の画像が同時に記録されることを特徴とする方法。
【請求項１３】
請求項１１に記載の方法であって、前記第３の画像が、前記第１の時間とは異なる第２の時間に取得されることを特徴とする方法。
【請求項１４】
請求項１３に記載の方法であって、前記光のパターンを投射する前記ステップがパルス状のパターンであり、前記パターンが、前記第１の時間中に投射され前記第２の時間中には投射されないことを特徴とする方法。
【請求項１５】
請求項１２に記載の方法であって、前記３Ｄ測定デバイスが、ある光の波長を遮断するように配置構成されたフィルタをさらに含み、前記プロジェクタが前記光の波長で前記光のパターンを投射するように構成されることを特徴とする方法。
【請求項１６】
請求項１５に記載の方法であって、前記光の波長が赤外波長または紫外波長であることを特徴とする方法。
【請求項１７】
第１のカメラ、第２のカメラ、およびプロジェクタを有する３次元（３Ｄ）測定デバイスであって、メモリを有し前記少なくとも一方のカメラおよび前記プロジェクタに動作可能に結合された制御および評価デバイスをさらに有する、３Ｄ測定デバイスを提供することと、
前記プロジェクタで光のパターンを物体上に第１の波長で投射することと、
第１の時間に前記第１のカメラで前記光のパターンの第１の画像を記録することと、
前記第１の時間に前記第２のカメラで前記光のパターンの第２の画像を記録することと、
前記第１の画像および前記第２の画像に少なくとも一部基づいて、前記物体の３Ｄスキャンを作り出すことと、
第１の画像および第２の画像の中にある、前記光のパターンの中心にある第１の点を選択することと、
前記光のパターンの第２のものから離れて位置決めされている、前記光のパターン中の第２の点を選択することと、
前記第１の点および前記第２の点に基づいて、前記第１の波長の偏移を決定することと、
前記偏移をメモリに保存することと、
を含むことを特徴とする、環境を光学的にスキャンし測定するための方法。
【請求項１８】
請求項１７に記載の方法であって、前記プロジェクタが回折光学素子をさらに含むことを特徴とする方法。
【請求項１９】
請求項１８に記載の方法であって、前記第１の点がゼロ次回折のところに位置決めされ、前記第２の点がより高い回折次数の位置に位置付けられることを特徴とする方法。
【請求項２０】
請求項１７に記載の方法であって、
前記偏移に少なくとも一部基づいて光の第２の波長を決定することと、
前記光の第２の波長で前記物体上に前記光のパターンを投射することと、
をさらに含むことを特徴とする方法。
【請求項２１】
請求項１７に記載の方法であって、前記プロジェクタ、前記第１のカメラ、および前記第２のカメラが、三角形の配置構成で位置決めされることを特徴とする方法。
【発明の詳細な説明】
【背景技術】
【０００１】
関連出願の相互参照（該当する場合）
本出願は、２０１４年１２月３０日に出願された独国特許出願第１０  ２０１４  ０１９  ６６９．０号、２０１４年１２月３０日に出願された独国特許出願第１０  ２０１４  ０１９  ６７０．４号、２０１４年１２月３０日に出願された独国特許出願第１０  ２０１４  ０１９  ６７２．０号、および２０１４年１２月３０日に出願された独国特許出願第１０  ２０１４  ０１９  ６７１．２号の利益を主張する。これらの全ての内容を、それらの全体を本願に引用して援用する。
【０００２】
本出願はまた、２０１５年８月１４日に出願された米国特許出願第１４／８２６８５９号の一部継続出願でもある。ＵＳ１４／８２６８５９は、２０１４年９月１０日に出願された独国特許出願第１０  ２０１４  １１３  ０１５．４号の利益を主張し、また、２０１５年５月１４日に出願された米国仮出願第６２／１６１，４６１号の非仮出願である２０１５年５月１５日に出願された米国特許出願第１４／７１２，９９３号の、一部継続出願でもある。米国特許出願第１４／７１２，９９３号は、２０１４年９月１０日に出願された独国特許出願第１０  ２０１４  ０１３  ６７７．９号の利益をさらに主張する。これらの全ての内容を、それらの全体を本願に引用して援用する。
【０００３】
本出願はさらに、上述の米国仮出願第６２／１６１，４６１号の非仮出願である、２０１５年５月２７日に出願された米国特許出願第１４／７２２，２１９号の一部継続出願である。米国特許出願第１４／７２２，２１９号は、２０１４年９月１０日に出願された独国特許出願第１０  ２０１４  ０１３  ６７８．７号の利益を主張する。これらの全ての内容を、それらの全体を本願に引用して援用する。
【０００４】
本明細書において開示される主題は携帯型スキャナに、特にディスプレイを有する携帯型スキャナに関する。
【０００５】
携帯型スキャナは、スキャンされるべき物体の表面上に光のパターンを投影するプロジェクタを含む。プロジェクタの位置は、投影された符号化されたパターンによって判定される。相対位置および整列関係が既知であるか判定されている２つ（またはそれ以上）のカメラは、さらなるコード化されていないパターンを有する表面の画像を記録することができる。（パターンの点の）３次元座標を、エピ極幾何などの、それ自体知られている数学的方法によって決定することができる。
【０００６】
ビデオゲーム用途においては、スキャナは追跡デバイスとして知られており、この場合、プロジェクタが符号化された光のパターンを追われるべき標的、好ましくはプレイしている使用者上に投影して、次いでこの符号化された光のパターンをカメラで記録し、使用者の座標を判定する。このデータは、適切なディスプレイ上に表現される。
【０００７】
距離測定を含んでシーンをスキャンするためのシステムは、その最も単純な形態では、２つのカメラを有するカメラユニットと、照射ユニットと、同期ユニットと、を含み得る。これらのカメラは、任意選択でフィルタを含んでよく、標的領域の立体的な重ね合わせのために用いられる。照射ユニットは、回折光学素子によってなどで、標的領域内にパターンを生成するために用いられる。同期ユニットは、照射ユニットとカメラユニットを同期させる。カメラユニットおよび照射ユニットを、選択可能な相対位置に設置することができる。任意選択で、２つのカメラユニットまたは２つの照射ユニットを用いることもできる。
【発明の概要】
【課題を解決するための手段】
【０００８】
本発明の一態様によれば、環境を光学的にスキャンし測定するための方法が提供される。この方法は、第１のカメラ、第２のカメラ、およびプロジェクタを有する３次元（３Ｄ）測定デバイスであって、メモリを有し少なくとも一方のカメラおよびプロジェクタに動作可能に結合された制御および評価デバイスをさらに有する、３Ｄ測定デバイスを提供するステップと、プロジェクタで物体上に光のパターンを投射するステップと、第１の時間に第１のカメラで光のパターンの第１の画像を記録するステップと、第１の時間に第２のカメラで光のパターンの第２の画像を記録するステップと、第１の画像および第２の画像に少なくとも一部基づいて、物体の３Ｄスキャンを作り出すステップと、第１の画像および第２の画像中の少なくとも１つの点を選択するステップと、較正パラメータの第１の組に少なくとも一部基づいて、第１の画像中の少なくとも１つの点の第１の３Ｄ座標を決定するステップと、較正パラメータの第１の組に少なくとも一部基づいて、第２の画像中の少なくとも１つの点の第２の３Ｄ座標を決定するステップと、第１の３Ｄ座標および第２の３Ｄ座標に少なくとも一部基づいて、偏移を決定するステップと、偏移に少なくとも一部基づいて較正パラメータの第２の組を決定するステップと、較正パラメータの第２の組をメモリに保存するステップと、を含む。
【０００９】
本発明の別の態様によれば、環境を光学的にスキャンし測定するための別の方法が提供される。この方法は、第１のカメラ、第２のカメラ、およびプロジェクタを有する３次元（３Ｄ）測定デバイスであって、メモリを有し少なくとも一方のカメラおよびプロジェクタに動作可能に結合された制御および評価デバイスをさらに有する、３Ｄ測定デバイスを提供するステップと、プロジェクタで光のパターンを物体上に第１の波長で投射することと、第１の時間に第１のカメラで光のパターンの第１の画像を記録することと、第１の時間に第２のカメラで光のパターンの第２の画像を記録することと、第１の画像および第２の画像に少なくとも一部基づいて、物体の３Ｄスキャンを作り出すことと、第１の画像および第２の画像の中にある、光のパターンの中心にある第１の点を選択することと、光のパターンの第２のものから離れて位置決めされている、光のパターン中の第２の点を選択することと、第１の点および第２の点に基づいて、第１の波長の偏移を決定することと、偏移をメモリに保存することと、を含む。
【００１０】
これらのおよび他の利点および特徴は、図面と併せて解釈される続く説明から、より明らかとなるであろう。
【００１１】
本発明と見なされる主題は、本明細書の終結部に置く特許請求の範囲において具体的に指摘され、明確に特許請求される。本発明の前述のおよび他の特徴および利点は、添付の図面と併せて解釈される続く詳細な説明から明らかであろう。
【図面の簡単な説明】
【００１２】
【図１】ハンドヘルドスキャナのおよび環境内にある物体の、斜視図である。
【図２】ハンドヘルドスキャナの表側の図である。
【図３】ハンドヘルドスキャナの裏側の図である。
【図４】上方からの、ハンドヘルドスキャナの上面図である。
【図５】右側からの、ハンドヘルドスキャナの図である。
【図６】ハウジングのない、図１に対応する斜視図である。
【図７】ディスプレイを有する制御および評価デバイスを表したものである。
【図８】右側から図７の制御および評価デバイスを表したものである。
【図９】重なりをシェーディングした、カメラの視界を示す図である。
【図１０】画像平面、プロジェクタ平面、およびエピ極線の幾何学的関係を示す図である。
【図１１】自動較正の例示の方法を示す図である。
【図１２】単純化されたばらつきの状況を示す図である。
【図１３】図１２の状況の、あり得る誤差フィールドを示す図である。
【図１４】１本のエピ極線を有する例の図である。
【図１５】２本のエピ極線を有する例の図である。
【図１６】ばらつきを有する例の図である。
【図１７】いくつかのエピ極線の第１の検証の図である。
【図１８】いくつかのエピ極線の第２の検証の図である。
【図１９】カメラの相対的幾何学的配置の検証を示す図である。
【図２０】波長の検証を示す図である。
【図２１】図２０の典型的な誤差フィールドを示す図である。
【発明を実施するための形態】
【００１３】
詳細な記載により、本発明の実施形態を、利点および特徴とともに、図面を参照して例として説明する。
【００１４】
１つの実施形態では、担持構造（キャリーイングストラクチャー：架台）は機械的および熱的に安定したものであり、カメラおよびプロジェクタの、相対距離および相対的な整列関係を規定する。環境（エンバイロンメント）に接する３Ｄ測定デバイスの面を表側に配置することは、これらの距離および整列関係がハウジングの形状の変化によって変化しないという利点を有する。
【００１５】
「プロジェクタ」という用語は、パターンを作り出すデバイスを一般に指すように定義される。パターンの生成は、回折光学素子もしくはマイクロレンズ（もしくは単一レーザ）による生成などの偏向法によって、または遮光法、たとえばシャッタ、（オーバーヘッドプロジェクタにおいて用いられるような）透明材、および他のマスクによる作出によって、行うことができる。偏向法は、失われる光がより少なく結果としてより高い強度が利用できるという利点を有する。
【００１６】
距離測定のために提供される組立体（アッセンブリ）の数に応じて、対応する数の担持構造のアームが提供され、これらは、アームの交差箇所に位置する共通の中心部から突出する。組立体は、カメラおよびプロジェクタの組み合わせを含むことができ、割り当てられたアームの端部の領域に設けられる。組立体は担持構造の裏側に各々配置構成されてよい。これらのそれぞれの光学系は、担持構造の割り当てられた開口を通して導かれて、それぞれの組立体が表側から環境に対面するように、動作可能に配向される。ハウジングが裏側を覆い、ハンドル部を形成する。
【００１７】
１つの実施形態では、担持構造は、炭素強化またはガラス繊維強化された、合成材料もしくはセラミックの（または別の材料の）母材（マトリクス）から成る。この材料は安定性および低重量を提供し、同時に、視界領域を有して構成できる。担持構造の表側の凹状（球状）の湾曲は、構造上の利点を有するだけでなく、３Ｄ測定デバイスの表側表面が作業表面上に置かれるとき、表側に配置された光学構成要素の保護も行う。
【００１８】
プロジェクタは、可視波長範囲内にあってもなくてもよい、投影されたパターンを作り出す。１つの実施形態では、投影されたパターンは、赤外範囲内の波長を有する。２つのカメラは、この波長範囲内の光から画像を取得し、同時に可視波長範囲内の散乱された光および他の干渉をフィルタリングして除去するように構成される。たとえば色などの追加の情報用の第３のカメラとして、カラーカメラまたは２Ｄカメラを設けることができる。そのようなカメラは、環境のおよびスキャン中の物体の、画像を記録する。カメラが色を取り込む実施形態では、スキャン工程（本明細書では「３Ｄスキャン」と呼ばれる）から生成されたポイントクラウド（点の集合）は、カラー画像に含まれる色情報から割り当てられた色値を有し得る。
【００１９】
動作中、３Ｄ測定デバイスは、異なる位置から、同じシーンの複数の３Ｄスキャンを生成する。３Ｄスキャンは、共同の座標系において重ね合わせられる。２つの重なる３Ｄスキャンを連結することに関して、３Ｄスキャン中の構造を認識可能であり得ることに利点が存在する。好ましくは、そのような認識可能な構造が探索され、連続的にまたは少なくとも記録工程の後で、表示される。ある決定された領域内で、密度が所望のレベルでなければ、この領域のさらなる３Ｄスキャンを生成することができる。ビデオ画像および（これに一部が隣接する）３次元ポイントクラウドを表現するために用いられるディスプレイを細分化することにより、どの領域でスキャンがさらに生成されるべきかを認識するのを助けることができる。
【００２０】
１つの実施形態では、３Ｄ測定デバイスは、携帯型スキャナとして設計される、すなわち、これは高速で動作し、一人の人間による運搬および使用に好適なサイズおよび重量のものである。ただし、この３Ｄ測定デバイスを三脚上に（もしくは別の台上に）、手で移動可能な台車（もしくは別のカート）上に、または自律移動するロボット上に装着すること、すなわち、この３Ｄ測定デバイスが−任意選択でさらに、たとえば運搬用ハンドルのない、別のハウジングを用いることにより−使用者によって運搬されないことが可能である。本明細書における実施形態は３Ｄ測定デバイスをハンドヘルド型であるとして記載しているが、これは例示を目的としており、特許請求される発明はこれに限定されるべきではないことを諒解されたい。他の実施形態では、３Ｄ測定デバイスを、固定式または移動式であり、適切な場合には他のデバイスと一緒に構築される、コンパクトなユニットとして構成することもできる。
【００２１】
図１〜図６を参照すると、物体Ｏを有する３Ｄ測定デバイス１００の環境を光学的にスキャンし測定するためのデバイスの携帯可能な部分として、３Ｄ測定デバイス１００が提供されている。本明細書で使用される場合、デバイス１００の使用者に面する側を裏側、デバイス１００の環境に面する側を表側と呼ぶものとする。この定義は、３Ｄ測定デバイス１００の構成要素にも拡張される。３Ｄ測定デバイス１００には、３つのアーム１０２ａ、１０２ｂ、１０２ｃを有する担持構造１０２が、（その表側に）見えるように設けられる。これらのアームは、担持構造１０２に、Ｔ字形状またはＹ字形状、すなわち三角形の配置構成を付与する。３つのアーム１０２ａ、１０２ｂ、１０２ｃが交差し互いと接続され、かつ３つのアーム１０２ａ、１０２ｂ、１０２ｃが突出する起点となる領域は、３Ｄ測定デバイス１００の中心を画定する。使用者の視点からは、担持構造１０２には、左アーム１０２ａ、右アーム１０２ｂ、および下アーム１０２ｃが設けられている。１つの実施形態では、左アーム１０２ａと右アーム１０２ｂとの間の角度はたとえば約１５０°＋２０°、左アーム１０２ａと下アーム１０２ｃとの間はたとえば約１０５°＋１０°である。下アーム１０２ｃは、いくつかの実施形態では、他の２つのアーム１０２ａ、１０２ｂよりも、いくらか長い。
【００２２】
担持構造１０２は、好ましくは、炭素繊維強化合成材料（ＣＦＣ）などの、繊維強化合成材料から構成される。別の実施形態では、担持構造１０２は、炭素繊維強化セラミックからまたはガラス繊維強化合成材料から作成される。この材料は、担持構造１０２を機械的および熱的に安定したものにし、同時に低重量を提供する。担持構造１０２の厚さは、アーム１０２ａ、１０２ｂ、１０２ｃの長さ（たとえば１５から２５ｃｍ）よりもかなり小さい（たとえば５から１５ｍｍ）。担持構造１０２はしたがって、平坦な基本形状を有する。いくつかの実施形態では、アーム１０２ａ、１０２ｂ、１０２ｃは、アームの中心近くに、強化された背骨部を含み得る。ただしこれは好ましくは、平面状ではなく湾曲するように構成される。担持構造１０２のそのような湾曲は、約１から３ｍの半径を有する球体の湾曲となるように適合される。担持構造１０２の（物体Ｏに面する）表側はこのことにより、凹状となるように構成され、裏側は凸状となるように構成される。担持構造１０２の湾曲した形状は、安定性を提供するのに有利である。担持構造１０２の表側（および１つの実施形態では裏側の見えている領域）は、視界領域となるように構成される、すなわち、そこには隠蔽物、カバー、クラッディング、または他の種類の包装材は設けられない。繊維強化された合成材料またはセラミックによる好ましい構成は、この目的のために特に好適である。
【００２３】
担持構造１０２の裏側にはハウジング１０４が配置され、これは３つアーム１０２ａ、１０２ｂ、１０２ｃの端部の領域内で、適切な接続手段によって、たとえば僅かな隙間を有してゴムリングおよびねじによって、担持構造１０２と浮動する方式（フローティング方式）で接続される。本明細書で使用される場合、浮動式の接続とは、ハウジング１０４から担持構造１０２への振動の伝達を低減または排除するものである。１つの実施形態では、浮動式の接続は、ハウジング１０４と担持構造との間に配設された、ゴム製の隔離装着部によって形成される。１つの実施形態では、担持構造１０２の外周とハウジング１０４との間に、ゴムなどのエラストマー製の封止部が配設される。担持構造１０２およびハウジング１０４は次いで、エラストマー製のブッシングを用いて締め付けられる。封止部およびブッシングは協働して、担持構造１０２とハウジング１０４との間に浮動式の接続を形成する。左アーム１０２ａのおよび右アーム１０２ｂの領域内で、ハウジング１０４の縁部は、担持構造１０２のすぐ近傍へと延び、同時にハウジング１０４は、３Ｄ測定デバイス１００の中心から下アーム１０２ｃの領域内で、担持構造１０２まである距離をおいて延在してハンドル部１０４ｇを形成し、ハンドル部１０４ｇの端部において屈曲して下アーム１０２ｃに接近し、ここでハウジング１０４は、浮動する様式で下アーム１０２ｃと接続される。ハンドル１０４ｇの縁部は、担持構造１０２のすぐの近傍へと延びる。いくつかの実施形態では、担持構造１０２の一部は、強化された背骨部１０２ｒを含み得る。背骨部１０２ｒは、ハウジング１０４の内部へと突出する。ハウジング１０４は、担持構造１０２の裏側を覆い内部空間を画定するための、フードとして働く。
【００２４】
保護要素１０５を、ハウジング１０４にまたは担持構造１０２に取り付けることができる。１つの実施形態では、保護要素１０５は、アーム１０２ａ、１０２ｂ、１０２ｃの端部に配置され、これらから外向きに延びて、３Ｄ測定デバイスを衝撃から、およびその結果生じる損傷から保護する。使用されていないとき、３Ｄ測定デバイス１００は、その表側を底にして下に置くことができる。表側の凹状の湾曲のため、３Ｄ測定デバイスは、アーム１０２ａ、１０２ｂ、１０２ｃの端部においてのみ、表面に接触することになる。保護要素１０５がアーム１０２ａ、１０２ｂ、１０２ｃの端部に位置決めされる実施形態では、保護要素１０５が表面との追加の隙間を提供することになるので、利点が得られる。さらに、保護要素１０５が柔らかい材料、たとえばゴムから作成される場合、このことにより、使用者の手にとって望ましい触感が提供される。この柔らかい材料を、ハウジング１０４に、特にハンドル部１０４ｇに、任意選択で取り付けることができる。
【００２５】
３Ｄ測定デバイス１００の裏側では、ハウジング１０４上に制御作動装置または制御ノブ１０６が配置され、これによって、少なくとも光学的なスキャンおよび測定、すなわちスキャン工程を、開始および停止することができる。制御ノブ１０６は、ハンドルの一方の端部に隣接する、ハウジング１０４の中心に配置される。制御ノブ１０６は多機能であってよく、使用者による一連の操作に基づいて、様々な機能を提供してよい。これらの操作は、時間ベースのもの（たとえば複数のボタンが所定の時間内に押される）、または空間ベースのもの（たとえばボタンが方向の所定の組において移動される）、または両方の組み合わせであってよい。１つの実施形態では、制御ノブ１０６を、いくつかの方向（たとえば左、右、上、下）に傾けることができる。１つの実施形態では、制御ノブ１０６の周囲に、少なくとも１つの状態ランプ１０７が存在する。１つの実施形態では、複数の状態ランプ１０７が存在してよい。これらの状態ランプ１０７を用いて、３Ｄ測定デバイス１００の実際の状態を示し、こうしてその操作を容易にすることができる。状態ランプ１０７は好ましくは、いくつかの状態を区別するために、異なる色（たとえば緑または赤）を示すことができる。状態ランプ１０７は、発光ダイオード（ＬＥＤ）であってよい。
【００２６】
担持構造１０２上に、ある規定された距離だけ互いから離間されて、左アーム１０２ａ上（のその端部の領域）に第１のカメラ１１１が配置され、右アーム１０２ｂ上（のその端部の領域）に第２のカメラ１１２が配置される。２つのカメラ１１１および１１２は、担持構造１０２の裏側に配置されてこれに固定され、この場合、担持構造１０２には、中を通してそれぞれのカメラ１１１、１１２が画像を取得できる開口が、担持構造１０２の表側を通して設けられる。２つのカメラ１１１、１１２は好ましくは、ハウジング１０４が担持構造１０２と浮動式に接続するための接続手段によって取り囲まれる。
【００２７】
カメラ１１１、１１２の各々は、これらと関連付けられた視界を有する。第１のカメラ１１１のおよび第２のカメラ１１２の、互いに対する整列関係は、これらの視界が重なって物体Ｏの立体画像を可能とするような手法で調節されるか、または調節可能である。整列関係が固定される場合、３Ｄ測定デバイス１００が用いられる用途に応じて、望まれる所定の重なり範囲が存在する。環境状況に応じて、数デシメートルまたは数メートルの範囲も望まれ得る。別の実施形態では、カメラ１１１、１１２の整列関係を、使用者が、たとえばカメラ１１１、１１２を反対方向に枢動させることによって、調節することができる。１つの実施形態では、カメラ１１１、１１２の整列関係が追跡され、この結果、３Ｄ測定デバイス１００にとって既知となる。別の実施形態では、整列関係は最初は恣意的であり（および未知であり）、その後、たとえばカメラの位置を測定することによってなどで判定され、こうして３Ｄ測定デバイス１００にとって既知となる。さらに別の実施形態では、整列関係は、３Ｄ測定デバイス１００の製造または較正中に、設定され固定される。第１のカメラ１１１および第２のカメラ１１２が調節される実施形態では、３Ｄ測定デバイス１００におけるカメラの角度および位置を判定するための較正を、実地で行ってよい。使用され得る較正の種類を、本明細書においてさらに検討する。
【００２８】
第１のカメラ１１１および第２のカメラ１１２は、好ましくは単色型である、すなわち、たとえば対応するフィルタを設けられることによって、狭い波長範囲を感知可能であり、これらのフィルタはその場合、散乱された光を含め、他の波長範囲をフィルタリングして除去する。この狭い波長範囲は、赤外範囲内にあってもよい。物体Ｏに関する色情報を得るために、３Ｄ測定デバイス１００は好ましくは、第１のカメラ１１１におよび第２のカメラ１１２に対して好ましくは対称に整列され、カメラ１１１、１１２の間で３Ｄ測定デバイス１００の中心に配置される、カラーカメラ１１３などの、２Ｄカメラを含む。２Ｄカメラ１１３は、可視波長範囲内の光を感知可能な画像センサを含み得る。２Ｄカメラ１１３は、中に含まれる物体Ｏを含むシーン、すなわち３Ｄ測定デバイス１００の環境の、２Ｄ画像を取り込む。
【００２９】
不利な照明条件である場合に２Ｄカメラのためにシーンを照射するために、例示した実施形態では光源が少なくとも１つ、たとえば４つの（強力な）発光ダイオード（ＬＥＤ）１１４が、提供される。１つの放射要素１１５は、ＬＥＤ１１４の各々と関連付けられる。発光ダイオード１１４から投射された光は、３Ｄ測定デバイス１００の整列関係に対応して、対応するＬＥＤ１１４から偏向される。そのような放射要素１１５はたとえば、レンズ、または光ガイドの適切に構成された端部であり得る。（例示した実施形態では４つの）放射要素１１５は、カラーカメラ１１３の周囲に均等に配置される。各ＬＥＤ１１４は、各々１つの光ガイドによって割り当てられた放射要素１１５と接続される。ＬＥＤ１１４はしたがって、３Ｄ測定デバイス１００の制御ユニット１１８において、その基板上に固定されることによってなどで、構造的に配置され得る。
【００３０】
カメラ１１１、１１２、１１３によって記録された画像を後から参照するために、傾斜計１１９などのセンサが提供される。１つの実施形態では、傾斜計１１９は、ＭＥＭＳ（微小電気機械システム）のような、それ自体知られている様式で製造される（１つまたはいくつかの受感軸を有する）加速度センサである。傾斜計１１９として、他の実施形態および組み合わせも可能である。３Ｄ測定デバイス１００のデータは、（１つの成分として）傾斜計１１９によって提供される重力方向を各々有する。
【００３１】
動作中、第１のカメラ１１１によっておよび第２のカメラ１１２によって、画像が記録される。これらの画像から３次元データを判定することができる、すなわち、たとえばフォトグラメトリによって、物体Ｏの３Ｄスキャンを作り出すことができる。ただし物体Ｏは、構造または特徴がほとんどなく、平滑な表面を多く有する場合がある。結果として、物体Ｏの散乱された光から３Ｄスキャンを生成するのは困難である。
【００３２】
この困難を解決するために、下アーム１０２ｃ（のその端部の領域）に配置される、プロジェクタ１２１を用いることができる。プロジェクタ１２１は、担持構造１０２の裏側で内部空間内に配置され、担持構造１０２に固定される。担持構造１０２には、中を通してプロジェクタ１２１が光のパターンを投影できる開口が、担持構造１０２の表側を通して設けられる。１つの実施形態では、プロジェクタ１２１は、ハウジング１０４と担持構造１０２との間で浮動式の接続をもたらすための接続手段によって取り囲まれる。プロジェクタ１２１、第１のカメラ１１１、および第２のカメラ１１２は、互いに関して三角形の配置構成で配置され、３Ｄ測定デバイス１００の環境に合わせて整列される。プロジェクタ１２１は、２つのカメラ１１１、１１２に対応して整列される。カメラ１１１、１１２とプロジェクタ１２１との間の相対的な整列関係は、事前設定されるか、または使用者が設定することができる。
【００３３】
１つの実施形態では、カメラ１１１、１１２およびプロジェクタ１２１は正三角形を形成し、共通の傾斜角を有する。この様式で配置されるとき、およびカメラ１１１、１１２およびプロジェクタ１２１の視界が同様であるとき、視界の中心は、スキャナ１００から特定の距離にある共通の点で交わることになる。この配置により、最大量の重なりを得ることができる。カメラ１１１、１１２およびプロジェクタ１２１の傾斜または角度を調節可能な実施形態では、視界の交点までの距離または範囲を変えることができる。
【００３４】
使用者が３Ｄ測定デバイス１００をその表側を下にしてある表面上に、すなわち表側をこの表面に向けて置く場合、表側の凹状の湾曲が、カメラ１１１、１１２、１１３およびプロジェクタ１２１との間に表面からの間隙を創出し、このことにより、それぞれのレンズが損傷から保護される。
【００３５】
カメラ１１１、１１２、１１３、プロジェクタ１２１、制御ノブ１０６、状態ランプ１０７、発光ダイオード１１４、および傾斜計１１９は、ハウジング１０４内に配置される、共通の制御ユニット１１８と接続される。この制御ユニット１１８を、ハウジングに組み込まれる制御および評価デバイスの一部とすることができる。ある実施形態では、制御ユニット１１８は、ハウジング１０４のところで標準化された通信インタフェースと接続され、このインタフェースは、投射および受信ユニットとしてワイヤレス接続（たとえばブルートゥース（登録商標）、ＷＬＡＮ、ＤＥＣＴ）されるように、または、内容を本願に引用して援用するドイツ公報（ＤＥ１０  ２００９  ０１０  ４６５  Ｂ３）に記載されるもののように、適切であれば規定されたインタフェースでもあるものとしてケーブル接続（たとえばＵＳＢ、ＬＡＮ）されるように、構成される。通信インタフェースは、前記ワイヤレス接続またはケーブルによる接続によって、（３Ｄ測定デバイス１００の環境を光学的にスキャンし測定するためのデバイスのさらなる構成要素としての）外部の制御および評価デバイス１２２と接続される。この場合には、通信インタフェースは、ケーブルにより接続されるように構成され、この場合、ケーブル１２５は、たとえばハンドル部１０４ｇの下側端部において、ハウジング１０４内に差し込まれ、この結果、ケーブル１２５は、ハンドル部１０４ｇを延長するように延びる。
【００３６】
制御および評価デバイス１２２は、メモリを有する１つ以上のプロセッサ１２２ａを含み得る。プロセッサ１２２ａは、３Ｄ測定デバイス１００を操作および制御するならびに測定されたデータを評価および保存するための方法を実行するように構成される。制御および評価デバイス１２２は、図７および図８において示すもののような携帯型コンピュータ（ノートブック）またはタブレット（もしくはスマートフォン）、あるいは任意の外部のまたは遠位の（たとえばウェブ内の）コンピュータであってよい。制御および評価デバイス１２２を、３Ｄ測定デバイス１００を制御するためのおよび測定されたデータを評価するためのソフトウェアにおいて構成してもよい。ただし、制御および評価デバイス１２２を、別個のハードウェアにおいて実現することができるか、またはこれを、３Ｄ測定デバイス１００に組み込むことができる。制御および評価デバイス１２２は、少なくとも１つの構成要素が３Ｄ測定デバイス１００に組み込まれ１つの構成要素が外部にある、分散された構成要素のシステムであってもよい。このようにして、前記の方法を行うためのプロセッサ１２２ａを、３Ｄ測定デバイス１００においておよび／または外部のコンピュータにおいて、実現することができる。
【００３７】
プロジェクタ１２１は、これがたとえば回折光学素子によって作り出すパターンＸを、スキャンされるべき物体Ｏ上に投影する。パターンＸをコード化（つまり一値化）する必要はなく、たとえば周期的にコード化されていなくて（すなわち多値であって）よい。この多値性は、２つのカメラ１１１、１１２を、パターンの形状および方向の利用可能な正確な知識と組み合わせて使用することによって解決される。コード化されていないパターンはたとえば、周期的に離間された同一のパターン要素（たとえば光のスポットまたは線）であってよい。プロジェクタ１２１から投影されたパターン要素とカメラ１１１、１１２の感光性アレイ上の画像中のパターン要素との間の対応は、本明細書においてさらに検討するように、連立のエピ極線拘束条件を通しておよび較正パラメータを用いて決定される。２つのカメラ１１１および１１２を、パターンの形状および方向の知識と組み合わせて使用することによって、点の対応の一意性が達成され、この組み合わされる知識は、３Ｄ測定デバイス１００の較正から得られる。
【００３８】
本明細書で使用される場合、「パターン要素」という用語は、パターンＸの要素の形状を意味するものとし、一方、「点」という用語は、（パターン要素のまたは他の何かの）３Ｄ座標中の位置を示すものとする。
【００３９】
コード化されていないパターンＸ（図１）は好ましくは、グリッド内に規則的に配置された点を備える、点パターンである。本発明では、たとえば、視界ＦＯＶ（図９）にわたって、約５０°の角度で約０．５ｍから５ｍの距離へと、１００個の点が約１００回（合計１０，０００個の点が）投影される。パターンＸを、線パターンとすること、または点と線とを組み合わせたパターンとすることもでき、これらの各々は、密に配置された光点によって形成される。第１のカメラ１１１は第１の画像平面Ｂ１１１を備え、第２のカメラ１１２は第２の画像平面Ｂ１１２を備える。２つのカメラ１１１および１１２は、それぞれの画像平面Ｂ１１１およびＢ１１２においてパターンＸの少なくとも一部を受信し、これらの画像平面中には、物体Ｏから反射されたパターンＸの一部を取り込むための感光性アレイ（たとえばＣＭＯＳまたはＣＣＤアレイ）が配置される。
【００４０】
点密度と、プロジェクタ１２１と物体Ｏとの間の距離と、作り出されるパターンＸに関して得られる解像度との間には、相関がある。回折によるパターン生成の場合、１つの光源の光がパターンにわたって分散される。この場合、光源の合計出力が限定されているとき、パターン要素の輝度は、パターン中の要素の数に依存する。物体から散乱される光の強度および背景光の強度に応じて、より少ないがより明るいパターン要素を有するのが望ましいかどうかが判定され得る。より少ないパターン要素は、取得された点の密度の減少を意味する。したがって、パターンＸ以外に少なくとも１つの他のパターンを生成できることが、役立つように思われる。現時点の状況にとって望まれるパターンを用いるために、パターンの生成に応じて、パターン同士の間の動的な移行および／または空間的な混合が可能である。ある実施形態では、プロジェクタ１２１は、時間に関して互いに対してずらされた、または別の波長範囲内にある、または異なる強度を有する、２つのパターンを作り出すことができる。他方のパターンは、コード化されていないパターンなどの、パターンＸから外れたパターンであってよい。例示した実施形態では、パターンは、互いへの別の距離（グリッド長さ）を有する点の規則的な配置を有する点パターンである。
【００４１】
１つの実施形態では、パターンＸは、単色パターンである。パターンＸを、プロジェクタ１２１中の回折光学素子１２４によって作り出すことができる。回折光学素子１２４は、図２０における光源１２１ａからの単一の光線を、この単一の光線よりも低い光強度を各々有する光線の集合に変換する。光線の集合の各々は、異なる方向に進んで、物体Ｏに衝突するときスポットを作り出す。光源１２１ａはたとえば、レーザ、スーパールミネセントダイオード、またはＬＥＤであってよい。ある実施形態では、光源１２１ａの波長は、赤外範囲内にある。横方向の解像度はこの場合、投影されたパターンＸ中の光のスポットの直径および間隔によってのみ限定される。パターンＸが赤外範囲内にある場合、２Ｄカメラ１１３を用いてパターンＸから干渉を受けずに物体Ｏおよび周囲環境の画像を取り込むことが可能である。同様に、パターンＸが紫外波長範囲内で作り出される場合、２Ｄカメラ１１３によって取得される画像は、パターンＸからの干渉を受けないことになる。
【００４２】
１つの実施形態では、プロジェクタ１２１は、カメラ１１１、１１２（および利用可能であれば１１３）が物体Ｏの画像を記録している時間期間の間にのみ、物体Ｏ上にパターンＸを作り出す。このことは、エネルギー効率および目の保護において利点をもたらす。２つのカメラ１１１、１１２およびプロジェクタ１２１は、時間および用いられるパターンＸの両方に関して、互いと同期または連係される。各記録工程は、プロジェクタ１２１が、写真撮影におけるフラッシュと同様にパターンＸを作り出すことによって始まり、これに続いて、カメラ１１１、１１２（および利用可能であれば１１３）が、画像の対を、言い換えれば２つのカメラ１１１、１１２の各々から各々１つの画像を、取得する。本明細書で使用される場合、実質的に同じ時間に取得されるこれらの画像の対は、「フレーム」と呼ばれる。記録工程は、１つの単独のフレーム（ショット）、または一連の複数のフレーム（ビデオ）を含み得る。そのようなショットまたはそのようなビデオは、制御ノブ１０６によってトリガされる。データの処理後、各フレームが次いで、３次元空間内にポイントクラウドから成る３Ｄスキャンを構成する。このポイントクラウドは、３Ｄ測定デバイス１００の相対的な局所座標系内で規定される。
【００４３】
３Ｄ測定デバイス１００によって供給されるデータは、制御および評価デバイス１２２において処理されて、フレームから３Ｄスキャンを生成する。３Ｄスキャンは次に、共同の座標系において連結されるかまたは重ね合わされる。重ね合わせのために、２つの３Ｄスキャンの重なる領域中の自然のまたは人工の標的（すなわち認識可能な構造）を識別することによってなど、知られている方法を用いることができる。これらの標的の識別を通して、対応する対によって２つの３Ｄスキャンの割り当てを決定することができる。シーン全体（複数の３Ｄスキャン）が、３Ｄ測定デバイス１００によってこうして漸進的に重ね合わせられる。制御および評価デバイス１２２には、外部に組み込まれるか接続されるディスプレイ１３０（ディスプレイデバイス）が設けられる。
【００４４】
この例示の実施形態では、プロジェクタ１２１は２つのカメラ１１１および１１２と同一直線上にあるのではなく、カメラ１１１、１１２は、三角形を形成するように配置される。図１０に示すように、この三角形の構成により、光学の数学的方法に基づくエピ極幾何の使用が可能となる。エピ極幾何の拘束条件により、プロジェクタ１２１のプロジェクタ平面Ｐ１２１上の点は、第１の画像平面Ｂ１１１上の第１のエピ極線上、および第２の画像平面Ｂ１１２上の第２のエピ極線上に収まることになり、画像平面Ｂ１１１およびＢ１１２の各々に関するエピ極線は、プロジェクタ１２１ならびに２つのカメラ１１１および１１２の相対幾何によって決定される。さらに、第１の画像平面Ｂ１１１上の点は、プロジェクタ平面Ｐ１２１のエピ極線上、および第２の画像平面Ｂ１１２のエピ極線上に収まり、プロジェクタ平面および第２の画像平面内のエピ極線は、プロジェクタ１２１およびカメラ１１１、１１２の相対幾何によって決定される。またさらに、第２の画像平面Ｂ１１２上の点は、プロジェクタ平面Ｐ１２１のエピ極線上、および第１の画像平面Ｂ１１１のエピ極線上に収まり、プロジェクタ平面および第１の画像平面内のエピ極線は、プロジェクタ１２１およびカメラ１１１、１１２の相対幾何によって決定される。少なくとも２つのカメラおよび１つのプロジェクタの使用により、投影されたパターン要素が、たとえば同一の形状を有するなどの区別的な特徴を有さなくても（コード化されていないパターン）、画像平面Ｂ１１１およびＢ１１２ならびにプロジェクタ平面Ｐ１２１上の点に関して、パターンＸ中の点の間の対応を決定することを可能にするのに十分なエピ極線拘束条件が提供されることが分かる。
【００４５】
１つの実施形態では、３Ｄシーンを生成するために、少なくとも３つのユニット（たとえばプロジェクタ１２１および２つのカメラ１１１、１１２）が用いられる。このことにより、２つの画像平面Ｂ１１１、Ｂ１１２中のパターン（Ｘ）の投影の対応を決定することができる元になる、点およびエピ極線の曖昧さのない三角形の関係が実現される。カメラの対に対する追加の立体幾何により、通常であれば区別できないパターンの点のかなり多くをさらに、エピ極線「ｅ」上で識別することができる。物体Ｏ上の特徴の密度はしたがって同時に高くすることができ、パターンＸの特徴（たとえばスポット）のサイズは非常に低く保つことができる。このことは、パターン中の特徴のサイズがプロジェクタの分解能に基づく下限を有するコード化されたパターンを利用し、コード化されたパターンにおけるこのサイズの限度が３Ｄスキャンの横方向の解像度を限定する他の方法とは、対照的である。プロジェクタ１２１およびカメラ１１１、１１２上の点Ｘ同士の間の対応が決定されると、３Ｄスキャンデータに関して、物体Ｏの表面上の点の３次元座標を、三角測量によって決定することができる。
【００４６】
三角測量の計算を、２つのカメラ１１１、１１２の間で、２つのカメラ１１１、１１２の間のベースライン距離および２つのカメラ１１１、１１２の傾斜の相対角度に基づいて行うことができる。三角測量の計算を、プロジェクタ１２１と第１のカメラ１１１との間で、およびプロジェクタ１２１と第２のカメラ１１２との間で、行うこともできる。これらの三角測量の計算を行うために、プロジェクタ１２１と第１のカメラ１１１との間でベースライン距離を決定する必要があり、またプロジェクタ１２１と第２のカメラ１１２との間で別のベースライン距離を決定する必要がある。加えて、プロジェクタ／第１のカメラおよびプロジェクタ／第２のカメラの間の、傾斜の相対角度が用いられる。
【００４７】
原理的には、これらの３つの三角測量の計算のいずれの１つも、物体Ｏ上の点Ｘの３Ｄ座標を決定するのに十分であり、したがって余分な２つの三角測量関係は冗長な情報（冗長性）をもたらすが、これらは本明細書にさらに記載するように、測定結果の自己チェックを提供するためにおよび自己較正機能性を提供するために、有用に採用することができる。本明細書で使用される場合、「冗長性」という用語は、物体上の特定の点または点の組に関して、３Ｄ座標を複数回決定することを指す。
【００４８】
追加の３次元データを、たとえば２Ｄカメラ１１３からまたはカメラ１１１、１１２によって取得された画像の一部から、カメラ位置の異なるいくつかのフレームを用いることにより、フォトグラメトリ法によって得ることができる。フォトグラメトリの計算を行うために、カメラ１１１、１１２、１１３によって見られる物体は、照射されるべきである。そのような照射は、たとえば太陽または人工的な照明からなどの、背景照射であってよい。背景照射は、３Ｄ測定デバイス１００によって、または別の外部光源によって提供されてよい。ある実施形態では、物体はＬＥＤ１１４からの光で照射される。照射により、２次元カメラ１１１、１１２、１１３が、色、コントラスト、および陰影などの物体の特性を見分けることが可能になり、このことにより、物体の特徴の識別が容易になる。
【００４９】
測定工程は、時間的な側面も有する。典型的には、コード化されていないパターンは、単一の３Ｄスキャンを決定するために一連のパターン全体を投影することおよび画像を取り込むことを可能とするために、静止しているデバイスとともに用いられた。この３Ｄスキャンを決定するために、スキャナと物体の両方が、互いに対して静止したままである必要があった。対照的に、本発明の実施形態は、カメラ１１１、１１２によって取得された画像の各組に対して、１つの３Ｄスキャンを生成する。別の実施形態（図示せず）では、本プロジェクタ１２１に隣接して第２のプロジェクタが配置されるか、またはさらなる回折光学素子が提供される。この第２のプロジェクタは、物体Ｏ上に、パターンＸに加えて、少なくとも１つの第２のパターンを投射する。２つのプロジェクタを有する実施形態では、異なるパターンを有する画像の１つの組を連続的に取り込むために、パターンＸと第２のパターンとの間で切り替えを行うことが可能である。したがって、３Ｄスキャンは、異なるパターンから得られる評価結果を組み合わせることによって、より高い解像度を有する。
【００５０】
物体全体の座標を決定するために、カメラ１１１、１１２によって取得された画像から作り出される３Ｄスキャンを重ね合わせる必要がある。言い換えれば、各フレームの３次元ポイントクラウドを、共通の座標系内に挿入せねばならない。たとえば「ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  ｍｏｔｉｏｎ」（ＳＦＭ）」または「ｓｉｍｕｌｔａｎｅｏｕｓ  ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  ｍａｐｐｉｎｇ」（ＳＬＡＭ）法などのビデオグラメトリによって、重ね合わせが可能である。物体Ｏの自然のテクスチャも、共通の基準点として用いられる。１つの実施形態では、重ね合わせのために、静止したパターンが投影され用いられる。
【００５１】
３Ｄ測定デバイス１００によって供給されるデータは、フレームから３Ｄスキャンを生成することによって、制御および評価デバイス１２２において処理される。３Ｄスキャンは次にその後、共同の座標系において連結されるかまたは重ね合わされる。上で検討したように、たとえば自然のまたは人工の標的（すなわち認識可能な構造）を用いることによってなどで、当技術分野で知られている重ね合わせ方法を用いることができる。対応する対によって２つの異なる３Ｄスキャンの互いに対する割り当てまたは整列関係を決定するために、これらの標的を局所化し識別することができる。３Ｄスキャン（口語的に「シーン」と呼ぶ場合もある）を次いで、３Ｄ測定デバイス１００によって漸進的に重ね合わせることができる。この例示の実施形態では、制御および評価デバイス１２２には、使用者が３Ｄスキャンを点検できるように、ディスプレイ１３０（ディスプレイデバイス）が設けられる。
【００５２】
図１１には、３Ｄ測定デバイス１００の環境の光学的なスキャンおよび測定の工程のための実施形態が示されている。第１の工程ブロック２０１では、１つのフレームに関する１対の画像の取り込みが行われ、測定された値が決定され記録される。この例示の実施形態では、各画像は、各画素のウェル中の電子の数に対応する電圧を表す値の２Ｄアレイである。
【００５３】
この工程は次いで、第２の工程ブロック２０２に進み、ここで測定された値が評価され、フレームから３Ｄスキャンデータが生成される。この第２の工程ブロックでは、プロジェクタから投影されたスポットの既知の位置と組み合わせてその数が評価されて、物体Ｏ上の点の３Ｄ座標が決定される。（エピ極幾何計算を含む）三角測量の計算を用いて、画素の各々に関する距離が得られ、各画素に関する２つの角度が、画素の場所およびカメラの幾何（レンズ焦点距離、画素サイズ、等）に基づいて決定される。
【００５４】
工程は次いで第３の工程ブロック２０３に進み、ここで３Ｄスキャンデータの複数のフレームが、共通の座標系において重ね合わせられる。１つの実施形態では、重ね合わせを補助するために、中央のカラーカメラ１１３を用いてビデオグラメトリ情報が得られる。１つの実施形態では、３Ｄスキャンデータの表現が表示され保存される。最後に、工程は第４の工程ブロック２０４に進み、ここで自動較正が行われる。１つの実施形態では、第４の工程ブロック２０４で行われる自動較正は、第２の工程ブロック２０２と同時に行うことができるか、またはこれと連続して行うことができる。たとえば連続的に制御ノブ１０６を押すことによってなどで、追加のフレームが取得されるように操作者が操作を続ける限りは、この工程は第１の工程ブロック２０１に戻る。
【００５５】
第２の工程ブロック２０２では、自動的に対応を決定するために、フレーム中で特定の点の画像が選択される。これらの選択された点は、物体Ｏ上の点に、特にパターンＸのパターン要素（たとえばスポット）に対応する。第１の画像平面Ｂ１１１中の選択された点の各画像に関して、エピ極線「ｅ」が、第２の画像平面Ｂ１１２中におよびプロジェクタ平面Ｐ１２１中に、連続的に位置付けられる。エピ極線「ｅ」を位置付けるためのこの手順は、第２の画像平面Ｂ１１２中の点の画像に関して、およびプロジェクタ平面Ｐ１２１中の点の画像に関して、繰り返される。これらの複数のエピ極線拘束条件により、３つの平面の各々において、投影されたパターン要素と受信されたパターン要素との間の一対一の対応（たとえば同一のスポット）の決定が可能となる。図１０に示すように、（物体Ｏ上のパターンＸの）点ＸＯは、３つの平面Ｂ１１１、Ｂ１１２、Ｐ１２１の全ての上に見ることができ、その画像は、各平面上の２つのエピ極線「ｅ」上にある。点ＸＯは、３つの直線、プロジェクタ１２１の光線および２つのカメラ１１１、１１２の各１つの光線の、交差点である。点ＸＯはしたがって、パターンＸの点の密度が十分に低い場合、曖昧さのない状態で示され得る。
【００５６】
ブロック２０４で行われる自動較正は自動的に行われ、外部の較正物体の使用を必要としない。始めに最初の較正を用い後で現時点で用いられている較正を用いて、適切である場合は較正を補正するために、空間の観点からばらつきがないか（幾何のばらつき）および時間の観点からばらつきがないか（経時的なパラメータの変化）、フレームが調査される。ばらつきは、たとえば動作温度の上昇に起因するものなど、熱的な原因を有する可能性がある。ばらつきは、たとえば表面または床に３Ｄ測定デバイス１００が当たることによって引き起こされる機械的ショックなど、機械的な原因を有する可能性もある。これらのばらつきは、たとえば物体上のまたは平面Ｂ１１１、Ｂ１１２、Ｐ１２１中の点の、測定された位置、角度、および他の幾何学的特徴の偏移を通して顕現する。
【００５７】
補正され得る較正パラメータは、外因性パラメータ、内因性パラメータ、または動作パラメータであってよい。各ユニット（カメラ１１１、１１２、１１３およびプロジェクタ１２１）に関する外因性パラメータは、剛体の６つの自由度、すなわち３つの位置および３つの角度を含む。特に関連があるのは、カメラ１１１、１１２、１１３およびプロジェクタ１２１の間の相対幾何、たとえばこれらの整列関係の相対距離および相対角度などである。内部パラメータは、限定するものではないが、焦点距離、主点の位置、歪みパラメータ、感光性アレイまたはＭＥＭＳプロジェクタアレイのセンタリング、各方向におけるアレイの縮尺、３Ｄ測定デバイス１００の局所座標系に対するアレイの回転、およびカメラまたはプロジェクタのレンズ系に関する収差補正係数などの、カメラまたはプロジェクタデバイスの特徴に関連していてよい。動作パラメータは、光源１２１ａの波長、空気の温度および湿度であってよい。
【００５８】
図１０に関して、ばらつきは、３つの平面のうちの１つにおける、点ＸＯのその予想される理論上の位置に対する実際の位置の偏移Δであってよい。
【００５９】
本明細書において上で説明したように、２つのカメラ１１１、１１２およびプロジェクタ１２１上の投影され画像化されたパターン要素（すなわちこれらの画像）の対応を決定するために、エピ極線拘束条件が連立して解かれる。対応におけるばらつきを明らかにするために、これらの連立方程式からの何らかの冗長な情報（冗長性）を利用することができる。
【００６０】
加えて、本明細書において上で説明したように、３Ｄ座標の３つの組を得るために、３つの別個の三角測量の計算を行ってよい。これらの３つの三角測量の計算は、１）第１のカメラ１１１と第２のカメラ１１２との間（立体カメラ）、２）プロジェクタ１２１と第１のカメラ１１１との間、および３）プロジェクタ１２１と第２のカメラ１１２との間のものである。これらの異なる三角測量の計算から得られた３Ｄ座標を比較することができ、ばらつきが見られる場合には、較正パラメータを変えることができる。これは、自動較正を行うための第１の方法を提供する。
【００６１】
図１２は、２つのユニットＵ１、Ｕ２に関するばらつきの単純化された状況を示す。ユニットＵ１、Ｕ２はたとえば、２つのカメラ１１１、１１２の間、またはプロジェクタ１２１とカメラ１１１、１１２の一方との間の、いずれかにあってよい。各ユニットＵ１、Ｕ２は、中で点を選択できる平面を備える。２つのエピ極線「ｅ」は、両方の平面にとって共通である。ユニットＵ１の平面中の選択された点２３６は、ユニットＵ２の平面中の点２１６に対応している。両方の点２１６、２３６が、物体Ｏ上の本物の点の画像であることを諒解されたい。たとえば点２１６、２３６が物体Ｏ上のパターンＸのスポットの画像であるときなどに、対応を検出することができる。１つの実施形態では、物体Ｏ上の「スポット」が照射され、隣接する領域は暗いか、または照射された箇所よりも暗い。ただし、エピ極線「ｅ」に対して垂直な点２１６、２３６の距離が両方の平面において同じでないとき、偏移Δ、すなわち点２１６の位置と予想される位置２１８との間の偏移Δが生じる。
【００６２】
一般に、偏移Δはベクトルである。たとえばプロジェクタ１２１およびカメラ１１１などの、２つのユニットＵ１、Ｕ２を有する実施形態では、エピ極線「ｅ」に対して垂直な偏移Δの成分だけが既知である。エピ極線「ｅ」と平行な成分は、３Ｄ座標を決定するときに消失する。たとえばプロジェクタ１２１および両方のカメラ１１１、１１２などの、３つ以上のユニットを有する実施形態では、平面の両方の次元における偏移Δの成分を、冗長な測定値（偏移を検出する際のおよび３Ｄ座標を決定する際の冗長性）によって決定することができる。いくつかの選択された点に関して偏移Δを有する場合、全ての決定された偏移Δを、図１３に示すマップに描き込むことができ、これは誤差フィールドと呼ばれる場合もある。２つだけのユニットの場合、各偏移Δのただ１つの成分しか、誤差フィールドに描き込めない。ばらつきが単一の原因または理由に起因する場合、誤差フィールドは、特定の種類のばらつきに関して典型的なものである。図１３は、第１のカメラ１１１のロール角に関する較正パラメータが正確でないときなど、視線の方向を中心とした第１のカメラ１１１の回転によって生成される誤差フィールドの例を例示している。
【００６３】
ここで図１４〜図１８を参照すると、偏移Δはここでは、エピ極線拘束条件に関して記載されている。一般に、関与するユニット（カメラおよびプロジェクタ）に関して、２つの可能性が存在する。一方の可能性では、ユニットＵ１、Ｕ２の一方がカメラであり、他方がプロジェクタである。他方の可能性では、両方のユニットＵ１、Ｕ２がカメラである。単一のプロジェクタおよび２つのカメラの使用は例示を目的としたものであり、特許請求される発明はこれに限定されるべきではないことを諒解されたい。他の実施形態では、追加のプロジェクタまたはカメラを用いてもよい。３つ以上のユニットを有する（たとえば２つのカメラおよび１つのプロジェクタを有する）ことは、本明細書においてより詳細に検討するように、較正パラメータの自動的な決定における追加の能力をもたらす。
【００６４】
ユニットＵ１、Ｕ２の各々は、透視中心点Ｏ１、Ｏ２または投影の中心と呼ばれる場合もある、原点を有する。この点は、全ての光線がユニットから外へと（プロジェクタの場合）またはユニットの中へと（カメラの場合）移るときに通過する点を表す。実際のデバイスでは、全ての光線が透視中心点を通過する訳ではないが、ソフトウェアにおいてカメラシステムの較正パラメータの補正を行って、補正された光線にこれらの点を通過させることができることを諒解されたい。２つの透視中心点Ｏ１、Ｏ２は、ユニットＵ１、Ｕ２の間のベースライン距離２０８を規定する。
【００６５】
ユニットＵ１、Ｕ２の各々は、画像が形成される平面２１０、２３０も有する。プロジェクタにおいて、この平面は、プロジェクタ平面Ｐ１２１として知られており、カメラにおいては、これは画像平面Ｂ１１１、Ｂ１１２として知られている。典型的には、実際のプロジェクタまたはカメラにおいては、プロジェクタ平面Ｐ１２１または画像平面Ｂ１１１、Ｂ１１２は、図１４に例示するような透視中心Ｏ１、Ｏ２の前ではなく、これらよりも後ろにある。ほとんどの場合、（カメラにおける）感光性アレイまたは（プロジェクタにおける）パターン生成器などのハードウェアデバイスは、透視中心よりも後ろの平面の位置に置かれる。しかしながら、図１４に示すように透視中心の前に平面が位置することは、平面が透視中心の他方側に位置決めされていることと数学的に等価であることを諒解されたい。
【００６６】
透視中心Ｏ１、Ｏ２は、ベースライン距離Ｂによって隔てられる。透視中心Ｏ１、Ｏ２を接続するベースライン２０８は、点Ｅ１、Ｅ２において平面２３０、２１０と交わる。この交差の点は、エピ極点と呼ばれ、エピ極としても知られている。エピ極の一方を通って対応する平面上に引かれた線は、エピ極線と呼ばれる。平面２１０および対応するエピ極Ｅ２の場合、エピ極線は２１２である。平面２３０上の点Ｐ１は、エピ極線２１２上にある。
【００６７】
上で説明したように、光線２３２などの各光線は、透視中心点Ｏ１を通過して２３０などの平面に到達し、そこに画像が形成される。平面２３０がプロジェクタ平面である場合は、点Ｐ１は、物体までの距離に応じて、ＰＡ、ＰＢ、ＰＣ、またはＰＤなどの点において、物体上に投影される。これらの点ＰＡ、ＰＢ、ＰＣ、ＰＤは、共通の光線２３２を共有しており、この例ではカメラであるユニットＵ２上の対応する点ＱＡ、ＱＢ、ＱＣ、またはＱＤにおいて、エピ極線２１２上に収まる。光線２３２およびエピ極線２１２はいずれも、点Ｏ１、Ｏ２、およびＰＤを含む平面上にある。平面２３０がプロジェクタ平面ではなくカメラ平面である場合は、このカメラの画像平面によって受信された点Ｐ１は、エピ極線２１２上の任意の点から、たとえば点ＱＡ、ＱＢ、ＱＣ、またはＱＤのいずれかから到達し得る。
【００６８】
図１５は、ユニットＵ２の平面２１０上のエピ極線２１２に加えて、ユニットＵ１の平面２３０上のエピ極線２３４を示す。エピ極線２１２上の任意の点Ｖ１（およびＷＡ、ＷＢ、ＷＣ）は、エピ極線２３４上に対応する点（画像または投影点）ＵＡ、ＵＢ、ＵＣ、ＵＤを有さねばならない。同様に、エピ極線２３４上の任意の点ＵＡ、ＵＢ、ＵＣ、ＵＤは、エピ極線２１２上に対応する点ＷＡ、ＷＢ、ＷＣ、Ｖ１を有さねばならない。点の組２４０は、物体Ｏと交わり得る空間内の点、たとえばＶＡ、ＶＢ、ＶＣ、ＶＤを表している。
【００６９】
３Ｄ測定デバイス１００による測定の通常の実行において、測定結果が補正された較正パラメータ（すなわち補正された較正）を得るためにも用いられる場合、この３Ｄ測定デバイス１００は、自己較正または自動較正を行っている。本発明のある実施形態では、補正された新しい較正パラメータを得るための第１のステップは、エピ極線拘束条件に基づいて予想される位置との関係における、プロジェクタ平面または画像平面上の選択された点の画像の位置のばらつきを検出することである。
【００７０】
そのようなばらつきの例を、図１６に示す。平面２３０上の点２３６は、点２３８において物体と交わる。エピ極線幾何拘束条件によれば、点２３８は、エピ極線２１２上に、詳細には点２１８において、現れるべきである。この場合、実際の点は、位置２１６において観察された。一般に、２つの平面２１０、２３０のみを用いる場合、知られているのは、エピ極線２３４上に収まる点２３６に関して、対応する点は、エピ極線２１２上に収まるべきである、ということだけである。点２１６がエピ極線２１２上に収まらないことは、較正パラメータに関して問題が存在することを示唆しているが、欠陥のある較正パラメータが、外因性パラメータであるのか内因性パラメータであるのかまたは動作パラメータであるのかを、単一の点２１６の観察に基づいて述べるのは、困難である。
【００７１】
図１６は、外因性較正パラメータにおいて見られる可能性のあるいくつかの誤差を示す。見られる可能性のある誤差の１つの種類は、ベースライン２０８における、ベースライン距離Ｂ、ならびに透視中心Ｏ１、Ｏ２の特定の位置である。言い換えれば、公称のベースライン２０８の方向に沿った（誤差２５２）、および公称のベースライン２０８の方向に対して垂直な方向における（誤差２５４）、透視中心点の座標におけるものである。別の可能な外因性誤差は、ユニットＵ１またはユニットＵ２の角度配向におけるものである。この配向を特徴付ける１つの方法は、軸２５５を中心とするピッチ角２５６および軸２５７を中心とするヨー角２５８に着目するものである。平面２３０および２１０のピッチ角およびヨー角に関する較正パラメータが正しくない場合、平面上の点は、エピ極線幾何拘束条件に基づいて予想される位置に対応しないことになる。ユニットＵ１およびユニットＵ２は、カメラまたはプロジェクタのロール角に関して、正しくない較正パラメータを有する可能性もある。本明細書においてさらに検討するような自動較正手法において、そのような誤差を検出し補正することができる。ロール角較正パラメータは、外因性パラメータよりもむしろ内因性較正パラメータであると見なされる場合がある。
【００７２】
図１７および図１８は、平面２１０、２３０などの平面上の点のパターンを用いて較正パラメータ誤差を識別し補正できる方法を例示している。矩形の区域３００は、平面２１０、２３０などの、プロジェクタ平面または画像平面を表す。実線３０２は、エピ極Ｋにおいて収束するエピ極線を表す。図１７および図１８における点線３０４、３０６は、現時点の較正パラメータに基づく見かけのエピ極線を表す。図１７では、測定された点はエピ極点Ｋに収束するが、較正パラメータは、これらの点が点Ｊに収束することを不適正に示唆している。この種類の誤差は、たとえばユニットのベースライン位置の配置不備によって引き起こされる場合がある。図１８では、エピ極線は、較正パラメータから決定されたエピ極線に対して回転されている。この回転３０８は、たとえば、ユニットＵ１またはユニットＵ２の配向と関連付けられた較正パラメータにおける誤差、たとえばピッチ角、ヨー角、またはロール角における誤差の結果、生じる場合がある。
【００７３】
偏移が大き過ぎる場合、エピ極線拘束条件を連立して解く際に、点ＸＯの対応を見出すのに困難が生じる場合がある。ある実施形態では、パターンＸは、光強度の低い多数（たとえば１０，０００個）のスポットおよび光強度の高いより少数（たとえば１，０００個）のスポットから成る。この光強度の違いにより、３Ｄ測定デバイス１００は、高いまたは低い反射率を有する表面を有する物体を認識することができる。対応を見出すのに困難が生じる場合、パターンＸ中に投影されるスポット同士をさらに遠く離間して、第４の工程ブロック中の対応の決定における曖昧さを低減することが可能である。光強度に違いがある実施形態では、強度のより低いスポットをフィルタリングして除去できるか、または、露出時間を減らすおよび／もしくはプロジェクタ１２１の合計出力を下げることによって、少なくとも減らすことができる。この例では、光強度の高い（より大きい間隔を有する）スポットのみが、カメラ１１１、１１２で見えている。このことにより、対応を決定する際の曖昧さが低減される。
【００７４】
十分にかつ正しく較正パラメータを決定するために、３Ｄ測定デバイス１００の周囲の全容積を測定のために用いるのが、特に外因性パラメータの決定のために深さ情報を用いるのが、有利である。例として、図１９は、２つのカメラ１１１および１１２の相対幾何がどのように検証されるかを（概略的に）示す。この目的のために、３Ｄ測定デバイス１００までの距離が異なる（すなわち深さの異なる）２つの点Ｘ１、Ｘ２が選択される。点Ｘ１またはＸ２の各々および以前の較正を用いて、カメラ１１１および１１２が依然として一貫した結果を提供するかどうかを検証できる。２つのカメラ１１１および１１２の相対距離のまたは相対的な整列関係の偏移に起因してばらつきが生じる場合、２つの異なる距離に関する２つの種類の誤差を区別することが可能である。担持構造１０２の高い機械的および熱的安定性により、３Ｄ測定デバイス１００の熱による変形またはその機械的ショックにより引き起こされる変形は稀であると考えられるが、たとえばカメラ１１１、１１２、１１３のおよびプロジェクタ１２１の装着手段においては、生じる可能性がある。３Ｄ測定デバイス１００の開始動作の切り替え後、および長い時間的な隔たりの後、たとえば２０から１００個のフレームの取得後などで、較正を検証すれば、ほとんどの場合は十分である。
【００７５】
決定された偏移Δに従って較正パラメータを見直すことができ、たとえば、選択された点Ｘ０、Ｘ１、またはＸ２によって検出された偏移を補償することができる。点の３Ｄ座標を測定する際の冗長性を用いて、新しい較正パラメータを決定することができる。たとえば、較正パラメータを、最適化方策に従い、偏移Δが最小化されるかまたは所定の閾値未満となるまで、変更（補正）することができる。新しい較正パラメータは、現時点で用いられている較正パラメータと比較され、適切である場合、すなわち、（補正された）新しい較正パラメータと現時点で用いられている較正パラメータとの間の逸脱が所定の閾値を超える場合、これらを置き換える。こうして、較正が補正される。機械的問題に起因する偏移の多くが単独の事象であり、較正パラメータ、特に外因性または内因性パラメータの永続的な補正によって修正され得ることを諒解されたい。
【００７６】
プロジェクタ１２１の動作パラメータの逸脱に関連する誤差は、外因性パラメータまたは内因性パラメータの逸脱よりもはるかに速く判定することができる。ある実施形態では、チェックされるべき動作パラメータは、光源１２１ａの波長である。この波長は、たとえば光源１２１ａの温度上昇またはポンプ電流の変化に起因して、変化する可能性がある。図２０にある実施形態を（概略的に）示す。回折素子１２４によって生成されたパターンＸは、波長の変化とともに縮尺が変わる。図２１のエラーフィールド内に示すように、レーザ光線のゼロ次回折の位置など、パターンＸの中心では、波長が変化する場合に中心パターン要素の位置の偏移は存在しない。偏移Δは、たとえばより周縁にあるパターン要素においてなど、回折次数のより高い場所に、位置のシフトとして現れる。単一のカメラ１１１または１１２を用いて、パターン要素の個々の回折の位置のそのようなシフトを認識することができる。
【００７７】
物体Ｏに対する３Ｄ測定デバイス１００の（および結果的にプロジェクタ１２１の）位置および整列関係が不変のままである場合、物体Ｏ上の選択された点は、３Ｄスキャン中の理論上の座標Ｘ１（すなわち直近に用いられた較正によって決定された座標）を有する点から、これと異なる実際の座標Ｘ２を有する点へと移動する。言い換えれば、予想される点Ｘ１が、実際の点Ｘ２になる。図１９に関連して上記したように、深さ情報を用いて、各単一のショットのフレームから、選択された点Ｘ２の実際の３Ｄ座標を決定することができる。点Ｘ２の実際の座標の、選択された点の理論上の座標Ｘ１からの偏移Δが生じた場合、波長の変更が検出される。この新しい波長は、偏移Δのサイズから決定される。別の実施形態では、選択された点Ｘ２の実際の座標の、理論上の座標Ｘ１からの偏移を検出するために、異なる時間に取り込まれた２つのフレームが比較される。
【００７８】
波長の変化が観察される場合、適切である場合は、この変化に対抗するための処置をとることができるか、または較正を補正することができる。検出された新しい波長で較正の波長を置き換えることによって、較正の補正を行うことができる。言い換えれば、波長の較正パラメータが変更される。変化に対抗するための処置は、たとえば、レーザを冷却（光源１２１ａがレーザである場合）またはポンプ電流を低減して、波長をその変化していない（すなわち元の）値に戻すことを含み得る。制御ループにおけるフィードバックをポンプ電流にまたはレーザ冷却に適用することによって、レーザの波長を安定させることができる。
【００７９】
制御システムが用いられないとき、光源１２１ａによっては、波長がドリフトする場合がある。これらの実施形態では、あり得る波長の範囲をカバーするために、広帯域の光学バンドパスフィルタを用いてよい。ただし、広帯域の光学フィルタは、より多くの望まれない環境光を通過させる場合があり、このことは、屋外で作業するときに問題である場合がある。したがって、用途によっては、波長制御システムが望ましい。波長の変化を直接観察する本明細書に記載の実施形態は、通常であれば温度と電流の両方の安定化を必要とする波長制御システムの単純化において、利点を提供することを諒解されたい。
【００８０】
ファブリペロー（ＦＰ）レーザなどのいくつかの種類の半導体レーザは、シングル空間モードを投射するが、複数の縦モードにも対応してすることができ、この場合、各縦モードは僅かに異なる周波数を有する。場合によっては、電流を調節して、単一の縦モードでの動作と複数の縦モードでの動作との間で切り替えを行うことができる。レーザの縦モードの数は、プロジェクタ１２１の動作パラメータであり得る。通常は、１つの単独の波長が望まれるが、その理由は、これが単一の良好に規定されたパターンＸを作り出すからである。レーザによって２つの波長が作り出される場合、２番目の波長は、所望のパターンＸにおいてある種の影を作り出す。この結果は、図２０を参照して説明することができる。複数の縦モードの波長の違いに応じて、円形の点が、楕円形またはバーベル形状または点の対Ｘ１、Ｘ２となる場合がある。これらの偏移を、受信されたパターンＸに画像処理を適用することによって検出することができる。複数のモードが観察される場合、縦モードの数を１つに減らすように、ポンプ電流または冷却を調節することができる。
【００８１】
カメラ１１１および１１２の内因性パラメータ、たとえば焦点距離の逸脱は、場合によっては自動的に認識され補償され得る。他の例では、内因性パラメータの逸脱は、熱的または機械的な原因からではなく、操作者による意図的な行為に起因してまたは３Ｄ測定デバイス１００の操作を通して、生じる場合がある。これらの行為は、たとえば、カメラ１１１、１１２の光学的特性の変更、またはカメラ１１１、１１２のフォーカスもしくはズーム（たとえば拡大もしくは縮尺を上げること）によるものを含み得る。
【００８２】
較正結果を検証するさらなる可能性は、２Ｄカメラ１１３によって取り込まれた２Ｄ画像を用いた三角測量に基づいて、３Ｄスキャンデータを組み合わせることである。これらの２Ｄ画像は通常、物体Ｏの色および他の特徴を備える。１つの実施形態では、プロジェクタ１２１および２つのカメラ１１１および１１２は、物体Ｏのフレームを同期して取り込むために、カメラ１１３と同期される。この実施形態では、プロジェクタ１２１は、カメラ１１１、１１２によって受信される赤外光を赤外フィルタを通して投影し、一方、カメラ１１３は、赤外光波長およびしたがってパターンＸを遮断するフィルタを通して、物体Ｏの画像を受信する。こうしてカメラ１１３は、物体Ｏの特徴の鮮明な画像を受信する。カメラ１１１、１１２によって観察された物体の特徴をカメラ１１３によって観察されたものと比較することによって、要素１１１、１１２および１２１を含む三角測量系の較正パラメータにおける誤差を決定することができる。較正パラメータにおける誤差を決定するために用いられる方法は、ユニットＵ１、Ｕ２の一方と見なされている２Ｄカメラ１１３など、ここに記載するものと似ている。取り込まれたフレームにおいて対応が検出され、選択された物体の特徴の３Ｄ座標が決定される。３Ｄ座標を決定する際の冗長性により、新しい較正パラメータを決定することができ、これらが、現時点で用いられている較正パラメータと比較される。現時点の較正パラメータと新しい較正パラメータとの間の差異が閾値を超える場合、新しい較正パラメータが現時点で用いられているものに置き換わる。
【００８３】
別の実施形態では、カメラ１１３によって受信された光は、赤外光を排除するようにフィルタリングされない。そうではなく、この実施形態では、カメラ１１３は、物体Ｏ上に存在する場合、パターンＸの画像を検出および取得することができる。カメラ１１３は次いで、２つのモードのいずれかで動作することができる。第１のモードでは、カメラ１１３は、プロジェクタ１２１によるパターンＸのパルス状の投影の時間的な合間に画像を収集する。このモードでは、カメラ１１３は、較正パラメータにおける誤差を決定するために、１１１、１１２、および１２１を含む三角測量系によって計算された特徴と比較され得る特徴の画像を取り込む。第２のモードでは、カメラ１１３は、パターンＸが物体Ｏ上に投影されているときに画像を取得する。この場合、三角測量の要素１１１、１１２、および１２１に対する、カメラ１１３の６つの自由度の相対的な整列関係における誤差が決定され得る。
【００８４】
２Ｄカメラ１１３によって取得された画像がカメラ１１１、１１２の画像フレームの間で受信される事例では、画像のインターリーブの根拠を与えるために、３Ｄおよび２Ｄ座標データの補間を行うことができる。そのような補間は数学的なものであってよい。１つの実施形態では、補間は、カルマンフィルタ計算に少なくとも一部基づいていてよい。ある実施形態では、３Ｄ測定デバイス１００には、慣性測定ユニット（または別の位置追跡デバイス）が設けられる。慣性測定ユニットは、３つのセンサ（加速度計）を用いて空間の３方向における加速度を、および、３つのさらなるセンサ（ジャイロスコープ）を用いて３つの座標軸の回りの角速度を、測定する。移動をこうして、短い時間尺度で測定することができる。これらの移動測定により、プロジェクタおよびカメラ１１１、１１２により測定された距離と２Ｄカメラ１１３により取得された画像との間で、時間に関する補償的な相殺が可能になる。この補償的な相殺により、データの組み合わせが可能になる。
【００８５】
たとえば偏移の程度にまたは偏移の頻繁な変化に起因してなど、偏移を補償できない場合は、直近の較正の自動的な補正を行うことができないことを諒解されたい。ある実施形態では、自動較正が行われない場合、偏移を明確にしディスプレイ１３０上に表示して、較正に関する問題について操作者に警告を発し、さらなる処置をとるようにさせることができる。この例示の実施形態では、２Ｄカメラ１１３は、２Ｄ画像を連続的に取り込み、この結果、現時点のビデオライブ画像ＶＬ（ビデオライブ画像）が得られる。
【００８６】
図７に示すディスプレイ１３０の１つの実施形態は、細分された画像または細分されたスクリーンを例示している。この実施形態では、ディスプレイ１３０は、第１のディスプレイ部１３０ａおよび第２のディスプレイ部１３０ｂへと分割される。本実施形態では、第１のディスプレイ部１３０ａは、（矩形の）ディスプレイ１３０の中央部であり、第２のディスプレイ部１３０ｂは、第１のディスプレイ部１３０ａの周囲の周縁領域である。別の実施形態では、２つのディスプレイ部は縦の列であってよい。例示した実施形態では、第１のディスプレイ部１３０ａは矩形の形状を有するものとして示されているが、これは例示を目的としており、特許請求される発明はこれに限定されるべきではない。他の実施形態では、第１のディスプレイ部１３０ａは、限定するものではないが、円形、正方形、台形、不等辺四辺形、平行四辺形、卵形、三角形、または任意の数の辺を有する多角形を含む、他の形状を有し得る。１つの実施形態では、第１のディスプレイ部１３０ａの形状は使用者定義のもの、または選択可能なものである。
【００８７】
第１のディスプレイ部１３０ａにおいて、ビデオライブ画像ＶＬ、たとえば２Ｄカメラ１１３によって取り込まれたものなどが表示される。第２のディスプレイ部１３０ｂにおいて、直近の３Ｄスキャンの画像（または重ね合わせられている複数の３Ｄスキャン）が、３次元ポイントクラウド３ＤＰを少なくとも部分的に見たものとして表示される。第１のディスプレイ部１３０ａのサイズは可変であり、第２のディスプレイ部１３０ｂは、第１のディスプレイ部１３０ａとディスプレイ１３０の境界１３１との間の領域内に配置される。使用者がデバイス１００を移動させるときなど、ビデオライブ画像ＶＬが変化するにつれ、３次元ポイントクラウド３ＤＰの画像はそれに応じて変化して、デバイス１００の位置および配向の変化を反映する。
【００８８】
ビデオライブ画像ＶＬの周縁の周囲に３次元ポイントクラウド３ＤＰの画像を置くことにより、どこで追加のスキャンが必要とされ得るかを、使用者が自身の目をディスプレイ１３０から離すことなく容易に見ることを可能にすることにおいて、利点が提供されることを諒解されたい。加えて、既に取得された３Ｄデータに対する現時点のカメラ位置のコンピュータによる位置合わせが、所望の仕様の範囲内にあるかを、使用者が判定するのが望ましい場合がある。この位置合わせが仕様の範囲外にある場合、画像と３次元ポイントクラウド３ＤＰとの間の境界における不連続として、このことに気付くであろう。
【００８９】
カメラ１１３が取り込んだ画像は、シーンの２次元（２Ｄ）画像である。３次元視したものに変えられる２Ｄ画像は通常は、カメラにおいて用いられる光学レンズの種類に応じて、糸巻き形状のまたは樽形状の歪みを含むことになる。一般に、カメラ１１３の視界（ＦＯＶ）が狭い（たとえば約４０度）である場合、歪みは使用者には容易には見えない。同様に、３次元ポイントクラウドデータの画像は、画像がディスプレイに関してどのように処理されるかに応じて、歪んで見える場合がある。ポイントクラウドデータ３ＤＰを平面視したものとして見ることができ、この場合、画像は、スキャナの本来の座標系（たとえば球面座標系）において得られ、平面上にマッピングされる。平面視すると、直線は湾曲して見える。さらに、中央頂縁部および中央底縁部（たとえば極）近くの画像が、画像の中点に沿って延在する線（たとえば赤道）に対して歪む場合がある。さらに、球体表面を矩形のグリッド上に表現しようとすることによって創出される歪みも存在し得る（メルカトル図法の問題と同様）。
【００９０】
使用者に連続的で継ぎ目のない画像体験を提供するために、第１のディスプレイ部１３０ａ内の画像を、第２のディスプレイ部１３０ｂ内の画像と似た見た目にすることが望まれることを諒解されたい。３次元ポイントクラウド３ＤＰの画像が著しく歪んでいる場合、このことにより、どの領域が追加のスキャンを用いることができるのかを使用者が判定することが、難しくなる場合がある。ポイントクラウドデータ３ＤＰの平面画像は２Ｄカメラ画像に対して歪められている可能性があるので、ポイントクラウドデータ３ＤＰから生成された像に対して１つ以上の処理ステップを行ってもよい。１つの実施形態では、第２のディスプレイ部１３０ｂの視界（ＦＯＶ）は、平面画像の中央部分だけが示されるように限定される。言い換えれば、画像は、画像の歪みの大きい部分を除去するために、切り詰められるかまたはトリミングされる。ＦＯＶが小さい場合（たとえば１２０度未満）、歪みは限定的であり、ポイントクラウドデータ３ＤＰを平面視したものは、使用者によって所望されるような見た目になることになる。１つの実施形態では、平面視したものは、第１のディスプレイ部１３０ａ内のカメラ１１３の画像に適合するように、提供すべき平面画像を縮尺しシフトさせるように処理される。
【００９１】
別の実施形態では、３次元ポイントクラウドデータ３ＤＰは、パノラマ画像を生成するように処理される。本明細書で使用される場合、パノラマのという用語は、空間内の点（一般には使用者の場所）を中心にして角度に関する移動が可能である表示を指す。パノラマ視は、平面視の場合のように極において歪みを生じさせることがない。パノラマ視は、方位角方向において３６０度および天頂方向において＋／−４５度を含む、球形のパノラマであってよい。１つの実施形態では、球形のパノラマ視は、球体の一部分のみであってよい。
【００９２】
別の実施形態では、ポイントクラウドデータ３ＤＰは、３Ｄ表示を生成するように処理することができる。３Ｄ表示とは、固定された点を中心にした回転だけでなく空間内の点から点への並進移動も可能にするように整備される表示を指す。これは、使用者が環境内を動き回ることにおいて利点を提供し、第１のディスプレイ部１３０ａと第２のディスプレイ部１３０ｂとの間で連続的で継ぎ目のない表示を提供する。
【００９３】
１つの実施形態では、第１のディスプレイ部１３０ａ内のビデオライブ画像ＶＬおよび第２のディスプレイ部１３０ｂ内の３次元ポイントクラウド３ＤＰの画像は、（表示される内容に関して）継ぎ目なく連続的に１つに合わせられる。３次元ポイントクラウド３ＤＰの一部が、これが２Ｄカメラ１１３の視点からまたは少なくとも２Ｄカメラ１１３と整列された位置から見られるような方法で、（制御および評価デバイス１２２によって）最初に選択される。次いで、３次元ポイントクラウド３ＤＰの選択された一部が、これがビデオライブ画像ＶＬに連続的に接合するような方法で選択される。言い換えれば、３次元ポイントクラウド３ＤＰの表示された画像は、２Ｄカメラの視界に対して左側の、右側、頂部側および底部側の、２Ｄカメラ１１３の視界を越える領域に関して、ビデオライブ画像ＶＬの連続体となる。上で検討したように、３次元ポイントクラウド３ＤＰの選択された部分を、歪みを低減または排除するように処理することができる。他の実施形態では、この表現は魚眼レンズの表現に対応していてよいが、これは歪んでいないのが好ましい。第１のディスプレイ部１３０ａが占める領域内に位置付けられる３次元ポイントクラウド３ＤＰの一部、言い換えればビデオライブ画像ＶＬの下にあるかまたはこれにより隠される部分は、表示されない。
【００９４】
第１のディスプレイ部１３０ａが位置付けられる領域内の３次元ポイントクラウド３ＤＰ中の点の密度は、使用者には見えることがないことを諒解されたい。通常は、ビデオライブ画像ＶＬは、自然なカラーリングを用いて表示される。しかしながら、ビデオライブ画像ＶＬによって覆われるかまたはこれの背後にある領域内の点の密度を示すために、ビデオライブ画像ＶＬのカラーリングを、たとえばオーバーレイによってなどで、人工的に変えることができる。この実施形態では、人工的に着色されたビデオライブ画像ＶＬを表現するために用いられる人工色（および適切である場合はその強度）は、点の密度に対応する。たとえば、ビデオライブ画像ＶＬに対する緑色のカラーリングは、（十分に）高い密度を示すことができ、一方、中程度のまたは低い点密度（たとえばまだスキャンデータが改善され得る領域）を示すために、黄色のカラーリングを用いることができる。別の実施形態では、この色コード化を用いて、距離に依存するデータ点の精度を表示することができる。
【００９５】
３Ｄスキャンの重ね合わせを補助するために、第１のディスプレイ部１３０ａ内に、制御および評価デバイス１２２によって認識された構造（すなわち可能な標的）を示すための、フラグまたはマーク１３３（図７）を挿入することができる。マーク１３３は、たとえば小さい「ｘ」または「＋」などのシンボルであってよい。認識可能な構造は、物体の点、隅角、縁部、またはテクスチャとすることができる。認識可能な構造を、重ね合わせ工程の開始部分に（すなわち標的の局所化に）かけられている直近の３Ｄスキャンまたはビデオライブ画像ＶＬによって見つけることができる。直近のビデオライブ画像ＶＬの使用は、重ね合わせ工程をそれほど頻繁に行う必要がないという点で、利点を提供する。マーク１３３が高い密度を有する場合、３Ｄスキャンの重ね合わせが成功であったと考えられる。しかしながら、マーク１３３のより低い密度が認識される場合、３Ｄ測定デバイス１００の比較的遅い移動を用いて、追加の３Ｄスキャンを行ってよい。スキャン中の距離１００の移動を遅くすることで、追加のまたはより高い密度の点を取得することができる。これに対応して、マーク１３３の密度を、重ね合わせの成功に関する品質尺度として用いてよい。同様に、スキャンの成功を示すために、３次元ポイントクラウド３ＤＰの点の密度を用いてよい。上で検討したように、スキャン内の点の密度を、ビデオライブ画像ＶＬの人工的なカラーリングによって表現してよい。
【００９６】
３Ｄ測定デバイス１００の移動および取り込まれたフレームの処理を、追跡機能によって行うこともできる、すなわち、３Ｄ測定デバイス１００は、その環境の相対移動を、追跡中に用いられる方法で追跡する。追跡を見失った場合、たとえば、３Ｄ測定デバイス１００の移動が速すぎる場合、単に追跡を再び行うことができる。この実施形態では、２Ｄカメラ１１３によって提供されたそのままのビデオライブ画像ＶＬおよびこれにより提供される追跡からの直近のビデオ静止画像を、使用者のために、ディスプレイ１３０上に横に並んだ配置で互いに隣接して表すことができる。使用者は次いで、２つのビデオ画像が一致するまで３Ｄ測定デバイス１００を移動させることができる。
【００９７】
１つの実施形態では、３Ｄ測定デバイス１００を、デバイス１００の移動に基づいて制御することができる。ビデオ画像ＶＬのまたは３次元ポイントクラウド３ＤＰの表現を制御するために、これらの移動、または使用者による身振りを用いることもできる。１つの実施形態では、ディスプレイ１３０上のビデオ画像ＶＬのおよび／または３次元ポイントクラウド３ＤＰの表現の縮尺は、３Ｄ測定デバイス１００の移動の速度および／または加速度に依存してよい。「縮尺」という用語は、第１のディスプレイ部１３０ａのサイズ（線形寸法または面積のいずれか）と全体としてのディスプレイ１３０のサイズとの間の比として定義され、パーセンテージとして示される。
【００９８】
２Ｄカメラ１１３の小さい視界は、小さい縮尺に割り当てられる。中央の第１のディスプレイ部１３０ａがビデオライブ画像ＶＬを示す、細分されたディスプレイ１３０を有する本実施形態では、この第１のディスプレイ部１３０ａはしたがって、標準的な場合におけるよりも小さいサイズのものであってよく、また（第１のディスプレイ部１３０ａの周縁の周りの）第２のディスプレイ部１３０ｂは、３次元ポイントクラウド３ＤＰのより大きい部分を示す。より大きい視界は、大きい縮尺に割り当てられる。１つの実施形態では、ビデオライブ画像ＶＬは、ディスプレイ１３０全体を埋めることができる。
【００９９】
３Ｄ測定デバイス１００の高速の移動が検出される場合、表現の縮尺を低速の場合よりも小さく構成してよく、逆の関係も成り立つ。同様に、このことは、３Ｄ測定デバイス１００の移動の加速度にも当てはまり得る。たとえば、表示された画像の縮尺は、正の加速の場合には小さくされ、また負の加速の場合には、縮尺は大きくされる。縮尺はまた、３Ｄ測定デバイス１００の移動の速度および／または加速度の成分、たとえば３Ｄ測定デバイス１００の整列関係に対して垂直にまたはこれと平行に配置される成分にも依存する。整列関係と平行な（すなわち整列関係の方向における）移動の成分に基づいて縮尺が決定される場合、この縮尺は、３Ｄ測定デバイス１００から物体Ｏまでの平均距離の変化にも依存させることができる。
【０１００】
いくつかの実施形態では、移動に起因する縮尺の変化、３Ｄ測定デバイス１００の移動の停止、または達成されていない移動の閾値速度の値を用いて、低いダイナミックレンジを有するカメラ１１３の一連の静止画像を記録することができる。これらの画像は、これらから高いダイナミックレンジの画像を生成するために、この一連の画像の中で、低いダイナミックレンジでただし異なる露出時間または照射強度で取り込むことができる。
【０１０１】
いくつかの実施形態では、重力の方向が、３Ｄ測定デバイス１００の規定された移動によって、重ね合わせ工程の始めに規定され得る。この規定された移動は、使用者により、たとえばデバイス１００を鉛直方向上向きおよび下向きの移動で移動させることによって実行される。他の実施形態では、重力の方向は、重ね合わせ工程中の全ての移動の統計値の組から決定され得る。記録工程の間にデバイス１００が空間を通る移動の経路に沿ってとる位置の座標を平均して、平面を得ることができる。この平均により得られた平面は空間において水平に位置付けられると仮定され、このことは、これに対して重力の方向が垂直であることを意味する。結果として、重力の方向を決定するための傾斜計１１９の使用を、回避できる。
【０１０２】
シーンの種類を決定するために、および、適切である場合には様々な表現または動作可能性を提供するために、位置の座標の評価を用いることもできる。（３Ｄ測定デバイス１００の整列関係が内部に向かって配向されている）中心場所の周囲の移動の経路は、単一の物体Ｏの画像を示唆している（物体を中心とした画像）。同様に、デバイス１００を外側に配向する移動の経路（およびこの移動の経路の、特により長い真っ直ぐな区間）は、余地の画像に関連している。したがって、余地をスキャン中であると判定される場合は、ディスプレイ１３０に床平面図（上面図）の画像を挿入することができる。
【０１０３】
本発明がほんの限られた数の実施形態との関連において詳細に記載されたが、本発明がそのような開示された実施形態に限定されないことが、容易に理解されるであろう。むしろ、これまで記載していないが本発明の精神および範囲に相応する、任意の数の変更、改変、置換、または等価な構成を組み込むように、本発明を修正することができる。加えて、本発明の様々な実施形態を記載したが、本発明の態様は、記載した実施形態の一部しか含まない場合があることを理解されたい。したがって、本発明は、先述の記載によって限定されるものと見なされるべきではなく、付属の特許請求の範囲によってのみ限定される。
【図１】
2017527812.tif 000003
【図２】
2017527812.tif 000004
【図３】
2017527812.tif 000005
【図４】
2017527812.tif 000006
【図５】
2017527812.tif 000007
【図６】
2017527812.tif 000008
【図７】
2017527812.tif 000009
【図８】
2017527812.tif 000010
【図９】
2017527812.tif 000011
【図１０】
2017527812.tif 000012
【図１１】
2017527812.tif 000013
【図１２】
2017527812.tif 000014
【図１３】
2017527812.tif 000015
【図１４】
2017527812.tif 000016
【図１５】
2017527812.tif 000017
【図１６】
2017527812.tif 000018
【図１７】
2017527812.tif 000019
【図１８】
2017527812.tif 000020
【図１９】
2017527812.tif 000021
【図２０】
2017527812.tif 000022
【図２１】
2017527812.tif 000023
【国際調査報告】
2017527812.tif 000024
2017527812.tif 000025
2017527812.tif 000026
2017527812.tif 000027
2017527812.tif 000028