(57)【特許請求の範囲】
【請求項１】
高解像度テクスチャ抽出が可能な拡張現実（ＡＲ）シーン取込みシステムであって、
取込まれる３次元物体上に少なくとも１つの細線化パターンを投影するように構成される投影器と、
前記少なくとも１つの投影パターンとともに前記物体の画像を取込むように構成されるカメラと、
プロセッサであって、
前記物体のテクスチャ部分を確定し、
前記物体の前記テクスチャ部分上の局所モアレパターンピッチを記録し、
前記モアレパターンの変化から、前記物体の前記テクスチャ部分のテクスチャパターンのピッチおよび配向を抽出するように、前記少なくとも１つの投影パターンの１つまたは複数の特性を調整するように構成される、プロセッサと、
前記少なくとも１つの投影パターンの１つまたは複数の特性を調整するために、前記投影器を移動させるように構成されるモバイルデバイスと
を備え、
前記少なくとも１つの投影パターンの前記１つまたは複数の特性は、配向の角度、幅、および湾曲を含む、システム。
【請求項２】
前記カメラおよび前記投影器は、前記モバイルデバイス内に統合され、前記モバイルデバイスの動きは、前記プロセッサによって制御される請求項１に記載のシステム。
【請求項３】
前記プロセッサは、前記物体の前記テクスチャ部分上の空間的に変動するテクスチャを順次抽出するために、前記少なくとも１つの投影パターンを変動させるようにさらに構成される請求項１に記載のシステム。
【請求項４】
前記プロセッサは、変動する照明条件の下で、前記物体の前記テクスチャ部分を取込むために、前記少なくとも１つの投影パターンの前記特性を調整するようにさらに構成される請求項１に記載のシステム。
【請求項５】
前記少なくとも１つの投影パターンは、平行線を含み、前記プロセッサは、前記物体の前記テクスチャ部分の特徴の湾曲を表すために前記線の直線形状を調整するようにさらに構成される請求項１に記載のシステム。
【請求項６】
前記プロセッサは、前記物体の前記テクスチャ部分の表面の３次元輪郭に基づいて、予想される歪を表すために、前記少なくとも１つの投影パターンを湾曲させるようにさらに構成される請求項１に記載のシステム。
【請求項７】
前記プロセッサは、前記物体の前記テクスチャ部分のテクスチャにおいて検出された湾曲に一致させるために、前記少なくとも１つの投影パターンを湾曲させるようにさらに構成される請求項１に記載のシステム。
【請求項８】
拡張現実（ＡＲ）シーン取込みシステムにおける高解像度テクスチャ抽出のための方法であって、
取込まれる３次元物体のテクスチャ部分を確定すること、
前記物体の前記テクスチャ部分について３次元形状を抽出すること、
前記物体の前記テクスチャ部分上に細線化パターンを投影すること、
前記物体の前記テクスチャ部分上の局所モアレパターン画像を記録すること、
前記記録された画像において明瞭であるピッチを有する２つ以上のモアレパターンを選択すること、
前記パターンのパターン角度および空間周波数を確定すること、および、
モバイルデバイスを通して、前記細線化パターンを投影する投影器を移動させることによって、前記パターンの前記パターン角度および前記空間周波数を使用して、前記物体の前記テクスチャ部分のテクスチャに、より細かい部分で一致する新しい投影パターンを生成すること
を含む方法。
【請求項９】
予め規定されたパターン知識が獲得されるまで、前記物体の前記テクスチャ部分のテクスチャに、より細かい部分で一致する新しい投影パターンを反復的に生成し、各反復において新しいパターン角度および空間周波数を確定することをさらに含む請求項８に記載の方法。
【請求項１０】
前記細線化投影パターンは、高周波視覚成分および低周波視覚成分を提供する、前記物体の前記テクスチャ部分のテクスチャのピッチと異なるピッチを有する請求項９に記載の方法。
【請求項１１】
前記高周波視覚成分は、サブピクセル解像度を提供し、前記低周波視覚成分は、前記投影パターンの空間周波数と前記物体の前記テクスチャ部分の前記テクスチャの空間周波数との間の差の約半分の空間周波数を提供する請求項１０に記載の方法。
【請求項１２】
前記物体の前記テクスチャ部分について、前記抽出された３次元形状に基づいて補正行列を生成することをさらに含む請求項８に記載の方法。
【請求項１３】
前記テクスチャ部分に重ねて前記細線化投影パターンを回転させることさらに含む請求項８に記載の方法。
【請求項１４】
拡張現実（ＡＲ）シーン取込みシステムにおける高解像度テクスチャ抽出のための命令が内部に記憶されているコンピュータ可読記憶媒体であって、前記命令は、
取込まれる３次元物体のテクスチャ部分を確定すること、
前記物体の前記テクスチャ部分について３次元形状を抽出すること、
前記物体の前記テクスチャ部分上に２つの細線化パターンを投影すること、
前記物体の前記テクスチャ部分上の局所モアレパターン画像を記録すること、
前記記録された画像において明瞭であるピッチを有する２つ以上のモアレパターン画像を選択すること、
パターン角度および空間周波数を確定すること、
モバイルデバイスを通して前記細線化パターンを投影する投影器を移動させることによって、前記２つの細線化投影パターンを互いに重ねて回転させること、および、
予め規定されたパターン知識が獲得されるまで、前記モバイルデバイスを通して前記細線化パターンを投影する前記投影器を移動させることによって、前記物体の前記テクスチャ部分のテクスチャに、より細かい部分で一致する新しい投影パターンを反復的に生成し、各反復において新しいパターン角度および空間周波数を確定することを含むコンピュータ可読記憶媒体。
【請求項１５】
前記２つの投影パターンは順次投影される請求項１４に記載のコンピュータ可読記憶媒体。
【請求項１６】
前記命令は、
前記モバイルデバイスを通して前記細線化パターンを投影する前記投影器を移動させることによって、前記投影パターンの、配向の角度、幅、または湾曲の１つまたは複数を修正することをさらに含む請求項１４に記載のコンピュータ可読記憶媒体。
【請求項１７】
前記命令は、
前記投影パターン内の線幅を調整すること、
前記物体の前記テクスチャ部分の特徴の湾曲を表すために前記投影パターンの前記線の直線形状を調整すること、
前記物体の前記テクスチャ部分の表面の３次元輪郭に基づいて、予想される歪を表すために、前記投影パターンを湾曲させること、または、
前記物体の前記テクスチャ部分のテクスチャにおいて検出された湾曲に一致させるために、前記投影パターンを湾曲させること
の１つまたは複数を実施することをさらに含む請求項１４に記載のコンピュータ可読記憶媒体。
【請求項１８】
前記命令は、
前記モアレパターンを、サブ解像度帰属テクスチャマップに変換すること、および、
テクスチャ分類手法を使用して前記テクスチャマップを解析することをさらに含む請求項１４に記載のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【背景技術】
【０００１】
本明細書で別途指示されない限り、このセクションで述べる内容は、本出願の特許請求の範囲に対して従来技術ではなく、また、このセクションに含まれることによって従来技術であると認められない。
【０００２】
目視検査から自律的ナビゲーションまでの範囲にある種々のアプリケーションは、画像内の物体を認識し、３次元シーン内で物体の姿勢を計算する。多くのこうしたアプリケーションは、正確な検出のために、予め記憶された物体のモデルを使用する。事前情報なしで物体が検出されると、タスクがより複雑になる。テクスチャ表面を有する物体は、物体認識のタスクをさらに一層複雑にする。
【０００３】
拡張現実（ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ）（ＡＲ）は、その要素が、仮想の、通常コンピュータ生成のイメージによって拡張され、それにより、複合現実が生成される、物理的な（現実の）世界環境のビューを指す。拡張は、慣例的に、リアルタイムであり、スポーツイベント、トレーニング用運動、ゲームなどの環境要素を背景としている場合がある。ＡＲ技術は、人の周囲の現実の世界に関する情報が、物体認識および画像生成を付加することによって、対話的にかつデジタル的に使用可能になることを可能にする。環境および物体に関する人工情報は、現実世界ビュー層から離れた情報層として記憶され取出されうる。
【０００４】
テクスチャ抽出は、ＡＲが、現実世界の物体のより現実的な統合または認識を可能にするために使用されうる。テクスチャ抽出の場合、投影パターンが、物体の３次元形状を決定するために使用されることがある。これらのパターンは、「構造化光（ｓｔｒｕｃｔｕｒｅｄ  ｌｉｇｈｔ）」と呼ばれることが多く、面、鋳物などのような物体上の特徴の３次元形状を抽出するのに役立ちうる。従来のシステムは、テクスチャ処理の前に、通常、任意の投影画像（複数可）をターンオフする、またはその他の方法で減算除去し、時として、完全な３次元格子を除去（または相殺）する。テクスチャは、次に、あたかも投影パターンが存在しないかのように、対象物の画像内のピクセルに関する空間／周波数解析によって計算される。
【発明の概要】
【０００５】
ＡＲシステムにおけるテクスチャ抽出に関して多数の制限が存在することを、本開示は認識する。たとえば、検出デバイス（たとえば、カメラ）の解像度能力より細かいテクスチャは、従来の技法を使用して抽出されることができない。
【課題を解決するための手段】
【０００６】
本開示は、高解像度テクスチャ抽出が可能な拡張現実（ＡＲ）シーン取込みシステムを述べる。いくつかの例によれば、システムは、取込まれる３次元対称物上に１つまたは複数の細線化パターンを投影する投影器と、投影パターンによって対象物の画像を取込むカメラと、プロセッサとを含みうる。プロセッサは、対象物のテクスチャ部分を確定し、対象物のテクスチャ部分上の局所モアレパターンピッチを記録し、投影パターンが、対象物のテクスチャ部分に実質的に一致するように、投影パターンの１つまたは複数の特性を調整しうる。
【０００７】
本開示は、さらに、拡張現実（ＡＲ）シーン取込みシステムにおける高解像度テクスチャ抽出のための方法を提供する。いくつかの例によれば、方法は、取込まれる３次元対象物のテクスチャ部分を確定すること、対象物のテクスチャ部分について３次元形状を抽出すること、対象物のテクスチャ部分上に２つの細線化パターンを投影することを含みうる。他の例によれば、方法は、さらに、対象物のテクスチャ部分上の局所モアレパターン画像を記録すること、記録された画像において明瞭であるピッチを有する２つ以上のモアレパターンを選択すること、および、パターン角度および空間周波数を確定することを含みうる。
【０００８】
本開示はまた、拡張現実（ＡＲ）シーン取込みシステムにおける高解像度テクスチャ抽出のための命令が内部に記憶されているコンピュータ可読記憶媒体を述べる。いくつかの例によれば、命令は、取込まれる３次元対象物のテクスチャ部分を確定すること、対象物のテクスチャ部分について３次元形状を抽出すること、対象物のテクスチャ部分上に２つの細線化パターンを投影すること、対象物のテクスチャ部分上の局所モアレパターン画像を記録すること、記録された画像において明瞭であるピッチを有する２つ以上のモアレパターン画像を選択することを含みうる。他の例によれば、命令は、さらに、パターン角度および空間周波数を確定すること、２つの細線化投影パターンを互いに重ねて（over each other）回転させること、および、予め規定されたパターン知識が獲得されるまで、対象物のテクスチャ部分のテクスチャに、より細かい部分で一致する新しい投影パターンを反復的に生成し、各反復において新しいパターン角度および空間周波数を確定することを含みうる。
【０００９】
先の要約は、単に例証的であり、いずれの点でも制限的であることを意図されない。上述した、例証的な態様、実施形態、および特徴に加えて、さらなる態様、実施形態、および特徴が、図面および以下の詳細な説明を参照して明らかになるであろう。
【００１０】
本開示の先のまた他の特徴は、添付図面に関連して考えられると、以下の詳細な説明および添付特許請求の範囲からより完全に明らかになるであろう。これらの図面が、本開示によるいくつかの実施形態だけを述べ、したがって、本開示の範囲を制限すると考えられないことを理解すると、本開示は、添付図面の使用を通して、さらなる特異性および詳細を持って述べられる。
【図面の簡単な説明】
【００１１】
【図１】本明細書で述べる少なくともいくつかの実施形態に従って配列される、高解像度テクスチャ抽出のために投影パターンが使用されうる例示的な拡張現実（ＡＲ）システムを示す図である。
【図２】本明細書で述べる少なくともいくつかの実施形態に従って配列される、高解像度テクスチャ抽出のための例示的なパターン投影および取込みシステムを示す図である。
【図３】本明細書で述べる少なくともいくつかの実施形態に従って配列される、高解像度テクスチャ抽出のための別の例示的なパターン投影および取込みシステムを示す図である。
【図４】本明細書で述べる少なくともいくつかの実施形態に従って配列される、カメラの解像度より細かいパターンが、ある角度の同様な線の２つのセットを使用しかつ線のセットを回転させてどのように識別されうるかを示す図である。
【図５】本明細書で述べる少なくともいくつかの実施形態に従って配列される、平行でかつ等距離の線の２つの重ね合わされたパターンを使用する高解像度テクスチャ抽出に対する幾何学的手法を示す図である。
【図６】本明細書で述べる少なくともいくつかの実施形態に従って配列される、投影パターンを使用して高解像度テクスチャ情報を抽出するために使用されうる汎用コンピューティングデバイスを示す図である。
【図７】本明細書で述べる少なくともいくつかの実施形態に従って配列される、投影パターンを使用して高解像度テクスチャ情報を抽出するために使用されうるプロセッサを示す図である。
【図８】本明細書で述べる少なくともいくつかの実施形態に従って配列される、図６のコンピュータ６００または図７の専用（ｓｐｅｃｉａｌ  ｐｕｒｐｏｓｅ）プロセッサ７１０などのコンピューティングデバイスによって実施されうるテクスチャ抽出のための例示的な方法を示すフロー図である。
【図９】本明細書で述べる少なくともいくつかの実施形態に従って配列される、例示的なコンピュータプログラム製品のブロック図である。
【発明を実施するための形態】
【００１２】
以下の詳細な説明では、詳細な説明の一部を形成する添付図面に対して参照が行われる。図面では、同様なシンボルは、通常、別途文脈が指示しない限り、同様なコンポーネントを識別する。詳細な説明、図面、および特許請求の範囲で述べる例証的な実施形態は、制限的であることを意味されない。本明細書で提示される主題の趣旨および範囲から逸脱することなく、他の実施形態が利用されることができ、また、他の変更が行われうる。本明細書で全体が述べられ、また、図で示される本開示の態様は、その全てが本明細書で明示的に想定される、いろいろな異なる構成で、配列されうる、置換されうる、組み合わされうる、分離されうる、また設計されうることが容易に理解されるであろう。
【００１３】
本開示は、一般に、投影パターンの操作によって拡張現実のためのテクスチャ抽出を強化することに関連し、特に方法、装置、システム、デバイス、および／またはコンピュータプログラム製品に関心をよせる。
【００１４】
簡潔に言えば、ＡＲシステムにおけるカメラベースのテクスチャ抽出は、投影パターンを操作することによって高められうる。いくつかの例によれば、細線パターンが投影され、モアレ干渉パターンが測定され、３次元ターゲットのパターンと同様のテクスチャパターンが投影されていることを、モアレ干渉パターン測定が示すまで、投影パターンの異なる特性が調整される。それにより、ターゲットテクスチャは、たとえサブピクセル解像度であっても、緻密に一致されうる。
【００１５】
図１は、本明細書で述べる少なくともいくつかの実施形態に従って配列された投影パターンが高解像度テクスチャ抽出のために使用されうる例示的な拡張現実（ＡＲ）システムを示す。ＡＲは、現実世界プレゼンテーションを拡張するために、ライブビデオストリームにおけるコンピュータ生成イメージの適用を探る。本開示に従って配列される例示的なＡＲシステムは、いくつかのセンサおよびアクチュエータを含む制御された環境内にあるとすることができる、現実のまたコンピュータ生成のイメージを処理するように適合した１つまたは複数のコンピューティングデバイスを含みうる、頭部搭載型ディスプレイ、仮想網膜ディスプレイ、モニタまたは同様の普通のディスプレイ、および同等のデバイスなどの視覚化システムを含みうる。
【００１６】
例示的なＡＲシステム１００は、現実シーン（物体）１０２のライブ画像を取込む画像センサ１０４−１、ならびに、物体の位置および／または動きを追跡する追跡センサ１０４−２を含む。画像センサ１０４−１は、デジタルカメラ、ウェブカメラ、または何らかの他の画像取込みデバイスとすることができる。追跡センサ１０４−２は、ネットワークの周波数、帯域幅、および空間ダイバーシティを通した追跡性能を強化するために、受動検知ネットワーク内に配列された、いくつかの受信デバイスを含みうる。受信デバイス（たとえば、１つまたは複数のＲＦ受信機）は、通信タワー（たとえば、携帯電話通信タワー）または通信基地局などの近くの信号源からの通信信号（たとえば、ＲＦ信号などの電磁波）を利用するように適合されうる。追跡センサ１０４−２は、異なる位置に位置しうる、また、協調ネットワークを形成するために、集中化または分散化コンピューティングシステムに通信可能に結合されうる。
【００１７】
取込まれた画像（複数可）は、画像処理サブシステム１０６に提供され、画像処理サブシステム１０６は、デジタル画像への画像のデジタル化、デジタル画像の受信、および／またはデジタル画像の処理の１つまたは複数を実施するように適合されうる。デジタル画像の処理は、画像における特徴点の場所の確定、アフィン投影の計算、エッジの追跡、フィルタリング、および／または同様のオペレーションの１つまたは複数を含みうる。画像処理サブシステム１０６は、上述したオペレーションの結果の１つまたは複数などの投影情報を、現実エンジン１１０に提供するように構成されうる。追跡センサ１０４−２は、現実シーン１０２において関心の物体に関連する位置および／または動き情報を現実エンジン１１０に提供するように構成されうる。追跡センサ１０４−２からの位置および／または動き情報を組込む現実エンジン１１０は、取込まれた画像に基づいてシーンをレンダリングするグラフィックスプロセスを実行するように適合されうる。
【００１８】
画像発生器１０８は、画像センサ１０４−１からの参照画像（複数可）ならびに仮想物体（複数可）に関連する画像データを受信するように適合されうる、また、拡張シーン１１４を提供するために、取込まれた現実シーン画像に仮想物体（複数可）に関連する画像データをオーバレイするように適合されうる。ディスプレイ１１２は、ＡＲシステム１００内で利用されうる可視化メカニズムの一例である。投影器、装着可能ディスプレイなどのようないくつかの他のディスプレイタイプもまた、ユーザにＡＲイメージを提示するために使用されうる。
【００１９】
画像処理サブシステム１０６、現実エンジン１１０、画像発生器１０８、および／またはディスプレイ１１２などの、ＡＲシステム１００の構成要素の少なくともいくつかの構成要素のために処理することは、１つまたは複数のコンピューティングデバイス上の別個のアプリケーション、１つまたは複数の統合型アプリケーション、１つまたは複数の集中型サービス、１つまたは複数の分散型サービスによって実施されうる。各コンピューティングデバイスは、独立型コンピュータでありうる汎用コンピューティングデバイスまたは専用コンピューティングデバイス、ネットワーク化コンピュータシステム、汎用処理ユニット（たとえば、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、またはＤＳＰなど）、または、専用処理ユニットでありうる。異なるコンピューティングデバイス上で実行される場合、ＡＲシステム１００の種々の構成要素は、１つまたは複数のネットワークを通じて通信するように適合されうる。
【００２０】
図２は、本明細書で述べる少なくともいくつかの実施形態に従って配列された高解像度テクスチャ抽出のための例示的なパターン投影および取込みシステムを示す。３次元特徴抽出システムは、通常、線図２００に示すように、カメラ２２６、投影器２２４、および画像処理能力（パターン認識プログラム２２８）を含む。
【００２１】
少なくともいくつかの実施形態によるシステムは、これらの構成要素を使用して、物体２２０の微細テクスチャ表面２２２上にパターンを投影し、それにより、投影パターンを操作することによってテクスチャの可視性を高めうる。投影器２２４は、テクスチャ表面２２２上に細線パターンを投影しうる。カメラ２２６は、投影パターンとともにテクスチャ表面２２２の画像を取込みうる。パターン認識プログラム２２８は、モアレ干渉パターンを測定し、３次元ターゲット（物体２２０）のパターンと同様のテクスチャパターンが投影されていることを、モアレ干渉パターン測定が示すまで、投影パターンの異なる特性を調整しうる。
【００２２】
少なくともいくつかの実施形態によれば、モバイルデバイスまたは同様のメカニズムが利用されて、配向の角度、投影される線の幅、表面着色または３次元特徴の補償（compensation）、および同様のものなどの投影パターンの特徴を調整する投影器２２４が移動されうる。結果として得られるモアレ干渉パターン画像の変化が、サブピクセルテクスチャパターンのピッチおよび配向を抽出するために使用され、得られるテクスチャ情報を強化しうる。パターンを修正することによって、空間的に変動するテクスチャもまた、順次抽出されうる。サブ解像度パターンを超えて、実施形態によるシステムはまた、可変照明条件または複雑な幾何形状の下でテクスチャを解析するために使用されうる。いくつかの例示的な実施態様では、投影器２２４およびカメラ２２６は、線図２００に示すように、同じプラットフォーム（たとえば、手持ち式デバイス、車両搭載デバイスなど）上に統合または設置されうる。
【００２３】
図３は、本明細書で述べる少なくともいくつかの実施形態に従って配列された高解像度テクスチャ抽出のための別の例示的なパターン投影および取込みシステムを示す。線図３００に示すＡＲ環境用の高解像度テクスチャ抽出のためのシステムの主要な構成要素は、図２の線図２００の同様に番号付けされた構成要素と同様に構成され、類似のタスクを実施しうる。図２と違って、投影器３２４およびカメラ３２６は、図３００のシステムにおいて独立している。そのため、カメラ３２６は、固定視点からテクスチャ表面２２２の画像を取込みうる、一方、投影器３２４は、線の配向などの投影パターンの特性を調整するために移動される。パターン認識プログラム３２８は、いくつかの例示的な実施態様に従って、投影器３２４の動きを自動的に制御しうる。
【００２４】
システムによるテクスチャ抽出は、所定の実施形態によれば、３次元特徴計算によって３次元テクスチャの粗い推定値を抽出することで始まりうる。他の例によれば、表面は、比較的平坦であると仮定されうる。あるいは、投影は、まるで表面がほぼ平坦であるかのように、計算がカメラの視点で実施されるように、３次元的に補正されうる。
【００２５】
テクスチャと異なるピッチを有する線の投影は、サブピクセル解像度でありうる高周波視覚成分、および、２つのパターンの空間周波数の間の差の半分の空間周波数である低周波視覚成分をもたらす。たとえば、コーデュロイ繊維表面が約２ｍｍピッチ（約５ｃｍ−１の空間周波数）を有し、投影パターンが約３ｍｍピッチ（３．３ｃｍ−１の空間周波数）を有する線を有する場合、整列した状態での仮想パターンは、約０．８５ｃｍ−１または約１．１７ｃｍピッチ−カメラで見るのが容易なサイズ−で現れうる。この仮想パターンは、その後、真のテクスチャピッチおよび角度が抽出されるように、未知数より多くの式を提供する方法で回転により変化しうる。
【００２６】
図４は、カメラの解像度より細かいパターンが、ある角度の同様な線の２つのセット、または、線の１つのセットと材料のテクスチャを足したものを使用し、かつ、本明細書で述べる少なくともいくつかの実施形態に従って配列された線のセットを回転させて、どのように識別されうるかを示す図である。典型的なモアレパターンは、ほぼピクセル幅の平行線のアレイでできている。パターンは、テクスチャ要素とサブピクセルレベルで相互作用し、モアレ干渉パターンを生成する。パターンを（変位ならびに回転の両方で）傾斜させることによって、サブ解像度テクスチャのアライメント、ピッチ、および／または形状が確定されうる。
【００２７】
線図４００は、テクスチャ抽出を強化するために、平行線の第１の投影パターン４３０が、物体テクスチャ上のパターンに対して比較される第２のパターン４３２になるように回転する例を含む。両方のパターンは、線間の距離ｐを有する。第２のパターン４３２は、角度αだけ回転する。ある距離から、暗い線と薄い線（４３５，４３４）が見られる。薄い線４３４は、ノードの線、すなわち、２つのパターン４３０および４３２の交差部を通過する線に対応する。交差パターンによって形成される「ネット（ｎｅｔ）」の各セル４４０が、ｄ＝ｐ／ｓｉｎαに等しい４辺を有する平行四辺形である場合、各セルは、斜辺ｄおよび角度αに対向する辺ｐを有する直角三角形を含む。このタイプのパターン生成がピッチを変動させる影響に加えて存在し、両方の手法は共に、以下で論じるようにより小さなパターンを表すパターンを生成するために使用されうることが留意されるべきである。
【００２８】
ある角度の同様の線のセットは、いずれかのパターンより大きな特徴を有する仮想パターンを生成する。１つのパターンが表面テクスチャであり、他のパターンが投影パターンである場合、投影は、カメラの解像度より細かい可能性があるパターンの識別を可能にする。仮想パターンは、真の表面パターンが抽出されるように投影の回転中に変化する。真の表面パターンが直線によって形成されない場合、パターンは、異なる時間に異なるエリアで変化し、これは、各エリアにおいてパターンの配向およびピッチを抽出するために使用されうる。
【００２９】
薄い線４３４は、ひし形の小さい対角線に対応する。対角線が、隣り合う辺の二等分線であるため、薄い線は、各パターンの線の垂線に関してα／２に等しい角度を有する。さらに、２つの薄い線の間の間隔は、Ｄ、大きい対角線の半分である。大きい対角線２Ｄは、直角三角形の斜辺であり、直角の辺は、ｄ・（１＋ｃｏｓα）とｐである。ピタゴラスの定理を使用すると、
［１］（２Ｄ）２＝ｄ２・（１＋ｃｏｓα）２＋ｐ２であり、これは
［２］（２Ｄ）２＝２ｐ２・（１＋ｃｏｓα）／ｓｉｎ２α
に変換されうる。αが非常に小さい（α＜ｐ／６）とき、２つの近似：ｓｉｎα≒αおよびｃｏｓα≒１が行われうる。したがって、
［３］Ｄ＝ｐ／α（αはラジアン）
である。
【００３０】
αが小さくなる（パターンの回転が少ない）と、薄い線４３４は遠くに離れる。両方のパターン４３０および４３２が平行である（すなわち、α＝０）とき、薄い線間の間隔は、無限大である（すなわち、薄い線は存在しない）。テクスチャより低い解像度を有するカメラは、たとえ実際のテクスチャとモアレパターンが解像できないグレイ（irresolvable grey）であっても、認識すべき線（暗および明）を有しうる。αは、２つの異なる技法によって、すなわち、薄い線４３４の配向によって、また、それらの間隔によって確定されうる（α＝Ｐ／Ｄ）。
【００３１】
角度が測定される場合、最終誤差は、測定誤差に比例しうる。間隔が測定される場合、最終誤差は、間隔の逆数に比例しうる。したがって、より小さな角度の場合、間隔を測定することは、より正確な結果をもたらしうる。さらに、仮想パターンの複数のセットは、投影線の周波数および／または角度を変動させることによって得られうる。先に論じたように高周波および低周波の仮想パターンが存在するため、２つのパターンは、確実に基礎となるテクスチャサイズを抽出するために必要とされる。
【００３２】
図５は、本明細書で述べる少なくともいくつかの実施形態に従って配列された平行でかつ等距離の線の２つの重ね合わされたパターンを使用する高解像度テクスチャ抽出に対する幾何学的手法を示す。いくつかの実施形態によれば、幾何学的手法は、テクスチャ抽出において使用されうる。線図５００は、平行でかつ等距離の線によって形成された２つのパターン５４２および５４４を示す。第１のパターン５４４の線は、ｐだけ離間され、第２のパターン５４２の線は、ｐ＋δｐだけ離間される。ここで、δは０と１との間の値を有する。
【００３３】
パターンの線が、図の左部分で重ね合わされる場合、線間の偏移は、右に行くと増加する。いくつかの線の後で、パターンは相対する（すなわち、第２のパターン５４２の線が、第１のパターン５４４の線の間になる）。遠い距離から見ると、薄いゾーンは、線が重ね合わされると見え（線間の白いエリア）、暗いゾーンは、線が、「相対する（ｏｐｐｏｓｅｄ）」と見える。最初の暗いゾーンの中央は、偏移がｐ／２に等しいときに現れる。第２のパターン５４２のｎ番目の線は、第１のパターンのｎ番目の線に比較してｎ・δｐだけ偏移する。したがって、最初の暗いゾーンの中央は、
［４］ｎ・δｐ＝ｐ／２に対応し、そこから、ｎは、
［５］ｎ＝ｐ／（２δｐ）
として表されうる。
【００３４】
薄いゾーンの中央と暗いゾーンの中央との間の距離は、
［６］ｄ＝ｎ・ｐ＝ｐ２／（２δｐ）
として表されうる。したがって、２つの暗いゾーンの中央間の距離（２つの薄いゾーン間の距離でもある）は、
［７］２ｄ＝ｐ２／（δｐ）
として表されうる。
【００３５】
式［７］から、線間の距離間隔が大きくなればなるほど、薄いゾーンと暗いゾーンとの間の距離が大きくなり、また、ズレδｐが大きくなればなるほど、暗いゾーンと薄いゾーンが近くなることが推論されうる。暗いゾーンと薄いゾーンとの間の大きな間隔は、パターンが非常に密な線距離を有することを意味する。ｐ＝ｐ／２であるとき、一様にグレイの図が、コントラストが全くない状態で得られる。
【００３６】
他の実施形態によれば、干渉手法もまた使用されうる。干渉手法の場合、正弦法則によって変動するコントラストＩを有する２つの透明パターンは、
［８］Ｉ１（ｘ）＝Ｉ０・ｓｉｎ（２πｋ１ｘ）
［９］Ｉ２（ｘ）＝Ｉ０・ｓｉｎ（２πｋ２ｘ）
と考えられうる。ここで、パターンの線間の距離は、それぞれ、ｐ１＝１／ｋ１およびｐ２＝１／ｋ２である。パターンが重ね合わされると、結果として得られる強度（または、干渉）は、
［１０］Ｉ（ｘ）＝Ｉ０・［ｓｉｎ（２πｋ１ｘ）＋ｓｉｎ（２πｋ１ｘ）］
として表されうる。オイラーの公式を使用すると、干渉は、
［１１］Ｉ（ｘ）＝Ｉ０・２ｃｏｓ（２πｘ（ｋ１−ｋ２）／２）・ｓｉｎ（２πｘ（ｋ１＋ｋ２）／２
として表されうる。
【００３７】
結果として得られる強度は、２つのパターンの空間周波数の平均である高い「空間周波数（ｓｐａｔｉａｌ  ｆｒｅｑｕｅｎｃｙ）」（波数）の正弦曲線、および、２つのパターンの空間周波数間の差の半分である低い空間周波数の正弦曲線を含む。第２の成分は、第１の正弦曲線についての「包絡線（ｅｎｖｅｌｏｐｅ）」である。この成分の波長は、空間周波数の逆数
［１２］１／λ＝（ｋ１−ｋ２）／２・（１／ｐ１−１／ｐ２）／２
である。ｐ１およびｐ２が、ｐ１＝ｐおよびｐ２＝ｐ＋δｐとしてδｐ形態で書かれる場合、波長は、
［１３］λ＝２・ｐ１ｐ２／（ｐ２−ｐ１）≒ｐ２／２δｐ
として表されうる。この包絡線のゼロ間の距離は、１／２だけ離間し、振幅の最大もまた、１／２だけ離間する。したがって、幾何学的手法と同じ結果が、ｐ／２のズレによって得られることができ、そのズレは、第１のパターンまたは第２のパターンと考えられる参照に結び付けられた不確かさである。ズレは、δｐ≪ｐであるとき無視できるほどになる。したがって、角度データは、３つの異なる手法について必ずしも必要とされない（たとえば、ターゲットが垂直線を有することがわかっている）。投影画像は、パターンのうちの１つのパターンとして使用されうる。
【００３８】
図６は、本明細書で述べる少なくともいくつかの実施形態に従って配列された投影パターンを使用して高解像度テクスチャ情報を抽出するために使用されうる汎用コンピューティングデバイスを示す。
【００３９】
コンピュータ６００は、プロセッサ６１０、メモリ６２０、および１つまたは複数のドライブ６３０を含む。ドライブ６３０、ならびに、取外し可能な記憶媒体６３４（たとえば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ）および取外し不可能な記憶媒体６３２（たとえば、ハードドライブディスク）などのドライブ６３０の関連するコンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、およびコンピュータ６００からの他のデータの記憶を提供しうる。ドライブ６３０は、オペレーティングシステム６４０、アプリケーションプログラム６５０、プログラムモジュール６６０、およびデータベース６８０を含みうる。コンピュータ６００は、さらに、ユーザがそれを通してコマンドおよびデータを入力しうるユーザ入力デバイス６９０を含みうる。入力デバイス６９０は、電子ディジタイザ、マイクロフォン６９６、キーボード６９４、および、マウスデバイス６９２、トラックボールデバイス、またはタッチパッドデバイスなどの指示デバイスを含みうる。他の入力デバイスは、ジョイスティックデバイス、ゲームパッドデバイス、サテライトディッシュ、スキャナデバイス、または同様なものを含みうる。
【００４０】
アプリケーションプログラム６５０は、投影アプリケーション６５２およびパターン認識アプリケーション６５４を含みうる。投影アプリケーション６５２は、ＡＲアプリケーションにおいて３次元物体からテクスチャを抽出するために、テクスチャ表面上でパターンのセットの投影を生成し、修正し、かつ／または制御しうる。パターン認識アプリケーション６５４は、取込まれた画像を処理し、モアレ干渉パターンを計算し、フィードバックを投影アプリケーション６５２に提供して、反復的に、パターンを調整し、得られた情報を強化しうる。
【００４１】
上述したまた他の入力デバイスは、システムバス６０５に結合されるユーザ入力インタフェースを通してプロセッサ６１０に結合されうるが、並列ポート、ゲームポート、またはユニバーサルシリアルバス（ＵＳＢ）などの他のインタフェースおよびバス構造によってプロセッサ６１０に結合されうる。コンピュータ６００などのコンピュータはまた、出力周辺インタフェース６７０または同様なものを通して結合されうる、スピーカ６７６、プリンタ６７４、ディスプレイ６７２、および通信モジュール６７８などの他の周辺出力デバイスを含みうる。通信モジュール６７８は、投影パターンの異なる特性を調整するために、投影器および／または投影器を制御するモバイルプラットフォームと通信するために使用されうる。
【００４２】
メモリ６２０、取外し可能な記憶デバイス６３４、および取外し不可能な記憶デバイス６３２は、コンピュータ記憶媒体の例である。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）または他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスク記憶デバイスまたは他の磁気記憶デバイス、あるいは、所望の情報を記憶するために使用され、かつ、コンピュータ６００によってアクセスされうる任意の他の媒体を含むが、それに限定されない。任意のこうしたコンピュータ記憶媒体は、コンピュータ６００の一部でありうる。
【００４３】
コンピュータ６００は、ネットワークインタフェース６０６に接続されたリモートコンピュータなどの１つまたは複数のコンピュータへの論理接続を使用してネットワーク化環境において動作しうる。リモートコンピュータは、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、または他の一般的なネットワークノードとすることができ、コンピュータ６００に関して上述した要素の多くまたは全てを含みうる。ネットワーク化環境は、オフィス、エンタプライズワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、イントラネット、およびインターネットなどのワールドワイドネットワークにおいて普通である。たとえば、本出願の主題において、コンピュータ６００は、コントローラ機械を備え、コントローラ機械から、自動穿孔システム、エッチングシステムなどのような多層回路基板製造システムにデータが移動され、リモートコンピュータはシステムのコントローラを備えうる。しかし、送信元および宛先機械は、ネットワーク（複数可）６０８または任意の他の手段によって共に結合される必要があるのではなく、代わりに、送信元プラットフォームによって書かれ、また、１つまたは複数の宛先プラットフォームによって読まれることが可能な任意の媒体を介して、データが移動されうることが留意されるべきである。ＬＡＮまたはＷＬＡＮネットワーク化環境で使用されると、コンピュータ６００は、ネットワークインタフェース６０６またはアダプタを通してＬＡＮに結合されうる。
【００４４】
ネットワーク（複数可）は、サーバ、クライアント、スイッチ、ルータ、モデム、インターネットサービスプロバイダ（ＩＳＰ）、および任意の適した通信媒体（たとえば、有線または無線通信）を使用する任意のトポロジを備えうる。いくつかの実施形態によるシステムは、静的または動的ネットワークトポロジを有しうる。ネットワーク（複数可）は、エンタプライズネットワーク（たとえば、ＬＡＮ、ＷＡＮ、またはＷＬＡＮ）などのセキュアネットワーク、無線オープンネットワーク（たとえば、ＩＥＥＥ８０２．１１無線ネットワーク）などの非セキュアネットワーク、またはワールドワイドネットワーク（たとえば、インターネット）を含みうる。ネットワーク（複数可）はまた、共に動作するように適合する複数の別個のネットワークを備えうる。ネットワーク（複数可）は、本明細書で述べるノード間の通信を提供するように適合する。制限ではなく例として、ネットワーク（複数可）は、音響、ＲＦ、赤外線、および他の無線媒体などの無瀬媒体を含みうる。
【００４５】
ネットワーク通信リンクは、通信媒体の一例とすることができる。通信媒体は、通常、コンピュータ可読命令、データ構造、プログラムモジュール、搬送波または他の輸送メカニズムなどの変調データ信号内の他のデータによって具現化され、任意の情報伝達メディアを含みうる。「変調データ信号（ｍｏｄｕｌａｔｅｄ  ｄａｔａ  ｓｉｇｎａｌ）」は、情報を信号内にエンコードするような方法で設定または変更された、その特性の１つまたは複数を有する信号とすることができる。制限ではなく例として、通信媒体は、有線ネットワークまたは直線有線接続などの有線媒体、および、音響、無線周波数（ＲＦ）、マイクロ波、赤外線（ＩＲ）、および他の無線媒体などの無線媒体を含みうる。本明細書で使用される用語、コンピュータ可読媒体は、記憶媒体と通信媒体の両方を含みうる。
【００４６】
コンピュータ６００は、可搬型コンピューティングデバイス、モバイルコンピューティングデバイス、アプリケーション特有デバイス、または、上記機能の任意の機能を含むハイブリッドデバイスなどの、スモールフォームファクタの可搬型（または、モバイル）電子デバイスの一部分として実装されうる。コンピュータ６００はまた、ラップトップコンピュータ構成と非ラップトップコンピュータ構成の両方を含むパーソナルコンピュータとして実装されうる。さらに、コンピュータ６００は、ネットワーク化システムとして、または、汎用または専用サーバの一部として実装されうる。
【００４７】
図７は、本明細書で述べる少なくともいくつかの実施形態に従って配列された投影パターンを使用して高解像度テクスチャ情報を抽出するために使用されうるプロセッサを示す。線図７００のプロセッサ７１０は、認識される物体のテクスチャ表面上にパターンを投影し、投影表面からテクスチャ（複数可）を抽出し、投影パターンを調整することなどができる１つまたは複数のモジュールに通信可能に結合されたコンピューティングデバイスの一部とすることができる。
【００４８】
プロセッサ７１０は、高解像度テクスチャ抽出のためにパターンを投影する異なる態様を制御するいくつかのモジュールを含みうる。モジュールは、調整可能なパラメータを有する細線パターンをテクスチャ表面上に投影する投影制御モジュール７３０、投影パターンを用いてテクスチャ表面の画像を取込む画像取込みモジュール７４０、および、取込まれた画像を処理し、モアレ干渉パターンを測定し、より微細な検出のために投影パターンを調整するパターン認識モジュール７５０を含みうる。
【００４９】
メモリ７２０は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組合せとして実装されうるプロセッサ７１０の制御モジュール用の命令を記憶するように構成されうる。プロセッサ７１０は、直接電気結合またはネットワーク化通信（たとえば、ネットワーク（複数可）７９０）を通して、他のコンピューティングデバイスおよび／または記憶施設７８０などのデータストアと通信しうる。
【００５０】
例示的な実施形態はまた、方法を含みうる。これらの方法は、本明細書で述べる構造を含む、任意の数のやり方で実装されうる。１つのこうしたやり方は、本開示で述べるタイプのデバイスの機械動作による。別のオプションのやり方は、１人または複数人の人間オペレータがオペレーションの一部を実施し、一方、他のオペレーションが機械によって実施されることを伴って、方法の個々のオペレーションの１つまたは複数が実施されることである。これらの人間オペレータは、互いに一緒にいる必要はなく、各オペレータは、プログラムの一部分を実施する機械と一緒にいるだけでよい。他の例では、人間の相互作用は、機械自動化される予め選択された基準などによって自動化されうる。
【００５１】
図８は、本明細書で述べる少なくともいくつかの実施形態による、図６のコンピュータ６００または図７のプロセッサ７１０などのコンピューティングデバイスによって実施されうるテクスチャ抽出のための例示的な方法を示すフロー図である。ブロック８２２〜８３６で述べるオペレーションは、コンピュータ６００のドライブ６４０またはプロセッサ７１０のメモリ７２０などのコンピュータ可読媒体内にコンピュータ実行可能命令として記憶されうる。
【００５２】
パターンを投影することによる高解像度テクスチャ抽出のプロセスは、オペレーション８２２「対象物上の微細テクスチャを確定する」で開始しうる。オペレーション８２２にて、ＡＲシステムのためにモデル化される３次元物体が、物体の微細テクスチャ表面と共に確定されうる。図２のカメラ２２６などのカメラは、物体を検出するために使用されうる。物体のテクスチャ表面は、複数の配向およびピッチを有しうる。さらに、システムは、システムの投影器（たとえば、投影器２２４）が、予め規定されかつ調整可能なパターンを微細テクスチャ表面上に投影できるように配置されうる。
【００５３】
オプションのオペレーション８２４「３Ｄ形状を抽出し、補正行列を生成する」にて、物体の３次元形状は、おそらく、従来のテクスチャ抽出と互換性がない３次元構造化光技法を使用して抽出されうる。３次元形状は、３次元形状を補償する後続のオペレーション用の補正行列を生成するために使用されうる。
【００５４】
オペレーション８２４に続くオペレーション８２６「細線を投影し、回転させる」にて、投影器２２４は、パターン４３０などの細線化パターンを投影し、それを回転させうる。細線は、物体の表面形状に応じて、直線、曲げ線（ｂｅｎｔ  ｌｉｎｅ）、または曲線（ｃｕｒｖｅｄ  ｌｉｎｅ）とすることができる（たとえば湾曲物体に曲線）。後続のオペレーション８２８「局所モアレパターンピッチを記録する」にて、モアレパターンピッチが記録されうる。先に論じたように、典型的なモアレパターン５００は、ほぼピクセル幅の平行線のアレイでできている。パターンは、テクスチャ要素とサブピクセルレベルで相互作用し、モアレ干渉パターンを生成する。パターンを（変位ならびに回転の両方で）傾斜させることによって、サブ解像度テクスチャのアライメント、ピッチ、および形状が確定されうる。
【００５５】
オペレーション８２８に続くオペレーション８３０「テクスチャの各サブエリアについて、明瞭なピッチを有する２つ以上のモアレパターンを選択する」にて、システムは、明瞭なモアレパターンを含む各サブエリアについて少なくとも２つの画像を選択しうる。選択は、順次、または、色が分離可能である限り異なる色によって実施されうる。次のオペレーション８３２「パターンの角度および周波数を確定する」にて、システムは、先に論じたように、各サブエリアについて空間周波数およびパターン配向を計算しうる。任意選択で、パターンのピッチおよび角度に関する結果として得られる情報は、オペレーション８３４「既知の角度および周波数に基づいて新しい細線投影を生成する」にて、物体２２０のテクスチャ２２２に、より緻密に一致する新しい細線のセットを構築するために使用されうる。新しいパターンは、オペレーション８３６「所望の程度が達成されるまで繰返す」で示す反復方法で、カメラ２２６による新しい測定のセットおよびパターン認識プログラム２２８について、テクスチャ表面上に投影器２２４によって投影されうる。パターンを投影し、再測定するというこの反復サイクルは、彫刻または陰刻などのサブ解像度サイズの複雑なテクスチャパターンさえも抽出されうるように、複雑な湾曲するまたは変化するパターンに緻密に一致するよう展開しうる。
【００５６】
他の実施形態によれば、さらなる修正が実施されうる。こうした修正は、投影線の幅を調整すること、仮想線パターンの偏移によって検出されうる特徴の湾曲を表す（account）ために線の直線形状を調整すること、関心のテクスチャを有する表面の既知の３次元輪郭が与えられると、予想される歪を表すためにパターンを湾曲させること、および／または、テクスチャにおいて検出された湾曲に一致させるためにパターンを湾曲させることを含みうるが、それに限定されない。取込まれたモアレ干渉パターンは、次に、サブ解像度帰属テクスチャマップ（sub-resolution imputed texture map）に変換されうる。テクスチャマップは、種々のテクスチャ分類技法を使用してさらに解析されうる。
【００５７】
上述したプロセスに含まれるオペレーションは、例証のためのものである。パターン投影および取込みを使用するＡＲシステムにおける高解像度テクスチャ抽出は、より少数のまたは付加的なオペレーションを有する同様なプロセスによって実装されうる。いくつかの例では、オペレーションは、異なる順序で実施されうる。いくつかの他の例では、種々のオペレーションがなくされうる。さらに他の例では、種々のオペレーションは、さらなるオペレーションに分割されうる、または、共に結合されて、少数のオペレーションにされうる。
【００５８】
図９は、本明細書で述べる少なくともいくつかの実施形態に従って配列された例示的なコンピュータプログラム製品のブロック図を示す。いくつかの例では、図９に示すように、コンピュータプログラム製品９００は、たとえばプロセッサによって実行されると、図６および図７に関して上述した機能を提供しうる機械可読命令９０４も含みうる信号担持媒体９０２を含みうる。したがって、たとえば、プロセッサ７１０を参照して、モジュール７３０、７４０、および７５０は、本明細書で述べるように投影パターンを通した高解像度テクスチャ抽出を制御することに関連するアクションを実施するために、媒体９０２によってプロセッサ７１０に伝達される命令９０４に応答して図９に示すタスクのうちの１つまたは複数のタスクに着手しうる。これらの命令の一部は、細線を投影し回転させること、明るいピッチまたは暗いピッチからパターンの角度および周波数を確定すること、および投影線を反復的に改良することを含みうる。
【００５９】
いくつかの実装態様では、図９に示す信号担持媒体９０２は、限定はしないが、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、メモリなどのようなコンピュータ可読媒体９０６を包含しうる。いくつかの実装態様では、信号担持媒体９０２は、限定はしないが、メモリ、リード／ライト（Ｒ／Ｗ）ＣＤ、Ｒ／Ｗ  ＤＶＤなどのような記録可能媒体９０８を包含しうる。いくつかの実装態様では、信号担持媒体９０２は、限定はしないが、デジタルおよび／またはアナログ通信媒体（たとえば、光ファイバケーブル、導波路、有線通信リンク、無線通信リンクなど）などの通信媒体９１０を包含しうる。したがって、たとえば、プログラム製品９００は、ＲＦ信号担持媒体によってプロセッサ７１０の１つまたは複数のモジュールに伝達され、信号担持媒体９０２は、無線通信媒体９１０（たとえば、ＩＥＥＥ８０２．１１規格に適合する無線通信媒体）によって伝達される。
【００６０】
本開示は、高解像度テクスチャ抽出が可能な拡張現実（ＡＲ）シーン取込みシステムを提示する。いくつかの実施形態によれば、システムは、取込まれる３次元対象物上に少なくとも１つの細線化パターン４３０を投影するように構成される投影器２２４と、投影パターンを用いて対象物の画像を取込むように構成されるカメラ２２６と、プロセッサ７１０とを含みうる。プロセッサは、対象物２２２のテクスチャ部分を確定し、対象物８２８のテクスチャ部分上の局所モアレパターンピッチを記録し、少なくとも１つの投影パターン４３０が、対象物２２２のテクスチャ部分に実質的に一致するように、投影パターンの１つまたは複数の特性を調整しうる。
【００６１】
他の実施形態によれば、少なくとも１つの投影パターン４３０の特性は、配向の角度、幅、表面着色の補償、および／または３次元特徴を含みうる。プロセッサ７１０は、モアレパターンの変化から、対象物のテクスチャ部分２２２のテクスチャパターンのピッチおよび配向を抽出しうる。さらに、カメラ２２６および投影器２２４は、その動きがプロセッサ７１０によって制御されるモバイルデバイス内に統合されうる。
【００６２】
さらなる実施形態によれば、プロセッサは、対象物のテクスチャ部分２２２上の空間的に変動するテクスチャを順次抽出するために、少なくとも１つの投影細線化パターン４３０を変動させ、変動する照明条件の下で、対象物のテクスチャ部分２２２を取込むために、投影パターン４３０の特性を調整しうる。投影パターン４３０は、平行線を含み、プロセッサは、対象物のテクスチャ部分２２２の特徴の湾曲を現すために線の直線形状を調整する。プロセッサはまた、対象物のテクスチャ部分２２２の表面の３次元輪郭に基づいて、予想される歪を表すために、投影パターン４３０を湾曲させうる。さらに、プロセッサは、対象物のテクスチャ部分２２２のテクスチャにおいて検出された湾曲に一致させるために、投影パターンを湾曲させうる。
【００６３】
本開示はまた、拡張現実（ＡＲ）シーン取込みシステム１００における高解像度テクスチャ抽出のための方法を提示する。方法は、取込まれる３次元対象物のテクスチャ部分を確定すること（８２２）、対象物のテクスチャ部分について３次元形状を抽出すること（８２４）、対象物のテクスチャ部分上に２つの細線化パターンを投影すること（８２６）、対象物のテクスチャ部分上の局所モアレパターン画像を記録すること（８２８）、記録された画像において明瞭であるピッチを有する２つ以上のモアレパターンを選択すること（８３０）、および、パターン角度および空間周波数を確定すること（８３２）を含みうる。
【００６４】
さらなる例によれば、方法は、さらに、パターン角度および空間周波数を使用して、対象物のテクスチャ部分のテクスチャに、より細かい部分で一致する新しい投影パターンを生成すること（８３４）、および、予め規定されたパターン知識が獲得されるまで、対象物のテクスチャ部分のテクスチャに細かい部分で一致する新しい投影パターンを反復的に生成し、各反復において新しいパターン角度および空間周波数を確定すること（８３６）を含みうる。
【００６５】
さらに他の例によれば、方法はまた、対象物のテクスチャ部分について、抽出された３次元形状に基づいて補正行列を生成すること（８２４）、および、テクスチャ部分に重ねて細線化投影パターンを回転させることを含みうる。細線化投影パターン４３０は、高周波視覚成分および低周波視覚成分を提供する、対象物のテクスチャ部分２２２のテクスチャのピッチと異なるピッチを有しうる。高周波視覚成分は、サブピクセル解像度を提供し、低周波視覚成分は、投影パターン４３０、４３２の空間周波数と対象物のテクスチャ部分２２２のテクスチャの空間周波数との間の差の約半分の空間周波数を提供しうる。
【００６６】
本開示は、さらに、拡張現実（ＡＲ）シーン取込みシステム１００における高解像度テクスチャ抽出のための命令９０４が内部に記憶されているコンピュータ可読記憶媒体９０６を提示する。いくつかの例によれば、命令は、取込まれる３次元対象物のテクスチャ部分を確定すること（８２２）、対象物のテクスチャ部分について３次元形状を抽出すること（８２４）、対象物のテクスチャ部分上に２つの細線化パターンを投影すること（８２６）、対象物のテクスチャ部分上の局所モアレパターン画像を記録すること（８２８）、記録された画像において明瞭であるピッチを有する２つ以上のモアレパターン画像を選択すること（８３０）、およびパターン角度および空間周波数を確定すること（８３２）を含みうる。他の例によれば、投影パターンは、順次投影され、命令はまた、２つの細線化投影パターンを互いに重ねて回転させること（８２６）、および、予め規定されたパターン知識が獲得されるまで、対象物のテクスチャ部分のテクスチャにより細かい部分で一致する新しい投影パターンを反復的に生成し、各反復において新しいパターン角度および空間周波数を確定すること（８３４、８３６）を含みうる。
【００６７】
さらなる例によれば、命令は、投影パターン４３０、４３２の、配向の角度、幅、表面着色の補償、および／または３次元特徴の１つまたは複数を修正することを含みうる。例示的な実施形態によるシステムはまた、投影パターン４３０、４３２内の線幅を調整すること、対象物のテクスチャ部分２２２の特徴の湾曲を表すために投影パターン４３０、４３２の線の直線形状を調整すること、対象物のテクスチャ部分２２２の表面の３次元輪郭に基づいて、予想される歪を表すために、投影パターン４３０、４３２を湾曲させること、および／または、対象物のテクスチャ部分２２２のテクスチャにおいて検出された湾曲に一致させるために、投影パターン４３０、４３２を湾曲させることの１つまたは複数を実施しうる。さらに他の例によれば、命令は、モアレパターンを、サブ解像度帰属テクスチャマップに変換すること、および、テクスチャ分類手法を使用してテクスチャマップを解析することを含みうる。
【００６８】
システムの側面でのハードウェアの実装形態とソフトウェアの実装形態との間には、ほとんど相違が残されていない。ハードウェアまたはソフトウェアの使用は、一般に（いつもそうではないが、ある状況ではハードウェアとソフトウェアの間の選択が重要になり得るという点で）コスト対効果のトレードオフを表す設計上の選択である。本明細書に記載された、プロセスおよび／またはシステムおよび／または他の技術をもたらすことができるさまざまな達成手段があり（たとえば、ハードウェア、ソフトウェア、および／またはファームウェア）、好ましい達成手段は、プロセスおよび／またはシステムおよび／または他の技術が導入される状況によって異なる。たとえば、実装者が速度と正確性が最も重要であると決定すると、実装者は主にハードウェアおよび／またはファームウェアの達成手段を選択することができる。フレキシビリティが最も重要なら、実装者は主にソフトウェアの実装形態を選択することができる。または、さらに別の代替案として、実装者は、ハードウェア、ソフトウェア、および／またはファームウェアのなんらかの組合せを選択することができる。
【００６９】
前述の詳細な説明では、ブロック図、フローチャート、および／または例の使用によって、装置および／またはプロセスのさまざまな実施形態を説明してきた。そのようなブロック図、フローチャート、および／または例が１つまたは複数の機能および／または動作を含む限りにおいて、そのようなブロック図、フローチャート、または例の中のそれぞれの機能および／または動作は、広範囲のハードウェア、ソフトウェア、ファームウェア、または実質上それらの全ての組合せにより、個別におよび／または集合的に実装可能であることが、当業者には理解されるであろう。ある実施形態では、本明細書に記載された主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、または他の集積化方式によって実装することができる。しかし、本明細書で開示された実施形態のいくつかの態様が、全体においてまたは一部において、１つまたは複数のコンピュータ上で動作する１つまたは複数のコンピュータプログラムとして（たとえば、１つまたは複数のコンピュータシステム上で動作する１つまたは複数のプログラムとして）、１つまたは複数のプロセッサ上で動作する１つまたは複数のプログラムとして（たとえば、１つまたは複数のマイクロプロセッサ上で動作する１つまたは複数のプログラムとして）、ファームウェアとして、あるいは実質上それらの任意の組合せとして、等価に集積回路に実装することができることを、当業者は認識するであろうし、電気回路の設計ならびに／またはソフトウェアおよびもしくはファームウェアのコーディングが、本開示に照らして十分当業者の技能の範囲内であることを、当業者は認識するであろう。
【００７０】
本開示は、種々の態様の例証であるとして意図される、本出願で述べる特定の実施形態によって制限されない。当業者に明らかになるように、多くの変更および変形が、本開示の趣旨および範囲から逸脱することなく行われうる。本開示の範囲内の機能的に等価な方法および装置は、本明細書で挙げられるものに加えて、先の説明から当業者に明らかになるであろう。こうした変更および変形は、添付特許請求の範囲内に入ることを意図される。本開示は、添付特許請求の範囲がそれに対して権利を与えられる均等物の全範囲と共に、添付特許請求の範囲によってだけ制限される。本開示は、もちろん変動しうる特定の方法、材料、および構成に限定されないことが理解される。本明細書で使用される用語は、特定の実施形態だけを述べるためのものであり、制限的であることを意図されないことも理解される。
【００７１】
さらに、本明細書に記載された主題のメカニズムをさまざまな形式のプログラム製品として配布することができることを、当業者は理解するであろうし、本明細書に記載された主題の例示的な実施形態が、実際に配布を実行するために使用される信号伝達媒体の特定のタイプにかかわらず適用されることを、当業者は理解するであろう。信号伝達媒体の例には、フロッピー（登録商標）ディスク、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、コンピュータメモリ、などの記録可能なタイプの媒体、ならびに、デジタル通信媒体および／またはアナログ通信媒体（たとえば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど）の通信タイプの媒体が含まれるが、それらには限定されない。
【００７２】
本明細書で説明したやり方で装置および／またはプロセスを記載し、その後そのように記載された装置および／またはプロセスを、データ処理システムに統合するためにエンジニアリング方式を使用することは、当技術分野で一般的であることを当業者は認識するであろう。すなわち、本明細書に記載された装置および／またはプロセスの少なくとも一部を、妥当な数の実験によってデータ処理システムに統合することができる。通常のデータ処理システムは、一般に、システムユニットハウジング、ビデオディスプレイ装置、揮発性メモリおよび不揮発性メモリなどのメモリ、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサ、オペレーティングシステムなどの計算実体、ドライバ、グラフィカルユーザインタフェース、およびアプリケーションプログラムのうちの１つもしくは複数、タッチパッドもしくはスクリーンなどの１つもしくは複数の相互作用装置、ならびに／またはフィードバックループおよびコントロールモジュールを含むコントロールシステム（たとえば、システムの調整パターンおよび画像取込みパラメータ）を含むことを、当業者は理解するであろう。
【００７３】
通常のデータ処理システムは、データコンピューティング／通信システムおよび／またはネットワークコンピューティング／通信システムの中に通常見られるコンポーネントなどの、市販の適切なコンポーネントを利用して実装することができる。本明細書に記載された主題は、さまざまなコンポーネントをしばしば例示しており、これらのコンポーネントは、他のさまざまなコンポーネントに包含されるか、または他のさまざまなコンポーネントに接続される。そのように図示されたアーキテクチャは、単に例示にすぎず、実際には、同じ機能を実現する多くの他のアーキテクチャが実装可能であることが理解されよう。概念的な意味で、同じ機能を実現するコンポーネントの任意の構成は、所望の機能が実現されるように効果的に「関連付け」される。したがって、特定の機能を実現するために組み合わされた、本明細書における任意の２つのコンポーネントは、アーキテクチャまたは中間のコンポーネントにかかわらず、所望の機能が実現されるように、お互いに「関連付け」されていると見ることができる。同様に、そのように関連付けされた任意の２つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に接続」または「動作可能に結合」されていると見なすこともでき、そのように関連付け可能な任意の２つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に結合できる」と見なすこともできる。動作可能に結合できる場合の具体例には、物理的に接続可能な、および／もしくは物理的に相互作用するコンポーネント、ならびに／またはワイヤレスに相互作用可能な、および／もしくはワイヤレスに相互作用するコンポーネント、ならびに／または論理的に相互作用する、および／もしくは論理的に相互作用可能なコンポーネントが含まれるが、それらに限定されない。
【００７４】
本明細書における実質的に全ての複数形および／または単数形の用語の使用に対して、当業者は、状況および／または用途に適切なように、複数形から単数形に、および／または単数形から複数形に変換することができる。さまざまな単数形／複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。
【００７５】
通常、本明細書において、特に添付の特許請求の範囲（たとえば、添付の特許請求の範囲の本体部）において使用される用語は、全体を通じて「オープンな（ｏｐｅｎ）」用語として意図されていることが、当業者には理解されよう（たとえば、用語「含む（ｉｎｃｌｕｄｉｎｇ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｉｎｇ  ｂｕｔ  ｎｏｔ  ｌｉｍｉｔｅｄ  ｔｏ）」と解釈されるべきであり、用語「有する（ｈａｖｉｎｇ）」は、「少なくとも有する（ｈａｖｉｎｇ  ａｔ  ｌｅａｓｔ）」と解釈されるべきであり、用語「含む（ｉｎｃｌｕｄｅｓ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｅｓ  ｂｕｔ  ｉｓ  ｎｏｔ  ｌｉｍｉｔｅｄ  ｔｏ）」と解釈されるべきである、など）。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことが、当業者にはさらに理解されよう。たとえば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも１つの（ａｔ  ｌｅａｓｔ  ｏｎｅ）」および「１つまたは複数の（ｏｎｅ  ｏｒ  ｍｏｒｅ）」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「１つまたは複数の」または「少なくとも１つの」および「ａ」または「ａｎ」などの不定冠詞を含む場合であっても、不定冠詞「ａ」または「ａｎ」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に１つのそのような記載を含む実施形態に限定する、ということを示唆していると解釈されるべきではない（たとえば、「ａ」および／または「ａｎ」は、「少なくとも１つの」または「１つまたは複数の」を意味すると解釈されるべきである）。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう（たとえば、他の修飾語なしでの「２つの記載（ｔｗｏ  ｒｅｃｉｔａｔｉｏｎｓ）」の単なる記載は、少なくとも２つの記載、または２つ以上の記載を意味する）。
【００７６】
さらに、「Ａ、ＢおよびＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（たとえば、「Ａ、Ｂ、およびＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。「Ａ、Ｂ、またはＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（たとえば、「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。２つ以上の代替用語を提示する事実上いかなる離接する語および／または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方（ｏｎｅ  ｏｆ  ｔｈｅ  ｔｅｒｍｓ）、当該用語のいずれか（ｅｉｔｈｅｒ  ｏｆ  ｔｈｅ  ｔｅｒｍｓ）、または両方の用語（ｂｏｔｈ  ｔｅｒｍｓ）を含む可能性を企図すると理解されるべきであることが、当業者にはさらに理解されよう。たとえば、句「ＡまたはＢ」は、「Ａ」または「Ｂ」あるいは「ＡおよびＢ」の可能性を含むことが理解されよう。
【００７７】
さらに、本開示の特徴または態様が、マーカッシュグループ（Ｍａｒｋｕｓｈ  ｇｒｏｕｐ）によって述べられる場合、本開示が、同様に、マーカッシュグループの任意の個々のメンバまたはメンバのサブグループによって述べられることを当業者は認識するであろう。
【００７８】
当業者によって理解されるように、書面による明細を提供することなどによる任意のまたは全ての目的のために、本明細書で開示される全ての範囲は、その範囲の任意のまた全ての可能なサブ範囲およびサブ範囲の組合せを包含する。挙げられる任意の範囲は、同じ範囲が少なくとも等しい１／２、１／３、１／４、１／５、１／１０などに分解されることを十分に述べ可能にするものとして容易に認識されうる。非制限的な例として、本明細書で論じられる各範囲は、下の１／３、中央の１／３、および上の１／３などに容易に分解されうる。当業者によって同様に理解されるように、「至るまで（ｕｐ  ｔｏ）」、「少なくとも（ａｔ  ｌｅａｓｔ）」、「より大きい（ｇｒｅａｔｅｒ  ｔｈａｎ）」、「より小さい（ｌｅｓｓ  ｔｈａｎ）」、および同様なものなどの全ての言い回しは、挙げられた数を含み、また、その後先に論じたサブ範囲に分解されうる範囲を指す。最後に、当業者によって理解されるように、範囲は、それぞれの個々のメンバを含む。したがって、たとえば、１〜３個のセルを有するグループは、１、２、または３個のセルを有するグループを指す。同様に、１〜５個のセルを有するグループは、１、２、３、４、または５個のセルを有するグループを指す、などとなる。
【００７９】
種々の態様および実施形態が本明細書で開示されたが、他の態様および実施形態は、当業者に明らかになるであろう。本明細書で開示される種々の態様および実施形態は、例証のためのものであり、制限的であることを意図されず、真の範囲および趣旨は、以下の添付特許請求の範囲によって指示される。
【図１】
0005592014.tif 000002
【図２】
0005592014.tif 000003
【図３】
0005592014.tif 000004
【図４】
0005592014.tif 000005
【図５】
0005592014.tif 000006
【図６】
0005592014.tif 000007
【図７】
0005592014.tif 000008
【図８】
0005592014.tif 000009
【図９】
0005592014.tif 000010