(57)【要約】【解決手段】  拡張現実（AR）体験を様々な環境にマッピングする。環境のシーンを記述した３次元データモデルおよびＡＲ体験の記述を入力する。ＡＲ体験の記述は、シーンにマッピングされる一連のデジタルコンテンツと、シーンへのマッピング時にデジタルコンテンツの属性を規定する一連の制約と、を含む。３Ｄデータモデルを解析して、シーンにおけるアフォーダンスを検出するが、この解析では、検出アフォーダンスのリストを生成する。検出アフォーダンスのリストおよび一連の制約を用いて、当該一連の制約を実質的に満たすシーンへの一連のデジタルコンテンツのマッピングについて解く。また、ＡＲ体験を変化する環境にマッピングする。【選択図】  図４
2016516241.tif 000002
【特許請求の範囲】
【請求項１】
拡張現実体験を様々な環境にマッピングするコンピュータ実装プロセスであって、
コンピュータを用いて、
環境のシーンを記述した３次元データモデルを入力する動作と、
前記拡張現実体験の記述を入力する動作であり、前記記述が、前記シーンにマッピングされる一連のデジタルコンテンツと、前記シーンへのマッピング時に前記デジタルコンテンツの属性を規定する一連の制約と、を含む、動作と、
前記３次元データモデルを解析して、前記シーンにおけるアフォーダンスを検出する動作であり、前記解析が検出アフォーダンスのリストを生成する、動作と、
前記検出アフォーダンスのリストおよび前記一連の制約を用いて、前記一連の制約を実質的に満たす前記シーンへの前記一連のデジタルコンテンツのマッピングについて解く動作と、
を実行することを含む、プロセス。
【請求項２】
前記デジタルコンテンツが、
１つもしくは複数の映像ベースの仮想物体、または
１つもしくは複数のグラフィックスベースの仮想物体、または
１つもしくは複数の仮想音源、
のうちの１つまたは複数を含む、請求項１に記載のプロセス。
【請求項３】
前記環境が、現実世界の環境であるか、または
前記環境が、合成世界の環境である、請求項１に記載のプロセス。
【請求項４】
前記デジタルコンテンツが、仮想物体を含み、前記デジタルコンテンツの前記属性が、
前記シーンにおける前記仮想物体のうちの１つもしくは複数の位置、または
前記仮想物体のうちの１つもしくは複数の回転の向き、または
前記仮想物体のうちの１つもしくは複数の縮尺比、または
前記仮想物体のうちの１つもしくは複数のアップベクトル、
のうちの１つまたは複数を含む幾何学的属性、あるいは
前記仮想物体のうちの１つもしくは複数の色、または
前記仮想物体のうちの１つもしくは複数の質感、または
前記仮想物体のうちの１つもしくは複数の質量、または
前記仮想物体のうちの１つもしくは複数の摩擦、
のうちの１つまたは複数を含む非幾何学的属性、
のうちの１つまたは複数を含む、請求項１に記載のプロセス。
【請求項５】
前記一連の制約が、
デジタルコンテンツの所与の項目とデジタルコンテンツの１つまたは複数の他の項目との間の幾何学的関係、または
デジタルコンテンツの所与の項目と前記シーンに存在する１つまたは複数の物体との間の幾何学的関係、または
デジタルコンテンツの所与の項目と前記拡張現実を知覚するユーザとの間の幾何学的関係、
のうちの１つまたは複数を規定する、請求項１に記載のプロセス。
【請求項６】
前記検出アフォーダンスが、
前記シーンに存在する提供面、または
前記シーンに存在する隅部、または
前記シーンに存在する物体によって占有された前記シーン中の空間体積、
のうちの１つまたは複数を含む前記シーンの幾何学的属性、あるいは
前記シーンにおいて認識された既知の物体、または
前記シーンに存在する照明領域、または
前記シーンに存在する色パレット、または
前記シーンに存在する質感パレット、
のうちの１つまたは複数を含む前記シーンの非幾何学的属性、
のうちの１つまたは複数を含む、請求項１に記載のプロセス。
【請求項７】
前記デジタルコンテンツが、仮想物体を含み、前記一連の制約が、所与の仮想物体の結合面制約を含む場合にいつでも、前記検出アフォーダンスのリストおよび前記一連の制約を用いて、前記一連の制約を実質的に満たす前記シーンへの前記一連のデジタルコンテンツのマッピングについて解くプロセス動作が、
前記検出アフォーダンスのリストから、前記結合面制約を実質的に満たす提供面を選択する動作と、
前記仮想物体の結合面を前記選択した提供面に割り当てる動作と、
を含む、請求項１に記載のプロセス。
【請求項８】
コスト関数を用いることによって、前記一連のデジタルコンテンツの前記シーンへの所与のマッピングが前記一連の制約を満たす程度を評価し、前記検出アフォーダンスのリストおよび前記一連の制約を用いて、前記一連の制約を実質的に満たす前記シーンへの前記一連のデジタルコンテンツのマッピングについて解くプロセス動作が、コスト関数最適化方法を用いて、前記一連の制約を近似することにより前記コスト関数を最小化する前記シーンへの前記一連のデジタルコンテンツのマッピングについて解く動作を含む、請求項１に記載のプロセス。
【請求項９】
拡張現実体験を変化する環境にマッピングするシステムであって、
コンピュータ装置と、
前記コンピュータ装置により実行可能なプログラムモジュールを有するコンピュータプログラムと、を備え、前記コンピュータ装置が、前記コンピュータプログラムの前記プログラムモジュールによって、
時間に応じて、環境のシーンを記述した３次元データモデルを受信する動作と、
前記拡張現実体験の記述を受信する動作であり、前記記述が、前記シーンにマッピングされる一連のデジタルコンテンツと、前記シーンへのマッピング時に前記デジタルコンテンツの属性を規定する一連の制約とを含む、動作と、
前記３次元データモデルを解析して、前記シーンにおけるアフォーダンスを検出する動作であり、前記解析が検出アフォーダンスの元リストを生成する、動作と、
前記検出アフォーダンスの元リストおよび前記一連の制約を用いて、前記一連の制約を実質的に満たす前記シーンへの前記一連のデジタルコンテンツのマッピングについて解く動作と、
前記シーンに変化が起こった場合にいつでも、
前記３次元データモデルを再解析して、前記変化したシーンにおけるアフォーダンスを検出する動作であり、前記再解析が検出アフォーダンスの改訂リストを生成する、動作と、
前記検出アフォーダンスの改訂リストおよび前記一連の制約を用いて、前記一連の制約を実質的に満たす前記変化したシーンへの前記一連のデジタルコンテンツのマッピングについて解く動作と、
を行うように指示される、システム。
【請求項１０】
前記変化したシーンへの前記一連のデジタルコンテンツのマッピングが、前記検出アフォーダンスの元リストと前記検出アフォーダンスの改訂リストとの間の相違の影響を受ける前記デジタルコンテンツの属性のみの再マッピングを含む、請求項９に記載のシステム。
【発明の詳細な説明】
【背景技術】
【０００１】
[0001]  拡張現実（AR）は、物体が１つまたは複数の種類のデジタル（たとえば、コンピュータ生成）コンテンツにより補完された所与の環境のシーンとして規定することができる。デジタルコンテンツは、当該デジタルコンテンツと物体とが同じ空間に共存するものとしてＡＲを知覚するユーザの前に現れるように、シーン中に存在する物体と合成される。言い換えると、デジタルコンテンツは、シーンの現実が当該デジタルコンテンツによって人工的に拡張されるように、シーンに重畳される。このため、ＡＲは、所与の現実を完全に置き換えるのではなく、それを補強および補完する。ＡＲは、多種多様な用途で一般的に用いられている。例示的なＡＲの用途としては、軍事に関するＡＲ用途、医療に関するＡＲ用途、工業デザインに関するＡＲ用途、製造に関するＡＲ用途、スポーツイベントに関するＡＲ用途、ゲームまたは他の種類の娯楽に関するＡＲ用途、教育に関するＡＲ用途、観光に関するＡＲ用途、およびナビゲーションに関するＡＲ用途が挙げられる。
【発明の概要】
【課題を解決するための手段】
【０００２】
[0002]  本概要は、発明を実施するための形態においてさらに後述する様々な概念を簡単な形態で導入するために提供される。本概要は、特許請求の範囲に係る主題の重要な特徴または本質的な特徴を特定するものでもなければ、特許請求の範囲に係る主題の範囲を決定する際の補助として用いられるものでもない。
【０００３】
[0003]  本明細書に記載の拡張現実（AR）体験マッピング技術の実施形態は一般的に、ＡＲ体験の様々な環境へのマッピングを含む。例示的な一実施形態においては、環境のシーンを記述した３次元（3D）データモデルを入力する。また、ＡＲ体験の記述を入力するが、このＡＲ体験の記述は、シーンにマッピングされる一連のデジタルコンテンツと、シーンへのマッピング時にデジタルコンテンツの属性を規定する一連の制約とを含む。そして、３Ｄデータモデルを解析して、シーンにおけるアフォーダンスを検出するが、この解析では、検出アフォーダンスのリストを生成する。そして、検出アフォーダンスのリストおよび一連の制約を用いて、当該一連の制約を実質的に満たすシーンへの一連のデジタルコンテンツのマッピングについて解く。
【０００４】
[0004]  本明細書に記載のＡＲ体験マッピング技術の例示的な別の実施形態においては、ＡＲ体験を変化する環境にマッピングする。時間に応じて環境のシーンを記述した３Ｄデータモデルを受信する。また、ＡＲ体験の記述を受信するが、この記述は、シーンにマッピングされる一連のデジタルコンテンツと、シーンへのマッピング時にデジタルコンテンツの属性を規定する一連の制約とを含む。そして、３Ｄデータモデルを解析して、シーンにおけるアフォーダンスを検出するが、この解析では、検出アフォーダンスの元リストを生成する。そして、検出アフォーダンスの元リストおよび一連の制約を用いて、当該一連の制約を実質的に満たすシーンへの一連のデジタルコンテンツのマッピングについて解く。シーンに変化が起こった場合にはいつでも、３Ｄデータモデルを再解析して、変化したシーンにおけるアフォーダンスを検出するが、この再解析では、検出アフォーダンスの改訂リストを生成する。そして、検出アフォーダンスの改訂リストおよび一連の制約を用いて、当該一連の制約を実質的に満たす変化したシーンへの一連のデジタルコンテンツのマッピングについて解く。
【０００５】
[0005]  本明細書に記載の拡張現実（AR）体験マッピング技術の実施形態の具体的な特徴、態様、および利点については、以下の説明、別添の特許請求の範囲、および添付の図面に関して、より深く理解されよう。
【図面の簡単な説明】
【０００６】
【図１】[0006]図１Ａは、物体の最小３Ｄ境界ボックスおよび当該物体の対応する非最小３Ｄ境界ボックスを簡単な形態で示した例示的な一実施形態の透明斜視図であり、図１Ｂは、図１Ａに例示した最小および非最小３Ｄ境界ボックスの実施形態の透明前面図である。
【図２】[0007]仮想的なバスケットボールリングの最小３次元（3D）境界ボックスおよびその上の垂直結合面を簡単な形態で示した例示的な一実施形態の図である。
【図３】[0008]仮想的なランプの最小３Ｄ境界ボックスおよびその上の水平結合面を簡単な形態で示した例示的な一実施形態の図である。
【図４】[0009]ＡＲ体験を様々な環境にマッピングするプロセスを簡単な形態で示した例示的な一実施形態のフローチャートである。
【図５】[0010]ＡＲ体験を変化する環境にマッピングするプロセスを簡単な形態で示した例示的な一実施形態のフローチャートである。
【図６】[0011]所与のＡＲ体験における仮想物体に可能な自由度をユーザが視覚化できるＡＲ体験試験技術を簡単な形態で示した一実施形態の図である。
【図７】[0012]本明細書に記載のＡＲ体験マッピング技術の様々な実施形態および要素を実装可能な汎用コンピュータシステムの簡単な一例を示した図である。
【発明を実施するための形態】
【０００７】
[0013]  拡張現実（AR）体験マッピング技術の実施形態（以下、マッピング技術の実施形態と略称する）に関する以下の説明においては、本明細書の一部を成し、マッピング技術を実施することができる特定の実施形態を一例として示した添付の図面を参照する。マッピング技術の実施形態の範囲から逸脱することなく、他の実施形態が利用可能であり、構造を変更可能であることを理解されたい。
【０００８】
[0014]  また、明瞭化のため、本明細書に記載のマッピング技術の実施形態の説明において特定の専門用語を使用するが、これらの実施形態は、このように選定した特定の用語に限定されるものではないことに留意されたい。さらに、特定の各用語は、概して同様に働き同様の目的を達成するそのすべての技術的均等物を含むことを理解されたい。本明細書における「一実施形態」、「別の実施形態」、「例示的な実施形態」、「代替の実施形態」、「一実施態様」、「別の実施態様」、「例示的な実施態様」、または「代替の実施態様」の言及は、当該実施形態または実施態様との関連で説明する特定の特徴、特定の構造、または特定の特性が、マッピング技術の少なくとも１つの実施形態に含まれ得ることを意味する。本明細書の様々な位置における表現「一実施形態において」、「別の実施形態において」、「例示的な一実施形態において」、「代替の実施形態において」、「一実施態様において」、「別の実施態様において」、「例示的な一実施態様において」、および「代替の実施態様において」の出現は、必ずしもそのすべてが同じ実施形態または実施態様を表しておらず、他の実施形態／実施態様を相互に除く別個または別途の実施形態／実施態様を表してもいない。さらに、マッピング技術の１つまたは複数の実施形態または実施態様を表すプロセスフローの順序は、任意特定の順序を本質的に示すものでも、マッピング技術の任意の制限を暗示するものでもない。
【０００９】
[0015]  本明細書においては、用語「ＡＲ体験」を用いることによって、ＡＲを知覚するユーザの体験を表す。本明細書においては、用語「ＡＲ設計者」を用いることによって、１つまたは複数のＡＲ用途に関する所与のＡＲ体験を設計する１人または複数の人を表す。本明細書においては、用語「仮想物体」を用いることによって、現実世界の環境または合成世界の環境に存在しないコンピュータ生成物体を表す。本明細書においては、用語「仮想音源」を用いることによって、現実世界の環境または合成世界の環境に存在しないコンピュータ生成音声を表す。
【００１０】
[0016]  本明細書においては、用語「センサ」を用いることによって、所与の現実世界の環境のライブシーン（以下、シーンと略称する）を表すデータストリームの生成に使用可能な様々なシーン検知装置のいずれか１つを表す。一般的には、以下に詳述する通り、本明細書に記載のマッピング技術の実施形態は、１つまたは複数のセンサを用いてシーンを取得可能であるが、これらのセンサは、所定の配置に構成されている。本明細書に記載のマッピング技術の例示的な一実施形態において、センサはそれぞれ、任意の種類の映像取得装置とすることができ、その例を以下に詳述する。また、センサはそれぞれ、静的（たとえば、時間とともに変化しない固定位置および固定回転の向きをセンサが有する）または動的（たとえば、センサの位置および／または回転の向きが時間とともに変化する）とすることができる。各映像取得装置は、当該映像取得装置の特定の幾何学的視点からのシーンの画像ストリームを含む映像データストリームを生成する。また、マッピング技術の実施形態は、異なる種類の映像取得装置を組み合わせて用いることにより、シーンを取得することも可能である。
【００１１】
１．０  拡張現実（AR）
[0017]  上述の通り、ＡＲは、物体が１つまたは複数の種類のデジタルコンテンツにより補完された所与の環境のシーンとして規定することができる。本明細書に記載のマッピング技術の例示的な一実施形態において、このデジタルコンテンツは、映像ベースの仮想物体、グラフィックスベースの仮想物体、または映像ベースの仮想物体とグラフィックスベースの仮想物体との任意の組み合わせとすることができる１つまたは複数の仮想物体を含む。当然のことながら、特にテキスト、１つもしくは複数の仮想音源、またはそれらの組み合わせをデジタルコンテンツが含み得る、マッピング技術の代替の実施形態も可能である。ＡＲ用途は、ＡＲが所与の現実を完全に置き換えるのではなく、それを補強および補完するという上述の事実と併せて、ビデオカメラおよび運動センサを搭載した携帯コンピュータ装置の拡散によって、ますます普及している。このような携帯コンピュータ装置の例としては、スマートフォンおよびタブレットコンピュータが挙げられるが、これらに限定されない。
【００１２】
[0018]  当然のことながら、現実世界は、様々な種類の屋内設定（特に、小室、廊下、および大広間等）ならびに様々な種類の屋外景観を含む多種多様な環境を提供するが、これらに限定されない。さらに、当然のことながら、このような現実世界の環境は、時間とともに変化する場合があり、所与の環境における変化としては、環境中に存在する物体の数の変化、環境中に存在する物体の種類の変化、環境中に存在する物体のうちの１つまたは複数の位置の変化、環境中に存在する物体のうちの１つまたは複数の空間の向きの変化、またはこれらの任意の組み合わせが挙げられるが、これらに限定されない。近年の従来センサおよびコンピュータ技術の大幅な進展により、今日では、これら様々な種類の現実世界の環境の動的な構造をオンラインで構築および格納可能である。このような従来技術の進展の例としては、以下のものが挙げられるが、これらに限定されない。従来の画像取得および画像処理技術の進展により、特に動的なビデオカメラおよび／またはデプスカメラ等の様々な種類の動的センサを用いて、所与の現実世界の環境をその変化時にライブで取得およびマッピングすることができる。従来の物体認識および取得形状解析技術の進展により、取得した現実世界の環境のセマンティックの一部を理解することができる。さらにまた、当然のことながら、時間とともに変化する場合がある多種多様な合成世界（たとえば、人工的）環境を生成可能である。
【００１３】
２．０  ＡＲ体験の様々な環境へのマッピング
[0019]  一般的には、以下に詳述する通り、本明細書に記載のマッピング技術の実施形態は、離散・連続ハイブリッド方法を用いて非凸制約最適化関数を解くことにより、所与のＡＲ体験を様々な環境にマッピングすることを含む。言い換えると、マッピング技術の実施形態は、様々な現実世界の環境または様々な合成世界の環境のシーンに対して、所与のＡＲ体験をマッピング可能である。
【００１４】
[0020]  本明細書に記載のマッピング技術の実施形態は、以下のような様々な理由により好都合であるが、これらに限定されない。後続のより詳細な説明から分かるように、マッピング技術の実施形態は、ユーザの現在の知覚を向上させるように所与の現実を変更可能である。また、マッピング技術の実施形態によれば、ＡＲ設計者は、広範な異なる環境にマッピング可能なＡＲ体験を設計することができるが、これらの環境は、ＡＲ体験の設計時点ではＡＲ設計者が知り得ないものである。また、マッピング技術の実施形態によれば、ＡＲ設計者は、仮想物体とＡＲ体験がマッピングされる様々な環境に存在する物体との間の幅広い複雑な相互作用を含み得るＡＲ体験を設計することができる。また、マッピング技術の実施形態は、現実世界および合成世界の両者に存在する上述の広範な環境ならびにこれらの環境のシーン変化に対して、ＡＲ体験の性質をそのままに保ちつつ、ＡＲ体験を適応させることができる。非限定的な一例として、マッピング技術の実施形態によれば、所与の部屋の壁に投射されたＡＲゲームは、同じゲーム機能を維持しつつ、寸法、形状、または見た目が異なり得る他の部屋において、その仮想物体を適応的に再配置させることができる。
【００１５】
[0021]  また、本明細書に記載のマッピング技術の実施形態は、任意の種類のＡＲ体験（その他多くの種類のAR体験の中で特に、異なる室内形状に投射されるビデオゲームまたは各種シーンおよびシーン内の部屋において移動ロボットが行う1つまたは複数の活動の記述等）とともに使用可能である。また、マッピング技術の実施形態は、堅牢で、任意の種類の環境において使用可能であり、所与の環境に存在し得る任意の種類の物体とともに使用可能である。言い換えると、マッピング技術の実施形態は、広範なＡＲシナリオおよび関連する環境において有効である。また、マッピング技術の実施形態は、任意の種類の環境に対して、複雑なＡＲ体験を提供可能である。
【００１６】
[0022]  また、本明細書に記載のマッピング技術の実施形態は、環境のシーンにマッピングされるデジタルコンテンツを当該環境と調和させることができる。非限定的な一例として、マッピング技術の実施形態は、シーンにマッピングされる仮想物体それぞれをシーン中の自由空間体積内に留まらせ、シーンに存在する物体（特に、床、壁、家具等）と交差しないようにすることができる。また、マッピング技術の実施形態は、シーンに存在する任意の物体によって仮想物体がユーザの視野から遮蔽されることのないようにすることができる。また、マッピング技術の実施形態は、シーンにマッピングされる仮想物体を互いに調和させることができる。非限定的な一例として、マッピング技術の実施形態は、仮想物体の配置を物理的に妥当とすることができる（たとえば、マッピング技術の実施形態は、仮想物体が3D空間で互いに交差しないようにすることができる）。また、マッピング技術の実施形態は、任意選択により、拡張シーンを知覚するユーザに対して、仮想物体の配置を見た目に心地良いものとすることができる（たとえば、仮想的な椅子および仮想的な机がシーンに追加された状況において、マッピング技術の実施形態は、仮想的な椅子を仮想的な机と等距離にすることができる）。
【００１７】
[0023]  また、本明細書に記載のマッピング技術の実施形態は、所与のＡＲ体験がマッピングされる環境のシーンの任意の変化に対して、当該ＡＲ体験が自動的に適応されるようにすることができる。このような変化の例としては、ＡＲ体験時のシーン中の部屋の構造の変化（たとえば、部屋に実在する人が部屋の中を動き回る場合もしくは椅子等の部屋に実在する物体が動かされる場合がある）またはＡＲ用途の機能の変化（たとえば、シーンにおける1つまたは複数の新たな現実の物体の出現もしくはAR用途と並列に動作する付加的な用途のインスタンス化）が挙げられるが、これらに限定されない。マッピング技術の実施形態は、シーン中のこのような任意の変化に対するＡＲ体験のマッピングをオンザフライで（たとえば、このような変化の発生時にライブで）自動適応させることによって、ＡＲ体験の「錯覚」を壊さないようにするか、またはＡＲ用途がロボット制御ＡＲ用途である場合のＡＲ体験の安全への影響が生じないようにする。非限定的な一例として、投射により、ビデオゲームを行うユーザの体験をテレビ画面の領域からテレビ画面が存在する部屋の拡張領域へと拡張させるゲームＡＲ用途について考える。投射されたコンテンツは、部屋に存在する物体を用いることによって、所与のビデオゲームのイベントに応じた物体との衝突および物体への新たな照明の適用等の効果によりユーザのＡＲ体験の現実感を増強するようにしてもよい。マッピング技術の実施形態は、下準備された多くの相互作用のユーザ環境へのマッピングを可能とすることによって、より多くの複合効果がビデオゲームに含まれるようにすることができる。また、ユーザがビデオゲームを行うのに先立ってこれらの相互作用が下準備およびマッピングされるのではなく、マッピング技術の実施形態は、ユーザがビデオゲームを行っている間に、そのビデオゲーム中での相互作用に従って、オンザフライでこれらの相互作用がマッピングされるようにすることができる。
【００１８】
２．１  制約を用いたＡＲ体験の記述
[0024]  一般的には、所与のＡＲ体験を直接モデリングするのではなく、本明細書に記載のマッピング技術の実施形態によれば、ＡＲ設計者は、環境のシーンにマッピングされる一連のデジタルコンテンツおよびシーンへのマッピング時にデジタルコンテンツの属性を規定する一連の制約（たとえば、規則）の両者を用いて、ＡＲ体験を記述することができる。後続のより詳細な説明から分かるように、一連の制約により規定されるデジタルコンテンツの属性は、ＡＲ体験の本質を表すとともに、シーンへのマッピング時のＡＲ体験の必須挙動を指定する。非限定的な一例として、一連のデジタルコンテンツが仮想的な手品師および仮想的なライオンを含む場合、一連の制約は、シーン中の開放的な空間において、ライオンから最小限の所定距離で手品師が配置されるように指定して、手品師の安全を確保するようにしてもよい。以下に詳述する通り、一連の制約は、一連のデジタルコンテンツのうちのデジタルコンテンツの特定の項目が環境のシーンにマッピングされる際に、これら項目の幾何学的属性および非幾何学的属性の両者を規定することができる。
【００１９】
[0025]  一連の制約により規定され得る例示的な幾何学的属性としては、その他考え得る幾何学的属性の中で特に、シーンにおける仮想物体のうちの１つまたは複数の位置、シーンにおける仮想音源のうちの１つまたは複数の位置、仮想物体のうちの１つまたは複数の回転の向き、仮想物体のうちの１つまたは複数の縮尺比、仮想物体のうちの１つまたは複数のアップベクトルが挙げられる。非限定的な一例として、一連の制約は、デジタルコンテンツの所与の項目とデジタルコンテンツの１つまたは複数の他の項目との間の幾何学的関係を規定することができる（たとえば、一連の制約は、2つ以上の特定の仮想物体が同一線上となるように指定してもよいし、2つの特定の仮想物体が特定の距離だけ離れるように指定してもよい）。また、一連の制約は、デジタルコンテンツの所与の項目と環境のシーンに存在する物体のうちの１つまたは複数との間の幾何学的関係を規定することができる。また、一連の制約は、デジタルコンテンツの所与の項目とＡＲを知覚するユーザとの間の幾何学的関係を規定することができる。非限定的な一例として、一連の制約は、所与の仮想物体がユーザから特定の距離に位置決めされるように指定して、ユーザが仮想物体に届くようにしてもよい。また、一連の制約は、所与の仮想物体がユーザの視点から見えるように指定してもよい。
【００２０】
[0026]  一連の制約により規定され得る例示的な非幾何学的属性としては、その他考え得る非幾何学的属性の中で特に、仮想物体のうちの１つまたは複数の色、仮想物体のうちの１つまたは複数の質感、仮想物体のうちの１つまたは複数の質量、仮想物体のうちの１つまたは複数の摩擦、および仮想音源のうちの１つまたは複数の可聴音量が挙げられる。所与の仮想物体の色および／または質感を規定できると、ＡＲ設計者は、仮想物体がユーザの前に鮮明に現れるようにすることができるため都合が良い。同様に、所与の仮想音源の可聴音量を規定できると、ＡＲ設計者は、仮想音源がユーザに聞こえるようにすることができるため都合が良い。
【００２１】
[0027]  Ｏｉがマッピングされるデジタルコンテンツの所与の項目を示す（言い換えると、上述の通り、Oiが特に仮想物体、仮想音源、またはテキストであり得る）ものと仮定すると、所与のＡＲ体験の記述は、等式Ｏｓｅｔ＝｛Ｏｉ｝（ただし、i∈[1, ..., N]）で与えられるデジタルコンテンツの一連のＮ個の項目を含むことができる。また、Ｃｊが所与の制約を示すものと仮定すると、ＡＲ体験の記述は、等式Ｃｓｅｔ＝｛Ｃｊ｝（ただし、j∈[1, ..., M]）で与えられる一連のＭ個の制約を含むことができる。
【００２２】
【数１】
2016516241.tif 000003
がデジタルコンテンツＯｉの項目の所与の属性を示すものと仮定し、Ｏｉが一連のＫｉ個の属性によって表されるものと仮定すると、マッピングされる一連のデジタルコンテンツＯｓｅｔを表す一連の属性全体は、等式
【００２３】
【数２】
2016516241.tif 000004
（ただし、K∈[1, ..., Ki]、i∈[1, ..., N]）
で与えられる。したがって、一連の制約Ｃｓｅｔにおける制約Ｃｊはそれぞれ、ＯｓｅｔのデジタルコンテンツＯｉの項目のうちの１つまたは複数の属性
【００２４】
【数３】
2016516241.tif 000005
の関数として表される。ただし、この関数は、実数値のスコアにマッピングされる。言い換えると、所与の制約Ｃｊは、関数
【００２５】
【数４】
2016516241.tif 000006
で与えられる。ただし、ｌは、Ｃｊの属性の数を示す。本明細書に記載のマッピング技術の例示的な一実施形態において、Ｃｊ＝０の場合は、制約Ｃｊが満たされる。Ｃｊが正の値である場合は、制約Ｃｊからの何らかの逸脱を表す。
【００２６】
[0028]  一般的に、Ｏｉが環境のシーンにマッピングされる場合、所与の属性
【００２７】
【数５】
2016516241.tif 000007
は、特にＯｉの見た目、Ｏｉの物性、およびＯｉの挙動等、ＡＲ体験におけるデジタルコンテンツＯｉの項目の様々な特性を規定することができる。Ｏｉが仮想物体である場合、このような特性の例としては、シーンにおけるＯｉの位置、Ｏｉの回転の向き、Ｏｉの質量、Ｏｉの縮尺比、Ｏｉの色、Ｏｉのアップベクトル、Ｏｉの質感、およびＯｉの摩擦が挙げられるが、これらに限定されない。Ｏｉが仮想音源である場合、このような特性の例としては、Ｏｉの可聴音量が挙げられるが、これらに限定されない。
【００２８】
[0029]  マッピング技術の実施形態に関する後続のより詳細な説明から分かるように、デジタルコンテンツＯｉの所与の項目の上記説明した属性
【００２９】
【数６】
2016516241.tif 000008
のうちの一部の値は、所与のＡＲ体験の設計時に、ＡＲ設計者によって予め設定されるようになっていてもよい。一方、属性
【００３０】
【数７】
2016516241.tif 000009
のうちのその他の値は、環境のシーンに対するＡＲ体験のマッピング時に決定されるようになっていてもよい。非限定的な一例として、特定の仮想物体の縮尺比は、ＡＲ設計者によって予め設定される一方、シーンにおけるこの仮想物体の特定位置は、ＡＲ体験のシーンへのマッピング時に決定されるようにして、ＡＲを知覚するユーザに最適なＡＲ体験を提供するようにしてもよい。
【００３１】
[0030]  簡単化のため、本明細書に記載のマッピング技術の例示的な実施形態においては、Ｏｓｅｔの仮想物体Ｏｉそれぞれの形状がその最小３Ｄ境界ボックスにより近似される。ただし、相対位置が固定された複数の最小３Ｄ境界ボックスによって特定の仮想物体Ｏｉの形状がはるかに正確に近似され得る、マッピング技術の代替の実施形態も可能であることに留意されたい。また、その他任意の種類の形状（たとえば、その他の種類の形状の中で特に、回転楕円体）または陰関数（たとえば、仮想物体で発生して、仮想物体に近づくほど大きくなる反発力）によって仮想物体Ｏｉそれぞれの形状が近似され得る、マッピング技術の他の代替の実施形態も可能である。
【００３２】
[0031]  本明細書においては、用語「結合面」を用いることによって、Ｏｓｅｔの別の仮想物体に接触するか、または環境のシーンに存在する所与の物体に接触する所与の仮想物体Ｏｉの３Ｄ境界ボックス上の特定の平面（たとえば、面）を表す。言い換えると、各仮想物体Ｏｉの３Ｄ境界ボックスの特定の一面が結合面となる。本明細書に記載のマッピング技術の実施形態は、Ｏｓｅｔの仮想物体それぞれに対して、異なる種類の３Ｄ境界ボックスすなわち従来の最小３Ｄ境界ボックスおよび非最小３Ｄ境界ボックスを使用することに対応する。本明細書においては、Ｏｉの非最小３Ｄ境界ボックスを規定することによって、以下のようなＯｉの最小３Ｄ境界ボックスとの幾何学的関係を有する。Ｏｉの非最小３Ｄ境界ボックスの座標軸は、Ｏｉの最小３Ｄ境界ボックスの座標軸と一致する。Ｏｉの非最小３Ｄ境界ボックスの中心点は、Ｏｉの最小３Ｄ境界ボックスの中心点に配置されている。Ｏｉの非最小３Ｄ境界ボックスのサイズは、Ｏｉの最小３Ｄ境界ボックスのサイズより大きく、非最小３Ｄ境界ボックスの面それぞれが、最小３Ｄ境界ボックスの対応面と平行で所定の距離だけ離れている。
【００３３】
[0032]  図１Ａは、物体の最小３Ｄ境界ボックスおよび当該物体の対応する非最小３Ｄ境界ボックスを簡単な形態で示した例示的な一実施形態の透明斜視図である。図１Ｂは、図１Ａに例示した最小および非最小３Ｄ境界ボックスの実施形態の透明前面図である。図１Ａおよび図１Ｂに例示するように、物体（図示せず）の最小３Ｄ境界ボックス１００の座標軸（図示せず）は、当該物体の非最小３Ｄ境界ボックス１０２の座標軸（図示せず）と一致する。非最小３Ｄ境界ボックス１０２の中心点１０４は、最小３Ｄ境界ボックス１００の中心点１０４に配置されている。非最小３Ｄ境界ボックス１０２のサイズは、最小３Ｄ境界ボックス１００のサイズより大きく、非最小３Ｄ境界ボックス１０２の面それぞれが、最小３Ｄ境界ボックス１００の対応面と平行で所定の距離Ｄだけ離れている。
【００３４】
[0033]  以上を仮定すると、当然のことながら、仮想物体Ｏｉの結合面は、Ｏｉの単項制約と考えられる。Ｏｉの最小３Ｄ境界ボックスを用いると、Ｏｓｅｔの別の仮想物体または環境のシーンに存在する所与の物体に対して、Ｏｉが直接取り付けられることになる。言い換えると、Ｏｉの結合面は、当該結合面が関連する提供面に接触することになる。Ｏｉの非最小３Ｄ境界ボックスを用いると、Ｏｓｅｔの別の仮想物体またはシーンに存在する所与の物体から所定の距離で、開放的な空間にＯｉが配置されることになる。言い換えると、Ｏｉの結合面は、Ｏｉがユーザの前に現れ、シーン中の開放的な空間において「浮遊」するように、上述の所定の距離だけ、当該結合面が関連する提供面から離間されることになる。
【００３５】
[0034]  本明細書においては、用語「提供面」を用いることによって、シーンに存在する所与の物体またはシーンに既にマッピングされた所与の仮想物体上に検出される平面を表す。所与の提供面は、所与の制約Ｃｊを介して、所与の仮想物体Ｏｉと関連付けることができる。本明細書に記載のマッピング技術の実施形態は、提供面を３Ｄ多角形として表す。以下に詳述する通り、Ｏｉの結合面は、Ｏｉと環境との間の界面を表す。非限定的な一例として、環境中で独立する仮想物体の基部（たとえば、後述する仮想的なランプの基部）は、仮想物体の重量を支持可能な環境中の何らかの水平提供面により支持される必要があってもよい。環境中の垂直構造によって支持される仮想物体の背面（たとえば、後述する仮想的なバスケットボールリングの背面）は、仮想物体の重量を支持可能な環境中の何らかの垂直提供面に直接取り付けられる必要があってもよい。
【００３６】
[0035]  図２は、仮想的なバスケットボールリングの最小３Ｄ境界ボックスおよびその上の垂直結合面を簡単な形態で示した例示的な一実施形態の図である。図２に例示するように、仮想的なバスケットボールリング２００の最小３Ｄ境界ボックス２０４は、所与の環境のシーンにおける適当な垂直提供面に直接取り付け可能な１つの垂直結合面２０２を含む。非限定的な一例として、この垂直提供面は、バスケットボールリングが直接取り付けられるシーン中の壁とすることもできる。このため、ＡＲの垂直構造により支持される仮想物体は一般的に、垂直結合面を有することになる。
【００３７】
[0036]  図３は、仮想的なランプの最小３Ｄ境界ボックスおよびその上の水平結合面を簡単な形態で示した例示的な一実施形態の図である。図３に例示するように、仮想的なランプ３００の最小３Ｄ境界ボックス３０４は、所与の環境のシーンにおける適当な水平提供面により支持可能な１つの水平結合面３０２を含む。非限定的な一例として、この水平提供面は、ランプが立つシーン中の床とすることもできる。このため、ＡＲの支持水平構造上に立つ仮想物体は一般的に、仮想物体の基部である水平結合面を有することになる。
【００３８】
[0037]  本明細書に記載のマッピング技術の例示的な一実施形態において、Ｏｓｅｔの仮想物体Ｏｉそれぞれの座標系は、Ｏｉの結合面の中心を原点とするように規定されるとともに、Ｏｉの３Ｄ境界ボックスの縁部と平行になるように規定される。ただし、この座標系のｚ軸は、結合面と直交するように規定される。
【００３９】
２．２  ＡＲ体験スクリプト言語
[0038]  本明細書に記載のマッピング技術の例示的な一実施形態においては、簡単な宣言型スクリプト言語を用いることによって、所与のＡＲ体験を記述する。言い換えると、ＡＲ設計者は、スクリプト言語を用いることによって、環境のシーンにマッピングされる一連のデジタルコンテンツＯｓｅｔを記述するとともに、シーンへのマッピング時にデジタルコンテンツの項目の属性を規定する一連の制約Ｃｓｅｔを記述したスクリプトを生成することができる。本項では、このスクリプト言語の非常に簡単な記述を提供する。
【００４０】
[0039]  所与の仮想物体Ｏｉは、その中心点（Ｏｉ・ｘ，Ｏｉ・ｙ，Ｏｉ・ｚ）周りのＯｉの局所座標系において規定されたその３Ｄ境界ボックスの寸法（Ｏｉ・ｂｘ，Ｏｉ・ｂｙ，Ｏｉ・ｂｚ）により記述可能である。ｂｘは、この座標系のｘ軸に沿った境界ボックスのサイズを示す。ｂｙは、この座標系のｙ軸に沿った境界ボックスのサイズを示す。ｂｚは、この座標系のｚ軸に沿った境界ボックスのサイズを示す。また、Ｏｉの中心点（Ｏｉ・ｘ，Ｏｉ・ｙ，Ｏｉ・ｚ）を用いることによって、Ｏｉがマッピングされているシーン中のＯｉの位置を規定している。
【００４１】
[0040]  環境のシーンにおける適当な水平提供面により支持される仮想物体Ｏｉ（たとえば、図３に例示する仮想的なランプ）の場合は、（等式z=-Oi.bz/2により示すことができる）Ｏｉの３Ｄ境界ボックスの下側水平面がＯｉの結合面となる。スクリプト言語は、以下の例示的なコマンドを用いることによって、このような仮想物体が取り付けられ得る提供面の種類を制限することができる。
Ｎａｍｅ：＝Ｏｂｊｅｃｔ１（［ｂｘ，ｂｙ，ｂｚ］，ＨＯＲＩＺＯＮＴＡＬ）；  （１）
ただし、このコマンド（１）は、仮想物体Ｏｂｊｅｃｔ１の幅がｂｘ、奥行きがｂｙ、および高さがｂｚであり、シーン中の何らかの水平提供面にＯｂｊｅｃｔ１が割り当てられる（たとえば、取り付けられる）ように指定する。同様に、シーンにおける適当な垂直提供面により支持される仮想物体Ｏｉ（たとえば、図２に例示する仮想的なバスケットボールリング）の場合は、Ｏｉの３Ｄ境界ボックスの垂直面のうちの１つがＯｉの結合面となる。スクリプト言語は、以下の例示的なコマンドを用いることによって、このような仮想物体が取り付けられ得る提供面の種類を制限することができる。
Ｎａｍｅ：＝Ｏｂｊｅｃｔ２（［ｂｘ，ｂｙ，ｂｚ］，ＶＥＲＴＩＣＡＬ）；  （２）
ただし、このコマンド（２）は、仮想物体Ｏｂｊｅｃｔ２の幅がｂｘ、奥行きがｂｙ、および高さがｂｚであり、シーン中の何らかの垂直提供面にＯｂｊｅｃｔ２が割り当てられる（たとえば、取り付けられる）ように指定する。
【００４２】
[0041]  スクリプト言語は、上述の通り、環境のシーンへのマッピング時にＯｓｅｔのデジタルコンテンツの項目それぞれの幾何学的および非幾何学的属性を十分に記述できる一連の制約Ｃｓｅｔを使用する。当然のことながら、制約の語彙は、本明細書に記載の属性のほか、デジタルコンテンツの付加的な幾何学的および非幾何学的属性を含むように容易に拡大可能である。スクリプト言語は、Ａｓｓｅｒｔ（Ｂｏｏｌｅａｎ  Ｅｘｐｒｅｓｓｉｏｎ）コマンドを用いることによって、デジタルコンテンツの所与の項目に関する制約を設定することができ、Ｂｏｏｌｅａｎ  Ｅｘｐｒｅｓｓｉｏｎがこれらの制約を規定する。
【００４３】
２．３  結合面制約
[0042]  一般的に、特に工業デザイン、人間とコンピュータとの相互作用、および人工知能の技術分野において明らかなように、アフォーダンスは、物体／環境との動作を可能とする物体または環境の固有特性である。したがって、本明細書においては、用語「アフォーダンス」を用いることによって、所与の環境のシーンで検出され得る様々な特徴のうちのいずれか１つを表す。言い換えると、アフォーダンスは、検出可能なシーンの任意の属性である。以下に詳述する通り、本明細書に記載のマッピング技術の実施形態は、シーンの幾何学的属性、シーンの非幾何学的属性、およびシーンのその他任意の検出可能な属性等の多種多様なアフォーダンスの検出およびその後の使用に対応するが、これらに限定されない。
【００４４】
[0043]  本明細書に記載のマッピング技術の実施形態により検出および使用可能なシーンの例示的な幾何学的属性としては、特に、シーンに存在する提供面およびシーンに存在する隅部が挙げられる。マッピング技術の実施形態は、垂直提供面（特に、図２の仮想的なバスケットボールリングが直接取り付けられる上述の壁等）、水平提供面（特に、図３の仮想的なランプが立つ上述の床等）、および対角提供面等、シーン中の任意の種類の提供面を検出および使用可能であるが、これらに限定されない。マッピング技術の実施形態により検出および使用可能なシーンの例示的な非幾何学的属性としては、特に、シーンにおいて認識された特定の既知の物体（特に、椅子、人、机、特定面、テキスト等）、シーンに存在する照明領域、シーンに存在する色パレット、およびシーンに存在する質感パレットが挙げられる。
【００４５】
[0044]  また、本明細書に記載のマッピング技術の実施形態により検出および使用可能なシーンの例示的な幾何学的属性としては、シーンに存在する物体によって占有されたシーン中の空間体積が挙げられる。これら占有された空間体積は、質量の体積と考えられる。マッピング技術の一実施形態において、シーン中の占有された各空間体積の形状は、その最小３Ｄ境界ボックスにより近似される。ただし、相対位置が固定された複数の最小３Ｄ境界ボックスによってシーン中の占有された特定の空間体積の形状がはるかに正確に近似され得る、マッピング技術の代替の実施形態も可能であることに留意されたい。また、特にボクセル配列、８分木、またはバイナリ空間分割木等のその他様々な方法で、シーン中の占有された各空間体積の形状が表され得る、マッピング技術の他の代替の実施形態も可能である。シーン中の占有された空間体積の検出によれば、デジタルコンテンツの項目を位置決めできないシーン中の空間体積を指定する制約が規定可能となるため都合が良い。このような制約を用いることにより、シーンに存在する任意の物体の形状に対して仮想物体の形状が交差しないようにすることができる。
【００４６】
[0045]  以下に詳述する通り、本明細書に記載のマッピング技術の実施形態では、所与の環境のシーンで検出されたアフォーダンスのリストを生成する。当然のことながら、シーン中の検出する特徴の種類が多くなると、アフォーダンスのリストも十分なものとなり、より詳細な一連の制約Ｃｓｅｔが規定可能となる。簡単化のため、後述のマッピング技術の実施形態においては、アフォーダンスリスト中のアフォーダンスがそれぞれ、垂直提供面、水平提供面、または対角提供面となるように、シーンにおいて提供面のみが検出されるものと仮定する。ただし、マッピング技術の実施形態は、上述の種類のアフォーダンスのうちのいずれかの任意の組み合わせの使用にも対応していることに留意されたい。
【００４７】
[0046]  本明細書においては、用語「結合面制約」を用いることによって、Ｏｓｅｔの所与の仮想物体Ｏｉの結合面に関する制約を表す。以上を仮定すると、当然のことながら、Ｏｉの結合面制約は、Ｏｉの結合面とＯｓｅｔの１つもしくは複数の他の仮想物体との間の幾何学的関係またはＯｉの結合面とアフォーダンスリスト中の何らかのアフォーダンスとの間の幾何学的関係を規定可能である。Ｏｉの結合面制約がＯｉの結合面とＯｓｅｔの１つまたは複数の他の仮想物体との間の幾何学的関係を規定する場合、この結合面制約は、上述の関数
【００４８】
【数８】
2016516241.tif 000010
を用いて表される。Ｏｉの結合面とアフォーダンスリスト中の何らかのアフォーダンスとの間の幾何学的関係を規定するＯｉの結合面制約の表現については、以下に詳述する。
【００４９】
[0047]  一般的に、所与のＡＲ体験に関して、Ｏｓｅｔの仮想物体Ｏｉそれぞれの結合面は、シーン中の何らかの支持提供面と関連付けられている。所与の仮想物体Ｏｉの３Ｄ境界ボックスが最小３Ｄ境界ボックスである場合は、Ｏｉの結合面と所与の提供面との間の関連付けによって、Ｏｉが提供面に直接取り付けられ、上述の通り、提供面に接触することになる。ただし、当然のことながら、シーンにおいて検出された提供面の一部をＯｉの結合面と関連付けられない場合もある。非限定的な一例として、図３を再び参照するに、Ｏｉが水平結合面３０２を有する仮想的なランプ３００である場合、この結合面は、仮想的なランプを安定して支持するため、シーン中の水平提供面のみと関連付けられる場合がある。同様に、図２を再び参照して、Ｏｉが垂直結合面２０２を有する仮想的なバスケットボールリング２００である場合、この結合面は、仮想的なバスケットボールリングを安定して支持するため、シーン中の垂直提供面のみと関連付けられる場合がある。
【００５０】
[0048]  以上を仮定して、ＢｌがＯｓｅｔの所与の仮想物体Ｏｉの結合面制約を示すものと仮定し、また、｛ＯｆｆｅｒｉｎｇＰｌａｎｅｓ｝がシーンにおいて検出された提供面のうちの所定の一連の１つまたは複数を示すものと仮定すると、ＡＲ体験は、以下の等式で与えられる一連のＴ個の結合面制約を含むことができる。
Ｂｓｅｔ＝｛Ｂｌ｝（ただし、l=[1, ..., T]）および
Ｂｊ（Ｏｉ；｛ＯｆｆｅｒｉｎｇＰｌａｎｅｓ｝）＝０  （３）
言い換えると、Ｏｉの結合面は、シーンにおいて検出された考え得る提供面群のうちの１つと関連付けることができる。
【００５１】
[0049]  所与の仮想物体が環境のシーンにマッピングされた場合、本明細書に記載のマッピング技術の実施形態は、様々な方法によって、仮想物体が位置決めされたシーン中の場所が仮想物体の適合に十分な開放的空間を有するようにすることができる。非限定的な一例として、一部に机が置かれた床がシーンに含まれ、図３に例示する仮想的なランプをＡＲ体験が含み、仮想的なランプの高さが机の高さよりも大きくて仮想的なランプが机の真下に適合しない状況を考える。マッピング技術の実施形態は、以下の例示的な方法において、仮想的なランプが机の真下に位置決めされないようにすることができる。仮想的なランプがシーン中の如何なる提供面とも交差しないように指定する制約を規定可能である。床が提供面として検出されるものと仮定すると、この提供面は、仮想的なランプの形状によって修正可能であり、修正された提供面は、仮想的なランプの形状が適合するのに十分な開放的空間が存在する元の提供面のサブセットである。
【００５２】
２．４  ＡＲ体験を様々な環境にマッピングするプロセス
[0050]  図４は、ＡＲ体験を様々な環境にマッピングするプロセスを簡単な形態で示した例示的な一実施形態の図である。図４に例示するように、このプロセスは、ブロック４００において、環境のシーンを記述した３Ｄデータモデルを入力することによって開始する。そして、ＡＲ体験の記述を入力するが、この記述は、シーンにマッピングされる一連のデジタルコンテンツと、シーンへのマッピング時にデジタルコンテンツの属性を規定する一連の制約とを含む（ブロック４０２）。上述の通り、環境は、現実世界の環境または合成世界の環境とすることができる。３Ｄデータモデルは、以下のような様々な方法で生成可能であるが、これらに限定されない。
【００５３】
[0051]  ＡＲ体験がマッピングされている環境が合成世界の環境である場合、この合成世界の環境のシーンは、１つまたは複数のコンピュータ装置を用いて生成可能である。言い換えると、これらのコンピュータ装置は、合成世界の環境のシーンを時間に応じて記述した３Ｄデータモデル（コンピュータ支援設計（CAD）モデルと称する場合もある）を直接生成することができる。本明細書に記載のマッピング技術の実施形態は、従来のＣＡＤモデルフォーマットのいずれかに対応する。
【００５４】
[0052]  ＡＲ体験がマッピングされている環境が現実世界の環境である場合、この現実世界の環境のシーンは、１つまたは複数のセンサを用いて取得可能である。上述の通り、これらのセンサはそれぞれ、任意の種類の映像取得装置とすることができる。非限定的な一例として、所与のセンサは、シーンのカラー画像ストリームを含む映像データストリームを生成する従来の可視光ビデオカメラとすることができる。また、所与のセンサは、シーンのカラーライトフィールド画像ストリームを含む映像データストリームを生成する従来のライトフィールドカメラ（「プレノプティックカメラ」としても知られている）とすることもできる。また、所与のセンサは、整合する従来の赤外線ビデオカメラと組み合わされた従来の赤外線立体光プロジェクタとすることもでき、このプロジェクタ／カメラ組み合わせは、シーンの赤外線画像ストリームを含む映像データストリームを生成する。このプロジェクタ／カメラ組み合わせは、「立体光３Ｄスキャナ」としても知られている。また、所与のセンサは、シーンの白黒画像ストリームを含む映像データストリームを生成する従来の単色ビデオカメラとすることもできる。また、所与のセンサは、シーンの奥行きマップ画像ストリームおよびシーンのカラー画像ストリームの両者を含む映像データストリームを生成する従来の飛行時間カメラとすることもできる。また、所与のセンサは、レーザ光でシーンを照らし、シーンの後方散乱光画像ストリームを含む映像データストリームを生成する従来のＬＩＤＡＲ（光検出と測距）技術を採用することもできる。
【００５５】
[0053]  一般的に、時間に応じての現実世界の環境の取得シーンを記述した３Ｄデータモデルは、上記１つまたは複数のセンサにより生成された１つまたは複数の映像データストリームを処理することによって生成可能である。より詳細に、非限定的な一例としては、まず、映像データストリームを必要に応じて校正することにより、時間的および空間的に校正された映像データストリームを得る。当然のことながら、この校正は、シーンの取得に用いているセンサの具体的な数および種類に応じた従来の様々な校正方法を用いて行うことができる。そして、特に、同じくシーンの取得に用いているセンサの具体的な数および種類に応じた従来の様々な３Ｄ再構成方法を用いることによって、校正された映像データストリームから３Ｄデータモデルを生成可能である。したがって、当然のことながら、生成された３Ｄデータモデルは、シーンの奥行きマップ画像ストリーム、シーンの３Ｄ点雲状表現ストリーム、シーンのメッシュモデルストリームおよびメッシュモデルそれぞれの質感データを規定した対応する質感マップストリーム、またはそれらの任意の組み合わせを含むことができるが、これらに限定されない。
【００５６】
[0054]  図４を再び参照して、シーンを記述した３ＤデータモデルおよびＡＲ体験の記述を入力した（ブロック４００および４０２）後は、３Ｄデータモデルを解析して、シーンにおけるアフォーダンスを検出するが、この解析では、検出アフォーダンスのリストを生成する（ブロック４０４）。シーンにおいて検出できる様々な種類のアフォーダンスについては、後述する。本明細書に記載のマッピング技術の実施形態から分かるように、検出アフォーダンスのリストは、一般的にはシーンを記述した３Ｄデータモデルよりも簡単なシーンのモデルとなるが、シーンの属性を十分に表すことによって、一連の制約を実質的に満たす（たとえば、実質的に適合する）シーンへの一連のデジタルコンテンツのマッピングを求めることに対応する。３Ｄデータモデルを解析してシーンにおけるアフォーダンスを検出するのには、様々な方法を利用可能である。非限定的な一例として、３Ｄデータモデルがシーンの奥行きマップ画像ストリームを含む上述の場合、シーンにおけるアフォーダンスは、従来の奥行きマップ解析方法を用いることによって検出することができる。３Ｄデータモデルがシーンの３Ｄ点雲状表現ストリームを含む上述の場合、シーンにおけるアフォーダンスは、３Ｄ点雲状表現に従来のハフ変換を適用することによって検出可能にすることができる。
【００５７】
[0055]  図４を再び参照して、検出アフォーダンスのリストを生成した（ブロック４０４）後は、検出アフォーダンスのリストおよび一連の制約を用いて、当該一連の制約を実質的に満たすシーンへの一連のデジタルコンテンツのマッピングについて解く（たとえば、求める）（ブロック４０６）。言い換えると、本明細書に記載のマッピング技術の実施形態では、デジタルコンテンツの項目と関連付けられた制約それぞれを実質的に満たすデジタルコンテンツの項目それぞれの１つまたは複数の属性の値を計算する（たとえば、マッピング解法は、一連の制約を実質的に満たすシーン中の一連のデジタルコンテンツの配置を指定することができる）。したがって、一連のデジタルコンテンツにおける所与の仮想物体の結合面制約を一連の制約が含む場合、マッピング解法では、結合面制約を実質的に満たす検出アフォーダンスのリストから提供面を選択し、仮想物体の結合面を選択した提供面に割り当てることになる。一連の制約を実質的に満たすシーンへの一連のデジタルコンテンツのマッピングについて解くには、様々な方法を利用可能であり、その例については以下に詳述する。マッピング技術の実施形態は、一連の制約を用いることによって、任意の種類の環境の任意のシーンに一連のデジタルコンテンツをマッピング可能であることに留意されたい。
【００５８】
[0056]  一連の制約を実質的に満たすシーンへの一連のデジタルコンテンツのマッピングについて解いたら、デジタルコンテンツの項目の属性に関して計算した値を所与のＡＲ用途に入力し、これらの値を用いてＡＲ体験を与えることができる。非限定的な一例として、ゲームＡＲ用途では、所定の環境のシーンの映像の上に仮想物体を与えてもよく、この与えられた仮想物体がそれぞれ、環境中のある場所に載置されるとともに、計算した属性値によって指定される寸法および見た目を有することになる。ロボット制御ＡＲ用途では、計算した属性値によって指定される所定の環境中の異なる位置に移動ロボットを案内してもよく、ロボットは、これらの位置のどこかで物体を落とすとともに、これらの位置のほかで検出される壁コンセントでそれ自体の充電を行うようにしてもよい。
【００５９】
[0057]  図４を再び参照して、一連の制約を実質的に満たすシーンへの一連のデジタルコンテンツのマッピングについて解いた（ブロック４０６）後は、様々な方法でマッピングを利用可能である。非限定的な一例として、マッピングは、任意選択により格納して将来的に使用することができる（ブロック４０８）。また、マッピングは、任意選択により使用して、シーンの拡張版を与えることができる（ブロック４１０）。そして、シーンの拡張版は、任意選択により格納して将来的に使用する（ブロック４１２）か、またはユーザによる視聴のため、任意選択により表示することができる（ブロック４１４）。
【００６０】
[0058]  当然のことながら、多くのＡＲ用途において、一連のデジタルコンテンツがマッピングされたシーンの変化は、マッピングの更新を必要とする可能性がある。非限定的な一例として、シーン中のドアに直接取り付けられた仮想的な標識をマッピングが含み、現在、このドアが閉じられている場合、その後ドアが開放されたら、仮想的な標識をシーンにおいて再配置することが必要となる場合がある。同様に、シーン中の部屋の壁に投射された仮想的な文字をマッピングが含む場合、その後、実在する人が部屋に入って仮想的な文字の現在の場所に立ったら、仮想的な文字をシーンにおいて再配置することが必要となる場合がある。また、当然のことながら、シーンが変化した場合は、シーンにおいて以前に検出されたアフォーダンスの一部の損失が発生する可能性があり、以前に検出されていない新たなアフォーダンスがシーンに導入される可能性がある。また、ＡＲ用途において、１つまたは複数の付加的な仮想物体をシーンにマッピングする必要がある場合または２つの異なるＡＲ用途が並列に動作し、ＡＲ用途の一方が他方のＡＲ用途のリソースを必要とする場合は、マッピングを更新することが必要となる場合がある。一般的に、本明細書に記載のマッピング技術の実施形態は、動的（たとえば、変化する）環境に適用可能である。言い換えると、上述の通り、マッピング技術の実施形態は、時間とともに発生し得るシーンの任意の変化に対して、ＡＲ体験のマッピングを自動的に適応させることができる。
【００６１】
[0059]  図５は、ＡＲ体験を変化する環境にマッピングするプロセスを簡単な形態で示した例示的な一実施形態の図である。図５に例示するように、このプロセスは、ブロック５００において、環境のシーンを時間に応じて記述する３Ｄデータモデルを受信することによって開始する。そして、ＡＲ体験の記述を受信するが、この記述は、シーンにマッピングされる一連のデジタルコンテンツと、シーンへのマッピング時にデジタルコンテンツの属性を規定する一連の制約とを含む（ブロック５０２）。その後、３Ｄデータモデルを解析して、シーンにおけるアフォーダンスを検出するが、この解析では、検出アフォーダンスの元リストを生成する（ブロック５０４）。そして、検出アフォーダンスの元リストおよび一連の制約を用いて、当該一連の制約を実質的に満たすシーンへの一連のデジタルコンテンツのマッピングについて解く（ブロック５０６）。シーンに変化が起こった場合（ブロック５０８で「はい」）にはいつでも、３Ｄデータモデルを再解析して、変化したシーンにおけるアフォーダンスを検出することになるが、この再解析では、検出アフォーダンスの改訂リストを生成する（ブロック５１２）。そして、検出アフォーダンスの改訂リストおよび一連の制約を用いて、当該一連の制約を実質的に満たす変化したシーンへの一連のデジタルコンテンツのマッピングについて解くことになる（ブロック５１４）。本明細書に記載のマッピング技術の例示的な一実施形態において、一連のデジタルコンテンツの変化したシーンへのマッピングは、検出アフォーダンスの元リストと検出アフォーダンスの改訂リストとの間の相違の影響を受けるデジタルコンテンツの属性のみの再マッピングを含む。
【００６２】
２．５  マッピングについて解く
[0060]  本項では、一連の制約Ｃｓｅｔを実質的に満たす環境のシーンへの一連のデジタルコンテンツＯｓｅｔのマッピングについて解く際に利用できる様々な方法のより詳細な説明を提供する。本明細書に記載のマッピング技術の例示的な一実施形態において、Ｏｓｅｔのシーンへの所与のマッピングのコストは、以下の等式により与えられるコスト関数Ｅによって表される。
【００６３】
【数９】
2016516241.tif 000011
（４）
ただし、ｗｊは、制約Ｃｊに割り当てられた所定の重みである。言い換えると、マッピングのコストは、Ｃｓｅｔの制約Ｃｊそれぞれの実数値のスコアの加重平均である。したがって、コスト関数Ｅは、Ｏｓｅｔのシーンへの所与のマッピングがＣｓｅｔを満たす程度を評価する。Ｅ＝０の場合、Ｏｓｅｔのシーンへのマッピングは、Ｃｓｅｔを満たす。
【００６４】
[0061]  本明細書に記載のマッピング技術の一実施形態においては、定理証明器（特に、従来のZ3高性能定理証明器）を用いることによって、一連の制約を満たすシーンへの一連のデジタルコンテンツのマッピング（存在するものと仮定）について解くことができる。
【００６５】
[0062]  本明細書に記載のマッピング技術の別の実施形態においては、様々なコスト関数最適化方法を用いることによって、一連の制約を近似することによりコスト関数Ｅを最小化するシーンへの一連のデジタルコンテンツのマッピングについて解くことができる。例示的なコスト関数最適化方法については、以下に詳述する。以下、この特定の実施形態は、マッピング技術のコスト関数最適化実施形態と略称する。マッピング技術のコスト関数最適化実施形態は、ＡＲ体験に対して緩やかな制約を指定可能である点において都合が良い。緩やかな制約は、ＡＲ設計者が所与の環境のシーンにおいて所与の仮想物体を可能な限り大きくしたい場合等の様々な状況において有用となる可能性がある。非限定的な一例として、ＡＲ設計者がテレビ画面を部屋の壁に掛けたい状況を考える。テレビ画面は、所定の最大サイズまで、部屋の壁が支持し得る最も大きなサイズとする。この状況において、ＡＲ設計者は、テレビ画面のサイズが、可能な限り最も大きなサイズで所定の最大サイズ以下に拡大されるように指定する制約を生成することができる。コスト関数最適化実施形態では、この制約によって指定されたサイズに可能な限り近づくように、テレビ画面のマッピングについて解くことになる。シーンにおいて、所定の最大サイズほど大きな部屋の壁が検出されない場合は、最小のＥがゼロより大きくなる。
【００６６】
[0063]  本明細書に記載のマッピング技術のコスト関数最適化実施形態の一実施態様において、コスト関数最適化方法は、メトロポリス・ヘイスティングス状態探索工程を備えた従来の擬似アニーリング法である。コスト関数最適化実施形態の別の実施態様において、コスト関数最適化方法は、マルコフ鎖モンテカルロサンプラ法（以下、サンプラ法と略称する）である。後続のサンプラ法に関するより詳細な説明から分かるように、サンプラ法は、コスト関数Ｅが高度にマルチモーダルである場合に、満足なマッピング解を求める際に有効である。
【００６７】
[0064]  当然のことながら、マッピングされる一連のデジタルコンテンツにおけるデジタルコンテンツの各項目の属性はそれぞれ、考え得る値の有限範囲を有する。デジタルコンテンツがマッピングされているシーンにおける当該デジタルコンテンツの位置を規定する属性に関しては、非限定的な一例として、所与の仮想物体の所与の属性が、当該仮想物体がシーン中の水平構造上に存在／起立するように指定する場合を考える。この場合、仮想物体の考え得る位置は、シーンにおいて検出されたすべての水平提供面の結合とすることができる。効率化のため、以下に詳述する通り、サンプラ法は、３Ｄ格子上の離散位置を用いることによって、シーンにおけるデジタルコンテンツの位置決めを近似する。このような近似は、デジタルコンテンツの項目それぞれの候補位置を最小のバイアスで簡単かつ均一にサンプリングでき、また、仮想物体の形状とシーンに存在する任意の物体の形状との交差を探すクエリ等を高速に演算できるため都合が良い。
【００６８】
[0065]  仮想物体がマッピングされているシーンにおける当該仮想物体の回転の向きを規定する属性に関しては、非限定的な一例として、シーンにおいて検出された所与の提供面に所与の仮想物体がマッピングされ、仮想物体の結合面が提供面に直接取り付けられた場合を考える。この場合は、ｘ軸およびｙ軸周りの仮想物体の回転の向きがマッピングによって規定され、ｚ軸周りの仮想物体の回転の向きのみが、一連の制約のうちのある制約によって規定されるようになっていてもよい。本明細書に記載のマッピング技術の例示的な一実施形態において、回転の向き属性を規定する制約には、０°〜３６０°の値を割り当て可能である。上述した例示的な種類の仮想物体の属性（質量、縮尺比、色、質感等）および上述した例示的な種類の仮想音源の属性（可聴音量等）のほかを規定する制約は、最小値と最大値との間の有限範囲内となるように指定して、パラメータ空間の簡単かつ均一なサンプリングを可能にすることができる。
【００６９】
[0066]  以下は、サンプラ法の作用を簡単な形態で示した概要である。まず、所定の解像度を有する３Ｄ格子を確立するが、この解像度は一般的に、解いているマッピングが使用され得る１つまたは複数のＡＲ用途に対して、当該マッピングが十分な解像度を有するように選定される。サンプラ法の例示的な一実施形態においては、３Ｄ格子に２．５ｃｍの解像度を用いる。検出アフォーダンスのリスト中の検出アフォーダンスそれぞれについて、検出アフォーダンスの表面から所定の短距離以内に存在する３Ｄ格子上のすべての場所が識別され、これら識別された場所がそれぞれ、デジタルコンテンツの考え得る場所のリストに格納される。
【００７０】
[0067]  デジタルコンテンツの所与の項目のシーンへのマッピングは、一連の制約において規定された項目の属性それぞれの値の割り当てを伴うが、このような各値の割り当ては、パラメータ空間中の状態として表すことができる。サンプラ法は、以下のランダムウォーク法を用いることによって、このパラメータ空間をサンプリングする。ランダムな生成状態から始まり、一連の制約において規定された属性それぞれには、ランダム値が割り当てられる。そして、コスト関数Ｅが評価され、その値が現在のコストとなるべく割り当てられる。その後、一連の制約において規定された属性それぞれには、新たなランダム値が割り当てられる。そして、Ｅが再評価され、その新たな値が現在のコストよりも小さい場合は、この新たな値が現在のコストとなるべく割り当てられる。属性それぞれにランダム値を割り当てた後にＥを再評価するこのプロセスは、所定の反復数だけ繰り返される。現在のコストが所定のコスト閾値以下である場合は、現在のコストと関連付けられた属性の値がマッピングとして用いられる。現在のコストが依然として、所定のコスト閾値より大きい場合、属性それぞれにランダム値を割り当てた後にＥを再評価するこのプロセスは、この場合も所定の反復数だけ繰り返される。
【００７１】
[0068]  上述の通り、デジタルコンテンツがマッピングされたシーンの変化により、シーンにおいて以前に検出されたアフォーダンスの一部の損失が発生する可能性があり、また、以前に検出されていない新たなアフォーダンスがシーンに導入される可能性がある。シーンアフォーダンスのこれらの変化により、一連のデジタルコンテンツにおけるデジタルコンテンツの項目の一部の新たなマッピングについて解くことがなされる場合がある。ただし、本明細書に記載のマッピング技術の実施形態では一般的に、時間とともに、一連のデジタルコンテンツのマッピングにおいて、可能な限り一貫性を保とうとする。言い換えると、所定の量を超えてコスト関数Ｅの値を増大させることなく現在のマッピングを維持可能なデジタルコンテンツの項目は一般的に、その現在のマッピングを維持する。これを行うため、マッピング技術の実施形態は、現在のマッピングによる新たなマッピングからＥまでの距離を追加可能であるが、この距離は、マッピングの一貫性を保つ重要性を表す重要度係数によって重み付けされる。
【００７２】
３．０  付加的な実施形態
[0069]  絵画、彫刻、３Ｄモデリング、ビデオゲーム作成、映画撮影等の従来のメディア作成プロセスにおいては、単一の「最終製品」（たとえば、絵画、彫像、3Dモデル、ビデオゲーム、映画等）が生成される。最終製品の（1人または複数の）作成者は、様々な方法で製品を解析することによって、その提供する体験が作成者の意図を伝えているか否かを判断する。これら従来のメディア作成プロセスに対して、上述の通り、本明細書に記載のマッピング技術の実施形態は、多種多様な異なる現実世界および合成世界の環境における多種多様な異なるシーンに対する所与のＡＲ体験のマッピングを可能とする。絵画の比喩を用いると、マッピング技術の実施形態は、単一の環境の単一のシーンの絵画を生成するのではなく、どの環境のどのシーンを描画するかに関わらず、絵画を生成する方法を規定した一連の制約を使用する。このため、マッピング技術の実施形態が生成する最終製品は、１つだけではない。むしろ、マッピング技術の実施形態は、多くの異なる最終製品を生成可能である。
【００７３】
[0070]  また、本明細書に記載のマッピング技術の実施形態は、多種多様な異なる現実世界および合成世界の環境における多種多様な異なるシーンの全体にわたって、所与のＡＲ体験のマッピングのデバックおよび品質保証試験を行う様々な方法を伴う。以下、これらのデバックおよび品質保証試験方法は、ＡＲ体験試験技術と称する。例示的なＡＲ体験試験技術の実施形態については、以下に詳述する。これら試験技術の実施形態は、以下のような様々な理由により好都合であるが、これらに限定されない。後続のより詳細な説明から分かるように、試験技術の実施形態は、ＡＲ体験をマッピング可能なありとあらゆるシーン／環境においてＡＲ体験を調べることなく、ＡＲ体験の所望の品質レベルを確保する方法をユーザ（その他の種類の人の中で特に、AR設計者または品質保証試験者等）に提供する。また、試験技術の実施形態によれば、ユーザは、広範囲のシーン／環境に対して、ＡＲ体験を堅牢なものとすることができる。
【００７４】
[0071]  図６は、所与のＡＲ体験における仮想物体に可能な自由度をユーザが視覚化できるＡＲ体験試験技術を簡単な形態で示した一実施形態の図である。図６に例示するように、ＡＲ体験６０６は、仮想的な机６００、仮想的なノート型コンピュータ６０２、および仮想的な猫６０４を含む。一般的に、ＡＲ体験６０６は、動的に表示される。より詳細に、机６００の考え得る各自由度は、矢印６０８および６１０により例示される制限された運動として表示される。コンピュータ６０２の考え得る各自由度は、矢印６１２および６１４により例示される制限された運動として表示される。猫６０４の考え得る各自由度は、矢印６１６および６１８により例示される制限された運動として表示される。ＡＲ体験６０６のこの動的な表示によれば、ユーザは、机６００、コンピュータ６０２、および猫６０４の属性を規定する一連の制約がＡＲ体験に関するＡＲ設計者の知識および意図を適切に表しているか否か（たとえば、一連の制約に付加的な制約を追加する必要があるか、または、1つもしくは複数の既存の制約を修正する必要があるか）を判断することができる。非限定的な一例として、コンピュータ６０２が机６００の上に位置決めされるように一連の制約が指定する場合は、机が動かされた場合にコンピュータが机とともに移動すると予想するのが自然である。ただし、机が動かされた場合にコンピュータ６０２が机６００とともに移動するように指定した制約をＡＲ設計者が生成していない場合（たとえば、AR設計者がこの制約を明白なことと思って忘れた場合）は、机が動かされた場合にコンピュータが机から離れる場合がある。当然のことながら、仮想物体の考え得る自由度を矢印で示すのではなく、ＡＲ体験をその考え得る相対自由度に基づいて色付けすることも可能である。
【００７５】
[0072]  別のＡＲ体験試験技術の実施形態によれば、ユーザは、シーンデータベースから選択された一連の代表シーンに対する所与のＡＲ体験のマッピングを視覚化することができる。データベースからの代表シーンの選択は、様々な基準に基づいて行うことができる。非限定的な一例として、データベースからの代表シーンの選択は、現実世界におけるそのような部屋の存在を表すデータベース中のシーンの種類の分布に基づいて行うことができる。また、データベースからの代表シーンの選択は、データベース中の異なるシーンに対するＡＲ体験のマッピングに存在する変化に基づいて行うことができる。当然のことながら、シーン自体が類似していたとしても、マッピングが異なる当該シーンをユーザが視覚化できるのが好都合である。また、データベースからの代表シーンの選択は、その他すべてのマッピングと異なり、シーンの変化の影響をより受け易いＡＲ体験のマッピングを求めることに基づいて行うことができる。シーンの変化に対する感度は、シーンのパラメータ（たとえば、その他のパラメータの中で特に、予想される部屋の範囲）を所定の微小量だけ摂動し、マッピング解の存在を確認することによって推定可能である。
【００７６】
[0073]  マッピング技術を、その実施形態を具体的に参照して説明したが、マッピング技術の真の主旨および範囲から逸脱することなく、その変形および改良が可能であることを理解されたい。上述の実施形態はいずれも、付加的な混成の実施形態を構成することが望まれる任意の組み合わせで使用可能であることに留意されたい。マッピング技術の実施形態は、構造的特徴および／または方法論的行為に特有の表現で説明したが、添付の特許請求の範囲に規定される主題は、必ずしも上述の具体的特徴または行為に限定されないことを理解されたい。むしろ、上述の具体的特徴および行為は、特許請求の範囲を実施する形態例として開示している。
【００７７】
４．０  例示的な動作環境
[0074]  本明細書に記載のマッピング技術の実施形態は、非常に多くの種類の汎用または専用コンピュータシステム環境または構成において動作可能である。図７は、本明細書に記載のマッピング技術の様々な実施形態および要素を実装可能な汎用コンピュータシステムの簡単な一例を示した図である。図７の破線または鎖線で表される任意のボックスは、単純化されたコンピュータ装置の代替の実施形態を表しており、これら代替の実施形態はいずれも、後述する通り、本書を通して記載される他の代替の実施形態と組み合わせて使用してもよいことに留意されたい。
【００７８】
[0075]  たとえば、図７は、単純化されたコンピュータ装置７００を示す一般的なシステム図である。このようなコンピュータ装置は通常、パーソナルコンピュータ（PC）、サーバコンピュータ、携帯型コンピュータ装置、ラップトップまたはモバイルコンピュータ、携帯電話および個人用デジタル補助装置（PDA）等の通信装置、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な家庭用電化製品、ネットワークＰＣ、マイクロコンピュータ、メインフレームコンピュータ、および音声または映像メディアプレーヤ等、少なくとも何らかの最小演算能力を有する装置に見られるが、これらに限定されない。
【００７９】
[0076]  本明細書に記載のマッピング技術の実施形態を装置に実装可能となるには、当該装置が十分な演算能力およびシステムメモリを有して、基本的な演算動作を行える必要がある。特に、図７に示すように、演算能力は一般的に、１つまたは複数の処理ユニット７１０によって図示され、一方または両方がシステムメモリ７２０と連通した１つまたは複数のグラフィックス処理ユニット（GPU）７１５を具備していてもよい。なお、単純化されたコンピュータ装置７００の（1つまたは複数の）処理ユニット７１０は、特殊なマイクロプロセッサ（デジタルシグナルプロセッサ（DSP）、超長命令語（VLIW）プロセッサ、フィールドプログラマブルゲートアレイ（FPGA）、または他のマイクロコントローラ等）であってもよいし、特殊なＧＰＵベースのコア等、またはこれに限定されない１つまたは複数の処理コアをマルチコアＣＰＵに有する従来の中央演算処理装置（CPU）とすることもできる。
【００８０】
[0077]  また、図７の単純化されたコンピュータ装置７００は、たとえば通信インタフェース７３０等の他の構成要素を具備していてもよい。また、図７の単純化されたコンピュータ装置７００は、１つまたは複数の従来のコンピュータ入力装置７４０（たとえば、ポインティングデバイス、キーボード、音声（たとえば、声）入力装置、映像入力装置、触覚入力装置、ジェスチャ認識装置、有線または無線データ伝送を受信する装置等）を具備していてもよい。また、図７の単純化されたコンピュータ装置７００は、たとえば１つまたは複数の従来のコンピュータ出力装置７５０（たとえば、（1つまたは複数の）表示装置７５５、音声出力装置、映像出力装置、有線または無線データ伝送を送信する装置等）といった他の任意選択による構成要素を具備していてもよい。なお、汎用コンピュータ用の一般的な通信インタフェース７３０、入力装置７４０、出力装置７５０、および記憶装置７６０は、当業者に周知であるため、本明細書においては詳細に説明しない。
【００８１】
[0078]  また、図７の単純化されたコンピュータ装置７００は、多様なコンピュータ可読媒体を具備していてもよい。コンピュータ可読媒体は、記憶装置７６０を介してコンピュータ７００によりアクセスできる任意の利用可能な媒体とすることができ、取外し式７７０および／または非取外し式７８０な揮発性および不揮発性の両媒体を含むことによって、コンピュータ可読もしくはコンピュータ実行可能命令、データ構造、プログラムモジュール、または他のデータ等の情報を格納することができる。非限定的な一例として、コンピュータ可読媒体は、コンピュータ記憶媒体および通信媒体を含んでいてもよい。コンピュータ記憶媒体は、デジタル多用途ディスク（DVD）、コンパクトディスク（CD）、フロッピー（登録商標）ディスク、テープドライブ、ハードドライブ、光ドライブ、固体メモリデバイス、ランダムアクセスメモリ（RAM）、リードオンリーメモリ（ROM）、電気的消去・プログラム可能リードオンリーメモリ（EEPROM）、フラッシュメモリ等のメモリ技術、磁気カセット、磁気テープ、磁気ディスクストレージ等の磁気記憶装置、または所望の情報の格納に使用可能であり、１つまたは複数のコンピュータ装置によってアクセス可能なその他任意の装置等の有形のコンピュータ可読もしくは機械可読媒体または記憶装置を表す。
【００８２】
[0079]  コンピュータ可読またはコンピュータ実行可能命令、データ構造、プログラムモジュール等の情報の保持は、多様な上述の通信媒体のいずれかを用いて１つまたは複数の変調データ信号もしくは搬送波、または他の搬送機構もしくは通信プロトコルを符号化することにより実施することができ、任意の有線または無線情報送達機構を含むことができる。なお、用語「変調データ信号」または「搬送波」は一般的に、その特性の１つまたは複数が、信号中の情報を符号化するように設定または変更された信号を表す。たとえば、通信媒体は、１つまたは複数の変調データ信号を搬送する有線ネットワークまたは直接有線接続等の有線媒体と、１つまたは複数の変調データ信号または搬送波の送信および／または受信を行う音響、無線周波数（RF）、赤外線、レーザ等の無線媒体とを含むことができる。上記のいずれかの組み合わせについても、通信媒体の範囲に含まれるものとする。
【００８３】
[0080]  さらに、本明細書に記載の様々なマッピング技術の実施形態のいくつかもしくは全部、またはその一部を具現化するソフトウェア、プログラム、および／またはコンピュータプログラム製品は、コンピュータ実行可能命令またはその他のデータ構造の形態で、コンピュータ可読もしくは機械可読媒体または記憶装置および通信媒体の任意所望の組み合わせから格納、受信、送信、または読み出しされてもよい。
【００８４】
[0081]  最後に、本明細書に記載のマッピング技術の実施形態は、コンピュータ装置が実行しているプログラムモジュール等のコンピュータ実行可能命令の一般的文脈において、さらに説明がなされてもよい。一般的に、プログラムモジュールは、特定のタスクの実行または特定の抽象データ型の実装を行うルーチン、プログラム、オブジェクト、コンポーネント、データ構造等を含む。また、マッピング技術の実施形態は、１つもしくは複数のリモート処理装置によるタスクの実行または１つもしくは複数の通信ネットワークを介して結び付けられた１つもしくは複数の装置のクラウドにおけるタスクの実行を行う分散コンピュータ環境において実施されるようになっていてもよい。分散コンピュータ環境において、プログラムモジュールは、媒体記憶装置を含むローカルおよびリモートのコンピュータ記憶媒体に配置されていてもよい。また、上述の命令は、プロセッサを具備していても具備していなくてもよいハードウェア論理回路として、一部または全部が実装されていてもよい。
【図１Ａ】
2016516241.tif 000012
【図１Ｂ】
2016516241.tif 000013
【図２】
2016516241.tif 000014
【図３】
2016516241.tif 000015
【図４】
2016516241.tif 000016
【図５】
2016516241.tif 000017
【図６】
2016516241.tif 000018
【図７】
2016516241.tif 000019
【国際調査報告】
2016516241.tif 000020
2016516241.tif 000021