(57)【特許請求の範囲】
【請求項１】
現実世界の関心のあるオブジェクトを識別するために基準オブジェクトを使用して前記関心のあるオブジェクトに関する空間的問い合わせに応答するコンピュータで実施される方法であって、
電子ポインティング機器を使用して、少なくとも問い合わせ話題及び空間前置詞を含み、少なくとも１つの関心のあるオブジェクトに関係する問い合わせ文を生成し、ポインティング機器の測地学的位置及びポインティング方向を生成し、前記問い合わせ文と前記ポインティング機器の測地学的位置及びポインティング方向とをシステムサーバへ送信するステップ（Ａ）と、
少なくとも前記関心のあるオブジェクト及び前記基準オブジェクトを含む現実世界シーンの３次元表現をマッピングし、前記３次元表現を前記システムサーバへ送信するステップ（Ｂ）と、
前記システムサーバが、
ステップ（Ｂ）でマッピングされた３次元シーンの２次元デジタル表現であって、少なくとも前記関心のあるオブジェクト及び前記基準オブジェクトのデジタル表現を含む２次元デジタル表現を生成するサブステップ（１）と、
前記２次元デジタル表現に適用された前記ポインティング機器の測地学的位置及びポインティング方向に応じて前記基準オブジェクト及び前記基準オブジェクトの位置を識別するサブステップ（２）と、
前記基準オブジェクトの位置と前記問い合わせ話題及び前記空間前置詞とに応じて前記関心のあるオブジェクトを識別するため前記２次元デジタル表現に注釈を付けるサブステップ（３）と、
前記問い合わせ文の前記問い合わせ話題及び前記空間前置詞を前記２次元デジタル表現の中のオブジェクトにリンクさせることにより、サブステップ（Ｃ）（３）で注釈を付けられた前記２次元デジタル表現に応じて前記関心のあるオブジェクトを識別するサブステップ（４）と、
前記システムサーバが前記ポインティング機器と通信し、少なくとも前記関心のあるオブジェクトの識別情報を前記ポインティング機器へ送信するサブステップ（５）と、
を実行するステップ（Ｃ）と、
を含む方法。
【請求項２】
前記ポインティング機器と前記システムサーバとは、有線又は無線で通信する、請求項１に記載の方法。
【請求項３】
前記ポインティング機器の測地学的位置は、前記ポインティング機器の緯度、経度、高度、ピッチ及びヨーによる位置を含む、請求項１に記載の方法。
【請求項４】
前記問い合わせ文は、問い合わせ話題として前記関心のあるオブジェクトを含む、請求項１に記載の方法。
【請求項５】
前記空間前置詞は、前記関心のあるオブジェクトと前記基準オブジェクトとの間の空間関係を含む、請求項１に記載の方法。
【請求項６】
前記空間前置詞は、前記ポインティング機器の測地学的位置による自己中心基準系に応じて前記関心のあるオブジェクトを識別する、請求項５に記載の方法。
【請求項７】
前記自己中心基準系は、前記基準オブジェクトの位置及び前記ポインティング機器の測地学的位置に応じて前記関心のあるオブジェクトを識別する、請求項６に記載の方法。
【請求項８】
現実世界の関心のあるオブジェクトを識別するために基準オブジェクトを使用して前記関心のあるオブジェクトに関する空間的問い合わせに応答するコンピュータで実施される方法であって、
電子ポインティング機器を使用して、少なくとも問い合わせ話題及び空間前置詞を含み、少なくとも１つの関心のあるオブジェクトに関係する問い合わせ文を生成し、ポインティング機器の測地学的位置及びポインティング方向を生成し、前記問い合わせ文と前記ポインティング機器の測地学的位置及びポインティング方向とをシステムサーバへ送信するステップ（Ａ）と、
少なくとも前記関心のあるオブジェクト及び前記基準オブジェクトを含む現実世界シーンの３次元表現をマッピングし、前記３次元表現を前記システムサーバへ送信するステップ（Ｂ）と、
前記システムサーバが、
ステップ（Ｂ）でマッピングされた３次元シーンの２次元デジタル表現であって、少なくとも前記関心のあるオブジェクト及び前記基準オブジェクトのデジタル表現を含む２次元デジタル表現を生成するサブステップ（１）と、
前記２次元デジタル表現に適用された前記ポインティング機器の測地学的位置及びポインティング方向に応じて前記基準オブジェクト及び前記基準オブジェクトの位置を識別するサブステップ（２）と、
前記問い合わせ文の前記問い合わせ話題及び前記空間前置詞を前記２次元デジタル表現の中のオブジェクトにリンクさせることにより、前記基準オブジェクトの位置と前記問い合わせ話題及び前記空間前置詞とに応じて前記関心のあるオブジェクトを識別するサブステップ（３）と、
前記システムサーバが前記ポインティング機器と通信し、少なくとも前記関心のあるオブジェクトの識別情報を前記ポインティング機器へ送信するサブステップ（４）と、
を実行するステップ（Ｃ）と、
を含む方法。
【請求項９】
前記ポインティング機器と前記システムサーバとは、有線又は無線で通信する、請求項８に記載の方法。
【請求項１０】
前記ポインティング機器の測地学的位置は、前記ポインティング機器の緯度、経度、高度、ピッチ及びヨーによる位置を含む、請求項８に記載の方法。
【請求項１１】
前記問い合わせ文は、問い合わせ話題として前記関心のあるオブジェクトを含む、請求項８に記載の方法。
【請求項１２】
前記空間前置詞は、前記関心のあるオブジェクトと前記基準オブジェクトとの間の空間関係を含む、請求項８に記載の方法。
【請求項１３】
前記空間前置詞は、前記基準オブジェクトの位置に適用された絶対基準系に応じて前記関心のあるオブジェクトを識別する、請求項１２に記載の方法。
【請求項１４】
前記空間前置詞は、前記基準オブジェクトの位置に適用された固有基準系に応じて前記関心のあるオブジェクトを識別する、請求項１２に記載の方法。
【請求項１５】
現実世界の関心のあるオブジェクトを識別するために基準オブジェクトを使用して前記関心のあるオブジェクトに関する空間的問い合わせに応答するシステムであって、
システムサーバと、
現実世界シーンの中の基準オブジェクトをポインティングし、問い合わせ話題及び空間前置詞を含み、前記基準オブジェクトの位置に応じて前記関心のあるオブジェクトに関係する問い合わせ文を生成するポインティング機器と、を備え、
前記ポインティング機器は、ポインティング機器の測地学的位置及びポインティング方向を判定し、前記問い合わせ文と前記ポインティング機器の測地学的位置及びポインティング方向とを前記システムサーバへ通信し、
前記システムサーバは、
前記基準オブジェクト及び前記関心のあるオブジェクトを含む現実世界シーンを格納する環境の３次元表現を受信し処理するマッピングモジュールと、
前記マッピングモジュールに接続し、前記マッピングモジュールからの出力を受信し、前記基準オブジェクト及び前記関心のあるオブジェクトを含む前記現実世界シーンの２次元デジタル表現を生成し、前記２次元デジタル表現に適用された前記ポインティング機器の測地学的位置及びポインティング方向に応じて前記基準オブジェクトを識別するシーンジェネレータと、
前記問い合わせ話題及び前記空間前置詞を前記２次元デジタル表現の中のオブジェクトにリンクさせることにより、前記基準オブジェクトの位置と前記問い合わせ文の前記問い合わせ話題及び前記空間前置詞とに応じて前記関心のあるオブジェクトを識別するため前記２次元デジタル表現に注釈を付け、前記関心のあるオブジェクトの識別情報を前記ポインティング機器に通信するシーンアノテータと、
をさらに備える、システム。
【請求項１６】
前記ポインティング機器は、モバイル機器を含む、請求項１５に記載のシステム。
【請求項１７】
前記シーンアノテータは、前記関心のあるオブジェクトを識別するため自己中心基準系を使用することを含む、請求項１５に記載のシステム。
【請求項１８】
前記自己中心基準系は、前記基準オブジェクトの位置及び前記ポインティング機器の測地学的位置に応じて前記関心のあるオブジェクトを識別する、請求項１７に記載のシステム。
【請求項１９】
前記ポインティング機器と前記システムサーバとは、有線及び無線で通信する、請求項１５に記載のシステム。
【請求項２０】
現実世界の関心のあるオブジェクトを識別するために基準オブジェクトを使用して前記関心のあるオブジェクトに関する空間的問い合わせに応答するシステムであって、
システムサーバと、
現実世界シーンの中の基準オブジェクトをポインティングし、問い合わせ話題及び空間前置詞を含み、前記基準オブジェクトの測地学的位置に応じて前記関心のあるオブジェクトに関係する問い合わせ文を生成するポインティング機器、とを備え、
前記ポインティング機器は、ポインティング機器の測地学的位置及びポインティング方向を判定し、前記問い合わせ文と前記ポインティング機器の測地学的位置及びポインティング方向とを前記システムサーバへ通信し、
前記システムサーバは、
前記基準オブジェクト及び前記関心のあるオブジェクトを含む現実世界シーンを格納する環境の３次元表現を受信し処理するマッピングモジュールと、
前記マッピングモジュールに接続し、前記マッピングモジュールからの出力を受信し、前記基準オブジェクト及び前記関心のあるオブジェクトを含む前記現実世界シーンの２次元デジタル表現を生成し、前記２次元デジタル表現に適用された前記ポインティング機器の測地学的位置及びポインティング方向に応じて前記基準オブジェクトを識別するシーンジェネレータと、
前記問い合わせ話題及び前記空間前置詞を前記２次元デジタル表現の中のオブジェクトにリンクさせることにより、前記基準オブジェクトの位置と前記問い合わせ文の前記問い合わせ話題及び前記空間前置詞とに応じて前記２次元デジタル表現の中の前記関心のあるオブジェクトを識別し、前記関心のあるオブジェクトの識別情報を前記ポインティング機器に通信する識別モジュールと、
をさらに備える、システム。
【請求項２１】
前記ポインティング機器は、モバイル機器を含む、請求項２０に記載のシステム。
【請求項２２】
前記識別モジュールは、前記基準オブジェクトの位置に応じて前記関心のあるオブジェクトを識別するため絶対基準系を適用することを含む、請求項２０に記載のシステム。
【請求項２３】
前記識別モジュールは、前記基準オブジェクトの位置に応じて前記関心のあるオブジェクトを識別するため固有基準系を適用することを含む、請求項２０に記載のシステム。
【請求項２４】
前記ポインティング機器と前記システムサーバとは、有線及び無線で通信する、請求項２０に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連する出願への相互参照
本願は、合衆国法典第３５巻第１１９条（ｅ）の下で、２００８年１２月２２日付けで出願された、名称が“Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｅｘｐｌｏｒｉｎｇ  ３Ｄ  Ｓｃｅｎｅｓ  ｂｙ  Ｐｏｉｎｔｉｎｇ  ａｔ  Ｒｅｆｅｒｅｎｃｅ  Ｏｂｊｅｃｔ”であり、参照によって本明細書中に内容全体が組み込まれる米国仮出願第６１／１３９、９００号の優先権を主張する。
【０００２】
本発明は、一般に、コンピュータに基づく情報システムにおいて表現された環境シーンを探索し、データを参照するか、又は、このような環境シーンの内部及びこのような環境シーンを超えて個別のオブジェクトと関連付けられたアクションを開始するコンピュータに基づくシステム及び方法に関する。より具体的には、本発明は、空間シーンを探索し、（ｉ）オブジェクトを直接的にポインティングすることによって、又は、（ｉｉ）基準として視覚的なオブジェクトをポインティングし、関心のある１つ以上のオブジェクトを選択するために、この基準を使用することによって間接的に、環境シーンの内部でオブジェクトを操作するコンピュータに基づく分散システム及び方法に関する。
【背景技術】
【０００３】
コンピュータに基づくシステムデータベースに蓄積された空間オブジェクト又は特徴物に関する情報を取り出すため、ハンドヘルド機器を用いて空間オブジェクト及び特徴物をポインティングすることは、主として、ロケーション・ベース・サービス（ＬＢＳ）、ゲーミング、又は、拡張現実のような領域で人気が高まっている。携帯電話機及び個人情報端末（ＰＤＡ）のような現世代のハンドヘルド機器は、システムユーザの位置及びポインティングの方向を導出するために必要とされるすべてのコンポーネント及びセンサと、コンピュータに基づく情報システムデータベースとの無線通信のためのモジュールとを含む。
【０００４】
この現世代のハンドヘルド機器によって獲得されるセンサ読み取り値は、ある一定のサービス、又は、空間データベースのようなデータベースへ送信できる。空間データベースの場合、このデータは、このようなデータベースを識別し、このようなデータベースからハンドヘルド機器が現在向けられているオブジェクト又は特徴物に関する情報を取り出すため使用されることになる。取り出された情報は、無線接続されたコンピュータに基づくシステムによって処理され、ハンドヘルド機器へ返信され、ハンドヘルド機器で「あちらにあるオブジェクト（又は特徴物）は何か？」のようなシステムユーザの問い合わせに回答するため使用されることになる。
【０００５】
ポインティング・アット・アプローチに基づいて上述のデータベースから取り出された情報を使用して回答されることがある問い合わせの組は、１つの明示的なオブジェクトに関係している特性及び属性に限定されている。より具体的には、取り出された情報は、ハンドヘルド機器がポインティングされている単一のオブジェクトに限定される。この点に言及すると、「あちらのあの建物の左側は何か？」、又は、「あちらのあの建物の背後に病院があるか？」、さらに、「あちらのあのオブジェクトの北に何があるか？」のような問い合わせへの回答は、取り出された情報の中に含まれていないと考えられる。
【０００６】
ポインティングされているただ１つより多いオブジェクト又は特徴物に対処することになるシステムユーザに提示されたシーン（場面）に関係する問い合わせに回答する能力があるシステム及び方法を有していることが非常に望ましいことになる。このような能力を提供するシステム及び方法は、ポインティング機器（ポインティングデバイス）の有用性をさらに高めることになる。さらに、これらの能力を保有したシステム及び方法は、システムユーザと、ロケーション・ベース・サービスに関係するエキスパートシステム（例えば、ＧＩＳ）との間の相互作用を強化することになり、このエキスパートシステムから単一のオブジェクトに関する情報だけが取得されるのではなく、このエキスパートシステムは、例えば、「その建物の左側には建物がある！」を定義し、かつ、特定する能力を保有している他のオブジェクトを識別するために基準オブジェクト又は特徴物も使用する。システム及び方法は、関心のあるオブジェクトを識別するために基準オブジェクト又は特徴物を直接的又は間接的に単にポインティングすることによって、オブジェクト又は特徴物と関連付けられたアクションを開始するか、サービスを始動するために使用できることがさらに望ましいことになる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、従来のポインティングシステムの問題を解決するためシステム及び方法を提供する。
【課題を解決するための手段】
【０００８】
本発明は、コンピュータに基づく空間データベースシステムがシステムユーザに提示された環境シーンの中で関心のあるオブジェクト又は特徴物を識別するために基準オブジェクトを使用する空間的問い合わせ（空間的情報に関するクエリー）に応答又は回答することを可能にさせることによりロケーション・ベース・サービスを強化するシステム及び方法である。本発明は、システムユーザが基準オブジェクト又は特徴物をポインティングし、そして、空間前置詞を使用して基準オブジェクト又は特徴物を関心のあるオブジェクトにリンクさせることによって、システムユーザの視野内のオブジェクト又は特徴物を識別するために問い合わせ（クエリー）を使用することを可能にする方法及びシステムを提供することによりポインティング技術を強化する。
【０００９】
本発明によれば、システムユーザは、オブジェクト又は特徴物を識別する目的のため、システムユーザの視野内のような自分の環境の中のオブジェクト又は特徴物をポインティングする。システムユーザは、その後、最初に識別されたオブジェクト又は特徴物の付近に位置している他のオブジェクトと関連付けられた付加的な情報を要求するか、又は、アクションを開始する基準としてこのオブジェクト又は特徴物を使用できる。これは、システムユーザの視野内のようなシステムユーザ環境の中の各オブジェクト又は特徴物と関連付けられた情報を具体的に要求するか、又は、アクションを開始する従来の方法を実行するのではなく、基準オブジェクト又は特徴物をポインティングすることにより行われることになる。
【００１０】
本発明のシステムは、環境と関連付けられた空間コンフィギュレーション（空間配置）に関してシステムユーザによって認識されるような空間シーンを記述するシーンジェネレータ（場面発生器）を含む。本発明によれば、「空間コンフィギュレーション」は、絶対基準系、すなわち、北、南、東、西と、システムユーザの視点から記述された自己中心基準系と、オブジェクト又は特徴物の構造に基づく固有基準系とを含むことが分かる。このようなメタ・レベル・シーン記述は、シーンのセマンティックス（semantics）を定義し、ポインティング機器がポインティングしている基準オブジェクト又は特徴物を取り囲むオブジェクト又は特徴物との相互作用を可能にする。さらに、本発明によってシステムユーザに提示された視覚的シーンを記述することにより、このシーン記述は、基準オブジェクト又は特徴物の近くに位置しているオブジェクト又は特徴物に関する簡単な問い合わせを開始するためにも使用されることがある。このようなシーン記述は、基準オブジェクト又は特徴物に対する具体的な空間関係をもつ建物を見つけるといった非常に複雑な問い合わせを開始することをさらに可能にする。
【００１１】
本発明によるシーン記述は、間接的な参照を用いて、視覚的オブジェクト又は特徴物とのシステムユーザ相互作用を支援することになり、さらに、他のオブジェクト又は特徴物によって隠蔽されたオブジェクト又は特徴物と相互に作用することになる。このような相互作用の実施例は、リマインダサービスのようなオブジェクト又は特徴物に関係付けられたサービスを開始し、又は、照明のオンとオフとを切り換えるようなアクションを実行する。
【００１２】
好ましくは、本発明は、システムユーザが中心に置かれた空間基準系、すなわち、自己中心基準系を導出することを可能にする。このような自己中心基準系は、システムユーザによって認識された通りの空間シーンのコンフィギュレーションを定性的に記述するため使用されることがある。この型のシーン記述は、システムユーザによって視覚的に見分けられた範囲内及び範囲外のオブジェクト又は特徴物の間の空間関係を提供する。自己中心基準系は、基準オブジェクト又は特徴物を取り囲むオブジェクト又はオブジェクトのクラスタ（集合）に関連付けられた問い合わせへの回答の基本をさらに形成することになる。
【００１３】
本発明の新しい特徴を含むモバイル機器、主として、ハンドヘルド機器は、システムユーザの環境内のオブジェクト及び特徴物の蓄積された表現を格納するシステムサーバ上の仮想システム又はシステムデータベースと無線通信するため適合することがある。本発明を組み込むモバイル機器は、システムユーザと、モバイル機器を使用してシステムユーザによってポインティングされたオブジェクト又は特徴物との間の空間関係を判定するためセンサをさらに含むことがある。システムユーザとオブジェクト又は特徴物との間のこの空間関係、又は、軸は、ユーザがポインティングしているオブジェクト又は特徴物を取り囲むオブジェクト又は特徴物の位置を定量的かつ定性的に記述するため使用されることがある。より具体的には、空間関係は、システムユーザと基準オブジェクト又は特徴物との間に確立された軸に関する位置の観点から、取り囲むオブジェクト又は特徴物の位置を定量的かつ定性的に記述するため使用されることがある。この記述は、絶対基準系のための注釈と、自己中心基準系のための注釈と、そして、オブジェクト又は特徴物が基準オブジェクト又は特徴物に関係するときにオブジェクト又は特徴物の固有基準系に関する注釈とを含む。
【００１４】
本発明によれば、システムユーザによって認識された通りに環境シーンに注釈を付けることは、好ましくは、「あの建物の左側にある建物は何か？」又は「その建物の背後に教会があるか？」のような問い合わせに回答する基礎を確立することになる。これらの注釈は、「あの建物の背後にある建物の照明のスイッチを入れろ」といったこれらの建物と関連付けられたアクション又はサービスを開始する基礎をさらに提供することになる。
【００１５】
本発明は、図面を参照して明細書の残りの部分でより詳細に記述される。
【図面の簡単な説明】
【００１６】
【図１】本発明を実施する典型的なシステムのブロック図である。
【図２】本発明の方法を実施する典型的なワークフローである。
【図３】本発明のシステム及び方法と関連付けられた問い合わせ領域の表現を示す図である。
【図４Ａ】本発明のシステム及び方法による絶対基準系を示す図である。
【図４Ｂ】本発明のシステム及び方法による自己中心基準系を示す図である。
【図４Ｃ】本発明のシステム及び方法による固有基準系を示す図である。
【図５】本発明のシステム及び方法による投影シーン記述のためシステムユーザが使用することがある視覚的シーンの代表的な実施例を示す図である。
【図６】本発明のシステム及び方法により導出された投影された一組の話題関係の実施例を示す図である。
【発明を実施するための形態】
【００１７】
本発明は、コンピュータに基づく空間データベースシステムがシステムユーザを取り囲む環境シーンの中で関心のあるオブジェクト又は特徴物を識別するために基準オブジェクトを使用する空間的問い合わせに応答又は回答することを可能にさせることによりロケーション・ベース・サービスを強化するシステム及び方法である。本発明は、システムユーザが基準オブジェクト又は特徴物をポインティングし、その後、基準オブジェクト又は対象物に関する空間前置詞を使用して関心のあるオブジェクト又は特徴物を関連付けることによりシステムユーザの視野の範囲内でオブジェクト又は特徴物を識別するために問い合わせを使用することを許可されるように、ポインティング技術に適用される。
【００１８】
図１は、一般的に１００で、本発明のシステムの全体的な概要を示す。図１は、本発明のシステムの要素間での一般的な情報データフローをさらに示す。図２は、一般的に２００で、続いてより詳細に記述される本発明によるワークフローを示す。
【００１９】
図１を詳細に検討する前に、本発明のシステムは、システムユーザにこのシステムユーザの位置と、ポインティングの方向と、そして、問い合わせインターフェイスとを提供するシステムクライアントと、システムサーバとの無線通信のためのモジュールとを含むことが分かる。本発明のシステムサーバは、システムユーザの環境の表現を蓄積するシステムデータベース（図示せず）と、システムユーザによって認識された通りのシーンを生成するシーンジェネレータと、シーンを定量的に記述し、システムユーザの問い合わせに回答するための入力を提供するシーン・グラフ・アノテータとをさらに含む。図１は、今度は、詳細に記述される。
【００２０】
図１を参照すると、一般的に１００で、本発明のシステム１０４が現実世界１０２と関連して示される。現実世界１０２は、システムユーザによって眺められることになる視覚的シーンを表現する。システム１０４は、システムクライアント１０６と、システムサーバ１０８と、好ましくは、システムデータベース（図示せず）の形をした、システムユーザによって経験されることになる少なくとも環境シーンに関係する少なくとも情報を蓄積するシステム記憶装置とを含む。１０２で示されるように、システムユーザ１２４は、環境１２２の中に位置することになり、環境１２２の一部である視覚的シーン１２０を見ることになる。視覚的シーン１２０は、システムユーザ１２４によってポインティングされることがある１つ以上の空間オブジェクト１２６を含む。
【００２１】
上述の通り、システム１０４は、システムクライアント１０６と、システムサーバ１０８と、システム記憶装置（図示せず）とを含む。システムユーザ１２４は、問い合わせインターフェイス１３２と、ポジショニング及びポインティングモジュール１３４とを含むシステムクライアント１０６と直接的に相互に作用する。システムユーザ１２４は、主として、問い合わせインターフェイス１３２でシステムクライアント１０６と相互に作用する。システムユーザ１２４がシステムクライアント１０６で空間オブジェクト１２６をポインティングするとき、ポジショニング及びポインティングモジュール１３４は、システムユーザの位置及びポインティングの方向を判定でき、そして、問い合わせ文（問い合わせ命令文）の一部としてさらなる処理のためこの情報を問い合わせインターフェイス１３２に供給する。
【００２２】
より具体的には、システムクライアント１０６に関して、システムクライアントは、（ｉ）問い合わせの定式化と、結果のブラウジング（走査検索）と、情報の受信及び表示とのためシステムユーザによって使用される問い合わせインターフェイス１３２と、（ｉｉ）絶対３次元（３−Ｄ）基準系、例えば、ＧＰＳ用のＷＧＳ８４の範囲内でシステムユーザの現在位置を導出するセンサと、（ｉｉｉ）ヨー及びピッチ、すなわち、測地学用語で方位角及び仰角を表現する２値ベクトルとして方向を導出するセンサとを含み、そのために、（ｉｉ）及び（ｉｉｉ）は、ポジショニング及びポインティングモジュール１３４の一部である。さらに、システムクライアント１０６は、問い合わせインターフェイス１３２から問い合わせ書式を受信し、問い合わせ書式（クエリーフォーム）が処理されるシステムサーバ１０８への提出のためこの問い合わせ書式を準備する通信モジュールを含む。
【００２３】
システムサーバ１０８は、システムユーザ１２４が位置している環境１２２に関してシステムユーザの位置及びポインティング方向を含む問い合わせ文を受信する。システムサーバ１０８は、１３６で、環境１２２の３Ｄ表現を格納し、システムサーバで、関心のあるオブジェクト又は特徴物がシステムクライアント１０６の位置及びポインティング方向に基づいて判定される。上述の通り、システムユーザの地理位置情報は、例えば、システムクライアント１０６と関連付けられたＧＰＳセンサによってシステムサーバ１０８に提供されることがある。環境シーンを判定するその他の方法が使用されることがあり、依然として本発明の範囲内にある。
【００２４】
上述の通り、環境の３Ｄ表現１３６及び問い合わせプロセッサ１３８は、シーンジェネレータ１４０と通信し、システムユーザがポインティングしているオブジェクトを判定し、３Ｄシーングラフを作成する。環境の３Ｄ表現１３６は、シーン情報をシーンジェネレータ１４０へ通信し、問い合わせプロセッサ１３８は、位置情報及びポインティング方向を含むシステムユーザによって生成された問い合わせ情報をシーンジェネレータ１４０へ通信する。シーンジェネレータ１４０は、システムユーザの視野の中のシーンに対応するシーングラフを作成する。シーンジェネレータ１４５０は、視覚的オブジェクトを越えてオブジェクト又は特徴物に関する情報をシーングラフにさらに付加する。シーン・グラフ・アノテータ１４４は、システムユーザによって認識されたシーンの空間コンフィギュレーションに関する定性的属性を付加する。主題リンカ（主幹リンカ）１４２は、オブジェクト又は特徴物に関する一般的情報をシーングラフにリンクさせる。このような一般的情報の実施例は、限定されることなく、建物に関する公に入手可能な税金情報、記念碑の履歴などを含む。
【００２５】
システムサーバ１０８を参照すると、システムユーザ１２４は、問い合わせインターフェイス１３２を使用して問い合わせ文を定義し、システムクライアント１０６の通信モジュール（図示せず）は、この文を問い合わせプロセッサ１３８へ送信する。問い合わせプロセッサ１３８は、システムユーザ１２４によって認識された通りの環境の３Ｄ表現１３６から視覚的シーンを生成するためシーンジェネレータ１４０を使用する。このシーンは、システムユーザの視覚的シーン１２０の中で関心のある空間オブジェクト又は特徴物を識別するため使用される。シーンジェネレータ１４０は、システムユーザ１２４には隠されたオブジェクトを用いてこのシーンをさらに強化する。問い合わせプロセッサ１３８は、受信された問い合わせを処理し、シーンジェネレータ１４０及び主題リンカ１４２を利用する。具体的には、問い合わせプロセッサ１３８は、システムユーザ位置及びポインティング方向をシーンジェネレータ１４０へ送信し、システムユーザの環境（可視的又は不可視的を問わず）の中のオブジェクト又は特徴物に関する具体的な情報を主題リンカ１４２に要求する。
【００２６】
シーンジェネレータ１４０は、視覚的シーンと、システムユーザがポインティングしたオブジェクト又は特徴物の識別情報をシーン・グラフ・アノテータ１４４に提供する。シーン・グラフ・アノテータ１４４は、シーンの絶対セットアップ、自己中心セットアップ、及び、固有セットアップに関する情報を付加することにより上記アクションを実行する。シーン・グラフ・アノテータ１４４は、十分に記述されたシーンを主題リンカ１４２へ送信する。主題リンカ１４２は、問い合わせプロセッサ１３８及びシーン・グラフ・アノテータ１４４からの入力に基づいてシーン記述を強化し、システムユーザ１２４によって定義された問い合わせに対する回答を問い合わせインターフェイス１３２へ返信する。
【００２７】
システムサーバ１０８に示された要素のそれぞれは、別個のモジュールでもよく、又は、１つ以上のモジュールに一体化されてもよく、依然として本発明の範囲内にあることが分かる。クライアントサーバ１１６の要素は、別個のモジュールでもよく、又は、１つ以上のモジュールに一体化されてもよく、依然として本発明の範囲内にあることがさらに分かる。
【００２８】
図２を参照すると、一般的に２００で、本発明によるワークフローが記述される。概略的に、本発明によるワークフローは、（ｉ）システムクライアントの位置と、ポインティング方向の方位角及び仰角とを獲得し、獲得された情報をシステムサーバへ提出するステップと、（ｉｉ）システムサーバ上の３Ｄ表現からシステムユーザに提示された視覚的シーンの２次元（２−Ｄ）シーン表現を生成し、基準オブジェクトを識別するステップと、（ｉｉｉ）システムユーザの位置及び基準オブジェクトを使用してシーングラフを生成するステップと、（ｉｖ）地形的関係と、絶対基準と、自己中心基準と、固有基準との定性的な注釈を用いてシーングラフを強化するステップと、（ｖ）システムユーザによる空間オブジェクトの探索及び空間オブジェクトとの相互作用のためシーングラフをシステムクライアントに返信するステップとを含むことになる。
【００２９】
再び図２を参照すると、２０２で、入力問い合わせ文がシステムクライアント１０６の問い合わせインターフェイス１３２を使用してシステムユーザ１２４によって生成される。問い合わせインターフェイス１３２は、問い合わせ文の条件を定義する手段をシステムユーザに提供する。問い合わせ文は、シーンジェネレータ１４０において基準オブジェクト又は特徴物が判定される根拠であるシステムユーザの位置及びポインティング方向と、基準オブジェクトと関心のある１つ又は複数のオブジェクトとの間の空間関係を定義する用語と、関心のある話題又は実行されるべきアクションを指示する表現との組み合わせとして記載される。表現と称される後者に関して、このような関心のある話題の実施例は、システムユーザが関心を抱くことがある歴史的な建物、又は、関心のあるオブジェクト又は特徴物と関連付けられたブックマークサービスを始動させるアクションである。
【００３０】
問い合わせ文の要素に関する前段落の記述に注意すると、システムユーザが自分の視野内にある建物の背後に病院があるかどうかを知りたい場合、文の実施例は、以下の通りになる。
【００３１】
「あちらの建物の背後に病院があるか？」
【００３２】
ここに記載された問い合わせ文の実施例によれば、「病院」は、関心のあるオブジェクト又は特徴物及びその概念を表現し、「背後に」は、関心のあるオブジェクトと基準オブジェクトとの間の空間関係である。「あちらの建物」は、システムユーザと基準オブジェクトとの間に軸を確立する基準オブジェクトであって、基準オブジェクトをポインティングすることによって、すなわち、位置及びポインティング方向として問い合わせ文に追加される。問い合わせ文の残りの部分、すなわち、システムユーザの位置は、例えば、システムクライアントと関連付けられたＧＰＳセンサを使用して、システムクライアントの位置に基づいて判定されることになる。問い合わせ文の好ましい形式は、少なくとも３つのコンポーネント（部分）、すなわち、問い合わせ話題（ｑｕｅｒｙＴｏｐｉｃ）、空間前置詞（ｓｐａｔｉａｌＰｒｅｐｏｓｉｔｉｏｎ）、及び、位置（ヒア（こちら）、ゼア（あちら）、シーン）である。可能な問い合わせ文の実施例は、ＢＮＦ（「バッカスナウア記法」）で以下に示される。
＜ｑｕｅｒｙＳｔａｔｅｍｅｎｔ＞：：＝
＜ｑｕｅｒｙＴｏｐｉｃ＞
＜ｓｐａｔｉａｌＰｒｅｐｏｓｉｔｉｏｎ＞
｛＜ＨＥＲＥ＿Ｌｏｃａｔｉｏｎ＞｜＜ＴＨＥＲＥ＿Ｌｏｃａｔｉｏｎ＞｜＜ＳＣＥＮＥ＞｝
＜ｑｕｅｒｙＴｏｐｉｃ＞：：＝
“Ｗｈａｔ  ｉｓ”｜“  Ａｒｅ  ｔｈｅｒｅ  ａｎｙ”＜ｃｏｎｃｅｐｔ＞｜“Ｉｓ”＜ｉｎｓｔａｎｃｅ＞
＜Ｃｏｎｃｅｐｔ＞：：＝  オブジェクトの型                    注記：これはユーザによって入力される
＜ｉｎｓｔａｎｃｅ＞：：＝  オブジェクトの名前        注記：これはユーザによって入力される
＜ｓｐａｔｉａｌＰｒｅｐｏｓｉｔｉｏｎ＞：：＝
＜ａｂｓｏｌｕｔｅ＞｜＜ｅｇｏｃｅｎｔｒｉｃ＞｜＜ｉｎｔｒｉｎｓｉｃ＞
＜ａｂｓｏｌｕｔｅ＞：：＝
“Ｎｏｒｔｈ”｜“Ｅａｓｔ”｜“Ｓｏｕｔｈ”｜“Ｗｅｓｔ”｜“ＮＥ”｜“ＳＥ”｜“ＳＷ”｜“ＮＷ”
＜ｅｇｏｃｅｎｔｒｉｃ＞：：＝
｛＜ｅｇｏＬａｔＰｒｅｐ＞｜＜ｅｇｏＬｏｎｇＰｒｅｐ＞｜＜ｅｇｏＶｅｒｔＰｒｅｐ＞｝“ｏｆ”
＜ｅｇｏＬａｔＰｒｅｐ＞：：＝
“ｌｅｆｔ”｜“ｒｉｇｈｔ”
＜ｅｇｏＬｏｎｇＰｒｅｐ＞：：＝
“ｉｎ  ｆｒｏｎｔ”｜“ｂｅｈｉｎｄ”
＜ｅｇｏＶｅｒｔＰｒｅｐ＞：＝＝
“ａｂｏｖｅ”｜“ｂｅｌｏｗ”
＜ｉｎｔｒｉｎｓｉｃ＞：：＝
“ｉｎ”｜
“ｌｅｆｔ”｜“ｒｉｇｈｔ”｜
“ｂｅｈｉｎｄ”｜“ｉｎ  ｆｒｏｎｔ”｜
“ｏｎ  ｔｏｐ”｜“ｕｎｄｅｒｎｅａｔｈ”
＜ＨＥＲＥ＿Ｌｏｃａｔｉｏｎ＞：＝＝
ユーザ位置、ピッチ、ヨー、半径
＜ＴＨＥＲＥ＿Ｌｏｃａｔｉｏｎ＞：＝＝
ユーザ位置、ピッチ、ヨー、半径      注記：基準オブジェクトを識別するため使用される
＜ＳＣＥＮＥ＞：＝＝
ユーザ位置、ピッチ、ヨー、視角［、最大距離］
【００３３】
上述の通り、典型的な問い合わせ文は、３つのコンポーネント：問い合わせ話題、空間前置詞、及び、位置（ヒア、ゼア、シーン）を含む。問い合わせ話題（クエリーの内容）は、「何か（Ｗｈａｔ  ｉｓ）」のような先頭句と、関心のあるオブジェクトの型及び名前とで構成される。空間前置詞は、絶対基準系、自己中心基準系、及び、固有基準系を含むことになる。ヒア／ゼア／シーンは、システムユーザの位置（ヒア位置）と、基準オブジェクトの位置（ゼア位置）と、システムユーザの視錐台、すなわち、シーンとを含むことになる。「ヒア位置」及び「ゼア位置」は、ピッチ、ヨー、及び、半径で定義され、シーンは、ピッチ、ヨー、及び、視角で定義されることになる。問い合わせ文のコンフィギュレーションに依存して、１つ又は複数の空間オブジェクトが参照されることがある。さらに視錐台は、隠蔽されたオブジェクトを除くため必要とされないが、むしろ、隠蔽されたオブジェクトに注釈を付け、したがって、識別の目的のため指定された領域の範囲内のすべてのオブジェクトを含むことになる。
【００３４】
上述の問い合わせ文は、一実施例であって、限定ではないことが分かる。その他の形式の問い合わせ文が考えられ、本発明の範囲内にある。さらに、問い合わせ文のコンポーネントに関して設けられた定義が同様に一実施例として設けられ、その他の定義が使用されてもよく、依然として本発明の範囲内にある。
【００３５】
図３を参照すると、一般的に３００で、コンポーネント「ヒア」／「ゼア」／「シーン」と関連付けられた領域がより詳細に記述される。図３を参照すると、３つの問い合わせ領域は、ヒア位置３０２、ゼア位置３０４、及び、視錐台３１３である。ヒア位置３０２は、従来型のロケーション・ベース・サービス（ＬＢＳ）の問い合わせ領域に対応する。しかし、ヒア位置の範囲内で実行された問い合わせは、方向センサによって提供される方向情報を含む。したがって、問い合わせは、「私の左側に何がある？」又は「私の右側に何がある？」又は「私の前方に病院があるか？」のような自己中心型問い合わせを支援する。これらの問い合わせは、従来型のＬＢＳによって考慮されていない。
【００３６】
好ましくは、システムユーザ３０６は、ヒア位置３０２の中心に位置している。半径ｒＨｅｒｅ３０８は、ヒア位置のサイズを定義することになる。しかし、その他の形状が「ヒア位置」を定義してもよく、依然として本発明の範囲内にあることが分かる。
【００３７】
図３では、システムユーザ３０６は、システムクライアント１０６でゼア位置３０４に位置している基準オブジェクト３１２を方向３１８にポインティングしている。したがって、ゼア位置３０４は、システムユーザ３０６の現在のヒア位置及びポインティング方向３１８から導出される。よって、ゼア位置３０４に位置している基準オブジェクト３１２は、ヒア位置の位置及びポインティング方向３１８から基準オブジェクトの位置を導出することになる。基準オブジェクトの位置は、続いて検討される自己中心基準系を確立するため使用されることになる。
【００３８】
好ましくは、ゼア位置３０４は、中心に基準オブジェクト３１２を含み、ゼア位置のサイズは、半径ｒＴｈｅｒｅ３１０によって定義されることになる。しかし、ゼア位置３０４のその他の形状及びサイズと位置とが定義可能であり、依然として本発明の範囲内にある。
【００３９】
自己中心基準系は、システムユーザ３０６と基準オブジェクト３１２との間の関係によって定義される。この関係の理解は、本発明によって、基準オブジェクトの左側又は右側、前方又は背後、上方又は下方にあるままでシステムユーザの視野内のオブジェクトに対処することを可能にする。ゼア位置を含む問い合わせは、このエリアによって定義された領域内に位置しているオブジェクトを返すことになる。
【００４０】
シーンは、視錐台３１３によって定義される。視錐台３１３は、光線３１４及び３１６と、半径ｒＳｃｅｎｅ３２０によって決定された曲線セグメント（曲線部分）３２２とによって境界を定められる。オブジェクト識別の目的のため、視錐台３１３は、光線３１４及び３１６によって画定され、そして、場合によっては、曲線セグメント３２２によって境界を定められた視角の範囲内にあるすべてのオブジェクトを含むことになる。好ましくは、視錐台３１３は、視角の範囲内の隠蔽された又は曖昧なオブジェクトを含むシステムユーザの認識した視野を表現することが分かる。視錐台は、ゼア位置のラジアル距離（半径方向の距離）を導出するためさらに使用できる。例えば、問い合わせ文のゼア位置は、関心のあるオブジェクト又は特徴物３１２の中心から視錐台の境界まで広がる。
【００４１】
図２では、空間前置詞が２０２でシステムユーザによって生成された問い合わせ文の一部として設けられることが示される。システムユーザが生成する空間前置詞は、絶対基準系（図４Ａ）、自己中心基準系（図４Ｂ）、及び、固有基準系（図４Ｃ）に基づいている。これらの基準系は、問い合わせ話題と問い合わせ位置との間の空間関係を定義することになる。例えば、前述された典型的な問い合わせ文では、「病院」は、問い合わせ話題であり、システムユーザによって直接的にポインティングされた建物の位置は、結果が導出される基準オブジェクトであり、基準オブジェクトの背後からシーンの境界までのエリアは、問い合わせ位置になる。
【００４２】
上述の通り、問い合わせ文は、空間前置詞を用いて問い合わせの話題を問い合わせ位置にリンクさせる。限定ではなく、本発明を理解する目的のため、問い合わせ文が「建物の北に病院があるか？」とする。この文では、問い合わせ話題、すなわち、病院の検索は、基準オブジェクト、すなわち、ポインティングされている建物との空間関係で明確である。この場合、問い合わせ位置は、「建物の北」になる。空間前置詞の型は、システムユーザがオブジェクトに対処する基準系に依存することになる。これらの基準系は、限定されることなく、絶対基準系、自己中心基準系、及び、固有基準系を含む。３つの基準系だけが記述されているが、３つより増減する基準系が使用されてもよく、依然として本発明の範囲内にあることが分かる。
【００４３】
図４Ａを参照すると、一般的に４００で、本発明による絶対基準系が記述される。絶対基準系４００は、方位図４０１によって表現された大域的環境の観点で問い合わせ文に応じてシステムユーザ３０６と、基準オブジェクト３１２と、関心のあるオブジェクトとの間の空間関係を記述する。空間関係は、ポインティング方向３１０にさらに依存することになる。例えば、北、南、東及び西は、問い合わせ文を定義する絶対空間基準である。
【００４４】
図４Ａでは、絶対基準系が関心のあるオブジェクトの位置を定義するため使用される場合に使用されることがある８個の基準エリアが存在する。関心のあるオブジェクトは、北エリア４０２、北東エリア４０４、北西エリア４０６、東エリア４０８、西エリア４１０、南エリア４１２、南東エリア４１４、又は、南西エリア４１６に位置していることがある。しかし、関心のあるオブジェクトの位置を定義する８個より増減するエリアが存在してもよく、依然として本発明の範囲内にあることが分かる。
【００４５】
絶対基準系の使用は、システムが位置している空間の型に依存することになる。一実施例として、地理空間は、仮想環境又は屋内環境のための絶対基準系を記述するのには役に立たないことがある屋外エリアのための主要方向によって記述されることがある。
【００４６】
図４Ｂを参照すると、一般的に４４０で、本発明による自己中心基準系が記述される。自己中心基準系４４０は、システムユーザの視点から、又は、システムユーザが別の人の位置につく状況では、別の人の視点から空間関係を記述する。例えば、自己中心基準系を使用して、問い合わせ文は、「記念碑が建物の前方にある」となることがある。この問い合わせ文は、記念碑がシステムユーザ３０６と建物３１２との間で建物の前方にあることを意味することになる。この空間関係は、ポインティング方向３１８にも依存することになる。
【００４７】
図４Ｂでは、自己中心基準系が関心のあるオブジェクトの位置を定義するため使用される場合に使用されることがある８個の基準エリアが存在する。これらのエリアは、システムユーザ３０６から出てくる光線４４２及び４４４によって部分的に定義される。関心のあるオブジェクトは、前方エリア４４６、左前方エリア４４８、右前方エリア４５０、左傍エリア４５２、右傍エリア４５４、背後エリア４５６、左背後エリア４５８、又は、右背後エリア４６０に位置していることがある。しかし、関心のあるオブジェクトの位置を定義する８個より増減するエリアが存在してもよく、依然として本発明の範囲内にあることが分かる。
【００４８】
図４Ｃを参照すると、一般的に４７０で、本発明による固有基準系が記述される。固有基準系４７０は、シーンの中のオブジェクトの構造特性の観点から空間関係を記述する。例えば、固有基準系を使用して、問い合わせ文は、「建物の前方にある記念碑」となることがある。固有表現でのこの問い合わせ文は、システムユーザ３０６と相対的な記念碑の位置とは無関係に記念碑が建物３１２の直ぐ前方に位置していることを意味することになる。この空間関係は、ポインティング方向３１８にも依存することになる。
【００４９】
図４Ｃでは、固有基準系が関心のあるオブジェクトの位置を定義するため適用される場合に使用されることがある８個の基準エリアが存在する。関心のあるオブジェクトは、前方エリア４７２、左前方エリア４７４、右前方エリア４７６、左エリア４７８、右エリア４８０、背後エリア４８２、左背後エリア４８４、又は、左背後エリア４８６に位置していることがある。しかし、関心のあるオブジェクトの位置を定義する８個より増減するエリアが存在してもよく、依然として本発明の範囲内にあることが分かる。
【００５０】
空間前置詞の語法は、図４Ａ、４Ｂ及び４Ｃに表現された語法以外でもよく、依然として本発明の範囲内にあることが分かる。
【００５１】
図２を参照すると、一旦問い合わせ文が生成され、システムクライアント１０６から問い合わせプロセッサ１３８へ送信されると、参照オブジェクトの識別情報は、システムサーバ１０８の中の環境１３６の３Ｄ表現に適用されるとき、送信された情報に基づいて２０４で決定される。基準オブジェクトの識別の後に続いて、本発明は、ステップ２０６へ進み、参照オブジェクトを使用してシーングラフを生成する。
【００５２】
図１を参照すると、問い合わせプロセッサ１３８は、問い合わせ文をシーンジェネレータ１４０への送信のための位置情報と、主題リンカ１４２への送信用の内容フィルタリング情報とに解析することになる。シーンジェネレータ１４０への解析された入力は、結果として、システムユーザを取り囲むシーンの記述と、基準オブジェクト又は特徴物に関する情報とがシーンジェネレータ１４０からシーン・グラフ・アノテータ１４４へ送信されることになる。シーンジェネレータ１４０によって生成されたシーングラフは、システムユーザの位置及びポインティング方向情報から導出される。好ましくは、生成されたシーンは、空間推論のためシステムユーザ１２４によって使用される透視シーンの拡張計算表現である。生成されたシーンは、限定されることなく、相対空間コンフィギュレーションと共に、システムユーザの視錐台３１３（図３）の中の（可視的な及び隠蔽された）すべてのオブジェクトを含むことになる。相対空間コンフィギュレーションは、好ましくは、単一のオブジェクト間の絶対空間前置詞と個別のオブジェクトのための固有空間前置詞とを反映する２値空間関係として表現されることになる。例えば、２つのオブジェクト間の絶対２値空間関係は、「オブジェクトＡはオブジェクトＢの北にある」又は「オブジェクトＡはオブジェクトＢの隣にある」のように表現されることがある。
【００５３】
図２の２０６で生成されたシーングラフは、シーン・グラフ・アノテータ１４４への入力である。図２の２０８で、シーン・グラフ・アノテータ１４４は、自己中心空間前置詞をシーングラフに追加する。自己中心空間前置詞は、基準オブジェクトと相対的にシステムユーザの位置に関して関心のあるオブジェクトの位置を記述することになる。絶対空間前置詞及び固有空間前置詞は、先験的に計算されてもよく、シーン・グラフ・アノテータで導出されなくてもよいことがさらに分かる。好ましくは、シーン・グラフ・アノテータ１４４で注釈を付けられたシーングラフの中に存在する空間前置詞は、問い合わせインターフェイス１３２で利用できる空間前置詞の組に対応することになる。
【００５４】
シーン・グラフ・アノテータ１４４は、シーングラフを強化することになることが分かる。２１２での絶対情報と、２１４での自己中心情報と、２１６での固有情報とを用いてシーングラフを強化することがまさに記述されたが、シーングラフは、２１０での地形情報によって強化されてもよく、依然として本発明の範囲内にあることが分かる。
【００５５】
一旦シーングラフがシーン・グラフ・アノテータ１４４で完全に注釈を付けられると、注釈付きのシーングラフがシステムユーザの問い合わせに回答するため使用されることがある。システムユーザの問い合わせが、基準オブジェクト又は特徴物の背後にあるレストランについての問い合わせのような主題問い合わせである場合、シーン・グラフ・アノテータ１４４は、レストランに関するフィルタリング要求を主題リンカ１４２へ送信することになる。
【００５６】
図２の２１８で、主題リンカ１４２は、関心のあるオブジェクト又はオブジェクトの組、例えば、ポインティングされている建物の背後にある建物、又は、ポインティングされているオブジェクトの背後にある病院を識別し、問い合わせ話題に関係する主題データをこのオブジェクト又はその組にリンクさせるか、又は、除去する。リンクさせられた主題データの一実施例は、レストランにリンクさせられたメニュー、又は、歴史的記念碑にリンクさせられた歴史的記念碑に関するビデオでもよい。ステップ２１８によるリンクが行われた後、注釈を付けられたシーングラフは、主題内容と共に、システムクライアント１０６へ返送され、システムクライアントで、このシーングラフが問い合わせインターフェイス１３２を使用してシステムユーザ１２４に提示される。
【００５７】
上述の通り、シーン・グラフ・アノテータ１４４は、シーンジェネレータ１４０によって作成されたシーングラフに空間前置詞を追加する。これらの注釈は、システムユーザの位置とポインティングされている基準オブジェクトの位置とによって定義された軸に関してオブジェクトの位置に関する定性的な文である。定性的な文は、メトリック文ではなく、自然言語文の観点でコンフィギュレーションを記述し、その結果、システムユーザによってより簡単に理解できる。コンフィギュレーションを記述する定性的な文の実施例は、「建物Ａが建物Ｂの左にある」の場合のような空間前置詞「左」である。
【００５８】
図５は、一般的に５００で、投影シーン記述５０２を記述する。図５によれば、定性的な文の組は、（ｉ）側方及び垂直前置詞の組と、（ｉｉ）認識されたシーンの奥行きを反映する前置詞の組とで構成される。図５の５０３に示されるように、５０４での垂直、５０５での奥行き、及び、５０７での側方を含む３次元座標系が示される。シーンの側方記述、垂直記述及び奥行き記述の文は、参照によって本明細書中に組み込まれる、題名が“Ｈｉｅｒａｒｃｈｉｃａｌ  Ｒｅａｓｏｎｉｎｇ  ａｂｏｕｔ  Ｄｉｒｅｃｔｉｏｎ  Ｒｅｌａｔｉｏｎｓ”であるＰａｐａｄｉａｓ及びＥｇｅｎｈｏｆｅｒ（１９９２）による研究から部分的に導出される。この参考文献は、投影平面内の２つのオブジェクトの間に１６９個の区別可能な関係を生じる空間オブジェクトの間の投影位相的な関係の集合論アプローチを対象にする。これは、図６で詳細に記述される。
【００５９】
再び図５を参照すると、一般的に５００で、視覚的シーン５０８及び現実世界４１８の関係が記述される。基準オブジェクト５１０のようなオブジェクト又は特徴物を識別するため、システムユーザ５０６は、ポインティング方向５１６を使用して基準オブジェクト５１０にあるシステムクライアント１０６（図１）をポインティングすることになる。投影シーン記述５０２は、３次元座標系５０３に基づく。３次元座標系５０３に基づいて、システムユーザ５０６は、空間的に分離された建物５１０及び貯蔵庫５１２を定義する現実世界ビュー５１８の３Ｄ表現から視覚的シーン５０８の２Ｄ記述を得る。このシーンでは、建物５１０は、基準オブジェクトであり、貯蔵庫５１２は、基準オブジェクト５１０からの貯蔵庫の位置に基づいて定義することができる。
【００６０】
図６は、一般的に６００で、Ｐａｐａｄｉａｓ及びＥｇｅｎｈｏｆｅｒ（１９９２）に記述された事項を部分的に使用する本発明によって導出された一組の投影された話題関係の実施例を提供する。具体的に、本発明は、シーングラフから関係の組を導出し、「右」、「左上」又は「背後」のような個別のコンフィギュレーションを定性的な文に地図化（マッピング）する。図６によれば、６０２で、関心のあるオブジェクト６０６は、基準オブジェクト６０４の左側にあり、６０８で、関心のあるオブジェクト６０６は、基準オブジェクト６０４の右側にあり、６１０で、関心のあるオブジェクト６０６は、基準オブジェクト６０４の上方にあるということになる。「左背後」のようなコンフィギュレーションは、関係の組の中に反映されないので、奥行き文は、Ｐａｒａｄｉａｓ及びＥｇｅｎｈｏｆｅｒによって使用された位相的なアプローチでは導出できない。本発明は、視覚的シーンの中にある基準オブジェクトと重なり合わない関心のある複数のオブジェクト又はオブジェクトのための付加的な奥行き文を導出するために、システムユーザと基準オブジェクトとの間の距離を定義することになる少なくとも３つの付加的な奥行き文を追加する。
【００６１】
本発明のシステムの要素は、有線又は無線接続によって電子的に接続されることがあり、依然として本発明の範囲内にあることが分かる。
【００６２】
本発明のシステム及び方法の実施形態又は実施形態の一部分は、コンピュータハードウェア、ファームウェア、及び／又は、プロセッサとプロセッサによって読み取り可能な（揮発性メモリ及び不揮発性メモリ、及び／又は、記憶素子を含む）記憶媒体とをそれぞれに含むプログラマブルコンピュータ又はサーバ上で動くコンピュータプログラムで実施されることがある。コンピュータプログラムはどれでも、コンピュータに基づくシステムの内部又は外部で通信するため、高水準の手続型又はオブジェクト指向型プログラミング言語で実施されることがある。
【００６３】
コンピュータプログラムはどれでも、記憶媒体（例えば、ＣＤ−ＲＯＭ、ハードディスク、又は、磁気ディスケット）、又は、機器（例えば、コンピュータ周辺機器）のような製造品に記憶されることがあり、これらの記憶媒体又は機器は、実施形態の機能を実行するためコンピュータによって読まれるとき、コンピュータを構成し動作させるため汎用又は専用プログラマブルコンピュータによって読み取り可能である。実施形態又は実施形態の一部分は、コンピュータプログラムを用いて構成された機械読み取り可能な記憶媒体としてさらに実施されることがあり、実行中にコンピュータプログラム中の命令は、上述の実施形態の機能を実行するように機械を動作させる。
【００６４】
上述の本発明のシステム及び方法の実施形態又は実施形態の一部分は、多種多様のアプリケーションで使用されることがある。実施形態又は実施形態の一部分は、この点で限定されることはないが、実施形態又は実施形態の一部分は、数ある電子コンポーネントの中でも、マイクロコントローラ、汎用マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、縮小命令セットコンピューティング（ＲＩＳＣ）、及び、複雑命令セットコンピューティング（ＣＩＳＣ）においてメモリ機器と共に実施されることがある。さらに、上述の実施形態又は実施形態の一部分は、マイクロプロセッサによって実行されるべき電子命令を記憶するか、又は、算術演算で使用されることがあるデータを記憶するメインメモリ、キャッシュメモリ、又は、その他の型のメモリと称される集積回路ブロックを使用して実施されることもある。
【００６５】
説明は、いずれのコンピューティング環境又は処理環境においても適用できる。実施形態又は実施形態の一部分は、ハードウェア、ソフトウェア、又は、両者の組み合わせで実施されることがある。例えば、実施形態又は実施形態の一部分は、プログラマブルロジック（例えば、ＡＳＩＣ）、ロジックゲート、プロセッサ、及び、メモリのうちの１つ以上のような回路構成を使用して実施されることがある。
【００６６】
開示された実施形態への種々の変形が当業者に明白であり、後述される一般的な原理がその他の実施形態及びアプリケーションに適用される。このように、本発明は、本明細書中に示され、又は、記述された実施形態に限定されないことが意図されている。
【図１】
0005539388.tif 000002
【図２】
0005539388.tif 000003
【図３】
0005539388.tif 000004
【図４Ａ】
0005539388.tif 000005
【図４Ｂ】
0005539388.tif 000006
【図４Ｃ】
0005539388.tif 000007
【図５】
0005539388.tif 000008
【図６】
0005539388.tif 000009