(57)【特許請求の範囲】
【請求項１】
ローカルデバイスのローカルセンサから、位置に関するデータを収集するステップと、
前記ローカルデバイスにおいて、リモートの画像ストアからアーカイブ画像を受信するステップと、
前記収集したデータを使用して前記アーカイブ画像を増補するステップと、
前記増補されたアーカイブ画像を前記ローカルデバイス上で表示するステップと
を含み、
データを収集するステップは、前記位置の近くの人々の画像をキャプチャすることを含み、増補するステップは、前記近くの人々の態様を表すアバターを生成して、生成したアバターを前記アーカイブ画像に追加することを含む、方法。
【請求項２】
データを収集するステップは、位置と例えば日付及び時刻である現在の時間とを決定することを含み、
増補するステップは、例えば画像が現在の日付及び時刻に対応するように見えるように、前記画像の光及び季節的な効果を修正することによって、前記現在の時間に対応するように画像を修正することを含む、
請求項１に記載の方法。
【請求項３】
アバターを生成することは、前記近くの人々の中から１人を識別することと、該識別された１人から受信したアバター情報に基づいてアバターを生成することとを含む、
請求項１に記載の方法。
【請求項４】
アバターを生成することは、近くの人の顔の表情を表すことを含む、請求項１又は３に記載の方法。
【請求項５】
データを収集するステップは、現在の気象条件データを収集することを含み、
増補するステップは、現在の気象条件に対応するように前記アーカイブ画像を収集することを含む、
請求項１乃至４のいずれかに記載の方法。
【請求項６】
仮想オブジェクトを生成するステップを更に含み、
増補するステップは、前記生成された仮想オブジェクトを前記アーカイブ画像に追加することを含む、
請求項１乃至５のいずれかに記載の方法。
【請求項７】
仮想オブジェクトのデータをリモートのユーザから受信するステップを更に含み、
生成するステップは、前記受信した仮想オブジェクトのデータを使用して前記仮想オブジェクトを生成することを含む、
請求項６に記載の方法。
【請求項８】
前記仮想オブジェクトは、前記リモートのユーザから前記ローカルデバイスに送信されたメッセージに対応する、請求項７に記載の方法。
【請求項９】
前記ローカルデバイスにおいてユーザ入力を受信するステップと、
前記増補されたアーカイブ画像に対する対話を前記ローカルデバイス上に表示するステップと
を更に含む、請求項７又は８に記載の方法。
【請求項１０】
請求項１乃至９のいずれかに記載の方法を実行するための手段を備える装置。
【請求項１１】
ローカルデバイスの位置に関するデータを収集する、ローカルセンサと、
前記ローカルデバイスにおいてリモートの画像センサからのアーカイブ画像を受信する、通信インタフェースと、
前記収集したデータを使用して前記アーカイブ画像を増補する、結合モジュールと、
前記増補されたアーカイブ画像を前記ローカルデバイス上に表示する、スクリーンレンダリングモジュールと、
人々のアバターを構築し、前記アーカイブ画像を増補するよう前記結合モジュールに前記アバターを提供する、描写モジュールと
を備え、前記アバターは、前記ローカルセンサによって収集される、前記ローカルセンサによって観察される人々に関するデータを使用して生成される、装置。
【請求項１２】
前記結合モジュールは更に、環境条件を構築して前記アーカイブ画像を増補する、請求項１１に記載の装置。
【請求項１３】
ユーザが、ディスプレイ上に提示される仮想オブジェクトと対話できるようにする、ユーザ入力システムを更に備え、
前記スクリーンレンダリングモジュールは、前記増補されたアーカイブ画像に対する対話を前記ローカルデバイス上に表示する、
請求項１１又は１２に記載の装置。
【請求項１４】
ローカルデバイスの位置に関するデータを収集する、カメラと、
前記ローカルデバイスにおいてリモート画像センサからのアーカイブ画像を受信する、ネットワーク無線機と、
前記収集したデータを使用して前記アーカイブ画像を増補する結合モジュールと、前記ローカルデバイスにおいて前記増補されたアーカイブ画像の表示を生成するスクリーンレンダリングモジュールとを有する、プロセッサと、
前記増補されたアーカイブ画像をユーザに表示する、ディスプレイと
を備え、前記カメラは、前記位置の近くの人々の画像をキャプチャし、前記結合モジュールは、前記近くの人々の態様を表すアバターを使用して、前記アーカイブ画像に増補する、装置。
【請求項１５】
位置及び現在の時間を決定する、測位無線信号の受信機を更に備え、
前記結合モジュールは、画像の光及び季節的な効果を含め、前記現在の時間に対応するように前記画像を修正する、
請求項１４に記載の装置。
【請求項１６】
前記ディスプレイ上に表示される仮想オブジェクトに関してユーザコマンドを受信する、前記ディスプレイに関連付けられたタッチインタフェースを更に備え、
前記プロセッサは、前記ユーザコマンドに応答して前記ディスプレイに関連付けられた前記仮想オブジェクトの挙動を決定する仮想オブジェクト挙動モジュールを更に備える、
請求項１４又は１５に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記憶済みコンテンツのローカルセンサ増補及びＡＲ通信に関する。
【背景技術】
【０００２】
モバイル拡張現実（ＭＡＲ：Mobile  Augmented  Reality）は、ゲームを現存する地図に適用するのに用いることができる技術である。ＭＡＲでは、地図又は衛星画像をプレイフィールドとして使用することができ、他のプレイヤ、障害物、ターゲット及び敵が地図に追加される。ナビゲーションデバイス及びアプリケーションは、記号又はアイコンを使用して地図上のユーザの位置も示す。地図上の特定の位置に隠されたもの又はクルーを示す、ジオキャスト及び宝探しゲームも開発されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
これらの技術は全て、リモートの地図サービス、位置サービス又は画像サービスから取り出される地図を使用する。一部の場合において、地図は、写真撮影されたか又は図表化された実在の場所を示すが、別の場合において、地図は、フィクションの場所のマップである可能性がある。記憶済みの地図は、現在のものではなく、現在の条件を反映していない可能性がある。これにより、拡張現実の提示が、特に地図に示される位置にいるユーザについて、現実的ではないように見える可能性がある。
【課題を解決するための手段】
【０００４】
ローカルセンサによる記憶済みコンテンツの増補及びＡＲ通信を提供する。一実施形態において、方法は、ローカルデバイスのローカルセンサからデータを収集するステップと、ローカルデバイスにおいてリモートの画像ストアからアーカイブ画像を受信するステップと、収集したデータを使用してアーカイブ画像を増補するステップと、増補されたアーカイブ画像をローカルデバイス上で表示するステップとを含む。
【０００５】
本発明の諸実施形態は、限定ではなく例として、添付の図面の図に例示される。図面においては、同様の参照番号は類似する要素を指す。
【図面の簡単な説明】
【０００６】
【図１】本発明の一実施形態による、ＡＲ描写に適切なリモートの画像ストレージからの現実のシーンを示す図である。
【図２】本発明の一実施形態による、受信した画像を増補する実オブジェクトを示す、図１の現実のシーンを示す図である。
【図３】本発明の一実施形態による、ＡＲ技術によって強化された実オブジェクトを示す、図１の現実のシーンを示す図である、
【図４】本発明の一実施形態による、ユーザによって制御された仮想オブジェクトを示す、図１の現実のシーンを示す図である。
【図５】本発明の一実施形態による、ユーザによって制御された仮想オブジェクト及びユーザのビューを示す、図４の現実のシーンを示す図である。
【図６】本発明の一実施形態による、アーカイブ画像を仮想オブジェクトで増補する処理フローを示す図である。
【図７Ａ】本発明の別の実施形態による、仮想オブジェクトにより増補された、リモート画像ストアからの現実のシーンを示す図である。
【図７Ｂ】本発明の別の実施形態による、仮想オブジェクト及び別のユーザのアバターにより増補された、リモート画像ストアからの現実のシーンを示す図である。
【図８】本発明の実施形態による、本開示の処理を実装するのに適したコンピュータシステムを示すブロック図である。
【図９】本発明の実施形態による、本開示の処理を実装するのに適した図８のコンピュータシステムの代替的なビューを示すブロック図である。
【発明を実施するための形態】
【０００７】
携帯電話及びポータブルメディアプレイヤのようなポータブルデバイスは、周辺環境に関する情報を収集するのに使用することができる、多くの異なるタイプのセンサを提示する。現在、これらのセンサは、測位システムの衛星受信機、カメラ、クロック及びコンパスを含んでおり、やがて更なるセンサが追加される可能性もある。これらのセンサにより、デバイスは、環境に関する状況認識を有することができる。デバイスは、気象条件、輸送スケジュール及びユーザと通信している他のユーザの存在を含め、他のローカル情報にアクセスすることができる可能性もある。
【０００８】
ローカルデバイスからのこのデータを使用して、以前に作成された地図又は衛星画像上において更新された描写が作成されることがある。現在の条件を反映するように、実際の地図自体を変更してもよい。
【０００９】
一例において、衛星画像を用いるＭＡＲゲームは、ユーザが、衛星画像上に描写されたユーザ自身及びそのローカル環境を、ゲームをプレイしているときにこれらが見えるのと同じ方法で見ることができるようにすることによって、より没入型のものになる。衛星画像以外の記憶済みの画像を用いる他のゲームが、より没入型のものになることもある。
【００１０】
記憶済み画像やアーカイブ画像、又は別の位置から描かれた衛星画像のような他のデータが、ローカルセンサデータを用いて増補され、現在のものに見える画像の新しいバージョンが作成されることがある。使用され得る様々な増補が存在する。例えばある位置に実際にいる人々や移動する乗り物を示してもよい。これらの人々及び物のビューは、感知されたバージョンから、アーカイブ画像の異なる視点で示すように修正されることがある。
【００１１】
一例において、例えばＧｏｏｇｌｅ（登録商標）Ｅａｒｔｈからの衛星画像が、ユーザのＧＰＳ（全地球測位システム）の位置に基づいてダウンロードされることがある。ダウンロードされた画像は次いで、ユーザのスマートフォンで収集されるセンサデータを用いて変換されることがある。衛星画像とローカルセンサデータとを一緒にして、ユーザの電話で表示される、ゲーム内の現実的なシーン又作られたシーンを作成してもよい。電話のカメラは、他の人々、その人々の衣服の色、光、雲及び近くの乗り物を探知することができる。その結果、ゲーム内において、ユーザは実質的に衛星からズームダウンして、自身又はローカルデータを共有する友達の描写を見ることができる。
【００１２】
図１は、外部ソースからダウンロードされた衛星画像の例を示す図である。Ｇｏｏｇｌｅ社は、多くの他のインターネットソースもそうであるように、このような画像を提供している。画像は、必要に応じて取り出されるか、予め取り出され、次いでローカルストレージの読み取りを行う。ゲームに関して、ゲームの供給者は、画像を提供するか、そのゲームに最も適している可能性のある画像の代替的なソースへのリンク又は接続を提供することがある。この画像は、イギリスのロンドンの中心近くにあり、ウェストミンスター寺院の近くのビクトリアエンバンクメント１４と交差するウェストミンスター橋通り１２を示している。テムズ川１６の水が橋の下にあり、その橋の片側にはミレニアムピア１８、橋のもう一方には議会建物２０がある。この画像は衛星画像が撮られた時の条件を示すことになる。この場合の条件は、この画像が撮られたのが、ここ５年、又はここ１０年の間のいずれかの季節のいずれかの日であり得る白昼であったことを示すことになる。
【００１３】
図２は、図１に示されるのと同じ衛星画像であるが、幾つかの強調がなされた図を示す。まず、テムズ川の水は、風のある日であることを示す波により増補されている。図に示すことは難しいが、時刻を示す明るさ又は暗さ、橋及び他の構造物の影、太陽の位置を示す木や人のような、他の環境的強調事項が存在してもよい。緑葉や落ち葉の色、木の葉がないことにより季節が表される可能性もある。この具体的な例に係るロンドンでは雪は一般的ではないが、地面又は空気中の雪や雨を示してもよい。
【００１４】
図２では、この図はツアーバス２４により増補されている。これらのバスは、ユーザのスマートフォンのカメラ又は他のデバイスによってキャプチャされ、現実のシーンの実在のオブジェクトとしてレンダリングされている。これらのバスは電話によってキャプチャされ、次いで増補される実オブジェクトとして、色やラベル等のような付加的な特徴により増補されることもある。あるいは、これらのバスは、プログラム又は表示の何らかの目的で、ローカルデバイスによって生成されることもある。単純な例では、ツアーバスをディスプレイ上に生成して、バスがとるであろうルートを示してもよい。これは、ユーザがバスでのツアーを購入するかどうかを決定するのを助ける可能性がある。さらに、バスを、明るいヘッドライトの光とともに示して、外が暗いか、暗くなり始めていることを示す。船２２もこの図に追加されている。船は、観光情報又は他の情報を提示するため、あるいは任意の他の目的のために、ゲームプレイに有益である可能性がある。
【００１５】
バス、船及び水は、ローカルデバイスのスピーカを通じて再生される音響効果を伴うこともある。音は、デバイス上のメモリから取り込まれることがあり、又はリモートサーバを通じて受信されることもある。音響効果は、水の上の波、バスや船のエンジン、タイヤ及び警笛を含んでもよく、さらには、旗を振る音などの周囲の音や、人々が移動及び歩くことで生じる音等を含むこともできる。
【００１６】
図３は、他の増補を示す同じ衛星地図の図である。図を簡潔にするため、図２の増補を有していない、同じシーンを示しているが、本明細書で説明される増補の全てを組み合わせてもよい。画像は、地図上のオブジェクトの一部に対するラベルを示す。これらは、ウェストミンスター橋通りとして道路上のラベル３４を、ミレニアムピア上のラベル３２を、そしてビクトリアエンバンクメント及び議事堂上のラベル３３を含む。これらのラベルは、アーカイブ画像の一部としてもよく、ローカルデバイスによって追加されてもよい。
【００１７】
さらに、人々３６がこの画像に追加されている。これらの人々は、ローカルデバイスによって、又はゲームソフトウェアによって生成され得る。さらに、人々がデバイス上のカメラによって観察され、次いで画像、アバター又は他の表示が生成されて、アーカイブ画像を増補することがある。図面内において、更に３人の人達がジョー３８、ボブ３９及びサム４０としてラベル付けされている。これらの人達は、他の人達と同じ方法で生成され得る。彼らはローカルデバイスのカメラによって観察されて、画像、アバターとして、又は任意のタイプの描写としてシーンに追加されて、ラベル付けされる。ローカルデバイスは、顔認識やユーザ入力を使用して又は何らかの他の方法で、これらの人々を認識することができる。
【００１８】
代替として、これらの識別される人々は、自身のスマートフォンから、自身の識別（identity）を示すメッセージを送信してもよい。これは次いで、観察された人達にリンクされる可能性がある。他のユーザは位置情報も送信し、その結果、ローカルデバイスは、これらの他のユーザをアーカイブ画像の識別される位置に追加する。加えて、他のユーザは、アバター、表情（expression）、顔文字、メッセージ、又はローカルデバイスが、識別された人々３８、３９、４０をレンダリング及びラベル付けする際に使用することができる任意の他の情報を送信してもよい。ローカルのカメラがこれらの人々を見るか、送信された位置が識別されると、システムは次いで、そのレンダリングを、画像内の適切な位置に追加してよい。更なる実在の又は観察された人々、オブジェクト及び物を追加してもよい。例えばゲームの敵、リソース又はターゲットのような、増補された現実のキャラクタを画像に追加してもよい。
【００１９】
図４は、仮想のゲームキャラクタ４２で増補された、図１と同じアーカイブ画像の図を示している。図４の図では、増補される、実際にある仮想オブジェクトが生成され、アーカイブ画像に適用される。オブジェクトは、画像の左側にあるコントロールパネルから選択される。ユーザは、異なる潜在的なキャラクタ４４、４６、この場合は傘を持っている者４４、４６から選択を行い、次いでこの選択したキャラクタを、バス２４、船２２又は様々な建物のような様々なオブジェクト上にドロップする。ローカルデバイスは、この仮想オブジェクト４２を、異なるオブジェクト上に着地させるアクションの仮想オブジェクト４２の軌道を示すことによって、又は他の効果を示すことによって増補してもよい。軌道は、実際の気象条件により影響されるか、又はデバイスによって生成される仮想条件による影響される可能性がある。ローカルデバイスは、落下、着地及び着地後の移動に関連する音響効果を用いて仮想オブジェクトを増補してもよい。
【００２０】
図５は、図４の図に基づく図におけるゲームプレイの付加的な要素を示す。このビューにおいて、ユーザは、自身の手５０を、このシーンの空中でゲームプレイ要素として見る。このゲームにおいて、ユーザは、オブジェクトを橋の上にドロップする。ユーザは実際に橋の上にいる可能性があり、したがってユーザの電話のカメラはバスを検出している。更なる変形では、ユーザは更にズームダウンして、該ユーザ自身及びユーザの周りの人々の描写を見ることが可能である。
【００２１】
図６は、一実施形態に従って、上述のようなアーカイブ地図を増補する処理フロー図である。６１において、ローカルセンサデータがクライアントデバイスによって収集される。このデータは、ローカル情報、ユーザに関するデータ、他の近くのユーザに関するデータ、環境条件に関するデータ、並びに周辺の建造物、オブジェクト及び人々に関するデータを含むことがある。このデータは、コンパスの方位、属性及びローカルデバイス上のセンサが収集することが可能な他のデータを含んでいてもよい。
【００２２】
６２において、画像ストアにアクセスして、アーカイブ画像を取得する。一例において、ローカルデバイスは、該デバイスの位置を、ＧＰＳ又はローカルのＷｉＦｉ（登録商標）アクセスポイントを使用して決定し、次いでその位置に対応する画像を取り出す。別の例では、ローカルデバイスは、該デバイスの位置におけるランドマークを観察し、適切な画像を取得する。図１の例では、ウェストミンスター橋及び議会建物は、双方とも特徴的な建造物である。ローカルデバイス又はリモートサーバは、これらの建造物のいずれか一方又は双方の画像を受信してもよく、これらを識別して、その位置にとって適切なアーカイブ画像を返す。ユーザは画像を取り出すために位置情報を入力するか、位置情報を訂正してもよい。
【００２３】
６３において、取得された画像は、ローカルデバイスのセンサからのデータを使用して増補される。上述のように、増補は、時間、日付、季節、気象条件及び視点についての修正を含んでよい。画像は、ローカルデバイスによって観察された実在の人々及びオブジェクト、並びにデバイスによって生成されたか、別のユーザ若しくはソフトウェアからそのデバイスに送信された仮想の人々及びオブジェクトを追加することによって増補されてもよい。画像は音により増補されることもある。更なるＡＲ技術を使用して、画像又はローカルデバイスのカメラのビューに関するラベル及びメタデータを提供してもよい。
【００２４】
６４において、増補されたアーカイブ画像がローカルデバイス上に表示され、音がスピーカで再生される。増補された画像が、表示のために他のユーザのデバイスに送信されることもあり、これにより、そのデバイスのユーザは画像を見ることができる。これは、ジオキャストや宝探しのタイプのゲームを含め、様々なタイプのゲームプレイに対する興味深い追加をもたらす。６５において、ユーザは、増補された画像と対話して、更なる変更をもたらす。この対話の一部の例は、図４及び図５に示されているが、広範な範囲の他の対話も可能である。
【００２５】
図７Ａは、ローカルデバイスによって増補されたアーカイブ画像の別の例を示している。この例において、メッセージ７２がボブからジェンナに送信される。ボブは、自身の位置の指示をジェンナに送信しており、この位置が、ボブの位置を含むアーバンエリアのアーカイブ画像を取り出すのに使用された。ボブの位置は、吹き出し７１によって示されている。吹き出しはローカルデバイスによって提供されるか、又は画像のソースによって提供されてもよい。図１のように、画像は、道路及び重ね合された他の情報による衛星画像である。ボブの位置の描写を、ボブのピクチャ、アバター、矢印記号として又は任意の他の方法でレンダリングしてもよい。位置描写に係る実際の場所は、ボブが、自身が移動したという情報を送信した場合、又はローカルデバイスのカメラがボブの位置が移動しているのを観察した場合に変更され得る。
【００２６】
アーカイブ画像及びボブの描写に加えて、ローカルデバイスは、仮想オブジェクト７２を追加している。仮想オブジェクト７２は紙飛行機として示されているが、代わりに多くの他の方法で表されてもよい。この例において、仮想オブジェクトはメッセージを表しているが、代わりに多くの他のオブジェクトを表してもよい。ゲームプレイでは、例として、オブジェクトは情報、追加の弾薬、偵察機、武器又はアシスタントとしてもよい。仮想オブジェクトは、ジェンナからボブへと増補された画像を進むように示されている。これは飛行機として衛星画像上を飛ぶ。メッセージが人又は陸上の乗り物として示された場合、これは、画像の通りに沿って進むものとして表される。仮想オブジェクトが進むと、該仮想オブジェクトが進行するのを示すために、その画像のビューをパンし、ズームし、又は回転させてよい。画像は、紙飛行機又は他のオブジェクトが進むにつれて、紙飛行機又は他のオブジェクトの音響効果により増補されることがある。
【００２７】
図７Ｂにおいて、メッセージがターゲットの近くまで来ており、画像がズームされている。この場合において、ボブはアバター７３を使用して表されており、メッセージ７２を受け取る準備ができているように示されている。飛行機を受け取ること及びボブが声で応答をする音響効果を再生して、ボブがメッセージを受信したことを示すことがある。前述同様、ボブは、様々な異なる現実的又は空想的な方法のいずれかで表されることが可能である。アーカイブ画像は、衛星地図内でズームされたものであってもよく、あるいはこの例のように、ボブの位置と同一の空間にある舗装された公園エリアの写真であってもよい。写真は、公園を説明するウェブサイトなどの異なるソースからのものであってよい。画像は、ボブ自身のスマートフォンからのものであっても、又は同様のデバイスからのものであってもよい。ボブは、自身の位置の写真を何枚か撮り、これらをジェンナに送信してもよい。ジェンナのデバイスは、次いでボブとメッセージとによって増補されたこれらの写真を表示してよい。画像は、仮想と現実の双方の他の特性又はオブジェクトを用いて更に強調されてもよい。
【００２８】
上述のように、本発明の諸実施形態は、衛星画像又は任意の他の記憶済み画像セットを、ユーザに対してローカルのデバイスによって得られる、ほぼリアルタイムのデータにより増補することを提供する。この増補は、アイコン又はアバター又はより現実的な描写によって表される、任意の数の実在のオブジェクト又は仮想オブジェクトを含むことができる。
【００２９】
ユーザのデバイス上のローカルセンサを使用して、衛星画像が任意の数の追加の詳細により更新される。これらの追加の詳細は、木や茂みの色及びサイズ、クルマやバス、建物等の他の周辺オブジェクトの存在及び位置を含むことができる。情報を共有するようオプトインしている他の人々の識別を、ＧＰＳ位置、ユーザが保持しているデバイスの傾き及び任意の他のファクタとともに表示することもできる。
【００３０】
近くの人々がローカルデバイスによって検出されると、これらの近くの人々が描写され、画像を増補するのに用いられる可能性がある。加えて、簡潔な描写のために、人々の描写を、高さ、サイズ及び衣服並びにジェスチャ及び顔の表情及び他の特性を示すことによって強調することができる。これは、デバイスのカメラから又は他のセンサからのものである可能性があり、人々によって提供される情報と組み合される可能性がある。両側のユーザを、ほぼリアルタイムの表情及びジェスチャの描写を用いて示されるアバター上で表すことができる。
【００３１】
アーカイブ画像は、示されるように、衛星地図及びローカルの写真、並びに地図及び画像データの他のストアであってよい。例として、建物内部の屋内地図又は画像を、衛星地図の代わりに、又は衛星地図とともに使用してもよい。これらは、建物及び画像の性質に応じて、公の又は私的なソースからのものである可能性がある。これらの画像は、パン、ズーム及びタイル効果を使用して、及び画像を増補している仮想オブジェクト及び実在のオブジェクトを移動することによって、位置のビデオをシミュレートするように増補されることもある。
【００３２】
図８は、上記で検討したオペレーションをサポートすることができるコンピューティング環境のブロック図である。モジュール及びシステムを、様々な異なるハードウェアアーキテクチャ及び図９に示される形を含むフォームファクタにおいて実装することができる。
【００３３】
コマンド実行モジュール８０１は、コマンドをキャッシュして実行し、図示される他のモジュール及びシステム間にタスクを分散させる中央処理ユニットを含む。コマンド実行モジュール８０１は、命令スタック、中間及び最終的な結果物を記憶するキャッシュメモリ、アプリケーション及びオペレーションシステムを記憶する大容量メモリを含んでもよい。コマンド実行モジュールは、システムの中央調整及びタスク割り当てユニットとしても機能し得る。
【００３４】
スクリーンレンダリングモジュール８２１は、ユーザに見えるように、オブジェクトをローカルデバイスの１つ又は複数のスクリーン上に描画する。スクリーンレンダリングモジュール８２１は、以下で説明するように仮想オブジェクト挙動モジュール８０４からのデータを受信し、仮想オブジェクト及び任意の他のオブジェクトを適切な１つ又は複数のスクリーン上にレンダリングするように適合され得る。したがって、仮想オブジェクト挙動モジュールからのデータは、例えば仮想オブジェクト並びに関連するジェスチャ及びオブジェクトの位置とダイナミクスを決定し、スクリーンレンダリングモジュールは、これに応じて、仮想オブジェクト並びに関連するオブジェクト及び環境をスクリーン上に示すであろう。
【００３５】
ユーザ入力及びジェスチャ認識システム８２２は、ユーザの手及び腕のジェスチャを含め、ユーザ入力及びコマンドを認識するように適合され得る。そのようなモジュールを使用して、手、指、指のジェスチャ、手の動き及びディスプレイに対する手の位置を認識してもよい。例えばユーザ入力及びジェスチャ認識モジュールは、ユーザが、仮想オブジェクトを様々な位置にある増補された画像にドロップするか投入する、というジェスチャを行ったと決定する可能性がある。ユーザ入力及びジェスチャ認識システムは、ユーザからのジェスチャ及びコマンドを検出するため、カメラ若しくはカメラアレイ、マイクロフォン若しくはマイクロフォンアレイ、タッチスクリーン若しくはタッチサーフェス、又はポインティングデバイス、あるいはこれらのアイテムの何らかの組み合わせに結合されることもある。
【００３６】
ローカルセンサ８２３は、ローカルデバイス上で提示されるか、利用可能な上述のセンサのうちのいずれかを含み得る。これらのローカルセンサは、例えば前面及び背面のカメラ、マイクロフォン、測位システム、Ｗｉ−Ｆｉ及びＦＭアンテナ、加速度計並びにコンパスのような、スマートフォンにおいて典型的に利用可能なセンサを含んでよい。これらのセンサは、位置認識を提供するだけでなく、あるシーンを観察しているときにローカルデバイスが該デバイスの方向及び移動を決定するのを可能にする。アーカイブ画像を選択し、その画像を増補する際に使用するために、ローカルセンサデータがコマンド実行モジュールに提供される。
【００３７】
データ通信モジュール８２５は、システム内のデバイスが全て通信するのを可能にする有線又は無線データインタフェースを含む。各デバイスに対して複数のインタフェースが存在してもよい。一例において、ＡＲディスプレイは、Ｗｉ−Ｆｉを介して通信して、ＡＲ特性に関する詳細なパラメータを送信する。また、ＡＲディスプレイは、Ｂｌｕｅｔｏｏｔｈ（登録商標）を介してユーザコマンドを送信し、ＡＲディスプレイデバイスを通じて再生すべきオーディオを受信する。任意の適切な有線又は無線通信プロトコルを使用してよい。
【００３８】
仮想オブジェクト挙動モジュール８０４は、ディスプレイにおいて生成されて、表示されている他のモジュールからの入力を受信し、そのような入力を仮想オブジェクトに適用するように適合される。したがって、例えばユーザ入力及びジェスチャ認識システムは、ユーザの手のキャプチャされた動きを、認識された動きにマッピングすることによって、ユーザジェスチャを解釈し、仮想オブジェクト挙動モジュールは、仮想オブジェクトの位置及び動きをユーザ入力に関連付けて、仮想オブジェクトの動きをユーザ入力に対応させるデータを生成する可能性がある。
【００３９】
結合モジュール８０６は、クライアントデバイス上のローカルセンサ８２３によって収集された情報を追加するよう、衛星地図又は他の画像のようなアーカイブ画像を変更する。このモジュールは、クライアントデバイス又は「クラウド」サーバ上に存在し得る。結合モジュール８０６は、オブジェクト及び人識別モジュール８０７からのデータを使用し、このデータを画像ソースからの画像に追加する。オブジェクト及び人が既存の画像に追加される。人々は、アバター描写又はより現実的な描写としてよい。
【００４０】
結合モジュール８０６は、衛星地図を変更するためにヒューリスティックを使用することがある。例えば地上の人又はキャラクタのアバターを爆撃しようとする飛行機を頭上で競争させるゲームにおいて、ローカルデバイスは、ＧＰＳ位置、髪の色、衣服、周囲の乗り物、光条件及び雲量を含む、情報を収集する。次いでこの情報を使用して、衛星地図上で可視となるべきプレイヤのアバター、周辺のオブジェクト及び環境的条件が構築され得る。例えばユーザは、仮想の飛行機を、記憶済み衛星画像に追加された実際の雲の後ろで飛ばすことができる。
【００４１】
オブジェクト及びアバター描写モジュール８０８は、オブジェクト及び人識別モジュール８０７からの情報を受信して、この情報をオブジェクト及びアバターとして表す。このモジュールは、任意の実在のオブジェクトをオブジェクトの現実的な描写又はアバターのいずれかとして表すのに使用され得る。アバター情報は他のユーザ又はアバター情報の中央データベースから受信され得る。
【００４２】
オブジェクト及び人識別モジュール８０７は、受信したカメラデータを使用して、特定の実在のオブジェクト及び人を識別する。バス及びクルマなどの大きなオブジェクトを、画像ライブラリと比較して、オブジェクトを識別することがある。人々は、顔認識技術を使用して識別されるか、あるいはその識別される人々に関連付けられるデバイスからパーソナルネットワーク、ローカルネットワーク又はセルラネットワークを通じてデータを受信することによって識別される可能性がある。オブジェクト及び人を識別すると、この識別情報を、他のデータに適用し、そしてオブジェクト及びアバター描写モジュールに提供して、オブジェクト及び人々の適切な描写を表示用に生成することができる。
【００４３】
位置及び方向モジュール８０３は、ローカルセンサ８２３を使用して、ローカルデバイスの位置及び方向を決定する。この情報を使用してアーカイブ画像を選択し、この画像の適切なビューを提供する。この情報は、オブジェクト及び人の識別情報を供給するのにも使用されることがある。例として、ユーザデバイスがウェストミンスター橋上に置かれ、東の方向を向いている場合、カメラによって観察されるオブジェクトは、橋の上に配置されている。オブジェクト及びアバター描写モジュール８０８は、この情報を使用して、橋上にあるようにこれらのオブジェクトを表すことができ、結合モジュールは、この情報を使用して、オブジェクトを橋のビューに追加することによって画像を増補することができる。
【００４４】
ゲームモジュール８０２は、追加の対話及び効果を提供する。ゲームモジュールは、仮想のキャラクタ及び仮想のオブジェクトを生成して、増補された画像に追加することがある。このゲームモジュールは、任意の数のゲーム効果を仮想オブジェクトに対して提供するか、あるいは実在のオブジェクト又はアバターとの仮想対話として提供してもよい。図４、図７Ａ及び図７Ｂのゲームプレイは全て、ゲームモジュールによって提供されてよい。
【００４５】
３Ｄ画像対話及び効果モジュール８０５は、増補された画像における実在のオブジェクト及び仮想オブジェクトとのユーザ対話をトラックし、（スクリーンの平面から前方及び後方に向かう）ｚ軸のオブジェクトの影響を決定する。これは、更なる処理リソースを提供し、これらの効果を、３次元の相互間でのオブジェクトの相対的な影響とともに提供する。例えばユーザのジェスチャによって投入されたオブジェクトは、該オブジェクトが移動するときに、天候、仮想及び実在のオブジェクト、並びに例えば空などの増補された画像の前面にある他のファクタによる影響を受ける可能性がある。
【００４６】
図９は、パーソナルコンピュータ、ゲームコンソール、スマートフォン又はポータブルゲームデバイスのようなコンピューティングシステムのブロック図である。コンピュータシステム９００は、情報を通信するためのバス又は他の通信手段９０１と、情報を処理するためバス９０１に結合されるマイクロプロセッサ９０２などの処理手段とを備える。コンピュータシステムは、特にパラレルパイプラインを通じてグラフィクスをレンダリングするためのグラフィクスプロセッサ９０３と、上述の物理的対話を計算するための物理プロセッサ９０５とにより増補されることがある。これらのプロセッサを、中央プロセッサ９０２に組み込んでもよく、あるいは１つ又は複数の別個のプロセッサとして提供してもよい。
【００４７】
コンピュータシステム９００は、ランダムアクセスメモリ（ＲＡＭ）又は他の動的なデータ記憶デバイスのような、プロセッサ９０２によって実行すべき情報及び命令を格納するため、バス９０１に結合されるメインメモリ９０４を更に含む。メインメモリは、一時的な変数又はプロセッサによる命令の実行中の他の中間情報を格納するために使用されてもよい。コンピュータシステムは、読取専用メモリ（ＲＯＭ）又は他の静的なデータ記憶デバイスのような、プロセッサ用に静的な情報及び命令を格納するため、バスに結合される非揮発性メモリ９０６を含んでいてもよい。
【００４８】
磁気ディスク、光ディスク、半導体アレイ及びその対応するドライブのような大容量メモリ９０７も、情報及び命令の記憶のためにコンピュータシステムのバスに結合され得る。コンピュータシステムは、ユーザに対して情報を表示するために、バスを介して、液晶ディスプレイバス（ＬＣＤ）又は有機発光ダイオード（ＯＬＥＤ）アレイなどのディスプレイデバイス又はモニタ９２１に結合されることもある。上記で検討した様々なビュー及びユーザ対話に加えて、例えばインストールステータス、オペレーションステータス及び他の情報のグラフィカル及びテキスト指示を、ディスプレイデバイスにおいてユーザに提示してもよい。
【００４９】
典型的に、アルファベット、ファンクション及び他のキーを有するキーボードのようなユーザ入力デバイス９２２が、情報及びコマンド選択をプロセッサに通信するためバスに結合される。追加のユーザ入力デバイスは、マウス、トラックボール、トラックパッドのようなカーソル制御入力デバイスを含んでもよく、あるいはカーソルの方向キーを、方向情報及びコマンド選択をプロセッサに通信してディスプレイ９２１上のカーソルの動きを制御するためにバスに結合してもよい。
【００５０】
カメラ及びマイクロフォンアレイ９２３がバスに結合されて、上述のようにジェスチャを観察し、オーディオ及びビデオを記録し、ビジュアル及びオーディオコマンドを受信する。
【００５１】
通信インタフェース９２５もバス９０１に結合される。通信インタフェースは、モデム、ネットワークインタフェースカード、あるいは例えばローカル又はワイドエリアネットワーク（ＬＡＮ又はＷＡＮ）をサポートする通信リンクを提供するため、イーサーネット（登録商標）、トークンリング又は他のタイプの物理的な有線若しくは無線のアタッチメントと結合するのに使用されるものなど、他の周知のインタフェースデバイスを含むことがある。このように、コンピュータシステムは、複数の周辺デバイス、クライアント、制御サーフェス、コンソール又はサーバに、例えばイントラネットやインターネットを含め、従来のネットワークインフラストラクチャを介して結合されることもある。
【００５２】
特定に実装にとって、上述の例よりも少ない又はより多い設備のシステムが好ましい可能性がある。したがって、例示的システム８００及び９００の構成は、価格の制約、性能要件、技術的改善又は他の環境要因などの様々なファクタに応じて、実装ごとに異なるであろう。
【００５３】
諸実装は、１つ若しくは複数のマイクロチップ若しくは親基盤を使用して相互接続される集積回路、ハードワイヤードロジック、メモリデバイスにより格納されてマイクロプロセッサにより実行されるソフトウェア、ファームウェア、特定用途向集積回路（ＡＳＩＣ）、及び／又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、のうちのいずれか又は組み合わせとして実装されることがある。「ロジック」という用語は、例として、ソフトウェア又はハードウェア及び／又はソフトウェアとハードウェアの組み合わせを含むことがある。
【００５４】
実施形態は、コンピュータプログラム製品として提供されることがある。コンピュータプログラム製品は、例えばコンピュータ、コンピュータのネットワーク又は他の電子デバイスのような１つ又は複数の機械によって実行されると、該１つ又は複数の機械が本発明の実施形態に係る動作を実行することとなり得る、機械実行可能な命令を格納した１つ又は複数の機械読取可能な媒体を含んでよい。機械読取可能媒体は、これらには限られないが、フロッピー（登録商標）ディスケット、光ディスク、ＣＤ−ＲＯＭ（コンパクトディスク−読取専用メモリ）、及び磁気光ディスク、ＲＯＭ（読取専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）、ＥＰＲＯＭ（消去可能プログラマブル読取専用メモリ）、ＥＥＰＲＯＭ（電子的消去可能プログラマブル読取専用メモリ）、磁気又は光カード、フラッシュメモリ又は機械実行可能命令を格納するのに適切な他のタイプの媒体／機械読取可能媒体を含んでよい。
【００５５】
さらに、実施形態をコンピュータプログラム製品としてダウンロードしてもよく、この場合、製品は、搬送波内に具現化されるか、及び／又は搬送波によって変調された１つ又は複数のデータ信号によって、あるいは通信リンク（例えばモデム及び／又はネットワーク接続）を介する他の伝播媒体によって、リモートコンピュータ（例えばサーバ）から要求側コンピュータ（例えばクライアント）に伝送され得る。したがって、本明細書で使用されるとき、機械読取可能媒体は、必ずではないが、このような搬送波を含むことがある。
【００５６】
「一実施形態」、「実施形態」、「例示的な実施形態」、「様々な実施形態」等への言及は、そのように説明される本発明の実施形態が、特定の特徴、構造又は特性を含むことがあることを意味するが、必ずしも全ての実施形態がそのような特定の特徴、構造又は特性を含むわけではない。さらに一部の実施形態は、他の実施形態について説明された特徴の一部を含むことも、全てを含むこともあり又は全く含まないこともある。
【００５７】
本説明及び特許請求の範囲において、「結合される」という用語がその変化形とともに使用されることがある。「結合される」という用語は、２つ又はそれ以上の要素が相互に協働して動作するか対話することを示すのに使用されるが、これらの要素が、その間に介在する物理的又は電子的な構成要素を有していても有していなくてもよい。
【００５８】
特許請求の範囲において使用されるとき、特に他に指定されていない限り、共通の要素に対する「第１」、「第２」、「第３」等という序数の形容詞の使用は、単に同様の要素の異なる例を指していることを示すものであり、そのように説明される要素が、一時的に、空間的に、ランク付けにより、又は任意の他の方法で所与のシーケンスでなければならないことを暗示するようには意図されていない。
【００５９】
図面及び上述の説明は、実施形態の例を与えるものである。本技術分野の当業者には、説明される要素の１つ又は複数をより良く単一の機能要素に結合してもよいことが認識されよう。あるいは、特定の要素を複数の機能要素に分割してもよい。一実施形態の要素を別の実施形態に追加してもよい。例えば本明細書で説明される処理の順序を変更してもよく、処理の順序は、説明される手法に限定されない。さらに、いずれかのフロー図におけるアクションは、示された順序で実装される必要なく、また必ずしも全ての動作を実行する必要もない。また、他の動作と独立なこれらの動作を、他の動作と並行して実行してもよい。実施形態の範囲は、これらの具体的な実施例によって限定されることはない。本明細書において明示的に与えられたか、与えられていないかに関わらず、構造、次元及び材料の使用における相違のような、様々な変形もあり得る。実施形態の範囲は、少なくとも特許請求の範囲によって提示される広さである。
【図１】
0005869145.tif 000002
【図２】
0005869145.tif 000003
【図３】
0005869145.tif 000004
【図４】
0005869145.tif 000005
【図５】
0005869145.tif 000006
【図６】
0005869145.tif 000007
【図７Ａ】
0005869145.tif 000008
【図７Ｂ】
0005869145.tif 000009
【図８】
0005869145.tif 000010
【図９】
0005869145.tif 000011