(57)【要約】  拡張現実（ＡＲ）デバイスに関する装置および技法が提供される。現実世界イメージを拡張するデバイスが、現実世界イメージが取り込まれた位置、時刻、および日付に基づいて、現実世界イメージ取込みデバイスによって取り込まれた現実世界イメージについての光源情報を生成する光源情報生成ユニットを含む。光源情報は、現実世界イメージについての現実世界光源の位置に関する情報を含む。デバイスは、光源情報生成ユニットから生成された光源情報を受信する陰影イメージ登録ユニットをさらに含む。陰影イメージ登録ユニットは、光源情報生成ユニットから生成された光源情報に基づいて現実世界イメージ上に重ね合わされた仮想オブジェクトの陰影イメージを生成する。
2013517579.tif 000002
【特許請求の範囲】
【請求項１】
現実世界イメージを取り込むように構成されたイメージ取込みユニットと、
前記イメージ取込みユニットと通信し、前記現実世界イメージが取り込まれる位置、時刻、および日付のうちの少なくとも１つに基づいて、前記イメージ取込みユニットによって取り込まれた前記現実世界イメージについての光源情報を生成するように構成された光源情報生成ユニットであって、前記光源情報が、前記イメージ取込みユニットに対する前記現実世界光源の位置に関する情報を含む光源情報生成ユニット
を備える拡張現実（ＡＲ）ジェネレータと、
生成した光源情報に基づいて仮想オブジェクトの陰影イメージを生成し、前記現実世界イメージ上に前記仮想オブジェクトおよび前記陰影イメージを重ね合わせるように構成されたＡＲイメージ生成ユニットと
を備える拡張現実システム。
【請求項２】
前記イメージ取込みユニットが、前記イメージ取込みユニットの方位および傾斜を測定するように構成されたポーズ検出ユニットをさらに備える請求項１に記載のシステム。
【請求項３】
前記ＡＲイメージ生成ユニットが、
前記イメージ取込みユニットの測定した方位および傾斜に基づいて、前記イメージ取込みユニットの基準フレームを求め、前記基準フレームに対する前記仮想オブジェクトの位置を求めるように構成された仮想オブジェクト登録ユニット
を備える請求項２に記載のシステム。
【請求項４】
前記仮想オブジェクト登録ユニットがさらに、マーカベースの選択／登録技法、マーカレス選択／登録技法、またはハイブリッド選択／登録技法を実施して、前記基準フレームに対する前記仮想オブジェクトの位置を求めるように構成される請求項３に記載のシステム。
【請求項５】
前記ＡＲイメージ生成ユニットが、
前記光源情報に基づいて、前記基準フレームに対する前記現実世界光源の位置を求め、求めた前記現実世界光源の位置に基づいて、前記仮想オブジェクトの前記陰影イメージを生成するように構成された陰影イメージ登録ユニット
をさらに備える請求項３に記載のシステム。
【請求項６】
前記陰影イメージ登録ユニットがさらに、前記現実世界光源の位置で前記現実世界光源をシミュレートする仮想光源を設定し、設定した仮想光源に対して前記陰影イメージをレンダリングするように構成される請求項５に記載のシステム。
【請求項７】
前記陰影イメージ登録ユニットが少なくとも、
シャドウマップアルゴリズムを実施して前記陰影イメージをレンダリングするように構成されたシャドウマップユニット、
シャドウボリュームアルゴリズムを実施して前記陰影イメージをレンダリングするように構成されたシャドウボリュームユニット、または
ソフトシャドウアルゴリズムを実施して前記陰影イメージをレンダリングするように構成されたソフトシャドウユニット
を備える請求項６に記載のシステム。
【請求項８】
前記ポーズ検出ユニットが、前記イメージ取込みユニットの方位および傾斜に関する更新を提供するように構成され、
前記陰影イメージ登録ユニットが、前記更新に基づいて新しい陰影イメージを生成するように構成される請求項６に記載のシステム。
【請求項９】
前記陰影イメージ登録ユニットがさらに、前記ＡＲシステムと通信するサーバから現実世界イメージに関する気象情報および地理情報のうちの少なくとも１つを受信し、前記現実世界イメージに関する前記気象情報または前記地理情報に少なくとも基づいて前記仮想光源を設定するように構成される請求項６に記載のシステム。
【請求項１０】
前記陰影イメージ登録ユニットがさらに、前記現実世界イメージに関する前記気象情報および前記地理情報のうちの少なくとも１つに基づいて前記仮想光源の強度を求めるように構成される請求項９に記載のシステム。
【請求項１１】
前記イメージ取込みユニットが、基地局と通信し、前記基地局からセル情報を受信するように構成されたワイヤレス通信ユニットをさらに備え、前記光源情報生成ユニットがさらに、受信したセル情報に基づいて前記イメージ取込みユニットの位置を求めるように構成される請求項１に記載のシステム。
【請求項１２】
前記光源情報生成ユニットがさらに、前記ＡＲシステムと通信するサーバに前記イメージ取込みユニットの識別（ＩＤ）情報を送信し、それに応答して、前記イメージ取込みユニットの位置を前記サーバから受信するように構成される請求項１に記載のシステム。
【請求項１３】
拡張現実を提供する方法であって、
現実世界イメージを取り込むこと、
前記現実世界イメージを取り込んだ位置、時刻、および日付のうちの少なくとも１つを求めること、
前記現実世界イメージを取り込んだ位置、時刻、および日付のうちの少なくとも１つに基づいて、取り込んだ現実世界イメージについての光源情報を生成することであって、前記光源情報が、前記現実世界イメージについての現実世界光源の位置に関する情報を含むこと、および
前記光源情報に基づいて前記現実世界イメージに重ね合わされた仮想オブジェクトの陰影イメージを生成すること
を含む方法。
【請求項１４】
前記リアルワードイメージを取り込んだ位置を求めることが、
前記リアルワードイメージを取り込んだデバイスとワイヤレス通信する１つまたは複数のＧＰＳ衛星からＧＰＳ信号を受信することにより、前記デバイスの位置を求めること、および
前記ＧＰＳ信号に基づいて、前記現実世界イメージを取り込んだ位置を求めること
を含む請求項１３に記載の方法。
【請求項１５】
前記リアルワードイメージを取り込んだ位置を求めることが、
前記リアルワードイメージを取り込んだデバイスとワイヤレス通信する基地局からセル情報を受信することにより、前記デバイスの位置を求めること、および
受信したセル情報に基づいて、前記現実世界イメージを取り込んだ位置を求めること
を含む請求項１３に記載の方法。
【請求項１６】
前記リアルワードイメージを取り込んだ位置を求めることが、
前記現実世界イメージを取り込んだデバイスとワイヤレス通信するサーバに前記デバイスを特定する識別（ＩＤ）情報を送信することにより、前記デバイスの位置を求めること、
前記サーバから前記デバイスの位置を受信すること、および
前記デバイスの位置に基づいて、前記現実世界イメージを取り込んだ位置を求めること
を含む請求項１３に記載の方法。
【請求項１７】
光源情報を生成することが、前記現実世界イメージを取り込んだデバイスの方位および傾斜を測定することを含む請求項１３に記載の方法。
【請求項１８】
陰影イメージを生成することが、
前記現実世界イメージを取り込んだ前記デバイスの測定した方位および傾斜に基づいて、前記現実世界イメージを取り込んだ前記デバイスの基準フレームを求めること、
前記基準フレームに対する前記仮想オブジェクトの位置を求めること、
前記光源情報に基づいて、前記基準フレームに対する前記現実世界光源の位置を求めること、および
求めた前記現実世界光源の位置に基づいて、前記仮想オブジェクトの前記陰影イメージを生成すること
を含む請求項１７に記載の方法。
【請求項１９】
求めた前記現実世界光源の位置に基づいて、前記仮想オブジェクトの前記陰影イメージを生成することが、
前記現実世界光源の位置で前記現実世界光源をシミュレートする仮想光源を設定すること、および
設定した仮想光源に対して前記陰影イメージをレンダリングすること
を含む請求項１８に記載の方法。
【請求項２０】
光源情報を生成することが、
前記現実世界イメージを取り込んだデバイスとワイヤレス通信するサーバから前記現実世界イメージに関する気象情報および地理情報のうちの少なくとも１つを受信すること、および
前記気象情報または前記地理情報に少なくとも基づいて前記陰影イメージを生成すること
を含む請求項１３に記載の方法。
【発明の詳細な説明】
【背景技術】
【０００１】
拡張現実（ＡＲ）は、エンドユーザに表示するために、現実世界と、コンピュータ生成データ、特に現実の場面に混合されたコンピュータグラフィックスオブジェクトとをリアルタイムに組み合わせることに焦点を当てる。ＡＲの範囲は、非視覚的拡張、およびほんの数例を挙げると、広告、ナビゲーション、軍務、およびエンターテイメントなどのより広範な応用エリアを含むように拡大している。その展開の成功のために、そのようなコンピュータ生成データ（イメージ）の現実世界シーンへのシームレスな統合を提供することへの関心が高まっている。
【発明の概要】
【０００２】
拡張現実（ＡＲ）デバイスに関する技法が提供される。一実施形態では、現実世界イメージを拡張するデバイスが、現実世界イメージが取り込まれた位置、時刻、および日付に基づいて、現実世界イメージ取込みデバイスによって取り込まれた現実世界イメージについての光源情報を生成する光源情報生成ユニットを含む。光源情報は、現実世界イメージについての現実世界光源の位置に関する情報を含む。デバイスは、光源情報生成ユニットから生成された光源情報を受信する陰影イメージ登録ユニットをさらに含む。陰影イメージ登録ユニットは、光源情報生成ユニットから生成された光源情報に基づいて現実世界イメージ上に重ね合わされた仮想オブジェクトの陰影イメージを生成する。
【０００３】
上記の概要は例に過ぎず、いかなる形でも限定を意図するものではない。上述の例示的態様、実施形態、および特徴に加えて、図面および以下の詳細な説明を参照することによって別の態様、実施形態、および特徴が明らかとなるであろう。
【図面の簡単な説明】
【０００４】
【図１】拡張現実（ＡＲ）システムの例示的実施形態の概略ブロック図である。
【図２Ａ】仮想オブジェクトの陰影イメージと重ね合わされる拡張現実イメージを生成する例示的実施形態を示す図である。
【図２Ｂ】仮想オブジェクトの陰影イメージと重ね合わされる拡張現実イメージを生成する例示的実施形態を示す図である。
【図２Ｃ】仮想オブジェクトの陰影イメージと重ね合わされる拡張現実イメージを生成する例示的実施形態を示す図である。
【図３】図１のイメージ取込みユニットの例示的実施形態の概略ブロック図である。
【図４】図１のＡＲジェネレータの例示的実施形態の概略ブロック図である。
【図５】図４のＡＲイメージ生成ユニットの例示的実施形態の概略ブロック図である。
【図６】マーカレス選択／登録技法に基づいて仮想オブジェクトを選択および登録し、仮想オブジェクトの仮想陰影イメージを生成する例示的実施形態を示す図である。
【図７】ＡＲシステムの別の例示的実施形態の略図である。
【図８】ＡＲイメージを生成する方法の例示的実施形態の例示的流れ図である。
【発明を実施するための形態】
【０００５】
以下の詳細な説明では、本明細書の一部を形成する添付の図面を参照する。図面では、別段文脈によって示されない限り、同様の符号が同様の構成要素を特定する。詳細な説明、図面、および特許請求の範囲で説明する例示的実施形態は、限定を意味しない。本明細書で提示する手段の趣旨または範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。一般に本明細書で説明し、図に示す本開示の態様を多種多様な異なる構成で構成し、置換し、組み合わせ、分離し、設計することができ、そのすべてを本明細書で明示的に企図する。
【０００６】
拡張現実（ＡＲ）技術は、現実世界イメージを仮想オブジェクトのイメージと混合し、仮想オブジェクトが現実世界に存在するという幻想を閲覧者に与える。本開示で説明する技法は、新規なＡＲデバイスを使用して、現実イメージの現実の物体の現実世界陰影イメージに準拠し、または適合する仮想オブジェクトの仮想陰影イメージを含む混合イメージを生成し、したがって現実世界陰影イメージを投じる同一の現実世界光源（例えば、太陽）によって投じられたかのように仮想陰影イメージが閲覧者には見える。
【０００７】
図１に、拡張現実（ＡＲ）システムの例示的実施形態の概略ブロック図を示す。図１を参照すると、ＡＲシステム１００は、現実世界イメージを取り込むように構成されたイメージ取込みユニット１１０と、取り込んだ現実世界イメージを、１つまたは複数の仮想オブジェクト（複数可）のイメージ（複数可）およびそれぞれの仮想陰影イメージと重ね合わせることによってＡＲイメージを生成するように構成されたＡＲジェネレータ１２０と、ＡＲジェネレータ１２０によって生成された拡張現実イメージを表示するように構成されたディスプレイユニット１３０とを含むことができる。
【０００８】
本明細書では、「仮想オブジェクト」という用語は、オブジェクトの幾何学的表現を指し、「仮想陰影イメージ」という用語は、当技術分野で周知の１つまたは複数の陰影レンダリング技法を使用してレンダリングされた仮想オブジェクトの陰影イメージを指す。そのような陰影レンダリング技法の例には、限定はしないが、シャドウマップアルゴリズム、シャドウボリュームアルゴリズム、ソフトシャドウアルゴリズムが含まれる。仮想オブジェクトおよび仮想陰影イメージに関する技術的詳細は当技術分野で周知であり、本明細書ではさらには説明しない。
【０００９】
イメージ取込みユニット１１０は、現実世界シーンの現実世界イメージを取り込む１つまたは複数のデジタルカメラ（図示せず）を含むことができる。一実施形態では、イメージ取込みユニット１１０をＡＲジェネレータ１２０からリモートに配置することができ、ＡＲジェネレータ１２０とワイヤレスに接続することができる。別の実施形態では、ＡＲジェネレータ１２０を収容する同じケース内にイメージ取込みユニット１１０を配置することができる。
【００１０】
イメージ取込みユニット１１０によって取り込まれた現実世界イメージ上にそのイメージ（複数可）を重ね合わせるべきである仮想オブジェクト（複数可）の仮想陰影イメージ（複数可）を生成するようにＡＲジェネレータ１２０を構成することができる。仮想オブジェクト（複数可）をＡＲジェネレータ１２０に事前格納することができ、または外部デバイス（例えば、サーバ）からＡＲジェネレータ１２０によって受信することができる。一実施形態では、現実世界イメージ内の現実の物体の現実世界陰影イメージにそのサイズ、形状、方向、および／または輝度が準拠し、または適合する仮想陰影イメージを生成するようにＡＲジェネレータ１２０を構成することができる。そのような方式で生成された仮想陰影イメージは、現実世界陰影イメージを投じる同一の現実世界光源によって投じられたかのようにＡＲイメージの閲覧者に見えることがある。
【００１１】
図２Ａ〜２Ｃに、仮想イメージおよびその仮想陰影イメージと重ね合わされるＡＲイメージを生成する例示的実施形態を示す。図２Ａは、現実世界シーンの斜視図の例示的実施形態を示し、図２Ｂは、仮想オブジェクトの仮想陰影イメージのない図２Ａの現実世界シーンのＡＲイメージの例示的実施形態を示し、図２Ｃは、仮想オブジェクトの仮想陰影イメージを含む図２Ａの現実世界シーンのＡＲイメージの例示的実施形態を示す。図２Ａ〜２Ｃを参照すると、図２Ａの現実世界シーン２は、太陽２０、ゴルフホール２１、その中のポール２２、およびポール２２の現実世界陰影２３を含む。イメージ取込みユニット１１０は、そのような現実世界シーン２の現実世界イメージを生成し、ＡＲイメージジェネレータ１２０に供給する。図２Ｂおよび２Ｃのゴルフボール２４と、図２Ｃのその陰影イメージ２５は、ＡＲイメージジェネレータ１２０によって追加された仮想イメージである。図２Ｃのゴルフボール２４の仮想陰影イメージ２５は、仮想陰影イメージ２５も現実世界太陽２０によって投じられたかのように、現実世界太陽２０によって投じられるポール２２の現実世界陰影２３と同一の方向である。図２Ｂと２Ｃを比較することによって理解することができるように、追加された仮想陰影イメージ２５は、ＡＲイメージに追加されたゴルフボール２４の仮想イメージに現実感を吹き込み、実際に現実世界に存在するかのような幻想を与える。
【００１２】
図１を参照すると、イメージ取込みユニット１１０に対する現実世界光源（例えば、太陽）の位置を推定し、推定した位置に基づいて仮想陰影イメージを生成するようにＡＲジェネレータ１２０を構成することができる。一実施形態では、現実世界イメージがイメージ取込みユニット１１０によって取り込まれた位置、時刻、および日付に基づいて現実世界光源の位置を推定するようにＡＲジェネレータ１２０を構成することができる。ＡＲジェネレータ１２０は、カメラユニット１１０および／または外部デバイス（例えば、サーバ）から、位置、時刻、および／または日付に関するそのような情報を少なくとも部分的に得ることができる。図３〜５を参照しながら、（ａ）太陽の位置を推定すること、および（ｂ）それから仮想陰影イメージおよびＡＲイメージを生成することに関する技術的詳細を以下で詳細に説明する。
【００１３】
ＡＲジェネレータ１２０によって提供される拡張現実イメージを表示するようにディスプレイユニット１３０を構成することができる。一実施形態では、ディスプレイユニット１３０を陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、有機ＬＥＤ（ＯＬＥＤ）、および／またはプラズマディスプレイパネル（ＰＤＰ）と共に実装することができる。
【００１４】
図３に、図１のイメージ取込みユニットの例示的実施形態の概略ブロック図を示す。図３を参照すると、イメージ取込みユニット１１０は、現実世界イメージを生成するように構成されたカメラユニット３１０と、カメラユニット３１０の方位および傾斜を測定し、ポーズ情報（測定した方位および傾斜に関する情報を含む）を生成するように構成されたポーズ検出ユニット３２０とを含むことができる。別の実施形態では、任意選択で、イメージ取込みユニット１１０は、位置情報提供ユニット３３０および／または時刻／日付情報提供ユニット３４０を含むことができる。
【００１５】
カメラユニット３１０は、光学的現実世界イメージをデジタルデータに変換する１つまたは複数のデジタルカメラ（図示せず）を含むことができる。そのようなデジタルカメラの例には、限定はしないが、電荷結合デバイス（ＣＤＤ）デジタルカメラ、および相補型金属酸化物半導体（ＣＭＯＳ）デジタルカメラが含まれる。
【００１６】
それぞれのデジタルカメラの方位および傾斜を測定するようにポーズ検出ユニット３２０を構成することができる。一実施形態では、ポーズ検出ユニット３２０は、カメラユニット３１０のそれぞれのデジタルカメラの方位（例えば、北、南、東、および西方向）を検出するように構成された地磁界センサ（例えば、コンパス）（図示せず）と、カメラユニット３１０のそれぞれのデジタルカメラの傾斜を測定するジャイロセンサ（図示せず）とを含むことができる。
【００１７】
現実世界イメージがカメラユニット３１０によって取り込まれた位置に関する情報（すなわち、位置情報）を提供するように位置情報提供ユニット３３０を構成することができる。一実施形態では、位置情報提供ユニット３３０は、複数のＧＰＳ衛星からワイヤレスに受信されるＧＰＳ情報を受信し、受信したＧＰＳ情報に基づいてＧＰＳ技法を使用することによってイメージ取込みユニット１１０の位置を求めるように構成されたＧＰＳユニット（図示せず）を含むことができる。
【００１８】
別の実施形態では、位置情報提供ユニット３３０は、外部デバイス（例えば、サーバまたはワイヤレスネットワークエンティティ）からモバイル追跡情報を受信し、受信したモバイル追跡情報に基づいてモバイル追跡技法を使用することによってイメージ取込みユニット１１０の位置を求めるように構成されたモバイル追跡ユニット（図示せず）を含むことができる。本明細書では、モバイル追跡情報とは、１つまたは複数のモバイル追跡技法に基づいてイメージ取込みユニット１１０の位置を求めるために位置情報提供ユニット３３０によって使用することのできる情報と定義される。そのようなモバイル追跡技法の例には、限定はしないが、セル識別技法、拡張セル識別技法、三角測量（例えば、アップリンク到着時間差（Ｕ−ＴＤＯＡ））技法、到着時間（ＴＯＡ）技法、および到来角（ＡＯＡ）技法が含まれる。さらに、そのようなモバイル追跡情報の例には、限定はしないが、カメラユニット１１０が配置されるセルを示すセル情報、およびイメージ取込みユニット１１０を一意に特定する識別（ＩＤ）情報が含まれる。
【００１９】
モバイル追跡技法としてセル識別を使用する一例では、位置情報提供ユニット３３０は、イメージ取込みユニット１１０が位置するセルを示すセル情報（例えば、セルＩＤ）をモバイル追跡情報として受信し、次いで、受信したセル情報に基づいてイメージ取込みユニット１１０の位置を推定することができる（例えば、受信したセル情報によってイメージ取込みユニット１１０の位置として識別されたセルのカバレッジエリアの中心点を求め、それを選択する）。セル識別技法に関する技術的詳細は当技術分野で周知であり、本明細書ではさらには論じない。別の例では、位置情報提供ユニット３３０は、基地局または他の同等なデバイスから、それとの間のワイヤレス通信でイメージ取込みユニット１１０の識別（ＩＤ）情報を受信し、受信したＩＤ情報を外部デバイス（例えば、サーバ）に送信し（サーバが、位置を求めるワイヤレスネットワークエンティティからイメージ取込みユニット１１０に関する情報を得ることを可能にするように）、それに応答して、イメージ取込みユニット１１０の位置に関する情報をサーバから受信することができる。
【００２０】
現実世界イメージがカメラユニット３１０によって取り込まれた時刻および日付に関する情報を提供するように時刻／日付情報提供ユニット３４０を構成することができる。一実施形態では、時刻／日付情報提供ユニット３４０をクロックと共に設置することができる。別の実施形態では、時刻／日付情報提供ユニット３４０は、外部デバイス（例えば、サーバまたは基地局またはワイヤレス通信ネットワーク）から現在時刻および日付情報を受信することができる。
【００２１】
外部デバイス（例えば、サーバまたは基地局またはワイヤレス通信ネットワーク）と情報を通信するように構成されたワイヤレス通信ユニット（図示せず）と共に位置情報提供ユニット３３０および時刻／日付情報提供ユニット３４０を実装することができる。例えば、外部デバイスからＧＰＳ情報、モバイル追跡情報、および／または時刻／日付情報を受信し、それをＡＲジェネレータ１２０に供給するようにワイヤレス通信を構成することができる。
【００２２】
図４に、図１のＡＲジェネレータの例示的実施形態の概略ブロック図を示す。図４を参照すると、ＡＲジェネレータ１２０は、イメージ取込みユニット１１０と通信する、イメージ取込みユニット１１０によって取り込まれた現実世界イメージに関する光源情報（イメージ取込みユニット１１０に対する現実世界光源の位置に関する情報を含む）を生成するように構成された光源情報生成ユニット４１０を含むことができる。ＡＲジェネレータ１２０は、光源情報に基づいて、そのイメージを現実世界イメージ上に重ね合わせ、または現実世界イメージと混合させるべきである、仮想オブジェクトの仮想陰影イメージの陰影イメージを生成するように構成されたＡＲイメージ生成ユニット４２０をさらに含む。一実施形態では、ＡＲイメージ生成ユニット４２０は、現実世界イメージを仮想オブジェクトイメージおよび生成した仮想陰影イメージと混合することによってＡＲイメージを生成することができる。
【００２３】
一実施形態では、光源情報生成ユニット４１０は、現実世界イメージがイメージ取込みユニット１１０によって取り込まれた位置、時刻、および日付に基づいて、現実世界光源の位置（例えば、天空中の太陽の位置）を推定することができる。光源情報生成ユニット４１０は、イメージ取込みユニット１１０および／または外部デバイス（例えば、サーバ）によって提供された位置、時刻、および日付情報に少なくとも部分的に基づいて、現実世界イメージの位置ならびに／あるいは時刻および日付を求めることができる。
【００２４】
時刻および日付の決定に関して、一実施形態では、光源情報生成ユニット４１０は、イメージ取込みユニット１１０から、現実世界イメージと共に、現実世界イメージが取り込まれた時刻および日付に関する情報を受信することができる。別の実施形態では、光源情報生成ユニット４１０は、ＡＲジェネレータ１２０内に設置されたクロック（図示せず）または外部デバイス（例えば、サーバ）から現在時刻および日付を周期的に受信し、現実世界イメージがイメージ取込みユニット１１０から受信された時刻および日付を、現実世界イメージがイメージ取込みユニット１１０によって取り込まれた時刻および日付として設定することができる。
【００２５】
光源情報生成ユニット４１０は、現実世界イメージがイメージ取込みユニット１１０によって取り込まれた、求めた位置、時刻、および日付に基づいて、現実世界光源の位置（例えば、天空中の太陽の位置）を推定することができる。規定の時刻および日付に関する規定の位置での太陽の位置を計算するための当技術分野で周知の技法（複数可）を使用することができる。例えば、米国エネルギー省の国立再生可能エネルギー研究所（ＮＲＥＬ）によって提供される太陽位置アルゴリズム（ＳＰＡ）を使用することができる。参照によりその全体が本明細書に組み込まれるＲｅｄａ，Ｉ．、Ａｎｄｒｅａｓ，Ａ．、Ｓｏｌａｒ  Ｐｏｓｉｔｉｏｎ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  Ｓｏｌａｒ  Ｒａｄｉａｔｉｏｎ  Ａｐｐｌｉｃａｔｉｏｎｓ、５５頁、ＮＲＥＬ  Ｒｅｐｏｒｔ  Ｎｏ．ＴＰ−５６０−３４３０２、２００８年１月改訂で、ＳＰＡに関する別の技術的詳細を見出すことができる。別の例では、米国商務省の国立海洋大気圏局によって提供される太陽位置計算器を使用することができる。
【００２６】
ＡＲイメージ生成ユニット４２０は、イメージ取込みユニット１１０から現実世界イメージを受信し、受信した現実世界イメージに基づいて、受信した現実世界イメージ上に重ね合わせるべき仮想オブジェクトを得ることができる。一実施形態では、ＡＲイメージ生成ユニット４２０は、ＡＲジェネレータ１２０内に設置された記憶ユニット（図示せず）に事前格納された仮想オブジェクトのプールから仮想オブジェクトを選択することができる。別の実施形態では、ＡＲイメージ生成ユニット４２０は、受信した現実世界イメージを外部デバイス（例えば、サーバ）に送信することができ（したがって、サーバは、その中に格納された仮想オブジェクトのプールから仮想オブジェクトを選択することができる）、選択した仮想オブジェクトを外部デバイスから受信することができる。図５および６を参照しながら、仮想オブジェクト選択に関する技術的詳細を以下で詳細に説明する。
【００２７】
ＡＲイメージ生成ユニット４２０は、イメージ取込みユニット１１０および光源生成ユニット４１０からそれぞれポーズ情報（例えば、イメージ取込みユニット１１０の方位および傾斜）および光源情報を受信し、ポーズ情報および光源情報に少なくとも部分的に基づいて、選択した仮想オブジェクトの仮想陰影イメージを生成することができる。ＡＲイメージ生成ユニット４２０は、受信した現実世界イメージを、選択した仮想オブジェクトのイメージおよび生成した仮想陰影イメージと重ね合わせることにより、ＡＲイメージを生成することができる。図５および６を参照しながら、仮想陰影イメージおよびＡＲイメージ生成に関する技術的詳細を以下で詳細に説明する。
【００２８】
図５に、図４のＡＲイメージ生成ユニットの例示的実施形態の概略ブロック図を示す。図５を参照すると、ＡＲイメージ生成ユニット４２０は、（例えば、ＡＲジェネレータ１２０の記憶ユニット、またはＡＲジェネレータ１２０と通信する外部デバイス（図示せず）に格納された）仮想オブジェクトのプールから仮想オブジェクトを選択し、選択した仮想オブジェクトを、イメージ取込みユニット１１０によって取り込まれた現実世界イメージに登録する（すなわち、位置合せする）ように構成された仮想オブジェクト（ＶＯ）登録ユニット５１０と、光源情報生成ユニット４１０によって提供される光源情報に基づいて、選択した仮想オブジェクトの陰影イメージを生成するように構成された陰影イメージ登録ユニット５２０と、ＶＯの登録したイメージに対してシェーディング操作を実施するように構成されたＶＯシェーディングユニット５３０とを含むことができる。
【００２９】
所与の現実世界イメージについて適切な仮想オブジェクト（複数可）を選択し、当技術分野で周知のマーカベースの選択／登録技法（複数可）、マーカレス選択／登録技法（複数可）、および／またはハイブリッド選択／登録技法（複数可）を使用することにより、選択した仮想オブジェクト（複数可）をその所与の現実世界イメージに登録するようにＶＯ登録ユニット５１０を構成することができる。マーカレス選択／登録技法（複数可）のうちの１つを使用して、仮想オブジェクトを選択し、その所与の現実世界イメージに仮想オブジェクトを登録する一実施形態では、取り込んだ現実世界イメージの少なくとも一部を１つまたは複数のテンプレートイメージ（例えば、ＡＲジェネレータ１２０の記憶ユニットまたは外部デバイスに格納されたテンプレートイメージ）と比較し、合致が存在する場合、合致したテンプレートイメージに対応する仮想オブジェクトを選択し、取り込んだ現実世界イメージの合致部分にそれを登録するようにＶＯ登録ユニット５１０を構成することができる。テンプレートイメージは、１つまたは複数の仮想オブジェクトと重ね合わされるべき現実世界イメージ内の位置を見つける際に、かつ／または見つかった位置で重ね合わされるべき１つまたは複数の適切な仮想オブジェクトを選択する際に使用することのできる所定のイメージ（例えば、秦王朝の兵馬俑のイメージ、マーカイメージなど）でよい。一実施形態では、テンプレートイメージと同一または類似の現実世界イメージ内の部分を見つけ（すなわち、合致を見つけ）、識別した現実世界イメージの部分またはその付近で、合致したテンプレートイメージに対応する仮想オブジェクトを重ね合わせるようにＶＯ登録ユニット５１０を構成することができる。テンプレートイメージと同一または類似の現実世界イメージ内の部分を見つける際に、距離ベースの類似性尺度、特徴ベースの類似性尺度などのさまざまな従来型の類似性尺度または差異尺度を使用することができる。特定の実装に応じて、仮想オブジェクトと同一の記憶ユニット、または別々の記憶ユニットにテンプレートイメージを格納することができる。次の説明では、仮想オブジェクトを選択および登録し、仮想オブジェクトの仮想陰影イメージを生成するＶＯ登録ユニット５１０に関する技術的詳細を詳細に説明する。
【００３０】
図６に、マーカレス選択／登録技法に基づいて、仮想オブジェクトを選択および登録し、仮想オブジェクトの仮想陰影イメージを生成する例示的実施形態を示す。図６は、現実世界太陽６０、現実世界彫像６１、および現実世界太陽６０によって投じられる現実世界彫像６１の現実世界陰影６２を含むシーン６を示す。図６はさらに、現実世界彫像６１およびその現実世界陰影６２を含む現実世界イメージを取り込むように配置されたイメージ取込みユニット１１０を示す。図６に示す基準フレームｘｗ、ｙｗ、およびｚｗ、ならびに基準フレームｘｃ、ｙｃ、およびｚｃは、それぞれ現実世界基準フレーム（たとえば、天空中の現実世界太陽６０の位置を表す基準フレーム）およびイメージ取込みユニット１１０の基準フレーム（すなわち、カメラ基準フレーム）を表す。
【００３１】
たとえば、ＡＲジェネレータ１２０内の記憶ユニットは、彫像のさまざまなテンプレートイメージ（たとえば、秦王朝の兵馬俑のテンプレートイメージを含む）と、それに関する説明を含む、対応する仮想オブジェクト（たとえば、「秦王朝／兵馬俑」という説明を有する仮想オブジェクト６３）とを格納することができる。ＶＯ登録ユニット５１０は、イメージ取込みユニット１１０によって取り込まれた現実世界イメージの受信時に、さまざまな格納されたテンプレートイメージの中に、現実世界彫像６１を示す現実世界イメージの部分とほぼ同一または類似のテンプレートイメージがあるかどうかを判定し、合致したテンプレートイメージに対応する仮想オブジェクト（たとえば、仮想オブジェクト６３）を選択することができる。たとえば、ＶＯ登録ユニット５１０は、複数の仮想オブジェクトおよび対応するテンプレートイメージを列挙するテーブルを格納し、合致が見つかると、合致したテンプレートイメージに対応する仮想オブジェクト（複数可）を選択することができる。
【００３２】
現実世界イメージに重ね合わされるべき仮想オブジェクトの選択時に、ＶＯ登録ユニット５１０は、選択した仮想オブジェクトを現実世界イメージに登録することができる。当技術分野で周知のように、登録は、現実世界基準フレーム（たとえば、ｘｗ、ｙｗ、およびｚｗ）に対するカメラ基準フレーム（たとえば、ｘｃ、ｙｃ、およびｚｃ）の位置を求めること、およびカメラ基準フレームに対する仮想オブジェクトの位置を求めることを含む。一実施形態では、ＶＯ登録ユニット５１０は、ポーズ検出ユニット３２０によって提供されるポーズ情報（すなわち、現実世界基準フレームに対するイメージ取込みユニット１１０の方位および傾斜に関する情報）に基づいてカメラ基準フレームを求めることができる。その後で、ＶＯ登録ユニット５１０は、カメラ基準フレームに対する、選択した仮想オブジェクト（たとえば、仮想オブジェクト６３）の位置を求めることができる。たとえば、ＶＯ登録ユニット５１０は、現実世界彫像６１に近接する位置に仮想オブジェクト６３を配置することができる。上記の登録操作を実施する技法は当技術分野で周知であり、明快のために詳細には論じない。上述の仮想オブジェクト選択および登録技法は例示のためのものに過ぎず、当技術分野で周知の選択および登録技法のいずれも、特定の実施形態に適したものとして使用することができる。
【００３３】
光源情報生成ユニット４１０から光源情報を受信し、光源情報に基づいて、選択した仮想オブジェクトの陰影イメージを生成するように陰影イメージ登録ユニット５２０を構成することができる。一実施形態では、光源情報（たとえば、天空中の、または現実世界基準フレームに対する現実世界太陽６０の位置に関する情報を含む）に基づいてカメラ基準フレームに対する現実世界光源（たとえば、現実世界太陽６０）の位置を求め、求めた現実世界光源の位置に基づいて、登録した仮想オブジェクトの仮想陰影イメージ（たとえば、仮想陰影イメージ６４）を生成するように陰影イメージ登録ユニット５２０を構成することができる。
【００３４】
一実施形態では、陰影イメージ登録ユニット５２０は、求めた位置の現実世界光源をシミュレートする仮想光源を設定し、設定した仮想光源に対する仮想陰影イメージをレンダリングすることができる。陰影イメージをレンダリングする際、陰影イメージ登録ユニット５２０は、当技術分野で周知の１つまたは複数のシャドウレンダリング技法をそれぞれ実施する各ユニットを含むことができる。一例では、陰影イメージ登録ユニット５２０は、シャドウマップアルゴリズムを実施して陰影イメージをレンダリングするように構成されたシャドウマップユニットと、シャドウボリュームアルゴリズムを実施して陰影イメージをレンダリングするように構成されたシャドウボリュームユニットと、ソフトシャドウアルゴリズムを実施して陰影イメージをレンダリングするように構成されたソフトシャドウユニットのうちの少なくとも１つを含むことができる。上記のユニットによって実施されるシャドウレンダリング操作は当技術分野で周知であり、本明細書ではさらには論じない。
【００３５】
上記の構成によれば、陰影イメージ登録ユニット５２０は、生成した陰影イメージ（複数可）のサイズ、形状、方向、および輝度が方向、形状、および／またはサイズの点で現実世界光源によって投じられる現実世界イメージ内の陰影（複数可）に適合するように、光源情報に基づいて、選択した仮想オブジェクト（複数可）の仮想陰影イメージ（複数可）を生成することができる。これは、天空中の、または現実世界基準フレームに対する現実世界太陽の位置に対応する位置でセットアップされた仮想光源を使用して仮想陰影イメージ（複数可）が生成されたからである。
【００３６】
仮想オブジェクト（複数可）の表面のシェーディング（たとえば、色および輝度の分散）が現実世界光源による現実世界イメージのものと適合するように、光源情報およびポーズ情報に基づいて、仮想オブジェクト（複数可）の登録したイメージに対するシェーディング操作を実施するようにＶＯシェーディングユニット５３０を構成することができる。シェーディング操作を実施する際に、さまざまな周知のシェーディングアルゴリズムのうちの１つを使用することができる。そのようなシェーディングアルゴリズムの例には、限定はしないが、Ｌａｍｂｅｒｔ、Ｇｏｕｒａｕｄ、Ｐｈｏｎｇ、Ｂｌｉｎｎ、Ｏｒｅｎ−Ｎａｙａｒ、Ｃｏｏｋ−Ｔｏｒｒａｎｃｅ、およびＷａｒｄ異方性アルゴリズムを含む。たとえば、Ｐｈｏｎｇ反射モデルに基づいてライティングまたは輝度計算を実施し、仮想オブジェクトの頂点で色輝度を生成するようにＶＯシェーディングユニット５３０を構成することができる。
【００３７】
本開示によるＡＲジェネレータが上述の操作以外の操作を実施できることを理解されたい。一実施形態では、現実世界イメージに関係する気象情報および／または地理情報を考慮するようにＡＲジェネレータを構成することができる。ＡＲジェネレータ（たとえば、ＡＲジェネレータの陰影イメージ登録ユニット）は、イメージ取込みユニット（たとえば、１１０）および／または外部デバイス（たとえば、サーバ）から気象情報および／または地理情報を受信し、陰影イメージ（複数可）を生成し、かつ／または気象および／または地理情報に基づいて、選択した仮想オブジェクトのイメージをレンダリングすることができる。たとえば、陰影イメージ登録ユニットは、晴天下で取り込まれた現実世界イメージについて、より暗く、より輪郭がはっきりとした陰影イメージ（複数可）を生成することができ、曇天下で取り込まれた現実世界イメージについて、より明るく、ぼやけた陰影イメージ（複数可）を生成することができる。さらに、たとえば、陰影イメージ登録ユニットは、地方エリアで取り込まれた現実世界イメージについて、より暗く、より輪郭がはっきりとした陰影イメージ（複数可）を生成することができ、ダウンタウンエリアで取り込まれた現実世界イメージについて、より明るく、ぼやけた陰影イメージ（複数可）を生成することができる。曇天での雲、およびダウンタウンエリアの高層建築物は、太陽からの光線を散乱させることがあり、それによって輪郭がよりはっきりとした暗い陰影が妨げられる。陰影イメージ登録ユニットはさらに、仮想オブジェクト（複数可）の登録したイメージに対してシェーディング操作を実施する際に気象情報および／または地理情報を考慮に入れることができる。
【００３８】
さらに、イメージ取込みユニットのポーズ（したがって、視点）がユーザまたは他の何らかの手段によって変更される場合があり得る。一実施形態では、ＡＲジェネレータは、イメージ取込みユニット（たとえば、１１０）のポーズのそのような変更を追跡し、登録した仮想オブジェクトを再登録する（たとえば、カメラ基準フレーム（たとえば、ｘｃ、ｙｃ、およびｚｃ）と現実世界基準フレーム（たとえば、ｘｗ、ｙｗ、およびｚｗ）との間の関係を更新する）ことができる。ＡＲジェネレータの陰影イメージ登録ユニット（たとえば、５２０）は、再登録に基づいて新しい仮想陰影イメージを生成することができる。一実施形態では、ＡＲジェネレータのＶＯ登録ユニット（たとえば、５１０）は、当技術分野で周知のマーカベースの追跡技法（複数可）、マーカレス追跡技法（複数可）、および／またはハイブリッド追跡技法（複数可）を使用することによって追跡を実施することができる。別の実施形態では、ＶＯ登録ユニットは、イメージ取込みユニット内に設置されたポーズ検出ユニット（たとえば、３２０）からポーズ情報更新を周期的または断続的に受信することによって追跡を実施することができる。
【００３９】
上述のように、ＡＲジェネレータは、１つまたは複数の仮想オブジェクトのデータを格納するように構成された記憶ユニット（図示せず）を含むことができる。一実施形態では、記憶ユニットは、仮想オブジェクトごとに、仮想オブジェクトの形状および／またはテクスチャに関するデータを格納することができる。一実施形態では、記憶ユニットは、さまざまなタイプのイメージを処理する（たとえば、登録し、シェーディングし、またはレンダリングする）ことのできるさまざまなタイプのデータおよびプログラムを格納することができる。記憶ユニットは、半導体媒体、磁気媒体、光媒体、テープ、ハードディスクなどの任意のタイプのコンピュータ可読媒体を含むことができる。さらに、記憶ユニットは、必要な場合、かつ／または必要なとき（たとえば、満杯になったとき）に交換を可能にするために着脱可能メモリでよい。
【００４０】
図１〜６と共に説明したＡＲシステム１００をさまざまな方式で実装することができる。一実施形態では、イメージ取込みユニット１１０をワイヤレス通信端末として実装することができ、ＡＲジェネレータ１２０を、ワイヤレス通信端末とワイヤレス通信するリモートデバイス（たとえば、イメージ取込みユニット１１０に対してリモートに配置されたサーバ）として実装することができる。別の実施形態では、図１に表示するユニットのすべてまたは一部を、ワイヤレス通信機能を有する単一のコンピューティングデバイスとして実装することができる（たとえば、イメージ取込みユニット１１０、ＡＲジェネレータ１２０、および任意選択でディスプレイユニット１３０を単一のハウジング内に配置することができる）。そのようなコンピューティングデバイスの例には、限定はしないが、携帯電話、モバイルワークステーションおよびウェアラブルパーソナルコンピュータ（ＰＣ）、タブレットＰＣ、ウルトラモバイルＰＣ（ＵＭＰＣ）、携帯情報端末（ＰＤＡ）、ワイヤレス通信機能を有するヘッドアップディスプレイまたはヘッドマウントディスプレイ、ならびにスマートフォンが含まれる。
【００４１】
図７Ａ〜７Ｃに、ＡＲシステムの別の例示的実施形態の略図を示す。図７ＡはＡＲ携帯電話のブロック図である。図７Ｂおよび７ＣはＡＲ携帯電話の正面図および背面図である。図７Ａ〜７Ｃを参照すると、ＡＲ携帯電話７００は、１つまたは複数のワイヤレスアクセスネットワークエンティティ（図示せず）とワイヤレス通信し、そこから、ＡＲ携帯電話７００の時刻、日付、および／または位置に関する情報を受信するように構成されたワイヤレス通信ユニット７１０と、現実世界シーンのイメージ（すなわち、現実世界イメージ）を取り込むように構成されたカメラユニット７２０と、カメラユニット７２０の方位および傾斜を検出するように構成されたポーズ検出ユニット７３０と、１つまたは複数の仮想オブジェクトのデータを格納するように構成された記憶ユニット７４０と、取り込んだ現実世界イメージを、仮想オブジェクト（複数可）のイメージおよび仮想オブジェクト（複数可）陰影イメージ（複数可）と重ね合わせることによってＡＲイメージを生成するように構成されたＡＲジェネレータ７５０と、生成したＡＲイメージを表示するように構成されたディスプレイユニット７６０とを含むことができる。
【００４２】
カメラユニット７２０、ポーズ検出ユニット７３０、記憶ユニット７４０、ＡＲジェネレータ７５０、およびディスプレイユニット７６０の構造的構成および機能は、それぞれ、図１〜６で説明したイメージ取込みユニット１１０のカメラユニット３１０、イメージ取込みユニット１１０のポーズ検出ユニット３２０、記憶ユニット、ＡＲジェネレータ１２０、およびディスプレイユニット１３０と同様である。簡単のために、ユニット７２０〜７６０に関する詳細をさらには説明しない。
【００４３】
ワイヤレス通信ユニット７１０ユニットは、イメージ取込みユニット１１０の位置情報提供ユニット３３０および時刻／日付情報提供ユニット３４０によって実施される操作の少なくとも一部を実施することができる。一実施形態では、ワイヤレス通信ユニット７１０は、当技術分野で周知の任意の適切なワイヤレス通信プロトコルのうちの１つに従って通信するようにそれぞれ適合されたアンテナ（複数可）または１つまたは複数のワイヤレス通信モジュール（図示せず）を含むことができる。そのようなワイヤレス通信プロトコルの例には、限定はしないが、ワイヤレス広域ネットワーク（ＷＷＡＮ）プロトコル（たとえば、Ｗ−ＣＤＭＡ、ＣＤＭＡ２０００）、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）プロトコル（たとえば、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ）、ワイヤレスパーソナルエリアネットワーク（ＷＰＡＮ）プロトコル、および全地球測位システム（ＧＰＳ）プロトコルが含まれる。
【００４４】
一実施形態では、ワイヤレス通信ユニット７１０は、１つまたは複数のワイヤレス通信ネットワークエンティティ（たとえば、基地局（複数可）、サーバ（複数可）、または衛星（複数可））から、ＡＲ携帯電話７００の位置に関する情報（すなわち、位置情報）を受信することができる。一実施形態では、位置情報は、厳密な座標（すなわち、経度および緯度）、またはＡＲ携帯電話７００が位置する可能性がある座標の範囲を示すことができる。別の実施形態では、位置情報は、厳密な座標、またはＡＲ携帯電話７００が位置する可能性がある座標の範囲を求めるためにＡＲ携帯電話７００または他のデバイス（たとえば、基地局または他のワイヤレスネットワークエンティティ）によって使用することのできる情報を含むことができる。非限定的な例として、そのような位置情報は、ＧＰＳネットワークの複数のＧＰＳ衛星からのＧＰＳ信号、ＡＲ携帯電話７００が位置する特定のセルを特定するＷ−ＣＤＭＡネットワークの基地局からのセル情報、および／または外部サーバからのＡＲ携帯電話７００の厳密な座標を指定する情報を含むことができる。
【００４５】
一実施形態では、ワイヤレス通信ユニット７１０は、１つまたは複数のワイヤレス通信ネットワークエンティティ（たとえば、基地局（複数可）、サーバ（複数可）、または衛星（複数可））から、現在の時刻および日付に関する情報を受信することができる。別の実施形態では、ワイヤレス通信ユニット７１０が時刻および日付情報を受信する代わりに、ＡＲ携帯電話７００が、現在の時刻および日付を追跡する別のクロックユニット（図示せず）を内部に含むことができる。さらに、別の実施形態では、ワイヤレス通信ユニット７１０は、１つまたは複数の外部サーバ（たとえば、気象情報サーバおよび／または地理情報システム（ＧＩＳ）サーバ）から気象情報および／または地理情報を受信することができる。気象情報は、ＡＲ携帯電話７００の位置の気象を示すことができる。地理情報は、ＡＲ携帯電話７００が都市エリア内に位置するか、それとも地方エリアに位置するかを示すことができる。
【００４６】
図８に、ＡＲイメージを生成する例示的実施形態の例示的流れ図を示す。図８を参照すると、ＡＲシステムのワイヤレス通信ユニットは、１つまたは複数のワイヤレスネットワークエンティティから位置情報を受信する（ブロック８０５）。一実施形態では、ワイヤレス通信ユニットは、位置情報として１つまたは複数のＧＰＳ衛星からＧＰＳ信号を受信することができる。別の実施形態では、ワイヤレス通信ユニットは、位置情報としてイメージ取込みユニットとワイヤレス通信する基地局からセル情報を受信することができる。さらに別の実施形態では、ワイヤレス通信ユニットは、外部デバイスにイメージ取込みユニットの識別情報を送信し、それに応答して外部デバイスからイメージ取込みユニットの位置を位置情報として受信することができる。
【００４７】
さらに、ワイヤレス通信ユニットは、外部デバイスから時刻および日付情報を受信することができる（ブロック８１０）。ブロック８１５では、ＡＲシステム内に含まれるデバイス（たとえば、イメージ取込みユニット）が現実世界（ＲＷ）イメージを取り込む。ブロック８２０では、ＡＲシステムの光源情報生成ユニットが、現実世界イメージが取り込まれた位置、時刻、および日付に基づいて、取り込んだ現実世界イメージに関する光源情報（現実世界イメージについての現実世界光源の位置に関する情報を含む）を生成する。一実施形態では、光源情報生成ユニットは、ＧＰＳ信号に基づいて、現実世界イメージが取り込まれた位置を求めることができる。別の実施形態では、光源情報生成ユニットは、セル情報に基づいて、現実世界イメージが取り込まれた位置を求めることができる。さらに別の実施形態では、光源情報生成ユニットは、応答して外部デバイスから受信したイメージ取込みユニットの位置を、現実世界イメージが取り込まれた位置として求めることができる。
【００４８】
ワイヤレス通信ユニットは、外部デバイスから気象情報および／または地理情報を受信することができる（ブロック８２５）。さらに、ＡＲシステムのポーズ検出ユニットが、イメージ取込みユニットの方位および傾斜を示すポーズ情報を検出および生成する（ブロック８３０）。ブロック８３５では、ＡＲシステムのＶＯ登録ユニットが、仮想オブジェクト（ＶＯ）を現実世界イメージに登録し、ブロック８４０では、ＡＲシステムの陰影イメージ登録ユニットが、光源情報、ポーズ情報、気象情報、および／または地理情報のうちの少なくとも１つに基づいて、選択したＶＯに関する陰影イメージ（複数可）を生成する。ブロック８４５では、ＡＲシステムのＡＲイメージ生成ユニットが、取り込んだ現実世界イメージを、仮想オブジェクト（複数可）のイメージ（複数可）およびその陰影イメージ（複数可）と重ね合わせることによってＡＲイメージを生成する。
【００４９】
図１〜８と共に説明したＡＲシステム１００およびそのユニットの構造的構成および機能的構成は、ＡＲシステム１００を実装することができるいくつかの方式を示すことを理解されたい。何らかの他の実施形態では、ＡＲシステム１００のユニットまたは機能の一部を、リモート位置の１つまたは複数の他のデバイスで実装することができる。たとえば、ネットワーク環境では、ＡＲシステム１００の構成要素の一部またはすべてを、所望の実装に応じて２つ以上のデバイスを通じて分散システムとして実装することができる。ＡＲシステム１００は、リモートコンピュータなどの１つまたは複数のリモートデバイスへの論理接続を使用するネットワーク環境で動作することができる。リモートコンピュータは、パーソナルコンピュータ、サーバ、ハンドヘルドまたはラップトップデバイス、ルータ、ネットワークＰＣ、ピアデバイス、あるいは他の共通ネットワークノードでよく、通常は、ＡＲシステム１００に関して本開示で説明した構成要素の一部またはすべてを含むことができる。
【００５０】
１つの分散ネットワーク実施形態では、ＡＲシステム１００の光源情報生成ユニット４１０のすべてまたは一部の機能を、ＡＲシステム１００と通信する別々のＡＲデバイス（たとえば、ＡＲサーバ）上で実装することができる。上記の実施形態の一例では、ＡＲシステム１００は、デジタルカメラを備える携帯電話でよく、その識別情報（たとえば、その電話番号など）をＡＲサーバに送信することができ、したがってＡＲサーバは、識別情報に基づいてＡＲシステム１００の位置を見つけることができる。非限定的な例として、ＡＲサーバは、１つまたは複数の周知の携帯電話追跡アルゴリズム（たとえば、三角測量アルゴリズム）を使用してＡＲシステム１００の位置を見つける携帯電話追跡ユニットを含むことができる。あるいは、ＡＲサーバは、携帯電話追跡機能を提供する別のワイヤレスネットワークエンティティに識別情報を転送することもできる。次いで、ＡＲサーバは、ワイヤレスネットワークエンティティから携帯電話の位置を受信することができる。特定の実装に応じて、ＡＲサーバは、携帯電話の位置に基づいて、携帯電話に対する現実世界光源（たとえば、太陽）の位置を推定し、光源情報を生成することができる。上記の実装では、ＡＲサーバは、現実世界光源の位置を推定するために携帯電話から時刻および日付情報を受信することができ、あるいは、現在の時刻および日付を追跡するクロックユニットを含むことができる。上記の実施形態の別の例では、ＡＲシステム１００は、デジタルカメラおよびＧＰＳ機能を備える携帯電話でよく、それ自体を一意に特定する情報（たとえば、その電話番号など）およびその位置をＡＲサーバに送信することができ、したがってＡＲサーバは、受信した位置情報に基づいて、携帯電話に対する現実世界光源の位置を推定することができる。別の分散ネットワーク実施形態では、ＡＲシステム１００のイメージ処理機能のすべてまたは一部（たとえば、ＶＯ登録ユニット５１０、陰影イメージ登録ユニット５２０、および／またはＶＯシェーディングユニット５３０の機能）を、ＡＲシステム１００と通信する別々のＡＲデバイス（たとえば、ＡＲサーバ）で実装することができる。上記の実施形態の一例では、ＡＲシステム１００は、デジタルカメラを備える携帯電話でよく、デジタルカメラによって取り込まれた現実イメージをＡＲサーバに送信することができ、したがってＡＲサーバは、複数の事前格納された仮想オブジェクトから仮想オブジェクト（複数可）を選択し、選択した仮想オブジェクト（複数可）について陰影イメージ（複数可）を生成し、かつ／または選択した仮想オブジェクト（複数可）およびその陰影イメージ（複数可）を含む拡張現実イメージを生成することができる。さらに別の分散ネットワーク実施形態では、ＡＲシステム１００のＶＯ登録ユニット５１０、光源情報生成ユニット４１０、陰影イメージ登録ユニット５２０、および／またはＶＯシェーディングユニット５３０のすべてまたは一部の機能を別々のＡＲデバイスで実装することができる。特定の応用分野に適した特定の実装を実現する際に本開示で開示した事柄を適用することに、当業者なら困難はないはずである。ほんの数例を挙げると、広告、ナビゲーション、軍事務、エンターテイメントなどのさまざまな応用分野で、本開示に従って準備したＡＲシステムを使用することができる。
【００５１】
本明細書で開示したこれらおよび他のプロセスおよび方法について、プロセスおよび方法で実施される機能を異なる順序で実装できることを当業者は理解されよう。さらに、概説したステップおよび動作は例として与えたに過ぎず、開示の実施形態の本質を損なうことなく、ステップおよび動作の一部は任意選択でよく、より少数のステップおよび動作として組み合わせることができ、または追加のステップおよび動作として拡張することができる。
【００５２】
ハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、またはそれらの組合せを含むさまざまな形態で本開示の例示的実施形態による装置および方法を実装できることを理解されたい。たとえば、本開示の１つまたは複数の例示的実施形態は、プログラム記憶デバイス（たとえば、ハードディスク、磁気フロッピィディスク、ＲＡＭ、ＲＯＭ、ＣＤ−ＲＯＭなど）などの少なくとも１つのコンピュータ可読媒体上に有形に実施され、コンピュータおよびコンピュータシステムを含む、適切な構成を有する任意のデバイスまたはマシンによって実行可能であるプログラムまたは他の適切なコンピュータ実行可能命令を有するアプリケーションとして実装することができる。一般に、コンピュータ実行可能命令は、プログラムモジュールの形態でよく、特定のタスクを実行し、特定の抽象データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。さまざまな実施形態で、必要に応じてプログラムモジュールの機能を組み合わせ、または分散させることができる。添付の図に示す構成システム構成要素およびプロセス動作の一部をソフトウェアで実装することができるので、本開示のさまざまな実施形態をプログラムする方式に応じて、システムユニット／モジュール間の接続（または方法動作の論理フロー）が異なることがあることをさらに理解されたい。
【００５３】
本開示は、さまざまな態様の例示として意図される本願に記載の特定の実施形態によって限定されるべきではない。当業者には明らかであろうが、その趣旨および範囲から逸脱することなく、多くの修正および変形を行うことができる。本開示の範囲内の機能的に等価な方法および装置が、本明細書で列挙したものに加えて、上記の説明から当業者には明らかであろう。そのような修正および変形は、添付の特許請求の範囲内に包含されるものとする。本開示は、添付の特許請求の範囲、およびそのような特許請求の範囲が権利を有する全範囲の均等物のみによって限定されるべきである。本開示が特定の方法、試薬、化合物組成、または生物学的システムに限定されず、それらはもちろん変化する可能性があることを理解されたい。本明細書で使用した用語は特定の実施形態を説明するためのものに過ぎず、限定を意図するものではないことも理解されたい。
【００５４】
本明細書における実質的にすべての複数形および／または単数形の用語の使用に対して、当業者は、状況および／または用途に適切なように、複数形から単数形に、および／または単数形から複数形に変換することができる。さまざまな単数形／複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。
【００５５】
通常、本明細書において、特に添付の特許請求の範囲（たとえば、添付の特許請求の範囲の本体部）において使用される用語は、全体を通じて「オープンな（ｏｐｅｎ）」用語として意図されていることが、当業者には理解されよう（たとえば、用語「含む（ｉｎｃｌｕｄｉｎｇ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｉｎｇ  ｂｕｔ  ｎｏｔ  ｌｉｍｉｔｅｄ  ｔｏ）」と解釈されるべきであり、用語「有する（ｈａｖｉｎｇ）」は、「少なくとも有する（ｈａｖｉｎｇ  ａｔ  ｌｅａｓｔ）」と解釈されるべきであり、用語「含む（ｉｎｃｌｕｄｅｓ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｅｓ  ｂｕｔ  ｉｓ  ｎｏｔ  ｌｉｍｉｔｅｄ  ｔｏ）」と解釈されるべきである、など）。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことが、当業者にはさらに理解されよう。たとえば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも１つの（ａｔ  ｌｅａｓｔ  ｏｎｅ）」および「１つまたは複数の（ｏｎｅ  ｏｒ  ｍｏｒｅ）」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「１つまたは複数の」または「少なくとも１つの」および「ａ」または「ａｎ」などの不定冠詞を含む場合であっても、不定冠詞「ａ」または「ａｎ」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に１つのそのような記載を含む実施形態に限定する、ということを示唆していると解釈されるべきではない（たとえば、「ａ」および／または「ａｎ」は、「少なくとも１つの」または「１つまたは複数の」を意味すると解釈されるべきである）。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう（たとえば、他の修飾語なしでの「２つの記載（ｔｗｏ  ｒｅｃｉｔａｔｉｏｎｓ）」の単なる記載は、少なくとも２つの記載、または２つ以上の記載を意味する）。さらに、「Ａ、ＢおよびＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（たとえば、「Ａ、Ｂ、およびＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。「Ａ、Ｂ、またはＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（たとえば、「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステ���を含むが、それに限定されない）。２つ以上の代替用語を提示する事実上いかなる離接する語および／または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方（ｏｎｅ  ｏｆ  ｔｈｅ  ｔｅｒｍｓ）、当該用語のいずれか（ｅｉｔｈｅｒ  ｏｆ  ｔｈｅ  ｔｅｒｍｓ）、または両方の用語（ｂｏｔｈ  ｔｅｒｍｓ）を含む可能性を企図すると理解されるべきであることが、当業者にはさらに理解されよう。たとえば、句「ＡまたはＢ」は、「Ａ」または「Ｂ」あるいは「ＡおよびＢ」の可能性を含むことが理解されよう。
【００５６】
さらに、本開示の特徴または態様がマーカッシュグループによって記述されるが、それによって、本開示はマーカッシュグループの任意の個々メンバまたはメンバのサブグループによっても記述されることを当業者は理解されよう。
【００５７】
当業者は理解するであろうが、明細書を与えることに関してなど、あらゆる目的について、本明細書で開示するすべての範囲は、本明細書のあらゆる可能な部分範囲および部分範囲の組合せをも包含する。任意の列挙される範囲は、少なくとも等しい半分、１／３、１／４、１／５、１／１０などに分割される同じ範囲を十分に記述し、可能にするものとして容易に理解することができる。非限定的な例として、本明細書で論じた各範囲を、下側の１／３、中央の１／３、および上側の１／３などに容易に分割することができる。やはり当業者は理解するであろうが、「最大」、「少なくとも」などのすべての言い回しは記載の数を含み、上記で論じた部分範囲にその後で分割することのできる範囲を指す。最後に、当業者は理解するであろうが、範囲はそれぞれの個々のメンバを含む。したがって、たとえば、１〜３セルを有するグループは、１、２、または３セルを有するグループを指す。同様に、１〜５セルを有するグループは、１、２、３、４、または５セルを有するグループを指し、以下同様である。
【００５８】
上記から、本開示のさまざまな実施形態を本明細書で例示のために説明したこと、および本開示の範囲および趣旨から逸脱することなくさまざまな修正を行えることを理解されよう。したがって、本明細書で開示したさまざまな実施形態は、限定を意図するものではなく、真の範囲および趣旨は以下の特許請求によって示される。
【図１】
2013517579.tif 000003
【図２ａ】
2013517579.tif 000004
【図２ｂ】
2013517579.tif 000005
【図２ｃ】
2013517579.tif 000006
【図３】
2013517579.tif 000007
【図４】
2013517579.tif 000008
【図５】
2013517579.tif 000009
【図６】
2013517579.tif 000010
【図７】
2013517579.tif 000011
【図８】
2013517579.tif 000012
【手続補正書】
【提出日】平成24年7月18日(2012.7.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
現実世界イメージを取り込むように構成されたイメージ取込みユニットと、
前記イメージ取込みユニットと通信し、前記現実世界イメージが取り込まれる位置、時刻、および日付のうちの少なくとも１つに基づいて、前記イメージ取込みユニットによって取り込まれた前記現実世界イメージについての光源情報を生成するように構成された光源情報生成ユニットであって、前記光源情報が、前記イメージ取込みユニットに対する前記現実世界光源の位置に関する情報を含む光源情報生成ユニット
を備える拡張現実（ＡＲ）ジェネレータと、
生成した光源情報に基づいて仮想オブジェクトの陰影イメージを生成し、前記現実世界イメージ上に前記仮想オブジェクトおよび前記陰影イメージを重ね合わせるように構成されたＡＲイメージ生成ユニットと
を備える拡張現実システム。
【請求項２】
前記イメージ取込みユニットが、前記イメージ取込みユニットの方位および傾斜を測定するように構成されたポーズ検出ユニットをさらに備える請求項１に記載のシステム。
【請求項３】
前記ＡＲイメージ生成ユニットが、
前記イメージ取込みユニットの測定した方位および傾斜に基づいて、前記イメージ取込みユニットの基準フレームを求め、前記基準フレームに対する前記仮想オブジェクトの位置を求めるように構成された仮想オブジェクト登録ユニット
を備える請求項２に記載のシステム。
【請求項４】
前記仮想オブジェクト登録ユニットがさらに、マーカベースの選択／登録技法、マーカレス選択／登録技法、またはハイブリッド選択／登録技法を実施して、前記基準フレームに対する前記仮想オブジェクトの位置を求めるように構成される請求項３に記載のシステム。
【請求項５】
前記ＡＲイメージ生成ユニットが、
前記光源情報に基づいて、前記基準フレームに対する前記現実世界光源の位置を求め、求めた前記現実世界光源の位置に基づいて、前記仮想オブジェクトの前記陰影イメージを生成するように構成された陰影イメージ登録ユニット
をさらに備える請求項３に記載のシステム。
【請求項６】
前記陰影イメージ登録ユニットがさらに、前記現実世界光源の位置で前記現実世界光源をシミュレートする仮想光源を設定し、設定した仮想光源に対して前記陰影イメージをレンダリングするように構成される請求項５に記載のシステム。
【請求項７】
前記陰影イメージ登録ユニットが少なくとも、
シャドウマップアルゴリズムを実施して前記陰影イメージをレンダリングするように構成されたシャドウマップユニット、
シャドウボリュームアルゴリズムを実施して前記陰影イメージをレンダリングするように構成されたシャドウボリュームユニット、または
ソフトシャドウアルゴリズムを実施して前記陰影イメージをレンダリングするように構成されたソフトシャドウユニット
を備える請求項６に記載のシステム。
【請求項８】
前記ポーズ検出ユニットが、前記イメージ取込みユニットの方位および傾斜に関する更新を提供するように構成され、
前記陰影イメージ登録ユニットが、前記更新に基づいて新しい陰影イメージを生成するように構成される請求項６に記載のシステム。
【請求項９】
前記陰影イメージ登録ユニットがさらに、前記ＡＲシステムと通信するサーバから現実世界イメージに関する気象情報および地理情報のうちの少なくとも１つを受信し、前記現実世界イメージに関する前記気象情報または前記地理情報に少なくとも基づいて前記仮想光源を設定するように構成される請求項６に記載のシステム。
【請求項１０】
前記陰影イメージ登録ユニットがさらに、前記現実世界イメージに関する前記気象情報および前記地理情報のうちの少なくとも１つに基づいて前記仮想光源の強度を求めるように構成される請求項９に記載のシステム。
【請求項１１】
前記イメージ取込みユニットが、基地局と通信し、前記基地局からセル情報を受信するように構成されたワイヤレス通信ユニットをさらに備え、前記光源情報生成ユニットがさらに、受信したセル情報に基づいて前記イメージ取込みユニットの位置を求めるように構成される請求項１に記載のシステム。
【請求項１２】
前記光源情報生成ユニットがさらに、前記ＡＲシステムと通信するサーバに前記イメージ取込みユニットの識別（ＩＤ）情報を送信し、それに応答して、前記イメージ取込みユニットの位置を前記サーバから受信するように構成される請求項１に記載のシステム。
【請求項１３】
拡張現実を提供する方法であって、
現実世界イメージを取り込むこと、
前記現実世界イメージを取り込んだ位置、時刻、および日付のうちの少なくとも１つを求めること、
前記現実世界イメージを取り込んだ位置、時刻、および日付のうちの少なくとも１つに基づいて、取り込んだ現実世界イメージについての光源情報を生成することであって、前記光源情報が、前記現実世界イメージについての現実世界光源の位置に関する情報を含むこと、および
前記光源情報に基づいて前記現実世界イメージに重ね合わされた仮想オブジェクトの陰影イメージを生成すること
を含む方法。
【請求項１４】
前記現実世界イメージを取り込んだ位置を求めることが、
前記現実世界イメージを取り込んだデバイスとワイヤレス通信する１つまたは複数のＧＰＳ衛星からＧＰＳ信号を受信することにより、前記デバイスの位置を求めること、および
前記ＧＰＳ信号に基づいて、前記現実世界イメージを取り込んだ位置を求めること
を含む請求項１３に記載の方法。
【請求項１５】
前記現実世界イメージを取り込んだ位置を求めることが、
前記現実世界イメージを取り込んだデバイスとワイヤレス通信する基地局からセル情報を受信することにより、前記デバイスの位置を求めること、および
受信したセル情報に基づいて、前記現実世界イメージを取り込んだ位置を求めること
を含む請求項１３に記載の方法。
【請求項１６】
前記現実世界イメージを取り込んだ位置を求めることが、
前記現実世界イメージを取り込んだデバイスとワイヤレス通信するサーバに前記デバイスを特定する識別（ＩＤ）情報を送信することにより、前記デバイスの位置を求めること、
前記サーバから前記デバイスの位置を受信すること、および
前記デバイスの位置に基づいて、前記現実世界イメージを取り込んだ位置を求めること
を含む請求項１３に記載の方法。
【請求項１７】
光源情報を生成することが、前記現実世界イメージを取り込んだデバイスの方位および傾斜を測定することを含む請求項１３に記載の方法。
【請求項１８】
陰影イメージを生成することが、
前記現実世界イメージを取り込んだ前記デバイスの測定した方位および傾斜に基づいて、前記現実世界イメージを取り込んだ前記デバイスの基準フレームを求めること、
前記基準フレームに対する前記仮想オブジェクトの位置を求めること、
前記光源情報に基づいて、前記基準フレームに対する前記現実世界光源の位置を求めること、および
求めた前記現実世界光源の位置に基づいて、前記仮想オブジェクトの前記陰影イメージを生成すること
を含む請求項１７に記載の方法。
【請求項１９】
求めた前記現実世界光源の位置に基づいて、前記仮想オブジェクトの前記陰影イメージを生成することが、
前記現実世界光源の位置で前記現実世界光源をシミュレートする仮想光源を設定すること、および
設定した仮想光源に対して前記陰影イメージをレンダリングすること
を含む請求項１８に記載の方法。
【請求項２０】
光源情報を生成することが、
前記現実世界イメージを取り込んだデバイスとワイヤレス通信するサーバから前記現実世界イメージに関する気象情報および地理情報のうちの少なくとも１つを受信すること、および
前記気象情報または前記地理情報に少なくとも基づいて前記陰影イメージを生成すること
を含む請求項１３に記載の方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
ＡＲイメージ生成ユニット４２０は、イメージ取込みユニット１１０および光源情報生成ユニット４１０からそれぞれポーズ情報（例えば、イメージ取込みユニット１１０の方位および傾斜）および光源情報を受信し、ポーズ情報および光源情報に少なくとも部分的に基づいて、選択した仮想オブジェクトの仮想陰影イメージを生成することができる。ＡＲイメージ生成ユニット４２０は、受信した現実世界イメージを、選択した仮想オブジェクトのイメージおよび生成した仮想陰影イメージと重ね合わせることにより、ＡＲイメージを生成することができる。図５および６を参照しながら、仮想陰影イメージおよびＡＲイメージ生成に関する技術的詳細を以下で詳細に説明する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
ワイヤレス通信ユニット７１０は、イメージ取込みユニット１１０の位置情報提供ユニット３３０および時刻／日付情報提供ユニット３４０によって実施される操作の少なくとも一部を実施することができる。一実施形態では、ワイヤレス通信ユニット７１０は、当技術分野で周知の任意の適切なワイヤレス通信プロトコルのうちの１つに従って通信するようにそれぞれ適合されたアンテナ（複数可）または１つまたは複数のワイヤレス通信モジュール（図示せず）を含むことができる。そのようなワイヤレス通信プロトコルの例には、限定はしないが、ワイヤレス広域ネットワーク（ＷＷＡＮ）プロトコル（たとえば、Ｗ−ＣＤＭＡ、ＣＤＭＡ２０００）、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）プロトコル（たとえば、ＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｎ）、ワイヤレスパーソナルエリアネットワーク（ＷＰＡＮ）プロトコル、および全地球測位システム（ＧＰＳ）プロトコルが含まれる。
【国際調査報告】
2013517579.tif 000013
2013517579.tif 000014