(57)【特許請求の範囲】
【請求項１】
実視覚背景情報（ＶＢＩ（ｎ＋１））を含む外部視覚情報（画像Ｂ、Ｌ、Ｆ）を収集するための視覚入力装置（Ｃ）と、選択されたアプリケーションを該外部視覚情報（画像）と関連付け、該外部視覚情報（画像）およびユーザ関連入力情報に基づいて該選択されたアプリケーションを実行し、該アプリケーションに応答して少なくとも１つの仮想視覚オブジェクト（ＶＶＯ（ｎ＋１））に関連する視覚出力信号（Ｐ（ｎ＋１））を生成するための処理装置（ＰＤ）とを備えるモバイル装置（ＭＤ）であって、
前記処理装置（ＰＤ）は、プロジェクタ装置（Ｐ）が前記視覚背景に前記少なくとも１つの仮想視覚オブジェクト（ＶＶＯ（ｎ＋１））に関連する前記視覚出力信号（Ｐ（ｎ＋１））を投影するように、前記モバイル装置（ＭＤ）内に含まれる前記プロジェクタ装置（Ｐ）に前記ユーザ関連入力情報に基づいて構成された前記視覚出力信号（Ｐ（ｎ＋１））を提供し、それによって前記外部視覚情報を変更するように構成されており、
前記ユーザ関連入力情報が前記実視覚背景情報（ＶＢＩ（ｎ＋１））に含まれる実視覚情報（Ｌ、Ｆ）を含み、
前記ユーザ関連入力情報が、前記モバイル装置（ＭＤ）内に組み込まれ、前記視覚背景に関して前記モバイル装置（ＭＤ）の動きを決定するようになされた、運動検出器（Ｄ）によって検出される動き情報を備える
ことを特徴とする、モバイル装置（ＭＤ）。
【請求項２】
前記処理装置（ＰＤ）がさらに、前記視覚入力装置（Ｃ）から受信された前記外部視覚情報（画像）と、前記実視覚背景情報（ＶＢＩ（ｎ＋１））および前記背景に前に投影された少なくとも１つの仮想視覚オブジェクト（ＶＶＯ（ｎ））を見分けるようになされた、請求項１に記載のモバイル装置（ＭＤ）。
【請求項３】
前記処理装置（ＰＤ）がさらに、前記少なくとも１つの仮想視覚オブジェクト（ＶＶＯ（ｎ））および前記実視覚背景情報（ＶＢＩ（ｎ＋１））からメタデータ情報（M（ｎ））を決定するために前記少なくとも１つの仮想視覚オブジェクト（ＶＶＯ（ｎ））および前記実視覚背景情報（ＶＢＩ（ｎ＋１））を分析するようになされた、請求項２に記載のモバイル装置（ＭＤ）。
【請求項４】
前記処理装置（ＰＤ）がさらに前記メタデータ情報に基づいて前記選択されたアプリケーションを実行するようになされた、請求項３に記載のモバイル装置（ＭＤ）。
【請求項５】
前記処理（ＰＤ）装置が、前記モバイル装置（ＭＤ）に備えられたディスプレイ（Ｓ）への提供のために前記少なくとも１つの仮想視覚オブジェクト（ＶＶＯ（ｎ＋１））に関連する第２の視覚出力信号（Ｓ（ｎ＋１））を生成するようになされた、請求項１乃至４のいずれか１項に記載のモバイル装置（ＭＤ）。
【請求項６】
前記処理装置（ＰＤ）がさらに、前記背景情報（ＶＢＩ（ｎ＋１））にオーバーレイする前記少なくとも１つの仮想視覚オブジェクト（ＶＶＯ（ｎ＋１））を備えるものとして前記第２の視覚出力信号（Ｓ（ｎ＋１））を生成するようになされた、請求項５に記載のモバイル装置（ＭＤ）。
【請求項７】
前記処理装置がさらに、少なくとも１つの他の仮想視覚オブジェクト（ＶＶＯＳ（ｎ＋１））を備えるものとして第２の視覚出力信号（Ｓ（ｎ＋１））を生成するようになされた、請求項１乃至４のいずれか１項に記載のモバイル装置（ＭＤ）。
【請求項８】
前記処理装置（ＰＤ）がさらに、前記アプリケーションおよび／または前記背景情報（ＶＢＩ（ｎ＋１））によって生成される前記少なくとも１つの他の仮想視覚オブジェクト（ＶＶＯＳ（ｎ＋１））をオーバーレイする前記少なくとも１つの仮想視覚オブジェクト（ＶＶＯ（ｎ＋１））を備えるものとして前記第２の視覚出力信号（Ｓ（ｎ＋１））を生成するようになされた、請求項５または６に記載のモバイル装置（ＭＤ）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、請求項１のプリアンブルに提示されるような拡張現実アプリケーションのためのモバイル装置に関する。
【背景技術】
【０００２】
ＰＣＴ出願ＰＣＴ／ＣＨ２００６／０００１９６は、カメラを含むモバイル装置、選択されたアプリケーションを外部視覚情報と関連付けるためのならびに視覚背景情報およびモバイル装置のオリエンテーションに基づく選択されたアプリケーションの実行を開始するための制御モジュールを開示する。視覚背景に関するモバイル装置のオリエンテーションは、ユーザがそのモバイル装置を位置付けている方法に関連するため、それはユーザ関連入力情報と考えられることができる。先行技術のモバイル装置は前記アプリケーションに応答して視覚出力信号を生成するためのおよびこれらの視覚出力信号をモバイル装置のディスプレイに提供するための出力ジェネレータをさらに含む。
【０００３】
したがって、モバイル装置がたとえば携帯電話である場合、先行技術の解決法は、携帯電話のディスプレイ上に、そのアプリケーションから生じるいくつかの仮想オブジェクトで拡張された、実視覚背景を備える拡張現実ピクチャを表示することを想定している。これは、この拡張現実が、携帯電話のこの小さい画面上でのみ可視であることを意味する。ゲーム・アプリケーションの場合、小さい画面はそのゲーム体験を著しく制限し得る。ラップトップ・コンピュータがモバイル装置として使用される場合、ディスプレイは既にはるかに大きいが、そのときでさえも、たとえばゲーム自体に固有の、ユーザのある種の物理的動きを含む、ユーザのさらにアクティブな参加をもつことがより望ましいいくつかのアプリケーションに関しては、ユーザ体験は制限されることがある。これは、たとえば、モバイル装置自体のいくつかの制御ボタンをマニュアルで制御することによってだけではなく、サッカーボールを蹴る、止めるまたは迎えうつ動きを実行することなどによって、よりアクティブに参加したいとユーザが考えることのあるサッカー・ゲームに当てはまり得る。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】ＰＣＴ出願ＰＣＴ／ＣＨ２００６／０００１９６
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従って、本発明の目的は、前述の知られている種類ではあるが、先行技術の装置に関連する問題を解決することができる、モバイル装置を提供することである。
【課題を解決するための手段】
【０００６】
この目的のために、本発明によるモバイル装置はさらに、第１の請求項の特徴部分に記載される特徴を含む。
【０００７】
モバイル端末に含まれるプロジェクタ装置は、それによって、いくつかの仮想視覚オブジェクトを実視覚背景に投影することができることになる。前述のサッカー・ゲームの例の場合、この仮想視覚オブジェクトはそのとき、プレー中にプレーヤが現在立っている床の上に投影されることになる仮想サッカーボールでもよい。ユーザがそれに対して蹴る行為を行うことができる、床の上の投影されたボールを用いて、プレーヤはそのとき、本発明の目的であった、よりエキサイティングなゲーム体験をもつこと：はるかにアクティブなゲーム参加を行うことおよびヒューマン／装置インタフェースの質を高めることができる。モバイル装置のプロジェクタは、仮想視覚オブジェクトを背景に投影するだけでよく、従ってこの仮想視覚オブジェクト情報を処理装置から受信するだけでよい。従って、処理装置は、このタイプの信号をこのプロジェクタに提供するようになされる。この仮想視覚オブジェクトを背景に投影することによって、外部視覚背景情報は、アプリケーション自体に応答してもちろん変化することになる。
【０００８】
本発明のもう１つの独特の特徴は、請求項２に記載される。この場合、ユーザ関連入力情報は、前記背景情報に含まれる、サッカーボールプレーヤの足の画像などの視覚情報を備える。このユーザ関連情報は、前記モバイル装置内に組み込まれた運動検出器によって検出される、および、たとえば前記視覚背景情報に関する前記モバイル装置のオリエンテーションを判定することなどによって、背景に関するモバイル装置の動きを検出するようになされた、動き情報もまた備えることができる。
【０００９】
本発明の追加の特徴は、請求項４乃至６に記載される。前述の視覚入力装置（Ｃ）から受信される前記外部視覚情報から、実視覚背景情報と仮想視覚オブジェクトを区別することによって、および、それらからメタデータ情報を連続的に抽出することによって、モバイル装置上のいくつかのアプリケーションにプラグインすることを可能にする汎用プラットフォームが実現される。
【００１０】
請求項７乃至１０は、ある実施形態において処理装置が、前記モバイル装置に備えられたディスプレイに提供するための前記仮想視覚オブジェクトに関連する第２の視覚出力信号を生成するようになされることを述べる。これらの実施形態のうちのいくつかでは、仮想視覚オブジェクトはそのときモバイル装置の画面上にも現れることになる。他の実施形態では、この処理装置はさらに、少なくとも１つの他の仮想視覚オブジェクトを備えるものとして前述の第２の視覚出力信号を生成するようになされる。これは、たとえば、モバイル装置の画面が仮想スコアボード上にプレーヤの得点を示すことのみでき、仮想サッカーボールは床の上に投影されるのみである、前述のサッカー・ゲームにも当てはまり得る。さらに他の実施形態では、処理装置は、前記アプリケーションおよび／または視覚背景情報によって生成される少なくとも１つの他の仮想視覚オブジェクトをオーバーレイする前記仮想視覚オブジェクトを備えるものとして前記第２の視覚出力信号を生成するようにさらになされる。前述のサッカー・ゲームの例では、モバイル装置のディスプレイは次に、仮想ゴール、仮想スコアボード、および場合によっては、ユーザがその上に立っている、そして仮想サッカーボールが投影される床と共に、サッカーボールを見せることができる。他の組合せもまた想定されることができる。
【００１１】
添付の図面とともに実施形態の以下の説明を参照することによって、前述および他の本発明の目的および特徴がさらに明らかとなり、本発明自体が最もよく理解されよう。
【図面の簡単な説明】
【００１２】
【図１】本発明によるモバイル装置ＭＤを使用してサッカー・ゲームをプレーする１人のプレーヤＵを概略的に表す図である。
【図２】本発明によるモバイル装置ＭＤの一実施形態の可能な詳細な実装を示す図である。
【図３】図２の処理装置の画像アナライザおよびアプリケーション・エンジンによって生成されるメタデータの一例を示す図である。
【図４】本発明によるモバイル装置ＭＤ１およびＭＤ２を使用する２人のプレーヤの多人数参加状況を概略的に示す図である。
【図５】本発明によるモバイル装置上で走るもう１つのアプリケーションを概略的に示す図である。
【図６】本発明によるモバイル装置上で走るさらに別のアプリケーションを概略的に示す図である。
【発明を実施するための形態】
【００１３】
本発明は、拡張現実アプリケーションのためのモバイル装置に関する。これらのモバイル装置は、以下の限定的なリスト、携帯電話、パーソナル・デジタル・アシスタント、ラップトップ・コンピュータなどのモバイルコンピュータ、タブレット・コンピュータ、ゲーム機、ＧＰＳ端末などのモバイル装置に備えられることができる。概して、視覚情報を収集することができる、この視覚情報をアプリケーションでの使用のために処理することができる、および以下の項で説明されるように背景に仮想オブジェクトを投影することができる、任意の携帯用装置が、本発明を実装するために使用されることができる。
【００１４】
図１は、ユーザＵによって操作される、かかるモバイル装置ＭＤの一実施形態を示す。モバイル装置ＭＤは、ＶＢＩで略記される、実視覚背景情報（ｒｅａｌ  ｖｉｓｕａｌ  ｂａｃｋｇｒｏｕｎｄ  ｉｎｆｏｒｍａｔｉｏｎ）を備える外部視覚情報自体を収集することができる、カメラ、デジタル画像システム、ＣＣＤセンサなどの視覚入力装置Ｃを備える。この実視覚背景情報は概して、視覚情報がＶＶＯで略記される仮想視覚オブジェクト（ｖｉｒｔｕａｌ  ｖｉｓｕａｌ  ｏｂｊｅｃｔｓ）によって示されることになる、ソフトウェア・アプリケーションなどによって生成される視覚情報とは対照的に、「実」世界から来る情報として参照される。ユーザＵが彼／彼女のモバイル装置ＭＤでゲームをプレーしている、図１に示す状況では、この実視覚背景情報は、この例ではユーザがその上に立っている床の方に向くことがある、カメラによって収集される視覚情報を備える。実視覚背景情報ＶＢＩはそのとき、ユーザＵの脚部Ｌおよび／または足Ｆの部分とともに、床の画像を備えることになる。ユーザの足Ｆおよび脚部Ｌのこの情報はユーザ関連入力情報であり、従ってこの場合、次の項で説明されるように、モバイル装置上で走るアプリケーションによって使用されることになる実視覚背景情報の部分である。
【００１５】
図１はまた、カメラがこの「実」背景情報を収集しているだけではなく、投影されたサッカーボールＢの画像もまた収集していることを示す。この投影されたサッカーボールＢは、「実」サッカーボールの投影された画像ではなく、それ自体はゲームなどのアプリケーションの結果であり、処理装置ＰＤ上で走り、モバイル装置ＭＤの内部にあり、従って図１には示されていない、仮想サッカーボールの投影された画像である。図示された例では、このゲームは従って、外部視覚情報、即ちこの場合にはユーザ関連情報もまた備える、実視覚背景情報ＶＢＩ、ならびに、この場合には投影されたサッカーボールから成る、投影された仮想オブジェクト情報の両方を入力として使用する、サッカー・ゲームである。投影されたボールＢに関するユーザの足の位置によって、ゲームによって生成されるものとしての次の状態および出力は更新されることになる。サッカー・ゲームの例では、これは、図１に示された実施形態においてはモバイル装置の画面Ｓ上に表示されるだけである、ユーザが得点をしたか、仮想ゴールの外にボールを蹴ったかのいずれかを示し得る、次の状態をゲームが提供することを意味し得る。この仮想ゴールは、これもまた「実」の物理的なゴールには相当しないので、それ自体が別の仮想視覚オブジェクトである。従って、処理装置は、それら自体は収集された外部視覚情報に依存する、ゲームのパラメータを継続的に更新し、ゲーム内のボールの新しい位置を計算し、更新された視覚情報を投影装置Ｐに送り返して後者がこの仮想ボールを更新された位置に投影することができるようにすることが必要である。この更新された投影位置は、この場合、実視覚背景に関するモバイル装置の相対的位置にも依存している。この相対的位置はまた、ユーザ関連入力情報にも関連する。かかる位置情報は、モバイル装置に組み込まれた運動検出器によって検出されることができるが、別法としてこの動き情報はまた、前に収集された画像を互いに比較することによって外部視覚情報に実行されるイメージング技法によっても抽出されることができる。これはさらに、次の項で説明される。
【００１６】
モバイル装置ＭＤに組み込まれた投影装置Ｐは、当技術分野で現在知られているミニプロジェクタでもよい。いかなる場合にも、仮想ボールの更新されたピクチャまたは画像は、床の上の更新された位置に投影されることになる。
【００１７】
本発明のある実施形態では、プロジェクタ装置Ｐだけが１つまたは複数の仮想視覚オブジェクトを表示する。他の実施形態では、仮想視覚オブジェクトは、プロジェクタ装置Ｐによって投影されるだけではなく、モバイル装置の画面Ｓ上にも示される。また、さらに他の実施形態では、画面Ｓは、図１に示す例に表すような、いくつかの仮想視覚オブジェクトを表示することになる。この実施形態では、仮想ボール、ならびに仮想ゴール、ならびにプレーヤの生成された、従って仮想の、画像が画面上に表示される。さらに他の実施形態では、カメラによって収集された脚部および足などの実視覚背景からの情報、ならびに１つまたはいくつかの仮想視覚オブジェクトもまた、画面上に表示されることになる。
【００１８】
図２は、モバイル装置ＭＤに組み込まれた、処理装置ＰＤの可能な実施形態のさらに詳細な図を示す。処理装置ＰＤの多数の他の実施形態が可能であり、この図２はこの特定の実施形態で実行されることになるいくつかの主要なブロックおよび処理ステップの概略図を与えるのみであることに留意されたい。かかる処理装置ＰＤは、当業者にはよく知られているように、専用のプロセッサを用いて、または汎用プロセッサ上の組込みソフトウェアを用いて、またはＡＳＩＣを介してなどで実装されることができる。従って、異なるブロックは説明のためにすぎない。単一の処理装置だけがすべてのステップを実行する他の実施形態もまた可能である。
【００１９】
図２はさらに、モバイル装置の異なるビルティング・ブロックを非常に概略的に示す：図２にカメラとして示される視覚入力装置Ｃ、図２には「従来の」プロジェクタＰとして示されるプロジェクタ装置、図２には携帯電話の画面として示されるディスプレイＳ。図２に示されたモバイル装置ＭＤの処理装置ＰＤの実施形態はさらに、いくつかの機能ブロックを含む：リアリティ・アブストラクタ（ｒｅａｌｉｔｙ  ａｂｓｔｒａｃｔｏｒ）２、画像アナライザ３、アプリケーション・エンジン４、仮想画像アニメータ５、二重出力ジェネレータ６および仮想画像バッファ９。この二重出力ジェネレータは、１つはプロジェクタＰへ、もう１つは画面Ｓへの二重出力を生成するこれらの実施形態においてのみ存在する。モバイル装置のある実施形態では、プロジェクタＰに送信されることになる単一の画像を生成のみするようになされた、単一の出力ジェネレータが組み込まれる。
【００２０】
リアリティ・アブストラクタ、ブロック２は、「画像」で示されるカメラＣによって提供される入力外部視覚情報を、実視覚背景情報ＶＢＩと仮想視覚オブジェクトＶＶＯに分割するようになされたモジュールである。アプリケーション・エンジンによって前に生成された仮想視覚オブジェクトとアプリケーションの現在の周期で生成されることになるものを区別するために、表記ＶＶＯ（ｎ）が前に生成され前に投影されたものに使用され、ＶＶＯ（ｎ＋１）が現在の周期で生成され投影されることになる更新されたものに使用されることになる。ある実施形態では、開始時に、仮想視覚オブジェクト情報が一切入手可能ではない。その場合、入力画像は完全に実視覚背景情報で構成される。入力外部視覚情報を分割するために、リアリティ・アブストラクタは、仮想オブジェクトまたはオブジェクトの投影された画像がどのように見えるかを知る必要がある。任意の仮想画像を最初に含むことができない開始時の入力画像は別として、他のすべての画像キャプション中にこの投影された画像Ｐ（ｎ）は、前の周期で二重出力ジェネレータによって作成され、一時的に保存された、または仮想画像バッファ９にバッファリングされた。そのバッファから保存された投影された画像を得たのちに、リアリティ・アブストラクタは、カメラの画像内に同じパターンを見つけようと試みる。これは、当業者には知られているように、画像認識技法を介して行われることができる。これらのパターンを見つけるとき、リアリティ・アブストラクタは、モバイル装置が背景に関連してどのように位置付けられているかに関するいくらかの情報を要約することもできる（投影画像のスケーリングを介して）が、これは任意選択である。それがパターンを認識し、場合によってはスケーリング情報を導出するとき、それは全画像から仮想画像全体を減算してそれによって実視覚背景情報を導出し、カメラによって収集されたものとしての仮想投影入力画像ＶＶＯ（ｎ）と、これが新しいおよび実際の情報に既に関係するとき、実背景情報ＶＢＩ（ｎ＋１）との両方を別個の情報として画像アナライザ３に送信する。開始時には、仮想画像バッファは一般に空であるので、入力画像は実視覚背景情報に相当し、従って、ＶＶＯ信号はその瞬間には関連情報を含まない。
【００２１】
処理装置の実施形態中の次のモジュール、画像アナライザ３は、入力画像の収集された仮想視覚オブジェクト情報ＶＶＯおよびリアリティ・アブストラクタ２によって提供されるものとしての収集された実視覚情報ＶＢＩを受信するようになされる。画像アナライザの主要な機能は、これらの画像からメタデータを抽出および／または生成することである。この目的のために、いくつかの反復が、結果を改良するためなどに、必要とされ得る。これは、図２には画像アナライザのフィードバック矢印を用いて示されている。メタデータを抽出するための技法は、当業者には知られており、パターン認識、デジタル幾何学および／または信号処理を備え得る。
【００２２】
このような文脈において、本明細書で理解されるべきメタデータは、ある種の意味論的意味をもつパラメータである。サッカー・ゲームの例は：オブジェクト＝ボール、背景＝床・・・であり、図３に示されている。従って、かかるメタデータを生成するために、画像アナライザは、背景の変更を分析し、そこからカメラの前で起こった特定の動作を導出するようにもなされることができる。これらの動作は、サッカー・ゲームの場合には、ユーザの脚部／足の動きでもよい。別法として、この動き情報は、運動検出器によって提供されることができる。画像アナライザ３はそのときさらに、図３に示すＸＭＬ形式などの、この処理装置上で走ることができるアプリケーションが理解する形式でかかるメタデータを生成するようになされる。従って、図２に太い矢印およびＭ（ｎ）で示されるそして画像アナライザによって生成されるメタデータ出力は、たとえば足が７度ボールの方へ動いたことを示す情報などの、アプリケーションにとって価値のあるおよび理解可能な情報を含む。
【００２３】
画像アナライザによって生成されたメタデータＭ（ｎ）は次に、アプリケーション・エンジン４に提供される。このアプリケーション・エンジンでは、いくつかのアプリケーションが走ることができる。かかるアプリケーションは一般に、場合によってはサード・パーティの開発者によって書かれたものでもよいコンパイル済みのソフトウェアを備える。このアプリケーションは、画像アナライザから着信する入力された情報の形式を理解するようになされる。別法として、ある種の入力形式をアプリケーションによって理解可能な形式に変換するための、何らかの変換モジュールが提供されることができる。
【００２４】
前述のサッカー・ゲームの例では、従って、このサッカー・ゲームは、アプリケーションに相当する。いくつかの他のアプリケーションが以下の項に記載される。これらのアプリケーションは概して、広まっており、当業者に知られているので、それらの内部動作は本明細書ではさらには論じない。
【００２５】
アプリケーションによって生成される出力は通常、最終的に実背景に投影される必要がある更新された仮想視覚オブジェクトに関連する情報を備える更新されたメタデータＭ（ｎ＋１）を備える。図３は、アプリケーションへのメタデータ入力、およびアプリケーションによって生成されているメタデータの一例を示す。
【００２６】
図２に示す実施形態では、アプリケーション・エンジン４によって生成され、提供されるものとしてのこの更新されたメタデータＭ（ｎ＋１）は最初に、仮想画像アニメータ５である次のモジュールに提供される。
【００２７】
この仮想画像アニメータ５は、アプリケーション・エンジンによって提供されるものとしての更新されたメタデータ情報信号Ｍ（ｎ＋１）を受信するようになされ、アプリケーションの実際の状態または周期に対応するものとしてアプリケーション・エンジンによって決定されたものに従って表示されることになる適合された仮想視覚オブジェクトまたはオブジェクトＶＶＯ（ｎ＋１）をそこから生成するようにさらになされる。既述のサッカー・ゲームの場合には、１つのみの仮想オブジェクトが投影される。しかし、サッカー・ゲームを含む他の多数のアプリケーションでは、仮想ボールおよび仮想ゴールなど、いくつかの仮想視覚オブジェクトが投影され得る。ボールの形をもつ画像を備えるこの実施形態では、床に投影されることになる仮想オブジェクトは次に、モバイル装置の特定の実施形態に応じて、二重または単一出力ジェネレータへとさらに渡される。しかし、図２に示す実施形態は、プロジェクタが仮想サッカーボール画像を背景に投影しているが、モバイル装置自体のディスプレイもまた別の仮想視覚オブジェクト、この実施形態では仮想スコアボード、を表示している、モバイル装置ＭＤを示す。この目的のために、追加の仮想視覚オブジェクトＶＶＯＳ（ｎ＋１）が仮想画像アニメータによって生成されることになり、この実施形態ではこの追加の仮想視覚オブジェクトは従ってスコアボードの形をもつ。画面上に表示されることになる画像は投影されることになるものとは異なるので、二重出力ジェネレータが図２の実施形態に含まれる。たとえ同一の仮想視覚オブジェクトが両方とも画面上に示され、背景に投影された場合でも、２つの別個の画像が生成される必要があるため：１つは投影されるために、もう１つはモバイル装置の画面に表示されるために、やはり二重出力ジェネレータは処理装置に含まれることになる。
【００２８】
従って、二重出力ジェネレータ６は、一方でモバイル装置ＭＤ自体の画面またはディスプレイＳのために、そして他方ではプロジェクタまたは投影装置Ｐのための両方で出力信号を生成する役割を負う。仮想画像ジェネレータによって生成される画像は、ボールの基本的形状などの基本的な形状情報を単に含み、出力ジェネレータはこの画像を正しいサイズに調節し、プロジェクタがそれを背景上に正しく投影することができるように、これをその正しい位置に位置付ける役割を負う。これは、この実施形態において、この二重出力ジェネレータが最新の仮想オブジェクトＶＶＯ（ｎ＋１）およびＶＶＯＳ（ｎ＋１）と最新の視覚背景情報ＶＢＩ（ｎ＋１）とを受信し、ディスプレイに送信されることになる第１の出力信号Ｓ（ｎ＋１）および投影装置Ｐに提供するための第２の出力信号Ｐ（ｎ＋１）を提供するためにそれらをさらに処理しなければならないことを意味する。図示された実施形態Ｓ（ｎ＋１）は主にＶＶＯＳ（ｎ＋１）に関連し、Ｐ（ｎ＋１）は主にＶＶＯ（ｎ＋１）に関連する。しかし、他の実施形態では、ディスプレイに送信されることになる出力信号は、ＶＶＯ（ｎ＋１）および、実背景には投影されず、ディスプレイ上だけに示される仮想スコアボードとしての他の仮想オブジェクトから構成されることができる。別法として、何らかの仮想サッカーボール競技場、仮想ゴールおよび仮想スコアボードに加えて、ユーザの足または脚部などの実背景に関する何らかの情報もまた画面上に示されることができる。当業者には知られているように、主にアプリケーション自体に応じて、多数の他の可能性が想定されることができる。
【００２９】
背景自体への仮想オブジェクトの投影のために投影装置Ｐに送信されることになる出力Ｐ（ｎ＋１）の生成のために、この二重出力ジェネレータ６は必ずリアリティ・アブストラクタ２から直接最新の実背景ＶＢＩ（ｎ＋１）を得る。これは、背景入力がほぼ実時間であることを意味する。投影された拡張現実仮想オブジェクト画像Ｐ（ｎ＋１）について、二重出力ジェネレータは、正しい仮想オブジェクトが正しいサイズで正しい場所の実背景に投影されていることを確認する必要がある。それは、最新の背景を前の背景と比較することによって、これを行うことができる。この前の景色は、二重出力ジェネレータの内部バッファに保存されることができ、図面には示されていない。装置は投影された画像の座標およびサイズが正確であることを確認しなければならないので、この比較ステップはカメラが行った動きの計算とともに実行されることができる。これは、たとえば、モバイル装置が実オブジェクトのより近くにとどめられているときに投影された仮想画像が大き過ぎないように、装置のあり得る動きのため、そのサイズおよび座標は絶えず調整されなければならないためである（投影開始角度に留意）。別法として、この動き情報は、画像アナライザから、または別個の動きもしくはオリエンテーション検出器から取得されることができる。
【００３０】
もちろん代替実施形態が可能である。更新された仮想オブジェクト画像をバッファにフィードバックする代わりに、生成されたメタデータも代替バッファにフィードバックされることができる。その場合、リアリティ・アブストラクタは次に、入力画像とのさらなる比較のために、最新の投影仮想オブジェクトを生成するためなどに、仮想画像アニメータのおよび二重出力ジェネレータの機能のうちのいくらかを組み込む必要がある。当業者には知られているように、さらに他の実施形態が可能である。
【００３１】
図４は、２人のユーザＵ１およびＵ２が今彼らのそれぞれのモバイル装置ＭＤ１およびＭＤ２上でこのサッカー・ゲームをプレーしており、従って、この実施形態では彼らのそれぞれのモバイル端末のディスプレイに示される、仮想の投影されたボールをゴールへ蹴ろうとしている、多人数参加型体験の状況を示す。別法として、この仮想ゴールは床に投影されることもできる。いずれの場合にも、モバイル装置は、当業者にはよく知られているように、多人数参加型アプリケーションを可能にする通信ツールをさらに備えている必要がある。
【００３２】
前述のサッカー・ゲームの例とは別に、他のアプリケーションが本方法および実施形態を使用することができる。これらの中でも、プロジェクタが、背景に足跡を投影することによって、たとえばある人が鉄道の駅を見つけようとするときに彼／彼女が進まなければならない方向を示すことができる、アプリケーションがある。この場合、本方法はゲーム体験を改良しないが、ヒューマン・コンピュータ・インタフェースの質を高め、明確にするために使用される。モバイル装置はそのとき、より直感的に人々を案内することができる。これは図６に概略的に示される。
【００３３】
もう１つのアプリケーションは、携帯電話の投影装置によって、ユーザの買い物リストにある品目のみを店の棚の中で強調表示することに関する。これは、図７に概略的に示される。
【００３４】
さらに別の例は、画面上にテキストを形成するために、ユーザが次に「叩く」または「押す」ことができる、テーブル上の仮想キーボードを投影することで構成され得る。このキーボードはまた、適切な関連付けられた音を生成するために、ユーザが「演奏」することができる、ピアノのキーボードにも関する。
【００３５】
さらに別の例は、競技場、たとえばテーブル上に仮想卓球ボールを投影することで構成される。モバイル装置を傾けることによって、ユーザはそのモバイル装置によって仮想ボールを「打つ」ことができる。この場合、入力情報は、固定された背景に関して、および投影されたボールに関して、携帯電話などのモバイル装置の動きおよびオリエンテーション情報を備える。この卓球アプリケーションもまた、もちろん、多人数参加型ゲームとして実現されることができる。
【００３６】
本発明の原理が特定の装置に関して前述されているが、本記述は例としてのみ行われ、添付の特許請求の範囲に定義されるような、本発明の範囲への制限としてではないことを明確に理解されたい。本明細書の特許請求の範囲において、特定の機能を実行する手段として述べられるいずれの要素もその機能を実行するいかなる方法も含むよう意図されている。これは、たとえば、ａ）その機能を実行する電気的または機械的要素の組合せ、または、ｂ）その機能を実行するためのそのソフトウェアを実行するための適切な回路と組み合わせた、ファームウェア、マイクロコードなどを結果として含む、あらゆる形式のソフトウェア、ならびに、もしあればソフトウェア制御回路と結合された機械的要素を含み得る。かかる特許請求の範囲によって定義されるものとしての本発明は、さまざまな列挙された手段によって提供される機能が本特許請求の範囲が要求する形で結合され、まとめられるという事実の中に存在し、他にそのように定義されない限り、いかなる物理的構造も請求される本発明の新規性にとってほぼ全く重要ではない。従って、出願者は、それらの機能を提供することができるいかなる手段も本明細書に示されるものと同等と見なす。
【図１】
0005566397.tif 000002
【図２】
0005566397.tif 000003
【図３】
0005566397.tif 000004
【図４】
0005566397.tif 000005
【図５】
0005566397.tif 000006
【図６】
0005566397.tif 000007