(57)【要約】  コンピューター生成画像を現実世界の出来事の画像に追加することによって拡張現実を可能にすることができる。コンピューター生成画像は、上記画像内の撮像オブジェクトの特徴に基づいて自動的に挿入することができる。【選択図】図１
2014531644.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像ベースの画像解析を用いることであって、それによりディスプレイ画面に表示される撮像オブジェクトの特徴を検出することと、
前記特徴に基づいて、オーディオオブジェクト又はビジュアルオブジェクトを前記ディスプレイ画面に重ねることと、
を含む、方法。
【請求項２】
デジタル画像ベースの画像解析を用いることは、人間の姿を検出することを含む、請求項１に記載の方法。
【請求項３】
前記人間の姿に関連付けて画像を解析することを含む、請求項１に記載の方法。
【請求項４】
ジェスチャコマンドである特徴を認識することを含む、請求項１に記載の方法。
【請求項５】
前記撮像オブジェクトの形状、色、向き、又は速度を認識することを含む、請求項１に記載の方法。
【請求項６】
マーカーを撮像シーンの前記表示に重ねることと、
前記マーカーを用いることであって、それにより現実を拡張することと、
を含む、方法。
【請求項７】
用いることは、コンピューター生成画像を前記表示に適用することを含む、請求項６に記載の方法。
【請求項８】
前記画像と同じマーカーを用いることを含む、請求項７に記載の方法。
【請求項９】
前記マーカーをコンピューター生成画像で置き換えることを含む、請求項７に記載の方法。
【請求項１０】
命令を記憶する非一時的なコンピューター可読媒体であって、前記命令は、プロセッサに基づく装置に、
デジタル画像ベースの画像解析を用いて、撮像オブジェクトの特徴を識別し、該撮像オブジェクトの特徴に基づいて、オーディオオブジェクト又はビジュアルオブジェクトを前記ディスプレイ画面に重ねること
を可能にする、命令を記憶する非一時的なコンピューター可読媒体。
【請求項１１】
前記デジタル画像ベースの画像解析を用いて、人間の姿を検出する命令を更に記憶する、請求項１０に記載の媒体。
【請求項１２】
前記人間の姿に関連付けて画像を解析する命令を更に記憶する、請求項１０に記載の媒体。
【請求項１３】
ジェスチャコマンドの形態である特徴を認識する命令を更に記憶する、請求項１０に記載の媒体。
【請求項１４】
撮像オブジェクトの形状、色、向き、又は速度を認識する命令を更に記憶する、請求項１０に記載の媒体。
【請求項１５】
インジケーターを非キャプチャ画像に重ね、前記インジケーターを、拡張現実描写を位置決めするマーカーとして用いる命令を更に記憶する、請求項１０に記載の媒体。
【請求項１６】
前記マーカーを用いて、コンピューター生成画像を前記表示の前記マーカーの位置に適用する命令を更に記憶する、請求項１５に記載の媒体。
【請求項１７】
前記画像と同じマーカーを用いる命令を更に記憶する、請求項１６に記載の媒体。
【請求項１８】
前記マーカーをコンピューター生成画像で置き換える命令を更に記憶する、請求項１６に記載の媒体。
【請求項１９】
画像キャプチャ装置と、
前記画像キャプチャ装置に結合されるプロセッサと、
を備え、
該プロセッサは、画像表示上にマーカーを重ね、該マーカーを拡張現実に用いる、装置。
【請求項２０】
前記プロセッサは、キャプチャされた描写において前記マーカーの代わりに前記拡張現実の画像を用いる、請求項１９に記載の装置。
【請求項２１】
前記プロセッサは、シーンの画像がキャプチャされる前に、前記画像キャプチャ装置において該シーンの描写に前記マーカーを重ねる、請求項１９に記載の装置。
【請求項２２】
前記プロセッサに結合されるディスプレイ画面を含む、請求項１９に記載の装置。
【請求項２３】
前記プロセッサは、デジタル画像ベースの画像解析を用いて、撮像オブジェクトの特徴を識別し、該撮像オブジェクトの特徴に基づいて、オーディオオブジェクト又はビジュアルオブジェクトを前記画像表示に重ねる、請求項２２に記載の装置。
【請求項２４】
前記プロセッサは、前記デジタル画像ベースの画像解析を用いて、人間の姿を検出する、請求項２３に記載の装置。
【請求項２５】
前記プロセッサは、前記人間の姿に関連付けて画像を解析する、請求項２４に記載の装置。
【請求項２６】
前記プロセッサは、ジェスチャコマンドの形態である特徴を認識する、請求項２４に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはコンピューターに関し、詳細には、拡張現実アプリケーションに関する。
【背景技術】
【０００２】
拡張現実とは、現実世界のコンピューター表示画像上のレイヤーとして、画像、ビデオ、テキスト、及び他のデータを含むコンピューター供給コンテンツを追加するプロセスである。例えば、セルラ電話等のモバイル装置が、様々な建物を含むシーンの画像をキャプチャする場合、建物の全地球測位システム座標に基づいて建物についての情報を追加するアプリケーションがある。例えば、建物の住所及び建物の不動産仲介へのリンクを提供することができる。
【図面の簡単な説明】
【０００３】
【図１】本発明の一実施形態によるオーバーレイマーカーを有する撮像シーンの図である。
【図２】本発明の一実施形態によるオーバーレイマーカーに相対して（図１に相対して）移動した撮像オブジェクトを有する撮像シーンの図である。
【図３】本発明の一実施形態による拡張現実を有する図２に対応する図である。
【図４】本発明の別の実施形態による拡張現実を用いる撮像画面の図である。
【図５】本発明の一実施形態のフローチャートである。
【図６】本発明の別の実施形態のフローチャートである。
【図７】本発明の一実施形態の概略図である。
【発明を実施するための形態】
【０００４】
幾つかの実施形態では、拡張現実は、デジタルメディアの特定のコレクションの人間によるキャプチャ及び再生をガイドすることができる。これらの実施形態は、空間の物理的なジオメトリ、人間の挙動、及びプログラムされたアクティビティの組み合わせを利用して、今までになかった新規の経験を生み出すことができる。実施形態は、例として、ゲーム、地域社会活動、教育、及び写真に適用することが可能である。
【０００５】
本発明の幾つかの実施形態によれば、撮像されるオブジェクトの特徴に基づいて、拡張現実を選択的に画像シーンに適用することができる。例えば、シーン内のオブジェクトの位置、オブジェクトの認識、又はオブジェクトの特定の動きの認識等の画像シーンの特徴に基づいて、拡張現実オーディオ／ビジュアルオブジェクトをシーンに追加することができる。このようにして、コンピューター供給オブジェクトを現実世界の画像に重ねて、描写を拡張することができる。
【０００６】
本発明の別の実施形態では、コンピューターは、１つ又は複数のマーカーを撮像シーンに配置することができる。次に、シーンの画像をキャプチャしている人物は、マーカーの位置に基づいて拡張現実が適用されることを知り、シーン内の人物にそれらのマーカーと相互作用するように促すことができる。
【０００７】
図１を参照すると、画像オブジェクトＵ、この例では人物は、画像の腕Ａを有する。マーカーＭは、コンピューターによって画像に重ねられる。マーカーを重ねることは、追加のレイヤーを画像に適用することによって行うことができ、レイヤーは、下の画像を見ることができるように概ね透明とすることができる。マーカーＭは、画像をキャプチャしている人物に、拡張現実オブジェクトを、最終的な画像のその位置に重ねることができることを示すガイドとすることができる。画像オブジェクトＵは静止画像又は動画像とすることができる。
【０００８】
画像は、数例を挙げれば、カメラ、ビデオカメラ、携帯電話、移動インターネットデバイス、テレビ又はラップトップコンピューターを含む静止画像又は動画像キャプチャ能力を有する任意のデバイスでキャプチャすることができる。
【０００９】
次に図２を参照すると、画像をキャプチャしている人物は、ユーザーの腕の画像Ａが、重ねられたマーカーＭと相互作用するように、ユーザーにユーザーの腕を広げるように促すことができる。画像をキャプチャしている人物は、マーカーＭ（この実施形態では、画像をキャプチャしている人物のみがマーカーＭを見る）が、重ねられる拡張現実の画像が挿入される位置を記すことを知り、腕を動かすように促すことができる。
【００１０】
拡張現実の画像のこの挿入を図３に示し、図３では、蝶の画像Ｏが最終的に、マーカーＭの位置に重ねられる。この実施形態では、マーカーＭは、キャプチャ中に画像に重ねられる。換言すれば、マーカーＭはリアルタイムで、キャプチャ中の画像に適用される。次に、まるで蝶が魔法のようにユーザーの手にとまったかのように見える。
【００１１】
本発明の別の実施形態によれば、コンピューターは、デジタル画像ベースの画像ベースのパターン認識又は画像解析を用いて撮像画像の特徴を認識することができる。例えば、特徴は、数例を挙げれば、形状、色、向き、ジェスチャの動き、又は速度とすることができる。デジタル画像ベースのパターン認識又は解析は、単に画像を、全く同じオブジェクトの他の既知の画像と比較して、未知の画像を識別するのとは対照的に、デジタル画像の内容を解析することによって特徴を識別する。一実施形態では、デジタル画像ベースのパターン認識又は解析は、人間の姿を識別する。人間の姿は、例として、体全体、顔、又は任意の付属肢を含め、人間の任意の部位である。
【００１２】
例えば、オブジェクト自体は、デジタル画像ベースのパターン認識又は解析を用いて認識し、オブジェクトが何であるかを特定することができる。予め定義される特徴の認識を用いて、画像シーンに別のオーディオ／ビジュアルオブジェクトを重ねることによって、拡張現実の生成を開始することができる。
【００１３】
したがって、図４の場合、魔法の帽子を被っている少女のキャプチャ画像が示される。コンピューターシステムは、帽子の画像を検出することができ、その検出（例えば、パターン認識を用いる）によって、少女の描写画像の手の上に妖精の画像Ｆを自動的に表示することができる。
【００１４】
別の例として、コンピューターは、ここでもビデオ画像解析を用いて、少女の差し伸べられた腕を認識することができる。差し伸べられた腕（事実上、ジェスチャコマンド）の認識は、妖精の画像Ｆを生成するトリガーであることができる。更に別の例として、コンピューターは、左腕を差し伸べる動きを認識し、この認識された動きに基づいて妖精画像Ｆを生成することができる。
【００１５】
それぞれの場合、オブジェクトの形状又はジェスチャの動き等のオブジェクトの画像の特徴を用いて、表示内の所望の位置にオーディオ／ビジュアルイメージオブジェクトを自動的に重ねる。
【００１６】
他の実施形態では、画像オブジェクトの所与の特徴を用いて、オーディオを生成することができる。例えば、撮像オブジェクトが、オーケストラを指揮している指揮者として認識される場合、オーケストラの音をオーディオ／ビジュアルメディアに自動的に追加することができる。
【００１７】
更なる例として、固定カメラからの画像シーンを解析して、赤信号が見えているときに交差点内で移動する車両を認識することができる。コンピューターは、「違反」という言葉を画像に自動的に重ねて、赤信号でのカメラによる交通違反取り締まりシステムを実施している警察官を支援することができる。別の交通への応用例として、沿道の固定カメラが通過する車を撮像することができる。制限速度を超える速度で通過する車のキャプチャ画像に、「違反」という言葉を重ねることができる。
【００１８】
更に別の例として、セキュリティカメラが、許可されていない場所にいる人物を検出し、そのオブジェクトに「違反」という言葉を重ねるか、又は音声合成によって「侵入者」という言葉を発することができる。
【００１９】
多くの場合、撮像オブジェクトの特徴（撮像オブジェクトの特徴ではない全地球測位システム（ＧＰＳ）座標以外）を用いて、拡張現実を生成することができる。幾つかの実施形態では、全地球測位システム座標も、非ＧＰＳに基づく特徴に加えて用いることができる。
【００２０】
拡張現実オーバーレイは、画像キャプチャ時にリアルタイムで提供することができるか、又はキャプチャされたシーン若しくは一連のフレームのデジタル画像ベースの内容認識を用いて後に重ねることができる。例えば、長い動画ファイルを解析して、特定の形状のオブジェクトを探し、それらのオブジェクトが見つけられる場合、拡張現実を追加して、描写を強化することができる。
【００２１】
図５を参照すると、シーケンス１０を図１〜図３に示される実施形態等の実施形態において用いることができる。シーケンス１０は、ソフトウェア、ハードウェア、及び／又はファームウェアで実施することができる。ソフトウェア又はファームウェアに基づく実施形態では、シーケンスは、半導体メモリ、磁気メモリ、又は光学メモリ等の非一時的なコンピューター可読媒体に記憶されるコンピューター可読命令によって実施することができる。
【００２２】
ブロック１２において、描写が静止画ピクチャ又は動画ピクチャとしてキャプチャされている際に、ガイドマーカーが、撮像オブジェクトに自動的に重ねられる。幾つかの実施形態では、重ねられる１つ又は複数のマーカーは、撮像されるピクチャに重ねられるレイヤーとして重ねることができ、マーカーは非透明であるが、オーバーレイの残りの部分は透明である。
【００２３】
ブロック１４において、被写体に所望の方法で動き、マーカーと相互作用し、それにより、拡張現実の適用を通して所望の効果を達成することができるよう促すように、画像をキャプチャしているユーザーに促すことができる。
【００２４】
次に、幾つかの実施形態では、ブロック１６に示されるように、拡張現実オーディオ／ビジュアルオブジェクトを既存のシーンに自動的に適用することができる。拡張現実の適用は、一実施形態では、ユーザー入力コマンドの結果とすることができる。別の実施形態では、拡張現実の適用は、マーカーが或る時間にわたって表示された後に行うことができる。一実施形態では、マーカー及びオブジェクトは同じとすることができる。
【００２５】
図６に示されるシーケンス２０を用いて、例えば、図４に示される実施形態等の実施形態を実施することができる。ここでも、シーケンス２０は、ソフトウェア、ファームウェア、及び／又はハードウェアで実施することができる。ソフトウェア及びファームウェアの実施形態では、シーケンスは、半導体メモリ、光学メモリ、又は磁気メモリ等の非一時的なコンピューター可読媒体に記憶されるコンピューター可読命令によって実施することができる。
【００２６】
シーケンスは、ブロック２２に示されるように、静止画像又は動画の一連のフレームで構成することができる画像ファイルを受信することによって開始することができる。次に、撮像オブジェクトの所与の特徴が検出される（ブロック２４）。上述したように、現実世界のオブジェクトではなく（すなわち、オブジェクトのＧＰＳ座標ではなく）、画像それ自体の様々な画像特徴を用いて、拡張現実の生成をトリガーすることができる。ここでも、画像のそのような特徴の例としては、形状認識、動き、速度、ジェスチャコマンド、色、及び１つ又は複数の他の描写されるオブジェクトに相対する撮像シーン内の位置が挙げられる。
【００２７】
例えば、コンピューターアニメーションでは、２人のプレーヤーがレーシングカーを運転することができ、レーシングカーが接触する（come together）ことをシステムが検出する場合、システムは衝突画像又は衝突音を生成し、進行中の描写に重ねることができる。そのような実施形態は、拡張仮想現実と説明することができるが、レーシングカー画像は現実世界で生成されたため、これは実際には、拡張現実の別の例である。
【００２８】
最後に、ブロック２６において、拡張現実オーバーレイが、キャプチャされたか、又はコンピューター生成された既存の画像に重ねられる。
【００２９】
図７を参照すると、一実施形態によれば、本発明の実施形態を実施するコンピューター３０は、幾つかの実施形態ではビデオカメラ３４が統合されたディスプレイ画面３２を含むことができる。勿論、ビデオカメラ３４は、コンピューターシステム３０及び／又はディスプレイ画面３２と別個であってもよい。ディスプレイ画面３２は、ディスプレイインターフェース３６によってバス３８に結合される。
【００３０】
バス３８は、従来どおりプロセッサ４０及びシステムメモリ４２に結合することができる。プロセッサは、中央演算処理装置又はグラフィックス処理ユニットを含め、任意のコントローラーとすることができる。幾つかの実施形態では、システムメモリ４２は、シーケンス１０及び／又は２０がファームウェア又はソフトウェアによって実施される場合、シーケンス１０及び／又は２０を実施するコンピューター可読命令を記憶することができる。
【００３１】
埋め込まれる拡張現実レイヤーは、幾つかの実施形態では、以下の特徴を有することができる。
レイヤーは「自由形態」とすることができる−すなわち、レイヤーは、予めプログラムされたイベント又は予めロードされたイベントのみならず、現実世界のリアルタイムイベントに応答し、
レイヤーは、一過性とすることができるか（キャプチャ中、ガイドとして可視であるが、メディア出力に転送されない）、又は統合することができ（すなわち、キャプチャ中に可視であり、メディア出力に統合される）、
レイヤーによって提供されるガイダンスは、コンテキストアウェアとすることができ、以下の変数のうちの１つ又は複数を反映することができ：被写体の位置、空間のジオメトリ、フレーム内の動き、フレームのＲＢＧ画像のコンテンツ、及び／又はノイズ、熱、電荷、無線信号のような他のセンサーデータ、及び／又は
拡張現実レイヤーは、メディアをキャプチャしている人間の被写体と相互作用して、キャプチャをプログラムされた対象に向けることができる。
【００３２】
実施形態は人間の挙動を利用することができる。アトラクションを列に並んで待っているテーマパークのユーザーは、テーマパークからのキャラクターと一緒に遊ぶか、又はキャラクターに話をすることができ、自身の経験の持ち帰り「動画」を作成することができる。
ユーザーＡは、おとぎ話アプリケーションを起動して、画像キャプチャ装置をユーザーＢに向け、
ユーザーＡは、画面でキャラクターを見て、キャラクターはユーザーＢの動き及び相互作用に応答し、
相互作用がキャプチャされ（拡張デジタルメディアに統合され）、キャプチャ装置で再生し、列に並びながら画面にリアルタイムで表示し、又は家に動画として送信することができ、
ユーザーＡ（画像キャプチャ装置を有する）は、自身の拡張現実アプリケ−ションを利用して、画面を空間内の他のプレーヤーに向けることができる（すなわち、カメラの焦点を変更することによって）（ユーザーＡは、列に並んでいる別の人物に妖精を送信することができる）。ユーザーＣのリアクションが続き、妖精の拡張現実挙動が広まる（inform）。
【００３３】
この実施形態は、可視のリアルタイム再生をいかに用いて、キャプチャに影響を及ぼすことができるかも示す。特に、
この状況でのアプリケーションは、ユーザーが、列に並んでいる間に提供される画面上のキャプチャ物を共有できるようにするようプログラムされ、
人間の被写体（ビューファインダーによって特定される）及びアニメーション（デジタルオーバーレイ）の両方が画面でリアルタイムに再生される。次に、ユーザーＡは、妖精が訪れ、列内の異なる人々と対話するシーンを「指示」する。被写体のジェスチャ及びリアクション（笑い、苛立ち）は全てシステムによって認識され、デジタルアニメーションレイヤーは、被写体のリアクションに基づいて挙動を変更する。
【００３４】
本明細書に記載のグラフィックス処理技法は、様々なハードウェアアーキテクチャで実施することができる。例えば、グラフィックス機能はチップセット内に統合することができる。代替的には、離散グラフィックスプロセッサを用いることができる。更に別の実施形態として、グラフィックス機能は、マルチコアプロセッサを含め、汎用プロセッサによって実施することができる。
【００３５】
本明細書全体を通しての「一実施形態」又は「一実施形態」の言及は、その実施形態に関連して説明される特定の特徴、構造、又は特性が、本発明内に包含される少なくとも１つの実施態様に含まれることを意味する。したがって、語句「一実施形態」又は「一実施形態では」の出現は、必ずしも同じ実施形態を参照しない。さらに、特定の特徴、構造、又は特性は、示される特定の実施形態以外の他の適する形態で導入することができ、そのような全ての形態は本願の特許請求の範囲内に包含することができる。
【００３６】
限られた数の実施形態に関して本発明を説明してきたが、当業者であれば、これらの実施形態から多数の変更及び変形を認識するであろう。添付の特許請求の範囲は、本発明の真の趣旨及び範囲に含まれる全ての変更及び変形をカバーすることを意図している。
【図１】
2014531644.tif 000003
【図２】
2014531644.tif 000004
【図３】
2014531644.tif 000005
【図４】
2014531644.tif 000006
【図５】
2014531644.tif 000007
【図６】
2014531644.tif 000008
【図７】
2014531644.tif 000009
【手続補正書】
【提出日】平成26年4月17日(2014.4.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
マーカーを撮像シーンの表示に重ねることと、
前記マーカーを用いることであって、それにより現実を拡張することと、
を含む、方法。
【請求項２】
用いることは、コンピューター生成画像を前記表示に適用することを含む、請求項１に記載の方法。
【請求項３】
前記画像と同じマーカーを用いることを含む、請求項２に記載の方法。
【請求項４】
前記マーカーをコンピューター生成画像で置き換えることを含む、請求項２または３に記載の方法。
【請求項５】
コンピューターに、
デジタル画像ベースの画像解析を用いて、撮像オブジェクトの特徴を識別し、該撮像オブジェクトの特徴に基づいて、オーディオオブジェクト又はビジュアルオブジェクトをディスプレイ画面に重ねる手順
を実行させるための、プログラム。
【請求項６】
前記デジタル画像ベースの画像解析を用いて、人間の姿を検出する手順を更に実行させるための、請求項５に記載のプログラム。
【請求項７】
前記人間の姿に関連付けて画像を解析する手順を更に実行させるための、請求項６に記載のプログラム。
【請求項８】
ジェスチャコマンドの形態である特徴を認識する手順を更に実行させるための、請求項５から７の何れか１項に記載のプログラム。
【請求項９】
撮像オブジェクトの形状、色、向き、又は速度を認識する手順を更に実行させるための、請求項５から８の何れか１項に記載のプログラム。
【請求項１０】
インジケーターをキャプチャされていない画像に重ね、前記インジケーターを、拡張現実描写を位置決めするマーカーとして用いる手順を更に実行させるための、請求項５から９の何れか１項に記載のプログラム。
【請求項１１】
前記マーカーを用いて、コンピューター生成画像を表示の前記マーカーの位置に適用する手順を更に実行させるための、請求項１０に記載のプログラム。
【請求項１２】
前記画像と同じマーカーを用いる手順を更に実行させるための、請求項１１に記載のプログラム。
【請求項１３】
前記マーカーをコンピューター生成画像で置き換える手順を更に実行させるための、請求項１１または１２に記載のプログラム。
【請求項１４】
画像キャプチャ装置と、
前記画像キャプチャ装置に結合されるプロセッサと、
を備え、
該プロセッサは、画像表示上にマーカーを重ね、該マーカーを拡張現実に用いる、装置。
【請求項１５】
前記プロセッサは、キャプチャされた描写において前記マーカーの代わりに前記拡張現実の画像を用いる、請求項１４に記載の装置。
【請求項１６】
前記プロセッサは、シーンの画像がキャプチャされる前に、前記画像キャプチャ装置において該シーンの描写に前記マーカーを重ねる、請求項１４または１５に記載の装置。
【請求項１７】
前記プロセッサに結合されるディスプレイ画面を含む、請求項１４から１６の何れか１項に記載の装置。
【請求項１８】
前記プロセッサは、デジタル画像ベースの画像解析を用いて、撮像オブジェクトの特徴を識別し、該撮像オブジェクトの特徴に基づいて、オーディオオブジェクト又はビジュアルオブジェクトを前記画像表示に重ねる、請求項１７に記載の装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
限られた数の実施形態に関して本発明を説明してきたが、当業者であれば、これらの実施形態から多数の変更及び変形を認識するであろう。添付の特許請求の範囲は、本発明の真の趣旨及び範囲に含まれる全ての変更及び変形をカバーすることを意図している。本発明の例を下記の各項目として示す。
［項目１］
デジタル画像ベースの画像解析を用いることであって、それによりディスプレイ画面に表示される撮像オブジェクトの特徴を検出することと、
前記特徴に基づいて、オーディオオブジェクト又はビジュアルオブジェクトを前記ディスプレイ画面に重ねることと、
を含む、方法。
［項目２］
デジタル画像ベースの画像解析を用いることは、人間の姿を検出することを含む、項目１に記載の方法。
［項目３］
前記人間の姿に関連付けて画像を解析することを含む、項目１に記載の方法。
［項目４］
ジェスチャコマンドである特徴を認識することを含む、項目１に記載の方法。
［項目５］
前記撮像オブジェクトの形状、色、向き、又は速度を認識することを含む、項目１に記載の方法。
［項目６］
マーカーを撮像シーンの前記表示に重ねることと、
前記マーカーを用いることであって、それにより現実を拡張することと、
を含む、方法。
［項目７］
用いることは、コンピューター生成画像を前記表示に適用することを含む、項目６に記載の方法。
［項目８］
前記画像と同じマーカーを用いることを含む、項目７に記載の方法。
［項目９］
前記マーカーをコンピューター生成画像で置き換えることを含む、項目７に記載の方法。
［項目１０］
命令を記憶する非一時的なコンピューター可読媒体であって、前記命令は、プロセッサに基づく装置に、
デジタル画像ベースの画像解析を用いて、撮像オブジェクトの特徴を識別し、該撮像オブジェクトの特徴に基づいて、オーディオオブジェクト又はビジュアルオブジェクトを前記ディスプレイ画面に重ねること
を可能にする、命令を記憶する非一時的なコンピューター可読媒体。
［項目１１］
前記デジタル画像ベースの画像解析を用いて、人間の姿を検出する命令を更に記憶する、項目１０に記載の媒体。
［項目１２］
前記人間の姿に関連付けて画像を解析する命令を更に記憶する、項目１０に記載の媒体。
［項目１３］
ジェスチャコマンドの形態である特徴を認識する命令を更に記憶する、項目１０に記載の媒体。
［項目１４］
撮像オブジェクトの形状、色、向き、又は速度を認識する命令を更に記憶する、項目１０に記載の媒体。
［項目１５］
インジケーターを非キャプチャ画像に重ね、前記インジケーターを、拡張現実描写を位置決めするマーカーとして用いる命令を更に記憶する、項目１０に記載の媒体。
［項目１６］
前記マーカーを用いて、コンピューター生成画像を前記表示の前記マーカーの位置に適用する命令を更に記憶する、項目１５に記載の媒体。
［項目１７］
前記画像と同じマーカーを用いる命令を更に記憶する、項目１６に記載の媒体。
［項目１８］
前記マーカーをコンピューター生成画像で置き換える命令を更に記憶する、項目１６に記載の媒体。
［項目１９］
画像キャプチャ装置と、
前記画像キャプチャ装置に結合されるプロセッサと、
を備え、
該プロセッサは、画像表示上にマーカーを重ね、該マーカーを拡張現実に用いる、装置。
［項目２０］
前記プロセッサは、キャプチャされた描写において前記マーカーの代わりに前記拡張現実の画像を用いる、項目１９に記載の装置。
［項目２１］
前記プロセッサは、シーンの画像がキャプチャされる前に、前記画像キャプチャ装置において該シーンの描写に前記マーカーを重ねる、項目１９に記載の装置。
［項目２２］
前記プロセッサに結合されるディスプレイ画面を含む、項目１９に記載の装置。
［項目２３］
前記プロセッサは、デジタル画像ベースの画像解析を用いて、撮像オブジェクトの特徴を識別し、該撮像オブジェクトの特徴に基づいて、オーディオオブジェクト又はビジュアルオブジェクトを前記画像表示に重ねる、項目２２に記載の装置。
［項目２４］
前記プロセッサは、前記デジタル画像ベースの画像解析を用いて、人間の姿を検出する、項目２３に記載の装置。
［項目２５］
前記プロセッサは、前記人間の姿に関連付けて画像を解析する、項目２４に記載の装置。
［項目２６］
前記プロセッサは、ジェスチャコマンドの形態である特徴を認識する、項目２４に記載の装置。
【国際調査報告】
2014531644.tif 000010
2014531644.tif 000011