(57)【要約】      （修正有）【課題】特定の対象グループに対して動画ビデオコンテンツを作成する労力を大きく軽減し、動画ビデオコンテンツを生成し表示することを可能とする。【解決手段】デジタル拡張された現実ビデオシステムは動画ビデオコンテンツオブジェクトを記憶する手段、仮想動画メタデータを動画ビデオコンテンツオブジェクトから生成する手段、デジタルコンテンツオブジェクトを記憶する手段、仮想動画メタデータに基づいてデジタルコンテンツオブジェクトを再レンダリングする手段、そして表示された動画ビデオコンテンツオブジェクトに、所定のおよび追跡された位置において、再レンダリングされたデジタルコンテンツオブジェクトを重ねる手段、を備える。以前記憶されたデジタルコンテンツオブジェクト、例えば画像は、以前作成された”中立”な動画ビデオコンテンツオブジェクトに”自然に”統合することが可能となる。【選択図】図１
2008092557.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの動画ビデオコンテンツオブジェクトを記憶する手段と、
当該動画ビデオコンテンツオブジェクトから仮想動画メタデータを生成する手段と、
少なくとも１つのデジタルコンテンツオブジェクトを記憶する手段と、
当該仮想動画メタデータに基づいて、当該デジタルコンテンツオブジェクトを再レンダリングする手段と、
表示された動画ビデオコンテンツに当該再レンダリングされたデジタルコンテンツオブジェクトを所定の位置に重ね合わせる手段と、
を備える、
デジタル拡張された現実ビデオシステム。
【請求項２】
動画ビデオコンテンツオブジェクトは複数のフレームを含む動画であって、フレームのシーケンスは動画シーケンスを生成する、
ことを特徴とする請求項１に記載のシステム。
【請求項３】
重ね合わせは、表示された動画ビデオオブジェクトコンテンツに、表示されたデジタルコンテンツオブジェクトを自然な様式で動画ビデオコンテンツオブジェクトに融合するよう、デジタルコンテンツオブジェクトを統合することを備える、
ことを特徴とする請求項１または２に記載のシステム。
【請求項４】
デジタルコンテンツオブジェクトは静止画である、
ことを特徴とする請求項１から３のいずれか１項に記載のシステム。
【請求項５】
デジタルコンテンツオブジェクトは動画である、
ことを特徴とする請求項１から３のいずれか１項に記載のシステム。
【請求項６】
重ね合わせは、動画を、動画の各フレームが動画ビデオコンテンツオブジェクトのアックフレーム割り当てられるよう、表示の動画ビデオコンテンツオブジェクトに統合し、デジタルコンテンツオブジェクトのフレームのそれぞれは、割り当てられた動画ビデオコンテンツの仮想ビデオメタデータに基づいてリアルタイムで再レンダリングされる、
ことを特徴とする請求項５に記載のシステム。
【請求項７】
ユーザプロファイルを記憶する手段、
ユーザによって要求された動画ビデオコンテンツの内容を解釈する手段、
少なくとも、記憶されたユーザプロファイル、動画ビデオコンテンツの内容および／または時刻によって、表示されるべきデジタルコンテンツオブジェクトを選択する手段、
をさらに備える、ことを特徴とする請求項１から６のいずれか１項に記載のシステム。
【請求項８】
表示されるべき動画ビデオコンテンツをデジタルコンテンツオブジェクトのデジタルコンテンツオブジェクトクラスと、少なくとも記憶されたユーザプロファイル、動画ビデオコンテンツの内容および、または時刻、に基づいて選択する手段をさらに備える、
ことを特徴とする請求項７に記載のシステム。
【請求項９】
代替オブジェクトを動画ビデオコンテンツオブジェクト内に統合し、追跡する手段をさらに備え、
デジタルコンテンツオブジェクトは、表示される代替オブジェクト内に配置される、
ことを特徴とする請求項１から８のいずれか１項に記載のシステム。
【請求項１０】
現在表示されている動画ビデオコンテンツオブジェクトのフレームの視角に基づいて仮想ビデオメタデータに一致するように再レンダリングされるよう、デジタルコンテンツオブジェクトの位置が動画ビデオコンテンツ内において追跡される、
ことを特徴とする請求項１から９のいずれか１項に記載のシステム。
【請求項１１】
当該デジタルコンテンツオブジェクトにおいて、動画の任意のフレームがリアルタイムで再レンダリングされる、
ことを特徴とする請求項５に記載のシステム。
【請求項１２】
要求に応じて、ユーザをリダイレクトする手段をさらに備え、
当該表示されたデジタルコンテンツオブジェクトは、メタデータによって拡張され、前記拡張された現実ビデオシステムは、ユーザを、メタデータに応じてリダイレクトする、
ことを特徴とする請求項１から１１のいずれか１項に記載のシステム。
【請求項１３】
デジタル拡張された現実ビデオコンテンツを生成し、表示する方法であって、
少なくとも1つの動画ビデオコンテンツオブジェクトを記憶するステップ、
仮想ビデオメタデータを前記動画ビデオコンテンツオブジェクトから生成するステップ、
少なくとも１つのデジタルコンテンツオブジェクトを記憶するステップ、
デジタルコンテンツオブジェクトを前記仮想ビデオメタデータから再レンダリングするステップ、
表示された前記動画ビデオコンテンツオブジェクトに再レンダリングされた前記デジタルコンテンツオブジェクトを所定の位置に重畳するステップ、
を備える、
こと特徴とする方法。
【請求項１４】
前記動画ビデオコンテンツオブジェクトは、複数のフレームを備える動画であって、前記フレームのシーケンスは動画シーケンスを生成する、
ことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記重畳するステップは、表示されたデジタルコンテンツオブジェクトは、表示された前記動画ビデオコンテンツオブジェクトに自然に溶け込むように、前記デジタルコンテンツオブジェクトを統合する、
ことを特徴とする請求項１３または１４に記載の方法。
【請求項１６】
前記デジタルコンテンツオブジェクトは、静止画である、
ことを特徴とする請求項１３から１５のいずれか１項に記載の方法。
【請求項１７】
前記デジタルコンテンツオブジェクトは、動画である、
ことを特徴とする請求項１３から１５のいずれか１項に記載の方法。
【請求項１８】
前記重畳するステップにおいて、前記動画の各フレームは、前記動画ビデオコンテンツの各フレームに割り当てられ、各デジタルコンテンツオブジェクトフレームは、仮想動画メタデータにしたがって、リアルタイムで再レンダリングされるように、前記動画を表示された動画ビデオコンテンツオブジェクトに統合する、
ことを特徴とする請求項１７に記載の方法。
【請求項１９】
ユーザプロファイルを記憶するステップ、
ユーザによって要求された動画ビデオコンテンツの内容を解釈するステップ、
記憶されたユーザプロファイル、動画ビデオコンテンツの内容、および／または時刻、のうちの、少なくとも１つに基づいて、表示するデジタルコンテンツオブジェクトを選択するステップ、
をさらに備える、
こと特徴とする請求項１３から１８のいずれか１項に記載の方法。
【請求項２０】
表示する動画ビデオコンテンツオブジェクトを、選択された前記デジタルコンテンツオブジェクトのデジタルコンテンツオブジェクトクラスと、記憶されたユーザプロファイル、動画ビデオコンテンツの内容、および／または時刻のうちの少なくとも１つと、に基づいて選択するステップ、
をさらに備える、
ことを特徴とする請求項１９に記載の方法。
【請求項２１】
代替オブジェクトを前記動画ビデオコンテンツオブジェクトに統合し、代替オブジェクトを追跡し、デジタルコンテンツオブジェクトを代替オブジェクト内に配置するステップ、
をさらに備える、
ことを特徴とする請求項１３から２０のいずれか１項に記載の方法。
【請求項２２】
前記デジタルコンテンツオブジェクトの位置は、現在表示されている動画ビデオコンテンツオブジェクトのフレームの視角に基づいて、前記仮想動画メタデータに一致するように、前記デジタルコンテンツオブジェクトの位置は動画ビデオコンテンツオブジェクト内で追跡される、
ことを特徴とする請求項１３から１９のいずれか１項に記載の方法。
【請求項２３】
当該デジタルコンテンツオブジェクトにおいて、動画の任意のフレームがリアルタイムで再レンダリングされる
ことを特徴とする請求項１７に記載の方法。
【請求項２４】
要求に応じて、ユーザをリダイレクトする手段をさらに備え、
当該表示されたデジタルコンテンツオブジェクトは、メタデータによって拡張され、前記拡張された現実ビデオシステムは、ユーザを、メタデータに応じてリダイレクトする、
を特徴とする請求項１３から２３に記載の方法。
【請求項２５】
コンピュータで実行した場合に、請求項１３から２４に記載の方法のステップを行うように構成されたコンピュータ読取可能な命令を記憶するコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
概して、本発明は、動画 (video-animated) オブジェクトの記憶および表示、動画オブジェクトの特定の性質に従ったデジタルコンテンツオブジェクトの再レンダリング、そして、再レンダリングされたデジタルコンテンツオブジェクトの動画オブジェクト上への重畳、を行うコンピュータシステムに関する。
【背景技術】
【０００２】
デジタルなコンテンツ放送チャネル、例えば、インターネット、デジタルテレビ、ＩＰテレビ、携帯電話等、の急激な発展は、デジタルビデオコンテンツ、即ち、デジタルストリーミングビデオコンテンツを作成するための効率のよい手法、およびシステムの必要性を生みだした。これら様々なチャネルが比較的手頃にストリーミングビデオコンテンツの放送を可能にしたことで（少なくとも従来のテレビ網による放映手法と比較して）、ストリーミングビデオコンテンツを放送コンテンツとして、そして静止画コンテンツの一部として（インターネットのウェブサイト等）利用する動機が増えてきた。
【０００３】
ストリーミングビデオコンテンツを上述のデジタル放送チャネルと共に利用するよくある例として、ストリーミングビデオコンテンツオブジェクトをインターネット情報サービスプロバイダのウェブサイトのコンテンツ内における広告目的での利用が挙げられる。
【０００４】
さらに、広告の分野では、観客または対象グループにとって、表示された広告内容が鬱陶しく退屈ではなく、愉快で楽しいと感じられた場合、広告として最も効率がよいことが知られている。特にインターネットウェブサイトのコンテンツ内に配置された広告としては、動く広告コンテンツの方が宣伝対象である製品やサービスの単純な静止画と比較して、一般的に愉快で楽しいと感じられることが知られている。また、意図された宣伝効果を生み出すために、広告は、各利用者の関心を惹かなくてはならないことがよく知られている。また、情報サービスプロバイダのウェブサイトの殆コンテンツの殆どは動画ではないため、動画の広告コンテンツはインターネット利用者のそれぞれの関心を惹く上で最も好適であることが知られている。
【０００５】
デジタル動画ビデオコンテンツ（ストリーミングビデオコンテンツ）を提供するために様々な異なる方法が登場した。これら手法は、ビデオの撮影およびデジタル化から、デジタル生成された画像に基づいて、動画シーケンスを生成するまでにおよぶ。これら様々な手法は広範囲におよぶが、全て同じ問題を有することが知られている。即ち、動画ではないコンテンツ、例えば製品の静止画に比べると、生成する費用が高額となることである。
【０００６】
この問題は、消費者製品広告を考慮したときに明瞭になる。幅広い製品ラインを有する消費者製品を生産する企業は、彼らが有する全商品のそれぞれについて、動画広告コンテンツを製作する余裕がないかもしれないという問題を抱えている。したがって、これら企業が、その保有する製品ラインをデジタル動画ビデオコンテンツに基づいて宣伝する能力は限られている。
【０００７】
一般的に、上記のデジタルビデオコンテンツ通品路の全てに関して、そして全ての形式のストリーミングビデオコンテンツ（即ち、デジタル動画ビデオコンテンツ）放送に関して、同様のことが言える。放送自体は比較的安価になってきた現在、デジタルストリーミングビデオコンテンツを利用したいという欲求は飛躍的に延びた。しかし、先行技術によると、従来の生成手法は未だ存在しており、動画コンテンツの生成を高価なものとしている。デジタル放送チャネルの利用者達は一般的に、伝統的なテレビ網による画一化されたマスコンテンツ放送ではなく、個別にカスタマイズされた放送コンテンツを期待しているため、これは特に上述のデジタルビデオ放送チャネルに関して言える事である。先行技術によると、上述したように広告として個人向けのストリーミングビデオコンテンツを生成するためには、少なくとも対象とする各グループに対して個別のビデオコンテンツを生成する必要を生じる。このことは、放送チャネルが比較的安価な放送バンド幅を提供しているにも関わらず、全体的な生成コストを倍増させ、個別のデジタルストリーミングビデオコンテンツの放送を高価なものとしている。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
したがって、特定の対象グループ向けに動画ビデオコンテンツを作成する労力を大きく軽減し、デジタル放送チャネルの範疇において、動画ビデオコンテンツの生成および表示を可能とする動画ビデオコンテンツシステムおよびその方法が求められている。
【課題を解決するための手段】
【０００９】
本発明の第１の観点によると、この目的は、デジタル拡張された現実ビデオシステムによって解決される。現実ビデオシステムは、動画ビデオコンテンツオブジェクト（例えばモデルの映像）を記憶する手段、仮想ビデオメタデータを動画ビデオコンテンツオブジェクトから生成する手段、デジタルコンテンツオブジェクトを記憶する手段、デジタルコンテンツオブジェクトを仮想ビデオメタデータに基づいて再レンダリングする手段、表示された動画ビデオコンテンツオブジェクトに再レンダリングされたデジタルコンテンツオブジェクトを、所定の位置、および追跡された位置に重畳する手段、を備える。
【００１０】
従って、発明に係るデジタル拡張された現実ビデオシステムによると、以前記憶されたデジタルコンテンツオブジェクト、例えば写真等は、以前作成された”中立(neutral)な”動画ビデオコンテンツオブジェクトに”自然に”組み込むことができる。”中立”な動画ビデオコンテンツオブジェクトは、例えば、特定の製品を手に抱えているかのように振舞っているモデルのビデオ等でもよい。これら動画ビデオコンテンツは、したがって、デジタル放送技術の需要に応じてデジタル化された実世界における画像であってもよい。
【００１１】
発明に係るデジタル拡張された現実ビデオシステムは、さらにデジタルコンテンツオブジェクトの再レンダリングを可能にする。この際、デジタルコンテンツオブジェクトは”中立な”動画ビデオコンテンツから生成された仮想ビデオメタデータに合致するように再レンダリングされる。再レンダリングは、以前に作成された動画ビデオコンテンツオブジェクトの各フレームから生成仮想ビデオメタデータに基づいてリアルタイムに行われることが好ましい。よって、デジタルコンテンツオブジェクトは、仮想ビデオメタデータに基づいて再レンダリングされる。再レンダリングは、発明に係る拡張現実ビデオシステムが再レンダリングされたデジタルコンテンツオブジェクトを表示された動画ビデオコンテンツの上に重ねて、動画ビデオコンテンツに組み込むように行われる。
【００１２】
デジタルコンテンツオブジェクトを、以前に生成された仮想ビデオメタデータに基づいて再レンダリングすることで、表示された動画ビデオコンテンツ内のデジタルコンテンツの見かけは、再レンダリングされたデジタルコンテンツオブジェクトが表示された動画ビデオコンテンツのアニメーションの性質の他、例えば、照明条件、および視角に実質的に合致させるようにすることが可能となる。しかしながら、表示された動画ビデオコンテンツのアニメーションの性質を合致させる他には、照明条件、視角、視点が、仮想ビデオメタデータに関する特性として好ましい例である。その他の関連する特性を、本発明の範囲から逸脱することなく、デジタルコンテンツオブジェクトの再レンダリングを行う際に考慮してもよい。さらに、動画ビデオコンテンツオブジェクトの仮想ビデオメタデータに基づいてデジタルコンテンツオブジェクトを再レンダリングすることによって、ユーザが、表示された動画ビデオコンテンツの全体的な外観から実質的に逸脱することなく、表示された動画ビデオコンテンツの”自然な”一部であるとユーザが感じるように、デジタルコンテンツオブジェクトの外観を得ることが可能である。したがって、発明に係るデジタル拡張された現実ビデオシステムは、デジタルビデオコンテンツの放送が意図した各対象グループ用にビデオコンテンツを作成することなく、ユーザが仮想的に動画ビデオコンテンツ（ストリーミングビデオコンテンツ）を作成することを可能とする。一方、デジタル拡張された現実ビデオシステムは、例えば、１つの”中立”な動画ビデオオブジェクトをユーザが作成することを可能とする。そして、異なる時点において、この動画ビデオコンテンツオブジェクトの中に様々なデジタルコンテンツオブジェクトを組み込むことを可能とする。したがって、例えば、安価に生成可能な静止画を重ね合わせ、１つの無限のビデオコンテンツをリアルタイムで供給することで、ストリーミングビデオコンテンツを各対象とするグループに対して実質的に生成することができる。無限のビデオコンテンツは、中立ビデオ動画コンテンツを再レンダリングされたデジタルコンテンツオブジェクトに重畳した内容を有している。
【００１３】
したがって、本発明にかかるデジタル拡張された現実ビデオシステムはデジタルコンテンツオブジェクトを前もって生成された”中立”な動画ビデオコンテンツに現実的な様式で自然に統合することを可能にする。これにより、閲覧者は再レンダリングされたデジタルコンテンツオブジェクトを重ねて最終的には表示されるストリーミングビデオコンテンツ（または、ビデオコンテンツ供給（video content feed））が、自然に統合された、整合性および一貫性のあるビデオコンテンツであると感じる。したがって、上述の従来技術とは異なり、これは、ユーザが個別のデジタル動画ビデオコンテンツ（またはデジタルストリーミングコンテンツ）を提供することを可能にすると同時に、ビデオコンテンツ供給を生成する労力を大幅に削減する。これは、複数のターゲット層のための幅広いストリーミングビデオコンテンツを生成するために、たった一つの動画ビデオコンテンツオブジェクトのみ生成すればよいからである。
【００１４】
さらなる好ましい実施の形態において、表示されるべく選択された特定のデジタルコンテンツオブジェクトは、記憶されたユーザプロファイルから取得された情報（例えば、特定の動画ビデオコンテンツの内容および／または時刻）に基づいて選択される。したがって、このさらなる実施の形態は、特定のユーザの興味や履歴に最も適した特定のデジタルコンテンツオブジェクトを表示するというメリットを提供する。
【００１５】
さらなる好ましい実施の形態において、デジタルコンテンツオブジェクトは代替オブジェクト内に配置されてもよい。代替オブジェクトは好ましくは動画ビデオコンテンツオブジェクト内において追跡され、特定の動画ビデオコンテンツオブジェクトの動画の進行（シーケンス（sequence））に亘ってデジタルコンテンツオブジェクトの位置を代替オブジェクトが事前に定義する。
【００１６】
さらなる好ましい実施の形態において、再レンダリングされるデジタルコンテンツオブジェクトは動画であってもよい。再レンダリングはリアルタイムにてどの動画のフレームに適用されてもよく、動画ビデオコンテンツのフレームシーケンスに基づいて、広告動画の再レンダリングが行われる。
【００１７】
さらなる好ましい実施の形態において、表示の再レンダリングされたデジタルコンテンツオブジェクトはベンダ固有のメタデータで拡張された広告コンテンツオブジェクトであり、これは、仮想ビデオシステムがユーザの要求に応じて、ベンダの提供内容（offering）へのユーザのリダイレクションを可能にする。この実施の形態は、ウェブサイトの内容に対して用いられた場合、馴染み深いインターネットのリンクに最も近い手法をユーザに好ましくは提供し、ユーザに、表示の再レンダリングされたデジタルコンテンツオブジェクトを直接クリックさせるか、または選択させることを可能とし、これにより、ベンダの生産またはサービス提供情報を参照することが可能となる。
【００１８】
本発明のさらなる好ましい実施の形態は、関連する請求項に定義されるとともに、添付の図を参照して、以下に説明される。
【発明を実施するための最良の形態】
【００１９】
図１はデジタル拡張された現実ビデオシステム１００を本発明に基づいて図式的に示した簡略図である。システム１００はユーザコンピュータシステム１０５、および／または携帯電話１０６、および／またはテレビ１０７を備え、デジタルストリーミングビデオコンテンツ（例えば、デジタルテレビコンテンツ、および／またはＩＰテレビコンテンツ）を受信し、表示するように構成される。コンピュータシステム１０５、携帯電話１０６、そしてテレビ１０７はデジタルストリーミングコンテンツ用の受信装置、および表示装置として機能する。従って、これらの内いずれかの装置、類似した装置、または従来技術として知られているこれら装置の組み合わせ、および／または、事実上任意の数のこれら装置を本発明の範囲から逸脱することなくシステム１００に導入してもよい。したがって、図示された受信装置、そしてそれらの番号は好適な受信装置／表示装置を例示するに過ぎず、一般的には、デジタルストリーミングビデオコンテンツを受信し、表示するために構成された任意のエンドユーザ装置であればよい。例えば、テレビ１０７は、従来のテレビが変換されたコンテンツを表示できるように、ストリーミングビデオコンテンツを受信して変換できるように構成されたデジタルセットトップボックスを追加された従来のアナログテレビあってもよい。
【００２０】
受信／表示装置１０５−１０７は例えばインターネットなどのデジタル放送チャネルを介してサーバシステム１１０に接続されている。デジタル放送チャネルとしてのインターネットは、本発明の範囲から逸脱することなく利用できるデジタル放送チャネルの選択肢のうちの１つに過ぎない。特に、本発明は、例えば、デジタルテレビ、ＩＰテレビ、携帯電話網等の他のデジタル放送チャネルやプロトコルに同様に適用可能である。従って、図１に示す放送チャネルである”インターネット”は、デジタル放送チャネル、または手法、の複数の選択肢のうちの１つに過ぎず、不要な繰り返しを避けるために、これら複数の選択肢を別途図示することはしない。
【００２１】
さらに、好ましい実施形態の１つでは、サーバシステム１１０はデジタルセットトップボックス自体として実装することも可能であり、この場合、セットトップボックスはサーバ１１０の機能を実施するように構成される。即ち、デジタルコンテンツ（好ましくはストリーミングビデオコンテンツ）は、デジタル放送チャネルを介してセットトップボックスによって受信され、セットトップボックスのアクセス可能なデータベースに記憶されたデジタルコンテンツによって重畳される。この特定の実施形態において、図示される放送チャネルはセットトップボックスと表示装置の間のビデオ信号線となる。
【００２２】
サーバシステム１１０は複数のデータベース１２０、１３０そして１４０にアクセス可能である。さらに好ましい実施の形態においては、しかし、受信／表示装置１０５−１０７は直接、あるいはサーバシステム１１０を介して、データベース１２０、１３０、１４０にアクセス可能としてもよい。しかし、これらデータベースの数は、例示的であり、本発明の様々な実施形態において、異なるようにしてもよい。図１に図示される好ましい実施形態においては、データベース１２０は前もって作成された動画ビデオコンテンツ（animated video contents）を記憶する。さらに、図示されたサーバシステム１１０は、データベース１２０に記憶される動画ビデオコンテンツオブジェクトを、動画ビデオコンテンツの動画特性や、さらには照明条件、または視点、視角の点から解析するよう構成されている。また、サーバシステム１１０は、解析結果から、仮想動画メタデータ（virtual movie meta data）を生成するよう構成されている。
【００２３】
好ましい実施形態では、サーバシステム１１０は、特定の動画ビデオコンテンツオブジェクトの、各フレームの仮想動画メタデータを生成するように構成されている。特定の動画ビデオコンテンツオブジェクトのフレームからフレームへの仮想動画メタデータの変化や変動は、仮想動画メタデータの関連する変数の変動ベクトルによって表されることが好ましい。仮想動画メタデータを特定の動画ビデオコンテンツオブジェクトのフレームから生成するために、サーバシステム１１０は、好ましくは、視覚追跡（optical tracking）技術を利用するよう構成される。他の好ましい実施の形態においては、サーバシステム１１０は、エンドユーザ装置１０５−１０７のいずれかに、追跡を実施する機能を委譲（delegate）する。したがって、他の選択肢として、１０５−１０７のエンドユーザ装置は、例えば、対応するソフトウェアをインストールすることで、視覚追跡を行うように構成してもよい。
【００２４】
実施形態の１つにおいて、視覚追跡を実行するために、サーバシステム１１０、あるいは、エンドユーザ装置１０５−１０７のいずれかは、”視覚マーカ”（optical marker）に依存する。”視覚マーカ”は、場面や景観（scene or scenery）の任意の場所に配置され、次いで、その場面や景観が表示されているストリーミングビデオ、または動画ビデオコンテンツオブジェクトを生成するために撮影される。図２ａはこのようなマーカを用いたところを図式的に示す。特に、図２ａは、視覚マーカ２０４がバイク２０２の下に配置されている点のみにおいて場面２０３と異なる場面２０１を示す。図２ａに示す視覚マーカの特殊な幾何学形状や配色は、しかしながら、視覚マーカのいくつかの可能な実施形態のうちの１つであり、この実施の形態においては、視覚マーカは、長方形であり、ハイコントラストな色を有した、濃い部分と、薄い部分とを有した長方形を備える。その他の形状や配色を用いて、本発明において利用するよう構成された視覚マーカを作成することも可能である。したがって、例示の視覚マーカは１つの実施の形態に過ぎず、他の形状をした視覚マーカ、特に任意の形、色、質感、のほか、画像、ロゴ、または定義された任意の物理的なオブジェクトを本発明の範囲を逸脱することなく利用することが可能である。
【００２５】
仮想動画メタデータを生成するために、サーバシステム１１０は特定のストリーミングビデオのフレームの場面（scene）を解析するように構成され、特殊なパターン（例えば、到底のロゴ、特殊な質感、および／または、特定の記号）を特定する。その意味では、図２ａに示したものと同様の視覚マーカは、特殊なパターンであるといえ、サーバシステム１１０はストリーミングビデオの任意のフレーム内の視覚マーカを特定するように特に構成される。しかしながら、他の好ましい実施の形態においては、上述した”特殊なパターン”に加えて、又は、”特殊なパターン”の他に、サーバシステム１１０は撮影された場面のキーポイントを特定するように構成される。その意味では、例えば、オブジェクトの辺、手、または顔、など、その幾何学形状が経験則的に一般的に知られている特定の画像構成が、キーポイントとしての役割を果たす。本好ましい実施の形態においては、したがって、サーバシステム１１０は、あるストリーミングビデオの各フレームを分析し、特定したオブジェクトの幾何学形状を、種々のオブジェクトの所定の幾何学特性、または形状と比較してキーポイントを特定するように構成される。比較は、ファジィ比較法を利用して実行されることが好ましい。
【００２６】
上述のいずれかの実施形態において、サーバシステム１１０は、さらに視覚マーカオブジェクト、特殊パターン、および／またはキーポイントの位置を検知するように構成されている。さらに、場面を撮影したカメラに対して自由度６で、サーバシステム１１０は検知されたオブジェクトの位置、またはパターンの位置を、算出するように適合されている。よって、サーバ１１０はマーカオブジェクト、特殊パターン、および／または、キーポイントを特定するために構成されているだけでなく、当該オブジェクトの位置を、場面を撮影したカメラのカメラ位置から相対的に算出し、したがって、”記述”する。サーバシステム１１０は、ストリーミングビデオの任意のフレームに対して、この算出を行うように特に構成されている。この位置データ（または位置マトリクス）の変動（variation）は仮想動画メタデータに追加される部分である。したがって、サーバシステム１１０は、あるいは、さらなる好ましい実施の形態においては、さらに、または、いずれのエンドユーザ装置１０５−１０７も、デジタルコンテンツオブジェクトをこの位置マトリクスに基づいてレンダリングするように構成される。これにより、サーバシステム１１０は、自由度６以内において、特に視覚や視点基づいて、デジタルコンテンツオブジェクトを再レンダリングすることが可能となる。
【００２７】
したがって、サーバシステム１１０は、例えば、動画ビデオコンテンツ（例えば、家具および／またはモデル）の一部を構成する様々なオブジェクト同士の位置関係を分析するように構成される。分析は、動画ビデオコンテンツオブジェクトの各フレームの分析に基づいて行われることが好ましい。好ましい実施の形態において、フレームのそれぞれは仮想ビデオメタデータを生成するために分析される１つの静止画であるかのように、サーバシステム１１０によって分析される。さらに、動画ビデオコンテンツオブジェクトの複数のフレームはビデオ動画ビデオコンテンツオブジェクト（video-animated video content object）内にて動画シーケンスとして結合される際、相対的な動画特性、位置関係、照明条件、そして、視点／視角の変動が分析される。よって、サーバシステム１１０は元の動画ビデオコンテンツオブジェクトを分析した結果に基づいて、仮想ビデオメタデータに有用な様々なパラメータの変化や傾きを生成するように構成される。さらに、サーバシステム１１０は分析された傾きの変化に基づいて、仮想ビデオメタデータの一部である変化ベクトル（mutation vector）を生成するように構成される。よって、サーバシステム１１０は、位置関係、視点、視角、光源、動画シーケンスにわたるこれらの変化、相対的な傾き、および変化ベクトル、のほか、元の動画ビデオコンテンツの有用な条件、などを備える仮想動画メタデータを元の動画ビデオコンテンツオブジェクトの分析から、生成するように構成される。
【００２８】
ある動画ビデオコンテンツオブジェクトに対応する仮想動画メタデータは決められた形式でデータベース１２０に記憶される。決められた形式とは、動画ビデオコンテンツフレームの動画シーケンスの動画特性に関する動画情報のほか、動画ビデオコンテンツオブジェクト全体の照明情報（lighting information）を備えるように構成される。照明情報は、とくに、散光強度（diffuse light intensity）および、反射光マップ（specular light map）を備えることが好ましい。よって、仮想ビデオメタデータに記憶される情報は、反射面（例えば、金属、ガラス、など）を仮想的に照らすことを可能にする。これにより、それぞれの面は、対応する動画ビデオコンテンツの自然の照明条件に合致するように照らされる。
【００２９】
とくに、サーバシステム１１０はストリーミングビデオ１１０の各フレームを、明るい部分や影の部分に関して分析するよう構成される。フレームの光と影の状態を分析することで、サーバシステム１１０は、光源や光源の位置を特定するようさらに構成される。さらに、サーバシステム１１０は、コントラストや画像の先鋭化について分析するよう構成される。しかしながら、光や影、コントラストや先鋭化はサーバシステム１１０が実施するフレーム解析における例示要素に過ぎない。本発明の範囲を逸脱せずにその他の変数を解析することも可能である。上述した要素のほかに、サーバシステム１１０は、光源の位置のほか、放射された光、または場面を照らす光の色、強度などを分析するように構成してもよい。各フレームの分析に基づいて、サーバシステム１１０は、それぞれの変数のフレームからフレームへの変動および変化の傾きを算出するように構成される。これに基づき、サーバシステム１１０はこれらの変数の変化マトリクスを算出するように構成されることが好ましい。この変化マトリクスは、仮想動画メタデータの一部とすることも可能である。したがって、サーバシステム１１０は、あるいは、さらなる好ましい実施の形態においては、さらに、または、いずれのエンドユーザ装置１０５−１０７も、デジタルコンテンツオブジェクトをストリーミングビデオの照明条件のこの変化マトリクスに基づいてレンダリングするように構成される。これにより、サーバシステム１１０は、動画ビデオコンテンツの各フレームの照明条件の変化に基づいて、デジタルコンテンツオブジェクトを再レンダリングすることが可能となる。
【００３０】
好ましくは、サーバシステム１１０は、データベース１２０に記憶された動画ビデオコンテンツオブジェクト内に、代替オブジェクトを配置するよう構成される。代替オブジェクトは、再レンダリングされたデジタルコンテンツオブジェクトを含むようにデザインされた位置や大きさを定義する。代替オブジェクトは、サーバシステム１１０が動画ビデオコンテンツオブジェクト内における代替オブジェクトの相対位置、そして動画ビデオコンテンツオブジェクトの動画方式（scheme）や動画特性を追跡可能に構成できるように配置される。
【００３１】
好ましい実施の形態において、例えば、モデルとしての人間が、ある製品（例えば携帯電話）を手に持っているかのように演じている動画ビデオコンテンツオブジェクトが作成される。このような好ましい実施の形態において、サーバシステム１１０は、ある動画ビデオコンテンツオブジェクト（好ましくはデジタル化されたモデルのビデオ）内に、代替オブジェクトを作成する。このとき、代替オブジェクトは、動画ビデオコンテンツオブジェクト内の、製品（この場合、携帯電話）に置き代えられる位置に配置される。さらにサーバシステム１１０は動的に代替オブジェクトのサイズ変更や再構成を行い、代替オブジェクトの本来の方向特性のほか、動画ビデオコンテンツオブジェクトの各フレーム内の代替オブジェクトの形状や角度を変化させ、少なくとも代替オブジェクトのサイズといった空間特性が動画ビデオコンテンツの動画特性（とくにこの場合は、モデルの動き）に合致するようにする。好ましい実施形態においては、モデルは、手に携帯電話を持っているよう演じる他、携帯電話を持つべき手を、画面を撮影しているカメラからの距離が異なるように動かしてもよい。この結果、カメラからの距離に応じて、手の大きさが異なる。さらに、この例においては、カメラの視点に基づいて手の角度が異なるようにしても良い。したがって、この例においては、本発明に係るサーバシステム１１０は、モデルの動きに応じて変化するモデルの手のそれぞれに実質的に一致するように、代替オブジェクトの大きさおよび角度を変えるように構成されることが好ましい。
【００３２】
さらに、データベース１３０はデジタルコンテンツオブジェクト（例えば製品の写真、漫画のキャラクタ、映画俳優、および／または映画）を記憶する。デジタルコンテンツオブジェクトは３次元ＣＡＤモデル、そして／または３次元スキャンデータとして記憶されることが好ましい。３次元オブジェクトはテクスチャを備えることが好ましい。これらのテクスチャに基づいて、サーバシステム１１０は、あるいは、さらなる好ましい実施の形態においては、さらに、または、いずれのエンドユーザ装置１０５−１０７も、上述の照明条件の変化マトリクスに応じて、反射像を算出するように構成される。これは、撮影された場面に固有な照明条件に（再レンダリングされた）デジタルコンテンツオブジェクトの外観を適合させるためである。しかし、様々な３次元のテクスチャを有するデータオブジェクトのほかに、デジタルコンテンツオブジェクトをビデオストリーム、画像、ベクトル画像などの形式で記憶することも可能である。しかしながら、デジタルコンテンツオブジェクトを記憶するためのこれらの異なる、および代替の形式は、例示に過ぎない。本発明の範囲を逸脱することなく、他の形式を利用することも可能である。
【００３３】
サーバシステム１１０は、実際のデジタルコンテンツオブジェクト（例えば、動画、または静止画）のほかにも、これらオブジェクトのマテリアル属性を記憶するようにしてもよい。マテリアル属性はデジタルコンテンツオブジェクトの表面の材質を表しており、この情報は、デジタルコンテンツオブジェクトの仮想光源を生成するために利用することが可能である。したがって、マテリアル属性は各デジタルコンテンツオブジェクトがどのように照らされているかを決定し、例えば、オブジェクトは反射面、金属面、ガラス面、などを備えているかという問いに対して回答を与える。
【００３４】
さらに、データベース１３０はリンクメタデータ（または、デジタルコンテンツオブジェクトメタデータ）を特定のデジタルコンテンツオブジェクトと共に記憶する。リンクメタデータは、例えば、広告オブジェクトの場合、ベンダのカタログへのリンク情報（例えば、ベンダのウェブサイト）の他、当該デジタルコンテンツオブジェクトの特定の動画ビデオコンテンツオブジェクトとの関連性、ユーザ属性、そして時刻を備える。しかし、これらメタデータの特徴は例示であり、本発明による他の実施の形態はさらなる、または他のメタデータを選択してもよい。さらに、データベース１４０は、ユーザプロファイルを記憶する。サーバシステム１１０は、サーバシステム１１０によって生成されたデジタルストリーミングビデオコンテンツ（または、動画ビデオコンテンツ）を、受信／表示装置１０５−１０７のいずれかを介して受信して鑑賞しているユーザを、特定の放送サービスに登録可能に構成することが好ましい。登録は、例えば、ウェブサイトへの登録のほか、例えば、会員制のデジタルテレビ放送サービスへの登録であってもよい。これら登録の例は、説明のための事例であり、本発明の範囲を逸脱することなく、その他の”登録”機能を実現するための方法を導入しても良い。幾つかのその他の方法や手法は従来技術において既知であり、特定のユーザを、サービス享受のために登録することを可能にする。登録は、後に当該ユーザが特に興味を抱いている分野を特定するために、サービスを利用しているユーザを特定し、当該ユーザの履歴を記憶／分析する際に役立つ。
【００３５】
登録後、サーバシステム１１０はユーザの活動（コンテンツ要求、および消費の趣向、等）を追跡し、これら活動の履歴を生成する。ユーザ属性、例えば、年齢、所在、旅行の趣向、等）は、ユーザの活動履歴とともに、データベース１４０内に、取り出し可能なデジタル形式でサーバシステム１１０によって記憶されてもよい。サーバシステム１１０は適切なコンテンツ要求および／または情報取得ツールを介して、特定のユーザの必要とするコンテンツおよび／または情報に合致する特定のコンテンツにアクセスできるように構成される。さらに、サーバシステム１１０は、または、さらなる好ましい実施の形態においては、さらに、または、いずれのエンドユーザ装置１０５−１０７も、ユーザリクエストに応答して、データベース１４０に記憶されるユーザプロプロファイルから特定の情報を取得するように構成される。さらには、サーバシステム１１０は、または、さらなる好ましい実施の形態においては、さらに、または、いずれのエンドユーザ装置１０５−１０７も、データベース１４０に記憶される特定のユーザのプロファイルに基づいて、時刻、および／またはユーザによってリクエストされた特定のコンテンツおよび／または情報、そして関連性尺度、を生成するように構成されることが好ましい。関連性尺度は、サーバシステム１１０が、または、さらなる好ましい実施の形態においては、さらに、または、任意のエンドユーザ装置１０５−１０７が、データベース１２０に記憶された動画ビデオコンテンツオブジェクトを特定することを可能にし、そして、算出された関連性尺度に最もよく合致する、データベース１３０に記憶された特定のデジタルコンテンツオブジェクトを特定することを可能にする。
【００３６】
この点において、サーバシステム１１０は、または、さらなる好ましい実施の形態においては、さらに、または、任意のエンドユーザ装置１０５−１０７は、動画ビデオコンテンツオブジェクト、およびデジタルコンテンツオブジェクトのそれぞれを、どのデジタルコンテンツオブジェクトを特定の動画ビデオコンテンツオブジェクトの上に重ねるのに適しているかに基づいて特定する。例えば、人間がモデルとして、手に携帯電話を持っているかのように演じている動画ビデオコンテンツオブジェクトの上に、携帯電話の製品画像ではなく、大きなスーツケースの製品画像を重ねることは適していない。したがって、サーバシステム１１０は特定の種類（class）の製品を表示するデジタルコンテンツオブジェクトを類別するよう構成される。分類は、例えば、好ましくは大きさや重さに基づいて、そして、異なる動画ビデオコンテンツオブジェクトに関する特性を用いて行われる。ここで、動画ビデオコンテンツオブジェクトについても、サーバシステム１１０によって、これら動画ビデオコンテンツオブジェクトの上に重ね合わせるのに適しているデジタルコンテンツオブジェクトのクラスに応じて類別されることが好ましい。したがって、本発明に係るデジタル拡張された現実ビデオシステムは、デジタルコンテンツ提供者が幾つかの動画ビデオコンテンツを、これら動画ビデオコンテンツオブジェクトに統合されるのに適しているデジタルコンテンツオブジェクトの幾つかの種類に基づいて、前もって生成することができるという明確なメリットを提供する。さらに、本発明に係るシステムは、異なるユーザおよび／またはターゲット層に応じて異なる種類のデジタルコンテンツオブジェクトを放送するのに適した複数の異なる動画ビデオコンテンツを、前もって生成することを可能とする。
【００３７】
例えば、動画ビデオコンテンツが携帯電話を男性ユーザに宣伝するための広告コンテンツであった場合、女性モデルを利用する方が広告会社は効果を実感するかもしれない。これに対し、女性ユーザに携帯電話を宣伝する場合、男性モデルを利用する方が広告会社にとっては魅力的であるかもしれない。さらに、モデルの性別だけでなく、コンテキスト（例えば、家具、照明条件、自然環境、等）を様々なユーザに応じて変化させることもできる。したがって、本発明に係るデジタル拡張された現実ビデオシステムは特定のユーザに適した動画コンテキストで、様々な製品を特定的に宣伝することが可能であるという、明確なメリットを提供する。同時に、複数の高価なビデオコンテンツオブジェクトを作成する労力を費やさないようにできるというメリットも提供する。実際、ユーザ特性を満たす、比較的限定された数の動画ビデオコンテンツオブジェクトが作成されることが可能であり、これらは様々な異なる種類の製品を有する本発明に係るデジタル拡張された現実ビデオシステムに結合され、消費者の観点からみると、個別に作成されたかのように見える大量の異なるビデオ動画コンテンツを生成することができる。
【００３８】
別の例では、例えば、テレビ番組を想定する。動画ビデオコンテンツ（または、デジタルストリーミングビデオコンテンツ）は、番組司会者によって司会が行われる”中立的”に作成されたビデオ番組である。このような場合、サーバシステム１１０は、または、さらなる好ましい実施の形態においては、さらに、または、任意のエンドユーザ装置１０５−１０７は、ストリーミングビデオコンテンツ（即ち、中立的なテレビ番組）に、デジタルコンテンツオブジェクト（例えば、漫画のキャラクタでもよい）を重ね合わせる。さらに、その好ましい実施の形態の形態において、サーバシステム１１０は、または、さらなる好ましい実施の形態においては、さらに、または、任意のエンドユーザ装置１０５−１０７は、例えば、上述した関連性尺度の助けを借りて判別された、特定のユーザの好みに合致する漫画のキャラクタを選択するように構成される。
【００３９】
さらに好ましい実施の形態の１つにおいて、サーバシステム１１０は、まず、生成された関連性尺度に合致すると特定された、データベース１３０に記憶されるデジタルコンテンツオブジェクトを取得するように構成される。これに応答して、サーバシステム１１０は、取得されたデジタルコンテンツオブジェクトのデジタルオブジェクトクラスに合致すると特定された、データベース１２０に記憶される動画ビデオコンテンツオブジェクトを取得するように構成されることが好ましい。さらに、特定されたデジタルコンテンツオブジェクトクラスに合致する動画ビデオコンテンツオブジェクトが１つ以上ある場合、サーバシステム１１０は、生成された関連性尺度に最も合致する動画ビデオコンテンツオブジェクトを取得するように構成されることが好ましい。
【００４０】
しかしながら、別の好ましい実施の形態においては、例えば、上述のテレビ番組では、動画ビデオコンテンツオブジェクトは固定であってもよく、サーバシステム１１０は、または、さらなる好ましい実施の形態においては、さらに、または、任意のエンドユーザ装置１０５−１０７は、算出された関連性尺度および（固定された）動画ビデオコンテンツオブジェクトに最も合致したデジタルコンテンツオブジェクトの特定、および取得のみ行う。したがって、本発明の範囲を逸脱することなく、動画ビデオコンテンツオブジェクトが関連性尺度に合致するか否かに応じて動画ビデオコンテンツを特定するステップは省くことが可能である。そうではなく、少ない労力で、カスタマイズされたデジタルビデオコンテンツを作成する機能を高めるために、このステップを、本発明の特定の実施形態に選択的に導入してもよい。
【００４１】
さらに、サーバシステム１１０は、または、さらなる好ましい実施の形態においては、さらに、または、任意のエンドユーザ装置１０５−１０７は、特定の動画ビデオコンテンツオブジェクトに基づいて、データベース１２０に記憶される仮想動画メタデータに合致するようにデジタルコンテンツオブジェクトを再レンダリングするように準備される。特に、サーバシステム１１０は、または、さらなる好ましい実施の形態においては、さらに、または、任意のエンドユーザ装置１０５−１０７は、デジタルコンテンツオブジェクトとともに、データベース１３０に記憶される対応するマテリアル属性を取得するように構成される。さらに、サーバシステム１１０は、または、さらなる好ましい実施の形態においては、さらに、または、任意のエンドユーザ装置１０５−１０７は、動画ビデオコンテンツオブジェクト内の、デジタルコンテンツオブジェクトのマテリアル属性と、仮想動画メタデータと、意図される３次元座標とを利用して、デジタルコンテンツオブジェクトを再レンダリングするよう構成される。
【００４２】
この点に関して、サーバシステム１１０は、視覚的にデジタルコンテンツオブジェクトの追跡を実行する追跡システム手段を備える。これにより、サーバシステム１１０は追跡パターン、例えば動画ビデオコンテンツ内のテクスチャの一部、を認識する。さらに、サーバシステム１１０は、追跡パターンが動画ビデオコンテンツ内に配置されるように、追跡パターンを合成するように構成してもよい。動画ビデオコンテンツオブジェクトに重ね合わせる目的のデジタルコンテンツオブジェクトは、検出された追跡パターンに基づいて、動画ビデオコンテンツ内に配置されるのが好ましい。とくに、追跡システムは３次元における位置、および３次元における変化マトリクスを返すことが好ましい。サーバシステム１１０は、これらの座標に基づいて、デジタルコンテンツオブジェクトを配置するように準備される。追跡パターンに応じた変形は、動画ビデオコンテンツデータ、または仮想ビデオメタデータに含まれることが好ましい。
【００４３】
さらに、好ましい、他の実施形態において、サーバシステム１１０は、エンドユーザデバイス１０５−１０７のいずれかに、追跡の実行を委譲するように構成してもよい。コンピュータ１０５は、例えば、上述の放送チャネルを通じて、中立なストリーミングビデオコンテンツを受信するためのソフトウェアをインストールされるように好ましくは構成されていてもよい。中立なビデオコンテンツを受信するのに応じて、コンピュータ１０５は上述したような追跡を実行するように構成される。とくに、この好ましい実施の形態においては、コンピュータ１０５、および／または、その他の任意のエンドユーザ装置１０５−１０７、および／または、例えば、セットトップボックス１０７は、視覚的に追跡パターンの認識を実行する追跡システムのための手段を備える。追跡パターンの認識は、エンドユーザ装置１０５−１０７が、追跡パターン（例えば、動画ビデオコンテンツ内のテクスチャの一部）を認識するように行われる。さらに、エンドユーザ装置１０５−１０７は、動画ビデオコンテンツ内に追跡パターンが配置されるように、追跡パターンを合成するように代案的に構成されてもよい。動画ビデオコンテンツオブジェクトに重ね合わせる目的のデジタルコンテンツオブジェクトは、検出された追跡パターンに基づいて、動画ビデオコンテンツ内に配置されるのが好ましい。とくに、追跡システムは３次元の位置、および３次元の変化マトリクスを返すことが好ましい。エンドユーザ装置１０５−１０７は、これらの座標に基づいて、デジタルコンテンツオブジェクトを配置するように準備される。追跡パターンに応じた変形は、リアルタイムで、動画ビデオコンテンツデータ、または仮想ビデオメタデータに含まれることが好ましい。
【００４４】
サーバシステム１１０、または、好ましい実施の形態において上述したように、任意のエンドユーザ装置１０５−１０７は、表示された動画ビデオコンテンツオブジェクトに再レンダリングされたデジタルコンテンツオブジェクトを重ね合わせるよう好ましくは構成される。さらには、表示された動画ビデオコンテンツオブジェクトに再レンダリングされたデジタルコンテンツオブジェクトを重ねて、任意のユーザの受信／表示装置１０５−１０７に表示する。上述したように、動画ビデオコンテンツオブジェクトは、代替オブジェクトを備え、代替オブジェクトは再レンダリングされたデジタルコンテンツオブジェクトを含むよう意図された、位置や大きさを定義する。サーバシステム１１０、さらには、または、このましい実施の形態において、任意のエンドユーザ装置１０５−１０７が、動画ビデオコンテンツオブジェクトの動画に対して代替オブジェクトの位置を追跡できるように構成されるように、代替オブジェクトが配置されることが好ましい。好ましい実施の形態においては、代替オブジェクトの位置、および大きさは、場面、またはシーンの任意の場所に配置される”視覚マーカ”の位置に基づいている。視覚マーカは、その場面を表示するストリーミングビデオ、または動画ビデオコンテンツオブジェクトを作成するために撮影される。図２（ａ）はそのような視覚マーカを用いた様子を図式的に示す。特に、図２（ａ）は、視覚マーカ２０４がバイク２０２の下に配置されている点のみにおいて場面２０３とは異なる場面２０１を示す。図２（ａ）に示す視覚マーカ２０４の特殊な幾何学形状や配色は、しかしながら、視覚マーカのいくつかの可能な実施形態のうちの１つであり、この実施の形態においては、視覚マーカは、長方形であり、ハイコントラストな色を備える、濃い長方形部分と薄い長方形部分を有する。その他の形状や配色を用いて、本発明に利用する視覚マーカを作成することも可能である。したがって、例示の視覚マーカは１つの実施の形態に過ぎず、他の形状をした視覚マーカ、特に任意の形、色、質感、のほか、画像、ロゴ、または定義された任意の物理的なオブジェクトを本発明の範囲を逸脱することなく利用することが可能である。
【００４５】
しかしながら、実世界の場面と共に配置され、撮影されるマーカオブジェクトに基づいて代替オブジェクトを生成するのとは他に、あるいはその上に、サーバシステム１１０は特定された特殊なパターン（特定のロゴ、特殊なテクスチャ、および／または、特定の記号）に基づいて、代替オブジェクトを生成し、配置するように構成されることが好ましい。その意味では、図２（ａ）に示したものと同様の視覚マーカは、特殊なパターンであるといえ、サーバシステム１１０はストリーミングビデオの任意のフレーム内の視覚マーカおよび／または特殊パターンを特定するように特に構成される。しかしながら、上述した”特殊なパターン”に加えて、又は、”特殊なパターン”の他に、他の好ましい実施の形態においては、サーバシステム１１０は撮影された場面のキーポイントを特定するように構成される。その意味では、例えば、オブジェクトの端、手、または顔、など、その幾何学形状が経験則的に一般的に知られている特定の画像構成が、キーポイントとしての条件を満たす。この好ましい実施の形態においては、したがって、サーバシステム１１０は、あるストリーミングビデオの各フレームを分析して、特定したオブジェクトの幾何学形状を、種々のオブジェクトの所定の幾何学特性、または形状と比較してキーポイントを特定するように構成される。比較は、ファジィ比較法を利用することが好ましい。図２（ｃ）はこのようなキーポイントを利用した様子を図式的に示す。特に、図２（ｃ）は、モデル２７３の顔、とくに目がサーバシステム１１０によってキーポイントとして特定されている点についてのみ、シーン２８０と異なるシーン２７０を示す。そしてキーポイントに基づいて、サーバシステム１１０はシーンに重ねて代替オブジェクト２７５をシーン２８０内に生成し配置する。この特定の例においては、代替オブジェクトは”眼鏡”というデジタルオブジェクトのクラスに相当する。
【００４６】
上記記載のいずれかの実施形態において、サーバシステム１１０は、さらには視覚マーカオブジェクト、特殊パターン、および／またはキーポイントのそれぞれの位置の他、これら特徴の視角の変化、視点、および、相対的なサイズを検知するように構成されている。これらに基づいて、さらには、シーンの上に統合、または重ね合わせることを意図した、デジタルコンテンツオブジェクトのクラスの一般的な相対サイズを考慮して、システム１１０は代替オブジェクトを生成し、特定された視角マーカオブジェクト／特殊パターン／キーポイントに応じた所定の位置に配置し、そして、動画ビデオコンテンツオブジェクトのフレームからフレームへのマーカオブジェクト／特殊パターン／キーポイントの特定された変化に応じて、代替オブジェクトの幾何学形状、角度、大きさ、等を変化させる。
【００４７】
サーバシステム１１０は、さらには、代替オブジェクトの相対的な位置が実質的に同じに保たれるように、代替オブジェクトの位置を追跡するよう構成される。その他の実施の形態において、相対位置は特定の動画ビデオコンテンツオブジェクトの動画特性に応じて変化してもよい。例えば、代替オブジェクトはビデオの進行とともに、手を動かしているモデルの手に対して、位置が実質的に変わらないように代替オブジェクトを配置してもよい。代案として、しかしながら、ボールのような動くオブジェクトを考えた場合、モデルがボールを落とせば、代替オブジェクトは、その位置を、例えば、モデルの手と相対的に変化させることもある。代替オブジェクトの特定の位置、とくに、動画ビデオコンテンツオブジェクトの動画の進行に亘っての、当該位置の相対的な動きは、本発明の異なる実施形態において、変化してもよい。
【００４８】
好ましい実施の形態において、サーバシステム１１０は代替オブジェクトの追跡を視覚的に実行するように構成される。このとき、サーバシステム１１０は追跡パターン、例えば、動画ビデオコンテンツ内のテクスチャの一部を認識する。さらに、サーバシステム１１０はストリーミングビデオコンテンツ内に、追跡パターンを合成するように代案的に構成されてもよい。動画ビデオコンテンツの上に重ねられる代替オブジェクトは、従って、表示された動画ビデオコンテンツを拡張し、検出された追跡パターンに応じて動画ビデオコンテンツ内に配置されることが好ましい。好ましい実施の形態においては、代替オブジェクトは視線と常に直角を成すように配置されてもよい。その他の好ましい実施の形態においては、代替オブジェクトは、検出された追跡パターンに応じた所定の変換を行って配置してもよい。この点からみると、サーバシステム１１０は目の位置に対する全６度の自由度が全て得られるように、追跡パターンの認識、および合成を行うよう構成される。
【００４９】
さらに、好ましい、他の実施形態において、サーバシステム１１０は、エンドユーザ装置１０５−１０７のいずれかに、追跡の実行を委譲するように構成してもよい。コンピュータ１０５は、例えば、上述の放送チャネルを通じて、中立なストリーミングビデオコンテンツを受信するためのソフトウェアをインストールされるように好ましくは構成されていてもよい。中立なビデオコンテンツを受信するのに応じて、コンピュータ１０５は上述したような追跡を実行するように構成される。特に、この好ましい実施の形態において、コンピュータ１０５、および／または、その他のいずれかの任意のエンドユーザ装置１０５−１０７、および／または、例えば、セットトップボックス１０７は、視覚的に追跡パターンの認識を実行する追跡システムのための手段を備える。追跡パターンの認識は、エンドユーザ装置１０５−１０７が、追跡パターン（例えば、動画ビデオコンテンツ内のテクスチャの一部）を認識して行われる。さらに、エンドユーザ装置１０５−１０７は、動画ビデオコンテンツ内に追跡パターンが配置されるように、追跡パターンを合成するように代案的に構成されてもよい。動画ビデオコンテンツオブジェクトに重ねられる代替オブジェクトは、従って、表示された動画ビデオコンテンツを拡張し、好ましくは、検出された追跡パターンに基づいて、動画ビデオコンテンツ内に配置される。好ましい実施の形態においては、代替オブジェクトは視線と常に直角を成すように配置されてもよい。他の好ましい実施の形態においては、検出された追跡パターンに応じて所定の変換を行って代替オブジェクトを配置するようにしてもよい。この点からみると、サーバシステム１１０は目の位置に対する全６度の自由度が全て得られるように、追跡パターンの認識、および合成を行うよう構成される。
【００５０】
したがって、ユーザには仮想デジタルコンテンツオブジェクトを上に重ねた動画ビデオコンテンツが表示される。サーバシステム１１０により実施される再レンダリング、または他の好ましい実施形態においては上述したように任意のエンドユーザ装置１０５−１０７によって実施される再レンダリングを通じて、仮想デジタルコンテンツオブジェクトは、特定の動画ビデオコンテンツオブジェクトの仮想動画メタデータ、特に、動画特性と照明角度視点（illumination angle point view）／視角の条件と、に合致するように、表示された動画ビデオコンテンツの動画内容に自然な形で統合される。
【００５１】
更なる好ましい実施の形態において、デジタルコンテンツオブジェクトは動画であってもよい。この実施の形態では、代替オブジェクトは、ユーザが動画を動画ビデオコンテンツの一部であると違和感なく感じるように、動画ビデオコンテンツオブジェクトの上に、再レンダリングされた動画を含み、そして表示するように用意される。サーバシステム１１０は、したがって、特定の動画の各フレームを動画ビデオコンテンツの対応するフレームに関連付けて、割り当てるよう構成されることが好ましい。さらにサーバシステム１１０は、または、さらなる好ましい実施の形態においては、任意のエンドユーザ１０５−１０７は、さらに、または、動画の割り当てられたフレームをリアルタイムで再レンダリングするよう構成される。再レンダリングは、割り当てられた動画ビデオコンテンツオブジェクトの、ある特定の時刻において、ユーザに表示されたフレームに依存する。
【００５２】
さらに、実施形態の１つにおいて、インターネットウェブサイトの表示内容に動画ビデオコンテンツが含まれているとき、サーバシステム１１０は、パーソナルＰＣ１０５を操作している特定のユーザのマウスの動きを追跡するよう構成されることが好ましい。特に、サーバシステム１１０は、マウスポインタ装置を用いて、表示の再レンダリングされたデジタルコンテンツオブジェクトを特定のユーザがクリックしたか否かを特定するよう構成することが好ましい。サーバシステム１１０が、表示の再レンダリングされたデジタルコンテンツオブジェクトをユーザがクリックしたと特定した場合、サーバシステム１１０は特定のベンダのサーバシステム１８０へとユーザをリダイレクトするよう構成される。サーバシステム１８０は、データベース１９０に記憶される内容に応じて、特定のベンダの製品や提供サービスおよびカタログへのアクセスをユーザに提供するよう構成される。この点からすると、サーバシステム１１０は、デジタルコンテンツオブジェクトがユーザによってクリックされた否かを判定するよう構成される。好ましくは、サーバシステム１１０はこの機能を実施するために、レイ−物体交差（ray object intersection）を利用する。サーバシステム１１０はユーザがデジタルコンテンツオブジェクトをクリックしたことを検知すると、サーバシステム１１０はデジタルコンテンツメタデータに記憶されるデジタルコンテンツオブジェクトに対応するベンダのコンテンツを開放するように構成される。好ましい実施形態の１つにおいて、サーバシステム１１０は、自分の範囲内におけるベンダのコンテンツを解放する。他の選択肢としては、サーバシステム１１０が適切な動作（例えば、新たなウェブブラウザ窓を開く動作）へと外部的に導く信号を発生するように構成してもよい。
【００５３】
図２ｂは動画ビデオコンテンツオブジェクト２０５を図式的に示す。動画ビデオコンテンツオブジェクト２０５には代替オブジェクト２５０が統合され、動画ビデオコンテンツ２０５の上に重ねて表示されている。動画ビデオコンテンツオブジェクト２０５および２１０のそれぞれに記載される矢印は潜在的な動画構成を示唆するものであり、この図においては、モデルの手の特定の動きを表す。代替オブジェクト２５０は動画ビデオコンテンツオブジェクト２０５内の位置に配置されることが好ましく、特定の動画ビデオコンテンツオブジェクト２０５のコンテキスト内に表示されるよう意図されたデジタルコンテンツオブジェクトのクラスの自然な使い方に相当する位置に配置される。さらに、図２（ｂ）はデジタルコンテンツオブジェクト、携帯電話２６０が重畳された動画ビデオコンテンツオブジェクト２１０を示す。携帯電話２６０は、図１に関して上述したように再レンダリングされている。図に示すように、動画ビデオコンテンツオブジェクト２０５は、代替オブジェクト２５０によって印付けされた位置に再レンダリングされたデジタルコンテンツオブジェクト２６０が挿入できるように構成される。好ましい実施形態において、代替オブジェクトの追跡は、追跡パターン、例えば、動画ビデオコンテンツのテクスチャの一部、が認識されるように、視覚的に実施される。あるいは、追跡パターンが動画ビデオコンテンツの中に配置されるように追跡パターンを合成してもよい。代替オブジェクトが重ねられた動画ビデオコンテンツは、したがって、表示された動画シーン（好ましくは検知された追跡パターンに応じた動画コンテンツ内に配置される）を拡張することが可能である。好ましい実施形態の１つにおいて、追跡や画像の重畳はサーバシステム１１０によって実施される。または、他の好ましい実施の形態において、追跡や画像の重畳は図１に示すように、エンドユーザ装置１０５−１０７のいずれかによって実施されてもよい。好ましい実施の形態において、代替オブジェクトは視線に対して垂直に配置されてもよい。一方、他の好ましい実施の形態においては、代替オブジェクトは、検出された追跡パターンに応じた所定の変換を行って配置してもよい。この点からみると、サーバシステム１１０は目の位置に対する６度の自由度が全て得られるように、追跡パターンの認識、および合成を行うよう構成される。
【００５４】
図３は本発明に係るデジタル拡張された現実ビデオシステムの構成を図示するためのフローチャートである。ステップ３００において、デジタル動画ビデオコンテンツオブジェクトはデータベース１２０に記憶される。さらに、ステップ３１０において、これら記憶された動画ビデオコンテンツオブジェクトは、コンピュータシステム１１０によって解析される。解析は、仮想ビデオメタデータ、特に動画特性、視点、視角、照明情報などに関して行われ、これにより、ステップ３２０で、動画ビデオコンテンツオブジェクトとともに記憶される仮想ビデオメタデータを生成する。さらに、ステップ３３０において、デジタルコンテンツオブジェクトおよびコンテンツオブジェクトのメタデータはデータベース１３０に記憶される。好ましい実施の形態の１つにおいて、特にデジタルコンテンツオブジェクトが広告オブジェクトであった場合、コンテンツオブジェクトメタデータは例えば、特定のベンダのウェブサイトのインターネットアドレス、および／またはカタログ、および／または製品やサービスに関する情報を備える。ステップ３４０においては、コンテンツを要求しているユーザが特定される。ステップ３４０で特定された要求ユーザに基づいて、ステップ３５０では、当該ユーザのプロファイルが取得され、当該ユーザが要求したコンテンツの内容や、例えば時刻が特定される。ステップ３５５では、特定のユーザのプロファイル、要求されたコンテンツの内容、そして、例えば、時刻などを考慮して、関連性尺度が生成される。関連性尺度に基づいて、ステップ３６０では、関連性尺度にマッチするデジタルコンテンツオブジェクトが識別される。さらにステップ３７０では、ステップ３６０で識別された、特定のデジタルコンテンツオブジェクトが取得される。ステップ３７５では、取得されたデジタルコンテンツオブジェクトのデジタルコンテンツオブジェクトクラスに一致する１つ以上の動画ビデオコンテンツオブジェクトが特定される。ステップ３８０では、取得されたデジタルコンテンツオブジェクトのクラスに一致する動画ビデオコンテンツオブジェクトが１つ以上あった場合、ステップ３５５で生成された関連性尺度に最もよく一致する特定の動画ビデオコンテンツオブジェクトを識別し、取得する。しかしながら、図１の内容について上述したように、ステップ３７５および３８０は選択自由である。好ましい実施の形態の１つにおいて、例えばテレビ番組がデジタル放映されており、動画ビデオコンテンツは先験的（a priori）に固定されており、したがって、ステップ３７５および３８０は除いてもよい。ステップ３８５では、デジタルコンテンツオブジェクトが、動画ビデオコンテンツのメタデータ（特に、ステップ３８０で取得した動画ビデオコンテンツの動画特性、照明条件、およびまたは視点／視角）に一致するように再レンダリングされる。ステップ３９０では、動画ビデオコンテンツオブジェクトが、再レンダリングされたデジタルコンテンツオブジェクトを重ねて表示される。ユーザが表示の再レンダリングされたデジタルコンテンツオブジェクトをクリックすると、または、表示の再レンダリングされたデジタルコンテンツオブジェクトを適切な動作で選択すると、ステップ３９���では、広告コンテンツのメタデータに記憶された情報に基づいて、ユーザはリダイレクト（transfer）される。
【図面の簡単な説明】
【００５５】
【図１】本発明に基づいたデジタル拡張された現実ビデオシステムを概略的に示す図である。
【図２ａ】視覚マーカを概略的に示す図である。
【図２ｂ】再レンダリングされたデジタルオブジェクトを重ねられた動画ビデオコンテンツオブジェクトを概略的に示す図である。
【図２ｃ】キーポイントの特定を概略的に示す図である。
【図３】デジタル拡張された現実ビデオシステムの動作を説明するフローチャートを示す図である。
【図１】
2008092557.tif 000003
【図２ａ】
2008092557.tif 000004
【図２ｂ】
2008092557.tif 000005
【図２ｃ】
2008092557.tif 000006
【図３】
2008092557.tif 000007
【外国語明細書】
2008092557.tif 000008
2008092557.tif 000009
2008092557.tif 000010
2008092557.tif 000011
2008092557.tif 000012
2008092557.tif 000013
2008092557.tif 000014
2008092557.tif 000015
2008092557.tif 000016
2008092557.tif 000017
2008092557.tif 000018
2008092557.tif 000019
2008092557.tif 000020
2008092557.tif 000021
2008092557.tif 000022
2008092557.tif 000023
2008092557.tif 000024
2008092557.tif 000025
2008092557.tif 000026
2008092557.tif 000027
2008092557.tif 000028
2008092557.tif 000029
2008092557.tif 000030
2008092557.tif 000031
2008092557.tif 000032
2008092557.tif 000033
2008092557.tif 000034
2008092557.tif 000035
2008092557.tif 000036
2008092557.tif 000037
2008092557.tif 000038
2008092557.tif 000039