(57)【要約】      （修正有）【課題】ユーザの参照しているウェブページにおいて、ユーザの関心の対象範囲内に広告コンテンツの表示を可能にする仮想広告システムを提供する。【解決手段】少なくとも１つの現実のパノラマコンテントオブジェクトを格納するための手段と、パノラマコンテントオブジェクトから仮想画像メタデータを生成するための手段と、少なくとも１つの広告コンテントオブジェクトを格納するための手段と、仮想画像メタデータに従って広告コンテントオブジェクトを再レンダリングするための手段と、再レンダリングされた広告コンテントオブジェクトを、表示されたパノラマコンテントオブジェクトに、規定された位置で重ね合わせるための手段と、を備える仮想広告システムが示される。【選択図】図１
2007328786.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの現実のパノラマコンテントオブジェクトを格納するための手段と、
前記パノラマコンテントオブジェクトから仮想画像メタデータを生成するための手段と、
少なくとも１つの広告コンテントオブジェクトを格納するための手段と、
前記仮想画像メタデータに従って前記広告コンテントオブジェクトを再レンダリングするための手段と、
再レンダリングされた前記広告コンテントオブジェクトを、表示される前記パノラマコンテントオブジェクトに、規定された位置で重ね合わせるための手段と、
を備える仮想広告システム。
【請求項２】
前記パノラマコンテントは、３６０度のパノラマ画像である請求項１に記載のシステム。
【請求項３】
ある特定の時点において、３６０度の前記パノラマコンテントの一部のみが、ユーザの要求によって表示される請求項２に記載のシステム。
【請求項４】
前記広告コンテントオブジェクトの表示が前記パノラマコンテントオブジェクトの表示に自然に調和するように、重ね合わせは、前記広告コンテントオブジェクトを組み込むことを構成する請求項１ないし３のいずれか１項に記載のシステム。
【請求項５】
前記広告コンテントオブジェクトは、静止画である請求項１ないし４のいずれか１項に記載のシステム。
【請求項６】
前記広告コンテントオブジェクトは、動画である請求項１ないし４のいずれか１項に記載のシステム。
【請求項７】
前記動画の各フレームが、表示される前記パノラマコンテントの前記仮想画像メタデータに応じて再レンダリングされるように、重ね合わせは、前記パノラマコンテントオブジェクトの表示の中に前記動画を組み込むことを構成する請求項６に記載のシステム。
【請求項８】
ユーザプロファイルを格納するための手段と、
表示される前記パノラマコンテントの情報コンテクストを翻訳するための手段と、
格納されたユーザプロファイル、表示される前記パノラマコンテントの情報コンテクストおよび／または日時のうちの少なくとも１つに基づいて表示されるように、広告コンテントオブジェクトを選択するための手段と、
をさらに備える請求項１ないし７のいずれか１項に記載のシステム。
【請求項９】
前記パノラマコンテントオブジェクトの中でプレースホルダオブジェクトを組み込みかつ追跡するための手段をさらに備え、前記広告コンテントオブジェクトは、表示されている間は前記プレースホルダオブジェクトの中に位置づけられる請求項１ないし８のいずれか１項に記載のシステム。
【請求項１０】
前記ユーザが３６０度までの範囲内で前記パノラマコンテントオブジェクトの眺望角度を変えることができるように、前記広告コンテントオブジェクトの位置は、前記パノラマコンテントオブジェクトの中で追跡され、かつ、前記広告コンテントオブジェクトは、直近に表示された眺望角度に応じて前記仮想画像メタデータに合致するように再レンダリングされる請求項１ないし９のいずれか１項に記載のシステム。
【請求項１１】
前記動画のフレームのいずれもが実時間で再レンダリングされるように、前記広告コンテントオブジェクトが再レンダリングされる請求項６に記載のシステム。
【請求項１２】
請求に基づいてユーザをリダイレクトするための手段をさらに備え、前記仮想広告システムがベンダメタデータに従って請求に基づいて前記ユーザをリダイレクトするように、表示される前記広告コンテントオブジェクトは、前記ベンダメタデータによって強化される請求項１ないし１１のいずれか１項に記載のシステム。
【請求項１３】
仮想広告を生成しかつ表示するための方法であって、
少なくとも１つの現実のパノラマコンテントオブジェクトを格納するステップと、
前記パノラマコンテントオブジェクトから仮想画像メタデータを生成するステップと、
少なくとも１つの広告コンテントオブジェクトを格納するステップと、
前記仮想画像メタデータに従って前記広告コンテントオブジェクトを再レンダリングするステップと、
再レンダリングされた前記広告コンテントオブジェクトを、表示される前記パノラマコンテントオブジェクトに、規定された位置で重ね合わせるステップと、
を備える方法。
【請求項１４】
前記パノラマコンテントは、３６０度のパノラマ画像である請求項１３に記載の方法。
【請求項１５】
ある特定の時点において、３６０度の前記パノラマコンテントの一部のみが、ユーザの要求によって表示される請求項１４に記載の方法。
【請求項１６】
前記広告コンテントオブジェクトの表示が前記パノラマコンテントオブジェクトの表示に自然に調和するように、重ね合わせは、前記広告コンテントオブジェクトを組み込むことを構成する請求項１３ないし１５のいずれか１項に記載の方法。
【請求項１７】
前記広告コンテントオブジェクトは、静止画である請求項１３ないし１６のいずれか１項に記載の方法。
【請求項１８】
前記広告コンテントオブジェクトは、動画である請求項１３ないし１６のいずれか１項に記載の方法。
【請求項１９】
前記動画の各フレームが、表示される前記パノラマコンテントの前記仮想画像メタデータに応じて再レンダリングされるように、重ね合わせは、前記パノラマコンテントオブジェクトの表示の中に前記動画を組み込むことを構成する請求項１８に記載の方法。
【請求項２０】
少なくとも１つのユーザプロファイルを格納するステップと、
表示される前記パノラマコンテントの情報コンテクストを翻訳するステップと、
格納されたユーザプロファイル、表示される前記パノラマコンテントの情報コンテクストおよび／または日時のうちの少なくとも１つに基づいて表示されるように、前記広告コンテントオブジェクトを選択するステップと、
をさらに備える請求項１３ないし１９のいずれか１項に記載の方法。
【請求項２１】
前記パノラマコンテントオブジェクトの中にプレースホルダオブジェクトを組み込みかつ追跡するステップをさらに備え、前記広告コンテントオブジェクトは、表示されている間は前記プレースホルダオブジェクトの中に位置づけられる請求項１３ないし２０のいずれか１項に記載の方法。
【請求項２２】
前記ユーザが３６０度までの範囲内で前記パノラマコンテントオブジェクトの眺望角度を変えることができるように、前記広告コンテントオブジェクトの位置は、前記パノラマコンテントオブジェクトの中で追跡され、かつ、前記広告コンテントオブジェクトは、直近に表示された眺望角度に応じて前記仮想画像メタデータに合致するように再レンダリングされる請求項１３ないし２１のいずれか１項に記載の方法。
【請求項２３】
前記動画のフレームのいずれもが実時間で再レンダリングされるように、前記広告コンテントオブジェクトが再レンダリングされる請求項１８に記載の方法。
【請求項２４】
請求に基づいてユーザをリダイレクトするための手段をさらに備え、ベンダメタデータに従って請求に基づいて進行中のユーザがリダイレクトされるように、表示される前記広告コンテントオブジェクトは、前記ベンダメタデータによって強化される請求項１３ないし２３のいずれか１項に記載の方法。
【請求項２５】
コンピュータ上で実行されるとき、請求項１３ないし２４のいずれかの前記方法のステップを実行するように構成されるコンピュータ読み取り可能な命令を格納するコンピュータ読み取り可能な媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
概して、本発明は、現実のパノラマコンテントオブジェクトを格納および表示するよう構成され、パノラマコンテント属性に従って広告コンテントオブジェクトを再レンダリングし、かつ、再レンダリングされた広告コンテントオブジェクトをパノラマコンテントに重ね合わせる、コンピュータシステムに関する。
【背景技術】
【０００２】
日々の情報源としてのインターネットの急速な普及は、一般的で、かつ、たびたび好適な情報源としてインターネットを確立してきた。しかしながら、ウェブサイトの数が大きく増加することに伴い、情報の包括的な提供は増えているにもかかわらず、同時にインターネットユーザにとって、‘確かな品質’のコンテントを識別し、関心のある特定の分野に関連する特定の質問に対する回答を迅速に見つけ出すことはますます困難になってきている。
【０００３】
例えば、一般に、ある場所で休暇を過ごす計画を立てているユーザは、特定地域という文脈の中で運営している、さまざまな都市、地域の行政当局、企業、旅行代理店、航空会社等によって配信される情報提示に対面する。そこで、迅速でアクセスしやすい‘確かな品質’のコンテントのニーズに応える情報サービスプロバイダがすでに出現しており、個別分野の関心に対応するコンテントの提示に特化している。これらのサービスプロバイダは、ユーザが必要な個別情報を迅速に収集することをユーザに対して可能にする特殊な情報検索ツールに加えて、的を絞った情報プールを提供することができるので、彼らのウェブサイトにますます増加する訪問者を引きつけることができるかもしれない。特に、このような特化情報サービスプロバイダは、例えば、休暇および／または旅行の情報に関連して検索され得る。このような情報サービスプロバイダ、というよりはむしろコンテントサービスプロバイダは、関心を示したユーザが旅行に行きたい場所から本来の印象を迅速に獲得できるようにするため、デジタル化されたパノラマコンテントをたびたび提供する。
【０００４】
しかしながら、一般的に、あるコンテントサービスプロバイダは、ほとんど無料でユーザに彼らのコンテントを提供する場合に、たくさんの関心あるユーザを引きつけることができるだけかもしれないという問題に直面している。他方、特定のコンテントを編集により解決し、上述した情報検索ツールを開発しかつ提供し、基礎となるウェブサーバシステムの基幹施設を強化し維持する等の努力は、多大の費用を招く。これらのコンテントサービスプロバイダは、ユーザの定期購読に基づくこれらの費用を資金補充することはできないので、彼らは、第三者の企業に対してその製品／サービスをコンテントサービスプロバイダのウェブサイト上で広告するように動機づけしなければならない。多くの場合、これらの広告から生ずる収入は、これらのコンテントサービスプロバイダにとって最も重要な経済的な基盤を提供する。一般的に、例えば、製品の写真、ベンダのロゴ、または動画のような広告オブジェクトは、ユーザに表示される特定情報を考慮して表示される。 
【０００５】
一般的に広告の分野で知られるとおり、広告される製品／サービスが適切な見込み客または目標集団に示されるならば、広告は非常に効率が良い傾向がある。その上、広告が個別の顧客の視覚コンテクストの中に自然に組み込まれたものとして認識される場合、広告は、広告される製品／サービスに新しい顧客を惹きつける比較的高い可能性があるかもしれない。対照的に、広告が顧客に現在の背景を混乱させかつ妨げになるものと認識される場合、広告は顧客の吸引に負の効果を有することさえあり得る。従って、例えば、動画の中の製品の配置は、この意味で広告のかなり効率的な形態として一般的に認識される。しかしながら、コンテントサービスプロバイダの場合に、ユーザの関心の焦点は、一般的に広告コンテントに向けられるのではなく、提供される編集情報コンテントに向けられる。このように、コンテントサービスプロバイダは、個別広告をどのようにそしてどこに位置づけるかを選択しなければならない。
【０００６】
最近、この問題に対して、コンテントサービスプロバイダが、所望の編集コンテント（例えば、パノラマ写真）のとなりの位置に個別の広告を位置づけできる技術的解決策が知られている。これらの技法の１つの普及している適用例は、例えば、グーグル（登録商標）検索エンジンであり、これは左側に表示された探索のとなり（すなわち、右側）に広告を表示する。これらの技法を選択して、コンテントサービスプロバイダは、これらの情報検索を混乱させあるいは妨げになるものとユーザに認識されない方法で広告を位置づけすることを成し遂げるかもしれない。しかしながら、この場合、重大な欠陥は、広告がユーザの関心の対象範囲外に位置づけられるおそれがあり、ユーザに気づかれることさえないかもしれないということである。結果として、これは、広告会社に彼らの個別の広告のこのような位置づけは魅力的なものではないと認識され、コンテントサービスプロバイダの経済的基盤を脅かすことにつながるかもしれない。
【０００７】
ある選択肢として、ユーザが要求コンテントに実際にアクセスし得る前に、コンテントサービスプロバイダが、最初にユーザによって確認されるべき広告コンテントオブジェクトを、ユーザにより要求される情報コンテントに重ね合わせることができる技術が知られる。これらの技法を使って、コンテントサービスプロバイダは、個別のコンテントを要求するいかなるユーザも広告に気づくことを確信できる。このように、広告のこの形態は、一般的にかなり魅力的なものとして広告会社に認識されるかもしれない。しかしながら、広告のこの形態が、ユーザの情報検索処理過程を混乱させかつ妨げになるものとして多くのユーザに認識されているとの顧客調査はすでに示されている。このように、これらの技法の適用は、一般的に個々のウェブサイトの総合的な魅力をより低いものにしている。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
それゆえ、ユーザの情報検索経験を混乱させかつ妨げになることなく、ウェブサイトユーザの関心の対象範囲内に広告コンテントオブジェクトの表示を可能にするような広告のシステムおよび方法に対するニーズがある。
【課題を解決するための手段】
【０００９】
本発明のある観点によると、その目的は、仮想広告システムにより解決される。このシステムは、現実のパノラマコンテントオブジェクトを格納する手段、例えば、３６０度までの異なる角度を持つパノラマ写真および／または動画のようなパノラマコンテントオブジェクトから仮想画像メタデータを生成する手段と、広告コンテントオブジェクトを格納する手段と、仮想画像メタデータに従って広告コンテントオブジェクトを再レンダリングする手段と、再レンダリングされる広告コンテントオブジェクトを、表示されるパノラマコンテントオブジェクトに、あらかじめ規定されかつ追跡された画像位置で重ね合わせる手段と、を備える。
【００１０】
その結果、本発明の仮想広告システムによると、例えば、会社のロゴ、製品の写真または動画のような、あらかじめ格納された広告コンテントオブジェクトは、パノラマコンテントオブジェクトの中に“自然に”組み込まれ得る。好ましくは、パノラマコンテントオブジェクトは、例えば、３６０度までの異なる観察角度によって、ある都市のパノラマまたはある特定の風景のような、特定のパノラマ状態の写真であってよい。パノラマオブジェクトは、要求するユーザに、例えば静止画表示として見られてよいが、ユーザが特定のパノラマの３６０度までの印象を経験でき得るように、所望の観察角度もまたユーザに左右されてよい。
【００１１】
さらに、本発明の仮想広告システムは、広告コンテントオブジェクトが再レンダリングされることを可能にするので、再レンダリングされる広告コンテントオブジェクトは、本来のパノラマコンテントオブジェクトから生成される仮想画像メタデータと合致する。上述した従来の広告位置づけ技法とは逆に、本発明の仮想広告システムは、再レンダリングされる広告コンテントオブジェクトが重なり合わされて、表示されるパノラマコンテントの中に組み込まれることを可能にする。
【００１２】
あらかじめ生成されたパノラマコンテントメタデータに従って広告コンテントオブジェクトを再レンダリングすることにより、広告コンテントオブジェクトの外観は、再レンダリングされる広告オブジェクトが本質的に、例えば、表示されるパノラマコンテントの照度条件、眺望角度および視点と調和するように実現することができる。しかしながら、照度条件、眺望角度および視点は、仮想画像メタデータの関連する観点の単なる好適な例であり、また、他の関連する観点は、本発明の範囲から逸脱することなく、広告コンテントオブジェクトを再レンダリングすることを考慮に入れてもよい。さらに、パノラマコンテントの仮想画像メタデータに従って広告コンテントオブジェクトを再レンダリングすることにより、広告コンテントオブジェクトの外観は、ユーザが、表示されるパノラマコンテントオブジェクトの包括的な外観から本質的に逸脱することなく、表示されたパノラマコンテントの“自然な”部分として広告コンテントオブジェクトを認識することができるように、実現されることができる。
【００１３】
このように、本発明の仮想広告システムは、表示されるパノラマコンテントの中に現実感のある方法で広告コンテントオブジェクトを埋め込むことを可能にし、ユーザが特定のパノラマコンテントの中に“自然に”組み込まれた広告コンテントを認識するように誘導する。こうして、前述した技法とは対照的に、広告のこの位置づけは、広告がユーザの関心の対象範囲内に表示され、同時にユーザの情報検索を混乱させあるいは妨げになるものとしてユーザに認識されないことを確実なものとする。
【００１４】
別の好適な実施形態において、パノラマコンテントの中に表示されることが選択される個別の広告コンテントオブジェクトは、例えば、個別の情報コンテクストおよび／または日時のような、格納されたユーザプロファイルから検索される情報に基づいて選択される。こうして、この別の実施形態は、個別のユーザの関心や履歴に最も適した、個別の広告コンテントを表示する利点を備える。
【００１５】
さらに別の好適な実施形態において、好ましくは、広告オブジェクトはプレースホルダーオブジェクトの中に配置できるが、プレースホルダオブジェクトは、ユーザが３６０度までの範囲内でパノラマコンテントオブジェクトの眺望角度を変更できるようにパノラマコンテントオブジェクトの中で追跡される。
【００１６】
またさらに別の好適な実施形態において、再レンダリングされるべき広告コンテントオブジェクトは、広告動画であってもよいし、再レンダリングは、即時に動画のいかなるフレームにも適用することができる。
【００１７】
また別の実施形態において、表示の再レンダリングされた広告コンテントオブジェクトは、仮想広告システムがユーザをベンダのウェブサイトおよび／またはベンダのカタログにリダイレクトすることを可能にするベンダの個別メタデータによって強化されることができる。このように、この実施形態は、ユーザが表示された再レンダリング広告コンテントオブジェクト上で直接クリックし、それにより特定のベンダの製品／サービスの提示に入ることができるような、よく知られたインターネットリンクとほとんど同様の機能を用いてユーザに提供する利点をさらに備える。
【００１８】
さらに別の好適な実施形態は、付属の請求項の中で定められ、また、添付の図面を参照して下記において記述される。
【発明を実施するための最良の形態】
【００１９】
本発明は、図面と同様に下記詳細な説明に示される実施形態を参照して記述されているとはいえ、図面と同様に下記詳細な説明は、開示された個々に例示の実施形態に本発明を制限するよう意図されることはなく、むしろ記述された例示の実施形態は、付属の請求項によって定義された範囲内で、本発明のさまざまな観点を単に例示するものと理解されるべきである。
【００２０】
図１は、略図において本発明による仮想広告システム１００を概略的に示す。システム１００は、インターネットを介して仮想広告サービスシステム１１０に接続されるユーザコンピュータシステム１０５を備える。サーバシステム１１０は、多くのデータベース１２０、１３０、１４０へのアクセスを有する。しかしながら、データベースの数は、むしろ例示的であって、本発明の異なる実施の中で変わり得る。図１に示される好適な実施形態において、データベース１２０は、デジタルのパノラマコンテントオブジェクトを格納する。さらに、例示のサーバシステム１１０は、例えば、データベース１２０に格納されるパノラマコンテンツの照度条件および視点／眺望角度の観点で、デジタルのパノラマコンテントオブジェクトを分析するように構成される。このように、サーバシステム１１０は、例えば建物のようなパノラマコンテントの一部であるさまざまなオブジェクトの空間的関係を分析するように例えば構成される。さらに、好ましくは、サーバシステム１１０は、本来のパノラマコンテントの空間的関係、視点、眺望角度、照度およびその他の条件に関する情報から構成される、本来のパノラマコンテント仮想画像メタデータの分析から生成されるように構成される。
【００２１】
個々のパノラマコンテントに対応する仮想画像メタデータは、全３６０°（３６０度）のパノラマ画像の照度情報を備えるように構成される特定のパターンで、データベース１２０の中に格納される。好ましくは、照度情報は、特に拡散光濃度および鏡面光マップから構成される。こうして、仮想画像メタデータの中に格納された情報は、個々の表面が個々のパノラマコンテントの自然の照度条件と調和するように、例えば金属のような反射する表面を擬似的に明るくすることを可能にする。
【００２２】
さらに、好ましくは、データベース１３０は、例えば、製品の写真、個別のベンダのロゴあるいはもう１つの選択肢として広告動画のような広告コンテントオブジェクトを格納する。好ましくは、サーバシステム１１０は、実際の広告コンテントオブジェクト（例えば、動画または静止画）やこれらのオブジェクトの素材特性を付加的に格納するように構成される。素材特性は、この情報が広告コンテントオブジェクトに対する仮想的な照度を生成することに利用できるように、広告コンテントオブジェクトの表面素材を好ましくは反映する。それゆえ、好ましくは、素材特性は、個別の広告コンテントオブジェクトがどれくらい明るくされるかを、例えば、オブジェクトは、金属表面のような反射表面を有するかどうかの質問に回答し、決定する。さらに、データベース１３０は、特定の情報コンテクスト、ユーザ属性および日時に関する特定の広告コンテントオブジェクトの適合性と同様に、例えば、好ましくは、ベンダのカタログまたはウェブサイトに関連するリンク情報を備える個別の広告コンテントオブジェクトと一緒に、ベンダメタデータ、というよりはむしろコンテントオブジェクトメタデータを格納する。しかしながら、これらの個別のメタデータ特性はむしろ例示的であって、本発明による他の実施は、追加のまたは他のメタデータ特性を選択することができる。さらに、データベース１４０は、ユーザプロファイルを格納する。この点において、好ましくは、サーバシステム１１０は、ユーザがあるウェブサイトに登録するために、サーバシステム１１０下で動作するそのウェブサイトを訪れることができるように構成される。この登録に従って、サーバシステム１１０はウェブサイト上でのユーザの活動を追跡するように構成され、これらの活動履歴を生成する。例えば、年齢、所在地、旅行の習慣等の個別のユーザ属性は、ユーザ活動履歴と一緒に、その後コンピュータシステム１１０により検索され得るデジタルパターンでデータベース１４０に格納される。次に、サーバシステム１１０は、ユーザが好適な情報検索可能ツールを介して特定のユーザの情報ニーズに合致する特定のパノラマコンテントにアクセスできるように構成される。さらに、好ましくは、サーバシステム１１０は、データベース１４０に格納されたユーザプロファイルを、個別のパノラマコンテントに対するユーザの要求に応じて、検索するように構成される。さらに、好ましくは、サーバシステム１１０は、データベース１４０に格納された個別のユーザプロファイル、日時および／またはユーザにより要求される特定のパノラマコンテントに基づいて、サーバシステム１１０が、データベース１３０に格納された個別のコンテントオブジェクトを識別することを可能にする適合基準を生成するように構成される。これは、最も好適な算出された適合基準と合致する。
【００２３】
さらに、好ましくは、サーバシステム１１０は、生成される適合基準に合致すると認識された、データベース１３０に格納された広告コンテントオブジェクトを検索するように構成される。さらにまた、サーバシステム１１０は、ユーザによって要求される特定のパノラマコンテントに従って、データベース１１０に格納された仮想画像メタデータと合致するように広告コンテントオブジェクトを再レンダリングするように準備される。特に、サーバシステム１１０は、データベース１３０に格納された素材特性を広告オブジェクトと一緒に検索するように構成される。さらに、サーバシステム１１０は、実際の広告コンテントオブジェクトを再レンダリングするために、素材特性、仮想画像データおよび窪みがつけられた広告コンテントオブジェクトの三次元（３Ｄ）位置を使用するように構成される。この点に関して、サーバシステム１１０が、例えば、パノラマコンテントのテクスチャの一部、例えば家の正面等の追跡パターンを認識するように、サーバシステム１１０は、光学的な方法で広告コンテントオブジェクトの追跡を実行する追跡システムのための手段を備える。また、追跡パターンがパノラマコンテントの中に位置づけ得るように、サーバシステム１１０は、もう一つの選択肢として、追跡パターンを合成的に生成するように構成される。好ましくは、パノラマコンテントに重なり合わせるように窪みがつけられた広告コンテントオブジェクトは、検出された追跡パターンに相関するパノラマコンテントの中に位置づけられる。好ましくは、追跡システムは３Ｄ位置および３Ｄ回転のマトリックスを返す。そのとき、サーバシステム１１０は、広告コンテントオブジェクトをこれらの座標に相関して位置づけるように準備される。好ましくは、追跡パターンに相関する変形画像は、パノラマコンテントデータまたは仮想画像データの中に含まれる。
【００２４】
次に、好ましくは、サーバシステム１１０は、再レンダリングされた広告コンテントオブジェクトを、要求されたパノラマコンテントに重ね合わせ、さらに、再レンダリングされた広告コンテントオブジェクトが重ね合わされたパノラマコンテントをユーザのパーソナルコンピュータ１０５で表示するように構成される。好ましくは、パノラマコンテントオブジェクトは、再レンダリングされた広告コンテントオブジェクトを含むように設計される、位置と大きさを定義するプレースホルダオブジェクトを含む。好ましくは、プレースホルダは、サーバシステム１１０が、パノラマコンテントオブジェクトのコンテントに相関してプレースホルダオブジェクトの位置を追跡するように構成されることができるように位置づけられる。特に、パノラマコンテントオブジェクトが３６０°パノラマ画像である場合に、好ましくは、ユーザが３６０°パノラマの中から、どの部分に関心があり表示されるべきかを選択することができるようにパノラマ画像は表示される。プレースホルダオブジェクトの相関する位置は実質的に同一のままであるように、ユーザに表示される３６０°のパノラマの特定部分から独立して、サーバシステム１１０はプレースホルダオブジェクトの位置を追跡するように構成される。ある代替的な実施形態において、好ましくは、プレースホルダオブジェクトがユーザのパノラマ表示認識を妨げないように、相対的な位置は、選択された眺望角度に応じて表示される個別のパノラマ次第で変更することができる。
【００２５】
好適な実施形態において、サーバシステム１１０が、例えば、パノラマコンテントのテクスチャの一部、例えば家の正面等の追跡パターンを認識するように、サーバシステム１１０は、光学的方法でプレースホルダオブジェクトの追跡を実行するように構成される。また、もう一つの選択肢として、追跡パターンがパノラマコンテントの内部に位置づけられるように、サーバシステム１１０は追跡パターンを合成的に生成するように構成される。パノラマコンテントに重なり合わされるプレースホルダオブジェクトは、それによって表示されるパノラマ背景を拡大し、好ましくは、検出された追跡パターンに相関するパノラマコンテントの中に位置づけられる。ある好適な実施形態において、プレースホルダオブジェクトは、常に視線に対して垂直に向けられる大型屋外広告板である場合もあるし、ある代替的な好適な実施形態において、プレースホルダオブジェクトは、検出された追跡パターンに相関する固定の変換に位置づけられる場合もある。この点において、目の位置に相関するすべての６自由度が返されるように、サーバシステム１１０は、追跡パターンの合成的な生成と同様にその認識を実行するように構成される。
【００２６】
これによって、ユーザは、仮想広告オブジェクトが重ね合わされたパノラマコンテントを示されるが、この仮想広告オブジェクトは、サーバシステム１１０によって実行される再レンダリングを介して、仮想画像メタデータ、特に特定のパノラマコンテントの照度および視点／眺望角度の条件に合致するように、表示されたパノラマコンテントのコンテントコンテクストの中に自然に組み込まれる。
【００２７】
さらに別の好適な実施形態において、広告コンテントオブジェクトは、広告動画であることもある。この実施形態において、ユーザが広告動画をパノラマコンテントのかなり自然な一部として認識するように、プレースホルダオブジェクトは、パノラマコンテントオブジェクトに重ね合わされた、再レンダリングされた広告動画を含みかつ表示するように準備される。それゆえ、ある特定の時点でのユーザに表示されるパノラマコンテントビュー次第であるが、好ましくは、サーバシステム１１０は広告動画の各フレームを即時に再レンダリングするように構成される。
【００２８】
また、好ましくは、サーバシステム１１０は、パーソナルコンピュータ１０５を動作する特定ユーザのマウスポインタの動きや使用を追跡するように構成される。特に、好ましくは、システムサーバ１１０は、個別のユーザが表示された再レンダリングされた広告オブジェクトをマウスポインタ装置を用いてクリックするかまたはしないかどうかを認識するように構成される。ユーザが表示された再レンダリング広告オブジェクトをクリックしたことをサーバシステム１１０が認識する場合には、サーバシステム１１０は、データベース１９０に格納されたコンテントに基づき、ユーザを個別のベンダサーバシステム１８０にリダイレクトするように構成されるが、個別のベンダサービスシステムは、個別のベンダの製品／サービスの提示へのアクセスによってユーザに提供するように構成され、目録にされる。この点、サーバシステム１１０は、広告オブジェクトがユーザによってクリックされたかどうかを判定するように構成される。好ましくは、サーバシステム１１０は、このタスクを実現するために視線−オブジェクトの交点を用いる。ユーザが広告コンテントオブジェクトをクリックしたことをサーバシステム１００が検出する場合に、サーバシステム１１０は、広告コンテントメタデータに格納される広告コンテントオブジェクトに対応するベンダコンテントを開くように構成される。ある好適な実施形態において、サーバシステム１１０は、その領域内の個別のベンダコンテントを、例えば、仮想広告オブジェクトの中にあるｈｔｍｌページをレンダリングすることによって、開く。もう一つの選択肢として、サーバシステム１１０は、例えば新たなウェブブラウザウィンドウを開くような、適切な動作に外部的に連結される信号をトリガするように構成されてもよい。
【００２９】
図２は、パノラマコンテント２０５に重ね合わせるプレースホルダオブジェクト２５０を組み込んだパノラマコンテントオブジェクト２０５を概略的に示す。パノラマコンテント２０５が表示されるとき、視経験を混乱させあるいは妨げになるものとして個別のユーザに認識されることがないであろうパノラマコンテントオブジェクト２０５の中のある位置に、好ましくは、プレースホルダオブジェクト２５０は位置づけられる。さらに、図２００は、図１を参照して上述されたとおり、再レンダリングされた広告コンテントオブジェクト“ＡＢＣ会社−広告”２６０を重ね合わせたパノラマコンテント２１０を示す。図からわかるとおり、好ましくは、プレースホルダオブジェクト２５０は、再レンダリングされた広告コンテントオブジェクト２６０がプレースホルダオブジェクト２５０によって標識された位置に調和されるように構成される。ある好適な実施形態において、プレースホルダオブジェクトの追跡は、追跡パターン、例えばパノラマコンテントのテクスチャの一部、例えば家の正面等が認識されるように、光学的方法で実施される。１つの選択肢として、追跡パターンがパノラマコンテントの内部に位置づけられ得るように、追跡パターンは合成的に生成されてよい。パノラマコンテントに重ね合わされるプレースホルダオブジェクトは、表示されるパノラマ背景を拡大し、好ましくは、検出された追跡パターンに相関するパノラマコンテントの中に位置づけられる。ある好適な実施形態において、プレースホルダオブジェクトは、常に視線に対して垂直に向けられる大型屋外広告板であってよいし、別の好適な実施形態において、プレースホルダオブジェクトは、検出された追跡パターンに相関する固定の変換に位置づけられてもよい。この点、目の位置に相関するすべての６自由度が返されるように、追跡パターンの合成的な生成と同様にその認識を実行するよう、追跡システムは構成される。
【００３０】
図３は、本発明の仮想広告システムの構成を示すフローチャートを表す。ステップＳ３００において、デジタルパノラマコンテントは、データベース１２０に格納されるデジタルパノラマコンテンツを有する。さらに、ステップＳ３１０において、仮想画像メタデータを生成するために、格納されたパノラマコンテントは、個々の視点／眺望角度および照度情報の中の仮想画像メタデータに関して、コンピュータシステム１１０により分析される。仮想画像メタデータは、パノラマコンテントオブジェクトと一緒にステップ３２０において格納される。さらにまた、ステップ３３０において、ベンダの広告コンテントオブジェクトおよびコンテントオブジェクトメタデータは、データベース１３０に格納される。例えば、コンテントオブジェクトメタデータは、特定のベンダのウェブサイトおよび／またはカタログおよび製品／サービスのインターネットアドレスに関する情報を含むことができる。ステップ３４０において、要求されたパノラマコンテントおよび要求するユーザが認識される。ステップ３４０において認識しまたは要求するユーザに基づいて、ステップ３５０において、特定のユーザプロファイルが要求されたパノラマコンテントのメタデータと同様に検索される。ステップ３５５において、適合基準は、個別ユーザのプロファイル、要求されたパノラマコンテントの情報コンテクストや、例えば日時を考慮しながら、生成される。ステップ３６０における適合基準に基づいて、広告コンテントオブジェクトは、どれが適合基準と合致するかを認識する。さらに、ステップ３７０において、ステップ３６０において認識された個別のベンダの広告コンテントオブジェクトが検索される。次のステップ３７５において、広告コンテントオブジェクトは、特に、照度条件、および／または要求されるパノラマコンテントの視点／眺望角度に関して、パノラマコンテントメタデータと調和するように再レンダリングされる。ステップ３８０において、パノラマコンテントは再レンダリングされる広告コンテントオブジェクトを重ねられて表示される。ユーザは表示された再レンダリングされた広告コンテントオブジェクトをクリックする場合に、ステップ３９０において、広告コンテントメタデータに格納されるリンク情報に従って、ユーザは移転される。
【図面の簡単な説明】
【００３１】
【図１】本発明に係る仮想広告システムを概略的に示す図である。
【図２】再レンダリングされた広告コンテントオブジェクトが重ね合わせて表示されたパノラマコンテントオブジェクトを概略的に示す図である。
【図３】仮想広告システムの動作を示すためのフローチャートを表す図である。
【図１】
2007328786.tif 000003
【図３】
2007328786.tif 000004
【図２】
2007328786.tif 000005
【外国語明細書】
FIELD OF THE PRESENT INVENTION
Generally, the present invention relates to a computer system that is configured to store and display real world panorama content object, re-rendering advertising content objects according to the panorama content attributes and superimpose the panorama content with the re-rendered advertising content object.
BACKGROUND ART
The rapid spread of the internet as a day-to-day information source has established the internet as a general and often preferred source of information. However, although the overall offer of information increases with the significantly increasing number of websites, it has at the same time become more and more difficult for internet users to identify “quality proved” content and in particular to quickly find answers to specific questions relating to a specific field of interest. 
For example, users planning a holiday to a certain location are generally faced with information offers distributed by various cities, regional administrations, companies, travel agencies, airlines and so on operating in the context of the specific location. Therefore, answering the need of quickly accessible “quality proven” content information service providers have emerged which specialize their content offer to a particular field of interest. These service providers may be able to attract an increasing number of visitors to their website as they can offer a focused pool of information as well as specialized information retrieval tools thus enabling users to quickly gather the specific information they would need. In particular, such specialized information service providers can for example be found with regard to holiday and/or travel information. Such information service providers or rather content service providers often offer digitized panorama content in order to enable the interested users to quickly get an original impression from the location they might be interested to travel to.
Generally, a content service provider however is faced with the problem that they might only be able to attract a lot of interested users in case they offer their content to the users more or less free of charge. On the other hand, the effort to editorially work out the specific content, to develop and provide the above-mentioned information retrieval tools, to build up and maintain the underlying  web server system infrastructure and so on generates significant costs.  As these content service providers seldomly can re-finance these cost based on user subscriptions, they have to motivate third-party companies to advertise their products / services on the content service provider’s web site. Revenues stemming from these advertisements in most of the cases provide the most important economical basis for these content service providers. Generally the advertisement objects, e.g. picture of products, vendor logos or movies, are then displayed in context with the specific information displayed to the user.  
As is generally known in the field of advertising, advertising tends to be most efficient if the advertised product/service is displayed to the right audience or target group.  Moreover, advertising may have a higher likelihood to attract new customers to the advertised product/services in case the advert is perceived as naturally integrated into the visual context of a particular customer.  In contrast, advertising may even have a negative impact on customer attraction in case the advertising is perceived by a customer as disturbing and interfering the present context.  Therefore, for example, product placement within cinema movies is generally perceived as rather efficient form of advertising in that sense. However, for the case of content service providers the user’s focus of interest is generally not directed to the adverts’ content but to the specific editorial information content provided. Thus the content service provider has to choose how and where to position particular adverts.
Currently for this problem technical solutions are known, which enable the content service provider to position a particular advert at a position next to the requested editorial content (e.g. a panorama picture).  One popular application of these techniques is for Example the well know GoogleR search engine, which displays adverts next to (i.e. on the right side) the search displayed at the left side. Choosing these techniques a content service provider might achieve positioning of the advert in a way which is not perceived by the user as disturbing or interfering their information retrieval.  However, in this case, an important shortcoming is that the advert is likely to be positioned outside of the user’s focus of interest and thus might not even be noticed be the user. This as a consequence may lead to the advertising companies perceiving this kind of positioning of their respective advert as not attractive and thus, compromising content service provider’s economic basis.  
As an alternative, technologies are known which allow the content service provider to superimposed the information content requested by the user with an advertising content object which first must be checked by the user before user can actually get access to the requested content.  Using these techniques, the content service provider can assure that any user requesting specific content has made a notice of the advert.  Thus, this form of advertising may generally be perceived by advertising companies as rather attractive.  However, costumer surveys have shown that this form of advertising is perceived by a lot of users as disturbing and interfering their information retrieval process. Thus, the application of these techniques generally render the overall attractiveness of the respective websites as lower.  
Therefore, there is a need for an advertising system and method that allows the display of advertising content objects within the focus of interest of website users without interfering and disturbing the information retrieval experience of the user.  
SUMMARY OF THE PRESENT INVENTION
According to one aspect of the present invention, this object is solved by a virtual advertising system comprising means for storing panorama content objects of a real world, for example panorama pictures with different angles up to 360° and/or movies, means for generating virtual image meta data from the panorama content object, means for storing advertising content objects, means for re-rendering the advertising content objects according to the virtual image meta data, and finally, means for superimposing the displayed panorama content object with the re-rendered advertising content object at a predefined and tracked image position.
Consequently, according to the inventive virtual advertising system, previously stored advertising content objects, for example, a company logo, product pictures or movies, may be “naturally” integrated into a panorama content object. A panorama content object may preferably be for example a picture of a particular panorama situation like a city panorama or a particular landscape with different observation angles of up to 360°. Panorama objects may by a requesting user be watched for example as a fixed image display but preferable the observation angles might also be influenced by the user such that the user may be able to experience an up to 360° impression of the particular panorama. 
The inventive virtual advertising system further allows an advertising content object to be re-rendered such that the re-rendered advertising content object matches the virtual image meta data generated from the original panorama content object.  Contrary to the above-described conventional advertising positioning techniques the inventive virtual advertising system enables the re-rendered advertising content object to be superimposed on and thus integrated into the displayed panorama content.
By re-rendering the advertising content object according to the previously generated panorama content meta data the appearance of the advertising content object may be achieved such that the re-rendered advertising objects substantially matches for example, the illumination conditions, viewing angles and viewpoint of the displayed panorama content.  Illumination conditions, viewing angles and viewpoints are however only preferred examples on relevant aspects of virtual image meta data, also other relevant aspects may be taken into account for re-rendering advertising content objects without departing from the scope of the present invention.  Moreover by re-rendering the advertising content object according to the panorama content’s virtual image meta-data an appearance of the advertising content object may be achieved such that the user may perceive the advertising content object as a “natural” part of the displayed panorama content not substantially deviating from the overall appearance of the displayed panorama content object. 
Thus the inventive virtual advertising system enables embedding of the advertising content objects into the displayed panorama content in a realistic manner, which leads to the user perceiving the advertising content as “naturally” integrated into the particular panorama content.  Thus, in contrast to the above-described techniques, this positioning of adverts assures that the advert is displayed within the focus of interest of the user and is, at the same time, not perceived by the user as disturbing or interfering with their information retrieval.  
In a further preferred embodiment, the particular advertising content object chosen to be displayed within the panorama content is chosen based on information retrieved from a stored user profile, for example, the particular information context and/or the time of day.  Thus, this further embodiment provides the benefit of displaying specific advertising content which is most suited to the particular user’s interest and history.
In a further preferred embodiment the advertising object may preferably be placed within a placeholder object which is tracked within the panorama content object such that the user may change the viewing angle of the panorama content object within a range of up to a 360°.
In a further preferred embodiment the advertising content object to be re-rendered may be an advertising movie and the re-rendering may applied to any of the frames of the movie in real-time.
In a even further embodiment, the displayed re-rendered advertising content object may be enriched with vendor specific meta data allowing the virtual advertising system to redirect the user to the vendor’s website and/or vendor’s catalogue.  Thus, this embodiment further provides the benefit of providing the user with a functionality most similar to a well-known internet-link enabling the user to directly click on the displayed re-rendered advertising content object and thereby entering the specific vendor’s product/service offer.  
Further preferred embodiments are defined in the appended claims and will also be described in the following with reference to the accompanying drawings, in which:
BRIEF DESCRIPTION OF THE DRAWINGS
Figure 1 schematically shows a virtual advertising system in accordance with the present invention;
Figure 2 schematically shows a displayed panorama content object superimposed with a re-rendered advertising content object; and
Figure 3 depicts a flow chart for illustrating the operation of the virtual advertising system.  
DETAILED DESCRIPTION OF THE PRESENT INVENTION
While the present invention is described with reference to the embodiments as illustrated in the following detailed disclosure as well as in the drawings, it should be understood that the following detailed description as well as the drawings are not intended to limit the present invention to the particular illustrative embodiments disclosed, but rather that the illustrative embodiments as described merely exemplify the various aspects of the present invention, the scope of which is defined by the appended claims.
Figure 1 schematically shows a virtual advertising system 100 according to the present invention in a simplified illustration.  The system 100 comprises a user computer system 105 which is connected via the internet to the virtual advertising service system 110.  The server system 110 has access to a number of databases 120, 130, 140.  The number of databases, however, is rather illustrative and can vary in different implementations of the present invention.  In the preferred embodiment illustrated in Figure 1 database 120 stores digital panorama content objects.  Furthermore, the illustrated server system 110 is configured to analyze the digital panorama content object with respect to, for example, the illumination conditions and viewpoints/viewing angles of the panorama contents stored in database 120. Thus, server system 110 is for example configured to analyze the spatial relationships of the various objects being part of the panorama content, for example, buildings.  Furthermore, server system 110 is preferably configured to generate from the analysis of the original panorama contents virtual image meta data comprising information about spatial relationships, points of view, viewing angles, illumination, and other conditions of the original panorama content.  
The virtual image meta data corresponding to a particular panorama content is stored in database 120 in a specific format which is configured to comprise lighting information of an entire 360° (360 degree) panorama image. Preferably the lighting information consists amongst others of diffuse light intensity and of a specular light map. Thus the information stored in the virtual image meta data enables to virtually illuminate reflecting surfaces such as for example metal such that a respective surface matches the naturally lighting conditions of a respective panorama content.
Furthermore, database 130 stores advertising content objects preferably, for example, pictures of products, logos of specific vendors or alternatively advertising movies. Preferably server system 110 is configured to store additionally to the actual advertising content object (e.g. a movie or a still image), material properties of these objects. The material properties preferably reflect the surface material of the advertising content object such that this information can be used to generate the virtual illumination for the advertising content object. Therefore, material properties preferably determine how the respective advertising content object is illuminated, for example answering the question whether the object has a reflecting surface, a metal surface etc. In addition, database 130 stores vendor meta data or rather content object meta data together with a particular advertising content object which preferably comprises, for example, link information about a vendor’s catalogue or websites as well as the relevancy of the particular advertising content object with respect to specific information context, user attributes and time of day.  However, these specific meta data features are rather exemplary and other implementations according to the present invention may chose additional or other meta data features.  In addition, data base 140 stores user profiles.  In that respect, the server system 110 is preferably configured to enable a user visiting a website that is hosted by server system 110 to register to that website.  Following that registration, the server system 110 is configured to track the user’s activities on the web site and generates a history of these activities.  Specific user attributes as, for example, age, location, travelling habits and so on, together with the user’s activity history is then stored by a computer system 110 in a retrievable digital format into database 140.  The server system 110 is then configured to enable a user via suitable information retrievable tools to access specific panorama contents matching the information needs of the specific user.  Furthermore, server system 110 is preferably configured to retrieve in response to the user’s request for a specific panorama content the user’s profile stored in the database 140.  Moreover, servers system 110 is preferably configured to generate based on a particular user’s profile stored in database 140, the time of day and/or the specific panorama content requested by the user a relevancy measure which allows the server system 110 to identify a particular content object stored in the database 130 that matches most suitable the calculated relevancy measure. 
In addition, server system 110 is preferable configured to retrieve the advertising content object stored in database 130 that has been identified to match the generated relevancy measure.  Moreover, server system 110 is prepared to re-render the advertising content object to match the virtual image meta data stored in database 110 according to the particular panorama content requested by the user.  In particular the server system 110 is configured to retrieve together with the advertising object the material properties stored in database 130. Moreover the server system 110 is configured to use the material properties, the virtual image data and a the indented three-dimensional (3D) position of the advertising content object within the panorama content to re-render the actual advertising content object.  In that regard server system 110 comprises means for a tracking system that performs the tracking of the advertising content object in an optical way such that server system 110 recognizes a tracking pattern, for example a piece of the texture of the panorama content, e.g. a facade of a house. In addition server system 110 is configured to alternatively synthetically generate the tracking pattern such that the tracking pattern can be positioned inside the panorama content. The advertising content object which is indented to superimpose to the panorama content thereby is preferably positioned within the panorama content relative to the detected tracking pattern. In particular the tracking system preferably returns a 3D-position and a 3D-rotation matrix. The server system 110 is then prepared to position the advertising content object relative to these coordinates. The transformation relative to the tracking pattern is preferably included into the panorama content data or the virtual image data. 
Server system 110 is then preferably configured to superimpose requested panorama content with the re-rendered advertising content object and to further display the panorama content superimposed with the re-rendered advertising content object at the user’s personal computer 105. Preferably the panorama content object contains a placeholder object which defines a position and size that is designed to contain a re-rendered advertising content object. Preferably the placeholder is positioned such that the server system 110 can be configured to track the position of the placeholder object relative to the panorama content object’s content. In particular in case the panorama content object is a 360° panorama image the panorama image is preferably displayed such that the user may chose within the 360° panorama which part is of interest an should be displayed. Independently from the particular part of the up to 360° panorama displayed to the user the server system 110 is configured to track the position of the placeholder object such that the relative position of the placeholder object remains substantially the same. In an alternative embodiment the relative position may change depending on the specific panorama displayed depending on the chosen viewing angle so that the placeholder object preferably does not interfere with the panorama display perception of the user. 
In a preferred embodiment Server system 110 is configured to perform the tracking of the placeholder object in an optical way such that server system 110 recognizes a tracking pattern, for example a piece of the texture of the panorama content, e.g. a facade of a house. In addition server system 110 is configured to alternatively synthetically generate the tracking pattern such that the tracking pattern can be positioned inside the panorama content. The placeholder object which is superimposed to the panorama content thereby augments the panorama scene displayed and is preferably positioned within the panorama content relative to the detected tracking pattern. In a preferred embodiment the placeholder object could be a billboard which is always oriented perpendicularly to the view ray, in an alternative preferred embodiment the placeholder object could be positioned in a fixed transformation relative to the detected tracking pattern. In that respect the server system 110 is configured to perform the recognition as well as the synthetically generation of the tracking pattern such that all six degrees of freedom relative to the eye position are returned.
Thereby, a user is displayed a panorama content that has superimposed a virtual advertising object that through the re-rendering performed by server system 110 is naturally integrated into the content context of the displayed panorama content, matching the virtual image meta data, in particular, the illumination and point of view/viewing angle conditions of the particular panorama content.  
In a further preferred embodiment the advertising content object may also be an advertising movie. In that embodiment the placeholder object is prepared to contain and display a re-rendered advertising movie superimposed to the panorama content object such that the user perceives the advertising movie as a rather natural part of the panorama content. Preferably server system 110 is therefore configured to re-render each frame of an advertising movie in real-time depending on the panorama content view displayed to the user at a particular point of time. 
Moreover, the server system 110 is preferably configured to track the mouse pointer movements and activities of the particular user operating personal PC 105. In particular, server system 110 is preferably configured to identify whether or not the particular user clicks on the displayed re-rendered advertising objects with a mouse pointer device.  In case server system 110 identifies a user click on the displayed re-rendered advertising object, the server system 110 is configured to redirect the user to a particular vendor’s server system 180 that, based on the content stored in the database 190, is configured to provide the user with access to the particular vendor’s product/service offer and were cataloged.  In that regard server system 110 is configured to determine whether the advertising object was clicked on by the user. Preferably the server system 110 uses ray-object intersection to perform this task. In case the server system 100 detects that the user has clicked on the advertising content object the server system 110 is configured to open up the vendor content corresponding to the advertising content object, that is stored in the advertising content meta data. In one preferred embodiment the server system 110 opens the respective vendor content within its own realm, by for example rendering an html-page inside the virtual advertising object. Alternatively the server system 110 may be configured to trigger a signal which is externally connected to an appropriate action, e.g. to open new web browser window.
Figure 2 schematically shows a panorama content object 205 which has integrated a place holder object 250 superimposing panorama content 205.  The place holder object 250 is preferably placed in a position in the panorama content object 205 that may not be perceived by a particular user as interfering or disturbing the viewing experience when the panorama content 205 is displayed.  Moreover, Figure 200 shows the panorama content 210 which has superimposed the advertising content object “ABC co-advert” 260 which has been re-rendered as described above with reference to Fig. 1.  As can be seen, the place holder object 250 is preferably configured such that a re-rendered advertising content object 260 can be matched into the position marked by place holder object 250.  In a preferred embodiment the tracking of the placeholder object is performed in an optical way such that a tracking pattern is recognized, for example a piece of the texture of the panorama content, e.g. a facade of a house. Alternatively the tracking pattern might be generated synthetically such that the tracking pattern can be positioned inside the panorama content. The placeholder object which is superimposed to the panorama content thereby augments the panorama scene displayed and is preferably positioned within the panorama content relative to the detected tracking pattern. In a preferred embodiment the placeholder object could be a billboard which is always oriented perpendicularly to the view ray, in an alternative preferred embodiment the placeholder object could be positioned in a fixed transformation relative to the detected tracking pattern. In that regard the tracking system is configured to perform the recognition as well as the synthetically generation of the tracking pattern such that all six degrees of freedom relative to the eye position are returned.
Figure 3 depicts a flow chart for illustrating the configuration of the inventive virtual advertising system.  In step S300, digital panorama content has digital panorama contents that are stored in database 120.  Moreover, in step S310, the stored panorama content is analyzed by computer system 110 with respect to virtual image meta data in particular point of view / viewing angle and illumination information, thus, generating virtual image meta data that is stored in step 320 together with the panorama content object.  Moreover, in step 330, a vendor’s advertising content object and content object meta data is stored in database 130.  The content object meta data may, for example, comprise information about the internet address of the specific vendor’s website and/or when a catalogue and products/services.  In step 340, requested panorama content and the requesting user is identified.  Based on the identifying or the requesting user in step 340, in step 350, the specific user’s profile is retrieved as well as the requested panorama content’s meta data.  In step 355, a relevancy measure is generated taking into account the specific user’s profile, the information context of the requested panorama content and, for example, the time of day.  Based on the relevancy measure in step 360, an advertising content object is identified which matches the relevancy measure.  Moreover, in step 370, a specific vendor’s advertising content object is retrieved which has been identified in step 360.  In the next step 375, the advertising content object is re-rendered to match the panorama content’s meta data, in particular, with respect to the illumination conditions, and/or the point of view/viewing angles of the requested panorama content.  In step 380, the panorama content is displayed superimposed with the re-rendered advertising content object.  In case the user clicks on the displayed re-rendered advertising content object, the user is transferred according to the link information stored in the advertising content meta data in step 390.
1. A virtual advertising system comprising:
means for storing at least one panorama content object of a real world;
means for generating virtual image meta data from the panorama content object;
means for storing at least one advertising content object;
means for re-rendering the advertising content objects according to the virtual image meta data; and
means for superimposing the displayed panorama content object with the re-rendered advertising content object at a defined position.
2. The system according to claim 1 wherein the panorama content is a 360 degree panorama image.
3. The system according to claim 2 wherein at a particular point in time only a fraction of the 360 degree panorama content is displayed upon user request.
4. The system according to one of claims 1-3 wherein superimposing comprises integrating the advertising content object such that the display of the advertising content object naturally matches into the display of the panorama content object. 
5. The system according to one of claims 1-4 wherein the advertising content object is a still image.
6. The system according to one of claims 1-4 wherein the advertising content object is a movie.
7. The system according to claim 6 wherein superimposing comprises integrating the movie into the display of the panorama content object such that every frame of the movie is re-rendered in accordance with the virtual image meta data of the displayed panorama content.
8. The system according to one of claims 1-7 wherein the system further comprises
means for storing a user profile;
means for interpreting the information context of the displayed panorama content; and
means for choosing an advertising content object to be displayed based on at least one of a stored user profile, an information context of the displayed panorama content and/or the time of day.
9. The system according to one of claims 1-8 wherein the system further comprises means for integrating and tracking a placeholder object within the panorama content object and wherein the advertising content object is positioned within the placeholder object while being displayed.
10. The system according to claim 1-9 wherein the position of the advertising content object is tracked within the panorama content object such that the user may change the viewing angle of the panorama content object within a range of up to a 360 degree and the advertising content object is re-rendered matching the virtual image meta data according to the viewing angle currently being displayed.
11. The system according to claim 6 wherein the advertising content object is re-rendered such that any of the frames of the movie is re-rendered in real-time.
12. The system according to any of claims 1-11 wherein the system further comprises means for re-directing a user upon request, wherein the displayed advertising content object is enriched with vendor meta data such that the virtual advertising system redirects the user upon request according to the vendor meta data. 
13. A method for creating and displaying virtual advertising comprising the steps of:
storing at least one panorama content object of a real world;
generating virtual image meta data from the panorama content object;
storing at least one advertising content object;
re-rendering the advertising content object according to the virtual image meta data; and
superimposing the displayed panorama content object with the re-rendered advertising content object at a defined position.
14. The method according to claim 13 wherein the panorama content is a 360 degree panorama image.
15. The method according to claim 14 wherein at a particular point in time only a fraction of the 360 degree panorama content is displayed upon user request.
16. The method according to one of claims 13-15 wherein superimposing comprises integrating the advertising content object such that the display of the advertising content object naturally matches into the display of the panorama content object. 
17. The method according to one of claims 13-16 wherein the advertising content object is a still image.
18. The method according to one of claims 13-16 wherein the advertising content object is a movie.
19. The method according to claim 18 wherein superimposing comprises integrating the movie into the display of the panorama content object such that every frame of the movie is re-rendered in accordance with the virtual image meta data of the displayed panorama content.
20. The method according to one of claims 13-19 wherein the method further comprises the steps of 
storing at least one user profile;
interpreting the information context of the displayed panorama content; and
choosing the advertising content object to be displayed based on at least one of a stored user profile, an information context of the displayed panorama content and/or the time of day.
21. The method according to one of claims 13-20 wherein the method further comprises the steps of integrating and tracking a placeholder object within the panorama content object and wherein the advertising content object is positioned within the placeholder object while being displayed.
22. The method according to claim 13-21 wherein the position of the advertising content object is tracked within the panorama content object such that the user may change the viewing angle of the panorama content object within a range of up to a 360 degree and the advertising content object is re-rendered matching the virtual image meta data according to the viewing angle currently being displayed.
23. The method according to claim 18 wherein the advertising content object is re-rendered such that any of the frames of the movie is re-rendered in real-time.
24. The method according to any of claims 13-23 wherein the method further comprises means for re-directing a user upon request, wherein the displayed advertising content object is enriched with vendor meta data such that the user upon is redirected upon request according to the vendor meta data. 
25. A computer-readable medium having stored thereon computer-readable instructions that, when run on a computer, are configure to perform the steps of the method of any of claims 13-24. 
According to the present invention there is provided a  virtual advertising system comprising  means for storing at least one panorama content object of a real world, means for generating virtual image meta data from the panorama content object, means for storing at least one advertising content object, means for re-rendering the advertising content objects according to the virtual image meta data, and means for superimposing the displayed panorama content object with the re-rendered advertising content object at a defined position.
2007328786.tif 000006
2007328786.tif 000007
2007328786.tif 000008