(57)【要約】実際に撮影されたシーンであって前記シーンと結び付けられた追加のビジュアル要素が内部に組み込まれるシーンを備えるリッチビデオの、カメラが装備された通信モバイル端末（２）上での表示であって、前記シーン内のビデオエンリッチ操作はリモート通信システム（３）内で実行され、リアルタイムでモバイル端末（２）に供給される表示を備える通信方法。
2011519193.tif 000002
【特許請求の範囲】
【請求項１】
実際に撮影されたシーンであって前記シーンと結び付けられた追加のビジュアル要素が内部に組み込まれるシーンを備えるエンハンスドビデオの、カメラが装備された通信モバイル端末（２）上での表示を備える通信方法であって、
前記モバイル端末（２）とリモート通信システム（３）との間のメディアセッションを確立する操作と、
前記端末が、カメラを利用して、前記実際に撮影されたシーンを備える非エンハンスドビデオを撮影する操作と、
前記非エンハンスドビデオを、リアルタイムで、前記モバイル端末（２）により前記通信システム（３）に送信する操作と、
前記通信システムが前記非エンハンスドビデオを受信する操作と、
前記通信システム（３）内で、前記撮影されたシーンをリアルタイム分析する操作と、
前記通信システム（３）のデータベース内で、前記撮影されたシーンに関連する１つまたは複数の追加のメディアオブジェクトを選択する操作と、
前記端末からアクティブ化されうる少なくとも１つの対話式機能を、前記追加のメディアオブジェクトの中からの少なくとも１つのオブジェクトと関連付ける操作と、
エンハンスドビデオを形成するために、それにより選択された前記オブジェクトまたは追加のメディアオブジェクトを前記非エンハンスドビデオに追加する操作と、
前記通信システム（３）が、リアルタイムで、前記エンハンスドビデオを前記モバイル端末（２）に送信する操作と、
前記通信システム（３）が前記コマンド操作を受信する操作と、
前記通信システム（３）が前記コマンドを分析する操作と、
前記通信システム（３）内の少なくとも１つのメディアオブジェクトの明白な特性を、受信した前記コマンドに従って（たとえば、あらかじめ確立されたシナリオに従って）更新する操作と、
前記通信システム（３）が、少なくとも１つの更新済みメディアオブジェクトを、リアルタイムで前記端末（２）に送信する操作と、
前記更新済みメディアオブジェクトが、リアルタイムで、前記端末（２）によって再生される操作と、
前記更新済みメディアオブジェクトが、リアルタイムで、前記端末（２）によって表示される操作とを備える、方法。
【請求項２】
前記通信システム（３）により機能強化された前記ビデオを受信する前記操作と前記撮影されたシーンを分析する操作との間に、ビデオを復号化する操作を備え、分析は非圧縮のビデオ形式から実行される請求項１に記載の方法。
【請求項３】
前記メディアオブジェクトによって提供された対話の、前記端末（２）から実行されるコマンド操作と、あらかじめ確立されたシナリオに応じて前記通信システム（３）によって実行される前記メディアオブジェクトの明白な特性を更新する操作とを備える請求項１または２に記載の方法。
【請求項４】
前記コマンド操作は、前記端末（２）のキーボード（１０）を利用してアクティブ化される請求項１乃至３のいずれか１項に記載の方法。
【請求項５】
通信システム（３）であって、
モバイル端末（２）とのメディアセッションを確立することができるメディアサーバ（４）と、
前記メディアサーバ（４）に接続され、エンハンスドビデオ・アプリケーションが実施されるビデオ・アプリケーション・サーバ（５）と、
前記ビデオ・アプリケーション・サーバ（６）からのコマンドに応じて、前記メディアサーバ（４）を介して前記モバイル端末（２）から受信した非エンハンスドビデオ内のイメージ分析または追加のメディアオブジェクトと関連付けられているコマンド分析を実行するようにプログラムされた、前記ビデオ・アプリケーション・サーバ（５）に接続された拡張現実サーバ（６）と、
前記拡張現実サーバ（６）に接続されたメディアオブジェクト・データベース（７）とを備える、通信システム（３）。
【請求項６】
前記メディアサーバ（４）を介して前記モバイル端末（２）から受信した非エンハンスドビデオを圧縮解除するか、または逆に、前記メディアサーバ（４）を介して前記端末（２）に送信するためにエンハンスドビデオを圧縮するように構成された、前記拡張現実サーバ（６）および前記メディアサーバ（４）に接続された符号器／復号器（８）をさらに備える請求項５に記載の通信システム（３）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電気通信の分野を扱い、さらに詳細には、モバイル端末でのエンハンスドビデオの表示に関する分野を扱う。
【背景技術】
【０００２】
第２世代（２Ｇ）モバイルネットワークはデジタル技術を無線通信に導入したが、特にＵＭＴＳ（Ｕｎｉｖｅｒｓａｌ  Ｍｏｂｉｌｅ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｓｙｓｔｅｍ）によって実施された第３世代（３Ｇ）は、特にエアインターフェイスを介してビットレートが増大したおかげで（最大２Ｍビット／秒）、固定回線ネットワーク向けに確保されていたモバイルネットワーク通信サービスに組み入れることにより固定回線ネットワークとモバイルネットワークの収束を確実なものにする。サポート対象のサービスは特に、（ボイスに加えて）オーディオ、ビデオ、テキスト、およびグラフィックス、つまりマルチメディア・アプリケーションの必須要素を含む。同時に、モバイル端末はその能力を増強させてきたが、（端末で稼働する）永続的アプリケーションだけにとどまらず、（ビデオ・アプリケーションの表示のような再生操作だけを端末が実行するので、リモートサーバ上で稼働する）非永続的アプリケーションも実施することができるようになって、今や標準コンピュータのような役割を果たしている（Ｐｕｊｏｌｌｅ、Ｌｅｓ  Ｒｅｓｅａｕｘ、２００８年版、第４３章、１００４〜１０１２頁を参照）。
【０００３】
無線波通信における端末の能力およびビットレートが一体化して増大したことにより、３Ｇ端末でマルチメディア・アプリケーションを稼働することができるようになったが、マルチメディア・アプリケーションは当初、モバイルネットワークで遭遇した従来の問題（ネットワークアクセス可能性、ハンドオーバー、データ伝送時間）が発生しない固定回線ネットワーク向けに設計されたものであった。同様のことは、仮想要素が現実から描き出されたシーンに重ね合わせて表示される技法である拡張現実にも当てはまる。拡張現実のアプリケーションの１つはエンハンスドビデオであるが、これは撮影されたシーンがリアルタイムで、マルチメディア・データベースから引き出されたテキストまたはイメージなどのビジュアル要素で機能強化されるものである（たとえば、欧州特許出願第１，５２７，５９９号を参照）。この技法は近年、カメラが装備されたモバイル端末において見られるようになった（たとえば、欧州特許出願第１，８１４，１０１号、または米国特許出願公開第２００７／００２４５２７号を参照）。
【０００４】
しかし、提案されたソリューションは、全体としては不十分であったことが判明した。それらの多くは、依然として理論上のものであり、ユーザに真の対話性を提供することはない単純なビジュアル要素に限定される（前述の文献を参照）。
【０００５】
実際に、欧州特許出願第１，８１４，１０１号および米国特許出願公開第２００７／００２４５２７号において説明されるシステムは、リアルタイムで、つまりユーザに実質的に検出されない時間内で、拡張現実を組み入れるようにすることはできない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】欧州特許出願第１，５２７，５９９号
【特許文献２】欧州特許出願第１，８１４，１０１号
【特許文献３】米国特許出願公開第２００７／００２４５２７号
【非特許文献】
【０００７】
【非特許文献１】Ｐｕｊｏｌｌｅ、Ｌｅｓ  Ｒｅｓｅａｕｘ、２００８年版、第４３章、１００４〜１０１２頁
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は特に、モバイルネットワーク内で実際に実現することができ、ユーザに正真正銘のリアルタイム対話性をもたらすエンハンスドビデオ・ソリューションをモバイル端末に提供することにより、これらの欠点に対処することを目的とする。
【０００９】
加えて、本発明は、最も標準的なモバイル端末に合わせて適合できることを目的とする。
【００１０】
最後に、本発明は、拡張現実イメージと対話する手段をユーザにもたらすことを目的とする。
【課題を解決するための手段】
【００１１】
そのために、本発明は、最初に、実際に撮影されたシーンであってそのシーンと結び付けられた追加のビジュアル要素が内部に組み込まれるシーンを備えるエンハンスドビデオの、カメラが装備された通信モバイル端末上での表示を備える通信方法を提案し、その方法は、
−  前記モバイル端末とリモート通信システムとの間のメディアセッションを確立する操作と、
−  端末が、カメラを利用して、前記実際に撮影されたシーンを備える非エンハンスドビデオを撮影する操作と、
−  非エンハンスドビデオを、リアルタイムで、モバイル端末により通信システムに送信する操作と、
−  通信システムが非エンハンスドビデオを受信する操作と、
−  通信システム内で、撮影されたシーンをリアルタイム分析する操作と、
−  通信システムのデータベース内で、撮影されたシーンに関連する１つまたは複数の追加のメディアオブジェクトを選択する操作と、
−  端末からアクティブ化されうる少なくとも１つの対話式機能を、前記追加のメディアオブジェクトの中からの少なくとも１つのオブジェクトと関連付ける操作と、
−  エンハンスドビデオを形成するために、それにより選択されたオブジェクトまたは追加のメディアオブジェクトを非エンハンスドビデオに追加する操作と、
−  通信システムが、リアルタイムで、エンハンスドビデオをモバイル端末に送信する操作と、
−  モバイル端末が、リアルタイムで、エンハンスドビデオを再生する操作と、
−  モバイル端末が、対話式機能が関連付けられている追加のメディアオブジェクトを通じて前記端末から作成された任意のコマンドを、リアルタイムで通信システムに送信する操作と、
−  通信システムが前記コマンド操作を受信する操作と、
−  通信システムがコマンドを分析する操作と、
−  通信システム内の少なくとも１つのメディアオブジェクトの明白な特性を、受信したコマンドに従って（たとえば、あらかじめ確立されたシナリオに従って）更新する操作と、
−  通信システムが、少なくとも１つの更新済みメディアオブジェクトを、リアルタイムで端末に送信する操作と、
−  更新済みメディアオブジェクトが、リアルタイムで、端末によって再生される操作と、
−  更新済みメディアオブジェクトが、リアルタイムで、端末によって表示される操作とを備える。
【００１２】
通信システムにより機能強化されたビデオを受信する操作と撮影されたシーンを分析する操作との間に、ビデオを復号化する操作が提供されてもよく、分析は非圧縮のビデオ形式から実行される。
【００１３】
このコマンド操作は、たとえば、端末のキーボードを利用してアクティブ化される。
【００１４】
第２に、本発明は、
−  モバイル端末とのメディアセッションを確立することができるメディアサーバと、
−  メディアサーバに接続され、エンハンスドビデオ・アプリケーションが実施されるビデオ・アプリケーション・サーバと、
−  ビデオ・アプリケーション・サーバに接続され、ビデオ・アプリケーション・サーバからのコマンドに応じて、メディアサーバを介してモバイル端末から受信した非エンハンスドビデオ内のイメージを分析するか、または追加のメディアオブジェクトと関連付けられているコマンド分析を実行するようにプログラムされた拡張現実サーバと、
−  拡張現実サーバに接続されたメディアオブジェクト・データベースとを備える通信システムを提案する。
【００１５】
このシステムはさらに、拡張現実サーバおよびメディアサーバに接続され、メディアサーバを介してモバイル端末から受信した非エンハンスドビデオを圧縮解除するか、または逆に、メディアサーバを介して端末に送信するためにエンハンスドビデオを圧縮するように構成された符号器／復号器を備えることができる。
【００１６】
本発明のその他の目的および利点は、本発明によるネットワーク・アーキテクチャおよび通信方法を説明する添付の図面を参照して以下の説明を検討すれば明らかとなろう。
【図面の簡単な説明】
【００１７】
【図１】本願発明のネットワーク・アーキテクチャを示す図である。
【発明を実施するための形態】
【００１８】
示されるネットワーク・アーキテクチャ１は、エアインターフェイスを介して、端末２とのメディアセッションの確立を保証するメディアサーバ４を備える通信システム３に接続されたモバイル端末２（携帯電話、通信中のＰＤＡ、またはスマートフォン）と、メディアサーバ４に接続され、エンハンスドビデオ・アプリケーションが実施されるビデオ・アプリケーション・サーバ５と、ビデオ・アプリケーション・サーバ５に接続された拡張６現実サーバと、拡張現実サーバ６に接続または組み入れられたマルチメディア・オブジェクトが保存されるデータベース７とを備える。
【００１９】
「サーバ」という用語は、本明細書において、機能を組み込むことができる任意の情報システム、または方法を実施することができる任意のコンピュータプログラムを示す。
【００２０】
１つの実施形態によれば、システム３はさらに、拡張現実サーバ６およびメディアサーバ４に接続された符号器／復号器８を備える。
【００２１】
メディアサーバ４およびモバイル端末２は、特にオーディオ／ビデオデータの交換を可能にする、（たとえば、ＲＴＰまたはＨ３２４ｍプロトコルに従って）メディアセッションを相互の間に確立するように構成される。
【００２２】
モバイル端末２には、カメラが装備され、カメラの前の端末の環境内で生じている実際のシーンで構成される簡単な（つまり非エンハンスド）ビデオを生成することができるようになっている。端末にはさらに、ビデオを表示できるようにする画面９、ユーザがコマンドを入力できるようにするキーボード１０、音声の再生が離れたところで（つまり端末２が腕を伸ばした距離で保持される場合に）聞き取れるようにするスピーカ、または控えめに聞くためのイヤホンも装備される。
【００２３】
使用されるデータ転送プロトコルは、好ましくは、ユーザの観点から、ビデオが端末２から生成されてエンハンスドビデオで表示されるまでの時間だけではなく、対話の応答時間も最小限にするために、最大のデータ伝送速度を得るように選択される。ビデオの取得またはサーバによるイメージの処理が圧縮できない処理時間を伴う程度まで、プロトコルは、データを受信、処理、および送信するために要する合計時間がユーザに検知できないように十分に高速であることが重要である。
【００２４】
次いで、端末２で生成されたビデオのリアルタイム機能強化は、以下のように実行される。
【００２５】
メディアセッションは、最初に、端末２と通信システム３との間、さらに詳細には端末２（自発的に）とメディアサーバ４との間のリアルタイムプロトコル（たとえば、ＲＴＰまたはＨ３２４ｍ）に従って確立される（１０１）。このセッションは、本来双方向であり、リアルタイムのオーディオおよびビデオデータの伝送を含み、いずれも端末２によって、発信データが（エアインターフェイスに入るとき）符号化され、着信データが（エアインターフェイスを出るとき）復号化される。
【００２６】
次いで、メディアサーバ（４）は直ちに、エンハンスドビデオ・アプリケーションの開始を指示するために、このメディアセッションが開くことをビデオ・アプリケーション・サーバ５に信号で通知する（１０２）。
【００２７】
端末２とメディアサーバ４との間に確立されたメディアセッション中に、カメラの前で生じている実際に撮影されたシーンを備える非エンハンスドビデオは端末２から生成される。
【００２８】
このビデオは、リアルタイムで、端末２によってメディアサーバ３に送信される（１０３）。さらに詳細には、シーンが撮影されている間、ビデオフィードは、端末２によって、適切なビデオ圧縮規格に従って（つまり、実際には、望ましい圧縮レベルに適合されるので、比較的低い圧縮レベルの場合、端末はＨ．２６３規格を使用し、より高い圧縮レベルの場合、端末２はＭＰＥＧ−４規格を採用し、非常に高い圧縮レベルの場合、Ｈ．２６４規格を採用してもよい）符号化され、ＲＰＴパケットによってメディアサーバ４に送信される。したがって、セッションの確立に基づいてモバイルにより常に撮影されるフローは、通信３システムに継続的に送信される。
【００２９】
メディアセッションが確立されると、またはアプリケーション・サーバ５からの要求に応じて、メディアサーバ４は、ビデオの第１のＲＴＰパケットの受信をエンハンスドビデオ・アプリケーション・サーバ５に即時に信号で通知するが、次いでそのエンハンスドビデオ・アプリケーションは、以下に説明する操作を予想して拡張現実サーバ６を構成する（１０４）。
【００３０】
非エンハンスドビデオはメディアサーバ４によってＲＴＰパケットで符号器／復号器８に送信される（１０５）が、これはＲＴＰパケットを圧縮して、非圧縮の形式で拡張現実サーバ６にリアルタイムで送信する（１０６）。使用される非圧縮の形式は、たとえば、ＩＥＴＦのＲＦＣ４１７５規格に対応し、ＲＧＢ（赤／緑／青）またはＹＵＶ（別称ＹＣｒＣｂ）のカラー定義を使用する。
【００３１】
次いで、拡張現実サーバ６は、リアルタイムで、ビデオに含まれる撮影済みシーンを分析する（１０７）。たとえば、ビデオはイメージごとに分解され、次いで各イメージは、Ｈａｒｒｉｓコーナー検出器技法のようなイメージ認識技法を使用して、データベース７からのイメージと比較される。したがって、分析されたイメージは、以前データベース７内に保存されたイメージと１対１で照合され、イメージのコンテンツに関連する（ゆえに、撮影済みのシーンに関連する）少なくとも１つのメディアオブジェクトと関連付けられる。
【００３２】
オーディオオブジェクト、ビデオオブジェクト、テキスト、またはイメージ（たとえば、３Ｄ仮想現実イメージ）であってもよいこのメディアオブジェクト、またはこれらのリソースの組み合わせを使用するオブジェクト（たとえば、オーディオ／ビデオオブジェクト）は、あらかじめ定められたシナリオ、つまりその選択の起点における非エンハンスドビデオのイメージとの相関の規則と関連付けられている。たとえば、車両のイメージがメディアオブジェクトとしてデータベース内で車両の座席の仮想３次元ビデオと関連付けられている場合、シナリオは、そのビューを車両の広告写真の上に重ね合わせること、およびビデオの撮影中に端末の方向に応じてリアルタイムで空間内でビューを回転できるようにすることで構成されてもよい。そのために、次いで、カメラおよび分析されたイメージの相対的位置の拡張現実サーバ６によるリアルタイム・トラッキングにより、カメラの方向と同期する仮想ビューの空間内の回転が可能になる。
【００３３】
端末２にはまた、測定結果がビデオデータと一緒にリアルタイムでＲＴＰフローに含まれる加速度計が装備されてもよい。
【００３４】
次いで、それにより選択されたメディアオブジェクトは、拡張現実サーバ６によって、リアルタイムで、非エンハンスドビデオに追加されて（１０７’）、非圧縮形式でエンハンスドビデオを形成する。
【００３５】
非圧縮形式のエンハンスドビデオフィードは、拡張現実サーバ６によってリアルタイムで符号器／復号器８に送信される（１０８）が、これは以前使用された交換形式（Ｈ．２６３、ＭＰＥＧ−４、Ｈ．２６４）でエンハンスドビデオフィードを圧縮し、次いでメディアサーバ４に同様にリアルタイムで送信する（１０９）。次いで、このメディアサーバは、エンハンスドビデオをリアルタイムで端末２に中継する（１１０）が、端末２はリアルタイムの圧縮解除および再生をローカルに保証する。
【００３６】
ユーザの視点からは、撮影済みビデオの機能強化はリアルタイムで行われる、つまり知覚できるほどの遅延を生じることなく、またはミリ秒単位の時間内で行われる。先に説明したアーキテクチャによって許容される情報処理の速度により、エンハンスドビデオの追加のメディアオブジェクトを端末２の移動への基本的適合の範囲を超える対話式機能と関連付けることが可能であり、これは現実または仮想のいずれでもよいキーボード１０のキーを利用するなど、ユーザによるボイスまたは手動コマンドでアクティブ化されてもよい。各対話式コマンドは端末２によってメディアサーバ４に送信される（１１１）が、次いでこれはそのエンハンスドビデオ・アプリケーションを介して、コマンドをビデオ・アプリケーション・サーバ５に中継し（１１２）、次いでそのエンハンスドビデオ・アプリケーションを介して、あらかじめ確立されたシナリオに応じて拡張現実サーバ６内のメディアオブジェクトの明白な特性への更新を指示する（１１３）。
【００３７】
これにより、ユーザは追加のオブジェクトに直接従って動作して、カラー、テクスチャ、位置などの、その特性を変更するか、または広告メッセージの再生、ハイパーリンクのアクティブ化などの、オブジェクト自身によって提供された機能を使用することができる。たとえば、ユーザは、車両を撮影して、車両の３次元ビューを受信することができるが、このビューは、価格、販売業者の連絡先、納期、商用Ｗｅｂサイトへのリンクなどの対話式であってもよい商用情報に場合によっては関連付けられて、ユーザは要望どおりに（回転、ドアを開く、座席を調べる、カラーを変更するなど）操作することができる。
【００３８】
１つの特定の実施形態において、上記で説明した機能の一部は、データ転送時間に起因する遅延を減少する方法で、モバイル端末２に組み込まれる。したがって、モバイル端末２は、たとえば、通信システム３にすでに圧縮されているビデオフローを送信することで、場合によってはさらに迅速になるように、符号化／復号化を組み入れることができる。
【００３９】
したがって、先に説明したソリューションは、日常生活において使用できる拡張現実の効果的なアプリケーションを提案するが、これは特定の追加機能を実施することなく第３世代のモバイル端末に実施されてもよく、処理の大部分はリモート通信システム内で実行され、リモート通信システムの構成がビデオ機能強化操作をリアルタイムで実行できるようにする。
【００４０】
このソリューションはまた、エンハンスドビデオに基づいて、電子商取引ポータルへのアクセスを可能にする。
【００４１】
この方法は、モバイル端末を対象とする広告コンテンツを配信する場合に特に適用することができる。実際に、モバイル端末２によって撮影されたシーンの分析に従って、追加で撮影済みシーンと結び付けられたメディアオブジェクトが広告関連であってもよい。
【００４２】
非限定的な例として、モバイル端末２によって撮影されたシーンが印刷された映画のポスターである場合、対応する追加のメディアオブジェクトは、その映画の広告ビデオシーケンスであってもよく、そこには撮影されたシーンが含まれていても、含まれていなくてもよい。その映画の上映日を検索すること、予約すること、および／またはその映画に関する追加情報を要求することは、広告メディアコンテンツと関連付けることができ、モバイル端末２からアクティブ化することができる対話式機能の例である。
【００４３】
第２の例として、モバイル端末２によって撮影された実際のシーンに自動車が含まれる場合、新車、付属品、および／または自動車部品もしくはサービスの広告コンテンツのようないくつかの追加の広告メディアオブジェクトが考え出されてもよい。
【００４４】
このコンテキストの中で、追加の広告メディアオブジェクトと関連付けられている対話式機能は、文化、情報、および／または商業を目的とするものであってもよい。
【００４５】
ビデオ機能強化操作が通信システム３によって実行される限りにおいて、このシステムはまた、これらの操作に関する情報を収集する役割を果たすこともできる。たとえば、この情報は、以下の事項を備えることができる。
−  モバイル端末２と所与のエンハンスドビデオを処理する通信システム３との間の通信セッションの平均継続期間
−  所与のエンハンスドビデオに関する通信セッションの単位時間あたりの数
−  所与のエンハンスドビデオに関する通信セッションの地域別の数
−  当初対象とする母集団に属しているユーザですでに確立されている通信セッションの数
−  モバイル端末３のユーザに関する情報（電話番号、性別、年齢、姓、名など）
【００４６】
この情報により、商業目的の追加のメディアオブジェクトの所有者に非常に有益な統計データを提供することができるようになる。
【図１】
2011519193.tif 000003
【国際調査報告】
2011519193.tif 000004
2011519193.tif 000005
2011519193.tif 000006
2011519193.tif 000007
2011519193.tif 000008
2011519193.tif 000009