(57)【要約】  端末１００とサーバ２０との間の対話を通じて複数のコンテンツアイテムから合成ビュー３００を生成する方法が以下を含む：−  端末１００の能力プロファイルを含む端末説明１１１を端末１００からサーバ２００に転送するステップと、−  利用可能なコンテンツアイテムおよび対話モードを示す情報２１２をサーバ２００から端末１００に転送するステップと、−  選択したコンテンツアイテムおよび選択した対話モードを示す情報を端末１００からサーバ２００に転送するステップと、以下の、−  端末説明および選択した対話モードに従って最適化した、選択したコンテンツアイテム１１３、１１４；２１３、２１４をサーバ２００から端末１００にストリーミングし、−  端末１００でコンテンツアイテムのうちの１つまたは複数をフュージングし、−  フュージングしたコンテンツアイテムから合成ビュー３００をレンダリングし、−  端末１００からサーバ２００にフィードバックを転送し、−  フィードバックに基づいて、ストリーミングしたコンテンツアイテム１１３、１１４；２１３、２１４を適合させることを反復するプロセス。
2013534791.tif 000002
【特許請求の範囲】
【請求項１】
端末（１００）とサーバ（２００）との間の対話を通じて複数のコンテンツアイテムから合成ビュー（３００）を生成する方法であって、
前記端末（１００）の能力プロファイルを含む端末説明（１１１；２１１）を前記端末（１００）から前記サーバ（２００）に転送するステップと、
利用可能なコンテンツアイテムおよび対話モードを示す情報（１１２；２１２）を前記サーバ（２００）から前記端末（１００）に転送するステップと、
選択したコンテンツアイテムおよび選択した対話モードを示す情報を前記端末（１００）から前記サーバ（２００）に転送するステップと
を含み、以下の、
前記端末説明および前記選択した対話モードに従って最適化した、選択したコンテンツアイテム（１１３、１１４；２１３、２１４）を前記サーバ（２００）から前記端末（１００）にストリーミングし、
前記端末（１００）で前記コンテンツアイテムのうちの１つまたは複数をフュージングし、
フュージングしたコンテンツアイテムから前記合成ビューをレンダリングし、
前記端末（１００）から前記サーバ（２００）にフィードバックを転送し、
前記フィードバックに基づいて、前記ストリーミングしたコンテンツアイテムを適合させることを反復するプロセスをさらに含むことを特徴とする、方法。
【請求項２】
前記端末（１００）の前記能力プロファイルが、
前記端末（１００）のメモリ容量、
前記端末（１００）のディスプレイサイズ、
前記端末（１００）の処理能力、
前記端末（１００）内の利用可能なビデオデコーダ、
前記端末（１００）内のサポートされるフュージング機能、
前記端末（１００）内のサポートされる対話コマンド
のうちの１つまたは複数を含むメタデータファイル（１１１；２１１）を表す、請求項１に記載の合成ビューを生成する方法。
【請求項３】
利用可能なコンテンツアイテムを示す前記情報（２１２）がテレビジョン番組表を含む、請求項１に記載の合成ビューを生成する方法。
【請求項４】
前記対話モードが、
ナビゲートすること、
関心領域を選択すること、
閲覧角を選択すること
を含む、請求項１に記載の合成ビューを生成する方法。
【請求項５】
前記フュージングが、
前記コンテンツアイテムのうちの１つまたは複数をワーピングすること、
前記コンテンツアイテムのうちの１つまたは複数を補間すること、
前記コンテンツアイテムのうちの１つまたは複数をスティッチングすること、
前記コンテンツアイテムのうちの一部を重ね合わせること
のうちの１つまたは複数を含む、請求項１に記載の合成ビューを生成する方法。
【請求項６】
前記ストリーミングしたコンテンツアイテムを適合させることが、ネットワーク条件、端末条件、および前記端末（１００）内の前記コンテンツアイテムの使用に適合させることを含む、請求項１に記載の合成ビューを生成する方法。
【請求項７】
前記コンテンツアイテムのうちの１つまたは複数の周囲の部分をプリフェッチすること
をさらに含む、請求項１に記載の合成ビューを生成する方法。
【請求項８】
端末（１００）との対話を通じて複数のコンテンツアイテムから合成ビュー（３００）を生成するサーバ（２００）であって、
前記端末（１００）の能力プロファイルを含む端末説明（１１１；２１１）を受信および解析する手段（２０１）と、
利用可能なコンテンツアイテムおよび対話モードを示す情報（１１２；２１２）を前記端末（１００）に送信する手段（２０１、２０２）と、
選択されたコンテンツアイテムおよび選択された対話モードを示す情報を前記端末（１００）から受信する手段（２０１、２０２）と
を備え、
前記端末説明および前記選択された対話モードに従って最適化された、選択されたコンテンツアイテム（１１３、１１４；２１３、２１４）を前記端末（１００）にストリーミングする手段（２０２、２０３、２０４）と、
前記端末（１００）からフィードバックを受信する手段（２０１）と、
前記フィードバックに基づいて、前記ストリーミングされたコンテンツアイテム（１１３、１１４；２１３、２１４）を適合させる手段（２０２、２０３、２０４）と
をさらに備えることを特徴とする、サーバ（２００）。
【請求項９】
サーバ（２００）との対話を通じて複数のコンテンツアイテムから合成ビュー（３００）を生成する端末（１００）であって、
前記端末（１００）の能力プロファイルを含む端末説明（１１１）を前記サーバ（２００）に送る手段（１０１）と、
利用可能なコンテンツアイテムおよび対話モードを示す情報（１１２）を前記サーバ（２００）から受信する手段（１０１）と、
選択されたコンテンツアイテムおよび選択された対話モードを示す情報を前記サーバ（２００）に送る手段（１０１）と
を備え、
前記端末説明および前記選択された対話モードに従って最適化された、選択されたコンテンツアイテム（１１３、１１４；２１３、２１４）を前記サーバ（２００）から受信し、復号化する少なくとも１つのビデオデコーダ（１０２、１０３）と、
前記コンテンツアイテムのうちの１つまたは複数をフュージングするフュージングプロセッサ（１０４）と、
フュージングされたコンテンツアイテムから前記合成ビュー（３００）をレンダリングするレンダリングプロセッサ（１０６）と、
前記サーバ（２００）にフィードバックを転送する手段（１０１）と
をさらに備え、
前記少なくとも１つのビデオデコーダ（１０２、１０３）が、前記フィードバックに基づいて適合された、ストリーミングされたコンテンツアイテム（１１３、１１４；２１３、２１４）を前記サーバ（２００）から受信し、復号化するように構成される
ことを特徴とする、端末（１００）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に、端末デバイス、例えばモバイルデバイス、デスクトップまたはラップトップ、ＴＶ画面、ホームシネマセットなどの上に表示される合成ビューを生成することに関する。合成ビューは通常、あるイベント、例えばサッカーの試合またはコンサートでの、例えば複数のビデオカメラのようないくつかの異種コンテンツソースからのコンテンツを表すいくつかの複数の領域を含む。こうした領域のそれぞれを異なるフレームレート、空間解像度、および／またはビット深度で提示することができる。詳細には、本発明は、ユーザによる所望の品質でパーソナライズされた視覚化を可能にすると共に、アドレス指定された端末および実際のネットワーク条件に対してコンテンツの配信を最適化する、そのような合成ビューの生成に関する。
【背景技術】
【０００２】
今日、メディア配信は、例えばレガシーＴＶ放送またはＩＰＴＶ（インターネットプロトコルテレビジョン）マルチキャストなどのプッシュ機構に基づき、または例えばＨＴＴＰ（ハイパーテキスト転送プロトコル）ストリーミングまたはＲＴＳＰ（リアルタイムストリーミングプロトコル）などのプル機構に基づく。
【０００３】
こうしたプルベースのプロトコルのうちの１つである、例えばＡｄｏｂｅ  Ｄａｔａｓｈｅｅｔ「ＨＴＴＰ  Ｄｙｎａｍｉｃ  Ｓｔｒｅａｍｉｎｇ」から知られているＨＴＴＰ適応ストリーミング（ＨＡＳ）は、クライアントが可能な最高の品質でビデオを閲覧し、ネットワーク内の利用可能な帯域幅が不十分であるときにより低い品質を要求し、またはより低い品質の初期セグメントのダウンロードを通じて迅速な開始を可能にするために、新しいビデオの開始時に、より低い品質を要求することを可能にする。それに対するＨＴＴＰ適応ストリーミングは、異なる品質のビデオファイル、および時間スロットにセグメント化されたビデオファイルの可用性に依存する。引用したＡｄｏｂｅのＤａｔａｓｈｅｅｔは、インターネットから以下のＵＲＬを介して取り出すことができる。
ｈｔｔｐ：／／１９２．１５０．８．６０／ｕｋ／ｐｒｏｄｕｃｔｓ／ｈｔｔｐｄｙｎａｍｉｃｓｔｒｅａｍｉｎｇ／ｐｄｆｓ／ｈｔｔｐｄｙｎａｍｉｃｓｔｒｅａｍｉｎｇ＿ｄａｔａｓｈｅｅｔ．ｐｄｆ
【０００４】
ＨＡＳクライアントは、要求したビデオ品質をネットワーク条件に対して自動的に適合させるが、既存のビデオサーバとクライアント端末との間のＨＴＴＰ適応ストリーミングは、パーソナライゼーション、すなわちナビゲーション、関心領域（ＲＯＩ）選択、関心オブジェクト追跡、および／または閲覧角選択を可能にしない。ＨＴＴＰ適応ストリーミングはまた、特定の端末に対する配信を最適化せず（ダウンロードのために適切なバージョンのビデオファイルを選択することはユーザの責任である）、端末での合成ビュー生成のために対話式にマルチカメラコンテンツを配信しない。
【０００５】
著者Ａｚｚｅｄｉｎｅ  Ｂｏｕｋｅｒｃｈｅ、Ｒａｅｄ  Ｊａｒｒａｒ、およびＲｉｃｈａｒｄ  Ｗ．Ｐａｚｚｉの論文「Ａ  Ｎｏｖｅｌ  Ｉｎｔｅｒａｃｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  Ｐｒｏｔｏｃｏｌ  ｆｏｒ  Ｉｍａｇｅ−Ｂａｓｅｄ  ３Ｄ  Ｖｉｒｔｕａｌ  Ｅｎｖｉｒｏｎｍｅｎｔ  Ｎａｖｉｇａｔｉｏｎ」では、異種端末用の３Ｄシーン記述を有する３Ｄコンピュータグラフィックスの伝送が説明されている。この論文で開示される技法は、Ｌｅｖｅｌ−ｏｆ−Ｄｅｔａｉｌ（ＬｏＤ）制御を可能にする。レンダリング技法および点または多角形ベースのオブジェクトを利用することによってビューが再構築される。
【０００６】
Ａ．Ｂｏｕｋｅｒｃｈｅ等により知られている技法はＬｏＤ制御およびビュー依存レンダリングを紹介しているが、この技法はコンピュータグラフィックス向けであり、アニメーションまたはビデオフィードなどの他のコンテンツにスケーリングするには不十分である。したがって、その適用範囲はかなり限定される。
【０００７】
別の、何らかの形で関連する従来技術の解決策が、Ｃｈｉ−Ｗｉｎｇ  Ｆｕ、Ｌｉａｎｇ  Ｗａｎ、Ｔｉｅｎ−Ｔｓｉｎ  Ｗｏｎｇ、およびＣｈｉ−Ｓｉｎｇ  Ｌｅｕｎｇの論文「Ｔｈｅ  Ｒｏｍｂｉｃ  Ｄｏｄｅｃａｈｅｄｒｏｎ  Ｍａｐ：Ａｎ  Ｅｆｆｉｃｉｅｎｔ  Ｓｃｈｅｍｅ  ｆｏｒ  Ｅｎｃｏｄｉｎｇ  Ｐａｎｏｒａｍｉｃ  Ｖｉｄｅｏ」から知られている。その中では、カメラクラスタ中心を多角形モデル中心または軸としてモデル化することができるとき、球形または円筒形多角形メッシュ上にビデオテクスチャをマッピングすることによって全方向ビデオレンダリングが可能にされる。ビューが多角形モデル上にスティッチングされ、マッピングされる。
【０００８】
Ａ．Ｂｏｕｋｅｒｃｈｅ等により知られている技法と同様に、一般にカメラクラスタ位置が任意であり、入力が異種である場合、Ｃｈｉ−Ｗｉｎｇ  Ｆｕ等による全方向ビデオレンダリングは、マルチカメラビデオ合成へのスケーリングが不十分である。
【０００９】
静止画像世界では、複数のイメージが異なるソースからのものであり、異なる解像度であり、所望のビューを生成するために、モザイク化され、互いにスティッチングされる場合、他の解決策が存在する。この一例が、著者Ａｚｚｅｄｉｎｅ  Ｂｏｕｋｅｒｃｈｅ、Ｔｉｎｇｘｕｅ  Ｈｕａｎｇ、およびＲｉｃｈａｒｄ  Ｗｅｒｎｅｒ  Ｎｅｌｅｍ  Ｐａｚｚｉの論文「Ａ  Ｐｒｏｔｏｃｏｌ  ｆｏｒ  Ｉｎｔｅｒａｃｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｆ  Ｉｍａｇｅ−Ｂａｓｅｄ  Ｓｃｅｎｅｓ  ｏｖｅｒ  Ｗｉｒｅｌｅｓｓ  Ａｄ−ｈｏｃ  Ｎｅｔｗｏｒｋｓ」で説明されている。こうした解決策は、ビデオまたはアニメーションには適用可能ではない。ビューが選択され、生成されると、別のコンテンツを配信する必要がない。こうした解決策は一般に、ワーピングまたは補間に基づくフュージョンを使用せず、異種コンテンツの重複、混合、またはモーフィングをサポートしない。
【００１０】
さらに別の背景論文である、著者Ａｄｉｔｙａ  ＭａｖｌａｎｋａｒおよびＢｅｒｎｄ  Ｇｉｒｏｄの「Ｐｒｅ−Ｆｅｔｃｈｉｎｇ  Ｂａｓｅｄ  ｏｎ  Ｖｉｄｅｏ  Ａｎａｌｙｓｉｓ  ｆｏｒ  Ｉｎｔｅｒａｃｔｉｖｅ  Ｒｅｇｉｏｎ−ｏｆ−Ｉｎｔｅｒｅｓｔ  Ｓｔｒｅａｍｉｎｇ  ｏｆ  Ｓｏｃｃｅｒ  Ｓｅｑｕｅｎｃｅｓ」は、関心領域内のユーザ定義済みまたは対話式ランダムアクセスのためのビデオストリーム操作を説明している。この論文は、複雑な、パーソナライズされたビデオ合成ではなく、異なる単一カメラ記録済みメディアオブジェクトの管理に取り組んでいる。
【００１１】
要約すれば、既存のプルまたはプッシュベースのビデオ配信プロトコルは、端末および実際のネットワーク条件に対して最適化されたマルチカメラコンテンツの伝送をサポートせず、パーソナライズされた視覚化を可能にすることをサポートしない。パーソナライズされたビューを可能にする解決策は、球または円筒に対してマッピングされた静止画像、仮想シーン、またはビデオテクスチャに専念し、ビデオやアニメーションなどの他のコンテンツにスケーリングしない。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】Ａｄｏｂｅ  Ｄａｔａｓｈｅｅｔ「ＨＴＴＰ  Ｄｙｎａｍｉｃ  Ｓｔｒｅａｍｉｎｇ」
【非特許文献２】Ａｚｚｅｄｉｎｅ  Ｂｏｕｋｅｒｃｈｅ、Ｒａｅｄ  Ｊａｒｒａｒ、およびＲｉｃｈａｒｄ  Ｗ．Ｐａｚｚｉの論文「Ａ  Ｎｏｖｅｌ  Ｉｎｔｅｒａｃｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  Ｐｒｏｔｏｃｏｌ  ｆｏｒ  Ｉｍａｇｅ−Ｂａｓｅｄ  ３Ｄ  Ｖｉｒｔｕａｌ  Ｅｎｖｉｒｏｎｍｅｎｔ  Ｎａｖｉｇａｔｉｏｎ」
【非特許文献３】Ｃｈｉ−Ｗｉｎｇ  Ｆｕ、Ｌｉａｎｇ  Ｗａｎ、Ｔｉｅｎ−Ｔｓｉｎ  Ｗｏｎｇ、およびＣｈｉ−Ｓｉｎｇ  Ｌｅｕｎｇの論文「Ｔｈｅ  Ｒｏｍｂｉｃ  Ｄｏｄｅｃａｈｅｄｒｏｎ  Ｍａｐ：Ａｎ  Ｅｆｆｉｃｉｅｎｔ  Ｓｃｈｅｍｅ  ｆｏｒ  Ｅｎｃｏｄｉｎｇ  Ｐａｎｏｒａｍｉｃ  Ｖｉｄｅｏ」
【非特許文献４】Ａｚｚｅｄｉｎｅ  Ｂｏｕｋｅｒｃｈｅ、Ｔｉｎｇｘｕｅ  Ｈｕａｎｇ、およびＲｉｃｈａｒｄ  Ｗｅｒｎｅｒ  Ｎｅｌｅｍ  Ｐａｚｚｉの論文「Ａ  Ｐｒｏｔｏｃｏｌ  ｆｏｒ  Ｉｎｔｅｒａｃｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｆ  Ｉｍａｇｅ−Ｂａｓｅｄ  Ｓｃｅｎｅｓ  ｏｖｅｒ  Ｗｉｒｅｌｅｓｓ  Ａｄ−ｈｏｃ  Ｎｅｔｗｏｒｋｓ」
【非特許文献５】Ａｄｉｔｙａ  ＭａｖｌａｎｋａｒおよびＢｅｒｎｄ  Ｇｉｒｏｄ、「Ｐｒｅ−Ｆｅｔｃｈｉｎｇ  Ｂａｓｅｄ  ｏｎ  Ｖｉｄｅｏ  Ａｎａｌｙｓｉｓ  ｆｏｒ  Ｉｎｔｅｒａｃｔｉｖｅ  Ｒｅｇｉｏｎ−ｏｆ−Ｉｎｔｅｒｅｓｔ  Ｓｔｒｅａｍｉｎｇ  ｏｆ  Ｓｏｃｃｅｒ  Ｓｅｑｕｅｎｃｅｓ」
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明の目的は、複数のコンテンツアイテムから合成ビューを生成する方法、ならびに上記で定義した従来技術の解決策の欠点を克服する、対応するサーバおよび端末を開示することである。本特許出願の文脈でのサーバは、発信側コンテンツサーバまたは中間プロキシサーバを表す。より具体的には、目的は、いくつかの異種入力から、パーソナライズされたビューを所望の品質で構成することを可能にする方法、サーバ、および端末を開示することである。この文脈でのパーソナライゼーションは、ナビゲーション、関心領域選択、および／または閲覧角選択を意味する。別の目的は、端末にとって最適な形で入力配信し、ネットワーク内の利用可能な帯域幅を完全に活用することである。したがって、ネットワーク能力と端末能力の両方に基づく、ストリーミングされるコンテンツ品質のリアルタイム調整が、合成ビューで使用されるマルチソースコンテンツに関して想定される。
【課題を解決するための手段】
【００１４】
本発明によれば、上記の目的は、請求項１で定義される、端末とサーバとの間の対話を通じて複数のコンテンツアイテムから合成ビューを生成する方法によって実現され、方法は以下を含む：
−  端末の能力プロファイルを含む端末説明を端末からサーバに転送するステップと、
−  利用可能なコンテンツアイテムおよび対話モードを示す情報をサーバから端末に転送するステップと、
−  選択したコンテンツアイテムおよび選択した対話モードを示す情報を端末からサーバに転送するステップと、以下の、
−  端末説明および選択した対話モードに従って最適化した、選択したコンテンツアイテムをサーバから端末にストリーミングし、
−  端末でコンテンツアイテムのうちの１つまたは複数をフュージングし、
−  フュージングしたコンテンツアイテムから合成ビューをレンダリングし、
−  端末からサーバにフィードバックを転送し、
−  フィードバックに基づいて、ストリーミングしたコンテンツアイテムを適合させることを反復する処理。
【００１５】
したがって、本発明による方法は、端末の能力を端末が指定し、次いで生成される合成ビュー内に表示される１つまたは複数のコンテンツアイテムを、利用可能なコンテンツアイテムのリスト、例えばプログラムメニューから選択することを可能にする、サーバと端末との間のネゴシエーションに基づく。利用可能なコンテンツアイテムおよび利用可能な対話モード、例えばナビゲーション、閲覧角選択、または関心領域（ＲＯＩ）選択は、ネットワーク内の利用可能な帯域幅および端末説明を考慮に入れることができる。利用可能なコンテンツアイテムおよび利用可能な対話モードを示す情報を適合させ、端末に連続的にストリーミングすることができる。端末によって選択されたとき、サーバは、合成ビューをレンダリングするために端末側でコンテンツアイテムをフュージングすることを可能にする情報と共に、どのスケーラブルストリームをどの品質で送るかを決定する。スケーラブルコンテンツアイテムをストリーミングし、それをレンダリングのためにフュージングすることを、端末からのフィードバック時に反復的に細分化することができる。フィードバックは、例えば、端末での処理能力使用量、端末でのメモリ使用量、観測ユーザ対話レート、ナビゲーションがビュー境界に近づき、その結果として周囲の部分を転送しなければならないことの検出などを示すことができる。要約すれば、本発明による方法は、端末でのマルチソースコンテンツから生成された合成ビューのパーソナライゼーションと、サーバと端末との間の反復的ネゴシエーションループによるネットワーク内のサーバの制御下でのその端末に対するコンテンツの最適化配信とを組み合わせる。
【００１６】
任意選択で、請求項２で指定されるように、本発明による方法での端末の能力プロファイルは、以下のうちの１つまたは複数を含むメタデータファイルを表す：
−  端末のメモリ容量、
−  端末のディスプレイサイズ、
−  端末の処理能力、
−  端末内の利用可能なビデオデコーダ、
−  端末内のサポートされるフュージング機能、
−  端末内のサポートされる対話コマンド。
【００１７】
明らかに、上記のリストは非網羅的なものである。端末の能力プロファイルは、転送されるコンテンツアイテムの品質、例えば、レイヤ、ビット深度、解像度などをサーバが選択する際に有用である可能性のある端末の任意の仕様またはステータスパラメータを含むことができる。サポートされるフュージング機能は、オーバーレイ、ワーピング、補間、スティッチング、モーフィング、コントラストアライメントなどを含むことができるのに対して、サポートされる対話コマンドは、関心領域選択、閲覧角選択に関するコマンド、ナビゲーションコマンドなどを含むことができる。
【００１８】
さらに任意選択で、請求項３で定義されるように、利用可能なコンテンツアイテムを示す情報は、テレビジョン番組表を含むことができる。
【００１９】
実際、利用可能なビューまたはコンテンツアイテムを示す情報が更新されるときはいつでも（非同期に）、端末の要求時に（プル）、またはサーバが率先して定期的に（プッシュ）、情報を更新し、連続的にストリーミングすることができる。情報は、例えばＴＶ番組表または電子番組ガイドのフォーマットでよい。
【００２０】
さらに任意選択で、請求項４で定義されるように、本発明による方法での対話モードは以下を含むことができる：
−  ナビゲートすること、
−  関心領域を選択すること、
−  閲覧角を選択すること。
【００２１】
この場合も、上記のリストは網羅的なものではなく、例えば製作ディレクタソフトウェアで利用可能な、合成ビューをパーソナライズするためにビデオと対話する最も一般的な方式を反映するものであることを当業者は理解されよう。ナビゲートすることは、例えば、レンダンリングされるビューの周囲の部分のスケーラブル品質レイヤを選択することにより、所与のより広いビュー内で拡張可能とすることができる。関心領域（ＲＯＩ）の選択をズーミングで補うことができ、閲覧角を選択することは、例えば、複数のカメラが同一のオブジェクトまたはイベントを異なる角度から記録する場合に可能とすることができる。
【００２２】
請求項５で定義される、本発明による方法の別の任意選択の態様によれば、フュージングは以下のうちの１つまたは複数を含むことができる：
−  コンテンツアイテムのうちの１つまたは複数をワーピングすること、
−  コンテンツアイテムのうちの１つまたは複数を補間すること、
−  コンテンツアイテムのうちの１つまたは複数をスティッチングすること、
−  コンテンツアイテムのうちの一部を重ね合わせること。
【００２３】
この場合も、このリストは非網羅的なものであり、例えばコントラストアライメントなどの他のフュージング機能を端末内のフュージングプロセッサに対して利用可能とすることができることを当業者は理解することに留意されたい。例えば、毎秒ｆフレームのＫ  ｍｋ×ｎｋイメージに関する保証リアルタイムフュージングなどの処理能力によってフュージョンプロセッサ能力をさらに記述することができる。
【００２４】
請求項６によってさらに示されるように、ストリーミングしたコンテンツアイテムを適合させることは、ネットワーク条件、端末条件、および端末内のコンテンツアイテムの使用に適合させることを含むことができる。
【００２５】
実際、利用可能な帯域幅、端末能力、および所望の対話モードに基づいて、サーバは、正しいコンテンツおよび品質を選択し、端末でフュージングされる必要なストリームをレンダリングのためのメタデータ情報と共に多重化する。一例を挙げると、利用可能な帯域幅の変化または端末からのフィードバックに応答して、メタデータ適合と共にストリーミングされるアイテムのスケーラブルレイヤを増加または減少させることができる。
【００２６】
さらに任意選択で、請求項７で定義されるように、本発明による合成ビューを生成する方法は、コンテンツアイテムのうちの１つまたは複数の周囲の部分をプリフェッチすることを含むことができる。
【００２７】
実際、上記で既に示されたように、ビューの周囲の部分のスケーラブル品質レイヤが、レンダリングのために選択され、プリフェッチされることを条件として、表示されるよりも広いビュー内のナビゲーションおよびズーミングを可能にすることができる。このために、フュージョンプロセスとレンダリングプロセスは分離されることが好ましい。次いで、フュージョンプロセスは、端末画面に必要なものよりも広いビューを生成することができる。このようにして、ビューの外側をナビゲートするときの待ち時間を短縮することができ、サーバに対する要求を最小限に抑えることができる。
【００２８】
請求項１で定義される合成ビューを生成する方法に加えて、本発明はまた、請求項８で定義される、端末との対話を通じて複数のコンテンツアイテムから合成ビューを生成する、対応するサーバにも関し、サーバは以下を備える：
−  端末の能力プロファイルを含む端末説明を受信および解析する手段と、
−  利用可能なコンテンツアイテムおよび対話モードを示す情報を端末に送信する手段と、
−  選択されたコンテンツアイテムおよび選択された対話モードを示す情報を端末から受信する手段と、
−  端末説明および選択された対話モードに従って最適化された、選択されたコンテンツアイテムを端末にストリーミングする手段と、
−  端末からフィードバックを受信する手段と、
−  フィードバックに基づいて、ストリーミングされたコンテンツアイテムを適合させる手段。
【００２９】
本発明はさらに、請求項９で定義されるように、サーバとの対話を通じて複数のコンテンツアイテムから合成ビューを生成する、対応する端末に関し、端末は以下を備える：
−  端末の能力プロファイルを含む端末説明をサーバに送る手段と、
−  利用可能なコンテンツアイテムおよび対話モードを示す情報をサーバから受信する手段と、
−  選択されたコンテンツアイテムおよび選択された対話モードを示す情報をサーバに送る手段と、
−  端末説明および選択された対話モードに従って最適化された、選択されたコンテンツアイテムをサーバから受信し、復号化する少なくとも１つのビデオデコーダと、
−  コンテンツアイテムのうちの１つまたは複数をフュージングするフュージングプロセッサと、
−  フュージングされたコンテンツアイテムから合成ビューをレンダリングするレンダリングプロセッサと、
−  サーバにフィードバックを転送する手段。
−  少なくとも１つのビデオデコーダが、フィードバックに基づいて適合された、ストリーミングされたコンテンツアイテムをサーバから受信し、復号化するように構成される。
【図面の簡単な説明】
【００３０】
【図１】本発明による端末１００の一実施形態を示す図である。
【図２】本発明によるサーバ２００の一実施形態を示す図である。
【図３】本発明による方法の一実施形態に従って生成された合成ビュー３００を示す図である。
【発明を実施するための形態】
【００３１】
以下のパラグラフでは、合成ビュー、すなわち図３のマルチビデオ合成３００を生成することに関して本発明による方法の一実施形態が説明される。この方法は、図１の端末１００と図２のサーバ２００との間のネゴシエーションプロトコルに基づく。ネゴシエーションプロトコルは、端末１００での合成ビュー３００の最良の可能なレンダリングを生み出すことを目指す。方法は、異種ソースコンテンツに基づいてパーソナライズされた合成ビューを生成するために、平易な対話および没入体験を端末１００のユーザに提供する。
【００３２】
この方法では、クライアント端末１００は、クライアント端末１００が必要とするビデオアイテムを要求する、すなわちプルする役目を果たすが、サーバ２００（またはプロキシサーバ）も、サーバ２００がこうした要求をどのように履行するか、言い換えればサーバ２００がクライアント端末１００に向けて何をプッシュするかを選ぶ責任を有する。ネゴシエーションは、端末１００が、生成されるマルチビデオ合成３００内部のエリア、例えば３０１に関するあるビデオアイテムをまず要求することを可能にし、２番目に、メタデータファイル内で記述されるレンダリングのためのビデオアイテムをフュージングするために、サーバ２００がどのスケーラブルビデオストリームをどの品質レベルで必要な情報と共に端末１００に送るかを判断することを可能にする。
【００３３】
さらに、対話の目的で、ネゴシエーションはまた、表示されるよりも広い所与のビュー内のナビゲーションおよびランダムアクセスズーミングを可能にするために、プリフェッチング機構をも含む。それに対して、ビューの周囲の部分のスケーラブルレイヤが選択され、フュージングおよびレンダリングするためにストリーミングされる。レンダリングとフュージョン処理は分離される。このことにより、端末画面対して厳密に必要なものより広いビューをフュージョン機能が作成することが可能となる。その結果、ユーザが画面上に表示されたビューの外側をナビゲートしているとき、待ち時間を短縮することができ、ネットワークに対する要求を最小限に抑えることができる。
【００３４】
以下のパラグラフでは、合成ビュー３００のためのマルチビデオコンテンツを提供するメディア認識型プロキシサーバ２００に接続された対話式端末１００が詳細に説明される。本発明をサポートするように設計された端末１００は、柔軟なトラフィック適応が可能である。プロキシサーバ２００は、スケーラブルかつ対話式に合成ビュー３００の必要に応じてマルチカメラコンテンツをストリーミングすることができる。
【００３５】
例えばディスプレイおよびユーザインターフェースのような従来の構成要素の他に、端末１００は、メタデータアナライザ１０１、いくつかのビデオデコーダユニット１０２および１０３、フュージョンプロセッサ１０４、対話プロセッサ１０５、およびレンダリングプロセッサ１０６を含む。
【００３６】
メタデータアナライザ１０１は、図１の矢印１１２で示されるように、サーバ２００からメタデータファイルを受信し、図１の矢印１１６で示されるように、対話プロセッサ１０５から対話コマンドを受信する。メタデータアナライザ１０１は、受信したメタデータおよび対話コマンドを解釈および解析し、受信および復号化したストリーム１１８からビデオコンテンツをどのように再構築するかを指定する情報１１７をフュージョンプロセッサ１０４に出力する。メタデータアナライザ１０１はさらに、図１の矢印１１１で示されるように、サーバ２００に要求を送る。
【００３７】
ビデオデコーダ１０２および１０３は、サーバ２００から受信したビデオストリーム１１３および１１４を復号化する。
【００３８】
フュージョンプロセッサ１０４は、ＲＧＢイメージとして復号化したビデオストリーム１１８と、メタデータアナライザ１０１によって解釈されたメタデータファイル１１７とを入力として受信する。こうしたメタデータファイル１１７は、イメージをフュージングするのに必要な再構築パラメータを含む。フュージョンプロセッサの能力は、重ね合せ、ワーピング、補間、スティッチングなどの機能によって記述され、Ｋ、ｍｋ、ｎｋ、ｆが整数値であるとして、毎秒ｆフレームのＫ  ｍｋ×ｎｋイメージに関する保証リアルタイムフュージングなどの処理能力によって記述される。フュージョンプロセッサ１０４は、再構築およびフュージングしたビュー１１９を対話プロセッサ１０５に送り、対話プロセッサ１０５は、フュージングしたイメージ内のナビゲーションおよび関心領域（ＲＯＩ）選択のためにユーザ対話１１５を処理する。
【００３９】
対話プロセッサ１０５は、フュージョンプロセッサ１０４の出力１１９で関心領域選択およびナビゲーションが利用可能であるかどうかを検出する。利用可能である場合、選択されたビュー１２０がレンダリングプロセッサ１０６に送られる。そうでない場合、関係するビデオストリームの適合配信のためにメタデータアナライザ１０１がサーバ２００に要求１１１を送ることができるように、対話プロセッサ１０５はメタデータアナライザ１０１に要求１１６を送る。
【００４０】
レンダリングプロセッサ１０６は、端末画面上で所望のビデオコンテンツをレンダリングする。
【００４１】
図１で表される端末１００は、視覚化される所望のビデオまたはコンテンツアイテム（複数可）を識別する第１のメッセージを送ることにより、図２に示されるサーバ２００との通信を開始する。端末１００はまた、ビデオデコーダの数、メモリ容量、画面サイズ、および処理能力によって表される端末１００の能力をサーバ２００に送る。その時、図２で示されるメディア認識型プロキシサーバ２００は、端末１００からの要求２１１の受信を確認する。サーバ２００内の要求アナライザ２０１が、端末１００から受信した要求２１１を解析し、所望のコンテンツを示す情報２１５をコンテンツ可用性アナライザ２０２に転送する。要求２１１に応答して、要求アナライザ２０１は、利用可能なコンテンツ、例えばＴＶ番組表のフォーマットの利用可能なビューに関する情報、および端末の能力に対応する利用可能な対話モードに関する情報を含むプロキシメタデータ応答２１２を端末１００に送る。
【００４２】
次いで、端末１００は特定のビューおよび特定の対話シナリオを要求することができる。ここで、ビューまたは対話シナリオを変更することは、別のコンテンツアイテムへの要求として理解されるが、従来のＩＰＴＶでのザッピングとは異なり、以前に視聴されたものと同期されることに留意されたい。対話シナリオは、ナビゲーション、関心領域（ＲＯＩ）選択、閲覧角選択、またはそれらの組合せに対応する。この要求の受信時に、サーバ２００内のコンテンツ可用性アナライザ２０２は、矢印２１６で示されるように、複数のカメラストリーム２０３から正しいビデオコンテンツを選択し、矢印２１７で示されるように、こうしたストリームをスケーラブルビデオマルチプレクサ２０４に転送する。次いで、サーバ２００は、端末１００で所望のビューを再構築するのに必要な、対応するスケーラブルビデオストリーム２１３および２１４を送る。端末能力に基づいて、サーバ２００は、ストリーム数を選び、各ストリームの最も関連するスケーラブルレイヤを選択する。
【００４３】
修正後メタデータファイルが、ビデオストリーム２１３および２１４と共に端末１００に送られ、端末１００が着信ストリーム１１３および１１４を復号化することが可能となり、そのフュージングが可能となる。メタデータファイルはまた、例えばズーミングなどの端末１００上の対話を可能にする情報をも含む。
【００４４】
要約すると、例えば製作ディレクタが指導した、選択された対話シナリオに基づいて、プロキシサーバ２００は、送るべき正しいコンテンツを選択し、端末１００上でフュージングすべき必要なストリームをメタデータ情報と共に多重化し、フュージングおよび十分なレンダリングを可能にする。
【００４５】
ナビゲーションが予期されない場合、プロキシサーバ２００は、利用可能な帯域幅および端末能力に関して、送られるコンテンツの品質を最適化する。ナビゲーションがサポートされる場合、例えばより低い品質で、最小限の帯域幅および端末処理の犠牲で、要求されたビューの外側でナビゲートすることが可能となることを保証するために何らかの追加のビュープリフェッチングが必要となる。
【００４６】
システム全体を要約すると、端末１００は、マルチビデオソーススケーラブルフュージング合成ビュー３００の視覚化のために、プロキシサーバ２００内の専用インターフェースとネゴシエートすることができるインターフェースを備える。端末１００は、異なる復号化ストリーム１１８間の異なる幾何学的操作に基づくビュー３００を構成する。こうした復号化ストリーム１１８は、プロキシサーバ２００から来るメタデータスクリプトによる解像度、フレームレート、およびビット深度によって記述される。
【００４７】
例えば、ナビゲーションまたは処理能力変動が着信ストリーム１１３および１１４のより低いスケーラブルレイヤを課す場合、より低いスケーラブルレイヤを選択することにより、何らかのインテリジェント端末ベースの解析が可能である。次いで、イメージのフュージョンが、こうしたイメージの利用可能な品質表現のフュージョンに変えられる。端末１００およびプロキシサーバ２００は、ベストエフォートでの配信およびレンダリングを達成し、それによって円滑性および没入要件を満たす受け入れられるレベルまで待ち時間を低減する。
【００４８】
図３では、端末１００によって生成されるマルチソース合成ビュー３００の一例が示されている。３００が合成されたマルチカメラビューを表すのに対して、３０１、３０２、および３０３は高ダイナミックレンジサブビューを表し、３０４は、時刻ｔに端末画面上に表示すべきユーザが要求したサブビューを表し、３０５はパンチルトズームサブビューを表す。異なるサブビューは、その幾何学的範囲がグローバルパノラマビュー３００上に表される異種カメラから来る。ソースビデオアイテムは様々なタイプでよく、したがってグローバルビュー３００に効率的に寄与する。合成ビュー３００に寄与することのできるイメージソースは、その幾何学的範囲が必要とされるサブビューと交差するものである。次いで、グローバルビュー３００は、こうしたソースのフュージョン、すなわちモーフィング、ワーピング、スティッチング、コントラストアライメントなどによって生成される。
【００４９】
まとめると、端末１００とプロキシサーバ２００との間のネゴシエーションプロトコルは以下の通りである。第１の告知ステップでは、端末１００は、プロキシサーバ２００に要求を送る。第２の確認ステップでは、プロキシサーバ２００は、端末１００に利用可能なコンテンツ情報を送る。第３のステップでは、端末１００は、オーバーレイ、ワーピング、補間、スティッチングなどのフュージング機能のサポートを指定し、さらに処理能力、メモリ情報、およびサポートされる対話コマンドを指定するメタデータファイルとして、その能力プロファイル情報をプロキシサーバ２００に送る。第４のステップでは、プロキシサーバ２００は、利用可能な帯域幅および端末説明に対して利用可能なビューおよびサポートされる対話モードに関する情報を送る。この情報を連続的に適合し、端末１００にストリーミングすることができる。この情報をテレビジョン番組表のフォーマットで表すことができる。第５のステップでは、端末１００は、ユーザ入力に基づいて所望のビューおよび対話モードを選択する。その後で、端末１００とプロキシサーバ２００との間で反復的ネゴシエーションループが開始される。反復的ネゴシエーションループでは：
−  プロキシサーバ２００は、利用可能な帯域幅および端末説明のグローバル最適化、ビュー範囲、および対話モードに基づいて、最良のストリームおよびメタデータ構成を送る。
−  端末１００は、その処理能力使用情報および観測されるユーザ対話レートを送る。端末１００はまた、対話ナビゲーションがビュー境界に近づくかどうかを検出する。
−  フィードバックに基づいて、プロキシサーバ２００は、ストリーミングされるビデオアイテムおよびメタデータを適合させる。プロキシサーバ２００は例えば、ストリームのスケーラブルレイヤを増加または減少させ、メタデータを適合させる。プロキシサーバ２００は、端末１００に送られる提案を更新する。
【００５０】
端末１００が別のビューを求める要求を送るまで、または閲覧を終了するまで、ループは反復的に実行される。閲覧が終了したとき、端末１００は、伝送を終了したいことを示すメッセージをプロキシサーバ２００に送る。その時、プロキシサーバ２００は、閲覧要求の終了を確認し、伝送を停止する。
【００５１】
特定の実施形態を参照することによって本発明が示されたが、本発明が上記の例示的実施形態の詳細に限定されず、本発明の範囲から逸脱することなく様々な変更および修正と共に本発明を実施できることは当業者には明らかであろう。したがってこの実施形態は、すべての点で限定的なものではなく、例示的なものとみなされるべきであり、本発明の範囲は、上記の説明ではなく、添付の特許請求の範囲によって示され、したがって特許請求の範囲の均等の意味および範囲の中にあるすべての変更は、本発明の中に包含されるものとする。言い換えれば、基礎となる基本的な原理の範囲内に含まれるあらゆる修正形態、変形形態、または均等物を包含することが企図され、その不可欠な属性が本特許出願で特許請求される。さらに、「備える」または「含む」という語は他の要素またはステップを除外せず、「ａ」または「ａｎ」という語は複数を除外せず、コンピュータシステム、プロセッサ、別の統合ユニットなどの単一の要素は特許請求の範囲に記載のいくつかの手段の機能を履行できることを本特許出願の読者は理解されよう。特許請求の範囲内の任意の参照符号は、関係するそれぞれの請求項を限定すると解釈されないものとする。「第１」、「第２」、「第３」、「ａ」、「ｂ」、「ｃ」などの用語は、説明または特許請求の範囲で使用されるとき、類似の要素またはステップ間を区別するために導入されるものであり、必ずしも順番または発生順を記述するものではない。同様に、「頂部」、「底部」、「の上」、「の下」などの用語は、説明のために導入されるものであり、必ずしも相対位置を表すものではない。そのように使用される用語は適切な状況下で相互交換可能であり、本発明の実施形態は、本発明に従って他のシーケンスで、または上記で説明し、または示したもの（複数可）とは異なる向きで動作できることを理解されたい。
【図１】
2013534791.tif 000003
【図２】
2013534791.tif 000004
【図３】
2013534791.tif 000005
【国際調査報告】
2013534791.tif 000006
2013534791.tif 000007