(57)【要約】  本発明は、１つのシーンを様々な視点から取り込んで、、マルチビュービデオコンテンツを生成するために、複数のビデオソースを用いてマルチビュービデオコンテンツを符号化するための方法に関し、その方法は、ビデオソースごとに、撮影されるシーンのエリアに特有の地形パラメータと、シーンを撮影する際に各ビデオソースの動作を制御するための、各ビデオソースに特有の動作パラメータとに基づいて、符号化パラメータを定義することと、マルチビュービデオコンテンツへの各ビデオソースの寄与を最適化するために、符号化パラメータを各ビデオソースに送信するステップとを含む。
2014520409.tif 000002
【特許請求の範囲】
【請求項１】
１つのシーンを様々な視点から取り込んで、、マルチビュービデオコンテンツを生成するために、複数のビデオソースを用いて前記マルチビュービデオコンテンツを符号化するための方法であって、
ビデオソースごとに、撮影される前記シーンのエリアに特有の地形パラメータと、前記シーンを撮影する際に各ビデオソースの動作を制御するための、各ビデオソースに特有の動作パラメータとに基づいて、符号化パラメータを定義するステップと、
前記マルチビュービデオコンテンツへの各ビデオソースの寄与を最適化するために、前記符号化パラメータを各ビデオソースに送信するステップと
を含む、マルチビュービデオコンテンツを符号化するための方法。
【請求項２】
前記地形パラメータは、前記シーンのエリアを記述する地理データと、前記エリア内の各ビデオソースの位置とを含む、請求項１に記載の方法。
【請求項３】
前記動作パラメータはセンサから得られたカメラ情報を含む、請求項１に記載の方法。
【請求項４】
前記符号化パラメータはビデオ符号化パラメータ並びにオーディオ符号化パラメータを含んでいる、請求項１に記載の方法。
【請求項５】
前記符号化パラメータは、各ビデオソースと通信するエンコーダコーディネータによって計算される、請求項１に記載の方法。
【請求項６】
前記地理データ及び前記エリア内の各ビデオソースの位置は、各ビデオソースによって前記エンコーダコーディネータに送信される、請求項５に記載の方法。
【請求項７】
各ビデオソースの前記動作パラメータは各ビデオソースによって前記エンコーダコーディネータに送信される、請求項３に記載の方法。
【請求項８】
１つのシーンを様々な視点から取り込んで、、マルチビュービデオコンテンツを生成するために、複数のビデオソースを用いて前記マルチビュービデオコンテンツを符号化するためのシステムであって、
ビデオソースごとに、撮影される前記シーンのエリアに特有の地形パラメータと、前記シーンを撮影する際に各ビデオソースの動作を制御するための、各ビデオソースに特有の動作パラメータとに基づいて、符号化パラメータを定義するエンコーダコーディネータと、
前記マルチビュービデオコンテンツへの各ビデオソースの寄与を最適化するために、前記符号化パラメータを各ビデオソースに送信する手段と
を備える、システム。
【請求項９】
前記符号化パラメータはビデオ符号化パラメータと、オーディオ符号化パラメータとを含む、請求項８に記載のシステム。
【請求項１０】
前記エンコーダコーディネータは無線モデムを備え、各ビデオソースは、無線モデムと、立体視可能なカメラとを備える携帯電話である、請求項８に記載のシステム。
【請求項１１】
記録媒体内に記憶され、コンピュータによって実行されるときに、請求項１から７のいずれか一項に記載の方法を実施するための命令を含むコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
参照による援用
２０１１年６月１５日に出願の欧州特許出願第１１１７００４１．５号に対する優先権を主張し、その内容は参照により本明細書に援用される。
【０００２】
本発明は、１つのシーンを様々な視点から取り込んで、、マルチビュービデオコンテンツを生成するために、複数のビデオソースを用いてマルチビュービデオコンテンツを符号化するための方法及びシステムに関する。
【０００３】
また、本発明は、記録媒体に記憶され、その方法を実施するための命令を含む、コンピュータプログラムに関する。
【背景技術】
【０００４】
マルチビュービデオコンテンツを符号化するための既知の方法では、或る数Ｎのビデオソースから生じる数Ｎのビデオフローが、例えばＭＶＣ（マルチビューコーディング）のようなコーデックによって単一のフローに合成される。次いで、得られた単一のフローは視点間の冗長性を除去することによって圧縮される。
【０００５】
これらの方法の技術的な問題は、各モバイルエンコーダが、完全な品質でビデオフローを符号化するので、マルチビューエンコーダは、完全に符号化されたビデオフローを各ビデオソースから受信するという事実から生じる。
【０００６】
完全な品質でフローを符号化することにより、各ビデオソースにおいて大きなエネルギーが消費される。フルＨＤビデオ１９２０×１０８０の通常の帯域幅は、約１０Ｍｂｉｔから１５Ｍｂｉｔであり、Ｎ台のモバイルデバイスの場合、ネットワーク上で使用される帯域幅はＮ＊Ｂになり、その帯域幅は非常に広く、例えば、携帯電話内に内蔵されるカメラのような３Ｄビデオソースの場合に特に広い可能性がある。
【０００７】
さらに、そのようなシナリオは、ネットワーク容量の過負荷及び限られたサービス時間に起因して、マルチビュービデオコンテンツの劣化につながる。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、様々なビデオソースによって生成されたビデオ間の冗長性を除去することによって、マルチビュービデオコンテンツへの各ビデオソースの寄与を最適化することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の目的は、１つのシーンを様々な視点から取り込むための、複数のビデオソースを用いてマルチビュービデオコンテンツを符号化するための方法によって達成され、その方法は、ビデオソースごとに、撮影されるシーンのエリアに特有の地形パラメータと、シーンを撮影する際に各ビデオソースの動作を制御するための、各ビデオソースに特有の動作パラメータとに基づいて、符号化パラメータを定義するステップと、マルチビュービデオコンテンツへの各ビデオソースの寄与を最適化するために、符号化パラメータを各ビデオソースに送信するステップとを含む。
【００１０】
本発明の好ましい実施形態によれば、地形パラメータは、シーンのエリアを記述する地理データと、そのエリア内の各ビデオソースの位置とを含む。
【００１１】
好ましくは、符号化パラメータは、各ビデオソースと通信するエンコーダコーディネータによって計算される。
【００１２】
本発明の好ましい実施形態では、地理データ及びエリア内の各ビデオソースの位置は、各ビデオソースによってエンコーダコーディネータに送信される。
【００１３】
本発明による方法は、マルチビュービデオコンテンツを符号化するためのシステムにおいて実施され、そのシステムは、マルチビュービデオコンテンツを生成するために、１つのシーンを様々な視点から取り込むための複数のビデオソースと、ビデオソースごとに、撮影されるシーンのエリアに特有の地形パラメータと、シーンを撮影する際に各ビデオソースの動作を制御するための、各ビデオソースに特有の動作パラメータとに基づいて、符号化パラメータを定義するように構成されるエンコーダコーディネータと、マルチビュービデオコンテンツへの各ビデオソースの寄与を最適化するために、符号化パラメータを各ビデオソースに送信するための手段とを備える。
【００１４】
本発明の好ましい実施形態では、エンコーダコーディネータは無線モデムを備え、各ビデオソースは、無線モデムと、立体視可能なカメラとを備える携帯電話である。
【００１５】
生成されるマルチビュービデオは、ビデオ情報及びオーディオ情報を更に含む。本発明の別の実施形態では、エンコーダコーディネータは、ビデオの場合と同じようにして、ビデオソースのオーディオエンコーダを制御するためにオーディオ情報を用いることもできる。
【００１６】
本発明により、各ビデオソースは、エンコーダコーディネータから受信した符号化パラメータに対応するシーンの画像部分のみを符号化し、これらの画像のみをマルチビューエンコーダに送信する。
【００１７】
本発明の他の特徴及び利点は、添付の図面を参照しながら、限定されない例として取り上げられる以下の説明から明らかになるであろう。
【図面の簡単な説明】
【００１８】
【図１】本発明による、マルチビュービデオコンテンツを符号化するためのシステムを示す概略図である。
【図２】本発明による、モバイルビデオソースのアーキテクチャを示す図である。
【図３】本発明によるエンコーダコーディネータのアーキテクチャを示す図である。
【図４】本発明による、ビデオソースとエンコーダコーディネータとの間の通信を示す流れ図である。
【図５】本発明によるビデオソースの動作を示す概略図である。
【図６】本発明によるビデオソースの動作を示す概略図である。
【発明を実施するための形態】
【００１９】
図１は、或るシステムによって同時に撮影されたシーン２を概略的に示しており、そのシステムは撮影するシーンの周囲の様々な場所に配置される幾つかの移動カメラ４と、無線通信システムの一部であるアンテナ８を介して各カメラ４と通信するエンコーダコーディネータ６と、エンコーダコーディネータ６に接続され、エンコーダコーディネータ６から符号化されたビデオを受信し、ライブサービスのために符号化されたビデオを記録システム又はエンドユーザに送信するためのマルチビューエンコーダ１０とを備える。
【００２０】
図２によって概略的に示されるように、移動カメラ４は、ビデオエンコーダモジュール１２と、センサモジュール１４と、アクチュエータモジュール１６と、情報収集モジュール１８と、エンコーダコーディネータ６とメッセージを交換するための伝送プロトコルモジュール２０と、通信ネットワークのネットワークインターフェースモジュール２４とを備える。
【００２１】
図３によって概略的に示されるように、エンコーダコーディネータ６は、ネットワークインターフェース３０と、ビデオマルチプレクサモジュール３２と、ポリシールールを含むデータベース３４とを備える。
【００２２】
図３によって示される実施形態では、マルチビューエンコーダ１０はエンコーダコーディネータ６に内蔵される。しかしながら、マルチビューエンコーダ１０はエンコーダコーディネータ６とは別に配置させても良い。
【００２３】
図４は、或るシーンの画像取込みシーケンス中にマルチビュービデオコンテンツへの各カメラ４の寄与を最適化するための、カメラ４と、エンコーダコーディネータ６と、マルチビューエンコーダ１０との間の通信を示す流れ図である。
【００２４】
ステップ４０において、各カメラ４のセンサモジュール１４は、画像を取り込み、そのシーンの地形情報及びセンサ情報を収集し、ステップ４２において関連する情報を所定のプロトコルを用いてエンコーダコーディネータ６に動的に送信する。
【００２５】
なお、関連する情報は、以下に示す情報を含む。
・レンズパラメータ値（深度、絞り、焦点）、カメラ解像度、カメラによって指し示される方向（ジャイロスコープや他の手段によって得ることができるＸ、Ｙ、Ｚ）、タイムオブフライトカメラから得られた深度、振動、カメラの動き等の、各カメラに特有であり、センサ測定によって得られる動作パラメータ
・携帯電話のような、カメラが内蔵されるモバイルデバイスに特有の動作パラメータ、例えば、携帯電話電池レベル、高度を含む地理的位置
【００２６】
同時に、エンコーダコーディネータ６は、通信ネットワークから、ネットワーク帯域幅容量などのネットワーク情報を受信する。その情報は全ネットワーク容量に関するものでも良いし、各カメラ４によって関連付けられる特定のネットワーク容量に関するものでも良い。
【００２７】
ステップ４４において、エンコーダコーディネータ６は、各カメラによって取り込まれた符号化されたビデオを含む、受信した情報を解析し、ステップ４６において、シーンの地形情報、ネットワーク情報、各カメラ４に特有の動作パラメータに基づいて、そしてカメラ４がモバイルデバイスに内蔵される場合には、モバイルデバイスに特有の動作パラメータにも基づいて、カメラ４ごとに適切な符号化パラメータを決定する。
【００２８】
ステップ４８において、エンコーダコーディネータ６は、各カメラ４に、符号化パラメータと、各カメラ４の動作を制御するための、各カメラ４のアクチュエータモジュール１６に対する命令とを送信する。
【００２９】
各カメラ４の動作の制御は以下の機能を含むことができる。
・モバイルデバイスによって使用される帯域幅をネットワーク容量に適合させる（過負荷を防ぐ）機能
・様々なカメラ４間の情報の冗長性を除去する（すなわち、様々なソースの重なり合うエリアを除去する）機能
・カメラ４の符号化パラメータをマルチビュー符号化されたビデオについての予想品質に適合させる（すなわち、ビデオ解像度、ビデオフレームレート等を適合させる）機能
・モバイルデバイスのエネルギーを最適化する機能
【００３０】
上記の機能は、エンコーダコーディネータ６と各カメラ４に分配されたアルゴリズムによって実行されることに留意されたい。
【００３１】
エンコーダコーディネータ６によって各カメラ４から受信された符号化されたビデオは、エンコーダコーディネータアルゴリズムのための入力パラメータとして用いられても良い。
【００３２】
本発明の別の実施形態では、エンコーダコーディネータ６は、同一のマルチメディアエンコーダ装置内に配置される中央機能として実現しても良いし、又はこれに代えて、ネットワーク上に分散配置させても良く、これによって本発明の範囲から逸脱しない。
【００３３】
ステップ５０において、各カメラ４は、エンコーダコーディネータ６から受信した符号化パラメータ及び制御命令に従って、符号化されたビデオをエンコーダコーディネータ６に送信する。
【００３４】
ステップ５２において、エンコーダコーディネータ６は、各カメラ４から受信した符号化されたビデオをマルチビューエンコーダ１０に送信する。このマルチビューエンコーダ１０は各カメラ４の符号化されたビデオを合成することによってマルチビュー符号化されたビデオを生成し、生成されたマルチビュー符号化されたビデオを、ライブサービスのために記録システム又はエンドユーザに送信する。
【００３５】
図５は、本発明による方法の例示的な実施態様を示しており、３つのカメラ４１、４２及び４３が同じシーンを様々な視点から撮影している。各カメラ４は特有の特性（カメラ解像度、エンコーダタイプ等）を有する。
【００３６】
セッションの開始時に、エンコーダコーディネータ６は、セッションの開始を通知する。関与する各カメラ４は、その静的特性をエンコーダコーディネータ６に送信する。代替の変形形態では、各カメラ４は、カメラ４の静的特性を、撮影開始時にエンコーダコーディネータ６に送信する。カメラ４の静的特性は、例えば、レンズ（ズーム焦点幅、絞り、画像安定化、焦点幅等）、センサ（フォーマット（すなわち、４／３、１６／９、．．．）、サポートされる解像度、光感度等）及び関連するパラメータによりサポートされるビデオエンコーダタイプ（例えば、サポートされるプロファイルによるＨ２６４）が挙げられる。
【００３７】
その後、各カメラ４１、４２及び４３は、完全には網羅されない情報のセットをエンコーダコーディネータ６に動的に送信し始める。この情報のセットは、少なくとも以下の情報を含むことができる。
・カメラ４の位置（ＧＰＳや他のシステムによって計算される）
・視点方向（Ｘ、Ｙ、Ｚ）、焦点幅（ズーム）、焦点（距離）、低品質ビデオ符号化
・利用可能なエネルギー、利用可能な計算能力
・加速度センサ
・シーンの深度（例えば、シーンの１つ又は複数の点とカメラ４との間の距離）
【００３８】
エンコーダコーディネータ６は、受信した情報に基づいて情報のセットを解析し、各デバイスによって使用される最適な符号化パラメータを推定する。符号化パラメータとしては、各カメラ４によって符号化される、カメラによって視認されるシーンのエリアの座標が挙げられる。そのエリアは長方形（例えば、Ｘ、Ｙ）又は任意の適切な形状とすることができる。
【００３９】
エンコーダコーディネータ６は、各カメラによって視認できるシーンの部分から、そのシーンのモデル（可能ならば３Ｄ）を作成し、各デバイスの様々な視点の重なり解析を実行できることに留意されたい。このモデルに基づいて、エンコーダコーディネータ６は、各デバイスから得るべき対象領域を推定する。
【００４０】
図６に示される例では、エンコーダコーディネータ６は、そのシーンの対象領域が、例えば、カメラ４３によって視認される領域６０に対応すると判断し、さらには、後にそのシーンの立体表示を得るために、カメラ４１及び４２の寄与にそれぞれ対応するエリア６２及び６４が、限られた対象領域となると判断することができる。
【００４１】
したがって、カメラ４１はそのシーンの領域６２及び領域６０の共通部分のみを符号化し、カメラ４２はそのシーンの領域６４及び領域６０の共通部分のみを符号化し、カメラ４３はシーン全体を符号化する。
【００４２】
取り込まれる各領域６０、６２及び６４に対して、エンコーダコーディネータは、以下のような更なる符号化パラメータを特定する。
・解像度（例えば、画像取込みの高さピクセル及び幅ピクセル）
・色深度
・符号化されたビデオに対して予想される最小帯域幅及び最大帯域幅
・各デバイスエンコーダ能力に基づく、関連する可能性がある任意の符号化パラメータ
【００４３】
その後、エンコーダコーディネータ６は、特有の符号化パラメータを各カメラ４１、４２及び４３に送信する。
【００４４】
特定の符号化パラメータがカメラ４１、４２及び４３によって受信されると、各カメラ４１、４２及び４３はその対応する領域の符号化されたビデオをエンコーダコーディネータ６に送信する。その後、エンコーダコーディネータ６は、符号化されたビデオをマルチビューエンコーダ１０に送信する。
【００４５】
上記の例では、対象領域は長方形の形状を有する。他方、対象領域は任意の幾何学的形状からなるものでも良い。また、カメラ４が、ピクセルごとの深度を示すことができるカメラセンサ（すなわち、タイムオブフライトカメラ）を備える場合には、対象領域は３Ｄとすることもできる。
【００４６】
本発明の好ましい実施形態では、エンコーダコーディネータ６は、各カメラ４から受信した符号化されたビデオを用いて、そのシーンのモデルを完成させることで、最適化された符号化パラメータを定義することができる。
【００４７】
符号化パラメータの決定は、変化するシステム条件に適応するために、動的に行っても良いことに留意されたい。
【００４８】
各デバイスは、視点の変化又はデバイスの動きのような、カメラパラメータの変化につながる特定のイベント時に、定期的に（例えば、毎秒）、定義済みのポリシーに基づいて新たな情報のセットを送信すしても良い。
【００４９】
好ましくは、ネットワーク容量情報は、例えばユーザの移動など、容量変化に対応する特定のイベント時に、定期的に（例えば、毎秒）、定義済みのポリシーに基づいてエンコーダコーディネータに送信されても良い。
【産業上の利用可能性】
【００５０】
本発明は１つのシーンを様々な視点から取り込んで、、マルチビュービデオコンテンツを生成するために、複数のビデオソースを用いてマルチビュービデオコンテンツを符号化するためのシステムに適用することができる。本発明は、様々なビデオソースによって生成されたビデオ間の冗長性を除去することによって、マルチビュービデオコンテンツへの各ビデオソースの寄与を最適化することができる。
【符号の説明】
【００５１】
２  シーン
４  移動カメラ
４１  カメラ
４２  カメラ
４３  カメラ
６  エンコーダコーディネータ
８  アンテナ
１０  マルチビューエンコーダ
１２  ビデオエンコーダ
１４  センサモジュール
１６  アクチュエータモジュール
１８  情報収集モジュール
２０  伝送プロトコルモジュール
２４  ネットワークインターフェースモジュール
３０  ネットワークインターフェース
３２  ビデオマルチプレクサモジュール
３４  ポリシールールを含むデータベース
６０  領域
６２  領域
６４  領域
【図２】
2014520409.tif 000003
【図３】
2014520409.tif 000004
【図４】
2014520409.tif 000005
【図５】
2014520409.tif 000006
【図６】
2014520409.tif 000007
【図１】
2014520409.tif 000008
【国際調査報告】
2014520409.tif 000009
2014520409.tif 000010
2014520409.tif 000011