(57)【要約】      （修正有）【課題】１または複数の異なるコンポーネントビデオストリームのうち少なくとも１つが他のものとは独立にデコードされるように、１または複数の異なるコンポーネントビデオストリームを１つのコンテナビデオストリームにコード化することを可能する方法を提供する。【解決手段】２Ｄビデオフレームおよび／または３Ｄビデオフレームの複数のシーケンスから開始することにより、ビデオストリームを生成するビデオストリームジェネレータは、Ｎの異なるソース（Ｓ１、Ｓ２、Ｓ３、ＳＮ）に由来する複数のビデオフレームを１つのコンテナビデオフレームに構成し、エンコーダによりコード化される複数のコンテナビデオフレームの単一の出力ビデオストリームを生成する。当該エンコーダは、複数のコンテナビデオフレームの構造を示すように適合されたシグナリングを当該出力ビデオストリームに入力する。【選択図】図８
2018050327.tif 000002
【特許請求の範囲】
【請求項１】
１または複数の独立したコンポーネント領域からなるデジタルビデオストリームをコード化するための方法であって、
１または複数の独立にデコード可能な領域の存在を示すシグナリングを入力する段階を備え、
前記１または複数の独立したコンポーネント領域と、前記１または複数の独立にデコード可能な領域との間の関連性を示すシグナリングを入力する段階を更に備える、コード化するための方法。
【請求項２】
前記１または複数の独立したコンポーネント領域のコンテンツのタイプを示す記述子を入力する段階を更に備える、請求項１に記載のコード化するための方法。
【請求項３】
前記１または複数の独立にデコード可能な領域の各々は、タイルとしてコード化される、請求項１または２に記載のコード化するための方法。
【請求項４】
利用されるコード化技術は、Ｈ．２６４／ＡＶＣまたはＨＥＶＣである、請求項１または２に記載のコード化するための方法。
【請求項５】
前記１または複数の独立したコンポーネント領域と、前記１または複数の独立にデコード可能な領域との間の前記関連性を示す前記シグナリング、および前記１または複数の独立したコンポーネント領域のコンテンツのタイプを示す記述子は、ＳＥＩメッセージである、請求項１から４のいずれか１項に記載のコード化するための方法。
【請求項６】
前記１または複数の独立したコンポーネント領域と、前記１または複数の独立にデコード可能な領域との間の前記関連性を示す前記シグナリング、および前記１または複数の独立したコンポーネント領域のコンテンツのタイプを示す記述子は、ＳＰＳシグナリングまたはＰＰＳシグナリングに入力される、請求項１から３のいずれか１項に記載のコード化するための方法。
【請求項７】
前記１または複数の独立したコンポーネント領域と、前記１または複数の独立にデコード可能な領域との間の前記関連性を示す前記シグナリングは、ビットマスクからなる、請求項１から６のいずれか１項に記載のコード化するための方法。
【請求項８】
前記デジタルビデオストリームの前記１または複数の独立したコンポーネント領域は、１または複数の独立したビデオストリームを表す、請求項１から７のいずれか１項に記載のコード化するための方法。
【請求項９】
前記１または複数の独立したビデオストリームは、
１または複数の立体ビデオのペア、
複数のビデオストリームおよび複数の奥行きマップ、
フレームパッキング構成フォーマットの１または複数のビデオストリームと、
独立した複数のビデオのモザイクのフォーマットのうち１または複数とを含む、請求項８に記載のコード化するための方法。
【請求項１０】
前記記述子は、
フレームパッキング構成と、
コンテンツの変換タイプと、
ビューＩＤとを記述する１または複数のメタデータを含む、請求項２に記載のコード化するための方法。
【請求項１１】
１または複数の独立したコンポーネント領域からなるデジタルビデオストリームをデコードするための方法であって、
１または複数の独立にデコード可能な領域の存在を示すシグナリングを読み取る段階を備え、
前記１または複数の独立したコンポーネント領域と、前記１または複数の独立にデコード可能な領域との間の関連性を示すシグナリングを読み取る段階と、
前記１または複数の独立にデコード可能な領域の各々のコンテンツのタイプを示す記述子を読み取る段階とのうち少なくとも１つの段階を更に備え、
前記シグナリングまたは前記記述子により示された前記１または複数の独立にデコード可能な領域をデコードすることを選択する段階を更に備える、方法。
【請求項１２】
デコーダは、独自の複数の計算リソースの評価に基づいて前記１または複数の独立にデコード可能な領域を選択する、請求項１１に記載のデコードするための方法。
【請求項１３】
デコードされる前記１または複数の独立にデコード可能な領域は、１つのディスプレイ上における表示のために利用可能にされる、請求項１１に記載のデコードするための方法。
【請求項１４】
デコードされる前記１または複数の独立にデコード可能な領域は、複数の異種デバイス上における表示のために利用可能にされる、請求項１１に記載のデコードするための方法。
【請求項１５】
デコードされる前記１または複数の独立にデコード可能な領域を選択する前記段階は、外部制御信号により決定される、請求項１１から１４のいずれか１項に記載のデコードするための方法。
【請求項１６】
前記制御信号は、１または複数のディスプレイとディスプレイフォーマットについてネゴシエートする処理の結果として自動的に生成される、請求項１５に記載のデコードするための方法。
【請求項１７】
前記制御信号は、ユーザによりディスプレイフォーマットを手動で選択する処理の結果として生成される、請求項１５に記載のデコードするための方法。
【請求項１８】
１または複数の独立したコンポーネント領域からなるデジタルビデオストリームを生成するためのデバイスであって、
複数のコンポーネントビデオストリームを１つのビデオストリームに構成するためのソース構成器と、
請求項１から１０のいずれか１項に記載のコード化するための方法を実装するビデオエンコーダとを備える、デバイス。
【請求項１９】
前記ソース構成器および前記ビデオエンコーダのうち少なくとも１つは、複数のプログラミングコンポーネントとして実装される、請求項１８に記載の生成デバイス。
【請求項２０】
請求項１１から１４のいずれか１項に記載のデコードするための方法を実行する読み取り手段および選択手段を備える、デコードデバイス。
【請求項２１】
請求項２０に記載のデコードデバイスを備え、
デコードされた前記１または複数の独立にデコード可能な領域を表示するべく、自動的に、または手動で選択する手段を更に備える、ビデオストリーム処理デバイス。
【請求項２２】
請求項２１に記載のビデオストリーム処理デバイスを備え、
好適なネゴシエーション処理により、デコードされた前記１または複数の独立にデコード可能な領域のディスプレイフォーマットを選択する手段を更に備える、スマートゲートウェイ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオをコード化およびデコードするための方法に関し、具体的には、ビデオストリームを複数の独立したパーティションにコード化する方法、およびビデオストリームを構成する１または複数のパーティションを独立にデコードするための対応する方法に関する。
【０００２】
また、本発明は、ビデオストリームを複数の独立したパーティションにコード化するためのデバイス、および複数の当該パーティションのうち１または複数を独立にデコードするためのデバイスに関する。
【０００３】
同一のイベント、または複数のマルチメディアサービス（マルチビュービデオ、自由視聴ビデオ）のモザイクの異なる複数のビューを表す複数の独立したビデオストリームをコード化し、配信することは、長らく知られている。通常、そのような複数のマルチビュービデオを複数のユーザに配信することは、生成された複数のビューの数に一致するいくつかの独立したビデオストリームをコード化することを必要とする。
【発明の概要】
【０００４】
この種のコード化およびデコード方法は、例えば、文献「ＩＳＯ／ＩＥＣ１３８１８―１：２０００（Ｅ）―Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ―Ｇｅｎｅｒｉｃ  ｃｏｄｉｎｇ  ｏｆ  ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅｓ  ａｎｄ  ａｓｓｏｃｉａｔｅｄ  ａｕｄｉｏ  ｉｎｆｏｒｍａｔｉｏｎ：Ｓｙｓｔｅｍｓ」、または文献「ＩＳＯ／ＩＥＣ１４４９６―１０  Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ―Ｃｏｄｉｎｇ  ｏｆ  ａｕｄｉｏ―ｖｉｓｕａｌ  ｏｂｊｅｃｔｓ  Ｐａｒｔ  １０：Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ」、ならびに以下にＨ．２６４／ＡＶＣ仕様と呼ばれる、対応する文献「ＩＴＵ―Ｔ  Ｈ．２６４―Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ」に記載されている。
【０００５】
現在、用いる複数のコード化するための方法は、配信されるビデオコンポーネントの数に等しいいくつかのビデオエンコーダを用いる必要性、配信される複数のビデオストリーム間、ならびに複数のビデオストリームと対応するオーディオストリームとの間の困難な相互同期化、独立した各ストリームをデコードするのに必要とされる類似の複数のシグナリング要素を複製する必要に起因して複数のビデオストリームを移送するのに必要とされる増大した帯域等、いくつかの欠点を有する。
【０００６】
一方、対応する複数のデコード方法は、送信される２またはそれより多いビューをデコードおよび表示するための複数のデコーダを用いることを必要とし、ユーザ端末アーキテクチャのより高まる複雑性およびコストをもたらす。
【０００７】
例えば、いわゆる「モザイク」サービスの場合のように、複数の独立したビューを配信するべく、１つのビデオストリームが用いられ得ることが知られている。１つのフレームは、複数の独立したビデオから抽出され、１つの画像に構成されたｎのフレーム、または１つのフレームに構成された３Ｄの立体的ペアの２つのコンポーネントビデオにより構成される（いわゆる「フレームパッキング構成」または「フレーム互換性フォーマット」）。通常、そのような複数の複合ビデオは、例えば、ＭＰＥＧ‐２、Ｈ．２６４／ＡＶＣ、ＨＥＶＣ等の利用可能な複数の圧縮技術のうちいずれか１つを用いることにより、圧縮される。そのような複数の圧縮技術は、仕様に準拠したデコーダが複数のコンポーネントビデオストリームのうち１または複数を独立にデコードすることを可能にするツールを提供しない。２Ｄデコーダがデコード済みビデオから立体的ペアの２つのコンポーネントビューのうち、１つのみを抽出することを可能にする複数の方法が開発されているが、これらの方法は、コンテナフレーム全体がデコードされると、デコーダが２つのビューのうち１つのみを含むフレーム区域を切断して表示することを可能にする、好適なシグナリングを用いることに依存する。
【０００８】
現在、デコーダが（ユーザ選択により、または限られた計算もしくはストレージリソースに起因して）フレーム全体のうち選択されたサブセットのみをデコードすることを可能にするように、ビデオをコード化することは、不可能である。例えば、立体的ペアを構成する双方の画像に注意を払わない２Ｄデコーダが、２つのビューのうち１つ（例えば、左側）に対応する領域のみをデコードして表示し得るように、上記の複数のフレームパッキング構成のうち１つを含むビデオをコード化することは可能ではない。
【０００９】
これは、計算およびエネルギーリソースを浪費することを暗示する。この問題は、複数の計算リソースの過度な利用がバッテリ寿命を劇的に短くし得るモバイル端末の分野において特に意識されていることに留意されたい。
【００１０】
更に、デコーダは、必ずしも均一な特性を有しない１または複数のディスプレイが接続され得る、セットトップボックスまたはスマートゲートウェイ等のデバイスにおいて用いられることがある。例えば、コード化済みビデオストリームを配信ネットワーク（例えば、ＩＰネットワークまたはブロードキャスティングネットワーク）から受信し、またはストレージデバイスからのストリームを読み取るスマートゲートウェイの場合を検討されたい。当該スマートゲートウェイには、異なる複数の特性を有し得る複数のディスプレイ（例えば、ＨＤディスプレイまたはタブレット）が、複数のケーブルおよび／または無線接続を介して接続され得る。そのような場合、デコーダは、デコード済みビデオをサポートされるディスプレイの複数の特性に適合させることができるべきである。デコード済みビデオよりも低い解像度を有する１つのディスプレイのみがデコーダに接続される場合、後者は、関係する端末に最も妥当なビデオの当該部分のみをデコードすることができるべきである。
【００１１】
更に、現在の複数の技術は、（上記の立体的ペアの例におけるように）複数のコンポーネントビデオストリームのうち１つを自動的に識別することを可能にするのみであり、従って、追加の１または複数のコンポーネントビデオストリームの存在をデコーダに明確に示すことは不可能である。  従って、より少ないリソースを有するデコーダに「既定の」選択肢が強制され、複数の代替的コンテンツの存在を示すことができない。
【００１２】
更に、デコード処理中に複数の計算リソースの利用を調整することを可能にすることに加えて、１つのビデオストリームをコード化する可能性が、異なる複数のサービスモデルに応じて、ストレージおよび複数の計算リソースに関する異なる利用可能性を特徴とする複数の端末をサポートするべく、１つのビデオストリームをコード化することも可能にする。例えば、複数の４ＨＤビデオの構成（１９２０Ｘ１０８０ピクセル）を１つの４ｋ（３８４０Ｘ２１６０ピクセル）のビデオストリームとしてコード化することが考えられる。そのようなビデオについては、限られた計算リソースを有するデコーダは、複数のＨＤコンポーネントのうち１つのみを含むサブセットをデコードし得るであろう。あるいは、より強力なデコーダは、４Ｋビデオ全体をデコードし、例えば、複数のコンテンツのモザイク全体を表示し得るであろう。
【００１３】
本発明の１つの目的は、１または複数の異なるコンポーネントビデオストリームのうち少なくとも１つが他のものとは独立にデコードされ得るように、１または複数の異なるコンポーネントビデオストリームを１つのコンテナビデオストリームにコード化することを可能するコード化するための方法を規定することである。
【００１４】
本発明の別の目的は、１または複数のコンポーネントビデオストリームが１つのデコーダを用いることにより１つのコンテナビデオストリームから独立にデコードされることを可能にするデコード方法を特定することである。
【００１５】
本発明の更なる目的は、１または複数のコンポーネントビデオストリームが独立にデコードされることを可能にするように、複数のコンポーネントビデオストリームからなるコンテナビデオストリームをコード化するエンコーダを提供することである。
【００１６】
本発明のなおも別の目的は、１つのコンテナビデオストリームとしてコード化された複数のコンポーネントビデオストリームのうち少なくとも１つを独立にデコードするデコーダを提供することである。
【００１７】
本発明のこれらおよび更なる態様は、添付の図面を参照して、いくつかの実施形態を図示する以下の説明からより明らかになるであろう。
【図面の簡単な説明】
【００１８】
【図１】Ｈ．２６４／ＡＶＣ仕様による、複数のマクロブロック（「スライス」）のグループに符号分割される画像を示す。
【図２】ＨＥＶＣ仕様による、「タイル」に符号分割される画像を示す。
【図３】４つの独立した２Ｄビデオストリームを１つのビデオストリームに構成する一例を示す。
【図４】複数の２Ｄビデオペアの形態の２つの独立した立体ビデオストリームを１つのビデオストリームに構成することを示す。
【図５】１つのビデオストリームとしてコード化された立体的ペアを構成する２つの画像のうち１つを選択的にデコードするための処理を示す。
【図６】立体ビデオストリームおよび関連する複数の奥行きマップを１つのコンテナビデオストリームに構成することを示す。
【図７】２Ｄビデオストリームおよび立体ビデオストリームを１つのコンテナビデオストリームに構成することを示す。
【図８】ｎの独立したビデオストリームの構成により生成されたビデオストリームを構成およびコード化するための処理のブロック図である。
【図９】図８において説明されたコード化装置により生成されたビデオストリームをデコードするための方法の一例を示す。
【図１０】図８によるコード化装置により生成されたビデオストリームをデコードするための更なる方法を示す。
【図１１Ａ】立体ビデオストリームの２つのビューを１つのコンテナビデオストリームに構成することを示す。
【図１１Ｂ】立体ビデオストリームの２つのビューを１つのコンテナビデオストリームに構成することを示す。
【図１２】コード化済みビデオストリームに入力されるシグナリングの構造を説明する表である。
【図１３】図１２の構造のパラメータの複数の可能な値を含む表である。
【図１４Ａ】図１２のシグナリングを入力するのに必要とされる、ＨＥＶＣ規格のＰＰＳの構文に対する複数の変更を伴う表を示す。
【図１４Ｂ】図１２のシグナリングを入力するのに必要とされる、ＨＥＶＣ規格のＰＰＳの構文に対する複数の変更を伴う表を示す。
【図１４Ｃ】図１２のシグナリングを入力するのに必要とされる、ＨＥＶＣ規格のＰＰＳの構文に対する複数の変更を伴う表を示す。
【図１４Ｄ】図１２のシグナリングを入力するのに必要とされる、ＨＥＶＣ規格のＰＰＳの構文に対する複数の変更を伴う表を示す。
【図１５Ａ】図１２のシグナリングを入力するのに必要とされるＨＥＶＣ規格のＳＰＳの構文に対する変更を伴う表を示す。
【図１５Ｂ】図１２のシグナリングを入力するのに必要とされるＨＥＶＣ規格のＳＰＳの構文に対する変更を伴う表を示す。
【図１５Ｃ】図１２のシグナリングを入力するのに必要とされるＨＥＶＣ規格のＳＰＳの構文に対する変更を伴う表を示す。
【図１５Ｄ】図１２のシグナリングを入力するのに必要とされるＨＥＶＣ規格のＳＰＳの構文に対する変更を伴う表を示す。
【図１５Ｅ】図１２のシグナリングを入力するのに必要とされるＨＥＶＣ規格のＳＰＳの構文に対する変更を伴う表を示す。
【図１５Ｆ】図１２のシグナリングを入力するのに必要とされるＨＥＶＣ規格のＳＰＳの構文に対する変更を伴う表を示す。
【発明を実施するための形態】
【００１９】
既存の複数のビデオコード化規格、ならびに現在規定されようとしているものは、コード化およびデコード処理を最適化する目的のために複数のデジタルビデオストリームを構成する、複数の画像を分割する可能性を提供する。図１に示されるように、Ｈ．２６４／ＡＶＣ仕様は、複数のマクロブロックのグループを作成することを可能にし、コード化される複数の画像は、スライスと呼ばれる複数の異なるタイプのグループに細分化され、次にスライスは、互いに独立にコード化される。例えば、「タイプ２」と呼ばれる細分化に関して図１に示されるように、複数のマクロブロックは、コード化済みビデオの質が、任意の「対象の領域」の位置の関数として選択的に変化することを可能にするように、任意の形状を有する複数のスライスにグループ化され得る。
【００２０】
これに代えて、図２は、「タイル」と呼ばれる新しいタイプの画像の細分化を示す。タイルは、新しいＩＴＵ／ＩＳＯ／ＩＥＣ  ＨＥＶＣ（高能率ビデオコード化）規格の仕様に導入されている。このタイプの細分化は、ビデオストリームコード化およびデコード処理の並列化を可能とするべく、Ｈ．２６４／ＡＶＣ仕様において既に既存するスライス構造に基づいて導入された。現在では電話およびＰＣタブレット等のモバイル端末上においても利用可能な並列グラフィックプロセッサ（いわゆるＧＰＵ、グラフィック処理ユニット）の更なる普及およびより低コストにより、複数の画像フォーマットが通常は限られた計算リソースを有する端末上でも非常に高い解像度を得ることを可能にする並列化サポートツールの導入を促進した。
【００２１】
ＨＥＶＣ仕様は、ビデオストリームを構成する複数の画像が複数の領域にセグメント化され、相互に独立にデコードすることを可能にするようにタイルを規定している。しかし、デコード処理は、たとえ並列化されても、いまだに専ら画像全体に対して実行され、複数のセグメントは、互いに独立に用いることができない。
【００２２】
上記の段落で前述したように、異なる複数の端末が自動的に、またはユーザから受信した複数の命令により、ビデオのどの部分がデコードされ、視覚化用ディスプレイに送信されるべきかを決定し得るように、ビデオストリームを分割し得ることは、有用であろう。
【００２３】
図３、図４、図６、および図７は、この種の分割が有用であることを示し得る異なる複数の利用シナリオを図示する。
【００２４】
図３は、例えば、４Ｋ（３８４０Ｘ２１６０ピクセル）フォーマットであり、４つの独立したＨＤ（１９２０Ｘ１０８０ピクセル）のビデオを含み得る、コンテナビデオストリームを示す。４Ｋデコーダで装備されるユーザは、ビデオ全体をデコードおよび表示し得るが、あまり強力でないデコーダで装備されるユーザは、一回の１つのＨＤストリームに対するデコードを制限することがある。
【００２５】
図４は、２つの立体ビデオストリーム（２つの独立した左および右のビデオのペアの形態）のうち１つのコンテナビデオストリームが、例えば、同一のイベントの２つの異なる立体ビューを表す場合の移送を示す。同一のイベントの２つの異なる立体ビューから、ユーザは、フレーム全体を必ずしもデコードすることを要することなく（エネルギー消費に関する明らかな暗示）好ましいビューを選択し得る。
【００２６】
図５は、立体ビデオおよび関連する複数の奥行きマップを１つのビデオストリームに構成することを示す。この場合、立体テレビ受像機のデコーダは、画像の上半分に位置する立体的ペアの２つの画像に関する部分のみをデコードし得る。従って下部分は、デコードされない。これに代えて、周知の２Ｄ＋Ｚ技術（１つの画像に関連する奥行きマップを加える、複数の合成ビューの構成）を用いる自動立体テレビ受像機のデコーダは、例えば、画像の左半分のみをデコードし得るが、より高性能の自動立体デコーダのデコーダは、双方のビューおよび双方の奥行きマップを用いて、複数の中間的ビューを合成し得る。
【００２７】
図７は、画像の上半分に位置し、サイドバイサイドフォーマットの対応する立体ビューは、下部領域に位置するデュアル解像度の２Ｄビデオ（例えば、２１：９のフォーマットの表示用）の構成を示す。
【００２８】
ＨＥＶＣ仕様において記載されるタイル構造は、デコーダが、コンテナビデオにより移送されるコンテンツを適切に認識してデコードすることを可能にするには十分でない。この問題は、どのコンテンツが、独立にデコード可能な複数の領域の各々に移送され、それを適切にデコードおよび表示するべく、どのように続行するかを説明するシグナリングの好適なレベルを入力することにより解決され得る。
【００２９】
少なくとも２つの異なるシナリオが、予見され得る。第１のシナリオにおいては、１つのコンテンツと、画像が分解された複数のタイルのうち少なくとも１つとの間の関連性、およびコヒーレントビデオストリームへの可能な再構築を示すことが必要である（例えば、図１１Ａに示されるように、立体ビデオストリームは、２つのタイルに細分化され得るが、２Ｄデコーダは、１つのタイルをデコードする可能性ついて通知されなければならず、他方で３Ｄデコーダは、いずれの特定の戦略も採用せず、ストリーム全体をデコードすることがある）。これに代えて、第２のシナリオにおいては、１つのコンテンツと、画像が分解された複数のタイルの各々との間の関連性、およびコヒーレントビデオストリームへの可能な再構築が示される（例えば、立体ビデオストリームは、２つのタイルに細分化され得るが、２Ｄデコーダは、１つのタイルをデコードする可能性ついて通知されなければならず、他方で３Ｄデコーダは、ストリーム全体をデコードする必要性ついて通知されなければならない）。
【００３０】
提案される解決法は、複数のタイル、１または複数の特定の特性のうち少なくとも１つを示す記述子を入力することを提供する。例えば、コンテンツが２Ｄのものである場合、または立体コンテンツの場合には、そのフレームパッキング構成のタイプをシグナリングすることが可能でなければならない。更に、タイル間のあらゆる「関係」（統合デコードおよび／または表示）、ビュー識別子（例えば、マルチビューコンテンツの場合に用いられる）、および問題のビューが、立体的ペアの右側のビューもしくは左側のビューか、または奥行きマップかを記述するメッセージを示すことが所望である。
【００３１】
例として、解決法は、図１２の表に擬似コードとして図示されている。表は、Ｈ．２６４／ＡＶＣ仕様およびＨＥＶＣ仕様において既に利用されている複数のデータ構造体を用いることにより、コード化済みビデオストリームに入力されるシグナリングの構造を記述する。それにもかかわらず、デコーダが適切にデコードすることを可能にするように、１または複数のタイルのコンテンツが記述されることを可能にする、複数の類似シグナリング構造を採用することは、可能である。
【００３２】
frame_packing_arrangement_typeは、例えば、ＭＰＥＧ２、Ｈ．２６４／ＡＶＣ、またはＳＭＰＴＥ仕様において一般に用いられる複数の値に対応し得るインデックスであり、そのカタログは、現在、知られており、また複数の立体ビデオフォーマットにおいて用いられている。
【００３３】
Tile_content_relationship_bitmaskは、各タイルについて、コード化済みビデオストリームが細分化された他の複数のタイルとの関連性を一義的に記述するビットマスクである。
【００３４】
content_interpretation_typeは、各タイルのコンテンツを変換するのに必要な情報を提供する。一例が図１３の表に特定されている。
【００３５】
２Ｄデコーダにより１つのビューのみをデコードすることを確実にするべく、立体ビデオが２つのタイルとしてコード化される上記の場合を参照すると、以下の情報は、タイル０に関連するであろう。
frame_packing_arrangement_type[0] = 3
tile_content_relationship_bitmask[0] = 11
view_id[0] = 0
content_interpretation_type[0] = 2
【００３６】
このタイプのシグナリングは、例えば、クロップ矩形等、他の複数のツールと一緒に、またはこれらに代えて用いられ得ることに留意されたい。好適なメタデータによりシグナリングされる矩形内のデコード済みフレームの一部をクロップすることが必須のクロップ矩形技術は、１つのフレームに入力される立体的ペアを必要とする複数のフレームパッキング構成のうちの１つの形態の立体ビデオストリームを「３Ｄ互換性のある」ものにするべく、既に一般に用いられている。図１１Ｂは、例えば、左側のビュー（図の灰色のもの）のみがクロップ矩形に含まれる、いわゆる「サイドバイサイド」のフレームパッキング構成を含むフレームを図示する。タイル分割を用いずに、２Ｄデコーダは、フレーム全体をデコードし、次にクロップを適用し、右側のビュー（図１１Ｂの白いもの）を破棄するはずである。本発明の方法を用いることにより、２つのビューをコード化し、別個のタイルとしてシグナリングすることが可能となり、それにより、２Ｄデコーダがクロップ矩形を含む区域のみをデコードすることを可能にする。
【００３７】
図４に示されるように、例えば、ビデオストリームが４つのタイルに分割されると仮定して、複数のタイル間の関係は、以下の複数の値により記述される。
frame_packing_arrangement_type[0] = 3
frame_packing_arrangement_type[1] = 3
frame_packing_arrangement_type[2] = 3
frame_packing_arrangement_type[3] = 3
tile_content_relationship_bitmask[0] = 1100
tile_content_relationship_bitmask[1] = 1100
tile_content_relationship_bitmask[2] = 0011
tile_content_relationship_bitmask[3] = 0011
view_id[0] = 0
view_id[1] = 0
view_id[2] = 1
view_id[3] = 1
content_interpretation_type[0] = 2
content_interpretation_type[1] = 1
content_interpretation_type[2] = 2
content_interpretation_type[3] = 1
【００３８】
このシグナリングは、タイル０および１が（frame_packing_arrangement_type = 3）とサイドバイサイドの同一の３Ｄビデオコンテンツ（tile_content_relationship_bitmask = 1100）に属することをデコーダに示す。tile_content_relationship_bitmaskの値は、デコーダが、２つのビュー（双方のタイルについてtile view_id = 0であるので、同一の立体的ペアに属する）が異なる複数のタイルに含まれる（よって、この場合に完全な解像度）ことを知ることを可能にする。content_interpretation_typeは、タイル０が左側のビューに対応するが、タイル１は、右側のビューに対応することを理解することを可能にする。  同一の考慮は、タイル１および２に適用される。
【００３９】
これに代えて、図６の構成は、以下のシグナリングにより記述される。
frame_packing_arrangement_type[0] = 3
frame_packing_arrangement_type[1] = 3
frame_packing_arrangement_type[2] = 6
frame_packing_arrangement_type[3] = 6
tile_content_relationship_bitmask[0] = 1111
tile_content_relationship_bitmask[1] = 1111
tile_content_relationship_bitmask[2] = 1010
tile_content_relationship_bitmask[3] = 0101
view_id[0] = 1
view_id[1] = 1
content_interpretation_type[0] = 2
content_interpretation_type[1] = 1
content_interpretation_type[2] = 5
content_interpretation_type[3] = 5
【００４０】
図４と異なり、タイル０および１に対するtile_content_relationship_bitmask isは、１１１１である。これは、全てのタイル間に関係が存在することを意味する。具体的には、タイル２および３は、タイル０（tile_content_relationship_bitmask = 1010）およびタイル１（tile_content_relationship_bitmask = 0101）にそれぞれ関連する奥行きマップ（content_interpretation_type = 5）を含む、２Ｄコンテンツ（frame_packing_arrangement_type = 6）である。
【００４１】
ＨＥＶＣ仕様の構文において、このタイプのシグナリングは、ＳＥＩ（補足エンハンスメント情報）メッセージ、すなわち、基本的なコード化およびデコードのメカニズムを変更することなく、デコードのみならず、次の視覚化処理にも関する、追加の複数の関数の構成を可能にするアプリケーション情報として容易にコード化され得る。代替形態として、同一のシグナリングは、フレームに対応するデータセットをデコードするのに必要な情報を含む構文要素である、ピクチャパラメータセット（ＰＰＳ）に入力され得る。図１４Ａ〜図１４Ｄの表は、上記のシグナリングを入力するべく、ＨＥＶＣ規格のＰＰＳの構文にする必要がある擬似コードの形態の、太字で強調表示された複数の変更形態を含む。
【００４２】
連続するシーケンスのフレームに対応するデータセットをデコードするのに必要な情報を含む構文要素である、シーケンスパラメータセット（ＳＰＳ）にシグナリングを入力するべく、更なる一般化が提供され得る。
【００４３】
図１５Ａ〜図１５Ｆの表は、上記のシグナリングを入力するべく、ＨＥＶＣのＳＰＳの構文にする必要がある擬似コードの形態の、太字で強調表示された複数の変更形態を含み、multiservice_flagは、各タイル内の複数のサービスの存在ついて通知する変数であり、num_tileは、１つのフレーム内のタイルの数である。
【００４４】
図５は、選択的なタイルデコード処理を図示する。ビデオストリームは、１ペアの立体ビューを含み、２つの別個のタイルにコード化される。
【００４５】
後者は、図４のコンテンツを表すべく用いられる、同一のシグナリングにより記述される（しかし、この場合、タイルの総数は２である）。
【００４６】
図８は、本発明のコード化技術を実装し得る、装置または装置のグループのブロック図である。ＮのビデオコンテンツＳ１〜ＳＮは、「ソース構成器」に入力される。「ソース構成器」は、別個のコンポーネントであってもよく、または好適なエンコーダの入力ステージとして統合されてもよい。ソース構成器は、Ｎのコンポーネントビデオストリームを移送し、次にそれをエンコーダに対して出力するコンテナビデオストリームを構成する。ソース構成器は、複数のコンポーネントビデオストリームのフォーマットおよびコンテナビデオストリーム内でのその位置をエンコーダに記述するのに必要とされるシグナリングを任意選択で追加してもよい。
【００４７】
エンコーダは、コンテナビデオストリームを受信し、１つのコンポーネントビデオストリームの構造上にマッピングするように複数のタイルを構築し、複数のタイル、複数のコンポーネントビデオストリームの構造、およびその関係を記述するシグナリングを生成し、コンテナビデオストリームを圧縮する。「ソース構成器」が複数のコンポーネントビデオストリームを記述するシグナリングを自動的に生成しない場合、エンコーダは、オペレータにより手動でプログラミングされ得る。次に、エンコーダにより出力される圧縮済みビデオストリームは、異なるやり方、すなわち、デコーダおよび／もしくはそれが接続されるディスプレイの複数の機能特性、および／または計算リソースに応じて、複数の独立した部分を選択することによりデコードされ得る。各コンポーネントビデオストリームのオーディオは、移送のために採用されたシステム層部分の仕様に従って移送され得る。
【００４８】
２Ｄデコーダは、ビットストリームを解析し、２つのビューを含む２つのタイルのシグナリングを発見し、１つのタイルをデコードすることを決定し、２Ｄディスプレイと互換性のある１つの画像のみを表示する。これに代えて、３Ｄデコーダは、双方のタイルをデコードし、３Ｄディスプレイ上で立体視覚化を続行する。
【００４９】
同様に、図９は、ディスプレイに接続されると、表示されるビデオの複数の特性（例えば、解像度）についてネゴシエートし、それに応じて、ビデオストリームのどの部分がデコードされるべきかを自主的に決定する、デコーダを示す。この決定は、ユーザが手動で介在することによっても指示され得る。例えば、送信されるビデオが２つのタイルにコード化された立体ビデオであり、たとえ３Ｄテレビ受像機で装備されていても、ユーザがやはり当該コンテンツを２Ｄフォーマットで見ることを希望すると仮定する場合（そのような決定は、特定のリモートコントロールキーを押すことにより明らかになり得る）、デコーダは、自動的に採用したものとは異なるデコード戦略を採用し、一方でテレビ受像機と最良のディスプレイフォーマットについてネゴシエートし得る。
【００５０】
これに代えて、図１０は、デコーダがコード化されたストリームを受信するゲートウェイ内に位置し、異種の複数の端末をサポートしなければならず、ビデオコンテンツの異なる複数のフォーマットをサポートする可能性を特徴とする場合を示す（例えば、いくつかのデバイスは、複数の立体コンテンツを表示する能力を有し得るが、同時に、他のデバイスは、２Ｄディスプレイのみを有することがある）。ゲートウェイは、各デバイスと自動的にネゴシエートし、または各デバイスから複数の構成命令を受信し、次に、要求している各デバイスの複数の特性に適合させるように、入力コンテンツの１または複数の部分をデコードする。
【００５１】
従って、本発明は、２Ｄビデオフレームおよび／または３Ｄビデオフレームの複数のシーケンスから開始することによりビデオストリームを生成するための方法に関し、ビデオストリームジェネレータが、Ｎの異なるソースＳ１、Ｓ２、Ｓ３、ＳＮに由来する複数のビデオフレームを１つのコンテナビデオフレームに構成する。次に、エンコーダが、複数のコンテナビデオフレームの構造を示すように適合されたシグナリングに入力することにより、複数のコンテナビデオフレームの単一の出力ビデオストリームをコード化する。
【００５２】
また、本発明は、各々が、Ｎの異なるソースＳ１、Ｓ２、Ｓ３、ＳＮに由来する複数の２Ｄビデオフレームおよび／または３Ｄビデオフレームを含む、複数のコンテナフレームのシーケンスを有するビデオストリームを再生するための方法に関する。デコーダは、複数のコンテナビデオフレームの構造を示すように適合されたシグナリングを読み取り、複数のビデオフレームのうち少なくとも１つまたは複数のビデオフレームのサブセットを抽出し、表示用に選択された複数のビデオストリームの２Ｄビデオフレームおよび／または３Ｄビデオフレームのうち当該複数のビデオフレームを含む複数のコンテナビデオフレームのうち当該複数の部分のみをデコードすることにより、複数のビデオストリームを再生する。
【図１】
2018050327.tif 000003
【図２】
2018050327.tif 000004
【図３】
2018050327.tif 000005
【図４】
2018050327.tif 000006
【図５】
2018050327.tif 000007
【図６】
2018050327.tif 000008
【図７】
2018050327.tif 000009
【図８】
2018050327.tif 000010
【図９】
2018050327.tif 000011
【図１０】
2018050327.tif 000012
【図１１Ａ】
2018050327.tif 000013
【図１１Ｂ】
2018050327.tif 000014
【図１２】
2018050327.tif 000015
【図１３】
2018050327.tif 000016
【図１４Ａ】
2018050327.tif 000017
【図１４Ｂ】
2018050327.tif 000018
【図１４Ｃ】
2018050327.tif 000019
【図１４Ｄ】
2018050327.tif 000020
【図１５Ａ】
2018050327.tif 000021
【図１５Ｂ】
2018050327.tif 000022
【図１５Ｃ】
2018050327.tif 000023
【図１５Ｄ】
2018050327.tif 000024
【図１５Ｅ】
2018050327.tif 000025
【図１５Ｆ】
2018050327.tif 000026
【手続補正書】
【提出日】平成29年11月20日(2017.11.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
シグナリングデコーダ及びビデオデータデコーダを備えるビデオデコーダにおいて、３またはそれより多い独立したコンポーネント領域を含むエンコードされたデジタルビデオストリームをデコードするための方法であって、
前記シグナリングデコーダが、３またはそれより多い独立にデコード可能な領域の存在を示す信号を読み取る段階と、
前記シグナリングデコーダが、前記３またはそれより多い独立したコンポーネント領域の各々と、前記３またはそれより多い独立にデコード可能な領域の各々との間の関連性を示す、前記デジタルビデオストリームに含まれるシグナリングを読み取る段階であって、前記３またはそれより多い独立したコンポーネント領域は複数のビデオソースに由来し、前記３またはそれより多い独立したコンポーネント領域のいずれかは、一義的な記述により前記３またはそれより多い独立にデコード可能な領域のいずれかに関連付けられ得る、段階と、
前記シグナリングデコーダが、前記３またはそれより多い独立にデコード可能な領域の各々のコンテンツのタイプを示す、前記デジタルビデオストリームに含まれる記述子を読み取る段階と、
前記シグナリングまたは前記記述子により示された前記３またはそれより多い独立にデコード可能な領域のセットをデコードすることを選択する段階と、
前記ビデオデコーダにより前記選択された独立にデコード可能な領域のセットをデコードして、前記ビデオデータデコーダにより取得された前記デコードされたビデオストリームを表示するために出力する段階と
を備える、方法。
【請求項２】
前記ビデオデコーダは、独自の複数の計算リソースの評価に基づいて３またはそれより多い独立にデコード可能な領域のうちの１または複数を選択する、請求項１に記載の方法。
【請求項３】
前記３またはそれより多い独立にデコード可能な領域のうちの１または複数は、１つのディスプレイ上の表示のために利用可能にされる、請求項１または２に記載の方法。
【請求項４】
前記３またはそれより多い独立にデコード可能な領域のうちの１または複数は、複数の異種デバイス上の表示のために利用可能にされる、請求項１から３のいずれか１項に記載の方法。
【請求項５】
デコードされる前記３またはそれより多い独立にデコード可能な領域のセットの選択は、前記ビデオデコーダに関連し、前記ビデオデコーダによりデコードされたビデオデータを表示するように構成されるディスプレイデバイスとの自動的なネゴシエーションに基づいて決定される、請求項１から４のいずれか１項に記載の方法。
【請求項６】
デコードされる前記３またはそれより多い独立にデコード可能な領域のセットの選択は、前記ビデオデコーダ又は前記ビデオデコーダに関連するディスプレイデバイスに関連するリモートコントロールデバイスを用いて実行されるユーザによる前記ディスプレイデバイス上のディスプレイフォーマットの手動選択に基づいて決定される、請求項１から４のいずれか１項に記載の方法。
【請求項７】
前記３またはそれより多い独立したコンポーネント領域と、前記３またはそれより多い独立にデコード可能な領域との間の関連性を示す前記シグナリング、および前記３またはそれより多い独立したコンポーネント領域のコンテンツのタイプを示す前記記述子は、ＳＥＩメッセージから読み取られる、請求項１から６のいずれか１項に記載のデコードするための方法。
【請求項８】
前記３またはそれより多い独立したコンポーネント領域と、前記３またはそれより多い独立にデコード可能な領域との間の前記関連性を示す前記シグナリング、および前記３またはそれより多い独立したコンポーネント領域のコンテンツのタイプを示す前記記述子は、ＳＰＳシグナリングまたはＰＰＳシグナリングから読み取られる、請求項１から６のいずれか１項に記載のデコードするための方法。
【請求項９】
前記デジタルビデオストリームの前記３またはそれより多い独立したコンポーネント領域は、１または複数の独立したビデオストリームを表す、請求項１から８のいずれか１項に記載のデコードするための方法。
【請求項１０】
前記１または複数の独立したビデオストリームは、
１または複数の立体ビデオのペア、
複数のビデオストリームおよび複数の奥行きマップ、
フレームパッキング構成フォーマットの１または複数のビデオストリーム、および
独立した複数のビデオのモザイク
のフォーマットのうち１または複数とを含む、請求項９に記載のデコードするための方法。
【請求項１１】
前記記述子は、
フレームパッキング構成と、
コンテンツの変換タイプと、
ビューＩＤと
を記述する１または複数のメタデータを含む、請求項１に記載のデコードするための方法。
【請求項１２】
３またはそれより多い独立したコンポーネント領域を含むデジタルビデオストリームをデコードし、３またはそれより多い独立にデコード可能な領域の存在を示す信号を読み取るように構成されるデコードデバイスであって、
前記３またはそれより多い独立したコンポーネント領域と、前記３またはそれより多い独立にデコード可能な領域との間の関連性を示す、前記デジタルビデオストリームに含まれるシグナリングを読み取るように構成され、かつ、前記３またはそれより多い独立にデコード可能な領域の各々のコンテンツのタイプを示す、前記デジタルビデオストリームに含まれる記述子を読み取るように構成されるシグナリングデコーダであって、前記３またはそれより多い独立したコンポーネント領域は複数のビデオソースに由来し、前記３またはそれより多い独立したコンポーネント領域のいずれかは、一義的な記述により前記３またはそれより多い独立にデコード可能な領域のうちのいずれかと関連付けられ得る、シグナリングデコーダと、
デコード方法に従って、前記デジタルビデオストリームに含まれるビデオデータをデコードするように構成されるビデオデータデコーダと、
前記シグナリングより、または、前記記述子により示される前記３またはそれより多い独立にデコード可能な領域のセットを前記ビデオデータデコーダによりデコードするために選択するように構成される選択ユニットと、
と備え、
前記ビデオデータデコーダは、前記選択ユニットにより選択された独立にデコード可能な領域の前記セットをデコードして、選択された独立にデコード可能な領域の前記セットを有するデコードされたデジタルビデオストリームを出力する、デバイス。
【請求項１３】
前記ビデオデータデコーダは、独自の複数の計算リソースの評価に基づいて３またはそれより多い独立にデコード可能な領域のうちの１または複数を選択する、請求項１２に記載のデバイス。
【請求項１４】
前記３またはそれより多い独立にデコード可能な領域のうちの１または複数は、１つのディスプレイ上の表示のために利用可能にされる、請求項１２または１３に記載のデバイス。
【請求項１５】
前記３またはそれより多い独立にデコード可能な領域のうちの１または複数は、複数の異種デバイス上の表示のために利用可能にされる、請求項１２から１４のいずれか１項に記載のデバイス。
【請求項１６】
デコードされる前記３またはそれより多い独立にデコード可能な領域のセットの選択は、前記デコードデバイスに関連するディスプレイデバイスとの自動的なネゴシエーションに基づいて決定され、前記デコードデバイスによりデコードされた前記ビデオデータを表示するように構成される請求項１２から１４のいずれか１項に記載のデバイス。
【請求項１７】
デコードされる前記３またはそれより多い独立にデコード可能な領域のセットの選択は、前記デコードデバイス又は前記デコードデバイスに関連するディスプレイデバイスに関連するリモートコントロールデバイスを用いて実行されるユーザによる前記ディスプレイデバイス上のディスプレイフォーマットの手動選択に基づいて決定される、請求項１２から１４のいずれか１項に記載のデバイス。
【請求項１８】
前記３またはそれより多い独立したコンポーネント領域と、前記３またはそれより多い独立にデコード可能な領域との間の関連性を示す前記シグナリング、および前記３またはそれより多い独立したコンポーネント領域のコンテンツのタイプを示す前記記述子は、ＳＥＩメッセージから読み取られる、請求項１２から１７のいずれか１項に記載のデバイス。
【請求項１９】
前記３またはそれより多い独立したコンポーネント領域と、前記３またはそれより多い独立にデコード可能な領域との間の前記関連性を示す前記シグナリング、および前記３またはそれより多い独立したコンポーネント領域のコンテンツのタイプを示す前記記述子は、ＳＰＳシグナリングまたはＰＰＳシグナリングから読み取られる、請求項１２から１８のいずれか１項に記載のデバイス。
【請求項２０】
前記デジタルビデオストリームの前記３またはそれより多い独立したコンポーネント領域は、１または複数の独立したビデオストリームを表す、請求項１２から１９のいずれか１項に記載のデバイス。
【請求項２１】
請求項１２から１５のいずれか１項に記載のデコードデバイスを備え、
前記３またはそれより多い独立にデコード可能な領域のうちの１または複数を表示するべく、自動的に、または手動で選択する手段を更に備える、ビデオストリーム処理デバイス。
【請求項２２】
請求項２１に記載のビデオストリーム処理デバイスを備え、
好適なネゴシエーション処理により、前記３またはそれより多い独立にデコード可能な領域のうちの１または複数についてのディスプレイフォーマットを選択する選択手段を更に備える、スマートゲートウェイ。
【外国語明細書】
2018050327000001.pdf