(57)【要約】【課題】動き制約タイルセットＳＥＩメッセージの拡張が、全てのタイルが独立して復号可能である旨を伝える機能、及びＲＯＩ当たり複数のタイルを有することができるＲＯＩを伝える機能を提供する。【解決手段】復号装置は、画像の特定領域に含まれるすべての動き制約タイルセットの境界が復号処理の目的でピクチャ境界として処理される場合に特定領域に含まれるすべての動き制約タイルセット内のタイルの各サンプルの復号後の値がピクチャの全ての符号化ツリーブロックを復号した際の当該サンプルの復号後の値に一致するかを示す設定情報に基づいて、符号化ビットストリームを復号する復号部を備える。【選択図】図１
2020014252.tif 000002
【特許請求の範囲】
【請求項１】
画像の特定領域に含まれるすべての動き制約タイルセットの境界が復号処理の目的でピクチャ境界として処理される場合に前記特定領域に含まれるすべての動き制約タイルセット内のタイルの各サンプルの復号後の値がピクチャの全ての符号化ツリーブロックを復号した際の当該サンプルの復号後の値に一致するか、を示す設定情報に基づいて、符号化ビットストリームを復号する復号部
を備える復号装置。
【請求項２】
前記設定情報は、前記符号化ビットストリームに含まれており、
前記復号部は、前記符号化ビットストリームに含まれる設定情報を復号する
請求項１に記載の復号装置。
【請求項３】
前記設定情報は、前記符号化ビットストリームのＳＥＩとして含まれる
請求項２に記載の復号装置。
【請求項４】
前記復号部は、符号化ツリーユニットを単位として、前記符号化ビットストリームを復号する
請求項３に記載の復号装置。
【請求項５】
復号装置により実行される復号方法であって、
画像の特定領域に含まれるすべての動き制約タイルセットの境界が復号処理の目的でピクチャ境界として処理される場合に前記特定領域に含まれるすべての動き制約タイルセット内のタイルの各サンプルの復号後の値がピクチャの全ての符号化ツリーブロックを復号した際の当該サンプルの復号後の値に一致するか、を示す設定情報に基づいて、符号化ビットストリームを復号すること
を含む復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージングの分野に関する。具体的には、本発明は、ビデオ符号化に関する。
【背景技術】
【０００２】
Ｒａｎｇｅ  Ｅｘｔｅｎｓｉｏｎｓのテキスト仕様における動き制約タイルセット（ｍｏｔｉｏｎ−ｃｏｎｓｔｒａｉｎｅｄ  ｔｉｌｅ  ｓｅｔｓ）の草案３は、全てのタイルが独立して復号可能である旨を伝える機能、及び関心領域（ＲＯＩ）当たり複数のタイルを有することができるＲＯＩを伝える機能を有していない。
【発明の概要】
【０００３】
動き制約タイルセットＳＥＩメッセージの拡張が、全てのタイルが独立して復号可能である旨を伝える機能、及びＲＯＩ当たり複数のタイルを有することができるＲＯＩを伝える機能を提供する。この拡張により、ＣＶＳ内のあらゆる独立して復号可能な関心領域をユーザインタラクティビティに基づいて符号化ツリーユニットレベルで再定義する機能が可能になる。この拡張は、超高精細インタラクティブテレビ（ＵＨＤＴＶ）、動的高品質ズームインアプリケーション、インタラクティブオンデマンド、ｅラーニング、スマートサーベランス及びその他の多くのアプリケーションなどの様々なアプリケーションで利用されるインタラクティビティをサポートする。また、エンコーダは、タイル化ストリーミングのために一時的ＭＣＴＳ  ＳＥＩメッセージを使用して、デコーダがＲＯＩのみを表示すればよい旨をデコーダに明示的に伝えることができる。
【０００４】
１つの態様では、装置の非一時的メモリにプログラムされた方法が、ビデオのビットストリームを受け取るステップと、装置上でビットストリームを復号するステップとを含み、ビットストリームは、全てのタイルが独立して復号可能である旨と、関心領域が１つの関心領域当たり複数のタイルを有することができる旨とを伝える補足強化情報メッセージを含む。ビデオのベースレイヤ内の全てのタイルは、独立して復号可能である。ビデオの拡張レイヤの全てのタイルは、独立して復号可能である。復号するステップは、拡張レイヤ内の関心領域をベースレイヤ内の関心領域にマッピングするステップを含む。復号するステップは、ベースレイヤ内の関心領域を拡張レイヤ内の関心領域にマッピングするステップを含む。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される。ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される。ビデオは、独立して復号可能なタイルを用いて、１又はそれ以上の解像度レイヤ内で符号化されてサーバに記憶される。異なるユーザが、ビデオの異なる解像度レイヤを要求する。異なるディレクタが、ビデオの異なる解像度レイヤを要求する。補足強化情報メッセージは、選択された関心領域の外側の、表示されない符号化ツリーブロックを示す。補足強化情報メッセージは、選択された関心領域の外側の、ビットレートを低減するようにグレイタイルとして符号化された符号化ツリーブロックを示す。
【０００５】
別の態様では、システムが、ビデオのビットストリームを受け取り、ビットストリームを復号するように構成されたアプリケーションを記憶するように構成された非一時的メモリと、復号されたビットストリームを表示するように構成されたディスプレイとを備え、ビットストリームは、全てのタイルが独立して復号可能である旨と、関心領域が１つの関心領域当たり複数のタイルを有することができる旨とを伝える補足強化情報メッセージを含む。ビデオのベースレイヤ内の全てのタイルは、独立して復号可能である。ビデオの拡張レイヤ内の全てのタイルは、独立して復号可能である。復号は、拡張レイヤ内の関心領域をベースレイヤ内の関心領域にマッピングすることを含む。復号は、ベースレイヤ内の関心領域を拡張レイヤ内の関心領域にマッピングすることを含む。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される。ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される。ビデオは、独立して復号可能なタイルを用いて、１又はそれ以上の解像度レイヤ内で符号化されてサーバに記憶される。異なるユーザが、ビデオの異なる解像度レイヤを要求する。異なるディレクタが、ビデオの異なる解像度レイヤを要求する。補足強化情報メッセージは、選択された関心領域の外側の、表示されない符号化ツリーブロックを示す。補足強化情報メッセージは、選択された関心領域の外側の、ビットレートを低減するようにグレイタイルとして符号化された符号化ツリーブロックを示す。
【０００６】
別の態様では、装置が、ビデオのビットストリームを受け取り、ビットストリームを復号するためのアプリケーションを記憶する非一時的メモリと、メモリに結合され、アプリケーションを処理するように構成された処理コンポーネントとを備え、ビットストリームは、全てのタイルが独立して復号可能である旨と、関心領域が１つの関心領域当たり複数のタイルを有することができる旨とを伝える補足強化情報メッセージを含む。ビデオのベースレイヤ内の全てのタイルは、独立して復号可能である。ビデオの拡張レイヤ内の全てのタイルは、独立して復号可能である。復号は、拡張レイヤ内の関心領域をベースレイヤ内の関心領域にマッピングすることを含む。復号は、ベースレイヤ内の関心領域を拡張レイヤ内の関心領域にマッピングすることを含む。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される。ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される。ビデオは、独立して復号可能なタイルを用いて、１又はそれ以上の解像度レイヤ内で符号化されてサーバに記憶される。異なるユーザが、ビデオの異なる解像度レイヤを要求する。異なるディレクタが、ビデオの異なる解像度レイヤを要求する。補足強化情報メッセージは、選択された関心領域の外側の、表示されない符号化ツリーブロックを示す。補足強化情報メッセージは、選択された関心領域の外側の、ビットレートを低減するようにグレイタイルとして符号化された符号化ツリーブロックを示す。
【０００７】
さらに別の態様では、装置の非一時的メモリにプログラムされた方法が、ベースレイヤ及び１又はそれ以上の拡張レイヤを有するビデオのビットストリームを受け取るステップと、装置上でビットストリームを復号するステップとを含み、ビットストリームは、拡張レイヤの補足強化情報メッセージを含み、補足強化情報メッセージは、全てのタイルがレイヤ内の他のあらゆるタイルと無関係に復号可能である旨と、関心領域がレイヤ内の１つの関心領域当たり複数のタイルを有する旨とを伝えることができるレイヤ間制約タイルセットと共に利用される。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される。ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される。異なるユーザが、ビデオの異なる解像度レイヤを要求する。異なるディレクタが、ビデオの異なる解像度レイヤを要求する。
【０００８】
別の態様では、システムが、ベースレイヤ及び１又はそれ以上の拡張レイヤを有するビデオのビットストリームを受け取り、ビットストリームを復号するように構成されたアプリケーションを記憶するように構成された非一時的メモリと、復号されたビットストリームを表示するように構成されたディスプレイとを備え、ビットストリームは、拡張レイヤの補足強化情報メッセージを含み、この補足強化情報メッセージは、全てのタイルがレイヤ内の他のあらゆるタイルと無関係に復号可能である旨と、関心領域がレイヤ内の１つの関心領域当たり複数のタイルを有する旨とを伝えることができるレイヤ間制約タイルセットと共に利用される。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される。ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される。異なるユーザが、ビデオの異なる解像度レイヤを要求する。異なるディレクタが、ビデオの異なる解像度レイヤを要求する。
【０００９】
別の態様では、装置が、ベースレイヤ及び１又はそれ以上の拡張レイヤを有するビデオのビットストリームを受け取り、ビットストリームを復号するように構成されたアプリケーションを記憶するように構成された非一時的メモリと、メモリに結合され、アプリケーションを処理するように構成された処理コンポーネントとを備え、ビットストリームは、拡張レイヤの補足強化情報メッセージを含み、この補足強化情報メッセージは、全てのタイルがレイヤ内の他のあらゆるタイルと無関係に復号可能である旨と、関心領域がレイヤ内の１つの関心領域当たり複数のタイルを有する旨とを伝えることができるレイヤ間制約タイルセットと共に利用される。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される。ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される。ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される。異なるユーザが、ビデオの異なる解像度レイヤを要求する。異なるディレクタが、ビデオの異なる解像度レイヤを要求する。
【図面の簡単な説明】
【００１０】
【図１】いくつかの実施形態による、タイル化ストリーミングの例を示す図である。
【図２】いくつかの実施形態による、最小ビットを含むＲＯＩの外側のタイルの再符号化を示す図である。
【図３】いくつかの実施形態による、タイル化ストリーミング方法のフローチャートである。
【図４】いくつかの実施形態による、タイル化ストリーミング方法のフローチャートである。
【図５】いくつかの実施形態による、タイル化ストリーミング方法のフローチャートである。
【図６】いくつかの実施形態による、タイル化ストリーミング方法を実施するように構成された例示的なコンピュータ装置のブロック図である。
【発明を実施するための形態】
【００１１】
次世代映像圧縮技術（ＨＥＶＣ）規格のバージョン１では、ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが１に等しい場合、各ピクチャは、タイルとして知られている矩形領域で構成される。Ｒａｎｇｅ  Ｅｘｔｅｎｓｉｏｎｓのテキスト仕様：草案３では、これらのタイルを収集して、関心領域（ＲＯＩ）として知られている一群のタイルセットを形成することができる。これらのタイルセットは、動き制約タイルセット補足強化情報（ＳＥＩ）メッセージにより、独立して復号可能なものとして示すことができる。
【００１２】
このようなＨＥＶＣタイル構造は、インタラクティブタイルストリーミングに適用することができる。タイル化ストリーミングの例に、マルチ解像度パノラマビデオを異なるＲＯＩ及び解像度で構成されたビデオに分割できるアプリケーションがある。
【００１３】
動き制約タイルセットＳＥＩメッセージの拡張は、全てのタイルが独立して復号可能であることを伝えるとともに、ＲＯＩ当たり複数のタイルを有することができるＲＯＩを伝える機能を提供する。この拡張により、符号化ビデオストリーム（ＣＶＳ）内のあらゆる独立して復号可能な関心領域をユーザ又はディレクタのインタラクティビティに基づいてタイルレベルで再定義する機能が可能になる。ディレクタとは、コンテンツの制御及び／又はコンテンツの修正を行うことができる人物のことである（例えば、コンテンツは、送信先のユーザグループによって修正される）。この拡張は、超高精細インタラクティブテレビ（ＵＨＤＴＶ）、動的高品質ズームインアプリケーション、インタラクティブオンデマンド、ｅラーニング、スマートサーベランス及びその他の多くのアプリケーションなどの様々なアプリケーションで利用されるインタラクティビティをサポートする。
【００１４】
ＲＯＩは、１又はそれ以上のタイルの結合体として定義される。本明細書で説明する拡張は、単一レイヤのビデオ、又はベースレイヤと少なくとも１つの拡張レイヤとを含むビデオのＲＯＩを、ユーザ又はディレクタのインタラクティビティに基づいて伝えるために使用される。拡張レイヤ内のＲＯＩは、ベースレイヤ内のＲＯＩにマッピングされる。ベースレイヤ内のＲＯＩも、拡張レイヤ内のＲＯＩにマッピングされる。
【００１５】
本明細書で説明する拡張は、以下の場合の空間スケーラビリティ及び／又は信号対雑音比（ＳＮＲ）スケーラビリティを有する複数レイヤビデオの動き制約タイルセットを伝える。本明細書で説明する拡張を伴う動き制約タイルセットは、拡張レイヤに適用される（例えば、拡張レイヤ内の全てのタイルは、拡張レイヤ内の他のタイルと無関係に復号可能である）。ベースレイヤ及び拡張レイヤは、いずれも動き制約タイルセットを有する。ベースレイヤ内の全てのタイルは、独立して復号可能である。拡張レイヤ内の全てのタイルは、拡張レイヤ内の他のタイルと無関係に復号可能である。拡張レイヤ内のタイルは、ベースレイヤ内の１又はそれ以上のタイルに依存することができる。復号処理では、拡張レイヤ内のＲＯＩがベースレイヤ内のＲＯＩにマッピングされる。復号処理では、ベースレイヤ内のＲＯＩが拡張レイヤ内のＲＯＩにマッピングされる。
【００１６】
図１は、いくつかの実施形態によるタイル化ストリーミングの図である。ユーザは、ＲＯＩをインタラクティブに選択することができる。ユーザがＲＯＩを選択した後、選択されたＲＯＩは、装置（例えば、テレビ、スマートフォン、タブレット）上に提示される。異なるユーザは、異なるＲＯＩを望むことができるので、これらのタイルは全て独立して復号可能である。ＣＴＵレベルのトランスコーディングを避けることにより、全てのユーザに役立つように複雑さを低減することが重要である。図１では、パノラマビデオが、独立して復号可能なタイルを用いて、サーバ側の複数の解像度レイヤ内で符号化される。サーバ側の解像度レイヤの１つは８Ｋ×４Ｋである。異なる視聴者は、パノラマビデオの異なる解像度レイヤから異なるＲＯＩを送信するようにサーバに要求することができる。図１では、１つのクライアントが、解像度レイヤの１つからの領域をクライアントのＨＤモバイル装置で見られるように要求する。別のクライアントは、同じ解像度レイヤからの異なる領域をクライアントの４ＫＴＶで見られるように要求する。一般に、クライアントは、あらゆるＲＯＩを複数の空間解像度のうちの１つで選択的に見ることができる。図１には、解像度レイヤの１つにおけるサーバとのユーザインタラクティビティを示している。
【００１７】
タイル化ストリーミングには、複数の特性が存在する。全てのタイルが独立して復号可能である（動き制約タイル）。ＲＯＩは、必ずしもＣＶＳの符号化時間の最初に決定されなくてもよい。ＲＯＩは、ＣＶＳ内で符号化された時点で、ＣＶＳをＣＴＵレベルで再符号化することなく、ユーザインタラクティビティに基づいて修正又は再定義することができる。
【００１８】
動き制約タイルセット（ＭＣＴＳ）ＳＥＩは、独立して復号可能なＲＯＩの位置を伝えるために使用することができる。しかしながら、一般的には、ＭＣＴＳ  ＳＥＩは、全てのタイルが独立して復号可能である旨と、ＲＯＩの位置とを同時に伝えることができない。本明細書で説明する拡張では、ＭＣＴＳが、全てのタイルが独立して復号可能であることをサポートできるとともに、ＲＯＩの位置を伝えることができる。
【００１９】
【表１】
2020014252.tif 000003
【００２０】
ａｌｌ＿ｔｉｌｅｓ＿ｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇは、動き制約タイルセットのｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇの定義に類似するが、全てのタイルに適用される。０に等しいａｌｌ＿ｔｉｌｅｓ＿ｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇは、符号化ビデオシーケンス内で、動き制約タイルセットの外側の符号化ツリーブロックが復号されず、動き制約タイルセットの境界が復号処理の目的でピクチャ境界として処理される場合、動き制約タイルセット内の各サンプルの値が、このピクチャの符号化ツリーブロックが全て復号された時の同じサンプルの値と正確に同じでなくてもよいことを示す。１に等しいａｌｌ＿ｔｉｌｅｓ＿ｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇは、符号化ビデオシーケンス内で、動き制約タイルセットに属さない符号化ツリーブロックが復号されず、動き制約タイルセットの境界が復号処理の目的でピクチャ境界として処理される場合、動き制約タイルセットの各サンプルの値が、符号化ビデオシーケンス内の全てのピクチャの全ての符号化ツリーブロックが復号された時に取得されるサンプルの値と全く同じになることを示す。１に等しいｏｎｅ＿ｔｉｌｅ＿ｐｅｒ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇは、各タイルがタイルセットを形成することを示す。
【００２１】
ＪＣＴＶＣ−Ｎ００８７におけるレイヤ間制約タイルセット（ＩＬＣＴＳ）にも、動き制約タイルセットＳＥＩメッセージの同様の拡張を適用することができる。具体的には、レイヤ間のためのＪＣＴＶＣ−Ｎ００８７の構文は、全てのタイルがタイルセットである場合、ＲＯＩを伝えることができず、表２に示すように拡張される。
【００２２】
【表２】
2020014252.tif 000004
レイヤ間制約タイルセット
【００２３】
レイヤ間制約タイルセットＳＥＩメッセージの範囲は、ｔａｒｇｅｔＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを含むレイヤの完全なＣＬＶＳである。ＣＬＶＳのいずれかの符号化ピクチャにレイヤ間タイルセットＳＥＩメッセージが存在し、復号順におけるＣＬＶＳの第１の符号化ピクチャがＩＲＡＰピクチャである場合、復号順におけるＣＬＶＳの第１の符号化ピクチャにレイヤ間タイルセットＳＥＩメッセージが存在すべきであり、ＣＬＶＳの他の符号化ピクチャにも存在することができる。
【００２４】
ｔａｒｇｅｔＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを含むレイヤでは、このレイヤのいずれかのアクティブなＰＰＳについてｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇが０に等しい場合、レイヤ間制約タイルセットＳＥＩメッセージは存在しない。
【００２５】
ｔａｒｇｅｔＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを含むレイヤのＣＬＶＳのピクチャの全てのアクティブなＰＰＳが、１に等しいｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇを有するか、或いは１に等しいｔｉｌｅ＿ｂｏｕｎｄａｒｉｅｓ＿ａｌｉｇｎｅｄ＿ｆｌａｇによって示される条件を満たさない限り、ｔａｒｇｅｔＬａｙｅｒＩｄに等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを含むレイヤには、レイヤ間制約タイルセットＳＥＩメッセージは存在しない。
【００２６】
識別されたタイルセットは、レイヤ間制約タイルセットＳＥＩメッセージに含まれる構文要素の値に基づいて以下で指定されるタイルを含むｎｕｈ＿ｌａｙｅｒ＿ｉｄ  ｔａｒｇｅｔＬａｙｅｒＩｄを有するピクチャ内のタイルセットとして定義される。
【００２７】
ｉｌｃｔｓＩｄに等しいｉｌｃｔｓ＿ｉｄ［ｉＰｒｅｄ］を含むｉＰｒｅｄ番目に識別されたタイルセットのための関連する基準タイルセットが存在する場合、この基準タイルセットは、ｉＰｒｅｄ番目に識別されたタイルセットと同じアクセスユニット内に存在する識別されたタイルセットとして定義され、ｉｌｃｔｓＩｄに等しいｉｌｃｔｓ＿ｉｄ［ｉＲｅｆ］、及び全てを含む０〜ＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓ［ｔａｒｇｅｔＬａｙｅｒＩｄ］−１の範囲内のあらゆるｊの値についてのＲｅｆＬａｙｅｒＩｄ［ｔａｒｇｅｔＬａｙｅｒＩｄ］［ｊ］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄに関連付けられる。
【００２８】
レイヤ間制約タイルセットＳＥＩメッセージの存在は、各関連する基準タイルセットの外側のサンプル値、及び各関連する基準タイルセットの外側の１又はそれ以上のサンプル値を用いて導出される分数サンプル位置のサンプル値が、識別されたタイルセット内のいずれかのサンプルのレイヤ間予測に使用されないようにレイヤ間予測処理が制約されることを示す。
【００２９】
タイル境界を横切ってループフィルタリング及びリサンプリングフィルタを適用すると、ピクチャ境界ではない関連する基準タイルセット境界から８サンプル以内のサンプルを参照する識別されたタイルセット内のあらゆるサンプルのレイヤ間予測が、ミスマッチエラーを伝播することがある。エンコーダは、このような参照を引き起こす動きベクトルの使用を避けることにより、このような潜在的エラー伝播を回避することができる。
【００３０】
ＣＬＶＳに対して複数のレイヤ間制約タイルセットＳＥＩメッセージが存在する場合、これらは同じコンテンツを含むものとする。
【００３１】
各アクセスユニット内の同じＣＬＶＳに対するレイヤ間制約タイルセットＳＥＩメッセージの数は、５を超えないものとする。
【００３２】
１に等しいｉｌ＿ａｌｌ＿ｔｉｌｅｓ＿ｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇは、ＣＬＶＳ内で、このレイヤ間制約タイルセットＳＥＩメッセージで指定されるあらゆる識別されたタイルセット内のいずれかのタイルの外側の符号化ツリーブロックが復号されず、タイルの境界が復号処理の目的でピクチャ境界として処理される場合、タイル内の各サンプルの値が、ＣＬＶＳ内の全てのピクチャの符号化ツリーブロックが全て復号された時に取得されるサンプルの値と正確に同じになることを示す。０に等しいｉｌ＿ａｌｌ＿ｔｉｌｅｓ＿ｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇは、ＣＬＶＳ内で、このレイヤ間制約タイルセットＳＥＩメッセージで指定されるあらゆる識別されたタイルセット内のいずれかのタイルの外側の符号化ツリーブロックが復号されず、タイルの境界が復号処理の目的でピクチャ境界として処理される場合、タイル内の各サンプルの値が、ＣＬＶＳ内の全てのピクチャの符号化ツリーブロックが全て復号された時の同じサンプルの値と正確に同じであっても、又はそうでなくてもよいことを示す。
【００３３】
１に等しいｉｌ＿ｏｎｅ＿ｔｉｌｅ＿ｐｅｒ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇは、各識別されたタイルセットが１つのタイルを含み、ｉｌ＿ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１が存在しないことを示す。ｉｌ＿ｏｎｅ＿ｔｉｌｅ＿ｐｅｒ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇが１に等しい場合、以下が適用される。
−  （ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１＋１）＊（ｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１＋１）は、２５６又はそれ以下とする。
−  全てを含む０〜（ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１＋１）＊（ｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１＋１）−１の範囲内のタイルラスタスキャン順のｉ番目のタイルのｉｌｃｔ＿ｉｄ［ｉ］の値は、２５６＋ｉに等しいと推測される。
【００３４】
ｉｌ＿ｏｎｅ＿ｔｉｌｅ＿ｐｅｒ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇが０に等しい場合、識別されたタイルセットが明示的に伝えられる。
【００３５】
ｉｌ＿ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１＋１は、ＳＥＩメッセージ内のレイヤ間識別タイルセットの数を指定する。ｉｌ＿ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１の値は、全てを含む０〜２５５の範囲内に存在するものとする。
【００３６】
１に等しいｓｋｉｐｐｅｄ＿ｔｉｌｅ＿ｓｅｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＣＬＶＳ内で、ｉｌ＿ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１番目に識別されたタイルセットが、同じメッセージの以前に識別されたいずれのタイルセットにも含まれない残りのタイルを含み、ｉｌ＿ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１番目に識別されたタイルセットの内側の全ての予測ブロックが、ＲｅｆＬａｙｅｒＩｄ［ｔａｒｇｅｔＬａｙｅｒＩｄ］［ＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓ［ｔａｒｇｅｔＬａｙｅｒＩｄ］−１］に等しいｎｕｈ＿ｌａｙｅｒ＿ｉｄを含むレイヤ間基準ピクチャからレイヤ間予測され、ｉｌ＿ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１番目に識別されたタイルセットのいずれの変換ユニットにもｒｅｓｉｄｕａｌ＿ｃｏｄｉｎｇ（）構文構造が存在しないことを示す。０に等しいｓｋｉｐｐｅｄ＿ｔｉｌｅ＿ｓｅｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、ＣＬＶＳ内のビットストリーム制約を示さない。存在しない場合、ｓｋｉｐｐｅｄ＿ｔｉｌｅ＿ｓｅｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇの値は、０に等しいと推測される。
【００３７】
ｉｌｃｔｓ＿ｉｄ［ｉ］は、ｉ番目に識別されたタイルセットの目的を識別するために（例えば、特定の目的で符号化ビデオシーケンスから抽出された領域を識別するために）使用できる識別番号を含む。ｉｌｃｔｓ＿ｉｄ［ｉ］の値は、全てを含む０〜２３２−２の範囲内とする。
【００３８】
全てを含む０〜２５５、及び全てを含む５１２〜２３１−１のｉｌｃｔｓ＿ｉｄ［ｉ］の値は、アプリケーションによって決定されたものとして使用することができる。ｉｌ＿ｏｎｅ＿ｔｉｌｅ＿ｐｅｒ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇが１に等しい場合、上記で指定した推測されるｉｌｃｔｓ＿ｉｄ［ｉ］の値に、全てを含む２５６〜５１１のｉｌｃｔｓ＿ｉｄ［ｉ］の値が使用される。そうでない場合、全てを含む２５６〜５１１のｉｌｃｔｓ＿ｉｄ［ｉ］の値は、ＩＴＵ−Ｔ｜ＩＳＯ／ＩＥＣによって将来的に使用できるように留保される。全てを含む２３１〜２３２−２のｉｌｓｔｓ＿ｉｄ［ｉ］の値は、ＩＴＵ−Ｔ｜ＩＳＯ／ＩＥＣによって将来的に使用できるように留保される。デコーダは、全てを含む２５６〜５１１の範囲、又は全てを含む２３１〜２３２−２の範囲内の指示されたｉｌｃｔｓ＿ｉｄ［ｉ］の値に遭遇すると、これを無視する（ビットストリームから除去して廃棄する）ものとする。
【００３９】
ｉｌ＿ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ［ｉ］＋１は、ｉ番目に識別されたタイルセット内のタイルの矩形領域の数を指定する。ｉｌ＿ｎｕｍ＿ｔｉｌｅ＿ｒｅｃｔｓ＿ｉｎ＿ｓｅｔ＿ｍｉｎｕｓ１［ｉ］の値は、全てを含む０〜（ｎｕｍ＿ｔｉｌｅ＿ｃｏｌｕｍｎｓ＿ｍｉｎｕｓ１＋１）＊（ｎｕｍ＿ｔｉｌｅ＿ｒｏｗｓ＿ｍｉｎｕｓ１＋１）−１の範囲内とする。
【００４０】
ｉｌ＿ｔｏｐ＿ｌｅｆｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［ｉ］［ｊ］及びｉｌ＿ｂｏｔｔｏｍ＿ｒｉｇｈｔ＿ｔｉｌｅ＿ｉｎｄｅｘ［ｉ］［ｊ］は、タイルラスタスキャン順におけるｉ番目に識別されたタイルセットの矩形領域内の左上タイルのタイル位置、及び右下タイルのタイル位置をそれぞれ識別する。
【００４１】
１に等しいｉｌｅ＿ｉｄｃ［ｉ］は、あらゆる関連する基準タイルセットの外側のサンプル、及びあらゆる関連する基準タイルセットの外側の１又はそれ以上のサンプルを用いて導出された分数サンプル位置のサンプルが、内部のあらゆるサンプルのレイヤ間予測に使用されないことを示す。２に等しいｉｌｃ＿ｉｄｃ［ｉ］は、ｉ番目に識別されたタイルセット内の予測ブロックが、レイヤ間基準ピクチャから予測されないことを示す。０に等しいｉｌｃ＿ｉｄｃ［ｉ］は、レイヤ間予測処理を、ｉ番目に識別されたタイルセット内の予測ブロックのために制約しても、又はしなくてもよいことを示す。３に等しいｉｌｃ＿ｉｄｃ［ｉ］の値は留保される。
【００４２】
１に等しいｉｌ＿ｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇ［ｉ］は、ＣＬＶＳ内で、ｉ番目に識別されたタイルセットに属していない符号化ツリーブロックが復号されず、ｉ番目に識別されたタイルセットの境界が復号処理の目的でピクチャ境界として処理される場合、ｉ番目に識別されたタイルセット内の各サンプルの値が、ＣＬＶＳ内の全てのピクチャの全ての符号化ツリーブロックが復号された時に取得されるサンプルの値と全く同じになることを示す。０に等しいｉｌ＿ｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇ［ｉ］は、ＣＬＶＳ内で、ｉ番目に識別されたレイヤ間制約タイルセットの外側の符号化ツリーブロックが復号されず、ｉ番目に識別されたタイルセットの境界が復号処理の目的でピクチャ境界として処理される場合、ｉ番目に識別されたタイルセット内の各サンプルの値が、ＣＬＶＳ内の全てのピクチャの全ての符号化ツリーブロックが復号された時の同じサンプルの値と正確に同じであっても、又はそうでなくてもよいことを示す。
【００４３】
ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｔｉｌｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｐｐｓ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｐｐｓ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ、ｓｌｉｃｅ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｌｉｃｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇ、ｓａｍｐｌｅ＿ａｄａｐｔｉｖｅ＿ｏｆｆｓｅｔ＿ｅｎａｂｌｅｄ＿ｆｌａｇ、ｓｌｉｃｅ＿ｓａｏ＿ｌｕｍａ＿ｆｌａｇ、及びｓｌｉｃｅ＿ｓａｏ＿ｃｈｒｏｍａ＿ｆｌａｇのいくつかの組み合わせを使用する場合には、１に等しいｉｌ＿ｅｘａｃｔ＿ｓａｍｐｌｅ＿ｖａｌｕｅ＿ｍａｔｃｈ＿ｆｌａｇを使用することが可能である。
【００４４】
１に等しいａｌｌ＿ｔｉｌｅｓ＿ｉｌｃ＿ｉｄｃは、ＣＬＶＳ内の各識別されたタイルセットについて、各関連する基準タイルセットの外側のサンプル値、及び各関連する基準タイルセットの外側の１又はそれ以上のサンプルを用いて導出される分数サンプル位置のサンプル値が、識別されたタイルセット内のあらゆるサンプルのレイヤ間予測に使用されないことを示す。２に等しいａｌｌ＿ｔｉｌｅｓ＿ｉｌｃ＿ｉｄｃは、ＣＬＶＳ内で、各識別されたタイルセットの予測ブロックが、レイヤ間基準ピクチャから予測されないことを示す。０に等しいａｌｌ＿ｔｉｌｅｓ＿ｉｌｃ＿ｉｄｃは、ＣＬＶＳ内で、レイヤ間予測処理を識別されたタイルセットのために制約しても、又はしなくてもよいことを示す。３に等しいａｌｌ＿ｔｉｌｅｓ＿ｉｌｃ＿ｉｄｃの値は留保される。ａｌｌ＿ｔｉｌｅｓ＿ｉｌｄ＿ｉｄｃが存在しない場合、０に等しいと推測される。
【００４５】
一時的動き制約タイルセット（一時的ＭＣＴＳ）
ＪＣＴＶＣ−Ｏ１００５における一時的動き制約タイルセット（一時的ＭＣＴＳ）ＳＥＩメッセージは、ＲＯＩの外側の符号化ツリーブロックを表示すべきでない旨を伝えるように拡張することができる。この拡張により、エンコーダは、タイル化ストリーミングのために一時的動き制約タイルセットＳＥＩメッセージを使用して、デコーダがＲＯＩのみを表示すればよい旨をデコーダに明示的に伝えることができる。一時的ＭＣＴＳ  ＳＥＩメッセージは、タイル化ストリーミングのために使用することができる。タイル化ストリーミングの例では、独立して復号可能なタイルを用いてパノラマビデオをサーバ側で符号
化し、タイルの一部のみをクライアントデコーダがグレイタイル（又は低ビットレートコンテンツなどの非常に効率良く符号化できるタイル）によるＲＯＩとして要求し、デコーダにグレイタイル（又は効率的に符号化されたタイル）を表示しないように伝える。
【００４６】
デコーダは、ＲＯＩの外側を表示しないように伝える修正済みの一時的ＭＣＴＳ  ＳＥＩメッセージを受け取ると、１）ＲＯＩの外側領域を表示しないこと、２）ＲＯＩの外側領域を所定の色に置き換えること、を選択することができる。この色は、彩度キーイングに使用して他のコンテンツと共に表示することができる。
【００４７】
図２に、独立して復号可能なタイルを用いてパノラマビデオをサーバ側で符号化し、タイルの一部のみをクライアントデコーダが表示目的でＲＯＩとして要求することを示す。サーバは、送信帯域幅を低減するために、ＲＯＩの外側のタイルをグレイタイルに置き換え、デコーダにグレイタイルを表示しないように伝えることができる。さらに、異なるクライアントが、サーバから異なるＲＯＩをストリーミングするように要求することができる。
【００４８】
一時的ＭＣＴＳ  ＳＥＩメッセージは、複数の方法で修正することができる。本明細書では、複数の考えられる実施形態を説明する。いくつかの実施形態では、ＲＯＩの外側の符号化ツリーブロックを表示すべきかどうかをビットストリームで伝える。
【００４９】
【表３】
2020014252.tif 000005
【００５０】
１に等しいＤｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔｓ＿ｏｎｌｙ＿ｆｌａｇは、全てのタイルセット内の符号化ツリーブロックを全て表示すべきであり、いずれのタイルセット内にも存在しない符号化ツリーブロックは全て表示すべきでないことを示す。０に等しいＤｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔｓ＿ｏｎｌｙ＿ｆｌａｇは、このフラグを無視すべきであることを示す。
【００５１】
【表４】
2020014252.tif 000006
【００５２】
１に等しいｎｏ＿ｄｉｓｐｌａｙ＿ｏｕｔｓｉｄｅ＿ｔｉｌｅ＿ｓｅｔｓ＿ｆｌａｇは、いずれのタイルセット内にも存在しない符号化ツリーブロックは全て表示すべきでないことを示す。０に等しいｎｏ＿ｄｉｓｐｌａｙ＿ｏｕｔｓｉｄｅ＿ｔｉｌｅ＿ｓｅｔｓ＿ｆｌａｇは、このフラグを無視すべきであることを示す。
【００５３】
いくつかの実施形態では、ｔｅｍｐｏｒａｌ＿ｍｏｔｉｏｎ＿ｃｏｎｓｔｒａｉｎｅｄ＿ｔｉｌｅ＿ｓｅｔｓ構文と、ｉｎｔｅｒ＿ｌａｙｅｒ＿ｃｏｎｓｔｒａｉｎｅｄ＿ｔｉｌｅ＿ｓｅｔｓ構文とが整列する。具体的には、ｎｏ＿ｄｉｓｐｌａｙ＿ｌａｓｔ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇは、ｉｎｔｅｒ＿ｌａｙｅｒ＿ｃｏｎｓｔｒａｉｎｅｄ＿ｔｉｌｅ＿ｓｅｔｓＳＥＩメッセージ内のｓｋｉｐｐｅｄ＿ｔｉｌｅ＿ｓｅｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇと並列の役割を有する。
【００５４】
【表５】
2020014252.tif 000007
【００５５】
１に等しいｎｏ＿ｄｉｓｐｌａｙ＿ｌａｓｔ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇは、最後のタイルが、同じメッセージ内のあらゆる以前のタイルセットに含まれていないタイルを含み、この最後のタイルを表示すべきでないことを示す。０に等しいｎｏ＿ｄｉｓｐｌａｙ＿ｌａｓｔ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇは、最後のタイルセットが、同じメッセージ内の以前のタイルセットに含まれていないタイルを含んでいても、又は含んでいなくてもよいことを示す。
【００５６】
いくつかの実施形態では、１つのタイルセットのみが表示される。
【００５７】
【表６】
2020014252.tif 000008
【００５８】
１に等しいｓｉｎｇｌｅ＿ｔｉｌｅ＿ｓｅｔ＿ｄｉｓｐｌａｙ＿ｆｌａｇは、ｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｉｄｃ構文要素が存在することを示す。０に等しいｓｉｎｇｌｅ＿ｔｉｌｅ＿ｓｅｔ＿ｄｉｓｐｌａｙ＿ｆｌａｇは、ｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｉｄｃ構文要素が存在しないことを示す。
【００５９】
ｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｉｄｃは、存在する場合、ｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｉｄｃ−ｔｈタイルセットのみが表示対象であることを示す。ｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｉｄｃは、０〜ｎｕｍ＿ｓｅｔｓ＿ｉｎ＿ｍｅｓｓａｇｅ＿ｍｉｎｕｓ１の範囲内とする。
【００６０】
【表７】
2020014252.tif 000009
【００６１】
１に等しいｌｉｍｉｔｅｄ＿ｔｉｌｅ＿ｓｅｔ＿ｄｉｓｐｌａｙ  ｆｌａｇは、ｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇ［ｉ］構文要素が存在することを指定し、１に等しいｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇ［ｉ］を有するいずれのタイルセットにも含まれていないタイルは表示対象でないことを示す。０に等しいｌｉｍｉｔｅｄ＿ｔｉｌｅ＿ｓｅｔ＿ｄｉｓｐｌａｙ  ｆｌａｇは、ｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇ［ｉ］構文要素が存在しないことを指定する。１に等しいｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇ［ｉ］は、ｉ番目のタイルセットが表示対象であることを示す。０に等しいｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇ［ｉ］は、ｉ番目のタイルセットが表示対象でないことを示す。存在しない場合、ｄｉｓｐｌａｙ＿ｔｉｌｅ＿ｓｅｔ＿ｆｌａｇ［ｉ］の値は１に等しいと推測される。
【００６２】
図３は、いくつかの実施形態によるタイル化ストリーミング方法のフローチャートである。ステップ３００において、ある装置（例えば、サーバ）から第２の装置（例えば、テレビ）にビデオビットストリームを送信する。ビデオビットストリームは、本明細書で説明した拡張を含むＳＥＩメッセージを含む。ＳＥＩメッセージは、全てのタイルが他のタイルと無関係に復号可能である旨を伝えることができる。ステップ３０２において、ビデオビットストリームを復号する。ステップ３０４において、復号したビデオを表示する。ステップ３０６において、ユーザが、インタラクティビティ目的でビデオのＲＯＩを選択する。ステップ３０８において、選択されたＲＯＩをユーザに提示する。いくつかの実施形態では、より少ない又はさらなるステップが実行される。いくつかの実施形態では、ステップの順序が変更される。
【００６３】
図４は、いくつかの実施形態によるタイル化ストリーミング方法のフローチャートである。ステップ４００において、ＭＣＴＳ  ＳＥＩメッセージでＲＯＩの位置を伝える。ステップ４０２において、ビデオ復号処理においてベースレイヤ内のＲＯＩを拡張レイヤ内のＲＯＩにマッピングする。ステップ４０４において、拡張レイヤ内の各タイルを、拡張レイヤのＭＣＴＳ内の他のタイルと無関係に復号する。いくつかの実施形態では、より少ない又はさらなるステップが実行される。
【００６４】
図５は、いくつかの実施形態によるタイル化ストリーミング方法のフローチャートである。ステップ５００において、どのＲＯＩを表示すべきでないかをデコーダに伝える。ステップ５０２において、どのＲＯＩを表示すべきか（例えば、ユーザによって選択されたＲＯＩ）をデコーダに伝える。ステップ５０４において、帯域幅を低減するために、表示すべきＲＯＩの外側のタイルをグレイタイルに置き換える。ステップ５０６において、ＳＥＩメッセージを生成して、一時的動き制約タイルセットの外側の符号化ツリーブロックの位置を伝える。いくつかの実施形態では、より少ない又はさらなるステップが実行される。いくつかの実施形態では、図３、図４及び図５のステップをまとめて実行することができる。例えば、図５に示すステップ５００を図３のステップと共に実行することができる。
【００６５】
図６は、いくつかの実施形態によるタイル化ストリーミング方法を実施するように構成された例示的なコンピュータ装置のブロック図である。コンピュータ装置６００は、画像及びビデオなどの情報を取得し、記憶し、計算し、処理し、通信し、及び／又は表示するために使用することができる。一般に、コンピュータ装置６００を実装するのに適したハードウェア構造は、ネットワークインターフェイス６０２、メモリ６０４、プロセッサ６０６、Ｉ／Ｏ装置６０８、バス６１０及び記憶装置６１２を含む。プロセッサの選択は、十分な速度の好適なプロセッサを選択する限り重要ではない。メモリ６０４は、当業で周知のいずれかの従来のコンピュータメモリとすることができる。記憶装置６１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、ウルトラＨＤドライブ、フラッシュメモリカード、又はその他のいずれかの記憶装置を含むことができる。コンピュータ装置６００は、１又はそれ以上のネットワークインターフェイス６０２を含むことができる。ネットワークインターフェイスの例としては、イーサネット(登録商標)又は他のタイプのＬＡＮに接続されたネットワークカードが挙げられる。（単複の）Ｉ／Ｏ装置６０８は、キーボード、マウス、モニタ、画面、プリンタ、モデム、タッチ画面、ボタンインターフェイス、及びその他の装置のうちの１つ又はそれ以上を含むことができる。タイル化ストリーミング方法を実施するために使用される（単複の）タイル化ストリーミングアプリケーション６３０は、記憶装置６１２及びメモリ６０４に記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置６００には、図６に示すものよりも多くの又は少ないコンポーネントを含めることができる。いくつかの実施形態では、タイル化ストリーミングハードウェア６２０が含まれる。図６のコンピュータ装置６００は、タイル化ストリーミング方法のためのアプリケーション６３０及びハードウェア６２０を含むが、タイル化ストリーミング方法は、ハードウェア、ファームウェア、ソフトウェア、又はこれらのあらゆる組み合わせでコンピュータ装置上に実装することもできる。例えば、いくつかの実施形態では、タイル化ストリーミングアプリケーション６３０がメモリにプログラムされ、プロセッサを用いて実行される。別の例として、いくつかの実施形態では、タイル化ストリーミングハードウェア６２０が、タイル化ストリーミング方法を実施するように特別に設計されたゲートを含むプログラムされたハードウェアロジックである。
【００６６】
いくつかの実施形態では、（単複の）タイル化ストリーミングアプリケーション６３０が、複数のアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールが、１又はそれ以上のサブモジュールをさらに含む。いくつかの実施形態では、より少ない又はさらなるモジュールを含めることができる。
【００６７】
好適なコンピュータ装置の例としては、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き電話機、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ（ＤＶＤライタ／プレーヤ、高精細ディスクライタ／プレーヤ、超高精細ディスクライタ／プレーヤなど）、テレビ、家庭用エンターテイメントシステム、スマートジュエリ（例えば、スマートウォッチ）、又はその他のあらゆる好適なコンピュータ装置が挙げられる。
【００６８】
タイル化ストリーミング方法を利用するためには、デジタルビデオカメラなどの装置を使用してビデオを取得することができる。タイル化ストリーミング方法は、ビデオの取得中、又はビデオの再生中などのビデオの取得後に自動的に実施される。タイル化ストリーミング方法は、ユーザの関与を伴わずに自動的に実施することができる。
【００６９】
動作時に、タイル化ストリーミング方法は、ユーザが画像／ビデオの一部をインタラクティブに選択できるようにする。この拡張は、超高精細インタラクティブテレビ（ＵＨＤＴＶ）、動的高品質ズームインアプリケーション、インタラクティブオンデマンド、ｅラーニング、スマートサーベランス及びその他の多くのアプリケーションなどの様々なアプリケーションで利用されるインタラクティビティをサポートする。
【００７０】
インタラクティビティのための動き制約タイルセットＳＥＩメッセージの拡張のいくつかの実施形態
１．装置の非一時的メモリにプログラムされた方法であって、
ａ．ビデオのビットストリームを受け取るステップと、
ｂ．装置上でビットストリームを復号するステップと、
を含み、ビットストリームは、全てのタイルが独立して復号可能である旨と、関心領域が１つの関心領域当たり複数のタイルを有することができる旨とを伝える補足強化情報メッセージを含む、方法。
２．ビデオのベースレイヤ内の全てのタイルは、独立して復号可能である、条項１に記載の方法。
３．ビデオの拡張レイヤ内の全てのタイルは、独立して復号可能である、条項１に記載の方法。
４．復号するステップは、拡張レイヤ内の関心領域をベースレイヤ内の関心領域にマッピングするステップを含む、条項１に記載の方法。
５．復号するステップは、ベースレイヤ内の関心領域を拡張レイヤ内の関心領域にマッピングするステップを含む、条項１に記載の方法。
６．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される、条項１に記載の方法。
７．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される、条項１に記載の方法。
８．ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される、条項１に記載の方法。
９．ビデオは、独立して復号可能なタイルを用いて、１又はそれ以上の解像度レイヤ内で符号化されてサーバに記憶される、条項１に記載の方法。
１０．異なるユーザが、ビデオの異なる解像度レイヤを要求する、条項１に記載の方法。
１１．異なるディレクタが、ビデオの異なる解像度レイヤを要求する、条項１に記載の方法。
１２．補足強化情報メッセージは、選択された関心領域の外側の、表示されない符号化ツリーブロックを示す、条項１に記載の方法。
１３．補足強化情報メッセージは、選択された関心領域の外側の、ビットレートを低減するようにグレイタイルとして符号化された符号化ツリーブロックを示す、条項１に記載の方法。
１４．システムであって、
ａ．
ｉ．ビデオのビットストリームを受け取り、
ｉｉ．ビットストリームを復号する、
ように構成されたアプリケーションを記憶するように構成された非一時的メモリと、
ｂ．復号されたビットストリームを表示するように構成されたディスプレイと、
を備え、ビットストリームは、全てのタイルが独立して復号可能である旨と、関心領域が１つの関心領域当たり複数のタイルを有することができる旨とを伝える補足強化情報メッセージを含む、システム。
１５．ビデオのベースレイヤ内の全てのタイルは、独立して復号可能である、条項１４に記載のシステム。
１６．ビデオの拡張レイヤ内の全てのタイルは、独立して復号可能である、条項１４に記載のシステム。
１７．復号は、拡張レイヤ内の関心領域をベースレイヤ内の関心領域にマッピングすることを含む、条項１４に記載のシステム。
１８．復号は、ベースレイヤ内の関心領域を拡張レイヤ内の関心領域にマッピングすることを含む、条項１４に記載のシステム。
１９．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される、条項１４に記載のシステム。
２０．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される、条項１４に記載のシステム。
２１．ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される、条項１４に記載のシステム。
２２．ビデオは、独立して復号可能なタイルを用いて、１又はそれ以上の解像度レイヤ内で符号化されてサーバに記憶される、条項１４に記載のシステム。
２３．異なるユーザが、ビデオの異なる解像度レイヤを要求する、条項１４に記載のシステム。
２４．異なるディレクタが、ビデオの異なる解像度レイヤを要求する、条項１４に記載のシステム。
２５．補足強化情報メッセージは、選択された関心領域の外側の、表示されない符号化ツリーブロックを示す、条項１４に記載のシステム。
２６．補足強化情報メッセージは、選択された関心領域の外側の、ビットレートを低減するようにグレイタイルとして符号化された符号化ツリーブロックを示す、条項１４に記載のシステム。
２７．装置であって、
ａ．
ｉ．ビデオのビットストリームを受け取り、
ｉｉ．ビットストリームを復号する、
ためのアプリケーションを記憶する非一時的メモリと、
ｂ．メモリに結合され、アプリケーションを処理するように構成された処理コンポーネントと、
を備え、ビットストリームは、全てのタイルが独立して復号可能である旨と、関心領域が１つの関心領域当たり複数のタイルを有することができる旨とを伝える補足強化情報メッセージを含む、装置。
２８．ビデオのベースレイヤ内の全てのタイルは、独立して復号可能である、条項２７に記載の装置。
２９．ビデオの拡張レイヤ内の全てのタイルは、独立して復号可能である、条項２７に記載の装置。
３０．復号は、拡張レイヤ内の関心領域をベースレイヤ内の関心領域にマッピングすることを含む、条項２７に記載の装置。
３１．復号は、ベースレイヤ内の関心領域を拡張レイヤ内の関心領域にマッピングすることを含む、条項２７に記載の装置。
３２．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される、条項２７に記載の装置。
３３．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される、条項２７に記載の装置。
３４．ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される、条項２７に記載の装置。
３５．ビデオは、独立して復号可能なタイルを用いて、１又はそれ以上の解像度レイヤ内で符号化されてサーバに記憶される、条項２７に記載の装置。
３６．異なるユーザが、ビデオの異なる解像度レイヤを要求する、条項２７に記載の装置。
３７．異なるディレクタが、ビデオの異なる解像度レイヤを要求する、条項２７に記載の装置。
３８．補足強化情報メッセージは、選択された関心領域の外側の、表示されない符号化ツリーブロックを示す、条項２７に記載の装置。
３９．補足強化情報メッセージは、選択された関心領域の外側の、ビットレートを低減するようにグレイタイルとして符号化された符号化ツリーブロックを示す、条項２７に記載の装置。
４０．装置の非一時的メモリにプログラムされた方法であって、
ａ．ベースレイヤ及び１又はそれ以上の拡張レイヤを有するビデオのビットストリームを受け取るステップと、
ｂ．装置上でビットストリームを復号するステップと、
を含み、ビットストリームは、拡張レイヤの補足強化情報メッセージを含み、補足強化情報メッセージは、全てのタイルがレイヤ内の他のあらゆるタイルと無関係に復号可能である旨と、関心領域がレイヤ内の１つの関心領域当たり複数のタイルを有する旨とを伝えることができるレイヤ間制約タイルセットと共に利用される、方法。
４１．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される、条項４０に記載の方法。
４２．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される、条項４０に記載の方法。
４３．ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される、条項４０に記載の方法。
４４．異なるユーザが、ビデオの異なる解像度レイヤを要求する、条項４０に記載の方法。
４５．異なるディレクタが、ビデオの異なる解像度レイヤを要求する、条項４０に記載の方法。
４６．システムであって、
ａ．
ｉ．ベースレイヤ及び１又はそれ以上の拡張レイヤを有するビデオのビットストリームを受け取り、
ｉｉ．ビットストリームを復号する、
ように構成されたアプリケーションを記憶するように構成された非一時的メモリと、
ｂ．復号されたビットストリームを表示するように構成されたディスプレイと、
を備え、ビットストリームは、拡張レイヤの補足強化情報メッセージを含み、補足強化情報メッセージは、全てのタイルがレイヤ内の他のあらゆるタイルと無関係に復号可能である旨と、関心領域がレイヤ内の１つの関心領域当たり複数のタイルを有する旨とを伝えることができるレイヤ間制約タイルセットと共に利用される、システム。
４７．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される、条項４６に記載のシステム。
４８．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される、条項４６に記載のシステム。
４９．ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される、条項４６に記載のシステム。
５０．異なるユーザが、ビデオの異なる解像度レイヤを要求する、条項４６に記載のシステム。
５１．異なるディレクタが、ビデオの異なる解像度レイヤを要求する、条項４６に記載のシステム。
５２．装置であって、
ａ．
ｉ．ベースレイヤ及び１又はそれ以上の拡張レイヤを有するビデオのビットストリームを受け取り、
ｉｉ．ビットストリームを復号する、
ように構成されたアプリケーションを記憶するように構成された非一時的メモリと、
ｂ．メモリに結合され、アプリケーションを処理するように構成された処理コンポーネントと、
を備え、ビットストリームは、拡張レイヤの補足強化情報メッセージを含み、補足強化情報メッセージは、全てのタイルがレイヤ内の他のあらゆるタイルと無関係に復号可能である旨と、関心領域がレイヤ内の１つの関心領域当たり複数のタイルを有する旨とを伝えることができるレイヤ間制約タイルセットと共に利用される、装置。
５３．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は装置上に提示される、条項５２に記載のシステム。
５４．ビデオの関心領域はユーザによって選択され、ユーザによって選択された関心領域は第２の装置上に提示される、条項５２に記載のシステム。
５５．ビデオの関心領域はディレクタによって選択され、ディレクタによって選択された関心領域はユーザの装置上に提示される、条項５２に記載のシステム。
５６．異なるユーザが、ビデオの異なる解像度レイヤを要求する、条項５２に記載のシステム。
５７．異なるディレクタが、ビデオの異なる解像度レイヤを要求する、条項５２に記載のシステム。
【００７１】
本発明の構成及び動作の原理を容易に理解できるように、詳細を含む特定の実施形態に関して本発明を説明した。本明細書におけるこのような特定の実施形態及びこれらの実施形態の詳細についての言及は、本明細書に添付する特許請求の範囲を限定することを意図したものではない。当業者には、特許請求の範囲によって定められる本発明の思想及び範囲から逸脱することなく、例示のために選択した実施形態において他の様々な修正を行えることが容易に明らかになるであろう。
【図１】
2020014252.tif 000010
【図２】
2020014252.tif 000011
【図３】
2020014252.tif 000012
【図４】
2020014252.tif 000013
【図５】
2020014252.tif 000014
【図６】
2020014252.tif 000015