(57)【要約】      （修正有）【課題】ＳＨＶＣでの注目領域（ＲＯＩ）スケーラビリティを提供する。【解決手段】画像をタイルに分割して、注目領域内のタイルとして識別される１つ以上のタイル及び注目領域外の１つ以上の他のタイルを設定する設定部と、注目領域内の識別される１つ以上のタイルについてはベースレイヤとエンハンスメントレイヤとの間のレイヤ間予測処理を含む符号化処理を行い、注目領域外の１つ以上の他のタイルについてはレイヤ間予測処理をスキップすることによって、画像を符号化して、ベースレイヤ及びエンハンスメントレイヤのビットストリームを生成する符号化部と、を備える。注目領域内の識別される１つ以上のタイルの符号化処理において、動き補償のために参照されるサンプルは、注目領域内のサンプルに制限される。【選択図】図２
2018078602.tif 000002
【特許請求の範囲】
【請求項１】
符号化装置であって、
画像をタイルに分割して、注目領域内のタイルとして識別される１つ以上のタイル及び前記注目領域外の１つ以上の他のタイルを設定する設定部と、
前記注目領域内の前記識別される１つ以上のタイルについてはベースレイヤとエンハンスメントレイヤとの間のレイヤ間予測処理を含む符号化処理を行い、前記注目領域外の前記１つ以上の他のタイルについては前記レイヤ間予測処理をスキップすることによって、前記画像を符号化して、前記ベースレイヤ及び前記エンハンスメントレイヤのビットストリームを生成する符号化部と、
を備え、
前記注目領域内の前記識別される１つ以上のタイルの符号化処理において、動き補償のために参照されるサンプルは、前記注目領域内のサンプルに制限される、
符号化装置。
【請求項２】
前記設定部は、各有意タイルについてタイル位置情報を設定し、
前記符号化部は、生成される前記ビットストリームに前記タイル位置情報を含める、
請求項１に記載の符号化装置。
【請求項３】
前記タイル位置情報は、タイルのラスター走査順における左上タイルのタイル位置及び右下タイルのタイル位置を示す情報を含む、請求項２に記載の符号化装置。
【請求項４】
前記タイル位置情報は、タイルのラスター走査順における有意タイル内の最初のＣＴＢの位置を示す情報を含む、請求項２に記載の符号化装置。
【請求項５】
前記タイル位置情報は、ＳＥＩ（Supplemental  Enhancement  Information）パラメータとして設定される、請求項２に記載の符号化装置。
【請求項６】
前記レイヤ間予測処理は、空間スケーラビリティのために実行される、請求項１に記載の符号化装置。
【請求項７】
前記レイヤ間予測処理は、信号対雑音比（ＳＮＲ）スケーラビリティのために実行される、請求項１に記載の符号化装置。
【請求項８】
符号化方法であって、
画像をタイルに分割して、注目領域内のタイルとして識別される１つ以上のタイル及び前記注目領域外の１つ以上の他のタイルを設定することと、
前記注目領域内の前記識別される１つ以上のタイルについてはベースレイヤとエンハンスメントレイヤとの間のレイヤ間予測処理を含む符号化処理を行い、前記注目領域外の前記１つ以上の他のタイルについては前記レイヤ間予測処理をスキップすることによって、前記画像を符号化して、前記ベースレイヤ及び前記エンハンスメントレイヤのビットストリームを生成することと、
を含み、
前記注目領域内の前記識別される１つ以上のタイルの符号化処理において、動き補償のために参照されるサンプルは、前記注目領域内のサンプルに制限される、
符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願への相互参照〕
本出願は、２０１３年４月８日出願の「ＲＥＧＩＯＮ  ＯＦ  ＩＮＴＥＲＥＳＴ  ＳＣＡＬＡＢＩＬＩＴＹ  ＷＩＴＨ  ＳＨＶＣ」という名称の米国特許仮出願出願番号第６１／８０９，７４７号及び２０１３年７月１５日出願の「ＲＥＧＩＯＮ  ＯＦ  ＩＮＴＥＲＥＳＴ  ＳＣＡＬＡＢＩＬＩＴＹ  ＷＩＴＨ  ＳＨＶＣ」という名称の米国特許仮出願出願番号第６１／８４６，５５８号の「３５  Ｕ．Ｓ．Ｃ．§１１９（ｅ）」の下での優先権を主張するものであり、これらは、両方ともこれにより全ての目的に対してそれらの全体が引用によって組み込まれる。
【０００２】
本発明は、画像化の分野に関する。より具体的には、本発明は、ビデオ符号化に関する。
【背景技術】
【０００３】
スケーラブルＨＥＶＣモデル（ＳＨＭ）１．０において、より高い解像度が、空間スケーラビリティによって与えられ、より高い品質が、ＳＮ比（ＳＮＲ）スケーラビリティによって与えられ、エンハンスメントが、ピクチャ全体に適用される。しかし、トラヒックモニタリング及びセキュリティモニタリングのような一部の用途では、ピクチャ全体のエンハンスメントは必要ではない。
【発明の概要】
【課題を解決するための手段】
【０００４】
ＳＨＶＣでの注目領域（ＲＯＩ）スケーラビリティを実施することができ、スケーラビリティは、全体のピクチャではなくピクチャの一部に対して使用される。ＲＯＩスケーラビリティの用途は、トラフィックモニタリング、セキュリティモニタリング、及びタイル化ストリーミングを含む。
【０００５】
一態様において、デバイスの非一時的なメモリにプログラムされた方法は、ベースレイヤ画像及びエンハンスメントレイヤ画像を取得する段階と、注目領域スケーラビリティインプリメンテーションをエンハンスメントレイヤ画像の一部に適用する段階とを含み、エンハンスメントレイヤ画像の一部は、完全なエンハンスメントレイヤ画像よりも小さい。注目領域スケーラビリティインプリメンテーションは、符号器を操作するために付加エンハンスメント情報メッセージと共に注目領域マップをシグナリングする段階を含む。付加エンハンスメント情報メッセージは、注目領域の位置を示す。各注目領域は、有意な符号化ツリーユニットの１つ又はそれよりも多くの矩形集合である。付加エンハンスメント情報メッセージは、注目領域の数と、各注目領域に対する画像の走査順序における注目領域内の有意符号化ツリーユニットの各矩形集合の第１の符号化ツリーユニットのアドレスとを含む。アドレスは、差分符号化を用いて符号化される。アドレスは、差分符号化を用いずに符号化される。付加エンハンスメント情報メッセージは、符号化ツリーユニットの数における注目領域の列幅を導出するための情報と、符号化ツリーユニットの数における注目領域の行高さを導出するための情報とを含む。付加エンハンスメント情報メッセージがシグナリングされる時に、符号器は、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、ＳＮＲスケーラビリティに対する同一位置のベースレイヤからコピーされる。付加エンハンスメント情報メッセージがシグナリングされる時に、符号器は、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、空間スケーラビリティに対する同一位置のアップサンプリングされたベースレイヤからコピーされる。注目領域スケーラビリティインプリメンテーションは、復号器がエンハンスメントレイヤの非有意符号化ツリーユニットを復号してはならないことを示すための付加エンハンスメント情報メッセージを含む。注目領域スケーラビリティインプリメンテーションは、画像内の注目領域を記録するためにベースレイヤよりも高い空間解像度を有するエンハンスメントレイヤを使用する。注目領域スケーラビリティインプリメンテーションは、画像内の注目領域を記録するためにベースレイヤとは異なるフレームレートを有するエンハンスメントレイヤを使用する。
【０００６】
別の態様において、カメラデバイスの非一時的なメモリにプログラムされたシステムは、ベースレイヤ画像及びエンハンスメントレイヤ画像を取得するように構成されたセンサと、注目領域スケーラビリティインプリメンテーションをエンハンスメントレイヤ画像の一部に適用するように構成された適用構成要素とを含み、エンハンスメントレイヤ画像の一部は、完全なエンハンスメントレイヤ画像よりも小さい。注目領域スケーラビリティインプリメンテーションは、符号器を操作するために付加エンハンスメント情報メッセージと共に注目領域マップをシグナリングする段階を含む。付加エンハンスメント情報メッセージは、注目領域の位置を示す。各注目領域は、有意符号化ツリーユニットの１つ又はそれよりも多くの矩形集合である。付加エンハンスメント情報メッセージは、注目領域の数と、各注目領域に対する画像の走査順序における注目領域内の有意符号化ツリーユニットの各矩形集合の第１の符号化ツリーユニットのアドレスとを含む。アドレスは、差分符号化を用いて符号化される。アドレスは、差分符号化を用いずに符号化される。付加エンハンスメント情報メッセージは、符号化ツリーユニットの数における注目領域の列幅を導出するための情報と、符号化ツリーユニットの数における注目領域の行高さを導出するための情報とを含む。付加エンハンスメント情報メッセージがシグナリングされる時に、符号器は、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、ＳＮＲスケーラビリティに対する同一位置のベースレイヤからコピーされる。付加エンハンスメント情報メッセージがシグナリングされる時に、符号器は、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、空間スケーラビリティに対する同一位置のアップサンプリングされたベースレイヤからコピーされる。注目領域スケーラビリティインプリメンテーションは、復号器がエンハンスメントレイヤの非有意符号化ツリーユニットを復号してはならないことを示すための付加エンハンスメント情報メッセージを含む。注目領域スケーラビリティインプリメンテーションは、画像内の注目領域を記録するためにベースレイヤよりも高い空間解像度を有するエンハンスメントレイヤを使用する。注目領域スケーラビリティインプリメンテーションは、画像内の注目領域を記録するためにベースレイヤとは異なるフレームレートを有するエンハンスメントレイヤを使用する。
【０００７】
別の態様において、装置は、ベースレイヤ画像及びエンハンスメントレイヤ画像を取得するためのかつ完全なエンハンスメントレイヤ画像よりも小さい、エンハンスメントレイヤ画像の一部に注目領域スケーラビリティインプリメンテーションを適用するためのアプリケーションを格納するための非一時的なメモリと、メモリに結合され、アプリケーションを処理するように構成された処理構成要素とを含む。注目領域スケーラビリティインプリメンテーションは、符号器を操作するために付加エンハンスメント情報メッセージと共に注目領域マップをシグナリングする段階を含む。付加エンハンスメント情報メッセージは、注目領域の位置を示す。各注目領域は、有意符号化ツリーユニットの１つ又はそれよりも多くの矩形集合である。付加エンハンスメント情報メッセージは、注目領域の数と、各注目領域に対する画像の走査順序における注目領域内の有意符号化ツリーユニットの各矩形集合の第１の符号化ツリーユニットのアドレスとを含む。アドレスは、差分符号化を用いて符号化される。アドレスは、差分符号化を用いずに符号化される。付加エンハンスメント情報メッセージは、符号化ツリーユニットの数における注目領域の列幅を導出するための情報と、符号化ツリーユニットの数における注目領域の行高さを導出するための情報とを含む。付加エンハンスメント情報メッセージがシグナリングされる時に、符号器は、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、ＳＮＲスケーラビリティに対する同一位置のベースレイヤからコピーされる。付加エンハンスメント情報メッセージがシグナリングされる時に、符号器は、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、空間スケーラビリティに対する同一位置のアップサンプリングされたベースレイヤからコピーされる。注目領域スケーラビリティインプリメンテーションは、復号器がエンハンスメントレイヤの非有意符号化ツリーユニットを復号してはならないことを示すための付加エンハンスメント情報メッセージを含む。注目領域スケーラビリティインプリメンテーションは、画像内の注目領域を記録するためにベースレイヤよりも高い空間解像度を有するエンハンスメントレイヤを使用する。注目領域スケーラビリティインプリメンテーションは、画像内の注目領域を記録するためにベースレイヤとは異なるフレームレートを有するエンハンスメントレイヤを使用する。
【図面の簡単な説明】
【０００８】
【図１】一部の実施形態によるＲＯＩスケーラビリティの図である。
【図２】一部の実施形態による方法１による例示的タイルの図である。
【図３】一部の実施形態による方法２による例示的タイルの図である。
【図４】一部の実施形態によるタイルを用いた例示的暗黙的ＲＯＩマップの図である。
【図５】一部の実施形態によるＲＯＩスケーラビリティ方法を利用する方法の流れ図である。
【図６】一部の実施形態によるＲＯＩスケーラビリティ方法を実施するように構成された例示的コンピュータデバイスのブロック図である。
【発明を実施するための形態】
【０００９】
インテリジェントトラフィックモニタリングシステム、セキュリティモニタリングシステム、又はあらゆる他のシステムでは、コンピュータビジョンは、１つ又はそれよりも多くの「注目領域（ＲＯＩ）」をインテリジェントに識別するためにビデオ記録システムと組み合わせることができる。図１に示すように、記録システムは、より広い視聴区域を有する低解像度のピクチャをベースとして記録し、より高い空間解像度又はより高いピクチャ品質を有するピクチャにおける１つ又はそれよりも多くのＲＯＩをエンハンスメントとして記録することができる。ＲＯＩはまた、ベースレイヤとは異なるフレームレートを有するエンハンスメントレイヤに記録することができる。
【００１０】
ＲＯＩスケーラビリティを使用する用途は、ＲＯＩ内にスケーラビリティを提供することだけに関心がある。従って、ＲＯＩ内のピクセルは、スケーラブルな復号器に対して有意であり、ＲＯＩの外側のピクセルは、復号器に対しては非有意である。
【００１１】
一部の実施形態において、以下が定義される。
ＲＯＩは、「符号化ツリーユニット（ＣＴＵ）」の１つ又はそれよりも多くの矩形集合である。
エンハンスメントレイヤピクチャは、１つ又はそれよりも多くのＲＯＩを有する。
ＲＯＩ内のＣＴＵは、有意なＣＴＵとして定義される。
どのＲＯＩにも存在しないＣＴＵは、非有意なＣＴＵとしてとして定義される。
【００１２】
ＲＯＩの符号化は、高レベル構文変更、低レベル構文変更、又はその両方を用いて実行することができる。
【００１３】
ＲＯＩ内のより多くの詳細を提供する方法を本明細書に説明する。空間スケーラビリティを有するＲＯＩに関しては、「ベースレイヤ（ＢＬ）」のＲＯＩのより多くの詳細を提供することが望ましい。これは、「エンハンスメントレイヤ（ＥＬ）」においてＲＯＩのより多くの詳細を提供することによって達成することができる。ＲＯＩの位置及びエンハンスメントデータが重要である。
【００１４】
ＳＮ比（ＳＮＲ）スケーラビリティを有するＲＯＩに関しては、「ベースレイヤ（ＢＬ）」のＲＯＩのより多くの詳細を提供することが望ましい。これは、「エンハンスメントレイヤ（ＥＬ）」においてＲＯＩのより高い「ピークＳＮＲ（ＰＳＮＲ）」を提供することによって達成することができる。ＲＯＩの位置及びエンハンスメントデータが重要である。
【００１５】
スケーラビリティを有するＲＯＩに関しては、ピクチャ内のＣＴＵは、２つの別々の群に分割される。群のうちの１つにおけるＣＴＵは、有意として指定される。有意ＣＴＵは、ＣＴＵの１つ又はそれよりも多くの矩形集合である。ＲＯＩは、有意ＣＴＵの１つ又はそれよりも多くの矩形集合である。他の群におけるＣＴＵは、非有意として指定される。ＳＮＲスケーラビリティに関しては、非有意ＣＴＵは、同一位置のベースレイヤからピクセルをコピーすることによってＥＬ復号器によって再構成される。空間スケーラビリティに関しては、非有意ＣＴＵは、同一位置のアップサンプリングされたベースレイヤからピクセルをコピーすることによってＥＬ復号器によって再構成される。シグナリング方法に応じて、各非有意ＣＴＵは、スライスセグメントデータにおいて符号化されるか又はされない場合がある。
【００１６】
２つの群のＣＴＵの位置は、以下のタイプの方法、すなわち、明示的又は暗黙的の一方によってシグナリングすることができる。明示的方法では、注目領域の位置は、ビットストリームにおいて明示的にシグナリングされる。暗黙的方法では、注目領域の位置は、ビットストリームにおいて明示的にシグナリングされない。位置は、他の手段により、例えば、「ネットワーク・アブストラクション・レイヤ（ＮＡＬ）」タイプによって暗黙的に導出される。
【００１７】
高レベル構文を用いてＲＯＩをシグナリングするようにＳＨＶＣを拡張するための複数の方法が存在する。以下の方法を説明する。
−ＲＯＩマップをシグナリングするためのＳＥＩメッセージを用いる符号器トリック、
−非有意ＣＴＵを復号するのに復号器を必要としないことを示すためのＳＥＩメッセージ、
−タイル方法１を用いたＲＯＩマップの明示的シグナリング、
−タイル方法２を用いたＲＯＩマップの明示的シグナリング、
−タイルを用いたＲＯＩマップの暗黙的シグナリング、及び
−タイルを用いないＲＯＩマップの暗黙的シグナリング。
【００１８】
符号器トリックを用いた明示的ＲＯＩマップ
エンハンスメントレイヤは、注目領域の位置を示すための「付加エンハンスメント情報（ＳＥＩ）」メッセージを用いて符号化される。ピクチャは、１つ又はそれよりも多くのＲＯＩを有する。各ＲＯＩは、有意ＣＴＵの１つ又はそれよりも多くの矩形集合である。ＳＥＩメッセージは、ＲＯＩの数と、各ＲＯＩに対するピクチャの走査順番におけるＲＯＩ内の有意ＣＴＵの各矩形集合の第１のＣＴＵのアドレスとを含み、このアドレスは、差分符号化、ＣＴＵの数におけるＲＯＩの列幅を導出するための情報、及びＣＴＵの数におけるＲＯＩの行高さを導出するための情報を用いて／用いずに符号化される。ＳＥＩがシグナリングされる時に、符号器は、ビットストリームにエンハンスメントレイヤの非有意ＣＴＵを符号化し、ＳＮＲスケーラビリティに関してエンハンスメントレイヤの全ての非有意ＣＴＵが同一位置のベースレイヤからコピーされるという結果をもたらす。空間スケーラビリティに関しては、エンハンスメントレイヤの全ての非有意ＣＴＵは、同一位置のアップサンプリングされたベースレイヤからコピーされる。
【００１９】
表１は、差分符号化を用いない注目領域ＳＥＩメッセージ構文を示している。
【００２０】
【表１】
2018078602.tif 000003
【００２１】
表２は、差分符号化を用いた注目領域ＳＥＩメッセージ構文を示している。
【００２２】
【表２】
2018078602.tif 000004
【００２３】
表３は、レイヤ間制約タイルセットＳＥＩメッセージ構文を示している。
【００２４】
【表３】
2018078602.tif 000005
【００２５】
レイヤ間制約タイルセットＳＥＩメッセージの範囲は、完全な「符号化ビデオストリーム（ＣＶＳ）」である。レイヤ間制約タイルセットＳＥＩメッセージがＣＶＳのいずれかのアクセスユニットに存在する時に、それは、復号順番におけるＣＶＳの第１のアクセスユニットに存在すべきであり、かつＣＶＳの別のアクセスユニットに対しても同じく存在することができる。
【００２６】
レイヤ間制約タイルセットＳＥＩメッセージは、ｔｉｌｅｓ_ｅｎａｂｌｅｄ_ｆｌａｇが、レイヤに関してアクティブであるいずれかのＰＰＳに対して０に等しい時には、そのレイヤに対して存在すべきではない。
【００２７】
レイヤ間制約タイルセットＳＥＩメッセージは、レイヤに関してアクティブであるあらゆるＰＰＳが、１に等しいｔｉｌｅ_ｂｏｕｎｄａｒｉｅｓ_ａｌｉｇｎｅｄ_ｆｌａｇを有するか、又はｔｉｌｅ_ｂｏｕｎｄａｒｉｅｓ_ａｌｉｇｎｅｄ_ｆｌａｇが１に等しいことで示されるであろう条件を満たさない限り、レイヤに存在すべきではない。
【００２８】
レイヤ間制約タイルセットＳＥＩメッセージの存在は、レイヤ間予測間処理が、各識別タイルセットの外側のサンプル値と識別タイルセットの外側の１つ又はそれよりも多くのサンプル値を使用して導出される部分サンプル位置でのサンプル値とが識別タイルセット内のいずれのサンプルのレイヤ間予測にも使用されないように制約されることを示す。
【００２９】
ループフィルタリング及び再サンプリングフィルタがタイル境界を横切って適用される時に、ピクチャ境界でもないレイヤ間制約タイルセット境界からの８個のサンプル内のサンプルを参照するレイヤ間制約タイルセット内のいずれかのサンプルのレイヤ間予測は、ミスマッチエラーの伝播をもたらす場合がある。符号器は、このような参照を引き起こす動きベクトルの使用を回避することにより、このような潜在的エラー伝播を回避することができる。
【００３０】
１つよりも多いレイヤ間制約タイルセットＳＥＩメッセージがＣＶＳのアクセスユニット内に存在する時に、それらは、同一コンテンツを含むべきである。
【００３１】
一部の実施形態において、各アクセスユニット内のレイヤ間制約タイルセットＳＥＩメッセージの数は、５を超えてはならない。
【００３２】
１に等しいｉｌ_ａｌｌ_ｔｉｌｅｓ_ｅｘａｃｔ_ｓａｍｐｌｅ_ｖａｌｕｅ_ｍａｔｃｈ_ｆｌａｇは、ＣＶＳ内で、あらゆる識別タイルの外側にある符号化ツリーブロックが復号されず、かつ識別タイルの境界が復号処理のためにピクチャ境界として処理される時に、識別タイル内の各サンプルの値が、ＣＶＳ内の全てのピクチャの全ての符号化ツリーブロックが復号される時に得られるサンプルの値とちょうど同じであることを示す。０に等しいｉｌ_ａｌｌ_ｔｉｌｅｓ_ｅｘａｃｔ_ｓａｍｐｌｅ_ｖａｌｕｅ_ｍａｔｃｈ_ｆｌａｇは、ＣＶＳ内で、あらゆる識別タイルの外側にある符号化ツリーブロックが復号されず、かつ識別タイルの境界が復号処理のためにピクチャ境界として処理される時に、識別タイル内の各サンプルの値が、ＣＶＳ内の全てのピクチャの全ての符号化ツリーブロックが復号される時の同じサンプルの値とちょうど同じであるか又は同じでない場合があることを示す。
【００３３】
１に等しいｉｌ_ｏｎｅ_ｔｉｌｅ_ｐｅｒ_ｔｉｌｅ_ｓｅｔ_ｆｌａｇは、各レイヤ間制約タイルセットが１つのタイルを含み、かつｉｌ_ｎｕｍ_ｓｅｔｓ_ｉｎ_ｍｅｓｓａｇｅ_ｍｉｎｕｓ１が存在しないことを示す。ｉｌ_ｏｎｅ_ｔｉｌｅ_ｐｅｒ_ｔｉｌｅ_ｓｅｔ_ｆｌａｇが０に等しい時に、タイルセットは、明示的にシグナリングされる。
【００３４】
ｉｌ_ｎｕｍ_ｓｅｔｓ_ｉｎ_ｍｅｓｓａｇｅ_ｍｉｎｕｓ１プラス１は、ＳＥＩメッセージ内で識別されるレイヤ間タイルセットの数を指定する。ｉｌ_ｎｕｍ_ｓｅｔｓ_ｉｎ_ｍｅｓｓａｇｅ_ｍｉｎｕｓ１の値は、包含的に０から２５５の範囲にあるべきである。
【００３５】
１に等しいｓｋｉｐｐｅｄ_ｔｉｌｅ_ｓｅｔ_ｐｒｅｓｅｎｔ_ｆｌａｇは、ＣＶＳ内で、タイルセットが、同じメッセージ内の前のどのタイルセットにも含まれないタイルセットの残りのタイルを含み、ｉｃｔｓＮｕｈＬａｙｅｒＩｄに等しいｎｕｈ_ｌａｙｅｒ_ｉｄを有する識別タイルセットの内側にある全ての予測ブロックが、ＲｅｆＬａｙｅｒＩｄ［ｉｃｔｓＮｕｈＬａｙｅｒＩｄ］［ＮｕｍＤｉｒｅｃｔＲｅｆＬａｙｅｒｓ［ｉｃｔｓＮｕｈＬａｙｅｒＩｄ］−１］に等しいｎｕｈ_ｌａｙｅｒ_ｉｄを有するレイヤ間参照ピクチャからレイヤ間予測され、ｒｅｓｉｄｕａｌ_ｃｏｄｉｎｇ（）構文構造体が、識別タイルセットのどの変換ユニットにも存在しないことを示し、ここで、ｉｃｔｓＮｕｈＬａｙｅｒＩｄは、このＳＥＩメッセージのｎｕｈ_ｌａｙｅｒ_ｉｄの値である。０に等しいｓｋｉｐｐｅｄ_ｔｉｌｅ_ｓｅｔ_ｐｒｅｓｅｎｔ_ｆｌａｇは、ＣＶＳ内のビットストリーム制約を示さない。ｓｋｉｐｐｅｄ_ｔｉｌｅ_ｓｅｔ_ｐｒｅｓｅｎｔ_ｆｌａｇが存在しない時に、ｓｋｉｐｐｅｄ_ｔｉｌｅ_ｓｅｔ_ｐｒｅｓｅｎｔ_ｆｌａｇの値は、０に等しいと推測される。
【００３６】
ｉｌｃｔｓ_ｉｄ［ｉ］は、ｉ番目の識別タイルセットの目的（例えば、特定の目的で符号化ビデオシーケンスから抽出されることになる区域を識別するため）を識別するために使用することができる識別数を含む。ｉｌｃｔｓ_ｉｄ［ｉ］の値は、包含的に０から２32−２の範囲にあるべきである。
【００３７】
０から２５５及び５１２から２31−１のｉｌｃｔｓ_ｉｄ［ｉ］の値は、用途によって決定されるように使用することができる。２５６から５１１及び２31から２32−２のｉｌｃｔｓ_ｉｄ［ｉ］の値は、ＩＴＵ−Ｔ｜ＩＳＯ／ＩＥＣによる将来の使用のために予約されている。２５６から５１１の範囲内又は２31から２32−２の範囲にあるｉｌｃｔｓ_ｉｄ［ｉ］の値に遭遇する復号器は、それを無視すべきである（ビットストリームから取り除き、廃棄する）。
【００３８】
ｉｌ_ｎｕｍ_ｔｉｌｅ_ｒｅｃｔｓ_ｉｎ_ｓｅｔ_ｍｉｎｕｓ１［ｉ］プラス１は、ｉ番目の識別レイヤ間制約タイルセット内のタイルの矩形領域の数を指定する。ｉｌ_ｎｕｍ_ｔｉｌｅ_ｒｅｃｔｓ_ｉｎ_ｓｅｔ_ｍｉｎｕｓ１［ｉ］の値は、包含的に０から（ｎｕｍ_ｔｉｌｅ_ｃｏｌｕｍｎｓ_ｍｉｎｕｓ１＋１）*（ｎｕｍ_ｔｉｌｅ_ｒｏｗｓ_ｍｉｎｕｓ１＋１）−１の範囲にあるべきである。
【００３９】
ｉｌ_ｔｏｐ_ｌｅｆｔ_ｔｉｌｅ_ｉｎｄｅｘ［ｉ］［ｊ］及びｉｌ_ｂｏｔｔｏｍ_ｒｉｇｈｔ_ｔｉｌｅ_ｉｎｄｅｘ［ｉ］［ｊ］は、それぞれ、ラスター走査順番におけるｉ番目の識別レイヤ間制約タイルセットの矩形領域内の左上タイルのタイル位置及び右下タイルのタイル位置を識別する。
【００４０】
１に等しいｉｌｃ_ｉｄｃ［ｉ］は、ＣＶＳ内で、ｉ番目の識別タイルセットの外側のサンプルとｉ番目の識別タイルセットの外側の１つ又はそれよりも多くのサンプルを使用して導出される部分サンプルの位置でのサンプルとが、ｉｃｔｓＮｕｈＬａｙｅｒＩｄに等しいｎｕｈ_ｌａｙｅｒ_ｉｄを有するｉ番目の識別タイルセット内のいずれかサンプルのレイヤ間予測にも使用されことを示し、ここで、ｉｃｔｓＮｕｈＬａｙｅｒＩｄは、このメッセージのｎｕｈ_ｌａｙｅｒ_ｉｄの値である。２に等しいｉｌｃ_ｉｄｃ［ｉ］［ｊ］は、ＣＶＳ内で、ｉｃｔｓＮｕｈＬａｙｅｒＩｄに等しいｎｕｈ_ｌａｙｅｒ_ｉｄを有するｉ番目の識別タイルセット内の予測ブロックが、レイヤ間参照ピクチャから予測されないことを示す。０に等しいｉｌｃ_ｉｄｃ［ｉ］［ｊ］は、ＣＶＳ内で、レイヤ間予測処理が、ｉｃｔｓＮｕｈＬａｙｅｒＩｄに等しいｎｕｈ_ｌａｙｅｒ_ｉｄを有するｉ番目の識別タイルセット内の予測ブロックに関して制約することができるか又は制約できないことを示す。３に等しいｉｌｃ_ｉｄｃ［ｉ］の値は予約されている。
【００４１】
１に等しいｉｌ_ｅｘａｃｔ_ｓａｍｐｌｅ_ｖａｌｕｅ_ｍａｔｃｈ_ｆｌａｇ［ｉ］は、レイヤ間制約タイルセットに属しない符号化ツリーブロックが復号されず、かつｉ番目のレイヤ間制約タイルセットの境界が復号処理のためにピクチャ境界として処理される時に、ＣＶＳ内で、レイヤ間制約タイルセット内の各サンプルの値が、符号化ビデオシーケンス内の全てのピクチャの全ての符号化ツリーブロックが復号される時に得られるサンプルの値とちょうど同じであることを示す。０に等しいｉｌ_ｅｘａｃｔ_ｓａｍｐｌｅ_ｖａｌｕｅ_ｍａｔｃｈ_ｆｌａｇ［ｉ］は、ｉ番目の識別レイヤ間制約タイルセットの外側にある符号化ツリーブロックが復号されず、かつｉ番目のレイヤ間制約タイルセットの境界が復号処理のためにピクチャ境界として処理される時に、ＣＶＳ内で、識別タイルセット内の各サンプルの値が、ピクチャの全ての符号化ツリーブロックが復号される時の同じサンプルの値とちょうど同じであるか又は同じでない場合があることを示す。
【００４２】
ｌｏｏｐ_ｆｉｌｔｅｒ_ａｃｒｏｓｓ_ｔｉｌｅｓ_ｅｎａｂｌｅｄ_ｆｌａｇと、ｐｐｓ_ｌｏｏｐ_ｆｉｌｔｅｒ_ａｃｒｏｓｓ_ｓｌｉｃｅｓ_ｅｎａｂｌｅｄ_ｆｌａｇと、ｐｐｓ_ｄｅｂｌｏｃｋｉｎｇ_ｆｉｌｔｅｒ_ｄｉｓａｂｌｅｄ_ｆｌａｇと、ｓｌｉｃｅ_ｌｏｏｐ_ｆｉｌｔｅｒ_ａｃｒｏｓｓ_ｓｌｉｃｅｓ_ｅｎａｂｌｅｄ_ｆｌａｇと、ｓｌｉｃｅ_ｄｅｂｌｏｃｋｉｎｇ_ｆｉｌｔｅｒ_ｄｉｓａｂｌｅｄ_ｆｌａｇと、ｓａｍｐｌｅ_ａｄａｐｔｉｖｅ_ｏｆｆｓｅｔ_ｅｎａｂｌｅｄ_ｆｌａｇと、ｓｌｉｃｅ_ｓａｏ_ｌｕｍａ_ｆｌａｇと、ｓｌｉｃｅ_ｓａｏ_ｃｈｒｏｍａ_ｆｌａｇとのある一定の組合せを使用する時に、１に等しいｉｌ_ｅｘａｃｔ_ｓａｍｐｌｅ_ｖａｌｕｅ_ｍａｔｃｈ_ｆｌａｇを使用することが適切である。１に等しいａｌｌ_ｔｉｌｅｓ_ｉｌｃ_ｉｄｃは、ＣＶＳ内で、各識別タイルの外側のサンプル値と識別タイルの外側の１つ又はそれよりも多くのサンプルを使用して導出される部分サンプルの位置でのサンプル値とが、ｉｃｔｓＮｕｈＬａｙｅｒＩｄに等しいｎｕｈ_ｌａｙｅｒ_ｉｄを有する識別タイル内のいずれのサンプルのレイヤ間予測にも使用されないことを示し、ここで、ｉｃｔｓＮｕｈＬａｙｅｒＩｄは、ＳＥＩメッセージのｎｕｈ_ｌａｙｅｒ_ｉｄの値である。２に等しいａｌｌ_ｔｉｌｅｓ_ｉｌｃ_ｉｄｃは、ＣＶＳ内で、ｉｃｔｓＮｕｈＬａｙｅｒＩｄに等しいｎｕｈ_ｌａｙｅｒ_ｉｄを有する各識別タイル内の予測ブロックが、レイヤ間参照ピクチャから予測されないことを示す。０に等しいａｌｌ_ｔｉｌｅｓ_ｉｌｃ_ｉｄｃは、ＣＶＳ内で、レイヤ間予測処理が、ｉｃｔｓＮｕｈＬａｙｅｒＩｄに等しいｎｕｈ_ｌａｙｅｒ_ｉｄを有するタイルに関して制約することができるか又は制約できないことを示す。３に等しいａｌｌ_ｔｉｌｅｓ_ｉｌｃ_ｉｄｃの値は予約されている。
【００４３】
ＳＥＩを復号しないメッセージ
ＳＥＩを復号しないメッセージを送って、復号器が、エンハンスメントレイヤの有意ＣＴＵを復号するためにエンハンスメントレイヤの非有意ＣＴＵを復号する必要がないことを示すことができる。ＳＥＩを復号しないメッセージは、符号器が、動き補償処理、予測内処理、及び／又はエントロピー符号化処理に制限を加えることを示すことができる。
【００４４】
タイル方法１を用いた明示的ＲＯＩマップ
エンハンスメントレイヤは、各ＲＯＩがタイルの矩形領域であり、かつＲＯＩマップが有意タイルのリストによってシグナリングされるタイル構造を用いて符号化される。
【００４５】
ＲＯＩ内にあるタイルは、有意タイルと呼ばれ、そうでなければ、タイルは、非有意タイルである。有意タイルは、有意ＣＴＵの集合である。非有意タイルは、非有意ＣＴＵの集合である。
【００４６】
有意タイルのリストは、「ピクチャパラメータセット（ＰＰＳ）」「生バイトシーケンスペイロード（ＲＢＳＰ）」、又はスライスセグメントレイヤＲＢＳＰ上の新しいＲＢＳＰタイプによってシグナリングされる。このリストは、タイルインデクスのリストによってシグナリングされる。このタイルインデクスは、ピクチャ内のタイルの走査順序におけるタイルのインデクスである。タイルインデクスは、差分符号化を用いて又はそれを用いずに符号化される。
【００４７】
エンハンスメントレイヤは、以下の条件下でも符号化される。第１のタイルが第１の有意タイルでない時に、このタイルは、第１の有意タイルの前の全ての非有意タイルの集合がピクチャの第１のスライスであること、及び第１の有意タイルの第１のＣＴＵが第２のスライスの第１のＣＴＵであることのうちの全ての条件下で符号化される。そうでなければ、第１のタイルは、第１の有意タイルであり、第１の有意タイルの第１のＣＴＵは、第１のスライスの第１のＣＴＵである。スライスの第１のＣＴＵは、ピクチャの第１のＣＴＵ又は有意タイルの第１のＣＴＵのいずれかである。２つの有意タイルの間に１つ又はそれよりも多くの非有意タイルが存在する時に、２つの有意タイルの間の非有意タイルは、スライスセグメントを形成する。ピクチャ内の最後の有意タイルの後に１つ又はそれよりも多くの非有意タイルが存在する時に、最後の有意タイルの後の非有意タイルは、スライスセグメントを形成する。条件のうちの一方は、真であり、すなわち、連続した番号の有意タイルは、スライス又はスライスセグメントを形成し、又は有意タイルは、１つ又はそれよりも多くのスライス又はスライスセグメントである。任意的なメッセージを使用して、各ＲＯＩが、動き補償処理をＲＯＩ内に制限することによって個別に復号可能であることを示すことができる。この制限は、ＳＨＶＣにおけるエンハンスメントレイヤ内の個々のＲＯＩに対するものである。
【００４８】
図２は、方法１を用いたタイルの実施例のブロック図である。エンハンスメントレイヤのピクチャは、１６個のタイルに分割される。エンハンスメントレイヤの非有意タイルは、非有意ＣＴＵのみを有するタイルである。エンハンスメントレイヤの非有意ＣＴＵは、ベースレイヤ（ＳＮＲスケーラビリティ）又は補間ベースレイヤ（空間スケーラビリティ）のいずれかからコピーされたＣＴＵピクセルを有するＣＴＵである。図２に示すように、タイル５は、２つのスライスセグメントを有し、タイル１０は、１つのスライスセグメントを有する。タイル５及びタイル１０のみが、有意タイルである。タイル５及びタイル１０のみが、ｓｌｉｃｅ_ｓｅｇｍｅｎｔ_ｌａｙｅｒ_ｒｂｓｐ（）を用いて符号化される。非有意タイルは、非有意スライスセグメントレイヤＲＢＳＰによってシグナリングされ、有意タイルは、規則的スライスセグメントレイヤＲＢＳＰによってシグナリングされる。
【００４９】
タイル方法２を用いた明示的ＲＯＩマップ
エンハンスメントレイヤは、以下を用いて符号化される。エンハンスメントレイヤは、タイル構造を用いて符号化される。各ＲＯＩは、タイルの矩形領域である。ＲＯＩ内にあるタイルは、有意タイルと呼ばれ、そうでなければ、タイルは、非有意タイルである。有意タイルは、有意ＣＴＵの集合である。非有意タイルは、非有意ＣＴＵの集合である。
【００５０】
ＲＯＩマップは、有意タイルのリストによってシグナリングされる。有意タイルのリストは、「ピクチャパラメータセット（ＰＰＳ）」「生バイトシーケンスペイロード（ＲＢＳＰ）」、又はスライスセグメントレイヤＲＢＳＰ上の新しいＲＢＳＰタイプによってシグナリングされる。このリストは、タイルインデクスのリストによってシグナリングされる。このタイルインデクスは、ピクチャ内のタイルの走査順序におけるタイルのインデクスである。タイルインデクスは、差分符号化を用いて又はそれを用いずに符号化される。
【００５１】
スライスセグメントが１つ又はそれよりも多くのタイルを有する時に、スライスセグメントが１つ又はそれよりも多くの有意タイルを有すること、スライスセグメントが１つよりも多い有意タイルを有する時に有意タイルが連続的な順番にあること（例えば、ｓｌｉｃｅ_ｓｅｇｍｅｎｔ_ｄａｔｅ（）におけるＣＴＵが連続的な順番である）、及びスライスセグメント内の最後のタイルが、それがピクチャ内の最後のスライスセグメントであることを除いて有意であることの全ては、真であるとして符号化される。
【００５２】
タイルが１つ又はそれよりも多くのセグメントを有する時に、タイルは有意である。
【００５３】
任意的なメッセージを使用して、各ＲＯＩが、動き補償処理をＲＯＩ内に制限することによって個別に復号可能であることを示すことができる。この制限は、ＳＨＶＣにおけるエンハンスメントレイヤ内の個々のＲＯＩに対するものである。
【００５４】
図３は、方法２を用いたタイルの実施例のブロック図である。ピクチャは、１６個のタイルに分割される。非有意タイルは、非有意ＣＴＵのみを有するタイルである。非有意ＣＴＵは、ベースレイヤ（ＳＮＲスケーラビリティ）又は補間ベースレイヤ（空間スケーラビリティ）のいずれかからコピーされたＣＴＵピクセルを有するＣＴＵである。図３に示すように、タイル５は、Ｓｌｉｃｅ０−Ｓｅｇ０のｓｌｉｃｅ_ｓｅｇｍｅｎｔ_ｄａｔａ（）において符号化され、タイル１０は、Ｓｌｉｃｅ０−Ｓｅｇ１のｓｌｉｃｅ_ｓｅｇｍｅｎｔ_ｄａｔａ（）において符号化される。
【００５５】
表４は、ＰＰＳにおいてタイルを用いた明示的ＲＯＩマップの例示的コードを示している。
【００５６】
【表４】
2018078602.tif 000006
【表５】
2018078602.tif 000007
【００５７】
【表６】
2018078602.tif 000008
【００５８】
【表７】
2018078602.tif 000009
【００５９】
タイルを用いた暗黙的ＲＯＩマップ
エンハンスメントレイヤは、以下を用いて符号化される。エンハンスメントレイヤは、タイル構造を用いて符号化される。タイルは、有意タイル又は非有意タイルのいずれかである。有意タイルは、有意ＣＴＵの集合である。非有意タイルは、非有意ＣＴＵの集合である。有意タイルが１つ又はそれよりも多くのスライス又はスライスセグメントを含むこと、又は連続した番号の有意タイルがスライス又はスライスセグメントであることのうちの一方は、真であるとして符号化される。
【００６０】
ＲＯＩマップは、以下のように暗黙的にシグナリングされる。１つ又はそれよりも多くの非有意タイルは、非有意スライスセグメントのための新しいＮＡＬユニットタイプを有するｎｏｎ_ｓｉｇｎｉｆｉｃａｎｔ_ｓｌｉｃｅ_ｓｅｇｍｅｎｔ_ｒｂｓｐ（）によってシグナリングされる。有意タイルは、ｎａｌ_ｕｎｉｔ_ｔｙｐｅが符号化スライスセグメントＮＡＬユニットであることを示すｎａｌ_ｕｎｉｔ_ｔｙｐｅを有するＮＡＬユニットにおいて符号化される。
【００６１】
任意的なメッセージを使用して、各ＲＯＩが、動き補償処理をＲＯＩ内に制限することによって個別に復号可能であることを示すことができる。この制限は、ＳＨＶＣにおけるエンハンスメントレイヤ内の個々のＲＯＩに対するものである。
【００６２】
表７は、タイルを用いたｎｏｎ_ｓｉｇｎｉｆｉｃａｎｔ_ｌａｙｅｒ_ｒｂｓｐ（）を示している。
【００６３】
【表８】
2018078602.tif 000010
【００６４】
図４は、タイルを用いた暗黙的ＲＯＩマップの図である。ピクチャは、１６個のタイルに分割される。非有意タイルは、非有意ＣＴＵのみを有するタイルである。非有意ＣＴＵは、ベースレイヤ（ＳＮＲスケーラビリティ）又は補間ベースレイヤ（空間スケーラビリティ）のいずれかからコピーされたＣＴＵピクセルを有するＣＴＵである。図４に示すように、セグメント０、セグメント３、及びセグメント５は、非有意スライスセグメントである。セグメント１、セグメント２、及びセグメント４は、規則的スライスセグメントである。
【００６５】
タイルを用いない暗黙的ＲＯＩマップ
エンハンスメントレイヤは、以下を用いて符号化される。ＲＯＩマップは、以下のように暗黙的にシグナリングされる。１つ又はそれよりも多くの非有意ＣＴＵは、非有意スライスセグメントのための新しいＮＡＬユニットタイプを有するｎｏｎ_ｓｉｇｎｉｆｉｃａｎｔ_ｓｌｉｃｅ_ｓｅｇｍｅｎｔ_ｒｂｓｐ（）によってシグナリングされる。１つ又はそれよりも多くの連続有意ＣＴＵは、ｎａｌ_ｕｎｉｔ_ｔｙｐｅが符号化スライスセグメントＮＡＬユニットであることを示すｎａｌ_ｕｎｉｔ_ｔｙｐｅを有するＮＡＬユニットにおいて符号化される。
【００６６】
任意的なメッセージを使用して、各ＲＯＩが、動き補償処理をＲＯＩ内に制限することによって個別に復号可能であることを示すことができる。この制限は、ＳＨＶＣにおけるエンハンスメントレイヤ内の個々のＲＯＩに対するものである。
【００６７】
表８は、タイルを用いないｎｏｎ_ｓｉｇｎｉｆｉｃａｎｔ_ｌａｙｅｒ_ｒｂｓｐ（）を示している。
【００６８】
【表９】
2018078602.tif 000011
【００６９】
表９は、ＰＰＳにおける明示的ＲＯＩマップの例示的コードを示している。
【００７０】
【表１０】
2018078602.tif 000012
【表１１】
2018078602.tif 000013
【００７１】
表１０は、差分符号化を用いない注目領域マップを示している。
【００７２】
【表１２】
2018078602.tif 000014
【００７３】
表１１は、差分符号化を用いた注目領域マップを示している。
【００７４】
【表１３】
2018078602.tif 000015
【００７５】
省略ピクチャ及び省略スライス
非有意スライスセグメントは、スライスセグメント内のＣＴＵが、ＳＮＲスケーラビリティのためのベースレイヤからピクセルをコピーするか、又は空間スケーラビリティのためのアップサンプリングされたベースレイヤからピクセルをコピーすることによってＳＨＶＣ復号器により再構成されることを示すことができる。
【００７６】
エンハンスメントレイヤ内の全体のピクチャが、１つ又はそれよりも多くの非有意スライスセグメントのみを含む時に、ピクチャ内のＣＴＵの全ては、ＳＮＲスケーラビリティのためのベースレイヤからピクセルをコピーするか、又は空間スケーラビリティのためのアップサンプリングされたベースレイヤからピクセルをコピーすることによってＳＨＶＣ復号器により再構成される。
【００７７】
エンハンスメントレイヤ内の全体のスライスが、１つ又はそれよりも多くの非有意スライスセグメントのみを含む時に、スライス内のＣＴＵの全ては、ＳＮＲスケーラビリティのためのベースレイヤからピクセルをコピーするか、又は空間スケーラビリティのためのアップサンプリングされたベースレイヤからピクセルをコピーすることによってＳＨＶＣ復号器により再構成される。
【００７８】
図５は、一部の実施形態によるＲＯＩスケーラビリティ方法を実施する方法の流れ図である。段階５００において、ビデオが取得される。一部の実施形態において、ベースレイヤ画像及びエンハンスメントレイヤ画像が取得される。段階５０２において、ＲＯＩスケーラビリティ方法が、ビデオ内のビデオ又は画像の一部に適用される。一部の実施形態において、ＲＯＩスケーラビリティ方法は、エンハンスメントレイヤ画像の一部に適用される。一部の実施形態において、ＲＯＩスケーラビリティ方法は、ビデオが取得されている間及び／又はその後に適用される。例えば、ＲＯＩスケーラビリティ方法は、ビデオが記録されている間に適用される。一部の実施形態において、より少ないか又は追加の段階が実施される。
【００７９】
図６は、一部の実施形態によってＲＯＩスケーラビリティ方法を実施するように構成された例示的コンピュータデバイスのブロック図である。コンピュータデバイス６００を使用して画像及びビデオのような情報を取得、格納、計算、処理、通信、及び／又は表示することができる。一般的に、コンピュータデバイス６００を実施するのに好ましいハードウエア構造は、ネットワークインタフェース６０２、メモリ６０４、プロセッサ６０６、Ｉ／Ｏデバイス６０８、バス６１０、及びストレージデバイス６１２を含む。プロセッサの選択は、十分な速度が選択される限り重要でない。メモリ６０４は、当業技術で公知のいずれかの従来型コンピュータメモリとすることができる。ストレージデバイス６１２は、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、高精細ディスク／ドライブ、超高精細ドライブ、フラッシュメモリカード、又は他のいずれかのストレージデバイスを含むことができる。コンピュータデバイス６００は、１つ又はそれよりも多くのネットワークインタフェース６０２を含むことができる。ネットワークインタフェースの例は、イーサネット(登録商標)又は他のタイプのＬＡＮに接続したネットワークカードを含む。Ｉ／Ｏデバイス６０８は、キーボード、マウス、モニタ、スクリーン、プリンタ、モデム、タッチスクリーン、ボタンインタフェース、及び他のデバイスのうちの１つ又はそれよりも多くを含むことができる。ＲＯＩスケーラビリティ方法を実施するのに使用されるＲＯＩスケーラビリティアプリケーション６３０は、ストレージデバイス６１２及びメモリ６０４に格納される可能性が高く、かつアプリケーションが典型的に処理されるように処理される。コンピュータデバイス６００には、図６に示されているよりも多いか又は少ない構成要素を含めることができる。一部の実施形態において、ＲＯＩスケーラビリティハードウエア６２０が含まれる。図６におけるコンピュータデバイス６００は、ＲＯＩスケーラビリティ方法のためのアプリケーション６３０及びハードウエア６２０を含むが、ＲＯＩスケーラビリティ方法は、コンピュータデバイス上でハードウエア、ファームウエア、ソフトウエア、又はそれらのいずれかの組合せに実施することができる。例えば、一部の実施形態において、ＲＯＩスケーラビリティアプリケーション６３０は、メモリにプログラムされ、かつプロセッサを使用して実行される。別の例では、一部の実施形態において、ＲＯＩスケーラビリティハードウエア６２０は、ＲＯＩスケーラビリティ方法を実施するように専用に設計されたゲートを含むプログラム式ハードウエア論理である。
【００８０】
一部の実施形態において、ＲＯＩスケーラビリティアプリケーション６３０は、いくつかのアプリケーション及び／又はモジュールを含む。一部の実施形態において、モジュールはまた、１つ又はそれよりも多くのサブモジュールを含む。一部の実施形態において、より少ないか又は追加のモジュールを含むことができる。
【００８１】
適切なコンピュータデバイスの例は、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、手持ち式コンピュータ、携帯情報端末、セルラー電話／携帯電話、スマート家電、ゲームコンソール、デジタルカメラ、デジタルカムコーダ、カメラ付き携帯電話、スマートフォン、携帯音楽プレーヤ、タブレットコンピュータ、モバイルデバイス、ビデオプレーヤ、ビデオディスク書込機／再生機（例えば、ＤＶＤ書込機／再生機、高精細ディスク書込機／再生機、超高精細ディスク書込機／再生機）、テレビジョン、ホームエンタテインメントシステム、スマートジュエリー（例えば、スマートウォッチ）、又は他のいずれかの適切なコンピュータデバイスを含む。
【００８２】
ＲＯＩスケーラビリティ方法を利用するために、デジタルビデオカメラのようなデバイスを使用してビデオを取得することができる。ＲＯＩスケーラビリティ方法は、ビデオを取得している間又はその後に自動的に実施される。ＲＯＩスケーラビリティ方法は、ユーザが関わることなく自動的に実施することができる。
【００８３】
作動において、全体のピクチャではなくピクチャの一部（例えば、全体のエンハンスメント画像ではなくエンハンスメント画像の一部）に対してスケーラビリティを使用するＲＯＩスケーラビリティ方法を実施することができる。ＲＯＩスケーラビリティの用途は、トラフィックモニタリング、セキュリティモニタリング、及びタイル化ストリーミングを含む。
【００８４】
ＳＨＶＣでの注目領域スケーラビリティの一部の実施形態
１．ａ．ベースレイヤ画像及びエンハンスメントレイヤ画像を取得する段階と、ｂ．完全なエンハンスメントレイヤ画像よりも小さい、エンハンスメントレイヤ画像の一部に注目領域スケーラビリティインプリメンテーションを適用する段階とを含むデバイスの非一時的なメモリにプログラムされた方法。
２．注目領域スケーラビリティインプリメンテーションが、符号器を操作するために付加エンハンスメント情報メッセージと共に注目領域マップをシグナリングする段階を含む条項１の方法。
３．付加エンハンスメント情報メッセージが注目領域の位置を示す条項２の方法。
４．各注目領域が、有意な符号化ツリーユニットの１つ又はそれよりも多くの矩形集合である条項２の方法。
５．付加エンハンスメント情報メッセージが、注目領域の数と、各注目領域に対する画像の走査順序における注目領域内の有意符号化ツリーユニットの各矩形集合の第１の符号化ツリーユニットのアドレスとを含む条項２の方法。
６．アドレスが、差分符号化を用いて符号化される条項５の方法。
７．アドレスが、差分符号化を用いずに符号化される条項５の方法。
８．付加エンハンスメント情報メッセージが、符号化ツリーユニットの数における注目領域の列幅を導出するための情報と符号化ツリーユニットの数における注目領域の行高さを導出するための情報とを含む条項２の方法。
９．付加エンハンスメント情報メッセージがシグナリングされる時に、符号器が、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、ＳＮＲスケーラビリティに対する同一位置のベースレイヤからコピーされる条項２の方法。
１０．付加エンハンスメント情報メッセージがシグナリングされる時に、符号器が、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、空間スケーラビリティに対する同一位置のアップサンプリングされたベースレイヤからコピーされる条項２の方法。
１１．注目領域スケーラビリティインプリメンテーションが、復号器がエンハンスメントレイヤの非有意符号化ツリーユニットを復号してはならないことを示すための付加エンハンスメント情報メッセージを含む条項１の方法。
１２．注目領域スケーラビリティインプリメンテーションが、画像内の注目領域を記録するためにベースレイヤよりも高い空間解像度を有するエンハンスメントレイヤを使用する条項１の方法。
１３．注目領域スケーラビリティインプリメンテーションが、画像内の注目領域を記録するためにベースレイヤとは異なるフレームレートを有するエンハンスメントレイヤを使用する条項１の方法。
１４．ａ．ベースレイヤ画像及びエンハンスメントレイヤ画像を取得するように構成されたセンサと、ｂ．完全なエンハンスメントレイヤ画像よりも小さい、エンハンスメントレイヤ画像の一部に注目領域スケーラビリティインプリメンテーションを適用するように構成された適用構成要素とを含むカメラデバイスの非一時的なメモリにプログラムされたシステム。
１５．注目領域スケーラビリティインプリメンテーションが、符号器を操作するために付加エンハンスメント情報メッセージと共に注目領域マップをシグナリングする段階を含む条項１４のシステム。
１６．付加エンハンスメント情報メッセージが注目領域の位置を示す条項１５のシステム。
１７．各注目領域が、有意な符号化ツリーユニットの１つ又はそれよりも多くの矩形集合である条項１５のシステム。
１８．付加エンハンスメント情報メッセージが、注目領域の数と、各注目領域に対する画像の走査順序における注目領域内の有意符号化ツリーユニットの各矩形集合の第１の符号化ツリーユニットのアドレスとを含む条項１５のシステム。
１９．アドレスが、差分符号化を用いて符号化される条項１８のシステム。
２０．アドレスが、差分符号化を用いずに符号化される条項１８のシステム。
２１．付加エンハンスメント情報メッセージが、符号化ツリーユニットの数における注目領域の列幅を導出するための情報と符号化ツリーユニットの数における注目領域の行高さを導出するための情報とを含む条項１５のシステム。
２２．付加エンハンスメント情報メッセージがシグナリングされる時に、符号器が、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、ＳＮＲスケーラビリティに対する同一位置のベースレイヤからコピーされる条項１５のシステム。
２３．付加エンハンスメント情報メッセージがシグナリングされる時に、符号器が、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、空間スケーラビリティに対する同一位置のアップサンプリングされたベースレイヤからコピーされる条項１５のシステム。
２４．注目領域スケーラビリティインプリメンテーションが、復号器がエンハンスメントレイヤの非有意符号化ツリーユニットを復号してはならないことを示すための付加エンハンスメント情報メッセージを含む条項１４のシステム。
２５．注目領域スケーラビリティインプリメンテーションが、画像内の注目領域を記録するためにベースレイヤよりも高い空間解像度を有するエンハンスメントレイヤを使用する条項１４のシステム。
２６．注目領域スケーラビリティインプリメンテーションが、画像内の注目領域を記録するためにベースレイヤとは異なるフレームレートを有するエンハンスメントレイヤを使用する条項１４のシステム。
２７．ａ．ｉ．ベースレイヤ画像及びエンハンスメントレイヤ画像を取得し、かつｉｉ．完全なエンハンスメントレイヤ画像よりも小さい、エンハンスメントレイヤ画像の一部に注目領域スケーラビリティインプリメンテーションを適用するためのアプリケーションを格納するための非一時的なメモリと、ｂ．メモリに結合され、アプリケーションを処理するように構成された処理構成要素とを含む装置。
２８．注目領域スケーラビリティインプリメンテーションが、符号器を操作するために付加エンハンスメント情報メッセージと共に注目領域マップをシグナリングする段階を含む条項２７の装置。
２９．付加エンハンスメント情報メッセージが注目領域の位置を示す条項２８の装置。
３０．各注目領域が、有意な符号化ツリーユニットの１つ又はそれよりも多くの矩形集合である条項２８の装置。
３１．付加エンハンスメント情報メッセージが、注目領域の数と、各注目領域に対する画像の走査順序における注目領域内の有意符号化ツリーユニットの各矩形集合の第１の符号化ツリーユニットのアドレスとを含む条項２８の装置。
３２．アドレスが、差分符号化を用いて符号化される条項３１の装置。
３３．アドレスが、差分符号化を用いずに符号化される条項３１の装置。
３４．付加エンハンスメント情報メッセージが、符号化ツリーユニットの数における注目領域の列幅を導出するための情報と符号化ツリーユニットの数における注目領域の行高さを導出するための情報とを含む条項２８の装置。
３５．付加エンハンスメント情報メッセージがシグナリングされる時に、符号器が、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、ＳＮＲスケーラビリティに対する同一位置のベースレイヤからコピーされる条項２８の装置。
３６．付加エンハンスメント情報メッセージがシグナリングされる時に、符号器が、ビットストリームにエンハンスメントレイヤの非有意符号化ツリーユニットを符号化し、エンハンスメントレイヤの全ての非有意符号化ツリーユニットは、空間スケーラビリティに対する同一位置のアップサンプリングされたベースレイヤからコピーされる条項２８の装置。
３７．注目領域スケーラビリティインプリメンテーションが、復号器がエンハンスメントレイヤの非有意符号化ツリーユニットを復号してはならないことを示すための付加エンハンスメント情報メッセージを含む条項２７の装置。
３８．注目領域スケーラビリティインプリメンテーションが、画像内の注目領域を記録するためにベースレイヤよりも高い空間解像度を有するエンハンスメントレイヤを使用する条項２７の装置。
３９．注目領域スケーラビリティインプリメンテーションが、画像内の注目領域を記録するためにベースレイヤとは異なるフレームレートを有するエンハンスメントレイヤを使用する条項２７の装置。
【００８５】
本発明は、本発明の構成及び作動の原理の理解を容易にするための詳細が組み込まれた特定の実施形態に関して説明した。特定の実施形態及びその詳細に関する本明細書でのこのような言及は、本明細書に添付の特許請求の範囲を限定するように意図していない。特許請求の範囲によって定められる本発明の精神及び範囲を逸脱することなく、例示のために選択された実施形態に他の様々な修正を加えることができることは、当業者には容易に明らかであろう。
【符号の説明】
【００８６】
ＥＬ  エンハンスメントレイヤ
ＮＡＬ  ネットワーク・アブストラクション・レイヤ
ＮＳ  Ｔｉｌｅ  非有意タイル
ＲＯＩ  注目領域
【図１】
2018078602.tif 000016
【図２】
2018078602.tif 000017
【図３】
2018078602.tif 000018
【図４】
2018078602.tif 000019
【図５】
2018078602.tif 000020
【図６】
2018078602.tif 000021