(57)【要約】  エラー伝搬を適切に抑制することができる符号化装置（１００）は、処理回路と、メモリとを備え、その処理回路は、メモリを用いて、ピクチャを複数のスライスセグメントに分割し、複数のスライスセグメントのそれぞれに含まれる複数のブロックを符号化し、符号化された前記複数のブロックを再構成し、複数のスライスセグメントのそれぞれについて、当該スライスセグメントに対するフィルタの適用を制御するための制御情報を、当該スライスセグメントのヘッダ領域に付加し、その複数のスライスセグメントのそれぞれについて、当該スライスセグメントの前記制御情報にしたがって、当該スライスセグメントに含まれる再構成されたブロックに対してフィルタを適用する。
2019189340.tif 000002
【特許請求の範囲】
【請求項１】
ピクチャを符号化する符号化装置であって、
処理回路と、
メモリとを備え、
前記処理回路は、前記メモリを用いて、
前記ピクチャを複数のスライスセグメントに分割し、
前記複数のスライスセグメントのそれぞれに含まれる複数のブロックを符号化し、
符号化された前記複数のブロックを再構成し、
前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントに対するフィルタの適用を制御するための制御情報を、当該スライスセグメントのヘッダ領域に付加し、
前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントの前記制御情報にしたがって、当該スライスセグメントに含まれる再構成されたブロックに対してフィルタを適用する、
符号化装置。
【請求項２】
前記複数のスライスセグメントのそれぞれは、
前記ピクチャに含まれるスライスを構成する、独立スライスセグメント、および前記独立スライスセグメントに従属する少なくとも１つの従属スライスセグメントのうちの何れか１つのスライスセグメントである、
請求項１に記載の符号化装置。
【請求項３】
前記制御情報は、前記制御情報に対応する前記スライスセグメントの境界に対してデブロッキングフィルタを適用するか否かを示す、
請求項１または２に記載の符号化装置。
【請求項４】
前記制御情報は、前記制御情報に対応する前記スライスセグメントの境界に対してサンプル・アダプティブ・オフセットを適用するか否かを示す、
請求項１または２に記載の符号化装置。
【請求項５】
前記制御情報は、前記制御情報に対応する前記スライスセグメントの境界と、前記スライスセグメントに含まれる複数のブロック間の境界とに対してデブロッキングフィルタを適用するか否かを示す、
請求項１または２に記載の符号化装置。
【請求項６】
前記ピクチャは、動画像に含まれる複数のピクチャのうちの１つであって、
前記複数のピクチャのそれぞれは、Ｉスライスセグメントを有し、かつ、前記複数のピクチャのそれぞれにおける前記Ｉスライスセグメントの位置が、前記複数のピクチャの符号化順にしたがって周期的に異なるように構成され、
前記制御情報の付加では、
前記制御情報に対応する前記スライスセグメントと前記Ｉスライスセグメントとの境界に対してフィルタを適用しないことを示す前記制御情報を、前記スライスセグメントのヘッダ領域に付加する、
請求項１〜５の何れか１項に記載の符号化装置。
【請求項７】
ピクチャを符号化する符号化装置であって、
前記ピクチャを複数のスライスセグメントに分割する分割部と、
前記複数のスライスセグメントのそれぞれに含まれる複数のブロックを符号化する符号化部と、
符号化された前記複数のブロックを再構成する再構成部と、
前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントに対するフィルタの適用を制御するための制御情報を、当該スライスセグメントのヘッダ領域に付加するヘッダ処理部と、
前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントの前記制御情報にしたがって、当該スライスセグメントに含まれる再構成されたブロックに対してフィルタを適用するフィルタ部と
を備える符号化装置。
【請求項８】
符号化ピクチャを復号する復号装置であって、
処理回路と、
メモリとを備え、
前記処理回路は、前記メモリを用いて、
前記符号化ピクチャを構成する複数のスライスセグメントのそれぞれに含まれる複数のブロックを再構成し、
前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントに対するフィルタの適用を制御するための制御情報を、当該スライスセグメントのヘッダ領域から取得し、
前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントの前記制御情報にしたがって、当該スライスセグメントに含まれる再構成されたブロックに対してフィルタを適用する、
復号装置。
【請求項９】
前記複数のスライスセグメントのそれぞれは、
前記符号化ピクチャに含まれるスライスを構成する、独立スライスセグメント、および前記独立スライスセグメントに従属する少なくとも１つの従属スライスセグメントのうちの何れか１つのスライスセグメントである、
請求項８に記載の復号装置。
【請求項１０】
前記制御情報は、前記制御情報に対応する前記スライスセグメントの境界に対してデブロッキングフィルタを適用するか否かを示す、
請求項８または９に記載の復号装置。
【請求項１１】
前記制御情報は、前記制御情報に対応する前記スライスセグメントの境界に対してサンプル・アダプティブ・オフセットを適用するか否かを示す、
請求項８または９に記載の復号装置。
【請求項１２】
前記制御情報は、前記制御情報に対応する前記スライスセグメントの境界と、前記スライスセグメントに含まれる複数のブロック間の境界とに対してデブロッキングフィルタを適用するか否かを示す、
請求項８または９に記載の復号装置。
【請求項１３】
前記符号化ピクチャは、ビットストリームに含まれる複数の符号化ピクチャのうちの１つであって、
前記複数の符号化ピクチャのそれぞれは、Ｉスライスセグメントを有し、かつ、前記複数の符号化ピクチャのそれぞれにおける前記Ｉスライスセグメントの位置が、前記複数の符号化ピクチャの復号順にしたがって周期的に異なるように構成され、
前記制御情報の取得では、
前記制御情報に対応する前記スライスセグメントと前記Ｉスライスセグメントとの境界に対してフィルタを適用しないことを示す前記制御情報を、前記スライスセグメントのヘッダ領域から取得する、
請求項８〜１２の何れか１項に記載の復号装置。
【請求項１４】
符号化ピクチャを復号する復号装置であって、
前記符号化ピクチャを構成する複数のスライスセグメントのそれぞれに含まれる複数のブロックを再構成する再構成部と、
前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントに対するフィルタの適用を制御するための制御情報を、当該スライスセグメントのヘッダ領域から取得するヘッダ処理部と、
前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントの前記制御情報にしたがって、当該スライスセグメントに含まれる再構成されたブロックに対してフィルタを適用するフィルタ部と
を備える復号装置。
【請求項１５】
ピクチャを符号化する符号化方法であって、
前記ピクチャを複数のスライスセグメントに分割し、
前記複数のスライスセグメントのそれぞれに含まれる複数のブロックを符号化し、
符号化された前記複数のブロックを再構成し、
前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントに対するフィルタの適用を制御するための制御情報を、当該スライスセグメントのヘッダ領域に付加し、
前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントの前記制御情報にしたがって、当該スライスセグメントに含まれる再構成されたブロックに対してフィルタを適用する、
符号化方法。
【請求項１６】
符号化ピクチャを復号する復号方法であって、
前記符号化ピクチャを構成する複数のスライスセグメントのそれぞれに含まれる複数のブロックを再構成し、
前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントに対するフィルタの適用を制御するための制御情報を、当該スライスセグメントのヘッダ領域から取得し、
前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントの前記制御情報にしたがって、当該スライスセグメントに含まれる再構成されたブロックに対してフィルタを適用する、
復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像データに対して画像符号化を施す符号化装置、およびその符号化された画像データに対して画像復号を施す復号装置などに関する。
【背景技術】
【０００２】
近年、自動ブレーキなどの先進運転システム（ＡＤＡＳ：Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍｓ）や自動運転を実現するため、車載カメラ、または道路に設置したカメラで撮影した、膨大な動画像データを限られた伝送帯域で高品位かつ少ない遅延時間で伝送することが求められている。【０００３】
膨大な動画像データを限られた伝送帯域で伝送するためには、画像符号化を行い、伝送する動画像データの符号量を削減する必要がある。特許文献１および２と非特許文献１には、このような画像符号化に関する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２０５８０３号公報
【特許文献２】特許第５３５３５３２号公報
【非特許文献】
【０００５】
【非特許文献１】大久保栄ら著，「Ｈ．２６５／ＨＥＶＣ教科書」，インプレスジャパン，２０１３年，Ｐ．２０６，２０７
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記各文献の技術では、エラー伝搬を適切に抑制することができないという課題がある。【０００７】
そこで、本開示は、エラー伝搬を適切に抑制することができる符号化装置および復号装置などを提供する。
【課題を解決するための手段】
【０００８】
本開示の一態様に係る符号化装置は、ピクチャを符号化する符号化装置であって、処理回路と、メモリとを備え、前記処理回路は、前記メモリを用いて、前記ピクチャを複数のスライスセグメントに分割し、前記複数のスライスセグメントのそれぞれに含まれる複数のブロックを符号化し、符号化された前記複数のブロックを再構成し、前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントに対するフィルタの適用を制御するための制御情報を、当該スライスセグメントのヘッダ領域に付加し、前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントの前記制御情報にしたがって、当該スライスセグメントに含まれる再構成されたブロックに対してフィルタを適用する。【０００９】
本開示の一態様に係る復号装置は、符号化ピクチャを復号する復号装置であって、処理回路と、メモリとを備え、前記処理回路は、前記メモリを用いて、前記符号化ピクチャを構成する複数のスライスセグメントのそれぞれに含まれる複数のブロックを再構成し、前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントに対するフィルタの適用を制御するための制御情報を、当該スライスセグメントのヘッダ領域から取得し、前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントの前記制御情報にしたがって、当該スライスセグメントに含まれる再構成されたブロックに対してフィルタを適用する。【００１０】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、記録媒体は、非一時的な記録媒体であってもよい。
【発明の効果】
【００１１】
本開示の符号化装置によれば、エラー伝搬を適切に抑えることができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、特許文献１におけるイントラスライスによるリフレッシュ方式を示す図である。
【図２】図２は、特許文献２におけるエラー伝搬を抑制したイントラスライスによるリフレッシュ方式を示す図である。
【図３】図３は、実施の形態１における符号化装置のブロック図である。
【図４】図４は、実施の形態１における判定部のブロック図である。
【図５】図５は、実施の形態１におけるエントロピー符号化部のブロック図である。
【図６】図６は、実施の形態１における複数のスライスセグメントを示す図である。
【図７】図７は、実施の形態１におけるピクチャパラメータセットのシンタックスの一例を示す図である。
【図８】図８は、実施の形態１におけるスライスセグメントヘッダのシンタックスの一例を示す図である。
【図９】図９は、実施の形態１におけるデブロッキングフィルタが適用されるブロックの境界を示す図である。
【図１０】図１０は、実施の形態１におけるデブロッキングフィルタの全体的な判定処理を示すフローチャートである。
【図１１】図１１は、実施の形態１におけるデブロッキングフィルタの左ブロック境界に対する判定処理を示すフローチャートである。
【図１２】図１２は、実施の形態１におけるデブロッキングフィルタの上ブロック境界に対する判定処理を示すフローチャートである。
【図１３Ａ】図１３Ａは、実施の形態１における符号化装置の機能的な構成を示すブロック図である。
【図１３Ｂ】図１３Ｂは、実施の形態１における符号化方法を示すフローチャートである。
【図１４】図１４は、実施の形態２における復号装置のブロック図である。
【図１５】図１５は、実施の形態２におけるエントロピー復号部のブロック図である。
【図１６Ａ】図１６Ａは、実施の形態２における復号装置の機能的な構成を示すブロック図である。
【図１６Ｂ】図１６Ｂは、実施の形態２における復号方法を示すフローチャートである。
【図１７】図１７は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。
【図１８】図１８は、スケーラブル符号化時の符号化構造の一例を示す図である。
【図１９】図１９は、スケーラブル符号化時の符号化構造の一例を示す図である。
【図２０】図２０は、ｗｅｂページの表示画面例を示す図である。
【図２１】図２１は、ｗｅｂページの表示画面例を示す図である。
【図２２】図２２は、スマートフォンの一例を示す図である。
【図２３】図２３は、スマートフォンの構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
（本開示の基礎となった知見）
本発明者は、「背景技術」の欄において記載した従来の符号化方法に関し、以下の問題が生じることを見出した。
【００１４】
通常の画像符号化では、ピクチャごとに、そのピクチャのタイプを選択し、そのタイプにしたがってピクチャを符号化する。ピクチャのタイプには、フレーム内符号化が行われるＩピクチャと、フレーム間符号化が行われるＰピクチャとがある。ここで、Ｐピクチャに比べてＩピクチャは符号量が大きいため、Ｉピクチャの伝送に時間がかかり遅延が大きくなるという問題がある。
【００１５】
それを解決するためにイントラスライスによるリフレッシュ方式が使用される（例えば、特許文献１参照）。
【００１６】
図１は、特許文献１におけるイントラスライスによるリフレッシュ方式を示している。１つのピクチャは、フレーム内予測を行うイントラスライスと、フレーム間予測を行うインタースライスとから構成されている。符号化されるピクチャが切り替わるにつれて、ピクチャ内におけるイントラスライスが上から下へ移動する。これにより、イントラスライスによるリフレッシュ方式では、ピクチャごとの符号量を均一にすることができるため、符号化した動画像データを少ない遅延時間で伝送することができる。なお、このようなイントラスライスによるリフレッシュ方式を、ＣＩＲ（Cyclic Intra Refresh）ともいう。
【００１７】
しかし、イントラスライスによるリフレッシュ方式の場合、伝送エラーが発生すると、Ｉピクチャを使用しないため、エラーが伝搬してしまうという問題がある。それに対して、動きベクトルの探索範囲を制限し、動き予測処理とデブロックフィルタ処理に起因するエラー伝搬を防止する方式がある（例えば、特許文献２参照）。
【００１８】
図２は、特許文献２におけるイントラスライスによるリフレッシュ方式を示している。スライスヘッダ内のフラグとしてｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ＝２を設定し、スライス境界のデブロッキングフィルタをかけない設定にすることで、デブロッキングフィルタの影響によるエラー伝搬を防ぐ方法が示されている。
【００１９】
また、イントラスライスによるリフレッシュ方式の場合、スライス分割数が多くなると各スライスの先頭に含まれるスライスヘッダの符号量が増加するため、符号化効率が低下するという問題がある。この問題に対して、新しい画像符号化規格であるＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）で新しく導入された従属スライスを使うと、符号化効率の低下を抑制することができる。つまり、従属スライスでは、直前の独立スライスのスライスヘッダをコピーすることができ、従属スライスのスライスヘッダに必要な符号量を削減できる。したがって、スライス分割数を多くしても符号化効率化の低下を抑制することができる。なお、独立スライスは、独立スライスセグメントともいい、従属スライスは、従属スライスセグメントともいう。また、スライス分割数は、ピクチャを分割することによって得られるスライスまたはスライスセグメントの数である。
【００２０】
しかしながら、特許文献２の方法を従属スライスに適用した場合、例えば１つの従属スライスの境界にのみデブロックフィルタをかけないようにすることができない。したがって、エラー伝搬を防ぐためには、デブロックフィルタを全ての画素に対して適用しないようにする必要があり、画質が低下するという課題がある。
【００２１】
本開示は、前記従来の課題を解決するもので、従属スライスを使用した場合においても、符号化効率および画質を低下させることなく、エラー伝搬を抑制することができる符号化装置を提供する。
【００２２】
つまり、本開示の一態様に係る符号化装置は、ピクチャを符号化する符号化装置であって、処理回路と、メモリとを備え、前記処理回路は、前記メモリを用いて、前記ピクチャを複数のスライスセグメントに分割し、前記複数のスライスセグメントのそれぞれに含まれる複数のブロックを符号化し、符号化された前記複数のブロックを再構成し、前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントに対するフィルタの適用を制御するための制御情報を、当該スライスセグメントのヘッダ領域に付加し、前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントの前記制御情報にしたがって、当該スライスセグメントに含まれる再構成されたブロックに対してフィルタを適用する。例えば、前記複数のスライスセグメントのそれぞれは、前記ピクチャに含まれるスライスを構成する、独立スライスセグメント、および前記独立スライスセグメントに従属する少なくとも１つの従属スライスセグメントのうちの何れか１つのスライスセグメントであってもよい。
【００２３】
これにより、独立スライスセグメントおよび従属スライスセグメントなどのスライスセグメントごとに、そのスライスセグメントに対するフィルタの適用を制御することができる。したがって、複数のスライスセグメントからなるスライスごとに、そのスライスに対するフィルタの適用を制御する場合よりも、より細かい単位でフィルタの適用を制御することができる。例えば、スライスに含まれるイントラスライスセグメントの境界のみに対してフィルタの適用を無効にし、かつ、その他のスライスセグメントの境界に対してフィルタの適用を有効にすることができる。その結果、イントラスライスセグメントによるリフレッシュ方式を用いる場合であっても、画質の低下を抑えながら、エラー伝搬を適切に抑制することができる。また、複数のスライスセグメントのうちの従属スライスセグメントに対しては、独立スライスセグメントのヘッダをコピーして利用することができるため、ピクチャに含まれるスライスセグメントの数が多くても符号化効率の低下を抑制することができる。したがって、符号化効率および画質を低下させることなく、エラー伝搬を抑制することができる。
【００２４】
また、前記制御情報は、前記制御情報に対応する前記スライスセグメントの境界に対してデブロッキングフィルタを適用するか否かを示してもよい。
【００２５】
これにより、デブロッキングフィルタが適用される場合には、スライスセグメントの境界における画像の歪みを低減することができる。
【００２６】
また、前記制御情報は、前記制御情報に対応する前記スライスセグメントの境界に対してサンプル・アダプティブ・オフセットを適用するか否かを示してもよい。
【００２７】
これにより、サンプル・アダプティブ・オフセットが適用される場合には、符号化された各ブロックの復号によって得られる復号画像を、原画像により近づけることができる。
【００２８】
また、前記制御情報は、前記制御情報に対応する前記スライスセグメントの境界と、前記スライスセグメントに含まれる複数のブロック間の境界とに対してデブロッキングフィルタを適用するか否かを示してもよい。
【００２９】
これにより、スライスセグメントの境界だけでなく、そのスライスセグメントの内部に対するデブロッキングフィルタの適用も制御されるため、符号化効率を低下させることなく、エラー伝搬をより抑制することができる。
【００３０】
また、前記ピクチャは、動画像に含まれる複数のピクチャのうちの１つであって、前記複数のピクチャのそれぞれは、Ｉスライスセグメントを有し、かつ、前記複数のピクチャのそれぞれにおける前記Ｉスライスセグメントの位置が、前記複数のピクチャの符号化順にしたがって周期的に異なるように構成され、前記制御情報の付加では、前記制御情報に対応する前記スライスセグメントと前記Ｉスライスセグメントとの境界に対してフィルタを適用しないことを示す前記制御情報を、前記スライスセグメントのヘッダ領域に付加してもよい。
【００３１】
これにより、イントラスライスセグメントによるリフレッシュ方式、すなわちＣＩＲ（Cyclic Intra Refresh）を用いる場合であっても、エラー伝搬を適切に抑制することができる。
【００３２】
また、本開示の他の態様に係る符号化装置は、ピクチャを符号化する符号化装置であって、前記ピクチャを複数のスライスセグメントに分割する分割部と、前記複数のスライスセグメントのそれぞれに含まれる複数のブロックを符号化する符号化部と、符号化された前記複数のブロックを再構成する再構成部と、前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントに対するフィルタの適用を制御するための制御情報を、当該スライスセグメントのヘッダ領域に付加するヘッダ処理部と、前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントの前記制御情報にしたがって、当該スライスセグメントに含まれる再構成されたブロックに対してフィルタを適用するフィルタ部とを備える。
【００３３】
これにより、上述と同様に、符号化効率および画質を低下させることなく、エラー伝搬を抑制することができる。
【００３４】
また、本開示の一態様に係る復号装置は、符号化ピクチャを復号する復号装置であって、処理回路と、メモリとを備え、前記処理回路は、前記メモリを用いて、前記符号化ピクチャを構成する複数のスライスセグメントのそれぞれに含まれる複数のブロックを再構成し、前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントに対するフィルタの適用を制御するための制御情報を、当該スライスセグメントのヘッダ領域から取得し、前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントの前記制御情報にしたがって、当該スライスセグメントに含まれる再構成されたブロックに対してフィルタを適用する。例えば、前記複数のスライスセグメントのそれぞれは、前記符号化ピクチャに含まれるスライスを構成する、独立スライスセグメント、および前記独立スライスセグメントに従属する少なくとも１つの従属スライスセグメントのうちの何れか１つのスライスセグメントである。
【００３５】
これにより、独立スライスセグメントおよび従属スライスセグメントなどのスライスセグメントごとに、そのスライスセグメントに対するフィルタの適用を制御することができる。したがって、複数のスライスセグメントからなるスライスごとに、そのスライスに対するフィルタの適用を制御する場合よりも、より細かい単位でフィルタの適用を制御することができる。例えば、スライスに含まれるイントラスライスセグメントの境界のみに対してフィルタの適用を無効にし、かつ、その他のスライスセグメントの境界に対してフィルタの適用を有効にすることができる。その結果、イントラスライスセグメントによるリフレッシュ方式を用いる場合であっても、画質の低下を抑えながら、エラー伝搬を適切に抑制することができる。また、複数のスライスセグメントのうちの従属スライスセグメントに対しては、独立スライスセグメントのヘッダをコピーして利用することができるため、ピクチャに含まれるスライスセグメントの数が多くても符号化効率の低下を抑制することができる。したがって、符号化効率および画質を低下させることなく、エラー伝搬を抑制することができる。
【００３６】
また、前記制御情報は、前記制御情報に対応する前記スライスセグメントの境界に対してデブロッキングフィルタを適用するか否かを示してもよい。
【００３７】
これにより、デブロッキングフィルタが適用される場合には、スライスセグメントの境界における画像の歪みを低減することができる。
【００３８】
また、前記制御情報は、前記制御情報に対応する前記スライスセグメントの境界に対してサンプル・アダプティブ・オフセットを適用するか否かを示してもよい。
【００３９】
これにより、サンプル・アダプティブ・オフセットが適用される場合には、符号化された各ブロックの復号によって得られる復号画像を、原画像により近づけることができる。
【００４０】
また、前記制御情報は、前記制御情報に対応する前記スライスセグメントの境界と、前記スライスセグメントに含まれる複数のブロック間の境界とに対してデブロッキングフィルタを適用するか否かを示してもよい。
【００４１】
これにより、スライスセグメントの境界だけでなく、そのスライスセグメントの内部に対するデブロッキングフィルタの適用も制御されるため、符号化効率を低下させることなく、エラー伝搬をより抑制することができる。
【００４２】
また、前記符号化ピクチャは、ビットストリームに含まれる複数の符号化ピクチャのうちの１つであって、前記複数の符号化ピクチャのそれぞれは、Ｉスライスセグメントを有し、かつ、前記複数の符号化ピクチャのそれぞれにおける前記Ｉスライスセグメントの位置が、前記複数の符号化ピクチャの復号順にしたがって周期的に異なるように構成され、前記制御情報の取得では、前記制御情報に対応する前記スライスセグメントと前記Ｉスライスセグメントとの境界に対してフィルタを適用しないことを示す前記制御情報を、前記スライスセグメントのヘッダ領域から取得してもよい。
【００４３】
これにより、イントラスライスセグメントによるリフレッシュ方式、すなわちＣＩＲ（Cyclic Intra Refresh）を用いる場合であっても、エラー伝搬を適切に抑制することができる。
【００４４】
また、本開示の一態様に係る復号装置は、符号化ピクチャを復号する復号装置であって、前記符号化ピクチャを構成する複数のスライスセグメントのそれぞれに含まれる複数のブロックを再構成する再構成部と、前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントに対するフィルタの適用を制御するための制御情報を、当該スライスセグメントのヘッダ領域から取得するヘッダ処理部と、前記複数のスライスセグメントのそれぞれについて、当該スライスセグメントの前記制御情報にしたがって、当該スライスセグメントに含まれる再構成されたブロックに対してフィルタを適用するフィルタ部とを備える。
【００４５】
これにより、上述と同様に、符号化効率および画質を低下させることなく、エラー伝搬を抑制することができる。
【００４６】
以下、実施の形態について、図面を参照しながら具体的に説明する。
【００４７】
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４８】
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。
【００４９】
（実施の形態１）
図３は、本実施の形態における符号化装置の構成を示すブロック図である。
【００５０】
本実施の形態における符号化装置１００は、エラー伝搬を適切に抑制することができる装置である。このような符号化装置１００は、スライス分割部１０１と、減算器１０２と、直交変換部１０３と、量子化部１０４と、エントロピー符号化部１０５と、逆量子化部１０６と、逆直交変換部１０７と、加算器１０８と、デブロッキングフィルタ部１０９と、メモリ１１０と、イントラ予測部１１１と、インター予測部１１２と、動き検出部１１３と、判定部１１４とを備える。
【００５１】
スライス分割部１０１は、複数のピクチャを含む動画像信号を取得し、ピクチャを複数のスライスまたはスライスセグメントに分割する。ここで、複数のスライスセグメントのそれぞれは、ピクチャに含まれるスライスを構成する、独立スライスセグメント、およびその独立スライスセグメントに従属する少なくとも１つの従属スライスセグメントのうちの何れか１つのスライスセグメントである。
【００５２】
減算器１０２は、複数のスライスまたはスライスセグメントを取得するとともに、判定部１１４から予測画像を取得する。そして、減算器１０２は、そのスライスまたはスライスセグメントのうちの符号化の対象とされるブロック（以下、対象ブロックという）から予測画像を減算することによって差分画像を生成する。ブロックは、例えばＣＴＵ（Coding Tree Unit）、ＣＵ（Coding Unit）、ＰＵ（Prediction Unit）またはＴＵ（Transform Unit）に相当する。
【００５３】
直交変換部１０３は、減算器１０２によって生成された差分画像に対して、例えば離散コサイン変換などの直交変換（周波数変換）を行うことによって、その差分画像を複数の周波数係数からなる係数列に変換する。量子化部１０４は、その係数列に含まれる各周波数係数を量子化することによって、量子化された係数列を生成する。
【００５４】
逆量子化部１０６は、量子化部１０４によって量子化された係数列を逆量子化する。逆直交変換部１０７は、その逆量子化された係数列に含まれる各周波数係数に対して逆離散コサイン変換などの逆直交変換（逆周波数変換）を行うことによって、復号差分画像を生成する。
【００５５】
加算器１０８は、判定部１１４から予測画像を取得し、その予測画像と、逆直交変換部１０７によって生成された復号差分画像とを加算することによって局所復号画像（再構成画像）を生成する。これによって、符号化されたブロックが再構成される。
【００５６】
デブロッキングフィルタ部１０９は、加算器１０８によって生成された局所復号画像のブロック歪みを除去し、その局所復号画像をメモリ１１０に格納する。また、本実施の形態におけるデブロッキングフィルタ部１０９は、複数のスライスセグメントのそれぞれについて、当該スライスセグメントの制御情報にしたがって、当該スライスセグメントに含まれる再構成されたブロックに対してフィルタを適用する。そのフィルタは、本実施の形態では、デブロッキングフィルタである。また、制御情報は、その制御情報に対応するスライスセグメントの境界に対してデブロッキングフィルタを適用するか否かを示す。
【００５７】
メモリ１１０は、インター予測の際の参照画像として局所復号画像を格納するためのメモリである。なお、このメモリ１１０は復号ピクチャバッファ（ＤＰＢ）として用いられる。
【００５８】
イントラ予測部１１１は、加算器１０８によって生成された局所復号画像を用いて、対象ブロックに対してイントラ予測を行うことによって予測画像（イントラ予測画像）を生成する。
【００５９】
動き検出部１１３は、動画像信号に含まれる対象ブロックに対して動きベクトルを検出し、その検出された動きベクトルをインター予測部１１２とエントロピー符号化部１０５とに出力する。
【００６０】
インター予測部１１２は、メモリ１１０に格納されている画像を参照画像として参照するとともに、動き検出部１１３によって検出された動きベクトルを用いることによって、対象ブロックに対して動き補償を行う。インター予測部１１２は、このような動き補償を行うことによって、つまり対象ブロックに対してインター予測を行うことによって、対象ブロックの予測画像（インター予測画像）を生成する。
【００６１】
判定部１１４は、対象ブロックをイントラ予測符号化するか、インター予測符号化するかを判定する。ここで、判定部１１４は、対象ブロックがイントラ予測符号化される場合には、イントラ予測部１１１によって生成された予測画像（イントラ予測画像）を減算器１０２及び加算器１０８に出力する。一方、判定部１１４は、対象ブロックがインター予測符号化される場合には、インター予測部１１２によって生成された予測画像（インター予測画像）を減算器１０２及び加算器１０８に出力する。
【００６２】
エントロピー符号化部１０５は、量子化部１０４によって量子化された係数列と、動き検出部１１３によって検出された動きベクトルとを、エントロピー符号化（可変長符号化）することによってビットストリームを生成する。
【００６３】
図４は、判定部１１４の構成を示すブロック図である。
【００６４】
判定部１１４は、位置判定部１１５とスイッチ１１６とを構える。
【００６５】
位置判定部１１５は、ブロック位置情報とピクチャ番号とから、対象ブロックがイントラスライスまたはイントラスライスセグメントに含まれるか否かを判定する。ブロック位置情報は、ピクチャにおける対象ブロックの位置を示す。ピクチャ番号は、対象ブロックを含むピクチャの識別番号である。そして、位置判定部１１５は、対象ブロックがイントラスライスまたはイントラスライスセグメントに含まれる場合は、対象ブロックがイントラ予測符号化されるように、スイッチ１１６を制御する。
【００６６】
スイッチ１１６は、対象ブロックがイントラ符号化される場合は、イントラ予測部１１１によって生成されたイントラ予測画像を予測画像として出力する。一方、対象ブロックがインター符号化される場合は、スイッチ１１６は、インター予測部１１２によって生成されたインター予測画像を予測画像として出力する。
【００６７】
図５は、エントロピー符号化部１０５の構成を示すブロック図である。
【００６８】
エントロピー符号化部１０５は、ピクチャヘッダ生成部１１７と、スライスヘッダ生成部１１８と、符号化処理部１１９とを構える。
【００６９】
ピクチャヘッダ生成部１１７は、ブロック位置情報を取得し、そのブロック位置情報に基づいて、対象ブロックがピクチャの先頭に位置するか否かを判定する。
【００７０】
ピクチャヘッダ生成部１１７は、対象ブロックがピクチャの先頭に位置する場合、第１のスライス制御フラグをピクチャパラメータセットに付加する。第１のスライス制御フラグは、スライス境界に対するデブロッキングフィルタを制御するための第２のスライス制御フラグがスライスヘッダまたはスライスセグメントヘッダに含まれているか否かを示す。
【００７１】
同様に、ピクチャヘッダ生成部１１７は、対象ブロックがピクチャの先頭に位置する場合、第１のセグメント制御フラグをピクチャパラメータセットに付加する。第１のセグメント制御フラグは、スライスセグメント境界に対するデブロッキングフィルタを制御するための第２のセグメント制御フラグがスライスセグメントヘッダに含まれているか否かを示す。
【００７２】
これにより、第１のスライス制御フラグおよび第１のセグメント制御フラグが付加されたピクチャパラメータセットを有するビットストリームが、エントロピー符号化部１０５から出力される。
【００７３】
スライスヘッダ生成部１１８は、ブロック位置情報とスライス分割位置情報とを取得する。スライス分割位置情報は、ピクチャに含まれる複数のスライスまたはスライスセグメントのそれぞれのピクチャ内における位置を示す。スライスヘッダ生成部１１８は、これらの情報に基づいて、対象ブロックがスライスまたはスライスセグメントの先頭に位置するか否かを判定する。
【００７４】
スライスヘッダ生成部１１８は、対象ブロックがスライスの先頭に位置する場合、スライス境界に対するデブロッキングフィルタを制御するための第２のスライス制御フラグをスライスヘッダに付加する。すなわち、スライスヘッダ生成部１１８は、スライスに対するフィルタの適用を制御するための制御情報、具体的には、上述の第２のスライス制御フラグを、そのスライスのヘッダ領域に付加する。なお、スライスが複数のスライスセグメントに分割されている場合には、スライスヘッダ生成部１１８は、そのスライスに含まれる複数のスライスセグメントのそれぞれのヘッダ領域であるスライスセグメントヘッダに、その第２のスライス制御フラグを付加してもよい。
【００７５】
同様に、スライスヘッダ生成部１１８は、対象ブロックがスライスセグメントの先頭に位置する場合、スライスセグメント境界に対するデブロッキングフィルタを制御するための第２のセグメント制御フラグをスライスセグメントヘッダに付加する。すなわち、スライスヘッダ生成部１１８は、スライスセグメントに対するフィルタの適用を制御するための制御情報、具体的には、上述の第２のセグメント制御フラグを、そのスライスセグメントのヘッダ領域に付加する。
【００７６】
これにより、第２のスライス制御フラグおよび第２のセグメント制御フラグが付加されたスライスセグメントヘッダを有するビットストリームが、エントロピー符号化部１０５から出力される。
【００７７】
符号化処理部１１９は、量子化部１０４から出力された係数列をエントロピー符号化し、エントロピー符号化された係数列を有するビットストリームを出力する。
【００７８】
図６は、本実施の形態における符号化装置１００によって符号化されたピクチャに含まれる複数のスライスセグメントの一例を示す図である。
【００７９】
符号化されたピクチャは、複数のスライスに分割される。図６に示す例では、１つのピクチャは３つのスライスに分割されている。スライス境界とは、互いに隣接するスライス同士の境界である。図６の例では、スライス１とスライス２の間と、スライス２とスライス３の間に、それぞれスライス境界が存在する。
【００８０】
さらに、スライスは、複数のスライスセグメントに分割される。スライスセグメントの種類は２つあり、独立スライスセグメントと従属スライスセグメントがある。スライスは１つの独立スライスセグメントと複数の従属スライスセグメントで構成される。図６に示す例では、スライス１は、１つの独立スライスセグメント１Ａと３つの従属スライスセグメント１ａ、１ｂおよび１ｃとに分割されている。スライスセグメント境界は、スライス内で互いに隣接するスライスセグメント同士の境界である。つまり、スライスセグメント境界には、スライス境界は含まれない。図６の例では、スライス１の中に、独立スライスセグメント１Ａと従属スライスセグメント１ａとの間と、従属スライスセグメント１ａと従属スライスセグメント１ｂの間と、従属スライスセグメント１ｂと従属スライスセグメント１ｃの間に、それぞれスライスセグメント境界が存在する。
【００８１】
独立スライスセグメントおよび従属スライスセグメントは、上記非特許文献１の独立スライス・データおよび従属スライス・データに相当する。具体的には、独立スライスセグメントおよび従属スライスセグメントは、それぞれ以下の特徴を有する。
【００８２】
独立スライスセグメントおよび従属スライスセグメントは、それぞれスライスヘッダ（具体的には、スライスセグメントヘッダ）を有する。したがって、これらのスライスセグメントはＮＡＬユニットを構成する。しかし、従属スライスセグメントのスライスヘッダに含まれるシンタックス情報は、独立スライスセグメントのスライスヘッダに含まれるシンタックス情報よりも少ない。したがって、従属スライスセグメントの復号には、独立スライスセグメントのスライスヘッダに含まれる大部分のシンタックス情報がコピーされて用いられる。これにより、復号装置は、従属スライスセグメントだけでは、その従属スライスセグメントを復号することができず、上述のように、独立スライスセグメントのスライスヘッダを必要とする。
【００８３】
図７は、本実施の形態における符号化装置１００による符号化によって生成されたビットストリームに含まれるピクチャパラメータセットのシンタックスの一例を示す図である。
【００８４】
図７のシンタックス７００に示すように、ピクチャヘッダ生成部１１７は、上述の第１のセグメント制御フラグをピクチャパラメータセットへ付加する。第１のセグメント制御フラグは、例えば、ｐｐｓ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇである。
【００８５】
図８は、本実施の形態における符号化装置１００による符号化によって生成されたビットストリームに含まれるスライスセグメントヘッダのシンタックスの一例を示す図である。
【００８６】
図８のシンタックス８００に示すように、スライスヘッダ生成部１１８は、スライスセグメント境界へのデブロッキングフィルタの適用を制御するための第２のセグメント制御フラグをスライスセグメントヘッダに付加する。第２のセグメント制御フラグは、例えば、ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔｓ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇである。この第２のセグメント制御フラグが１に設定されている場合、デブロッキングフィルタ部１０９は、その第２のセグメント制御フラグを有するスライスセグメントの境界に対しデブロッキングフィルタを適用しない。
【００８７】
なお、図８に示すスライスセグメントヘッダのシンタックスは、従属スライスセグメントのヘッダ領域のシンタックスの例であり、独立スライスセグメントのスライスセグメントヘッダは、図８に示すシンタックスよりも多くの情報を含む。
【００８８】
図９は、本実施の形態における符号化装置１００のデブロッキングフィルタ部１０９によってデブロッキングフィルタが適用される対象ブロックの境界を示す図である。
【００８９】
図９に示すように、例えば、対象ブロックは、それぞれ８×８画素のサイズを有する４つのサブブロックからなる。デブロッキングフィルタ部１０９は、対象ブロック内のサブブロック間の水平境界および垂直境界に対するデブロックフィルタの適用が有効か無効かを判定する。この水平境界を、ブロック内水平境界ともいい、垂直境界を、ブロック内垂直境界ともいう。また、水平境界および垂直境界を、ブロック内境界と総称する。
【００９０】
さらに、デブロッキングフィルタ部１０９は、対象ブロックと左隣接ブロックとの境界に位置する左ブロック境界に対するデブロックフィルタの適用が有効か無効かを判定する。左隣接ブロックは、対象ブロックの左側に隣接するブロックであって、複数のサブブロックから構成されていてもよい。また、デブロッキングフィルタ部１０９は、対象ブロックと上隣接ブロックとの境界に位置する上ブロック境界に対するデブロッキングフィルタの適用が有効か無効かを判定する。上隣接ブロックは、対象ブロックの上側に隣接するブロックであって、複数のサブブロックから構成されていてもよい。
【００９１】
図１０は、本実施の形態における符号化装置１００のデブロッキングフィルタ部１０９によるデブロッキングフィルタの全体的な判定フローを示すフローチャートである。具体的には、図１０に示すフローチャートは、対象ブロックの各境界に対してデブロッキングフィルタを適用するか否かを判定する判定フローを示す。
【００９２】
まず、デブロッキングフィルタ部１０９は、対象ブロックの何れかの境界に対してデブロッキングフィルタを適用するか否かを判定する（ステップＳ１１）。例えば、デブロッキングフィルタ部１０９は、ピクチャパラメータセット内の第１のＤＢＦ制御フラグと、スライスセグメントヘッダ内の第２のＤＢＦ制御フラグを参照することによって、デブロッキングフィルタを適用するか否かを判定する。第１のＤＢＦ制御フラグは、図７に示す、ｐｐｓ_ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇである。
【００９３】
また、第２のＤＢＦ制御フラグは、図８に示す、ｓｌｉｃｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇである。例えば、第１のＤＢＦ制御フラグに１が設定され、かつ、第２のＤＢＦ制御フラグに１が設定されている場合、デブロッキングフィルタ部１０９は、対象ブロックの全ての境界に対してデブロッキングフィルタを適用しないと判定する。
【００９４】
ステップＳ１１でデブロッキングフィルタを適用すると判定された場合（ステップＳ１１のＹｅｓ）、デブロッキングフィルタ部１０９は、ブロック内制御フラグに１を設定する（ステップＳ１２）。ブロック内制御フラグは、ブロック内境界に対するデブロッキングフィルタの適用が有効か無効かを示すフラグであって、例えば、ｄｂｆ＿ｃ＿ｆｌａｇである。１に設定されたブロック内制御フラグは、そのデブロッキングフィルタの適用が有効であることを示す。つまり、ステップＳ１２では、デブロッキングフィルタ部１０９は、ブロック内境界に対してデブロッキングフィルタの適用が有効と判定する。次に、デブロッキングフィルタ部１０９は、左ブロック境界の判定（ステップＳ１３）を行い、上ブロック境界の判定（ステップＳ１４）を行い、判定処理を終了する。
【００９５】
一方、ステップＳ１１でデブロッキングフィルタを適用しないと判定された場合（ステップＳ１１のＮｏ）、デブロッキングフィルタ部１０９は、上述のブロック内制御フラグ（すなわち、ｄｂｆ＿ｃ＿ｆｌａｇ）に０を設定する（ステップＳ１５）。０に設定されたブロック内制御フラグは、ブロック内境界に対するデブロッキングフィルタの適用が無効であることを示す。つまり、ステップＳ１５では、デブロッキングフィルタ部１０９は、ブロック内境界に対してデブロッキングフィルタの適用が無効と判定する。
【００９６】
次に、デブロッキングフィルタ部１０９は、左制御フラグに０を設定する（ステップＳ１６）。左制御フラグは、左ブロック境界に対するデブロッキングフィルタの適用が有効か無効かを示すフラグであって、例えば、ｄｂｆ＿ａ＿ｆｌａｇである。０に設定された左制御フラグは、そのデブロッキングフィルタの適用が無効であることを示す。つまり、ステップＳ１６では、デブロッキングフィルタ部１０９は、左ブロック境界に対してデブロッキングフィルタの適用が無効と判定する。
【００９７】
最後に、デブロッキングフィルタ部１０９は、上制御フラグに０を設定する（ステップＳ１７）。上制御フラグは、上ブロック境界に対するデブロッキングフィルタの適用が有効か無効かを示すフラグであって、例えば、ｄｂｆ＿ｂ＿ｆｌａｇである。０に設定された上制御フラグは、そのデブロッキングフィルタの適用が無効であることを示す。つまり、ステップＳ１７では、デブロッキングフィルタ部１０９は、上ブロック境界に対してデブロッキングフィルタの適用が無効と判定する。そして、デブロッキングフィルタ部１０９は、対象ブロックに対する全ての判定処理を終了する。
【００９８】
図１１は、デブロッキングフィルタ部１０９が、対象ブロックの左ブロック境界に対してデブロッキングフィルタを適用するか否かを判定する判定フローを示すフローチャートである。つまり、図１１は、図１０のステップＳ１３の詳細な判定フローを示すフローチャートである。
【００９９】
まず、デブロッキングフィルタ部１０９は、対象ブロックがピクチャの左端に位置するか否かを判定する（ステップＳ２１）。
【０１００】
対象ブロックがピクチャの左端に位置すると判定する場合（ステップＳ２１のＹｅｓ）、デブロッキングフィルタ部１０９は、上述の左制御フラグ（すなわち、ｄｂｆ＿ａ＿ｆｌａｇ）に０を設定する（ステップＳ２７）。０に設定された左制御フラグは、左ブロック境界に対するデブロッキングフィルタの適用が無効であることを示す。つまり、ステップＳ２７では、デブロッキングフィルタ部１０９は、左ブロック境界に対してデブロッキングフィルタの適用が無効と判定する。その結果、左ブロック境界の判定処理が終了する。
【０１０１】
一方、ステップＳ２１において、対象ブロックがピクチャの左端に位置しないと判定する場合（ステップＳ２１のＮｏ）、デブロッキングフィルタ部１０９は、さらに、対象ブロックがスライスの先頭に位置するか否かを判定する（ステップＳ２２）。
【０１０２】
ステップＳ２２において、対象ブロックがスライスの先頭に位置すると判定する場合（ステップＳ２２のＹｅｓ）、デブロッキングフィルタ部１０９は、さらに、スライス境界に対してデブロッキングフィルタを適用するか否かを判定する（ステップＳ２３）。なお、デブロッキングフィルタは、ＤＢＦともいう。具体的には、デブロッキングフィルタ部１０９は、第１のスライス制御フラグと、第２のスライス制御フラグとを参照することによって、上述の判定を行う。第１のスライス制御フラグは、図７に示すピクチャパラメータセットのシンタックスに含まれる、ｐｐｓ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇである。第２のスライス制御フラグは、図８に示すスライスセグメントヘッダのシンタックスに含まれる、ｓｌｉｃｅ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇである。デブロッキングフィルタ部１０９は、第１のスライス制御フラグおよび第２のスライス制御フラグのそれぞれが１を示す場合に、スライス境界に対してデブロッキングフィルタを適用すると判定する。逆に、デブロッキングフィルタ部１０９は、第１のスライス制御フラグおよび第２のスライス制御フラグの何れかが０を示す場合に、スライス境界に対してデブロッキングフィルタを適用しないと判定する。
【０１０３】
ステップＳ２３において、スライス境界に対してデブロッキングフィルタを適用すると判定する場合（ステップＳ２３のＹｅｓ）、上述の左制御フラグ（すなわち、ｄｂｆ＿ａ＿ｆｌａｇ）に１を設定する（ステップＳ２６）。１に設定された左制御フラグは、左ブロック境界に対するデブロッキングフィルタの適用が有効であることを示す。つまり、ステップＳ２６では、デブロッキングフィルタ部１０９は、左ブロック境界に対してデブロッキングフィルタの適用が有効と判定する。その結果、左ブロック境界の判定処理が終了する。
【０１０４】
一方、ステップＳ２３において、スライス境界に対してデブロッキングフィルタを適用しないと判定する場合（ステップＳ２３のＮｏ）、上述の左制御フラグ（すなわち、ｄｂｆ＿ａ＿ｆｌａｇ）に０を設定する（ステップＳ２７）。その結果、左ブロック境界の判定処理が終了する。
【０１０５】
また、ステップＳ２２において、対象ブロックがスライスの先頭に位置しないと判定する場合（ステップＳ２２のＮｏ）、デブロッキングフィルタ部１０９は、さらに、対象ブロックが従属スライスセグメントの先頭に位置するか否かを判定する（ステップＳ２４）。
【０１０６】
ステップＳ２４において、対象ブロックが従属スライスセグメントの先頭に位置すると判定する場合（ステップＳ２４のＹｅｓ）、デブロッキングフィルタ部１０９は、さらに、スライスセグメント境界に対するデブロッキングフィルタの適用が無効か否かを判定する（ステップＳ２５）。具体的には、デブロッキングフィルタ部１０９は、第１のセグメント制御フラグと、第２のセグメント制御フラグとを参照することによって、上述の判定を行う。第１のセグメント制御フラグは、図７に示すピクチャパラメータセットのシンタックスに含まれる、ｐｐｓ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔｓ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇである。第２のセグメント制御フラグは、図８に示すスライスセグメントヘッダのシンタックスに含まれる、ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔｓ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇである。
【０１０７】
ステップＳ２５において、スライスセグメント境界に対するデブロッキングフィルタの適用が無効と判定する場合（ステップＳ２５のＹｅｓ）、上述の左制御フラグ（すなわち、ｄｂｆ＿ａ＿ｆｌａｇ）に０を設定する（ステップＳ２７）。つまり、ステップＳ２７では、デブロッキングフィルタ部１０９は、左ブロック境界に対するデブロッキングフィルタの適用が無効と判定する。その結果、左ブロック境界の判定処理が終了する。
【０１０８】
一方、ステップＳ２５において、スライスセグメント境界に対するデブロッキングフィルタの適用が有効と判定する場合（ステップＳ２５のＮｏ）、上述の左制御フラグ（すなわち、ｄｂｆ＿ａ＿ｆｌａｇ）に１を設定する（ステップＳ２６）。つまり、ステップＳ２６では、デブロッキングフィルタ部１０９は、左ブロック境界に対するデブロッキングフィルタの適用が有効と判定する。その結果、左ブロック境界の判定処理が終了する。
【０１０９】
図１２は、デブロッキングフィルタ部１０９が、対象ブロックの上ブロック境界に対してデブロッキングフィルタを適用するか否かを判定する判定フローを示すフローチャートである。つまり、図１２は、図１０のステップＳ１４の詳細な判定フローを示すフローチャートである。
【０１１０】
まず、デブロッキングフィルタ部１０９は、対象ブロックがピクチャの上端に位置するか否かを判定する（ステップＳ３１）。
【０１１１】
対象ブロックがピクチャの上端に位置すると判定する場合（ステップＳ３１のＹｅｓ）、デブロッキングフィルタ部１０９は、上述の上制御フラグ（すなわち、ｄｂｆ＿ｂ＿ｆｌａｇ）に０を設定する（ステップＳ３７）。０に設定された上制御フラグは、上ブロック境界に対するデブロッキングフィルタの適用が無効であることを示す。つまり、ステップＳ３７では、デブロッキングフィルタ部１０９は、上ブロック境界に対してデブロッキングフィルタの適用が無効と判定する。その結果、上ブロック境界の判定処理が終了する。
【０１１２】
一方、ステップＳ３１において、対象ブロックがピクチャの上端に位置しないと判定する場合（ステップＳ３１のＮｏ）、デブロッキングフィルタ部１０９は、さらに、対象ブロックの上境界がスライス境界に位置するか否かを判定する（ステップＳ３２）。なお、上境界は、上述の上ブロック境界である。
【０１１３】
ステップＳ３２において、対象ブロックの上境界がスライス境界に位置すると判定する場合（ステップＳ３２のＹｅｓ）、デブロッキングフィルタ部１０９は、さらに、スライス境界に対してデブロッキングフィルタを適用するか否かを判定する（ステップＳ３３）。具体的には、デブロッキングフィルタ部１０９は、第１のスライス制御フラグと、第２のスライス制御フラグとを参照することによって、上述の判定を行う。第１のスライス制御フラグは、図７に示すピクチャパラメータセットのシンタックスに含まれる、ｐｐｓ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇである。第２のスライス制御フラグは、図８に示すスライスセグメントヘッダのシンタックスに含まれる、ｓｌｉｃｅ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅｓ＿ｅｎａｂｌｅｄ＿ｆｌａｇである。デブロッキングフィルタ部１０９は、第１のスライス制御フラグおよび第２のスライス制御フラグのそれぞれが１を示す場合に、スライス境界に対してデブロッキングフィルタを適用すると判定する。逆に、デブロッキングフィルタ部１０９は、第１のスライス制御フラグおよび第２のスライス制御フラグの何れかが０を示す場合に、スライス境界に対してデブロッキングフィルタを適用しないと判定する。
【０１１４】
ステップＳ３３において、スライス境界に対してデブロッキングフィルタを適用すると判定する場合（ステップＳ３３のＹｅｓ）、上述の上制御フラグ（すなわち、ｄｂｆ＿ｂ＿ｆｌａｇ）に１を設定する（ステップＳ３６）。１に設定された上制御フラグは、上ブロック境界に対するデブロッキングフィルタの適用が有効であることを示す。つまり、ステップＳ３６では、デブロッキングフィルタ部１０９は、上ブロック境界に対してデブロッキングフィルタの適用が有効と判定する。その結果、上ブロック境界の判定処理が終了する。
【０１１５】
一方、ステップＳ３３において、スライス境界に対してデブロッキングフィルタを適用しないと判定する場合（ステップＳ３３のＮｏ）、上述の上制御フラグ（すなわち、ｄｂｆ＿ｂ＿ｆｌａｇ）に０を設定する（ステップＳ３７）。その結果、上ブロック境界の判定処理が終了する。
【０１１６】
また、ステップＳ３２において、対象ブロックの上境界がスライス境界に位置しないと判定する場合（ステップＳ３２のＮｏ）、デブロッキングフィルタ部１０９は、さらに、対象ブロックの上境界が従属スライスセグメント境界に位置するか否かを判定する（ステップＳ３４）。
【０１１７】
ステップＳ３４において、対象ブロックの上境界が従属スライスセグメント境界に位置すると判定する場合（ステップＳ３４のＹｅｓ）、デブロッキングフィルタ部１０９は、さらに、スライスセグメント境界に対するデブロッキングフィルタの適用が無効か否かを判定する（ステップＳ３５）。具体的には、デブロッキングフィルタ部１０９は、第１のセグメント制御フラグと、第２のセグメント制御フラグとを参照することによって、上述の判定を行う。第１のセグメント制御フラグは、図７に示すピクチャパラメータセットのシンタックスに含まれる、ｐｐｓ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔｓ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇである。第２のセグメント制御フラグは、図８に示すスライスセグメントヘッダのシンタックスに含まれる、ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔｓ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇである。
【０１１８】
ステップＳ３５において、スライスセグメント境界に対するデブロッキングフィルタの適用が無効と判定する場合（ステップＳ３５のＹｅｓ）、上述の上制御フラグ（すなわち、ｄｂｆ＿ｂ＿ｆｌａｇ）に０を設定する（ステップＳ３７）。つまり、ステップＳ３７では、デブロッキングフィルタ部１０９は、上ブロック境界に対してデブロッキングフィルタの適用が無効と判定する。その結果、上ブロック境界の判定処理が終了する。
【０１１９】
一方、ステップＳ３５において、スライスセグメント境界に対するデブロッキングフィルタの適用が有効と判定する場合（ステップＳ３５のＮｏ）、上述の上制御フラグ（すなわち、ｄｂｆ＿ｂ＿ｆｌａｇ）に１を設定する（ステップＳ３６）。つまり、ステップＳ３６では、デブロッキングフィルタ部１０９は、上ブロック境界に対するデブロッキングフィルタの適用が有効と判定する。その結果、上ブロック境界の判定処理が終了する。
【０１２０】
図１０、図１１、および図１２に示す判定フローにより、対象ブロックのブロック内境界および各ブロック境界に対するデブロッキングフィルタの制御フラグ、すなわち、ｄｂｆ＿ａ＿ｆｌａｇ、ｄｂｆ＿ｂ＿ｆｌａｇ、およびｄｂｆ＿ｃ＿ｆｌａｇを求めることができる。デブロッキングフィルタ部１０９は、これらの制御フラグを参照し、これらの制御フラグにしたがって、ブロック内境界および各ブロック境界に対してデブロッキングフィルタを適用する。つまり、デブロッキングフィルタ部１０９は、複数のスライスセグメントのそれぞれについて、当該スライスセグメントの制御情報にしたがって、当該スライスセグメントに含まれる再構成されたブロックに対してフィルタを適用する。その結果、それぞれのスライスセグメント境界に対するデブロッキングフィルタの適用を制御することができる。
【０１２１】
これにより、スライスセグメントの境界にも、デブロッキングフィルタの適用を無効にすることができ、従属スライスセグメントを使用したリフレッシュ方式のデブロッキングフィルタによるエラーの影響を抑制することができる。
【０１２２】
なお、本実施の形態における符号化装置１００は、図３に示す構成し、図１０、図１１および図１２に示す判定フローにしたがって動作する。しかし、本実施の形態における符号化装置１００の構成および動作は、より機能的または概念的な構成および動作として、図１３Ａに示す構成、および図１３Ｂに示す動作として表現されてもよい。
【０１２３】
図１３Ａは、本実施の形態における符号化装置１００の機能的な構成を示すブロック図である。
【０１２４】
符号化装置１００は、分割部１１と、符号化部１２と、再構成部１３と、ヘッダ処理部１４と、フィルタ部１５とを備える。
【０１２５】
分割部１１は、ピクチャを複数のスライスセグメントに分割する。この分割部１１は、図３に示すスライス分割部１０１に相当する。
【０１２６】
符号化部１２は、複数のスライスセグメントのそれぞれに含まれる複数のブロックを符号化する。この符号化部１２は、図３および図５に示す、減算器１０２、直交変換部１０３、量子化部１０４、エントロピー符号化部１０５の符号化処理部１１９、イントラ予測部１１１、インター予測部１１２、動き検出部１１３、および判定部１１４の全てまたは一部に相当する。
【０１２７】
再構成部１３は、符号化された複数のブロックを再構成する。この再構成部１３は、図３に示す、逆量子化部１０６、逆直交変換部１０７、および加算器１０８の全てまたは一部に相当する。
【０１２８】
ヘッダ処理部１４は、複数のスライスセグメントのそれぞれについて、当該スライスセグメントに対するフィルタの適用を制御するための制御情報を、当該スライスセグメントのヘッダ領域に付加する。このヘッダ処理部１４は、図５に示す、エントロピー符号化部１０５のスライスヘッダ生成部１１８に相当する。制御情報は、例えば、上述の第２のセグメント制御フラグ、具体的には、ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇである。
【０１２９】
フィルタ部１５は、複数のスライスセグメントのそれぞれについて、当該スライスセグメントの制御情報にしたがって、当該スライスセグメントに含まれる再構成されたブロックに対してフィルタを適用する。このフィルタ部１５は、図３に示すデブロッキングフィルタ部１０９に相当する。
【０１３０】
また、図３、図４、図５および図１３Ａに示す構成は、ＣＰＵ（Central Processing Unit）またはプロセッサなどの処理回路と、メモリとによって実現されてもよい。メモリは、上記各図によって示される各構成要素の処理を処理回路に実行させるためのプログラムを格納していてもよい。また、メモリは、図３に示すメモリ１１０のように画像を格納していてもよい。
【０１３１】
図１３Ｂは、本実施の形態における符号化方法を示すフローチャートである。
【０１３２】
符号化装置１００は、まず、ピクチャを複数のスライスセグメントに分割する（ステップＳ５１）。次に、符号化装置１００は、複数のスライスセグメントのそれぞれに含まれる複数のブロックを符号化する（ステップＳ５２）。次に、符号化装置１００は、符号化された複数のブロックを再構成する（ステップＳ５３）。次に、符号化装置１００は、その複数のスライスセグメントのそれぞれについて、当該スライスセグメントに対するフィルタの適用を制御するための制御情報を、当該スライスセグメントのヘッダ領域に付加する（ステップＳ５４）。そして、符号化装置１００は、複数のスライスセグメントのそれぞれについて、当該スライスセグメントの制御情報にしたがって、当該スライスセグメントに含まれる再構成されたブロックに対してフィルタを適用する（ステップＳ５５）。
【０１３３】
なお、ステップＳ５１、Ｓ５２、Ｓ５３、Ｓ５４、およびＳ５５のそれぞれの処理は、図１３Ａに示す、分割部１１、符号化部１２、再構成部１３、ヘッダ処理部１４、およびフィルタ部１５によって行われてもよい。あるいは、符号化装置１００が処理回路とメモリとを備えている場合には、その処理回路がメモリを用いて、図１３Ｂのフローチャートによって示される処理を実行してもよい。
【０１３４】
これにより、独立スライスセグメントおよび従属スライスセグメントなどのスライスセグメントごとに、そのスライスセグメントに対するフィルタの適用を制御することができる。したがって、複数のスライスセグメントからなるスライスごとに、そのスライスに対するフィルタの適用を制御する場合よりも、より細かい単位でフィルタの適用を制御することができる。例えば、スライスに含まれるイントラスライスセグメントの境界のみに対してフィルタの適用を無効にし、かつ、その他のスライスセグメントの境界に対してフィルタの適用を有効にすることができる。その結果、イントラスライスセグメントによるリフレッシュ方式を用いる場合であっても、画質の低下を抑えながら、エラー伝搬を適切に抑制することができる。また、複数のスライスセグメントのうちの従属スライスセグメントに対しては、独立スライスセグメントのヘッダをコピーして利用することができるため、ピクチャに含まれるスライスセグメントの数が多くても符号化効率の低下を抑制することができる。したがって、符号化効率および画質を低下させることなく、エラー伝搬を抑制することができる。
【０１３５】
また、本実施の形態における制御情報は、その制御情報に対応するスライスセグメントの境界に対してデブロッキングフィルタを適用するか否かを示す。なお、その制御情報は、例えば、上述の第２のセグメント制御フラグ、具体的には、ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔｓ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇである。これにより、デブロッキングフィルタが適用される場合には、スライスセグメントの境界における画像の歪みを低減することができる。
【０１３６】
また、本実施の形態における、複数のスライスセグメントに分割されるピクチャは、動画像に含まれる複数のピクチャのうちの１つである。そして、その複数のピクチャのそれぞれは、Ｉスライスセグメントを有し、かつ、その複数のピクチャのそれぞれにおけるＩスライスセグメントの位置が、複数のピクチャの符号化順にしたがって周期的に異なるように構成されていてもよい。つまり、複数のピクチャは、イントラスライスセグメントによるリフレッシュ方式、すなわちＣＩＲ（Cyclic Intra Refresh）によって構成されていてもよい。このような場合、本実施の形態では、制御情報に対応するスライスセグメントとＩスライスセグメントとの境界に対してフィルタを適用しないことを示す制御情報を、そのスライスセグメントのヘッダ領域に付加してもよい。これにより、イントラスライスセグメントによるリフレッシュ方式、すなわちＣＩＲを用いる場合であっても、エラー伝搬を適切に抑制することができる。
【０１３７】
（実施の形態２）
図１４は、本実施の形態における復号装置の構成を示すブロック図である。
【０１３８】
本実施の形態における復号装置２００は、エラー伝搬を適切に抑制することができる装置である。このような復号装置２００は、エントロピー復号部２０５と、逆量子化部２０６と、逆直交変換部２０７と、加算器２０８と、デブロッキングフィルタ部２０９と、メモリ２１０と、イントラ予測部２１１と、インター予測部２１２と、判定部２１４とを備える。
【０１３９】
エントロピー復号部２０５は、ビットストリームをエントロピー復号（可変長復号）することによって、量子化された係数列と動きベクトルとを生成する。
【０１４０】
逆量子化部２０６は、その量子化された係数列を逆量子化する。逆直交変換部２０７は、その逆量子化された係数列に含まれる各周波数係数に対して逆離散コサイン変換などの逆直交変換（逆周波数変換）を行うことによって、復号差分画像を生成する。
【０１４１】
加算器２０８は、判定部２１４から予測画像を取得し、その予測画像と、逆直交変換部２０７によって生成された復号差分画像とを加算することによって復号画像（再構成画像）を生成する。
【０１４２】
デブロッキングフィルタ部２０９は、加算器２０８によって生成された復号画像のブロック歪みを除去し、その復号画像を出力する。また、デブロッキングフィルタ部２０９は、そのブロック歪みが除去された復号画像をメモリ２１０に格納する。
【０１４３】
メモリ２１０は、インター予測の際の参照画像として復号画像を格納するためのメモリである。なお、このメモリ２１０は復号ピクチャバッファ（ＤＰＢ）として用いられる。
【０１４４】
イントラ予測部２１１は、加算器２０８によって生成された復号画像を用いて、対象ブロックに対してイントラ予測を行うことによって予測画像（イントラ予測画像）を生成する。なお、本実施の形態における対象ブロックは、ビットストリームに含まれるピクチャのうちの復号の対象とされるブロックである。
【０１４５】
インター予測部２１２は、メモリ２１０に格納されている画像を参照画像として参照するとともに、エントロピー復号部２０５によって生成された動きベクトルを用いることによって、対象ブロックに対して動き補償を行う。インター予測部２１２は、このような動き補償を行うことによって、つまり対象ブロックに対してインター予測を行うことによって、対象ブロックの予測画像（インター予測画像）を生成する。
【０１４６】
判定部２１４は、対象ブロックをイントラ予測符号化するか、インター予測符号化するかを判定する。ここで、判定部２１４は、対象ブロックがイントラ予測符号化される場合には、イントラ予測部２１１によって生成された予測画像（イントラ予測画像）を加算器２０８に出力する。一方、判定部２１４は、対象ブロックがインター予測符号化される場合には、インター予測部２１２によって生成された予測画像（インター予測画像）を加算器２０８に出力する。ここで、判定部２１４は、実施の形態１における判定部１１４と同一の構成を有する。
【０１４７】
図１５は、エントロピー復号部２０５の構成を示すブロック図である。
【０１４８】
エントロピー復号部２０５は、ピクチャヘッダ解析部２１７と、スライスヘッダ解析部２１８と、復号処理部２１９とを構える。
【０１４９】
ピクチャヘッダ解析部２１７は、ピクチャパラメータセットを解析することによって、そのピクチャパラメータセットから各フラグを抽出する。各フラグには、第１のスライス制御フラグ、第１のセグメント制御フラグ、および第１のＤＢＦ制御フラグなどである。
【０１５０】
スライスヘッダ解析部２１８は、スライスヘッダまたはスライスセグメントヘッダを解析することによって、そのヘッダから各フラグを抽出する。各フラグには、第２のスライス制御フラグ、第２のセグメント制御フラグ、および第２のＤＢＦ制御フラグなどである。
【０１５１】
例えば、スライスヘッダ解析部２１８は、ピクチャヘッダ解析部２１７から第１のセグメント制御フラグを取得し、その第１のセグメント制御フラグが１に設定されているか否かを判定する。なお、１に設定されている第１のセグメント制御フラグは、第２のセグメント制御フラグがスライスセグメントヘッダに含まれていることを示す。そこで、スライスヘッダ解析部２１８は、その第１のセグメント制御フラグが１に設定されていると判定すると、スライスセグメントヘッダを解析することによって、そのスライスセグメントヘッダから第２のセグメント制御フラグを抽出する。
【０１５２】
ピクチャヘッダ解析部２１７およびスライスヘッダ解析部２１８のそれぞれによって抽出された各フラグは、デブロッキングフィルタ部２０９によって用いられる。
【０１５３】
復号処理部２１９は、ビットストリームをエントロピー復号することによって、量子化された係数列を出力する。
【０１５４】
本実施の形態におけるデブロッキングフィルタ部２０９は、実施の形態１におけるデブロッキングフィルタ部１０９と同様の処理を実行する。つまり、デブロッキングフィルタ部２０９は、図７および８に示すシンタックスに基づいて動作する。さらに、デブロッキングフィルタ部２０９は、図１０、図１１および図１２のフローチャートにしたがって、デブロッキングフィルタを対象ブロックに対して適用するか否かを判定する。
【０１５５】
したがって、本実施の形態でも、実施の形態１と同様、図１０、図１１、および図１２に示す判定フローにより、対象ブロックのブロック内境界および各ブロック境界に対するデブロッキングフィルタの制御フラグを求めることができる。なお、制御フラグは、ｄｂｆ＿ａ＿ｆｌａｇ、ｄｂｆ＿ｂ＿ｆｌａｇ、およびｄｂｆ＿ｃ＿ｆｌａｇである。デブロッキングフィルタ部２０９は、これらの制御フラグを参照し、これらの制御フラグにしたがって、ブロック内境界および各ブロック境界に対してデブロッキングフィルタを適用する。つまり、デブロッキングフィルタ部２０９は、複数のスライスセグメントのそれぞれについて、当該スライスセグメントの制御情報にしたがって、当該スライスセグメントに含まれる再構成されたブロックに対してフィルタを適用する。その結果、それぞれのスライスセグメント境界に対するデブロッキングフィルタの適用を制御することができる。
【０１５６】
これにより、スライスセグメントの境界にも、デブロッキングフィルタの適用を無効にすることができ、従属スライスセグメントを使用したリフレッシュ方式のデブロッキングフィルタによるエラーの影響を抑制することができる。
【０１５７】
なお、本実施の形態における復号装置２００は、図１４に示す構成し、図１０、図１１および図１２に示す判定フローにしたがって動作する。しかし、本実施の形態における復号装置２００の構成および動作は、より機能的または概念的な構成および動作として、図１６Ａに示す構成、および図１６Ｂに示す動作として表現されてもよい。
【０１５８】
図１６Ａは、本実施の形態における復号装置２００の機能的な構成を示すブロック図である。
【０１５９】
復号装置２００は、再構成部２１と、ヘッダ処理部２２と、フィルタ部２３とを備える。
【０１６０】
再構成部２１は、符号化ピクチャを構成する複数のスライスセグメントのそれぞれに含まれる複数のブロックを再構成する。この再構成部２１は、図１４および図１５に示す、エントロピー復号部２０５の復号処理部２１９、逆量子化部２０６、逆直交変換部２０７、加算器２０８、イントラ予測部２１１、インター予測部２１２、および判定部２１４の全てまたは一部に相当する。
【０１６１】
ヘッダ処理部２２は、複数のスライスセグメントのそれぞれについて、当該スライスセグメントに対するフィルタの適用を制御するための制御情報を、当該スライスセグメントのヘッダ領域から取得する。このヘッダ処理部２２は、図１５に示す、エントロピー復号部２０５のスライスヘッダ解析部２１８に相当する。制御情報は、例えば、上述の第２のセグメント制御フラグ、具体的には、ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔｓ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇである。
【０１６２】
フィルタ部２３は、複数のスライスセグメントのそれぞれについて、当該スライスセグメントの制御情報にしたがって、当該スライスセグメントに含まれる再構成されたブロックに対してフィルタを適用する。このフィルタ部２３は、図１４に示すデブロッキングフィルタ部２０９に相当する。
【０１６３】
また、図１４、図１５および図１６Ａに示す構成は、ＣＰＵ（Central Processing Unit）またはプロセッサなどの処理回路と、メモリとによって実現されてもよい。メモリは、上記各図によって示される各構成要素の処理を処理回路に実行させるためのプログラムを格納していてもよい。また、メモリは、図１４に示すメモリ２１０のように画像を格納していてもよい。
【０１６４】
図１６Ｂは、本実施の形態における復号方法を示すフローチャートである。
【０１６５】
復号装置２００は、まず、符号化ピクチャを構成する複数のスライスセグメントのそれぞれに含まれる複数のブロックを再構成する（ステップＳ６１）。次に、復号装置２００は、その複数のスライスセグメントのそれぞれについて、当該スライスセグメントに対するフィルタの適用を制御するための制御情報を、当該スライスセグメントのヘッダ領域から取得する（ステップＳ６２）。そして、復号装置２００は、複数のスライスセグメントのそれぞれについて、当該スライスセグメントの制御情報にしたがって、当該スライスセグメントに含まれる再構成されたブロックに対してフィルタを適用する（ステップＳ６３）。
【０１６６】
なお、ステップＳ６１、Ｓ６２、およびＳ６３のそれぞれの処理は、図１６Ａに示す、再構成部２１、ヘッダ処理部２２、およびフィルタ部２３によって行われてもよい。あるいは、復号装置２００が処理回路とメモリとを備えている場合には、その処理回路がメモリを用いて、図１６Ｂのフローチャートによって示される処理を実行してもよい。
【０１６７】
これにより、独立スライスセグメントおよび従属スライスセグメントなどのスライスセグメントごとに、そのスライスセグメントに対するフィルタの適用を制御することができる。したがって、複数のスライスセグメントからなるスライスごとに、そのスライスに対するフィルタの適用を制御する場合よりも、より細かい単位でフィルタの適用を制御することができる。例えば、スライスに含まれるイントラスライスセグメントの境界のみに対してフィルタの適用を無効にし、かつ、その他のスライスセグメントの境界に対してフィルタの適用を有効にすることができる。その結果、イントラスライスセグメントによるリフレッシュ方式を用いる場合であっても、画質の低下を抑えながら、エラー伝搬を適切に抑制することができる。また、複数のスライスセグメントのうちの従属スライスセグメントに対しては、独立スライスセグメントのヘッダをコピーして利用することができるため、ピクチャに含まれるスライスセグメントの数が多くても符号化効率の低下を抑制することができる。したがって、符号化効率および画質を低下させることなく、エラー伝搬を抑制することができる。
【０１６８】
また、本実施の形態における制御情報は、その制御情報に対応するスライスセグメントの境界に対してデブロッキングフィルタを適用するか否かを示す。なお、その制御情報は、例えば、上述の第２のセグメント制御フラグ、具体的には、ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔｓ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇである。これにより、デブロッキングフィルタが適用される場合には、スライスセグメントの境界における画像の歪みを低減することができる。
【０１６９】
また、本実施の形態における、複数のスライスセグメントに分割されるピクチャは、動画像に含まれる複数のピクチャのうちの１つである。そして、その複数のピクチャのそれぞれは、Ｉスライスセグメントを有し、かつ、その複数のピクチャのそれぞれにおけるＩスライスセグメントの位置が、複数のピクチャの符号化順にしたがって周期的に異なるように構成されていてもよい。つまり、複数のピクチャは、イントラスライスセグメントによるリフレッシュ方式、すなわちＣＩＲ（Cyclic Intra Refresh）によって構成されていてもよい。このような場合、本実施の形態では、制御情報に対応するスライスセグメントとＩスライスセグメントとの境界に対してフィルタを適用しないことを示す制御情報を、そのスライスセグメントのヘッダ領域に付加してもよい。これにより、イントラスライスセグメントによるリフレッシュ方式、すなわちＣＩＲを用いる場合であっても、エラー伝搬を適切に抑制することができる。
【０１７０】
以上、本開示の一態様に係る符号化装置および復号装置について、上記各実施の形態例を用いて説明したが、本開示は上記各実施の形態に限定されるものではない。
【０１７１】
例えば、上記実施の形態では、ピクチャを複数のスライスセグメントに分割したときには、そのピクチャには１つの独立スライスセグメントが含まれていたが、２つ以上の独立スライスセグメントが含まれていてもよい。この場合には、２つ以上の独立スライスセグメントのそれぞれについて、その独立スライスセグメントに従属する少なくとも１つの従属スライスセグメントもピクチャに含まれる。
【０１７２】
また、上記実施の形態では、スライスセグメントの境界に対するデブロッキングフィルタの適用を制御することでデブロッキングフィルタの影響によるエラー伝搬を抑制したが、制御する対象はデブロッキングフィルタに限るものではない。例えば、サンプル・アダプティブ・オフセット（ＳＡＯ：Ｓａｍｐｌｅ  Ａｄａｐｔｉｖｅ  Ｏｆｆｓｅｔ）のスライスセグメントの境界に対する適用を制御してもよい。つまり、制御情報は、その制御情報に対応するスライスセグメントの境界に対してサンプル・アダプティブ・オフセットを適用するか否かを示してもよい。これにより、サンプル・アダプティブ・オフセットが適用される場合には、符号化された各ブロックの復号によって得られる復号画像を、原画像により近づけることができる。
【０１７３】
また、上記各実施の形態では、図８に示すように、第２のセグメント制御フラグとして、ｓｌｉｃｅ＿ｓｅｇｍｅｎｔ＿ｌｏｏｐ＿ｆｉｌｔｅｒ＿ａｃｒｏｓｓ＿ｓｌｉｃｅ＿ｓｅｇｍｅｎｔｓ＿ｄｉｓａｂｌｅｄ＿ｆｌａｇが用いられている。この第２のセグメント制御フラグは、デブロッキングフィルタの適用を無効とする場合に、１に設定される。しかし、第２のセグメント制御フラグは、デブロッキングフィルタの適用を有効とする場合に、１に設定され、デブロッキングフィルタの適用を無効とする場合に、０に設定されてもよい。このように、上記各実施の形態における各フラグに設定される値、すなわち１または０は、入れ替えられてもよい。
【０１７４】
また、上記実施の形態では、スライスセグメントの境界に対するデブロッキングフィルタの適用を制御することでデブロッキングフィルタの影響によるエラー伝搬を抑制したが、制御する対象はスライスセグメント境界のデブロッキングフィルタに限るものではない。例えば、対象スライスセグメントに含まれる全てのブロックへのデブロッキングフィルタの適用を制御してもよい。つまり、スライスセグメントの境界だけでなく、そのスライスセグメントに含まれる全てのブロックの境界に対するデブロッキングフィルタの適用を制御してもよい。すなわち、制御情報は、その制御情報に対応するスライスセグメントの境界と、そのスライスセグメントに含まれる複数のブロック間の境界とに対してデブロッキングフィルタを適用するか否かを示す。例えば、スライスセグメントに含まれる全てのブロックに対してデブロッキングフィルタを適用しないことにより、デブロッキングフィルタによるエラー伝搬の影響を防ぐことができる。
【０１７５】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態における符号化装置または復号装置などを実現するソフトウェアは、図１０、図１１、図１２、図１３Ｂおよび図１６Ｂに示すフローチャートに含まれる各ステップをコンピュータに実行させるプログラムである。また、上記各実施の形態における符号化装置、復号装置、符号化方法、および復号方法は、それぞれ画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法ともいう。
【０１７６】
また、上記各実施の形態における符号化方装置および復号装置などは、ＨＥＶＣに適用されてもよく、他の画像符号化規格に適用されてもよい。
【０１７７】
（実施の形態３）
以上の各実施の形態において、機能ブロックの各々は、通常、ＭＰＵ及びメモリ等によって実現可能である。また、機能ブロックの各々による処理は、通常、プロセッサなどのプログラム実行部が、ＲＯＭ等の記録媒体に記録されたソフトウェア（プログラム）を読み出して実行することで実現される。当該ソフトウェアはダウンロード等により配布されてもよいし、半導体メモリなどの記録媒体に記録して配布されてもよい。なお、各機能ブロックをハードウェア（専用回路）によって実現することも、当然、可能である。
【０１７８】
また、各実施の形態において説明した処理は、単一の装置（システム）を用いて集中処理することによって実現してもよく、又は、複数の装置を用いて分散処理することによって実現してもよい。また、上記プログラムを実行するプロセッサは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、又は分散処理を行ってもよい。
【０１７９】
本発明は、以上の実施例に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含される。
【０１８０】
さらにここで、上記各実施の形態で示した動画像符号化方法（画像符号化方法）又は動画像復号化方法（画像復号方法）の応用例とそれを用いたシステムを説明する。当該システムは、画像符号化方法を用いた画像符号化装置、画像復号方法を用いた画像復号装置、及び両方を備える画像符号化復号装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。
【０１８１】
［使用例］
図１７は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０が設置されている。
【０１８２】
このコンテンツ供給システムｅｘ１００では、インターネットｅｘ１０１に、インターネットサービスプロバイダｅｘ１０２又は通信網ｅｘ１０４、及び基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ゲーム機ｅｘ１１２、カメラｅｘ１１３、家電ｅｘ１１４、及びスマートフォンｅｘ１１５などの各機器が接続される。当該コンテンツ供給システムｅｘ１００は、上記のいずれかの要素を組合せて接続するようにしてもよい。固定無線局である基地局ｅｘ１０６〜ｅｘ１１０を介さずに、各機器が電話網又は近距離無線等を介して直接的又は間接的に相互に接続されていてもよい。また、ストリーミングサーバｅｘ１０３は、インターネットｅｘ１０１等を介して、コンピュータｅｘ１１１、ゲーム機ｅｘ１１２、カメラｅｘ１１３、家電ｅｘ１１４、及びスマートフォンｅｘ１１５などの各機器と接続される。また、ストリーミングサーバｅｘ１０３は、衛星ｅｘ１１６を介して、飛行機ｅｘ１１７内のホットスポット内の端末等と接続される。
【０１８３】
なお、基地局ｅｘ１０６〜ｅｘ１１０の代わりに、無線アクセスポイント又はホットスポット等が用いられてもよい。また、ストリーミングサーバｅｘ１０３は、インターネットｅｘ１０１又はインターネットサービスプロバイダｅｘ１０２を介さずに直接通信網ｅｘ１０４と接続されてもよいし、衛星ｅｘ１１６を介さず直接飛行機ｅｘ１１７と接続されてもよい。
【０１８４】
カメラｅｘ１１３はデジタルカメラ等の静止画撮影、及び動画撮影が可能な機器である。また、スマートフォンｅｘ１１５は、一般に２Ｇ、３Ｇ、３．９Ｇ、４Ｇ、そして今後は５Ｇと呼ばれる移動通信システムの方式に対応したスマートフォン機、携帯電話機、又はＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙｐｈｏｎｅ  Ｓｙｓｔｅｍ）等である。
【０１８５】
家電ｅｘ１１４は、冷蔵庫、又は家庭用燃料電池コージェネレーションシステムに含まれる機器等である。
【０１８６】
コンテンツ供給システムｅｘ１００では、撮影機能を有する端末が基地局ｅｘ１０６等を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、端末（コンピュータｅｘ１１１、ゲーム機ｅｘ１１２、カメラｅｘ１１３、家電ｅｘ１１４、スマートフォンｅｘ１１５、及び飛行機ｅｘ１１７内の端末等）は、ユーザが当該端末を用いて撮影した静止画又は動画コンテンツに対して上記各実施の形態で説明した符号化処理を行い、符号化により得られた映像データと、映像に対応する音を符号化した音データと多重化し、得られたデータをストリーミングサーバｅｘ１０３に送信する。即ち、各端末は、本発明の一態様に係る画像符号化装置として機能する。
【０１８７】
一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントは、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ゲーム機ｅｘ１１２、カメラｅｘ１１３、家電ｅｘ１１４、スマートフォンｅｘ１１５、又は飛行機ｅｘ１１７内の端末等である。配信されたデータを受信した各機器は、受信したデータを復号化処理して再生する。即ち、各機器は、本発明の一態様に係る画像復号装置として機能する。
【０１８８】
［分散処理］
また、ストリーミングサーバｅｘ１０３は複数のサーバ又は複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。例えば、ストリーミングサーバｅｘ１０３は、ＣＤＮ（Ｃｏｎｔｅｎｔｓ  Ｄｅｌｉｖｅｒｙ  Ｎｅｔｗｏｒｋ）により実現され、世界中に分散された多数のエッジサーバとエッジサーバ間をつなぐネットワークによりコンテンツ配信が実現されていてもよい。ＣＤＮでは、クライアントに応じて物理的に近いエッジサーバが動的に割り当てられる。そして、当該エッジサーバにコンテンツがキャッシュ及び配信されることで遅延を減らすことができる。また、何らかのエラーが発生した場合又はトラフィックの増加などにより通信状態が変わる場合に複数のエッジサーバで処理を分散したり、他のエッジサーバに配信主体を切り替えたり、障害が生じたネットワークの部分を迂回して配信を続けることができるので、高速かつ安定した配信が実現できる。
【０１８９】
また、配信自体の分散処理にとどまらず、撮影したデータの符号化処理を各端末で行ってもよいし、サーバ側で行ってもよいし、互いに分担して行ってもよい。一例として、一般に符号化処理では、処理ループが２度行われる。１度目のループでフレーム又はシーン単位での画像の複雑さ、又は、符号量が検出される。また、２度目のループでは画質を維持して符号化効率を向上させる処理が行われる。例えば、端末が１度目の符号化処理を行い、コンテンツを受け取ったサーバ側が２度目の符号化処理を行うことで、各端末での処理負荷を減らしつつもコンテンツの質と効率を向上させることができる。この場合、ほぼリアルタイムで受信して復号する要求があれば、端末が行った一度目の符号化済みデータを他の端末で受信して再生することもできるので、より柔軟なリアルタイム配信も可能になる。
【０１９０】
他の例として、カメラｅｘ１１３等は、画像から特徴量抽出を行い、特徴量に関するデータをメタデータとして圧縮してサーバに送信する。サーバは、例えば特徴量からオブジェクトの重要性を判断して量子化精度を切り替えるなど、画像の意味に応じた圧縮を行う。特徴量データはサーバでの再度の圧縮時の動きベクトル予測の精度及び効率向上に特に有効である。また、端末でＶＬＣ（可変長符号化）などの簡易的な符号化を行い、サーバでＣＡＢＡＣ（コンテキスト適応型二値算術符号化方式）など処理負荷の大きな符号化を行ってもよい。
【０１９１】
さらに他の例として、スタジアム、ショッピングモール、又は工場などにおいては、複数の端末によりほぼ同一のシーンが撮影された複数の映像データが存在する場合がある。この場合には、撮影を行った複数の端末と、必要に応じて撮影をしていない他の端末及びサーバを用いて、例えばＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）単位、ピクチャ単位、又はピクチャを分割したタイル単位などで符号化処理をそれぞれ割り当てて分散処理を行う。これにより、遅延を減らし、よりリアルタイム性を実現できる。
【０１９２】
また、複数の映像データはほぼ同一シーンであるため、各端末で撮影された映像データを互いに参照し合えるように、サーバで管理及び／又は指示をしてもよい。または、各端末からの符号化済みデータを、サーバが受信し複数のデータ間で参照関係を変更、又はピクチャ自体を補正或いは差し替えて符号化しなおしてもよい。これにより、一つ一つのデータの質と効率を高めたストリームを生成できる。
【０１９３】
また、サーバは、映像データの符号化方式を変更するトランスコードを行ったうえで映像データを配信してもよい。例えば、サーバは、ＭＰＥＧ系の符号化方式をＶＰ系に変換してもよいし、Ｈ．２６４をＨ．２６５に変換してもよい。
【０１９４】
このように、符号化処理は、端末、又は１以上のサーバにより行うことが可能である。よって、以下では、処理を行う主体として「サーバ」又は「端末」等の記載を用いるが、サーバで行われる処理の一部又は全てが端末で行われてもよいし、端末で行われる処理の一部又は全てがサーバで行われてもよい。また、これらに関しては、復号処理についても同様である。
【０１９５】
［３Ｄ、マルチアングル］
近年では、互いにほぼ同期した複数のカメラｅｘ１１３及び／又はスマートフォンｅｘ１１５などの端末により撮影された異なるシーン、又は、同一シーンを異なるアングルから撮影した画像或いは映像を統合して利用することも増えてきている。各端末で撮影した映像は、別途取得した端末間の相対的な位置関係、又は、映像に含まれる特徴点が一致する領域などに基づいて統合される。
【０１９６】
サーバは、２次元の動画像を符号化するだけでなく、動画像のシーン解析などに基づいて自動的に、又は、ユーザが指定した時刻において、静止画を符号化し、受信端末に送信してもよい。サーバは、さらに、撮影端末間の相対的な位置関係を取得できる場合には、２次元の動画像だけでなく、同一シーンが異なるアングルから撮影された映像に基づき、当該シーンの３次元形状を生成できる。なお、サーバは、ポイントクラウドなどにより生成した３次元のデータを別途符号化してもよいし、３次元データを用いて人物又はオブジェクトを認識或いは追跡した結果に基づいて、受信端末に送信する映像を、複数の端末で撮影した映像から選択、又は、再構成して生成してもよい。
【０１９７】
このようにして、ユーザは、各撮影端末に対応する各映像を任意に選択してシーンを楽しむこともできるし、複数画像又は映像を用いて再構成された３次元データから任意視点の映像を切り出したコンテンツを楽しむこともできる。さらに、映像と同様に音も複数の相異なるアングルから収音され、サーバは、映像に合わせて特定のアングル又は空間からの音を映像と多重化して送信してもよい。
【０１９８】
また、近年ではＶｉｒｔｕａｌ  Ｒｅａｌｉｔｙ（ＶＲ）及びＡｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ（ＡＲ）など、現実世界と仮想世界とを対応付けたコンテンツも普及してきている。ＶＲの画像の場合、サーバは、右目用及び左目用の視点画像をそれぞれ作成し、Ｍｕｌｔｉ−Ｖｉｅｗ  Ｃｏｄｉｎｇ（ＭＶＣ）などにより各視点映像間で参照を許容する符号化を行ってもよいし、互いに参照せずに別ストリームとして符号化してもよい。別ストリームの復号時には、ユーザの視点に応じて仮想的な３次元空間が再現されるように互いに同期させて再生するとよい。
【０１９９】
ＡＲの画像の場合には、サーバは、現実空間のカメラ情報に、仮想空間上の仮想物体情報を、３次元的位置又はユーザの視点の動きに基づいて重畳する。復号装置は、仮想物体情報及び３次元データを取得又は保持し、ユーザの視点の動きに応じて２次元画像を生成し、スムーズにつなげることで重畳データを作成してもよい。または、復号装置は仮想物体情報の依頼に加えてユーザの視点の動きをサーバに送信し、サーバは、サーバに保持される３次元データから受信した視点の動きに合わせて重畳データを作成し、重畳データを符号化して復号装置に配信してもよい。なお、重畳データは、ＲＧＢ以外に透過度を示すα値を有し、サーバは、３次元データから作成されたオブジェクト以外の部分のα値が０などに設定し、当該部分が透過する状態で、符号化してもよい。もしくは、サーバは、クロマキーのように所定の値のＲＧＢ値を背景に設定し、オブジェクト以外の部分は背景色にしたデータを生成してもよい。
【０２００】
同様に配信されたデータの復号処理はクライアントである各端末で行っても、サーバ側で行ってもよいし、互いに分担して行ってもよい。一例として、ある端末が、一旦サーバに受信リクエストを送り、そのリクエストに応じたコンテンツを他の端末で受信し復号処理を行い、ディスプレイを有する装置に復号済みの信号が送信されてもよい。通信可能な端末自体の性能によらず処理を分散して適切なコンテンツを選択することで画質のよいデータを再生することができる。また、他の例として大きなサイズの画像データをＴＶ等で受信しつつ、鑑賞者の個人端末にピクチャが分割されたタイルなど一部の領域が復号されて表示されてもよい。これにより、全体像を共有化しつつ、自身の担当分野又はより詳細に確認したい領域を手元で確認することができる。
【０２０１】
また今後は、屋内外にかかわらず近距離、中距離、又は長距離の無線通信が複数使用可能な状況下で、ＭＰＥＧ−ＤＡＳＨなどの配信システム規格を利用して、接続中の通信に対して適切なデータを切り替えながらシームレスにコンテンツを受信することが予想される。これにより、ユーザは、自身の端末のみならず屋内外に設置されたディスプレイなどの復号装置又は表示装置を自由に選択しながらリアルタイムで切り替えられる。また、自身の位置情報などに基づいて、復号する端末及び表示する端末を切り替えながら復号を行うことができる。これにより、目的地への移動中に、表示可能なデバイスが埋め込まれた隣の建物の壁面又は地面の一部に地図情報を表示させながら移動することも可能になる。また、符号化データが受信端末から短時間でアクセスできるサーバにキャッシュされている、又は、コンテンツ・デリバリー・サービスにおけるエッジサーバにコピーされている、などの、ネットワーク上での符号化データへのアクセス容易性に基づいて、受信データのビットレートを切り替えることも可能である。
【０２０２】
［スケーラブル符号化］
コンテンツの切り替えに関して、図１８に示す、上記各実施の形態で示した動画像符号化方法を応用して圧縮符号化されたスケーラブルなストリームを用いて説明する。サーバは、個別のストリームとして内容は同じで質の異なるストリームを複数有していても構わないが、図示するようにレイヤに分けて符号化を行うことで実現される時間的／空間的スケーラブルなストリームの特徴を活かして、コンテンツを切り替える構成であってもよい。つまり、復号側が性能という内的要因と通信帯域の状態などの外的要因とに応じてどのレイヤまで復号するかを決定することで、復号側は、低解像度のコンテンツと高解像度のコンテンツとを自由に切り替えて復号できる。例えば移動中にスマートフォンｅｘ１１５で視聴していた映像の続きを、帰宅後にインターネットＴＶ等の機器で視聴したい場合には、当該機器は、同じストリームを異なるレイヤまで復号すればよいので、サーバ側の負担を軽減できる。
【０２０３】
さらに、上記のように、レイヤ毎にピクチャが符号化されており、ベースレイヤの上位にエンハンスメントレイヤが存在するスケーラビリティを実現する構成以外に、エンハンスメントレイヤが画像の統計情報などに基づくメタ情報を含み、復号側が、メタ情報に基づきベースレイヤのピクチャを超解像することで高画質化したコンテンツを生成してもよい。超解像とは、同一解像度におけるＳＮ比の向上、及び、解像度の拡大のいずれであってもよい。メタ情報は、超解像処理に用いる線形或いは非線形のフィルタ係数を特定するため情報、又は、超解像処理に用いるフィルタ処理、機械学習或いは最小２乗演算におけるパラメータ値を特定する情報などを含む。
【０２０４】
または、画像内のオブジェクトなどの意味合いに応じてピクチャがタイル等に分割されており、復号側が、復号するタイルを選択することで一部の領域だけを復号する構成であってもよい。また、オブジェクトの属性（人物、車、ボールなど）と映像内の位置（同一画像における座標位置など）とをメタ情報として格納することで、復号側は、メタ情報に基づいて所望のオブジェクトの位置を特定し、そのオブジェクトを含むタイルを決定できる。例えば、図１９に示すように、メタ情報は、ＨＥＶＣにおけるＳＥＩメッセージなど画素データとは異なるデータ格納構造を用いて格納される。このメタ情報は、例えば、メインオブジェクトの位置、サイズ、又は色彩などを示す。
【０２０５】
また、ストリーム、シーケンス又はランダムアクセス単位など、複数のピクチャから構成される単位でメタ情報が格納されてもよい。これにより、復号側は、特定人物が映像内に出現する時刻などが取得でき、ピクチャ単位の情報と合わせることで、オブジェクトが存在するピクチャ、及び、ピクチャ内でのオブジェクトの位置を特定できる。
【０２０６】
［Ｗｅｂページの最適化］
図２０は、コンピュータｅｘ１１１等におけるｗｅｂページの表示画面例を示す図である。図２１は、スマートフォンｅｘ１１５等におけるｗｅｂページの表示画面例を示す図である。図２０及び図２１に示すようにｗｅｂページが、画像コンテンツへのリンクであるリンク画像を複数含む場合があり、閲覧するデバイスによってその見え方は異なる。画面上に複数のリンク画像が見える場合には、ユーザが明示的にリンク画像を選択するまで、又は画面の中央付近にリンク画像が近付く或いはリンク画像の全体が画面内に入るまでは、表示装置（復号装置）は、リンク画像として各コンテンツが有する静止画又はＩピクチャを表示したり、複数の静止画又はＩピクチャ等でｇｉｆアニメのような映像を表示したり、ベースレイヤのみ受信して映像を復号及び表示したりする。
【０２０７】
ユーザによりリンク画像が選択された場合、表示装置は、ベースレイヤを最優先にして復号する。なお、ｗｅｂページを構成するＨＴＭＬにスケーラブルなコンテンツであることを示す情報があれば、表示装置は、エンハンスメントレイヤまで復号してもよい。また、リアルタイム性を担保するために、選択される前又は通信帯域が非常に厳しい場合には、表示装置は、前方参照のピクチャ（Ｉピクチャ、Ｐピクチャ、前方参照のみのＢピクチャ）のみを復号及び表示することで、先頭ピクチャの復号時刻と表示時刻との間の遅延（コンテンツの復号開始から表示開始までの遅延）を低減できる。また、表示装置は、ピクチャの参照関係を敢えて無視して全てのＢピクチャ及びＰピクチャを前方参照にして粗く復号し、時間が経ち受信したピクチャが増えるにつれて正常の復号を行ってもよい。
【０２０８】
［自動走行］
また、車の自動走行又は走行支援のため２次元又は３次元の地図情報などの静止画又は映像データを送受信する場合、受信端末は、１以上のレイヤに属する画像データに加えて、メタ情報として天候又は工事の情報なども受信し、これらを対応付けて復号してもよい。なお、メタ情報は、レイヤに属してもよいし、単に画像データと多重化されてもよい。
【０２０９】
この場合、受信端末を含む車、ドローン又は飛行機などが移動するため、受信端末は、当該受信端末の位置情報を受信要求時に送信することで、基地局ｅｘ１０６〜ｅｘ１１０を切り替えながらシームレスな受信及び復号を実現できる。また、受信端末は、ユーザの選択、ユーザの状況又は通信帯域の状態に応じて、メタ情報をどの程度受信するか、又は地図情報をどの程度更新していくかを動的に切り替えることが可能になる。
【０２１０】
以上のようにして、コンテンツ供給システムｅｘ１００では、ユーザが送信した符号化された情報をリアルタイムでクライアントが受信して復号し、再生することができる。
【０２１１】
［個人コンテンツの配信］
また、コンテンツ供給システムｅｘ１００では、映像配信業者による高画質で長時間のコンテンツのみならず、個人による低画質で短時間のコンテンツのユニキャスト、又はマルチキャスト配信が可能である。また、このような個人のコンテンツは今後も増加していくと考えられる。個人コンテンツをより優れたコンテンツにするために、サーバは、編集処理を行ってから符号化処理を行ってもよい。これは例えば、以下のような構成で実現できる。
【０２１２】
撮影時にリアルタイム又は蓄積して撮影後に、サーバは、原画又は符号化済みデータから撮影エラー、シーン探索、意味の解析、及びオブジェクト検出などの認識処理を行う。そして、サーバは、認識結果に基いて手動又は自動で、ピントずれ又は手ブレなどを補正したり、明度が他のピクチャに比べて低い又は焦点が合っていないシーンなどの重要性の低いシーンを削除したり、オブジェクトのエッジを強調したり、色合いを変化させるなどの編集を行う。サーバは、編集結果に基いて編集後のデータを符号化する。また撮影時刻が長すぎると視聴率が下がることも知られており、サーバは、撮影時間に応じて特定の時間範囲内のコンテンツになるように上記のように重要性が低いシーンのみならず動きが少ないシーンなどを、画像処理結果に基き自動でクリップしてもよい。または、サーバは、シーンの意味解析の結果に基づいてダイジェストを生成して符号化してもよい。
【０２１３】
なお、個人コンテンツには、そのままでは著作権、著作者人格権、又は肖像権等の侵害となるものが写り込んでいるケースもあり、共有する範囲が意図した範囲を超えてしまうなど個人にとって不都合な場合もある。よって、例えば、サーバは、画面の周辺部の人の顔、又は家の中などを敢えて焦点が合わない画像に変更して符号化してもよい。また、サーバは、符号化対象画像内に、予め登録した人物とは異なる人物の顔が映っているかどうかを認識し、映っている場合には、顔の部分にモザイクをかけるなどの処理を行ってもよい。または、符号化の前処理又は後処理として、著作権などの観点からユーザが画像を加工したい人物又は背景領域を指定し、サーバは、指定された領域を別の映像に置き換える、又は焦点をぼかすなどの処理を行うことも可能である。人物であれば、動画像において人物をトラッキングしながら、顔の部分の映像を置き換えることができる。
【０２１４】
また、データ量の小さい個人コンテンツの視聴はリアルタイム性の要求が強いため、帯域幅にもよるが、復号装置は、まずベースレイヤを最優先で受信して復号及び再生を行う。復号装置は、この間にエンハンスメントレイヤを受信し、再生がループされる場合など２回以上再生される場合に、エンハンスメントレイヤも含めて高画質の映像を再生してもよい。このようにスケーラブルな符号化が行われているストリームであれば、未選択時又は見始めた段階では粗い動画だが、徐々にストリームがスマートになり画像がよくなるような体験を提供することができる。スケーラブル符号化以外にも、１回目に再生される粗いストリームと、１回目の動画を参照して符号化される２回目のストリームとが１つのストリームとして構成されていても同様の体験を提供できる。
【０２１５】
［その他の使用例］
また、これらの符号化又は復号処理は、一般的に各端末が有するＬＳＩｅｘ５００において処理される。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化又は復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、又はハードディスクなど）に組み込み、そのソフトウェアを用いて符号化又は復号処理を行ってもよい。さらに、スマートフォンｅｘ１１５がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データはスマートフォンｅｘ１１５が有するＬＳＩｅｘ５００で符号化処理されたデータである。
【０２１６】
なお、ＬＳＩｅｘ５００は、アプリケーションソフトをダウンロードしてアクティベートする構成であってもよい。この場合、端末は、まず、当該端末がコンテンツの符号化方式に対応しているか、又は、特定サービスの実行能力を有するかを判定する。端末がコンテンツの符号化方式に対応していない場合、又は、特定サービスの実行能力を有さない場合、端末は、コーデック又はアプリケーションソフトをダウンロードし、その後、コンテンツ取得及び再生する。
【０２１７】
また、インターネットｅｘ１０１を介したコンテンツ供給システムｅｘ１００に限らず、デジタル放送用システムにも上記各実施の形態の少なくとも動画像符号化装置（画像符号化装置）又は動画像復号化装置（画像復号装置）のいずれかを組み込むことができる。衛星などを利用して放送用の電波に映像と音が多重化された多重化データを載せて送受信するため、コンテンツ供給システムｅｘ１００のユニキャストがし易い構成に対してマルチキャスト向きであるという違いがあるが符号化処理及び復号処理に関しては同様の応用が可能である。
【０２１８】
［ハードウェア構成］
図２２は、スマートフォンｅｘ１１５を示す図である。また、図２３は、スマートフォンｅｘ１１５の構成例を示す図である。スマートフォンｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ４５０と、映像及び静止画を撮ることが可能なカメラ部ｅｘ４６５と、カメラ部ｅｘ４６５で撮像した映像、及びアンテナｅｘ４５０で受信した映像等が復号されたデータを表示する表示部ｅｘ４５８とを備える。スマートフォンｅｘ１１５は、さらに、タッチパネル等である操作部ｅｘ４６６と、音声又は音響を出力するためのスピーカ等である音声出力部ｅｘ４５７と、音声を入力するためのマイク等である音声入力部ｅｘ４５６と、撮影した映像或いは静止画、録音した音声、受信した映像或いは静止画、メール等の符号化されたデータ、又は、復号化されたデータを保存可能なメモリ部ｅｘ４６７と、ユーザを特定し、ネットワークをはじめ各種データへのアクセスの認証をするためのＳＩＭｅｘ４６８とのインタフェース部であるスロット部ｅｘ４６４とを備える。なお、メモリ部ｅｘ４６７の代わりに外付けメモリが用いられてもよい。
【０２１９】
また、表示部ｅｘ４５８及び操作部ｅｘ４６６等を統括的に制御する主制御部ｅｘ４６０と、電源回路部ｅｘ４６１、操作入力制御部ｅｘ４６２、映像信号処理部ｅｘ４５５、カメラインタフェース部ｅｘ４６３、ディスプレイ制御部ｅｘ４５９、変調／復調部ｅｘ４５２、多重／分離部ｅｘ４５３、音声信号処理部ｅｘ４５４、スロット部ｅｘ４６４、及びメモリ部ｅｘ４６７とがバスｅｘ４７０を介して接続されている。
【０２２０】
電源回路部ｅｘ４６１は、ユーザの操作により電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりスマートフォンｅｘ１１５を動作可能な状態に起動する。
【０２２１】
スマートフォンｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等を有する主制御部ｅｘ４６０の制御に基づいて、通話及データ通信等の処理を行う。通話時は、音声入力部ｅｘ４５６で収音した音声信号を音声信号処理部ｅｘ４５４でデジタル音声信号に変換し、これを変調／復調部ｅｘ４５２でスペクトラム拡散処理し、送信／受信部ｅｘ４５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ４５０を介して送信する。また受信データを増幅して周波数変換処理及びアナログデジタル変換処理を施し、変調／復調部ｅｘ４５２でスペクトラム逆拡散処理し、音声信号処理部ｅｘ４５４でアナログ音声信号に変換した後、これを音声出力部ｅｘ４５７から出力する。データ通信モード時は、本体部の操作部ｅｘ４６６等の操作によってテキスト、静止画、又は映像データが操作入力制御部ｅｘ４６２を介して主制御部ｅｘ４６０に送出され、同様に送受信処理が行われる。データ通信モード時に映像、静止画、又は映像と音声を送信する場合、映像信号処理部ｅｘ４５５は、メモリ部ｅｘ４６７に保存されている映像信号又はカメラ部ｅｘ４６５から入力された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し、符号化された映像データを多重／分離部ｅｘ４５３に送出する。また、音声信号処理部ｅｘ４５４は、映像又は静止画等をカメラ部ｅｘ４６５で撮像中に音声入力部ｅｘ４５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ｅｘ４５３に送出する。多重／分離部ｅｘ４５３は、符号化済み映像データと符号化済み音声データを所定の方式で多重化し、変調／復調部（変調／復調回路部）ｅｘ４５２、及び送信／受信部ｅｘ４５１で変調処理及び変換処理を施してアンテナｅｘ４５０を介して送信する。
【０２２２】
電子メール又はチャットに添付された映像、又はウェブページ等にリンクされた映像を受信した場合、アンテナｅｘ４５０を介して受信された多重化データを復号するために、多重／分離部ｅｘ４５３は、多重化データを分離することにより、多重化データを映像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ４７０を介して符号化された映像データを映像信号処理部ｅｘ４５５に供給するとともに、符号化された音声データを音声信号処理部ｅｘ４５４に供給する。映像信号処理部ｅｘ４５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって映像信号を復号し、ディスプレイ制御部ｅｘ４５９を介して表示部ｅｘ４５８から、リンクされた動画像ファイルに含まれる映像又は静止画が表示される。また音声信号処理部ｅｘ４５４は、音声信号を復号し、音声出力部ｅｘ４５７から音声が出力される。なおリアルタイムストリーミングが普及しているため、ユーザの状況によっては音声の再生が社会的にふさわしくない場も起こりえる。そのため、初期値としては、音声信号は再生せず映像データのみを再生する構成の方が望ましい。ユーザが映像データをクリックするなど操作を行った場合にのみ音声を同期して再生してもよい。
【０２２３】
またここではスマートフォンｅｘ１１５を例に説明したが、端末としては符号化器及び復号化器を両方持つ送受信型端末の他に、符号化器のみを有する送信端末、及び、復号化器のみを有する受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムにおいて、映像データに音声データなどが多重化された多重化データを受信又は送信するとして説明したが、多重化データには、音声データ以外に映像に関連する文字データなどが多重化されてもよいし、多重化データではなく映像データ自体が受信又は送信されてもよい。
【０２２４】
なお、ＣＰＵを含む主制御部ｅｘ４６０が符号化又は復号処理を制御するとして説明したが、端末はＧＰＵを備えることも多い。よって、ＣＰＵとＧＰＵで共通化されたメモリ、又は共通に使用できるようにアドレスが管理されているメモリにより、ＧＰＵの性能を活かして広い領域を一括して処理する構成でもよい。これにより符号化時間を短縮でき、リアルタイム性を確保し、低遅延を実現できる。特に動き探索、デブロックフィルタ、ＳＡＯ（Ｓａｍｐｌｅ  Ａｄａｐｔｉｖｅ  Ｏｆｆｓｅｔ）、及び変換・量子化の処理を、ＣＰＵではなく、ＧＰＵでピクチャなどの単位で一括して行うと効率的である。
【０２２５】
なお、本開示における実施の形態においてスライスセグメント単位で実施される処理を、スライスセグメントとは異なる単位で実施してもよい。１以上のブロック（ＣＵ、ＰＵまたはＴＵ）を含む領域ごとに、その処理を実施してもよく、例えば、タイル単位で実施してもよい。タイル単位で本開示における処理を実施する場合、独立スライスセグメントは独立タイルに対応し、従属スライスセグメントは従属タイルに対応してもよい。ＣＩＲにおけるイントラスライスは、イントラ予測される１以上のブロックを含むイントラ予測領域であればよく、タイルであってもよいし、タイルと異なる処理単位であってもよい。このとき、ＣＩＲにおけるイントラ予測領域は、ピクチャが切り替わるにつれて上から下へ移動するのではなく、上から下への方向とは異なる方向に移動してもよい。例えば、イントラ予測領域は、左から右へ移動してもよい。
【０２２６】
以上、本開示に係る符号化装置および復号装置などについて、各実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれてもよい。
【産業上の利用可能性】
【０２２７】
本開示の符号化装置および復号装置は、エラー伝搬を適切に抑制することができるという効果を奏し、例えば、テレビ、デジタルビデオレコーダー、カーナビゲーション、携帯電話、デジタルカメラ、デジタルビデオカメラ、車載カメラ、およびネットワークカメラ等の情報表示機器または撮像機器に利用可能であり、利用価値が高い。
【符号の説明】
【０２２８】
１１    分割部
１２    符号化部
１３、２１    再構成部
１４、２２    ヘッダ処理部
１５、２３    フィルタ部
１００    符号化装置
１０１    スライス分割部
１０２    減算器
１０３    直交変換部
１０４    量子化部
１０５    エントロピー符号化部
１０６、２０６    逆量子化部
１０７、２０７    逆直交変換部
１０８、２０８    加算器
１０９、２０９    デブロッキングフィルタ
１１０、２１０    メモリ
１１１、２１１    イントラ予測部
１１２、２１２    インター予測部
１１３    動き検出部
１１４、２１４    判定部
１１５    位置判定部
１１６    スイッチ
１１７    ピクチャヘッダ生成部
１１８    スライスヘッダ生成部
１１９    符号化処理部
２００    復号装置
２０５    エントロピー復号部
２１７    ピクチャヘッダ解析部
２１８    スライスヘッダ解析部
２１９    復号処理部
【図１】
2019189340.tif 000003
【図２】
2019189340.tif 000004
【図３】
2019189340.tif 000005
【図４】
2019189340.tif 000006
【図５】
2019189340.tif 000007
【図６】
2019189340.tif 000008
【図７】
2019189340.tif 000009
【図８】
2019189340.tif 000010
【図９】
2019189340.tif 000011
【図１０】
2019189340.tif 000012
【図１１】
2019189340.tif 000013
【図１２】
2019189340.tif 000014
【図１３Ａ】
2019189340.tif 000015
【図１３Ｂ】
2019189340.tif 000016
【図１４】
2019189340.tif 000017
【図１５】
2019189340.tif 000018
【図１６Ａ】
2019189340.tif 000019
【図１６Ｂ】
2019189340.tif 000020
【図１７】
2019189340.tif 000021
【図１８】
2019189340.tif 000022
【図１９】
2019189340.tif 000023
【図２０】
2019189340.tif 000024
【図２１】
2019189340.tif 000025
【図２２】
2019189340.tif 000026
【図２３】
2019189340.tif 000027
【国際調査報告】
2019189340.tif 000028
2019189340.tif 000029
2019189340.tif 000030
2019189340.tif 000031