(57)【要約】  高いビット深度及び高いビットレートで原本映像との誤差が最小化される復元映像を生成するための映像符号化方法及びその装置、映像復号方法及びその装置に係り、ビットストリームから、オフセット値及びオフセットタイプをパージングする段階と、ビットストリームから、オフセットタイプによるクラスをパージングする段階と、クラスに基づいて、復元ピクセルに隣接したピクセルから複数のピクセルを選択し、複数ピクセルのサンプル値に基づいて、基準値を計算する段階と、基準値と、復元ピクセルのサンプル値との差値の大きさに基づいて、カテゴリーを決定する段階と、オフセット値のうち、カテゴリーに対応するオフセット値を選択する段階と、選択されたオフセット値を利用して、復元ピクセルのサンプル値を補償する段階と、を含む。
2018522445.tif 000002
【特許請求の範囲】
【請求項１】
ビットストリームから、オフセット値及びオフセットタイプをパージングする段階と、
前記ビットストリームから、前記オフセットタイプによるクラスをパージングする段階と、
前記クラスに基づいて、復元ピクセルに隣接したピクセルから複数のピクセルを選択し、前記複数ピクセルのサンプル値に基づいて、基準値を計算する段階と、
前記基準値と、前記復元ピクセルのサンプル値との差値の大きさに基づいて、カテゴリーを決定する段階と、
前記オフセット値のうち、前記カテゴリーに対応するオフセット値を選択する段階と、
前記選択されたオフセット値を利用して、前記復元ピクセルのサンプル値を補償する段階と、を含む映像復号方法。
【請求項２】
前記基準値を計算する段階は、
前記複数ピクセルのサンプル値の中間値及び平均値のうち一つを計算する段階であることを特徴とする請求項１に記載の映像復号方法。
【請求項３】
前記基準値を計算する段階は、
前記オフセットタイプがエッジタイプである場合、
前記クラスに基づいて、前記基準値を前記複数ピクセルのサンプル値の中間値及び平均値のうち一つに決定する段階を含むことを特徴とする請求項１に記載の映像復号方法。
【請求項４】
前記基準値を計算する段階は、
前記オフセットタイプが中間値タイプである場合、前記基準値は、前記複数ピクセルのサンプル値の中間値であり、
前記オフセットタイプが平均値タイプである場合、前記基準値は、前記複数ピクセルのサンプル値の平均値であることを特徴とする請求項１に記載の映像復号方法。
【請求項５】
前記カテゴリーは、前記差値の大きさによって分類される複数のカテゴリーのうち一つであることを特徴とする請求項１に記載の映像復号方法。
【請求項６】
前記カテゴリーを決定する段階は、
前記差値が第１臨界値より小さい場合、前記カテゴリーを第１カテゴリーと決定し、
前記差値が第１臨界値より大きいか、あるいはそれと同じであり、第２臨界値より小さい場合、前記カテゴリーを第２カテゴリーと決定し、
前記差値が第２臨界値より大きいか、あるいはそれと同じであり、第３臨界値より小さい場合、前記カテゴリーを第３カテゴリーと決定し、
前記差値が第３臨界値より大きいか、あるいはそれと同じであり、第４臨界値より小さい場合、前記カテゴリーを第４カテゴリーと決定し、
前記差値が第４臨界値より大きいか、あるいはそれと同じ場合、前記カテゴリーを第５カテゴリーと決定し、
前記複数のカテゴリーは、前記第１カテゴリーないし前記第５カテゴリーを含むことを特徴とする請求項５に記載の映像復号方法。
【請求項７】
前記第１臨界値及び前記第２臨界値は、負数であり、前記第３臨界値及び前記第４臨界値は、正数であることを特徴とする請求項６に記載の映像復号方法。
【請求項８】
前記カテゴリーが第３カテゴリーと決定された場合、
復元ピクセルのサンプル値を補償しないことを特徴とする請求項７に記載の映像復号方法。
【請求項９】
前記オフセット値を選択する段階は、
前記オフセット値のうち、前記第１カテゴリーないし第５カテゴリーのうち１つのカテゴリーに対応するオフセット値を選択することを特徴とする請求項６に記載の映像復号方法。
【請求項１０】
前記オフセット値及びオフセットタイプをパージングする段階は、
最大符号化単位別に、前記オフセット値及びオフセットタイプをパージングする段階であり、
前記最大符号化単位は、前記復元ピクセルを含むことを特徴とする請求項１に記載の映像復号方法。
【請求項１１】
前記複数ピクセルの位置は、方向性を有することを特徴とする請求項１に記載の映像復号方法。
【請求項１２】
前記基準値を計算する段階は、
前記復元ピクセルのサンプル値、及び前記複数ピクセルのサンプル値を利用して計算することを特徴とする請求項１に記載の映像復号方法。
【請求項１３】
前記複数のピクセルは、
復元ピクセル、復元ピクセルの左上側ピクセル、左側ピクセル、右側ピクセル及び右下側ピクセルを含むことを特徴とする請求項１に記載の映像復号方法。
【請求項１４】
前記複数のピクセルは、
復元ピクセル、復元ピクセルの左下側ピクセル、左側ピクセル、右側ピクセル及び右上側ピクセルを含むことを特徴とする請求項１に記載の映像復号方法。
【請求項１５】
前記複数のピクセルは、
復元ピクセル、復元ピクセルの左上側ピクセル、上側ピクセル、下側ピクセル及び右下側ピクセルを含むことを特徴とする請求項１に記載の映像復号方法。
【請求項１６】
前記複数のピクセルは、
復元ピクセル、復元ピクセルの左下側ピクセル、下側ピクセル、上側ピクセル及び右上側ピクセルを含むことを特徴とする請求項１に記載の映像復号方法。
【請求項１７】
前記クラスは、前記復元ピクセルに隣接したピクセルの組み合わせを示す複数のクラスのうち一つであることを特徴とする請求項１に記載の映像復号方法。
【請求項１８】
請求項１ないし１７のうちいずれか１項に記載の映像復号方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【請求項１９】
ビットストリームから、オフセット値及びオフセットタイプをパージングし、前記ビットストリームから、前記オフセットタイプによるクラスをパージングする抽出部と、
前記クラスに基づいて、復元ピクセルに隣接したピクセルから複数のピクセルを選択し、前記複数ピクセルのサンプル値に基づいて、基準値を計算し、前記基準値と、前記復元ピクセルのサンプル値との差値の大きさに基づいて、カテゴリーを決定し、前記オフセット値のうち、前記カテゴリーに対応するオフセット値を選択するオフセット決定部と、
前記選択されたオフセット値を利用して、前記復元ピクセルのサンプル値を補償するピクセル補償部と、を含む映像復号装置。
【請求項２０】
オフセットタイプによる複数クラスのうち一つに基づいて、復元ピクセルに隣接したピクセルから複数のピクセルを選択し、前記複数ピクセルのサンプル値に基づいて、基準値を計算する段階と、
前記基準値と、前記復元ピクセルのサンプル値との差値の大きさに基づいて、カテゴリーを決定する段階と、
前記復元ピクセルのサンプル値と、復元ピクセルの原本ピクセルサンプル値とに基づいて、前記カテゴリーに対応するオフセット値を決定する段階と、
前記オフセット値、前記オフセットタイプ及び前記クラスを符号化する段階と、
前記符号化されたオフセット値、前記符号化されたオフセットタイプ、及び前記符号化されたクラスを含むビットストリームを伝送する段階と、を含む映像符号化方法。
【請求項２１】
オフセットタイプによる複数クラスのうち一つに基づいて、復元ピクセルに隣接したピクセルから複数のピクセルを選択し、前記複数ピクセルのサンプル値に基づいて、基準値を計算し、
前記基準値と、前記復元ピクセルのサンプル値との差値の大きさに基づいて、カテゴリーを決定し、前記復元ピクセルのサンプル値と、復元ピクセルの原本ピクセルサンプル値とに基づいて、前記カテゴリーに対応するオフセット値を決定し、前記オフセット値、前記オフセットタイプ及び前記クラスを符号化する符号化部と、
前記符号化されたオフセット値、前記符号化されたオフセットタイプ、及び前記符号化されたクラスを含むビットストリームを伝送する伝送部と、を含む映像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の符号化及び復号に関する。
【背景技術】
【０００２】
高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及により、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号したりするビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのブロックに基づいて、制限された符号化方式によって符号化されている。
【０００３】
符号化／復号によって映像の画質が歪曲され、復元映像の画質を改善するために、復号端に、復元映像に対して後処理モジュールが追加される場合がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、高いビット深度及び高いビットレートで、原本映像との誤差が最小化される復元映像を生成するための映像符号化方法及びその装置、映像復号方法及びその装置を提案するものである。
【課題を解決するための手段】
【０００５】
本開示の実施形態による、映像を復号する方法は、ビットストリームから、オフセット値及びオフセットタイプをパージングする段階と、ビットストリームから、オフセットタイプによるクラスをパージングする段階と、クラスに基づいて、復元ピクセルに隣接したピクセルから複数のピクセルを選択し、複数ピクセルのサンプル値に基づいて基準値を計算する段階と、基準値と、復元ピクセルのサンプル値との差値の大きさに基づいて、カテゴリーを決定する段階と、オフセット値のうちカテゴリーに対応するオフセット値を選択する段階と、選択されたオフセット値を利用して、復元ピクセルのサンプル値を補償する段階と、を含んでもよい。
【０００６】
また、基準値を計算する段階は、複数ピクセルのサンプル値の中間値（median  value）及び平均値（mean  value）のうち一つを計算する段階でもある。
【０００７】
また、基準値を計算する段階は、オフセットタイプがエッジタイプ（ｅｄｇｅｔｙｐｅ）の場合クラスに基づいて基準値を複数ピクセルのサンプル値の中間値及び平均値の中で一つで決定する段階を含んでもよい。
【０００８】
また、基準値を計算する段階は、オフセットタイプが中間値タイプ（median  value  type）である場合、該基準値は、複数ピクセルのサンプル値の中間値であり、オフセットタイプが平均値タイプ（mean  value  type）である場合、該基準値は、複数ピクセルのサンプル値の平均値でもある。
【０００９】
また、カテゴリーは、ピクセルのサンプル値と基準値との差値の大きさによって分類される複数のカテゴリーのうち一つでもある。
【００１０】
また、該カテゴリーを決定する段階は、該差値が第１臨界値より小さい場合、該カテゴリーを第１カテゴリーと決定し、該差値が第１臨界値より大きいか、あるいはそれと同じであり、第２臨界値より小さい場合、該カテゴリーを第２カテゴリーと決定し、該差値が第２臨界値より大きいか、あるいはそれと同じであり、第３臨界値より小さい場合、該カテゴリーを第３カテゴリーと決定し、該差値が第３臨界値より大きいか、あるいはそれと同じであり、第４臨界値より小さい場合、該カテゴリーを第４カテゴリーと決定し、該差値が第４臨界値より大きいか、あるいはそれと同じ場合、該カテゴリーを第５カテゴリーと決定し、複数のカテゴリーは、第１カテゴリーないし第５カテゴリーを含んでもよい。
【００１１】
また、第１臨界値及び第２臨界値は、負数であり、第３臨界値及び第４臨界値は、正数でもある。
【００１２】
また、該カテゴリーが第３カテゴリーと決定された場合、復元ピクセルのサンプル値を補償しない。
【００１３】
また、オフセット値を選択する段階は、該オフセット値のうち、第１カテゴリーないし第５カテゴリーのうち１つのカテゴリーに対応するオフセット値を選択することができる。
【００１４】
また、該オフセット値及び該オフセットタイプをパージングする段階は、最大符号化単位別にオフセット値及びオフセットタイプをパージングする段階であり、該最大符号化単位は、復元ピクセルを含んでもよい。
【００１５】
また、複数ピクセルの位置は、方向性を有することができる。
【００１６】
また、基準値を計算する段階は、復元ピクセルのサンプル値、及び複数ピクセルのサンプル値を利用しても計算される。
【００１７】
該複数のピクセルは、復元ピクセル、復元ピクセルの左上（upper  left）側ピクセル、左（left）側ピクセル、右（right）側ピクセル及び右下（lower  right）側ピクセルを含んでもよい。
【００１８】
また、該複数のピクセルは、復元ピクセル、復元ピクセルの左下側ピクセル、左側ピクセル、右側ピクセル及び右上側ピクセルを含んでもよい。
【００１９】
また、該複数のピクセルは、復元ピクセル、復元ピクセルの左上側ピクセル、上側ピクセル、下側ピクセル及び右下側ピクセルを含んでもよい。
【００２０】
また、該複数のピクセルは、復元ピクセル、復元ピクセルの左下側ピクセル、下側ピクセル、上側ピクセル及び右上側ピクセルを含んでもよい。
【００２１】
また、クラスは、復元ピクセルに隣接したピクセルの組み合わせを示す複数のクラスのうち一つでもある。
【００２２】
また、前述のような、映像を復号する方法を具現するためのプログラムは、コンピュータで読み取り可能な記録媒体にも記録される。
【００２３】
本開示の実施形態による、映像を復号する装置は、ビットストリームから、オフセット値及びオフセットタイプをパージングし、該ビットストリームから、オフセットタイプによるクラスをパージングする抽出部と、クラスに基づいて、復元ピクセルに隣接したピクセルから複数のピクセルを選択し、複数ピクセルのサンプル値に基づいて基準値を計算し、該基準値と、復元ピクセルのサンプル値との差値の大きさに基づいて、カテゴリーを決定し、該オフセット値のうち該カテゴリーに対応するオフセット値を選択するオフセット決定部と、選択されたオフセット値を利用して、復元ピクセルのサンプル値を補償するピクセル補償部と、を含んでもよい。
【００２４】
本開示の実施形態による、映像を符号化する方法は、オフセットタイプによる複数のクラスのうち一つに基づいて、復元ピクセルに隣接したピクセルから複数のピクセルを選択し、複数ピクセルのサンプル値に基づいて基準値を計算する段階と、該基準値と、復元ピクセルのサンプル値との差値の大きさに基づいて、カテゴリーを決定する段階と、復元ピクセルのサンプル値と、復元ピクセルの原本ピクセルサンプル値とに基づいて、カテゴリーに対応するオフセット値を決定する段階と、オフセット値、オフセットタイプ及びクラスを符号化する段階と、符号化されたオフセット値、符号化されたオフセットタイプ及び符号化されたクラスを含むビットストリームを伝送する段階と、を含んでもよい。
【００２５】
本開示の実施形態による、映像を符号化する装置は、オフセットタイプによる複数のクラスのうち一つに基づいて、復元ピクセルに隣接したピクセルから複数のピクセルを選択し、複数ピクセルのサンプル値に基づいて基準値を計算し、該基準値と、復元ピクセルのサンプル値との差値の大きさに基づいて、カテゴリーを決定し、復元ピクセルのサンプル値と、復元ピクセルの原本ピクセルサンプル値とに基づいて、カテゴリーに対応するオフセット値を決定し、オフセット値、オフセットタイプ及びクラスを符号化する符号化部と、符号化されたオフセット値、符号化されたオフセットタイプ及び符号化されたクラスを含むビットストリームを伝送する伝送部と、を含んでもよい。
【図面の簡単な説明】
【００２６】
【図１】本開示の一実施形態による映像符号化装置のブロック図である。
【図２】本開示の一実施形態による映像符号化方法のフローチャートである。
【図３】本開示の一実施形態による映像復号装置のブロック図である。
【図４】本開示の一実施形態による映像復号方法のフローチャートである。
【図５】本開示の他の実施形態による映像復号装置のブロック図である。
【図６】本開示の一実施形態による、オフセットタイプ及びクラスについて図示する図面である。
【図７】本開示の一実施形態によるクラスを図示する図面である。
【図８】本開示の一実施形態によるクラスを図示する図面である。
【図９Ａ】本開示の一実施形態による、エッジタイプのカテゴリーを図示する図面である。
【図９Ｂ】本開示の一実施形態による、エッジタイプのカテゴリーを図示する図面である。
【図１０】本開示の一実施形態による、エッジタイプ、平均値タイプ、中間値タイプのカテゴリーを図示する図面である。
【図１１】本開示の一実施形態による、オフセットタイプ及びクラスを示した図面である。
【図１２】本開示の一実施形態による、ツリー構造による符号化単位に基づいた映像符号化装置のブロック図である。
【図１３】本開示の一実施形態による、ツリー構造による符号化単位に基づいた映像復号装置のブロック図である。
【図１４】本開示の一実施形態による符号化単位の概念を図示する図面である。
【図１５】本開示の一実施形態による、符号化単位に基づいた映像符号化部のブロック図である。
【図１６】本開示の一実施形態による、符号化単位に基づいた映像復号化部のブロック図である。
【図１７】本開示の一実施形態による、深度別符号化単位及びパーティションを図示する図面である。
【図１８】本開示の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。
【図１９】本開示の一実施形態による深度別符号化情報を図示する図面である。
【図２０】本開示の一実施形態による深度別符号化単位を図示する図面である。
【図２１】本開示の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図２２】本開示の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図２３】本開示の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図２４】表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【発明を実施するための形態】
【００２７】
以下、図１ないし図２４を参照し、所定ピクセルのサンプル値を補償するための映像符号化方法及びその装置、そして映像復号方法及びその装置の多様な実施形態について説明する。具体的には、図１ないし図１１を参照し、本発明の一実施形態による所定ピクセルのサンプル値補償のための映像符号化及び映像復号についての多様な実施形態が開示され、図１ないし図２４を参照し、本発明の一実施形態による、ツリー構造の符号化単位に所定ピクセルのサンプル値を補償する実施形態が開示される。以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそれ自体を示すことができる。
【００２８】
以下、図１ないし図１１を参照し、本発明の一実施形態による、所定ピクセルのサンプル値を補償するための映像符号化及び映像復号について詳細に説明する。
【００２９】
図１は、本開示の一実施形態による映像符号化装置１００のブロック図を図示している。
【００３０】
一実施形態による映像符号化装置１００は、符号化部１２０及び伝送部１４０を含む。一実施形態による符号化部１２０は、オフセットタイプによる複数のクラスのうち一つに基づいて、復元ピクセルに隣接したピクセルから複数のピクセルを選択する。また、符号化部１２０は、複数ピクセルのサンプル値に基づいて基準値を計算する。また、符号化部１２０は、基準値と、復元ピクセルのサンプル値との差値の大きさに基づいて、カテゴリーを決定する。また、符号化部１２０は、復元ピクセルのサンプル値と、復元ピクセルの原本ピクセルサンプル値とに基づいて、カテゴリーに対応するオフセット値を決定する。また、符号化部１２０は、オフセット値、オフセットタイプ及びクラスを符号化する。
【００３１】
また、伝送部１４０は、符号化されたオフセット値、符号化されたオフセットタイプ及び符号化されたクラスを含むビットストリームを伝送する。映像復号装置は、伝送部１４０が伝送したビットストリームを受信することができる。
【００３２】
一実施形態による映像符号化装置１００は、現在ブロックのサンプル値分類方式によって、オフセットタイプを決定することができる。例えば、映像符号化装置１００は、現在ブロックのサンプル値の空間的特性に基づいて、現在ブロックのオフセットタイプを決定することができる。
【００３３】
一実施形態によるオフセットタイプは、エッジタイプ、バンドタイプ、平均値（mean）タイプまたは中間値（median）タイプにも決定される。現在ブロックのサンプル値分類方式によって、映像符号化装置１００は、現在ブロックを、どのタイプによってピクセルを分類することが適するかということを決定することができる。
【００３４】
具体的には、映像符号化装置１００は、ＲＤＯ（rate-distortion  optimization）に基づいて、エッジタイプ、バンドタイプ、平均値タイプ、中間値タイプ、またはＳＡＯ（sample  adaptive  offset）を使用しない場合のうち一つを選択することができる。例えば、映像符号化装置１００は、それぞれの場合を仮定して符号化をいずれも行った後、各場合に係わるＲＤ（rate-distortion）値を計算することができる。また、映像符号化装置１００は、ＲＤ値が最も良好な場合のタイプを選択することができる。
【００３５】
また、それぞれのタイプは、複数のクラスを含んでもよい。例えば、エッジタイプは、４個のクラスを有することができる。また、例えば、平均値タイプは、１０個のタイプを有することができる。該エッジタイプのクラスは、復元ピクセルが隣接ピクセルと形成するエッジの方向を示すことができる。映像符号化装置１００は、選択されたタイプに含まれたクラスのうち一つを選択することができる。例えば、映像符号化装置１００は、それぞれのクラスの場合を仮定して符号化を行った後、各場合に係わるＲＤ値を計算することができる。また、映像符号化装置１００は、ＲＤ値が最も良好な場合のクラスを選択することができる。
【００３６】
また、前述のところでは、説明の便宜のために、タイプとクラスとを別途に説明した。しかし、映像符号化装置１００は、それぞれのタイプに係わるそれぞれのクラスである場合を仮定して符号化を行った後、各場合に係わるＲＤ値を計算することができる。また、映像符号化装置１００は、ＲＤ値が最も良好な場合のタイプ及びクラスを選択することができる。
【００３７】
一実施形態によるオフセットタイプがエッジタイプである場合、現在ブロックの復元ピクセルが隣接ピクセルと形成するエッジの方向及び形態により、復元ピクセルと原本ピクセルとのオフセットが決定される。
【００３８】
また、一実施形態によるオフセットタイプがバンドタイプである場合、現在ブロックの復元ピクセルのサンプル値の範囲を分割した多数のバンドのうち、一部バンドに属する復元ピクセルのオフセットが決定される。場合によっては、該バンドは、サンプル値の範囲を均等な間隔に分割するか、あるいは均等ではない間隔に分割することもできる。該サンプル値の範囲は、ビット深度に基づいても決定される。
【００３９】
また、一実施形態によるオフセットタイプが平均値タイプである場合、映像符号化装置１００は、クラスに基づいて、復元ピクセルに隣接した複数のピクセルを選択することができる。該クラスは、複数のクラスのうち一つでもある。また、映像符号化装置１００は、複数ピクセルのサンプル値の平均値を基準値として計算することができる。また、映像符号化装置１００は、基準値に基づいて、オフセット値を決定することができる。
【００４０】
また、一実施形態によるオフセットタイプが中間値タイプである場合、映像符号化装置１００は、クラスに基づいて、復元ピクセルに隣接した複数のピクセルを選択することができる。該クラスは、複数のクラスのうち一つでもある。また、映像符号化装置１００は、複数ピクセルのサンプル値の中間値（median  value）を基準値として計算することができる。また、映像符号化装置１００は、該基準値に基づいて、オフセット値を決定することができる。
【００４１】
前述のように、オフセットタイプが中間値タイプである場合、基準値は、複数ピクセルのサンプル値の中間値であり、オフセットタイプが平均値タイプである場合、基準値は、複数ピクセルのサンプル値の平均値でもある。
【００４２】
一実施形態による符号化部１２０は、現在ブロックのオフセットタイプによって、復元ピクセルごとにオフセットクラスを決定することができる。
【００４３】
一実施形態によるオフセットタイプがエッジタイプである場合、一実施形態によるクラスは、復元ピクセルが隣接ピクセルと形成するエッジの方向を示すことができる。一実施形態によるクラスは、０°、９０°、４５°または１３５°のエッジ方向を示すことができる。該エッジ方向は、それらに限定されるものではなく、多様な方向がありえる。また、該クラスは、方向性を示さないこともある。それについては、図８（ａ）及び図８（ｂ）で詳細に説明する。
【００４４】
また、一実施形態によるオフセットタイプがバンドタイプである場合、一実施形態によるバンドクラスは、現在ブロックのサンプル値の範囲が所定個数の連続するサンプル値区間に分割されるとき、各サンプル値区間をバンドと称し、復元ピクセルのサンプル値が属するバンドを示すバンド位置を示すことができる。
【００４５】
例えば、一実施形態によるサンプル値が８ビットであるピクセルである場合、該サンプル値の範囲は、０ないし２５５であり、該サンプル値は、総３２個のバンドにも分割される。その場合、総３２個のバンドのうち復元ピクセルのサンプル値が属する所定個数のバンドが決定される。一実施形態によるバンドクラスは、連続する所定個数のバンドの開始位置を示し、最も先立つバンドの位置を０ないし３１のバンドインデックスによっても表現される。
【００４６】
また、一実施形態によるオフセットタイプが、平均値タイプまたは中間値タイプである場合、一実施形態によるクラスは、復元ピクセルが隣接ピクセルと形成する方向を示すことができる。一実施形態によるクラスは、０°、９０°、４５°または１３５°の方向を示すことができる。該方向は、それらに限定されるものではなく、多様な方向がありえる。
【００４７】
また、該クラスは、方向性を示さないこともある。例えば、オフセットタイプが平均値タイプまたは中間値タイプである場合、複数のクラスのうち少なくとも一つは、復元ピクセルに隣接した全てのピクセルを選択するクラスでもある。それについては、図８と共に詳細に説明する。該オフセットタイプ及び該クラスの関係については、図６で詳細に説明する。また、該クラスについては、図７及び図８と共に詳細に説明する。
【００４８】
現在ブロックの復元ピクセルのカテゴリーは、以下のような方法で決定される。
【００４９】
エッジタイプの場合、現在ブロックの復元ピクセルは、隣接ピクセルと形成するエッジ形態によって、所定個数のカテゴリーにも分類される。例えば、凹型エッジ（concave）の局所最低点（local  valley）、凹型エッジの曲線コーナー（corner）、凸型エッジ（convex）の曲線コーナー、凸型エッジの局所最高点（local  peak）の４種エッジ形態により、復元ピクセルが４個のカテゴリーにも分類される。現在ブロックの復元ピクセルごとに、いずれの形態のエッジを形成するかということにより、１つの復元ピクセルは、４個のカテゴリーのうち１つのカテゴリーに属すると決定される。しかし、それらに限定されるものではない。例えば、以下で説明する平均値タイプまたは中間値タイプの場合と同一に、映像符号化装置１００は、カテゴリーを決定することができる。
【００５０】
また、バンドタイプの場合、現在ブロックの復元ピクセルのサンプル値が属するバンド位置によって、所定個数のカテゴリーにも分類される。例えば、バンドクラスが示すバンドの開始位置から連続する４個のバンドのバンドインデックスにより、復元ピクセルが４個のカテゴリーにも分類される。現在ブロックの復元ピクセルごとに、４個のバンドのうちいずれのバンドに属するかということにより、４個のカテゴリーのうち１つのカテゴリーに属すると決定される。
【００５１】
また、平均値タイプまたは中間値タイプである場合、映像符号化装置１００は、基準値と、復元ピクセルのサンプル値との差値の大きさに基づいて、カテゴリーを決定することができる。例えば、差値の大きさによって、復元ピクセルは、５個のカテゴリーのうち１つのカテゴリーに属すると決定される。該カテゴリーを決定する方法については、図９Ａ、図９Ｂ及び図１０と共に詳細に説明する。
【００５２】
該カテゴリーが決定された場合、映像符号化装置１００は、復元ピクセルのサンプル値及び原本ピクセルのサンプル値に基づいて、カテゴリーに対応するオフセット値を決定することができる。例えば、映像符号化装置１００は、復元ピクセルのサンプル値と、原本ピクセルのサンプル値との差をオフセット値と決定することができる。前述のように、映像符号化装置１００は、オフセット値は、それぞれのタイプ及びクラスに係わるオフセット値を計算することができる。また、映像符号化装置１００は、それぞれの場合に係わるＲＤ値を計算することができる。また、ＲＤ値が最も良好なときのオフセット値を選択し、選択されたオフセット値を符号化し、映像復号装置３００に伝送することができる。
【００５３】
前述のように、映像符号化装置１００は、複数の復元ピクセルを複数のカテゴリーに分類する。また、映像符号化装置１００は、それぞれのカテゴリーごとに、１つのオフセット値を決定することができる。すなわち、映像符号化装置１００は、複数のカテゴリーに対応する複数のオフセット値を決定することができる。
【００５４】
図２は、本開示の一実施形態による映像符号化方法のフローチャートを図示している。図２の映像符号化方法に係わる説明において、図１の説明と重複する説明は省略する。本開示の一実施形態による映像符号化方法の段階（２１０）、段階（２２０）、段階（２３０）及び段階（２４０）は、図１の符号化部１２０によっても遂行される。また、本開示の一実施形態による映像符号化方法の段階（２５０）は、図１の伝送部１４０によっても遂行される。
【００５５】
一実施形態による映像符号化方法は、オフセットタイプによる複数のクラスのうち一つに基づいて、復元ピクセルに隣接したピクセルから複数のピクセルを選択し、複数ピクセルのサンプル値に基づいて、基準値を計算する段階（２１０）を含む。また、映像符号化方法は、基準値と、復元ピクセルのサンプル値との差値の大きさに基づいて、カテゴリーを決定する段階（２２０）を含む。また、映像符号化方法は、復元ピクセルのサンプル値と、復元ピクセルの原本ピクセルサンプル値とに基づいて、カテゴリーに対応するオフセット値を決定する段階（２３０）を含む。また、映像符号化方法は、オフセット値、オフセットタイプ及びクラスを符号化する段階（２４０）を含む。また、映像符号化方法は、符号化されたオフセット値、符号化されたオフセットタイプ及び符号化されたクラスを含むビットストリームを伝送する段階（２５０）を含む。
【００５６】
図３は、本開示の一実施形態による映像復号装置のブロック図を図示している。
【００５７】
映像復号装置３００は、抽出部３２０、オフセット決定部３４０及びピクセル補償部３６０を含んでもよい。
【００５８】
抽出部３２０は、ビットストリームから、オフセット値及びオフセットタイプをパージングし、該ビットストリームから、オフセットタイプによるクラスをパージングすることができる。また、オフセット決定部３４０は、クラスに基づいて、復元ピクセルに隣接したピクセルから複数のピクセルを選択することができる。オフセット決定部３４０は、複数ピクセルのサンプル値に基づいて、基準値を計算することができる。また、オフセット決定部３４０は、基準値と、復元ピクセルのサンプル値との差値の大きさに基づいて、カテゴリーを決定することができる。オフセット決定部３４０は、オフセット値のうちカテゴリーに対応するオフセット値を選択することができる。また、ピクセル補償部３６０は、選択されたオフセット値を利用して、復元ピクセルのサンプル値を補償するピクセル補償部を含んでもよい。さらに詳細な事項は、図４の映像復号方法と共に説明する。
【００５９】
図４は、本開示の一実施形態による映像復号方法のフローチャートを図示している。
【００６０】
本開示の一実施形態による映像復号方法の段階（４１０）は、映像復号装置３００の抽出部３２０によっても遂行される。また、本開示の一実施形態による映像復号方法の段階（４２０）、段階（４３０）、段階（４４０）及び段階（４５０）は、映像復号装置３００のオフセット決定部３４０によっても遂行される。また、本開示の一実施形態による映像復号方法の段階（４６０）は、映像復号装置３００のピクセル補償部３６０によっても遂行される。
【００６１】
本開示の一実施形態による映像復号方法は、ビットストリームから、オフセット値及びオフセットタイプをパージングする段階（４１０）を含む。映像復号装置３００は、図１の伝送部１４０から、ビットストリームを受信することができる。本開示の一実施形態による映像復号方法は、ビットストリームから、オフセットタイプによるクラスをパージングする段階（４２０）を含む。また、本開示の一実施形態による映像復号方法は、クラスに基づいて、復元ピクセルに隣接したピクセルから複数のピクセルを選択し、複数ピクセルのサンプル値に基づいて、基準値を計算する段階（４３０）を含む。また、本開示の一実施形態による映像復号方法は、基準値と、復元ピクセルのサンプル値との差値の大きさに基づいて、カテゴリーを決定する段階（４４０）を含む。また、本開示の一実施形態による映像復号方法は、オフセット値のうちカテゴリーに対応するオフセット値を選択する段階（４５０）を含む。また、本開示の一実施形態による映像復号方法は、選択されたオフセット値を利用して、復元ピクセルのサンプル値を補償する段階（４６０）を含む。
【００６２】
基準値を計算する段階（４３０）は、復元ピクセルに隣接したピクセルのうち選択された複数ピクセルのサンプル値の中間値及び平均値のうち一つを計算する段階でもある。
【００６３】
また、基準値を計算する段階（４３０）は、オフセットタイプがエッジタイプ（edge  type）である場合、クラスに基づいて、基準値を複数ピクセルのサンプル値の中間値及び平均値のうち一つに決定する段階を含んでもよい。
【００６４】
また、基準値を計算する段階（４３０）は、オフセットタイプが中間値タイプ（median  value  type）である場合、該基準値は、複数ピクセルのサンプル値の中間値でもある。また、基準値を計算する段階（４３０）は、オフセットタイプが平均値タイプ（mean  value  type）である場合、該基準値は、複数ピクセルのサンプル値の平均値でもある。
【００６５】
また、カテゴリーは、基準値と、復元ピクセルのサンプル値との差値の大きさによって分類される複数のカテゴリーのうち一つでもある。
【００６６】
また、該カテゴリーを決定する段階（４４０）は、差値が第１臨界値より小さい場合、該カテゴリーを第１カテゴリーと決定することができる。また、該カテゴリーを決定する段階（４４０）は、該差値が第１臨界値より大きいか、あるいはそれと同じであり、第２臨界値より小さい場合、該カテゴリーを第２カテゴリーと決定することができる。また、該カテゴリーを決定する段階（４４０）は、該差値が第２臨界値より大きいか、あるいはそれと同じであり、第３臨界値より小さい場合、該カテゴリーを第３カテゴリーと決定することができる。また、該カテゴリーを決定する段階（４４０）は、該差値が第３臨界値より大きいか、あるいはそれと同じであり、第４臨界値より小さい場合、該カテゴリーを第４カテゴリーと決定することができる。また、該カテゴリーを決定する段階（４４０）は、該差値が第４臨界値より大きいか、あるいはそれと同じ場合、該カテゴリーを第５カテゴリーと決定することができる。複数のカテゴリーは、第１カテゴリーないし第５カテゴリーを含んでもよい。
【００６７】
また、前述の第１臨界値及び第２臨界値は、負数であり、第３臨界値及び第４臨界値は、正数でもある。
【００６８】
また、該カテゴリーが第３カテゴリーと決定された場合、復元ピクセルのサンプル値を補償しない。
【００６９】
また、オフセット値を選択する段階（４５０）は、該オフセット値のうち、第１カテゴリーないし第５カテゴリーのうち１つのカテゴリーに対応するオフセット値を選択することができる。
【００７０】
また、オフセット値及びオフセットタイプをパージングする段階（４１０）は、最大符号化単位別に、オフセット値及びオフセットタイプをパージングする段階でもある。また、最大符号化単位は、復元ピクセルを含んでもよい。
【００７１】
また、複数ピクセルの位置は、方向性を有することができる。
【００７２】
また、基準値を計算する段階（４３０）は、復元ピクセルのサンプル値、及び複数ピクセルのサンプル値を利用して計算することができる。
【００７３】
また、映像復号装置３００が選択した複数のピクセルは、復元ピクセル、復元ピクセルの左上（upper  left）側ピクセル、左（left）側ピクセル、右（right）側ピクセル及び右下（lower  right）側ピクセルを含んでもよい。
【００７４】
また、映像復号装置３００が選択した複数のピクセルは、復元ピクセル、復元ピクセルの左下側ピクセル、左側ピクセル、右側ピクセル及び右上側ピクセルを含んでもよい。
【００７５】
また、映像復号装置３００が選択した複数のピクセルは、復元ピクセル、復元ピクセルの左上側ピクセル、上側ピクセル、下側ピクセル及び右下側ピクセルを含んでもよい。
【００７６】
また、映像復号装置３００が選択した複数のピクセルは、復元ピクセル、復元ピクセルの左下側ピクセル、下側ピクセル、上側ピクセル及び右上側ピクセルを含んでもよい。
【００７７】
また、クラスは、復元ピクセルに隣接したピクセルの組み合わせを示す複数のクラスのうち一つでもある。
【００７８】
以下、図５を参照し、ＳＡＯ技法を利用する映像復号方法について説明する。
【００７９】
図５は、本開示の他の実施形態による映像復号装置５００のブロック図を図示している。
【００８０】
映像復号装置５００は、エントロピー復号化部５１０、逆量子化部５２０、逆変換部５３０、復元部５４０、イントラ予測部５５０、参照ピクチャバッファ５６０、動き補償部５７０、デブロッキングフィルタリング部５８０、ＳＡＯ部５９０を含む。
【００８１】
映像復号装置５００は、符号化されたビデオデータを含むビットストリームを受信することができる。エントロピー復号化部５１０において、ビットストリームから、イントラモード情報（intra  mode  information）、インタモード情報（inter  mode  information）、ＳＡＯ情報（sample  adaptive  offset  information）、レジデュアルデータ（residues）がパージングされる。
【００８２】
エントロピー復号化部５１０によって抽出されたレジデュアルデータは、量子化された変換係数でもある。従って、逆量子化部５２０において、レジデュアルデータに対して逆量子化を行って変換係数を復元し、逆変換部５３０において、復元された復元係数に対して逆変換を行い、空間領域のレジデュアル値を復元することができる。
【００８３】
空間領域のレジデュアル値を予測復元するために、イントラ予測または動き補償が行われる。
【００８４】
エントロピー復号化部５１０において、イントラモード情報が抽出された場合には、イントラ予測部５５０が、イントラモード情報を利用して、現在サンプルに空間的に隣接する隣接サンプルのうちいずれのサンプルを参照し、現在サンプルを復元するかということを決定することができる。参照する隣接サンプルを、復元部５４０によって、以前に復元されたサンプルのうち選択することができる。復元部５４０は、イントラモード情報に基づいて決定された参照サンプルと、逆変換部５３０で復元されたレジデュアル値とを利用して、現在サンプルを復元することができる。
【００８５】
エントロピー復号化部５１０において、インタモード情報が抽出された場合には、動き補償部５７０が、インタモード情報を利用して、現在ピクチャより先に復元されたピクチャのうちいずれのサンプルを参照し、現在ピクチャの現在サンプルを復元するかということを決定することができる。該インタモード情報は、動きベクトル、参照インデックスなどを含んでもよい。該参照インデックスを利用して、現在ピクチャより先に復元されて参照ピクチャバッファ５６０に保存されたピクチャのうち、現在サンプルの動き補償のための参照ピクチャが決定される。動きベクトルを利用して、参照ピクチャから、現在ブロックの動き補償のための参照ブロックが決定される。復元部５４０は、インタモード情報に基づいて決定された参照ブロックと、逆変換部５３０で復元されたレジデュアル値とを利用して、現在サンプルを復元することができる。
【００８６】
復元部５４０においてサンプルが復元され、復元ピクセルが出力される。復元部５４０は、最大符号化単位ごとに、ツリー構造の符号化単位を基に、復元ピクセルを生成することができる。
【００８７】
デブロッキングフィルタリング部５８０において、最大符号化単位またはツリー構造の符号化単位ごとに、符号化単位の境界領域に位置するピクセルに対して、ブロッキング現象を軽減させるためのフィルタリングが行われる。
【００８８】
また、一実施形態によるＳＡＯ部５９０は、ＳＡＯ技法によって、最大符号化単位別に、復元ピクセルのオフセットを調整することができる。ＳＡＯ部５９０は、エントロピー復号化部５１０に抽出されたＳＡＯ情報から、現在最大符号化単位のためのオフセットタイプ、オフセットクラス、オフセット値を決定することができる。
【００８９】
エントロピー復号化部５１０において、ＳＡＯ情報から抽出する動作は、映像復号装置３００の抽出部３２０の動作に相応し、ＳＡＯ部５９０の動作は、映像復号装置３００のオフセット決定部３４０及びピクセル補償部３６０の動作に相応することができる。
【００９０】
ＳＡＯ部５９０は、ＳＡＯオフセット値から、現在最大符号化単位の復元ピクセルごとに、オフセット値の符号及び差値を決定することができる。ＳＡＯ部５９０は、復元ピクセルごとに、オフセット値から決定された差値ほどサンプル値を増減させることにより、復元ピクセルと原本ピクセルとの誤差を減らすことができる。
【００９１】
一実施形態によるＳＡＯ部５９０によってオフセットが調整された復元ピクセルを含むピクチャが、参照ピクチャバッファ５６０にも保存される。従って、一実施形態によるＳＡＯ技法によって、復元サンプルと原本ピクセルとの誤差が最小化された参照ピクチャを利用して、次のピクチャの動き補償が行われる。
【００９２】
一実施形態によるＳＡＯ技法によれば、復元ピクセルごとに、原本ピクセルとの差値を基に、復元ピクセルを含むピクセルグループのオフセットが決定される。まず、一実施形態によるＳＡＯ技法のために、復元ピクセルをピクセルグループに分類する実施形態について詳細に説明する。
【００９３】
一実施形態によるＳＡＯ技法によれば、（ｉ）復元ピクセルが構成するエッジタイプによって、ピクセルが分類されるか、あるいは（ｉｉ）復元ピクセルのバンドタイプによって、ピクセルが分類される。また、追加して、（ｉｉｉ）平均値タイプによって、ピクセルが分類されるか、あるいは（ｉｖ）中間値タイプによって、ピクセルが分類される。一実施形態による、ピクセルがエッジタイプ、バンドタイプ、平均値タイプまたは中間値タイプによって分類されるか否かということは、オフセットタイプによっても定義される。
【００９４】
以下では、図１の映像符号化装置１００、図２の映像符号化方法、図３の映像復号装置３００及び図４の映像復号方法に基づいて、図６ないし図１１について説明する。
【００９５】
図６（ａ）を参照すれば、オフセットタイプは、バンドタイプ（band  type）とエッジタイプ（edge  type）とを有することができる。
【００９６】
図６は、本開示の一実施形態による、オフセットタイプ及びクラスについて図示している。
【００９７】
バンドタイプである場合、映像符号化装置１００は、映像復号装置３００に、別途にクラス情報を送らない。また、映像符号化装置１００は、映像復号装置３００に、バンドの開始位置情報を伝送することができる。また、エッジタイプは、４個のクラス（class  １ないしclass  ４）を含んでもよい。例えば、エッジタイプのクラスは、復元ピクセルが隣接ピクセルと形成するエッジ方向を示すことができる。一実施形態による、エッジタイプのクラスは、０゜、９０゜、４５゜及び１３５゜のうち１つのエッジ方向を示すことができる。
【００９８】
映像符号化装置１００は、現在ブロックのオフセットタイプ、及び該オフセットタイプによるクラスをビットストリームに含んで伝送することができる。映像符号化装置１００は、オフセットタイプまたはクラスに、インデックスを割り当てることができる。また、映像符号化装置１００は、オフセットタイプまたはクラスの発生頻度が高いほど、オフセットタイプまたはクラスのインテックスを小さく割り当てることができる。
【００９９】
また、映像復号装置３００は、映像符号化装置１００が伝送したビットストリームから、オフセットタイプ及びクラスをパージングすることができる。例えば、映像復号装置３００がパージングした現在ブロックに係わるオフセットタイプがエッジタイプである場合、映像復号装置３００は、class  １ないしclass  ４のうち少なくとも一つをパージングすることができる。
【０１００】
エッジタイプクラスの場合、現在ブロックの復元ピクセルは、隣接ピクセルと形成するエッジ形態によって、所定個数のカテゴリーにも分類される。例えば、凹型エッジの局所最低点、凹型エッジの曲線コーナー、凸型エッジの曲線コーナー、凸型エッジの局所最高点の４種エッジ形態により、復元ピクセルが４個のカテゴリーにも分類される。４個のカテゴリーについては、図９Ｂで詳細に説明する。
【０１０１】
また、図６（ｂ）を参照すれば、オフセットタイプは、バンドタイプ及びエッジタイプを有することができる。該バンドタイプと係わっては、図１及び図６（ａ）で説明したので、詳細な説明は省略する。該エッジタイプは、５個以上のクラスを有することができる。例えば、該エッジタイプは、１５個のクラス（class  １ないしclass  １５）を含んでもよい。１５個のクラスには、図６（ａ）の４個のクラス（class  １ないしclass  ４）が含まれてもよい。
【０１０２】
また、映像符号化装置１００は、現在ブロックのオフセットタイプ、及びオフセットタイプによるクラスをビットストリームに含んで伝送することができる。また、映像復号装置３００は、映像符号化装置１００が伝送したビットストリームから、オフセットタイプ及びクラスをパージングすることができる。例えば、映像復号装置３００がパージングした現在ブロックに係わるオフセットタイプがエッジタイプである場合、映像復号装置３００は、class  １ないしclass  １５のうち少なくとも一つをパージングすることができる。
【０１０３】
図６（ａ）と同様に、パージングされたクラスが、図６（ｂ）のclass  １ないしclass  ４である場合、現在ブロックの復元ピクセルは、隣接ピクセルと形成するエッジ形態によって、所定個数のカテゴリーにも分類される。例えば、凹型エッジの局所最低点、凹型エッジの曲線コーナー、凸型エッジの曲線コーナー、凸型エッジの局所最高点の４種エッジ形態により、復元ピクセルが４個のカテゴリーにも分類される。
【０１０４】
また、パージングされたクラスが、図６（ｂ）のclass  ５ないしclass  １５である場合、映像復号装置３００は、クラスに基づいて、復元ピクセルに隣接したピクセルから複数のピクセルを選択することができる。また、映像復号装置３００は、複数ピクセルのサンプル値に基づいて、基準値を計算することができる。
【０１０５】
該オフセットタイプがエッジタイプ（edge  type）である場合、映像復号装置３００は、復元ピクセル周囲の複数ピクセルのサンプル値の中間値及び平均値のうち一つを、基準値と決定することができる。例えば、映像復号装置３００は、クラスに基づいて、中間値または平均値を基準値として決定することができる。すなわち、映像符号化装置１００及び映像復号装置３００は、class  ５ないしclass  １０である場合、基準値を、平均値を利用して決定することができる。また、映像符号化装置１００及び映像復号装置３００は、class  １１ないしclass  １５である場合、基準値を、中間値を利用して決定することができる。ただし、それらに限定されるものではない。
【０１０６】
また、映像復号装置３００は、基準値と、復元ピクセルのサンプル値との差値の大きさに基づいて、カテゴリーを決定することができる。class  ５ないしclass  １５である場合、カテゴリーを決定する方法は、図１０においてさらに詳細に説明する。
【０１０７】
また、図６（ｃ）を参照すれば、オフセットタイプは、バンドタイプ、エッジタイプ、平均値タイプまたは中間値タイプを有することができる。バンドタイプと係わっては、図１及び図６（ａ）で説明したので、詳細な説明は省略する。エッジタイプは、４のクラス（class  １ないしclass  ４）を含んでもよい。また、エッジタイプに含まれるクラスは、図６（ａ）の４個のクラス（class  １ないしclass  ４）と同一でもある。
【０１０８】
また、平均値タイプ及び中間値タイプは、それぞれ１個以上のクラスを含んでもよい。例えば、平均値タイプは、７個のクラス（class  ６ないしclass  １３）を有することができる。また、中間値タイプは、２個のクラス（class  １４及びclass  １５）を有することができる。
【０１０９】
また、映像符号化装置１００は、現在ブロックのオフセットタイプ、及びオフセットタイプによるクラスをビットストリームに含んで伝送することができる。また、映像復号装置３００は、映像符号化装置１００が伝送したビットストリームから、オフセットタイプ及びクラスをパージングすることができる。例えば、映像復号装置３００がパージングした現在ブロックに係わるオフセットタイプがエッジタイプである場合、映像復号装置３００は、class  １ないしclass  ４のうち少なくとも一つをパージングすることができる。また、映像復号装置３００がパージングした現在ブロックに係わるオフセットタイプが平均値タイプである場合、映像復号装置３００は、現在ブロックに係わるクラスをパージングすることができる。例えば、パージングされたクラスは、class  ５ないしclass  １３のうち少なくとも一つでもある。また、映像復号装置３００がパージングした現在ブロックに係わるオフセットタイプが中間値タイプである場合、映像復号装置３００は、現在ブロックに係わるクラスとして、class  １４ないしclass  １５のうち少なくとも一つをパージングすることができる。
【０１１０】
図６（ａ）と同様に、パージングされたクラスが、図６（ｃ）のclass  １ないしclass  ４である場合、現在ブロックの復元ピクセルは、隣接ピクセルと形成するエッジ形態によって、所定個数のカテゴリーにも分類される。例えば、凹型エッジの局所最低点、凹型エッジの曲線コーナー、凸型エッジの曲線コーナー、凸型エッジの局所最高点の４種エッジ形態により、復元ピクセルが４個のカテゴリーにも分類される。
【０１１１】
また、パージングされたクラスが、図６（ｃ）のclass  ５ないしclass  １３である場合、映像復号装置３００は、該クラスに基づいて、復元ピクセルに隣接したピクセルから複数のピクセルを選択することができる。また、映像復号装置３００は、複数ピクセルのサンプル値に基づいて、基準値を計算することができる。該基準値は、選択された複数ピクセルの平均値でもある。また、映像復号装置３００は、基準値と、復元ピクセルのサンプル値との差値の大きさに基づいて、カテゴリーを決定することができる。
【０１１２】
また、パージングされたクラスが、図６（ｃ）のclass  １４ないしclass  １５である場合、映像復号装置３００は、該クラスに基づいて、復元ピクセルに隣接したピクセルから複数のピクセルを選択することができる。また、映像復号装置３００は、複数ピクセルのサンプル値に基づいて、基準値を計算することができる。該基準値は、選択された複数ピクセルの中間値でもある。また、映像復号装置３００は、基準値と、復元ピクセルのサンプル値との差値の大きさに基づいて、カテゴリーを決定することができる。class  ５ないしclass  １５である場合、カテゴリーを決定する方法は、図１０でさらに詳細に説明する。
【０１１３】
図７は、本開示の一実施形態によるクラスを図示している。
【０１１４】
該クラスは、復元ピクセルＸ０に隣接したピクセルの組み合わせを示す複数のクラス７１０，７２０，７３０，７４０のうち一つでもある。映像復号装置３００は、クラス７１０，７２０，７３０，７４０のインデックスを、順に０、１、２、３と割り当てることができる。例えば、映像復号装置３００は、クラスの発生頻度が高いほど、クラスのインデックスを小さく割り当てることができる。また、エッジタイプ、平均値タイプ及び中間値タイプそれぞれは、クラス７１０，７２０，７３０，７４０を含んでもよい。
【０１１５】
該クラスは、現在復元ピクセルＸ０と隣接する２個の隣接ピクセルが形成する一次元エッジ方向を示すことができる。すなわち、映像復号装置３００が、クラスに基づいて選択した複数ピクセルの位置は、方向性を有することができる。
【０１１６】
インデックス０のクラス７１０は、現在復元ピクセルＸ０と水平方向に隣接する２個の隣接ピクセルＸ１，Ｘ２がエッジを形成する場合を示す。すなわち、クラス７１０は、０°のエッジ方向を示すことができる。インデックス１のクラス７２０は、現在復元ピクセルＸ０と垂直方向に隣接する２個の隣接ピクセルＸ３，Ｘ４がエッジを形成する場合を示す。すなわち、クラス７２０は、９０°のエッジ方向を示すことができる。インデックス２のクラス７３０は、現在復元ピクセルＸ０に１３５°対角方向に隣接する２個の隣接ピクセルＸ５，Ｘ８がエッジを形成する場合を示す。インデックス３のクラス７４０は、現在復元ピクセルＸ０に４５°対角方向に隣接する２個の隣接ピクセルＸ６，Ｘ７がエッジを形成する場合を示す。
【０１１７】
図８は、本開示の一実施形態によるクラスを図示している。
【０１１８】
該クラスは、復元ピクセル８１１，８１６，８２２，８２７，８３２，８３７，８４３，８５３，８６３，８７３に隣接したピクセルの組み合わせを示す複数のクラス８１０，８１５，８２０，８２５，８３０，８３５，８４０，８５０，８６０，８７０のうち一つでもある。
【０１１９】
映像復号装置３００は、クラス８１０，８１５，８２０，８２５，８３０，８３５，８４０，８５０，８６０，８７０のインデックスを、順に０、１、２、３、４、５、６、７、８と割り当てることができる。例えば、映像復号装置３００は、クラスの発生頻度が高いほど、クラスのインデックスを小さく割り当てることができる。また、エッジタイプ、平均値タイプ及び中間値タイプそれぞれは、クラス８１０，８１５，８２０，８２５，８３０，８３５，８４０，８５０，８６０，８７０を含んでもよい。
【０１２０】
該クラスは、方向性を示さないこともある。例えば、図８（ａ）は、インデックス０のクラス８１０を示す。符号化単位は、復元ピクセル８１１を含んでもよい。映像復号装置３００は、クラス８１０に基づいて、複数のピクセルを選択することができる。複数のピクセルは、現在復元ピクセル８１１に隣接した全ての周囲復元ピクセル、及び現在復元ピクセル８１１を含んでもよい。
【０１２１】
また、図８（ｂ）は、インデックス１のクラス８１５を示す。符号化単位は、復元ピクセル８１６を含んでもよい。映像復号装置３００は、クラス８１５に基づいて、複数のピクセルを選択することができる。複数のピクセルは、現在復元ピクセル８１６に隣接した全ての周囲復元ピクセルを含んでもよい。しかし、図８（ａ）のクラス８１０の場合と異なるように、映像復号装置３００は、現在復元ピクセル８１６を選択しないこともある。
【０１２２】
また、クラスは、方向性を示すことができる。すなわち、映像復号装置３００がクラスに基づいて選択した複数ピクセルの位置は、方向性を有することができる。例えば、図８（ｃ）は、インデックス２のクラス８２０を示す。インデックス２のクラス８２０は、水平方向を示すことができる。例えば、映像復号装置３００は、クラス８２０に基づいて、複数のピクセルを選択することができる。複数のピクセルは、現在復元ピクセル８２２、隣接ピクセル８２１及び隣接ピクセル８２３を含んでもよい。クラス８２０は、図７のクラス７１０と同一形態のクラスでもある。
【０１２３】
図８（ｄ）は、インデックス３のクラス８２５を示す。インデックス３のクラス８２５は、垂直方向を示すことができる。例えば、映像復号装置３００は、クラス８２５に基づいて、複数のピクセルを選択することができる。該複数のピクセルは、現在復元ピクセル８２７、隣接ピクセル８２６及び隣接ピクセル８２８を含んでもよい。クラス８２５は、図７のクラス７２０と同一形態のクラスでもある。
【０１２４】
図８（ｅ）は、インデックス４のクラス８３０を示す。インデックス４のクラス８３０は、垂直方向を示すことができる。例えば、映像復号装置３００は、クラス８３０に基づいて、複数のピクセルを選択することができる。複数のピクセルは、現在復元ピクセル８３２、隣接ピクセル８３１及び隣接ピクセル８３３を含んでもよい。クラス８３０は、図７のクラス７３０と同一形態のクラスでもある。
【０１２５】
図８（ｆ）は、インデックス５のクラス８３５を示す。インデックス５のクラス８３５は、垂直方向を示すことができる。例えば、映像復号装置３００は、クラス８３５に基づいて、複数のピクセルを選択することができる。複数のピクセルは、現在復元ピクセル８３７、隣接ピクセル８３６及び隣接ピクセル８３８を含んでもよい。クラス８３５は、図７のクラス７４０と同一形態のクラスでもある。
【０１２６】
図８（ｇ）は、インデックス６のクラス８４０を示す。インデックス６のクラス８４０は、方向（８４６）を示すことができる。例えば、映像復号装置３００は、クラス８４０に基づいて、複数のピクセルを選択することができる。複数のピクセルは、復元ピクセル８４３、復元ピクセルの左上（upper  left）側ピクセル８４１、左（left）側ピクセル８４２、右（right）側ピクセル８４４及び右下（lower  right）側ピクセル８４５を含んでもよい。
【０１２７】
図８（ｈ）は、インデックス７のクラス８５０を示す。インデックス７のクラス８５０は、方向（８５６）を示すことができる。例えば、映像復号装置３００は、クラス８５０に基づいて、複数のピクセルを選択することができる。複数のピクセルは、復元ピクセル８５３、復元ピクセルの左下側ピクセル８５１、左側ピクセル８５２、右側ピクセル８５４及び右上側ピクセル８５５を含んでもよい。
【０１２８】
図８（ｉ）は、インデックス８のクラス８６０を示す。インデックス８のクラス８６０は、方向（８６６）を示すことができる。例えば、映像復号装置３００は、クラス８６０に基づいて、複数のピクセルを選択することができる。複数のピクセルは、復元ピクセル８６３、復元ピクセルの左上側ピクセル８６１、上側ピクセル８６２、下側ピクセル８６４及び右下側ピクセル８６５を含んでもよい。
【０１２９】
図８（ｊ）は、インデックス９のクラス８７０を示す。インデックス９のクラス８７０は、方向（８７６）を示すことができる。例えば、映像復号装置３００は、クラス８７０に基づいて、複数のピクセルを選択することができる。複数のピクセルは、復元ピクセル８７３、復元ピクセルの左下側ピクセル８７１、下側ピクセル８７２、上側ピクセル８７４及び右上側ピクセル８７５を含んでもよい。
【０１３０】
クラス８１０ないしクラス８７０のうち少なくとも一つは、エッジタイプにも割り当てられる。クラス８１０ないしクラス８７０のうち少なくとも一つは、平均値タイプにも割り当てられる。クラス８１０ないしクラス８７０のうち少なくとも一つは、中間値タイプにも割り当てられる。クラス８１０ないしクラス８７０のうち少なくとも一つは、いずれのタイプにも割り当てられない。また、クラス８１０、あるいは映像符号化装置１００及び映像復号装置３００は、クラスにより、カテゴリーを異なるように決定することができる。
【０１３１】
例えば、図６（ｂ）を参照すれば、エッジタイプは、class  １ないしclass  １５を含んでもよい。例えば、class  １は、クラス８２０でもある。class  ２は、クラス８２５でもある。class  ３は、クラス８３０でもある。class  ４は、クラス８３５でもある。class  ５は、クラス８１０でもある。class  ６は、クラス８２０でもある。class  ７は、クラス８２５でもある。class  ８は、クラス８３０でもある。class  ９は、クラス８３５でもある。class  １０は、クラス８４０でもある。class  １１は、クラス８５０でもある。class  １２は、クラス８６０でもある。class  １３は、クラス８７０でもある。class  １４は、クラス８１０でもある。class  １５は、クラス８１５でもある。
【０１３２】
前述の例において、class  １ないしclass  ４は、class  ６ないしclass  ９と同一形態のクラスを有する。また、class  ５はclass  １４と同一形態のクラスを有する。このとき、映像符号化装置１００及び映像復号装置３００は、class  １ないしclass  ４について、図９Ａ及び図９Ｂで説明するようにカテゴリーを決定することができる。また、映像符号化装置１００及び映像復号装置３００は、class  ５ないしclass  １５について、図１０で説明するように、カテゴリーを決定することができる。また、映像符号化装置１００及び映像復号装置３００は、class  ５ないしclass  １３について、基準値を平均値と決定することができる。また、映像符号化装置１００及び映像復号装置３００は、class  １４及びclass  １５について、基準値を中間値に決定することができる。
【０１３３】
映像復号装置３００は、クラスに基づいて、復元ピクセルに隣接したピクセルから複数のピクセルを選択し、複数ピクセルのサンプル値に基づいて、基準値を計算することができる。また、映像復号装置３００は、基準値を計算するために、複数ピクセルのサンプル値だけではなく、復元ピクセルのサンプル値を利用することができる。例えば、映像復号装置３００は、ビットストリームから、オフセット値、オフセットタイプ及びクラスをパージングすることができる。該ビットストリームからパージングされたオフセットタイプは、エッジタイプでもある。また、該ビットストリームからパージングされたクラスは、インデックス６でもある。映像復号装置３００は、クラス８４０に基づいて、複数のピクセルを選択することができる。例えば、映像復号装置３００は、復元ピクセル８４３、復元ピクセルの左上側ピクセル８４１、左側ピクセル８４２、右側ピクセル８４４及び右下側ピクセル８４５を選択することができる。
【０１３４】
オフセットタイプ、クラスのインデックスに基づいて、映像復号装置３００は、カテゴリーを決定する方式を決定することができる。本開示の一実施形態によれば、該オフセットタイプがエッジタイプであり、該クラスがインデックス３である場合、映像復号装置３００は、復元ピクセル８２２及び隣接ピクセル８２１を比較し、復元ピクセル８２２及び隣接ピクセル８２３を比較し、カテゴリーを決定することができる。かようにカテゴリーを決定する方法については、以下、図９Ａ及び図９Ｂで詳細に説明する。
【０１３５】
また、本開示の他の実施形態によれば、映像復号装置３００がパージングしたオフセットタイプは、エッジタイプでもある。また、映像復号装置３００がパージングしたクラスは、インデックス６でもある。インデックス３と異なるように、インデックス６は、他の方式でカテゴリーを決定することができる。すなわち、クラスによって、カテゴリー決定方式が変更される。映像復号装置３００は、複数のピクセル８４１，８４２，８４３，８４４，８４５のサンプル値の平均値を利用して、基準値を計算することができる。また、映像復号装置３００は、基準値と、復元ピクセル８４３のサンプル値との差値の大きさに基づいて、カテゴリーを決定することができる。また、映像復号装置３００は、オフセット値のうちカテゴリーに対応したオフセット値を選択することができる。また、映像復号装置３００は、選択されたオフセット値を利用して、復元ピクセル８４３のサンプル値を補償することができる。かようなカテゴリー決定方法については、以下、図１０で詳細に説明する。
【０１３６】
また、オフセットタイプがエッジタイプであり、クラスがインデックス６である場合、映像復号装置３００は、複数のピクセル８４１，８４２，８４３，８４４，８４５のサンプル値の平均値を利用して、基準値を計算することができる。また、映像復号装置３００は、基準値と、復元ピクセル８４３のサンプル値との差値の大きさに基づいて、カテゴリーを決定することができる。また、映像復号装置３００は、オフセット値のうちカテゴリーに対応したオフセット値を選択することができる。また、映像復号装置３００は、選択されたオフセット値を利用して、復元ピクセル８４３のサンプル値を補償することができる。
【０１３７】
図７及び図８に図示されたように、映像符号化装置１００は、現在最大符号化単位内に含まれた復元ピクセルのエッジ方向を分析することができる。また、映像符号化装置１００は、現在最大符号化単位において、強いエッジ方向を決定し、現在最大符号化単位のクラスを決定することができる。
【０１３８】
各クラスごとに、現在ピクセルのエッジ形態によって、カテゴリーが分類される。エッジ形態によるカテゴリーの一例について、図９Ａないし図１０を参照して後述する。
【０１３９】
図９Ａ及び図９Ｂは、一実施形態による、エッジタイプのカテゴリーを図示している。
【０１４０】
エッジカテゴリーは、現在ピクセルが、凹型エッジの最低点であるか、凹型エッジの最低点周囲に位置する曲線コーナーのピクセルであるか、凸型エッジの最高点であるか、凸型エッジの最高点周囲に位置する曲線コーナーのピクセルであるかということを示す。
【０１４１】
図９Ａは、エッジのカテゴリーを決定するための条件を例示している。図９Ｂは、復元ピクセルと隣接ピクセルとの、エッジ形態及びサンプル値ｃ，ａ，ｂのグラフを例示する。
【０１４２】
ｃは、復元ピクセルのインデックス、ａ、ｂは、エッジ方向によって、現在復元ピクセルに両側に隣接する隣接ピクセルのインデックスを示す。Ｘａ、Ｘｂ、Ｘｃは、それぞれインデックスａ，ｂ，ｃである復元ピクセルのサンプル値を示す。図９Ｂのグラフのｘ軸は、復元ピクセルと、両側に隣接する隣接ピクセルとのインデックスを示し、ｙ軸は、各ピクセルのサンプル値を示す。
【０１４３】
また、図９Ｂのグラフにおいて、ｙ軸は、各ピクセルのサンプル値を所定のスケール情報にスケールした値でもある。例えば、一部ピクセルのサンプル値を、右側に、所定スケール情報ほどシフトする場合、ノイズによる影響を減らすことができる。
【０１４４】
カテゴリー１は、現在ピクセルが凹型エッジの最低点、すなわち、ローカルバレー地点である場合を示す（Ｘｃ＜Ｘａ＆＆Ｘｃ＜Ｘｂ）。グラフ９１０でのように、隣接ピクセルａ，ｂの間において、現在復元ピクセルｃが凹型エッジの最低点である場合、現在復元ピクセルは、カテゴリー１にも分類される。
【０１４５】
カテゴリー２は、現在ピクセルが凹型エッジの最低点周辺に位置する曲線コーナー（concave  corners）に位置する場合を示す（Ｘｃ＜Ｘａ＆＆Ｘｃ＝＝Ｘｂ｜｜Ｘｃ＝＝Ｘａ＆＆Ｘｃ＜Ｘｂ）。グラフ９２０でのように、隣接ピクセルａ，ｂの間において、現在復元ピクセルｃが、凹型エッジの下降カーブが終了する地点に位置するか（Ｘｃ＜Ｘａ＆＆Ｘｃ＝＝Ｘｂ）、あるいはグラフ９３０のように、現在復元ピクセルｃが凹型エッジの上昇カーブが始まる地点に位置する場合（Ｘｃ＝＝Ｘａ＆＆Ｘｃ＜Ｘｂ）、現在復元ピクセルは、カテゴリー２にも分類される。
【０１４６】
カテゴリー３は、現在ピクセルが凸型エッジの最高点周辺に位置する曲線コーナー（convex  corners）に位置する場合を示す（Ｘｃ＞Ｘａ＆＆Ｘｃ＝＝Ｘｂ｜｜Ｘｃ＝＝Ｘａ＆＆Ｘｃ＞Ｘｂ）。グラフ９４０でのように、隣接ピクセルａ，ｂの間において、現在復元ピクセルｃが凹型エッジの下降カーブが始まる地点に位置するか（Ｘｃ＞Ｘａ＆＆Ｘｃ＝＝Ｘｂ）、あるいはグラフ９５０のように、現在復元ピクセルｃが凹型エッジの上昇カーブが終了する地点に位置する場合（Ｘｃ＝＝Ｘａ＆＆Ｘｃ＞Ｘｂ）、現在復元ピクセルは、カテゴリー３にも分類される。
【０１４７】
カテゴリー４は、現在ピクセルが凸型エッジの最高点、すなわち、ローカルピーク地点である場合を示す（Ｘｃ＞Ｘａ＆＆Ｘｃ＞Ｘｂ）。グラフ９６０でのように、隣接ピクセルａ，ｂの間において、現在復元ピクセルｃが凸型エッジの最高点である場合、現在復元ピクセルは、カテゴリー４にも分類される。
【０１４８】
現在復元ピクセルに対して、カテゴリー１，２，３，４の条件がいずれも充足されない場合には、カテゴリー０に分類され、カテゴリー０に係わるオフセットは、別途に符号化される必要はない。
【０１４９】
一実施形態により、同一カテゴリーに該当する復元ピクセルに対して、復元ピクセルと原本ピクセルとの差値の平均値が、現在カテゴリーのオフセットと決定される。また、一部カテゴリーに対して、オフセットが決定されもする。
【０１５０】
図９Ａ及び図９Ｂのカテゴリー１，２の凹型エッジは、正数オフセット値によって、復元ピクセルのサンプル値が調整されるならば、エッジが平坦になるスムージング（smoothing）効果が生じ、負数オフセット値によって、エッジの先鋭度（sharpeness）が高くなるシャープニング（sharpening）効果が生じる。カテゴリー３，４の凸型エッジは、負数オフセット値によって、エッジのスムージング効果が生じ、正数オフセット値によって、エッジのシャープニング効果が生じる。
【０１５１】
一実施形態による映像符号化装置１００は、エッジのシャープニング効果を許容しないこともある。その場合には、カテゴリー１，２の凹型エッジについては、正数オフセット値が必要であり、カテゴリー３，４の凸型エッジについては、負数オフセット値が必要である。その場合、エッジのカテゴリーを知ることができるならば、オフセット値の符号を決定することができる。従って、映像符号化装置１００と映像復号装置３００は、オフセット値の符号を除き、オフセット絶対値さえ送受信すればよい。
【０１５２】
図１０は、本開示の一実施形態による、エッジタイプ、平均値タイプ、中間値タイプのカテゴリー（category）を図示している。
【０１５３】
映像復号装置３００は、復元ピクセル、及び復元ピクセルの周囲ピクセルに基づいて、カテゴリーを決定することができる。例えば、映像復号装置３００は、基準値と、復元ピクセルのサンプル値との差値の大きさに基づいて、カテゴリーを決定することができる。また、該カテゴリーは、ピクセルのサンプル値と基準値との差値の大きさによって分類される複数のカテゴリーのうち一つでもある。該差値は、下記数式１によっても決定される。
【０１５４】
差値＝復元ピクセルのサンプル値−基準値      （１）
映像復号装置３００は、差値を臨界値（threshold）と比較し、カテゴリーを決定することができる。例えば、図１０を参照すれば、差値が第１臨界値より小さい場合、カテゴリーを第１カテゴリーと決定することができる。第１臨界値は、−３．０でもある。
【０１５５】
また、該差値が第１臨界値より大きいか、あるいはそれと同じであり、第２臨界値より小さい場合、映像復号装置３００は、該カテゴリーを第２カテゴリーと決定することができる。第２臨界値は、−０．５でもある。
【０１５６】
また、該差値が第２臨界値より大きいか、あるいはそれと同じであり、第３臨界値より小さい場合、映像復号装置３００は、該カテゴリーを第３カテゴリーと決定することができる。第３臨界値は、０．５でもある。
【０１５７】
また、該差値が第３臨界値より大きいか、あるいはそれと同じであり、第４臨界値より小さい場合、映像復号装置３００は、該カテゴリーを第４カテゴリーと決定することができる。第４臨界値は、３．０でもある。
【０１５８】
また、該差値が第４臨界値より大きいか、あるいはそれと同じ場合、映像復号装置３００は、該カテゴリーを第５カテゴリーと決定することができる。前述のように、映像復号装置３００は、複数のカテゴリーのうち１つのカテゴリーを決定することができる。また、複数のカテゴリーは、第１カテゴリーないし第５カテゴリーを含んでもよい。
【０１５９】
また、前述のように、第１臨界値及び第２臨界値は、負数であり、第３臨界値及び第４臨界値は、正数でもある。
【０１６０】
また、映像復号装置３００は、クラスのインデックス番号により、図９Ｂで説明したカテゴリー決定方法を使用するか、あるいは図１０で説明したカテゴリー決定方法を使用することができる。
【０１６１】
一実施形態による映像符号化装置１００は、エッジのシャープニング効果を許容しないこともある。その場合には、図１０の、第１カテゴリー及び第２カテゴリーの凹型エッジについては、正数オフセット値が必要であり、第４カテゴリー及び第５カテゴリーの凸型エッジについては、負数オフセット値が必要である。その場合、エッジのカテゴリーを知ることができるならば、オフセット値の符号を決定することができる。従って、映像符号化装置１００と映像復号装置３００は、オフセット値の符号を除き、オフセット絶対値さえ送受信すればよい。
【０１６２】
他の実施形態による映像符号化装置１００は、エッジのシャープニング効果を許容することができる。その場合には、図１０の、第１カテゴリー及び第２カテゴリーの凹型エッジについては、負数オフセット値が必要であり、第４カテゴリー及び第５カテゴリーの凸型エッジについては、正数オフセット値が必要である。その場合、エッジのカテゴリーを知ることができるならば、オフセット値の符号を決定することができる。従って、映像符号化装置１００と映像復号装置３００は、オフセット値の符号を除き、オフセット絶対値だけ送受信することができる。また、それに限定されるものではなく、映像符号化装置１００と映像復号装置３００は、オフセット値の符号を含んで送受信することもできる。
【０１６３】
また、該カテゴリーが第３カテゴリーである場合、復元ピクセル周囲のピクセルのサンプル値と、復元ピクセルのサンプル値との差値が大きくない場合でもある。その場合、復元ピクセルのサンプル値は、補償が必要ではない。従って、該カテゴリーが第３カテゴリーと決定された場合、映像復号装置３００は、復元ピクセルのサンプル値を補償しない。すなわち、該カテゴリーが第３カテゴリーである場合、オフセット値が０でもある。また、映像符号化装置１００は、映像復号装置３００に、第３カテゴリーに該当するオフセット値を伝送しない。
【０１６４】
映像復号装置３００は、映像符号化装置１００から受信したオフセット値のうち、第１カテゴリーないし第５カテゴリーのうち１つのカテゴリーに対応するオフセット値を選択することができる。また、映像復号装置３００は、選択されたオフセット値を利用して、復元ピクセルのサンプル値を補償することができる。
【０１６５】
以下、一実施形態によるＳＡＯ技法により、オフセットタイプがエッジタイプ、平均値タイプまたは中間値タイプである場合、ピクセルを分類する実施形態について説明する。
【０１６６】
映像符号化装置１００は、現在クラスのカテゴリーごとに対応するオフセット値を符号化して送信し、映像復号装置３００は、受信されたカテゴリー別オフセット値を利用して、復元ピクセルごとに、当該カテゴリーのオフセット値ほど調整することができる。
【０１６７】
例えば、エッジタイプのオフセット値が０ではない場合には、映像符号化装置１００は、オフセット値として、オフセット絶対値及びスケールパラメータを伝送することができる。オフセット値の符号は、カテゴリーによって決定されるので、映像符号化装置１００は、オフセット値の符号は伝送する必要がない。
【０１６８】
映像復号装置３００は、オフセットタイプがエッジタイプ、平均値タイプまたは中間値タイプである場合、オフセット値絶対値をパージングすることができる。該オフセット値の符号は、復元ピクセルと隣接ピクセルとの形態によるカテゴリーによっても予測される。
【０１６９】
従って、一実施形態による映像符号化装置１００は、エッジ方向、エッジ形態によってピクセルを分類し、同一特性のピクセルの平均誤差値をオフセット値と決定し、カテゴリー別に、オフセット値を決定することができる。映像符号化装置１００は、エッジタイプ、平均値タイプまたは中間値タイプであることを示すオフセットタイプ情報、エッジ方向を示すオフセットクラス情報、及びオフセット値を符号化して伝送することができる。
【０１７０】
一実施形態による映像復号装置３００は、オフセットタイプ情報、オフセット値及びオフセットクラス情報を受信し、オフセットタイプ情報が、エッジタイプ、平均値タイプまたは中間値タイプであるならば、オフセットクラス情報によって、エッジ方向を決定することができる。映像復号装置３００は、復元ピクセルごとに、エッジ形態に対応するカテゴリー別オフセット値を決定し、復元ピクセルのサンプル値をオフセット値ほど調整することにより、原本映像と復元映像との誤差を最小化することができる。
【０１７１】
次に、一実施形態によるＳＡＯ技法により、バンドタイプによって、ピクセルを分類する実施形態について説明する。
【０１７２】
一実施形態による、復元ピクセルのサンプル値は、それぞれバンドのうち一つに属することができる。例えば、サンプル値の最小値Ｍｉｎ及び最大値Ｍａｘは、ｐビットサンプリングにより、範囲が、０、…、２＾（ｐ−１）でもある。サンプル値範囲（Ｍｉｎ，Ｍａｘ）は、Ｋ個のサンプル値区間に分割される場合、一部サンプル値区間をバンドと称する。Ｂｋがｋ番目バンドの最大値を示す場合、該バンドは、［Ｂ０，Ｂ１−１］、［Ｂ１，Ｂ２−１］、［Ｂ２，Ｂ３−１］、…、［Ｂｋ−１，Ｂｋ］にも分割される。現在復元ピクセルＲｅｃ（ｘ，ｙ）のサンプル値が［Ｂｋ−１，Ｂｋ］に属する場合、現在バンドは、ｋと決定される。該バンドは、均等なタイプに分割されるか、あるいは均等ではないタイプにも分割される。
【０１７３】
例えば、サンプル値分類タイプが８ビットピクセルの均等バンドである場合、サンプル値は、３２個のバンドにも分割される。具体的には、［０，７］、［８，１５］、…、［２４０，２４７］、［２４８，２５５］のバンドにも分類される。
【０１７４】
バンドタイプによって分類された多数のバンドのうち、復元ピクセルごとに、それぞれのサンプル値が属するバンドが決定される。また、それぞれのバンドごとに、原本ピクセルと復元ピクセルとの誤差の平均を示すオフセット値が決定される。
【０１７５】
従って、映像符号化装置１００は、現在バンドタイプによって分類されたバンドごとに、対応するオフセットを符号化して送信し、復元ピクセルを、オフセットほど調整することができる。また、映像復号装置３００は、現在バンドタイプによって分類されたバンドごとに、対応するオフセットを符号化して受信し、復元ピクセルをオフセットほど調整することができる。
【０１７６】
従って、一実施形態による、映像符号化装置１００及び映像復号装置３００は、バンドタイプの場合、復元ピクセルを、それぞれのサンプル値が属するバンドによって分類し、同一バンドに属する復元ピクセルの平均誤差値のオフセットを決定し、復元ピクセルをオフセットほど調整することにより、原本映像と復元映像との誤差を最小化することができる。
【０１７７】
一実施形態による、映像符号化装置１００及び映像復号装置３００は、バンドタイプによるオフセットを決定するとき、復元ピクセルを、バンド位置によるカテゴリーに分類することができる。例えば、サンプル値の範囲がＫ個のバンドに分類される場合、ｋ番目バンドを示すバンドインデックスｋによって、カテゴリーがインデクシングされる。バンド個数に相応し、カテゴリーの個数が決定される。
【０１７８】
ただし、データ節減のために、映像符号化装置１００及び映像復号装置３００は、ＳＡＯ技法によってオフセットを決定するために利用されるカテゴリーの個数を制限することができる。例えば、所定開始位置のバンドから、バンドインデックスが増加する方向に連続する所定個数のバンドだけが、それぞれカテゴリーに割り当てられ、一部カテゴリーについてのみオフセットが決定される。
【０１７９】
例えば、インデックス１２であるバンドが開始バンドとして決定される場合、開始バンドから４個のバンド、すなわち、インデックス１２，１３，１４，１５のバンドが、それぞれカテゴリー１，２，３，４にも割り当てられる。従って、インデックス１２のバンドに含まれる復元ピクセルの原本ピクセルとの平均誤差が、カテゴリー１のオフセットと決定される。それと類似して、インデックス１３のバンドに含まれる復元ピクセルの原本ピクセルとの平均誤差がカテゴリー２のオフセットと決定され、インデックス１４のバンドに含まれる復元ピクセルの原本ピクセルとの平均誤差がカテゴリー３のオフセットと決定され、インデックス１５のバンドに含まれる復元ピクセルの原本ピクセルとの平均誤差がカテゴリー４のオフセットと決定される。
【０１８０】
かような場合、カテゴリーに割り当てられるバンドの位置を決定するために、開始バンドの位置に係わる情報が必要である。従って、一実施形態による映像符号化装置１００は、オフセットクラスとして、開始バンドの位置に係わる情報を符号化して送信することができる。映像符号化装置１００は、バンドタイプであるということを示すオフセットタイプ、オフセットクラス及びカテゴリー別オフセット値を符号化して伝送することができる。また、映像符号化装置１００は、オフセット値を伝送する場合、オフセット値の絶対値だけ伝送することができる。また、映像符号化装置１００は、追加してオフセット値の符号を伝送することができる。
【０１８１】
一実施形態による映像復号装置３００は、オフセットタイプ、オフセットクラス及びカテゴリー別オフセット値を受信することができる。映像復号装置３００は、受信されたオフセットタイプがバンドタイプである場合、オフセットクラスから、開始バンドの位置を判読することができる。映像復号装置３００は、復元ピクセルが、開始バンドから４個のバンドのうちいずれのバンドに属するかということを決定し、カテゴリー別オフセット値のうち現在バンドに割り当てられたオフセット値を決定し、復元サンプル値をオフセット値ほど調整することができる。
【０１８２】
以上、オフセットタイプとして、エッジタイプ、平均値タイプ、中間値タイプ及びバンドタイプを紹介し、オフセットタイプによるオフセットクラス及びカテゴリーについて説明した。以下、図１１と共に、映像符号化装置１００及び映像復号装置３００が符号化して送受信するオフセットパラメータについて説明する。
【０１８３】
図１１は、本開示の一実施形態による、オフセットタイプ及びクラスを示した図面である。
【０１８４】
本開示の一実施形態によれば、クラス１１１１，１１１２，１１１３，１１１４，１１２１，１１２２，１１２３，１１２４，１１２５，１１２６，１１２７，１１２８，１１２９，１１３０，１１４１，１１４２は、総１６個でもある。映像符号化装置１００及び映像復号装置３００は、バンドタイプを有することができる。ただし、説明の便宜のために、図１１に、バンドタイプを図示していない。
【０１８５】
本開示の一実施形態によれば、映像復号装置３００は、図６（ｃ）で説明したように、オフセットタイプ及びクラスを決定することができる。例えば、オフセットタイプ１１１０は、エッジタイプでもある。クラス１１１１は、インデックス１を有することができる。クラス１１１２は、インデックス２を有することができる。クラス１１１３は、インデックス３を有することができる。クラス１１１４は、インデックス４を有することができる。
【０１８６】
また、オフセットタイプ１１２０は、平均値タイプでもある。クラス１１２１は、インデックス１を有することができる。クラス１１２２は、インデックス２を有することができる。クラス１１２３は、インデックス３を有することができる。クラス１１２４は、インデックス４を有することができる。クラス１１２５は、インデックス５を有することができる。クラス１１２６は、インデックス６を有することができる。クラス１１２７は、インデックス７を有することができる。クラス１１２８は、インデックス８を有することができる。クラス１１２９は、インデックス９を有することができる。クラス１１３０は、インデックス１０を有することができる。
【０１８７】
また、オフセットタイプ１１４０は、中間値タイプでもある。クラス１１４１は、インデックス１を有することができる。クラス１１４２は、インデックス２を有することができる。
【０１８８】
前述のところと異なり、クラス１１１１，１１１２，１１１３，１１１４，１１２１，１１２２，１１２３，１１２４，１１２５，１１２６，１１２７，１１２８，１１２９，１１３０，１１４１，１１４２は、それぞれインデックス１ないし１６を有することができる。
【０１８９】
また、本開示の他の実施形態による映像復号装置３００において、図６（ｂ）で説明したように、オフセットタイプ１１１０，１１２０，１１４０は、いずれもエッジタイプでもある。クラス１１１１，１１１２，１１１３，１１１４，１１２１，１１２２，１１２３，１１２４，１１２５，１１２６，１１２７，１１２８，１１２９，１１３０，１１４１，１１４２は、それぞれインデックス１ないし１６を有することができる。
【０１９０】
クラス１１１１，１１１２，１１１３，１１１４は、図９Ａ及び図９Ｂで説明されたようにカテゴリーが決定される。
【０１９１】
また、映像復号装置３００は、クラス１１２１，１１２２，１１２３，１１２４，１１２５，１１２６，１１２７，１１２８，１１２９，１１３０に対して、復元ピクセル周囲の選択されたピクセル（暗い表示）の平均値を計算することができる。計算された平均値は、基準値にもなる。映像復号装置３００は、基準値に基づいて、カテゴリーを決定することができる。
【０１９２】
また、映像復号装置３００は、クラス１１４１，１１４２に対して、復元ピクセル周囲の選択されたピクセル（暗い表示）の中間値を計算することができる。計算された中間値は、基準値にもなる。映像復号装置３００は、基準値に基づいて、カテゴリーを決定することができる。
【０１９３】
一実施形態による、映像符号化装置１００及び映像復号装置３００は、最大符号化単位ごとに、復元ピクセルのピクセル分類方式によって、オフセットタイプを決定することができる。
【０１９４】
一部ブロックの映像特性によって、オフセットタイプが決定される。例えば、垂直エッジ、水平エッジ、対角エッジなどを含む最大符号化単位は、サンプル値補償のために、エッジの形態によってサンプル値を分類し、オフセット値を決定する方が有利でもある。エッジ領域ではない場合には、バンド分類によって、オフセット値を決定する方が有利でもある。従って、映像符号化装置１００及び映像復号装置３００は、最大符号化単位ごとに、オフセットタイプをシグナリングすることができる。
【０１９５】
一実施形態による、映像符号化装置１００及び映像復号装置３００は、最大符号化単位ごとに、オフセットパラメータを決定することができる。すなわち、最大符号化単位の復元ピクセルのオフセットタイプを決定し、最大符号化単位の復元ピクセルをカテゴリー別に分類し、カテゴリー別にオフセット値が決定される。
【０１９６】
映像符号化装置１００は、最大符号化単位に含まれた復元ピクセルのうち、同一カテゴリーに分類された復元ピクセルの平均誤差をオフセット値と決定することができる。各カテゴリーごとに、オフセット値が決定される。
【０１９７】
一実施形態によるオフセットパラメータは、オフセットタイプ、オフセット値、オフセットクラスを含んでもよい。また、該オフセット値は、オフセット絶対値及びスケールパラメータのうち少なくとも一つで示すことができる。映像符号化装置１００及び映像復号装置３００は、最大符号化単位ごとに決定されたオフセットパラメータを送受信することができる。
【０１９８】
一実施形態による映像符号化装置１００は、最大符号化単位のオフセットパラメータにおいて、オフセットタイプ及びオフセット値を符号化して伝送することができる。オフセットタイプがエッジタイプ、平均値タイプまたは中間値タイプである場合、一実施形態による映像符号化装置１００は、オフセットタイプ、カテゴリー別オフセット値に続き、エッジ方向を示すオフセットクラスをさらに伝送することができる。オフセットタイプがバンドタイプである場合、一実施形態による映像符号化装置１００は、オフセットタイプ、カテゴリー別オフセット値に続き、開始バンドの位置を示すオフセットクラスをさらに伝送することができる。
【０１９９】
一実施形態による映像復号装置３００は、最大符号化単位ごとに、オフセットタイプ、オフセット値及びオフセットクラスを含むオフセットパラメータを受信することができる。また、一実施形態による映像復号装置３００は、カテゴリー別オフセット値のうちそれぞれの復元ピクセルが属するカテゴリーのオフセット値を選択し、復元ピクセルごとに選択されたオフセット値ほど調整することができる。
【０２００】
一実施形態によるオフセットパラメータのうちオフセット値を送受信する実施形態について後述する。
【０２０１】
前述のように、エッジタイプの場合、カテゴリーによって、オフセット値が正数または負数であるかということが予測可能であるので、符号情報が伝送される必要ない。
【０２０２】
一実施形態によるオフセット値（off-set）は、オフセット値を決定する以前に、あらかじめ最小値（MinOffSet）及び最大値（MaxOffSet）の範囲にも制限される（MinOffSet≦Off-Set≦MaxOffSet）。映像符号化装置１００は、最大値（MaxOffSet）をビット深度に基づいて決定する。
【０２０３】
例えば、エッジタイプの場合、カテゴリー１，２の復元ピクセルに係わるオフセット値は、最小値０及び最大値７の範囲内で決定される。エッジタイプの場合、カテゴリー３，４の復元ピクセルに係わるオフセット値は、最小値−７及び最大値０の範囲内で決定される。
【０２０４】
例えば、バンドタイプの場合、全てのカテゴリーの復元ピクセルに係わるオフセット値は、最小値−７ないし最大値７の範囲内で決定される。
【０２０５】
一実施形態によるオフセット値に係わる伝送ビットを節減するために、残りオフセット値（remainder）を負数ではないｐビット値に制限することができる。その場合、残りオフセット値は、０より大きいか、あるいはそれと同じであるが、最大値と最小値との差値よりは小さい、あるいはそれと同じある（０≦Remainder≦MaxOffSet−MinOffSet＋１≦２＾ｐ）。映像符号化装置１００が、残りオフセット値を伝送し、映像復号装置３００がオフセット値の最大値及び最小値のうち少なくとも一つを知ることができるならば、受信された残りオフセット値だけで原本オフセット値を復元することができる。
【０２０６】
以下、一実施形態によるオフセットパラメータにおけるオフセット併合情報について説明する。
【０２０７】
一部ブロックのオフセットタイプ及び／またはオフセット値は、隣接したブロック間で同一である可能性が高い。一実施形態による映像符号化装置１００は、現在ブロックのオフセットパラメータを、隣接ブロックのオフセットパラメータと比較し、オフセットパラメータが同一である場合、現在ブロックと隣接ブロックとのオフセットパラメータを一つに併合して符号化することができる。隣接ブロックのオフセットパラメータがまず符号化されるならば、隣接ブロックのオフセットパラメータを利用して、現在ブロックのオフセットパラメータが決定される。従って、映像符号化装置１００は、現在ブロックのオフセットパラメータを符号化せず、現在ブロックに対して、オフセット併合情報だけ符号化することができる。
【０２０８】
一実施形態による映像復号装置３００は、受信したビットストリームから、オフセットパラメータをパージングする前に、オフセット併合情報をまずパージングし、オフセットパラメータのパージングいかんを決定することができる。映像復号装置３００は、現在ブロックのオフセット併合情報に基づいて、隣接ブロックのオフセットパラメータを利用して、現在ブロックのオフセットパラメータを決定することができる。
【０２０９】
例えば、オフセット併合情報に基づいて、隣接ブロックのオフセットパラメータにおいて、現在ブロックのオフセットパラメータと同一パラメータがある場合、映像復号装置３００は、現在ブロックのオフセットパラメータをパージングせず、隣接ブロックの復元されたオフセットパラメータを利用して、現在ブロックのオフセットパラメータを決定することができる。従って、映像復号装置３００は、隣接ブロックのオフセットパラメータと同一に、現在ブロックのオフセットパラメータを復元することができる。また、オフセット併合情報に基づいて、隣接ブロックのうちいずれの隣接ブロックのオフセットパラメータを利用するかということも決定される。例えば、現在ブロックに係わる左側ブロックのオフセットパラメータを利用するか否かということを決定することができる。また、左側ブロックのオフセットパラメータが利用されないのであるならば、現在ブロックに係わる上端ブロックのオフセットパラメータを利用するか否かということを決定することができる。
【０２１０】
例えば、オフセット併合情報に基づいて、隣接ブロックのオフセットパラメータが、現在ブロックのオフセットパラメータと異なる場合、映像復号装置３００は、ビットストリームから、現在ブロックのオフセットパラメータをパージングして復元することができる。
【０２１１】
図１２は、本開示の一実施形態による、ツリー構造による符号化単位に基づいた映像符号化装置１２００のブロック図を図示している。
【０２１２】
映像符号化装置１２００は、図１の映像符号化装置１００に対応する。
【０２１３】
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴う映像符号化装置１２００は、最大符号化単位分割部１２１０、符号化単位決定部１２２０及び出力部１２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴う映像符号化装置１２００は、「映像符号化装置１２００」と縮約して称する。
【０２１４】
最大符号化単位分割部１２１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位にも分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横大きさが２の自乗である正方形のデータ単位でもある。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２２０にも出力される。
【０２１５】
一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度と定義され、最小符号化単位が最下位符号化単位とに定義される。該最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
【０２１６】
前述のように、符号化単位の最大サイズにより、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial  domain）の映像データが、深度によって階層的に分類される。
【０２１７】
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。
【０２１８】
符号化単位決定部１２２０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１２３０に出力される。
【０２１９】
最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。
【０２２０】
最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、１つの最大符号化単位について、符号化深度が一つ以上設定され、最大符号化単位のデータは、１以上の符号化深度の符号化単位によっても区画される。
【０２２１】
従って、一実施形態による符号化単位決定部１２２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位のうち、符号化深度と決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内において、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。
【０２２２】
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２にも設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２、３及び４の深度レベルが存在するので、第１最大深度は、４に設定され、第２最大深度は、５に設定される。
【０２２３】
最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。
【０２２４】
最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれ、生成される全ての深度別符号化単位について、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち現在深度の符号化単位を基に、予測符号化及び変換について説明する。
【０２２５】
一実施形態による映像符号化装置１２００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって同一データ単位が使用され、段階別に、データ単位が変更されもする。
【０２２６】
例えば、映像符号化装置１２００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
【０２２７】
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基盤になる、それ以上さらに分割されない符号化単位を「予測単位」と称する。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。該パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、該予測単位は、符号化単位と同一サイズのパーティションでもある。
【０２２８】
例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的の比率に分割されたパーティション、幾何学的なタイプに分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
【０２２９】
予測単位の予測モードは、イントラモード、インタモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインタモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ行われる。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
【０２３０】
また、一実施形態による映像符号化装置１２００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさの変換単位を基に変換が行われる。例えば、該変換単位は、イントラモードのためのデータ単位、及びインタモードのための変換単位を含んでもよい。
【０２３１】
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度によって、ツリー構造による変換単位によって区画される。
【０２３２】
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０に設定され、変換単位の大きさがＮｘＮであるならば、変換深度１に設定され、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２にも設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
【０２３３】
符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。
【０２３４】
一実施形態による、最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、及び変換単位の決定方式については、図１４ないし図２４を参照して詳細に後述する。
【０２３５】
符号化単位決定部１２２０は、深度別符号化単位の符号化誤差を、ラグランジュ乗数（Lagrangian  multiplier）基盤の率・歪曲最適化技法（rate-distortion  optimization）を利用して測定することができる。
【０２３６】
出力部１２３０は、符号化単位決定部１２２０において決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードについての情報をビットストリーム形態で出力する。
【０２３７】
符号化された映像データは、映像のレジデュアルデータの符号化結果でもある。
【０２３８】
深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含んでもよい。
【０２３９】
該符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用しても定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないようにも定義される。反対に、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるようにも定義される。
【０２４０】
現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が１以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。
【０２４１】
１つの最大符号化単位内で、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードについての情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なるので、データについて、符号化深度及び符号化モードについての情報が設定される。
【０２４２】
従って、一実施形態による出力部１２３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報が割り当てられる。
【０２４３】
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位内、予測単位内、パーティション単位内及び変換単位内に含まれる最大サイズの正方形データ単位でもある。
【０２４４】
例えば、出力部１２３０を介して出力される符号化情報は、深度別符号化単位別符号化情報及び予測単位別符号化情報にも分類される。該深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インタモードの推定方向についての情報、インタモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。
【０２４５】
ピクチャ別、スライス別またはＧＯＰ（group  of  picture）別に定義される符号化単位の最大サイズについての情報、及び最大深度についての情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどにも挿入される。
【０２４６】
また、現在ビデオについて許容される変換単位の最大サイズについての情報、及び変換単位の最小サイズについての情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどを介しても出力される。出力部１２３０は、図１ないし図１１を参照して説明したオフセット調整技法と係わるオフセットタイプ、クラス、オフセット値のようなオフセットパラメータを符号化して出力することができる。
【０２４７】
映像符号化装置１２００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。
【０２４８】
従って、映像符号化装置１２００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などにより符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
【０２４９】
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存符号化単位で符号化するならば、ピクチャ当たり符号化単位の数が過度に多くなる。それにより、符号化単位ごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態による映像符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が上昇する。
【０２５０】
図１２の映像符号化装置１２００は、図１を参照して説明した映像符号化装置１００の動作を遂行することができる。
【０２５１】
符号化単位決定部１２２０は、図１の符号化部１２０の動作を遂行することができる。最大符号化単位ごとに、オフセットタイプ、カテゴリー別オフセット値及びオフセットクラスが決定される。
【０２５２】
出力部１２３０は、図１の伝送部１４０の動作を遂行することができる。最大符号化単位ごとに決定されたオフセットパラメータが出力される。現在最大符号化単位に隣接する最大符号化単位のオフセットパラメータを利用して、現在オフセットパラメータを決定するか否かということを示すオフセット併合情報が最も先に出力される。該オフセットタイプとして、オフタイプ、エッジタイプ、平均値タイプ、中間値タイプまたはバンドタイプが出力される。該オフセット値は、オフセット絶対値、符号情報、順序としても出力される。該エッジタイプの場合、オフセット値の符号情報は出力されない。また、オフセットクラス情報が出力されもする。
【０２５３】
現在最大符号化単位のオフセット併合情報が、隣接する最大符号化単位のオフセットパラメータを採用することを許容する場合には、現在最大符号化単位のオフセットタイプ及びオフセット値が出力されない。
【０２５４】
図１３は、本開示の一実施形態による、ツリー構造による符号化単位に基づいた映像復号装置１３００のブロック図を図示している。
【０２５５】
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴う映像復号装置１３００は、受信部１３１０、映像データ及び符号化情報抽出部１３２０及び映像データ復号化部１３３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴う映像復号装置１３００は、「映像復号装置１３００」と縮約して称する。
【０２５６】
一実施形態による映像復号装置１３００の復号動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、図１２の映像符号化装置１２００を参照して説明したところと同一である。
【０２５７】
受信部１３１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部１３２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部１３３０に出力する。映像データ及び符号化情報抽出部１３２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。
【０２５８】
また、映像データ及び符号化情報抽出部１３２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に対する符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部１３３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部１３３０が、最大符号化単位ごとに映像データを復号する。
【０２５９】
最大符号化単位別符号化深度及び符号化モードについての情報は、１以上の符号化深度情報についても設定され、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されもする。
【０２６０】
映像データ及び符号化情報抽出部１３２０が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態による映像符号化装置１２００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードについての情報である。従って、映像復号装置１３００は、最小符号化誤差を発生させる符号化方式によって、データを復号して映像を復元することができる。
【０２６１】
一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位について割り当てられているので、映像データ及び符号化情報抽出部１３２０は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているならば、同一符号化深度及び符号化モードについての情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位とも類推される。
【０２６２】
映像データ復号化部１３３０は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号し、現在ピクチャを復元する。すなわち、映像データ復号化部１３３０は、最大符号化単位に含まれる、ツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、判読されたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号することができる。復号過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。
【０２６３】
映像データ復号化部１３３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。
【０２６４】
また、映像データ復号化部１３３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を判読し、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。
【０２６５】
映像データ復号化部１３３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が、現在深度において、それ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部１３３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号することができる。
【０２６６】
すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部１３３０によって、同一符号化モードで復号する１つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号が行われる。
【０２６７】
また、図１３の映像復号装置１３００は、図３を参照して説明した映像復号装置３００の動作を遂行することができる。
【０２６８】
映像データ及び符号化情報抽出部１３２０と受信部１３１０は、図３の映像復号装置３００の抽出部３２０及びオフセット決定部３４０のうち少なくとも１つの動作を遂行することができる。映像データ復号化部１３３０は、映像復号装置３００のオフセット決定部３４０及びピクセル補償部３６０のうち少なくとも１つの動作を遂行することができる。
【０２６９】
映像データ及び符号化情報抽出部１３２０は、ビットストリームから、現在最大符号化単位のためのオフセットパラメータなしに、オフセット併合情報のみをパージングした場合、隣接オフセットパラメータのうち少なくとも一つを利用して、現在オフセットパラメータを復元することができる。例えば、映像データ及び符号化情報抽出部１３２０は、隣接オフセットパラメータのうち少なくとも一つと同一に、現在オフセットパラメータを復元することができる。オフセット併合情報に基づいて、隣接オフセットパラメータのうちいずれのパラメータを参照するかということが決定される。映像データ及び符号化情報抽出部１３２０は、ビットストリームからパージングされた現在最大符号化単位のためのオフセット併合情報に基づいて、隣接オフセットパラメータと現在オフセットパラメータとが異なると判断されるならば、ビットストリームから、現在最大符号化単位のための現在オフセットパラメータがパージングされて復元される。
【０２７０】
符号化情報抽出部１３２０は、ビットストリームから、オフセット絶対値及びスケールパラメータをパージングすることができる。また、符号化情報抽出部１３２０は、オフセット絶対値及びスケールパラメータに基づいて、オフセット値を決定することができる。例えば、符号化情報抽出部１３２０は、オフセット絶対値を、スケールパラメータほどシフト（shift）演算し、オフセット値を決定することができる。
【０２７１】
また、符号化情報抽出部１３２０は、ビットストリームから、符号、オフセット絶対値及びスケールパラメータをパージングすることができる。また、符号化情報抽出部１３２０は、符号、オフセット絶対値及びスケールパラメータに基づいて、オフセット値を決定することができる。
【０２７２】
映像データ及び符号化情報抽出部１３２０は、ビットストリームから、最大符号化単位ごとに、オフセットパラメータをパージングすることができる。該オフセットパラメータから、オフセットタイプ、カテゴリー別オフセット値及びオフセットクラスが決定される。現在最大符号化単位のオフセットタイプがオフタイプである場合、現在最大符号化単位に係わるオフセット調整動作は終了する。該オフセットタイプがエッジタイプである場合、復元ピクセルごとに、それぞれのエッジ方向を示すクラスと、エッジ形態を示すカテゴリーとに基づいて、受信されたオフセット値のうち現在オフセット値が選択される。該オフセットタイプがバンドタイプである場合、復元ピクセルごとにそれぞれのバンドを決定し、オフセット値のうち現在バンドに対応するオフセット値が選択される。
【０２７３】
映像データ復号化部１３３０は、復元ピクセルに対応するオフセット値ほど当該復元ピクセル値を調整することにより、原本ピクセルと誤差が最小化される復元ピクセルを生成することができる。最大符号化単位ごとにパージングされたオフセットパラメータに基づいて、最大符号化単位の復元ピクセルのオフセットが調整される。
【０２７４】
結局、映像復号装置１３００は、符号化過程において、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位と決定されたツリー構造による符号化単位の符号化された映像データの復号が可能になる。
【０２７５】
従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードについての情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号して復元することができる。
【０２７６】
図１４は、本開示の一実施形態による符号化単位の概念を図示している。
【０２７７】
符号化単位の例は、符号化単位の大きさが幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションにも分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションにも分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションにも分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションにも分割される。
【０２７８】
ビデオデータ１４１０については、解像度が１９２０ｘ１０８０に設定され、符号化単位の最大サイズが６４に設定され、最大深度が２に設定されている。ビデオデータ１４２０については、解像度が１９２０ｘ１０８０に設定され、符号化単位の最大サイズが６４に設定され、最大深度が３に設定されている。ビデオデータ１４３０については、解像度が３５２ｘ２８８に設定され、符号化単位の最大サイズが１６に設定され、最大深度が１に設定されている。図１４に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。
【０２７９】
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ１４３０に比べ、解像度が高いビデオデータ１４１０，１４２０は、符号化サイズの最大サイズが６４にも選択される。
【０２８０】
ビデオデータ１４１０の最大深度が２であるので、ビデオデータ１４１０の符号化単位１４１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ１４３０の最大深度が１であるので、ビデオデータ１４３０の符号化単位１４３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。
【０２８１】
ビデオデータ１４２０の最大深度が３であるので、ビデオデータ１４２０の符号化単位１４２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能が向上する。
【０２８２】
図１５は、本開示の一実施形態による、符号化単位に基づいた映像符号化部１５００のブロック図を図示している。
【０２８３】
一実施形態による映像符号化部１５００は、図１２の映像符号化装置１２００の符号化単位決定部１２２０において、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部１５１０は、現在フレーム１５０５において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部１５２０及び動き補償部１５２５は、インタモードの現在フレーム１５０５及び参照フレーム１５９５を利用して、インター推定及び動き補償を行う。
【０２８４】
イントラ予測部１５１０、動き推定部１５２０及び動き補償部１５２５から出力されたデータは、変換部１５３０及び量子化部１５４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部１５６０、逆変換部１５７０を介して空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部１５８０及びループフィルタリング部１５９０を経て後処理され、参照フレーム１５９５として出力される。量子化された変換係数は、エントロピー符号化部１５５０を経て、ビットストリーム１５５５としても出力される。
【０２８５】
一実施形態による図１２の映像符号化装置１２００に適用されるためには、映像符号化部１５００の構成要素である、イントラ予測部１５１０、動き推定部１５２０、動き補償部１５２５、変換部１５３０、量子化部１５４０、エントロピー符号化部１５５０、逆量子化部１５６０、逆変換部１５７０、デブロッキング部１５８０及びループフィルタリング部１５９０が、いずれも最大符号化単位ごとに、最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいた作業を遂行しなければならない。
【０２８６】
特に、イントラ予測部１５１０、動き推定部１５２０及び動き補償部１５２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを決定し、変換部１５３０は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の変換単位の大きさを決定しなければならない。
【０２８７】
映像符号化部１５００は、参照フレーム１５９５の最大符号化単位ごとに、エッジタイプ（中間値タイプ、平均値タイプまたはバンドタイプ）によってピクセルを分類し、エッジ方向（または、開始バンド位置）を決定し、カテゴリーごとに、属する復元ピクセルの平均誤差値を決定することができる。最大符号化単位ごとに、それぞれのオフセット併合情報、オフセットタイプ及びオフセット値が符号化され、シグナリングされる。
【０２８８】
図１６は、本開示の一実施形態による、符号化単位に基づいた映像復号化部１６００のブロック図を図示している。
【０２８９】
ビットストリーム１６０５がパージング部１６１０を経て、復号対象である符号化された映像データ及び復号のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピー復号化部１６２０及び逆量子化部１６３０を経て逆量子化されたデータとして出力され、逆変換部１６４０を経て、空間領域の映像データが復元される。
【０２９０】
空間領域の映像データに対して、イントラ予測部１６５０は、イントラモードの符号化単位に対して、イントラ予測を行い、動き補償部１６６０は、参照フレーム１６８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。
【０２９１】
イントラ予測部１６５０及び動き補償部１６６０を経た空間領域のデータは、デブロッキング部１６７０及びループフィルタリング部１６８０を経て後処理され、復元フレーム１６９５としても出力される。また、デブロッキング部１６７０及びループフィルタリング部１６８０を経て後処理されたデータは、参照フレーム１６８５としても出力される。
【０２９２】
図１３の映像復号装置１３００の映像データ復号化部１３３０で映像データを復号するために、一実施形態による映像復号化部１６００のパージング部１６１０以後の段階別作業が行われる。
【０２９３】
一実施形態による図１３の映像復号装置１３００に適用されるためには、映像復号化部１６００の構成要素である、パージング部１６１０、エントロピー復号化部１６２０、逆量子化部１６３０、逆変換部１６４０、イントラ予測部１６５０、動き補償部１６６０、デブロッキング部１６７０及びループフィルタリング部１６８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を遂行しなければならない。
【０２９４】
特に、イントラ予測部１６５０、動き補償部１６６０は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、逆変換部１６４０は、符号化単位ごとに、変換単位の大きさを決定しなければならない。
【０２９５】
映像復号化部１６００は、ビットストリームから、最大符号化単位のオフセットパラメータを抽出することができる。現在最大符号化単位のオフセットパラメータにおいてオフセット併合情報に基づいて、隣接する最大符号化単位のオフセットパラメータを利用して、現在オフセットパラメータを復元することができる。例えば、隣接する最大符号化単位のオフセットパラメータと同一に、現在オフセットパラメータを復元することができる。現在最大符号化単位のオフセットパラメータにおいてオフセットタイプ及びオフセット値を利用して、復元フレーム１６９５の最大符号化単位ごとに、復元ピクセルごとに、エッジタイプまたはバンドタイプによって、カテゴリーに対応するオフセット値ほど調整することができる。
【０２９６】
図１７は、本開示の一実施形態による、深度別符号化単位及びパーティションを図示している。
【０２９７】
一実施形態による映像符号化装置１２００、及び一実施形態による映像復号装置１３００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって、適応的にも決定され、ユーザの要求によって、多様にも設定される。あらかじめ設定された符号化単位の最大サイズにより、深度別符号化単位の大きさが決定される。
【０２９８】
一実施形態による符号化単位の階層構造１７００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。このとき、該最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による符号化単位の階層構造１７００の縦軸に沿って、深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造１７００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。
【０２９９】
すなわち、符号化単位１７１０は、符号化単位の階層構造１７００において、最大符号化単位として深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位１７２０、サイズ１６ｘ１６である深度２の符号化単位１７３０、サイズ８ｘ８である深度３の符号化単位１７４０が存在する。サイズ４ｘ４である深度３の符号化単位１７４０は、最小符号化単位である。
【０３００】
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位１７１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位１７１０に含まれるサイズ６４ｘ６４のパーティション１７１０、サイズ６４ｘ３２のパーティション１７１２、サイズ３２ｘ６４のパーティション１７１４、サイズ３２ｘ３２のパーティション１７１６にも分割される。
【０３０１】
同様に、深度１のサイズ３２ｘ３２の符号化単位１７２０の予測単位は、サイズ３２ｘ３２の符号化単位１７２０に含まれるサイズ３２ｘ３２のパーティション１７２０、サイズ３２ｘ１６のパーティション１７２２、サイズ１６ｘ３２のパーティション１７２４、サイズ１６ｘ１６のパーティション１７２６にも分割される。
【０３０２】
同様に、深度２のサイズ１６ｘ１６の符号化単位１７３０の予測単位は、サイズ１６ｘ１６の符号化単位１７３０に含まれるサイズ１６ｘ１６のパーティション１７３０、サイズ１６ｘ８のパーティション１７３２、サイズ８ｘ１６のパーティション１７３４）、サイズ８ｘ８のパーティション１７３６にも分割される。
【０３０３】
同様に、深度３のサイズ８ｘ８の符号化単位１７４０の予測単位は、サイズ８ｘ８の符号化単位１７４０に含まれるサイズ８ｘ８のパーティション１７４０、サイズ８ｘ４のパーティション１７４２、サイズ４ｘ８のパーティション１７４４、サイズ４ｘ４のパーティション１７４６）にも分割される。
【０３０４】
一実施形態による映像符号化装置１２００の符号化単位決定部１２２０は、最大符号化単位１７１０の符号化深度を決定するために、最大符号化単位１７１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。
【０３０５】
同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータに対して、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。
【０３０６】
それぞれの深度別符号化のためには、符号化単位の階層構造１７００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度において、最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造１７００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位１７１０において最小符号化誤差が発生する深度及びパーティションが、最大符号化単位１７１０の符号化深度及びパーティションタイプにも選択される。
【０３０７】
図１８は、本開示の一実施形態による、符号化単位及び変換単位の関係を図示している。
【０３０８】
一実施形態による映像符号化装置１２００、または一実施形態による映像復号装置１３００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じ大きさの符号化単位で映像を符号化したり復号したりする。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基にも選択される。
【０３０９】
例えば、一実施形態による映像符号化装置１２００、または一実施形態による映像復号装置１３００において、現在符号化単位１８１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位１８２０を利用して変換が行われる。
【０３１０】
また、６４ｘ６４サイズの符号化単位１８１０のデータに対して、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
【０３１１】
図１９は、本開示の一実施形態による深度別符号化情報を図示している。
【０３１２】
一実施形態による映像符号化装置１２００の出力部１２３０は、符号化モードについての情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報１９００、予測モードについての情報１９１０、変換単位サイズに係わる情報１９２０を符号化して伝送することができる。
【０３１３】
パーティションタイプに係わる情報１９００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションのタイプに係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション１９０２、サイズ２ＮｘＮのパーティション１９０４、サイズＮｘ２Ｎのパーティション１９０６、サイズＮｘＮのパーティション１９０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプについての情報１９００は、サイズ２Ｎｘ２Ｎのパーティション１９０２、サイズ２ＮｘＮのパーティション１９０４、サイズＮｘ２Ｎのパーティション１９０６及びサイズＮｘＮのパーティション１９０８のうち一つを示すように設定される。
【０３１４】
予測モードについての情報１９１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報１９１０を介して、パーティションタイプについての情報１９００が示すパーティションが、イントラモード１９１２、インターモード１９１４及びスキップモード１９１６のうち一つで予測符号化が行われるかということが設定される。
【０３１５】
また、変換単位サイズについての情報１９２０は、現在符号化単位を、いかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ１９２２、第２イントラ変換単位サイズ１９２４、第１インター変換単位サイズ１９２６、第２インター変換単位サイズ１９２８のうち一つでもある。
【０３１６】
一実施形態による映像復号装置１３００の映像データ及び符号化情報受信部１３１０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報１９００、予測モードについての情報１９１０、変換単位サイズに係わる情報１９２０を抽出して復号に利用することができる。
【０３１７】
図２０は、本開示の一実施形態による深度別符号化単位を図示している。
【０３１８】
深度の変化を示すために、分割情報が利用される。該分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるか否かということを示す。
【０３１９】
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位２０００の予測符号化のための予測単位２０１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ２０１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ２０１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ２０１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ２０１８を含んでもよい。予測単位が対称的な比率に分割されたパーティション２０１２，２０１４，２０１６，２０１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
【０３２０】
パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。
【０３２１】
サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ２０１２，２０１４，２０１６のうち一つによる符号化誤差が最小であるならは、それ以上下位深度に分割する必要ない。
【０３２２】
サイズＮ＿０ｘＮ＿０のパーティションタイプ２０１８による符号化誤差が最小であるならば、深度０を１に変更しながら分割し（２０２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位２０３０に対して反復的に符号化を行い、最小符号化誤差を検索していく。
【０３２３】
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位２０３０のうち１つの予測符号化のための予測単位２０４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ２０４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ２０４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ２０４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ２０４８を含んでもよい。
【０３２４】
また、サイズＮ＿１ｘＮ＿１のパーティションタイプ２０４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割し（２０５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位２０６０に対して反復的に符号化を行い、最小符号化誤差を検索していく。
【０３２５】
最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（２０７０）深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位２０８０の予測符号化のための予測単位２０９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ２０９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ２０９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ２０９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ２０９８を含んでもよい。
【０３２６】
パーティションタイプのうち１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を介する符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。
【０３２７】
サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ２０９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位２０００に係わる符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）と決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位２０８０について、分割情報が設定されない。
【０３２８】
データ単位２０９９は、現在最大符号化単位に係わる「最小単位」と称される。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。かような反復的符号化過程を介して、一実施形態による映像符号化装置１２００は、符号化単位２０００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードと設定される。
【０３２９】
かように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。
【０３３０】
一実施形態による映像復号装置１３００の映像データ及び符号化情報抽出部１３２０は、符号化単位２０００に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位２０１２の復号に利用することができる。一実施形態による映像復号装置１３００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度と把握し、当該深度に係わる符号化モードについての情報を利用して、復号に利用することができる。
【０３３１】
図２１、図２２及び図２３は、本開示の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。
【０３３２】
符号化単位２１１０は、最大符号化単位について、一実施形態による映像符号化装置１２００が決定した符号化深度別符号化単位である。予測単位２１６０は、符号化単位２１１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位２１７０は、それぞれの符号化深度別符号化単位の変換単位である。
【０３３３】
深度別符号化単位２１１０は、最大符号化単位の深度が０であるとすれば、符号化単位２１１２，２１５４は、深度が１であり、符号化単位２１１４，２１１６，２１１８，２１２８，２１５０，２１５２は、深度が２であり、符号化単位２１２０，２１２２，２１２４，２１２６，２１３０，２１３２，２１４８は、深度が３であり、符号化単位２１４０，２１４２，２１４４，２１４６は、深度が４である。
【０３３４】
予測単位２１６０のうち一部パーティション２１１４，２１１６，２１２２，２１３２，２１４８，２１５０，２１５２，２１５４は、符号化単位が分割された形態である。すなわち、パーティション２１１４，２１２２，２１５０，２１５４は、２ＮｘＮのパーティションタイプであり、パーティション２１１６，２１４８，２１５２は、Ｎｘ２Ｎのパーティションタイプであり、パーティション２１３２は、ＮｘＮのパーティションタイプである。深度別符号化単位２１１０の予測単位及びパーティションは、それぞれの符号化単位より小さか、それと同じである。
【０３３５】
変換単位２１７０のうち一部符号化単位２１５２の映像データについては、符号化単位に比べ、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位２１１４，２１１６，２１２２，２１３２，２１４８，２１５０，２１５２，２１５４は、予測単位２１６０において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態による映像符号化装置１２００、及び一実施形態に他の映像復号装置１３００は、同一符号化単位に対するイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。
【０３３６】
それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下の表１は、一実施形態による映像符号化装置１２００、及び一実施形態による映像復号装置１３００で設定することができる一例を示している。
【０３３７】
【表１】
2018522445.tif 000003
一実施形態による映像符号化装置１２００の出力部１２３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態による映像復号装置１３００の符号化情報抽出部１３２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
【０３３８】
分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。該分割情報により、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
【０３３９】
該予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。
【０３４０】
パーティションタイプ情報は、予測単位の高さまたは幅が、対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的の比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎとを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。
【０３４１】
該変換単位サイズは、イントラモードで２種類の大きさに設定され、インターモードで２種類の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮに設定され、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。
【０３４２】
一実施形態による、ツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を１以上含んでもよい。
【０３４３】
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
【０３４４】
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
【０３４５】
他の実施形態において、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内において、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照される。
【０３４６】
図２４は、表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示している。
【０３４７】
最大符号化単位２４００は、符号化深度の符号化単位２４０２，２４０４，２４０６，２４１２，２４１４，２４１６，２４１８を含む。そのうち１つの符号化単位２４１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位２４１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ  ２４２２，２ＮｘＮ  ２４２４，Ｎｘ２Ｎ  ２４２６，ＮｘＮ  ２４２８，２ＮｘｎＵ  ２４３２，２ＮｘｎＤ  ２４３４，ｎＬｘ２Ｎ  ２４３６及びｎＲｘ２Ｎ  ２４３８のうち一つに設定される。
【０３４８】
変換単位分割情報（ＴＵ  size  flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。
【０３４９】
例えば、パーティションタイプ情報が対称形パーティションタイプ２Ｎｘ２Ｎ  ２４２２，２ＮｘＮ  ２４２４，Ｎｘ２Ｎ  ２４２６及びＮｘＮ  ２４２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位２４４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位２４４４が設定される。
【０３５０】
パーティションタイプ情報が、非対称形パーティションタイプ２ＮｘｎＵ  ２４３２，２ＮｘｎＤ  ２４３４，ｎＬｘ２Ｎ  ２４３６及びｎＲｘ２Ｎ  ２４３８のうち一つに設定された場合、変換単位分割情報（ＴＵ  size  flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位２４５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位２４５４が設定される。
【０３５１】
図２４を参照して説明した変換単位分割情報（ＴＵ  size  flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が１ビットのフラグに限定されるものではなく、設定によっては、０、１、２、３、…などに増加して変換単位が階層的にも分割される。該変換単位分割情報は、変換インデックスの一実施形態としても利用される。
【０３５２】
その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態による映像符号化装置１２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳにも挿入される。一実施形態による映像復号装置１３００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、映像復号に利用することができる。
【０３５３】
例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは、１６ｘ１６に設定され、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは、８ｘ８にも設定される。
【０３５４】
他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。
【０３５５】
さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は０または１であり、他の変換単位分割情報が設定されることがない。
【０３５６】
従って、最大変換単位分割情報を「MaxTransformSizeIndex」と定義し、最小変換単位サイズを「MinTransformSize」と定義し、変換単位分割情報が０の場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式（２）のように定義される。
【０３５７】
CurrMinTuSize
＝ｍａｘ（MinTransformSize，RootTuSize／２＾MaxTransformSizeIndex）    （２）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式２によれば、「RootTuSize／２＾MaxTransformSizeIndex」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。
【０３５８】
一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによっても異なる。
【０３５９】
例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式（３）によって決定される。数式３において、「MaxTransformSize」は、最大変換単位サイズを示し、「ＰＵSize」は、現在予測単位サイズを示す。
【０３６０】
RootTuSize＝ｍｉｎ（MaxTransformSize，ＰＵSize）      （３）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。
【０３６１】
現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（４）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。
【０３６２】
RootTuSize＝ｍｉｎ（MaxTransformSize，PartitionSize）      （４）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。
【０３６３】
ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それらに限定されるものではないということに留意しなければならない。
【０３６４】
図１２ないし図２４を参照して説明したツリー構造の符号化単位に基づいた映像符号化技法により、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいた映像復号技法によって、最大符号化単位ごとに復号が行われながら、空間領域の映像データが復元され、ピクチャ、及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、あるいはネットワークを介して伝送される。
【０３６５】
また、ピクチャごとに、スライスごとに、最大符号化単位ごとに、ツリー構造による符号化単位ごとに、符号化単位の予測単位ごとに、または符号化単位の変換単位ごとに、オフセットパラメータがシグナリングされる。一例として、最大符号化単位ごとに受信されたオフセットパラメータに基づいて復元されたオフセット値を利用して、最大符号化単位の復元サンプル値を調整することにより、原本ブロックとの誤差が最小化される最大符号化単位が復元される。
【０３６６】
なお、前述の本開示の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータでも具現される。前記コンピュータで読取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only  memory）、フロッピーディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ（compact  disc  read  only  memory）、ＤＶＤ（digital  versatile  disc）など）のような記録媒体を含む。
【０３６７】
本明細書において、「〜部」のうち少なくとも一部は、ハードウェアによっても具現される。また、該ハードウェアは、プロセッサを含んでもよい。該プロセッサは、汎用単一または多重のチップマイクロプロセッサ（例えば、ＡＲＭ）、特殊目的マイクロプロセッサ（例えば、デジタル信号プロセッサ（ＤＳＰ））、マイクロ制御機、プログラム可能ゲートアレイ（array）などでもあるか。該プロセッサは、中央処理装置（ＣＰＵ）とも呼ばれる。「〜部」のうち少なくとも一部は、プロセッサの組み合わせ（例えば、ＡＲＭ及びＤＳＰ）が利用されもする。
【０３６８】
該ハードウェアは、メモリをさらに含んでもよい。該メモリは、電子情報を保存することができる任意の電子コンポーネントでもある。該メモリは、任意アクセスメモリ（ＲＡＭ）、判読専用メモリ（ＲＯＭ）、磁気ディスク記録媒体、光学記録媒体、ＲＡＭ内のフラッシュメモリデバイス、プロセッサに含まれたオンボード（on-board）メモリ、ＥＰＲＯＭ（electrically  programmable  read  only  memory）メモリ、ＥＥＰＲＯＭ（electrically  erasable  programmable  read-only  memory）メモリ、レジスタ、及びその他それらの組み合わせとしても具現される。
【０３６９】
データ及びプログラムは、メモリにも保存される。該プログラムは、本願に開示された方法を具現するように、プロセッサによっても実行される。該プログラムの実行は、メモリに保存されたデータの利用を含んでもよい。該プロセッサが命令を遂行するとき、命令の多様な部分が、プロセッサ上にロード（load）され、データの多様なフラグメントがプロセッサ上にもロードされる。
【０３７０】
以上、本開示について、その望ましい実施形態を中心に説明した。本開示が属する技術分野で当業者であるならば、本開示が、本開示の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本開示の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本開示に含まれたものであると解釈されなければならないのある。
【図１】
2018522445.tif 000004
【図２】
2018522445.tif 000005
【図３】
2018522445.tif 000006
【図４】
2018522445.tif 000007
【図５】
2018522445.tif 000008
【図６（ａ）】
2018522445.tif 000009
【図６（ｂ）】
2018522445.tif 000010
【図６（ｃ）】
2018522445.tif 000011
【図７】
2018522445.tif 000012
【図８（ａ）】
2018522445.tif 000013
【図８（ｂ）】
2018522445.tif 000014
【図８（ｃ）】
2018522445.tif 000015
【図８（ｄ）】
2018522445.tif 000016
【図８（ｅ）】
2018522445.tif 000017
【図８（ｆ）】
2018522445.tif 000018
【図８（ｇ）】
2018522445.tif 000019
【図８（ｈ）】
2018522445.tif 000020
【図８（ｉ）】
2018522445.tif 000021
【図８（ｊ）】
2018522445.tif 000022
【図９Ａ】
2018522445.tif 000023
【図９Ｂ】
2018522445.tif 000024
【図１０】
2018522445.tif 000025
【図１１】
2018522445.tif 000026
【図１２】
2018522445.tif 000027
【図１３】
2018522445.tif 000028
【図１４】
2018522445.tif 000029
【図１５】
2018522445.tif 000030
【図１６】
2018522445.tif 000031
【図１７】
2018522445.tif 000032
【図１８】
2018522445.tif 000033
【図１９】
2018522445.tif 000034
【図２０】
2018522445.tif 000035
【図２１】
2018522445.tif 000036
【図２２】
2018522445.tif 000037
【図２３】
2018522445.tif 000038
【図２４】
2018522445.tif 000039
【国際調査報告】
2018522445.tif 000040
2018522445.tif 000041
2018522445.tif 000042
2018522445.tif 000043