(57)【要約】  原本映像との誤差が最小化される復元映像を生成するための映像符号化方法及びその装置、映像復号方法及びその装置に係り、映像を復号する方法は、現在ブロックに含まれた復元ピクセルを補正するためのエッジ補正パラメータを、ビットストリームからパージングする段階と、パージングされたエッジ補正パラメータに含まれた第１臨界値により、復元ピクセルが、エッジ領域に含まれるか否かということを決定する段階と、復元ピクセルがエッジ領域に含まれる場合、エッジ補正パラメータに含まれた第２臨界値により、復元ピクセルの補正いかんを決定する段階と、復元ピクセルが補正対象である場合、エッジ補正パラメータに含まれた第３臨界値により、復元ピクセルのサンプル値を補償する段階と、を含む。
2018522442.tif 000002
【特許請求の範囲】
【請求項１】
現在ブロックに含まれた復元ピクセルを補正するためのエッジ補正パラメータを、ビットストリームからパージングする段階と、
前記パージングされたエッジ補正パラメータに含まれた第１臨界値により、前記復元ピクセルが、エッジ領域に含まれるか否かということを決定する段階と、
前記復元ピクセルがエッジ領域に含まれる場合、前記エッジ補正パラメータに含まれた第２臨界値により、前記復元ピクセルの補正いかんを決定する段階と、
前記復元ピクセルが補正対象である場合、前記エッジ補正パラメータに含まれた第３臨界値により、前記復元ピクセルのサンプル値を補償する段階と、を含む映像復号方法。
【請求項２】
前記第１臨界値、前記第２臨界値及び前記第３臨界値のうち少なくとも二つは、同一値であることを特徴とする請求項１に記載の映像復号方法。
【請求項３】
前記エッジ補正パラメータを、ビットストリームからパージングする段階は、
前記ビットストリームのスライスセグメントヘッダから、前記エッジ補正パラメータをパージングする段階を含むことを特徴とする請求項１に記載の映像復号方法。
【請求項４】
前記現在ブロックのエッジ補正いかんを示すエッジ補正フラグをパージングする段階と、
前記パージングされたエッジ補正フラグ値に基づいて、前記現在ブロックのエッジ補正効果のタイプを示す効果タイプフラグをパージングする段階と、をさらに含むことを特徴とする請求項１に記載の映像復号方法。
【請求項５】
前記現在ブロックのエッジ補正効果のタイプを示す効果タイプフラグをパージングする段階をさらに含み、
前記エッジ補正パラメータに含まれた第３臨界値により、前記復元ピクセルのサンプル値を補償する段階は、
前記パージングされた効果タイプフラグ値に係わる前記第３臨界値により、前記復元ピクセルのサンプル値を補償する段階を含むことを特徴とする請求項１に記載の映像復号方法。
【請求項６】
前記効果タイプフラグ値が前記現在ブロックに、緩慢な効果の適用を示す場合、
前記復元ピクセルのサンプル値は、前記復元ピクセルと、前記復元ピクセルの隣接ピクセルとの差分値が低減するように補償されることを特徴とする請求項５に記載の映像復号方法。
【請求項７】
前記効果タイプフラグ値が前記現在ブロックに、鮮明な効果の適用を示す場合、
前記復元ピクセルのサンプル値は、前記復元ピクセルと、前記復元ピクセルの隣接ピクセルとの差分値が増大するように補償されることを特徴とする請求項５に記載の映像復号方法。
【請求項８】
前記エッジ補正パラメータに含まれた第１臨界値により、前記復元ピクセルが、エッジ領域に含まれるか否かということを決定する段階は、
前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルのサンプル値との差分値が前記第１臨界値以上である場合、前記復元ピクセルがエッジ領域に含まれると決定する段階を含むことを特徴とする請求項１に記載の映像復号方法。
【請求項９】
前記エッジ補正パラメータに含まれた第２臨界値により、前記復元ピクセルの補正いかんを決定する段階は、
前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルの平均値との差分値が前記第２臨界値以上である場合、前記復元ピクセルを補正対象ピクセルと決定する段階を含むことを特徴とする請求項１に記載の映像復号方法。
【請求項１０】
前記エッジ補正パラメータに含まれた第３臨界値により、前記復元ピクセルのサンプル値を補償する段階は、
前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルの平均値との差分値が前記第３臨界値以上である場合、前記復元ピクセルのサンプル値を増減させる段階を含むことを特徴とする請求項１に記載の映像復号方法。
【請求項１１】
前記エッジ補正パラメータは、ルマ成分に係わるパラメータ、及びクロマ成分に対するパラメータのうち少なくとも一つを含むことを特徴とする請求項１に記載の映像復号方法。
【請求項１２】
現在ブロックに含まれた復元ピクセルを補正するためのエッジ補正パラメータを、ビットストリームからパージングするパラメータ抽出部と、
前記エッジ補正パラメータに含まれた第１臨界値により、前記復元ピクセルが、エッジ領域に含まれるか否かということを決定し、前記復元ピクセルがエッジ領域に含まれる場合、前記エッジ補正パラメータに含まれた第２臨界値により、前記復元ピクセルの補正いかんを決定し、前記復元ピクセルが補正対象である場合、前記エッジ補正パラメータに含まれた第３臨界値により、前記復元ピクセルのサンプル値を補償するエッジ補正部と、を含む映像復号装置。
【請求項１３】
前記第１臨界値、前記第２臨界値及び前記第３臨界値のうち少なくとも二つは、同一値であることを特徴とする請求項１２に記載の映像復号装置。
【請求項１４】
前記パラメータ抽出部は、
前記現在ブロックのエッジ補正いかんを示すエッジ補正フラグをパージングし、前記パージングされたエッジ補正フラグ値に基づいて、前記現在ブロックのエッジ補正効果のタイプを示す効果タイプフラグをパージングすることを特徴とする請求項１２に記載の映像復号装置。
【請求項１５】
前記パラメータ抽出部は、
前記現在ブロックのエッジ補正効果のタイプを示す効果タイプフラグをパージングし、
前記パージングされた効果タイプフラグ値に係わる前記エッジ補正パラメータに含まれた前記第３臨界値により、前記復元ピクセルのサンプル値をパージングすることを特徴とする請求項１２に記載の映像復号装置。
【請求項１６】
前記エッジ補正部は、
前記エッジ補正パラメータに含まれた第１臨界値により、前記復元ピクセルが、エッジ領域に含まれるか否かということを決定する場合、
前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルのサンプル値との差分値が前記第１臨界値以上である場合、前記復元ピクセルがエッジ領域に含まれると決定することを特徴とする請求項１２に記載の映像復号装置。
【請求項１７】
前記エッジ補正部は、
前記エッジ補正パラメータに含まれた第２臨界値により、前記復元ピクセルの補正いかんを決定する場合、
前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルの平均値との差分値が前記第２臨界値以上である場合、前記復元ピクセルを補正対象ピクセルと決定することを特徴とする請求項１２に記載の映像復号装置。
【請求項１８】
前記エッジ補正パラメータに含まれた第３臨界値により、前記復元ピクセルのサンプル値を補償する場合、
前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルの平均値との差分値が前記第３臨界値以上である場合、前記復元ピクセルのサンプル値を増減させることを特徴とする請求項１２に記載の映像復号装置。
【請求項１９】
現在ブロックに含まれた復元ピクセルを補正するためのエッジ補正パラメータを決定する段階と、
前記決定されたエッジ補正パラメータに含まれた第１臨界値により、前記復元ピクセルが、エッジ領域に含まれるか否かということを決定する段階と、
前記復元ピクセルがエッジ領域に含まれる場合、前記エッジ補正パラメータに含まれた第２臨界値により、前記復元ピクセルの補正いかんを決定する段階と、
前記復元ピクセルが補正対象である場合、前記エッジ補正パラメータに含まれた第３臨界値により、前記復元ピクセルのサンプル値を補償する段階と、を含む映像符号化方法。
【請求項２０】
前記第１臨界値、前記第２臨界値及び前記第３臨界値のうち少なくとも二つは、同一値であることを特徴とする請求項１９に記載の映像符号化方法。
【請求項２１】
前記現在ブロックのエッジ補正効果のタイプを示す効果タイプフラグを決定する段階をさらに含み、
前記決定された効果タイプフラグ値に係わる前記エッジ補正パラメータに含まれた前記第３臨界値により、前記復元ピクセルのサンプル値を補償する段階を含むことを特徴とする請求項１９に記載の映像符号化方法。
【請求項２２】
前記エッジ補正パラメータに含まれた第１臨界値により、前記復元ピクセルが、エッジ領域に含まれるか否かということを決定する段階は、
前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルのサンプル値との差分値が前記第１臨界値以上である場合、前記復元ピクセルがエッジ領域に含まれると決定する段階を含むことを特徴とする請求項１９に記載の映像符号化方法。
【請求項２３】
前記エッジ補正パラメータに含まれた第２臨界値により、前記復元ピクセルの補正いかんを決定する段階は、
前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルの平均値との差分値が前記第２臨界値以上である場合、前記復元ピクセルを補正対象ピクセルと決定する段階を含むことを特徴とする請求項１９に記載の映像符号化方法。
【請求項２４】
前記エッジ補正パラメータに含まれた第３臨界値により、前記復元ピクセルのサンプル値を補償する段階は、
前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルの平均値との差分値が前記第３臨界値以上である場合、前記復元ピクセルのサンプル値を増減させる段階を含むことを特徴とする請求項１９に記載の映像符号化方法。
【請求項２５】
現在ブロックに含まれた復元ピクセルを補正するためのエッジ補正パラメータを決定するパラメータ決定部と、
前記決定されたエッジ補正パラメータに含まれた第１臨界値に基づいて、前記復元ピクセルが、エッジ領域に含まれるか否かということを決定し、前記復元ピクセルがエッジ領域に含まれる場合、前記エッジ補正パラメータに含まれた第２臨界値に基づいて、前記復元ピクセルの補正いかんを決定し、前記復元ピクセルが補正対象である場合、前記エッジ補正パラメータに含まれた第３臨界値に基づいて、前記復元ピクセルのサンプル値を補償するエッジ補正部と、を含む映像符号化装置。
【請求項２６】
前記第１臨界値、前記第２臨界値及び前記第３臨界値のうち少なくとも二つは、同一値であることを特徴とする請求項２５に記載の映像符号化装置。
【請求項２７】
前記エッジ補正部は、
前記エッジ補正パラメータに含まれた第１臨界値により、前記復元ピクセルが、エッジ領域に含まれるか否かということを決定する場合、
前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルのサンプル値との差分値が前記第１臨界値以上である場合、前記復元ピクセルがエッジ領域に含まれると決定することを特徴とする請求項２５に記載の映像符号化装置。
【請求項２８】
前記エッジ補正部は、
前記エッジ補正パラメータに含まれた第２臨界値により、前記復元ピクセルの補正いかんを決定する場合、
前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルの平均値との差分値が前記第２臨界値以上である場合、前記復元ピクセルを補正対象ピクセルと決定する段階を含むことを特徴とする請求項２５に記載の映像符号化装置。
【請求項２９】
前記エッジ補正部は、
前記エッジ補正パラメータに含まれた第３臨界値により、前記復元ピクセルのサンプル値を補償する場合、
前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルの平均値との差分値が前記第３臨界値以上である場合、前記復元ピクセルのサンプル値を増減させる段階を含むことを特徴とする請求項２５に記載の映像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、映像の符号化及び復号に関する。
【背景技術】
【０００２】
高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及により、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号したりするビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのブロックに基づいて、制限された符号化方式によって符号化されている。
【０００３】
周波数変換を利用して、空間領域の映像データは、周波数領域の係数に変換される。ビデオコーデックは、周波数変換の迅速な演算のために、映像を所定サイズのブロックに分割し、ブロックごとにＤＣＴ（discrete  cosine  transformation）変換を行い、ブロック単位の周波数係数を符号化する。空間領域の映像データに比べ、周波数領域の係数が、圧縮しやすい形態を有する。特に、ビデオコーデックのインター予測またはイントラ予測を介して、空間領域の映像画素値は、予測誤差によって表現されるので、該予測誤差に対して、周波数変換が行われれば、多くのデータが０に変換されてしまう。ビデオコーデックは、連続的に反復して発生するデータを小サイズのデータに置き換えることにより、データ量を節減している。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、高いビット深度及び高いビットレートで、原本映像との誤差が最小化される復元映像を生成するための映像符号化方法及びその装置、映像復号方法及びその装置を提案する。
【課題を解決するための手段】
【０００５】
本開示の実施形態による、映像を復号する方法は、現在ブロックに含まれた復元ピクセルを補正するためのエッジ補正パラメータをビットストリームからパージングする段階と、前記パージングされたエッジ補正パラメータに含まれた第１臨界値により、前記復元ピクセルが、エッジ領域に含まれるか否かということを決定する段階と、前記復元ピクセルがエッジ領域に含まれる場合、前記エッジ補正パラメータに含まれた第２臨界値により、前記復元ピクセルの補正いかんを決定する段階と、前記復元ピクセルが補正対象である場合、前記エッジ補正パラメータに含まれた第３臨界値により、前記復元ピクセルのサンプル値を補償する段階と、を含む映像復号方法である。
【０００６】
前記映像復号方法において、前記第１臨界値、前記第２臨界値及び前記第３臨界値のうち少なくとも二つは、同一値であることを特徴とする。
【０００７】
ここで、前記エッジ補正パラメータを、ビットストリームからパージングする段階は、前記ビットストリームのスライスセグメントヘッダから、前記エッジ補正パラメータをパージングする段階を含む。
【０００８】
前記映像復号方法において、前記現在ブロックのエッジ補正いかんを示すエッジ補正フラグをパージングする段階と、前記パージングされたエッジ補正フラグ値に基づいて、前記現在ブロックのエッジ補正効果のタイプを示す効果タイプフラグをパージングする段階と、をさらに含む。
【０００９】
前記映像復号方法において、前記現在ブロックのエッジ補正効果のタイプを示す効果タイプフラグをパージングする段階をさらに含み、前記エッジ補正パラメータに含まれた第３臨界値により、前記復元ピクセルのサンプル値を補償する段階は、前記パージングされた効果タイプフラグ値に係わる前記第３臨界値により、前記復元ピクセルのサンプル値を補償する段階を含む。
【００１０】
前記映像復号方法において、前記効果タイプフラグ値が前記現在ブロックに、緩慢な効果の適用を示す場合、前記復元ピクセルのサンプル値は、前記復元ピクセルと、前記復元ピクセルの隣接ピクセルとの差分値が低減するように補償されることを特徴とする。
【００１１】
前記映像復号方法において、前記効果タイプフラグ値が前記現在ブロックに、鮮明な効果の適用を示す場合、前記復元ピクセルのサンプル値は、前記復元ピクセルと、前記復元ピクセルの隣接ピクセルとの差分値が増大するように補償されることを特徴とする。
【００１２】
前記映像復号方法において、前記エッジ補正パラメータに含まれた第１臨界値により、前記復元ピクセルが、エッジ領域に含まれるか否かということを決定する段階は、前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルのサンプル値との差分値が前記第１臨界値以上である場合、前記復元ピクセルがエッジ領域に含まれると決定する段階を含む。
【００１３】
前記映像復号方法において、前記エッジ補正パラメータに含まれた第２臨界値により、前記復元ピクセルの補正いかんを決定する段階は、前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルの平均値との差分値が前記第２臨界値以上である場合、前記復元ピクセルを補正対象ピクセルと決定する段階を含む。
【００１４】
前記映像復号方法において、前記エッジ補正パラメータに含まれた第３臨界値により、前記復元ピクセルのサンプル値を補償する段階は、前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルの平均値との差分値が前記第３臨界値以上である場合、前記復元ピクセルのサンプル値を増減させる段階を含む。
【００１５】
前記映像復号方法において、前記エッジ補正パラメータは、ルマ成分に係わるパラメータ、及びクロマ成分に対するパラメータのうち少なくとも一つを含むことを特徴とする。
【００１６】
本開示の実施形態による、映像を復号する装置は、現在ブロックに含まれた復元ピクセルを補正するためのエッジ補正パラメータをビットストリームからパージングするパラメータ抽出部と、前記エッジ補正パラメータに含まれた第１臨界値により、前記復元ピクセルが、エッジ領域に含まれるか否かということを決定し、前記復元ピクセルがエッジ領域に含まれる場合、前記エッジ補正パラメータに含まれた第２臨界値により、前記復元ピクセルの補正いかんを決定し、前記復元ピクセルが補正対象である場合、前記エッジ補正パラメータに含まれた第３臨界値により、前記復元ピクセルのサンプル値を補償するエッジ補正部と、を含む映像復号装置である。
【００１７】
前記映像復号装置において、前記第１臨界値、前記第２臨界値及び前記第３臨界値のうち少なくとも二つは、同一値である。
【００１８】
前記映像復号装置において、前記パラメータ抽出部は、前記現在ブロックのエッジ補正いかんを示すエッジ補正フラグをパージングし、前記パージングされたエッジ補正フラグ値に基づいて、前記現在ブロックのエッジ補正効果のタイプを示す効果タイプフラグをパージングすることを特徴とする。
【００１９】
前記映像復号装置において、前記パラメータ抽出部は、前記現在ブロックのエッジ補正効果のタイプを示す効果タイプフラグをパージングし、前記パージングされた効果タイプフラグ値に係わる前記エッジ補正パラメータに含まれた前記第３臨界値により、前記復元ピクセルのサンプル値をパージングすることを特徴とする。
【００２０】
前記映像復号装置において、前記エッジ補正部は、前記エッジ補正パラメータに含まれた第１臨界値により、前記復元ピクセルが、エッジ領域に含まれるか否かということを決定する場合、前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルのサンプル値との差分値が前記第１臨界値以上である場合、前記復元ピクセルがエッジ領域に含まれると決定することを特徴とする。
【００２１】
前記映像復号装置において、前記エッジ補正部は、前記エッジ補正パラメータに含まれた第２臨界値により、前記復元ピクセルの補正いかんを決定する場合、前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルの平均値との差分値が前記第２臨界値以上である場合、前記復元ピクセルを補正対象ピクセルと決定することを特徴とする。
【００２２】
前記映像復号装置において、前記エッジ補正パラメータに含まれた第３臨界値により、前記復元ピクセルのサンプル値を補償する場合、前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルの平均値との差分値が前記第３臨界値以上である場合、前記復元ピクセルのサンプル値を増減させることを特徴とする。
【００２３】
本開示の実施形態による、映像を符号化する方法は、現在ブロックに含まれた復元ピクセルを補正するためのエッジ補正パラメータを決定する段階と、前記決定されたエッジ補正パラメータに含まれた第１臨界値により、前記復元ピクセルが、エッジ領域に含まれるか否かということを決定する段階と、前記復元ピクセルがエッジ領域に含まれる場合、前記エッジ補正パラメータに含まれた第２臨界値により、前記復元ピクセルの補正いかんを決定する段階と、前記復元ピクセルが補正対象である場合、前記エッジ補正パラメータに含まれた第３臨界値により、前記復元ピクセルのサンプル値を補償する段階と、を含む映像符号化方法である。
【００２４】
前記映像符号化方法において、前記第１臨界値、前記第２臨界値及び前記第３臨界値のうち少なくとも二つは、同一値であることを特徴とする。
【００２５】
前記映像符号化方法において、前記現在ブロックのエッジ補正効果のタイプを示す効果タイプフラグを決定する段階をさらに含み、前記決定された効果タイプフラグ値に係わる前記エッジ補正パラメータに含まれた前記第３臨界値により、前記復元ピクセルのサンプル値を補償する段階を含む。
【００２６】
前記映像符号化方法において、前記エッジ補正パラメータに含まれた第１臨界値により、前記復元ピクセルが、エッジ領域に含まれるか否かということを決定する段階は、前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルのサンプル値との差分値が前記第１臨界値以上である場合、前記復元ピクセルがエッジ領域に含まれると決定する段階を含む。
【００２７】
前記映像符号化方法において、前記エッジ補正パラメータに含まれた第２臨界値により、前記復元ピクセルの補正いかんを決定する段階は、前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルの平均値との差分値が前記第２臨界値以上である場合、前記復元ピクセルを補正対象ピクセルと決定する段階を含む。
【００２８】
前記映像符号化方法において、前記エッジ補正パラメータに含まれた第３臨界値により、前記復元ピクセルのサンプル値を補償する段階は、前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルの平均値との差分値が前記第３臨界値以上である場合、前記復元ピクセルのサンプル値を増減させる段階を含む。
【００２９】
本開示の実施形態による、映像を符号化する装置は、現在ブロックに含まれた復元ピクセルを補正するためのエッジ補正パラメータを決定するパラメータ決定部と、前記決定されたエッジ補正パラメータに含まれた第１臨界値に基づいて、前記復元ピクセルが、エッジ領域に含まれるか否かということを決定し、前記復元ピクセルがエッジ領域に含まれる場合、前記エッジ補正パラメータに含まれた第２臨界値に基づいて、前記復元ピクセルの補正いかんを決定し、前記復元ピクセルが補正対象である場合、前記エッジ補正パラメータに含まれた第３臨界値に基づいて、前記復元ピクセルのサンプル値を補償するエッジ補正部と、を含む映像符号化装置である。
【００３０】
前記映像符号化装置において、前記第１臨界値、前記第２臨界値及び前記第３臨界値のうち少なくとも二つは、同一値であることを特徴とする。
【００３１】
前記映像符号化装置において、前記エッジ補正部は、前記エッジ補正パラメータに含まれた第１臨界値により、前記復元ピクセルが、エッジ領域に含まれるか否かということを決定する場合、前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルのサンプル値との差分値が前記第１臨界値以上である場合、前記復元ピクセルがエッジ領域に含まれると決定することを特徴とする。
【００３２】
前記映像符号化装置において、前記エッジ補正部は、前記エッジ補正パラメータに含まれた第２臨界値により、前記復元ピクセルの補正いかんを決定する場合、前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルの平均値との差分値が前記第２臨界値以上である場合、前記復元ピクセルを補正対象ピクセルと決定する段階を含む。
【００３３】
前記映像符号化装置において、前記エッジ補正部は、前記エッジ補正パラメータに含まれた第３臨界値により、前記復元ピクセルのサンプル値を補償する場合、前記復元ピクセルのサンプル値と、前記復元ピクセルに隣接する少なくとも１つの隣接ピクセルの平均値との差分値が前記第３臨界値以上である場合、前記復元ピクセルのサンプル値を増減させる段階を含む。
【００３４】
本開示の実施形態による、映像を復号する方法を具現するためのプログラムは、コンピュータで読み取り可能な記録媒体にも記録される。
【図面の簡単な説明】
【００３５】
【図１】一実施形態による映像符号化装置のブロック図である。
【図２】一実施形態による映像符号化方法のフローチャートである。
【図３】一実施形態による映像復号装置のブロック図である。
【図４】一実施形態による映像復号方法のフローチャートである。
【図５】他の実施形態による映像復号装置のブロック図である。
【図６Ａ】一実施形態による、現在ブロックに含まれた復元ピクセルの補正過程を図示する図面である。
【図６Ｂ】一実施形態による、現在ブロックに含まれた復元ピクセルの補正過程を図示する図面である。
【図６Ｃ】一実施形態による、現在ブロックに含まれた復元ピクセルの補正過程を図示する図面である。
【図７】本開示の一実施形態による、復元ピクセルを補正する過程を概念的に図示する図面である。
【図８】本開示の一実施形態による、ツリー構造による符号化単位に基づいた映像符号化装置のブロック図である。
【図９】本開示の一実施形態による、ツリー構造による符号化単位に基づいた映像復号装置のブロック図である。
【図１０】本開示の一実施形態による符号化単位の概念を図示する図面である。
【図１１】本開示の一実施形態による、符号化単位に基づいた映像符号化部のブロック図である。
【図１２】本開示の一実施形態による、符号化単位に基づいた映像復号部のブロック図である。
【図１３】本開示の一実施形態による、深度別符号化単位及びパーティションを図示する図面である。
【図１４】本開示の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。
【図１５】本開示の一実施形態により、深度別符号化情報を図示する図面である。
【図１６】本開示の一実施形態による深度別符号化単位を図示する図面である。
【図１７】本開示の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図１８】本開示の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図１９】本開示の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する。
【図２０】表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【発明を実施するための形態】
【００３６】
以下、図１ないし図７を参照し、一実施形態による、映像のエッジ領域の誤差を補正する、映像符号化技法及び映像復号技法を開示する。また、図１ないし図２０を参照し、一実施形態によるツリー構造の符号化単位に基づいた、映像符号化技法及び映像復号技法において、映像のエッジ領域の誤差を補正する実施形態を開示する。以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそのものを示すことができる。
【００３７】
まず、図１ないし図７を参照し、一実施形態による、映像のエッジ領域の誤差を補正する映像符号化技法及び映像復号技法を開示する。
【００３８】
図１は、一実施形態による映像符号化装置１０のブロック図を図示している。
【００３９】
一実施形態による映像符号化装置１０は、パラメータ決定部１２、エッジ補正部１４を含む。
【００４０】
一実施形態による映像符号化装置１０は、ビデオの映像を入力され、それぞれの映像をブロックに区画してブロック別に符号化する。該ブロックのタイプは、正方形または長方形でもあり、任意の幾何学的形態でもある。一定サイズのデータ単位に制限されるものではない。一実施形態によるブロックは、ツリー構造による符号化単位でもある。例えば、ツリー構造による符号化単位は、最大符号化単位（ＬＣＵ：largest  coding  unit）、符号化単位（ＣＵ：coding  unit））を含んでもよい。ツリー構造による符号化単位に基づいたビデオ符号化／復号方式は、図８ないし２０を参照して後述する。
【００４１】
一実施形態による映像符号化装置１０は、ビデオの映像を入力され、それぞれの映像を最大符号化単位に区画し、最大符号化単位ごとに、サンプルに対して、予測、変換、エントロピー符号化を行って生成された結果データを、ビットストリームのタイプに出力することができる。最大符号化単位のサンプルは、最大符号化単位に含まれたピクセルのサンプル値データでもある。
【００４２】
一実施形態による映像符号化装置１０は、ツリー構造のブロックに基づいて、映像を符号化することができる。また、映像符号化装置１０は、ツリー構造のブロックに含まれた映像の最大符号化単位ごとに、符号化を個別的に行うことができる。一実施形態による映像符号化装置１０は、現在最大符号化単位から分割されたツリー構造の符号化単位を基に、現在最大符号化単位を符号化することができる。
【００４３】
一実施形態による映像符号化装置１０は、現在最大符号化単位の符号化のために、現在符号化単位に含まれたツリー構造の符号化単位ごとに、イントラ予測、インター予測、変換、量子化を行い、サンプルを符号化することができる。
【００４４】
一実施形態による映像符号化装置１０は、符号化されたサンプルに対して、さらにツリー構造のブロックごとに、逆量子化、逆変換、インター予測またはイントラ予測を介して復号し、現在ブロックに含まれたサンプルを復元することができる。
【００４５】
その場合、原本映像のエッジ領域と、さらに復号された後の復元映像のエッジ領域との間に誤差が発生しうる。
【００４６】
パラメータ決定部１２は、エッジ領域において、復元ピクセルと原本ピクセルとの誤差を最小化するために、フレーム単位別、スライス単位別またはブロック単位別に、エッジ補正いかんを示すエッジ補正フラグ、エッジ補正効果のタイプを示す効果タイプフラグ、及び現在ブロックに含まれた復元されたピクセルの補正のためのエッジ補正パラメータを決定することができる。
【００４７】
パラメータ決定部１２は、ＲＤＯ（rate  distortion  optimization）プロセッシングを介して、スライス別にエッジ補正パラメータを決定し、ブロック別にエッジ補正フラグ及び効果タイプフラグを決定することができる。詳細には、パラメータ決定部１２は、復元映像に、エッジ補正フラグ、効果タイプフラグ及びエッジ補正パラメータを適用し、原本映像と復元映像との歪曲（distortion）程度、及びレジデュアルデータの大きさに基づいたコストを計算することができる。例えば、パラメータ決定部１２は、エッジ補正フラグ、効果タイプフラグ及びエッジ補正パラメータそれぞれに対して多様な値を適用し、コストが最小化される値を決定することができる。
【００４８】
一実施形態によれば、パラメータ決定部１２は、ブロック別に、エッジ補正フラグ、効果タイプフラグ及びエッジ補正パラメータを決定することもできる。
【００４９】
一実施形態によれば、エッジ補正パラメータは、ルマ成分（luma  component）別及びクロマ成分（chroma  compnent）別にそれぞれ決定される。
【００５０】
一実施形態によれば、エッジ補正パラメータは効果タイプフラグ別にそれぞれ決定される。例えば、パラメータ決定部１２は、ブロック別に、緩慢な（smoothing）効果または鮮明な（sharpening）効果のうち１つのエッジ補正効果のタイプを決定することができる。その場合、効果タイプフラグ値が０である場合、パラメータ決定部１２は、緩慢な効果を適用するためのエッジ補正パラメータを決定することができる。一方、効果タイプフラグ値が１である場合、パラメータ決定部１２は、鮮明な効果を適用するためのエッジ補正パラメータを決定することができる。
【００５１】
エッジ補正部１４は、決定されたエッジ補正パラメータ値に基づいて、現在ブロックに含まれた復元ピクセルを補正することができる。エッジ補正部１４は、効果タイプフラグ値によるエッジ補正パラメータ値に基づいて、現在ブロックに含まれた復元ピクセルを補正することができる。例えば、現在ブロックに緩慢な効果が適用される場合、エッジ補正部１４は、緩慢な効果を適用するためのエッジ補正パラメータ値に値に基づいて、現在ブロックに含まれた復元ピクセルを補正することができる。一方、現在ブロックに、鮮明な効果が適用される場合、エッジ補正部１４は、鮮明な効果を適用するためのエッジ補正パラメータ値に値に基づいて、現在ブロックに含まれた復元ピクセルを補正することができる。
【００５２】
一実施形態によれば、エッジ補正部１４は、復元ピクセルが、エッジ領域に含まれるか否かということを決定することができる。エッジ補正部１４は、エッジ補正パラメータに含まれた第１臨界値により、復元ピクセルが、エッジ領域に含まれるか否かということを決定することができる。該復元ピクセルがエッジ領域に含まれる場合、エッジ補正部１４は、エッジ補正パラメータに含まれた第２臨界値により、復元ピクセルの補正いかんを決定することができる。また、該復元ピクセルが補正対象である場合、エッジ補正部１４は、エッジ補正パラメータに含まれた第３臨界値により、復元ピクセルのサンプル値を補償することができる。その場合、第１臨界値、第２臨界値及び第３臨界値のうち少なくとも二つは、同一値でもある。
【００５３】
映像符号化装置１０は、エッジ補正フラグ、効果タイプフラグ及びエッジ補正パラメータを符号化し、符号化されたビットストリームを映像復号装置３０に伝送することができる。その場合、効果タイプフラグ値それぞれによる複数のエッジ補正パラメータが符号化され、映像復号装置３０にも伝送される。
【００５４】
一実施形態によれば、映像符号化装置１０は、エッジ補正フラグ及び効果タイプフラグを符号化し、ビットストリームのブロックセグメントヘッダを介して、映像復号装置３０に伝送することができる。また、映像符号化装置１０は、エッジ補正パラメータを符号化し、ビットストリームのスライスセグメントヘッダを介して、映像復号装置３０に伝送することができる。
【００５５】
一実施形態によれば、映像符号化装置１０は、エッジ補正部１４を利用して補償された復元映像と原本映像とのレジデュアル値を符号化し、符号化されたレジデュアル値を含むビットストリームを、映像復号装置３０に伝送することができる。
【００５６】
一実施形態によれば、映像符号化装置１０は、クロマ成分に係わるエッジ補正フラグ及び効果タイプフラグは、映像復号装置３０に伝送しない。その場合、映像復号装置３０は、ルマ成分に係わるエッジ補正フラグ値及び効果タイプフラグ値を利用して、クロマ成分に係わるエッジ補正フラグ値及び効果タイプフラグ値を決定することができる。
【００５７】
一実施形態による映像符号化装置１０は、パラメータ決定部１２及びエッジ補正部１４を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、パラメータ決定部１２及びエッジ補正部１４が、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、映像符号化装置１０が全体的に作動することもできる。または、一実施形態による映像符号化装置１０の外部プロセッサ（図示せず）の制御により、パラメータ決定部１２及びエッジ補正部１４が制御される。
【００５８】
一実施形態による映像符号化装置１０は、パラメータ決定部１２及びエッジ補正部１４の入出力データが保存される１以上のデータ保存部（図示せず）を含んでもよい。映像符号化装置１０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
【００５９】
一実施形態による映像符号化装置１０は、映像符号化結果を出力するために、内部に搭載されたビデオエンコーディングプロセッサ、または外部ビデオエンコーディングプロセッサと連繋して作動することにより、変換を含んだ映像符号化動作を遂行することができる。一実施形態による映像符号化装置１０の内部ビデオエンコーディングプロセッサは、別個のプロセッサとして映像符号化動作を具現することができる。また、映像符号化装置１０、または中央演算装置、グラフィック演算装置がビデオエンコーディングプロセッシングモジュールを含むことにより、基本的な映像符号化動作を具現する場合を含んでもよい。
【００６０】
図２は、一実施形態による映像符号化方法のフローチャートを図示している。
【００６１】
段階２１において、パラメータ決定部１２は、現在ブロックに含まれた復元ピクセルを補正するためのエッジ補正パラメータを決定することができる。
【００６２】
一実施形態によれば、エッジ補正パラメータは、復元ピクセルが、エッジ領域に含まれるか否かということを決定するための第１臨界値、復元ピクセルの補正いかんを決定するための第２臨界値、及び復元ピクセルのサンプル値を補償するための第３臨界値を含んでもよい。このとき、第１臨界値、第２臨界値及び第３臨界値のうち少なくとも二つは、同一値でもある。
【００６３】
一実施形態によれば、エッジ補正パラメータは、ルマ成分に係わるパラメータ、及びクロマ成分に係わるパラメータのうち少なくとも一つを含んでもよい。
【００６４】
段階２２において、エッジ補正部１４は、エッジ補正パラメータに含まれた第１臨界値に基づいて、復元ピクセルが、エッジ領域に含まれるか否かということを決定することができる。例えば、エッジ補正部１４は、復元ピクセルのサンプル値と、復元ピクセルに隣接する少なくとも１つの隣接ピクセルのサンプル値との差分値が第１臨界値以上である場合、復元ピクセルがエッジ領域に含まれると決定することができる。
【００６５】
段階２３において、エッジ補正部１４は、復元ピクセルがエッジ領域に含まれる場合、エッジ補正パラメータに含まれた第２臨界値に基づいて、前記復元ピクセルの補正いかんを決定することができる。例えば、エッジ補正部１４は、復元ピクセルのサンプル値と、復元ピクセルに隣接する少なくとも１つの隣接ピクセルの平均値との差分値が第２臨界値以上である場合、復元ピクセルを補正対象ピクセルと決定することができる。
【００６６】
段階２４において、エッジ補正部１４は、復元ピクセルが補正対象である場合、エッジ補正パラメータに含まれた第３臨界値により、復元ピクセルのサンプル値を補償することができる。例えば、エッジ補正部１４は、復元ピクセルのサンプル値と、復元ピクセルに隣接する少なくとも１つの隣接ピクセルの平均値との差分値が第３臨界値以上である場合、復元ピクセルのサンプル値を増減させることができる。
【００６７】
一実施形態において、エッジ補正部１４は、効果タイプフラグ値に係わる第３臨界値により、復元ピクセルのサンプル値を補償することができる。その場合、効果タイプフラグ値が、現在ブロックに緩慢な効果の適用を示す場合、復元ピクセルのサンプル値は、復元ピクセルと、復元ピクセルの隣接ピクセルとの差分値が低減するように補償される。または、効果タイプフラグ値が、現在ブロックに緩慢な効果の適用を示す場合、復元ピクセルのサンプル値は、復元ピクセルと、復元ピクセルの隣接ピクセルとの差分値が増大するように補償される。
【００６８】
図３は、一実施形態による映像復号装置３０のブロック図を図示している。
【００６９】
一実施形態による映像復号装置３０は、パラメータ抽出部３２、エッジ補正部３４を含む。
【００７０】
一実施形態による映像復号装置３０は、ビデオの符号化されたデータを含むビットストリームを受信する。映像復号装置３０は、受信したビットストリームから、符号化されたビデオサンプルをパージングし、映像ブロック別に、エントロピー復号、逆量子化、逆変換、予測及び動き補償を行って復元ピクセルを生成し、結果として、復元映像を生成することができる。
【００７１】
パラメータ抽出部３２は、エッジ補正フラグ、効果タイプフラグ及びエッジ補正パラメータを、ビットストリームからパージングすることができる。例えば、パラメータ抽出部３２は、ビットストリームのブロックセグメントヘッダから、エッジ補正フラグ及び効果タイプフラグをパージングし、ビットストリームのスライスセグメントヘッダから、エッジ補正パラメータをパージングすることができる。
【００７２】
パラメータ抽出部３２は、現在ブロックのブロックセグメントヘッダから、エッジ補正フラグをパージングする場合、エッジ補正フラグが０であるならば、ブロックセグメントヘッダから、効果タイプフラグをパージングしない。それにより、エッジ補正部３４は、現在ブロックのエッジ補正を行わない。一方、パラメータ抽出部３２は、エッジ補正フラグが１であるならば、ブロックセグメントヘッダから、効果タイプフラグをパージングすることができる。エッジ補正部３４は、効果タイプフラグの値により、現在ブロックのエッジ補正を行わない。例えば、効果タイプフラグ値が０であるならば、エッジ補正部３４は、現在ブロックに緩慢な効果が適用されるように、エッジ補正を行うことができる。一方、効果タイプフラグ値が１であるならば、エッジ補正部３４は、現在ブロックに、鮮明な効果が適用されるように、エッジ補正を行うことができる。
【００７３】
一実施形態において、パラメータ抽出部３２は、クロマ成分に係わるエッジ補正フラグ及び効果タイプフラグが受信されない場合、ルマ成分に係わるエッジ補正フラグ値及び効果タイプフラグ値を利用して、クロマ成分に係わるエッジ補正フラグ値及び効果タイプフラグ値を決定することができる。
【００７４】
エッジ補正部３４は、パージングされたエッジ補正パラメータ値に基づいて、現在ブロックに含まれた復元ピクセルを補正することができる。エッジ補正部３４は、効果タイプフラグ値によるエッジ補正パラメータ値に基づいて、現在ブロックに含まれた復元ピクセルを補正することができる。例えば、現在ブロックに緩慢な効果が適用される場合、エッジ補正部３４は、緩慢な効果を適用するためのエッジ補正パラメータ値に値に基づいて、現在ブロックに含まれた復元ピクセルを補正することができる。一方、現在ブロックに、鮮明な効果が適用される場合、エッジ補正部３４は、鮮明な効果を適用するためのエッジ補正パラメータ値に値に基づいて、現在ブロックに含まれた復元ピクセルを補正することができる。
【００７５】
一実施形態によれば、エッジ補正部３４は、復元ピクセルが、エッジ領域に含まれるか否かということを決定することができる。エッジ補正部３４は、エッジ補正パラメータに含まれた第１臨界値により、復元ピクセルが、エッジ領域に含まれるか否かということを決定することができる。復元ピクセルがエッジ領域に含まれる場合、エッジ補正部３４は、エッジ補正パラメータに含まれた第２臨界値により、復元ピクセルの補正いかんを決定することができる。また、復元ピクセルが補正対象である場合、エッジ補正部３４は、エッジ補正パラメータに含まれた第３臨界値により、復元ピクセルのサンプル値を補償することができる。その場合、第１臨界値、第２臨界値及び第３臨界値のうち少なくとも一つは、同一値でもある。
【００７６】
一実施形態による映像復号装置３０は、パラメータ抽出部３２及びエッジ補正部３４を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、パラメータ抽出部３２及びエッジ補正部３４がそれぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、映像復号装置３０が全体的に作動することもできる。または、一実施形態による映像復号装置３０の外部プロセッサ（図示せず）の制御により、パラメータ抽出部３２及びエッジ補正部３４が制御されてもよい。
【００７７】
一実施形態による映像復号装置３０は、パラメータ抽出部３２及びエッジ補正部３４の入出力データが保存される１以上のデータ保存部（図示せず）を含んでもよい。映像復号装置３０は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
【００７８】
一実施形態による映像復号装置３０は、映像復号を介してビデオを復元するために、内部に搭載されたビデオデコーディングプロセッサ、または外部ビデオデコーディングプロセッサと連繋して作動することにより、映像復号動作を遂行することができる。一実施形態による映像復号装置３０の内部ビデオデコーディングプロセッサは、別個のプロセッサとして、基本的な映像復号動作を具現することができる。また、映像復号装置３０、または中央演算装置、グラフィック演算装置がビデオデコーディングプロセッシングモジュールを含むことにより、基本的な映像復号動作を具現する場合を含んでもよい。
【００７９】
以下、図４を参照し、映像復号装置が行う映像復号方法についてさらに詳細に説明する。図４は、一実施形態による映像復号方法のフローチャートを図示している。
【００８０】
段階４１において、パラメータ抽出部３２は、現在ブロックに含まれた復元ピクセルを補正するためのエッジ補正パラメータをパージングすることができる。
【００８１】
一実施形態によれば、エッジ補正パラメータは、復元ピクセルが、エッジ領域に含まれるか否かということを決定するための第１臨界値、復元ピクセルの補正いかんを決定するための第２臨界値、及び復元ピクセルのサンプル値を補償するための第３臨界値を含んでもよい。このとき、第１臨界値、第２臨界値及び第３臨界値のうち少なくとも二つは、同一値でもある。
【００８２】
一実施形態によれば、エッジ補正パラメータは、ルマ成分に係わるパラメータ、及びクロマ成分に係わるパラメータのうち少なくとも一つを含んでもよい。
【００８３】
一実施形態によれば、パラメータ抽出部３２は、ビットストリームのスライスセグメントヘッダから、エッジ補正パラメータをパージングすることができる。また、パラメータ抽出部３２は、ブロックセグメントヘッダから、エッジ補正フラグをパージングすることができる。また、パラメータ抽出部３２は、ビットストリームのブロックセグメントヘッダから、効果タイプフラグをパージングすることができる。
【００８４】
段階４２において、エッジ補正部３４は、エッジ補正パラメータに含まれた第１臨界値に基づいて、復元ピクセルが、エッジ領域に含まれるか否かということを決定することができる。例えば、エッジ補正部３４は、復元ピクセルのサンプル値、と復元ピクセルに隣接する少なくとも１つの隣接ピクセルのサンプル値との差分値が第１臨界値以上である場合、復元ピクセルがエッジ領域に含まれると決定することができる。
【００８５】
段階４３において、エッジ補正部３４は、復元ピクセルがエッジ領域に含まれる場合、エッジ補正パラメータに含まれた第２臨界値に基づいて、復元ピクセルの補正いかんを決定することができる。例えば、エッジ補正部３４は、復元ピクセルのサンプル値と、復元ピクセルに隣接する少なくとも１つの隣接ピクセルの平均値との差分値が第２臨界値以上である場合、復元ピクセルを補正対象ピクセルと決定することができる。
【００８６】
段階４４において、エッジ補正部３４は、復元ピクセルが補正対象である場合、エッジ補正パラメータに含まれた第３臨界値により、復元ピクセルのサンプル値を補償することができる。例えば、エッジ補正部３４は、復元ピクセルのサンプル値と、復元ピクセルに隣接する少なくとも１つの隣接ピクセルの平均値との差分値が第３臨界値以上である場合、復元ピクセルのサンプル値を増減させることができる。
【００８７】
一実施形態において、エッジ補正部３４は、効果タイプフラグ値に係わる第３臨界値により、復元ピクセルのサンプル値を補償することができる。その場合、効果タイプフラグ値が、現在ブロックに緩慢な効果の適用を示す場合、復元ピクセルのサンプル値は、復元ピクセルと、復元ピクセルの隣接ピクセルとの差分値が低減するように補償される。または、効果タイプフラグ値が、現在ブロックに緩慢な効果の適用を示す場合、復元ピクセルのサンプル値は、復元ピクセルと、復元ピクセルの隣接ピクセルとの差分値が増大するように補償される。
【００８８】
以上、図１ないし図４を参照して説明した一実施形態による映像符号化装置１０及び映像復号装置３０は、原本映像と復元映像との誤差を最小化するためのエッジ補正技法を利用する。映像符号化装置１０と映像復号装置３０との間で、サンプルがシグナリングされる。すなわち、映像符号化装置１０は、サンプルを符号化してビットストリームに伝送し、映像復号装置３０は、受信したビットストリームから、サンプルをパージングして復元することができる。一実施形態による、映像符号化装置１０と映像復号装置３０は、エッジ領域において、原本ピクセルと復元ピクセルとの誤差を最小化するために、エッジ補正パラメータをシグナリングする。従って、一実施形態によるエッジ補正技法により、映像復号装置３０は、受信されたビットストリームを復号し、映像ブロックごとに復元ピクセルを生成し、ビットストリームから、エッジ補正パラメータを復元し、復元ピクセルのサンプル値を調整することにより、エッジ領域において、原本映像との誤差が最小化された復元映像を生成することができる。
【００８９】
以下、図５を参照し、エッジ補正技法を利用する映像符号化方式について詳細に説明する。図５は、他の実施形態による映像復号装置５０のブロック図を図示している。図５において、映像復号装置５０は、エントロピー復号部５１、逆量子化部５２、逆変換部５３、復元部５４、イントラ予測部５５、参照ピクチャバッファ５６、動き補償部５７、デブロッキングフィルタリング部５８、ＳＡＯ（sample  adaptive  offset）部５９及びエッジ補正部６０を含む。
【００９０】
映像復号装置５０は、符号化されたビデオデータを含むビットストリームを受信することができる。エントロピー復号部５１において、ビットストリームから、イントラモード情報（intra  mode  information）、インターモード情報（inter  mode  information）、ＳＡＯ情報、レジデュアルデータ（residues）、及びエッジ補正のための情報がパージングされる。
【００９１】
エントロピー復号部５１によって抽出されたレジデュアルデータは、量子化された変換係数でもある。従って、逆量子化部５２において、レジデュアルデータに対して逆量子化を行って変換係数を復元し、逆変換部５３で復元された復元係数に対して逆変換を行い、空間領域のレジデュアル値を復元することができる。
【００９２】
空間領域のレジデュアル値を予測復元するために、イントラ予測または動き補償が行われる。
【００９３】
エントロピー復号部５１において、イントラモード情報が抽出された場合には、イントラ予測部５５がイントラモード情報を利用して、現在サンプルに空間的に隣接する隣接サンプルのうちいずれのサンプルを参照して現在サンプルを復元するかということ決定することができる。参照する隣接サンプルを、復元部５４によって、以前に復元されたサンプルのうち選択する。復元部５４は、イントラモード情報に基づいて決定された参照サンプルと、逆変換部５３で復元されたレジデュアル値とを利用して、現在サンプルを復元することができる。
【００９４】
エントロピー復号部５１において、インターモード情報が抽出された場合には、動き補償部５７がインターモード情報を利用して、現在ピクチャより先に復元されたピクチャのうちいずれのサンプルを参照して現在ピクチャの現在サンプルを復元するかということ決定することができる。インターモード情報は、動きベクトル、参照インデックスなどを含んでもよい。参照インデックスを利用して、現在ピクチャより先に復元されて参照ピクチャバッファ５６に保存されたピクチャのうち、現在サンプルの動き補償のための参照ピクチャが決定される。動きベクトルを利用して、参照ピクチャのうち現在ブロックの動き補償のための参照ブロックが決定される。復元部５４は、インターモード情報に基づいて決定された参照ブロックと、逆変換部５３で復元されたレジデュアル値とを利用して、現在サンプルを復元することができる。
【００９５】
復元部５４において、サンプルが復元され、復元ピクセルが出力される。復元部５４は、最大符号化単位ごとに、ツリー構造の符号化単位を基に復元ピクセルを生成することができる。
【００９６】
デブロッキングフィルタリング部５８において、最大符号化単位、またはツリー構造の符号化単位ごとに、符号化単位の境界領域に位置するピクセルに対して、ブロッキング現象を軽減させるためのフィルタリングが行われる。
【００９７】
ＳＡＯ部５９は、ＳＡＯ技法によって、最大符号化単位別に、復元ピクセルのオフセットを調整することができる。ＳＡＯ部５９は、エントロピー復号部５１に抽出されたＳＡＯ情報から、現在最大符号化単位のためのオフセットタイプ、オフセットクラス、オフセット値を決定することができる。ＳＡＯ部５９は、復元ピクセルごとに、オフセット値から決定された差値ほど、サンプル値を増減させることにより、復元ピクセルと原本ピクセルとの誤差を減らすことができる。
【００９８】
本開示の一実施形態による、エッジ補正部６０は、エッジ領域において、復元ピクセルと原本ピクセルとの誤差を減らすことができる。エッジ補正部６０は、パラメータ抽出部３２から抽出されたエッジ補正フラグ、効果タイプフラグ及びエッジ補正パラメータに基づいて、復元ピクセルのサンプル値を補償することができる。エッジ補正部６０は、まず、エッジ補正パラメータに含まれた第１臨界値に基づいて、復元ピクセルが、エッジ領域に含まれるか否かということを決定することができる。復元ピクセルがエッジ領域に含まれる場合、エッジ補正部６０は、エッジ補正パラメータに含まれた第２臨界値に基づいて、復元ピクセルの補正いかんを決定することができる。復元ピクセルが補正対象である場合、エッジ補正部６０は、エッジ補正パラメータに含まれた第３臨界値に基づいて、復元ピクセルのサンプル値を補償することができる。
【００９９】
エントロピー復号部５１において、エッジ補正フラグ、効果タイプフラグ及びエッジ補正パラメータを抽出する動作は、映像復号装置３０のパラメータ抽出部３２の動作に相応し、エッジ補正部６０の動作は、映像復号装置３０のエッジ補正部３４の動作に相応する。
【０１００】
図５において、エッジ補正部６０の動作は、ＳＡＯ部５９の動作後に遂行されるが、具現によって、エッジ補正部６０がＳＡＯ部５９の前に位置し、エッジ補正部６０の動作は、ＳＡＯ部５９の動作以前にも遂行される。または、エッジ補正部６０が、デブロッキングフィルタリング部５８の前に位置し、エッジ補正部６０の動作が、デブロッキングフィルタリング部５８の動作以前にも遂行される。または、エッジ補正部６０は、ＳＡＯ部５９を代替し、ＳＡＯ部５９の動作を遂行せず、エッジ補正部６０の動作が遂行される。
【０１０１】
一実施形態によれば、エッジ補正部６０は、ＳＡＯ部５９と連動しても遂行される。例えば、ＳＡＯ部５９のオンまたはオフのいかんにより、エッジ補正部６０の動作が決定される。例えば、スライスセグメントヘッダにおいて、ＳＡＯ部５９の動作いかんを示すフラグ値がオフを示す０である場合、エッジ補正フラグ、効果タイプフラグ及びエッジ補正パラメータのうち少なくとも１つのパージングが制限される。それにより、エッジ補正部６０の動作が遂行されない。一方、スライスセグメントヘッダにおいて、ＳＡＯ部５９の動作いかんを示すフラグ値がオンを示す１である場合、エッジ補正フラグ、効果タイプフラグ及びエッジ補正パラメータがパージングされ、それにより、エッジ補正部６０の動作が行われる。例えば、ＳＡＯ部５９の動作いかんを示すフラグ値がオンを示す１である場合、効果タイプフラグがパージングされ、効果タイプフラグの値により、復元ピクセルに、緩慢な効果または鮮明な効果のエッジ補正が適用される。
【０１０２】
以下、多様な実施形態による、エッジ領域に含まれた復元ピクセルを補正する過程について説明する。
【０１０３】
図６Ａないし図６Ｃは、一実施形態による、エッジ補正部６０において、現在ブロックに含まれた復元ピクセルの補正過程を図示している。
【０１０４】
図６Ａは、現在ブロックに含まれた復元ピクセル別に、エッジ領域に含まれるか否かということが決定される過程である。復元ピクセルがエッジ領域に含まれると判断されれば、図６Ｂにおいて、復元ピクセルの補正いかんが決定される。現在、復元ピクセルが補正対象である場合、図６Ｃにおいて、復元ピクセルのピクセル値が補償される。
【０１０５】
図６Ａにおいて、エッジ補正パラメータに含まれた第１臨界値により、現在ブロックに含まれた復元ピクセルが、エッジ領域に含まれるか否かということが決定される。
【０１０６】
このために、復元ピクセルのサンプル値と、復元ピクセルにおいて、一定方向に位置した隣接ピクセルサンプル値との差分値のうち最大値が、第１臨界値より大きいか否かということが判断される。例えば、復元ピクセルのサンプル値と、復元ピクセルにおいて、０゜、９０゜、４５゜または１３５゜の方向に位置した隣接ピクセルサンプル値との差分値のうち最大値が、第１臨界値Ｔ１より大きいか否かということが判断される。一方、隣接ピクセルは、復元ピクセルにおいて、前述の方向に位置した隣接ピクセルに制限されるものではなく、多様な方向に位置したピクセルが利用され、前述のところで例として挙げた４種方向より少ない種類の方向に位置したピクセルが利用されもする。ピクセル間の差分値は、一次微分値または二次微分値など多様な方法によっても計算されるが、本開示は、主に二次微分値を利用して説明する。
【０１０７】
０゜、９０゜、４５゜または１３５゜の方向に位置した隣接ピクセルを利用する実施形態は、以下数式（１）で示すことができる。
【０１０８】
Max(Diff(E0),  Diff(E45),  Diff(E90),  Diff(E135))  >  T1        （１）
数式（１）において、Ｄｉｆｆ（Ｅ０）は、復元ピクセル６００のサンプル値と、０゜方向に位置した隣接ピクセル６０４，６０５のサンプル値との差分値にもなる。
【０１０９】
例えば、Ｄｉｆｆ（Ｅ０）値は、ａｂｓ（（復元ピクセル６００のサンプル値−左側隣接ピクセル６０４）のサンプル値）−（復元ピクセル６００のサンプル値−右側隣接ピクセル６０５）のサンプル値））にもなる。具体的には、復元ピクセル６００のサンプル値が１０５であり、左側隣接ピクセル６０４のサンプル値が１１５であり、右側隣接ピクセル６０５のサンプル値が１０５である場合、図６Ａの６１１のように、０゜方向において、Ｄｉｆｆ（Ｅ０）値は、ａｂｓ（（１０５−１１５）−（１０５−１０５））＝１０にもなる。
【０１１０】
また、Ｄｉｆｆ（Ｅ４５）は、復元ピクセル６００のサンプル値と、４５゜方向に位置した隣接ピクセル６０１，６０８のサンプル値との差分値にもなる。
【０１１１】
例えば、Ｄｉｆｆ（Ｅ４５）値は、ａｂｓ（（復元ピクセル６００のサンプル値−左上側隣接ピクセル６０１）のサンプル値）−（復元ピクセル６００のサンプル値−右下側隣接ピクセル６０８）のサンプル値））にもなる。具体的には、復元ピクセル６００のサンプル値が１０５であり、左上側隣接ピクセル６０１のサンプル値が１１５であり、右下側隣接ピクセル６０８のサンプル値が１０５である場合、図６Ａの６１２のように、４５゜方向において、Ｄｉｆｆ（Ｅ４５）値は、ａｂｓ（（１０５−１１５）−（１０５−１０５））＝１０にもなる。
【０１１２】
また、Ｄｉｆｆ（Ｅ９０）は、復元ピクセル６００のサンプル値と、９０゜方向に位置した隣接ピクセル６０２，６０７のサンプル値との差分値にもなる。
【０１１３】
例えば、Ｄｉｆｆ（Ｅ９０）値は、ａｂｓ（（復元ピクセル６００のサンプル値−上側隣接ピクセル６０２）のサンプル値）−（復元ピクセル６００のサンプル値−下側隣接ピクセル６０７）のサンプル値））にもなる。具体的には、復元ピクセル６００のサンプル値が１０５であり、上側隣接ピクセルのサンプル値が１０５であり、下側隣接ピクセルのサンプル値が１０５である場合、図６Ａの６１３のように、９０゜方向において、Ｄｉｆｆ（Ｅ９０）値は、ａｂｓ（（１０５−１０５）−（１０５−１０５））＝０にもなる。
【０１１４】
また、Ｄｉｆｆ（Ｅ１３５）は、復元ピクセル６００のサンプル値と、１３５゜方向に位置した隣接ピクセル６０３，６０６のサンプル値との差分値にもなる。
【０１１５】
例えば、Ｄｉｆｆ（Ｅ１３５）値は、ａｂｓ（（復元ピクセル６００のサンプル値−右上側隣接ピクセル６０３）のサンプル値）−（復元ピクセル６００のサンプル値−左下側隣接ピクセル６０６）のサンプル値））にもなる。具体的には、復元ピクセル６００のサンプル値が１０５であり、右上側隣接ピクセルのサンプル値が１０５であり、左下側隣接ピクセルのサンプル値が１１５である場合、図６Ａの６１４のように、１３５゜方向において、Ｄｉｆｆ（Ｅ１３５）値は、ａｂｓ（（１０５−１０５）−（１０５−１１５））＝１０にもなる。
【０１１６】
数式（１）において、Ｄｉｆｆ（Ｅ０）値、Ｄｉｆｆ（Ｅ４５）値、Ｄｉｆｆ（Ｅ９０）値、Ｄｉｆｆ（Ｅ１３５）値がそれぞれ計算されれば、差分値のうち最大値が決定される。例えば、Ｄｉｆｆ（Ｅ０）値、Ｄｉｆｆ（Ｅ４５）値、Ｄｉｆｆ（Ｅ９０）値、Ｄｉｆｆ（Ｅ１３５）値のそれぞれが、１０、１０、０、１０である場合、最大値は、ＭＡＸ（１０，１０，０，１０）＝１０にもなる。
【０１１７】
現在ブロックの復元ピクセルのサンプル値と、隣接ピクセルのサンプル値との差分値のうち最大値が決定されれば、最大値が、第１臨界値Ｔ１より大きいか否かということにより、復元ピクセルが、エッジ領域に含まれるか否かということが判断される。その場合、第１臨界値Ｔ１は、エッジ補正パラメータから獲得される。
【０１１８】
例えば、第１臨界値Ｔ１が１０である場合、数式（１）を介した最大値が５であるならば、現在復元ピクセルがエッジ領域に含まれないと判断される。一方、第１臨界値が１０である場合、数式（１）を介した最大値が１５であるならば、現在復元ピクセルは、エッジ領域に含まれると判断される。
【０１１９】
図６Ｂにおいて、現在復元ピクセルがエッジ領域に含まれると判断されれば、復元ピクセルの補正いかんが決定される。
【０１２０】
そのために、現在復元ピクセルのサンプル値と、復元ピクセル、及び現在復元ピクセルの周囲に位置した隣接ピクセルのサンプル値の平均値との差分値の絶対値が、第２臨界値より大きいか否かということが判断される。例えば、現在ブロックの復元ピクセルのサンプル値と、復元ピクセルの上下左右，右上，右下，左上，左下方向に位置した隣接ピクセルのサンプル値の平均値と、復元ピクセルとの差分値が第２臨界値Ｔ２より大きいか否かということが判断される。一方、隣接ピクセルは、復元ピクセルにおいて、前述の方向に位置した隣接ピクセルに制限されるものではなく、前述の方向より少ない個数の方向に位置したピクセルが利用されもする。例えば、２個ないし８個まで多様な個数の隣接ピクセルが利用される。例えば、隣接ピクセルにおいて、復元ピクセルの上下方向に位置したピクセルだけが利用される。
【０１２１】
前述のところは、下記数式（２）で示すことができる。
【０１２２】
If(abs(Pixel  -  Mean)  >  T2)      （２）
数式（２）において、Ｐｉｘｅｌは、現在復元ピクセルのサンプル値を示し、Ｍｅａｎは、復元ピクセル、及び隣接ピクセルのサンプル値の平均値にもなる。数式（２）において、平均値の代わりに、メジアン値、最頻値であるモード値などが利用され、具現によっては、加重値が付与されたりオフセット値が追加されたりもする。
【０１２３】
数式（２）において、例えば、Ｍｅａｎ値は、「復元ピクセル６００のサンプル値、左上側隣接ピクセル６０１のサンプル値、上側隣接ピクセル６０２のサンプル値、右上側隣接ピクセル６０３のサンプル値、左側隣接ピクセル６０４のサンプル値、右側隣接ピクセル６０５のサンプル値、左下側隣接ピクセル６０６のサンプル値、下側隣接ピクセル６０７のサンプル値、左右側隣接ピクセル６０８のサンプル値」の平均値にもなる。具体的には、Ｍｅａｎ値は、Ａｂｇ（１０５，１１５，１０５，１０５，１１５，１０５，１１５，１０５，１０５）＝１０８．ｘｘでもある。
【０１２４】
数式（２）において、Ｍｅａｎ値が計算されれば、現在復元ピクセルのサンプル値と、平均値との差分値の絶対値が計算される。
【０１２５】
現在復元ピクセルのサンプル値と、平均値との差分値の絶対値が計算されれば、復元ピクセルの補正いかんが決定される。すなわち、現在復元ピクセルのサンプル値と、平均値との差分値の絶対値が、第２臨界値Ｔ２より大きい場合、現在復元ピクセルが復元対象ピクセルと決定される。
【０１２６】
例えば、緩慢な効果の適用のための第２臨界値Ｔ２’が１である場合、復元ピクセルのサンプル値と、平均値との差分値の絶対値がａｂｓ（Ｐｉｘｅｌ−Ｍｅａｎ）＝ａｂｓ（１０５−１０８）＝３であるならば、絶対値は、第２臨界値Ｔ２’より大きいので、復元対象ピクセルと決定される。また、緩慢な効果の適用のための第２臨界値Ｔ２’が５である場合、復元ピクセルのサンプル値と、平均値との差分値の絶対値がａｂｓ（Ｐｉｘｅｌ−Ｍｅａｎ）＝ａｂｓ（１０５−１０８）＝３であるならば、絶対値は、第２臨界値Ｔ２’より小さいので、補正対象ピクセルではないと決定される。
【０１２７】
また、鮮明な効果の適用のための第２臨界値Ｔ２”が１である場合、復元ピクセルのサンプル値と、平均値との差分値の絶対値がａｂｓ（Ｐｉｘｅｌ−Ｍｅａｎ）＝ａｂｓ（１０５−１０８）＝３であるならば、絶対値は、第２臨界値Ｔ２”より大きいので、復元対象ピクセルと決定される。また、緩慢な効果の適用のための第２臨界値Ｔ２”が５である場合、復元ピクセルのサンプル値と、平均値との差分値の絶対値がａｂｓ（Ｐｉｘｅｌ−Ｍｅａｎ）＝ａｂｓ（１０５−１０８）＝３であるならば、絶対値は、第２臨界値Ｔ２”より小さいので、補正対象ピクセルではないと決定される。
【０１２８】
図６Ｃにおいて、現在復元ピクセルが補正対象であると判断されれば、復元ピクセルのサンプル値が補償される。図６Ｃにおいて、現在復元ピクセルのサンプル値と、復元ピクセル、及び現在復元ピクセルの周囲に位置した隣接ピクセルのサンプル値の平均値との差分値の絶対値が、第３臨界値を超える場合、現在復元ピクセルのサンプル値は、一定値ほど増減する。例えば、現在ブロックの復元ピクセルのサンプル値と、復元ピクセル、及び復元ピクセルの上下左右，右上，右下，左上，左下方向に位置した隣接ピクセルのサンプル値の平均値との差分値の絶対値が、第３臨界値Ｔ３より大きいか否かということが判断される。一方、隣接ピクセルは、復元ピクセルにおいて、前述の方向に位置した隣接ピクセルに制限されるものではなく、前述の方向より少ない個数の方向に位置したピクセルが利用されもする。例えば、２個ないし８個まで多様な個数の隣接ピクセルが利用される。
【０１２９】
前述のところは、増減する値の大きさにより、下記数式（３）、数式（４）及び数式（５）で示すことができる。
【０１３０】
If(abs(Pixel  -  Mean)  >  T3)  ->  -1  or  +1      （３）
If(abs(Pixel  -  Mean)  >  T4)  ->  -2  or  +2      （４）
If(abs(Pixel  -  Mean)  >  T5)  ->  -3  or  +3      （５）
数式（３）、数式（４）及び数式（５）において、Ｐｉｘｅｌは、現在復元ピクセルのサンプル値を示し、Ｍｅａｎは、復元ピクセル、及び隣接ピクセルのサンプル値の平均値にもなる。その場合、平均値の代わりに、メジアン値、最頻値であるモード値などが利用され、具現によっては、加重値が付与されたり、オフセット値が追加されたりもする。
【０１３１】
図６Ｃ（ａ）を参照すれば、数式（３）において、現在復元ピクセルのサンプル値と、平均値との差分値の絶対値が、第３臨界値Ｔ３を超える場合、現在復元ピクセルのサンプル値は、１ほど増減する。また、図６Ｃ（ｂ）を参照すれば、数式（４）において、現在復元ピクセルのサンプル値と、平均値との差分値の絶対値が、第４臨界値Ｔ４を超える場合、現在復元ピクセルのサンプル値は、２ほど増減する。また、図６Ｃ（ｃ）を参照すれば、数式（５）において、現在復元ピクセルのサンプル値と、平均値との差分値の絶対値が、第５臨界値Ｔ５を超える場合、現在復元ピクセルのサンプル値は、３ほど増減する。
【０１３２】
例えば、緩慢な効果の適用のための第３臨界値Ｔ３’が１である場合、復元ピクセルのサンプル値と、平均値との差分値の絶対値がａｂｓ（Ｐｉｘｅｌ−Ｍｅａｎ）＝ａｂｓ（１０５−１０８）＝３であるならば、絶対値は、第３臨界値Ｔ３’より大きいので、現在復元ピクセルのサンプル値は、１ほど減少して１０４にもなる。
【０１３３】
また、緩慢な効果の適用のための第３臨界値Ｔ３’が５である場合、復元ピクセルのサンプル値と、平均値との差分値の絶対値がａｂｓ（Ｐｉｘｅｌ−Ｍｅａｎ）＝ａｂｓ（１０５−１０８）＝３であるならば、絶対値は、第３臨界値Ｔ３’より小さいので、現在復元ピクセルのサンプル値は、既存値を続けて維持することができる。
【０１３４】
他の例において、現在復元ピクセルに鮮明な効果の適用のための第３臨界値Ｔ３”が１である場合、復元ピクセルのサンプル値と、平均値との差分値の絶対値がａｂｓ（Ｐｉｘｅｌ−Ｍｅａｎ）＝ａｂｓ（１０５−１０８）＝３であるならば、絶対値は、第３臨界値Ｔ３”より大きいので、現在復元ピクセルのサンプル値は、１ほど増加して１０６にもなる。また、鮮明な効果の適用のための第３臨界値Ｔ３”が５である場合、復元ピクセルのサンプル値と、平均値との差分値の絶対値がａｂｓ（Ｐｉｘｅｌ−Ｍｅａｎ）＝ａｂｓ（１０５−１０８）＝３であるならば、絶対値は、第３臨界値Ｔ３”より小さいので、現在復元ピクセルのサンプル値は、既存値を続けて維持することができる。
【０１３５】
さらに他の例において、緩慢な効果の適用のための第３臨界値Ｔ３’が１であり、第４臨界値Ｔ４’が３であり、第５臨界値がＴ５’が５である場合、復元ピクセルのサンプル値と、平均値との差分値の絶対値が４であるならば、絶対値は、第４臨界値Ｔ４’より大きく、第５臨界値Ｔ５’より小さいので、復元ピクセルのサンプル値は、−２ほど減少する。
【０１３６】
さらに他の例において、鮮明な効果の適用のための第３臨界値Ｔ３”が１であり、第４臨界値Ｔ４”が３であり、第５臨界値がＴ５”が５である場合、復元ピクセルのサンプル値と、平均値との差分値の絶対値が４であるならば、絶対値は、第４臨界値Ｔ４”より大きく、第５臨界値Ｔ５”より小さいので、復元ピクセルのサンプル値は、＋２ほど増加する。
【０１３７】
図７は、本開示の一実施形態による、復元ピクセルを補正する過程を概念的に図示している。図７の（ａ−１）及び（ａ−２）は、現在復元ピクセルに緩慢な（smoothing）効果を適用して補正する過程を示す。図７（ａ−１）において、現在復元ピクセルの隣接ピクセルの平均値（mean）が現在復元ピクセルのサンプル値に比べて大きく、隣接ピクセルの平均値と、現在復元ピクセルのサンプル値との差が臨界値Ｔより大きい場合、現在復元ピクセルのサンプル値は、ａほど増加される。また、図７（ａ−２）において、現在復元ピクセルの隣接ピクセルの平均値が現在復元ピクセルのサンプル値より小さく、隣接ピクセルの平均値と、現在復元ピクセルのサンプル値との差が臨界値Ｔより大きい場合、現在復元ピクセルのサンプル値は、ａほど減少される。
【０１３８】
図７の（ｂ−１）及び（ｂ−２）は、現在復元ピクセルに鮮明な（sharpening）効果を適用して補正する過程を示す。図７（ｂ−１）において、現在復元ピクセルの隣接ピクセルの平均値が現在復元ピクセルのサンプル値より大きく、隣接ピクセルの平均値と、現在復元ピクセルのサンプル値との差が臨界値Ｔより大きい場合、現在復元ピクセルのサンプル値は、ａほど減少される。また、図７（ｂ−２）において、現在復元ピクセルに鮮明な効果を適用する場合、現在復元ピクセルの隣接ピクセルの平均値が現在復元ピクセルのサンプル値より小さく、隣接ピクセルの平均値と、現在復元ピクセルのサンプル値との差が臨界値Ｔより大きい場合、現在復元ピクセルのサンプル値は、ａほど増加される。
【０１３９】
図８は、本開示の一実施形態による、ツリー構造による符号化単位に基づいた映像符号化装置１００のブロック図を図示している。
【０１４０】
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴う映像符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。以下,説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴う映像符号化装置１００は「映像符号化装置１００」と称する。
【０１４１】
最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位にも分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横大きさが２の自乗である正方形のデータ単位でもある。該映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力される。
【０１４２】
一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。該深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位とも定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさが小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
【０１４３】
前述のように、符号化単位の最大サイズにより、現在ピクチャの映像データを最大符号化単位で分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial  domain）の映像データは、深度によって階層的にも分類される。
【０１４４】
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズがあらかじめ設定されている。
【０１４５】
符号化単位決定部１２０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択して符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。
【０１４６】
最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果符号化、誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。
【０１４７】
最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なっても決定される。従って、１つの最大符号化単位に対して符号化深度が１以上設定され、最大符号化単位のデータは、１以上の符号化深度の符号化単位によっても区画される。
【０１４８】
従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。該符号化深度の符号化単位は、最大符号化単位内において、同一領域においては、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。
【０１４９】
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数に係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４に設定され、第２最大深度は、５に設定される。
【０１５０】
最大符号化単位の予測符号化及び変換が行われる。該予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。
【０１５１】
最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれ、生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。
【０１５２】
一実施形態による映像符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって同一データ単位が使用され、段階別に、データ単位が変更されもする。
【０１５３】
例えば、映像符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
【０１５４】
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基になる、それ以上さらに分割されない符号化単位を「予測単位」と称する。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。該パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、該予測単位は、符号化単位と同一サイズのパーティションでもある。
【０１５５】
例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的なタイプに分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
【０１５６】
該予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ行われる。符号化単位以内の１つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
【０１５７】
また、一実施形態による映像符号化装置１００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。該符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさの変換単位を基に変換が行われる。例えば、該変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。
【０１５８】
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的に、さらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度によってツ、リー構造による変換単位によって区画される。
【０１５９】
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが、２Ｎｘ２Ｎであるならば、変換深度０に設定され、変換単位の大きさがＮｘＮであるならば、変換深度１に設定され、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、該変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
【０１６０】
符号化深度別符号化情報は、符号化深度だけでなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけでなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。
【０１６１】
一実施形態による最大符号化単位の、ツリー構造による符号化単位及び予測単位／パーティション、及び変換単位の決定方式については、図１７ないし図１９を参照して詳細に後述する。
【０１６２】
符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian  multiplier）基盤の率・歪曲最適化技法（rate-distortion  optimization）を利用して測定することができる。
【０１６３】
出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードに係わる情報をビットストリーム形態で出力する。
【０１６４】
符号化された映像データは、映像のレジデュアルデータの符号化結果でもある。
【０１６５】
深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含んでもよい。
【０１６６】
符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということをを示す深度別分割情報を利用しても定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないようにも定義される。反対に、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位で分割されるようにも定義される。
【０１６７】
現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が１以上存在するので、それぞれの下位深度の符号化単位ごとに反復して符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。
【０１６８】
１つの最大符号化単位内で、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードに係わる情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって、階層的に区画され、位置別に符号化深度が異なるので、データに対して、符号化深度及び符号化モードに係わる情報が設定される。
【０１６９】
従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び当該符号化モードに係わる符号化情報を割り当てることができる。
【０１７０】
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位内、予測単位内、パーティション単位内及び変換単位内に含まれる最大サイズの正方形データ単位でもある。
【０１７１】
例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と予測単位別符号化情報とに分類される。該深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含んでもよい。
【０１７２】
ピクチャ別、スライス別またはＧＯＰ（group  of  picture）別に定義される符号化単位の最大サイズに係わる情報、及び最大深度に係わる情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどにも挿入される。
【０１７３】
また、現在ビデオについて許容される変換単位の最大サイズに係わる情報、及び変換単位の最小サイズに係わる情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどを介して出力される。出力部１３０は、図１ないし図７を参照して説明したオフセット調整技法に係わるオフセットパラメータを符号化して出力することができる。
【０１７４】
映像符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含んでもよい。
【０１７５】
従って、映像符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などによって符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
【０１７６】
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を、既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下するという傾向がある。従って、一実施形態による映像符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮し、符号化単位を調節することができるので、映像圧縮効率が上昇する。
【０１７７】
図８の映像符号化装置１００は、図１を参照して説明した映像符号化装置１０の動作を遂行することができる。
【０１７８】
符号化単位決定部１２０は、映像符号化装置１０のパラメータ決定部１４の動作を遂行することができる。最大符号化単位ごとに、オフセットタイプ、カテゴリー別オフセット値及びオフセットクラスが決定される。
【０１７９】
出力部１３０は、伝送部の動作を遂行することができる。最大符号化単位ごとに決定されたオフセットパラメータが出力される。現在最大符号化単位に隣接する最大符号化単位のオフセットパラメータを利用して、現在オフセットパラメータを決定するか否かということをを示すオフセット併合情報が最も先に出力される。オフセットタイプとして、オフタイプ、エッジタイプ、バンドタイプが出力される。オフセット値は、オフセット絶対値、符号情報の順序に出力される。該エッジタイプの場合、オフセット値の符号情報は、出力されない。また、オフセットクラス情報が出力される。
【０１８０】
現在最大符号化単位のオフセット併合情報が、隣接する最大符号化単位のオフセットパラメータを採用することを許容する場合には、現在最大符号化単位のオフセットタイプ及びオフセット値が出力されない。
【０１８１】
図９は、本開示の一実施形態による、ツリー構造による符号化単位に基づいた映像復号装置２００のブロック図を図示している。
【０１８２】
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴う映像復号装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０及び映像データ復号部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴う映像復号装置２００は「映像復号装置２００」と称する。
【０１８３】
一実施形態による映像復号装置２００の復号動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図７及び映像符号化装置１００を参照して説明したところと同一である。
【０１８４】
受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに、符号化された映像データを抽出し、映像データ復号部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。
【０１８５】
また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードに係わる情報を抽出する。抽出された符号化深度及び符号化モードに係わる情報は、映像データ復号部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号部２３０が、最大符号化単位ごとに映像データを復号するようにする。
【０１８６】
最大符号化単位別符号化深度及び符号化モードに係わる情報は、１以上の符号化深度情報に対して設定され、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含んでもよい。また、符号化深度情報として、深度別分割情報が抽出されてもよい。
【０１８７】
映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードに係わる情報は、一実施形態による映像符号化装置１００のように、符号化端において、最大符号化単位別深度別符号化単位ごとに反復して符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードに係わる情報である。従って、映像復号装置２００は、最小符号化誤差を発生させる符号化方式によって、データを復号して映像を復元することができる。
【０１８８】
一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているならば、同一符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。
【０１８９】
映像データ復号部２３０は、最大符号化単位別符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号し、現在ピクチャを復元する。すなわち、映像データ復号部２３０は、最大符号化単位に含まれるツリー構造による符号化単位内でそれぞれの符号化単位ごとに、判読されたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号することができる。該復号過程は、イントラ予測及び動き補償を含む予測過程、並びに逆変換過程を含んでもよい。
【０１９０】
映像データ復号部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。
【０１９１】
また、映像データ復号部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を判読し、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。
【０１９２】
映像データ復号部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が、現在深度でそれ以上分割されないことを示しているならば、現在深度が符号化深度である。従って、映像データ復号部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号することができる。
【０１９３】
すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位について設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号部２３０によって、同一符号化モードで復号する１つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号が行われる。
【０１９４】
また、図９の映像復号装置２００は、図３を参照して説明した映像復号装置３０の動作を遂行することができる。
【０１９５】
映像データ及び符号化情報抽出部２２０と受信部２１０は、映像復号装置３０の抽出部３２及びオフセット決定部３４のうち少なくとも１つの動作を遂行することができる。映像データ復号部２３０は、映像復号装置３０のオフセット決定部３４及びピクセル補償部３６のうち少なくとも１つの動作を遂行することができる。
【０１９６】
映像データ及び符号化情報抽出部２２０は、ビットストリームから、現在最大符号化単位のためのオフセットパラメータなしに、オフセット併合情報のみをパージングした場合、隣接オフセットパラメータのうち少なくとも一つを利用して、現在オフセットパラメータを復元することができる。例えば、映像データ及び符号化情報抽出部２２０は、隣接オフセットパラメータのうち少なくとも一つと同一に現在オフセットパラメータを復元することができる。該オフセット併合情報に基づいて、隣接オフセットパラメータのうちいずれのパラメータを参照するかということが決定される。映像データ及び符号化情報抽出部２２０は、ビットストリームからパージングされた現在最大符号化単位のためのオフセット併合情報に基づいて、隣接オフセットパラメータと現在オフセットパラメータとが異なると判断されたら、ビットストリームから、現在最大符号化単位のための現在オフセットパラメータがパージングされて復元される。
【０１９７】
符号化情報抽出部２２０は、ビットストリームから、オフセット絶対値及びスケールパラメータをパージングすることができる。また符号化情報抽出部２２０は、オフセット絶対値及びスケールパラメータに基づいて、オフセット値を決定することができる。例えば、符号化情報抽出部２２０は、オフセット絶対値を、スケールパラメータほど、シフト（shift）演算を行い、オフセット値を決定することができる。
【０１９８】
また、符号化情報抽出部２２０は、ビットストリームから、符号、オフセット絶対値及びスケールパラメータをパージングすることができる。また、符号化情報抽出部２２０は、符号、オフセット絶対値及びスケールパラメータに基づいて、オフセット値を決定することができる。
【０１９９】
映像データ及び符号化情報抽出部２２０は、ビットストリームから、最大符号化単位ごとに、オフセットパラメータをパージングすることができる。該オフセットパラメータから、オフセットタイプ、カテゴリー別オフセット値及びオフセットクラスが決定される。現在最大符号化単位のオフセットタイプがオフタイプである場合、現在最大符号化単位に係わるオフセット調整動作が終了する。該オフセットタイプがエッジタイプである場合、復元ピクセルごとに、それぞれのエッジ方向を示すエッジクラスとエッジ形態とを示すカテゴリーに基づいて、受信されたオフセット値のうち現在オフセット値が選択される。該オフセットタイプがバンドタイプである場合、復元ピクセルごとにそれぞれのバンドを決定し、オフセット値のうち現在バンドに対応するオフセット値が選択される。
【０２００】
映像データ復号部２３０は、復元ピクセルに対応するオフセット値ほど当該復元ピクセル値を調整することにより、原本ピクセルとの誤差が最小化される復元ピクセルを生成することができる。最大符号化単位ごとにパージングされたオフセットパラメータに基づいて、最大符号化単位の復元ピクセルのオフセットが調整される。
【０２０１】
結局、映像復号装置２００は、符号化過程において、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位と決定された、ツリー構造による符号化単位の符号化された映像データの復号が可能になる。
【０２０２】
従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードにより、効率的に映像データを復号して復元することができる。
【０２０３】
図１０は、本開示の一実施形態による符号化単位の概念を図示している。
【０２０４】
符号化単位の例は、符号化単位の大きさが幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。
【０２０５】
ビデオデータ３１０については、解像度が１９２０ｘ１０８０に設定され、符号化単位の最大サイズが６４に設定され、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０に設定され、符号化単位の最大サイズが６４に設定され、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８に設定され、符号化単位の最大サイズが１６に設定され、最大深度が１に設定されている。図１０に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。
【０２０６】
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。
【０２０７】
ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２、１６である符号化単位まで含んでもよい。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。
【０２０８】
ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能が向上する。
【０２０９】
図１１は、本開示の一実施形態による符号化単位に基づいた映像符号化部４００のブロック図を図示している。
【０２１０】
一実施形態による映像符号化部４００は、映像符号化装置１００の符号化単位決定部１２０で映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５のうち、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。
【０２１１】
イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。
【０２１２】
一実施形態による映像符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を遂行しなければならない。
【０２１３】
特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうちそれぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうちそれぞれの符号化単位内の変換単位の大きさを決定しなければならない。
【０２１４】
映像符号化部４００は、参照フレーム４９５の最大符号化単位ごとに、エッジタイプ（または、バンドタイプ）によってピクセルを分類し、エッジ方向（または、開始バンド位置）を決定し、カテゴリーごとに、属する復元ピクセルの平均誤差値を決定することができる。最大符号化単位ごとに、それぞれのオフセット併合情報、オフセットタイプ及びオフセット値が符号化され、シグナリングされる。
【０２１５】
図１２は、本開示の一実施形態による符号化単位に基づいた映像復号部５００のブロック図を図示している。
【０２１６】
ビットストリーム５０５が、パージング部５１０を経て、復号対象である符号化された映像データ、及び復号のために必要な符号化に係わる情報がパージングされる。符号化された映像データは、エントロピー復号部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経、て空間領域の映像データが復元される。
【０２１７】
空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。
【０２１８】
イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループフィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。
【０２１９】
映像復号装置２００の映像データ復号部２３０で映像データを復号するために、一実施形態による映像復号部５００のパージング部５１０以後の段階別作業が行われる。
【０２２０】
一実施形態による映像復号装置２００に適用されるためには、映像復号部５００の構成要素であるパージング部５１０、エントロピー復号部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、作業を遂行しなければならない。
【０２２１】
特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとそれぞれに、パーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに変換単位の大きさを決定しなければならない。
【０２２２】
映像復号部５００は、ビットストリームから、最大符号化単位のオフセットパラメータを抽出することができる。現在最大符号化単位のオフセットパラメータのうちオフセット併合情報に基づいて、隣接する最大符号化単位のオフセットパラメータを利用して、現在オフセットパラメータを復元することができる。例えば、隣接する最大符号化単位のオフセットパラメータと同一に、現在オフセットパラメータを復元することができる。現在最大符号化単位のオフセットパラメータのうち、オフセットタイプ及びオフセット値を利用して、復元フレーム５９５の最大符号化単位ごとに、復元ピクセルごとに、エッジタイプまたはバンドタイプによって、カテゴリーに対応するオフセット値ほど調整することができる。
【０２２３】
図１３は、本開示の一実施形態による深度別符号化単位及びパーティションを図示している。
【０２２４】
一実施形態による映像符号化装置１００、及び一実施形態による映像復号装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって、多様に設定されもする。あらかじめ設定された符号化単位の最大サイズにより、深度別符号化単位の大きさが決定される。
【０２２５】
一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。このとき、該最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。
【０２２６】
すなわち、符号化単位６１０は、符号化単位の階層構造６００のうち最大符号化単位であり、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０）が存在する。サイズ４ｘ４である深度３の符号化単位６４０は、最小符号化単位である。
【０２２７】
それぞれの深度別に、横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６にも分割される。
【０２２８】
同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６にも分割される。
【０２２９】
同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６にも分割される。
【０２３０】
同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６にも分割される。
【０２３１】
一実施形態による映像符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。
【０２３２】
同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータに対して、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用してそれぞれ符号化されなければならない。
【０２３３】
それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度において最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位６１０のうち最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプに選択される。
【０２３４】
図１４は、本開示の一実施形態による、符号化単位及び変換単位の関係を図示している。
【０２３５】
一実施形態による映像符号化装置１００、または一実施形態による映像復号装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じサイズの符号化単位で、映像を符号化したり復号したりする。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。
【０２３６】
例えば、一実施形態による映像符号化装置１００、または一実施形態による映像復号装置２００において、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。
【０２３７】
また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
【０２３８】
図１５は、本開示の一実施形態による深度別符号化情報を図示している。
【０２３９】
一実施形態による映像符号化装置１００の出力部１３０は、符号化モードに係わる情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。
【０２４０】
パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションのタイプに係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２）、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。
【０２４１】
予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティションタイプに係わる情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるかということが設定される。
【０２４２】
また、変換単位サイズに係わる情報８２０は、現在符号化単位を、いかなる変換単位を基に変換を行うかということを示す。例えば、該変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つでもある。
【０２４３】
一実施形態による映像復号装置２００の映像データ及び符号化情報受信部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出して復号に利用することができる。
【０２４４】
図１６は、本開示の一実施形態による深度別符号化単位を図示している。
【０２４５】
深度の変化を示すために、分割情報が利用される。該分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるか否かということを示す。
【０２４６】
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１）を含んでもよい。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
【０２４７】
パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復して予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。
【０２４８】
サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割する必要はない。
【０２４９】
サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であるならば、深度０を１に変更しながら分割され（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復して符号化を行い、最小符号化誤差を検索していく。
【０２５０】
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０のうち１つの予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。
【０２５１】
また、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割され（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復して符号化を行い、最小符号化誤差を検索していく。
【０２５２】
最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。
【０２５３】
パーティションタイプのうち、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。
【０２５４】
サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１と決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）と決定される。また最大深度がｄであるので、深度ｄ−１の符号化単位９８０に対して分割情報が設定されない。
【０２５５】
データ単位９９９は、現在最大符号化単位に係わる「最小単位」と称される。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。かような反復的符号化過程を介して、一実施形態による映像符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードに設定される。
【０２５６】
かように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択されて符号化深度として決定される。符号化深度、及び予測単位のパーティションタイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は「１」に設定されなければならない。
【０２５７】
一実施形態による、映像復号装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度、及び予測単位に係わる情報を抽出し、符号化単位９１２の復号に利用することができる。一実施形態による映像復号装置２００は、深度別分割情報を利用し、分割情報が「０」である深度を符号化深度と把握し、当該深度に係わる符号化モードに係わる情報を利用して復号に利用することができる。
【０２５８】
図１７、図１８及び図１９は、本開示の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。
【０２５９】
符号化単位１０１０は、最大符号化単位について、一実施形態による映像符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０中それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。
【０２６０】
深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１であり、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２であり、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３であり、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。
【０２６１】
予測単位１０６０のうち一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプであり、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。
【０２６２】
変換単位１０７０のうち一部変換単位１０５２の映像データについては、符号化単位に比べて小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態による映像符号化装置１００、及び一実施形態による映像復号装置２００は、同一符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。
【０２６３】
それにより、最大符号化単位ごとに、領域別に、階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下の表１は、一実施形態による映像符号化装置１００、及び一実施形態による映像復号装置２００で設定することができる一例を示している。
【０２６４】
【表１】
2018522442.tif 000003
一実施形態による映像符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態による映像復号装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
【０２６５】
分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対してパーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。該分割情報によって１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
【０２６６】
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。該イントラモード及び該インターモードは、全てのパーティションタイプで定義され、該スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。
【０２６７】
パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。
【０２６８】
変換単位サイズは、イントラモードで２種類の大きさ、インターモードで２種類の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮに設定され、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。
【０２６９】
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を１以上含んでもよい。
【０２７０】
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
【０２７１】
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
【０２７２】
他の実施形態において、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内において、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照される。
【０２７３】
図２０は、表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示している。
【０２７４】
最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ  １３２２，２ＮｘＮ  １３２４，Ｎｘ２Ｎ  １３２６，ＮｘＮ  １３２８，２ＮｘｎＵ  １３３２，２ＮｘｎＤ  １３３４，ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つにも設定される。
【０２７５】
変換単位分割情報（ＴＵ  size  flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによっても変更される。
【０２７６】
例えば、パーティションタイプ情報が対称形パーティションタイプ２Ｎｘ２Ｎ  １３２２，２ＮｘＮ  １３２４，Ｎｘ２Ｎ  １３２６及びＮｘＮ  １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。
【０２７７】
パーティションタイプ情報が非対称形パーティションタイプ２ＮｘｎＵ  １３３２，２ＮｘｎＤ  １３３４，ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ  size  flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。
【０２７８】
図２０を参照して説明した変換単位分割情報（ＴＵ  size  flag）は、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が１ビットのフラグに限定されるものではなく、設定によって、０、１、２、３、…など増加して変換単位が階層的に分割される。該変換単位分割情報は、変換インデックスの一実施形態として利用される。
【０２７９】
その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態による映像符号化装置１００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態による映像復号装置２００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、映像復号に利用することができる。
【０２８０】
例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは、１６ｘ１６に設定され、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは、８ｘ８に設定される。
【０２８１】
他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズは、３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。
【０２８２】
さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。
【０２８３】
従って、最大変換単位分割情報を「MaxTransformSizeIndex」と定義し、最小変換単位サイズを「MinTransformSize」と定義し、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式（５）のようにも定義される。
【０２８４】
CurrMinTuSize
＝ｍａｘ（MinTransformSize，RootTuSize／（２＾MaxTransformSizeIndex））      （５）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」と比較し、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（５）によれば「RootTuSize／（２＾MaxTransformSizeIndex）」は、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、[MinTransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。
【０２８５】
一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによっても異なる。
【０２８６】
例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式（６）によっても決定される。数式（６）において、「MaxTransformSize」は、最大変換単位サイズを示し、「PUSize」は、現在予測単位サイズを示す。
【０２８７】
RootTuSize＝ｍｉｎ（MaxTransformSize，PUSize）      （６）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。
【０２８８】
現在パーティション単位の予測モードがイントラモードであるならば、「RootTuSize」は、下記数式（７）によっても決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。
【０２８９】
RootTuSize＝ｍｉｎ（MaxTransformSize，PartitionSize）      （７）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位大きさのうち小さい値に設定される。
【０２９０】
ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それに限定されるものではないということに留意しなければならない。
【０２９１】
図８ないし図２０を参照して説明したツリー構造の符号化単位に基づいた映像符号化技法により、ツリー構造の符号化単位ごとに空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいた映像復号技法によって、最大符号化単位ごとに復号が行われながら、空間領域の映像データが復元され、ピクチャ、及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、あるいはネットワークを介して伝送される。
【０２９２】
また、ピクチャごとに、スライスごとに、最大符号化単位ごとに、ツリー構造による符号化単位ごとに、符号化単位の予測単位ごとに、または符号化単位の変換単位ごとに、オフセットパラメータがシグナリングされる。一例として、最大符号化単位ごとに受信されたオフセットパラメータに基づいて復元されたオフセット値を利用して、最大符号化単位の復元サンプル値を調整することにより、原本ブロックとの誤差が最小化される最大符号化単位が復元される。
【０２９３】
なお、前述の本開示の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータでも具現される。前記コンピュータで読取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only  memory）、フロッピーディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ（compact  disc  read  only  memory）、ＤＶＤ（digital  versatile  disc）など）のような記録媒体を含む。
【０２９４】
本明細書において、「〜部」のうち少なくとも一部は、ハードウェアによっても具現される。また、該ハードウェアは、プロセッサを含んでもよい。該プロセッサは、汎用単一または多重のチップマイクロプロセッサ（例えば、ＡＲＭ）、特殊目的マイクロプロセッサ（例えば、デジタル信号プロセッサ（ＤＳＰ））、マイクロ制御機、プログラム可能ゲートアレイ（array）などでもある。該プロセッサは、中央処理装置（ＣＰＵ）とも呼ばれる。「〜部」のうち少なくとも一部は、プロセッサの組み合わせ（例えば、ＡＲＭ及びＤＳＰ）が利用されもする。
【０２９５】
該ハードウェアは、メモリをさらに含んでもよい。該メモリは、電子情報を保存することができる任意の電子コンポーネントでもある。該メモリは、任意アクセスメモリ（ＲＡＭ）、判読専用メモリ（ＲＯＭ）、磁気ディスク記録媒体、光学記録媒体、ＲＡＭ内のフラッシュメモリデバイス、プロセッサに含まれたオンボード（on-board）メモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、及びその他それらの組み合わせとしても具現される。
【０２９６】
データ及びプログラムは、メモリにも保存される。該プログラムは、本願に開示された方法を具現するように、プロセッサによっても実行される。該プログラムの実行は、メモリに保存されたデータの利用を含んでもよい。該プロセッサが命令を遂行するとき、命令の多様な部分は、プロセッサ上にロード（load）され、データの多様なフラグメントがプロセッサ上にもロードされる。
【０２９７】
以上、本開示について、その望ましい実施形態を中心に説明した。本開示が属する技術分野において、当業者であるならば、本開示が、本開示の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本開示の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本開示に含まれたものであると解釈されなければならないのである。
【図１】
2018522442.tif 000004
【図２】
2018522442.tif 000005
【図３】
2018522442.tif 000006
【図４】
2018522442.tif 000007
【図５】
2018522442.tif 000008
【図６Ａ】
2018522442.tif 000009
【図６Ｂ】
2018522442.tif 000010
【図６Ｃ】
2018522442.tif 000011
【図７】
2018522442.tif 000012
【図８】
2018522442.tif 000013
【図９】
2018522442.tif 000014
【図１０】
2018522442.tif 000015
【図１１】
2018522442.tif 000016
【図１２】
2018522442.tif 000017
【図１３】
2018522442.tif 000018
【図１４】
2018522442.tif 000019
【図１５】
2018522442.tif 000020
【図１６】
2018522442.tif 000021
【図１７】
2018522442.tif 000022
【図１８】
2018522442.tif 000023
【図１９】
2018522442.tif 000024
【図２０】
2018522442.tif 000025
【国際調査報告】
2018522442.tif 000026
2018522442.tif 000027
2018522442.tif 000028
2018522442.tif 000029