(57)【要約】  デプス映像にセグメント代表値符号化モードが許容されるか否かということを示すセグメント代表値符号化モード情報をビットストリームから獲得する段階と、デプス映像の符号化単位に適用される予測モード情報及びパーティションモード情報を決定する段階と、セグメント代表値符号化モード情報、予測モード情報及びパーティションモード情報によって、セグメント代表値符号化モードが符号化単位に適用されるか否かということを示すセグメント代表値符号化フラグをビットストリームから獲得する段階と、セグメント代表値符号化フラグが符号化単位に対してセグメント代表値符号化モードが適用されると示すとき、符号化単位の予測単位に対応するレジデュアル代表値をビットストリームから獲得する段階と、レジデュアル代表値と予測単位の予測値とを利用して、予測単位の現在ブロックを復元する段階と、を含み、該レジデュアル代表値は、予測単位のレジデュアルブロックから獲得されたことを特徴とするビデオ復号化方法が提供される。
2017505037.tif 000002
【特許請求の範囲】
【請求項１】
デプス映像にセグメント代表値符号化モードが許容されるか否かということを示すセグメント代表値符号化（ＳＤＣ）モード情報をビットストリームから獲得する段階と、
前記デプス映像の符号化単位に適用される予測モード情報及びパーティションモード情報を決定する段階と、
前記セグメント代表値符号化モード情報、前記予測モード情報及び前記パーティションモード情報によって、前記セグメント代表値符号化モードが前記符号化単位に適用されるか否かということを示すセグメント代表値符号化フラグを、前記ビットストリームから獲得する段階と、
前記セグメント代表値符号化フラグが、前記符号化単位について、前記セグメント代表値符号化モードが適用されると示すとき、前記符号化単位の予測単位に対応するレジデュアル代表値を、前記ビットストリームから獲得する段階と、
前記レジデュアル代表値と、前記予測単位の予測値とを利用して、前記予測単位の現在ブロックを復元する段階と、を含み、
前記レジデュアル代表値は、前記予測単位のレジデュアルブロックから獲得されたことを特徴とするビデオ復号化方法。
【請求項２】
前記セグメント代表値符号化モード情報は、
前記符号化単位がインターモードによって予測される場合、前記セグメント代表値符号化モードが許容されるか否かということを示すインターセグメント代表値符号化モード情報と、
前記符号化単位がイントラモードによって予測される場合、前記セグメント代表値符号化モードが許容されるか否かということを示すイントラセグメント代表値符号化モード情報と、を含むことを特徴とする請求項１に記載のビデオ復号化方法。
【請求項３】
前記セグメント代表値符号化フラグを獲得する段階は、
前記予測モードがインターモードであるとき、前記インターセグメント代表値符号化モード情報が、前記デプス映像に、前記セグメント代表値符号化モードが許容されるということを示し、前記パーティションモードが２Ｎｘ２Ｎである場合、前記セグメント代表値符号化フラグを獲得し、
前記予測モードがイントラモードであるとき、前記イントラセグメント代表値符号化モード情報が、前記デプス映像に、前記セグメント代表値符号化モードが許容されるということを示し、前記パーティションモードが２Ｎｘ２Ｎである場合、前記セグメント代表値符号化フラグを獲得することを特徴とする請求項２に記載のビデオ復号化方法。
【請求項４】
前記レジデュアル代表値を獲得する段階は、
前記レジデュアル代表値の絶対値をまず獲得し、前記絶対値が０ではないとき、前記レジデュアル代表値の符号を獲得することを特徴とする請求項１に記載のビデオ復号化方法。
【請求項５】
前記レジデュアル代表値は、
前記レジデュアルブロックの１以上のレジデュアルピクセル値の平均値に決定されたことを特徴とする請求項１に記載のビデオ復号化方法。
【請求項６】
前記レジデュアル代表値は、
前記レジデュアルブロックの左側上端のレジデュアルピクセル値、右側上端のレジデュアルピクセル値、左側下端のレジデュアルピクセル値、及び右側下端のレジデュアルピクセル値の平均値に決定されたことを特徴とする請求項５に記載のビデオ復号化方法。
【請求項７】
前記レジデュアルピクセル値は、
前記符号化単位及び前記予測単位のうち少なくとも１つの大きさによって決定されたことを特徴とする請求項５に記載のビデオ復号化方法。
【請求項８】
前記レジデュアル代表値は、
前記１以上の前記レジデュアルサンプル値の平均値にさまざまなオフセット値を加えた複数のレジデュアル代表値候補のうち、率・歪曲最適化によって決定されることを特徴とする請求項５に記載のビデオ復号化方法。
【請求項９】
デプス映像にセグメント代表値符号化モードが許容されるか否かということを示すセグメント代表値符号化モード情報をビットストリームから獲得するセグメント代表値符号化モード情報獲得部と、
前記デプス映像の符号化単位に適用される予測モード情報及びパーティションモード情報を決定する符号化単位情報決定部と、
前記セグメント代表値符号化モード情報及び前記符号化情報によって、前記セグメント代表値符号化モードが前記符号化単位に適用されるか否かということを示すセグメント代表値符号化フラグを、前記ビットストリームから獲得するセグメント代表値符号化フラグ獲得部と、
前記セグメント代表値符号化フラグが、前記符号化単位について、前記セグメント代表値符号化モードが適用されると示すとき、前記符号化単位の予測単位に対応するレジデュアル代表値を、前記ビットストリームから獲得するレジデュアル代表値獲得部と、
前記レジデュアル代表値と、前記予測単位の予測値とを利用して、前記予測単位の現在ブロックを復元する復号化部と、を含み、
前記レジデュアル代表値は、前記予測単位のレジデュアルブロックから獲得されたことを特徴とするビデオ復号化装置。
【請求項１０】
前記符号化情報獲得部は、
前記符号化単位がインターモードによって予測される場合、前記セグメント代表値符号化モードが許容されるか否かということを示すインターセグメント代表値符号化モード情報と、
前記符号化単位がイントラモードによって予測される場合、前記セグメント代表値符号化モードが許容されるか否かということを示すイントラセグメント代表値符号化モード情報と、を獲得することを特徴とする請求項９に記載のビデオ復号化装置。
【請求項１１】
前記セグメント代表値符号化フラグ獲得部は、
前記予測モードがインターモードであるとき、前記インターセグメント代表値符号化モード情報が、前記デプス映像に、前記セグメント代表値符号化モードが許容されるということを示し、前記パーティションモードが２Ｎｘ２Ｎである場合、前記セグメント代表値符号化フラグを獲得し、
前記予測モードがイントラモードであるとき、前記イントラセグメント代表値符号化モード情報が、前記デプス映像に、前記セグメント代表値符号化モードが許容されるということを示し、前記パーティションモードが２Ｎｘ２Ｎである場合、前記セグメント代表値符号化フラグを獲得することを特徴とする請求項１０に記載のビデオ復号化装置。
【請求項１２】
デプス映像の符号化単位の予測単位を予測し、前記予測単位に対応するレジデュアルブロックを生成する段階と、
前記デプス映像にセグメント代表値符号化モードが許容されるか否かということを示すセグメント代表値符号化モード情報を決定する段階と、
前記レジデュアルブロック生成に利用された予測モード及びパーティションモードによって、前記符号化単位に、前記セグメント代表値符号化モードが適用された場合、前記レジデュアルブロックからレジデュアル代表値を決定する段階と、
前記符号化単位に係わる予測モード情報及びパーティションモード情報を決定する段階と、
前記符号化単位に、前記セグメント代表値符号化モードが適用されたか否かということを示すセグメント代表値符号化フラグを決定する段階と、
前記セグメント代表値符号化モード情報、前記セグメント代表値符号化フラグ、前記予測モード情報、前記パーティションモード情報及び前記レジデュアル代表値を含むビットストリームを伝送する段階と、を含むビデオ符号化方法。
【請求項１３】
三次元映像の深度成分を含むデプス映像の符号化単位の予測単位に対応するレジデュアルブロックを生成するレジデュアルブロック生成部と、
前記デプス映像に前記セグメント代表値符号化モードが許容されるか否かということを示すセグメント代表値符号化モード情報を決定するセグメント代表値符号化モード情報決定部と、
前記レジデュアルブロック生成に利用された予測モード及びパーティションモードによって、前記符号化単位にセグメント代表値符号化モードが適用される場合、前記レジデュアルブロックからレジデュアル代表値を決定するレジデュアル代表値決定部と、
前記符号化単位に係わる予測モード情報及びパーティションモード情報を獲得する符号化単位情報決定部と、
前記符号化単位に、前記セグメント代表値符号化モードが適用されたか否かということを示すセグメント代表値符号化フラグを決定するセグメント代表値符号化フラグ決定部と、
前記セグメント代表値符号化モード情報、前記セグメント代表値符号化フラグ、前記予測モード情報、前記パーティションモード情報及び前記レジデュアル代表値を含むビットストリームを伝送するビットストリーム伝送部と、を含むビデオ符号化装置。
【請求項１４】
請求項１ないし８のうちいずれか１項に記載のビデオ復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項１５】
請求項１２に記載のビデオ符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオの符号化方法及び復号化方法に係り、さらに具体的には、ビデオのデプス映像の復号化／符号化方法及び該装置のための画面内予測方法に関する。
【背景技術】
【０００２】
立体映像とは、深さ及び空間に係わる形状情報を、映像情報と同時に提供する三次元映像を意味する。ステレオ映像の場合、左右両眼にそれぞれ異なる視点の映像を提供する一方、立体映像は、観察者が見る視点を異にするたびに、異なる方向から見たような映像を提供する。従って、立体映像を生成するためには、さまざまな視点から撮影した映像が必要である。
【０００３】
立体映像を生成するために、さまざまな視点で撮った映像は、データ量が膨大である。従って、立体映像のためにネットワークインフラ、地上波帯域幅などを考慮すれば、ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣそしてＨＥＶＣのような単一視点ビデオ圧縮（single-view  video  coding）によって最適化された符号化装置を使用して圧縮しても、実現がほぼ不可能である。
【０００４】
従って、立体映像を生成するために最適化された多視点（マルチレイヤ）映像符号化装置が要求される。特に、時間と視点との重複性を効率的に低減させるための技術開発が必要である。
【０００５】
例えば、多視点ビデオコーデックは、基本視点を、単一視点ビデオ圧縮を使用して圧縮し、拡張視点では、基本視点を参照して符号化することによって圧縮率を向上させることができる。また、デプス映像のような補助データを追加して符号化することにより、映像の復号化端から入力された視点より多くの視点の映像を生成させる。ここで、デプス映像は、ユーザに直接見せるために使用されるよりは、中間視点の映像を合成するために使用されるが、デプス映像に劣化が発生すれば、合成された映像の画質が低下する。従って、多視点ビデオコーデックは、多視点のビデオだけではなく、デプス映像も効率的に圧縮する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、デプス映像を効果的に符号化するＳＤＣ（segment-wise  ＤＣ  coding）モードを提供することである。そして、ＳＤＣモードを利用して、デプス映像を符号化する方法、該装置を提供することである。併せて、ＳＤＣモードを利用して符号化されたデプス映像を復号化する方法及び該装置を提供することである。
【課題を解決するための手段】
【０００７】
一実施形態によって、デプス映像にセグメント代表値符号化モードが許容されるか否かということを示すセグメント代表値符号化（ＳＤＣ：segment-wise  ＤＣ  coding）モード情報をビットストリームから獲得する段階と、前記デプス映像の符号化単位に適用される予測モード情報及びパーティションモード情報を決定する段階と、前記セグメント代表値符号化モード情報、前記予測モード情報及び前記パーティションモード情報によって、前記セグメント代表値符号化モードが前記符号化単位に適用されるか否かということを示すセグメント代表値符号化フラグを、前記ビットストリームから獲得する段階と、前記セグメント代表値符号化フラグが、前記符号化単位に対して、前記セグメント代表値符号化モードが適用されると示すとき、前記符号化単位の予測単位に対応するレジデュアル代表値を、前記ビットストリームから獲得する段階と、前記レジデュアル代表値と、前記予測単位の予測値とを利用して、前記予測単位の現在ブロックを復元する段階と、を含み、前記レジデュアル代表値は、前記予測単位のレジデュアルブロックから獲得されたことを特徴とするビデオ復号化方法が提供される。
【０００８】
前記セグメント代表値符号化モード情報は、前記符号化単位がインタモードによって予測される場合、前記セグメント代表値符号化モードが許容されるか否かということを示すインターセグメント代表値符号化モード情報と、前記符号化単位がイントラモードによって予測される場合、前記セグメント代表値符号化モードが許容されるか否かということを示すイントラセグメント代表値符号化モード情報と、を含むことを特徴とする。
【０００９】
前記セグメント代表値符号化フラグを獲得する段階は、前記予測モードがインタモードであるとき、前記インターセグメント代表値符号化モード情報が、前記デプス映像に、前記セグメント代表値符号化モードが許容されるということを示し、前記パーティションモードが２Ｎｘ２Ｎである場合、前記セグメント代表値符号化フラグを獲得し、前記予測モードがイントラモードであるとき、前記イントラセグメント代表値符号化モード情報が、前記デプス映像に、前記セグメント代表値符号化モードが許容されるということを示し、前記パーティションモードが２Ｎｘ２Ｎである場合、前記セグメント代表値符号化フラグを獲得することを特徴とする。
【００１０】
前記レジデュアル代表値を獲得する段階は、前記レジデュアル代表値の絶対値をまず獲得し、前記絶対値が０ではないとき、前記レジデュアル代表値の符号を獲得することを特徴とする。
【００１１】
前記レジデュアル代表値は、前記レジデュアルブロックの１以上のレジデュアルピクセル値の平均値に決定されたことを特徴とする。
【００１２】
前記レジデュアル代表値は、前記レジデュアルブロックの左側上端のレジデュアルピクセル値、右側上端のレジデュアルピクセル値、左側下端のレジデュアルピクセル値、及び右側下端のレジデュアルピクセル値の平均値に決定されたことを特徴とする。
【００１３】
前記レジデュアルピクセル値は、前記符号化単位及び前記予測単位のうち少なくとも１つの大きさによって決定されたことを特徴とする。
【００１４】
前記レジデュアル代表値は、前記１以上の前記レジデュアルサンプル値の平均値にさまざまなオフセット値（offset  value）を加えた複数のレジデュアル代表値候補のうち、率・歪曲最適化（rate-distortion  optimization）によって決定されることを特徴とする。
【００１５】
一実施形態によって、デプス映像にセグメント代表値符号化モードが許容されるか否かということを示すセグメント代表値符号化モード情報をビットストリームから獲得するセグメント代表値符号化モード情報獲得部、前記デプス映像の符号化単位に適用される予測モード情報及びパーティションモード情報を決定する符号化単位情報決定部、前記セグメント代表値符号化モード情報及び前記符号化情報によって、前記セグメント代表値符号化モードが前記符号化単位に適用されるか否かということを示すセグメント代表値符号化フラグを、前記ビットストリームから獲得するセグメント代表値符号化フラグ獲得部、前記セグメント代表値符号化フラグが、前記符号化単位に対して、前記セグメント代表値符号化モードが適用されると示すとき、前記符号化単位の予測単位に対応するレジデュアル代表値を、前記ビットストリームから獲得するレジデュアル代表値獲得部、及び前記レジデュアル代表値と、前記予測単位の予測値とを利用して、前記予測単位の現在ブロックを復元する復号化部を含み、前記レジデュアル代表値は、前記予測単位のレジデュアルブロックから獲得されたことを特徴とするビデオ復号化装置が提供される。
【００１６】
前記符号化情報獲得部は、前記符号化単位がインタモードによって予測される場合、前記セグメント代表値符号化モードが許容されるか否かということを示すインターセグメント代表値符号化モード情報と、前記符号化単位がイントラモードによって予測される場合、前記セグメント代表値符号化モードが許容されるか否かということを示すイントラセグメント代表値符号化モード情報と、を獲得することを特徴とする。
【００１７】
前記セグメント代表値符号化フラグ獲得部は、前記予測モードがインタモードであるとき、前記インターセグメント代表値符号化モード情報が、前記デプス映像に、前記セグメント代表値符号化モードが許容されるということを示し、前記パーティションモードが２Ｎｘ２Ｎである場合、前記セグメント代表値符号化フラグを獲得し、前記予測モードがイントラモードであるとき、前記イントラセグメント代表値符号化モード情報が、前記デプス映像に、前記セグメント代表値符号化モードが許容されるということを示し、前記パーティションモードが２Ｎｘ２Ｎである場合、前記セグメント代表値符号化フラグを獲得することを特徴とする。
【００１８】
前記レジデュアル代表値獲得部は、前記レジデュアル代表値の絶対値をまず獲得し、前記絶対値が０ではないとき、前記レジデュアル代表値の符号を獲得することを特徴とする。
【００１９】
前記レジデュアル代表値は、前記レジデュアルブロックの１以上のレジデュアルピクセル値の平均値に決定されたことを特徴とする。
【００２０】
前記レジデュアル代表値は、前記レジデュアルブロックの左側上端のレジデュアルピクセル値、右側上端のレジデュアルピクセル値、左側下端のレジデュアルピクセル値、及び右側下端のレジデュアルピクセル値の平均値に決定されたことを特徴とする。
【００２１】
前記レジデュアルピクセル値は、前記符号化単位及び前記予測単位のうち少なくとも１つの大きさによって決定されたことを特徴とする。
【００２２】
前記レジデュアル代表値は、前記１以上のレジデュアルサンプル値の平均値にさまざまなオフセット値を加えた複数のレジデュアル代表値候補のうち、率・歪曲最適化によって決定されることを特徴とする。
【００２３】
一実施形態によって、デプス映像の符号化単位の予測単位を予測し、前記予測単位に対応するレジデュアルブロックを生成する段階と、前記デプス映像にセグメント代表値符号化モードが許容されるか否かということを示すセグメント代表値符号化モード情報を決定する段階と、前記レジデュアルブロック生成に利用された予測モード及びパーティションモードによって、前記符号化単位に前記セグメント代表値符号化モードが適用された場合、前記レジデュアルブロックからレジデュアル代表値を決定する段階と、前記符号化単位に係わる予測モード情報及びパーティションモード情報を決定する段階と、前記符号化単位に、前記セグメント代表値符号化モードが適用されたか否かということを示すセグメント代表値符号化フラグを決定する段階と、前記セグメント代表値符号化モード情報、前記セグメント代表値符号化フラグ、前記予測モード情報、前記パーティションモード情報及び前記レジデュアル代表値を含むビットストリームを伝送する段階と、を含むビデオ符号化方法が提供される。
【００２４】
一実施形態によって、三次元映像の深度成分を含むデプス映像の符号化単位の予測単位に対応するレジデュアルブロックを生成するレジデュアルブロック生成部、前記デプス映像に前記セグメント代表値符号化モードが許容されるか否かということを示すセグメント代表値符号化モード情報を決定するセグメント代表値符号化モード情報決定部、前記レジデュアルブロック生成に利用された予測モード及びパーティションモードによって、前記符号化単位にセグメント代表値符号化モードが適用される場合、前記レジデュアルブロックからレジデュアル代表値を決定するレジデュアル代表値決定部、前記符号化単位に係わる予測モード情報及びパーティションモード情報を獲得する符号化単位情報決定部、前記符号化単位に、前記セグメント代表値符号化モードが適用されたか否かということを示すセグメント代表値符号化フラグを決定するセグメント代表値符号化フラグ決定部、及び前記セグメント代表値符号化モード情報、前記セグメント代表値符号化フラグ、前記予測モード情報、前記パーティションモード情報及び前記レジデュアル代表値を含むビットストリームを伝送するビットストリーム伝送部を含むビデオ符号化装置が提供される。
【００２５】
前述のビデオ復号化方法またはビデオ符号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体が提供される。
【発明の効果】
【００２６】
本発明の一実施形態によって、多視点映像を符号化する場合には、デプス映像のような補助データを追加して符号化することにより、映像の復号化端を介して入力される視点より多くの視点の映像を生成することができる。ここで、該デプス映像は、ユーザに直接見せるために使用されるよりは、中間視点の映像を合成するために使用されるので、デプス映像の劣化いかんが、合成された映像の画質に影響を及ぼす。
【００２７】
また、デプス映像の深度値の変化量は、客体の境界近傍で大きく示され、客体内部では、相対的に少なく示される。従って、深度値の差が大きい客体の境界部分で発生するエラーを最小化することが、合成映像のエラー最小化に直結する。また、該深度値の変化量が少ない客体内部及び背景領域については、相対的にデータ量を減らすことが、デプス映像に対する符号化効率を高めることができる。
【図面の簡単な説明】
【００２８】
【図１Ａ】一実施形態によるビデオ符号化装置のブロック図である。
【図１Ｂ】一実施形態によるビデオ符号化方法のフローチャートである。
【図２Ａ】一実施形態によるビデオ復号化装置のブロック図である。
【図２Ｂ】一実施形態によるビデオ復号化方法のフローチャートである。
【図３Ａ】符号化単位に、セグメント代表値符号化モードが適用されるか否かということを示すフラグについて説明するための図面である。
【図３Ｂ】ビデオ復号化装置が、レジデュアル代表値を獲得する過程について説明するための図面である。
【図４】一実施形態による、レジデュアル代表値を決定する過程を図示した方法のフローチャートである。
【図５】一実施形態によるインターレイヤ予測構造を示す図面である。
【図６Ａ】一実施形態によるインターレイヤビデオ符号化装置がレジデュアルブロックを、セグメント代表値符号化モードが適用されるか否かということによって符号化することを示すフローチャートである。
【図６Ｂ】一実施形態によるインターレイヤビデオ符号化装置がレジデュアルブロックを、セグメント代表値符号化モードが適用されるか否かということによって符号化することを示すフローチャートである。
【図７Ａ】予測モードがＳＤＣモードである場合、一実施形態による符号化単位のレジデュアルデータを生成する例について説明するための図面である。
【図７Ｂ】予測モードがＳＤＣモードである場合、一実施形態による符号化単位のレジデュアルデータを生成する例について説明するための図面である。
【図８】本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置ブロック図である。
【図９】一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置のブロック図である。
【図１０】一実施形態による符号化単位の概念を図示する図面である。
【図１１】一実施形態による、符号化単位に基づいたビデオ符号化部のブロック図である。
【図１２】一実施形態による、符号化単位に基づいたビデオ復号化部のブロック図である。
【図１３】一実施形態による、深度別符号化単位及びパーティションを図示する図面である。
【図１４】一実施形態による、符号化単位及び変換単位の関係を図示する図面である。
【図１５】一実施形態による符号化情報を図示する図面である。
【図１６】一実施形態による深度別符号化単位を図示する図面である。
【図１７】一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図１８】一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図１９】一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図２０】表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図２１】一実施形態による、プログラムが保存されたディスクの物理的構造を例示する。
【図２２】ディスクを利用して、プログラムを記録して判読するためのディスクドライブを図示する図面である。
【図２３】コンテンツ流通サービス（content  distribution  service）を提供するためのコンテンツ供給システム（content  supply  system）の全体的構造を図示する図面である。
【図２４】一実施形態による、本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の外部構造を図示する図面である。
【図２５】携帯電話の内部構造を図示する図面である。
【図２６】一実施形態による、通信システムが適用されたデジタル放送システムを図示する図面である。
【図２７】一実施形態による、ビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示する図面である。
【発明を実施するための形態】
【００２９】
以下、図１Ａないし図７Ｂを参照し、一実施形態による、ビデオ復号化装置及びビデオ符号化装置、並びに該方法のためのデプス映像のセグメント代表値符号化予測モード（ＳＤＣ  mode：segment-wise  ＤＣ  coding  mode，simplified  depth  coding  mode）が提供される。
【００３０】
また、図８ないし図２０を参照し、先に提案したビデオ符号化技法及びビデオ復号化技法に適用可能な一実施形態による、ツリー構造の符号化単位に基づいたビデオ符号化技法及びビデオ復号化技法が開示される。また、図２１ないし図２７を参照し、先に提案したビデオ符号化方法、ビデオ復号化方法が適用可能な一実施形態が開示される。
【００３１】
以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそれ自体を示すのである。
【００３２】
以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセッシング対象になるデータを意味する。例えば、空間領域の映像において、ピクセルがサンプルでもある。
【００３３】
以下、「現在ブロック（current  block）」は、符号化または復号化するデプス映像の符号化単位または予測単位のブロックを意味する。
【００３４】
まず、図１Ａないし図７Ｂを参照し、一実施形態による、インターレイヤビデオ復号化装置及びインターレイヤビデオ符号化装置、並びに該方法のためのデプス映像のセグメント代表値符号化予測モード（以下、「ＳＤＣモード」ともする）基盤の予測方法を開示する。
【００３５】
図１Ａは、一実施形態によるビデオ符号化装置１００のブロック図を図示している。図１Ｂは、一実施形態によるビデオ符号化方法１０のフローチャートを図示している。
【００３６】
一実施形態によるビデオ符号化装置１００は、レジデュアルブロック生成部１１０、レジデュアル代表値決定部１２０、符号化単位情報決定部１３０、セグメント代表値符号化フラグ決定部１４０、セグメント代表値符号化モード情報決定部１５０及びビットストリーム伝送部１６０を含んでもよい。また、一実施形態によるビデオ符号化装置１０は、レジデュアルブロック生成部１１０、レジデュアル代表値決定部１２０、符号化単位情報決定部１３０、セグメント代表値符号化フラグ決定部１４０、セグメント代表値符号化モード情報決定部１５０及びビットストリーム伝送部１６０を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、レジデュアルブロック生成部１１０、レジデュアル代表値決定部１２０、符号化単位情報決定部１３０、セグメント代表値符号化フラグ決定部１４０、セグメント代表値符号化モード情報決定部１５０及びビットストリーム伝送部１６０が、それぞれの自体プロセッサ（図示せず）によって作動し、該プロセッサ（図示せず）が相互有機的に作動することにより、ビデオ符号化装置１００が全体的に作動することもできる。または、ビデオ符号化装置１００の外部プロセッサ（図示せず）の制御によって、レジデュアルブロック生成部１１０、レジデュアル代表値決定部１２０、符号化単位情報決定部１３０、セグメント代表値符号化フラグ決定部１４０、セグメント代表値符号化モード情報決定部１５０及びビットストリーム伝送部１６０が制御されてもよい。
【００３７】
ビデオ符号化装置１００は、レジデュアルブロック生成部１１０、レジデュアル代表値決定部１２０、符号化単位情報決定部１３０、セグメント代表値符号化フラグ決定部１４０、セグメント代表値符号化モード情報決定部１５０及びビットストリーム伝送部１６０の入出力データが保存される１以上のデータ保存部（図示せず）を含んでもよい。ビデオ符号化装置１００は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
【００３８】
ビデオ符号化装置１００は、ビデオ符号化結果を出力するために、内部に搭載されたビデオエンコーディングプロセッサまたは外部ビデオエンコーディングプロセッサと連繋して作動することにより、変換を含んだビデオ符号化動作を遂行することができる。ビデオ符号化装置１００の内部ビデオエンコーディングプロセッサは、別個のプロセッサとして、ビデオ符号化動作を具現することができる。また、ビデオ符号化装置１００、または中央演算装置、グラフィック演算装置が、ビデオエンコーディングプロセッシングモジュールを含むことにより、基本的なビデオ符号化動作を具現する場合も可能である。
【００３９】
一実施形態によるビデオ符号化装置１００は、スケーラブルビデオコーディング（scalable  video  coding）方式によって、多数の映像シーケンスをレイヤ別に分類してそれぞれ符号化し、レイヤ別に符号化されたデータを含む別個のストリームを出力することができる。ビデオ符号化装置１００は、第１レイヤ映像シーケンスと第２レイヤ映像シーケンスとを互いに異なるレイヤに符号化することができる。
【００４０】
例えば、空間的スケーラビリティ（spatial  scalability）に基づいたスケーラブルビデオコーディング方式によれば、低解像度映像が第１レイヤ映像として符号化され、高解像度映像が第２レイヤ映像として符号化される。第１レイヤ映像の符号化結果が、第１レイヤストリームとして出力され、第２レイヤ映像の符号化結果が、第２レイヤストリームとして出力される。
【００４１】
他の例として、多視点ビデオがスケーラブルビデオコーディング方式によって符号化される。その場合、中央視点映像は、第１レイヤ映像として符号化され、左視点映像及び右視点映像は、第１レイヤ映像を参照する第２レイヤ映像として符号化される。または、ビデオ符号化装置１０が、第１レイヤ、第２レイヤ、第３レイヤのように、３以上のレイヤを許容する場合、中央視点映像は、第１レイヤ映像として符号化され、左視点映像は、第２レイヤ映像として、そして右視点映像は、第３レイヤ映像として符号化される。ただし、必ずしもかような構成に限定されるものではなく、中央視点、左視点、右視点の映像が符号化されるレイヤ、及び参照されるレイヤが変更されるということは言うまでもない。
【００４２】
さらに他の例として、時間的スケーラビリティに基づいた時間階層的予測（temporal  hierarchical  prediction）によって、スケーラブルビデオコーディング方式が遂行される。基本フレームレートの映像を符号化して生成された符号化情報を含む第１レイヤストリームが出力される。フレームレート別に、時間的階層（temporal  level）が分類され、各時間的階層が各レイヤに符号化される。基本フレームレートの映像を参照し、高速フレームレートの映像をさらに符号化し、高速フレームレートの符号化情報を含む第２レイヤストリームが出力される。
【００４３】
また、第１レイヤ、及び多数の第２レイヤに対するスケーラブルビデオコーディングが行われる。第２レイヤが３以上である場合、第１レイヤ映像と、最初の第２レイヤ映像、２番目の第２レイヤ映像、…、Ｋ番目の第２レイヤ映像とが符号化されてもよい。これにより、第１レイヤ映像の符号化結果が第１レイヤストリームとして出力され、最初、２番目、…、Ｋ番目の第２レイヤ映像の符号化結果が、それぞれ最初、２番目、…、Ｋ番目の第２レイヤストリームとして出力される。
【００４４】
一実施形態によるビデオ符号化装置１００は、単一レイヤの映像を参照し、現在映像を予測するインター予測（inter  prediction）を行うことができる。インター予測を介して、現在映像と参照映像との動き情報を示すモーションベクトル（motion  vector）、及び現在映像と参照映像とのレジデュアル成分（residual）が生成される。
【００４５】
また、ビデオ符号化装置１００は、第１レイヤ映像を参照し、第２レイヤ映像を予測するインターレイヤ予測（inter-layer  prediction）を行うことができる。
【００４６】
また、一実施形態によるビデオ符号化装置１００が、第１レイヤ、第２レイヤ、第３レイヤのように、３以上のレイヤを許容する場合には、マルチレイヤ予測構造によって、１つの、第１レイヤ映像と第３レイヤ映像とのインターレイヤ予測、第２レイヤ映像と第３レイヤ映像とのインターレイヤ予測を行うこともできる。
【００４７】
インターレイヤ予測を介して、現在映像と異なるレイヤの参照映像間の位置差成分、及び現在映像と異なるレイヤの参照映像間のレジデュアル成分が生成される。
【００４８】
インターレイヤ予測構造は、追って図４を参照して詳細に説明する。
【００４９】
一実施形態によるビデオ符号化装置１００は、各レイヤごとに、ビデオのそれぞれの映像のブロック別に符号化する。ブロックのタイプは、正方形または長方形でもあり、任意の幾何学的形態でもある。一定サイズのデータ単位に制限されるものではない。ブロックは、ツリー構造による符号化単位においては、最大符号化単位、符号化単位、予測単位、変換単位などでもある。ツリー構造の符号化単位を含む最大符号化単位は、コーディングツリーユニット（coding  tree  unit）、コーディングブロックツリー（coding  block  tree）、ブロックツリー、ルートブロックツリー（root  block  tree）、コーディングツリー、コーディングルートまたはツリートランク（tree  trunk）などと多様に命名される。ツリー構造による符号化単位に基づいたビデオ符号化／復号化方式は、図８ないし図２０を参照して後述する。
【００５０】
一方、一実施形態によるビデオ符号化装置１００が、多視点ビデオ映像を符号化する場合には、デプス映像のような補助データを追加して符号化することにより、映像の復号化端を介して入力される視点より多くの視点の映像を生成することができる。ここで、デプス映像は、ユーザに直接見せるために使用されるよりは、中間視点の映像を合成するために使用されるので、デプス映像の劣化いかんが、合成された映像の画質に影響を及ぼす。
【００５１】
デプス映像の深度値の変化量は、客体の境界近傍で大きく示され、客体内部では、相対的に少なく示される。従って、深度値差が大きい客体の境界部分で発生するエラーを最小化することが、合成映像のエラー最小化に直結する。また、深度値の変化量が少ない客体内部及び背景領域については、相対的にデータ量を減らすことが、デプス映像に対する符号化効率を高めることができる。
【００５２】
従って、ビデオ符号化装置１００は、デプス映像を、ＳＤＣモードを使用して、現在ブロックを符号化し、符号化効率を高めることができる。既存の符号化方法においては、現在ブロックを予測する過程で生成されたレジデュアルブロックのサンプル値が、変換及び量子化のような符号化過程を介して圧縮されたが、ＳＤＣモードでは、レジデュアルブロックは圧縮されないか、レジデュアル代表値に圧縮される。レジデュアル代表値は、レジデュアルブロックのサンプル値を代表する値であり、レジデュアルブロックの全部または一部のピクセル値の平均値に決定される。
【００５３】
現在ブロックがインタモードによって予測された場合、ビデオ符号化装置１００は、デプス映像について、予測単位の参照ブロックを示す参照ピクチャインデックス、モーションベクトル、及びレジデュアルブロックに対応するレジデュアル代表値が含まれたビットストリームを伝送する。
【００５４】
現在ブロックがイントラモードによって予測された場合、ビデオ符号化装置１００は、現在ブロックの予測に使用されたイントラ予測モードについての情報と、レジデュアルブロックに対応するレジデュアル代表値とが含まれたビットストリームを伝送する。
【００５５】
レジデュアルブロック生成部１１０は、現在ブロックを予測し、現在ブロックに対応するレジデュアルブロックを生成する。インタモードによって予測された場合、現在ブロックと、モーションベクトル及び参照ピクチャインデックスが示す参照ブロックとを差分することによって、レジデュアルブロックを生成する。イントラモードによって予測された場合、現在ブロックと、イントラ予測モードによって生成された予測ブロックとを差分することによって、レジデュアルブロックを生成する。
【００５６】
セグメント代表値符号化モード情報決定部１２０は、任意のレイヤに含まれたデプス映像に係わるセグメント代表値符号化モード情報（以下、「ＳＤＣモード情報」ともする）を決定する。ＳＤＣモード情報とは、デプス映像に、ＳＤＣモードが許容されるか否かということを示す情報である。もしＳＤＣモード情報が、デプス映像にＳＤＣモードが許容されると示す場合、復号化段階において、符号化単位に対して、ＳＤＣフラグによって、ＳＤＣモードが適用される。
【００５７】
ＳＤＣモード情報には、イントラセグメント代表値符号化モード情報（以下、「イントラＳＤＣモード情報」ともする）と、インターセグメント代表値符号化モード情報（以下、「インターＳＤＣモード情報」ともする）とが含まれてもよい。イントラＳＤＣモード情報は、符号化単位がイントラ予測モードによって予測される場合、ＳＤＣモードが符号化単位に許容されるか否かということを示す情報である。インターＳＤＣモード情報は、符号化単位がインター予測モードによって予測される場合、ＳＤＣモードが符号化単位に許容されるか否かということを示す情報である。
【００５８】
ＳＤＣモード情報は、フラグの形態によって具現される、例えば、イントラＳＤＣモード情報に係わるフラグは、ｓｄｃ＿intra＿wedge＿flagで表現される。もしｓｄｃ＿intra＿wedge＿flagが０を示せば、イントラ予測モードによって予測される符号化単位にＳＤＣモードが適用されない。反対に、ｓｄｃ＿intra＿wedge＿flagが１を示せば、イントラ予測モードによって予測される符号化単位に対してｓｄｃモードが適用されるか否かということが判断される。
【００５９】
さらに他の例において、インターＳＤＣモード情報に係わるフラグは、ｓｄｃ＿inter＿flagによって表現される。もしｓｄｃ＿inter＿flagが０を示せば、インター予測モードによって予測される全ての符号化単位にＳＤＣモードが適用されない。反対に、ｓｄｃ＿inter＿flagが１を示せば、インター予測モードによって予測される全ての符号化単位に対してｓｄｃモードが適用されるか否かということが判断される。
【００６０】
インターＳＤＣモード情報フラグとインターＳＤＣモード情報フラグは、ＶＰＳ、ＳＰＳ、ＰＰＳあるいはスライス単位で伝送される。
【００６１】
レジデュアル代表値決定部１３０は、符号化単位にＳＤＣモードが適用される場合、レジデュアルブロックからレジデュアル代表値を決定する。
【００６２】
レジデュアル代表値決定部１３０は、ＳＤＣモードが適用される符号化単位に対して、符号化単位の予測単位に対応するレジデュアルブロックからレジデュアル代表値を決定することができる。具体的には、レジデュアル代表値決定部１３０は、レジデュアルブロックに含まれた１以上のレジデュアルサンプル値の平均値をレジデュアル代表値に決定することができる。
【００６３】
従って、レジデュアル代表値決定部１３０は、全てのレジデュアルサンプル値の平均値をレジデュアル代表値に決定することができる。同様に、レジデュアル代表値決定部１３０は、レジデュアルサンプル値のうち一部のみを選択し、選択されたレジデュアルサンプル値の平均値をレジデュアル代表値に決定することができる。
【００６４】
もしレジデュアルサンプル値のうち一部の平均値を計算する場合、レジデュアル代表値決定部１３０は、符号化単位または予測単位のパーティションサイズによって、レジデュアルサンプル値を選択することができる。
【００６５】
一方、レジデュアル代表値決定部１３０は、レジデュアルブロックの頂点に位置したレジデュアルサンプル値の平均値をレジデュアル代表値に決定することができる。具体的には、レジデュアルブロックの左側上端のレジデュアルサンプル値、右側上端のレジデュアルサンプル値、左側下端のレジデュアルサンプル値、及び右側下端のレジデュアルサンプル値の平均値をレジデュアル代表値に決定する。
【００６６】
さらに他の例において、レジデュアル代表値決定部１３０は、レジデュアルブロックの頂点に位置したレジデュアルサンプル値と、レジデュアルブロックの中央に位置したレジデュアルサンプル値との平均値をレジデュアル代表値に決定することができる。
【００６７】
レジデュアル代表値決定部１３０は、複数のレジデュアル代表値候補のうち最適のレジデュアル代表値を決定することができる。まず、レジデュアル代表値決定部１３０は、１以上の前記レジデュアルサンプル値の平均値を獲得し、平均値にさまざまなオフセット値（offset  value）を加えた複数のレジデュアル代表値候補を獲得することができる。例えば、平均値が３であり、オフセット候補値が−２、−１、０、１、２である場合、値が１、２、３、４、５である５個のレジデュアル代表値候補を獲得することができる。
【００６８】
そして、レジデュアル代表値決定部１３０は、率・歪曲最適化（rate-distortion  optimization）によって、複数のレジデュアル代表値候補のうち最適のレジデュアル代表値を決定することができる。率・歪曲最適化は、符号化対象映像に対する選択可能な圧縮方法のうち、符号化された映像の圧縮率と劣化とを考慮し、最適の圧縮方法を選択する過程である。従って、率・歪曲最適化によって、レジデュアル代表値決定部１３０は、レジデュアル代表値候補のうち符号化対象映像に最適化されたレジデュアル代表値を決定することができる。
【００６９】
例えば、レジデュアル代表値候補が１、２、３である場合、レジデュアル代表値決定部１３０は、レジデュアル代表値を１にして符号化対象映像を符号化した後、符号化映像のビット率（bit  rate）と、符号化対象映像と符号化映像とのエラーを求める。そして、前記ビット率とエラーとを利用して、率・歪曲コスト（Ｒ−Ｄ  cost）を求める。同様に、レジデュアル代表値決定部１３０は、他のレジデュアル代表値候補である２、３についても、同一過程を遂行する。その後、レジデュアル代表値候補の率・歪曲コストを比較し、最適のレジデュアル代表値を決定することができる。
【００７０】
レジデュアル代表値決定部１３０は、レジデュアル代表値を決定しないこともある。レジデュアル代表値を決定し、レジデュアルブロックを符号化したとき、符号化誤差が小さいと予想される場合、レジデュアルブロックを符号化しない。
【００７１】
レジデュアル代表値決定部１３０は、レジデュアル代表値を、レジデュアル代表値の絶対値と、レジデュアル代表値の符号とに分割することができる。
【００７２】
符号化単位情報決定部１４０は、レイヤの符号化単位に係わる予測モード情報、パーティションモード情報を決定する。予測モード情報は、イントラ予測モードまたはインター予測モードのうちいずれの予測モードが適用されたかということを示す。例えば、予測モード情報は、符号化単位にイントラ予測モードが適用されるということを示すこともできる。パーティションモード情報は、適用されたパーティションモードを示す。例えば、パーティションモード情報は、符号化単位に、２Ｎｘ２Ｎモードが適用されるということを示すこともできる。
【００７３】
セグメント代表値符号化フラグ決定部１５０は、符号化単位に対してＳＤＣモードが適用された否かということをを示すセグメント代表値符号化フラグ（以下、「ＳＤＣフラグ」ともする）を決定する。
【００７４】
一実施形態によれば、ＳＤＣフラグは、具体的には、ｓｄｃ＿flagによって表現される。例えば、符号化単位にＳＤＣモードが適用された場合、ｓｄｃ＿flagを１に設定する。符号化単位にＳＤＣモードが適用されない場合、ｓｄｃ＿flagを０に設定する。
【００７５】
セグメント代表値符号化フラグ決定部１５０は、符号化単位のパーティションモードに基づいて、「ＳＤＣフラグ」の生成いかんを決定することができる。例えば、符号化単位に、ＳＤＣモードが許容されるパーティションモードが適用される場合、ＳＤＣフラグが生成される。具体的な例として、パーティションモードが２Ｎｘ２Ｎモードであるときだけ、ＳＤＣモードが適用される場合、２Ｎｘ２Ｎモードが適用される符号化単位についてＳＤＣフラグが生成される。反対に、パーティションモードが２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮのようなモードである場合、ＳＤＣフラグは、生成されない。
【００７６】
ビットストリーム伝送部１６０は、ＳＤＣモード情報、ＳＤＣフラグ、予測モード情報、パーティションモード情報及びレジデュアル代表値を含むビットストリームを伝送する。
【００７７】
ビットストリーム伝送部１６０は、レジデュアル代表値を、レジデュアル代表値の絶対値及びレジデュアル代表値の符号とにして、別途に伝送することができる。
【００７８】
以下、図１Ｂを参照し、一実施形態によるビデオ符号化装置１００のビデオ符号化方法１０について詳細に説明する。
【００７９】
段階１１において、三次元映像の深度成分を含むデプス映像の符号化単位の予測単位を予測し、予測単位に対応するレジデュアルブロックが生成される。
【００８０】
段階１２において、現在映像でＳＤＣモードが許容されるか否かということを示すＳＤＣモード情報が決定される。ＳＤＣモード情報には、インターＳＤＣモード情報及びイントラＳＤＣモード情報が含まれてもよい。
【００８１】
段階１３において、符号化単位にＳＤＣモードが適用された場合、レジデュアルブロックからレジデュアル代表値が決定される。
【００８２】
ＳＤＣモードが適用される符号化単位について、符号化単位の予測単位に対応するレジデュアルブロックから、レジデュアル代表値が決定される。具体的には、レジデュアルブロックに含まれた１以上のレジデュアルサンプル値の平均値が、レジデュアル代表値に決定される。例えば、全てのレジデュアルサンプル値の平均値が、レジデュアル代表値に決定される。
【００８３】
同様に、レジデュアルサンプル値のうち選択された一部レジデュアルサンプル値の平均値が、レジデュアル代表値に決定される。もしレジデュアルサンプル値のうち、一部レジデュアルサンプル値の平均値が計算された場合、符号化単位または予測単位のパーティションサイズによって、レジデュアルサンプル値が選択される。
【００８４】
そして、レジデュアルブロックの左側上端、右側上端、右側下端及び左側下端に位置したレジデュアルサンプル値の平均値が、レジデュアル代表値に決定される。他の例として、レジデュアルブロックの左側上端、右側上端、右側下端及び左側下端に位置したレジデュアルサンプル値と、レジデュアルブロックの中央に位置したレジデュアルサンプル値との平均値が、レジデュアル代表値に決定される。
【００８５】
一方、複数のレジデュアル代表値候補のうち、最適のレジデュアル代表値が決定される。まず、１以上の前記レジデュアルサンプル値の平均値が獲得され、平均値にさまざまなオフセット値（offse  tvalue）を加えた複数のレジデュアル代表値候補が獲得される。そして、率・歪曲最適化（rate-distortion  optimization）によって、複数のレジデュアル代表値候補のうち、最適のレジデュアル代表値が決定される。
【００８６】
段階１４において、符号化単位に係わる予測モード情報及びパーティションモード情報が決定される。段階１１の予測過程で利用された予測モード及びパーティションモードによって、予測モード情報及びパーティションモード情報が決定される。
【００８７】
段階１５において、符号化単位にＳＤＣモードが適用されたか否かということを示すＳＤＣフラグが決定される。段階１２において、ＳＤＣモードが適用された否かということによって、ＳＤＣフラグが決定される。
【００８８】
段階１６において、ＳＤＣモード情報、ＳＤＣフラグ、予測モード情報、パーティションモード情報及び前記レジデュアル代表値を含むビットストリームが伝送される。
【００８９】
前述のところによれば、ビデオ符号化装置１００は、現在ブロックと、参照ブロックのサンプル値との差であるレジデュアルブロックのデータ量を減らし、デプス映像を効率的に符号化することができる。
【００９０】
図２Ａは、一実施形態によるビデオ復号化装置２００のブロック図を図示している。
【００９１】
一実施形態によるビデオ復号化装置２００は、セグメント代表値符号化モード情報獲得部２１０、符号化単位情報決定部２２０、セグメント代表値符号化フラグ獲得部２３０、レジデュアル代表値獲得部２４０及び復号化部２５０を含む。セグメント代表値符号化モード情報獲得部２１０、符号化単位情報決定部２２０、セグメント代表値符号化フラグ獲得部２３０、レジデュアル代表値獲得部２４０及び復号化部２５０を含んでもよい。また、一実施形態によるビデオ復号化装置２００は、セグメント代表値符号化モード情報獲得部２１０、符号化単位情報決定部２２０、セグメント代表値符号化フラグ獲得部２３０、レジデュアル代表値獲得部２４０及び復号化部２５０を総括的に制御する中央プロセッサ（図示せず）を含んでもよい。または、セグメント代表値符号化モード情報獲得部２１０、符号化単位情報決定部２２０、セグメント代表値符号化フラグ獲得部２３０、レジデュアル代表値獲得部２４０及び復号化部２５０が、それぞれの自体プロセッサ（図示せず）によって作動し、プロセッサ（図示せず）が相互有機的に作動することにより、ビデオ復号化装置２００が全体的に作動することもできる。または、一実施形態によるビデオ復号化装置２００の外部プロセッサ（図示せず）の制御によって、セグメント代表値符号化モード情報獲得部２１０、符号化単位情報決定部２２０、セグメント代表値符号化フラグ獲得部２３０、レジデュアル代表値獲得部２４０及び復号化部２５０が制御されてもよい。
【００９２】
また、一実施形態によるビデオ復号化装置２００は、セグメント代表値符号化モード情報獲得部２１０、符号化単位情報決定部２２０、セグメント代表値符号化フラグ獲得部２３０、レジデュアル代表値獲得部２４０及び復号化部２５０の入出力データが保存される１以上のデータ保存部（図示せず）を含んでもよい。ビデオ復号化装置２００は、データ保存部（図示せず）のデータ入出力を管轄するメモリ制御部（図示せず）を含んでもよい。
【００９３】
一実施形態によるビデオ復号化装置２００は、ビデオ復号化を介してビデオを復元するために、内部に搭載されたビデオデコーディングプロセッサまたは外部ビデオデコーディングプロセッサと連繋して作動することにより、逆変換を含んだビデオ復号化動作を遂行することができる。一実施形態によるビデオ復号化装置２００の内部ビデオデコーディングプロセッサは、別個のプロセッサだけではなく、ビデオ復号化装置２００、または中央演算装置、グラフィック演算装置がビデオデコーディングプロセッシングモジュールを含むことにより、基本的なビデオ復号化動作を具現する場合を含んでもよい。
【００９４】
一実施形態によるビデオ復号化装置２００は、スケーラブル符号化方式によって、複数のレイヤについての情報が含まれたビットストリームを受信することができる。ビデオ復号化装置２００が受信するビットストリームのレイヤの個数が限定されるものではない。
【００９５】
例えば、空間的スケーラビリティに基づいたビデオ復号化装置２００は、互いに異なる解像度の映像シーケンスが、互いに異なるレイヤに符号化されたストリームを受信することができる。第１レイヤストリームを復号化し、低解像度映像シーケンスが復元され、第２レイヤストリームを復号化し、高解像度映像シーケンスが復元される。
【００９６】
他の例として、多視点ビデオがスケーラブルビデオコーディング方式によって復号化される。ステレオスコピックビデオストリームが多数レイヤに受信された場合、第１レイヤストリームを復号化し、左視点映像が復元される。第１レイヤストリームに第２レイヤストリームをさらに復号化し、右視点映像が復元される。
【００９７】
または、多視点ビデオストリームが多数レイヤに受信された場合、第１レイヤストリームを復号化し、中央視点映像が復元される。第１レイヤストリームに第２レイヤストリームをさらに復号化し、左視点映像が復元される。第１レイヤストリームに第３レイヤストリームをさらに復号化し、右視点映像が復元される。
【００９８】
他の例として、時間的スケーラビリティに基づいたスケーラブルビデオコーディング方式が遂行される。第１レイヤストリームを復号化し、基本フレームレートの映像が復元される。第１レイヤストリームに第２レイヤストリームをさらに復号化し、高速フレームレートの映像が復元される。
【００９９】
また、第２レイヤが３以上である場合、第１レイヤストリームから第１レイヤ映像が復元され、第１レイヤ復元映像を参照し、第２レイヤストリームをさらに復号化すれば、第２レイヤ映像がさらに復元される。第２レイヤ復元映像を参照し、Ｋ番目レイヤストリームをさらに復号化すれば、Ｋ番目レイヤ映像がさらに復元される。
【０１００】
ビデオ復号化装置２００は、第１レイヤストリーム及び第２レイヤストリームから、第１レイヤ映像及び第２レイヤ映像の符号化されたデータを獲得し、さらにインター予測によって生成されたモーションベクトル、及びインターレイヤ予測によって生成された予測情報をさらに獲得することができる。
【０１０１】
例えば、ビデオ復号化装置２００は、各レイヤ別にインター予測されたデータを復号化し、多数レイヤ間でインターレイヤ予測されたデータを復号化することができる。符号化単位または予測単位を基に、動き補償（motion  compensation）及びインターレイヤ復号化を介した復元が行われる。
【０１０２】
各レイヤストリームについては、同一レイヤのインター予測を介して予測された復元映像を参照し、現在映像のための動き補償を行うことにより、映像を復元することができる。動き補償は、現在映像のモーションベクトルを利用して決定された参照映像と、現在映像のレジデュアル成分とを合成し、現在映像の復元映像を再構成する動作を意味する。
【０１０３】
また、ビデオ復号化装置２００は、インターレイヤ予測を介して予測された第２レイヤ映像を復号化するために、第１レイヤ映像の予測情報を参照し、インターレイヤ復号化を行うこともできる。インターレイヤ復号化は、現在映像の予測情報を決定するために、他のレイヤの参照ブロックの予測情報を利用して、現在映像の予測情報を再構成する動作を意味する。
【０１０４】
一実施形態によるビデオ復号化装置２００は、第２レイヤ映像を参照して予測された第３レイヤ映像を復元するためのインターレイヤ復号化を行うこともできる。インターレイヤ予測構造は、追って図３を参照して詳細に説明する。
【０１０５】
ビデオ復号化装置２００は、ビデオのそれぞれの映像をブロック別に復号化する。ブロックは、ツリー構造による符号化単位のうちでは、最大符号化単位、符号化単位、予測単位、変換単位などでもある。ツリー構造による符号化単位に基づいたビデオ符号化／復号化方式は、図８ないし図２０を参照して後述する。
【０１０６】
ＳＤＣモードにおいてビデオ復号化装置２００は、参照ピクチャインデックス及びモーションベクトルを利用して参照ブロックを決定し、参照ブロックとレジデュアル代表値とを利用して、符号化単位の現在ブロックを復号化する。具体的には、参照ブロックの全てのサンプル値にレジデュアル代表値を加え、現在ブロックが復号化される。
【０１０７】
セグメント代表値符号化モード情報獲得部２１０は、デプス映像に係わるＳＤＣモード情報をビットストリームから獲得する。ＳＤＣモード情報とは、デプス映像にＳＤＣモードが許容されるか否かということを示す情報である。もしＳＤＣモード情報が、デプス映像にＳＤＣモードが許容されると示す場合、デプス映像の符号化単位には、後述するＳＤＣフラグによって、ＳＤＣモードが適用される。
【０１０８】
ＳＤＣモード情報には、イントラＳＤＣモード情報とインターＳＤＣモード情報とが含まれてもよい。イントラＳＤＣモード情報は、符号化単位がイントラ予測モードによって予測される場合、ＳＤＣモードが符号化単位に許容されるか否かということを示す情報である。インターＳＤＣモード情報は、符号化単位がインター予測モードによって予測される場合、ＳＤＣモードが符号化単位に許容されるか否かということを示す情報である。
【０１０９】
ＳＤＣモード情報は、フラグの形態によって具現される、例えば、イントラＳＤＣモード情報は、ｓｄｃ＿intra＿wedge＿flagによって表現される。もしｓｄｃ＿intra＿wedge＿flagが０を示せば、イントラ予測モードによって予測される符号化単位にＳＤＣモードが適用されない。反対に、ｓｄｃ＿intra＿wedge＿flagが１を示せば、イントラ予測モードによって予測される符号化単位に対してｓｄｃモードが適用されるか否かということが判断される。
【０１１０】
他の例として、インターＳＤＣモード情報は、ｓｄｃ＿inter＿flagによって表現される。もしｓｄｃ＿inter＿flagが０を示せば、インター予測モードによって予測される符号化単位にＳＤＣモードが適用されない。反対に、ｓｄｃ＿inter＿flagが１を示せば、インター予測モードによって予測される符号化単位に対してｓｄｃモードが適用されるか否かということが判断される。
【０１１１】
符号化単位情報決定部２２０は、ビットストリームから、予測モード情報、パーティションモード情報を獲得することができる。そして、予測モード情報、パーティションモード情報から、符号化単位に係わる予測モード、パーティションモードを決定する。
【０１１２】
符号化単位情報決定部２２０は、デプス映像の符号化単位に係わる予測モード、パーティションモードを決定する。予測モード情報は、符号化単位に、イントラ予測モードまたはインター予測モードのうちいずれの予測モードが適用されるかということを示す。パーティションモード情報は、符号化単位に、いかなるパーティションモードが適用されるかということを示す。例えば、パーティションモード情報は、符号化単位に、２Ｎｘ２Ｎモードが適用されるということを示すこともできる。
【０１１３】
セグメント代表値符号化フラグ獲得部２３０は、デプス映像の符号化単位にＳＤＣモードが適用されるか否かということを示すＳＤＣフラグを獲得する。ＳＤＣフラグとは、符号化単位に、ＳＤＣモードが適用されるか否かということを示す情報である。一実施例によれば、ＳＤＣフラグは、ｓｄｃ＿flagによって表現される。もしｓｄｃ＿flagが０を示せば、ｓｄｃ＿flagに対応する符号化単位には、ＳＤＣモードが適用されない。反対に、ｓｄｃ＿flagが１を示せば、ｓｄｃ＿flagに対応する符号化単位には、ＳＤＣモードが適用される。
【０１１４】
セグメント代表値符号化フラグ獲得部２３０は、セグメント代表値符号化モード情報、予測モード情報及びパーティションモード情報に基づいて、ＳＤＣフラグを獲得するか否かということを決定することができる。例えば、セグメント代表値符号化フラグ獲得部２３０は、符号化単位の予測モードがインタモードである場合、インターＳＤＣモード情報フラグが１を示し、パーティションモードが２Ｎｘ２Ｎモードであるとき、ＳＤＣフラグを獲得することができる。他の例として、セグメント代表値符号化フラグ獲得部２３０は、符号化単位の予測モードがイントラモードである場合、イントラＳＤＣモード情報符号化フラグが１を示し、パーティションモードが２Ｎｘ２Ｎモードであるとき、ＳＤＣフラグを獲得することができる。
【０１１５】
セグメント代表値符号化フラグ獲得部２３０は、所定の条件を満足することができない場合、ＳＤＣフラグを獲得しない。ＳＤＣフラグが獲得されなければ、現在ブロックには、ＳＤＣモードが適用されないと判断される。
【０１１６】
レジデュアル代表値獲得部２４０は、ＳＤＣモードが適用される符号化単位の予測単位について、ビットストリームから、レジデュアル代表値を獲得することができる。レジデュアル代表値は、符号化過程で生成されたレジデュアルブロックから決定された値である。
【０１１７】
レジデュアル代表値獲得部２４０は、ＳＤＣフラグが、符号化単位にＳＤＣモードが適用されると示すとき、ビットストリームから、レジデュアル代表値を獲得することができる。反対に、ＳＤＣフラグが、符号化単位にＳＤＣモードが適用されないと示すとき、レジデュアル代表値獲得部２４０は、レジデュアル代表値を獲得しない。
【０１１８】
レジデュアル代表値は、全てのレジデュアルサンプル値の平均値でもある。他の例として、レジデュアル代表値は、レジデュアルサンプル値のうち選択されたレジデュアルサンプル値の平均値でもある。
【０１１９】
レジデュアル代表値は、符号化単位または予測単位のパーティションサイズによって選択されたレジデュアルサンプル値の平均値でもある。または、レジデュアル代表値は、レジデュアルブロックの頂点に位置したレジデュアルサンプル値の平均値でもある。他の例として、レジデュアル代表値は、レジデュアルブロックの頂点に位置したレジデュアルサンプル値と、レジデュアルブロックの中央に位置したレジデュアルサンプル値との平均値でもある。
【０１２０】
レジデュアル代表値は、複数のレジデュアル代表値候補のうち決定された最適のレジデュアル代表値でもある。
【０１２１】
符号化過程においてレジデュアル代表値を決定し、レジデュアルブロックを符号化したとき、符号化誤差が小さいと予想される場合、レジデュアル代表値は、生成されない。レジデュアル代表値が生成されない場合、レジデュアル代表値獲得部２４０は、レジデュアル代表値を獲得しない。レジデュアル代表値が獲得されない場合、予測単位の予測ブロックが現在ブロックと決定される。
【０１２２】
レジデュアル代表値獲得部２４０は、レジデュアル代表値の絶対値情報と、レジデュアル代表値の符号情報とを別途に獲得することができる。そして、レジデュアル代表値獲得部２４０は、レジデュアル代表値の絶対値情報と符号情報とを利用して、レジデュアル代表値を決定することができる。
【０１２３】
復号化部２５０は、レジデュアル代表値獲得部２４０で獲得されたレジデュアル代表値と、予測単位の予測値とを利用して、予測単位の現在ブロックを復元することができる。具体的な例として、復号化部２５０は、予測単位の予測値にレジデュアル代表値を加え、予測単位の現在ブロックを復元することができる。
【０１２４】
復号化部２５０は、予測モード及びパーティションモードによって、予測単位によって予測単位の予測値を生成する。
【０１２５】
復号化部２５０は、予測モードがインタモードである場合、パーティションモードが示すパーティションを利用して、インター予測を行う。具体的には、復号化部２５０は、予測単位が示す参照ブロックから予測値を獲得し、予測値とレジデュアル代表値とを利用して、現在ブロックを復元する。
【０１２６】
復号化部２５０は、予測モードがイントラモードである場合、パーティションモードが示すパーティションを利用して、イントラ予測を行う。具体的には、復号化部２５０は、イントラ予測方向によってパディングサンプルを決定する。そして、復号化部２５０は、パディングサンプルから予測値を獲得し、予測値とレジデュアル代表値とを利用して、現在ブロックを復元する。
【０１２７】
以下、図２Ｂを参照し、一実施形態によるビデオ復号化装置２００のビデオ復号化方法２０について詳細に説明する。
【０１２８】
段階２１において、デプス映像において、セグメント代表値符号化モードが許容されるか否かということを示すセグメント代表値符号化モード情報（以下、「ＳＤＣモード情報」ともする）がビットストリームから獲得される。
【０１２９】
ＳＤＣモード情報は、符号化単位がインタモードによって予測される場合、ＳＤＣモードが許容されるか否かということを示すインターＳＤＣモード情報と、符号化単位がイントラモードによって予測される場合、ＳＤＣモードが許容されるか否かということを示すイントラＳＤＣモード情報とを含んでもよい。
【０１３０】
段階２２において、デプス映像の符号化単位に適用される予測モード情報及びパーティションモード情報が決定される。
【０１３１】
段階２３においてＳＤＣモード情報、予測モード情報及びパーティションモード情報によって、ＳＤＣモードが符号化単位に適用されるか否かということを示すＳＤＣフラグが、ビットストリームから獲得される。
【０１３２】
符号化単位の予測モードがインタモードである場合、インターＳＤＣモード情報が、現在デプス映像においてＳＤＣモードが許容されるということを示し、符号化単位のパーティションモードが２Ｎｘ２Ｎである場合、ＳＤＣフラグが獲得される。
【０１３３】
符号化単位の予測モードがイントラモードである場合、イントラＳＤＣモード情報が、現在デプス映像において、ＳＤＣモードが許容されるということを示し、符号化単位のパーティションモードが２Ｎｘ２Ｎである場合、ＳＤＣフラグが獲得される。
【０１３４】
段階２４において、ＳＤＣフラグが、符号化単位に対してＳＤＣモードが適用されると示すとき、符号化単位の予測単位に対応するレジデュアル代表値が、ビットストリームから獲得される。
【０１３５】
レジデュアル代表値の絶対値とレジデュアル代表値との符号が順次に獲得され、レジデュアル代表値の絶対値と、レジデュアル代表値との符号を利用して、レジデュアル代表値が決定される。
【０１３６】
段階２５において、レジデュアル代表値と、予測単位の予測値とを利用して、予測単位の現在ブロックが復元される。
【０１３７】
前述のところによれば、ビデオ復号化装置２００は、ビデオ符号化装置１００において、ＳＤＣモードによって符号化された符号化単位の現在ブロックを復号化することができる。
【０１３８】
図３Ａは、ビデオ復号化装置２００が、符号化単位にｓｄｃモードが適用されるか否かということを示すフラグを獲得する段階について説明するための図面である。図３Ａは、coding＿unitシンタックスを図示している。
【０１３９】
ｓｄｃEnableFlagは、ｓｄｃ＿flag［ｘ０］［ｙ０］を獲得するか否かということを示すフラグである。ｓｄｃEnableFlagが１であるとき、ビデオ復号化装置２００は、ビットストリームから、ｓｄｃ＿flag［ｘ０］［ｙ０］を獲得する。ｓｄｃEnableFlagが０であるとき、ビデオ復号化装置２００は、ビットストリームから、ｓｄｃ＿flag［ｘ０］［ｙ０］を獲得しないで、ｓｄｃ＿flag［ｘ０］［ｙ０］は、デフォルト値を持つ。
ｓｄｃEnableFlagは、符号化単位にインター予測モードが適用されるとき、インターＳＤＣモード情報フラグが１でありながら、符号化単位のパーティションモードが、２Ｎｘ２Ｎである場合、１の値を有する。反対に、前述の条件が満足されない場合、ｓｄｃEnableFlagは、０の値を有する。
【０１４０】
ｓｄｃEnableFlagは、符号化単位にイントラ予測モードが適用されるとき、イントラセグメント代表値符号化フラグが１でありながら、符号化単位のパーティションモードが２Ｎｘ２Ｎである場合、１の値を有する。反対に、前述の条件が満足されなければ、ｓｄｃEnableFlagは、０の値を有する。
【０１４１】
ｓｄｃ＿flag［ｘ０］［ｙ０］は、デプス映像に、左からｘ０番目、上からｙ０番目に位置したピクセルに対応する符号化単位に、ｓｄｃモードが適用されるか否かということを示す。もしｓｄｃ＿flag［ｘ０］［ｙ０］が１である場合、ｓｄｃ＿flag［ｘ０］［ｙ０］に対応する符号化単位には、ｓｄｃモードが適用される。反対に、ｓｄｃ＿flag［ｘ０］［ｙ０］が０である場合、ｓｄｃ＿flag［ｘ０］［ｙ０］に対応する符号化単位には、ｓｄｃモードが適用されない。
【０１４２】
もしｓｄｃ＿flag［ｘ０］［ｙ０］が定義されない場合、ｓｄｃ＿flag［ｘ０］［ｙ０］は、０であると推定される。従って、ｓｄｃEnableFlagが０である場合、ｓｄｃ＿flag［ｘ０］［ｙ０］は、ビットストリームから獲得されないので、ｓｄｃ＿flag［ｘ０］［ｙ０］は、０であると推定される。従って、符号化単位にｓｄｃモードが適用されない。
【０１４３】
図３Ｂは、ビデオ復号化装置２００がレジデュアル代表値を獲得する過程を示す。図３Ｂは、ｃｕ＿extensionシンタックスを図示している。
【０１４４】
ｃｕDepthDcPresentFlagは、符号化単位の予測単位に対応するレジデュアル代表値があるか否かということを示す。レジデュアル代表値は、現在ブロックがＳＤＣモードによって符号化された場合に存在する。
【０１４５】
ＳＤＣモードは、パーティションモードが２Ｎｘ２Ｎであるときだけ適用されるので、ｐｂOffset値は、ｎＣｂＳと同じである。従って、符号化単位と大きさが同じである予測単位について、レジデュアル代表値を獲得する。以下、ｋとｊは、０と同じであると仮定してシンタックスを解釈する。
【０１４６】
depth＿ｄｃ＿flag［ｘ０］［ｙ０］は、予測単位におけるレジデュアル代表値が０であるか否かということを示す。符号化単位の予測モードがイントラモードである場合にのみ、ビットストリームから、depth＿ｄｃ＿flag［ｘ０］［ｙ０］が獲得される。depth＿ｄｃ＿flag［ｘ０］［ｙ０］が１であるときは、レジデュアル代表値は、０ではない。従って、ビットストリームから獲得されたdepth＿ｄｃ＿ａｂｓ［ｘ０］［ｙ０］、depth＿ｄｃ＿ｓｉｇｎ＿flag［ｘ０］［ｙ０］を利用して、レジデュアル代表値が決定される。depth＿ｄｃ＿flag［ｘ０］［ｙ０］が０であるときは、レジデュアル代表値は、０であるので、depth＿ｄｃ＿ａｂｓ［ｘ０］［ｙ０］、depth＿ｄｃ＿sign＿flag［ｘ０］［ｙ０］は、獲得されない。
【０１４７】
符号化単位の予測モードがインタモードである場合、depth＿ｄｃ＿flag［ｘ０］［ｙ０］は、獲得しない。従って、depth＿ｄｃ＿flag［ｘ０］［ｙ０］と係わりなく、ビットストリームから獲得されたdepth＿ｄｃ＿ａｂｓ［ｘ０］［ｙ０］、depth＿ｄｃ＿sign＿flag［ｘ０］［ｙ０］を利用して、レジデュアル代表値が決定される。
【０１４８】
depth＿ｄｃ＿ａｂｓ［ｘ０］［ｙ０］は、レジデュアル代表値の絶対値を示し、depth＿ｄｃ＿sign＿flag［ｘ０］［ｙ０］は、レジデュアル代表値の符号を示す。従ってdepth＿ｄｃ＿ａｂｓ［ｘ０］［ｙ０］が８を示し、depth＿ｄｃ＿sign＿flag［ｘ０］［ｙ０］が−を示す場合、レジデュアル代表値は、−８になる。
【０１４９】
他の例として、depth＿ｄｃ＿ａｂｓ［ｘ０］［ｙ０］と、depth＿ｄｃ＿sign＿flag［ｘ０］［ｙ０］とを獲得した後、任意の演算を介して、レジデュアル代表値を示すことも可能である。もしdepth＿ｄｃ＿ａｂｓ［ｘ０］［ｙ０］が８を示す場合、depth＿ｄｃ＿ａｂｓ［ｘ０］［ｙ０］に１を加えた９をレジデュアル代表値の絶対値に決定することができる。従って、depth＿ｄｃ＿sign＿flag［ｘ０］［ｙ０］が−を示す場合、レジデュアル代表値は、−９になる。
【０１５０】
図４は、ＳＤＣモードでレジデュアル代表値を決定する過程を図示したフローチャート（４００）である。図４は、図３Ａ及び図３Ｂで説明したcoding＿unitシンタックスと、ｃｕ＿extensionシンタックスとに基づいて構成されたフローチャートである。
【０１５１】
段階４０５において、inter＿ｓｄｃ＿flag、intra＿ｓｄｃ＿wedge＿flagが獲得される。inter＿ｓｄｃ＿flagは、インターＳＤＣモード情報を意味し、intra＿ｓｄｃ＿wedge＿flagは、イントラＳＤＣモード情報を意味する。インターセグメント代表値符号化フラグ及びイントラセグメント代表値符号化フラグは、inter＿ｓｄｃ＿flag及びintra＿ｓｄｃ＿wedge＿flagではない他のシンタックスによって表現される。
【０１５２】
段階４１０において、ＣｕＰｒｅｄModeとPartModeとが獲得される。ＣｕＰｒｅｄModeは、符号化単位に適用される予測モードを示す。PartModeは、符号化単位に適用されるパーティションモードを示す。
【０１５３】
段階４１５において、ＳｄｃEnableFlagが１であるか否かということが決定される。符号化モードがインタモードであるときは、inter＿ｓｄｃ＿flagが１であり、パーティションモードが２Ｎｘ２Ｎであるとき、ＳｄｃEnableFlagが１になる。前記条件が満足されなければ、ＳｄｃEnableFlagは、０になる。
【０１５４】
符号化モードがイントラモードであるときは、intra＿ｓｄｃ＿wedge＿flagが１であり、パーティションモードが２Ｎｘ２Ｎであるとき、ＳｄｃEnableFlagが１になる。前記条件が満足されなければ、ＳｄｃEnableFlagは、０になる。
【０１５５】
ＳｄｃEnableFlagが１であるとき、段階４２０に進む。ＳｄｃEnableFlagが０であるとき、段階４３０に進む。
【０１５６】
段階４２０において、Ｓｄｃ＿Flagがビットストリームから獲得される。Ｓｄｃ＿Flagは、セグメント代表値符号化フラグを意味する。
【０１５７】
段階４２５において、段階４２０で獲得されたＳｄｃ＿Flagが１であるか否かということが決定される。Ｓｄｃ＿Flagが１であるとき、段階４３５に進む。Ｓｄｃ＿Flagが０であるとき、段階４３０に進む。
【０１５８】
段階４３０において、現在ブロックは、ＳＤＣモードではない他の方法によって復号化される。例えば、符号化されたデータに対して、エントロピー復号化、逆量子化及び逆変換を介して、レジデュアルブロックが復元される。そして、復元されたレジデュアルブロックと予測ブロックとを利用して、現在ブロックが復元される。
【０１５９】
段階４３５において、ＣｕＰｒｅｄModeがイントラ予測モードを示すか否かということが決定される。ＣｕＰｒｅｄModeがイントラ予測モードを示す場合、段階４４０に進む。ＣｕＰｒｅｄModeがインター予測モードを示す場合、段階４５５に進む。
【０１６０】
段階４４０において、depth＿ｄｃ＿flagが獲得される。depth＿ｄｃ＿flagは、レジデュアル代表値が０であるか否かということを示す。
【０１６１】
段階４４５において、段階４４０で獲得されたdepth＿ｄｃ＿flagが１であるか否かということが決定される。Ｓｄｃ＿Flagが１であるとき、段階４５５に進む。Ｓｄｃ＿Flagが０であるとき、段階４５０に進む。
【０１６２】
段階４５０において、ＤＣ＿Offsetが０に決定される。ＤＣ＿Offsetは、レジデュアル代表値を意味する。
【０１６３】
段階４５５において、depth＿ｄｃ＿ａｂｓ及びdepth＿ｄｃ＿sign＿flagが獲得される。depth＿ｄｃ＿ａｂｓは、ＤＣ＿Offsetの絶対値を意味し、depth＿ｄｃ＿sign＿flagは、ＤＣ＿Offsetの符号を意味する。
【０１６４】
段階４６０において、段階４５５で獲得されたdepth＿ｄｃ＿ａｂｓ及びdepth＿ｄｃ＿sign＿flagを利用して、ＤＣ＿Offsetが決定される。
【０１６５】
段階４６５において、段階４５０及び段階４６０で決定されたＤＣ＿Offsetと予測ブロックとを利用して、現在ブロックを復元する。
【０１６６】
図５は、一実施形態によるインターレイヤ予測構造を図示している。
【０１６７】
一実施形態によるビデオ符号化装置１００は、図５に図示された多視点ビデオ予測構造の再生順序（５００）によって、基本視点映像、左視点映像及び右視点映像を予測符号化することができる。
【０１６８】
関連技術による多視点ビデオ予測構造の再生順序（５００）によれば、横方向に、同一視点の映像が配列されている。従って、「Left」と表記された左視点映像が横方向に一列に配列され、「Center」と表記された基本視点映像が横方向に一列に配列され、「Right」と表記された右視点映像が横方向に一列に配列されている。基本視点映像は、左視点／右視点映像に対し、中央視点映像でもある。
【０１６９】
また、縦方向に、ＰＯＣ順序が同一である映像が配列される。映像のＰＯＣ順序は、ビデオを構成する映像の再生順序を示す。多視点ビデオ予測構造３０において表示されている「ＰＯＣ  Ｘ」は、当該列に位置した映像の相対的な再生順序を示し、Ｘの数が小さいほど、再生順序が先になり、大きくなるほど、再生順序が後になる。
【０１７０】
従って、関連技術による多視点ビデオ予測構造の再生順序３０によれば、「Left」と表記された左視点映像がＰＯＣ順序（再生順序）によって、横方向に配列され、「Center」と表記された基本視点映像が、ＰＯＣ順序（再生順序）によって、横方向に配列され、「Right」と表記された右視点映像が、ＰＯＣ順序（再生順序）によって、横方向に配列されている。また、基本視点映像と同一列に位置した左視点映像及び右視点映像は、いずれも視点は異なるが、ＰＯＣ順序（再生順序）が同一である映像である。
【０１７１】
各視点別に、４個の連続映像が、１つのＧＯＰ（group  of  picture）を構成している。各ＧＯＰは、連続するアンカーピクチャ間の映像と、１つのアンカーピクチャ（key  picture）とを含む。
【０１７２】
アンカーピクチャは、ランダムアクセスポイント（random  access  point）であり、ビデオを再生するとき、映像の再生順序、すなわち、ＰＯＣ順序によって配列された映像のうち、任意に再生位置が選択されれば、再生位置において、ＰＯＣ順序が最も隣接するアンカーピクチャが再生される。基本視点映像は、基本視点アンカーピクチャ５１１，５１２，５１３，５１４，５１５を含み、左視点映像は、左視点アンカーピクチャ５２１，５２２，５２３，５２４，５２５を含み、右視点映像は、右視点アンカーピクチャ５３１，５３２，５３３，５３４，５３５を含む。
【０１７３】
多視点映像は、ＧＯＰ順に再生され、予測（復元）される。まず、多視点ビデオ予測構造の再生順序（５００）によれば、各視点別に、ＧＯＰ０に含まれた映像が再生された後、ＧＯＰ  １に含まれた映像が再生される。すなわち、ＧＯＰ  ０、ＧＯＰ  １、ＧＯＰ  ２、ＧＯＰ  ３の順序に、各ＧＯＰに含まれた映像が再生される。また、多視点ビデオ予測構造のコーディング順序によれば、各視点別に、ＧＯＰ  ０に含まれた映像が予測（復元）された後、ＧＯＰ  １に含まれた映像が予測（復元）される。すなわち、ＧＯＰ  ０、ＧＯＰ  １、ＧＯＰ  ２、ＧＯＰ  ３の順序に、各ＧＯＰに含まれた映像が予測（復元）される。
【０１７４】
多視点ビデオ予測構造の再生順序（５００）によれば、映像に対して、視点間予測（インターレイヤ予測）及びインター予測がいずれも行われる。多視点ビデオ予測構造において、矢印が始める映像が参照映像であり、矢印が終わる映像が参照映像を利用して予測される映像である。
【０１７５】
基本視点映像の予測結果は、符号化された後、基本視点映像ストリームの形態で出力され、付加視点映像の予測結果は、符号化された後、レイヤビットストリームの形態で出力される。また、左視点映像の予測符号化結果は、第１レイヤビットストリームとして出力され、右視点映像の予測符号化結果は、第２レイヤビットストリームとして出力される。
【０１７６】
基本視点映像については、インター予測だけが行われる。すなわち、Ｉピクチャタイプであるアンカーピクチャ５１１，５１２，５１３，５１４，５１５は、他の映像を参照しないが、Ｂピクチャタイプ及びｂピクチャタイプである残りの映像は、他の基本視点映像を参照して予測される。Ｂピクチャタイプ映像は、ＰＯＣ順序が先であるＩピクチャタイプアンカーピクチャと、後になるＩピクチャタイプアンカーピクチャとを参照して予測される。ｂピクチャタイプ映像は、ＰＯＣ順序が先になるＩピクチャタイプアンカーピクチャと、後になるＢピクチャタイプ映像とを参照するか、あるいはＰＯＣ順序が先になるＢピクチャタイプ映像と、後になるＩピクチャタイプアンカーピクチャとを参照して予測される。
【０１７７】
左視点映像及び右視点映像については、それぞれ異なる視点映像を参照する視点間予測（インターレイヤ予測）、及び同一視点映像を参照するインター予測が行われる。
【０１７８】
左視点アンカーピクチャ５２１，５２２，５２３，５２４，５２５について、それぞれＰＯＣ順序が同一である基本視点アンカーピクチャ５１１，５１２，５１３，５１４，５１５を参照し、視点間予測（インターレイヤ予測）が行われる。右視点アンカーピクチャ５３１，５３２，５３３，５３４，５３５については、それぞれＰＯＣ順序が同一である基本視点映像５１１，５１２，５１３，５１４，５１５または左視点アンカーピクチャ５２１，５２２，５２３，５２４，５２５を参照し、視点間予測が行われる。また、左視点映像及び右視点映像のうちアンカーピクチャ５１１，５１２，５１３，５１４，５１５，５２１，５２２，５２３，５２４，５２５ではない残りの映像についても、ＰＯＣが同一である異なる視点映像を参照する視点間予測（インターレイヤ予測）が行われる。
【０１７９】
左視点映像及び右視点映像のうちアンカーピクチャ５１１，５１２，５１３，５１４，５１５，５２１，５２２，５２３，５２４，５２５ではない残りの映像は、同一視点映像を参照して予測される。
【０１８０】
ただし、左視点映像及び右視点映像は、それぞれ、同一視点の付加視点映像のうち、再生順序が先行するアンカーピクチャを参照して予測されないこともある。すなわち、現在左視点映像のインター予測のために、現在左視点映像より再生順序が先行する左視点アンカーピクチャを除いた左視点映像が参照される。同様に、現在右視点映像のインター予測のために、現在右視点映像より再生順序が先行する右視点アンカーピクチャを除いた右視点映像が参照される。
【０１８１】
また、現在左視点映像のインター予測のために、現在左視点映像が属した現在ＧＯＰより先行する以前ＧＯＰに属する左視点映像は、参照せず、現在ＧＯＰに属するが、現在左視点映像より先に復元される左視点映像を参照して予測が行われることが望ましい。右視点映像の場合も、同様である。
【０１８２】
一実施形態によるビデオ復号化装置２００は、図５に図示された多視点ビデオ予測構造の再生順序（５００）によって、基本視点映像、左視点映像及び右視点映像を復元することができる。
【０１８３】
左視点映像は、基本視点映像を参照する視点間ディスパリティ補償と、左視点映像を参照するインター動き補償とを介して復元される。右視点映像は、基本視点映像及び左視点映像を参照する視点間ディスパリティ補償と、右視点映像を参照するインター動き補償とを介して復元される。左視点映像及び右視点映像のディスパリティ補償、並びに動き補償のために、参照映像がまず復元されなければならない。
【０１８４】
左視点映像のインター動き補償のために、復元された左視点の参照映像を参照するインター動き補償を介して、左視点映像が復元される。右視点映像のインター動き補償のために、復元された右視点の参照映像を参照するインター動き補償を介して、右視点映像が復元される。
【０１８５】
また、現在左視点映像のインター動き補償のために、現在左視点映像が属した現在ＧＯＰより先行する以前ＧＯＰに属する左視点映像は、参照せず、現在ＧＯＰに属するが、現在左視点映像より先に復元される左視点映像だけ参照されることが望ましい。右視点映像の場合も、同様である。
【０１８６】
図６Ａは、一実施形態によるインターレイヤビデオ符号化装置が、レジデュアルブロックを、予測モードによって異なって符号化するフローチャートを示す。
【０１８７】
段階６１において、ビデオ符号化装置１００は、所定パーティションモードのうち一部をＳＤＣモードと定義することができる。例えば、ビデオ符号化装置１００は、２Ｎｘ２ＮパーティションモードをＳＤＣモードとして構成することができる。もし２Ｎｘ２ＮパーティションモードをＳＤＣモードとして符号化する場合、レジデュアルブロックを符号化しないか、あるいはレジデュアルブロックのレジデュアルサンプル値における１以上のレジデュアルサンプル値の平均値を符号化し、符号化の効率を図ることができる。
【０１８８】
段階６２において、ビデオ符号化装置１００は、符号化単位のパーティションモードによって、符号化単位にＳＤＣモードが適用されるか否かということを判断する。もしパーティションモードがＳＤＣモードとして符号化された場合、段階６３に進む。反対に、パーティションモードがＳＤＣモードとして構成されていないか、あるいは構成されたパーティションモードであるとしても、ＳＤＣモードとして符号化されていない場合、段階６４に進む。
【０１８９】
ビデオ符号化装置１００は、符号化単位のパーティションモードによって、ＳＤＣモードが適用されるか否かということを判断し、符号化単位にＳＤＣモードが適用されるか否かということを示すＳＤＣモード情報を生成することができる。
段階６３において、ビデオ符号化装置１００は、レジデュアルブロックを符号化しないか、あるいはレジデュアルブロックのレジデュアルサンプル値における１以上のレジデュアルサンプル値の平均値を符号化することができる。ビデオ符号化装置１００は、レジデュアル信号を符号化しない場合には、インタモードでのスキップモードと類似して動作することができる。
【０１９０】
段階６４において、ビデオ符号化装置１００は、レジデュアルブロックを一般的な符号化方法によって符号化する。例えば、レジデュアルブロックを離散コサイン変換した後、量子化する過程が進められる。
【０１９１】
図６Ｂは、一実施形態によるインターレイヤビデオ符号化装置が、レジデュアルブロックを予測モードによって異なって符号化するフローチャートを示す。
【０１９２】
段階６５において、ビデオ符号化装置１００は、所定のパーティションモードのうち一部をＳＤＣモードで定義することができる。
【０１９３】
段階６６において、ビデオ符号化装置１００は、符号化単位のパーティションモードによって、符号化単位にＳＤＣモードが適用されるか否かということを判断する。もしパーティションモードがＳＤＣモードによって符号化された場合、段階６７に進む。反対に、パーティションモードがＳＤＣモードによって構成されていないか、あるいは構成されたパーティションモードであるとしても、ＳＤＣモードによって符号化されない場合、段階６９に進む。
【０１９４】
段階６７において、ビデオ符号化装置１００は、レジデュアルブロックのレジデュアルサンプル値における１以上のレジデュアルサンプル値の平均値を獲得することができる。そして、平均値に、オフセット値の整数倍を加え、複数のレジデュアル代表値候補を獲得することができる。
【０１９５】
段階６８において、ビデオ符号化装置１００は、率・歪曲最適化によって、段階６７で獲得した複数のレジデュアル代表値候補のうち、最適のレジデュアル代表値を決定することができる。
【０１９６】
段階６９において、ビデオ符号化装置１００は、レジデュアルブロックを一般的な符号化方法によって符号化する。
【０１９７】
図７Ａ及び図７Ｂは、予測モードがＳＤＣモードである場合、一実施形態による符号化単位のレジデュアルデータを生成する例について説明するための図面である。
【０１９８】
図７Ａは、レジデュアルブロックを圧縮しない場合を示す。すなわち、符号化誤差が小さいと予想される場合、参照ブロックと原本ブロックとのピクセル値差であるレジデュアルブロックを圧縮せず、インタモードでのスキップモードと類似して動作することができる。
【０１９９】
図７Ｂは、レジデュアルデータのうち、４個のコーナー部分のレジデュアルサンプル値の平均値をレジデュアル代表値に決定する場合を示す。具体的には、図７Ｂの４個のピクセル７１５，７２０，７２５，７３０の平均値をレジデュアル代表値に決定する。
【０２００】
または、４個のコーナー及び中間信号（レジデュアルデータ中の真ん中部分）の平均値をレジデュアル代表値に決定することができる。
【０２０１】
図８は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ符号化装置８００のブロック図を図示している。
【０２０２】
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置８００は、最大符号化単位分割部８１０、符号化単位決定部８２０及び出力部８３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置８００は、「ビデオ符号化装置８００」と縮約して称する。
【０２０３】
最大符号化単位分割部８１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位であり、縦横に大きさが２の累乗である正方形のデータ単位でもある。
【０２０４】
一実施形態による符号化単位は、最大サイズ及び最大深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
【０２０５】
前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial  domain）の映像データは、深度によって階層的に分類される。
【０２０６】
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズがあらかじめ設定されている。
【０２０７】
符号化単位決定部８２０は、深度ごとに最、大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部８２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、最終深度と決定する。決定された最終深度及び最大符号化単位別映像データは、出力部８３０に出力される。
【０２０８】
最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの最終深度が決定される。
【０２０９】
最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、最終深度が異なって決定される。従って、１つの最大符号化単位について、最終深度が１以上設定されもし、最大符号化単位のデータは、１以上の最終深度の符号化単位によっても区画される。
【０２１０】
従って、一実施形態による符号化単位決定部８２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれる全ての深度別符号化単位のうち、最終深度と決定された深度の符号化単位を含む。最終深度の符号化単位は、最大符号化単位内において、同一領域では深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域についての最終深度は、他の領域についての最終深度と独立して決定される。
【０２１１】
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度が１に設定され、２回分割された符号化単位の深度が２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４に設定され、第２最大深度は、５に設定される。
【０２１２】
最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。
【０２１３】
最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位のうち現在深度の符号化単位を基に、予測符号化及び変換について説明する。
【０２１４】
一実施形態によるビデオ符号化装置８００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、全ての段階にわたって同一データ単位が使用され、段階別にデータ単位が変更されてもよい。
【０２１５】
例えば、ビデオ符号化装置８００は、映像データの符号化のための符号化単位だけでなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
【０２１６】
最大符号化単位の予測符号化のためには、一実施形態による最終深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基になるそれ以上さらに分割されない符号化単位を「予測単位」と称する。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズのパーティションでもある。
【０２１７】
例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどでもある。一実施形態によるパーティションモードは、予測単位の高さまたは幅が対称的な比率で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のような、非対称的な比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
【０２１８】
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ遂行される。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
【０２１９】
また、一実施形態によるビデオ符号化装置８００は、映像データの符号化のための符号化単位だけでなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じ大きさの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含んでもよい。
【０２２０】
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度によってツリー構造による変換単位によって区画される。
【０２２１】
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０に設定され、変換単位の大きさがＮｘＮであるならば、変換深度１に設定され、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
【０２２２】
深度別分割情報は、深度だけでなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部８２０は、最小符号化誤差を発生させた深度だけでなく、予測単位をパーティションに分割したパーティションモード、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。
【０２２３】
一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、並びに変換単位の決定方式については、図９ないし図１９を参照して詳細に説明する。
【０２２４】
符号化単位決定部８２０は、深度別符号化単位の符号化誤差を、ラグランジュ乗数（Lagrangian  multiplier）基盤の率・歪曲最適化技法を利用して測定することができる。
【０２２５】
符号化単位決定部８２０は、図１Ａのレジデュアルブロック生成部１１０、レジデュアル代表値決定部１２０の機能を遂行することができる。
【０２２６】
符号化単位決定部８２０は、深度別符号化単位の符号化誤差及び予測モード別符号化単位の符号化誤差を考慮し、符号化単位、及び符号化単位に適用される予測モードを決定することができる。そして、符号化単位の予測単位を、決定された予測モードによって予測し、レジデュアルブロックを生成することができる。
【０２２７】
符号化単位決定部８２０は、生成されたレジデュアルブロックのレジデュアルピクセル値から、レジデュアル代表値を決定することができる。複数のレジデュアル代表値候補を決定し、各レジデュアル代表値候補のうち、符号化誤差が小さいレジデュアル代表値候補がレジデュアル代表値に決定される。
【０２２８】
出力部８３０は、符号化単位決定部８２０で決定された少なくとも１つの深度に基づいて、符号化された最大符号化単位の映像データ及び深度別分割情報を、ビットストリーム形態で出力する。
【０２２９】
符号化された映像データは、映像のレジデュアルデータの符号化結果でもある。
【０２３０】
深度別分割情報は、深度情報、予測単位のパーティションモード情報、予測モード情報、変換単位の分割情報などを含んでもよい。
【０２３１】
最終深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。反対に、現在符号化単位の現在深度が深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
【０２３２】
現在深度が深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が１以上存在するので、それぞれの下位深度の符号化単位ごとに反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。
【０２３３】
１つの最大符号化単位内で、ツリー構造の符号化単位が決定され、深度の符号化単位ごとに、少なくとも１つの分割情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの分割情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に深度が異なるので、データについて、深度及び分割情報が設定される。
【０２３４】
従って、一実施形態による出力部８３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該深度及び符号化モードに係わる符号化情報を割り当てられる。
【０２３５】
一実施形態による最小単位は、最下位深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位でもある。
【０２３６】
例えば、出力部８３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。
【０２３７】
ピクチャ、スライスまたはＧＯＰ（group  of  picture）別に定義される符号化単位の最大サイズについての情報、及び最大深度についての情報は、ビットストリームのヘッダ、シーケンスパラメータセット（ＳＰＳ）またはピクチャパラメータセット（ＰＰＳ）などに挿入される。
【０２３８】
また、現在ビデオに対して許容される変換単位の最大サイズについての情報、及び変換単位の最小サイズについての情報も、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどを介して出力される。出力部８３０は、予測に係わる参照情報、予測情報、スライスタイプ情報などを符号化して出力することができる。
【０２３９】
出力部８３０は、図１Ａの符号化単位情報決定部１３０、セグメント代表値符号化フラグ決定部１４０、セグメント代表値符号化モード情報決定部１５０及びビットストリーム伝送部１６０の機能を遂行することができる。
【０２４０】
出力部８３０は、符号化単位の予測に利用された予測モード及びパーティションモードについての情報を決定することができる。
【０２４１】
出力部８３０は、符号化単位が、ＳＤＣモードによって符号化されたか否かということを示すＳＤＣフラグを決定することができる。
【０２４２】
出力部８３０は、デプス映像に、ＳＤＣモードが利用された符号化単位が存在するか否かということによって、デプス映像に係わるＳＤＣモード情報を決定することができる。
【０２４３】
出力部８３０は、レジデュアル代表値、予測モード情報、パーティションモード情報、ＳＤＣフラグ及びＳＤＣモード情報を含むビットストリームを出力することができる。
【０２４４】
ビデオ符号化装置８００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが、２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位デプス符号化単位を最大４個含んでもよい。
【０２４５】
従って、ビデオ符号化装置８００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などによって符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定される。
【０２４６】
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を、既存メクロブロック単位によって符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮し、符号化単位の最大サイズを増大させながら、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇する。
【０２４７】
図１Ａで説明した構成を含むインターレイヤビデオ符号化装置は、マルチレイヤビデオのレイヤごとに、シングルレイヤ映像の符号化のために、レイヤ個数ほどのビデオ符号化装置８００を含んでもよい。例えば、第１レイヤ符号化部が、１つのビデオ符号化装置８００を含み、第２レイヤ符号化部が、第２レイヤの個数ほどのビデオ符号化装置８００を含んでもよい。
【０２４８】
ビデオ符号化装置８００が、第１レイヤ映像を符号化する場合、符号化単位決定部８２０は、最大符号化単位ごとに、ツリー構造による符号化単位別に映像間予測のための予測単位を決定し、予測単位ごとに映像間予測を行うことができる。
【０２４９】
ビデオ符号化装置８００が、第２レイヤ映像を符号化する場合にも、符号化単位決定部８２０は、最大符号化単位ごとに、ツリー構造による符号化単位及び予測単位を決定し、予測単位ごとにインター予測を行うことができる。
【０２５０】
ビデオ符号化装置８００は、第１レイヤ映像と第２レイヤ映像との輝度差を補償するために、輝度差を符号化することができる。ただし、符号化単位の符号化モードによって、輝度遂行いかんが決定される。例えば、サイズ２Ｎｘ２Ｎの予測単位に対してのみ輝度補償が行われる。
【０２５１】
図９は、一実施形態による、ツリー構造による符号化単位に基づいたビデオ復号化装置９００のブロック図を図示している。
【０２５２】
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置９００は、受信部９１０、映像データ及び符号化情報抽出部９２０、並びに映像データ復号化部９３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置９００は、「ビデオ復号化装置９００」と縮約して称する。
【０２５３】
一実施形態によるビデオ復号化装置９００の復号化動作のための符号化単位、深度、予測単位、変換単位、各種分割情報など各種用語の定義は、図８及びビデオ符号化装置８００を参照して説明したところと同一である。
【０２５４】
受信部９１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部９２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部９３０に出力する。映像データ及び符号化情報抽出部９２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。
【０２５５】
また、映像データ及び符号化情報抽出部９２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる最終深度及び分割情報を抽出する。抽出された最終深度及び分割情報は、映像データ復号化部９３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部９３０が最大符号化単位ごとに、映像データを復号化する。
【０２５６】
最大符号化単位別深度及び分割情報は、１以上の深度情報に対して設定され、深度別分割情報は、当該符号化単位のパーティションモード情報、予測モード情報、及び変換単位の分割情報などを含んでもよい。また、深度情報として、深度別分割情報が抽出される。
【０２５７】
映像データ及び符号化情報抽出部９２０が抽出した最大符号化単位別深度及び分割情報は、一実施形態によるビデオ符号化装置８００のように、符号化端において、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させると決定された深度及び分割情報にである。従って、ビデオ復号化装置９００は、最小符号化誤差を発生させる符号化方式によって、データを復号化して映像を復元することができる。
【０２５８】
一実施形態による深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部９２０は、所定データ単位別に、深度及び分割情報を抽出することができる。所定データ単位別に、当該最大符号化単位の深度及び分割情報が記録されているならば、同一の深度及び分割情報を有している所定データ単位は、同一最大符号化単位に含まれるデータ単位と類推される。
【０２５９】
映像データ及び符号化情報抽出部９２０は、図２Ａのセグメント代表値符号化モード情報獲得部２１０、符号化単位情報決定部２２０、セグメント代表値符号化フラグ獲得部２３０及びレジデュアル代表値獲得部２４０の機能を遂行することができる。
【０２６０】
映像データ及び符号化情報抽出部９２０は、ＳＤＣモード情報を獲得し、ＳＤＣモード情報から、デプス映像にＳＤＣモードが許容されるか否かということを決定することができる。
【０２６１】
映像データ及び符号化情報抽出部９２０は、符号化単位の予測モード及びパーティションモードについての情報を獲得することができる。
【０２６２】
映像データ及び符号化情報抽出部９２０は、デプス映像にＳＤＣモードが許容される場合、符号化単位に係わるＳＤＣフラグを獲得することができる。
【０２６３】
映像データ及び符号化情報抽出部９２０は、ＳＤＣフラグが符号化単位にＳＤＣモードが適用されたことを示すとき、符号化単位に係わるレジデュアル代表値を獲得することができる。
【０２６４】
映像データ復号化部９３０は、最大符号化単位別深度及び分割情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部９３０は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、判読されたパーティションモード、予測モード、変換単位に基づいて、符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、並びに逆変換過程を含んでもよい。
【０２６５】
映像データ復号化部９３０は、深度別符号化単位の予測単位のパーティションモード情報、及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。
【０２６６】
また、映像データ復号化部９３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を判読し、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。
【０２６７】
映像データ復号化部９３０は、深度別分割情報を利用して、現在最大符号化単位の深度を決定することができる。もし分割情報が現在深度において、それ以上分割されないということを示しているならば、現在深度が深度である。従って、映像データ復号化部９３０は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションモード、予測モード及び変換単位サイズ情報を利用して復号化することができる。
【０２６８】
すなわち、符号化単位、予測単位及び最小単位のうち所定データ単位に対して設定されている符号化情報を観察し、同一分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部９３０によって、同一符号化モードによって復号化する１つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号化が行われる。
【０２６９】
映像データ復号化部９３０は、図２Ａの復号化部２５０の機能を遂行することができる。
【０２７０】
映像データ復号化部９３０は、符号化単位の予測モードとパーティションモードとによって、符号化単位の予測単位に含まれた予測値を決定することができる。そして、映像データ復号化部９３０は、予測値それぞれに対して、レジデュアル代表値を加えることにより、符号化単位の現在ブロックを復元することができる。
【０２７１】
図２Ａにおいて説明した構成を含むインターレイヤビデオ復号化装置は、受信された第１レイヤ映像ストリーム及び第２レイヤ映像ストリームを復号化し、第１レイヤ映像及び第２レイヤ映像を復元するために、ビデオ復号化装置９００を視点数ほど含んでもよい。
【０２７２】
第１レイヤ映像ストリームが受信された場合には、ビデオ復号化装置９００の映像データ復号化部９３０は、抽出部９２０によって、第１レイヤ映像ストリームから抽出された第１レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号化部９３０は、第１レイヤ映像のサンプルのツリー構造による符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、第１レイヤ映像を復元することができる。
【０２７３】
第２レイヤ映像ストリームが受信された場合には、ビデオ復号化装置９００の映像データ復号化部９３０は、抽出部９２０によって、第２レイヤ映像ストリームから抽出された第２レイヤ映像のサンプルを、最大符号化単位のツリー構造による符号化単位に分けることができる。映像データ復号化部９３０は、第２レイヤ映像のサンプルの符号化単位ごとに、映像間予測のための予測単位別に動き補償を行い、第２レイヤ映像を復元することができる。
【０２７４】
抽出部９２０は、第１レイヤ映像と第２レイヤ映像との輝度差を補償するために、輝度誤差に係わる情報をビットストリームから獲得することができる。ただし、符号化単位の符号化モードによって輝度遂行いかんが決定される。例えば、サイズ２Ｎｘ２Ｎの予測単位に対してのみ輝度補償が行われる。
【０２７５】
結局、ビデオ復号化装置９００は、符号化過程において、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに対する復号化に利用することができる。すなわち、最大符号化単位ごとに最適符号化単位と決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。
【０２７６】
従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適分割情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。
【０２７７】
図１０は、一実施形態による符号化単位の概念を図示している。
【０２７８】
符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに分割され、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに分割され、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。
【０２７９】
ビデオデータ１０１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ１０２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ１０３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図１０に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。
【０２８０】
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ１０３０に比べ、解像度が高いビデオデータ１０１０，１０２０は、符号化サイズの最大サイズが６４に選択される。
【０２８１】
ビデオデータ１０１０の最大深度が２であるので、ビデオデータ１０１０の符号化単位１０１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。一方、ビデオデータ１０３０の最大深度が１であるので、ビデオデータ１０３０の符号化単位１０３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。
【０２８２】
ビデオデータ１０２０の最大深度が３であるので、ビデオデータ１０２０の符号化単位１０２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、細部情報の表現能が向上する。
【０２８３】
図１１は、一実施形態による、符号化単位に基づいたビデオ符号化部１１００のブロック図を図示している。
【０２８４】
一実施形態によるビデオ符号化部１１００は、ビデオ符号化装置８００のピクチャ符号化部１５２０において、映像データを符号化するのに経る作業を行う。すなわち、イントラ予測部１１２０は、現在映像１１０５において、イントラモードの符号化単位に対して、予測単位別にイントラ予測を行い、インター予測部１１１５は、インターモードの符号化単位に対して、予測単位別に、現在映像１１０５及び復元ピクチャバッファ１１１０で獲得された参照映像を利用して、インター予測を行う。現在映像１１０５は、最大符号化単位に分割された後、順次にエンコーディングが行われる。このとき、最大符号化単位がツリー構造に分割される符号化単位に対して、エンコーディングを行う。
【０２８５】
イントラ予測部１１２０またはインター予測部１１１５から出力された各モードの符号化単位に係わる予測データを、現在映像１１０５のエンコーディングされる符号化単位に係わるデータから取り除くことにより、レジデューデータを生成し、レジデューデータは、変換部１１２５及び量子化部１１３０を経て、変換単位別に量子化された変換係数として出力される。量子化された変換係数は、逆量子化部１１４５、逆変換部１１５０を介して、空間領域のレジデューデータに復元される。復元された空間領域のレジデューデータは、イントラ予測部１１２０またはインター予測部１１１５から出力された各モードの符号化単位に係わる予測データと加えられることにより、現在映像１１０５の符号化単位に係わる空間領域のデータに復元される。復元された空間領域のデータは、デブロッキング部１１５５及びＳＡＯ遂行部１１６０を経て、復元映像に生成される。生成された復元映像は、復元ピクチュアバッファ１１１０に保存される。復元ピクチャバッファ１１１０に保存された復元映像は、他の映像のインター予測のための参照映像に利用される。変換部１１２５及び量子化部１１３０で量子化された変換係数は、エントロピー符号化部１１３５を経て、ビットストリーム１１４０として出力される。
【０２８６】
一実施形態によるビデオ符号化部１１００が、ビデオ符号化装置８００に適用されるために、ビデオ符号化部１１００の構成要素である、インター予測部１１１５、イントラ予測部１１２０、変換部１１２５、量子化部１１３０、エントロピー符号化部１１３５、逆量子化部１１４５、逆変換部１１５０、デブロッキング部１１５５及びＳＡＯ遂行部１１６０が、最大符号化単位ごとに、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行うことができる。
【０２８７】
特に、イントラ予測部１１２０及びインター予測部１１１５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティションモード及び予測モードを決定し、変換部１１２５は、ツリー構造による符号化単位のうち、それぞれの符号化単位内のクアッドツリーによる変換単位の分割いかんを決定することができる。
【０２８８】
図１２は、一実施形態による符号化単位に基づいたビデオ復号化部１２００のブロック図を図示している。
【０２８９】
エントロピー復号化部１２１５は、ビットストリーム１２０５から、復号化対象である符号化された映像データ、及び復号化のために必要な符号化情報をパージングする。符号化された映像データは、量子化された変換係数であり、逆量子化部１２２０及び逆変換部１２２５は、量子化された変換係数からレジデューデータを復元する。
【０２９０】
イントラ予測部１２４０は、イントラモードの符号化単位に対して、予測単位別にイントラ予測を行う。インター予測部１２３５は、現在映像のうちインターモードの符号化単位に対して、予測単位別に、復元ピクチャバッファ１２３０で獲得された参照映像を利用してインター予測を行う。
【０２９１】
イントラ予測部１２４０またはインター予測部１２３５を経た各モードの符号化単位に係わる予測データと、レジデューデータとが加えられることにより、現在映像１１０５の符号化単位に係わる空間領域のデータが復元され、復元された空間領域のデータは、デブロッキング部１２４５及びＳＡＯ遂行部１２５０を経て、復元映像１２６０として出力される。また、復元ピクチュアバッファ１２３０に保存された復元映像は、参照映像として出力される。
【０２９２】
ビデオ復号化装置９００のピクチャ復号化部９３０において映像データを復号化するために、一実施形態によるビデオ復号化部１２００のエントロピー復号化部１２１５以後の段階別作業が遂行される。
【０２９３】
ビデオ復号化部１２００が、一実施形態によるビデオ復号化装置９００に適用されるために、ビデオ復号化部１２００の構成要素である、エントロピー復号化部１２１５、逆量子化部１２２０、逆変換部１２２５、イントラ予測部１２４０、インター予測部１２３５、デブロッキング部１２４５及びＳＡＯ遂行部１２５０が、最大符号化単位ごとに、ツリー構造による符号化単位のうちそれぞれの符号化単位に基づいて、作業を行うことができる。
【０２９４】
特に、イントラ予測部１２４０及びインター予測部１２３５は、ツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、パーティションモード及び予測モードを決定し、逆変換部１２２５は、符号化単位ごとに、クアッドツリー構造による変換単位の分割いかんを決定することができる。
【０２９５】
図１０の符号化動作及び図１１の復号化動作は、それぞれ単一レイヤでのビデオストリーム符号化動作及び復号化動作を詳細に説明したものである。従って、図１Ａのビデオ符号化装置１０が２以上のレイヤのビデオストリームを符号化するならば、レイヤ別に、映像符号化部１１００を含んでもよい。類似して、図２Ａのインタレイヤ復号化装置２０が２以上のレイヤのビデオストリームを復号化するならば、レイヤ別に、映像復号化部１２００を含んでもよい。
【０２９６】
図１３は、一実施形態による、深度別符号化単位及びパーティションを図示している。
【０２９７】
一実施形態によるビデオ符号化装置８００、及び一実施形態によるビデオ復号化装置９００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によっても多様に設定される。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位の大きさが決定されてもよい。
【０２９８】
一実施形態による符号化単位の階層構造１３００は、符号化単位の最大高及び最大幅が６４であり、最大深度が３である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。一実施形態による符号化単位の階層構造１３００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造１３００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。
【０２９９】
すなわち、符号化単位１３１０は、符号化単位の階層構造１３００において最大符号化単位であって、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位１３２０、サイズ１６ｘ１６である深度２の符号化単位１３３０、サイズ８ｘ８である深度３の符号化単位１３４０が存在する。サイズ８ｘ８である深度３の符号化単位１３４０は、最小符号化単位である。
【０３００】
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位１３１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位１３１０に含まれるサイズ６４ｘ６４のパーティション１３１０、サイズ６４ｘ３２のパーティション１３１２、サイズ３２ｘ６４のパーティション１３１４、サイズ３２ｘ３２のパーティション１３１６に分割される。
【０３０１】
同様に、深度１のサイズ３２ｘ３２の符号化単位１３２０の予測単位は、サイズ３２ｘ３２の符号化単位１３２０に含まれるサイズ３２ｘ３２のパーティション１３２０、サイズ３２ｘ１６のパーティション１３２２、サイズ１６ｘ３２のパーティション１３２４、サイズ１６ｘ１６のパーティション１３２６に分割される。
【０３０２】
同様に、深度２のサイズ１６ｘ１６の符号化単位１３３０の予測単位は、サイズ１６ｘ１６の符号化単位１３３０に含まれるサイズ１６ｘ１６のパーティション１３３０、サイズ１６ｘ８のパーティション１３３２、サイズ８ｘ１６のパーティション１３３４、サイズ８ｘ８のパーティション１３３６に分割される。
同様に、深度３のサイズ８ｘ８の符号化単位１３４０の予測単位は、サイズ８ｘ８の符号化単位１３４０に含まれるサイズ８ｘ８のパーティション１３４０、サイズ８ｘ４のパーティション１３４２、サイズ４ｘ８のパーティション１３４４、サイズ４ｘ４のパーティション１３４６に分割される。
【０３０３】
一実施形態によるビデオ符号化装置８００の符号化単位決定部８２０は、最大符号化単位１３１０の深度を決定するために、最大符号化単位１３１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。
【０３０４】
同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータについて、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位、及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。
【０３０５】
それぞれの深度別符号化のためには、符号化単位の階層構造１３００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造１３００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索される。最大符号化単位１３１０において最小符号化誤差が発生する深度及びパーティションが、最大符号化単位１３１０の深度及びパーティションモードに選択される。
【０３０６】
図１４は、一実施形態による、符号化単位及び変換単位の関係を図示している。
【０３０７】
一実施形態によるビデオ符号化装置８００、または一実施形態によるビデオ復号化装置９００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同サイズの符号化単位で映像を符号化／復号化する。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。
【０３０８】
例えば、一実施形態によるビデオ符号化装置８００、または一実施形態によるビデオ復号化装置９００において、現在符号化単位１４１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位１４２０を利用して変換が行われる。
【０３０９】
また、６４ｘ６４サイズの符号化単位１４１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
【０３１０】
図１５は、一実施形態による符号化情報を図示している。
【０３１１】
一実施形態によるビデオ符号化装置８００の出力部８３０は、分割情報として、それぞれの深度の符号化単位ごとに、パーティションモードについての情報１５００、予測モードについての情報１５１０、変換単位サイズについての情報１５２０を符号化して伝送することができる。
【０３１２】
パーティションモードに係わる情報１５００は、現在符号化単位の予測符号化のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態についての情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション１５０２、サイズ２ＮｘＮのパーティション１５０４、サイズＮｘ２Ｎのパーティション１５０６、サイズＮｘＮのパーティション１５０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションモードについての情報１５００は、サイズ２Ｎｘ２Ｎのパーティション１５０２、サイズ２ＮｘＮのパーティション１５０４、サイズＮｘ２Ｎのパーティション１５０６及びサイズＮｘＮのパーティション１５０８のうち一つを示すように設定される。
【０３１３】
予測モードについての情報１５１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報１５１０を介して、パーティションモードについての情報１５００が示すパーティションが、イントラモード１５１２、インターモード１５１４及びスキップモード１５１６のうち一つで予測符号化が行われるかということが設定される。
【０３１４】
また、変換単位サイズについての情報１５２０は、現在符号化単位を、いかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ１５２２、第２イントラ変換単位サイズ１５２４、第１インター変換単位サイズ１５２６、第２インター変換単位サイズ１５２８のうち一つである。
【０３１５】
一実施形態によるビデオ復号化装置９００の映像データ及び符号化情報抽出部１６１０は、それぞれの深度別符号化単位ごとに、パーティションモードについての情報１５００、予測モードについての情報１５１０、変換単位サイズについての情報１５２０を抽出して復号化に利用することができる。
【０３１６】
図１６は、一実施形態による深度別符号化単位を図示している。
【０３１７】
深度の変化を示すために、分割情報が利用される。該分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。
【０３１８】
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位１６００の予測符号化のための予測単位１６１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションモード１６１２、２Ｎ＿０ｘＮ＿０サイズのパーティションモード１６１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションモード１６１６、Ｎ＿０ｘＮ＿０サイズのパーティションモード１６１８を含んでもよい。予測単位が対称的な比率で分割されたパーティション１６１２，１６１４，１６１６，１６１８だけが例示されているが、前述のように、パーティションモードは、それに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
【０３１９】
パーティションモードごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。
【０３２０】
サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションモード１６１２，１６１４，１６１６のうち一つによる符号化誤差が最小であるならば、それ以上下位深度に分割する必要ない。
【０３２１】
サイズＮ＿０ｘＮ＿０のパーティションモード１６１８による符号化誤差が最小であるならば、深度０を１に変更しながら分割し（１６２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションモードの符号化単位１６３０に対して反復的に符号化を行い、最小符号化誤差を検索する。
【０３２２】
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位１６３０の予測符号化のための予測単位１６４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションモード１６４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションモード１６４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションモード１６４６、サイズＮ＿１ｘＮ＿１のパーティションモード１６４８を含んでもよい。
【０３２３】
また、サイズＮ＿１ｘＮ＿１のパーティションモード１６４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割し（１６５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位１６６０に対して反復的に符号化を行い、最小符号化誤差を検索する。
【０３２４】
最大深度がｄである場合、深度別符号化単位が深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（１６７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位１６８０の予測符号化のための予測単位１６９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションモード１６９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード１６９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションモード１６９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード１６９８を含んでもよい。
【０３２５】
パーティションモードにおいて、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションモードが検索される。
【０３２６】
サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションモード１６９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位１６００に対する深度が深度ｄ−１に決定され、パーティションモードは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位１６８０に対して、分割情報が設定されない。
【０３２７】
データ単位１６９９は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。かような反復的符号化過程を介して、一実施形態によるビデオ符号化装置８００は、符号化単位１６００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択して深度を決定し、当該パーティションモード及び予測モードが深度の符号化モードに設定される。
【０３２８】
かように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択されて深度に決定される。深度、並びに予測単位のパーティションモード及び予測モードは、分割情報として符号化されて伝送される。また、深度０から深度に至るまで符号化単位が分割されなければならないので、深度の分割情報だけが「０」に設定され、深度を除いた深度別分割情報は、「１」に設定されなければならない。
【０３２９】
一実施形態によるビデオ復号化装置９００の映像データ及び符号化情報抽出部９２０は、符号化単位１６００に係わる深度及び予測単位についての情報を抽出し、符号化単位１６１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置９００は、深度別分割情報を利用して、分割情報が「０」である深度を深度と把握し、当該深度に係わる分割情報を利用して復号化に利用することができる。
【０３３０】
図１７、図１８及び図１９は、一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。
【０３３１】
符号化単位１７１０は、最大符号化単位について、一実施形態によるビデオ符号化装置８００が決定した深度別符号化単位である。予測単位１７６０は、符号化単位１７１０において、それぞれの深度別符号化単位の予測単位のパーティションであり、変換単位１７７０は、それぞれの深度別符号化単位の変換単位である。
【０３３２】
深度別符号化単位１７１０は、最大符号化単位の深度が０であるとすれば、符号化単位１７１２，１７５４は、深度が１であり、符号化単位１７１４，１７１６，１７１８，１７２８，１７５０，１７５２は、深度が２であり、符号化単位１７２０，１７２２，１７２４，１７２６，１７３０，１７３２，１７４８は、深度が３であり、符号化単位１７４０，１７４２，１７４４，１７４６は、深度が４である。
【０３３３】
予測単位１７６０において、一部パーティション１７１４，１７１６，１７２２，１７３２，１７４８，１７５０，１７５２，１７５４は、符号化単位が分割された形態である。すなわち、パーティション１７１４，１７２２，１７５０，１７５４は、２ＮｘＮのパーティションモードであり、パーティション１７１６，１７４８，１７５２は、Ｎｘ２Ｎのパーティションモードであり、パーティション１７３２は、ＮｘＮのパーティションモードである。深度別符号化単位１７１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。
【０３３４】
変換単位１７７０において、一部変換単位１７５２の映像データについては、符号化単位に比べて小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１７１４，１７１６，１７２２，１７３２，１７４８，１７５０，１７５２，１７５４は、予測単位１７６０において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置８００、及び一実施形態によるビデオ復号化装置９００は、同一符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。
【０３３５】
それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションモード情報、予測モード情報、変換単位サイズ情報を含んでもよい。下記表１は、一実施形態によるビデオ符号化装置８００、及び一実施形態によるビデオ復号化装置９００に設定することができる一例を示す。
【０３３６】
【表１】
2017505037.tif 000003
一実施形態によるビデオ符号化装置８００の出力部８３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置９００の符号化情報抽出部９２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
【０３３７】
分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、下位符号化単位にそれ以上分割されない深度が深度であるので、深度に対して、パーティションモード情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
【０３３８】
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションモードで定義され、スキップモードは、パーティションモード２Ｎｘ２Ｎでのみ定義される。
【０３３９】
パーティションモード情報は、予測単位の高さまたは幅が対称的な比率で分割された対称的パーティションモード２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮ、並びに非対称的な比率で分割された非対称的パーティションモード２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ＮＲｘ２Ｎを示すことができる。非対称的パーティションモード２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションモードｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。
【０３４０】
変換単位サイズは、イントラモードにおいて、二種の大きさに設定され、インターモードにおいて、二種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションモードが、対称形パーティションモードであるならば、変換単位の大きさは、ＮｘＮに設定され、非対称形パーティションモードであるならば、Ｎ／２ｘＮ／２に設定される。
【０３４１】
一実施形態によるツリー構造による符号化単位の符号化情報は、深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を１以上含んでもよい。
【０３４２】
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該深度の符号化単位を確認することができるので、最大符号化単位内の深度の分布が類推される。
【０３４３】
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
【０３４４】
他の実施形態において、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内において、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照される。
【０３４５】
図２０は、表１の符号化モード情報による、符号化単位、予測単位及び変換単位の関係を図示している。
【０３４６】
最大符号化単位２０００は、深度の符号化単位２００２，２００４，２００６，２０１２，２０１４，２０１６，２０１８を含む。このうち１つの符号化単位２０１８は、深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位２０１８のパーティションモード情報は、パーティションモード２Ｎｘ２Ｎ  ２０２２，２ＮｘＮ  ２０２４，Ｎｘ２Ｎ  ２０２６，ＮｘＮ  ２０２８，２ＮｘｎＵ  ２０３２，２ＮｘｎＤ  ２０３４，ｎＬｘ２Ｎ  ２０３６及びｎＲｘ２Ｎ  ２０３８のうち一つに設定される。
【０３４７】
変換単位分割情報ＴＵ  size  flagは、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションモードによって変更される。
【０３４８】
例えば、パーティションモード情報が、対称形パーティションモード２Ｎｘ２Ｎ  ２０２２，２ＮｘＮ  ２０２４，Ｎｘ２Ｎ  ２０２６及びＮｘＮ  ２０２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位２０４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位２０４４が設定される。
【０３４９】
パーティションモード情報が、非対称形パーティションモード２ＮｘｎＵ  ２０３２，２ＮｘｎＤ  ２０３４，ｎＬｘ２Ｎ  ２０３６及びｎＲｘ２Ｎ  ２０３８のうち一つに設定された場合、変換単位分割情報ＴＵ  size  flagが０であるならば、サイズ２Ｎｘ２Ｎの変換単位２０５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位２０５４が設定される。
【０３５０】
図２０を参照して説明した変換単位分割情報ＴＵ  size  flagは、０または１の値を有するフラグであるが、一実施形態による変換単位分割情報が１ビットのフラグに限定されるものではなく、設定によって、０、１、２、３、…などに増加して変換単位が階層的に分割される。変換単位分割情報は、変換インデックスの一実施形態として利用される。
【０３５１】
その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置８００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、ＳＰＳに挿入される。一実施形態によるビデオ復号化装置９００は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。
【０３５２】
例えば、（ａ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位サイズが３２ｘ３２であるならば、（ａ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、（ａ−２）変換単位分割情報が１であるとき、変換単位の大きさは、１６ｘ１６に設定され、（ａ−３）変換単位分割情報が２であるとき、変換単位の大きさは、８ｘ８に設定される。
【０３５３】
他の例として、（ｂ）現在符号化単位がサイズ３２ｘ３２であり、最小変換単位サイズが３２ｘ３２であるならば、（ｂ−１）変換単位分割情報が０であるとき、変換単位の大きさは、３２ｘ３２に設定され、変換単位の大きさが３２ｘ３２より小さいことがないので、それ以上の変換単位分割情報が設定されることがない。
【０３５４】
さらに他の例として、（ｃ）現在符号化単位がサイズ６４ｘ６４であり、最大変換単位分割情報が１であるならば、変換単位分割情報は、０または１であり、他の変換単位分割情報が設定されることがない。
【０３５５】
従って、最大変換単位分割情報を、「MaxTransformSizeIndex」、最小変換単位サイズを「MintransformSize」、変換単位分割情報が０である場合の変換単位サイズを「RootTuSize」と定義するとき、現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」は、下記数式（１）のように定義される。
【０３５６】
CurrMinTuSize
＝ｍａｘ（MintransformSize，RootTuSize／（２＾MaxTransformSizeIndex））  （１）
現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」に比べ、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式（１）によれば、「RootTuSize／（２＾MaxTransformSizeIndex）」は、、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」を最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、「MintransformSize」は、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズ「CurrMinTuSize」でもある。
【０３５７】
一実施形態による最大変換単位サイズ「RootTuSize」は、予測モードによって異なる。
【０３５８】
例えば、現在予測モードがインターモードであるならば、「RootTuSize」は、下記数式（２）によって決定される。数式（２）において、「MaxTransformSize」は、最大変換単位サイズ、「PUSize」は、現在予測単位サイズを示す。
【０３５９】
RootTuSize＝ｍｉｎ（MaxTransformSize，PUSize）    （２）
すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。
【０３６０】
現在パーティション単位の予測モードが予測モードが、イントラモードであるならば、「RootTuSize」は、下記数式（３）によって決定される。「PartitionSize」は、現在パーティション単位の大きさを示す。
【０３６１】
RootTuSize＝ｍｉｎ（MaxTransformSize，PartitionSize）    （３）
すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が０である場合の変換単位サイズである「RootTuSize」は、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。
【０３６２】
ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズ「RootTuSize」は、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、それらに限定されるものではないことに留意しなければならない。
【０３６３】
図８ないし図２０を参照して説明したツリー構造の符号化単位に基づいたビデオ符号化技法によって、ツリー構造の符号化単位ごとに、空間領域の映像データが符号化され、ツリー構造の符号化単位に基づいたビデオ復号化技法によって、最大符号化単位ごとに、復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、あるいはネットワークを介して伝送される。
【０３６４】
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムによって作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read  only  memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact  disc）−ＲＯＭ、ＤＶＤ（digital  versatile  disc）など）のような記録媒体を含む。
【０３６５】
説明の便宜のために、先の図１Ａないし図２０を参照して説明したビデオ符号化方法及び／またはビデオ符号化方法は、「本発明のビデオ符号化方法」と称する。また、先の図１Ａないし図２０を参照して説明したビデオ復号化方法及び／またはビデオ復号化方法は、「本発明のビデオ復号化方法」と称する
また、先の図１Ａないし図２０を参照して説明したインターレイヤビデオ符号化装置、ビデオ符号化装置８００、またはビデオ符号化部１１００で構成されたビデオ符号化装置は、「本発明のビデオ符号化装置」と称する。また、先の図１Ａないし図２０を参照して説明したインターレイヤビデオ復号化装置、ビデオ復号化装置９００、またはビデオ復号化部１２００で構成されたビデオ復号化装置は、「本発明のビデオ復号化装置」と称する。
【０３６６】
一実施形態によるプログラムが保存されるコンピュータで判読可能な記録媒体がディスク２６０００である実施形態について、以下で詳細に説明する。
【０３６７】
図２１は、一実施形態によるプログラムが保存されたディスク２６０００の物理的構造を例示する。記録媒体として説明したディスク２６０００は、ハードドライブ、ＣＤ−ＲＯＭディスク、ブルーレイ（（登録商標）Blu-ray）ディスク、ＤＶＤディスクでもある。ディスク２６０００は、多数の同心円のトラックＴｒから構成され、トラックは、円周方向に沿って、所定個数のセクタＳｅに分割される。前述の一実施形態によるプログラムを保存するディスク２６０００における特定領域に、前述の量子化パラメータ決定方法、ビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムが割り当てられて保存される。
【０３６８】
前述のビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータシステムについて、図２２を参照して説明する。
【０３６９】
図２２は、ディスク２６０００を利用して、プログラムを記録して判読するためのディスクドライブ２６８００を図示している。コンピュータシステム２６７００は、ディスクドライブ２６８００を利用して、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムを、ディスク２６０００に保存することができる。ディスク２６０００に保存されたプログラムをコンピュータシステム２６７００上で実行するために、ディスクドライブ２６８００によって、ディスク２６０００からプログラムが判読され、プログラムがコンピュータシステム２６７００に伝送される。
【０３７０】
図２１及び図２２で例示されたディスク２６０００だけではなく、メモリカード、ＲＯＭカセット、ＳＳＤ（solid  state  drive）にも、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムが保存される。
【０３７１】
前述の実施形態によるビデオ符号化方法及びビデオ復号化方法が適用されたシステムについて説明する。
【０３７２】
図２３は、コンテンツ流通サービス（content  distribution  service）を提供するためのコンテンツ供給システム（content  supply  system）１１０００の全体的構造を図示している。通信システムのサービス領域は、所定サイズのセルに分割され、各セルに、ベースステーションになる無線基地局１１７００，１１８００，１１９００，１２０００が設けられる。
【０３７３】
コンテンツ供給システム１１０００は、多数の独立デバイスを含む。例えば、コンピュータ１２１００、ＰＤＡ（personal  digital  assistant）１２２００、ビデオカメラ１２３００及び携帯電話１２５００のような独立デバイスが、インターネットサービス・プロバイダ１１２００、通信網１１４００及び無線基地局１１７００，１１８００，１１９００，１２０００を経て、インターネット１１１００に連結される。
【０３７４】
しかし、コンテンツ供給システム１１０００は、図２４に図示された構造にだけ限定されるものではなく、デバイスが選択的にも連結される。独立デバイスは、無線基地局１１７００，１１８００，１１９００，１２０００を経ず、通信網１１４００に直接連結されもする。
【０３７５】
ビデオカメラ１２３００は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５００は、ＰＤＣ(personal  digital  communications)方式、ＣＤＭＡ（code  division  multiple  access）方式、Ｗ−ＣＤＭＡ（wideband  code  division  multiple  access）方式、ＧＳＭ（（登録商標）global  system  for  mobile  communications）方式及びＰＨＳ（personal  handyphone  system）方式のような多様なプロトコルのうち少なくとも１つの通信方式を採択することができる。
【０３７６】
ビデオカメラ１２３００は、無線基地局１１９００及び通信網１１４００を経て、ストリーミングサーバ１１３００に連結される。ストリーミングサーバ１１３００は、ユーザが、ビデオカメラ１２３００を使用して伝送したコンテンツを、リアルタイム放送でストリーミング伝送することができる。ビデオカメラ１２３００から受信されたコンテンツは、ビデオカメラ１２３００またはストリーミングサーバ１１３００によって符号化される。ビデオカメラ１２３００によって撮影されたビデオデータは、コンピュータ１２１００を経ても、ストリーミングサーバ１１３００に伝送される。
【０３７７】
カメラ１２６００によって撮影されたビデオデータも、コンピュータ１２１００を経てストリーミングサーバ１１３００に伝送される。カメラ１２６００は、デジタルカメラのように、静止映像及びビデオ映像をいずれも撮影することができる撮像装置である。カメラ１２６００から受信されたビデオデータは、カメラ１２６００またはコンピュータ１２１００によって符号化される。ビデオ符号化及びビデオ復号化のためのソフトウェアは、コンピュータ１２１００がアクセスすることができるＣＤ−ＲＯＭディスク、フロッピー（登録商標）ディスク、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータで判読可能な記録媒体に保存される。
【０３７８】
また、携帯電話１２５００に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話１２５００から受信される。
【０３７９】
ビデオデータは、ビデオカメラ１２３００、携帯電話１２５００またはカメラ１２６００に搭載されたＬＳＩ（large  scale  integrated  circuit）システムによって符号化される。
【０３８０】
一実施形態によるコンテンツ供給システム１１０００において、例えば、コンサートの現場録画コンテンツのように、ユーザがビデオカメラ１２３００、カメラ１２６００、携帯電話１２５００、または他の撮像デバイスを利用して録画したコンテンツが符号化され、ストリーミングサーバ１１３００に伝送される。ストリーミングサーバ１１３００は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。
【０３８１】
該クライアントは、符号化されたコンテンツデータを復号化することができるデバイスであり、例えば、コンピュータ１２１００、ＰＤＡ  １２２００、ビデオカメラ１２３００または携帯電話１２５００でもある。従って、コンテンツ供給システム１１０００は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム１１０００は、クライアントが符号化されたコンテンツデータを受信し、リアルタイムで復号化して再生させ、個人放送（personal  broadcasting）を可能にする。
【０３８２】
コンテンツ供給システム１１０００に含まれた独立デバイスの符号化動作及び復号化動作に、本発明のビデオ符号化装置及びビデオ復号化装置が適用される。
【０３８３】
図２４及び図２５を参照し、コンテンツ供給システム１１０００のうち携帯電話１２５００の一実施形態について詳細に説明する。
【０３８４】
図２４は、一実施形態による、本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話１２５００の外部構造を図示している。携帯電話１２５００は、機能が制限されておらず、応用プログラムを介して、相当部分の機能を変更したり拡張したりすることができるスマートフォン１２５１０でもある。
【０３８５】
携帯電話１２５００は、無線基地局１２０００とＲＦ（radio  frequency）信号を交換するための内蔵アンテナを含み、カメラ１２５３０によって撮影された映像、またはアンテナ１２５１０によって受信されて復号化された映像をディスプレイするためのＬＣＤ（liquid  crystal  display）画面、ＯＬＥＤ（organic  light  emitting  diode）画面のようなディスプレイ画面１２５２０を含む。スマートフォン１２５１９は、制御ボタン、タッチパネルを含む動作パネル１２５４０を含む。ディスプレイ画面１２５２０がタッチスクリーンである場合、動作パネル１２５４０は、ディスプレイ画面１２５２０のタッチ感知パネルをさらに含む。スマートフォン１２５１０は、音声、音響を出力するためのスピーカ１２５８０、または他の形態の音響出力部と、音声、音響が入力されるマイクロフォン１２５５０、または他の形態の音響入力部と、を含む。スマートフォン１２５１０は、ビデオ及び静止映像を撮影するためのＣＣＤ（charge  coupled  device）カメラのようなカメラ１２５３０をさらに含む。また、スマートフォン１２５１０は、カメラ１２５３０によって撮影されたり、電子メール（Ｅ−mail）でもって受信されるか、あるいは他の形態で獲得されたりするビデオや静止映像と共に、符号化されたり復号化されたりするデータを保存するための記録媒体１２５７０；及び記録媒体１２５７０を携帯電話１２５００に装着するためのスロット１２５６０；を含んでもよい。記録媒体１２５７０は、ＳＤカード、またはプラスチックケースに内蔵されたＥＥＰＲＯＭ（electrically  erasable  and  programmable  read  only  memory）のような他の形態のフラッシュメモリでもある。
【０３８６】
図２５は、携帯電話１２５００の内部構造を図示している。ディスプレイ画面１２５２０及び動作パネル１２５４０で構成された携帯電話１２５００の各パートを組織的に制御するために、電力供給回路１２７００、動作入力制御部１２６４０、映像符号化部１２７２０、カメラ・インターフェース１２６３０、ＬＣＤ制御部１２６２０、映像復号化部１２６９０、マルチプレクサ／デマルチプレクサ（ＭＵＸ／ＤＥＭＵＸ：multiplexer/demultiplexer）１２６８０、記録／判読部１２６７０、変調／復調（modulation/demodulation）部１２６６０及び音響処理部１２６５０が、同期化バス１２７３０を介して中央制御部１２７１０に連結される。
【０３８７】
ユーザが電源ボタンを動作し、「電源オフ」状態から「電源オン」状態に設定すれば、電力供給回路１２７００は、バッテリパックから携帯電話１２５００の各パートに電力を供給することにより、携帯電話１２５００が動作モードにセッティングされる。
【０３８８】
中央制御部１２７１０は、ＣＰＵ（central  processing  unit）、ＲＯＭ及びＲＡＭ（random  access  memory）を含む。
【０３８９】
携帯電話１２５００が外部で通信データを送信する過程においては、中央制御部１２７１０の制御によって、携帯電話１２５００においてデジタル信号が生成される、例えば、音響処理部１２６５０では、デジタル音響信号が生成され、ビデオ符号化部１２７２０ではデ、ジタル映像信号が生成され、動作パネル１２５４０及び動作入力制御部１２６４０を介して、メッセージのテキストデータが生成される。中央制御部１２７１０の制御によって、デジタル信号が変調／復調部１２６６０に伝達されれば、変調／復調部１２６６０は、デジタル信号の周波数帯域を変調し、通信回路１２６１０は、帯域変調されたデジタル音響信号に対してＤ／Ａ変換（digital-analog  conversion）処理及び周波数変換（frequency  conversion）処理を行う。通信回路１２６１０から出力された送信信号は、アンテナ１２５１０を介して、音声通信基地局または無線基地局１２０００に送出される。
【０３９０】
例えば、携帯電話１２５００が通話モードであるとき、マイクロフォン１２５５０によって獲得された音響信号は、中央制御部１２７１０の制御によって、音響処理部１２６５０でデジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６０及び通信回路１２６１０を経て送信信号に変換され、アンテナ１２５１０を介して送出される。
【０３９１】
データ通信モードで、電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４０を利用して、メッセージのテキストデータが入力され、テキストデータが動作入力制御部１２６４０を介して中央制御部１２６１０に伝送される。中央制御部１２６１０の制御によって、該テキストデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して、無線基地局１２０００に送出される。
【０３９２】
データ通信モードで映像データを伝送するために、カメラ１２５３０によって撮影された映像データが、カメラ・インターフェース１２６３０を介して、映像符号化部１２７２０に提供される。カメラ１２５３０によって撮影された映像データは、カメラ・インターフェース１２６３０及びＬＣＤ制御部１２６２０を介して、ディスプレイ画面１２５２０に直ちにディスプレイされる。
【０３９３】
映像符号化部１２７２０の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部１２７２０は、カメラ１２５３０から提供された映像データを、前述の本発明のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを多重化／逆多重化部１２６８０に出力することができる。カメラ１２５３０の録画中に、携帯電話１２５００のマイクロフォン１２５５０によって獲得された音響信号も、音響処理部１２６５０を経てデジタル音響データに変換され、該デジタル音響データは、多重化／逆多重化部１２６８０に伝達される。
【０３９４】
多重化／逆多重化部１２６８０は、音響処理部１２６５０から提供された音響データと共に、映像符号化部１２７２０から提供された符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６０及び通信回路１２６１０を介して送信信号に変換され、アンテナ１２５１０を介して送出される。
【０３９５】
携帯電話１２５００が外部から通信データを受信する過程では、アンテナ１２５１０を介して受信された信号を、周波数復元（frequency  recovery）処理及びＡ／Ｄ変換（analog-digital  conversion）処理を介してデジタル信号を変換する。変調／復調部１２６６０は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号化部１２６９０、音響処理部１２６５０またはＬＣＤ制御部１２６２０に伝達される。
【０３９６】
携帯電話１２５００は、通話モードであるとき、アンテナ１２５１０を介して受信された信号を増幅し、周波数変換及びＡ／Ｄ変換（analog-digital  conversion）処理を介してデジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１０の制御によって、変調／復調部１２６６０及び音響処理部１２６５０を経て、アナログ音響信号に変換され、アナログ音響信号がスピーカ１２５８０を介して出力される。
【０３９７】
データ通信モードで、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１０を介して無線基地局１２０００から受信された信号は、変調／復調部１２６６０の処理結果として多重化されたデータを出力し、多重化されたデータは、多重化／逆多重化部１２６８０に伝達される。
【０３９８】
アンテナ１２５１０を介して受信した多重化されたデータを復号化するために、多重化／逆多重化部１２６８０は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス１２７３０によって、符号化されたビデオデータストリームは、ビデオ復号化部１２６９０に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５０に提供される。
【０３９９】
映像復号化部１２６９０の構造は、前述の本発明のビデオ復号化装置の構造と相応する。映像復号化部１２６９０は、前述の本発明のビデオ復号化方法を利用して、符号化されたビデオデータを復号化して復元されたビデオデータを生成し、復元されたビデオデータをＬＣＤ制御部１２６２０を経て、ディスプレイ画面１２５２０に復元されたビデオデータを提供することができる。
【０４００】
それによって、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面１２５２０にディスプレイされる。それと同時に、音響処理部１２６５０も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ１２５８０に提供することができる。それによって、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ１２５８０で再生される。
【０４０１】
携帯電話１２５０、または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む送信端末機であるか、あるいは本発明のビデオ復号化装置のみを含む受信端末機でもある。
【０４０２】
本発明の通信システムは、図２４を参照して説明した構造に限定されるものではない。例えば、図２６は、一実施形態による通信システムが適用されたデジタル放送システムを図示している。
【０４０３】
図２６の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号化装置を利用して、衛星ネットワークまたは地上波ネットワークを介して伝送されるデジタル放送を受信することができる。
【０４０４】
具体的に見れば、放送局１２８９０は、電波を介して、ビデオデータストリームを通信衛星または放送衛星１２９００に伝送する。放送衛星１２９００は、放送信号を伝送し、該放送信号は、家庭にあるアンテナ１２８６０によって、衛星放送受信機に受信される。各家庭において、符号化されたビデオストリームは、ＴＶ（television）受信機１２８１０、セットトップボックス（set-top  box）１２８７０または他のデバイスによって復号化されて再生される。
【０４０５】
再生装置１２８３０において、本発明のビデオ復号化装置が具現されることにより、再生装置１２８３０が、ディスク及びメモリカードのような記録媒体１２８２０に記録された符号化されたビデオストリームを判読して復号化することができる。それによって、復元されたビデオ信号は、例えば、モニタ１２８４０で再生される。
【０４０６】
衛星／地上波放送のためのアンテナ１２８６０、またはケーブルＴＶ受信のためのケーブルアンテナ１２８５０に連結されたセットトップボックス１２８７０にも、本発明のビデオ復号化装置が搭載される。セットトップボックス１２８７０の出力データも、ＴＶモニタ１２８８０で再生される。
【０４０７】
他の例として、セットトップボックス１２８７０の代わりに、ＴＶ受信機１２８１０自体に本発明のビデオ復号化装置が搭載される。
【０４０８】
適切なアンテナ１２９１０を具備した自動車１２９２０が、衛星１２８００または無線基地局１１７００から送出される信号を受信することもできる。自動車１２９２０に搭載された自動車ナビゲーションシステム１２９３０のディスプレイ画面に復号化されたビデオが再生される。
【０４０９】
ビデオ信号は、本発明のビデオ符号化装置によって符号化されて記録媒体に記録されて保存される。具体的に見れば、ＤＶＤレコーダによって、映像信号がＤＶＤディスク１２９６０に保存されるか、あるいはハードディスクレコーダ１２９５０によって、ハードディスクに映像信号が保存される。他の例として、ビデオ信号は、ＳＤカード１２９７０に保存される。ハードディスクレコーダ１２９５０が、一実施形態による本発明のビデオ復号化装置を具備すれば、ＤＶＤディスク１２９６０、ＳＤカード１２９７０、または他の形態の記録媒体に記録されたビデオ信号がモニタ１２８８０で再生される。
【０４１０】
自動車ナビゲーションシステム１２９３０は、図２５のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。例えば、コンピュータ１２１００（図２３）及びＴＶ受信機１２８１０も、図２５のカメラ１２５３０、カメラ・インターフェース１２６３０及び映像符号化部１２７２０を含まないこともある。
【０４１１】
図２７は、一実施形態による、ビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピューティングシステムのネットワーク構造を図示している。
【０４１２】
本発明のクラウドコンピューティングシステムは、クラウドコンピュータサーバ１４１００、ユーザＤＢ（database）１４１００、コンピューティング資源１４２００及びユーザ端末機を含んでなる。
【０４１３】
クラウドコンピューティングシステムは、ユーザ端末機の要請によって、インターネットのような情報通信網を介して、コンピューティング資源のオンデマンド・アウトソーシングサービスを提供する。クラウドコンピューディング環境において、サービスプロバイダは、互いに異なる物理的な位置に存在するデータセンターのコンピューティング資源を仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザは、アプリケーション（application）、ストレージ（storage）、運用体制（ＯＳ）、保安（security）などのコンピューティング資源を、各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望時点で所望するほど選んで使用することができる。
【０４１４】
特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピューディングサーバ１４１００に接続する。ユーザ端末機は、クラウドコンピューディングサーバ１４１００から、クラウドコンピューディングサービス、特に、動画再生サービスを提供される。ユーザ端末機は、デスクトップＰＣ（personal  computer）１４３００、スマートＴＶ  １４４００、スマートフォン１４５００、ノート型パソコン１４６００、ＰＭＰ（portable  multimedia  player）１４７００、テブレットＰＣ  １４８００など、インターネット接続が可能な全ての電子機器になる。
【０４１５】
クラウドコンピューディングサーバ１４１００は、クラウド網に分散している多数のコンピューティング資源１４２００を統合し、ユーザ端末機に提供することができる。多数のコンピューティング資源１４２００は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含んでもよい。かようにクラウドコンピューディングサーバ１４１００は、さまざまなところに分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。
ユーザＤＢ  １４１００には、クラウドコンピューディングサービスに加入しているユーザ情報が保存される。ここで、該ユーザ情報は、ログイン情報、住所、氏名など個人信用情報を含んでもよい。また、ユーザ情報は、動画のインデックス（index）を含んでもよい。ここで、該インデックスは、再生を完了した動画リスト、再生中の動画リスト、再生中の動画の停止時点などを含んでもよい。
【０４１６】
ユーザＤＢ  １４１００に保存された動画についての情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン１４６００から再生要請され、ノート型パソコン１４６００に所定動画サービスを提供した場合、ユーザＤＢ  １４１００に、所定動画サービスの再生ヒストリーが保存される。スマートフォン１４５００から、同一動画サービスの再生要請が受信される場合、クラウドコンピューディングサーバ１４１００は、ユーザＤＢ  １４１００を参照し、所定動画サービスを探し出して再生する。スマートフォン１４５００が、クラウドコンピューディングサーバ１４１００を介して動画データストリームを受信する場合、動画データストリームを復号化してビデオを再生する動作は、先の図２４を参照して説明した携帯電話１２５００の動作と類似している。
【０４１７】
クラウドコンピューディングサーバ１４１００は、ユーザＤＢ  １４１００に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピューディングサーバ１４１００は、ユーザ端末機から、ユーザＤＢ  １４１００に保存された動画に対する再生要請を受信する。該動画がそれ以前に再生中であったのであるならば、クラウドコンピューディングサーバ１４１００は、ユーザ端末機からの選択によって、最初から再生するか、あるいは以前停止時点から再生するかということによって、ストリーミング方法が異なる。例えば、ユーザ端末機が、最初から再生するように要請した場合には、クラウドコンピューディングサーバ１４１００は、ユーザ端末機に当該動画を、最初のフレームからストリーミング伝送する。一方、端末機が、以前停止時点から続けて再生するように要請した場合には、クラウドコンピューディングサーバ１４１００は、ユーザ端末機に、当該動画を停止時点のフレームからストリーミング伝送する。
【０４１８】
このとき、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ復号化装置を含んでもよい。他の例として、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ符号化装置を含んでもよい。また、ユーザ端末機は、図１Ａないし図２０を参照して説明した本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含んでもよい。
【０４１９】
図１Ａないし図２０を参照して説明した、ビデオ符号化方法及びビデオ復号化方法、ビデオ符号化装置及びビデオ復号化装置が活用される一実施形態について、図２１ないし図２７において説明した。しかし、図１Ａないし図２０を参照して説明した、ビデオ符号化方法及びビデオ復号化方法が記録媒体に保存されとか、あるいはビデオ符号化装置及びビデオ復号化装置がデバイスで具現される一実施形態は、図２１ないし図２７の実施形態に限定されるものではない。
【０４２０】
本発明による方法、プロセス、装置、製品及び／またはシステムは、簡単であり、コスト的に効果的であり、複雑ではなく、非常に多様であって正確である。また、本発明による、プロセス、装置、製品及びシステムに、周知の構成要素を適用することによって、直ちに利用することができ、効率的であって経済的な製造、応用及び活用を具現することができる。本発明の他の重要な側面は、コスト低減、システム単純化、性能向上を要求する現在の方向性に符合する。かような本発明の実施例に見られる有用な様相は、結果的に、少なくとも現技術のレベルを高めることができるであろう。
本発明は、特定の最上実施例に係わって説明されたが、それら以外に、本発明に代替、変形及び修正が適用された発明は、前述の説明に照らして当業者に明白であろう。すなわち、特許請求の範囲は、かような全ての代替、変形及び修正された発明を含むものであると解釈する。従って、本明細書及び図面で説明した全ての内容は、例示的であって非制限的な意味に解釈しなければならない。
【図３ａ】
2017505037.tif 000004
【図３ｂ】
2017505037.tif 000005
【図５】
2017505037.tif 000006
【図７ａ】
2017505037.tif 000007
【図７ｂ】
2017505037.tif 000008
【図１１】
2017505037.tif 000009
【図１２】
2017505037.tif 000010
【図２０】
2017505037.tif 000011
【図２２】
2017505037.tif 000012
【図２４】
2017505037.tif 000013
【図１Ａ】
2017505037.tif 000014
【図１Ｂ】
2017505037.tif 000015
【図２Ａ】
2017505037.tif 000016
【図２Ｂ】
2017505037.tif 000017
【図４】
2017505037.tif 000018
【図６Ａ】
2017505037.tif 000019
【図６Ｂ】
2017505037.tif 000020
【図８】
2017505037.tif 000021
【図９】
2017505037.tif 000022
【図１０】
2017505037.tif 000023
【図１３】
2017505037.tif 000024
【図１４】
2017505037.tif 000025
【図１５】
2017505037.tif 000026
【図１６】
2017505037.tif 000027
【図１７】
2017505037.tif 000028
【図１８】
2017505037.tif 000029
【図１９】
2017505037.tif 000030
【図２１】
2017505037.tif 000031
【図２３】
2017505037.tif 000032
【図２５】
2017505037.tif 000033
【図２６】
2017505037.tif 000034
【図２７】
2017505037.tif 000035
【国際調査報告】
2017505037.tif 000036
2017505037.tif 000037
2017505037.tif 000038
2017505037.tif 000039