(57)【要約】  多視点ビデオデータの符号化及び復号化方法及びその装置に係り、該多視点ビデオデータ符号化方法は、多視点カラービデオフレームと、多視点カラービデオフレームに対応する深度マップフレームとを獲得し、獲得された多視点カラービデオフレームを予測符号化し、予測符号化された多視点カラービデオフレームの符号化結果を利用して、対応する深度マップフレームを予測符号化する。
2014527350.tif 000002
【特許請求の範囲】
【請求項１】
多視点ビデオデータの符号化方法において、
多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを獲得する段階と、
前記獲得された多視点カラービデオフレームを予測符号化する段階と、
前記予測符号化された多視点カラービデオフレームの符号化結果を利用して、前記対応する深度マップフレームを予測符号化する段階と、を含むことを特徴とする多視点ビデオデータの符号化方法。
【請求項２】
前記多視点カラービデオフレームを予測符号化する段階は、
前記多視点カラービデオフレームを最大サイズの符号化単位に分割した少なくとも１つの最大符号化単位ごとに、前記最大符号化単位の空間的分割回数を示す深度によって、階層的に構成される深度別符号化単位のうち、符号化深度の符号化単位を含むツリー構造による符号化単位を決定し、前記符号化深度の符号化単位ごとに、予測符号化のためのパーティションを決定し、階層的構造の変換単位を基に変換を行い、ツリー構造による変換単位を決定する段階をさらに含むことを特徴とする請求項１に記載の多視点ビデオデータの符号化方法。
【請求項３】
前記符号化結果は、
前記多視点カラービデオフレームを分割した最大符号化単位ごとに決定された符号化単位、パーティション単位及び変換単位情報を含む分割情報であり、
前記深度マップフレームを予測符号化する段階は、
前記多視点カラービデオフレームの分割情報に基づいて、前記多視点カラービデオフレームの分割形態と同一に、前記対応する深度マップフレームを分割した最大符号化単位ごとに、符号化単位、パーティション単位及び変換単位を設定し、設定された符号化単位、パーティション単位及び変換単位に基づいて、前記深度マップフレームを予測符号化することを特徴とする請求項２に記載の多視点ビデオデータの符号化方法。
【請求項４】
前記符号化結果は、
前記多視点カラービデオフレームの予測モード情報を含み、
前記深度マップフレームを予測符号化する段階は、
前記多視点カラービデオフレームのブロックの予測モード情報と同一に、前記深度マップフレームのブロックの予測モードを設定することを特徴とする請求項１に記載の多視点ビデオデータの符号化方法。
【請求項５】
前記多視点カラービデオフレームのブロックの予測モードがイントラ予測モードである場合、
前記深度マップフレームを予測符号化する段階は、
前記多視点カラービデオフレームのブロックのピクセル値を利用して、同一位置の対応する前記深度マップフレームのブロックを予測することを特徴とする請求項４に記載の多視点ビデオデータの符号化方法。
【請求項６】
前記符号化結果は、
前記多視点カラービデオフレームのブロックの動きベクトル情報を含み、
前記深度マップフレームを予測符号化する段階は、
前記多視点カラービデオフレームのブロックの動きベクトルを利用して、前記深度マップフレームのブロックの動きベクトルを決定することを特徴とする請求項１に記載の多視点ビデオデータの符号化方法。
【請求項７】
前記深度マップフレームを予測符号化する段階は、
前記多視点カラービデオフレームのブロックの動きベクトルを、所定ピクセル範囲内で変更し、前記深度マップフレームのブロックの最適動きベクトルを決定する段階と、
前記決定された最適動きベクトルと、前記多視点カラービデオフレームのブロックの動きベクトルとの差値に該当する調整値を、前記深度マップフレームのブロックの動きベクトル情報として符号化する段階と、をさらに含むことを特徴とする請求項６に記載の多視点ビデオデータの符号化方法。
【請求項８】
多視点ビデオデータの復号化方法において、
多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを符号化したビットストリームを受信する段階と、
前記多視点カラービデオフレームを復号化する段階と、
前記復号化された多視点カラービデオフレームの復号化結果を利用して、前記対応する深度マップフレームを予測復号化する段階と、を含むことを特徴とする多視点ビデオデータの復号化方法。
【請求項９】
前記多視点カラービデオフレームを予測復号化する段階は、
前記ビットストリームから、前記多視点カラービデオフレームが分割された最大符号化単位の大きさ、前記最大符号化単位の空間的分割回数を示す深度、前記深度によって階層的に構成される符号化単位の予測符号化時に利用されたパーティション、及び階層的構造の変換単位の構造を示す情報を獲得する段階と、
前記獲得された情報に基づいて、前記多視点カラービデオフレームを、最大サイズの符号化単位に分割した少なくとも１つの最大符号化単位ごとに、前記最大符号化単位の空間的分割回数を示す深度によって階層的に構成される深度別符号化単位のうち、符号化深度の符号化単位を含むツリー構造による符号化単位を決定し、前記符号化深度の符号化単位ごとに、予測復号化のためのパーティションを決定し、ツリー構造による変換単位を決定する段階と、をさらに含むことを特徴とする請求項８に記載の多視点ビデオデータの復号化方法。
【請求項１０】
前記復号化結果は、
前記多視点カラービデオフレームを分割した最大符号化単位ごとに決定された符号化単位、パーティション単位及び変換単位情報を含む分割情報であり、
前記深度マップフレームを予測復号化する段階は、
前記多視点カラービデオフレームの分割情報に基づいて、前記多視点カラービデオフレームの分割形態と同一に、前記対応する深度マップフレームを分割した最大符号化単位ごとに、符号化単位、パーティション単位及び変換単位を設定し、設定された符号化単位、パーティション単位及び変換単位に基づいて、前記深度マップフレームを予測復号化することを特徴とする請求項９に記載の多視点ビデオデータの復号化方法。
【請求項１１】
前記復号化結果は、
前記多視点カラービデオフレームの予測モード情報を含み、
前記深度マップフレームを予測復号化する段階は、
前記多視点カラービデオフレームのブロックの予測モード情報と同一に、前記深度マップフレームのブロックの予測モードを設定することを特徴とする請求項８に記載の多視点ビデオデータの復号化方法。
【請求項１２】
前記多視点カラービデオフレームのブロックの予測モードが、イントラ予測モードである場合、
前記深度マップフレームを予測復号化する段階は、
前記多視点カラービデオフレームのブロックのピクセル値を利用して、同一位置の対応する前記深度マップフレームのブロックを予測することを特徴とする請求項１１に記載の多視点ビデオデータの復号化方法。
【請求項１３】
前記復号化結果は、
前記多視点カラービデオフレームのブロックの動きベクトル情報を含み、
前記深度マップフレームを予測復号化する段階は、
前記多視点カラービデオフレームのブロックの動きベクトルを利用して、前記深度マップフレームのブロックの動きベクトルを決定することを特徴とする請求項８に記載の多視点ビデオデータの復号化方法。
【請求項１４】
前記深度マップフレームを予測復号化する段階は、
前記ビットストリームから、前記多視点カラービデオフレームのブロックの動きベクトルを、所定ピクセル範囲内で変更して決定された前記深度マップフレームのブロックの最適動きベクトルと、前記多視点カラービデオフレームのブロックの動きベクトルとの差値に該当する調整値を獲得する段階と、
前記獲得された調整値と、前記多視点カラービデオフレームのブロックの動きベクトルとと加え、前記深度マップフレームのブロックの動きベクトルを獲得する段階と、をさらに含むことを特徴とする請求項１３に記載の多視点ビデオデータの復号化方法。
【請求項１５】
多視点ビデオデータの復号化装置において、
多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを符号化したビットストリームを受信する受信部と、
前記ビットストリームから獲得された前記符号化された多視点カラービデオフレームを復号化するカラービデオフレーム復号化部と、
前記復号化された多視点カラービデオフレームの復号化結果を利用して、前記対応する深度マップフレームを予測復号化する深度マップフレーム復号化部と、を含むことを特徴とする多視点ビデオデータの復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、深度映像を含む多視点ビデオデータの符号化及び復号化に関する。
【背景技術】
【０００２】
最近、デジタル映像処理とコンピュータ・グラフィック技術とが発展するにつれ、現実世界を再現し、それを臨場感をもって経験させる三次元（３Ｄ）ビデオ技術及び多視点（multi-view）ビデオ技術に係わる研究が活発に進められている。多視点映像を利用した三次元テレビは、現実世界を再構成したコンテンツでもって、臨場感あふれる感覚をユーザに提供することができるので、次世代放送技術として多くの関心を集めている。三次元ビデオ符号化システムは、ユーザが自由に視聴視点を変更したり、あるいは多種の三次元再生装置に再現自在に多視点の映像を支援する機能を有する。しかし、多視点ビデオの場合、データ量が増加するので、多視点ビデオのデータ量を減少させるための効率的な符号化方法が要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明が解決する技術的課題は、多視点ビデオデータで、三次元ビデオを提供するための深度マップ映像を効率的に符号化する方法及びその装置、該深度マップを効率的に復号化する方法及びその装置を提供するためのものである。
【課題を解決するための手段】
【０００４】
本発明は、カラー映像と深度マップ映像との相関関係を考慮し、深度マップ映像を符号化及び復号化する。
【発明の効果】
【０００５】
本発明によれば、多視点カラービデオフレームと、深度マップフレームとの相関関係を利用して、多視点ビデオデータを効率的に圧縮することができる。
【図面の簡単な説明】
【０００６】
【図１】本発明の一実施形態による多視点ビデオシステムを示す図面である。
【図２】図１の多視点カメラを介して獲得された多視点ビデオフレームと、深度カメラを介して獲得された深度マップフレームとを例示した図面である。
【図３】本発明の一実施例による多視点ビデオデータの符号化装置の構成を示したブロック図である。
【図４】本発明の一実施形態によって、多視点カラービデオフレームの分割情報に基づいて、対応深度マップフレームを分割した場合を図示する図面である。
【図５】本発明の一実施形態によって、スキップモードで符号化された多視点カラービデオフレームブロックに基づいて、対応深度マップフレームブロックを符号化する場合を図示する図面である。
【図６】本発明の一実施形態によって、多視点カラービデオフレームブロックの動きベクトルに基づいて、対応深度マップフレームブロックの動きベクトルを決定する場合を図示する図面である。
【図７】本発明の一実施形態によって、多視点カラービデオフレームブロックに基づいて、対応深度マップフレームブロックをイントラ予測する場合を図示する図面である。
【図８】本発明の一実施形態による多視点ビデオデータの符号化方法を示したフローチャートである。
【図９】本発明の一実施形態による、多視点ビデオデータの復号化装置を示したブロック図である。
【図１０】本発明の一実施形態による、多視点ビデオデータの復号化方法を示したフローチャートである。
【図１１】本発明の一実施形態による多視点ビデオ符号化及び復号化方法によって符号化及び復号化される多視点カラービデオフレームを示した図面である。
【図１２】本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置のブロック図である。
【図１３】本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置のブロック図である。
【図１４】本発明の一実施形態による符号化単位の概念を図示する図面である。
【図１５】本発明の一実施形態による、符号化単位に基づいた映像符号化部のブロック図である。
【図１６】本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。
【図１７】本発明の一実施形態による深度別符号化単位及びパーティションを図示する図面である。
【図１８】本発明の一実施形態による符号化単位及び変換単位の関係を図示する図面である。
【図１９】本発明の一実施形態による深度別符号化情報を図示する図面である。
【図２０】本発明の一実施形態による深度別符号化単位を図示する図面である。
【図２１】本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図２２】本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図２３】本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図２４】符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図２５Ａ】一実施形態によるプログラムが保存されたディスクの物理的構造を例示する図面である。
【図２５Ｂ】ディスクを利用して、プログラムを記録して判読するためのディスクドライブを図示する図面である。
【図２６】コンテンツ流通サービス（content  distribution  service）を提供するためのコンテンツ供給システム（content  supply  system）の全体的構造を図示する図面である。
【図２７】一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の外部構造を図示する図面である。
【図２８】一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話の内部構造を図示する図面である。
【図２９】本発明による通信システムが適用されたデジタル放送システムを図示する図面である。
【図３０】本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピュータ・システムのネットワーク構造を図示する図面である。
【発明を実施するための形態】
【０００７】
本発明の一実施形態による多視点ビデオデータの符号化方法は、多視点カラービデオフレームと、前記多視点（multi-view）カラービデオフレームに対応する深度（depth）マップフレームとを獲得する段階と、前記獲得された多視点カラービデオフレームを予測符号化する段階と、前記予測符号化された多視点カラービデオフレームの符号化結果を利用して、前記対応する深度マップフレームを予測符号化する段階と、を含むことを特徴とする。
【０００８】
本発明の一実施形態による多視点ビデオデータの符号化装置は、多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを獲得する映像獲得部；前記獲得された多視点カラービデオフレームを予測符号化するカラービデオフレーム符号化部；及び前記予測符号化された多視点カラービデオフレームの符号化結果を利用して、前記対応する深度マップフレームを予測符号化する深度マップフレーム符号化部；を含むことを特徴とする。
【０００９】
本発明の一実施形態による多視点ビデオデータの復号化方法は、多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを符号化したビットストリームを受信する段階と、前記多視点カラービデオフレームを復号化する段階と、前記復号化された多視点カラービデオフレームの復号化結果を利用して、前記対応する深度マップフレームを予測復号化する段階と、を含むことを特徴とする。
【００１０】
本発明の一実施形態による多視点ビデオデータの復号化装置は、多視点カラービデオフレームと、前記多視点カラービデオフレームに対応する深度マップフレームとを符号化したビットストリームを受信する受信部；前記ビットストリームから獲得された前記符号化された多視点カラービデオフレームを復号化するカラービデオフレーム復号化部；及び前記復号化された多視点カラービデオフレームの復号化結果を利用して、前記対応する深度マップフレームを予測復号化する深度マップフレーム復号化部を含むことを特徴とする。
【００１１】
以下、添付された図面を参照し、本発明の望ましい実施形態について、具体的に説明する。
【００１２】
図１は、本発明の一実施形態による多視点ビデオシステムを示している。
【００１３】
多視点ビデオシステム１００は、２台以上の多視点カメラ１３０を介して獲得された多視点ビデオフレームと、深度カメラ１４０を介して獲得された多視点映像フレームの深度マップフレームとを符号化し、ビットストリームを生成する多視点ビデオデータ符号化装置１１０、及びビットストリームを復号化し、復号化された多視点ビデオフレームを、視聴者の要求によって、多様な形態で提供する多視点ビデオデータ復号化装置１２０を含む。
【００１４】
多視点カメラ１３０は、互いに異なる視点を有する複数台のカメラを結合して構成されながら、フレームごとに多視点ビデオ映像を提供する。深度カメラ１４０は、場面の深さ情報を、２５６階調の８ビット映像などで表現した深度マップフレームを提供する。深度カメラ１４０は、赤外線などを利用して、カメラから被写体及び背景までの距離を測定し、距離に比例または反比例する値を有する深度マップフレームを提供する。
【００１５】
多視点ビデオデータ符号化装置１１０で、多視点ビデオデータと対応する深度マップフレームを符号化して伝送すれば、多視点ビデオデータ復号化装置１２０は、ビットストリームに具備された多視点ビデオフレームと、深度マップフレームとを利用して、既存のステレオ映像や三次元（３Ｄ）映像を介して立体感を提供するだけではなく、視聴者所望の所定視点の三次元映像を合成して提供することができる。
【００１６】
多視点ビデオデータは、視点の個数に比例して符号化されるデータ量が増加し、また立体感を具現するための深度マップ映像も符号化されなければならないので、図１に図示されたような多視点ビデオシステムを具現するためには、膨大な量の多視点ビデオデータを効率的に圧縮する必要がある。
【００１７】
図２は、図１の多視点カメラ１３０を介して獲得された多視点ビデオフレームと、深度カメラ１４０を介して獲得された深度マップフレームとを例示した図面である。図２では、第１視点View  ０のカラービデオフレーム２１１に対応する第１視点View  ０の深度マップフレーム２２１、第２視点View  １のカラービデオフレーム２１２に対応する第２視点View  １の深度マップフレーム２２２、第３視点View  ２のカラービデオフレーム２１３に対応する第３視点View  ２の深度マップフレーム２２３を図示している。図２では、３個の視点View  ０，View  １，View  １における多視点カラービデオフレーム２１０と、対応深度マップフレーム２２０とを図示したが、視点の個数は変更される。また、図２で、多視点カラービデオフレーム２１０は、輝度成分ビデオフレームまたは色差成分ビデオフレームのうち一つでもある。
【００１８】
図２を参照すれば、同一視点のカラービデオフレームと、深度マップフレームとの間には、同じ時間、同じ視点での映像をそれぞれカラーと深度とで表現したものであるので、両者間には相関関係が存在する。すなわち、多視点カラービデオフレーム２１０と、対応深度マップフレーム２２０とを比較すれば、被写体の輪郭線などが識別されるというような一定の相関関係が存在する。従って、本発明の一実施形態による多視点ビデオデータ符号化装置１１０、及び多視点ビデオデータ復号化装置１２０は、多視点カラービデオフレーム２１０と、対応深度マップフレーム２２０との間に存在する相関関係を考慮して、多視点カラービデオフレーム２１０の符号化結果を利用して、対応深度マップフレーム２２０を予測符号化することにより、多視点ビデオデータの圧縮効率を向上させる。
【００１９】
図３は、本発明の一実施例による多視点ビデオデータの符号化装置の構成を示したブロック図である。図３を参照すれば、多視点ビデオデータの符号化装置３００は、映像獲得部３１０、カラービデオフレーム符号化部３２０及び深度マップ符号化部３３０を含む。
【００２０】
映像獲得部３１０は、図１の多視点カメラ１３０のような多視点ビデオ獲得手段から、多視点カラービデオフレームを獲得し、深度カメラ１４０のような深度マップフレーム獲得手段から、多視点カラービデオフレームに対応する深度マップフレームを獲得する。
【００２１】
カラービデオフレーム符号化部３２０は、獲得された多視点カラービデオフレームを予測符号化する。図１２ないし図２４を参照して説明するように、特に、本発明の一実施形態によるカラービデオフレーム符号化部３２０は、従来のマクロブロックの代わりに、階層的構造の符号化単位に基づいて、多視点カラービデオフレームを符号化することができる。カラービデオフレーム符号化部３２０は、多視点カラービデオフレームを最大サイズの符号化単位に分割した少なくとも１つの最大符号化単位ごとに、最大符号化単位の空間的分割回数を示す深度によって、階層的に構成される深度別符号化単位のうち、符号化深度の符号化単位を含むツリー構造による符号化単位を決定し、符号化深度の符号化単位ごとに、予測符号化のためのパーティションを決定し、階層的構造の変換単位を基に変換を行い、ツリー構造による変換単位を決定することができる。
【００２２】
カラービデオフレーム符号化部３２０で、多視点カラービデオフレームを符号化すれば、深度マップフレーム符号化部３３０は、予測符号化された多視点カラービデオフレームの符号化結果を利用して、対応する深度マップフレームを予測符号化する。具体的には、深度マップフレーム符号化部３３０は、多視点カラービデオフレームを符号化し、決定された最大符号化単位ごとの符号化単位、パーティション単位及び変換単位の情報を含む分割情報を利用して、多視点カラービデオフレームの分割形態と同一に、対応する深度マップフレームを分割した最大符号化単位ごとに、符号化単位、パーティション単位及び変換単位を設定し、設定された符号化単位、パーティション単位及び変換単位に基づいて、深度マップフレームを予測符号化することができる。
【００２３】
図４は、本発明の一実施形態によって、多視点カラービデオフレームの分割情報に基づいて、対応深度マップフレームを分割した場合を図示している。図４を参照すれば、多視点カラービデオフレーム４１０が、図示されているような分割形態を有するとするとき、深度マップフレーム符号化部３３０は、対応深度マップフレーム４２０を実際に符号化し、コストに基づいて分割形態を決定せず、多視点カラービデオフレーム４１０の分割形態と同一に、対応深度マップフレーム４２０を分割することができる。ここで、分割された形態は、後述する最大符号化単位ごとに決定される符号化単位、パーティション単位及び変換単位のうち１つのデータ単位の分割形態を示すことができる。後述するように、符号化単位、パーティション単位及び変換単位の分割形態は、多様な分割形態を、直接当該フレームに適用して符号化した後、符号化結果によるコストを比較し、最小コスト（ＲＤ  cost）を有する分割形態を最終分割形態として決定することが一般的である。しかし、本発明の一実施形態による深度マップフレーム符号化部３３０は、対応深度マップフレーム４２０を符号化するとき、多様な分割形態で、符号化単位、パーティション単位及び変換単位を決定する必要なく、以前に符号化された多視点カラービデオフレーム４１０のデータ単位が有する分割形態と同一の分割形態を有するように、当該データ単位の分割形態を決定することができる。
【００２４】
また、深度マップフレーム符号化部３３０は、予測符号化された多視点カラービデオフレームブロックの予測モード情報と同一に、深度マップフレームブロックの予測モードを決定し、決定された予測モードによって、深度マップフレームブロックを予測符号化することができる。すなわち、深度マップフレーム符号化部３３０は、深度マップフレームブロックに対して、スキップモード、インタ予測モード、イントラ予測モードなどの多様な予測モードを適用して符号化せずに、対応する多視点カラービデオフレームブロックの予測モード情報をそのまま利用することができる。
【００２５】
図５は、本発明の一実施形態によって、スキップモードで符号化された多視点カラービデオフレームブロックに基づいて、対応深度マップフレームブロックを符号化する場合を図示している。
【００２６】
図５を参照すれば、深度マップフレーム符号化部３３０は、以前に符号化された多視点カラービデオフレーム５１０の同一位置ブロック５１１が、スキップモードで予測符号化された場合、深度マップフレーム５３０のブロックも、スキップモードで予測符号化することができる。図５に図示されているように、多視点カラービデオフレーム５１０の同一位置ブロック５１１の周辺ブロックが有する動きベクトルを利用して決定された予測動きベクトルをＭＶ１とすれば、深度マップフレーム符号化部３３０は、深度マップフレーム５３０のブロック５３１の予測動きベクトルをＭＶ１に設定し、多視点カラービデオ参照フレーム５２０に対応する深度マップフレーム５４０の参照ブロック５４１を利用して、深度マップフレーム５３０のブロック５３１を予測符号化することができる。このように、深度マップフレーム符号化部３３０は、深度マップフレームブロックに対する動き予測を直接行わず、対応する多視点カラービデオフレームのブロックが有する動き情報をそのまま利用することができる。このように、深度マップフレーム符号化部３３０は、対応する多視点カラービデオフレームのブロックが、スキップモードである場合、深度マップフレーム５３０の符号化情報として、スキップモードを示す所定のインデックス情報のみを符号化することができる。
【００２７】
一方、深度マップフレーム符号化部３３０は、対応する多視点カラービデオフレームのブロックが、スキップモードを有する場合にも、深度マップフレームのブロック５３１に対する動き予測を行い、参照ブロック５４２を決定することができる。その場合、別途のシンタックスを利用して、多視点カラービデオフレームのブロックが有する動き情報を利用しないということをシグナリングすることができる。
【００２８】
また、深度マップフレーム符号化部３３０は、以前に符号化された多視点カラービデオフレーム５１０の同一位置ブロック５１１が、インターモードで予測符号化された場合、深度マップフレーム５３０のブロックも、インターモードで予測符号化することができる。多視点カラービデオフレーム５１０の同一位置ブロック５１１が有する動きベクトルをＭＶ１とすれば、深度マップフレーム符号化部３３０は、深度マップフレーム５３０のブロック５３１の動きベクトルをＭＶ１に設定し、多視点カラービデオ参照フレーム５２０に対応する深度マップフレーム５４０の参照ブロック５４１を利用した動き補償を行い、深度マップフレーム５３０のブロック５３１を予測符号化することができる。
【００２９】
図６は、本発明の一実施形態によって、多視点カラービデオフレームブロックの動きベクトルに基づいて、対応深度マップフレームブロックの動きベクトルを決定する場合を図示している。
【００３０】
図６を参照すれば、本発明の一実施形態による深度マップフレーム符号化部３３０は、以前に符号化された多視点カラービデオフレームの同一位置ブロックが有する動きベクトルＭＶ１、または動きベクトルＭＶ１を、所定ピクセル範囲６４０内で変更し、深度マップフレームのブロックの最適動きベクトルを決定することができる。図６に図示されているように、所定ピクセル範囲６４０内で、多視点カラービデオフレームの同一位置ブロックが有する動きベクトルＭＶ１によって決定された参照ブロック６４１を移動させながらコストを計算し、最小コストを有する参照ブロックの位置を判断し、深度マップフレームのブロックと最も類似した参照ブロック６４２を決定することができる。参照ブロック６４１の中心Ｃと、参照ブロック６４２の中心Ｃ’との位置差が（Δｘ，Δｙ）であるとすれば、深度マップフレーム符号化部３３０は、多視点カラービデオフレームの同一位置ブロックが有する動きベクトルＭＶ１に、調整値（Δｘ，Δｙ）を加え、最適動きベクトルを決定することができる。深度マップフレーム符号化部３３０は、深度マップフレームブロックの動きベクトル情報として、調整値（Δｘ，Δｙ）を符号化することができる。
【００３１】
図７は、本発明の一実施形態によって、多視点カラービデオフレームブロックに基づいて、対応深度マップフレームブロックをイントラ予測する場合を図示している。図７を参照すれば、深度マップフレーム符号化部３３０は、深度マップフレーム７２０のブロック７２１と対応する多視点カラービデオフレーム７１０の同一位置ブロック７３１を利用して、深度マップフレーム７２０のブロック７２１をイントラ予測することができる。具体的には、深度マップフレーム符号化部３３０は、多視点カラービデオフレーム７１０の同一位置ブロック７３１が符号化された後で復元されたピクセル値を、Ｐ（ｘ，ｙ）と、Ｐ（ｘ，ｙ）と同一の位置の深度マップフレーム７２０のブロック７２１のピクセル予測値を、Ｄ（ｘ，ｙ）とすれば、次の数式：Ｄ（ｘ，ｙ）＝ｆ（Ｐ（ｘ，ｙ））のように、多視点カラービデオフレーム７１０の同一位置ブロック７３１のピクセル値を利用して、同一位置の対応する深度マップフレーム７２０のブロック７２１を予測することができる。前述の数式で、関数ｆ（）は、ｆ（ｘ）＝ａｘ＋ｂのように、所定の加重値ａ及びオフセットｂを介して定義される線形関係式でもある。加重値ａ及びオフセットｂは、サンプリングされた多視点カラービデオフレームのデータと、深度マップフレームのデータとを利用した最小二乗平均値（least  square  mean）などを計算することにより、獲得されたり、あるいはあらかじめ設定された値を利用することができる。
【００３２】
一方、深度マップフレーム符号化部３３０は、デブロッキングフィルタリングやループフィルタリングなどのオン／オフも、対応する多視点カラービデオフレームのデブロッキングフィルタリングやループフィルタリングなどのオン／オフ情報と同一に設定することができる。
【００３３】
また、深度マップフレーム符号化部３３０は、深度マップフレームのブロックと、多視点カラービデオフレームのブロックとが、ＹＵＶ  ４：４：４，４：２：０，４：０：２のように、サンプリング比率によって、その大きさが異なる場合には、多視点カラービデオフレームのブロックサイズを、深度マップフレームのブロックサイズと同一になるようにダウンサンプリングし、ダウンサンプリングされた多視点カラービデオフレームのブロックを利用して、前述のイントラ予測などを行うことができる。
【００３４】
図８は、本発明の一実施形態による、多視点ビデオデータの符号化方法を示したフローチャートである。図８を参照すれば、段階８１０で、映像獲得部３１０は、多視点カラービデオフレーム、と多視点カラービデオフレームに対応する深度マップフレームとを獲得する。
【００３５】
段階８２０で、カラービデオフレーム符号化部３２０は、獲得された多視点カラービデオフレームを予測符号化する。カラービデオフレーム符号化部３２０は、多視点カラービデオフレームを、最大サイズの符号化単位に分割し、最大符号化単位ごとに、最適の符号化単位、パーティション単位及び変換単位を決定し、多視点カラービデオフレームに対する符号化を行うことができる。
【００３６】
段階８３０で、深度マップフレーム符号化部３３０は、予測符号化された多視点カラービデオフレームの符号化結果を利用して、対応する深度マップフレームを予測符号化する。前述のように、深度マップフレーム符号化部３３０は、多視点カラービデオフレームを分割した最大符号化単位ごとに決定された符号化単位、パーティション単位及び変換単位情報を含む分割情報を利用して、対応する深度マップフレームを同一に分割したり、多視点カラービデオフレームの予測モード情報を利用して、深度マップフレームのブロックの予測モードを設定したり、多視点カラービデオフレームのブロックのピクセル値を利用して、同一位置の対応する深度マップフレームのブロックをイントラ予測したり、あるいは多視点カラービデオフレームのブロックの動きベクトルを利用して、深度マップフレームのブロックの動きベクトルを決定することができる。また、深度マップフレーム符号化部３３０は、多視点カラービデオフレームのブロックのフィルタリング情報に基づいて、同一に深度マップフレームのブロックに適用されるフィルタリング情報を設定することができる。
【００３７】
図９は、本発明の一実施形態による、多視点ビデオデータの復号化装置を示したブロック図である。図９を参照すれば、多視点ビデオデータの復号化装置９００は、受信部９１０、カラービデオフレーム復号化部９２０及び深度マップフレーム復号化部９３０を含む。
【００３８】
受信部９１０は、多視点カラービデオフレームと、多視点カラービデオフレームに対応する深度マップフレームとを符号化したビットストリームを受信する。
【００３９】
カラービデオフレーム復号化部９２０は、ビットストリームから獲得された符号化された多視点カラービデオフレームを復号化する。図１２ないし図２４を参照して後述するように、特に、本発明の一実施形態によるカラービデオフレーム復号化部９２０は、階層的構造の符号化単位に基づいて、多視点カラービデオフレームを復号化することができる。カラービデオフレーム復号化部９２０は、ビットストリームから、多視点カラービデオフレームが分割された最大符号化単位の大きさ、最大符号化単位の空間的分割回数を示す深度、深度によって階層的に構成される符号化単位の予測符号化時に利用されたパーティション、及び階層的構造の変換単位の構造を示す情報を獲得する。そして、カラービデオフレーム復号化部９２０は、獲得された情報に基づいて、多視点カラービデオフレームを、最大サイズの符号化単位に分割した少なくとも１つの最大符号化単位ごとに、最大符号化単位の空間的分割回数を示す深度によって、階層的に構成される深度別符号化単位のうち、符号化深度の符号化単位を含むツリー構造による符号化単位を決定し、符号化深度の符号化単位ごとに、予測復号化のためのパーティションを決定し、ツリー構造による変換単位を決定する。
【００４０】
深度マップフレーム復号化部９３０は、復号化された多視点カラービデオフレームの復号化結果を利用して、対応する深度マップフレームを予測復号化する。具体的には、深度マップフレーム復号化部９３０は、多視点カラービデオフレームを復号化し、決定された最大符号化単位ごとの符号化単位、パーティション単位及び変換単位情報を含む分割情報を利用して、多視点カラービデオフレームの分割形態と同一に、対応する深度マップフレームを分割した最大符号化単位ごとに、符号化単位、パーティション単位及び変換単位を設定し、設定された符号化単位、パーティション単位及び変換単位に基づいて、深度マップフレームを予測復号化することができる。
【００４１】
また、深度マップフレーム復号化部９３０は、復号化された多視点カラービデオフレームの予測モード情報を利用して、深度マップフレームのブロックの予測モードを設定したり、多視点カラービデオフレームのブロックのピクセル値を利用して、同一位置の対応する深度マップフレームのブロックをイントラ予測したり、あるいは多視点カラービデオフレームのブロックの動きベクトルを利用して、深度マップフレームのブロックの動きベクトルを決定することができる。また、深度マップフレーム復号化部３３０は、復号化された多視点カラービデオフレームのブロックのフィルタリング情報に基づいて、同一に深度マップフレームのブロックに適用されるフィルタリング情報を設定することができる。
【００４２】
図１０は、本発明の一実施形態による多視点ビデオデータの復号化方法を示したフローチャートである。図１０を参照すれば、段階１０１０で、受信部９１０は、多視点カラービデオフレームと、多視点カラービデオフレームに対応する深度マップフレームとを符号化したビットストリームを受信する。
【００４３】
段階１０２０で、カラービデオフレーム復号化部９２０は、ビットストリームから獲得された符号化された多視点カラービデオフレームを復号化する。
【００４４】
段階１０３０で、深度マップフレーム復号化部９３０は、復号化された多視点カラービデオフレームの復号化結果を利用して、対応する深度マップフレームを予測復号化する。
【００４５】
図１１は、本発明の一実施形態による多視点ビデオ符号化及び復号化方法によって、符号化及び復号化される多視点カラービデオフレームを示した図面である。
【００４６】
カラービデオフレーム符号化部３２０は、多視点映像を、時間的相関関係（temporal  correlation）、及びカメラ間（inter-view）の空間的相関関係（spatial  correlation）を利用して圧縮符号化する。
【００４７】
図１１を参照すれば、ｘ軸は、時間軸であり、ｙ軸は、視点軸である。ｘ軸のＴ０ないしＴ８は、それぞれ映像のサンプリング時間を示し、ｙ軸のＳ０ないしＳ８は、それぞれ互いに異なる視点を示したものである。図１１で、それぞれの行は、同一視点から入力された映像ピクチャグループを示し、それぞれの列は、同一時間での多視点映像を示している。
【００４８】
カラービデオフレーム符号化部３２０は、基本視点の映像について、周期的にイントラピクチャを生成し、生成されたイントラピクチャを基に、時間的予測または視点間予測を行い、他のピクチャを予測符号化する。
【００４９】
時間的予測とは、同一視点、すなわち、図１１において、同一行にある映像間で、時間的な相関関係を利用する予測である。時間的予測のために、階層的Ｂピクチャを利用した予測構造が利用される。視点間予測は、同じ時間、すなわち、同一列にある映像間で、空間的な相関関係を利用する予測である。
【００５０】
階層的Ｂピクチャを利用した多視点映像ピクチャの予測構造は、同一視点、すなわち、同一行にある映像間に存在する時間的な相関関係を利用した予測を行うとき、同一視点の映像ピクチャグループを、アンカ（anchor）ピクチャを利用して、双方向ピクチャ（Ｂピクチャ：bi-directional  picture）として予測符号化するのである。ここで、アンカピクチャは、図１１に図示された列において、イントラピクチャを含んでいる最初の時間Ｔ０と最後の時間Ｔ８とでの列１１０及び１２０に含まれているピクチャを意味する。アンカピクチャ１１０及び１２０は、イントラピクチャ（Ｉピクチャ：intra  picture）を除き、視点間予測のみを利用して予測符号化される。イントラピクチャを含んでいる列１１０及び１２０を除いた残りの列１３０に含まれているピクチャは、非アンカピクチャ（non-anchor  pictures）という。
【００５１】
一例として、最初の視点視点Ｓ０で、所定の時間入力された映像ピクチャを、階層的Ｂピクチャを利用して符号化する場合について説明する。最初の視点Ｓ０から入力された映像ピクチャのうち、最初の時間Ｔ０に入力されたピクチャ１１１、及び最後の時間Ｔ８に入力されたピクチャ１２１は、Ｉピクチャとして符号化される。次に、Ｔ４時間に入力されたピクチャ１３１は、アンカピクチャであるＩピクチャ１１１，１２１を参照し、双方向予測符号化されてＢピクチャとして符号化される。Ｔ２時間に入力されたピクチャ１３２は、Ｉピクチャ１１１及びＢピクチャ１３１を利用して、双方向予測符号化され、Ｂピクチャとして符号化される。同様に、Ｔ１時間に入力されたピクチャ１３３は、Ｉピクチャ１１１及びＢピクチャ１３２を利用して、双方向予測符号化され、Ｔ３時間に入力されたピクチャ１３４は、Ｂピクチャ１３２及びＢピクチャ１３１を利用して、双方向予測符号化される。そのように、同一視点の映像シーケンスは、アンカピクチャを利用して、階層的に、双方向予測符号化されるので、かような予測符号化方式を、階層的Ｂピクチャと呼ぶ。一方、図１１に図示されたＢｎ（ｎ＝１，２，３，４）でｎは、ｎ番目に双方向予測されたＢピクチャを示し、例えば、Ｂ１は、ＩピクチャまたはＰピクチャであるアンカピクチャを利用して、最初に双方向予測されたピクチャであるということを示し、Ｂ２は、Ｂ１ピクチャ以後に双方向予測されたピクチャであるということを示し、Ｂ３は、Ｂ２ピクチャ以後に双方向予測されたピクチャであるということを示し、Ｂ４は、Ｂ３ピクチャ以後に双方向予測されたピクチャであるということを示す。
【００５２】
多視点ビデオフレームの符号化時には、まず基本視点である最初の視点Ｓ０の映像ピクチャグループを、前述の階層的Ｂピクチャを利用して符号化する。残りの視点の映像シーケンスを符号化するために、まず最初の視点Ｓ０のＩピクチャ１１１，１２１を利用した視点間予測を介して、アンカピクチャ１１０，１２０に具備された奇数番目の視点Ｓ２，Ｓ４，Ｓ６、及び最後の視点Ｓ７の映像ピクチャをＰピクチャとして予測符号化する。アンカピクチャ１１０，１２０に具備された偶数番目の視点Ｓ１，Ｓ３，Ｓ５の映像ピクチャは、視点間予測を介して、隣接した視点の映像ピクチャを利用して、双方向予測され、Ｂピクチャとして符号化される。例えば、Ｔ０時間で２番目の視点Ｓ１から入力されたＢピクチャ１１３は、隣接した視点Ｓ０，Ｓ２のＩピクチャ１１１及びＰピクチャ１１２を利用して双方向予測される。
【００５３】
アンカピクチャ１１０，１２０に具備されたあらゆる視点の映像ピクチャが、ＩＢＰのうちいずれか１つのピクチャとして符号化されれば、非アンカピクチャ１３０は、前述のように、階層的Ｂピクチャを利用した時間的予測及び視点間予測を介して、双方向予測符号化される。
【００５４】
非アンカピクチャ１３０において、奇数番目の視点Ｓ２，Ｓ４，Ｓ６、及び最後の視点Ｓ７の映像ピクチャは、階層的Ｂピクチャを利用した時間的予測を介して、同一視点のアンカピクチャを利用して、双方向予測符号化される。非アンカピクチャ１３０において、偶数番目視点Ｓ１，Ｓ３，Ｓ５，Ｓ７のピクチャは、階層的Ｂピクチャを利用した時間的予測だけではなく、隣接した視点のピクチャを利用した視点間予測を介して、双方向予測される。例えば、Ｔ４時間で２番目の視点Ｓ２から入力されたピクチャ１３６は、アンカピクチャ１１３，１２３、及び隣接した視点のピクチャ１３１，１３５を利用して予測される。
【００５５】
アンカピクチャ１１０，１２０に具備されたＰピクチャは、前述のように、同一時間に入力された他の視点のＩピクチャまたは以前のＰピクチャを利用して、予測符号化される。例えば、Ｔ８時間で３番目視点Ｓ２から入力されたＰピクチャ１２２は、同一時間の最初の視点Ｓ０から入力されたＩピクチャ１２１を参照ピクチャとして利用して、予測符号化される。
【００５６】
以下、図１２ないし図２４を参照し、ツリー構造による符号化単位を基に、予測単位及びパーティションに対して予測符号化を行うビデオ符号化方法及びその装置、並びに予測復号化を行うビデオ復号化方法及びその装置について説明する。以下で説明するビデオ符号化方法及びその装置は、前述の図３のカラービデオフレーム符号化部３２０に適用され、ビデオ復号化方法及びその装置は、前述の図９のカラービデオフレーム復号化部９２０に適用可能である。
【００５７】
図１２は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置のブロック図を図示している。
【００５８】
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、最大符号化単位分割部１１０、符号化単位決定部１２０及び出力部１３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ符号化装置１００は、「ビデオ符号化装置１００」と縮約する。
【００５９】
最大符号化単位分割部１１０は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位であり、縦横サイズが２の累乗である正方形のデータ単位でもある。映像データは、少なくとも１つの最大符号化単位別に、符号化単位決定部１２０に出力される。
【００６０】
一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が、最上位深度であり、最小符号化単位が、最下位符号化単位であると定義される。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさが小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。
【００６１】
前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを、最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial  domain）の映像データは、深度によって階層的に分類される。
【００６２】
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。
【００６３】
符号化単位決定部１２０は、深度ごとに、最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部１３０に出力される。
【００６４】
最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深度が決定される。
【００６５】
最大符号化単位の大きさは、深度が深くなるにつれ、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同一深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定されもする。従って、１つの最大符号化単位に対して、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画されもする。
【００６６】
従って、一実施形態による符号化単位決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれるあらゆる深度別符号化単位において、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。
【００６７】
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度が４、第２最大深度が５に設定される。
【００６８】
最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も、同様に最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。
【００６９】
最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれ、生成されるあらゆる深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも１つの最大符号化単位において、現在深度の符号化単位を基に、予測符号化及び変換について説明する。
【００７０】
一実施形態によるビデオ符号化装置１００は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピー符号化などの段階を経るが、あらゆる段階にわたって、同一のデータ単位が使用され、段階別にデータ単位が変更されもする。
【００７１】
例えば、ビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。
【００７２】
最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上さらに分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基になるそれ以上さらに分割されない符号化単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち、少なくとも一つが分割されたデータ単位を含む。パーティションは、符号化単位の予測単位が分割された形態のデータ単位であり、予測単位は、符号化単位と同一サイズパーティションでもある。
【００７３】
例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションの大きさは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮなどでもある。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。
【００７４】
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションに対して遂行される。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションに対してのみ遂行される。符号化単位以内の１つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。
【００７５】
また、一実施形態によるビデオ符号化装置１００は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同サイズの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位及びインターモードのための変換単位を含む。
【００７６】
一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によって、ツリー構造による変換単位によって区画される。
【００７７】
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが、２Ｎｘ２Ｎであるならば、変換深度０、変換単位の大きさがＮｘＮであるならば、変換深度１、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定される。
【００７８】
符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。
【００７９】
一実施形態による最大符号化単位のツリー構造による符号化単位及び予測単位／パーティション、及び変換単位の決定方式については後述する。
【００８０】
符号化単位決定部１２０は、深度別符号化単位の符号化誤差をラグランジュ乗数（Lagrangian  multiplier）基盤の率・歪曲最適化技法（rate-distortion  optimization）を利用して測定することができる。
【００８１】
出力部１３０は、符号化単位決定部１２０で決定された少なくとも１つの符号化深度に基づいて、符号化された最大符号化単位の映像データ及び深度別符号化モードに係わる情報を、ビットストリーム形態で出力する。
【００８２】
符号化された映像データは、映像の残差データの符号化結果でもある。
【００８３】
深度別符号化モードに係わる情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含む。
【００８４】
符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かということを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が、符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなけばならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。
【００８５】
現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに反復的に符号化が行われ、同一深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。
【００８６】
１つの最大符号化単位内に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードに係わる情報が決定されなければならないので、１つの最大符号化単位については、少なくとも１つの符号化モードに係わる情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なるので、データについて、符号化深度及び符号化モードに係わる情報が設定される。
【００８７】
従って、一実施形態による出力部１３０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報が割り当てられる。
【００８８】
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれるあらゆる符号化単位、予測単位、パーティション単位及び変換単位の中に含まれる最大サイズの正方形データ単位でもある。
【００８９】
例えば、出力部１３０を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含む。予測単位別に伝送される符号化情報は、インターモードの推定方向に係わる情報、インターモードの参照映像インデックスに係わる情報、動きベクトルに係わる情報、イントラモードのクロマ成分に係わる情報、イントラモードの補間方式に係わる情報などを含む。
【００９０】
ピクチャ、スライスまたはＧＯＰ（group  of  pictures）別に定義される符号化単位の最大サイズに係わる情報及び最大深度に係わる情報、はビットストリームのヘッダ、シーケンスパラメータ・セットまたはピクチャパラメータ・セットなどに挿入される。
【００９１】
また、現在ビデオについて許容される変換単位の最大サイズに係わる情報、及び変換単位の最小サイズに係わる情報も、ビットストリームのヘッダ、シーケンスパラメータ・セットまたはピクチャパラメータ・セットなどを介して出力される。出力部１３０は、符号化単位のスケーラビリティに係わる情報などを符号化して出力することができる。
【００９２】
ビデオ符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、１階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが２Ｎｘ２Ｎであるならば、下位深度の符号化単位の大きさは、ＮｘＮである。また、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含む。
【００９３】
従って、ビデオ符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。
【００９４】
従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。それによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下するという傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮して、符号化単位の最大サイズを増大させながら、映像特性を考慮して、符号化単位を調節することができるので、映像圧縮効率が向上するのである。
【００９５】
図１３は、本発明の一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置のブロック図を図示している。
【００９６】
一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、受信部２１０、映像データ及び符号化情報抽出部２２０、並びに映像データ復号化部２３０を含む。以下、説明の便宜のために、一実施形態による、ツリー構造による符号化単位に基づいたビデオ予測を伴うビデオ復号化装置２００は、「ビデオ復号化装置２００」と縮約する。
【００９７】
一実施形態によるビデオ復号化装置２００の復号化動作のための符号化単位、深度、予測単位、変換単位、各種符号化モードに係わる情報など各種用語の定義は、図１２のビデオ符号化装置１００を参照して説明したところと同一である。
【００９８】
受信部２１０は、符号化されたビデオに係わるビットストリームを受信してパージングする。映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部２３０に出力する。映像データ及び符号化情報抽出部２２０は、現在ピクチャに係わるヘッダ、シーケンスパラメータ・セットまたはピクチャパラメータ・セットから現、在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。
【００９９】
また、映像データ及び符号化情報抽出部２２０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードに係わる情報を抽出する。抽出された符号化深度及び符号化モードに係わる情報は、映像データ復号化部２３０に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部２３０が、最大符号化単位ごとに、映像データを復号化する。
【０１００】
最大符号化単位別の符号化深度及び符号化モードに係わる情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードに係わる情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別分割情報が抽出されもする。
【０１０１】
映像データ及び符号化情報抽出部２２０が抽出した最大符号化単位別の符号化深度及び符号化モードに係わる情報は、一実施形態によるビデオ符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに、反復的に符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードに係わる情報である。従って、ビデオ復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化し、映像を復元することができる。
【０１０２】
一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位において、所定データ単位に対して割り当てられているので、映像データ及び符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードに係わる情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードに係わる情報が記録されているならば、同一の符号化深度及び符号化モードに係わる情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位として類推される。
【０１０３】
映像データ復号化部２３０は、最大符号化単位別の符号化深度及び符号化モードに係わる情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれるツリー構造による符号化単位において、それぞれの符号化単位ごとに、読み取られたパーティションタイプ、予測モード、変換単位に基づいて、符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、並びに逆変換過程を含む。
【０１０４】
映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。
【０１０５】
また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化単位別に、ツリー構造による変換単位情報を読み取り、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。逆変換を介して、符号化単位の空間領域の画素値が復元される。
【０１０６】
映像データ復号化部２３０は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が、現在深度で、それ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。
【０１０７】
すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同一の符号化モードで復号化する１つのデータ単位と見なされる。かように決定された符号化単位ごとに、符号化モードに係わる情報を獲得し、現在符号化単位の復号化が行われる。
【０１０８】
ビデオ復号化装置２００は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。
【０１０９】
従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードに係わる情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。
【０１１０】
図１４は、本発明の一実施形態による符号化単位の概念を図示している。
【０１１１】
符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、サイズ３２ｘ３２，１６ｘ１６，８ｘ８を含む。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割される。
【０１１２】
ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図１４に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。
【０１１３】
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。
【０１１４】
ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含む。一方、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含む。
【０１１５】
ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含む。深度が深くなるほど、細部情報の表現能が向上するのである。
【０１１６】
図１５は、本発明の一実施形態による、符号化単位に基づいた映像符号化部のブロック図を図示している。
【０１１７】
一実施形態による映像符号化部４００は、ビデオ符号化装置１００の符号化単位決定部１２０で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。
【０１１８】
イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピー符号化部４５０を経て、ビットストリーム４５５として出力される。
【０１１９】
一実施形態によるビデオ符号化装置１００に適用されるためには、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、エントロピー符号化部４５０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０が、いずれも最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。
【０１２０】
特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しければならない。
【０１２１】
図１６は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図を図示している。
【０１２２】
ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化に係わる情報がパージングされる。符号化された映像データは、エントロピー復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。
【０１２３】
空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。
【０１２４】
イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５としてに出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。
【０１２５】
ビデオ復号化装置２００の映像データ復号化部２３０で、映像データを復号化するために、一実施形態による映像復号化部５００のパージング部５１０以後の段階別作業が遂行される。
【０１２６】
一実施形態によるビデオ復号化装置２００に適用されるためには、映像復号化部５００の構成要素であるパージング部５１０、エントロピー復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、作業を行わなければならない。
【０１２７】
特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、逆変換部５４０は、符号化単位ごとに、変換単位の大きさを決定しければならない。
【０１２８】
図１７は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。
【０１２９】
一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって、適応的に決定され、ユーザの要求によって、多様に設定される。既設定の符号化単位の最大サイズによって、深度別符号化単位の大きさが決定される。
【０１３０】
一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が４である場合を図示している。そのとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。
【０１３１】
すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。
【０１３２】
それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割される。
【０１３３】
同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割される。
【０１３４】
同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割される。
【０１３５】
同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割される。
【０１３６】
最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ４ｘ４のパーティション６５０だけに設定される。
【０１３７】
一実施形態によるビデオ符号化装置１００の符号化単位決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。
【０１３８】
同一範囲及び同一サイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つが含まれるデータについて、深度２の符号化単位は、四つが必要である。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。
【０１３９】
それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティションタイプとして選択される。
【０１４０】
図１８は、本発明の一実施形態による符号化単位及び変換単位の関係を図示している。
【０１４１】
一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同サイズの符号化単位で映像を符号化したり、あるいは復号化する。符号化過程において、で変換のための変換単位の大きさは、それぞれの符号化単位ほど大きくないデータ単位を基に選択される。
【０１４２】
例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が行われる。
【０１４３】
また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
【０１４４】
図１９は、本発明の一実施形態による深度別符号化情報を図示している。
【０１４５】
一実施形態によるビデオ符号化装置１００の出力部１３０は、符号化モードに係わる情報であり、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。
【０１４６】
パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプに係わる情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。
【０１４７】
予測モードに係わる情報８１０は、それぞれのパーティションの予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティションタイプに係わる情報８００が示すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち、いずれの一つで予測符号化が行われるかということが設定される。
【０１４８】
また、変換単位サイズに係わる情報８２０は、現在符号化単位をいかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つでもある。
【０１４９】
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出して復号化に利用することができる。
【０１５０】
図２０は、本発明の一実施形態による深度別符号化単位を図示している。
【０１５１】
深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。
【０１５２】
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含む。予測単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。
【０１５３】
パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４つのＮ＿０ｘＮ＿０サイズのパーティションごとに、反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０及びサイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについてのみ予測符号化が行われる。
【０１５４】
サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最小であれば、それ以上下位深度に分割する必要はない。
【０１５５】
サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最小であるならば、深度０を１に変更しながら分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復して符号化を行い、最小符号化誤差を検索していく。
【０１５６】
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含む。
【０１５７】
また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最小であるならば、深度１を深度２に変更しながら分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復して符号化を行い、最小符号化誤差を検索していく。
【０１５８】
最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定される。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含む。
【０１５９】
パーティションタイプにおいて、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。
【０１６０】
サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）として決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２については、分割情報が設定されない。
【０１６１】
データ単位９９９は、現在最大符号化単位に係わる「最小単位」とされる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位でもある。かような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。
【０１６２】
かように深度０，１…ｄ−１，ｄのあらゆる深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードに係わる情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。
【０１６３】
一実施形態によるビデオ復号化装置２００の映像データ及び符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位に係わる情報を抽出し、符号化単位９１２を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードに係わる情報を利用して、復号化に利用することができる。
【０１６４】
図２１、図２２及び図２３は、本発明の一実施形態による符号化単位、予測単位及び変換単位の関係を図示している。
【０１６５】
符号化単位１０１０は、最大符号化単位に対して、一実施形態によるビデオ符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。
【０１６６】
深度別符号化単位１０１０は、最大符号化単位の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。
【０１６７】
予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプであり、パーティション１０３２は、ＮｘＮのパーティションタイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。
【０１６８】
変換単位１０７０において、一部変換単位１０５２の映像データについては、符号化単位に比べ、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０において、当該予測単位及びパーティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置１００、及び一実施形態に他のビデオ復号化装置２００は、同一符号化単位に係わるイントラ予測作業／動き推定作業／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行われる。
【０１６９】
それにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含む。下記表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で設定することができる一例を示している。
【０１７０】
【表１】
2014527350.tif 000003
一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
【０１７１】
分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かということを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対して、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されなければならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
【０１７２】
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、あらゆるパーティションタイプで定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。
【０１７３】
パーティションタイプ情報は、予測単位の高さまたは幅が、対称的な比率に分割された対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ＮＲｘ２Ｎを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。
【０１７４】
変換単位サイズは、イントラモードで二種の大きさ、インターモードで二種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位の大きさは、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮに、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。
【０１７５】
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位単位のうち少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を一つ以上含む。
【０１７６】
従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一符号化深度の符号化単位に含まれるか否かということが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
【０１７７】
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
【０１７８】
他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照される。
【０１７９】
図２４は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。
【０１８０】
最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。そのうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ  １３２２，２ＮｘＮ  １３２４，Ｎｘ２Ｎ  １３２６，ＮｘＮ  １３２８，２ＮｘｎＵ  １３３２，２ＮｘｎＤ  １３３４，ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定される。
【０１８１】
変換単位分割情報（ＴＵ  size  flag）は、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。
【０１８２】
例えば、パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ  １３２２，２ＮｘＮ  １３２４、Ｎｘ２Ｎ  １３２６及びＮｘＮ  １３２８のうち一つに設定されている場合、変換単位分割情報が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。
【０１８３】
パーティションタイプ情報が非対称形パーティションタイプ２ＮｘｎＵ  １３３２，２ＮｘｎＤ  １３３４，ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ  size  flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。
【０１８４】
図１ないし図２４を参照して説明した多視点ビデオデータの符号化方法及び復号化方法のそれぞれの実施形態をそれぞれ具現するためのプログラムが、コンピュータで読み取り可能な記録媒体に保存することにより、独立したコンピュータ・システムが、前記記録媒体に保存された実施形態による動作を容易に具現することができる。
【０１８５】
説明の便宜のために、先に図１ないし図２４を参照して説明した多視点ビデオデータ符号化／復号化方法は、それぞれ「本発明のビデオ符号化方法」及び「本発明のビデオ復号化方法」とする。また、先に図１ないし図２４を参照して説明した多視点ビデオデータ符号化／復号化装置は、それぞれ「本発明のビデオ符号化装置」及び「本発明のビデオ復号化装置」とする。
【０１８６】
一実施形態によるプログラムが保存されるコンピュータで読み取り可能な記録媒体がディスク２６０である実施形態について説明する。
【０１８７】
図２５Ａは、一実施形態によるプログラムが保存されたディスク２６０の物理的構造を例示している。記録媒体としてしているディスク２６０は、ハードドライブ、ＣＤ（compact  disc）−ＲＯＭ（read-only  memory）ディスク、ブルーレイ（登録商標Blu-ray）ディスク、ＤＶＤ（digital  versatile  disc）ディスクでもある。ディスク２６０は、多数の同心円のトラックＴｒから構成され、トラックは、円周方向に沿って、所定個数のセクタＳｅに分割される。前述の一実施形態によるプログラムを保存するディスク２６０における特定領域に、前述の多視点ビデオ予測方法、多視点ビデオ予測復元方法、多視点ビデオ符号化方法及び多視点ビデオ復号化方法を具現するためのプログラムが割り当てられて保存される。
【０１８８】
前述のビデオ符号化方法及びビデオ復号化方法を具現するためのプログラムを保存する記録媒体を利用して達成されたコンピュータ・システムについて、図２５Ｂを参照して説明する。
【０１８９】
図２５Ｂは、ディスク２６０を利用して、プログラムを記録して読み取るためのディスクドライブ２６３を図示している。コンピュータ・システム２６５は、ディスクドライブ２６３を利用して、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムをディスク２６０に保存することができる。ディスク２６０に保存されたプログラムをコンピュータ・システム２６５上で実行するために、ディスクドライブ２６３によって、ディスク２６０からプログラムが読み取られ、プログラムがコンピュータ・システム２６５に伝送される。
【０１９０】
図２５Ａ及び図２５Ｂで例示されたディスク２６０だけではなく、メモリカード、ＲＯＭカセット、ＳＳＤ（solid  state  drive）にも、本発明のビデオ符号化方法及びビデオ復号化方法のうち少なくとも一つを具現するためのプログラムが保存される。
【０１９１】
前述の実施形態によるビデオ符号化方法及びビデオ復号化方法が適用されたシステムについて説明する。
【０１９２】
図２６は、コンテンツ流通サービス（content  distribution  service）を提供するためのコンテンツ供給システム（content  supply  system）１１００の全体的構造を図示している。通信システムのサービス領域、は所定サイズのセルに分割され、各セルに、ベースステーションになる無線基地局１１７０，１１８０，１１９０，１２００が設けられる。
【０１９３】
コンテンツ供給システム１１００は、多数の独立デバイスを含む。例えば、コンピュータ１２１０、ＰＤＡ（personal  digital  assistant）１２２０、カメラ１２３０及び携帯電話１２５０のような独立デバイスが、インターネットサービス供給者１１２０、通信網１１４０及び無線基地局１１７０，１１８０，１１９０，１２００）を経て、インターネット１１１０に連結される。
【０１９４】
しかし、コンテンツ供給システム１１００は、図２６に図示された構造にのみ限定されるものではなく、デバイスが選択的に連結される。独立デバイスは、無線基地局１１７０，１１８０，１１９０，１２００を経ずに、通信網１１４０に直接連結されもする。
【０１９５】
ビデオカメラ１２３０は、デジタルビデオカメラのように、ビデオ映像を撮影することができる撮像デバイスである。携帯電話１２５０は、ＰＤＣ（personal  digital  communications）、ＣＤＭＡ（code  division  multiple  access）、Ｗ−ＣＤＭＡ（wideband  code  division  multiple  access）、ＧＳＭ（登録商標：global  system  for  mobile  communications）及びＰＨＳ（personal  handyphone  system）の方式のような多様なプロトコルのうち、少なくとも１つの通信方式を採択することができる。
【０１９６】
ビデオカメラ１２３０は、無線基地局１１９０及び通信網１１４０を経て、ストリーミング・サーバ１１３０に連結される。ストリーミング・サーバ１１３０は、ユーザがビデオカメラ１２３０を使用して伝送したコンテンツを、リアルタイム放送でストリーミング伝送することができる。ビデオカメラ１２３０から受信されたコンテンツは、ビデオカメラ１２３０またはストリーミング・サーバ１１３０によって符号化される。ビデオカメラ１２３０で撮影されたビデオデータは、コンピュータ１２１０を経て、ストリーミング・サーバ１１３０に伝送されもする。
【０１９７】
カメラ１２６０で撮影されたビデオデータも、コンピュータ１２１０を経て、ストリーミング・サーバ１１３０に伝送される。カメラ１２６０は、デジタルカメラのように、静止映像とビデオ映像とをいずれも撮影することができる撮像装置である。カメラ１２６０から受信されたビデオデータは、カメラ１２６０またはコンピュータ１２１０によって符号化される。ビデオ符号化及び復号化のためのソフトウェアは、コンピュータ１２１０がアクセスすることができるＣＤ−ＲＯＭディスク、フロッピー（登録商標）ディスク、ハードディスクドライブ、ＳＳＤ、メモリカードのようなコンピュータで読み取り可能な記録媒体に保存される。
【０１９８】
また、携帯電話１２５０に搭載されたカメラによってビデオが撮影された場合、ビデオデータが携帯電話１２５０から受信される。
【０１９９】
ビデオデータは、ビデオカメラ１２３０、携帯電話１２５０またはカメラ１２６０に搭載されたＬＳＩ（large  scale  integrated  circuit）システムによって符号化される。
【０２００】
一実施形態によるコンテンツ供給システム１１００で、例えば、コンサートの現場録画コンテンツのように、ユーザがビデオカメラ１２３０、カメラ１２６０、携帯電話１２５０または他の撮像デバイスを利用して録画されたコンテンツが符号化され、ストリーミング・サーバ１１３０に伝送される。ストリーミング・サーバ１１３０は、コンテンツデータを要請した他のクライアントに、コンテンツデータをストリーミング伝送することができる。
【０２０１】
クライアントは、符号化されたコンテンツデータを復号化することができるデバイスであり、例えば、コンピュータ１２１０、ＰＤＡ  １２２０、ビデオカメラ１２３０または携帯電話１２５０でもある。従って、コンテンツ供給システム１１００は、クライアントをして、符号化されたコンテンツデータを受信して再生させる。また、コンテンツ供給システム１１００は、クライアントをして、符号化されたコンテンツデータを受信してリアルタイムに復号化して再生させ、個人放送（personal  broadcasting）を可能にさせる。
【０２０２】
コンテンツ供給システム１１００に含まれた独立デバイスの符号化動作及び復号化動作に、本発明のビデオ符号化装置及びビデオ復号化装置が適用される。
【０２０３】
図２７及び図２８を参照し、コンテンツ供給システム１１００における携帯電話１２５０の一実施形態について詳細に説明する。
【０２０４】
図２７は、一実施形態による本発明のビデオ符号化方法及びビデオ復号化方法が適用される携帯電話１２５０の外部構造を図示している。携帯電話１２５０は、機能が制限されているものではなく、応用プログラムを介して、相当部分の機能を変更したり、あるいは拡張することができるスマートフォンでもある。
【０２０５】
携帯電話１２５０は、無線基地局１２００とＲＦ（radio  frequency）信号を交換するための内蔵アンテナ１２５１を含み、カメラ１２５３によって撮影された映像、またはアンテナ１２５１によって受信されて復号化された映像をディスプレイするためのＬＣＤ（liquid  crystal  display）画面、ＯＬＥＤ（organic  light  emitting  diode）画面のようなディスプレイ画面１２５２を含む。スマートフォン１２５１は、制御ボタン、タッチパネルを含む動作パネル１２５４を含む。ディスプレイ画面１２５２がタッチスクリーンである場合、動作パネル１２５４は、ディスプレイ画面１２５２のタッチ感知パネルをさらに含む。スマートフォン１２５１は、音声、音響を出力するためのスピーカ１２５８、または他の形態の音響出力部と、音声、音響が入力されるマイクロホン１２５５）、または他の形態の音響入力部と、を含む。スマートフォン１２５１は、ビデオ及び静止映像を撮影するためのＣＣＤ（charge  coupled  device）カメラのようなカメラ１２５３をさらに含む。また、スマートフォン１２５１は、カメラ１２５３によって撮影されたり、電子メール（Ｅ−mail）に受信されたり、あるいは他の形態で獲得されたビデオや静止映像のように、符号化されるとか復号化されたデータを保存するための記録媒体１２５７；及び記録媒体１２５７を携帯電話１２５０に装着するためのスロット１２５６；を含む。記録媒体１２５７は、ＳＤカード、またはプラスチックケースに内蔵されたＥＥＰＲＯＭ（electrically  erasable  programmable  read-only  memory）のような異なる形態のフラッシュメモリでもある。
【０２０６】
図２８は、携帯電話１２５０の内部構造を図示している。ディスプレイ画面１２５２及び動作パネル１２５４で構成された携帯電話１２５０の各パートを組織的に制御するために、電力供給回路１２７０、動作入力制御部１２６４、映像符号化部１２７２、カメラ・インターフェース１２６３、ＬＣＤ制御部１２６２、映像復号化部１２６９、マルチプレクサ／デマルチプレクサ（ＭＵＸ：multiplexer／ＤＥＭＵＸ：demultiplexer）１２６８、記録／判読部１２６７、変調／復調（modulation/demodulation）部１２６６及び音響処理部１２６５が、同期化バス１２７３を介して、中央制御部１２７１に連結される。
【０２０７】
ユーザが電源ボタンを動作し、「電源オフ」状態から「電源オン」状態に設定すれば、電力供給回路１２７０は、バッテリパックから携帯電話１２５０の各パートに電力を供給することにより、携帯電話１２５０が動作モードにセッティングされる。
【０２０８】
中央制御部１２７１は、ＣＰＵ（central  processing  unit）、ＲＯＭ及びＲＡＭ（random-access  memory）を含む。
【０２０９】
携帯電話１２５０が外部に通信データを送信する過程では、中央制御部１２７１の制御により、携帯電話１２５０でデジタル信号が生成される、例えば、音響処理部１２６５では、デジタル音響信号が生成され、映像符号化部１２７２では、デジタル映像信号が生成され、動作パネル１２５４及び動作入力制御部１２６４を介して、メッセージのテキストデータが生成される。中央制御部１２７１の制御により、デジタル信号が変調／復調部１２６６に伝達されれば、変調／復調部１２６６は、デジタル信号の周波数帯域を変調し、通信回路１２６１は、帯域変調されたデジタル音響信号に対して、Ｄ／Ａ変換（digital-analog  conversion）処理及び周波数変換（frequency  conversion）処理を行う。通信回路１２６１から出力された送信信号は、アンテナ１２５１を介して、音声通信基地局または無線基地局１２００に送出される。
【０２１０】
例えば、携帯電話１２５０が通話モードであるとき、マイクロホン１２５５によって獲得された音響信号は、中央制御部１２７１の制御により、音響処理部１２６５でデジタル音響信号に変換される。生成されたデジタル音響信号は、変調／復調部１２６６及び通信回路１２６１を経て送信信号に変換され、アンテナ１２５１を介して送出される。
【０２１１】
データ通信モードで、電子メールのようなテキストメッセージが伝送される場合、動作パネル１２５４を利用して、メッセージのテキストデータが入力され、テキストデータが、動作入力制御部１２６４を介して、中央制御部１２６１に伝送される。中央制御部１２６１の制御により、テキストデータは、変調／復調部１２６６及び通信回路１２６１を介して送信信号に変換され、アンテナ１２５１を介して、無線基地局１２００に送出される。
【０２１２】
データ通信モードで、映像データを伝送するために、カメラ１２５３によって撮影された映像データが、カメラ・インターフェース１２６３を介して、映像符号化部１２７２に提供される。カメラ１２５３によって撮影された映像データは、カメラ・インターフェース１２６３及びＬＣＤ制御部１２６２を介して、ディスプレイ画面１２５２に直ちにディスプレイされる。
【０２１３】
映像符号化部１２７２の構造は、前述の本発明のビデオ符号化装置の構造と相応する。映像符号化部１２７２は、カメラ１２５３から提供された映像データを、前述のビデオ符号化装置１００または映像符号化部４００のビデオ符号化方式によって符号化し、圧縮符号化された映像データに変換し、符号化された映像データを多重化／逆多重化部１２６８に出力することができる。カメラ１２５３の録画中に、携帯電話１２５０のマイクロホン１２５５によって獲得された音響信号も、音響処理部１２６５を経て、デジタル音響データに変換され、デジタル音響データは、多重化／逆多重化部１２６８に伝達される。
【０２１４】
多重化／逆多重化部１２６８は、音響処理部１２６５から提供された音響データと共に、映像符号化部１２７２から提供された符号化された映像データを多重化する。多重化されたデータは、変調／復調部１２６６及び通信回路１２６１を介して送信信号に変換され、アンテナ１２５１を介して送出される。
【０２１５】
携帯電話１２５０が外部から通信データを受信する過程では、アンテナ１２５１を介して受信された信号を、周波数復元（frequency  recovery）処理及びＡ／Ｄ変換（analog-digital  conversion）処理を介して、デジタル信号を変換する。変調／復調部１２６６は、デジタル信号の周波数帯域を復調する。帯域復調されたデジタル信号は、種類によって、ビデオ復号化部１２６９、音響処理部１２６５またはＬＣＤ制御部１２６２に伝達される。
【０２１６】
携帯電話１２５０は、通話モードであるとき、アンテナ１２５１を介して受信された信号を増幅し、周波数変換処理及びＡ／Ｄ変換処理を介して、デジタル音響信号を生成する。受信されたデジタル音響信号は、中央制御部１２７１の制御により、変調／復調部１２６６及び音響処理部１２６５を経て、アナログ音響信号に変換され、アナログ音響信号がスピーカ１２５８を介して出力される。
【０２１７】
データ通信モードで、インターネットのウェブサイトからアクセスされたビデオファイルのデータが受信される場合、アンテナ１２５１を介して、無線基地局１２００から受信された信号は、変調／復調部１２６６の処理結果、多重化されたデータを出力し、多重化されたデータは、多重化／逆多重化部１２６８に伝達される。
【０２１８】
アンテナ１２５１を介して受信した多重化されたデータを復号化するために、多重化／逆多重化部１２６８は、多重化されたデータを逆多重化し、符号化されたビデオデータストリームと、符号化されたオーディオデータストリームとを分離する。同期化バス１２７３によって、符号化されたビデオデータストリームは、ビデオ復号化部１２６９に提供され、符号化されたオーディオデータストリームは、音響処理部１２６５に提供される。
【０２１９】
映像復号化部１２６９の構造は、前述の本発明のビデオ復号化装置の構造と相応する。映像復号化部１２６９は、前述のビデオ復号化装置２００または映像復号化部５００のビデオ復号化方式を利用して、符号化されたビデオデータを復号化して復元されたビデオデータを生成し、ＬＣＤ制御部１２６２を経て、ディスプレイ画面１２５２に、復元されたビデオデータを提供することができる。
【０２２０】
それにより、インターネットのウェブサイトからアクセスされたビデオファイルのビデオデータが、ディスプレイ画面１２５２でディスプレイされる。それと同時に、音響処理部１２６５も、オーディオデータをアナログ音響信号に変換し、アナログ音響信号をスピーカ１２５８に提供することができる。それにより、インターネットのウェブサイトからアクセスされたビデオファイルに含まれたオーディオデータも、スピーカ１２５８で再生される。
【０２２１】
携帯電話１２５０または他の形態の通信端末機は、本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含む送受信端末機であるか、前述の本発明のビデオ符号化装置のみを含む送信端末機であるか、あるいは本発明のビデオ復号化装置のみを含む受信端末機でもある。
【０２２２】
本発明の通信システムは、図２６を参照して説明した構造に限定されるものではない。例えば、図２９は、本発明による通信システムが適用されたデジタル放送システムを図示している。図２９の一実施形態によるデジタル放送システムは、本発明のビデオ符号化装置及びビデオ復号化装置を利用して、衛星または地上波のネットワークを介して伝送されるデジタル放送を受信することができる。
【０２２３】
具体的には、放送局１２８９は、電波を介して、ビデオデータ・ストリームを通信衛星または放送衛星１２９０に伝送する。放送衛星１２９０は、放送信号を伝送し、放送信号は、家庭にあるアンテナ１２８６によって、衛星放送受信機に受信される。各家庭で、符号化されたビデオストリームは、ＴＶ（television）受信機１２８１、セットトップボックス（set-top  box）１２８７または他のデバイスによって復号化されて再生される。
【０２２４】
再生装置１２８３で、本発明のビデオ復号化装置が具現されることにより、再生装置１２８３が、ディスク及びメモリカードのような記録媒体１２８２に記録された符号化されたビデオストリームを読み取って復号化することができる。それにより、復元されたビデオ信号は、例えば、モニタ１２８４で再生される。
【０２２５】
衛星／地上波放送のためのアンテナ１２８６またはケーブルＴＶ受信のためのケーブルアンテナ１２８５に連結されたセットトップボックス１２８７にも、本発明のビデオ復号化装置が搭載される。セットトップボックス１２８７の出力データも、ＴＶモニタ１２８８で再生される。
【０２２６】
他の例として、セットトップボックス１２８７の代わりに、ＴＶ受信機１２８１自体に、本発明のビデオ復号化装置が搭載されもする。
【０２２７】
適切なアンテナ１２９１を具備した自動車１２９２が、衛星１２８０または無線基地局１１７０から送出される信号を受信することもできる。自動車１２９２に搭載された自動車ナビゲーションシステム１２９３のディスプレイ画面に、復号化されたビデオが再生される。
【０２２８】
ビデオ信号は、本発明のビデオ符号化装置によって符号化されて記録媒体に記録されて保存される。具体的には、ＤＶＤレコーダによって、映像信号がＤＶＤディスク１２９６に保存されたり、あるいはハードディスクレコーダ１２９５によって、ハードディスクに映像信号が保存される。他の例として、ビデオ信号は、ＳＤカード１２９７に保存されてもよい。ハードディスクレコーダ１２９５が、一実施形態による本発明のビデオ復号化装置を具備すれば、ＤＶＤディスク１２９６、ＳＤカード１２９７、または他の形態の記録媒体に記録されたビデオ信号がモニタ１２８８で再生される。
【０２２９】
自動車ナビゲーションシステム１２９３は、図２８のカメラ１２５３、カメラ・インターフェース１２６３及び映像符号化部１２７２を含まないこともある。例えば、コンピュータ１２１０及びＴＶ受信機１２８１も、図２８のカメラ１２５３、カメラ・インターフェース１２６３及び映像符号化部１２７２を含まないこともある。
【０２３０】
図３０は、本発明の一実施形態によるビデオ符号化装置及びビデオ復号化装置を利用するクラウドコンピュータ・システムのネットワーク構造を図示している。
【０２３１】
本発明のクラウドコンピュータ・システムは、クラウドコンピュータ・サーバ１４１０、ユーザＤＢ（database）１４１０、コンピュータ資源１４２０及びユーザ端末機を含んでなる。
【０２３２】
クラウドコンピュータ・システムは、ユーザ端末機の要請により、インターネットのような情報通信網を介して、コンピュータ資源のオンデマンド・アウトソーシング・サービスを提供する。クラウドコンピュータ環境で、サービス提供者は、互いに異なる物理的な位置に存在するデータセンタのコンピューティング資源を仮想化技術で統合し、ユーザが必要とするサービスを提供する。サービスユーザは、アプリケーション（application）、ストレージ（storage）、運用体制（ＯＳ）、保安（security）などのコンピュータ資源を、各ユーザ所有の端末にインストールして使用するのではなく、仮想化技術を介して生成された仮想空間上のサービスを、所望時点に所望するほど選んで使用することができる。
【０２３３】
特定サービスユーザのユーザ端末機は、インターネット及び移動通信網を含む情報通信網を介して、クラウドコンピュータ・サーバ１４１０に接続する。ユーザ端末機は、クラウドコンピュータ・サーバ１４１０から、クラウドコンピュータ・サービス、特に、動画再生サービスを提供される。ユーザ端末機は、デスクトップＰＣ（personal  computer）１４３０、スマートＴＶ  １４４０、スマートフォン１４５０、ノート型パソコン１４６０、ＰＭＰ（portable  multimedia  player）１４７０、タブレットＰＣ  １４８０など、インターネット接続が可能なあらゆる電子機器にもなる。
【０２３４】
クラウドコンピュータ・サーバ１４１０は、クラウド網に分散している多数のコンピュータ資源１４２０を統合し、ユーザ端末機に提供することができる。多数のコンピュータ資源１４２０は、さまざまなデータサービスを含み、ユーザ端末機からアップロードされたデータを含む。かように、クラウドコンピュータ・サーバ１４１０は、多くのところに分散している動画データベースを仮想化技術で統合し、ユーザ端末機が要求するサービスを提供する。
【０２３５】
ユーザＤＢ  １４１０にはクラウドコンピュータ・サービスに加入しているユーザ情報が保存される。ここで、ユーザ情報は、ログイン情報；及び住所、氏名など個人信用情報；を含む。また、ユーザ情報は、動画のインデックス（index）を含む。ここで、インデックスは、再生を完了した動画リストや、再生中の動画リストや、再生中の動画の停止時点などを含む。
【０２３６】
ユーザＤＢ  １４１０に保存された動画に係わる情報は、ユーザデバイス間に共有される。従って、例えば、ノート型パソコン１４６０から再生要請され、ノート型パソコン１４６０に所定動画サービスを提供した場合、ユーザＤＢ  １４１０に、所定動画サービスの再生ヒストリーが保存される。スマートフォン１４５０から、同一動画サービスの再生要請が受信される場合、クラウドコンピュータ・サーバ１４１０は、ユーザＤＢ  １４１０を参照し、所定動画サービスを探して再生する。スマートフォン１４５０が、クラウドコンピュータ・サーバ１４１０を介して、動画データストリームを受信する場合、動画データストリームを復号化してビデオを再生する動作は、先に図２８を参照して説明した携帯電話１２５０の動作と類似している。
【０２３７】
クラウドコンピュータ・サーバ１４１０は、ユーザＤＢ  １４１０に保存された所定動画サービスの再生ヒストリーを参照することもできる。例えば、クラウドコンピュータ・サーバ１４１０は、ユーザ端末機から、ユーザＤＢ  １４１０に保存された動画に対する再生要請を受信する。動画が、それ以前に再生中であったのであれば、クラウドコンピュータ・サーバ１４１０は、ユーザ端末機による選択により、最初から再生したり、あるいは以前の停止時点から再生するかということにより、ストリーミング方法が異なる。例えば、ユーザ端末機が、最初から再生するように要請した場合には、クラウドコンピュータ・サーバ１４１０は、ユーザ端末機に、当該動画を最初のフレームからストリーミング伝送する。一方、端末機１０が、以前の停止時点から続けて再生するように要請した場合には、クラウドコンピュータ・サーバ１４１０は、ユーザ端末機に、当該動画を、停止時点のフレームからストリーミング伝送する。
【０２３８】
そのとき、ユーザ端末機は、図１ないし図２４を参照して説明した本発明のビデオ復号化装置を含む。他の例として、ユーザ端末機は、図１ないし図２４を参照して説明した本発明のビデオ符号化装置を含む。また、ユーザ端末機は、図１ないし図２４を参照して説明した本発明のビデオ符号化装置及びビデオ復号化装置をいずれも含んでもよい。
【０２３９】
図１ないし図２４を参照して説明した本発明のビデオ符号化方法及びビデオ復号化方法、本発明のビデオ符号化装置及びビデオ復号化装置が活用される多様な実施形態について、図２５Ａないし図３０で説明した。しかし、図１ないし図２４を参照して説明した本発明のビデオ符号化方法及びビデオ復号化方法が記録媒体に保存されたり、あるいは本発明のビデオ符号化装置及びビデオ復号化装置がデバイスで具現される多様な実施形態は、図２５Ａないし図３０の実施形態に限定されるものではない。
【０２４０】
本発明で開示されたブロック図は、本発明の原理を具現するための回路を概念的に表現した形態であると当業者に解釈されるであろう。同様に、任意のフローチャート、順序図、状態転移図、疑似コードなどはコ、ンピュータで読み取り可能な媒体で実質的に表現され、コンピュータまたはプロセッサが、明示上に図示されていようがいまいが、かようなコンピュータまたはプロセッサによって実行される多様なプロセスを示すということが当業者に認識されるであろう。従って、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。
【０２４１】
図面に図示された多様な要素の機能は、適切なソフトウェアと係わって、ソフトウェアを実行することができるハードウェアだけではなく、専用ハードウェアの利用を介して提供されもする。プロセッサによって提供されるとき、かような機能は、単一専用プロセッサ、単一共有プロセッサ、または一部が共有される複数の個別プロセッサによって提供される。また、用語「プロセッサ」または「制御部」の明示上利用は、ソフトウェアを実行するハードウェアを排他的に指すものであると解釈されるものではなく、制限なしに、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを保存するためのＲＯＭ、ＲＡＭ及び不揮発性保存装置を暗黙的に含む。
【０２４２】
本明細書の特許請求の範囲で、特定機能を遂行するための手段として表現された要素は、特定機能を遂行する任意の方式を包括し、かような要素は、特定機能を遂行する回路要素の組み合わせ、または特定機能を遂行するためのソフトウェアを遂行するために適する回路と結合された、ファームウェア、マイクロコードなどを含む任意の形態のソフトウェアを含む。
【０２４３】
本明細書で、本発明の原理の「一実施形態」、及びかような表現の多様な変形を指すことは、その実施形態と係わって、特定特徴、構造、特性などが、本発明の原理の少なくとも１つの実施形態に含まれるということを意味する。従って、表現「一実施形態において」と、本明細書全体を通じて開示された任意の他の変形例は、必ずしもいずれも同一の実施形態を指すものではない。
【０２４４】
本明細書で、「Ａ及びＢのうち少なくとも一つ」という場合において、「〜のうち少なくとも一つ」という表現は、最初のオプション（Ａ）の選択だけ、または２番目に列挙されたオプション（Ｂ）の選択だけ、または両方のオプション（Ａ及びＢ）の選択を包括するために使用される。さらなる例として、「Ａ、Ｂ及びＣのうち少なくとも一つ」という場合は、最初に列挙されたオプション（Ａ）の選択だけ、または２番目に列挙されたオプション（Ｂ）の選択だけ、または３番目に列挙されたオプション（Ｃ）の選択だけ、または最初及び２番目に列挙されたオプション（Ａ及びＢ）の選択だけ、または２番目及び３番目に列挙されたオプション（Ｂ及びＣ）の選択だけ、またはあらゆる３個のオプションの選択（Ａ、Ｂ及びＣ）が包括されもする。さらに多くの項目が列挙される場合にも、当業者に明白に拡張解釈されるものである。
【０２４５】
以上、本発明について、その望ましい実施形態を中心に説明した。
【０２４６】
本明細書を通じて開示されたあらゆる実施形態と条件付き例示は、本発明の技術分野で当業者をして、本発明の原理と概念とを理解せしめるように一助とするための意図によって記述されたものであり、当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にいるあらゆる差異は、本発明に含まれたものであると解釈されなければならないであろう。
【図１】
2014527350.tif 000004
【図３】
2014527350.tif 000005
【図４】
2014527350.tif 000006
【図５】
2014527350.tif 000007
【図６】
2014527350.tif 000008
【図７】
2014527350.tif 000009
【図８】
2014527350.tif 000010
【図９】
2014527350.tif 000011
【図１０】
2014527350.tif 000012
【図１１】
2014527350.tif 000013
【図１２】
2014527350.tif 000014
【図１３】
2014527350.tif 000015
【図１４】
2014527350.tif 000016
【図１５】
2014527350.tif 000017
【図１６】
2014527350.tif 000018
【図１７】
2014527350.tif 000019
【図１８】
2014527350.tif 000020
【図１９】
2014527350.tif 000021
【図２０】
2014527350.tif 000022
【図２１】
2014527350.tif 000023
【図２２】
2014527350.tif 000024
【図２３】
2014527350.tif 000025
【図２４】
2014527350.tif 000026
【図２５Ａ】
2014527350.tif 000027
【図２５Ｂ】
2014527350.tif 000028
【図２６】
2014527350.tif 000029
【図２７】
2014527350.tif 000030
【図２８】
2014527350.tif 000031
【図２９】
2014527350.tif 000032
【図３０】
2014527350.tif 000033
【図２】
2014527350.tif 000034
【国際調査報告】
2014527350.tif 000035
2014527350.tif 000036
2014527350.tif 000037
2014527350.tif 000038