(57)【要約】  多視点映像の符号化、復号化方法及び装置に係り、該多視点映像の符号化方法は、以前映像処理ブロックのイントラピクチャ及び以前映像処理ブロックのイントラピクチャが生成された視点と異なる視点に対して生成された現在映像処理ブロックのイントラピクチャのうち、少なくとも一つに基づいて現在ピクチャを予測し、符号化することによって基本視点ではない他の視点の映像で発生しうる画質劣化を防止する。
2010506530.tif 000002
【特許請求の範囲】
【請求項１】
多視点映像の符号化方法において、
第２映像処理ブロックのイントラピクチャが生成された視点と異なる視点に対して、第１映像処理ブロックのイントラピクチャを生成する段階と、
前記第２映像処理ブロックのイントラピクチャ及び前記第１映像処理ブロックのイントラピクチャのうち、少なくとも一つに基づいて第１ピクチャを予測する段階と、
前記予測に基づいて前記第１ピクチャを符号化する段階とを含むことを特徴とする多視点映像符号化の方法。
【請求項２】
前記イントラピクチャは、
それぞれ互いに異なる時刻のアンカーピクチャであることを特徴とする請求項１に記載の多視点映像符号化の方法。
【請求項３】
前記第１ピクチャを予測する段階は、
前記第２映像処理ブロックのイントラピクチャ及び前記第１映像処理ブロックのイントラピクチャのうち、少なくとも一つに基づいて時間予測、または視点間予測を行い、第１ピクチャを予測する段階を含むことを特徴とする請求項１に記載の多視点映像符号化の方法。
【請求項４】
前記視点間予測は、
前記第１ピクチャが含まれている第１視点が前記視点間予測のために利用する参照視点のピクチャを参照して行われ、
前記参照視点は、前記第１映像処理ブロックのイントラピクチャが生成された第２視点によって決定されることを特徴とする請求項３に記載の多視点映像符号化の方法。
【請求項５】
前記符号化する段階は、
前記現在映像処理ブロックのイントラピクチャが生成された第２視点についての情報を符号化する段階を含むことを特徴とする請求項４に記載の多視点映像符号化の方法。
【請求項６】
多視点映像の符号化装置において、
第２映像処理ブロックのイントラピクチャ及び前記第２映像処理ブロックのイントラピクチャが生成された視点と異なる視点に対して生成された第１映像処理ブロックのイントラピクチャのうち、少なくとも一つに基づいて第１ピクチャを予測するインター予測部と、
前記予測に基づいて前記第１ピクチャを符号化する符号化部とを備えることを特徴とする多視点映像符号化の装置。
【請求項７】
前記イントラピクチャは、
それぞれ互いに異なる時刻のアンカーピクチャであることを特徴とする請求項６に記載の多視点映像符号化の装置。
【請求項８】
前記インター予測部は、
前記第２映像処理ブロックのイントラピクチャ及び前記第１映像処理ブロックのイントラピクチャのうち、少なくとも一つに基づいて時間予測及び視点間予測のうち少なくとも一つを行い、第１ピクチャを予測することを特徴とする請求項６に記載の多視点映像符号化の装置。
【請求項９】
前記視点間予測は、
前記第１ピクチャが含まれている視点が前記視点間予測のために利用する参照視点のピクチャを参照して行われ、
前記参照視点は、前記第１映像処理ブロックでイントラピクチャが位置している視点によって決定されることを特徴とする請求項８に記載の多視点映像符号化の装置。
【請求項１０】
前記符号化部は、
前記第１映像処理ブロックのイントラピクチャが生成された視点についての情報を符号化することを特徴とする請求項９に記載の多視点映像符号化の装置。
【請求項１１】
多視点映像の符号化方法において、
前記多視点のうち、複数の視点に対してそれぞれ少なくとも一つ以上のイントラピクチャを生成し、前記生成されたイントラピクチャに基づいて前記多視点映像が予測符号化されたことを示す情報を生成する段階と、
前記生成された情報を前記多視点映像に対するビットストリームに挿入する段階とを含むことを特徴とする多視点映像符号化の方法。
【請求項１２】
前記情報を生成する段階は、
前記多視点映像のそれぞれの視点が視点間予測のために参照する参照視点についての情報を生成する段階を含み、
前記参照視点は、前記多視点映像の映像処理ブロックで前記イントラピクチャが位置している視点によって決定されることを特徴とする請求項１１に記載の多視点映像符号化の方法。
【請求項１３】
前記参照視点についての情報は、
（ａ）前記それぞれの視点に含まれたアンカーピクチャが参照する参照視点及び非アンカーピクチャが参照する参照視点についての情報、及び（ｂ）前記それぞれの視点と参照視点との間の視点距離についての情報のうち、少なくとも一つを含むことを特徴とする請求項１２に記載の多視点映像符号化の方法。
【請求項１４】
前記ビットストリームに挿入する段階は、
前記参照視点についての情報を含む前記多視点映像のシーケンス・パラメータをビットストリームに挿入する段階を含むことを特徴とする請求項１２に記載の多視点映像符号化の方法。
【請求項１５】
前記多視点映像の符号化装置は、
前記多視点のうち、複数の視点に対してそれぞれ少なくとも一つ以上のイントラピクチャを生成し、前記生成されたイントラピクチャに基づいて前記多視点映像が予測符号化されたことを示す情報を生成する情報生成部と、
前記生成された情報を前記多視点映像に対するビットストリームに挿入する情報挿入部とをさらに備えることを特徴とする請求項７に記載の多視点映像符号化の装置。
【請求項１６】
前記情報生成部は、
前記多視点映像のそれぞれの視点が視点間予測のために参照する参照視点についての情報を生成し、
前記参照視点は、前記多視点映像の映像処理ブロックで前記イントラピクチャが位置している視点によって決定されることを特徴とする請求項１５に記載の多視点映像符号化の装置。
【請求項１７】
前記参照視点についての情報は、
前記それぞれの視点と参照視点との間の視点距離についての情報であることを特徴とする請求項１６に記載の多視点映像符号化の装置。
【請求項１８】
前記情報挿入部は、
前記参照視点についての情報を含む前記多視点映像のシーケンス・パラメータをビットストリームに挿入することを特徴とする請求項１６に記載の多視点映像符号化の装置。
【請求項１９】
多視点映像の復号化方法において、
第２映像処理ブロックのイントラピクチャが復元された視点と異なる視点に対して、第１映像処理ブロックのイントラピクチャを復元する段階と、
前記第２映像処理ブロックのイントラピクチャ及び前記第１映像処理ブロックのイントラピクチャのうち、少なくとも一つに基づいて第１ピクチャを予測する段階と、
前記予測に基づいて前記第１ピクチャを復元する段階とを含むことを特徴とする多視点映像復号化の方法。
【請求項２０】
前記イントラピクチャは、
それぞれ互いに異なる時刻のアンカーピクチャであることを特徴とする請求項１９に記載の多視点映像復号化の方法。
【請求項２１】
前記現在ピクチャを予測する段階は、
前記第２映像処理ブロックのイントラピクチャ及び前記第１映像処理ブロックのイントラピクチャのうち、少なくとも一つに基づいて時間予測及び視点間予測のうち少なくとも一つを行い、第１ピクチャを予測する段階を含むことを特徴とする請求項１９に記載の多視点映像復号化の方法。
【請求項２２】
前記視点間予測は、
前記多視点映像のビットストリームに挿入されている参照視点についての情報によって、前記現在ピクチャが含まれている視点が前記視点間予測のために利用する参照視点のピクチャを参照して行われ、
前記参照視点についての情報は、前記現在映像処理ブロックのイントラピクチャが生成された視点によって決定され、
前記参照視点についての情報は、シーケンス・パラメータとして前記多視点映像のビットストリームに挿入されたこと特徴とする請求項２１に記載の多視点映像復号化の方法。
【請求項２３】
多視点映像の復号化装置において、
第１ピクチャに対するデータを含むビットストリームを受信し、受信されたビットストリームから前記第１ピクチャに対するデータを抽出する復号化部と、
第１映像処理ブロックのイントラピクチャ及び前記第１映像処理ブロックのイントラピクチャが復元された視点と異なる視点に対して復元された第２映像処理ブロックのイントラピクチャのうち、少なくとも一つに基づいて前記第１ピクチャを予測するインター予測部と、
前記第１ピクチャに対するデータ及び前記予測に基づいて前記第１ピクチャを復元する復元部とを備えることを特徴とする多視点映像復号化の装置。
【請求項２４】
前記インター予測部は、
前記第１映像処理ブロックのイントラピクチャ及び前記第２映像処理ブロックのイントラピクチャのうち、少なくとも一つに基づいて時間予測及び視点間予測のうち少なくとも一つを行って現在ピクチャを予測し、
前記イントラピクチャは、それぞれ互いに異なる時刻のアンカーピクチャであることを特徴とする請求項２３に記載の多視点映像復号化の装置。
【請求項２５】
前記視点間予測は、
前記多視点映像のビットストリームに挿入されている参照視点についての情報によって、前記第１ピクチャが含まれている視点が前記視点間予測のために利用する参照視点のピクチャを参照して行われ、
前記参照視点についての情報は、前記第２映像処理ブロックのイントラピクチャが生成された視点によって決定された情報であり、
前記参照視点についての情報は、シーケンス・パラメータとして前記多視点映像のビットストリームに挿入されたことを特徴とする請求項２４に記載の多視点映像復号化の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点映像の符号化、復号化方法及び装置に係り、さらに詳細には、全ての視点の映像に対して画質劣化を防止できる多視点映像を符号化、復号化する方法及び装置に関する。
【背景技術】
【０００２】
多視点（multi-view）映像符号化では、多視点映像を提供する複数のカメラから入力された映像を同時に符号化する。多視点映像を時間的相関関係（temporal  correlation）及びカメラ間（inter-view）の空間的相関関係（spiral  correlation）を利用して圧縮符号化する。
【０００３】
図１は、従来技術による多視点映像のシーケンスを示している。図１で、横軸は時間軸であり、縦軸は視点軸である。多視点映像の符号化では、基本視点の映像に対して周期的にイントラピクチャ（Ｉ  picture）を生成し、生成されたイントラピクチャを基に、時間予測（temporal  prediction）または視点間予測（inter-view  prediction）を行って他のピクチャを予測符号化する。矢印方向が、予測のために参照が行われる方向を意味する。
【０００４】
時間予測とは、同じ視点、すなわち同じ行にある映像間に、時間的な相関関係を利用する予測であり、視点間予測とは、同じ時間、すなわち同じ列にある映像間に空間的な相関関係を利用する予測である。
【０００５】
図１で、それぞれの行は、多視点映像のそれぞれの視点に対する映像シーケンスを経時的に示している。それぞれの行は、上にから順番に視点０、視点１、視点２、…の映像シーケンスとなる。ここで、視点０を基本視点とし、従って最初の行の映像シーケンス１１０は、基本視点の映像シーケンスとなる。基本視点の映像シーケンスに含まれたピクチャは、時間予測のみを行って予測符号化され、視点間予測は行わない。
【０００６】
また、それぞれの列は、同じ時間での多視点映像を示している。図示された列のうち、基本視点に対する映像がイントラピクチャである列１３０，１４０及び１５０に含まれているピクチャをアンカーピクチャ（anchor  picture）という。アンカーピクチャは、視点間予測のみを行って符号化される。
【０００７】
図１を参照するに、基本視点の映像シーケンス１１０には、周期的にイントラピクチャが存在するが、他の視点の映像シーケンス１２０には、イントラピクチャが存在しない。換言すれば、基本視点に対する映像シーケンス１１０のうち、アンカーピクチャの位置にのみ周期的にイントラピクチャが存在する。
【０００８】
従来技術によれば、基本視点ではない視点の映像シーケンス１２０は、イントラピクチャなしに予測符号化されるために、基本視点の映像シーケンス１１０に比べて画質の劣化が発生しやすい。カメラ、すなわち視点間の空間的な相関関係が存在するとしても、それぞれの視点の映像に対するイントラピクチャなしに予測を行うために、予測が不正確に行われる確率が高く、従って画質劣化が発生する確率が高まるのである。
【０００９】
図２は、従来技術による多視点映像のシーケンス・パラメータの構文（syntax）を示している。
【００１０】
まず、多視点映像の視点個数についての情報である‘num_views_minus_1’を設定する。‘num_views_minus_1’が設定されれば、それぞれの視点が視点間予測のために参照する視点個数についての情報である‘num_multiview_refs_for_list0[i]’及び‘num_multiview_refs_for_list1[i]’を設定する。‘list0’は、現在視点が参照する視点のうち、現在視点より視点番号が小さい参照視点に係る目録であり、‘list1’は、現在視点が参照する視点のうち、現在視点より視点番号が大きい視点に係る目録である。
【００１１】
現在視点が参照する視点個数がいずれも決まれば、それぞれの視点がどんな視点を参照するかについての情報が具体的に設定される。このとき、アンカーピクチャが参照する参照視点と、非アンカーピクチャ（non-anchor  picture）が参照する視点が互いに異なるので、これを区分して設定する。設定された全てのパラメータは符号化され、ビットストリームに挿入される。
【００１２】
図１に示されたように、多視点映像でそれぞれの視点に含まれたピクチャが視点間予測のために参照する参照視点は、映像シーケンス全体にわたって変わるものではない。例えば、図１に示された映像シーケンスのうち視点２、すなわち３行目のシーケンスについて述べれば、同じ列にイントラピクチャが存在するアンカーピクチャはＰ（predictive）ピクチャであり、視点０のみを参照し、非アンカーピクチャは参照する視点がない。視点２に対する参照視点は、シーケンス全体にわたって変更がない。同様に、視点３に対するシーケンス、４行目のシーケンスについて述べれば、シーケンスに含まれたアンカーピクチャ及び非アンカーピクチャは視点２及び視点４を参照し、参照視点は、シーケンス全体にわたって変更がない。
【００１３】
従って、参照視点に変更が発生しない場合には、図２に示されたように、多視点映像のそれぞれの視点が視点間予測のために参照する参照視点についての情報を設定しても問題にならない。しかし、シーケンス中間で参照視点についての情報が変更される場合には、図２に示された構文だけでは、参照視点についての情報を適切に表現できない。
【発明の概要】
【発明が解決しようとする課題】
【００１４】
本発明がなそうとする技術的課題は、多視点映像の全ての視点に対して画質劣化を最小化できる多視点映像符号化、復号化方法及び装置を提供するところにあり、視点間予測の参照視点についての情報を符号化できる方法及び装置を提供し、前記方法を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供するところにある。
【課題を解決するための手段】
【００１５】
本発明の例示的な実施形態は、前述の短所及び前述されていない短所を克服する。また、本発明は、前述の短所を克服するために要請されるものではなく、本発明の例示的な実施形態は、前述の問題点のうち、いなかるものをも克服しないこともある。
【００１６】
前記技術的課題を解決するための本発明による多視点映像の符号化方法は、以前映像処理ブロックのイントラピクチャが生成された視点と異なる視点に対して現在映像処理ブロックのイントラピクチャを生成する段階と、前記以前映像処理ブロックのイントラピクチャ及び前記現在映像処理ブロックのイントラピクチャのうち、少なくとも一つに基づいて現在ピクチャを予測する段階と、前記予測に基づいて前記現在ピクチャを符号化する段階とを含む。
【００１７】
本発明によるさらに望ましい実施形態によれば、前記イントラピクチャは、それぞれ互いに異なる時刻のアンカーピクチャであることを特徴とする。
【００１８】
本発明によるさらに望ましい実施形態によれば、前記現在ピクチャを予測する段階は、前記以前映像処理ブロックのイントラピクチャ及び前記現在映像処理ブロックのイントラピクチャのうち、少なくとも一つに基づいて時間予測、または視点間予測を行って現在ピクチャを予測する段階を含む。
【００１９】
本発明によるさらに望ましい実施によれば、前記視点間予測は、前記現在ピクチャが含まれている視点が前記視点間予測のために利用する参照視点のピクチャを参照して行われ、前記参照視点は、前記現在映像処理ブロックのイントラピクチャが生成された視点によって決定されることを特徴とする。
【００２０】
前記技術的課題を解決するための本発明による多視点映像の符号化装置は、以前映像処理ブロックのイントラピクチャ及び前記以前映像処理ブロックのイントラピクチャが生成された視点と異なる視点に対して生成された現在映像処理ブロックのイントラピクチャのうち、少なくとも一つに基づいて現在ピクチャを予測するインター予測部と、前記予測に基づいて前記現在ピクチャを符号化する符号化部とを備える。
【００２１】
本発明によるさらに望ましい実施形態によれば、前記符号化部は、前記現在映像処理ブロックのイントラピクチャが生成された視点についての情報を符号化することを特徴とする。
【００２２】
前記技術的課題を解決するための本発明による多視点映像の符号化方法は、前記多視点のうち、複数の視点に対してそれぞれ少なくとも一つ以上のイントラピクチャを生成し、前記生成されたイントラピクチャに基づいて前記多視点映像が予測符号化されたことを示す情報を生成する段階と、前記生成された情報を前記多視点映像に対するビットストリームに挿入する段階とを含む。
【００２３】
本発明によるさらに望ましい実施形態によれば、前記情報を生成する段階は、前記多視点映像のそれぞれの視点が視点間予測のために参照する参照視点についての情報を生成する段階を含み、前記参照視点は、前記多視点映像の映像処理ブロックで前記イントラピクチャが位置している視点によって決定されることを特徴とする。
【００２４】
前記技術的課題を解決するための本発明による多視点映像の符号化装置は、前記多視点のうち、複数の視点に対してそれぞれ少なくとも一つ以上のイントラピクチャを生成し、前記生成されたイントラピクチャに基づいて前記多視点映像が予測符号化されたことを示す情報を生成する情報生成部と、前記生成された情報を前記多視点映像に対するビットストリームに挿入する情報挿入部とを備える。
【００２５】
前記技術的課題を解決するための本発明による多視点映像の復号化方法は、以前映像処理ブロックのイントラピクチャが復元された視点と異なる視点に対して現在映像処理ブロックのイントラピクチャを復元する段階と、前記以前映像処理ブロックのイントラピクチャ及び前記現在映像処理ブロックのイントラピクチャのうち、少なくとも一つに基づいて現在ピクチャを予測する段階と、前記予測に基づいて前記現在ピクチャを復元する段階とを含む。
【００２６】
本発明によるさらに望ましい実施形態によれば、前記現在ピクチャを予測する段階は、前記以前映像処理ブロックのイントラピクチャ及び前記現在映像処理ブロックのイントラピクチャのうち、少なくとも一つに基づいて時間予測、または視点間予測を行って現在ピクチャを予測する段階を含む。
【００２７】
本発明によるさらに望ましい実施形態によれば、前記視点間予測は、前記多視点映像のビットストリームに挿入されている参照視点についての情報によって、前記現在ピクチャが含まれている視点が前記視点間予測のために利用する参照視点のピクチャを参照して行われ、前記参照視点についての情報は、前記現在映像処理ブロックのイントラピクチャが生成された視点によって決定された情報であることを特徴とする。
【００２８】
前記技術的課題を解決するための本発明による多視点映像の復号化装置は、現在ピクチャに対するデータを含むビットストリームを受信し、受信されたビットストリームから前記現在ピクチャに対するデータを抽出する復号化部と、以前映像処理ブロックのイントラピクチャ及び前記以前映像処理ブロックのイントラピクチャが復元された視点と異なる視点に対して復元された映像処理ブロックのイントラピクチャのうち、少なくとも一つに基づいて前記現在ピクチャを予測するインター予測部と、前記予測に基づいて前記現在ピクチャを復元する復元部とを備える。
【００２９】
前記技術的課題を解決するための本発明は、前記の多視点映像符号化及び復号化方法を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【発明の効果】
【００３０】
本発明によれば、基本視点以外の異なる視点の映像に対しても、イントラピクチャを生成して多視点映像を予測符号化するので、異なる視点の映像で発生しうる画質劣化を防止できる。
【００３１】
異なる視点の映像に対してイントラピクチャを生成する場合に、それぞれの視点が視点間予測のために利用する参照視点についての情報をシーケンス・パラメータに含めて伝送できるので、復号化する側でさらに効率的に復号化を行うことができる。
【図面の簡単な説明】
【００３２】
【図１】従来技術による多視点映像のシーケンスを示す図である。
【図２】従来技術による多視点映像のシーケンス・パラメータの構文を示す図である。
【図３】本発明の一実施形態による多視点映像のシーケンスを示す図である。
【図４】本発明の一実施形態による多視点映像の符号化装置を示す図である。
【図５】本発明の一実施形態による多視点映像の符号化方法を説明するためのフローチャートである。
【図６】本発明の一実施形態による多視点映像のスライス・パラメータの構文を示す図である。
【図７】本発明の一実施形態による多視点映像のシーケンス・パラメータを生成する方法を示す図である。
【図８Ａ】本発明の一実施形態による多視点映像のシーケンス・パラメータの構文を示す図である。
【図８Ｂ】本発明の一実施形態による視点距離指数を示す図である。
【図８Ｃ】本発明の一実施形態による参照視点についての情報を生成する方法を示す図である。
【図９】本発明の一実施形態による多視点映像復号化の装置を示す図である。
【図１０】本発明の一実施形態による多視点映像復号化の方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００３３】
以下では、本発明の例示的な実施形態について、添付された図面を参照しつつ詳細に説明する。参照番号が少なくとも１枚の図面に示された構成要素をそれぞれ参照するということを知っておく必要がある。次に、ここで付加されている公知の機能及び構成の詳細な説明は、簡潔さ及び明瞭さのために省略されることがあるのである。
【００３４】
図３は、本発明の一実施形態による多視点映像のシーケンスを示している。図３でも図１と同様に、横軸は時間軸であり、縦軸は視点軸である。従来技術による多視点映像の符号化方法では、基本視点の映像に対して周期的にイントラピクチャ（Ｉ  picture）を生成し、生成されたイントラピクチャを基に、時間予測（temporal  prediction）、または視点間予測（inter-view  prediction）を行って他のピクチャを予測符号化した。
【００３５】
しかし、本発明の例示的な例による多視点映像の符号化方法は、基本視点（view）、すなわち視点０ではない他の視点の映像に対してもイントラピクチャを生成し、これに基づいて時間予測または視点間予測を行い、多視点映像の他のピクチャを予測符号化する。
【００３６】
基本視点に対してのみイントラピクチャを生成するのではなく、他の視点に対してもイントラピクチャを生成することによって、予測符号化時に、基本視点以外の他の視点の映像で発生しうる画質劣化を防止する。
【００３７】
図３を参照するに、多視点映像符号化の装置は、所定の映像単位を基に映像を符号化する。まず、各視点の最初のピクチャ３１０を予測符号化する。基準視点に生成されたイントラピクチャに基づいて視点間予測を行い、各視点の最初のピクチャ３１０を生成する。
【００３８】
単方向視点間予測を利用し、視点２、視点４、視点６及び視点７の映像に対してＰ（predictive）ピクチャを生成し、双方向視点間予測を利用し、視点１、視点３及び視点５にＢ（bidirectionally  predictive）ピクチャを生成する。最初のピクチャ３１０は、いずれも基本視点の映像に対して生成されたイントラピクチャに基づいて予測を行う。
【００３９】
最初の映像処理ブロック、すなわち最初のピクチャに対する予測がいずれも行われれば、次の映像処理ブロックに対して予測を行う。多視点符号化では、以前イントラピクチャ３１１のすぐ次の時間のピクチャから現在イントラピクチャ３２１までの距離をＧＯＰ（group  of  picture）３５０といい、それぞれの視点に対するＧＯＰを一つにまとめた単位をＧＧＯＰ（group  of  ＧＯＰ）という。図３では、現在イントラピクチャ３２１のすぐ次の時間のピクチャから次のイントラピクチャ３３１までの距離もＧＯＰ  ３６０となる。多視点映像符号化の装置は、ＧＧＯＰ単位を映像処理ブロックとして映像の予測符号化を行う。
【００４０】
本発明による多視点映像符号化の装置は、基本視点に生成されたイントラピクチャ３１１と異なる視点、例えば視点１に対してイントラピクチャ３２１を生成する。換言すれば、以前映像処理ブロック３１０のイントラピクチャ３１１が生成された視点と異なる視点の映像に対して、現在映像処理ブロック３２０のイントラピクチャ３２１を生成する。同様に、次の映像処理ブロック３３０では、現在映像処理ブロック３２０のイントラピクチャ３２１が生成された視点と異なる視点、例えば視点２の映像に対して、次の映像処理ブロック３３０のイントラピクチャ３３１を生成する。
【００４１】
現在映像処理ブロック３２０のイントラピクチャ３２１が生成されれば、生成された現在映像処理ブロックのイントラピクチャ３２１及び以前映像処理ブロックのイントラピクチャ３１１を基に時間予測または視点間予測を行い、現在映像処理ブロック３２０に含まれた他のピクチャを予測符号化する。言い換えれば、イントラピクチャに基づいて時間予測または視点間予測を行い、他のピクチャを予測符号化する。予測されたピクチャからさらに時間予測または視点間予測を行うこともできる。
【００４２】
基本視点と異なる視点に対してイントラピクチャを生成する周期には制限がなく、非周期的にイントラピクチャを生成することもできる。また、多視点映像の全ての視点に対してイントラピクチャを生成することなしに、複数の特定視点に対してのみイントラピクチャを生成することもできる。例えば、図３に示されたように、全ての視点に対して１つのＧＯＰを周期に、周期的にイントラピクチャを生成することができるが、複数の特定視点、すなわち視点０、視点４及び視点７に対してのみ非周期的にイントラピクチャを生成するように、実施形態を構成することもできる。
【００４３】
図３に示されたように、複数の視点に対してイントラピクチャを生成し、これに基づいて多視点映像を予測して符号化する場合には、視点間予測のための参照視点には変化が発生する。
【００４４】
視点６の映像を例にして説明する。図１を参照し、視点６の映像シーケンスについて述べれば、図１で、視点６の映像シーケンスに含まれたピクチャの視点間予測のための参照視点には変化がない。
【００４５】
視点６の映像シーケンスに含まれたピクチャのうちアンカーピクチャは、視点４のピクチャのみを参照するので、参照視点は視点４となる。また、視点６の映像シーケンスに含まれたピクチャのうち非アンカーピクチャは、視点間予測を行うにおいて、他の視点によって参照されるだけであって他の視点を参照しない。かような特性は、映像処理ブロックが変わっても変更なしに続けて維持される。
【００４６】
しかし、図３を参照し、視点６の映像シーケンス３４０について述べれば、現在映像処理ブロック３２０に含まれたアンカーピクチャ３４１及び非アンカーピクチャは、視点５及び視点７のピクチャを視点間予測時に参照する。しかし、次の映像処理ブロック３３０に含まれたアンカーピクチャ３４２は視点４のピクチャを参照し、非アンカーピクチャは、他の視点によって参照されるのみであって他の視点を参照しない。
【００４７】
このように、視点間予測を行うための参照ピクチャが変わる理由は、それぞれの映像処理ブロックに含まれたイントラピクチャ３２１及び３３１が互いに異なる視点の映像に対して生成されているためである。現在映像処理ブロックでは、イントラピクチャ３２１が視点１の映像に対して生成され、次の映像処理ブロックでは、イントラピクチャ３３１が視点２の映像に対して生成されたために、視点６の参照視点がそれぞれの映像処理ブロックで変わる。
【００４８】
従って、イントラピクチャが生成された視点によって変更されるそれぞれの視点の参照視点についての情報を符号化できる方法が必要であり、これについては、図８Ａないし図８Ｃを参照して詳細に説明する。
【００４９】
図４は、本発明の一実施形態による多視点映像の符号化装置を示している。図４を参照するに、本発明による多視点映像符号化の装置４００は、イントラ予測部４１０、インター予測部４２０、符号化部４３０、復元部４４０、フィルタ４５０、フレームメモリ４６０、情報生成部４７０及び情報挿入部４８０を備える。
【００５０】
イントラ予測部４１０は、現在映像処理ブロックのイントラピクチャをイントラ予測するにおいて、以前映像処理ブロックのイントラピクチャが生成された視点と異なる視点の映像に対してイントラ予測を行う。本発明による多視点映像の符号化装置は、図３に示されたように、基本視点と異なる視点の映像に対してもイントラピクチャを生成できる。従って、イントラ予測部４１０は、基本視点（視点０）と異なる視点の映像に対してイントラ予測を行う。
【００５１】
生成されたイントラ予測映像を原本映像から減算して剰余（residue）を生成し、生成された剰余は、符号化部４３０で符号化される。剰余に対して離散コサイン変換（ＤＣＴ：discrete  cosine  transform）及び量子化を行って符号化する。符号化された剰余は、復元部４４０で逆量子化及び逆離散コサイン変換（inverse  ＤＣＴ）された後に、イントラ予測映像にさらに加算されてイントラピクチャに復元される。
【００５２】
復元されたイントラピクチャは、フィルタ４５０でデブロッキング・フィルタリング（deblocking  filtering）された後、フレームメモリ４６０に保存されて他のピクチャの予測に利用される。フレームメモリ４６０は、現在映像処理ブロックのイントラピクチャはもとより、以前映像処理ブロックのイントラピクチャも保存しており、保存されたイントラピクチャは、インター予測部４２０が時間予測または視点間予測を行うときに参照する。
【００５３】
インター予測部４２０は、フレームメモリ４６０に保存されているピクチャに基づいて現在ピクチャを予測する。互いに異なる視点に対して生成された以前映像処理ブロックのイントラピクチャ及び現在映像処理ブロックのイントラピクチャのうち、少なくとも一つに基づいて現在ピクチャを予測する。ここで、イントラピクチャは、それぞれの映像処理ブロックで、アンカーピクチャとして生成されることが望ましい。イントラピクチャを基に時間予測または視点間予測を行い、現在ピクチャを予測する。
【００５４】
図３と関連して前述のように、本発明の例示的な実施形態による多視点映像のシーケンスで、視点が視点間予測のために参照する参照視点は、それぞれの映像処理ブロックでイントラピクチャが生成された視点位置によって決定される。従って、インター予測部４２０は、現在映像処理ブロックのイントラピクチャが生成された視点位置をまず判断し、これによって、参照視点を決定した後に決定された参照視点にあるピクチャを参照し、視点間予測を行う。
【００５５】
インター予測部４２０で、時間予測または視点間予測されたピクチャを原本ピクチャから減算して剰余を生成し、生成された剰余を符号化部４３０で符号化する。
【００５６】
符号化部４３０が現在ピクチャを符号化するときには、現在映像処理ブロックのイントラピクチャが生成された視点についての情報を共に符号化する。視点間予測符号化された現在ピクチャを復号化するときには、現在ピクチャが含まれている現在映像処理ブロックのいかなる視点位置にイントラピクチャが生成されているか、復号化する側も知っている必要がある。現在映像処理ブロックのイントラピクチャが生成された視点によって、視点間予測のために使用する参照視点の位置が変わるためである。従って、それぞれのピクチャごとに、現在映像処理ブロックのイントラピクチャが生成された視点についての情報も符号化して伝送する。
【００５７】
情報生成部４７０は、多視点映像の視点のうち、複数の視点に対してイントラピクチャを生成し、生成されたイントラピクチャに基づいて多視点映像が予測符号化されたことを示す情報を生成する。
【００５８】
図３に示されたように、基本視点以外の他の視点に対してイントラピクチャを生成し、生成されたイントラピクチャに基づいて多視点映像シーケンスのピクチャが予測符号化されたことを示す情報を生成する。
【００５９】
情報生成部４７０で生成する情報には、それぞれの視点が視点間予測のために参照する参照視点についての情報も含まれる。
【００６０】
符号化部４３０で、ピクチャごとに現在映像処理ブロックのイントラピクチャが生成された視点位置についての情報を符号化しても、復号化する側で現在ピクチャが視点間予測のために参照せねばならない参照視点をすぐに特定できるわけではない。換言すれば、現在映像処理ブロックに、イントラピクチャが生成された視点についての情報と共に、その視点位置にイントラピクチャが生成された場合、それぞれの視点が参照する参照視点についての情報が付加的に復号化する側に伝送されねばならない。
【００６１】
従って、情報生成部４７０は、イントラピクチャが生成された視点によって決定されるそれぞれの視点が視点間予測のために参照する参照視点についての情報を生成する。参照視点についての情報を生成する方法については、図７及び図８Ａないし図８Ｃを参照しつつ、詳細に説明する。
【００６２】
情報挿入部４８０は、情報生成部４７０で生成された情報をビットストリームに挿入する。情報生成部４７０で生成された情報を含むシーケンス・パラメータを生成し、ビットストリームに挿入する。
【００６３】
図５は、本発明の一実施形態による多視点映像の符号化方法を説明するためのフローチャートである。
【００６４】
段階５１０で、本発明の例示的な実施形態による多視点映像符号化の装置は、以前映像処理ブロックのイントラピクチャ３１１が生成された視点と異なる視点に対して、現在映像処理ブロックのイントラピクチャ３２１を生成する。基本視点、すなわち視点０に対してのみイントラピクチャを続けて生成し、他の視点のピクチャを予測符号化すれば、他の視点の映像に画質の劣化が発生しうるので、基本視点以外の他の視点にもイントラピクチャを生成し、多視点映像シーケンスのピクチャを予測符号化する。
【００６５】
段階５２０で、多視点映像符号化の装置は、段階５１０で生成された現在映像処理ブロックのイントラピクチャ、及びすでに生成された以前映像処理ブロックのイントラピクチャのうち、少なくとも一つに基づいて現在ピクチャを予測する。２つのイントラピクチャのうち、一つだけ利用して予測を行うこともでき、２つのピクチャいずれも利用して予測を行うこともできる。時間予測または視点間予測を利用し、現在ピクチャを予測する。
【００６６】
段階５３０で、多視点映像符号化の装置は、段階５２０の予測に基づいて現在ピクチャを符号化する。段階５２０で予測された現在ピクチャの予測値段を原本値から減算して剰余を生成し、生成された剰余を符号化する。
【００６７】
また、現在ピクチャが視点間予測のために参照する参照視点についての情報を復号化する側に知らせるために、現在映像処理ブロックのイントラピクチャが生成された視点についての情報も符号化する。図６を参照しつつ詳細に説明する。
【００６８】
図６は、本発明の一実施形態による多視点映像のスライス・パラメータ（slice  parameter）の構文を示す。
【００６９】
図６を参照するに、本発明の例示的な実施形態によるスライス・パラメータは、関連技術のスライス・パラメータ以外に、現在映像処理ブロックのイントラピクチャが生成された視点についての情報をさらに含んでいる。
【００７０】
図６に示された‘I_frame_position’がイントラピクチャが生成された視点についての情報である。現在ピクチャまたはスライスごとに、イントラピクチャが生成された視点についての情報をパラメータとして符号化して伝送することによって、復号化する側で参照できるようにする。
【００７１】
図７は、本発明の一実施形態による多視点映像のシーケンス・パラメータを生成する方法を示している。前述のように、多視点映像のそれぞれのピクチャごとに、現在映像処理ブロックのイントラピクチャが生成された視点についての情報を符号化して伝送するとしても、復号化する側ですぐに現在ピクチャの視点間予測のために参照せねばならない参照視点を特定できるわけではない。従って、イントラピクチャが生成された視点によって決定される参照視点を特定できるシーケンス・パラメータが別途に符号化され、復号化する側に伝送されねばならない。
【００７２】
図７を参照するに、段階７１０で、多視点映像符号化の装置は、多視点映像が複数の視点に対してイントラピクチャを生成し、生成されたイントラピクチャに基づいて予測符号化されたか否かを判断する。
【００７３】
従来の多視点映像の符号化方法のように、基本視点に対してのみ周期的にイントラピクチャを生成するのではなく、複数の視点に対して周期的または非周期的に、イントラピクチャを生成したか否かを判断する。
【００７４】
段階７２０及び段階７３０は、本発明の例示的な実施形態によって複数の視点に対してそれぞれ少なくとも一つ以上のイントラピクチャを生成し、生成されたイントラピクチャに基づいて多視点映像が予測符号化されたことを示す情報を生成する段階である。生成される情報には、それぞれの視点が視点間予測のために参照する参照視点についての情報が含まれる。
【００７５】
段階７１０で、複数の視点に対してイントラピクチャを生成していないと判断されれば、段階７２０で、複数の視点に対して生成されていないイントラピクチャに対応する多視点映像のシーケンス・パラメータを生成する。
【００７６】
図２に示されているようなシーケンス・パラメータの構文のように、それぞれの視点に対してアンカーピクチャと非アンカーピクチャとを区分し、参照視点についての情報を生成する。ただし、本発明の例示的な実施形態によれば、図８Ａに示されたように、複数の視点に対してイントラピクチャを生成するものではない場合にも、‘flexible_I_frame_position_flag’値を設定し、複数の視点に対してイントラピクチャを生成した場合と区分する。例えば、複数の視点に対してイントラピクチャを生成した場合には、‘flexible_I_frame_position_flag’を‘１’に設定し、段階４２０のように、基本視点に対してのみイントラピクチャを生成した場合には、‘flexible_I_frame_position_flag’を‘０’に設定し、二種の場合を区分する。
【００７７】
また、本発明の例示的な実施形態によれば、参照視点についての情報を生成するにおいて、視点番号を直接利用するものではなく、視点距離を利用する。それぞれの視点と参照視点との間の距離である視点距離を利用し、参照視点についての情報を設定して符号化することによって、シーケンス・パラメータ符号化の圧縮効率を向上させる。
【００７８】
視点番号を直接利用すれば、視点７のように視点番号が大きい場合には、これを符号化するのに多ビットが必要である。しかし、それぞれの視点とそれぞれの視点が参照する視点との間の相対的な視点距離を利用してシーケンス・パラメータを設定すれば、さらに少ないビットでシーケンス・パラメータを符号化できる。
【００７９】
段階７１０で、複数の視点に対してイントラピクチャを生成したと判断されれば、段階７３０で、複数の視点に対して生成されたイントラピクチャに対応する多視点映像のシーケンス・パラメータを生成する。
【００８０】
段階７２０で、前述のところと同様に、複数の視点に対してイントラピクチャを生成したことを表現するために、‘flexible_I_frame_position_flag’値を設定する。その後、イントラピクチャの位置によって多視点映像のそれぞれの視点が参照する参照視点についての情報を生成する。
【００８１】
段階７４０で、多視点映像符号化の装置は、段階７２０及び段階７３０で生成されたシーケンス・パラメータをビットストリームに挿入する。
【００８２】
図８Ａは、本発明の一実施形態による多視点映像のシーケンス・パラメータの構文を示している。図８Ａを参照するに、多視点映像の視点個数に対するパラメータである‘num_views_minus_1’をまず決定する。視点番号は、視点０から始まるので、視点個数から１を引いた数字である‘num_views_minus_1’が最後の視点番号となる。複数の視点に対してイントラピクチャを生成したことを示すために、‘flexible_I_frame_position_flag’を決定する。
【００８３】
‘flexible_I_frame_position_flag’が決定されれば、視点距離についての情報である‘diff_view_idc’が決定される。図８Ｂを参照しつつ詳細に説明する。
【００８４】
図８Ｂは、本発明の一実施形態による視点距離指数（index）を示している。
【００８５】
図３に示された視点６の映像シーケンス３４０について述べれば、現在映像処理ブロック３２０に含まれたアンカーピクチャ３４１及び非アンカーピクチャは、視点５及び視点７のピクチャを参照して視点間予測を行う。
【００８６】
この場合、視点６と視点５との間の視点距離は−１であり、視点６と視点７との間の視点距離は＋１になる。もし、視点６が視点４を視点間予測のために参照していれば、視点距離は−２となる。
【００８７】
望ましくは、しかし必須なものではなく（Preferably，but  not  necessarily）、かような視点距離をそのまま利用するのではなく、視点間予測時に発生しうる全ての視点距離を指数化（indexing）して利用できる。図８Ｂを参照しつつ詳細に説明する。
【００８８】
従って、図８Ｂに示されたように、‘diff_view_idc’を設定すれば、‘diff_view_idc’は、視点距離に対する指数のみを意味し、それぞれの指数が−２、＋２、−１、＋１のように、実際視点距離に対応する。
【００８９】
再び図８Ａを参照するに、視点距離に対する指数をいずれも設定した後に、‘flexible_I_frame_position_flag’によって参照視点についての情報を生成する。
【００９０】
もし‘flexible_I_frame_position_flag’の値が０、すなわち複数の視点に対してイントラピクチャを生成した場合ではないなら、‘list0’及び‘list1’に対してアンカーピクチャと非アンカーピクチャとを区分し、参照視点についての情報を生成する。
【００９１】
図２と同様に‘list0’は、現在視点が参照する視点のうち、現在視点より視点番号が小さい参照視点に係る目録であり、‘list1’は、現在視点が参照する視点のうち、現在視点より視点番号が大きい視点に係る目録である。この場合、図８Ｂに示された視点距離指数である‘diff_view_idc’を利用して視点距離を指数化し、参照視点についての情報を生成することもできる。図８Ａは、視点距離を指数化して参照視点についての情報を生成する場合に、シーケンス・パラメータの構文について示している。
【００９２】
イントラピクチャの位置が基本視点に固定されているので、シーケンス全体にわたってそれぞれの視点が参照する参照視点には変更がない。従って、それぞれの視点に対して、‘list0’及び‘list1’の参照視点の個数についての情報を生成する。‘list1’の参照視点個数を意味する‘num_diff_view_idc_multiview_refs_for_list0[i]’を決定し、‘list0’の参照視点個数を意味する‘num_diff_view_idc_multiview_refs_for_list1[i]’を決定する。その後、アンカーピクチャ及び非アンカーピクチャを区分し、‘list0’及び‘list1’の参照視点についての情報を決定する。
【００９３】
視点距離指数を利用し、‘list0’のアンカーピクチャが参照する参照視点についての情報である‘diff_view_idc_anchor_reference_for_list_0[i][j]’を設定し、非アンカーピクチャが参照する参照視点についての情報である‘diff_view_idc_non_anchor_reference_for_list_0[i][j]’を設定する。
【００９４】
同様に視点距離指数を利用し、‘list1’のアンカーピクチャが参照する参照視点についての情報である‘diff_view_idc_anchor_reference_for_list_1[i][j]’を設定し、非アンカーピクチャが参照する参照視点についての情報である‘diff_view_idc_non_anchor_reference_for_list_1[i][j]’を設定する。
【００９５】
もし‘flexible_I_frame_position_flag’の値が１、すなわち複数の視点に対してイントラピクチャを生成した場合であるならば、イントラピクチャが生成された視点位置によってそれぞれの視点が参照する参照視点に変更が発生する。従って、イントラピクチャが生成された視点位置によってそれぞれの視点に対する参照視点についての情報をいずれも設定せねばならない。
【００９６】
まず、視点０にイントラピクチャが生成されたとき、すなわちｉ＝０であるとき、それぞれの視点に対して‘list0’及び‘list1’の参照視点の個数についての情報を生成する。‘num_diff_view_idc_multiview_anchor_refs_for_list0[i][j]’は、アンカーピクチャが参照する‘list0’の参照視点の個数についての情報であり、‘num_diff_view_idc_multiview_non_anchor_refs_for_list0[i][j]’は、非アンカーピクチャが参照する‘list0’の参照視点の個数についての情報である。‘num_diff_view_idc_multiview_anchor_refs_for_list1[i][j]’は、アンカーピクチャが参照する‘list1’の参照視点の個数についての情報であり、‘num_diff_view_idc_multiview_non_anchor_refs_for_list1[i][j]’は、非アンカーピクチャが参照する‘list1’の参照視点の個数についての情報である。
【００９７】
参照視点の個数についての情報がいずれも設定されれば、視点距離に対する指数を利用し、それぞれのアンカーピクチャ及び非アンカーピクチャが参照する参照視点についての情報を設定する。アンカーピクチャが参照する‘list0’の参照視点についての情報が視点距離指数によって、‘diff_view_idc_anchor_reference_for_list_0[i][j][k]’に設定され、非アンカーピクチャが参照する‘list0’の参照視点についての情報が視点距離指数によって、‘diff_view_idc_non_anchor_reference_for_list_0[i][j][k]’に設定される。
【００９８】
同様に、アンカーピクチャが参照する‘list1’の参照視点についての情報が視点距離指数によって、‘diff_view_idc_anchor_reference_for_list_1[i][j][k]’に設定され、非アンカーピクチャが参照する‘list1’の参照視点についての情報が視点距離指数によって、‘diff_view_idc_non_anchor_reference_for_list_1[i][j][k]’に設定される。
【００９９】
前述の視点０にイントラピクチャが生成されたとき、構文を設定する過程を、視点１、視点２、視点３、…にイントラピクチャが生成された場合に対して反復することによって、イントラピクチャが生成された視点位置によって参照視点についての情報を生成する過程がいずれも完了する。
【０１００】
図８Ｃは、本発明の一実施形態による参照視点についての情報を生成する方法を示している。図３に示された次の映像処理ブロック３３０の視点５の参照視点についての情報について、アンカーピクチャを例にして説明する。
【０１０１】
図８Ｃは、視点５が視点間予測のために参照する参照視点についての情報を生成する場合を例にして説明している。Ｂピクチャが視点間予測のために参照するピクチャは、視点４のＰピクチャであり、また、視点４のＰピクチャを参照するためには、視点２のイントラピクチャも参照せねばならない。視点６のＰピクチャも参照する。現在映像処理ブロックのイントラピクチャが生成された視点位置は視点２であるので、ｉ＝２である。
【０１０２】
従って、Ｂピクチャが参照する‘list0’の視点は、視点４と視点２とになり、視点４までの視点距離は−１であり、視点４から視点２までの距離は、−２となる。これを図８Ｂの視点距離指数と比較すると、視点距離が−１であるとき、‘diff_view_idc=2’であり、視点距離が−２であるとき、‘diff_view_idc=0’になる。
【０１０３】
総合してみれば、‘num_diff_view_idc_multiview_anchor_refs_for_list0[2][5]=2’であり、‘diff_view_idc_anchor_reference_for_list_0[2][5][0]=2’、‘diff_view_idc_anchor_reference_for_list_0[2][5][1]=0’である。
【０１０４】
‘list1’については、Ｂピクチャが参照する‘list1’の視点が視点６であるので、視点６までの視点距離は＋１であり、‘diff_view_idc=3’である。従って、‘num_diff_view_idc_multiview_anchor_refs_for_list1[2][5]=1’であり、‘diff_view_idc_anchor_reference_for_list_1[2][5][0]=3’である。
【０１０５】
図９は、本発明の一実施形態による多視点映像復号化の装置を示している。図９を参照するに、本発明による多視点映像復号化の装置９００は、情報抽出部９１０、復号化部９２０、復元部９３０、フィルタ９４０、フレームメモリ９５０、イントラ予測部９６０及びインター予測部９７０を備える。
【０１０６】
情報抽出部９１０は、受信されたビットストリームから参照視点についての情報を抽出する。本発明の例示的な実施形態による多視点映像の符号化方法では、映像処理ブロック、すなわちＧＧＯＰ内のイントラピクチャが生成された視点によってそれぞれの視点が視点間予測のために参照する参照視点に変更が発生する。従って、イントラピクチャが生成された視点によって決定された参照視点についての情報を含んでいるシーケンス・パラメータをビットストリームから抽出する。
【０１０７】
イントラ予測部９６０は、情報抽出部９１０が抽出した参照視点についての情報に基づいて互いに異なる視点の映像に対してイントラピクチャを生成する。参照視点についての情報を参照した結果、多視点映像が複数の視点に対してイントラピクチャを生成し、予測符号化されたと判断されれば、互いに異なる視点に対してイントラ予測を行い、イントラピクチャを復元する。パラメータの‘flexible_I_frame_position_flag’を参照してイントラ予測を行う。望ましくは、アンカーピクチャとしてイントラピクチャを予測する。
【０１０８】
フレームメモリ９５０は、インター予測部９７０が時間予測または視点間予測のために利用するピクチャを保存する。視点間予測を行うために現在ピクチャが参照するピクチャは、情報抽出部９１０が抽出する参照視点についての情報によって決定される。従って、参照視点についての情報によって参照視点を特定し、特定された参照視点のピクチャを保存し、インター予測部９７０が視点間予測を行うことができるようにする。
【０１０９】
フレームメモリ９５０は、参照視点についての情報によって特定された参照視点のピクチャだけを保存すればいいので、小サイズのフレームメモリ９６０を使用して効率的に多視点映像を予測復号化できる。
【０１１０】
インター予測部９７０は、フレームメモリ９５０に保存されたピクチャを参照して現在ピクチャに対して時間予測または視点間予測を行う。特に、視点間予測を行うにおいては、参照視点についての情報によって特定参照視点のピクチャを参照して視点間予測を行う。以前映像処理ブロックと現在映像処理ブロックとのイントラピクチャが生成された視点が互いに異なる場合に、それらイントラピクチャに基づいて時間予測または視点間予測を行い、現在ピクチャを予測する。
【０１１１】
イントラ予測部９６０及びインター予測部９７０で予測された映像は、復元部９３０に伝送される。復元部９３０は、符号化部９２０で抽出された現在ピクチャに係るデータ、すなわち剰余についてのデータと予測された映像とを利用し現在ピクチャを復元する。逆量子化、逆離散コサイン変換された剰余と予測された映像とを加算する。復元された現在ピクチャは、フィルタ９４０でデブロッキング・フィルタリングされ、他のピクチャの予測のために、フレームメモリ９５０に保存される。
【０１１２】
図１０は、本発明の一実施形態による多視点映像復号化の方法を説明するためのフローチャートである。
【０１１３】
段階１０１０で、本発明の例示的な実施形態による多視点映像復号化の装置は、以前映像処理ブロックのイントラピクチャが復元された視点と異なる視点に対して、現在映像処理ブロックのイントラピクチャを復元する。復元されたイントラピクチャは、一般的にアンカーピクチャであり、映像処理ブロックはＧＧＯＰである。
【０１１４】
段階１０２０で、多視点映像復号化の装置は、段階１０１０で生成された現在映像処理ブロックのイントラピクチャ及び以前映像処理ブロックのイントラピクチャに基づいて現在ピクチャを予測する。イントラピクチャに基づいて時間予測または視点間予測を行い、現在ピクチャを予測する。イントラピクチャによって予測された他のピクチャからさらに時間予測または視点間予測を行い、現在ピクチャを予測することもできる。
【０１１５】
視点間予測を行うときには、ビットストリームのシーケンス・パラメータに含まれている参照視点についての情報を参照して視点間予測を行う。本発明による符号化方法は、参照視点が映像処理ブロック内のイントラピクチャの位置によって変更される。従って、現在映像処理ブロックのイントラピクチャがいかなる視点で生成されたかを判断し、判断された視点に基づいて参照視点を特定する。その後、参照視点にあるピクチャを参照して視点間予測を行う。
【０１１６】
段階１０３０で、多視点映像復号化の装置は、段階１０２０の予測に基づいて現在ピクチャを復元する。現在ピクチャの剰余についてのデータをビットストリームから抽出し、抽出された剰余についてのデータを予測映像と加算することによって、現在ピクチャを復元する。
【０１１７】
以上で使われたイントラピクチャ、Ｐピクチャ及びＢピクチャのような用語は、説明の便宜のために使われた用語である。従って、本発明がピクチャ単位ではないスライス単位、すなわちイントラスライス、Ｐスライス及びＢスライスにも同一に適用されうることは、本発明が属する分野で当業者ならば、容易に理解することができるであろう。
【０１１８】
また、本発明の例示的な実施形態によるシステムは、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードでもって具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全ての種類の記録装置を含む。記録媒体の例としては、ＲＯＭ（Read-Only  Memory）、ＲＡＭ（Random-Access  Memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。
【０１１９】
以上のように本発明は、たとえ限定された実施形態と図面とによって説明されているとしても、本発明が前記の実施形態に限定されるものではなく、本発明が属する分野で当業者ならば、特許請求の範囲によって決定される本発明の多様な思想及び範囲から外れることなしに、形態及び詳細（form  and  detail）に多様な変形がありえることを理解することが可能であろう。
【図１】
2010506530.tif 000003
【図２】
2010506530.tif 000004
【図３】
2010506530.tif 000005
【図４】
2010506530.tif 000006
【図５】
2010506530.tif 000007
【図６】
2010506530.tif 000008
【図７】
2010506530.tif 000009
【図８Ａ】
2010506530.tif 000010
【図８Ｂ】
2010506530.tif 000011
【図８Ｃ】
2010506530.tif 000012
【図９】
2010506530.tif 000013
【図１０】
2010506530.tif 000014
【国際調査報告】
2010506530.tif 000015
2010506530.tif 000016