(57)【要約】  多視点動映像の情報量を最小化するように多視点動映像を符号化する方法及び装置を提供する。本発明による多視点映像符号化方法は、複数個のBフレームを所定の基準によって少なくとも2グループ以上にグルーピングする段階と、及びグルーピングされたBフレームに対して順次に符号化を行う段階とを含み、情報量を最小化して多数の人に同時に立体感及び臨場感を提供する多視点動映像を提供できる。
2009505604.tif 000002
【特許請求の範囲】
【請求項１】
複数個のBフレームを所定の基準によって少なくとも2グループ以上にグルーピングする段階と、
前記グルーピングされた複数個のBフレームに対して順次に符号化を行う段階と、を含むことを特徴とする多視点動映像符号化方法。
【請求項２】
前記所定の基準は、
前記複数個のBフレーム各々が参照するフレーム数であることを特徴とする請求項１に記載の多視点動映像符号化方法。
【請求項３】
前記所定の基準は、
前記複数個のBフレーム各々が参照するフレーム数及び参照するフレームの位置であることを特徴とする請求項１に記載の多視点動映像符号化方法。
【請求項４】
前記グルーピングされた複数個のBフレームは、
水平に隣接した2つのフレーム、垂直に隣接した2つのフレーム、または水平に隣接した1つのフレーム及び垂直に隣接した1つのフレームを参照して予測される第1グループと、
水平に隣接した2つのフレーム及び垂直に隣接した1つのフレーム、または水平に隣接した1つのフレーム及び垂直に隣接した2つのフレームを参照して予測される第2グループと、
水平に隣接した2つのフレーム及び垂直に隣接した2つのフレームを参照して予測される第3グループと、を含み、
前記1つまたは2つの水平に隣接したフレームは、前記第1グループ、前記第2グループまたは前記第3グループのBフレームのように、同一時間での多視点動映像から得られたフレームであり、前記1つまたは2つの垂直に隣接したフレームは、前記第1グループ、前記第2グループまたは前記第3グループのBフレームのように、同一視点での多視点動映像から得られたフレームであることを特徴とする請求項１に記載の多視点動映像符号化方法。
【請求項５】
前記グルーピングされた複数個のBフレームに対して順次に符号化を行う段階は、
前記グルーピングされたBフレームに対して第1グループ、第2グループ及び第3グループ順に順次に符号化を行う段階を含むことを特徴とする請求項４に記載の多視点動映像符号化方法。
【請求項６】
前記順次的符号化は、前記複数個のBフレームを含む動映像符号化構造に基づいて行われ、
前記順次的符号化は、複数個の視点によって水平に配置されたフレーム間の視差予測を行い、経時的に垂直に配置されたフレーム間の動き予測を行う段階を含み、
前記動映像符号化構造は、水平及び垂直のうち少なくとも一方向に拡張され、
前記水平方向のフレームは、同一時間の多視点動映像から得られ、前記垂直方向のフレームは、同一視点での多視点動映像から得られることを特徴とする請求項１に記載の多視点動映像符号化方法。
【請求項７】
前記複数個の視点は、n個の視点を含み、nは自然数のうち奇数であることを特徴とする請求項６に記載の多視点動映像符号化方法。
【請求項８】
(n-1)番目の視点から得られたフレームは、前記視差予測及び前記動き予測のために使われないことを特徴とする請求項７に記載の多視点動映像符号化方法。
【請求項９】
前記動映像符号化構造で、前記複数個の視点のうち、第1視点を除いた視点から得られたフレームはIフレームを含まず、k番目から得られたフレームはBフレームのみを含み、ここで、kはnより小さな偶数の自然数であることを特徴とする請求項７に記載の多視点動映像符号化方法。
【請求項１０】
入力された多視点動映像に対する視差ベクトル及び動きベクトルを予測する予測部と、
前記予測された視差ベクトル及び動きベクトルを利用して映像を補償する視差動き補償部と、
前記入力された多視点動映像及び前記視差動き補償部から提供される補償された映像を受信し、差映像符号化を行う差映像符号化部と、
前記視差ベクトル、前記動きベクトル及び前記差映像符号化が行われたデータを利用して前記多視点動映像に対するビットストリームを生成するエントロピー符号化部と、を備え、
前記予測部は、各々複数個のBフレームを所定の基準によって少なくとも2グループ以上にグルーピングし、前記グルーピングされた複数個のBフレームに対して順次に予測を行うことを特徴とする多視点動映像符号化装置。
【請求項１１】
前記所定の基準は、
前記複数個のBフレーム各々が参照するフレーム数であることを特徴とする請求項１０に記載の多視点動映像符号化装置。
【請求項１２】
前記所定の基準は、
前記複数個のBフレーム各々が参照するフレーム数及び参照するフレームの位置であることを特徴とする請求項１０に記載の多視点動映像符号化装置。
【請求項１３】
前記グルーピングされた複数個のBフレームは、
水平に隣接した2つのフレーム、垂直に隣接した2つのフレーム、または水平に隣接した1つのフレーム及び垂直に隣接した1つのフレームを参照して予測される第1グループと、
水平に隣接した2つのフレーム及び垂直に隣接した1つのフレーム、または水平に隣接した1つのフレーム及び垂直に隣接した2つのフレームを参照して予測される第2グループと、
水平に隣接した2つのフレーム及び垂直に隣接した2つのフレームを参照して予測される第3グループと、を含み、
前記1つまたは2つの水平に隣接したフレームは、前記第1グループ、前記第2グループまたは前記第3グループのBフレームのように、同一時間での多視点動映像から得られたフレームであり、前記1つまたは2つの垂直に隣接したフレームは、前記第1グループ、前記第2グループまたは前記第3グループのBフレームのように、同一視点での多視点動映像から得られたフレームであることを特徴とする請求項１０に記載の多視点動映像符号化装置。
【請求項１４】
前記予測部は、
各々前記グルーピングされたBフレームに対して第1グループ、第2グループ及び第3グループ順に順次に予測を行うことを特徴とする請求項１３に記載の多視点動映像符号化装置。
【請求項１５】
前記予測部は、前記複数個のBフレームを含む動映像符号化構造に基づいて前記入力された多視点動映像の前記視差ベクトル及び前記動きベクトルを予測し、
前記予測部は、複数個の視点によって水平に配置されたフレーム間の視差予測を行い、経時的に垂直に配置されたフレーム間の動き予測を行い、
前記動映像符号化構造は、水平及び垂直のうち少なくとも一方向に拡張可能であり、
前記水平方向のフレームは、同一時間の多視点動映像から得られ、前記垂直方向のフレームは、同一視点での多視点動映像から得られることを特徴とする請求項１０に記載の多視点動映像符号化装置。
【請求項１６】
前記複数個の視点は、n個の視点を含み、nは自然数のうち奇数であることを特徴とする請求項１５に記載の多視点動映像符号化装置。
【請求項１７】
(n-1)番目の視点から得られたフレームは、前記視差予測及び前記動き予測のために使われないことを特徴とする請求項１６に記載の多視点動映像符号化装置。
【請求項１８】
前記動映像符号化構造で、前記複数個の視点のうち、第1視点を除いた視点から得られたフレームはIフレームを含まず、k番目から得られたフレームはBフレームのみを含み、ここで、kはnより小さな偶数の自然数であることを特徴とする請求項１６に記載の多視点動映像符号化装置。
【請求項１９】
複数個のBフレームを所定の基準によって少なくとも2グループ以上にグルーピングする段階と、
前記グルーピングされた複数個のBフレームに対して順次に符号化を行う段階と、を含むことを特徴とする多視点動映像符号化方法を具現するためのプログラムが記録されたコンピュータで読取り可能な記録媒体。
【請求項２０】
前記所定の基準は、
前記複数個のBフレーム各々が参照するフレーム数であることを特徴とする請求項１９に記載の記録媒体。
【請求項２１】
前記所定の基準は、
前記複数個のBフレーム各々が参照するフレーム数及び参照するフレームの位置であることを特徴とする請求項１９に記載の記録媒体。
【請求項２２】
前記グルーピングされた複数個のBフレームは、
水平に隣接した2つのフレーム、垂直に隣接した2つのフレーム、または水平に隣接した1つのフレーム及び垂直に隣接した1つのフレームを参照して予測される第1グループと、
水平に隣接した2つのフレーム及び垂直に隣接した1つのフレーム、または水平に隣接した1つのフレーム及び垂直に隣接した2つのフレームを参照して予測される第2グループと、
水平に隣接した2つのフレーム及び垂直に隣接した2つのフレームを参照して予測される第3グループと、を含み、
前記1つまたは2つの水平に隣接したフレームは、前記第1グループ、前記第2グループまたは前記第3グループのBフレームのように、同一時間での多視点動映像から得られたフレームであり、前記1つまたは2つの垂直に隣接したフレームは、前記第1グループ、前記第2グループまたは前記第3グループのBフレームのように、同一視点での多視点動映像から得られたフレームであることを特徴とする請求項１９に記載の記録媒体。
【請求項２３】
前記グルーピングされた複数個のBフレームに対して順次に符号化を行う段階は、
前記グルーピングされたBフレームに対して第1グループ、第2グループ及び第3グループ順に順次に符号化を行う段階を含むことを特徴とする請求項２２に記載の記録媒体。
【請求項２４】
前記順次的符号化は、前記複数個のBフレームを含む動映像符号化構造に基づいて行われ、
前記順次的符号化は、複数個の視点によって水平に配置されたフレーム間の視差予測を行い、経時的に垂直に配置されたフレーム間の動き予測を行う段階を含み、
前記動映像符号化構造は、水平及び垂直のうち少なくとも一方向に拡張され、
前記水平方向のフレームは、同一時間の多視点動映像から得られ、前記垂直方向のフレームは、同一視点での多視点動映像から得られることを特徴とする請求項１９に記載の記録媒体。
【請求項２５】
前記複数個の視点はn個の視点を含み、nは自然数のうち奇数であることを特徴とする請求項２４に記載の記録媒体。
【請求項２６】
(n-1)番目の視点から得られたフレームは、前記視差予測及び前記動き予測のために使われないことを特徴とする請求項２５に記載の記録媒体。
【請求項２７】
前記動映像符号化構造で、前記複数個の視点のうち、第1視点を除いた視点から得られたフレームはIフレームを含まず、k番目から得られたフレームはBフレームのみを含み、ここで、kはnより小さな偶数の自然数であることを特徴とする請求項２５に記載の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点動映像シーケンスを符号化する方法及び装置に係り、さらに詳細には、多視点カメラにより表現される多視点動映像の情報量を最小化するために多視点動映像を符号化する方法及び装置に関する。
【背景技術】
【０００２】
高い品質の情報及び通信サービスを実現する最も理想的な特性の１つは現実感である。これは3次元映像に基づいた画像通信により達成されうる。3D映像システムは、教育、芸能、医療手術、画像会議など多くの潜在的な応用分野で利用されうる。多数の視聴者に遠隔地の場面についてのさらなる臨場感と正確な情報とを伝達するために、3つ以上のカメラが若干の異なる視点(view)に配されて多視点シーケンスを生成する。
【０００３】
3D映像分野についての関心により多数の研究グループが3D映像処理及びディスプレイシステムについて報告している。ヨーロッパでは、デジタルステレオ映像シーケンスをキャプチャ、符号化、及び伝送して表示するためのシステムを開発する目的でDISTIMAのような多様なプロジェクトにより3DTVについての研究が開示された。これらプロジェクトは、3D遠隔臨場感(telepresence）のある通信において、映像情報を改善するための目的の他のプロジェクトであるPANORAMAを導いた。現在、これらプロジェクトは、他のプロジェクトであるATTESTを導いたが、このプロジェクトで3Dコンテンツの獲得、3D圧縮及び送信、及び3Dディスプレイシステムの多様な分野の技術が研究された。このプロジェクトで、MPEG-2及びDVB(Digital  Video  Broadcasting)システムは、特に2Dコンテンツ送信のためのベースレイヤ(base  layer)及び3Dの深度のあるデータの送信のためのアドバンストレイヤを使用するための、時間拡張性(Temporal  Scalibility：TS)により3Dコンテンツを伝送するために適用された。
【０００４】
MPEG-2で、マルチビュープロファイル(MVP）は、MPEG-2標準に対する修正で1996年に定義された。MVPの重要な新たな構成要素は、マルチカメラシーケンスに対する時間拡張性(TS）モードの利用についての定義及びMPEG-2シンタックスでの獲得カメラパラメータについての定義である。
【０００５】
減少したフレームレート(frame  rate)で信号を代表するベースレイヤストリームを符号化し、2つのストリームが有効な場合、全体フレームレートで再生を許容するために中間に付加的なフレームを挿入するのに用いられる向上レイヤを定義することが可能である。向上レイヤを符号化する効率的な方法は、向上レイヤフレーム内のそれぞれのマクロブロックに対して、ベースレイヤフレームまたは最近に再構成された向上レイヤフレームから最上の動き補償予測に関する決定がなされるように許容するものである。
【０００６】
このような信号について、時間拡張性シンタックスを用いてステレオ及び多視点チャンネル符号化を行うことは簡単である。この目的のために、１つのカメラ視点からのフレーム(通常左眼のフレーム）はベースレイヤとして定義され、残りからのフレームは向上レイヤとして定義される。ベースレイヤは、同時モノスコピック(monoscopic)シーケンスを示す。向上レイヤに対して、視差(disparity)補償予測は、遮断領域(occluded  region)では失敗することもあるが、同じチャンネル内部の動き補償予測により再構成された映像品質を維持し続ける。MPEG-2MVPは、ステレオシーケンスとして主に定義されるために、多視点シーケンスを支援せず、本来から多視点シーケンスへの拡張は難しい。
【０００７】
図1は、MPEG-2マルチビュープロファイルの符号化器及び復号化器を示す図である。
【０００８】
MPEG-2で提供する拡張性は、１つの映像装備を使用して他の解像度や形式を有する映像を同時に復号化するためのものであり、MPEG-2で支援する拡張性のうち、時間拡張性は、フレームレートを高めることによって、視覚的画質を向上させる技術である。マルチビュープロファイルは、このような時間拡張性を考慮してステレオ動映像に適用したことである。
【０００９】
実質的に、ステレオ動映像概念を有する符号化器及び復号化器の構造は、図1の時間拡張性と同じ構造を有するものであって、ステレオ動映像のうち、左側映像はベース視点符号化器(base  view  encoder)に入力され、ステレオ動映像の右側映像は、時間的補助視点符号化器(temporal  auxiliary  view  encoder)に入力される。
【００１０】
補助視点符号化器は、時間拡張性のためのものであって、時間的にベースレイヤの映像間に映像をインターリビングするインターレイヤ符号化器(interlayer  encoder)である。
【００１１】
したがって、左側映像を別途に符号化及び復号化すれば、2次元動映像が得られ、左側映像と右側映像とを同時に符号化及び復号化すれば、立体動映像を具現しうる。ここで、動映像伝送や保存のために二映像のシーケンスを合わせるか、分離するシステムマルチプレクサ及びシステムデマルチプレクサが必要である。
【００１２】
図2は、MPEG-2マルチビュープロファイルを用いたステレオ動映像符号化器及び復号化器を示す図である。
【００１３】
ベースレイヤは、動き補償及び離散余弦変換(DCT:Discrete  Cosine  Transform)を用いて符号化し、逆過程を経て復号化する。時間的補助視点符号化器は、復号化されたベースレイヤの映像基づいて予測した時間的インターレイヤ符号化器(temporal  interlayer  encoder）の役割を行う。
【００１４】
すなわち、2つの視差補償予測、または各々１つの視差予測及び動き補償予測が、ここに使われ、ベースレイヤの符号化器及び復号化器と同様に時間的補助視点符号化器は、視差及び動き補償DCT符号化器及び復号化器を備える。
【００１５】
また、動き予測/補償符号化過程で動き予測器(predictor)と補償器(compensator)が必要なように視差補償符号化過程で視差予測器と補償器とが必要である。ブロック基盤の動き/視差予測及び補償に付け加え、符号化過程は、予測された結果映像と原映像との差映像などのDCT、DCT係数の量子化及び可変長符号化などを含む。逆に、復号化過程は、可変長復号化、逆量子化、逆DCTなどの過程を含む。
【００１６】
MPEG-2符号化は、Bピクチャーのための双方向動き予測による非常に効率的な圧縮方法であり、時間拡張性も相当効率的であるために、双方向予測のみを使用したBピクチャーを右側映像の符号化に使用して高効率の圧縮が得られる。
【００１７】
図3は、双方向予測のために２つの視差予測を使用して視差のみを考慮した予測符号化を示す図である。
【００１８】
左側映像は、ノンスケーラブル(non-scalable)MPEG-2符号化器を使用して符号化し、右側映像は、復号化された左側映像に基づいてMPEG-2時間的に位置した補助視点符号化器を使用して符号化する。
【００１９】
すなわち、右側映像は、２つの参照映像、例えば、左側映像から求めた予測を使用してBピクチャーで符号化される。この際、２つの参照映像のうち１つは、同時にディスプレイされる左側映像であり、他の１つは時間的に次に出る左側映像である。
【００２０】
そして、２つの予測は、動き推定/補償と同様に順方向、逆方向、双方向の３つの予測モードを有する。ここで、順方向モードは、同じ時間の左側映像から予測した視差を意味し、逆方向モードは、直ちに次の左側映像から予測した視差を意味する。このような方法の場合、右側映像の予測は、２つの左側映像の視差ベクトルを通じてなされるために、このような形の予測方法を視差ベクトルのみを考慮した予測符号化という。したがって、符号化器では、右側動映像の各フレームごとに２つの視差ベクトルを推定し、復号化器では、この２つの視差ベクトルを用いて左側動映像から右側動映像を復号化する。
【００２１】
図4は、双方向予測のために視差ベクトルと動きベクトルとを使用した予測符号化を示す図である。図4は、図3に示された双方向予測を通じたBピクチャーを使用するが、双方向予測は、１つの視差推定と１つの動き推定とを使用する。すなわち、１つの同時間帯の左側映像からの視差予測と直前時間の右側映像からの動き予測とを使用する。
【００２２】
そして、視差のみを考慮した予測符号化と同様に双方向予測も順方向、逆方向、そして双方向(interpolated)モードと呼ばれる3種の予測モードを含む。ここで、順方向モードは、復号化された右側映像からの動き予測を意味し、逆方向モードは、復号化された左側映像からの視差予測を意味する。
【００２３】
前述したように、MPEG-2マルチビュープロファイルの規格自体は、多視点動映像に対する符号化器を考慮せず、実際のステレオ動映像に不適合に設計されているので、多数の人に同時に立体感及び臨場感を提供するための多視点動映像を効率よく提供可能な符号化器が必要である。
【発明の開示】
【発明が解決しようとする課題】
【００２４】
本発明が解決しようとする技術的課題は、多数の人に同時に立体感及び臨場感を提供して多視点動映像を効率よく提供する多視点動映像を符号化する方法及び装置を提供することである。
【００２５】
また、本発明が解決しようとする他の技術的課題は、多視点動映像についての情報量を最小化する予測構造を用いて多視点動映像を符号化する方法及び装置を提供することである。
【課題を解決するための手段】
【００２６】
前記の技術的課題は、本発明による複数個のBフレームを所定の基準によって少なくとも2グループ以上にグルーピングする段階と、グルーピングされたBフレームに対して順次に符号化を行う段階と、を含む多視点動映像符号化方法により達成される。
【００２７】
望ましくは、所定の基準は、それぞれのBフレームが参照するフレーム数であり、または所定の基準は、それぞれのBフレームが参照するフレーム数及び参照するフレームの位置でありうる。
【００２８】
望ましくは、グルーピングされたBフレームは、水平に隣接した2つのフレーム、垂直に隣接した2つのフレーム、または水平に隣接した1つのフレーム及び垂直に隣接した1つのフレームを参照して予測される第1グループと、水平に隣接した2つのフレーム及び垂直に隣接した1つのフレーム、または水平に隣接した1つのフレーム及び垂直に隣接した2つのフレームを参照して予測される第2グループと、水平に隣接した2つのフレーム及び垂直に隣接した2つのフレームを参照して予測される第3グループを含み、前記1つまたは2つの水平に隣接したフレームは、Bフレームのように同一時間での多視点動映像から得られたフレームであり、前記1つまたは2つの垂直に隣接したフレームは、Bフレームのように同一視点での多視点動映像から得られたフレームであることを特徴とする多視点動映像。
【００２９】
望ましくは、グルーピングされたBフレームに対して順次に符号化を行う段階は、グルーピングされたBフレームに対して第1グループ、第2グループ及び第3グループ順に順次に符号化を行う段階を含む。
【００３０】
望ましくは、Bフレームを含む動映像符号化構造は、水平に複数個の視点によるフレーム間の視差予測を行い、垂直に経時的なフレーム間の動き予測を行うための構造として水平及び垂直に拡張されうる。
【００３１】
望ましくは、Bフレームを含む動映像符号化構造で、n個の視点に対する動映像符号化構造は、n-1番目のフレーム列を動作させないことによって、n-1個の視点に対する動映像符号化構造として構成され、ここで、nは自然数のうち、奇数である。
【００３２】
前記技術的課題は、本発明の他の特徴による、入力された多視点動映像に対する視差ベクトル及び動きベクトルを予測する予測部と、予測された視差ベクトル及び動きベクトルを利用して映像を補償する視差動き補償部と、原映像及び視差動き補償部から提供される再構成された映像を受信し、差映像符号化を行う差映像符号化部と、視差ベクトル、動きベクトル及び差映像符号化が行われたデータを用いて多視点動映像に対するビットストリームを生成するエントロピー符号化部と、を備え、予測部は、各々複数個のBフレームを所定の基準によって少なくとも2グループ以上にグルーピングし、グルーピングされたBフレームに対して順次に予測を行う多視点動映像符号化装置によって達成される。
【００３３】
前記技術的課題は、本発明の多視点映像符号化方法を具現するためのプログラムを記録したコンピュータで読取り可能な記録媒体によって達成される。
【発明の効果】
【００３４】
本発明によれば、多数の人に同時に立体感及び臨場感を提供して多視点動映像を効率よく提供する多視点動映像を符号化する方法及び装置を提供しうる。
【００３５】
また、本発明によるBフレームの予測構造を採択して多視点動映像についての情報量を最小化する多視点動映像を符号化する方法及び装置を提供しうる。
【発明を実施するための最良の形態】
【００３６】
以下、添付した図面を参照して本発明の望ましい実施形態に対し詳細に説明する。
【００３７】
図5は、本発明の一実施形態による多視点動映像符号化装置の内部構成を示すブロック図である。
【００３８】
本発明の一実施形態による多視点動映像符号化装置は、多視点映像バッファ510、予測部520、視差/動き補償部530、差映像符号化部540及びエントロピー符号化部550を備える。
【００３９】
図5で、提案された多視点動映像符号化装置は、多数のカメラシステムまたは他の可能な方法から通常獲得される多視点ビデオソースを受信する。入力された多視点ビデオは、多視点映像バッファ510に保存される。多視点映像バッファ510は、保存された多視点動映像ソースデータを予測部520及び差映像符号化部540に提供する。
【００４０】
予測部520は、視差推定部522及び動き推定部524を備え、保存された多視点ビデオソースに対して動き予測及び視差予測を実行する。予測部520は、図6ないし図11の矢印方向に視差ベクトル及び動きベクトルを推定して視差/動き補償部530に提供する。
【００４１】
予測部520で動きと視差についての予測を実行する時、図6ないし図11に示された多視点動映像符号化構造のように、多視点視差ベクトルとこれを動映像に拡張した時に発生する動きベクトルとを効率よく利用して推定方向を設定しうる。すなわち、MPEG-2符号化構造を視点軸に拡張して空間的/時間的相関度を利用できるものである。
【００４２】
視差/動き補償部530において視差及び動き補償は、視差推定部522及び動き推定部524で推定された動きベクトル及び視差ベクトルを用いて実行される。視差/動き補償部530は、推定された動き及び視差ベクトルを用いて復元された映像を差映像符号化部540に提供する。
【００４３】
差映像符号化部540は、多視点映像バッファ510から提供される原映像と視差/動き補償部530により補償された復元映像との差情報を、さらに良い画質及び立体感を提供するために、差映像符号化を行ってエントロピー符号化部550に提供する。
【００４４】
エントロピー符号化部550は、予測部520で生成された視差ベクトル及び動きベクトルについての情報と差映像符号化部540からの残差映像とを入力されて、多視点動映像ソースデータについてのビットストリームを生成する。
【００４５】
図6は、本発明の一実施形態による多視点動映像の単位符号化構造を示す図である。図6は、視点数が3つであると仮定する時、コア-予測構造または単位-予測構造の構造である。四角ブロックは、多視点ビデオソースでの映像フレームを示す。水平方向矢印は、視点またはカメラ位置によるフレームのシーケンスを示し、垂直方向矢印は、経時的なフレームのシーケンスを示す。フレームで、Iピクチャーは、MPEG-2/4またはH．264でのIフレームと同じ“イントラピクチャー”を示す。Pピクチャー及びBピクチャーは、各々MPEG-2/4またはH．264と同様に、“予測ピクチャー”及び“双方向予測ピクチャー”を示す。
【００４６】
しかし、Pピクチャー及びBピクチャーは、多視点ビデオコーディングで共に動き予測及び視差予測により予測される。図6において、ピクチャーフレーム間の矢印は、予測方向を意味する。水平方向を示す矢印は、視差測定を意味し、垂直方向を示す矢印は、動き予測を意味する。本発明の一実施形態によれば、Bピクチャーは、3種に構成され、図7を参照して説明する。
【００４７】
図7は、本発明の一実施形態による多視点動映像の符号化に用いられる3種のBピクチャーを示す図である。
【００４８】
本発明の一実施形態によるBピクチャーは、3タイプのピクチャーで構成される。図7で、B-、B1-、B2-ピクチャーは水平または垂直に隣接した2つ以上のフレームにより予測されるピクチャーフレームを意味する。
【００４９】
B-ピクチャーは、図7Aのように水平に隣接した2つのフレーム、図7Bのように垂直に隣接した2つのフレーム、または図7Cのように水平に隣接した1つのフレーム及び垂直に隣接した1つのフレームにより予測される。
【００５０】
B1-ピクチャーは、図7Dのように水平に隣接した2つのフレームと垂直に隣接した1つのフレーム、または図7Eのように水平に隣接した1つのフレームと垂直に隣接した2つのフレームにより予測される。B2-ピクチャーは、図7Fのように水平または垂直に4つの隣接したフレームにより予測される。
【００５１】
再び図6を参照して、多視点動映像の予測シーケンスを示す単位符号化構造について説明する。図6で、基本的な予測シーケンス順序は次の通りである。
【００５２】
I→P→B→B1→B2
まず、Iフレーム601がイントラ予測される。Iフレーム601で水平にPフレーム603が予測され、垂直にPフレーム610が予測される。
【００５３】
次いで、Iフレーム601及びPフレーム603を参照して水平に双方向予測を行ってBフレーム602が予測され、Iフレーム601及びPフレーム610を参照して垂直に双方向予測を行ってBフレーム604及びBフレーム607が予測され、水平にPフレーム610を参照して垂直にPフレーム603を参照してBフレーム612が予測される。
【００５４】
次いで、B1フレームが予測される。水平にBフレーム604を参照し、垂直にPフレーム603とBフレーム612とを参照してB1フレーム606が予測され、水平にBフレーム607を参照し、垂直にPフレーム603及びBフレーム612を参照してB1フレーム609が予測され、水平にPフレーム610及びBフレーム612を参照し、垂直にBフレーム602を参照してB1フレーム611が予測される。
【００５５】
最後に、B2フレームが予測される。水平にBフレーム604及びB1フレーム606を参照し、垂直にBフレーム602及びB1フレーム611を参照してB2フレーム605が予測され、水平にBフレーム607及びB1フレーム609を参照し、垂直にBフレーム602及びB1フレーム611を参照してB2フレーム608が予測される。
【００５６】
図6及び図7を参照して説明したように、本発明によれば、双方向予測を行う時、Bフレームのみならず、B1フレーム及びB2フレームを用いて、Bフレーム数を増やせるので、多視点映像の符号化時に、情報量を最小化させうる。したがって、本発明の望ましい実施形態によれば、多視点映像を効率よく符号化するためには、Bフレームを図7に示されたタイプによってグルーピングし、グルーピングされたBフレームを前記予測順序によってBフレーム、B1フレーム及びB2フレーム順に符号化する。
【００５７】
図8は、本発明の一実施形態によって図6の多視点動映像の単位符号化構造を水平に拡張した構造を示す図である。図8は、5視点の入力映像ソースを有する予測ブロックの構造を示す。
【００５８】
図9は、図8の多視点動映像の予測順序を示す図である。図8において、同列のフレームは、同時間に予測されることを意味する。したがって、図9を参照するに、まず、Iフレーム801に対してイントラ予測が行われる。次いで、2番目列のPフレーム803及びPフレーム816が予測され、3番目列でBフレーム802、806、811、818及びPフレーム805が予測される。次いで、B1フレーム817、808、813及びBフレーム804、820が予測される。5番目列では、B2フレーム807、821及びB1フレーム810、819、815が予測される。最後にB2フレーム809、814が予測される。
【００５９】
したがって、本発明による予測順序は、次のようである。
【００６０】
I→P→B→B1→B2→P→B→B1→B2
図10は、本発明の一実施形態による奇数個の視点を有する動き予測及び視差予測のための動映像符号化構造を示す図である。
【００６１】
図11は、本発明の一実施形態による偶数個の視点を有する動き予測及び視差予測のための動映像符号化構造を示す図である。図11の動映像符号化構造は、図10の5視点に対する動映像符号化構造で4番目予測フレームの列を動作させないことによって得られる。このような本発明による動映像符号化構造は、水平及び垂直に拡張されうる。
【００６２】
したがって、本発明の一実施形態によれば、n個(ここで、nは自然数のうち、奇数）の視点に対する動映像符号化構造は、n-1番目予測フレームの列を動作させないことによってn-1個の視点についての動映像符号化構造として構成されうる。
【００６３】
図12は、本発明の一実施形態による多視点動映像符号化過程を示すフローチャートである。
【００６４】
図6ないし図11を参照して説明した本発明の一実施形態による多視点動映像符号化過程でBフレームを下記のように符号化する。
【００６５】
複数個のBフレームを所定の基準によって少なくとも2グループ以上にグルーピングする(S1210)。所定の基準は、それぞれのBフレームが参照するフレーム数であり、またはそれぞれのBフレームが参照するフレーム数及び参照するフレームの位置である。
【００６６】
グルーピングされたBフレームは、水平に隣接した2つのフレーム、垂直に隣接した2つのフレーム、または水平に隣接した1つのフレーム及び垂直に隣接した1つのフレームを参照して予測される第1グループと、水平に隣接した2つのフレーム及び垂直に隣接した1つのフレーム、または水平に隣接した1つのフレーム及び垂直に隣接した2つのフレームを参照して予測される第2グループと、水平に隣接した2つのフレーム及び垂直に隣接した2つのフレームを参照して予測される第3グループとを備える。
【００６７】
このように、グルーピングされたBフレームに対して順次に符号化を行う(S1220)。この際、グルーピングされたBフレームに対して第1グループ、第2グループ及び第3グループ順に順次に符号化を行える。
【００６８】
本発明による多視点動映像符号化方法は、コンピュータで読取り可能な記録媒体にコンピュータで読取可能なコードとして具現されうる。前記プログラムを具現するコード及びコードセグメントは、当分野のコンピュータプログラマーによって容易に推論されうる。コンピュータで読取り可能な記録媒体は、コンピュータシステムによって読込まれるデータが保存されるあらゆる種類の記録装置を備える。コンピュータで読取り可能な記録媒体の例としては、ROM、RAM、CD-ROM、磁気テープ、フロッピー（登録商標）ディスク、光ディスクなどがあり、またキャリアウェーブ(例えば、インターネットを介した伝送）の形で具現されるものを含む。また、コンピュータで読取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式としてコンピュータで読取り可能なコードで保存されて実行されうる。
【００６９】
以上の説明は、本発明の一実施形態に過ぎず、本発明の当業者ならば、本発明の本質的特性から外れない範囲で変形された形で具現できるであろう。したがって、本発明の範囲は、前述した実施形態に限定されず、特許請求の範囲に記載された内容と同等な範囲内にある多様な実施形態が含まれるように解釈されねばならない。
【図面の簡単な説明】
【００７０】
【図１】MPEG-2マルチビュープロファイル(MVP:Multi-view  profile）の符号化器及び復号化器を示す図である。
【図２】MPEG-2マルチビュープロファイルを利用したステレオ動映像符号化器及び復号化器を示す図である。
【図３】双方向予測のために２つの視差予測を使用して視差のみを考慮した予測符号化を示す図である。
【図４】双方向予測のために視差ベクトルと動きベクトルとを使用した予測符号化を示す図である。
【図５】本発明の一実施形態による多視点動映像符号化装置の内部構成を示すブロック図である。
【図６】本発明の一実施形態による多視点動映像の単位符号化構造を示す図である。
【図７Ａ】本発明の一実施形態による多視点動映像の符号化に用いられる3種のBピクチャータイプを示す図である。
【図７Ｂ】本発明の一実施形態による多視点動映像の符号化に用いられる3種のBピクチャータイプを示す図である。
【図７Ｃ】本発明の一実施形態による多視点動映像の符号化に用いられる3種のBピクチャータイプを示す図である。
【図７Ｄ】本発明の一実施形態による多視点動映像の符号化に用いられる3種のBピクチャータイプを示す図である。
【図７Ｅ】本発明の一実施形態による多視点動映像の符号化に用いられる3種のBピクチャータイプを示す図である。
【図７Ｆ】本発明の一実施形態による多視点動映像の符号化に用いられる3種のBピクチャータイプを示す図である。
【図８】本発明の一実施形態によって図6の多視点動映像の単位符号化構造を水平に拡張した構造を示す図である。
【図９】本発明の一実施形態による図8の多視点動映像の予測順序を示す図である。
【図１０】本発明の一実施形態による奇数個の視点を有する動き予測及び視差予測のための動映像符号化構造を示す図である。
【図１１】本発明の一実施形態による偶数個の視点を有する動き予測及び視差予測のための動映像符号化構造を示す図である。
【図１２】本発明の一実施形態による多視点動映像符号化過程を示すフローチャートである。
【図１】
2009505604.tif 000003
【図２】
2009505604.tif 000004
【図３】
2009505604.tif 000005
【図４】
2009505604.tif 000006
【図５】
2009505604.tif 000007
【図６】
2009505604.tif 000008
【図７Ａ】
2009505604.tif 000009
【図７Ｂ】
2009505604.tif 000010
【図７Ｃ】
2009505604.tif 000011
【図７Ｄ】
2009505604.tif 000012
【図７Ｅ】
2009505604.tif 000013
【図７Ｆ】
2009505604.tif 000014
【図８】
2009505604.tif 000015
【図９】
2009505604.tif 000016
【図１０】
2009505604.tif 000017
【図１１】
2009505604.tif 000018
【図１２】
2009505604.tif 000019
【国際調査報告】
2009505604.tif 000020
2009505604.tif 000021