(57)【要約】  本発明は、多視点動映像を符号化及び復号化するための方法及び装置を提供する。本発明に係る多視点動映像の符号化方法は、前記多視点動映像をなす各視点映像を他の視点映像と重なる領域と重ならない領域とに分類する段階と、中間の視点映像と前記重ならない領域とを組み合わせて合成映像を生成する段階と、前記合成映像を第１符号化方式に基盤して符号化する段階と、前記合成映像を基準にして各視点映像の前記重なる領域の映像を第２符号化方式に基盤して符号化する段階と、を備える。一実施形態において、前記分類段階は、前記多視点動映像をなす各視点映像に対して選定された他の視点映像を基準とする変異値を推定する段階と、前記推定された変異値を用いて各視点映像を前記他の視点映像と重なる領域と重ならない領域とに分類する段階と、を備える。
2008516547.tif 000002
【特許請求の範囲】
【請求項１】
多視点動映像を符号化するための方法において、
前記多視点動映像をなす各視点映像を他の視点映像と重なる領域と重ならない領域とに分類する段階と、
中間の視点映像と前記重ならない領域とを組み合わせて合成映像を生成する段階と、
前記合成映像を第１符号化方式に基盤して符号化する段階と、
前記合成映像を基準にして各視点映像の前記重なる領域の映像を第２符号化方式に基盤して符号化する段階と、を備えることを特徴とする多視点動映像符号化方法。
【請求項２】
前記分類段階は、
前記多視点動映像をなす各視点映像に対して選定された他の視点映像を基準とする変異値を推定する段階と、
前記推定された変異値を用いて各視点映像を前記他の視点映像と重なる領域と重ならない領域とに分類する段階と、を備えることを特徴とする請求項１に記載の多視点動映像符号化方法。
【請求項３】
前記合成映像生成段階は、中間の視点映像を中心にして各視点映像の前記重ならない領域を境界領域に引き続けることによって、合成映像を生成することを特徴とする請求項１に記載の多視点動映像符号化方法。
【請求項４】
前記第１符号化方式は、動き補償基盤の符号化方式であることを特徴とする請求項１に記載の多視点動映像符号化方法。
【請求項５】
前記第２符号化方式は、動き及び変異補償基盤の方式であることを特徴とする請求項１に記載の多視点動映像符号化方法。
【請求項６】
前記変異値推定段階は、中間の視点方向に隣接する視点映像を基準とする全域変異値を推定することを特徴とする請求項２に記載の多視点動映像符号化方法。
【請求項７】
前記変異値推定段階は、中間の視点映像を基準とする全域変異値を推定することを特徴とする請求項２に記載の多視点動映像符号化方法。
【請求項８】
前記全域変異値推定段階は、
所定のサイズのブロック単位で１個ずつ画素を抽出するサブサンプリングを通じて前記各視点の映像サイズを縮小する段階と、
前記縮小された各視点映像の初期全域変異値を推定する段階と、
前記推定された初期全域変異値に前記サブサンプリング比率を乗じた値の境界領域で変異値を推定する段階と、を備えることを特徴とする請求項６又は７に記載の多視点動映像符号化方法。
【請求項９】
前記所定のサイズのブロック単位は、４ｘ４及び８ｘ８ブロックから選択されることを特徴とする請求項８に記載の多視点動映像符号化方法。
【請求項１０】
前記合成映像を第１符号化方式に基盤して符号化する段階は、
前記中間の視点映像を所定のサイズのスライスに分割して、スライス別に符号化する段階と、
各視点の前記重ならない領域の映像を視点別に符号化する段階と、を備えることを特徴とする請求項１に記載の多視点動映像符号化方法。
【請求項１１】
前記中間の視点映像が他の視点映像と重なる領域のスライスアドレスは、前記中間の視点映像の符号化ストリームのヘッダー情報に含まれることを特徴とする請求項１０に記載の多視点動映像符号化方法。
【請求項１２】
多視点動映像を復号化する方法において、
中間の視点映像と、各視点映像の他の視点映像と重ならない領域の映像に対する符号化ストリームを動き補償基盤に復号化する段階と、
前記中間の視点映像を中心として各視点映像の前記重ならない領域を境界領域に引き続けることによって、生成された合成映像を基準映像として各視点映像の重なる領域の映像に対する符号化ストリームを動き及び変異補償基盤に復号化する段階と、
前記復号化された各視点の前記重ならない領域の映像と前記重なる領域の映像とを組み合わせて、視点別に映像を復元する段階と、を備えることを特徴とする多視点動映像復号化方法。
【請求項１３】
ユーザにより選択された特定の視点映像のみを復元する段階をさらに備え、
前記特定の視点映像の復元化段階は、
特定の視点映像の重ならない領域の映像に対する符号化ストリームを復号化する段階と、
所定のサイズのスライス別に分割され、符号化された前記中間の視点映像の符号化ストリームのヘッダー情報に含まれたスライスアドレスを用いて前記中間の視点映像の符号化ストリームのうち前記特定の視点映像と重なる領域のスライスのみを復号化する段階と、を備えることを特徴とする請求項１２に記載の多視点動映像復号化方法。
【請求項１４】
多視点動映像を符号化するための装置において、
前記多視点動映像をなす各視点映像を他の視点映像と重なる領域と重ならない領域とに分類するための領域分類手段と、
中間の視点映像と前記重ならない領域とを組み合わせて、合成映像を生成するための合成映像生成手段と、
前記合成映像を第１符号化方式に基盤して符号化するための第１符号化手段と、
前記合成映像を基準にして各視点映像の前記重なる領域の映像を第２符号化方式に基盤して符号化するための第２符号化手段と、を備えることを特徴とする多視点動映像符号化装置。
【請求項１５】
前記多視点動映像をなす各視点映像に対して選定された視点映像を基準とする変異値を推定するための変異推定手段をさらに備え、
前記領域分類手段は、前記変異推定手段により推定された各視点映像の変異値を用いて各視点映像を前記他の視点映像と重なる領域と重ならない領域とに分類することを特徴とする請求項１４に記載の多視点動映像符号化装置。
【請求項１６】
前記合成映像生成手段は、中間の視点映像を中心として各視点映像の前記重ならない領域を境界領域に引き続けることによって、合成映像を生成することを特徴とする請求項１４に記載の多視点動映像符号化装置。
【請求項１７】
前記変異推定手段は、各視点映像に対して中間の視点方向に自身に隣接する視点映像を基準とする全域変異値を推定することを特徴とする請求項１５に記載の多視点動映像符号化装置。
【請求項１８】
前記変異推定手段は、各視点映像に対して中間の視点映像を基準とする全域変異値を推定することを特徴とする請求項１５に記載の多視点動映像符号化装置。
【請求項１９】
前記変異推定手段は、
所定のサイズのブロック単位で１個ずつ画素を抽出するサブサンプリングを通じて前記各視点の映像サイズを縮小するサンプリング手段と、
前記縮小された各視点映像の初期全域変異値を推定するための初期全域変異推定手段と、
前記推定された初期全域変異値に前記サブサンプリング比率を乗じた値の境界領域で変異値を推定するための境界領域基盤の変異推定手段と、を備えることを特徴とする請求項１７又は１８に記載の多視点動映像符号化装置。
【請求項２０】
前記第１符号化手段は、
前記中間の視点映像を所定のサイズのスライスに分割し、スライス別に符号化するための手段と、
各視点の前記重ならない領域の映像を視点別に符号化するための手段と、を備えることを特徴とする請求項１４に記載の多視点動映像符号化装置。
【請求項２１】
前記中間の視点映像が他の視点映像と重なる領域のスライスアドレスは、前記中間の視点映像の符号化ストリームのヘッダー情報に含まれることを特徴とする請求項２０に記載の多視点動映像符号化装置。
【請求項２２】
多視点動映像を復号化するための装置において、
各視点映像が他の視点映像と重なる領域と重ならない領域とに分類され、符号化されたストリームを受信するための手段と、
中間の視点映像と各視点映像の重ならない領域の映像に対する符号化ストリームを動き補償基盤に復号化するための第１復号化手段と、
中間の視点映像を中心として各視点映像の前記重ならない領域を境界領域に引き続けることによって、生成された合成映像を基準映像として各視点映像の重なる領域の映像に対する符号化ストリームを動き及び変異補償基盤に復号化するための第２復号化手段と、
前記第１及び第２復号化手段により復号化された各視点の前記重ならない領域の映像と前記重なる領域の映像とを組み合わせて、視点別に映像を復元するための復元手段と、を備えることを特徴とする多視点動映像復号化装置。
【請求項２３】
前記多視点動映像復号化装置は、ユーザにより選択された特定の視点映像のみを復元することができ、前記特定の視点映像の復元化は、前記第１復号化手段が所定のサイズのスライス別に分割され、符号化された中間の視点映像の符号化ストリームのヘッダー情報に含まれたスライスアドレスを用いて前記中間の視点映像の符号化ストリームのうち前記特定の視点映像と重なる領域のスライスのみを復号化し、前記第２復号化手段が前記特定の視点映像の重ならない領域の映像に対する符号化ストリームを復号化することによって行われることを特徴とする請求項２２に記載の多視点動映像復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点動映像（multi-view video）の符号化及び復号化方法及び装置に関し、より具体的には、合成映像を基盤として視点間の相関情報を利用する多視点動映像符号化及び復号化方法及び装置に関する。
【背景技術】
【０００２】
一般的に、多視点動映像処理技術は、同じ対象に対して何台のカメラから同時に入ってくる多視点ビデオ信号の圧縮、復元、合成、再生などに関する技術を意味する。多視点動映像処理技術は、さらに現実に近い映像を人間に提供するだけでなく、立体感を提供して、現在多くの応用分野において使われ始めた。しかし、Ｎ（Ｎ≧２）個の視点動映像で構成される多視点動映像は、既存の１個の視点からなる動映像よりＮ倍のデータ量を有するので、従来の映像処理システムにおいて要求される信号の帯域幅より格別に大きい帯域幅を要求するようになる。
【０００３】
これと関連して、多視点映像の各視点別映像間には、互いに一定の部分が重なる領域があるので、これらの領域の相関情報を利用する圧縮技術に対する技術開発が多く進行されている。
【０００４】
従来の多視点動映像の符号化技術と関連して、２００３年１月１３日に出願された大韓民国特許出願第２００３−２１１６号（発明の名称：“多視点映像の圧縮／復元装置及び方法”）及び２００３年１０月３０日に出願された大韓民国特許出願第２００３−８３２８５号（発明の名称：“多視点動映像の符号化装置”）は、２視点の映像を有するステレオスコピック動映像を符号化する時に多く利用されるＭＰＥＧ−２ ＭＶＰ（Multi-View Profile）及びＭＰＥＧ−４ ＴＳ（Temporal Scalability）符号化技術を拡張して多視点動映像を符号化する技術を開示している。これらの特許出願に開示された動映像符号化技術は、視点間の相関情報である変異（disparity）情報及び時間軸上の相関情報である動き（motion）情報を用いて符号化を行うことによって、圧縮効率を改善するものであるが、常に全ての視点の映像を復元しなければならないし、一部視点の映像のみを復元することが不可能であるという問題点がある。また、符号化ストリームの転送時に、１個のエラーでも発生すれば、このエラーが全ての視点の映像に影響を及ぼすという問題点がある。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
したがって、前述した問題点を解決するために、本願発明の目的は、中間の視点映像を中心として各視点の映像を重なる領域（すなわち、他の視点映像と相関情報がある領域）と重ならない領域（すなわち、他の視点映像と相関情報がない領域）とに分類し、各領域の特性によって、重なる領域は、動き及び変異情報を利用したサブ復号化を行い、重ならない領域は、動き情報のみを利用したサブ復号化を行うことによって、さらに優れた圧縮率を提供することにある。
【０００６】
また、本願発明の他の目的は、視点間の相関情報を利用した符号化を行いながらも、ユーザの所望する視点の映像のみを復元しようとする場合、これに必要とする最小限の符号化ストリームのみを伝送されて復号化することができるようにすることによって、復号化効率を向上させることにある。
【０００７】
また、本願発明のさらに他の目的は、符号化ストリームの転送時にエラーが発生しても、エラー伝搬を最小化することができる符号化を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の一態様に係る多視点動映像の符号化方法は、前記多視点動映像をなす各視点映像を他の視点映像と重なる領域と重ならない領域とに分類する段階と、中間の視点映像と前記重ならない領域とを組み合わせて合成映像を生成する段階と、前記合成映像を第１符号化方式に基盤して符号化する段階と、前記合成映像を基準にして各視点映像の前記重なる領域の映像を第２符号化方式に基盤して符号化する段階と、を備える。一実施形態において、前記分類段階は、前記多視点動映像をなす各視点映像に対して選定された他の視点映像を基準とする変異値を推定する段階と、前記推定された変異値を用いて各視点映像を前記他の視点映像と重なる領域と重ならない領域とに分類する段階と、を備える。また、前記合成映像生成段階は、中間の視点映像を中心にして各視点映像の前記重ならない領域を境界領域に引き続けることによって、合成映像を生成することができる。前記第１符号化方式は、動き補償基盤の符号化方式であり、前記第２符号化方式は、動き及び変異補償基盤の方式であることができる。
【０００９】
前記各視点映像の変異値を推定する段階は、中間の視点方向に隣接する視点映像を基準として各視点映像の全域変異値を推定する方式と、中間の視点映像を基準として各視点映像の全域変異値を推定する方式と２つの方式がある。前記全域変異値推定段階は、所定のサイズのブロック単位で１個ずつ画素を抽出するサブサンプリングを通じて前記各視点の映像サイズを縮小する段階と、前記縮小された各視点映像の初期全域変異値を推定する段階と、前記推定された初期全域変異値に前記サブサンプリング比率を乗じた値の境界領域で変異値を推定する段階と、を備えることができる。
【００１０】
本発明の他の態様によれば、多視点動映像を復号化する方法が開示される。復号化方法は、中間の視点映像と、各視点映像の他の視点映像と重ならない領域の映像に対する符号化ストリームを動き補償基盤に復号化する段階と、前記中間の視点映像を中心として各視点映像の前記重ならない領域を境界領域に引き続けることによって、生成された合成映像を基準映像として各視点映像の重なる領域の映像に対する符号化ストリームを動き及び変異補償基盤に復号化する段階と、前記復号化された各視点の前記重ならない領域の映像と前記重なる領域の映像とを組み合わせて、視点別に映像を復元する段階と、を備える。
【００１１】
本発明のさらに他の態様によれば、ユーザにより選択された特定の視点映像のみを復元することができ、これは、特定の視点映像の重ならない領域の映像に対する符号化ストリームを復号化し、所定のサイズのスライス別に分割され、符号化された前記中間の視点映像の符号化ストリームのヘッダー情報に含まれたスライスアドレスを用いて前記中間の視点映像の符号化ストリームのうち前記特定の視点映像と重なる領域のスライスのみを復号化することによって行われることができる。
【発明の効果】
【００１２】
本発明は、各視点の映像を互いに重なる領域（他の視点と相関情報がある領域）と重ならない領域（他の視点と相関情報がない領域）とに分類し、各領域の特性に合わせてサブ復号化を行うことによって、さらに優れた圧縮率を提供することかできる。
【００１３】
また、本発明によれば、ユーザの所望する視点の映像のみを復元しようとする場合、これに必要とする最小限の符号化ストリームのみを伝送されて復号化することができるので、符号化ストリーム転送及び復号化効率が向上することができる。
【００１４】
本発明の上記及びその他の特徴及び利点は、添付図面を参照して、好ましい実施の形態に対する以下の詳細な説明から明らかになる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の好ましい実施形態を、添付図面に基づいて詳しく説明する。
【００１６】
まず、図１（ａ）乃至１（ｄ）を参照すれば、多視点映像を獲得するための複数のカメラの配置形態が示されている。一般的に、図１（ａ）に示された配置形態は、“並列型（parallel type）”、図１（ｂ）は、“配列型（array type）”、図１（ｃ）は、“集中型（convergent type）”、図１（ｄ）は、“発散型（divergent type）”と呼ばれる。この他にも、複数のカメラは、様々な形態で配置されることができ、本願発明がカメラの特定の配置形態に限定されるものではないことを理解することができる。
【００１７】
このような多様な配置形態のカメラから獲得された多視点映像間に存在する相関情報は、変異情報として表現されることができる。“変異（disparity）”とは、２視点映像間に同じ画素が離れている距離を画素単位で示したものを意味する。したがって、多視点映像が獲得されるカメラの配置形態によって、横軸または縦軸に対する変異値が０であることができる。
【００１８】
例えば、並列型配置により獲得される多視点映像の場合に、縦軸に対する変異値は０であるから、横軸に対する変異値のみを推定すればよい。これに対し、配列型配置により獲得される多視点映像は、各視点の映像によって横軸に対する変異値のみが０である映像、縦軸に対する変異値のみが０である映像、及び横軸及び縦軸に対する変異値が全て０でない映像が存在するので、映像の位置によって横軸及び縦軸に対する変異値を全て推定しなければならない。その他に、分散型または集中型の配置は、カメラにより獲得される多視点映像の場合にも、横軸及び縦軸に対する変異値を推定する。
【００１９】
本発明では、多視点映像の各々に対する変異値を推定するにあたって、位置的に中間に位置する映像（以下、“中間の視点映像”という）を基準とする。変異値推定方式については後述する。
【００２０】
以下では、図２を参照すれば、本願発明の一実施形態に係る動映像符号化装置のブロック図が示されている。動映像符号化装置は、全域変異推定器２１０と、領域分類器２２０と、映像合成器２３０と、動き補償基盤の符号化器２４０と、動き及び変異補償基盤の符号化器２５０とを含む。
【００２１】
全域変異推定器２１０は、２視点映像間の変異を推定して、１つの映像全体に対する１つの代表変異ベクトル、すなわち、全域変異ベクトルを求める。全域変異推定器２１０は、Ｎ（Ｎ≧２）個の視点映像を入力されて、２視点映像の全体に対する１つの全域変異ベクトルを推定する機能を行う。全域変異推定器２１０は、ＧＯＰ（Group of Picture）単位で行う。したがって、１つのＧＯＰ内では、同じ全域変異ベクトルを用いて領域分類及び映像合成を行うようになる。
【００２２】
一実施形態として、中間の視点映像を中心として各視点別に隣接する２視点映像間の全域変異ベクトルが求められることができる。例えば、図３（ａ）に示されたように、中間の視点映像が３番目の映像である場合に、２番目の視点映像に対する全域変異ベクトルは、３番目の視点映像を基準にして求められるのに対し、１番目の視点映像に対する全域変異ベクトルは、これに隣接する２番目の視点映像を基準にして求められる。また、４番目及び５番目の視点映像に対する全域変異ベクトルは、これと類似の方式で求められることができる。他の実施形態では、中間の視点映像を基準にして中間の視点映像と各視点映像間の全域変異ベクトルが推定される。図３（ｂ）に示したように、中間の視点映像が３番目の映像である場合に、３番目の視点映像を基準として、１番目、２番目、４番目及び５番目の映像の各々に対する全域変異ベクトルが推定される。
【００２３】
図４を参照すれば、本願発明の一実施形態に係る全域変異推定器の詳細構造を示すブロック図が示されている。図示のように、全域変異推定器は、サブサンプリング機器４１０と、初期変異推定器４２０及び境界領域基盤の変異推定器４３０を含む。サブサンプリング機器４１０は、入力されるＮ個の映像に対して元来の映像サイズを縮小するために、任意のブロック単位で１個ずつの画素を抽出する役目をする。このように、サブサンプリングを通じて元来の映像サイズを縮小することによって、初期全域変異ベクトルを推定する時間及び複雑度を低減することができる。図５（ａ）及び図５（ｂ）を参照すれば、各々４ｘ４ブロック及び８ｘ８ブロック単位のサブサンプリングの例が示されている。
【００２４】
初期変異推定器４２０は、サブサンプリングされたＮ個の視点映像に対して、中間の視点映像を中心として各々２視点映像に対して初期全域変異ベクトルを推定する。一実施形態として、初期全域変異ベクトルＩＤＶglobalは、次の数式によって求められる。
【数１】
2008516547.tif 000003
ここで、
【数２】
2008516547.tif 000004
【００２５】
境界領域基盤の変異推定器４３０は、初期変異ベクトル値にサブサンプリングされた比率を乗じた値の境界領域に対して変異推定をさらに行うことによって、より正確な全域変異ベクトルを推定する機能を行う。図６は、１番目の視点映像及び２番目の視点映像での初期全域変異ベクトルを基準とする境界領域に対する例を示す。境界領域のサイズは、任意に設定される。図６に示された太線で表示された境界領域に対して前記数式１のような方式によって全域変異ベクトル値を求める。
【００２６】
さらに図２に戻って、領域分類器２２０は、全域変異推定器２１０により各視点別に求められた全域変異ベクトルを用いて、中間の視点映像を中心として左右及び上下に位置する視点の映像を重なる領域の映像と重ならない領域の映像とに分類する機能を行う。
【００２７】
図７（ａ）及び（ｂ）に示したように、並列型多視点カメラの配置により獲得された多視点映像は、２つの形態で、重なる領域の映像と重ならない領域の映像とに分類されることができる。図７（ａ）は、図３（ａ）に示したように、中間の視点映像を中心として隣接する２視点映像間に求められた全域変異ベクトルを用いて領域を分類する方式である。図示のように、中間の映像と２番目の視点の映像に対して重ならない領域と重なる領域とに分類し、２番目の視点の映像及び１番目の視点の映像に対して重ならない領域と重なる領域とに分類する。同様に、中間の視点映像と４番目の視点映像及び４番目の視点映像と５番目の視点映像に対して各々重ならない領域と重なる領域とに分類する。この場合、中間の視点映像と２番目の視点映像で重ならない領域の映像は、１番目の視点映像と重なる領域の映像と重なるようになる。同様に、４番目の視点の重ならない領域の映像は、５番目の視点の重なる領域の映像と重なるようになる。
【００２８】
一方、図７（ｂ）は、図３（ｂ）に示したように、中間の視点映像を中心として中間の視点映像と各視点映像間に求められた全域変異ベクトルを用いて領域を分類する方式である。この方式において、中間の視点映像と１番目の視点映像との間に対して全域変異を求める場合、２番目の視点に対しては重なる領域の映像のみが存在するようになる。同様に、中間の視点映像と５番目の視点映像との間に対して全域変異を求める場合、４番目の視点に対しては重なる領域の映像のみが存在するようになる。すなわち、中間の視点を中心として全ての視点に対する映像との全域変異を求め、中間の視点映像と最も左右及び最も上下を基準としてそれらの間に位置する視点の映像との間で互いに重ならない領域と重なる領域とを分類する。多視点動映像の特性によって、重なる領域と重ならない領域は、図７（ａ）または図７（ｂ）のように分類されることができる。
【００２９】
図８（ａ）及び（ｂ）は、配列型多視点カメラの配置により獲得された多視点映像が分類された例を示すものであって、図８（ａ）は、中間の視点映像を中心として各視点別に隣接する２視点間の全域変異ベクトルを利用した場合を示すものであり、図８（ｂ）は、中間の視点映像を中心として中間の視点映像と各視点映像間の全域変異ベクトルを利用した場合を示す。
【００３０】
映像合成器２３０は、中間の視点映像を中心として左右及び上下に各視点別に重ならない領域の映像を境界領域に引き続けることによって、１つの大きい合成映像を生成する。このように生成された大きい合成映像は、各視点で重なる領域の映像を符号化する時、変異情報を得る基準映像として使われることができる。
【００３１】
図９（ａ）及び９（ｂ）は、並列型多視点カメラの配置により獲得された多視点映像に対して本発明によって合成された映像の例を示すものであって、図９（ａ）は、図７（ａ）に示された方式によって分類された映像を合成した例であり、図９（ｂ）は図７（ｂ）に示された方式によって分類された映像を合成した例である。
【００３２】
図１０（ａ）及び１０（ｂ）は、配列型多視点カメラの配置により獲得された多視点映像に対して本発明によって合成された映像の例を示すものであって、図１０（ａ）は、図８（ａ）に示された方式によって分類された映像を合成した例であり、図１０（ｂ）は、図８（ｂ）に示された方式によって分類された映像を合成した例である。
【００３３】
図１１及び図１２は、図９及び図１０の各々に示されたような合成映像（基準映像）で各視点別に重なる領域の映像が位置する領域を各々示す。
【００３４】
さらに図２を参照すれば、動き補償基盤の符号化器２４０は、映像合成器２３０により生成された重ならない領域の映像からなる合成映像に対する符号化を行う。動き補償基盤の符号化器２４０は、ＭＰＥＧ−２、ＭＰＥＧ−４符号化アルゴリズムのような動き補償基盤のアルゴリズムを用いて合成映像に対する符号化を行う。すなわち、図１３に示したように、ＤＣＴ、量子化、動き推定及び補償を行い、これから出力される情報をエントロピー符号化し、符号化されたストリームを生成する。
【００３５】
図１４は、重ならない領域に対して、Ｉ−ＶＯＰ、Ｐ−ＶＯＰ及びＢ−ＶＯＰに対した動き補償基盤の符号化の一例を示している。これは、既存のＭＥＰＧ−２、ＭＰＥＧ−４  Ｐａｒｔ  ２及びＰａｒｔ  １０（ＡＶＣ）と同じ動き推定及び補償と同じ構造である。すなわち、ＩＶＯＰの場合は、イントラ符号化を行い、Ｐ−ＶＯＰの場合は、時間軸上に以前に存在する映像から動き推定及び補償を行って符号化する。Ｂ−ＶＯＰの場合は、時間軸上に以前と以後に存在する映像から動き推定及び補償を行って符号化する。
【００３６】
一方、各視点で重なる領域の映像は、動き及び変異補償基盤の符号化器２５０を介して符号化される。動き及び変異補償基盤の符号化器２５０は、ＭＰＥＧ−２ ＭＶＰ（Multi-View Profile）またはＭＰＥＧ−４ ＴＳ（Temporal Scalability）のように時間的・空間的リダンダンシー（redundancy）を低減することができる動き及び変異補償基盤の符号化アルゴリズムを用いて各視点で重なる領域の映像に符号化を行う。図１５は、各視点別に重なる領域の映像に対する動き及び変異補償基盤の符号化構造を示す。図示のように、動き及び変異補償基盤の符号化は、ＤＣＴ、量子化、動き推定／補償、変異推定／補償を行い、これから出力される情報をエントロピー符号化し、符号化されたビットストリームを生成する。
【００３７】
図１６は、重なる領域に対して、Ｉ−ＶＯＰ、Ｐ−ＶＯＰ及びＢ−ＶＯＰに対する動き及び変異補償基盤の符号化の一例を示す。これは、既存のＭＰＥＧ−２  ＭＶＰ及びＭＰＥＧ−４  ＴＳ（Temporal Scalability）で上位層（Enhancement Layer）を符号化する構造と同じ動き推定及び補償と同じ構造である。すなわち、Ｉ−ＶＯＰの場合は、同一時間軸上に位置する合成映像を参照映像として変異ベクトルを推定して符号化し、Ｐ−ＶＯＰ及びＢ−ＶＯＰの場合は、時間軸上に以前に存在する映像から動き推定及び補償を行い、同一時間軸上に位置する合成映像を参照映像として変異ベクトルを推定して符号化する。
【００３８】
一方、多視点動映像応用モデルによって、ユーザが全ての視点の映像に対する符号化ストリームを伝送されて復元するように要求することもでき、ユーザの所望する一部視点の映像に対する符号化ストリームのみを伝送されて復元するように要求することもできる。全ての視点の映像全てを復元する場合には、合成された大きい映像全体に対して動き補償基盤の符号化を行えばよい。しかし、一部視点の映像のみを復元するためには、各視点別に符号化ストリームを他の視点映像と相関性なく符号化して、互いに区別されることができなければならない。したがって、本発明の一実施形態に係る符号化は、各視点で重ならない領域の各々に対して動き補償基盤の符号化を行う。また、中間の視点映像に対しても、縦軸方向にスライスを定義して符号化することによって、視点別に映像を復号化する時に、中間の視点映像のうち必要なスライスのみを復号化することができるようにする。
【００３９】
例えば、並列型の多視点映像である場合は、中間の視点映像に対して、縦軸方向にマクロブロックを交互に（alternative）スキャニングし（図１７（ａ）参照）、縦軸方向に一行ずつスライス（slice）を定義して（図１７（ｂ）参照）、動き補償基盤の符号化を行う。中間の視点映像で他の視点の映像と重なる位置をスライスアドレスで表し、中間の視点映像の符号化ストリームのヘッダー情報に含めることによって、以後に視点別に映像を復号化する時に、中間の視点映像のうち必要なスライスのみを復号化することができるようにする。すなわち、ユーザが一部の視点映像のみを復元しようとする場合、中間の視点映像の一部領域のみが復元されることができる。
【００４０】
図１８は、本発明の一実施形態によって各視点の重ならない領域の映像を視点別に符号化する場合に、中間の視点映像の符号化時にヘッダー情報として各視点で重なる領域に対するスライスアドレスを示す。図示のように、中間の視点映像を基準として左側に位置している１番目の視点映像を復元するためには、１番目と２番目の視点での重ならない領域の映像と中間の視点映像で左側からＡ１アドレスまでのスライスに対する符号化ストリームを復号化する。同様に、中間の視点映像で左側に位置している２番目の視点映像を復元するためには、２番目の視点での重ならない領域の映像と中間の視点映像で左側からＡ２アドレスまでのスライスに対する符号化ストリームを復号化する。
【００４１】
また、中間の視点映像を基準にして右側に位置している４番目の視点映像を復元するためには、４番目の視点での重ならない領域の映像と中間の視点映像でＡ４アドレスのスライスから右端部までの映像に対する符号化ストリームを復号化する。同様に、中間の映像を基準にして右側に位置している５番目の視点の映像を復元するためには、４番目及び５番目の視点での重ならない領域の映像と中間の視点映像でＡ５アドレスのスライスから右端部までの映像に対する符号化ストリームを復号化する。
【００４２】
図１９は、本願発明の一実施形態に係る映像合成基盤の多視点動映像復号化装置の構造をブロック図で示す。図示のように、復号化装置は、動き補償基盤の復号化器１９１０と、動き及び変異補償基盤の復号化器１９２０及び視点映像生成器１９３０を含む。動き補償基盤の復号化器１９１０は、本願発明によって重ならない領域の映像である合成映像から（動き補償基盤の符号化を通じて）生成された合成映像符号化ストリームに対する復号化を行う。図２０に示されたように、合成映像の符号化ストリームは、ＭＰＥＧ−２、ＭＰＥＧ−４方式の復号化と同様に動き補償基盤の復号化が行われる。すなわち、符号化されたビットストリームを入力されて、エントロピー復号化、逆量子化、ＩＤＣＴ及び動き補償を行って映像を復元する。
【００４３】
これに対し、動き及び変異補償基盤の符号化で行われた各視点の重なる領域の映像に対する符号化ストリームは、動き及び変異補償基盤の復号化器１９２０を介して復号化される。動き及び変異補償基盤の復号化器１９２０の詳細構造は、図２１に示されている。図２１に示されたように、動き及び変異補償基盤の復号化器１９２０の構造は、ＭＰＥＧ−２  ＭＶＰ及びＭＰＥＧ−４  ＴＳ（Temporal Scalability）で上位層（Enhancement Layer）を復号化する構造と同じ復号化構造である。すなわち、符号化されたビットストリームを入力されて、エントロピー復号化、逆量子化、ＩＤＣＴ及び動き補償と変異補償を行って映像を復元する。
【００４４】
図示された動き及び変異補償基盤の復号化器１９２０の構造は、動き補償基盤復号化器１９１０により復元された合成映像を変異情報を得るための基準映像として利用する点を除いて、本技術分野においての当業者に公知された構造であるから、これについての具体的な説明を省略する。
【００４５】
さらに図１９を参照すれば、視点映像生成器１９３０は、重ならない領域の復号化された映像と重なる領域の復号化された映像を入力されて、各視点別に映像を復元する機能を行う。図１７と関連して前述したように、本願発明に係る復号化装置は、ユーザが一部の視点のみを復元しようとする場合に、所望の視点映像の重ならない領域に対する符号化ストリームと、中間の視点映像の符号化ストリームの中から前記所望の視点映像と重なるスライスの符号化ストリームのみを伝送されて復号化することができる。
【００４６】
以上、特定の実施形態により本発明を説明したが、本発明は、前述した実施形態及び添付の図面に限定されるものではなく、本発明が属する技術の分野における通常の知識を有する者であれば、本発明の技術的思想を逸脱しない範囲内で、様々な置換、変形及び変更が可能であることは自明であろう。
【図面の簡単な説明】
【００４７】
【図１】（ａ）乃至（ｄ）は、多視点映像を獲得するための多視点カメラの配置形態を示す図である。
【図２】本願発明の一実施形態に係る動映像符号化装置のブロック図を示す図である。
【図３】（ａ）、（ｂ）は、本願発明の一実施形態によって全域変異ベクトルを推定する２つの方式を各々示す図である。
【図４】本願発明の一実施形態に係る全域変異推定器の詳細構造のブロック図を示す図である。
【図５】（ａ）、（ｂ）は、各々４ｘ４ブロック及び８ｘ８ブロック単位のサブサンプリング例を示す図である。
【図６】１番目の視点映像と２番目の視点映像での初期全域変異ベクトルを基準とする境界領域に対する例を示す図である。
【図７】（ａ）、（ｂ）は、本発明に係る２つの方式によって並列型多視点カメラ配置により獲得された多視点映像が重なる領域と重ならない領域とに分類された状態を各々示す図である。
【図８】（ａ）、（ｂ）は、本発明に係る２つの方式によって配列型多視点カメラ配置により獲得された多視点映像が重なる領域と重ならない領域とに分類された状態を各々示す図である。
【図９】（ａ）、（ｂ）は、並列型多視点カメラ配置により獲得された多視点映像から本発明によって合成された映像の例を示す図である。
【図１０】（ａ）、（ｂ）は、配列型多視点カメラ配置により獲得された多視点映像から本発明によって合成された映像の例を示す図である。
【図１１】図９及び図１０の各々に示されたような合成映像（基準映像）で各視点別に重なる領域の映像が位置する領域を示す図である。
【図１２】図９及び図１０の各々に示されたような合成映像（基準映像）で各視点別に重なる領域の映像が位置する領域を示す図である。
【図１３】動き補償基盤の符号化器の詳細構造を示す図である。
【図１４】重ならない領域に対して、Ｉ−ＶＯＰ、Ｐ−ＶＯＰ及びＢ−ＶＯＰに対する動き補償基盤の符号化の一例を示す図である。
【図１５】各視点別に重なる領域の映像に対する動き及び変異補償基盤の符号化構造を示す図である。
【図１６】重なる領域に対して、Ｉ−ＶＯＰ、Ｐ−ＶＯＰ及びＢ−ＶＯＰに対する動き及び変異補償基盤の符号化の一例を示す図である。
【図１７】（ａ）、（ｂ）は、本願発明の一実施形態によって各視点の重ならない映像を視点別に符号化する場合に、中間の視点映像の符号化時のマクロブロックスキャン順序及び中間の視点映像のスライス構造を各々示す図である。
【図１８】本発明の一実施形態によって各視点の重ならない領域の映像を視点別に符号化する場合に、中間の視点映像の符号化時にヘッダー情報として各視点で重なる領域に対するスライスアドレスを示す図である。
【図１９】本願発明の一実施形態に係る映像合成基盤の多視点動映像復号化装置の構造をブロック図で示す図である。
【図２０】動き補償基盤の復号化器の詳細構造を示す図である。
【図２１】動き及び変異補償基盤の復号化器の詳細構造を示す図である。
【図１】
2008516547.tif 000005
【図２】
2008516547.tif 000006
【図３】
2008516547.tif 000007
【図４】
2008516547.tif 000008
【図５】
2008516547.tif 000009
【図６】
2008516547.tif 000010
【図７】
2008516547.tif 000011
【図８】
2008516547.tif 000012
【図９】
2008516547.tif 000013
【図１０】
2008516547.tif 000014
【図１１】
2008516547.tif 000015
【図１２】
2008516547.tif 000016
【図１３】
2008516547.tif 000017
【図１４】
2008516547.tif 000018
【図１５】
2008516547.tif 000019
【図１６】
2008516547.tif 000020
【図１７】
2008516547.tif 000021
【図１８】
2008516547.tif 000022
【図１９】
2008516547.tif 000023
【図２０】
2008516547.tif 000024
【図２１】
2008516547.tif 000025
【国際調査報告】
2008516547.tif 000026
2008516547.tif 000027