(57)【要約】  Ｍ個のカメラから入力される空間軸上のＭ個の映像に対して、空間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行って、一つの空間的低周波数映像と（Ｍ−１）個の空間的高周波数映像とを生成するステップと、所定のＮ時間単位の間に生成されたＮ個の前記空間的低周波数映像に対して、時間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行って、一つの時間的低周波数映像と（Ｎ−１）個の時間的高周波数映像とを生成するステップと、前記Ｍ×Ｎ個の入力２次元映像群に割り当てられた伝送ビット率によって、前記生成された時間的低周波数映像及び高周波数映像をスケーラブル符号化するステップと、前記割り当てられた伝送ビット率を参照して、前記空間的高周波数映像をスケーラブル符号化するステップとを含むことを特徴とする方法。
2008521337.tif 000002
【特許請求の範囲】
【請求項１】
多視点映像のスケーラブル符号化方法において、
（ａ）Ｍ個のカメラから入力される空間軸上のＭ個の映像に対して、空間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行って、一つの空間的低周波数映像と（Ｍ−１）個の空間的高周波数映像とを生成するステップと、
（ｂ）所定のＮ時間単位の間に生成されたＮ個の前記空間的低周波数映像に対して、時間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行って、一つの時間的低周波数映像と（Ｎ−１）個の時間的高周波数映像とを生成するステップと、
（ｃ）前記Ｍ×Ｎ個の入力２次元映像群に割り当てられた伝送ビット率によって、前記生成された時間的低周波数映像及び高周波数映像をスケーラブル符号化するステップと、
（ｄ）前記時間的低周波数映像及び高周波数映像に割り当てられた伝送ビット率を参照して、前記空間的高周波数映像をスケーラブル符号化するステップと
を含むことを特徴とする多視点映像のスケーラブル符号化方法。
【請求項２】
前記空間的移動補償時間フィルタリングは、
前記複数のＭ個のカメラから入力されるＭ個の映像のみを利用する閉ループ構造であることを特徴とする請求項１に記載の多視点映像のスケーラブル符号化方法。
【請求項３】
前記時間的移動補償時間フィルタリングは、
以前に処理された前記２次元映像群に対する時間的移動補償時間フィルタリングにより生成された時間的低周波数映像を利用するオープンループ構造であることを特徴とする請求項１に記載の多視点映像のスケーラブル符号化方法。
【請求項４】
前記（ｃ）ステップは、
（ｃ−１）前記割り当てられた伝送ビット率及び時間的解像度によって、前記生成された時間的高周波数映像のうち符号化する時間的高周波数映像を決定するステップと、
（ｃ−２）前記生成された時間的低周波数映像と前記決定された符号化する時間的高周波数映像とをスケーラブル符号化するステップと
をさらに含むことを特徴とする請求項１に記載の多視点映像のスケーラブル符号化方法。
【請求項５】
前記（ｄ）ステップは、
（ｄ−１）前記時間的低周波数映像及び高周波数映像に割り当てられた伝送ビット率と空間的解像度とによって、前記Ｍ個のカメラから同一時間に入力されて生成された空間的高周波数映像のうち符号化する空間的高周波数映像を決定するステップと、
（ｄ−２）前記決定された空間的高周波数映像をスケーラブル符号化するステップと
をさらに含むことを特徴とする請求項１に記載の多視点映像のスケーラブル符号化方法。
【請求項６】
多視点映像のスケーラブル符号化装置において、
Ｍ個のカメラから入力される空間軸上のＭ個の映像に対して、空間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行って、一つの空間的低周波数映像と（Ｍ−１）個の空間的高周波数映像とを生成する空間的映像フィルタリング部と、
所定のＮ時間単位の間に生成されたＮ個の前記空間的低周波数映像に対して、時間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行って、一つの時間的低周波数映像と（Ｎ−１）個の時間的高周波数映像とを生成する時間的映像フィルタリング部と、
前記Ｍ×Ｎ個の入力２次元映像群に割り当てられた伝送ビット率によって、前記生成された時間的低周波数映像及び高周波数映像をスケーラブル符号化する時間的映像スケーラブル符号化部と、
前記時間的低周波数映像及び高周波数映像に割り当てられた伝送ビット率を参照して、前記空間的低周波数映像及び高周波数映像をスケーラブル符号化する空間的映像スケーラブル符号化部と
を備えることを特徴とする多視点映像のスケーラブル符号化装置。
【請求項７】
前記空間的映像フィルタリング部は、
前記複数のＭ個のカメラから入力されるＭ個の映像のみを利用する閉ループ構造であることを特徴とする請求項６に記載の多視点映像のスケーラブル符号化装置。
【請求項８】
前記時間的映像フィルタリング部は、
以前に処理された前記２次元映像群に対する時間的移動補償時間フィルタリングにより生成された時間的低周波数映像を利用するオープンループ構造であることを特徴とする請求項６に記載の多視点映像のスケーラブル符号化装置。
【請求項９】
前記時間的映像スケーラブル符号化部は、
前記割り当てられた伝送ビット率及び時間的解像度によって、前記生成された時間的高周波数映像のうち符号化する時間的高周波数映像を決定し、前記生成された時間的低周波数映像及び前記決定された符号化する時間的高周波数映像をスケーラブル符号化することを特徴とする請求項６に記載の多視点映像のスケーラブル符号化装置。
【請求項１０】
前記空間的映像スケーラブル符号化部は、
前記時間的低周波数映像及び高周波数映像に割り当てられた伝送ビット率と空間的解像度とによって、前記Ｍ個のカメラから同一時間に入力されて生成された空間的高周波数映像のうち符号化する空間的高周波数映像を決定し、前記決定された空間的高周波数映像をスケーラブル符号化することを特徴とする請求項６に記載の多視点映像のスケーラブル符号化装置。
【請求項１１】
多視点映像のスケーラブル復号化方法において、
（ａ）Ｍ個のカメラから所定のＮ時間単位の間に入力された２次元映像群に対して、時空間的に移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行うことによって、生成された時空間的低周波数映像及び高周波数映像をスケーラブル符号化したビットストリームを受信するステップと、
（ｂ）前記ビットストリームに備えられたスケーラブル符号化された時間的低周波数映像及び高周波数映像を復号化するステップと、
（ｃ）前記復号化された時間的低周波数映像及び高周波数映像に対して、逆時間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用した逆フィルタリングを行って、空間的低周波数映像を復元するステップと、
（ｄ）前記ビットストリームに備えられたスケーラブル符号化された空間的高周波数映像を復号化するステップと、
（ｅ）前記復元された空間的低周波数映像及び復号化された空間的高周波数映像に対して、逆時間的移動補償時間フィルタリング及び階層的Ｂピクチャーを利用した逆フィルタリングを行って映像を復元するステップと
を含むことを特徴とする多視点映像のスケーラブル復号化方法。
【請求項１２】
前記スケーラブル符号化されたビットストリームは、
前記Ｍ個のカメラから入力される空間軸上のＭ個の映像に対して、空間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行って、一つの空間的低周波数映像と（Ｍ−１）個の空間的高周波数映像とを生成するステップと、
所定のＮ時間単位の間に生成されたＮ個の前記空間的低周波数映像に対して、時間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行って、一つの時間的低周波数映像と（Ｎ−１）個の時間的高周波数映像とを生成するステップと、
前記Ｍ×Ｎ個の入力２次元映像群に割り当てられた伝送ビット率によって、時間的低周波数映像及び高周波数映像をスケーラブル符号化するステップと、
前記時間的低周波数映像及び高周波数映像に割り当てられた伝送ビット率を参照して、空間的高周波数映像をスケーラブル符号化するステップと
を通じて生成されることを特徴とする請求項１１に記載の多視点映像のスケーラブル復号化方法。
【請求項１３】
多視点映像のスケーラブル復号化装置において、
Ｍ個のカメラから所定のＮ時間単位の間に入力された２次元映像群に対して、時空間的に移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行うことによって、生成された時空間的低周波数映像及び高周波数映像をスケーラブル符号化したビットストリームを受信し、前記ビットストリームに備えられたスケーラブル符号化された時間的低周波数映像及び高周波数映像を復号化する時間的映像復号化部と、
前記復号化された時間的低周波数映像及び高周波数映像に対して、逆時間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用した逆フィルタリングを行って、空間的低周波数映像を復元する時間的逆フィルタリング部と、
前記ビットストリームに備えられたスケーラブル符号化された空間的高周波数映像を復号化する空間的映像復号化部と、
前記復元された空間的低周波数映像及び復号化された空間的高周波数映像に対して、逆時間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用した逆フィルタリングを行って、映像を復元する空間的逆フィルタリング部と
を備えることを特徴とする多視点映像のスケーラブル復号化装置。
【請求項１４】
前記スケーラブル符号化されたビットストリームは、
前記Ｍ個のカメラから入力される空間軸上のＭ個の映像に対して、空間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行って、一つの空間的低周波数映像と（Ｍ−１）個の空間的高周波数映像とを生成するステップと、
所定のＮ時間単位の間に生成されたＮ個の前記空間的低周波数映像に対して、時間的移動補償時間フィルタリング及び階層的Ｂピクチャーのうち少なくとも一つを利用したフィルタリングを行って、一つの時間的低周波数映像と（Ｎ−１）個の時間的高周波数映像とを生成するステップと、
前記Ｍ×Ｎ個の入力２次元映像群に割り当てられた伝送ビット率によって、時間的低周波数映像及び高周波数映像をスケーラブル符号化するステップと、
前記時間的低周波数映像及び高周波数映像に割り当てられた伝送ビット率を参照して、空間的高周波数映像をスケーラブル符号化するステップと
を通じて生成されることを特徴とする請求項１３に記載の多視点映像のスケーラブル復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の符号化、復号化方法及び装置に係り、特に複数のカメラから入力される多視点映像を空間軸方向及び時間軸方向に移動補償時間フィルタリング（Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｅｄ  Ｔｅｍｐｏｒａｌ  Ｆｉｌｔｅｒｉｎｇ：ＭＣＴＦ）または階層的Ｂピクチャを利用したフィルタリングを通じて再構成した後、スケーラブルビデオコーディング（Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ：ＳＶＣ）技法を適用する多視点映像のスケーラブル符号化、復号化方法及び装置に関する。
【背景技術】
【０００２】
デジタル放送サービスは、現在のＨＤＴＶ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｔｅｌｅｖｉｓｉｏｎ）、衛星／地上波ＤＭＢ（Ｄｉｇｉｔａｌ  Ｍｕｌｔｉｍｅｄｉａ  Ｂｒｏａｄｃａｓｔｉｎｇ）などから、双方向の対話形ＴＶ及び放送、立体ＴＶ及び放送を経て実感放送の形態に発展すると予想される。実感放送は、多様な視点での光景についての映像情報をユーザに提供し、該情報のうち、視聴者が見ようとする光景についての操作を通じてそれぞれの視聴者ごとに放送局から送られる情報を創造的に編集して視聴可能にする放送である。かかる実感放送を具現するためには、パノラマ映像を生成させねばならない。パノラマ映像の生成のために、一般的に複数のカメラを組み合わせて多様な視点での映像を取得した後、各カメラで取得された映像を連結するか、または全方向のカメラシステムを利用する。複数のカメラで獲得された映像情報をユーザに伝達するためには、多量のデータの収集及び伝送が必要とする。多視点映像の情報を収集できる方法として、多視点カメラシステム、ステレオスコーピックカメラシステム、全方向カメラシステムなど多様な方法が研究されている。そのうち、多視点カメラシステムは、Ｍ個のカメラから同時に一つの個体あるいは場面を撮影または伝送してユーザにカメラの位置による色々な場面を提供するか、または三次元場面を提供することである。
【０００３】
多視点映像コーディングは、多視点映像を提供するＭ個のカメラから入力された映像を同時にコーディングして圧縮保存及び伝送することである。多視点映像を圧縮せずに保存及び伝送する場合、データのサイズが非常に大きいため、データをリアルタイムで放送網または有／無線インターネットなどを通じてユーザに伝達するためには、大きいサイズの伝送帯域幅が要求される。例えば、１６個のカメラからそれぞれ１３１０×１０３０解像度を有する２４ビットのカラー映像を３０ｆｒａｍｅ／ｓｅｃの割合で入力される場合、１４．４Ｇｂ／ｓｅｃほどの大きいサイズのデータを処理せねばならない。したがって、現在、ＭＰＥＧでは、３Ｄオーディオ及びビデオサブグループ内で多視点コーディング方法のための下位グループを生成して、多視点ビデオから入力された膨大な量の映像データを、ビデオ圧縮技術を使用してコーディングする方法についての国際標準化を検討及び進行している。
【０００４】
図１Ａないし図１Ｃは、従来技術による多視点カメラの構成例を示す図面であり、図２は、４×４平行構造を有する１６個の多視点カメラで構成されたＦＴＶ（Ｆｒｅｅ−ｖｉｅｗｐｏｉｎｔ  Ｔｅｌｅｖｉｓｉｏｎ）システムで同じ時間で各カメラに入力された映像を示す図面である。図１Ａないし図１Ｃは、それぞれ平行構造、収斂構造、発散構造で複数のカメラ１０が配置された場合を示している。カメラ１０の配置及び個数は、多視点映像の提供範囲によって変更可能である。
【０００５】
図２に示すように、多視点映像で各カメラに入力される映像は非常に類似している。すなわち、多視点映像を提供する各カメラの入力映像は、空間軸上の相関関係が非常に高い。したがって、多視点ビデオコーディングで高い圧縮効率を提供するためには、カメラの入力映像間の高い空間的な相関関係情報を活用する必要がある。また、多様な環境及び多様な演算能力を有する端末器上で多様に三次元または選択的な二次元に表すためには、空間的−時間的スケーラブルコーディングが必要である。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、複数のカメラから所定時間の間に入力される多視点映像を空間的−時間的にフィルタリングすることによって、多様な空間的−時間的スケーラビリティを支援する多視点映像のスケーラブル符号化方法及び装置を提供することである。
本発明の他の目的は、スケーラブル符号化された多視点映像のビットストリームを復号化して、空間的−時間的スケーラビリティを支援する多視点映像の復号化方法及び装置を提供することである。
【課題を解決するための手段】
【０００７】
前記目的を達成するために、本発明による多視点映像のスケーラブル符号化方法は、（ａ）Ｍ個のカメラから入力される空間軸上のＭ個の映像に対して、空間的ＭＣＴＦまたは階層的Ｂピクチャーを利用したフィルタリングを行って、一つの空間的低周波数映像と（Ｍ−１）個の空間的高周波数映像とを生成するステップと、（ｂ）所定のＮ時間単位の間に生成されたＮ個の前記空間的低周波数映像に対して、時間的ＭＣＴＦまたは階層的Ｂピクチャーを利用したフィルタリングを行って、一つの時間的低周波数映像と（Ｎ−１）個の時間的高周波数映像とを生成するステップと、（ｃ）前記Ｍ×Ｎ個の入力２次元映像群に割り当てられた伝送ビット率によって、前記生成された時間的低周波数映像及び高周波数映像をスケーラブル符号化するステップと、（ｄ）前記時間的低周波数映像及び高周波数映像に割り当てられた伝送ビット率を参照して、前記空間的高周波数映像をスケーラブル符号化するステップと、を含むことを特徴とする。
【０００８】
本発明による多視点映像のスケーラブル符号化装置は、Ｍ個のカメラから入力される空間軸上のＭ個の映像に対して、空間的ＭＣＴＦまたは階層的Ｂピクチャーを利用したフィルタリングを行って、一つの空間的低周波数映像と（Ｍ−１）個の空間的高周波数映像とを生成する空間的映像フィルタリング部と、所定のＮ時間単位の間に生成されたＮ個の前記空間的低周波数映像に対して、時間的ＭＣＴＦまたは階層的Ｂピクチャーを利用したフィルタリングを行って、一つの時間的低周波数映像と（Ｎ−１）個の時間的高周波数映像とを生成する時間的映像フィルタリング部と、前記Ｍ×Ｎ個の入力２次元映像群に割り当てられた伝送ビット率によって、前記生成された時間的低周波数映像及び高周波数映像をスケーラブル符号化する時間的映像スケーラブル符号化部と、前記時間的低周波数映像及び高周波数映像に割り当てられた伝送ビット率を参照して、前記空間的低周波数映像及び高周波数映像をスケーラブル符号化する空間的映像スケーラブル符号化部と、を備えることを特徴とする。
【０００９】
前記他の目的を達成するために、本発明による多視点映像のスケーラブル復号化方法は、（ａ）Ｍ個のカメラから所定のＮ時間単位の間に入力された２次元映像群に対して、時空間的にＭＣＴＦまたは階層的Ｂピクチャーを利用したフィルタリングを行うことによって、生成された時空間的低周波数映像及び高周波数映像をスケーラブル符号化したビットストリームを受信するステップと、（ｂ）前記ビットストリームに備えられたスケーラブル符号化された時間的低周波数映像及び高周波数映像を復号化するステップと、（ｃ）前記復号化された時間的低周波数映像及び高周波数映像に対して、逆時間的ＭＣＴＦまたは階層的Ｂピクチャーを利用した逆フィルタリングを行って、空間的低周波数映像を復元するステップと、（ｄ）前記ビットストリームに備えられたスケーラブル符号化された空間的高周波数映像を復号化するステップと、（ｅ）前記復元された空間的低周波数映像及び復号化された空間的高周波数映像に対して、逆時間的ＭＣＴＦまたは階層的Ｂピクチャーを利用した逆フィルタリングを行って映像を復元するステップと、を含むことを特徴とする。
【００１０】
本発明による多視点映像のスケーラブル復号化装置は、Ｍ個のカメラから所定のＮ時間単位の間に入力された２次元映像群に対して、時空間的にＭＣＴＦまたは階層的Ｂピクチャーを利用したフィルタリングを行うことによって、生成された時空間的低周波数映像及び高周波数映像をスケーラブル符号化したビットストリームを受信し、前記ビットストリームに備えられたスケーラブル符号化された時間的低周波数映像及び高周波数映像を復号化する時間的映像復号化部と、前記復号化された時間的低周波数映像及び高周波数映像に対して、逆時間的ＭＣＴＦまたは階層的Ｂピクチャーを利用した逆フィルタリングを行って、空間的低周波数映像を復元する時間的逆フィルタリング部と、前記ビットストリームに備えられたスケーラブル符号化された空間的高周波数映像を復号化する空間的映像復号化部と、前記復元された空間的低周波数映像及び復号化された空間的高周波数映像に対して、逆時間的ＭＣＴＦまたは階層的Ｂピクチャーを利用した逆フィルタリングを行って映像を復元する空間的逆フィルタリング部と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、多視点映像群を空間軸方向及び時間軸方向にフィルタリングした後、空間的、時間的に隣接した映像間の相関関係を利用することによって、多視点映像のコーディング効率を向上させる。また、本発明によれば、時間的スケーラビリティ、ビュー（カメラ）空間的スケーラビリティ、映像のサイズによる空間的スケーラビリティ及びＳＮＲスケーラビリティを提供できる。
【発明を実施するための最良の形態】
【００１２】
以下、添付された図面を参照して、本発明の望ましい実施形態について詳細に説明する。まず、本発明の理解を助けるために、本発明に適用されるスケーラブル映像符号化及び階層的Ｂピクチャーについて説明する。
スケーラブル映像符号化は、多様な解像度とフレーム率、画質を有する映像情報を一つのビットストリームに作って多様な環境及び多様な端末器の実行能力に合わせて提供することである。
【００１３】
図３は、スケーラブル映像符号化の概念を説明するための参考図であり、図４は、スケーラブル映像符号化装置の一例を示す参考図である。図３及び図４に示すように、スケーラブル映像符号化は、入力映像３１に対して時間的変換３２を利用して時間的スケーラビリティを具現し、２次元空間的変換３３を利用して空間的スケーラビリティを具現する。また、スケーラブル映像符号化は、テクスチャーコーディング３４を利用して画質スケーラビリティを具現する。移動コーディング３５は、それぞれの空間的スケーラビリティを具現するときの移動情報を拡張的に符号化する。前記のようなコーディングアルゴリズムを通じて、一つのビットストリーム３６を生成する。
【００１４】
スケーラブル映像符号化において、時間的スケーラブルを提供して圧縮効率を向上させるための方法として、ＭＣＴＦ及び階層的Ｂ−ピクチャーがある。まず、ＭＣＴＦについて説明する。
【００１５】
ＭＣＴＦは、映像シーケンス内で時間方向の移動の情報を利用してウェーブレット変換を行うことをいう。ウェーブレット変換は、リフティングスキームを利用して具現される。リフティングスキームは、ウェーブレット変換を効率的に行うためのものであって、演算の速度が速く、量子化を行わなかった場合、完全な再構成映像を保証する特徴がある。リフティングスキームは、多位相分解、予測及びアップデートの三つの演算で構成される。
図５は、ＭＣＴＦで利用されるリフティングスキームで行われる演算過程を説明するための参考図である。図５に示すように、入力信号ｓ［ｋ］を偶数番目の信号ｓ［２ｋ］と奇数番目の信号ｓ［２ｋ＋１］とに分ける。奇数番目の信号ｓ［２ｋ＋１］から偶数番目の信号ｓ［２ｋ］の一次結合でなる予測演算子Ｐ（ｓ［２ｋ＋１］）を減算して、高周波信号ｈ［ｋ］を求める。低周波信号ｌ［ｋ］は、偶数番目の信号ｓ［２ｋ］に高周波信号ｈ［ｋ］の一次結合でなるアップデート演算子Ｕ（ｓ［２ｋ］）を加えることによって求める。この過程は、次の数式１のように表される。
【００１６】
【数１】
2008521337.tif 000003
【００１７】
図５において、Ｆｌ，Ｆｈは、それぞれ低周波信号と高周波信号とに該当するスケーリングファクタである。逆リフティングスキームで、逆スケーリング過程を行った信号ｈ［ｋ］，ｌ［ｋ］に対してアップデート演算及び予測演算を行えば、完全な再構成信号が得られる。数式２は、Ｈａａｒウェーブレットを利用したリフティングスキームを表す。
【００１８】
【数２】
2008521337.tif 000004
【００１９】
ｈ［ｋ］は、奇数番目の信号ｓ［２ｋ＋１］に予測演算、すなわち偶数番目の信号ｓ［２ｋ］を差し引くことによって求め、ｌ［ｋ］は、偶数番目の信号ｓ［２ｋ］にアップデート演算、すなわち高周波信号ｈ［ｋ］の１／２値を加えることによって求める。次の数式３は、逆リフティングスキームの例を表す。
【００２０】
【数３】
2008521337.tif 000005
【００２１】
ｓ［２ｋ］は、低周波信号ｌ［ｋ］にアップデート演算、すなわち高周波信号ｈ［ｋ］の１／２値を差し引くことによって求め、ｓ［２ｋ＋１］は、高周波信号ｈ［ｋ］に予測演算、すなわち再構成された偶数番目の信号ｓ［２ｋ］を加えることによって求める。前記のような過程により、リフティングスキームは、完全な再構成信号が得られるということを確認できる。
【００２２】
リフティングスキームを時間方向に構成するために、空間座標ｘ＝（ｘ，ｙ）Ｔと時間座標ｋとを有するｓ［ｘ，ｋ］を映像信号とすれば、Ｈａａｒウェーブレットの予測とアップデート演算は、次の数式４のように表される。
【００２３】
【数４】
2008521337.tif 000006
【００２４】
図６は、ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）のサイズが８である映像シーケンスで、Ｈａａｒウェーブレットを利用した時間的フィルタリングを示す参考図である。図６において、ＬＯは、原映像のシーケンスを表し、Ｈ１は、二番目のＬ０映像から一番目のＬ０映像を差し引いた残り映像を表す（予測過程）。Ｌ１は、一番目のＬ０映像とＨ１に１／２をかけた映像とを合わせた映像を表す（アップデート過程）。かかる過程をＬ１映像に適用してＨ２とＬ２とを生成し、Ｌ２に対して同じ過程を適用してＨ３とＬ３とを生成する。そして、Ｌ３，Ｈ３，Ｈ２，Ｈ２，Ｈ１，Ｈ１，Ｈ１，Ｈ１の順序に配列された映像が符号化されて復号化部に伝達される。
【００２５】
５／３スプラインウェーブレットを利用した予測及びアップデート演算は、次の数式５のように表す。
【００２６】
【数５】
2008521337.tif 000007
【００２７】
図７は、ＧＯＰのサイズが８である映像シーケンスで、５／３スプラインウェーブレットを利用した時間的フィルタリング過程を示す参考図である。図７において、ＬＯは、原映像のシーケンスを表し、Ｈ１は、偶数番目のＬ０映像から両側の奇数番目のＬ０映像に１／２をかけた映像を差し引いた残り映像を表す。Ｌ１は、奇数番目のＬ０映像とその両側のＨ１映像に１／４をかけた映像とを合わせた映像を表す。かかる過程を通じて、Ｌ３，Ｈ３，Ｈ２，Ｈ２，Ｈ１，Ｈ１，Ｈ１，Ｈ１の順序に配列された映像は符号化されて復号化部に伝達される。
【００２８】
前記リフティングスキームで予測とアップデート過程とを移動方向に行えば、ＭＣＴＦとなる。そして、ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）の多重参照を可能にする場合、Ｈａａｒフィルタ及び５／３スプラインウェーブレットを利用した予測とアップデート過程とは、次の数式６のように表す。
【００２９】
【数６】
2008521337.tif 000008
【００３０】
数式６において、ｍは、移動ベクトルを意味し、ｒ（ｒ≧０）は、参照映像のインデックスを意味する。
【００３１】
図８は、ブロック単位でＭＣＴＦの予測を行う過程の一例を示す参考図である。ＨＮ＋１を予測するとき、イントラブロックでコーディングすることがコーディング効率が高い場合には、イントラブロックでコーディングし、両方向で予測することが適した場合は、５／３スプラインウェーブレットのような方法で現在映像から参照映像にそれぞれ１／２をかけた値を差し引く。また、一つの方向で予測することが適した場合は、Ｈａａｒウェーブレットのような方法で現在映像から参照映像を差し引く。現在映像が参照する映像が隣にあるのではなく、時間的に遠く離れている場合は、多重参照を利用する。
【００３２】
図９は、ブロック単位でＭＣＴＦのアップデートを行う過程の一例を示す参考図である。ＬＮ＋１をアップデートするとき、前記予測過程のようにイントラブロックでコーディングすることが効率が高い場合には、イントラブロックでコーディングし、両方向で予測することが適した場合は、５／３スプラインウェーブレットのような方法で現在映像と参照映像とにそれぞれ１／４をかけた値を加え、一つの方向で予測することが適した場合は、Ｈａａｒウェーブレットのような方法で現在映像と参照映像とに１／２をかけた値を加える。また、ブロック単位でアップデートするとき、参照映像が隣にあるのではなく、遠く離れた映像である場合は、多重参照を利用する。
【００３３】
スケーラブル映像符号化において、スケーラビリティは、二つの方法を通じて具現されうる。一つは、ビットプレーンを利用する方法であり、他の一つは、従来のスケーラブル標準で使われた階層的な方法を利用するものである。前述した二つの方法をいずれも利用して時空間的、画質スケーラビリティを具現できる。
【００３４】
図１０は、スケーラブル映像符号化で時間的スケーラビリティを具現する過程を説明するための参考図である。スケーラブル映像符号化において、ＧＯＰ単位の原映像シーケンスを、ＭＣＴＦを通じて時間的サブバンド映像に分けた後、各サブバンドを階層に構成して時間的スケーラビリティを具現する。図１０に示すように、三回のＭＣＴＦを行って生成された低周波数映像Ｌ３を基本階層として１／１２フレーム率を支援できる。三回のＭＣＴＦを行って生成された高周波数映像Ｈ３は、基本階層の低周波数映像Ｌ３と共に１／４フレーム率の支援に利用される。同じ方法により、三つの高周波数映像Ｈ２と低周波数映像Ｌ２とは、共に１／２フレーム率の支援に利用される。最後に、６個の高周波数映像Ｈ１は、下位階層の映像と共に全体のフレーム率の支援に利用される。
【００３５】
空間的スケーラビリティは、従来のＭＰＥＧ−２，ＭＰＥＧ−４のように階層的な方法で提供され、基本階層は、ＡＶＣと互換となるように構成される。画質スケーラビリティは、ブロック単位のＦＧＳ（Ｆｉｎｅ  Ｇｒａｎｕｌａｒ  Ｓｃａｌａｂｉｌｉｔｙ）方式を利用したビットプレーンコーディング方法を使用して具現し、基本階層上にＦＧＳ強化ビットストリームを任意の点でカットして付着することによって、向上階層の映像を提供する。画質スケーラビリティは、コンテクスト基板のコーディングを利用して具現されうる。
【００３６】
図１１は、時間的、空間的、画質スケーラビリティをいずれも具現したスケーラブル構造の一例を示す参考図である。図１１に示すように、空間的基本階層は、ＱＣＩＦ  １５Ｈｚのフレーム率を有し、階層的なＢピクチャー構造で時間的スケーラビリティを具現して７．５Ｈｚのフレーム率まで提供する。基本的なビット率は、４１Ｋｂｐｓであり、ＡＶＣシンタックスに合わせてコーディングを行う。その上にＦＧＳを利用して画質スケーラビリティを具現して、８０Ｋｂｐｓまでのビット率を提供する。８０ＫｂｐｓのＱＣＩＦ  １５Ｈｚ映像をアップサンプリングして、上位空間的スケーラブル階層で参照させる。上位空間的階層では、ＣＩＦ  ３０Ｈｚのフレーム率を有し、ＭＣＴＦコーディングを通じて時間的スケーラブルを具現して１．８７５Ｈｚまでのフレーム率を提供する。基本的なビット率は、１１５Ｋｂｐｓであり、その上にＦＧＳを利用して画質スケーラビリティを具現して２５６Ｋｂｐｓまでのビット率を提供する。
【００３７】
次いで、前述したＭＣＴＦと共に、本発明で多視点映像のフィルタリングに適用される階層的Ｂピクチャーについて説明する。
【００３８】
階層的Ｂピクチャーは、Ｈ．２６４で使用する１６個のピクチャーを保存できるＤＰＢ（Ｄｅｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ）を管理するＭＭＣＯ（Ｍｅｍｏｒｙ  Ｍａｎａｇｅｍｎｅｎｔ  Ｃｏｎｔｒｏｌ  Ｏｐｅｒａｔｉｏｎ）とＲＰＬＲ（Ｒｅｆｅｒｅｎｃｅ  Ｐｉｃｔｕｒｅ  Ｌｉｓｔ  Ｒｅｏｒｄｅｒｉｎｇ）とのシンタックスを利用して多様な方法で具現されうる。
【００３９】
図１２は、二分法的な階層構造を有する階層的Ｂピクチャーの一例を示す参考図である。ここで、ＧＯＰのサイズは８である。図１２に示すように、映像シーケンスの最前方に位置する映像は、従来の映像符号化標準案のようにＩＤＲピクチャーと呼ぶイントラピクチャーとして符号化する。ＧＯＰで最後に位置するピクチャーは、キーピクチャーといい、ＩピクチャーやＰピクチャーとしてコーディングされうる。図１２では、キーピクチャーのみを復号化すれば、１／８のフレーム率を支援でき、キーピクチャーとＢ１ピクチャーとを復号化すれば、１／４のフレーム率を支援でき、Ｂ２ピクチャーまで復号化すれば、１／２のフレーム率を支援でき、Ｂ３ピクチャーまで復号化すれば、全体のフレーム率を支援できる。
【００４０】
図１３は、二分法的な階層構造を有さない階層的Ｂピクチャーの一例を示す参考図である。フレーム率は、色々な状況によって変化するので、常に二分法的にＧＯＰが構成されない。したがって、フレーム率が変化するあらゆる状況を支援可能に、階層的Ｂピクチャーは、二分法的でないＧＯＰ構造を支援できねばならない。図１３において、キーピクチャーのみを復号化すれば、１／１２のフレーム率を支援でき、キーピクチャーとＢ１ピクチャーとを復号化すれば、１／６のフレーム率を支援でき、Ｂ２ピクチャーまで復号化すれば、１／３のフレーム率を支援でき、Ｂ３ピクチャーまで復号化すれば、全体のフレーム率を支援できる。
【００４１】
本発明では、前述したＭＣＴＦまたは階層的Ｂピクチャーを利用して映像をフィルタリングする。以下では、説明の便宜のために、ＭＣＴＦを利用する場合を中心に説明する。しかし、当業者ならば、ＭＣＴＦと同様に階層的Ｂピクチャーを利用して多視点映像を空間的−時間的にフィルタリングできるということを容易に理解できるであろう。
以下、本発明の望ましい実施形態による多視点映像のスケーラブル符号化方法及び装置について説明する。
【００４２】
本発明による多視点映像のスケーラブル符号化、復号化方法及び装置は、多様な解像度、フレーム率、画質を提供するために、多視点映像を一つのビットストリームに作って多様な端末器の実行能力に合わせて提供する。
【００４３】
図１４は、本発明による多視点映像のスケーラブル符号化及び復号化装置を備える多視点スケーラブル映像コーデックの全体構成を示す図面である。図１４に示すように、多視点スケーラブル映像コーデックは、多視点映像符号化部１４２０、部分ビットストリーム生成部１４３０及び多視点映像復号化部１４４０を備える。多視点映像符号化部１４２０は、複数のカメラ１４１０から入力される多視点映像をスケーラブル符号化して時間的、空間的、画質スケーラビリティを有するフルビットストリームを生成する。部分ビットストリーム生成部１４３０は、時間的、空間的及び画質解像度によってフルビットストリームに対する部分的な復号化ができるように部分ビットストリームを生成する。このように生成された全体ビットストリームまたは部分ビットストリームは、多視点映像復号化部１４４０で復元されてディスプレイ部１４５０を通じて出力される。
【００４４】
図１５は、本発明による多視点映像のスケーラブル符号化装置の構成を示す図面であり、図１６は、本発明による多視点映像のスケーラブル符号化方法を示すフローチャートである。図１５に示すように、多視点映像スケーラブル符号化装置１５００は、空間的映像フィルタリング部１５１０、時間的映像フィルタリング部１５２０、時間的映像スケーラブル符号化部１５３０、空間的映像スケーラブル符号化部１５４０、ビットレート制御部１５５０及び多重化部１５６０を備える。
【００４５】
空間的映像フィルタリング部１５１０は、空間軸上のＭ個のカメラから所定のＮ時間単位の間に入力された２次元映像群に対して、ＭＣＴＦまたは階層的Ｂ構造を利用した空間的フィルタリングを行う（ステップ１６１０）。空間的フィルタリングは、２次元映像群のうち、同一時間に入力された空間軸上の映像に対して行われる。空間的フィルタリングの結果、一つの空間的低周波数映像と（Ｍ−１）個の空間的高周波数映像とが生成される。また、空間的フィルタリングは、複数のＭ個のカメラから入力されるＭ個の映像のみを利用する閉ループ構造を有し、所定時間Ｎの間に反復して行われる。
【００４６】
時間的映像フィルタリング部１５２０は、前記空間的フィルタリングの実行結果により生成されたＮ個の空間的低周波数映像に対して、ＭＣＴＦまたは階層的Ｂ構造を利用したフィルタリングを行う（ステップ１６２０）。Ｎ時間単位の間に空間的映像フィルタリング部１５１０により生成されたＮ個の空間的低周波数映像に対する時間的フィルタリングの結果、一つの時間的低周波数映像と（Ｎ−１）個の時間的高周波数映像とが生成される。時間的映像フィルタリング部１５２０は、以前に処理された２次元映像群に対するＭＣＴＦまたは階層的Ｂピクチャーを利用したフィルタリングにより、以前に生成された時間的低周波数映像を利用するオープンループ構造を有する。
【００４７】
時間的映像スケーラブル符号化部１５３０は、時間的映像フィルタリング部１５２０で生成された時間軸上の時間的低周波、高周波数映像を２次元映像群に割り当てられた伝送ビット率及び要求される時間的解像度に適してビットレート制御部１５５０の制御によってスケーラブル符号化を行う（ステップ１６３０）。スケーラブル符号化過程には、前述したような２次元空間変換、テクスチャコーディング及びモーションコーディングが行われ、これは、周知のスケーラブル符号化方法と同一に行われうる。
【００４８】
空間的映像スケーラブル符号化部１５４０は、空間的映像フィルタリング部１５１０で生成された空間軸上の高周波数映像群に対して、時間軸上の時間的低周波数映像及び高周波数映像の符号化に割り当てられたビットと要求される空間的解像度とを考慮してスケーラブル符号化を行う（ステップ１６４０）。
【００４９】
多重化部１５６０は、時間的映像スケーラブル符号化部１５３０及び空間的映像スケーラブル符号化部１５４０で符号化された空間的−時間的低周波数映像及び高周波数映像を多重化してビットストリームを出力する（ステップ１６５０）。
【００５０】
以下では、多視点映像のスケーラブル符号化方法及び装置について具体的に説明する。
【００５１】
図１７は、本発明による２次元映像群の一例を示す図面である。
【００５２】
複数のカメラから入力される多視点映像をスケーラブル符号化するために、本発明は、従来の一つのカメラから所定時間単位の間に入力されるＧＯＰとは異なる２次元映像群を利用する。２次元映像群は、Ｍ個の多視点カメラから各時間単位に入力される空間軸上のＭ個の映像と、各カメラから所定のＮ時間単位の間に入力される時間軸上のＮ個の映像とを含む。すなわち、空間軸方向にＭ個のカメラから映像が入力され、時間軸方向にＮ個の映像が入力されて、Ｍ×Ｎ個の映像集合である２次元映像群が構成される。ここで、ＭＣＴＦまたは階層的Ｂピクチャーを利用したフィルタリングのために、Ｍ＝２ｍ，Ｎ＝２ｎ（ｍ，ｎは定数）であることが望ましい。
【００５３】
図１７では、２次元ＧＯＰの一例として、８個のカメラで構成された多視点カメラ１７１０から時間軸方向に８個の映像が入力された場合の映像集合である２次元映像群１７２０を示す。図１７で、各カメラに入力された時間軸方向の映像は、各カメラの下端に時系列で示した。また、Ｆｘｙ映像は、ｘ番目のカメラにｙ番目の時間単位に入力された映像を表す。例えば、Ｆ００，Ｆ１０，Ｆ２０，Ｆ３０，Ｆ４０，Ｆ５０，Ｆ６０，Ｆ７０は、多視点カメラ１７１０を構成する各カメラに最初に入力される映像を表す。また、Ｆ００，Ｆ０１，Ｆ０２，Ｆ０３，Ｆ０４，Ｆ０５，Ｆ０６，Ｆ０７，Ｆ０８は、時間軸方向に一番目のカメラに時系列で入力される映像を表す。
【００５４】
本発明は、２次元映像群を空間軸及び時間軸方向にＭＣＴＦを行うことによって、空間軸上の部分映像群の復号化及び時間軸上の部分映像群の復号化を可能にする。従来のように時間軸上にのみＭＣＴＦまたは階層的Ｂピクチャーを利用してフィルタリングを行うことと異なり、本発明は、Ｍ個のカメラから同一時間に入力される多視点映像に対してＭＣＴＦまたは階層的Ｂピクチャーを利用したフィルタリングを行って、一つの空間的低周波数映像と（Ｍ−１）個の空間的高周波数映像とを生成する空間的フィルタリング過程と、空間的フィルタリングを通じて生成されたＭ個の空間的低周波数映像を再び時間軸方向にＭＣＴＦまたは階層的Ｂピクチャーを利用したフィルタリングを行って、一つの時間的低周波数映像と（Ｎ−１）個の時間的高周波数映像とを生成する時間的フィルタリング過程とに分けられる。
【００５５】
図１８は、本発明による多視点映像の空間的フィルタリング過程を説明するための図面である。前述したように、空間的映像フィルタリング部１５１０で行われる多視点映像の空間的フィルタリングは、図１７に示した２次元映像群１７２０のうち、同一時間に入力される空間軸上の多視点映像を低周波数映像と高周波数映像とに分解することをいう。空間的フィルタリングには、前述したＭＣＴＦまたは階層的Ｂピクチャー構造が利用されうる。空間的フィルタリングは、複数のＭ個のカメラから入力されるＭ個の映像のみを利用する閉ループ構造である。図１８において、Ｌ０  １８１０は、各カメラから同じ時間に入力された原映像を表す。すなわち、Ｌ０は、図１７に示した２次元映像群１７２０のうち同じｉ番目の時間に入力されたＦ０ｉ，Ｆ１ｉ，Ｆ２ｉ，Ｆ３ｉ，Ｆ４ｉ，Ｆ５ｉ，Ｆ６ｉ，Ｆ７ｉを表す。例えば、ＬＯは、Ｆ０１，Ｆ１１，Ｆ２１，Ｆ３１，Ｆ４１，Ｆ５１，Ｆ６１，Ｆ７１となりうる。前述したＭＣＴＦで説明したように、Ｈ１は、偶数番目のカメラのＬ０映像から両側のカメラのＬ０映像に１／２をかけた映像を差し引くことによって得られる（予測過程）。Ｌ１は、奇数番目のカメラの映像と両側のＨ１映像に１／４をかけた映像とを合わせることによって得られる（アップデート過程）。かかる過程を通じて８個のカメラから同一時間に入力された多視点映像は、一つの低周波数映像Ｌ３と７個の高周波数映像Ｈ１，Ｈ２，Ｈ１，Ｈ３，Ｈ１，Ｈ２，Ｈ１とに分解される。空間的フィルタリングの実行結果により生成された低周波数映像及び高周波数映像は、所定の順序にスケーラブル符号化される。
【００５６】
図１９は、本発明による多視点映像のスケーラブル符号化時に利用される空間的フィルタリングと時間的フィルタリングとの関係を説明するための図面である。前述したように、空間的映像フィルタリング部１５１０は、各カメラから同一時間に入力された空間軸上の映像に対して、空間軸方向にＭＣＴＦまたは階層的Ｂピクチャーを利用した空間的フィルタリングを行って、任意のｉ番目の時間単位に入力された映像を一つの空間的低周波数映像と複数の空間的高周波数映像とに分解する。各カメラから入力される最初の映像１９３０のうち、Ｌ０映像１９３１は、イントラ符号化され、空間軸上の残り映像Ｈ０１，Ｈ０２，Ｈ０３，Ｈ０４，Ｈ０５，Ｈ０６，Ｈ０７に対しては空間的フィルタリングが行われる。一番目の映像群以後のｉ番目の時間単位に入力される８個の映像は、空間的フィルタリングされて一つの空間的低周波数映像と７個の空間的高周波数映像とに分解される。前記のような空間的フィルタリング過程は、２次元映像群内の同一時間に入力された映像に対して反復して行われる。その結果、２次元映像群内の映像は、Ｎ（＝８）個の低周波数映像｛Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６，Ｌ７，Ｌ８｝と、（Ｍ−１）×Ｎ個の｛Ｈ１１，Ｈ１２，Ｈ１３，Ｈ１４，Ｈ１５，Ｈ１６，Ｈ１７｝，｛Ｈ２１，Ｈ２２，Ｈ２３，Ｈ２４，Ｈ２５，Ｈ２６，Ｈ２７｝，｛Ｈ３１，Ｈ３２，Ｈ３３，Ｈ３４，Ｈ３５，Ｈ３６，Ｈ３７｝，｛Ｈ４１，Ｈ４２，Ｈ４３，Ｈ４４，Ｈ４５，Ｈ４６，Ｈ４７｝，｛Ｈ５１，Ｈ５２，Ｈ５３，Ｈ５４，Ｈ５５，Ｈ５６，Ｈ５７｝，｛Ｈ６１，Ｈ６２，Ｈ６３，Ｈ６４，Ｈ６５，Ｈ６６，Ｈ６７｝，｛Ｈ７１，Ｈ７２，Ｈ７３，Ｈ７４，Ｈ７５，Ｈ７６，Ｈ７７｝，｛Ｈ８１，Ｈ８２，Ｈ８３，Ｈ８４，Ｈ８５，Ｈ８６，Ｈ８７｝高周波数映像とに分解される。すなわち、ｉ（ｉ＝１，２，…，８）番目の各カメラに入力された８個の空間軸方向の映像は、一つの空間的低周波数映像及び７個の高周波数映像に分解されて｛Ｌｉ，Ｈｉ１，Ｈｉ２，Ｈｉ３，Ｈｉ４，Ｈｉ５，Ｈｉ６，Ｈｉ７｝が生成される。
【００５７】
次いで、時間的映像フィルタリング部１５２０は、時間軸上のＮ（＝８）個の空間的低周波数映像１９１１に対して、ＭＣＴＦまたは階層的Ｂピクチャーを利用した時間的フィルタリングを行って、時間的低周波数映像ＬＴと時間的高周波数映像｛ＨＴ１，ＨＴ２，ＨＴ３，ＨＴ４，ＨＴ５，ＨＴ６，ＨＴ７｝１９２０とを生成する。また、時間軸で生成された低周波数映像ＬＴは、次の２次元映像群の時間的フィルタリングを行うときに予測過程に利用される。
【００５８】
図２０は、本発明による空間的フィルタリング結果により生成された空間的低周波数映像に対して時間的フィルタリングを行う過程を説明するための図面である。図２０では、８個のカメラから所定の８個の時間単位の間に入力された２次元映像群に対して時間的フィルタリングを行う場合を示している。図２０において、一番目のＬ０映像１９１２は、以前の２次元映像群で時間的フィルタリングを行った結果により生成された最後の低周波数映像であって、予測過程で参照される。
【００５９】
多視点映像列の始めで、各カメラの一番目の映像群１９１１は、２次元映像群に含まれず、その次の映像から２次元映像群に含まれる。すなわち、各カメラの一番目の映像のうち、一番目のカメラの映像は、イントラコーディングされ、残りの映像は、空間的フィルタリングを経て符号化される。２次元映像群内で時間的フィルタリングを行う過程は、空間的フィルタリングの実行結果により生成された空間的低周波数映像を利用するという点を除いては、前述したＭＣＴＦ過程と同一である。時間的フィルタリング結果により生成された時間的低周波数映像及び時間的高周波数映像は、所定の順序にスケーラブル符号化される。
【００６０】
図２１は、本発明による多視点映像のスケーラブル符号化過程を説明するための図面である。図２１を参照して、８×８サイズの２次元映像群に対する空間的フィルタリング及び時間的フィルタリングを行った後にフィルタリングされた映像をスケーラブル符号化する過程を説明すれば、次の通りである。
【００６１】
まず、８個のカメラＳ０ないしＳ７から入力された一番目の映像のうち、Ｌ０Ｉ０映像は、イントラ符号化され、残りのＭ−１個の空間軸方向の入力映像は、空間軸上でＭＣＴＦまたは階層的Ｂピクチャーを利用して空間的フィルタリングされた後、符号化過程を経てＨ０Ｓ３，Ｈ０Ｓ２１，Ｈ０Ｓ２２，Ｈ０Ｓ１１，Ｈ０Ｓ１２，Ｈ０Ｓ１３，Ｈ０Ｓ１４の順序にビットストリームが生成される。
【００６２】
Ｍ個のカメラから入力された一番目の映像群に対する符号化が完了した後、次のように２次元映像群単位でＭ×Ｎ個の映像が順次に処理される（本例では、Ｍ＝８，Ｎ＝８である場合を中心に説明する）。
【００６３】
Ｍ個のカメラから入力された映像群が時間軸上にＮ（＝８）個がそれぞれ入力される度に空間軸方向に空間的フィルタリングを行って、各ｉｔｈ時間軸上にＬｉＴ０，ＨｉＳ１１，ＨｉＳ２１，ＨｉＳ１２，ＨｉＳ３，Ｈｉｓ１３，ＨｉＳ２２，ＨｉＳ１４で構成された一つの空間的低周波数映像とＭ（＝８）−１個の空間的高周波数映像群とが生成される。
【００６４】
空間的フィルタリング結果により生成されたＮ（＝８）個の空間的低周波数映像｛Ｌ１Ｔ０，Ｌ２Ｔ０，…，Ｌ８Ｔ０｝に対して時間軸方向に時間的フィルタリングを行って、｛Ｈ１Ｔ１１，Ｈ２Ｔ２１，Ｈ３Ｔ１２，Ｈ４Ｔ３，Ｈ５Ｔ１３，Ｈ６Ｔ２２，Ｈ７Ｔ１４，Ｌ８Ｔ０｝で構成された一つの時間的低周波数映像Ｌ８Ｔ０と残りのＮ（＝８）−１個の時間的高周波数映像群とが生成される。
【００６５】
前記のようにＭ×Ｎサイズの２次元映像群に対してＭＣＴＦを利用した空間的フィルタリング及び時間的フィルタリングが行われれば、２次元映像群に含まれたＭ×Ｎ個の映像は、一つの低周波数映像と残りのＭ×Ｎ−１個の高周波数映像とに変換される。次いで、基準となる時間軸の映像を時間的解像度によってスケーラブル符号化し、残りの対応する空間軸の映像を符号化する。すなわち、Ｍ×Ｎサイズの２次元映像群を復号化部へ伝送するために、時間的映像スケーラブル符号化部１５３０は、２次元映像群に割り当てられた伝送ビット率に適してビットレート制御部１５５０の制御によって、前記時間的低周波数映像及び高周波数映像に対して時間的スケーラブル符号化を行う。時間的スケーラブル符号化方法は、従来のＨ．２６４などの符号化方法と同一に行われる。すなわち、空間的−時間的フィルタリング結果により生成された一つの映像は、イントラブロックまたはインターブロックに区分され、イントラブロックは、テクスチャコーディングを利用して符号化され、インターブロックは、モーションベクトル及びレジデュアル信号に対する符号化が行われる。ビットレート制御部１５５０は、複数のカメラの映像を全部符号化したとき、伝送可能なビット率を制御する。例えば、目標のビットレートが５１２ｋｂｐｓであり、８個のカメラ入力映像が総１０００フレームである場合、１０００フレームの全体を符号化した結果、平均の伝送ビット率が５１２ｋｂｐｓとならねばならない。したがって、前記ビットレート制御部１５５０は、２次元映像群または符号化される映像ごとに特定サイズのビットを割り当てることによって、あらゆる映像を符号化したときの平均ビット率を目標ビット率に合わせる。前記ビットレート制御部１５５０は、広く知られたように多様な方法で具現可能である。
【００６６】
次いで、空間的映像スケーラブル符号化部１５４０は、時間的高周波数映像｛Ｈ１Ｔ１１，Ｈ２Ｔ２１，Ｈ３Ｔ１２，Ｈ４Ｔ３，Ｈ５Ｔ１３，Ｈ６Ｔ２２，Ｈ７Ｔ１４，Ｌ８Ｔ０｝に割り当てられたビットと要求される空間的解像度とを考慮して、各時間軸ｉで導出された空間的高周波数映像群｛ＨｉＳ１１，ＨｉＳ２１，ＨｉＳ１２，ＨｉＳ３，Ｈｉｓ１３，ＨｉＳ２２，ＨｉＳ１４｝に対して空間的スケーラブル符号化を行う。
【００６７】
時間的スケーラブル符号化結果により生成された時間的低周波数映像及び時間的高周波数映像に対応するビットストリームは、｛Ｌ８Ｔ０，Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２，Ｈ１Ｔ１１，Ｈ３Ｔ１２，Ｈ５Ｔ１３，Ｈ７Ｔ１４｝順序に生成され、復号化部に前記順序に伝送される。伝送順序は、ＭＣＴＦの実行時に最後に生成される基本階層からその上位の向上階層の順序に対応する。
【００６８】
前記時間的低周波数及び高周波数映像の順序と同一に、空間軸上の映像に対するビットストリームが復号化端へ伝送される。すなわち、時間軸上でＬ８Ｔ０のビットストリームが最初に伝送されたので、８番目の空間軸上の映像に対するビットストリームである｛Ｈ８Ｓ３，Ｈ８Ｓ２１，Ｈ８Ｓ２２，Ｈ８Ｓ１１，Ｈ８Ｓ１２，Ｈ８Ｓ１３，Ｈ８Ｓ１４｝が伝送され、次の時間軸上でＨ４Ｔ３のビットストリームが伝送されたので、｛Ｈ４Ｓ３，Ｈ４Ｓ２１，Ｈ４Ｓ２２，Ｈ４Ｓ１１，Ｈ４Ｓ１２，Ｈ４Ｓ１３，Ｈ４Ｓ１４｝のビットストリームが伝送される。これは、今後、復号化端で時間軸上の部分復号化と空間軸上の部分復号化とを可能にすることである。すなわち、｛（Ｈ８Ｓ３，Ｈ８Ｓ２１，Ｈ８Ｓ２２，Ｈ８Ｓ１１，Ｈ８Ｓ１２，Ｈ８Ｓ１３，Ｈ８Ｓ１４），（Ｈ４Ｓ３，Ｈ４Ｓ２１，Ｈ４Ｓ２２，Ｈ４Ｓ１１，Ｈ４Ｓ１２，Ｈ４Ｓ１３，Ｈ４Ｓ１４），（Ｈ２Ｓ３，Ｈ２Ｓ２１，Ｈ２Ｓ２２，Ｈ２Ｓ１１，Ｈ２Ｓ１２，Ｈ２Ｓ１３，Ｈ２Ｓ１４），（Ｈ６Ｓ３，Ｈ６Ｓ２１，Ｈ６Ｓ２２，Ｈ６Ｓ１１，Ｈ６Ｓ１２，Ｈ６Ｓ１３，Ｈ６Ｓ１４），（Ｈ１Ｓ３，Ｈ１Ｓ２１，Ｈ１Ｓ２２，Ｈ１Ｓ１１，Ｈ１Ｓ１２，Ｈ１Ｓ１３，Ｈ１Ｓ１４），（Ｈ３Ｓ３，Ｈ３Ｓ２１，Ｈ３Ｓ２２，Ｈ３Ｓ１１，Ｈ３Ｓ１２，Ｈ３Ｓ１３，Ｈ３Ｓ１４），（Ｈ５Ｓ３，Ｈ５Ｓ２１，Ｈ５Ｓ２２，Ｈ５Ｓ１１，Ｈ５Ｓ１２，Ｈ５Ｓ１３，Ｈ５Ｓ１４），（Ｈ７Ｓ３，Ｈ７Ｓ２１，Ｈ７Ｓ２２，Ｈ７Ｓ１１，Ｈ７Ｓ１２，Ｈ７Ｓ１３，Ｈ７Ｓ１４）｝の順序に空間軸上の残りの空間的高周波数映像群に対するビットストリームが復号化端へ伝送される。前記過程は、２次元映像群単位で映像シーケンスが終わるまで反復する。
【００６９】
前述した本発明による多視点映像のスケーラブル符号化過程で生成されたビットストリームは、空間的解像度及び時間的解像度によって次のように構成されうる。まず、時間軸上の時間的解像度によるビットストリーム構成の一例を説明する。
【００７０】
再び図２１に示すように、時間的フル解像度を有するビットストリームは、｛Ｌ８Ｔ０，Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２，Ｈ１Ｔ１１，Ｈ３Ｔ１２，Ｈ５Ｔ１３，Ｈ７Ｔ１４｝，｛（Ｈ８Ｓ３，Ｈ８Ｓ２１，Ｈ８Ｓ２２，Ｈ８Ｓ１１，Ｈ８Ｓ１２，Ｈ８Ｓ１３，Ｈ８Ｓ１４），（Ｈ４Ｓ３，Ｈ４Ｓ２１，Ｈ４Ｓ２２，Ｈ４Ｓ１１，Ｈ４Ｓ１２，Ｈ４Ｓ１３，Ｈ４Ｓ１４），（Ｈ２Ｓ３，Ｈ２Ｓ２１，Ｈ２Ｓ２２，Ｈ２Ｓ１１，Ｈ２Ｓ１２，Ｈ２Ｓ１３，Ｈ２Ｓ１４），（Ｈ６Ｓ３，Ｈ６Ｓ２１，Ｈ６Ｓ２２，Ｈ６Ｓ１１，Ｈ６Ｓ１２，Ｈ６Ｓ１３，Ｈ６Ｓ１４），（Ｈ１Ｓ３，Ｈ１Ｓ２１，Ｈ１Ｓ２２，Ｈ１Ｓ１１，Ｈ１Ｓ１２，Ｈ１Ｓ１３，Ｈ１Ｓ１４），（Ｈ３Ｓ３，Ｈ３Ｓ２１，Ｈ３Ｓ２２，Ｈ３Ｓ１１，Ｈ３Ｓ１２，Ｈ３Ｓ１３，Ｈ３Ｓ１４），（Ｈ５Ｓ３，Ｈ５Ｓ２１，Ｈ５Ｓ２２，Ｈ５Ｓ１１，Ｈ５Ｓ１２，Ｈ５Ｓ１３，Ｈ５Ｓ１４），（Ｈ７Ｓ３，Ｈ７Ｓ２１，Ｈ７Ｓ２２，Ｈ７Ｓ１１，Ｈ７Ｓ１２，Ｈ７Ｓ１３，Ｈ７Ｓ１４）｝の２次元映像群内の全体の映像情報を含む。
【００７１】
時間的１／２解像度を有するビットストリームは、｛Ｌ８Ｔ０，Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２｝，｛（Ｈ８Ｓ３，Ｈ８Ｓ２１，Ｈ８Ｓ２２，Ｈ８Ｓ１１，Ｈ８Ｓ１２，Ｈ８Ｓ１３，Ｈ８Ｓ１４），（Ｈ４Ｓ３，Ｈ４Ｓ２１，Ｈ４Ｓ２２，Ｈ４Ｓ１１，Ｈ４Ｓ１２，Ｈ４Ｓ１３，Ｈ４Ｓ１４），（Ｈ２Ｓ３，Ｈ２Ｓ２１，Ｈ２Ｓ２２，Ｈ２Ｓ１１，Ｈ２Ｓ１２，Ｈ２Ｓ１３，Ｈ２Ｓ１４），（Ｈ６Ｓ３，Ｈ６Ｓ２１，Ｈ６Ｓ２２，Ｈ６Ｓ１１，Ｈ６Ｓ１２，Ｈ６Ｓ１３，Ｈ６Ｓ１４）｝の映像情報を含む。すなわち、時間的フィルタリング結果により生成された｛Ｌ８Ｔ０，Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２，Ｈ１Ｔ１１，Ｈ３Ｔ１２，Ｈ５Ｔ１３，Ｈ７Ｔ１４｝のうち時間軸方向に４個の映像のみが符号化され、前記時間軸方向に対応する空間的高周波数映像が時間的１／２解像度を有するビットストリームに含まれる。
【００７２】
時間的１／４解像度を有するビットストリームは、｛Ｌ８Ｔ０，Ｈ４Ｔ３｝，｛（Ｈ８Ｓ３，Ｈ８Ｓ２１，Ｈ８Ｓ２２，Ｈ８Ｓ１１，Ｈ８Ｓ１２，Ｈ８Ｓ１３，Ｈ８Ｓ１４），（Ｈ４Ｓ３，Ｈ４Ｓ２１，Ｈ４Ｓ２２，Ｈ４Ｓ１１，Ｈ４Ｓ１２，Ｈ４Ｓ１３，Ｈ４Ｓ１４）｝の映像情報を含む。すなわち、時間的フィルタリング結果により生成された｛Ｌ８Ｔ０，Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２，Ｈ１Ｔ１１，Ｈ３Ｔ１２，Ｈ５Ｔ１３，Ｈ７Ｔ１４｝のうち時間軸方向に二つの映像のみが符号化され、前記時間軸方向に対応する空間的高周波数映像が時間的１／４解像度を有するビットストリームに含まれる。
【００７３】
時間的１／８解像度を有するビットストリームは、｛Ｌ８Ｔ０｝，｛（Ｈ８Ｓ３，Ｈ８Ｓ２１，Ｈ８Ｓ２２，Ｈ８Ｓ１１，Ｈ８Ｓ１２，Ｈ８Ｓ１３，Ｈ８Ｓ１４）｝の映像情報を含む。
【００７４】
次いで、空間的解像度によるビットストリーム構成の一例を説明する。本発明において、空間的解像度は、複数のカメラのうちユーザに提供する視点解像度を意味する。
【００７５】
図２１に示すように、空間的フル解像度を有するビットストリームは、前述した時間的フル解像度を有するビットストリームと同一に｛Ｌ８Ｔ０，Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２，Ｈ１Ｔ１１，Ｈ３Ｔ１２，Ｈ５Ｔ１３，Ｈ７Ｔ１４｝，｛（Ｈ８Ｓ３，Ｈ８Ｓ２１，Ｈ８Ｓ２２，Ｈ８Ｓ１１，Ｈ８Ｓ１２，Ｈ８Ｓ１３，Ｈ８Ｓ１４），（Ｈ４Ｓ３，Ｈ４Ｓ２１，Ｈ４Ｓ２２，Ｈ４Ｓ１１，Ｈ４Ｓ１２，Ｈ４Ｓ１３，Ｈ４Ｓ１４），（Ｈ２Ｓ３，Ｈ２Ｓ２１，Ｈ２Ｓ２２，Ｈ２Ｓ１１，Ｈ２Ｓ１２，Ｈ２Ｓ１３，Ｈ２Ｓ１４），（Ｈ６Ｓ３，Ｈ６Ｓ２１，Ｈ６Ｓ２２，Ｈ６Ｓ１１，Ｈ６Ｓ１２，Ｈ６Ｓ１３，Ｈ６Ｓ１４），（Ｈ１Ｓ３，Ｈ１Ｓ２１，Ｈ１Ｓ２２，Ｈ１Ｓ１１，Ｈ１Ｓ１２，Ｈ１Ｓ１３，Ｈ１Ｓ１４），（Ｈ３Ｓ３，Ｈ３Ｓ２１，Ｈ３Ｓ２２，Ｈ３Ｓ１１，Ｈ３Ｓ１２，Ｈ３Ｓ１３，Ｈ３Ｓ１４），（Ｈ５Ｓ３，Ｈ５Ｓ２１，Ｈ５Ｓ２２，Ｈ５Ｓ１１，Ｈ５Ｓ１２，Ｈ５Ｓ１３，Ｈ５Ｓ１４），（Ｈ７Ｓ３，Ｈ７Ｓ２１，Ｈ７Ｓ２２，Ｈ７Ｓ１１，Ｈ７Ｓ１２，Ｈ７Ｓ１３，Ｈ７Ｓ１４）｝の映像情報を含む。
【００７６】
空間的１／２解像度を有するビットストリーム、すなわち８個のカメラのうち選択された４個のカメラの映像情報を含むビットストリームは、｛Ｌ８Ｔ０，Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２，Ｈ１Ｔ１１，Ｈ３Ｔ１２，Ｈ５Ｔ１３，Ｈ７Ｔ１４｝，｛（Ｈ８Ｓ３，Ｈ８Ｓ２１，Ｈ８Ｓ２２），（Ｈ４Ｓ３，Ｈ４Ｓ２１，Ｈ４Ｓ２２），（Ｈ２Ｓ３，Ｈ２Ｓ２１，Ｈ２Ｓ２２），（Ｈ６Ｓ３，Ｈ６Ｓ２１，Ｈ６Ｓ２２），（Ｈ１Ｓ３，Ｈ１Ｓ２１，Ｈ１Ｓ２２），（Ｈ３Ｓ３，Ｈ３Ｓ２１，Ｈ３Ｓ２２），（Ｈ５Ｓ３，Ｈ５Ｓ２１，Ｈ５Ｓ２２），（Ｈ７Ｓ３，Ｈ７Ｓ２１，Ｈ７Ｓ２２）｝の映像情報を含む。前記例は、図２１に示した８個のカメラＳ０ないしＳ７の入力映像のうち奇数番目のカメラ、すなわちＳ０，Ｓ２，Ｓ４，Ｓ６の四つのカメラから入力された映像情報を含む場合である。
【００７７】
空間的１／４解像度を有するビットストリーム、すなわち８個のカメラのうち選択された二つのカメラの映像情報を含むビットストリームは、一例として｛Ｌ８Ｔ０，Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２，Ｈ１Ｔ１１，Ｈ３Ｔ１２，Ｈ５Ｔ１３，Ｈ７Ｔ１４｝，｛（Ｈ８Ｓ３），（Ｈ４Ｓ３），（Ｈ２Ｓ３），（Ｈ６Ｓ３），（Ｈ１Ｓ３），（Ｈ３Ｓ３），（Ｈ５Ｓ３），（Ｈ７Ｓ３）｝の映像情報を含む。また、空間的１／８解像度を有するビットストリーム、すなわち８個のカメラのうち選択された一つのカメラの映像情報のみを含むビットストリームは、一例としてフィルタリングされた映像のうち｛Ｌ８Ｔ０，Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２，Ｈ１Ｔ１１，Ｈ３Ｔ１２，Ｈ５Ｔ１３，Ｈ７Ｔ１４｝の映像情報のみを含む。
【００７８】
図２２ないし図２５は、本発明による多視点映像のスケーラブル符号化過程で生成されたビットストリームを示す図面である。
【００７９】
図２２は、本発明による多視点映像のスケーラブル符号化過程で、２次元映像群の全体の映像情報を含むフルビットストリームを示す図面である。図２１及び図２２に示すように、｛Ｌ０Ｉ０，Ｈ０Ｓ３，Ｈ０Ｓ２１，Ｈ０Ｓ２２，Ｈ０Ｓ１１，Ｈ０Ｓ１２，Ｈ０Ｓ１３，Ｈ０Ｓ１４｝２２００，２２１０に該当するビットストリームは、８個のカメラから入力された一番目の空間軸方向の映像群である。前記一番目の空間軸方向の映像群の次には、時間的フィルタリング結果により生成された時間的低周波数映像及び高周波数映像である｛Ｌ８Ｔ０，Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２，Ｈ１Ｔ１１，Ｈ３Ｔ１２，Ｈ５Ｔ１３，Ｈ７Ｔ１４｝に該当するビットストリーム２２１５が挿入される。次いで、前記時間的低周波数映像及び高周波数映像の順序によって対応する空間的高周波数映像のビットストリーム２２２０，２２２５，２２３０，２２３５，２２４０，２２４５，２２５０，２２５５が挿入される。すなわち、時間的低周波数映像Ｌ４Ｓ０，Ｌ２Ｓ０，Ｌ６Ｓ０，Ｌ１Ｓ０，Ｌ３Ｓ０，Ｌ５Ｔ０，Ｌ７Ｔ０に対応する符号化された空間的高周波数映像がビットストリームに順次に挿入される。
【００８０】
図２３は、本発明による多視点映像のスケーラブル符号化過程で、空間軸方向に部分符号化されたビットストリームを示す図面である。図２３では、前記図２１のＳ０，Ｓ１，Ｓ２，Ｓ４，Ｓ６カメラから入力される映像のみを処理する場合を示した。図２１及び図２３に示すように、Ｓ０，Ｓ１，Ｓ２，Ｓ４，Ｓ６カメラから入力される映像のみを符号化して空間的１／２解像度を有するビットストリームを構成する場合、時間的低周波数映像及び高周波数映像である｛Ｌ８Ｔ０，Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２，Ｈ１Ｔ１１，Ｈ３Ｔ１２，Ｈ５Ｔ１３，Ｈ７Ｔ１４｝に該当するビットストリーム２３１５の全体がそのままビットストリームに挿入されるが、空間的高周波数映像は、いずれもビットストリームに挿入されず、前記Ｓ０，Ｓ１，Ｓ２，Ｓ４，Ｓ６カメラに入力された映像に対応する空間的高周波数映像のビットストリーム２３２０，２３２５，２３３０，２３３５，２３４０，２３４５，２３５０，２３５５のみが挿入される。かかる部分ビットストリームは、前記空間的映像スケーラブル符号化部１５４０で要求される空間的解像度によって生成されることもあり、復号化端でフルビットストリームから抽出して再構成することによって生成されることもある。
【００８１】
図２４は、本発明による多視点映像のスケーラブル符号化過程で、時間軸方向に部分符号化されたビットストリームを示す図面である。図２４では、フル時間的解像度から１／２時間的解像度に縮少して部分符号化されたビットストリームを生成した場合を示した。図２１及び図２４に示すように、時間的フィルタリング結果により生成された時間的低周波数映像及び高周波数映像に該当する｛Ｌ８Ｔ０，Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２，Ｈ１Ｔ１１，Ｈ３Ｔ１２，Ｈ５Ｔ１３，Ｈ７Ｔ１４｝のうち、｛Ｌ８Ｔ０，Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２｝２４１５に該当する時間的低周波数映像及び高周波数映像のビットストリームのみが挿入される。また、時間的低周波数映像及び高周波数映像に対応する空間的高周波数映像のビットストリーム２４２０，２４２５，２４３０，２４３５が挿入される。
【００８２】
図２５は、本発明による多視点映像のスケーラブル符号化過程で、時間軸及び空間軸方向に部分符号化されたビットストリームを示す図面である。図２５では、１／２時間的解像度及びＳ０，Ｓ１，Ｓ２，Ｓ４，Ｓ６カメラの入力映像のみを処理する場合の部分符号化されたビットストリームを示した。
【００８３】
このように、本発明による多視点映像のスケーラブル符号化方法では、時間軸及び空間軸に対する空間的−時間的解像度のスケーラビリティが可能である。解像度の範囲は、Ｍ×Ｎ（Ｍ＝２ｍ，Ｎ＝２ｎ）で構成される２次元映像群のサイズに反比例する。すなわち、本発明によれば、空間的解像度は１／Ｍ、時間的解像度は１／Ｎまで提供されうる。
【００８４】
以下、本発明による多視点映像のスケーラブル復号化方法及び装置について説明する。
【００８５】
図２６は、本発明による多視点映像のスケーラブル復号化装置の構成を示す図面であり、図２７は、本発明による多視点映像のスケーラブル復号化方法を示すフローチャートである。
【００８６】
図２６に示すように、本発明による多視点映像のスケーラブル復号化装置は、時間的映像復号化部２６１０、時間的逆フィルタリング部２６２０、空間的映像復号化部２６３０及び空間的逆フィルタリング部２６４０を備える。
時間的映像復号化部２６１０は、前述した多視点映像のスケーラブル符号化方法によって符号化されたビットストリームを受信する（ステップ２７１０）。次いで、時間的映像復号化部２６１０は、受信されたビットストリームを復号化して、前記ビットストリームに備えられた時間的低周波数映像及び高周波数映像を生成する（ステップ２７２０）。復号化過程には、一般的な映像復号化と同様にＩＤＣＴ（Ｉｎｖｅｒｓｅ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）、テクスチャ情報及びモーション情報が生成される。
【００８７】
時間的逆フィルタリング部２６２０は、復号化された時間的低周波数映像及び時間的高周波数映像に対して、ＭＣＴＦまたは階層的Ｂピクチャーを利用した逆フィルタリング、すなわち合成過程を行って空間軸上の対応する空間的低周波数映像を復元する（ステップ２７３０）。
【００８８】
空間的映像復号化部２６３０は、要求される時空間的解像度によってビットストリームに備えられた空間的高周波数映像を復号化する（ステップ２７４０）。
【００８９】
空間的逆フィルタリング部２６４０は、前記時間的逆フィルタリング部２６２０で復元された空間的低周波数映像及び空間的映像復号化部２６３０で復号化された空間的高周波数映像に対して、ＭＣＴＦまたは階層的Ｂピクチャーを利用した逆フィルタリングを行って空間軸上の映像を復元する（ステップ２７５０）。
【００９０】
図２８は、本発明による多視点映像のスケーラブル復号化過程で逆フィルタリング過程を説明するための図面である。前述したように、前記図２６の時間的逆フィルタリング部２６２０及び空間的逆フィルタリング部２６４０は、それぞれビットストリームに備えられた時間的フィルタリングされた映像及び空間的フィルタリングされた映像を逆フィルタリングする過程を行う。前記逆フィルタリング過程は、基本階層である低周波数映像Ｌ３を生成した後、第１向上階層の高周波数映像Ｈ３と低周波数映像Ｌ３とを利用して次の階層の低周波数映像Ｌ２を生成する。また、第２向上階層の高周波数映像Ｈ２と生成された低周波数映像Ｌ２とを利用して次の階層の低周波数映像Ｌ１を生成し、第３向上階層の高周波数映像Ｈ１と前記生成された低周波数映像Ｌ１とを利用してフィルタリングされる前の原映像Ｌ０を復元する。かかる逆フィルタリング過程を通じて、前記時間的逆フィルタリング部２６２０及び空間的逆フィルタリング部２６４０は、ＭＣＴＦを通じて分解される以前の原映像を復元する。前記逆フィルタリング過程は、一般的な逆ＭＣＴＦ過程と同一であるので、詳細な説明は省略する。
【００９１】
以下、前記図２２ないし図２５に示した本発明による多視点映像のスケーラブル符号化方法により生成されたビットストリームを復号化する過程を説明する。
【００９２】
再び図２１及び図２２に示すように、｛Ｌ０Ｉ０，Ｈ０Ｓ３，Ｈ０Ｓ２１，Ｈ０Ｓ２２，Ｈ０Ｓ１１，Ｈ０Ｓ１２，Ｈ０Ｓ１３，Ｈ０Ｓ１４｝２２００，２２１０に該当するビットストリームは、８個のカメラから入力された一番目の空間軸方向の映像群である。空間軸上の復号化を行って、｛Ｌ０Ｉ０，Ｈ０Ｓ３，Ｈ０Ｓ２１，Ｈ０Ｓ２２，Ｈ０Ｓ１１，Ｈ０Ｓ１２，Ｈ０Ｓ１３，Ｈ０Ｓ１４｝２２００，２２１０に該当するビットストリームを低周波数映像Ｌ０Ｉ０及び高周波数映像Ｈ０Ｓ３，Ｈ０Ｓ２１，Ｈ０Ｓ２２，Ｈ０Ｓ１１，Ｈ０Ｓ１２，Ｈ０Ｓ１３，Ｈ０Ｓ１４に復号した後、ＭＣＴＦ合成過程を通じて空間軸方向の一番目のフレーム映像に該当する８個の映像が復元される。一番目の空間的映像群に該当するビットストリームの復号化が完了した後、２次元映像群単位の映像復号化過程が行われる。まず、｛Ｌ８Ｔ０，Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２，Ｈ１Ｔ１１，Ｈ３Ｔ１２，Ｈ５Ｔ１３，Ｈ７Ｔ１４｝２２１５に該当するビットストリームに対して時間軸上の復号化を行って、低周波数映像Ｌ８Ｔ０及び高周波数映像Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２，Ｈ１Ｔ１１，Ｈ３Ｔ１２，Ｈ５Ｔ１３，Ｈ７Ｔ１４を生成する。次いで、ＭＣＴＦ合成を行って、８×８  ２次元映像群の時間軸上に該当する８個の映像である｛Ｌ８Ｔ０，Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２，Ｈ１Ｔ１１，Ｈ３Ｔ１２，Ｈ５Ｔ１３，Ｈ７Ｔ１４｝が復元される。復元された高周波数映像Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２，Ｈ１Ｔ１１，Ｈ３Ｔ１２，Ｈ５Ｔ１３，Ｈ７Ｔ１４は、空間軸上でのｉ番目ＨｉＴの映像群の低周波数映像に該当する。すなわち、前記高周波数映像Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２，Ｈ１Ｔ１１，Ｈ３Ｔ１２，Ｈ５Ｔ１３，Ｈ７Ｔ１４は、低周波数映像Ｌ４Ｓ０，Ｌ２Ｓ０，Ｌ６Ｓ０，Ｌ１Ｓ０，Ｌ３Ｓ０，Ｌ５Ｔ０，Ｌ７Ｔ０に対応する。また、時間軸上の低周波数映像Ｌ８Ｔ０及び前記復元された高周波数映像を利用して、空間的高周波数映像群に対する復号化が行われる。空間軸上のｉ番目の高周波数映像群のビットストリームは、次の過程を反復して復号化される。
【００９３】
Ａｒｒａｙ［８］＝｛８，４，２，６，１，３，５，７｝
Ｆｏｒ（ｉｎｄｅｘ＝０；Ｉ＜８；ｉｎｄｅｘ＋＋）｛
ｉ＝＝Ａｒｒａｙ［ｉｎｄｅｘ］；
｛ＨｉＳ３，ＨｉＳ２１，ＨｉＳ２２，ＨｉＳ１１，ＨｉＳ１２，ＨｉＳ１３，ＨｉＳ１４｝に該当するビットストリームを復号化し、該低周波数映像ＬｉＳ０とＭＣＴＦ合成を行って空間軸上のｉ番目の映像群を復元｝
【００９４】
前述した過程は、２次元映像群単位で映像シーケンスが終わるまで反復する。
【００９５】
再び図２１及び図２３に示すように、２次元映像群内で空間的部分復号化を使用して空間軸上のＳ０／Ｓ１／Ｓ２／Ｓ４／Ｓ６カメラに入力された映像情報を含むビットストリームを復号化する場合、前記Ｓ０／Ｓ１／Ｓ２／Ｓ４／Ｓ６カメラに入力された一番目の空間軸方向の映像群である｛Ｌ０Ｉ０，Ｈ０Ｓ３，Ｈ０Ｓ２１，Ｈ０Ｓ２２，Ｈ０Ｓ１１｝２３００，２３１０に該当するビットストリームを低周波数映像Ｌ０Ｉ０及び高周波数映像Ｈ０Ｓ３，Ｈ０Ｓ２１，Ｈ０Ｓ２２，Ｈ０Ｓ１１に復号した後、ＭＣＴＦ合成過程を通じて空間軸方向の一番目のフレーム映像に該当する５個の映像が復元される。
【００９６】
一番目の空間的映像群に該当するビットストリームの復号化が完了した後、｛Ｌ８Ｔ０，Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２，Ｈ１Ｔ１１，Ｈ３Ｔ１２，Ｈ５Ｔ１３，Ｈ７Ｔ１４｝２３１５に該当するビットストリームに対して時間軸上の復号化を行って、時間軸方向の低周波数映像Ｌ８Ｔ０及び高周波数映像Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２，Ｈ１Ｔ１１，Ｈ３Ｔ１２，Ｈ５Ｔ１３，Ｈ７Ｔ１４を生成する。次いで、ＭＣＴＦ合成を行って８×８  ２次元映像群の時間軸上に該当する８個の映像である｛Ｌ８Ｔ０，Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２，Ｈ１Ｔ１１，Ｈ３Ｔ１２，Ｈ５Ｔ１３，Ｈ７Ｔ１４｝が復元される。空間的部分復号化を行うとき、時間軸方向の映像はいずれも復号化される必要があるので、符号化されたビットストリームには、時間軸方向にフィルタリングされた時間的低周波数映像及び高周波数映像がいずれも含まれる。次いで、前記Ｓ０／Ｓ１／Ｓ２／Ｓ４／Ｓ６カメラの入力映像は、空間的高周波数映像２３２０，２３２５，２３３０，２３３５，２３４０，２３４５，２３５０，２３５５を順次に復号化及びＭＣＴＦ合成して復元される。かかる過程を通じて、Ｓ０／Ｓ１／Ｓ２／Ｓ４／Ｓ６カメラの入力映像が復元される。
【００９７】
再び図２１及び図２４に示すように、２次元映像群内で時間軸上の時間領域に分布しているデータを、部分時間的復号化を使用してフル時間的解像度から１／２時間的解像度に縮少したビットストリームを復号化する場合、８×８  ２次元映像群の時間軸上に該当する８個の映像のうち選択された｛Ｌ８Ｔ０，Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２｝２４１５に該当するビットストリームが復号化及びＭＣＴＦ逆フィルタリング過程を通じて、時間軸方向の空間的低周波数映像｛Ｌ８Ｔ０，Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２｝が復元され、復元された空間的低周波数映像に対応する空間的高周波数映像の符号化されたビットストリーム２４２０，２４２５，２４３０，２４３５が順次に復号化及びＭＣＴＦ逆フィルタリング過程を通じて復元される。
【００９８】
再び図２１及び図２５に示すように、２次元映像群内で時間軸上の時間領域に分布しているデータを、部分時間的復号化を使用してフル時間的解像度から１／２時間的解像度に縮少し、空間軸上の空間的部分復号化を使用して空間領域に分布しているＳ０／Ｓ１／Ｓ２／Ｓ４／Ｓ６カメラの入力のみを処理する場合のビットストリームを復号化する場合、８×８  ２次元映像群の時間軸上に該当する８個の映像のうち選択された｛Ｌ８Ｔ０，Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２｝２５１５に該当するビットストリームが復号化及びＭＣＴＦ逆フィルタリング過程を通じて、時間軸方向の空間的低周波数映像である｛Ｌ８Ｔ０，Ｈ４Ｔ３，Ｈ２Ｔ２１，Ｈ６Ｔ２２｝が復元され、前記Ｓ０／Ｓ１／Ｓ２／Ｓ４／Ｓ６カメラの入力映像を空間的フィルタリングした空間的高周波数映像２５２０，２５２５，２５３０，２５３５が順次に復号化及びＭＣＴＦ合成過程を通じて復元される。
【００９９】
一方、本発明による多視点映像のスケーラブル符号化、復号化方法及び装置は、ＳＶＣコーデック構造のように、２次元映像群構造を基本階層とする階層的構造とＦＧＳ方式とを使用してスケーラブルの具現が可能である。本発明による多視点映像のスケーラブル符号化、復号化方法及び装置によれば、時間的スケーラビリティ、ビュー（カメラ）空間的スケーラビリティ、映像のサイズによる空間的スケーラビリティ及びＳＮＲスケーラビリティを提供できる。
【０１００】
図２９は、本発明による多視点映像のスケーラブル符号化方法を階層的に拡張する場合を説明するための図面である。
【０１０１】
前述した時間的スケーラビリティと選択されたカメラの入力映像を選択できる空間的スケーラビリティとは、前述した部分時間的復号化と部分空間的復号化とを利用して具現できる。映像のサイズによる空間的スケーラビリティは、従来のスケーラブルビデオコーディングで適用される階層的な方法をそのまま使用し、２次元デシメーションフィルタ、２次元アップサンプリングフィルタ及び２次元映像群の基本階層の空間的情報を利用して提供できる。このとき、提供可能な映像のサイズによる空間的スケーラビリティは、ＱＣＩＦ，ＣＩＦ，４ＣＩＦに拡張されうる。
【０１０２】
ＳＮＲスケーラビリティは、既存のＳＶＣで使用するブロック単位のＦＧＳ方式を利用したビットプレーンコーディング方法を利用して具現され、この場合、基本階層上にＦＧＳ強化ビットストリームを任意の点でカットして付着することによって、向上階層の映像を提供する。
【０１０３】
図３０は、本発明によってＱＣＩＦサイズを基盤とする２次元ＱＣＩＦコアからＣＩＦ及び４ＣＩＦまでの階層的な構造を有する全体のビットストリームの構成を示す図面である。本発明で提供される各スケーラビリティは、混合的に提供されうる。図３０に示すように、まず、ＱＣＩＦ基盤の多視点カメラの一番目のフレーム映像に該当するビットストリームが配置された後、２次元映像群のコアビットストリームに該当する時間的映像のビットストリーム及び２次元映像群内の空間的ＱＣＩＦのビットストリームが配置される。次いで、ＣＩＦ基盤の２次元映像群のビットストリーム、４ＣＩＦ基盤の２次元映像群のビットストリームに映像のサイズによるコアに該当するビットストリームが配置される。
【０１０４】
本発明は、また、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムにより読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがあり、またキャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。
【０１０５】
これまで、本発明について、その望ましい実施形態を中心に述べた。当業者は、本発明が、本発明の本質的な特性から逸脱しない範囲で、変形された形態に具現可能であるということを理解できるであろう。本発明の範囲は、前述した説明ではなく、特許請求の範囲に表れており、それと同等な範囲内にあるあらゆる相違点は、本発明に含まれていると解釈されねばならない。
【図面の簡単な説明】
【０１０６】
【図１Ａ】従来技術による多視点カメラを示す図面である。
【図１Ｂ】従来技術による多視点カメラを示す図面である。
【図１Ｃ】従来技術による多視点カメラを示す図面である。
【図２】４×４平行構造を有する１６個の多視点カメラで構成されたＦＴＶシステムで同じ時間で各カメラに入力された映像を示す図面である。
【図３】スケーラブル映像符号化の概念を説明するための参考図である。
【図４】スケーラブル映像符号化装置の一例を示す参考図である。
【図５】ＭＣＴＦで利用されるリフティングスキームで行われる演算過程を説明するための参考図である。
【図６】ＧＯＰのサイズが８である映像シーケンスでＨａａｒウェーブレットを利用した時間的フィルタリングを示す参考図である。
【図７】ＧＯＰのサイズが８である映像シーケンスで５／３スプラインウェーブレットを利用した時間的フィルタリング過程を示す参考図である。
【図８】ブロック単位でＭＣＴＦの予測を行う過程の一例を示す参考図である。
【図９】ブロック単位でＭＣＴＦのアップデートを行う過程の一例を示す参考図である。
【図１０】スケーラブル映像符号化で時間的スケーラビリティを具現する過程を説明するための参考図である。
【図１１】時間的、空間的、画質スケーラビリティをいずれも具現したスケーラブル構造の一例を示す参考図である。
【図１２】二分法的な階層構造を有する階層的Ｂピクチャーの一例を示す参考図である。
【図１３】二分法的な階層構造を有さない階層的Ｂピクチャーの一例を示す参考図である。
【図１４】本発明による多視点映像のスケーラブル符号化及び復号化装置を備える多視点スケーラブル映像コーデックの全体構成を示す図面である。
【図１５】本発明による多視点映像のスケーラブル符号化装置の構成を示す図面である。
【図１６】本発明による多視点映像のスケーラブル符号化方法を示すフローチャートである。
【図１７】本発明による２次元映像群の一例を示す図面である。
【図１８】本発明による多視点映像の空間的フィルタリング過程を説明するための図面である。
【図１９】本発明による多視点映像のスケーラブル符号化時に利用される空間的フィルタリングと時間的フィルタリングとの関係を説明するための図面である。
【図２０】本発明による空間的フィルタリング結果により生成された空間的低周波数映像に対して時間的フィルタリングを行う過程を説明するための図面である。
【図２１】本発明による多視点映像のスケーラブル符号化過程を説明するための図面である。
【図２２】本発明による多視点映像のスケーラブル符号化過程で生成されたビットストリームを示す図面である。
【図２３】本発明による多視点映像のスケーラブル符号化過程で生成されたビットストリームを示す図面である。
【図２４】本発明による多視点映像のスケーラブル符号化過程で生成されたビットストリームを示す図面である。
【図２５】本発明による多視点映像のスケーラブル符号化過程で生成されたビットストリームを示す図面である。
【図２６】本発明による多視点映像のスケーラブル復号化装置の構成を示す図面である。
【図２７】本発明による多視点映像のスケーラブル復号化方法を示すフローチャートである。
【図２８】本発明による多視点映像のスケーラブル復号化過程で逆フィルタリング過程を説明するための図面である。
【図２９】本発明による多視点映像のスケーラブル符号化方法を階層的に拡張する場合を説明するための図面である。
【図３０】本発明によってＱＣＩＦサイズを基盤とする２次元ＱＣＩＦコアからＣＩＦ及び４ＣＩＦまでの階層的な構造を有する全体のビットストリームの構成を示す図面である。
【符号の説明】
【０１０７】
１６１０  多視点入力映像に対して空間的フィルタリングを行う
１６２０  空間的低周波数映像に対して時間的フィルタリングを行う
１６３０  時間的低周波数映像及び高周波数映像をスケーラブル符号化
１６４０  空間的高周波数映像をスケーラブル符号化
１６５０  多重化
【図１Ａ】
2008521337.tif 000009
【図１Ｂ】
2008521337.tif 000010
【図１Ｃ】
2008521337.tif 000011
【図３】
2008521337.tif 000012
【図４】
2008521337.tif 000013
【図５】
2008521337.tif 000014
【図６】
2008521337.tif 000015
【図７】
2008521337.tif 000016
【図８】
2008521337.tif 000017
【図９】
2008521337.tif 000018
【図１０】
2008521337.tif 000019
【図１１】
2008521337.tif 000020
【図１２】
2008521337.tif 000021
【図１３】
2008521337.tif 000022
【図１４】
2008521337.tif 000023
【図１５】
2008521337.tif 000024
【図１６】
2008521337.tif 000025
【図１７】
2008521337.tif 000026
【図１８】
2008521337.tif 000027
【図１９】
2008521337.tif 000028
【図２０】
2008521337.tif 000029
【図２１】
2008521337.tif 000030
【図２２】
2008521337.tif 000031
【図２３】
2008521337.tif 000032
【図２４】
2008521337.tif 000033
【図２５】
2008521337.tif 000034
【図２６】
2008521337.tif 000035
【図２７】
2008521337.tif 000036
【図２８】
2008521337.tif 000037
【図２９】
2008521337.tif 000038
【図３０】
2008521337.tif 000039
【図２】
2008521337.tif 000040
【国際調査報告】
2008521337.tif 000041
2008521337.tif 000042