(57)【要約】  本発明は、マルチビュービデオを多階層空間および時間スケーラブルコーディング技術を利用して圧縮伝送するマルチビュービデオのスケーラブルコーディングおよびデコーディング方法、ならびにコーディングおよびデコーディング装置に関し、１つの基礎ビデオに対して空間フィルタリングを介して多階層解像度を有する画像フレームに分離し、前記分離された低解像度画像フレームおよび少なくとも1つ以上の高解像度画像フレームの各々に対して時空間予測を介してスケーラブルビデオコーディングを遂行する基礎スケーラビリティビデオエンコーダと、および同一時点で撮影された自体のビデオと、参照ビデオとして少なくとも1つ以上の他のビデオが入力され、空間フィルタリングを介して多階層解像度を有する画像フレームに分離して、前記分離された低解像度画像フレームに対して自体の隣接フレームだけでなく、同一時間軸で前記他のビデオフレームを参照して時空間予測を介してスケーラブルビデオコーディングを遂行し、前記分離された少なくとも1つ以上の高解像度画像フレームに対して自体の下位階層だけでなく、前記他のビデオフレームの下位階層を参照して時空間予測を介してスケーラブルビデオコーディングを遂行する複数の拡張されたスケーラビリティビデオエンコーダを備える。
2010507961.tif 000002
【特許請求の範囲】
【請求項１】
マルチビュービデオに対するスケーラブルビデオコーディング装置であって、
１つの基礎ビデオに対して空間フィルタリングを介して多階層解像度を有する画像フレームに分離して、前記分離された低解像度画像フレームおよび少なくとも1つ以上の高解像度画像フレームの各々に対して時空間予測を介してスケーラブルビデオコーディングを遂行する基礎スケーラビリティビデオエンコーダと、
同一時点で撮影された自体のビデオおよび参照ビデオによって、少なくとも1つ以上の他のビデオが入力され、空間フィルタリングを介して多階層解像度を有する画像フレームに分離して、前記分離された低解像度画像フレームに対して自体の隣接フレームだけでなく、同一時間軸で前記他のビデオフレームを参照して時空間予測を介してスケーラブルビデオコーディングを遂行し、前記分離された少なくとも1つ以上の高解像度画像フレームに対して自体の下位階層だけでなく、前記他のビデオフレームの下位階層を参照して時空間予測を介してスケーラブルビデオコーディングを遂行する複数の拡張されたスケーラビリティビデオエンコーダと、
を備えるマルチビュービデオに対するスケーラブルビデオコーディング装置。
【請求項２】
前記拡張されたスケーラビリティビデオエンコーダが、
入力された自体のビデオと、参照ビデオである他のビデオとに対して空間的フィルタリングを介して多階層解像度を有する画像フレームに分離する空間的ビデオフィルタリング手段と、
前記自体のビデオおよび他のビデオを、時間的フィルタリングを介して低解像度画像フレームに分離し、自体のビデオフレームに対する時空間動き予測だけでなく、時間軸で参照ビデオフレームに対する動き予測を介してスケーラブルコーディングを遂行する基礎階層エンコーディング手段と、
前記自体のビデオおよび他のビデオを、時間的フィルタリングを介して高解像度画像フレームに分離し、自体のビデオに対する下位階層だけでなく、参照ビデオである他のビデオに対する下位階層を参照して時空間動き予測を介してスケーラブルコーディングを遂行する少なくとも1つ以上の向上階層であるコーディング手段と、
前記基礎階層であるコーディング手段の出力と、前記向上階層であるコーディング手段の出力とを多重化して１つのビットストリームを出力する多重化手段と、
を備えることを特徴とする請求項１に記載のマルチビュービデオに対するスケーラブルビデオコーディング装置。
【請求項３】
前記向上階層エンコーディング手段が、
コーディングの結果によって下位階層の動きベクトル情報の使用可否を表すフラッグと、他のビデオに対する下位階層の参照インデックスを予測情報として利用するのかの可否を表すフラッグと、下位階層のイントラブロックのタイプを予測情報として利用するのかの可否を表すフラッグと、下位階層の差画像値の利用可否に対するフラッグとを各々設定して、使われた参照ビューのインデックスを表示することを特徴とする請求項２に記載のマルチビュービデオに対するスケーラブルビデオコーディング装置。
【請求項４】
前記向上階層エンコーディング手段が、
イントラブロックのためのイントラ予測のために復元されたビデオフレームに対して２次元空間の補間を遂行する２次元空間補間手段をさらに備えることを特徴とする請求項２に記載のマルチビュービデオに対するスケーラブルビデオコーディング装置。
【請求項５】
前記向上階層エンコーディング手段が、
時間および空間軸上にフレーム間の動き、差画像、およびイントラ予測を介して符号化することを特徴とする請求項２に記載のマルチビュービデオに対するスケーラブルビデオコーディング装置。
【請求項６】
前記向上階層エンコーディング手段が、
動き予測のために自体のビデオに対する基礎階層画像（低解像度画像）、および参照ビデオである他のビデオに対する基礎階層画像（低解像度画像）の動きベクトルを２倍した値を使用して動き予測を遂行することを特徴とする請求項５に記載のマルチビュービデオに対するスケーラブルビデオコーディング装置。
【請求項７】
前記向上階層エンコーディング手段が、
差画像の予測のために、自体のビデオに対する基礎階層画像（低解像度画像）と、参照ビデオである他のビデオに対する基礎階層画像（低解像度画像）との予測後の残余画像を補間して差画像予測を遂行することを特徴とする請求項５に記載のマルチビュービデオに対するスケーラブルビデオコーディング装置。
【請求項８】
マルチビュービデオに対するスケーラブルビデオコーディング方法であって、
（ａ）１つの基礎ビデオに対して多階層解像度を有する画像フレームに分離して、時空間予測を介してスケーラブルビデオコーディングを遂行するステップと、
（ｂ）同一時点で撮影された自体のビデオと、参照ビデオとして少なくとも1つ以上の他のビデオとが入力され、入力されたビデオに対して多階層解像度を有する画像フレームに分離して時空間予測を介してスケーラブルビデオコーディングを遂行するステップと、を含み、
前記（ｂ）ステップが、
（ｃ）低解像度画像フレームに対して自体の隣接フレームだけでなく、同一時間軸で前記他のビデオフレームを参照して、時空間予測を介してスケーラブルビデオコーディングを遂行するステップと、
（ｄ）少なくとも1つ以上の高解像度画像フレームに対して自体の下位階層だけでなく、前記他のビデオフレームの下位階層を参照して、時空間予測を介してスケーラブルビデオコーディングを遂行するステップと、
をさらに含む、マルチビュービデオに対するスケーラブルビデオコーディング方法。
【請求項９】
前記（ｄ）ステップの遂行結果によって、下位階層の動きベクトル情報の使用可否を表すフラッグと、他のビデオに対する下位階層の参照インデックスを予測情報として利用するのかの可否を表すフラッグと、下位階層のイントラブロックのタイプを予測情報として利用するのかの可否を表すフラッグと、下位階層の差画像値の利用可否に対するフラッグとを各々設定して、使われた参照ビューのインデックスを表示するステップをさらに含むことを特徴とする請求項８に記載のマルチビュービデオに対するスケーラブルビデオコーディング方法。
【請求項１０】
前記（ｄ）ステップが、
時間および空間軸上にフレーム間の動き、差画像、およびイントラ予測を介してビデオを符号化することを特徴とする請求項８に記載のマルチビュービデオに対するスケーラブルビデオコーディング方法。
【請求項１１】
前記（ｄ）ステップが、
イントラブロックのためのイントラ予測のために復元されたビデオフレームに対して２次元空間の補間を遂行することを特徴とする請求項８に記載のマルチビュービデオに対するスケーラブルビデオコーディング方法。
【請求項１２】
前記（ｄ）ステップが、
動き予測のために自体のビデオに対する基礎階層画像（低解像度画像）、および参照ビデオである他のビデオに対する基礎階層画像（低解像度画像）の動きベクトルを２倍した値を使用して動き予測を遂行することを特徴とする請求項８に記載のマルチビュービデオに対するスケーラブルビデオコーディング方法。
【請求項１３】
前記（ｄ）ステップが、
差画像予測のために、自体のビデオに対する基礎階層画像（低解像度画像）、および参照ビデオである他のビデオに対する基礎階層画像（低解像度画像）の予測後の残余画像を補間して差画像予測を遂行することを特徴とする請求項８に記載のマルチビュービデオに対するスケーラブルビデオコーディング方法。
【請求項１４】
マルチビュービデオに対するスケーラブルビデオデコーディング装置であって、
１つの基礎ビデオに対してスケーラブルコーディングされたビットストリームを受信して、逆時間変換および逆空間変換を介して復元する基礎スケーラビリティビデオデコーダと、
同一時点で撮影された自体のビデオおよび参照ビデオに対して時空間予測を介してスケーラブルコーディングされたビットストリームを受信し、自体の下位階層だけでなく、参照ビデオである他のビデオフレームの下位階層の参照可否に応じて逆時空間予測を介して少なくとも1つ以上の高解像度画像フレームを復元し、自体の隣接フレームだけでなく、同一時間軸で前記他のビデオフレームの参照可否に応じて逆時空間予測を介して低解像度画像フレームを復元した後、前記復元された高解像度画像フレームと、前記復元された低解像度画像フレームと、に対して逆空間フィルタリングを介して画像を復元する複数の拡張されたスケーラビリティビデオデコーダと、
を備えるマルチビュービデオに対するスケーラブルビデオデコーディング装置。
【請求項１５】
前記拡張されたスケーラビリティビデオデコーダが、
受信されたビットストリームを逆多重化する逆多重化手段と、
該逆多重化手段により出力された高解像度画像信号に対して、自体のビデオに対する下位階層だけでなく、参照ビデオである他のビデオに対する下位階層の参照可否に応じて、逆時空間動き予測を介してスケーラブルデコーディングを遂行する少なくとも1つ以上の向上階層デコーディング手段と、
前記逆多重化手段により出力された低解像度画像信号に、自体のビデオフレームに対する逆時空間動き予測だけでなく、時間軸で参照ビデオフレームに対する逆動き予測を介してスケーラブルデコーディングを遂行する基礎階層デコーディング手段と、
前記向上階層デコーディング手段により復元された高解像度画像、および前記基礎階層デコーディング手段により復元された低解像度画像に対して逆空間的フィルタリングを介して画像を復元する逆空間的ビデオフィルタリング手段と、
を備えることを特徴とする請求項１４に記載のマルチビュービデオに対するスケーラブルビデオデコーディング装置。
【請求項１６】
前記向上階層デコーディング手段が、
下位階層の動きベクトル情報の使用可否を表すフラッグと、他のビデオに対する下位階層の参照インデックスを予測情報として利用するのかの可否を表すフラッグと、下位階層のイントラブロックのタイプを予測情報として利用するかの可否を表すフラッグと、下位階層の差画像値の利用可否に対するフラッグと、予測に使われた参照ビューのインデックスとを参照してスケーラブルデコーディングを遂行することを特徴とする請求項１５に記載のマルチビュービデオに対するスケーラブルビデオデコーディング装置。
【請求項１７】
マルチビュービデオに対するスケーラブルビデオデコーディング方法であって、
（ａ）１つの基礎ビデオに対して逆時空間予測を介してスケーラブルビデオデコーディングを遂行するステップと、
（ｂ）同一時点で撮影された自体のビデオと、参照ビデオとして少なくとも1つ以上の他のビデオとを参照してスケーラブルコーディングされたビットストリームを受信して、逆時空間予測と逆空間フィルタリングとを介してスケーラブルビデオデコーディングを遂行するステップと、を含み、
前記（ｂ）ステップが、
（ｃ）逆多重化された高解像度画像フレームに対して自体の下位階層だけでなく、前記他のビデオフレームの下位階層の参照可否情報に応じて逆時空間予測を介してスケーラブルビデオデコーディングを遂行するステップと、
（ｄ）逆多重化された低解像度画像信号に対して自体の隣接フレームだけでなく、同一時間軸で前記他のビデオフレームの参照可否情報に応じて逆時空間予測を介してスケーラブルビデオデコーディングを遂行するステップと、
をさらに含む、マルチビュービデオに対するスケーラブルビデオデコーディング方法。
【請求項１８】
前記（ｃ）ステップにおいて、下位階層の動きベクトル情報の使用可否を表すフラッグと、他のビデオに対する下位階層の参照インデックスを予測情報として利用するのかの可否を表すフラッグと、下位階層のイントラブロックのタイプを予測情報として利用するのかの可否を表すフラッグと、下位階層の差画像値の利用可否に対するフラッグと、予測に使われた参照ビューのインデックス情報とを利用してスケーラブルビデオデコーディングを遂行することを特徴とする請求項１７に記載のマルチビュービデオに対するスケーラブルビデオデコーディング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はマルチビュービデオのスケーラブル（ｓｃａｌａｂｌｅ）コーディングおよびデコーディング技術に関し、より詳細には、複数のカメラにより撮影されたマルチビュービデオを圧縮伝送するにあたり、マルチビュービデオを多階層空間および時間スケーラブルコーディング技術を利用して圧縮伝送し、受信端でデコードして多様な形態のビデオ端末機に２次元または３次元のビデオサービスを提供するためのマルチビュービデオのスケーラブルコーディングおよびデコード方法、ならびにコーディングおよびデコーディング装置に関する。
【背景技術】
【０００２】
データを圧縮する基本的な原理は、データの空間的重複および時間的重複（ｒｅｄｕｎｄａｎｃｙ）要素を除去することである。空間的重複は、ビデオで同じ色やオブジェクトが繰り返されることを指す。また、時間的重複は、動画像ピクチャで隣接したピクチャがほとんど変化のないこと、またはオーディオで同じ音が反復することを指す。一般的なビデオコーディング方法において、時間的重複は、動きの補償に基づいた時間的フィルタリングにより除去され、空間的重複は、空間的変換により除去される。
【０００３】
データの重複が除去された後に生成されるマルチメディアデータを伝送するためには伝送媒体が必要だが、その性能は伝送媒体ごとに違いがある。多様な速度の伝送媒体を支援するために、または伝送環境に応じて、これに適合した伝送率でマルチメディアデータを伝送するためにスケーラブル（ｓｃａｌａｂｌｅ）ビデオコーディング技術がある。
【０００４】
スケーラブルビデオコーディング技術とは、既に圧縮されたビットストリーム（ｂｉｔ−ｓｔｒｅａｍ）に対して伝送ビット率、伝送エラー率、システム資源などの周辺条件に応じてビットストリームの一部を切り出してビデオの解像度、フレーム率、およびＳＮＲ（Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ  Ｒａｔｉｏ）などを調整できるようにするコーディング技術を意味する。
【０００５】
図１は、一般的なスケーラブルコーディングの概念を説明するための参考図である。
【０００６】
同図に示すように、スケーラブルビデオコーディングは、入力ビデオに対して時間的変換を利用して時間的スケーラブルを具現し、２次元空間的変換を利用して空間的スケーラブルを具現する。また、スケーラブルビデオコーディングは、テクスチャコーディング（ｔｅｘｔｕｒｅ  ｃｏｄｉｎｇ）を利用して画質（ｑｕａｌｉｔｙ）のスケーラビリティを具現する。モーションコーディング（ｍｏｔｉｏｎ  ｃｏｄｉｎｇ）は、それぞれの空間的スケーラブルを具現するときのモーション情報をスケーラブルするように符号化する。このようなコーディングアルゴリズムを介して１つのビットストリームを生成する。
【０００７】
スケーラブルビデオコーディングにおいて、時間的スケーラブルを提供して圧縮効率を高める方法として、動き補償時間フィルタ（ＭＣＴＦ：Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｅｄ  Ｔｅｍｐｏｒａｌ  Ｆｉｌｔｅｒｉｎｇ）と階層的Ｂピクチャ（ｈｉｅｒａｒｃｈｉｃａｌ  Ｂ−ｐｉｃｔｕｒｅｓ）とがある。
【０００８】
ＭＣＴＦは、ビデオシーケンス内で時間方向の動き情報を利用してウェーブレット変換（Ｗａｖｅｌｅｔ  Ｔｒａｎｓｆｏｒｍ）を遂行すること指す。ウェーブレット変換は、リフティングスキーム（Ｌｉｆｔｉｎｇ  ｓｃｈｅｍｅ）を利用して具現される。リフティングスキームは、多位相分解（ｐｏｌｙｐｈａｓｅ  ｄｅｃｏｍｐｏｓｉｔｉｏｎ）、予測（ｐｒｅｄｉｃｔｉｏｎ）、およびアップデート（ｕｐｄａｔｅ）の３種類の演算で構成される。
【０００９】
階層的Ｂピクチャは、Ｈ．２６４で使用する１６個のピクチャを保存することができるＤＰＢ（Ｄｅｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ）を管理するＭＭＣＯ（Ｍｅｍｏｒｙ  Ｍａｎａｇｅｍｎｅｎｔ  Ｃｏｎｔｒｏｌ  Ｏｐｅｒａｔｉｏｎ）、およびＲＰＬＲ（Ｒｅｆｅｒｅｎｃｅ  ＰｉｃｔｕｒｅＬｉｓｔ  Ｒｅｏｒｄｅｒｉｎｇ）の構文を利用して多様な方法で具現することができる。
【００１０】
最近では、技術的発展およびユーザの要求により、多様な時点の光景に対するビデオ情報を視聴者に提供し、該当ビデオ情報のうち、視聴者が見たい光景に対する操作を介して、各視聴者に放送局から送られる情報を編集して視聴できるサービスが研究されている。このようなサービスを提供するためには、マルチビュービデオに対するビデオ圧縮技術が必要である。
【００１１】
マルチビュービデオの圧縮は、マルチビュービデオを提供する複数のカメラから入力されたビデオを同時にコーディングして圧縮保存および伝送するためのものである。マルチビュービデオを圧縮せずに保存および伝送する場合、データの大きさが非常に大きいために、データをリアルタイムで放送網または有／無線インターネットを介してユーザに伝達するためには、広い伝送帯域幅が求められる。
【００１２】
通常、マルチビュービデオコーディングおよびデコーディングは、それぞれのビデオシーケンスを独立的にコーディングして伝送した後にデコーディングする方法によってなし得る。これは、従来のＭＰＥＧ−１／２／４やＨ．２６１／２６３／２６４を介して容易に具現することができる。しかし、これは同じ物体を複数のカメラで撮影するために生じるビデオ間の重複性を除去することができない。
【００１３】
ビデオ間の重複性を除去するための技術として、スケーラブルビデオコーディング（Ｓｃａｌａｂｌｅ  ｖｉｄｅｏｃｏｄｉｎｇ）技術がある。一般的に、単一時点のビデオスケーラブルコーディング技術は、単一時点のビデオを空間軸として空間フィルタを使用して多階層解像度で分離し、分離されたビデオを時間軸において階層的双方向動き予測を介して時空間スケーラブルを行う。ここで、各解像度において、階層間の効果的な予測のために動き、差画像、およびイントラ予測が遂行され得る。また、変換の符号化において階層的表現によるエントロピーコーディングを介して画質観点のスケーラビリティが提供され得る。
【００１４】
しかし、このような従来のスケーラブルビデオコーディング技術は、単一時点のビデオ空間画質として固定されており、多様な環境や多様な演算能力を有する端末機で、多様に三次元または選択的な二次元でビデオを再生する場合、多くの伝送率、およびビデオデコーダの面でオーバーヘッドが多く発生し得る問題がある。
【発明の概要】
【発明が解決しようとする課題】
【００１５】
したがって、本発明は、前記のような従来技術の問題を解決するために提案されたものであって、マルチビュービデオを圧縮するために時間軸およびビデオ（空間）軸で周辺画像を参照する動き予測補償だけでなく、マルチビュービデオにおいて空間軸上でスケーラビリティを提供するために、周辺のビデオの他の解像度での動き、差画像、およびイントラ予測を介して、より効率的にビデオを圧縮し、多様な環境の端末機に多様なビデオサービスを提供できるマルチビデオのスケーラブルコーディング方法および装置を提供することをその目的とする。
【００１６】
また、本発明は、マルチビデオに対してスケーラブルコーディングされた信号を受信してデコーディングするためのデコーディング方法、および装置を提供することをその目的とする。
【課題を解決するための手段】
【００１７】
本発明の他の目的および長所は下記の説明によって理解することができ、本発明の実施形態によって、さらに明らかに分かるようになるであろう。また、本発明の目的および長所は、特許請求の範囲で示した手段およびその組合せにより実現できることが容易に理解できるはずである。
【００１８】
前記目的を達成するための本発明に係るスケーラブルビデオコーディング装置は、マルチビュービデオに対するスケーラブルビデオコーディング装置であって、１つの基礎ビデオに対して空間フィルタリングを介して多階層解像度を有する画像フレームに分離して、前記分離された低解像度画像フレームおよび少なくとも1つ以上の高解像度画像フレームの各々に対して時空間予測を介してスケーラブルビデオコーディングを遂行する基礎スケーラビリティビデオエンコーダと、同一時点で撮影された自体のビデオおよび参照ビデオによって、少なくとも1つ以上の他のビデオが入力され、空間フィルタリングを介して多階層解像度を有する画像フレームに分離して、前記分離された低解像度画像フレームに対して自体の隣接フレームだけでなく、同一時間軸で前記他のビデオフレームを参照して時空間予測を介してスケーラブルビデオコーディングを遂行し、前記分離された少なくとも１つ以上の高解像度画像フレームに対して自体の下位階層だけでなく、前記他のビデオフレームの下位階層を参照して時空間予測を介してスケーラブルビデオコーディングを遂行する複数の拡張されたスケーラビリティビデオエンコーダと、を備える。
【００１９】
また、本発明に係るスケーラブルビデオコーディング方法は、マルチビュービデオに対するスケーラブルビデオコーディング方法であって、（ａ）１つの基礎ビデオに対して多階層解像度を有する画像フレームに分離して、時空間予測を介してスケーラブルビデオコーディングを遂行するステップと、（ｂ）同一時点で撮影された自体のビデオと、参照ビデオとして少なくとも1つ以上の他のビデオとが入力され、入力されたビデオに対して多階層解像度を有する画像フレームに分離して時空間予測を介してスケーラブルビデオコーディングを遂行するステップと、を含むが、前記（ｂ）ステップが、（ｃ）低解像度画像フレームに対して自体の隣接フレームだけでなく、同一時間軸で前記他のビデオフレームを参照して、時空間予測を介してスケーラブルビデオコーディングを遂行するステップと、（ｄ）少なくとも1つ以上の高解像度画像フレームに対して自体の下位階層だけでなく、前記他のビデオフレームの下位階層を参照して、時空間予測を介してスケーラブルビデオコーディングを遂行するステップと、を含む。
【００２０】
一方、本発明に係るデコーディング装置は、マルチビュービデオに対するスケーラブルビデオデコーディング装置であって、１つの基礎ビデオに対してスケーラブルコーディングされたビットストリームを受信して、逆時間変換および逆空間変換を介して復元する基礎スケーラビリティビデオデコーダと、同一時点で撮影された自体のビデオおよび参照ビデオに対して時空間予測を介してスケーラブルコーディングされたビットストリームを受信し、自体の下位階層だけでなく、参照ビデオである他のビデオフレームの下位階層の参照可否に応じて逆時空間予測を介して少なくとも1つ以上の高解像度画像フレームを復元し、自体の隣接フレームだけでなく、同一時間軸で前記他のビデオフレームの参照可否に応じて逆時空間予測を介して低解像度画像フレームを復元した後、前記復元された高解像度画像フレームと、前記復元された低解像度画像フレームとに対して逆空間フィルタリングを介して画像を復元する複数の拡張されたスケーラビリティビデオデコーダと、を備える。
【００２１】
望ましくは、前記拡張されたスケーラビリティビデオデコーダが、受信されたビットストリームを逆多重化する逆多重化手段と、該逆多重化手段により出力された高解像度画像信号に対して、自体のビデオに対する下位階層だけでなく、参照ビデオである他のビデオに対する下位階層の参照可否に応じて、逆時空間動き予測を介してスケーラブルデコーディングを遂行する少なくとも1つ以上の向上階層デコーディング手段と、前記逆多重化手段により出力された低解像度画像信号に、自体のビデオフレームに対する逆時空間動き予測だけでなく、時間軸で参照ビデオフレームに対する逆動き予測を介してスケーラブルデコーディングを遂行する基礎階層デコーディング手段と、前記向上階層デコーディング手段により復元された高解像度画像、および前記基礎階層デコーディング手段により復元された低解像度画像に対して逆空間的フィルタリングを介して画像を復元する逆空間的ビデオフィルタリング手段と、を備える。
【００２２】
望ましくは、前記向上階層デコーディング手段が、下位階層の動きベクトル情報の使用可否を表すフラッグと、他のビデオに対する下位階層の参照インデックスを予測情報として利用するのかの可否を表すフラッグと、下位階層のイントラブロックのタイプを予測情報として利用するかの可否を表すフラッグと、下位階層の差画像値の利用可否に対するフラッグと、予測に使われた参照ビューのインデックスとを参照してスケーラブルデコーディングを遂行する。
【００２３】
また、マルチビュービデオに対するスケーラブルビデオデコーディング方法であって、（ａ）１つの基礎ビデオに対して逆時空間予測を介してスケーラブルビデオデコーディングを遂行するステップと、（ｂ）同一時点で撮影された自体のビデオと、参照ビデオとして少なくとも1つ以上の他のビデオとを参照してスケーラブルコーディングされたビットストリームを受信して、逆時空間予測と逆空間フィルタリングとを介してスケーラブルビデオデコーディングを遂行するステップと、を含むが、前記（ｂ）ステップが、（ｃ）逆多重化された高解像度画像フレームに対して自体の下位階層だけでなく、前記他のビデオフレームの下位階層の参照可否情報に応じて逆時空間予測を介してスケーラブルビデオデコーディングを遂行するステップと、（ｄ）逆多重化された低解像度画像信号に対して自体の隣接フレームだけでなく、同一時間軸で前記他のビデオフレームの参照可否情報に応じて逆時空間予測を介してスケーラブルビデオデコーディングを遂行するステップと、を含む。
【００２４】
望ましくは、前記（ｃ）ステップにおいて、下位階層の動きベクトル情報の使用可否を表すフラッグと、他のビデオに対する下位階層の参照インデックスを予測情報として利用するのかの可否を表すフラッグと、下位階層のイントラブロックのタイプを予測情報として利用するのかの可否を表すフラッグと、下位階層の差画像値の利用可否に対するフラッグと、予測に使われた参照ビューのインデックス情報とを利用してスケーラブルビデオデコーディングを遂行する。
【発明の効果】
【００２５】
上記のような本発明は、一般的なスケーラブルコーディング技術の時空間階層的構造をマルチビュービデオ間に拡張することで、マルチビュービデオを効果的に圧縮することができる。また、本発明は、マルチビュービデオに対して時間および空間軸上で階層的構造を構成することによって、多様な形態の２次元または３次元端末機にスケーラブルするようにビデオサービスを提供することができる。
【図面の簡単な説明】
【００２６】
【図１】一般的なスケーラブルビデオコーディングの概念を説明するための図である。
【図２】本発明の一実施形態に係るマルチビュービデオに対するスケーラブルビデオコーディング装置のブロック構成図である。
【図３】本発明に係る拡張されたスケーラビリティビデオエンコーダの機能ブロック構成図である。
【図４】本発明に係るマルチビュービデオに対する多階層ビデオ圧縮のためのフレーム参照構造を説明するための図である。
【図５】図４に対する階層間の参照構造を説明するための図である。
【図６】本発明に係るマルチビュービデオに対するＢフレーム動き予測構造に対するフレームの参照構造を説明するための図である。
【図７】図６に対する階層間の参照構造を説明するための図である。
【図８】本発明の他の実施形態に係るマルチビュービデオに対するスケーラブルビデオコーディング装置のブロック構成図である。
【図９】図８に対する多階層ビデオ圧縮のためのフレームの参照構造を説明するための図である。
【発明を実施するための形態】
【００２７】
詳述した目的、特徴および長所は、添付の図面と関連した次の詳細な説明によってさらに明確になるはずであり、それに伴い、本発明が属する技術分野において通常の知識を有する者が、本発明の技術的思想を容易に実施することができるであろう。また、本発明を説明するにあたり、本発明と関連した公知となった技術に対する具体的な説明が、本発明の要旨を不要に濁し得ると判断される場合、その詳細な説明を省略することにする。以下、添付の図面を参照し、本発明に係る望ましい一実施形態を詳細に説明する。
【００２８】
図２は、本発明に係るマルチビュービデオのスケーラブルコーディング装置の一実施形態を示す図である。
【００２９】
同図では、ビデオ０からビデオ４までの５個のカメラで撮影したビデオが入力された場合、各ビデオをスケーラブルビデオエンコーダ（ｓｃａｌａｂｌｅ  ｖｉｄｅｏ  ｅｎｃｏｒｄｅｒ）によって圧縮した場合を表している。
【００３０】
本発明に係るマルチビュービデオのスケーラブルコーディング装置は、基礎ビデオであるビデオ０に対して２次元空間変換および時間変換を遂行し、モーションコーディングおよびテクスチャコーディングを介してスケーラブルコーディングを遂行する基礎スケーラビリティビデオエンコーダ２１と、各々対応する自体のビデオだけでなく、参照ビデオである少なくとも1つ以上の周辺の他のビデオが入力されて空間的フィルタリングおよび時間的フィルタリングを介して多階層解像度で分離し、前記分離されたフレームに対して自体のビデオだけでなく、周辺のビデオの時空間階層画像情報および圧縮パラメータを参照してスケーラブルコーディングを遂行する、複数の拡張されたスケーラビリティビデオエンコーダ２２ないし２５を備える。
【００３１】
同図において、ビデオ０は基礎ビデオとして定義され、ビデオ０に対してスケーラブルコーディングを遂行する基礎スケーラビリティビデオエンコーダ２１は、従来の単一時点ビデオのスケーラブルコーディング装置と同じ構造を有する。したがって、基礎ビデオの場合、従来のスケーラブルコーディング装置と互換が可能な構造である。
【００３２】
また、自体のビデオだけでなく、参照ビデオである周辺のビデオを参照してスケーラブルするように圧縮するために、ビデオ１からビデオ４までは拡張されたスケーラビリティビデオエンコーダ２２ないし２５を介して圧縮を遂行する。拡張されたスケーラビリティビデオエンコーダ２２ないし２５は、従来の単一時点ビデオのスケーラブルコーディング装置のように、自体のビデオおよび参照ビデオである周辺ビデオが入力されて、空間フィルタリングを介して多階層解像度で分離し、分離された各フレームに対して時間および空間軸上で自体のフレームに対する下位階層だけでなく、周辺のフレームに対する下位階層を参照してスケーラブルコーディングを遂行する。例えば、ビデオ４を圧縮する拡張されたスケーラビリティビデオエンコーダ２５は、基礎ビデオ０の多階層時空間解像度画像情報を予測参照する方法で、自体のビデオ４に対してスケーラブルビデオコーディングを遂行する。また、ビデオ２を圧縮する拡張されたスケーラビリティビデオエンコーダ２３は、基礎ビデオ０およびビデオ４の多階層時空間解像度画像情報を利用して双方向予測を介して自体のビデオに対する圧縮を遂行する。
【００３３】
これに伴い、基礎スケーラビリティビデオエンコーダ２１だけを利用した場合、従来の２次元ビデオサービスが可能で、基礎ビデオ０に対する基礎スケーラビリティビデオエンコーダ２１、およびビデオ４に対する拡張されたスケーラビリティビデオエンコーダ２５を利用した場合、ステレオビデオサービスが可能になる。また、拡張されたスケーラビリティビデオエンコーダ２２ないし２５と、基礎スケーラビリティビデオエンコーダ２１とを選択的に組合せることにより、３ビュー（ｖｉｅｗ）または５ビュービデオサービスが可能になる。
【００３４】
このような拡張されたスケーラビリティビデオエンコーダの構造および機能については、図３以下を参照して具体的に説明する。
【００３５】
図３は、本発明に係る拡張されたスケーラビリティビデオエンコーダの詳細機能ブロック構成図である。
【００３６】
本発明に係る拡張されたスケーラビリティビデオエンコーダは、自体のビデオおよび参照ビデオに対して空間的フィルタリングを介して多階層解像度で分離する空間的ビデオフィルタリング部３１と、前記空間的ビデオフィルタリング部３１の出力画像に対して時間的フィルタリングを介して時間で分離する時間的ビデオフィルタリング部３３０、３４０と、時間的ビデオフィルタリング部３３０から出力された時間的低周波数画像に対して自体のビデオフレームに対する時空間動き予測だけでなく、時間軸で参照ビデオフレームに対する動き予測を介してスケーラブルコーディングを遂行する基礎階層エンコーダ３３と、時間的ビデオフィルタリング部３４０から出力された時間的高周波数画像に対して自体のビデオの下位階層だけでなく、参照ビデオである周辺の他のビデオの下位階層を参照してスケーラブルコーディングを遂行する少なくとも1つ以上の向上階層エンコーダ３４と、基礎階層エンコーダの出力と向上階層エンコーダの出力とを多重化して１つのビットストリームを出力する多重化部３５とを備える。
【００３７】
空間的ビデオフィルタリング部３１は、自体のカメラを介して撮影された自体のビデオ、および参照ビデオとして設定された周辺の他のビデオが所定の時間単位で入力されてＭＣＴＦまたは階層的Ｂ構造を利用した空間的フィルタリングを介して多階層解像度で分離する。
【００３８】
基礎階層エンコーダ３３および向上階層エンコーダ３４は、時間的ビデオフィルタリング部３３０、３４０、モーションコーディング部３３１、３４１、差分器３３２、３４２、空間的変換部３３３、３４３、量子化部３３４、３４４、およびエントロピー符号化部３３５、３４５を備え得る。このような基礎階層エンコーダ３３および向上階層エンコーダ３４は、従来のスケーラブルビデオエンコーダとその構造が似ており、ここでは各機能部について簡単に説明する。
【００３９】
基礎階層エンコーダ３３に備えられた時間的ビデオフィルタリング部３３０は、前記空間的フィルタリングにより分離された低周波数画像に対してＭＣＴＦまたは階層的Ｂ構造を利用したフィルタリングを介して時間軸で分離する。また、向上階層エンコーダ３４に備えられた時間的ビデオフィルタリング部３４０は、前記空間的フィルタリングにより分離された高周波数画像に対してＭＣＴＦまたは階層的Ｂ構造を利用したフィルタリングを介して時間軸で分離する。
【００４０】
モーションコーディング部３３１、３４１は、通常、モーション推定およびモーション補償で構成される。モーション推定は、入力ビデオフレームのうち、参照フレームを基準に現在のフレームのモーション推定を遂行し、順方向予測または双方向予測のためのモーションベクトルを求める。ここで、本発明は、モーション推定時の参照フレームとして、自体のフレームだけでなく、周辺のフレームを用いることができる。このような動き推定のために広く使われるアルゴリズムは、ブロックマッチング（ｂｌｏｃｋ  ｍａｔｃｈｉｎｇ）アルゴリズムである。すなわち、モーションコーディング部３３１、３４１は、与えられたモーションブロックを参照フレームの特定探索領域内においてピクセル単位で動きながら、そのエラーが最低となった場合の変位を動きベクトルとして推定する。モーション推定の結果、求められるモーションベクトル、モーションブロックの大きさ、および参照フレーム番号などのモーションデータは、エントロピー符号化部３３５、３４５に提供される。また、モーション補償は、モーション推定により計算されたモーションベクトルを利用して順方向参照フレーム、逆方向参照フレーム、または双方向参照フレームに対してモーション補償（ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ）を遂行することによって、現在のフレームに対する時間的予測フレームを生成する。
【００４１】
差分器３３２、３４２は、現在のフレームおよび時間的予測フレームを差分することによってビデオの時間的重複性を除去する。空間的変換部３３３、３４３は、差分器３３２、３４２によって時間的重複性が除去されたフレームに対して、空間的スケーラビリティを支援する空間的変換法を使用して空間的重複性を除去する。このような空間的変換法では、主にＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）、ウェーブレット変換（ｗａｖｅｌｅｔ  ｔｒａｎｓｆｏｒｍ）などが用いられる。
【００４２】
量子化部３３４、３４４は、空間的変換部３３３、３４３で求めた変換係数を量子化する。量子化（ｑｕａｎｔｉｚａｔｉｏｎ）とは、任意の実数値で表現される前記変換係数を一定期間で分けて不連続的な値（ｄｉｓｃｒｅｔｅ  ｖａｌｕｅ）で表し、これを所定のインデックスにマッチングさせる作業を意味する。
【００４３】
エントロピー符号化部３３５、３４５は、量子化部３３４、３４４によって量子化された変換係数と、モーション推定によって提供されているモーションデータとを無損失符号化して出力ビットストリームを生成する。このような無損失符号化方法としては、算術符号化（ａｒｉｔｈｍｅｔｉｃ  ｃｏｄｉｎｇ）、可変長符号化（ｖａｒｉａｂｌｅ  ｌｅｎｇｔｈ  ｃｏｄｉｎｇ）などが用いられ得る。
【００４４】
一方、本発明は、空間的変換以前に、イントラブロックのためのイントラ予測を用い得る。このために向上階層エンコーダは、下位階層エンコーダから復元された参照フレームが伝達されて２次元空間の補間を遂行する機能とイントラ予測機能とを含み得る。
【００４５】
一般的に、インター予測は、参照フレームから現在のフレームのあるブロック（現在のブロック）と最も類似したブロックを探し出し、ここから現在のブロックを最もよく表現できる予測ブロックを得た後、前記現在のブロックと前記予測ブロックとの差分を量子化する方式である。インター予測は、参照フレームを参照する方式によって、２つの参照フレームを使用する双方向予測（ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  ｐｒｅｄｉｃｔｉｏｎ）と、以前の参照フレームが用いられる順方向予測（ｆｏｒｗａｒｄ  ｐｒｅｄｉｃｔｉｏｎ）と、以後の参照フレームが用いられる逆方向予測（ｂａｃｋｗａｒｄ  ｐｒｅｄｉｃｔｉｏｎ）などがある。
【００４６】
一方、イントラ予測は、現在のブロックの周辺ブロックのうち、現在のブロックと隣接したフレームを利用して現在のブロックを予測する方式である。イントラ予測は、現在のフレーム内の情報だけを利用し、同一階層内の他のフレームや他の階層のフレームを参照しないという点において他の予測方式と違いがある。
【００４７】
イントラベース予測（ｉｎｔｒａ  ｂａｓｅ  ｐｒｅｄｉｃｔｉｏｎ）は、現在のフレームが同じ時間的位置を有する下位階層のフレームを有する場合に用いることができる。現在のフレームのマクロブロックは、対応する基礎フレームのマクロブロックから効率的に予測できる。すなわち、現在のフレームのマクロブロックと対応する基礎フレームのマクロブロックとの差分が量子化される。万一、下位階層の解像度と現在階層の解像度とが互いに異なる場合は、前記差分を求める前に、前記基礎フレームのマクロブロックは、前記現在階層の解像度にアップサンプリングされる。
【００４８】
残りの予測は、単一階層でのインター予測を多階層の形態に拡張したもので、現在の階層のインター予測過程で生成された差分を直接量子化するのではなく、前記差分と、下位階層のインター予測過程で生成された差分とを再び差分し、その結果を量子化する技法である。
【００４９】
一方、本発明において、向上階層エンコーダは、高解像度画像フレームに対する符号化時、動きの予測のために、自体のビデオに対する基礎階層画像（低解像度画像）、および参照ビデオである他のビデオに対する基礎階層画像（低解像度画像）の動きベクトルを２倍した値を用いる。
【００５０】
また、本発明において、向上階層エンコーダは、高解像度画像フレームに対する符号化時、差画像の予測のために、自体のビデオに対する基礎階層画像（低解像度画像）、および参照ビデオである他のビデオに対する基礎階層画像（低解像度画像）の予測後、残余画像を補間して差画像の予測を遂行する。
【００５１】
また、本発明において、向上階層エンコーダは、高解像度画像フレームに対する符号化時、イントラ予測のために、自体のビデオに対する基礎階層画像（低解像度画像）、および参照ビデオである他のビデオに対する基礎階層画像（低解像度画像）をイントラ予測モードでイントラ予測を遂行する。
【００５２】
図４は、本発明に係るスケーラブルビデオコーディング時の予測参照構造を説明するための図である。
【００５３】
同図において、Ｐマクロブロックは片方向予測を表し、Ｂマクロブロックは双方向予測を表す。本発明に係る予測の参照は、片方向予測（Ｐマクロブロック）および双方向予測（Ｂマクロブロック）を、時間軸および空間（ビュー）軸だけでなく、多数の解像度階層で予測を遂行する構造である。
【００５４】
同図は、１つの実施形態として、基礎階層および１つの向上階層で構成された２階層構造だけを表したものであって、より多くの階層は向上階層を反復的に拡張することで構成され得る。
【００５５】
図４において、４１は、基礎スケーラビリティビデオエンコーダ（図２の２１）内の基礎階層エンコーダおよび向上階層エンコーダで遂行される予測参照を表し、４２は、図２に示すビデオ１に対する拡張されたスケーラビリティビデオエンコーダ２２内の基礎階層エンコーダおよび向上階層エンコーダで遂行される予測参照を表し、４３は、図２に図示したビデオ２に対する拡張されたスケーラビリティビデオエンコーダ２３内の基礎階層エンコーダおよび向上階層エンコーダで遂行される予測参照を表す。
【００５６】
換言すれば、図４において、基礎階層０（Ｌ０）は、基礎スケーラビリティビデオエンコーダ２１の基礎階層エンコーダと、ビデオ１に対する拡張されたスケーラビリティビデオエンコーダ２２の基礎階層エンコーダと、ビデオ２に対する拡張されたスケーラビリティビデオエンコーダ２３の基礎階層エンコーダとにおいて、各々遂行される予測参照構造を表したものである。
【００５７】
同じように、図４において、向上階層１（Ｌ１）は、基礎スケーラビリティビデオエンコーダ２１の向上階層エンコーダと、ビデオ１に対する拡張されたスケーラビリティビデオエンコーダ２２の向上階層エンコーダと、ビデオ２に対する拡張されたスケーラビリティビデオエンコーダ２３の向上階層エンコーダとにおいて、各々遂行される予測参照構造を表したものである。
【００５８】
図４に示すように、基礎スケーラビリティビデオエンコーダ２１の基礎階層エンコーダは、従来のように、時間軸上で自体の低解像度画像フレームに対して隣接フレームを予測参照してスケーラブルビデオコーディングを遂行する。また、ビデオ１のための拡張されたスケーラビリティビデオエンコーダ２２の基礎階層エンコーダは、同一時間軸上に位置した参照周辺ビデオフレームインビデオ０のフレームとビデオ２のフレームとを利用して自体のフレームに対する双方向予測を遂行する。また、ビデオ２のための拡張されたスケーラビリティビデオエンコーダ２３の基礎階層エンコーダは、基本ビデオ０を参照して片方向予測を遂行すると同時に自体のフレームを利用して双方向予測を遂行する。
【００５９】
一方、基本階層の上位階層である向上階層１ （Ｌ１）は、自体のビデオフレームに対する空間および時間予測だけでなく、下位階層である基礎階層の自体フレームと基礎階層の周辺フレームとを参照して予測を遂行する。図面において、各マクロブロックに○と×で表わした３つの表示は、下位階層の参照可否を表すためのものである。ここで、３つの表示のうち、中間にある「○」や「×」は、自体のビデオフレームに対する下位階層の参照可否を表し、上や下に表示された「○」「×」は、周辺のビデオフレームに対する下位階層の参照可否を表す。
【００６０】
図４に示すように、基礎スケーラビリティビデオエンコーダ２１の向上階層エンコーダは、従来のような自体の下位階層のフレームを参照してスケーラブルビデオコーディングを遂行する。また、ビデオ１のための拡張されたスケーラビリティビデオエンコーダ２２の向上階層エンコーダは、自体の下位階層のフレームを参照するだけでなく、周辺のビデオフレームインビデオ０の下位階層フレームとビデオ２の下位階層フレームとを参照して、自体のフレームに対する双方向予測を遂行する。また、ビデオ２のための拡張されたスケーラビリティビデオエンコーダ２３の向上階層エンコーダは、自体の下位階層のフレームを参照するだけでなく、基本ビデオ０の下位階層フレームを参照して予測を遂行する。
【００６１】
図５は、図４に示す参照構造を表したものであり、時間を固定させて空間（ビュー）階層軸で参照構造を「○」と「×」で表したものである。同図では３つの階層の場合を表している。同図において、５１は基礎ビデオであるビデオ０の参照構造を表し、５２はビデオ１の参照構造を表し、５３はビデオ２の参照構造を表す。
【００６２】
図５において、ビデオ０  ５１に対する向上階層２のマクロブロックは、真ん中のみが「○」で両側は全て「×」であるから、自体のビデオに対する下位階層だけを参照して従来のスケーラブルビデオコーディング（ＳＶＣ：Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）で使用する動き、差画像、およびイントラ予測を介してコーディングする。反面、ビデオ１  ５２に対する向上階層２のマクロブロックは、真ん中だけでなく、右側および左側のいずれも「○」であるから、自体のビデオに対する下位階層だけでなく、周辺のビデオに対する下位階層を参照してスケーラブルビデオコーディングを遂行する。また、ビデオ２  ５３に対する向上階層２のマクロブロックは、真ん中および左側が「○」で表されているため、自体のビデオの下位階層とビデオ０の下位階層とを参照してスケーラブルビデオコーディングを遂行する。
【００６３】
以上で説明したように、下位階層の参照可否を表すために、下位階層の参照可否に応じて参照階層のビデオに対する情報を追加したスケーラブルビデオの構文が必要である。
次の構文において、ｒｅｆ＿ｖｉｅｗ＿Ｉｄｘは、下位階層の参照ビデオのビュー番号を表す。ここで、ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇは、下位階層の動きベクトル情報を現在のブロックの動き予測に使用するのかを表すフラッグで、値が１の場合、下位階層のどのビューの動きベクトル情報を利用したのかを表すビュー番号であるｒｅｆ＿ｖｉｅｗ＿Ｉｄｘを表すべきである。
【００６４】
ｂａｓｅ＿ｍｏｄｅ＿ｒｅｆｉｎｅｍｅｎｔ＿ｆｌａｇもまた、下位階層の動きベクトル情報を現在のブロックの動きベクトル予測で利用するのかを表すフラッグで、ｂａｓｅ＿ｍｏｄｅ＿ｆｌａｇとの差異点は、下位階層の参照インデックスも予測情報として利用するということである。したがって、フラッグが１の場合、下位階層のどのビューの動きベクトルと参照インデックス情報とを利用したのかを表すｒｅｆ＿ｖｉｅｗ＿Ｉｄｘを表示すべきである。ｉｎｔｒａ＿ｂａｓｅ＿ｆｌａｇは、下位階層のイントラブロックのタイプを現在のブロックのブロックタイプの予測情報として利用することに対して表すフラッグで、１の場合、下位階層のイントラ予測モードに対する情報を現在のブロックで利用するようになる。したがって、下位階層のどのビューのイントラブロックタイプ情報を利用するのかに対するビュー番号であるｒｅｆ＿ｖｉｅｗ＿Ｉｄｘを表示すべきである。
【００６５】
ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは、下位階層の差画像値を現在のブロックの差画像の予測に利用するのかに対する可否を表すフラッグで、１の場合、下位階層の差画像情報をアップサンプリングして利用するようになる。やはり、このときも下位階層のどのビューの差画像情報を利用するのかに対するビュー番号であるｒｅｆ＿ｖｉｅｗ＿Ｉｄｘを表示すべきである。以上のようなスケーラブルビデオの構文を表にすると、表１のとおりである。
【００６６】
【表１】
2010507961.tif 000003
【００６７】
図６は、基本スケーラブル構造において、階層的Ｂ構造でない従来のＢフレーム構造の場合における、参照構造の１つの実施形態を表す。図６において、６１は基礎ビデオであるビデオ０に対する参照構造を表し、６２はビデオ１に対する参照構造を表し、６３はビデオ２に対する参照構造を表す。
【００６８】
また、図７は図６に示す参照構造を表しており、時間を固定させて空間ビュー階層軸で参照構造を「○」および「×」で表したものである。同じように、図７では３つの階層の場合を表す。図７において、７１は基礎ビデオであるビデオ０の参照構造を表し、７２はビデオ１の参照構造を表し、７３はビデオ２の参照構造を表す。
【００６９】
図６および図７に示すように、基礎ビデオであるビデオ０  ６１、７１は、自体の下位階層フレームだけを参照してスケーラブルビデオコーディングを遂行する。しかし、ビデオ１およびビデオ２は、自体の下位階層フレームを参照するだけでなく、周辺ビデオの下位階層を参照してスケーラブルビデオコーディングを遂行する。
以上で説明したような本発明に係る予測参照構造は、Ｂフレーム予測構造でない従来のＰフレーム構造の場合も同様に適用することができる。
【００７０】
図８は、本発明に係る他の実施形態に係るマルチビュービデオのスケーラブルコーディング装置のブロック構成図で、図９は、図８で基礎ビデオであるビデオ０  ９１、周辺ビデオであるビデオ１  ９２、およびビデオ２  ９３に対する参照構造を表したものである。
【００７１】
図８および図９に示すように、基礎ビデオであるビデオ０に対するスケーラブルコーディングを遂行する基礎スケーラビリティビデオエンコーダ８１は、従来の単一時点のビデオのスケーラブルコーディング装置と同じく、自体の下位階層を参照してスケーラブルビデオコーディングを遂行する。したがって、基礎ビデオの場合、従来のスケーラブルコーディング装置等と互換が可能である。
【００７２】
また、ビデオ１からビデオ４までは拡張されたスケーラビリティビデオエンコーダ８２ないし８５を介してスケールラブビデオコーディングを遂行する。拡張されたスケーラビリティビデオエンコーダ８２ないし８５は、従来の単一時点のビデオのスケーラブルコーディング装置のように、画像を多階層解像度で分離し、分離された画像フレームに対して時空間で予測を遂行するだけでなく、周辺のビデオの時空間階層画像情報および圧縮パラメータを参照して圧縮を遂行する。
【００７３】
例えば、図９に示すように、ビデオ１の向上階層１  ９２は、ビデオ０の下位階層を参照してスケーラブルビデオコーディングを遂行し、ビデオ２の向上階層１  ９３は、ビデオ１の下位階層を参照してスケーラブルビデオコーディングを遂行する。換言すれば、図８に示すように、本発明の他の実施形態は、拡張されたスケーラビリティビデオエンコーダが、すぐ横の１つのビデオだけを順次参照してスケーラブルビデオコーディングを遂行する。
【００７４】
これに伴い、基礎スケーラビリティビデオエンコーダ８１だけを利用した場合、従来の２次元ビデオサービスが可能であり、かつ基礎ビデオ０に対する基礎スケーラビリティビデオエンコーダ８１と、ビデオ１に対する拡張されたスケーラビリティビデオエンコーダ８２とを利用した場合、ステレオビデオサービスが可能になる。また、基礎ビデオ０、ビデオ１、およびビデオ２により３ビュー（ｖｉｅｗ）サービスが可能で、かつ基礎ビデオ０からビデオ４により５ビューサービスが可能である。
【００７５】
以上で説明したように、本発明に係るマルチビュービデオに対するスケーラブルコーディング技術についてまとめると次のとおりである。
【００７６】
まず、１つの基礎ビデオ（例えば、ビデオ０）に対して空間軸で空間フィルタを使用して多階層解像度で分離する。また、前記分離された低解像度画像フレームに対して時間軸で階層的動き予測を介して時空間スケーラブルビデオコーディングを遂行する。また、前記分離された高解像度画像フレームに対して下位階層を参照して時間軸で階層的動き予測を介して時空間スケーラブルビデオコーディングを遂行する。そして、コーディングされた低解像度画像と、コーディングされた少なくとも1つ以上の高解像度画像とを多重化してビットストリームを生成する。このような基礎ビデオに対するスケーラブルビデオコーディングは、従来の方法と同じである。
【００７７】
次に、マルチビュービデオに対する拡張されたスケーラブルビデオコーディングに対して説明する。
【００７８】
まず、自体のビデオと、参照ビデオである少なくとも1つ以上の周辺ビデオとが入力され、入力された自体のビデオおよび周辺ビデオに対して空間軸で空間フィルタを使用して多階層解像度で分離する。また、分離された低解像度画像フレームに対して時間軸で自体の隣接フレームだけでなく、参照フレームとして周辺のフレームを参照して階層的動き予測を介して時空間スケーラブルビデオコーディングを遂行する。また、前記分離された高解像された画像フレームに対して時間軸で自体ビデオフレームに対する下位階層だけでなく、参照ビデオである周辺ビデオフレームの下位階層を参照して階層的動き予測を介してスケーラブルビデオコーディングを遂行する。また、コーディングされた低解像度画像と、コーディングされた少なくとも1つ以上の高解像度画像とを多重化してビットストリームを生成する。
【００７９】
このように、拡張されたスケーラブルビデオコーディングは、参照フレームとして自体の隣接フレームおよび下位階層フレームだけを使用する単一時点ビデオに対するスケーラブルビデオコーディングとは異なり、参照フレームとして自体の下位階層フレームだけでなく、周辺の下位階層フレームを使用する。
【００８０】
一方、本発明に係るマルチビュービデオに対するスケーラブルビデオデコーディング装置は、前述したようなコーディング装置とは逆に遂行される。
【００８１】
本発明に係るデコーディング装置について説明すると、デコーディング装置は、１つの基礎ビデオに対してスケーラブルコーディングされたビットストリームを受信し、逆時間変換および逆空間変換を介して復元する基礎スケーラビリティビデオデコーダと、同一時点で撮影された自体のビデオと参照ビデオとに対して時空間予測を介してスケーラブルコーディングされたビットストリームを受信して、自体の下位階層だけでなく、参照ビデオである他のビデオフレームの下位階層の参照可否に応じて逆時空間予測を介して少なくとも1つ以上の高解像度画像フレームを復元し、自体の隣接フレームだけでなく、同一時間軸で前記他のビデオフレームの参照可否に応じて逆時空間予測を介して低解像度画像フレームを復元した後、前記復元された高解像度画像フレームと、前記復元された低解像度画像フレームとに対して逆空間フィルタリングを介して画像を復元する複数の拡張されたスケーラビリティビデオデコーダを備える。
【００８２】
本発明に係るデコーディング装置において、基礎スケーラビリティビデオデコーダは、従来のスケーラブルビデオデコーダと同じ構造を有する。したがって、これに対する具体的な説明は省略する。
【００８３】
本発明において、拡張されたスケーラビリティビデオデコーダは、受信されたビットストリームを逆多重化する逆多重化部と、前記逆多重化部により出力された高解像度画像信号に対して自体のビデオに対する下位階層だけでなく、参照ビデオである他のビデオに対する下位階層の参照可否に応じて逆時空間動き予測を介してスケーラブルデコーディングを遂行する少なくとも1つ以上の向上階層デコーダと、前記逆多重化部により出力された低解像度画像信号に自体のビデオフレームに対する逆時空間動き予測だけでなく、時間軸で参照ビデオフレームに対する逆動き予測を介してスケーラブルデコーディングを遂行する基礎階層デコーダと、前記向上階層デコーディングにより復元された高解像度画像および前記基礎階層デコーダにより復元された低解像度画像に対して逆空間的フィルタリングを介して画像を復元する逆空間的ビデオフィルタリング部とを備える。
【００８４】
ここで、基礎階層デコーダおよび向上階層デコーダは、先に説明した基礎階層エンコーダおよび向上階層デコーダの逆の動きを遂行するもので、これに対する具体的な構造および動作については説明を省略する。
【００８５】
向上階層デコーダは、高解像度画像信号に対するデコーディング時、下位階層の動きベクトル情報の使用可否を表すフラッグと、他のビデオに対する下位階層の参照インデックスを予測情報として利用するのかの可否を表すフラッグと、下位階層のイントラブロックのタイプを予測情報として利用するのかの可否を表すフラッグと、下位階層の差画像値の利用可否に対するフラッグと、予測に使われた参照ビューのインデックスとを参照してスケーラブルデコーディングを遂行する。
【００８６】
一方、前述したような本発明の方法は、コンピュータプログラムとして作成が可能である。また、前記プログラムを構成するコードおよびコードセグメントは、該当分野のコンピュータプログラマーによって容易に推論できる。また、前記作成されたプログラムは、コンピュータが読み出すことができる記録媒体情報保存媒体に保存され、コンピュータによって読み出されて実行されることによって、本発明の方法を具現する。また、前記記録媒体はコンピュータが読取りできるあらゆる形態の記録媒体を含む。
【００８７】
以上で説明した本発明は、本発明が属する技術分野において通常の知識を有する者にとって、本発明の技術的思想を逸脱しない範囲内で色々な置換、変形および変更が可能なため、前述した実施形態および添付された図面により限定されるものではない。
【産業上の利用可能性】
【００８８】
前記のような本発明は、一般的なスケーラブルコーディング技術の時空間階層的構造をマルチビュービデオ間に拡張してマルチビュービデオを効果的に圧縮することができる。また、本発明は、マルチビュービデオに対して時間および空間軸上で階層的構造を構成することで、多様な形態の２次元または３次元端末機にスケーラブルにビデオサービスを提供することができる。
【図１】
2010507961.tif 000004
【図２】
2010507961.tif 000005
【図３】
2010507961.tif 000006
【図４】
2010507961.tif 000007
【図５】
2010507961.tif 000008
【図６】
2010507961.tif 000009
【図７】
2010507961.tif 000010
【図８】
2010507961.tif 000011
【図９】
2010507961.tif 000012
【国際調査報告】
2010507961.tif 000013
2010507961.tif 000014