(57)【要約】  本発明は、少なくとも一つの映像が合成された映像を符号化するために、少なくとも一つの映像の第１成分を符号化して基本階層ビットストリームを生成し、少なくとも一つの映像の第２成分について第１成分との相関度を用いる前処理フィルタリングを行って、前処理フィルタリングされた第２成分を、第１成分を参照して符号化し、向上階層ビットストリームを生成するビデオ符号化方法を開示する。
2014517564.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つの映像が合成された映像を符号化する方法において、
前記少なくとも一つの映像の第１成分を符号化して基本階層ビットストリームを生成する段階と、
前記少なくとも一つの映像の前記第１成分と異なる第２成分と前記第１成分との相関度を用いて、前記第１成分についての前処理フィルタリングを行う段階と、
前記前処理フィルタリングされた第２成分を前記第１成分を参照して符号化し、向上階層ビットストリームを生成する段階と、を含むことを特徴とするビデオ符号化方法。
【請求項２】
前記少なくとも一つの映像は、少なくとも一つの異なる視点で撮影された少なくとも一つの多視点映像を含み、
前記少なくとも一つの映像の第１成分は、左視点映像のうち奇数番目の列と右視点映像のうち偶数番目の列との組み合わせ、または前記左視点映像のうち奇数番目の行と前記右視点映像のうち偶数番目の行との組み合わせと、
前記少なくとも一つの映像の第２成分は、左視点映像のうち偶数番目の列と右視点映像のうち奇数番目の列との組み合わせ、または前記左視点映像のうち偶数番目の行と前記右視点映像のうち奇数番目の行との組み合わせを含むことを特徴とする請求項１に記載のビデオ符号化方法。
【請求項３】
前記前処理フィルタリング実行段階は、
同じ映像の前記第１成分と前記第２成分との位相差を補償するための位相移動フィルタリングを行う段階を含み、
前記位相移動フィルタリングは、前記第２成分のうち隣接するサンプルについての補間フィルタリングを含むことを特徴とする請求項１に記載のビデオ符号化方法。
【請求項４】
前記前処理フィルタリング実行段階は、前記第２成分についての前処理フィルタリングを通じて、前記第１成分と前記第２成分との相関度に基づいた前記第２成分の前記第１成分についての予測値を生成する段階を含み、
前記向上階層ビットストリーム生成段階は、前記第１成分を参照して前記前処理フィルタリングされた第２成分を、階層間予測を行って残差情報を符号化する段階を含むことを特徴とする請求項１に記載のビデオ符号化方法。
【請求項５】
少なくとも一つの映像が合成された映像を復号化する方法において、
受信された基本階層ビットストリームを復号化して前記少なくとも一つの映像の第１成分を復元する段階と、
受信された向上階層ビットストリームを復号化し、前記復元された第１成分を参照して、前記少なくとも一つの映像の前記第１成分とは異なる第２成分を復元する段階と、
前記復元された第２成分について、前記第１成分との相関度を用いる後処理フィルタリングを行う段階と、を含むことを特徴とするビデオ復号化方法。
【請求項６】
前記ビデオ復号化方法は、
前記第１成分及び前記後処理フィルタリングされた第２成分を用いて、前記少なくとも一つの映像を復元する段階をさらに含むことを特徴とする請求項５に記載のビデオ復号化方法。
【請求項７】
前記少なくとも一つの映像は、少なくとも一つの異なる視点で撮影された少なくとも一つの多視点映像を含み、
前記少なくとも一つの映像の第１成分は、左視点映像のうち奇数番目の列と右視点映像のうち偶数番目の列との組み合わせ、または前記左視点映像のうち奇数番目の行と前記右視点映像のうち偶数番目の行との組み合わせと、
前記少なくとも一つの映像の第２成分は、左視点映像のうち偶数番目の列と右視点映像のうち奇数番目の列との組み合わせ、または前記左視点映像のうち偶数番目の行と前記右視点映像のうち奇数番目の行との組み合わせと、を含むことを特徴とする請求項５に記載のビデオ復号化方法。
【請求項８】
前記後処理フィルタリング実行段階は、
同じ映像の前記第１成分と前記第２成分との位相差を補償するための位相移動フィルタリングを行う段階を含み、
前記位相移動フィルタリングは、前記復元された第２成分の隣接しているサンプルについての逆補間フィルタリングを含むことを特徴とする請求項５に記載のビデオ復号化方法。
【請求項９】
前記後処理フィルタリング実行段階は、前記復元された第２成分が、前記第１成分と前記第２成分との相関度に基づいた前記第１成分についての予測値である場合、前記復元された第２成分についての後処理フィルタリングを通じて前記第１成分についての前処理フィルタリングを行う段階を含み、
前記向上階層ビットストリーム復号化段階は、前記向上階層ビットストリームから抽出された前記第１成分と前記第２成分との残差情報について、前記第１成分を参照した階層間の補償を行って前記第２成分を再構成する段階を含むことを特徴とする請求項５に記載のビデオ復号化方法。
【請求項１０】
少なくとも一つの映像が合成された映像を符号化するビデオ符号化装置において、
入力された少なくとも一つの映像成分を、第１成分と、前記第１成分とは異なる第２成分とに分類する階層成分分類部と、
前記少なくとも一つの映像の第１成分を符号化して基本階層ビットストリームを生成する基本階層符号化部と、
前記少なくとも一つの映像の第２成分と前記第１成分との相関度を向上させるために、前記第２成分についての前処理フィルタリングを行う前処理フィルタリング部と、
前記前処理フィルタリングされた第２成分を前記第１成分を参照して符号化し、向上階層ビットストリームを生成する向上階層符号化部と、を備えることを特徴とするビデオ符号化装置。
【請求項１１】
前記階層成分分類部は、前記少なくとも一つの映像をサンプリングし、前記サンプリングされた成分を第１成分と第２成分とに分類する段階をさらに含み、
前記少なくとも一つの映像の第１成分は、左視点映像のうち奇数番目の列と右視点映像のうち偶数番目の列との組み合わせ、または前記左視点映像のうち奇数番目の行と前記右視点映像のうち偶数番目の行との組み合わせを含み、
前記少なくとも一つの映像の第２成分は、左視点映像のうち偶数番目の列と右視点映像のうち奇数番目の列との組み合わせ、または前記左視点映像のうち偶数番目の行と前記右視点映像のうち奇数番目の行との組み合わせを含むことを特徴とする請求項１０に記載のビデオ復号化方法。
【請求項１２】
少なくとも一つの映像が合成された映像を復号化するビデオ復号化装置において、
受信された基本階層ビットストリームを復号化して前記少なくとも一つの映像の第１成分を復元する基本階層復号化部と、
受信された向上階層ビットストリームを復号化し、前記第１成分を参照して前記少なくとも一つの映像の前記第１成分と異なる第２成分を復元する向上階層復号化部と、
前記復元された第２成分と前記第１成分との相関度を用いて前記第２成分についての後処理フィルタリングを行う後処理フィルタリング部と、
前記第１成分及び前記後処理フィルタリングされた第２成分を用いて前記少なくとも一つの映像を復元する映像復元部と、をさらに備えることを特徴とするビデオ復号化装置。
【請求項１３】
前記階層成分分類部は、前記少なくとも一つの映像をサンプリングし、前記サンプリングされた成分を第１成分と第２成分とに分類する段階をさらに含み、
前記少なくとも一つの映像の第１成分は、左視点映像のうち奇数番目の列と右視点映像のうち偶数番目の列との組み合わせ、または前記左視点映像のうち奇数番目の行と前記右視点映像のうち偶数番目の行との組み合わせを含み、
前記少なくとも一つの映像の第２成分は、左視点映像のうち偶数番目の列と右視点映像のうち奇数番目の列との組み合わせ、または前記左視点映像のうち偶数番目の行と前記右視点映像のうち奇数番目の行との組み合わせを含むことを特徴とする請求項１２に記載のビデオ復号化方法。
【請求項１４】
請求項１に記載のビデオ符号化方法を具現するために、コンピュータに実行可能なプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【請求項１５】
請求項８に記載のビデオ復号化方法を具現するために、コンピュータに実行可能なプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、階層間予測を行うビデオ符号化／復号化方法及びその装置に関する。
【背景技術】
【０００２】
Ｈ．２６４  ＭＶＣ方式によるビデオ符号化システムを通じて、３次元ビデオの左視点ピクチャー及び右視点ピクチャーの３次元映像が符号化される場合、基本階層で原本映像の半解像度（Ｈａｌｆ  Ｒｅｓｏｌｕｔｉｏｎ）を持つ３次元映像が符号化され、向上階層では、基本階層の３次元映像の解像度を補完するためのデータが符号化される。
【０００３】
Ｈ．２６４  ＭＶＣ方式によるビデオ復号化システムは、受信されたビットストリームのうち基本階層ビットストリームを復号化して、原本左視点ピクチャー及び原本右視点ピクチャーの半解像度に相応する左視点ピクチャー成分及び右視点ピクチャー成分が復元される。Ｈ．２６４ ＭＶＣ方式によるビデオ復号化システムが向上階層ビットストリームを受信した場合、受信された向上階層ビットストリームを復号化して獲得したデータを用いて、基本階層で復元された低解像度の左視点ピクチャー成分及び右視点ピクチャー成分を補完することで、高解像度の左視点ピクチャー及び右視点ピクチャーが出力される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、少なくとも一つの映像が含まれた合成映像のビデオを、基本階層及び向上階層の階層間予測に基づいて符号化／復号化する時、基本階層及び向上階層間の相関度を考慮した前処理フィルタリングまたは後処理フィルタリングを行う。
【課題を解決するための手段】
【０００５】
一実施形態による少なくとも一つの映像が合成された映像を符号化する方法において、前記少なくとも一つの映像の第１成分を符号化して基本階層ビットストリームを生成する段階と、前記少なくとも一つの映像の前記第１成分と異なる第２成分と前記第１成分との相関度を用いて、前記第１成分についての前処理フィルタリングを行う段階と、前記前処理フィルタリングされた第２成分を前記第１成分を参照して符号化し、向上階層ビットストリームを生成する段階と、を含む。前記少なくとも一つの映像は、少なくとも一つの異なる視点で撮影された少なくとも一つの多視点映像、左視点映像及び右視点映像の３次元映像を含む。
【０００６】
一実施形態による少なくとも一つの映像が合成された映像を復号化する方法において、受信された基本階層ビットストリームを復号化して前記少なくとも一つの映像の第１成分を復元する段階と、受信された向上階層ビットストリームを復号化し、前記復元された第１成分を参照して、前記少なくとも一つの映像の前記第１成分とは異なる第２成分を復元する段階と、前記復元された第２成分について、前記第１成分との相関度を用いる後処理フィルタリングを行う段階と、を含む。
【０００７】
一実施形態による少なくとも一つの映像が合成された映像を符号化するビデオ符号化装置は、入力された少なくとも一つの映像成分を、第１成分と、前記第１成分とは異なる第２成分とに分類する階層成分分類部と、前記少なくとも一つの映像の第１成分を符号化して基本階層ビットストリームを生成する基本階層符号化部と、前記少なくとも一つの映像の第２成分と前記第１成分との相関度を向上させるために、前記第２成分についての前処理フィルタリングを行う前処理フィルタリング部と、前記前処理フィルタリングされた第２成分を前記第１成分を参照して符号化し、向上階層ビットストリームを生成する向上階層符号化部と、を備える。
【０００８】
一実施形態による少なくとも一つの映像が合成された映像を復号化するビデオ復号化装置は、受信された基本階層ビットストリームを復号化して前記少なくとも一つの映像の第１成分を復元する基本階層復号化部と、受信された向上階層ビットストリームを復号化し、前記第１成分を参照して前記少なくとも一つの映像の前記第１成分と異なる第２成分を復元する向上階層復号化部と、前記復元された第２成分と前記第１成分との相関度を用いて前記第２成分についての後処理フィルタリングを行う後処理フィルタリング部と、前記第１成分及び前記後処理フィルタリングされた第２成分を用いて前記少なくとも一つの映像を復元する映像復元部と、をさらに備える。
【０００９】
本発明は、一実施形態によるビデオ符号化方法を具現するために、コンピュータに実行可能なプログラムが記録されたコンピュータで読み取り可能な記録媒体を備える。本発明は、一実施形態によるビデオ復号化方法を具現するために、コンピュータに実行可能なプログラムが記録されたコンピュータで読み取り可能な記録媒体を備える。
【００１０】
他の実施形態による少なくとも一つの映像が合成された映像を復号化する方法において、受信された基本階層ビットストリームを復号化して前記少なくとも一つの映像の第２成分を復元する段階と、受信された向上階層ビットストリームを復号化し、前記第２成分と異なる第１成分を参照して前記少なくとも一つの映像の第２成分を復元する段階と、前記復元された第２成分と前記第１成分との相関度を用いて前記第２成分についての後処理フィルタリングを行う段階と、を含む。
【図面の簡単な説明】
【００１１】
【図１】一実施形態によるビデオ符号化装置のブロック図である。
【図２】一実施形態によるビデオ復号化装置のブロック図である。
【図３】Ｈ．２６４モルティビュビデオコーディング方式による符号化／復号化システムの構造を示す図面である。
【図４】一実施形態による、ビデオ符号化／復号化システム４００を通じる３次元映像のスケーラブルコーディング過程を示す図面である。
【図５】一実施形態による、少なくとも一つのフル解像度映像を伝送するためのビデオ符号化装置のブロック図である。
【図６】一実施形態による、少なくとも一つのフル解像度映像を受信するためのビデオ復号化装置のブロック図である。
【図７】一実施形態による前処理フィルタリング方式を示す図面である。
【図８】一実施形態による後処理フィルタリング方式を示す図面である。
【図９】他の実施形態による前処理フィルタリング方式を示す図面である。
【図１０】他の実施形態による後処理フィルタリング方式を示す図面である。
【図１１】一実施形態によるビデオ符号化方法のフローチャートである。
【図１２】一実施形態によるビデオ復号化方法のフローチャートである。
【発明を実施するための形態】
【００１２】
以下、図１ないし１２を参照して、少なくとも一つの映像を含む合成映像を送受信して、少なくとも一つの映像をフル解像度（Ｆｕｌｌ  Ｒｅｓｏｌｕｔｉｏｎ）で復元できるビデオ符号化方法及びビデオ復号化方法、そしてこの方法を具現するビデオ符号化装置及びビデオ復号化装置について詳述する。
【００１３】
図１は、一実施形態によるビデオ符号化装置１００のブロック図を示す。
【００１４】
一実施形態によるビデオ符号化装置１００は、階層成分分類部１１０、基本階層符号化部１２０、前処理フィルタリング部１３０及び向上階層符号化部１４０を備える。
【００１５】
一実施形態によるビデオ符号化装置１００は、複数の映像から抽出された映像成分が一つの映像に合成された合成映像を符号化する。複数の映像が一つのピクチャーまたは一つのフレームに合成される。一実施形態によるビデオ符号化装置１００は、少なくとも一つの異なる視点で撮影された視点別映像が一つの映像に構成された多視点映像を含む。例えば、一実施形態によるビデオ符号化装置１００は、左視点映像から抽出された一部成分及び右視点映像から抽出された一部成分で構成された３次元映像を符号化する。
【００１６】
したがって、既存のピクチャーまたはフレーム基盤のビデオ符号化システムを用いて、左視点映像及び右視点映像を含む３次元映像が符号化される。但し、一つの３次元映像は、原本左視点映像の半解像度（Ｈａｌｆ  Ｒｅｓｏｌｕｔｉｏｎ）に対応する映像成分及び原本右視点映像の半解像度に対応する映像成分を含む。
【００１７】
一実施形態による階層成分分類部１１０は、入力された少なくとも一つの映像をサンプリングして第１成分と第２成分とに分類する。例えば、一実施形態によるビデオ符号化装置１００が、左視点映像及び右視点映像の映像成分で構成された３次元映像を符号化する場合、階層成分分類部１１０は、左視点映像及び右視点映像をサンプリングして、左視点映像の第１成分として奇数番目の列を抽出し、右視点映像の第１成分として偶数番目の列を抽出する。すなわち、左視点映像及び右視点映像の第１成分として、左視点映像の奇数番目の列と右視点映像の偶数番目の列との組み合わせがサンプリングされる。この場合、階層成分分類部１１０は、左視点映像及び右視点映像の第２成分として、第１成分を除いた残りの成分、すなわち、左視点映像から偶数番目の列をサンプリングし、右視点映像から奇数番目の列をサンプリングする。
【００１８】
類似した方式で、階層成分分類部１１０は、左視点映像及び右視点映像の第１成分として、左視点映像の奇数番目の行及び右視点映像の偶数番目の行をサンプリングする。左視点映像及び右視点映像の第２成分として、第１成分を除いた残りの成分、すなわち、左視点映像の偶数番目の列及び右視点映像の奇数番目の列がサンプリングされる。
【００１９】
一実施形態による階層成分分類部１１０は、左視点映像及び右視点映像の第１成分として、前述した左視点映像の奇数番目の列または行と、右視点映像の偶数番目の列または行との組み合わせだけではなく、左視点映像の奇数番目の列または行と、右視点映像の奇数番目の列または行との組み合わせ、左視点映像の偶数番目の列または行と、右視点映像の奇数番目の列または行との組み合わせ、左視点映像の偶数番目の列または行と、右視点映像の偶数番目の列または行との組み合わせなどもサンプリングする。類似した方式で、左視点映像及び右視点映像の第２成分は、第１成分を除いた残りの映像成分の組み合わせになる。
【００２０】
すなわち、一実施形態による階層成分分類部１１０によって分類された左視点映像及び右視点映像の第１成分は、原本左視点映像の半解像度に対応する映像成分と、原本右視点映像の半解像度に対応する映像成分のみを含む。同様に、一実施形態による階層成分分類部１１０によって分類された左視点映像及び右視点映像の第２成分も、原本左視点映像及び原本右視点映像の半解像度に対応する映像成分のみを含む。
【００２１】
一実施形態によるビデオ符号化装置１００は、基本階層と向上階層とに分類して符号化するスケーラブル符号化方式による。
【００２２】
一実施形態による階層成分分類部１１０によって分類された少なくとも一つの映像の第１成分は、基本階層符号化部１２０に出力されて符号化され、第２成分は、前処理フィルタリング部１３０に出力されて向上階層符号化部１４０を通じて符号化される。よって、基本階層符号化部１２０及び向上階層符号化部１４０ではそれぞれ、原本左視点映像と原本右視点映像との半解像度に対応する映像成分のみを符号化する。
【００２３】
一実施形態による基本階層符号化部１２０は、少なくとも一つの映像の第１成分を符号化して基本階層ビットストリームを生成する。
【００２４】
一実施形態による前処理フィルタリング部１３０は、少なくとも一つの映像の第２成分と第１成分との相関度を用いて、前記第２成分についての前処理フィルタリングを行う。
【００２５】
一実施形態による前処理フィルタリング部１３０は、一映像の第１成分と第２成分との空間的相関度が高いという特徴を用いて、基本階層及び向上階層間予測効率を向上させるために、第２成分について前処理フィルタリングを行う。したがって、一実施形態による前処理フィルタリング部１３０は、第２成分と第１成分との相関度を向上させる各種フィルタを用いる。
【００２６】
一実施形態によるビデオ符号化装置１００は、前処理フィルタリング部１３０で用いられるフィルタに関する情報を符号化して向上階層ビットストリームを出力することもある。
【００２７】
例えば、前処理フィルタリング部１３０は、同じ映像の第１成分と第２成分との位相差を補償するための位相移動フィルタリングを行える。一実施形態による位相移動フィルタリングは、第２成分の隣接するサンプルについての補間フィルタリングを含む。すなわち、一実施形態による位相移動フィルタリングは、左視点映像または右視点映像のうち隣接する奇数番目の列または行についての補間フィルタリング、または隣接する偶数番目の列または行についての補間フィルタリングを含む。
【００２８】
例えば、前処理フィルタリング部１３０が第２成分と第１成分との相関度を向上させるために前記第２成分についてのフィルタリングを行うことで、第２成分が第１成分についての予測値として再構成されることもある。
【００２９】
一実施形態による向上階層符号化部１４０は、前処理フィルタリングされた第２成分を、第１成分を参照して符号化し、向上階層ビットストリームを生成する。向上階層符号化部１４０は、前処理フィルタリングされた第２成分について、第１成分を参照して予測することで符号化する。
【００３０】
一実施形態によるビデオ符号化装置１００は、基本階層符号化部１２０が生成した基本階層ビットストリームと、向上階層符号化部１４０が生成した向上階層ビットストリームとを出力する。少なくとも一つの原本映像のうち半解像度ほどの映像成分のみが符号化された基本階層ビットストリームと、原本映像のうち残りの半解像度ほどの映像成分が符号化された向上階層ビットストリームとが伝送される。
【００３１】
また、前処理フィルタリングを通じて第１成分との相関度がさらに向上した第２成分について、第１成分を参照した予測符号化が行われるため、向上階層ビットストリームの伝送レートが向上する。よって、向上階層ビットストリームの伝送効率が向上するにつれて、一実施形態によるビデオ符号化装置１００のスケーラブル符号化方式による伝送効率が全体的に向上する。
【００３２】
図２は、一実施形態によるビデオ復号化装置２００のブロック図を示す。
【００３３】
一実施形態によるビデオ復号化装置２００は、基本階層復号化部２１０、向上階層復号化部２２０、後処理フィルタリング部２３０及び映像復元部２４０を備える。
【００３４】
一実施形態によるビデオ復号化装置２００は、複数の映像から抽出された映像成分の合成映像が符号化されたビットストリームを受信する。一実施形態によるビデオ復号化装置２００は、少なくとも一つの異なる視点の視点別映像成分で構成された多視点映像、左視点映像及び右視点映像の一部成分が配列された３次元映像などが符号化されたビットストリームを受信する。
【００３５】
一実施形態によるビデオ復号化装置２００は、基本階層と向上階層とに分類して復号化するスケーラブル復号化方式による。よって、一実施形態によるビデオ復号化装置２００は、受信されたビットストリームをパージングして基本階層ビットストリームと向上階層ビットストリームとを分離する。基本階層ビットストリームは、基本階層復号化部２１０に伝達されて復号化され、向上階層ビットストリームは、向上階層復号化部２２０に伝達されて復号化される。
【００３６】
一実施形態による基本階層復号化部２１０は、受信された基本階層ビットストリームを復号化して、少なくとも一つの映像の第１成分を復元する。一実施形態による向上階層復号化部２２０は、受信された向上階層ビットストリームを復号化し、第１成分を参照して少なくとも一つの映像の第２成分を復元する。
【００３７】
一実施形態による向上階層復号化部２２０は、向上階層ビットストリームから第１成分と第２成分との残差成分を復元する。一実施形態による向上階層復号化部２２０は、基本階層復号化部２１０によって復号化された第１成分を参照して、第１成分と第２成分との残差成分について階層間の補償を行うことで第２成分を復元する。
【００３８】
例えば、一実施形態によるビデオ復号化装置２００が左視点映像及び右視点映像の３次元映像を復号化する場合、一実施形態による基本階層復号化部２１０は、基本階層ビットストリームを復号化して、左視点映像の第１成分として奇数番目の列または行を復元し、右視点映像の第１成分として偶数番目の列または行を復元する。すなわち、左視点映像及び右視点映像の第１成分として、左視点映像の奇数番目の列または行と、右視点映像の偶数番目の列または行との組み合わせが復元される。この場合、一実施形態による向上階層復号化部２２０は、左視点映像及び右視点映像の第２成分として、第１成分を除いた残りの成分を復号化することができる。
一実施形態による基本階層復号化部２１０は、左視点映像及び右視点映像の第１成分として、前述した左視点映像の奇数番目の列または行と右視点映像の偶数番目の列または行の組み合わせだけではなく、左視点映像の奇数番目の列または行と右視点映像の奇数番目の列または行の組み合わせ、左視点映像の偶数番目の列または行と右視点映像の奇数番目の列または行の組み合わせ、左視点映像の偶数番目の列または行と右視点映像の偶数番目の列または行の組み合わせなども復元することができる。類似した方式で、一実施形態による向上階層復号化部２２０は、左視点映像及び右視点映像の第２成分として、第１成分を除いた残りの映像成分の組み合わせを復号化する。
【００３９】
すなわち、一実施形態による基本階層復号化部２１０によって復号化された左視点映像及び右視点映像の第１成分は、原本左視点映像及び原本右視点映像の半解像度に対応する映像成分のみを含む。
【００４０】
一実施形態による後処理フィルタリング部２３０は、向上階層復号化部２２０を通じて復元された第２成分と第１成分との相関度を用いて前記第２成分についての後処理フィルタリングを行う。
【００４１】
一実施形態による後処理フィルタリング部２３０は、第２成分と第１成分との相関度を向上させる各種フィルタを用いる。後処理フィルタリング部２３０のフィルタリングにより、第１成分と第２成分との空間的相関度が高いという特徴に基づいて、基本階層及び向上階層間予測効率を向上させる。一実施形態によるビデオ復号化装置２００は、受信したビットストリームから後処理フィルタリング部２３０で用いられるフィルタに関する情報を抽出でき、後処理フィルタリング部２３０は、フィルタ情報を用いて後処理フィルタを構成することもできる。
【００４２】
一実施形態による後処理フィルタリング部２３０は、第２成分と第１成分との相関度を向上させる各種フィルタの一例として、第１成分と前記第２成分との位相差を補償するための位相移動フィルタを用いる。一実施形態による後処理フィルタリング部２３０の位相移動フィルタリングは、向上階層復号化部２２０によって復元された第２成分の隣接しているサンプルについての逆補間フィルタリングを含む。すなわち、一実施形態による後処理フィルタリング部２３０の位相移動フィルタリングは、左視点映像または右視点映像のうち隣接する奇数番目の列または行についての逆補間フィルタリング、または接する偶数番目の列または行についての逆補間フィルタリングを含む。
【００４３】
一実施形態による映像復元部２４０は、基本階層復号化部２１０によって復号化された第１成分と、後処理フィルタリング部２３０によって後処理フィルタリングされた第２成分とを用いて、少なくとも一つの映像を復元する。
【００４４】
例えば、一実施形態によるビデオ復号化装置２００が、左視点映像及び右視点映像の３次元映像が符号化されたビットストリームを受信した場合、基本階層復号化部２１０によって左視点映像及び右視点映像の第１成分が復元され、後処理フィルタリング部２３０の後処理フィルタリングにより、第１成分を除いた左視点映像及び右視点映像の残りの成分が復元されるため、映像復元部２４０は、左視点映像及び右視点映像を復元する。
【００４５】
したがって、一実施形態によるビデオ復号化装置２００によれば、少なくとも一つの映像の原本映像のうち半解像度に対応する映像成分のみが符号化された基本階層ビットストリームが復号化され、残りの映像成分が符号化された向上階層ビットストリームが復号化されて、少なくとも一つの映像を復元するためにさらに用いられる。よって、少なくとも一つの映像のフル解像度の原本映像が復元される。
【００４６】
したがって、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００によれば、左視点映像及び右視点映像のうち半解像度に対応する映像成分のみで構成された３次元映像を基本階層に符号化し、残りの半解像度の映像成分を向上階層に符号化しつつ、基本階層と向上階層との空間的相関度を用いる前処理フィルタリング及び後処理フィルタリングにより向上階層の階層間予測効率を向上させることで、全体３次元映像の符号化／復号化効率を向上させる。
【００４７】
図３は、Ｈ．２６４  ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）方式によるビデオ符号化／復号化システム３００の構造を示す。
【００４８】
Ｈ．２６４  ＭＶＣ方式によるビデオ符号化／復号化システム３００は、基本階層で原本映像の半解像度を持つ３次元映像を符号化／復号化し、向上階層で半解像度を持つ基本階層の３次元映像を補完するためのデータを符号化／復号化する。
【００４９】
例えば、フレーム基盤の２次元ビデオ符号化／復号化システムとの互換性のために、３次元ビデオの左視点ピクチャー３０１及び右視点ピクチャー３０３が、サイドバイサイド（Ｓｉｄｅ−ｂｙ−Ｓｉｄｅ）方式によって３次元ピクチャーで構成される。第１  ３次元多重化器（３Ｄ  ＭＵＸ）３１０は、左視点ピクチャー３０１のうち偶数番目の列３１１と、右視点ピクチャー３０３のうち奇数番目の列３１３とが配列された基本階層３次元ピクチャー３１５を構成する。基本階層３次元ピクチャー３１５は、基本階層ビデオエンコーダ（Ｖｉｄｅｏ  Ｅｎｃｏｄｅｒ）３２０を通じて符号化され、ビットストリームの形で伝送される。
【００５０】
基本階層ビデオデコーダ（Ｖｉｄｅｏ  Ｄｅｃｏｄｅｒ）３３０は、受信されたビットストリームを復号化して基本階層３次元ピクチャー３３５を復元する。基本階層３次元ピクチャー３３５のうち左側領域３３１が、原本左視点ピクチャー３０１のうち半解像度に対応する映像であり、基本階層３次元ピクチャー３３５のうち右側領域３３３が、原本右視点ピクチャー３０３のうち半解像度に対応する映像である。よって、基本階層ビデオデコーダ３３０は、原本左視点ピクチャー３０１及び原本右視点ピクチャー３０３の半解像度を持つ映像を復元する。
【００５１】
しかし、Ｈ．２６４  ＭＶＣ方式によるビデオ符号化／復号化システム３００は、スケーラブルコーディング方式によって、基本階層と向上階層別に符号化／復号化を行う。第２ ３次元多重化器（３Ｄ  ＭＵＸ）３５０は、左視点ピクチャー３０１のうち奇数番目の列３５１と、右視点ピクチャー３０３のうち偶数番目の列３５３とが配列された向上階層３次元ピクチャー３５５を構成する。向上階層３次元ピクチャー３５５は、向上階層ビデオエンコーダ（Ｅｎｈａｎｃｅｍｅｎｔ  Ｌａｙｅｒ（ＥＬ）Ｖｉｄｅｏ  Ｅｎｃｏｄｅｒ）３６０を通じて符号化され、向上階層ビットストリームが伝送される。
【００５２】
向上階層ビデオデコーダ（ＥＬ  Ｖｉｄｅｏ  Ｄｅｃｏｄｅｒ）３７０は、受信された向上階層ビットストリームを復号化して向上階層３次元ピクチャー３７５を復元する。向上階層３次元ピクチャー３７５のうち左側領域３７１で、原本左視点ピクチャー３０１のうち半解像度を持つ残りの映像が復元され、向上階層３次元ピクチャー３７５のうち右側領域３７３で、原本右視点ピクチャー３０３のうち半解像度を持つ残りの映像が復元される。
【００５３】
第１  ３次元逆多重化器（３Ｄ  ＲｅＭｕｘ）３４０は、基本階層ビデオデコーダ３３０によって復元された基本階層３次元ピクチャー３３５のうち左側領域３３１を、復元左視点映像３９１の偶数番目の列として配列し、向上階層３次元ピクチャー３７５のうち左側領域３７１を、復元左視点映像３９１の奇数番目の列として配列する。これにより、原本左視点ピクチャー３０１と解像度の同一なフル解像度の復元左視点映像３９１が出力される。
【００５４】
また、第２  ３次元逆多重化器３８０は、向上階層ビデオデコーダ３７０によって復元された向上階層３次元ピクチャー３７５のうち右側領域３７３を、復元右視点映像３９３の偶数番目の列として配列し、基本階層３次元ピクチャー３３５のうち右側領域３３３を、復元右視点映像３９３の奇数番目の列として配列する。よって、原本右視点ピクチャー３０３と解像度の同一なフル解像度の復元右視点映像３９３が出力される。
【００５５】
したがって、Ｈ．２６４  ＭＶＣ方式によるビデオ符号化／復号化システム３００によって、基本階層及び向上階層を通じて伝送された映像ビットストリームがいずれも復号化されるならば、原本左視点映像及び原本右視点映像と解像度の同一なフル解像度の左視点映像及びフル解像度の右視点映像が復元される。
【００５６】
Ｈ．２６４  ＭＶＣ方式によるビデオ符号化／復号化システム３００が基本階層及び向上階層間予測を行うために、３次元参照プロセッサ（３Ｄ  Ｒｅｆｅｒｅｎｃｅ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ（ＲＰＵ））３６５、３７５が搭載される。符号化段で３次元参照プロセッサ３６５は、階層間予測のために、基本階層３次元映像だけではなく、入力された左視点ピクチャー及び右視点映像を参照せねばならない。符号化段で３次元参照プロセッサ３６５は、階層間予測関連情報が符号化されたビットストリームを伝送し、復号化段の３次元参照プロセッサ３７５は、階層間予測関連情報のビットストリームを受信して、向上階層ビデオデコーダ３７０の階層間予測及び補償を支援する。
【００５７】
したがって、基本階層ビデオエンコーダ３２０と向上階層ビデオエンコーダ３６０との間に、かつ基本階層ビデオデコーダ３３０と向上階層ビデオデコーダ３７０との間にそれぞれ３次元参照プロセッサ３６５、３７５が搭載されるためには、Ｈ．２６４  ＭＶＣ方式によるビデオ符号化／復号化システム３００の向上階層符号化／復号化モジュール３９０のコアが構造的に変更されねばならない。
【００５８】
図４は、一実施形態による、ビデオ符号化／復号化システム４００を通じる３次元映像のスケーラブルコーディング過程を示す。
【００５９】
一実施形態によるビデオ符号化／復号化システム４００は、一実施形態によるビデオ符号化システム１００及び一実施形態によるビデオ復号化システム２００を備える。一実施形態によるビデオ符号化／復号化システム４００は、向上階層符号化のための前処理フィルタリング部１３０及び向上階層復号化のための後処理フィルタリング部２３０を備える。
【００６０】
Ｈ．２６４  ＭＶＣ方式によるビデオ符号化／復号化システム３００は、基本階層で原本映像の半解像度を持つ３次元映像を符号化／復号化し、向上階層で半解像度を持つ基本階層の３次元映像を補完するためのデータを符号化／復号化する。
【００６１】
一実施形態によってビデオ符号化／復号化システム４００を通じて、左視点映像と右視点映像とがサイドバイサイド方式によって合成された３次元映像を符号化／復号化するために、左視点映像のうち偶数番目の列４０１と、右視点映像のうち奇数番目の列４０３とで構成された基本階層入力映像４０５が基本階層符号化部１２０を通じて符号化され、基本階層ビットストリームが伝送される。
【００６２】
基本階層復号化部２１０は、受信された基本階層ビットストリームを復号化して基本階層出力映像４２５を復元する。基本階層出力映像４２５のうち左側領域４２１及び右側領域４２３は、それぞれ原本左視点映像及び原本右視点映像の半解像度に対応する部分であるため、基本階層出力映像４２５は、原本左視点映像及び原本右視点映像の半解像度を持つ。
【００６３】
また、一実施形態によるビデオ符号化／復号化システム４００は、スケーラブルコーディング方式によって、向上階層で符号化／復号化を行える。左視点映像のうち奇数番目の列４１１と、右視点映像のうち偶数番目の列４１３とが配列された向上階層入力映像４１５についての向上階層符号化を行う前に、前処理フィルタリング部１３０は、向上階層入力映像４１５を構成する左視点映像成分及び右視点映像成分について、階層間予測性能を向上させるためのフィルタリングを行える。前処理フィルタリング部１３０のフィルタリングは、正変換及び逆変換の可能なものが望ましい。
【００６４】
向上階層入力映像４１５は、前処理フィルタリング部１３０を通じてフィルタリングされた後、向上階層符号化部１４０を通じて符号化される。向上階層符号化部１４０は、向上階層入力映像４１５のフィルタリングされたデータを、基本階層符号化部１２０を通じて符号化された基本階層入力映像４０５を参照して予測することで、向上階層ビットストリームが出力される。向上階層符号化部１４０は、向上階層入力映像４１５のフィルタリングされたデータの基本階層入力映像４０５についての予測情報、例えば、残差成分を符号化する。
【００６５】
向上階層復号化部２２０は、受信された向上階層ビットストリームを復号化して向上階層出力映像４３５を復号化する。一実施形態による向上階層復号化部２２０は、基本階層復号化部２１０によって復元された基本階層出力映像４２５を参照して補償することで、向上階層出力映像４３５の初期映像が復元される。
【００６６】
向上階層復号化部２２０によって復元された向上階層出力映像４３５の初期映像が、後処理フィルタリング部２３０を通じてフィルタリングされた後で向上階層出力映像４３５が復元される。後処理フィルタリング部２３０は、前処理フィルタリング部１３０で用いられたフィルタの逆変換であるため、向上階層出力映像４３５を構成する左視点映像成分及び右視点映像成分が正確に復元される。
【００６７】
したがって、向上階層復号化部２２０及び後処理フィルタリング部２３０を通じて向上階層出力映像４３５が復元される。復元された向上階層出力映像４３５のうち左側領域４３１及び右側領域４３３は、それぞれ原本左視点映像及び原本右視点映像の半解像度に対応する部分であるため、向上階層出力映像４３５は、原本左視点映像及び原本右視点映像の半解像度を持つ。よって、向上階層出力映像４３５が復元されることで、基本階層出力映像４２５に含まれていない残りの映像成分が復元される。
【００６８】
一実施形態によるビデオ符号化／復号化システム４００によって、基本階層及び向上階層を通じて伝送されたビットストリームがいずれも復号化されるならば、フル解像度の左視点映像及びフル解像度の右視点映像が復元される。
【００６９】
一実施形態による前処理フィルタリング部１３０は、基本階層３次元映像成分と向上階層３次元映像成分との高い相関度を用いて、向上階層３次元映像成分を予め基本階層３次元映像成分と類似しているように調整するフィルタリングを通じて、スケーラブル符号化の階層間予測性能を向上させる。一実施形態による後処理フィルタリング部２３０は、前処理フィルタリング部１３０のフィルタリングの逆変換フィルタリングを行うことで、向上階層出力映像の映像成分を再構成して復元する。したがって、スケーラブル符号化／復号化コア４５０の構造的変更なしに階層間予測が効率的に行われる。
【００７０】
図５は、一実施形態によって少なくとも一つのフル解像度映像を伝送するためのビデオ符号化装置５００のブロック図を示す。
【００７１】
一実施形態によるビデオ符号化装置５００は、基本階層で第１原本映像５０１及び第２原本映像５０３の半解像度を持つ３次元映像が符号化され、向上階層で半解像度を持つ基本階層の３次元映像を補完するために、第１原本映像５０１及び第２原本映像５０３の残りの映像成分を持つ映像が符号化される。
【００７２】
第１空間データパッキング及びサンプリング部５１０及び第２空間データパッキング及びサンプリング部５２０は、階層成分分類部１１０の一例であり、第１原本映像５０１及び第２原本映像５０３の空間的映像成分を列ごとにに交互にサンプリングする。
【００７３】
したがって、第１空間データパッキング及びサンプリング部５１０は、第１原本映像５０１から偶数番目の列をサンプリング及びパッキングして基本階層入力映像５１５の左側領域５１１に配列し、第２原本映像５０３から偶数番目の列をサンプリング及びパッキングして基本階層入力映像５１５の右側領域５１３に配列する。
【００７４】
第２空間データパッキング及びサンプリング部５２０は、基本階層入力映像５１５の補完データとして、第１空間データパッキング及びサンプリング部５１０がサンプリングしていない残りの映像成分をサンプリングする。したがって、第２空間データパッキング及びサンプリング部５２０は、第１原本映像５０１から奇数番目の列をサンプリング及びパッキングして向上階層入力映像５２５の左側領域５２１に配列し、第２原本映像５０３から奇数番目の列をサンプリング及びパッキングして向上階層入力映像５２５の右側領域５２３に配列する。
【００７５】
向上階層符号化部１４０でビットストリームに符号化される前に、前処理フィルタリング部５３０は、向上階層入力映像５２５について階層間予測性能を向上させるためのフィルタリングを行える。第１原本映像５０１及び第２原本映像５０３のうち一つの原本映像中で、偶数番目の列の映像成分及び奇数番目の列の映像成分は空間的に隣接しているため、空間的相関度が高くて位相差がある。したがって、原本映像の偶数番目の列の映像成分で構成される基本階層入力映像５１５と、原本映像の奇数番目の列の映像成分で構成される向上階層入力映像５２５との空間的相関度が高い。
【００７６】
前処理フィルタリング部１３０は、基本階層入力映像５１５及び向上階層入力映像５２５のかかる空間的特徴を用いて、位相差を補償するための位相移動フィルタリングを行える。すなわち、前処理フィルタリング部１３０は、向上階層入力映像５２５について、基本階層入力映像５１５との位相差を補償するための位相移動フィルタリングを行うことで、基本階層入力映像５１５についての予測値で構成された向上階層フィルタリング映像５３５を出力する。
【００７７】
具体的に前処理フィルタリング部１３０は、向上階層入力映像５２５の左側領域５２１に配列された第１原本映像５０１の奇数番目の列について位相移動フィルタリングを行って、基本階層入力映像５１５の左側領域５１１に配列された第１原本映像５０１の偶数番目の列についての予測値を生成する。
【００７８】
また、前処理フィルタリング部５３０は、向上階層入力映像５２５の右側領域５２３に配列された第２原本映像５０３の奇数番目の列について位相移動フィルタリングを行って、基本階層入力映像５１５の右側領域５１３に配列された第２原本映像５０３の偶数番目の列についての予測値を生成する。
【００７９】
したがって、前処理フィルタリング部５３０によって生成された結果データは、向上階層入力映像５２５を構成する第１原本映像５０１の奇数番目の列の偶数番目の列についての予測値と、向上階層入力映像５２５を構成する第２原本映像５０３の奇数番目の列の偶数番目の列についての予測値である。第１原本映像５０１の偶数番目の列についての予測値及び第２原本映像５０３の偶数番目の列についての予測値は、それぞれ向上階層フィルタリング映像５３５の左側領域５３１及び右側領域５３３を構成する。
【００８０】
一実施形態による前処理フィルタリング部５３０に通じて、向上階層フィルタリング映像５３５は、基本階層入力映像５１５との空間的相関度がさらに向上することで、階層間予測による残差成分が低減して伝送レートが増加するため、階層間予測性能が向上する。
【００８１】
基本階層入力映像５１５は、基本階層符号化部１２０を通じて符号化され、向上階層フィルタリング映像５３５は、向上階層符号化部１４０を通じて符号化される。向上階層符号化部１４０は、向上階層フィルタリング映像５３５を、基本階層入力映像５１５を参照して予測する。多重化器５４０が、基本階層符号化部１２０から出力された基本階層ビットストリーム及び、向上階層符号化部１４０から出力された向上階層ビットストリームを多重化して、出力ビットストリームを伝送する。
【００８２】
図６は、一実施形態による少なくとも一つのフル解像度映像を受信するためのビデオ復号化装置６００のブロック図を示す。
【００８３】
一実施形態によるビデオ復号化装置６００を通じて、基本階層で第１原本映像５０１及び第２原本映像５０３の半解像度を持つ３次元映像が復号化され、向上階層で半解像度を持つ基本階層の３次元映像を補完するための映像成分を復号化して、第１原本映像５０１及び第２原本映像５０３と同じ解像度の第１復元映像６４５及び第２復元映像６５５を復元する。
【００８４】
逆多重化器６１０は、受信されたビットストリームをパージングして基本階層ビットストリームを基本階層復号化部２１０に伝達し、向上階層ビットストリームを向上階層復号化部２２０に伝達する。
【００８５】
基本階層復号化部２１０は、受信された基本階層ビットストリームを復号化して基本階層出力映像６１５を復元する。基本階層出力映像６１５のうち左側領域６１１及び右側領域６１３は、それぞれ第１原本映像５０１の偶数番目の列及び第２原本映像５０３の偶数番目の列に対応する部分であるため、基本階層出力映像６１５は、第１原本映像５０１及び第２原本映像５０３の半解像度を持つ。
【００８６】
向上階層復号化部２２０は、受信された向上階層ビットストリームを復号化して向上階層復元映像６２５を復元する。一実施形態による向上階層復号化部２２０は、基本階層復号化部２１０によって復元された基本階層出力映像６１５を参照して補償することで、向上階層復元映像６２５が復元される。向上階層復元映像６２５は、第１原本映像５０１及び第２原本映像５０３の半解像度を持つ。
【００８７】
向上階層復号化部２２０によって復元された向上階層復元映像６２５が、後処理フィルタリング部６３０を通じてフィルタリングされた後で向上階層出力映像４３５が復元される。後処理フィルタリング部６３０は、前処理フィルタリング部５３０で用いられた位相移動フィルタの逆変換であるため、向上階層復元映像６２５を構成する第１原本映像５０１の奇数番目の列及び第２原本映像５０３の奇数番目の列に対応する映像成分が正確に復元される。
【００８８】
すなわち、後処理フィルタリング部６３０は、向上階層復元映像６２５について基本階層出力映像６１５との位相差を復元するための位相移動フィルタリングを行って向上階層復元映像５３５を出力する。
【００８９】
具体的に後処理フィルタリング部６３０は、向上階層復元映像６２５の左側領域５３１に配列された第１原本映像５０１の奇数番目の列の偶数番目の列についての予測値について、前処理フィルタリングの逆変換フィルタリングを行って第１原本映像５０１の奇数番目の列を復元する。
【００９０】
また、後処理フィルタリング部６３０は、向上階層復元映像６２５の右側領域５３３に配列された第２原本映像５０３の奇数番目の列の偶数番目の列についての予測値について、前処理フィルタリングの逆変換フィルタリングを行って第２原本映像５０３の奇数番目の列を復元する。
【００９１】
後処理フィルタリング部６３０によって復元された向上階層出力映像６３５の左側領域６３１及び右側領域６３３は、第１原本映像５０１の奇数番目の列及び第２原本映像５０３の奇数番目の列の映像成分に対応する。復元された向上階層出力映像６３５も、第１原本映像５０１及び第２原本映像５０３の半解像度を持つ。
【００９２】
第１空間データデパッキング及びアップコンバージョン（Ｄｅ−ｐａｃｋｉｎｇ  ａｎｄ  Ｕｐｃｏｎｖｅｒｓｉｏｎ）部６４０と、第２空間データデパッキング及びアップコンバージョン部６５０とは、映像復元部２４０の一例であり、基本階層出力映像６１５及び向上階層出力映像６３５を空間的に再構成して第１復元映像６４５及び第２復元映像６５５を出力する。
【００９３】
具体的に、第１空間データデパッキング及びアップコンバージョン部６４０は、基本階層出力映像６１５の左側領域６１１の映像成分を第１復元映像６４５の偶数番目の列に配列し、基本階層出力映像６１５の右側領域６１３の映像成分を第２復元映像６５５の偶数番目の列に配列する。第２空間データデパッキング及びアップコンバージョン部６５０は、向上階層出力映像６３５の左側領域６３１の映像成分を第１復元映像６４５の奇数番目の列に配列し、向上階層出力映像６３５の右側領域６３３の映像成分を第２復元映像６５５の奇数番目の列に配列する。
【００９４】
これによって、第１空間データデパッキング及びアップコンバージョン部６４０及び第２空間データデパッキング及びアップコンバージョン部６５０は、第１原本映像５０１及び第２原本映像５０３の半解像度を持つ基本階層出力映像６１５及び向上階層出力映像６３５を再構成することで、第１原本映像５０１及び第２原本映像５０３と同じ解像度を持つ第１復元映像６４５及び第２復元映像６５５を出力する。
【００９５】
したがって、一実施形態によるビデオ復号化システム５００によって、基本階層及び向上階層を通じて送信されたビットストリームがいずれも復号化されるならば、フル解像度の第１復元映像６４５及び第２復元映像６５５が復元される。
【００９６】
以下、図７及び図９を参照して前処理フィルタリング部５３０の具体的な動作が後述され、図８及び図１０を参照して後処理フィルタリング部６３０の具体的な動作が後述される。図７及び図８は、向上階層映像のピクセルが第１原本映像または第２原本映像の偶数番目のピクセルに対応する場合を、図９及び図１０は、第１原本映像または第２原本映像の奇数番目のピクセルに対応する場合を詳述する。第１原本映像及び第２原本映像のうちいかなる映像であっても前処理フィルタリングの動作原理は同一であるため、以下、図７ないし図１０の説明の便宜のために、‘第１原本映像または第２原本映像’を‘原本映像’と略称する。
【００９７】
図７は、一実施形態による前処理フィルタリング方式を示す。
【００９８】
ピクセル７０１、７０２、７０３、７０４、７０５、７０６、７０７、７０８は、第１原本映像または第２原本映像のサンプルであり、ピクセル７１１、７１３、７１５、７１７は、一実施形態による前処理フィルタリング部５３０によって向上階層入力映像の前処理フィルタリングされたサンプルである。
【００９９】
原本映像のピクセル７０１、７０２、７０３、７０４、７０５、７０６、７０７、７０８のうち奇数番目のピクセルであるピクセル７０２、７０４、７０６、７０８は、原本映像の第１成分として基本階層入力映像を構成し、偶数番目のピクセルであるピクセル７０１、７０３、７０５、７０７は、原本映像の第２成分として向上階層入力映像を構成する。
【０１００】
一実施形態による前処理フィルタリング部５３０は、基本階層入力映像を構成する原本映像の奇数番目のピクセルと、向上階層入力映像を構成する偶数番目のピクセルとの位相差を補償するための位相移動フィルタリングとして、補間フィルタリングを用いる。例えば、前処理フィルタリング部５３０は、向上階層入力映像のピクセルは原本映像の連続する偶数番目のピクセルについての補間フィルタリングを通じて、原本映像で連続する偶数番目のピクセルの間に位置する奇数番目のピクセルの予測値を出力する。すなわち、向上階層入力映像の連続するピクセルについての補間フィルタリングを通じて、基本階層入力映像のピクセル予測値が出力される。
【０１０１】
具体的に、向上階層入力映像を構成するピクセル７０１、７０３、７０５、７０７のうち連続するピクセル７０１及び７０３についての補間フィルタリングを通じて、原本映像で偶数番目のピクセル７０１と７０３との間に位置する奇数番目のピクセルであり、かつ基本階層入力映像を構成するピクセル７０２についての予測値が出力される。類似した方式で、向上階層入力映像の連続するピクセル７０３及び７０５についての補間フィルタリングを通じて、基本階層入力映像のピクセル７０４についての予測値が出力され、向上階層入力映像の連続するピクセル７０５及び７０７についての補間フィルタリングを通じて、基本階層入力映像のピクセル７０６についての予測値が出力される。
【０１０２】
例えば、一実施形態による前処理フィルタリング部５３０は、向上階層入力映像の連続するピクセルについて同じ加重値を付与する補間フィルタリングを行える。ｎが正の整数である時、向上階層入力映像を構成する原本映像の偶数番目のピクセル７０１、７０３、７０５、７０７のピクセル値がＸｅ［ｎ］、基本階層入力映像を構成する原本映像の奇数番目のピクセル７０２、７０４、７０６、７０８がピクセル値がＸｏ［ｎ］、向上階層入力映像について前処理フィルタリングされたピクセル値がＹ［ｎ］である時、一実施形態による前処理フィルタリング部５３０による向上階層入力映像のフィルタリング過程は、下記の数式（１）による。
【０１０３】
Ｙ［０］＝Ｘｅ［０］
Ｙ［１］＝（Ｘｅ［０］＋Ｘｅ［１］＋１）／２≒Ｘｏ［０］
Ｙ［２］＝（Ｘｅ［１］＋Ｘｅ［２］＋１）／２≒Ｘｏ［１］
Ｙ［３］＝（Ｘｅ［２］＋Ｘｅ［３］＋１）／２≒Ｘｏ［２］
…                                                              （１）
数式（１）によれば、一実施形態による前処理フィルタリング部５３０は、向上階層入力映像の連続するピクセルについて、それぞれ１／２の加重値を加える加重和フィルタリングを行うことで基本階層入力映像についての予測値を出力する。よって、基本階層入力映像と向上階層入力映像との階層間予測による符号化を行う時、向上階層入力映像についての前処理フィルタリングを通じて生成された基本階層入力映像の予測値と基本階層入力映像との予測符号化が行われるため、予測性能が向上して伝送データ量も低減できる。
【０１０４】
図８は、一実施形態によって後処理フィルタリング方式を示す。
【０１０５】
ピクセル８１１、８１３、８１５、８１７は、向上階層復号化部２２０を通じて復元された向上階層復元映像のサンプルである。一実施形態による後処理フィルタリング部６３０は、向上階層復元映像のピクセル８１１、８１３、８１５、８１７についての位相移動フィルタリングにより、向上階層出力映像を構成するピクセル８２１、８２３、８２５、８２７を出力する。
【０１０６】
ピクセル８２１、８２２、８２３、８２４、８２５、８２６、８２７、８２８は、第１復元映像または第２復元映像を構成するサンプルである。第１復元映像及び第２復元映像のうちいかなる映像であっても後処理フィルタリング及びデパッキング／アップコンバージョンの動作原理は同一であるため、以下の図８及び図１０についての説明の便宜のために、‘第１復元映像または第２復元映像’を‘復元映像’と略称する。
【０１０７】
基本階層入力映像を構成する原本映像の奇数番目のピクセルと、向上階層入力映像を構成する偶数番目のピクセルとの位相差を補償するための位相移動フィルタリングを行った前処理フィルタリング部５３０の逆変換で、一実施形態による後処理フィルタリング部６３０は逆補間フィルタリングを用いる。例えば、後処理フィルタリング部６３０は、基本階層入力映像のピクセルの予測値である向上階層復元映像のピクセル８１１、８１３、８１５、８１７を用いて、向上階層出力映像のピクセル８２１、８２３、８２５、８２７を復元する。
【０１０８】
例えば、一実施形態による前処理フィルタリング部５３０は、向上階層入力映像の連続するピクセルについて同じ加重値を付与する補間フィルタリングを行った場合、後処理フィルタリング部６３０の逆補間フィルタリング過程は、下記の数式（２）による。ｎが正の整数である時、向上階層ビットストリームから符号化された向上階層復元映像を構成するピクセル８１１、８１３、８１５、８１７のピクセル値がＹ［ｎ］、向上階層復元映像についての後処理フィルタリングを通じて出力された向上階層出力映像のピクセル８２１、８２３、８３５、８２７のピクセル値がＸｅ［ｎ］に表示される。
【０１０９】
Ｘｅ［０］＝Ｙ［０］
Ｘｅ［１］＝２＊Ｙ［１］−Ｘｅ［０］
Ｘｅ［２］＝２＊Ｙ［２］−Ｘｅ［１］
Ｘｅ［３］＝２＊Ｙ［３］−Ｘｅ［２］
…                                            （２）
基本階層ビットストリームから復号化された基本階層出力映像のピクセル８２２、８２４、８３６、８２８のピクセル値がＸｏ［ｎ］に表示される時、向上階層復元映像のピクセル値Ｙ［ｎ］と類似値でありうる。
【０１１０】
したがって、後処理フィルタリング部６３０を通じて、第１復元映像または第２復元映像の偶数番目のピクセルに対応する向上階層出力映像のピクセル８２１、８２３、８３５、８２７が正確に復元される。
【０１１１】
基本階層復号化部２１０は、復元映像の奇数番目のピクセルに対応する基本階層出力映像のサンプルであるピクセル８２２、８２４、８２６、８２８を復元する。よって、向上階層出力映像のピクセル８２１、８２３、８２５、８２７が第１復元映像及び第２復元映像のうち一つの復元映像の偶数番目のピクセルを構成し、基本階層出力映像のピクセル８２２、８２４、８２６、８２８が復元映像の奇数番目のピクセルを構成することで、復元映像が出力される。
【０１１２】
図９は、他の実施形態による前処理フィルタリング方式を示す。
【０１１３】
ピクセル９０１、９０２、９０３、９０４、９０５、９０６、９０７及び９０８は、原本映像のサンプルであり、ピクセル９１１、９１３、９１５、９１７は、他の実施形態による前処理フィルタリング部５３０によって向上階層入力映像の前処理フィルタリングされたサンプルである。
【０１１４】
原本映像の偶数番目のピクセル９０２、９０４、９０６、９０８は、原本映像の第１成分として基本階層入力映像を構成し、奇数番目のピクセル９０１、９０３、９０５、９０７は、原本映像の第２成分として向上階層入力映像を構成する。
【０１１５】
一実施形態による前処理フィルタリング部５３０は、基本階層入力映像を構成する原本映像の偶数番目のピクセルと、向上階層入力映像を構成する奇数番目のピクセルとの位相差を補償するための位相移動フィルタリングとして、補間フィルタリングを用いる。例えば、前処理フィルタリング部５３０は、向上階層入力映像の連続するピクセルについての補間フィルタリングを通じて、原本映像で連続する奇数番目のピクセルの間に位置する偶数番目のピクセルの予測値、すなわち、基本階層入力映像のピクセルの予測値を出力する。
【０１１６】
例えば、一実施形態による前処理フィルタリング部５３０は、向上階層入力映像の連続するピクセルについて同じ加重値を付与する補間フィルタリングを行える。ｎは、０以上Ｌ以下の正の整数である時、向上階層入力映像を構成する原本映像の奇数番目のピクセル９０１、９０３、９０５、９０７のピクセル値がＸｏ［ｎ］、基本階層入力映像を構成する原本映像の偶数番目のピクセル９０２、９０４、９０６、９０８のピクセル値がＸｅ［ｎ］、向上階層入力映像について前処理フィルタリングされたピクセル値がＹ［ｎ］である時、一実施形態による前処理フィルタリング部５３０による向上階層入力映像のフィルタリング過程は、下記の数式（３）による。
【０１１７】
Ｙ［Ｌ−１］＝Ｘｏ［Ｌ−１］
Ｙ［Ｌ−２］＝（Ｘｏ［Ｌ−１］＋Ｘｏ［Ｌ−２］＋１）／２≒Ｘｅ［Ｌ−１］
Ｙ［Ｌ−３］＝（Ｘｏ［Ｌ−２］＋Ｘｏ［Ｌ−１］＋１）／２≒Ｘｅ［Ｌ−２］
Ｙ［Ｌ−４］＝（Ｘｏ［Ｌ−３］＋Ｘｏ［Ｌ−２］＋１）／２≒Ｘｅ［Ｌ−３］
…                                                                  （３）
数式（３）によれば、一実施形態による前処理フィルタリング部５３０は、向上階層入力映像の連続するピクセルについて、それぞれ１／２の加重値を加える加重和フィルタリングを行って基本階層入力映像の予測値を出力する。よって、向上階層入力映像についての前処理フィルタリングを通じて生成された基本階層入力映像の予測値と基本階層入力映像との予測符号化が行われるため、基本階層及び向上階層の階層間予測の性能が向上する。
【０１１８】
図１０は、他の実施形態によって後処理フィルタリング方式を示す。
【０１１９】
ピクセル１０１１、１０１３、１０１５、１０１７は、向上階層復号化部２２０を通じて復元された向上階層復元映像のサンプルである。一実施形態による後処理フィルタリング部６３０は、向上階層復元映像のピクセル１０１１、１０１３、１０１５、１０１７についての位相移動フィルタリングを通じて、向上階層出力映像を構成するピクセル１０２１、１０２３、１０２５、１０２７が出力される。ピクセル１０２１、１０２２、１０２３、１０２４、１０２５、１０２６、１０２７、１０２８は、復元映像を構成するサンプルである。
【０１２０】
向上階層入力映像を構成する奇数番目のピクセルについての位相移動フィルタリングを行った前処理フィルタリング部５３０の逆変換として、一実施形態による後処理フィルタリング部６３０は逆補間フィルタリングを用いる。例えば、後処理フィルタリング部６３０は、基本階層入力映像のピクセルの予測値である向上階層復元映像のピクセル１０１１、１０１３、１０１５、１０１７を用いて、向上階層出力映像のピクセル１０２１、１０２３、１０２５、１０２７を復元する。
【０１２１】
例えば、一実施形態による前処理フィルタリング部５３０は、向上階層入力映像の連続するピクセルについて同じ加重値を付与する補間フィルタリングを行った場合、後処理フィルタリング部６３０の逆補間フィルタリング過程は、下記の数式（４）の通りである。ｎが０以上Ｌ以下の正の整数である時、向上階層ビットストリームから符号化された向上階層復元映像を構成するピクセル１０１１、１０１３、１０１５、１０１７のピクセル値がＹ［ｎ］、向上階層復元映像についての後処理フィルタリングを通じて出力された向上階層出力映像のピクセル１０２１、１０２３、１０３５、１０２７のピクセル値がＸｏ［ｎ］に表示される。
【０１２２】
Ｘｏ［Ｌ−１］＝Ｙ［Ｌ−１］
Ｘｏ［Ｌ−２］＝２＊Ｙ［Ｌ−２］−Ｘｏ［Ｌ−１］
Ｘｏ［Ｌ−３］＝２＊Ｙ［Ｌ−３］−Ｘｏ［Ｌ−２］
Ｘｏ［Ｌ−４］＝２＊Ｙ［Ｌ−４］−Ｘｏ［Ｌ−３］
…                                                        （４）
基本階層ビットストリームから復号化された基本階層出力映像のピクセル１０２２、１０２４、１０３６、１０２８のピクセル値がＸｅ［ｎ］に表示される時、向上階層復元映像のピクセル値Ｙ［ｎ］の類似値である。
【０１２３】
したがって、後処理フィルタリング部６３０を通じて、復元映像の奇数番目のピクセルに対応する向上階層出力映像のピクセル１０２１、１０２３、１０２５、１０２７が正確に復元される。
【０１２４】
基本階層復号化部２１０は、復元映像の偶数番目のピクセルに対応する基本階層出力映像のサンプルであるピクセル１０２２、１０２４、１０２６、１０２８を復元する。よって、向上階層出力映像を構成するピクセル１０２１、１０２３、１０２５、１０２７が第１復元映像及び第２復元映像のうち一つの復元映像の奇数番目のピクセルを構成し、基本階層出力映像のピクセル１０２２、１０２４、１０２６、１０２８が復元映像の偶数番目のピクセルを構成することで、復元映像が出力される。
【０１２５】
以上、図７ないし図１０を参照して、多様な実施形態による前処理フィルタリング部５３０及び後処理フィルタリング部６３０が、基本階層及び向上階層の隣接する列間の空間的相関度が高い特徴を用いて、位相移動フィルタリング及び補間フィルタリング方式を採択する実施形態が述べられたが、前処理フィルタリング及び後処理フィルタリングはこれらに限定されるものではない。すなわち、前処理フィルタリング部５３０及び後処理フィルタリング部６３０が基本階層の映像と向上階層の映像との相関度を用いて、階層間予測性能を向上させるための各種フィルタリングを制限なしに採択する。
【０１２６】
図１１は、一実施形態によるビデオ符号化方法のフローチャートを示す。
【０１２７】
段階１１１０で、少なくとも一つの映像が入力され、映像別に第１成分及び第２成分が分類される。映像はピクチャー単位かつフレーム単位で入力されて符号化される。例えば、少なくとも一つの映像は、映像の時間的シーケンス、少なくとも一つの異なる視点で撮影された少なくとも一つの多視点映像、左右視点映像で構成された３次元映像を含む。例えば、映像別に空間データがサンプリングされ、奇数番目の列または行及び偶数番目の列または行に分類されうる。
【０１２８】
段階１１２０で、少なくとも一つの映像から分類された第１成分を基本階層に符号化してビットストリームが生成される。２つ以上の映像から抽出された第１成分で構成された基本階層入力映像が符号化され、基本階層ビットストリームが生成される。
【０１２９】
段階１１３０で、少なくとも一つの映像から分類された第２成分と第１成分との相関度を用いて、第２成分についての前処理フィルタリングが行われる。例えば、第１成分及び第２成分が入力映像の奇数番目の列または行、及び偶数番目の列または行である場合、第１成分と第２成分との空間的相関度が高くて位相差が存在するという点を用いて、位相移動フィルタリングが行われる。よって、入力映像の第２成分で構成された向上階層入力映像について位相移動フィルタリングが行われ、基本階層入力映像との位相差が補償された基本階層入力映像についての予測値で構成された向上階層フィルタリング映像が出力されてもよい。
【０１３０】
段階１１４０で、前処理フィルタリングされた第２成分を、第１成分を参照して予測符号化し、向上階層ビットストリームを生成する。前処理フィルタリングを通じて基本階層入力映像との空間的相関度が向上した向上階層フィルタリング映像と、基本階層入力映像との間に階層間予測が行われるため、予測性能が向上する。
【０１３１】
図１２は、一実施形態によるビデオ復号化方法のフローチャートを示す。
【０１３２】
受信されたビットストリームをパージングして、段階１２１０で基本階層ビットストリームが復号化されて少なくとも一つの映像の第１成分が復元され、段階１２２０で向上階層ビットストリームが復号化され、第１成分を参照して復号化された向上階層ビットストリームから少なくとも一つの映像の第２成分が復元される。
【０１３３】
例えば、受信されたビットストリームは、映像の時間的シーケンス、少なくとも一つの異なる視点で撮影された少なくとも一つの多視点映像、左右視点映像で構成された３次元映像などが符号化されたビットストリームである。基本階層ビットストリームから復元されたデータ及び向上階層ビットストリームから復元されたデータは、それぞれ復元映像を構成する第１成分及び第２成分である。
【０１３４】
例えば、基本階層ビットストリーム及び向上階層ビットストリームから復元されたデータは、復元映像の奇数番目の列または行及び、偶数番目の列または行のピクセル成分に対応する。また、基本階層ビットストリーム及び向上階層ビットストリームの第１領域から復元されたデータは、第１復元映像の奇数番目の列または行及び、偶数番目の列または行のピクセル成分に対応し、基本階層ビットストリーム及び向上階層ビットストリームの第２領域から復元されたデータは、第２復元映像の奇数番目の列または行及び、偶数番目の列または行のピクセル成分に対応する。
【０１３５】
段階１２３０で、向上階層ビットストリームから復元された第２成分と第１成分との相関度を用いて、第２成分についての後処理フィルタリングが行われる。符号化段の前処理フィルタリングの逆過程として、第１成分との相関度がさらに向上するようにフィルタリングされた第２成分を逆フィルタリングすることで、第１成分の補完的特性を持つ第２成分が復元される。
【０１３６】
例えば、符号化段で前処理フィルタリングとして、第１成分と第２成分との位相差を補償する位相移動フィルタリングが行われた場合、向上階層ビットストリームから復号化されたデータについて、第１成分と第２成分との位相差を復元させることで第２成分が復元される。
【０１３７】
段階１２４０で、基本階層ビットストリームから復元された第１成分と、向上階層ビットストリームから復号化された後で後処理フィルタリングを通じて復元された第２成分とを用いて、少なくとも一つの映像が復元される。映像はピクチャー単位かつフレーム単位で入力されて復号化される。
【０１３８】
したがって、一実施形態によるビデオ符号化方法によって、３次元映像のように複数の映像情報が一つの映像に合成されて符号化されるため、既存のフレームまたはピクチャー単位でビデオを符号化／復号化するビデオ符号化／復号化システムと互換できる。また、基本階層で複数の映像情報が一つの映像に合成されて符号化されることで、漏れる映像情報が別途の階層を通じて伝送されるため、復号化過程で全階層の符号化されたビットストリームが受信されるならば、複数の映像がそれぞれ原本映像と同じ解像度に復元されうる。
【０１３９】
一方、前述した実施形態はコンピュータで実行されるプログラムに作成でき、コンピュータで読み取り可能な記録媒体を用いて前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）のような記録媒体を含む。
【０１４０】
これまで本発明についてその望ましい実施形態を中心として説明した。当業者ならば、本発明が本質的な特性から逸脱しない範囲で変形された形態で具現できるということを理解できるであろう。したがって、開示された実施形態は限定的な観点ではなく説明的な観点で考慮されねばならない。範囲は前述した説明ではなく特許請求の範囲に示されており、それと同等な範囲内にあるすべての差は本発明に含まれていると解釈されねばならない。
【図１】
2014517564.tif 000003
【図２】
2014517564.tif 000004
【図３】
2014517564.tif 000005
【図４】
2014517564.tif 000006
【図５】
2014517564.tif 000007
【図６】
2014517564.tif 000008
【図７】
2014517564.tif 000009
【図８】
2014517564.tif 000010
【図９】
2014517564.tif 000011
【図１０】
2014517564.tif 000012
【図１１】
2014517564.tif 000013
【図１２】
2014517564.tif 000014
【国際調査報告】
2014517564.tif 000015
2014517564.tif 000016