(57)【要約】  多視点映像サービスを提供するための多視点映像符号化方法及び装置と多視点映像復号化方法及び装置とが提供される。上記多視点映像符号化方法は、任意の映像コーデックを用いて基本階層映像を符号化するステップと、再構成された基本階層映像及び上記基本階層映像とは異なる視点を有する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成するステップと、上記予測映像を用いて上記異なる視点を有する階層映像を残差符号化するステップとを含む。
2012533925.tif 000002
【特許請求の範囲】
【請求項１】
多視点映像サービスを提供するための多視点映像符号化方法であって、
任意の映像コーデックを用いて基本階層映像を符号化するステップと、
前記符号化された基本階層映像から再構成された基本階層映像及び前記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成するステップと、
前記生成された予測映像を用いて前記異なる視点に対応する階層映像を残差符号化するステップとを有することを特徴とする多視点映像符号化方法。
【請求項２】
前記予測映像を生成するステップは、映像タイプに従って前記予測映像を生成するステップを有することを特徴とする請求項１に記載の多視点映像符号化方法。
【請求項３】
前記基本階層映像の視点は、３次元（３Ｄ）映像の左側視点であり、前記階層映像の視点は、前記３次元映像の右側視点であるか、又は前記階層映像の視点は、右側視点であり、前記基本階層映像の視点は、左側視点であることを特徴とする請求項１に記載の多視点映像符号化方法。
【請求項４】
前記階層映像を残差符号化するステップは、前記階層映像から前記生成された予測映像を減算することにより映像データを取得するステップと、
前記取得された映像データを残差符号化するステップとを有することを特徴とする請求項１に記載の多視点映像符号化方法。
【請求項５】
前記予測映像を生成するステップは、
前記再構成された基本階層映像と、前記予測映像を生成するために使用される前記再構成された階層映像の中で対応する映像を示すフラグ情報に従って前記予測映像を生成するステップを有することを特徴とする請求項１に記載の多視点映像符号化方法。
【請求項６】
前記予測映像を生成するステップは、
前記予測映像を生成するために前記再構成された基本階層映像を使用する場合に、前記再構成された基本階層映像からディスパリティー補償（ＤＣ）を実行するステップをさらに有することを特徴とする請求項１に記載の多視点映像符号化方法。
【請求項７】
前記予測映像を生成するステップは、
前記予測映像を生成するために前記再構成された階層映像を使用する場合に、前記再構成された階層映像から動き補償（ＭＣ）を実行するステップをさらに有することを特徴とする請求項１に記載の多視点映像符号化方法。
【請求項８】
前記予測映像を生成するステップは、
映像タイプがイントラ映像である場合にディスパリティーベクトルを用いて前記予測映像を生成するステップと、
前記映像タイプがインター映像である場合に動きベクトルを用いて前記予測映像を生成するステップとを有することを特徴とする請求項１に記載の多視点映像符号化方法。
【請求項９】
前記再構成された階層映像は、前に再構成された階層映像であることを特徴とする請求項１に記載の多視点映像符号化方法。
【請求項１０】
前記再構成された階層映像は、現在再構成された階層映像であることを特徴とする請求項１に記載の多視点映像符号化方法。
【請求項１１】
前記多視点システムが異なる複数の視点に対応する複数の階層映像を実現する場合に、複数の予測映像は、前記複数の階層映像に対応するように生成されることを特徴とする請求項１に記載の多視点映像符号化方法。
【請求項１２】
多視点映像サービスを提供するための多視点映像符号化装置であって、
任意の映像コーデックを用いて基本階層映像を符号化する基本階層符号化器と、
前記符号化された基本階層映像から再構成された基本階層映像及び前記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成する視点変換器と、
前記生成された予測映像を用いて前記異なる視点に対応する階層映像を残差符号化する残差符号化器とを有することを特徴とする多視点映像符号化装置。
【請求項１３】
前記再構成された階層映像は、前に再構成された階層映像であることを特徴とする請求項１２に記載の多視点映像符号化装置。
【請求項１４】
前記再構成された階層映像は、現在再構成された階層映像であることを特徴とする請求項１２に記載の多視点映像符号化装置。
【請求項１５】
前記視点変換器は、前記予測映像を生成するために前記再構成された基本階層映像を使用する場合に、前記再構成された基本階層映像からディスパリティー補償（ＤＣ）を実行するディスパリティー補償器を有することを特徴とする請求項１２に記載の多視点映像符号化装置。
【請求項１６】
前記視点変換器は、前記再構成された基本階層映像及び前記予測映像を生成するために使用される前記再構成された階層映像の中で対応する映像を示すフラグ情報に従って前記予測映像を生成することを特徴とする請求項１２に記載の多視点映像符号化装置。
【請求項１７】
前記視点変換器は、前記予測映像を生成するために前記再構成された階層映像を使用する場合に、前記再構成された階層映像から動き補償（ＭＣ）を実行する動き補償器を有することを特徴とする請求項１２に記載の多視点映像符号化装置。
【請求項１８】
前記多視点システムが異なる複数の視点に対応する複数の階層映像を実現する場合に、複数の予測映像は、前記複数の階層映像に対応するように生成されることを特徴とする請求項１２に記載の多視点映像符号化装置。
【請求項１９】
前記視点変換器は、映像タイプがイントラ映像である場合にディスパリティーベクトルを用いて前記予測映像を生成し、前記映像タイプがインター映像である場合に動きベクトルを用いて前記予測映像を生成することを特徴とする請求項１２に記載の多視点映像符号化装置。
【請求項２０】
多視点映像サービスを提供するための多視点映像復号化方法であって、
任意の映像コーデックを用いて基本階層映像を再構成するステップと、
前記再構成された基本階層映像及び前記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成するステップと、
残差復号化された階層映像及び前記生成された予測映像を用いて前記異なる視点に対応する階層映像を再構成するステップと
を有することを特徴とする多視点映像復号化方法。
【請求項２１】
前記予測映像を生成するステップは、
前記再構成された基本階層映像と、前記予測映像を生成するために使用される前記再構成された階層映像の中で対応する映像を示すフラグ情報に従って前記予測映像を生成するステップを有することを特徴とする請求項２０に記載の多視点映像復号化方法。
【請求項２２】
前記予測映像を生成するステップは、
前記予測映像を生成するために前記再構成された基本階層映像を使用する場合に、前記再構成された基本階層映像からディスパリティー補償（ＤＣ）を実行するステップをさらに有することを特徴とする請求項２０に記載の多視点映像復号化方法。
【請求項２３】
前記予測映像を生成するステップは、
前記予測映像を生成するために前記再構成された階層映像を使用する場合に、前記再構成された階層映像から動き補償（ＭＣ）を実行するステップをさらに有することを特徴とする請求項２０に記載の多視点映像復号化方法。
【請求項２４】
前記予測映像を生成するステップは、
映像タイプがイントラ映像である場合にディスパリティーベクトルを用いて前記予測映像を生成するステップと、
前記映像タイプがインター映像である場合に動きベクトルを用いて前記予測映像を生成するステップとを有することを特徴とする請求項２０に記載の多視点映像復号化方法。
【請求項２５】
前記再構成された階層映像は、前に再構成された階層映像であることを特徴とする請求項２０に記載の多視点映像復号化方法。
【請求項２６】
前記再構成された階層映像は、現在再構成された階層映像であることを特徴とする請求項２０に記載の多視点映像復号化方法。
【請求項２７】
前記多視点システムが異なる複数の視点に対応する複数の階層映像を実現する場合に、複数の予測映像は、前記複数の階層映像に対応するように生成されることを特徴とする請求項２０に記載の多視点映像復号化方法。
【請求項２８】
多視点映像サービスを提供するための多視点映像復号化装置であって、
任意の映像コーデックを用いて基本階層映像を再構成する基本階層復号化器と、
前記再構成された基本階層映像及び前記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成する視点変換器と、
前記異なる視点に対応する階層映像を残差符号化する残差符号化器と、
前記残差復号化された階層映像に前記生成された予測映像を加えることにより前記異なる視点に対応する前記階層映像を再構成する結合器と
を有することを特徴とする多視点映像復号化装置。
【請求項２９】
前記再構成された階層映像は、前に再構成された階層映像であることを特徴とする請求項２８に記載の多視点映像復号化装置。
【請求項３０】
前記再構成された階層映像は、現在再構成された階層映像であることを特徴とする請求項２８に記載の多視点映像復号化装置。
【請求項３１】
前記視点変換器は、前記予測映像を生成するために前記再構成された基本階層映像を使用する場合に、前記再構成された基本階層映像からディスパリティー補償（ＤＣ）を実行するディスパリティー補償器を有することを特徴とする請求項２８に記載の多視点映像復号化装置。
【請求項３２】
前記視点変換器は、前記再構成された基本階層映像及び前記予測映像を生成するために使用される前記再構成された階層映像の中で対応する映像を示すフラグ情報に従って前記予測映像を生成することを特徴とする請求項２８に記載の多視点映像復号化装置。
【請求項３３】
前記視点変換器は、前記予測映像を生成するために前記再構成された階層映像を使用する場合に、前記再構成された階層映像から動き補償（ＭＣ）を実行する動き補償器を有することを特徴とする請求項２８に記載の多視点映像復号化装置。
【請求項３４】
前記多視点システムが異なる複数の視点に対応する複数の階層映像を実現する場合に、複数の予測映像は、前記複数の階層映像に対応するように生成されることを特徴とする請求項２８に記載の多視点映像復号化装置。
【請求項３５】
前記視点変換器は、映像タイプがイントラ映像である場合にディスパリティーベクトルを用いて前記予測映像を生成し、前記映像タイプがインター映像である場合に動きベクトルを用いて前記予測映像を生成することを特徴とする請求項２８に記載の多視点映像復号化装置。
【請求項３６】
請求項１の方法を実行するためのコンピュータにより実行されることができるプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３７】
請求項２０の方法を実行するためのコンピュータにより実行されることができるプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項３８】
任意の映像コーデックを用いて基本階層映像を符号化する基本階層符号化器と、
前記符号化された基本階層映像から再構成された基本階層映像及び前記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成する視点変換器と、
前記生成された予測映像を用いて前記異なる視点に対応する階層映像を残差符号化する残差符号化器と
前記符号化された基本階層映像及び前記残差符号化された階層映像をビットストリームに多重化し、前記ビットストリームを出力する多重化器と
を有する多視点映像符号化装置と、
前記出力されたビットストリームを受信し、前記受信されたビットストリームを基本階層ビットストリーム及び階層ビットストリームに逆多重化する逆多重化器と、
任意の映像コーデックに対応する映像コーデックを用いて基本階層ビットストリームから前記基本階層映像を再構成する基本階層復号化器と、
前記再構成された基本階層映像及び前記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成する視点変換器と、
残差復号化された階層映像を出力するために前記階層ビットストリームを残差復号化する残差復号化器と、
前記生成された予測映像を前記残差復号化された階層映像に加えることにより異なる視点に対応する前記階層映像を再構成する結合器と
を有する多視点映像復号化装置と
を有することを特徴とする多視点映像提供システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化及び復号化映像シーケンスのための装置及び方法に関し、特に、階層符号化構造（layered  coding  structure）で立体（stereoscopic）映像シーケンスのような多視点映像シーケンスの符号化及び復号化のための方法及び装置に関する。
【背景技術】
【０００２】
関連技術３次元（３Ｄ）映像を符号化する方法の代表的な例は、ＭＰＥＧ−２パート２映像に基づく多視点プロフィール（Multi-view  Profile：ＭＶＰ）（以下、“ＭＰＥＧ−２  ＭＶＰ”と称する）及びＨ．２６４（ＭＰＥＧ−４  ＡＶＣ）アメンドメント４に基づく多視点映像符号化（Multi-view  Video  Coding：ＭＶＣ）（以下,“Ｈ．２６４  ＭＶＣ”と称する）を含む。
【０００３】
立体映像を符号化するためのＭＰＥＧ−２  ＭＶＰ方法は、映像の視点間（inter-view）に存在する重複性を用いてＭＰＥＧ−２のメインプロフィール（Main  Profile）及び階層プロフィール（Scalable  Profile）に基づいて映像符号化を実行する。また、多視点（multi-view）映像を符号化するためのＨ．２６４  ＭＶＣ方法は、映像の視点間に存在する重複性を用いてＨ．２６４に基づいて映像符号化を実行する。
【０００４】
既存のＭＰＥＧ−２  ＭＶＰ及びＨ．２６４  ＭＶＣを用いて符号化された３Ｄ映像シーケンスは、それぞれＭＰＥＧ−２及びＨ．２６４との互換性だけを有するために、ＭＰＥＧ−２又はＨ．２６４に基づかないシステムでは、ＭＰＥＧ−２  ＭＶＰ及びＨ．２６４  ＭＶＣ基盤の３Ｄ映像を使用することができない。例えば、デジタルシネマ（Digital  Cinema）のように他のコーデックを用いるシステムは、使用されるそれぞれのコーデックとの互換性を有しつつ３Ｄ映像サービスを追加で提供できなければならない。しかしながら、ＭＰＥＧ−２  ＭＶＰ及びＨ．２６４  ＭＶＣが他のコーデックを用いるシステムとの互換性に欠けているので、ＭＰＥＧ−２  ＭＶＰやＨ．２６４  ＭＶＣ以外のコーデックを用いるシステムでも３Ｄ映像サービスを容易に提供するための新たな方案が要求される。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、少なくとも上述した問題点及び／又は不都合に取り組み、少なくとも以下の便宜を提供することにある。すなわち、本発明の目的は、様々な映像コーデックとの互換性を提供しつつ多視点映像サービスを提供する映像符号化及び復号化方法と装置を提供することにある。
【０００６】
本発明の他の目的は、階層符号化及び復号化方法に基づいて多視点映像サービスを提供する映像符号化及び復号化方法と装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記のような目的を達成するために、本発明の実施形態の一態様によれば、多視点映像サービスを提供するための多視点映像符号化方法を提供する。上記方法は、任意の映像コーデックを用いて基本階層映像を符号化するステップと、上記符号化された基本階層映像から再構成された基本階層映像及び上記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成するステップと、上記生成された予測映像を用いて上記異なる視点に対応する階層映像を残差符号化するステップとを有することを特徴とする。
【０００８】
本発明の実施形態の他の態様によれば、多視点映像サービスを提供するための多視点映像符号化装置を提供する。上記装置は、任意の映像コーデックを用いて基本階層映像を符号化する基本階層符号化器と、上記符号化された基本階層映像から再構成された基本階層映像及び上記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成する視点変換器と、上記生成された予測映像を用いて上記異なる視点に対応する階層映像を残差符号化する残差符号化器とを有することを特徴とする。
【０００９】
本発明の実施形態のさらに他の態様によれば、多視点映像サービスを提供するための多視点映像復号化方法を提供する。上記方法は、任意の映像コーデックを用いて基本階層映像を再構成するステップと、上記再構成された基本階層映像及び上記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成するステップと、残差復号化された階層映像及び上記生成された予測映像を用いて上記異なる視点に対応する階層映像を再構成するステップとを有することを特徴とする。
【００１０】
本発明の実施形態のさらなる他の態様によれば、多視点映像サービスを提供するための多視点映像復号化装置を提供する。上記装置は、任意の映像コーデックを用いて基本階層映像を再構成する基本階層復号化器と、上記再構成された基本階層映像及び上記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成する視点変換器と、上記異なる視点に対応する階層映像を残差符号化する残差符号化器と、上記残差復号化された階層映像に上記生成された予測映像を加えることにより上記異なる視点に対応する上記階層映像を再構成する結合器とを有することを特徴とする。
【００１１】
本発明の実施形態のさらにその他の態様によれば、任意の映像コーデックを用いて基本階層映像を符号化する基本階層符号化器と、上記符号化された基本階層映像から再構成された基本階層映像及び上記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成する視点変換器と、上記生成された予測映像を用いて上記異なる視点に対応する階層映像を残差符号化する残差符号化器と、上記符号化された基本階層映像及び上記残差符号化された階層映像をビットストリームに多重化し、上記ビットストリームを出力する多重化器とを有する多視点映像符号化装置と、上記出力されたビットストリームを受信し、上記受信されたビットストリームを基本階層ビットストリーム及び階層ビットストリームに逆多重化する逆多重化器と、任意の映像コーデックに対応する映像コーデックを用いて基本階層ビットストリームから上記基本階層映像を再構成する基本階層復号化器と、上記再構成された基本階層映像及び上記基本階層映像の視点とは異なる視点に対応する再構成された階層映像の中の少なくとも１つを用いて予測映像を生成する視点変換器と、残差復号化された階層映像を出力するために上記階層ビットストリームを残差復号化する残差復号化器と、上記生成された予測映像を上記残差復号化された階層映像に加えることにより異なる視点に対応する上記階層映像を再構成する結合器とを有する多視点映像復号化装置を含むことを特徴とする。
【発明の効果】
【００１２】
本発明の他の目的、利点、及び顕著な特徴は、添付の図面及び本発明の実施形態からなされる以下の詳細な説明から、当業者にとって明確になるはずである。
【図面の簡単な説明】
【００１３】
【図１】例示的な実施形態による多視点映像符号化器の構成を示すブロック図である。
【図２】例示的な実施形態による多視点映像符号化器での視点変換器の構成を示すブロック図である。
【図３】例示的な実施形態による多視点映像符号化方法を示すフローチャートである。
【図４】例示的な実施形態による多視点映像符号化器で実行される視点変換方法を示すフローチャートである。
【図５】例示的な実施形態による多視点映像復号化器の構成を示すブロック図である。
【図６】例示的な実施形態による多視点映像復号化器での視点変換器の構成を示すブロック図である。
【図７】例示的な実施形態による多視点映像復号化方法を示すフローチャートである。
【図８】例示的な実施形態による多視点映像復号化器で実行される視点変換方法を示すフローチャートである。
【図９】例示的な他の実施形態に従ってＮ個の向上階層を有する多視点映像符号化器の一構成例を示すブロック図である。
【図１０】例示的な他の実施形態に従ってＮ個の向上階層を有する多視点映像復号化器の一構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。下記の説明において、具体的な構成及び要素のような特定詳細は、単に実施形態の全般的な理解を助けるために提供される。また、公知の機能及び構成に関する具体的な説明は、明瞭性と簡潔性のために省略する。さらに、図面において、同一の構成要素には、可能な限り同一の参照符号及び番号を付するものとする。“少なくとも１つの”との表現は、要素のリストに先行する場合に、要素のリスト全体を変更し、上記リストの個別的な要素を変更しない。
【００１５】
下記の説明では、具体的なコーデックのタイプとしてＨ．２６４及びＶＣ−１のようなコーデックが紹介されているが、このような例示的なコーデックは、例示的な実施形態のさらなる理解を助けるために提供されるだけであり、本発明の範囲を限定するものではない。
【００１６】
例示的な実施形態は、映像符号化／復号化のために既存に使用された任意のコーデックと互換性を保持しつつも３次元（３Ｄ）映像サービスのような多視点映像サービスを提供するために映像符号化器／復号化器の階層的構造を提供する。
【００１７】
例示的な実施形態に従って階層符号化／復号化構造（layered  coding/decoding  structure）で設計された映像符号化器／復号化器は、１つの基本階層（base  layer）映像及び少なくとも１つの向上階層（enhancement  layer）映像を含む多視点映像の符号化／復号化を行う。ここで、この基本階層映像とは、ＶＣ−１及びＨ．２６４のような既存の映像コーデックを用いて既存の方式に基づいて圧縮符号化された映像を意味する。この向上階層映像は、基本階層で使用される映像コーデックのタイプと無関係に、一視点の基本階層映像及びこの基本階層とは異なる視点（view）の向上階層映像の中の少なくとも１つを用いて視点変換された映像を残差符号化することにより得られる映像を意味する。
【００１８】
本明細書において、この向上階層映像は、基本階層映像とは異なる視点を有する映像を意味する。
【００１９】
また、例示的な実施形態において、この基本階層映像が左側視点映像である場合に、向上階層映像は、右側視点映像であり得る。逆に、基本階層映像が右側視点映像である場合に、向上階層映像は、左側視点映像であり得る。基本階層映像及び向上階層映像は、前後視点映像及び上下視点映像のような様々な視点の映像であり得るが、この向上階層映像が１つである場合に、基本階層及び向上階層映像は、説明の便宜上、それぞれ左右視点映像で考慮される。したがって、向上階層映像は、基本階層映像とは異なる視点を有する階層映像として解釈され得る。以下、本明細書において、異なる視点を有する階層映像及び向上階層映像は、等価の意味で理解され得る。また、向上階層映像が複数である場合に、基本階層映像及び複数の向上階層映像を用いて（前後視点映像、上下視点映像などのような）様々な視点の映像を多視点映像として提供され得る。
【００２０】
さらに、例示的な実施形態によると、向上階層映像は、残差映像（residual  picture）を符号化することにより生成される。この残差映像は、向上階層の入力映像と例示的な実施形態に従って視点変換（view  conversion）による予測映像間の差から得られた映像データを符号化した結果として定義される。この予測映像は、再構成された基本階層映像及び再構成された向上階層映像の中の少なくとも１つを用いて生成される。
【００２１】
この基本階層の入力映像を“ｖｉｅｗ  ０”として仮定し、この向上階層の入力映像を“ｖｉｅｗ  １”として仮定する場合に、この再構成された基本階層映像は、入力映像“ｖｉｅｗ  ０”を任意の既存の映像コーデックにより符号化した後に、この符号化された映像を復号化することにより現在再構成される基本階層映像を意味する。この予測映像の生成のために使用される再構成された向上階層映像は、前の残差映像と前の予測映像とを加えて生成された前に再構成された向上階層映像を意味する。また、向上階層の数が複数である場合に、この再構成された向上階層映像は、対応する向上階層とは異なる視点の他の向上階層で現在符号化された残差映像を再構成することにより生成された現在再構成された向上階層映像を意味する。予測映像を生成するための視点変換についての具体的な説明は後述する。
【００２２】
例示的な実施形態による多視点映像符号化器は、基本階層の入力映像を任意の映像コーデックを用いて符号化することにより一視点の基本階層映像をビットストリームで出力し、この視点変換により生成される予測映像を用いて向上階層の入力映像に対する残差符号化を実行することにより基本階層映像の視点とは異なる視点を有する向上階層映像をビットストリームで出力する。
【００２３】
例示的な実施形態による多視点映像復号化器は、この任意の映像コーデックを用いて符号化された一視点の基本階層映像を復号化することにより一視点の基本階層映像を再構成し、基本階層映像の視点とは異なる視点を有するこの符号化された向上階層映像を残差復号化した後に、この視点変換による予測映像を用いてこの異なる視点を有する向上階層映像を再構成する。
【００２４】
一視点の２次元（２Ｄ）映像は、このビットストリームから基本階層のビットストリームを取り、この基本階層のビットストリームを復号化することにより再構成され得、異なる視点を有する向上階層映像、例えば、３Ｄ映像は、基本階層のビットストリームを復号化した後に、例示的な実施形態による視点変換を実行することにより生成された予測映像を向上階層のビットストリームを復号化することにより生成された残差映像と結合することにより再構成され得る。
【００２５】
以下、例示的な実施形態による多視点映像符号化器の構成及び動作について具体的に説明する。説明の便宜のために、次に説明される例示的な実施形態は、視点変換の間に再構成された現在の基本階層映像及び再構成された前の向上階層映像をすべて使用し、向上階層の数は、１である。しかしながら、他の例示的な実施形態がこれに限定されないことに留意すべきである。
【００２６】
図１は、例示的な実施形態による多視点映像符号化器１００の構成を示すブロック図である。図１を参照すると、Ｐ１は、基本階層の入力映像を示し、Ｐ２は、向上階層の入力映像を示す。基本階層符号化器１０１は、既存の映像コーデック（例えば、ＶＣ−１，Ｈ．２６４，ＭＰＥＧ−４，Ｐａｒｔ  ２  Ｖｉｓｕａｌ，ＭＰＥＧ−２  Ｐａｒｔ  ２  Ｖｉｄｅｏ，ＡＶＳ，ＪＰＥＧ２０００など）の中で任意の映像コーデックを用いて既存の方式に従って基本階層で一視点の入力映像Ｐ１を圧縮符号化し、この符号化された基本階層映像を基本階層ビットストリームＰ３で出力する。さらに、基本階層符号化器１０１は、この符号化された基本階層映像を再構成し、この再構成された基本階層映像Ｐ４を基本階層バッファ１０３に記憶する。視点変換器１０５は、現在再構成された基本階層映像（以下、“現在基本階層映像”と称する）Ｐ８を基本階層バッファ１０３から受信する。
【００２７】
残差符号化器１０７は、向上階層の入力映像Ｐ２から視点変換器１０５の予測映像Ｐ５を減算した映像データを減算器１０９を通して受信し、この受信された映像データを残差符号化する。この残差符号化された向上階層映像、すなわち、符号化された残差映像は、向上階層ビットストリームＰ６で出力される。また、残差符号化器１０７は、この残差符号化された向上階層映像を再構成し、再構成された向上階層映像Ｐ７、すなわち、再構成された残差映像を出力する。視点変換器１０５からの予測映像Ｐ５及び再構成された向上階層映像Ｐ７は、加算器１１１により加算され、向上階層バッファ１１３に記憶される。視点変換器１０５は、前に再構成された向上階層映像（以下、“以前向上階層映像”と称する）を向上階層バッファ１１３から受信する。例示的な実施形態において、基本階層バッファ１０３及び向上階層バッファ１１３が個別に図示されたが、他の例示的な実施形態に従って基本階層バッファ１０３及び向上階層バッファ１１３を１つのバッファで実現することも可能である。
【００２８】
視点変換器１０５は、基本階層バッファ１０３から現在基本階層映像Ｐ８を受信し、向上階層バッファ１１３から以前向上階層映像Ｐ９を受信し、視点変換された予測映像Ｐ５を生成する。また、視点変換器１０５は、多視点映像復号化器で復号のために使用される後述する予測映像の制御情報を含む制御情報ビットストリームＰ１０を生成する。この生成された予測映像Ｐ５は、減算器１０９に出力されることにより向上階層ビットストリームＰ６を生成するのに使用されることはもちろん、加算器１１１に出力されることにより次の予測映像を生成するのに使用される。多重化器（ＭＵＸ）１１５は、基本階層ビットストリームＰ３、向上階層ビットストリームＰ６、及び制御情報ビットストリームＰ１０を多重化し、この多重化されたビットストリームＰ３、Ｐ６、Ｐ１０を１つのビットストリームで出力する。
【００２９】
多視点映像符号化器１００は、階層符号化構造を用いた任意の映像符号化方法と互換性があるために、既存のシステムで実現されることができ、３Ｄ映像サービスを含む多視点映像サービスを効率的にサポートすることができる。
【００３０】
図２は、例示的な実施形態による多視点映像符号化器１００の視点変換器１０５の構成を示すブロック図である。図２を参照すると、視点変換器１０５は、Ｍ×Ｎピクセルブロックの単位で映像データを分割し、ブロック単位で予測映像を順次に生成する。具体的に、映像タイプ決定器１０５１は、映像タイプ（Picture  Type）（ＰＴ）に従って現在基本階層映像を用いて予測映像を生成するか、基本階層とは異なる視点の現在再構成された向上階層映像（以下、“現在向上階層映像”と称する）を用いて予測映像を生成するか、又は現在基本階層映像Ｐ８と以前向上階層映像Ｐ９との組合せを用いて予測映像を生成するかを決定する。例えば、現在向上階層映像を用いて予測映像を生成することは、向上階層が複数である場合に適用され得る。
【００３１】
映像タイプ決定器１０５１は、向上階層の入力映像Ｐ２のＰＴに従って現在基本階層映像Ｐ８と以前向上階層映像Ｐ９との参照関係、すなわち、使用するか否かを決定する。例えば、現在符号化される向上階層の入力映像Ｐ２のＰＴがイントラピクチャ（Intra-Picture）である場合に、現在基本階層映像Ｐ８を用いて予測映像Ｐ５の生成のための視点変換を実行し得る。また、複数の向上階層が提供され、ＰＴがイントラピクチャである場合に、現在向上階層映像だけを用いて予測映像の生成のための視点変換を実行することができる。
【００３２】
また、実施形態に従って、向上階層の入力映像Ｐ２のＰＴがインターピクチャ（Inter-Picture）である場合に、現在基本階層映像Ｐ８及び以前向上階層映像Ｐ９を用いて予測映像Ｐ５の生成のための視点変換を実行することができる。ＰＴは、例示的な実施形態の多視点映像符号化器が適用されたシステムの上位階層で与えられ得る。ＰＴは、イントラ映像及びインター映像の中の１つとして予め定められたタイプであり得る。
【００３３】
ディスパリティー予測器／動き予測器（ＤＥ／ＭＥ）１０５３は、映像タイプ決定器１０５１の決定結果に基づいて現在基本階層映像Ｐ８を用いてブロック単位のディスパリティー予測（Disparity  Estimation：ＤＥ）を実行することによりディスパリティーベクトルを出力するか、又は現在基本階層映像Ｐ８及び以前向上階層映像Ｐ９を用いてブロック単位のディスパリティー予測（ＤＥ）及び動き予測（Motion  Estimation：ＭＥ）を実行することにより関連するブロックのディスパリティーベクトル及び動きベクトルをそれぞれ出力する。また、向上階層が複数個である場合に、ＤＥ／ＭＥ１０５３は、対応する向上階層の入力映像の視点とは異なる視点を有する他の向上階層で現在向上階層映像を用いてブロック単位のＤＥを実行することができる。
【００３４】
このディスパリティーベクトル及びこの動きベクトルは、現在基本階層映像及び以前／現在向上階層映像の中でどの参照映像（ｓ）を用いるかに従って異なって名づけられるように解釈され得、使用される参照映像（ｓ）に基づく予測過程及びベクトル出力過程は、同一の方法で実行され得る。
【００３５】
視点変換器１０５は、視点変換をマクロブロック単位、例えば、Ｍ×Ｎピクセルブロック単位で実行する。視点変換の一実施形態として、ＤＥ／ＭＥ１０５３は、Ｍ×Ｎピクセルブロック単位でディスパリティーベクトル及び動きベクトルの中の少なくとも１つを出力し得る。他の実施形態として、ＤＥ／ＭＥ１０５３は、Ｍ×Ｎピクセルブロック単位でブロックの領域を様々な方法でＫ個のパーテーションに分け、Ｋ個のディスパリティーベクトル及び／又は動きベクトルを出力し得る。
【００３６】
例えば、視点変換器１０５が１６×１６ピクセルブロック単位で視点変換を実行する場合に、ＤＥ／ＭＥ１０５３は、１６×１６ピクセルブロックごとにディスパリティーベクトル又は動きベクトルを出力し得る。他の実施形態として、視点変換器１０５が１６×１６ピクセルブロックをＫ個のパーテーションに分け視点変換を実行する場合に、ＤＥ／ＭＥ１０５３は、１６×１６ピクセルブロック単位の１Ｋ個のディスパリティーベクトルや動きベクトル又は８×８ピクセルブロック単位の４Ｋ個のディスパリティーベクトルや動きベクトルを選択的に出力し得る。
【００３７】
モード選択器１０５５は、予測映像を生成しようとするＭ×Ｎピクセルブロックに対して現在基本階層映像又は以前向上階層映像を参照して補償を実行するか否かを決定する。向上階層が複数個である場合に、モード選択器１０５５は、対応する向上階層の視点とは異なる視点を有する他の向上階層で現在向上階層映像を参照して補償を実行するか否かを選択する。
【００３８】
ＤＥ／ＭＥ１０５３により実行されるＤＥ及び／又はＭＥの結果に基づいて、モード選択器１０５５は、ディスパリティーベクトルを用いてＤＥモードに従って現在のＭ×Ｎピクセルブロックに対してディスパリティー補償（Disparity  Compensation：ＤＣ）を実行するか又は動きベクトルを用いてＭＥモードに従って動き補償を実行するようにＤＥモード及びＭＥモードの中で最適のモードを選択する。モード選択器１０５５は、Ｍ×Ｎピクセルブロックを複数のパーテーションに分け、複数のディスパリティーベクトル又は複数の動きベクトルを使用するかを決定し得る。この決定された情報は、後述する予測映像の制御情報を有する多視点映像復号化器に伝達され得る。この際に、分けられたパーテーションの個数は、予め定められ得る。
【００３９】
ディスパリティー補償器／動き補償器（ＤＣ／ＭＣ）１０５７は、モード選択器１０５５で選択された最小予測値を有するモードがＤＥモードであるか又はＭＥモードであるかに従ってＤＣを実行するか又はＭＣを実行することにより予測映像Ｐ５を生成する。モード選択器１０５５で選択されたモードがＤＥモードである場合に、ＤＣ／ＭＣ１０５７は、現在基本階層映像でディスパリティーベクトルを用いてＭ×Ｎピクセルブロックを補償することにより予測映像Ｐ５を生成する。この選択されたモードがＭＥモードである場合に、ＤＣ／ＭＣ１０５７は、以前向上階層映像で動きベクトルを用いてＭ×Ｎピクセルブロックを補償することにより予測映像Ｐ５を生成する。例示的な実施形態によると、この選択されたモードがＤＥモードであるか又はＭＥモードであるかを示すモード情報は、例えば、フラグ情報の形態で多視点映像復号化器に伝達され得る。
【００４０】
エントロピー符号化器１０５９は、予測映像が生成される各ブロックに対して、モード情報及びディスパリティーベクトル情報又は動きベクトル情報を含む予測映像の制御情報をエントロピー符号化し、制御情報ビットストリームＰ１０で符号化された情報を出力する。例えば、制御情報ビットストリームＰ１０は、向上階層ビットストリームＰ６の映像ヘッダー（picture header）に挿入された後に多視点映像復号化器に伝達され得る。この予測映像の制御情報の中でこのディスパリティーベクトル情報及び動きベクトル情報は、エントロピー符号化の間に同一のシンタックス（syntax）を使用して制御情報ビットストリームＰ１０に挿入され得る。
【００４１】
１つ又は複数の例示的な実施形態に従う多視点映像符号化方法は、図３及び図４を参照して説明する。
【００４２】
図３は、例示的な実施形態による多視点映像符号化方法を示すフローチャートである。図３を参照すると、ステップ３０１で、基本階層符号化器１０１は、コーデックを用いて第１の視点の基本階層の入力映像を符号化することにより基本階層ビットストリームを出力する。基本階層符号化器１０１は、この符号化された基本階層映像を再構成し、この再構成された基本階層映像を基本階層バッファ１０３に記憶する。一方、残差符号化器１０７は、前の時間で第２の視点の向上階層で前の入力映像を残差符号化し、この符号化された向上階層映像を再構成し、この再構成された向上階層映像を出力すると仮定する。したがって、前に再構成された向上階層映像は、視点変換器１０５で前に生成された予測映像に加えられた後に向上階層バッファ１１３に記憶された状態である。
【００４３】
ステップ３０３で、視点変換器１０５は、基本階層バッファ１０３から再構成された基本階層映像を受信し、向上階層バッファ１１３から再構成された向上階層映像を受信する。この後に、視点変換器１０５は、再構成された基本階層映像及び再構成された向上階層映像の中の少なくとも１つを用いて向上階層の入力映像に対して視点変換された予測映像を生成する。上述したように、視点変換器１０５は、現在基本階層映像を用いて予測映像を生成するか又は現在基本階層映像及び対応する向上階層で以前向上階層映像を用いて予測映像を生成し得る。ステップ３０５で、残差符号化器１０７は、第２の視点の向上階層の入力映像からこの予測映像を減算することにより得られた映像データを残差符号化し、この符号化された向上階層映像を出力する。
【００４４】
ステップ３０７で、多重化器１１５は、ステップ３０１で符号化された基本階層映像及びステップ３０５で符号化された向上階層映像を多重化し、この多重化された映像をビットストリームで出力する。図３の実施形態では、便宜上、向上階層の数を１つに例示的に仮定したが、この向上階層は、複数であり得る。この場合に、上述したように、現在基本階層映像及び以前向上階層映像を用いて予測映像を生成するか又は対応する向上階層の視点とは異なる視点を有する他の向上階層で現在向上階層映像を用いて予測映像を生成し得る。
【００４５】
図３の実施形態では、基本階層映像の符号化過程及び向上階層映像の符号化過程が順次に示されているが、基本階層映像の符号化及び向上階層映像の符号化は、並列にも実行され得ることが分かる。
【００４６】
図４は、例示的な実施形態による多視点映像符号化器で実行される視点変換方法を示すフローチャートである。例示的な実施形態において、予測映像の生成の間に処理されるマクロブロックは、１６×１６ピクセルブロックである。このマクロブロックのサイズは、例示であるだけであり、他の実施形態がこれに限定されるのではない。
【００４７】
図４を参照すると、ステップ４０１で、映像タイプ決定器１０５１は、向上階層で現在符号化される入力映像のＰＴがイントラ映像であるか又はインター映像であるかを決定する。ステップ４０１で、ＰＴがイントラ映像として決定される場合に、ステップ４０３で、ＤＥ／ＭＥ１０５３は、現在基本階層映像を参照映像として用いて１６×１６ピクセルブロック単位及び８×８ピクセルブロック単位のＤＥをそれぞれ実行することにより各ピクセルブロックの予測値（cost）を計算する。ステップ４０１で、ＰＴがインター映像として決定される場合に、ステップ４０５で、ＤＥ／ＭＥ１０５３は、現在基本階層映像及び以前向上階層映像を参照映像として用いて１６×１６ピクセルブロック単位及び８×８ピクセルブロック単位のＤＥ及びＭＥをそれぞれ実行することにより各ピクセルブロックの予測値を計算する。ステップ４０３及びステップ４０５で計算された予測値は、現在入力映像ブロックとディスパリティーベクトル又は動きベクトルに基づいて現在入力映像ブロックに対応するブロック間の差を意味する。予測値の一例は、ＳＡＤ（Sum  of  Absolute  Difference）及びＳＳＤ（Sum  of  Square  Difference）などを含む。
【００４８】
ステップ４０７で、現在符号化される向上階層の入力映像がイントラ映像である場合に、モード選択器１０５５は、１６×１６ピクセルブロックに対してＤＥを実行することにより得られた予測値を１６×１６ピクセルブロック内の８×８ピクセルブロックに対してＤＥを実行することにより得られた予測値と比較することにより最小予測値を有するＤＥモードを選択する。現在符号化される向上階層の入力映像がインター映像である場合に、モード選択器１０５５は、１６×１６ピクセルブロックに対してＤＥを実行することにより得られた予測値を１６×１６ピクセルブロック内の８×８ピクセルブロックに対してＤＥを実行することにより得られた予測値と、１６×１６ピクセルブロックに対してＭＥを実行することにより得られた予測値と、１６×１６ピクセルブロック内の８×８ピクセルブロックに対してＭＥを実行することにより得られた予測値と比較することにより、最小予測値を有するモードがＤＥモードであるか又はＭＥモードであるかを決定する。この決定の結果として、最小予測値を有するモードがＤＥモードである場合に、モード選択器１０５５は、フラグ情報“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”を“1”に設定する。逆に、最小予測値を有するモードがＭＥモードである場合に、モード選択器１０５５は、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”を“０”に設定する。
【００４９】
ステップ４０９で、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”が“１”である場合に、ＤＣ／ＭＣ１０５７は、ステップ４１１で、ＤＥで生成された１６×１６ピクセル単位又は８×８ピクセル単位のディスパリティーベクトルを用いて現在基本階層映像からＤＣを実行する。ステップ４０９で、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”が“０”である場合に、ＤＣ／ＭＣ１０５７は、ステップ４１３で、ＭＥで生成された１６×１６ピクセル単位又は８×８ピクセル単位の動きベクトルを用いて以前向上階層映像からＭＣを実行する。このように、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”は、予測映像を生成する過程で基本階層映像及び向上階層映像の中のどの映像を参照してこの予測映像を実行するかを示し得る。
【００５０】
ステップ４１１で、対応するブロックに対してＤＣを実行するか又はステップ４１３でＭＣを実行した後に、ステップ４１５で、エントロピー符号化器１０５９は、ＤＥ／ＭＥ１０５３で計算されたディスパリティーベクトル又は動きベクトルに関する情報と、モード選択器１０５５で選択されたモードに関する情報をエントロピー符号化し、この結果をビットストリームで出力する。この際に、現在符号化される向上階層の入力映像がインター映像である場合に、エントロピー符号化器１０５９は、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”及び１６×１６ピクセル単位又は８×８ピクセル単位のディスパリティーベクトル又は動きベクトルを使用するか否かに関するモード情報のエントロピー符号化を実行し、ディスパリティーベクトル又は動きベクトルの数だけディスパリティーベクトル又は動きベクトルのエントロピー符号化を実行する。ディスパリティーベクトル又は動きベクトルに対するエントロピー符号化は、ディスパリティーベクトル又は動きベクトルの予測値から実際のベクトル値を減算することにより得られた差分値を符号化することにより行われる。現在符号化される向上階層の入力映像がイントラ映像である場合に、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”の符号化は省略され得る。ランダムアクセスを保証するために前の映像が参照されることができないために基本階層の映像からＤＣだけが使用され得る。“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”が存在しなくても、多視点映像復号化器は、向上階層映像がイントラ映像であることを確認して向上階層ビットストリームのヘッダーをチェックすることによりＤＣを実行し得る。
【００５１】
このエントロピー符号化が１つのブロックに対して完了した場合に、視点変換器１０５は、ステップ４１７で次のブロックに進み、ステップ４０１乃至ステップ４１５は、現在符号化される向上階層の入力映像の各ブロックに対して実行される。
【００５２】
例示的な実施形態による多視点映像復号化器の構成及び動作について具体的に説明する。説明の便宜のために、下記説明される例示的な実施形態は、視点変換の間に再構成された現在基本階層映像及び再構成された以前向上階層映像をすべて使用し、向上階層の数は１である。しかしながら、他の実施形態がこれに限定されるのではない。
【００５３】
図５は、例示的な実施形態による多視点映像復号化器５００の構成を示すブロック図である。図５を参照すると、逆多重化器５０１は、多視点映像符号化器１００により符号化されたビットストリームを基本階層ビットストリームＱ１、向上階層ビットストリームＱ２、及び向上階層映像の復号化の間に使用される制御情報ビットストリームＱ３に逆多重化する。また、逆多重化器５０１は、基本階層ビットストリームＱ１を基本階層復号化器５０３に提供し、向上階層ビットストリームＱ２を残差復号化器５０５に提供し、制御情報ビットストリームＱ３を視点変換器５０７に提供する。
【００５４】
基本階層復号化器５０３は、基本階層符号化器１０１で使用された任意の映像コーデックに対応する方式を用いて基本階層ビットストリームＱ１を復号化することにより第１の視点の基本階層映像Ｑ４を出力する。第１の視点の基本階層映像Ｑ４は、現在再構成された基本階層映像（以下、“現在基本階層映像”と称する）Ｑ５として基本階層バッファ５０９に記憶される。
【００５５】
一方、残差復号化器５０５は、前の時間で向上階層ビットストリームＱ２を残差復号化し、残差復号化器５０５により再構成された向上階層映像は、加算器５１１を結合器として使用して前の時間で視点変換器５０７で生成された予測映像Ｑ６に加えられた後に、向上階層バッファ５１３に記憶されると仮定する。したがって、視点変換器５０７は、前に再構成された向上階層映像（以下、“以前向上階層映像”と称する）Ｑ９を向上階層バッファ５１３から受信する。
【００５６】
図５の実施形態において、基本階層バッファ５０９及び向上階層バッファ５１３を個々に示したが、バッファ５０９及び５１３は、他の実施形態に従って１つのバッファで構成することも可能である。
【００５７】
視点変換器５０７は、基本階層バッファ５０９から現在基本階層映像Ｑ８を受信し、向上階層バッファ５１３から以前向上階層映像Ｑ９を受信し、現在時間で視点変換された予測映像Ｑ６を生成する。予測映像Ｑ６は、加算器５１１を用いて残差復号化器５０５により残差復号化された現在向上階層映像に付加された後に、向上階層バッファ５１３に出力される。向上階層バッファ５１３に記憶された現在再構成された向上階層映像は、再構成された第２の視点の向上階層映像Ｑ７として出力される。その後に、現在再構成された向上階層映像は、次の予測映像を生成するために使用されるように以前向上階層映像として視点変換器５０７に提供され得る。
【００５８】
多視点映像復号化器５００は、基本階層ビットストリームだけを復号化することにより１視点の復号化映像で既存の２Ｄ映像サービスをサポートすることができる。図５の実施形態では、１つの向上階層だけを図示したが、多視点映像復号化器５００は、基本階層ビットストリームとともに異なる視点を有するＮ個の向上階層ビットストリームを復号化することにより復号化された視点＃１〜Ｎを出力する場合に、多視点映像サービスもサポートすることができる。図５の構成に基づいて、様々な視点に対するスケーラービリティー（scalability）機能も提供され得る。
【００５９】
図６は、例示的な実施形態による多視点映像復号化器５００での視点変換器５０７の構成を示すブロック図である。図６を参照すると、視点変換器５０７は、Ｍ×Ｎピクセルブロック単位で映像データを分割し、ブロック単位で予測映像を順次に生成する。具体的に、映像タイプ決定器５０７１は、ＰＴに従って、現在基本階層映像を用いて予測映像を生成するか又は異なる視点で現在再構成された向上階層映像（以下、“現在向上階層映像”と称する）を用いて予測映像を生成するか、又は現在基本階層映像及び以前向上階層映像を用いて予測映像を生成するかを決定する。例えば、現在向上階層映像を用いて予測映像を生成することは、向上階層が複数個である場合に適用され得る。
【００６０】
ＰＴは、残差復号化器５０５に入力される向上階層ビットストリームＱ２のヘッダー情報に含まれ得、例示的な実施形態の多視点映像復号化器が適用されたシステムの上位階層によりヘッダー情報から取得され得る。
【００６１】
映像タイプ決定器５０７１は、ＰＴに従って現在基本階層映像Ｑ８及び以前向上階層映像Ｑ９の参照関係、すなわち、使用するか否かを決定する。例えば、現在復号化される向上階層ビットストリームＱ２のＰＴがイントラピクチャ（intra-picture）である場合に、予測映像Ｐ６の生成のための視点変換は、現在基本階層映像Ｑ８だけを用いて実行され得る。また、複数の向上階層が提供され、ＰＴがイントラピクチャである場合に、現在向上階層映像を用いて予測映像Ｑ６の生成のための視点変換を実行し得る。
【００６２】
さらに、向上階層ビットストリームＱ２のＰＴがインターピクチャ（inter-picture）である場合に、予測映像Ｑ６の生成のための視点変換は、現在基本階層映像Ｑ８及び以前向上階層映像Ｑ９を用いて実行され得る。
【００６３】
エントロピー復号化器５０７３は、逆多重化器５０１から受信された制御情報ビットストリームＱ３をエントロピー復号化し、この復号化された予測映像の制御情報をＤＣ／ＭＣ５０７５に出力する。上述したように、この予測映像の制御情報は、Ｍ×Ｎピクセルブロックの各ブロックに対応するモード情報とディスパリティー情報及び動き情報の中の少なくとも１つとを含む。
【００６４】
このモード情報は、現在のＭ×Ｎピクセルブロックでディスパリティーベクトルを用いてＤＣを実行するか又は動きベクトルを用いてＭＣを実行するかを示す情報及びＤＣ／ＭＣ５０７５が各Ｍ×Ｎピクセルブロックなどで選択するディスパリティーベクトル又は動きベクトルの数を示す情報を含む。
【００６５】
予測映像の制御情報に基づいて、符号化の間に選択された最小予測値を有するモードがＤＣモードである場合に、ＤＣ／ＭＣ５０７５は、復号化される向上階層の映像と同一の時間の現在基本階層映像のディスパリティーベクトルを用いるＤＣを実行することにより予測映像Ｑ６を生成する。逆に、この最小予測値を有するモードがＭＣモードである場合に、ＤＣ／ＭＣ５０７５は、以前向上階層映像の動きベクトルを用いるＭＣを実行することにより予測映像Ｑ６を生成する。
【００６６】
以下、１つ又は複数の例示的な実施形態による多視点映像符号化方法を図７及び図８を参照して説明する。
【００６７】
図７は、例示的な実施形態による多視点映像復号化方法を示すフローチャートである。例示的な実施形態において、多視点映像復号化器５００は、例えば、図１に示す多視点映像符号化器１００により符号化されたビットストリームを受信する。入力されたビットストリームは、逆多重化器５０１により基本階層ビットストリーム、向上階層ビットストリーム、及び制御情報ビーストストリームに逆多重化される。
【００６８】
図７を参照すると、ステップ７０１で、基本階層復号化器５０３は、基本階層ビットストリームを受信し、多視点映像符号化器１００の基本階層符号化器１０１で使用された任意のコーデックに対応する方式を用いて基本階層ビットストリームを復号化することにより第１の視点の基本階層映像を再構成する。基本階層復号化器５０３は、復号化により再構成された基本階層映像を基本階層バッファ５０９に記憶する。一方、残差復号化器５０５は、現在の向上階層ビットストリームを受信し、この受信された現在の向上階層映像を残差復号化する。この際に、この残差復号化により前に再構成された向上階層映像及び視点変換器５０７により前に生成された予測映像は、加算器５１１により前に加算され、向上階層バッファ５１３に予め記憶されると仮定する。
【００６９】
ステップ７０３で、視点変換器５０７は、基本階層バッファ５０９から再構成された基本階層映像を受信し、向上階層バッファ５１３から再構成された向上階層映像を受信する。この後に、視点変換器５０７は、再構成された基本階層映像及び再構成された向上階層映像の中の少なくとも１つを用いて向上階層の入力映像に対して視点変換された予測映像を生成する。上述したように、視点変換器５０７は、現在基本階層映像を用いて予測映像を生成するか又は現在基本階層映像及び対応する向上階層で以前向上階層映像を用いて予測映像を生成し得る。ステップ７０５で、加算器５１１は、残差復号化器５０５により残差復号化された現在向上階層映像にステップ７０３で生成された予測映像を加えることにより第２の視点の向上階層映像を再構成する。ここで、現在再構成された第２の視点の向上階層映像は、向上階層バッファ５１３に記憶され、次の予測映像を生成する際に以前向上階層映像として使用され得る。
【００７０】
図７では、向上階層の数が１であると仮定して例示的な実施形態を説明したが、この向上階層は、多視点映像符号化器１００で向上階層の個数に対応するように複数個であり得る。この場合に、上述したように、現在基本階層映像及び以前向上階層を用いて予測映像を生成するか又は対応する向上階層の視点とは異なる視点を有する他の向上階層で現在向上階層映像を用いて予測映像を生成し得る。
【００７１】
また、図７の実施形態では、基本階層映像の復号化及び向上階層映像の復号化過程が順次に示されているが、基本階層映像の復号化及び向上階層映像の復号化は、並列にも実行され得る。
【００７２】
図８は、例示的な実施形態による多視点映像復号化器で実行される視点変換方法を示すフローチャートである。図８の実施形態において、予測映像の生成の間に処理されるマクロブロックは、１６×１６ピクセルブロックである。しかしながら、このようなブロックのサイズは、一例であるだけであり、他の実施形態がこれに限定されるのではない。
【００７３】
図８を参照すると、ステップ８０１で、映像タイプ決定器５０７１は、向上階層で現在復号化される向上階層の入力映像のＰＴがイントラ映像であるか又はインター映像であるかを決定する。ステップ８０３で、エントロピー復号化器５０７３は、この決定されたＰＴに従ってエントロピー復号化を実行する。具体的に、現在復号化される向上階層の映像がインター映像である場合に、エントロピー復号化器５０７３は、制御情報ビットストリームから予測映像が生成される各ブロックに対して“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”、１６×１６ピクセル単位又は８×８ピクセル単位のディスパリティーベクトル又は動きベクトルが使用されるか否かに関するモード情報、ディスパリティーベクトル情報又は動きベクトル情報を含む予測映像制御情報をエントロピー復号化する。現在復号化される向上階層の映像がイントラ映像である場合に、エントロピー復号化器５０７３は、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”の復号化を省略し、残りの予測映像制御情報を同一の方式でエントロピー復号化し得る。この際に、復号化が省略された“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”は、１に設定され得る。
【００７４】
図４のステップ４１５で説明したエントロピー符号化に対応するステップ８０３のエントロピー復号化動作において、エントロピー復号化器５０７３は、ディスパリティーベクトル又は動きベクトルが使用されるか否かに関するモード情報をエントロピー復号化し、このディスパリティーベクトル又は動きベクトルの数だけ動きベクトルのエントロピー復号化を実行する。ここで、このディスパリティーベクトル又は動きベクトルの復号化結果は、ディスパリティーベクトル又は動きベクトルの差分値を含む。ステップ８０５で、エントロピー復号化器５０７３は、ディスパリティーベクトル又は動きベクトルの予測値にこの差分値を加えることによりディスパリティーベクトル又は動きベクトルを生成し、この結果をＤＣ／ＭＣ５０７５に出力する。
【００７５】
ステップ８０６で、ＤＣ／ＭＣ５０７５は、ステップ８０１で決定されたＰＴ、ステップ８０３で計算された“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”、及びディスパリティーベクトル又は動きベクトルを受信した後に、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”の値を確認する。
【００７６】
ステップ８０６で、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”が“１”である場合に、ＤＣ／ＭＣ５０７５は、ステップ８０７で、１６×１６ピクセル単位又は８×８ピクセル単位のディスパリティーベクトルを用いて現在基本階層映像からＤＣを実行する。ステップ８０６で、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”が“０”である場合に、ＤＣ／ＭＣ５０７５は、ステップ８０９で、１６×１６ピクセル単位又は８×８ピクセル単位の動きベクトルを用いて以前向上階層映像からＭＣを実行する。このように、“ＶＩＥＷ＿ＰＲＥＤ＿ＦＬＡＧ”は、予測映像を生成する過程で基本階層映像及び向上階層映像の中のどの映像を参照してこの予測映像を実行するかを示すことができる。
【００７７】
ＤＣ又はＭＣが１つのブロックに対して完了した場合に、視点変換器５０７は、現在復号化される向上階層の映像の各ブロックに対してステップ８０１乃至ステップ８０９の動作が同一に行われるようにステップ８１１で次のブロックに移動する。
【００７８】
上述した説明において、１つの向上階層を有する多視点映像符号化器及び復号化器を例を挙げて説明した。Ｎ個（ここで、Ｎは、３より大きいか又は同一の自然数）の視点を有する多視点映像サービスを提供する場合に、図９及び図１０に示す他の例示的な実施形態に従って、多視点映像符号化器及び復号化器は、Ｎ個の向上階層を有するように拡張され得る。
【００７９】
図９は、他の例示的な実施形態によるＮ個の向上階層を有する多視点映像符号化器９００の一構成例を示し、図１０は、他の例示的な実施形態によるＮ個の向上階層を有する多視点映像復号化器１０００の一構成例を示す。
【００８０】
図９を説明すると、多視点映像符号化器９００は、Ｎ個の向上階層に対応する第１乃至第Ｎの向上階層符号化ブロック９００１〜９００Ｎを含む。第１乃至第Ｎの向上階層符号化ブロック９００１〜９００Ｎにおいて、各ブロックは、同一であるか又は類似した構成を有し、各ブロックは、関連する向上階層の入力映像を例示的な実施形態による視点変換が適用された予測映像を用いて符号化する。各向上階層符号化ブロックは、関連する向上階層に対して上述した制御情報ビットストリーム及び向上階層ビットストリームを符号化結果として出力する（９０１）。向上階層符号化ブロックの構成及び動作は、図１で説明したそれの構成及び動作と同一であるか又は類似しているので、その詳細な説明は省略する。
【００８１】
図１０を説明すると、多視点映像復号化器１０００は、Ｎ個の向上階層に対応する第１乃至第Ｎの向上階層復号化ブロック１０００１〜１０００Ｎを含む。第１乃至第Ｎの向上階層復号化ブロック１０００１〜１０００Ｎは、同一であるか又は類似した構成を有し、第１乃至第Ｎの向上階層復号化ブロック１０００１〜１０００Ｎのそれぞれは、例示的な実施形態による視点変換が適用された予測映像を用いて関連する向上階層ビットストリームを復元する。各向上階層復号化ブロックは、関連する向上階層映像の復号化のために上述した制御情報ビットストリーム及び向上階層ビットストリームを受信する（１００１）。各向上階層復号化ブロックの構成及び動作は、図５で説明したそれの構成及び動作と同一であるか又は類似しているので、その詳細な説明を省略する。
【００８２】
図９及び図１０の多視点映像符号化器９００及び復号化器１０００が予測映像の生成の間に各向上階層で再構成された基本階層映像Ｐ４を使用する場合の構成例を示したが、予測映像の生成の間に各向上階層で再構成された基本階層映像Ｐ４を使用せず、多視点映像符号化器９００及び復号化器１０００が関連する向上階層の視点とは異なる視点の現在再構成された向上階層映像を使用するように適用され得る。この場合に、多視点映像符号化器９００及び復号化器１０００は、向上階層ｎで予測映像を生成する際にこの再構成された基本階層映像Ｐ４に代えて向上階層ｎ−１で現在再構成された向上階層映像を使用するか又は向上階層ｎで予測映像を生成する際に向上階層ｎ−１及びｎ＋１のそれぞれで再構成された映像を使用するように適用され得る。
【００８３】
本発明の実施形態は、コンピュータ読み取り可能な記録媒体上でコンピュータ読み取り可能なコードとして実現することもできる。コンピュータ読み取り可能な記録媒体は、コンピュータシステムにより読み出すことができるデータを記憶することができる任意のデータ記憶装置である。コンピュータ読み取り可能な記録媒体の例は、読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、及び光学データ記憶装置を含むが、これらに限定されるものではない。また、コンピュータ読み取り可能な記録媒体は、コンピュータ読み取り可能なコードが分配される方式で記憶され実行されるように、ネットワーク結合型コンピュータシステムを介して分配されることができる。さらに、例示的な実施形態は、搬送波のようなコンピュータ読み取り可能な伝送媒体を介して送信され、一般的な使用又はプログラムを実行する特別目的デジタルコンピュータで受信され実行されるコンピュータプログラムとして記録され得る。さらに、すべての様態で要求されないが、符号化器１００、９００及び復号化器５００、１０００の中の１つ又は複数のユニットは、コンピュータ読み取り可能な記録媒体に記憶されたコンピュータプログラムを実行するプロセッサ又はマイクロプロセッサを含むことができる。
【００８４】
以上、本発明を具体的な実施形態を参照して詳細に説明してきたが、本発明の範囲及び趣旨を逸脱することなく様々な変更が可能であるということは、当業者には明らかであり、本発明の範囲は、上述の実施形態に限定されるべきではなく、特許請求の範囲の記載及びこれと均等なものの範囲内で定められるべきである。
【図１】
2012533925.tif 000003
【図２】
2012533925.tif 000004
【図３】
2012533925.tif 000005
【図４】
2012533925.tif 000006
【図５】
2012533925.tif 000007
【図６】
2012533925.tif 000008
【図７】
2012533925.tif 000009
【図８】
2012533925.tif 000010
【図９】
2012533925.tif 000011
【図１０】
2012533925.tif 000012
【国際調査報告】
2012533925.tif 000013
2012533925.tif 000014
2012533925.tif 000015