(57)【要約】  多視点ビデオ符号化／復号化装置及び方法が開示される。多視点ビデオ符号化装置は、符号化しようとする第１視点のフレームに属する現在ブロックを第１視点のフレームを用いる第１スキップモードまたは第２視点のフレームを用いる第２スキップモードに応じて符号化することによって符号化の効率を向上させることができる。
2014505398.tif 000002
【特許請求の範囲】
【請求項１】
第１視点のフレームに含まれた現在ブロックを第２視点のフレームを用いるスキップモードに符号化するか否かを決定する符号化モード決定部と、
前記現在ブロックをスキップモードに応じて符号化する場合、前記スキップモードを示すインデックスを符号化してビットストリームを生成するビットストリーム生成部と、
を備えることを特徴とする多視点ビデオ符号化装置。
【請求項２】
前記スキップモードは、前記現在ブロックに隣接する周辺ブロックのうち第２視点のフレームを参照する周辺ブロックの視差ベクトルを用いて前記現在ブロックの予測視差ベクトルを決定し、前記予測視差ベクトルを用いて前記現在ブロックを復元する符号化モードであることを特徴とする請求項１に記載の多視点ビデオ符号化装置。
【請求項３】
前記スキップモードは、前記第１視点のフレームのうち前記現在ブロックが含まれたフレームと異なる時間に該当するフレームで前記現在ブロックと同じ位置に対応するターゲットブロックの視差ベクトルを用いて前記現在ブロックの予測視差ベクトルを決定し、前記予測視差ベクトルを用いて前記現在ブロックを復元する符号化モードであることを特徴とする請求項１に記載の多視点ビデオ符号化装置。
【請求項４】
前記スキップモードは、前記第１視点のフレームのうち前記現在ブロックが含まれたフレームと異なる時間に該当するフレームで前記現在ブロックに隣接する周辺ブロックと同じ位置に対応するターゲットブロックの視差ベクトルを用いて前記現在ブロックの予測視差ベクトルを決定し、前記予測視差ベクトルを用いて前記現在ブロックを復元する符号化モードであることを特徴とする請求項１に記載の多視点ビデオ符号化装置。
【請求項５】
前記ビットストリーム生成部は、前記現在ブロックがＰ−フレームに含まれる場合、前記現在ブロックに関連するスキップモードを示すインデックスを符号化し、
前記現在ブロックがＢ−フレームに含まれる場合、前記現在ブロックに関連するダイレクトモードに含まれたダイレクトスキップモードを示すインデックスを符号化することを特徴とする請求項１に記載の多視点ビデオ符号化装置。
【請求項６】
前記現在ブロックに隣接する周辺ブロックは、前記現在ブロックの左側に隣接するブロック、前記現在ブロックの上側に隣接するブロック、前記現在ブロックの左側上段に隣接するブロックのうち少なくとも１つを含むことを特徴とする請求項１に記載の多視点ビデオ符号化装置。
【請求項７】
第１視点のフレームに含まれた現在ブロックを第１視点のフレームを用いる第１スキップモードに符号化するか、または第２視点のフレームを用いる第２スキップモードに符号化するか否かを決定する符号化モード決定部と、
前記現在ブロックに対して決定されたスキップモードを示すインデックスを符号化してビットストリームを生成するビットストリーム生成部と、
を備えることを特徴とする多視点ビデオ符号化装置。
【請求項８】
前記第１スキップモードは、前記現在ブロックに隣接する周辺ブロックのうち前記現在ブロックが含まれたフレームと異なる時間を示す第１視点のフレームを参照する周辺ブロックの動きベクトルを用いて前記現在ブロックの予測動きベクトルを決定し、前記予測動きベクトルを用いて前記現在ブロックを復元する符号化モードであることを特徴とする請求項７に記載の多視点ビデオ符号化装置。
【請求項９】
前記第２スキップモードは、前記現在ブロックに隣接する周辺ブロックのうち第２視点のフレームを参照する周辺ブロックの視差ベクトルを用いて前記現在ブロックの予測視差ベクトルを決定し、前記予測視差ベクトルを用いて前記現在ブロックを復元する符号化モードであることを特徴とする請求項７に記載の多視点ビデオ符号化装置。
【請求項１０】
前記第２スキップモードは、前記第１視点のフレームのうち前記現在ブロックが含まれたフレームと異なる時間を示す第１視点のフレームで前記現在ブロックと同じ位置に対応するターゲットブロックの視差ベクトルを用いて前記現在ブロックの予測視差ベクトルを決定し、前記予測視差ベクトルを用いて前記現在ブロックを復元する符号化モードであることを特徴とする請求項８に記載の多視点ビデオ符号化装置。
【請求項１１】
前記符号化モード決定部は、前記第１スキップモードと第２スキップモードに応じて符号化した結果の費用関数のうち、小さい費用関数を有するスキップモードを現在ブロックを符号化するための符号化モードに決定することを特徴とする請求項８に記載の多視点ビデオ符号化装置。
【請求項１２】
第１視点のフレームに含まれた現在ブロックのスキップモードを示す符号化されたインデックスを復号化するインデックス復号化部と、
前記現在ブロックのスキップモードに応じて第２視点のフレームから現在ブロックの予測ブロックを抽出して前記現在ブロックを復元するブロック復元部と、
を備えることを特徴とする多視点ビデオ復号化装置。
【請求項１３】
前記ブロック復元部は、前記現在ブロックに隣接する周辺ブロックのうち第２視点のフレームを参照する周辺ブロックの視差ベクトルを用いて前記現在ブロックの予測視差ベクトルを決定し、前記予測視差ベクトルを用いて現在ブロックの予測ブロックを決定することを特徴とする請求項１２に記載の多視点ビデオ復号化装置。
【請求項１４】
前記ブロック復元部は、前記第１視点のフレームのうち前記現在ブロックが含まれたフレームと異なる時間に該当するフレームで前記現在ブロックに隣接する周辺ブロックと同じ位置に対応するターゲットブロックの視差ベクトルを用いて前記現在ブロックの予測視差ベクトルを決定し、前記予測視差ベクトルを用いて現在ブロックの予測ブロックを決定することを特徴とする請求項１２に記載の多視点ビデオ復号化装置。
【請求項１５】
前記インデックスは、
前記現在ブロックがＰ−フレームに含まれる場合、前記現在ブロックに関連するスキップモードを示し、
前記現在ブロックがＢ−フレームに含まれる場合、前記現在ブロックに関連するダイレクトモードに含まれたダイレクトスキップモードを示すことを特徴とする請求項１２に記載の多視点ビデオ復号化装置。
【請求項１６】
第１視点のフレームに含まれた現在ブロックが第１スキップモードまたは第２スキップモードに符号化されたか否かを示す符号化されたインデックスを復号化するインデックス復号化部と、
前記復号化されたインデックスにより決定された現在ブロックのスキップモードに基づいて現在ブロックを復元するブロック復元部と、
を備え、
前記第１スキップモードは、第１視点のフレームで現在ブロックの予測ブロックを決定し、
前記第２スキップモードは、第２視点のフレームで現在ブロックの予測ブロックを決定することを特徴とする多視点ビデオ復号化装置。
【請求項１７】
前記ブロック復元部は、前記現在ブロックが第１スキップモードに符号化された場合、前記現在ブロックに隣接する周辺ブロックのうち前記現在ブロックが含まれたフレームと異なる時間を示す第１視点のフレームを参照する周辺ブロックの動きベクトルを用いて前記現在ブロックの予測動きベクトルを決定し、前記予測動きベクトルを用いて前記現在ブロックの予測ブロックを決定することを特徴とする請求項１６に記載の多視点ビデオ復号化装置。
【請求項１８】
前記ブロック復元部は、前記現在ブロックが第２スキップモードに符号化された場合、前記現在ブロックに隣接する周辺ブロックのうち第２視点のフレームを参照する周辺ブロックの視差ベクトルを用いて前記現在ブロックの予測視差ベクトルを決定し、前記予測視差ベクトルを用いて前記現在ブロックの予測ブロックを決定することを特徴とする請求項１６に記載の多視点ビデオ復号化装置。
【請求項１９】
前記ブロック復元部は、前記現在ブロックが第２スキップモードに符号化された場合、前記第１視点のフレームのうち前記現在ブロックが含まれたフレームと異なる時間を示す第１視点のフレームで前記現在ブロックと同じ位置に対応するターゲットブロックの視差ベクトルを用いて前記現在ブロックの予測視差ベクトルを決定し、前記予測視差ベクトルを用いて前記現在ブロックの予測ブロックを決定することを特徴とする請求項１６に記載の多視点ビデオ復号化装置。
【請求項２０】
第１視点のフレームに含まれた現在ブロックを第２視点のフレームを用いるスキップモードに符号化するか否かを決定するステップと、
前記現在ブロックをスキップモードに応じて符号化する場合、前記スキップモードを示すインデックスを符号化してビットストリームを生成するステップと、
を含むことを特徴とする多視点ビデオ符号化方法。
【請求項２１】
第１視点のフレームに含まれた現在ブロックを第１視点のフレームを用いる第１スキップモードに符号化するか、または第２視点のフレームを用いる第２スキップモードに符号化するか否かを決定するステップと、
前記現在ブロックに対して決定されたスキップモードを示すインデックスを符号化してビットストリームを生成するステップと、
を含むことを特徴とする多視点ビデオ符号化方法。
【請求項２２】
第１視点のフレームに含まれた現在ブロックのスキップモードを示す符号化されたインデックスを復号化するステップと、
前記現在ブロックのスキップモードに応じて第２視点のフレームから現在ブロックの予測ブロックを抽出して前記現在ブロックを復元するステップと、
を含むことを特徴とする多視点ビデオ復号化方法。
【請求項２３】
第１視点のフレームに含まれた現在ブロックが第１スキップモードまたは第２スキップモードに符号化されたか否かを示す符号化されたインデックスを復号化するステップと、
前記復号化されたインデックスにより決定された現在ブロックのスキップモードに基づいて現在ブロックを復元するステップと、
を含み、
前記第１スキップモードは、第１視点のフレームで現在ブロックの予測ブロックを決定し、
前記第２スキップモードは、第２視点のフレームで現在ブロックの予測ブロックを決定することを特徴とする多視点ビデオ復号化方法。
【請求項２４】
請求項２０乃至請求項２３のいずれか一項に記載の方法を実行するためのプログラムが記録されたコンピュータで読み出し可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一実施形態は多視点ビデオ符号化／復号化装置及び方法に関し、現在ブロックに対して同じ視点のフレームを用いるスキップモードまたは他の視点のフレームを用いるスキップモードに応じて入力映像を符号化／復号化する装置及び方法に関する。
【背景技術】
【０００２】
立体映像は深度及び空間の情報を同時に提供する３次元映像を意味する。左右目にそれぞれ他の視点の映像を提供するステレオ映像とは異なって、立体映像は観察者の視点によりそれぞれ異なる映像を提供する。結局、立体映像は観察者の視点で撮影した複数の映像から構成される。
【０００３】
複数の視点で撮影した映像を多いデータ量を有する。このように複数の視点で撮影した映像をＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ、ＨＥＶＣのような単一視点ビデオ符号化方式により符号化すると、ネットワークインフラ、地上波帯域の幅の面において実現が難しい。
【０００４】
これによって、複数の視点で撮影した映像を多視点ビデオ符号化方式により符号化することが求められる。しかし、依然としてネットワークインフラと地上波帯域の幅は限定されているため、多視点ビデオ圧縮方式をより効率的に改善することが求められている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、同じ視点のフレームに基づいたスキップモードだけではなく、他の視点のフレームに基づいたスキップモードに応じて現在ブロックを符号化することで、スキップモードの拡張による符号化の効率を向上させる方法を提供する。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る多視点ビデオ符号化装置は、第１視点のフレームに含まれた現在ブロックを第２視点のフレームを用いるスキップモードに符号化するか否かを決定する符号化モード決定部と、前記現在ブロックをスキップモードに応じて符号化する場合、前記スキップモードを示すインデックスを符号化してビットストリームを生成するビットストリーム生成部とを備える。
【０００７】
本発明の他の実施形態に係る多視点ビデオ符号化装置は、第１視点のフレームに含まれた現在ブロックを第１視点のフレームを用いる第１スキップモードに符号化するか、または第２視点のフレームを用いる第２スキップモードに符号化するか否かを決定する符号化モード決定部と、前記現在ブロックに対して決定されたスキップモードを示すインデックスを符号化してビットストリームを生成するビットストリーム生成部とを備える。
【０００８】
本発明の一実施形態に係る多視点ビデオ復号化装置は、第１視点のフレームに含まれた現在ブロックのスキップモードを示す符号化されたインデックスを復号化するインデックス復号化部と、前記現在ブロックのスキップモードに応じて第２視点のフレームから現在ブロックの予測ブロックを抽出して前記現在ブロックを復元するブロック復元部とを備える。
【０００９】
本発明の他の実施形態に係る多視点ビデオ復号化装置は、第１視点のフレームに含まれた現在ブロックが第１スキップモードまたは第２スキップモードに符号化されたか否かを示す符号化されたインデックスを復号化するインデックス復号化部と、前記復号化されたインデックスにより決定された現在ブロックのスキップモードに基づいて現在ブロックを復元するブロック復元部とを備え、前記第１スキップモードは、第１視点のフレームで現在ブロックの予測ブロックを決定し、前記第２スキップモードは、第２視点のフレームで現在ブロックの予測ブロックを決定する。
【００１０】
本発明の一実施形態に係る多視点ビデオ符号化方法は、第１視点のフレームに含まれた現在ブロックを第２視点のフレームを用いるスキップモードに符号化するか否かを決定するステップと、前記現在ブロックをスキップモードに応じて符号化する場合、前記スキップモードを示すインデックスを符号化してビットストリームを生成するステップとを含む。
【００１１】
本発明の他の実施形態に係る多視点ビデオ符号化方法は、第１視点のフレームに含まれた現在ブロックを第１視点のフレームを用いる第１スキップモードに符号化するか、または第２視点のフレームを用いる第２スキップモードに符号化するか否かを決定するステップと、前記現在ブロックに対して決定されたスキップモードを示すインデックスを符号化してビットストリームを生成するステップとを含む。
【００１２】
本発明の一実施形態に係る多視点ビデオ復号化方法は、第１視点のフレームに含まれた現在ブロックのスキップモードを示す符号化されたインデックスを復号化するステップと、前記現在ブロックのスキップモードに応じて第２視点のフレームから現在ブロックの予測ブロックを抽出して前記現在ブロックを復元するステップとを含む。
【００１３】
本発明の他の実施形態に係る多視点ビデオ復号化方法は、第１視点のフレームに含まれた現在ブロックが第１スキップモードまたは第２スキップモードに符号化されたか否かを示す符号化されたインデックスを復号化するステップと、前記復号化されたインデックスにより決定された現在ブロックのスキップモードに基づいて現在ブロックを復元するステップとを含み、前記第１スキップモードは、第１視点のフレームで現在ブロックの予測ブロックを決定し、前記第２スキップモードは、第２視点のフレームで現在ブロックの予測ブロックを決定する。
【発明の効果】
【００１４】
本発明の一実施形態によると、同じ視点のフレームに基づいたスキップモードだけではなく、他の視点のフレームに基づいたスキップモードに応じて現在ブロックを符号化することで、スキップモードの拡張による符号化の効率を向上させることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る多視点ビデオ符号化装置と多視点ビデオ符号化装置の動作を説明するための図である。
【図２】本発明の一実施形態に係る多視点ビデオ符号化装置の細部構成を示すブロックダイアグラムである。
【図３】本発明の一実施形態に係る多視点ビデオ復号化装置の細部構成を示すブロックダイアグラムである。
【図４】本発明の一実施形態に係る多視点ビデオの構造を示す図である。
【図５】本発明の一実施形態に係る現在ブロックを符号化するために用いられるフレームの例示を示す図である。
【図６】本発明の一実施形態により現在ブロックを符号化するときのスキップモードを説明するための図である。
【図７】本発明の第１の一実施形態に係る多視点ビデオ符号化方法を示すフローチャートである。
【図８】本発明の第２の一実施形態に係る多視点ビデオ符号化方法を示すフローチャートである。
【図９】本発明の第１の一実施形態に係る多視点ビデオ復号化方法を示すフローチャートである。
【図１０】本発明の第２の一実施形態に係る多視点ビデオ復号化方法を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について添付の図面を参照しながら詳細に説明する。
【００１７】
図１は、本発明の一実施形態に係る多視点ビデオ符号化装置と多視点ビデオ符号化装置の動作を説明するための図である。
【００１８】
多視点ビデオ符号化装置１０１は、複数の視点で撮影した映像間の重複性を考慮して映像を効果的に符号化する。具体的に、多視点ビデオ符号化装置１０１は、多視点ビデオ符号化方式により符号化してもよい。ここで、多視点ビデオ符号化方式は、様々な符号化モードで映像を符号化してもよい。様々なモードのうちスキップモードは、映像を構成するブロックを符号化せずに多視点ビデオ復号化装置１０２にスキップモードを示すインデックス１ビットのみを送信することから符号化の効率が高い。結局、映像を符号化するとき、符号化モードがスキップモードである現在ブロックが多いほど符号化の効率は向上する。ダイレクトモードは、当該ブロックに対する残余信号の符号化の有無に応じてスキップモードと区別されるものの、本発明におけるスキップモードはダイレクトモードを含んで説明する。
【００１９】
そのために、多視点ビデオ符号化装置１０１は、スキップモードを第１スキップモードまたは第２スキップモードに区分される。ここで、第１スキップモードは、符号化しようとする現在ブロックのフレームと同じ視点であるが、時間が異なるフレームを用いて現在ブロックを符号化する方式である。そして、第２スキップモードは、符号化しようとする現在ブロックのフレームと異なる視点であるが、時間は同一のフレームを用いて現在ブロックを符号化する方式である。ここで、第１スキップモードは、インタースキップモード（Ｉｎｔｅｒ  Ｓｋｉｐ  Ｍｏｄｅ）と定義されてもよく、第２スキップモードはインタビュースキップモード（Ｉｎｔｅｒ  Ｖｉｅｗ  Ｓｋｉｐ  Ｍｏｄｅ）と定義されてもよい。本発明の一実施形態は前記例示された定義に限定されず、同じ動作を行うスキップモードを全て含む。そして、本発明の実施形態で記載されるフレームは参照映像と指摘されてもよい。
【００２０】
結局、本発明の一実施形態によると、同じ視点のフレームだけではなく、他の視点のフレームまで考慮することでより多い現在ブロックがスキップモードに符号化される。
【００２１】
本発明の一実施形態に係る多視点ビデオ符号化装置１０１は、現在ブロックを第２スキップモードを用いて符号化してもよい。または、本発明の他の実施形態に係る多視点ビデオ符号化装置１０１は、現在ブロックを第１スキップモードまたは第２スキップモードのいずれかのスキップモードに符号化することがより効率的であるかを決定した後、決定されたスキップモードを多視点ビデオ復号化装置１０２に送信する。これによって、多視点ビデオ復号化装置１０２は、送信されたスキップモードに応じて現在ブロックを復号化する。
【００２２】
図２は、本発明の一実施形態に係る多視点ビデオ符号化装置の細部構成を示すブロックダイアグラムである。
【００２３】
図２に示すように、多視点ビデオ符号化装置１０１は、符号化モード決定部及びビットストリーム生成部２０２を備える。以下、２種類の実施形態に係る多視点ビデオ符号化装置１０１について説明する。特に、多視点ビデオ符号化装置１０１は、現在ブロックをインター２Ｎｘ２Ｎ、インター２ＮｘＮ、インターＮｘ２Ｎ、インターＮｘＮ、イントラ２Ｎｘ２Ｎ、イントラＮｘＮなど、インターモードまたはイントラモードに応じて符号化してもよいが、以下は、現在ブロックをスキップモードに応じて符号化することを中心に説明する。現在に定義されている符号化モードはこれに限定されることなく、他の方式の符号化モードが追加されてもよい。
【００２４】
＜第１実施形態＞
符号化モード決定部２０１は、第１視点のフレームに含まれた現在ブロックを第２視点のフレームを用いるスキップモードに符号化するか否かを決定する。すなわち、多視点ビデオ符号化装置１０１は、インタビュースキップモードに応じて現在ブロックを符号化するか否かを決定してもよい。そうでなければ、符号化モード決定部２０１は、第１視点のフレームに含まれた現在ブロックを現在ブロックの残留信号を用いるインターモードまたはイントラモードに符号化する。
【００２５】
一例として、現在ブロックがスキップモードに応じて符号化される場合、多視点ビデオ復号化装置１０２は、第１視点のフレームに含まれた現在ブロックに隣接する周辺ブロックのうち、第２視点のフレームを参照する周辺ブロックの視差ベクトルを用いて現在ブロックの予測視差ベクトルを決定してもよい。ここで、予測視差ベクトルは、少なくとも１つの周辺ブロックそれぞれの視差ベクトルにメディアンフィルタを適用して導き出されてもよい。これによって、多視点ビデオ復号化装置１０２は、予測視差ベクトルを用いて第２視点のフレームから現在ブロックの予測ブロックを抽出し、予測ブロックに現在ブロックを補償して現在ブロックを復元する。
【００２６】
他の一例として、現在ブロックがスキップモードに応じて符号化される場合、多視点ビデオ復号化装置１０２は、第１視点のフレームのうち現在ブロックが含まれたフレームと異なる時間に該当するフレームで現在ブロックと同じ位置に対応するターゲットブロックの視差ベクトルを用いて現在ブロックの予測視差ベクトルを決定してもよい。これによって、多視点ビデオ復号化装置１０２は、予測視差ベクトルを用いて第１視点のフレームから現在ブロックの予測ブロックを抽出し、予測ブロックから現在ブロックを補償して現在ブロックを復元する。
【００２７】
更なる一例として、現在ブロックがスキップモードに応じて符号化される場合、多視点ビデオ復号化装置１０２は、第１視点のフレームのうち現在ブロックが含まれたフレームと異なる時間に該当するフレームで現在ブロックに隣接する周辺ブロックと、同じ位置に対応するターゲットブロックの視差ベクトルを用いて現在ブロックの予測視差ベクトルを決定してもよい。これによって、多視点ビデオ復号化装置１０２は、予測視差ベクトルを用いて第１視点のフレームから現在ブロックの予測ブロックを抽出し、予測ブロックから現在ブロックを補償して現在ブロックを復元する。
【００２８】
もし、現在ブロックを第１視点のフレームに含まれた現在ブロックを第２視点のフレームを用いるスキップモードに応じて符号化する場合、ビットストリーム生成部２０２は、スキップモードを示すインデックスを符号化してビットストリームを生成してもよい。例えば、インデックスは、スキップモードに応じて符号化すれば１であり、スキップモードに応じて符号化しなければ０に設定されるため、実質的にインデックスを符号化するときは１ビットのみが必要である。
【００２９】
そして、インターモードとイントラモードとは異って、スキップモードは、現在ブロックと現在ブロックの予測ブロックとの間の残留信号を送信しないため、ビットストリームにはスキップモードに関連するインデックスのみが含まれる。
【００３０】
そして、現在ブロックに隣接する周辺ブロックは、現在ブロックの左側に隣接するブロック、現在ブロックの上側に隣接するブロック、現在ブロックの左側上段に隣接するブロックのうち少なくとも１つを含んでもよい。
【００３１】
＜第２実施形態＞
第１実施形態とは異なって、符号化モード決定部２０１は、第１視点のフレームに含まれた現在ブロックを第１視点のフレームを用いる第１スキップモードに符号化するか、または第２視点のフレームを用いる第２スキップモードに符号化するかを決定する。一例として、符号化モード決定部２０１は、第１スキップモードと第２スキップモードに応じて符号化した結果の費用関数のうち小さい費用関数を有するスキップモードを現在ブロックを符号化するための符号化モードに決定する。
【００３２】
ここで、第１スキップモードは、現在ブロックに隣接する周辺ブロックのうち、現在ブロックが含まれたフレームと異なる時間を示す第１視点のフレームを参照する周辺ブロックの動きベクトルを用いて現在ブロックの予測動きベクトルを決定し、予測動きベクトルを用いて現在ブロックを復元する符号化モードを意味する。第２スキップモードは第１実施形態で具体的に説明したため、ここでは省略することにする。
【００３３】
これによって、ビットストリーム生成部２０２は、現在ブロックに対して決定されたスキップモードを示すインデックスを符号化してビットストリームを生成する。
【００３４】
図３は、本発明の一実施形態に係る多視点ビデオ復号化装置の細部構成を示すブロックダイアグラムである。
【００３５】
図３に示すように、多視点ビデオ復号化装置１０１は、インデックス復号化部３０１、及びブロック復元部３０２を備える。以下、２種類の実施形態に係る多視点ビデオ復号化装置１０２について説明する。
【００３６】
＜第１実施形態＞
インデックス復号化部３０１は、第１視点のフレームに含まれた現在ブロックのスキップモードを示す符号化されたインデックスを復号化する。ここで、符号化されたインデックスは、多視点ビデオ符号化装置１０１が生成したビットストリームを介して送信された後、逆多重化過程によってビットストリームから導き出される。
【００３７】
ブロック復元部３０２は、現在ブロックのスキップモードに応じて第２視点のフレームから現在ブロックの予測ブロックを抽出して現在ブロックを復元する。一例として、ブロック復元部３０２は、現在ブロックに隣接する周辺ブロックのうち、第２視点のフレームを参照する周辺ブロックの視差ベクトルを用いて現在ブロックの予測視差ベクトルを決定してもよい。そして、ブロック復元部３０２は、予測視差ベクトルを用いて第２視点のフレームから現在ブロックの予測ブロックを決定してもよい。これにより、ブロック復元部３０２は、予測ブロックを用いて現在ブロックを補償することで現在ブロックを復元する。
【００３８】
他の一例として、ブロック復元部３０２は、第１視点のフレームのうち現在ブロックが含まれたフレームと異なる時間に該当するフレームから現在ブロックに隣接する周辺ブロックと同じ位置に対応するターゲットブロックの視差ベクトルを用いて現在ブロックの予測視差ベクトルを決定してもよい。そして、ブロック復元部３０２は、予測視差ベクトルを用いて第２視点のフレームから現在ブロックの予測ブロックを決定してもよい。
【００３９】
＜第２実施形態＞
第１実施形態とは異なって、インデックス復号化部３０１は、第１視点のフレームに含まれた現在ブロックが第１スキップモードまたは第２スキップモードに符号化されたか否かを示す符号化されたインデックスを復号化する。ここで、第１スキップモードは、現在ブロックを含むフレームと同じ視点である第１視点のフレームで現在ブロックの予測ブロックを決定する符号化モードである。そして、第２スキップモードは、現在ブロックを含むフレームと異なる視点である第２視点のフレームで現在ブロックの予測ブロックを決定する符号化モードである。
【００４０】
一例として、現在ブロックが第１スキップモードに符号化された場合、ブロック復元部３０２は、現在ブロックに隣接する周辺ブロックのうち前記現在ブロックが含まれたフレームと異なる時間を示す第１視点のフレームを参照する周辺ブロックの動きベクトルを用いて前記現在ブロックの予測動きベクトルを決定してもよい。これによって、ブロック復元部３０２は、予測動きベクトルを用いて第１視点のフレームで現在ブロックの予測ブロックを決定し、予測ブロックを用いて現在ブロックを補償することで現在ブロックを復元する。
【００４１】
他の一例として、現在ブロックが第２スキップモードに符号化された場合、ブロック復元部３０２は、現在ブロックに隣接する周辺ブロックのうち第２視点のフレームを参照する周辺ブロックの視差ベクトルを用いて現在ブロックの予測視差ベクトルを決定してもよい。これによって、ブロック復元部３０２は、予測視差ベクトルを用いて現在ブロックの予測ブロックを決定し、予測ブロックを用いて現在ブロックを補償することで現在ブロックを復元する。
【００４２】
更なる一例として、現在ブロックが現在ブロックが第２スキップモードに符号化された場合、ブロック復元部３０２は、第１視点のフレームのうち現在ブロックが含まれたフレームと異なる時間を示す第１視点のフレームで、現在ブロックと同じ位置に対応するターゲットブロックの視差ベクトルを用いて現在ブロックの予測視差ベクトルを決定してもよい。これによって、ブロック復元部３０２は、予測視差ベクトルを用いて現在ブロックの予測ブロックを決定し、予測ブロックを用いて現在ブロックを補償することで現在ブロックを復元する。
【００４３】
図４は、本発明の一実施形態に係る多視点ビデオの構造を示す図である。
【００４４】
図４に示すように、３つの視点（Ｌｅｆｔ、Ｃｅｎｔｅｒ、Ｒｉｇｈｔ）の映像を入力されたとき、ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）「８」に符号化する多視点ビデオ符号化方式を示す。多視点（Ｍｕｌｔｉ−ｖｉｅｗ）映像を符号化するためには基本的に時間（Ｔｅｍｐｏｒａｌ）軸と視点（Ｖｉｅｗ）軸に、階層的Ｂ映像（Ｈｉｅｒａｒｃｈｉｃａｌ  Ｂ  Ｐｉｃｔｕｒｅ）を適用するため映像間の重複性（Ｒｅｄｕｎｄａｎｃｙ）を減らし得る。
【００４５】
図１に示された多視点ビデオの構造は３つの視点の映像を符号化するとき、左側映像（Ｌｅｆｔ  Ｐｉｃｔｕｒｅ）がまず符号化された後、右側映像（Ｒｉｇｈｔ  Ｐｉｃｔｕｒｅ）と中央映像（Ｃｅｎｔｅｒ  Ｐｉｃｔｕｒｅ）が順序に符号化されてもよい。ここで、左側映像は、動き推定（Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｉｏｎ）によって以前映像から類似する領域を検索することで時間的な重複性（Ｔｅｍｐｏｒａｌ  Ｒｅｄｕｎｄａｎｃｙ）が除去される方式により符号化されてもよい。そして、右側映像は、すでに符号化された左側映像を参照映として用いて符号化されるため、動き推定に基づいた時間的な重複性と変移推定（Ｄｉｓｐａｒｉｔｙ  Ｅｓｔｉｍａｔｉｏｎ）に基づいた視点間重複性（Ｖｉｅｗ  Ｒｅｄｕｎｄａｎｃｙ）が除去される方式により符号化されてもよい。
【００４６】
中央映像は、すでに符号化された左側映像と右側映像を全て参照映像として用いて符号化されるため、両方向への変移推定により視点間重複性が除去される。
【００４７】
図１を参照すると、多視点ビデオ符号化方式により左側映像のように他の視点の参照映像を用いることなく符号化される映像はＩ−Ｖｉｅｗ、右側映像のように他の視点の参照映像を単方向に予測して符号化する映像はＰ−Ｖｉｅｗ、中央映像のように左右視点の参照映像を双方向に予測して符号化する映像はＢ−Ｖｉｅｗと定義される。
【００４８】
図５は、本発明の一実施形態に係る現在ブロックを符号化するために用いられるフレームの例示を示す図である。
【００４９】
一般に、多視点ビデオ符号化方式は、現在ブロックを含む現在の映像５０１に隣接する周辺映像のうち、現在ブロックと最も類似の予測ブロックを検索した後、現在ブロックと予測ブロックとの間の重複性（ｒｅｓｉｄｕｅ）を符号化する。しかし、様々な符号化モードのうちスキップモードは多視点ビデオ復号化装置１０２に現在ブロックの符号化情報を送信しないことから符号化の効率が高い。ここで、本発明の一実施形態に係るスキップモードは、現在ブロックを含む現在のフレーム５０１に対して同じ視点でも他の時間のフレーム（１）５０２とフレーム（２）５０３を用いる第１スキップモードと異なる視点や同じ時間のフレーム（３）５０４とフレーム（４）５０４を用いる第２スキップモードに区分される。
【００５０】
本発明の一実施形態に係る多視点ビデオ符号化装置１０１は、現在ブロックを第１スキップモードに符号化する。または、多視点ビデオ符号化装置１０１は、現在ブロックを第２スキップモードに符号化する。そして、多視点ビデオ符号化装置１０１は、第１スキップモードと第２スキップモードのうち符号化性能が優れるスキップモードに応じて現在ブロックを符号化する。ここで、多視点ビデオ符号化装置１０１は、第１スキップモード及び第２スキップモードに応じて符号化された結果に対して費用関数を算出し、符号化性能を判断する。ここで、費用関数は数式（１）により率−歪曲（Ｒａｔｅ−Ｄｉｓｔｏｒｔｉｏｎ）で算出されてもよい。
【００５１】
RD  Cost＝SSD(s,r)＋λ*  R(s,r,mode)        （１）
ここで、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅ  Ｄｉｆｆｅｒｅｎｃｅ）は、現在ブロックＳと予測ブロックｒの差分値を自乗した値であり、λはラグランジュ係数である。Ｒは、第１スキップモードまたは第２スキップモードに符号化したとき必要なビット数を意味する。
【００５２】
第１スキップモードに現在ブロックが符号化された場合、多視点ビデオ復号化装置１０２は、現在ブロックに隣接する周辺ブロックのうち同じ視点のフレームを用いる周辺ブロックの動きベクトル（Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ：ＭＶ）に基づいて現在ブロックの予測動きベクトル（Ｐｒｅｄｉｃｔｉｏｎ  Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ：ＰＭＶ）を決定する。ここで、多視点ビデオ復号化装置１０２は、周辺ブロックの動きベクトルにメディアンフィルタを用いて予測動きベクトルを決定してもよい。その後、多視点ビデオ復号化装置１０２は、予測動きベクトルに基づいて現在ブロックを復元するために現在ブロックが含まれたフレームと同じ視点のフレームで現在ブロックの予測ブロックを決定する。
【００５３】
第２スキップモードに現在ブロックが符号化された場合、多視点ビデオ復号化装置１０２は、現在ブロックに隣接する周辺ブロックのうち他の視点のフレームを用いる周辺ブロックの視差ベクトル（Ｄｉｓｐａｒｉｔｙ  Ｖｅｃｔｏｒ：ＤＶ）に基づいて現在ブロックの予測視差ベクトル（Ｐｒｅｄｉｃｔｉｏｎ  Ｄｉｓｐａｒｉｔｙ  Ｖｅｃｔｏｒ：ＰＤＶ）を決定してもよい。ここで、多視点ビデオ復号化装置１０２は、周辺ブロックの視差ベクトルにメディアンフィルタを用いて予測視差ベクトルを抽出してもよい。そして、多視点ビデオ符号化装置１０１は、予測視差ベクトルに基づいて現在ブロックを復元するため、現在ブロックが含まれたフレームと異なる視点のフレームで現在ブロックの予測ブロックを決定する。
【００５４】
これによって、多視点ビデオ復号化装置１０１は、第１スキップモードに応じて導き出された予測ブロックまたは第２スキップモードに応じて導き出された予測ブロックに基づいて現在ブロックを復元することができる。
【００５５】
図６は、本発明の一実施形態により現在ブロックを符号化するときのスキップモードを説明するための図である。
【００５６】
フレーム６０１に含まれた現在ブロックを符号化するために２種類のスキップモードが適用さ得る。第１に、フレーム６０１と同じ視点のフレーム６０３から予測ブロックを抽出して現在ブロックを補償する第１スキップモードである。第２に、フレーム６０１と他の視点のフレーム６０２から予測ブロックを抽出して現在ブロックを補償する第２スキップモードである。
【００５７】
ここで、第１スキップモードは、現在ブロックの周辺ブロックｂ１〜ｂ５の動きベクトルにメディアンフィルタを適用して予測動きベクトルを生成し、予測動きベクトルを用いてフレーム６０３で予測ブロックを決定する方式である。
【００５８】
そして、第２スキップモードは、現在ブロックに隣接する周辺ブロックｂ１〜ｂ５の視差ベクトルにメディアンフィルタを適用して予測視差ベクトルを生成し、予測視差ベクトルを用いてフレーム６０２で予測ブロックを決定する方式である。また、第２スキップモードは、現在ブロックと同じ位置にあるフレーム６０３のターゲットブロックの視差ベクトルを用いて予測視差ベクトルを生成し、予測視差ベクトルを用いてフレーム６０２で予測ブロックを決定する方式である。または、第２スキップモードは、現在ブロックと同じ位置にあるフレーム６０３のターゲットブロックに隣接する周辺ブロックの視差ベクトルにメディアンフィルタを適用して予測視差ベクトルを生成し、予測視差ベクトルを用いてフレーム６０２で予測ブロックを決定する方式である。
【００５９】
前述で第２スキップモードについて３つの例を挙げたが、これにり導き出された予測視差ベクトルのうち現在ブロックと最も類似の予測ブロックを示す視差ベクトルに最も高い優先順位が付与され得る。
【００６０】
図７は、本発明の第１一実施形態に係る多視点ビデオ符号化方法を示すフローチャートである。
【００６１】
ステップＳ７０１において、多視点ビデオ符号化装置１０１は、第１視点のフレームに含まれた現在ブロックを第２視点のフレームを用いるスキップモードに符号化するか否かを決定する。
【００６２】
ここで、スキップモードは、現在ブロックに隣接する周辺ブロックのうち、第２視点のフレームを参照する周辺ブロックの視差ベクトルを用いて現在ブロックの予測視差ベクトルを決定し、予測視差ベクトルを用いて現在ブロックを復元する符号化モードを意味する。
【００６３】
または、スキップモードは、第１視点のフレームのうち現在ブロックが含まれたフレームと異なる時間に該当するフレームで現在ブロックと同じ位置に対応するターゲットブロックの視差ベクトルを用いて現在ブロックの予測視差ベクトルを決定し、予測視差ベクトルを用いて現在ブロックを復元する符号化モードを意味する。
【００６４】
または、スキップモードは、第１視点のフレームのうち現在ブロックが含まれたフレームと異なる時間に該当するフレームで現在ブロックに隣接する周辺ブロックと同じ位置に対応するターゲットブロックの視差ベクトルを用いて現在ブロックの予測視差ベクトルを決定し、予測視差ベクトルを用いて現在ブロックを復元する符号化モードを意味する。
【００６５】
ステップＳ７０２において、多視点ビデオ符号化装置１０１は、現在ブロックをスキップモードに応じて符号化する場合、スキップモードを示すインデックスを符号化してビットストリームを生成する。
【００６６】
図８は、本発明の第２一実施形態に係る多視点ビデオ符号化方法を示すフローチャートである。
【００６７】
ステップＳ８０１において、多視点ビデオ符号化装置１０１は、第１視点のフレームに含まれた現在ブロックを第１視点のフレームを用いる第１スキップモードに符号化するか、または第２視点のフレームを用いる第２スキップモードに符号化するか否かを決定する。一例として、多視点ビデオ符号化装置１０１は、第１スキップモードと第２スキップモードに応じて符号化した結果の費用関数のうち小さい費用関数を有するスキップモードを現在ブロックを符号化するための符号化モードに決定してもよい。
【００６８】
ここで、第１スキップモードは、現在ブロックに隣接する周辺ブロックのうち現在ブロックが含まれたフレームと異なる時間を示す第１視点のフレームを参照する周辺ブロックの動きベクトルを用いて現在ブロックの予測動きベクトルを決定し、予測動きベクトルを用いて現在ブロックを復元する符号化モードを意味する。
【００６９】
そして、第２スキップモードは、現在ブロックに隣接する周辺ブロックのうち第２視点のフレームを参照する周辺ブロックの視差ベクトルを用いて現在ブロックの予測視差ベクトルを決定し、予測視差ベクトルを用いて現在ブロックを復元する符号化モードを意味する。
【００７０】
また、第２スキップモードは、第１視点のフレームのうち現在ブロックが含まれたフレームと異なる時間を示す第１視点のフレームで現在ブロックと同じ位置に対応するターゲットブロックの視差ベクトルを用いて現在ブロックの予測視差ベクトルを決定し、予測視差ベクトルを用いて現在ブロックを復元する符号化モードを意味する。
【００７１】
ステップＳ８０２において、多視点ビデオ符号化装置１０１は、現在ブロックに対して決定されたスキップモードを示すインデックスを符号化してビットストリームを生成する。
【００７２】
図９は、本発明の第１一実施形態に係る多視点ビデオ復号化方法を示すフローチャートである。
【００７３】
ステップＳ９０１において、多視点ビデオ復号化装置１０２は、第１視点のフレームに含まれた現在ブロックのスキップモードを示す符号化されたインデックスを復号化する。図９に示されているスキップモードは図７を参照してすでに具体的に説明した。
【００７４】
ステップＳ９０２において、多視点ビデオ復号化装置１０３は、現在ブロックのスキップモードに応じて第２視点のフレームから現在ブロックの予測ブロックを抽出して現在ブロックを復元する。
【００７５】
図１０は、本発明の第２の一実施形態に係る多視点ビデオ復号化方法を示すフローチャートである。
【００７６】
ステップＳ１００１において、多視点ビデオ復号化装置１０２は、第１視点のフレームに含まれた現在ブロックが第１スキップモードまたは第２スキップモードに符号化されたか否かを示す符号化されたインデックスを復号化する。図１０に示されているスキップモードは図８を参照してすでに具体的に説明した。
【００７７】
ステップＳ１００２において、多視点ビデオ復号化装置１０２は、復号化されたインデックスにより決定された現在ブロックのスキップモードに基づいて現在ブロックを復元する。
【００７８】
本発明の実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうち１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。
【００７９】
上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。
【００８０】
したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【００８１】
１０１      多視点ビデオ符号化装置
１０２      多視点ビデオ復号化装置
２０１      符号化モード決定部
２０２      ビットストリーム生成部
３０１      インデックス復号化部
３０２      ブロック復元部
【図１】
2014505398.tif 000003
【図２】
2014505398.tif 000004
【図３】
2014505398.tif 000005
【図４】
2014505398.tif 000006
【図５】
2014505398.tif 000007
【図６】
2014505398.tif 000008
【図７】
2014505398.tif 000009
【図８】
2014505398.tif 000010
【図９】
2014505398.tif 000011
【図１０】
2014505398.tif 000012
【国際調査報告】
2014505398.tif 000013
2014505398.tif 000014
2014505398.tif 000015
2014505398.tif 000016