(57)【要約】  多視点映像の符号化、復号化方法及び装置に係り、該多視点映像の符号化方法は、現在ピクチャと、異なる視点のピクチャとの全域的な差を示すベクトルに基づいて、現在ブロックに対応するブロックを選択し、選択されたブロック及び前記選択されたブロックに隣接したブロックのうち、１つのブロック情報に基づいて現在ブロックを符号化することによって、視点間全域的な差だけではなく、客体の差も考慮して多視点映像を符号化できる。
2010515400.tif 000002
【特許請求の範囲】
【請求項１】
多視点映像の符号化方法において、
現在ブロックが含まれている現在ピクチャと、前記現在ピクチャの視点と異なる視点のピクチャとの全域的な差を示すベクトルに基づいて、前記現在ブロックに対応するブロックを、前記異なる視点のピクチャから選択する段階と、
前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうち、１つのブロック情報に基づいて、前記現在ブロックを符号化する段階とを含むことを特徴とする多視点映像符号化方法。
【請求項２】
前記ブロック情報は、
前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうち、１つの符号化に利用された予測モード、動きベクトル及び参照インデックスのうち、少なくとも一つを含むことを特徴とする請求項１に記載の多視点映像符号化方法。
【請求項３】
前記符号化する段階は、
前記現在ブロックが、前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうち、１つのブロック情報に基づいて符号化されたことを示すフラグ情報を符号化する段階を含むことを特徴とする請求項１に記載の多視点映像符号化方法。
【請求項４】
前記符号化する段階は、
前記現在ブロックが、前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうち、いかなるブロックのブロック情報に基づいて符号化されたかを示すインデックス情報を符号化する段階をさらに含むことを特徴とする請求項３に記載の多視点映像符号化方法。
【請求項５】
前記符号化する段階は、
前記フラグ情報及び前記インデックス情報をエントロピ符号化する段階をさらに含むことを特徴とする請求項４に記載の多視点映像符号化方法。
【請求項６】
前記エントロピ符号化する段階は、
前記フラグ情報及び前記インデックス情報をＣＡＢＡＣ（context-based adaptive arithmetic coding）符号化する段階を含むことを特徴とする請求項５に記載の多視点映像符号化方法。
【請求項７】
多視点映像の符号化装置において、
現在ブロックが含まれている現在ピクチャと、前記現在ピクチャの視点と異なる視点のピクチャとの全域的な差を示すベクトルに基づいて、前記現在ブロックに対応するブロックを、前記異なる視点のピクチャから選択する選択部と、
前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうち、１つのブロック情報に基づいて、前記現在ブロックを符号化する符号化部とを含むことを特徴とする多視点映像符号化装置。
【請求項８】
前記ブロック情報は、
前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうち、１つの符号化に利用された予測モード、動きベクトル及び参照インデックスのうち、少なくとも一つを含むことを特徴とする請求項７に記載の多視点映像符号化装置。
【請求項９】
前記符号化部は、
前記現在ブロックが、前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうち、１つのブロック情報に基づいて符号化されたことを示すフラグ情報を符号化するフラグ情報符号化部を含むことを特徴とする請求項７に記載の多視点映像符号化装置。
【請求項１０】
前記符号化部は、
前記現在ブロックが、前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうち、いかなるブロックのブロック情報に基づいて符号化されたかを示すインデックス情報を符号化することを特徴とする請求項９に記載の多視点映像符号化装置。
【請求項１１】
前記符号化部は、
前記フラグ情報及び前記インデックス情報をエントロピ符号化するエントロピ符号部をさらに含むことを特徴とする請求項１０に記載の多視点映像符号化装置。
【請求項１２】
前記エントロピ符号化部は、
前記フラグ情報及び前記インデックス情報をＣＡＢＡＣ符号化することを特徴とする請求項１１に記載の多視点映像符号化装置。
【請求項１３】
多視点映像の復号化方法において、
現在ブロックが含まれている現在ピクチャと、前記現在ピクチャの視点と異なる視点のピクチャとの全域的な差を示すベクトルに基づいて、前記現在ブロックに対応するブロックを、前記異なる視点のピクチャから選択し、前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうち、１つのブロック情報に基づいて符号化された前記現在ブロックに係るデータを含むビットストリームを受信する段階と、
前記受信されたビットストリームから、前記現在ブロックに係るデータを抽出する段階と、
前記抽出されたデータに基づいて、前記現在ブロックを復元する段階とを含むことを特徴とする多視点映像復号化方法。
【請求項１４】
前記現在ブロックに係るデータは、
前記現在ブロックが、前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうち、１つのブロック情報に基づいて符号化されたことを示すフラグ情報を含むことを特徴とする請求項１３に記載の多視点映像復号化方法。
【請求項１５】
前記現在ブロックに係るデータは、
前記現在ブロックが、前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうち、いかなるブロックのブロック情報に基づいて符号化されたかを示すインデックス情報をさらに含むことを特徴とする請求項１４に記載の多視点映像復号化方法。
【請求項１６】
前記復元する段階は、
前記インデックス情報によって特定されたブロックのブロック情報に基づいて、前記現在ブロックを復元することを特徴とする請求項１５に記載の多視点映像復号化方法。
【請求項１７】
多視点映像の復号化装置において、
現在ブロックが含まれている現在ピクチャと、前記現在ピクチャの視点と異なる視点のピクチャとの全域的な差を示すベクトルに基づいて、前記現在ブロックに対応するブロックを、前記異なる視点のピクチャから選択し、前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうち、１つのブロック情報に基づいて符号化された前記現在ブロックに係るデータを含むビットストリームを受信し、前記受信されたビットストリームから前記現在ブロックに係るデータを抽出する復号化部と、
前記抽出されたデータに基づいて、前記現在ブロックを復元する復元部とを含むことを特徴とする多視点映像復号化装置。
【請求項１８】
前記現在ブロックに係るデータは、
前記現在ブロックが、前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうち、１つのブロック情報に基づいて符号化されたことを示すフラグ情報を含むことを特徴とする請求項１７に記載の多視点映像復号化装置。
【請求項１９】
前記現在ブロックに係るデータは、
前記現在ブロックが、前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうち、いかなるブロックのブロック情報に基づいて符号化されたかを示すインデックス情報をさらに含むことを特徴とする請求項１８に記載の多視点映像復号化装置。
【請求項２０】
前記復元部は、
前記インデックス情報によって特定されたブロックのブロック情報に基づいて、前記現在ブロックを復元することを特徴とする請求項１９に記載の多視点映像復号化装置。
【請求項２１】
請求項１に記載の方法を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項２２】
請求項１３に記載の方法を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項２３】
多視点映像の符号化方法において、
現在ブロックが含まれている現在ピクチャと、前記現在ピクチャの視点と異なる視点のピクチャとの全域的な差を示すベクトルに基づいて、前記現在ブロックに対応するブロックを、前記異なる視点のピクチャから選択する段階と、
前記選択されたブロックのブロック情報に基づいてブロックを符号化する符号化モードによって、前記現在ブロックを符号化する段階と、
前記現在ブロックを含む現在スライスの少なくとも１つのブロックが、前記符号化モードによって符号化されたことを示すフラグ情報を符号化する段階とを含むことを特徴とする多視点映像符号化方法。
【請求項２４】
前記ブロック情報は、
前記選択されたブロックの符号化に利用された予測モード、動きベクトル及び参照インデックスのうち、少なくとも一つを含むことを特徴とする請求項２３に記載の多視点映像符号化方法。
【請求項２５】
前記フラグ情報は、
前記現在スライスに対するスライスヘッダに含まれたフラグ情報であることを特徴とする請求項２３に記載の多視点映像符号化方法。
【請求項２６】
前記フラグ情報を符号化する段階は、
前記現在ブロックが、前記符号化モードによって符号化されたか否かを示すフラグ情報を符号化する段階をさらに含むことを特徴とする請求項２３に記載の多視点映像符号化方法。
【請求項２７】
多視点映像の符号化装置において、
現在ブロックが含まれている現在ピクチャと、前記現在ピクチャの視点と異なる視点のピクチャとの全域的な差を示すベクトルに基づいて、前記現在ブロックに対応するブロックを、前記異なる視点のピクチャから選択する選択部と、
前記選択されたブロックのブロック情報に基づいてブロックを符号化する符号化モードによって、前記現在ブロックを符号化する符号化部とを含み、
前記符号化部は、前記現在ブロックを含む現在スライスの少なくとも１つのブロックが、前記符号化モードによって符号化されたことを示すフラグ情報を符号化するすることを特徴とする多視点映像符号化装置。
【請求項２８】
前記ブロック情報は、
前記選択されたブロックの符号化に利用された予測モード、動きベクトル及び参照インデックスのうち、少なくとも一つを含むことを特徴とする請求項２７に記載の多視点映像符号化装置。
【請求項２９】
前記フラグ情報は、
前記現在スライスに対するスライスヘッダに含まれたフラグ情報であることを特徴とする請求項２７に記載の多視点映像符号化装置。
【請求項３０】
前記符号化部は、
前記現在ブロックが、前記符号化モードによって符号化されたか否かを示すフラグ情報を符号化することを特徴とする請求項２７に記載の多視点映像符号化装置。
【請求項３１】
多視点映像の復号化方法において、
現在ブロックが含まれている現在ピクチャと、前記現在ピクチャの視点と異なる視点のピクチャとの全域的な差を示すベクトルに基づいて、前記現在ブロックに対応するブロックを、前記異なる視点のピクチャから選択し、前記選択されたブロックのブロック情報に基づいて符号化された前記現在ブロックに係るデータを含むビットストリームを受信する段階と、
前記受信されたビットストリームから、前記現在ブロックの残差ブロックに係るデータ及び符号化モードについての情報を抽出する段階と、
前記抽出された残差ブロックに係るデータ及び符号化モードについての情報に基づいて、前記現在ブロックを復元する段階とを含み、
前記符号化モードについての情報は、前記現在ブロックを含む現在スライスの少なくとも１つのブロックが、前記符号化モードによって符号化されたことを示すフラグ情報を含むことを特徴とする多視点映像復号化方法。
【請求項３２】
前記フラグ情報は、
前記現在スライスに対するスライスヘッダに含まれたフラグ情報であることを特徴とする請求項３１に記載の多視点映像復号化方法。
【請求項３３】
前記符号化モードについての情報は、
前記現在ブロックが、前記符号化モードによって符号化されたか否かを示すフラグ情報を含むことを特徴とする請求項３１に記載の多視点映像復号化方法。
【請求項３４】
多視点映像の復号化装置において、
現在ブロックが含まれている現在ピクチャと、前記現在ピクチャの視点と異なる視点のピクチャとの全域的な差を示すベクトルに基づいて、前記現在ブロックに対応するブロックを、前記異なる視点のピクチャから選択し、前記選択されたブロックのブロック情報に基づいて符号化された前記現在ブロックに係るデータを含むビットストリームを受信し、前記受信されたビットストリームから前記現在ブロックの残差に係るデータ及び符号化モードについての情報を抽出する復号化部と、
前記現在ブロックの残差ブロックに係るデータ及び符号化モードについての情報に基づいて、前記現在ブロックを復元する復元部とを含み、
前記符号化モードについての情報は、前記現在ブロックを含む現在スライスの少なくとも１つのブロックが、前記符号化モードによって符号化されたことを示すフラグ情報を含むことを特徴とする多視点映像復号化装置。
【請求項３５】
前記フラグ情報は、
前記現在スライスに係るスライスヘッダに含まれたフラグ情報であることを特徴とする請求項３４に記載の多視点映像復号化装置。
【請求項３６】
前記符号化モードについての情報は、
前記現在ブロックが、前記符号化モードによって符号化されたか否かを示すフラグ情報を含むことを特徴とする請求項３４に記載の多視点映像復号化装置。
【請求項３７】
請求項２３に記載の方法を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項３８】
請求項３１に記載の方法を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点映像の符号化、復号化方法及び装置に係り、さらに詳細には、全域差ベクトル（global  disparity  vector）を利用し、多視点映像をさらに高効率で符号化、復号化する方法及び装置に関する。
【背景技術】
【０００２】
多視点映像符号化では、多視点映像を提供する複数のカメラから映像信号を入力され、符号化を行う。多視点映像を時間的相関関係（temporal  correlation）、及びカメラ間（inter-view）の空間的相関関係（spatial  correlation）を利用して圧縮符号化する。
【０００３】
それぞれの視点に含まれたピクチャ間の時間的相関関係を利用して時間予測（temporal  prediction）を行ったり、同じ時間の互いに異なる視点のピクチャ間の空間的相関関係を利用して空間予測（spatial  prediction）を行う。
【０００４】
空間的相関関係を利用する方法のうちには、全域差ベクトル（global  disparity  vector）を利用して予測符号化する方法がある。図１を参照しつつ詳細に説明する。
【０００５】
図１Ａ及び図１Ｂは、互いに異なる視点の映像間の全域的な差を図示している。図１Ａ及び図１Ｂは、同じ時間に２台のカメラによって撮影された互いに異なる視点の映像を図示している。図１Ａ及び図１Ｂを参照するに、多視点映像では、互いに異なる視点に対して生成された映像は、カメラの位置差に起因する全域的な差を有する。図１Ａに図示された映像１１０のうち、左側の領域１２０は、図１Ｂには現れない領域である。また、図１Ｂに図示された映像１３０のうち、右側の領域１４０は、図１Ａには現れない領域である。総合してみれば、図１Ａに図示された映像を全域的に右側に移動させれば、図１Ｂに図示された映像と類似した映像になる。
【０００６】
図１Ａ及び図１Ｂのかような全域的な差は、互いに異なる視点で映像を撮影するカメラの位置差によって発生するものであり、かような全域的な差を示すベクトルを利用して現在ピクチャを予測符号化する方法を、全域差補償（global  disparity  compensation）という。
【０００７】
現在ピクチャとの全域的な差ほど参照ピクチャを、一次元または二次元の方向に移動させ、移動した参照ピクチャを参照して現在ピクチャを予測符号化する。しかし、全域的な差によって参照ピクチャを移動させ、現在ピクチャを予測符号化する方法は、参照ピクチャと現在ピクチャとに含まれている客体の個別的な移動は考慮しない。
【０００８】
図２Ａないし図２Ｃは、互いに異なる視点の映像に含まれた客体の差（disparity）を図示している。図２Ａのように、２台のカメラが距離の異なった位置にある客体を撮影する場合を例にして説明する。
【０００９】
第１カメラ２１０が撮影した映像が図２Ｂに図示された通りであるならば、第２カメラ２２０が撮影した映像は、図２Ｃに図示された通りである。カメラから近距離にある客体２３０は、２視点の映像で差がほとんど発生しない一方、カメラから遠距離にある客体２４０は、差が大きく発生する。
【００１０】
２視点の映像で発生する全域的な差を動き補償で考慮するとしても、映像に含まれた個別的な客体は、全域的な差と異なる差を有することがあるので、これを考慮した多視点映像の符号化方法が必要である。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明がなそうとする技術的課題は、多視点映像に含まれた客体の個別的な差を考慮し、多視点映像を符号化、復号化する方法及び装置を提供するところにあり、また当該方法を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供するところにある。
【課題を解決するための手段】
【００１２】
前記技術的課題を解決するための本発明による多視点映像の符号化方法は、現在ブロックが含まれている現在ピクチャと、前記現在ピクチャの視点と異なる視点のピクチャとの全域的な差を示すベクトルに基づいて、前記現在ブロックに対応するブロックを前記異なる視点のピクチャから選択する段階と、前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうち１つのブロック情報に基づいて、前記現在ブロックを符号化する段階とを含む。
【００１３】
本発明によるさらに望ましい実施形態によれば、前記ブロック情報は、前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうち１つの符号化に利用された予測モード、動きベクトル及び参照インデックスのうち、少なくとも一つを含む。
【００１４】
本発明によるさらに望ましい実施形態によれば、前記符号化する段階は、前記現在ブロックが前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうち、１つのブロック情報に基づいて符号化されたことを示すフラグ情報を符号化する段階を含む。
【００１５】
本発明によるさらに望ましい実施形態によれば、前記符号化する段階は、前記現在ブロックが、前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうちいかなるブロックのブロック情報に基づいて符号化されたかを示すインデックス情報を符号化する段階をさらに含む。
【００１６】
本発明によるさらに望ましい実施形態によれば、前記符号化する段階は、前記フラグ情報及び前記インデックス情報をエントロピ符号化する段階をさらに含む。
【００１７】
前記技術的課題を解決するための本発明による多視点映像の符号化装置は、現在ブロックが含まれている現在ピクチャと、前記現在ピクチャの視点と異なる視点のピクチャとの全域的な差を示すベクトルに基づいて、前記現在ブロックに対応するブロックを、前記異なる視点のピクチャから選択する選択部と、前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうち１つのブロック情報に基づいて、前記現在ブロックを符号化する符号化部とを含む。
【００１８】
前記技術的課題を解決するための本発明による多視点映像の復号化方法は、現在ブロックが含まれている現在ピクチャと、前記現在ピクチャの視点と異なる視点のピクチャとの全域的な差を示すベクトルに基づいて、前記現在ブロックに対応するブロックを、前記異なる視点のピクチャから選択し、前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうち、１つのブロック情報に基づいて符号化された前記現在ブロックに係るデータを含むビットストリームを受信する段階と、前記受信されたビットストリームから前記現在ブロックに係るデータを抽出する段階と、前記抽出されたデータに基づいて、前記現在ブロックを復元する段階とを含む。
【００１９】
本発明によるさらに望ましい実施形態によれば、前記現在ブロックに係るデータは、前記現在ブロックが、前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうち、１つのブロック情報に基づいて符号化されたことを示すフラグ情報を含む。
【００２０】
本発明によるさらに望ましい実施形態によれば、前記現在ブロックに係るデータは、前記現在ブロックが、前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうちいかなるブロックのブロック情報に基づいて符号化されたかを示すインデックス情報をさらに含む。
【００２１】
前記技術的課題を解決するための本発明による多視点映像の復号化装置は、現在ブロックが含まれている現在ピクチャと、前記現在ピクチャの視点と異なる視点のピクチャとの全域的な差を示すベクトルに基づいて、前記現在ブロックに対応するブロックを、前記異なる視点のピクチャから選択し、前記選択されたブロック及び前記選択されたブロックに隣接したブロックのうち、１つのブロック情報に基づいて符号化された前記現在ブロックに係るデータを含むビットストリームを受信し、前記受信されたビットストリームから前記現在ブロックに係るデータを抽出する復号化部と、前記抽出されたデータに基づいて、前記現在ブロックを復元する復元部とを含む。
【００２２】
前記技術的課題を解決するための本発明による多視点映像の符号化方法は、現在ブロックが含まれている現在ピクチャと、前記現在ピクチャの視点と異なる視点のピクチャとの全域的な差を示すベクトルに基づいて、前記現在ブロックに対応するブロックを、前記異なる視点のピクチャから選択する段階と、前記選択されたブロックのブロック情報に基づいてブロックを符号化する符号化モードによって前記現在ブロックを符号化する段階と、前記現在ブロックを含む現在スライスの少なくとも１つのブロックが、前記符号化モードによって符号化されたか否かを示すフラグ情報を符号化する段階とを含む。
【００２３】
前記技術的課題を解決するための本発明による多視点映像の符号化装置は、現在ブロックが含まれている現在ピクチャと、前記現在ピクチャの視点と異なる視点のピクチャとの全域的な差を示すベクトルに基づいて、前記現在ブロックに対応するブロックを、前記異なる視点のピクチャから選択する選択部と、前記選択されたブロックのブロック情報に基づいてブロックを符号化する符号化モードによって前記現在ブロックを符号化する符号化部とを含み、前記符号化部は、前記現在ブロックを含む現在スライスの少なくとも１つのブロックが、前記符号化モードによって符号化されたことを示すフラグ情報を符号化することを特徴とする。
【００２４】
前記技術的課題を解決するための本発明の一実施形態による多視点映像の復号化方法は、現在ブロックが含まれている現在ピクチャと、前記現在ピクチャの視点と異なる視点のピクチャとの全域的な差を示すベクトルに基づいて、前記現在ブロックに対応するブロックを、前記異なる視点のピクチャから選択し、前記選択されたブロックのブロック情報に基づいて符号化された前記現在ブロックに係るデータを含むビットストリームを受信する段階と、前記受信されたビットストリームから前記現在ブロックの残差（residual）ブロックに係るデータ及び符号化モードに係る情報を抽出する段階と、前記抽出された残差ブロックに係るデータ及び符号化モードに対する情報に基づいて、前記現在ブロックを復元する段階とを含み、前記符号化モードについての情報は、前記現在ブロックを含む現在スライスの少なくとも１つのブロックが、前記符号化モードによって符号化されたことを示すフラグ情報を含むことを特徴とする。
【００２５】
前記技術的課題を解決するための本発明による多視点映像の復号化装置は、現在ブロックが含まれている現在ピクチャと、前記現在ピクチャの視点と異なる視点のピクチャとの全域的な差を示すベクトルに基づいて、前記現在ブロックに対応するブロックを、前記異なる視点のピクチャから選択し、前記選択されたブロックのブロック情報に基づいて符号化された前記現在ブロックに係るデータを含むビットストリームを受信し、前記受信されたビットストリームから前記現在ブロックの残差に係るデータ及び符号化モードについての情報を抽出する復号化部と、前記現在ブロックの残差ブロックに係るデータ及び符号化モードについての情報に基づいて、前記現在ブロックを復元する復元部とを含み、前記符号化モードについての情報は、前記現在ブロックを含む現在スライスの少なくとも１つのブロックが、前記符号化モードによって符号化されたことを示すフラグ情報を含むことを特徴とする。
【００２６】
前記技術的課題を解決するために本発明は、前記の多視点映像符号化及び復号化方法を実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。
【発明の効果】
【００２７】
本発明の例示的な実施形態によれば、現在ピクチャと異なる視点の現在ブロックに対応するブロックだけではなく、対応するブロックに隣接したブロックのブロック情報も利用して多視点映像を符号化するために、視点間全域的な差だけではなく、客体の個別的な差も考慮し、多視点映像を符号化できる。
【００２８】
また、現在ブロックが、他のブロックのブロック情報をそのまま利用して符号化できる確率が高まり、ブロック情報を符号化するのに消耗されるビット数を減らすことができ、符号化の圧縮率が向上する。
【００２９】
他のブロックのブロック情報をそのまま利用して遂行される符号化モードが適用されたか否かをスライス単位で制御できるために、符号化モードについての情報がさらに効率的に符号化されて復号化されうる。
【図面の簡単な説明】
【００３０】
【図１Ａ】互いに異なる視点の映像間の全域的な差を図示する図である。
【図１Ｂ】互いに異なる視点の映像間の全域的な差を図示する図である。
【図２Ａ】互いに異なる視点の映像に含まれた客体の差を図示する図である。
【図２Ｂ】互いに異なる視点の映像に含まれた客体の差を図示する図である。
【図２Ｃ】互いに異なる視点の映像に含まれた客体の差を図示する図である。
【図３】本発明の例示的な一実施形態による多視点映像の符号化装置を図示する図である。
【図４】本発明の例示的な一実施形態による隣接視点を決定する方法を図示する図である。
【図５】本発明の例示的な一実施形態による現在ブロックの符号化方法を図示する図である。
【図６】本発明の例示的な一実施形態による符号化部を図示する図である。
【図７】本発明の例示的な一実施形態によるブロック情報を生成するための構文を図示する図である。
【図８】本発明の例示的な一実施形態による多視点映像の符号化方法を示すフローチャートである。
【図９】本発明の例示的な一実施形態による多視点映像の復号化装置を図示する図である。
【図１０】本発明の例示的な一実施形態による多視点映像の復号化方法を示すフローチャートである。
【発明を実施するための形態】
【００３１】
以下では、図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。
【００３２】
図３は、本発明の例示的な一実施形態による多視点映像の符号化装置を図示する図である。
【００３３】
本発明による多視点映像符号化装置３００は、選択部３１０、符号化部３２０及びフレームメモリ３３０を含む。
【００３４】
選択部３１０は、現在ブロックが含まれている現在ピクチャと、現在ピクチャの視点と異なる視点のピクチャとの全域的な差を示すベクトルに基づいて、現在ブロックに対応するブロックを異なる視点のピクチャから選択する。現在ピクチャと、以前に符号化された異なる視点のピクチャとの全域的な差を示す全域差ベクトル（global  disparity  vector）によって、現在マクロブロックに対応するマクロブロックを、隣接（neighboring）視点のピクチャから選択する。
【００３５】
以前に符号化された他視点のピクチャは、所定のブロック単位ですでに符号化された状態である。ブロック情報も、符号化されたブロック単位で生成されている。従って、現在ブロックを他ブロックのブロック情報を利用して符号化しようとするなら、ブロック情報が生成されたブロックを、現在ブロックに対応するブロックとして選択せねばならない。従って、全域差ベクトルが、ｘ軸またはｙ軸の方向に現在ブロックのサイズの倍数ではない場合には、丸め（rounding）を行って現在ブロックに対応するブロックを選択する。
【００３６】
例えば、異なる視点のピクチャが、１６×１６マクロブロック単位でブロック情報を生成して符号化され、現在ブロックも、１６×１６マクロブロックであると仮定する。もし全域差を計算した結果、全域差ベクトルが、（ｘ，ｙ）＝（１０，１２）と決定されたとすれば、現在ブロックに対応するブロックは、異なる視点のピクチャで、（ｘ，ｙ）＝（１０，１２）ほど移動した位置にあるブロックになる。しかし、１０と１２は、現在ブロックのサイズの倍数ではなく、（ｘ，ｙ）＝（１０，１２）ほど移動した位置にあるブロックは、複数のマクロブロックにわたっているブロックであって、独立したブロック情報を有しているわけではない。従って，１０と１２とを１６に丸めを行って、現在マクロブロックから（ｘ，ｙ）＝（１６，１６）位置ほど移動した位置にあるマクロブロックを隣接視点のピクチャから選択する。
【００３７】
全域差ベクトルのｘ成分及びｙ成分に丸めを行って、対応するブロックを選択する方法は例示であるだけであり、それ以外にも他のさまざまな方法を利用し、対応するブロックを選択できることは、本発明が属する技術分野での当業者は、容易に理解することができるであろう。
【００３８】
選択部３１０が、現在ブロックに対応するブロックを選択するために検索する隣接視点を決定する方法には制限がなく、多視点映像のシーケンス（sequence）ごとに異なる方法を利用し、隣接視点を決定できる。図４を参照しつつ、詳細に説明する。
【００３９】
図４は、本発明の例示的な一実施形態による隣接視点を決定する方法を図示する図である。８個の視点に対する多視点映像で、現在ブロックに対応するブロックを選択するために検索する隣接視点を決定する方法を図示する図である。
【００４０】
図３及び図４を参照するに、現在ブロックが、視点（View）１の映像に含まれたブロックであるならば、多視点映像符号化装置３００は、視点０の映像から、現在ブロックに対応するブロックを選択する。また、現在ブロックが、視点２の映像に含まれたブロックであるならば、多視点映像符号化装置３００は、視点０の映像から、現在ブロックに対応するブロックを選択する。現在ブロックが、視点３の映像に含まれたブロックであるならば、多視点映像符号化装置は、視点２の映像から、現在ブロックに対応するブロックを選択する。また、現在ブロックが視点４の映像に含まれたブロックであるならば、多視点映像符号化装置は、視点２の映像から、現在ブロックに対応するブロックを選択する。現在ブロックが視点５及び視点６の映像に含まれたブロックであるならば、多視点映像符号化装置は、視点４の映像から、現在ブロックに対応するブロックを選択する。最後に、現在ブロックが視点７の映像に含まれたブロックであるならば、多視点映像符号化装置は、視点６の映像から、現在ブロックに対応するブロックを選択する。
【００４１】
図４に図示された方法は例示的なものであり、隣接視点を決定する方法に制限のないことはすでに述べた通りである。
【００４２】
再び、図３を参照するに、符号化部３２０は、選択されたブロック及び選択されたブロックに隣接したブロックのうち１つのブロックのブロック情報に基づき、現在ブロックを符号化する。現在ブロックは、それらブロックのうち、１つのブロック情報によって、所定の方法で現在ブロックを符号化する。すなわち、現在ブロックは、選択されたブロック及び選択されたブロックに隣接したブロックのうち、１つのブロックのブロック情報を利用して符号化されうる。選択されたブロック及び隣接したブロックのうち、符号化のために利用される１つのブロック情報は、Ｒ−Ｄ（rate-distortion）コストによって決定される。現在ブロックの符号化のために利用されるブロック情報を含むブロックが、イントラ予測を利用して符号化されたならば、現在ブロックも、イントラ予測を利用して符号化する。また、現在ブロックの符号化のために利用されるブロック情報を含むブロックがブロックが、時間（temporal）予測を利用して符号化されたならば、現在ブロックも、時間予測を利用して符号化する。
【００４３】
現在ブロックの符号化に利用されるブロック情報類型には制限がない。例えば、ブロック情報は、選択されたブロックの符号化に利用された予測モード、視点間予測（inter-view  prediction）または時間予測に利用された動きベクトル、及び参照インデックスのうち、少なくとも一つが含まれうる。
【００４４】
他のブロックのブロック情報をそのまま利用して符号化するために、現在ブロックについては、さらにブロック情報を生成する必要がない。詳細な内容は、図７と関連して後述する。
【００４５】
現在ブロックを、選択されたブロックのブロック情報によって符号化することが、多視点映像の一般的な予測方法であるイントラ予測または視点間予測または時間予測を利用して符号化するより、Ｒ−Ｄコストが低いと判断された場合、選択されたブロックのブロック情報をそのまま利用して符号化を行う。
【００４６】
図５は、本発明の例示的な一実施形態による現在ブロックの符号化方法を図示する図である。図５は、符号化部３２０（図３）が現在ブロック５１０を符号化するにおいて利用するところの隣接視点のブロックを選択する方法を図示する図である。
【００４７】
図３及び図５を参照するに、選択部３１０は、全域差ベクトルによって、隣接視点のピクチャで、対応するブロック５３０を選択する。その後、符号化部３２０は、選択されたブロック５３０及び選択されたブロックに隣接したブロック５４０のうち、１つのブロック情報を利用して現在ブロック５１０を符号化する。
【００４８】
本発明による符号化部３２０は、全域差ベクトルによって選択されたブロック５３０だけではなく、選択されたブロックに隣接したブロック５４０のブロック情報も符号化に利用する。
【００４９】
図５に図示された隣接したブロック５４０は例示的なものであり、ブロック情報を利用する隣接したブロックの数には制限がない。図５に図示されたように、隣接したブロックを８個のみ選択し、全体で９個のブロック５５０を現在ブロックの符号化に利用することもでき、９個のブロック５５０の外部のさらに多数のブロックを現在ブロックの符号化に利用することもできる。また、隣接したブロック５４０の８個をいずれも利用せずに、隣接したブロックのうち、一部のブロックのみ現在ブロックの符号化に利用することも可能である。この場合、隣接したブロック５４０のうち、現在ブロックと相関性（correlation）の高い一部ブロックのブロック情報のみ利用して現在ブロックを符号化する。
【００５０】
隣接視点から選択されたブロック５３０及び選択されたブロックに隣接したブロック５４０には、現在ブロックが、いかなるブロックのブロック情報を利用して符号化されたかを示すために、インデックス（index）が付与される。これについては、図７を参照しつつ、詳細に後述する。
【００５１】
再び図３及び図５を参照するに、符号化部３２０が現在ブロックを、選択部３１０から選択されたブロック及び選択されたブロックに隣接したブロックのうち、１つのブロックのブロック情報を利用して符号化を行う過程で、現在ブロックの符号化モードについての情報も共に符号化する。現在ブロック５１０の符号化モードについての情報は、現在ブロックが選択されたブロック５３０及び選択されたブロックに隣接したブロック５４０のうち、１つのブロックのブロック情報を利用して符号化されたことを示すフラグ情報でありうる。図６を参照しつつ、詳細に説明する。
【００５２】
図６は、本発明の例示的な一実施形態による符号化部３２０を図示する図である。図６を参照するに、本発明による符号化部３２０は、フラグ情報符号化部６１０、インデックス情報符号化部６２０及びエントロピ符号化部６３０を含む。
【００５３】
フラグ情報符号化部６１０は、現在ブロックが、選択部３１０から選択されたブロック及び選択されたブロックに隣接したブロックのうち、１つのブロックのブロック情報に基づいて符号化されたことを示すフラグ情報を符号化する。現在ブロックが、多視点映像の一般的な予測方法であるイントラ予測または視点間予測または時間予測を利用せずに、全域差ベクトルによって選択されたブロック及び選択されたブロックに隣接したブロックのうち、１つのブロック情報に基づいて符号化されたことを示すフラグ情報を符号化する。
【００５４】
全域差ベクトルに基づいて選択された他ブロックのブロック情報をそのまま利用して符号化されたので、現在ブロックのブロック情報は、別途にビットストリームに挿入する必要がない。フラグ情報が、現在ブロックのブロック情報を代替することとなる。フラグ情報は、マクロブロックヘッダまたはスライスヘッダに含まれうるが、マクロブロックヘッダにフラグ情報を含める方法は、図７と関連して詳細に説明する。
【００５５】
マクロブロックヘッダに含まれるフラグ情報以外に、スライス単位で、図５に図示された本発明による符号化モードの適用いかんを示すことができるように、スライスヘッダにフラグ情報を含めることもできる。フラグ情報をスライスヘッダに挿入することによって、図５に図示された本発明による符号化モードの適用いかんをスライス単位で制御できる。
【００５６】
例えば、「ＭＢ＿ｉｎｆｏ＿ｓｋｉｐ＿ｅｎａｂｌｅ」構文をスライスヘッダに追加できる。もし「ＭＢ＿ｉｎｆｏ＿ｓｋｉｐ＿ｅｎａｂｌｅ＝１」であるならば、現在スライスに含まれたブロックのうち、少なくとも１つのブロックが、図５に図示された符号化方法によって符号化されたことを示し、「ＭＢ＿ｉｎｆｏ＿ｓｋｉｐ＿ｅｎａｂｌｅ＝０」であるならば、現在スライスに含まれたブロックのうち、いかなるブロックも、図５に図示された符号化方法によって符号化されていないことを示すように実施形態を構成できる。従って、「ＭＢ＿ｉｎｆｏ＿ｓｋｉｐ＿ｅｎａｂｌｅ＝０」であるならば、現在スライスに含まれたあらゆるブロックが、図５に図示された符号化方法によって符号化されていないのである。この場合、現在スライスに含まれたあらゆるブロックに対して、図７と関連して後述する「ｍｂｉｎｆｏ＿ｓｋｉｐ＿ｆｌａｇ」及び「ｒｅｆ＿ｍｂ＿ｐｏｓ」の構文を符号化する必要がない。
【００５７】
インデックス情報符号化部６２０は、現在ブロックが、全域差ベクトルによって選択されたブロック及び選択されたブロックに隣接したブロックのうち、いかなるブロックのブロック情報を利用して符号化されたかを示すインデックス情報を符号化する。インデックス情報は、現在ブロックが、選択部３１０によって選択されたブロックだけではなく、選択されたブロックに隣接したブロックのブロック情報も利用して符号化される場合に必要である。
【００５８】
本発明による符号化部３２０は、全域差ベクトルによって選択されたブロックだけではなく、選択されたブロックに隣接した周辺ブロックのブロック情報も利用して符号化を行うことができる。従って、それらブロックのうち、現在ブロックの符号化に利用したブロックを特定するためのインデックス情報も共に符号化する。
【００５９】
エントロピ符号化部６３０は、フラグ情報符号化部６１０で生成されたフラグ情報及びインデックス情報符号化部６２０で生成されたインデックス情報をエントロピ符号化する。二進化されたフラグ情報及びインデックス情報を、ＣＡＢＡＣ（context-based adaptive arithmetic coding）符号化してビットストリームに挿入する。
【００６０】
図７は、本発明の例示的な一実施形態によるブロック情報を生成するための構文（syntax）を図示する図である。
【００６１】
図７は、符号化部３２０で、フラグ情報及びインデックス情報を生成するための構文を図示する図である。図７を参照するに、従来技術と異なり、本発明による符号化部３２０は、「ｍｂｉｎｆｏ＿ｓｋｉｐ＿ｆｌａｇ」及び「ｒｅｆ＿ｍｂ＿ｐｏｓ」を生成する。
【００６２】
「ｍｂｉｎｆｏ＿ｓｋｉｐ＿ｆｌａｇ」は、現在ブロックが、全域差ベクトルによって選択されたブロック及び選択されたブロックに隣接したブロックのうち、１つのブロック情報を利用して符号化されたか否かを示すフラグ情報である。
【００６３】
他ブロックのブロック情報をそのまま利用して符号化されるために、現在ブロックに対して別途にブロック情報を生成する必要がない。従って、現在ブロックのブロック情報をスキップ（skip）することを示すフラグ情報が、「ｍｂｉｎｆｏ＿ｓｋｉｐ＿ｆｌａｇ」として生成される。
【００６４】
「ｒｅｆ＿ｍｂ＿ｐｏｓ」は、現在ブロックが、いかなるブロックのブロック情報を利用して符号化されたかを示すための情報である。現在ブロックが、全域差ベクトルによって選択されたブロックだけではなく、選択されたブロックに隣接したブロックに基づいて符号化されたならば、全域差ベクトルによって選択されたブロック及び選択されたブロックに隣接したブロックのうち、いかなるブロックのブロック情報を利用して符号化されたかを示すための情報である。
【００６５】
図５に図示された選択されたブロック（インデックス０）及び隣接したブロック（インデックス１ないし８）のうち、いかなるブロックのブロック情報を利用したかを特定するための情報としてビットストリームに挿入される。
【００６６】
図５に図示された選択されたブロック５３０、及び選択されたブロック５３０に隣接したブロック５４０に付加された番号は、まず順位を示すことができる。換言すれば、現在ブロック５１０を符号化するにおいて、参照する順序を意味できる。現在ブロック５１０を符号化するにおいて、番号が「０」である選択されたブロック５３０のブロック情報と、現在ブロック５１０のブロック情報とが一致する場合、「ｍｂｉｎｆｏ＿ｓｋｉｐ＿ｆｌａｇ＝１」に設定し、「ｒｅｆ＿ｍｂ＿ｐｏｓ＝０」に設定する。しかし、番号が「０」である選択されたブロック５３０のブロック情報と、現在ブロック５１０のブロック情報とが一致しない場合には、番号が「１」ブロック、換言すれば、選択されたブロックの上部に隣接したブロックのブロック情報と、現在ブロック５１０のブロック情報とを比較する。比較の結果、ブロック情報が一致すれば、「ｍｂｉｎｆｏ＿ｓｋｉｐ＿ｆｌａｇ＝１」に設定し、「ｒｅｆ＿ｍｂ＿ｐｏｓ＝１」に設定する。かような比較を番号「８」まで反復し、一致する場合がなければ、「ｍｂｉｎｆｏ＿ｓｋｉｐ＿ｆｌａｇ＝１」に設定し、従来技術による符号化方法によって、現在ブロックのブロック情報を符号化する。
【００６７】
再び図３を参照するに、符号化部３２０で符号化された現在ブロックは、フレームメモリ３３０に保存される。フレームメモリ３３０に保存された後、ブロックまたは次のピクチャの符号化時に参照される。
【００６８】
図８は、本発明の例示的な一実施形態による多視点映像の符号化方法について説明するためのフローチャートである。図８を参照するに、段階８１０で、本発明による映像符号化装置３００は、現在ピクチャと隣接ピクチャとの全域的な差を示す全域差ベクトルを利用し、現在ブロックに対応するブロックを隣接ピクチャから選択する。
【００６９】
段階８２０で、映像符号化装置３００は、段階８１０で選択された現在ブロックに対応するブロック及び選択されたブロックに隣接したブロックのうち、１つのブロック情報に基づいて、現在ブロックを符号化する。すなわち、現在ブロックは、選択されたブロックのブロック情報のみを利用して符号化されたり、選択されたブロック及び選択されたブロックに隣接したブロックのうち、１つのブロックのブロック情報に基づいて符号化されうる。
【００７０】
ブロック情報をそのまま利用して現在ブロックを符号化する。現在ブロックの符号化モードについてのフラグ情報、及びいかなるブロックのブロック情報を利用して符号化されたかを示すためのインデックス情報も共に符号化され、ビットストリームに挿入される。フラグ情報及びインデックス情報をエントロピ符号化し、ビットストリームに挿入する。フラグ情報は、図７に図示されたように、マクロブロックヘッダに挿入されるフラグ情報でありうる。また、別途に、現在スライスに含まれた少なくとも１つのブロックが、図５を参照しつつ前述したところの符号化モードによって符号化されたことを示すフラグ情報が符号化され、スライスヘッダに挿入されうる。
【００７１】
図９は、本発明の例示的な一実施形態による多視点映像の復号化装置を図示する図である。図９を参照するに、本発明による映像復号化装置９００は、復号化部９１０及び復元部９２０を含む。
【００７２】
復号化部９１０は、現在ブロックに係るデータを含んでいるビットストリームを受信し、受信されたビットストリームから、現在ブロックに係るデータを抽出する。
【００７３】
現在ブロックに係るデータには、現在ブロックが予測符号化されて生成された残差ブロックに係るデータ、及び現在ブロックの符号化モードについての情報が含まれる。残差ブロックは、現在ブロックが含まれている現在ピクチャと、他視点のピクチャとの全域的な差を示すベクトルに基づいて、現在ブロックに対応するブロックを選択し、選択されたブロック及び選択されたブロックに隣接したブロックのうち、１つのブロック情報に基づいて、予測符号化して生成されたブロックである。
【００７４】
現在ブロックの符号化モードについての情報には、現在ブロックが、本発明による符号化モードによって符号化されたことを示すフラグ情報、及び現在ブロックの符号化に利用されたブロックを特定するためのインデックス情報が含まれている。インデックス情報は、現在ブロックの符号化に隣接したブロックのブロック情報が利用された場合に含まれる。
【００７５】
復号化部９１０は、スライスヘッダのフラグ情報を参照し、現在スライスが本発明による符号化方法によって符号化されたブロックを含んでいるか否かを判断する。もしスライスヘッダのフラグ情報を参照した結果、現在スライスが、本発明による符号化方法によって符号化されたブロックを含んでいなければ、現在ブロックのブロックヘッダに含まれている現在ブロックが、本発明による符号化方法によって符号化されたことを示すフラグ情報及びインデックス情報を抽出する必要がない。
【００７６】
復号化部９１０は、残差ブロックに係るデータをエントロピ復号化、逆変換及び逆量子化して復号化する。現在ブロックのフラグ情報及びインデックス情報は、エントロピ復号化、すなわち、ＣＡＢＡＣ復号化して復号化する。
【００７７】
復元部９２０は、復号化部９１０が抽出した現在ブロックに係るデータに基づいて、現在ブロックを復元する。
【００７８】
復号化部９１０が抽出した現在ブロックのブロック情報には、フラグ情報及びインデックス情報が含まれている。従って、復元部９２０は、スライスヘッダのフラグ情報、ブロックヘッダのフラグ情報及びインデックス情報を参照し、隣接視点の対応するブロック及び対応するブロックに隣接したブロックのうち、１つのブロックのブロック情報を現在ブロックのブロック情報として利用して復号化を行う。
【００７９】
復元部９２０は、ブロック情報によって、同じ予測モードで現在ブロックを予測する。予測の結果として生成された予測ブロックと、復号化部９１０で抽出された残差ブロックとを加算し、現在ブロックを復元する。
【００８０】
図１０は、本発明の例示的な一実施形態による多視点映像の復号化方法について説明するためのフローチャートである。多視点映像の復号化方法は、図９に図示された多視点映像復号化装置によって遂行される。図１０を参照するに、段階１０１０で、本発明による映像復号化装置９００は、全域的な差を示すベクトルに基づいて符号化された現在ブロックに係るデータを含むビットストリームを受信する。
【００８１】
全域的差ベクトルに基づいて現在ブロックに対応するブロックを隣接視点から選択し、選択されたブロック及び選択されたブロックに隣接したブロックのうち、１つのブロック情報に基づいて符号化された現在ブロックに係るデータを含むビットストリームを受信する。
【００８２】
段階１０２０で、映像復号化装置９００は、段階１０１０で受信されたビットストリームから、現在ブロックに係るデータを抽出する。現在ブロックの残差ブロックに係るデータ、及び現在ブロックの符号化モード情報を抽出する。現在ブロックのブロック情報には、現在ブロックが、本発明による符号化モードによって符号化されたことを示すフラグ情報、及び現在ブロックの符号化に利用されたブロックを特定するためのインデックス情報が含まれている。また、ブロック情報及びフラグ情報は、マクロブロックヘッダ及びスライスヘッダからそれぞれ抽出されうる。
【００８３】
段階１０３０で、映像復号化装置９００は、段階１０２０で抽出された現在ブロックに係るデータに基づいて、現在ブロックを復元する。現在ブロックのブロック情報に含まれたフラグ情報と、インデックス情報によって特定された他ブロックのブロック情報とをそのまま利用し、現在ブロックを復元する。
【００８４】
以上のように本発明は、たとえ限定された実施形態と図面とによって説明されたにしても、本発明が前記の実施形態に限定されるものではなく、本発明が属する分野で当業者であるならば、かような記載から多様な修正及び変形が可能であろう。従って、本発明の思想は、特許請求の範囲によってのみ把握されるものであり、それと均等であるか、または等価的な変形はいずれも、本発明の思想の範疇に属するといえるのである。また、本発明は、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。記録媒体の例としては、ＲＯＭ（read-only  memory）、ＲＡＭ（random-access  memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて遂行されうる。
【図１Ａ】
2010515400.tif 000003
【図１Ｂ】
2010515400.tif 000004
【図２Ａ】
2010515400.tif 000005
【図２Ｂ】
2010515400.tif 000006
【図２Ｃ】
2010515400.tif 000007
【図３】
2010515400.tif 000008
【図４】
2010515400.tif 000009
【図５】
2010515400.tif 000010
【図６】
2010515400.tif 000011
【図７】
2010515400.tif 000012
【図８】
2010515400.tif 000013
【図９】
2010515400.tif 000014
【図１０】
2010515400.tif 000015
【国際調査報告】
2010515400.tif 000016
2010515400.tif 000017