(57)【要約】本発明は、従来のＭＰＥＧ−４で定義しているＭＡＣを利用して立体ビデオを符号化及び復号化する。立体ビデオに対し、一側の映像を一つのビデオ客体と決め、他の一側の映像をビデオ客体と決めた映像に対する補助情報として、水平変異マップ、垂直変異マップ、輝度残差テクスチャー、色差残差テクスチャーに分離して、映像の重要度及び複雑度によってＭＡＣの補助要素に各々割当てて符号化し、単一の符号化ストリームとして出力する。
2006512809.tif 000002
【特許請求の範囲】
【請求項１】
第１映像及び第２映像を有する立体ビデオの符号化方法であって、
（ａ）前記第１映像を符号化して、前記第１映像に対する量子化されたビデオ客体及び動きベクトルを出力する段階；
（ｂ）前記第１映像及び前記第２映像を受信して、前記第１映像を基準にした前記第２映像に対する画素単位の水平変異マップを求める段階；及び
（ｃ）前記画素単位の水平変異マップ及び前記動きベクトルに基づいて、前記水平変異マップを符号化して、量子化された水平変異マップを出力する段階；
を含む立体ビデオの符号化方法。
【請求項２】
（ｄ）前記量子化されたビデオ客体、前記動きベクトル、前記量子化された水平変異マップに対し、可変長符号化をして単一ストリームとして出力する段階をさらに含む、請求項１に記載の立体ビデオの符号化方法。
【請求項３】
前記量子化された水平変異マップが、ＭＰＥＧ−４−ＭＡＣの変異タイプ補助要素に割当てられて符号化されることを特徴とする、請求項１に記載の立体ビデオの符号化方法。
【請求項４】
前記第１映像は左映像であり、前記第２映像は右映像であることを特徴とする、請求項１に記載の立体ビデオの符号化方法。
【請求項５】
第１映像及び第２映像を有する立体ビデオの復号化方法であって、
（ａ）符号化ストリームを受信して、前記第１映像に対するビデオ客体の量子化されたデータ、動きベクトル、及び水平変異マップの量子化されたデータを出力する段階；
（ｂ）前記ビデオ客体の量子化されたデータ及び前記動きベクトルに基づいて、前記ビデオ客体を復号化して、前記第１映像を復元する段階；
（ｃ）前記水平変異マップの量子化されたデータ及び前記動きベクトルに基づいて、前記水平変異マップの量子化されたデータを復号化する段階；及び
（ｄ）前記復元された第１映像と前記復号化された水平変異マップに基づいて変異補償を行い、前記第２映像を復元する段階；
を含む立体ビデオの復号化方法。
【請求項６】
前記第１映像は左映像であり、前記第２映像は右映像であることを特徴とする、請求項５に記載の立体ビデオの復号化方法。
【請求項７】
第１映像及び第２映像を有する立体ビデオの符号化方法であって、
（ａ）前記第１映像を符号化して、前記第１映像に対する量子化されたビデオ客体及び動きベクトルを出力する段階；
（ｂ）前記段階（ａ）で出力された前記量子化されたビデオ客体を復号化して、前記第１映像を復元する段階；
（ｃ）前記第１映像及び前記第２映像を受信して、前記第１映像を基準にした前記第２映像に対する画素単位の水平変異マップを求める段階；
（ｄ）前記画素単位の水平変異マップ及び前記動きベクトルに基づいて、前記水平変異マップを符号化して、量子化された水平変異マップを出力する段階；
（ｅ）前記段階（ｄ）で出力された前記量子化された水平変異マップを復元して、復元された水平変異マップを出力する段階；
（ｆ）前記段階（ｂ）で復元された第１映像の画素値と、前記段階（ｅ）で復元された前記水平変異マップの水平変異ベクトル値に基づいて、変異補償を行い、変異補償された第２映像の画素値を出力する段階；及び
（ｇ）前記第２映像の画素値と前記段階（ｆ）で出力された変異補償された第２映像の画素値とを引き算して輝度残差テクスチャーを出力し、前記輝度残差テクスチャーを符号化して、量子化された輝度残差テクスチャーを出力する段階；
を含む立体ビデオの符号化方法。
【請求項８】
（ｈ）前記量子化されたビデオ客体、前記動きベクトル、前記量子化された水平変異マップ、及び前記量子化された輝度残差テクスチャーに対して可変長符号化をし、単一ストリームとして出力する段階をさらに含む、請求項７に記載の立体ビデオの符号化方法。
【請求項９】
前記量子化された水平変異マップ及び前記量子化された輝度残差テクスチャーが、ＭＰＥＧ−４−ＭＡＣに割当てられて符号化されることを特徴とする、請求項７に記載の立体ビデオの符号化方法。
【請求項１０】
前記第１映像は左映像であり、前記第２映像は右映像であることを特徴とする、請求項７に記載の立体ビデオの符号化方法。
【請求項１１】
（ｈ）前記第２映像の画素値と前記段階（ｆ）で出力された変異補償された第２映像の画素値とを引き算して色差残差テクスチャーを出力し、前記色差残差テクスチャーを符号化して、量子化された色差残差テクスチャーを出力する段階をさらに含む、請求項７に記載の立体ビデオの符号化方法。
【請求項１２】
（ｉ）前記量子化されたビデオ客体、前記動きベクトル、前記量子化された水平変異マップ、前記量子化された輝度残差テクスチャー、前記量子化された色差残差テクスチャーに対し、可変長符号化をして単一ストリームとして出力する段階をさらに含む、請求項１１に記載の立体ビデオの符号化方法。
【請求項１３】
前記量子化された水平変異マップ、前記量子化された輝度残差テクスチャー、及び前記量子化された色差残差テクスチャーが、ＭＰＥＧ−４−ＭＡＣに割当てられて符号化されることを特徴とする、請求項１１に記載の立体ビデオの符号化方法。
【請求項１４】
第１映像及び第２映像を有する立体ビデオの復号化方法であって、
（ａ）符号化ストリームを受信して、前記第１映像に対するビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータ、及び輝度残差テクスチャーの量子化されたデータを出力する段階；
（ｂ）前記ビデオ客体の量子化されたデータ及び前記動きベクトルに基づいて、前記ビデオ客体を復号化して、前記第１映像を復元する段階；
（ｃ）前記水平変異マップの量子化されたデータ及び前記動きベクトルに基づいて、前記水平変異マップの量子化されたデータを復号化する段階；
（ｄ）前記輝度残差テクスチャーの量子化されたデータ及び前記動きベクトルに基づいて、前記輝度残差テクスチャーの量子化されたデータを復号化する段階；
（ｅ）前記復元された第１映像及び前記復号化された水平変異マップに基づいて変異補償を行い、変異補償された輝度テクスチャーを出力する段階；
（ｆ）前記変異補償された輝度テクスチャーと前記段階（ｄ）で復元した前記輝度残差テクスチャーを加算して、前記第２映像を復元する段階；
を含む立体ビデオの復号化方法。
【請求項１５】
前記第１映像は左映像であり、前記第２映像は右映像であることを特徴とする、請求項１４に記載の立体ビデオの復号化方法。
【請求項１６】
前記段階（ａ）は、前記符号化ストリームを受信して、色差残差テクスチャーの量子化されたデータを追加的に出力し、
前記段階（ｄ）は、前記色差残差テクスチャーの量子化されたデータ及び前記動きベクトルに基づいて、前記色差残差テクスチャーの量子化されたデータを追加的に復号化し、
前記段階（ｆ）は、前記変異補償された色差テクスチャーと前記色差残差テクスチャーを追加的に加算して、前記第２映像を復元することを特徴とする、請求項１４に記載の立体ビデオの復号化方法。
【請求項１７】
第１映像及び第２映像を有する立体ビデオの符号化方法であって、
（ａ）前記第１映像を符号化して、前記第１映像に対する量子化されたビデオ客体及び動きベクトルを出力する段階；
（ｂ）前記段階（ａ）で出力された前記量子化されたビデオ客体を復号化して、前記第１映像を復元する段階；
（ｃ）前記第１映像及び前記第２映像を受信して、前記第１映像を基準にした前記第２映像に対する画素単位の水平変異マップと画素単位の垂直変異マップを求める段階；
（ｄ）前記画素単位の水平変異マップ及び前記動きベクトルに基づいて、前記水平変異マップを符号化して、量子化された水平変異マップを出力する段階；
（ｅ）前記画素単位の垂直変異マップ及び前記動きベクトルに基づいて、前記垂直変異マップを符号化して、量子化された垂直変異マップを出力する段階；
（ｆ）前記段階（ｄ）で出力された前記量子化された水平変異マップを復元して、復元された水平変異マップを出力する段階；
（ｇ）前記段階（ｅ）で出力された前記量子化された垂直変異マップを復元して、復元された垂直変異マップを出力する段階；
（ｈ）前記段階（ｂ）で復元された第１映像の画素値、前記段階（ｆ）で復元された前記水平変異マップの水平変異ベクトル値、前記段階（ｈ）で復元された前記垂直変異マップの垂直変異ベクトル値に基づいて、変異補償を行い、変異補償された第２映像の画素値を出力する段階；及び
（ｉ）前記第２映像の画素値と前記段階（ｈ）で出力された変異補償された第２映像の画素値とを引き算して輝度残差テクスチャーを出力し、前記輝度残差テクスチャーを符号化して、量子化された輝度残差テクスチャーを出力する段階；
を含む立体ビデオの符号化方法。
【請求項１８】
（ｊ）前記量子化されたビデオ客体、前記動きベクトル、前記量子化された水平変異マップ、前記量子化された垂直変異マップ、及び前記量子化された輝度残差テクスチャーに対して可変長符号化をし、単一ストリームとして出力する段階をさらに含む、請求項１７に記載の立体ビデオの符号化方法。
【請求項１９】
前記量子化された水平変異マップ、前記量子化された垂直変異マップ、及び前記量子化された輝度残差テクスチャーが、ＭＰＥＧ−４−ＭＡＣに割当てられて符号化されることを特徴とする、請求項１７に記載の立体ビデオの符号化方法。
【請求項２０】
前記第１映像は左映像であり、前記第２映像は右映像であることを特徴とする、請求項１７に記載の立体ビデオの符号化方法。
【請求項２１】
（ｊ）前記第２映像の画素値と前記段階（ｈ）で出力された変異補償された第２映像の画素値とを引き算して色差残差テクスチャーを出力し、前記色差残差テクスチャーを符号化して、量子化された色差残差テクスチャーを出力する段階をさらに含む、請求項１７に記載の立体ビデオの符号化方法。
【請求項２２】
（ｋ）前記量子化されたビデオ客体、前記動きベクトル、前記量子化された水平変異マップ、前記量子化された垂直変異マップ、前記量子化された輝度残差テクスチャー、及び前記量子化された色差残差テクスチャーに対して可変長符号化をし、単一ストリームとして出力する段階をさらに含む、請求項２１に記載の立体ビデオの符号化方法。
【請求項２３】
第１映像及び第２映像を有する立体ビデオの復号化方法であって、
（ａ）符号化ストリームを受信して、前記第１映像に対するビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータ、垂直変異マップの量子化されたデータ、及び輝度残差テクスチャーの量子化されたデータを出力する段階；
（ｂ）前記ビデオ客体の量子化されたデータ及び前記動きベクトルに基づいて、前記ビデオ客体を復号化して、前記第１映像を復元する段階；
（ｃ）前記水平変異マップの量子化されたデータ及び前記動きベクトルに基づいて、前記水平変異マップの量子化されたデータを復号化する段階；
（ｄ）前記垂直変異マップの量子化されたデータ及び前記動きベクトルに基づいて、前記垂直変異マップの量子化されたデータを復号化する段階；
（ｅ）前記輝度残差テクスチャーの量子化されたデータ及び前記動きベクトルに基づいて、前記輝度残差テクスチャーの量子化されたデータを復号化する段階；
（ｆ）前記復元された第１映像、前記復号化された水平変異マップ、及び前記復号化された垂直変異マップに基づいて変異補償を行い、変異補償された輝度テクスチャーを出力する段階；
（ｇ）前記変異補償された輝度テクスチャーと前記段階（ｅ）で復元した前記輝度残差テクスチャーを加算して、前記第２映像を復元する段階；
を含む立体ビデオの復号化方法。
【請求項２４】
前記段階（ａ）は、前記符号化ストリームを受信して、色差残差テクスチャーの量子化されたデータを追加的に出力し、
前記段階（ｅ）は、前記色差残差テクスチャーの量子化されたデータ及び前記動きベクトルに基づいて、前記色差残差テクスチャーの量子化されたデータを追加的に復号化し、
前記段階（ｇ）は、前記変異補償された色差テクスチャーと前記色差残差テクスチャーを追加的に加算して、前記第２映像を復元することを特徴とする、請求項２３に記載の立体ビデオの復号化方法。
【請求項２５】
第１映像及び第２映像を有する立体ビデオの符号化装置であって、
前記第１映像を符号化して、前記第１映像に対する量子化されたビデオ客体及び動きベクトルを出力するビデオ客体符号化器；
前記第１映像及び前記第２映像を受信して、前記第１映像を基準にした前記第２映像に対する画素単位の水平変異マップを求める変異推定器；及び
前記変異推定器から出力される前記画素単位の水平変異マップ、及び前記ビデオ客体符号化器から出力される前記動きベクトルに基づいて、前記水平変異マップを符号化して、量子化された水平変異マップを出力する補助要素符号化器；
を含む立体ビデオの符号化装置。
【請求項２６】
前記量子化されたビデオ客体、前記動きベクトル、前記量子化された水平変異マップに対して可変長符号化をし、単一ストリームとして出力する可変長符号化器をさらに含む、請求項２５に記載の立体ビデオの符号化装置。
【請求項２７】
第１映像及び第２映像を有する立体ビデオの復号化装置であって、
符号化ストリームを受信して、前記第１映像に対するビデオ客体の量子化されたデータ、動きベクトル、及び水平変異マップの量子化されたデータを出力する可変長復号化器；
前記可変長復号化器から出力される前記ビデオ客体の量子化されたデータ及び前記動きベクトルに基づいて、前記ビデオ客体を復号化して、前記第１映像を復元するビデオ客体復号化器；
前記可変長復号化器から出力される前記水平変異マップの量子化されたデータ及び前記動きベクトルに基づいて、前記水平変異マップの量子化されたデータを復号化する補助要素復号化器；及び
前記ビデオ客体復号化器から出力される前記復元された第１映像及び前記補助要素復号化器から出力される前記復号化された水平変異マップに基づいて変異補償を行い、前記第２映像を復元する変異補償器；
を含む立体ビデオの復号化装置。
【請求項２８】
第１映像及び第２映像を有する立体ビデオの符号化装置であって、
前記第１映像を符号化して、前記第１映像に対する量子化されたビデオ客体及び動きベクトルを出力し、前記量子化されたビデオ客体を復号化して、復元された第１映像を出力するビデオ客体符号化器；
前記第１映像及び前記第２映像を受信して、前記第１映像を基準にした前記第２映像に対する画素単位の水平変異マップを求める変異推定器；
前記変異推定器から出力される前記画素単位の水平変異マップ、及び前記ビデオ客体符号化器から出力される前記動きベクトルに基づいて、前記水平変異マップを符号化して量子化された水平変異マップを出力し、出力された前記量子化された水平変異マップを復号化して、復元された水平変異マップを出力する第１補助要素符号化器；
前記ビデオ客体符号化器から出力された復元された第１映像の画素値と前記第１補助要素符号化器から出力された前記復元された水平変異マップの水平変異ベクトル値とに基づいて、変異補償を行い、変異補償された第２映像の画素値を出力する変異補償器；及び
前記第２映像の画素値と前記変異補償器から出力された変異補償された第２映像の画素値とを引き算して輝度残差テクスチャーを出力し、前記輝度残差テクスチャーを符号化して、量子化された輝度残差テクスチャーを出力する第２補助要素符号化器；
を含む立体ビデオの符号化装置。
【請求項２９】
前記量子化されたビデオ客体、前記動きベクトル、前記量子化された水平変異マップ、及び前記量子化された輝度残差テクスチャーに対して可変長符号化をし、単一ストリームとして出力する可変長符号化器をさらに含む、請求項２８に記載の立体ビデオの符号化装置。
【請求項３０】
前記量子化された水平変異マップ及び前記量子化された輝度残差テクスチャーが、ＭＰＥＧ−４−ＭＡＣに割当てられて符号化されることを特徴とする、請求項２８に記載の立体ビデオの符号化装置。
【請求項３１】
前記第２映像の画素値と前記変異補償器から出力された変異補償された第２映像の画素値とを引き算して色差残差テクスチャーを出力し、前記色差残差テクスチャーを符号化して、量子化された色差残差テクスチャーを出力する第３補助要素符号化器をさらに含む、請求項２８に記載の立体ビデオの符号化装置。
【請求項３２】
前記量子化されたビデオ客体、前記動きベクトル、前記量子化された水平変異マップ、前記量子化された輝度残差テクスチャー、及び前記量子化された色差残差テクスチャーに対して可変長符号化をし、単一ストリームとして出力する可変長符号化器をさらに含む、請求項３１に記載の立体ビデオの符号化装置。
【請求項３３】
前記量子化された水平変異マップ、前記量子化された輝度残差テクスチャー、及び前記量子化された色差残差テクスチャーが、ＭＰＥＧ−４−ＭＡＣに割当てられて符号化されることを特徴とする、請求項３１に記載の立体ビデオの符号化装置。
【請求項３４】
前記変異推定器は、前記第１映像を基準にした前記第２映像に対する画素単位の垂直変異マップを追加的に出力し、
前記立体ビデオの符号化装置は、前記変異推定器から出力される前記画素単位の垂直変異マップ及び前記ビデオ客体符号化器から出力される動きベクトルに基づいて、前記垂直変異マップを符号化して、量子化された垂直変異マップを出力する第３補助要素符号化器を追加的に含み、
前記変異補償器は、前記復元された第１映像の画素値、前記復元された水平変異マップの水平変異ベクトル値、及び前記復元された垂直変異マップに基づいて、変異補償を行い、変異補償された第２映像の画素値を出力することを特徴とする、請求項２８に記載の立体ビデオの符号化装置。
【請求項３５】
前記量子化されたビデオ客体、前記動きベクトル、前記量子化された水平変異マップ、前記量子化された垂直変異マップ、及び前記量子化された輝度残差テクスチャーに対して可変長符号化をし、単一ストリームとして出力する可変長符号化器をさらに含む、請求項３４に記載の立体ビデオの符号化装置。
【請求項３６】
前記量子化された水平変異マップ、前記量子化された垂直変異マップ、及び前記量子化された輝度残差テクスチャーが、ＭＰＥＧ−４−ＭＡＣに割当てられて符号化されることを特徴とする、請求項３４に記載の立体ビデオの符号化装置。
【請求項３７】
前記第２映像の画素値と前記変異補償器から出力される変異補償された第２映像の画素値とを引き算して色差残差テクスチャーを出力し、前記色差残差テクスチャーを符号化して、量子化された色差残差テクスチャーを出力する第４補助要素符号化器をさらに含む、請求項３４に記載の立体ビデオの符号化装置。
【請求項３８】
前記量子化されたビデオ客体、前記動きベクトル、前記量子化された水平変異マップ、前記量子化された垂直変異マップ、前記量子化された輝度残差テクスチャー、及び前記量子化された色差残差テクスチャーに対して可変長符号化をし、単一ストリームとして出力する可変長符号化器をさらに含む、請求項３７に記載の立体ビデオの符号化装置。
【請求項３９】
前記ビデオ客体符号化器は、
前記第１映像と動き補償されたデータを引き算して、引き算されたデータに対して離散コサイン変換及び量子化を遂行し、量子化されたビデオ客体を出力する符号化部；
前記符号化部から出力される量子化されたビデオ客体に対して逆量子化及び逆離散コサイン変換を遂行し、ビデオ客体データを復元してメモリに貯蔵する復号化部；
前記第１映像と前記メモリに貯蔵された直前フレームの復元されたビデオ客体データとを比較して、動きベクトルを出力する動き推定器；及び
前記動き推定器から出力される動きベクトルと前記メモリに貯蔵された直前フレームの復元されたビデオ客体データとを比較して、前記動き補償データを出力する動き補償器；
を含む、請求項２８に記載の立体ビデオの符号化装置。
【請求項４０】
前記第１補助要素符号化器は、
前記水平変異マップと動き補償されたデータを引き算して、引き算されたデータに対して離散コサイン変換及び量子化を遂行し、量子化された水平変異マップを出力する符号化部；
前記符号化部から出力される量子化された水平変異マップに対して逆量子化及び逆離散コサイン変換を遂行し、水平変異マップを復元してメモリに貯蔵する復号化部；
前記ビデオ客体符号化器の前記動き推定器から出力される動きベクトルと前記メモリに貯蔵された直前フレームの復元された水平変異マップとを比較して、前記動き補償データを出力する動き補償器；
を含む、請求項３９に記載の立体ビデオの符号化装置。
【請求項４１】
第１映像及び第２映像を有する立体ビデオの復号化装置であって、
符号化ストリームを受信して、前記第１映像に対するビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータ、及び輝度残差テクスチャーの量子化されたデータを出力する可変長復号化器；
前記ビデオ客体の量子化されたデータ及び前記動きベクトルに基づいて、前記ビデオ客体を復号化して、前記第１映像を復元するビデオ客体復号化器；
前記水平変異マップの量子化されたデータ及び前記動きベクトルに基づいて、前記水平変異マップの量子化されたデータを復号化する第１補助要素復号化器；
前記輝度残差テクスチャーの量子化されたデータ及び前記動きベクトルに基づいて、前記輝度残差テクスチャーの量子化されたデータを復号化する第２補助要素復号化器；
前記ビデオ客体復号化器から出力される前記復元された第１映像及び前記第１補助要素復号化器から出力される復号化された水平変異マップに基づいて変異補償を行い、変異補償された輝度テクスチャー及び変異補償された色差テクスチャーを出力する変異補償器；及び
前記変異補償器から出力される変異補償された輝度テクスチャーと前記第２補助要素復号化器から出力される復元された前記輝度残差テクスチャーを加算する第１加算器；
を含む立体ビデオの復号化装置。
【請求項４２】
前記可変長復号化器は、色差残差テクスチャーの量子化されたデータを追加的に出力し、
前記立体ビデオの復号化装置は、
前記可変長復号化器から出力される色差残差テクスチャーの量子化されたデータ及び前記動きベクトルに基づいて、前記色差残差テクスチャーの量子化されたデータを復号化する第３補助要素復号化器；及び
前記変異補償器から出力される変異補償された色差テクスチャーと前記第３補助要素復号化器から出力される復元された前記色差残差テクスチャーを加算する第２加算器；をさらに含む、請求項４１に記載の立体ビデオの復号化装置。
【請求項４３】
前記可変長復号化器は、垂直変異マップの量子化されたデータを追加的に出力し、
前記立体ビデオの復号化装置は、前記可変長復号化器から出力される前記垂直変異マップの量子化されたデータ及び前記動きベクトルに基づいて、前記垂直変異マップの量子化されたデータを復号化する第３補助要素復号化器を追加的に含み、
前記変異補償器は、前記ビデオ客体復号化器から出力される前記復元された第１映像、前記第１補助要素復号化器から出力される復号化された水平変異マップ、及び前記第３補助要素復号化器から出力される復号化された垂直変異マップに基づいて変異補償を行い、変異補償された輝度テクスチャー及び変異補償された色差テクスチャーを出力することを特徴とする、請求項４１に記載の立体ビデオの復号化装置。
【請求項４４】
前記可変長復号化器は、色差残差テクスチャーの量子化されたデータを追加的に出力し、
前記立体ビデオの復号化装置は、前記可変長復号化器から出力される色差残差テクスチャーの量子化されたデータ及び前記動きベクトルに基づいて、前記色差残差テクスチャーの量子化されたデータを復号化する第４補助要素復号化器；及び
前記変異補償器から出力される変異補償された色差テクスチャーと前記第３補助要素復号化器から出力される復元された前記色差残差テクスチャーを加算する第２加算器；をさらに含む、請求項４３に記載の立体ビデオの復号化装置。
【請求項４５】
前記ビデオ客体復号化器は、
前記可変長復号化器から出力されるビデオ客体の量子化されたデータを逆量子化する逆量子化器；
逆量子化器から出力されるデータに対して逆離散コサイン変換を遂行する逆離散コサイン変換器；
直前フレームの復元されたビデオ客体データと動きベクトルとを比較して動きを補償し、動きベクトルを出力する動き補償器；及び
前記逆離散コサイン変換器から出力されるビデオ客体と前記動き補償器から出力される動き補償されたデータを加算する加算器；を含む、請求項４１に記載の立体ビデオの復号化装置。
【請求項４６】
前記第１補助要素復号化器は、
前記可変長復号化器から出力される水平変異マップの量子化されたデータを逆量子化する逆量子化器；
逆量子化器から出力されるデータに対して逆離散コサイン変換を遂行する逆離散コサイン変換器；
直前フレームの復元された水平変異マップと動きベクトルとを比較して動きを補償し、動きベクトルを出力する動き補償器；及び
前記逆離散コサイン変換器から出力される水平変異マップと前記動き補償器から出力される動き補償されたデータを加算する加算器；を含む、請求項４１に記載の立体ビデオの復号化装置。
【請求項４７】
第１映像及び第２映像を有する立体ビデオの符号化/復号化方法であって、
前記第１映像を一つのビデオ客体に設定し、前記第２映像を前記第１映像に対する補助情報としてＭＰＥＧ−４−ＭＡＣに割当てて符号化/復号化することを特徴とする、立体ビデオの符号化/復号化方法。
【請求項４８】
前記補助情報は、
前記第１映像を基準にした右映像の画素単位の水平変異ベクトル値を有する水平変異マップ；
前記第１映像を基準にした右映像の画素単位の垂直変異ベクトル値を有する垂直変異マップ；
符号化の後で復元された前記第１映像と、復元された変異マップによって変異補償された第２映像と、入力された第２映像との輝度成分に対する残差映像データである輝度残差テクスチャーと；
符号化の後で復元された前記第１映像と、復元された変異マップによって変異補償された第２映像と、入力された第２映像との色差成分に対する残差映像データである色差残差テクスチャーとのうちの一つ以上を含むことを特徴とする、請求項４７に記載の立体ビデオの符号化/復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体ビデオ（stereoscopic  video）の符号化及び復号化方法、並びにその装置に係り、特に、従来のＭＰＥＧ−４のＭＡＣ（多様化補助要素：Multiple  Auxiliary  Component）を利用し、立体ビデオを単一符号化ストリームとして符号化及び復号化する方法、並びにその装置に関する。
【背景技術】
【０００２】
従来の立体ビデオの符号化方式として、ＭＰＥＧ−２の２次原映像符号化技術を拡張したＭＶＰ（多視点画像：Multi−View  Profile）がある。この方式によれば、動き補償のみを利用して符号化を行う基底層（Base  layer）の符号化構造がＭＰＥＧ−２ ＭＰ（Main  Profile）と同一であって、従来の２次元ビデオデコーダーで基底層のデータのみを復元すれば、左右のうちの一方の映像が復元される。したがって、従来の２次元ビデオデコーダーシステムと互換性を維持することができる。一方、上位層（Enhancement  layer）の符号化器は、左右映像の間に存在する相関情報を利用して符号化を行う。この方式は、基本的に時間伸縮を利用して符号化する方式であるが、ＭＰＥＧ−４でも時間伸縮を利用した立体ビデオの符号化について定義している。
【０００３】
このような従来技術は、下記の特許文献１に開示されている。前記特許文献１は、時間伸縮を基盤にして、基底層では動き補償及びＤＣＴ（離散コサイン変換）基盤アルゴリズムを利用して左目に対する映像を符号化し、上位層では、右目の映像に対する動きの補償なしで、基底層と上位層との間の変異（変異：disparity）情報のみを利用して右目に対する映像を符号化する。
【０００４】
また、下記特許文献２に開示されている発明は前記特許文献１と同様に、時間伸縮を利用し、基底層では動き補償及びＤＣＴ基盤アルゴリズムを利用して左目に対する映像を符号化し、上位層では、右目に対する映像間の動き補償及び基底層と上位層との間の変異情報を利用して右目に対する映像を符号化する。前記方式は、動き及び変異情報を利用して符号化することによって効率的な圧縮効率を達成するが、符号化構造が複雑であってハードウェア実現が難しく、ＨＤＴＶ映像を処理する場合は相当量の計算が要求される。
【０００５】
したがって、時間伸縮を利用して立体ビデオを符号化する場合、左右映像間の同期化問題を簡単にするために、基底層と上位層から出力される各々の符号化ストリームを単一ストリームとして伝送するための別途の多重化作業が必要であるという短所がある。
【０００６】
従来の多視点ビデオ（Multi−view  video）符号化方式の中で、画素単位の変異ベクトル値を有する変異マップを利用して符号化する方式がある。
【０００７】
このような従来技術は、下記特許文献３に開示された。
【０００８】
前記特許文献３に開示された発明は、最初の映像（左映像）に対し、映像データ全体に対して符号化する。そして、第２番目の映像（右映像）に対しては、最初及び第２番目の映像から画素単位の変異ベクトル値を有する変異マップを生成して、動き補償された変異ベクトルに対する符号化を行い、符号化の後で復元された最初の映像を利用して復元された変異マップを変異補償して生成された第２番目の映像と、入力された２番目の原映像との減算結果（残差と記す）映像データを符号化する。この方式は複数の符号化ストリームが出力され、単一ストリームとして伝送するためには別途の多重化が必要であるという短所がある。
【０００９】
立体ビデオにおいて、２次原映像に対する従来のＭＰＥＧコーデックをそのまま使用しながら左右映像間を簡便に同期化をする方式として、左右各々の映像を１/２に縮少して左右映像を一つの映像に転換して符号化することによって単一符号化ストリームとして出力する方式がある。左右映像を１/２に縮少して２次元の標準映像に転換する技術は、下記非特許文献１の論文に５種類の方式で提案された。
【００１０】
前記技術はまた、下記特許文献４に開示されている。
【００１１】
前記特許文献４に開示された発明は、左目に対する映像は奇数フィールドの映像のみを選択し、右目に対する映像は偶数フィールドの映像のみを選択して一つの映像に転換する方式を利用し、転換された一つの映像に対して従来の２次原映像に対するＭＰＥＧ符号化を行う。この方式は、立体ビデオの表示装置において左右映像を交互に表示する光路開閉方式を考慮した方式であって、左右映像を同時に表示する偏光方式の表示装置には適していない。
【特許文献１】米国特許第５，６１２，７３５号
【特許文献２】米国特許第５，６１９，２５６号
【特許文献３】米国特許第６，０５５，２７４号
【特許文献４】米国特許第５，６３３，６８２号
【非特許文献１】Andrew Woods, Tom Docherty and Rolf Koch, 3D Video Standards Conversion, Stereoscopic Displays and Applications VII, California, Feb. 1996, Proceedings of the SPIE vol. 2653A
【発明の開示】
【発明が解決しようとする課題】
【００１２】
本発明が目的とする技術的課題は、このような従来技術の問題点を解決するためのものであって、本発明は、従来のＭＰＥＧ−４符号化技術及びシステムをそのまま利用することができるように互換性を維持し、左右映像間の同期化の複雑度を最小化することにある。
【００１３】
また、本発明は、映像の重要度又は複雑度によって映像の画質を選択的に調節して符号化できるようにして、符号化効率を向上させるためのものである。
【課題を解決するための手段】
【００１４】
このような目的を達成するための本発明の一つの特徴による符号化方法は、第１映像及び第２映像を有する立体ビデオの符号化方法であって、
（ａ）前記第１映像を符号化して、前記第１映像に対する量子化されたビデオ客体及び動きベクトルを出力する段階；
（ｂ）前記第１映像及び前記第２映像を受信して、前記第１映像を基準にした前記第２映像に対する画素単位の水平変異マップを求める段階；及び
（ｃ）前記画素単位の水平変異マップ及び前記動きベクトルに基づいて、前記水平変異マップを符号化して、量子化された水平変異マップを出力する段階；を含む。
【００１５】
一方、本発明の他の特徴による符号化方法は、第１映像及び第２映像を有する立体ビデオの符号化方法であって、
（ａ）前記第１映像を符号化して、前記第１映像に対する量子化されたビデオ客体及び動きベクトルを出力する段階；
（ｂ）前記段階（ａ）で出力された前記量子化されたビデオ客体を復号化して、前記第１映像を復元する段階；
（ｃ）前記第１映像及び前記第２映像を受信して、前記第１映像を基準にした前記第２映像に対する画素単位の水平変異マップを求める段階；
（ｄ）前記画素単位の水平変異マップ及び前記動きベクトルに基づいて、前記水平変異マップを符号化して、量子化された水平変異マップを出力する段階；
（ｅ）前記段階（ｄ）で出力された前記量子化された水平変異マップを復元して、復元された水平変異マップを出力する段階；
（ｆ）前記段階（ｂ）で復元された第１映像の画素値と前記段階（ｅ）で復元された前記水平変異マップの水平変異ベクトル値とに基づいて変異補償を行い、変異補償された第２映像の画素値を出力する段階；及び
（ｇ）前記第２映像の画素値と前記段階（ｆ）で出力された変異補償された第２映像の画素値とを引き算して輝度残差テクスチャーを出力し、前記輝度残差テクスチャーを符号化して、量子化された輝度残差テクスチャーを出力する段階；を含む。
【００１６】
一方、本発明の他の特徴による符号化方法は、第１映像及び第２映像を有する立体ビデオの符号化方法であって、
（ａ）前記第１映像を符号化して、前記第１映像に対する量子化されたビデオ客体及び動きベクトルを出力する段階；
（ｂ）前記段階（ａ）で出力された前記量子化されたビデオ客体を復号化して、前記第１映像を復元する段階；
（ｃ）前記第１映像及び前記第２映像を受信して、前記第１映像を基準にした前記第２映像に対する画素単位の水平変異マップと画素単位の垂直変異マップを求める段階；
（ｄ）前記画素単位の水平変異マップ及び前記動きベクトルに基づいて、前記水平変異マップを符号化して、量子化された水平変異マップを出力する段階；
（ｅ）前記画素単位の垂直変異マップ及び前記動きベクトルに基づいて、前記垂直変異マップを符号化して、量子化された垂直変異マップを出力する段階；
（ｆ）前記段階（ｄ）で出力された前記量子化された水平変異マップを復元して、復元された水平変異マップを出力する段階；
（ｇ）前記段階（ｅ）で出力された前記量子化された垂直変異マップを復元して、復元された垂直変異マップを出力する段階；
（ｈ）前記段階（ｂ）で復元された第１映像の画素値、前記段階（ｆ）で復元された前記水平変異マップの水平変異ベクトル値、前記段階（ｈ）で復元された前記垂直変異マップの垂直変異ベクトル値に基づいて、変異補償を行い、変異補償された第２映像の画素値を出力する段階；及び
（ｉ）前記第２映像の画素値と前記段階（ｈ）で出力された変異補償された第２映像の画素値とを引き算して輝度残差テクスチャーを出力し、前記輝度残差テクスチャーを符号化して、量子化された輝度残差テクスチャーを出力する段階；を含む。
【００１７】
一方、本発明の一つの特徴による復号化方法は、第１映像及び第２映像を有する立体ビデオの復号化方法であって、
（ａ）符号化ストリームを受信して、前記第１映像に対するビデオ客体の量子化されたデータ、動きベクトル、及び水平変異マップの量子化されたデータを出力する段階；
（ｂ）前記ビデオ客体の量子化されたデータ及び前記動きベクトルに基づいて、前記ビデオ客体を復号化して、前記第１映像を復元する段階；
（ｃ）前記水平変異マップの量子化されたデータ及び前記動きベクトルに基づいて、前記水平変異マップの量子化されたデータを復号化する段階；及び
（ｄ）前記復元された第１映像及び前記復号化された水平変異マップに基づいて変異補償を行い、前記第２映像を復元する段階；を含む。
【００１８】
一方、本発明の他の特徴による復号化方法は、第１映像及び第２映像を有する立体ビデオの復号化方法であって、
（ａ）符号化ストリームを受信して、前記第１映像に対するビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータ、及び輝度残差テクスチャーの量子化されたデータを出力する段階；
（ｂ）前記ビデオ客体の量子化されたデータ及び前記動きベクトルに基づいて、前記ビデオ客体を復号化して、前記第１映像を復元する段階；
（ｃ）前記水平変異マップの量子化されたデータ及び前記動きベクトルに基づいて、前記水平変異マップの量子化されたデータを復号化する段階；
（ｄ）前記輝度残差テクスチャーの量子化されたデータ及び前記動きベクトルに基づいて、前記輝度残差テクスチャーの量子化されたデータを復号化する段階；
（ｅ）前記復元された第１映像及び前記復号化された水平変異マップに基づいて変異補償を行い、変異補償された輝度テクスチャーを出力する段階；
（ｆ）前記変異補償された輝度テクスチャーと前記段階（ｄ）で復元した前記輝度残差テクスチャーを加算して、前記第２映像を復元する段階；を含む。
【００１９】
一方、本発明のまた他の特徴による復号化方法は、第１映像及び第２映像を有する立体ビデオの復号化方法であって、
（ａ）符号化ストリームを受信して、前記第１映像に対するビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータ、垂直変異マップの量子化されたデータ、及び輝度残差テクスチャーの量子化されたデータを出力する段階；
（ｂ）前記ビデオ客体の量子化されたデータ及び前記動きベクトルに基づいて、前記ビデオ客体を復号化して、前記第１映像を復元する段階；
（ｃ）前記水平変異マップの量子化されたデータ及び前記動きベクトルに基づいて、前記水平変異マップの量子化されたデータを復号化する段階；
（ｄ）前記垂直変異マップの量子化されたデータ及び前記動きベクトルに基づいて、前記垂直変異マップの量子化されたデータを復号化する段階；
（ｅ）前記輝度残差テクスチャーの量子化されたデータ及び前記動きベクトルに基づいて、前記輝度残差テクスチャーの量子化されたデータを復号化する段階；
（ｆ）前記復元された第１映像、前記復号化された水平変異マップ、及び前記復号化された垂直変異マップに基づいて変異補償を行い、変異補償された輝度テクスチャーを出力する段階；
（ｇ）前記変異補償された輝度テクスチャーと前記段階（ｅ）で復元した前記輝度残差テクスチャーを加算して、前記第２映像を復元する段階；を含む。
【００２０】
一方、本発明の一つの特徴による符号化装置は、第１映像及び第２映像を有する立体ビデオの符号化装置であって、
前記第１映像を符号化して、前記第１映像に対する量子化されたビデオ客体及び動きベクトルを出力するビデオ客体符号化器；
前記第１映像及び前記第２映像を受信して、前記第１映像を基準にした前記第２映像に対する画素単位の水平変異マップを求める変異推定器；及び
前記変異推定器から出力される前記画素単位の水平変異マップ、及び前記ビデオ客体符号化器から出力される前記動きベクトルに基づいて前記水平変異マップを符号化して、量子化された水平変異マップを出力する補助要素符号化器；を含む。
【００２１】
一方、本発明の他の特徴による符号化装置は、第１映像及び第２映像を有する立体ビデオの符号化装置であって、
前記第１映像を符号化して、前記第１映像に対する量子化されたビデオ客体及び動きベクトルを出力し、前記量子化されたビデオ客体を復号化して、復元された第１映像を出力するビデオ客体符号化器；
前記第１映像及び前記第２映像を受信して、前記第１映像を基準にした前記第２映像に対する画素単位の水平変異マップを求める変異推定器；
前記変異推定器から出力される前記画素単位の水平変異マップ、及び前記ビデオ客体符号化器から出力される前記動きベクトルに基づいて、前記水平変異マップを符号化して、量子化された水平変異マップを出力し、出力された前記量子化された水平変異マップを復号化して、復元された水平変異マップを出力する第１補助要素符号化器；
前記ビデオ客体符号化器から出力された復元された第１映像の画素値と前記第１補助要素符号化器から出力された前記復元された水平変異マップの水平変異ベクトル値とに基づいて変異補償を行い、変異補償された第２映像の画素値を出力する変異補償器；及び
前記第２映像の画素値と前記変異補償器から出力された変異補償された第２映像の画素値とを引き算して輝度残差テクスチャーを出力し、前記輝度残差テクスチャーを符号化して、量子化された輝度残差テクスチャーを出力する第２補助要素符号化器；を含む。
【００２２】
一方、本発明の一つの特徴による復号化装置は、第１映像及び第２映像を有する立体ビデオの復号化装置であって、
符号化ストリームを受信して、前記第１映像に対するビデオ客体の量子化されたデータ、動きベクトル、及び水平変異マップの量子化されたデータを出力する可変長復号化器；
前記可変長復号化器から出力される前記ビデオ客体の量子化されたデータ及び前記動きベクトルに基づいて、前記ビデオ客体を復号化し、前記第１映像を復元するビデオ客体復号化器；
前記可変長復号化器から出力される前記水平変異マップの量子化されたデータ及び前記動きベクトルに基づいて、前記水平変異マップの量子化されたデータを復号化する補助要素復号化器；及び
前記ビデオ客体復号化器から出力される前記復元された第１映像及び前記補助要素復号化器から出力される前記復号化された水平変異マップに基づいて変異補償を行い、前記第２映像を復元する変異補償器；を含む。
【００２３】
一方、本発明の他の特徴による復号化装置は、第１映像及び第２映像を有する立体ビデオの復号化装置であって、
符号化ストリームを受信して、前記第１映像に対するビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータ、及び輝度残差テクスチャーの量子化されたデータを出力する可変長復号化器；
前記ビデオ客体の量子化されたデータ及び前記動きベクトルに基づいて、前記ビデオ客体を復号化し、前記第１映像を復元するビデオ客体復号化器；
前記水平変異マップの量子化されたデータ及び前記動きベクトルに基づいて、前記水平変異マップの量子化されたデータを復号化する第１補助要素復号化器；
前記輝度残差テクスチャーの量子化されたデータ及び前記動きベクトルに基づいて、前記輝度残差テクスチャーの量子化されたデータを復号化する第２補助要素復号化器；
前記ビデオ客体復号化器から出力される前記復元された第１映像及び前記第１補助要素復号化器から出力される復号化された水平変異マップに基づいて変異補償を行い、変異補償された輝度テクスチャー及び変異補償された色差テクスチャーを出力する変異補償器；並びに
前記変異補償器から出力される変異補償された輝度テクスチャーと前記第２補助要素復号化器から出力される復元された前記輝度残差テクスチャーを加算する第１加算器；を含む。
【発明の効果】
【００２４】
本発明によれば、従来のＭＰＥＧ−４符号化技術及びシステムをそのまま利用できるように互換性を維持し、左右映像間の同期化の複雑度を最小化することができる。
【００２５】
また、本発明によれば、映像の重要度又は複雑度によって映像の画質を選択的に調節して符号化することができるようにし、符号化効率を向上させることができる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【００２７】
現在のＭＰＥＧ−４コーデックは、各ビデオ客体に係わるアルファ（alpha）、変異（disparity）、深さ（depth）などのような補助情報を、３個の補助要素（Auxiliary  Component）で構成された多様化補助要素（Multiple  Auxiliary  Component；以下、‘ＭＡＣ’という）に割当てて符号化できるようにする。
【００２８】
本発明は、ＭＰＥＧ−４−ＭＡＣを利用して立体ビデオを符号化する方式に関するものであって、ＭＡＣに割当てられるべき補助情報を定義する。
【００２９】
現在、ＭＰＥＧ−４−ＭＡＣは、ビデオ客体(video object)の透明度を記述するためにＭＰＥＧ−４ビジュアルバージョン２に追加され、さらに、ビデオ客体に係わる変異(disparity)、深さ(depth)、追加テクスチャー(additional texture)などのような補助情報を記述することができるように定義している。
【００３０】
図１は、ＭＰＥＧ−４に定義されている項目：video_object_layer_shape_extensionの補助要素のタイプ及び補助タイプの数を示す図である。
【００３１】
図１に示したように、ＭＡＣで各補助要素の数とタイプは、video_object_layer_shape_extension値によって決定される。
【００３２】
また、図１に示したように、補助要素が変異(DISPARITY)タイプを含むvideo_object_layer_shape_extensionの値は、０００１、００１０、００１１、０１００の４個と定義されており、１１０１〜１１１１についてはまだ定義されていない。
【００３３】
本発明の実施例ではまだ定義されていないvideo_object_layer_shape_extension値の補助要素に、より効率的な立体ビデオの符号化のために必要な補助情報を含むように定義する。
【００３４】
図２は、本発明の第１実施例による立体ビデオの符号化装置を示す図である。本発明の第１実施例による符号化装置は、図１に示した従来のＭＰＥＧ−４のＭＡＣに定義された補助要素を利用して立体ビデオデータを符号化するためのものである。
【００３５】
図２に図示したように、本発明の第１実施例による符号化装置は、変異推定器１００、ビデオ客体符号化器２００、補助要素符号化器３２０、及び可変長符号化器６００を含む。
【００３６】
ビデオ客体符号化器２００は、立体ビデオ中の一側の映像（本発明の実施例では左映像）を受信して、量子化されたビデオ客体及び動きベクトルを出力する。変異推定器１００は、左映像と右映像を受信して、左映像を基準にした右映像に対する画素単位の水平変異マップ(Horizontal disparity map)を求める。つまり、変異推定器１００は、右映像の画素値が左映像のどの位置に存在しているか探索して推測するために、水平軸に移動した位置ベクトル値を水平変異マップとして出力する。
【００３７】
補助要素符号化器３２０は、変異推定器１００によって出力された補助要素である水平変異マップと、ビデオ客体符号化器２００から出力される動きベクトルとを受信して、量子化された水平変異マップを出力する。
【００３８】
可変長符号化器６００は、ビデオ客体符号化器２００から出力される量子化されたビデオ客体及び動きベクトルと、補助要素符号化器３２０から出力される量子化された水平変異マップとを受信して、可変長（変化し得る長さ）の符号化をして符号化ストリームを出力する。
【００３９】
図３は、本発明の第１実施例による復号化装置を示す図である。
【００４０】
図３に図示したように、本発明の第１実施例による復号化装置は、可変長復号化器７００、ビデオ客体復号化器８００、補助要素復号化器９２０、及び変異補償器１０００を含む。
【００４１】
可変長復号化器７００は、図２に示した符号化器から出力された符号化ストリームの可変長復号化をして、ビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータを出力する。
【００４２】
ビデオ客体復号化器８００は、ビデオ客体の量子化されたデータ及び動きベクトルを受信して、ビデオ客体を復号化して左映像を復号化する。
【００４３】
補助要素復号化器９２０は、水平変異マップの量子化されたデータ及び動きベクトルを受信して、水平変異マップを復号化する。
【００４４】
変異補償器１０００は、復元された左映像及び水平変異マップを受信し、水平変異マップの変異ベクトル値に基づいて変異補償(disparity compensation)を行って、最終的に右映像を復元する。
【００４５】
前述のように、変異推定(disparity estimation)は、右映像の画素値が左映像のどの位置に存在しているか探索して推測する過程であって、水平軸に移動した位置ベクトル値を水平変異マップとして出力し、垂直軸に移動した位置ベクトル値を垂直変異マップ(vertical disparity map)として出力する。一般的に、変異マップといえば水平変異マップのみを意味する。その理由は、理想的な立体映像の左右映像は水平変異値のみを有し、垂直変異値は全て‘０’を有するからである。
【００４６】
本発明の第１実施例による符号化装置及び復号化装置には水平変異値のみ存在し、垂直変異値が‘０’である理想的なシステムに使用するためのものであって、従来から定義されているＭＡＣを利用する。
【００４７】
つまり、本発明の実施例による符号化装置及び復号化装置は、図１に示した従来の補助要素が変異タイプを含むvideo_object_layer_shape_extension値を利用して、水平変異マップを変異タイプの補助要素に割当てて符号化する。
【００４８】
この時、変異マップは、映像を構成する輝度(Luminance)データと色差(Chrominance)データのうち、輝度データに対して求められる。
【００４９】
コンピュータグラフィックスによって生成される立体ビデオの場合は、コンピュータによって理想的に生成されるため、垂直変異値は全て‘０’に設定して生成することができる。したがって、本発明の第１実施例による符号化及び復号化装置によっても正確な変異マップを求めることが可能であり、この情報だけで右映像の画質をある程度までは保障することができる。
【００５０】
しかし、立体カメラによって獲得された実像の場合は、コンピュータグラフィックスの映像とは異なって、実際に製作された立体カメラの形態及び性能によって垂直変異値が存在する。また、計算によって求められる水平変異ベクトル値による変異マップの正確性がコンピュータグラフィックスス映像より低下するので、水平変異情報だけで復元された右映像の画質は非常に低下する。
【００５１】
また、本発明の第１実施例の変異マップは、左映像にはない領域が右映像に存在する領域である閉塞領域(Occlusions area)に対する情報を含んでいないため、右映像の精密な復元は難しい。
【００５２】
したがって、以下で説明する本発明の実施例では、ＭＰＥＧ−４のＭＡＣに、右映像の情報として水平変異情報だけでなく、垂直変異及び残差テクスチャー(Residual texture)情報を含ませて、図４及び図５のような補助要素を有するvideo_object_layer_shape_extensionを定義する。
【００５３】
図４に示したvideo_object_layer_shape_extensionは、従来のＭＰＥＧ−４のＭＡＣに定義されない値（１１０１−１１１１）を本発明の実施例で補助要素として新しく定義したものであり、図５は、ＭＰＥＧ−４のＭＡＣで支援しない４個の補助要素を支援するために、video_object_layer_shape_extensionを本発明の実施例で新しく定義したものである。
【００５４】
この時、本発明の実施例によれば、図４及び図５に示したように、変異情報を水平及び垂直の変異値によって水平変異マップと垂直変異マップ情報に区分し、残差テクスチャーを、輝度残差テクスチャーと色差残差テクスチャー情報と定義して、映像の重要度及び複雑度によって補助情報を選択して符号化できるようにする。ここで、輝度残差テクスチャー情報は、符号化の後で復元された左映像と、復元された変異マップによって変異補償された右映像と、入力された右映像との輝度成分に対する残差映像データを言う。また、色差残差テクスチャー情報は、符号化の後で復元された左映像と、復元された変異マップによって変異補償された右映像と、入力された右映像との色差成分に対する残差映像データを言う。
【００５５】
図６及び図７は、各々本発明の第２実施例による符号化装置及び復号化装置を示す図である。図６及び図７に示した本発明の第２実施例による符号化装置及び復号化装置は、図４で立体ビデオの符号化のために新しく定義した水平変異、輝度残差テクスチャータイプの二つの補助要素を有するvideo_object_layer_shape_extensionを設定して、立体ビデオの符号化及び復号を行う。
【００５６】
図６に図示したように、本発明の第２実施例による符号化装置は、変異推定器１００、ビデオ客体符号化器２００、補助要素符号化器３２０、３４０、変異補償器４００、加算器５００、及び可変長符号化器６００を含む。
【００５７】
ビデオ客体符号化器２００は、立体ビデオ中の一側の映像（本発明の実施例では左映像）を受信して、量子化されたビデオ客体及び動きベクトルを出力し、量子化されたビデオ客体を復元した左映像を出力する。
【００５８】
変異推定器１００は、左映像と右映像を受信して、左映像を基準にした右映像に対する画素単位の水平変異マップを求める。
【００５９】
補助要素符号化器３２０は、変異推定器１００によって出力された補助要素である水平変異マップと、ビデオ客体符号化器２００から出力される動きベクトルとを受信して、量子化された水平変異マップを生成して出力し、量子化された水平変異マップを復元した水平変異マップを出力する。
【００６０】
変異補償器４００は、ビデオ客体符号化器２００から出力される復元された左映像の画素値（輝度）と、補助要素符号化器３２０から出力される復元された水平マップの水平変異ベクトル値とに基づいて変異補償を行い、補償された右映像の画素値（輝度）を出力する。
【００６１】
加算器５００は、右映像の画素値（輝度）と変異補償器４００から出力された変異補償された右映像の画素値（輝度）とを引き算して輝度残差テクスチャーを出力し、補助要素符号化器３４０は、輝度残差テクスチャーを符号化して、量子化された輝度残差テクスチャーを出力する。
【００６２】
可変長符号化器６００は、ビデオ客体符号化器２００から出力される量子化されたビデオ客体及び動きベクトル、補助要素符号化器３２０から出力される量子化された水平変異マップ、補助要素符号化器３４０から出力される量子化された輝度残差テクスチャーに対して可変長符号化をして、符号化ストリームを出力する。
【００６３】
この時、本発明の第２実施例の符号化装置によって出力される符号化ストリームは図８の通りである。図８に図示したように、本発明の第２実施例の符号化装置（可変長符号化器）によって出力される符号化ストリームは、符号化されたビデオ客体（左映像）のマクロブロック、符号化された水平変異マップのための補助要素（ＡＣ［０］）のマクロブロック、符号化された輝度残差テクスチャーのための補助要素（ＡＣ［１］）のマクロブロックを含む。
【００６４】
図７は、本発明の第２実施例による復号化装置を示す図である。
【００６５】
図７に図示したように、本発明の第２実施例による復号化装置は、可変長復号化器７００、ビデオ客体復号化器８００、補助要素復号化器９２０、９４０、変異補償器１０００、及び加算器１１００を含む。
【００６６】
可変長復号化器７００は、図８に示した符号化器から出力された符号化ストリームの可変長復号化をして、ビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータ、及び輝度残差テクスチャーの量子化されたデータを出力する。
【００６７】
ビデオ客体復号化器８００は、ビデオ客体の量子化されたデータ及び動きベクトルを受信し、ビデオ客体を復号化して左映像を復号化する。
【００６８】
補助要素復号化器９２０は、水平変異マップの量子化されたデータ及び動きベクトルを受信して、水平変異マップを復号化する。
【００６９】
補助要素復号化器９４０は、輝度残差テクスチャーの量子化されたデータ及び動きベクトルを受信して、輝度残差テクスチャーを復号化する。
【００７０】
変異補償器１０００は、復元された左映像と復元された水平変異マップとを受信し、水平変異マップの変異ベクトル値に基づいて変異補償を行う。
【００７１】
加算器１１００は、変異補償器１０００から変異補償されたデータのうち、変異補償された輝度テクスチャーと補助要素復号化器９４０から出力された復元された輝度残差テクスチャーとを加算して、右映像を復元する。
【００７２】
図６及び図７に示した本発明の第２実施例によれば、左映像は一つのビデオ客体として符号化及び復号化し、右映像は、本発明の実施例で提案したＭＡＣ（図４に示す）を利用して符号化及び復号化する。つまり、左映像を基準に求めた画素単位の水平変異マップは、aux_comp_type［０］に割当て、輝度成分に対する残差映像データである輝度残差テクスチャーは、aux_comp_type［１］に割当てて符号化及び復号化する。
【００７３】
本発明の第２実施例は、垂直変異マップと色差成分に対する残差映像データである色差残差テクスチャーの情報なしで符号化しても画質の劣化に大きな影響を与えない単純な映像であるか、又は精密な復元を必要としない映像の場合に利用することができる。
【００７４】
図９及び図１０は、各々本発明の第３実施例による符号化装置及び復号化装置を示す図である。図９及び図１０に示した符号化装置及び復号化装置は、図４で追加的に定義された水平変異、輝度残差テクスチャー、色差残差テクスチャータイプの３個の補助要素を有するvideo_object_layer_shape_extensionを設定して、符号化及び復号を行う。
【００７５】
つまり、本発明の第３実施例によれば、左映像を基準にして求めた画素単位の水平変異マップはaux_comp_type［０］に割当て、輝度残差テクスチャーはaux_comp_type［１］に割当て、色差成分に対する残差映像データである色差残差テクスチャーはaux_comp_type［２］に割り当てる。
【００７６】
このような本発明の第３実施例による符号化装置及び復号化装置は、垂直変異マップの情報なしで符号化しても画質の劣化に大きな影響を与えない単純な映像であるか、又は精密な復元を必要としない映像の場合に利用することができる。
【００７７】
図９に図示したように、本発明の第３実施例による符号化装置は、変異推定器１００、ビデオ客体符号化器２００、補助要素符号化器３２０、３４０、３６０、変異補償器４００、加算器５００、及び可変長符号化器６００を含む。
【００７８】
図９に示した構成要素のうち、図６に示した符号化装置と同一又は類似な機能をする構成要素については同一図面符号を付け、図６に示した構成要素と同一な動作をする構成要素については重複説明を省略する。
【００７９】
図９で、変異補償器４００は、ビデオ客体符号化器２００から出力される復元された左映像の画素値（輝度、色差）と、補助要素符号化器３２０から出力される復元された水平マップの水平変異ベクトル値とに基づいて変異補償を行い、補償された右映像の画素値（輝度、色差）を出力する。
【００８０】
加算器５００は、右映像の画素値（輝度、色差）と、変異補償器４００から出力された補償された右映像の画素値（輝度、色差）とを引き算して、輝度残差テクスチャーと色差残差テクスチャーを出力し、補助要素符号化器３４０、３６０は、各々輝度残差テクスチャーと色差残差テクスチャーを符号化して、量子化された輝度残差テクスチャーと量子化された色差残差テクスチャーを出力する。
【００８１】
可変長符号化器６００は、ビデオ客体符号化器２００から出力される量子化されたビデオ客体及び動きベクトル、補助要素符号化器３２０から出力される量子化された水平変異マップ、補助要素符号化器３４０から出力される量子化された輝度残差テクスチャー、補助要素符号化器３６０から出力される量子化された色差残差テクスチャーに対して可変長符号化をして、符号化ストリームを出力する。
【００８２】
この時、本発明の第３実施例の符号化装置から出力される符号化ストリームは図１１の通りである。図１１に図示したように、本発明の第３実施例の符号化装置によって出力される符号化ストリームは、符号化されたビデオ客体のマクロブロック、符号化された水平変異マップのための補助要素（ＡＣ［０］）のマクロブロック、符号化された輝度残差テクスチャーのための補助要素（ＡＣ［１］）のマクロブロック、符号化された色差残差テクスチャーのための補助要素（ＡＣ［２］）を含む。
【００８３】
図１０は、本発明の第３実施例による復号化装置を示す図である。
【００８４】
図１０に図示したように、本発明の第３実施例による復号化装置は、可変長復号化器７００、ビデオ客体復号化器８００、補助要素復号化器９２０、９４０、９６０、変異補償器１０００、及び加算器１１００、１２００を含む。
【００８５】
図１０に示した構成要素のうち、図７に示した復号化装置と同一又は類似な機能をする構成要素については同一図面符号を付け、図７に示した構成要素と同一な動作をする構成要素については重複説明を省略する。
【００８６】
可変長復号化器７００は、図１１に示した符号化器から出力された符号化ストリームの可変長復号化をして、ビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータ、輝度残差テクスチャーの量子化されたデータ、及び色差残差テクスチャーの量子化されたデータを出力する。
【００８７】
補助要素復号化器９４０は、輝度残差テクスチャーの量子化されたデータ及び動きベクトルを受信して、輝度残差テクスチャーを復号化する。
【００８８】
補助要素復号化器９６０は、色差残差テクスチャーの量子化されたデータ及び動きベクトルを受信して、色差残差テクスチャーを復号化する。
【００８９】
変異補償器１０００は、復元された左映像と復元された水平変異マップとを受信し、水平変異マップの変異ベクトル値に基づいて変異補償を行う。
【００９０】
加算器１１００は、変異補償器１０００から変異補償されたデータのうち、変異補償された輝度テクスチャーと補助要素復号化器９４０から出力された復元された輝度残差テクスチャーとを加算して、右映像の輝度成分を復元する。
【００９１】
加算器１２００は、変異補償器１０００から変異補償されたデータのうち、変異補償された色差テクスチャーと補助要素復号化器９６０から出力された復元された色差残差テクスチャーとを加算して、右映像の色差成分を復元する。
【００９２】
図１２及び図１３は、本発明の第４実施例による符号化装置及び復号化装置を示す図である。本発明の第４実施例による符号化装置及び復号化装置は、図４に追加的に定義した水平変異、垂直変異、輝度残差テクスチャータイプの３個の補助要素を有するvideo_object_layer_shape_extensionを設定して、符号化及び復号化を行う。
【００９３】
つまり、本発明の第４実施例によれば、左映像を基準に求めた画素単位の水平変異マップはaux_comp_type［０］に割当て、左映像を基準に求めた画素単位の垂直変異マップはaux_comp_type［１］に割当て、輝度成分に対する残差映像データである輝度残差テクスチャーはaux_comp_type［２］に割り当てる。
【００９４】
このような本発明の第４実施例による符号化装置及び復号化装置は、色差成分に対する残差映像データである色差残差テクスチャーの情報なしで符号化しても画質の劣化に大きな影響を与えない単純な映像であるか、又は精密な復元を必要としない映像の場合に利用することができる。
【００９５】
図１２に図示したように、本発明の第４実施例による符号化装置は、変異推定器１００、ビデオ客体符号化器２００、補助要素符号化器３２０、３４０、３８０、変異補償器４２０、加算器５００、及び可変長符号化器６００を含む。
【００９６】
図１２に示した構成要素のうち、図６に示した符号化装置と同一又は類似な機能をする構成要素については同一図面符号を付け、図６に示した構成要素と同一な動作をする構成要素については重複説明を省略する。
【００９７】
図１２で、変異推定器１００は、左映像と右映像を受信して、左映像を基準にした右映像に対する画素単位の水平変異マップと垂直変異マップを求める。
【００９８】
補助要素符号化器３８０は、変異推定器１００によって出力された垂直変異マップと、ビデオ客体符号化器２００から出力される動きベクトルとを受信して、量子化された垂直変異マップを生成して出力し、また、量子化された垂直変異マップを復元した垂直変異マップを出力する。
【００９９】
変異補償器４２０は、ビデオ客体符号化器２００から出力される復元された左映像の画素値（輝度）、補助要素符号化器３２０から出力される復元された水平変異マップの水平変異ベクトル値、補助要素符号化器３８０から出力される復元された垂直変異マップの垂直変異ベクトル値に基づいて変異補償を行い、補償された右映像の画素値（輝度）を出力する。
【０１００】
加算器５００は、右映像の画素値（輝度）と変異補償器４２０から出力された変異補償された右映像の画素値（輝度）とを引き算して輝度残差テクスチャーを出力し、補助要素符号化器３４０は、輝度残差テクスチャーを符号化して、量子化された輝度残差テクスチャーを出力する。
【０１０１】
可変長符号化器６００は、ビデオ客体符号化器２００から出力される量子化されたビデオ客体及び動きベクトル、補助要素符号化器３２０から出力される量子化された水平変異マップ、補助要素符号化器３８０から出力される量子化された垂直変異マップ、補助要素符号化器３４０から出力される量子化された輝度残差テクスチャーに対して可変長符号化をし、符号化ストリームを出力する。
【０１０２】
この時、本発明の第４実施例の符号化装置によって出力される符号化ストリームは、図１４の通りである。図１４に図示したように、本発明の第４実施例への符号化装置によって出力される符号化ストリームは、符号化されたビデオ客体のマクロブロック、符号化された水平変異マップのための補助要素（ＡＣ［０］）のマクロブロック、符号化された垂直変異マップのための補助要素（ＡＣ［１］）のマクロブロック、符号化された輝度残差テクスチャーのための補助要素（ＡＣ［２］）を含む。
【０１０３】
図１３は、本発明の第４実施例による復号化装置を示す図である。
【０１０４】
図１３に図示したように、本発明の第４実施例による復号化装置は、可変長復号化器７００、ビデオ客体復号化器８００、補助要素復号化器９２０、９４０、９８０、変異補償器２０００、及び加算器１１００を含む。
【０１０５】
図１３に示した構成要素のうち、図７に示した復号化装置と同一又は類似な機能をする構成要素については同一図面符号を付け、図７に示した構成要素と同一な動作をする構成要素については重複説明を省略する。
【０１０６】
可変長復号化器７００は、図１４に示した符号化器から出力された符号化ストリームの可変長復号化をして、ビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータ、垂直変異マップの量子化されたデータ、及び輝度残差テクスチャーの量子化されたデータを出力する。
【０１０７】
補助要素復号化器９８０は、垂直変異マップの量子化されたデータ及び動きベクトルを受信して、垂直変異マップを復号化する。
【０１０８】
変異補償器２０００は、復元された左映像、復元された水平変異マップ、及び復元された垂直変異マップを受信し、水平変異マップ及び垂直変異マップの変異ベクトル値に基づいて変異補償を行う。
【０１０９】
加算器１１００は、変異補償器２０００から変異補償されたデータのうち、変異補償された輝度テクスチャーと補助要素復号化器９４０から出力された復元された輝度残差テクスチャーとを加算して、右映像の輝度成分を復元する。
【０１１０】
図１５及び図１６は、本発明の第５実施例による符号化装置及び復号化装置を示した図である。本発明の第５実施例による符号化装置及び復号化装置は、図５に図示したように、ＭＡＣの補助要素の数を４個以上に拡張する場合に追加的に定義した水平変異、垂直変異、輝度残差テクスチャー、色差残差テクスチャータイプの４個の補助要素を有するvideo_object_layer_shape_extensionを設定して、符号化及び復号化を行う。
【０１１１】
つまり、本発明の第５実施例による符号化装置及び復号化装置は、左映像を基準に求めた画素単位の水平変異マップはaux_comp_type［０］に割当て、左映像を基準に求めた画素単位の垂直変異マップはaux_comp_type［１］に割当て、輝度成分に対する残差映像データである輝度残差テクスチャーはaux_comp_type［２］に割当て、色差成分に対する残差映像データである色差残差テクスチャーはaux_comp_type［３］に割当てて、符号化及び復号化を行う。
【０１１２】
このような本発明の第５実施例は、右映像に対する全ての補助情報を利用して優れた画質の映像を復元しようとする場合に利用することができる。
【０１１３】
図１５に図示したように、本発明の第５実施例による符号化装置は、変異推定器１００、ビデオ客体符号化器２００、補助要素符号化器３２０、３４０、３６０、３８０、変異補償器４２０、加算器５００、及び可変長符号化器６００を含む。
【０１１４】
図１５に示した構成要素のうち、図１２に示した符号化装置と同一又は類似な機能をする構成要素については同一図面符号を付け、図１２に示した構成要素と同一な動作をする構成要素については重複説明を省略する。
【０１１５】
図１５で、変異推定器１００は、左映像と右映像を受信して、左映像を基準にした右映像に対する画素単位の水平変異マップと垂直変異マップを求める。
【０１１６】
補助要素符号化器３８０は、変異推定器１００によって出力された垂直変異マップとビデオ客体符号化器２００から出力される動きベクトルとを受信して、量子化された垂直変異マップを生成して出力し、また、量子化された垂直変異マップを復元した垂直変異マップを出力する。
【０１１７】
変異補償器４２０は、ビデオ客体符号化器２００から出力される復元された左映像の画素値（輝度、色差）、補助要素符号化器３２０から出力される復元された水平変異マップの水平変異ベクトル値、及び補助要素符号化器３８０から出力される復元された垂直変異マップの垂直変異ベクトル値に基づいて変異補償を行い、補償された右映像の画素値（輝度、色差）を出力する。
【０１１８】
加算器５００は、右映像の画素値（輝度、色差）と変異補償器４２０から出力された変異補償された右映像の画素値（輝度、色差）とを引き算して輝度残差テクスチャーと色差残差テクスチャーを出力し、補助要素符号化器３４０及び補助要素符号化器３６０は、各々輝度残差テクスチャーと色差残差テクスチャーを符号化して、量子化された輝度残差テクスチャーと量子化された色差残差テクスチャーを出力する。
【０１１９】
可変長符号化器６００は、ビデオ客体符号化器２００から出力される量子化されたビデオ客体及び動きベクトル、補助要素符号化器３２０から出力される量子化された水平変異マップ、補助要素符号化器３８０から出力される量子化された垂直変異マップ、補助要素符号化器３４０から出力される量子化された輝度残差テクスチャー、及び補助要素符号化器３６０から出力される色差残差テクスチャーに対して可変長符号化をして、符号化ストリームを出力する。
【０１２０】
この時、本発明の第５実施例の符号化装置によって出力される符号化ストリームは、図１７の通りである。図１７に図示したように、本発明の第５実施例の符号化装置によって出力される符号化ストリームは、符号化されたビデオ客体のマクロブロック、符号化された水平変異マップのための補助要素（ＡＣ［０］）のマクロブロック、符号化された垂直変異マップのための補助要素（ＡＣ［１］）のマクロブロック、符号化された輝度残差テクスチャーのための補助要素（ＡＣ［２］）、及び符号化された色差残差テクスチャーのための補助要素（ＡＣ［３］）を含む。
【０１２１】
図１６は、本発明の第５実施例による復号化装置を示す図である。
【０１２２】
図１６に図示したように、本発明の第５実施例による復号化装置は、可変長復号化器７００、ビデオ客体復号化器８００、補助要素復号化器９２０、９４０、９６０、９８０、変異補償器２０００、及び加算器１１００、１２００を含む。
【０１２３】
図１６に示した構成要素のうち、図１３に示した復号化装置と同一又は類似な機能をする構成要素については同一図面符号を付け、図１３に示した構成要素と同一な動作をする構成要素については重複説明を省略する。
【０１２４】
可変長復号化器７００は、図１７に示した符号化器から出力された符号化ストリームの可変長復号化をして、ビデオ客体の量子化されたデータ、動きベクトル、水平変異マップの量子化されたデータ、垂直変異マップの量子化されたデータ、輝度残差テクスチャーの量子化されたデータ、及び色差残差テクスチャーの量子化されたデータを出力する。
【０１２５】
変異補償器２０００は、復元された左映像、復元された水平変異マップ、及び復元された垂直変異マップを受信し、水平変異マップ及び垂直変異マップの変異ベクトル値に基づいて変異補償を行う。
【０１２６】
加算器１１００は、変異補償器２０００から変異補償されたデータのうち、変異補償された輝度テクスチャーと補助要素復号化器９４０から出力された復元された輝度残差テクスチャーとを加算して、右映像の輝度成分を復元する。
【０１２７】
加算器１２００は、変異補償器２０００から変異補償されたデータのうち、変異補償された色差テクスチャーと補助要素復号化器９６０から出力された復元された色差残差テクスチャーとを加算して、右映像の色差成分を復元する。
【０１２８】
以下では、前述の本発明の実施例によるビデオ客体符号化器２００、補助要素符号化器３２０、３４０、３６０、３８０、ビデオ客体復号化器８００、及び補助要素復号化器９２０、９４０、９６０、９８０をより詳細に説明する。
【０１２９】
図１８は、本発明の実施例によるビデオ客体符号化器２００をより詳細に示した図である。
【０１３０】
図１８に図示したように、本発明の実施例によるビデオ客体符号化器２００は、符号化部２２０、復号化部２４０、動き推定器２６０、及び動き補償器２８０を含む。
【０１３１】
符号化部２２０は、ビデオ客体データ（左映像）と動き補償されたデータを引き算したデータとを離散コサイン変換し、量子化して、量子化されたビデオ客体を出力する。符号化部２２０は、ビデオ客体データと動き補償されたデータとを引き算するための加算器２２１、加算器２２１から出力された残差データを離散コサイン変換するための離散コサイン変換器２２２、及び離散コサイン変換器２２２から出力されたデータを量子化するための量子化器２２３を含む。
【０１３２】
復号化部２４０は、前記符号化部２２０から出力される量子化されたビデオ客体を逆量子化し、逆離散コサイン変換してビデオ客体データを復元する。復号化部２４０は、符号化部２２０から出力される量子化されたビデオ客体を逆量子化するための逆量子化器２４１、逆量子化器２４１から出力されたデータに対して逆離散コサイン変換を行う逆離散コサイン変換器２４２、逆離散コサイン変換器２４２から出力されるビデオ客体と動き補償されたデータとを加算してビデオ客体データを復元する加算器２４３、及び加算器２４３から出力される復元された左映像を貯蔵するメモリ２４４を含む。
【０１３３】
動き推定器２６０は、ビデオ客体データ（左映像）とメモリ２４４に貯蔵された直前フレームの復元された左映像とを比較して、動きベクトル（ＭＶ）を出力する。
【０１３４】
動き補償器２８０は、動き推定器２６０から出力される動きベクトルとメモリ２４４に貯蔵される直前フレームの左映像とを比較して、動き補償データを出力する。
【０１３５】
図１９は、本発明の実施例による補助要素符号化器をより詳細に示した図である。
【０１３６】
図１９に図示したように、本発明の実施例による補助要素符号化器３００は、符号化部３１０、復号化部３３０、及び動き補償器３５０を含む。
【０１３７】
符号化部３１０は、補助要素データと動き補償されたデータを引き算されたデータとを離散コサイン変換し、量子化して、量子化された補助要素データを出力する。符号化部３１０は、補助要素データと動き補償されたデータとを引き算するための加算器３１１、加算器３１１から出力された残差データを離散コサイン変換するための離散コサイン変換器３１２、及び離散コサイン変換器３１２から出力されたデータを量子化するための量子化器３１３を含む。
【０１３８】
復号化部３３０は、前記符号化部３１０から出力される量子化された補助要素データを逆量子化し、逆離散コサイン変換して補助要素データを復元する。復号化部３３０は、符号化部３１０から出力される量子化された補助要素データを逆量子化するための逆量子化器３３１、逆量子化器３３１から出力されたデータに対して逆離散コサイン変換を行う逆離散コサイン変換器３３２、逆離散コサイン変換器３３２から出力される補助要素データと動き補償されたデータとを加算して補助要素データを復元する加算器３３３、及び加算器３３３から出力される復元された補助要素データを貯蔵するメモリ３３４を含む。
【０１３９】
動き補償器３５０は、ビデオ客体符号化器２００の動き推定器２６０から出力される動きベクトルとメモリ３３４に貯蔵される直前フレームの補助要素データとを比較して、補助要素に対する動き補償データを出力する。
【０１４０】
図２０は、本発明の実施例によるビデオ客体復号化器８００を示す図である。
【０１４１】
図２０に図示したように、本発明の実施例によるビデオ客体復号化器８００は、逆量子化器８１０、逆離散コサイン変換器８２０、加算器８３０、動き補償器８５０、及びメモリ８４０を含む。
【０１４２】
逆量子化器８１０は、可変長復号化器から出力されるビデオ客体の量子化されたデータを逆量子化し、逆離散コサイン変換器８２０は、逆量子化器８１０から出力されたデータに対して逆離散コサイン変換を行う。動き補償器８５０は、メモリ８４０に貯蔵された直前フレームの復元されたビデオ客体データと動きベクトルとを比較して動き補償を行い、補償された動きベクトルデータを出力する。
【０１４３】
加算器８３０は、逆離散コサイン変換器８２０から出力されるビデオ客体と動き補償器８５０から出力される動き補償されたベクトルデータとを加算して、復元されたビデオ客体データを出力する。
【０１４４】
図２１は、本発明の実施例による補助要素復号化器９００を示す図である。
【０１４５】
図２１に図示したように、本発明の実施例による補助要素復号化器９００は、逆量子化器９０１、逆離散コサイン変換器９０２、加算器９０３、動き補償器９０５、及びメモリ９０４を含む。
【０１４６】
逆量子化器９０１は、可変長復号化器から出力される補助要素の量子化されたデータを逆量子化し、逆離散コサイン変換器９０２は、逆量子化器９０１から出力されたデータに対して逆離散コサイン変換を行う。動き補償器９０５は、メモリ９０４に貯蔵された直前フレームの復元された補助要素データと動きベクトルとを比較して動きを補償し、補償された動きベクトルデータを出力する。
【０１４７】
加算器９０３は、逆離散コサイン変換器９０２から出力される補助要素データと動き補償器９０５から出力される動き補償されたベクトルデータとを加算して、復元されたビデオ客体データを出力する。
【０１４８】
以上で説明したように、本発明の実施例によれば、現在のＭＰＥＧ−４のＭＡＣを利用して立体ビデオを符号化するので、ＭＰＥＧ−４の符号化技術及びシステムをそのまま利用できるように互換性を維持することができる。
【０１４９】
また、本発明の実施例によれば、左右映像に対する符号化ストリームを単一の符号化ストリームとして出力するので、左右映像間の同期化を簡単に行うことができる。
【０１５０】
また、本発明は、４個に分離された右映像の補助情報を多様な形態でＭＡＣに割当て、使用者又は製作者が要求する映像画質の水準に応じて選択して符号化することにより、符号化の効率を向上させることができる。
【０１５１】
以上、本発明の実施例について説明したが、本発明は前記実施例にのみ限定されるものではなく、その他の多様な変更や変形が可能である。
【０１５２】
例えば、本発明ではＭＰＥＧ−４で定義したＭＡＣを利用して補助情報を割当てたが、その外に他のプロトコルで定義した情報を利用することもできる。
【図面の簡単な説明】
【０１５３】
【図１】ＭＰＥＧ−４に定義されているvideo_object_layer_shape_extensionの補助要素のタイプ及び数を示す図である。
【図２】本発明の第１実施例による立体ビデオの符号化装置を示す図である。
【図３】本発明の第１実施例による立体ビデオの復号化装置を示す図である。
【図４】本発明の実施例による立体ビデオの符号化のために、追加的な定義が要求されるvideo_object_layer_shape_extensionの補助要素のタイプ及び数を示す図である。
【図５】ＭＡＣの補助要素の数を４個以上に拡張する場合、追加的に定義が要求されるvideo_object_layer_shape_extensionの補助要素のタイプ及び数を示す図である。
【図６】本発明の第２実施例による立体ビデオの符号化装置を示す図である。
【図７】本発明の第２実施例による立体ビデオの復号化装置を示す図である。
【図８】本発明の第２実施例による符号化装置から出力される符号化ストリームを示す図である。
【図９】本発明の第３実施例による立体ビデオの符号化装置を示す図である。
【図１０】本発明の第３実施例による立体ビデオの復号化装置を示す図である。
【図１１】本発明の第３実施例による符号化装置から出力される符号化ストリームを示す図である。
【図１２】本発明の第４実施例による立体ビデオの符号化装置を示す図である。
【図１３】本発明の第４実施例による立体ビデオの復号化装置を示す図である。
【図１４】本発明の第４実施例による符号化装置から出力される符号化ストリームを示す図である。
【図１５】本発明の第５実施例による立体ビデオの符号化装置を示す図である。
【図１６】本発明の第５実施例による立体ビデオの復号化装置を示す図である。
【図１７】本発明の第５実施例による符号化装置から出力される符号化ストリームを示す図である。
【図１８】本発明の実施例によるビデオ客体符号化器を詳細に示す図である。
【図１９】本発明の実施例による補助要素符号化器を詳細に示す図である。
【図２０】本発明の実施例によるビデオ客体復号化器を詳細に示す図である。
【図２１】本発明の実施例による補助要素復号化器を詳細に示す図である。
【図１】
2006512809.tif 000003
【図２】
2006512809.tif 000004
【図３】
2006512809.tif 000005
【図４】
2006512809.tif 000006
【図５】
2006512809.tif 000007
【図６】
2006512809.tif 000008
【図７】
2006512809.tif 000009
【図８】
2006512809.tif 000010
【図９】
2006512809.tif 000011
【図１０】
2006512809.tif 000012
【図１１】
2006512809.tif 000013
【図１２】
2006512809.tif 000014
【図１３】
2006512809.tif 000015
【図１４】
2006512809.tif 000016
【図１５】
2006512809.tif 000017
【図１６】
2006512809.tif 000018
【図１７】
2006512809.tif 000019
【図１８】
2006512809.tif 000020
【図１９】
2006512809.tif 000021
【図２０】
2006512809.tif 000022
【図２１】
2006512809.tif 000023
【国際調査報告】
2006512809.tif 000024
2006512809.tif 000025
2006512809.tif 000026