(57)【要約】      （修正有）【課題】３次元映像符号化／復号化において、マージ候補の重複性を除去する装置および方法を提供する。【解決手段】方法は、第１候補ブロックをマージ候補リストに挿入し、第１候補ブロックで視点合成予測（Ｖｉｅｗ  Ｓｙｎｔｈｅｓｉｓ  Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）が使用された場合、ＶＳＰが使用されたことを示す情報を生成し、ＶＳＰが使用されたことを示す情報が存在する場合、マージ候補リストに現在ブロックのＶＳＰ候補を挿入しない。【選択図】図１８
2020092463.tif 000002
【特許請求の範囲】
【請求項１】
３次元映像を復号化する方法であって、
第１候補ブロックをマージ候補リストに挿入して、前記マージ候補リストを導出する段階と、
視点合成予測（ＶＳＰ）が前記第１候補ブロックで使用されたかどうかを判断する段階と、
前記ＶＳＰを使用したと判断された前記第１候補ブロックに応じて、前記ＶＳＰが前記第１候補ブロックで使用されたことを示す情報を生成する段階と、
前記ＶＳＰが前記第１候補ブロックで使用されたことを示す情報が存在する場合、１つ以上の他の候補ブロックを前記マージ候補リストに挿入し、かつ現在ブロックのＶＳＰ候補を前記マージ候補リストに挿入しないことにより、前記マージ候補リストを作成する段階と、
前記マージ候補リストに基づいて前記現在ブロックのインター予測を実行して３次元映像を復号化する段階と、
を含む３次元映像復号化方法。
【請求項２】
前記第１候補ブロックは、前記現在ブロックの空間的に隣り合うブロックである、請求項１に記載の方法。
【請求項３】
前記第１候補ブロックは、前記現在ブロックの左側に位置した空間的に隣り合うブロックである、請求項２に記載の方法。
【請求項４】
前記第１候補ブロックは、Ａ１ブロックである、請求項１に記載の方法。
【請求項５】
前記ＶＳＰが使用されたことを示す情報は、前記第１候補ブロックが利用可能かどうかを示す情報、および前記ＶＳＰが前記第１候補ブロックで使用されたかどうかを示す情報のうち、少なくとも１つを含む、請求項１に記載の方法。
【請求項６】
前記マージ候補リストを導出する段階は、前記第１候補ブロックを前記マージ候補リストに挿入した後に、第２候補ブロックを前記マージ候補リストに挿入することを含み、
前記ＶＳＰが前記第１候補ブロックで使用されたことを示す情報を生成する段階は、前記ＶＳＰが前記第１候補ブロックまたは前記第２候補ブロックで使用されたときに、前記第１候補ブロックで前記ＶＳＰが使用されたことを示す情報を生成することを含む、請求項１に記載の方法。
【請求項７】
前記第１候補ブロックは、前記現在ブロックの左側に位置した空間的に隣り合うブロックであり、前記第２候補ブロックは、前記現在ブロックの上側に位置した空間的に隣り合うブロックである、請求項６に記載の方法。
【請求項８】
前記第１候補ブロックはＡ１ブロックであり、前記第２候補ブロックはＢ１ブロックである、請求項６に記載の方法。
【請求項９】
前記現在ブロックはサブ予測ブロックである、請求項１に記載の方法。
【請求項１０】
３次元映像復号化のための装置であって、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサによって実行される少なくとも１つの命令を格納するメモリと、を備え、
前記少なくとも１つの命令は、前記少なくとも１つのプロセッサに、
第１候補ブロックをマージ候補リストに挿入することにより前記マージ候補リストを導出すること、
視点合成予測（ＶＳＰ）が前記第１候補ブロックで使用されたかどうかを判断すること、
前記ＶＳＰを使用したと判断された前記第１候補ブロックに応じて、前記ＶＳＰが前記第１候補ブロックで使用されたことを示す情報を生成すること、
前記ＶＳＰが前記第１候補ブロックで使用されたことを示す情報が存在する場合、１つ以上の他の候補ブロックを前記マージ候補リストに挿入し、かつ現在ブロックのＶＳＰ候補を前記マージ候補リストに挿入しないことにより、前記マージ候補リストを作成すること、
前記マージ候補リストに基づいて前記現在ブロックのインター予測を実行して３次元映像を復号化すること、
を行わせるように構成された、３次元映像復号化装置。
【請求項１１】
前記第１候補ブロックは、前記現在ブロックの空間的に隣り合うブロックである、請求項１０に記載の装置。
【請求項１２】
前記第１候補ブロックは、前記現在ブロックの左側に位置した空間的に隣り合うブロックである、請求項１１に記載の装置。
【請求項１３】
前記第１候補ブロックは、Ａ１ブロックである、請求項１０に記載の装置。
【請求項１４】
前記ＶＳＰが使用されたことを示す情報は、前記第１候補ブロックが利用可能かどうかを示す情報、および前記ＶＳＰが前記第１候補ブロックで使用されたかどうかを示す情報のうち、少なくとも１つを含む、請求項１０に記載の装置。
【請求項１５】
前記少なくとも１つの命令は、前記少なくとも１つのプロセッサに、前記第１候補ブロックを前記マージ候補リストに挿入した後、第２候補ブロックを前記マージ候補リストに挿入させるようにさらに構成され、
前記少なくとも１つの命令は、前記少なくとも１つのプロセッサに、前記ＶＳＰが前記第１候補ブロックまたは前記第２候補ブロックで使用されたときに、前記ＶＳＰが前記第１候補ブロックで使用されたことを示す情報を生成させるようにさらに構成される、請求項１０に記載の装置。
【請求項１６】
前記第１候補ブロックは、前記現在ブロックの左側に位置した空間的に隣り合うブロックであり、前記第２候補ブロックは、前記現在ブロックの上側に位置した空間的に隣り合うブロックである、請求項１５に記載の装置。
【請求項１７】
前記第１候補ブロックはＡ１ブロックであり、前記第２候補ブロックはＢ１ブロックである、請求項１５に記載の装置。
【請求項１８】
前記現在ブロックはサブ予測ブロックである、請求項１０に記載の装置。
【請求項１９】
３次元映像を符号化する方法であって、
第１候補ブロックをマージ候補リストに挿入して前記マージ候補リストを導出する段階と、
視点合成予測（ＶＳＰ）を使用した前記第１候補ブロックに応じて、前記ＶＳＰが前記第１候補ブロックで使用されたことを示す情報を生成する段階と、
前記ＶＳＰが前記第１候補ブロックで使用されたことを示す情報が存在する場合、１つ以上の他のブロックを前記マージ候補リストに挿入し、かつ現在ブロックのＶＳＰ候補を前記マージ候補リストに挿入しないことにより、前記マージ候補リストを作成する段階と、
前記マージ候補リストに基づいて前記現在ブロックのインター予測を実行して３次元映像を符号化する段階と、
を含む３次元映像符号化方法。
【請求項２０】
３次元映像符号化のための装置であって、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサによって実行される少なくとも１つの命令を格納するメモリと、を備え、
前記少なくとも１つの命令は、前記少なくとも１つのプロセッサに、
第１候補ブロックをマージ候補リストに挿入することにより前記マージ候補リストを導出すること、
視点合成予測（ＶＳＰ）が前記第１候補ブロックで使用されたかどうかを判断すること、
前記ＶＳＰを使用したと判断された前記第１候補ブロックに応じて、前記ＶＳＰが前記第１候補ブロックで使用されたことを示す情報を生成すること、
前記ＶＳＰが前記第１候補ブロックで使用されたことを示す情報が存在する場合、１つ以上の他の候補ブロックを前記マージ候補リストに挿入し、かつ現在ブロックのＶＳＰ候補を前記マージ候補リストに挿入しないことにより、前記マージ候補リストを作成すること、
前記マージ候補リストに基づいて前記現在ブロックのインター予測を実行して３次元映像を符号化すること、
を行わせるように構成された、３次元映像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像符号化／復号化装置および方法に関するもので、より具体的には動き併合モードで視点合成予測候補の重複性を除去する符号化／復号化装置および方法に関するものである。
【背景技術】
【０００２】
放送通信産業の発達はＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）解像度を有する放送サービスの世界的な拡散をもたらし、このため、多くの使用者はＨＤ映像に見慣れるようになった。ＨＤ画質に見慣れた使用者はさらに高画質と高解像度を有する映像を求めるようになり、このような使用者の需要を満たすために多くの機関が次世代映像機器に対する開発に拍車を掛けている。このため、今日ではＦＨＤ（Ｆｕｌｌ  ＨＤ）およびＵＨＤ（Ｕｌｔｒａ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）が支援される映像に接することができるようになり、ＦＨＤおよびＵＨＤが支援される映像によって使用者は高解像度の映像に接することができるようになった。
【０００３】
使用者は高画質と高解像度を有する映像だけでなく、立体感を感じることができる３次元映像を求めるようになった。このため、多様な機関は使用者の需要を満たすための３次元映像を開発するに至っている。
【０００４】
３次元映像は実映像（ｔｅｘｔｕｒｅ）情報だけでなく奥行きマップ（ｄｅｐｔｈ  ｍａｐ）情報を必要とする。３次元映像は既存の２次元映像に比べてはるかに多い量の情報を必要とし、２次元映像に対する映像符号化／復号化装置および方法を利用して３次元映像に対して符号化／復号化を遂行する場合、十分な符号化／復号化効率が出ない問題点があった。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題はマージリストに挿入されるマージ候補の重複性を除去する映像符号化／復号化装置および方法を提供することである。
【０００６】
本発明の解決しようとする他の課題は３次元映像符号化／復号化において、マージ候補の重複性を除去する装置および方法を提供することである。
【０００７】
本発明が解決しようとするさらに他の課題は３次元映像符号化／復号化において、視点合成予測候補の重複性を除去する装置および方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明の一実施例によれば、第１候補ブロックをマージ候補リストに挿入する段階、前記第１候補ブロックで視点合成予測（Ｖｉｅｗ  Ｓｙｎｔｈｅｓｉｓ  Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）が使用された場合、ＶＳＰが使用されたことを示す情報を生成する段階および前記ＶＳＰが使用されたことを示す情報が存在する場合、マージ候補リストに現在ブロックのＶＳＰ候補を挿入しない段階を含む３次元映像復号化方法を提供する。
【０００９】
このとき、前記第１候補ブロックは空間的に隣り合うブロックであり得る。
【００１０】
このとき、前記第１候補ブロックは現在ブロックの左側に位置した前記空間的に隣り合うブロックであり得る。
【００１１】
このとき、前記第１候補ブロックはＡ１ブロックであり得る。
【００１２】
このとき、前記ＶＳＰが使用されたことを示す情報は第１候補ブロックが使用できるかの可否について指示する情報または第１候補ブロックでＶＳＰが使用されたかの可否について指示する情報を含むことができる。
【００１３】
このとき、前記第１候補ブロックをマージ候補リストに挿入した後、第２候補ブロックをマージ候補リストに挿入する段階をさらに含み、前記ＶＳＰが使用されたことを示す情報を生成する段階では、前記第１候補ブロックまたは前記第２候補ブロックでＶＳＰが使用された場合、前記ＶＳＰが使用されたことを示す情報を生成することができる。
【００１４】
このとき、前記第１候補ブロックは現在ブロックの左側に位置した空間的に隣り合うブロックで、前記第２候補ブロックは現在ブロックの上側に位置した空間的に隣り合うブロックであり得る。
【００１５】
このとき、前記第１候補ブロックはＡ１ブロックで、前記第２候補ブロックはＢ１ブロックであり得る。
【００１６】
このとき、前記現在ブロックはサブ予測ブロックであり得る。
【００１７】
本発明の他の実施例によれば、第１候補ブロックをマージ候補リストに挿入する空間的マージ候補挿入モジュール、前記第１候補ブロックで視点合成予測（Ｖｉｅｗ  Ｓｙｎｔｈｅｓｉｓ  Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）が使用された場合、ＶＳＰが使用されたことを示す情報を生成するＶＳＰ重複性判断モジュールおよび前記ＶＳＰが使用されたことを示す情報が存在する場合、マージ候補リストに現在ブロックのＶＳＰ候補を挿入しないＶＳＰ候補挿入モジュールを含む３次元映像復号化装置を提供する。
【００１８】
このとき、前記第１候補ブロックは空間的に隣り合うブロックであり得る。
【００１９】
このとき、前記第１候補ブロックは現在ブロックの左側に位置した前記空間的に隣り合うブロックであり得る。
【００２０】
このとき、前記第１候補ブロックはＡ１ブロックであり得る。
【００２１】
このとき、前記ＶＳＰが使用されたことを示す情報は第１候補ブロックが使用できるかの可否について指示する情報または第１候補ブロックでＶＳＰが使用されたかの可否について指示する情報を含むことができる。
【００２２】
このとき、前記空間的マージ候補挿入モジュールは前記第１候補ブロックをマージ候補リストに挿入した後、第２候補ブロックをマージ候補リストに挿入し、前記ＶＳＰ重複性判断モジュールは前記第１候補ブロックまたは前記第２候補ブロックでＶＳＰが使用された場合、前記ＶＳＰが使用されたことを示す情報を生成することができる。
【００２３】
このとき、前記第１候補ブロックは現在ブロックの左側に位置した空間的に隣り合うブロックで、前記第２候補ブロックは現在ブロックの上側に位置した空間的に隣り合うブロックであり得る。
【００２４】
このとき、前記第１候補ブロックはＡ１ブロックで、前記第２候補ブロックはＢ１ブロックであり得る。
【００２５】
このとき、前記現在ブロックはサブ予測ブロックであり得る。
【００２６】
本発明のさらに他の実施例によれば、第１候補ブロックをマージ候補リストに挿入する段階、前記第１候補ブロックで視点合成予測（Ｖｉｅｗ  Ｓｙｎｔｈｅｓｉｓ  Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）が使用された場合、ＶＳＰが使用されたことを示す情報を生成する段階および前記ＶＳＰが使用されたことを示す情報が存在する場合、マージ候補リストに現在ブロックのＶＳＰ候補を挿入しない段階を含む３次元映像符号化方法を提供する。
【００２７】
このとき、前記第１候補ブロックは空間的に隣り合うブロックであり得る。
【００２８】
このとき、前記第１候補ブロックは現在ブロックの左側に位置した前記空間的に隣り合うブロックであり得る。
【００２９】
このとき、前記第１候補ブロックはＡ１ブロックであり得る。
【００３０】
このとき、前記ＶＳＰが使用されたことを示す情報は第１候補ブロックが使用できるかの可否について指示する情報または第１候補ブロックでＶＳＰが使用されたかの可否について指示する情報を含むことができる。
【００３１】
このとき、前記第１候補ブロックをマージ候補リストに挿入した後、第２候補ブロックをマージ候補リストに挿入する段階をさらに含み、前記ＶＳＰが使用されたことを示す情報を生成する段階では、前記第１候補ブロックまたは前記第２候補ブロックでＶＳＰが使用された場合、前記ＶＳＰが使用されたことを示す情報を生成することができる。
【００３２】
このとき、前記第１候補ブロックは現在ブロックの左側に位置した空間的に隣り合うブロックで、前記第２候補ブロックは現在ブロックの上側に位置した空間的に隣り合うブロックであり得る。
【００３３】
このとき、前記第１候補ブロックはＡ１ブロックで、前記第２候補ブロックはＢ１ブロックであり得る。
【００３４】
このとき、前記現在ブロックはサブ予測ブロックであり得る。
【００３５】
本発明のさらに他の実施例によれば、第１候補ブロックをマージ候補リストに挿入する空間的マージ候補挿入モジュール、前記第１候補ブロックで視点合成予測（Ｖｉｅｗ  Ｓｙｎｔｈｅｓｉｓ  Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）が使用された場合、ＶＳＰが使用されたことを示す情報を生成するＶＳＰ重複性判断モジュールおよび前記ＶＳＰが使用されたことを示す情報が存在する場合、マージ候補リストに現在ブロックのＶＳＰ候補を挿入しないＶＳＰ候補挿入モジュールを含む３次元映像符号化装置を提供する。
【００３６】
このとき、前記第１候補ブロックは空間的に隣り合うブロックであり得る。
【００３７】
このとき、前記第１候補ブロックは現在ブロックの左側に位置した前記空間的に隣り合うブロックであり得る。
【００３８】
このとき、前記第１候補ブロックはＡ１ブロックであり得る。
【００３９】
このとき、前記ＶＳＰが使用されたことを示す情報は第１候補ブロックが使用できるかの可否について指示する情報または第１候補ブロックでＶＳＰが使用されたかの可否について指示する情報を含むことができる。
【００４０】
このとき、前記空間的マージ候補挿入モジュールは前記第１候補ブロックをマージ候補リストに挿入した後、第２候補ブロックをマージ候補リストに挿入し、前記ＶＳＰ重複性判断モジュールは前記第１候補ブロックまたは前記第２候補ブロックでＶＳＰが使用された場合、前記ＶＳＰが使用されたことを示す情報を生成することができる。
【００４１】
このとき、前記第１候補ブロックは現在ブロックの左側に位置した空間的に隣り合うブロックで、前記第２候補ブロックは現在ブロックの上側に位置した空間的に隣り合うブロックであり得る。
【００４２】
このとき、前記第１候補ブロックはＡ１ブロックで、前記第２候補ブロックはＢ１ブロックであり得る。
【００４３】
このとき、前記現在ブロックはサブ予測ブロックであり得る。
【００４４】
本発明のさらに他の実施例によれば、第１候補ブロックをマージ候補リストに挿入する段階、前記第１候補ブロックで視点合成予測（Ｖｉｅｗ  Ｓｙｎｔｈｅｓｉｓ  Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）が使用された場合、ＶＳＰが使用されたことを示す情報を生成する段階および前記ＶＳＰが使用されたことを示す情報が存在する場合、マージ候補リストに現在ブロックのＶＳＰ候補を挿入しない段階を含む３次元映像復号化方法をコンピュータで遂行されるためのプログラムに製作されてコンピュータ可読記録媒体を含むことができる。
【００４５】
このとき、前記第１候補ブロックは空間的に隣り合うブロックであり得る。
【００４６】
このとき、前記第１候補ブロックは現在ブロックの左側に位置した前記空間的に隣り合うブロックであり得る。
【００４７】
このとき、前記第１候補ブロックはＡ１ブロックであり得る。
【００４８】
このとき、前記ＶＳＰが使用されたことを示す情報は第１候補ブロックが使用できるかの可否について指示する情報または第１候補ブロックでＶＳＰが使用されたかの可否について指示する情報を含むことができる。
【００４９】
このとき、前記第１候補ブロックをマージ候補リストに挿入した後、第２候補ブロックをマージ候補リストに挿入する段階をさらに含み、前記ＶＳＰが使用されたことを示す情報を生成する段階では、前記第１候補ブロックまたは前記第２候補ブロックでＶＳＰが使用された場合、前記ＶＳＰが使用されたことを示す情報を生成することができる。
【００５０】
このとき、前記第１候補ブロックは現在ブロックの左側に位置した空間的に隣り合うブロックで、前記第２候補ブロックは現在ブロックの上側に位置した空間的に隣り合うブロックであり得る。
【００５１】
このとき、前記第１候補ブロックはＡ１ブロックで、前記第２候補ブロックはＢ１ブロックであり得る。
【００５２】
このとき、前記現在ブロックはサブ予測ブロックであり得る。
【００５３】
本発明のさらに他の実施例によれば、第１候補ブロックをマージ候補リストに挿入する段階、前記第１候補ブロックで視点合成予測（Ｖｉｅｗ  Ｓｙｎｔｈｅｓｉｓ  Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）が使用された場合、ＶＳＰが使用されたことを示す情報を生成する段階および前記ＶＳＰが使用されたことを示す情報が存在する場合、マージ候補リストに現在ブロックのＶＳＰ候補を挿入しない段階を含む３次元映像符号化方法をコンピュータで遂行されるためのプログラムに製作されてコンピュータ可読記録媒体を含むことができる。
【００５４】
このとき、前記第１候補ブロックは空間的に隣り合うブロックであり得る。
【００５５】
このとき、前記第１候補ブロックは現在ブロックの左側に位置した前記空間的に隣り合うブロックであり得る。
【００５６】
このとき、前記第１候補ブロックはＡ１ブロックであり得る。
【００５７】
このとき、前記ＶＳＰが使用されたことを示す情報は第１候補ブロックが使用できるかの可否について指示する情報または第１候補ブロックでＶＳＰが使用されたかの可否について指示する情報を含むことができる。
【００５８】
このとき、前記第１候補ブロックをマージ候補リストに挿入した後、第２候補ブロックをマージ候補リストに挿入する段階をさらに含み、前記ＶＳＰが使用されたことを示す情報を生成する段階では、前記第１候補ブロックまたは前記第２候補ブロックでＶＳＰが使用された場合、前記ＶＳＰが使用されたことを示す情報を生成することができる。
【００５９】
このとき、前記第１候補ブロックは現在ブロックの左側に位置した空間的に隣り合うブロックで、前記第２候補ブロックは現在ブロックの上側に位置した空間的に隣り合うブロックであり得る。
【００６０】
このとき、前記第１候補ブロックはＡ１ブロックで、前記第２候補ブロックはＢ１ブロックであり得る。
【００６１】
このとき、前記現在ブロックはサブ予測ブロックであり得る。
【発明の効果】
【００６２】
本発明によれば、映像符号化／復号化において、マージリストに挿入されるマージ候補の重複性を除去することができる。
【００６３】
本発明によれば、３次元映像符号化／復号化において、マージ候補の重複性を除去することができる。
【００６４】
本発明によれば、３次元映像符号化／復号化において、視点合成予測候補の重複性を除去することができる。
【図面の簡単な説明】
【００６５】
【図１】３次元ビデオシステムの基本構造を概略的に図示した図面。
【図２】「ｂａｌｌｏｏｎｓ」映像の実映像と奥行き情報マップ映像の一例を示す図面。
【図３】映像を符号化および復号化するときの映像の分割構造を概略的に示す図面。
【図４】符号化ユニット（ＣＵ）を含むことができる予測ユニット（ＰＵ）の形態を図示した図面。
【図５】変換ユニット（ＴＵ）のクアッドツリー分割構造の一例を概略的に図示した図面。
【図６】３次元ビデオコーデック（ｃｏｄｅｃ）で視点間予測（ｉｎｔｅｒ  ｖｉｅｗ  ｐｒｅｄｉｃｔｉｏｎ）の構造を示した一例。
【図７】３次元ビデオエンコーダおよび／またはデコーダで実映像（ｔｅｘｔｕｒｅ  ｖｉｅｗ）と奥行き情報マップ（ｄｅｐｔｈ  ｖｉｅｗ）を符号化および／または復号化する過程を示した一例。
【図８】ビデオエンコーダの一実施例に係る構成を示すブロック図。
【図９】ビデオデコーダの一実施例に係る構成を示すブロック図。
【図１０】３次元ビデオコーデックに対する予測構造の一例を示す図面。
【図１１】現在ブロックに対するマージ候補リスト（ｍｅｒｇｅ  ｃａｎｄｉｄａｔｅ  ｌｉｓｔ）を構成することに使用される周辺ブロックを示した一例。
【図１２】隣接した視点の動き情報を利用して、現在ブロックの動き情報を誘導する過程の一例を示す図面。
【図１３】一つの予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ、ＰＵ）が複数のサブ予測ユニット（Ｓｕｂ−Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ）に分けられる一例を示す図面。
【図１４】参照ブロックを利用して現在ブロックの動き情報を誘導する過程の一例を示す図面。
【図１５】視点合成予測（Ｖｉｅｗ−Ｓｙｎｔｈｅｓｉｓ  Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）の概念を概略的に図示した図面。
【図１６】３次元映像符号化／復号化で、ＶＳＰ候補として相続される周辺ブロックの一例を図示した図面。
【図１７】３次元映像符号化／復号化で、マージ候補リストの一例を図示した図面。
【図１８】本発明の一実施例に係る、相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する方法のフローチャート。
【図１９】本発明の他の実施例に係る、相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する方法を３Ｄ−ＨＥＶＣに具現したフローチャート。
【図２０】本発明の一実施例に係る、相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する装置のブロック図。
【図２１】本発明の他の実施例に係る、相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する装置のブロック図。
【図２２】既存のマージ候補誘導方法と、本発明のさらに他の実施例に係るマージ候補誘導方法を比較した図面。
【図２３】本発明のさらに他の実施例に係る空間的マージ候補のうち二つの方向を参照してマージリストにＶＳＰ候補を挿入することを制限する方法に関するフローチャート。
【図２４ａ−２４ｂ】本発明のさらに他の実施例に係る空間的マージ候補のうち二つの方向を参照してマージリストにＶＳＰ候補を挿入することを制限する方法を３Ｄ  ＨＥＶＣに適用したフローチャート。
【図２５】既存のマージ候補誘導方法と、本発明のさらに他の実施例に係るマージ候補誘導方法を比較した図面。
【図２６】本発明のさらに他の実施例に係る空間的マージ候補のうち一つの方向を参照してマージリストにＶＳＰ候補を挿入することを制限する方法に関するフローチャート。
【図２７ａ−２７ｂ】本発明のさらに他の実施例に係る空間的マージ候補のうち一つの方向を参照してマージリストにＶＳＰ候補を挿入することを制限する方法を３Ｄ  ＨＥＶＣに適用したフローチャート。
【図２８】本発明のさらに他の実施例に係るマージリストにＶＳＰ候補を挿入することを制限する装置に対するブロック図。
【図２９】前述した３次元映像符号化／復号化装置および方法を通じてＶＳＰ候補間の重複性が除去された一例。
【発明を実施するための形態】
【００６６】
以下、図面を参照して本発明の実施形態について具体的に説明する。本明細書の実施例を説明するにおいて、関連した公知の構成または機能に対する具体的な説明が本明細書の要旨を曖昧にする恐れがあると判断される場合にはその詳細な説明は省略する。
【００６７】
ある構成要素が他の構成要素に「連結されて」いるとか「接続されて」いると言及された時は、その他の構成要素に直接的に連結されているかまたは接続されていることもあり得るが、中間に他の構成要素が存在することもあり得ると理解されるべきである。合わせて、本発明で特定構成を「含む」と記述する内容は該当構成以外の構成を排除するものではなく、追加的な構成が本発明の実施または本発明の技術的思想の範囲に含まれ得ることを意味する。
【００６８】
第１、第２などの用語は多様な構成要素を説明することに使用することができるが、前記構成要素は前記用語によって限定されてはならない。前記用語は一つの構成要素を他の構成要素から区別する目的でのみ使用される。例えば、本発明の権利範囲を逸脱せず、第１構成要素は第２構成要素と命名され得、同様に第２構成要素も第１構成要素と命名され得る。
【００６９】
また、本発明の実施例に表わされる構成部は互いに異なる特徴的な機能を表わすために独立的に図示されるもので、各溝成部が分離されたハードウェアや一つのソフトウェアの構成単位からなることを意味するものではない。すなわち、各構成部は説明の便宜上それぞれの構成部で羅列して含んだもので、各構成部のうち少なくとも二つの構成部が一つとなって一つの構成部となるか、一つの構成部が複数個の構成部に分けられて機能を遂行することができ、このような各溝成部の統合された実施例および分離された実施例も本発明の本質から逸脱しない限り本発明の権利範囲に含まれる。
【００７０】
また、一部の構成要素は本発明で本質的な機能を遂行する必須の構成要素ではなく単に性能を向上させるための選択的構成要素であり得る。本発明は単に性能向上のために使用される構成要素を除いた本発明の本質の具現に必須の構成部だけを含んで具現され得、単に性能向上のために使用される選択的構成要素を除いた必須構成要素だけを含んだ構造も本発明の権利範囲に含まれる。
【００７１】
３次元ビデオは３次元立体ディスプレイ装置を通じて使用者に実世界で見て感じるのと同じような立体感を提供する。これと関連し、ＩＳＯ／ＩＥＣのＭＰＥＧ（Ｍｏｖｉｎｇ
Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）とＩＴＵ−ＴのＶＣＥＧ（Ｖｉｄｅｏ
Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）の共同標準化グループであるＪＣＴ−３Ｖ（Ｔｈｅ  Ｊｏｉｎｔ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｔｅａｍ  ｏｎ  ３Ｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｔｅｎｓｉｏｎ  Ｄｅｖｅｌｏｐｍｅｎｔ）では３次元ビデオの標準化が進行中である。
【００７２】
図１は３次元ビデオシステムの基本構造を概略的に図示したものである。
【００７３】
図１を参照すれば、３次元ビデオ（３Ｄ  ｖｉｄｅｏ；３ＤＶ）システムは送信側（ｓｅｎｄｅｒ）および受信側（ｒｅｃｅｉｖｅｒ）を含むことができる。このとき、図１の３次元ビデオシステムは３次元ビデオ標準で考慮している基本的な３次元ビデオシステムであり得、３次元ビデオ標準は実映像と実映像に対応される奥行き情報マップを利用して、ステレオスコピック映像だけでなくオートステレオスコピック（ａｕｔｏｓｔｅｒｅｏｓｃｏｐｉｃ）映像の再生を支援できる進歩したデータ形式とそれと関連した技術に対する標準を含むことができる。
【００７４】
送信側は多視点（ｍｕｌｔｉ−ｖｉｅｗ）の映像コンテンツを生成することができる。具体的に、送信側ではステレオカメラおよび多視点カメラを利用してビデオ情報を生成し、奥行き情報カメラを利用して奥行き情報マップ（ｄｅｐｔｈ  ｍａｐ、またはｄｅｐｔｈ  ｖｉｅｗ）を生成することができる。また、送信側では変換器を利用して２次元映像を３次元映像に変換することもできる。送信側では生成されたビデオ情報と奥行き情報マップなどを利用してＮ（Ｎ≧２）視点（ｖｉｅｗ）（すなわち、多視点）の映像コンテンツを生成することができる。このとき、Ｎ視点の映像コンテンツにはＮ視点のビデオ情報とそれの奥行き情報マップ（Ｄｅｐｔｈ−ｍａｐ）情報そしてカメラ関連付加情報などが含まれ得る。Ｎ視点の映像コンテンツは３次元ビデオエンコーダで多視点ビデオ符号化方法を使用して圧縮され得、圧縮された映像コンテンツ（ビットストリーム）はネットワークを通じて受信側の端末に伝送され得る。
【００７５】
受信側（ｒｅｃｅｉｖｅｒ）は送信側から受信された映像コンテンツを復号化して多視点（ｍｕｌｔｉ−ｖｉｅｗ）の映像を提供することができる。具体的に、受信側からはビデオデコーダ（例えば、３次元ビデオデコーダ、ステレオビデオデコーダ、２次元ビデオデコーダなど）で多視点ビデオ復号化方法を使用して伝送を受けたビットストリームを復号化することによってＮ視点の映像を復元することができる。このとき、復元されたＮ視点の映像と奥行き情報マップ基盤のレンダリング（ＤＩＢＲ；Ｄｅｐｔｈ−Ｉｍａｇｅ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ）過程を利用してＮ視点以上の仮想視点映像を生成することもできる。生成されたＮ視点以上の仮想視点映像は多様な立体ディスプレイ装置（例えば、Ｎ−視点ディスプレイ、ステレオディスプレイ、２次元ディスプレイなど）に合うように再生されて使用者に立体感のある映像を提供することになる。
【００７６】
図２は「ｂａｌｌｏｏｎｓ」映像の実映像と奥行き情報マップ映像の一例を示す図面である。
【００７７】
図２の（ａ）は国際標準化機構であるＭＰＥＧの３次元ビデオ符号化標準で使用している「ｂａｌｌｏｏｎｓ」映像を示した図面である。図２の（ｂ）は図２の（ａ）に図示された「ｂａｌｌｏｏｎｓ」映像に対する奥行き情報マップ映像を示した図面である。図２の（ｂ）に図示された奥行き情報マップ映像は画面に見える奥行き情報を画素当たり８ビットで表現したものである。
【００７８】
奥行き情報マップ（ｄｅｐｔｈ  ｍａｐ）は仮想視点映像の生成に使用され、奥行き情報マップは実世界でカメラと実際の事物（ｏｂｊｅｃｔ）間の距離（実写映像と同じ解像度で各画素に該当する奥行き情報）を一定のビット数で表現したものである。このとき、奥行き情報マップは奥行き情報マップカメラを利用したり、実際の一般映像（Ｔｅｘｔｕｒｅ）を利用して獲得することができる。
【００７９】
奥行き情報マップカメラを利用して獲得した奥行き情報マップは主に停止した客体や場面で信頼性の高い奥行き情報を提供するが、一定の距離以内でのみ奥行き情報マップカメラが作動するという問題点がある。このとき、奥行き情報マップカメラはレーザー（ｌａｓｅｒ）や構造化された光線（ｓｔｒｕｃｔｕｒｅｄ  ｌｉｇｈｔ）技法またはＴＦＬ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ  ｏｆ  Ｌｉｇｈｔ）に基づいた奥行き測定技法を使うことができる。
【００８０】
奥行き情報マップは実際の一般映像（Ｔｅｘｔｕｒｅ）と変移ベクトル（Ｄｉｓｐａｒｉｔｙ  Ｖｅｃｔｏｒ）を利用して生成することもできる。変移ベクトルは二つの一般映像間の視点差を表わす情報を意味する。変移ベクトルは現在視点での任意の一つの画素を他の視点での画素と比較して最も類似の画素を見つけた時、現在視点での任意の一つの画素と他の視点での画素（現在視点での任意の一つの画素と最も類似の画素）間の距離を通じて獲得することができる。
【００８１】
実映像とそれの奥行き情報マップは一つのカメラだけでなく複数のカメラで獲得された映像であり得る。複数のカメラで獲得された映像は独立的に符号化することもでき、一般的な２次元ビデオ符号化／復号化コーデックを使用して符号化／復号化することもできる。また、複数のカメラで獲得された映像は視点間の相関性が存在するため、複数のカメラで獲得された映像は符号化効率を高めるために互いに異なる視点間の予測を使用して符号化することができる。
【００８２】
前述した「奥行き情報マップ」は「奥行きマップ」または「奥行きピクチャー（ｄｅｐｔｈ  ｐｉｃｔｕｒｅ）」などを意味し得、以下では「奥行き情報マップ」が説明の便宜のために、「奥行きマップ」または「奥行きピクチャー（ｄｅｐｔｈ  ｐｉｃｔｕｒｅ）」は混用されることもある。
【００８３】
図３は映像を符号化および復号化するときの映像の分割構造を概略的に示す図面である。
【００８４】
映像を効率的に分割するために符号化ユニット（Ｃｏｄｉｎｇ  Ｕｎｉｔ：ＣＵ）別に符号化および復号化を遂行できる。ユニットは構文要素（ｓｙｎｔａｘ  ｅｌｅｍｅｎｔ）と映像サンプルが含まれたブロックを合わせて称する言葉である。ユニットが分割されるとはユニットに該当するブロックを分割することを意味し得る。
【００８５】
図３を参照すれば、映像３００を最大符号化ユニット（Ｌａｒｇｅｓｔ  Ｃｏｄｉｎｇ  Ｕｎｉｔ；ＬＣＵ）（以下、ＬＣＵという）単位で順次分割した後、ＬＣＵごとに分割構造を決定する。本明細書で、ＬＣＵはコーディングツリーユニット（Ｃｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ、ＣＴＵ）と同じ意味で使用され得る。分割構造はＬＣＵ３１０内で映像を効率的に符号化するための符号化ユニット（以下、ＣＵという）の分布を意味し、このような分布は一つのＣＵをその横の大きさおよび縦の大きさの半分に減少された４個のＣＵに分割するかの可否によって決定され得る。分割されたＣＵは同じ方式で分割されたＣＵに対してその横の大きさおよび縦の大きさが半分ずつ減少された４個のＣＵに再帰的に分割され得る。
【００８６】
このとき、ＣＵの分割はあらかじめ定義された奥行きまで再帰的に分割され得る。奥行き情報はＣＵの大きさを表わす情報であって、各ＣＵごとに保存され得る。例えば、ＬＣＵの奥行きは０で、ＳＣＵ（Ｓｍａｌｌｅｓｔ  Ｃｏｄｉｎｇ  Ｕｎｉｔ）の奥行きはあらかじめ定義された最大奥行きであり得る。ここで、ＬＣＵは前述した通り、最大大きさを有する符号化ユニットであり、ＳＣＵ（Ｓｍａｌｌｅｓｔ  Ｃｏｄｉｎｇ  Ｕｎｉｔ）は最小大きさを有する符号化ユニットである。
【００８７】
ＬＣＵ３１０から横および縦の大きさの半分に分割を遂行するたびにＣＵの奥行きは１ずつ増加する。例えば、特定奥行きＬでＣＵの大きさが２Ｎｘ２Ｎであれば、分割が遂行されない場合にＣＵの大きさは依然として２Ｎｘ２Ｎであり、分割が遂行される場合にＣＵの大きさはＮｘＮとなる。このとき、ＮｘＮ大きさＣＵの奥行きは奥行きＬ＋１となる。すなわち、ＣＵの大きさに対応されるＮの大きさは奥行きが１ずつ増加するたびに半分に減少する。
【００８８】
図３を参照すれば、最小奥行きが０であるＬＣＵの大きさは６４ｘ６４画素であり、最大奥行きが３であるＳＣＵの大きさは８ｘ８画素であり得る。このとき、６４ｘ６４画素のＣＵ（ＬＣＵ）の奥行きは０、３２ｘ３２画素のＣＵの奥行きは１、１６ｘ１６画素のＣＵの奥行きは２、８ｘ８画素のＣＵ（ＳＣＵ）の奥行きは３と表現され得る。
【００８９】
また、特定ＣＵを分割するかの可否に対する情報はＣＵごとに１ビットの分割情報を通じて表現され得る。この分割情報はＳＣＵを除いたすべてのＣＵに含まれ得、例えばＣＵを分割しない場合には分割情報に０を保存することができ、ＣＵを分割する場合には分割情報に１を保存することができる。
【００９０】
前述した「符号化ユニット（Ｃｏｄｉｎｇ  Ｕｎｉｔ、ＣＵ）」は「符号化ブロック（Ｃｏｄｉｎｇ  Ｂｌｏｃｋ）」、「コーディングユニット」または「コーディングブロック（Ｃｏｄｉｎｇ  Ｂｌｏｃｋ）」などを意味し得、以下、「符号化ユニット」は説明の便宜のために「符号化ブロック」、「コーディングユニット」または「コーディングブロック」は混用されることもある。
【００９１】
図４は符号化ユニット（ＣＵ）を含むことができる予測ユニット（ＰＵ）の形態を図示したものである。
【００９２】
ＬＣＵから分割されたＣＵのうちそれ以上分割（ｓｐｌｉｔ）されないＣＵは一つ以上の予測ユニットに分割またはパーティショニング（ｐａｒｔｉｔｉｏｎｉｎｇ）できる。
【００９３】
予測ユニット（以下、ＰＵという）は予測を遂行する基本単位であって、スキップ（ｓｋｉｐ）モード、インター（ｉｎｔｅｒ）モード、イントラ（ｉｎｔｒａ）モードのうちいずれか一つに符号化および復号化され、予測ユニットは各モードによって多様な形態にパーティションできる。
【００９４】
図４を参照すれば、スキップモードの場合、ＣＵのパーティションがなくても、ＣＵと同じ大きさを有する２Ｎｘ２Ｎモード４１０を支援することができる。
【００９５】
インターモードの場合、ＣＵに対して８通りのパーティションされた形態、例えば２Ｎｘ２Ｎモード４１０、２ＮｘＮモード４１５、Ｎｘ２Ｎモード４２０、ＮｘＮモード４２５、２ＮｘｎＵモード４３０、２ＮｘｎＤモード４３５、ｎＬｘ２Ｎモード４４０、ｎＲｘ２Ｎモード４４５を支援することができる。
【００９６】
イントラモードの場合、ＣＵに対して２Ｎｘ２Ｎモード４１０、ＮｘＮモード４２５を支援することができる。
【００９７】
前述した「予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ、ＰＵ）」は「予測ブロック（Ｐｒｅｄｉｃｔｉｏｎ  Ｂｌｏｃｋ）」を意味し得、以下、「予測ユニット」は説明の便宜のために「予測ブロック」は混用されて使用されることもある。
【００９８】
図５は変換ユニット（ＴＵ）のクアッドツリー分割構造の一例を概略的に図示したものである。
【００９９】
変換ユニット（Ｔｒａｎｓｆｏｒｍ  Ｕｎｉｔ、ＴＵ）はＣＵ内で空間変換と量子化過程で使用される基本単位である。ＴＵは正方形の形態あるいは長方形の形態を有することができ、ＴＵはＣＵ内に含まれ得る。ＴＵの大きさはＣＵの大きさと同一であるか小さいこともあり得、一つのＣＵは複数の互いに異なる大きさを有するＴＵを含むことができる。
【０１００】
また、ＴＵはＣＵと同じ大きさを有することができ、ＴＵはクアッドツリー分割を利用してＣＵから分割されることもある。ＴＵがクアッドツリーを利用してＣＵから分割される時、原則的にはＴＵがＣＵから再帰的に二回まで分割され得るが、本明細書では図５に図示した通り、ＴＵがＣＵから再帰的に（ｒｅｃｕｒｓｉｖｅｌｙ）三回以上分割される場合を権利範囲から除外するものではない。
【０１０１】
例えば、ＣＵが２Ｎｘ２Ｎの大きさを有する場合、ＴＵはＣＵと同じ大きさである２Ｎｘ２Ｎの大きさを有することができ、ＣＵから一度クアッドツリー分割された場合にはＴＵがＮｘＮの大きさを有することができる。また、ＣＵから二回クアッドツリー分割された場合にはＴＵがＮ／２ｘＮ／２の大きさを有することができ、ＣＵから３回クアッドツリー分割された場合にはＴＵがＮ／４ｘＮ／４の大きさを有することができる。
【０１０２】
前述した「変換ユニット（Ｔｒａｎｓｆｏｒｍ  Ｕｎｉｔ、ＴＵ）」は「変換ブロック（Ｔｒａｎｓｆｏｒｍ  Ｂｌｏｃｋ）」を意味し得、以下、「変換ユニット」は説明の便宜のために「変換ブロック」は混用されることもある。
【０１０３】
図６は３次元ビデオコーデック（ｃｏｄｅｃ）で視点間予測（ｉｎｔｅｒ  ｖｉｅｗ  ｐｒｅｄｉｃｔｉｏｎ）の構造を示した一例である。
【０１０４】
視点１（Ｖｉｅｗ  １）と視点２（Ｖｉｅｗ  ２）は視点０（Ｖｉｅｗ  ０）を参照映像として使用して視点間予測を遂行することができ、符号化順序は視点１（Ｖｉｅｗ  １）と視点２（Ｖｉｅｗ  ２）より視点０（Ｖｉｅｗ  ０）が先に符号化されなければならない。
【０１０５】
このとき、視点０（Ｖｉｅｗ  ０）は他の視点にかかわらず独立的に符号化され得るため独立的な視点（Ｉｎｄｅｐｅｎｄｅｎｔ  Ｖｉｅｗ）という。反面、視点１（Ｖｉｅｗ
１）と視点２（Ｖｉｅｗ  ２）は視点０（Ｖｉｅｗ  ０）を参照映像として使用して符号化されるため依存的な視点（Ｄｅｐｅｎｄｅｎｔ  Ｖｉｅｗ）という。独立的な視点映像は一般的な２次元ビデオコーデックを使用して符号化され得る。反面、依存的な視点映像は視点間予測を遂行しなければならないため、視点間予測過程が含まれた３次元ビデオコーデックを使用して符号化され得る。
【０１０６】
また、視点１（Ｖｉｅｗ  １）と視点２（Ｖｉｅｗ  ２）の符号化効率を増加させるために視点１（Ｖｉｅｗ  １）と視点２（Ｖｉｅｗ  ２）は奥行き情報マップを利用して符号化され得る。例えば、実映像とそれの奥行き情報マップを符号化する時、実映像と奥行き情報マップは互いに独立的に符号化および／または復号化され得る。または実映像と奥行き情報マップを符号化する時、実映像と奥行き情報マップは図７のように互いに依存的に符号化および／または復号化され得る。
【０１０７】
図７は３次元ビデオエンコーダおよび／またはデコーダで実映像（ｔｅｘｔｕｒｅ  ｖｉｅｗ）と奥行き情報マップ（ｄｅｐｔｈ  ｖｉｅｗ）を符号化および／または復号化する過程を示した一例である。
【０１０８】
図７を参照すれば、３次元ビデオエンコーダは実映像（ｔｅｘｔｕｒｅ  ｖｉｅｗ）を符号化する実映像エンコーダ（ｔｅｘｔｕｒｅ  ｅｎｃｏｄｅｒ）と奥行き情報マップ（ｄｅｐｔｈ  ｖｉｅｗ）を符号化する奥行き情報マップエンコーダ（ｄｅｐｔｈ  ｅｎｃｏｄｅｒ）を含むことができる。
【０１０９】
このとき、実映像エンコーダは奥行き情報マップエンコーダによって符号化された奥行き情報マップを利用して実映像を符号化することができる。反対に、奥行き情報マップエンコーダは実映像エンコーダによって符号化された実映像を利用して奥行き情報マップを符号化することができる。
【０１１０】
３次元ビデオデコーダは実映像を復号化する実映像デコーダ（ｔｅｘｔｕｒｅ  ｄｅｃｏｄｅｒ）と奥行き情報マップを復号化する奥行き情報マップデコーダ（ｄｅｐｔｈ  ｄｅｃｏｄｅｒ）を含むことができる。
【０１１１】
このとき、実映像デコーダは奥行き情報マップデコーダによって復号化された奥行き情報マップを利用して実映像を復号化することができる。反対に、奥行き情報マップデコーダは実映像デコーダによって復号化された実映像を利用して奥行き情報マップを復号化することができる。
【０１１２】
図８はビデオエンコーダの一実施例に係る構成を示すブロック図である。
【０１１３】
図８はマルチビュー構造に対して適用可能なビデオエンコーダの一実施例を示したもので、マルチビュー構造に対するビデオエンコーダは単一ビュー構造に対するビデオエンコーダを拡張（ｅｘｔｅｎｓｉｏｎ）して具現することができる。このとき、図８のビデオエンコーダは図７の実映像エンコーダおよび／または奥行き情報マップエンコーダで使用することができ、エンコーダは符号化装置を意味し得る
【０１１４】
図８を参照すれば、ビデオエンコーダ８００はインター予測部８１０、イントラ予測部８２０、スイッチ８１５、減算器８２５、変換部８３０、量子化部８４０、エントロピー符号化部８５０、逆量子化部８６０、逆変換部８７０、加算器８７５、フィルタ部８８０および参照ピクチャーバッファー８９０を含む。
【０１１５】
ビデオエンコーダ８００は入力映像に対してイントラ（ｉｎｔｒａ）モードまたはインター（ｉｎｔｅｒ）モードで符号化を遂行し、ビットストリーム（ｂｉｔｓｔｒｅａｍ）を出力することができる。
【０１１６】
イントラ予測（ｉｎｔｒａ  ｐｒｅｄｉｃｔｉｏｎ）は画面内予測（ｉｎｔｒａ  ｐｉｃｔｕｒｅ  ｐｒｅｄｉｃｔｉｏｎ）を意味し、インター予測（ｉｎｔｅｒ  ｐｒｅｄｉｃｔｉｏｎ）は画面間（ｉｎｔｅｒ  ｐｉｃｔｕｒｅ）予測またはビュー間（ｉｎｔｅｒ−ｖｉｅｗ）予測を意味する。イントラモードである場合スイッチ８１５がイントラモードに転換され、インターモードである場合スイッチ８１５がインターモードに転換される。
【０１１７】
ビデオエンコーダ８００は入力ピクチャーのブロック（現在ブロック）に対する予測ブロックを生成した後、現在ブロックと予測ブロックの差分を符号化することができる。
【０１１８】
イントラモードである場合、イントラ予測部８２０は現在ブロック周辺のすでに符号化されたブロックの画素値を参照画素として利用することができる。イントラ予測部８２０は参照画素を利用して現在ブロックに対する予測サンプルを生成することができる。
【０１１９】
インターモードである場合、インター予測部８１０は、参照ピクチャーバッファー８９０に保存されている参照ピクチャーで入力ブロック（現在ブロック）に対応される参照ブロックを特定する動きベクトルを求めることができる。インター予測部８１０は動きベクトルと参照ピクチャーバッファー８９０に保存されている参照ピクチャーを利用して動き補償を遂行することによって現在ブロックに対する予測ブロックを生成することができる。
【０１２０】
マルチビュー構造において、インターモードで適用されるインター予測はインタービュー予測を含むことができる。インター予測部８１０は参照ビューのピクチャーをサンプリングしてインタービュー参照ピクチャ−ーを構成することもできる。インター予測部８１０はインタービュー参照ピクチャーを含む参照ピクチャーリストを利用してインタービュー予測を遂行できる。ビュー間の参照関係はビュー間の依存性を特定する情報を通じてシグナリングされ得る。
【０１２１】
一方、現在ビューのピクチャーと参照ビューのピクチャーが同じ大きさである場合に前記参照ビューピクチャーに適用されるサンプリングは参照ビューピクチャーからのサンプルコピーまたは補間による参照サンプルの生成を意味し得る。現在ビューピクチャーと参照ビューピクチャーの解像度が相異する場合に前記参照ビューピクチャーに適用されるサンプリングはアップサンプリングまたはダウンサンプリングを意味し得る。例えば、ビュー間解像度が異なる場合には参照ビューの復元されたピクチャーをアップサンプリングしてインタービュー参照ピクチャーが構成されることもある。
【０１２２】
いずれのビューのピクチャーを利用してインタービュー参照ピクチャーを構成するかは符号化費用（ｃｏｄｉｎｇ  ｃｏｓｔ）などを考慮して決定され得る。エンコーダはインタービュー参照ピクチャーで使用されるピクチャーが属するビュー（ｖｉｅｗ）を特定する情報を復号化装置に伝送することができる。
【０１２３】
また、インタービュー予測において参照されるビュー、すなわち参照ビューの中で現在ブロックの予測に利用されるピクチャーは現在ピクチャー（現在ビュー内の予測対象ピクチャー）と同一ＡＵ（Ａｃｃｅｓｓ  Ｕｎｉｔ）のピクチャーであり得る。
【０１２４】
減算器８２５は現在ブロックと予測ブロックの差分によってレジデュアルブロック（ｒｅｓｉｄｕａｌ  ｂｌｏｃｋ、レジデュアル信号）を生成することができる。
【０１２５】
変換部８３０はレジデュアルブロックに対して変換（ｔｒａｎｓｆｏｒｍ）を遂行して変換係数（ｔｒａｎｓｆｏｒｍ  ｃｏｅｆｆｉｃｉｅｎｔ）を出力することができ、変換部８３０は変換ブロックを利用して変換を遂行できる。変換省略（ｔｒａｎｓｆｏｒｍ  ｓｋｉｐ）モードが適用される場合に、変換部８３０はレジデュアルブロックに対する変換を省略することもできる。
【０１２６】
量子化部８４０は変換係数を量子化パラメーターにより量子化して量子化された係数（ｑｕａｎｔｉｚｅｄ  ｃｏｅｆｆｉｃｉｅｎｔ）を出力することができる。
【０１２７】
エントロピー符号化部８５０は、量子化部８４０で算出された値または符号化過程で算出された符号化パラメーター値などを確率分布によりエントロピー符号化してビットストリームを出力することができる。エントロピー符号化部８５０はビデオの画素情報の他にビデオデコーディングのための情報（例えば、シンタックスエレメント（ｓｙｎｔａｘ  ｅｌｅｍｅｎｔ）など）をエントロピー符号化することもできる。
【０１２８】
符号化パラメーターは符号化および復号化に必要な情報であって、シンタックスエレメントとともにエンコーダで符号化されて復号化装置に伝達される情報だけでなく、符号化あるいは復号化過程で類推され得る情報を含むこともできる。
【０１２９】
レジデュアル信号は元の信号と予測信号の差を意味し得、また、元の信号と予測信号の差が変換（ｔｒａｎｓｆｏｒｍ）された形態の信号または元の信号と予測信号の差が変換されて量子化された形態の信号を意味することもある。ブロック単位で、レジデュアル信号はレジデュアルブロックといえる。
【０１３０】
エントロピー符号化が適用される場合、高い発生確率を有するシンボルに少ない数のビットが割り当てられ、低い発生確率を有するシンボルに複数のビットが割り当てられてシンボルが表現されることによって、符号化対象シンボルに対するビット列の大きさを減少させることができる。したがって、エントロピー符号化を通じて映像符号化の圧縮性能を高めることができる。
【０１３１】
エントロピー符号化のために指数ゴロム（ｅｘｐｏｎｅｎｔｉａｌ  Ｇｏｌｏｍｂ）、ＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ  Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｉｎｇ）またはＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ  Ｂｉｎａｒｙ  Ａｒｉｔｈｍｅｔｉｃ  Ｃｏｄｉｎｇ）のような符号化方法が使用され得る。例えば、エントロピー符号化部８５０は可変長符号化（ＶＬＣ：Ｖａｒｉａｂｌｅ  Ｌｅｎｇｈｔｈ  Ｃｏｄｉｎｇ／Ｃｏｄｅ）テーブルを利用してエントロピー符号化を遂行できる。また、エントロピー符号化部８５０は対象シンボルの２進化（ｂｉｎａｒｉｚａｔｉｏｎ）方法および対象シンボル／ビン（ｂｉｎ）の確率モデル（ｐｒｏｂａｂｉｌｉｔｙ  ｍｏｄｅｌ）を導き出した後、導き出された２進化方法または確率モデルを使用してエントロピー符号化を遂行することもできる。
【０１３２】
量子化された係数は逆量子化部８６０で逆量子化され、逆変換部８７０で逆変換され得る。逆量子化、逆変換された係数は加算器８７５を通じて予測ブロックと合算されて復元ブロックが生成され得る。
【０１３３】
復元ブロックはフィルタ部８８０を経由し、フィルタ部８８０はデブロッキングフィルタ（ｄｅｂｌｏｃｋｉｎｇ  ｆｉｌｔｅｒ）、ＳＡＯ（Ｓａｍｐｌｅ  Ａｄａｐｔｉｖｅ
Ｏｆｆｓｅｔ）、ＡＬＦ（Ａｄａｐｔｉｖｅ  Ｌｏｏｐ  Ｆｉｌｔｅｒ）のうち少なくとも一つ以上を復元ブロックまたは復元ピクチャーに適用することができる。フィルタ部８８０を経た復元ブロックは参照映像バッファー８９０に保存され得る。
【０１３４】
図９はビデオデコーダの一実施例に係る構成を示すブロック図である。
【０１３５】
図９はマルチビュー構造に対して適用可能なビデオデコーダの一実施例を示したもので、マルチビュー構造に対するビデオデコーダは単一ビュー構造に対するビデオデコーダを拡張（ｅｘｔｅｎｓｉｏｎ）して具現することができる。
【０１３６】
このとき、図９のビデオデコーダは図７の実映像デコーダおよび／または奥行き情報マップデコーダで使用され得る。説明の便宜のために、本明細書では「復号化」と「デコーディング」が混用され、「復号化装置」と「デコーダ」が混用され得る。
【０１３７】
図９を参照すれば、前記ビデオデコーダ９００はエントロピー復号化部９１０、逆量子化部９２０、逆変換部９３０、イントラ予測部９４０、インター予測部９５０、フィルタ部９６０および参照ピクチャーバッファー９７０を含む。
【０１３８】
ビデオデコーダ９００はエンコーダで出力されたビットストリームの入力を受けてイントラモードまたはインターモードで復号化を遂行し、再構成された映像、すなわち復元映像を出力することができる。
【０１３９】
イントラモードである場合、スイッチがイントラ予測のために転換され、インターモードである場合、スイッチがインター予測のために転換され得る。
【０１４０】
ビデオデコーダ９００は入力を受けたビットストリームから復元されたレジデュアルブロック（ｒｅｓｉｄｕａｌ  ｂｌｏｃｋ）を得て予測ブロックを生成した後、復元されたレジデュアルブロックと予測ブロックを出して再構成されたブロック、すなわち復元ブロックを生成することができる。
【０１４１】
エントロピー復号化部９１０は、入力されたビットストリームを確率分布によりエントロピー復号化して、量子化された係数（ｑｕａｎｔｉｚｅｄ  ｃｏｅｆｆｉｃｉｅｎｔ）とシンタックスエレメントなどの情報を出力することができる。
【０１４２】
量子化された係数は逆量子化部９２０で逆量子化され、逆変換部９３０で逆変換される。量子化された係数を逆量子化／逆変換して、復元されたレジデュアルブロック（ｒｅｓｉｄｕａｌ  ｂｌｏｃｋ）が生成され得る。
【０１４３】
イントラモードである場合、イントラ予測部９４０は現在ブロック周辺のすでに符号化されたブロックの画素値を利用して現在ブロックに対する予測ブロックを生成することができる。
【０１４４】
インターモードである場合、インター予測部９５０は動きベクトルおよび参照ピクチャーバッファー９７０に保存されている参照ピクチャーを利用して動き補償を遂行することによって、現在ブロックに対する予測ブロックを生成することができる。
【０１４５】
マルチビュー構造の場合、インターモードで適用されるインター予測はインタービュー予測を含むことができる。インター予測部９５０は参照ビューのピクチャーをサンプリングしてインタービュー参照ピクチャーを構成することができる。インター予測部９５０はインタービュー参照ピクチャーを含む参照ピクチャーリストを利用してインタービュー予測を遂行できる。ビュー間の参照関係はビュー間の依存性を特定する情報を通じてシグナリングされ得る。
【０１４６】
一方、現在ビューピクチャー（現在ピクチャー）と参照ビューピクチャーが同じ大きさである場合に前記参照ビューピクチャーに適用されるサンプリングは参照ビューピクチャーからのサンプルコピーまたは補間による参照サンプルの生成を意味し得る。現在ビューピクチャーと参照ビューピクチャーの解像度が相異する場合に前記参照ビューピクチャーに適用されるサンプリングはアップサンプリングまたはダウンサンプリングを意味し得る。
【０１４７】
例えば、ビュー間解像度が異なる場合にビュー間にインタービュー予測が適用されると、参照ビューの復元されたピクチャーをアップサンプリングしてインタービュー参照ピクチャーが構成され得る。
【０１４８】
このとき、インタービュー参照ピクチャーで使用されるピクチャーが属するビューを特定する情報はエンコーダからデコーダに伝送され得る。
【０１４９】
また、インタービュー予測において参照されるビュー、すなわち参照ビューの中で現在ブロックの予測に利用されるピクチャーは現在ピクチャー（現在ビュー内の予測対象ピクチャー）と同一ＡＵ（Ａｃｃｅｓｓ  Ｕｎｉｔ）のピクチャーであり得る。
【０１５０】
復元されたレジデュアルブロックと予測ブロックは加算器９５５で加算されて、復元ブロックが生成される。換言すれば、レジデュアルサンプルと予測サンプル加算されて復元されたサンプルまたは復元されたピクチャーが生成される。
【０１５１】
復元されたピクチャーはフィルタ部９６０でフィルタリングされる。フィルタ部９６０はデブロッキングフィルタ、ＳＡＯ、ＡＬＦのうち少なくとも一つ以上を復元ブロックまたは復元ピクチャーに適用することができる。フィルタ部９６０は再構成された（ｍｏｄｉｆｉｅｄ）あるいはフィルタリングされた（ｆｉｌｔｅｒｅｄ）復元ピクチャー（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｐｉｃｔｕｒｅ）を出力する。復元映像は参照ピクチャーバッファー９７０に保存されてインター予測に使用され得る。
【０１５２】
図８と図９ではそれぞれのモジュールが互いに異なる機能を遂行するものとして説明したが、本発明はこれに限定されず、一つのモジュールで二以上の機能を遂行することができる。例えば、図８と図９でイントラ予測部とインター予測部の動作は一つのモジュール（予測部）で遂行されることもある。
【０１５３】
一方、図８および図９では一つのエンコーダ／デコーダがマルチビューに対する符号化／復号化をすべて処理するものとして説明したが、これは説明の便宜のためのものであって、エンコーダ／デコーダはビュー別に構成されることもある。
【０１５４】
この場合、現在ビューのエンコーダ／デコーダは他のビューの情報を利用して現在ビューの符号化／復号化を遂行できる。例えば、現在ビューの予測部（インター予測部）は他のビューのピクセル情報または復元されたピクチャー情報を利用して現在ブロックに対するイントラ予測またはインター予測を遂行することもできる。
【０１５５】
ここでは、ビュー間の予測だけを例にして説明したが、エンコーダ／デコーダはビュー別に構成されるか一つの装置がマルチビューを処理するかにかかわらず、他のビューの情報を利用して現在レイヤーに対する符号化／復号化を遂行できる。
【０１５６】
本発明でビューに関する説明はスケーラビリティーを支援するレイヤー（ｌａｙｅｒ）に対しても同様に適用できる。例えば、本発明でビュー（ｖｉｅｗ）はレイヤー（ｌａｙｅｒ）であり得る。
【０１５７】
図１０は３次元ビデオコーデックに対する予測構造の一例を示す図面である。説明の便宜上図１０では３台のカメラで獲得した実映像と実映像に対応される奥行き情報マップを符号化するための予測構造を示している。
【０１５８】
図１０では３台のカメラで獲得された３つの実映像は視点（ｖｉｅｗ）によりＴ０、Ｔ１、Ｔ２で表現し、実映像に対応される３つの奥行き情報マップは視点（ｖｉｅｗ）によりそれぞれＤ０、Ｄ１、Ｄ２で表現した。ここで、Ｔ０とＤ０は視点０（Ｖｉｅｗ  ０）で獲得した映像で、Ｔ１とＤ１は視点１（Ｖｉｅｗ  １）で獲得した映像であり、Ｔ２とＤ２は視点２（Ｖｉｅｗ  ２）で獲得した映像である。このとき、図１０に図示された四角形は映像（ピクチャー）を表わす。
【０１５９】
各映像（ピクチャー）は符号化／復号化タイプによりＩピクチャー（Ｉｎｔｒａ  Ｐｉｃｔｕｒｅ）、Ｐピクチャー（Ｕｎｉ−ｐｒｅｄｉｃｔｉｏｎ  Ｐｉｃｔｕｒｅ）、Ｂピクチャー（Ｂｉ−ｐｒｅｄｉｃｔｉｏｎ  Ｐｉｃｔｕｒｅ）に分けられ、各ピクチャーは各ピクチャーの符号化／復号化タイプにより符号化／復号化され得る。Ｉピクチャーではインター予測なしに映像自体を符号化し、Ｐピクチャーでは単方向に存在する参照映像だけを利用してインター予測をし、Ｂピクチャーでは両方向に存在する参照映像を利用してインター予測を遂行できる。このとき、図１０の矢印は予測方向を表わす。すなわち、予測方向により実映像とそれの奥行き情報マップは互いに依存的に符号化／復号化され得る。
【０１６０】
インター予測を通じて映像の符号化／復号化を遂行するためには現在ブロックの動き情報が必要である。現在ブロックの動き情報を類推する方法としては、現在ブロックと隣接したブロックの動き情報を利用する方法、同じ視点内で時間的相関性を利用する方法、または隣接した視点で視点間相関性を利用する方法があり、前述したインター予測方法は一つのピクチャーで混用されて使用され得る。ここで、現在ブロックは予測が遂行されるブロックをいう。動き情報は動きベクトル、参照映像番号および／または予測方向（例えば、単方向予測であるか両方向予測であるか、時間的相関性を利用するかまたは視点間相関性を利用するかの可否など）を意味することもある。
【０１６１】
このとき、予測方向は参照ピクチャー目録（Ｒｅｆｅｒｅｎｃｅ  Ｐｉｃｔｕｒｅ  Ｌｉｓｔ：ＲｅｆＰｉｃＬｉｓｔ）の使用により、単方向予測と両方向予測に大別され得る。単方向予測は純方向参照ピクチャー目録（ＬＩＳＴ  ０、Ｌ０）を使う順方向予測（Ｐｒｅｄ＿Ｌ０：Ｐｒｅｄｉｃｔｉｏｎ  Ｌ０）と逆方向参照ピクチャー目録（ＬＩＳＴ  １、Ｌ１）を使う逆方向予測（Ｐｒｅｄ＿Ｌ１：Ｐｒｅｄｉｃｔｉｏｎ  Ｌ１）に区分される。また、両方向予測（Ｐｒｅｄ＿ＢＩ：Ｐｒｅｄｉｃｔｉｏｎ  ＢＩ）は順方向参照ピクチャー目録（ＬＩＳＴ  ０）と逆方向参照ピクチャー目録（ＬＩＳＴ  １）をすべて使用して、順方向予測と逆方向予測がすべて存在することをいい、順方向参照ピクチャー目録（ＬＩＳＴ  ０）を逆方向参照ピクチャー目録（ＬＩＳＴ  １）にコピーして順方向予測が二つ存在する場合も両方向予測に含むことができる。
【０１６２】
予測方向の有無はｐｒｅｄＦｌａｇＬ０、ｐｒｅｄＦｌａｇＬ１を使用して定義することができる。このとき、ｐｒｅｄＦｌａｇＬ０は順方向参照ピクチャー目録（Ｌｉｓｔ  ０）の使用可否を指示する指示子であり、ｐｒｅｄＦｌａｇＬ１は逆方向参照ピクチャー目録（Ｌｉｓｔ  １）の使用可否を指示する指示子に該当する。例えば、単方向予測で順方向予測の場合にはｐｒｅｄＦｌａｇＬ０が「１」となりｐｒｅｄＦｌａｇＬ１は「０」となり得、単方向予測で逆方向予測の場合にはｐｒｅｄＦｌａｇＬ０が「０」となりｐｒｅｄＦｌａｇＬ１が「１」となり得、両方向予測の場合にはｐｒｅｄＦｌａｇＬ０が「１」となりｐｒｅｄＦｌａｇＬ１が「１」となり得る。
【０１６３】
動き予測方法は１）動きベクトル予測器（Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｐｒｅｄｉｃｔｏｒ）と差分動きベクトル（Ｍｏｔｉｏｎ  Ｖｅｃｔｏｒ  Ｄｉｆｆｅｒｅｎｃｅ）を利用する方法と、２）動き併合を使用するかの可否を表わすフラグ（ｍｅｒｇｅ＿ｆｌａｇ）といずれの位置にある動きを相続するかに対する情報であるインデックス（ｍｅｒｇｅ＿ｉｄｘ）を利用する併合動き誘導すなわち、マージ方法がある。以下、マージに関する具体的な内容を後述する。
【０１６４】
図１１は現在ブロックに対するマージ候補リスト（ｍｅｒｇｅ  ｃａｎｄｉｄａｔｅ  ｌｉｓｔ）の構成に使用される周辺ブロックを示した一例である。
【０１６５】
マージモード（ｍｅｒｇｅ  ｍｏｄｅ）はインター予測を遂行する方法の中の一つであり、マージモードでは現在ブロックの動き情報（例えば、動きベクトル、参照ピクチャーリスト、参照ピクチャーインデックスのうち少なくとも一つ）として現在ブロックの周辺ブロックの動き情報を利用することができる。このとき、周辺ブロックの動き情報を現在ブロックの動き情報として使用するのをマージング（ｍｅｒｇｉｎｇ）、動き併合（ｍｏｔｉｏｎ  ｍｅｒｇｉｎｇ）または併合動き（ｍｅｒｇｉｎｇ  ｍｏｔｉｏｎ）という。
【０１６６】
マージモードでは符号化ユニット（Ｃｏｄｉｎｇ  Ｕｎｉｔ：ＣＵ、以下「ＣＵ」という）単位の併合動き（ｍｅｒｇｉｎｇ）と予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ：ＰＵ、以下「ＰＵ」という）単位の併合動きが可能である。
【０１６７】
ブロック単位（例えば、ＣＵまたはＰＵ）（以下、説明の便宜のために「ブロック」という）で併合動きを遂行する場合には、ブロック  パーティション（ｐａｒｔｉｔｉｏｎ）別に併合動きを遂行するかの可否に関する情報と現在ブロックに隣接した周辺ブロックのうちいずれのブロックと併合動きをするかに対する情報が必要である。
【０１６８】
併合動きを遂行するためにマージ候補リスト（ｍｅｒｇｉｎｇ  ｃａｎｄｉｄａｔｅ  ｌｉｓｔ）すなわち、併合動き候補リストを構成することができる。
【０１６９】
マージ候補リストは動き情報のリストをいい、マージモードが遂行される前に生成され得る。ここで、マージ候補リストの動き情報は現在ブロックに隣接した周辺ブロックの動き情報であるか、すでにマージ候補リストに存在する動き情報を組み合わせて作った新しい動き情報であり得る。周辺ブロックの動き情報（例えば、動きベクトルおよび／または参照ピクチャーインデックス）は周辺ブロックによって特定されるあるいは周辺ブロックに保存された（周辺ブロックのデコーディングに使用された）動き情報であり得る。
【０１７０】
このとき、周辺ブロックは図１１に図示された通り、現在ブロックと空間的（ｓｐａｔｉａｌ）に隣接して位置した周辺ブロック（ｎｅｉｇｈｂｏｒｉｎｇ  ｂｌｏｃｋ）（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）と、現在ブロックと時間的（ｔｅｍｐｏｒａｌ）に対応される同一位置の候補ブロック（ｃｏ−ｌｏｃａｔｅｄ  ｂｌｏｃｋ）（ＨあるいはＭ）を含むことができる。同一位置の候補ブロックは現在ブロックを含む現在ピクチャーと時間的に対応される同一位置のピクチャー（ｃｏ−ｌｏｃａｔｅｄ  ｐｉｃｔｕｒｅ）内の対応位置のブロックをいう。同一位置のピクチャー内のＨブロックが使用可能であればＨブロックを同一位置の候補ブロックに決定し、Ｈブロックが使用不可能であれば同一位置のピクチャー内のＭブロックを同一位置の候補ブロックに決めることができる。
【０１７１】
マージ候補リストの構成時に、周辺ブロック（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）および同一位置の候補ブロック（ＨあるいはＭ）の動き情報が現在ブロックのマージ候補リストを構成するマージ候補（ｍｅｒｇｅ  ｃａｎｄｉｄａｔｅ）として利用できるかが判断される。すなわち、現在ブロックのインター予測に利用可能なブロックの動き情報がマージ候補としてマージ候補リストに追加され得る。
【０１７２】
例えば、Ｘブロックに対するマージ候補リストを構成する方法で、１）まず、周辺ブロックＡが使用できる場合、周辺ブロックＡをマージ候補リストに含ませる。２）その後、周辺ブロックＢの動き情報が周辺ブロックＡの動き情報と同一でない場合にのみ周辺ブロックＢをマージ候補リストに含ませる。３）同じ方法で周辺ブロックＣの動き情報が周辺ブロックＢの動き情報とは異なる場合にのみ周辺ブロックＣをマージ候補リストに含ませ、４）周辺ブロックＤの動き情報が周辺ブロックＣの動き情報とは異なる場合にのみ周辺ブロックＤをマージ候補リストに含ませる。また、５）周辺ブロックＥの動き情報が周辺ブロックＤの動き情報と異なる場合にのみ周辺ブロックＥをマージ候補リストに含ませ、６）最後に、マージ候補リストには周辺ブロックＨ（あるいはＭ）を含ませる。すなわち、それぞれの周辺ブロックはＡ→Ｂ→Ｃ→Ｄ→Ｅ→Ｈ（あるいはＭ）ブロックの順序でマージ候補リストに追加され得る。ここで、同じ動き情報は同じ動きベクトル、同じ参照ピクチャー、および同じ予測方向（単方向、両方向）を使用するものを意味し得る。
【０１７３】
ここでは、周辺ブロックをマージ候補としてマージ候補リストに追加するという表現と周辺ブロックの動き情報をマージ候補としてマージ候補リストに追加するという表現を混用したが、これは説明の便宜のためのものであって、二つの表現は実質的に同じである。例えば、マージ候補としての周辺ブロックは該当ブロックの動き情報を意味するといえる。
【０１７４】
図１２は隣接した視点の動き情報を利用して、現在ブロックの動き情報を誘導する過程の一例を示す図面である。
【０１７５】
図１２では説明の便宜のために一つの隣接した視点だけを利用して現在ブロックの動き情報を誘導する過程を例示したが、隣接した視点は二以上の場合もあり得る。
【０１７６】
図１２を参照すれば、３次元ビデオシステムでは動き情報を効率的に符号化／復号化するために、隣接した視点の動き情報を利用することができる。具体的に、図１２の現在ブロック（現在位置Ｘに対するブロック）は現在ブロックに対する動き情報を誘導するために、隣接した視点に位置した対象ブロック（参照位置ＸＲ）を探す。このとき、隣接した視点に位置した対象ブロックは現在ブロックに対応されるブロックを意味し、現在視点での現在ピクチャーと参照視点での現在ピクチャーはカメラ位置の差があるだけで、前述した通り、変移ベクトル（Ｄｉｓｐａｒｉｔｙ  Ｖｅｃｔｏｒ、ＤＶ）を利用して隣接した視点に位置した対象ブロックを誘導することができる。
【０１７７】
図１３は一つの予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ、ＰＵ）が複数のサブ予測ユニット（Ｓｕｂ−Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ）に分けられる一例を示す図面である。
【０１７８】
図１３では６４ｘ６４の大きさを有する予測ユニット（Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ、ＰＵ）が８ｘ８大きさのサブ予測ユニットに分けられる一例を示している。図１３では説明の便宜のために、予測ユニットが６４ｘ６４の大きさを有するものとして説明するが、予測ユニットは６４ｘ６４の大きさだけでなく、３２ｘ３２、１６ｘ１６、８ｘ８、４ｘ４などの大きさを有することもできる。３次元ビデオシステムでは一つの予測ユニットが複数のサブ予測ユニット（Ｓｕｂ−Ｐｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ）に分割され得る。このとき、変移ベクトルを利用した動き情報の誘導はサブ予測ユニット単位で遂行される。サブ予測ユニットの大きさは既設定された大きさ（例えば、４ｘ４、８ｘ８、１６ｘ１６など）を有することができ、サブ予測ユニットの大きさは符号化時に指定され得る。サブ予測ユニットの大きさに対する情報はビデオパラメーターセット拡張シンタックス（Ｖｉｄｅｏ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ  Ｅｘｔｅｎｓｉｏｎ  ｓｙｎｔａｘ、ＶＰＳ  Ｅｘｔｅｎｓｉｏｎ  ｓｙｎｔａｘ）内に含まれてシグナリングされ得る。
【０１７９】
図１４は参照ブロックを利用して現在ブロックの動き情報を誘導する過程の一例を示す図面である。
【０１８０】
現在ブロックに対する動き情報の誘導過程は参照ブロックに存在する動き情報を現在ブロックの動き情報に設定することを意味し、一般的に動き情報の誘導は予測ブロック単位でなされる。しかし、３次元ビデオシステムでは動き情報を効率的に符号化／復号化するために、現在視点（ｖｉｅｗ）で現在ピクチャーに位置した現在ブロック（Ｘ）に対して予測ブロック単位だけでなく、それぞれのサブ予測ユニット単位でも動き情報を誘導することができる。
【０１８１】
すなわち、３次元ビデオシステムでは参照ブロック（ＸＲ）のサブ予測ユニットに存在する動き情報を現在ブロック（Ｘ）のサブ予測ユニットに対する動き情報に設定することができる。このとき、参照ブロック（ＸＲ）は参照視点での現在ピクチャーに位置した参照ブロック（ＸＲ）を意味し得、具体的な動き情報誘導過程は後述する。
【０１８２】
インター予測部は前述した通り、参照視点の誘導された参照ブロック内で予測ユニット単位だけでなく、サブ予測ユニット単位でも動き情報を誘導することができる。インター予測部が参照視点の誘導された参照ブロック内でサブ予測ユニット単位で動き情報を持ち込む時すべてのサブ予測ユニットが動き情報を有しているのではない。すなわち、参照ブロック内では動き情報を持ち込むことができない部分がある。参照ブロック内で動き情報を持ち込むことができない場合を補完するために、インター予測部は参照ブロックの中央に位置したサブ予測ユニットに使用できる動き情報が存在するか検査する。
【０１８３】
参照ブロックの中央に位置したサブ予測ユニットに使用できる動き情報が存在する場合、インター予測部は参照ブロックの中央に位置したサブ予測ユニットに存在する動き情報を保存空間に保存し、保存空間はビデオ符号化／復号化装置の他に存在する別途の保存装置を意味し得、ビデオ符号化／復号化装置内部に位置することもある。また、保存空間はメモリー、プロセッサなどを意味し得、保存空間は物理的空間ではない仮想のすなわち、論理的保存空間を意味することもある。このとき、保存空間に保存された動き情報は初期動き情報を意味し得る。
【０１８４】
インター予測部が現在ブロックのサブ予測ユニットに対して動き情報を誘導する時、現在ブロックのサブ予測ユニットに対応される参照ブロックのサブ予測ユニットに動き情報が存在しない場合には、前述した初期動き情報を現在ブロックのサブ予測ユニットに対する動き情報として使用することができる。万一、参照ブロックの中央に位置したサブ予測ユニットに使用できる動き情報が存在しない場合、インター予測部は時間的視点間動き情報予測は使用しないことがある。このとき、動き情報は動き併合候補すなわち、マージ候補として使用され得る。
【０１８５】
３次元映像で、併合動き候補リストすなわち、マージ候補リスト（Ｍｅｒｇｅ  ｃａｎｄｉｄａｔｅ  ｌｉｓｔ）を構成する時、１）既存の２次元映像符号化／復号化（例えば、ＨＥＶＣなど）でのマージ候補を誘導した後、２）  ３次元映像符号化／復号化（例えば、３Ｄ−ＨＥＶＣなど）でのマージ候補を誘導してリストを構成することができる。説明の便宜のために２次元映像符号化／復号化でのマージ候補が誘導された後、３次元映像符号化／復号化でのマージ候補が誘導されると叙述したが、本明細書ではマージ候補の誘導は前述した順序によって限定されるものではない。また、マージ候補リストを構成する時、原則的には定められた順序によりマージ候補がリストに配列されるが、本明細書では映像符号化／復号化の状況によってマージ候補が適応的に再配列されることを権利範囲から除外するものではない。
【０１８６】
既存の２次元映像符号化／復号化マージ候補は現在ブロックに対して空間的（ｓｐａｔｉａｌ）時間的（ｔｅｍｐｏｒａｌ）に隣接したブロックの動き情報を意味し得、３次元映像符号化／復号化マージ候補は３次元映像の映像の特性に合うように追加されたマージ候補を意味し得る。
【０１８７】
ここで、現在ブロックに対して空間的、時間的に隣接したブロックの動き情報はＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２、Ｃｏｌ（ＨあるいはＭ）候補を含むことができ、Ａ１は前述した通り、予測対象ブロックの左側に位置したブロックの動き情報を意味し、Ｂ１は前述した通り、予測対象ブロックの上側に位置したブロックの動き情報を意味し得る。Ｂ０は前述した通り、予測対象ブロックの右上側に位置したブロックの動き情報を意味し、Ａ０は前述した通り、予測対象ブロックの左下側に位置したブロックの動き情報を意味し、Ｂ２は前述した通り、予測対象ブロックの左上側に位置したブロックの動き情報を意味し得る。また、Ｃｏｌ（ＨあるいはＭ）は前述した通り、現在ブロックを含む現在ピクチャーと時間的に対応される同一位置のピクチャー（ｃｏ−ｌｏｃａｔｅｄ  ｐｉｃｔｕｒｅ）内の対応位置のブロックを通じて誘導された動き情報を意味し得る。
【０１８８】
また、３次元映像の特性に合うように追加されたマージ候補は、モーションパラメーター相続（Ｍｏｔｉｏｎ  Ｐａｒａｍｅｔｅｒ  Ｉｎｈｅｒｉｔａｎｃｅ、ＭＰＩ）、インタービューマージ候補（ｉｎｔｅｒ−ｖｉｅｗ  ｍｅｒｇｉｎｇ  ｃａｎｄｉｄａｔｅ、ＩｖＭＣ）、インタービュー変移ベクトル候補（ｉｎｔｅｒ−ｖｉｅｗ  ｄｉｓｐａｒｉｔｙ  ｖｅｃｔｏｒ  ｃａｎｄｉｄａｔｅ、ＩｖＤＣ）、視点合成予測（Ｖｉｅｗ  ｓｙｎｔｈｅｓｉｓ  ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）、シフトインタービュー（ＳｈｉｆｔＩＶ）、ＢｉおよびＺｅｒｏ候補を含むことができる。このとき、ＭＰＩは前述した実映像の動き情報を相続する動き情報を意味し、ＩｖＭＣは視点間マージを利用する動き情報を意味し、ＩｖＤＣは前述した変移ベクトルを利用（すなわち、視差を利用）して誘導された動き情報を意味し得る。また、ＶＳＰは視点を合成して誘導した動き情報を意味し、ＳｈｉｆｔＩＶは補正された視差を利用して誘導された動き情報を意味し得る。Ｂｉは両方向を利用して誘導された動き候補を意味し、Ｚｅｒｏはゼロベクトルを意味し得る。
【０１８９】
図１５は視点合成予測（Ｖｉｅｗ−Ｓｙｎｔｈｅｓｉｓ  Ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）の概念を概略的に図示したものである。
【０１９０】
図１５に示した通り、視点合成予測はテクスチャピクチャー（Ｔｅｘｔｕｒｅ  ｐｉｃｔｕｒｅ）、参照テクスチャピクチャー（Ｒｅｆｅｒｅｎｃｅ  ｔｅｘｔｕｒｅ  ｐｉｃｔｕｒｅ）および参照奥行きピクチャー（Ｒｅｆｅｒｅｎｃｅ  ｄｅｐｔｈ  ｐｉｃｔｕｒｅ）を利用することができ、テクスチャピクチャーには現在ブロック（Ｃｕｒｒｅｎｔ
ｂｌｏｃｋ）および隣接ブロック（ｎｅｉｇｈｂｏｒｉｎｇ  ｂｌｏｃｋ）が含まれ得る。また、参照奥行きピクチャーにはＶＳＰに使用される奥行きブロックと、ＶＳＰに使用される奥行きブロックに隣接したブロックが含まれ得る。
【０１９１】
テクスチャピクチャーはマージ候補の誘導がなされるピクチャーであり、テクスチャピクチャーは実映像を意味し得る。現在ブロックはテクスチャピクチャー内に存在し、予測がなされるブロックを意味する。現在ブロックは符号化ユニットを意味し得、現在ブロックで予測がなされるという点で、現在ブロックは予測ユニットまたは前述したサブ予測ユニットを意味することもある。「テクスチャピクチャー」は「テクスチャスライス（ｔｅｘｔｕｒｅ  ｓｌｉｃｅ）」、「テクスチャビュー（ｔｅｘｔｕｒｅ  ｖｉｅｗ）」、「テクスチャ映像（ｔｅｘｔｕｒｅ  ｉｍａｇｅ）」および／または「実ピクチャー」などを意味し得、説明の便宜のために「テクスチャピクチャー」は「テクスチャスライス（ｔｅｘｔｕｒｅ  ｓｌｉｃｅ）」、「テクスチャビュー（ｔｅｘｔｕｒｅ  ｖｉｅｗ）」、「テクスチャ映像（ｔｅｘｔｕｒｅ  ｉｍａｇｅ）」および／または「実ピクチャー」などと表現され得る。
【０１９２】
参照テクスチャピクチャーはテクスチャピクチャーとは異なる視点のテクスチャピクチャーを意味し、テクスチャピクチャーに対する参照テクスチャピクチャーは複数の個数であり得る。原則的に、参照テクスチャピクチャーはテクスチャピクチャーとは異なる視点のテクスチャピクチャーを意味するが、本明細書では参照テクスチャピクチャーはテクスチャピクチャーと同じ視点である場合を排除するものではない。また、「参照テクスチャピクチャー」は「参照テクスチャスライス（Ｒｅｆｅｒｅｎｃｅ  ｔｅｘｔｕｒｅ  ｓｌｉｃｅ）」、「参照テクスチャビュー（Ｒｅｆｅｒｅｎｃｅ  ｔｅｘｔｕｒｅ  ｖｉｅｗ）」、「参照テクスチャ映像（Ｒｅｆｅｒｅｎｃｅ  ｔｅｘｔｕｒｅ  ｉｍａｇｅ）」および／または「参照実ピクチャー」などを意味し得、説明の便宜のために「参照テクスチャピクチャー」は「参照テクスチャスライス（Ｒｅｆｅｒｅｎｃｅ  ｔｅｘｔｕｒｅ  ｓｌｉｃｅ）」、「参照テクスチャビュー（Ｒｅｆｅｒｅｎｃｅ  ｔｅｘｔｕｒｅ  ｖｉｅｗ）」、「参照テクスチャ映像（Ｒｅｆｅｒｅｎｃｅ  ｔｅｘｔｕｒｅ  ｉｍａｇｅ）」および／または「参照実ピクチャー」などと表現され得る。
【０１９３】
参照奥行きピクチャーは前述したテクスチャピクチャーとは異なる視点に存在する奥行き情報マップを意味し、奥行き情報マップは前述した過程を通じて求めることができる。原則的に、参照奥行きピクチャーはテクスチャピクチャーとは異なる視点の奥行きピクチャーを意味するが、本明細書では参照奥行きピクチャーがテクスチャピクチャーと同じ視点である場合を排除するものではない。また、「参照奥行きピクチャー」は「参照奥行きスライス（Ｒｅｆｅｒｅｎｃｅ  ｄｅｐｔｈ  ｓｌｉｃｅ）」、「参照奥行きビュー（Ｒｅｆｅｒｅｎｃｅ  ｄｅｐｔｈ  ｖｉｅｗ）」、「参照奥行き映像（Ｒｅｆｅｒｅｎｃｅ
ｄｅｐｔｈ  ｉｍａｇｅ）」および／または「参照奥行きピクチャー」などを意味し得、説明の便宜のために「参照奥行きピクチャー」は「参照奥行きスライス（Ｒｅｆｅｒｅｎｃｅ  ｄｅｐｔｈ  ｓｌｉｃｅ）」、「参照奥行きビュー（Ｒｅｆｅｒｅｎｃｅ  ｄｅｐｔｈ  ｖｉｅｗ）」、「参照奥行き映像（Ｒｅｆｅｒｅｎｃｅ  ｄｅｐｔｈ  ｉｍａｇｅ）」および／または「参照奥行きピクチャー」などと表現され得る。
【０１９４】
ＶＳＰは変移ベクトル（Ｄｉｓｐａｒｉｔｙ  Ｖｅｃｔｏｒ：ＤＶ）、参照された奥行き情報マップと該当視点の一般映像情報を利用して生成される。
【０１９５】
ＶＳＰを生成する方法に対して図１５を通じてより具体的に説明すれば、１．  ３次元映像符号化／復号化装置は現在ブロックと隣り合うブロックに存在するＤＶを誘導する。以後、３次元映像符号化／復号化装置は２．  隣り合うブロックからＤＶをコピーし、３．  参照テクスチャピクチャーを利用したバックワードワーピングを通じて仮想の新しく生成されたブロックを生成する。以後、現在ブロックは仮想の新しく生成されたブロックをＶＳＰ予測情報、すなわちＶＳＰマージ候補として使用する。
【０１９６】
図１６は３次元映像符号化／復号化で、ＶＳＰ候補として相続される周辺ブロックの一例を図示したものである。
【０１９７】
３次元映像符号化／復号化でインター予測をする場合、現在ブロックの空間的に隣り合うブロックとしてＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２があり得、現在ブロックは予測ブロックおよび／またはサブ予測ユニットを意味し得、現在ブロックは正方形または非正方形であり得る。隣り合うブロックはそれぞれ予測ブロック／サブ予測ブロック単位であり得、隣り合うブロックは復元されたブロックを意味することもある。また、隣り合うブロックのそれぞれの大きさは現在ブロックと同じ大きさまたは現在ブロックと相異する大きさを有することができ、現在ブロックと相異する大きさを有するとは現在ブロックより小さい大きさまたは大きい大きさを有することを意味し得、隣り合うブロックは正方形または非正方形であり得る。
【０１９８】
このとき、現在ブロックの隣り合うブロックのうち、ＶＳＰを利用する空間的に隣り合うブロックが存在することができ、例えば、図１６と同様に、現在ブロックの隣り合うブロックすなわち、周辺ブロックのうちＡ１、Ｂ０がＶＳＰを使用することもできる。
【０１９９】
空間的周辺ブロック（例えば、Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２）がＶＳＰを使用する場合、ＶＳＰを使用する空間的周辺ブロックはＶＳＰで相続（Ｉｎｈｅｒｉｔａｎｃｅ）するとし、相続されたＶＳＰ候補（Ｉｎｈｅｒｉｔｅｄ  ＶＳＰ  ｃａｎｄｉｄａｔｅ）といえ、このとき、相続されたＶＳＰ候補は現在ブロックのＶＳＰ候補と同じ変移ベクトルを使用する。
【０２００】
図１７は３次元映像符号化／復号化で、マージ候補リストの一例を図示したものである。
【０２０１】
図１７は図１６と同様に、現在ブロックの隣り合うブロックのうちＡ１、Ｂ０がＶＳＰ候補を使用する場合、すなわち、Ａ１、Ｂ０が相続されたＶＳＰ候補である場合のマージ候補リスト生成方法に対する一例を概略的に図示したものである。図１７ではＡ１、Ｂ０が相続されたＶＳＰ候補である場合に対して叙述したが、空間的周辺ブロック（Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２）それぞれは相続されたＶＳＰ候補を有することもできる。すなわち、左下側（Ａ０）、左側（Ａ１）、上側（Ｂ１）、右上側（Ｂ０）および／または左上側（Ｂ２）に位置したそれぞれのブロックはそれぞれＶＳＰ候補として相続が可能であり、このとき、他の周辺ブロックが相続されたＶＳＰ候補であるかとはかかわらずそれぞれの周辺ブロックはＶＳＰ候補として相続が可能である。
【０２０２】
図１６、図１７での一例のように、Ａ１、Ｂ０が相続されたＶＳＰ候補である場合にはマージ候補リストにＡ１、ＩｖＤＣ、ＶＳＰ、Ｂ０が挿入される。このとき、Ａ１、Ｂ０が相続されたＶＳＰ候補である場合にはマージ候補リストに同じ変移ベクトルが重複的に挿入されることとなる。マージ候補リストに同じ変移ベクトルが重複的に挿入すなわち、複数の同じ候補がリストに挿入されることは符号化効率的側面から見た時、利得のない構成であって、かえってより効率が良好であり得る他のマージ候補のマージ候補リスト挿入可能性を制限する構成である。
【０２０３】
したがって、複数の同じマージ候補が重複的にマージ候補リストに挿入されることを防止して符号化効率を向上させることが要され、複数の同じマージ候補が重複的にマージ候補リストに挿入される代わりに、すでに挿入されたマージ候補とは異なるマージ候補がマージ候補リストに挿入される装置および方法が要求される。
【０２０４】
以下、３次元映像符号化／復号化で、ＶＳＰ候補の挿入が制限される装置および方法を提案し、本装置および方法を通じて、マージ候補リストでのＶＳＰ候補活用の効率性と他の候補の活用可能性が確保され得る。また、本装置および方法を通じて、マージリストを構成するにあたっては、一つのＶＳＰ候補だけを使用することができる。また、３次元映像符号化／復号化でＶＳＰ候補間に発生し得る重複性が除去され、マージリストに他の候補を挿入することができるため、符号化／復号化効率を向上することができる。
【０２０５】
図１８は本発明の一実施例に係る、相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する方法のフローチャートである。
【０２０６】
図１８によれば、３次元映像符号化／復号化装置は併合動き候補すなわち、マージ候補を誘導する（Ｓ１８１０）。誘導されたマージ候補は前述した通り、Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２、Ｃｏｌ（ＨあるいはＭ）、モーションパラメーター相続（Ｍｏｔｉｏｎ  Ｐａｒａｍｅｔｅｒ  Ｉｎｈｅｒｉｔａｎｃｅ、ＭＰＩ）、インタービューマージ候補（ｉｎｔｅｒ−ｖｉｅｗ  ｍｅｒｇｉｎｇ  ｃａｎｄｉｄａｔｅ、ＩｖＭＣ）、インタービュー変移ベクトル候補（ｉｎｔｅｒ−ｖｉｅｗ  ｄｉｓｐａｒｉｔｙ  ｖｅｃｔｏｒ  ｃａｎｄｉｄａｔｅ、ＩｖＤＣ）、視点合成予測（Ｖｉｅｗ  ｓｙｎｔｈｅｓｉｓ  ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）、シフトインタービュー（ＳｈｉｆｔＩＶ）、Ｂｉおよび／またはＺｅｒｏ候補を含むことができ、また、それぞれのマージ候補に対する具体的な内容は前述した内容と同じである。
【０２０７】
段階Ｓ１８１０で３次元映像符号化／復号化装置は誘導されたマージ候補をマージ候補リストに挿入することができる。例えば、段階Ｓ１８１０での誘導されたマージ候補はＡ１および／またはＢ１を意味し得、３次元映像符号化／復号化装置はＡ１および／またはＢ１をマージ候補リストに挿入することもできる。
【０２０８】
３次元映像符号化／復号化装置は空間的候補のうちＶＳＰを使用するブロックがあるかに対して判断する（Ｓ１８２０）。空間的候補は空間的周辺ブロックを意味し得、空間的周辺ブロックは前述した通り、Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２および／またはＣｏｌ（ＨまたはＭ）候補を含むことができ、例えば、段階Ｓ１８２０で判断される空間的候補ブロックはＡ１、および／またはＢ１であり得る。また、空間的候補のうちＶＳＰを使用するブロックは相続されたＶＳＰ候補を意味し得、相続されたＶＳＰ候補に対する具体的な説明は前述した内容と同じである。
【０２０９】
空間的候補のうちＶＳＰを使用するブロックがない場合、３次元映像符号化／復号化装置はＶＳＰ候補をマージ候補リストに挿入する（Ｓ１８３０）。このとき、マージ候補リストに挿入されるＶＳＰ候補は現在ブロックのＶＳＰ候補を意味し、ＶＳＰ候補に対する具体的な内容は前述した内容と同じである。
【０２１０】
ＶＳＰ候補をマージ候補リストに挿入した後、３次元映像符号化／復号化装置は残りの併合動き候補を誘導（Ｓ１８４０）する。このとき、残りの併合動き候補すなわち、残りのマージ候補はＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２、Ｃｏｌ（ＨあるいはＭ）、モーションパラメーター相続（Ｍｏｔｉｏｎ  Ｐａｒａｍｅｔｅｒ  Ｉｎｈｅｒｉｔａｎｃｅ、ＭＰＩ）、インタービューマージ候補（ｉｎｔｅｒ−ｖｉｅｗ  ｍｅｒｇｉｎｇ  ｃａｎｄｉｄａｔｅ、ＩｖＭＣ）、インタービュー変移ベクトル候補（ｉｎｔｅｒ−ｖｉｅｗ  ｄｉｓｐａｒｉｔｙ  ｖｅｃｔｏｒ  ｃａｎｄｉｄａｔｅ、ＩｖＤＣ）、視点合成予測（Ｖｉｅｗ  ｓｙｎｔｈｅｓｉｓ  ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）、シフトインタービュー（ＳｈｉｆｔＩＶ）、Ｂｉおよび／またはＺｅｒｏ候補を含むことができ、万一、段階Ｓ１８１０〜Ｓ１８３０でマージリストに挿入された候補がある場合、Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２、Ｃｏｌ（ＨあるいはＭ）、モーションパラメーター相続（Ｍｏｔｉｏｎ  Ｐａｒａｍｅｔｅｒ  Ｉｎｈｅｒｉｔａｎｃｅ、ＭＰＩ）、インタービューマージ候補（ｉｎｔｅｒ−ｖｉｅｗ  ｍｅｒｇｉｎｇ  ｃａｎｄｉｄａｔｅ、ＩｖＭＣ）、インタービュー変移ベクトル候補（ｉｎｔｅｒ−ｖｉｅｗ  ｄｉｓｐａｒｉｔｙ  ｖｅｃｔｏｒ  ｃａｎｄｉｄａｔｅ、ＩｖＤＣ）、視点合成予測（Ｖｉｅｗ  ｓｙｎｔｈｅｓｉｓ  ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）、シフトインタービュー（ＳｈｉｆｔＩＶ）、Ｂｉおよび／またはＺｅｒｏ候補のうちマージリストに挿入された候補を除いた候補を意味し得る。
【０２１１】
例えば、段階Ｓ１８１０〜段階Ｓ１８３０でマージ候補リストにＡ１、Ｂ１、ＶＳＰ候補が挿入された場合、段階Ｓ１８４０では３次元映像符号化／復号化装置がＡ１、Ｂ１、ＶＳＰ候補を除いた残りのマージ候補をマージ候補リストに挿入するかの可否に対して誘導することができる。
【０２１２】
もし、段階Ｓ１８２０で空間的候補のうちＶＳＰを使用するブロックすなわち、相続されたＶＳＰ候補がある場合、３次元映像符号化／復号化装置はＶＳＰ候補をマージ候補リストに挿入せず、残りの併合動き候補を誘導する（Ｓ１８４０）。３次元映像符号化／復号化装置が残りの併合動き候補を誘導することに対する具体的な内容は前述した内容と同じである。
【０２１３】
図１９は本発明の他の実施例に係る、相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する方法を３Ｄ−ＨＥＶＣに具現したフローチャートである。
【０２１４】
図１９によれば、３次元映像符号化／復号化装置は併合動き候補すなわち、マージ候補を誘導する（Ｓ１９１０）。このとき、３次元映像符号化／復号化装置がマージ候補を誘導する具体的な内容は前述した内容と同じである。
【０２１５】
３次元映像符号化／復号化装置は空間的候補のうちＶＳＰを使用するブロックがあるかに対して判断する（Ｓ１９２０）。このとき、３次元映像符号化／復号化装置が空間的候補のうちＶＳＰを使用するブロックがあるかに対して判断する具体的な内容は前述した内容と同じである。
【０２１６】
もし、空間的候補のうちＶＳＰを使用する周辺ブロックがある場合、３次元映像符号化／復号化装置はｓｋｉｐＶＳＰをｔｒｕｅに設定する（Ｓ１９３０）。このとき、ｓｋｉｐＶＳＰはＶＳＰ候補をマージ候補リストに挿入するかしないかを判断する情報を意味し、ｓｋｉｐＶＳＰがｔｒｕｅの場合にはＶＳＰ候補をマージ候補リストに挿入しない。また、ｓｋｉｐＶＳＰがｆａｌｓｅの場合にはＶＳＰ候補をマージ候補リストに挿入する。
【０２１７】
もし、空間的候補のうちＶＳＰを使用する周辺ブロックがない場合、３次元映像符号化／復号化装置はｓｋｉｐＶＳＰをｆａｌｓｅに設定する（Ｓ１９４０）。
【０２１８】
以後、３次元映像符号化／復号化装置はｓｋｉｐＶＳＰがｔｒｕｅであるか判断する（Ｓ１９５０）。
【０２１９】
万一、ｓｋｉｐＶＳＰがｔｒｕｅではない場合、すなわち、ｓｋｉｐＶＳＰがｆａｌｓｅの場合、３次元映像符号化／復号化装置はＶＳＰ候補をマージ候補リストに挿入する（Ｓ１９６０）。このとき、３次元映像符号化／復号化装置がＶＳＰ候補をマージ候補リストに挿入する具体的な内容は前述した内容と同じである。
【０２２０】
以後、３次元映像符号化／復号化装置は残りの併合動き候補を誘導する（Ｓ１９７０）。このとき、３次元映像符号化／復号化装置が残りの併合動き候補を誘導する具体的な内容は前述した内容と同じである。
【０２２１】
万一、段階Ｓ１９５０でｓｋｉｐＶＳＰがｔｒｕｅである場合、３次元映像符号化装置はＶＳＰ候補をマージ候補リストに挿入せず、残りの併合動き候補を誘導する（Ｓ１９７０）。ｓｋｉｐＶＳＰがｔｒｕｅである場合、３次元映像符号化装置がＶＳＰ候補をマージ候補リストに挿入せず、残りの併合動き候補を誘導する具体的な内容は前述した内容と同じである。
【０２２２】
前述した方法では相続されたＶＳＰがある場合、３次元映像符号化／復号化装置はＶＳＰ候補をマージ候補リストに追加しないことがある。すなわち、前述した方法を通じて３次元映像符号化／復号化装置は隣り合うブロックすなわち、周辺ブロックのうち相続されたＶＳＰがある場合、現在ブロックに対するＶＳＰ候補をマージ候補リストに追加しないことによって、マージ候補リストに存在するマージ候補の重複性を減少させることができ、マージ候補リストにＶＳＰ候補以外の追加的なマージ候補を挿入することもできるため、符号化効率を向上することができる。
【０２２３】
相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する装置は、既存インター予測部にＶＳＰの重複性除去のためのモジュールが追加された構成であり得る。以下、本発明の一実施例に係る、相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する装置を図２０を参照してより具体的に説明する。
【０２２４】
図２０は本発明の一実施例に係る、相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する装置のブロック図である。
【０２２５】
図２０によれば、インター予測部２０００は既存の動き候補生成モジュール、ＶＳＰ重複性除去モジュール、３Ｄ動き候補生成モジュールを含むことができる。
【０２２６】
既存の動き候補生成モジュールは併合動き候補すなわち、マージ候補を誘導する。誘導されたマージ候補は前述の通りであり、それぞれのマージ候補に対する具体的な内容は前述した内容と同じである。また、既存の動き候補生成モジュールは誘導されたマージ候補をマージ候補リストに挿入することができる。例えば、誘導されたマージ候補はＡ１および／またはＢ１を意味し得、３次元映像符号化／復号化装置はＡ１および／またはＢ１をマージ候補リストに挿入することもできる。
【０２２７】
このとき、「既存の動き候補生成モジュール」は「空間的マージ候補挿入モジュール」を意味し得、以下、説明の便宜のために、「既存の動き候補生成モジュール」は「空間的マージ候補挿入モジュール」は混用され得る。
【０２２８】
ＶＳＰ重複性（ｒｅｄｕｎｄａｎｃｙ）除去モジュールは空間的候補のうちＶＳＰを使用するブロックがあるかに対して判断することができる。空間的候補は空間的周辺ブロックを意味し得、空間的周辺ブロックは前述した通り、Ａ０、Ａ１、Ｂ０、Ｂ１、Ｂ２および／またはＣｏｌ（ＨまたはＭ）候補を含むことができ、例えば、ＶＳＰ重複性除去モジュールで判断される空間的候補ブロックはＡ１、および／またはＢ１であり得る。空間的候補のうちＶＳＰを使用するブロックは相続されたＶＳＰ候補を意味し得、相続されたＶＳＰ候補に対する具体的な説明は前述した内容と同じである。
【０２２９】
また、３次元符号化／復号化において、ＶＳＰ重複性除去モジュールは前述した判断結果に基づいてｓｋｉｐＶＳＰ値をｔｒｕｅまたはｆａｌｓｅに設定することができる。このとき、ＶＳＰ重複性除去モジュールは前述した判断結果に基づいてｓｋｉｐＶＳＰ値をｔｒｕｅまたはｆａｌｓｅに設定する具体的な内容は前述した内容と同じである。
【０２３０】
このとき、「ＶＳＰ重複性除去モジュール」は「ＶＳＰ重複性判断モジュール」を意味し得、以下、説明の便宜のために「ＶＳＰ重複性除去モジュール」と「ＶＳＰ重複性判断モジュール」は混用され得る。
【０２３１】
３Ｄ動き候補生成モジュールはＶＳＰ候補をマージ候補リストに挿入した後、残りの併合動き候補を誘導する。３Ｄ動き候補生成モジュールが残りの併合動き候補を誘導する具体的な内容は前述した通りであり、残りの併合動き候補に関する具体的な内容も前述した内容と同じである。
【０２３２】
例えば、既存の動き候補生成モジュールおよびＶＳＰ重複性除去モジュールでマージ候補リストにＡ１、Ｂ１、ＶＳＰ候補が挿入された場合、３Ｄ動き候補生成モジュールは３次元映像符号化／復号化装置がＡ１、Ｂ１、ＶＳＰ候補を除いた残りのマージ候補をマージ候補リストに挿入するかの可否に対して誘導することができる。
【０２３３】
もし、空間的候補のうちＶＳＰを使用するブロックすなわち、相続されたＶＳＰ候補があるためＶＳＰ重複性除去モジュールが相続されたＶＳＰ候補があると判断した場合、３次元動き候補生成モジュールはＶＳＰ候補をマージ候補リストに挿入せず、残りの併合動き候補を誘導する。３次元映像符号化／復号化装置が残りの併合動き候補を誘導することに対する具体的な内容は前述した内容と同じである。
【０２３４】
このとき、「３次元動き候補生成モジュール」は「３次元マージ候補挿入モジュール」、「ＶＳＰ候補挿入モジュール」を意味し得、以下、説明の便宜のために「３次元動き候補生成モジュール」、「３次元マージ候補挿入モジュール」、「ＶＳＰ候補挿入モジュール」は混用され得る。
【０２３５】
相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する装置は、ＶＳＰ重複性除去モジュールが３Ｄ動き候補生成モジュールに拡張／追加される構成であり得る。このとき、既存の動き候補生成モジュールで判別された空間的に隣り合う候補のＶＳＰ使用可否により、ＶＳＰ候補が使用されるかが決定され得、ＶＳＰ候補が使用されるかに対する決定はＶＳＰ候補誘導に対する決定前に行われ得る。以下、本発明の他の実施例に係る、相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する装置を図２１を通じてより具体的に説明する。
【０２３６】
図２１は本発明の他の実施例に係る、相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する装置のブロック図である。
【０２３７】
図２１によれば、インター予測部２１００は既存の動き候補生成モジュール、３Ｄ動き候補生成モジュールを含むことができ、３Ｄ動き候補生成モジュールはＶＳＰ重複性除去モジュールを含むことができる。
【０２３８】
既存の動き候補生成モジュールは前述した通りであり、既存の動き候補生成モジュールの具体的な内容は前述した内容と同じである。
【０２３９】
３Ｄ動き候補生成モジュールはＶＳＰ重複性除去モジュールを含むことができ、既存の動き候補生成モジュールで判別された空間的に隣り合う候補のＶＳＰ使用可否により、ＶＳＰ候補の使用か決定され得、ＶＳＰ候補の使用に対する決定はＶＳＰ候補誘導に対する決定前に行われ得る。３Ｄ動き候補生成モジュールおよびＶＳＰ重複性除去モジュールに対する具体的な内容は前述した内容と同じである。
【０２４０】
相続されたＶＳＰ候補が存在するかの可否によりマージ候補リストにＶＳＰ候補を追加することを制限する時、３次元符号化／復号化装置は空間的マージ候補の中で二つまたは一つの方向だけを参照することができ、３次元符号化／復号化装置が空間的マージ候補の中で二つまたは一つの方向だけを参照することを通じてＶＳＰ使用可否を判断するフラグを参照する回数を減少させることができる。このとき、ＶＳＰ使用可否を判断するフラグを参照する回数が減少されることは３次元符号化／復号化装置のメモリー接近回数を減少させることができる。以下、前述した方法についてより具体的に説明する。
【０２４１】
図２２は既存のマージ候補誘導方法と、本発明のさらに他の実施例に係るマージ候補誘導方法を比較したものである。
【０２４２】
図２２の（ａ）は既存のマージ候補に対する誘導の一例を示している。図２２の（ａ）によれば、既存のマージ候補に対する誘導では空間的周辺ブロック（Ａ０、Ａ１、Ｂ０、Ｂ１および／またはＢ２）それぞれはＶＳＰモードで符号化／復号化すなわち、相続されたＶＳＰであり得る。３次元符号化／復号化装置は現在ブロックに対するマージ候補リストを構成する時、３次元符号化／復号化装置は空間的周辺ブロックがＶＳＰモードで符号化／復号化されたかとはかかわらず、現在ブロックのマージ候補リストにＶＳＰ候補を挿入する場合があり、これは前述した通り、重複した動き情報をマージ候補リストに挿入することに過ぎず、映像符号化／復号化効率の低下をもたらした。
【０２４３】
図２２の（ｂ）は本発明のさらに他の実施例に係るマージ候補の誘導に対する一例である。図２２の（ｂ）によれば、３次元符号化／復号化装置は現在ブロックに対するマージ候補リストを構成する時、周辺ブロックのうちＡ１および／またはＢ１でＶＳＰが使用されたかすなわち、相続されたＶＳＰであるかの可否に対して判断する。以後、３次元映像符号化／復号化装置は周辺ブロックのうちＡ１および／またはＢ１でＶＳＰが使用された場合、マージリストにＶＳＰ候補を挿入することを制限する。
【０２４４】
以下、３次元映像符号化／復号化で、空間的マージ候補のうち二つの方向を参照してマージリストにＶＳＰ候補を挿入することを制限する方法についてより具体的に説明する。
【０２４５】
図２３は本発明のさらに他の実施例に係る空間的マージ候補のうち二つの方向を参照してマージリストにＶＳＰ候補を挿入することを制限する方法に関するフローチャートである。
【０２４６】
図２３を参照すれば、３次元映像符号化／復号化装置は現在ブロックの左側に位置した候補すなわち、左側に位置した候補をリストに挿入する（Ｓ２３００）。３次元映像符号化／復号化装置が現在ブロックの左側に位置した候補をリストに挿入するとはいったものの、ここで現在ブロックの左側に位置した候補は本発明の一例に過ぎず、段階Ｓ２３００で３次元映像符号化／復号化装置がリストに挿入する候補は空間的候補（例えば、現在ブロックの左側、左下側、左上側、上側、右上側に位置した候補）中のいずれか一つであり得る。このとき、現在ブロックの左側に位置した候補はＡ１であり得、左下側に位置した候補はＡ０であり得、左上側に位置した候補はＢ２候補であり得る。また、現在ブロックの上側に位置した候補はＢ１であり得、右上側に位置した候補はＢ０であり得る。
【０２４７】
３次元映像符号化／復号化装置は左側候補がＶＳＰを使用したかすなわち、左側候補が相続されたＶＳＰであるかに対して判断し（Ｓ２３１０）、左側候補がＶＳＰを使用したかに対して判断する具体的な方法は前述した内容と同じである。
【０２４８】
左側候補がＶＳＰを使用した場合、３次元映像符号化／復号化装置はＶＳＰが使用されたことを示す情報を生成し（Ｓ２３２０）、ＶＳＰが使用されたことを示す情報に対する具体的な内容は前述した内容と同じである。
【０２４９】
以後、３次元映像符号化／復号化装置は現在ブロックの上側に位置した候補をマージリストに挿入する（Ｓ２３３０）。３次元映像符号化／復号化装置が現在ブロックの上側に位置した候補をリストに挿入するといったものの、ここで現在ブロックの上側に位置した候補は本発明の一例に過ぎず、段階Ｓ２３３０で３次元映像符号化／復号化装置がリストに挿入する候補は空間的候補（例えば、現在ブロックの左側、左下側、左上側、上側、右上側に位置した候補）中のいずれか一つであり得る。
【０２５０】
万一、段階２３１０で左側候補がＶＳＰを使用していない場合、３次元映像符号化／復号化装置はＶＳＰが使用されたことを示す情報を生成せず、上側候補をリストに挿入する（Ｓ２３３０）。
【０２５１】
段階Ｓ２３３０で上側候補をマージリストに挿入した後、３次元映像符号化／復号化装置は上側候補がＶＳＰを使用し、ＶＳＰが使用されたことを示す情報が存在しないかの可否に対して判断する（Ｓ２３４０）。
【０２５２】
上側候補がＶＳＰを使用し、ＶＳＰが使用されたことを示す情報が存在しない場合、３次元映像符号化／復号化装置はＶＳＰが使用されたことを示す情報を生成する（Ｓ２３５０）。このとき、段階Ｓ２３５０でＶＳＰが使用されたことを示す情報は上側候補がＶＳＰを使用するとともに、ＶＳＰが使用されたことを示す情報が存在しない場合にのみ生成される。
【０２５３】
以後、３次元映像符号化復号化装置はＶＳＰが使用されたことを示す情報が存在するかの可否に対して判断し（Ｓ２３６０）、ＶＳＰが使用されたことを示す情報が存在するかの可否に対して判断する具体的な内容は前述した内容と同じである。
【０２５４】
ここで、ＶＳＰが使用されたことを示す情報が存在する場合、３次元映像符号化／復号化装置はマージ候補リストにＶＳＰ候補を挿入しない。
【０２５５】
万一、段階Ｓ２３６０でＶＳＰが使用されたことを示す情報が存在しない場合、３次元映像符号化／復号化装置はＶＳＰ候補をマージ候補リストに生成すなわち、ＶＳＰ候補をマージ候補リストに挿入する（Ｓ２３７０）。
【０２５６】
前述した方法は各空間的に隣り合う候補ごとに適用され得、もし、以前の空間的候補でＶＳＰ相続がなされたとすれば、現在空間的候補はＤＶだけを使用して予測する候補として使用され得る。
【０２５７】
また、前述した方法は前述した３次元映像符号化／復号化装置で具現することもできる。
【０２５８】
図２４ａ〜図２４ｂは本発明のさらに他の実施例に係る空間的マージ候補のうち二つの方向を参照してマージリストにＶＳＰ候補を挿入することを制限する方法を３Ｄ  ＨＥＶＣに適用したフローチャートである。
【０２５９】
図２４ａ〜図２４ｂを参照すれば、３次元映像符号化／復号化装置は既存のＨＥＶＣ併合候補誘導をし、ｕｓｅｄＶＳＰをｆａｌｓｅに設定する（Ｓ２４００）。既存のＨＥＶＣ併合候補誘導をし、ｕｓｅｄＶＳＰをｆａｌｓｅに設定する具体的な内容は前述した内容と同じである。
【０２６０】
３次元映像符号化／復号化装置は左側候補がＶＳＰを使用するかの可否に対して判断する（Ｓ２４１０）。このとき、３次元映像符号化／復号化装置が左側候補に対してＶＳＰを使用するかの可否に対して判断する具体的な内容は前述した内容と同じである。
【０２６１】
左側候補がＶＳＰを使用する場合、３次元映像符号化／復号化装置は相続されたＶＳＰ候補として左側候補をリストに挿入し、ｕｓｅｄＶＳＰをｔｒｕｅに設定する（Ｓ２４３０）。このとき、相続されたＶＳＰ候補として左側候補をリストに挿入し、ｕｓｅｄＶＳＰをｔｒｕｅに設定する具体的な内容は前述した内容と同じである。
【０２６２】
万一、左側候補がＶＳＰを使用しない場合、３次元映像符号化／復号化装置は左側候補をマージ候補リストに挿入する（Ｓ２４２０）。このとき、３次元映像符号化／復号化装置が左側候補をマージ候補リストに挿入する具体的な内容は前述した内容と同じである。
【０２６３】
段階Ｓ２４２０またはＳ２４３０以後、３次元映像符号化／復号化装置は上側候補がＶＳＰを使用し、ｕｓｅｄＶＳＰがｆａｌｓｅであるかに対して判断する（Ｓ２４４０）。このとき、映像符号化／復号化装置が上側候補に対してＶＳＰを使用し、ｕｓｅｄＶＳＰがｆａｌｓｅであるかに対して判断する具体的な内容は前述した内容と同じである。
【０２６４】
上側候補がＶＳＰを使用し、ｕｓｅｄＶＳＰがｆａｌｓｅである場合、３次元映像符号化／復号化装置は相続されたＶＳＰ候補として上側候補をリストに挿入し、ｕｓｅｄＶＳＰをｔｒｕｅに設定する。
【０２６５】
万一、上側候補がＶＳＰを使用し、ｕｓｅｄＶＳＰがｆａｌｓｅでない場合、３次元映像符号化／復号化装置は上側候補をマージリストに挿入する（Ｓ２４６０）。このとき、３次元映像符号化／復号化装置が上側候補をマージリストに挿入する具体的な内容は前述した内容と同じである。
【０２６６】
段階Ｓ２４５０またはＳ２４６０後に、３次元映像符号化／復号化装置は残っている空間的併合候補を誘導する（Ｓ２４７０）。このとき、３次元映像符号化／復号化装置が残っている空間的併合候補を誘導する具体的な内容は前述した内容と同じである。
【０２６７】
３次元映像符号化／復号化装置はＶＳＰ候補前までの併合候補を誘導する（Ｓ２４７５）。このとき、段階Ｓ２４７０の後ＶＳＰ候補前までの併合候補はＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２、Ｃｏｌ（ＨあるいはＭ）、モーションパラメーター相続（Ｍｏｔｉｏｎ  Ｐａｒａｍｅｔｅｒ  Ｉｎｈｅｒｉｔａｎｃｅ、ＭＰＩ）、インタービューマージ候補（ｉｎｔｅｒ−ｖｉｅｗ  ｍｅｒｇｉｎｇ  ｃａｎｄｉｄａｔｅ、ＩｖＭＣ）、インタービュー変移ベクトル候補（ｉｎｔｅｒ−ｖｉｅｗ  ｄｉｓｐａｒｉｔｙ  ｖｅｃｔｏｒ  ｃａｎｄｉｄａｔｅ、ＩｖＤＣ）、視点合成予測（Ｖｉｅｗ  ｓｙｎｔｈｅｓｉｓ  ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）、シフトインタービュー（ＳｈｉｆｔＩＶ）、Ｂｉおよび／またはＺｅｒｏ候補を含むことができ、段階Ｓ２４７０の後ＶＳＰ候補前までの併合候補は存在しない場合もある。
【０２６８】
３次元映像符号化／復号化装置はｕｓｅｄＶＳＰがｔｒｕｅであるかに対して判断する（Ｓ２４８０）。このとき、３次元映像符号化／復号化装置がｕｓｅｄＶＳＰに対してｔｒｕｅ可否を判断する具体的な内容は前述した内容と同じである。
【０２６９】
ｕｓｅｄＶＳＰがｔｒｕｅではない場合、すなわち、ｕｓｅｄＶＳＰがｆａｌｓｅである場合、３次元映像符号化／復号化装置はＶＳＰ候補をマージリストに挿入する（Ｓ２４８５）。このとき、３次元映像符号化／復号化装置はＶＳＰ候補をマージリストに挿入する具体的な内容と、ＶＳＰ候補の具体的な内容は前述した内容と同じである。
【０２７０】
以後、３次元映像符号化／復号化装置は残っている併合候補をリストに挿入する（Ｓ２４９０）。このとき、残っている併合候補をリストに挿入する具体的な内容は前述した内容と同じである。
【０２７１】
万一、ｕｓｅｄＶＳＰがｔｒｕｅである場合、３次元映像符号化／復号化装置はＶＳＰ候補をリストに挿入せず、残っている併合候補をリストに挿入する（Ｓ２４９０）。このとき、ＶＳＰ候補をリストに挿入せず、残っている併合候補をリストに挿入する具体的な内容は前述した内容と同じである。
【０２７２】
図２５は既存のマージ候補誘導方法と、本発明のさらに他の実施例に係るマージ候補誘導方法を比較したものである。
【０２７３】
図２５の（ａ）は既存のマージ候補に対する誘導の一例を示している。このとき、既存のマージ候補に対する誘導に関する具体的な内容は前述した内容と同じである。
【０２７４】
図２２の（ｂ）は本発明のさらに他の実施例に係るマージ候補の誘導に対する一例である。図２２の（ｂ）によれば、３次元符号化／復号化装置は現在ブロックに対するマージ候補リストを構成する時、周辺ブロックのうちＡ１でＶＳＰが使用されたかすなわち、相続されたＶＳＰであるかの可否に対して判断する。以後、３次元映像符号化／復号化装置は周辺ブロックのうちＡ１でＶＳＰが使用された場合、マージリストにＶＳＰ候補を挿入することを制限する。
【０２７５】
以下、３次元映像符号化／復号化で、空間的マージ候補のうち一つの方向を参照してマージリストにＶＳＰ候補を挿入することを制限する方法に対してより具体的に説明する。
【０２７６】
図２６は本発明のさらに他の実施例に係る空間的マージ候補のうち一つの方向を参照してマージリストにＶＳＰ候補を挿入することを制限する方法に関するフローチャートである。
【０２７７】
図２６参照すれば、３次元映像符号化／復号化装置は現在ブロックの左側に位置した候補すなわち、左側に位置した候補をリストに挿入する（Ｓ２６００）。３次元映像符号化／復号化装置が現在ブロックの左側に位置した候補をリストに挿入するといったものの、ここで現在ブロックの左側に位置した候補は本発明の一例に過ぎず、段階Ｓ２６００で３次元映像符号化／復号化装置がリストに挿入する候補は空間的候補（例えば、現在ブロックの左側、左下側、左上側、上側、右上側に位置した候補）中のいずれか一つであり得る。
【０２７８】
３次元映像符号化／復号化装置は左側候補がＶＳＰを使用したかすなわち、左側候補が相続されたＶＳＰであるかに対して判断し（Ｓ２６１０）、左側候補がＶＳＰを使用したかに対して判断する具体的な方法は前述した内容と同じである。
【０２７９】
左側候補がＶＳＰを使用した場合、３次元映像符号化／復号化装置はＶＳＰが使用されたことを示す情報を生成し（Ｓ２６２０）、ＶＳＰが使用されたことを示す情報に対する具体的な内容は前述した内容と同じである。
【０２８０】
万一、左側候補がＶＳＰを使用していない場合、３次元映像符号化／復号化装置はＶＳＰが使用されたことを示す情報を生成しない。
【０２８１】
以後、３次元映像符号化復号化装置はＶＳＰが使用されたことを示す情報が存在するかの可否に対して判断し（Ｓ２６３０）、ＶＳＰが使用されたことを示す情報が存在するかの可否に対して判断する具体的な内容は前述した内容と同じである。
【０２８２】
ここで、ＶＳＰが使用されたことを示す情報が存在する場合、３次元映像符号化／復号化装置はマージ候補リストにＶＳＰ候補を挿入しない。
【０２８３】
万一、段階Ｓ２６３０でＶＳＰが使用されたことを示す情報が存在しない場合、３次元映像符号化／復号化装置はＶＳＰ候補をマージ候補リストに生成すなわち、ＶＳＰ候補をマージ候補リストに挿入する（Ｓ２６４０）。
【０２８４】
前述した方法は各空間的に隣り合う候補ごとに適用され得、もし、以前の空間的候補でＶＳＰ相続がなされたとすれば、現在空間的候補はＤＶだけを使用して予測する候補として使用され得る。また、前述した方法は前述した３次元映像符号化／復号化装置で具現することもできる。
【０２８５】
図２７ａ〜図２７ｂは本発明のさらに他の実施例に係る空間的マージ候補のうち一つの方向を参照してマージリストにＶＳＰ候補を挿入することを制限する方法を３Ｄ  ＨＥＶＣに適用したフローチャートである。
【０２８６】
図２７ａ〜図２７ｂを参照すれば、３次元映像符号化／復号化装置は既存のＨＥＶＣ併合候補誘導をし、ｕｓｅｄＶＳＰをｆａｌｓｅに設定する（Ｓ２７００）。既存のＨＥＶＣ併合候補誘導をし、ｕｓｅｄＶＳＰをｆａｌｓｅに設定する具体的な内容は前述した内容と同じである。
【０２８７】
３次元映像符号化／復号化装置は左側候補がＶＳＰを使用するかの可否に対して判断する（Ｓ２７１０）。このとき、３次元映像符号化／復号化装置が左側候補に対してＶＳＰを使用するかの可否に対して判断する具体的な内容は前述した内容と同じである。
【０２８８】
左側候補がＶＳＰを使用する場合、３次元映像符号化／復号化装置は相続されたＶＳＰ候補として左側候補をリストに挿入し、ｕｓｅｄＶＳＰをｔｒｕｅに設定する（Ｓ２７２０）。このとき、相続されたＶＳＰ候補として左側候補をリストに挿入し、ｕｓｅｄＶＳＰをｔｒｕｅに設定する具体的な内容は前述した内容と同じである。
【０２８９】
万一、左側候補がＶＳＰを使用しない場合、３次元映像符号化／復号化装置は左側候補をマージ候補リストに挿入する（Ｓ２７３０）。このとき、３次元映像符号化／復号化装置が左側候補をマージ候補リストに挿入する具体的な内容は前述した内容と同じである。
【０２９０】
段階Ｓ２７２０またはＳ２７３０以後、３次元映像符号化／復号化装置は残っている空間的併合候補を誘導する（Ｓ２７４０）。このとき、３次元映像符号化／復号化装置が残っている空間的併合候補を誘導する具体的な内容は前述した内容と同じである。
【０２９１】
３次元映像符号化／復号化装置はＶＳＰ候補前までの併合候補を誘導する（Ｓ２７５０）。このとき、段階Ｓ２７４０以後ＶＳＰ候補前までの併合候補はＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２、Ｃｏｌ（ＨあるいはＭ）、モーションパラメーター相続（Ｍｏｔｉｏｎ  Ｐａｒａｍｅｔｅｒ  Ｉｎｈｅｒｉｔａｎｃｅ、ＭＰＩ）、インタービューマージ候補（ｉｎｔｅｒ−ｖｉｅｗ  ｍｅｒｇｉｎｇ  ｃａｎｄｉｄａｔｅ、ＩｖＭＣ）、インタービュー変移ベクトル候補（ｉｎｔｅｒ−ｖｉｅｗ  ｄｉｓｐａｒｉｔｙ  ｖｅｃｔｏｒ  ｃａｎｄｉｄａｔｅ、ＩｖＤＣ）、視点合成予測（Ｖｉｅｗ  ｓｙｎｔｈｅｓｉｓ  ｐｒｅｄｉｃｔｉｏｎ、ＶＳＰ）、シフトインタービュー（ＳｈｉｆｔＩＶ）、Ｂｉおよび／またはＺｅｒｏ候補を含むことができ、段階Ｓ２７４０以後ＶＳＰ候補前までの併合候補は存在しない場合もある。
【０２９２】
３次元映像符号化／復号化装置はｕｓｅｄＶＳＰがｔｒｕｅであるかに対して判断する（Ｓ２７６０）。このとき、３次元映像符号化／復号化装置がｕｓｅｄＶＳＰに対してｔｒｕｅ可否を判断する具体的な内容は前述した内容と同じである。
【０２９３】
ｕｓｅｄＶＳＰがｔｒｕｅではない場合、すなわち、ｕｓｅｄＶＳＰがｆａｌｓｅである場合、３次元映像符号化／復号化装置はＶＳＰ候補をマージリストに挿入する（Ｓ２７７０）。このとき、３次元映像符号化／復号化装置はＶＳＰ候補をマージリストに挿入する具体的な内容と、ＶＳＰ候補の具体的な内容は前述した内容と同じである。
【０２９４】
以後、３次元映像符号化／復号化装置は残っている併合候補をリストに挿入する（Ｓ２７８０）。このとき、残っている併合候補をリストに挿入する具体的な内容は前述した内容と同じである。
【０２９５】
万一、ｕｓｅｄＶＳＰがｔｒｕｅである場合、３次元映像符号化／復号化装置はＶＳＰ候補をリストに挿入せず、残っている併合候補をリストに挿入する（Ｓ２７８０）。このとき、ＶＳＰ候補をリストに挿入せず、残っている併合候補をリストに挿入する具体的な内容は前述した内容と同じである。
【０２９６】
図２８は本発明のさらに他の実施例に係るマージリストにＶＳＰ候補を挿入することを制限する装置に対するブロック図である。
【０２９７】
図２８を参照すれば、マージリストにＶＳＰ候補を挿入することを制限する装置は既存のＨＥＶＣ候補生成モジュール、左側ブロックに対するＶＳＰ使用可否決定モジュールなど、３Ｄ  ＨＥＶＣ候補生成モジュールを含むことができる。
【０２９８】
既存のＨＥＶＣ候補生成モジュールは前述した既存の動き候補生成モジュールを意味し得、既存のＨＥＶＣ候補生成モジュールに対する具体的な内容は前述した内容と同じである。
【０２９９】
左側ブロックに対するＶＳＰ使用可否決定モジュールなど（例えば、上側ブロック、左下側、左上側または右上側に対するＶＳＰ使用可否決定モジュール）はそれぞれ既存の候補のＶＳＰ非活性化モジュールを含むことができ、左側ブロックに対するＶＳＰ使用可否決定モジュールなどは各空間的に隣り合う候補のＶＳＰ使用可否により、他の空間的に隣り合う候補のＶＳＰ使用を非活性化することができる。これを通じて空間的に隣り合う候補は一定方向の定められた候補だけをＶＳＰ候補として使用することによって、各ブロック別に保存されるＶＳＰフラグに対する接近回数が減少される。これによって、３次元映像符号化／復号化において、結果的にメモリー接近を減少させることができる。
【０３００】
３Ｄ  ＨＥＶＣ候補生成モジュールは前述した３Ｄ動き候補生成モジュールを意味し得、３Ｄ  ＨＥＶＣ候補生成モジュールはＶＳＰ重複性除去モジュールを含むことができる。
【０３０１】
前述した３次元映像符号化／復号化装置および方法は現在ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）とＶＣＥＧ（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）で共同で標準化を進行中である３Ｄ−ＨＥＶＣ（Ｈｉｇｈ
Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）で使用され得る。したがって、前述した装置および方法は表１のようにブロックの大きさあるいはＣＵ（Ｃｏｄｉｎｇ  Ｕｉｎｔ）の奥行きあるいはＴＵ（Ｔｒａｎｓｆｏｒｍ  Ｕｎｉｔ）の奥行きなどにより適用範囲が変更され得る。適用範囲を決定する変数（すなわち、大きさあるいは奥行き情報）は符号化／復号化装置および方法であらかじめ定められた値を使用するように設定することもでき、プロファイルまたはレベルにより定められた値を使用するようにすることもでき、符号化装置および方法で変数値がビットストリームに記載されれば、復号化装置および方法でビットストリームから変数値を求めることもできる。ＣＵ奥行きにより適用範囲を異にする時は表１に例示した通り、Ａ）与えられた奥行き以上の奥行きにのみ適用する場合、Ｂ）与えられた奥行き以下にのみ適用する場合、Ｃ）与えられた奥行きにのみ適用する場合がありえる。
【０３０２】
すべての奥行きに対して本発明の方法が適用されない場合、任意の指示子（ｆｌａｇ）が前述した方法が適用されないということを示すこともでき、適用範囲を表わすＣＵ奥行き値がＣＵ奥行きの最大値より一つ大きな値でシグナリングされることによって表現されることもある。
【０３０３】
【表１】
2020092463.tif 000003
【０３０４】
図２９は前述した３次元映像符号化／復号化装置および方法を通じてＶＳＰ候補間の重複性が除去された一例を示している￥。
【０３０５】
図２９を参照すれば、既存の方法を通じてはマージ候補リストにＶＳＰ候補が重複的に存在したが、本明細書で提案する３次元符号化／復号化装置を通じてはＶＳＰ候補が重複的に存在することが改善されたことを確認することができる。
【０３０６】
前述した実施例で、方法は一連の段階またはユニットとしてフローチャートに基づいて説明されているが、本発明は段階の順序に限定されるものではなく、ある段階は前述した段階とは異なる段階と異なる順序でまたは同時に発生することができる。また、当該技術分野で通常の知識を有した者であればフローチャートに示された段階が排他的ではなく、他の段階が含まれるか、フローチャートの一つまたはそれ以上の段階が本発明の範囲に影響を及ぼすことなく削除され得ることが理解できるであろう。
【０３０７】
前述した実施例は多様な様態の例示を含む。多様な様態を表わすためのすべての可能な組合わせを記述することはできないが、該当技術分野の通常の知識を有した者は異なる組合わせが可能であることを認識できるであろう。したがって、本発明は、以下の特許請求の範囲内に属するすべての他の取り替え、修正および変更を含むものと言える。
【０３０８】
前述した本発明に係る方法はコンピュータで遂行されるためのプログラムに製作されてコンピュータ可読記録媒体に保存され得、コンピュータ可読記録媒体の例としてはＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ保存装置などがあり、また、キャリアウェーブ（例えばインターネットを通した伝送）の形態で具現されるものも含まれる。
【０３０９】
コンピュータ可読記録媒体はネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードが保存され実行され得る。そして、前記方法を具現するための機能的な（ｆｕｎｃｔｉｏｎ）プログラム、コードおよびコードセグメントは本発明が属する技術分野のプログラマーによって容易に推論され得る。
【０３１０】
また、本発明の好ましい実施例について図示して説明したが、本発明は前述した特定の実施例に限定されず、特許請求の範囲で請求する本発明の要旨を逸脱することなく当該発明が属する技術分野で通常の知識を有した者によって多様な変形実施が可能であることはもちろん、このような変形実施は本発明の技術的思想や展望から個別的に理解されてはならない。
【図１】
2020092463.tif 000004
【図２】
2020092463.tif 000005
【図３】
2020092463.tif 000006
【図４】
2020092463.tif 000007
【図５】
2020092463.tif 000008
【図６】
2020092463.tif 000009
【図７】
2020092463.tif 000010
【図８】
2020092463.tif 000011
【図９】
2020092463.tif 000012
【図１０】
2020092463.tif 000013
【図１１】
2020092463.tif 000014
【図１２】
2020092463.tif 000015
【図１３】
2020092463.tif 000016
【図１４】
2020092463.tif 000017
【図１５】
2020092463.tif 000018
【図１６】
2020092463.tif 000019
【図１７】
2020092463.tif 000020
【図１８】
2020092463.tif 000021
【図１９】
2020092463.tif 000022
【図２０】
2020092463.tif 000023
【図２１】
2020092463.tif 000024
【図２２】
2020092463.tif 000025
【図２３】
2020092463.tif 000026
【図２４Ａ】
2020092463.tif 000027
【図２４Ｂ】
2020092463.tif 000028
【図２５】
2020092463.tif 000029
【図２６】
2020092463.tif 000030
【図２７Ａ】
2020092463.tif 000031
【図２７Ｂ】
2020092463.tif 000032
【図２８】
2020092463.tif 000033
【図２９】
2020092463.tif 000034