(57)【特許請求の範囲】
【請求項１】
多視点映像に対する復号化方法であって、
復号化対象である現在ブロックによって参照される第１参照ブロックの予測方法を判断する段階；
前記第１参照ブロックの前記予測方法によって前記現在ブロックのための予測残差を生成する段階；及び
前記予測残差と、映像復号化のためのデータに含まれた前記現在ブロックの残差差分値とを用いて、前記現在ブロックを復元する段階；
を含み、
前記現在ブロックのための前記予測残差を生成する前記段階は、前記現在ブロックの時間的予測のために参照される第２参照ブロックと前記第１参照ブロックの時間的予測又は視点間予測のために参照される第３参照ブロック間の差分値に基づいて前記予測残差を生成する段階を備え、
前記現在ブロックのための前記予測残差を生成する前記段階は、前記第１参照ブロックに前記視点間予測（Ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）が行われたことが確認されたとき、前記第２参照ブロックのために決定することに用いられる動きベクターとして（０、０）を適用することにより前記第２参照ブロックを決定する段階を備えることを特徴とする多視点映像復号化方法。
【請求項２】
前記予測方法を判断する前記段階は、
受信したビットストリームを復号化して映像復号化のための前記データを算出する段階；及び
前記映像復号化のためのデータを用いて前記第１参照ブロックの前記予測方法を確認する段階を含む、請求項１に記載の多視点映像復号化方法。
【請求項３】
前記映像復号化のためのデータを算出する前記段階は、
前記受信したビットストリームにエントロピー復号化、逆量子化及び逆変換のうちの少なくとも一つを行う段階を含むことを特徴とする、請求項２に記載の多視点映像復号化方法。
【請求項４】
前記予測方法を判断する前記段階は、
前記映像復号化のためのデータに含まれたＶｉｅｗ ＩＤ情報、Ｖｉｅｗ ｏｒｄｅｒ情報及び動き予測方法の区分のためのフラグ情報の少なくとも一つを用いて前記予測方法を区分する段階を含むことを特徴とする、請求項２に記載の多視点映像復号化方法。
【請求項５】
前記予測方法を確認する前記段階は、
前記映像復号化のためのデータに基づいて前記第１参照ブロックに時間的予測（Ｔｅｍｐｏｒａｌ ｐｒｅｄｉｃｔｉｏｎ）及び視点間予測（Ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）のいずれか一つが行われるかを確認する段階を含むことを特徴とする、請求項２に記載の多視点映像復号化方法。
【請求項６】
前記第１参照ブロックは、前記現在ブロックの視点間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）のために参照されるブロックであることを特徴とする、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は多視点ビデオの符号化／復号化に関するもので、より詳細には多視点映像のための動きベクター予測及び残差予測のための方法及びこれを行う装置に関するものである。
【背景技術】
【０００２】
従来のＨ．２６４／ＡＶＣに比べて約２倍以上の圧縮効率を有するものに知られている次世代ビデオ圧縮標準技術としてＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）に対する標準化が進行して最近に完了した。
【０００３】
ＨＥＶＣはクアッドツリー（ｑｕａｄｔｒｅｅ）構造を有するコーディングユニット（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）、予測ユニット（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）、変換ユニット（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）を定義しており、サンプル適応的オフセット（ＳＡＯ：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）、デブロッキングフィルター（Ｄｅｂｌｏｃｋｉｎｇ ｆｉｌｔｅｒ）のようなインループフィルターを適用している。また、既存のイントラ予測（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）及びインター予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）を改善して圧縮符号化効率を向上させている。
【０００４】
一方、ＨＥＶＣに対する拡張（ｅｘｔｅｎｓｉｏｎ）バージョンとしてＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）に対する標準化が進行されており、既存のＭＶＣ（Ｍｕｌｔｉ−Ｖｉｅｗ Ｃｏｄｉｎｇ）を改善してＨ．２６４／ＡＶＣ又はＨＥＶＣに基づく３ＤＶＣ（３Ｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）に対する標準化が進行されている。
【０００５】
国際標準化機構であるＩＳＯ／ＩＥＣのビデオ専門家グループであるＭＰＥＧでは最近３ＤＶＣに対する標準化を始めた。３ＤＶＣに対する標準化は既存の２Ｄ単視点ビデオのための符号化技術（Ｈ．２６４／ＡＶＣ）、２Ｄ多視点ビデオのための符号化技術（ＭＶＣ）及び最近ＪＣＴ−ＶＣで標準化が完了したＨＥＶＣ符号化技術を基にして進行されている。
【０００６】
詳述すると、ＭＰＥＧとＩＴＵ−Ｔは共同で３ＤＶＣに対する標準化を行うことで決定し、ＪＣＴ−３Ｖという新しい共同標準化グループを結成した。ＪＣＴ−３Ｖでは、既存のＭＶＣに深度映像符／復号化のための高級構文定義、Ｈ．２６４／ＡＶＣに基づく新しいカラー映像及び深度映像に対する符／復号化方法である３Ｄ−ＡＶＣ、ＨＥＶＣに基づく多視点カラー映像符／復号化方法、そしてＨＥＶＣに基づく多視点カラー映像及び深度映像に対する符／復号化方法である３Ｄ−ＨＥＶＣを一緒に標準化している。
【０００７】
３ＤＶＣに対する標準化においては多様な技術が論議されているが、これらの技術の共通点は視点（ｖｉｅｗ ｐｏｉｎｔ）間の予測による符／復号化方法を含むことである。すなわち、多視点映像は符号化して伝送しなければならないデータの量が視点の個数に比例して増加するため、視点間依存関係に基づいて多視点映像を効率よく符／復号化する技術が必要というのが実情である。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前記のような問題点を解決するための本発明の目的は、動きベクター予測によって多視点映像のための動きベクターを符号化及び復号化する方法及びこれを行う装置を提供することにある。
【０００９】
前記のような問題点を解決するための本発明の他の目的は、残差予測によって多視点映像のための残差を符号化及び復号化する方法及びこれを行う装置を提供することにある。
【課題を解決するための手段】
【００１０】
前記目的を達成するための本発明の実施例による多視点映像のための復号化方法は、復号化対象である現在ブロック及び前記現在ブロックに対応する対応ブロックに行われた動き予測方法を判断する段階；及び前記判断された動き予測方法によって前記対応ブロックの動きベクターを用いて前記現在ブロックの動きベクター予測値を生成する段階を含む。
【００１１】
ここで、前記動き予測方法を判断する段階は、受信したビットストリームを復号化して映像復号化のためのデータを算出する段階；及び前記映像復号化のためのデータを用いて前記現在ブロック及び前記対応ブロックに行われた動き予測方法を確認する段階を含むことができる。
【００１２】
ここで、前記映像復号化のためのデータを算出する段階は、前記受信したビットストリームにエントロピー復号化、逆量子化及び逆変換を行うことができる。
【００１３】
ここで、前記動き予測方法を確認する段階は、前記映像復号化のためのデータに含まれたＶｉｅｗ ＩＤ情報、Ｖｉｅｗ ｏｒｄｅｒ情報及び動き予測方法の区分のためのフラグ情報の少なくとも一つを用いて動き予測方法を区分することができる。
【００１４】
ここで、前記動き予測方法を確認する段階は、前記映像復号化のためのデータを用いて前記現在ブロック及び前記対応ブロックのそれぞれに対してロングターム予測（Ｌｏｎｇ−ｔｅｒｍ ｐｒｅｄｉｃｔｉｏｎ）、ショートターム予測（Ｓｈｏｒｔ−ｔｅｒｍ ｐｒｅｄｉｃｔｉｏｎ）及び視点間予測（Ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）のいずれか一つが行われるかを判断することができる。
【００１５】
ここで、前記現在ブロックの動きベクター予測値を生成する段階は、前記現在ブロック及び前記対応ブロックにロングターム予測が行われた場合、前記対応ブロックの動きベクターを前記現在ブロックの動きベクター予測値に生成することができる。
【００１６】
ここで、前記現在ブロックの動きベクター予測値を生成する段階は、前記現在ブロック及び前記対応ブロックにショートターム予測が行われた場合、前記現在ブロックの画面間参照距離と前記対応ブロックの画面間参照距離の割合を用いて前記対応ブロックの動きベクターをスケーリング（ｓｃａｌｉｎｇ）することにより、前記現在ブロックの動きベクター予測値を生成することができる。
【００１７】
ここで、前記現在ブロックの動きベクター予測値を生成する段階は、前記現在ブロック及び前記対応ブロックに視点間予測が行われた場合、前記現在ブロックの視点間参照距離（ｉｎｔｅｒ−ｖｉｅｗ ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅ）と前記対応ブロックの視点間参照距離の割合を用いて前記対応ブロックの動きベクターをスケーリング（ｓｃａｌｉｎｇ）することにより、前記現在ブロックの動きベクター予測値を生成することができる。
【００１８】
ここで、前記現在ブロックの動きベクター予測値を生成する段階は、前記現在ブロック及び前記対応ブロックに行われた動き予測方法が互いに異なる場合、前記対応ブロックの動きベクターを用いないことができる。
【００１９】
ここで、前記現在ブロックの動きベクター予測値を生成する段階は、前記現在ブロック及び前記対応ブロックに行われた動き予測方法が互いに異なって前記対応ブロックの動きベクターを用いない場合、前記現在ブロックの動きベクター予測値を前もって設定されたベクターに生成することができる。
【００２０】
ここで、前記前もって設定されたベクターは（０、０）であってもよい。
【００２１】
ここで、前記現在ブロックの動きベクター予測値を生成する段階は、前記現在ブロック及び前記対応ブロックのいずれか一方に視点間予測が行われ、他方にロングターム予測又はショートターム予測が行われた場合、前記対応ブロックの動きベクターを用いないことができる。
【００２２】
ここで、前記現在ブロックの動きベクター予測値を生成する段階は、前記現在ブロック及び前記対応ブロックのいずれか一方にロングターム予測が行われ、他方にショートターム予測が行われる場合であるか、あるいは前記現在ブロック及び前記対応ブロックのいずれか一方にショートターム予測が行われ、他方にロングターム予測が行われた場合、前記対応ブロックの動きベクターを用いないことができる。
【００２３】
ここで、前記映像復号化のためのデータに含まれた前記現在ブロックの動きベクター差分値に前記現在ブロックの動きベクター予測値を加算して前記現在ブロックの動きベクターを復元する段階をさらに含むことができる。
【００２４】
前記他の目的を達成するための本発明の実施例による多視点映像のための復号化方法は、復号化対象である現在ブロックが視点間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）のために参照する第１参照ブロックに行われた動き予測方法を判断する段階；及び前記第１参照ブロックの動き予測方法によって前記現在ブロックのための予測残差を生成する段階を含む。
【００２５】
ここで、前記第１参照ブロックに行われた動き予測方法を判断する段階は、受信したビットストリームを復号化して映像復号化のためのデータを算出する段階；及び前記映像復号化のためのデータを用いて前記第１参照ブロックに行われた動き予測方法を確認する段階を含むができる。
【００２６】
ここで、前記映像復号化のためのデータを算出する段階は、前記受信したビットストリームにエントロピー復号化、逆量子化及び逆変換を行うことができる。
【００２７】
ここで、前記第１参照ブロックに行われた動き予測方法を確認する段階は、前記映像復号化のためのデータに含まれたＶｉｅｗ ＩＤ情報、Ｖｉｅｗ ｏｒｄｅｒ情報及び動き予測方法の区分のためのフラグ情報の少なくとも一つを用いて予測方法を区分することができる。
【００２８】
ここで、前記第１参照ブロックに行われた動き予測方法を確認する段階は、前記映像復号化のためのデータを用いて前記第１参照ブロックに時間動き予測（Ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）及び視点間予測（Ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）のいずれか一つが行われるかを確認することができる。
【００２９】
ここで、前記現在ブロックのための予測残差を生成する段階は、前記現在ブロックが時間動き予測のために参照する第２参照ブロックと前記第１参照ブロックが参照する第３参照ブロック間の差分値を前記予測残差に生成することができる。
【００３０】
ここで、前記第２参照ブロックは、前記現在ブロックが属する現在ピクチュアの参照リストにおいて時間方向に最も近いピクチュアに属することができる。
【００３１】
ここで、前記現在ブロックのための予測残差を生成する段階は、前記第１参照ブロックに時間動き予測が行われたことが確認された場合、前記第３参照ブロックの探索のための動きベクターにスケールファクターを適用してスケールされた動きベクターを生成し、前記スケールされた動きベクターを用いて前記第２参照ブロックを決定することができる。
【００３２】
ここで、前記スケールファクターは、前記第１参照ブロックが属する参照ピクチュアの番号と前記第１参照ブロックが時間動き予測のために参照する前記第３参照ブロックが属するピクチュアの番号の間の差分値と前記現在ブロックが属するピクチュアの番号と前記第２参照ブロックが属するピクチュアの番号の間の差分値に基づいて生成されることができる。
【００３３】
ここで、前記現在ブロックのための予測残差を生成する段階は、前記第１参照ブロックに視点間予測が行われたことが確認された場合、前記第２参照ブロックの探索のための動きベクターとして（０、０）を適用して前記第２参照ブロックを決定することができる。
【００３４】
ここで、前記映像復号化のためのデータに含まれた前記現在ブロックの残差差分値に前記予測残差を加算して前記現在ブロックの残差を復元する段階をさらに含むことができる。
【００３５】
前記目的を達成するための本発明の他の側面による多視点映像を復号化する装置は、復号化対象である現在ブロックが視点間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）のために参照する第１参照ブロックに行われた動き予測方法を判断し、第１参照ブロックの動き予測方法によって現在ブロックのための予測残差を生成するプロセッサを含む。
【発明の効果】
【００３６】
前記のような本発明の一実施例による多視点映像のための動きベクター予測方法は、多視点映像を符号化／復号化する過程で動きベクターを効果的に符号化／復号化することができるようにする。すなわち、現在ブロック及び対応ブロックの動きベクター予測方法によって適応的に時間的動きベクターに対する予測を行うことができる。
【００３７】
前記のような本発明の他の実施例による多視点映像のための残差予測方法は、多視点映像を符号化／復号化する過程で残差を効果的に符号化／復号化することができるようにする。すなわち、予測残差を生成する過程で動きベクターをスケーリングするためのスケールファクターの算出に間違いが発生することを防止することができ、これにより多視点映像のための残差予測において間違い又はエラーを防止することができる。
【図面の簡単な説明】
【００３８】
【図１】本発明の一実施例による動きベクター予測方法を説明するための概念図である。
【００３９】
【図２】本発明の他の実施例による動きベクター予測方法を説明するための概念図である。
【００４０】
【図３】本発明のさらに他の実施例による動きベクター予測方法を説明するための概念図である。
【００４１】
【図４】本発明のさらに他の実施例による動きベクター予測方法を説明するための概念図である。
【００４２】
【図５】本発明のさらに他の実施例による動きベクター予測方法を説明するための概念図である。
【００４３】
【図６】本発明の実施例による動きベクター予測方法を説明するためのフローチャートである。
【００４４】
【図７】本発明の一実施例による残差予測方法を説明するための概念図である。
【００４５】
【図８】本発明の他の実施例による残差予測方法を説明するための概念図である。
【００４６】
【図９】本発明のさらに他の実施例による残差予測方法を説明するための概念図である。
【００４７】
【図１０】本発明の実施例による多視点映像を符号化／復号化する装置を説明するためのブロック図である。
【００４８】
【図１１】本発明の実施例によって多視点映像を符号化する装置を説明するためのブロック図である。
【００４９】
【図１２】本発明の実施例によって多視点映像を復号化する装置を説明するためのブロック図である。
【発明を実施するための形態】
【００５０】
本発明は多様な変更を加えることができ、さまざまな実施例を有することができる。そのうち、特定の実施例を図面に例示して詳細な説明に詳細に説明する。しかし、これは本発明を特定の実施形態に限定しようとするものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物乃至代替物を含むものに理解しなければならない。それぞれの図面の説明において、類似した参照符号は類似した構成要素に対して用いている。
【００５１】
第１、第２、Ａ、Ｂなどの用語は多様な構成要素を説明するのに使われることができるが、前記構成要素は前記用語に限定されてはいけない。前記用語は一構成要素を他の構成要素から区別する目的のみで使われる。例えば、本発明の権利範囲を逸脱しない範疇内で第１構成要素は第２構成要素と名付けることができ、これと同様に第２構成要素も第１構成要素と名付けることができる。及び／又はという用語は複数の関連した記載項目の組合せ又は複数の関連した記載項目中のいずれか項目を含む。
【００５２】
ある構成要素が他の構成要素に“連結されて”いるか“接続されて”いると言及されたときには、その他の構成要素に直接的に連結されているかあるいは接続されていることができるが、中間に他の構成要素が存在することもできると理解すべきであろう。一方、ある構成要素が他の構成要素に“直接連結されて”いるか“直接接続されて”いると言及されたときには、中間に他の構成要素が存在しないと理解すべきであろう。
【００５３】
本出願で使用した用語はただ特定の実施例を説明するために使用されたもので、本発明を限定しようとする意図ではない。単数の表現は文脈上明らかに他に指示がない限り、複数の表現を含む。本出願で、“含む”又は“有する”などの用語は明細書上に記載された特徴、数字、段階、動作、構成要素、部品又はこれらを組み合わせたものが存在することを指定しようとするものであって、一つ又はそれ以上の他の特徴、数字、段階、動作、構成要素、部品又はこれらを組み合わせたものなどの存在又は付加の可能性を予め排除しないものと理解すべきである。
【００５４】
他に定義しない限り、技術的や科学的な用語を含んで、ここで使われるすべての用語は本発明が属する技術分野で通常の知識を持った者によって一般的に理解されるものと同一の意味を持っている。一般的に使われる辞書に定義されているもののような用語は関連技術の文脈で有する意味と一致する意味を有するものに解釈しなければならなく、本出願で明らかに定義しない限り、理想的であるか過度に形式的な意味と解釈されない。
【００５５】
以下に後述する映像符号化装置（Ｖｉｄｅｏ Ｅｎｃｏｄｉｎｇ Ａｐｐａｒａｔｕｓ）、映像復号化装置（Ｖｉｄｅｏ Ｄｅｃｏｄｉｎｇ Ａｐｐａｒａｔｕｓ）は個人用コンピュータ（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ノート型パソコン、個人携帯端末機（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯型マルチメディアプレーヤー（ＰＭＰ：Ｐｏｒｔａｂｌｅ Ｍｕｌｔｉｍｅｄｉａ Ｐｌａｙｅｒ）、プレイステーションポータブル（ＰＳＰ：ＰｌａｙＳｔａｔｉｏｎ Ｐｏｒｔａｂｌｅ）、無線通信端末機（Ｗｉｒｅｌｅｓｓ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｔｅｒｍｉｎａｌ）、スマートフォン（Ｓｍａｒｔ Ｐｈｏｎｅ）、ＴＶ応用サーバー及びサービスサーバーなどのサーバー端末機であることができ、各種の機器などの使用者端末機であるか有無線通信ネットワークと通信を行うための通信モデムなどの通信装置、映像を符号化するか復号化するかあるいは符号化又は復号化のために画面間又は画面内の予測するための各種のプログラムとデータを記憶するためのメモリ、プログラムを実行して演算及び制御するためのマイクロプロセッサなどを備えている多様な装置を意味することができる。
【００５６】
また、映像符号化装置によってビットストリームに符号化された映像は実時間又は非実時間でインターネット、近距離無線通信ネットワーク、無線ＬＡＮネットワーク、Ｗｉｂｒｏネットワーク、移動通信ネットワークなどの有無線通信ネットワークなどを通じて、あるいはケーブル、ユニバーサルシリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などの多様な通信インターフェースを通じて映像復号化装置に伝送され、映像復号化装置で復号化されて映像に復元されて再生されることができる。
【００５７】
通常に、動画は一連のピクチュア（Ｐｉｃｔｕｒｅ）からなることができ、各ピクチュアはフレーム又はブロック（Ｂｌｏｃｋ）のような所定の領域に分割されることができる。映像の領域がブロックに分割される場合、分割されたブロックは符号化方法によって大きくイントラブロック（Ｉｎｔｒａ Ｂｌｏｃｋ）及びインターブロック（Ｉｎｔｅｒ Ｂｌｏｃｋ）に分類されることができる。イントラブロックは画面内予測符号化（Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｄｉｎｇ）方式で符号化されるブロックを意味する。画面内予測符号化とは現在符号化を行う現在ピクチュア内で以前に符号化及び復号化されて復元されたブロックの画素を用いて現在ブロックの画素を予測することによって予測ブロックを生成し、現在ブロックの画素との差分値を符号化する方式である。インターブロックは画面間予測符号化（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｄｉｎｇ）によって符号化されるブロックを意味する。画面間予測符号化とは、一つ以上の過去ピクチュア又は未来ピクチュアを参照して現在ピクチュア内の現在ブロックを予測することによって予測ブロックを生成し、現在ブロックとの差分値を符号化する方式である。ここで、現在ピクチュアを符号化するか復号化するのに参照されるフレームを参照フレーム（Ｒｅｆｅｒｅｎｃｅ Ｆｒａｍｅ）と言う。また、以下に記載した“ピクチュア（ｐｉｃｔｕｒｅ）”という用語は、映像（ｉｍａｇｅ）、フレーム（ｆｒａｍｅ）などの同等な意味を有する他の用語に代替して使われることができることをこの実施例が属する技術分野で通常の知識を持った者であれば理解することができる。また、本発明において、参照となるピクチュアは復元されたピクチュアを意味するというのはこの実施例が属する技術分野で通常の知識を持った者であれば理解することができる。
【００５８】
さらに、ブロック（ｂｌｏｃｋ）という用語はＨＥＶＣ標準のコーディングユニット（ＣＵ）、予測ユニット（ＰＵ）及び変換ユニット（ＴＵ）を含む概念であることができる。特に、動き推定はＰＵ単位で行われることができる。
【００５９】
詳述すると、一つのＰＵに対して以前に符号化されたフレームで類似のブロックを探す過程を動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ、ＭＥ）という。ここで、動き推定とは、実際ブロックの動きを意味するものではなく、現在ブロックとの誤差が一番小さいブロックを探す過程を意味することができる。
【００６０】
また、本発明は多視点映像を対象とするビデオコーデックに関する技術であり、動き推定は他の視点（ｖｉｅｗ）に属する映像を参照する過程に適用されることができる。ここで、他の視点（ｖｉｅｗ）に属する映像を参照する過程を視点間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）と名付けることができる。
【００６１】
以下、本発明による好適な実施例を添付図面に基づいて詳細に説明する。
【００６２】
動きベクター予測を行って動きベクターを符号化及び復号化する第１実施例を説明し、残差予測を行って残差を符号化及び復号化する第２実施例を説明する。
【００６３】
第１実施例−動きベクター予測によって動きベクター符号化及び復号化する方法
【００６４】
動きベクター予測（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ）は、時間的な動きベクターの相関度を用いて時間的動きベクター予測値（ＴＭＶＰ：Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）を算出するか、あるいは空間的な動きベクターの相関度を用いて空間的動きベクター予測値（ＳＭＶＰ：Ｓｐａｔｉａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）を算出する過程を意味することができ、現在ブロック（Ｃｕｒｒｅｎｔ Ｂｌｏｃｋ）の動きベクターから動きベクター予測値を差分して算出した値を動きベクター差分値（ＭＶＤ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）と名付けることができる。
【００６５】
図１は本発明の一実施例による動きベクター予測方法を説明するための概念図である。
【００６６】
図１を参照すると、多視点（Ｍｕｌｔｉ−Ｖｉｅｗ）映像は多数の視点（ｖｉｅｗ）で撮影された映像を用いて立体的な画面を具現することができる。視点（ｖｉｅｗ）はＶｉｅｗ ＩＤに区分又は識別されることができる。
【００６７】
詳述すると、多視点映像は基本視点（Ｂａｓｉｃ Ｖｉｅｗ）の映像と少なくとも一つの向上視点（ｅｎｈａｎｃｅｍｅｎｔ Ｖｉｅｗ）又は拡張視点（ｅｘｔｅｎｓｉｏｎ ｖｉｅｗ）の映像を含むことができる。
【００６８】
図１で、Ｖｉｅｗ ＩＤ０は参照となる視点の映像を示すことができ、Ｖｉｅｗ ＩＤ１は現在符号化又は復号化対象となる視点（ｖｉｅｗ）の映像（現在ピクチュア）を含むことができ、Ｖｉｅｗ ＩＤ２は現在ピクチュアが符号化又は復号化される以前に符号化又は復号化が完了した視点（ｖｉｅｗ）の映像（対応ピクチュア）を含むことができる。ここで、対応ブロック（ＰＵｃｏｌ）は現在ブロック（ＰＵｃｕｒｒ）が含まれた現在ピクチュア（Ｐｉｃｃｕｒｒ）と違うピクチュア上で現在ブロック（ＰＵｃｕｒｒ）の位置に相応して位置するブロックを意味することができる。例えば、対応ブロック（ＰＵｃｏｌ）は現在ピクチュア（Ｐｉｃｃｕｒｒ）と違うピクチュア上で現在ブロック（ＰＵｃｕｒｒ）と同一位置に存在する（ｃｏｌｌｏｃａｔｅｄ）ブロックを意味することができる。また、対応ピクチュア（Ｐｉｃｃｏｌ）は対応ブロック（ＰＵｃｏｌ）を含んでいるピクチュアを意味することができる。
【００６９】
現在ピクチュア（Ｐｉｃｃｕｒｒ）は、異なった視点（ｖｉｅｗ）の映像又は同一視点（ｖｉｅｗ）内の他のピクチュアを参照するために動き推定を行うことができる。
【００７０】
本発明において、ロングターム予測（Ｌｏｎｇ−ｔｅｒｍ ｐｒｅｄｉｃｔｉｏｎ）は前もって設定された時間差以上離れた同一視点（ｖｉｅｗ）に属するピクチュアを参照することを意味することができる。よって、前もって設定された時間差未満で離れた同一視点（ｖｉｅｗ）に属するピクチュアを参照する場合をショートターム予測（Ｓｈｏｒｔ−ｔｅｒｍ ｐｒｅｄｉｃｔｉｏｎ）と言える。
【００７１】
現在ブロック（ＰＵｃｕｒｒ）が含まれた現在ピクチュア（Ｐｉｃｃｕｒｒ）と違うピクチュアである対応ピクチュア（Ｐｉｃｃｏｌ）で現在ブロック（ＰＵｃｕｒｒ）に相応して位置する対応ブロック（ＰＵｃｏｌ）の動きベクターをスケーリング（ｓｃａｌｉｎｇ）した結果を現在ブロック（ＰＵｃｕｒｒ）の動きベクター予測値（ＭＶＰ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）として活用することができる。
【００７２】
図１は現在ブロック（ＰＵｃｕｒｒ）が他の視点（ｖｉｅｗ）に属するピクチュアを参照し、対応ブロック（ＰＵｃｏｌ）も他の視点（ｖｉｅｗ）に属するピクチュアを参照する場合を示す。すなわち、現在ブロック（ＰＵｃｕｒｒ）と対応ブロック（ＰＵｃｏｌ）は共に視点間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）を行うことができる。
【００７３】
この場合、現在ブロック（ＰＵｃｕｒｒ）の視点間参照距離（ｉｎｔｅｒ−ｖｉｅｗ ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅ）と対応ブロック（ＰＵｃｏｌ）の視点間参照距離が互いに異なることができる。ここで、視点間参照距離はＶｉｅｗ ＩＤの差分値を意味することができる。
【００７４】
図１を見ると、現在ブロック（ＰＵｃｕｒｒ）はＶｉｅｗ ＩＤ１に属するとともにＶｉｅｗ ＩＤ０に属する参照映像（Ｐｉｃｒｅｆ）を参照する。すなわち、現在ブロック（ＰＵｃｕｒｒ）の視点間参照距離はＶｉｅｗ ＩＤの差分値１である。
【００７５】
また、対応ブロック（ＰＵｃｏｌ）はＶｉｅｗ ＩＤ２に属するとともにＶｉｅｗ ＩＤ０に属する参照映像（Ｐｉｃｒｅｆ）を参照する。すなわち、対応ブロック（ＰＵｃｏｌ）の視点間参照距離はＶｉｅｗ ＩＤの差分値２である。
【００７６】
したがって、現在ブロック（ＰＵｃｕｒｒ）の視点間参照距離と対応ブロック（ＰＵｃｏｌ）の視点間参照距離が互いに異なるから、対応ブロック（ＰＵｃｏｌ）の動きベクターをスケーリングすることが必要である。
【００７７】
対応ブロック（ＰＵｃｏｌ）の動きベクターをスケーリングする過程をより詳細に説明すると次のようである。
【００７８】
図１のような場合、現在ブロック（ＰＵｃｕｒｒ）の動きベクター（ＭＶｃｕｒｒ）を符号化又は復号化するための現在ブロック（ＰＵｃｕｒｒ）の動きベクター予測値（ＭＶＰ）は対応ブロック（ＰＵｃｏｌ）の動きベクター（ＭＶｃｏｌ）をスケーリングして得ることができる。
【００７９】
対応ブロック（ＰＵｃｏｌ）の動きベクター（ＭＶｃｏｌ）をスケーリングする過程をより詳細に説明すると次のようである。
【００８０】
【数１】
0006615777.tif 000002
【００８１】
数学式１で、現在ブロック（ＰＵｃｕｒｒ）の視点間参照距離（Ｄｉｆｆｃｕｒｒ）は現在ブロック（ＰＵｃｕｒｒ）が属するＶｉｅｗ ＩＤ（ＶｉｅｗＩＤｃｕｒｒ）と現在ブロック（ＰＵｃｕｒｒ）の参照ブロックが属するＶｉｅｗ ＩＤ（ＶｉｅｗＩＤｒｅｆ）の間の差分値となる。
【００８２】
また、対応ブロック（ＰＵｃｏｌ）の視点間参照距離（Ｄｉｆｆｃｏｌ）は対応ブロック（ＰＵｃｏｌ）が属するＶｉｅｗ ＩＤ（ＶｉｅｗＩＤｃｏｌ）と対応ブロック（ＰＵｃｏｌ）の参照ブロックが属するＶｉｅｗ ＩＤ（ＶｉｅｗＩＤｃｏｌｒｅｆ）との間の差分値となる。
【００８３】
したがって、対応ブロック（ＰＵｃｏｌ）の動きベクター（ＭＶｃｏｌ）に適用するスケールファクター（ＳｃａｌｅＦａｃｔｏｒ）は次の数学式２によって算出することができる。
【００８４】
【数２】
0006615777.tif 000003
【００８５】
したがって、現在ブロックの動きベクター予測値（ＭＶＰｃｕｒｒ）は対応ブロック（ＰＵｃｏｌ）の動きベクター（ＭＶｃｏｌ）にスケールファクターを掛けることによって生成されることができる。
【００８６】
【数３】
0006615777.tif 000004
【００８７】
すなわち、現在ブロックの動きベクター予測値（ＭＶＰｃｕｒｒ）は前記数学式３のように表現できる。
【００８８】
図２は本発明の他の実施例による動きベクター予測方法を説明するための概念図である。
【００８９】
図２は現在ブロック（ＰＵｃｕｒｒ）及び対応ブロック（ＰＵｃｏｌ）にショートターム予測（Ｓｈｏｒｔ−ｔｅｒｍ ｐｒｅｄｉｃｔｉｏｎ）が行われる場合を示す。ここで、ショートターム予測は前もって設定された時間差未満で離れた同一視点（ｖｉｅｗ）に属するピクチュアを参照する場合を意味することができる。
【００９０】
図２のような場合には、現在ブロック（ＰＵｃｕｒｒ）の画面間参照距離と対応ブロック（ＰＵｃｏｌ）の画面間参照距離の割合を用いて対応ブロック（ＰＵｃｏｌ）の動きベクター（ＭＶｃｏｌ）をスケーリング（ｓｃａｌｉｎｇ）することにより、現在ブロック（ＰＵｃｕｒｒ）の動きベクター予測値（ＭＶＰｃｕｒｒ）を生成することができる。ここで、画面間参照距離は時間的順序によるピクチュア順序（ＰＯＣ：Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）の差を意味することができる。
【００９１】
対応ブロック（ＰＵｃｏｌ）の動きベクター（ＭＶｃｏｌ）をスケーリングする過程をより詳細に説明すると次のようである。
【００９２】
【数４】
0006615777.tif 000005
【００９３】
数学式４で、現在ブロック（ＰＵｃｕｒｒ）の画面間参照距離（Ｄｉｆｆｃｕｒｒ）は現在ブロック（ＰＵｃｕｒｒ）が属する現在ピクチュアのピクチュア順序（ＰＯＣｃｕｒｒ）と現在ブロック（ＰＵｃｕｒｒ）が参照する参照ブロックが属する参照ピクチュアのピクチュア順序（ＰＯＣｒｅｆ）の間の差分値となる。
【００９４】
また、対応ブロック（ＰＵｃｏｌ）の画面間参照距離（Ｄｉｆｆｃｏｌ）は対応ブロック（ＰＵｃｏｌ）が属する対応ピクチュア（Ｐｉｃｃｏｌ）のピクチュア順序（ＰＯＣｃｏｌ）と対応ブロック（ＰＵｃｏｌ）が参照する参照ブロックが属する参照ピクチュアのピクチュア順序（ＰＯＣｃｏｌｒｅｆ）の間の差分値となる。
【００９５】
対応ブロック（ＰＵｃｏｌ）の動きベクター（ＭＶｃｏｌ）に適用するスケールファクター（ＳｃａｌｅＦａｃｔｏｒ）は次の数学式５によって算出することができる。
【００９６】
【数５】
0006615777.tif 000006
【００９７】
したがって、現在ブロック（ＰＵｃｕｒｒ）の動きベクター予測値（ＭＶＰｃｕｒｒ）は対応ブロック（ＰＵｃｏｌ）の動きベクター（ＭＶｃｏｌ）にスケールファクターを掛けることによって生成されることができる。
【００９８】
【数６】
0006615777.tif 000007
【００９９】
すなわち、現在ブロック（ＰＵｃｕｒｒ）の動きベクター予測値（ＭＶＰｃｕｒｒ）は前記数学式６のように表現できる。
【０１００】
図３は本発明のさらに他の実施例による動きベクター予測方法を説明するための概念図である。
【０１０１】
図３は現在ブロック（ＰＵｃｕｒｒ）及び対応ブロック（ＰＵｃｏｌ）にロングターム予測（Ｌｏｎｇ−ｔｅｒｍ ｐｒｅｄｉｃｔｉｏｎ）が行われる場合を示す。ここで、ロングターム予測（Ｌｏｎｇ−ｔｅｒｍ ｐｒｅｄｉｃｔｉｏｎ）は前もって設定された時間差以上離れた同一視点（ｖｉｅｗ）に属するピクチュアを参照することを意味することができる。
【０１０２】
現在ブロック（ＰＵｃｕｒｒ）及び対応ブロック（ＰＵｃｏｌ）にロングターム予測が行われる場合、対応ブロック（ＰＵｃｏｌ）の動きベクター（ＭＶｃｏｌ）を現在ブロック（ＰＵｃｕｒｒ）の動きベクター予測値（ＭＶＰｃｕｒｒ）から生成することができる。
【０１０３】
【数７】
0006615777.tif 000008
【０１０４】
すなわち、現在ブロック（ＰＵｃｕｒｒ）の予測動きベクター（ＭＶＰｃｕｒｒ）は前記数学式７のように対応ブロック（ＰＵｃｏｌ）の動きベクター（ＭＶｃｏｌ）と同一であることができる。
【０１０５】
結論的に、図１〜３によって現在ブロック（ＰＵｃｕｒｒ）の動きベクター予測値（ＭＶＰｃｕｒｒ）が決定されれば、現在ブロック（ＰＵｃｕｒｒ）のための動きベクター差分値（ＭＶＤｃｕｒｒ：Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ）が決定できる。
【０１０６】
【数８】
0006615777.tif 000009
【０１０７】
すなわち、現在ブロック（ＰＵｃｕｒｒ）のための動きベクター差分値（ＭＶＤｃｕｒｒ）は数学式８のように決定できる。よって、現在ブロックの動きベクター差分値に現在ブロックの動きベクター予測値を加算して現在ブロックの動きベクターを復元することができる。
【０１０８】
図４及び図５は本発明のさらに他の実施例による動きベクター予測方法を説明するための概念図である。
【０１０９】
図４は現在ブロック（ＰＵｃｕｒｒ）にショートターム予測が行われ、対応ブロック（ＰＵｃｏｌ）にロングターム予測が行われた場合を示す。
【０１１０】
また、図５は現在ブロック（ＰＵｃｕｒｒ）に視点間予測が行われ、対応ブロック（ＰＵｃｏｌ）にロングターム予測が行われた場合を示す。
【０１１１】
図４及び図５のように現在ブロック（ＰＵｃｕｒｒ）の動き予測方法と対応ブロック（ＰＵｃｏｌ）の動き予測方法に違う場合には、現在ブロック（ＰＵｃｕｒｒ）の動きベクター予測値（ＭＶＰｃｕｒｒ）を生成するのに対応ブロック（ＰＵｃｏｌ）の動きベクター（ＭＶｃｏｌ）を活用しないことができる。
【０１１２】
図６は本発明の実施例による動きベクター予測方法を説明するためのフローチャートである。
【０１１３】
図６を参照すると、本発明の実施例による動きベクター予測方法は、現在ブロック及び現在ブロックに対応する対応ブロックに行われる動き予測方法を判断する段階と、判断された動き予測方法によって対応ブロックの動きベクターに基づいて現在ブロックの動きベクター予測値を生成する段階とを含む。
【０１１４】
現在ブロック及び対応ブロックのそれぞれに対し、ロングターム予測（Ｌｏｎｇ−ｔｅｒｍ ｐｒｅｄｉｃｔｉｏｎ）、ショートターム予測（Ｓｈｏｒｔ−ｔｅｒｍ ｐｒｅｄｉｃｔｉｏｎ）及び視点間予測（Ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）のいずれか一つが行われるかを判断することができる。
【０１１５】
すなわち、受信したビットストリームを復号化して映像復号化のためのデータを算出し、映像復号化のためのデータを用いて、現在ブロック及び対応ブロックに行われた動き予測方法を確認することができる。例えば、映像復号化のためのデータに含まれたＶｉｅｗ ＩＤ情報、Ｖｉｅｗｏｒｄｅｒ情報及び動き予測方法の区分のためのフラグ情報の少なくとも一つを用いて動き予測方法を区分することができる。ここで、映像復号化のためのデータは、受信したビットストリームにエントロピー復号化、逆量子化及び逆変換を行って算出することができる。
【０１１６】
現在ブロック及び対応ブロックにロングターム予測が行われる場合、対応ブロックの動きベクターを現在ブロックの予測動きベクターに生成することができる。
【０１１７】
また、現在ブロック及び対応ブロックにショートターム予測が行われる場合、現在ブロックの画面間参照距離と対応ブロックの画面間参照距離の割合を用いて対応ブロックの動きベクターをスケーリング（ｓｃａｌｉｎｇ）することにより、現在ブロックの動きベクター予測値を生成することができる。
【０１１８】
また、現在ブロック及び対応ブロックに視点間予測が行われる場合、現在ブロックの視点間参照距離（ｉｎｔｅｒ−ｖｉｅｗ ｒｅｆｅｒｅｎｃｅ ｄｉｓｔａｎｃｅ）と対応ブロックの視点間参照距離の割合を用いて対応ブロックの動きベクターをスケーリング（ｓｃａｌｉｎｇ）することにより、現在ブロックの動きベクター予測値を生成することができる。
【０１１９】
しかし、現在ブロック及び対応ブロックのいずれか一方に視点間予測が行われ、他方にロングターム予測又はショートターム予測が行われる場合であるか、あるいは現在ブロック及び対応ブロックのいずれか一方にロングターム予測が行われ、他方にショートターム予測が行われる場合には、現在ブロックの予測動きベクターを算出するのに対応ブロックの動きベクターを活用しないことができる。
【０１２０】
また、現在ブロック及び対応ブロックに行われた動き予測方法が互いに異なって対応ブロックの動きベクターを用いない場合、現在ブロックの動きベクター予測値を前もって設定されたベクターに生成することができる。例えば、前もって設定されたベクターは、（０、０）に設定できる。
【０１２１】
したがって、現在ブロック（Ｃｕｒｒｅｎ ｔｂｌｏｃｋ）の動き予測方法と対応ブロック（Ｃｏ−ｌｏｃａｔｅｄ ｂｌｏｃｋ）の動き予測方法の相関関係による現在ブロックの時間的動きベクター予測値（ＴＭＶＰ）は次の表１の通りである。
【０１２２】
【表１】
0006615777.tif 000010
【０１２３】
図６によるフローチャートを説明するに先立ち、それぞれのパラメーターを定義すると次の表２の通りである。
【０１２４】
【表２】
0006615777.tif 000011
【０１２５】
図６を参照して本発明の実施例による多視点のための動きベクター予測方法をより詳細に説明すると次のようである。
【０１２６】
Ｓ６１０段階でＬＴｃｕｒｒとＬＴｃｏｌが同一でない場合はＭＶｃｕｒｒが示す参照映像とＭＶｃｏｌが示す参照映像のマーキングが異なる場合であり、例えばＭＶｃｕｒｒはＳｈｏｒｔ−ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ映像を参照し、ＭＶｃｏｌはＬｏｎｇ−ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ映像を参照するものである。この場合には、ＴＭＶＰ（Ｔｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｏｒ）を使うことができない（Ｓ６９０）。
【０１２７】
Ｓ６１０段階でＩＶｃｕｒｒとＩＶｃｏｌが同一でない場合はＭＶｃｕｒｒとＭＶｃｏｌの特性が異なる場合であり、例えばＭＶｃｕｒｒはＩｎｔｅｒ−ｖｉｅｗ ｍｏｔｉｏｎ ｖｅｃｔｏｒであり、ＭＶｃｏｌはＴｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒである。この場合には、ＴＭＶＰを使うことができない（Ｓ６９０）。
【０１２８】
Ｓ６２０段階でＩＶｃｕｒｒが‘１’である場合、ＭＶｃｕｒｒとＭＶｃｏｌは共にＩｎｔｅｒ−ｖｉｅｗ ｍｏｔｉｏｎ ｖｅｃｔｏｒである場合であり、Ｖｉｅｗ ＩＤの差分値でスケーリングが可能である（Ｓ６４０）。
【０１２９】
Ｓ６２０段階でＩＶｃｕｒｒが‘０’である場合、ＭＶｃｕｒｒとＭＶｃｏｌが共にＴｅｍｐｏｒａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒである場合であり、ＰＯＣの差分値でスケーリングが可能である（Ｓ６３０）。
【０１３０】
ここで、ＢａｓｅＶｉｅｗＦｌａｇｃｕｒｒが‘０’である場合はＰｉｃｃｕｒｒがベース視点（Ｂａｓｅ ｖｉｅｗ）ではないことを意味することができる。
【０１３１】
Ｓ６５０段階でＤｉｆｆｃｕｒｒとＤｉｆｆｃｏｌ値が同一でなく、ＩＶｃｕｒｒが‘１’であるかあるいはＬＴｃｕｒｒが０である場合、ＴＭＶＰｃｕｒｒはＭＶｃｏｌをスケーリングして使用する（Ｓ６７０）。
【０１３２】
Ｓ６５０段階でＤｉｆｆｃｕｒｒとＤｉｆｆｃｏｌ値が同一であれば、ＴＭＶＰｃｕｒｒはＭＶｃｏｌに設定することができる（Ｓ６６０）。
【０１３３】
Ｓ６５０段階で現在ブロック（ＰＵｃｕｒｒ）と対応ブロック（ＰＵｃｏｌ）が共にｌｏｎｇ−ｔｅｒｍ ｒｅｆｅｒｅｎｃｅ映像を参照し、二つともｉｎｔｅｒ−ｖｉｅｗ予測を使わない場合、ＴＭＶＰｃｕｒｒはＭＶｃｏｌに設定することができる（Ｓ６６０）。
【０１３４】
第２実施例−残差予測によって残差を符号化及び復号化する方法
【０１３５】
残差予測（Ｒｅｓｉｄｕａｌ Ｐｒｅｄｉｃｔｉｏｎ）によって多視点映像を符号化及び復号化することができる。多視点映像のために改善された残差予測（ＡＲＰ：Ａｄｖａｎｃｅｄ Ｒｅｓｉｄｕａｌ Ｐｒｅｄｉｃｔｉｏｎ）は現在ブロックに対する動き予測によって残差を生成し、生成された残差に対する予測を行って予測残差を生成することを意味することができる。
【０１３６】
したがって、残差予測によって残差を符号化及び復号化する方法は、現在ブロックの残差から予測残差を差分して生成した残差差値を符号化及び復号化することを意味することができる。
【０１３７】
図７は本発明の一実施例による残差予測方法を説明するための概念図である。
【０１３８】
図７を参照すると、現在ブロック（Ｃｕｒｒ）が属する視点（ｖｉｅｗ）を現在視点（Ｃｕｒｒｅｎｔ Ｖｉｅｗ）といい、現在視点によって参照される視点（Ｖｉｅｗ）を参照視点（Ｒｅｆｅｒｅｎｃｅ Ｖｉｅｗ）という。
【０１３９】
現在ブロック（Ｃｕｒｒ）が同一視点（Ｖｉｅｗ）上で参照する参照ブロックをＣｕｒｒＲｅｆというとき、残差信号Ｒは次の数学式９によって算出することができる。ここで、現在ブロック（Ｃｕｒｒ）の動きベクターをＭＶＣｕｒｒといえる。
【０１４０】
すなわち、次の数学式９を参照すると、現在ブロック（Ｃｕｒｒ）の残差信号Ｒは現在ブロック（Ｃｕｒｒ）から参照ブロック（ＣｕｒｒＲｅｆ）を差分して算出することができる。
【０１４１】
【数９】
0006615777.tif 000012
【０１４２】
残差信号Ｒは視点間の類似性を用いて重複性をもっと除去することができる。現在ブロック（Ｃｕｒｒ）がディスパリティベクター（ＤＶｄｅｒｉｖｅｄ：Ｄｉｓｐａｒｉｔｙ Ｖｅｃｔｏｒ）を用いて参照視点上で現在ブロック（Ｃｕｒｒ）に対応する対応ブロック（Ｂａｓｅ）を探索することができる。
【０１４３】
現在ブロック（Ｃｕｒｒ）の動きベクターであるＭＶｃｕｒｒをスケーリングして生成したＭＶｓｃａｌｅｄを用いて現在ブロック（Ｃｕｒｒ）に対応する対応ブロック（Ｂａｓｅ）が時間方向に参照する参照ブロック（ＢａｓｅＲｅｆ）を探索することができる。
【０１４４】
この場合、対応ブロック（Ｂａｓｅ）が参照する参照ブロック（ＢａｓｅＲｅｆ）が属するピクチュアは現在ブロック（Ｃｕｒｒ）に対応する対応ブロック（Ｂａｓｅ）が属するピクチュアのための参照ピクチュアリスト（Ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）の中で対応ブロック（Ｂａｓｅ）が属するピクチュアと同一番号を有するピクチュアを除き、対応ブロック（Ｂａｓｅ）が属するピクチュアとＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）の差が最も小さなピクチュアを意味することができる。
【０１４５】
ＭＶｓｃａｌｅｄは次の数学式１０及び数学式１１によって算出することができる。
【０１４６】
【数１０】
0006615777.tif 000013
【０１４７】
数学式１０で、現在ブロック（Ｃｕｒｒ）の時間方向の参照距離はＤｉｆｆＰＯＣｃｕｒｒと表現することができれば、ＤｉｆｆＰＯＣｃｕｒｒは現在ブロック（Ｃｕｒｒ）が属するピクチュア番号（ＰＯＣｃｕｒｒ）と現在ブロック（Ｃｕｒｒ）が時間方向に参照する参照ブロック（ＣｕｒｒＲｅｆ）が属するピクチュア番号（ＰＯＣｃｕｒｒＲｅｆ）の間の差分値から算出することができる。
【０１４８】
また、対応ブロック（Ｂａｓｅ）の時間方向の参照距離はＤｉｆｆＰＯＣＢａｓｅと表現することができ、ＤｉｆｆＰＯＣＢａｓｅは対応ブロック（Ｂａｓｅ）が属するピクチュア番号（ＰＯＣＢａｓｅ）と対応ブロック（Ｂａｓｅ）が時間方向に参照する参照ブロック（ＢａｓｅＲｅｆ）が属するピクチュア番号（ＰＯＣＢａｓｅＲｅｆ）の間の差分値から算出することができる。
【０１４９】
現在ブロック（Ｃｕｒｒ）の動きベクター（ＭＶＣｕｒｒ）をスケーリングするスケールファクター（ＳｃａｌｅＦａｃｔｏｒ）は現在ブロック（Ｃｕｒｒ）の時間方向の参照距離と対応ブロック（Ｂａｓｅ）の時間方向の参照距離の割合で示すことができる。
【０１５０】
【数１１】
0006615777.tif 000014
【０１５１】
したがって、ＭＶＳｃａｌｅｄは数学式１１のように現在ブロック（Ｃｕｒｒ）の動きベクターであるＭＶＣｕｒｒをスケールファクターでスケーリングして生成することができ、対応ブロック（Ｂａｓｅ）はＭＶＳｃａｌｅｄを用いて対応ブロック（Ｂａｓｅ）が時間方向に参照する参照ブロック（ＢａｓｅＲｅｆ）を探索することができる。
【０１５２】
【数１２】
0006615777.tif 000015
【０１５３】
現在ブロック（Ｃｕｒｒ）の予測残差信号Ｒ’は数学式１２によって算出することができる。すなわち、予測残差信号Ｒ’は対応ブロック（Ｂａｓｅ）から対応ブロック（Ｂａｓｅ）が時間方向に参照する参照ブロック（ＢａｓｅＲｅｆ）を差分して算出することができる。
【０１５４】
また、加重値（ｗ）を対応ブロック（Ｂａｓｅ）又は参照ブロック（ＢａｓｅＲｅｆ）に適用して予測残差信号Ｒ’を算出するか、あるいは数学式１２による予測残差信号Ｒ’が前もって設定された臨界値（ω）より大きくなるように設定されることもできる。
【０１５５】
【数１３】
0006615777.tif 000016
【０１５６】
したがって、残差差分値は数学式９による現在ブロック（Ｃｕｒｒ）の残差信号Ｒから数学式１２による現在ブロック（Ｃｕｒｒ）の予測残差信号Ｒ’を差分して算出することができ、これを数学式１３のように最終残差（ＲＦｉｎａｌ）と名付けることができる。
【０１５７】
また、図７及び数学式９〜１３による残差予測をＴｅｍｐｏｒａｌ ＡＲＰ（Ａｄｖａｎｃｅｄ Ｒｅｓｉｄｕａｌ Ｐｒｅｄｉｃｔｉｏｎ）と名付けることができる。
【０１５８】
図８は本発明の他の実施例による残差予測方法を説明するための概念図である。
【０１５９】
図８を参照すると、現在ブロック（Ｃｕｒｒ）が他の視点（Ｖｉｅｗ）上で参照する参照ブロックをＩｖＲｅｆというとき、残差信号Ｒは次の数学式１４によって算出することができる。ここで、現在ブロック（Ｃｕｒｒ）の動きベクターをＭＶＣｕｒｒということができ、ＭＶＣｕｒｒによって視点間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）が行われることができる。
【０１６０】
すなわち、次の数学式１４を参照すると、現在ブロック（Ｃｕｒｒ）の残差信号Ｒは現在ブロック（Ｃｕｒｒ）から参照ブロック（ＩｖＲｅｆ）を差分して算出することができる。
【０１６１】
【数１４】
0006615777.tif 000017
【０１６２】
数学式１４を参照すると、残差信号Ｒは時間間の類似性を用いて重複性をもっと除去することができる。現在ブロック（Ｃｕｒｒ）が動きベクター（ＭＶＣｕｒｒ）を用いて参照視点上で現在ブロック（Ｃｕｒｒ）が視点間（ｉｎｔｅｒ−ｖｉｅｗ）参照する参照ブロック（ＩｖＲｅｆ）を探索することができる。
【０１６３】
現在ブロック（Ｃｕｒｒ）の参照ブロック（ＩｖＲｅｆ）はｄＴＭＶＢａｓｅを用いて時間方向に参照する参照ブロック（ＩｖＴＲｅｆ）を探索することができる。
【０１６４】
また、現在ブロック（Ｃｕｒｒ）の参照ブロック（ＩｖＲｅｆ）が使用するｄＴＭＶＢａｓｅをスケーリングして生成したｄＭＶＳｃａｌｅｄを用いて現在ブロック（Ｃｕｒｒ）が時間方向に参照する参照ブロック（ＴＲｅｆ）を探索することができる。
【０１６５】
この場合、現在ブロック（Ｃｕｒｒ）が時間方向に参照する参照ブロック（ＴＲｅｆ）が属するピクチュアは現在ブロック（Ｃｕｒｒ）が属するピクチュアのための参照ピクチュアリスト（Ｒｅｆｅｒｅｎｃｅ ｐｉｃｔｕｒｅ ｌｉｓｔ）の中で現在ブロック（Ｃｕｒｒ）が属するピクチュアと同一番号を有するピクチュアを除き、現在ブロック（Ｃｕｒｒ）が属するピクチュアとＰＯＣ（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ）の差が最も小さなピクチュアを意味することができる。
【０１６６】
ＭＶＳｃａｌｅｄは次の数学式１５及び数学式１６を用いて算出することができる。
【０１６７】
【数１５】
0006615777.tif 000018
【０１６８】
数学式１５で、現在ブロック（Ｃｕｒｒ）の時間方向の参照距離はＤｉｆｆＰＯＣＣｕｒｒと表現することができ、ＤｉｆｆＰＯＣＣｕｒｒは現在ブロック（Ｃｕｒｒ）が属するピクチュア番号（ＰＯＣＣｕｒｒ）と現在ブロック（Ｃｕｒｒ）が時間方向に参照する参照ブロック（ＴＲｅｆ）が属するピクチュア番号（ＰＯＣＴＲｅｆ）の間の差分値から算出することができる。
【０１６９】
また、参照ブロック（ＩｖＲｅｆ）の時間方向の参照距離はＤｉｆｆＰＯＣＢａｓｅで表現することができ、ＤｉｆｆＰＯＣＢａｓｅは参照ブロック（ＩｖＲｅｆ）が属するピクチュア番号（ＰＯＣＩｖＲｅｆ）と参照ブロック（ＩｖＲｅｆ）が時間方向に参照する参照ブロック（ＩｖＴＲｅｆ）が属するピクチュア番号（ＰＯＣＩｖＴＲｅｆ）の間の差分値として算出することができる。
【０１７０】
参照ブロック（ＩｖＲｅｆ）の動きベクター（ｄＴＭＶＢａｓｅ）をスケーリングするスケールファクター（ＳｃａｌｅＦａｃｔｏｒ）は現在ブロック（Ｃｕｒｒ）の時間方向の参照距離と対応ブロック（Ｂａｓｅ）の時間方向の参照距離の割合で示すことができる。
【０１７１】
【数１６】
0006615777.tif 000019
【０１７２】
したがって、ｄＴＭＶＳｃａｌｅｄは数学式１６のように参照ブロック（ＩｖＲｅｆ）の動きベクターであるｄＴＭＶＢａｓｅをスケールファクターでスケーリングして生成することができ、現在ブロック（Ｃｕｒｒ）はｄＴＭＶＳｃａｌｅｄを用いて現在ブロック（Ｃｕｒｒ）が時間方向に参照する参照ブロック（ＴＲｅｆ）を探索することができる。
【０１７３】
【数１７】
0006615777.tif 000020
【０１７４】
現在ブロック（Ｃｕｒｒ）の予測残差信号Ｒ’は数学式１７によって算出することができる。すなわち、予測残差信号Ｒ’は現在ブロック（Ｃｕｒｒ）が時間方向に参照する参照ブロック（ＴＲｅｆ）から現在ブロック（Ｃｕｒｒ）の参照ブロック（ＩｖＲｅｆ）が時間方向に参照する参照ブロック（ＩｖＴＲｅｆ）を差分して算出することができる。
【０１７５】
また、加重値（ｗ）を参照ブロック（ＴＲｅｆ又はＩｖＴＲｅｆ）に適用して予測残差信号Ｒ’を算出するか、あるいは数学式１７による予測残差信号Ｒ’が前もって設定された臨界値（ω）より大きくなるように設定されることもできる。
【０１７６】
【数１８】
0006615777.tif 000021
【０１７７】
したがって、残差差分値は数学式１４による現在ブロック（Ｃｕｒｒ）の残差信号Ｒから数学式１７による現在ブロック（Ｃｕｒｒ）の予測残差信号Ｒ’を差分して算出することができ、これを数学式１８のように最終残差（ＲＦｉｎａｌ）と名付けることができる。
【０１７８】
また、図８及び数学式１４〜１８による残差予測をＩｎｔｅｒ−ｖｉｅｗ ＡＲＰ（Ａｄｖａｎｃｅｄ Ｒｅｓｉｄｕａｌ Ｐｒｅｄｉｃｔｉｏｎ）と名付けることができる。
【０１７９】
図９は本発明のさらに他の実施例による残差予測方法を説明するための概念図である。
【０１８０】
図９を参照すると、現在ブロック（Ｃｕｒｒ）が動きベクター（ＭＶＣｕｒｒ）を用いて参照視点（Ｖｉｅｗ ＩＤ１）上で現在ブロック（Ｃｕｒｒ）が視点間（ｉｎｔｅｒ−ｖｉｅｗ）参照する参照ブロック（ＩｖＲｅｆ）を探索することができる。
【０１８１】
図９の場合には、図８の場合とは異なり、現在ブロック（Ｃｕｒｒ）の参照ブロック（ＩｖＲｅｆ）はＭＶＲｅｆを用いて他の視点（ｖｉｅｗ）上で参照する参照ブロック（ＩｖＴＲｅｆ）を探索することができる。
【０１８２】
この場合、現在ブロック（Ｃｕｒｒ）の参照ブロック（ＩｖＲｅｆ）が使用するＭＶＲｅｆをスケーリングしてＭＶＳｃａｌｅｄを生成するのに問題が発生する。すなわち、ＭＶＲｅｆは視点間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）に使われる動きベクターであることに対し、ＭＶＳｃａｌｅｄは時間方向に動き予測を行うベクターであるからである。
【０１８３】
より詳細に、ＭＶＲｅｆは視点間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）に使われる動きベクターであるから、数学式１５において分母が０となってスケールファクターが無限大に算出される問題点が発生することができる。
【０１８４】
【数１９】
0006615777.tif 000022
【０１８５】
したがって、数学式１９を用いてＭＶＳｃａｌｅｄを算出する過程で間違い又はエラーが発生することができるため、ＭＶＳｃａｌｅｄを（０、０）に設定して間違い又はエラーの発生を解決することができる。
【０１８６】
図８及び図９で、ＩｖＲｅｆを第１参照ブロックに、ＴＲｅｆを第２参照ブロックに、ＩｖＴＲｅｆを第３参照ブロックにして説明すると次のようである。
【０１８７】
現在ブロックが視点間予測（ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）のために参照する第１参照ブロックに行われた動き予測方法を判断する段階と、第１参照ブロックの動き予測方法によって現在ブロックのための予測残差を生成する段階とを含む。
【０１８８】
第１参照ブロックに時間動き予測（Ｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ）及び視点間予測（Ｉｎｔｅｒ−ｖｉｅｗ ｐｒｅｄｉｃｔｉｏｎ）のいずれか一つが行われるかを確認することができる。
【０１８９】
現在ブロックが時間動き予測のために参照する第２参照ブロックと第１参照ブロックが参照する第３参照ブロック間の差分値を予測残差として生成することができる。ここで、第２参照ブロックは、現在ブロックが属する現在ピクチュアの参照リストにおいて時間方向に最も近いピクチュアに属することができる。
【０１９０】
第１参照ブロックに時間動き予測が行われたことが確認された場合、第３参照ブロックの探索のための動きベクターにスケールファクターを適用してスケールされた動きベクターを生成し、スケールされた動きベクターを用いて第２参照ブロックを決定することができる。ここで、スケールファクターは、第１参照ブロックが属する参照ピクチュアの番号と第１参照ブロックが時間動き予測のために参照する第３参照ブロックが属するピクチュアの番号間の差分値と現在ブロックが属するピクチュアの番号と第２参照ブロックが属するピクチュアの番号との間の差分値に基づいて生成することができる。
【０１９１】
また、第１参照ブロックに視点間予測が行われたことが確認された場合、第２参照ブロックの探索のための動きベクターとして（０、０）を適用して第２参照ブロックを決定することができる。
【０１９２】
図１０は本発明の実施例による多視点映像を符号化／復号化する装置を説明するためのブロック図である。
【０１９３】
図１０を参照すると、本発明の実施例によって多視点映像を符号化／復号化するシステムは、多視点映像符号化装置１０及び多視点映像復号化装置２０を含んでなる。
【０１９４】
多視点映像符号化装置１０は、基本視点映像を符号化するための基本視点映像符号化装置１１及び拡張視点映像を符号化するための拡張視点映像符号化装置１２、１３を含むことができる。ここで、基本視点映像は２Ｄ単視点映像を提供するための映像を意味し、拡張視点映像は３Ｄのような拡張した視点の映像を提供するための映像を意味することができる。
【０１９５】
例えば、多視点映像符号化装置１０は、基本視点映像符号化装置１１、第１拡張視点映像符号化装置１２及び第２拡張視点映像符号化装置１３を含んでなることができる。また、拡張視点映像符号化装置は、第１拡張視点映像符号化装置１２や第２拡張視点映像符号化装置１３に限定されなく、視点（ｖｉｅｗ ｐｏｉｎｔ）の数によって数が増加することができる。その上、基本視点映像符号化装置１１及び拡張視点映像符号化装置１２、１３は、カラー映像と深度映像（Ｄｅｐｔｈ ｍａｐ）を区分して符号化を行うことができる。
【０１９６】
多視点映像符号化装置１０は、多視点映像を符号化したビットストリームを多視点映像復号化装置２０に伝送することができる。
【０１９７】
ビットストリームを受信した多視点映像復号化装置２０は、ビットストリーム抽出部２９、基本視点映像復号化装置２１及び拡張視点映像復号化装置２２、２３を含むことができる。
【０１９８】
例えば、多視点映像復号化装置２０は、基本視点映像復号化装置２１、第１拡張視点映像復号化装置２２及び第２拡張視点映像復号化装置２３を含んでなることができ、拡張視点映像復号化装置は視点の数によって数が増加することができるのは言うまでもない。
【０１９９】
詳述すると、ビットストリーム抽出部２９はビットストリームを視点（ｖｉｅｗ ｐｏｉｎｔ）別に区分することができ、区分されたビットストリームは基本視点映像復号化装置２１及び拡張視点映像復号化装置２２、２３にそれぞれ伝達されることができる。
【０２００】
本発明の実施例によれば、復号化された基本視点映像は既存の２Ｄディスプレイ装置で表示される逆方向適合性を有することができる。また、復号化された基本視点映像及び復号化された少なくとも一つの拡張視点映像はステレオディスプレイ装置又は多視点ディスプレイ装置で表示されることができる。
【０２０１】
一方、入力されたカメラ位置情報などはビットストリームによってステレオディスプレイ装置又は多視点ディスプレイ装置に補助情報として伝送されることができる。
【０２０２】
図１１は本発明の実施例によって多視点映像を符号化する装置を説明するためのブロック図である。
【０２０３】
図１１を参照すると、本発明の実施例による多視点映像符号化装置１０は、基本視点映像符号化装置１１と拡張視点映像符号化装置１２を含んでなることができる。ただ、視点によって拡張視点映像符号化装置がさらに付け加えられることができる。
【０２０４】
基本視点映像符号化装置１１と拡張視点映像符号化装置１２のそれぞれは、減算部１１０、１１０−１、変換部１２０、１２０−１、量子化部１３０、１３０−１、逆量子化部１３１、１３１−１、逆変換部１２１、１２１−１、エントロピー符号化部１４０、１４０−１、加算部１５０、１５０−１、インループフィルター部１６０、１６０−１、フレームメモリ１７０、１７０−１、イントラ予測部１８０、１８０−１及び動き補償部１９０、１９０−１を含む。
【０２０５】
減算部１１０、１１０−１は、提供された入力映像である符号化すべき対象映像（現在映像）からイントラ予測又はインター予測によって生成された予測映像を引き算することによって現在映像と予測映像間の残差映像（ｒｅｓｉｄｕｅ ｉｍａｇｅ）を生成する。
【０２０６】
変換部１２０、１２０−１は、減算部１１０、１１０−１によって生成された残差映像を空間領域から周波数領域に変換する機能をする。ここで、変換部１２０、１２０−１は、ハダマール変換、離散余弦変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、離散サイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などのように空間軸の画像信号を周波数軸に変換する技法を用いて残差映像を周波数領域に変換することができる。
【０２０７】
量子化部１３０、１３０−１は、変換部１２０、１２０−１から提供される変換されたデータ（周波数係数）に対して量子化を行う。すなわち、量子化部１３０、１３０−１は、変換部１２０、１２０−１によって変換されたデータである周波数係数を量子化ステップサイズ（Ｑｕａｎｔｉｚａｔｉｏｎ Ｓｔｅｐ−Ｓｉｚｅ）に分けて近似化して量子化結果値を算出する。
【０２０８】
エントロピー符号化部１４０、１４０−１は、量子化部１３０、１３０−１によって算出された量子化結果値をエントロピー符号化することによってビットストリームを生成する。また、エントロピー符号化部１４０、１４０−１は、量子化部１３０、１３０−１によって算出された量子化結果値をＣＡＶＬＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｖａｒｉａｂｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ）又はＣＡＢＡＣ（Ｃｏｎｔｅｘｔ−Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ）技法などでエントロピー符号化することができ、量子化結果値以外に映像を復号化するのに必要な情報をエントロピー符号化することができる。
【０２０９】
逆量子化部１３１、１３１−１は、量子化部１３０、１３０−１によって算出された量子化結果値を逆量子化する。すなわち、逆量子化部１３１、１３１−１は、量子化結果値から周波数領域の値（周波数係数）を復元する。
【０２１０】
逆変換部１２１、１２１−１は、逆量子化部１３１、１３１−１に提供された周波数領域の値（周波数係数）を周波数領域から空間領域に変換することによって残差映像を復元し、加算部１５０、１５０−１はイントラ予測又はインター予測によって生成された予測映像に逆変換部１２１、１２１−１によって復元された残差映像を加算することによって入力映像の復元映像を生成してフレームメモリ１７０、１７０−１に記憶する。
【０２１１】
イントラ予測部１８０、１８０−１はイントラ予測（Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ）を行い、動き補償部１９０、１９０−１はインター予測（Ｉｎｔｅｒ Ｐｒｅｄｉｃｔｉｏｎ）のための動きベクターを補償する。ここで、イントラ予測部１８０、１８０−１と動き補償部１９０、１９０−１を予測部と通称することができる。
【０２１２】
本発明の実施例によれば、拡張視点映像符号化装置１２に含まれた予測部１８０−１、１９０−１は、参照視点の参照ブロックに対する予測遂行情報を用いて拡張視点の現在ブロックに対する予測を行うことができる。ここで、参照視点は拡張視点によって参照される視点で、基本視点を意味することができる。また、予測遂行情報は参照ブロックに対する予測モード情報及び動き情報を含むことができる。
【０２１３】
インループフィルター部１６０、１６０−１は復元された映像に対するフィルタリングを行うもので、デブロッキングフィルター（ＤＦ：Ｄｅｂｌｏｃｋｉｎｇ Ｆｉｌｔｅｒ）、サンプル適応的オフセット（ＳＡＯ：Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）を含んでなることができる。
【０２１４】
マルチプレクサー３３０は、符号化された基本視点映像に対するビットストリームと符号化された拡張視点映像に対するビットストリームを受信して拡張されたビットストリームを出力することができる。
【０２１５】
特に、本発明の実施例による多視点映像符号化装置１０は、視点間予測部３１０及び残差予測部３２０をさらに含むことができる。
【０２１６】
図１１で、視点間予測部３１０及び残差予測部３２０は基本視点映像符号化装置１１と拡張視点映像符号化装置１２の間に位置するものとして示されているが、その構造又は位置に限定されるものではない。
【０２１７】
視点間予測部３１０は動き補償部１９０、１９０−１と連動して動作することができ、上述した第１実施例による動きベクター予測によって多視点映像のための動きベクターを符号化することができる。
【０２１８】
また、残差予測部３２０は動き補償部１９０、１９０−１及びイントラ予測部１８０、１８０−１と連動して動作することができ、上述した第２実施例による残差予測によって多視点映像のための残差を符号化することができる。
【０２１９】
図１２は本発明の実施例によって多視点映像を復号化する装置を説明するためのブロック図である。
【０２２０】
図１２を参照すると、本発明の実施例による多視点映像復号化装置２０は、ビットストリーム抽出部２９、基本視点映像復号化装置２１及び拡張視点映像復号化装置２２、２３を含んでなることができる。
【０２２１】
ビットストリーム抽出部２９はビットストリームを視点（ｖｉｅｗ ｐｏｉｎｔ）別に区分することができ、区分されたビットストリームは基本視点映像復号化装置２１及び拡張視点映像復号化装置２２、２３にそれぞれ伝達されることができる。
【０２２２】
基本視点映像復号化装置２１と拡張視点映像復号化装置２２、２３のそれぞれは、エントロピー復号化部２１０、２１０−１、逆量子化部２２０、２２０−１、逆変換部２３０、２３０−２、加算部２４０、２４０−１、インループフィルター部２５０、２５０−１、フレームメモリ２６０、２６０−１、イントラ予測部２７０、２７０−１及び動き補償部２８０、２８０−１を含むことができる。ここで、イントラ予測部２７０、２７０−１及び動き補償部２８０、２８０−１は予測部と通称することができる。
【０２２３】
特に、本発明の実施例による多視点映像復号化装置２０は、視点間予測部４１０及び残差予測部４２０をさらに含むことができる。
【０２２４】
図１２で、視点間予測部４１０及び残差予測部４２０は基本視点映像復号化装置２１と拡張視点映像復号化装置２２の間に位置するものとして示されたが、その構造又は位置に限定されるものではない。
【０２２５】
視点間予測部４１０は動き補償部２９０、２９０−１と連動して動作することができ、上述した第１実施例による動きベクター予測によって多視点映像のための動きベクターを復号化することができる。
【０２２６】
また、残差予測部４２０は動き補償部２９０、２９０−１及びイントラ予測部２８０、２８０−１と連動して動作することができ、上述した第２実施例による残差予測によって多視点映像のための残差を復号化することができる。
【０２２７】
一方、多視点映像復号化装置２０の各構成要素は図１１の多視点映像符号化装置１０の構成要素とそれぞれ対応して理解されることができるので、詳細な説明は省略する。
【０２２８】
また、上述した本発明の実施例による多視点映像符号化装置１０及び多視点映像復号化装置２０の各構成部は説明の便宜上それぞれの構成部として並べて含むもので、各構成部の少なくとも二つが合わせられて一つのプロセッサになるか、一つの構成部が複数のプロセッサに分けられて機能を果たすことができ、このような各構成部の統合及び分離された実施例の場合も、本発明の本質から逸脱しない限り、本発明の権利範囲に含まれる。
【０２２９】
そして、本発明による多視点映像符号化装置１０及び多視点映像復号化装置２０は、コンピュータが読める記録媒体にコンピュータが読めるプログラム又はコードから具現することが可能である。コンピュータが読める記録媒体はコンピュータシステムによって読められるデータが格納されるすべての種類の記録装置を含む。また、コンピュータが読める記録媒体はネットワークを介して連結されたコンピュータシステムに分散され、分散方式でコンピュータで読めるプログラム又はコードが格納されて実行されることができる。
【０２３０】
上述した本発明の第１実施例による多視点映像のための動きベクター予測方法は、多視点映像を符号化／復号化する過程で動きベクターを効果的に符号化／復号化することができるようにする。すなわち、本発明によれば、現在ブロック及び対応ブロックの動きベクター予測方法によって適応的に時間的動きベクターに対する予測を行うことができる。
【０２３１】
上述した本発明の第２実施例による多視点映像のための残差予測方法は、多視点映像を符号化／復号化する過程で残差を効果的に符号化／復号化することができるようにする。すなわち、本発明によれば、予測残差を生成する過程で動きベクターをスケーリングするためのスケールファクターの算出に間違いが発生することを防止することができ、これにより、多視点映像のための残差予測において間違い又はエラーを防止することができる。
【０２３２】
以上では本発明の好適な実施例を参照して説明したが、当該技術分野の熟練した当業者は下記の特許請求範囲に記載された本発明の思想及び領域から逸脱しない範疇内で本発明を多様に修正及び変更させることができることが理解可能であろう。
【図１】
0006615777.tif 000023
【図２】
0006615777.tif 000024
【図３】
0006615777.tif 000025
【図４】
0006615777.tif 000026
【図５】
0006615777.tif 000027
【図６】
0006615777.tif 000028
【図７】
0006615777.tif 000029
【図８】
0006615777.tif 000030
【図９】
0006615777.tif 000031
【図１０】
0006615777.tif 000032
【図１１】
0006615777.tif 000033
【図１２】
0006615777.tif 000034