(57)【要約】  本発明は、現在のブロックに対して、第１ドメイン上で相関関係の最も高い相関（ｃｏ−ｒｅｌａｔｅｄ）ユニットを探索する段階と、該相関ユニットのコーディング情報を獲得する段階と、該獲得されたコーディング情報を用いて現在のブロックの第２ドメインに対するコーディング情報を予測する段階と、を含む信号処理方法及び装置を提供する。
2009543508.tif 000002
【特許請求の範囲】
【請求項１】
現在のブロックに対して、第１ドメイン上で相関関係の最も高い相関ユニットを探索する段階と、
前記相関ユニットのコーディング情報を獲得する段階と、
前記獲得されたコーディング情報を用いて前記現在のブロックの第２ドメインに対するコーディング情報を予測する段階と、
を含むことを特徴とする信号処理方法。
【請求項２】
前記相関関係は、前記第１ドメイン上で前記現在のブロックと前記相関ユニット間の隣接性を表す情報から判断し、
前記隣接性を表す情報は、レファレンスインデックス、ピクチャ出力順序を表す情報、デコーディング順序を表す情報、または視点識別情報を含むことを特徴とする、請求項１に記載の信号処理方法。
【請求項３】
前記相関ユニットは、第１ドメイン上のユニットで前記現在のブロックと同じ位置にあるブロックであることを特徴とする、請求項２に記載の信号処理方法。
【請求項４】
前記相関ユニットは、前記第１または第２ドメイン上のユニットにグローバル動きベクトルを適用して得られたブロックであることを特徴とする、請求項２に記載の信号処理方法。
【請求項５】
前記第１ドメインは時間ドメインを、前記第２ドメインは視点ドメインを表すことを特徴とする、請求項４に記載の信号処理方法。
【請求項６】
前記第１ドメイン上のユニットのグローバル動きベクトルは、アンカーユニットから導き出されることを特徴とする、請求項５に記載の信号処理方法。
【請求項７】
現在のブロックに隣り合うブロックを用いて、第１ドメイン上の相関ユニットを探索する段階と、
前記相関ユニットのコーディング情報を獲得する段階と、
前記獲得されたコーディング情報を用いて前記現在のブロックの第２ドメインに対するコーディング情報を予測する段階と、
を含むことを特徴とする信号処理方法。
【請求項８】
前記相関ユニットは、第１ドメイン上のユニットで前記現在のブロックと同じ位置にあるブロックであることを特徴とする、請求項７に記載の信号処理方法。
【請求項９】
前記相関ユニットは、前記第１または第２ドメイン上のユニットにグローバル動きベクトルを適用して得られたブロックであることを特徴とする、請求項７に記載の信号処理方法。
【請求項１０】
前記第１ドメインは時間ドメインを表し、前記第２ドメインは視点ドメインを表すことを特徴とする、請求項９に記載の信号処理方法。
【請求項１１】
前記第１ドメイン上のユニットのグローバル動きベクトルは、アンカーユニットから導き出されることを特徴とする、請求項１０に記載の信号処理方法。
【請求項１２】
前記コーディング情報は、動きベクトル、レファレンスインデックス、ブロックタイプ、予測方向情報またはレジデュアル情報を含むことを特徴とする、請求項１または７に記載の信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号処理方法及び装置に関するものである。
【背景技術】
【０００２】
圧縮符号化とは、デジタル化した情報を通信回線を通し伝送したり、保存媒体に適合した形態で保存する一連の信号処理技術のことを意味する。圧縮符号化の対象には、音声、映像、文字などがあり、特に、映像を対象にして圧縮符号化を行う技術をビデオ映像圧縮と称する。ビデオ映像の一般的な特徴は、空間的な冗長性または時間的な冗長性を有している点にある。さらに、１台以上のカメラを用いて多様な視点を使用者に提供する３次元（３Ｄ）映像処理の一分野として多視点ビデオ（Ｍｕｌｔｉ-ｖｉｅｗ  ｖｉｄｅｏ）映像がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
多視点ビデオ映像は、視点間に高い相関関係を持っているので、視点間の空間的予測を通じて重複した情報を除去することができる。したがって、視点間の予測を效率的に行うための様々な圧縮技術が必要である。
【０００４】
このように空間的な冗長性及び時間的な冗長性を十分に除去しないと、信号をコーディングするに際して圧縮率が低くなり、一方、空間的な冗長性及び時間的な冗長性を過度に除去すると、信号をコーディングする上で必要な情報を生成できず、復元率が悪くなるという問題点があった。
【０００５】
また、多視点ビデオ信号において、視点間ピクチャは、大部分の場合、カメラの位置による差のみが存在するため、視点間ピクチャはその関連性と冗長性が非常に高いが、このような視点間ピクチャの冗長性を十分に除去しなかったり過度に除去する場合には、圧縮率または復元率が低下するという問題点があった。
【０００６】
したがって、本発明の目的は、信号処理の効率を上げることにある。
【０００７】
本発明の他の目的は、信号のコーディング情報を予測する方法を提供することによって信号を效率的に処理することにある。
【０００８】
本発明のさらに別の目的は、動き情報を予測する方法を提供することによってビデオ信号を效率的にコーディングすることにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明は、現在のブロックに対して、第１ドメイン上で相関関係の最も高い相関（ｃｏ−ｒｅｌａｔｅｄ）ユニットを探索する段階と、該相関ユニットのコーディング情報を獲得する段階と、該獲得されたコーディング情報を用いて現在のブロックの第２ドメインに対するコーディング情報を予測する段階と、を含むことを特徴とする信号処理方法を提供する。
【００１０】
また、本発明は、現在のブロックに隣り合うブロックを用いて、第１ドメイン上の相関（ｃｏ−ｒｅｌａｔｅｄ）ユニットを探索する段階と、該相関ユニットのコーディング情報を獲得する段階と、該獲得されたコーディング情報を用いて現在のブロックの第２ドメインに対するコーディング情報を予測する段階と、を含むことを特徴とする信号処理方法を提供する。
【００１１】
また、本発明は、現在のブロックのモーションスキップ情報を抽出する段階と、現在のブロックの同一位置（ｃｏ−ｌｏｃａｔｅｄ）ブロックの動き情報を抽出する段階と、該得られた動き情報と他のドメインに存在する参照ブロックの動き情報を獲得する段階と、該獲得された参照ブロックの動き情報に基づいて現在のブロックの動き情報を導き出す段階と、を含むことを特徴とする信号処理方法を提供する。
【００１２】
また、本発明は、第１ドメイン上で現在のユニットと隣接ユニット間の動き情報を獲得する段階と、該獲得された動き情報に基づいて現在のユニットに含まれた現在ブロックに対応する相関ブロック（ｃｏ−ｒｅｌａｔｅｄ  ｂｌｏｃｋ）を獲得する段階と、相関ユニットの第２ドメイン上の動き情報を獲得する段階と、該得られた第２ドメイン上の動き情報を用いて現在ユニットの第２ドメインに該当する動き情報を導き出す段階と、を含むことを特徴とする信号処理方法を提供する。
【発明の効果】
【００１３】
本発明は、信号を処理するに当たり、現在のユニットに対して時間方向の動きベクトルが与えられた時、該時間方向の動きベクトルを用いて現在のユニットの視点方向の動きベクトルを予測できる。時間方向の動きベクトルは、同一視点の異なる時間帯における映像を参照するので、各オブジェクトの深さ（ｄｅｐｔｈ）が時間の変化によって大きく変わらない限り、視点方向の動きベクトルを十分正確に予測することができる。また、現在のユニットに隣接するユニットのコーディング情報を用いて現在のユニットのコーディング情報を予測することによって、より正確な予測が可能であり、これによって、対応する誤差値伝送量が減少し、効率的なコーディングを行うことが可能になる。また、隣接するユニットの時間方向に対するレファレンスユニットの視点方向に対するコーディング情報を用いて現在のユニットのコーディング情報を予測することによって、効率的なコーディングを行うことが可能になる。
【００１４】
また、現在のユニットのモーション情報が伝送されなくても、現在のユニットのモーション情報に非常に近いモーション情報を算出できるため、復元率が向上するという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】本発明が適用されるビデオ信号デコーディング装置の概略的なブロック図である。
【図２】本発明が適用される一実施例であって、現在のユニットのコーディング情報を予測する方法を示す図である。
【図３】本発明が適用される一実施例であって、動きベクトルを予測する方法を示す図である。
【図４】本発明が適用される一実施例であって、現在のブロックに隣接する隣接ブロックの参照ピクチャが視点方向か時間方向かによって現在のブロックの動きベクトルを予測する方法を示す図である。
【図５】本発明の他の実施例であって、視点間相関関係を用いて現在のブロックのコーディング情報を予測する方法を示す図である。
【図６】本発明が適用される一実施例であって、現在のブロックのコーディング情報を予測する方法を示す図である。
【図７】本発明が適用される一実施例であって、時間方向のフォワード方向とバックワード方向の参照ブロックがいずれも視点方向のブロックを参照している場合、現在のブロックのパーティション情報を予測するためにこれら両参照ブロックのパーティション情報のうちいずれかを選択するための様々な例を示す図である。
【図８】本発明が適用される一実施例であって、時間方向のフォワード方向とバックワード方向の参照ピクチャがいずれも視点方向のピクチャを参照している場合、現在のブロックの予測方向情報を予測するためにこれら両参照ピクチャの予測方向情報のうちいずれかを選択するための様々な例を示す図である。
【図９】本発明が適用される一実施例であって、現在のブロックの視点方向に対するコーディング情報を予測する方法を説明するためのフローチャートである。
【図１０】本発明が適用される一実施例であって、現在のブロックのコーディング情報を予測する方法を示す図である。
【図１１】本発明が適用される一実施例であって、現在のブロックの視点方向に対するコーディング情報を予測する方法を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、添付の図面を参照つつ、本発明の好適な実施例を詳細に説明する。なお、本発明で使われる用語は可能なかぎり現在広く使われている一般的な用語を選択したが、特定の場合は、出願人が任意に選定した用語もあり、その場合は該当する発明の説明部分で詳細にその意味を記載しておいたので、単純な用語の名称ではなく用語が持つ意味として本発明を把握すべきということは明らかである。
【００１７】
図１は、本発明が適用されるビデオ信号デコーディング装置の概略的なブロック図である。
【００１８】
このデコーディング装置は、主に、パーシング部１００、エントロピーデコーディング部２００、逆量子化／逆変換部３００、イントラ予測部４００、デブロッキングフィルタ部５００、復号ピクチャバッファ部６００、インター予測部７００などを含む。そして、インター予測部７００は、ＩＣオフセット予測部７１０、照明補償部７２０、動き補償部７３０などを含む。
【００１９】
パーシング部１００では、受信したビデオ映像を復号するためにＮＡＬ単位でパーシングを行う。一般的に、一つまたはそれ以上のシーケンスパラメータセットとピクチャパラメータセットが、スライスヘッダとスライスデータがデコーディングされる前にデコーダに伝送される。この時、ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域には様々な属性情報を含むことができる。ＭＶＣは、既存ＡＶＣ技術に対する追加技術であるから、無条件的に追加するよりは、ＭＶＣビットストリームである場合に限って様々な属性情報を追加する方がより効率的になり得る。例えば、ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域でＭＶＣビットストリームか否かを識別できるフラグ情報を追加することができる。このフラグ情報によって入力されたビットストリームが多視点映像コーディングされたビットストリームの場合に限り、多視点映像に対する属性情報を追加することができる。例えば、これらの属性情報は、時間的レベル（ｔｅｍｐｏｒａｌ  ｌｅｖｅｌ）情報、視点レベル（ｖｉｅｗ  ｌｅｖｅｌ）情報、インタービュー・ピクチャグループ識別情報、視点識別（ｖｉｅｗ  ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）情報などを含むことができる。
【００２０】
パーシングされたビットストリームは、エントロピーデコーディング部２００でエントロピーデコーディングされ、各マクロブロックの係数、動きベクトルなどが抽出される。逆量子化／逆変換部３００では、受信して量子化された値に一定の定数を乗じて変換された係数値を獲得し、この係数値を逆変換して画素値を復元する。イントラ予測部４００では、復元された画素値を用いて、現在のピクチャ内のデコーディングされたサンプルから画面内予測を行う。一方、デブロッキングフィルタ部５００では、ブロック歪み現象を減少させるために、復元された画素値をそれぞれのコーディングされたマクロブロックに適用する。フィルタは、ブロックのエッジを平滑化にしてデコーディングされたピクチャの画質を向上させる。フィルタリング過程の選択は、境界強度（ｂｏｕｎｄａｒｙ  ｓｔｒｅｎｔｈ）と境界周囲のイメージサンプルの勾配（ｇｒａｄｉｅｎｔ）に依存する。フィルタリングを経たピクチャは出力されたり、参照ピクチャとして用いるために復号ピクチャバッファ部６００に保存される。
【００２１】
復号ピクチャバッファ部（Ｄｅｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ  ｕｎｉｔ）６００では、画面間予測を行うために以前にコーディングされたピクチャを保存したり開放する役割などを果たす。この時、復号ピクチャバッファ部６００に保存したり開放するために各ピクチャのｆｒａｍｅ ｎｕｍとＰＯＣ（Ｐｉｃｔｕｒｅ  Ｏｒｄｅｒ  Ｃｏｕｎｔ）を用いることとなる。したがって、ＭＶＣにおいて、以前にコーディングされたピクチャの中には現在のピクチャと異なる視点にあるピクチャもあるので、このようなピクチャを参照ピクチャとして活用するためには、ｆｒａｍｅ ｎｕｍとＰＯＣだけでなく、ピクチャの視点を識別する視点情報も共に利用することができる。上記のように管理される参照ピクチャは、インター予測部７００で用いられることができる。
【００２２】
インター予測部７００では、復号ピクチャバッファ部６００に保存された参照ピクチャを用いて画面間予測を行う。インターコーディングされたマクロブロックを、マクロブロックパーティションに分けられることができ、各マクロブロックパーティションは一つまたは二つの参照ピクチャから予測することができる。このインター予測部７００は、ＩＣ差分予測部７１０、照明補償部７２０及び動き補償部７３０などを含む。
【００２３】
入力されたビットストリームが多視点映像に該当する場合、各視点映像（ｖｉｅｗ  ｓｅｑｕｅｎｃｅ）はそれぞれ異なるカメラから取得された映像であるため、カメラの内外的要因によって照明（ｉｌｌｕｍｉｎａｔｉｏｎ）差が発生する。これを防止すべく、照明補償部７２０では照明補償（ｉｌｌｕｍｉｎａｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ）を行う。照明補償を行うときに、ビデオ信号の一定階層に照明補償を行うか否かを表すフラグ情報を用いることができる。例えば、該当のスライスまたは該当のマクロブロックに照明補償を行うか否かを表すフラグ情報を用いて照明補償を行うことができる。また、該フラグ情報を用いて照明補償を行うときに、様々なマクロブロックのタイプ（例えば、インター１６×１６モードまたはＢ−ｓｋｉｐモードまたは直接モードなど）の適用が可能である。
【００２４】
動き補償部７３０では、エントロピーデコーディング部２００から伝送された情報を用いて現在のブロックの動きを補償する。ビデオ信号から現在ブロックに隣り合うブロックの動きベクトルを抽出し、現在のブロックの動きベクトル予測値を獲得する。該獲得された動きベクトル予測値とビデオ信号から抽出される差分ベクトルとを用いて現在のブロックの動きを補償する。また、このような動き補償は、一つの参照ピクチャを用いて行われても良く、複数のピクチャを用いて行われても良い。多視点ビデオコーディングにおいて、現在ピクチャが他の視点にあるピクチャを参照することとなる場合、復号ピクチャバッファ部６００に保存されている視点間予測のための参照ピクチャリストに対する情報を用いて動き補償を行うことができる。また、そのピクチャの視点を識別する視点情報を用いて動き補償を行っても良い。
【００２５】
また、直接予測モード（ｄｉｒｅｃｔ  ｍｏｄｅ）は、符号化の終わったブロックの動き情報から現在のブロックの動き情報を予測する符号化モードである。このような方法は、動き情報を符号化する時に必要なビット数が節約されるので、圧縮効率が向上する。例えば、時間直接モード（ｔｅｍｐｏｒａｌ  ｄｉｒｅｃｔ  ｍｏｄｅ）は、時間方向の動き情報相関度を用いて現在のブロックの動き情報を予測することとなる。この時間直接モードは、互いに異なる動きを含んでいる映像でその動きの速度が一定なときに効果がある。空間直接モード（ｓｐａｔｉａｌ  ｄｉｒｅｃｔ  ｍｏｄｅ）は、空間方向の動き情報相関度を用いて現在のブロックの動き情報を予測することとなる。この空間直接モードは、同一の動きを含んでいる映像でその動きの速度が変わるときに効果がある。
【００２６】
上記のような過程を通じてインター予測されたピクチャとイントラ予測されたピクチャは予測モードによって選択され、現在のピクチャを復元することとなる。以下では、信号の効率的な処理方法を提供するための様々な実施例が説明される。
【００２７】
図２は、本発明が適用される一実施例であって、現在のユニットのコーディング情報を予測する方法を示す図である。
【００２８】
本発明でいうユニットは、ビデオ信号に適用するときには、ブロック、サブブロック、マクロブロック、スライス、ピクチャ、フレーム、ピクチャグループ、シーケンスなどの意味をいずれも含むことができる。したがって、ユニットの意味は、それぞれの適用例によってそれに相応する意味として解釈されるべきである。また、ビデオ信号以外に、他の信号などに適用するときにはその信号に適合する他の意味として解釈されることができる。
【００２９】
多視点ビデオシーケンスにおいて、各ユニットは、第１ドメインと第２ドメイン領域に存在することができる。例えば、第１ドメインは時間領域、第２ドメインは視点領域でありう得る。この場合、これらの各ユニットは、時間方向と視点方向の軸上に存在できる。したがって、いずれかのユニットは時間方向にのみ予測情報を得ることができ、いずれかのユニットは視点方向にのみ予測情報を得ることができる。また、いずれかのユニットは時間方向と視点方向の両方で予測情報を得ることができる。この時、時間方向にコーディング情報を予測することになる場合、レファレンスユニットが同一視点の他の時間帯に存在すると、各ユニットは時間方向の動きベクトルを持つことになる。そして、レファレンスユニットが同一時間帯の他の視点に存在すると、各ユニットは視点方向の動きベクトルを持つことになる。これを視差ベクトル（ｄｉｓｐａｒｉｔｙ  ｖｅｃｔｏｒ）とも呼ぶ。以下でいう動きベクトルは、上記の時間の方向動きベクトルと視点方向の動きベクトルの概念を両方とも含むことができる。また、本発明でいうコーディング情報とは、動きベクトル、レファレンスインデックス、ブロックタイプ、予測方向などに関する情報を含むことができる。
【００３０】
本発明が適用される一実施例として、現在のユニット１に対して時間方向の動きベクトルが与えられた時、時間方向の動きベクトルを用いて現在のユニット１の視点方向の動きベクトルを予測できる。例えば、現在のユニット１と相関性の最も高い相関ユニット３（例えば、レファレンスユニット）で時間方向の動きベクトルが示すユニットＭ３を見つけることができる。このとき、ユニットＭ３が視点方向の動きベクトルｍｖ３ ｆを持っていると、これを現在のユニット１の視点方向の動きベクトルと予測できる。時間方向の動きベクトルは、同じ視点の他の時間帯における映像を参照するため、オブジェクトの深さ（ｄｅｐｔｈ）が時間の変化によって大きく変わらないとすれば、視点方向の動きベクトルを十分正確に予測することができる。
【００３１】
これと同様に、現在のユニット１に対して視点方向の動きベクトルが与えられたとき、この視点方向の動きベクトルを用いて現在のユニット１の時間方向の動きベクトルを予測できる。例えば、現在のユニット１と相関性の最も高い相関ユニット４（例えば、レファレンスユニット）で視点方向の動きベクトルが示すユニットＭ４を見つけることができる。このとき、ユニットＭ４が時間方向の動きベクトルｍｖ４' ｂを持っていると、これを現在のユニット１の時間方向の動きベクトルと予測できる。視点方向の動きベクトルは、異なる視点の同一時間帯で映像を参照するから、特定客体の時間的な動きはカメラごとに略同一になり、よって、時間方向の動きベクトルを十分正確に予測することが可能になる。
【００３２】
また、上記実施例において、現在のユニットのブロックタイプによって両方向予測を行う場合には、上記の各場合をフォワード方向とバックワード方向の両方に適用することができることは当然である。
【００３３】
また、上記の各実施例の場合、動きベクトルが示すユニット（相関ユニット３、相関ユニット４）の開始位置は、各ユニットの属するマクロブロックを４ｘ４で均一に分けた４ｘ４ブロックの開始位置と一致しないことがあり得る。この場合には、最も近い４ｘ４ブロックを見つけてそのブロックの動き情報を取り込むか、相関ユニット（３）または相関ユニット４に重なるブロックの動き情報を平均することによって動き情報を予測できる。このような方法を用いて第１ドメインまたは第２ドメイン上の各ユニットに対して動き情報を予測することができる。
【００３４】
本発明が適用される他の実施例であって、現在のユニットに隣接するユニットの情報を用いて現在のユニットの動き情報を予測することができる。
【００３５】
例えば、現在ユニット１に隣接するユニットのうち、２個の隣接ユニットＡ、Ｂが時間方向の動きベクトルを持っており、１個のユニットＣが視点方向の動きベクトルを持っていると仮定する。この時、現在のユニット１の時間方向の動きベクトルを予測しようとする場合には、隣接ユニットＡ、Ｂの時間方向の動きベクトルを用いることができる。また、上記の実施例で説明した方法を用いると、隣接ユニットＣの視点方向の動きベクトルを用いて隣接ユニットＣの時間方向の動きベクトルを予測できる。このように予測された隣接ユニットＣの時間方向の動きベクトルを含め、３個の時間方向の動きベクトルを全部用いて現在のユニット１の時間方向の動きベクトルを予測することができる。このように第１ドメインの動きベクトルを適用したのと同一の方法を第２ドメインでも適用することができる。
【００３６】
例えば、現在のユニット１の視点方向の動きベクトルを予測しようとする場合には、隣接ユニットＣの視点方向の動きベクトルを直接用いることができる。また、上記の実施例で説明した方法を用いると、隣接ユニットＡ、Ｂの時間方向の動きベクトルを用いてそれぞれの視点方向の動きベクトルを予測できる。そして、これら３個の視点方向の動きベクトルを用いて現在のユニット１の視点方向の動きベクトルをより正確に予測できる。
【００３７】
また、現在のユニット１の隣接ユニットが時間方向の動きベクトル、視点方向の動きベクトルを持つようになる全ての組合せに上の方法を適用することによって、現在のユニット１の時間方向の動きベクトル、視点方向の動きベクトルを予測できる。
【００３８】
また、上述の方法を適用する時にレファレンスユニットとして用いられる各ユニットのブロックが、時間方向の動きベクトルと視点方向の動きベクトルの両方を持つようにするためには次の方法を使用することができる。時間方向にのみ予測情報を得ることになるユニットをＴユニットとし、視点方向にのみ予測情報を得ることになるユニットをＶユニットとする。この時、Ｔユニットは時間方向の動きベクトルのみを持っていれば良く、Ｖユニットは視点方向の動きベクトルのみ持っていれば良い。ＴユニットまたはＶユニットにイントラコーディングを発生することができる。Ｖユニットで現在のブロックがイントラコーディングされた場合、隣接ブロックの視点方向の動きベクトルを用いて現在のブロックの視点方向の動きベクトルを予測できる。
【００３９】
これと同様に、Ｔユニットの現在のブロックがイントラコーディングされた場合、隣接ブロックの時間方向の動きベクトルを用いて時間方向の動きベクトルを予測でき、これを現在のブロックの時間方向の動きベクトルと設定するとができる。時間方向と視点方向の両方から予測情報を得るユニットをＴ／Ｖユニットとすれば、これはブロックごとに時間方向の動きベクトルまたは視点方向の動きベクトル一つも持つこととなる。その他には、前述した方式のようにレファレンスユニットによって予測した動きベクトルを、現在のブロックの動きベクトルと設定することができる。Ｔ／Ｖユニットでイントラコーディングが行われる場合にも、隣接ブロックの時間方向の動きベクトルと視点方向の動きベクトルを用いて現在のブロックの動きベクトルを予測できる。このようにイントラコーディングが適用されるユニットに対して、隣接ユニットを通じて予測する方法は、隣接する３つのユニットの中間値（ｍｅｄｉａｎ）を取っても良く、隣接する４ｘ４ユニット９個の平均値を取っても良い。
【００４０】
本発明が適用される他の実施例であって、現在のユニットの相関ユニットとして現在のユニットの動きベクトルが示す部分の近傍ユニットを用いることができる。この時、相関ユニットと近傍ユニット間の位置差ベクトルを用いてより正確な予測を行っても良い。
【００４１】
動きベクトルの解像度（ｒｅｓｏｌｕｔｉｏｎ）によって、１／ｎ（ｎ＝１，２，４，８など）画素の解像度により初期相関ユニットの位置が見つけられる。この場合、正規的な格子構造上のユニットに正確にマッピングされない場合があり得る。すなわち、ｎ＞１の場合は、格子構造上のユニットの少数点画素位置に相関ユニットの画素が位置することができる。そして、相関ユニットから得ようとする情報によって、初期マッピングされた相関ユニットの位置から移動して、より大きい格子構造に近似化させてマッピングさせることができる。例えば、レファレンスインデックスを予測しようとする場合、相関ユニットの正規化された格子構造上の８ｘ８ブロック位置を互いに合わせることができる。この時、現在のブロックの４個の８ｘ８ブロックのそれぞれに対して、対応するマクロブロックの８ｘ８ブロックのそれぞれのレファレンスインデックス情報を用いることができる。各４ｘ４ブロックに対しては動き情報を取り込むことができる。
【００４２】
また、動き情報は、４ｘ４ブロック単位に提供されるので、このような情報を得ようとする場合、相関ユニットで４ｘ４の正規化された格子ブロック位置を互いに合わせることができる。このとき、各対応する４ｘ４ブロックから動き情報を得ることができる。相関ユニットで正規化された格子構造上の１６ｘ１６マクロブロック位置でマッピングされると、該当マクロブロックの全ての情報を持ってくることができる。例えば、ブロックタイプ、レファレンスインデックス、動きベクトルなどの情報を持ってくることができる。
【００４３】
上述した初期マッピング位置から近傍の正規構造上の位置に近似化する方法には様々な実施例がある。正規構造上でピクセルスケール、４ｘ４ブロックスケール、８ｘ８ブロックスケール、１６ｘ１６ブロックスケールなどの格子構造を考えることができる。例えば、現在のユニットの左上端角部の画素がマッピングされた初期位置点を含むユニットの左上端画素に近似化する方法がある。角部に存在する場合は、いずれか一方のユニットの左上端画素位置に近似化させることができる。この時、左上端または右上端または左下端または右下端のユニットを選択できる。または、初期マッピングされた位置から最も近い位置点にマッピングすることができる。例えば、８ｘ８ブロックスケールにマッピングしたい場合、各８ｘ８ブロックの左上端画素位置との距離を測定し、最も近い位置点をマッピングすることができる。
【００４４】
本発明が適用される他の実施例として、第１ドメインユニットの第２ドメインに対するコーディング情報を用いて現在のユニットの第２ドメインに対するコーディング情報を予測することができる。このとき、コーディング情報として、動き情報と一緒にブロック情報も獲得できる。また、コーディング情報を導き出すときにあらかじめ定められたテーブルを用いることができる。例えば、スキップモードとは、以前に現在のユニットより先にコーディングされた他のユニットの情報を現在のユニットの情報として用いることを意味する。このようなスキップモードを適用するときに、異なるドメインに存在する情報を用いることができる。これについての具体的な実施例を以下に説明する。
【００４５】
第一の例として、時間Ｔｂで異なる二つの視点映像内のオブジェクト（または背景）の相対的な動き関係は、十分に近い時間Ｔｃでも略同様に維持されると仮定することができる。このとき、時間Ｔｂにおける視点方向コーディング情報と時間Ｔｃにおける視点方向コーディング情報は高い相関度を持つ。同一視点の他の時間帯にある対応ブロックの動き情報をそのまま取り込んで用いると高いコーディング効率を得ることができる。このような方式を利用したか否かを表すモーションスキップ情報を用いることができる。このモーションスキップ情報によってモーションスキップモードが適用される場合、ブロックタイプ、動きベクトル、レファレンスインデックスのような動き情報を現在のブロックの対応ブロックから予測できる。したがって、このような動き情報をコーディングするのに必要なビット量を減らすことができる。例えば、ｍｏｔｉｏｎ ｓｋｉｐ ｆｌａｇが０のときにはモーションスキップモードが適用されないし、１のときには現在のブロックにモーションスキップモードが適用される。このモーションスキップ情報はマクロブロックレイヤーに位置することができる。例えば、モーションスキップ情報がマクロブロックレイヤーの拡張領域に位置し、デコーダ側で動き情報をビットストリームから取り込むかを優先的に知らせることができる。
【００４６】
第二の例として、上記の例と同様に、第１ドメインと第２ドメインを変えて同一方式を用いることができる。特に、同一時間ＴｂにおけるＶｂ視点内のオブジェクト（または背景）とそれに隣接するＶａ視点内のオブジェクト（または背景）は、類似の動き情報を持つ確率が高い。この時、同一時間帯の他の視点にある対応ブロックの動き情報をそのまま取り込んで利用すると、高いコーディング効率を得ることができる。このような方式を用いたか否かを表すモーションスキップ情報を用いることができる。
【００４７】
上記２つのモーションスキップモードの場合、現在のユニットに対する相関ブロックを見つける方法が略同様に適用されることができる。以下では、便宜上、上記の第一の例をインタービューモーションスキップとし、第二の例をテンポラルモーションスキップとする。
【００４８】
現在のユニットに対する相関ユニットを見つける方法について説明する。
【００４９】
相関ユニットの位置として、現在のユニットと異なるドメイン上に存在するユニット内の現在のユニットと同じ位置にあるユニットを用いることができる。例えば、インタービューモーションスキップモードの場合、同一時間帯の異なる視点に存在する同一位置のブロックを相関ブロックとして用いることができる。そして、テンポラルモーションスキップモードの場合は、同一視点上の異なる時間帯に存在する同一位置のブロックを相関ブロックとすることができる。または、現在のブロックの隣接ブロックの動き情報を用いて相関ブロックを見つけても良い。これについては上記の実施例で説明した通りである。このように相関ブロックが見つけられると、各相関ブロックの動き情報を用いて現在のブロックの動き情報を予測できる。この相関ブロックが動き情報を持っていないと、モーションスキップモードは適用されない。以上の相関ユニットを見つける方法は、それより小さいか大きいユニットに対して相関ユニットを見つける方法としてもそのまま拡張して用いることができる。
【００５０】
上記の実施例で説明した２つのスキップモード方法を組み合わせて様々な方法で用いることができる。
【００５１】
その第一の実施例として、２つのスキップモードのいずれかを使用したかを区分するためにそれぞれのフラグを別に管理できる。例えば、インタービュースキップモードの場合には、ｉｎｔｅｒ ｖｉｅｗ ｍｏｔｉｏｎ ｓｋｉｐ ｆｌａｇで、テンポラルスキップモードの場合にはｔｅｍｐｏｒａｌ ｍｏｔｉｏｎ ｓｋｉｐ ｆｌａｇで表すことができる。シンタックス上に２個のフラグビットでそれぞれの適用の有無を表すことができる。この場合は、上記２つのスキップモードを全て適用してみた後により良い方法を選択する場合である。または、スライス別に上記２つのスキップモードのうちいずれか一つのみを使用することができる。
【００５２】
例えば、インタービューモーションスキップモードの場合、現在のユニットの隣接ユニットが同一視点上の異なる時間帯に存在するユニットを参照しなければならない。いずれの隣接ユニットもこのような条件を満足できない場合にはインタービューモーションスキップモードを適用できなくなり得る。または、隣接ユニットの動き情報から、視点方向のレファレンスユニットを見つけた後に、このレファレンスユニットが時間方向の動き情報を持つ場合に当該時間方向の動き情報を用いることができる。また、テンポラルモーションスキップモードを適用する時にも類似の方式で適用することができる。すなわち、現在のユニットの隣接ユニットが同一時間帯の異なる視点に存在するユニットを参照しなければならない。いずれの隣接ユニットもこのような条件を満足できない場合に、テンポラルモーションスキップモードを適用できなくなり得る。または、隣接ユニットの動き情報から、時間方向のレファレンスユニットを見つけた後に、このレファレンスユニットが視点方向の動き情報を持つ場合にこの視点方向の動き情報を用いることができる。
【００５３】
他の例として、スライス単位に一つのモーションスキップモードを定めて使用する場合に、スライスヘッダにモーションスキップモードがどのように適用されるかを表す情報を挿入することができる。例えば、ｍｏｔｉｏｎ ｓｋｉｐ ｅｎａｂｌｅというシンタックス要素を用いることができる。ｍｏｔｉｏｎ ｓｋｉｐ ｅｎａｂｌｅが１の場合はインタービューモーションスキップモードが適用され、０の場合はテンポラルモーションスキップモードが適用される。そして、各マクロブロック別にｍｏｔｉｏｎ ｓｋｉｐ ｆｌａｇを用いて該当のマクロブロックにモーションスキップモードが適用されたか否かを表すことができる。このフラグの位置は、マクロブロックレイヤーの拡張領域とすることができる。
【００５４】
第二の実施例として、現在のユニットの隣接ユニットから予測したレファレンスユニットが視点軸上にある場合は、テンポラルモーションスキップモードを適用し、予測したレファレンスユニットが時間軸上にある場合はインタービューモーションスキップモードを適用することができる。これはデコーダ側でわかるので、一つのｍｏｔｉｏｎ ｓｋｉｐ ｆｌａｇのみあれば良い。この場合、隣接ユニットから動き情報を予測する方法によってモードが定められることができる。例えば、デコーダ側でｍｏｔｉｏｎ ｓｋｉｐ ｆｌａｇをパーシングした後、モーションスキップモードが適用される場合に隣接ユニットから動き情報を予測することができる。この予測されたレファレンスユニットが同一時間帯の異なる視点にあるユニットである場合、テンポラルモーションスキップモードを適用できる。予測されたレファレンスユニットが同一視点上の異なる時間帯に存在するユニットである場合、インタービューモーションスキップモードを適用できる。隣接ユニットから相関ユニットを見つけるための動き情報を得るための一方法として、空間直接予測モードにおけると同一の方法でレファレンスインデックス及び動きベクトルを導き出すことができる。
【００５５】
第三の実施例として、上記２つのモーションスキップモードのいずれか一方のみを使用することができる。この場合、ｍｏｔｉｏｎ ｓｋｉｐ ｆｌａｇは一つのみ必要になる。例えば、インタービューモーションスキップモードを適用する時、現在のユニットの隣接ユニットが同一視点上の異なる時間帯のユニットを参照しなければならない。いずれの隣接ユニットもこのような条件を満足できない場合にはインタービューモーションスキップモードを適用できなくなり得る。または、隣接ユニットの動き情報から、視点方向のレファレンスユニットを見つけた後に、このレファレンスユニットが時間方向の動き情報を持つ場合、この時間方向の動き情報を用いることができる。テンポラルモーションスキップモードを適用するときにも類似の方式で適用できる。
【００５６】
また、インタービューモーションスキップモードの場合、相関ユニットの動き情報が視点方向に対する動き情報でない場合に、上記アルゴリズムを適用しなくて良い。または、現在のユニットと相関ユニット、相関ユニットと相関ユニットのレファレンスユニット間の時間差による比例式を用いて動きベクトルを導き出すことができる。同様に、テンポラルモーションスキップモードの場合、相関ブロックの動き情報が時間方向の動き情報でない場合、上記アルゴリズムを適用しなくて良い。または、現在のユニットと相関ユニット、相関ユニットと相関ユニットのレファレンスユニット間の視点間幾何学的（ｇｅｏｍｅｔｒｉｃａｌ）または位相学的（ｔｏｐｏｌｏｇｉｃａｌ）距離による比例式を用いて動きベクトルを導き出すことができる。例えば、実際カメラがＶ０、Ｖ１、Ｖ２順に直線上に位置し、現在のユニットがＶ１に、相関ユニットがＶ０に、相関ユニットのレファレンスユニットがＶ２にあると仮定する。この時、相関ブロックの動きベクトルの各成分の大きさを１／２にして用いることができる。または、実際のカメラ間の距離が与えられた場合、実際距離を考慮して動きベクトルを導き出すことができる。また、カメラが直線上に位置しない場合にも幾何学的または位相学的距離を用いることができる。
【００５７】
また、視点間の区分は視点識別情報からわかる。そして、時間軸上のユニット区分はピクチャ出力順序（Ｐｉｃｔｕｒｅ  Ｏｒｄｅｒ  Ｃｏｕｎｔ）またはフレーム番号（ｆｒａｍｅ  ｎｕｍｂｅｒ）からわかる。多視点ビデオシーケンスでは、レファレンスインデックスだけでは異なる視点間で正確なユニットを見つけることができない。レファレンスユニットの再配列過程が視点間にそれぞれ起きる場合、一方の視点におけるレファレンスインデックスが示すユニットと他方の視点で同一値のレファレンスインデックスが示すユニットとは互いに相応するユニットでない場合があり得る。例えば、Ｖｂ、Ｔｂに存在するマクロブロックＭ１のレファレンスインデックスが示すユニットが、Ｖｂ、Ｔｃに存在するユニット３に該当する場合、Ｖａ視点における同一レファレンスインデックスはＶａ、Ｔａに存在するユニット５に該当することができる。したがって、相関ユニットの動き情報を取り込むときに、レファレンスインデックスでないピクチャ出力順序（ＰＯＣ）、フレーム番号（ｆｒａｍｅ  ｎｕｍｂｅｒ）、及び／または視点識別情報のうち少なくとも一つが必要になり得る。現在のユニットのレファレンスリスト上にあるレファレンスユニットのピクチャ出力順序（ＰＯＣ）、フレーム番号（ｆｒａｍｅｎｕｍｂｅｒ）、及び／または視点識別情報のうち少なくとも一つを比較して同一レファレンスを最終的に見つけることができる。
【００５８】
また、このような方式で導き出された動きベクトルを予測値として用い、実際の動きベクトルを求めてその差値を符号化して用いても良い。この場合、より正確な位置を参照することが可能になる。
【００５９】
図３は、本発明が適用される実施例であって、動きベクトルを予測する方法を示す図である。
【００６０】
エンコーダでは、現在のブロックに隣接するブロックの動き情報を用いて、現在のブロックの動き情報を予測し、実際の動きベクトルと予測された動きベクトルとの差値を伝送する。同様に、デコーダでは、現在のマクロブロックが参照するピクチャの参照ピクチャ番号と隣接ブロックが参照するピクチャの参照ピクチャ番号が同一か否かを判別し、それによって動きベクトル予測値を獲得する。例えば、隣接ブロックに現在のマクロブロックと同じ参照ピクチャ番号を持つブロックが一つのみ存在する場合には、この隣接ブロックの動きベクトルをそのまま使用し、それ以外の場合には、隣接ブロックの動きベクトルの中間値（ｍｅｄｉａｎ  ｖａｌｕｅ）を使用する。
【００６１】
また、多視点ビデオコーディングでは、参照ピクチャが時間軸だけでなく視点軸にも存在できる。このような特性の上、現在のマクロブロックの参照ピクチャ番号と隣接ブロックの参照ピクチャ番号が異なる場合、それらの動きベクトルは何の相関関係をも持たない可能性が高い。この場合、動きベクトル予測値の正確度は非常に落ちてしまう。したがって、本発明が適用される一実施例として、視点間の相関関係を利用した新しい動きベクトル予測方法を提案する。
【００６２】
例えば、視点間に発生する動きベクトルは、各オブジェクトの深さ（ｄｅｐｔｈ）に依存（ｄｅｐｅｎｄｅｎｔ）し得る。映像の深さが空間的に非常に激しい変化がなく、時間軸の変化による映像の動き自体が非常に激しくなければ、各マクロブロック位置における深さ自体は大きく変わらない。ここで、深さ（ｄｅｐｔｈ）とは、視点間の視差を表し得る情報のことを意味することができる。また、基本的にカメラ間にグローバル動きベクトルの影響が存在するので、深さが少し変わってもグローバル動きベクトルが深さ変化に比べて十分に大きいとすれば、相関関係（ｃｏｒｒｅｌａｔｉｏｎ）のない隣ブロックの時間方向動きベクトルを利用するより、このグローバル動きベクトルを利用することがより効率的になり得る。
【００６３】
ここで、グローバル動きベクトル（ｇｌｏｂａｌ  ｍｏｔｉｏｎ  ｖｅｃｔｏｒ）とは、一定領域に共通して適用できる動きベクトルのことを意味する。例えば、動きベクトルが一部領域（例：マクロブロック、ブロック、ピクセル等）に対応するとすれば、グローバル動きベクトルは、この一部領域を含む全体領域に対応する動きベクトルである。例えば、全体領域は、一つのスライスに対応しても良く、一つのピクチャに対応しても良く、シーケンス全体に対応しても良い。または、ピクチャ内の一つ以上のオブジェクト、背景、または一定領域にそれぞれ対応しても良い。このようなグローバル動きベクトルは、画素単位または１／４画素単位の値になっても良く、４ｘ４単位、８ｘ８単位、またはマクロブロック単位の値になっても良い。
【００６４】
本発明が適用される実施例として、同一位置（ｃｏ−ｌｏｃａｔｅｄ）ブロックの視点間動き情報を用いて現在のブロックの動きベクトルを予測できる。ここで、同一位置（ｃｏ−ｌｏｃａｔｅｄ）ブロックは、同一ピクチャに存在する現在のブロックに隣接するブロックを意味しても良く、または、異なるピクチャに含まれた現在のブロックと同じ位置に存在するブロックを意味しても良い。例えば、異なる視点にある異なるピクチャである場合、空間的同一位置（ｓｐａｔｉａｌ  ｃｏ−ｌｏｃａｔｅｄ）のブロックと言っても良く、同一視点にある異なるピクチャの場合には時間的同一位置（ｔｅｍｐｏｒａｌ  ｃｏ−ｌｏｃａｔｅｄ）のブロックと言っても良い。
【００６５】
多視点ビデオコーディング構造では、一定の時間間隔に視点方向にのみ予測するピクチャを備えることによってランダムアクセス（ｒａｎｄｏｍ  ａｃｃｅｓｓ）を実現できる。このように視点方向にのみ動き情報を予測する２つのピクチャが復号化されると、時間的にその間にあるピクチャに対して新しい動きベクトル予測方法を適用することができる。例えば、視点方向にのみ予測するピクチャから視点方向の動きベクトルを得ることができ、これを４ｘ４ブロック単位に保存することができる。視点方向にのみ予測する時に、照明（ｉｌｌｕｍｉｎａｔｉｏｎ）差が非常に激しい場合にはイントラ予測でコーディングされる場合が多く発生する。このときには、動きベクトルを０に設定できる。しかし、照明差が大きいためにイントラ予測で多くコーディングされると視点方向の動きベクトルに対する情報がわからないマクロブロックが多く発生することになる。これを補完する目的で、イントラ予測の場合には隣接ブロックの動きベクトルを用いて仮想の視点間動きベクトル（ｉｎｔｅｒ−ｖｉｅｗ  ｍｏｔｉｏｎ  ｖｅｃｔｏｒ）を計算できる。そして、仮想の視点間動きベクトルを、イントラ予測でコーディングされたブロックの動きベクトルに設定することができる。
【００６６】
このようにして復号化された２個のピクチャから視点間動き情報を獲得した後、その間に存在する階層的（ｈｉｅｒａｒｃｈｉｃａｌ）Ｂピクチャをコーディングすることができる。この時、復号化された２個のピクチャは、アンカーピクチャでありうる。ここで、アンカーピクチャとは、全てのスライスが同一時間帯のフレームにあるスライスのみを参照する符号化されたピクチャのことを意味する。例えば、他の視点にあるスライスのみを参照し、現在の視点にあるスライスは参照しない符号化されたピクチャのことをいう。
【００６７】
また、隣接ブロックがいずれも視点間の（ｉｎｔｅｒ−ｖｉｅｗ）動きベクトルを持っていないとすれば、復号化されたピクチャで同一位置（ｃｏ−ｌｏｃａｔｅｄ）にある４ｘ４ブロックの視点間動きベクトルの平均を用いて、各パーティションの視点間の動きベクトルを予測できる。または、隣接ブロックが視点間の動きベクトルと時間上の（ｔｅｍｐｏｒａｌ）動きベクトルを両方とも持っている場合にも同方式を適用することができる。例えば、下記の式１、２を用いて現在のブロックの動きベクトルを予測できる。
【００６８】
【数１】
2009543508.tif 000003
【００６９】
【数２】
2009543508.tif 000004
【００７０】
ここで、Ｍは、各パーティションの水平ブロックサイズを表し、Ｎは、各パーティションの垂直ブロックサイズを表す。そして、ｍｖ０、ｍｖ１はそれぞれ、復号化されたピクチャのうち、フォワード方向とバックワード方向の参照ピクチャの動きベクトルを表す。例えば、ｍｖ０、ｍｖ１はそれぞれ、アンカーピクチャの視点間の動きベクトルを意味することができる。または、アンカーピクチャのグローバル動きベクトルを意味することができる。
【００７１】
また、隣接ブロックがいずれも視点間の参照ピクチャを持っていても、予測された視点間の動きベクトルの中間値または平均値から新しい動きベクトル予測値を獲得できる。
【００７２】
本発明が適用される他の実施例として、現在のブロックが時間方向に予測コーディングされたりまたはイントラ予測コーディングされた場合には、現在のブロックの視点間の動き情報がわからず、下記のような方法で視点間の動きベクトルを予測することができる。
【００７３】
その一つの方法は、時間方向または視点方向に現在のピクチャの以前の参照ピクチャと以後の参照ピクチャの同一位置のブロックを用いることができる。例えば、４ｘ４ブロックの視点間の動きベクトルを平均して用いることができる。
【００７４】
もう一つの方法は、時間方向の動きベクトルが示すブロックの視点間の動きベクトルを用いることができる。これは同一オブジェクト（ｏｂｊｅｃｔ）を見つけてそのオブジェクトの動きを利用することであるから、動きが大きい場合にもオブジェクトの深さのみ変わらなかったとすればより正確に視点間の動きベクトルを予測できる。この時、時間方向の動きベクトルを用いて見つけた対応ブロックの位置は正確に４ｘ４ブロック単位で一致しないため、最も近い４ｘ４ブロックの動き情報を利用したり、または、対応ブロックに重なった面積の比で加重値を適用した動き情報を利用することができる。次に、このような方法を適用した具体的実施例を、図４を参照しつつ詳細に説明する。
【００７５】
図４は、本発明が適用される実施例であって、現在のブロックと隣接ブロックの参照ピクチャが視点方向か時間方向かによって現在のブロックの動きベクトルを予測する方法を示す図である。
【００７６】
隣接ブロックの参照ピクチャ番号が現在のブロックの参照ピクチャ番号といずれも異なる場合には０または他の予測方法を用いることができる。例えば、図４（ａ）は、隣接ブロックがいずれも視点方向のピクチャを参照し、現在のブロックは時間方向のピクチャを参照する場合である。このとき、現在のブロックの動きベクトル予測値は０に設定できる。図４（ｂ）は、隣接ブロックがいずれも時間方向のピクチャを参照し、現在のブロックは視点方向のピクチャを参照する場合である。このとき、現在のブロックの動きベクトル予測値は、図２または図３で説明した動きベクトル予測方法を適用できる。または、０に）設定することができる。
【００７７】
また、隣接ブロックのうち２個の隣接ブロックのみが現在のブロックと同じ方向のピクチャを参照する場合が挙げられる。例えば、図４（ｃ）は、現在のブロックが時間方向のピクチャを参照するとき、２つの隣接ブロックが時間方向のピクチャを参照し、残りの一つは視点方向のピクチャを参照する場合である。このとき、時間方向のピクチャを参照する２個の隣接ブロックの動きベクトルを平均して現在のブロックの動きベクトル予測値として用いることができる。図４（ｄ）は、現在のブロックが視点方向のピクチャを参照するとき、隣接ブロック２個が視点方向のピクチャを参照し、残りの一つは時間方向のピクチャを参照する場合である。このとき、視点方向のピクチャを参照する２個の隣接ブロックの動きベクトルを平均して現在のブロックの動きベクトル予測値として用いることができる。または、時間方向のピクチャを参照する一つの隣接ブロックに対しては図２または図３で説明した動きベクトル予測方法を適用できる。そして、これによって獲得された動きベクトルと２個の隣接ブロックの動きベクトルから中間値または加重値平均値を獲得し、現在のブロックの動きベクトル予測値として用いることができる。
【００７８】
また、図４（ａ）〜図４（ｄ）に対して図２または図３で説明した予測方法をブロック単位に適用することができる。
【００７９】
図５は、本発明が適用される他の実施例であって、視点間相関関係を用いて現在のブロックのコーディング情報を予測する方法を示す図である。
【００８０】
現在のブロックの動きベクトルを予測する方法において、現在のブロックの視点と異なる視点に存在する対応ブロックを見つけ、この対応ブロックのコーディング情報を用いて現在のブロックのコーディング情報を予測できる。まず、現在のブロックの視点と異なる視点に存在する対応ブロックを見つける方法について説明する。
【００８１】
例えば、対応ブロックは、現在のブロックの視点方向の動きベクトルが示すブロックであり得る。ここで、視点方向の動きベクトルは、視点間の視差を表すベクトルを意味しても良く、または、グローバル動きベクトルを意味しても良い。このグローバル動きベクトルの意味については図３で説明した通りである。また、グローバル動きベクトルは、現在のブロックと同じ時間上にある隣接視点の対応になるブロック位置を示すことができる。図５を参照すると、ピクチャＡ、Ｂは、Ｔａ時間に、ピクチャＣ、ＤはＴcurr時間に、ピクチャＥ、ＦはＴｂ時間に存在する。このとき、Ｔａ、Ｔｂ時間にあるピクチャＡ、Ｂ、Ｅ、Ｆはアンカーピクチャであり、Ｔcurr時間にあるピクチャＣ、Ｄはノンアンカーピクチャであり得る。そして、ピクチャＡ、Ｃ、Ｅは、同一視点Ｖｎ上に存在し、ピクチャＢ、Ｄ、Ｆも同一視点Ｖｍ上に存在する。ピクチャＣが現在復号化しようとするピクチャであり、ピクチャＤの対応マクロブロック（ｃｏｒｒｅｓｐｏｎｄｉｎｇ  ＭＢ）は、現在のブロック（ｃｕｒｒｅｎｔ  ＭＢ）の視点方向のグローバル動きベクトル（ＧＤＶcurr）が示すブロックである。このグローバル動きベクトルは、現在のピクチャと隣接視点にあるピクチャ間のマクロブロック単位に獲得できる。この時、隣視点に関する情報は、視点間参照関係を表す情報からわかる。
【００８２】
視点間参照関係（ｖｉｅｗ  ｄｅｐｅｎｄｅｎｃｙ）を表す情報とは、視点間の映像がいかなる構造で予測されたかがわかる情報のことをいう。これは、ビデオ信号のデータ領域から獲得できるが、例えば、シーケンスパラメータセット領域から獲得できる。また、視点間参照情報は、参照ピクチャの個数と参照ピクチャの視点情報を用いて把握できる。例えば、まず、全体の視点の個数を獲得し、この全体の視点の個数に基づいて各視点を区別する視点情報を把握できる。そして、各視点ごとに参照方向に対する参照ピクチャの個数を獲得できる。この参照ピクチャの個数によって各参照ピクチャの視点情報を獲得できる。このような方式で視点間参照情報が獲得でき、この視点間参照情報はアンカーピクチャの場合とノンアンカーピクチャの場合とに分けて把握されることができる。これは、現在のＮＡＬにあるコーディングされたスライスがアンカーピクチャなのか否かを表すアンカーピクチャ識別情報からわかる。
【００８３】
アンカーピクチャ識別情報によって、グローバル動きベクトルを獲得する方法が異なることができる。例えば、現在のピクチャがアンカーピクチャの場合には、受信したビットストリームからグローバル動きベクトルを獲得できる。現在のピクチャがノンアンカーピクチャの場合には、アンカーピクチャのグローバル動きベクトルから誘導することができる。
【００８４】
このとき、アンカーピクチャのグローバル動きベクトルの他に、時間距離を表す情報も一緒に用いることができる。例えば、図５を参照すると、ピクチャＡのグローバル動きベクトルをＧＤＶＡとし、ピクチャＥのグローバル動きベクトルをＧＤＶＢとすれば、ノンアンカーピクチャである現在のピクチャＣのグローバル動きベクトルは、アンカーピクチャであるピクチャＡ、Ｅのグローバル動きベクトルと時間距離情報を用いて獲得できる。例えば、時間距離情報は、ピクチャ出力順序を表すＰＯＣ（Ｐｉｃｔｕｒｅ  Ｏｒｄｅｒ  Ｃｏｕｎｔ）とすることができる。したがって、現在のピクチャのグローバル動きベクトルは、下記の式３を用いて誘導できる。
【００８５】
【数３】
2009543508.tif 000005
【００８６】
このようにして導き出された現在のピクチャのグローバル動きベクトルが示すブロックを、現在のブロックのコーディング情報を予測するための対応ブロックと見なすことができる。
【００８７】
対応ブロックの全ての動き情報とモード情報を、現在のブロックのコーディング情報を予測するために用いられることができる。このコーディング情報は、動き情報、照明補償（ｉｌｌｕｍｉｎａｔｉｏｎ  ｃｏｍｐｅｎｓａｔｉｏｎ）に関する情報、加重値予測情報など現在のブロックをコーディングするのに必要な様々な情報を含むことができる。現在のマクロブロックにモーションスキップモードが適用される場合には、現在のマクロブロックの動き情報をコーディングせずに、既にコーディングされた他の視点にあるピクチャの動き情報を現在のマクロブロックの動き情報としてそのまま用いることができる。ここで、モーションスキップモードは、隣接視点にある対応ブロックの動き情報に依存して現在のブロックの動き情報を獲得する場合を含む。例えば、現在のマクロブロックにモーションスキップモードが適用される場合、対応ブロックの全ての動き情報、例えば、マクロブロックタイプ、参照インデックス（ｒｅｆｅｒｅｎｃｅ  ｉｎｄｅｘ）、動きベクトルなどをそのまま現在のマクロブロックの動き情報として活用できる。ただし、モーションスキップモードは、例えば、現在のピクチャが既存コデックスと互換可能な基準視点にあるピクチャである場合やアンカーピクチャである場合には、適用されない。そして、モーションスキップモードは、隣接視点に対応ブロックが存在し、この対応ブロックがインター予測モードでコーディングされた場合には適用されることができる。また、モーションスキップモードが適用される場合には視点間参照情報によって、まずＬｉｓｔ０参照ピクチャの動き情報を用い、必要時にはＬｉｓｔ１参照ピクチャの動き情報も用いることができる。
【００８８】
図６は、本発明が適用される実施例であって、現在のブロックのコーディング情報を予測する方法を示す図である。
【００８９】
視点方向のコーディング情報相関度を用いて現在のブロックのコーディング情報を予測する場合により正確な予測が可能になる。また、現在のピクチャのコーディング情報は、時間方向に以前または以後の参照ピクチャから得られたコーディング情報と大きい相関性を持つこととなる。このような特性を利用すると、より正確な予測が可能になる。その具体的な実施例を、図６に基づいて説明する。
【００９０】
図６で、横軸は時間軸（…，Ｔ１，Ｔ２，Ｔ３，…）を表し、便宜上、現在のピクチャを基準にして以前の時間にあるピクチャの方向をフォワード方向とし、以後の時間にあるピクチャの方向をバックワード方向とする。同様に、縦軸は視点軸（…，Ｖ１，Ｖ２，Ｖ３，…）を表し、便宜上、現在のピクチャを基準にして以前の視点Ｖ１にあるピクチャの方向をフォワード方向とし、以後視点Ｖ３にあるピクチャの方向をバックワード方向とする。
【００９１】
本発明の一実施例として、時間方向に現在のピクチャの以前または以後のピクチャから得られた動き情報を用いて現在のピクチャの視点方向の動き情報を予測できる。このような方法はモード情報を利用しても良い。例えば、動き情報予測モードを定義し、この動き情報予測モードが適用されるか否かを知らせることができる。そして、現在のブロックの視点方向の動き情報を予測する時、時間方向に現在のピクチャの以前または以後のピクチャにおいて現在のブロックと同一位置にあるブロック（ｃｏ−ｌｏｃａｔｅｄ  ｂｌｏｃｋ）を用いることができる。または、現在のブロックの隣接ブロックから時間方向の動きベクトルを予測し、この動きベクトルが示すブロックを用いることができる。
【００９２】
例えば、動き情報予測モードが適用される場合、時間方向に現在のピクチャの以前のＲ１または以後のＲ２ピクチャにおいて現在のブロックと同一位置（または、時間方向の動きベクトルが示す位置）にあるブロックの動き情報をそのまま使用することができる。例えば、予測方向情報、パーティション情報及び動きベクトル値をそのまま使用することができる。この場合には、このモードが適用されることを知らせるフラグ情報とブロックテキスチャ差分値をコーディングすることができる。他の実施例として、予測方向情報とパーティション情報をそのまま使用することができる。そして、同一位置にあるブロックの動きベクトル値ｍｖ１，ｍｖ２，ｍｖ３，ｍｖ４を現在のブロックの動きベクトル予測値ｍｖｐＬ０，ｍｖｐＬ１として使用することができる。したがって、動き情報予測モードが適用される場合には、このモードが適用されることを知らせるフラグ情報と動きベクトル差分値、そしてブロックテキスチャ差分値をコーディングすることができる。
【００９３】
他の実施例として、上記の例において現在のブロックの予測方向情報とパーティション情報は、同一位置（または、時間方向の動きベクトルが示す位置）にあるブロックの予測方向情報とパーティション情報をそのまま使用しない。例えば、同一位置にあるブロックの動きベクトル値のみを現在のブロックの動きベクトル予測値として用い、現在のブロックの予測方向情報とパーティション情報は、現在のブロックに隣接するブロックから導き出されることができる。この場合には、予測方向情報の他にパーティション情報もコーディングすることができる。
【００９４】
さらに他の実施例として、現在のピクチャが視点方向に一つの参照ピクチャのみを持つとき、現在のピクチャのコーディング情報を予測する方法について説明する。例えば、現在のピクチャが視点方向にフォワード予測のみ可能なとき、または、参照ピクチャは複数個であるが視点方向にフォワード予測のみ可能なとき、現在のピクチャのコーディング情報を予測する方法がある。具体的な例として、現在のピクチャを基準にするとき、時間方向にフォワード方向とバックワード方向の参照ピクチャＲ１，Ｒ２があるとする。これらの参照ピクチャのうち、現在のブロックと対応位置にあるブロックのコーディング情報を調べる。そして、参照ピクチャの対応位置にあるブロックが視点方向の参照ピクチャを持っているかまたは時間方向の参照ピクチャを持っているか調べる。
【００９５】
もし、参照ピクチャの対応位置にあるブロックがいずれも時間方向の参照ピクチャのみを持っているとすれば、現在のブロックは参照ピクチャの対応位置にあるブロックのコーディング情報を利用しなくて良い。しかし、参照ピクチャの対応位置にあるブロックのいずれか一つのみが視点方向の参照ピクチャを持っている場合、そのブロックのコーディング情報を用いて現在のブロックの視点方向コーディング情報を予測することができる。
【００９６】
また、時間方向にフォワード方向とバックワード方向の参照ピクチャＲ１，Ｒ２がいずれも視点方向のピクチャを参照している場合、現在のブロックのコーディング情報は２つの参照ピクチャのうちいずれか一つのみのコーディング情報から予測できる。これら２つの参照ピクチャのいずれか一つのみのコーディング情報を利用することは、あらかじめ定められた約束によって決定されることができる。例えば、コーディング情報のうちパーティション情報を予測する場合、それら２つの参照ピクチャのパーティション情報を把握し、なかでもより小さい大きさのパーティションを持つ参照ピクチャのパーティション情報を用いることができる。すなわち、現在のブロックのパーティション情報を、２つの参照ピクチャのうちのより小さい大きさのパーティションを持つ参照ピクチャのパーティション情報から予測することができる。その具体的な実施例を、図７で詳細に説明する。
【００９７】
図７は、本発明が適用される実施例であって、時間方向にフォワード方向とバックワード方向の参照ブロックがいずれも視点方向のブロックを参照している場合、現在のブロックのパーティション情報を予測するために、それら２つの参照ブロックのパーティション情報のいずれか一つを選択するための様々な例を示す。
【００９８】
現在のブロックのパーティション情報を予測するために複数個の参照ブロックのパーティション情報のいずれか一つを選択する場合、複数個の参照ブロックのパーティション情報のうち、より小さいパーティションを持つ参照ブロックのパーティション情報を用いることができる。また、時間方向にフォワード方向とバックワード方向の参照ブロックのパーティション情報がいずれも同一パーティション情報を持っていると、現在のブロックのパーティション情報も同一情報として予測できる。しかし、異なる情報を持っている場合には選択ができる。
【００９９】
例えば、時間方向にフォワード方向の参照ブロックのパーティション情報が直接モード（ｄｉｒｅｃｔ  ｍｏｄｅ）を表し、バックワード方向の参照ブロックのパーティション情報が１６ｘ１６、１６ｘ８、８ｘ１６または８ｘ８の場合には、現在のブロックのパーティション情報をそれぞれ１６ｘ１６、１６ｘ８、８ｘ１６または８ｘ８と予測できる。または、時間方向にフォワード方向の参照ブロックのパーティション情報が１６ｘ８を表し、バックワード方向の参照ブロックのパーティション情報が８ｘ８の場合、より細分化されたパーティションである８ｘ８を現在のブロックのパーティション情報予測値として用いることができる。または、時間方向にフォワード方向の参照ブロックのパーティション情報が８ｘ１６を表し、バックワード方向の参照ブロックのパーティション情報が１６ｘ８の場合、より細分化されたパーティションである８ｘ８を現在のブロックのパーティション情報予測値として用いることができる。
【０１００】
図７におけるパーティション情報に対する例を、対応位置にあるブロックのコーディング情報を使用しようとしないときには適用しなくて良い。この時には対応ブロックの視点方向のコーディング情報のみを用いて現在のブロックの視点方向のコーディング情報を予測できる。例えば、参照ブロックのパーティション情報と現在のブロックのパーティション情報が一致する場合には、対応ブロックの視点方向の動きベクトルをそのまま使用することができる。このとき、フォワード方向とバックワード方向にいずれも参照ブロックが存在する場合には、両方向において該当するパーティションの視点方向の動きベクトルを平均したり時間軸上の距離の比で加重値を適用することによって視点方向の動きベクトル予測値を求めることができる。または、与えられた約束によっていずれか一方向の情報のみを利用して良い。
【０１０１】
また、参照ブロックのパーティション情報と現在のブロックのパーティション情報が一致しない場合には、ブロック内の各動きベクトルを平均して用いる。例えば、現在のブロックのパーティション情報が１６ｘ１６ブロックであるが、参照ブロックが１６ｘ８と予測されている場合には、１６ｘ８参照ブロック２個の動きベクトルの平均を１６ｘ１６現在のブロックの動きベクトル予測値として使用することができる。または、フォワード方向とバックワード方向にいずれも参照ブロックが存在する場合には、上述の方法通りに各方向ごとに参照ブロック内のパーティションの各動きベクトルを平均して動きベクトル予測値を求めた後、両方向で該当する視点方向の動きベクトルを平均したり時間軸上の距離の比で加重値を適用し、最終動きベクトル予測値を求める。または、与えられた約束によっていずれか一方向のベクトルのみを利用しても良い。
【０１０２】
また、時間方向にフォワード方向とバックワード方向の参照ピクチャＲ１，Ｒ２がいずれも視点方向のピクチャを参照していても、上記の例と同様に、両参照ピクチャＲ１，Ｒ２のうち一つのみを用いることができる。例えば、フォワード方向の参照ピクチャＲ１のみを用いて現在のブロックのコーディング情報を予測したり、または、バックワード方向の参照ピクチャＲ２のみを用いて現在のブロックのコーディング情報を予測できる。
【０１０３】
または、参照ピクチャＲ１，Ｒ２を両方とも利用したか、あるいは、フォワードまたはバックワード方向参照ピクチャのいずれか一つのみを利用したかを表すフラグ情報を用いて知らせても良い。
【０１０４】
さらに他の実施例として、現在のピクチャが視点方向に複数個の参照ピクチャを持つとき、現在のピクチャのコーディング情報を予測する方法について説明する。例えば、視点方向にフォワード予測、バックワード予測及び双方向予測（ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  ｐｒｅｄｉｃｔｉｏｎ）が全て可能なとき、現在のピクチャのコーディング情報を予測する方法がある。この場合にも、上記の各実施例で説明した方式が同様に適用されることができる。
【０１０５】
他の実施例として、時間方向にフォワード方向とバックワード方向の参照ピクチャＲ１，Ｒ２がいずれも視点方向のピクチャを参照しているとすれば、現在のブロックのコーディング情報を、これら両参照ピクチャのいずれか一つのみのコーディング情報から予測することができる。これら両参照ピクチャのいずれか一方のみのコーディング情報を利用することを、あらかじめ定められた情報によって決定することができる。例えば、コーディング情報のうち予測方向情報を予測する場合、両参照ピクチャの予測方向情報を把握し、それらを包括できる参照ピクチャの予測方向情報を用いることができる。その具体的な実施例を、図８で詳細に説明する。
【０１０６】
図８は、本発明が適用される実施例であって、時間方向にフォワード方向とバックワード方向の参照ピクチャがいずれも視点方向のピクチャを参照している場合、現在のブロックの予測方向情報を予測すべくこれら両参照ピクチャの予測方向情報のいずれか一つを選択するための様々な例を示す。
【０１０７】
現在のブロックの予測方向情報を予測するために複数個の参照ブロックの予測方向情報のいずれか一つを選択する場合、複数個の参照ブロックの予測方向情報のうち、それらを包括できる参照ピクチャの予測方向情報を用いることができる。また、時間方向にフォワード方向とバックワード方向の参照ブロックの予測方向情報がいずれも同じ予測方向情報を持っていると、現在のブロックの予測方向情報も同一情報として予測することができる。しかし、異なる情報を持っている場合には選択ができる。例えば、時間方向にフォワード方向の参照ブロックの予測方向情報が視点方向にフォワード方向を表し、時間方向にバックワード方向の参照ブロックの予測方向情報が視点方向にバックワード方向である場合には、現在のブロックの予測方向情報は双方向（ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ）として予測できる。または、時間方向にフォワード方向の参照ブロックの予測方向情報が視点方向に双方向を表し、時間方向にバックワード方向の参照ブロックの予測方向情報が視点方向にフォワードまたはバックワード方向である場合、これを包括できる双方向を現在のブロックの予測方向情報として予測できる。
【０１０８】
図９は、本発明が適用される実施例であって、現在のブロックの視点方向に対するコーディング情報を予測する方法を説明するためのフローチャートである。
【０１０９】
まず、ビデオ信号から視点間コーディング情報予測モード情報を獲得することができる（Ｓ９１０）。そして、この予測モード情報によって視点間コーディング情報予測が適用される場合、現在のブロックを基準にして時間方向の参照ブロックが視点方向に対するコーディング情報を持っているか確認する（Ｓ９２０）。ここで、参照ブロックは、現在のブロックと同じ位置にある（ｃｏ−ｌｏｃａｔｅｄ）ブロックであるか、現在のブロックの隣接ブロックから導き出された動きベクトルが示すブロックでありうる。このとき、参照ブロックが視点方向に対するコーディング情報を持っていないと、この現在のブロックは、現在ブロックに隣接するブロックのコーディング情報を用いて現在のブロックのコーディング情報を予測できる（Ｓ９３０）。しかし、参照ブロックが視点方向に対するコーディング情報を持っていると、様々な方法を適用することができる。例えば、参照ブロックのうち視点方向のコーディング情報を用いて参照ブロックがいくつか確認する（Ｓ９４０）。これらの参照ブロックのうち、複数個の参照ブロックが視点方向のコーディング情報を持っていると、該参照ブロックのコーディング情報を用いて現在のブロックのコーディング情報を予測できる。例えば、参照ブロックのパーティション情報または予測方向情報を、あらかじめ定められた約束によって、現在のブロックのパーティション情報または予測方向情報の予測値として用いることができる（Ｓ９５０）。また、参照ブロックのいずれか一つの参照ブロックのみが視点方向のコーディング情報を持っている場合には、参照ブロックが時間方向のコーディング情報も持っているか確認する（Ｓ９６０）。確認した結果、参照ブロックが時間方向のコーディング情報を持っていないと、参照ブロックの視点方向に対するコーディング情報を、現在のブロックのコーディング情報の予測値として用いることができる（Ｓ９７０）。このような情報を利用できない場合には、現在のブロックに隣接するブロックのコーディング情報を用いて現在のブロックのコーディング情報予測値を獲得できる（Ｓ９３０）。
【０１１０】
図１０は、本発明が適用される実施例であって、現在のブロックのコーディング情報を予測する方法を示す図である。
【０１１１】
多視点ビデオコーディングにおいて、現在のブロックのコーディング情報を予測するとき、現在のブロックに隣接するブロックのコーディング情報を用いることができる。例えば、コーディング情報には、動き情報、予測方向情報、パーティション情報、照明補償情報などを含むことができる。しかし、隣接ブロックはそれぞれ同一視点内の異なる時間帯にあるピクチャを参照しても良く、同一時間帯の異なる視点にあるピクチャを参照しても良い。または、異なる時間帯の異なる視点にあるピクチャを参照しても良い。したがって、現在のブロックが参照するピクチャが視点方向か時間方向かによって隣接ブロックのコーディング情報を選択的に利用する方法が効果的である。基本的に視点方向のコーディング情報と時間方向のコーディング情報は相関度が落ちるため、視点間予測を行う場合には、コーディング情報予測方法を異なって設計できる。その具体的な実施例を、図１０に基づいて説明する。
【０１１２】
図１０で、横軸は時間軸（…，Ｔ１，Ｔ２，Ｔ３，…）を表し、便宜上、現在のピクチャＴ２を基準にして以前の時間Ｔ１にあるピクチャの方向をフォワード方向とし、以後の時間Ｔ３にあるピクチャの方向をバックワード方向とする。同様に、縦軸は視点軸（…、Ｖ１，Ｖ２，Ｖ３，…）を表し、便宜上、現在のピクチャＶ２を基準にして以前の視点Ｖ１にあるピクチャの方向をフォワード方向とし、以後の視点Ｖ３にあるピクチャの方向をバックワード方向とする。
【０１１３】
本発明の実施例として、現在のブロックの視点方向に対するコーディング情報を予測するために現在のブロックに隣接するブロックＡ，Ｂ，Ｃ，Ｄのコーディング情報を用いることができる。例えば、隣接ブロックが視点方向のピクチャを参照する場合、隣接ブロックのコーディング情報を現在のブロックのコーディング情報予測値として用いることができる。または、隣接ブロックが時間方向のピクチャを参照する場合には、隣接ブロックのコーディング情報を０に設定できる。または、隣接ブロックがイントラ予測コーディングされた場合には隣接ブロックのコーディング情報を使用しなかったり０に設定することができる。
【０１１４】
他の実施例で、現在のブロックに隣接するブロックＢが時間方向のピクチャＲ３を参照する場合、時間方向の参照ピクチャＲ３のコーディング情報を用いて現在のブロックの視点方向のコーディング情報を予測できる。例えば、まず、現在のブロックに隣接するブロックＢの動きベクトルが示す位置のブロックを見つける。この時、図１０のＲ３参照ピクチャのように、隣接ブロックＢの動きベクトルが示す位置のブロックがＲ３参照ピクチャの正規格子構造内のいずれかのブロックと正確に一致しないことがある。すなわち、複数個のブロックと重なることがある。このような場合、現在のブロックの視点方向に対するコーディング情報を予測するために様々な実施例を適用することができる。
【０１１５】
その一実施例として、まず、隣接ブロックＢの動きベクトルが示す位置のブロックと重なるブロックのうち、視点方向のピクチャを参照するブロックがあるか確認することができる。例えば、隣接ブロックＢの動きベクトルが示す位置のブロックと重なるブロックのうち、視点方向のピクチャを参照するブロックが一つも存在しない場合（例えば、時間方向に予測されたブロックまたはイントラ予測されたブロック）には、重なるブロックは利用しなくて良い。もし、全ての重なるブロックが除去されて現在のブロックの視点方向の動きベクトルを予測できない場合には、隣接ブロックＢは現在のブロックの動きベクトルを予測するために利用しないか、０に設定することができる。
【０１１６】
しかし、重なるブロックのうち視点方向のピクチャを参照するブロックが一つ以上存在する場合には、重なる面積が最も広いブロックのコーディング情報を用いることができる。例えば、重なる面積が最も広いブロックの視点方向に対する動きベクトル値を、現在のブロックの視点方向に対する動きベクトル予測値として用いることができる。または、２個以上の領域が同一面積で最も広く重なると、これら最も広く重なったブロックの平均値または中間値を用いて求めても良い。また、各重なる領域の面積に加重値を適用して求める方法も可能である。そして、各重なる領域を単純平均する方法も適用できる。もし重なる領域で利用されるブロックが視点方向に双方向予測（ｂｉ−ｄｉｒｅｃｔｉｏｎａｌ  ｐｒｅｄｉｃｔｉｏｎ）コーディングされた場合には、各視点方向のコーディング情報を利用する際に上記で説明した方法を適用できる。
【０１１７】
また、多視点ビデオコーディングされたピクチャは、時間方向の双方向予測が可能なため、それぞれの場合に対して次のように詳細なアルゴリズムを適用することができる。
【０１１８】
まず、時間方向のピクチャを参照するとき、予測方向がフォワードまたはバックワードのいずれか一方向であれば、上記で説明された方法をそのまま適用できる。しかし、時間方向に双方向予測である場合には、各方向に対して、時間方向の動きベクトルを用いて見つけたブロックが視点方向のピクチャを参照するか否か確認することができる。２方向のうち一方向のみ視点方向のピクチャを参照する場合には、視点方向のピクチャを参照するブロックのコーディング情報のみを用いることができる。しかし、両方向の参照ブロックがいずれも視点方向のピクチャを参照していると、両方向の参照ブロックのコーディング情報を全て用いることができる。このとき、両方向の参照ブロックのコーディング情報を利用する際に上記で説明した方法をそのまま適用できる。例えば、現在のブロックに隣接するブロックの動きベクトルが示す位置のブロックと重なるブロックのうち、視点方向のピクチャを参照するブロックのコーディング情報を用いることができる。そして、それによる具体的な利用方法も、上記で説明された方法をそのまま適用することができる。
【０１１９】
また、両方向の参照ブロックが視点方向のピクチャを参照する場合として様々な実施例を挙げることができる。例えば、参照ブロックが視点方向にいずれもフォワード予測である、いずれもバックワード予測である、または、双方向予測であり得る。またはいずれか一つは双方向予測、残り一つはフォワードまたはバックワード予測であり得る。このようなそれぞれの場合に対しても、上記で説明された方法をそのまま適用できる。
【０１２０】
両方向の参照ブロックのコーディング情報を獲得した場合、コーディング情報を平均しそれを現在のブロックに隣接するブロックの視点方向コーディング情報として用いることができる。このとき、時間方向にフォワード方向の参照ブロックとバックワード方向の参照ブロックの時間的距離が異なると、加重値を適用しても良い。
【０１２１】
上記で説明した方法で現在のブロックに隣接するブロックのそれぞれに対して視点方向のコーディング情報を予測した後に、現在のブロックのコーディング情報を予測できる。または、既存の方式で現在のブロックのコーディング情報を予測する過程で、上記で説明した方法で視点方向のコーディング情報を予測しても良い。
【０１２２】
図１１は、本発明が適用される実施例であって、現在のブロックの視点方向に対するコーディング情報を予測する方法を示すフローチャートである。
【０１２３】
まず、現在のブロックに隣接するブロックが視点方向のピクチャを参照するか否か確認することができる（Ｓ１１１０）。このとき、隣接ブロックを一定の順番で確認することができる。例えば、現在のブロックの左側にあるブロック（Ａ）をまず確認し後、順次に、現在のブロックの上側にあるブロック（Ｂ）を確認し、上側ブロック（Ｂ）の右側にあるブロック（Ｃ）を確認し、上側ブロック（Ｂ）の左側にあるブロック（Ｄ）を確認することができる。または、上側にあるブロック（Ｂ）をまず確認することができ、順次に、現在のブロックの左側ブロック（Ａ）、上側ブロック（Ｂ）の右側ブロック（Ｃ）、上側ブロック（Ｂ）の左側ブロック（Ｄ）を確認することができる。この確認過程によって隣接ブロックが視点方向のピクチャを参照する場合、隣接ブロックの視点方向に対するコーディング情報を用いて現在のブロックのコーディング情報を予測できる（Ｓ１１２０）。しかし、隣接ブロックが視点方向のピクチャを参照しない場合、例えば隣接ブロックがイントラコーディングされた場合には隣接ブロックのコーディング情報を利用しなかったりまたは０にセッティングすることができる（Ｓ１１３０）。
【０１２４】
または、隣接ブロックが視点方向のピクチャを参照しない場合の他の例として、隣接ブロックが時間方向のピクチャを参照する場合には、時間方向の参照ブロックをサーチできる（Ｓ１１４０）。そして、サーチされた参照ブロックと時間方向の参照ピクチャのブロックとが重なる部分を確認することができる。このとき、重なるブロックのうち、視点方向のピクチャを参照するブロックが存在するか否か確認することができる（Ｓ１１５０）。その結果、重なるブロックが視点方向のピクチャを参照しない場合には、重なるブロックのコーディング情報を利用しなかったり０にセッティングすることができる（Ｓ１１６０）。しかし、重なるブロックが視点方向のピクチャを参照する場合には、重なるブロックの視点方向に対するコーディング情報を用いて現在のブロックのコーディング情報を予測できる（Ｓ１１７０）。このとき、重なるブロックのうち、視点方向のピクチャを参照するブロックが一つ以上存在する場合には、重なる面積が最も広いブロックのコーディング情報を用いることができる。例えば、重なる面積が最も広いブロックの視点方向に対する動きベクトル値を、現在のブロックの視点方向に対する動きベクトル予測値として用いることができる。または、２個以上の領域が同一面積で最も広く重なると、これら最も広く重なったブロックの平均値または中間値を用いて求めても良い。また、各重なる領域の面積に加重値を適用して求める方法も可能である。そして、各重なる領域を単純平均する方法も適用可能である。重なる領域で用いられるブロックが視点方向に双方向予測コーディングされた場合には、各視点方向のコーディング情報を利用するにあたって図１０で説明した方法を適用できる。
【０１２５】
本明細書及び請求範囲で使われた用語や単語は、通常的または事典的な意味に限定して解釈されてならず、発明者は自身の発明を最も最善の方法で説明するために用語の概念を適切に定義することができるという原則に基づき、本発明の技術的思想に符合する意味と概念として解釈されなければならない。したがって、本明細書に記載された実施例と図面に示された構成は、本発明の最も好ましい一例に過ぎず、本発明の技術的思想を限定するものではなく、よって、本出願時点においてそれらの様々な均等物と変形例があり得るということは明らかである。
【産業上の利用可能性】
【０１２６】
ビデオ信号データを圧縮符号化する技術は、空間的な冗長性、時間的な冗長性、スケーラブルな冗長性、視点間存在する冗長性を考慮している。このような圧縮符号化過程で視点間に存在する相互冗長性を考慮して圧縮コーディングをすることができる。視点間冗長性を考慮する圧縮コーディングに対する技術は、本発明の実施例に過ぎず、本発明の技術的思想は、時間的冗長性、スケーラブルな重複性のいずれにも適用されることができる。
【図１】
2009543508.tif 000006
【図２】
2009543508.tif 000007
【図３】
2009543508.tif 000008
【図４】
2009543508.tif 000009
【図５】
2009543508.tif 000010
【図６】
2009543508.tif 000011
【図７】
2009543508.tif 000012
【図８】
2009543508.tif 000013
【図９】
2009543508.tif 000014
【図１０】
2009543508.tif 000015
【図１１】
2009543508.tif 000016
【国際調査報告】
2009543508.tif 000017
2009543508.tif 000018