(57)【特許請求の範囲】
【請求項１】
現在ピクチャが、視点間予測のみによってコーディングされるアンカーピクチャであるかノンアンカーピクチャであるかを示すアンカーピクチャフラッグ情報であって、現在視点における前記現在ピクチャのアンカーピクチャフラッグ情報を多視点ビデオ信号から獲得し、
前記アンカーピクチャフラッグ情報が、前記現在ピクチャは前記ノンアンカーピクチャであることを示す場合は、前記現在ピクチャにおける現在ブロックに関するモーションスキップフラッグを獲得し、
前記現在ブロックが前記モーションスキップフラッグに従ってモーションスキップモードでコーディングされる場合、参照視点における参照ブロックの時間予測に関するイントラモーション情報を用いることによって、前記現在ブロックの時間予測に関するイントラモーション情報を生成し、
前記の生成されたイントラモーション情報に基づいて、前記現在視点における対応ブロックを決定し、
前記の決定された対応ブロックを用いることによって、前記現在視点における前記現在ブロックをデコーディングし、
前記の生成段階は、
各視点間参照ピクチャに関する視点間参照ピクチャの個数情報及び視点決定情報に基づいて決定される視点従属性に基づいて、前記現在ブロックの視点間予測に関する参照視点を決定する段階と、
前記の決定された参照視点と、前記現在ピクチャの視点間予測に関するインターモーション情報とに基づいて、前記の決定された参照視点内の前記参照ブロックを決定する段階であって、前記インターモーション情報は、前記アンカーピクチャの視点間予測に関するインターモーション情報から導出され、前記アンカーピクチャのインターモーション情報は前記多視点ビデオ信号から抽出される段階と、
前記の決定された参照ブロックの前記イントラモーション情報を獲得する段階と、
を含むことを特徴とする、多視点ビデオ信号のデコーディング方法。
【請求項２】
前記対応ブロックは、現在ピクチャを除く、前記現在視点における他のピクチャに存在する、請求項１に記載の多視点ビデオ信号のデコーディング方法。
【請求項３】
前記イントラモーション情報は、モーションベクトル、ブロックタイプ情報、及び参照インデックスを含む、請求項１に記載の多視点ビデオ信号のデコーディング方法。
【請求項４】
前記参照ブロックは、前記参照視点におけるピクチャのうちの前記現在ブロックと同じ時間を有するピクチャ内に存在する、請求項１に記載の多視点ビデオ信号のデコーディング方法。
【請求項５】
前記多視点ビデオ信号は、放送信号として受信される、請求項１に記載の多視点ビデオ信号のデコーディング方法。
【請求項６】
前記多視点ビデオ信号は、デジタル媒体を通じて受信される、請求項１に記載の多視点ビデオ信号のデコーディング方法。
【請求項７】
請求項１に記載の方法を実行させるためのプログラムを記録したコンピュータ読取可能記憶媒体。
【請求項８】
現在ピクチャが、アンカーピクチャであるかノンアンカーピクチャであるかを示すアンカーピクチャフラッグ情報であって、現在視点における前記現在ピクチャのアンカーピクチャフラッグ情報を多視点ビデオ信号から獲得するように構成され、
前記アンカーピクチャは視点間予測のみによってコーディングされ、前記アンカーピクチャフラッグ情報が、前記現在ピクチャは前記ノンアンカーピクチャであることを示す場合は、前記現在ピクチャにおける現在ブロックに関するモーションスキップフラッグを獲得するように構成される、
パーシング部と、
前記現在ブロックが前記モーションスキップフラッグに従ってモーションスキップモードでコーディングされる場合、
各視点間参照ピクチャに関する視点間参照ピクチャの個数情報及び視点決定情報に基づいて決定される視点従属性に基づいて、前記現在ブロックの視点間予測に関する参照視点を決定するように構成され、
前記の決定された参照視点と、前記現在ピクチャの視点間予測に関するインターモーション情報とに基づいて、前記の決定された参照視点内の前記参照ブロックを決定し、前記現在ピクチャの前記インターモーション情報は、前記アンカーピクチャの視点間予測に関するインターモーション情報から導出され、前記アンカーピクチャのインターモーション情報は前記多視点ビデオ信号から抽出されるように構成され、
前記参照ブロックの時間予測に関するイントラモーション情報を用いることによって、前記現在ブロックの時間予測に関するイントラモーション情報を生成するように構成され、
前記の生成されたイントラモーション情報に基づいて、前記現在視点における対応ブロックを決定するように構成され、
前記の決定された対応ブロックを用いることによって、前記現在視点における前記現在ブロックをデコーディングするように構成される、
インター予測部と、
を含むことを特徴とする、多視点ビデオ信号デコーディング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号の処理に関し、より詳細には、ビデオ信号をデコーディングするビデオ信号処理方法及び装置に関する。
【背景技術】
【０００２】
圧縮符号化とは、デジタル化した情報を通信回線を通じて伝送したり、記憶媒体に適合した形態で記憶する一連の信号処理技術のことを意味する。圧縮符号化の対象には、音声、映像、文字などの対象が存在し、特に映像を対象に圧縮符号化を行なう技術を、ビデオ映像圧縮と称する。ビデオ映像の一般的な特徴は、空間的重複性、時間的重複性を持っている点にある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
このような空間的重複性及び時間的重複性を十分に除去しないと、ビデオ信号の符号化において圧縮率が低くなるという問題が生じ、一方、空間的重複性及び時間的重複性を過度に除去すると、ビデオ信号のデコーディングに必要な情報を十分に生成できず、復元率が悪くなるという問題点につながる。
【０００４】
特に、多視点ビデオ信号において、視点間ピクチャは、大部分の場合、カメラの位置による差のみしか存在しないため、関連性と重複性が非常に高く、このような視点間重複性を十分に除去しないと、圧縮率または復元率が非常に低くなるという問題が生じる。
【０００５】
本発明は、上記のような問題点を解決するためのもので、関連性のある視点間ピクチャを区分し、関連性のある視点間ピクチャのモーション情報のみをデコーディングすることによって視点間ピクチャの重複性が除去されたビデオ信号をデコーディングできるビデオ信号処理方法及び装置を提供する。
【０００６】
本発明の他の目的は、視点間ピクチャの関連性に基づいて関連性のあるピクチャのモーション情報を用いてビデオ信号をデコーディングするビデオ信号処理方法及び装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記の目的を達成するための本発明の一側面によるビデオ信号処理方法は、参照視点に存在し、部分的にデコーディングされたインター参照ユニットのイントラモーション情報を用いて、現在視点に存在するイントラ参照ブロックを決定し、該イントラ参照ブロックを用いて、現在視点に存在する現在ブロックをデコーディングすることを特徴とする。
【０００８】
また、上記目的を達成するために、本発明の他の側面によるビデオ信号処理方法は、現在視点に存在する現在ユニットのインターモーション情報を用いて、参照視点に存在し、部分的にデコーディングされた参照ユニットのイントラモーション情報を獲得し、該イントラモーション情報を用いて現在視点の現在ユニットをデコーディングすることを特徴とする。
【発明の効果】
【０００９】
本発明に一側面によれば、ビデオ信号を復号化するにあたり、関連性のないピクチャの復号化を省略できるため、ビデオ信号の復元が迅速にできるという効果を奏する。
【００１０】
本発明の他の側面によれば、ビデオ信号を符号化するにあたり、重複性の高いモーション情報を省略できるため、圧縮率が向上する効果がある。
【００１１】
本発明のさらに他の側面によれば、現在ブロックのモーション情報が伝送されなくても、他の視点に存在する対応ブロックのモーション情報を用いて現在ブロックのモーション情報を誘導できるため、圧縮率が向上する効果がある。
【図面の簡単な説明】
【００１２】
【図１】本発明のビデオ信号デコーディング装置の概略構成図である。
【図２】本発明の一実施例によるＮＡＬヘッダ拡張領域に追加される多視点映像に関する属性情報を示す図である。
【図３】本発明の一実施例によるＳＰＳ拡張領域に追加される多視点映像に関する属性情報を示す図である。
【図４】本発明の一実施例による単一ループモードによるビデオ信号デコーディング装置の構成図である。
【図５】本発明の一実施例による単一ループモードによるビデオ信号デコーディング方法を示す図である。
【図６】本発明の一実施例による単一ループモードによるビデオ信号デコーディング方法を示す図である。
【図７】本発明の一実施例によるモーションスキップモードのためのシンタックスの例を示す図である。
【図８】本発明の一実施例によるモーションスキップモードのためのシンタックスの例を示す図である。
【図９】本発明の一実施例によるモーションスキップモードのためのシンタックスの例を示す図である。
【図１０】本発明の一実施例によるモーション情報獲得部及びインターモーション情報獲得部の構成を示す図である。
【図１１】他の実施例によるモーションスキップモードのためのシンタックスの例を示す図である。
【図１２】他の実施例によるモーションスキップモードのためのシンタックスの例を示す図である。
【図１３】他の実施例によるモーションスキップモードのためのシンタックスの例を示す図である。
【発明を実施するための形態】
【００１３】
以下、添付の図面を参照しつつ、本発明の好ましい実施例を詳細に説明する。ただし、本明細書及び特許請求の範囲で使用される用語や単語を、通常の、または辞書的な意味に限定して解釈してはならず、発明者は自身の発明を最善の方法で説明するために用語の概念を適切に定義することができるという原則に基づき、本発明の技術的思想に符合する意味と概念として解釈しなければならない。したがって、本明細書に記載された実施例と図面に示された構成は、本発明の好ましい一実施例に過ぎず、本発明の技術的思想を限定するものではないため、本出願時点においてこれらに取って代わるような様々な均等物と変形例が存在しうる。
【００１４】
なお、本発明で使われる用語は、可能なかぎり、現在広く使われる一般的な用語を選択したが、場合によっては、出願人が任意に選定した用語もあり、その場合は、該当する発明の説明部分において詳細にその意味を記載しておいたので、単純な用語の名称ではなく用語が有する意味でもって本発明を把握しなければならない。
【００１５】
ビデオ信号を圧縮符号化する技術は、空間的重複性、時間的重複性、スケーラブルな重複性、及び視点間重複性を考慮して、圧縮符号化過程で視点間に存在する相互重複性を考慮して圧縮コーディングを行なうことができる。視点間重複性を考慮する圧縮技術は、本発明の一実施例に過ぎず、本発明の技術的思想は、時間的重複性、空間的重複性などにも適用することができる。
【００１６】
まず、本発明で使われるユニットとは、ビデオ信号に適用するにあたり、ブロック、サブブロック、マクロブロック、スライス、ピクチャ、フレーム、ピクチャグループ、シーケンスなどの意味を有することができる。例えば、このユニットは、ブロック、サブブロック、マクロブロックなどを表す下位ユニットと、スライス、ピクチャ、フレーム、ピクチャ、グループ、シーケンスなどを表す上位ユニットとして用いることができる。したがって、ユニットの意味は、それぞれの適用例によってそれに相応する意味として解釈されなければならない。また、ビデオ信号以外に、他の信号などに適用する時には、その信号に適合する他の意味として解釈されるべきである。
【００１７】
特に、本発明におけるモーション情報は、時間方向のモーション情報だけでなく、視点間方向のモーション情報を含む概念として理解されるべきである。さらに、モーションベクトルは、時間方向の動きの差だけでなく、視点間方向の変移差まで含む概念として理解すべきである。
【００１８】
また、第１ドメインは、時間方向、第１ドメイン上のピクチャは、同一視点を有するピクチャの集合を示すものとして限定してはならないし、第２ドメインは、視点方向（または、空間方向）、第２ドメイン上のピクチャは、同一時間を有するピクチャの集合を示すものとして限定して解釈してはならない。また、該第１ドメインと第２ドメインは、時間方向及び視点方向のうち、それぞれ１つの方向を指すものとして解釈することができる。
【００１９】
図１は、本発明が適用されるビデオ信号デコーディング装置の概略構成図であり、パーシング部１００、エントロピーデコーディング部２００、逆量子化／逆変換部３００、イントラ予測部４００、デブロッキングフィルタ部５００、復号ピクチャバッファ部６００、及びインター予測部７００を含む。
【００２０】
パーシング部１００は、受信したビデオ映像を復号するためにネットワーク抽象レイヤ（ＮＡＬ；Network Abstraction Layer）単位にパーシングを行なう。一般に、スライスヘッダとスライスデータがデコーディングされる前に、１つ以上のシーケンスパラメータセットとピクチャパラメータセットがデコーダに伝送される。この時、ＮＡＬヘッダ領域、ＮＡＬヘッダの拡張領域またはシーケンスパラメータセットの拡張領域は、ビデオ映像の様々な属性情報を含むことができる。
【００２１】
多視点映像コーディング（ＭＶＣ；Multi-view Video Coding）は、ＡＶＣ技術に対する追加的な技術で、ＭＶＣビットストリームである場合に限って、それと関連する種々の属性情報を追加することができる。例えば、ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域でＭＶＣビットストリームであるか否かを識別できるフラッグ情報を追加することができる。このフラッグ情報によって入力されたビットストリームが、多視点映像コーディングされたビットストリームである場合に限って、多視点映像に関する属性情報を追加することができる。これら属性情報は、優先順位情報、ピクチャ属性情報、単一ビュー情報などを含むことができる。ＮＡＬ単位に含まれるこれら属性情報については、図２及び図３で詳細に後述する。
【００２２】
図２は、本発明の一実施例による、ＮＡＬヘッダの拡張領域内に優先順位情報を含むＮＡＬ単位の構成を示す図である。ＮＡＬ単位は、基本的に、ＮＡＬヘッダとローバイトシーケンスペイロード(ＲＢＳＰ；Raw Byte Sequence Payload）の２部分で構成される。ＮＡＬヘッダには、そのＮＡＬ単位の参照ピクチャとなるスライスが含まれているか否かを表すフラッグ情報（nal_ref_idc）とＮＡＬ単位の種類を表す識別子（nal_unit_type）情報とが含まれている。また、映像の優先順位を表す情報である優先順位情報（priority_id）をさらに含むことができる。
【００２３】
ＮＡＬ単位では、ＮＡＬヘッダが１４または２０の識別番号を有する場合、該当するピクチャがスケーラブル符号化（ＳＶＣ；Scalable Video Coding）またはＭＶＣビデオ信号であるか否か判断する。該当のピクチャがＭＶＣにより構成された場合、ＮＡＬ単位は優先順位情報（priority_id）を含む。該優先順位情報によって多視点映像の視点ピクチャのデコーディング順序が決定され、それぞれの視点ピクチャは自身よりも少ない数の優先情報を有する視点間ピクチャを参照してデコーディングを行なうこととなる。優先情報は、多視点映像においてその値が小さいほど、優先順位が高いことを表す。
【００２４】
ＲＢＳＰには、圧縮された原本のデータを保存し、ＲＢＳＰの長さを８ビットの倍数で表現するために、ＲＢＳＰの最後には、ＲＢＳＰ末尾（ＲＢＳＰ埋め草ビット）を付加する。
【００２５】
本発明において現在視点とは、多視点映像においてデコーディングして出力しようとする視点のことをいう。現在視点は、時間ドメイン上で複数のピクチャを含んでおり、現在視点自体は１つまたはそれ以上であってもよい。現在視点を構成するそれぞれのピクチャは、他の視点または他の時間上ピクチャと従属性を有することができる。また、現在視点は、他のピクチャとの従属性の有無によらず全ての情報がデコーディングされなければならない。
【００２６】
また、本発明において、部分的デコーディングは、上位ユニットにおける部分的デコーディングと下位ユニットにおける部分的デコーディングを含み、部分的デコーディングの詳細な説明は、該当する部分で後述する。特に、上位ユニットの部分的デコーディングの一例は、本発明の単一ビューデコーディングモードであってもよい。
【００２７】
図３は、本発明の一実施例による、シーケンスパラメータセット（ＳＰＳ：Sequence Parameter Set）拡張領域内に単一ビューデコーディング情報（non_anchor_single_loop_decoding_flag）を含むＮＡＬ単位の構成を示す図である。ここで、単一ビューデコーディングモードとは、現在視点に属する現在ピクチャが参照するピクチャでレジデュアルなどの情報はデコーディングせずに、モーション情報やブロックタイプのみを部分的にデコーディングする方式のことをいう。単一ビューデコーディング情報は、該当のシーケンスが単一ループ方式を行なうか否かを表すもので、単一ビューデコーディング情報が０の場合は、一般的な多重ビューモードであって、現在視点に属する現在ピクチャの復号化に参照される参照ピクチャを含めた参照視点のあらゆるピクチャのあらゆる情報をデコーディングする。一方、単一ビューデコーディング情報が‘１’の値を有する場合は、現在ピクチャが参照しない視点のピクチャはデコーディングせずに、現在ピクチャが参照する視点に含まれた参照ピクチャのモーション情報（レファレンスインデックス、モーションベクトル等）とマクロブロックタイプのみを部分的にデコーディングする。
【００２８】
例えば、ＮＡＬ単位のＮＡＬヘッダが１５の識別番号を有する場合、ＮＡＬ単位は、ＭＶＣを示すプロファイル識別子によって下部ＭＶＣ拡張プロファイルを呼び出す。この下部ＭＶＣ拡張プロファイルは、ＳＰＳ拡張領域内に単一ビューデコーディング情報（non_anchor_single_loop_decoding_flag）を含む。
【００２９】
図１を参照すると、パーシングされたビットストリームは、エントロピーデコーディング部２０でエントロピーデコーディングされ、各マクロブロックの係数、モーションベクトルなどが抽出される。逆量子化／逆変換部３０では、受信した量子化された値に定数を乗じて変換された係数値を獲得し、該係数値を逆変換して画素値を復元する。イントラ予測部４０は、復元された画素値を用いて現在ピクチャ内のデコーディングされたサンプルから画面内予測を行なう。デブロッキングフィルタ部５０では、それぞれのコーディングされたマクロブロックにブロック歪現象を減少させるためにフィルタを使用する。フィルタは、ブロックの縁を緩やかにしてデコーディングされたフレームの画質を向上させ、このようなフィルタリング過程の選択は、境界強度と境界周囲のイメージサンプルの変化に左右される。デブロッキングフィルタ部５０から出力されたピクチャは、出力及び／または参照ピクチャとして用いられるために復号ピクチャバッファ部６０に入力されて保存される。
【００３０】
復号ピクチャバッファ部６０は、イントラ予測部４０で画面内予測を行なうために、以前にコーディングされたピクチャを保存または、既に保存されたピクチャを出力する。多視点映像ビデオコーディングにおいて、保存または出力されるピクチャは、現在ピクチャと異なる視点のピクチャも含む。したがって、このようなピクチャを全て参照ピクチャとして用いるためには、各ピクチャのframe_num、ピクチャオーダーカウント（ＰＯＣ；Picture Order Count）などを用いることとなる。また、frame_num、POCの他に、それぞれのピクチャの視点を識別できる視点情報などを用いることもできる。
【００３１】
本発明による単一ビューデコーディングモードとは、画面間予測を行なう時に、現在視点に含まれる現在ピクチャのデコーディングのために、現在視点と異なる視点に含まれるピクチャを全部デコーディングせずに、現在ピクチャが参照する参照ピクチャのモーション情報とブロックタイプのみをデコーディングした後、その情報を用いて現在ピクチャを復元する方式のことをいう。視点間ピクチャは、同じ対象をカメラの位置のみを別にして撮影されたピクチャで、これらは互いに類似性が大きく、現在ピクチャのモーション情報においても現在ピクチャが参照する他の視点のモーション情報と類似性が大きい。
【００３２】
特に、現在ピクチャは、画面間予測のために最も類似する他の視点のピクチャを参照するので、現在ピクチャの復号化のために実質的に必要な情報はほとんど参照ピクチャに存在する。しかし、一般的に多視点ビデオ映像の復元時、現在ピクチャの参照ピクチャ以外のピクチャもいずれもデコーディングする方式を採択しており、モーション情報以外の参照ピクチャに関する他の情報も必要とされるから、映像の数が増大したり、使用者が特定ビューのみを視聴したい場合、非効率的な側面がある。したがって、多視点ビデオ信号の場合は、特に本発明による単一ビューデコーディングモードを用いる方が有利である。
【００３３】
インター予測部７０は、復号ピクチャバッファ部６０から出力される既に保存されたピクチャを参照ピクチャとして用いて画面間予測を行なう。インター予測部７０は、多重ビューモードでは、エントロピーデコーディング部２０から伝送される情報を用いて現在ブロックのモーションをデコーディングする。ビデオ信号から現在ブロックに隣接するブロックのモーションベクトルを抽出し、現在ブロックのモーションベクトル予測値を獲得する。獲得されたモーションベクトル予測値とビデオ信号から抽出される差分ベクトルを用いて現在ブロックのモーションを補償する。
【００３４】
しかし、本発明の単一ビューデコーディングモードでは、視点間予測時に、現在ブロックのモーション情報を、他の視点に位置する参照ブロックのモーション情報を用いて抽出する。このモーション情報の抽出は、１つ以上の参照ブロックを用いて行なうことができる。多視点ビデオコーディングにおいて、現在ピクチャが他の視点にあるピクチャを参照する場合には、シーケンスレベルで獲得した視点従属性を用いてモーション情報を獲得し、該モーション情報を用いて現在ブロックをデコーディングすることができる。このモーション情報を獲得する過程については、図１０以下で詳細に後述する。
【００３５】
上記の過程によってインター予測されたピクチャ及びイントラ予測されたピクチャは、予測モードによって選択され、現在ピクチャを復元することとなる。特に、単一ビューデコーディングモードで行なう場合、現在ピクチャが現在視点に属するピクチャの視点間予測のための参照ピクチャとして用いられる場合、モーション情報とブロックタイプのような部分的な情報のみをデコーディングする。そして、ターゲット視点に属するピクチャをデコーディングする時、参照ピクチャのモーション情報とブロックタイプを用いて現在ブロックのモーション情報とブロックタイプを獲得し、獲得されたモーション情報を用いて現在ブロックをデコーディングする。
【００３６】
以下、図面を参照しつつ、本発明による単一ビューデコーディングモードについて具体的に説明する。
【００３７】
図４は、本発明の一実施例による単一ビューデコーディングモードに従うビデオ信号デコーディング装置のインター予測部７０の概略ブロック図であり、図５及び図６は、本発明の一実施例による単一ビューデコーディングモードに従うビデオ信号のデコーディング方法を示す図である。
【００３８】
まず、図４を参照すると、多視点ビデオ映像の画面間予測を行なう本発明のビデオ受信装置の構成は、大きく、単一ビューデコーディング判別部４１０、第１参照ピクチャ判別部４２０、第２参照ピクチャ判別部４３０、モーションスキップ判別部４４０、インターモーション情報獲得部４５０、モーション情報獲得部４６０、現在ブロック復元部４７０を含む。モーションスキップ判別部４４０、インターモーション情報獲得部４５０、及びモーション情報獲得部４６０は、モーションスキップモードと関連した部分で詳細に後述する。
【００３９】
単一ビューデコーディング判別部４１０は、単一ビューデコーディング情報（non_anchor_single_loop_decoding_flag）などを抽出し、現在シーケンスが単一ビューデコーディングモードか否かを判別する。図３で説明した通り、ＮＡＬ単位のＳＰＳ拡張領域から単一ビューデコーディング情報を抽出する。単一ビューデコーディング情報は、ターゲット視点に属する現在ブロックが視点間予測のための参照ブロックのモーション情報のみを用いてデコーディングされる単一ビューデコーディングモードが用いられたか否かを表す情報で、単一ビューデコーディング情報（non_anchor_single_loop_decoding_flag）が‘０’の場合は、現在ブロックの復元のために多重ビューモードによって参照ブロックの全ての情報をデコーディングすることを意味する。
【００４０】
単一ビューデコーディングモードは、ターゲット視点に属する現在ピクチャの復元のために、多視点ピクチャの一部のみをデコーディングすることとなる。しかし、アンカーピクチャの場合、視点間予測のみが存在するため、現在ピクチャがアンカーピクチャであれば時間的予測のためのモーション情報が存在しない。したがって、現在ピクチャがアンカーピクチャなら、現在ピクチャの全ての情報をデコーディングしなければならない。したがって、単一ビューデコーディング判別部４１０で判別する段階以前に、ＮＡＬユニットのヘッダ拡張領域のアンカーピクチャフラッグ情報（anchor_pic_flag）を抽出する過程をさらに含むことができる（図示せず）。アンカーピクチャフラッグ情報（anchor_pic_flag）は、現在ピクチャがアンカーピクチャか否かを表す情報である。現在ピクチャがアンカーピクチャである場合には、単一ビューデコーディングモードが用いられないため、単一ビューデコーディング情報を抽出する必要がない。
【００４１】
単一ビューデコーディング情報が‘０’の場合は、現在ピクチャの参照されるピクチャのみを部分的にデコーディングする必要がないので、デコーディングする参照ピクチャを判別する段階が不要になり、第１参照ピクチャ判別部４２０及び第２参照ピクチャ判別部４３０を経由することなくモーションスキップ判別部４４０に入力される。一方、単一ビューデコーディング情報が‘１’の場合は、第１参照ピクチャ判別部４２０及び第２参照ピクチャ判別部４３０で現在ピクチャの復元のためにデコーディングされる参照ピクチャの判別が必要とされる。この判別の過程について、図５及び図６を参照して詳細に説明する。
【００４２】
図５を参照すると、第１参照ピクチャ判別部４２０に入力されたビデオ信号は、図２の優先順位情報を参照して、現在ピクチャの復元のためにデコーディングするピクチャを含む視点を判断し、不要な視点に含まれたピクチャと関連したビットストリームを除去する。図５で、ｘ軸は時間ドメイン、ｙ軸は視点ドメイン、ピクチャ内の数字は、優先順位情報を表す。上記の如く、優先順位情報は、数字が小さいほど高い優先順位を有する。例えば、現在ピクチャがＳ２視点に存在する場合、優先順位情報は５であり、この数字よりも大きい優先順位情報である６を有するＳ１視点のピクチャは、現在ピクチャのデコーディングのために不要になる。したがって、第１参照ピクチャ判別部４２０において、現在視点の優先順位情報よりも大きい数字の優先順位情報を有する視点のピクチャはいずれもデコーディングされなくなる。
【００４３】
その後、図６を参照すると、第２参照ピクチャ判別部４３０は、現在視点において、ノンアンカーピクチャの視点従属性を判断する。ノンアンカーピクチャにおける視点従属性は、現在のピクチャが、他の視点に属するピクチャの視点間予測に参照されるか否かを表すものである。視点従属性は、ＳＰＳ拡張情報によって決定することができ、シーケンスパラメータセット拡張情報を用いて視点従属性を判断する過程は、ブロック単位のデコーディング過程以前に行なうことができる。
【００４４】
図６で、矢印は視点の従属関係を表し、第１参照ピクチャ判別部４２０で一次に除去されて残ったピクチャに対して、第２参照ピクチャ判別部４３０で視点従属性のないピクチャを除去する。したがって、図６では、現在ビューであるＳ２レベルのピクチャに対して、Ｔ０時間でＳ０レベルのピクチャは視点従属関係を有するので、デコーディングが行なわれ、Ｔ１時間においてはＳ０レベルのピクチャは視点従属関係がないので、デコーディングが行なわれない。
【００４５】
一方、ノンアンカーピクチャの視点従属性は、視点間参照ピクチャの個数情報（num_non_anchor_refs_lX）及び参照ピクチャの視点判別情報（non_anchor_ref_lX）によって決定することができる。ノンアンカーピクチャである現在ピクチャと視点従属性を有しないピクチャは、現在ピクチャのデコーディングのために視点従属性のないピクチャのモーション情報は不要な点から、デコーディングしない。したがって、第２参照ピクチャ判別部４３０では、現在ピクチャと視点従属性を有する参照ピクチャを判別し、後述するモーションスキップモードで、判別された参照ピクチャの情報を用いて現在ピクチャを復元することができる。
【００４６】
本発明によるモーションスキップモードとは、ピクチャ間予測に必要なモーション情報（例えば、ブロックタイプ、モーションベクトル、参照ピクチャ判別情報、予測方向識別情報など）が伝送されない場合、自身で、他の視点に存在するブロックのモーション情報を用いて現在ブロックのモーション情報を生成する方式のことをいう。特に、多視点映像のうち視点間ユニットは、カメラの位置のみを別にして得られたもので、互いに類似性が大きく、モーション情報においても現在ユニットと他のユニット、例えば、他の視点に存在する参照ブロックとの間に大きな類似性を有する。
【００４７】
図４及び図７を参照すると、本発明のモーションスキップ判別部４４０は、現在ユニットのモーション情報を、他の視点のユニットのモーション情報を用いて生成するか否かを判別する。この時、図７に示すように、モーションスキップフラッグ（motion_skip_enable_flag）を用いることができる。万一、モーションスキップフラッグが‘０’の場合は、モーションスキップモードを行なわずに伝送されたビットストリームから現在ブロックのモーション情報を獲得する。一方、モーションスキップフラッグが‘１’の場合は、モーションスキップモードを行なって現在ブロックのモーション情報を、他の視点に存在するブロックのモーション情報から誘導する。
【００４８】
また、図８及び図９は、本発明の他の実施例によるモーションスキップフラッグ情報を伝送する場合におけるシンタックスの一例である。図８を参照すると、アンカーピクチャは、視点間予測のみでデコーディングを行なうため、モーションスキップモードが使用されない。したがって、現在スライスの属するピクチャがアンカーピクチャである場合、モーションスキップフラッグ情報を抽出する必要がない。したがって、全てのスライスに対してモーションスキップフラッグ情報を抽出する必要はなく、ノンアンカーピクチャである条件（if（!anchor_pic_flag））のときに限ってモーションスキップフラッグ情報を獲得することができる。
【００４９】
図９を参照すると、モーションスキップモードはノンアンカーピクチャにのみ適用され、単一ビューデコーディングモードもノンアンカーピクチャで適用されるため、単一ビューデコーディング情報（non_anchor_single_loop_decoding_flag）が‘１’であって、単一ビューデコーディングモードを利用する場合は、該当するノンアンカーピクチャでモーションスキップモードが適用されることが類推できる。したがって、ノンアンカーピクチャ及び単一ビューデコーディングモードである条件（if(!anchor_pic_flag && !non_anchor_single_loop_decoding_flag)）のときに限ってモーションスキップフラッグ情報を獲得し、コーディングの複雑度を減少させることができる。
【００５０】
図１０は、本発明の一実施例によるモーション情報獲得部及びグローバルモーションベクトル獲得部の構成を示す図である。図１０を参照すると、モーション情報獲得部４６０は、モーション情報抽出部４６１、モーション情報スキップ部４６２、インター参照ブロック探索部４６４、モーション情報発生部４６５、イントラモーション情報抽出部４６６、及びイントラ参照ブロック獲得部４６７を含む。現在ブロックがモーションスキップモードでない場合は、モーション情報抽出部４６１で、現在ブロックに伝送されたモーション情報を抽出する。しかし、現在ユニットがモーションスキップモードである場合は、モーション情報スキップ部４６３では、現在ユニットでモーション情報をビットストリームから抽出することを省略する。その後、インター参照ブロック探索部４６４では、インター参照ユニット内における参照ブロックを探索する。
【００５１】
インター参照ブロック探索部４６４は、インター参照ブロックを探索するために、まず、参照ブロックが存在する参照視点を決定する。参照視点とは、現在ブロックの属する視点と異なる視点で、現在ブロックのモーション情報として使用するのに好適なモーション情報を有するピクチャの視点である。現在ブロックの隣接視点の視点識別子は、スライスレイヤまたはマクロブロックレイヤに含まれる特定変数を通じて明示的に伝送することができる。または、明示的に伝送されずに、上記の単一ビュー判別時に現在ピクチャの視点従属性に基づいて、現在ブロックの隣接視点の識別子を推定しても良い。また、参照視点は、それに含まれる全てのピクチャ単位のユニットがデコーディングされるのではなく、現在ブロックを含むピクチャとの視点従属性の有無によって部分的にデコーディングすることができる。
【００５２】
本発明において、部分的なデコーディングは、視点またはピクチャ単位で使用される時には、指示する視点またはピクチャに含まれるそれぞれの下位ユニットがいずれもデコーディングされていないということを表し、ブロック単位で使用される時には、レジデュアル情報などはデコーディングされず、モーション情報及びブロックタイプのみデコーディングされるということを表す。
【００５３】
上記参照視点を決定するために、順次に、現在ピクチャと視点従属性を有するピクチャの該当ブロックがイントラモードでなされていないピクチャを検索する。視点従属性を有するピクチャは、２つ以上の参照ピクチャリストのうち、１つのリストに存在することができ、例えば、１番目のリストに属する参照ピクチャのうち、現在ピクチャと最も近接しているピクチャの該当ブロックを検索する。該当ブロックがイントラモードでなされた場合は、２番目のリストに属する参照ピクチャのうち、現在ピクチャと最も近接しているピクチャの該当ブロックを検索する。この該当のブロックもイントラモードでなされた場合には、再び１番目のリストに属する参照ピクチャのうち、最も近接しているピクチャに続いて二番目に近接しているピクチャの該当のブロックを検索し、この該当のブロックがインターモードでなされた場合に、この該当のブロックを有するピクチャを参照ピクチャとして決定する。このような参照ピクチャの決定は、該当のブロックがイントラモードでなされていない場合まで、１番目の参照ピクチャリスト、２番目の参照ピクチャリストを交互に検索し続ける。また、それぞれのリストで該当のブロックの検索を行なうピクチャの順序は、視点識別子（view_id）に従うことができるが、これに限定されることはない。
【００５４】
その後、インター参照ブロック探索部４６４は、参照ブロックを探索するために、視点間の変移差を表す情報を用いることができる。例えば、視点間に生じるモーションベクトルは、各客体の深さに依存してもよく、映像の深さが、空間的に非常に激しい変化がなく、時間軸の変化による映像の動き自体が非常に激しくないとすれば、各マクロブロック位置における深さ自体は大きく変わらない。ここで、深さは、視点間の変移差を表しうる情報を意味する。
【００５５】
本発明の方法によれば、参照視点の対応ブロックは、インターモーション情報を用いて決定される。インターモーション情報は、視点間予測のためのもので、視点間重複性を減少させるために用いられ、例えば、グローバルモーションベクトル、ローカルモーションベクトルなどを含むことができる。基本的に、多視点ビデオ映像（ＭＶＣ）では、カメラ間にグローバルモーションベクトルなどのインターモーション情報の影響が存在しうるので、インターモーション情報が深さ変化に比べて十分に大きい場合、インターモーション情報を利用することが効率的である。
【００５６】
インターモーション情報とは、その一部領域を含む全体領域に対応するモーション情報のことをいう。ここで、全体領域は１つのスライスに対応しても良く、１つのピクチャに対応しても良く、シーケンス全体に対応しても良い。場合によっては、ピクチャ内の１つ以上のオブジェクト領域、及び背景にそれぞれ対応しても良い。
【００５７】
一方、下位ユニットのインターモーション情報は、４×４ブロック単位、８×８ブロック単位、マクロブロック単位、ピクセル単位、または１／４ピクセル単位の値を有することができ、一方、上位ユニットのインターモーション情報の一例であるグローバルモーション情報は、スライス単位、ピクチャまたはフレーム単位、またはフィールド単位の値を有することができる。
【００５８】
インターモーション情報の伝送方式も様々であり、例えば、ノンアンカーピクチャ内の全てのスライスごとに伝送されても良く、ノンアンカーピクチャごとに伝送されても良く、アンカーピクチャに属するスライスごとに伝送されても良い。また、アンカーピクチャごとに伝送されてもよい。ノンアンカーピクチャの視点従属性がある場合に限って、アンカーピクチャの各スライスごとに伝送されてもよい。
【００５９】
図１１〜図１３は、本発明の他の実施例によるインターモーション情報の一例であるグローバルモーションベクトル情報を伝送するシンタックスの一例を示す図である。
【００６０】
図１１を参照すると、グローバルモーションベクトル情報は、モーションスキップモード時にモーション情報を生成するために必要なもので、ノンアンカーピクチャにおいて用いられる。多重ビューデコーディングモードは、ノンアンカーピクチャでピクセル情報を用いた画面間予測及びモーションスキップモードがいずれも適用されるので、一部ノンアンカーピクチャのブロックは、下位ユニットに対応する視点間モーションベクトルを有することができる。この視点間モーションベクトルは、視点内予測のための視点内モーション情報を誘導するために用いることができるので、上の場合ではモーションスキップのためにグローバルモーションベクトルを伝送する必要がない。
【００６１】
一方、単一ビューデコーディングモードのノンアンカーピクチャは、モーションスキップのみを行なうので、現在視点に属する現在ブロックをデコーディングするには、参照視点のインター参照ブロックからモーション情報を獲得しなければならない。したがって、ノンアンカーピクチャのモーションスキップのために、すなわち、参照視点のインター参照ブロックを獲得するために、ノンアンカーピクチャはグローバルモーションベクトル情報が必要である。一方、全ての場合においてグローバルモーションベクトル情報を抽出する必要があるわけではない。すなわち、デコーディングモードが単一ビューデコーディングモードで、現在ピクチャがアンカーピクチャであるとき（if(anchor_pic_flag && non_anchor_single_loop_decoding_flag)）に限って、グローバルモーションベクトル情報を獲得することができる。
【００６２】
図１２を参照すると、グローバルモーションベクトルは、ノンアンカーピクチャのモーションスキップのために必要な情報で、必ずしもアンカーピクチャでのみ伝送されるわけではない。したがって、ノンアンカーピクチャである条件（if(!anchor_pic_flag)）でそれぞれのノンアンカーピクチャごとにグローバルモーションベクトルを伝送することができる。また、図１３を参照すると、グローバルモーションベクトルは、単一ビューデコーディングモードか多重ビューデコーディングモードかにかかわらず、ノンアンカーピクチャでモーションスキップを行なうために用いられるので、現在ピクチャがノンアンカーピクチャであり、モーションスキップモードのとき（if(!anchor_pic_flag && motion_skip_enable_flag)）に限って、グローバルモーションベクトルを伝送できる。
【００６３】
再び図１０を参照すると、インターモーション情報獲得部４５０は、図１０〜図１２で提示したような条件の下にグローバルモーションベクトルを獲得し、それをインター参照ブロック探索部４６４に入力することができる。インター参照ブロック探索部４６４は上記グローバルモーションベクトルを獲得できる。このグローバルモーションベクトルは、アンカーピクチャのグローバルモーションベクトルに基づいて算出されたものであっても良く、アンカーピクチャのグローバルモーションベクトルが伝送されない場合（例えば、アンカーピクチャの視点従属性がない場合）には、あらかじめ定められた値またはあらかじめ定められた方式で算出された値であっても良いが、本発明はこれに限定されない。
【００６４】
インター参照ブロック探索部４６４は、決定された参照視点及びインターモーション情報を用いてインター参照ブロックを決定する。具体的には、参照ブロック（mbAddrNeighbor）は、現在ブロックと同一位置（mbAddr）からグローバルモーションベクトル（globalDisparityMbLX）だけ移動した地点の位置で、参照ブロックのアドレスは下記の式１で計算することができる。
【００６５】
mbAddrNeighbor = mbAddr + globalDisparityMbLX[1] * PicWidthInMbs + globalDisparityMbLX[0]        （１）
【００６６】
上記式１を参照すると、参照ブロックのアドレス（mbAddrNeighbor）は、現在ブロックのアドレス（mbAddr）にインターモーション情報（globalDisparityMbLX）のアドレス値を加算した値であり、ここで、インターモーション情報のアドレス値（globalDisparityMbLX[1]*PicWidthInMbs+globalDisparityMbLX[0]）とは、例えば、インターモーション情報がグローバルモーションベクトルである場合、グローバルモーションベクトルのｙ軸成分（globalDisparityMbLX[1]）にピクチャ内の横方向のブロック個数（PicWidthInMbs）を乗算し、ここにグローバルモーションベクトルのｘ軸成分（globalDisparityMbLX[０]）を加算することによって、二次元ベクトルを一次元インデックスに変換した値である。ここで、参照ブロックは、隣接視点にあるピクチャの中でも、現在ブロックと同一時間を有するピクチャ内に存在するものと決定することが好ましく、これは、全体的にはデコーディングされず、モーション情報及びブロックタイプのみを部分的にデコーディングする。このモーション情報は、モーションベクトル及び参照インデックスのうちいずれか１つ以上にすることができる。
【００６７】
また、本発明のデコーディング方法によれば、参照ブロックは、視点内予測のための、ここでは、例えば、時間的な予測のためのイントラモーション情報を含む。このイントラモーション情報は、同一視点において他の時間帯にあるピクチャの予測のための情報で、モーションベクトル、ブロックタイプ情報、または参照インデックス情報などを含むことができる。対応ブロックのイントラモーション情報によって、本発明の現在ブロックは、現在ブロックと同じ視点上の他のピクチャに存在するイントラ参照ブロックを決定でき、このイントラ参照ブロックから現在ブロックのデコーディングに必要な情報を獲得して利用することができる。
【００６８】
モーション情報発生部４６５は、参照ブロックのモーション情報及びブロックタイプを抽出する。参照ブロックのモーション情報またはブロックタイプは、モーション情報抽出部４６１により現在ブロックから抽出された情報であってもよい。例えば、多重ループモードにおいて、現在視点に属する現在ブロックが、視点間予測のためのモーション情報を有しているとき、視点間モーション情報を用いて、参照ブロックを含む参照ピクチャと参照ブロックの位置を獲得できる。
【００６９】
モーション情報発生部４６５は、上記の方法で抽出されたモーション情報とブロックタイプを用いて、現在ブロックのモーション情報とブロックタイプを獲得する。参照ブロックのモーション情報をそのまま現在ブロックのモーション情報として用いることができるが、本発明はこれに限定されない。
【００７０】
多重ループデコーディングモードにおけるモーションスキップモードは、モーション情報発生部４６５で獲得した現在ブロックのモーション情報を用いて、参照ピクチャにあるピクセル値とビットストリームから伝送されるレジデュアル値とを合算してピクセル値を獲得する。しかし、本発明のビデオ信号処理方法による単一ビューデコーディングモードでは、上述の如く、現在視点に存在する現在ピクチャと視点従属性を有する参照ピクチャとして用いられるピクチャから、モーションベクトル、ブロックタイプ、レファレンスインデックスなどのモーション情報のみをデコーディングし、多重ループ方式で行なうピクセル値を獲得する段階は行なわない。したがって、単一ビューデコーディングモードは、多重ビューデコーディングモードのモーションスキップとは違い、複雑性を減少させることができる。
【００７１】
また、単一ビュー方式のモーションスキップは、現在視点に属する現在ピクチャの参照ピクチャでブロックタイプ及びモーション情報のみをパーシングしてデコーディングし、上記の如く、モーション情報から参照ピクチャでデコーディングを行なわないので、レジデュアルなどのモーション情報以外の情報を参照ピクチャから獲得することができない。参照ピクチャから獲得できないモーション情報以外の現在ピクチャの復元に必要な情報は、既にデコーディングされた現在ピクチャと同一ビューの他の時間上のピクチャを参照して獲得することとなる。
【００７２】
本発明のビデオ信号処理方法は、プロファイルによって行なうことができる。ここで、プロファイル（圧縮符号化機能）とは、ビデオ符号化／復号化過程でアルゴリズム符号化過程を実行するための処理順序上入る技術的構成要素を規格化したものを意味する。すなわち、圧縮された映像のビット列を復号するために必要な技術要素の集合といえる。
【００７３】
このようなプロファイルは、代表的な応用システムごとに最小限に必要とされる技術要素と機能を集めておいたものと定義され、本発明のビデオ信号処理方法においては、下記のようなプロファイルを定義することができる。
【００７４】
まず、単一ビューデコーディングプロファイルは、参照視点の部分的なデコーディングを許容し、参照ブロックの場合には、モーション情報及びブロックタイプのみをデコーディングすること許容する。
【００７５】
単一ビューデコーディングプロファイルでは、現在視点と関連した参照視点は、視点従属性情報を用いて、従属性を有する参照視点を部分的にデコーディングする方式を採択する。このような参照視点の選択は、ビューレベル概念を適用でき、例えば、現在ビューがＳ２の場合、Ｓ２よりも高いビューレベルは部分的にもデコーディングされない場合がありうる。したがって、モーションスキップ情報（motion_skip_flag）は、Ｂ及びＰビュー両方でコーディングされる。
【００７６】
また、多重ビューデコーディングプロファイルは、アクセスユニットに存在する全てのビューを全部デコーディングする方式を採択する。したがって、このプロファイルでは、全てのビューが視点従属性情報とは無関係にモーションスキップモードのために利用されるので、モーションスキップ情報は、Ｂ及びＰビュー両方でコーディングされる。
【００７７】
以上説明したように、本発明が適用されるデコーディング／エンコーディング装置は、デジタル方式のマルチメディア放送（ＤＭＢ；Digital Multimedia Broadcasting）のようなマルチメディア放送送／受信装置に備えられ、ビデオ信号及びデータ信号などを復号化するのに使用することができる。また、このマルチメディア放送送／受信装置は、移動通信端末機を含むことができる。
【００７８】
また、本発明が適用されるデコーディング／エンコーディング方法は、コンピュータで実行するためのプログラムとして製作し、コンピュータ読み取り可能な記録媒体に記憶することができ、本発明によるデータ構造を有するマルチメディアデータも、コンピュータ読み取り可能な記録媒体に記憶することができる。このコンピュータ読み取り可能な記録媒体は、コンピュータシステムによって読み取られるようなデータが記憶される如何なる種類の記憶装置も含む。コンピュータ読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置などがあり、なお、キャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現化されるものも含む。また、上記エンコーディング方法によって生成されたビットストリームは、コンピュータ読み取り可能な記録媒体に記憶したり、有／無線通信網を介して伝送したりすることができる。
【産業上の利用可能性】
【００７９】
本発明は、多視点ビデオ符号化及び復号化に利用することができる。
【図１】
0005475464.tif 000002
【図２】
0005475464.tif 000003
【図３】
0005475464.tif 000004
【図４】
0005475464.tif 000005
【図５】
0005475464.tif 000006
【図６】
0005475464.tif 000007
【図７】
0005475464.tif 000008
【図８】
0005475464.tif 000009
【図９】
0005475464.tif 000010
【図１０】
0005475464.tif 000011
【図１１】
0005475464.tif 000012
【図１２】
0005475464.tif 000013
【図１３】
0005475464.tif 000014