(57)【特許請求の範囲】
【請求項１】
基準視点のピクチャを予測コーディングして生成された動き情報を獲得するステップと、
非基準視点のピクチャを予測コーディングして生成された動き情報を獲得するステップと、
前記基準視点のピクチャの動きベクトル方向情報を利用して、Ｐ＊Ｑ、ＰとＱは自然数、を決定するステップと、
前記動きベクトル方向情報が、前記基準視点のピクチャから獲得した前記動き情報の水平成分が前記基準視点のピクチャから獲得した前記動き情報の垂直成分より大きいことを示す時、ＰとＱは、Ｐ＞Ｑであると決定し、
前記動きベクトル方向情報が、前記基準視点のピクチャから獲得した前記動き情報の垂直成分が前記基準視点のピクチャから獲得した前記動き情報の水平成分より大きいことを示す時、ＰとＱは、Ｐ＜Ｑであると決定し、
前記基準視点のピクチャから獲得した前記動き情報の中からＰ＊Ｑブロックについての動き情報を格納するステップと、
前記非基準視点のピクチャから獲得した前記動き情報の中からＰ＊Ｑブロックについての動き情報を格納するステップと、を含む、多視点ビデオ信号処理方法。
【請求項２】
前記ピクチャのそれぞれは、８Ｍ＊８Ｍブロックで構成され、Ｍは、自然数であり、
前記非基準視点のピクチャの動き情報を獲得するステップは、
前記非基準視点のピクチャにおいて、４Ｍ＊４Ｍブロック毎に２Ｍ＊２Ｍブロックを決定するステップと、
前記決定された２Ｍ＊２Ｍブロックの動き情報を、前記４Ｍ＊４Ｍブロックの代表動き情報として獲得するステップとを含む、請求項１に記載の多視点ビデオ信号処理方法。
【請求項３】
前記２Ｍ＊２Ｍブロックを決定するステップは、
前記４Ｍ＊４Ｍブロック内の左上端に位置した２Ｍ＊２Ｍブロックを選択するステップを含む、請求項２に記載の多視点ビデオ信号処理方法。
【請求項４】
前記動き情報は、動きベクトル及び参照インデックス情報を含む、請求項１に記載の多視点ビデオ信号処理方法。
【請求項５】
基準視点のピクチャを予測コーディングして生成された動き情報を獲得し、非基準視点のピクチャを予測コーディングして生成された動き情報を獲得する、動き情報獲得部と、
前記基準視点のピクチャの動きベクトル方向情報を利用して、Ｐ＊Ｑ、ＰとＱは自然数、を決定し、
前記動きベクトル方向情報が、前記基準視点のピクチャから獲得した前記動き情報の水平成分が前記基準視点のピクチャから獲得した前記動き情報の垂直成分より大きいことを示す時、ＰとＱは、Ｐ＞Ｑであると決定し、
前記動きベクトル方向情報が、前記基準視点のピクチャから獲得した前記動き情報の垂直成分が前記基準視点のピクチャから獲得した前記動き情報の水平成分より大きいことを示す時、ＰとＱは、Ｐ＜Ｑであると決定し、
前記基準視点のピクチャから獲得した前記動き情報の中からＰ＊Ｑブロックについての動き情報を格納し、
前記非基準視点のピクチャから獲得した前記動き情報の中からＰ＊Ｑブロックについての動き情報を格納する、動き情報格納部と、を含む、多視点ビデオ信号処理装置。
【請求項６】
前記ピクチャのそれぞれは、８Ｍ＊８Ｍブロックで構成され、Ｍは自然数であり、
前記動き情報獲得部は、
前記非基準視点のピクチャにおいて、４Ｍ＊４Ｍブロック毎に２Ｍ＊２Ｍブロックを決定し、前記決定された２Ｍ＊２Ｍブロックの動き情報を、前記４Ｍ＊４Ｍブロックの代表動き情報として獲得する、請求項５に記載の多視点ビデオ信号処理装置。
【請求項７】
前記動き情報獲得部は、
前記４Ｍ＊４Ｍブロック内の左上端に位置した２Ｍ＊２Ｍブロックを選択する、請求項６に記載の多視点ビデオ信号処理装置。
【請求項８】
前記動き情報は、
動きベクトル及び参照インデックス情報を含む、請求項５に記載の多視点ビデオ信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点ビデオ信号のコーディング方法及び装置に関する。
【背景技術】
【０００２】
圧縮符号化とは、デジタル化した情報を通信回線を介して伝送したり、格納媒体に適した形態で格納したりする一連の信号処理技術を意味する。圧縮符号化の対象としては、音声、映像、文字などが存在し、特に、映像を対象として圧縮符号化を行う技術をビデオ映像圧縮と称する。多視点ビデオ映像の一般的な特徴は、空間的冗長性、時間的冗長性及び視点間冗長性を有している点にある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、ビデオ信号のコーディング効率を高めることにある。
【課題を解決するための手段】
【０００４】
本発明は、基準視点のピクチャを予測コーディングして生成された動き情報をそのまま獲得し、非基準視点のピクチャを予測コーディングして生成された動き情報のうち、非基準視点のピクチャの一部のブロックに対する動き情報を獲得することを特徴とする。
【０００５】
また、本発明は、獲得された動き情報をピクチャの動きベクトル方向情報を用いて圧縮格納することを特徴とする。
【発明の効果】
【０００６】
本発明は、非基準視点のピクチャの動き情報を圧縮獲得することで、格納部の大きさ及びデータ情報量を減少させる一方、非基準視点のピクチャの動き予測のために用いられる基準視点のピクチャの動き情報は圧縮せずに獲得することで、予測の正確度を向上させることができる。
【０００７】
また、獲得された動き情報をピクチャの動きベクトル方向情報に応じて可変的に圧縮格納することで、格納部の大きさを減少させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明が適用される一実施例であって、ビデオエンコーダの概略的なブロック図である。
【図２】本発明が適用される一実施例であって、インター予測部の概略的な構成を示す図である。
【図３】本発明が適用される一実施例であって、動き情報を獲得して圧縮格納する方法を説明するための図である。
【図４】本発明が適用される一実施例であって、動き情報を獲得して圧縮格納する方法を説明するための図である。
【図５】本発明が適用される一実施例であって、動き情報を獲得して圧縮格納する方法を説明するための図である。
【図６】本発明が適用される一実施例であって、動き情報を獲得して圧縮格納する方法を説明するための図である。
【図７】本発明が適用される一実施例であって、動き情報を獲得して圧縮格納する方法を説明するための図である。
【図８】本発明が適用される一実施例であって、動き情報を獲得して圧縮格納する方法を説明するための図である。
【図９】本発明が適用される一実施例であって、動き情報を獲得して格納する方法を示すフローチャートである。
【図１０】本発明が適用される一実施例であって、獲得された動き情報を圧縮格納する方法を示すフローチャートである。
【発明を実施するための形態】
【０００９】
本発明の一実施例に係る多視点ビデオ信号の処理方法は、基準視点のピクチャを予測コーディングして生成された動き情報を獲得するステップと、非基準視点のピクチャを予測コーディングして生成された動き情報のうち、前記非基準視点のピクチャの一部のブロックに対する動き情報を獲得するステップと、前記基準視点及び前記非基準視点のピクチャ毎に獲得された動き情報を圧縮して格納するステップとを含む。
【００１０】
一方、本発明の一実施例に係る多視点ビデオ信号の処理装置は、基準視点のピクチャを予測コーディングして生成された動き情報を獲得し、非基準視点のピクチャを予測コーディングして生成された動き情報のうち、前記非基準視点のピクチャの一部のブロックに対する動き情報を獲得する、動き情報獲得部と、前記基準視点及び前記非基準視点のピクチャ毎に獲得された動き情報を圧縮して格納する動き情報格納部とを含む。
【００１１】
多視点ビデオ信号データを圧縮符号化または復号化する技術は、空間的冗長性、時間的冗長性及び視点間に存在する冗長性を考慮している。また、多視点映像の場合、３次元映像を具現するために２つ以上の視点で撮影された多視点テクスチャ映像をコーディングすることができる。また、必要に応じて、多視点テクスチャ映像に対応するデプスデータをさらにコーディングすることもできる。デプスデータをコーディングする際に、空間的冗長性、時間的冗長性または視点間冗長性を考慮して圧縮コーディングできることは勿論である。デプスデータは、カメラと当該画素との間の距離情報を表現したものであり、本明細書内におけるデプスデータは、デプス情報、デプス映像、デプスピクチャ、デプスシーケンス、デプスビットストリームなどのように、デプスに関連する情報として柔軟に解釈することができる。また、本明細書におけるコーディングというのは、エンコーディングとデコーディングの概念を全て含むことができ、本発明の技術的思想及び技術的範囲によって柔軟に解釈することができる。
【００１２】
一方、隣接視点のテクスチャブロックは、視点間変位ベクトルを用いて特定可能である。ここで、視点間変位ベクトルは、現在視点テクスチャブロックの隣接ブロックの視点間変位ベクトルを用いる方法、及び現在視点テクスチャブロックのデプス値を用いて誘導する方法があり得る。
【００１３】
図１は、本発明が適用される一実施例であって、ビデオエンコーダの概略的なブロック図を示すものである。
【００１４】
図１を参照すると、ビデオエンコーダは、変換部／量子化部１１０、逆量子化部／逆変換部１２０、フィルタリング部１３０、イントラ予測部１４０、インター予測部１５０、復号ピクチャバッファ部１６０、及びエントロピーコーディング部１７０を含むことができる。
【００１５】
変換部／量子化部１１０において、変換部は、入力されたビデオ信号に対するテクスチャデータを変換して変換係数を獲得する。このような変換方法としては、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）またはウェーブレット変換（Ｗａｖｅｌｅｔ  Ｔｒａｎｓｆｏｒｍ）などを用いることができる。そして、量子化部では、変換部から出力された変換係数値を量子化する。
【００１６】
逆量子化／逆変換部１２０では、量子化された変換係数に量子化パラメータを適用して変換係数を獲得し、変換係数を逆変換してテクスチャデータを復号化することができる。ここで、復号化されたテクスチャデータまたはデプスデータは、予測処理によるレジデュアルデータを含み得る。
【００１７】
フィルタリング部１３０は、復号化されたテクスチャデータの品質改善のためのフィルタリング演算を行う。フィルタリングを経たテクスチャピクチャは出力されるか、または参照ピクチャとして利用するために復号ピクチャバッファ部１６０に格納されてもよい。
【００１８】
イントラ予測部１４０は、現在視点テクスチャピクチャ内の復号化されたテクスチャデータを用いて画面内予測を行うことができる。ここで、画面内予測のために用いられるコーディング情報は、イントラ予測モード、イントラ予測のパーティション情報を含むことができる。
【００１９】
インター予測部１５０は、復号ピクチャバッファ部１６０に格納された参照ピクチャ及び動き情報を用いて、現在ブロックの動き補償を行うことができる。本明細書において、動き情報は、動きベクトル、レファレンスインデックス情報を含む広義の概念として理解し得る。また、インター予測部１５０は、動き補償を行うために時間的インター予測を行うことができる。時間的インター予測は、現在テクスチャブロックと同じ視点及び異なる時間帯に位置した参照ピクチャ、及び現在テクスチャブロックの動き情報を用いた、インター予測を意味し得る。また、複数個のカメラによって撮影された多視点映像の場合、時間的インター予測だけでなく、視点間インター予測をさらに行うこともできる。視点間インター予測は、現在テクスチャブロックと異なる視点に位置した参照ピクチャ、及び現在テクスチャブロックの動き情報を用いた、インター予測を意味し得る。
【００２０】
一方、インター予測部１５０は、動き情報獲得部及び動き情報格納部をさらに含むことで、符号化された動き情報を格納することができる。動き情報格納部に格納された各視点の動き情報はデコーダに伝送されてもよい。これについての具体的な説明は、図２を参照して説明する。
【００２１】
復号ピクチャバッファ部（Ｄｅｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ  ｕｎｉｔ）１６０では、画面間予測を行うために、以前にコーディングされたテクスチャピクチャを格納または開放する役割などを行う。このとき、復号ピクチャバッファ部１６０に格納したり開放したりするために、各ピクチャのｆｒａｍｅ＿ｎｕｍ及びＰＯＣ（Ｐｉｃｔｕｒｅ  Ｏｒｄｅｒ  Ｃｏｕｎｔ、ピクチャの出力順序を示す値）を用いることができる。
【００２２】
エントロピーコーディング部１７０は、量子化された変換係数、イントラコーディング情報、インターコーディング情報、及びインター予測部１５０から入力された参照領域情報などをエントロピーコーディングして、ビデオ信号ビットストリームを生成する。
【００２３】
以下では、多視点ビデオ信号処理における動き情報圧縮格納について具体的に説明する。
【００２４】
図２は、本発明が適用される一実施例であって、インター予測部の概略的な構成を示すものである。
【００２５】
本発明のインター予測部１５０は、処理部１５１、動き情報獲得部１５２、及び動き情報格納部１５３を含むことができる。
【００２６】
処理部１５１は、インター予測のための動き情報を生成することができる。具体的には、多視点ビデオ信号が入力され、アクセスユニット（Ａｃｃｅｓｓ  Ｕｎｉｔ、ＡＵ）内のピクチャを予測コーディングすることで、インター予測のための動き情報を生成することができる。ここで、アクセスユニットは、多視点ビデオ信号をコーディングする単位であって、同じ時間帯の各視点のテクスチャピクチャ及びデプスピクチャを含むことができる。
【００２７】
動き情報獲得部１５２は、処理部１５１で生成された各視点の動き情報を臨時的に獲得する構成であって、獲得された動き情報を一時的に格納し得る。
【００２８】
本発明の一実施例によれば、基準視点のピクチャを予測コーディングして生成された動き情報のうち、動き情報獲得部１５２は、基準視点のピクチャに含まれた全てのブロックに対する動き情報を獲得することができる。しかし、基準視点ではない非基準視点の場合、動き情報獲得部１５２は、非基準視点のピクチャに含まれた一部のブロックに対する動き情報のみを獲得し得る。ここで、基準視点は、視点間インター予測に用いられる参照視点（Ｖ０、Ｂａｓｅ  ＶｉｅｗまたはＩｎｄｅｐｅｎｄｅｎｔ  Ｖｉｅｗ）を意味し、非基準視点は、基準視点を除外した視点を意味する。
【００２９】
具体的な動き情報獲得方法は、以下、図４を参照して説明する。
【００３０】
動き情報格納部１５３は、動き情報獲得部１５２で獲得された動き情報を圧縮して格納する構成である。具体的に、動き情報格納部１５３は、各視点のピクチャ別に獲得された動き情報を一定の割合で圧縮して格納することができる。
【００３１】
本発明の一実施例によれば、動き情報格納部１５３は、基準視点及び非基準視点のピクチャから獲得された動き情報のうち、既設定のサイズのブロックに対する動き情報を格納することができる。
【００３２】
また、動き情報格納部１５３は、ピクチャの動きベクトル方向情報を用いて、動きベクトル方向情報に応じて決定されたサイズのブロックに対する動き情報を格納することができる。ここで、動きベクトル方向情報は、動きベクトルの横軸成分と縦軸成分との割合を意味する。
【００３３】
具体的な動き情報格納方法は、以下、図３乃至図７を参照して説明する。
【００３４】
図３乃至図７は、本発明が適用される一実施例であって、動き情報を獲得して圧縮格納する方法を説明するための図である。
【００３５】
図３を参照すると、処理部において、多視点ビデオ信号の１つのアクセスユニット（Ａｃｃｅｓｓ  Ｕｎｉｔ）に含まれているピクチャ３１０を順に予測コーディングを行うことができる。まず、基準視点のピクチャ（ｔｅｘｔｕｒｅ０，ｄｅｐｔｈ０）を予測コーディングして動き情報を生成し、その後、非基準視点のピクチャ（ｔｅｘｔｕｒｅ１，ｄｅｐｔｈ１，ｔｅｘｔｕｒｅ２，ｄｅｐｔｈ２）を予測コーディングして動き情報を生成することができる。
【００３６】
そして、動き情報獲得部は、処理部で生成された動き情報をｆｕｌｌ解像度（ｒｅｓｏｌｕｔｉｏｎ）で獲得（３２０）することができる。ｆｕｌｌ解像度（ｒｅｓｏｌｕｔｉｏｎ）で動き情報を獲得するということは、ピクチャ内にある全てのブロックに対する動き情報を獲得するという意味である。一方、動き情報獲得部は、予測コーディングが行われる順序に従って動き情報を獲得し、１つのアクセスユニットの全てのピクチャが予測コーディングされるまで、獲得された動き情報を一時的に格納することができる。
【００３７】
そして、動き情報格納部は、動き情報獲得部で獲得された動き情報をピクチャ別に圧縮して格納（３３０）することができる。
【００３８】
具体的には、基準視点及び非基準視点のピクチャから獲得された動き情報のうち、既設定のサイズのブロックに対する動き情報を格納することができる。
【００３９】
１つのピクチャは、１６＊１６ブロックで構成されていると仮定したとき、本発明に係る１／１６圧縮格納の一実施例として、動き情報格納部は、１６＊１６ブロック毎に、１つの代表動き情報を有する４＊４サイズブロックを決定する。すなわち、１つのピクチャの全てのブロック（１６＊１６ブロック）の動き情報を格納する代わりに、各１６＊１６ブロックの左上端の４＊４サイズブロックの動き情報を、現在の１６＊１６ブロックの代表動き情報として格納して圧縮することができる。一方、左上端の４＊４ブロックの動き情報を代表動き情報として格納する方法以外にも、右上端の４＊４ブロックまたは左下端の４＊４ブロックなどを設定し、代表動き情報として格納してもよい。
【００４０】
一方、本発明の実施例に係る１／１６圧縮格納によれば、動き情報格納部は、１６＊１６ブロックを１６等分する４＊４サイズブロック毎に、１＊１サイズブロックを代表動き情報として格納して圧縮することができる。すなわち、１６個の４＊４サイズブロック毎に、１＊１サイズブロックの動き情報を代表動き情報として決定して格納する。これによって、１つのピクチャに１＊１サイズブロックの動き情報の１６個が代表動き情報として決定されて圧縮される。
【００４１】
上記のような方法により、動き情報を格納する動き情報格納部の大きさを１／１６に減らすことができ、デコーダでは、１つのピクチャの１６＊１６ブロック内のブロックにおいて代表動き情報として格納された動き情報を共有して、インター予測を行うのに使用することができる。
【００４２】
以上、図３では、動き情報格納部で動き情報を圧縮格納する方法について説明した。以下、図４では、動き情報獲得部で動き情報を獲得する方法について説明する。
【００４３】
図４を参照すると、処理部は、多視点ビデオ信号の１つのアクセスユニットに含まれているピクチャ４１０，４１５を順に予測コーディングを行うことができる。
【００４４】
そして、動き情報獲得部は、処理部で生成された動き情報を獲得することができる。図３とは異なり、図４の動き情報獲得部は、基準視点のピクチャ４１０と非基準視点のピクチャ４１５とを区分して動き情報を獲得することができる。具体的に、基準視点のピクチャ４１０に対しては、ピクチャ内にある全てのブロックに対する動き情報を獲得（４２０）することができる（ｆｕｌｌ解像度（ｒｅｓｏｌｕｔｉｏｎ））。しかし、非基準視点のピクチャ４１５に対しては、ピクチャの一部のブロックに対する動き情報のみを獲得し得る。すなわち、基準視点の動き情報はｆｕｌｌ解像度（ｒｅｓｏｌｕｔｉｏｎ）で獲得し（４２０）、非基準視点の動き情報は低い解像度（ｒｅｓｏｌｕｔｉｏｎ）で獲得する（４２５）。
【００４５】
例えば、前記ピクチャが８Ｍ＊８Ｍブロックで構成されている場合（Ｍは、自然数）、動き情報獲得部は、非基準視点のピクチャにおいて、各４Ｍ＊４Ｍサイズブロック毎に２Ｍ＊２Ｍサイズブロックを決定し、決定された２Ｍ＊２Ｍサイズブロックの動き情報を、前記４Ｍ＊４Ｍサイズブロックの代表動き情報として獲得することができる。
【００４６】
一方、Ｍ＝２と仮定する場合、動き情報獲得部は、１６＊１６ブロックを４等分する８＊８サイズブロック毎に、４＊４サイズブロックを代表動き情報として獲得することができる。すなわち、４個の８＊８サイズブロック毎に、４＊４サイズブロックの動き情報を代表動き情報として決定して獲得する。これによって、１つのピクチャに４＊４サイズブロックの動き情報の４個が代表動き情報として決定されて獲得される。上記のような方法で獲得する場合、１／４解像度（ｒｅｓｏｌｕｔｉｏｎ）で動き情報を獲得することができる。
【００４７】
上記のような方法で動き情報を獲得する場合、アクセスユニットの全てのピクチャに対してｆｕｌｌ解像度（ｒｅｓｏｌｕｔｉｏｎ）で動き情報を獲得することに比べて、格納場所の大きさ及びデータ情報量を減少させることができる。また、基準視点の動き情報の場合、非基準視点の予測コーディングに使用できるので、ｆｕｌｌ解像度（ｒｅｓｏｌｕｔｉｏｎ）で動き情報を獲得することで予測コーディングの正確度を向上させることができる。
【００４８】
そして、動き情報格納部は、動き情報獲得部で獲得された動き情報をピクチャ別に圧縮して格納することができる。
【００４９】
具体的に、動き情報格納部は、基準視点及び非基準視点のピクチャ毎に、既設定のサイズのブロックを決定し、動き情報獲得部で獲得された動き情報のうち、前記決定された既設定のサイズのブロックに対する動き情報を格納することができる。
【００５０】
例えば、前記ピクチャが８Ｍ＊８Ｍブロックで構成されている場合（Ｍは、自然数）、動き情報格納部は、基準視点及び非基準視点のピクチャ毎に２Ｍ＊２Ｍサイズブロックを決定し、動き情報獲得部で各ピクチャ別に獲得された動き情報のうち、前記決定された２Ｍ＊２Ｍサイズのブロックに対する動き情報を格納することができる。
【００５１】
一方、Ｍ＝２と仮定する場合、動き情報格納部は、動き情報獲得部で各ピクチャ別に獲得された動き情報のうち、４＊４サイズブロックを選択して格納することができる。すなわち、１６＊１６サイズブロックで構成された１つのピクチャにおいて、４＊４サイズブロックの動き情報を圧縮格納するものである。上記のような方法で格納する場合、１／１６解像度（ｒｅｓｏｌｕｔｉｏｎ）で動き情報を圧縮格納することができる。
【００５２】
一方、図４の場合にも、図３の動き情報格納部で説明した方法と同様に圧縮格納することができる。
【００５３】
図５乃至図７は、本発明が適用される一実施例であって、動きベクトル方向情報を用いて動き情報を圧縮格納する方法を説明する。
【００５４】
ここで、動きベクトル方向情報は、動きベクトルの横軸成分と縦軸成分との比である。一方、アクセスユニット（ＡＵ）の非基準視点のピクチャに対する動きベクトル方向情報は、基準視点のピクチャに対する動きベクトル方向情報を相続して用いることができる。
【００５５】
具体的にピクチャにおいて横方向の動きがある場合、動きベクトル方向情報は、動きベクトルの横軸成分が縦軸成分よりも大きいということを示すことができる。上記のように、動きベクトルの横軸成分が縦軸成分よりも大きい場合、動き情報格納部に記憶される動き情報の解像度を横方向には大きくし、縦方向に小さく、可変的に割り当てて格納することができる。
【００５６】
すなわち、ピクチャの動きベクトル方向情報を用いてＰ＊Ｑサイズブロックを決定し（ここで、ＰとＱは、自然数）、基準視点及び非基準視点のピクチャで獲得された動き情報のうち、Ｐ＊Ｑサイズブロックに対する動き情報を格納することができる。
【００５７】
動きベクトル方向情報が、動きベクトルの横軸成分が縦軸成分よりも大きいことを示す場合、Ｐ＞Ｑのように決定し得る。以下の図５を参照して詳細に説明する。
【００５８】
逆に、動きベクトル方向情報が、動きベクトルの縦軸成分が横軸成分よりも大きいことを示す場合、Ｐ＜Ｑのように決定し得る。以下の図６を参照して詳細に説明する。
【００５９】
図５は、動きベクトル方向情報が、動きベクトルの横軸成分が縦軸成分よりも大きいことを示す場合における、動き情報を圧縮格納する方法を示す図である。
【００６０】
図５を参照すると、動きベクトル方向情報が、動きベクトルの横軸成分が縦軸成分よりも大きいことを示す場合、動き情報格納部に記憶される動き情報の解像度を横方向に大きくし、縦方向に小さく割り当てることができる。
【００６１】
例えば、動き情報格納部は、各ピクチャ別に獲得された動き情報のうち、８＊２サイズブロックを決定し、動き情報獲得部で各ピクチャ別に獲得された動き情報５２０のうち、前記決定された８＊２サイズブロックに対する動き情報５３０を格納することができる。
【００６２】
すなわち、１６＊１６サイズブロックで構成された１つのピクチャにおいて、８＊２サイズブロックの動き情報を圧縮格納するものである。上記のような方法で格納する場合、１／１６解像度（ｒｅｓｏｌｕｔｉｏｎ）で動き情報を圧縮格納することができる。
【００６３】
図６は、動きベクトル方向情報が、動きベクトルの縦軸成分が横軸成分よりも大きいことを示す場合における、動き情報を圧縮格納する方法を示す図である。
【００６４】
図６を参照すると、動きベクトル方向情報が、動きベクトルの縦軸成分が横軸成分よりも大きいことを示す場合、動き情報格納部に記憶される動き情報の解像度を縦方向に大きくし、横方向に小さく割り当てることができる。
【００６５】
例えば、動き情報格納部は、各ピクチャ別に獲得された動き情報のうち、２＊８サイズブロックを決定し、動き情報獲得部で各ピクチャ別に獲得された動き情報６２０のうち、前記決定された８＊２サイズブロックに対する動き情報６３０を格納することができる。
【００６６】
すなわち、１６＊１６サイズブロックで構成された１つのピクチャにおいて、２＊８サイズブロックの動き情報を圧縮格納するものである。上記のような方法で格納する場合、１／１６解像度（ｒｅｓｏｌｕｔｉｏｎ）で動き情報を圧縮格納することができる。
【００６７】
一方、図５及び図６では、アクセスユニット（ＡＵ）の非基準視点のピクチャに対する動きベクトル方向情報は、基準視点のピクチャに対する動きベクトル方向情報を相続して用いたもので、当該アクセスユニット（ＡＵ）に対する動きベクトル方向情報が同一である場合を説明した。
【００６８】
しかし、図７では、アクセスユニットに含まれる各視点のピクチャの動きベクトル方向情報が互いに異なる場合における、動き情報を圧縮格納する方法を示す図である。
【００６９】
図７を参照すると、動き情報格納部は、各ピクチャ別に動きベクトル方向情報を用いて、動き情報格納部に記憶される動き情報の解像度を各ピクチャ別に設定することができる。
【００７０】
基準視点のピクチャ（ｔｅｘｔｕｒｅ０）の場合、動きベクトル方向情報が、動きベクトルの縦軸成分が横軸成分よりも大きいと示す場合であって、動き情報格納部に記憶される基準視点の動き情報の解像度を横方向を大きく割り当てることができる。
【００７１】
逆に、非基準視点のピクチャ（ｔｅｘｔｕｒｅ１）の場合、動きベクトル方向情報が、動きベクトルの横軸成分が縦軸成分よりも大きいと示す場合であって、動き情報格納部に記憶される非基準視点の動き情報の解像度を縦方向を大きく割り当てることができる。
【００７２】
例えば、基準視点のピクチャ（ｔｅｘｔｕｒｅ０）から獲得された動き情報のうち、８＊２サイズブロックを決定し、動き情報獲得部で基準視点のピクチャから獲得された動き情報７２０のうち、前記決定された８＊２サイズブロックに対する動き情報７３０を格納することができる。
【００７３】
そして、非基準視点のピクチャ（ｔｅｘｔｕｒｅ１）から獲得された動き情報のうち、２＊８サイズブロックを決定し、動き情報獲得部で非基準視点のピクチャから獲得された動き情報７２５のうち、前記決定された２＊８サイズブロックに対する動き情報７３５を格納することができる。
【００７４】
図８は、図４で説明した動き情報を獲得する方法、及び図７で説明した各ピクチャ別に動きベクトル方向情報を用いた動き情報圧縮格納方法を同時に適用した実施例を説明する。
【００７５】
図８を参照すると、処理部では、多視点ビデオ信号の１つのアクセスユニットに含まれているピクチャ８１０，８１５を順に予測コーディングを行うことができる。
【００７６】
そして、動き情報獲得部は、処理部で生成された動き情報を獲得することができる。動き情報獲得部は、基準視点のピクチャ８１０と非基準視点のピクチャ８１５とを区分して動き情報を獲得することができる。具体的な獲得方法は図４で説明したので、重複説明は省略する。
【００７７】
そして、動き情報格納部は、動き情報獲得部で獲得された動き情報を、ピクチャ別に圧縮して格納することができる。特に、図８の動き情報格納部は、各ピクチャ別に動きベクトル方向情報を判断し、動き情報格納部で格納する解像度を各ピクチャ別に割り当てることができる。
【００７８】
具体的な圧縮格納方法は、図７で説明したので重複説明は省略する。
【００７９】
図９は、本発明が適用される一実施例であって、動き情報を獲得して格納する方法を示すフローチャートである。
【００８０】
図９を参照すると、本発明の一実施例に係るエンコーダは、基準視点のピクチャを予測コーディングして生成された動き情報を獲得することができる（Ｓ９１０）。そして、非基準視点のピクチャを予測コーディングして生成された動き情報のうち、前記ピクチャの一部のブロックに対する動き情報を獲得することができる（Ｓ９２０）。
【００８１】
ここで、ピクチャが８Ｍ＊８Ｍブロックで構成されると仮定すると（Ｍは、自然数）、一部のブロックに対する動き情報を獲得する方法として、非基準視点のピクチャにおいて各４Ｍ＊４Ｍサイズブロック毎に２Ｍ＊２Ｍサイズブロックを決定し、前記決定された２Ｍ＊２Ｍサイズブロックの動き情報を、前記４Ｍ＊４Ｍサイズブロックの代表動き情報として獲得する方法により、非基準視点のピクチャの一部のブロックに対して動き情報を獲得することができる。
【００８２】
一実施例として、前記２Ｍ＊２Ｍサイズブロックを決定するステップは、４Ｍ＊４Ｍサイズブロック内の左上端に位置した２Ｍ＊２Ｍサイズブロックを選択して決定してもよい。
【００８３】
そして、デコーダは、基準視点及び非基準視点のピクチャ毎に獲得された動き情報を圧縮して格納することができる（Ｓ９３０）。ここで、圧縮して格納する方法として、前記基準視点及び前記非基準視点のピクチャ毎に２Ｍ＊２Ｍサイズブロックを決定し、前記獲得された動き情報のうち、前記決定された２Ｍ＊２Ｍサイズブロックに対する動き情報を格納する方法により、動き情報を圧縮格納することができる。
【００８４】
図１０は、本発明が適用される一実施例であって、獲得された動き情報を圧縮格納する方法を示すフローチャートである。
【００８５】
図１０を参照すると、デコーダは、ピクチャの動きベクトル方向情報を用いてＰ＊Ｑを決定することができる（Ｓ１０１０）（ここで、Ｐ及びＱは、自然数）。Ｐ＊Ｑを決定する方法は、上述した図５乃至図７で具体的に説明したので重複説明は省略する。
【００８６】
そして、基準視点のピクチャから獲得された動き情報のうち、Ｐ＊Ｑサイズブロックに対する動き情報を格納し（Ｓ１０２０）、非基準視点のピクチャから獲得された動き情報のうち、Ｐ＊Ｑサイズブロックに対する動き情報を格納することができる（Ｓ１０３０）。
【００８７】
上述した図９及び図１０のような多視点ビデオ信号処理方法による本発明は、非基準視点のピクチャの動き情報を圧縮獲得して、格納部の大きさ及びデータ情報量を減少させる一方、非基準視点のピクチャの動き予測のために用いられる基準視点のピクチャの動き情報は圧縮せずに獲得して、予測の正確度を向上させることができる。
【００８８】
また、獲得された動き情報をピクチャの動きベクトル方向情報に応じて可変的に圧縮格納することで、格納部の大きさを減少させることができる。
【００８９】
以上で説明したように、本発明が適用されるデコーディング／エンコーディング装置は、ＤＭＢ（Ｄｉｇｉｔａｌ  Ｍｕｌｔｉｍｅｄｉａ  Ｂｒｏａｄｃａｓｔｉｎｇ）のようなマルチメディア放送送／受信装置に備えられ、ビデオ信号及びデータ信号などをデコーディングするのに利用することができる。また、前記マルチメディア放送送／受信装置は移動通信端末機を含むことができる。
【００９０】
また、本発明が適用されるデコーディング／エンコーディング方法は、コンピュータで実行されるためのプログラムとして製作され、コンピュータ可読記録媒体に格納することができ、本発明に係るデータ構造を有するマルチメディアデータも、コンピュータ可読記録媒体に格納することができる。コンピュータ可読記録媒体は、コンピュータシステムにより読み取られるデータが格納される全ての種類の格納装置を含む。コンピュータ可読記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがあり、なお、搬送波（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、前記エンコーティング方法により生成されたビットストリームは、コンピュータ可読記録媒体に格納されるか、または有／無線通信網を用いて伝送されてもよい。
【産業上の利用可能性】
【００９１】
本発明は、ビデオ信号のコーディングに利用することができる。
【図１】
0006280128.tif 000002
【図２】
0006280128.tif 000003
【図３】
0006280128.tif 000004
【図４】
0006280128.tif 000005
【図５】
0006280128.tif 000006
【図６】
0006280128.tif 000007
【図７】
0006280128.tif 000008
【図８】
0006280128.tif 000009
【図９】
0006280128.tif 000010
【図１０】
0006280128.tif 000011