"メインビットストリーム及び補助ビットストリームを含む多視点ビデオビットストリームを受信する段階ここで、前記メインビットストリームは、メイン視点のピクチャーを符号化して生成され、前記補助ビットストリームは、補助視点のピクチャーを符号化して生成され、前記メイン視点は、前記補助視点と独立して複号化され、前記補助視点は、前記メイン視点以外の視点であり、前記メイン視点及び前記補助視点のそれぞれのピクチャーは、視点情報を含み、ピクチャーの前記視点情報は、前記ピクチャーが複数個の視点のうちいずれの視点に該当するかを示す。と、前記メイン視点の第1ピクチャーを複号化する段階と、前記補助視点の第2ピクチャーの視点情報を前記多視点ビデオビットストリームから獲得する段階と、前記第2ピクチャーの前記視点情報に基づいて、前記複号化された第1ピクチャーを用いて前記第2ピクチャーの予測復元を行う段階と、を含むことを特徴とする多視点ビデオ複号化方法。前記第1ピクチャーは、イントラ方式でコーディングされたピクチャーであることを特徴とする、請求項1に記載の多視点ビデオ複号化方法。前記第1ピクチャー及び前記第2ピクチャーは、同一時間に獲得され、互いに異なる視点情報を有することを特徴とする、請求項1に記載の多視点ビデオ複号化方法。メイン視点の第1ピクチャーを複号化するメインビットストリーム複号化ユニットと、補助視点の第2ピクチャーの視点情報を多視点ビデオビットストリームから獲得し、前記第2ピクチャーの前記視点情報に基づいて、前記複号化された第1ピクチャーを用いて前記第2ピクチャーの予測復元を行う補助ビットストリーム複号化ユニットと、を含み、前記多視点ビデオビットストリームは、メインビットストリーム及び補助ビットストリームを含み、前記メインビットストリームは、メイン視点のピクチャーを符号化して生成され、前記補助ビットストリームは、補助視点のピクチャーを符号化して生成され、前記メイン視点は、前記補助視点と独立して複号化され、前記補助視点は、前記メイン視点以外の視点であり、前記メイン視点及び前記補助視点のそれぞれのピクチャーは、視点情報を含み、ピクチャーの前記視点情報は、前記ピクチャーが複数個の視点のうちいずれの視点に該当するかを示すことを特徴とする多視点ビデオビットストリーム複号化装置。本発明は上記の問題点を解決するためのもので、多視点シーケンス符号化/復号化方法及びそのディスプレイ方法に関するものである。本発明の目的は、多視点シーケンスデータを効率的に符号化及び復号化できる多視点シーケンス符号化/復号化方法及びそのディスプレイ方法を提供することにある。本発明の他の目的は、符号化されたデータを効率的に多視点シーケンスに復号化する装置及びその装置を用いたディスプレイ方法を提供することにある。本発明の付加的な特徴及び長所は、後述する詳細な説明で明らかになるだろう。本発明の目的及び他の長所は、添付の図面のみならず、詳細な説明及び特許請求の範囲に記載された構造によって具現及び獲得される。本発明の目的及び他の利点を達成するために、本発明に係る多視点シーケンス符号化方法は、複数の視点から獲得した複数のピクチャーを符号化することで、ビットストリームを生成する段階を含み、前記ビットストリームは、複数のピクチャーに対する視点情報を含み、前記視点情報は、対応するピクチャーが複数の視点のうち何れの視点に対応するかを指定する情報である。本発明の目的及び他の利点を達成するために、本発明に係る多視点シーケンス符号化方法は、メーン視点に対する第1ピクチャータイプのピクチャーを符号化することで、メーンビットストリームを生成する段階と、一つ以上の補助視点に対する補助ビットストリームを生成する段階と、を含み、前記補助ビットストリームは、前記第1ピクチャータイプのピクチャーを用いて予測された第2ピクチャータイプのピクチャーを符号化することで生成され、前記補助ビットストリームは、前記第2ピクチャータイプのピクチャーに対する視点情報を含み、前記視点情報は、前記第2ピクチャータイプの対応するピクチャーが前記一つ以上の補助視点のうち何れの補助視点に対応するかを指定する情報である。本発明の目的及び他の利点を達成するために、多視点シーケンス復号化方法は、複数の視点から獲得したピクチャーをそれぞれ符号化することで生成されたメーンビットストリームを受信する段階と、特定のピクチャーが前記複数の視点のうち何れに対応するかを指定する視点情報を確認する段階と、前記確認された視点情報によって、ディスプレイで特定の視点と関連したピクチャーを復号化する段階と、を含む。本発明の目的及び他の利点を達成するために、多視点シーケンス復号化方法は、メーン視点から獲得したピクチャーを符号化することで生成されたメーンビットストリーム、及び複数の補助視点から獲得したピクチャーを符号化することで生成された補助ビットストリームを受信する段階と、前記メーンビットストリーム内のピクチャーを復元する段階と、前記補助ビットストリーム内に存在する視点情報によって前記メーンビットストリーム内の前記復元されたピクチャーを用いることで、ディスプレイで特定の補助視点と関連したピクチャーに対する予測復元を選択的に行う段階と、を含む。本発明の目的及び他の利点を達成するために、多視点シーケンス復号化装置は、メーン視点から獲得したピクチャーを符号化することで生成されたメーンビットストリームを受信し、前記メーンビットストリーム内のピクチャーを復元するメーンビットストリーム復号化部と、複数の補助ビットストリームから獲得したピクチャーを符号化することで生成された補助ビットストリームを受信する補助ビットストリーム復号化部と、を含み、前記補助ビットストリーム復号化部は、前記補助ビットストリーム内に存在する視点情報によって前記メーンビットストリーム内の前記復元されたピクチャーを用いることで、特定の補助視点のピクチャーに対する予測復元を選択的に行う。本発明の目的及び他の利点を達成するために、多視点シーケンスディスプレイ方法は、メーン視点に対応するピクチャーをディスプレイする第1ディスプレイモード、及び前記メーン視点に対応するピクチャー及び一つ以上の補助視点に対応するピクチャーを一緒にディスプレイする第2ディスプレイモードを含み、前記第1ディスプレイモードまたは前記第2ディスプレイモードが、前記ピクチャーを含むビットストリーム内に存在する視点情報によって選択される。上述した説明及び後述する本発明の詳細な説明は、本発明の理解を助けるために提示された例示に過ぎなく、その範囲は、特許請求の範囲に記載された通りである。以下、本発明の好適な実施形態について、添付の図面に基づいて詳細に説明する。本発明では、可能な限り現在広く用いられる一般的な用語を選択したが、特定の場合に出願人が任意に選定した用語もあり、その場合、該当する発明の説明部分でその意味を詳細に記載した。そのため、本発明は、単純な用語の名称でなく、用語の持つ意味によって把握すべきである。本発明で用いられる多視点シーケンスは、同一の事物に対して視点の異なる動映像が同時に獲得されることを意味する。例えば、多視点シーケンスは、複数の動映像撮影機構例えば、カメラを用いて多様な角度及び多様な方向に同一の事物を撮影することで得られた動映像を意味する。特に、本発明のメーン視点は、多視点のうち符号化の基準になる視点を意味する。メーン視点に対応する動映像は、MPEG-2、MPEG-4、H.623、H.264などの従来の動映像符号化方式によってビットストリームに符号化される。このビットストリームは、本発明のメーンビットストリームと呼ばれる。説明の便宜上、本発明では、従来の動映像符号化方式の一例であるMPEG-2が用いられる。本発明の補助視点は、多視点のうちメーン視点でない視点を意味する。補助視点に対応する動映像は、後述する本発明の固有な符号化方式によってビットストリームに符号化される。このビットストリームは、本発明の補助ビットストリームと呼ばれる。また、本発明のビットストリームは、メーンストリームまたは補助ストリームとして包括的に用いられる。図1は、本発明に適用される多視点シーケンス符号化装置のブロック図である。本発明に係る符号化方法で、MPEG-2との互換性のために基準となるシーケンスは、MPEG-2エンコーダーで符号化されてメーンビットストリームを生成し、補助視点シーケンスに対して補助ビットストリームを生成する。すなわち、メーンビットストリームは、I後述するピクチャーを含むシーケンスに対するデータを含み、補助ビットストリームは、その他のシーケンスの変異推定及び動き推定を通して符号化した多様な種類の情報を含む。図1を参照すると、本発明に適用される多視点符号化装置は、前処理部110、動き推定/補償部120,130、変異推定/補償部140、ビット率制御部150及び差映像符号化部160,170を含む。多視点シーケンスデータAが入力されると、前処理部110は、ノイズ除去及びインバランシングImbalancIng問題を解決しながら、前処理過程を通して多視点シーケンスデータ間の相関度を高めることで、変異推定及び動き推定から得られた各ベクターの信頼度を増加させ、前処理データを変異推定/補償部140、動き推定/補償部120,130及び差映像符号化部160,170に提供する。したがって、インバランシング問題は、基準映像と補正すべき補正映像の平均及び分散を用いてインバランシングを補正し、メディアンフィルターを用いてノイズを簡単に除去することで解決される。前処理部110は、補助ビットストリームに視点情報を挿入し、復号化器で特定の視点のみを復元できる情報を提供する。これを、図2を参照して説明する。変異推定/補償部140及び動き推定/補償部120,130は、Iピクチャーを含むシーケンス軸を基準にして変異ベクター及び動きベクターを推定し、半画素補償方法を用いて補償する。差映像符号化部160,170は、一層改善した映像画質及び立体感を提供するために、前処理部110から提供される元の映像と、変異推定/補償部140及び動き推定/補償部120,130で補償された復元映像との差情報に対して符号化を行い、提供される多視点シーケンスに対するビットストリームを生成することができる。ビット率制御部150は、各ピクチャーにビットを効率的に割り当てるためのビット率を制御することができる。図2は、本発明によって生成された補助ビットストリームの一例を示す図である。図2を参照すると、本発明によって挿入された視点情報210は、例えば、補助ビットストリーム内のピクチャーヘッダーにnビットで挿入される。このとき、nビットは、最大2n個の視点まで支援することができる。すなわち、視点情報は、特定のピクチャーが複数の補助視点のうち何れの補助視点に対応するかを指定する情報として用いられる。そのため、複数の視点に対する各ピクチャーが補助ビットストリーム内に混合された場合、視点情報は、特定の視点と結合されたピクチャーのみを選択的に復元する必要がある。視点情報は、補助ビットストリームのみに限定されず、メーンビットストリームと補助ビットストリームの区分なしに、特定の視点と関連したピクチャーの意味として用いられる。以下、本発明に係る多視点シーケンス符号化を行う特定の方法を説明する。一般的な符号化方式、例えば、MPEG2符号化方式で、符号化の基本単位はGOPGroupOfPIcturesである。GOPは、Iピクチャー、Pピクチャー及びBピクチャーを含む。Iピクチャーは、イントラ符号化を行うためのもので、シーケンスのランダムアクセスを可能にする。Pピクチャーは、以前に符号化されたIピクチャーやPピクチャーを基準映像として動きベクターを単方向に推定し、Bピクチャーは、Iピクチャー及びPピクチャーを用いて動きベクターを両方向に推定する。GOPの長さ、すなわち、Nは、Iピクチャー間の距離を意味し、Mは、IピクチャーとPピクチャーとの間の距離を意味する。Iピクチャー、Pピクチャー及びBピクチャーは、MPEG2符号化方式に用いられるピクチャー用語である。符号化方式が互いに異なると、使用可能な用語も異なってくる。例えば、異なったMPEG2方式によるメーンビットストリームで、任意の基準ピクチャーを参照せずに復号化されるピクチャーはLピクチャーという。また、少なくとも一つまたは二つの基準ピクチャーを参照して復号化されるピクチャーはHピクチャーという。本発明では、多視点シーケンスを符号化するために、多視点シーケンス符号化の基本単位であるGGOPGroupofGOP構造を提案する。本発明のGGOPは、MPEG2のGOPと異なって、時間軸及び視点軸に対応する各ピクチャーを含む。すなわち、GGOP構造を用いて空間上の相関性、時間軸上の相関性、視点間の相関性を除去し、多視点シーケンスを効率的に符号化することができる。図3A及び図3Bは、本発明によって5視点シーケンスを符号化するためのGGOPの一実施形態を示す図で、それぞれOneIタイプ図3A、TwoIタイプ図3B及びFiveI図3Cを意味する。説明の便宜上、N=6及びM=3である場合を例に挙げて説明する。ここで、本発明がN=6及びM=3である場合に限定されないことは、当業者にとって明らかである。図3Aを参照すると、本発明のGGOP構造のうちOne-Iタイプは、1個のIピクチャー、1個のPtピクチャー、4個のBtピクチャー、4個のPsピクチャー及び20個のBt,sピクチャーを含む。この場合、Ptピクチャーは、MPEG-2で用いられるPピクチャーと同様に、動きベクターをそれぞれ単方向に推定するピクチャータイプで、Btピクチャーは、MPEG-2で用いられるBピクチャーと同様に、動きベクターを両方向に推定するピクチャータイプである。本発明において、Iピクチャー、Ptピクチャー及びBtピクチャーは、メーンビットストリームを構成する第1タイプピクチャーという。Psピクチャーは、視点間の相関、すなわち、変異推定を用いて復元する映像で、Bt,sピクチャーは、時間軸には動きベクター、視点軸には変異ベクターまたは二つのベクターの補間を用いて復元された映像を意味する。図3Aに示すように、N=6及びM=3である場合のOne-Iタイプで、基準となるシーケンス、すなわち、MPEG-2で符号化するシーケンスが1個含まれている。この場合、矢印は、変異ベクター及び動きベクターを予測するための方向を意味する。Iピクチャーが含まれたメーン視点シーケンスである...Bt、Bt、I、Bt、Bt、Pt、...は、MPEG-2との互換性のためにMPEG-2エンコーダーで符号化される。生成されたビットストリームは、MPEG-2のシンタックスと同一に設定される。上述したように、メーンシーケンスに対応するビットストリームは、メーンビットストリームとして定義され、補助視点に対応するシーケンスのデータは、補助ビットストリームとして定義される。したがって、図3Aに示した5視点One-Iタイプである場合、1個のメーンビットストリーム及び1個の補助ビットストリームを生成することができる。多視点シーケンスを獲得するときのカメラ間の間隔、すなわち、ベースラインが大きい場合、視点間のエラーが増加する。そのため、メーン視点から遠く離れた視点軸に対応するシーケンスの画質が劣化する憂いがある。したがって、ベースラインの大きい多視点カメラから獲得した多視点シーケンスを符号化する場合、二つ以上のメーンシーケンスが必要である。カメラ撮影角度によって多視点が指定される場合、カメラ間のカメラ撮影角度差がベースラインになる。また、カメラ撮影角度差が大きい場合、二つ以上のメーンシーケンスが設定されることが好ましい。図3Bは、5視点Two-Iタイプを示すもので、ベースラインの大きい多視点カメラから獲得した多視点シーケンスを符号化するために提案されたものである。この場合、多視点シーケンスエンコーダーは、二つのメーンビットストリーム及び一つの補助ビットストリームを生成することができる。3番目の視点におけるBsピクチャーは、互いに隣接する左右映像で予測された変異を用いたり、二つの変異の補間を用いて復元されたピクチャータイプを意味する。本発明において、Psピクチャー、Bsピクチャー及びBt,sピクチャーは、補助ビットストリームを構成する第2タイプピクチャーという。一方、図3Cに示したFIve-Iタイプは、変異推定を行わず、多視点シーケンスをそれぞれMPEG-2シーケンスと見なして独立的に符号化する場合を意味する。この場合、5個のメーンビットストリームが生成される。このとき、変異推定を行っていないため、補助ビットストリームは生成されない。図3A及び図3Cに基づいて説明した本発明の一実施形態では、5視点シーケンスに対応するGGOP構造を例に挙げたが、これは、視点数が増加しても拡張可能である。図4A及び図4Bは、本発明に係る9視点シーケンスを符号化するためのGGOPの一例を示す図で、それぞれTwo-Iタイプ及びThree-Iタイプを示している。この場合も、MPEG-2との互換性のために、Iピクチャーが含まれている基準シーケンスは、MPEG-2エンコーダーによって符号化された後でメインストリームを生成する。これと同様に、他の視点シーケンスは、補助ビットストリームを生成する。図4Aは、N=6及びM=3である場合、Two-Iタイプに対するGGOP構造を示している。GGOP構造は、2個のIピクチャー、2個のPtピクチャー、6個のPsピクチャー、6個のBsピクチャー及び38個のBt,sピクチャーを含む。図4Bは、ベースラインが大きい場合、多視点カメラから獲得された9視点シーケンスに対するGGOP構造を示している。この場合、3個のメーンビットストリーム及び1個の補助ビットストリームが生成される。図3Cに示した5視点シーケンスのためのFIve-Iタイプのような変異推定を用いる代りに、各視点に対応するシーケンスは、MPEG-2エンコーダーを用いて符号化される。本発明は、受信端で保有しているディスプレイの特徴を考慮し、特定の視点に該当するシーケンスのみを復元可能にする概念を提案する。図5は、本発明の一実施形態に係る多視点シーケンスディスプレイ方法の概念を説明するための概略図である。図5を参照すると、本発明に係るディスプレイ方法で、受信された多視点シーケンスビットストリームは、受信端で保有しているディスプレイの種類によって特定の視点のみを選択することで復元される。例えば、送信端で5視点シーケンスを符号化し、符号化されたシーケンスを受信端に伝送したとき、受信端で3視点シーケンスのみをディスプレイできる多視点モニターがある場合、使用者は、5視点だけでなく、3視点シーケンスも見られなくなる。このような問題点の発生は、送信端で多視点シーケンスを符号化するとき、視点に対する情報がないことに起因する。したがって、本発明は、このような問題点を解決しようとする。すなわち、送信端で5視点シーケンスを符号化し、符号化されたシーケンスを受信端に伝送したとき、受信端で3視点シーケンスのみをディスプレイできる3次元多視点モニターがある場合、使用者は、5視点のうち所望の3個の視点のみを選択して復元することができるモード2:これは、第2ディスプレイモードと呼ばれる。選択的な復元が可能な情報は、上述した視点情報に対応する。受信端が多視点モニターでない2次元シーケンスのみをディスプレイできるモニターを有する場合、メーンビットストリームのみを復元してディスプレイに伝送することができるモード0:これは、第1ディスプレイモードと呼ばれる。特に、本発明に係るディスプレイ方法は、メーン視点に対応するピクチャーのみをディスプレイする第1ディスプレイモード、及びメーン視点に対応するピクチャー及び一つ以上の補助視点に対応する他のピクチャーをディスプレイする第2ディスプレイモードを有し、ディスプレイモードのうち一つが、各ピクチャーを含むビットストリーム内に存在する視点情報によってディスプレイされるように選択されることを特徴とする。図6は、本発明によって復号化を行うために伝送されるヘッダー情報を説明するためのビットストリームを示す図である。図6を参照すると、多視点シーケンスビットストリームを生成するとき、ピクチャーヘッダー情報に視点情報を挿入し、現在符号化しているピクチャーが何番目の視点のデータであるかを示す情報を提供する。視点に対する情報は、2n視点のシーケンスを支援できるnビットに設定される。図6は、補助ビットストリームのみに視点情報が挿入されることを示しているが、用途によって、メーンビットストリーム内の一側に視点情報が挿入されることもある。図7は、本発明が適用される多視点シーケンス復号化装置のブロック図である。図7を参照すると、本発明が適用される復号化装置は、メーンビットストリーム復号化部710及び補助ビットストリーム復号化部720を含む。メーンビットストリーム復号化部710は、MPEG-2デコーダーで復号化を行い、補助ビットストリーム復号化部720は、変異ベクター及び動きベクターを用いて復号化を行う。このとき、受信端で特定の視点のみを復号化するためにピクチャーヘッダー情報で視点情報を確認し、現在デコーディングするデータが何番目の視点に該当するかを確認する。すなわち、本発明では、特定の視点が復元されるので、デコーディング時間及び復号化部の計算量を減少させられる。特に、メーンビットストリーム復号化部710は、メーン視点によって生成されたメーンビットストリームを受信し、メーンビットストリーム内のピクチャーを復元する。補助ビットストリーム復号化部720は、複数の補助視点によって生成された補助ビットストリームを受信し、メーンビットストリーム復号化部710によって復元されたメーンビットストリーム内のピクチャーを用いることで、補助ビットストリーム内に存在する視点情報によって特定の補助視点のピクチャーに対する予測復元を選択的に行う。図8A乃至図8Eは、本発明に係る符号化/復号化方法を説明するための多視点シーケンスを示す図で、5視点の場合を示している。実験で用いた映像大きさは720×576である。マクロブロックの大きさは16×16である。変異推定のためのx方向の探索範囲は-16~16に設定する。平行式カメラを仮定したので、y方向の探索範囲は設定されない。動き推定のために、x方向及びy方向の探索範囲は-16~16に設定する。実験で用いたビデオフォーマットは、Y:U:V=4:2:0に設定する。図10は、図8A~図8Eに示した5視点シーケンスの多様なビット率での符号化結果を説明するためのグラフである。図10を参照すると、One-Iタイプ及びTwo-Iタイプと、変異推定を行っていないFIve-Iタイプとを比較したとき、類似したビット率で良好な効率を示すことを確認することができる。一方、上述したように、本発明は、流動性のあるGGOP構造を提案する。すなわち、ベースラインの大きい多視点シーケンスを符号化するためには、視点間の相関性を補完するためのTwo-Iタイプを適用し、ベースラインの小さい多視点シーケンスに対してはOne-Iタイプを適用することで、Two-Iタイプと比較するとき、Iフレームを除いた残りのピクチャータイプにビット量をより多く割り当てる。図11A及び図11Bは、図9Aに示したシーケンスの多様なビット率での符号化結果を説明するためのグラフで、ベースラインの小さい場合及びベースラインの大きい場合を示している。図11A及び図11Bを参照すると、ベースラインの小さい多視点シーケンスでは、One-IタイプがPSNR面で優れた効率を示し、ベースラインの大きい多視点シーケンスでは、Two-IタイプがPSNR面でOne-Iタイプより優れた性能を示すことを確認することができる。図12A及び図12Bは、ベースラインの大きい映像をそれぞれOne-Iタイプ及びTwo-Iタイプで符号化を行った場合の結果映像を比較した図である。図12A及び図12Bを参照すると、ベースラインの大きい多視点シーケンスである場合、視点間の相関性が減少する。これを補完するために、Iフレームを増加させる。減少した相関性を補完するためにIフレームを増加させたTwo-Iタイプが、一層優れた効率を有する。したがって、本発明のGGOP構造が、多視点シーケンスに対するベースラインの大きさによって流動性を有することを知ることができる。一方、本発明のGGOP構造でBt,sフレームは、変異ベクターまたは動きベクターのうち予測エラーの少ないベクターを選択したり、二つのベクターの平均合計を使用する。動きの大きい多視点シーケンスの場合、動きベクターよりも変異ベクターで復元することでエラーを一層減少させるので、変異ベクターのみを選択する。その反対に、時間軸に相関度が減少すると、動きベクターを用いて予測することが一層効率的であるので、動きベクターを選択する。図13A及び図13Bは、本発明のBt,sフレームの性能を説明するための結果映像を示す図である。図13Aは、多視点シーケンスをMPEG-2シーケンスと見なして独立的に符号化を行った場合の結果映像で、図13Bは、本発明によって符号化を行った場合の結果映像である。図13Aを参照すると、従来のMPEG-2においては、変異ベクターを用いて動きの大きい領域を予測できないので、大きなエラーが発生した。しかし、本発明によると、変異ベクターを用いて動きの大きい領域を予測できるので、エラーを減少させることができる。本発明において、送信端でメーンビットストリーム及び補助ビットストリームを受信端に伝送すると、受信端で特定の視点のみを復元することができる。図14A及び図14Bは、受信端にステレオシーケンスのみをディスプレイできる3次元モニターが提供される場合、図9A乃至図9Eに示した5視点のビットストリームを受信した使用者が2番目の視点及び4番目の視点を選択したときの結果映像を示す図である。すなわち、図14A及び図14Bは、MPEG-2復号化器を用いて獲得した結果映像を示し、図14C及び図14Dは、本発明に係る復号化方法を用いて復号化した結果映像を示している。図示したように、図14C及び図14Dの映像が、他のものより鮮明であることを確認することができる。図14A及び図14Bの映像は、変異ベクターのみを用いて復元した結果であり、図14C及び図14Dの映像は、Bt,sピクチャーを含む。したがって、動きベクターや変異ベクターが大きい場合、予測エラーを減少させることができる。以上説明した本発明は、上述した実施形態及び添付の図面によって限定されるものではなく、本発明の技術的思想から逸脱しない範囲内で多様な置換、変形及び変更が可能であることは、本発明の属する技術分野で通常の知識を有する者にとって明らかである。"