(57)【要約】  多視点動映像を符号化及び復号化する方法及び装置を提供する。該多視点動映像の符号化装置は、現在のフレームと参照フレームとを受信してフレーム間の視差ベクトルを所定のブロック単位で予測する視差予測部と、予測された視差ベクトル間の偏差または偏差の偏差を計算する視差偏差計算部と、計算された視差ベクトル間の偏差または偏差の偏差を利用して多視点動映像を符号化する符号化部とを備える。これにより、多視点動映像の圧縮率を向上させることができる。
2009508388.tif 000002
【特許請求の範囲】
【請求項１】
現在のフレームと参照フレームとを受信し、前記フレーム間の視差ベクトルを予測する視差予測部と、
前記予測された視差ベクトル間の偏差または前記偏差の偏差を計算する視差偏差計算部と、
前記視差ベクトル間の偏差または前記偏差の偏差を利用して多視点動映像を符号化する符号化部とを備えることを特徴とする多視点動映像の符号化装置。
【請求項２】
前記視差予測部は、前記現在フレームと前記参照フレームとの間の前記視差ベクトルを所定数のブロック単位で予測することを特徴とする請求項１に記載の多視点動映像の符号化装置。
【請求項３】
前記予測された視差ベクトル間の偏差は、一定であることを特徴とする請求項１に記載の多視点動映像の符号化装置。
【請求項４】
所定の基準によって視差の偏差を利用して多視点動映像を符号化するか否か、前記偏差の偏差を利用して多視点動映像を符号化するか否かを選択し、前記選択結果に基づいてモード情報を設定する符号化モード選択部をさらに備え、
前記符号化部は、前記モード情報に基づいて多視点動映像を符号化することを特徴とする請求項１に記載の多視点動映像の符号化装置。
【請求項５】
前記視差偏差計算部は、
前記予測された視差ベクトルを保存する第１バッファと、
前記第１バッファに保存された視差ベクトル間の偏差を計算する第１次演算遂行部と、
前記偏差を保存する第２バッファと、
前記偏差の偏差を計算する第２次演算遂行部とを備えることを特徴とする請求項１に記載の多視点動映像の符号化装置。
【請求項６】
現在のフレームと参照フレームとを受信し、前記フレーム間の視差ベクトルを予測する段階と、
前記予測された視差ベクトル間の偏差または前記偏差の偏差を計算する段階と、
前記視差ベクトル間の偏差または前記偏差の偏差を利用して多視点動映像を符号化する段階とを含むことを特徴とする多視点動映像の符号化方法。
【請求項７】
前記現在フレームと前記参照フレームとの間の視差ベクトルを所定数のブロック単位で予測することを特徴とする請求項６に記載の多視点動映像の符号化方法。
【請求項８】
前記視差ベクトル間の偏差は、一定であることを特徴とする請求項６に記載の多視点動映像の符号化方法。
【請求項９】
前記視差の偏差を利用して多視点動映像を符号化するか否か、前記偏差の偏差を利用して多視点動映像を符号化するか否かを選択する段階と、
前記選択結果によってモード情報を設定する段階とをさらに含み、
前記多視点動映像を符号化する段階は、前記設定されたモード情報に基づいて多視点動映像を符号化することを特徴とする請求項６に記載の多視点動映像の符号化方法。
【請求項１０】
前記視差ベクトル間の偏差または前記偏差の偏差を計算する段階は、
前記視差ベクトルを保存する段階と、
前記視差ベクトル間の偏差を計算する段階と、
前記偏差を保存する段階と、
前記偏差の偏差を計算する段階とを含むことを特徴とする請求項６に記載の多視点動映像の符号化方法。
【請求項１１】
符号化された多視点動映像に含まれる多視点動映像符号化モードを表すモード情報を確認する符号化モード確認部と、
前記確認されたモード情報によって、前記多視点動映像に対する視差ベクトルを決定する視差ベクトル決定部と、
前記決定された視差ベクトルを利用して多視点動映像を復号化する復号化部とを備え、
前記多視点動映像符号化モードを表すモード情報は、前記多視点動映像が視差ベクトル間の偏差を利用して符号化されているか否か、前記偏差の偏差を利用して符号化されているか否かを表すことを特徴とする多視点動映像の復号化装置。
【請求項１２】
前記視差ベクトル決定部は、
前記モード情報が前記視差ベクトル間の偏差を利用して符号化されていることを示す場合、現在ｉ位置のブロックの視差ベクトル間の偏差をｄＤＶｉとするとき、以前ブロックの視差ベクトルＤＶｉ−１と前記視差ベクトル間の偏差ｄＤＶｉとを加え、現在ｉ位置のブロックの視差ベクトルＤＶｉを決定することを特徴とする請求項１１に記載の多視点動映像の復号化装置。
【請求項１３】
前記視差ベクトル決定部は、
前記モード情報が前記視差ベクトル間の偏差の偏差を利用して符号化されていることを示す場合、現在ｉ位置のブロックの視差ベクトル間の偏差の偏差をｄｄＤＶｉとするとき、以前ブロックの視差ベクトル間の偏差ｄＤＶｉ−１と前記視差ベクトル間の偏差の偏差ｄｄＤＶｉとを加えて現在ｉ位置のブロックの視差ベクトル間の偏差ｄＤＶｉを決定し、
以前ブロックの視差ベクトルＤＶｉ−１と前記決定された視差ベクトル間の偏差ｄＤＶｉとを加えて現在ｉ位置のブロックの視差ベクトルＤＶｉを決定することを特徴とする請求項１１に記載の多視点動映像の復号化装置。
【請求項１４】
符号化された多視点動映像に含まれる多視点動映像符号化モードを示すモード情報を確認する段階と、
前記モード情報の確認結果によって、前記多視点動映像に対する視差ベクトルを決定する段階と、
前記決定された視差ベクトルを利用して多視点動映像を復号化する段階とを含み、
前記多視点動映像符号化モードを示すモード情報は、前記多視点動映像が視差ベクトル間の偏差を利用して符号化されているか否か、前記偏差の偏差を利用して符号化されているか否かを示すことを特徴とする多視点動映像の復号化方法。
【請求項１５】
前記視差ベクトルを決定する段階は、
前記モード情報が前記視差ベクトル間の偏差を利用して符号化されていることを示す場合、現在ｉ位置のブロックの視差ベクトル間の偏差をｄＤＶｉとするとき、
以前ブロックの視差ベクトルＤＶｉ−１と前記視差ベクトル間の偏差ｄＤＶｉとを加えて現在ｉ位置のブロックの視差ベクトルＤＶｉを決定する段階を含むことを特徴とする請求項１４に記載の多視点動映像の復号化方法。
【請求項１６】
前記視差ベクトルを決定する段階は、
前記モード情報が前記視差ベクトル間の偏差の偏差を利用して符号化されていることを示す場合、現在ｉ位置のブロックの視差ベクトル間の偏差の偏差をｄｄＤＶｉとするとき、
以前ブロックの視差ベクトル間の偏差ｄＤＶｉ−１と前記視差ベクトル間の偏差の偏差ｄｄＤＶｉとを加えて現在ｉ位置のブロックの視差ベクトル間の偏差ｄＤＶｉを決定する段階と、
以前ブロックの視差ベクトルＤＶｉ−１と前記決定された視差ベクトル間の偏差ｄＤＶｉとを加えて現在ｉ位置のブロックの視差ベクトルＤＶｉを決定する段階とを含むことを特徴とする請求項１４に記載の多視点動映像の復号化方法。
【請求項１７】
現在のフレームと参照フレームとを受信し、前記フレーム間の視差ベクトルを予測する段階と、
前記予測された視差ベクトル間の偏差または前記偏差の偏差を計算する段階と、
前記視差ベクトル間の偏差または前記偏差の偏差を利用して多視点動映像を符号化する段階とを含む多視点動映像の符号化方法を遂行するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【請求項１８】
符号化された多視点動映像に含まれる多視点動映像符号化モードを示すモード情報を確認する段階と、
前記モード情報の確認結果によって、前記多視点動映像に対する視差ベクトルを決定する段階と、
前記決定された視差ベクトルを利用して多視点動映像を復号化する段階とを含み、
前記多視点動映像符号化モードを示すモード情報は、前記多視点動映像が視差ベクトル間の偏差を利用して符号化されているか否か、前記偏差の偏差を利用して符号化されているか否かを示す多視点動映像の復号化方法を遂行するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点動映像を符号化及び復号化する方法及び装置に係り、多視点動映像符号化の圧縮率を向上させるための多視点動映像の符号化方法及び装置、そして多視点動映像の復号化方法及び装置に関する。
【背景技術】
【０００２】
最近、新しいＨ．２６４ビデオコーディング標準が、以前の標準に比べ、高い符号化効率によって注目を受けている。該新しい標準は、一般的な双方向（Ｂ）予測スライスを考慮するだけではなく、１６×１６から４×４にわたった可変ブロックサイズ、及びループデブロッキングフィルタでの動き補償のための四分木（quadtree）構造、多重参照フレーム、イントラ予測、コンテクスト適応性エントロピーコーディングを考慮するように、さまざまな新しい特性に依存する。ＭＰＥＧ−２及びＭＰＥＧ−４パート２のような標準と異なり、Ｂスライスは、同じ方向（順方向または逆方向）から出てくる映像から多重予測を利用しつつ、それらは、異なるスライスの参照映像に利用されうる。しかし、この標準に係る前述のような特徴は、予測モード、動きベクトル及び／または参照映像を含む動き情報を符号化するのに、多くのビット量が要求されるという問題点がある。
【０００３】
この問題を緩和するために、スキップ（ＳＫＩＰ）及び直接（ＤＩＲＥＣＴ）モードがＰスライスとＢスライスからにそれぞれ導入された。それらのモードは、以前に符号化された動きベクトル情報を利用し、現在符号化しようとするピクチャの任意ブロックの動き予測を可能にする。従って、マクロブロックまたはブロックについてのいかなる付加的な動きデータも符号化しない。それらモードのための動きは、隣接したＭＢ（MacroBlock）またはピクチャの動きの空間的（ＳＫＩＰ）または時間的（ＤＩＲＥＣＴ）関連性を利用して獲得される。
【０００４】
図１は、Ｂピクチャのディレクトモードについて説明する図である。ディレクトモードは、現在符号化しようとするＢピクチャの任意のブロックの動きを予測するにおいて、時間的に次のピクチャであるＰピクチャの対応ブロック（co-located  block）の動きベクトルを利用し、順方向動きベクトル及び逆方向動きベクトルを求めるのである。
【０００５】
Ｂピクチャ１１０での動きを予測しようとするディレクトモードブロック１０２の順方向動きベクトルＭＶＬＯ及び逆方向動きベクトルＭＶＬ１を計算するために、時間的に次のピクチャである参照リスト１ピクチャ１２０でのディレクトモードブロック１０２と同じ位置のブロックである対応ブロック（co-located  block）１０４が動きベクトルによって参照している参照リスト０ピクチャ１３０に対する動きベクトルＭＶを探す。それにより、Ｂピクチャ１１０のディレクトモードブロック１０２の順方向動きベクトルＭＶＬＯ及び逆方向動きベクトルＭＶＬ１は、次の式（１）及び式（２）によって計算される。
【０００６】
【数１】
2009508388.tif 000003
2009508388.tif 000004
ここで、ＭＶは、参照リスト１ピクチャ１２０の対応ブロック１０４の動きベクトルを示す。ＴＲＤは、参照リスト０ピクチャ１３０から参照リスト１ピクチャ１２０までの距離を示し、ＴＲＢは、Ｂピクチャ１１０から参照リストピクチャ０１３０までの距離を示す。
【０００７】
図２は、空間領域で動きベクトルを予測する方法について説明する図である。動映像データを符号化するために使われるＨ．２６４標準によれば、１つのフレームを所定大きさのブロックに分け、すでに符号化が終わった隣接したフレームを参照し、最も類似したブロックを検索する動き検索を遂行する。すなわち、現在マクロブロックｃの左側４と上端２、そして上端右側３の３つのマクロブロックの動きベクトルのうち、中間値を動きベクトルの予測値として定める。かような動きベクトル予測は、式（３）で示すことができる。
【０００８】
【数２】
2009508388.tif 000005
このように、時間的な関連性だけではなく、空間的関連性も利用して動映像を符号化する方法が提示されており、一般的な動映像より情報量がはるかに多い多視点動映像についての圧縮率を向上させ、処理速度を速める方法が必要である実情である。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明がなそうとする技術的課題は、多視点カメラによって撮影された多視点動映像に係る視差ベクトル間の関連性を利用し、多視点動映像の圧縮率を向上させるための多視点動映像の符号化方法及び装置を提供するところにある。
【００１０】
本発明がなそうとする他の技術的課題は、多視点動映像に係る視差ベクトル間の関連性を利用し、符号化された多視点動映像を復号化するための多視点動映像の復号化方法及び装置を提供するところにある。
【課題を解決するための手段】
【００１１】
本発明は、前記の技術的課題を解決するためのものであり、本発明の一特徴による多視点動映像の符号化装置は、現在のフレームと参照フレームとを受信してフレーム間の視差ベクトルを所定のブロック単位で予測する視差予測部と、予測された視差ベクトル間の偏差または偏差の偏差を計算する視差偏差計算部と、計算された視差ベクトル間の偏差または偏差の偏差を利用して多視点動映像を符号化する符号化部とを備える。
【００１２】
望ましくは、予測された視差ベクトル間の偏差は、一定である。
【００１３】
望ましくは、所定の基準によって視差の偏差を利用して多視点動映像を符号化するか否か、偏差の偏差を利用して多視点動映像を符号化するか否かを選択し、選択された符号化モードによるモード情報を設定する符号化モード選択部をさらに備え、符号化部は、設定されたモード情報に基づいて設定されたモード情報と共に多視点動映像を符号化する。
【００１４】
望ましくは、視差偏差計算部は、予測された視差ベクトルを保存する第１バッファと、第１バッファに保存された視差ベクトル間の偏差を計算する第１次演算遂行部と、偏差を保存する第２バッファと、偏差の偏差を計算する第２次演算遂行部とを備える。
【００１５】
前記の技術的課題を解決するために、本発明の他の特徴による多視点動映像の符号化方法は、現在のフレームと参照フレームとを受信してフレーム間の視差ベクトルを所定のブロック単位で予測する段階と、予測された視差ベクトル間の偏差または偏差の偏差を計算する段階と、視差ベクトル間の偏差または偏差の偏差を利用して多視点動映像を符号化する段階とを含む。
【００１６】
前記の技術的課題を解決するために、本発明のさらに他の特徴による多視点動映像の復号化装置は、符号化された多視点動映像に含まれる多視点動映像符号化モードを示すモード情報を確認する符号化モード確認部と、確認されたモード情報によって多視点動映像に係る視差ベクトルを決定する視差ベクトル決定部と、決定された視差ベクトルを利用して多視点動映像を復号化する復号化部とを備え、多視点動映像符号化モードを示すモード情報は、多視点動映像が視差ベクトル間の偏差を利用して符号化されているか否か、偏差の偏差を利用して符号化されているか否かを示す。
【００１７】
望ましくは、視差ベクトル決定部は、モード情報が視差ベクトル間の偏差を利用して符号化されていることを示す場合、現在ｉ位置のブロックの視差ベクトル間の偏差をｄＤＶｉとするとき、以前ブロックの視差ベクトルＤＶｉ−１と視差ベクトル間の偏差ｄＤＶｉとを加えて現在ｉ位置のブロックの視差ベクトルＤＶｉを決定する。
【００１８】
望ましくは、視差ベクトル決定部は、モード情報が視差ベクトル間の偏差の偏差を利用して符号化されていることを示す場合、現在ｉ位置のブロックの視差ベクトル間の偏差の偏差をｄｄＤＶｉとするとき、以前ブロックの視差ベクトル間の偏差ｄＤＶｉ−１と視差ベクトル間の偏差の偏差ｄｄＤＶｉとを加えて現在ｉ位置のブロックの視差ベクトル間の偏差ｄＤＶｉを決定し、以前ブロックの視差ベクトルＤＶｉ−１と決定された視差ベクトル間の偏差ｄＤＶｉとを加えて現在ｉ位置のブロックの視差ベクトルＤＶｉを決定する。
【００１９】
前記の技術的課題を解決するために、本発明のさらに他の特徴による多視点動映像の復号化方法は、符号化された多視点動映像に含まれる多視点動映像符号化モードを示すモード情報を確認する段階と、確認されたモード情報によって多視点動映像に係る視差ベクトルを決定する段階と、決定された視差ベクトルを利用して多視点動映像を復号化する段階とを含み、多視点動映像符号化モードを示すモード情報は、多視点動映像が視差ベクトル間の偏差を利用して符号化されているか否か、偏差の偏差を利用して符号化されているか否かを示す。
【発明の効果】
【００２０】
本発明によれば、視差ベクトル間の関連性を利用し、それぞれのブロックに係る視差ベクトルに係る偏差またはその偏差の偏差を符号化するので、多視点動映像の圧縮率を向上させることができる。
【００２１】
また本発明によれば、多視点動映像に係る視差ベクトル間の関連性を利用し、符号化された多視点動映像を復号化するための多視点動映像の復号化方法及び装置を提供できる。
【発明を実施するための最良の形態】
【００２２】
以下、添付した図面を参照しつつ、本発明の望ましい実施形態について詳細に説明する。
【００２３】
図３は、本発明の一実施形態による多視点動映像符号化装置の構成を示すブロック図である。
【００２４】
本発明の一実施形態による多視点動映像の符号化装置は、多視点映像バッファ３１０、予測部３２０、視差／動き補償部３３０、差映像符号化部３４０及びエントロピー符号化部３５０を有する。
【００２５】
図３で、提案された多視点動映像の符号化装置は、多数のカメラシステムまたは他の可能な方法から通常獲得される多視点ビデオソースを受信する。入力された多視点ビデオは、多視点映像バッファ３１０に保存される。多視点映像バッファ３１０は、保存された多視点動映像ソースデータを予測部３２０及び差映像符号化部３４０に提供する。
【００２６】
予測部３２０は、視差予測部３２２及び動き予測部３２４を備え、保存された多視点ビデオソースに対して動き予測及び視差予測を実行する。
【００２７】
視差／動き補償部３３０で、視差及び動き補償は、視差予測部３２２及び動き予測部３２４で予測された動きベクトル及び視差ベクトルを利用して実行される。視差／動き補償部３３０は、予測された動き及び視差ベクトルを利用して復元された映像を差映像符号化部３４０に提供する。
【００２８】
差映像符号化部３４０は、多視点映像バッファ３１０から提供される原映像と、視差／動き補償部３３０によって補償された復元映像との差情報を、さらに良好な画質と立体感とを提供するために差映像符号化を遂行し、エントロピー符号化部３５０に提供する。
【００２９】
エントロピー符号化部３５０は、予測部３２０で生成された視差ベクトル及び動きベクトルについての情報と差映像符号化部３４０からの残差映像とを入力され、多視点動映像ソースデータに係るビットストリームを生成する。
【００３０】
Ｈ．２６４及びＭＰＥＧ２／４のような従来のコーデックで利用される動き予測及び動き補償のための動き情報と共に、図３の視差予測部３２２で予測される視差情報は、視差補償のために利用される。Ｈ．２６４で、動き情報を減らして符号化効率を上昇させるための試みがなされたように、ＭＶＣ（Multi-view  Video  Coding）でも視差情報を減らして符号化効率を上昇させるための試みがなされねばならない。
【００３１】
本発明の一実施形態によれば、視差予測部３２２は、所定のブロック単位で視差を予測し、符号化効率を改善するために、予測された視差ベクトル間の偏差または該偏差の偏差を計算する。そして、本発明の多視点動映像符号化は、計算された偏差または偏差の偏差を利用してなされる。
【００３２】
図４は、多視点カメラによって撮影されたフレームシーケンスを示す図である。水平軸は視点軸であって、多視点映像を撮影するためのカメラの個数を示す。垂直軸は時間軸であって、タイムシーケンスの個数を示す。多視点カメラが平行するように配列されれば、同じタイムシーケンスにある多視点フレーム間には、高い関連性が存在するであろう。多視点カメラが平行に配列されていなくても、多視点カメラから撮影された映像を平行に配列された多視点カメラで撮影したのと同じ状態で補正（rectify）できる。従って、多視点フレーム間の関連性を利用して多視点動映像を符号化できる。
【００３３】
図５は、本発明の視差ベクトル間の偏差が一定である場合について説明するための図であり、図６は、図５に図示されているように、視差ベクトル間の偏差が一定である場合、視差ベクトル間の関連性を示すグラフである。
【００３４】
図５で、Ｖｃ及びＶｒは、同じタイムシーケンスにある任意のフレームでのＭＢの１ラインである。Ｖｒは、すでに符号化された参照視点フレームであり、Ｖｃは、現在符号化するためにＶｒを利用して予測されるフレームである。図６は、各ＭＢの視差ベクトルＤＶによるＤＶの大きさの変化を示したものである。図６で、縦軸はＤＶの大きさを示す。
【００３５】
図５で、現在のＭＢがｉの位置にあるとき、以前のＭＢは、現在のＭＢの左側に位置するｉ−１位置にある。図５及び図６に図示されているように、ＭＢラインで連続的なＭＢのグループのＤＶが線形的に変化すると仮定すれば、所定位置のＭＢのＤＶｉとそのＭＢの以前ＭＢのＤＶｉ−１との差であるｄＤＶｉは一定である。
【００３６】
例えば、図６で、ｄＤＶ２＝ＤＶ２−ＤＶ１であり、ｄＤＶ３＝ＤＶ３−ＤＶ２であり、ｄＤＶ４＝ＤＶ４−ＤＶ３であり、ｄＤＶｎ＝ＤＶｎ−ＤＶｎ−１になり、計算されたｄＤＶは、一定値になる。従って、最初のＤＶ値とｄＤＶ値とを利用して視差ベクトルを符号化すれば、復号化装置では、該値を利用して各ＭＢのＤＶを予測できる。
【００３７】
隣接ＭＢの視差偏差であるｄＤＶ間の関係は、視差偏差の偏差であるｄｄＤＶでもって示すことができる。現在ｉ位置のＭＢの視差偏差の偏差をｄｄＤＶｉとするとき、ｄｄＤＶｉ＝ｄＤＶｉ−ｄＤＶｉ−１の関係があるので、図５及び図６に図示されているような場合には、あらゆる視差偏差の偏差ｄｄＤＶは、０になる。従って、ｄｄＤＶｉを利用して多視点動映像を符号化すれば、復号化装置では、ｄｄＤＶｉと現在ＭＢの以前ＭＢのｄＤＶｉ−１を利用し、ｄＤＶｉを計算できる。すなわち、現在位置ｉのマクロブロックの視差ベクトル間の偏差ｄＤＶｉは、次のような式（４）のように計算できる。
【００３８】
ｄＤＶｉ＝ｄＤＶｉ−１＋ｄｄＤＶｉ          （４）
ｄＤＶｉが計算されれば、現在位置ｉのマクロブロックの視差ベクトルＤＶｉも、式（５）によって計算されうる。
【００３９】
ＤＶｉ＝ＤＶｉ−１＋ｄＤＶｉ          （５）
前述のように、視差ベクトルＤＶの偏差ｄＤＶまたは視差ベクトルの偏差ｄＤＶの偏差ｄｄＤＶを利用し、多視点動映像を符号化して多視点動映像の符号化効率を高めることができる。また、ｄｄＤＶを符号化すれば、ｄＤＶを符号化するのに比べ、圧縮効率がさらに改善されうる。また、式（４）及び（５）を利用すれば、ｄＤＶまたはｄｄＤＶを利用し、符号化された多視点動映像を復戸するときに必要なＤＶを決定できる。
【００４０】
図７は、本発明の一実施形態による多視点動映像の符号化装置の構成を示すブロック図である。
【００４１】
本発明の一実施形態による多視点動映像の符号化装置は、視差予測部７１０、視差偏差計算部７２０、符号化モード選択部７３０及び符号化部７４０を備える。視差偏差計算部７２０は、視差ベクトルを一時保存する第１バッファ７２１、視差ベクトル間の偏差を計算する第１次演算遂行部７２２、視差ベクトル間の偏差を一時保存する第２バッファ７２３及びその偏差の偏差を計算する第２次演算遂行部７２４を備える。
【００４２】
連続するフレームの現在フレームと参照フレームとが視差予測部７１０に入力される。視差予測部７１０は、２つのフレーム間の所定のブロック単位、例えばマクロブロック単位で視差ベクトルＤＶを予測する。このとき、ブロック単位の視差ベクトル間の偏差は、一定でありえる。
【００４３】
視差偏差計算部７２０は、予測された視差ベクトル間の偏差または偏差の偏差を計算する。さらに詳細に説明すれば、まず予測されたブロック単位の視差は、視差偏差計算部７２０の第１バッファ７２１に入力され、第１バッファ７２１に臨時保存される。その後、ブロック単位の視差ベクトルは、第１次演算遂行部７２２に入力され、現在ｉ位置のブロックの視差ベクトルをＤＶｉとするとき、視差ベクトルＤＶｉと以前の視差ベクトルＤＶｉ−１との差である視差ベクトル間の偏差ｄＤＶｉが計算される。
【００４４】
計算された視差ベクトル間の偏差ｄＤＶｉは、第２バッファ７２３に入力されて臨時保存される。第２バッファ７２３に臨時保存された視差ベクトル間の偏差ｄＤＶｉは、さらに第２次演算遂行部７２４に入力され、ｄＤＶｉと以前の視差ベクトル間の偏差ｄＤＶｉ−１との差である視差ベクトル間の偏差の偏差ｄｄＤＶｉが計算される。
【００４５】
符号化部７４０は、視差偏差計算部７２０によって計算された視差ベクトル間の偏差または偏差の偏差を利用して多視点動映像を符号化する。
【００４６】
符号化モード選択部７３０は、ｄＤＶｉを利用して多視点動映像を符号化するか否か、ｄｄＤＶｉを利用して多視点動映像を符号化するか否かを所定の基準によって選択する。符号化モード選択部７３０は、ｄＤＶｉを利用して多視点動映像を符号化する場合と、ｄｄＤＶｉを利用して多視点動映像を符号化する場合とを区別するためのモード情報Ｆｌａｇ＿ｄｄＤＶを設定して符号化部７４０に伝達する。
【００４７】
モード情報は、符号化モードについての情報を含み、情報のタイプに制限されるものではない。多視点動映像が視差ベクトルＤＶｉの偏差ｄＤＶｉを利用して符号化されたときと、多視点動映像が視差ベクトルＤＶｉの偏差ｄＤＶｉの偏差ｄｄＤＶｉを利用して符号化されたときとを区別できる他の任意の方法を使用することも可能である。
【００４８】
符号化モード選択部７３０は、ｄＤＶｉを利用して多視点動映像を符号化する符号化モードを選択する場合、モード情報Ｆｌａｇ＿ｄｄＤＶを０に設定して符号化部７４０に伝達できる。また、符号化モード選択部７３０は、ｄｄＤＶｉを利用して多視点動映像を符号化する符号化モードを選択する場合、モード情報Ｆｌａｇ＿ｄｄＤＶを１に設定して符号化部７４０に伝達できる。
【００４９】
符号化部７４０は、符号化モード選択部７３０から伝えられたモード情報値によって多視点動映像符号化を遂行することも可能である。符号化部７４０は、Ｆｌａｇ＿ｄｄＤＶが０に設定されたときには、モード情報と共にｄＤＶｉを利用して多視点動映像を符号化する。符号化部７４０は、Ｆｌａｇ＿ｄｄＤＶが１に設定されたときには、モード情報と共にｄｄＤＶｉを利用して多視点動映像を符号化する。
【００５０】
図８は、本発明の一実施形態による多視点動映像の符号化方法を示す図である。現在のフレームと参照フレームとを受信し、フレーム間の視差ベクトルを所定のブロック単位で予測する（Ｓ８１０）。予測された視差ベクトル間の偏差または視差ベクトル間の偏差の偏差を計算する（Ｓ８２０）。視差ベクトル間の偏差または視差ベクトル間の偏差の偏差を利用して多視点動映像を符号化する（Ｓ８３０）。段階Ｓ８２０と段階Ｓ８３０との間に、視差ベクトル間の偏差を利用して符号化するか否か、前記の偏差の偏差を利用して符号化するか否かを所定の基準によって選択する段階を含むことができ、段階Ｓ８３０を遂行するとき、選択された符号化モードによって多視点動映像を符号化できる。
【００５１】
図９は、本発明の一実施形態による多視点動映像復号化装置の構成を示すブロック図である。
【００５２】
本発明の一実施形態による多視点動映像の復号化装置は、符号化モード確認部９１０、視差ベクトル決定部９２０及び復号化部９３０を備える。
【００５３】
符号化モード確認部９１０は、受信される符号化された多視点動映像に含まれる多視点動映像符号化モードを示すモード情報を確認する。
【００５４】
視差ベクトル決定部９２０は、確認されたモード情報によって多視点動映像に係る視差ベクトルを決定する。
【００５５】
以下では、視差ベクトル決定部９２０が視差ベクトルを決定する過程について説明する。モード情報が視差ベクトル間の偏差を利用して符号化されており、現在ｉ位置の所定のブロック、例えばマクロブロックの視差ベクトル間の偏差をｄＤＶｉであると仮定する。このとき、以前のマクロブロックの視差ベクトルＤＶｉ−１と視差ベクトル間の偏差ｄＤＶｉとを加え、現在ｉ位置のマクロブロックの視差ベクトルＤＶｉを決定する。
【００５６】
そして、モード情報が視差ベクトル間の偏差の偏差を利用して符号化されていることを示す場合は、次の通り視差ベクトルを決定する。まず、現在ｉ位置のマクロブロックの視差ベクトル間の偏差の偏差をｄｄＤＶｉとするとき、以前のマクロブロックの視差ベクトル間の偏差ｄＤＶｉ−１と視差ベクトル間の偏差の偏差ｄｄＤＶｉとを加え、現在ｉ位置のマクロブロックの視差ベクトル間の偏差ｄＤＶｉを決定する。その後、以前のマクロブロックの視差ベクトルＤＶｉ−１と決定された視差ベクトル間の偏差ｄＤＶｉとを加え、現在ｉ位置のマクロブロックの視差ベクトルＤＶｉを決定する。
【００５７】
復号化部９３０は、前述のように、確認されたモード情報、すなわち符号化モードによって決定された視差ベクトルを利用して多視点動映像を復号化する。
【００５８】
本発明による方法は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現できる。前記のプログラムを具現するコード及びコードセグメントは、当分野のコンピュータプログラマによって容易に推論されうる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（Read-Only  Memory）、ＲＡＭ（Random-Access  Memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光ディスクなどがあり、またキャリアウェーブ（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードで保存されて実行されうる。
【００５９】
以上の説明は、本発明の一実施形態に過ぎず、本発明の属する技術分野で当業者は、本発明の本質的特性から外れない範囲で変形された形態に具現できるであろう。従って、本発明の範囲は、前述の実施形態に限定されるものではなく、特許請求の範囲に記載された内容と同等な範囲内にある多様な実施形態が含まれるものと解釈されるのである。
【図面の簡単な説明】
【００６０】
【図１】Ｂピクチャのディレクトモードについて説明する図である。
【図２】空間領域で動きベクトルを予測する方法について説明する図である。
【図３】本発明の一実施形態による多視点動映像の符号化装置の構成を示すブロック図である。
【図４】多視点カメラによって撮影されたフレームシーケンスを示す図である。
【図５】本発明の視差ベクトル間の偏差が一定である場合について説明するための図である。
【図６】図５に図示されているように、視差ベクトル間の偏差が一定である場合、視差ベクトル間の関連性を示すグラフである。
【図７】本発明の一実施形態による多視点動映像の符号化装置の構成を示すブロック図である。
【図８】本発明の一実施形態による多視点動映像の符号化方法を示す図である。
【図９】本発明の一実施形態による多視点動映像の復号化装置の構成を示すブロック図である。
【図１】
2009508388.tif 000006
【図２】
2009508388.tif 000007
【図３】
2009508388.tif 000008
【図４】
2009508388.tif 000009
【図５】
2009508388.tif 000010
【図６】
2009508388.tif 000011
【図７】
2009508388.tif 000012
【図８】
2009508388.tif 000013
【図９】
2009508388.tif 000014
【国際調査報告】
2009508388.tif 000015
2009508388.tif 000016