(57)【要約】  カメラパラメータを利用した多視点映像の符号化及び復号化装置並びに方法を提供する。多視点映像及びカメラパラメータを受信する多視点映像入力部と、受信されるカメラパラメータのうち、多視点映像の符号化時に利用するカメラパラメータを選択し、選択されたカメラパラメータを表す情報を設定するカメラパラメータ情報設定部と、設定された情報に基づいて多視点映像を符号化する符号化部と、を備える多視点映像符号化装置。これにより、多視点映像符号化効率を高めることができる。
2009512316.tif 000002
【特許請求の範囲】
【請求項１】
多視点映像及びカメラパラメータを受信する多視点映像入力部と、
前記受信されるカメラパラメータのうち、多視点映像の符号化時に利用するカメラパラメータを選択し、前記選択されたカメラパラメータを表す情報を設定するカメラパラメータ情報設定部と、
前記設定された情報に基づいて前記多視点映像を符号化する符号化部と、を備えることを特徴とする多視点映像符号化装置。
【請求項２】
カメラの特性に関するカメラパラメータが統合された情報として受信される時、前記統合された情報をカメラ配列タイプ、トランスレーション、回転角度、カメラ焦点距離、主点を含むカメラパラメータについての特性によってそれぞれ分類するカメラパラメータ分類部をさらに備えることを特徴とする請求項１に記載の多視点映像符号化装置。
【請求項３】
前記カメラパラメータ情報設定部は、前記受信されるカメラパラメータの伝送頻度によって前記多視点映像の符号化時に利用するカメラパラメータを選択することを特徴とする請求項１に記載の多視点映像符号化装置。
【請求項４】
前記カメラパラメータ情報設定部は、カメラパラメータの変更如何を表す情報をさらに設定し、
前記符号化部は、前記カメラパラメータの変更如何を表す情報が前記カメラパラメータが変更されていないことを表す場合、既に伝送したカメラパラメータは符号化しないことを特徴とする請求項１に記載の多視点映像符号化装置。
【請求項５】
前記選択されたカメラパラメータを表す情報は、フラッグ情報であり、各映像のスライス単位で設定されるか、マクロブロック単位で設定されることを特徴とする請求項１に記載の多視点映像符号化装置。
【請求項６】
前記符号化部は、視差を予測する時、設定された情報及び設定された情報によるカメラパラメータが純粋トランスレーションセットアップ状態を表す場合、現在符号化フレームの所定のポイントと第１参照フレームの対応ポイントとの視差ベクトルを、前記現在符号化フレームの所定のポイントと第２参照フレームの対応ポイントとの視差ベクトルを利用して予測することを特徴とする請求項１に記載の多視点映像符号化装置。
【請求項７】
多視点映像及びカメラパラメータを受信するステップと、
前記受信されるカメラパラメータのうち、多視点映像の符号化時に利用するカメラパラメータを選択するステップと、
前記選択されたカメラパラメータを表す情報を設定するステップと、
前記設定された情報に基づいて前記多視点映像を符号化するステップと、を含むことを特徴とする多視点映像符号化方法。
【請求項８】
カメラの特性に関するカメラパラメータが統合された情報として受信される時、前記統合された情報をカメラ配列タイプ、トランスレーション、回転角度、カメラ焦点距離、主点を含むカメラパラメータについての特性によってそれぞれ分類するステップをさらに含むことを特徴とする請求項７に記載の多視点映像符号化方法。
【請求項９】
前記受信されるカメラパラメータのうち、多視点映像の符号化時に利用するカメラパラメータを選択するステップで、前記受信されるカメラパラメータの伝送頻度によって前記カメラパラメータが選択されることを特徴とする請求項７に記載の多視点映像符号化方法。
【請求項１０】
前記選択されたカメラパラメータを表す情報を設定するステップは、カメラパラメータの変更如何を表す情報を設定するステップをさらに含み、
前記多視点映像符号化するステップで、前記カメラパラメータの変更如何を表す情報が、前記カメラパラメータが変更されていないことを表す場合、既に伝送されたカメラパラメータを利用せずに多視点映像を符号化することを特徴とする請求項７に記載の多視点映像符号化方法。
【請求項１１】
前記選択されたカメラパラメータを表す情報は、フラッグ情報であり、各映像のスライス単位で設定されるか、マクロブロック単位で設定されることを特徴とする請求項７に記載の多視点映像符号化方法。
【請求項１２】
前記設定された情報に基づいて前記多視点映像を符号化するステップは、前記設定された情報及び設定された情報によるカメラパラメータが純粋トランスレーションセットアップ状態を表す場合、現在符号化フレームの所定のポイントと第１参照フレームの対応ポイントとの視差ベクトルを、前記現在符号化フレームの所定のポイントと第２参照フレームの対応ポイントとの視差ベクトルを利用して予測するステップを含むことを特徴とする請求項７に記載の多視点映像符号化方法。
【請求項１３】
選択されたカメラパラメータを利用して符号化された多視点映像から伝送されたカメラパラメータに対して設定された情報、及び前記伝送されたカメラパラメータを含むカメラパラメータ情報を抽出するカメラパラメータ情報抽出部と、
前記抽出されたカメラパラメータ情報に基づいて多視点映像を復号化する復号化部と、を備え、
前記復号化部は、前記カメラパラメータ情報抽出部から前記カメラパラメータが変更されたことを表す情報が抽出される場合、前記抽出されたカメラパラメータ情報に基づいて多視点映像を復号化し、前記カメラパラメータが変更されていないことを表す情報が抽出される場合、あらかじめ受信されたカメラパラメータを利用して多視点映像を復号化することを特徴とする多視点映像復号化装置。
【請求項１４】
前記利用されたカメラパラメータに対して設定された情報は、フラッグ情報であり、各映像のスライス単位で設定されるか、マクロブロック単位で設定されることを特徴とする請求項１３に記載の多視点映像復号化装置。
【請求項１５】
選択されたカメラパラメータを利用して、符号化された多視点映像から伝送されたカメラパラメータに対して設定された情報及び前記伝送されたカメラパラメータを含むカメラパラメータ情報を抽出するステップと、
前記抽出されたカメラパラメータ情報に基づいて多視点映像を復号化するステップと、を含み、
前記多視点映像を復号化するステップは、前記符号化された多視点映像から前記カメラパラメータが変更されたことを表す情報が抽出される場合、前記抽出されたカメラパラメータ情報に基づいて多視点映像を復号化し、前記カメラパラメータが変更されていないことを表す情報が抽出される場合、あらかじめ受信されたカメラパラメータを利用して多視点映像を復号化するステップをさらに含むことを特徴とする多視点映像復号化方法。
【請求項１６】
前記利用されたカメラパラメータに対して設定された情報は、フラッグ情報であり、各映像のスライス単位で設定されるか、マクロブロック単位で設定されることを特徴とする請求項１５に記載の多視点映像復号化方法。
【請求項１７】
多視点映像及びカメラパラメータを受信するステップと、
前記受信されるカメラパラメータのうち、多視点映像の符号化時に利用するカメラパラメータを選択するステップと、
前記選択されたカメラパラメータを表す情報を設定するステップと、
前記設定された情報に基づいて前記多視点映像を符号化するステップと、を含む多視点映像符号化方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【請求項１８】
カメラの特性に関するカメラパラメータが統合された情報として受信される時、前記統合された情報をカメラ配列タイプ、トランスレーション、回転角度、カメラ焦点距離、主点を含むカメラパラメータについての特性によってそれぞれ分類するステップをさらに含むことを特徴とする請求項１７に記載の記録媒体。
【請求項１９】
前記受信されるカメラパラメータのうち、多視点映像の符号化時に利用するカメラパラメータを選択するステップで、前記受信されるカメラパラメータの伝送頻度によって前記カメラパラメータが選択されることを特徴とする請求項１７に記載の記録媒体。
【請求項２０】
前記選択されたカメラパラメータを表す情報を設定するステップは、カメラパラメータの変更如何を表す情報を設定するステップをさらに含み、
前記多視点映像符号化するステップで、前記カメラパラメータの変更如何を表す情報が、前記カメラパラメータが変更されていないことを表す場合、既に伝送されたカメラパラメータを利用せずに多視点映像を符号化することを特徴とする請求項１７に記載の記録媒体。
【請求項２１】
前記選択されたカメラパラメータを表す情報は、フラッグ情報であり、各映像のスライス単位で設定されるか、マクロブロック単位で設定されることを特徴とする請求項１７に記載の記録媒体。
【請求項２２】
前記設定された情報に基づいて前記多視点映像を符号化するステップは、前記設定された情報及び設定された情報によるカメラパラメータが純粋トランスレーションセットアップ状態を表す場合、現在符号化フレームの所定のポイントと第１参照フレームの対応ポイントとの視差ベクトルを、前記現在符号化フレームの所定のポイントと第２参照フレームの対応ポイントとの視差ベクトルを利用して予測するステップを含むことを特徴とする請求項１７に記載の記録媒体。
【請求項２３】
選択されたカメラパラメータを利用して符号化された多視点映像から伝送されたカメラパラメータに対して設定された情報、及び前記伝送されたカメラパラメータを含むカメラパラメータ情報を抽出するステップと、
前記抽出されたカメラパラメータ情報に基づいて多視点映像を復号化するステップと、を含み、
前記多視点映像を復号化するステップは、前記符号化された多視点映像から前記カメラパラメータが変更されたことを表す情報が抽出される場合、前記抽出されたカメラパラメータ情報に基づいて多視点映像を復号化し、前記カメラパラメータが変更されていないことを表す情報が抽出される場合、あらかじめ受信されたカメラパラメータを利用して多視点映像を復号化するステップをさらに含む多視点映像復号化方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【請求項２４】
前記利用されたカメラパラメータに対して設定された情報は、フラッグ情報であり、各映像のスライス単位で設定されるか、マクロブロック単位で設定されることを特徴とする請求項２３に記載の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点動画を符号化及び復号化する装置及び方法に係り、より詳細には、カメラパラメータを利用した多視点映像の符号化及び復号化装置並びに方法に関する。
【背景技術】
【０００２】
ＭＰＥＧ−４及びＨ．２６４での動画符号化は、一つのカメラで撮った動画の符号化に係り、符号化効率を高めるのに主に焦点が合わせられている。しかし、実感通信や仮想現実などの分野では、複数のカメラを使用して一つの場面を撮ることで多視点を持つ３次元動画を構成し、このように構成された多視点映像の効率的な圧縮符号化及び再生のための方法が必要である。
【０００３】
しかし、従来圧縮符号化及び再生方法は単一カメラで生成された映像の圧縮符号化及び再生に係り、本願発明で適用しようとする多視点映像に対しては、従来の圧縮符号化及び再生方法を効率的に適用し難いという問題点がある。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする技術的課題は、カメラパラメータを利用して多視点映像符号化効率を高めることができる多視点映像符号化及び復号化装置並びに方法を提供するところにある。
【０００５】
本発明が解決しようとする他の技術的課題は、カメラパラメータを利用して多視点映像符号化効率を高めることができる多視点映像符号化及び復号化方法を行うためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を提供するところにある。
【課題を解決するための手段】
【０００６】
本発明は前記の技術的課題を解決するためのものであり、本発明の一特徴による多視点映像符号化装置は、多視点映像及びカメラパラメータを受信する多視点映像入力部と、前記受信されるカメラパラメータのうち、多視点映像の符号化時に利用するカメラパラメータを選択し、前記選択されたカメラパラメータを表す情報を設定するカメラパラメータ情報設定部と、前記設定された情報に基づいて前記多視点映像を符号化する符号化部と、を備える。
【０００７】
望ましくは、カメラの特性に関するカメラパラメータが統合された情報として受信される時、前記統合された情報をカメラ配列タイプ、トランスレーション、回転角度、カメラ焦点距離、主点を含むカメラパラメータについての特性によってそれぞれ分類するカメラパラメータ分類部をさらに備える。
【０００８】
望ましくは、前記カメラパラメータ情報設定部は、前記受信されるカメラパラメータの伝送頻度によって前記多視点映像の符号化時に利用するカメラパラメータを選択する。
【０００９】
望ましくは、前記カメラパラメータ情報設定部は、カメラパラメータの変更如何を表す情報をさらに設定し、前記符号化部は、前記カメラパラメータの変更如何を表す情報が前記カメラパラメータが変更されていないことを表す場合、既に伝送したカメラパラメータは符号化しない。
【００１０】
望ましくは、前記選択されたカメラパラメータを表す情報は、フラッグ情報であり、各映像のスライス単位で設定されるか、マクロブロック単位で設定される。
【００１１】
望ましくは、前記符号化部は、視差を予測する時、設定された情報及び設定された情報によるカメラパラメータが純粋トランスレーションセットアップ状態を表す場合、現在符号化フレームの所定のポイントと第１参照フレームの対応ポイントとの視差ベクトルを、前記現在符号化フレームの所定のポイントと第２参照フレームの対応ポイントとの視差ベクトルを利用して予測する。
【００１２】
前記の技術的課題を解決するための、本発明の他の特徴による多視点映像符号化方法は、多視点映像及びカメラパラメータを受信するステップと、前記受信されるカメラパラメータのうち、多視点映像の符号化時に利用するカメラパラメータを選択するステップと、前記選択されたカメラパラメータを表す情報を設定するステップと、前記設定された情報に基づいて前記多視点映像を符号化するステップと、を含む。
【００１３】
前記の技術的課題を解決するための、本発明のさらに他の特徴による多視点映像復号化装置は、選択されたカメラパラメータを利用して符号化された多視点映像から伝送されたカメラパラメータに対して設定された情報、及び前記伝送されたカメラパラメータを含むカメラパラメータ情報を抽出するカメラパラメータ情報抽出部と、前記抽出されたカメラパラメータ情報に基づいて多視点映像を復号化する復号化部と、を備え、前記復号化部は、前記カメラパラメータ情報抽出部から前記カメラパラメータが変更されたことを表す情報が抽出される場合、前記抽出されたカメラパラメータ情報に基づいて多視点映像を復号化し、前記カメラパラメータが変更されていないことを表す情報が抽出される場合、あらかじめ受信されたカメラパラメータを利用して多視点映像を復号化する。
【００１４】
望ましくは、前記利用されたカメラパラメータに対して設定された情報は、フラッグ情報であり、各映像のスライス単位で設定されるか、マクロブロック単位で設定される。
【００１５】
前記の技術的課題を解決するための、本発明のさらに他の特徴による多視点映像復号化方法は、選択されたカメラパラメータを利用して、符号化された多視点映像から伝送されたカメラパラメータに対して設定された情報及び前記伝送されたカメラパラメータを含むカメラパラメータ情報を抽出するステップと、前記抽出されたカメラパラメータ情報に基づいて多視点映像を復号化するステップと、を含み、前記多視点映像を復号化するステップは、前記符号化された多視点映像から前記カメラパラメータが変更されたことを表す情報が抽出される場合、前記抽出されたカメラパラメータ情報に基づいて多視点映像を復号化し、前記カメラパラメータが変更されていないことを表す情報が抽出される場合、あらかじめ受信されたカメラパラメータを利用して多視点映像を復号化するステップをさらに含む。
【発明の効果】
【００１６】
本発明によれば、あらゆるカメラパラメータを符号化して伝送せず、符号化する時に必須のカメラパラメータを選択して符号化することによって、多視点映像符号化効率を高めることができる多視点映像符号化装置及び方法を提供できる。
【００１７】
また本発明によれば、カメラパラメータを利用して符号化された多視点動画を復号化するための多視点動画復号化方法及び装置を提供できる。
【発明を実施するための最良の形態】
【００１８】
以下、添付された図面を参照して本発明の望ましい実施形態について詳細に説明する。
【００１９】
図１は、本発明の一実施形態によるカメラセットアップにより撮影された多視点映像で対応ポイントを示す図である。
【００２０】
３個の多視点カメラが対応ポイントを撮影した時、対応ポイントが３個の多視点カメラにより撮影された映像は、図１に示した通りである。映像１で対応ポイントはＸと表れ、映像２で対応ポイントはＸ’と表れ、映像３で対応ポイントはＸ”と表れる。
【００２１】
図１で、映像１のＸ−Ｙ−Ｚ座標系の３次元空間上の所定のピクセル位置にある映像ポイントＸの位置をＸ＝（ｘ，ｙ，１）Ｔと仮定する。ここで、ｘ及びｙはそれぞれ、ｘ−ｙ平面のｘ座標及びｙ座標に対する値をＺ軸に該当する値に正規化した値を意味したものである。それにより、映像２での対応ポイントＸ’と映像３での対応ポイントＸ”とは、それぞれ次の式（１）及び式（２）で表すことができる。
【００２２】
【数１】
2009512316.tif 000003
式（３）及び（４）でＫ、Ｋ’及びＫ”は、映像１、映像２及び映像３に対するカメラ内部のパラメータである。Ｒ１２、Ｒ１３は、映像１に対する映像２及び映像３のカメラローテーションパラメータである。ｔ１２及びｔ１３は、映像１に対する映像２及び映像３のカメラトランスレーションパラメータである。Ｚは、所定のポイントのＺ座標に対する値である。
【００２３】
図２は、本発明の一実施形態による純粋トランスレーションカメラセットアップにより撮影された多視点映像で対応ポイントを示す図である。
【００２４】
カメラ内部パラメータ特性がいずれも同じ多視点カメラが所定の物体に対して一直線上に平行に配列されている時を、純粋トランスレーションセットアップという時、３個の多視点カメラで撮影された映像は、図２に図示された通りである。この場合に式（１）及び（２）で、Ｒ＝Ｉ（単位行列）、Ｋ＝Ｋ’＝Ｋ”が成立する。
【００２５】
図２で、Ｘ’及びＸ”が映像１のポイントＸに対する対応ポイントである。純粋トランスレーションセットアップである時には、ＸとＸ’との位置の差はＸとＸ’との間の視差ベクトルｄｖ１に対応し、Ｘ’とＸ”との位置の差はＸ’とＸ”との間の視差ベクトルｄｖ２に対応し、ＸとＸ”との位置の差はＸとＸ”との間の視差ベクトルｄｖ３に対応する。純粋トランスレーションセットアップである時、Ｘ、Ｘ’とＸ”との関係は、次のような式（３）、式（４）及び式（５）で表すことができる。
【００２６】
【数２】
2009512316.tif 000004
式（３）及び式（４）から次の式（６）が誘導される。
【００２７】
【数３】
2009512316.tif 000005
ｔ１２、ｔ１３及びＸ”−Ｘ、すなわち、ｄｖ３の値が分かる時、Ｘ−Ｘ’、すなわち、ｄｖ１の値を、従来の視差ベクトル探索方法によらず、式（６）を利用して得ることができる。
【００２８】
一方、式（３）及び式（５）から次の式（７）を誘導できる。
【００２９】
【数４】
2009512316.tif 000006
ｔ１２、ｔ２３及びＸ’−Ｘ、すなわち、ｄｖ１の値が分かる時、Ｘ”−Ｘ’すなわち、ｄｖ２の値を、従来の視差ベクトル探索方法によらず、式（７）を利用して得ることができる。
【００３０】
結果的に、多視点カメラのセットアップで純粋トランスレーションのみ存在し、カメラトランスレーションパラメータの値が知られている時、現在符号化フレームの所定のポイントと第１参照フレームの対応ポイントとの間の視差ベクトルは、現在符号化フレームの所定のポイントと第２参照フレームの対応ポイントとの間の視差ベクトルを利用して予測できる。
【００３１】
純粋トランスレーション多視点カメラセットアップ以外にも他の形態で多視点カメラを設置できる。しかし、他の形態で多視点カメラを設置して多視点映像を撮影する場合にも、多視点映像を符号化するための前処理または後処理として補正過程を経る場合には、純粋トランスレーション多視点カメラセットアップと同じ条件が成立する。したがって、純粋トランスレーション多視点カメラセットアップが成立する場合、前述したように視差ベクトルが予測できるので、トランスレーションに該当するカメラパラメータを利用して多視点映像を符号化する必要がある。
【００３２】
図３は、本発明の一実施形態による多視点動画符号化装置を示すブロック図である。
【００３３】
本発明の一実施形態による多視点動画符号化装置は、多視点映像入力部３１０、カメラパラメータ情報設定部３３０及び符号化部３５０を備える。
【００３４】
多視点映像入力部３１０は、多視点映像を撮影する多視点カメラシステムから多視点映像及びカメラパラメータを受信する。カメラパラメータは、複数のカメラから入力されるそれぞれの映像についてのカメラの特性情報である。カメラパラメータは、カメラ配列タイプ、トランスレーション、回転角度、カメラ焦点距離、主点のようなカメラについての特性を含む。
【００３５】
カメラパラメータ情報設定部３３０は、受信されるカメラパラメータのうち、多視点映像の符号化時に利用するカメラパラメータを選択する。カメラパラメータは、多視点映像を効率的に符号化するための所定の基準によって選択されうる。例えば、カメラパラメータ情報設定部３３０は、受信されるカメラパラメータの伝送頻度によって多視点映像の符号化時に利用するカメラパラメータを選択できる。
【００３６】
その後、カメラパラメータ情報設定部３３０は、選択されたカメラパラメータを表す情報を設定する。例えば、カメラの配列が平行しているか、あるいは曲線形態であるかを表すカメラ配列タイプはＦｌａｇ＿ＣＰ１に設定し、トランスレーションはＦｌａｇ＿ＣＰ２に設定し、回転角度はＦｌａｇ＿ＣＰ３に設定し、カメラ焦点距離はＦｌａｇ＿ＣＰ４に設定し、主点はＦｌａｇ＿ＣＰ５のように設定できる。カメラパラメータを表す情報は、選択されたカメラパラメータを表すフラッグ情報であり、各映像のスライス単位で設定されるか、マクロブロック単位で設定されうる。そして、各フラッグが設定された場合には、Ｆｌａｇ＿ＣＰｎを１に設定できる。カメラパラメータが多視点映像符号化に利用されない時にはＦｌａｇ＿ＣＰｎを０に設定できる。
【００３７】
符号化部３５０は、設定された情報に基づいて多視点映像を符号化して多視点映像ビットストリームを生成する。符号化部３５０は、設定されたフラッグ情報及びフラッグ情報によるカメラパラメータを利用して多視点映像を符号化する。したがって、本発明の多視点映像符号化装置によれば、あらゆるカメラパラメータを符号化して伝送せず、符号化する時に必須のカメラパラメータを選択して符号化することによって、多視点映像符号化効率を高めることができる。
【００３８】
多視点カメラシステムからカメラパラメータが統合された情報、例えば、いろいろなカメラパラメータが一つのマトリックスに伝送される場合がある。本発明の多視点映像符号化装置は、カメラの特性に関するカメラパラメータが統合された情報として受信される時、統合された情報を分類するカメラパラメータ分類部３２０を選択的にさらに備えることができる。本発明の一実施形態によって、いろいろなカメラパラメータのうち、多視点映像の符号化時に利用するカメラパラメータを選択し、選択されたカメラパラメータについての情報を設定するためには、各カメラパラメータ項目またはカメラについての特性によって分類する必要があるためである。カメラパラメータ分類部３２０は、カメラパラメータについての統合された情報をカメラ配列タイプ、トランスレーション、回転角度、カメラ焦点距離、主点を含むカメラパラメータに対する項目にそれぞれ分類する。
【００３９】
一方、カメラパラメータ情報設定部３３０は、選択されたカメラパラメータを他のカメラパラメータに変更して選択する時、または同じカメラパラメータ項目に属するとしてもカメラパラメータの値が変更される時には、カメラパラメータが変更されたことを表す情報をさらに設定できる。例えば、符号化部３５０は、カメラパラメータの変更如何を表すフラッグ情報を設定できる。
【００４０】
カメラパラメータの変更如何を表すフラッグ情報がカメラパラメータが変更されたことを表す場合、符号化部３５０は、変更されたカメラパラメータを利用して多視点映像を符号化する。しかし、符号化部３５０は、フラッグ情報がカメラパラメータが変更されていないことを表す場合、復号化部から既に伝送されたカメラパラメータが利用できるので、既に伝送されたカメラパラメータは符号化しなくてもよい。このような構成によって重複されたカメラパラメータの伝送を防止して符号化効率を高めることができる。
【００４１】
また、符号化部３５０は、視差を予測する時、設定された情報及び設定された情報によるカメラパラメータが純粋トランスレーションセットアップ状態を表す場合、現在符号化フレームの所定のポイントと第１参照フレームの対応ポイントとの視差ベクトルを、現在符号化フレームの所定のポイントと第２参照フレームの対応ポイントとの視差ベクトルを利用して予測できる。
【００４２】
図４は、本発明の一実施形態による多視点動画符号化方法を示すフローチャートである。
【００４３】
ステップＳ４１０で、多視点映像及びカメラパラメータを受信する。ステップＳ４２０で、受信されるカメラパラメータのうち、多視点映像の符号化時に利用するカメラパラメータを選択する。
【００４４】
ステップＳ４１０とステップＳ４２０との間に、カメラの特性に関するカメラパラメータが統合された情報として受信される時、統合された情報をカメラ配列タイプ、トランスレーション、回転角度、カメラ焦点距離、主点を含むカメラパラメータについての特性によってそれぞれ分類するステップがさらに含まれうる。受信されるカメラパラメータのうち、多視点映像の符号化時に利用するカメラパラメータを選択するステップＳ４２０では、カメラパラメータの選択は、受信されるカメラパラメータの伝送頻度によって行われうる。
【００４５】
ステップＳ４３０で選択されたカメラパラメータを表す情報を設定する。ステップＳ４３０で選択されたカメラパラメータを表す情報は、フラッグ情報であり、各映像のスライス単位で設定されるか、マクロブロック単位で設定されうる。
【００４６】
ステップＳ４４０で設定された情報に基づいて多視点映像を符号化する。ステップＳ４４０で設定された情報及び設定された情報によるカメラパラメータが純粋トランスレーションセットアップ状態を表す場合、現在符号化フレームの所定のポイントと第１参照フレームの対応ポイントとの視差ベクトルを、現在符号化フレームの所定のポイントと第２参照フレームの対応ポイントとの視差ベクトルを利用して予測するステップをさらに行える。
【００４７】
一方、ステップＳ４３０では選択されたカメラパラメータを表す情報を設定する時、カメラパラメータの変更如何を表す情報を設定するステップをさらに含むことができる。この場合に多視点映像を符号化するステップＳ４４０では、カメラパラメータの変更を表す情報がカメラパラメータが変更されていないことを表す場合、既に伝送されたカメラパラメータと同じカメラパラメータは符号化しなくてもよい。
【００４８】
図５は、本発明の一実施形態による多視点動画復号化装置を示すブロック図である。
【００４９】
本発明の一実施形態による多視点動画復号化装置は、カメラパラメータ情報抽出部５１０及び復号化部５２０を備える。カメラパラメータ情報抽出部５１０は、カメラパラメータを利用して符号化された多視点映像ビットストリームからカメラパラメータ情報を抽出する。カメラパラメータ情報は、多視点映像符号化に利用されたカメラパラメータに対して設定された情報、及び多視点映像符号化に利用されたカメラパラメータを含む。カメラパラメータに対して設定された情報は、いかなるカメラパラメータが多視点映像符号化に利用されたかを表す情報、及びカメラパラメータ情報の変更如何を表す情報を含むことができる。復号化部５２０は、抽出されたカメラパラメータ情報に基づいて多視点映像を適応的に復号化する。復号化された映像はディスプレイに出力される。
【００５０】
復号化部５２０は、カメラパラメータ情報抽出部５１０からカメラパラメータが変更されたことを表す情報が抽出される場合、抽出されたカメラパラメータ情報に基づいて多視点映像を復号化する。復号化部５２０は、カメラパラメータが変更されていないことを表す情報が抽出される場合、例えば、カメラパラメータが変更されたことを表す情報がディセーブル値を表す場合、あらかじめ受信されたカメラパラメータを利用して多視点映像を復号化する。利用されたカメラパラメータに対して設定された情報は、フラッグ情報であり、各映像のスライス単位で設定されるか、マクロブロック単位で設定されて受信されうる。
【００５１】
本発明による多視点映像符号化方法及び多視点映像復号化方法は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現できる。前記のプログラムを具現するコード及びコードセグメントは当分野のコンピュータプログラマーによって容易に推論されうる。コンピュータで読み取り可能な記録媒体はコンピュータシステムによって読み取られるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光ディスクなどがあり、またキャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものを含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードで保存されて実行されうる。
【００５２】
本発明によれば、あらゆるカメラパラメータを符号化して伝送せず、符号化する時に必須のカメラパラメータを選択して符号化することによって、多視点映像符号化効率を高めることができる多視点映像符号化装置及び方法を提供できる。
【００５３】
また本発明によれば、カメラパラメータを利用して符号化された多視点動画を復号化するための多視点動画復号化方法及び装置を提供できる。
【００５４】
以上の説明は本発明の一実施形態に過ぎず、当業者ならば、本発明の本質的特性から逸脱しない範囲で変形された形態で具現できるであろう。したがって、本発明の範囲は、実施形態に限定されず、特許請求の範囲に記載された内容と同等な範囲内にある多様な実施形態が含まれるように解釈されねばならない。
【図面の簡単な説明】
【００５５】
【図１】本発明の一実施形態によるカメラセットアップにより撮影された多視点映像で対応ポイントを示す図である。
【図２】本発明の一実施形態による純粋トランスレーションカメラセットアップにより撮影された多視点映像で対応ポイントを示す図である。
【図３】本発明の一実施形態による多視点動画符号化装置を示すブロック図である。
【図４】本発明の一実施形態による多視点動画符号化方法を示すフローチャートである。
【図５】本発明の一実施形態による多視点動画復号化装置を示すブロック図である。
【図１】
2009512316.tif 000007
【図２】
2009512316.tif 000008
【図３】
2009512316.tif 000009
【図４】
2009512316.tif 000010
【図５】
2009512316.tif 000011
【国際調査報告】
2009512316.tif 000012
2009512316.tif 000013