(57)【要約】  本発明は、多重カメラシステムに関し、多視点ビデオストリームの符号化／復号化装置において自由な基本設定ビューを処理することができる方法及び装置に関する。本発明は、多視点映像信号を受信し、予め設定されているか又はユーザから送られた情報によって設定された基本設定映像グループ情報を反映して符号化するエンコーダと、前記予め設定されているか又はユーザから送られた情報によって設定された基本設定映像グループ情報を前記エンコーダに提供する基本設定映像グループ選択部と、前記符号化された映像信号を多重化し、基本設定映像グループのみを順次出力する多重化部とを備える多重カメラシステムの符号化装置を開示する。
2009512270.tif 000002
【特許請求の範囲】
【請求項１】
多重カメラシステムの符号化装置であって、
多視点映像信号を受信し、設定された基本設定映像グループ情報を反映して符号化するエンコーダと、
前記設定された基本設定映像グループ情報を前記エンコーダに提供する基本設定映像グループ選択部と、
前記符号化された映像信号を多重化し、基本設定映像グループのみを順次出力する多重化部と
を備えることを特徴とする多重カメラシステムの符号化装置。
【請求項２】
前記基本設定映像グループが、
他の視点の映像信号を参照せずに符号化されることを特徴とする請求項１に記載の多重カメラシステムの符号化装置。
【請求項３】
前記基本設定映像グループが、
設定された時間区間毎に他の視点に変更されることを特徴とする請求項１に記載の多重カメラシステムの符号化装置。
【請求項４】
前記エンコーダから出力される映像グループビットストリームが、基本設定ビューであるかを示すためのフラグを含むことを特徴とする請求項１に記載の多重カメラシステムの符号化装置。
【請求項５】
前記多重化部が、
前記フラグの値を用いて基本設定映像グループのみを順次出力することを特徴とする請求項４に記載の多重カメラシステムの符号化装置。
【請求項６】
多重カメラシステムの復号化装置であって、
他の視点の映像信号を参照せずに符号化された基本設定映像グループを順次受信する受信手段と、
前記受信した映像信号を復号化するデコーダと、
前記復号化された映像信号をディスプレイするディスプレイ部と
を備えることを特徴とする多重カメラシステムの復号化装置。
【請求項７】
前記基本設定映像グループが、
設定された時間区間毎に他の視点の映像信号に変更されることを特徴とする請求項６に記載の多重カメラシステムの復号化装置。
【請求項８】
多重カメラシステムであって、
多視点映像信号を受信し、設定された基本設定映像グループ情報を反映して符号化するエンコーダと、
前記設定された基本設定映像グループ情報を前記エンコーダに提供する基本設定映像グループ選択部と、
前記符号化された映像信号を多重化し、基本設定映像グループのみを順次出力する多重化部と、
前記順次出力される基本設定映像グループを受信し、復号化して、ディスプレイする復号化装置と
を備えることを特徴とする多重カメラシステム。
【請求項９】
多重カメラシステムの符号化装置であって、
多視点映像信号を受信し、設定された基本設定映像グループ情報及び基本設定ステレオ映像グループ情報を反映して符号化するエンコーダと、
前記設定された基本設定映像グループ情報及び基本設定ステレオ映像グループ情報を前記エンコーダに提供する基本設定映像グループ選択部と、
前記符号化された映像信号を多重化し、基本設定映像グループ及び当該基本設定映像グループに対応する基本設定ステレオ映像グループのみを順次出力する多重化部と
を備えることを特徴とする多重カメラシステムの符号化装置。
【請求項１０】
前記基本設定映像グループが、
他の視点の映像信号を参照せずに符号化されることを特徴とする請求項９に記載の多重カメラシステムの符号化装置。
【請求項１１】
前記基本設定映像グループが、
設定された時間区間毎に他の視点に変更されることを特徴とする請求項９に記載の多重カメラシステムの符号化装置。
【請求項１２】
前記基本設定ステレオ映像グループが、
同一時間区間の基本設定映像グループを参照して符号化されることを特徴とする請求項９に記載の多重カメラシステムの符号化装置。
【請求項１３】
前記エンコーダから出力される映像グループビットストリームが、基本設定ビューであるかを示すためのフラグ及び基本設定ステレオビューであるかを示すためのフラグを含むことを特徴とする請求項９に記載の多重カメラシステムの符号化装置。
【請求項１４】
多重カメラシステムの復号化装置であって、
他の視点の映像信号を参照せずに符号化された基本設定映像グループ及び同一時間区間の前記基本設定映像グループを参照する基本設定ステレオ映像グループを順次受信する受信手段と、
前記受信した映像信号を復号化するデコーダと、
前記復号化された映像信号を用いてステレオ映像信号をディスプレイするディスプレイ部と
を備えることを特徴とする多重カメラシステムの復号化装置。
【請求項１５】
前記基本設定映像グループが、
設定された時間区間毎に他の視点に変更されることを特徴とする請求項１４に記載の多重カメラシステムの復号化装置。
【請求項１６】
前記デコーダが、
前記基本設定映像グループを参照して基本設定ステレオ映像グループを復号化することを特徴とする請求項１４に記載の多重カメラシステムの復号化装置。
【請求項１７】
多重カメラシステムであって、
多視点映像信号を受信し、設定された基本設定映像グループ情報及び基本設定ステレオ映像グループ情報を反映して符号化するエンコーダと、
前記設定された基本設定映像グループ情報及び基本設定ステレオ映像グループ情報を前記エンコーダに提供する基本設定映像グループ選択部と、
前記符号化された映像信号を多重化し、基本設定映像グループ及び当該基本設定映像グループに対応する基本設定ステレオ映像グループのみを順次出力する多重化部と、
該多重化部の出力信号を受信して復号化し、当該復号化された信号を用いてステレオ映像信号をディスプレイする復号化装置と
を備えることを特徴とする多重カメラシステムの復号化装置。
【請求項１８】
多重カメラシステムであって、
多視点映像信号を受信して符号化するエンコーダと、
設定された基本設定ビュー情報を符号化する基本設定ビューエンコーダと、
前記符号化された多視点映像信号及び基本設定ビュー情報を多重化して出力する多重化部と、
前記基本設定ビュー情報に基づいて映像信号をディスプレイする自由視点ビデオ再生装置と
を備えることを特徴とする多重カメラシステム。
【請求項１９】
前記基本設定ビューが、
設定された時間区間毎に他の視点に変更されることを特徴とする請求項１８に記載の多重カメラシステム。
【請求項２０】
多重カメラシステムの符号化方法であって、
設定された基本設定映像グループ情報を提供するステップと、
多視点映像信号を受信し、前記基本設定映像グループ情報を反映して符号化するステップと、
前記符号化された映像信号を多重化し、基本設定映像グループのみを順次出力するステップと
を含むことを特徴とする多重カメラシステムの符号化方法。
【請求項２１】
前記基本設定映像グループが、
他の視点の映像信号を参照せずに符号化されることを特徴とする請求項２０に記載の多重カメラシステムの符号化方法。
【請求項２２】
前記基本設定映像グループが、
設定された時間区間毎に他の視点に変更されることを特徴とする請求項２０に記載の多重カメラシステムの符号化方法。
【請求項２３】
符号化された映像グループビットストリームが、基本設定ビューであるかを示すためのフラグを含むことを特徴とする請求項２０に記載の多重カメラシステムの符号化方法。
【請求項２４】
多重カメラシステムの復号化方法であって、
他の視点の映像信号を参照せずに符号化された基本設定映像グループを順次受信するステップと、
前記受信した映像信号を復号化するステップと、
前記復号化された映像信号をディスプレイするステップと
を含むことを特徴とする多重カメラシステムの復号化方法。
【請求項２５】
前記基本設定映像グループが、
設定された時間区間毎に他の視点の映像信号に変更されることを特徴とする請求項２４に記載の多重カメラシステムの復号化方法。
【請求項２６】
多重カメラシステムの符号化方法であって、
設定された基本設定映像グループ情報及び基本設定ステレオ映像グループ情報を前記エンコーダに提供するステップと、
多視点映像信号を受信し、設定された基本設定映像グループ情報及び基本設定ステレオ映像グループ情報を反映して符号化するステップと、
前記符号化された映像信号を多重化し、基本設定映像グループ及び当該基本設定映像グループに対応する基本設定ステレオ映像グループのみを順次出力するステップと
を含むことを特徴とする多重カメラシステムの符号化方法。
【請求項２７】
前記基本設定映像グループが、
他の視点の映像信号を参照せずに符号化されることを特徴とする請求項２６に記載の多重カメラシステムの符号化方法。
【請求項２８】
前記基本設定映像グループが、
設定された時間区間毎に他の視点に変更されることを特徴とする請求項２６に記載の多重カメラシステムの符号化方法。
【請求項２９】
前記基本設定ステレオ映像グループが、
同一時間区間の基本設定映像グループを参照して符号化されることを特徴とする請求項２６に記載の多重カメラシステムの符号化方法。
【請求項３０】
符号化された映像グループビットストリームが、基本設定ビューであるかを示すためのフラグ及び基本設定ステレオビューであるかを示すためのフラグを含むことを特徴とする請求項２６に記載の多重カメラシステムの符号化方法。
【請求項３１】
多重カメラシステムの復号化方法であって、
他の視点の映像信号を参照せずに符号化された基本設定映像グループ及び同一時間区間の前記基本設定映像グループを参照する基本設定ステレオ映像グループを順次受信するステップと、
前記受信した映像信号を復号化するステップと、
前記復号化された映像信号を用いてステレオ映像信号をディスプレイするステップと
を含むことを特徴とする多重カメラシステムの復号化方法。
【請求項３２】
前記基本設定映像グループが、
設定された時間区間毎に他の視点に変更されることを特徴とする請求項３１に記載の多重カメラシステムの復号化方法。
【請求項３３】
前記復号化するステップが、
前記基本設定映像グループを参照して基本設定ステレオ映像グループを復号化することを特徴とする請求項３１に記載の多重カメラシステムの復号化方法。
【請求項３４】
多重カメラシステムの基本設定ビュー提供方法であって、
多視点映像信号を受信して符号化するステップと、
設定された基本設定ビュー情報を符号化するステップと、
前記符号化された多視点映像信号及び基本設定ビュー情報を多重化して出力するステップと、
前記基本設定ビュー情報に基づいて映像信号をディスプレイするステップと
を含むことを特徴とする多重カメラシステムの基本設定ビュー提供方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多重カメラシステムに関し、多視点ビデオストリームの符号化／復号化装置において自由な基本設定ビューを処理することができる方法及び装置に関する。
【背景技術】
【０００２】
多重カメラシステムとは、同じ対象に対して複数の視点からビデオデータを獲得し、同一時間で複数の映像を処理するシステムである。このような多重カメラシステムは、人間に、より現実に近い映像を提供するだけでなく、立体感を提供するため、多くの分野で応用されている。
【０００３】
同一時間で複数個出力される多視点ビデオストリームの符号化／復号化装置は、各々のカメラから生成されるビデオストリームを個別に圧縮して送信した後、解凍する方法を採用する。この方法は、従来のＭＰＥＧ−１／２／４やＨ．２６１／２６３／２６４によって容易に実現可能であるが、同じ物体を複数台のカメラで撮影することによるカメラ間の重複性を除去できないという短所がある。
【０００４】
最近では、カメラ間の重複性を利用して多視点ビデオストリームを効果的に圧縮する方法が提案されている。しかし、この方法は、周辺のカメラの映像を参照するため、従来のモノビデオ再生装置又はステレオビデオ再生装置では制限的な出力しかできないという短所がある。
【０００５】
モノビデオ再生装置では、１つのビデオを基本ビデオとして設定する場合、１台のカメラから生成されるビデオストリームのみを最初から最後まで出力しなければならないという制限がある。また、ステレオビデオ再生装置では、２台のカメラから生成されたビデオストリームのみが固定されて出力されるという制限がある。そして、自由視点ビデオ再生装置においても、映像信号の圧縮時における時間に応じた基本設定ビューの決定方法はまだ提案されていない状態である。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
そこで、上記のような従来技術の問題を解決するための本発明の目的は、多視点ビデオストリームの圧縮時において基本設定ビューを時間に応じて変更可能にし、コンテンツ著作者が所望する基本設定ビュー及び視点を、モノビデオ、ステレオビデオ、及び自由視点ビデオ再生装置に適合するように設定することができる方法及びこれを行うための装置を提供することにある。
【０００７】
また、本発明の他の目的は、視聴者の観察方向及び位置を時間に応じて送信することにより、ユーザが任意の視点を選択できるだけでなく、コンテンツ制作者が所望する任意の基本設定ビューを提供することができる自由視点ビデオ装置及び方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、多視点映像信号を受信し、予め設定されているか又はユーザから送られた情報によって設定された基本設定映像グループ情報を反映して符号化するエンコーダと、前記予め設定されているか又はユーザから送られた情報によって設定された基本設定映像グループ情報を前記エンコーダに提供する基本設定映像グループ選択部と、前記符号化された映像信号を多重化し、基本設定映像グループのみを順次出力する多重化部とを備える多重カメラシステムの符号化装置を開示する。
【０００９】
また、本発明は、他の視点の映像信号を参照せずに符号化された基本設定映像グループを順次受信する受信手段と、前記受信した映像信号を復号化するデコーダと、前記復号化された映像信号をディスプレイするディスプレイ部とを備える多重カメラシステムの復号化装置を開示する。
【００１０】
更に、本発明は、多視点映像信号を受信し、予め設定されているか又はユーザから送られた情報によって設定された基本設定映像グループ情報及び基本設定ステレオ映像グループ情報を反映して符号化するエンコーダと、前記予め設定されているか又はユーザから送られた情報によって設定された基本設定映像グループ情報及び基本設定ステレオ映像グループ情報を前記エンコーダに提供する基本設定映像グループ選択部と、前記符号化された映像信号を多重化し、基本設定映像グループ及び当該基本設定映像グループに対応する基本設定ステレオ映像グループのみを順次出力する多重化部とを備える多重カメラシステムの符号化装置を開示する。
【００１１】
また、本発明は、他の視点の映像信号を参照せずに符号化された基本設定映像グループ及び同一時間区間の前記基本設定映像グループを参照する基本設定ステレオ映像グループを順次受信する受信手段と、前記受信した映像信号を復号化するデコーダと、前記復号化された映像信号を用いてステレオ映像信号をディスプレイするディスプレイ部とを備える多重カメラシステムの復号化装置を開示する。
【００１２】
前記基本設定映像グループは、他の視点の映像信号を参照せずに符号化され、予め設定された時間区間毎に他の視点に変更されることを特徴とする。また、基本設定映像グループは、符号化装置で予め定義されてもよく、復号化装置でユーザの入力を受けて符号化装置に送信することによって定義されてもよい。
【００１３】
前記基本設定ステレオ映像グループは、同一時間区間の基本設定映像グループを参照して符号化されることを特徴とする。
【００１４】
更に、本発明は、多視点映像信号を受信して符号化するエンコーダと、予め設定されているか又はユーザから送られた情報によって設定された基本設定ビューエンコーダと、前記符号化された多視点映像信号及び基本設定ビュー情報を多重化して出力する多重化部と、前記基本設定ビュー情報に基づいて映像信号をディスプレイする自由視点ビデオ再生装置とを備える多重カメラシステムを開示する。ここで、前記基本設定ビューは、予め設定されているか又はユーザから送られた情報によって設定され、時間区間毎に他の視点に変更されることを特徴とする。
【発明の効果】
【００１５】
本発明の実施形態によれば、多視点ビデオストリームを提供する多重カメラシステムにおいて、コンテンツ著作者又はユーザが所望する基本設定ビュー及び視点を、モノビデオ、ステレオビデオ、及び自由視点ビデオ再生装置に適合するように設定することができる特徴がある。
【００１６】
また、本発明は、従来のモノビデオ再生装置においても、多視点ビデオストリームの中から基本設定映像グループのみを復号化することにより、映像再現が可能になるという長所がある。ステレオビデオ再生装置の場合も、基本設定映像グループ及び基本設定ステレオ映像グループの対のみを容易に送信／復号化できるという長所がある。また、自由視点ビデオ装置の場合、コンテンツ著作者が所望する視点を自由に選択できるという長所がある。
【００１７】
更に、本発明によれば、時間に応じて基本設定ビューを変更することにより、自由な（ｈｏｐｐｉｎｇ）ビュー機能を提供するだけでなく、ビデオの圧縮効率を上げることができる。多重カメラシステムにおいて時間毎に適した基本カメラ（ｂａｓｅ  ｃａｍｅｒａ）を設定することにより、参照映像の圧縮時においても圧縮効率を上げることができる。
【発明を実施するための最良の形態】
【００１８】
上述した目的、特徴及び長所は、添付された図面に関する以下の詳細な説明を通じてより明確になるはずであり、それにより、本発明の属する技術分野における通常の知識を有する者が本発明の技術的思想を容易に実施することができる。また、本発明の説明において、本発明に係る公知技術に対する具体的な説明が本発明の要旨を不明瞭にするおそれがあると判断された場合、その詳細な説明を省略する。以下、添付された図面を参照して本発明の好ましい実施形態を詳細に説明する。
【００１９】
以下の内容は、単に本発明の原理を例示する。そのため、当業者は、たとえ本明細書に明確に説明又は図示されていないとしても、本発明の原理を実現し、本発明の概念及び範囲に属する様々な装置を発明することができる。また、本明細書に挙げられた全ての条件付の用語及び実施形態は原則的に、本発明の概念を理解させるためのみを意図されたものであって、これらの実施形態及び状態に限定するものではないことに留意しなければならない。
【００２０】
更に、本発明の原理、観点及び実施形態のみならず、特定の実施形態が挙げられた全ての詳細な説明は、これら事項の構造的及び機能的等価物を含むように意図されたものとして理解されなければならない。なお、これらの等価物は、現在公知となっている等価物のみならず、将来開発される等価物、すなわち、構造とは無関係に同じ機能を果たすように発明された全ての素子を含むものとして理解されなければならない。
【００２１】
図１は、本発明の実施形態に係る多重ビデオストリームの圧縮方法を説明するための図である。同図に示すように、本実施形態では、５台のカメラ１０１〜１０５から生成されるビデオストリームの圧縮方法を示している。ここで、ビデオストリームは、各々のカメラから生成される映像信号又は映像グループ（ＧｏＰ）を意味する。
【００２２】
同図を参照すると、本実施形態では、５台のカメラ１０１〜１０５から生成されるビデオストリームに対して予め設定された時間区間毎に１つの基本設定ビュー（Ｄｅｆａｕｌｔ  Ｖｉｅｗ）が決定される。
【００２３】
基本設定ビューは、実施形態に従って、コンテンツ提供者が任意に決定するか、ユーザの入力を受けて決定することができる。本実施形態では、コンテンツ提供者によって任意に決定されるものと仮定する。コンテンツ提供者は、基本設定ビューを１つに固定して設定することもでき、コンテンツの特性に応じて複数のビューから選択的に変更されるように設定することもできる。したがって、本発明において、基本設定ビューは、単一のカメラに固定されたものではなく、時間に応じて変更可能である。
【００２４】
任意の時間区間において基本設定ビューとして選択されたカメラのビデオストリームは、「基本設定映像グループ（Ｄｅｆａｕｌｔ  Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）」Ｄ１、Ｄ２、Ｄ３となり、当該基本設定映像グループは、周辺のビデオストリームを用いず、基本設定映像グループのみを参照して符号化／復号化される。
【００２５】
また、ステレオ映像信号の生成のために、周辺のビデオストリームのうち、同一時間区間の前記基本設定映像グループのみを参照して符号化する「基本設定ステレオ映像グループ（Ｄｅｆａｕｌｔ  Ｓｔｅｒｅｏ  Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）」ＤＳ１、ＤＳ２、ＤＳ３を定義する。ステレオ映像再生装置は、前記基本設定映像グループＤ１、Ｄ２、Ｄ３及びこれに対応する基本設定ステレオ映像グループＤＳ１、ＤＳ２、ＤＳ３の対のみを有して映像信号の復号化及び再生が可能になる。
【００２６】
図１に示すように、基本設定ステレオビューは、任意の時間区間において基本設定映像グループを参照する視点を意味するものであり、実施形態に従って、ユーザから送られた情報によるか、又はコンテンツ制作者が時間に応じて選択して変更することができる。
【００２７】
図１において、Ｉ映像は、イントラフレーム（ｉｎｔｒａ  ｆｒａｍｅ）を表し、Ｐは、予測フレーム（ｐｒｅｄｉｃｔｉｏｎ  ｆｒａｍｅ）を表す。Ｂ映像は、双方向フレーム（ｂｉｄｉｒｅｃｔｉｏｎａｌ  ｆｒａｍｅ）を表し、ＩＮ、ＢＮ、ＰＮは、それぞれｉｎｔｒａ−ｎｅｉｇｈｂｏｒ、ｂｉｄｉｒｅｃｔｉｏｎａｌ−ｎｅｉｇｈｂｏｒ、ｐｒｅｄｉｃｔｅｄ−ｎｅｉｇｈｂｏｒ  ｆｒａｍｅを表す。ここで、「ｎｅｉｇｈｂｏｒ」は、周辺の映像フレームを参照する映像であることを意味する。その他の非表示フレームは、Ｉ、Ｂ、Ｐ、ＩＮ、ＢＮ、ＰＮのいずれか１つのフレームになる。また、矢印表示は、参照する映像を指す。すなわち、第１の時間区間における基本設定映像グループＤ１においてＢ映像及びＰ映像は、Ｉ映像を参照して符号化される。
【００２８】
図２は、多視点ビデオストリームの符号化／圧縮後に生成された映像グループビットストリームを図式化した図である。
【００２９】
同図を参照すると、各々の映像グループビットストリームは、基本設定ビューであるかを示すビットを有する。すなわち、映像グループビットストリーム２０１は、基本設定ビューであるかを示すための基本設定映像グループフラグ２０２を有する。例えば、前記基本設定映像グループフラグの値が「１」であれば、当該映像グループを基本設定映像グループと判断する。また、各々の映像グループビットストリームは、基本設定ステレオ映像グループであるかを区分するためのフラグ（例えば、映像グループ２０１の基本設定ステレオ映像グループフラグ２０３）を更に含む。もちろん、基本設定映像グループの場合、前記基本設定ステレオ映像グループフラグは、値を持たないことがある。これに制限されないが、前記基本設定ステレオ映像グループフラグの値が「１」であれば、当該映像グループは、基本設定ステレオ映像グループであることを表す。
【００３０】
結果的に、基本設定映像グループでない映像グループのうち、基本設定映像グループのみを参照する映像グループは、基本設定ステレオ映像グループとなり得る。
【００３１】
以下では、まず、モノビデオ再生装置に映像データを送信する基本設定ビュー処理装置を説明し、次に、ステレオビデオ再生装置に映像データを送信する基本設定ステレオビュー処理装置を説明する。
【００３２】
図３は、本発明の実施形態に係る基本設定ビュー処理装置及びモノビデオ再生装置の概略的な構成を示す図である。
【００３３】
同図において、複数のカメラ３０１〜３０５、当該複数のカメラの各々に接続されたエンコーダ３１１〜３１５、基本設定映像グループ選択部３２０、及び多重化部３３０は、多重カメラシステムの送信端（符号化装置）であり、逆多重化部３４０、デコーダ３５０、及びディスプレイ部３６０は、前記多重カメラシステムの受信端（復号化装置）を構成する。ここで、逆多重化部３４０、デコーダ３５０、及びディスプレイ部３６０で構成される受信端は、モノビデオ再生装置に相当する。もちろん、前記多重カメラ映像装置の送信端及び受信端は、信号を送受信するための構成及び他の構成を更に含むことができる。
【００３４】
図３を参照すると、各々のカメラ（すなわち、映像信号入力装置）３０１〜３０５から生成される映像信号は、それぞれエンコーダ３１１〜３１５で所定のビデオ圧縮方式により符号化される。すなわち、カメラ３０１によって収集される映像信号は、エンコーダ３１１で符号化される。各々のエンコーダで行われるビデオ圧縮方式は、ＭＰＥＧ−１／２／４やＨ．２６１／２６３／２６４などの方式を用いることができる。また、コンテンツ制作者が決めた基本設定ビューを反映するため、基本映像グループ選択部３２０は、所定の時間区間毎に決定された基本設定映像グループ情報を各々のエンコーダ３１１〜３１５に提供する。各々のエンコーダ４１１〜４１５は、基本設定映像グループ情報に基づき、上述した映像グループビットストリームの基本設定映像グループフラグ２０２に表示させる。ここで、基本設定映像グループは、上述のように、周辺のカメラから入力される映像又は圧縮／復元映像を参照しない。
【００３５】
各々のエンコーダ３１１〜３１５によって生成された多重映像グループビットストリームは、多重ビデオ格納方法により多重化部３３０で混合される。当該多重化部３３０は、混合された多重ビットストリームの中からモノビデオ再生装置に映像信号を送信する必要がある場合、前記基本設定映像グループビットストリームのみを時間に応じて出力する。出力された基本設定映像グループビットストリームは、送信手段（図示せず）を介して受信端に送信される。
【００３６】
モノビデオ再生装置は、受信した信号を逆多重化する逆多重化部３４０と、当該逆多重化部３４０の出力信号から基本設定映像グループのみを復号化するデコーダ３５０と、復号化されたビデオストリームをディスプレイするディスプレイ部３６０とを備えて構成される。
【００３７】
上記方法を用いることにより、多重カメラシステムにおいても、コンテンツ制作者が時間に応じて基準ビデオを設定することができる。
【００３８】
図４は、本発明の実施形態に係るステレオ映像処理装置及びステレオビデオ再生装置の概略的な構成を示す図である。
【００３９】
同図において、複数のカメラ４０１〜４０５、当該複数のカメラの各々に接続されたエンコーダ４１１〜４１５、基本設定映像グループ／基本設定ステレオ映像グループ選択部４２０、及び多重化部４３０は、多重カメラシステムの送信端であり、逆多重化部４４０、デコーダ４５０、及びディスプレイ部４６０は、前記多重カメラシステムの受信端を構成する。ここで、逆多重化部４４０、デコーダ４５０、及びディスプレイ部４６０で構成される受信端は、ステレオビデオ再生装置に相当する。
【００４０】
図４を参照すると、各々のカメラ（すなわち、映像信号入力装置）４０１〜４０５から生成される映像信号は、それぞれエンコーダ４１１〜４１５で所定のビデオ圧縮方式により符号化される。
【００４１】
また、実施形態に従って、コンテンツ制作者又はユーザから送られた情報によって決定された基本設定ビュー及び基本設定ステレオビューを反映するため、基本設定映像グループ／基本設定ステレオ映像グループ選択部４２０は、所定の時間区間毎に決定された基本設定映像グループ情報及び基本設定ステレオ映像グループ情報を各々のエンコーダ４１１〜４１５に提供する。各々のエンコーダ４１１〜４１５は、基本設定映像グループ情報及び基本設定ステレオ映像グループ情報に基づき、上述した映像グループビットストリームの基本設定映像グループフラグ２０２及び基本設定ステレオ映像グループフラグ２０３に表示させる。ここで、基本設定映像グループは、上述のように、周辺のカメラから入力される映像又は圧縮／復元映像を参照せず、基本設定ステレオ映像グループは、基本設定映像グループのみを参照して符号化される。
【００４２】
各々のエンコーダ４１１〜４１５によって生成された多重映像グループビットストリームは、多重ビデオ格納方法により多重化部４３０で混合される。当該多重化部４３０は、混合された多重ビットストリームの中からステレオビデオ再生装置に映像信号を送信する必要がある場合、前記基本設定映像グループビットストリーム及び基本設定ステレオ映像グループビットストリームのみを時間に応じて出力する。出力された基本設定映像グループビットストリーム及び基本設定ステレオ映像グループビットストリームは、映像信号送信手段（図示せず）を介して受信端に送信される。ここで、前記基本設定映像グループビットストリーム及び基本設定ステレオ映像グループビットストリームは、従来の多視点映像信号送信方式に従って様々な方式でパケット化して送信可能である。
【００４３】
ステレオビデオ再生装置は、受信した信号を逆多重化する逆多重化部４４０と、当該逆多重化部４４０の出力信号から基本設定映像グループ及び基本設定ステレオ映像グループのみを復号化するデコーダ４５０と、復号化されたステレオビデオストリームをディスプレイするディスプレイ部４６０とを備えて構成される。図４に示すように、前記デコーダ４５０は、基本設定映像グループデコーダと、基本設定ステレオ映像グループデコーダとで構成され得る。また、前記ディスプレイ部４６０は、ステレオ映像をディスプレイするステレオ出力装置である。
【００４４】
図５は、本発明の実施形態に係る自由視点映像処理装置及び自由視点ビデオ再生装置の概略的な構成を示す図である。
【００４５】
同図において、複数のカメラ５０１〜５０５、当該複数のカメラの各々に接続されたエンコーダ５１１〜５１５、基本設定ビューエンコーダ５２０、及び多重化部５３０は、多重カメラシステムの送信端であり、逆多重化部５４０、デコーダ５５０、ビュー生成部５６０、基本設定ビューデコーダ５７０、及びディスプレイ部５８０は、前記多重カメラシステムの受信端を構成する。ここで、逆多重化部５４０、デコーダ５５０、ビュー生成部５６０、基本設定ビューデコーダ５７０、及びディスプレイ部５８０で構成される受信端は、自由視点ビデオ再生装置に相当する。
【００４６】
基本的に、自由視点ビデオ再生装置では、ビデオ視聴者が所望する視点を提示すると、視聴者が所望する視点に基づいてビデオストリームが出力される。図５に示す実施形態では、コンテンツ制作者が所望する基本設定視点情報を映像信号とともに送信することにより、ユーザが特に視点を提示していない場合、基本設定視点に基づいてビューが選択されて映像信号がディスプレイされる。
【００４７】
図５を参照すると、各々のカメラ（すなわち、映像信号入力装置）５０１〜５０５から生成される映像信号は、それぞれエンコーダ５１１〜５１５で所定のビデオ圧縮方式により符号化される。
【００４８】
また、コンテンツ制作者が決めた基本設定ビューに関する情報を映像信号とともに送信できるように、基本設定ビューエンコーダ５２０は、コンテンツ制作者が決めた基本設定ビューに関する情報を符号化して多重化部５３０に入力する。当該多重化部５３０は、各々のエンコーダ５１１〜５１５によって生成された多重映像グループビットストリームを一般的な多重ビデオ格納方法で混合する。また、前記多重化部５３０は、前記基本設定ビューエンコーダ５２０で生成される視点情報ストリームを前記多重映像グループビットストリームとともに多重化して出力する。出力された視点情報ストリーム及び多重映像グループビットストリームは、映像信号送信手段（図示せず）を介して受信端に送信される。
【００４９】
ここで、視点情報ストリーム及び映像グループビットストリームは、従来の多視点映像信号送信方式に従って様々な方式でパケット化して送信可能であり、例えば、ヘッダ（視点情報及びその他の付加情報）及びペイロード（映像グループビットストリーム）の形でパケット化して受信端に送信可能である。
【００５０】
自由視点ビデオ再生装置は、受信した信号を逆多重化して映像グループビットストリーム及び視点情報ストリームを出力する逆多重化部５４０と、逆多重化された映像グループビットストリームを視点毎に復号化するデコーダ５５０と、視点情報ストリームを復号化してビュー生成部５６０に提供する基本設定ビューデコーダ５７０と、自由視点ビデオストリームをディスプレイするディスプレイ部５８０とを備えて構成される。前記ビュー生成部５６０は、ユーザの視点設定がある場合、ユーザの設定に基づいてビューを生成してディスプレイ部５８０にビデオストリームを送信する。ユーザの視点設定がない場合、前記ビュー生成部５６０は、基本設定視点としてビューを生成し、基本設定視点に基づいてビデオストリームをディスプレイ部５８０に送信する。
【００５１】
上述した本発明の方法は、プログラムで実現されてコンピュータで読み取り可能な形で記録媒体（ＣＤ−ＲＯＭ、ＲＡＭ、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスクなど）に格納され得る。このような過程は、本発明の属する技術分野における通常の知識を有する者が容易に実施できるため、これ以上の詳細な説明は省略する。
【００５２】
以上、本発明の好ましい実施形態を中心に説明した。本発明の属する技術分野における通常の知識を有する者は、本発明が、本発明の本質的な特性を逸脱しない範囲内で変形された形で実現可能であることを理解することができる。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、上述した説明ではなく、特許請求の範囲に示されており、それと同等範囲内のあらゆる相違点は、本発明に属するものとして解釈されなければならない。
【図面の簡単な説明】
【００５３】
【図１】本発明の実施形態に係る多重ビデオストリームの圧縮方法を説明するための図である。
【図２】多視点ビデオストリームの符号化／圧縮後に生成された映像グループビットストリーム（ＧｏＰ  ｂｉｔｓｔｒｅａｍ）を図式化した図である。
【図３】本発明の実施形態に係る基本設定ビュー処理装置及びモノビデオ再生装置の概略的な構成を示す図である。
【図４】本発明の実施形態に係るステレオ映像処理装置及びステレオビデオ再生装置の概略的な構成を示す図である。
【図５】本発明の実施形態に係る自由視点映像処理装置及び自由視点ビデオ再生装置の概略的な構成を示す図である。
【図１】
2009512270.tif 000003
【図２】
2009512270.tif 000004
【図３】
2009512270.tif 000005
【図４】
2009512270.tif 000006
【図５】
2009512270.tif 000007
【国際調査報告】
2009512270.tif 000008
2009512270.tif 000009