(57)【要約】【課題】ビデオストリームを１つのビデオファイルに符号化し、後にマルチビューディスプレイで再度組み合わせる方法およびシステムを提供すること。【解決手段】場面の第１投影に対応する第１ビデオストリームを符号化し、場面の第２投影に対応する第２ビデオストリームを符号化することを含む。空間的に近い投影が類似していることから、符号化第２ビデオストリームは符号化第１ストリームにくらべより圧縮することができる。さらに、第１符号化ビデオストリームはビデオファイルの一次データフィールドに記憶することができ、第２符号化ビデオストリームはビデオファイルのユーザーデータフィールドに記憶することができる。【選択図】図１
2009207136.tif 000002
【特許請求の範囲】
【請求項１】
場面の第１投影に対応する第１ビデオストリームを符号化するステップと、
前記場面の第２投影に対応する第２ビデオストリームを符号化するステップと、を有し
、
前記符号化された第２ビデオストリームは、前記符号化された第１ビデオストリームに
比べより圧縮されることを特徴とする複数のビデオストリームを処理する方法。
【請求項２】
前記第２ビデオストリームは、前記第１ビデオストリームの少なくとも一部を基準とし
て符号化されることを特徴とする請求項１に記載の複数のビデオストリームを処理する方
法。
【請求項３】
前記第２ビデオストリームは、前記第１ビデオストリームより多くの従属フレームを含
むように符号化され、前記従属フレームは少なくとも１つの別のフレームを基準として用
いて符号化されるフレームであることを特徴とする請求項１に記載の複数のビデオストリ
ームを処理する方法。
【請求項４】
前記第２ビデオフレームの従属フレームは、イントラフレームを含まないことを特徴と
する請求項３に記載の複数のビデオストリームを処理する方法。
【請求項５】
前記第１ビデオストリームをファイルの一次データフィールドに記憶するステップと、
前記第２ビデオストリームをファイルの補足データフィールドに記憶するステップとを
有することを特徴とする請求項１に記載の複数のビデオストリームを処理する方法。
【請求項６】
前記補足データフィールドは復号化プロセス中に随意無視さ得るベンダー独自のフィー
ルドであることを特徴とする請求項５に記載の複数のビデオストリームを処理する方法。
【請求項７】
前記ファイルは前記一次データフィールドが前記補足データフィールドから独立してい
るようにフォーマットされることを特徴とする請求項５に記載の複数のビデオストリーム
を処理する方法。
【請求項８】
前記ファイルはビデオファイル規格に準拠するようにフォーマットされることを特徴と
する請求項５に記載の複数のビデオストリームを処理する方法。
【請求項９】
前記ビデオファイル規格はＭＰＥＧ規格であることを特徴とする請求項８に記載の複数
のビデオストリームを処理する方法。
【請求項１０】
前記場面の第３投影に対応する第３ビデオストリームを符号化するステップをさらに含
み、
前記符号化された第３ビデオストリームは前記符号化された第１ビデオストリームに比
べより圧縮されていることを特徴とする請求項１に記載の複数のビデオストリームを処理
する方法。
【請求項１１】
前記第３ビデオストリームを前記補足データフィールドに記憶するステップをさらに含
むことを特徴とする請求項１０に記載の複数のビデオストリームを処理する方法。
【請求項１２】
第１場面の第１投影に対応する第１ビデオストリームを符号化するステップと、
前記第１ビデオストリームをファイルの一次データフィールドに記憶するステップと、
第２場面の第２投影に対応する第２ビデオストリームを符号化するステップと、
前記第２ビデオストリームを前記ファイルの補足データフィールドに記憶するステップ
とを有することを特徴とする複数のビデオストリームを処理する方法。
【請求項１３】
前記第２ビデオストリームのフレームは、前記第１ビデオストリームのフレームを基準
として符号化されることを特徴とする請求項１２に記載の複数のビデオストリームを処理
する方法。
【請求項１４】
場面の各々異なる投影にそれぞれ対応する複数のビデオストリームを受信するよう適応
された入力ポートと、
前記複数のビデオストリームを符号化するよう適応されたエンコーダーと、を有し、
前記エンコーダーは少なくとも１つのビデオストリームを、別の少なくとも１つのビデ
オストリームに比べより圧縮するよう適応されていることを特徴とするビデオストリーム
の符号化システム。
【請求項１５】
前記符号化されたビデオストリームを記憶するよう適応された記憶装置をさらに有し、
前記エンコーダーはさらに、前記符号化されたビデオストリームの１番目を前記記憶装
置上のファイルにおける第１データフィールドに記憶し、前記符号化されたビデオストリ
ームの２番目を前記記憶装置上のファイルにおける第２データフィールドに記憶するよう
適応されていることを特徴とする請求項１４に記載のビデオストリームの符号化システム
。
【請求項１６】
前記エンコーダーはさらに、前記符号化されたビデオストリームの１番目におけるフレ
ームの少なくとも一部をイントラフレームとして符号化し、前記符号化されたビデオスト
リームの２番目におけるフレームのすべてを予測フレームまたは双方向フレームとして符
号化するよう適応されることを特徴とする請求項１４に記載のビデオストリームの符号化
システム。
【請求項１７】
場面の第１投影に対応する第１ビデオストリームが記憶される一次データフィールドと
前記場面の第２投影に対応する第２ビデオストリームが記憶される補足データフィールド
とを有するファイルの少なくとも一部を記憶するよう適応された記憶装置と、
前記第１ビデオストリームおよび第２ビデオストリームを復号化し、前記第１の復号化
されたビデオストリームおよび第２の復号化されたビデオストリームに基づき出力ビデオ
ストリームを生成するよう適応されたデコーダーとを有することを特徴とするビデオスト
リームの復号化システム。
【請求項１８】
前記デコーダーはマルチビューフォーマットに準拠して前記出力ビデオストリームを生
成するよう適応されることを特徴とする請求項１７に記載のビデオストリームの復号化シ
ステム。
【請求項１９】
前記マルチビューフォーマットは視差バリアを備えるマルチビューディスプレイ対応の
交互配置フォーマットであることを特徴とする請求項１８に記載のビデオストリームの復
号化システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオストリームの符号化に関する。より具体的に、本発明の実施形態はビデ
オストリームを１つのビデオファイルに符号化し、後にマルチビューディスプレイで再度
組み合わせる方法およびシステムに関する。
【背景技術】
【０００２】
従来の三次元（３−Ｄ）ディスプレイは通常特殊な偏光眼鏡またはシャッター眼鏡を通
して観られる。しかし、特殊眼鏡の使用を必要とすることは場合によって負担になるかも
しれない。従来の３−Ｄディスプレイに代わる１つの望ましい方法は裸眼立体ディスプレ
イである。裸眼立体ディスプレイは特殊眼鏡または他の特殊鑑賞装置で見ることを必要と
せずに３−Ｄの静止画像またはビデオを表示する。
【０００３】
裸眼立体ディスプレイが３−Ｄでビデオを見せるためには通常複数の、各々場面の多少
異なる観点に対応する、２−Ｄビデオ投影ファイルが１つの交互配置ビデオファイルに組
み合わされる。各ビデオ投影ファイルは他の投影ファイルのフレームに対し空間的に多少
移動したフレームを含む。さらに、元のビデオ投影ファイルは各々同数のフレームを含ん
でおり、１つのビデオ投影ファイルの各フレームは他のビデオ投影ファイル各々からのフ
レームに対応する。フレームは例えば毎秒約２９フレームのフレーム率で表示される。交
互配置ビデオファイルの厳密なフォーマットは異なる裸眼立体ディスプレイ間で異なる可
能性がある。フォーマットに拘わらず、交互配置ビデオファイルは非常に大きくなりがち
で、交互配置ビデオファイルを裸眼立体ディスプレイに伝送する前に圧縮することが一般
的に望ましい。
【０００４】
ビデオ圧縮の一般的な種類の１つにＭＰＥＧ−２ビデオ圧縮である。（例えば特許文献
１参照）。ＭＰＥＧ−２規格ではビデオファイルの原フレーム各々は３種類の圧縮フレー
ム、つまりフレーム内型フレーム（Ｉフレーム）、予測フレーム（Ｐフレーム）、または
双方向フレーム（Ｂフレーム）の１つに圧縮される。
【０００５】
ＩフレームはＭＰＥＧ−２ビデオファイルにおける他のすべてのフレームとは独立して
符号化される一方、ＰフレームおよびＢフレームは従属フレーム、すなわち少なくとも１
つの別のフレームを基準として用い符号化されるフレームである。例えば、Ｐフレームは
Ｉフレームまたは別のＰフレームなど、先行フレームを基準と用いて符号化される。ある
フレームにおける多くのピクセルは時間的に近いフレームに対し通常変化しないので、Ｐ
フレームは単にこれらのピクセルについて先行フレームを参照し、ベクトルを用いて残り
のピクセルの動きを表すことができる。このように、時間的に近いフレームは似ているの
で、ＰフレームはＩフレームで可能な圧縮より大きな圧縮を達成することができる。Ｂフ
レームはＰフレームに類似しているが、データを得るために双方向のフレーム、すなわち
先行するＩフレームまたはＰフレームおよび後続のＩフレームまたはＰフレーム、を参照
することによりさらに高度の圧縮を達成することができる。しかしＢフレームの演算時間
は通常Ｂフレームより長くなる。あるＭＰＥＧ−２ビデオファイルにおけるＰフレームお
よび／またはＢフレームの数はさまざまであるかもしれない。しかし、最低レベルの品質
を保証するために、Ｉフレームは通常ビデオファイルにおいて特定の最小頻度で繰り返さ
れる。さらに、各Ｉフレームは圧縮ビデオファイルにおけるランダムアクセス点の役割を
果たす可能性がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第６３６６６１７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
裸眼立体ディスプレイは通常画像データがベンダー独自の交互配置フォーマットで提示
されることを必要とする。しかし、ビデオ投影ストリームがＭＰＥＧ符号化の前に交互配
置される場合、交互配置レイアウトは通常失われ、従って裸眼立体ディスプレイで使用が
不可能になる。さらに、個々の投影は交互配置された後処理することができない。従って
複数のビデオ投影ストリームは通常別個に符号化され、その後裸眼立体ディスプレイの使
用のために交互配置フォーマットに組み合わせられる。
【０００８】
裸眼立体ディスプレイに複数のビデオストリームを提供するための１つの解決法は、複
数のビデオ投影ストリームを別個のファイルまたはコンテナーとして符号化した上で複数
のビデオ投影ファイルを裸眼立体ディスプレイに送信することである。複数のビデオファ
イルが裸眼立体ディスプレイにより別個に受信されなければならず記憶容量が大きいこと
が必要となり、その結果伝送待ち時間が長くなるので、この解決法は問題があり得る。裸
眼立体ディスプレイに複数の圧縮ビデオ投影ファイルを提供する別の解決法は複数のビデ
オ投影ストリーム各々から対応するフレームを並んだ配置に組み合わせることである。得
られるストリームはその後単独のビデオファイルとして記憶することができる。しかし、
非裸眼立体ディスプレイと逆互換性がないので、この解決法も問題があり得る。例えば、
標準的な非裸眼立体ディスプレイは並んだ配置で原フレームをユーザーに同時に表示する
。さらに、複数の原フレームを単独の組み合わせフレームに組み合わせることにより解像
度が失われる。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、本発明の複数のビデオストリームを処理する方法は、場
面の第１投影に対応する第１ビデオストリームを符号化するステップと、前記場面の第２
投影に対応する第２ビデオストリームを符号化するステップと、を有し、前記符号化され
た第２ビデオストリームは、前記符号化された第１ビデオストリームに比べより圧縮され
ることを特徴とする。
【００１０】
また、本発明の複数のビデオストリームを処理する方法において、前記第２ビデオスト
リームは、前記第１ビデオストリームの少なくとも一部を基準として符号化されることを
特徴とする。
【００１１】
また、本発明の複数のビデオストリームを処理する方法において、前記第２ビデオスト
リームは、前記第１ビデオストリームより多くの従属フレームを含むように符号化され、
前記従属フレームは少なくとも１つの別のフレームを基準として用いて符号化されるフレ
ームであることを特徴とする。
【００１２】
また、本発明の複数のビデオストリームを処理する方法において、前記第２ビデオフレ
ームの従属フレームは、イントラフレームを含まないことを特徴とする。
【００１３】
また、本発明の複数のビデオストリームを処理する方法において、前記第１ビデオスト
リームをファイルの一次データフィールドに記憶するステップと、前記第２ビデオストリ
ームをファイルの補足データフィールドに記憶するステップとを有することを特徴とする
。
【００１４】
また、本発明の複数のビデオストリームを処理する方法において、前記補足データフィ
ールドは復号化プロセス中に随意無視さ得るベンダー独自のフィールドであることを特徴
とする。
【００１５】
また、本発明の複数のビデオストリームを処理する方法において、前記ファイルは前記
一次データフィールドが前記補足データフィールドから独立しているようにフォーマット
されることを特徴とする。
【００１６】
また、本発明の複数のビデオストリームを処理する方法において、前記ファイルはビデ
オファイル規格に準拠するようにフォーマットされることを特徴とする。
【００１７】
また、本発明の複数のビデオストリームを処理する方法において、前記ビデオファイル
規格はＭＰＥＧ規格であることを特徴とする。
【００１８】
また、本発明の複数のビデオストリームを処理する方法において、前記場面の第３投影
に対応する第３ビデオストリームを符号化するステップをさらに含み、前記符号化された
第３ビデオストリームは前記符号化された第１ビデオストリームに比べより圧縮されてい
ることを特徴とする。
【００１９】
また、本発明の複数のビデオストリームを処理する方法において、前記第３ビデオスト
リームを前記補足データフィールドに記憶するステップをさらに含むことを特徴とする。
【００２０】
一方、本発明の複数のビデオストリームを処理する方法は、第１場面の第１投影に対応
する第１ビデオストリームを符号化するステップと、前記第１ビデオストリームをファイ
ルの一次データフィールドに記憶するステップと、第２場面の第２投影に対応する第２ビ
デオストリームを符号化するステップと、前記第２ビデオストリームを前記ファイルの補
足データフィールドに記憶するステップとを有することを特徴とする。
【００２１】
ここで、前記第２ビデオストリームのフレームは、前記第１ビデオストリームのフレー
ムを基準として符号化されることを特徴とする。
【００２２】
さらに、本発明のビデオストリームの符号化システムは、場面の各々異なる投影にそれ
ぞれ対応する複数のビデオストリームを受信するよう適応された入力ポートと、前記複数
のビデオストリームを符号化するよう適応されたエンコーダーと、を有し、前記エンコー
ダーは少なくとも１つのビデオストリームを、別の少なくとも１つのビデオストリームに
比べより圧縮するよう適応されていることを特徴とする。
【００２３】
また、本発明のビデオストリームの符号化システムにおいて、前記符号化されたビデオ
ストリームを記憶するよう適応された記憶装置をさらに有し、前記エンコーダーはさらに
、前記符号化されたビデオストリームの１番目を前記記憶装置上のファイルにおける第１
データフィールドに記憶し、前記符号化されたビデオストリームの２番目を前記記憶装置
上のファイルにおける第２データフィールドに記憶するよう適応されていることを特徴と
する。
【００２４】
また、本発明のビデオストリームの符号化システムにおいて、前記エンコーダーはさら
に、前記符号化されたビデオストリームの１番目におけるフレームの少なくとも一部をイ
ントラフレームとして符号化し、前記符号化されたビデオストリームの２番目におけるフ
レームのすべてを予測フレームまたは双方向フレームとして符号化するよう適応されるこ
とを特徴とする。
【００２５】
一方、本発明のビデオストリームの複合化システムは、場面の第１投影に対応する第１
ビデオストリームが記憶される一次データフィールドと前記場面の第２投影に対応する第
２ビデオストリームが記憶される補足データフィールドとを有するファイルの少なくとも
一部を記憶するよう適応された記憶装置と、前記第１ビデオストリームおよび前記第２ビ
デオストリームを復号化し、前記第１の復号化されたビデオストリームおよび前記第２の
復号化されたビデオストリームに基づき出力ビデオストリームを生成するよう適応された
デコーダーとを有することを特徴とする。
【００２６】
また、本発明のビデオストリームの復号化システムにおいて、前記デコーダーはマルチ
ビューフォーマットに準拠して前記出力ビデオストリームを生成するよう適応されること
を特徴とする。
【００２７】
また、本発明のビデオストリームの復号化システムにおいて、前記マルチビューフォー
マットは視差バリアを備えるマルチビューディスプレイ対応の交互配置フォーマットであ
ることを特徴とする。
【図面の簡単な説明】
【００２８】
【図１】本発明の一実施形態により複数のビデオストリームを符号化する方法および対応するビデオファイルフォーマットを示す図。
【図２】本発明の一実施形態により複数のビデオストリームを符号化する符号化システムおよび、下半分では複数のビデオストリームを復号化する復号化システムの一例のブロック図を示す図。
【発明を実施するための形態】
【００２９】
以下、本発明の実施の形態について、詳細に説明する。
【００３０】
はじめに本発明の特徴的概要を述べる。一般的に発明の実施形態はビデオデータの複数
の投影をＭＰＥＧビデオファイルなど単独のビデオファイルに記憶して後に裸眼立体ディ
スプレイ上で再度組み合わせする方法およびシステムに向けられる。提案される発明の実
施形態例は変形ＭＰＥＧエンコーダーおよび変形ＭＰＥＧデコーダーを以って実施するこ
とができ、ビデオデータの複数投影を単独のＭＰＥＧビデオファイルに符号化することを
可能にする。例えば、開示される一実施形態は第１投影に対応する第１ビデオストリーム
がビデオファイルの一次データフィールドに符号化され記憶されることができ、第２投影
に対応する第２ビデオストリームがビデオファイルの補足データフィールド、例えばユー
ザーデータフィールド、に符号化されることができる単独のＭＰＥＧ−２ビデオファイル
を作成することを含む。さらに、第２ストリームの符号化フレームは対応する第１ストリ
ームの符号化フレームに比べより圧縮されることができる。これは別個のＭＰＥＧビデオ
ファイルの圧縮率に比べ向上したデータ圧縮率の単独のＭＰＥＧ−２ビデオファイルを有
利にもたらす。この方法はユーザーデータフィールドに記憶された第２ストリームを無視
できるビデオファイルをもたらすという点で有利で、これによりビデオファイルは非裸眼
立体ディスプレイに対しても逆互換性を有する。
【００３１】
本発明の一実施形態例は複数のビデオストリームを処理する方法に向けられる。方法は
場面の第１投影に対応する第１ビデオストリームを符号化し、場面の第２投影に対応する
第２ビデオストリームを符号化することを含む。空間的に近い投影における類似点のため
、符号化された第２ビデオストリームは符号化された第１ビデオストリームに比べより圧
縮することができる。
【００３２】
別の実施形態例も複数のビデオストリームを処理する方法に向けられる。この方法では
、第１場面の第１投影に対応する第１ビデオストリームがファイルの一次データフィール
ドに符号化され、記憶される。第２場面の第２投影に対応する第２ビデオストリームがフ
ァイルの補足データフィールドに符号化され、記憶される。
【００３３】
ビデオストリーム符号化システムに向けられた実施形態例で、入力ポートが複数のビデ
オストリームを受信するよう適応されることができ、各ビデオストリームはある場面に対
する異なる投影に対応している。ビデオストリーム符号化システムはさらに複数のビデオ
ストリームを符号化し、少なくとも１つのビデオストリームを別の少なくとも１つのビデ
オストリームに比べより圧縮するエンコーダーを含むことができる。
【００３４】
別の実施形態例は記憶装置およびデコーダーを有してなるビデオストリーム復号化シス
テムに向けられる。記憶装置は場面の第１投影に対応する第１ビデオストリームが記憶さ
れる一次データフィールドおよび場面の第２投影に対応する第２ビデオストリームが記憶
される補足データフィールドを有してなるファイルの少なくとも一部を記憶するよう適応
されることができる。デコーダーは第１ビデオストリームおよび第２ビデオストリームを
復号化し、復号化された第１ビデオストリームおよび第２ビデオストリームに基づき出力
ビデオストリームを生成するよう適応されることができる。
【００３５】
上記の本発明の特徴的概要は、以下の詳細な説明においてさらに説明される概念をいく
つか簡単な形で紹介するために提供される。これは請求の範囲に記載されている主要な特
徴または不可欠な特性を特定する意図はない。
【００３６】
さらなる特徴は続く説明に記載され、ある程度説明から明らかとなり、または本明細書
の教示を実施することにより知ることができる。発明の特徴は添付クレームで詳しく指摘
される手段および組み合わせにより実現し、取得することができる。本発明の特徴は続く
説明および添付クレームからより詳しく明らかになり、または本明細書で以下に記載され
る発明の実施により知ることができる。
【００３７】
また本発明の特徴をさらに明確にするため、添付図面に図示される発明の具体的な実施
形態を参照することにより発明のより詳しい説明がなされる。これらの図面は発明の典型
的な実施形態を描写するだけで、従ってその範囲を限定するものとはみなされないことが
理解されよう。発明は添付図面を用いることによりさらに具体的かつ詳細に記述され説明
される。
【００３８】
以下に続く発明の各種実施形態の詳細な説明において、本明細書の一部をなし、発明を
実施できる具体的な実施形態を例示する添付図面が参照される。本発明の範囲を逸脱する
ことなく他の実施形態を利用することができ、構造的変更をなし得ることが理解されよう
。
【００３９】
以下の説明はマルチビューのビデオストリームを符号化し復号化する方法およびシステ
ムの実施形態例を提供する。符号化の方法およびシステムは符号化プロセスを通じ場面の
各「ビュー」または投影を別個に維持しながら高いレベルの圧縮を達成するよう適応され
ることができる。従って、得られたビデオストリームデータのファイルを復号化するのに
マルチビューデコーダーまたはシングルビューデコーダーを用い、場面の個々の投影に対
し画像処理を行なうことができる。
【００４０】
図１は場面に対する複数の投影のビデオストリームを符号化する方法Ｍ−１００および
対応する符号化ビデオファイルＦ−１００の構造を示す。方法Ｍ−１００は符号化ビデオ
ファイルＦ−１００が標準的なシングルビューディスプレイまたは裸眼立体ディスプレイ
などのマルチビューディスプレイにより復号化できるようにビデオストリームを符号化で
きる。従って符号化は標準ディスプレイに対し逆互換性を有する。
【００４１】
第１投影（「投影１」）に対応する第１ビデオストリームのフレームは標準的な方法、
例えばＭＰＥＧ−２規格、により符号化され（段階Ｍ−１０２）、符号化ビデオファイル
Ｆ−１００の一次データフィールドＦ−１０２に記憶されることができる（段階Ｍ−１０
２から一次データフィールドＦ−１０２に流れる太い矢印で示されるように）。一次デー
タフィールドＦ−１０２は標準的なＭＰＥＧ−２シングルビューデコーダーがビデオスト
リームデータを複合化するために通常アクセスするデータフィールドであることができる
。第１ビデオストリームの符号化はある範囲の圧縮率で行なうことができる。しかし、一
次データフィールドＦ−１０２に最小頻度で点在する最小数のＩフレームにより一定の品
質の最低レベルを確保することができる。Ｉフレームはさらに符号化ビデオストリームに
おいて前後に飛ぶアクセス点の役割も果たす。点在するＩフレーム間のフレームはファイ
ルサイズを減らすためにより圧縮されたＰフレームおよび／またはＢフレームとして符号
化することができる。
【００４２】
次に、投影１の符号化された第１フレームを基準フレームとして用い、投影２のフレー
ム１とともに投影「ｎ」までの追加投影のフレーム１を符号化することができる（段階Ｍ
−１０４）。投影１のフレーム１を基準として用いることは投影２乃至「ｎ」のフレーム
１を投影１のフレーム１を基準とするＰフレームおよび／またはＢフレームとして符号化
することを伴うかもしれない。上述の背景部分で説明したとおり、時間的に近いフレーム
は非常に似ているため、ＰフレームおよびＢフレームは別の時間的に近いＩフレームまた
はＰフレームを基準として用い高いレベルの圧縮を達成することができる。ある場面の空
間的に近い異なる投影に対応するフレームも似ている可能性が高いので、投影２乃至「ｎ
」をＰフレームおよびＢフレームとして符号化することは似通ったレベルの圧縮を達成す
ることができる。Ｐフレームは投影１の対応するＩまたはＰフレームを基準とする一方、
Ｂフレームはさらに投影１の時間的に対応するＩまたはＰフレームに先行または後続する
フレームを基準にすることができる。
【００４３】
得られた符号化フレームは符号化ビデオファイルＦ−１００の補足データフィールドと
してのユーザーデータフィールドＦ−１０４、例えばＭＰＥＧ−２規格に指定されるユー
ザーデータフィールド、に記憶されることができる。投影２乃至「ｎ」の残りのフレーム
は同様な形で、すなわち投影１の対応フレームを基準フレームとして用い、符号化するこ
とができる。このように、ユーザーデータフィールドＦ−１０４に記憶されるフレームは
すべてＰフレームおよび／またはＢフレームであることができるのに対し、一次データフ
ィールドＦ−１０２に記憶されるフレームの少なくともいくつかはＩフレームである。従
って、符号化ビデオファイルＦ−１００は各投影が別個に符号化された個々のファイルの
セットに比べサイズが削減される。１つ以上の投影がユーザーデータフィールドＦ−１０
４に符号化され記憶される場合、フレームは各々の投影に従いインデクス化されることが
できる。
【００４４】
方法Ｍ−１００および符号化ビデオファイルＦ−１００は異なる環境に適応するために
各種の設定可能な設定を含むことができる。例えば帯域またはメモリー空間が高価な場合
、投影１のフレームはＩフレームに対し高い割合でＰフレームおよびＢフレームを符号化
することができ、その結果さらなる処理を必要とするかもしれない。その一方、帯域／メ
モリー空間を節約することより画質が重要な場合、投影１のフレームを符号化する際、Ｉ
フレームに対しより低い割合のＰおよび／またはＢフレームを用いることができる。さら
に、ＰフレームおよびＢフレームを符号化する手法を変形して画質、処理時間、フレーム
サイズ、等々、の各種側面を改良させることができ、各改良はそれに結び付いた各種見返
りを有する。
【００４５】
２つ以上の投影および対応するビデオストリームを有する方法Ｍ−１００の実施形態で
は、ユーザーデータフィールドＦ−１０４に符号化され記憶されるフレームはすべて一次
データフィールドＦ−１０２に記憶される対応フレームを基準として符号化されることが
できる。あるいは、ユーザーデータフィールドＦ−１０４に記憶されるフレームの少なく
とも一部は既にユーザーデータフィールドＦ−１０４に記憶された対応フレームを基準と
して符号化することができる。例えば、投影１が場面の左端の投影で、投影２は投影１の
すぐ右にあり、投影３は投影２の右である場合、投影２は空間的により近く、従ってフレ
ームにおいてピクセル差がより少ないので、投影３を投影１ではなく投影２を基準に符号
化すると圧縮率および品質が改良される可能性がある。このように、投影２のフレーム１
が一次データフィールドＦ−１０２に符号化され記憶された後、投影３のフレーム１をユ
ーザーデータフィールドＦ−１０４の第２ビデオ投影ストリームの符号化フレームを基準
として符号化することができる。次に投影３のフレーム２−「ｊ」を同様の形で符号化す
ることができる。さらに符号化された第３投影フレームを基準として第４投影のフレーム
を符号化することができ、符号化「ｎ−１」投影フレームを基準として最終投影「ｎ」が
符号化されるまで同様である。画質という点でＰフレームは一般的にＩフレームほど正確
でないので、中央の投影に対応するビデオストリームを一次ストリームとして一次データ
フィールドＦ−１０２に符号化し、それによりＩフレームを左側投影および右側投影双方
を符号化する基準として提供することができる。
【００４６】
方法Ｍ−１００はハードウェアとして実施することができ、または符号化装置に結び付
いた１つ以上のプロセッサーまたは回路によりソフトウェア／ファームウェアとして実行
することができる。さらに、方法Ｍ−１００に示される段階は各種な形で変更することが
できる。例えば、段階の順序を変えることができ、ある段階を省略し、および／または追
加段階を加えることができる。ある実施形態で、投影２乃至「ｎ」のみならずすべての投
影からのフレームを時間的シーケンスで符号化することができる。従って段階Ｍ−１０２
を省略することができ、他の投影すべての第１フレームとともに投影１の第１フレームを
符号化することを含むように段階Ｍ−１０４を変更することができる。続く段階も同様に
投影１のフレームの符号化を含むよう変更することができる。投影２乃至「ｎ」における
フレームを圧縮するための基準フレームを提供するために、投影１のフレームを各段階で
符号化することができる。
【００４７】
加えて符号化ビデオファイルＦ−１００はさまざまな形でフォーマットすることができ
る。例えば、図１には１つの一次データフィールドＦ−１０２および１つのユーザーデー
タフィールドＦ−１０４のみが図示されるが、符号化ビデオファイルＦ−１００は各々一
次データフィールドおよびユーザーデータフィールドを含む複数のパケットを含むことが
できる。さらに、パケットはその一次データフィールドに１つだけのフレームおよびユー
ザーデータフィールドに対応する投影から１つまたは複数のフレームを、または各一次デ
ータフィールドに複数のフレームおよび各一次データフィールドに対応する単一もしくは
複数のユーザーデータフィールドに１つまたは複数のフレームを入れて符号化されること
ができる。複数のフレームを含む各一次データフィールドに関連して単一のユーザーデー
タフィールドが用いられる場合、ユーザーデータフィールド内のフレームは時間的順序お
よび各々の投影に従いインデクス化されることができる。複数のフレームを含む一次デー
タフィールドに関連して複数のユーザーデータフィールドが用いられる場合、各ユーザー
データフィールドが一次データフィールド内の１つのフレームに時間的に対応する１つま
たは複数のフレームを含むよう、ユーザーデータフィールドの数は一次データフィールド
に含まれるフレーム数に対応することができる。
【００４８】
図２は図１で説明された方法およびビデオストリームのファイルフォーマットで用いら
れる代表的なビデオストリーム符号化システム２００および代表的なビデオストリーム復
号化システム２２０を示す。ビデオストリーム符号化システム２００は入力ビデオストリ
ームを受信する入力ポート２０２、入力ビデオストリームを符号化するエンコーダー２０
４、および符号化ビデオストリームを記憶する記憶装置２０６を含むことができる。
【００４９】
各入力ビデオストリームは場面の異なる投影に対応し、カメラまたは記憶装置など１つ
以上の外付け装置から受信されることができる。カメラとともに用いられる場合、ビデオ
ストリーム符号化システム２００はリアルタイムで入力ビデオストリームを受信し符号化
することができ、入力ポート２０２はバッファーのバンクを含むことができる。ある実施
形態では、１つ以上の投影の少なくとも一部がコンピューター処理のグラフィックスであ
ることができる。あるいは、第１投影がカメラから受信され、または少なくとも部分的に
コンピューター処理されることができ、他の投影は第１投影に基づき人工的に生成され、
または推定されることができる。加えて、入力ポート２０２は並列的に入力ビデオストリ
ームを受信しているように描かれているが、代わりにストリームのいくつかまたはすべて
直列的に受信されても良い。
【００５０】
エンコーダー２０４は少なくとも１つの入力ビデオストリームを別の少なくとも１つの
ビデオストリームに比べより圧縮するよう適応されることができる。例えば、方法Ｍ−１
００に関連して上述のように、第１投影に対応するビデオストリームが少なくともいくつ
かのＩフレームを含む一次ストリームとして符号化され、符号化ビデオファイルＦ−１０
０などＭＰＥＧ−２ビデオファイルの一次データフィールドに記憶されることができる。
他の投影に対応するビデオストリームは第１ビデオ投影ストリームを参照するＰフレーム
および／またはＢフレームのみを含むかもしれず、従ってより高い度合いで圧縮されるこ
とができる。加えて、エンコーダー２０４はより圧縮されたビデオストリームを第１ビデ
オ投影ストリームから独立してＭＰＥＧ−２ビデオファイルのユーザーデータフィールド
に記憶するようさらに適応されることができる。従って、復号化プロセスにおいてデコー
ダーはユーザーデータフィールドを随意的に無視することができるので、符号化されたビ
デオファイルはマルチビューのデコーダーおよびディスプレイとともに標準的はシングル
ビューのデコーダーおよびディスプレイに対応し得る。
【００５１】
さらに、各ビデオファイルに対しファイル内で別個のフィールドを維持することは投影
が表示用に組み合わされる前に個々の投影の後処理を簡単にする。例えば、１つの投影の
ビデオストリームはマルチビューディスプレイ上で表示する前によりはっきりさせるか、
他の形で処理する必要があるかもしれない。未処理の投影が単に単一ストリームに組み合
わされた場合、隣接ピクセルは異なる画像に対応することになる。はっきりさせることは
隣接ピクセル値に基づいて個々のピクセル値を変えるため、この構成において１つの投影
をよりはっきりさせるなどの処理手法は実現できない。他方、異なる投影に対応するビデ
オストリームが別個のフィールドに維持される場合、他のフィールドに記憶される他の投
影に影響せず、またそれらに影響されず、より簡単に従来のはっきりさせるプロセスを１
つの投影に適用することができる。
【００５２】
一一旦、デオファイルが符号化されると伝送媒体２１５経由でビデオストリーム復号化
システム２２０などの復号化システムに転送することができる。伝送媒体２１５はデータ
伝送用の有線または無線ネットワーク、ＤＶＤディスク、ＣＤＲＯＭディスク、フラッシ
ュメモリーカード、または他の記憶媒体などの可搬形媒体、または例えばビデオストリー
ム符号化システム２００およびビデオストリーム復号化システム２２０が１つの装置に一
体化され、もしくは互いに取り外し可能な形で接続されるよう適応されるなどの直接イン
ターフェイスの一部であることができる。伝送媒体２１５として可搬形媒体が用いられる
場合、記憶装置２０６を用いて可搬形媒体を生成することができ、記憶装置２２２は可搬
形媒体をアクセスできるリーダーを含むことができる。さらに、ビデオストリーム符号化
システム２００の記憶装置２０６およびビデオストリーム復号化システム２２０の記憶装
置２２２は各々のシステムに一体化して図示されるが、片方または双方ともビデオストリ
ーム符号化システム２００および／または復号化システムに取り外し可能に接続されるよ
う適応される外付け装置であっても良い。
【００５３】
ビデオストリーム復号化システム２２０は図１に符号化ビデオファイルＦ−１００など
ＭＰＥＧ−２ファイルの一部を記憶するよう適応される記憶装置２２２およびＭＰＥＧ−
２ファイルに記憶されるビデオストリームを復号化し出力ビデオストリームを生成するよ
う適応されるデコーダー２２４を含むことができる。ＭＰＥＧ−２ファイルは図１の符号
化ビデオファイルＦ−１００のように、例えば第１投影に対応するビデオストリームを一
次データフィールドに、および１つ以上の他の投影に対応する１つ以上のビデオストリー
ムをユーザーデータフィールドに、フォーマットすることができる。
【００５４】
デコーダー２２４はビデオストリームの１つ以上を復号化し第１復号化ビデオストリー
ムおよび第２復号化ビデオストリームに基づき出力ビデオストリームを生成するよう適応
されることができる。出力ビデオストリームはマルチビューディスプレイでの使用向けに
マルチビューフォーマットに準拠して生成されることができる。例えば、マルチビューフ
ォーマットは視差バリアを備えたマルチビューディスプレイ対応の交互配置フォーマット
であることができる。出力ビデオストリームはディスプレイ２２６に送信することができ
、ディスプレイ２２６は復号化システムと一体化（図示されるように）され、またはその
外付けであることができる。復号化されるにつれビデオストリームを記憶するために各投
影に対応するフレームバッファー（図示せず）をデコーダー２２４およびデコーダー２２
４間に含むこともできる。
【００５５】
ビデオストリーム符号化システム２００およびビデオストリーム復号化システム２２０
は図２の例示的実施形態にしめされる以外の他の要素、入力、および／または出力を含む
ことができる。さらに、ビデオストリーム符号化システム２００およびビデオストリーム
復号化システム２２０はハードウェア、ソフトウェア、ファームウェア、およびこれらの
任意の組み合わせを用いて実施することができる。
例えば、ビデオストリーム符号化システム２００および復号化システム２２０は専用プ
ロセッサーなど、図示される機能ブロックの１つ以上の機能を実行する１つ以上の回路を
含むことができる。本明細書で使用される場合、回路という用語はデジタルプロセッサー
、アナログプロセッサー、プログラマーブル論理アレイおよび装置、プログラマーブルア
レイ論理、フィールドプログラマーブルゲート／論理アレイ、電気的に消去可能／プログ
ラマーブルな読み取り専用メモリー、マイクロコントローラー、特定用途向け回路等々、
他の要素も含み得る。発明に合致した実施形態によっては、各種機能ブロックの機能が電
子装置の中心回路またはプロセッサー上の１つ以上のスレッドとして実施されても良い。
例えば、エンコーダー２０４は本明細書に説明される方法に従いビデオストリームを符号
化するコンピューター実行可能な命令を実行するよう構成されるマイクロプロセッサーと
して実施されても良い。同様にデコーダー２２４はプログラマーブルプロセッサーとして
実施されることができる。
【００５６】
図示される実施形態はＭＰＥＧ−２ビデオ圧縮という特定のビデオ圧縮プロトコルに照
らして説明されたが、ＭＰＥＧ−１、ＭＰＥＧ−４その他など、他のビデオ圧縮の形も利
用し得ることも理解されよう。
【００５７】
本明細書の実施形態は各種コンピューターハードウェア実施を含み特殊用途または汎用
コンピューターを有してなることができる。実施形態はさらにコンピューター実行可能な
命令またはデータ構造を搭載または記憶したコンピューター読み取り可能な媒体を含むこ
とができる。このようなコンピューター読み取り可能な媒体は汎用または特殊用途のコン
ピューターによりアクセスできる任意の入手可能な媒体であって良い。このようなコンピ
ューター読み取り可能な媒体は限定ではなく例としてＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、Ｃ
Ｄ−ＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶装
置、または望まれるプログラムコード手段をコンピューター実行可能な命令またはデータ
構造の形で搭載または記憶するために用い、汎用または特殊用途コンピューターによりア
クセスできる他の任意の媒体であることができる。情報がネットワークまたは別の通信接
続（有線、無線、または有線または無線の組み合わせ）上でコンピューターに転送または
提供されると、コンピューターは接続をコンピューター読み取り可能な媒体としかるべく
みなす。従ってこのような接続はコンピューター読み取り可能な媒体と呼ばれるのが適切
である。上述の組み合わせもコンピューター読み取り可能な媒体の範囲に含まれるべきで
ある。
【００５８】
コンピューター実行可能な命令は例えば汎用コンピューター、特殊用途コンピューター
、または特殊用途処理装置に特定の機能または機能のグループを実行させる命令およびデ
ータを有してなる。要旨は構造的特徴および／または方法上の行為に向けられた言葉で説
明されたが、添付クレームに定義される要旨は上述の具体的な特徴または行為に必ずしも
限定されないことが理解されよう。逆に上述の具体的な特徴および行為はクレームを実施
する形態の例として開示される。
【００５９】
本発明はその精神または基本的な特性から逸脱することなく他の具体的な形で具現され
ることができる。説明された実施形態はすべての面で限定的ではなく単に例示的とみなさ
れる。従って発明の範囲は前述の説明ではなく添付クレームにより示される。クレームの
意味および同等の範囲内に入るすべての変更はクレームの範囲に包含されるものとする。
【符号の説明】
【００６０】
２００…ビデオストリーム符号化システム、２０２…入力ポート、２０４…エンコーダ
ー、２０６…記憶装置、２１５…伝送媒体、２２０…ビデオストリーム復号化システム。
【図１】
2009207136.tif 000003
【図２】
2009207136.tif 000004