(57)【要約】第１視点における経時的なビューを示す第１フレーム画像群と、第２視点における経時的なビューを示す第２フレーム画像群とを圧縮符号化するデータ作成装置は、ＭＰＥＧ−２形式のストリームと、ＭＰＥＧ−４  ＭＶＣ形式に準拠したベースビュービデオストリーム及びディペンデントビュービデオストリームと、を生成する。前記ＭＰＥＧ−２形式のストリームは、前記第１フレーム画像群を圧縮符号化したストリームである。また、前記ベースビュービデオストリームは、前記ＭＰＥＧ−２形式のストリームとフレーム数が同一であって、総データ量を少なくした疑似データからなるストリームであり、前記ディペンデントビュービデオストリームは、前記ベースビュービデオストリームの対応するフレームと同時刻のＭＰＥＧ−２形式のストリームのフレームを参照画像として前記第２フレーム画像群を圧縮符号化したストリームである。
2012108210.tif 000002
【特許請求の範囲】
【請求項１】
第１視点における経時的なビューを示す第１フレーム画像群と、第２視点における経時的なビューを示す第２フレーム画像群とを圧縮符号化するデータ作成装置であって、
前記第１フレーム画像群を圧縮符号化することによりＭＰＥＧ−２形式のストリームを生成する第１符号化手段と、
ＭＰＥＧ−４  ＭＶＣ形式に準拠し、ベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化手段と、
前記第１、第２符号化手段により生成されたストリームを送出する送出手段と
を備え、
前記第２符号化手段は、前記ベースビュービデオストリームとして、前記第１フレーム画像群を圧縮符号化して得られるストリームとフレーム数が同一であって、総データ量を少なくした疑似データからなるストリームを生成し、
一方、前記ディペンデントビュービデオストリームとして、前記ベースビュービデオストリームの対応するフレームと同時刻の前記ＭＰＥＧ−２形式のストリームのフレームを参照画像として前記第２フレーム画像群を構成する各フレームを圧縮符号化したストリームを生成する
ことを特徴とするデータ作成装置。
【請求項２】
前記第２符号化手段は、
前記疑似データからなるストリームを、同一のフレーム画像から構成されるフレーム画像群を圧縮符号化して生成する
ことを特徴とする請求項１記載のデータ作成装置。
【請求項３】
前記同一のフレーム画像は、単色画像のフレーム画像である
ことを特徴とする請求項２記載のデータ作成装置。
【請求項４】
前記第２符号化手段は、
前記第１フレーム画像群を圧縮符号化して得られるストリームのビットレートより低いビットレートで、前記ベースビュービデオストリームを生成する
ことを特徴とする請求項１記載のデータ作成装置。
【請求項５】
前記第２符号化手段は、
ディペンデントビュービデオストリームのフレームを構成するピクチャのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）を、前記ベースビュービデオストリームの対応するフレームと同時刻のＭＰＥＧ−２形式のストリームのフレームを構成するピクチャのＰＴＳと同じ値にして圧縮符号化する
ことを特徴とする請求項３記載のデータ作成装置。
【請求項６】
前記第１符号化手段及び前記第２符号化手段は、
前記第１フレーム画像群及び前記第２フレーム画像群の圧縮符号化を同一のアスペクト比で行い、生成する前記各ストリームに前記アスペクト比を示す属性情報を含める
ことを特徴とする請求項５記載のデータ作成装置。
【請求項７】
前記第２符号化手段は、
ディペンデントビュービデオストリームのフレームを構成するピクチャのＤＴＳに、前記ベースビュービデオストリームの対応するフレームと同時刻のＭＰＥＧ−２形式のストリームのフレームを構成するピクチャのＤＴＳの値よりＮフレーム分（Ｎ≧１の整数値）後の時刻を示す値にして圧縮符号化する
ことを特徴とする請求項５記載のデータ作成装置。
【請求項８】
前記第２符号化手段は、
ベースビュービデオストリーム及びディペンデントビュービデオストリームにおけるＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）内のフレームの数が、
前記フレームと同時刻のフレームを含む前記ＭＰＥＧ−２形式のストリームにおけるＧＯＰ内のフレームの数と同じ数にして圧縮符号化する
ことを特徴とする請求項５記載のデータ作成装置。
【請求項９】
前記第２符号化手段は、
前記ＭＰＥＧ−２形式のストリームのフレームを構成するピクチャのピクチャタイプがＩピクチャである場合には、前記ＭＰＥＧ−２形式のフレームを構成するピクチャと同時刻のベースビュービデオストリームのフレームを構成するピクチャをＩピクチャとして圧縮符号化する
ことを特徴とする請求項５記載のデータ作成装置。
【請求項１０】
請求項１記載のデータ作成装置で送出されたストリームを取得する取得手段と、
前記取得手段により取得された前記ストリームに含まれるＭＰＥＧ−２形式のストリームを復号することにより前記第１フレーム画像群を得る第１復号手段と、
前記取得手段により取得された前記ストリームに含まれるベースビュービデオストリームを復号し、かつ、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１復号手段により復号されたフレームを参照画像として、前記ストリームに含まれるディペンデントビュービデオストリームを復号することにより、前記第２フレーム画像群を得る第２復号手段と、
前記第１、第２復号手段により得られた前記第１、第２フレーム画像群を再生する再生手段と
を備える
ことを特徴とする再生装置。
【請求項１１】
前記第２復号手段は、
前記第１復号手段により復号されたフレームのうち、前記第２フレーム画像群のフレームを構成するピクチャのＰＴＳと同じ値のＰＴＳのピクチャで構成されるフレームを参照画像として、復号処理を行う
ことを特徴とする請求項１０記載の再生装置。
【請求項１２】
第１視点における経時的なビューを示す第１フレーム画像群と、第２視点における経時的なビューを示す第２フレーム画像群とを圧縮符号化するデータ符号化方法であって、
前記第１フレーム画像群を圧縮符号化することによりＭＰＥＧ−２形式のストリームを生成する第１符号化ステップと、
ＭＰＥＧ−４  ＭＶＣ形式に準拠し、ベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化ステップと、
前記第１、第２符号化ステップにより生成されたストリームを送出する送出ステップと
を含み、
前記第２符号化ステップは、前記ベースビュービデオストリームとして、前記第１フレーム画像群を圧縮符号化して得られるストリームとフレーム数が同一であって、総データ量を少なくした疑似データからなるストリームを生成し、
一方、前記ディペンデントビューストリームとして、前記ベースビュービデオストリームの対応するフレームと同時刻の前記ＭＰＥＧ−２形式のストリームのフレームを参照画像として前記第２フレーム画像群を構成する各フレームを圧縮符号化したストリームを生成する
ことを特徴とするデータ符号化方法。
【請求項１３】
第１視点における経時的なビューを示す第１フレーム画像群と、第２視点における経時的なビューを示す第２フレーム画像群とを圧縮符号化するデータ作成装置に圧縮符号化処理を実行させるためのプログラムであって、
前記第１フレーム画像群を圧縮符号化することによりＭＰＥＧ−２形式のストリームを生成する第１符号化ステップと、
ＭＰＥＧ−４  ＭＶＣ形式に準拠し、ベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化ステップと、
前記第１、第２符号化ステップにより生成されたストリームを送出する送出ステップと
を含み、
前記第２符号化ステップは、前記ベースビュービデオストリームとして、前記第１フレーム画像群を圧縮符号化して得られるストリームとフレーム数が同一であって、総データ量を少なくした疑似データからなるストリームを生成し、
一方、前記ディペンデントビューストリームとして、前記ベースビュービデオストリームの対応するフレームと同時刻の前記ＭＰＥＧ−２形式のストリームのフレームを参照画像として前記第２フレーム画像群を構成する各フレームを圧縮符号化したストリームを生成する
ことを特徴とするプログラム。
【請求項１４】
第１視点における経時的なビューを示す第１フレーム画像群と、第２視点における経時的なビューを示す第２フレーム画像群とを圧縮符号化するデータ作成装置に圧縮符号化処理を実行させるためのプログラムを記録した記録媒体であって、
前記データ作成装置に、
前記第１フレーム画像群を圧縮符号化することによりＭＰＥＧ−２形式のストリームを生成する第１符号化ステップと、
ＭＰＥＧ−４  ＭＶＣ形式に準拠し、ベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化ステップと、
前記第１、第２符号化ステップにより生成されたストリームを送出する送出ステップと
を実行させ、
前記第２符号化ステップは、前記ベースビュービデオストリームとして、前記第１フレーム画像群を圧縮符号化して得られるストリームとフレーム数が同一であって、総データ量を少なくした疑似データからなるストリームを生成し、
一方、前記ディペンデントビューストリームとして、前記ベースビュービデオストリームの対応するフレームと同時刻の前記ＭＰＥＧ−２形式のストリームのフレームを参照画像として前記第２フレーム画像群を構成する各フレームを圧縮符号化したストリームを生成する
プログラムを記録した記録媒体。
【請求項１５】
第１視点における経時的なビューを示す第１フレーム画像群と、第２視点における経時的なビューを示す第２フレーム画像群とを圧縮符号化するデータ作成装置を構成する集積回路であって、
前記第１フレーム画像群を圧縮符号化することによりＭＰＥＧ−２形式のストリームを生成する第１符号化手段と、
ＭＰＥＧ−４  ＭＶＣ形式に準拠し、ベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化手段と、
前記第１、第２符号化手段により生成されたストリームを送出する送出手段と
を備え、
前記第２符号化手段は、前記ベースビュービデオストリームとして、前記第１フレーム画像群を圧縮符号化して得られるストリームとフレーム数が同一であって、総データ量を少なくした疑似データからなるストリームを生成し、
一方、前記ディペンデントビューストリームとして、前記ベースビュービデオストリームの対応するフレームと同時刻の前記ＭＰＥＧ−２形式のストリームのフレームを参照画像として前記第２フレーム画像群を構成する各フレームを圧縮符号化したストリームを生成する
ことを特徴とする集積回路。
【請求項１６】
請求項１記載のデータ作成装置で送出されたストリームを取得する取得ステップと、
前記取得ステップにより取得された前記ストリームに含まれるＭＰＥＧ−２形式のストリームを復号することにより、前記第１フレーム画像群を得る第１復号ステップと、
前記取得ステップにより取得された前記ストリームに含まれるベースビュービデオストリームを復号し、かつ、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１復号ステップにより復号されたフレームを参照画像として、前記ストリームに含まれるディペンデントビュービデオストリームを復号することにより、前記第２フレーム画像群を得る第２復号ステップと、
前記第１、第２復号ステップにより得られた前記第１、第２フレーム画像群を再生する再生ステップと
を含む
ことを特徴とする再生方法。
【請求項１７】
請求項１記載のデータ作成装置で送出されたストリームの再生処理を再生装置に実行させるためのプログラムであって、
前記再生装置に、
前記送出されたストリームを取得する取得ステップと、
前記取得ステップにより取得された前記ストリームに含まれるＭＰＥＧ−２形式のストリームを復号することにより、前記第１フレーム画像群を得る第１復号ステップと、
前記取得ステップにより取得された前記ストリームに含まれるベースビュービデオストリームを復号し、かつ、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１復号ステップにより復号されたフレームを参照画像として、前記ストリームに含まれるディペンデントビュービデオストリームを復号することにより、前記第２フレーム画像群を得る第２復号ステップと、
前記第１、第２復号ステップにより得られた前記第１、第２フレーム画像群を再生する再生ステップと
を実行させる
ことを特徴とするプログラム。
【請求項１８】
請求項１記載のデータ作成装置で送出されたストリームの再生処理を再生装置に実行させるためのプログラムを記録した記録媒体であって、
前記再生装置に、
前記送出されたストリームを取得する取得ステップと、
前記取得ステップにより取得された前記ストリームに含まれるＭＰＥＧ−２形式のストリームを復号することにより、前記第１フレーム画像群を得る第１復号ステップと、
前記取得ステップにより取得された前記ストリームに含まれるベースビュービデオストリームを復号し、かつ、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１復号ステップにより復号されたフレームを参照画像として、前記ストリームに含まれるディペンデントビュービデオストリームを復号することにより、前記第２フレーム画像群を得る第２復号ステップと、
前記第１、第２復号ステップにより得られた前記第１、第２フレーム画像群を再生する再生ステップと
を実行させるプログラムを記録した記録媒体。
【請求項１９】
請求項１記載のデータ作成装置で送出されたストリームを再生する再生装置を構成する集積回路であって、
前記送出されたストリームを取得する取得手段と、
前記取得手段により取得された前記ストリームに含まれるＭＰＥＧ−２形式のストリームを復号することにより前記第１フレーム画像群を得る第１復号手段と、
前記取得手段により取得された前記ストリームに含まれるベースビュービデオストリームを復号し、かつ、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１復号手段により復号されたフレームを参照画像として、前記ストリームに含まれるディペンデントビュービデオストリームを復号することにより、前記第２フレーム画像群を得る第２復号手段と、
前記第１、第２復号手段により得られた前記第１、第２フレーム画像群を再生する再生手段と
を備える
ことを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像を記録又は伝送するための符号化、及び復号して再生する技術に関し、特に３Ｄ映像データのデータ作成装置及びその再生装置に関する。
【背景技術】
【０００２】
３Ｄ映像を圧縮符号化する方式として、ＭＰＥＧ−４  ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）と呼ばれるＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４の修正規格（非特許文献１）がある。このＭＰＥＧ−４  ＭＶＣ形式の圧縮符号化方式を利用すれば、圧縮率の高い圧縮符号化を実現した３Ｄ映像のビデオストリームを生成することができる。【０００３】
日本や米国のデジタルテレビ放送では現在、ＭＰＥＧ−２のビデオストリームを用いているので、既存の再生装置での２Ｄ映像の再生を維持しながら３Ｄ映像のデジタルテレビ放送を提供するためには、一案としてＭＰＥＧ−２形式のビデオストリームとは別にＭＰＥＧ−４  ＭＶＣ形式のビデオストリームを同時に配信することが考えられる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】「ＭＰＥＧ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ」、ＩＳＯ／ＩＥＣ、１４４９６−１０、２００３
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ＭＰＥＧ−２ビデオのビデオストリームとＭＰＥＧ−４  ＭＶＣ形式のビデオストリームとを配信しようとすると、データ量が増加するので、ビデオストリーム全体が占める帯域が増加する。放送波の使用できる帯域には制約があり、その帯域に収めるためには、ビデオストリーム全体のデータ量を削減することが求められる。【０００６】
そこで本発明では、係る問題に鑑みてなされたものであり、ＭＰＥＧ−２形式のビデオストリームに対応した既存の再生装置での再生を維持しながら、３Ｄ映像に対応したビデオストリームを、データ量を削減して生成するデータ作成装置、及びこのようなビデオストリームの再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明に係るデータ作成装置は、第１視点における経時的なビューを示す第１フレーム画像群と、第２視点における経時的なビューを示す第２フレーム画像群とを圧縮符号化するデータ作成装置であって、前記第１フレーム画像群を圧縮符号化することによりＭＰＥＧ−２形式のストリームを生成する第１符号化手段と、ＭＰＥＧ−４  ＭＶＣ形式に準拠し、ベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化手段と、前記第１、第２符号化手段により生成されたストリームを送出する送出手段とを備え、前記第２符号化手段は、前記ベースビュービデオストリームとして、前記第１フレーム画像群を圧縮符号化して得られるストリームとフレーム数が同一であって、総データ量を少なくした疑似データからなるストリームを生成し、一方、前記ディペンデントビューストリームとして、前記ベースビュービデオストリームの対応するフレームと同時刻の前記ＭＰＥＧ−２形式のストリームのフレームを参照画像として前記第２フレーム画像群を構成する各フレームを圧縮符号化したストリームを生成することを特徴とする。【０００８】
また、本発明に係る再生装置は、前記データ作成装置で送出されたストリームを取得する取得手段と、前記取得手段により取得された前記ストリームに含まれるＭＰＥＧ−２形式のストリームを復号することにより前記第１フレーム画像群を得る第１復号手段と、前記取得手段により取得された前記ストリームに含まれるベースビュービデオストリームを復号し、かつ、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１復号手段により復号されたフレームを参照画像として、前記ストリームに含まれるディペンデントビュービデオストリームを復号することにより、前記第２フレーム画像群を得る第２復号手段と、前記第１、第２復号手段により得られた前記第１、第２フレーム画像群を再生する再生手段とを備えることを特徴とする。
【発明の効果】
【０００９】
上述の構成により、本発明に係るデータ作成装置は、ＭＰＥＧ−２形式のビデオストリームに対応した既存の再生装置での再生を維持しながら、３Ｄ映像に対応したビデオストリームを、データ量を削減して生成することができる。【００１０】
また、本発明に係る再生装置は、上記の３Ｄ映像に対応したビデオストリームを再生することができる。
【図面の簡単な説明】
【００１１】
【図１】ビデオストリームのピクチャの参照関係を示す図。
【図２】ＭＰＥＧ−４  ＭＶＣ形式による圧縮符号化方式を示す図。
【図３】ベースビューの圧縮符号化方式と、ディペンデントビューの圧縮符号化方式が異なる場合のピクチャ参照を示す図。
【図４】２Ｄ映像とデプスマップから左目用画像と右目用画像の視差画像を生成する場合の概念図。
【図５】再生装置の使用態様を示す図。
【図６】トランスポートストリーム形式のデジタルストリームの概念構成図。
【図７】ビデオストリームの構造の概念図。
【図８】クロッピング領域情報とスケーリング情報の概念図。
【図９】クロッピング領域情報とスケーリング情報の具体的な指定方法を示す図。
【図１０】ＰＥＳパケットの概念構成図。
【図１１】トランスポートストリームを構成するＴＳパケットのデータ構造を示す図。
【図１２】ＰＭＴのデータ構造を示す図。
【図１３】立体視画像の表示の一例を示す図。
【図１４】Ｓｉｄｅ−ｂｙ−Ｓｉｄｅ方式の概念図。
【図１５】ＭＰＥＧ−４  ＭＶＣ形式のビュービデオストリームの内部構成の一例を示す図。
【図１６】ビデオストリームのアクセスユニットの内部構成の概念図。
【図１７】ベースビュービデオストリームの各ピクチャと右目用画像ビデオストリームの各ピクチャのビデオアクセスユニットの構成を示す図。
【図１８】ベースビュービデオストリームとディペンデントビュービデオストリームの各ビデオアクセスユニットに割り当てるＰＴＳとＤＴＳの関係を示す図。
【図１９】ベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰ構成を示す図。
【図２０】ディペンデントＧＯＰに含まれるビデオアクセスユニットの構成を示す図。
【図２１】トランスポートストリームのデータ構造を示す図。
【図２２】本実施の形態において、２Ｄ互換ビデオストリームをＭＰＥＧ−２ビデオ、マルチビュービデオストリームをＭＰＥＧ−４  ＭＶＣ形式の圧縮符号化方式としたときに、一致させるビデオ属性とそのビデオ属性を示すための各フィールド名を示す図。
【図２３】トランスポートストリーム中における２Ｄ互換ビデオストリームとベースビュービデオストリームとディペンデントビュービデオストリームの各ビデオアクセスユニットに割り当てるＰＴＳ、ＤＴＳ及びピクチャタイプの関係の例を示す図。
【図２４】２Ｄ互換ビデオストリームとベースビュービデオストリームとディペンデントビュービデオストリームにおいて、特殊再生を容易にするための好適なピクチャタイプの関係を示す図。
【図２５】２Ｄ互換ビデオストリーム、ベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰ構成を示す図。
【図２６】本実施の形態に係るデータ作成装置を示す図。
【図２７】本実施の形態に係るデータ作成装置のデータ作成フローを示す図。
【図２８】本実施の形態に係る３Ｄ映像を再生する再生装置の構成を示す図。
【図２９】ビデオデコーダとマルチビュービデオデコーダの機能構成を示すブロック図。
【図３０】本実施の形態に係る再生装置の３Ｄ映像におけるデコード処理と出力処理のフローチャート。
【図３１】本実施の形態に係る３Ｄ映像の再生装置におけるＩｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒの管理を示す図。
【図３２】本実施の形態に係る３Ｄ映像の再生装置におけるＩｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒの管理の変形例を示す図。
【図３３】本実施の形態に係る３Ｄ映像の再生装置におけるバッファの共用を示す図。
【図３４】本実施の形態に係る３Ｄ映像の再生装置における映像出力処理の変形例を示す図。
【図３５】本実施の形態に係る３Ｄ映像のトランスポートストリームにおけるＰＴＳとＤＴＳの付与方法の変形例を示す図。
【図３６】トランスポートストリームの構成とＰＭＴパケットの関係を示す図。
【図３７】３Ｄ情報ディスクリプタの構造を示す図。
【図３８】３Ｄ情報ディスクリプタの再生方式を示す図。
【図３９】３Ｄストリームディスクリプタの構造を示す図。
【図４０】本実施の形態に係る３Ｄ映像の再生装置において再生方式に従ったスイッチ方法を示す図。
【図４１】再生方式とコーデック間参照スイッチとプレーンセレクタの関係を示す図。
【図４２】再生方式の切り替わりをスムーズに遷移するための２Ｄ移行区間を示す図。
【図４３】２Ｄ互換ビデオストリームのデコード結果に対する高画質フィルタを適用する場合の符号装置の機能構成を示すブロック図。
【図４４】２Ｄ互換ビデオストリームのデコード結果に対する高画質フィルタを適用する場合の再生装置の機能構成を示すブロック図。
【図４５】ベースビュービデオとディペンデントビュービデオが同一ストリームで転送される場合の本実施の形態に係る３Ｄ映像の再生装置の機能構成を示すブロック図。
【発明を実施するための形態】
【００１２】
＜１．実施の形態１＞
＜１−１．概要＞
本発明の一実施の形態に係る放送システムは、２Ｄ映像として、既存技術であるＭＰＥＧ−２形式のストリームを生成し、３Ｄ映像として、ＭＰＥＧ−４  ＭＶＣ形式を拡張した新規形式（本明細書において、この形式をＭＰＥＧ−４  ＭＶＣに準拠という。）のベースビュービデオストリームとディペンデントビュービデオストリームとを生成し、送出する。
【００１３】
受信側では、再生装置の中の、２Ｄ再生部分がＭＰＥＧ−２形式のストリームを既存の復号方式で復号して再生し、３Ｄ再生部分が、ＭＰＥＧ−４  ＭＶＣに準拠したベースビュービデオストリームとディペンデントビュービデオストリームを、新規符号化に対応した復号形式で復号して再生する。
図２１は、本実施の形態における放送システムによって作成されたトランスポートストリームのデータ構造を示している。同図に示されるように、トランスポートストリームは、２Ｄ互換ビデオストリームＡとマルチビュービデオストリームＢとからなる。後者のマルチビュービデオストリームＢは、ベースビュービデオストリームＢ１と、ディペンデントビュービデオストリームＢ２とからなる。
前記２Ｄ互換ビデオストリームＡは、左目用画像を圧縮符号化して作成され、ベースビュービデオストリームＢ１は、黒などの単色映像（以下、「黒画像」という。）を圧縮符号化して作成される。
更に、ディペンデントビュービデオストリームＢ２は、左目用画像と右目用画像の差分を圧縮符号化して生成される。先に述べたようにベースビュービデオストリームＢ１は、黒画像を圧縮符号化したものであるので、ディペンデントビュービデオストリームＢ２を生成する際の参照画像として用いることができない。この点が、既存のＭＰＥＧ−４  ＭＶＣ形式と異なっているところであり、参照画像は、２Ｄ互換ビデオストリームＡの同時刻のフレーム画像に設定されている。
【００１４】
このようなＭＰＥＧ−４  ＭＶＣに準拠した形式のストリームとすると、２Ｄ映像と３Ｄ映像の両方を送信できると共に、ベースビュービデオストリームＢ１が、黒画像を圧縮符号化するので、ビットレートを極端に低くすることができ、結果として既存の割り当てられた周波数帯域の範囲において、２Ｄ映像と３Ｄ映像の双方を送出できるのである。
ＭＰＥＧ−４  ＭＶＣ形式で圧縮符号化されたストリームの復号処理では、ベースビュービデオストリームのフレーム画像を参照してディペンデントビュービデオストリームを復号するが、本実施の形態では、ＭＰＥＧ−２互換ストリーム、すなわち、左目用画像のフレーム画像を参照画像として、ディペンデントビュービデオストリームを復号できるようにしている。
ＭＰＥＧ−４  ＭＶＣに準拠した形式では、具体的には、復号の際の参照先を、ベースビュービデオストリームから、ＭＰＥＧ−２互換ビデオストリームに変更することを再生側に指示するディスクリプタ等を規定している。
以下、本発明の実施の形態に係るデータ作成装置及び再生装置について図面を参照しながら説明する。
＜１−２．データ作成装置＞
＜１−２−１．構成＞
以下、本発明に係るデータ作成装置の一実施形態について図を参照しながら説明する。
【００１５】
図２６は本実施の形態に係るデータ作成装置２６０１の機能構成のブロック図である。
【００１６】
データ作成装置２６０１は、３Ｄ映像を構成する左目用画像と右目用画像、及び黒画像を入力として、後述するデータフォーマットの２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、ディペンデントビュービデオストリームからなるトランスポートストリームを出力する。
【００１７】
データ作成装置２６０１は、２Ｄ互換ビデオエンコーダ２６０２、Ｄｅｃ（２Ｄ互換ビデオデコーダ）２６０３、拡張マルチビュービデオエンコーダ２６０４、及びマルチプレクサ２６１０を備える。
【００１８】
拡張マルチビュービデオエンコーダ２６０４は、ベースビュービデオエンコーダ２６０５、２Ｄ互換ビデオフレームメモリ２６０８、及びディペンデントビュービデオエンコーダ２６０９を備える。
【００１９】
２Ｄ互換ビデオエンコーダ２６０２は、左目用画像を入力として、ＭＰＥＧ−２形式で圧縮符号化し、２Ｄ互換ビデオストリームを生成して出力する。
【００２０】
Ｄｅｃ２６０３は、２Ｄ互換ビデオストリーム内の圧縮符号化されたピクチャを復号し、その結果得られる復号ピクチャと、２Ｄ互換ビデオ符号化情報２６０６とを出力する。ここで、ピクチャとは、フレーム又はフィールドを構成する画像であり１つの符号化の単位である。
復号ピクチャは、拡張マルチビュービデオエンコーダ２６０４の２Ｄ互換ビデオフレームメモリ２６０８に格納される。また、２Ｄ互換ビデオ符号化情報２６０６は、ベースビュービデオエンコーダ２６０５に入力される。
【００２１】
２Ｄ互換ビデオ符号化情報２６０６は、復号した２Ｄ互換ビデオストリームの、属性情報（解像度、アスペクト比、フレームレート、プログレッシブかインターレースかの区別など）、該当ピクチャのピクチャ属性情報（ピクチャタイプなど）、ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）構造、及び、２Ｄ互換ビデオフレームメモリ管理情報の情報を含む構成である。
【００２２】
２Ｄ互換ビデオフレームメモリ管理情報は、２Ｄ互換ビデオフレームメモリ２６０８に格納される復号ピクチャのメモリアドレスと該当ピクチャの表示順情報（ＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）やｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅ）と符号順情報（ファイルの符号順やＤＴＳ（Ｄｅｃｏｄｉｎｇ  Ｔｉｍｅ  Ｓｔａｍｐ））とを関連付した情報である。
【００２３】
拡張マルチビュービデオエンコーダ２６０４は、Ｄｅｃ２６０３から出力される復号ピクチャと、２Ｄ互換ビデオ符号化情報と、右目用画像と、黒画像とを入力として、圧縮符号化を行い、ベースビュービデオストリーム、ディペンデントビュービデオストリームを出力する。
【００２４】
ベースビュービデオエンコーダ２６０５は、ＭＰＥＧ−４  ＭＶＣ形式に準拠して圧縮符号化したデータをベースビュービデオストリームとして出力する機能を有し、２Ｄ互換ビデオ符号化情報２６０６に従って、黒画像を圧縮符号化して、ベースビュービデオストリームとベースビュービデオ符号化情報２６０７とを出力する。
【００２５】
ベースビュービデオ符号化情報２６０７は、ベースビュービデオストリームの属性情報（解像度、アスペクト比、フレームレート、プログレッシブかインターレースの区別など）、該当ピクチャのピクチャ属性情報（ピクチャタイプなど）、ＧＯＰ構造、及びベースビュービデオフレームメモリ管理情報を含む構成である。
【００２６】
ベースビュービデオエンコーダ２６０５は、ベースビュービデオ符号化情報２６０７を出力の際に、ベースビュービデオストリームの属性情報を２Ｄ互換ビデオ符号化情報２６０６に含まれるビデオの属性情報と同じ値にする。さらに、ベースビュービデオエンコーダ２６０５は、２Ｄ互換ビデオ符号化情報２６０６に含まれるピクチャの属性情報（ピクチャタイプなど）やＧＯＰ構造に従って、同一表示時刻のピクチャの圧縮符号化の際のピクチャタイプを決定して、黒画像を圧縮符号化する。例えば、時刻ａのピクチャの２Ｄ互換ビデオ符号化情報２６０６で示されるピクチャタイプがＩピクチャで、当該ピクチャがＧＯＰ先頭のピクチャであれば、ベースビュービデオエンコーダ２６０５は、同一表示時刻を示す黒画像をＩピクチャになるように圧縮符号化し、ベースビュービデオストリームのＧＯＰ先頭のビデオアクセスユニットとする。
【００２７】
また、時刻ｂのピクチャの２Ｄ互換ビデオ符号化情報２６０６で示されるピクチャタイプがＢピクチャの場合は、ベースビュービデオエンコーダ２６０５は、同一表示時刻を示す黒画像をＢピクチャになるように圧縮符号化する。このとき、ベースビュービデオストリームのＤＴＳやＰＴＳを、２Ｄ互換ビデオストリームの同時刻を示すビューに対応するピクチャのＤＴＳやＰＴＳにそれぞれ一致させる。
【００２８】
ベースビュービデオフレームメモリ管理情報は、２Ｄ互換ビデオフレームメモリ管理情報を元に、２Ｄ互換ビデオストリームを復号して得られた復号ピクチャを格納しているフレームメモリ２６０８のメモリアドレスと、当該復号ピクチャの表示順情報と符号順情報とを示すｓｙｎｔａｘ要素をベースビュービデオストリームの圧縮符号化方式の規則に則ったｓｙｎｔａｘ要素に変換して関連付けした情報である。ｓｙｎｔａｘ要素とは、ＭＰＥＧ−２やＭＰＥＧ−４  ＭＶＣ形式の圧縮符号化方式における符号化に必要な属性情報を規定した要素で、例えば、マクロブロックタイプ等のヘッダ情報、動きベクトル、変換係数などを示す要素である。
【００２９】
ディペンデントビュービデオエンコーダ２６０９は、ＭＰＥＧ−４  ＭＶＣ形式に準拠して圧縮符号化し、ディペンデントビュービデオストリームを生成する機能を有し、ベースビュービデオ符号化情報２６０７に含まれる情報を元に、右目用画像を圧縮符号化し、ディペンデントビュービデオストリームを出力する。このとき、ディペンデントビュービデオエンコーダ２６０９は、ビュー間参照として、２Ｄ互換ビデオフレームメモリ内の復号ピクチャを用いて、圧縮符号化を行う。ここで、ビュー間参照とは、異なる視点からのビューを示すピクチャを参照することをいう。
ディペンデントビュービデオエンコーダ２６０９は、ビュー間参照を実行するための参照ピクチャＩＤを、ベースビュービデオ符号化情報２６０７のベースビュービデオフレームメモリ管理情報に基づいて決定する。さらに、ディペンデントビュービデオエンコーダ２６０９は、ディペンデントビュービデオストリームのビデオの属性情報をベースビュービデオ符号化情報２６０７に含まれるベースビュービデオストリームの属性情報の値と同じ値を設定する。
【００３０】
さらに、ディペンデントビュービデオエンコーダ２６０９は、ベースビュービデオ符号化情報２６０７に格納されているピクチャの属性情報（例えば、ピクチャタイプ）とＧＯＰ構造とに基づいて、符号化対象の画像のピクチャタイプを決定して、右目用画像を圧縮符号化する。例えば、時刻ａのピクチャのベースビュービデオ符号化情報２６０７で示されるピクチャタイプがＩピクチャで、ＧＯＰ先頭であれば、ディペンデントビュービデオエンコーダ２６０９は、同じ時刻ａのピクチャのピクチャタイプをアンカーピクチャにして、右目用画像を圧縮符号化し、ディペンデントＧＯＰ先頭のビデオアクセスユニットとする。アンカーピクチャとは、自ピクチャよりも時間的に前のピクチャを参照しないピクチャであり、自ピクチャから飛び込み再生することが可能なピクチャのことである。また、時刻ｂのピクチャのベースビュービデオ符号化情報２６０７で示されるピクチャタイプがＢピクチャであれば、ディペンデントビュービデオエンコーダ２６０９は、同じ時刻ｂのピクチャのピクチャタイプをＢピクチャにして、右目用画像を圧縮符号化する。
【００３１】
このとき、ディペンデントビュービデオストリームのＤＴＳやＰＴＳを、ベースビュービデオストリームの同時刻に表示すべきビューに対応するピクチャのＤＴＳやＰＴＳにそれぞれ一致させて圧縮符号化する。
【００３２】
マルチプレクサ２６１０は、出力された２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、及びディペンデントビュービデオストリームを、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）パケット化した後にＴＳパケット単位で分割し、多重化したトランスポートストリームとして出力する。
【００３３】
なお、再生装置が、多重化されたトランスポートストリームのストリームデータから、それぞれのビデオストリームを識別できるようにするために、２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、及びディペンデントビュービデオストリームは、それぞれ別々のＰＩＤが設定される。
【００３４】
＜１−２−２．データフォーマット＞
次に、データフォーマットについて、図面を参照しながら説明を行う。
【００３５】
図２２に、ＭＰＥＧ−２形式とＭＰＥＧ−４  ＭＶＣ形式の圧縮符号化において、各圧縮符号化方式で一致させるビデオ属性と、そのビデオ属性を示すための各フィールド名を示す。
【００３６】
ディペンデントビュービデオストリームのピクチャの復号の際に、異なる圧縮符号化方式である２Ｄ互換ビデオストリームのピクチャを容易に参照できるようにするために、図２２に示すビデオストリームの解像度、アスペクト比、フレームレート、及びプログレッシブかインターレースかを示すビデオ属性の値は、それぞれの符号化形式のピクチャ間で同じになるように構成する。
【００３７】
図２５は本実施の形態での２Ｄ互換ビデオストリーム、ベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰ構成を示している。
【００３８】
このように、２Ｄ互換ビデオストリーム、ベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰはすべて同じ枚数になるよう構成する。つまり、２Ｄ互換ビデオストリームのピクチャがＧＯＰ先頭の場合には、ＰＴＳが同じ値を持つベースビュービデオストリームのピクチャと、ＰＴＳが同じ値を持つディペンデントビュービデオストリームのピクチャも、それぞれＧＯＰ先頭、ディペンデントＧＯＰの先頭でなければならない。
【００３９】
このように構成することで、飛び込み再生時に、２Ｄ互換ビデオストリームがＩピクチャであれば、その時刻からすべてのビデオストリームの復号が可能であるため、飛び込み再生時の処理が容易となる。
【００４０】
トランスポートストリームがファイルとして保存されている場合には、ＧＯＰ先頭のピクチャがファイル上のどこにあるかを示すエントリマップ情報を管理情報として持つことがある。例えばＢｌｕ−ｒａｙ  Ｄｉｓｃのフォーマットでは、そのエントリマップ情報は管理情報ファイルとして別のファイルとして保存される。
【００４１】
本実施の形態のトランスポートストリームにおいては、２Ｄ互換ビデオストリームのＧＯＰ先頭のピクチャの位置が、エントリマップに登録される場合には、同時刻のベースビューの位置もディペンデントビューの位置もエントリマップに登録するようにする。このようにすることで、エントリマップを参照することで、３Ｄ映像の飛び込み再生が容易になる。
【００４２】
図３６は、トランスポートストリームの構成とＰＭＴ（Ｐｒｏｇｒａｍ  Ｍａｐ  Ｔａｂｌｅ）パケットの関係を示している。３Ｄ映像のストリームを含むトランスポートストリームにおいては、ＰＭＴパケットなどのシステムパケット中に、３Ｄ映像の復号処理を行う上でのシグナリング情報を含める。図３６に示すように、ディスクリプタには、各ビデオストリームの関係や本方式の３Ｄ映像再生の開始・終了などのシグナリングを行うための３Ｄ情報ディスクリプタと、ビデオストリームごとに設定される３Ｄストリームディスクリプタを含む構成である。
【００４３】
図３７は、３Ｄ情報ディスクリプタの構造を示す。
【００４４】
３Ｄ情報ディスクリプタは、再生方式、左目映像タイプ、２Ｄ互換ビデオＰＩＤ、ベースビュービデオＰＩＤ、及びディペンデントビュービデオＰＩＤから構成される。
【００４５】
再生方式は、再生装置の再生方法をシグナリングするための情報である。
【００４６】
図３８を用いて、その再生方式を説明する。
【００４７】
再生方式の値が「０」の場合は、２Ｄ互換ビデオによる２Ｄ映像再生を示し、この場合には、再生装置は、２Ｄ互換ビデオストリームのみを２Ｄ映像再生する。
【００４８】
再生方式の値が「１」の場合は、２Ｄ互換ビデオとディペンデントビュービデオによる３Ｄ映像再生（つまり、本実施の形態で説明する３Ｄ映像再生方式であること）を示す。この場合は、再生装置は、２Ｄ互換ビデオストリームとベースビュービデオストリームとディペンデントビュービデオストリームを本実施の形態で説明する再生方法で３Ｄ映像再生を行う。なお、本実施の形態における３Ｄ映像の再生方法は後述する。
【００４９】
再生方式の値が「２」の場合は、ベースビュービデオストリームとディペンデントビュービデオによる３Ｄ映像の再生であることを示す。つまり、２Ｄ互換ビデオストリームと、３Ｄ映像を構成するマルチビュービデオストリームはそれぞれ異なる映像を圧縮符号化して生成したものであり、参照関係にないことを示す。この場合は、再生装置は通常のＭＰＥＧ−４  ＭＶＣ形式で圧縮符号化したビデオストリームとして、そのビデオストリームを３Ｄ映像再生する。
【００５０】
再生方式の値が「３」の場合は、２Ｄ互換ビデオストリーム又はベースビュービデオストリームをダブリング再生することを示し、再生装置はダブリング再生を行う。ダブリング再生とは、ある時刻ａの左右のビューのどちらか一方のピクチャをＬとＲのどちらのプレーンにも出力することである。この再生方法による再生は、ユーザの視聴画面としては２Ｄ映像再生と等しいが、３Ｄ映像再生時にフレームレートの変更が発生しないので再生装置がＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）等でディスプレイ等に接続されている場合に再認証が発生せず、２Ｄ映像再生区間と３Ｄ映像再生区間とのシームレスな接続再生が実現できる利点がある。
【００５１】
左目映像タイプは、マルチビュービデオストリームの内、どちらのストリームに左目用画像が圧縮符号化されているか（もう一方のビデオストリームが右目用画像となる）を示す情報である。再生方式の値が「０」の場合は、このフィールドの値は参照する意味がない。再生方式の値が「１」の場合は、２Ｄ互換ビデオとディペンデントビュービデオの内、どちらが左目用画像であるかを示す。すなわち、再生方式の値が「１」で左目映像タイプの値が「０」の場合には、２Ｄ互換ビデオのストリームが左目用画像に対応したビデオストリームであることを示す。再生装置は、再生方式の値が「２」や「３」の場合も同様にして、左目映像タイプの値を参照することによって、どのビデオストリームが左目用画像に対応したビデオストリームであるかを判断することができる。
【００５２】
２Ｄ互換ビデオＰＩＤ、ベースビュービデオＰＩＤ、及びディペンデントビュービデオＰＩＤは、トランスポートストリーム内の各ビデオストリームのＰＩＤを示す。この情報により、復号対象のストリームを識別できる。
【００５３】
図３９は、３Ｄストリームディスクリプタを示す。
【００５４】
３Ｄディスクリプタのフィールド名として、ベースビュービデオタイプ、参照先タイプ、被参照タイプがある。
【００５５】
ベースビュービデオタイプは、ベースビュービデオストリームにどの映像が圧縮符号化されているかを示す。ベースビュービデオタイプの値が「０」の場合は、３Ｄ映像の左目用画像もしくは右目用画像を圧縮符号化したデータのどちらかが圧縮符号化されているかを示し、「１」の場合は、２Ｄ互換ビデオストリームによって置き換えられプレーンへ出力されないダミー映像として黒画像を圧縮符号化していることを示す。
【００５６】
参照先タイプは、ディペンデントビュービデオストリームがビュー間参照の参照先のビデオストリームのタイプを示す。参照先タイプの値が「０」の場合は、ベースビュービデオストリームのピクチャをビュー間参照先としていることを示し、「１」の場合は、２Ｄ互換ビデオストリームのピクチャをビュー間参照先としていることを示す。つまり、参照先タイプの値が「１」の場合が本実施の形態における３Ｄ映像方式による参照方式であることを示す。
【００５７】
被参照タイプは、該当ビデオストリームがビュー間参照されるか否かを示す。参照されないのであれば、ビュー間参照の処理をスキップすることができるため復号処理の負荷を軽減できる。なお、３Ｄ情報ディスクリプタと３Ｄストリームディスクリプタの情報の全て又は一部は、ＰＭＴパケットではなく、各ビデオストリームの補足データ等に格納されてもよい。
【００５８】
図２３はトランスポートストリーム中における２Ｄ互換ビデオストリームとベースビュービデオストリームとディペンデントビュービデオストリームの各ビデオアクセスユニットに割り当てるＰＴＳ、ＤＴＳ及びピクチャタイプの関係の例を示している。
【００５９】
データ作成装置２６０１は、同時刻の左目画像を圧縮符号化して生成した２Ｄ互換ビデオストリームのピクチャとディペンデントビュービデオストリームのピクチャとのＤＴＳ及びＰＴＳの値を、それぞれ同じＤＴＳ及びＰＴＳの値に設定する。また、同時刻に再生されるべきベースビュービデオストリームのピクチャのＰＴＳ、ＤＴＳ、及びＰＯＣに対しても、ディペンデントビュービデオストリームのピクチャのＰＴＳ、ＤＴＳ、及びＰＯＣとそれぞれ同じ値を設定する。
【００６０】
ディペンデントビュービデオストリームのピクチャのビュー間参照では、この同じ値のＰＴＳ、ＤＴＳ、ＰＯＣを持つベースビュービデオストリームのピクチャを参照する。具体的には、ディペンデントビュービデオストリームのピクチャのビュー間参照では、ディペンデントビュービデオストリームのピクチャの各マクロブロックから指定されるピクチャ参照ＩＤ（ｒｅｆ＿ｉｄｘ＿ｌ０もしくはｒｅｆ＿ｉｄｘ＿ｌ１）は、ＰＯＣが同じ値を持つベースビューピクチャを示す値が設定される。
【００６１】
＜１−２−３．動作＞
図２７はデータ作成装置２６０１のデータ作成フローを示す図である。以下、そのデータ作成フローを説明する。
【００６２】
変数Ｎは、圧縮符号化対象のフレーム画像のフレーム番号を記憶する変数である。
【００６３】
まず、変数Ｎを初期化する（Ｎ＝０）。次に、左目用画像にＮ番目のフレームが存在するかをチェックする（ステップＳ２７０１）。存在しない場合（ステップＳ２７０１：Ｎｏ）は、圧縮符号化すべきデータがなくなったと判断して、処理を終了する。
【００６４】
ステップＳ２７０１でＹｅｓの場合には、１回の圧縮符号化フロー（ステップＳ２７０２〜ステップＳ２７０６）で、圧縮符号化する画像の枚数（以下、「１符号化枚数」と呼ぶ。）を決定する（ステップＳ２７０２）。１つのＧＯＰとして設定するビデオアクセスユニットの最大数（最大ＧＯＰ枚数、例えば３０フレーム）を１符号化枚数と設定する。ビデオストリームの最後のＧＯＰは、入力するビデオストリームの長さによって符号化するフレームの枚数が最大ＧＯＰ枚数に足りない場合が想定されるので、この場合には残りのフレーム枚数を１符号化枚数とする。
【００６５】
次に、２Ｄ互換ビデオエンコーダ２６０２は、１符号化枚数分の２Ｄ互換ビデオストリームの生成を行う（ステップＳ２７０３）。左目用画像のＮ番目のフレームから１符号化枚数分だけ、２Ｄ互換ビデオストリームの圧縮符号化方式に従って、圧縮符号化して、２Ｄ互換ビデオストリームを生成して出力する。
【００６６】
さらに、２Ｄ互換ビデオデコーダ２６０３は、１符号化枚数分の２Ｄ互換ビデオストリームの復号処理を行う（ステップＳ２７０４）。ステップＳ２７０３にて出力された２Ｄ互換ビデオストリームに対して、Ｎ番目フレームから１符号化枚数分、圧縮ピクチャデータを復号して得られる復号ピクチャと２Ｄ互換ビデオ符号化情報とを出力する。
【００６７】
ベースビュービデオエンコーダ２６０５は、１符号化枚数分のベースビュービデオストリームの生成を行う（ステップＳ２７０５）。具体的には、２Ｄ互換ビデオ符号化情報を元に、ベースビュー符号化情報２６０７としてベースビュービデオストリームの属性情報（解像度、アスペクト比、フレームレート、プログレッシブかインターレースかの区別など）、ＧＯＰ内の各ピクチャのピクチャ属性情報（ピクチャタイプなど）、ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）構造、及び、２Ｄ互換ビデオフレームメモリ管理情報を設定し、黒画像を、１符号化枚数分、圧縮符号化して、ベースビュービデオストリームを生成する。また、設定したベースビュース符号化情報２６０７を出力する。
【００６８】
次に、ディペンデントビュービデオエンコーダ２６０９は、１符号化枚数分のディペンデントビュービデオストリームの生成を行う（ステップＳ２７０６）。具体的には、ステップＳ２７０５で出力したベースビュービデオ符号化情報を元に、ディペンデントビュービデオストリームの属性情報（解像度、アスペクト比、フレームレート、プログレッシブかインターレースかの区別など）、ＧＯＰ内の各ピクチャのピクチャ属性情報（ピクチャタイプなど）、ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）構造、及び、２Ｄ互換ビデオフレームメモリ管理情報を設定する。
【００６９】
さらに、ディペンデントビュービデオストリームエンコーダ２６０９は、ピクチャ間予測符号化を用いて符号化を行う際に、ベースビュービデオストリームのピクチャを参照するのではなく、２Ｄ互換ビデオフレームメモリ２６０８内の同一表示時刻を示す２Ｄ互換ビデオストリームを復号したピクチャを参照しながら、ピクチャ間予測符号化を用いて右目用画像のＮ番目のフレームから１符号化枚数分、圧縮符号化して、ディペンデントビュービデオストリームを生成する。
【００７０】
マルチプレクサ２６１０は、２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、及びディペンデントビュービデオストリームを、ＰＥＳパケット化する。次にＰＥＳパケットをＴＳパケット単位に分割し、多重化したトランスポートストリームを生成する。その後、Ｎに１符号化枚数を加算する（ステップＳ２７０７）。
【００７１】
ステップＳ２７０７の処理が完了したら、ステップＳ２７０１に戻って処理を繰り返す。
【００７２】
なお、１回のフローでの符号化枚数は変更することができる。枚数を少なくしたい場合は、ステップＳ２７０２の１符号化枚数の値を小さくなるように設定すればよい。例えば、ビデオ符号化時のリオーダリングの枚数が２枚の場合には、４枚単位で圧縮符号化を実行すれば、リオーダリングの影響を受けない。リオーダリングの枚数が２枚の圧縮符号化方式で、ピクチャタイプがＩ１、Ｐ４、Ｂ２、Ｂ３、Ｐ７、Ｂ５、Ｂ６（数字は表示順）の場合を想定する。１符号化枚数が３の場合、Ｐ４のピクチャが処理できないため、Ｂ２、Ｂ３の圧縮符号化処理ができない。１符号化枚数を４にすれば、Ｐ４のピクチャが処理できるため、Ｂ２、Ｂ３の圧縮符号化処理ができる。このように、１符号化枚数は、１回の圧縮符号化フローごとに、最大GOP枚数以内で、画像の特性に応じて最適な枚数に設定してもよい。
＜１−３．再生装置＞
＜１−３−１．構成＞
次に本実施の形態に係る３Ｄ映像を再生する再生装置２８２３の構成について図を参照しながら説明する。
【００７３】
図２８は再生装置２８２３の機能構成を示すブロック図である。
【００７４】
再生装置２８２３は、ＰＩＤフィルタ２８０１、２Ｄ互換ビデオデコーダ２８２１、拡張マルチビュービデオデコーダ２８２２、第１プレーン２８０８、及び第２プレーン２８２０を含む構成である。
【００７５】
ＰＩＤフィルタ２８０１は、入力されたトランスポートストリームをフィルタリングする。ＰＩＤフィルタ２８０１はＴＳパケットのうち、ＴＳパケットのＰＩＤの値が、再生に必要とされるＰＩＤの値に一致するものを、ＰＩＤの値に従って、２Ｄ互換ビデオデコーダ２８２１又は拡張マルチビュービデオデコーダ２８２２に転送する。
【００７６】
どのストリームがどのＰＩＤに対応しているかはＰＭＴパケットのストリーム情報によって判断できる。例えば、２Ｄ互換ビデオストリームのＰＩＤが０ｘ１０１１、マルチビュービデオストリームのベースビュービデオストリームのＰＩＤが０ｘ１０１２、マルチビュービデオストリームのディペンデントビュービデオストリームのＰＩＤが０ｘ１０１３とすると、ＴＳパケットのＰＩＤの値を参照し、ＴＳパケットに含まれるＰＩＤの値が予め決められている上記ＰＩＤの値と一致する場合に、そのＴＳパケットをそれぞれ対応するデコーダに転送する。
【００７７】
第１プレーン２８０８は、２Ｄ互換ビデオデコーダ２８２１が復号してＰＴＳの値に従って出力したピクチャを保持するプレーンメモリである。
【００７８】
第２プレーン２８２０は、拡張マルチビュービデオデコーダ２８２２が復号してＰＴＳの値に従って出力したピクチャを保持するプレーンメモリである。
【００７９】
次に２Ｄ互換ビデオデコーダ２８２１と拡張マルチビュービデオデコーダ２８２２とについて説明する。
【００８０】
２Ｄ互換ビデオデコーダ２８２１は、２Ｄ映像の圧縮符号化方式であるＭＰＥＧ−２形式のデコーダと基本的には同じ復号機能を有し、拡張マルチビュービデオデコーダ２８２２は、ビュー間参照を実現する３Ｄ映像の圧縮符号化方式であるＭＰＥＧ−４  ＭＶＣ形式のデコーダと基本的には同じ復号機能を有する。ここでは、ＭＰＥＧ−２形式の圧縮符号化方式の一般的なデコーダをビデオデコーダ２９０１、及びＭＰＥＧ−４  ＭＶＣ形式の圧縮符号化方式の一般的なデコーダをマルチビュービデオデコーダ２９０２とする。
【００８１】
まず、ビデオデコーダ２９０１及びマルチビュービデオデコーダ２９０２について図２９を用いて説明する。その後で、２Ｄ互換ビデオデコーダ２８２１とビデオデコーダ２９０１との異なる部分、及び拡張マルチビュービデオデコーダ２８２２とマルチビュービデオデコーダ２９０２との異なる部分を重点的に説明する。
【００８２】
図２９に示すように、ビデオデコーダ２９０１は、ＴＢ（ＴｒａｎｓｐｏｒｔＳｔｒｅａｍＢｕｆｆｅｒ）（１）２８０２、ＭＢ（Ｍｕｌｔｉｐｌｅｘｉｎｇ  Ｂｕｆｆｅｒ）（１）２８０３、ＥＢ（ＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍＢｕｆｆｅｒ）（１）２８０４、Ｄ１（２Ｄ互換ビデオ圧縮映像デコーダ）２８０５、及びＯ（Ｒｅ−ｏｒｄｅｒｉｎｇ  Ｂｕｆｆｅｒ）２８０６を含む構成である。
【００８３】
ＴＢ（１）２８０２は、ビデオストリームを含むＴＳパケットがＰＩＤフィルタ２８０１から出力された際、ＴＳパケットのまま一旦蓄積されるバッファである。
【００８４】
ＭＢ（１）２８０３は、ＴＢ（１）２８０２からＥＢ（１）２８０４にビデオストリームを出力するにあたって、一旦ＰＥＳパケットを蓄積しておくためのバッファである。ＴＢ（１）２８０２からＭＢ（１）２８０３にデータが転送される際に、ＴＳパケットのＴＳヘッダ及びアダプテーションフィールドは取り除かれる。
【００８５】
ＥＢ（１）２８０４は、圧縮符号化状態にあるピクチャ（Ｉピクチャ、Ｂピクチャ、Ｐピクチャ）が格納されるバッファである。ＭＢ（１）２８０３からＥＢ（１）２８０４にデータが転送される際にＰＥＳヘッダが取り除かれる。
【００８６】
Ｄ１（２８０５）は、ビデオエレメンタリストリームの個々のビデオアクセスユニットを所定のＤＴＳの時刻で復号することによりフレーム画像のピクチャを作成する。
【００８７】
Ｄ１（２８０５）で復号されたピクチャはプレーン２８０８もしくはＯ２８０６に出力される。ＰピクチャやＩピクチャのように、ＤＴＳとＰＴＳの値が異なる場合には、Ｏ２８０６に出力され、ＢピクチャのようにＤＴＳとＰＴＳの値が同じ場合には、そのままプレーン２８０８に出力される。
【００８８】
Ｏ２８０６は、復号したピクチャのＤＴＳとＰＴＳとの値が異なる場合、すなわち、ピクチャの復号順と表示順が異なる場合にリオーダリングを行うためのバッファである。Ｄ１（２８０５）は、Ｏ２８０６に格納されるピクチャのデータを参照して、復号処理を行う。
【００８９】
スイッチ２８０７は、復号されたピクチャをプレーン２８０８に出力する際に、Ｏ２８０６にバッファリングされた画像を出力するかＤ１（２８０５）からの出力を直接出力するかの切り替えを行う。
【００９０】
次に、マルチビュービデオデコーダ２９０２について説明する。
【００９１】
図２９に示すように、マルチビュービデオデコーダ２９０２は、ＴＢ（２）２８０９、ＭＢ（２）２８１０、ＥＢ（２）２８１１、ＴＢ（３）２８１２、ＭＢ（３）２８１３、ＥＢ（３）２８１４、デコードスイッチ２８１５、Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６、Ｄ２（マルチビュービデオ圧縮映像デコーダ）２８１７、ＤＰＢ（Ｄｅｃｏｄｅｄ  Ｐｉｃｔｕｒｅ  Ｂｕｆｆｅｒ）２８１８、及び出力プレーンスイッチ２８１９とを含む構成である。
【００９２】
ＴＢ（２）２８０９、ＭＢ（２）２８１０、及びＥＢ（２）２８１１は、それぞれＴＢ（１）２８０２、ＭＢ（１）２８０３、及びＥＢ（１）２８０４と同じ機能を持つが、バッファリングするデータがベースビュービデオストリームである点が異なる。
【００９３】
ＴＢ（３）２８１２、ＭＢ（３）２８１３、及びＥＢ（３）２８１４は、それぞれＴＢ（１）２８０２、ＭＢ（１）２８０３、及びＥＢ（１）２８０４と同じ機能を持つが、バッファリングするデータがディペンデントビュービデオストリームである点が異なる。
【００９４】
スイッチ２８１５は、ＥＢ（２）２８１１とＥＢ（３）２８１４とからＤＴＳの値に従って、そのＤＴＳが付与されているビデオアクセスユニットのデータを取り出しの、３Ｄビデオアクセスユニットを構成して、Ｄ２（２８１７）に転送する。
【００９５】
Ｄ２（２８１７）は、スイッチ２８１５を介して転送される３Ｄビデオアクセスユニットに対する復号処理を行い、フレーム画像のピクチャを作成する。
【００９６】
Ｄ２（２８１７）により復号されたベースビュービデオの復号されたピクチャは、Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６に一旦格納される。Ｄ２（２８１７）は、ディペンデントビュービデオストリームのピクチャを、Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６に格納されるＰＴＳが同じ値を持つベースビュービデオストリームの復号ピクチャを参照して、復号処理を行う。
【００９７】
マルチビュービデオデコーダ２９０２は、ビュー間参照を行うためのピクチャを指定する参照ピクチャリストを、ベースビュービデオストリームのピクチャとディペンデントビュービデオストリームのピクチャのピクチャタイプやｓｙｎｔａｘ要素に基づいて作成する。
【００９８】
Ｄ２（２８１７）は、Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６に格納されるベースビューの復号ピクチャと、ディペンデントビューの復号ピクチャをＤＰＢ２８１８に転送し、ＰＴＳの値に従って、出力プレーンスイッチ２８１９を介して出力する。
【００９９】
ＤＰＢ２８１８は、復号されたピクチャを一時的に保持しておくバッファである。Ｄ２（２８１７）が、ピクチャ間予測符号化モードを用いてＰピクチャやＢピクチャなどのビデオアクセスユニットを復号する際に、既に復号されたピクチャを参照するために利用する。
【０１００】
出力プレーンスイッチ２８１９は、復号されたピクチャを、適切なプレーンへ出力する処理を行う。例えば、ベースビュービデオストリームが、左目用画像を示し、ディペンデントビュービデオストリームが、右目用画像を示す場合には、ベースビュービデオストリームのピクチャを左目用画像のプレーンに、ディペンデントビュービデオストリームのピクチャを右目用画像のプレーンに出力する。
【０１０１】
次に、２Ｄ互換ビデオデコーダ２８２１と拡張マルチビュービデオデコーダ２８２２について説明する。
【０１０２】
２Ｄ互換ビデオデコーダ２８２１は、ビデオデコーダ２９０１と基本的な構造は同じであるため、機能の共通部分については説明を省略して、異なる部分を説明する。
【０１０３】
図２８で示す２Ｄ互換ビデオデコーダ２８２１はＤ１（２８０５）で復号したピクチャをＯ２８０６やスイッチ２８０７に転送するだけでなく、ＤＴＳの値に基づいて、拡張マルチビュービデオデコーダ２８２２のＩｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６にも転送する。
【０１０４】
拡張マルチビュービデオデコーダ２８２２は、マルチビュービデオデコーダ２９０２と基本的な構造は同じであるため、機能の共通部分については説明を省略して、異なる部分を説明する。
【０１０５】
拡張マルチビュービデオデコーダ２８２２は、２Ｄ互換ビデオデコーダ２８２１から、ＤＴＳの値に従って転送されるピクチャを、Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６内で、先に復号されているベースビュービデオストリームのＰＴＳ及びＤＴＳが同じ値を持つ復号ピクチャが格納される領域に上書きして格納する。このため、拡張マルチビューデコーダ２８２２は、ディペンデントビュービデオストリームのピクチャを復号する際に、２Ｄ互換ビデオストリームの復号ピクチャを、あたかもベースビュービデオストリームの復号ピクチャであるとして参照することができる。Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６上のアドレス管理は、従来のベースビュービデオストリームの復号ピクチャの管理と変更する必要はない。
【０１０６】
また、拡張マルチビュービデオデコーダ２８２２は、ＤＰＢ２８１８に格納された映像の内、第２プレーン２８２０への出力は、ディペンデントビュービデオストリームのピクチャのみをＰＴＳの値に従って出力するように出力プレーンスイッチ２８１９を制御する。ベースビュービデオストリームのピクチャは、表示には関係ないのでプレーンに出力しない。
【０１０７】
このようにして、２Ｄ互換ビデオデコーダ２８２１からは、２Ｄ互換ビデオストリームのピクチャがＰＴＳの値に従って第１プレーン２８０８に出力され、拡張マルチビュービデオデコーダ２８２２からは、マルチビュービデオストリームのディペンデントビュービデオストリームのピクチャがＰＴＳの値に従って第２プレーン２８２０に出力される。
【０１０８】
このように構成することによって、異なる映像圧縮符号化方式である２Ｄ互換ビデオストリームのピクチャを参照して、マルチビュービデオストリームのディペンデントビュービデオストリームを復号することができる。
【０１０９】
＜１−３−２．動作＞
図３０は再生装置２８２３の３Ｄ映像における復号処理と出力処理のフローを示す図である。
【０１１０】
再生装置２８２３は、ＥＢ（１）２８０４にピクチャがあるかどうかを判定する（ステップＳ３００１）。ピクチャがなければ（ステップＳ３００１：Ｎｏ）、ビデオストリームの転送が終了したと判断して、処理を終了する。
【０１１１】
ＥＢ（１）にピクチャがある場合（ステップＳ３００２：Ｙｅｓ）、再生装置２８２３は、拡張マルチビュービデオデコーダ２８２２を利用して、ベースビュービデオストリームの復号処理を行う（ステップＳ３００２）。具体的には、ＤＴＳの値に従って、該当するＤＴＳに付与されたピクチャをＥＢ（２）より取り出し、復号処理を行い、Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６にデータを格納する。Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６内のピクチャの管理は、従来のＭＰＥＧ−４  ＭＶＣ形式における管理と同じであるので詳細は省略するが、参照ピクチャリストを作るための管理情報としてＰＴＳ及びＰＯＣと復号ピクチャの参照先を示すＩｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６のデータアドレスとを関連付けるテーブル情報を内部に持って管理する。
【０１１２】
次に、再生装置２８２３は、２Ｄ互換ビデオデコーダ２８２１を利用して、２Ｄ互換ビデオストリームの復号処理を行う（ステップＳ３００３）。具体的には、ＤＴＳの値に従って、該当するＤＴＳに付与されたピクチャをＥＢ（１）より取り出し、復号処理を行う。このとき、Ｏ２８０６やスイッチ２８０７に復号したピクチャを転送する。さらに、Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６にも復号したピクチャを転送する。
【０１１３】
拡張マルチビュービデオデコーダは、転送されたピクチャを、Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６にある同じ値のＤＴＳ及びＰＴＳが付与されているベースビューピクチャに上書きする。
【０１１４】
具体的な上書き処理について図３１を用いて説明する。
【０１１５】
図３１上段のように、Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６のピクチャの管理は、例えばＰＴＳとＩｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６のメモリアドレスで管理されているとする。図３１上段は、ＰＴＳ＝１００におけるベースビュービデオストリームのピクチャが復号された直後の様子を示しており、ＰＴＳ＝１００のベースビューの復号ピクチャは、アドレスＢから始まるメモリ領域に格納されていることを示す。
【０１１６】
ここで、ステップＳ３００３の処理が行われると、図３１下段のようになり、ＰＴＳ＝１００のベースビュービデオピクチャが格納されるメモリ領域のアドレスＢに対して、ＰＴＳが同じ値の２Ｄ互換ビデオストリームの復号ピクチャが上書きされる。このように、バッファ内のピクチャ管理を行うための管理情報（例えば、ＰＴＳ）は変更する必要なく、ピクチャのデータのみを上書きする。これにより、Ｄ２（２８１７）は、従来のＭＰＥＧ−４  ＭＶＣ形式のディペンデントビュービデオストリームの復号処理と同じ処理で、２Ｄ互換ビデオストリームを復号して得たピクチャを参照しながら復号することができる。
【０１１７】
次に、拡張マルチビュービデオデコーダ２８２２は、ディペンデントビュービデオストリームの復号処理を行う（ステップＳ３００４）。具体的には、拡張マルチビュービデオデコーダ２８２２は、ＤＴＳの値に従って、該当するＤＴＳに付与されたピクチャをＥＢ（３）より取り出し、ディペンデントビュービデオストリームのピクチャをＩｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６に格納されるピクチャを参照しながら復号処理を行う。
【０１１８】
このとき参照するピクチャは、ベースビュービデオストリームのピクチャではなく、ステップＳ３００３にて上書きされた２Ｄ互換ビデオストリームのピクチャである。
【０１１９】
再生装置２８２３は、２Ｄ互換ビデオストリームの復号ピクチャをＰＴＳの値に従って、第１プレーン２８０８に出力し、ディペンデントビュービデオストリームの復号ピクチャをＰＴＳの値に従って、第２プレーン２８２０に出力する（ステップＳ３００５）
再生装置２８２３のＤ１（２８０５）で行う復号処理は、既存のＭＰＥＧ−２形式のビデオストリームの復号処理と同じなので、既存のＭＰＥＧ−２形式のビデオの再生装置のＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）やソフトウェアを利用することができる。また、Ｄ２（２８１７）で行うＭＰＥＧ−４  ＭＶＣ形式の復号処理についても、既存のＭＰＥＧ−４  ＭＶＣ形式の処理と同じであるので、既存のＭＰＥＧ−４  ＭＶＣ形式のビデオの再生装置のＬＳＩやソフトウェアを利用できる。
＜再生装置２８２３の使用態様の一例＞
図５を用いて、データ作成装置２８２３で作成したビデオストリームの３Ｄ映像を再生できる３Ｄデジタルテレビ１００と、３Ｄ映像の再生をサポートしない従来の２Ｄ映像のみを再生できる２Ｄデジタルテレビ３００を例に挙げて説明する。
【０１２０】
図５（ａ）に示すように、ユーザは、３Ｄデジタルテレビ１００と３Ｄ眼鏡２００を用いて３Ｄ映像を視聴する。
【０１２１】
３Ｄデジタルテレビ１００は、２Ｄ映像及び３Ｄ映像を表示することができるものであり、受信した放送波に含まれるストリームを再生することで映像を表示する。具体的には、ＭＰＥＧ−２形式で圧縮符号化された２Ｄ互換ビデオストリームとＭＰＥＧ−４  ＭＶＣ形式に準拠して圧縮符号化されたベースビュービデオストリームとディペンデントビュービデオストリームを再生する。
【０１２２】
３Ｄデジタルテレビ１００は、２Ｄ互換ビデオストリームを復号して得た左目用画像とディペンデントビュービデオストリームを復号して得た右目用画像とを交互に表示する。
【０１２３】
ユーザは、このようにして再生された映像を、３Ｄ眼鏡２００を着用して眺めることで立体映像として視聴することができる。
【０１２４】
図５（ｂ）は、３Ｄ眼鏡２００の左目用画像の表示時を示す。
【０１２５】
画面上に左目用の画像が表示されている瞬間において、３Ｄ眼鏡２００は、左目に対応する液晶シャッターを透光にし、右目に対応する液晶シャッターは遮光する。
【０１２６】
同図（ｃ）は、右目用画像の表示時を示す。
【０１２７】
画面上に右目用画像が表示されている瞬間において、先ほどと逆に右目に対応する液晶シャッターを透光にし、左目に対応する液晶シャッターを遮光する。
【０１２８】
図５（ｄ）の２Ｄデジタルテレビ３００は、２Ｄ映像の再生に対応し、データ作成装置２６０１で作成したトランスポートストリームに含まれるビデオストリームのうち２Ｄ互換ビデオストリームを復号して得られる２Ｄ映像を再生することができる。
＜２．変形例＞
以上、本発明に係るデータ作成装置及び再生装置の実施の形態を説明したが、例示したデータ作成装置及び再生装置を以下のように変形することも可能であり、本発明が上述の実施の形態で示した通りのデータ作成装置及び再生装置に限らないことは勿論である。
【０１２９】
（１）本実施の形態の再生装置では、ステップＳ３００３にて、Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６のベースビュービデオストリームの復号ピクチャに対して、ＰＴＳの値が同じ２Ｄ互換ビデオストリームの復号ピクチャを上書きするとしたが、図３２下段のように、上書き処理を行わずにアドレス参照先を変更するようにしてもよい。
【０１３０】
このように処理を行うことによって、上書き処理を省略できるので負荷を軽減できる。
【０１３１】
（２）本実施の形態の再生装置では、ベースビューの復号ピクチャをＤＰＢ２８１８に格納するとしたが、ベースビュービデオストリームの復号ピクチャは参照されないため、ＤＰＢ２８１８に格納しないようにしてもよい。このようにすれば、ＤＰＢ２８１８からベースビュービデオストリームのピクチャを格納する分のメモリ量を削減することが可能となる。
【０１３２】
（３）本実施の形態では、ベースビュービデオストリームをトランスポートストリームに含めて生成し、復号処理において、ベースビュービデオストリームのピクチャの復号処理を行うとしたが、ベースビュービデオストリームのピクチャの復号処理は省略してもよい。
【０１３３】
拡張マルチビュービデオデコーダ２８２２は、ベースビュービデオストリームのピクチャの復号をせずに、ヘッダ情報の解析（例えば、ＰＯＣの取得、ピクチャタイプ、ＶｉｅｗＩＤ、参照有り無しの情報取得など）とＩｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６に１枚分のピクチャが格納できる領域の確保を行う。拡張マルチビュービデオデコーダ２８２２は、確保した領域に、ヘッダ情報解析で得たＰＴＳやＤＴＳと同じ値を持つ２Ｄ互換ビデオデコーダから出力される復号ピクチャを格納する。
【０１３４】
このようにすれば、ピクチャの復号処理をスキップできるので、再生処理全体での処理負荷を軽減できる。
【０１３５】
また、ディペンデントビュービデオストリームのピクチャから、２Ｄ互換ビデオストリームのピクチャへのビュー間参照を実現させるため必要な情報、すなわち、拡張マルチビュービデオデコーダがＩｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６を管理できるようにするための情報を含めた２Ｄ互換ビデオストリームを生成するようにしてもよい。
【０１３６】
具体的には、ベースビュービデオストリームのｓｙｎｔａｘ要素の全てまたは一部を２Ｄ互換ビデオストリームの補足データに格納するように構成する。すなわち、Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒバッファ２８１６のピクチャ管理を行うための情報（ＭＰＥＧ−４  ＭＶＣ形式の表示順を示すＰＯＣ、ピクチャタイプを示すｓｌｉｃｅ＿ｔｙｐｅ、ピクチャの参照・非参照を示すｎａｌ＿ｒｅｆ＿ｉｄｃ、ベース参照ピクチャリストを作成するための情報であるｒｅｆ＿ｐｉｃ＿ｌｉｓｔ＿ｍｖｃ＿ｍｏｄｉｆｉｃａｔｉｏｎ、ベースビュービデオストリームのＶｉｅｗＩＤ、ＭＭＣＯコマンド）などを２Ｄ互換ビデオストリームの各ピクチャの補足データに含めるようにする。
【０１３７】
このように２Ｄ互換ビデオストリームのデータをディペンデントビュービデオストリームから直接参照できるように構成すれば、ベースビュービデオストリームはトランスポートストリーム上に多重化されていなくてもよい。
【０１３８】
この場合、図３で示すように、ＭＰＥＧ−４  ＭＶＣ形式のディペンデントビュービデオストリームのピクチャはＭＰＥＧ−２形式のビデオストリームのピクチャを直接参照することになる。
【０１３９】
ただし、ＭＰＥＧ−４  ＭＶＣ形式のベースビュービデオストリームをトランスポートストリーム上に多重化した場合、データ形式は従来とほぼ同じなので、従来のＭＰＥＧ−４  ＭＶＣ形式に対応した符号化装置や再生装置と親和性がよく、少ない改良で本実施の形態のビデオストリームデータに対応した符号化装置や再生装置が実現できる。
【０１４０】
（４）本実施の形態の再生装置では、Ｏ２８０６とＤＰＢ２８１８のメモリは別領域として扱っていたが、図３３に示すように、メモリ空間を共用化してもよい。例えば、図３３の例では、ＰＴＳ＝１００とＰＴＳ＝２００の２Ｄ互換ビデオのピクチャは、ステップＳ３００３によって、Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６のＰＴＳが同じ値のベースビューピクチャに上書きされることになる。このとき、ＤＰＢ２８１８にデータを格納する際にＤＰＢ２８１８の管理テーブルの参照先ピクチャのアドレスの設定だけで行い、上書き処理を省略することができる。具体的には、図３３の例では、ＤＰＢ２８１８のピクチャ管理テーブルにおいては、ＰＴＳ＝１００，ＰＴＳ＝２００のベースビュー（Ｖｉｅｗ＿ＩＤが最小値）のピクチャのアドレスは、Ｏ２８０６の管理テーブルのＰＴＳ＝１００、ＰＴＳ＝２００に対応した.２Ｄ互換ビデオの復号ピクチャのアドレスをそれぞれ示すように設定する。
【０１４１】
このようにすれば、ピクチャを格納するためのメモリ量を削減することができる。
【０１４２】
（５）本実施の形態の再生装置では、Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６とＤＰＢ２８１８は別のバッファとして扱ったが、これを同じバッファとしてもよい。例えば、ＤＰＢ２８１８に統一される場合には、ＤＰＢ２８１８内の同一の値のＰＴＳと、同一のＶｉｅｗＩＤとを持つベースビュービデオストリームの復号ピクチャを２Ｄ互換ビデオストリームの復号ピクチャに置き換えればよい。
【０１４３】
（６）本実施の形態における圧縮符号化処理において、２Ｄ互換ビデオストリームのピクチャと、同一表示時刻のベースビュービデオストリームのピクチャと、同一表示時刻のディペンデントビュービデオストリームのピクチャにおいて、ひとつでもＢピクチャ（Ｂｒピクチャを含む）があれば、同一表示時刻の２Ｄ互換ビデオストリームのピクチャと、ベースビュービデオストストリームのピクチャと、ディペンデントビュービデオストリームのピクチャとのピクチャタイプをＢピクチャ（Ｂｒピクチャを含む）にしなければならないという制約を課してもよい。このように構成することによって、ＩピクチャとＰピクチャのみを選択して特殊再生（例えば、飛び込み再生）を行う再生装置において、その特殊再生処理が容易になる。
図２４は、特殊再生について説明するための図である。図２４上段は、上記の制約が課されていない場合について示している。この場合、表示順で３番目のピクチャにおいて、２Ｄ互換ビデオストリームとベースビュービデオストリームは、Ｐピクチャ（Ｐ３）になっているが、ディペンデントビュービデオストリームのピクチャはＢピクチャ（Ｂ３）となっている。
【０１４４】
これにより、ディペンデントビュービデオストリームの復号を行うために、ディペンデントビュービデオストリームのピクチャＢｒ２を復号する必要があり、また、ベースビュービデオストリームのＢｒ２も復号する必要がある。一方で、図２４下段は、上記制約を課した場合について示している。
【０１４５】
この場合には、表示順で３番目のピクチャにおいて、２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、ディペンデントビュービデオストリームのピクチャはすべてＰピクチャとなり、すべてのビデオストリームにおいて、ＩピクチャとＰピクチャのみを復号すればよいため、ＩピクチャとＰピクチャを選択した特殊再生処理が容易になる。
【０１４６】
（７）本実施の形態のデータ作成装置では、トランスポートストリームの多重化において、各ビデオストリームのＰＩＤとして別々のＰＩＤを設定するとしたが、ベースビュービデオストリームとディペンデントビュービデオストリームとに、同一のＰＩＤを割り当てるようにしてもよい。
【０１４７】
このように構成することで、マルチビュービデオストリームの圧縮符号化方式の仕様に合わせて各ビデオストリームのアクセスユニットをマージして転送することができる。
【０１４８】
この場合、ベースビュービデオストリームとディペンデントビデオストリームのマージは圧縮符号化方式の仕様に合わせて行い、再生装置は図４５のような構成で、拡張マルチビュービデオデコーダのデータ転送ラインがひとつになるように構成すればよい。
【０１４９】
また、ベースビュービデオストリームとディペンデントビュービデオストリームとにおいて、同時刻のピクチャを格納した各アクセスユニットのヘッダ（例えば、シーケンスヘッダ、ピクチャヘッダ）情報を共有してもよい。すなわち、ヘッダ情報をベースビュービデオストリームのみに設けて、ディペンデントビュービデオストリームを復号する際には、復号に必要なヘッダ情報をベースビュービデオストリームのヘッダ情報を参照しながら復号するようにしてもよい。従って、ディペンデントビュービデオストリームには、復号に必要なヘッダ情報の付加を省略できる。
【０１５０】
（８）本実施の形態のデータ作成装置において、図２３にて説明したように、同一表示時刻の２Ｄ互換ビデオストリームとディペンデントビュービデオストリームのピクチャのＤＴＳの値はそれぞれ等しく、さらに、ディペンデントビュービデオストリームのピクチャと、ベースビュービデオストリームとのピクチャのＤＴＳもそれぞれ同じ値とした。しかし、同一表示時刻のそれぞれのビデオストリームにおけるピクチャのＤＴＳの値は、同じでなくてもよい。例えば、図３５に示すように２Ｄ互換ビデオストリームのＤＴＳの値を、ベースビュー・ディペンデントビュービデオストリームよりも先（例えば、１フレーム分前）に復号される値に設定してもよい。
【０１５１】
このように構成することで、２Ｄ互換ビデオストリームの復号を前もって行うことができるため、Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒへの上書き処理やディペンデントビュービデオストリームのピクチャ復号処理を、余裕を持って行うことができる。
【０１５２】
なお、図３５では、同一表示時刻の視差画像を格納する２Ｄ互換ビデオストリームのピクチャのＰＴＳについては、ディペンデントビューのピクチャのＰＴＳと同じとしているが、２Ｄ互換ビデオストリームの復号処理を前もって行うために、同一表示時刻の２Ｄ互換ビデオストリームのピクチャのＰＴＳを、ベースビュー・ディペンデントビュービデオストリームよりも先（例えば、１フレーム分前）になるように設定している。
【０１５３】
このように２Ｄ互換ビデオストリームとマルチビュービデオストリーム間でのＰＴＳ値を変える場合、例えば、２Ｄ互換ビデオストリームのピクチャのＰＴＳを、ディペンデントビュービデオストリームのピクチャのＰＴＳよりも１フレーム前にする場合には、Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒのベースビュービデオストリームのピクチャの入れ換え時に、ベースビュービデオストリームのピクチャに対して、１フレーム前を示す値のＰＴＳの２Ｄ互換ビデオストリームのピクチャで入れ換えるようにする。
【０１５４】
なお、実データに付与されるＰＴＳやＤＴＳの設定は、図２３に示す時刻設定であっても、２Ｄ互換ビデオストリームのピクチャのＤＴＳやＰＴＳが先になるように、内部的に値を修正して復号処理を行ってもよい。
【０１５５】
（９）本実施の形態の再生装置では、ステップＳ３００５にて、２Ｄ互換ビデオデコーダ２８２１が、２Ｄ互換ビデオストリームの復号ピクチャを、ＰＴＳの値に従って第１プレーン２８０８に出力するとしたが、図３４のように、拡張マルチビュービデオデコーダ２８２２が、出力プレーンスイッチ２８１９を使って両方の映像を出力するように構成してもよい。
【０１５６】
このように構成することで、既存のマルチビュービデオストリームを使って３Ｄ映像を再生するプレーン出力の仕組みをそのまま利用することができる。
【０１５７】
（１０）本実施の形態において、多重化方式をトランスポートストリームとしたが、これに限らない。
【０１５８】
例えば、多重化方式としてＭＰ４のシステムフォーマットを用いることができる。図３４の入力をＭＰ４で多重化されたファイルとして、２Ｄ互換ビデオストリーム、ベースビュービデオストリーム、ディペンデントビュービデオストリームにそれぞれ分離して復号する。そして、Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６のベースビュービデオストリームのピクチャを２Ｄ互換ビデオストリームのピクチャに上書きしたピクチャを参照しながらディペンデントビュービデオストリームのピクチャを復号する。ただし、ＭＰ４システムフォーマットの場合にはＰＴＳがないので、ＭＰ４システムフォーマットのヘッダ情報（ｓｔｔｓ， ｓｔｓｚなど）を元に、各アクセスユニットにおける時刻情報を特定する。
【０１５９】
（１１）本実施の形態におけるベースビュービデオストリームやディペンデントビュービデオストリームにおいては、ディペンデントビュービデオストリームの参照先のピクチャを、２Ｄ互換ビデオストリームの復号ピクチャとしており、通常のマルチビュービデオストリームの構成と異なるため、ストリームタイプやＰＥＳパケットヘッダに付与されるｓｔｒｅａｍ＿ｉｄを、従来のマルチビュービデオストリームの場合の値と異なるように設定してもよい。
【０１６０】
このように構成することで、再生装置は、ストリームタイプやｓｔｒｅａｍ＿ｉｄを参照することにより、本実施の形態における３Ｄ映像の再生方式であると判断して、再生方法を変更することができる。
【０１６１】
（１２）本実施の形態では、図３８で説明したディスクリプタに格納される再生方式について説明したが、この再生方式の切り替え方法については、図４０のような構成にして実現してもよい。
【０１６２】
図４０の再生装置２８２３ｂは図２８で説明した再生装置２８２３と基本的な構造は変わらないが、コーデック間参照スイッチ２８２４、プレーンセレクタ２８２５、第３プレーン２８２６が追加されている。
【０１６３】
コーデック間参照スイッチ２８２４は、図４０で示すようにＯＮの場合には、２Ｄ互換ビデオデコーダから拡張マルチビュービデオデコーダ内のＩｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒに対してステップＳ３００３で説明したデータ転送を行い、ＯＦＦの場合には、データ転送を行わない。
【０１６４】
プレーンセレクタ２８２５は、２Ｄ互換ビデオデコーダからピクチャタが出力される第１プレーン２８０８、拡張マルチビュービデオデコーダのベースビュービデオストリームのピクチャが出力される第２プレーン２８２０、拡張マルチビュービデオデコーダのディペンデントビュービデオストリームのピクチャが出力される第３プレーン２８２６に対して、どのプレーンを２Ｄ映像として出力するのか、３Ｄ映像の左目用画像として出力するのか、または３Ｄ映像の右目用画像として出力するのかを選択する。
【０１６５】
再生方式に従って、コーデック間参照スイッチ２８２４とプレーンセレクタ２８２５での出力を切り替えることで、再生装置２８２３ｂは再生モードを変更する。
【０１６６】
図３８の再生方式の例に対して、具体的な再生方法の切り替えについて図４１を用いて説明する。
【０１６７】
コーデック間参照スイッチ２８２４のＯＮ、ＯＦＦの切り替えとプレーンセレクタ２８２５でのプレーンの選択例を図４１下段に記している。
【０１６８】
再生装置２８２３ｂは、再生方式の値が「０」の場合、コーデック間参照スイッチ２８２４をＯＦＦにする。そして、プレーンセレクタ２８２５は、２Ｄ映像として第１プレーン２８０８を選択する。
【０１６９】
再生装置２８２３ｂは、再生方式の値が「１」の場合、コーデック間参照スイッチ２８２４をＯＮにする。そして、プレーンセレクタ２８２５は、左目用画像として第１プレーン２８０８又は第２プレーン２８２０を選択し、右目用画像として第３プレーン２８２６を選択する。
【０１７０】
再生装置２８２３ｂは、再生方式の値が「２」の場合、コーデック間参照スイッチ２８２４をＯＦＦにする。そして、プレーンセレクタ２８２５は、左目用画像として第２プレーン２８２０を選択し、右目用画像として第３プレーン２８２６を選択する。
【０１７１】
再生装置２８２３ｂは、再生方式の値が「３」の場合、コーデック間参照スイッチ２８２４をＯＦＦにする。そして、プレーンセレクタ２８２５は、左目用画像として第１プレーン２８０８を選択し、右目用画像として第１プレーン２８０８を選択する。
【０１７２】
（１３）本実施の形態において、再生方式が、２Ｄ互換ビデオストリームとディペンデントビュービデオストリームによる３Ｄ映像再生から２Ｄ互換ビデオストリームの２Ｄ映像再生に切り替わるようなトランスポートストリームを生成する場合には、復号処理の遅延を考慮して、図４２に示すように、再生方式が変わる時点で、２Ｄ互換ビデオストリームと同じ映像をディペンデントビュービデオストリームに圧縮符号化しておくように構成してもよい。２Ｄ互換ストリームと同じ映像をディペンデントビュービデオストリームに圧縮符号化する区間を図４２上段に示す２Ｄ移行期間とする。この２Ｄ移行区間においては、どちらの方式で再生しても２Ｄ映像として再生されるため、ユーザにとってはスムーズな映像遷移となる。これは、２Ｄ映像再生から３Ｄ映像再生に切り替わる場合においても２Ｄ移行区間を設けてもよい。また、図３７のシグナリング情報を示す「再生方式」の値が「０」と、その他の値（「１」、「２」又は「３」）との間で切り替わるそれぞれの場合において、２Ｄ移行区間を設けるようにしてもよい。
【０１７３】
（１４）ＭＰＥＧ−２形式の圧縮符号化における各ピクチャに含まれる表示順を示すｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅの値に、同一時刻表示を示すディペンデントビュービデオストリームのピクチャのＰＯＣの値を設定してもよい。
【０１７４】
このようにすることで、ＰＴＳを使わずにビデオＥＳ内の値でＭＰＥＧ−２形式のビデオストリームの圧縮符号化及び復号処理ができる。
【０１７５】
または、２Ｄ互換ビデオストリームの各ピクチャのユーザデータに、同時刻表示を示すディペンデントビュービデオストリームのＰＯＣを含めてもよい。
【０１７６】
このようにすることで、ｔｅｍｐｏｒａｌ＿ｒｅｆｅｒｅｎｃｅの値を独自の値に設定することもできるため、圧縮符号化処理における設定の自由度が増える。
【０１７７】
（１５）本実施の形態において、図４３、図４４に示すように２Ｄ互換ビデオストリームの復号結果に対して、高画質フィルタ４３０１を適用するようにしてもよい。
【０１７８】
高画質フィルタ４３０１は、ＭＰＥＧ−４  ＡＶＣで規定されているデブロッキングフィルタのようなブロックノイズを軽減するようなものなどである。高画質フィルタ４３０１を適用するか否かを示すフラグを用意する。そして、例えばフラグがＯＮを示す場合に高画質フィルタ４３０を適用し、ＯＦＦの場合に適用しないとする。
【０１７９】
このフラグは、ＰＭＴのディスクリプタやストリームの補足データ等に含めることができる。
【０１８０】
再生装置は、このフラグがＯＮであれば、復号結果において、Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６に、データを転送する前にフィルタを適用する。
【０１８１】
このように構成することで、２Ｄ互換ビデオストリームに対する２Ｄ映像の高画質化を実現する。また、高画質化処理されたピクチャを参照しながらディペンデントビュービデオストリームの復号処理を行うことができるので、結果３Ｄ映像の高画質化も図れる。なお、高画質フィルタ４３０１は複数あって、用途に応じて、選択できるようにフラグではなく、そのフィルタのタイプを指定できるようにしてもよい。
【０１８２】
（１６）本実施の形態において、ディペンデントビュービデオストリームは１つのケースを説明したが、ディペンデントビュービデオストリームは複数あってもよい。
【０１８３】
この場合には、拡張マルチビュービデオストリームは、複数のディペンデントビュービデオストリームを処理できるように構成して、Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６における２Ｄ互換ビデオストリームのピクチャとの置き換え処理においては、ＰＴＳが同じ値を持つベースビューのピクチャに対して置き換えられるようにしてもよい。または、２Ｄ互換ビデオストリームで、置き換えるＶｉｅｗＩＤを指定できるようにして、常にベースビューのピクチャを置き換えるのではなく、複数ビューのピクチャの中から選択して置き換えられるようにしてもよい。
【０１８４】
（１７）本実施の形態において、２Ｄ互換ビデオストリームをＭＰＥＧ−２形式のビデオストリーム、マルチビュービデオストリーム（ベースビュービデオストリームとディペンデントビュービデオストリーム）をＭＰＥＧ−４  ＭＶＣ形式のビデオストリームとして説明したが、圧縮符号化方式の種類はこれに限らない。
【０１８５】
本実施の形態の再生装置及びデータ作成装置において、圧縮符号化方式の仕様に合わせて、構成を適宜変更してもよい。例えば、２Ｄ互換ビデオストリームをＭＰＥＧ−４  ＡＶＣとし、マルチビュービデオストリームが新規な圧縮符号化方式の場合、図３４で記した再生装置のＯ２８０６をＤＰＢに置き換え、Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ２８１６内のピクチャの管理は新規な圧縮符号化方式の構成に従って行えばよい。
【０１８６】
（１８）本実施の形態のビデオストリームを用いた３Ｄ映像を視聴する方法として、ユーザが液晶シャッターを備えた３Ｄ眼鏡を用いる方法を例示したが、３Ｄ映像の視聴方法はこれに限られない。
【０１８７】
例えば、ディスプレイに表示する画面中の縦方向に左目用のピクチャと右目用のピクチャを同時に交互に並べ、ディスプレイ表面にレンチキュラーレンズと呼ばれる蒲鉾上のレンズを通して、左目用のピクチャを構成する画素は左目だけに結像し、右目用のピクチャを構成する画素は右目だけに結像するようにすることで、左右の目に視差のあるピクチャを見せ、３Ｄ映像としてみせるようにしてもよい。また、レンチキュラーレンズの代わりに、同様の機能を持たせたデバイス、例えば液晶素子を用いてもよい。
【０１８８】
また、ディスプレイ側の左目用の画素には縦偏光のフィルタ、右目用の画素には横偏光のフィルタを設置し、視聴者は、左目用には縦偏光、右目用には横偏光のフィルタを設置した偏光メガネを用いた偏光方式と呼ばれる方式を用いてもよい。
【０１８９】
なお、視差画像を用いた立体視においては、右目用画像と左目用画像を用意する場合に、２Ｄ映像に対して画素単位で奥行き値が与えられたデプスマップを別途用意して、２Ｄ映像とデプスマップに基づいて左目用画像と右目用画像の視差画像を生成するようにしてもよい。
【０１９０】
図４は２Ｄ映像とデプスマップから左目用画像と右目用画像の視差画像を生成する例を模式的に示している。
【０１９１】
デプスマップは２Ｄ映像内のそれぞれの画素に対応した奥行き値をもっており、図４の例では、２Ｄ映像の円形の物体は、デプスマップでは円形の物体が近くにあることを示す情報（奥行き値がＨｉｇｈ）が割り当てられ、それ以外の領域は円形の物体より遠くにある（奥行き値がＬｏｗ）ことを示す情報が割り当てられている。この情報は、画素ごとのビット列で表してもよいし、画像イメージ（例えば「黒」を奥行きがＬｏｗであることを示し、「白」を奥行きがＨｉｇｈであることを示す画像イメージ）で表してもよい。視差画像は、デプスマップの奥行き値から、２Ｄ映像の視差量を調整することによって作成することができる。図４の例では、２Ｄ映像内の円形の物体の奥行き値がＨｉｇｈであるため、視差画像を作成するときには、円形の物体の画素の視差量を大きくする。一方、円形物体以外の領域は、奥行き値がＬｏｗであるため、円形の物体以外の画素の視差量を小さくして、左目用画像、右目用画像を作成する。この左目用画像と右目用画像を、継時分離方式等を使って表示すれば立体視が可能となる。
【０１９２】
（１９）上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩから構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ ）などを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１９３】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１９４】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）やＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１９５】
更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。
【０１９６】
（２０）上記のデータ作成装置及び再生装置は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、などから構成されるコンピュータシステムとしてもよい。前記ＲＡＭ又は前記ハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、各装置は、その機能を達成する。ここで、コンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１９７】
（２１）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０１９８】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ―ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなど、に記録したものとしてもよい。また、これらの記録媒体に記録されている前記コンピュータプログラム又は前記デジタル信号であるとしてもよい。
【０１９９】
また、本発明は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０２００】
（２２）上記実施の形態及び上記変形例をそれぞれ適宜組み合わせるとしてもよい。
【０２０１】
（２３）以下、更に本発明の一実施形態に係るデータ作成装置及び再生装置の構成及びその変形例と各効果について説明する。
【０２０２】
（ａ）本発明の一実施形態に係るデータ作成装置は、第１視点における経時的なビューを示す第１フレーム画像群と、第２視点における経時的なビューを示す第２フレーム画像群とを圧縮符号化するデータ作成装置であって、前記第１フレーム画像群を圧縮符号化することによりＭＰＥＧ−２形式のストリームを生成する第１符号化手段と、ＭＰＥＧ−４  ＭＶＣ形式に準拠し、ベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化手段と、前記第１、第２符号化手段により生成されたストリームを送出する送出手段とを備え、前記第２符号化手段は、前記ベースビュービデオストリームとして、前記第１フレーム画像群を圧縮符号化して得られるストリームとフレーム数が同一であって、総データ量を少なくした疑似データからなるストリームを生成し、
一方、前記ディペンデントビューストリームとして、前記ベースビュービデオストリームの対応するフレームと同時刻の前記ＭＰＥＧ−２形式のストリームのフレームを参照画像として前記第２フレーム画像群を構成する各フレームを圧縮符号化したストリームを生成する。
この構成のデータ作成装置は、異なる符号化方式で圧縮符号化されたビデオストリーム間でビュー間参照をすることができる。これにより、３Ｄ映像を構成する拡張ビデオストリームにおいて、ディペンデントビュービデオストリームを復号する際に、ベースビューストリームのピクチャを参照せず、２Ｄ互換ビデオストリームのビューを参照しながら拡張ビデオストリームを復号可能なビデオストリームを生成することができる。従って、従来の圧縮符号化方式と互換性を保ちながらデータ量を削減したビデオストリームを生成することができる。
【０２０３】
（ｂ）また、データ作成装置の前記第２符号化手段は、前記疑似データからなるストリームを、同一のフレーム画像から構成されるフレーム画像群を圧縮符号化して生成するとしてもよい。
【０２０４】
ＭＰＥＧ−２形式やＭＰＥＧ−４  ＭＶＣ形式における画像の圧縮符号化は、前後の画像に差がない画像では、圧縮符号化効率が非常に高いので、データ量を削減した圧縮符号化が可能となる。この構成のデータ作成装置は、経時的変化のない画像群を圧縮符号化したデータをダミーデータとして用いるので、ベースビュービデオストリームのデータ量を削減することができるビデオストリームを生成することができる。
【０２０５】
（ｃ）また、前記同一のフレーム画像は、単色画像のフレーム画像であるとしてもよい。
これにより、単色（例えば、輝度のない黒色）の画像を圧縮符号化するので、データ量を削減したビデオストリームを生成することができる。
【０２０６】
（ｄ）また、データ作成装置の前記第２符号化手段は、前記第１フレーム画像群を圧縮符号化して得られるストリームのビットレートより低いビットレートで、前記ベースビュービデオストリームを生成するとしてもよい。
【０２０７】
この構成のデータ作成装置は、ディペンデントビュービデオストリームを生成する際の圧縮符号化に用いるビットレートより低いビットレートをベースビュービデオストリーム生成の際の圧縮符号化に用いるので、ベースビュービデオストリームのデータ量を削減することができるビデオストリームを生成することができる。
【０２０８】
（ｅ）また、データ作成装置の第２符号化手段は、ディペンデントビュービデオストリームのフレームを構成するピクチャのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）を、前記ベースビュービデオストリームの対応するフレームと同時刻のＭＰＥＧ−２形式のストリームのフレームを構成するピクチャのＰＴＳと同じ値にして圧縮符号化するとしてもよい。
【０２０９】
この構成のデータ作成装置は、第１視点のフレーム画像と第２視点のフレーム画像のそれぞれ対応する画像の圧縮符号化されたピクチャのＰＴＳの設定値を同じにすることができる。これにより、異なる圧縮符号化方式において参照するピクチャの対応関係を容易に知ることができるので、異なる圧縮符号化方式で圧縮符号化されたビデオストリーム間のビュー間参照が容易となるビデオストリームを生成することができる。
【０２１０】
（ｆ）また、データ作成装置の前記第１符号化手段及び前記第２符号化手段は、前記第１フレーム画像群及び前記第２フレーム画像群の圧縮符号化を同一のアスペクト比で行い、生成する前記各ストリームに前記アスペクト比を示す属性情報を含めるとしてもよい。
【０２１１】
この構成のデータ作成装置は、異なる圧縮符号化方式で生成されたビデオストリームのアスペクト比を同じにすることができる。これにより、異なる圧縮符号化されたビデオストリーム間のビュー間参照による復号処理時に参照画像の変換処理が簡素化できるビデオストリームを生成することができる。
【０２１２】
（ｇ）また、データ作成装置の前記第２符号化手段は、ディペンデントビュービデオストリームのフレームを構成するピクチャのＤＴＳに、前記ベースビュービデオストリームの対応するフレームと同時刻のＭＰＥＧ−２形式のストリームのフレームを構成するピクチャのＤＴＳの値よりＮフレーム分（Ｎ≧１の整数値）後の時刻を示す値にして圧縮符号化するとしてもよい。
【０２１３】
この構成のデータ作成装置は、第１視点と第２視点との対応するフレーム画像を圧縮符号化する際の各ピクチャのＤＴＳの値として、第２フレームを圧縮符号化したピクチャのＤＴＳが、第１フレームを圧縮符号化したピクチャのＤＴＳよりＮフレーム分後の時刻を示すように設定することができる。これにより、ディペンデントビュービデオストリームを復号する際に、第１ストリームデータ内の参照ピクチャが予め復号されるので、Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒへの書き込み処理や、第２ストリームデータ内のピクチャの復号処理を、余裕をもって行うことができる。
【０２１４】
（ｈ）また、データ作成装置の前記第２符号化手段は、ベースビュービデオストリーム及びディペンデントビュービデオストリームにおけるＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）内のフレームの数が、前記フレームと同時刻のフレームを含む前記ＭＰＥＧ−２形式のストリームにおけるＧＯＰ内のフレームの数と同じ数にして圧縮符号化するとしてもよい。
【０２１５】
この構成のデータ作成装置は、第１ストリームデータと第２ストリームデータとのそれぞれ対応するフレーム画像数を収めた各ストリームデータのＧＯＰにおけるフレーム画像数を一致させることができる。これにより、第１視点と第２視点の同一表示時刻のピクチャのＧＯＰの先頭が一致するので飛び込み再生などの特殊再生時が容易に行えるビデオストリームを生成することができる。
【０２１６】
（ｉ）また、データ作成装置の前記第２符号化手段は、前記ＭＰＥＧ−２形式のストリームのフレームを構成するピクチャのピクチャタイプがＩピクチャである場合には、前記ＭＰＥＧ−２形式のフレームを構成するピクチャと同時刻のベースビュービデオストリームのフレームを構成するピクチャをＩピクチャとして圧縮符号化するとしてもよい。
【０２１７】
この構成のデータ作成装置は、第１ストリームデータ内のピクチャのＰＴＳと第２ストリームデータ内のピクチャのＰＴＳとが同じ値を持つピクチャをそれぞれＩピクチャとすることができる。従って、第１ストリーム及び第２ストリームは共に同じＩピクチャのＰＴＳの時刻から復号が可能なため、飛び込み再生などの特殊再生時の復号処理が簡素化できるビデオストリームを生成することができる。
【０２１８】
（ｊ）本発明の一実施形態に係る再生装置は、本発明の一実施形態に係るデータ作成装置で送出されたストリームを取得する取得手段と、前記取得手段により取得された前記ストリームに含まれるＭＰＥＧ−２形式のストリームを復号することにより前記第１フレーム画像群を得る第１復号手段と、前記取得手段により取得された前記ストリームに含まれるベースビュービデオストリームを復号し、かつ、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１復号手段により復号されたフレームを参照画像として、前記ストリームに含まれるディペンデントビュービデオストリームを復号することにより、前記第２フレーム画像群を得る第２復号手段と、前記第１、第２復号手段により得られた前記第１、第２フレーム画像群を再生する再生手段とを備える。
【０２１９】
この構成の再生装置は、ＭＰＥＧ−４  ＭＶＣ形式で圧縮符号化されたディペンデントビュービデオストリームを復号する際に、ベースビュービデオストリームを復号したフレーム画像群の代わりにＭＰＥＧ−２形式で圧縮符号化された第１ストリームデータを復号したフレーム画像群を参照して復号処理を行うことができる。従って、異なる圧縮符号化したビデオストリームデータを復号した画像群を参照しながら、ディペンデントビュービデオストリームを復号することができるので、従来の圧縮符号化方式とデータ互換性を保ちながら、ビデオストリーム全体としては、データ量を削減したビデオストリームの再生を行うことができる。
【０２２０】
（ｋ）また、前記再生装置の前記第２復号手段は、前記第１復号手段により復号されたフレームのうち、前記第２フレーム画像群のフレームを構成するピクチャのＰＴＳと同じ値のＰＴＳのピクチャで構成されるフレームを参照画像として、復号処理を行うとしてもよい。
【０２２１】
この構成の再生装置は、ディペンデントビュービデオストリームを復号する際に、ＭＰＥＧ−２形式で圧縮符号化された第１視点のビデオストリーム内のピクチャであり、ディペンデントビュービデオストリームの復号対象のピクチャのＰＴＳと同じ値を持つピクチャを復号化したフレーム画像を参照画像とする。従って、同一時刻表示の第１フレーム画像を参照して、第２視点のフレーム画像を再現することができる。
＜３．補足説明＞
＜映像圧縮技術の説明＞
＜２Ｄ映像圧縮技術＞
本実施の形態に係るデータ作成装置及び再生装置で使用する２Ｄ映像を圧縮符号化する規格であるＭＰＥＧ−２、及びＭＰＥＧ−４  ＡＶＣ（ＭＰＥＧ−４  ＭＶＣ形式のベースとなる圧縮符号化方式）の符号化方法について簡単に説明する。
【０２２２】
これらの圧縮符号化においては、動画像の空間方向及び時間方向の冗長性を利用してデータ量の圧縮符号化を行う。
【０２２３】
冗長性を利用して圧縮符号化する方法として、ピクチャ間予測符号化が用いられる。ピクチャ間予測符号化では、あるピクチャを符号化する際に、表示時間順で前方または後方にあるピクチャを参照ピクチャとする。そして、その参照ピクチャからの動き量を検出し、動き補償を行ったピクチャと符号化対照のピクチャとの差分を圧縮符号化する。
【０２２４】
図１はビデオストリームのピクチャ間の参照関係を示している。図１では、ピクチャＰ３はピクチャＩ０を参照して圧縮符号化され、ピクチャＢ１とピクチャＢ２はそれぞれピクチャＩ０とピクチャＰ３を参照して圧縮符号化されている。このように時間的な冗長性を利用することで、圧縮率の高い圧縮符号化を実現できる。
【０２２５】
＜３Ｄ映像圧縮技術＞
次に、視差画像を用いて３Ｄ映像としてディスプレイ等で再生する方法、マルチビュー符号化方式であるＭＰＥＧ−４  ＭＶＣ形式の圧縮符号化について簡単に説明する。
【０２２６】
視差画像を使った立体視の方式では、右目用画像（Ｒ画像）と、左目用画像（Ｌ画像）とを各々用意し、ユーザに対してそれぞれの目に対応した画像だけが、それぞれの目に映るように制御した表示を行うことで立体視を実現する。
【０２２７】
右目用画像で構成される動画像をレフトビュービデオといい、左目用画像で構成される動画像をライトビュービデオという。
【０２２８】
図１３は、立体視画像の表示の一例を示す図である。対象物たる恐竜の骨格の左目用画像と、対象物たる恐竜の骨格の右目用画像を表示した例を示している。３Ｄ眼鏡を用いて、右目及び左目の透光、遮光から繰り返されれば、ユーザの脳内では、目の残像反応により左右のシーンの重合せがなされ、顔の中央の延長線上に立体映像が存在すると認識することができる。
【０２２９】
レフトビュービデオとライトビュービデオを圧縮符号化する３Ｄの映像方式には、フレーム互換方式とマルチビュー符号化方式がある。
【０２３０】
フレーム互換方式は、レフトビュービデオとライトビュービデオの同時刻のビューを示す画像に対応する各ピクチャをそれぞれ間引きまたは縮小した上で一つのピクチャに合成して、圧縮符号化を行う方式である。一例として、図１４に示すような、Ｓｉｄｅ−ｂｙ−Ｓｉｄｅ方式がある。Ｓｉｄｅ−ｂｙ−Ｓｉｄｅ方式では、レフトビュービデオとライトビュービデオの同時刻のビューを示す画像に対応する各ピクチャをそれぞれ水平方向に１／２に圧縮した上で、左右に並べることで一つのピクチャに合成する。合成されたピクチャによる動画像を、２Ｄ映像の圧縮符号化方式（例えばＭＰＥＧ−２）によって圧縮符号化することによってビデオストリームを生成する。一方、再生時は、ビデオストリームを、ビデオストリーム生成と同じ圧縮符号化方式に基づいて復号する。復号された各ピクチャは、左右画像に分割されて、分割した画像それぞれを水平方向に２倍に伸長して、レフトビュービデオとライトビュービデオとのそれぞれ対応するピクチャを得る。得たレフトビュービデオのピクチャ（Ｌ画像）とライトビュービデオのピクチャ（Ｒ画像）を交互に表示することによって、図１３に示すような立体視画像を得ることができる。
【０２３１】
これに対してマルチビュー符号化方式は、レフトビュービデオとライトビュービデオのピクチャを１つのピクチャには合成せずに、それぞれ別々のピクチャのまま圧縮符号化する方式である。
【０２３２】
これに対してマルチビュー符号化方式は、レフトビュービデオとライトビュービデオのピクチャを１つのピクチャには合成せずに、それぞれ別々のピクチャのまま圧縮符号化する方式である。
【０２３３】
図２は、マルチビュー符号化方式であるＭＰＥＧ−４  ＭＶＣ形式による符号化方式を示す図である。
【０２３４】
ＭＰＥＧ−４  ＭＶＣ形式のビデオストリームは、従来のＭＰＥＧ−４  ＡＶＣ形式のビデオストリームを再生する再生装置において再生可能なベースビュービデオストリームと、ベースビュービデオストリームと同時に処理することで別視点の映像の再生を実現するディペンデントビュービデオストリームを含む構成である。
【０２３５】
ベースビュービデオストリームは、図２のベースビュービデオストリームに示すように、別視点の映像を参照せず同一視点の映像との冗長性のみを利用してピクチャ間予測符号化を用いて圧縮符号化される。
【０２３６】
一方、ディペンデントビュービデオストリームは、同一視点の映像の参照を利用したピクチャ間予測符号化に加えて、別視点の映像との冗長性を利用したピクチャ間予測符号化によって圧縮符号化される。
【０２３７】
ディペンデントビュービデオストリームのピクチャは、ベースビュービデオストリーム内の同時刻のビューを示すピクチャを参照して圧縮符号化される。
【０２３８】
図２の矢印は参照関係を示しており、ディペンデントビュービデオストリームの先頭のＰピクチャであるピクチャＰ０は、ベースビュービデオストリームのＩピクチャであるピクチャＩ０を参照する。ディペンデントビュービデオストリームのＢピクチャであるピクチャＢ１は、ベースビュービデオストリームのＢｒピクチャであるピクチャＢｒ１を参照する。ディペンデントビュービデオストリームの二つ目のＰピクチャであるピクチャＰ３は、ベースビュービデオストリームのＰピクチャであるピクチャＰ３を参照することを示す。
【０２３９】
ベースビュービデオストリームは、ディペンデントビュービデオストリームのピクチャを参照していないため、このビデオストリームだけで復号し、再生することができる。
【０２４０】
一方、ディペンデントビュービデオストリームは、ベースビュービデオストリームを参照しながら復号するため、このビデオストリーム単独では再生することはできない。ただし、ディペンデントビュービデオストリームは、同一時刻のビューを示す別視点のベースビューのピクチャを用いて、ピクチャ間予測符号化を行う。一般的に同一時刻の右目用画像と左目用画像とは類似性があり（相関性が大きい）、その差分を圧縮符号化するのでディペンデントビュービデオストリームはベースビュービデオストリームに比べてデータ量を大幅に削減できる。
【０２４１】
＜ストリームデータの説明＞
デジタルテレビの放送波等での伝送では、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームが使われている。
【０２４２】
ＭＰＥＧ−２トランスポートストリームとは、ビデオやオーディオなど様々なストリームを多重化して伝送するための規格である。ＩＳＯ／ＩＥＣ１３８１８−１及びＩＴＵ−Ｔ勧告Ｈ２２２．０において標準化されている。
【０２４３】
図６は、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームの構成を示す図である。
【０２４４】
本図に示すようにトランスポートストリーム５１３は、ビデオのＴＳ（Ｔａｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）パケット５０３、オーディオのＴＳパケット５０６、字幕ストリームのＴＳパケット５０９などを多重化して得られる。ビデオのＴＳパケット５０３は番組の主映像を、オーディオのＴＳパケット５０６は番組の主音声部分や副音声を、字幕ストリームのＴＳパケット５０９は番組の字幕情報を含む。
【０２４５】
ビデオフレーム列５０１は、ＭＰＥＧ−２、ＭＰＥＧ−４  ＡＶＣなどの映像の符号化方式を使って圧縮符号化される。オーディオのフレーム列５０４は、ドルビーＡＣ−３、ＭＰＥＧ−２  ＡＡＣ、ＭＰＥＧ−４  ＡＡＣ、ＨＥ−ＡＡＣなどの音声の符号化方式で圧縮符号化される。
【０２４６】
トランスポートストリームに含まれる各ストリームはＰＩＤと呼ばれるストリーム識別ＩＤによって識別される。このＰＩＤのパケットを抽出することで再生装置は、処理対象のストリームを抽出することができる。ＰＩＤとストリームの対応関係の情報は、以降で説明するＰＭＴパケットのディスクリプタに格納される。
【０２４７】
トランスポートストリームを生成するために、まず、複数のビデオフレームからなるビデオストリーム５０１、複数のオーディオフレームからなるオーディオストリーム５０４を、それぞれＰＥＳパケット列５０２及び５０５に変換する。次にＰＥＳパケット列５０２及び５０５を、それぞれＴＳパケット５０３及び５０６に変換する。同様に字幕ストリーム５０７のデータをそれぞれＰＥＳパケット列５０８に変換し、更にＴＳパケット５０９に変換する。ＭＰＥＧ−２トランスポートストリーム５１３はこれらのＴＳパケットを１本のストリームに多重化することで構成される。ＰＥＳパケット、ＴＳパケットについては後述する。
【０２４８】
＜ビデオストリームのデータ構成＞
次に、映像を上述の符号化方式で圧縮符号化して得られるビデオストリームのデータ構成について説明する。
【０２４９】
ビデオストリームは、図７に示すような階層構造のデータである。ビデオストリームは、複数のＧＯＰから構成されており、これを圧縮符号化処理の基本単位とすることで動画像の編集やランダムアクセスが可能となる。
【０２５０】
ＧＯＰは１つ以上のビデオアクセスユニットにより構成されている。ビデオアクセスユニットは、ピクチャの圧縮符号化データを格納する単位であり、フレーム構造の場合は１フレーム、フィールド構造の場合の１フィールドのデータが格納される。各ビデオアクセスユニットは、ＡＵ識別コード、シーケンスヘッダ、ピクチャヘッダ、補足データ、圧縮ピクチャデータ、パディングデータ、シーケンス終端コード、及びストリーム終端コードを含む構成である。これら各データはＭＰＥＧ−４  ＡＶＣの場合には、ＮＡＬユニットと呼ばれる単位で格納される。
【０２５１】
ＡＵ識別コードはアクセスユニットの先頭を示す開始符号である。
【０２５２】
シーケンスヘッダは、複数ビデオアクセスユニットから構成される再生シーケンスでの共通の情報を格納したヘッダであり、解像度、フレームレート、アスペクト比、ビットレートなどの情報が格納される。
【０２５３】
ピクチャヘッダはピクチャ全体の符号化の方式などの情報を格納したヘッダである。
【０２５４】
補足データは圧縮ピクチャデータの復号には必須ではない付加情報であり、例えば、映像と同期してＴＶに表示するクローズドキャプションの文字情報やＧＯＰ構造情報などが格納される。
【０２５５】
圧縮ピクチャデータには、圧縮符号化されたピクチャのデータが格納される。
【０２５６】
パディングデータは、形式を整えるためのデータが格納される。例えば、決められたビットレートを保つためのスタッフィングデータとして用いる。
【０２５７】
シーケンス終端コードは、再生シーケンスの終端を示すデータである。
【０２５８】
ストリーム終端コードは、ビットストリームの終端を示すデータである。
【０２５９】
ＡＵ識別コード、シーケンスヘッダ、ピクチャヘッダ、補足データ、圧縮ピクチャデータ、パディングデータ、シーケンス終端コード、ストリーム終端コードのデータ構成は、ビデオの符号化方式によって異なる。
【０２６０】
ＭＰＥＧ−４  ＡＶＣの場合、ＡＵ識別コードは、ＡＵデリミタ（Ａｃｃｅｓｓ  Ｕｎｉｔ  Ｄｅｌｉｍｉｔｅｒ）、シーケンスヘッダはＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｔｅｒ  Ｓｅｔ）に、ピクチャヘッダはＰＰＳ（Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）に、圧縮ピクチャデータは複数個のスライス、補足データはＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）、パディングデータはＦｉｌｌｅｒＤａｔａ、シーケンス終端コードはＥｎｄ  ｏｆ  Ｓｅｑｕｅｎｃｅ、ストリーム終端コードはＥｎｄ  ｏｆ  Ｓｔｒｅａｍに対応する。
【０２６１】
そして、ＭＰＥＧ−２形式の場合であれば、シーケンスヘッダはｓｅｑｕｅｎｃｅ＿Ｈｅａｄｅｒ、ｓｅｑｕｅｎｃｅ＿ｅｘｔｅｎｓｉｏｎ、ｇｒｏｕｐ＿ｏｆ＿ｐｉｃｔｕｒｅ＿ｈｅａｄｅｒに、ピクチャヘッダはｐｉｃｔｕｒｅ＿ｈｅａｄｅｒ、ｐｉｃｔｕｒｅ＿ｃｏｄｉｎｇ＿ｅｘｔｅｎｓｉｏｎ、圧縮ピクチャデータは複数個のスライス、補足データはｕｓｅｒ＿ｄａｔａ、シーケンス終端コードはｓｅｑｕｅｎｃｅ＿ｅｎｄ＿ｃｏｄｅに対応する。ＡＵ識別コードは存在しないが、それぞれのヘッダのスタートコードを使えば、アクセスユニットの切れ目を判断できる。
【０２６２】
各属性情報のデータは常に必要ではなく、例えば、シーケンスヘッダはＧＯＰ先頭のビデオアクセスユニットでのみ必要で、それ以外のビデオアクセスユニットには付加せずに符号化することができる。また、ピクチャヘッダは符号順で前のビデオアクセスユニットのものを参照するようにして、自身のビデオアクセスユニット内にはピクチャヘッダを省略することもできる。
【０２６３】
また、図１６に示すようにＧＯＰ先頭のビデオアクセスユニットには、圧縮ピクチャデータとしてＩピクチャのデータが格納され、ＡＵ識別コード、シーケンスヘッダ、ピクチャヘッダ、圧縮ピクチャデータが必ず格納される。補足データ、パディングデータ、シーケンス終端コード、ストリーム終端コードは必要に応じて適宜格納される。一方、ＧＯＰ先頭以外のビデオアクセスユニットには、ＡＵ識別コード、圧縮ピクチャデータが必ず格納され、補足データ、パディングデータ、シーケンス終端コード、ストリーム終端コードを必要に応じて適宜格納される。
【０２６４】
図１０は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかを示す図である。
【０２６５】
図１０の第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。
【０２６６】
図１０中のｙｙ１，ｙｙ２， ｙｙ３， ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ  Ｐｒｅｓｅｎｔａｔｉｏｎ  ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。
【０２６７】
各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳやピクチャのデコード時刻であるＤＴＳが格納される。
【０２６８】
図１１は、トランスポートストリームを構成するＴＳパケットのデータ構造を示す図である。
【０２６９】
ＴＳパケットは、４ＢｙｔｅのＴＳヘッダと、アダプテーションフィールドとＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットである。ＴＳヘッダは、ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙ、ＰＩＤ、ａｄａｐｔａｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌを含む構成である。ＰＩＤは前述したとおりトランスポートストリームに多重化されているストリームを識別するためのＩＤである。
【０２７０】
ｔｒａｎｓｐｏｒｔ＿ｐｒｉｏｒｉｔｙは、同一ＰＩＤのＴＳパケットの中のパケットの種別を識別するための情報である。
【０２７１】
ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌは、アダプテーションフィールドとＴＳペイロードの構成を制御するための情報である。アダプテーションフィールドとＴＳペイロードはどちらかだけが存在する場合と両方が存在する場合があり、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌはその有無を示す情報である。
【０２７２】
ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌの値が「１」の場合は、ＴＳペイロードのみが存在し、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌの値が「２」の場合は、アダプテーションフィールドのみが存在し、ａｄａｐｔａｔｉｏｎ＿ｆｉｅｌｄ＿ｃｏｎｔｒｏｌの値が「３」の場合は、ＴＳペイロードとアダプテーションフィールドの両方が存在することを示す。
【０２７３】
アダプテーションフィールドは、ＰＣＲ（Ｐｒｏｇｒａｍ  Ｃｌｏｃｋ  Ｒｅｆｅｒｅｎｃｅ）などの情報の格納や、ＴＳパケットを１８８バイト固定長にするためのスタッフィングするデータの格納領域である。ＴＳペイロードにはＰＥＳパケットが分割されて格納される。
【０２７４】
トランスポートストリームに含まれるＴＳパケットの種別には、映像・音声・字幕などの各ストリームのパケット以外にもＰＡＴ（Ｐｒｏｇｒａｍ  Ａｓｓｏｃｉａｔｉｏｎ  Ｔａｂｌｅ）、ＰＭＴ、ＰＣＲなどのパケットがある。これらのパケットはＰＳＩ（Ｐｒｏｇｒａｍ  Ｓｐｅｃｉｆｉｃ  Ｉｎｆｏｒｍａｔｉｏｎ）と呼ばれる。
【０２７５】
ＰＡＴはトランスポートストリーム中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは「０」である。
【０２７６】
図１２はＰＭＴのデータ構造を示す図である。
【０２７７】
ＰＭＴは、ＰＭＴヘッダ、トランスポートストリームに関する各種ディスクリプタ、及びトランスポートストリーム中に含まれる映像・音声・字幕などの各ストリームに関するストリーム情報とを備える。
【０２７８】
ＰＭＴヘッダには、ＰＭＴに含まれるデータの長さなどの情報が記録される。
【０２７９】
トランスポートストリームに関するディスクリプタには、例えば、映像・音声などの各ストリームのコピーを許可・不許可を指示するコピーコントロール情報などが記録される。
【０２８０】
各ストリームに関するストリーム情報は、ストリームの圧縮符号化方式などを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（例えば、フレームレート、アスペクト比）が記載されたストリームディスクリプタを含む構成である。
【０２８１】
ＰＣＲは、ＴＳパケットのデコーダへの到着時刻とＰＴＳ、ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ  Ｔｉｍｅ  Ｃｌｏｃｋ）との同期を取るために、そのＰＣＲパケットがデコーダに転送される時刻に対応するＳＴＣ時間の情報を持つ。
【０２８２】
ところで、ＭＰＥＧ−２形式、ＭＰＥＧ−４  ＭＶＣ形式の符号化方式では、圧縮符号化されたフレームの領域のうち、実際に表示する領域を変更することができる。
【０２８３】
このため、ＭＰＥＧ−２形式のビデオストリームのピクチャをビュー間参照によって参照しながらＭＰＥＧ−４  ＭＶＣ形式のディペンデントビュービデオストリームのピクチャを復号する際には、同時刻のビューにおいてクロッピング範囲やスケーリングが同じ範囲やスケーリングを示す値になるように、属性情報を調整する必要がある。
【０２８４】
クロッピング領域情報とスケーリング情報について図８を参照しながら説明する。
【０２８５】
図８のように、圧縮符号化されたフレーム領域の中から実際に表示する領域を、クロッピング領域として指定することができる。例えば、ＭＰＥＧ−４  ＡＶＣの場合には、ＳＰＳに格納されるｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ情報を使って指定する。ｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ情報は、図９の左方の図ように、クロッピンング領域の上線、下線、左線、右線と、圧縮符号化されたフレーム領域の上線、下線、左線、右線とのそれぞれの差分を、上下左右のクロップ量として指定する。具体的には、クロッピング領域を指定する場合には、ｆｒａｍｅ＿ｃｒｏｐｐｉｎｇ＿ｆｌａｇに「１」を設定し、ｆｒａｍｅ＿ｃｒｏｐ＿ｔｏｐ＿ｏｆｆｓｅｔ、ｆｒａｍｅ＿ｃｒｏｐ＿ｂｏｔｔｏｍ＿ｏｆｆｓｅｔ、ｆｒａｍｅ＿ｃｒｏｐ＿ｌｅｆｔ＿ｏｆｆｓｅｔ、ｆｒａｍｅ＿ｃｒｏｐ＿ｒｉｇｈｔ＿ｏｆｆｓｅｔにそれぞれ上、下、左、右のクロップ量を指定する。
【０２８６】
ＭＰＥＧ−２形式の場合には、図９の右図のように、クロッピング領域の縦横のサイズ（ｓｅｑｕｅｎｃｅ＿ｄｉｓｐｌａｙ＿ｅｘｔｅｎｓｉｏｎのｄｉｓｐｌａｙ＿ｈｏｒｉｚｏｎｔａｌ＿ｓｉｚｅ， ｄｉｓｐｌａｙ＿ｖｅｒｔｉｃａｌ＿ｓｉｚｅ）と、圧縮符号化されたフレーム領域の中心とクロッピング領域の中心との差分情報（ｐｉｃｔｕｒｅ＿ｄｉｓｐｌａｙ＿ｅｘｔｅｎｓｉｏｎのｆｒａｍｅ＿ｃｅｎｔｒｅ＿ｈｏｒｉｚｏｎｔａｌ＿ｏｆｆｓｅｔ、ｆｒａｍｅ＿ｃｅｎｔｒｅ＿ｖｅｒｔｉｃａｌ＿ｏｆｆｓｅｔ）を使ってクロッピング領域を指定する。 また、クロッピング領域を実際にテレビなどに表示する際のスケーリング方法を示すスケーリング情報としてアスペクト比が設定される。再生装置は、アスペクト比の情報を使って、クロッピング領域をアップコンバートして表示を行う。ＭＰＥＧ−４  ＡＶＣの場合には、このスケーリング情報として、ＳＰＳにアスペクト比の情報（ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃ）が格納される。例えば、１４４０ｘ１０８０のクロッピング領域を、１９２０ｘ１０８０に拡大して表示するためには、アスペクト比を４：３と指定する。この場合水平方向に４／３倍にアップコンバート（１４４０ｘ４／３＝１９２０）され、１９２０ｘ１０８０のサイズに拡大されて表示される。
【０２８７】
ＭＰＥＧ−２形式の場合にも同様にｓｅｑｕｅｎｃｅ＿ｈｅａｄｅｒというアスペクト比の情報（ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｎｆｏｒｍａｔｉｏｎ）を格納する属性情報があり、この属性情報の値を適宜設定することによって上記と同様の処理が実現できる。
【０２８８】
＜ＭＰＥＧ−４  ＭＶＣ形式のビデオストリームのデータ構成＞
次に、ＭＰＥＧ−４  ＭＶＣ形式のビデオストリームについて説明する。
【０２８９】
図１５は、ＭＰＥＧ−４  ＭＶＣ形式のビデオストリームの内部構成の一例を示す図である。
【０２９０】
同図において、ライトビュービデオストリームのピクチャは、レフトビュービデオストリームの同じ表示時刻のピクチャを参照して圧縮符号化されている。ライトビュービデオストリームのピクチャＰ１、Ｐ２は、それぞれレフトビュービデオストリームのピクチャＩ１、Ｐ２を参照し、ライトビュービデオストリームのピクチャＢ３、Ｂ４、Ｂ６、Ｂ７はそれぞれ、レフトビュービデオストリームのピクチャＢｒ３、Ｂｒ４、Ｂｒ６、Ｂｒ７を参照しながら圧縮符号化されている。
【０２９１】
同図の第２段目は、レフトビュービデオストリームの内部構成を示す。このレフトビュービデオストリームには、ピクチャＩ１、Ｐ２、Ｂｒ３、Ｂｒ４、Ｐ５、Ｂｒ６、Ｂｒ７、Ｐ９が含まれている。これらのピクチャは、ＤＴＳに設定された時刻順に復号されたピクチャである。
【０２９２】
第１段目は、ディスプレイ等に表示される左目用画像を示す。左目用画像は、第２段目の復号されたピクチャＩ１、Ｐ２、Ｂｒ３、Ｂｒ４、Ｐ５、Ｂｒ６、Ｂｒ７、Ｐ９をＰＴＳに設定された時刻順、すなわち、Ｉ１、Ｂｒ３、Ｂｒ４、Ｐ２、Ｂｒ６、Ｂｒ７、Ｐ５の順に表示される。
【０２９３】
第４段目は、ライトビュービデオストリームの内部構成を示す。このライトビュービデオストリームには、ピクチャＰ１、Ｐ２、Ｂ３、Ｂ４、Ｐ５、Ｂ６、Ｂ７、Ｐ８が含まれている。これらのピクチャは、ＤＴＳに設定された時刻順に復号されたピクチャである。
【０２９４】
第３段目は、ディスプレイ等に表示される右目用画像を示す。右目用画像は、第４段目の復号されたピクチャＰ１、Ｐ２、Ｂ３、Ｂ４、Ｐ５、Ｂ６、Ｂ７、Ｐ８をＰＴＳに設定された時刻順、すなわち、Ｐ１、Ｂ３、Ｂ４、Ｐ２、Ｂ６、Ｂ７、Ｐ５の順に表示される。ただし、ＰＴＳに同じ値が付された左目用画像と右目用画像のうちどちらか一方の表示を、次のＰＴＳの時間までの間隔の半分の時間分だけ遅延させて行う。
【０２９５】
第５段目は、３Ｄ眼鏡２００の状態をどのように変化させるかを示す。この第５段目に示すように、左目用画像の視聴時は、右目のシャッターを閉じ、右目用画像の視聴時は、左目のシャッターを閉じる。
【０２９６】
次に、ベースビュービデオストリームとディペンデントビュービデオストリームのアクセスユニットの関係について説明する。
【０２９７】
図１７はベースビュービデオストリームの各ピクチャとディペンデントビュービデオストリームの各ピクチャのビデオアクセスユニットの構成を示している。前述したとおり、図１７上段のように、ベースビュービデオストリームは、各ピクチャが１つのビデオアクセスユニットとして構成される。
【０２９８】
図１７下段のように、ディペンデントビュービデオストリームも同様に、各ピクチャが１つのビデオアクセスユニットを構成するが、ベースビュービデオストリームのビデオアクセスユニットとはデータ構造が異なる。
【０２９９】
ベースビュービデオストリームのビデオアクセスユニットと、ＰＴＳの値が同じディペンデントビュービデオストリームのビデオアクセスユニットとによって、３Ｄビデオアクセスユニット１７０１を構成する。再生装置は、この３Ｄビデオアクセスユニット単位で復号を行う。
【０３００】
図１８はビデオストリーム中におけるベースビュービデオストリームとディペンデントビュービデオストリームの各ビデオアクセスユニットに割り当てるＰＴＳとＤＴＳとの関係の例を示している。
【０３０１】
同時刻のビューを示す視差画像を格納するベースビュービデオストリームのピクチャとディペンデントビュービデオストリームのピクチャとは、ＤＴＳ及びＰＴＳが同じ値を持つように設定される。
【０３０２】
このように構成することで、ベースビュービデオストリームのピクチャとディペンデントビュービデオストリームのピクチャを復号する再生装置は、３Ｄビデオアクセスユニット単位で復号して表示を行うことができる。
【０３０３】
図１９はベースビュービデオストリームとディペンデントビュービデオストリームのＧＯＰ構成を示している。
【０３０４】
ベースビュービデオストリームのＧＯＰ構造は、従来のビデオストリームの構成と同じであり、複数のビデオアクセスユニットで構成される。
【０３０５】
また、ディペンデントビュービデオストリームは、複数のディペンデントＧＯＰから構成される。
【０３０６】
ディペンデントＧＯＰの先頭ピクチャは、３Ｄ映像を再生する際に、ベースビュービデオストリームのＧＯＰ先頭のＩピクチャとペアで表示されるピクチャであり、ベースビュービデオストリームのＧＯＰ先頭のＩピクチャのＰＴＳと同じ値のＰＴＳが付与されたピクチャである。
【０３０７】
図２０は、ディペンデントＧＯＰに含まれるビデオアクセスユニットのデータ構成を示す。
【０３０８】
図２０に示すようにディペンデントＧＯＰ先頭のビデオアクセスユニットは、圧縮ピクチャデータとして、ベースビュービデオストリームのＧＯＰ先頭のＩピクチャと同時刻に表示されるピクチャのデータが格納され、サブＡＵ識別コード、サブシーケンスヘッダ、ピクチャヘッダ、圧縮ピクチャデータが必ず格納される。補足データ、パディングデータ、シーケンス終端コード、ストリーム終端コードは適宜格納される。
【０３０９】
サブＡＵ識別コードは、アクセスユニットの先頭を示す開始符号である。
【０３１０】
サブシーケンスヘッダは、複数ビデオアクセスユニットから構成される再生シーケンスでの共通の情報を格納したヘッダであり、解像度、フレームレート、アスペクト比、ビットレートなどの情報が格納される。サブシーケンスヘッダのフレームレート、解像度、アスペクト比の値は、対応するベースビュービデオストリームのＧＯＰ先頭のビデオアクセスユニットに含まれるシーケンスヘッダのフレームレート、解像度、アスペクト比と同じである。
【０３１１】
ＧＯＰ先頭以外のビデオアクセスユニットは、サブＡＵ識別コード、圧縮ピクチャデータが必ず格納される。補足データ、パディングデータ、シーケンス終端コード、ストリーム終端コードは適宜格納される。
【産業上の利用可能性】
【０３１２】
本発明に係る映像ストリームのデータ作成装置又は再生装置は、ＭＰＥＧ−２形式のビデオストリームに対応した既存の再生装置での再生を維持しながら、データ量を削減した３Ｄ映像に対応したストリームを作成又は再生できるので、３Ｄ映像の生成、再生する装置等に有用である。
【符号の説明】
【０３１３】
２６０１  データ作成装置
２６０２  ２Ｄ互換ビデオエンコーダ
２６０３  ２Ｄ互換ビデオデコーダ
２６０４  拡張マルチビュービデオエンコーダ
２６０５  ベースビュービデオエンコーダ
２６０６  ２Ｄ互換ビデオ符号化情報
２６０７  ベースビュービデオ符号化情報
２６０８  ２Ｄ互換ビデオフレームメモリ
２６０９  ディペンデントビュービデオエンコーダ
２６１０  マルチプレクサ
２８０１  ＰＩＤフィルタ
２８０２  ＴＢ（１）
２８０３  ＭＢ（１）
２８０４  ＥＢ（１）
２８０５  Ｄ１（２Ｄ互換ビデオ圧縮映像デコーダ）
２８０６  Ｏ（Ｒｅ−ｏｒｄｅｒｉｎｇ  Ｂｕｆｆｅｒ）
２８０７  スイッチ
２８０８  第１プレーン
２８０９  ＴＢ（２）
２８１０  ＭＢ（２）
２８１１  ＥＢ（２）
２８１２  ＴＢ（３）
２８１３  ＭＢ（３）
２８１４  ＥＢ（３）
２８１５  デコードスイッチ
２８１６  Ｉｎｔｅｒ−ｖｉｅｗ  ｂｕｆｆｅｒ
２８１７  Ｄ２（マルチビュービデオ圧縮映像デコーダ）
２８１８  ＤＰＢ
２８１９  出力プレーンスイッチ
２８２０  第２プレーン
２８２１  ２Ｄ互換ビデオデコーダ
２８２２  拡張マルチビュービデオデコーダ
２８２３  再生装置
２９０１  ビデオデコーダ
２９０２  マルチビュービデオデコーダ
【図１】
2012108210.tif 000003
【図２】
2012108210.tif 000004
【図３】
2012108210.tif 000005
【図４】
2012108210.tif 000006
【図５】
2012108210.tif 000007
【図６】
2012108210.tif 000008
【図７】
2012108210.tif 000009
【図８】
2012108210.tif 000010
【図９】
2012108210.tif 000011
【図１０】
2012108210.tif 000012
【図１１】
2012108210.tif 000013
【図１２】
2012108210.tif 000014
【図１３】
2012108210.tif 000015
【図１４】
2012108210.tif 000016
【図１５】
2012108210.tif 000017
【図１６】
2012108210.tif 000018
【図１７】
2012108210.tif 000019
【図１８】
2012108210.tif 000020
【図１９】
2012108210.tif 000021
【図２０】
2012108210.tif 000022
【図２１】
2012108210.tif 000023
【図２２】
2012108210.tif 000024
【図２３】
2012108210.tif 000025
【図２４】
2012108210.tif 000026
【図２５】
2012108210.tif 000027
【図２６】
2012108210.tif 000028
【図２７】
2012108210.tif 000029
【図２８】
2012108210.tif 000030
【図２９】
2012108210.tif 000031
【図３０】
2012108210.tif 000032
【図３１】
2012108210.tif 000033
【図３２】
2012108210.tif 000034
【図３３】
2012108210.tif 000035
【図３４】
2012108210.tif 000036
【図３５】
2012108210.tif 000037
【図３６】
2012108210.tif 000038
【図３７】
2012108210.tif 000039
【図３８】
2012108210.tif 000040
【図３９】
2012108210.tif 000041
【図４０】
2012108210.tif 000042
【図４１】
2012108210.tif 000043
【図４２】
2012108210.tif 000044
【図４３】
2012108210.tif 000045
【図４４】
2012108210.tif 000046
【図４５】
2012108210.tif 000047
【手続補正書】
【提出日】平成24年7月12日(2012.7.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１視点における経時的なビューを示す第１フレーム画像群と、第２視点における経時的なビューを示す第２フレーム画像群とを圧縮符号化するデータ作成装置であって、
前記第１フレーム画像群を圧縮符号化することにより第１符号化形式のストリームを生成する第１符号化手段と、
ビュー間参照を行う第２符号化形式に準拠し、ベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化手段と、
前記第１、第２符号化手段により生成されたストリームを送出する送出手段と
を備え、
前記第２符号化手段は、前記ベースビュービデオストリームとして、前記第１フレーム画像群を圧縮符号化して得られるストリームとフレーム数が同一である疑似データからなるストリームを生成し、
一方、前記ディペンデントビュービデオストリームとして、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１符号化形式のストリームのフレームを参照画像として前記第２フレーム画像群を構成する各フレームを圧縮符号化したストリームを生成する
ことを特徴とするデータ作成装置。
【請求項２】
前記第２符号化手段は、
前記疑似データからなるストリームを、同一のフレーム画像から構成されるフレーム画像群を圧縮符号化して生成する
ことを特徴とする請求項１記載のデータ作成装置。
【請求項３】
前記同一のフレーム画像は、単色画像のフレーム画像である
ことを特徴とする請求項２記載のデータ作成装置。
【請求項４】
前記第２符号化手段は、
前記第１フレーム画像群を圧縮符号化して得られるストリームのビットレートより低いビットレートで、前記ベースビュービデオストリームを生成する
ことを特徴とする請求項１記載のデータ作成装置。
【請求項５】
前記第２符号化手段は、
ディペンデントビュービデオストリームのフレームを構成するピクチャのＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）を、前記ベースビュービデオストリームの対応するフレームと同時刻の第１符号化形式のストリームのフレームを構成するピクチャのＰＴＳと同じ値にして圧縮符号化する
ことを特徴とする請求項３記載のデータ作成装置。
【請求項６】
前記第１符号化手段及び前記第２符号化手段は、
前記第１フレーム画像群及び前記第２フレーム画像群の圧縮符号化を同一のアスペクト比で行い、生成する前記各ストリームに前記アスペクト比を示す属性情報を含める
ことを特徴とする請求項５記載のデータ作成装置。
【請求項７】
前記第２符号化手段は、
ディペンデントビュービデオストリームのフレームを構成するピクチャのＤＴＳに、前記ベースビュービデオストリームの対応するフレームと同時刻の第１符号化形式のストリームのフレームを構成するピクチャのＤＴＳの値よりＮフレーム分（Ｎ≧１の整数値）後の時刻を示す値にして圧縮符号化する
ことを特徴とする請求項５記載のデータ作成装置。
【請求項８】
前記第２符号化手段は、
ベースビュービデオストリーム及びディペンデントビュービデオストリームにおけるＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）内のフレームの数が、
前記フレームと同時刻のフレームを含む前記第１符号化形式のストリームにおけるＧＯＰ内のフレームの数と同じ数にして圧縮符号化する
ことを特徴とする請求項５記載のデータ作成装置。
【請求項９】
前記第２符号化手段は、
前記第１符号化形式のストリームのフレームを構成するピクチャのピクチャタイプがＩピクチャである場合には、前記第１符号化形式のフレームを構成するピクチャと同時刻のベースビュービデオストリームのフレームを構成するピクチャをＩピクチャとして圧縮符号化する
ことを特徴とする請求項５記載のデータ作成装置。
【請求項１０】
請求項１記載のデータ作成装置で送出されたストリームを取得する取得手段と、
前記取得手段により取得された前記ストリームに含まれる第１符号化形式のストリームを復号することにより前記第１フレーム画像群を得る第１復号手段と、
前記取得手段により取得された前記ストリームに含まれるベースビュービデオストリームを復号し、かつ、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１復号手段により復号されたフレームを参照画像として、前記ストリームに含まれるディペンデントビュービデオストリームを復号することにより、前記第２フレーム画像群を得る第２復号手段と、
前記第１、第２復号手段により得られた前記第１、第２フレーム画像群を再生する再生手段と
を備える
ことを特徴とする再生装置。
【請求項１１】
前記第２復号手段は、
前記第１復号手段により復号されたフレームのうち、前記第２フレーム画像群のフレームを構成するピクチャのＰＴＳと同じ値のＰＴＳのピクチャで構成されるフレームを参照画像として、復号処理を行う
ことを特徴とする請求項１０記載の再生装置。
【請求項１２】
第１視点における経時的なビューを示す第１フレーム画像群と、第２視点における経時的なビューを示す第２フレーム画像群とを圧縮符号化するデータ符号化方法であって、
前記第１フレーム画像群を圧縮符号化することにより第１符号化形式のストリームを生成する第１符号化ステップと、
ビュー間参照を行う第２符号化形式に準拠し、ベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化ステップと、
前記第１、第２符号化ステップにより生成されたストリームを送出する送出ステップと
を含み、
前記第２符号化ステップは、前記ベースビュービデオストリームとして、前記第１フレーム画像群を圧縮符号化して得られるストリームとフレーム数が同一である疑似データからなるストリームを生成し、
一方、前記ディペンデントビューストリームとして、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１符号化形式のストリームのフレームを参照画像として前記第２フレーム画像群を構成する各フレームを圧縮符号化したストリームを生成することを特徴とするデータ符号化方法。
【請求項１３】
第１視点における経時的なビューを示す第１フレーム画像群と、第２視点における経時的なビューを示す第２フレーム画像群とを圧縮符号化するデータ作成装置に圧縮符号化処理を実行させるためのプログラムであって、
前記第１フレーム画像群を圧縮符号化することにより第１符号化形式のストリームを生成する第１符号化ステップと、
ビュー間参照を行う第２符号化形式に準拠し、ベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化ステップと、
前記第１、第２符号化ステップにより生成されたストリームを送出する送出ステップと
を含み、
前記第２符号化ステップは、前記ベースビュービデオストリームとして、前記第１フレーム画像群を圧縮符号化して得られるストリームとフレーム数が同一である疑似データからなるストリームを生成し、
一方、前記ディペンデントビューストリームとして、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１符号化形式のストリームのフレームを参照画像として前記第２フレーム画像群を構成する各フレームを圧縮符号化したストリームを生成することを特徴とするプログラム。
【請求項１４】
第１視点における経時的なビューを示す第１フレーム画像群と、第２視点における経時的なビューを示す第２フレーム画像群とを圧縮符号化するデータ作成装置に圧縮符号化処理を実行させるためのプログラムを記録した記録媒体であって、
前記データ作成装置に、
前記第１フレーム画像群を圧縮符号化することにより第１符号化形式のストリームを生成する第１符号化ステップと、
ビュー間参照を行う第２符号化形式に準拠し、ベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化ステップと、
前記第１、第２符号化ステップにより生成されたストリームを送出する送出ステップと
を実行させ、
前記第２符号化ステップは、前記ベースビュービデオストリームとして、前記第１フレーム画像群を圧縮符号化して得られるストリームとフレーム数が同一である疑似データからなるストリームを生成し、
一方、前記ディペンデントビューストリームとして、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１符号化形式のストリームのフレームを参照画像として前記第２フレーム画像群を構成する各フレームを圧縮符号化したストリームを生成するプログラムを記録した記録媒体。
【請求項１５】
第１視点における経時的なビューを示す第１フレーム画像群と、第２視点における経時的なビューを示す第２フレーム画像群とを圧縮符号化するデータ作成装置を構成する集積回路であって、
前記第１フレーム画像群を圧縮符号化することにより第１符号化形式のストリームを生成する第１符号化手段と、
ビュー間参照を行う第２符号化形式に準拠し、ベースビュービデオストリームとディペンデントビュービデオストリームとを生成する第２符号化手段と、
前記第１、第２符号化手段により生成されたストリームを送出する送出手段と
を備え、
前記第２符号化手段は、前記ベースビュービデオストリームとして、前記第１フレーム画像群を圧縮符号化して得られるストリームとフレーム数が同一である疑似データからなるストリームを生成し、
一方、前記ディペンデントビューストリームとして、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１符号化形式のストリームのフレームを参照画像として前記第２フレーム画像群を構成する各フレームを圧縮符号化したストリームを生成することを特徴とする集積回路。
【請求項１６】
請求項１記載のデータ作成装置で送出されたストリームを取得する取得ステップと、
前記取得ステップにより取得された前記ストリームに含まれる第１符号化形式のストリームを復号することにより、前記第１フレーム画像群を得る第１復号ステップと、
前記取得ステップにより取得された前記ストリームに含まれるベースビュービデオストリームを復号し、かつ、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１復号ステップにより復号されたフレームを参照画像として、前記ストリームに含まれるディペンデントビュービデオストリームを復号することにより、前記第２フレーム画像群を得る第２復号ステップと、
前記第１、第２復号ステップにより得られた前記第１、第２フレーム画像群を再生する再生ステップと
を含む
ことを特徴とする再生方法。
【請求項１７】
請求項１記載のデータ作成装置で送出されたストリームの再生処理を再生装置に実行させるためのプログラムであって、
前記再生装置に、
前記送出されたストリームを取得する取得ステップと、
前記取得ステップにより取得された前記ストリームに含まれる第１符号化形式のストリームを復号することにより、前記第１フレーム画像群を得る第１復号ステップと、
前記取得ステップにより取得された前記ストリームに含まれるベースビュービデオストリームを復号し、かつ、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１復号ステップにより復号されたフレームを参照画像として、前記ストリームに含まれるディペンデントビュービデオストリームを復号することにより、前記第２フレーム画像群を得る第２復号ステップと、
前記第１、第２復号ステップにより得られた前記第１、第２フレーム画像群を再生する再生ステップと
を実行させる
ことを特徴とするプログラム。
【請求項１８】
請求項１記載のデータ作成装置で送出されたストリームの再生処理を再生装置に実行させるためのプログラムを記録した記録媒体であって、
前記再生装置に、
前記送出されたストリームを取得する取得ステップと、
前記取得ステップにより取得された前記ストリームに含まれる第１符号化形式のストリームを復号することにより、前記第１フレーム画像群を得る第１復号ステップと、
前記取得ステップにより取得された前記ストリームに含まれるベースビュービデオストリームを復号し、かつ、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１復号ステップにより復号されたフレームを参照画像として、前記ストリームに含まれるディペンデントビュービデオストリームを復号することにより、前記第２フレーム画像群を得る第２復号ステップと、
前記第１、第２復号ステップにより得られた前記第１、第２フレーム画像群を再生する再生ステップと
を実行させるプログラムを記録した記録媒体。
【請求項１９】
請求項１記載のデータ作成装置で送出されたストリームを再生する再生装置を構成する集積回路であって、
前記送出されたストリームを取得する取得手段と、
前記取得手段により取得された前記ストリームに含まれる第１符号化形式のストリームを復号することにより前記第１フレーム画像群を得る第１復号手段と、
前記取得手段により取得された前記ストリームに含まれるベースビュービデオストリームを復号し、かつ、前記ベースビュービデオストリームの対応するフレームと同時刻の前記第１復号手段により復号されたフレームを参照画像として、前記ストリームに含まれるディペンデントビュービデオストリームを復号することにより、前記第２フレーム画像群を得る第２復号手段と、
前記第１、第２復号手段により得られた前記第１、第２フレーム画像群を再生する再生手段と
を備える
ことを特徴とする集積回路。
【国際調査報告】
2012108210.tif 000048
2012108210.tif 000049
2012108210.tif 000050
2012108210.tif 000051