(57)【要約】【課題】各3Dディスプレイに共通に適用でき、かつ、それらのディスプレイ表示のための信号処理が容易となるようにする。【解決手段】発明の3Dビデオフォーマットでは、サイドバイドサイド画像SbSPのベース信号BSと、サイドバイドサイド画像SbSPのＬ画像LPについての次の３つの画像を並べてひとつにまとめたサブ画像SuPのオプショナル信号OSを用いることが規定される。サブ画像SuPは、Ｌ画像のDepth画像、Ｌ画像の中の物体の背景に隠れた画像、およびそのDepth画像から構成される。本発明は3Dディスプレイに適用可能である。【選択図】図６
2010028456.tif 000002
【特許請求の範囲】
【請求項１】
左目用のＬ画像と右目用のＲ画像とを使用する3D（３Dimensional）の第１映像表示方式に対して、その表示に用いられる前記Ｌ画像と前記Ｒ画像との画像データを含む第１のデータ構造と、
2次元画像とDepth画像とを少なくとも用いて３点以上の視点の画像を生成する3Dの第２映像表示方式に対して、前記第１のデータ構造の前記Ｌ画像または前記Ｒ画像が前記2次元画像として採用された場合における前記Depth画像の画像データを少なくとも含む第２のデータ構造と
を含むデータ構造。
【請求項２】
前記第２のデータ構造は、さらに、前記2次元画像に含まれる物体の背景に隠れた画像と、そのDepth画像とを含む
請求項１に記載のデータ構造。
【請求項３】
左目用のＬ画像と右目用のＲ画像とを使用する3D（３Dimensional）の第１映像表示方式に対して、その表示に用いられる前記Ｌ画像と前記Ｒ画像との画像データを含む第１のデータ構造と、
2次元画像とDepth画像とを少なくとも用いて３点以上の視点の画像を生成する3Dの第２映像表示方式に対して、前記第１のデータ構造の前記Ｌ画像または前記Ｒ画像が前記2次元画像として採用された場合における前記Depth画像の画像データを少なくとも含む第２のデータ構造と
を含むデータ構造の画像データを再生する場合、
前記第１映像表示方式を採用した表示部に対しては、前記第１のデータ構造の画像データから、前記Ｌ画像の画像データと前記Ｒ画像の画像データとを再生し、
前記第２映像表示方式を採用した表示部に対しては、前記第１のデータ構造の画像データから、前記Ｌ画像または前記Ｒ画像の画像データを再生し、前記第２のデータ構造の画像データから、前記Depth画像を再生する
再生装置。
【請求項４】
前記第２のデータ構造は、さらに、前記2次元画像に含まれる物体の背景に隠れた画像と、そのDepth画像とを含み、
前記再生装置は、前記第２映像表示方式を採用した表示部に対しては、前記第２のデータ構造の画像データから、前記Depth画像に加えてさらに、前記物体の背景に隠れた画像と、そのDepth画像とを再生する
請求項４に記載の再生装置。
【請求項５】
左目用のＬ画像と右目用のＲ画像とを使用する3D（３Dimensional）の第１映像表示方式に対して、その表示に用いられる前記Ｌ画像と前記Ｒ画像との画像データを含む第１のデータ構造と、
2次元画像とDepth画像とを少なくとも用いて３点以上の視点の画像を生成する3Dの第２映像表示方式に対して、前記第１のデータ構造の前記Ｌ画像または前記Ｒ画像が前記2次元画像として採用された場合における前記Depth画像の画像データを少なくとも含む第２のデータ構造と
を含むデータ構造の画像データを再生する再生装置が、
前記第１映像表示方式を採用した表示部に対しては、前記第１のデータ構造の画像データから、前記Ｌ画像の画像データと前記Ｒ画像の画像データとを再生し、
前記第２映像表示方式を採用した表示部に対しては、前記第１のデータ構造の画像データから、前記Ｌ画像または前記Ｒ画像の画像データを再生し、前記第２のデータ構造の画像データから、前記Depth画像を再生する
ステップを含む再生方法。
【請求項６】
左目用のＬ画像と右目用のＲ画像とを使用する3D（３Dimensional）の第１映像表示方式に対して、その表示に用いられる前記Ｌ画像と前記Ｒ画像との画像データを含む第１のデータ構造と、
2次元画像とDepth画像とを少なくとも用いて３点以上の視点の画像を生成する3Dの第２映像表示方式に対して、前記第１のデータ構造の前記Ｌ画像または前記Ｒ画像が前記2次元画像として採用された場合における前記Depth画像の画像データを少なくとも含む第２のデータ構造と
を含むデータ構造の画像データを再生する制御を実行するコンピュータに、
前記第１映像表示方式を採用した表示部に対しては、前記第１のデータ構造の画像データから、前記Ｌ画像の画像データと前記Ｒ画像の画像データとを再生し、
前記第２映像表示方式を採用した表示部に対しては、前記第１のデータ構造の画像データから、前記Ｌ画像または前記Ｒ画像の画像データを再生し、前記第２のデータ構造の画像データから、前記Depth画像を再生する
ステップを含む制御処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ構造、再生装置および方法、並びにプログラムに関し、特に、ＬＲ画像表示方式(偏光フィルタ方式や液晶シャッタ方式等)と、３点以上の視点の画像(Multi-views)を使用する方式（レンチキュラ方式）との各ディスプレイに共通に適用でき、かつ、それらのディスプレイ表示のための信号処理が容易となる3Dビデオフォーマットを提供できるようになった、データ構造、再生装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
3D（３Dimensional）の映像の表示機能を持つディスプレイ(以下、3Dディスプレイ)には様々な種類が存在する。また、3D表示用のビデオのフォーマット(以下、3Dビデオフォーマットと称する)にも様々なものが存在する。
【０００３】
従って、理論上、3Dディスプレイの種類と3Dビデオフォーマットとの組み合わせは、多数存在する。ただし、ビデオ表示の信号処理を容易にかつ最適にできるように、最適な組み合わせが存在する。
【０００４】
例えば、いわゆる偏光フィルタ方式や液晶シャッタ方式の3Dディスプレイには、左目用の画像(以下、Ｌ画像と称する)と右目用の画像(以下、Ｒ画像と称する)を用いる3Dビデオフォーマットが適している。なお、以下、かかる方式の3Dディスプレイを、ＬＲ画像表示方式の3Dディスプレイと称する。
【０００５】
また例えば、３点以上の視点の画像(Multi-views)を使用する方式、具体的には例えば、いわゆるレンチキュラ方式の3Dディスプレイには、2次元画像とDepth画像を用いる3Dビデオフォーマットが適している（例えば非特許文献１参照）。
【非特許文献１】（株）PHILIPSのHP＞Home＞3D Solutions＞About「２００８年７月７日検索」「http://www.business-sites.philips.com/3dsolutions/about/Index.html」
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、様々な種類の3Dディスプレイに共通に適用できて、かつ、ディスプレイ表示のための信号処理が容易な、3Dビデオフォーマットが存在しない現状である。
【０００７】
例えば、ＬＲ画像表示方式の一般の民生用の3Dディスプレイは、上述の如く、Ｌ画像とＲ画像を用いる3Dビデオフォーマットを前提にしている。そのため、ＬＲ画像表示方式の3Dディスプレイが、2次元画像とDepth画像を用いる3Dビデオフォーマットの3D映像を表示するためには、その3Dビデオフォーマットを元にして、Ｌ画像とＲ画像を作る機能が必要となる。しかしながら、この機能の追加の実装負担は大きく現実的でない。即ち、2次元画像とDepth画像を用いる3Dビデオフォーマットは、ＬＲ画像表示方式の3Dディスプレイには適さない。
【０００８】
一方で、例えば、レンチキュラ方式の3Dディスプレイが、Ｌ画像とＲ画像を用いる3Dビデオフォーマットの3D映像を表示するためには、そのビデオフォーマットを元にして、2次元画像やDepth画像を作成する機能が必要となる。しかしながら、この機能の実現は技術的に非常に困難である。即ち、Ｌ画像とＲ画像とを用いる3Dビデオフォーマットは、レンチキュラ方式のディスプレイには適さない。同様の理由から、Ｌ画像とＲ画像とを用いる3Dビデオフォーマットは、レンチキュラ方式以外の３点以上の視点の画像(Multi-views)を使用する方式のディスプレイには適さない。
【０００９】
従って、ＬＲ画像表示方式(偏光フィルタ方式や液晶シャッタ方式等)と、３点以上の視点の画像(Multi-views)を使用する方式（レンチキュラ方式）との各ディスプレイに共通に適用でき、かつ、それらのディスプレイ表示のための信号処理が容易となる3Dビデオフォーマットの実現が要望されている。しかしながら、かかる要望に充分に応えられていない現状である。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、ＬＲ画像表示方式(偏光フィルタ方式や液晶シャッタ方式等)と、３点以上の視点の画像(Multi-views)を使用する方式（レンチキュラ方式）との各ディスプレイに共通に適用でき、かつ、それらのディスプレイ表示のための信号処理が容易となる3Dビデオフォーマットを提供できるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面のデータ構造は、左目用のＬ画像と右目用のＲ画像とを使用する3D（３Dimensional）の第１映像表示方式に対して、その表示に用いられる前記Ｌ画像と前記Ｒ画像との画像データを含む第１のデータ構造と、2次元画像とDepth画像とを少なくとも用いて３点以上の視点の画像を生成する3Dの映像表示方式に対して、前記第１のデータ構造の前記Ｌ画像または前記Ｒ画像が前記2次元画像として採用された場合における前記Depth画像の画像データを少なくとも含む第２のデータ構造とを含む。
【００１２】
前記第２のデータ構造は、さらに、前記2次元画像に含まれる物体の背景に隠れた画像と、そのDepth画像とを含む。
【００１３】
本発明の一側面のデータ構造においては、左目用のＬ画像と右目用のＲ画像とを使用する3D（３Dimensional）の第１映像表示方式に対して、その表示に用いられる前記Ｌ画像と前記Ｒ画像との画像データを含む第１のデータ構造と、2次元画像とDepth画像とを少なくとも用いて３点以上の視点の画像を生成する3Dの第２映像表示方式に対して、前記第１のデータ構造の前記Ｌ画像または前記Ｒ画像が前記2次元画像として採用された場合における前記Depth画像の画像データを少なくとも含む第２のデータ構造とが含まれている。
【００１４】
本発明の一側面の再生装置は、左目用のＬ画像と右目用のＲ画像とを使用する3D（３Dimensional）の第１映像表示方式に対して、その表示に用いられる前記Ｌ画像と前記Ｒ画像との画像データを含む第１のデータ構造と、2次元画像とDepth画像とを少なくとも用いて３点以上の視点の画像を生成する3Dの第２映像表示方式に対して、前記第１のデータ構造の前記Ｌ画像または前記Ｒ画像が前記2次元画像として採用された場合における前記Depth画像の画像データを少なくとも含む第２のデータ構造とを含むデータ構造の画像データを再生する場合、前記第１映像表示方式を採用した表示部に対しては、前記第１のデータ構造の画像データから、前記Ｌ画像の画像データと前記Ｒ画像の画像データとを再生し、前記第２映像表示方式を採用した表示部に対しては、前記第１のデータ構造の画像データから、前記Ｌ画像または前記Ｒ画像の画像データを再生し、前記第２のデータ構造の画像データから、前記Depth画像を再生する。
【００１５】
前記第２のデータ構造は、さらに、前記2次元画像に含まれる物体の背景に隠れた画像と、そのDepth画像とを含み、前記再生装置は、前記第２映像表示方式を採用した表示部に対しては、前記第２のデータ構造の画像データから、前記Depth画像に加えてさらに、前記物体の背景に隠れた画像と、そのDepth画像とを再生する。
【００１６】
本発明の一側面の再生方法およびプログラムは、上述した本発明の一側面の再生装置に対応する。
【００１７】
本発明の一側面の再生装置および方法並びにプログラムにおいては、左目用のＬ画像と右目用のＲ画像とを使用する3D（３Dimensional）の第１映像表示方式に対して、その表示に用いられる前記Ｌ画像と前記Ｒ画像との画像データを含む第１のデータ構造と、2次元画像とDepth画像とを少なくとも用いて３点以上の視点の画像を生成する3Dの第２映像表示方式に対して、前記３点以上の視点の画像の生成に用いられる前記2次元画像として前記第１のデータ構造の前記Ｌ画像または前記Ｒ画像が採用された場合における前記Depth画像の画像データを少なくとも含む第２のデータ構造とを含むデータ構造の画像データが次のようにして再生される。即ち、前記第１映像表示方式を採用した表示部に対しては、前記第１のデータ構造の画像データから、前記Ｌ画像の画像データと前記Ｒ画像の画像データとが再生される。前記第２映像表示方式を採用した表示部に対しては、前記第１のデータ構造の画像データから、前記Ｌ画像または前記Ｒ画像の画像データが再生され、前記第２のデータ構造の画像データから、前記Depth画像が再生される。
【発明の効果】
【００１８】
本発明によれば、左目用のＬ画像と右目用のＲ画像とを使用する3D（３Dimensional）の第１映像表示方式、即ち、ＬＲ画像表示方式(偏光フィルタ方式や液晶シャッタ方式等)と、2次元画像とDepth画像とを少なくとも用いて３点以上の視点の画像(Multi-views)を生成する方式（レンチキュラ方式）との各ディスプレイに共通に適用できるようになる。また、それらのディスプレイ表示のための信号処理が容易となる。また、そのようなことを実現可能な3Dビデオフォーマットを提供できる。
【発明を実施するための最良の形態】
【００１９】
はじめに、本発明の理解を容易なものとすべく、従来の3Dビデオフォーマットについて説明する。
【００２０】
Ｌ画像とＲ画像とを用いる3Dビデオフォーマットでは、例えば図１に示されるように、Ｌ画像LPとＲ画像RPとの水平方向の画素数をそれぞれ半分にした各画像を左右に並べてひとつにまとめた画像SbSPのビデオ信号を用いることが規定されている。なお、以下、かかる画像SbSPを、サイドバイドサイド画像SbSPと称する。
【００２１】
ＬＲ画像表示方式(偏光フィルタ方式や液晶シャッタ方式等)の3Dディスプレイは、サイドバイサイド画像SbSPのビデオ信号に対して信号処理を施すことで、Ｌ画像LPとＲ画像RPをそれぞれ表示する。
【００２２】
この場合、ユーザは、特殊なメガネをかけて3Dディスプレイを見ると、右目にＬ画像LPが映り左目にＲ画像RPが写り、その結果として、3D画像を視認することになる。
【００２３】
これに対して、2次元画像とDepth画像を用いる3Dビデオフォーマットでは、図２に示されるような2次元画像2DPのビデオ信号と、図３に示されるようなDepth画像DePのビデオ信号とを用いることが規定されている。
【００２４】
2次元画像2DPとは、３Dディスプレイではない普通のディスプレイでも表示できる画像である。
【００２５】
Depth画像DePとは、2次元画像2DPの奥行き情報をグレースケールで示した画像である。Depth画像DePは、グレースケールが明るい領域ほど3D表示されたときに手前に見えるという性質を有している。例えば、図２と図３の例では、サッカーボールが手前に見えることになる。なお、Depth画像Depの符号化方法については、MPEG-C(ISO/IEC 23002)にて標準化されている。
【００２６】
さらに、非特許文献１に記載のレンチキュラ方式の3Dビデオフォーマットでは、2次元画像2DPとDepth画像DePのビデオ信号とに加えてさらに、図４に示されるような「物体の背景に隠れた画像BP」と、図５に示されるような「そのDepth画像BDep」とのビデオ信号を用いることが規定されている。
【００２７】
「物体の背景に隠れた画像BP」とは、2次元画像2DPとDepth画像DePとを元にして、３点以上の視点の画像(Multi-views)を作成するときに、とある視点から見える物体（2次元画像2DPに含まれる画像。図２乃至図４の例では、サッカーボール）の背景の画像（図４の例では家）を描画するために必要になる２次元画像をいう。
【００２８】
「そのDepth画像BDep」とは、「物体の背景に隠れた画像BP」の奥行き情報をグレースケールで示した画像である。
【００２９】
レンチキュラ方式の3Dディスプレイは、これらの2次元画像2DPとDepth画像DePとを元にして、３点以上の視点の画像(Multi-views)を作成し、それらを表示する。レンチキュラ方式の3Dディスプレイは、３点以上の視点の画像(Multi-views)を作成するとき、「物体の背景に隠れた画像BP」と「そのDepth画像BDep」とを用いる。
【００３０】
レンチキュラ方式の3Dディスプレイは、メガネ無しでユーザに立体視させることが可能なディスプレイである。即ち、3Dディスプレイの表面が、かまぼこ型のレンズで構成されている。よって、3Dディスプレイの表面を見るユーザの目の位置に応じて、右目に入る画像と左目に入る画像が変化することになる。これにより、ユーザは、３以上の視点の異なる画像をそれぞれ視認できる。
【００３１】
以上、図１乃至図５を参照して、従来の3Dビデオフォーマットについて説明した。
【００３２】
次に、図６を参照して、本発明が適用される3Dビデオフォーマット（以下、本発明3Dビデオフォーマットと称する）の一例について説明する。
【００３３】
図６の例の本発明の3Dビデオフォーマットでは、サイドバイドサイド画像SbSPのビデオ信号に加えてさらに、サイドバイドサイド画像SbSPのＬ画像LPについての次の３つの画像を並べてひとつにまとめた画像SuP（以下、サブ画像SuPと称する）のビデオ信号を用いることが規定される。サブ画像SuPは、Ｌ画像のDepth画像、Ｌ画像の中の物体の背景に隠れた画像、およびそのDepth画像から構成される。この場合の各画像の配置方法は特に限定されないが、図６の例では、Ｌ画像LPに対して水平および垂直方向の各画素数を半分にしたＬ画像の中の物体の背景に隠れた画像およびそのDepth画像がその順番で上下に配置されて、それらの左側に、Ｌ画像LPに対して水平方向の画素数を半分にしたＬ画像のDepth画像が配置されることで、サブ画像SuPが構成されている。
【００３４】
なお、以下、ＬＲ画像表示方式(偏光フィルタ方式や液晶シャッタ方式等)の3Dディスプレイに対する3D表示に必須なビデオ信号を、ベース信号BSと称する。それ以外のビデオ信号、即ち、３点以上の視点の画像(Multi-views)を使用する方式（レンチキュラ方式）の3Dディスプレイを用いる場合に必要となるビデオ信号を、オプショナル信号OSと称する。
【００３５】
即ち、図６の例では、サイドバイドサイド画像SbSPのビデオ信号が、ベース信号BSとなる。また、サブ画像SuPのビデオ信号が、オプショナル信号OSである。
【００３６】
よって、この呼称を用いて表現しなおすと、本発明の3Dビデオフォーマットでは、ベース信号BSとオプショナル信号OSとを用いることが規定されている。
【００３７】
この場合、ＬＲ画像表示方式(偏光フィルタ方式や液晶シャッタ方式等)の3Dディスプレイは、ベース信号BSに対して信号処理を施すことで、Ｌ画像LPとＲ画像RPをそれぞれ表示することができる。よって、ユーザは、特殊なメガネをかけて3Dディスプレイを見ると、右目にＬ画像LPが映り左目にＲ画像RPが写り、その結果として、3D画像を視認することになる。
【００３８】
換言すると、ＬＲ画像表示方式(偏光フィルタ方式や液晶シャッタ方式等)の3DディスプレイにおいてＬ画像LPとＲ画像RPがそれぞれ表示されるフォーマットであれば、ベース信号BSは、図６の例に特に限定されない。ただし、ベース信号BSの別の例については、図１０を用いて後述する。
【００３９】
また、レンチキュラ方式の3Dディスプレイは、ベース信号BSのＬ画像LPを2次元画像2DPとして用い、オプショナル信号OSのＬ画像のDepth画像をDepth画像DePとして用いて、これらから３点以上の視点の画像(Multi-views)を作成し、それらを表示する。レンチキュラ方式の3Dディスプレイは、３点以上の視点の画像(Multi-views)を作成するとき、Ｌ画像の中の物体の背景に隠れた画像、およびそのDepth画像を用いる。
【００４０】
換言すると、レンチキュラ方式の3Dディスプレイによって３点以上の視点の画像(Multi-views)の作成が可能となる画像を含むフォーマットであれば、オプショナル信号OSは、図６の例に特に限定されない。
【００４１】
例えば、ベース信号BSのＲ画像RPを2次元画像2DPとして用いることもできる。この場合、オプショナル信号OSは、例えば、図７に示されるように、サイドバイドサイド画像SbSPのＲ画像RPについての次の３つの画像を並べてひとつにまとめた画像を、サブ画像SuPとして採用することができる。図７の例のサブ画像SuPは、Ｒ画像のDepth画像、Ｒ画像の中の物体の背景に隠れた画像、およびそのDepth画像から構成される。この場合の各画像の配置方法は特に限定されないが、図７の例では、図６の例とあわせて、Ｒ画像RPに対して水平および垂直方向の各画素数を半分にしたＲ画像の中の物体の背景に隠れた画像およびそのDepth画像がその順番で上下に配置されて、それらの左側に、Ｒ画像RPに対して水平方向の画素数を半分にしたＲ画像のDepth画像が配置されることで、サブ画像SuPが構成されている。
【００４２】
図８は、このような図６または図７の例の本発明の3Dフォーマットに従った再生装置の構成例を示している。即ち、図８の再生装置２１は、本発明が適用される再生装置の一実施の形態である。
【００４３】
図８の例の再生装置２１は、主制御部３１、読み出し部３２、ベース信号復号部３３、オプショナル信号復号部３４、および48HZプログレッシブ信号生成部３５から構成されている。
【００４４】
メディア２２には、本発明の3Dビデオフォーマットの2本のビデオ信号（ベース信号BSとオプショナル信号OS）が符号化されたストリームが記録されている。それぞれのビデオ信号は24Hz プログレッシブ（progressive）で記録されているとする。
【００４５】
また、ＬＲ画像表示方式(偏光フィルタ方式や液晶シャッタ方式等)の3Dディスプレイ２３と、レンチキュラ方式の3Dディスプレイ２４とが、再生装置２１に接続可能であるとする。
【００４６】
主制御部３１は、再生装置２１の全体の動作を制御する。即ち、主制御部３１は、読み出し部３２、ベース信号復号部３３、オプショナル信号復号部３４、および48HZプログレッシブ信号生成部３５の各ブロックの動作を制御する。なお、図面の視覚性向上のため、主制御部３１から各ブロックへの接続を示す矢印の図示は省略され、その代わりに白抜き矢印が図示されている。この白抜き矢印の意味は、他の図面でも同様である。
【００４７】
読み出し部３２は、ベース信号BSをメディア２２から読み出して、ベース信号復号部３３に提供する。また、読み出し部３２は、オプショナル信号OSをメディア２２から読み出して、オプショナル信号復号部３４に提供する。
【００４８】
なお、ベース信号BSとオプショナル信号OSは、別々のストリームとしてメディア２２に記録されていてもよいし、1つの多重化ストリームとしてメディア２２に記録されても良い。後者の場合、読み出し部３２は、1つの多重化ストリームをメディア２２から読み出し、それをベース信号BSとオプショナル信号OSに分離して、後段の各信号処理部に提供する。
【００４９】
ベース信号復号部３３は、符号化されたベース信号BSを復号し、その結果得られる24Hz プログレッシブのベース信号BSを、ＬＲ画像表示方式の3Dディスプレイ２３や48HZプログレッシブ信号生成部３５に提供する。
【００５０】
ＬＲ画像表示方式の3Dディスプレイ２３は、24Hz プログレッシブのベース信号BSに対して信号処理を施すことで、Ｌ画像LPとＲ画像RPをそれぞれ表示する。
【００５１】
オプショナル信号復号部３４は、符号化されたオプショナル信号OSを復号し、その結果得られる24Hz プログレッシブのオプショナル信号OSを、48HZプログレッシブ信号生成部３５に提供する。
【００５２】
48HZプログレッシブ信号生成部３５は、24Hz プログレッシブのベース信号BSと24Hz プログレッシブのオプショナル信号OSとをフレーム毎に交互に配置することで、48Hz プログレッシブ信号を生成し、レンチキュラ方式の3Dディスプレイ２４に提供する。
【００５３】
レンチキュラ方式の3Dディスプレイ２４は、48HZプログレッシブ信号生成部３５からの48Hz プログレッシブの出力信号に対応する画像のうち、Ｌ画像LPを2次元画像2DPとして用い、Ｌ画像のDepth画像をDepth画像DePとして用いて、これらから３点以上の視点の画像(Multi-views)を作成し、それらを表示する。レンチキュラ方式の3Dディスプレイ２４は、３点以上の視点の画像(Multi-views)を作成するとき、48HZプログレッシブ信号生成部３５からの48Hz プログレッシブの出力信号に対応する画像のうち、Ｌ画像の中の物体の背景に隠れた画像、およびそのDepth画像を用いる。
【００５４】
図９は、このような図８の構成の再生装置２１が実行する処理（以下、再生処理と称する）の一例を説明するフローチャートである。
【００５５】
ステップＳ１において、再生装置２１の主制御部３１は、出力対象がレンチキュラ方式の3Dディスプレイ２４であるか否かを判定する。
【００５６】
出力対象がＬＲ画像表示方式の3Dディスプレイ２３である場合、ステップＳ１の処理でＮＯであると判定される。すると、読み出し部３２によって、ベース信号BSがメディア２２から読み出されて、ベース信号復号部３３に提供される。これにより、処理はステップＳ２に進む。
【００５７】
ステップＳ２において、ベース信号復号部３３は、符号化されたベース信号BSを復号し、出力信号としての24Hz プログレッシブ信号（ベース信号BS）を生成する。ステップＳ６において、ベース信号復号部３３は、出力信号を、ＬＲ画像表示方式の3Dディスプレイ２３に出力する。これにより、再生処理は終了となる。
【００５８】
これに対して、出力対象がレンチキュラ方式の3Dディスプレイ２４である場合、ステップＳ１の処理でＹＥＳであると判定される。すると、読み出し部３２によって、ベース信号BSがメディア２２から読み出されて、ベース信号復号部３３に提供される。また、読み出し部３２によって、オプショナル信号OSがメディア２２から読み出されて、オプショナル信号復号部３４に提供される。これにより、処理はステップＳ３に進む。
【００５９】
ステップＳ３において、ベース信号復号部３３は、符号化されたベース信号BSを復号し、第１の24Hzプログレッシブ信号（ベース信号BS）を生成する。第１の24Hzプログレッシブ信号（ベース信号BS）は、48HZプログレッシブ信号生成部３５に提供される。
【００６０】
ステップS４において、オプショナル信号復号部３４は、符号化されたオプショナル信号OSを復号し、第２の24Hz プログレッシブ信号（オプショナル信号OS）を生成する。第２の24Hz プログレッシブ信号（オプショナル信号OS）は、48HZプログレッシブ信号生成部３５に提供される。
【００６１】
なお、ステップＳ３とＳ４の処理順番は、図９の順番に特に限定されない。即ち、ステップＳ４の処理が先に実行された後にステップＳ３の処理が実行されてもよいし、ステップＳ３とＳ４の処理がほぼ同時に実行されてもよい。いずれにしても、ステップＳ３とＳ４の両処理が終了すると、処理はステップＳ５に進む。
【００６２】
ステップＳ５において、48HZプログレッシブ信号生成部３５は、第１の24Hzプログレッシブ信号（ベース信号BS）と第２の24Hzプログレッシブ信号（オプショナル信号OS）とをフレーム毎に交互に配置することで、出力信号としての48Hzプログレッシブ信号を生成する。
【００６３】
ステップＳ６において、48HZプログレッシブ信号生成部３５は、出力信号を、レンチキュラ方式の3Dディスプレイ２４に出力する。これにより、再生処理は終了となる。
【００６４】
以上、本発明の3Dフォーマットの一例として、図６と図７の例を説明した。その後、図６または図７の例の本発明の3Dフォーマットに従った再生装置の一実施の形態について説明した。
【００６５】
ただし、本発明は、このような実施の形態に特に限定されず、様々な実施の形態を取ることができる。
【００６６】
例えば、図１０は、本発明の3Dビデオフォーマットの一例であって、図６や図７の例とは異なる例を示す図である。
【００６７】
図１０の例の本発明の3Dビデオフォーマットでは、サイドバイドサイド画像SbSPの代わりに、その元となるＬ画像LPとＲ画像RPとが採用されている。即ち、Ｌ画像LPとＲ画像RPとの各ビデオ信号がベース信号として用いられることが規定されている。以下、前者のベース信号、即ち、Ｌ画像LPのビデオ信号を、Ｌベース信号LBSと称する。また、後者のベース信号、即ち、Ｒ画像RPのビデオ信号を、Ｒベース信号RBSと称する。
【００６８】
即ち、図１０の例の本発明の3Dビデオフォーマットでは、ベース信号BSとオプショナル信号OSとを用いることが規定されている。
【００６９】
図１０の例では、オプショナル信号OSとしては、図６の例と同一フォーマットのサブ画像SuPのビデオ信号が採用されている。ただし、オプショナル信号OSは、図６の例に限定されず、その他例えば、図７の例と同一フォーマットのサブ画像SuPのビデオ信号を採用することもできる。
【００７０】
図１１は、このような図１０の例の本発明の3Dフォーマットに従った再生装置の構成例を示している。即ち、図１０の再生装置４１は、本発明が適用される再生装置の一実施の形態であって、図８の再生装置２１とは異なる実施の形態である。
【００７１】
図１１の例の再生装置４１は、主制御部５１、読み出し部５２、Ｌベース信号復号部５３、Ｒベース信号復号部５４、オプショナル信号復号部５５、48HZプログレッシブ信号生成部５６、サイドバイサイド信号生成部５７、および48HZプログレッシブ信号生成部５８から構成されている。
【００７２】
メディア４２には、本発明の3Dビデオフォーマットの3本のビデオ信号（Ｌベース信号LBS、Ｒベース信号RBS、およびオプショナル信号OS）が符号化されたストリームが記録されている。それぞれのビデオ信号は24Hz プログレッシブ（progressive）で記録されているとする。
【００７３】
また、ＬＲ画像表示方式(偏光フィルタ方式や液晶シャッタ方式等)の3Dディスプレイ４３と、レンチキュラ方式の3Dディスプレイ４４とが、再生装置４１に接続可能であるとする。
【００７４】
主制御部５１は、再生装置４１の全体の動作を制御する。即ち、主制御部５１は、読み出し部５２、Ｌベース信号復号部５３、Ｒベース信号復号部５４、オプショナル信号復号部５５、48HZプログレッシブ信号生成部５６、サイドバイサイド信号生成部５７、および48HZプログレッシブ信号生成部５８の各ブロックの動作を制御する。
【００７５】
読み出し部５２は、Ｌベース信号LBSをメディア４２から読み出して、Ｌベース信号復号部５３に提供する。読み出し部５２は、Rベース信号RBSをメディア４２から読み出して、Ｒベース信号復号部５４に提供する。また、読み出し部５２は、オプショナル信号OSをメディア４２から読み出して、オプショナル信号復号部５５に提供する。なお、Ｌベース信号LBS，Rベース信号RBSとオプショナル信号OSは、別々のストリームとしてメディア上に記録されていても良いし、または、1つの多重化ストリームとしてメディア上に記録されても良い。後者の場合、読み出し部３２は、1つの多重化ストリームをメディア上から読み出し、それをＬベース信号LBS，Rベース信号RBSとオプショナル信号OSに分離して、後段の各信号処理部に供給する。
【００７６】
Ｌベース信号復号部５３は、符号化されたＬベース信号LBSを復号し、その結果得られる24Hz プログレッシブのＬベース信号LBSを、48HZプログレッシブ信号生成部５６とサイドバイサイド信号生成部５７に提供する。
【００７７】
Ｒベース信号復号部５４は、符号化されたＲベース信号RBSを復号し、その結果得られる24Hz プログレッシブのＲベース信号RBSを、48HZプログレッシブ信号生成部５６とサイドバイサイド信号生成部５７に提供する。
【００７８】
48HZプログレッシブ信号生成部５６は、24HzプログレッシブのＬベース信号LBSと、24HzプログレッシブのＲベース信号RBSとをフレーム毎に交互に配置することで、48Hz プログレッシブ信号を生成し、ＬＲ画像表示方式の3Dディスプレイ４３に提供する。
【００７９】
ＬＲ画像表示方式の3Dディスプレイ４３は、48Hzプログレッシブ信号に対して信号処理を施すことで、Ｌ画像LPとＲ画像RPをそれぞれ表示する。
【００８０】
オプショナル信号復号部５５は、符号化されたオプショナル信号OSを復号し、その結果得られる24Hzプログレッシブのオプショナル信号OSを、48HZプログレッシブ信号生成部５８に提供する。
【００８１】
サイドバイサイド信号生成部５７は、24HzプログレッシブのＬベース信号LBSと24HzプログレッシブのＲベース信号RBSとから、サイドバイサイド画像SbSPの24Hzプログレッシブのビデオ信号（以下、サイドバイサイド信号と称する）を生成し、48HZプログレッシブ信号生成部５８に提供する。即ち、サイドバイサイド信号とは、図８のベース信号復号部３３から出力される24Hzプログレッシブのベース信号BSと同一フォーマットの信号をいう。
【００８２】
48HZプログレッシブ信号生成部５８は、24Hzプログレッシブのサイドバイサイド信号と24Hz プログレッシブのオプショナル信号OSとをフレーム毎に交互に配置することで、48Hz プログレッシブ信号を生成し、レンチキュラ方式の3Dディスプレイ４４に提供する。
【００８３】
レンチキュラ方式の3Dディスプレイ４４は、48HZプログレッシブ信号生成部５８からの48Hz プログレッシブの出力信号に対応する画像のうち、Ｌ画像LPを2次元画像2DPとして用い、Ｌ画像のDepth画像をDepth画像DePとして用いて、これらから３点以上の視点の画像(Multi-views)を作成し、それらを表示する。レンチキュラ方式の3Dディスプレイ４４は、３点以上の視点の画像(Multi-views)を作成するとき、48HZプログレッシブ信号生成部５８からの48Hz プログレッシブの出力信号に対応する画像のうち、Ｌ画像の中の物体の背景に隠れた画像、およびそのDepth画像を用いる。
【００８４】
図１２は、このような図１１の構成の再生装置４１が実行する再生処理の一例を説明するフローチャートである。
【００８５】
ステップＳ２１において、再生装置４１の主制御部５１は、出力対象がレンチキュラ方式の3Dディスプレイ４４であるか否かを判定する。
【００８６】
出力対象がＬＲ画像表示方式の3Dディスプレイ４３である場合、ステップＳ２１の処理でＮＯであると判定される。すると、読み出し部５２によって、Ｌベース信号LBSがメディア４２から読み出されて、Ｌベース信号復号部５３に提供される。また、Ｒベース信号RBSがメディア４２から読み出されて、Ｒベース信号復号部５４に提供される。これにより、処理はステップＳ２２に進む。
【００８７】
ステップＳ２２において、Ｌベース信号復号部５３は、符号化されたＬベース信号LBSを復号し、第１の24Hzプログレッシブ信号（Ｌベース信号LBS）を生成する。第１の24Hzプログレッシブ信号（Ｌベース信号LBS）は、48HZプログレッシブ信号生成部５６に提供される。
【００８８】
ステップＳ２３において、Ｒベース信号復号部５４は、符号化されたＲベース信号RBSを復号し、第２の24Hzプログレッシブ信号（Ｒベース信号RBS）を生成する。第２の24Hzプログレッシブ信号（Ｒベース信号RBS）は、48HZプログレッシブ信号生成部５６に提供される。
【００８９】
なお、ステップＳ２２とＳ２３の処理順番は、図１２の順番に特に限定されない。即ち、ステップＳ２３の処理が先に実行された後にステップＳ２２の処理が実行されてもよいし、ステップＳ２２とＳ２３の処理がほぼ同時に実行されてもよい。いずれにしても、ステップＳ２２とＳ２３の両処理が終了すると、処理はステップＳ２４に進む。
【００９０】
ステップＳ２４において、48HZプログレッシブ信号生成部５６は、第１の24Hzプログレッシブ信号（Ｌベース信号LBS）と第２の24Hzプログレッシブ信号（Ｒベース信号RBS）とをフレーム毎に交互に配置することで、出力信号としての48Hzプログレッシブ信号を生成する。
【００９１】
ステップＳ３０において、48HZプログレッシブ信号生成部５６は、出力信号を、ＬＲ画像表示方式の3Dディスプレイ４３に出力する。これにより、再生処理は終了となる。
【００９２】
これに対して、出力対象がレンチキュラ方式の3Dディスプレイ４４である場合、ステップＳ２１の処理でＹＥＳであると判定される。すると、読み出し部５２によって、Ｌベース信号LBSがメディア４２から読み出されて、Ｌベース信号復号部５３に提供される。読み出し部５２によって、Ｒベース信号RBSがメディア４２から読み出されて、Ｒベース信号復号部５４に提供される。また、読み出し部５２によって、オプショナル信号OSがメディア４２から読み出されて、オプショナル信号復号部５５に提供される。これにより、処理はステップＳ２５に進む。
【００９３】
ステップＳ２５において、Ｌベース信号復号部５３は、符号化されたＬベース信号LBSを復号し、第１の24Hzプログレッシブ信号（Ｌベース信号LBS）を生成する。第１の24Hzプログレッシブ信号（Ｌベース信号LBS）は、サイドバイサイド信号生成部５７に提供される。
【００９４】
ステップＳ２６において、Ｒベース信号復号部５４は、符号化されたＲベース信号RBSを復号し、第２の24Hzプログレッシブ信号（Ｒベース信号RBS）を生成する。第２の24Hzプログレッシブ信号（Ｒベース信号RBS）は、サイドバイサイド信号生成部５７に提供される。
【００９５】
なお、ステップＳ２５とＳ２６の処理順番は、図１２の順番に特に限定されない。即ち、ステップＳ２６の処理が先に実行された後にステップＳ２５の処理が実行されてもよいし、ステップＳ２５とＳ２６の処理がほぼ同時に実行されてもよい。いずれにしても、ステップＳ２５とＳ２６の両処理が終了すると、処理はステップＳ２７に進む。
【００９６】
ステップＳ２７において、サイドバイサイド信号生成部５７は、第１の24Hzプログレッシブ信号（Ｌベース信号LBS）と第２の24Hzプログレッシブ（Ｒベース信号RBS）とから、第３の24Hzプログレッシブ信号つぃてのサイドバイサイド信号を生成する。第３の24Hzプログレッシブ信号は、48HZプログレッシブ信号生成部５８に提供される。
【００９７】
ステップＳ２８において、オプショナル信号復号部５５は、符号化されたオプショナル信号OSを復号し、第４の24Hz プログレッシブ信号（オプショナル信号OS）を生成する。第４の24Hz プログレッシブ信号（オプショナル信号OS）は、48HZプログレッシブ信号生成部５８に提供される。
【００９８】
なお、ステップＳ２７とＳ２８の処理順番は、図１２の順番に特に限定されない。即ち、ステップＳ２８の処理が先に実行された後にステップＳ２７の処理が実行されてもよいし、ステップＳ２７とＳ２８の処理がほぼ同時に実行されてもよい。いずれにしても、ステップＳ２７とＳ２８の両処理が終了すると、処理はステップＳ２９に進む。
【００９９】
ステップＳ２９において、48HZプログレッシブ信号生成部５８は、第３の24Hzプログレッシブ信号（サイドバイサイド信号）と第４の24Hzプログレッシブ信号（オプショナル信号OS）とをフレーム毎に交互に配置することで、出力信号としての48Hzプログレッシブ信号を生成する。
【０１００】
ステップＳ３０において、48HZプログレッシブ信号生成部５８は、出力信号を、レンチキュラ方式の3Dディスプレイ４４に出力する。これにより、再生処理は終了となる。
【０１０１】
ところで、図１２，図１３の例では、レンチキュラ方式3Dディスプレイ４４は、図８の例のレンチキュラ方式3Dディスプレイ２４と同種類の3Dディスプレイを想定している。このため、レンチキュラ方式3Dディスプレイ４４に入力される信号を、レンチキュラ方式3Dディスプレイ２４と同種類の信号とすべく、Ｌベース信号LBSとＲベース信号RBSとからサイドバイサイド信号が再生装置４１内で作り出されている。
【０１０２】
しかしながら、３点以上の視点の画像(Multi-views)を作る際に必要となる2次元画像2DPは、サイドバイドサイド画像SbSPではなく、Ｌ画像LPまたはＲ画像RPである。例えば、図１０の例のサブ画像SuPが採用されている場合には、2次元画像2DPとしてＬ画像LPが採用される。
【０１０３】
よって、レンチキュラ方式3Dディスプレイ４４自体が、Ｌベース信号LBSまたはＲベース信号RBSと、オプショナル信号OSとがフレーム毎に交互に配置されて生成される48Hzプログレッシブ信号を取り扱える機能を有している場合、再生装置側でのサイドバイサイド信号の生成は不要になる。
【０１０４】
このような場合、例えば図１３に示されるように再生装置４１を構成することが可能である。換言すると、図１３は、図１０の例の本発明の3Dフォーマットに従った再生装置の構成例であって、図１１の例とは異なる構成例を示している。即ち、図１３の再生装置４１は、本発明が適用される再生装置の一実施の形態であって、図８や図１１とは異なる実施の形態である。
【０１０５】
図１３の例の再生装置４１では、図１１の例の構成と比較して、サイドバイサイド信号生成部５７が省略されている。即ち、48HZプログレッシブ信号生成部５８は、24HzプログレッシブのＬベース信号LBSと24Hz プログレッシブのオプショナル信号OSとをフレーム毎に交互に配置することで、48Hz プログレッシブ信号を生成し、レンチキュラ方式の3Dディスプレイ４４に提供することになる。なお、それ以外の図１３の例の再生装置４１の構成は、図１１の例と同様であるため、その説明は省略する。
【０１０６】
また、図１３の例の再生装置４１による再生処理の一例は、図１４に示されるようになる。
【０１０７】
ステップＳ４１乃至Ｓ４４の処理は、図１２のステップＳ２２乃至Ｓ２４の処理と基本的に同様である。即ち、出力対象がＬＲ画像表示方式の3Dディスプレイ４３である場合の処理は、図１２の例の処理と基本的に同様である。よって、これらの処理の説明は省略する。
【０１０８】
即ち、以下、出力対象がレンチキュラ方式の3Dディスプレイ４４である場合の処理について説明する。
【０１０９】
この場合、ステップＳ４１の処理でＹＥＳであると判定される。すると、読み出し部５２によって、Ｌベース信号LBSがメディア４２から読み出されて、Ｌベース信号復号部５３に提供される。また、読み出し部５２によって、オプショナル信号OSがメディア４２から読み出されて、オプショナル信号復号部５５に提供される。これにより、処理はステップＳ４５に進む。
【０１１０】
ステップＳ４５において、Ｌベース信号復号部５３は、符号化されたＬベース信号LBSを復号し、第１の24Hzプログレッシブ信号（Ｌベース信号LBS）を生成する。第１の24Hzプログレッシブ信号（Ｌベース信号LBS）は、48HZプログレッシブ信号生成部５８に提供される。
【０１１１】
ステップＳ４６において、オプショナル信号復号部５５は、符号化されたオプショナル信号OSを復号し、第２の24Hz プログレッシブ信号（オプショナル信号OS）を生成する。第２の24Hz プログレッシブ信号（オプショナル信号OS）は、48HZプログレッシブ信号生成部５８に提供される。
【０１１２】
なお、ステップＳ４５とＳ４６の処理順番は、図１４の順番に特に限定されない。即ち、ステップＳ４６の処理が先に実行された後にステップＳ４５の処理が実行されてもよいし、ステップＳ４５とＳ４６の処理がほぼ同時に実行されてもよい。いずれにしても、ステップＳ４５とＳ４６の両処理が終了すると、処理はステップＳ４７に進む。
【０１１３】
ステップＳ４７において、48HZプログレッシブ信号生成部５８は、第１の24Hzプログレッシブ信号（Ｌベース信号LBS）と第２の24Hzプログレッシブ信号（オプショナル信号OS）とをフレーム毎に交互に配置することで、出力信号としての48Hzプログレッシブ信号を生成する。
【０１１４】
ステップＳ４８において、48HZプログレッシブ信号生成部５８は、出力信号を、レンチキュラ方式の3Dディスプレイ４４に出力する。これにより、再生処理は終了となる。
【０１１５】
なお、オプショナル信号OSとして、図１０の例のサブ画像SuPの代わりに、図７の例と同一フォーマットのサブ画像SuPのビデオ信号が採用された場合、上述のＬベース信号LBSをＲベース信号RBSに代えればよい。
【０１１６】
ところで、以上説明した本発明の3Dビデオフォーマットとして、上述の各種画像の映像信号のみならず、それらの各種画像に関する情報（以下、メタデータと称する）を規定してもよい。
【０１１７】
例えば、メタデータの１種として、図１５に示されるように、Ｌ画像LP／Ｒ画像RPの視点の正面からの角度θを採用することができる。図１５において、カメラ７１ＬがＬ画像LPを撮影し、カメラ７１ＲがＲ画像RPを撮影する。
【０１１８】
この角度θは、例えば、メディアには、符号化されたストリームとは別の領域に記録させることができる。なお、「符号化されたストリーム」とは、図８のメディア２２が採用されている場合にはベース信号BSとオプショナル信号OSをいい、図１１や図１３のメディア４２が採用されている場合にはＬベース信号LBSおよびＲベース信号RBS並びにオプショナル信号OSをいう。
【０１１９】
例えばメディアがブルーレイディスク（Blu-ray Disc）で構成される場合、例えば、ブルーレイディスクのフォーマットにて規定されているクリップインフォメーションファイルのExtensionDataに、角度θを記録させることができる。
【０１２０】
具体的には例えば、図１６は、"Blu-ray Disc Read Only Format part3"で規定された管理構造であって、ブルーレイディスクに記録されるファイルの管理構造の一例を示している。図１６に示されるように、ファイルは、ディレクトリ構造により階層的に管理される。メディア上には、先ず、１つのディレクトリ（図１６の例ではルート(root)ディレクトリ）が作成される。このディレクトリの下が、１つの記録再生システムで管理される範囲となる。
【０１２１】
ルートディレクトリの下に、ディレクトリ"BDMV"およびディレクトリ"CERTIFICATE"が
置かれる。
【０１２２】
このディレクトリ"BDMV"の直下のディレクトリのひとつとして、クリップのデータベースが置かれるディレクトリ"CLIPINF"が存在する。即ち、ディレクトリCLIPINF"は、クリップＡＶストリームファイルのそれぞれに対するクリップインフォメーションファイルであるファイル"zzzzz.clpi"を含む。ファイル名において、"."（ピリオド）の前の"zzzzz"は、５桁の数字とされ、ピリオドの後ろの"clpi"は、このタイプのファイルに固定的とされた拡張子である。
【０１２３】
例えば、図１６の例では、クリップインフォメーションファイルのExtensionDataに、角度θを記録させることができる。
【０１２４】
図１７は、このようなクリップインフォメーションファイル８１の構造例を表すシンタクスを示している。
【０１２５】
フィールドtype_indicatorは、３２ビット（４バイト）のデータ長を有し、このファイルがクリップインフォメーションファイルであることを示す。フィールドversion_numberは、３２ビット（４バイト）のデータ長を有し、このクリップインフォメーションファイルのバージョンを示す。
【０１２６】
このクリップインフォメーションファイルは、ブロックClipInfo()、ブロックSequence
Info()、ブロックProgramInfo()、ブロックCPI()、ブロックClipMark()およびブロックExtensionData()を有し、それぞれ３２ビットのデータ長を有するフィールドSequenceInfo_start_address、フィールドProgramInfo_start_address、フィールドCPI_start_address、フィールドClipMark_start_addressおよびフィールドExtensionData_start_addressは、各々対応するブロックの開始アドレスを示す。
【０１２７】
フィールドExtensionData_start_addressは、このクリップインフォメーションファイルの最初のバイトからの相対バイト数で、ブロックExtensionData()８２の開始アドレスを示す。相対バイト数は、"０"から開始される。若しくは、このフィールドExtensionData_start_addressの値が"０"であれば、このファイル"index.bdmv"内に、ブロックExtensionData()８２が存在しないことを示す。
【０１２８】
ブロックClipInfo()は、これらの開始アドレスを示すフィールドに続く、９６ビットのデータ長を有する将来の使用のために予約された領域の次から開始される。ブロックClipInfo()は、このクリップインフォメーションファイルが管理するクリップＡＶストリームに関する情報が記述される。例えば、このクリップインフォメーションファイルが管理するクリップＡＶストリームが保持するソースパケット数、クリップＡＶストリームがどのようなストリームであるかを示す情報、最大記録レートを示す情報などが、ブロックClipInfo()に管理される。
【０１２９】
ブロックSequenceInfo()は、ＳＴＣやＡＴＣ（アライバルタイムベース）が連続しているシーケンスをまとまりとして管理する情報が記述される。ブロックProgramInfo()は、このクリップインフォメーションファイルに管理されるクリップＡＶストリームがどのようなコーデック（例えばＭＰＥＧ２方式あるいはＭＰＥＧ４ ＡＶＣ方式）を用いて記録されているか、クリップＡＶストリーム中のビデオデータのアスペクト比などの情報が記述される。
【０１３０】
ブロックCPI()は、ランダムアクセス開始点などの、ＡＶストリーム中の特徴的な箇所を表す特徴点情報ＣＰＩに関する情報が格納される。ブロックClipMark()は、チャプタ位置などの、クリップに付された頭出しのためのインデックス点（ジャンプポイント）が記述される。ブロックExtensionData()８２は、この発明の実施の一形態に係るデータ、即ち角度θが記述される。
【０１３１】
なお、角度θの条件を標準化（規格化）する場合には、メディアに記録する必要はない点留意すべきである。
【０１３２】
この場合、図８の再生装置２１や図１１，図１３の再生装置４１等（以下、これらをまとめて、本発明の再生装置と称する）は、メディア２２やメディア４２等（以下、これらをまとめて、本発明のメディアと称する）から角度θを読み出し、レンチキュラ方式の3Dディスプレイ２４，４４等（以下、これらをまとめて本発明の3Dレンチキュラ方式のディスプレイと称する）に転送する。
【０１３３】
なお、転送手法自体は特に限定されない。例えば、HDMI（High-Definition Multimedia Interface）等を経由して転送する手法を採用できる。また、角度θの条件を標準化（規格化）する場合には、転送する必要がない点留意すべきである
【０１３４】
本発明のレンチキュラ方式の3Dディスプレイは、角度θを用いることで、Ｌ画像LPを変換(写像変換)して３点以上の視点の画像(Multi-views)を作成して、表示することができる。その際、必要に応じて、Ｌ画像のDepth画像, L画像の物体の背景に隠れた画像、そのDepth画像も用いられる。図１８の例では、視点１の画像としてＲ画像RPが、視点２の画像として画像M2Pを、視点３の画像として画像M3Pが、視点４の画像として画像M4Pが、それぞれ作成されて表示される。
【０１３５】
さらに、3Dディスプレイではなく、普通のディスプレイも、角度θを用いることで、Ｌ画像LPを変換(写像変換)して、図１５に示される正面画像DPを生成して、表示させることができる。その際、必要に応じて、Ｌ画像のDepth画像, L画像の物体の背景に隠れた画像、そのDepth画像も用いられる。
【０１３６】
ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
【０１３７】
この場合、上述した情報処理システムの少なくとも一部として、例えば、図１９に示されるパーソナルコンピュータを採用してもよい。
【０１３８】
図１９において、CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記録されているプログラム、または記憶部２０８からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１３９】
CPU２０１、ROM２０２、およびRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２０５も接続されている。
【０１４０】
入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイなどよりなる出力部２０７、ハードディスクなどより構成される記憶部２０８、および、モデム、ターミナルアダプタなどより構成される通信部２０９が接続されている。通信部２０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【０１４１】
入出力インタフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア２１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０８にインストールされる。
【０１４２】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１４３】
このようなプログラムを含む記録媒体は、図１９に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)，ブルーレイディスクを含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア（パッケージメディア）２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。
【０１４４】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４５】
また、本明細書において、システムとは、複数の処理装置や処理部により構成される装置全体を表すものである。
【０１４６】
なお、本発明は、3D表示非対応のディスプレイも含めてディスプレイの方式を識別した上で、ディスプレイの方式に適した出力映像信号に切り替えて出力する再生装置にも適用可能である。
【図面の簡単な説明】
【０１４７】
【図１】従来のＬ画像とＲ画像とを用いる3Dビデオフォーマットを説明する図である。
【図２】従来の2次元画像とDepth画像を用いる3Dビデオフォーマットを説明する図である。
【図３】従来の2次元画像とDepth画像を用いる3Dビデオフォーマットを説明する図である。
【図４】従来の2次元画像とDepth画像を用いる3Dビデオフォーマットを説明する図である。
【図５】従来の2次元画像とDepth画像を用いる3Dビデオフォーマットを説明する図である。
【図６】本発明の3Dビデオフォーマットの一例を説明する図である。
【図７】本発明の3Dビデオフォーマットの別の例を説明する図である。
【図８】図６または図７の例の本発明の3Dフォーマットに従った再生装置、即ち、本発明が適用される再生装置の構成例を示すブロック図である。
【図９】図８の再生装置の再生処理の一例を説明するフローチャートである。
【図１０】本発明の3Dビデオフォーマットのさらに別の例を説明する図である。
【図１１】図１０の例の本発明の3Dフォーマットに従った再生装置、即ち、本発明が適用される再生装置の別の構成例を示すブロック図である。
【図１２】図１１の再生装置の再生処理の一例を説明するフローチャートである。
【図１３】図１０の例の本発明の3Dフォーマットに従った再生装置、即ち、本発明が適用される再生装置のさらに別の構成例を示すブロック図である。
【図１４】図１３の再生装置の再生処理の一例を説明するフローチャートである。
【図１５】本発明の３Ｄビデオフォーマットのメタデータの一例としての角度θを説明する図である。
【図１６】図１５の角度θのメディアへの記録場所の一例を説明する図である。
【図１７】図１５の角度θのメディアへの記録場所の一例を説明する図である。
【図１８】図１５の角度θの使い方の一例を説明する図である。
【図１９】本発明が適用される再生装置としてのコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１４８】
２１  再生装置，  ２２  メディア，  ２３  LR画像表示方式の3Dディスプレイ，  ２４  レンチキュラ方式の3Dディスプレイ，  ３１  主制御部，  ３２  読み出し部，  ３３  ベース信号復号部，  ３４  オプショナル信号復号部，  ３５  48Hzプログレッシブ信号生成部，  ４１  再生装置，  ４２  メディア，  ４３  LR画像表示方式の3Dディスプレイ，  ４４  レンチキュラ方式の3Dディスプレイ，  ５１  主制御部，  ５２  読み出し部，  ５３  Ｌベース信号復号部，  ５４  Ｒベース信号復号部，  ５５  オプショナル信号復号部，  ５６  48Hzプログレッシブ信号生成部，  ５７  サイドバイドサイド信号生成部，  ５８  48Hzプログレッシブ信号生成部，  ２０１  CPU，  ２０２  ROM，  ２０３  RAM，  ２０８  記憶部，  ２１１  リムーバブルメディア
【図１】
2010028456.tif 000003
【図２】
2010028456.tif 000004
【図３】
2010028456.tif 000005
【図４】
2010028456.tif 000006
【図５】
2010028456.tif 000007
【図６】
2010028456.tif 000008
【図７】
2010028456.tif 000009
【図８】
2010028456.tif 000010
【図９】
2010028456.tif 000011
【図１０】
2010028456.tif 000012
【図１１】
2010028456.tif 000013
【図１２】
2010028456.tif 000014
【図１３】
2010028456.tif 000015
【図１４】
2010028456.tif 000016
【図１５】
2010028456.tif 000017
【図１６】
2010028456.tif 000018
【図１７】
2010028456.tif 000019
【図１８】
2010028456.tif 000020
【図１９】
2010028456.tif 000021