(57)【要約】【課題】ステレオスコピック映像のためのディスプレイ装置で臨場感ある立体映像を再生することができる符号化された映像のデータに対するファイルフォーマットを提供する。【解決手段】符号化されたステレオスコピック映像のイメージ情報を含む映像データ部と、映像データ部に含まれた符号化されたステレオスコピック映像のイメージ情報をデコーディングして再生するためのメタデータを含むヘッダ部と、を含む符号化されたステレオスコピック映像データに対するファイルフォーマット。そして、ヘッダ部は、ステレオスコピック映像の獲得に使われた左右カメラと関連した情報を含むカメラヘッダ部と、ステレオスコピック映像の符号化と関連した情報を含むコーデックヘッダ部と、符号化されたステレオスコピック映像データを受信して再生するためのバリア状のディスプレイ装置と関連した情報を含むディスプレイヘッダ部のうち少なくとも一つのヘッダ部と、を含みうる。
2010503310.tif 000002
【特許請求の範囲】
【請求項１】
符号化されたステレオスコピック映像データに対するファイルフォーマットにおいて、
前記符号化されたステレオスコピック映像のイメージ情報を含む映像データ部と、
前記映像データ部に含まれた前記符号化されたステレオスコピック映像のイメージ情報をデコーディングして再生するためのメタデータを含むヘッダ部と、を含むことを特徴とする符号化されたステレオスコピック映像データに対するファイルフォーマット。
【請求項２】
前記ヘッダ部は、
前記ステレオスコピック映像の獲得に使われた左右カメラと関連した情報を含むカメラヘッダ部を含むことを特徴とする請求項１に記載の符号化されたステレオスコピック映像データに対するファイルフォーマット。
【請求項３】
前記カメラヘッダ部は、
前記ステレオスコピック映像を構成する左映像と右映像とのディスパリティ情報を含むことを特徴とする請求項２に記載の符号化されたステレオスコピック映像データに対するファイルフォーマット。
【請求項４】
前記カメラヘッダ部は、
前記左右カメラの間の距離に関する情報を含むことを特徴とする請求項２に記載の符号化されたステレオスコピック映像データに対するファイルフォーマット。
【請求項５】
前記カメラヘッダ部は、
前記左右カメラを通じてキャプチャーされる左右映像のフレーム率に関する情報を含むことを特徴とする請求項２に記載の符号化されたステレオスコピック映像データに対するファイルフォーマット。
【請求項６】
前記カメラヘッダ部は、
前記ステレオスコピック映像を構成する左映像と右映像との同期化に関する情報を含むことを特徴とする請求項２に記載の符号化されたステレオスコピック映像データに対するファイルフォーマット。
【請求項７】
前記カメラヘッダ部は、
前記ステレオスコピック映像の獲得に使われる左右カメラの種類に関する情報を含むことを特徴とする請求項２に記載の符号化されたステレオスコピック映像データに対するファイルフォーマット。
【請求項８】
前記ヘッダ部は、
前記ステレオスコピック映像の符号化と関連した情報を含むコーデックヘッダ部を含むことを特徴とする請求項１に記載の符号化されたステレオスコピック映像データに対するファイルフォーマット。
【請求項９】
前記コーデックヘッダ部は、
前記映像データ部に含まれるイメージ情報がステレオスコピック映像についてのものであるかまたは他種の映像についてのものであるかを指示する情報を含むことを特徴とする請求項８に記載の符号化されたステレオスコピック映像データに対するファイルフォーマット。
【請求項１０】
前記コーデックヘッダ部は、
前記映像データ部に含まれるイメージ情報の構成方法に関する情報を含むことを特徴とする請求項８に記載の符号化されたステレオスコピック映像データに対するファイルフォーマット。
【請求項１１】
前記コーデックヘッダ部は、
前記映像データ部に含まれるイメージ情報の獲得に使われた符号化方法に関連した情報を含むことを特徴とする請求項８に記載の符号化されたステレオスコピック映像データに対するファイルフォーマット。
【請求項１２】
前記ヘッダ部は、
前記符号化されたステレオスコピック映像データを受信して再生するためのバリア状のディスプレイ装置と関連した情報を含むディスプレイヘッダ部を含むことを特徴とする請求項１に記載の符号化されたステレオスコピック映像データに対するファイルフォーマット。
【請求項１３】
前記ディスプレイヘッダ部は、
前記映像データ部に含まれるイメージ情報が、如何なる種類のバリアパターンを有する前記バリア状のディスプレイ装置に最適化されているかを表わす情報を含むことを特徴とする請求項１２に記載の符号化されたステレオスコピック映像データに対するファイルフォーマット。
【請求項１４】
前記ディスプレイヘッダ部は、
前記映像データ部に含まれるイメージ情報が、如何なるバリアパターンの間隔を有する前記バリア状のディスプレイ装置に最適化されているかを表わす情報を含むことを特徴とする請求項１２に記載の符号化されたステレオスコピック映像データに対するファイルフォーマット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像コーデックに係り、より具体的に、符号化されたステレオスコピック映像データ（Ｓｔｅｒｅｏｓｃｏｐｉｃ  Ｉｍａｇｅ／Ｖｉｄｅｏ  Ｄａｔａ）のファイルフォーマットに関する。
【背景技術】
【０００２】
両眼式ステレオスコピック映像（以下、‘ステレオスコピック映像’と言う）は、一定の距離ほど離隔している左側カメラと右側カメラとで同一の被写体を撮影して、それぞれ獲得した一対の左映像と右映像とを言う。左映像と右映像は、同一の被写体を撮影したものであるが、視点（ｖｉｅｗ  ｐｏｉｎｔ）が異なるために被写体の表面特性や光源の位置などによってイメージ情報に多少の差が発生することがある。このような同一被写体に対する左映像と右映像とのイメージ情報の差をディスパリティ（Ｄｉｓｐａｒｉｔｙ）と言う。
【０００３】
そして、ステレオスコピック映像は、一般的には、左側カメラと右側カメラとを用いてそれぞれ獲得した映像を示すが、広い意味では、モノスコピック映像（Ｍｏｎｏｓｃｏｐｉｃ  Ｉｍａｇｅ）に所定の変換アルゴリズムを適用して生成した立体映像も含まれる。このようなステレオスコピック映像は、一般的にディスプレイされる被写体に対して立体感を付与するのに利用される。
【０００４】
ステレオスコピック映像を用いてＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）やＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）のような平面ディスプレイ装置で再生（Ｒｅｐｒｏｄｕｃｔｉｏｎ）される映像に立体感を付与することができる方法はさまざまである。そのうちの一つの方法は、バリア状（Ｂａｒｒｉｅｒ  Ｔｙｐｅ）のディスプレイ装置を用いて統合合成映像（Ｍｅｒｇｅｄ  Ｃｏｍｂｉｎｅｄ  Ｉｍａｇｅ）を再生する方法である。バリア状のディスプレイ装置は、モノスコピック映像とステレオスコピック映像とをいずれもディスプレイすることができるために、次世代ディスプレイ装置の一つとして大きな注目を集めている。
【０００５】
統合合成映像とは、一対の左映像と右映像とのピクセルをライン単位で交互に配列して作った映像を言う。例えば、図１に図示されたように、左映像１０ａの奇数番目の垂直ラインピクセルと右映像１０ｂの偶数番目の垂直ラインピクセルとを抽出して交互に配列することで、統合合成映像１２を形成することができる。左映像１０ａから偶数番目の垂直ラインピクセルを抽出し、また右映像１０ｂから奇数番目の垂直ラインピクセルを抽出して統合合成映像を形成するか、または左映像１０ａと右映像１０ｂとの垂直ラインピクセルではない水平ラインピクセルを抽出して統合合成映像を形成することもある。
【０００６】
図２は、バリア状のディスプレイ装置を説明するための図面である。図２に図示されたように、バリア状のディスプレイ装置は、偏光フィルムや偏光ガラスなどで形成されるバリア偏光板がディスプレイ装置２０の前面に付着されるか、または備えられている装置である。そして、バリア偏光板には、ライン状のバリアパターン２２が備えられている。バリアパターンは、さまざまな類型があるが、基本的に垂直ライン状（Ｖｅｒｔｉｃａｌ  Ｌｉｎｅ  Ｔｙｐｅ）と水平ライン状（Ｈｏｒｉｚｏｎｔａｌ  Ｌｉｎｅ  Ｔｙｐｅ）とがある。そして、前記垂直または水平ラインの微細な形状によってバリアパターンは、１字状、鋸歯状、及び対角線状などに区分される。このようなバリアパターンの微細なライン形状は、映像の立体感に差を誘発させる。
【０００７】
このようなバリア状のディスプレイ装置２０を通じて統合合成映像がディスプレイされる場合に、バリア偏光板２２によって左眼２４ａを通じては左映像のピクセルラインのみを見ることができ、右眼２４ｂを通じては右映像のピクセルラインのみを見ることができる。したがって、バリア状のディスプレイ装置を利用すれば、視聴者は、補助器具なしにも肉眼で立体感ある映像を見ることが可能である。最近には、３Ｄ  ＴＶや携帯電話、ＰＭＰ、ＤＭＢ受信器のような携帯用の電子機器などで立体映像をディスプレイするのにおいてバリア状のディスプレイ装置が脚光を浴びている。
【０００８】
このようなバリア状のディスプレイ装置のような平面ディスプレイ装置を用いて立体映像をディスプレイするためには、ステレオスコピック映像に対する効率的な符号化方法が要求される。例えば、エムペグ２（ＭＰＥＧ−２）のマルチビュープロファイル（Ｍｕｌｔｉ−Ｖｉｅｗ  Ｐｒｏｆｉｌｅ、ＭＶＰ）による符号化方法があるが、この方法によれば、左右映像のうち一つの映像、例えば、左映像を基底層（Ｂａｓｅ  Ｌａｙｅｒ）としてモノスコピック映像と同一方式で符号化し、他の一つの映像、すなわち、右映像は、上位層（Ｅｎｈａｎｃｅｍｅｎｔ  Ｌａｙｅｒ）として左右映像間の相関情報についてのみ符号化を行う。そして、平面ディスプレイ装置では、受信されたビットストリムから左右映像をいずれも復号化した後、該復号化された左右映像のデータを用いて統合合成映像を生成してディスプレイするか、左映像と右映像とを交互にディスプレイする。
【０００９】
ステレオスコピック映像に対する他の符号化方法は、左映像と右映像とのそれぞれではない、フレーム単位の統合合成映像を符号化する方法がある。この方法によれば、符号化装置で統合合成映像を抽出して生成し、該生成された統合合成映像の自体を一つのフレームとして扱って既存の符号化方法を用いて符号化を実行するという点で前述した方式と異なる。既存の符号化方法としては、例えば、ジェイペグ（ＪＰＥＧ）などによる静止映像に対する符号化方法やＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ、ＶＣ−１による動映像に符号化する方法がある。
【００１０】
このような既存の静止映像や動映像に対する符号化方法によって符号化された映像データは、その符号化方式を支援するディスプレイ装置に直ちに伝送されて再生されるかまたは記録媒体に保存された後で、ディスプレイ装置によって再生される。この場合、ディスプレイ装置に映像データを伝送する前に左右カメラを通じて獲得して映像に対して必要な補正作業や編集作業を行うこともできる。例えば、映像データに保安関連データ、著作権管理と関連したデータなどを挿入することができる。または、ステレオスコピック映像を用いて特定のコンテンツを製作するか、またはディスプレイ装置の特性を考慮して獲得されたステレオスコピック映像に必要な補正を実行することもできる。
【００１１】
ところが、ディスプレイ装置で符号化された映像データをデコーディングして再生するためには、一般的に、輝度、色差のようなイメージ情報を表わすデータだけではなく、これをデコーディングしてまたディスプレイするに当たって必要なさまざまな付加情報を表わすデータも必要である。したがって、ディスプレイ装置に伝送されるデータには、前記イメージデータだけではなく、さまざまな付加データもともに伝送される。
【００１２】
図３には、ディスプレイ装置に伝送される既存の符号化された映像データに対するファイルフォーマットが図示されている。図３を参照すれば、既存の符号化された映像データのファイルフォーマット３０は、大きく基本ヘッダ部（Ｂａｓｉｃ  Ｈｅａｄｅｒ  Ｕｎｉｔ）３２と映像データ部（Ｉｍａｇｅ  Ｄａｔａ  Ｕｎｉｔ）３４とで構成される。ここで、前記映像データ部３４は、輝度及び色差のようなテクスチャ情報（ＴｅｘｔｕｒｅＩｎｆｏｒｍａｔｉｏｎ）、背景や物体についての情報である形状情報（Ｓｈａｐｅ  Ｉｎｆｏｒｍａｔｉｏｎ）、動き情報（Ｍｏｔｉｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ）などと各符号化標準に定義されているさまざまなイメージ情報などが含まれうる。そして、前記基本ヘッダ部３２には、前記映像データ部３４に含まれるさまざまなイメージ情報などを除外した残りのメタデータ（ＭＥＴＡ  Ｄａｔａ）が含まれるが、一般的にディスプレイ装置で前記映像データ部３４に含まれたイメージ情報をデコーディングして再生するために必要な情報である。
【００１３】
ところが、ステレオスコピック映像データを再生するには、図３に図示されたような既存の符号化された映像データに対するファイルフォーマット３２をそのまま利用することは一定の限界がある。なぜならば、前述した既存のデータ構造は、一般的にモノスコピック映像をディスプレイするためのものであって、従来の基本ヘッダ部３２に含まれる情報としては、ステレオスコピック映像である立体映像をデコーディングして再生に必要な情報をいずれもディスプレイ装置に伝送することができないためである。したがって、ステレオスコピック映像データをデコーディングして再生に必要な情報をいずれも含ませることができる新たなファイルフォーマットが要請される。
【発明の概要】
【発明が解決しようとする課題】
【００１４】
モノスコピック映像とは異なって、ステレオスコピック映像の場合には、そのステレオスコピック映像を獲得するに当たって２個のカメラが使われる。そして、ステレオスコピック映像を獲得する視点の照明などの方向によって、左映像と右映像とで輝度や色差などのイメージ情報の差が存在する。また、ステレオスコピック映像は、立体映像を再現するために、バリア方式のディスプレイのような特殊なディスプレイ装置が使われる。ところが、このようなステレオスコピック映像の固有特性及び／またはディスプレイ装置の固有特性などによって、既存の符号化された映像のデータに対するファイルフォーマットを用いては、臨場感ある立体映像の再現に必要なすべての情報を復号化装置に伝送することが容易ではない。
【００１５】
したがって、本発明では、このような固有特性を有するステレオスコピック映像を効率的に符号化し、また獲得されたステレオスコピック映像に立体映像の再現に適するようにコンテンツを製作し、同時に、ステレオスコピック映像のためのディスプレイ装置で臨場感ある立体映像を再現するに当たって必要な情報も含んでディスプレイ装置に伝送することができる符号化されたステレオスコピック映像データに対するファイルフォーマットを提案する。
【課題を解決するための手段】
【００１６】
前記技術的課題を果たすための本発明の一実施形態による符号化されたステレオスコピック映像データに対するファイルフォーマットは、前記符号化されたステレオスコピック映像のイメージ情報を含む映像データ部と、前記映像データ部に含まれた前記符号化されたステレオスコピック映像のイメージ情報をデコーディングして再生するためのメタデータを含むヘッダ部と、を含む。
【００１７】
前記実施形態の一側面によれば、前記ヘッダ部は、前記ステレオスコピック映像の獲得に使われた左右カメラと関連した情報を含むカメラヘッダ部と、前記ステレオスコピック映像の符号化と関連した情報を含むコーデックヘッダ部と、前記符号化されたステレオスコピック映像データを受信して再生するためのバリア状のディスプレイ装置と関連した情報を含むディスプレイヘッダ部のうち少なくとも一つのヘッダ部と、を含みうる。
【００１８】
この場合、前記カメラヘッダ部は、前記ステレオスコピック映像を構成する左映像と右映像とのディスパリティ情報、前記左右カメラの間の距離に関する情報、前記左右カメラを通じてキャプチャーされる左右映像のフレーム率に関する情報、前記ステレオスコピック映像を構成する左映像と右映像との同期化に関する情報、及び前記ステレオスコピック映像の獲得に使われる左右カメラの種類に関する情報のうち一つまたはそれ以上の情報を含みうる。
【００１９】
そして、前記コーデックヘッダ部は、前記映像データ部に含まれるイメージ情報がステレオスコピック映像についてのものであるかまたは他種の映像についてのものであるかを指示する情報、前記映像データ部に含まれるイメージ情報の構成方法に関する情報、及び前記映像データ部に含まれるイメージ情報の獲得に使われた符号化方法に関連した情報のうち一つまたはそれ以上の情報を含みうる。
【００２０】
また、前記ヘッダ部は、前記映像データ部に含まれるイメージ情報が如何なる種類のバリアパターンを有する前記バリア状のディスプレイ装置に最適化されているかを表わす情報と前記映像データ部に含まれるイメージ情報が如何なるバリアパターンの間隔を有する前記バリア状のディスプレイ装置に最適化されているかを表わす情報とをいずれも含むか、このうち一つの情報を含みうる。
【発明の効果】
【００２１】
ディスプレイ装置に伝送される既存の符号化された映像のデータに対するファイルフォーマットは、一般的にモノスコピック映像についてのものであって、ステレオスコピック映像の特性を考慮していない。したがって、このような既存のファイルフォーマットとしては、ディスプレイ装置で臨場感あるステレオスコピック映像の再現に必要なすべての情報を含ませることができない。本発明によれば、ステレオスコピック映像やまたはモノスコピック映像とステレオスコピック映像とをともに再生することができるディスプレイ装置に適した符号化されたステレオスコピック映像データに対する新たなファイルフォーマットを提案することによって、ステレオスコピック映像のためのディスプレイ装置で臨場感ある立体映像を再生することが可能である。
【００２２】
特に、本発明によれば、前記ファイルフォーマットにバリア状のディスプレイ装置に備えられたバリアパターンに関する情報も含ませることができ、このようなバリアパターンに関する情報を利用すれば、ディスプレイ装置によってバリアパターンに最適化された立体映像を再現することが可能である。
【図面の簡単な説明】
【００２３】
【図１】左映像の奇数の垂直ラインと右映像の偶数の垂直ラインとから統合合成映像を生成させる方法を示す図面である。
【図２】バリア状のディスプレイを用いて立体映像をディスプレイする原理を説明するための図面である。
【図３】既存の符号化された映像のデータに対するファイルフォーマットを示すブロック図である。
【図４】本発明の実施形態による符号化されたステレオスコピック映像データに対するファイルフォーマットを示すブロック図である。
【図５】図４のファイルフォーマットでカメラヘッダ部の細部構成を示すブロック図である。
【図６】図４のファイルフォーマットでコーデックヘッダ部の細部構成を示すブロック図である。
【図７】図４のファイルフォーマットでディスプレイヘッダ部の細部構成を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、添付図面を参照して、本発明の望ましい実施形態について詳細に説明する。後述する実施形態は、本発明の技術的思想を説明するための目的なので、本発明の技術的思想は、本実施形態によって限定されると解析されてはならない。
【００２５】
図４は、本発明の一実施形態による符号化されたステレオスコピック映像データに対するファイルフォーマットを示すブロック図である。
【００２６】
図４を参照すれば、本実施形態によるファイルフォーマット１００は、基本ヘッダ部１１０及び映像データ部１５０に、カメラヘッダ部１２０、コーデックヘッダ部１３０、及びディスプレイヘッダ部１４０のうち少なくとも一つのヘッダ部をさらに含む。このような本実施形態によるファイルフォーマット１００は、既存の符号化方法、例えば、ＪＰＥＧやＭＰＥＧ、Ｈ．２６４／ＡＶＣによって符号化された映像（モノスコピック映像またはマルチビュープロファイルによって符号化されたマルチビュー映像）のデータに対するファイルフォーマット（基本ヘッダ部１１０と映像データ部１５０）をそのまま利用するものであり、かつステレオスコピック映像のデコーディング及び／またはディスプレイに必要な追加情報を含めるためのヘッダ部（カメラヘッダ部１２０、コーデックヘッダ部１３０、及び／またはディスプレイヘッダ部１４０）をさらに含む。
【００２７】
一般的な符号化された映像のデータに対するファイルフォーマットでピクセルのイメージ情報が含まれる映像データ部１５０を除外した残りの部分は、いずれもヘッダ部Ａに分類することができる。したがって、本実施形態によるファイルフォーマット１００でカメラヘッダ部１２０、コーデックヘッダ部１３０、及びディスプレイヘッダ部１４０は、いずれも基本ヘッダ部１１０とともに一つのヘッダ部Ａを構成する。但し、図４で、各ヘッダ部１１０、１２０、１３０、１４０の区分は、任意的なものであって、単に説明の便宜のためのものである。
【００２８】
そして、本実施形態で使うヘッダ部の名称も、説明の便宜上の任意的なものである。本発明によれば、各ヘッダ部１２０、１３０、１４０に如何なる特性を有する情報を表わすデータ（これについては、図５、図６を参照して、後述する）が含まれるかが問題となるだけで、その具体的な名称は、各ヘッダ部に含まれる情報の特性やその他の関連規定によって適切に変更可能である。
【００２９】
そして、本実施形態によるファイルフォーマット１００で、前記ヘッダ部（Ｈｅａｄｅｒ  Ｕｎｉｔ、Ａ）は、基本ヘッダ部（Ｂａｓｉｃ  Ｈｅａｄｅｒ  Ｓｕｂ−ｕｎｉｔ）１１０の以外にカメラヘッダ部（Ｃａｍｅｒａ  Ｈｅａｄｅｒ  Ｓｕｂ−ｕｎｉｔ）１２０、コーデックヘッダ部（Ｃｏｄｅｃ  Ｈｅａｄｅｒ  Ｓｕｂ−ｕｎｉｔ）１３０、及びディスプレイヘッダ部（Ｄｉｓｐｌａｙ  Ｈｅａｄｅｒ  Ｓｕｂ−ｕｎｉｔ）１４０のうち少なくとも一つのヘッダ部をさらに含む。例えば、実施形態によって、前記ヘッダ部Ａは、基本ヘッダ部１１０とカメラヘッダ部１２０とで構成されるか、基本ヘッダ部１１０、カメラヘッダ部１２０、及びコーデックヘッダ部１３０で構成されるか、または基本ヘッダ部１１０、カメラヘッダ部１２０、コーデックヘッダ部１３０、及びディスプレイヘッダ部１４０で構成され、また他種の組合わせも可能である。
【００３０】
また、図４では、カメラヘッダ部１２０、コーデックヘッダ部１３０、及び／またはディスプレイヘッダ部１４０と基本ヘッダ部１１０とが互いに区分されて一定の順序によって配列されているが、これも単に説明の便宜のためのものである。したがって、実施形態によって、前記ヘッダ部Ａに含まれる構成要素の配列順序は変わりうる。そして、場合によっては、各ヘッダ部１１０、１２０、１３０、１４０の情報が他のヘッダ部の情報とともに同一のヘッダ部に含まれることもある。
【００３１】
以下、図４ないし図７を参照して、本発明の実施形態による符号化されたステレオスコピック映像データに対するファイルフォーマット１００に含まれる情報について詳細に説明する。ここで、図５、図６、及び図７は、それぞれ図４のファイルフォーマット１００でカメラヘッダ部１２０、コーデックヘッダ部１３０、及びディスプレイヘッダ部１４０の細部構成を示すためのブロック図である。
【００３２】
まず、基本ヘッダ部１１０と映像データ部１５０には、それぞれ従来の符号化された映像のデータに対するファイルフォーマット（例えば、図３参照）の基本ヘッダ部と映像データ部の情報とほぼ類似しているか、同一情報が含まれる。基本ヘッダ部１１０には、モノスコピック映像の符号化によって派生されるさまざまなメタデータが含まれるか、マルチビュープロファイルによるマルチビュー映像の符号化によって派生されるさまざまなメタデータが含まれうる。但し、後述するように、前記基本ヘッダ部１１０には、映像データ部１５０に含まれたイメージ情報が一般モノスコピック映像についてのものであるか、またはステレオスコピック映像についてのものであるかを識別するための情報がさらに含まれることもある。
【００３３】
そして、映像データ部１５０には、ステレオスコピック映像の各ピクセルまたはブロック単位の輝度、色差、形状についての情報と動き情報が含まれる。前記映像データ部１５０に含まれる情報は、例えば、モノスコピック映像を所定の符号化方法を用いて符号化したイメージ情報、統合合成映像の自体を所定の符号化方法を用いて符号化したイメージ情報、または既存のマルチビュープロファイルによって符号化したイメージ情報であり得る。
【００３４】
そして、カメラヘッダ部１２０には、ステレオスコピック映像の獲得に使われた左右カメラと関連した情報（Ｃａｍｅｒａ−ｒｅｌａｔｅｄ  Ｉｎｆｏｒｍａｔｉｏｎ）が含まれる。例えば、図５に図示されたような５種の情報（Ｃａ１ブロックないしＣａ５ブロック、これら各ブルロックに含まれる情報の具体的内容については後述する）のいずれもが含まれるか、またはこれらそれぞれは、左右カメラに対する独立的な情報であるので、前記５種の情報のうち一部の情報がカメラヘッダ部１２０に含まれうる。
【００３５】
Ｃａ１ブロックには、左映像と右映像とのイメージ情報の差（Ｉｍａｇｅ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｄｉｆｆｅｒｅｎｃｅ）、例えば、輝度（Ｙ）の差（Ｌｕｍｉｎａｎｃｅ  ｏｒ  Ｂｒｉｇｈｔｎｅｓｓ  Ｄｉｆｆｅｒｅｎｃｅ）及び色差（Ｃｂ、Ｃｒ）の差（Ｃｈｒｏｍｉｎａｎｃｅ  Ｄｉｆｆｅｒｅｎｃｅ）またはＲＧＢ値の差（Ｃｏｌｏｒ  Ｄｉｆｆｅｒｅｎｃｅ）を表わす情報、すなわち、ディスパリティ情報（Ｄｉｓｐａｒｉｔｙ  Ｉｎｆｏｒｍａｔｉｏｎ）が含まれる。一般的に所定の距離ほど離隔している左右カメラを用いて同一の被写体に対するステレオスコピック映像を撮影する場合に、照明（光源）の位置によって左右映像間にはイメージ情報の差が生じうる。例えば、左映像と右映像とのうち何れか一つの映像が他の映像に比べて相対的に明るさがさらに暗いか明るいことがあり、Ｃａ１ブロックには、このようなイメージ情報の差に関する情報が含まれる。
【００３６】
ステレオスコピック映像において、このようなイメージ情報の差は、符号化効率（圧縮効率）の側面でも、臨場感ある立体映像の再現のために、必ず考慮する必要がある。なぜならば、このようなイメージ情報の差が反映されない場合には、全体的にデータの発生量が増加し、またデータの損失によって立体映像の立体感を落とすことができるためである。
【００３７】
このような左右映像間のイメージ情報の差を符号化する一つの方法は、これを映像データ部１５０に含まれるイメージ情報として扱って符号化する方法である。例えば、左映像と右映像とをマルチビュープロファイルによって符号化する場合に、このようなディスパリティ情報は、二つの映像間の相関情報として映像データ部１５０に含まれて、ブロックやピクチャーまたはフレーム単位で符号化が実行される。しかし、このような符号化方式は、映像データ部１５０のデータ量を増加させてデータ圧縮率を落とし、一方に既存の符号化装置に前記ディスパリティ情報を符号化するための手段がさらに含まれるので、符号化装置の構成を複雑にさせる恐れがある。また、このような符号化方式は、統合合成映像自体を符号化する場合には、適用し難い短所があり、復号化装置では、ディスプレイ装置の解像度や性能に関係なく、常にこのようなディスパリティ情報を反映して立体映像を再現しなければならない硬直性がある。
【００３８】
したがって、本実施形態では、前記ディスパリティ情報をカメラヘッダ部１２０のＣａ１ブロックに含ませてヘッダ情報として伝送する。一般的な静止映像や動映像の場合、照明が時間によって急変しないので、所定の時間間隔で前記ディスパリティ情報をカメラヘッダ部１２０に含ませる場合には、それほど符号化効率を向上させることができる。そして、本実施形態によれば、ディスプレイ装置の解像度や性能を考慮して、画面補正を復号化装置で実行可能であるために、同一の復号化装置を多様な特性のディスプレイ装置でも使用が可能な長所がある。
【００３９】
前記ディスパリティ情報は、さまざまな方法で表現することが可能である。例えば、輝度（または、色差）に対するディスパリティの場合に左映像と右映像との平均値を求めてその相対的な差（例えば、左映像の平均輝度を基準とした右映像の平均輝度の相対的な値）や、または絶対的な差（例えば、左映像と右映像との平均輝度の差）をディスパリティ情報で表現することができる。そして、このような左右映像間の輝度の差は、所定の時間間隔で用いて測定して周期的にカメラヘッダ情報のＣａ１ブロックに含ませることができる。
【００４０】
Ｃａ２ブロックには、左右カメラの間の距離（Ｄｉｓｔａｎｃｅ  ｂｅｔｗｅｅｎ  Ｌｅｆｔ  Ｃａｍｅｒａ  ａｎｄ  Ｒｉｇｈｔ  Ｃａｍｅｒａ）に関する情報が含まれる。左右カメラの間の距離は、例えば、左側カメラの中央点と右側カメラの中央点との距離であり得るが、これにのみ限定されるものではない。そして、このような左右カメラの間の距離は、一般的に固定されている。しかし、ステレオスコピック映像の獲得するための撮影装置の特性によっては、前記距離が周期的にまたは任意的に減少するか、または増加し、この場合、Ｃａ２ブロックには、前記距離情報が周期的にまたは随時に含まれうる。
【００４１】
前記Ｃａ２ブロックに含まれる左右カメラの間の距離情報は、復号化装置が備えられたディスプレイ装置でのステレオスコピック映像の再構成において、立体映像の中心点を示す。そして、前記距離情報は、カメラと被写体との距離を示すことによって、ディスプレイされるステレオスコピック映像に対する臨場感ある立体感を再現することにも役に立つ。例えば、立体映像を見る視聴者に立体映像の視聴のための最適の距離情報を与えるか、被写体とカメラとの実際距離情報を提供することもできる。
【００４２】
Ｃａ３ブロックには、左右カメラを通じてキャプチャーされる映像の秒当たりフレーム数（ｆｒａｍｅ／ｓｅｃ、ｆｐｓ）に関する情報、すなわち、フレーム率（Ｆｒａｍｅ  Ｒａｔｅ）に関する情報が含まれる。前記フレーム率に関する情報は、例えば、左右カメラそれぞれのフレーム率を表わすか、または特定の基準（例えば、秒当たり３０フレーム）と差を示す場合に、その差を表わす情報（例えば、左側カメラを通じて秒当たり１０フレームがキャプチャーされた場合に、そのフレーム率を表わす１０という情報または前記基準値との差である２０に関する情報）であり得る。または、実施形態によっては、左右カメラの間のフレーム率の差値（例えば、左側カメラの秒当たりフレーム数が３０であり、右側カメラの秒当たりフレーム数が１０である場合、その差値である２０に関する情報）が、前記Ｃａ３ブロックに含まれることもある。このようなフレーム率に関する情報は、周期的にＣａ３ブロックに含ませて伝送するか、または必要な場合にのみＣａ３ブロックに追加して伝送することができる。
【００４３】
現在広く使われているデジタルカメラの場合に、ＣＭＯＳイメージセンサー（ＣＭＯＳＩｍａｇｅ  Ｓｅｎｓｏｒ）またはＣＣＤ（Ｃｈａｒｇｅｄ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）のような撮像装置を備えている。このようなデジタルカメラは、一般的に秒当たり３０フレームの映像をキャプチャーするように構成されているが、特殊な事情がある場合、例えば、照明が暗い場合には、これよりさらに少ないフレームの映像、例えば、秒当たり１５フレームまたは秒当たり１０フレーム以下で映像をキャプチャーすることもできる。特に、照明（光源）が一側に偏っている場合、例えば、左側に偏っている場合には、左側カメラの場合には照度が高くて秒当たり３０フレームの映像を作り出すが、右側カメラの場合には照度が低くて秒当たり１５フレームの映像の以外には作り出すことができない。
【００４４】
このような場合、左側カメラと右側カメラとでキャプチャーされるステレオスコピック映像の秒当たりフレーム数が異なるが、これを考慮せず、ディスプレイ装置で前記ステレオスコピック映像をそのまま再生する場合には、自然で臨場感ある立体映像を再現しにくい。したがって、符号化装置では、このような秒当たりフレーム数の差を補正した後、符号化処理を行うこともできるが、この場合に伝送されるデータ量が増加する短所がある。または、復号化装置で、このような秒当たりフレーム数の差を補正してステレオスコピック映像を復元した後、ディスプレイ装置を通じて再生する必要があり、そのためには、前述した各カメラ別の秒当たりフレーム数に関する情報が復号化装置が備えられたディスプレイ装置に伝送される必要がある。
【００４５】
前記Ｃａ３ブロックに含まれた秒当たりフレーム数に関する情報によってディスプレイ装置でステレオスコピック映像を補正する方法は、さまざまな方法で具現可能であり、本発明では、これに対して何らの制限がない。例えば、左側カメラの秒当たりフレーム数が３０フレームであり、右側カメラの秒当たりフレーム数が１５フレームである場合に、不足した１５フレームの右映像は、以前右映像のフレームを反復して再生するか、または以前映像と以後映像とを用いて不足した右映像のフレームを補間して再生することもできる。
【００４６】
Ｃａ４ブロックには、左映像と右映像との同期化に関する情報（Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ−ｒｅｌａｔｅｄ  Ｉｎｆｏｒｍａｔｉｏｎ）が含まれる。例えば、前述したように、左右各カメラの秒当たりフレーム数が異なる場合に、正確な立体映像の再現のためには、左右映像の同期化が必須である。そして、左右映像のデータ量に差がある場合には、左右映像間に符号化処理に必要な時間に多少の差が生じるか、または記録媒体に保存されているコンテンツを今後にディスプレイ装置で利用しようとする場合には、左右映像間の同期化のための情報が必要である。したがって、Ｃａ４ブロックに含まれる左映像と右映像との同期化に関する情報は、ディスプレイ装置で左映像と右映像との時間上の誤差を補正して、正確な立体映像の再現に助けを与える。
【００４７】
Ｃａ５ブロックには、ステレオスコピック映像をキャプチャーするのに使われる左右カメラの種類に関する情報が含まれる。前記カメラの種類に関する情報とは、例えば、カメラが完全高画質（Ｆｕｌｌ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ、Ｆｕｌｌ  ＨＤ）カメラであるか、ＨＤ級カメラであるか、またはＳＤ級カメラであるかのようなカメラの画質に関する情報及び／またはＣＣＤイメージセンサーやＣＭＯＳイメージセンサーのような撮像手段に関する情報であり、これにのみ限定されるものではない。このような左右カメラの種類に関する情報は、ディスプレイ装置で立体映像を再現するに当たって、画質の正確度や立体感をさらに正確に再現するのに助けを与える。
【００４８】
次いで、図４及び図６を参照して、本発明の実施形態による符号化されたステレオスコピック映像データに対するファイルフォーマット１００のコーデックヘッダ部１３０について説明する。
【００４９】
ファイルフォーマット１００のコーデックヘッダ部１３０には、ステレオスコピック映像の符号化と関連した情報が含まれる。例えば、図６に図示されたような３種の情報（Ｃｏ１ブロックないしＣｏ３ブロック、これら各ブロックに含まれる情報の具体的内容については後述する）のいずれもが含まれるか、またはこれらそれぞれはステレオスコピック映像の符号化に関連した独立的な情報であるので、前記３種の情報のうち一部の情報が含まれうる。
【００５０】
Ｃｏ１ブロックには、ディスプレイされる映像の種類に関する情報が含まれる。例えば、Ｃｏ１ブロックに含まれる情報は、映像データ部１５０に含まれるイメージ情報が、モノスコピック映像のディスプレイのためのものであるか、ステレオスコピック映像のディスプレイのためのものであるか、またはモノスコピック映像とステレオスコピック映像とのいずれもをディスプレイするためのものであるかを指示する情報であり得る。
【００５１】
このようなＣｏ１ブロックの情報は、映像データ部１５０に含まれるイメージ情報の種類をディスプレイ装置で識別するために使われる。そして、ディスプレイ装置では、現在受信されるイメージ情報または再生しようとするイメージ情報が、モノスコピック映像であるか、ステレオスコピック映像であるかを、可能な限り早く認識することが望ましく、そのために、前記Ｃｏ１ブロックの情報は、本実施形態によるデータ構造またはファイルフォーマット１００で可能な限り前方に配することもできる。例えば、実施形態によって、前記Ｃｏ１ブロックに含まれる情報は、基本ヘッダ部１１０に含ませることも可能である。
【００５２】
Ｃｏ２ブロックには、ディスプレイされる映像の構成方法に関する情報が含まれる。例えば、Ｃｏ１ブロックに含まれた情報が映像データ部１５０に含まれるイメージ情報がステレオスコピック映像であると指示する場合に、Ｃｏ２ブロックには、前記ステレオスコピック映像がどのように構成されたかを表わす情報が含まれうる。前述したように、ステレオスコピック映像は、統合合成映像を既存の符号化方法を用いて符号化するか、または左右映像のいずれもをマルチビュープロファイルによって符号化するさまざまな方法で符号化され、前記Ｃｏ２ブロックには、これについての情報が含まれうる。そして、バリア状のディスプレイ装置を用いて統合合成映像をディスプレイする場合に、前述したように統合合成映像は、さまざまな方法で構成可能であるが（例えば、左右映像が垂直ラインが交互に配列されたタイプであるか、または水平ラインが交互に配列されたタイプ）、Ｃｏ２ブロックには、これについての情報も含まれうる。
【００５３】
また、例えば、ディスプレイ装置で受信したコンテンツが左映像の全体と右映像の偶数番目の垂直ラインとを加えて作られたステレオスコピック映像であるとする。この場合、ディスプレイ装置では、左側映像を再生すれば、一般モノスコピック映像を見ることができ、受信されたコンテンツ全体を再生すれば、立体映像を見ることができる。すなわち、バリア状のディスプレイ装置の場合に、モノスコピック映像と立体映像とをいずれも見ることができるが、そのためには、受信された情報にモノスコピック映像と立体映像とを構成する方法に関する情報が含まれなければならない。したがって、このようなモノスコピック映像と立体映像とを構成する方法に関する情報も前記Ｃｏ２ブロックに含まれうる。
【００５４】
Ｃｏ３ブロックには、ステレオスコピック映像の符号化に使われた方法に関連した情報、例えば、コーデックの種類を表わす情報が含まれる。ここで、ステレオスコピック映像の符号化とは、左映像と右映像とをそれぞれ符号化するか、または統合合成映像を符号化することが該当される。このようなステレオスコピック映像は、既存のさまざまな方法、すなわち、ＪＰＥＧやＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＡＶＣ、ＶＣ−１のような多様なコーデック方法を使って符号化され、Ｃｏ３ブロックには、これについての情報が含まれる。このようなＣｏ３ブロックは、さまざまなコーデック方法を支援する復号化装置でステレオスコピック映像を復元するに当たって使うコーデック方法を指示するか、または特定コーデック方法のみ支援する復号化装置では、受信された映像データが、自身がデコーディングすることができるデータであるか否かを判断するのに利用されうる。したがって、このようなＣｏ３ブロックの情報も、前述したＣｏ１ブロックの情報と同様に、本実施形態によるデータ構造またはファイルフォーマット１００で可能な限り前方に配することもできる。
【００５５】
次いで、図４及び図７を参照して、本発明の実施形態による符号化されたステレオスコピック映像データに対するファイルフォーマット１００のディスプレイヘッダ部１４０について説明する。
【００５６】
本実施形態によるファイルフォーマット１００のディスプレイヘッダ部１４０には、ステレオスコピック映像のディスプレイ装置と関連した情報が含まれる。例えば、図７に図示されたような２種の情報（Ｄ１ブロック及びＤ２ブロック、これら各ブロックに含まれる情報の具体的内容については後述する）のいずれもが含まれるかまたはこれらそれぞれは符号化されたステレオスコピック映像の特性に関連した独立的な情報であるので、前記２種の情報のうち一つの情報のみが含まれうる。このようなディスプレイヘッダ部１４０は、例えば、バリア状のディスプレイ装置でバリアパターンと関連した情報が含まれうる。
【００５７】
Ｄ１ブロックには、ステレオスコピック映像が最適化されているバリアパターンの種類に関する情報が含まれる。前述したように、バリアパターンの種類は、１字状、鋸歯状、または対角線状があり得るが、Ｄ１ブロックには、これについての情報が含まれる。そして、Ｄ２ブロックには、ステレオスコピック映像が最適化されているバリアパターンの間隔に関する情報が含まれる。バリアパターンの間隔は、例えば、画面全体にかけて間隔が一定することもでき、画面の中央部分より画面の縁部の部分でのバリアパターンの間隔をさらに大きいか、またはさらに小さく形成することができるが、Ｄ２ブロックには、これについての情報が含まれる。
【００５８】
一般的に、左右カメラを通じて獲得したステレオスコピック映像を用いてコンテンツを製作する段階で、ディスプレイ装置のバリアパターンを勘案してイメージ情報を加工するか補正する過程、すなわち、コンテンツ製作の調整作業を経る。これは、現在さまざまな種類のバリアパターンが存在してまたバリアパターンの間隔もさまざまであることを考慮して、当該コンテンツを特定バリアパターンに最適化されてコンテンツに作るためである。もちろん、コンテンツのバリアパターンとディスプレイ装置のバリアパターンとが異なるために立体映像を見ることが不可能ではないが、前記バリアパターンが一致しなければ、立体映像の立体感や生動感が低下するしかない。したがって、Ｄ１ブロック及び／またはＤ２ブロックに含まれている情報は、ディスプレイ装置に受信されるコンテンツ（すなわち、映像データ部１５０に含まれるイメージ情報）が最適化されているバリアパターンに関する情報を知らせる。そして、ディスプレイ装置に備えられているバリアパターンが、Ｄ１ブロック及び／またはＤ２ブロックに含まれている情報が指示するバリアパターンと異なる場合には、ディスプレイ装置のバリアパターンに適するように映像データ部１５０に含まれるイメージ情報を補正してディスプレイさせることもできる。
【００５９】
以上、本発明の一実施形態について詳細に説明したが、このような実施形態は、単に例示的なものであって、本発明の技術思想はさまざまな方法で具現することが可能であるということは、当業者に自明である。
【産業上の利用可能性】
【００６０】
本発明は、ステレオスコピック映像の符号化及び／または復号化装置や、またはその装置を含むディスプレイ装置、及び携帯電話のようなモバイル装置が関連した産業全般に有用である。
【符号の説明】
【００６１】
１００：ファイルフォーマット
１１０：基本ヘッダ部
１２０：カメラヘッダ部
１３０：コーデックヘッダ部
１４０：ディスプレイヘッダ部
１５０：映像データ部
【図１】
2010503310.tif 000003
【図２】
2010503310.tif 000004
【図３】
2010503310.tif 000005
【図４】
2010503310.tif 000006
【図５】
2010503310.tif 000007
【図６】
2010503310.tif 000008
【図７】
2010503310.tif 000009
【国際調査報告】
2010503310.tif 000010
2010503310.tif 000011