(57)【要約】【課題】  効率的かつ機能的に２次元映像と３次元映像の双方の再生を可能とする３次元映像情報記録装置及びプログラムを提供する。【解決手段】  ＤＶＤビデオ規格に準拠した形式で、ディファレンシャルパック（Ｄ＿ＰＡＣＫ）１２という奥行き情報データをパック化してＭＰＥＧ多重化することにより、ディファレンシャルパック１２を用いれば３次元映像になり、用いなければＤＶＤビデオ規格として標準的な２次元映像が出力できるフォーマットとなる。  また、ＤＶＤビデオ規格に準拠した形式で、DVD-video zone２０とDVD-others zone２１にリンクした形式で奥行き情報データを記述することにより、３次元映像と２次元映像をＤＶＤビデオ規格互換で記録することができる。【選択図】  図４
2006140618.tif 000002
【特許請求の範囲】
【請求項１】
２次元映像のビデオオブジェクトを記録する手段と、
前記ビデオオブジェクトの特殊再生に用いる情報が記述されている管理情報を管理情報領域に記録する手段と、
２次元映像の各ピクチャの所定単位ごとに奥行きに関する情報を前記ビデオオブジェクトの映像とは別のストリームデータとして多重化して記録する手段と
を具備することを特徴とする３次元映像情報記録装置。
【請求項２】
２次元映像のビデオオブジェクトを記録する手段と、
前記ビデオオブジェクトの特殊再生に用いる情報が記述されている管理情報を管理情報領域に記録する手段と、
２次元映像の各ピクチャの所定単位ごとに奥行きに関する情報を前記管理情報領域とは別の３次元映像用の管理情報領域に記録する手段と
を具備することを特徴とする３次元映像情報記録装置。
【請求項３】
前記奥行きに関する情報は、２次元映像の各ピクチャの面内の画素差分符号化、予測符号化、ランレングス符号化もしくは２次元映像の各ピクチャの面内の直交変換を用いた符号化の少なくとも一つを用いて符号化をしてから記録をすることを特徴とする請求項１又は２に記載の３次元映像情報記録装置。
【請求項４】
２次元映像のビデオオブジェクトを記録媒体に記録させるステップと、
前記ビデオオブジェクトの特殊再生に用いる情報が記述されている管理情報を記録媒体の管理情報領域に記録させるステップと、
２次元映像の各ピクチャの所定単位ごとに奥行きに関する情報を前記ビデオオブジェクトの映像とは別のストリームデータとして多重化して記録媒体に記録させるステップと
をコンピュータに実行させるための３次元映像情報記録プログラム。
【請求項５】
２次元映像のビデオオブジェクトを記録媒体に記録させるステップと、
前記ビデオオブジェクトの特殊再生に用いる情報が記述されている管理情報を記録媒体の管理情報領域に記録させるステップと、
２次元映像の各ピクチャの所定単位ごとに奥行きに関する情報を記録媒体における前記管理情報領域とは別の３次元映像用の管理情報領域に記録させるステップと
をコンピュータに実行させるための３次元映像情報記録プログラム。
【請求項６】
前記奥行きに関する情報は、２次元映像の各ピクチャの面内の画素差分符号化、予測符号化、ランレングス符号化もしくは２次元映像の各ピクチャの面内の直交変換を用いた符号化の少なくとも一つを用いて符号化をしてから記録させることを特徴とする請求項４又は５に記載の３次元映像情報記録プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元映像情報の記録再生を、２次元映像情報と互換を保って好適に実現する３次元映像情報記録装置及びプログラムに関する。
【背景技術】
【０００２】
従来、例えば特許文献１には、対象物体に関するステレオ画像の相対応する両画素点間を結ぶエピポーラ線の方向とその直交する方向に関して両方向にそれぞれ相対応する両画素点を含むように画面上の２次元探索を行って視差ベクトルを求め、対象物体までの距離を計算する方法が開示されている。このような奥行きを抽出する方法により、立体画像表示に必要な奥行き情報を得ることが可能となってきている。
【０００３】
また、特許文献２においては、２眼立体映像のためのデータを、メインデータとしては従来の映像を、もう片方の視差画像をＭＰＥＧのプライベートストリーム、ユーザーエリアに補助データとして記録することで、２眼立体の映像データを記録する方法が開示されている。
【特許文献１】特開２０００−２８３５５号公報
【特許文献２】特開平９−３２７０４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献２に開示された方法では、補助データとして記録した画像は、メインに記録した画像からの差分データとして予測符号化されることなどから、片眼の画像の画質が良くなるという問題があり、シーンによって交互に切り替えるなどの工夫方法も開示されているが、本質的な改善とはいえなかった。
【０００５】
従来、空間を表現できる立体映像技術で表示再現できるコンテンツの立体的な映像の再生を、所謂ＤＶＤビデオ規格に互換性を持った状態で記録して、再生器で切り替えて、効率的かつ機能的に２次元映像と３次元映像の双方の再生をすることができる装置がなく、２次元映像と３次元映像の双方の再生を可能とする装置が要望されていた。
【０００６】
そこで本発明は、効率的かつ機能的に２次元映像と３次元映像の双方の再生を可能とする３次元映像情報記録装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の３次元映像情報記録装置は、２次元映像のビデオオブジェクトを記録する手段と、前記ビデオオブジェクトの特殊再生に用いる情報が記述されている管理情報を管理情報領域に記録する手段と、２次元映像の各ピクチャの所定単位ごとに奥行きに関する情報を前記ビデオオブジェクトの映像とは別のストリームデータとして多重化して記録する手段とを具備することを特徴とする。
【０００８】
また、本発明の３次元映像情報記録装置は、２次元映像のビデオオブジェクトを記録する手段と、前記ビデオオブジェクトの特殊再生に用いる情報が記述されている管理情報を管理情報領域に記録する手段と、２次元映像の各ピクチャの所定単位ごとに奥行きに関する情報を前記管理情報領域とは別の３次元映像用の管理情報領域に記録する手段とを具備することを特徴とする。
【０００９】
また、本発明の３次元映像情報記録装置は、前記奥行きに関する情報は、２次元映像の各ピクチャの面内の画素差分符号化、予測符号化、ランレングス符号化もしくは２次元映像の各ピクチャの面内の直交変換を用いた符号化の少なくとも一つを用いて符号化をしてから記録をすることを特徴とする。
【００１０】
また、本発明の３次元映像情報記録プログラムは、２次元映像のビデオオブジェクトを記録媒体に記録させるステップと、前記ビデオオブジェクトの特殊再生に用いる情報が記述されている管理情報を記録媒体の管理情報領域に記録させるステップと、２次元映像の各ピクチャの所定単位ごとに奥行きに関する情報を前記ビデオオブジェクトの映像とは別のストリームデータとして多重化して記録媒体に記録させるステップとをコンピュータに実行させることを特徴とする。
【００１１】
また、本発明の３次元映像情報記録プログラムは、２次元映像のビデオオブジェクトを記録媒体に記録させるステップと、前記ビデオオブジェクトの特殊再生に用いる情報が記述されている管理情報を記録媒体の管理情報領域に記録させるステップと、２次元映像の各ピクチャの所定単位ごとに奥行きに関する情報を記録媒体における前記管理情報領域とは別の３次元映像用の管理情報領域に記録させるステップとをコンピュータに実行させることを特徴とする。
【００１２】
また、本発明の３次元映像情報記録プログラムは、前記奥行きに関する情報は、２次元映像の各ピクチャの面内の画素差分符号化、予測符号化、ランレングス符号化もしくは２次元映像の各ピクチャの面内の直交変換を用いた符号化の少なくとも一つを用いて符号化をしてから記録させることを特徴とする。
【発明の効果】
【００１３】
本発明の３次元映像情報記録装置は、２次元映像の各ピクチャの所定単位ごとに奥行きに関する情報を、ビデオオブジェクトの映像とは別のストリームデータとして多重化して記録する手段を有し、所謂ＤＶＤビデオ規格に互換性を持った状態で記録することができるので、効率的かつ機能的に２次元映像と３次元映像の双方の再生を可能とするシステムを構築できる。
【００１４】
また、本発明の３次元映像情報記録装置は、２次元映像の各ピクチャの所定単位ごとに奥行きに関する情報を、管理情報領域とは別の３次元映像用の管理情報領域に記録する手段を有し、所謂ＤＶＤビデオ規格に互換性を持った状態で記録することができるので、効率的かつ機能的に２次元映像と３次元映像の双方の再生を可能とするシステムを構築できる。
【００１５】
また、本発明の３次元映像情報記録プログラムによれば、２次元映像の各ピクチャの所定単位ごとに奥行きに関する情報を、ビデオオブジェクトの映像とは別のストリームデータとして多重化して記録媒体に記録させるので、所謂ＤＶＤビデオ規格に互換性を持った状態で記録することができ、効率的かつ機能的に２次元映像と３次元映像の双方の再生を可能とするシステムを構築できる。
【００１６】
また、本発明の３次元映像情報記録プログラムによれば、２次元映像の各ピクチャの所定単位ごとに奥行きに関する情報を、記録媒体における管理情報領域とは別の３次元映像用の管理情報領域に記録させるので、所謂ＤＶＤビデオ規格に互換性を持った状態で記録することができ、効率的かつ機能的に２次元映像と３次元映像の双方の再生を可能とするシステムを構築できる。
【００１７】
また、奥行き情報をもつことで、２眼方式だけに限定されるなどの再生側の立体表示方式に依存しないでシステムを組むことも可能となる。また、奥行き情報から立体視するデータを作成するので、片眼だけ画像が劣化するなどの立体視における生体に与える影響も少ない安全なシステムを構築できる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態を図面を参照して説明する。
【００１９】
（実施例１）
本発明の３次元映像情報記録装置及びプログラムの実施例１を図１乃至図９に基づいて説明する。図１は本発明の実施例１の３次元映像情報記録装置の構成を示すブロック図、図２は撮像カメラ２台を用いるシステムの例を示す図、図３は２画面の視差を求めるためのエピポーラ拘束条件の説明図、図４は奥行き情報とＤＶＤとの互換フォーマット説明図、図５はＭＰＥＧが適用される符号化装置の構成を示すブロック図、図６は図５に示す符号化装置で符号化された符号化データを復号する復号化装置の構成を示すブロック図、図７−１〜図７−７はＭＰＥＧのビデオストリームビデオレイヤの説明表、図８はＭＰＥＧの多重化トランスポートストリームシステムレイヤの説明表、図９は図１に示す３次元映像情報記録装置を使用した３次元映像情報記録プログラムを示すフローチャートである。
【００２０】
図１に示すように、本実施例の３次元映像情報記録装置は、対象物体についての左画像及び右画像を撮像する左右一対の撮像カメラ１Ａ及び１Ｂと、撮像カメラ１Ａまたは１Ｂからの２次元画像等が入力され、画像圧縮を行うビデオ圧縮器２と、撮像カメラ１Ａ及び１Ｂで撮像した左画像及び右画像から視差ベクトルを抽出する視差ベクトル抽出器３と、視差ベクトルの大きさを計算し、奥行き情報を奥行き情報フォーマット器５に出力する奥行き距離算出器４と、奥行き情報をフォーマット化する奥行き情報フォーマット器５と、ビデオ圧縮器２で圧縮された奥行き情報を多重化する情報多重化器６と、多重化された情報を記録媒体８に記録する記録器７と、装置に設けられた各部を制御する制御部９とを備える。
【００２１】
図１に示す３次元映像情報記録装置において、まず、左右一対の撮像カメラ１Ａ及び１Ｂにより撮像された対象物体についての左画像Ｐｌ及び右画像Ｐｒは視差ベクトル抽出器３において、特開平９−３３２４９号公報に開示されている相関関数などの評価関数に従って、画素毎の対応付けが行われる。
【００２２】
ここで、２台の撮像カメラ１Ａ及び１Ｂはその光軸が同一Ｘ−Ｚ平面上に含まれるように配置される。正しく配置される限り、対応点の探索はエピポーラ線である走査線上のみ行えばよいが、実際には走査線上に１画素分も誤差なく配置されていることはむしろ少ない。そこで、左画像Ｐｌ及び右画像Ｐｒは視差ベクトル抽出器３でエピポーラ線方向である水平方向と、ある程度の垂直方向の視差ベクトルサーチ計算を行う。
【００２３】
エピポーラ線方向の計算方法を、図２及び図３を参照して説明する。２台の撮像カメラ１Ａ及び１Ｂは、図２に示すように対象物体１１に対して目の距離だけ離して並行に置き、得られるその２枚の画像に対して視差ベクトルを抽出し、奥行き情報を計算する。
【００２４】
例えば図３に示すように、予め判別されている対応点、もしくは非常に判別しやすい特徴点が、左画像Ｐｌには点Ｒ（Ｘｌ，Ｙｌ）に、右画像Ｐｒには点Ｓ（Ｘｒ，Ｙｒ）に存在していたとする。この２点Ｒ，Ｓを直線で結ぶことによりエピポーラ線Ｅｐの方向が求められる。
【００２５】
ここでは、エピポーラ線Ｅｐの方向はＸ軸方向線にほぼ平行であるから、基本的には水平の探索で求められる。例えば水平４画素垂直２画素の小ブロックの画素の差和や、差の２乗和などを評価パラメータとして、最小値になる位置をＸの位置で求める。カメラに垂直方向の設置誤差が考えられる場合には、エピポーラ線Ｅｐから角度θだけ傾斜していると仮定して水平探索範囲とＴａｎθの積で計算される程度の垂直方向の探索範囲拡大もやむを得ない。
【００２６】
設定された探索範囲内で探索を行い、探索は例えば左画像上の点Ｒ（Ｘｌ，Ｙｌ）と右画像上の点Ｓ（Ｘｒ，Ｙｒ）が対応した場合、点Ｒ（Ｘｌ，Ｙｌ）における視差ベクトルをＶ（Ｘｌ−Ｘｒ，Ｙｌ−Ｙｒ）と表す。このような視差ベクトルＶを、左画像上のすべてのマクロブロックについて求める。この処理を画面全体に渡って行い、最終的に選択された視差ベクトルＶを奥行き距離算出器４へ出力する。
【００２７】
奥行き距離算出器４は、視差ベクトルＶの大きさを計算し、例えば水平４画素垂直２画素の小ブロックと設定して探索し、位置を求める。得られた水平位置、垂直位置、奥行き方向を（Ｘ，Ｙ，Ｚ）として奥行き情報フォーマット器５へ出力する。
【００２８】
奥行き情報フォーマット器５では、小ブロックの中の奥行き情報を画素に展開する。小ブロックの画素はすべて同じ奥行き値としても良いし、隣り合う奥行きデータとの間で、わずかに滑らかに繋ぐような処理（例えばローパスフィルターなどを施す）をしても良い。画像１枚につき、左上から右下へラスター順番に画素の奥行きデータを並べてフォーマット化する。
【００２９】
図４にＤＶＤビデオ規格の概略のフォーマット例を示す。詳細は後述するが、ここではディファレンシャルパック（Ｄ＿ＰＡＣＫ）という奥行き情報を構成する２ｋＢのパックデータの中身を説明する。
【００３０】
ディファレンシャルパック（Ｄ＿ＰＡＣＫ）１２は複数集めると１フレームごとのデータになる。フレームレイヤ１３の始めにはスタートコード（ＳｔａｒｔＣｏｄｅ）１４があり、例えば１６進で０００００１ＦＦから始まるようにする。これは後述するデータ符号化に対して、ランレングス符号化や離散コサイン変換（ＤＣＴ）や可変長符号化器（ＶＬＣ）を用いてＭＰＥＧのように符号化する場合でも、スタートコード１４はその体系のデータとは区別できるよう特殊なデータを選んで作成してある。
【００３１】
スタートコード１４の後には、原理的には、以下のような４通りが考えられる。（１）各ピクセルの奥行き情報８ビットをラスター順番で記述する。（２）各ピクセルの値が同じ値を示す場合は、いくつ続いたかのラン長を７ビットで記述してからその値を示す。（３）各ピクセルを８ビットのグレースケール画像と見立てて、ＭＰＥＧのＩピクチャ画像と同じように符号化する。ただしこの場合には色信号がないので、ＭＰＥＧの符号化におけるマクロブロック（ＭＢ）の中身は６個の８×８のＤＣＴブロックを使用するのに対して、本発明ではＹ信号の４つのみとするように符号化する。（４）上記ＭＰＥＧの符号化に加えてＩピクチャ画像だけでなく、ＰピクチャやＢピクチャを用いて符号化する。図４はこのうち（２）を示している。
【００３２】
始めのＤＥ１５は奥行き情報が有効かどうかを示すもので、このフラッグが有効である場合には１を記述する。１の場合には、後に続く奥行き情報は有効となる。無効である場合には０を記述する。０の場合には後に続く奥行き情報は無効になり、奥行きは全く画素に対して変化がなく、後述するＯＦＦＳＥＴ値に均一にセットされる。
【００３３】
次のＯＦＦＳＥＴ１６は、奥行き情報のデータに対して−１２８から＋１２７までの値でＯＦＦＳＥＴを付けるものである。ＯＦＦＳＥＴをかけた後の奥行き情報データが、もし０から２５５領域を超える奥行き情報になった場合には、適宜リミッターを使用して奥行き情報のデータ幅を８ビットに抑える工夫をする。すなわち、ＤＥ１５を０としてＯＦＦＳＥＴ１６を０とすると、このフレームの全画素の奥行き情報はたとえ後述するようなフォーマットで何らかの奥行き情報が記述されていたとしても、すべて０とされることになる。
【００３４】
次に、NumOfSkipPixel１７で８ビット（１から２５６までのランレングス）を示し、その後にＺＰ１８で奥行き情報を−１２８から＋１２７までの値で示す。これは、例えば１００という奥行きデータを持つ画素が４つ続いたら、１００，１００，１００，１００と４回伝送するのではなく、NumOfSkipPixel＝４として、次にＺＰ＝１００とするだけで同様な情報を伝送することができるものである。
【００３５】
なお（２）の応用で、隣り合う画素の奥行きデータは非常に似ていることが多いので、差分をとって差分データを上記のように記録することも可能である。奥行き情報がより圧縮されて符号化効率が良くなることが期待される。また、ＭＰＥＧを用いればより符号化効率が良くなる。
【００３６】
ここで簡単にＭＰＥＧについて説明する。ＭＰＥＧは１９８８年、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２（国際標準化機構／国際電気標準化会合同技術委員会１／専門部会２、現在のＳＣ２９）に設立された動画像符号化標準を検討する組織の名称（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）の略称である。
【００３７】
ＭＰＥＧ１（ＭＰＥＧフェーズ１）は１．５Ｍｂｐｓ程度の蓄積メディアを対象とした標準で、静止画符号化を目的としたＪＰＥＧと、ＩＳＤＮのテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたＨ．２６１（ＣＣＩＴＴ ＳＧＸＶ、現在のＩＴＵ−Ｔ ＳＧ１５で標準化）の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは１９９３年８月、ＩＳＯ／ＩＥＣ １１１７２として成立している。
【００３８】
ＭＰＥＧ２（ＭＰＥＧフェーズ２）は通信や放送などの多様なアプリケーションに対応できるように汎用標準を目的として、１９９４年１１月ＩＳＯ／ＩＥＣ １３８１８，Ｈ．２６２として成立している。
【００３９】
ＭＰＥＧは幾つかの技術を組み合わせて作成されている。まず、動き補償器で復号化した画像と、入力画像との差分を取ることで時間冗長部分を削減する。
【００４０】
予測の方向は、過去、未来、過去と未来の両方からの３モード存在する。またこれらのモードは１６画素×１６画素のマクロブロック（ＭＢ）ごとに切り替えて使用できる。予測方向は入力画像に与えられたピクチャタイプによって決定される。過去からの予測と、予測をしないでそのマクロブロックを独立で符号化する２モード存在するのがＰピクチャである。また未来からの予測、過去からの予測、過去と未来の両方からの予測、独立で符号化するという４モードが存在するのがＢピクチャである。そして、すべてのマクロブロックが独立で符号化するのがＩピクチャである。
【００４１】
動き補償は、動き領域をマクロブロックごとにパターンマッチングを行ってハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何処からの予測かを示すＭＣ(Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ)モードとともにマクロブロックの付加情報として伝送される。
【００４２】
Ｉピクチャから次のＩピクチャの前のピクチャまでをＧＯＰ(Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ)といい、蓄積メディアなどで使用される場合には、一般に約１５ピクチャ程度が使用される。
【００４３】
図５はＭＰＥＧが適用される符号化装置の構成を示すブロック図である。この図５において、入力画像信号は演算器４１と後述する動き補償予測器５０に送られる。
【００４４】
演算器４１では、動き補償予測器５０にて復号化した画像信号と入力画像信号との差分が求められ、その差分画像信号がＤＣＴ器４２に送られる。
【００４５】
差分画像信号はＤＣＴ器４２において直交変換が行われる。ＤＣＴ(Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ)とは、余弦関数を積分核とした積分変換を有限空間への離散変換する直交変換である。ＭＰＥＧではマクロブロックを４分割し８×８のＤＣＴブロックに対して、２次元ＤＣＴを行う。一般にビデオ信号は低域成分が多く高域成分が少ないため、ＤＣＴを行うと係数が低域に集中する。
【００４６】
ＤＣＴされた画像データ（ＤＣＴ係数）は量子化器４３で量子化が行われる。量子化は量子化マトリックスという８×８の２次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、ＤＣＴ係数をその量子化値で除算する。デコーダーで逆量子化するときは量子化値で乗算することにより、元のＤＣＴ係数に近似している値を得ることになる。
【００４７】
量子化されたデータはＶＬＣ器４４で可変長符号化される。量子化された値のうち直流（ＤＣ）成分は予測符号化の１つであるＤＰＣＭ(ｄｉｆｆｅｒｅｎｔｉａｌ ｐｕｌｓｅ ｃｏｄｅ ｍｏｄｕｌａｔｉｏｎ)を使用する。また交流（ＡＣ）成分は低域から高域にジグザグスキャン（ｚｉｇｚａｇ ｓｃａｎ）を行い、ゼロのラン長及び有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。
【００４８】
可変長符号化されたデータは一時バッファ４５に蓄えられ、所定の転送レートで符号化データとして出力される。また、その出力されるデータのマクロブロック毎の発生符号量は、符号量制御器５１に送信され、目標符号量に対する発生符号量との誤差符号量を量子化器４３にフィードバックして量子化スケールを調整することで符号量制御される。
【００４９】
量子化された画像データは逆量子化器４６にて逆量子化、逆ＤＣＴ器４７にて逆ＤＣＴされ、一時画像メモリ４９に蓄えられた後、動き補償予測器５０において、差分画像を計算するためのリファレンスの復号化画像として使用される。
【００５０】
図６は図５に示す符号化装置で符号化された符号化データを復号する復号化装置の構成を示すブロック図である。この図６において、符号化されたストリームはバッファ５２にバッファリングされ、バッファ５２からのデータはＶＬＤ器５３に入力される。
【００５１】
ＶＬＤ器５３では可変長復号化され、直流（ＤＣ）成分および交流（ＡＣ）成分を得る。交流（ＡＣ）成分データは低域から高域にジグザグスキャンの順で８×８のマトリックスに配置する。このデータは逆量子化器５４に入力され、量子化マトリックスにて逆量子化される。逆量子化されたデータは逆ＤＣＴ器５５に入力され、逆ＤＣＴされ一時、画像データ（復号化データ）として出力される。
【００５２】
また、復号化データは一時、画像メモリ５７に蓄えられた後、動き補償予測器５８において、差分画像を計算するためのリファレンスの復号化画像として使用される。以上がＭＰＥＧの説明である。
【００５３】
一方、図１に示す本実施例の３次元映像情報記録装置の構成の説明を続けると、前述のような構成で、奥行きデータに１２８をオフセットして０から２５５のＹ信号と見立てて、ＭＰＥＧ圧縮を用いることができる。ＭＰＥＧのビットストリームのシンタックスでは、図７−６に示すMacroBlock layerの後ろから５行目の（Ａ）に記載した、
for ( i=0; i<6; i++ )
という部分を、本発明では、
for ( i=0; i<4; i++ )
とすることで、マクロブロックをＹ信号４つのみにすることができる。
【００５４】
即ち、次の図７−７に示すBlock layer の１０〜１４行目の（Ｂ）に対応する色差信号の処理部分が省略されることになる。
【００５５】
一方、撮像カメラ１Ｂ（もしくは１Ａ）の画像はビデオ圧縮器２へ出力される。ビデオ圧縮器２では、撮像カメラ１Ｂ（もしくは１Ａ）からの２次元画像、奥行き情報フォーマット器５からの奥行き情報が入力され、例えばＭＰＥＧ規格の画像圧縮が行われる。
【００５６】
なお、奥行き情報は、ＭＰＥＧの規定のなかで互換性の取れるような、ユーザーデータ領域やプライベートストリームにて出力する。
【００５７】
次に、ＭＰＥＧの規格に準拠しながら奥行き情報を記録する手段を説明する。このように圧縮された奥行き情報は、前述のように図４に示すディファレンシャルパック（Ｄ＿ＰＡＣＫ）１２という、例えば２ＫＢのパック構造にしてＭＰＥＧ多重化を行って、別のストリームとしてビデオやオーディオとともに多重化しても良いし、図７−４に示すＭＰＥＧビットストリームのPicture LayerのUser data領域に記述しても良い。また、フレームレイヤを１つのピクチャのuser dataに記録するようにしても良い。
【００５８】
例えばＭＰＥＧ画像圧縮の規格には、ピクチャレイヤ、ＧＯＰレイヤなどにそれぞれユーザーデータ領域が設定されている。これらはＭＰＥＧのシンタックスで映像音声とは関係ないデータを埋め込むことのできる所定のエリアとして設定されているuser_data、もしくはprivate_data_byte、もしくはユーザーが任意に設定できるprivate_streamなどのデータパケットに記録する。
【００５９】
例えばＭＰＥＧ１のビデオにおけるピクチャレイヤは、図７−４に示すように、スライスレイヤの手前で、user_data_start_codeを送った後にuser_dataを８ビット単位で記録することができるような仕組みが定義されている。また、ＭＰＥＧ２などの多重化トランスポートストリームのシステムレイヤにも図８に示すように、transport_private_data_flagに１を立てると、private_dataが存在することを明示することができ、データ長もトランスポートパケットをはみ出さないという制限のもとで、transport_private_data_lengthに設定したデータ長のprivate_dataを送信することができる。
【００６０】
これ以外にも、ＭＰＥＧシステムでユーザー固有のデータを記録する方法は、stream_id にprivate_streamを設定して専用のパケットを宣言することで送信するなど、仕組みは幾つか定義されており、本実施例における奥行き情報はこれらの領域にピクチャ毎記録することができ、どの仕組みを用いても良い。
【００６１】
ＭＰＥＧ１ビデオのuser_data を用いる例をもう少し詳細に説明する。user_data_start_codeはスライスレイヤの手前で0x000001B2とＭＰＥＧでは定義されている。そのコードを送った後に、ユーザーデータエリア内で本発明の認証に用いる関数値の存在を示す、予め一意に識別可能なコードである例えば0x0f0f0f0f2428fdaaのコードを送信する。このコードは他のアプリケーションでuser_dataを使う場合に識別する目的で記録するもので、コードの値は特に意味はない。そのコードの後に図４に示すフレームレイヤ構造をＭＰＥＧの１ピクチャ毎にピクチャレイヤにラスター順番に記録する。
【００６２】
このように情報多重化器６によって多重化されたデータは、記録器７によって記録媒体８に記録される。
【００６３】
次に、本実施例の３次元映像情報記録プログラムを図９に基づいて説明する。図９は図１に示す３次元映像情報記録装置を使用した３次元映像情報記録プログラムを示すフローチャートである。詳細なステップの処理内容は図１に示す３次元映像情報記録装置のブロック図の説明で記したものと同様なので、ここではステップの順番についてのみ簡単に説明する。
【００６４】
まず、ステップＳ１１０において、制御部９は、撮像カメラ１Ａ及び１Ｂからの画像データを視差ベクトル抽出器３へ所定の時間分入力させ、制御部９のメモリーに記憶させるように制御する。また、制御部９は、撮像カメラ１Ｂ（もしくは１Ａ）の画像をビデオ圧縮器２へ出力させる。
【００６５】
次に、ステップＳ１２０では、制御部９は、視差ベクトル抽出器３に入力された画像の視差ベクトルを抽出させるように制御する。ここでは前述の図１の説明で記した、エピポーラ線方向である水平方向と、ある程度の垂直方向の視差ベクトルサーチ計算を画像上のすべてのマクロブロックについて求めさせる。この処理を画面全体に渡って行い、最終的に選択された視差ベクトルＶを奥行き距離算出器４へ出力させる。
【００６６】
次に、ステップＳ１３０では、制御部９は、奥行き距離算出器４にマクロブロックの奥行き距離を計算させるように制御する。即ち、視差ベクトルの大きさを計算させ、例えば水平４画素垂直２画素の小ブロックと設定して探索して位置を求めさせる。そして、得られた水平位置、垂直位置、奥行き方向を（Ｘ，Ｙ，Ｚ）として奥行き情報フォーマット器５へ出力させる。
【００６７】
次に、ステップＳ１４０では、制御部９は、奥行き情報のフォーマット器５に奥行き距離算出器４から送られた奥行き情報を図４に示すフォーマット例のようにフォーマット化させるように制御する。
【００６８】
その後、ステップＳ１５０では、制御部９は、ビデオ圧縮器２に撮像カメラ１Ｂ（もしくは１Ａ）から入力された２次元画像と、奥行き情報フォーマット器５から入力された奥行き情報を圧縮させるように制御する。
【００６９】
次に、ステップＳ１６０では、制御部９は、ビデオ圧縮器２で圧縮された奥行き情報を情報多重化器６によってＭＰＥＧ多重化させるように制御する。例えば前述のように、図４に示すディファレンシャルパック１２という、２ｋＢのパック構造にしてＭＰＥＧ多重化を行って、別のストリームとしてビデオやオーディオとともに多重化させる。
【００７０】
次に、ステップＳ１７０では、制御部９は、情報多重化器６で多重化されたデータを記録器７によって所定の単位で記録媒体８に記録させるように制御する。ＤＶＤであれば２ｋＢが単位である。
【００７１】
そして、ステップＳ１８０では、制御部９は、撮像カメラ１Ａ及び１Ｂからの入力画像データがまだあるかどうかを判定し、これがある場合（ＹＥＳ）にはステップＳ１１０に戻り、これがない場合（ＮＯ）には、プログラムを終了する。
【００７２】
このように本実施例の３次元映像情報記録装置及びプログラムによれば、奥行き情報をＭＰＥＧ１ビデオのユーザーデータ領域に記録するので、ユーザーデータを用いなければ２次元映像が出力され、ユーザーデータを用いれば３次元映像が出力されるフォーマットとなり、効率的かつ機能的に２次元映像と３次元映像の双方の再生を可能とするシステムを構築できる。
【００７３】
次に、本実施例の３次元映像情報記録装置で３次元映像情報を記録した記録媒体８から３次元映像情報を再生する装置を、図１０に基づいて説明する。図１０は図１に示す３次元映像情報記録装置で記録媒体に記録した３次元映像情報を再生する３次元映像情報再生装置の構成を示すブロック図である。
【００７４】
まず、記録媒体８からデータを再生器６１にて読み取り、情報分離化器６２へ出力する。情報分離化器６２では、ビデオ信号と他の信号のパケットを分離し、ビデオ信号をビデオ復号器６３に出力する。ビデオ復号器６３ではビデオを復号すると同時に、ビデオのピクチャレイヤのユーザーデータを奥行き情報取り出し器６４に出力する。
【００７５】
そして、奥行き情報取り出し器６４ではユーザーデータから、図４に示すフォーマットで記録されている奥行き情報を取り出す。奥行き情報と復号されたビデオ信号は視野変換器６５に出力される。
【００７６】
次に、視野変換器６５では、奥行き情報と２次元の復号された画像から、立体画像表示器６６の立体表示方式に応じた視差画像生成を行う。
【００７７】
なお、図１０に示す３次元映像再生装置に設けられた各部は制御部６７により制御されている。
【００７８】
視差画像を生成するにはＣＧにおける座標系の変換方法に視野変換方式を用いる。これは、視点座標系への変換の式によって視点を変えた画像を得るもので、奥行き情報があれば自由な視点で生成することができる。
【００７９】
例えば、視点の座標を（ｘｉ，ｙｉ，ｚｉ）、注視点の座標を（ｘａ，ｙａ，ｚａ）とする。また、視点と注視点間の距離を（ｘｆ，ｙｆ，ｚｆ）とすると、
ｘｆ＝ｘｉ−ｘａ
ｙｆ＝ｙｉ−ｙａ
ｚｆ＝ｚｉ−ｚａ
となる。
【００８０】
まず、最初に平行移動により原点の位置を動かす。この変換をＴ１とする。Ｔ１は単に（−ｘａ，−ｙａ，−ｚａ）だけ平行移動する変換である。
【００８１】
次に、回転により座標値の向きを変える。図１１に示すように、ＯａからＯｆ方向のベクトルはＯａからｚ軸のベクトルをまずα角だけｙ軸に回転させ、次にβ角ｘ軸に回転させる。実際にはＯｆの座標値を動かすので回転方向が逆になり、ｙ軸に−α回転する変換をＴ２、ｘ軸に−β回転する変換をＴ３とする。
【００８２】
ここで、αはＯｆをｘｙ平面に投影した足とＯａとがなす角であるので、
【数１】
2006140618.tif 000003
【００８３】
となる。
【００８４】
また、βはＯａＯｆ間の長さ（ｘｆ２＋ｙｆ２）１/２とＯｆＯｆ’間の長さｙｆにより、
【数２】
2006140618.tif 000004
【００８５】
となる。
【００８６】
最後の変換は、ｘｙ平面に対してｚ軸の正方向が手前向きになるような座標系を、ｚ軸の方向を反転させる変換Ｔ４を行う。これは単にｚを−zにするだけである。
【００８７】
これらＴ１〜Ｔ４の４つの変換マトリクスを掛け合わせると、視点座標の変換マトリクスＴは、
【数３】
2006140618.tif 000005
【００８８】
となる。
【００８９】
例えば、立体画像表示器６６の立体表示方式がパララックスバリアを用いた２眼式立体表示方式であれば、視距離によって設定できるαをこの式に代入し、βやγは０とすることで、右目用と左目用の視差を持つ画像を生成することができる。
【００９０】
また、ＩＰ（Ｉｎｔｅｇｒａｌ Ｐｈｏｔｏｇｒａｐｈｙ：インテグラルフォトグラフィー、あるいはインテグラルイメージングともいう）であれば、複数のレンズアレイに対応した要素画像を、そのレンズ位置に対応したカメラで撮像したものを画像の大きさと共に、前記の視点座標の変換マトリクスを用いて計算して生成することができる。このようにして生成した立体画像データを立体画像表示器６６へ出力し立体画像再生を行う。
【００９１】
ここで、立体画像表示方式のうち代表的なパララックスバリア方式とＩＰ方式とを説明する。
【００９２】
パララックスバリアは液晶によって実現することができる。図１２はパララックスバリア方式の説明図である。これは、２枚の液晶パネルを積層するもので、一方の液晶パネル７１には細いスリット状の開口部があり、その裏側に適当な間隔をおいて他方の液晶パネル７２を配置する。液晶パネル７２には左右２眼分の画像を交互に配置し、所定の視点からこの開口部を通して見た場合に右目、左目に分離された画像を知覚できるものである。これによって右目、左目に違う画像を入力させることができるので、立体画像として知覚することができる。
【００９３】
しかしながら、目のピントは常に液晶パネル７１のスクリーン上に合わされているにも係わらず、像がこの位置とは違う場所に感じられることから、生理学的な不自然さを伴うことで、ユーザーが疲れやすい、映像酔いし易いなどの問題も指摘されており、近年は４つの立体視の生理的要因（（１）両眼視差：ある物体を見る際に、人間の左右の目はそれぞれ違った方向から見る２つの異なる像を捕らえている性質（２）ピント調節：見る対象からの距離の変化に伴って水晶体の厚さをコントロールしてレンズの厚みを変えるような性質（３）輻輳：遠い、近いの変化で眼球が内側に回転したり外側へ回転したりする動きを伴うという性質（４）運動視差：ユーザーが自分で動いたり見る角度を変えたりすることによる像の違いを見る性質）、輻輳調節矛盾（輻輳点とピントのあう位置の矛盾）を満たすような方式も提案されている。
【００９４】
その中でも有望なものとして、Ｌｉｐｐｍａｎｎが１９０８年に発表した方式がＩＰ方式である。ＩＰは、２次元的に配列したレンズアレイ（フライアイレンズ、蝿の目レンズ、複眼レンズなどともいう）を利用して物体の奥行き情報を取得するものである。
【００９５】
１９９０年代に入ると、従来の写真乾板による記録を電子技術で置き換えることによりＩＰによる動画を生成する技術が開発され、さらに、屈折率分布レンズアレイ（ＧＲＩＮレンズアレイともいう）とハイビジョンカメラを用いて被写体を撮像して要素画像群を取得しながら、各画像を液晶ディスプレイにリアルタイムに伝送して表示し、フライアイレンズにより空間上に結像することに成功し、ＩＰ方式による３次元テレビジョン放送の実現可能性が示された（ＮＨＫ放送技術研究所「３次元映像の基礎」  オーム社  １９９５年）。
【００９６】
図１３はＩＰ方式の原理の説明図である。図１３（ａ）に示すように、撮影時に微小な要素レンズ７３を多数並べて、微小カメラの１画素が１方向の光線の映像を撮影し、再生するときには図１３（ｂ）に示すように、微小カメラからの映像をＬＣＤ７４などで再現し、全部の微小カメラの１点ずつが集合して、全体として１方向から見た再生像をつくる。
【００９７】
微小な要素レンズ７３を２次元に並べることで水平垂直の運動視差を作り出すことも可能であり、水平方向に並べれば水平方向のみの視差を持たせることも可能である。
【００９８】
ＩＰ方式では複数のレンズを経由して見えた複数の要素画像を、この要素画像を奥行き情報をもとに視点変換にて作成し、その要素画像を配列に並べて、あたかも図１３（ａ）に示す方式で撮像したかのようにＬＣＤへ要素画像配列を表示することで立体視再生を実現する。
【００９９】
実際には、図１４に示すようにＬＣＤ７５のＩＰレンズアレイ７６を近接して構成し、２次元映像を見るのと同じような構成で薄いディスプレイとして設計する。
【０１００】
次に、図１０に示す３次元映像情報再生装置で３次元映像情報情報を再生する３次元映像情報再生プログラムを、図１５に示すフローチャートに基づいて説明する。詳細なステップの処理内容は図１０に示す３次元映像情報再生装置のブロック図の説明で記したものと同様なので、ここではステップの順番についてのみ簡単に説明する。
【０１０１】
まず、ステップＳ２１０では、制御部６７は、再生器６１に記録媒体８から多重化されたデータを読み取らせ、ステップＳ２２０では、制御部６７は、情報分離化器６２によってＭＰＥＧ分離化を行わせるように制御する。そして、ステップＳ２３０では、制御部６７は、ビデオ復号器６３に分離化された情報からビデオデータをビデオデータ復号化させるように制御する。
【０１０２】
そして、ステップＳ２４０では、制御部６７は、奥行き情報取り出し器６４に分離化された情報から奥行き情報を検出させるように制御する。
【０１０３】
次に、ステップＳ２５０では、制御部６７は、画素に対して持つ奥行き情報を使用して、視野変換器６５にビデオ画像の視野変換を行わせるように制御する。これは、視点座標系への変換の式によって視点を変えた画像を得るものである。
【０１０４】
その後、ステップＳ２６０では、制御部６７は、立体画像表示器６６にビデオの立体表示を行わせるように制御する。立体表示方式は、パララックスバリアを用いた２眼式立体表示方式でも、ＩＰ方式でも良い。
【０１０５】
そして、ステップＳ２７０では、制御部６７は、記録媒体８に表示画像データがまだあるかどうかを判定し、これがある場合（ＹＥＳ）にはステップＳ２１０に戻り、これがない場合（ＮＯ）には、プログラムを終了する。
【０１０６】
（実施例２）
本発明の３次元映像情報記録装置及びプログラムの実施例２を図１６に基づいて説明する。図１６は本発明の実施例２の３次元映像情報記録装置の構成を示すブロック図である。なお、図１６では、図１に示した実施例１の３次元映像情報記録装置の構成と同一構成には同一符号を付して説明する。
【０１０７】
図１６に示すように、本実施例の３次元映像情報記録装置は、対象物体についての左画像及び右画像を撮像する左右一対の撮像カメラ１Ａ及び１Ｂと、撮像カメラ１Ａまたは１Ｂからの２次元画像等が入力され、画像圧縮を行うビデオ圧縮器２と、撮像カメラ１Ａ及び１Ｂで撮像した左画像および右画像から視差ベクトルを抽出する視差ベクトル抽出器３と、視差ベクトルの大きさを計算し、奥行き情報を奥行き情報フォーマット器５に出力する奥行き距離算出器４と、奥行き情報をフォーマット化する奥行き情報フォーマット器５と、奥行き情報フォーマット器５からの出力をＤＶＤフォーマットに変換して記録器７に出力するＤＶＤフォーマット器１０と、ビデオ圧縮器２で圧縮された奥行き情報を多重化する情報多重化器６と、ＤＶＤフォーマット器１０と情報多重化器６からの情報を記録媒体８に記録する記録器７と、装置に設けられた各部を制御する制御部９とを備える。
【０１０８】
図１に示す３次元映像情報記録装置と同一構成のブロックの動作は同様であるが、図１４に示すように、奥行き情報フォーマット器５からの情報をＤＶＤフォーマット器１０に出力し、ＤＶＤフォーマット器１０で次に述べるＤＶＤフォーマットに変換して、記録器７に送り、記録媒体８に記録する。
【０１０９】
本実施例の３次元映像情報記録装置は、ＤＶＤビデオの規格に準拠する形式をとり、２次元映像の各ピクチャの所定単位ごとに奥行きに関する情報をビデオオブジェクトの映像とは別のストリームデータとして多重化して記録する手段を有する。
【０１１０】
ＤＶＤフォーマットは図４に示すように、ＤＶＤビデオには記録層がVolume spaceとして、Volume and File structure１９，DVD-video zone２０，DVD-others zone２１に分かれており、DVD-video zone２０にはビデオマネージャー（ＶＭＧ）２２、ビデオタイトルセット（ＶＴＳ）２３という構造が存在している。
【０１１１】
ビデオマネージャー２２はビデオマネージャーインフォメーションなどの後続するビデオタイトルセット２３の識別情報や様々な情報自体のスタートアドレスやエンドアドレス、どこのビデオストリームから再生を開始するかなどの情報が記述されている。ビデオタイトルセット２３には、再生されるべきオーディオやビデオのデータのアドレス情報や識別情報などのControl Data２４が記述されている。
【０１１２】
これらのビデオマネージャー２２やControl Data２４は、再生に必須な情報を記録した管理情報領域であり、この領域のデータはＤＶＤフォーマット器やＤＶＤフォーマットステップによって記録され、ＤＶＤフォーマット復号器やＤＶＤフォーマット復号ステップによって再生される。
【０１１３】
その後にビデオオブジェクトセット（ＶＯＢＳ）２５というビデオとオーディオの多重化されたＭＰＥＧストリームのセットがあり、さらにビデオオブジェクト（ＶＯＢ）２６という小単位のＭＰＥＧストリームがある。ビデオオブジェクト２６の下にはさらに細分化されたセル（ＣＥＬＬ）２７という単位、さらにはビデオオブジェクトユニット（ＶＯＢＵ）２８があり、これがＭＰＥＧストリームのグループオブピクチャ（ＧＯＰ）にほぼ相当する構造となっている。このビデオオブジェクトユニット２８の再生時間は、ビデオオブジェクトユニット２８中に含まれる単数又は複数個のＧＯＰから構成されるビデオデータの再生時間に相当し、その再生時間は０．４〜１．０秒程度のものである。
【０１１４】
ビデオオブジェクトユニット（ＶＯＢＵ）２８の中には、ナビゲーションパック（ＮＶ＿ＰＡＣＫ）２９、オーディオパック（Ａ＿ＰＡＣＫ）３０、ビデオパック（Ｖ＿ＰＡＣＫ）３１がそれぞれＭＰＥＧ多重化されている。先頭のナビゲーションパック２９にはストリームサーチ情報などが記述されている。また、ビデオパック３１にはビデオ圧縮データがパック化されたデータ、オーディオパック３０にはオーディオ圧縮データがパック化されたデータがある。
【０１１５】
次に、本実施例の３次元映像情報記録プログラムを図１７に基づいて説明する。図１７は図１６に示す３次元映像情報記録装置を使用した３次元映像情報記録プログラムを示すフローチャートである。詳細なステップの処理内容は図１及び図１６に示す３次元映像情報記録装置のブロック図の説明で記したものと同様なので、ここではステップの順番についてのみ簡単に説明する。
【０１１６】
まず、ステップＳ３１０〜Ｓ３６０では、図９に示すフローチャートのステップＳ１１０〜Ｓ１６０と同様の処理を行う。
【０１１７】
その後、ステップＳ３７０では、制御部９は、奥行き情報フォーマット器５でフォーマット化された奥行き情報を、ＤＶＤフォーマット器１０によって図４に示すＤＶＤフォーマットに変換させるように制御する。
【０１１８】
次に、ステップＳ３８０では、制御部９は、情報多重化器６で多重化されたデータとＤＶＤフォーマット器１０でＤＶＤフォーマットに変換されたデータとを、記録器７によって所定の単位で記録媒体８に記録させるように制御する。ＤＶＤであれば２ｋＢが単位である。
【０１１９】
そして、ステップＳ３９０では、制御部９は、撮像カメラ１Ａ及び１Ｂからの入力画像データがまだあるかどうかを判定し、これがある場合（ＹＥＳ）にはステップＳ３１０に戻り、これがない場合（ＮＯ）には、プログラムを終了する。
【０１２０】
このように本実施例の３次元映像情報記録装置及びプログラムによれば、ＤＶＤビデオ規格に準拠した形式で、ディファレンシャルパック（Ｄ＿ＰＡＣＫ）１２という前述した奥行き情報データをパック化してＭＰＥＧ多重化するので、ディファレンシャルパック１２を用いれば３次元映像になり、これを用いなければＤＶＤビデオ規格として標準的な２次元映像が出力できるフォーマットとなるので、効率的かつ機能的に２次元映像と３次元映像の双方の再生を可能とするシステムを構築できる。
【０１２１】
次に、本実施例の３次元映像情報記録装置で３次元映像情報を記録した記録媒体８から３次元映像情報を再生する装置を、図１８に基づいて説明する。図１８は図１６に示す３次元映像情報記録装置で記録媒体に記録した３次元映像情報を再生する３次元映像情報再生装置の構成を示すブロック図である。
【０１２２】
まず、記録媒体８からデータを再生器６１にて読み取り、ＤＶＤフォーマット復号器６８によってＤＶＤフォーマットからＭＰＥＧのストリームを抽出し、情報分離化器６２へ出力する。
【０１２３】
その後は実施例１で説明した、図１０に示す３次元映像情報再生装置と同様の処理を行い、立体画像表示器６６に出力再生する。
【０１２４】
次に、図１８に示す３次元映像情報再生装置で３次元映像情報を再生するプログラムを、図１９に示すフローチャートに基づいて説明する。詳細なステップの処理内容は図１０及び図１８に示す３次元映像情報再生装置のブロック図の説明で記したものと同様なので、ここではステップの順番についてのみ簡単に説明する。
【０１２５】
まず、ステップＳ４１０では、制御部６７は、再生器６１に記録媒体８から多重化されたデータを読み取らせ、ステップＳ４２０では、制御部６７は、ＤＶＤフォーマット復号器６８によってＤＶＤフォーマットを復号させるように制御する。
【０１２６】
その後、ステップＳ４３０〜Ｓ４８０は図１５に示すフローチャートのステップＳ２２０〜Ｓ２７０と同様の処理を行う。
【０１２７】
（実施例３）
本発明の３次元映像情報記録装置の実施例３を図２０に基づいて説明する。図２０は奥行き情報とＤＶＤとの互換フォーマット説明図である。なお、図２０では、図４に示したフォーマットの構成と同一構成には同一符号を付して説明する。
【０１２８】
本実施例の３次元映像情報記録装置は、ＤＶＤビデオの規格に準拠する形式をとり、２次元映像の各ピクチャの所定単位ごとに奥行きに関する情報を管理情報領域とは別の３次元映像用の管理情報領域に記録する手段を有する。これは、ＤＶＤビデオの規格に準拠する形式を取りながらも、ディファレンシャルパック（Ｄ＿ＰＡＣＫ）に記録するのではなく、DVD others zoneというＤＶＤ規格準拠の形式で、自由に使用できる領域に奥行き情報を記録するものである。
【０１２９】
なお、本実施例の３次元映像情報記録装置の構成は図１６に示す実施例２の３次元映像情報記録装置の構成と同様である。
【０１３０】
DVD-others zone２１にはビデオマネージャー（ＤＶＭＧ）８１、ビデオタイトルセット（ＤＶＴＳ）８２という構造を記述する。ビデオマネージャー８１はビデオマネージャーインフォメーションなど後続するビデオタイトルセット８２の識別情報や様々な情報自体のスタートアドレスやエンドアドレス、どこのビデオストリームから再生を開始するかなどの情報が記述されている。ビデオタイトルセット８２には、再生されるべきオーディオやビデオのデータのアドレス情報や識別情報などのControl Dataが記述されたＤＶＴＳインフォメーション（ＤＶＴＳＩ）８３がある。
【０１３１】
これらのビデオマネージャー８１やＤＶＴＳインフォメーション８３は、再生に必須な情報を記録した管理情報領域であり、この領域のデータはＤＶＤフォーマット器やＤＶＤフォーマットステップによって記録され、ＤＶＤフォーマット復号器やＤＶＤフォーマット復号ステップによって再生される。
【０１３２】
その後にビデオオブジェクトセット（ＤＶＯＢＳ）８４というビデオとオーディオの多重化されたＭＰＥＧストリームのセットがあり、さらにビデオオブジェクト（ＤＶＯＢ）８５という小単位のＭＰＥＧストリームがある。ビデオオブジェクト８５の下にはさらに細分化されたセル（ＤＣＥＬＬ）８６という単位、さらにはビデオオブジェクトユニット（ＤＶＯＢＵ）８７があり、奥行き情報のフレームレイヤの数フレームをまとめた構造になっている。
【０１３３】
DVD-video zone２０の２次元映像のデータと同じ構造とし、一つ一つのビデオオブジェクトユニット、セル、ビデオオブジェクトなどは同じフレーム枚数（同じ再生時間長）を持たせることで、サーチなどのアクセス性を高めることができる。
【０１３４】
このように本実施例の３次元映像情報記録装置によれば、ＤＶＤビデオ規格に準拠した形式で、DVD-video zone２０とDVD-others zone２１にリンクした形式で奥行き情報データを記述するので、３次元映像と２次元映像をＤＶＤビデオ規格互換で記録することができ、効率的かつ機能的に２次元映像と３次元映像の双方の再生を可能とするシステムを構築できる。
【０１３５】
なお、本実施例の３次元映像情報記録装置を使用した３次元映像情報記録プログラムは図１７に示すフローチャートと同様である。
【０１３６】
また、本実施例の３次元映像情報記録装置で３次元映像情報を記録した記録媒体８からの３次元映像の再生は、実施例２で図１８に示した３次元映像情報再生装置により行うことができ、本実施例の３次元映像情報再生装置で３次元映像情報を記録した記録媒体８から３次元映像情報を再生するプログラムは図１９に示すフローチャートと同様である。
【０１３７】
（実施例４）
本発明の３次元映像情報記録装置の実施例４を図２１に基づいて説明する。図２１は本発明の実施例４の３次元映像情報記録装置の構成を示すブロック図である。
【０１３８】
図２１に示すように、本実施例の３次元映像情報記録装置は、ＣＧをベースにして３次元ビデオデータを作成するものであり、ＣＧ画像を生成する画像信号生成器９２を内蔵するＣＰＵ９１と、画像信号生成器９２で生成されたＣＧ画像が入力され、画像圧縮を行うビデオ圧縮器２と、奥行き情報をフォーマット化する奥行き情報フォーマット器５と、ビデオ圧縮器２で圧縮された奥行き情報を多重化する情報多重化器６と、多重化された情報を記録媒体８に記録する記録器７と、装置に設けられた各部を制御する制御部９とを備える。
【０１３９】
ＣＧでは撮像のためのカメラを必要としないので、すべてＣＰＵ９１内で処理が行われる。ＣＰＵ９１の中に画像信号生成器９２があり、それぞれが専用のソフトにより起動される。ＣＧ画像データは基本的にはポリゴンなどの小サイズの画像に対し、位置の情報と奥行きの情報が予め備わっている。
【０１４０】
従って、先に説明した４×２のマクロブロックの相当するポリゴンの部分の位置情報は容易に計算が可能である。ビデオデータはビデオ圧縮器２に入力され、圧縮が施される。圧縮されたビデオデータは先の図１に示した実施例１の３次元映像情報記録装置と同様に、奥行き情報フォーマット器５によってフォーマット化された情報と共に、情報多重化器６によって多重化され、記録器７によって記録媒体８に記録される。
【０１４１】
本実施例の３次元映像情報記録装置によれば、ＣＧをベースにした３次元ビデオデータを作成し、奥行き情報をＭＰＥＧ１ビデオのユーザーデータ領域に記録するので、実施例１の３次元映像情報記録装置と同様の効果が得られる。
【０１４２】
（実施例５）
本発明の３次元映像情報記録装置の実施例５を図２２に基づいて説明する。図２２は本発明の実施例５の３次元映像情報記録装置の構成を示すブロック図である。
【０１４３】
図２２に示すように、本実施例の３次元映像情報記録装置は、画像を生成する画像信号生成器９２を内蔵するＣＰＵ９１と、画像信号生成器９２で生成されたＣＧ画像が入力され、画像圧縮を行うビデオ圧縮器２と、奥行き情報をフォーマット化する奥行き情報フォーマット器５と、奥行き情報フォーマット器５からの出力をフォーマットに変換して記録器７に送るＤＶＤフォーマット器１０と、ビデオ圧縮器２で圧縮された奥行き情報を多重化する情報多重化器６と、ＤＶＤフォーマット器１０と情報多重化器６からの出力を記録媒体８に記録する記録器７と、装置に設けられた各部を制御する制御部９とを備える。
【０１４４】
本実施例の３次元映像情報記録装置は、ＤＶＤビデオの規格に準拠する形式をとるもので、図２１に示す３次元映像情報記録装置と同一構成のブロックの動作は同様であるが、図２２に示すように、奥行き情報フォーマット器５からの出力をＤＶＤフォーマット器１０に入力し、図４や図２０に示すフォーマットにフォーマット化してから記録器７により記録媒体８に記録する。
【０１４５】
本実施例の３次元映像情報記録装置によれば、ＣＧをベースにした３次元ビデオデータを作成し、図４に示すようにＤＶＤフォーマット化すれば、ＤＶＤビデオ規格に準拠した形式で奥行き情報データをパック化してＭＰＥＧ多重化するので、実施例２の３次元映像情報記録装置と同様の効果が得られる。
【０１４６】
また、図２０に示すようにＤＶＤフォーマット化すれば、ＤＶＤビデオ規格に準拠した形式でDVD-video zone２０とDVD-others zone２１にリンクした形式で奥行き情報データを記述するので、実施例３と同様の効果が得られる。
【０１４７】
なお、実施例１〜５においては、最終的な情報は記録媒体に記録したが、通信や放送特有のパケット化を行い、図２３に示すように通信（放送）用パケット化器９３を経由して通信（放送）網９４に伝送するように構成することも容易である。この場合、通信や放送特有のパケット化がなされているパケット情報を受信して、図２４に示すように通信（放送）用パケット解除器９５を経由して通信（放送）網９４から受信再生することができる。
【０１４８】
また、上記説明では、立体映像表示方式はＩＰ方式やパララックスバリア方式で説明したが、レンチキュラーレンズ方式や、超多眼方式、偏向眼鏡を用いた２眼方式、アナグリフなど、立体知覚できる方式であれば良い。
【０１４９】
また、本発明の３次元映像情報記録プログラムは、コンピュータに実現させるようにしても良い。このプログラムは、記録媒体から読み取られてコンピュータに取り込まれても良いし、通信ネットワークを介して伝送されてコンピュータに取り込まれても良い。
【０１５０】
また、本発明では、記録媒体にデータを記録しなくても、通信、放送などあらゆる伝送媒体を経由してデータを送信することが可能で、その場合には記録装置は伝送装置として使用することもできる。また再生装置は受信装置として使用することも可能である。
【０１５１】
また、本発明の信号データを記録した記録媒体は、３次元映像の奥行き情報を記録してあるという媒体特有の効果があり、複数の立体映像再生方法に対応して３次元映像再生を可能とするシステムを好適に実現することができる。
【０１５２】
また、記録媒体は、媒体という定義はデータを記録できる媒体という、狭義な媒体というものだけでなく、信号データを伝送するための電磁波、光などを含む。また、記録媒体に記録されている情報は、記録されていない状態での電子ファイルなどのデータ自身を含むものとする。
【０１５３】
また、映像の奥行き情報は１ピクチャ毎に記録するように説明したが、０．５秒程度ごとでも１秒程度ごとでも良い。その場合には、ＭＰＥＧのＧＯＰレイヤのユーザーデータを用いることで実現できる。
【０１５４】
また、本発明はビデオを中心に記載したが、ビデオと共にオーディオデータが存在していてＭＰＥＧの多重化でオーディオとビデオが多重化されていても有効であり、オーディオやビデオに限らず、他のサブピクチャや制御情報などのデータがあっても同様である。
【図面の簡単な説明】
【０１５５】
【図１】本発明の実施例１の３次元映像情報記録装置の構成を示すブロック図である。
【図２】撮像カメラ２台を用いるシステムの例を示す図である。
【図３】２画面の視差を求めるためのエピポーラ拘束条件の説明図である。
【図４】実施例１における奥行き情報とＤＶＤとの互換フォーマット説明図である。
【図５】ＭＰＥＧが適用される符号化装置の構成を示すブロック図である。
【図６】図５に示す符号化装置で符号化された符号化データを復号する復号化装置の構成を示すブロック図である。
【図７−１】ＭＰＥＧのビデオストリームビデオレイヤの説明表（その１）である。
【図７−２】ＭＰＥＧのビデオストリームビデオレイヤの説明表（その２）である。
【図７−３】ＭＰＥＧのビデオストリームビデオレイヤの説明表（その３）である。
【図７−４】ＭＰＥＧのビデオストリームビデオレイヤの説明表（その４）である。
【図７−５】ＭＰＥＧのビデオストリームビデオレイヤの説明表（その５）である。
【図７−６】ＭＰＥＧのビデオストリームビデオレイヤの説明表（その６）である。
【図７−７】ＭＰＥＧのビデオストリームビデオレイヤの説明表（その７）である。
【図８】ＭＰＥＧの多重化トランスポートストリームシステムレイヤの説明表である。
【図９】本発明の実施例１の３次元映像情報記録プログラムを示すフローチャートである。
【図１０】図１に示す３次元映像情報記録装置で記録媒体に記録した３次元映像情報を再生する３次元映像情報再生装置の構成を示すブロック図である。
【図１１】視野変換を説明するベクトル図である。
【図１２】パララックスバリア方式の説明図である。
【図１３】ＩＰ方式の原理の説明図である。
【図１４】ＩＰ方式のディスプレイの説明図である。
【図１５】図１０に示す３次元映像情報再生装置で３次元映像情報情報を再生する３次元映像情報再生プログラムを示すフローチャートである。
【図１６】本発明の実施例２の３次元映像情報記録装置の構成を示すブロック図である。
【図１７】本発明の実施例２の３次元映像情報記録プログラムを示すフローチャートである。
【図１８】図１６に示す３次元映像情報記録装置で記録媒体に記録した３次元映像情報を再生する３次元映像情報再生装置の構成を示すブロック図である。
【図１９】図１８に示す３次元映像情報再生装置で３次元映像情報を再生するプログラムを示すフローチャートである。
【図２０】実施例３における奥行き情報とＤＶＤとの互換フォーマット説明図である。
【図２１】本発明の実施例４の３次元映像情報記録装置の構成を示すブロック図である。
【図２２】本発明の実施例５の３次元映像情報記録装置の構成を示すブロック図である。
【図２３】記録媒体に記録せずに通信（放送）網に伝送する構成を示すブロック図である。
【図２４】通信（放送）網から映像情報を再生する３次元映像情報再生装置の構成を示すブロック図である。
【符号の説明】
【０１５６】
１Ａ，１Ｂ    撮像カメラ
２    ビデオ圧縮器
３    視差ベクトル抽出器
４    奥行き距離算出器
５    奥行き情報フォーマット器
６    情報多重化器
７    記録器
８    記録媒体
９    制御部
１０    ＤＶＤフォーマット器
１２    ディファレンシャルパック（Ｄ＿ＰＡＣＫ）
１３    フレームレイヤ
１４    スタートコード
１５    ＤＥ
１６    ＯＦＦＳＥＴ
１７    NumOfSkipPixel
１８    ＺＰ
１９    Volume and File structure
２０    DVD-video zone
２１    DVD-others zone
２２    ビデオマネージャー（ＶＭＧ）
２３    ビデオタイトルセット（ＶＴＳ）
２４    Control Data
２５    ビデオオブジェクトセット（ＶＯＢＳ）
２６    ビデオオブジェクト（ＶＯＢ）
２７    セル（ＣＥＬＬ）
２８    ビデオオブジェクトユニット（ＶＯＢＵ）
２９    ナビゲーションパック（ＮＶ＿ＰＡＣＫ）
３０    オーディオパック（Ａ＿ＰＡＣＫ）
３１    ビデオパック（Ｖ＿ＰＡＣＫ）
６１    再生器
６２    情報分離化器
６３    ビデオ復号器
６４    奥行き情報取り出し器
６５    視野変換器
６６    立体画像表示器
６７    制御部
６８    ＤＶＤフォーマット復号器
８１    ビデオマネージャー（ＤＶＭＧ）
８２    ビデオタイトルセット（ＤＶＴＳ）
８３    ＤＶＴＳインフォメーション（ＤＶＴＳＩ）
８４    ビデオオブジェクトセット（ＤＶＯＢＳ）
８５    ビデオオブジェクト（ＤＶＯＢ）
８６    セル（ＤＣＥＬＬ）
８７    ビデオオブジェクトユニット（ＤＶＯＢＵ）
９１    ＣＰＵ
９２    画像信号生成器
９３    通信（放送）用パケット化器
９４    通信（放送）網
９５    通信（放送）用パケット解除器
【図１】
2006140618.tif 000006
【図２】
2006140618.tif 000007
【図３】
2006140618.tif 000008
【図４】
2006140618.tif 000009
【図５】
2006140618.tif 000010
【図６】
2006140618.tif 000011
【図７−１】
2006140618.tif 000012
【図７−２】
2006140618.tif 000013
【図７−３】
2006140618.tif 000014
【図７−４】
2006140618.tif 000015
【図７−５】
2006140618.tif 000016
【図７−６】
2006140618.tif 000017
【図７−７】
2006140618.tif 000018
【図８】
2006140618.tif 000019
【図９】
2006140618.tif 000020
【図１０】
2006140618.tif 000021
【図１１】
2006140618.tif 000022
【図１２】
2006140618.tif 000023
【図１３】
2006140618.tif 000024
【図１４】
2006140618.tif 000025
【図１５】
2006140618.tif 000026
【図１６】
2006140618.tif 000027
【図１７】
2006140618.tif 000028
【図１８】
2006140618.tif 000029
【図１９】
2006140618.tif 000030
【図２０】
2006140618.tif 000031
【図２１】
2006140618.tif 000032
【図２２】
2006140618.tif 000033
【図２３】
2006140618.tif 000034
【図２４】
2006140618.tif 000035