(57)【要約】【課題】  ノーマルオーディオと３次元音場の双方の再生を可能とする３次元音場情報記録装置及びプログラムを提供する。【解決手段】  ＤＶＤビデオ規格に準拠した形式で、ディファレンシャルパック（Ｄ＿ＰＡＣＫ）３８というバイノーラルオーディオデータパックとしてパック化してＭＰＥＧ多重化することにより、ディファレンシャルパック３８を用いればバイノーラル３次元音場オーディオが再生でき、用いなければＤＶＤビデオ規格として標準的なノーマルオーディオが出力できるフォーマットとなる。  また、ＤＶＤビデオ規格に準拠した形式で、DVD-video zone４０とDVD-others zone４１にリンクした形式でバイノーラル３次元音場オーディオ情報データを記述することにより、バイノーラル３次元音場オーディオとノーマルオーディオをＤＶＤビデオ規格互換で記録することができる。【選択図】  図４
2006139827.tif 000002
【特許請求の範囲】
【請求項１】
２次元音場オーディオのオーディオオブジェクトを記録する手段と、
前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を管理情報領域に記録する手段と、
前記２次元音場オーディオの各フレームの所定単位ごとに、３次元音場情報に関する情報を前記オーディオオブジェクトのユーザーデータ領域に記録する手段と
を具備することを特徴とする３次元音場情報記録装置。
【請求項２】
２次元音場オーディオのオーディオオブジェクトを記録する手段と、
前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を管理情報領域に記録する手段と、
前記２次元音場オーディオの各フレームの所定単位ごとに、３次元音場情報に関する情報を前記オーディオオブジェクトの前記２次元音場オーディオとは別のストリームデータとして多重化して記録する手段と
を具備することを特徴とする３次元音場情報記録装置。
【請求項３】
２次元音場オーディオのオーディオオブジェクトを記録する手段と、
前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を管理情報領域に記録する手段と、
前記２次元音場オーディオの各フレームの所定単位ごとに、３次元音場情報に関する情報を前記管理情報領域とは別の３次元音場用の管理情報領域に記録する手段と
を具備することを特徴とする３次元音場情報記録装置。
【請求項４】
前記３次元音場情報に関する情報は、２次元音場オーディオ情報とバイノーラルオーディオ情報との差分情報を差分符号化、予測符号化、もしくは直交変換を用いた符号化の少なくとも一つを用いて符号化をしてから記録をすることを特徴とする請求項１から３に記載の３次元音場情報記録装置。
【請求項５】
２次元音場オーディオのオーディオオブジェクトを記録媒体に記録させるステップと、
前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を記録媒体の管理情報領域に記録させるステップと、
前記２次元音場オーディオの各フレームの所定単位ごとに、３次元音場情報に関する情報を記録媒体における前記オーディオオブジェクトのユーザーデータ領域に記録させるステップと
をコンピュータに実行させるための３次元音場情報記録プログラム。
【請求項６】
２次元音場オーディオのオーディオオブジェクトを記録媒体に記録させるステップと、
前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を記録媒体の管理情報領域に記録させるステップと、
前記２次元音場オーディオの各フレームの所定単位ごとに、３次元音場情報に関する情報を前記オーディオオブジェクトの前記２次元音場オーディオとは別のストリームデータとして多重化して記録媒体に記録させるステップと
をコンピュータに実行させるための３次元音場情報記録プログラム。
【請求項７】
２次元音場オーディオのオーディオオブジェクトを記録媒体に記録させるステップと、
前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を記録媒体の管理情報領域に記録させるステップと、
前記２次元音場オーディオの各フレームの所定単位ごとに、３次元音場情報に関する情報を記録媒体における前記管理情報領域とは別の３次元音場用の管理情報領域に記録させるステップと
をコンピュータに実行させるための３次元音場情報記録プログラム。
【請求項８】
前記３次元音場情報に関する情報は、２次元音場オーディオ情報とバイノーラルオーディオ情報との差分情報を差分符号化、予測符号化、もしくは直交変換を用いた符号化の少なくとも一つを用いて符号化をしてから記録させることを特徴とする請求項５から７に記載の３次元音場情報記録プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元音場情報の記録再生を、２次元音場オーディオ情報と互換を保って好適に実現する３次元音場情報記録装置及びプログラムに関する。
【背景技術】
【０００２】
従来、いくつかの方式で３次元音場に関する技術、即ち、スピーカーのないところからあたかもスピーカーがあるように音を定位させて再生する技術が提案されている。また、ＤＶＤビデオ、ＤＶＤオーディオなどの規格に関する技術も提案されている。
【０００３】
例えば、３次元バーチャルリアリティシステム等において、仮想体験による臨場感を向上させる手段として、音像定位装置が使用されている。この種のシステムでは、例えばモノラル音源からバイノーラル手法に基づいて、時間差、振幅差及び周波数特性差を持つ複数チャネルの信号を発生させることにより、聴感上、方向感及び距離感を与えて立体音場を生成する。
【０００４】
即ち、オーディオ入力信号は、例えばノッチフィルタにより特定の周波数成分が減衰されて上下方向感が付与され、遅延回路によって時間差を持つ左右チャネルの信号に変換され、ＦＩＲ（有限インパルス応答）フィルタにより、仮想音源位置からの音響伝達特性が付与される。ＦＩＲフィルタのフィルタ係数は、予めダミーヘッドにより測定された頭部伝達関数（ＨＲＴＦ：Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）を記憶したＨＲＴＦデータベースから与えられる。
【０００５】
このような従来の音像定位装置では、すべての仮想音源位置からのＨＲＴＦを記憶しておくことは不可能であるため、通常はリスナから所定距離だけ離れた位置からの伝達特性のみを測定して記憶することで発生する所定外の距離における各耳で感じる音像が一致せず良好に定位しないという問題を解決するために、リスナから前記所定距離とは異なる距離だけ隔てた位置が仮想音源位置として指定された際、その指定された仮想音源位置により特定される伝達距離及び伝達方向とリスナの両耳間の距離とに基づいて前記仮想音源位置から前記リスナの各耳に至る右チャネルの伝達方向と左チャネルの伝達方向とをそれぞれ算出し、これら左右チャンネルの伝達方向により前記左右チャネル用のフィルタの音響伝達特性をそれぞれ決定する技術が特許文献１に開示されている。
【０００６】
また、特許文献２には、ＤＶＤビデオやＤＶＤオーディオのフォーマットに互換性を持って独自のデータを記述する方法の一例が開示されている。
【特許文献１】特開平１０−１７４２００号公報
【特許文献２】特開平１１−１７８０９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来、３次元音場情報を記録再生する際に、ノーマルなノーマルオーディオ情報と互換を保って３次元音場情報再生を可能とするフォーマットを提供し、空間音響の空間定位技術を用いた音響の再生を、既存のＤＶＤビデオ規格やＤＶＤオーディオのようにステレオ再生を含む従来再生方法と互換性を持って記録再生することができる装置がなく、ノーマルオーディオと３次元音場の双方の再生を可能とする装置が要望されていた。ここでいうノーマルオーディオとは、３次元音場オーディオ以外のものと定義する。例えば、通常のステレオオーディオである。
【０００８】
そこで本発明は、ステレオ再生を含む従来再生方法と互換性を持ってノーマルオーディオと３次元音場の双方の再生を可能とする３次元音場情報記録装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の３次元音場情報記録装置は、２次元音場オーディオのオーディオオブジェクトを記録する手段と、前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を管理情報領域に記録する手段と、前記２次元音場オーディオの各フレームの所定単位ごとに、３次元音場情報に関する情報を前記オーディオオブジェクトのユーザーデータ領域に記録する手段とを具備することを特徴とする。
【００１０】
また、本発明の３次元音場情報記録装置は、２次元音場オーディオのオーディオオブジェクトを記録する手段と、前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を管理情報領域に記録する手段と、前記２次元音場オーディオの各フレームの所定単位ごとに、３次元音場情報に関する情報を前記オーディオオブジェクトの前記２次元音場オーディオとは別のストリームデータとして多重化して記録する手段とを具備することを特徴とする。
【００１１】
また、本発明の３次元音場情報記録装置は、２次元音場オーディオのオーディオオブジェクトを記録する手段と、前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を管理情報領域に記録する手段と、前記２次元音場オーディオの各フレームの所定単位ごとに、３次元音場情報に関する情報を前記管理情報領域とは別の３次元音場用の管理情報領域に記録する手段とを具備することを特徴とする。
【００１２】
また、本発明の３次元音場情報記録装置は、前記３次元音場情報に関する情報は、２次元音場オーディオ情報とバイノーラルオーディオ情報との差分情報を差分符号化、予測符号化、もしくは直交変換を用いた符号化の少なくとも一つを用いて符号化をしてから記録をすることを特徴とする。
【００１３】
また、本発明の３次元音場情報記録プログラムは、２次元音場オーディオのオーディオオブジェクトを記録媒体に記録させるステップと、前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を記録媒体の管理情報領域に記録させるステップと、前記２次元音場オーディオの各フレームの所定単位ごとに、３次元音場情報に関する情報を記録媒体における前記オーディオオブジェクトのユーザーデータ領域に記録させるステップとをコンピュータに実行させることを特徴とする。
【００１４】
また、本発明の３次元音場情報記録プログラムは、２次元音場オーディオのオーディオオブジェクトを記録媒体に記録させるステップと、前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を記録媒体の管理情報領域に記録させるステップと、前記２次元音場オーディオの各フレームの所定単位ごとに、３次元音場情報に関する情報を前記オーディオオブジェクトの前記２次元音場オーディオとは別のストリームデータとして多重化して記録媒体に記録させるステップとをコンピュータに実行させることを特徴とする。
【００１５】
また、本発明の３次元音場情報記録プログラムは、２次元音場オーディオのオーディオオブジェクトを記録媒体に記録させるステップと、前記オーディオオブジェクトの特殊再生に用いる情報が記述されている管理情報を記録媒体の管理情報領域に記録させるステップと、前記２次元音場オーディオの各フレームの所定単位ごとに、３次元音場情報に関する情報を記録媒体における前記管理情報領域とは別の３次元音場用の管理情報領域に記録させるステップとをコンピュータに実行させることを特徴とする。
【００１６】
また、本発明の３次元音場情報記録プログラムは、前記３次元音場情報に関する情報は、２次元音場オーディオ情報とバイノーラルオーディオ情報との差分情報を差分符号化、予測符号化、もしくは直交変換を用いた符号化の少なくとも一つを用いて符号化をしてから記録させることを特徴とする。
【発明の効果】
【００１７】
本発明の３次元音場情報記録装置は、２次元音場オーディオの各フレームの所定単位ごとに、３次元音場情報に関する情報をオーディオオブジェクトのユーザーデータ領域に記録する手段を有するので、バイノーラル３次元音場オーディオと２次元音場オーディオをＤＶＤビデオ規格互換で記録することができ、３次元音場情報を２次元音場情報と互換を保って記録再生することができる。
【００１８】
また、本発明の３次元音場情報記録装置は、２次元音場オーディオの各フレームの所定単位ごとに、３次元音場情報に関する情報を前記オーディオオブジェクトの前記２次元音場オーディオとは別のストリームデータとして多重化して記録する手段を有するので、バイノーラル３次元音場オーディオと２次元音場オーディオをＤＶＤビデオ規格互換で記録することができ、３次元音場情報を２次元音場情報と互換を保って記録再生することができる。
【００１９】
また、本発明の３次元音場情報記録装置は、２次元音場オーディオの各フレームの所定単位ごとに、３次元音場情報に関する情報を前記管理情報領域とは別の３次元音場用の管理情報領域に記録する手段を有するので、バイノーラル３次元音場オーディオと２次元音場オーディオをＤＶＤビデオ規格互換で記録することができ、３次元音場情報を２次元音場情報と互換を保って記録再生することができる。
【００２０】
また、本発明の３次元音場情報記録プログラムによれば、２次元音場オーディオの各フレームの所定単位ごとに、３次元音場情報に関する情報を記録媒体におけるオーディオオブジェクトのユーザーデータ領域に記録するので、バイノーラル３次元音場オーディオと２次元音場オーディオをＤＶＤビデオ規格互換で記録することができ、３次元音場情報を２次元音場情報と互換を保って記録再生することができる。
【００２１】
また、本発明の３次元音場情報記録装置プログラムによれば、２次元音場オーディオの各フレームの所定単位ごとに、３次元音場情報に関する情報を前記オーディオオブジェクトの前記２次元音場オーディオとは別のストリームデータとして多重化して記録媒体に記録するので、バイノーラル３次元音場オーディオと２次元音場オーディオをＤＶＤビデオ規格互換で記録することができ、３次元音場情報を２次元音場情報と互換を保って記録再生することができる。
【００２２】
また、本発明の３次元音場情報記録装置プログラムによれば、２次元音場オーディオの各フレームの所定単位ごとに、３次元音場情報に関する情報を記録媒体における前記管理情報領域とは別の３次元音場用の管理情報領域に記録するので、バイノーラル３次元音場オーディオと２次元音場オーディオをＤＶＤビデオ規格互換で記録することができ、３次元音場情報を２次元音場オーディオ情報と互換を保って記録再生することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態を図面を参照して説明する。
【００２４】
（実施例１）
本発明の３次元音場情報記録装置及びプログラムの実施例１を図１乃至図５に基づいて説明する。図１は本発明の実施例１の３次元音場情報記録装置の構成を示すブロック図、図２はＡＡＣ符号化装置の構成を示すブロック図、図３はグルーピングの一例を示す図、図４は本実施例においてＤＶＤに応用するフォーマットを示す説明図、図５は図１に示す３次元映像情報記録装置を使用した３次元映像情報記録プログラムを示すフローチャートである。
【００２５】
図１に示すように、本実施例の３次元音場情報記録装置は、ノーマルなオーディオ情報を収録するノーマルオーディオマイク１と、バイノーラル収録を行うバイノーラルオーディオマイク２と、ノーマルオーディオマイク１によって収録されたノーマルオーディオデータを圧縮するノーマルオーディオ圧縮器３と、ノーマルオーディオ圧縮器３によって圧縮されたノーマルオーディオ圧縮データを一時的にバッファリングするバッファ４と、ノーマルオーディオ圧縮データを復号するノーマルオーディオ復号器５と、ノーマルオーディオ復号器５によって復号されたデータをバイノーラルオーディオデータから減算して差分バイノーラルオーディオデータを作成する演算器６と、差分バイノーラルオーディオデータを圧縮する差分バイノーラルオーディオ圧縮器７と、差分バイノーラルオーディオ圧縮器７によって圧縮された差分バイノーラルオーディオ圧縮データを一時的にバッファリングするバッファ８と、ビデオ信号を出力するカメラ９と、ビデオ信号を圧縮するビデオ圧縮器１０と、ビデオ圧縮器１０によって圧縮されたビデオ圧縮データを一時的にバッファリングするバッファ１１と、バッファリングされているビデオ圧縮データ、ノーマルオーディオ圧縮データ、差分バイノーラルオーディオ圧縮データを多重化する情報多重化器１２と、タイムスタンプを情報多重化器１２に入力するタイムスタンプ発生器１３と、情報多重器１２によって多重化されたストリームをＤＶＤの規格に準拠した形式にフォーマット化するＤＶＤフォーマット化器１４と、フォーマット化されたストリームを記録媒体１６に記録する記録器１５と、装置に設けられた各部を制御する制御部１７とを備える。
【００２６】
図１に示す３次元音場情報記録装置において、まず、ノーマルオーディオマイク１によってノーマルなオーディオ情報を収録する。ここでいうノーマルオーディオとは、３次元音場オーディオ以外のものと定義する。例えば、通常のステレオオーディオである。
【００２７】
それと同時にバイノーラルオーディオマイク２によって、バイノーラル収録を行う。バイノーラル収録はダミーヘッドなどを用いて行う。
【００２８】
ノーマルオーディオマイク１によって収録されたノーマルオーディオデータは、ノーマルオーディオ圧縮器３によって圧縮される。圧縮方式は、ＭＰＥＧ方式でも他の方式でも良い。
【００２９】
ノーマルオーディオ圧縮器３によって圧縮されたノーマルオーディオ圧縮データは後述するビデオ圧縮データや、差分バイノーラルオーディオ圧縮データとの同期を取るためにバッファ４に一時的にバッファリングされる。またノーマルオーディオ圧縮データはノーマルオーディオ復号器５によって復号され、バイノーラルオーディオデータから減算されて差分バイノーラルオーディオデータを作成し、差分バイノーラルオーディオ圧縮器７に入力される。
【００３０】
差分バイノーラルオーディオ圧縮器７では、差分バイノーラルオーディオデータが圧縮される。圧縮方式は、ＭＰＥＧ方式でも他の方式でも良い。ＡＡＣ方式などは可変長符号化を用いて非常に圧縮効率が良いものであり、本実施例では好適なアルゴリズムといえる。
【００３１】
ＡＡＣ符号化装置を以下に簡単に説明する。ＡＡＣ符号化装置の構成は図２に示すような機能部からなっている。
【００３２】
まず、オーディオ信号が所定サンプル数からなるフレーム単位で聴覚心理分析器２１とＭＤＣＴ（変形離散コサイン変換：Ｍｏｄｉｆｉｅｄ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）器２２へ取り込まれる。
【００３３】
そして、聴覚心理分析器２１では、入力オーディオ信号に対して高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を行って周波数スペクトルを求め、その周波数スペクトルに基づいて聴覚上のマスキングを演算し、予め設定された周波数帯域毎の許容量子化雑音電力と聴覚心理パラメータを算出すると共に、その聴覚心理パラメータに基づいてＭＤＣＴのための変換ブロック長を決定する。
【００３４】
一方、ＭＤＣＴ器２２では、入力オーディオ信号に対してＭＤＣＴを行って周波数スペクトルに変換し、各周波数スペクトルに係るＭＤＣＴ係数を求める。その場合、ＭＤＣＴ器２２は、周波数スペクトルへの変換に際して、その変換ブロック長を５０％ずつオーバーラップさせ、例えば、２０４８サンプルを１０２４本のＭＤＣＴ係数に変換する。
【００３５】
また、ＭＤＣＴ器２２は、聴覚心理分析器２１から得られる変換ブロック長情報に基づいてＭＤＣＴの対象となるブロック長を長い変換ブロック（ロングブロック）又は短い変換ブロック（ショートブロック）に切り替えるためのブロックスイッチング機能を採用している。これは、一般に長い変換ブロック長を用いる方がスペクトルの集中度が高まるので効率的なビット配分を行えるが、周波数領域での量子化雑音は時間領域に戻された時に変換ブロック長全体に広がるため、静寂部の後で急峻な立ち上がり（アタック部）を有するような波形を長いブロック長で変換して量子化すると、その量子化雑音が静寂部まで広がることになり、聴覚上極めて耳障りなものとなるからである。
【００３６】
即ち、ＭＤＣＴ器２２は、聴覚心理分析器２１から得た変換ブロック長情報に基づいて変換ブロック長を選択し、特に、アタック部の前後では長い変換ブロックから複数個の短い変換ブロックに切り替えるようにしている。
【００３７】
例えば、定常的な信号の場合には、ＭＤＣＴの変換ブロック長は２０４８サンプルのロングブロックとして１０２４本のＭＤＣＴ係数に変換し、一方、過渡的な信号の場合には、２５６サンプルのショートブロックとして１２８本のＭＤＣＴ係数に変換する。そして、ショートブロックについては、８個連続で短い変換長を選択することとし、出力されるＭＤＣＴ係数の本数を１０２４本としてロングブロックと一致させるようにしている。
【００３８】
次に、量子化器２３では、人間の聴覚特性に基づいて周波数帯域毎に１０２４本のＭＤＣＴ係数を複数のスケールファクタバンドに分け、スケールファクタバンド毎にＭＤＣＴ係数を正規化して量子化を行う。その際に、ショートブロックの場合には１２８本のＭＤＣＴ係数を複数のスケールファクタバンドに分ける。
【００３９】
また、各スケールファクタバンドについて計算された量子化雑音が、聴覚心理分析器２１で算出された許容量子化雑音電力よりも大きくならないように、各スケールファクタバンドの量子化ステップ数を制御し、且つ量子化に必要なビット数がフレーム単位で所定ビット数以内に収まるように全体の量子化ステップ数を制御して量子化を実行する。
【００４０】
なお、スケールファクタバンドの量子化ステップ数とは、各周波数帯域内のサンプルデータを波形と倍率に分離し、波形の最大振幅が１.０となるように正規化して倍率を符号化したものに相当し、スケールファクタとも言われるものである。
【００４１】
次に、量子化されたデータはグループ処理器２４へ入力され、より高い符号化効率が得られるようにショートブロックについてグループ化が行われる。グループ化されたブロックにおいては補助情報が共有化され、符号化効率が改善されることになる。
【００４２】
図３はそのグルーピングの一例を示し、８個のショートブロックが４組のグループに分けられており、各グループにはそれぞれ３，１，２，２個のショートブロックが含まれている。
【００４３】
次に、可変長符号化器２５では、量子化器２３とグループ処理器２４で処理された後のＭＤＣＴ係数の量子化値やスケールファクタ等の符号化パラメータに対して可変長符号化処理を施して冗長度を削減し、それをビット数判定器２６へ出力する。
【００４４】
ビット数判定器２６では、符号化された１フレーム分のビット数が予め設定された所定範囲内に収まっているか否かを判定し、その条件を満たしていれば、符号化データをそのままビットストリーム生成器２７へ出力するが、満たしていない場合には、その判定結果を処理制御部２８へ出力する。
【００４５】
処理制御部２８では、その判定結果に基づいて量子化器２３とグループ処理器２４と可変長符号化器２５による前記の一連の処理を再度実行させ、ビット数判定器２６において前記条件を満たしていると判定されるまでその処理を反復させる。
【００４６】
そして、ビット数判定器２６において前記条件を満たした符号化データはビットストリーム生成器２７へ出力され、ブロック情報等の符号化パラメータと共に多重化されたビットストリームとして伝送されることになる。以上がＡＡＣ符号化装置の説明である。
【００４７】
一方、図１に示す３次元音場情報記録装置の構成の説明を続けると、ビデオ信号がカメラ９から入力され、ビデオ圧縮器１０によって圧縮される。圧縮方式はＭＰＥＧ方式などを用いる。
【００４８】
圧縮されたビデオ圧縮データはノーマルオーディオ圧縮データや、差分バイノーラルオーディオ圧縮データとの同期を取るために、バッファ１１に一時的にバッファリングされる。
【００４９】
そして、情報多重化器１２は、バッファリングされているビデオ圧縮データ、ノーマルオーディオ圧縮データ、差分バイノーラルオーディオ圧縮データを、同期を取りながら多重化する。多重化はＭＰＥＧシステムレイヤの同期方式でプログラムストリーム方式を用いてエレメンタリー毎にパック化し、再生時の同期を取れるようにプレゼンテーションタイムスタンプを打ちながら多重化する。タイムスタンプはタイムスタンプ発生器１３から２７ＭＨｚまたは９０ｋＨｚのカウンター情報が使用され、情報多重化器１２に入力される。この仕組みはＭＰＥＧ多重化の規格を用いれば可能であるので詳細な説明は省略する。
【００５０】
多重化されたストリームはＤＶＤフォーマット化器１４によって、後述するＤＶＤの規格に準拠した形式にフォーマット化されて、記録器１５によって記録媒体１６に記録される。ＤＶＤのＲＯＭ型のメディアを作成するにはＤＶＤのマスターデータとして一旦ＨＤＤに記録してから製造工程を経て、ＤＶＤメディアに記録される。
【００５１】
このように、ノーマルオーディオデータと３次元音場データであるバイノーラルオーディオデータは、差分をとることで相関の強い部分を削除して音場を表現する位相差や響き部分の情報が差分として符号化されることで、より符号化効率、記録能率を上げることができる。
【００５２】
次に、図４を参照して、ＤＶＤビデオ規格を利用してノーマルオーディオの各フレームの所定単位ごとに３次元音場情報に関する情報をオーディオオブジェクトのノーマルオーディオとは別のストリームデータとして多重化して記録する手段を説明する。
【００５３】
上記に説明した差分のバイノーラルオーディオデータは、本来、ＤＶＤ規格ではないので、ＭＰＥＧ多重化されるパックに別のストリームとして記録することが考えられる。
【００５４】
図４に示すフォーマットの一番下の階層にはその差分のバイノーラルオーディオデータが所定のサンプル数で１オーディオフレームとして１オーディオフレームレイヤ３１を構成している。これらの１オーディオフレームがいくつか集まって、約２ｋＢでパックを構成する。
【００５５】
このパックにはヘッダが付いており、１４バイトのパックヘッダ３２とオーディオパケットにより構成され、オーディオパケットは９〜２９バイトのパケットヘッダ３３、１バイトのサブストリームＩＤ３４、３バイトのオーディオフレーム情報３５、３バイトのオーディオデータ情報３６を記録し、その後ろに２０１３バイトの差分オーディオデータ３７により構成される。これらはディファレンシャルパック（Ｄ＿ＰＡＣＫ）３８として、他のノーマルオーディオパックやビデオパックとともにバイノーラルオーディオデータパックとしてＭＰＥＧ多重化される。
【００５６】
ここでフォーマットを上位から見てみると、ＤＶＤビデオには記録層がVolume spaceとして、Volume and File structure３９、DVD-video zone４０、DVD-others zone４１に分かれていて、DVD-video zone４０にはビデオマネージャー（ＶＭＧ）４２、ビデオタイトルセット（ＶＴＳ）４３という構造が存在している。ビデオマネージャー４２はビデオマネージャーインフォメーションなど後続するビデオタイトルセット４３の識別情報や様々な情報自体のスタートアドレスやエンドアドレス、どこのビデオストリームから再生を開始するかなどの情報が記述されている。
【００５７】
ビデオタイトルセット４３には、再生されるべきオーディオやビデオのデータのアドレス情報や識別情報などのControl Data４４が記述されている。これらのビデオマネージャー４２やControl Data４４は再生に必須な情報を記録した管理情報領域であり、この領域のデータはＤＶＤフォーマット器やＤＶＤフォーマットステップによって記録され、ＤＶＤフォーマット復号器やＤＶＤフォーマット復号ステップによって再生される。
【００５８】
その後にビデオオブジェクトセット（ＶＯＢＳ）４５というビデオとオーディオの多重化されたＭＰＥＧストリームのセットがあり、さらにビデオオブジェクト（ＶＯＢ）４６という小単位のＭＰＥＧストリームがある。
【００５９】
ビデオオブジェクト４６の下にはさらに細分化されたセル（ＣＥＬＬ）４７という単位、さらにはビデオオブジェクトユニット（ＶＯＢＵ）４８があり、これがＭＰＥＧストリームのグループオブピクチャー（ＧＯＰ）にほぼ相当する構造となっている。このビデオオブジェクトユニット４８の再生時間は、ビデオオブジェクトユニット４８中に含まれる単数又は複数個のＧＯＰから構成されるビデオデータの再生時間に相当し、その再生時間は０．４〜１．０秒程度のものである。この中には、先頭にナビゲーションパック（ＮＶ＿ＰＡＣＫ）４９というストリームサーチ情報などが記述されている。
【００６０】
また、ビデオパック（Ｖ＿ＰＡＣＫ）５１というビデオ圧縮データがパック化されたデータ、オーディオパック（Ａ＿ＰＡＣＫ）５０というオーディオ圧縮データがパック化されたデータがあり、それぞれＭＰＥＧ多重化されている。
【００６１】
次に、本実施例の３次元音場情報記録プログラムを図５に基づいて説明する。図５は図１に示す３次元音場情報記録装置を使用した３次元音場情報記録プログラムを示すフローチャートである。詳細なステップの処理内容は図１に示す３次元音場情報記録装置のブロック図の説明で記したものと同様なので、ここではステップの順番についてのみ簡単に説明する。
【００６２】
まず、ステップＳ１００では、制御部１７は、ノーマルオーディオマイク１、バイノーラルオーディオマイク２から音響データを制御部１７に入力させ、また、カメラ９からの画像データを制御部１７に所定の時間分入力させ、制御部１７のメモリーに記憶させるように制御する。
【００６３】
次に、ステップＳ１１０では、制御部１７は、ノーマルオーディオ圧縮器３及びビデオ圧縮器１０にノーマルオーディオデータ及びビデオデータを圧縮させ、ステップＳ１２０では、制御部１７は、ビデオ圧縮データ及びノーマルオーディオ圧縮データを、後述する差分バイノーラルオーディオ圧縮データとの同期を取るためにバッファ４及びバッファ１１に一時バッファリングさせるように制御する。
【００６４】
次に、ステップＳ１３０では、制御部１７は、ノーマルオーディオ復号器５においてノーマルオーディオ圧縮データを復号させるように制御する。
【００６５】
次に、ステップＳ１４０では、制御部１７は、演算器６においてバイノーラルオーディオデータとノーマルオーディオ復号データの減算計算を行わせ、差分バイノーラルオーディオデータを作成させ、差分バイノーラルオーディオ圧縮器７に入力させるように制御する。
【００６６】
次に、ステップＳ１５０では、制御部１７は、差分バイノーラルオーディオ圧縮器７において差分バイノーラルオーディオデータを圧縮させ、ステップＳ１６０では、制御部１７は、情報多重化器１２においてビデオ圧縮データ、ノーマルオーディオ圧縮データ、差分バイノーラルオーディオ圧縮データを、同期を取りながら多重化させるように制御する。多重化はＭＰＥＧシステムレイヤの同期方式でプログラムストリーム方式を用いてエレメンタリー毎にパック化し、再生時の同期を取れるようにプレゼンテーションタイムスタンプを打ちながら行わせる。タイムスタンプは２７ＭＨｚまたは９０ｋＨｚのカウンター情報が使用され、制御部１７は、タイムスタンプをタイムスタンプ発生器１３から情報多重化器１２に入力させるように制御する。
【００６７】
次に、ステップＳ１７０では、制御部１７は、ＤＶＤフォーマット化器１４に図４に示すＤＶＤの規格に準拠した形式にＤＶＤフォーマット化させるように制御する。
【００６８】
次に、ステップＳ１８０では、制御部１７は、記録器１５によって所定の単位で記録媒体１６に記録させるように制御する。ＤＶＤであれば２ｋＢが単位である。
【００６９】
そして、ステップＳ１９０において、制御部１７は、ノーマルオーディオマイク１、バイノーラルオーディオマイク２及びカメラ９からの入力画像音響データがまだあるかどうかを判定し、これがある場合（ＹＥＳ）にはステップＳ１００に戻り、これがない場合（ＮＯ）には、プログラムを終了する。
【００７０】
このように、本実施例の３次元音場情報記録装置及びプログラムによれば、ＤＶＤビデオ規格に準拠した形式で、ディファレンシャルパック３８という前述したバイノーラルオーディオデータパックとしてパック化してＭＰＥＧ多重化するので、ディファレンシャルパック３８を用いればバイノーラル３次元音場オーディオが再生でき、ディファレンシャルパック３８を用いなければＤＶＤビデオ規格として標準的なノーマルオーディオが出力できるフォーマットとなり、３次元音場情報をノーマルオーディオ情報と互換を保って記録再生することができる。
【００７１】
次に、本実施例の３次元音場情報記録装置で３次元音場情報を記録した記録媒体１６から３次元音場を再生する３次元音場再生装置を、図６に基づいて説明する。図６は図１に示す３次元音場情報記録装置で記録媒体に記録した音場情報を再生する３次元音場情報再生装置の構成を示すブロック図である。
【００７２】
まず、記録媒体１６から再生器６１によってデータを再生し、ＤＶＤフォーマット復号器６２によってＤＶＤフォーマットからＭＰＥＧのストリームを抽出する。図６には示していないがＤＶＤは再生するための情報（例えばプレイリスト情報や、特殊再生情報）は別途、抽出して、図示せぬユーザーインターフェースやＣＰＵを経由して、インターラクティブな再生を行うことができる。
【００７３】
抽出されたＭＰＥＧストリームは情報分離化器６３において、ＭＰＥＧ多重化を解いて、ビデオ圧縮データ、ノーマルオーディオ圧縮データ、差分バイノーラルオーディオ圧縮データに分離する。ビデオ圧縮データはビデオ復号器６４に入力され、復号されてバッファ６７に一時的にバッファリングされる。ノーマルオーディオ圧縮データは、ノーマルオーディオ復号器６５に入力され、復号されてバッファ６８に一時的にバッファリングされる。差分バイノーラルオーディオ圧縮データは差分バイノーラルオーディオ復号器６６に入力され、復号された後に、演算器７０においてノーマルオーディオデータと加算され、バッファ６９に一時的にバッファリングされる。
【００７４】
一方、それぞれの復号データは情報分離化器６３において、各エレメンタリーのパック化されたデータのヘッダーに記録されている、システムクロックリファレンス（ＳＣＲ）やタイムスタンプを検出し、ＳＴＣタイムスタンプ比較器７１によって、ＭＰＥＧ多重化方式で設定されているＳＣＲにて同期させたシステムタイムクロック（ＳＴＣ）時刻と、プレゼンテーションタイムスタンプと比較し、プレゼンテーションタイムスタンプ時刻がＳＴＣ時刻と一致したときに、バッファ６７〜６９からエレメンタリー情報を出力する。
【００７５】
そして、ビデオデータは画像表示器７２へ出力する。オーディオデータについては、ＧＵＩ７４よりユーザーが指定した音源、即ちノーマルオーディオか、バイノーラルオーディオかを選択する選択信号が音源選択器７３に入力され、音源選択器７３ではその信号に従って音源を選択しスピーカー７５に出力再生する。なお、図６に示す３次元音場情報再生装置に設けられた各部は制御部７６により制御されている。
【００７６】
次に、図６に示す３次元音場情報再生装置で３次元音場を再生する３次元音場情報再生プログラムを、図７に示すフローチャートに基づいて説明する。詳細なステップの処理内容は図６に示す３次元音場情報再生装置のブロック図の説明で記したものと同様なので、ここではステップの順番についてのみ簡単に説明する。
【００７７】
まず、ステップＳ２００では、制御部７６は、再生器６１に記録媒体１６から多重化されたデータを所定の単位で読み取らせるように制御する。
【００７８】
次に、ステップＳ２１０では、制御部７６は、ＤＶＤフォーマット復号器６２にＤＶＤフォーマットを復号させるように制御する。ＤＶＤフォーマットの復号には、ＤＶＤフォーマットからＭＰＥＧのストリームを抽出し、このステップには示していないがＤＶＤは再生するための情報（例えばプレイリスト情報や、特殊再生情報）は別途、抽出して、ユーザーインターフェースやＣＰＵを経由して、インターラクティブな再生を行うことを含む。
【００７９】
次に、ステップＳ２２０では、制御部７６は、情報分離化器６３に抽出されたＭＰＥＧストリームの情報分離化を行わせるように制御する。
【００８０】
次に、ステップＳ２３０では、制御部７６は、ビデオ圧縮データ、ノーマルオーディオ圧縮データをそれぞれ復号させ、ステップＳ２４０では、制御部７６は、ビデオ復号データ、ノーマルオーディオ復号データを一時バッファリングさせるように制御する。
【００８１】
次に、ステップＳ２５０では、制御部７６は、差分バイノーラルオーディオ圧縮データを復号させ、ステップＳ２６０では、制御部７６は、演算器７０に差分バイノーラルオーディオ復号データとノーマルオーディオ復号データとを加算計算させるように制御する。
【００８２】
次に、ステップＳ２７０では、制御部７６は、ＧＵＩ７４よりユーザーが指定した音源、即ちノーマルオーディオか、バイノーラルオーディオかを選択する選択信号を音源選択器７３に入力させ、音源選択器７３にバイノーラルオーディオデータとノーマルオーディオのどちらを再生するか選択させるように制御する。
【００８３】
次に、ステップＳ２８０では、制御部７６は、画像表示器７２にビデオデータを表示させ、ステップＳ２７０で選択されたオーディオをビデオデータの表示と同期してスピーカー７５で再生させるように制御する。
【００８４】
次に、ステップＳ２９０では、制御部７６は、記録媒体１６に表示画像音響データがまだあるかどうかを判定し、これがある場合（ＹＥＳ）にはステップＳ２００に戻り、これがない場合（ＮＯ）には、プログラムを終了する。
【００８５】
（実施例２）
本発明の３次元音場情報記録装置の実施例２を図８に基づいて説明する。図８は本実施例においてＤＶＤに応用するフォーマットを示す説明図である。図８では、図４に示したフォーマットの構成と同一構成には同一符号を付して説明する。
【００８６】
本実施例の３次元音場情報記録装置は、ＤＶＤビデオ規格を利用して、ノーマルオーディオの各フレームの所定単位ごとに、３次元音場情報に関する情報を管理情報領域とは別の３次元音場用の管理情報領域に記録する手段を有する。これは、ＤＶＤビデオの規格を準拠する形式をとりながらも、ディファレンシャルパック（Ｄ＿ＰＡＣＫ）に記録するのではなく、DVD others zoneというＤＶＤ規格準拠の形式で、自由に使用できる領域にバイノーラル３次元音場オーディオ情報を記録するものである。
【００８７】
本実施例の３次元音場情報記録装置の構成は図１に示す実施例１の３次元音場情報記録装置の構成と同様である。
【００８８】
DVD-others zone４１にはビデオマネージャー（ＤＶＭＧ）８１、ビデオタイトルセット（ＶＴＳ）８２という構造を記述する。ビデオマネージャー８１はビデオマネージャーインフォメーションなど後続するビデオタイトルセット８２の識別情報や様々な情報自体のスタートアドレスやエンドアドレス、どこのビデオストリームから再生を開始するかなどの情報が記述されている。
【００８９】
ビデオタイトルセット８２には、再生されるべきオーディオやビデオのデータのアドレス情報や識別情報などのControl Dataが記述されたＤＶＴＳＩ８３がある。これらのビデオマネージャー８１やＤＶＴＳＩ８３は再生に必須な情報を記録した管理情報領域であり、この領域のデータはＤＶＤフォーマット器やＤＶＤフォーマットステップによって記録され、ＤＶＤフォーマット復号器やＤＶＤフォーマット復号ステップによって再生される。
【００９０】
その後にビデオオブジェクトセット（ＤＶＯＢＳ）８４というビデオとオーディオの多重化されたＭＰＥＧストリームのセットがあり、さらにビデオオブジェクト（ＤＶＯＢ）８５という小単位のＭＰＥＧストリームがある。
【００９１】
ビデオオブジェクト８５の下にはさらに細分化されたセル（ＤＣＥＬＬ）８６という単位、さらにはビデオオブジェクトユニット（ＤＶＯＢＵ）８７があり、バイノーラル３次元音場オーディオ情報のフレームレイヤの数フレームをまとめた構造になっている。
【００９２】
DVD-video zone４０の２次元映像のデータと同じ構造とし、一つ一つのビデオオブジェクトユニット、セル、ビデオオブジェクトなどは同じフレーム枚数（同じ再生時間長）を持たせることで、サーチなどのアクセス性を高めることができる。
【００９３】
このように本実施例の３次元音場情報記録装置によれば、ＤＶＤビデオ規格に準拠した形式で、DVD-video zone４０とDVD-others zone４１にリンクした形式でバイノーラル３次元音場オーディオ情報データを記述するので、バイノーラル３次元音場オーディオとノーマルオーディオをＤＶＤビデオ規格互換で記録することができ、３次元音場情報をノーマルオーディオ情報と互換を保って記録再生することができる。
【００９４】
なお、本実施例の３次元音場情報記録装置を使用した３次元音場情報記録プログラムは図５に示すフローチャートと同様である。
【００９５】
また、本実施例の３次元音場情報記録装置で３次元音場情報を記録した記録媒体１６からの３次元音場の再生は、実施例１で図６に示した３次元音場情報再生装置により行うことができ、本実施例の３次元音場情報記録装置で３次元音場情報を記録した記録媒体１６から３次元音場情報を再生するプログラムは図７に示すフローチャートと同様である。
【００９６】
（実施例３）
本発明の３次元音場情報記録装置の実施例３を図９に基づいて説明する。図９は本実施例においてＤＶＤに応用するフォーマットを示す説明図である。
【００９７】
本実施例の３次元音場情報記録装置は、ＤＶＤオーディオ規格を利用して、ノーマルオーディオの各フレームの所定単位ごとに３次元音場情報に関する情報をオーディオオブジェクトのノーマルオーディオとは別のストリームデータとして多重化して記録する手段を有する。
【００９８】
本実施例の３次元音場情報記録装置の構成は図１に示す実施例１の３次元音場情報記録装置の構成と同様である。
【００９９】
ＤＶＤオーディオのフォーマットはオーディオマネージャ（ＡＭＧ）８８と、オーディオマネージャ８８に続く複数のオーディオタイトルセット（ＡＴＳ）８９の各エリアにより構成されている。
【０１００】
オーディオタイトルセット８９の各々はこれに対応して先頭のＡＴＳインフォメーション（ＡＴＳＩ）９０と、それに続く１以上のオーディオオブジェクトセット（ＡＯＢＳ）９１により構成されている。
【０１０１】
これらのオーディオマネージャ８８やＡＴＳインフォメーション９０は再生に必須な情報を記録した管理情報領域であり、この領域のデータはＤＶＤフォーマット器やＤＶＤフォーマットステップによって記録され、ＤＶＤフォーマット復号器やＤＶＤフォーマット復号ステップによって再生される。
【０１０２】
オーディオオブジェクトセット９１の各々は複数のオーディオオブジェクト（ＡＯＢ）９２により構成されている。オーディオオブジェクト９２の各々は複数のセル（ＣＥＬＬ）９３により構成され、セル９３はさらに、複数のオーディオオブジェクトユニット（ＡＯＢＵ）９４により構成されている。
【０１０３】
オーディオオブジェクトユニット９４の各々は、複数のパックにより構成され、１パックは２０４８バイトで構成されている。オーディオオブジェクトユニット９４は再生時間０．４〜１．０秒分の任意の数のパックにより構成されている。
【０１０４】
隣接するＡパックは、オーディオ信号がお互いに関連するように配置され、例えばステレオの場合にはＬチャネルパックとＲチャネルパックが隣接して配置され、また、マルチチャネルの場合にも同様に隣接して配置される。これらはそれぞれＭＰＥＧ多重化されている。この中にディファレンシャルパック（Ｄ＿ＰＡＣＫ）９５という前述したバイノーラルオーディオデータパックとしてパック化してＭＰＥＧ多重化する。
【０１０５】
このように本実施例の３次元音場情報記録装置によれば、ＤＶＤビデオ規格に準拠した形式で、ディファレンシャルパック９５という前述したバイノーラルオーディオデータパックとしてパック化してＭＰＥＧ多重化するので、ディファレンシャルパック９５を用いればバイノーラル３次元音場オーディオが再生でき、ディファレンシャルパック９５を用いなければＤＶＤビデオ規格として標準的なノーマルオーディオが出力できるフォーマットとなり、３次元音場情報をノーマルオーディオ情報と互換を保って記録再生することができる。
【０１０６】
なお、本実施例の３次元音場情報記録装置を使用した３次元音場情報記録プログラムは図５に示すフローチャートと同様である。
【０１０７】
また、本実施例の３次元音場情報記録装置で３次元音場情報を記録した記録媒体１６からの３次元音場の再生は、実施例１で図６に示した３次元音場情報再生装置により行うことができ、本実施例の３次元音場情報記録装置で３次元音場情報を記録した記録媒体１６から３次元音場情報を再生するプログラムは図７に示すフローチャートと同様である。
【０１０８】
（実施例４）
本発明の３次元音場情報記録装置及びプログラムの実施例４を図１０乃至図１３に基づいて説明する。図１０は本発明の実施例４の３次元音場情報記録装置の構成を示すブロック図、図１１はＭＰＥＧのビデオストリームビデオレイヤの説明表、図１２はＭＰＥＧの多重化トランスポートストリームシステムレイヤを説明表、図１３は図１０に示す３次元音場情報記録装置を使用した３次元音場情報記録プログラムを示すフローチャートである。
【０１０９】
なお、図１０では、図１に示した３次元音場情報記録装置の構成と同一構成には同一符号を付して説明する。
【０１１０】
図１０に示すように、本実施例の３次元音場情報記録装置は、ノーマルなオーディオ情報を収録するノーマルオーディオマイク１と、バイノーラル収録を行うバイノーラルオーディオマイク２と、ノーマルオーディオマイク１によって収録されたノーマルオーディオデータを圧縮するノーマルオーディオ圧縮器３と、ノーマルオーディオ圧縮器３によって圧縮されたノーマルオーディオ圧縮データを一時的にバッファリングするバッファ４と、ノーマルオーディオ圧縮データを復号するノーマルオーディオ復号器５と、ノーマルオーディオ復号器５によって復号されたデータをバイノーラルオーディオデータから減算して差分バイノーラルオーディオデータを作成する演算器６と、差分バイノーラルオーディオデータを圧縮する差分バイノーラルオーディオ圧縮器７と、差分バイノーラルオーディオ圧縮器７によって圧縮された差分バイノーラルオーディオ圧縮データを一時的にバッファリングするバッファ８と、ビデオ信号を出力するカメラ９と、ビデオ信号を圧縮するビデオ圧縮器１０と、ビデオ圧縮器１０によって圧縮されたビデオ圧縮データを一時的にバッファリングするバッファ１１と、バッファリングされているビデオ圧縮データ、ノーマルオーディオ圧縮データ、差分バイノーラルオーディオ圧縮データを多重化する情報多重器１２と、タイムスタンプを情報多重化器１２に入力するタイムスタンプ発生器１３と、情報多重器１２によって多重化されたストリームを記録媒体１６に記録する記録器１５と、装置に設けられた各部を制御する制御部１７とを備える。
【０１１１】
図１に示す３次元音場情報記録装置と同一構成のブロックの動作は同様であるが、図１０に示すように、情報多重化器１２によって多重化されたストリームを、図１に示す３次元音場情報記録装置とは異なり、ＤＶＤフォーマット化器に送らず記録器１５に送り、記録媒体１６に記録する。
【０１１２】
次に、図１１を参照して、ＤＶＤビデオ規格を利用して、ノーマルオーディオの各フレームの所定単位ごとに３次元音場情報に関する情報をオーディオオブジェクトのユーザーデータ領域に記録する手段を説明する。
【０１１３】
ＭＰＥＧ規格の中で互換性の取れるような、ユーザーデータ領域やプライベートストリームにて伝送する仕組みが用意されている。例えばＭＰＥＧビデオの規格には、ピクチャレイヤ、ＧＯＰレイヤなどにそれぞれユーザーデータ領域が設定されている。
【０１１４】
これらはＭＰＥＧのシンタックスで映像音声とは関係ないデータを埋め込むことのできる所定のエリアとして設定されているuser_data、もしくはprivate_data_byte、もしくはユーザーが任意に設定できるprivate_streamなどのデータパケットに記録する。
【０１１５】
例えばＭＰＥＧ１のビデオにおけるピクチャレイヤは図１１に示すようになっており、スライスレイヤの手前で、user_data_start_codeを送った後にuser_dataを８ビット単位で記録することができるような仕組みが定義されている。
【０１１６】
また、ＭＰＥＧ２などの多重化トランスポートストリームのシステムレイヤにも図１２に示すようにtransport_private_data_flagに１を立てると、private_dataが存在することを明示でき、データ長もトランスポートパケットをはみ出さないという制限のもとで、transport_private_data_lengthに設定したデータ長のprivate_dataを送信することができる。
【０１１７】
これ以外にも、ＭＰＥＧシステムでユーザー固有のデータを記録する方法は、stream_id にprivate_streamを設定して専用のパケットを宣言することで送信するなど、仕組みは幾つか定義されており、本実施例におけるバイノーラル３次元音場オーディオ情報は、これらの領域に記録することができる。
【０１１８】
ＭＰＥＧ１ビデオのuser_dataを用いる例をもう少し詳細に説明する。user_data_start_codeはスライスレイヤの手前で0x000001B2とＭＰＥＧでは定義されている。そのコードを送ったあとに、ユーザーデータエリア内で本発明の認証に用いる関数値の存在を示す、予め一意に識別可能なコードである例えば0x0f0f0f0f2428fdaaのコードを送信する。  このコードは他のアプリケーションでuser_dataを使う場合に識別する目的で記録するもので、コードの値は特に意味はない。そのコードの後に図８に示すオーディオフレームレイヤー構造を、ＭＰＥＧの１ピクチャ毎にピクチャ表示区間に相当するオーディーフレームレイヤを記録する。
【０１１９】
ピクチャ表示区間とオーディオフレーム再生区間の時間幅が違う場合には、１パケット程度の誤差を平均的に許容する形式で多重化して、ビデオの先頭とオーディオの先頭のプレゼンテーションの時刻の差の情報を、user_dataの先頭に９０ｋＨｚもしくは２７ＭＨｚのクロックのカウント数で、３２ビット程度で記録しても良いし、再生側のクロックでデータ到着順に再生をしても良い。
【０１２０】
なお、本実施例によるバイノーラル３次元音場オーディオ情報は、１ピクチャ毎に記録するように説明したが、０．５秒程度ごとでも、１秒程度ごとでも良い。その場合には、ＭＰＥＧのＧＯＰレイヤのユーザーデータを用いることで実現できる。
【０１２１】
次に、本実施例の３次元音場情報記録プログラムを図１３に基づいて説明する。図１３は図１０に示す３次元音場情報記録装置を使用した３次元音場情報記録プログラムを示すフローチャートである。
【０１２２】
図１３に示すフローチャートにおいて、ステップＳ３００〜Ｓ３６０の処理内容は図５に示すフローチャートのステップＳ１００〜Ｓ１６０と同様である。
【０１２３】
その後、ステップＳ３７０において、制御部１７は、情報多重化器１２で多重化されたストリームを記録器１５によって記録媒体１６に記録させるように制御する。
【０１２４】
そして、ステップＳ３８０において、制御部１７は、ノーマルオーディオマイク１、バイノーラルオーディオマイク２及びカメラ９からの入力画像音響データがまだあるかどうかを判定し、これがある場合（ＹＥＳ）にはステップＳ３００に戻り、これがない場合（ＮＯ）には、プログラムを終了する。
【０１２５】
このように、本実施例の３次元音場情報記録装置及びプログラムによれば、３次元音場情報に関する情報をオーディオオブジェクトのユーザーデータ領域に記録するので、ユーザーデータを用いなければノーマルオーディオが出力され、ユーザーデータを用いれば３次元音場オーディオが出力されるフォーマットとなり、３次元音場情報をノーマルオーディオ情報と互換を保って記録再生することができる。
【０１２６】
次に、本実施例の３次元音場情報記録装置で３次元音場情報を記録した記録媒体１６から３次元音場を再生する３次元音場再生装置を図１４に基づいて説明する。図１４は図１０に示す３次元音場情報記録装置で記録媒体に記録した音場情報を再生する３次元音場情報再生装置の構成を示すブロック図である。
【０１２７】
まず、記録媒体１６から多重化されたデータを再生器６１で読み取り、情報分離化器６３へ出力する。
【０１２８】
その後は実施例１で説明した、図６に示す３次元音場情報再生装置と同様の処理を行い、スピーカー７５に出力再生する。
【０１２９】
次に、図１４に示す３次元音場情報再生装置で３次元音場を再生する３次元音場情報再生プログラムを、図１５に示すフローチャートに基づいて説明する。
【０１３０】
まず、ステップＳ４００では、制御部１７は、再生器６１に記録媒体１６から多重化されたデータを所定の単位で読み取らせるように制御する。
【０１３１】
その後、ステップＳ４１０〜Ｓ４８０では、図７に示すフローチャートのステップＳ２２０〜Ｓ２９０と同様の処理を行う。
【０１３２】
なお、実施例１乃至４の３次元音場情報再生装置の説明では、３次元音場を再生する方法としてバイノーラルオーディオを用いて説明したが、例えば複数のＣＨを持つことで、アレイスピーカーを用いて局在的音場を作り出すことも考えられる。
【０１３３】
即ち、空間上のある焦点付近の音圧を局所的に上昇させるようにスピーカーアレイの中心から焦点までの経路と、各スピーカーから焦点までの経路との差に応じた遅延量を与えた再生信号により実現する方法である。
【０１３４】
アレイスピーカーの原理を図１６に基づいて説明する。まずスピーカー９６を図１６に示すようにアレイ状に組み、一つ一つに遅延回路を設ける。聴取位置近傍に焦点を結ぶように遅延を設定すると、聴取位置においてスピーカー９６からの直接音よりも、焦点において発生する音圧成分が極めて高くなるように再生することが可能となる。この原理を用いて連続的にリアルタイムで制御することで立体動画像のオブジェクトの位置にリンクして音像の定位を制御できる。
【０１３５】
そして、図１７に示すような聴取位置から、いくつかの局在音場を生成して３次元音場空間を作ることが可能である。この場合には、複数のＣＨを図４や図９に示すようにディファレンシャルパック（Ｄ＿ＰＡＣＫ）にして複数のストリームで多重化して記録する。もしくは図８に示すようにDVD others zoneにＣＨ毎にオーディオフレームを作成し、所定の順に複数のＣＨを順番に多重化して記録することで、既存ＤＶＤと互換性を保ちながら、３次元音場データを記録することが可能である。
【０１３６】
なお、上記説明の実施例１及び４の３次元音場情報記録プログラムは、コンピュータに実現させるようにしても良い。このプログラムは、記録媒体から読み取られてコンピュータに取り込まれても良いし、通信ネットワークを介して伝送されてコンピュータに取り込まれても良い。
【０１３７】
また、上記説明の実施例１乃至４においては、最終的な情報は記録媒体に記録したが、通信や放送特有のパケット化がなされて、パケット化器を経由して放送や通信網に伝送や受信をしても良い。記録媒体にデータを記録しなくても、通信、放送などあらゆる伝送媒体を経由してデータを送信することが可能で、その場合には、記録装置は伝送装置として使用することもできる。また、再生装置は受信装置として使用することも可能である。
【０１３８】
また、３次元音場データにはバイフォニック録音されたオーディオデータの他にも、特別なサラウンド効果をもたらすデータや、３次元音場を作成するにあたり必要な無響室で録音されたようなレアな音源データから、頭部伝達関数とホールなどの音場環境データによってシミュレーションにより仮想的に、バイフォニック録音に近い音場を作成することも可能である。
【０１３９】
本発明では、３次元音場情報に関する情報はバイフォニック録音されたオーディオデータで説明を行ったが、上記の特別なサラウンド効果をもたらすデータや、３次元音場を作成するにあたり必要な無響室で録音されたようなレアな音源データ（レアオーディオ）であっても良い。レアオーディオからは特殊なエフェクトがかかっていないことから３次元音場を創生し易いという利点がある。
【０１４０】
また、本発明では、３次元音場データの圧縮方式はＭＰＥＧ等で説明したが、他のＤＰＣＭやＤＣＴなどの直交変換で量子化する方式でも良い。またオーディオオブジェクトの種類としても、リニアＰＣＭで圧縮をしないものや、可逆圧縮をしたもの、例えばＤＶＤオーディオに採用されているＰａｃｋｅｄ  ＰＣＭ (ロスレス圧縮方式)を用いても良い。
【０１４１】
ノーマルオーディオにはリニアＰＣＭのマルチチャンネルオーディオも応用できる。即ち、マルチチャンネルのＬＲの２ＣＨを、本発明のように３次元音場データに対応するＬＲとの差分をとるようにすればよい。それ以外のＣＨに関してはそのまま記録する。
【０１４２】
また、処理量に余裕がある場合には、所定の時間毎に最も相関の強いＣＨを選んで、適応的に３次元音場データとの差分をとるようにしても良い。その場合、どのＣＨからの差分かを示す情報を数ビットで示し、ヘッダーやユーザー領域に指示するフォーマットとすれば良い。
【０１４３】
また、レアオーディオとしては、無響室で録音したデータだけでなく、マルチマイクによるホール録音や６ｃｈにミックスダウンしたマスター音源でも良い。
【０１４４】
また、本発明の信号データを記録した記録媒体は、３次元音場情報を記録再生する際に、ノーマルなノーマルオーディオ情報と互換を保って３次元音場情報再生を可能とするフォーマットを記録してあるという媒体特有の効果を有する。
【０１４５】
また、記録媒体は、媒体という定義はデータを記録できる媒体という狭義な媒体というものだけでなく、信号データを伝送するための電磁波、光などを含む。また、記録媒体に記録されている情報は、記録されていない状態での電子ファイルなどのデータ自身を含むものとする。
【０１４６】
また、本発明はオーディオを中心に説明したが、ビデオと共にオーディオデータが存在していてＭＰＥＧの多重化でオーディオとビデオが多重化されていても本発明は有効であり、オーディオやビデオに限らず、他のサブピクチャや制御情報などのデータがあっても同様である。
【図面の簡単な説明】
【０１４７】
【図１】本発明の実施例１の３次元音場情報記録装置の構成を示すブロック図である。
【図２】ＡＡＣ符号化装置の構成を示すブロック図である。
【図３】グルーピングの一例を示す図である。
【図４】本発明の実施例１のＤＶＤに応用するフォーマットを示す説明図である。
【図５】本発明の実施例１の３次元音場情報記録プログラムを示すフローチャートである。
【図６】図１に示す３次元音場情報記録装置で記録媒体に記録した音場情報を再生する３次元音場情報再生装置の構成を示すブロック図である。
【図７】図６に示す３次元音場情報再生装置で３次元音場を再生する３次元音場情報再生プログラムを示すフローチャートである。
【図８】本発明の実施例２のＤＶＤに応用するフォーマットを示す説明図である。
【図９】本発明の実施例３のＤＶＤに応用するフォーマットを示す説明図である。
【図１０】本発明の実施例４の３次元音場情報記録装置の構成を示すブロック図である。
【図１１−１】ＭＰＥＧのビデオストリームビデオレイヤの説明表（その１）である。
【図１１−２】ＭＰＥＧのビデオストリームビデオレイヤの説明表（その２）である。
【図１１−３】ＭＰＥＧのビデオストリームビデオレイヤの説明表（その３）である。
【図１１−４】ＭＰＥＧのビデオストリームビデオレイヤの説明表（その４）である。
【図１１−５】ＭＰＥＧのビデオストリームビデオレイヤの説明表（その５）である。
【図１１−６】ＭＰＥＧのビデオストリームビデオレイヤの説明表（その６）である。
【図１１−７】ＭＰＥＧのビデオストリームビデオレイヤの説明表（その７）である。
【図１２】ＭＰＥＧの多重化トランスポートストリームシステムレイヤの説明表である。
【図１３】本発明の実施例４の３次元音場情報記録プログラムを示すフローチャートである。
【図１４】図１０に示す３次元音場情報記録装置で記録媒体に記録した音場情報を再生する３次元音場情報再生装置の構成を示すブロック図である。
【図１５】図１４に示す３次元音場情報再生装置で３次元音場を再生する３次元音場情報再生プログラムを示すフローチャートである。
【図１６】アレイスピーカーの説明図である。
【図１７】アレイスピーカーのシステム図である。
【符号の説明】
【０１４８】
１    ノーマルオーディオマイク
２    バイノーラルオーディオマイク
３    ノーマルオーディオ圧縮器
４，８，１１    バッファ
５    ノーマルオーディオ復号器
６    演算器
７    差分バイノーラルオーディオ圧縮器
９    カメラ
１０    ビデオ圧縮器
１２    情報多重化器
１３    タイムスタンプ発生器
１４    ＤＶＤフォーマット化器
１５    記録器
１６    記録媒体
１７，７６    制御部
３１    １オーディオフレームレイヤ
３２    パックヘッダ
３３    パケットヘッダ
３４    サブストリームＩＤ
３５    オーディオフレーム情報
３６    オーディオデータ情報
３７    差分オーディオデータ
３８    ディファレンシャルパック（Ｄ＿ＰＡＣＫ）
３９    Volume and File structure
４０    DVD-video zone
４１    DVD-others zone
４２    ビデオマネージャー（ＶＭＧ）
４３    ビデオタイトルセット（ＶＴＳ）
４４    Control Data
４５    ビデオオブジェクトセット（ＶＯＢＳ）
４６    ビデオオブジェクト（ＶＯＢ）
４７    セル（ＣＥＬＬ）
４８    ビデオオブジェクトユニット（ＶＯＢＵ）
４９    ナビゲーションパック（ＮＶ＿ＰＡＣＫ）
５０    オーディオパック（Ａ＿ＰＡＣＫ）
５１    ビデオパック（Ｖ＿ＰＡＣＫ）
８１    ビデオマネージャー（ＤＶＭＧ）
８２    ビデオタイトルセット（ＶＴＳ）
８３    ＤＶＴＳＩ
８４    ビデオオブジェクトセット（ＤＶＯＢＳ）
８５    ビデオオブジェクト（ＤＶＯＢ）
８６    セル（ＤＣＥＬＬ）
８７    ビデオオブジェクトユニット（ＤＶＯＢＵ）
８８    オーディオマネージャ（ＡＭＧ）
８９    オーディオタイトルセット（ＡＴＳ）
９０    ＡＴＳインフォメーション（ＡＴＳＩ）
９１    オーディオオブジェクトセット（ＡＯＢＳ）
９２    オーディオオブジェクト（ＡＯＢ）
９３    セル（ＣＥＬＬ）
９４    オーディオオブジェクトユニット（ＡＯＢＵ）
９５    ディファレンシャルパック（Ｄ＿ＰＡＣＫ）
【図１】
2006139827.tif 000003
【図２】
2006139827.tif 000004
【図３】
2006139827.tif 000005
【図４】
2006139827.tif 000006
【図５】
2006139827.tif 000007
【図６】
2006139827.tif 000008
【図７】
2006139827.tif 000009
【図８】
2006139827.tif 000010
【図９】
2006139827.tif 000011
【図１０】
2006139827.tif 000012
【図１１−１】
2006139827.tif 000013
【図１１−２】
2006139827.tif 000014
【図１１−３】
2006139827.tif 000015
【図１１−４】
2006139827.tif 000016
【図１１−５】
2006139827.tif 000017
【図１１−６】
2006139827.tif 000018
【図１１−７】
2006139827.tif 000019
【図１２】
2006139827.tif 000020
【図１３】
2006139827.tif 000021
【図１４】
2006139827.tif 000022
【図１５】
2006139827.tif 000023
【図１６】
2006139827.tif 000024
【図１７】
2006139827.tif 000025