(57)【要約】【課題】１本のオーディオストリームのみで、聴点（リスニングポイント）を自由に変えることができ、オブジェクトの移動によって生じるドップラー効果を、リスニングポイント（聴点）の変化に応じて調整することができる音声情報変換方法、映像・音声フォーマット、エンコーダ、音声情報変換プログラム、および音声情報変換装置を提供する。【解決手段】オブジェクト１の音を聞く基本位置とは異なる位置に仮想聴点１０１を定め、仮想聴点１０１の位置情報とオブジェクト１の位置情報とにより仮想聴点１０１で見たオブジェクト１の速度を求め、求めた速度により仮想聴点１０１で聞く音声の音声周波数を変更する。例えばオブジェクト１が仮想聴点１０１に近づくときは音の音声周波数を上げ、オブジェクト１が仮想聴点１０１から離れていくときは音の音声周波数を下げる。【選択図】    図１
2004151229.tif 000002
【特許請求の範囲】
【請求項１】
画面が複数のオブジェクトを含み、前記オブジェクト毎に、映像情報と、位置情報と、音声情報と、を有する映像・音声フォーマットに対する音声情報変換方法であって、
視聴者が音声を聴く位置として設定された基本聴点と異なる位置に仮想的な聴点を定める仮想聴点設定ステップと、
前記仮想聴点と前記オブジェクトとの相対速度を求める相対速度算出ステップと、
前記仮想聴点の音声情報に対し、前記相対速度に基づいて音声周波数の変換を行ってドップラー効果を付加する音声周波数変換ステップと、
を含むことを特徴とする音声情報変換方法。
【請求項２】
前記相対速度算出ステップは、所定時間経過した前後の前記オブジェクトの位置情報から前記オブジェクトの速度情報を求めることにより、前記仮想聴点と前記オブジェクトとの相対速度を求めることを特徴とする請求項１に記載の音声情報変換方法。
【請求項３】
前記相対速度算出ステップは、前記オブジェクトの速度情報を抽出し、前記オブジェクトの位置情報及び速度情報と前記仮想聴点の位置情報とを比較して相対速度を求めることを特徴とする請求項１に記載の音声情報変換方法。
【請求項４】
前記相対速度算出ステップは、所定時間経過した前後の前記仮想聴点の位置情報から前記仮想聴点の速度情報を求めることにより、前記仮想聴点と前記オブジェクトとの相対速度を求めることを特徴とする請求項１に記載の音声情報変換方法。
【請求項５】
前記相対速度算出ステップは、前記仮想聴点の速度情報を抽出し、前記仮想聴点の位置情報及び速度情報と前記オブジェクトの位置情報とを比較して相対速度を求めることを特徴とする請求項１に記載の音声情報変換方法。
【請求項６】
画面に再生されるシーン毎に、映像情報と、音声情報と、を有する映像・音声フォーマットに対する音声情報変換方法であって、
視聴者が音声を聴く位置として設定された基本聴点と異なる位置に仮想聴点を定める仮想聴点設定ステップと、
前記シーンはその背景が動く速度情報及び方向情報を持ち、当該速度情報及び方向情報より前記仮想聴点と前記背景との相対速度を求める相対速度算出ステップと、
前記仮想聴点の音声情報に対し、前記相対速度に基づいて音声周波数の変換を行ってドップラー効果を付加する音声周波数変換ステップと、
を含むことを特徴とする音声情報変換方法。
【請求項７】
前記音声周波数変換ステップは、前記オブジェクトに予めドップラー効果を含む音声情報が含まれている場合に、前記オブジェクトの音声情報に含まれるドップラー効果を相殺する音声周波数変換を行い、
前記仮想聴点の音声情報に対し、前記相対速度に基づいて音声周波数の変換を行ってドップラー効果を付加することを特徴とする請求項１〜５のいずれかに記載の音声情報変換方法。
【請求項８】
最終画像単位時の音声情報変換を、前記最終画像の１画像単位前の仮想聴点における音声情報の音声周波数変換を行う計算式を用いて、前記仮想聴点の音声情報にドップラー効果を付加することを特徴とする請求項１〜５のいずれかに記載の音声情報変換方法。
【請求項９】
前記映像・音声フォーマットに、シーン毎の画面の縮尺情報が含まれることを特徴とする請求項１〜８のいずれかに記載の音声情報変換方法。
【請求項１０】
請求項１〜９のいずれかに記載の音声情報変換方法に用いる、前記オブジェクトの速度情報、または、前記シーンの速度情報及び方向情報、または、前記シーン毎の画面の縮尺情報、のいずれかを含むことを特徴とする映像・音声フォーマット。
【請求項１１】
請求項１〜９のいずれかに記載の音声情報変換方法に用いる、前記オブジェクトの速度情報、または、前記シーンの速度情報及び方向情報、または、前記シーン毎の画面の縮尺情報、をエンコードすることを特徴とするエンコーダ。
【請求項１２】
コンピュータに、
視聴者が音声を聴く位置として設定された基本聴点と異なる位置に仮想的な聴点を定める手順と、
前記仮想聴点と前記オブジェクトとの相対速度を求める手順と、
前記仮想聴点の音声情報に対し、前記相対速度に基づいて音声周波数の変換を行ってドップラー効果を付加する手順と、
を実行させることを特徴とする音声情報変換プログラム。
【請求項１３】
前記相対速度を求める手順は、所定時間経過した前後の前記オブジェクトの位置情報から前記オブジェクトの速度情報を求める手順を含むことを特徴とする請求項１２に記載の音声情報変換プログラム。
【請求項１４】
前記相対速度を求める手順は、前記オブジェクトの速度情報を抽出し、前記オブジェクトの位置情報及び速度情報と前記仮想聴点の位置情報とを比較する手順を含むことを特徴とする請求項１２に記載の音声情報変換プログラム。
【請求項１５】
前記相対速度を求める手順は、所定時間経過した前後の前記仮想聴点の位置情報から前記仮想聴点の速度情報を求める手順を含むことを特徴とする請求項１２に記載の音声情報変換プログラム。
【請求項１６】
前記相対速度を求める手順は、前記仮想聴点の速度情報を抽出し、前記仮想聴点の位置情報及び速度情報と前記オブジェクトの位置情報とを比較して相対速度を求める手順を含むことを特徴とする請求項１２に記載の音声情報変換プログラム。
【請求項１７】
コンピュータに、
視聴者が音声を聴く位置として設定された基本聴点と異なる位置に仮想聴点を定める手順と、
シーンの背景が動く速度及び方向により前記仮想聴点と前記背景との相対速度を求める手順と、
前記仮想聴点の音声情報に対し、前記相対速度に基づいて音声周波数の変換を行ってドップラー効果を付加する手順と、
を実行させることを特徴とする音声情報変換プログラム。
【請求項１８】
前記音声周波数変換の変換を行う手順は、前記オブジェクトに予めドップラー効果を含む音声情報が含まれている場合に、前記オブジェクトの音声情報に含まれるドップラー効果を相殺する音声周波数変換を行い、
前記仮想聴点の音声情報に対し、前記相対速度に基づいて音声周波数の変換を行ってドップラー効果を付加する手順を含むことを特徴とする請求項１２〜１７のいずれかに記載の音声情報変換プログラム。
【請求項１９】
最終画像単位時の音声情報変換を行う場合に、前記最終画像の１画像単位前の仮想聴点における音声情報の音声周波数変換を行う計算式を用いて、前記仮想聴点の音声情報にドップラー効果を付加する手順を含むことを特徴とする請求項１２〜１７のいずれかに記載の音声情報変換プログラム。
【請求項２０】
前記映像・音声フォーマットに、シーン毎の縮尺情報が含まれることを特徴とする請求項１２〜１９のいずれかに記載の音声情報変換プログラム。
【請求項２１】
画面が複数のオブジェクトを含み、前記オブジェクト毎に、映像情報と、位置情報と、音声情報と、を有する映像・音声フォーマットの音声情報変換装置であって、
視聴者が音声を聴く位置として設定された基本聴点と異なる位置に仮想聴点を定める手段と、
前記仮想聴点と前記オブジェクトとの相対速度を求める相対速度算出手段と、
前記仮想聴点の音声情報に対し、前記相対速度に基づいて音声周波数の変換を行ってドップラー効果を付加する音声周波数変換手段と、
を備えたことを特徴とする音声情報変換装置。
【請求項２２】
前記相対速度算出手段は、前記仮想聴点の位置情報と前記オブジェクトの位置情報と、所定時間経過後の前記仮想聴点の位置情報と前記オブジェクトの位置情報と、を比較して相対速度を求めることを特徴とする請求項２１に記載の音声情報変換装置。
【請求項２３】
前記相対速度算出手段は、前記オブジェクトの位置情報及び速度情報と前記仮想聴点の位置情報とを比較して相対速度を求めることを特徴とする請求項２１に記載の音声情報変換装置。
【請求項２４】
前記相対速度算出手段は、前記のオブジェクトの位置情報と前記仮想聴点の位置情報及び速度情報とを比較して相対速度を求めることを特徴とする請求項２１に記載の音声情報変換装置。
【請求項２５】
画面に再生されるシーン毎に、映像情報と、音声情報と、を有する映像・音声フォーマットの音声情報変換装置であって、
視聴者が音声を聴く位置として設定された基本聴点と異なる位置に仮想聴点を定める手段と、前記シーンはその背景が動く速度情報及び方向情報を持ち、当該速度情報及び方向情報より前記仮想聴点と前記背景との相対速度を求める相対速度算出手段と、前記仮想聴点の音声情報に対し、前記相対速度に基づいて音声周波数の変換を行ってドップラー効果を付加する音声周波数変換手段と、
を備えたことを特徴とする音声情報変換装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  ＥＸｐｅｒｔｓ  Ｇｒｏｕｐ）４のようにオブジェクト毎に映像情報と音声情報を持つ映像・音声フォーマット又はＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）のようにシーン毎に映像情報と音声情報を持つ映像・音声フォーマットにおける音声情報変換方法、映像・音声フォーマット、エンコーダ、音声情報変換プログラム、および音声情報変換装置に関する。
【０００２】
【従来の技術】
近年、ＤＶＤやブロードバンドによる映像配信が盛んに行われるようになってきおり、家庭で映像・音声フォーマットを取り扱う機会が増してきている。その中でも、ＤＶＤの普及とＡＶアンプ等のオーディオ機器が安価になってきたことにより、音声をマルチチャンネルで楽しむ人が増えている。ＤＶＤでは、映像記録方式としてＭＰＥＧ２、音声記録方式としてドルビーディジタル（ＡＣ−３）、ＤＴＳ（Ｄｉｇｉｔａｌ  Ｔｈｅａｔｅｒ  Ｓｙｓｔｅｍ）、リニアＰＣＭ（Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）、ＭＰＥＧオーディオ等が用いられている。ＤＶＤのディスクには８本のオーディオストリームを入れることができ、各オーディオストリームに対しそれぞれ異なる音声を入れることによって、複数言語の吹き替え、高音質再生、解説、サウンドトラックなどの様々な活用方法が可能である。
【０００３】
一方、次世代の映像・音声フォーマットの１つとしてＭＰＥＧ４がある。ＭＰＥＧ４では、画面に再生されるシーンを構成する映像・音声の情報を持つオブジェクトに注目し、このオブジェクト毎に符号化することによって、動画の圧縮を効率良く行っている。
【０００４】
また、動画像認識処理の技術において、画像中の動体が発した音のドップラー効果を補正する技術が、例えば特許文献１に示されている。
【特許文献１】
特開平５−１７４１４７号公報（段落００１３等参照）
【０００５】
【発明が解決しようとする課題】
しかしながら、従来のＤＶＤ再生を行うマルチチャンネル（例えば５．１チャンネル等）のオーディオシステムでは、１本のオーディオストリームで得られる聴点（リスニングポイント）を変化させることはできない。このため、視聴者は自身が音声を聴く聴点（リスニングポイント）での聴感しか得られない。
さらに、オブジェクトの移動によって生じるドップラー効果を、リスニングポイントの変化に応じて調整できることが望ましい。
【０００６】
本発明は上記の事情に鑑みてなされたものであり、１本のオーディオストリームのみで、聴点（リスニングポイント）を自由に変えることができ、これによりあたかも視聴者が映像内に居るかのようなオーディオ環境が得られ、さらに、オブジェクトの移動によって生じるドップラー効果を、リスニングポイント（聴点）の変化に応じて調整することができる音声情報変換方法、映像・音声フォーマット、エンコーダ、音声情報変換プログラム、および音声情報変換装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
前述した目的を達成するために、請求項１に記載した音声情報変換方法は、画面が複数のオブジェクトを含み、前記オブジェクト毎に、映像情報と、位置情報と、音声情報と、を有する映像・音声フォーマットに対する音声情報変換方法であって、視聴者が音声を聴く位置として設定された基本聴点と異なる位置に仮想的な聴点を定める仮想聴点設定ステップと、前記仮想聴点と前記オブジェクトとの相対速度を求める相対速度算出ステップと、前記仮想聴点の音声情報に対し、前記相対速度に基づいて音声周波数の変換を行ってドップラー効果を付加する音声周波数変換ステップと、を含むことを特徴とする。
【０００８】
係る方法によれば、例えば、ＭＰＥＧ４等の映像・音声フォーマットにおける画面に再生されるシーンを構成する映像・音声の情報を持つオブジェクトに対し、例えばオブジェクトが仮想聴点に近づくときは音の周波数を上げ、仮想聴点から離れていくときは音の周波数を下げるといった、仮想聴点の音声情報にドップラー効果を付加することで、視聴者があたかも映像の中（仮想聴点）に入り込んでいるかのような迫力・臨場感のあるオーディオ環境を作り出すことが可能である。
【０００９】
また、請求項２に記載した音声情報変換方法は、前記相対速度算出ステップが、所定時間経過した前後の前記オブジェクトの位置情報から前記オブジェクトの速度情報を求めることにより、前記仮想聴点と前記オブジェクトとの相対速度を求めることを特徴とする。
【００１０】
係る方法によれば、所定時間経過した前後のオブジェクトの位置情報からオブジェクトの速度情報を求めることにより、仮想聴点とオブジェクトとの相対速度を求めて、仮想聴点での音声情報にドップラー効果を付加する。これにより、オブジェクトが移動したことによって発生するドップラー効果を、符号化されたオブジェクトの位置情報を用いて容易に演算処理することができ、仮想聴点から画面のオブジェクトが移動する様子を音声で把握することができる迫力・臨場感のあるオーディオ環境を作り出すことが可能である。
【００１１】
また、請求項３に記載した音声情報変換方法は、前記相対速度算出ステップが、前記オブジェクトの速度情報を抽出し、前記オブジェクトの位置情報及び速度情報と前記仮想聴点の位置情報とを比較して相対速度を求めることを特徴とする。
【００１２】
係る方法によれば、オブジェクトの速度情報を抽出し、オブジェクトの位置情報及び速度情報と仮想聴点の位置情報とを比較して相対速度を求めるので、オブジェクトの速度を演算で算出する必要がなく、その分の演算処理の負担が軽減され、さらに処理速度を向上することができる。
【００１３】
また、請求項４に記載した音声情報変換方法は、前記相対速度算出ステップが、所定時間経過した前後の前記仮想聴点の位置情報から前記仮想聴点の速度情報を求めることにより、前記仮想聴点と前記オブジェクトとの相対速度を求めることを特徴とする。
【００１４】
係る方法によれば、所定時間経過した前後の仮想聴点の位置情報から前記仮想聴点の速度情報を求めることにより、仮想聴点とオブジェクトとの相対速度を求めることにより、仮想聴点とオブジェクトとの相対速度を求めて、仮想聴点の音声情報にドップラー効果を付加する。これにより、仮想聴点が移動したことによって発生するドップラー効果を、仮想聴点の位置情報を用いて容易に演算処理することができ、（仮想聴点に居る）視聴者自身が移動する様子を音声で把握することができる迫力・臨場感のあるオーディオ環境を作り出すことが可能である。
【００１５】
また、請求項５に記載した音声情報変換方法は、前記相対速度算出ステップが、前記仮想聴点の速度情報を抽出し、前記仮想聴点の位置情報及び速度情報と前記オブジェクトの位置情報とを比較して相対速度を求めることを特徴とする。
【００１６】
係る方法によれば、仮想聴点の速度情報を抽出し、仮想聴点の位置情報及び速度情報とオブジェクトの聴点の位置情報とを比較して相対速度を求めるので、仮想聴点の速度を演算で算出する必要がなく、その分の演算処理の負担が軽減され、さらに処理速度を向上することができる。
【００１７】
また、請求項６に記載した音声情報変換方法は、画面に再生されるシーン毎に、映像情報と、音声情報と、を有する映像・音声フォーマットに対する音声情報変換方法であって、視聴者が音声を聴く位置として設定された基本聴点と異なる位置に仮想聴点を定める仮想聴点設定ステップと、前記シーンはその背景が動く速度情報及び方向情報を持ち、当該速度情報及び方向情報より前記仮想聴点と前記背景との相対速度を求める相対速度算出ステップと、前記仮想聴点の音声情報に対し、前記相対速度に基づいて音声周波数の変換を行ってドップラー効果を付加する音声周波数変換ステップと、を含むことを特徴とする。
【００１８】
係る方法によれば、例えばＤＶＤ等の映像・音声フォーマットにおける画面に再生されるシーンに対し、その背景が動く速度に応じて仮想聴点での音声情報にドップラー効果を付加するので、視聴者があたかも映像の中（仮想聴点）に入り込み、その仮想聴点から画面の背景が移動する様子を音声で把握することができる迫力・臨場感のあるオーディオ環境を作り出すことが可能である。
【００１９】
請求項７に記載した音声情報変換方法は、前記音声周波数変換ステップが、前記オブジェクトに予めドップラー効果を含む音声情報が含まれている場合に、前記オブジェクトの音声情報に含まれるドップラー効果を相殺する音声周波数変換を行い、前記仮想聴点の音声情報に対し、前記相対速度に基づいて音声周波数の変換を行ってドップラー効果を付加することを特徴とする。
【００２０】
係る方法によれば、オブジェクトに予めドップラー効果を含む音声情報が含まれている場合に、オブジェクトの音声情報に含まれるドップラー効果を相殺してから、仮想聴点の音声情報にドップラー効果を付加するので、変換前の音声情報にドップラー効果が含まれていても、仮想聴点から画面のオブジェクトが移動する際のドップラー効果を正確に表現できる。
【００２１】
請求項８に記載した音声情報変換方法は、最終画像単位時の音声情報変換を、前記最終画像の１画像単位前の仮想聴点における音声情報の音声周波数変換を行う計算式を用いて、前記仮想聴点の音声情報にドップラー効果を付加することを特徴とする。
【００２２】
係る方法によれば、例えば再生しているタイトルの最終画像となった時などのため、その次の画面の位置情報が入手できない場合に、最終画像の前の画像における音声情報変換の処理で得られた音声周波数変換の計算式を用いて、仮想聴点から聞くオブジェクトの音声周波数を求めるので、タイトルの最終画像などで、情報が得られないことによって音声周波数変換ができなくなるおそれを無くすことができる。
【００２３】
請求項９に記載した音声情報変換方法は、前記映像・音声フォーマットに、シーン毎の画面の縮尺情報が含まれることを特徴とする。
【００２４】
係る方法によれば、再生画面のズームイン、ズームアウトなどにより画面の縮尺が変わった際に、請求項１〜８に記載の音声情報変換が正確にできる。
【００２５】
請求項１０に記載した映像・音声フォーマットは、請求項１〜９のいずれかに記載の音声情報変換方法に用いる、前記オブジェクトの速度情報、または、前記シーンの速度情報及び方向情報、または、前記シーン毎の画面の縮尺情報、のいずれかを含むことを特徴とする。
【００２６】
請求項１１に記載したエンコーダは、請求項１〜９のいずれかに記載の音声情報変換方法に用いる、前記オブジェクトの速度情報、または、前記シーンの速度情報及び方向情報、または、前記シーン毎の画面の縮尺情報、をエンコードすることを特徴とする。
【００２７】
係るエンコーダによって、オブジェクトの速度情報、シーンの速度情報及び方向情報、シーン毎の画面の縮尺情報をエンコードし、映像・音声フォーマットに含むことによって、請求項１〜９のいずれかに記載の音声情報変換を実現できる。
【００２８】
前述した目的を達成するために、請求項１２に記載した音声情報変換プログラムは、コンピュータに、視聴者が音声を聴く位置として設定された基本聴点と異なる位置に仮想的な聴点を定める手順と、前記仮想聴点と前記オブジェクトとの相対速度を求める手順と、前記仮想聴点の音声情報に対し、前記相対速度に基づいて音声周波数の変換を行ってドップラー効果を付加する手順と、を実行させることを特徴とする。
【００２９】
係るプログラムによれば、例えば、ＭＰＥＧ４等の映像・音声フォーマットにおける画面に再生されるシーンを構成する映像・音声の情報を持つオブジェクトに対し、例えばオブジェクトが仮想聴点に近づくときは音の周波数を上げ、仮想聴点から離れていくときは音の周波数を下げるといった、仮想聴点の音声情報にドップラー効果を付加することができ、このプログラムを記録した記録媒体（ＲＯＭなどのメモリ等）を用いることによって、視聴者があたかも映像の中（仮想聴点）に入り込んでいるかのような迫力・臨場感のあるオーディオ環境を作り出すことが可能な映像・音声再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ、ゲーム、ＭＰＥＧプレーヤ、映画館のシステム等）を実現できる。
【００３０】
請求項１３に記載した音声情報変換プログラムは、前記相対速度を求める手順が、所定時間経過した前後の前記オブジェクトの位置情報から前記オブジェクトの速度情報を求める手順を含むことを特徴とする。
【００３１】
係るプログラムによれば、相対速度を求める手順が、所定時間経過した前後のオブジェクトの位置情報からオブジェクトの速度情報を求めるので、オブジェクトが移動したことによって発生するドップラー効果を、符号化されたオブジェクトの位置情報を用いて容易に演算処理することができ、このプログラムを記録した記録媒体（ＲＯＭなどのメモリ等）を用いることによって、仮想聴点から画面のオブジェクトが移動する様子を音声で把握することができる迫力・臨場感のあるオーディオ環境を作り出すことが可能な映像・音声再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ、ゲーム、ＭＰＥＧプレーヤ、映画館のシステム等）を実現できる。
【００３２】
請求項１４に記載した音声情報変換プログラムは、前記相対速度を求める手順は、前記オブジェクトの速度情報を抽出し、前記オブジェクトの位置情報及び速度情報と前記仮想聴点の位置情報とを比較する手順を含むことを特徴とする。
【００３３】
係るプログラムによれば、相対速度を求める手順は、オブジェクトの速度情報を抽出し、オブジェクトの位置情報及び速度情報と仮想聴点の位置情報とを比較するので、オブジェクトの速度を演算で算出する必要がなく、その分の演算処理の負担が軽減され、さらに処理速度を向上することができ、このプログラムを記録した記録媒体（ＲＯＭなどのメモリ等）を用いることによって、仮想聴点から画面のオブジェクトが移動する様子を音声で把握することができる迫力・臨場感のあるオーディオ環境を作り出すことが可能な映像・音声再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ、ゲーム、ＭＰＥＧプレーヤ、映画館のシステム等）を実現できる。
【００３４】
請求項１５に記載した音声情報変換プログラムは、前記相対速度を求める手順は、所定時間経過した前後の前記仮想聴点の位置情報から前記仮想聴点の速度情報を求める手順を含むことを特徴とする。
【００３５】
係るプログラムによれば、所定時間経過した前後の仮想聴点の位置情報から仮想聴点の速度情報を求めるので、仮想聴点が移動したことによって発生するドップラー効果を、仮想聴点の位置情報を用いて容易に演算処理することができ、このプログラムを記録した記録媒体（ＲＯＭなどのメモリ等）を用いることによって、（仮想聴点に居る）視聴者自身が移動する様子を音声で把握することができる迫力・臨場感のあるオーディオ環境を作り出すことが可能な映像・音声再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ、ゲーム、ＭＰＥＧプレーヤ、映画館のシステム等）を実現できる。
【００３６】
請求項１６に記載した音声情報変換プログラムは、前記相対速度を求める手順は、前記仮想聴点の速度情報を抽出し、前記仮想聴点の位置情報及び速度情報と前記オブジェクトの位置情報とを比較して相対速度を求める手順を含むことを特徴とする。
【００３７】
係るプログラムによれば、仮想聴点の速度情報を抽出し、仮想聴点の位置情報及び速度情報とオブジェクトの位置情報とを比較して相対速度を求めるので、仮想聴点の速度を演算で算出する必要がなく、その分の演算処理の負担が軽減され、さらに処理速度を向上することができ、このプログラムを記録した記録媒体（ＲＯＭなどのメモリ等）を用いることによって、視聴者自身が移動する様子を音声で把握することができる迫力・臨場感のあるオーディオ環境を作り出すことが可能な映像・音声再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ、ゲーム、ＭＰＥＧプレーヤ、映画館のシステム等）を実現できる。
【００３８】
請求項１７に記載した音声情報変換プログラムは、コンピュータに、視聴者が音声を聴く位置として設定された基本聴点と異なる位置に仮想聴点を定める手順と、シーンの背景が動く速度及び方向により前記仮想聴点と前記背景との相対速度を求める手順と、前記仮想聴点の音声情報に対し、前記相対速度に基づいて音声周波数の変換を行ってドップラー効果を付加する手順と、を実行させることを特徴とする。
【００３９】
係るプログラムによれば、例えばＤＶＤ等の映像・音声フォーマットにおける画面に再生されるシーンに対し、その背景が動く速度に応じて仮想聴点での音声情報にドップラー効果を付加するので、このプログラムを記録した記録媒体（ＲＯＭなどのメモリ等）を用いることによって、迫力・臨場感のあるオーディオ環境を作り出すことが可能な映像・音声再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ、ゲーム、ＭＰＥＧプレーヤ、映画館のシステム等）を実現できる。
【００４０】
請求項１８に記載した音声情報変換プログラムは、前記音声周波数変換の変換を行う手順は、前記オブジェクトに予めドップラー効果を含む音声情報が含まれている場合に、前記オブジェクトの音声情報に含まれるドップラー効果を相殺する音声周波数変換を行い、前記仮想聴点の音声情報に対し、前記相対速度に基づいて音声周波数の変換を行ってドップラー効果を付加する手順を含むことを特徴とする。
【００４１】
係るプログラムによれば、オブジェクトに予めドップラー効果を含む音声情報が含まれている場合に、オブジェクトの音声情報に含まれるドップラー効果を相殺してから、仮想聴点の音声情報にドップラー効果を付加するので、変換前の音声情報にドップラー効果が含まれていても、仮想聴点から画面のオブジェクトが移動する際のドップラー効果を正確に表現でき、このプログラムを記録した記録媒体（ＲＯＭなどのメモリ等）を用いることによって、迫力・臨場感のあるオーディオ環境を作り出すことが可能な映像・音声再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ、ゲーム、ＭＰＥＧプレーヤ、映画館のシステム等）を実現できる。
【００４２】
請求項１９に記載した音声情報変換プログラムは、最終画像単位時の音声情報変換を行う場合に、前記最終画像の１画像単位前の仮想聴点における音声情報の音声周波数変換を行う計算式を用いて、前記仮想聴点の音声情報にドップラー効果を付加する手順を含むことを特徴とする。
【００４３】
係るプログラムによれば、例えば再生しているタイトルの最終画像となった時などのため、その次の画面の位置情報が入手できない場合に、最終画像の前の画像における音声情報変換の処理で得られた音声周波数変換の計算式を用いて、仮想聴点から聞くオブジェクトの音声周波数を求めるので、タイトルの最終画像などで、情報が得られないことによって音声周波数変換ができなくなるおそれを無くすことができ、このプログラムを記録した記録媒体（ＲＯＭなどのメモリ等）を用いることによって、迫力・臨場感のあるオーディオ環境を作り出すことが可能な映像・音声再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ、ゲーム、ＭＰＥＧプレーヤ、映画館のシステム等）を実現できる。
【００４４】
請求項２０に記載した音声情報変換プログラムは、前記映像・音声フォーマットに、シーン毎の縮尺情報が含まれることを特徴とする。
【００４５】
係るプログラムによれば、再生画面のズームイン、ズームアウトなどにより画面の縮尺が変わった際に、音声情報変換が正確にでき、このプログラムを記録した記録媒体（ＲＯＭなどのメモリ等）を用いることによって、迫力・臨場感のあるオーディオ環境を作り出すことが可能な映像・音声再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ、ゲーム、ＭＰＥＧプレーヤ、映画館のシステム等）を実現できる。
【００４６】
前述した目的を達成するために、請求項２１に記載した音声情報変換装置は、画面が複数のオブジェクトを含み、前記オブジェクト毎に、映像情報と、位置情報と、音声情報と、を有する映像・音声フォーマットの音声情報変換装置であって、視聴者が音声を聴く位置として設定された基本聴点と異なる位置に仮想聴点を定める手段と、前記仮想聴点と前記オブジェクトとの相対速度を求める相対速度算出手段と、前記仮想聴点の音声情報に対し、前記相対速度に基づいてｚ音声周波数の変換を行ってドップラー効果を付加する音声周波数変換手段と、を備えたことを特徴とする。
【００４７】
係る装置によれば、例えば、ＭＰＥＧ４等の映像・音声フォーマットにおける画面に再生されるシーンを構成する映像・音声の情報を持つオブジェクトに対し、例えばオブジェクトが仮想聴点に近づくときは音の周波数を上げ、仮想聴点から離れていくときは音の周波数を下げるといった、仮想聴点の音声情報にドップラー効果を付加することができるので、この音声情報変換装置を用いることにより、視聴者があたかも映像の中（仮想聴点）に入り込んでいるかのような迫力・臨場感のあるオーディオ環境を作り出すことが可能である。
【００４８】
請求項２２に記載した音声情報変換装置は、前記相対速度算出手段は、前記仮想聴点の位置情報と前記オブジェクトの位置情報と、所定時間経過後の前記仮想聴点の位置情報と前記オブジェクトの位置情報と、を比較して相対速度を求めることを特徴とする。
【００４９】
係る装置によれば、視聴者があたかも映像の中（仮想聴点）に入り込み、その仮想聴点から画面のオブジェクトが移動する様子を音声で把握することができ、または、視聴者自身が移動する様子を音声で把握することができる迫力・臨場感のあるオーディオ環境を作り出すことが可能である。
【００５０】
請求項２３に記載した音声情報変換装置は、前記相対速度算出手段は、前記オブジェクトの位置情報及び速度情報と前記仮想聴点の位置情報とを比較して相対速度を求めることを特徴とする。
【００５１】
係る装置によれば、視聴者があたかも映像の中（仮想聴点）に入り込み、その仮想聴点から画面のオブジェクトが移動する様子を音声で把握することができる迫力・臨場感のあるオーディオ環境を作り出すことが可能である。
【００５２】
請求項２４に記載した音声情報変換装置は、前記相対速度算出手段は、前記のオブジェクトの位置情報と前記仮想聴点の位置情報及び速度情報とを比較して相対速度を求めることを特徴とする。
【００５３】
係る装置によれば、視聴者があたかも映像の中（仮想聴点）に入り込み、（仮想聴点に居る）視聴者自身が移動する様子を音声で把握することができることができる迫力・臨場感のあるオーディオ環境を作り出すことが可能である。
【００５４】
請求項２５に記載した音声情報変換装置は、画面に再生されるシーン毎に、映像情報と、音声情報と、を有する映像・音声フォーマットの音声情報変換装置であって、視聴者が音声を聴く位置として設定された基本聴点と異なる位置に仮想聴点を定める手段と、前記シーンはその背景が動く速度情報及び方向情報を持ち、当該速度情報及び方向情報より前記仮想聴点と前記背景との相対速度を求める相対速度算出手段と、前記仮想聴点の音声情報に対し、前記相対速度に基づいて音声周波数の変換を行ってドップラー効果を付加する音声周波数変換手段と、を備えたことを特徴とする。
【００５５】
係る装置によれば、例えばＤＶＤ等の映像・音声フォーマットにおける画面に再生されるシーンに対し、その背景が動く速度に応じて仮想聴点での音声情報にドップラー効果を付加するので、視聴者があたかも映像の中（仮想聴点）に入り込み、その仮想聴点から画面の背景が移動する様子を音声で把握することができる迫力・臨場感のあるオーディオ環境を作り出すことが可能である。
【００５６】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００５７】
（第１実施形態）
図１は、本発明の第１実施形態を説明するための図である。
図１において、画面１００内に仮想聴点１０１を定める。また、音声情報を有する映像オブジェクト１が画面１００の左から右に移動しているものとする。仮想聴点１０１の座標を（ｘ１，ｙ１，ｚ１）とし、オブジェクト１の現在の位置を図２のＰ１（ｘａ，ｙａ，ｚａ）、時間ｔ経過後の位置を図２のＰ２（ｘｂ，ｙｂ，ｚｂ）とすると、これらの間のベクトルは（１）式のようになる。
【００５８】
【数１】
2004151229.tif 000003
【００５９】
時間の単位を考慮してオブジェクト１の速度を計算する。この場合、オブジェクト１の速度をＶ１とすると、（２）式のようになる。
【００６０】
【数２】
2004151229.tif 000004
【００６１】
但し、ｋは定数である。
位置Ｐ１から仮想聴点１０１へ向かうベクトルと、位置Ｐ１から位置Ｐ２へ向かうベクトルにより、図２に示す角度θを用いてｃｏｓθを求め、オブジェクト１の速度Ｖ１の位置Ｐ１から仮想聴点１０１へ向かう方向成分は、（３）式で表すことができる。
【００６２】
【数３】
2004151229.tif 000005
【００６３】
ここで、音の速度をｖ、音源の音声周波数をｆ、仮想聴点１０１で聞こえる音声周波数をｆ１とすると、この音声周波数ｆ１は（４）式で表すことができる。
【００６４】
【数４】
2004151229.tif 000006
【００６５】
（４）式から分かるように、仮想聴点１０１で聞く音声情報の音声周波数を変更することにより、仮想聴点１０１を何処に設定しても、より臨場感のある音声を楽しむことが可能となる。
【００６６】
上述のように本実施形態は、視聴者が音声を聴く位置として設定された基本聴点と異なる位置に仮想聴点１０１を定め、仮想聴点１０１の位置情報とオブジェクト１の位置情報とにより仮想聴点１０１とオブジェクト１との相対速度を求め、求めた相対速度により仮想聴点１０１での音声周波数を変更するので、視聴者が仮想的に存在することができる仮想聴点１０１を自由に移動させることにより臨場感のある音場を生成することができる。
【００６７】
（第２実施形態）
図３は、本発明の第２実施形態を説明するための図である。
前述の第１実施形態においては、オブジェクト１の座標情報によりオブジェクト１の速度を計算し、その情報を元に仮想聴点１０１で聞く音声の音声周波数を変更するようにした。しかし、予めオブジェクト１が時間単位に速度情報を持っていればそのような計算が必要なくなる。本実施形態では、映像・音声フォーマットにおいて、予めエンコーダ等でエンコードされた速度情報を有している場合にはその情報を抽出し、それをもとに仮想聴点で聞こえる音の音声周波数を計算するようにした。
【００６８】
図３に示すようなフォーマットで記述されている映像・音声フォーマットにおいて、オブジェクト１、２、…、ｎの速度情報を入手する。オブジェクト１の速度をＶ１とすると、第１実施形態と同様に、図２に示す角度θを用いて、オブジェクト１から仮想聴点１０１に向かう速度成分Ｖ１´は、（５）式のように表すことができる。
【００６９】
【数５】
2004151229.tif 000007
【００７０】
ここで、音の速度をｖ、音源の音の音声周波数をｆ、仮想聴点１０１で聞こえる音の音声周波数をｆ１とすると、この音声周波数ｆ１は（６）式のように表すことができる。
【００７１】
【数６】
2004151229.tif 000008
【００７２】
（６）式において、仮想聴点１０１で聞く音声情報の音声周波数を変更することにより、仮想聴点１０１を何処に設定しても、より臨場感のある音声を楽しむことが可能となる。
ところで、本実施形態を実現のためには、オブジェクト情報の中にオブジェクト１の速度情報及び方向情報が記述されている必要がある。例えば図４に示すように、オブジェクト１情報の中のある時間における情報の中に速度情報と方向情報があり、これらを用いることにより、ドップラー効果を考慮した音声の生成を実現できる。
【００７３】
このように、本実施形態によれば、オブジェクト１の音を聞く基本位置とは異なる位置に仮想聴点１０１を定め、オブジェクト１の速度情報及び移動方向情報と仮想聴点１０１の位置情報とにより仮想聴点１０１で見たオブジェクト１の近づく又は離れる速度を求め、求めた速度により仮想聴点１０１で聞く音声の音声周波数を変更するので、第１実施形態よりも更に仮想聴点１０１で聞く音声に迫力のある臨場感を与えることができる。
【００７４】
（第３実施形態）
図５は、本発明の第３実施形態を説明するための図である。
図１において、仮想聴点１０２が画面右方向へ動くものとする。また、音声情報を有する映像のオブジェクト２は動かないものとする。オブジェクト２の座標を図５に示す（ｘ１，ｙ１，ｚ１）とし、また仮想聴点１０２の現在の位置を図５に示すＰ１（ｘａ，ｙａ，ｚａ）、時間ｔ経過後の位置をＰ２（ｘｂ，ｙｂ，ｚｂ）とすると、これらの間のベクトルは、（７）式のように表すことができる。
【００７５】
【数７】
2004151229.tif 000009
【００７６】
時間の単位を考慮して仮想聴点１０２の速度を計算する。仮想聴点１０２の速度をＶ１とすると、この速度Ｖ１は（８）式のように表すことができる。
【００７７】
【数８】
2004151229.tif 000010
【００７８】
但し、ｋは定数
オブジェクト２からＰ１へ向かうベクトルと、Ｐ１からＰ２へ向かうベクトルとにより、図５に示す角度θを用いてｃｏｓθを求め、仮想聴点１０２の速度Ｖ１のオブジェクト２からＰ１への方向成分Ｖ１´は（９）式で表すことができる。
【００７９】
【数９】
2004151229.tif 000011
【００８０】
ここで、音の速度をｖ、音源の音の音声周波数をｆ、仮想聴点１０２で聞こえる音の音声周波数をｆ１とすると、この音声周波数ｆ１は（１０）式のようになる。
【００８１】
【数１０】
2004151229.tif 000012
【００８２】
これにより、仮想聴点１０２で聞く音声情報の音声周波数を変更することにより、仮想聴点１０２を何処に設定しても、より臨場感のある音声を楽しむことが可能となる。
【００８３】
このように本実施形態によれば、オブジェクト２の音を聞く基本位置とは異なる位置に仮想聴点１０２を定め、仮想聴点１０２が動く時にオブジェクト２の位置情報と仮想聴点１０２の位置情報とによりオブジェクト２から見た仮想聴点１０２の速度を求め、求めた速度により仮想聴点１０２で聞く音声の音声周波数を変更するので、仮想聴点１０２をどの場所に移動しても臨場感のある音場を生成することができる。
【００８４】
（第４実施形態）
図６は、本発明の第４実施形態を説明するための図である。
前述の図１で示したように、仮想聴点１０２は画面右方向へ動くものとする。音声情報を持つ映像のオブジェクト２が動かないものとする。オブジェクト２の座標を図５に示すように（ｘ１，ｙ１，ｚ１）とし、仮想聴点１０２は速度情報（方向情報も含む）を持つものとし、その速度をＶ１とする。
【００８５】
オブジェクト２からＰ１へ向かうベクトルと、Ｐ１からＰ２へ向かうベクトルとにより、図５に示す角度θを用いてｃｏｓθを求め、仮想聴点１０２の速度Ｖ１のオブジェクト２からＰ１への方向成分は（１１）式で表すことができる。
【００８６】
【数１１】
2004151229.tif 000013
【００８７】
ここで、音の速度をＶ、音源の音の音声周波数をｆ、仮想聴点１０２で聞こえる音の音声周波数をｆ１とすると、この音声周波数ｆ１は（１２）式のようになる。
【００８８】
【数１２】
2004151229.tif 000014
【００８９】
これにより、仮想聴点１０２から聞く音声情報の音声周波数を変更することにより、仮想聴点１０２をどこに設定しても、より臨場感のある音声を楽しむことが可能となる。
【００９０】
このように本実施形態によれば、オブジェクト２の音を聞く基本位置とは異なる位置に仮想聴点１０２を定め、仮想聴点１０２が動く時に速度と移動方向を定め、仮想聴点１０２から見たオブジェクト２の近づく又は離れる速度を求め、求めた速度により仮想聴点１０２で聞く音声の音声周波数を変更するので、仮想聴点１０２をどの場所に移動しても臨場感のある音場を生成することができる。
【００９１】
（第５実施形態）
本実施形態は、映像情報と音声情報を有するオブジェクト２と仮想聴点１０２が共に動いた場合に、仮想聴点１０２で聞こえる音の音声周波数を変更するものである。
【００９２】
前述の図１で示したような映像情報と音声情報を有するオブジェクト２がある。また、図１で示したような動く仮想聴点１０２を定める。オブジェクト２の現在の位置を図６に示すようにＰ１（ｘａ，ｙａ，ｘａ）、時間ｔ経過後の位置は図６に示すようにＰ２（ｘｂ，ｙｂ，ｚｂ）とすると、これらの間のベクトルは（１３）式で表すことができる。
【００９３】
【数１３】
2004151229.tif 000015
【００９４】
時間の単位を考慮してオブジェクト２の速度を計算する。オブジェクト２の速度をＶ１とすると、この速度Ｖ１は（１４）式で表すことができる。
【００９５】
【数１４】
2004151229.tif 000016
【００９６】
但し、Ｋは定数である。
位置Ｐ１から仮想聴点１０２に向かうベクトルと、位置Ｐ１から位置Ｐ２に向かうベクトルとにより、図６に示す角度θ１を用いてｃｏｓθを求める。そして、オブジェクト２の速度Ｖ１の位置Ｐ１から位置Ｐ２への方向成分は（１５）式で表すことができる。
【００９７】
【数１５】
2004151229.tif 000017
【００９８】
同様に、仮想聴点１０２の現在の位置を図６に示すＰ３（ｘｃ，ｙｃ，ｚｃ）、時間ｔ経過後の位置を図６に示すＰ２（ｘｄ，ｙｄ，ｚｄ）とすると、これらの間のベクトルは（１６）式で表すことができる。
【００９９】
【数１６】
2004151229.tif 000018
【０１００】
時間の単位を考慮して、仮想聴点１０２の速度を計算する。仮想聴点１０２の速度をＶ２とすると、この速度Ｖ２は（１７）式で表すことができる。
【０１０１】
【数１７】
2004151229.tif 000019
【０１０２】
但し、Ｋは定数
位置Ｐ１から位置Ｐ３へ向かうベクトルと、位置Ｐ３から位置Ｐ４へ向かうベクトルとにより、図６に示す角度θ２を用いてｃｏｓθ２を求める。そして、速度Ｖ１の位置Ｐ１から位置Ｐ３への方向成分は（１８）式で表すことができる。
【０１０３】
【数１８】
2004151229.tif 000020
【０１０４】
ここで、音の速度をＶ、音源の音声周波数をｆ、仮想聴点１０２で聞こえる音声の音声周波数をｆ１とすると、この音声周波数ｆ１は（１９）式のようになる。
【０１０５】
【数１９】
2004151229.tif 000021
【０１０６】
仮想聴点１０２で聞く音声情報の音声周波数をｆ１に変更することにより、仮想聴点１０２をどこに設定しても、より臨場感のある音声を楽しむことが可能となる。
【０１０７】
このように本実施形態によれば、オブジェクト２と仮想聴点１０２のいずれも動くとき、オブジェクト２の位置又は速度及び移動方向と仮想聴点１０２の位置又は速度及び移動方向とにより仮想聴点１０２から見たオブジェクト２の速度及びオブジェクト２から見た仮想聴点１０２の速度を求め、求めた速度により仮想聴点１０２で聞く音声の音声周波数を変更するので、仮想聴点１０２をどの場所に移動しても臨場感のある音場を生成することができる。
【０１０８】
（第６実施形態）
図７は、本発明の第６実施形態を説明するための図である。
図７に示すように、仮想聴点７０１を定める。背景データに音声情報があり、かつ背景が動き、その速度情報又は位置情報を映像・音声フォーマットとして持っているとする。ここで、図８に示すように画面８０１に対するｘ−ｙ−ｚ軸を考えると、背景を（ｘ，ｙ，ｚ）＝（０，０，ｔ）にあるオブジェクトと考える。但し、ｔは定数である。これにより、第２実施形態の処理を行い、仮想聴点７０１から聞こえる音声の音声周波数を作り出す。背景を中心Ｐａ（０，０，ｔ）のオブジェクトとし、背景の速度をＶ１とすると、図９に示す角度θを用いて中心Ｐａから仮想聴点７０１方向への速度成分Ｖ１´は、（２０）式で表すことができる。
【０１０９】
【数２０】
2004151229.tif 000022
【０１１０】
ここで、音の速度をＶ、音源の音の音声周波数をｆ、仮想聴点７０１で聞こえる音の音声周波数をｆ１とすると、この音声周波数ｆ１は（２１）式のようになる。
【０１１１】
【数２１】
2004151229.tif 000023
【０１１２】
これにより、仮想聴点１０７から聞く音声情報の音声周波数を変更することにより、仮想聴点１０７をどこに設定しても、より臨場感のある音声を楽しむことが可能となる。
【０１１３】
本実施形態を実現するためにはシーン情報の中に、予めエンコーダ等でエンコードされたシーンの速度情報及び方向情報が記述されている必要がある。例えば図１０に示すように、シーン情報の中のある時間における情報の中に速度情報と方向情報があることにより、ドップラー効果を考慮した音声の生成を実現できる。
【０１１４】
このように本実施形態によれば、映像情報が映し出される画面内に仮想聴点７０１を定め、シーンの動く方向と速度により、仮想聴点７０１から見た背景（オブジェクトとみなす）の速度にシーンの動く速度を考慮して仮想聴点７０１で聞く音声の音声周波数を変更するので、仮想聴点７０１をどの場所に移動しても臨場感のある音場を生成することができる。
【０１１５】
（第７実施形態）
本実施の形態は、前述の図１で示した仮想聴点１０２を他のオブジェクトにするものである。以下、この仮想聴点１０２をオブジェクト３とする。映像情報と音声情報より、オブジェクト１とオブジェクト３の位置情報あるいは速度情報と方向情報を入手し、それによりオブジェクト１からオブジェクト３の向きの速度成分を計算する。オブジェクト１のオブジェクト１からオブジェクト３成分の速度をＶ１´、オブジェクト３のオブジェクト１からオブジェクト３成分の速度をＶ２´とし、音の速度をＶ、音源の音の音声周波数をｆ、仮想聴点１０２で聞こえる音の音声周波数をｆ１とする。ドップラー効果の式に当てはめると（２２）式のようになる。
【０１１６】
【数２２】
2004151229.tif 000024
【０１１７】
オブジェクト３から聞く音声情報の音声周波数をｆ１にすることにより、仮想聴点１０２をどこに設定しても、より臨場感のある音声を楽しむことが可能となる。
【０１１８】
このように本実施形態によれば、ある１つのオブジェクト３を仮想聴点１０２に設定し、設定した仮想聴点１０２で聞く音声の音声周波数を変更するので、仮想聴点１０２をどの場所に移動しても臨場感のある音場を生成することができる。
【０１１９】
（第８実施形態）
実際の撮影時に映像情報と音声情報を入手する際、ドップラー効果を無視した音声を入手することが難しい場合がある。また、現在のＤＶＤプレーヤやＭＰＥＧ４プレーヤ等の映像・音声再生装置における音声もドップラー効果が既に考慮されたものであることが多い。本実施形態は、そのような音場にて仮想聴点をあらゆる場所に変える場合に仮想聴点をどこに変えてもその場所に応じたドップラー効果を得られるようにしたものである。
【０１２０】
ＭＰＥＧプレーヤは、基本的に図１１に示す基本聴点１００１にて音声を聞くと仮定して作られている。そのとき、オブジェクト１が音声データを持っているものとすると、予め基本聴点１００１で聞く音として、ドップラー効果も考慮した音声が入っていることがある。オブジェクト１が速度Ｖ１で動いているものとし、基本聴点１００１で聞く音声の音声周波数をｆ１とする。オブジェクト１のオブジェクト１から基本聴点１００１へ向かう方向の速度成分Ｖ１´は、（２３）式のようになる。
【０１２１】
【数２３】
2004151229.tif 000025
Ｖ１’＝  ｃｏｓθ１
【０１２２】
基本聴点１００１で聞く音声の音声周波数をｆ１は、（２４）式のように表すことができる。
【０１２３】
【数２４】
2004151229.tif 000026
【０１２４】
そして、オブジェクト１の、ドップラー効果を無視した音声情報の音声周波数をｆとすると、以下の（２５）式で表すことができる。
【０１２５】
【数２５】
2004151229.tif 000027
【０１２６】
このようにドップラー効果の逆の計算をすることによって、ドップラー効果を考慮した音声情報の音声周波数からドップラー効果を考慮しない音声情報の音声周波数を導き出すことができる。
【０１２７】
そして、仮想聴点１００２で聞く音声を作成する際に、ドップラー効果を考慮しない音声情報の音声周波数より第１、第２、第３、第６実施形態及び第７実施形態で示した計算式に当てはめて仮想聴点１００２で聞く音声情報の音声周波数を導き出すことができる。ここでは、仮想聴点１００２が動かないものとして、仮想聴点１００２で聞く音声情報の音声周波数を導く。
【０１２８】
図１２において、仮想聴点１００２で聞く音声情報の音声周波数をｆ２とする。オブジェクト１の速度Ｖ１の、オブジェクト１から仮想聴点１００２方向成分をＶ２とすると、（２６）式で表すことができる。
【０１２９】
【数２６】
2004151229.tif 000028
Ｖ２＝Ｖ１ｃｏｓθ２
【０１３０】
したがって、（２７）式が成り立つ。
【０１３１】
【数２７】
2004151229.tif 000029
【０１３２】
オブジェクト１と基本聴点の式より、以下の（２８）式を代入すると、（２９）式と表すことができる。
【０１３３】
【数２８】
2004151229.tif 000030
【０１３４】
【数２９】
2004151229.tif 000031
【０１３５】
仮想聴点１００２の位置を座標軸のどこに変更しても、その場所に応じた適当なドップラー効果を付加することにより、より臨場感のある音声を楽しむことができる。
【０１３６】
このように本実施形態によれば、ある地点から聞いたときのドップラー効果がすでに付加されている音声情報がある場合にはドップラー効果の逆の計算を付加し、ドップラー効果の付いていない音声情報を作り出す。その後、仮想聴点からの音場を作り出すときにドップラー効果のついていない音声情報を用いてドップラー効果を付加する。これにより、１つのオーディオストリームから複数の音場を作り出す際により臨場感のある音場を作り出すことができる。
【０１３７】
また、本実施形態によれば、各オブジェクトのオーディオストリームにドップラー効果を無視した音声を入れることもでき、更には１チャンネルの音声情報でもマルチチャンネルに聞こえる音場を作り出すこともでき、音声情報を小さくすることができる。
【０１３８】
（第９実施形態）
本実施の形態は、例えばタイトルの最終画像で次画像がない場合のオブジェクト及び仮想聴点の速度を算出するものである。
【０１３９】
次画像がない場合、あるいは画面が切り替わる１画像前のタイミングでオブジェクトや仮想聴が速度情報を持っておらず、次画像の座標からの速度算出ができない場合、図１３に示すような時間軸を考えて最終画像単位（最終ＶＯＢＵ、最終セル等）時の仮想聴点で聞く音声の音声周波数は、１画像単位前の仮想聴点で聞く音声の音声周波数の計算式を用いて、最終画像単位におけるオブジェクトの出す音声の音声周波数を計算式に当てはめることとする。図１３に示す仮想聴点１０２で聞くオブジェクト１の音声の音声周波数は、前述の第５実施形態で示した（１９）式で表すことができる。
【０１４０】
【数３０】
2004151229.tif 000032
【０１４１】
これにより、最終画像単位における仮想聴点１０２で聞くオブジェクト１の音声周波数ｆ１´は、最終画像単位におけるオブジェクト１が出す音声の音声周波数をｆ´とすると、次の（３０）式で表すことができる。
【０１４２】
【数３１】
2004151229.tif 000033
【０１４３】
このように本実施の形態によれば、タイトルの最終画面単位等により、次の画面の位置情報が入手できない場合には、前の画像からオブジェクトの速度情報又は仮想聴点の速度情報を入手して、仮想聴点で聞くオブジェクトの音声の音声周波数を求めるので、仮想聴点をどの場所に移動しても臨場感のある音場を生成することができる。
【０１４４】
（第１０実施形態）
複数の時間単位における画面上の座標データから実際の速度を計算するには、画面の縮尺情報を持っている必要がある。その縮尺情報はシーンによって異なるため、シーン毎に持つ必要がある。そのため、本実施形態では、図１４に示すように、シーン情報の中に予めエンコーダ等でエンコードされた縮尺情報を持つ映像・音声フォーマットを実現した。
【０１４５】
なお、第１実施形態〜第１０実施形態の音声情報変換方法をプログラム化して、映像・音声フォーマットをデコードするデコーダ、デコードするプログラムを記録したメモリ、あるいはデコーダを制御するプログラムを記録したメモリ等の記録媒体に記録させることで、各実施形態における効果を奏する映像・音声再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ、ゲーム、ＭＰＥＧプレーヤ、映画館のシステム等）を実現できる。
【０１４６】
【発明の効果】
以上詳記したように、請求項１に記載した音声情報変換方法によれば、例えば、ＭＰＥＧ４等の映像・音声フォーマットにおける画面に再生されるシーンを構成する映像・音声の情報を持つオブジェクトに対し、例えばオブジェクトが仮想聴点に近づくときは音の周波数を上げ、仮想聴点から離れていくときは音の周波数を下げるといった、仮想聴点の音声情報にドップラー効果を付加することで、視聴者があたかも映像の中（仮想聴点）に入り込んでいるかのような迫力・臨場感のあるオーディオ環境を作り出すことが可能である。
【０１４７】
請求項２に記載した音声情報変換方法によれば、オブジェクトが移動したことによって発生するドップラー効果を、符号化されたオブジェクトの位置情報を用いて容易に演算処理することができ、仮想聴点から画面のオブジェクトが移動する様子を音声で把握することができる迫力・臨場感のあるオーディオ環境を作り出すことが可能である。
【０１４８】
請求項３に記載した音声情報変換方法によれば、オブジェクトの速度を演算で算出する必要がなく、その分の演算処理の負担が軽減され、さらに処理速度を向上することができる。
【０１４９】
請求項４に記載した音声情報変換方法によれば、仮想聴点が移動したことによって発生するドップラー効果を、仮想聴点の位置情報を用いて容易に演算処理することができ、（仮想聴点に居る）視聴者自身が移動する様子を音声で把握することができる迫力・臨場感のあるオーディオ環境を作り出すことが可能である。
【０１５０】
請求項５に記載した音声情報変換方法によれば、仮想聴点の速度を演算で算出する必要がなく、その分の演算処理の負担が軽減され、さらに処理速度を向上することができる。
【０１５１】
請求項６に記載した音声情報変換方法によれば、例えばＤＶＤ等の映像・音声フォーマットにおける画面に再生されるシーンに対し、その背景が動く速度に応じて仮想聴点での音声情報にドップラー効果を付加するので、視聴者があたかも映像の中（仮想聴点）に入り込み、その仮想聴点から画面の背景が移動する様子を音声で把握することができる迫力・臨場感のあるオーディオ環境を作り出すことが可能である。
【０１５２】
請求項７に記載した音声情報変換方法によれば、オブジェクトに予めドップラー効果を含む音声情報が含まれている場合に、オブジェクトの音声情報に含まれるドップラー効果を相殺してから、仮想聴点の音声情報にドップラー効果を付加するので、変換前の音声情報にドップラー効果が含まれていても、仮想聴点から画面のオブジェクトが移動する際のドップラー効果を正確に表現できる。
【０１５３】
請求項８に記載した音声情報変換方法によれば、例えば再生しているタイトルの最終画像となった時などのため、その次の画面の位置情報が入手できない場合に、最終画像の前の画像における音声情報変換の処理で得られた音声周波数変換の計算式を用いて、仮想聴点から聞くオブジェクトの音声周波数を求めるので、タイトルの最終画像などで、情報が得られないことによって音声周波数変換ができなくなるおそれを無くすことができる。
【０１５４】
請求項９に記載した音声情報変換方法によれば、再生画面のズームイン、ズームアウトなどにより画面の縮尺が変わった際に、請求項１〜８に記載の音声情報変換が正確にできる。
【０１５５】
請求項１０に記載した映像・音声フォーマットによれば、請求項１１に記載したエンコーダによって、オブジェクトの速度情報、シーンの速度情報及び方向情報、シーン毎の画面の縮尺情報をエンコードし、映像・音声フォーマットに含むことによって、請求項１〜９のいずれかに記載の音声情報変換を実現できる。
【０１５６】
請求項１２に記載した音声情報変換プログラムによれば、例えば、ＭＰＥＧ４等の映像・音声フォーマットにおける画面に再生されるシーンを構成する映像・音声の情報を持つオブジェクトに対し、例えばオブジェクトが仮想聴点に近づくときは音の周波数を上げ、仮想聴点から離れていくときは音の周波数を下げるといった、仮想聴点の音声情報にドップラー効果を付加することができ、このプログラムを記録した記録媒体（ＲＯＭなどのメモリ等）を用いることによって、視聴者があたかも映像の中（仮想聴点）に入り込んでいるかのような迫力・臨場感のあるオーディオ環境を作り出すことが可能な映像・音声再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ、ゲーム、ＭＰＥＧプレーヤ、映画館のシステム等）を実現できる。
【０１５７】
請求項１３に記載した音声情報変換プログラムによれば、オブジェクトが移動したことによって発生するドップラー効果を、符号化されたオブジェクトの位置情報を用いて容易に演算処理することができ、このプログラムを記録した記録媒体（ＲＯＭなどのメモリ等）を用いることによって、仮想聴点から画面のオブジェクトが移動する様子を音声で把握することができる迫力・臨場感のあるオーディオ環境を作り出すことが可能な映像・音声再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ、ゲーム、ＭＰＥＧプレーヤ、映画館のシステム等）を実現できる。
【０１５８】
請求項１４に記載した音声情報変換プログラムによれば、オブジェクトの速度を演算で算出する必要がなく、その分の演算処理の負担が軽減され、さらに処理速度を向上することができ、このプログラムを記録した記録媒体（ＲＯＭなどのメモリ等）を用いることによって、仮想聴点から画面のオブジェクトが移動する様子を音声で把握することができる迫力・臨場感のあるオーディオ環境を作り出すことが可能な映像・音声再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ、ゲーム、ＭＰＥＧプレーヤ、映画館のシステム等）を実現できる。
【０１５９】
請求項１５に記載した音声情報変換プログラムによれば、仮想聴点が移動したことによって発生するドップラー効果を、仮想聴点の位置情報を用いて容易に演算処理することができ、このプログラムを記録した記録媒体（ＲＯＭなどのメモリ等）を用いることによって、（仮想聴点に居る）視聴者自身が移動する様子を音声で把握することができる迫力・臨場感のあるオーディオ環境を作り出すことが可能な映像・音声再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ、ゲーム、ＭＰＥＧプレーヤ、映画館のシステム等）を実現できる。
【０１６０】
請求項１６に記載した音声情報変換プログラムによれば、仮想聴点の速度を演算で算出する必要がなく、その分の演算処理の負担が軽減され、さらに処理速度を向上することができ、このプログラムを記録した記録媒体（ＲＯＭなどのメモリ等）を用いることによって、視聴者自身が移動する様子を音声で把握することができる迫力・臨場感のあるオーディオ環境を作り出すことが可能な映像・音声再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ、ゲーム、ＭＰＥＧプレーヤ、映画館のシステム等）を実現できる。
【０１６１】
請求項１７に記載した音声情報変換プログラムによれば、例えばＤＶＤ等の映像・音声フォーマットにおける画面に再生されるシーンに対し、その背景が動く速度に応じて仮想聴点での音声情報にドップラー効果を付加するので、このプログラムを記録した記録媒体（ＲＯＭなどのメモリ等）を用いることによって、迫力・臨場感のあるオーディオ環境を作り出すことが可能な映像・音声再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ、ゲーム、ＭＰＥＧプレーヤ、映画館のシステム等）を実現できる。
【０１６２】
請求項１８に記載した音声情報変換プログラムによれば、変換前の音声情報にドップラー効果が含まれていても、仮想聴点から画面のオブジェクトが移動する際のドップラー効果を正確に表現でき、このプログラムを記録した記録媒体（ＲＯＭなどのメモリ等）を用いることによって、迫力・臨場感のあるオーディオ環境を作り出すことが可能な映像・音声再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ、ゲーム、ＭＰＥＧプレーヤ、映画館のシステム等）を実現できる。
【０１６３】
請求項１９に記載した音声情報変換プログラムによれば、例えば再生しているタイトルの最終画像となった時などのため、その次の画面の位置情報が入手できない場合に、最終画像の前の画像における音声情報変換の処理で得られた音声周波数変換の計算式を用いて、仮想聴点から聞くオブジェクトの音声周波数を求めるので、タイトルの最終画像などで、情報が得られないことによって音声周波数変換ができなくなるおそれを無くすことができ、このプログラムを記録した記録媒体（ＲＯＭなどのメモリ等）を用いることによって、迫力・臨場感のあるオーディオ環境を作り出すことが可能な映像・音声再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ、ゲーム、ＭＰＥＧプレーヤ、映画館のシステム等）を実現できる。
【０１６４】
請求項２０に記載した音声情報変換プログラムによれば、再生画面のズームイン、ズームアウトなどにより画面の縮尺が変わった際に、音声情報変換が正確にでき、このプログラムを記録した記録媒体（ＲＯＭなどのメモリ等）を用いることによって、迫力・臨場感のあるオーディオ環境を作り出すことが可能な映像・音声再生装置（ＤＶＤプレーヤ、ＬＤプレーヤ、ゲーム、ＭＰＥＧプレーヤ、映画館のシステム等）を実現できる。
【０１６５】
請求項２１に記載した音声情報変換装置によれば、例えば、ＭＰＥＧ４等の映像・音声フォーマットにおける画面に再生されるシーンを構成する映像・音声の情報を持つオブジェクトに対し、例えばオブジェクトが仮想聴点に近づくときは音の周波数を上げ、仮想聴点から離れていくときは音の周波数を下げるといった、仮想聴点の音声情報にドップラー効果を付加することができるので、この音声情報変換装置を用いることにより、視聴者があたかも映像の中（仮想聴点）に入り込んでいるかのような迫力・臨場感のあるオーディオ環境を作り出すことが可能である。
【０１６６】
請求項２２に記載した音声情報変換装置によれば、視聴者があたかも映像の中（仮想聴点）に入り込み、その仮想聴点から画面のオブジェクトが移動する様子を音声で把握することができ、または、視聴者自身が移動する様子を音声で把握することができる迫力・臨場感のあるオーディオ環境を作り出すことが可能である。
【０１６７】
請求項２３に記載した音声情報変換装置によれば、視聴者があたかも映像の中（仮想聴点）に入り込み、その仮想聴点から画面のオブジェクトが移動する様子を音声で把握することができる迫力・臨場感のあるオーディオ環境を作り出すことが可能である。
【０１６８】
請求項２４に記載した音声情報変換装置によれば、視聴者があたかも映像の中（仮想聴点）に入り込み、（仮想聴点に居る）視聴者自身が移動する様子を音声で把握することができることができる迫力・臨場感のあるオーディオ環境を作り出すことが可能である。
【０１６９】
請求項２５に記載した音声情報変換装置によれば、例えばＤＶＤ等の映像・音声フォーマットにおける画面に再生されるシーンに対し、その背景が動く速度に応じて仮想聴点での音声情報にドップラー効果を付加するので、視聴者があたかも映像の中（仮想聴点）に入り込み、その仮想聴点から画面の背景が移動する様子を音声で把握することができる迫力・臨場感のあるオーディオ環境を作り出すことが可能である。
【図面の簡単な説明】
【図１】本発明の第１、第３、第４実施形態及び第５実施形態に係る音声情報変換方法を説明するための図である。
【図２】本発明の第１実施形態に係る音声情報変換方法の説明するための図である。
【図３】本発明の第２実施形態に係る音声情報変換方法を説明するための図であり、シーン記述フォーマットのイメージ図である。
【図４】本発明の第２実施形態に係る音声情報変換方法を説明するための図であり、映像・音声フォーマットの例を示す図である。
【図５】本発明の第４実施形態に係る音声情報変換方法の説明するための図である。
【図６】本発明の第５実施形態に係る音声情報変換方法を説明するための図である。
【図７】本発明の第６実施形態に係る音声情報変換方法を説明するための図である。
【図８】本発明の第６実施形態に係る音声情報変換方法を説明するための図である。
【図９】本発明の第６実施形態に係る音声情報変換方法を説明するための図である。
【図１０】本発明の第６実施形態に係る音声情報変換方法を説明するための図であり、映像・音声フォーマットの例を示す図である。
【図１１】本発明の第８実施形態に係る音声情報変換方法を説明するための図である。
【図１２】本発明の第８実施形態に係る音声情報変換方法を説明するための図である。
【図１３】本発明の第９実施形態に係る音声情報変換方法を説明するための図である。
【図１４】本発明の第１０実施形態に係る音声情報変換方法を説明するための図であり、映像・音声フォーマットの例を示す図である。
【符号の説明】
１、２、３  オブジェクト
１００、８０１  画面
１０１、１０２、７０１、１００２  仮想聴点
１００１  基本聴点
１２０１  時間軸
【図１】
2004151229.tif 000034
【図２】
2004151229.tif 000035
【図３】
2004151229.tif 000036
【図４】
2004151229.tif 000037
【図５】
2004151229.tif 000038
【図６】
2004151229.tif 000039
【図７】
2004151229.tif 000040
【図８】
2004151229.tif 000041
【図９】
2004151229.tif 000042
【図１０】
2004151229.tif 000043
【図１１】
2004151229.tif 000044
【図１２】
2004151229.tif 000045
【図１３】
2004151229.tif 000046
【図１４】
2004151229.tif 000047