(57)【要約】【課題】スピーカアレイに出力することにより、映像、特に映像内の物体と同期した音声の音場を再現する装置において、コンテンツ内の映像の音像定位を正確に表現する。【解決手段】入力部４とパラメータ算出部５と信号処理部６を備える。入力部４は映像内に登場する１以上の物体に付随する音声信号４１と、前記映像と同期した前記物体の前記映像内の位置情報４２とを前記物体ごとに受け付ける。信号処理部６は、その音声の入力信号を加工して複数のスピーカの各チャンネルにディジタル音声信号を出力する。前記物体の位置情報に基づいて、前記映像を表示する表示器より前方に仮想音源を設定し、前記仮想音源の音場を形成するための各種パラメータ５１、５２、５３を前記チャンネルごとに計算する。信号処理部６は、前記各種パラメータに基づいて、各スピーカの各チャンネルにディジタル音声信号を出力する。【選択図】図２
2007274061.tif 000002
【特許請求の範囲】
【請求項１】
映像に含まれる物体に関連付けられた音声信号、および、前記物体の前記映像内での位置情報を入力する入力部と、
アレイ状に配列された複数のスピーカを有するスピーカアレイを制御する制御部であって、前記位置情報が示す位置と前記アレイスピーカの配置位置に基づき設定された仮想音源位置に焦点を結ぶ音声ビームとなるように、前記音声信号を各スピーカに入力するタイミングを制御する定位制御部と、を備えた音像定位装置。
【請求項２】
前記定位制御部は、さらに、前記音声信号を各スピーカに入力するレベルを制御する請求項１に記載の音像定位装置。
【請求項３】
前記位置情報は、前記映像を表示する表示画面の奥行き方向の距離情報を含む請求項１または請求項２のいずれかに記載の音像定位装置。
【請求項４】
前記入力部は、映像に含まれる複数の物体に各々関連付けられた音声信号、および前記物体の前記映像内での位置情報を入力し、
前記定位制御部は、前記複数の物体に対して前記位置情報が示す位置に基づき前記音声ビームを各々生成し、これらを合成する請求項１〜３のいずれかに記載の音像定位装置。
【請求項５】
物体を含む映像信号を出力すると共に、前記物体の前記映像信号内での位置情報を出力する映像出力部と、前記映像信号に同期して、前記物体に関連付けられた音声信号を出力する音声出力部と、
前記映像信号を入力して、映像を表示する表示部と、
前記表示部と並べて設置され、アレイ状に配列された複数のスピーカを有するスピーカアレイと、
請求項１〜請求項４のいずれかに記載の音像定位装置と、
を備えたＡＶシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、スピーカアレイを用いて、映像、特に映像内の物体と同期した音声を形成する装置に関する。
【背景技術】
【０００２】
従来より、映像に付随した音声を、映像に合わせて広がりを持たせて再生するために、２チャンネルステレオや５．１チャンネルサラウンド等のオーディオシステムが実用化されている。
【０００３】
一方、近年のパソコンゲームやテレビゲーム機では、より正確に、映像に登場する物体（キャラクタやオブジェクト）の位置に、その物体が発する音声の音像を定位させる技術が提案されている（例えば特許文献１）。特許文献１の装置では、左右の耳のそれぞれ上下に配置されるスピーカを有するステレオヘッドホンを用い、音像を上下方向に定位させることができるようにしている。
【特許文献１】特開平６−１６５８７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の装置は、従来のステレオヘッドホンに比べて、音像を上下方向に定位させることができるが、音像に遠近感や奥行き感を持たせることは不可能であった。また、特許文献１の装置は、ヘッドホンを用いることが必須であり、室内に設置したスピーカセットを用いて音像を定位させることができなかった。
【０００５】
そこで、この発明は、スピーカアレイを用いて、映像、特に映像内の物体の移動と同期した音声を立体的に定位させる装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上述の課題を解決するための手段を以下のように構成している。
【０００７】
（１）本発明は、
映像に含まれる物体に関連付けられた音声信号、および、前記物体の前記映像内での位置情報を入力する入力部と、
アレイ状に配列された複数のスピーカを有するスピーカアレイを制御する制御部であって、前記位置情報が示す位置に焦点を結ぶ音声ビームとなるように、前記音声信号を各スピーカに入力するタイミングを制御する定位制御部と、を備えた音像定位装置であることを特徴とする。
【０００８】
本発明では、入力部が前記物体の前記映像内での位置情報を入力しており、アレイ状に配置したスピーカに音声を出力している。また、前記位置情報が示す位置と前記アレイスピーカの配置位置に基づき前記位置情報が示す位置に焦点を結ぶ音声ビームとなるように、前記音声信号を各スピーカに入力するタイミングを制御する。これにより、スピーカアレイから音声を出力すると、前記仮想音源から広がってスピーカアレイに到達した音声を再現することができ、前記物体の前記映像内での位置情報が示す位置に、音像定位させることができる。
【０００９】
また、本発明によれば、この音像定位は、天井や壁といった機械的な要素を必要とすることなく任意の位置に設定することが可能となる。さらに、この装置によれば、ドップラー効果等の効果音を模擬的に作り出すのではなく、音像定位の結果として、ドップラー効果を正確に再現できる。
【００１０】
なお、音声信号を入力するタイミングの制御は、例えば、各スピーカへの出力について、物体の映像内での位置情報から仮想音源の位置を計算し、この仮想音源の位置から各スピーカアレイまでの距離を音速で除算したディレイ量で、音声信号を遅延させて出力することにより実現できる。
また、本発明では、「入力部」を通って音声信号の入力、位置情報の入力が信号処理部により処理されれば、これらの入力は、外部記憶部（ハードディスク、光磁気ディスク等）に格納されているものでも良く、また通信回線を通じて提供されるストリーミングデータでも良い。またこの「入力部」は、例えば一時記憶装置（メモリ）とすることができる。
【００１１】
（２）本発明は、
前記定位制御部は、さらに、前記音声信号を各スピーカに入力するレベルを制御することを特徴とする。
【００１２】
本発明は、前記音声信号を各スピーカに入力するレベルを制御しているので、より正確に音像を定位させることができる。
【００１３】
（３）本発明は、
前記位置情報は、前記映像を表示する表示画面の奥行き方向の距離情報を含むことを特徴とする。
【００１４】
本発明は、前記位置情報が奥行き方向の距離情報を含むので、従来では得られなかった奥行き間がある音像定位が可能となる。また、前述したドップラー効果による周波数の変調は、奥行き方向に物体が移動した場合の方が強くなるから、音像定位が立体的になる。
【００１５】
（４）本発明は、
前記入力部は、映像に含まれる複数の物体に各々関連付けられた音声信号、および前記物体の前記映像内での位置情報を入力し、
前記定位制御部は、前記複数の物体に対して前記位置情報が示す位置に基づき前記音声ビームを各々生成し、これらを合成することを特徴とする。
【００１６】
本発明は、複数の物体の前記映像内での位置情報に基づき、音声ビームを生成するので、これらの音声ビームの合成した出力をアレイスピーカから放音すれば、複数の物体の仮想音源の位置に定位した音声を同時に放音することができる。これにより、これらの物体に関連付けられた音声が定位している仮想音源の位置に相対的な違いが生じるから、音像定位がより立体的になる。
【００１７】
（５）本発明は、
物体を含む映像信号を出力すると共に、前記物体の前記映像信号内での位置情報を出力する映像出力部と、前記映像信号に同期して、前記物体に関連付けられた音声信号を出力する音声出力部と、
前記映像信号を入力して、映像を表示する表示部と、
前記表示部と並べて設置され、アレイ状に配列された複数のスピーカを有するスピーカアレイと、（１）〜（４）のいずれかに記載の音像定位装置と、を備えたコンテンツ再生装置であることを特徴とする。
【００１８】
本発明のコンテンツ再生装置は、映像出力部が出力する映像信号に同期して、音声出力部が前記物体に関連付けられた音声信号を、映像上の位置に合わせて、前記位置情報の位置に焦点を結ぶ音声ビームをスピーカアレイに出力するから、映像上の位置に合わせて、音像定位させることができる。
【発明の効果】
【００１９】
本発明によれば、映像内の物体の位置に基づいた正確な音像定位が可能となる。また、この音像定位は、天井や壁といった機械的な要素を必要とすることなく任意の位置に設定可能となる。また、この装置によれば、ドップラー効果等の効果音を模擬的に作り出すのではなく、前記ディレイ設定のためのパラメータ、音量の減衰を設定するためのパラメータ等に基づく正確な音像定位の結果として、ドップラー効果を正確に再現できる。
【発明を実施するための最良の形態】
【００２０】
＜第１の実施形態のＡＶシステムの概略の説明＞
図１を用いて、本実施形態の音像定位装置１０を含むＡＶシステム１についての概略を説明する。図１は、本実施形態であるＡＶシステム１の外観と構成を表す図である。図１（Ａ）はＡＶシステム１の正面図、図１（Ｂ）は、ＡＶシステム１の平面図である。
このＡＶシステム１は、コンテンツ再生装置２、音像定位装置１０、複数のスピーカＳＰｉ（ｉ＝１〜Ｎ）からなるスピーカアレイ１１、表示器１２を備える。スピーカアレイ１１および表示器１２の正面から視聴者１００が視聴している。
【００２１】
コンテンツ再生装置２は、映像信号を表示器１２に出力すると共に、位置情報を音像定位装置１０に出力する。映像と音声を同時に出力するコンテンツ再生装置２としては、例えば、ゲームプログラムや映画等の映像、音声を含むコンテンツを出力するＰＣやＴＶ等、遠隔会議装置等が挙げられる。音像定位装置１０は、表示器１２に映し出される物体１０５Ａ、１０５Ｂの位置から算出した仮想音源位置を焦点とする音声ビームをスピーカアレイ１１に出力する。スピーカアレイ１１は、これらの仮想音源から発せられ、スピーカアレイ１１に到達した音声を再現する。これにより、スピーカアレイ１１は、これらの仮想音源の音像を定位させる。表示器１２は、１または複数の物体１０５Ａ、１０５Ｂ等を含む画像１０４を表示する。
【００２２】
＜第１の実施形態のＡＶシステムの構成の説明＞
図１、図２を用いて、第１の実施形態のＡＶシステムについて説明する。図１は、前述の通り、このＡＶシステムの外観と構成を表す図である。図２は、図１に示すＡＶシステム１に含まれる音像定位装置１０の内部構成図である。
【００２３】
まず、図１を用いて、ＡＶシステム１の外観について説明する。図１（Ａ）に示すように、このＡＶシステム１はコンテンツ再生装置２、音像定位装置１０、スピーカアレイ１１、表示器１２を備える。スピーカアレイ１１は、複数のスピーカＳＰｉ（ｉ＝１〜Ｎ）を備えており、音像定位装置１０は、スピーカＳＰｉ（ｉ＝１〜Ｎ）のそれぞれに対応した音声出力系統を有している。
表示器１２は、例えば、プラズマディスプレイ、液晶ディスプレイ等で構成されており、コンテンツ再生装置より出力された映像、特に動画を表示する。
なお、図１では、音像定位装置１０は、スピーカアレイ１１や表示器１２とは別個の筐体として構成しているが、スピーカアレイ１１や表示器１２と同一の音像定位装置筐体に入るものとして構成してもよい。
【００２４】
次に、図１（Ｂ）の平面図を用いて、スピーカアレイ１１のそれぞれのスピーカＳＰｉ（ｉ＝１〜Ｎ）の音声出力系統の制御方法の概要について説明する。図１（Ａ）で示した物体１０５Ａ、１０５Ｂは、コンテンツ再生装置２より出力された画像１０４に含まれるものであり、コンテンツ再生装置２からはこれら物体の位置の情報（以下、「位置情報」という。）が音像定位装置１０に出力される。この物体１０５Ａ、１０５Ｂの位置情報を基に音像定位装置１０では、それぞれ仮想音源１０１Ａ、１０１Ｂを設定する。そして、音像定位装置１０は、スピーカアレイ１１から視聴者１００が聴取する音声（実際の波面１０３で図示）が、図１（Ｂ）に示すように、あたかも表示器１２の奥側に位置する仮想音源１０１Ａ、１０１Ｂから音声が出力されるように（仮想の波面１０２で図示）、音像を定位させる。この音像定位を実現するため、音像定位装置１０は、スピーカアレイ１１のスピーカＳＰｉ（ｉ＝１〜Ｎ）のそれぞれに入力する音声信号のタイミングを制御する。この音声信号を入力するタイミングの制御は、時間遅れ（位相遅れ）特性（以下「ディレイ」という。）、音量、周波数特性を調整して、これらのスピーカＳＰｉから音声１０３を出力する。これにより、仮想音源１０１Ａ、１０１Ｂの位置に音像を定位させることができる。
【００２５】
次に図２を用いて音像定位装置１０の内部構成について説明する。音像定位装置１０は、入力部４と、パラメータ算出部５と、信号処理部６と、Ｄ／Ａ変換器ＤＡＣｉ（ｉ＝１〜Ｎ）と、アンプＡＭＰｉ（ｉ＝１〜Ｎ）と、これらの動作を統括制御する制御部７を備えている。また、音像定位装置１０の外部に設けたコンテンツ再生装置２には、外部プログラム１１１と外部記憶部３１と、外部プログラム１１１を動作させる図示しないＣＰＵを備えている。
【００２６】
入力部４は、各信号を入力するインタフェースおよび入力した信号を格納するバッファを有している。入力部４には、インターネット、コンテンツ再生装置などが接続されている。入力部４は、これらから、音声信号４１、位置情報４２を入力し、バッファ内にこれらのデータを一時的に格納する。
【００２７】
音声信号４１は、外部記憶部３１、外部プログラム１１１、インターネットを通じて入力された音声信号であって、図１（Ａ）に示すような画像１０４と同期して出力されるディジタル音声信号のデータである。また、この音声信号４１は、図１（Ａ）に示すような画像１０４内の物体１０５Ａ、１０５Ｂごとに入力される。
位置情報４２は、図１（Ａ）に示すようなコンテンツ再生装置２によって出力される位置情報である。
【００２８】
図２のパラメータ算出部５は、計算部で構成する。パラメータ算出部５は、入力部４に入力された位置情報４２に基づいて、図１（Ａ）で示したような仮想音源１０１Ａ、１０１Ｂの位置を設定し、ディレイパラメータ５１と、音量調整パラメータ５２と、高域減衰パラメータ５３を計算し、入力部４に蓄えるか、または信号処理部６にこれらのパラメータを出力する。
【００２９】
図２のパラメータ算出部５内で計算するディレイパラメータ５１は、物体ごと、スピーカＳＰｉごとに設定する。図１（Ｂ）に示すような物体１０５Ａについて、図１（Ａ）に示すような仮想音源１０１ＡからスピーカＳＰｉそれぞれまでの距離を計算し、この距離に基づく音声の伝達の遅延を計算して、スピーカＳＰｉごとにディレイを設定する。図１（Ａ）の例であれば、画像１０４に登場する物体１０５Ｂについても、図１（Ｂ）の仮想音源１０１ＢからスピーカＳＰｉそれぞれまでの距離を計算して行なう。
音量調整パラメータ５２は、この音声の伝達距離により音量が減少する分を考慮して、スピーカＳＰｉごとに音量の減少量を計算する。また、物体すべてについてこの減少量を計算する。
高域減衰パラメータ５３は、仮想音源１０１ＡとスピーカＳＰｉとの距離、またはスピーカアレイ１１の並びと仮想音源１０１Ａとの角度に基づいて高域を減衰させるパラメータであり、物体ごと、スピーカＳＰｉごとに設定する。
【００３０】
なお、ディレイパラメータ５１、音量調整パラメータ５２、高域減衰パラメータ５３は、それぞれの物体の移動に伴い、仮想音源とスピーカＳＰｉ（ｉ＝１〜Ｎ）との距離が変動するので、パラメータ算出部５は、各パラメータの値を更新する。
【００３１】
信号処理部６は、音声信号４１のディジタル音声信号データを加工して、スピーカＳＰｉごとに出力するデータを計算する。信号処理部６には、音声信号が映像信号と同期して入力される。信号処理部６は、物体１０５Ａ、１０５Ｂごとに入力した音声信号４１を、前述したパラメータ算出部５のディレイパラメータ５１、音量調整パラメータ５２、高域減衰パラメータ５３それぞれに基づいて、スピーカＳＰｉの音声出力系統に送るディジタル音声信号のデータを生成する。信号処理部６は、ディレイパラメータ５１に基づくディレイを行なうディジタルフィルタＤＦｉ（ｉ＝１〜Ｎ）（後述、図３参照。）と音量調整パラメータ５２、高域減衰パラメータ５３に基づくゲイン調整Ｇｉ（ｉ＝１〜Ｎ）（後述、図３参照。）を備える。また、このようにして生成したデータは、物体が複数ある場合には、後述の図４で説明するように、物体１０５Ａ、１０５Ｂごとのディジタル音声信号のデータを加算して出力する。
【００３２】
Ｄ／Ａ変換器ＤＡＣｉ（ｉ＝１〜Ｎ）は、Ｄ／Ａ変換用ＩＣチップで構成でき、信号処理部６で生成したディジタル音声信号データをアナログ音声信号に変換し、それぞれ、アンプＡＭＰｉ（ｉ＝１〜Ｎ）に出力する。
アンプＡＭＰｉ（ｉ＝１〜Ｎ）は、例えば、ＦＥＴ等の増幅段等で構成できる。アンプＡＭＰｉ（ｉ＝１〜Ｎ）は、外付けのＡＶアンプでも良い。Ｄ／Ａ変換器ＤＡＣｉで出力したアナログ音声信号を増幅してスピーカＳＰｉに送る。
スピーカＳＰｉ（ｉ＝１〜Ｎ）は、スピーカアレイまたは、３つ以上のスピーカを並べたユニットが必要であり、それぞれ独立の音声信号を入力する。そして、アンプＡＭＰｉ（ｉ＝１〜Ｎ）で増幅したアナログ音声信号を音声に変換する。
制御部７は、例えばＣＰＵ等で構成され、音像定位装置１０の内部構成のそれぞれの部分を制御する。
【００３３】
外部プログラム１１１は、コンテンツ再生装置２内で動作する。外部プログラム１１１を実行すると、この外部プログラム１１１または別のプログラムによるコンテンツの再生と同時に、音声信号４１を外部記憶部３１から読み出して入力部４に出力し、位置情報４２を計算して入力部４に出力する。
【００３４】
外部記憶部３１は、ハードディスク、光ディスク装置で構成し、入力部４に音声信号４１を入力する。
【００３５】
ここで、図２で示した構成のうち、外部プログラム１１１、音声信号４１、位置情報４２について、ＡＶシステム１の用途別に２つの例を挙げて具体的に説明する。
《ゲームプログラムをＰＣで実行させる場合》
コンテンツ再生装置２は、例えば、ＰＣに接続するサウンドボードで構成でき、このＰＣでゲームプログラムを実行させる場合がある。ゲームプログラムは、図２に示す外部プログラム１１１に相当し、ゲームプログラムはその内部で計算した映像上の物体（キャラクタやオブジェクトを含む）の位置情報４２を入力部４に出力し、入力部４は、位置情報４２を一時的に格納する。またゲームプログラムからは音声信号４１Ａ、４２Ｂが、図１（Ａ）に示すような画像１０４内の物体１０５Ａ、１０５Ｂに対応する効果音の音声として出力される。この音声信号４１は、ゲームプログラムの実行時に、効果音を発する命令を受けて、入力部４に格納する。
【００３６】
《ＰＣ上のコンテンツ再生プログラムでディジタルコンテンツを再生する場合》
コンテンツ再生装置２は、上述の通り例えば、ＰＣ（パーソナルコンピュータ）に接続するサウンドボードで構成でき、ＰＣ上のコンテンツ再生プログラムで画像と音声を再生する場合がある。このコンテンツ再生プログラムでディジタルコンテンツを再生する場合であれば、台詞や物体の音声を音声信号４１として入力する。コンテンツ再生プログラムは、外部プログラム１１１に相当する。また、コンテンツ再生プログラムからは、音声信号４１に対応する画像に対応して、時系列的に物体の動作、移動、停止に同期した位置情報４２が入力部４に入力される。
【００３７】
＜信号処理部の動作説明＞
次に図３を用いて、信号処理部６の動作をさらに詳細に説明する。図３は、本実施形態の音像定位装置の内部のパラメータ算出部５、信号処理部６の構成図であり、図１（Ｂ）の物体１０５Ａに対応する仮想音源１０１Ａについて示している。また、図２で示したＤ／Ａ変換器ＤＡＣｉ（ｉ＝１〜Ｎ）、アンプＡＭＰｉ（ｉ＝１〜Ｎ）は、省略しており、図１、図２で示したスピーカの出力系統の数Ｎは、図３では８個としている。ただし、本実施形態のＡＶシステム１ではスピーカ出力系統の数Ｎは、８個に限らず実行できる。
図３に示すように、信号処理部６には、複数のディジタルフィルタＤＦｉ（ｉ＝１〜８）と、ゲイン調整Ｇｉ（ｉ＝１〜８）を設けている。
【００３８】
ディジタルフィルタＤＦｉ（ｉ＝１〜８）は、図１（Ａ）の仮想音源１０１Ａ（図３にも図示。）からスピーカＳＰｉ（ｉ＝１〜８）までのそれぞれの距離Ｌｉ（［ｍ］、ｉ＝１〜８）による伝播時間に相当する遅延時間を設定し、それぞれのディジタルフィルタＤＦｉに入力される音声信号に対してディレイをかけて出力する。このディレイの算出はパラメータ算出部５で行なうが、この算出は、Ｌｉを音速で除算することにより行なう。前述の通り、映像信号と、信号処理部６に入力される音声信号を同期させているので、音声信号に対してディレイをかけて出力すると、映像に登場する物体の奥行きに応じて音声信号の到達時間に差がでて、音声に奥行き感を出すことができる。
【００３９】
物体１０５Ａが映像内で移動した場合、図２のパラメータ算出部５は、その物体１０５Ａの位置から逐次的に仮想音源１０１Ａの位置を決定しているから、結果的に仮想音源１０１Ａの位置が変動し、これにより距離Ｌｉは、時間的に変動することになる。したがって時間と共にディレイが変動することになれば、音の粗密が変化するから、音像定位の結果として、ドップラー効果を正確に再現できる。
また、ゲイン調整Ｇｉ（ｉ＝１〜８）は、パラメータ算出部５が音量調整パラメータ５２を計算したものを信号処理部６が設定する。音量は、距離Ｌｉ（ｉ＝１〜８）の２乗に反比例するから、基準音量を定めて、
基準音量×１［ｍ］／距離Ｌｉ２［ｍ］
により算出する。さらに、図２の高域減衰パラメータ５３により、高域を減衰させる周波数特性フィルタを畳み込み演算する。前述の通り、パラメータ算出部５では、高域減衰パラメータ５３を計算しており、高域減衰パラメータ５３は、仮想音源１０１ＡとスピーカＳＰｉとの距離Ｌｉ、またはスピーカアレイ１１の並びと仮想音源１０１Ａとの角度に基づいて高域を減衰させるパラメータである。高域減衰パラメータ５３で算出する高域の減衰量は、例えば、スピーカＳＰｉの並んでいる面ＳＦと、各スピーカＳＰｉから見た仮想音源１０１Ａの方向との間の角度αｉ（ｉ＝１〜８）を用いて、周波数のフラットな部分に対して、
（ｃｏｓ（αｉ）×１［ｍ］／距離Ｌｉ２［ｍ］）倍
により算出する。
【００４０】
なお、スピーカアレイ１１と、表示器１２は、必ずしも、図１で示したように一体である必要はない。
【００４１】
また、本実施形態の音像定位装置１０を含むＡＶシステム１の応用として、スピーカアレイ１１を設置する位置を音像定位装置１０の表示器１２より前方に設置する場合には、さらに、その距離に対応して、前記入力部４は、視聴者の聴取方向のスピーカと表示器との間の距離の入力を受け付ける構成も可能である。例えば、スピーカと表示器１２の聴取方向の距離を音像定位装置１０に入力して、距離Ｌｉ（ｉ＝１〜Ｎ）に加える設定を制御部７に指示を与える図示しない操作部から行なう。この場合、前記パラメータ計算部５は、当該距離分のディレイを前記仮想音源の位置にあわせてスケールを調整したディレイ量を音源を前記仮想音源の位置と前記各スピーカとの距離分のディレイに付加して、前記ディレイ設定のためのパラメータを算出する。
表示器１２と、スピーカＳＰｉの距離を考慮して、ディレイをかけるので、表示器１２とスピーカＳＰｉの設置の自由度を高めることができる。例えば、表示器１２に写っている物体１０５Ａが大きく写っている場合には、物体の前記仮想音源の位置は近くなり、小さく写っている場合には、前記仮想音源の位置は遠くなるが、その遠近感は、視聴者の聴取方向のスピーカと表示器との間の距離のスケールと必ずしも一致しない場合がある。このような場合に、視聴者の聴取方向のスピーカと表示器との間の距離を音速で除算したディレイを付加すれば、表示装置に対して奥行き方向の音像を再現することができる。
【００４２】
＜物体が複数登場する場合のパラメータ算出部、信号処理部の動作の説明＞
次に、図４を用いて、物体が映像に複数登場する場合のパラメータ算出部５、信号処理部６の動作について説明する。図４は、図１で示した物体１０５Ａ、１０５Ｂをそれぞれ登場させる場合の、本実施形態の音像定位装置の内部のパラメータ算出部５、信号処理部６の構成図を示す。
図４に示すように、右側には、図３と同様、物体１０５Ａに対する仮想音源１０１Ａと、音声信号４１Ａと、この音声信号４１Ａを加工して、この仮想音源１０１Ａを定位させるのに必要な、ディジタルフィルタＤＦＡｉ（ｉ＝１〜８）、ゲイン調整ＧＡｉ（ｉ＝１〜８）を備えている。
【００４３】
また、図４に示すように、物体１０５Ｂに対応して、図３で示した構成に対して、物体１０５Ｂに対する仮想音源１０１Ｂと、音声信号４１Ｂと、この音声信号４１Ｂを加工して、この仮想音源１０１Ｂを定位させるのに必要なディジタルフィルタＤＦＢｉ（ｉ＝１〜８）、ゲイン調整ＧＢｉ（ｉ＝１〜８）をさらに備えている。
なお、図４で示す符号は、物体１０５Ａ、１０５Ｂの「Ａ」、「Ｂ」に対応して、ディジタルフィルタＤＦｉに対してＤＦＡｉ、ＤＦＢｉ、ゲイン調整Ｇｉに対応して、ＧＡｉ、ＧＢｉを付している。
図４に示す構成では、図３で説明したものと同様にして、これら仮想音源１０１Ａ、１０１Ｂの定位に必要なディジタル音声出力の計算をそれぞれスピーカＳＰｉごとに、ＤＦＡｉ、ＤＦＢｉ、ＧＡｉ、ＧＢｉにより行なっている。さらに、加算部ＡＤＤｉ（ｉ＝１〜８）は、これら計算したディジタル音声出力を互いに加えている。これにより、物体１０５Ａ、１０５Ｂが独立に移動した場合にも、それぞれ独立に音像定位させることができる。
【００４４】
なお、物体（１０５Ａ、１０５Ｂを含む。）を３個以上登場させる場合には、図３で示した構成を３つ以上設けて、その出力信号を加算部ＡＤＤｉにより加算する。
【００４５】
＜物体が移動する場合のパラメータ算出部、信号処理部の動作フロー＞
次に図５を用いて、物体が移動する場合のパラメータ算出部５、信号処理部６の動作フローを説明する。図５はこのフローを表す図である。
図５のＳ１では、図１（Ａ）、図３、図４で示したような仮想音源１０１Ａ、１０１Ｂの位置が変動したか判断する。この位置が変動した場合には、ＹとなりＳ２に進む。変動しない場合には、Ｎとなり現状のディレイ等のパラメータ５１、５２、５３を維持する。
Ｓ１における判断では、仮想音源１０１Ａ、１０１Ｂの座標の変動は、図２で示したように、パラメータ算出部５で設定するが、この変動は、本来的には位置情報４２の変動に基づいている。
【００４６】
図５のＳ２では、図３、図４で示したようにして、仮想音源１０１ＡとスピーカＳＰｉ（ｉ＝１〜Ｎ）との距離Ｌｉ（ｉ＝１〜Ｎ）（仮想音源１０１Ｂも同様。）を再計算する。
Ｓ３では、図３で説明したようにして、求めた距離Ｌｉから、パラメータ算出部５は、ディレイパラメータ５１、音量調整パラメータ５２、高域減衰パラメータ５３等のパラメータを算出する。
Ｓ４では、Ｓ３で求めた各パラメータを再設定する。
【００４７】
以上、図５で示した動作フローにより、物体１０５Ａ、１０５Ｂが移動する場合にも、その移動に基づいて、それぞれの音像を定位できる。
【００４８】
＜ディジタルフィルタの具体的な構成＞
次に、図６を用いて、ディジタルフィルタＤＦｉ（ｉ＝１〜Ｎ）の具体的な構成を説明する。図６は、本実施形態の音像定位装置のディジタルフィルタの具体的な構成図である。図３、図４で示したディジタルフィルタＤＦｉは、実際には、リングバッファ６２上での書き込み、読み出しにより実現される。
【００４９】
図６に示すように、リングバッファ６２は、複数のデータ区画６３に区分けされたメモリ上に設定したバッファである。このバッファはディジタル音声信号の入出力に対応できるよう高速で動作する必要がある。データ区画６３には、それぞれ１つのサンプルデータを入出力する。
【００５０】
図６のリングバッファ６２へのサンプルデータの書き込みは、図２の入力部４に入力された音声信号を、書き込み位置６４からデータ書き込み経路６５に沿って、データ区画６３を巡回してリング状にサンプルデータの書き込みを繰り返す。
【００５１】
図６のリングバッファ６２からのサンプルデータの読み込みは、読み取り位置ＴＡＰｉ（ｉ＝１〜Ｎ）を設けて、リングバッファ６２上に書き込まれたサンプルデータをそれぞれ読み出すことにより行なう。この読み取り位置ＴＡＰｉの読み出し経路６６は、データ書き込み経路６５と同じ方向である。読み取り位置ＴＡＰｉで読み出したサンプルデータは、図３で示したようなゲイン調整Ｇｉ（ｉ＝１〜Ｎ）に送られる。
【００５２】
図６の読み取り位置ＴＡＰｉでの読み出しは、それぞれ、書き込み位置６４に対して所定のディレイ量で読み取り位置ＴＡＰｉを遅延させて読み出しを行なう。このディレイの量は、前述の図２、図３で説明したようにパラメータ算出部５で算出したディレイパラメータ５１の値である。このディレイの量は、物体１０５Ａの位置の変動によって変動する。即ち、図１、図２で説明したように物体１０５Ａの位置が変動すれば、図５のＳ１で説明したように、パラメータ算出部５により仮想音源１０１Ａの位置を変動させることになる。そして、この移動は一瞬で移動するのではなく、ある速度をもって移動することになるから、パラメータ算出部５で設定するディレイパラメータ５１は、刻々と変動することになる。このディレイパラメータ５１の変動により、物体１０５Ａが静止している場合の通常のサンプリング速度よりも速い、または遅い速度で読み取り位置ＴＡＰｉを移動させることになる。そうすると、このような読み取り位置ＴＡＰｉの移動速度の変動により、周波数の変調が起こり、ドップラー効果が生じる。このドップラー効果は、従来行なわれていたような後付けしたような効果音ではなく、音像定位を正確に行なった結果生じるものであり、速度の変化によっても周波数が変動するものである。
【００５３】
なお、以上、図６で説明したような読み取り位置ＴＡＰｉの移動速度を変動させるとＤ／Ａ変換器ＤＡＣｉのサンプリング速度の整数倍とならず小数点が生じる。この場合は、さらに細かいサンプリング速度に対応するよう、ディジタルフィルタで補間することができる。また、この小数点を単純に四捨五入して出力することも可能である。
【００５４】
また、物体１０５Ａ、１０５Ｂを３個以上登場させる場合には、図６で示したリングバッファを３つ以上設けて、その出力信号系統を加算部ＡＤＤｉによりスピーカ毎に加算する。
【００５５】
＜本実施形態の応用に係るＡＶシステムの説明＞
次に、図７を用いて、本実施形態のＡＶシステム１の応用として、物体ごとに効果音を出力するものであって、予め定まったストーリ展開をもった映画等のディジタルコンテンツ、およびこのディジタルコンテンツに用いる音像定位装置について説明する。図７は、本実施形態の音像定位装置１０の応用に係る音像定位装置１０Ａを表す図である。なお、図２で示したものと同じ部分は、同様の符号を付して重複する説明は省略する。
図７に示すように、音像定位装置１０Ａにおいて、ＤＶＤ等に記録されたディジタルコンテンツは、図２で説明したようなパラメータ算出部５で逐一計算したディレイパラメータ５１、音量調整パラメータ５２、高域減衰パラメータ５３がすでに計算されて、外部記憶部３１に記録されている。外部プログラム１１１は、この記録されたデータを音像定位パラメータ４５として入力することにより、図７に示すような音像定位装置１０は、これらのパラメータを読み取ってスピーカＳＰｉ（ｉ＝１〜Ｎ）に出力する。これにより、図２で示したＡＶシステム１と同様に、コンテンツ再生システムより出力される音声信号を、映像に映し出される物体に対応する仮想音源の位置に音像定位させることができる。
【００５６】
＜他の発明＞
また、以下の発明も考えられる。
（Ａ）本発明は、
前記定位制御部は、
前記仮想音源の位置と前記各スピーカとの距離または角度に基づく高域の減衰を設定するためのパラメータを計算することを特徴とする。
【００５７】
このように構成すれば、物体の音像について高域の減衰を考慮しているので、物体間の遠近感をさらに正確に音声で表現できる。
【００５８】
（Ｂ）本発明は、
入力部に格納された、映像に含まれる物体に関連付けられた音声信号、および、前記物体の前記映像内での位置情報を用いて、
アレイ状に配列された複数のスピーカを有するスピーカアレイを制御する制御部であって、前記位置情報が示す位置に焦点を結ぶ音声ビームとなるように、前記音声信号を各スピーカに入力するタイミングを制御する定位制御ステップをコンピュータに実行させる、音像定位プログラムである。
【００５９】
このように構成して本発明のプログラムを実行させると、（１）と同様の効果を奏する。
【００６０】
（Ｃ）本発明は、
前記（Ｂ）に記載の音像定位プログラムに対して、
前記定位制御ステップは、さらに、
メモリに記憶された視聴者の聴取方向のスピーカと表示器との間の距離の入力のデータを用いて、
当該距離分のディレイを前記仮想音源の位置と前記各スピーカとの距離分のディレイに付加してディレイ設定のためのパラメータを算出し、これに基づいて、前記音声信号を各スピーカに入力するタイミングを制御する、
音像定位プログラムであることを特徴とする。
【００６１】
本発明は、メモリに記憶された視聴者の聴取方向のスピーカと表示器との間の距離の入力のデータを用いて、当該距離分のディレイを前記仮想音源の位置と前記各スピーカとの距離分のディレイに付加してディレイ設定のためのパラメータを算出するので、このディレイ設定のためのパラメータに基づいて前記音声信号を各スピーカに入力するタイミングを制御するから、表示器とスピーカとの距離に差がある場合でも、（Ｂ）の効果を奏することができる。
【図面の簡単な説明】
【００６２】
【図１】本実施形態のＡＶ機器の概念図
【図２】本実施形態の音像定位装置の内部構成図
【図３】本実施形態の音像定位装置の内部のパラメータ算出部、信号処理部の構成図
【図４】物体が映像に複数登場する場合における、本実施形態の音像定位装置の内部のパラメータ算出部、信号処理部の構成図
【図５】物体が移動する場合の本実施形態の音像定位装置のパラメータ算出部、信号処理部の動作フロー図
【図６】本実施形態の音像定位装置のディジタルフィルタの具体的な構成図
【図７】本実施形態の音像定位装置の応用に係る音像定位装置を表す図
【符号の説明】
【００６３】
１−ＡＶシステム、  １０−音像定位装置、  １０Ａ−音像定位装置
１１−スピーカアレイ、  １２−表示器
２−コンテンツ再生装置、  ３１−外部記憶部、  ４−入力部
４１−音声信号、  ４１Ａ−音声信号、  ４１Ｂ−音声信号、  ４２−位置情報入力
４５−音像定位パラメータ、  ５−パラメータ算出部、  ５１−ディレイパラメータ
５２−音量調整パラメータ、  ５３−高域減衰パラメータ
６−信号処理部、  ６２−リングバッファ
６３−データ区画、  ６４−書き込み位置
６５−データ書き込み経路、  ６６−読み出し経路、  ７−制御部
１００−視聴者、  １０１Ａ−仮想音源、  １０１Ｂ−仮想音源
１０２−仮想の波面、  １０３−実際の波面、  １０４−画像、  １０５Ａ−物体
１０５Ｂ−物体、  １１１−外部プログラム
ＳＰｉ（ｉ＝１〜Ｎ）−スピーカ、  Ｇｉ（ｉ＝１〜Ｎ）−ゲイン調整
ＧＡｉ（ｉ＝１〜Ｎ）−ゲイン調整、  ＧＢｉ（ｉ＝１〜Ｎ）−ゲイン調整
ＡＭＰｉ（ｉ＝１〜Ｎ）−アンプ、  ＤＦｉ（ｉ＝１〜Ｎ）−ディジタルフィルタ
ＤＦＡｉ（ｉ＝１〜Ｎ）−ディジタルフィルタ、
ＤＦＢｉ（ｉ＝１〜Ｎ）−ディジタルフィルタ
ＤＡＣｉ（ｉ＝１〜Ｎ）−Ｄ／Ａ変換器
ＴＡＰｉ（ｉ＝１〜Ｎ）−読み取り位置、  ＡＤＤｉ（ｉ＝１〜Ｎ）−加算部
【図１】
2007274061.tif 000003
【図２】
2007274061.tif 000004
【図３】
2007274061.tif 000005
【図４】
2007274061.tif 000006
【図５】
2007274061.tif 000007
【図６】
2007274061.tif 000008
【図７】
2007274061.tif 000009