(57)【要約】【課題】映像内の物体に同期させて立体的に音像を定位させ、臨場感を向上させることができる装置、プログラムを提供する。【解決手段】マルチチャネルの音声信号を扱う制御装置とプロジェクタ３とプロジェクタ３の画像を映し出すスクリーン６と、正面スピーカアレイ２を備える。制御装置は、信号処理装置とパラメータ計算部とを備える。信号処理装置は、このマルチチャネルの音声信号のうちの正面音声入力を加工して正面スピーカアレイ２に出力する。パラメータ計算部は、映像入力の中の人物１０４に同期した音源位置情報を取り込んで仮想音源ＶＳの座標（Ｘ，Ｙ、Ｚ）を決定すると共に、仮想音源ＶＳから正面スピーカアレイ２のスピーカＳＰｉ（ｉ＝１〜Ｎ）までの伝搬距離Ｌｉ（ｉ＝１〜Ｎ）を基に、ディレイ量、音量、高域減衰のパラメータを設定し、これに基づいて信号処理装置は、正面音声入力を加工する。【選択図】図２
2007266967.tif 000002
【特許請求の範囲】
【請求項１】
センタチャンネルを含み映像信号に同期したマルチチャンネル音声信号、および、前記映像信号によって表示される映像内での前記センタチャンネルの音声信号の発生位置を示す位置情報を入力する入力部と、
前記センタチャンネル以外の音声信号をそれぞれ対応するスピーカに出力する左右チャンネル出力部と、
アレイ状に配列された複数のスピーカユニットを有するスピーカアレイを制御する制御部であって、前記位置情報が示す位置に焦点を結ぶ音声ビームとなるように、前記センタチャンネルの音声信号を各スピーカユニットに入力するタイミングを制御する定位制御部と、
を備えたマルチチャンネルオーディオ再生装置。
【請求項２】
映像信号と、この映像信号に同期した音声信号を入力する入力部と、
前記映像信号に基づき、前記音声信号の発生位置を推定する発生位置推定部と、
アレイ状に配列された複数のスピーカユニットを有するスピーカアレイを制御する制御部であって、前記推定された発生位置に焦点を結ぶ音声ビームとなるように、前記音声信号を各スピーカユニットに入力するタイミングを制御する定位制御部と、
を備えた、音像定位装置。
【請求項３】
映像信号と、センタチャンネルを含み前記映像信号に同期したマルチチャンネル音声信号入力チャンネルの音声信号を入力する入力部と、
前記センタチャンネル以外の音声信号をそれぞれ対応するスピーカに出力する左右チャンネル出力部と、
前記映像信号に基づき、前記センタチャンネルの音声信号の発生位置を推定する発生位置推定部と、
アレイ状に配列された複数のスピーカユニットを有するスピーカアレイを制御する制御部であって、前記推定された発生位置に焦点を結ぶ音声ビームとなるように、前記センタチャンネルの音声信号を各スピーカユニットに入力するタイミングを制御する定位制御部と、
を備えたマルチチャンネルオーディオ再生装置。
【請求項４】
前記スピーカアレイは、前記映像信号に基づく映像が表示されるスクリーン面に配置されている請求項１または請求項３のいずれかに記載のマルチチャンネルオーディオ再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
映像と共にマルチチャンネルの音声を再生する場合に、センタチャンネルの音声信号を、映像に合わせて定位を制御する装置に関する。
【背景技術】
【０００２】
従来、映画館の映像システムや、ホームシアター装置では、映像と共にマルチチャンネルの音声を出力する装置が実用化されている。このような装置では、さまざまな効果音がマルチチャンネルの音声として前方のみならず後方等からも出力されている。そして、映像に登場する人物の台詞等は、正面前方の１点に設定されたセンタチャンネルから出力されている。
【０００３】
また、さらに臨場感を高めるため、画像の中の物体（キャラクタ、自然物を含む）に同期して音声の音像定位を付与する装置が開示されている（例えば、特許文献１、２参照。）。
【０００４】
特許文献１では、音響反射板を兼ねたスクリーンと指向性を持ったスピーカを用いて構成される画像連動型音声再生方式が開示されている。この特許文献には、スクリーン上に投影された発音体の点にスピーカの指向性が合うようにスピーカの向きを変化させ、その発音体から発生している音声を再生する旨の記載がある。
特許文献２には、多数個のスピーカをマトリクス状に埋め込んだスクリーンを用い、発音体の投射位置にあるスピーカを駆動させる旨の記載がある。特許文献３は、特許文献２と同様であるが、スクリーン自体を振動板として振動させるものが開示されている。
【特許文献１】特許２７１４６４７号公報
【特許文献２】特開平４−１１５６９２号公報
【特許文献３】実開平５−３８６３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来文献の構成ではなお十分でなかった。
特許文献１では、一つの発音体の音声を単体の指向性スピーカで再現するため、人物位置の奥行きの違いが再現できず、音像定位が平面的にならざるを得ない問題があった。また、音響反射板を兼ねたスクリーンを用いなければならず、スクリーンの材質形状などが限定されてしまう問題があった。
【０００６】
また、特許文献２、３の構成では、単に、スクリーン上の物体にあわせて、その位置に相当するスピーカの駆動部を駆動させても、奥行きの違いが表現できず、音像定位が平面的にならざるを得ない問題があった。
【０００７】
そこで、本発明は、映像内の物体に同期させて立体的に音像を定位させ、臨場感を向上させることができる装置、プログラムの提供を目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上述の課題を解決するための手段を以下のように構成している。
【０００９】
（１）本発明は、
センタチャンネルを含み映像信号に同期したマルチチャンネル音声信号、および、前記映像信号によって表示される映像内での前記センタチャンネルの音声信号の発生位置を示す位置情報を入力する入力部と、
前記センタチャンネル以外の音声信号をそれぞれ対応するスピーカに出力する左右チャンネル出力部と、
アレイ状に配列された複数のスピーカユニットを有するスピーカアレイを制御する制御部であって、前記位置情報が示す位置に焦点を結ぶ音声ビームとなるように、前記センタチャンネルの音声信号を各スピーカユニットに入力するタイミングを制御する定位制御部と、
を備えたマルチチャンネルオーディオ再生装置である。
【００１０】
本発明では、入力部はセンタチャンネルを含み映像信号に同期したマルチチャンネル音声信号、および、前記映像信号によって表示される映像内での前記センタチャンネルの音声信号の発生位置を示す位置情報を入力する。定位制御部は、この音声信号を出力するセンタスピーカは、画像の中の通常１点で台詞等の音声を出力し、臨場感に欠けるきらいがあるが、本発明は、位置情報の入力を受け付けており、前記位置情報が示す位置に焦点を結ぶ音声ビームとなるように、前記センタチャンネルの音声信号を各スピーカユニットに入力するタイミングを制御するから、映像信号に同期して正確な音像定位が可能となる。
【００１１】
また、本発明によれば、この音像定位の位置を、天井や壁といった機械的な要素を必要とすることなく、任意の位置に設定することが可能である。さらに、この装置によれば、ドップラー効果等の効果音を模擬的に作り出すのではなく、正確な音像定位の結果として、ドップラー効果等を正確に表現できる。
【００１２】
なお、本発明では、「入力部」を通って音声信号の入力、位置情報の入力が信号処理部により処理されれば、これらの入力は、外部記憶部（ハードディスク、光磁気ディスク等）に格納されているものでも良く、また通信回線を通じて提供されるストリーミングデータでも良い。またこの「入力部」は例えば一時記憶装置（メモリ）とすることができる。
また、本発明は、音像定位装置に関するものであり、映画館、ホームシアターで使用するもの等の限定をしておらず、これらに使用する装置を含む。
【００１３】
（２）本発明は、
映像信号と、この映像信号に同期した音声信号を入力する入力部と、
前記映像信号に基づき、前記音声信号の発生位置を推定する発生位置推定部と、
アレイ状に配列された複数のスピーカユニットを有するスピーカアレイを制御する制御部であって、前記推定された発生位置に焦点を結ぶ音声ビームとなるように、前記音声信号を各スピーカユニットに入力するタイミングを制御する定位制御部と、
を備えた、音像定位装置である。
【００１４】
本発明は、（１）の構成のように位置情報が与えられているような構成でなく、発生位置推定部が前記信号の発生位置を推定する。また、定位制御部は、前記推定された発生位置に焦点を結ぶ音声ビームとなるように、前記音声信号を、スピーカアレイの各スピーカユニットに入力するタイミングを制御するので、音声入力に位置情報が与えられていない音声入力が入力された場合でも、映像信号に同期して、前記音声信号の発生位置に前記音声信号を立体的に定位させることができる。
【００１５】
（３）本発明は、
映像信号と、センタチャンネルを含み前記映像信号に同期したマルチチャンネル音声信号入力チャンネルの音声信号を入力する入力部と、
前記センタチャンネル以外の音声信号をそれぞれ対応するスピーカに出力する左右チャンネル出力部と、
前記映像信号に基づき、前記センタチャンネルの音声信号の発生位置を推定する発生位置推定部と、
アレイ状に配列された複数のスピーカユニットを有するスピーカアレイを制御する制御部であって、前記推定された発生位置に焦点を結ぶ音声ビームとなるように、前記センタチャンネルの音声信号を各スピーカユニットに入力するタイミングを制御する定位制御部と、
を備えたマルチチャンネルオーディオ装置である。
【００１６】
本発明は、（１）の構成のように位置情報が与えられているような構成でなく、発生位置推定部が前記信号の発生位置を推定する。このような推定をしているので、センタチャンネル用の音声入力に位置情報が与えられていない音声入力が入力された場合でも前記信号の発生位置を推定するので（１）と同様の効果を奏する。
【００１７】
（４）本発明は、前記スピーカアレイは、前記映像信号に基づく映像が表示されるスクリーン面に配置されている。
【００１８】
このように構成すれば、画面上に現れる物体に同期して、画面上の物体に近接した位置から音声が出力されるようにすることができる。また、従来文献と異なり、以上の構成の効果を奏するから、スクリーンの後方の仮想音源からスクリーンに広がった音像定位を出力することができる。したがって、立体的に音像を定位させることができる。
【発明の効果】
【００１９】
本発明によれば、画面上に現れる物体に同期して、単に音像定位を画面上の１点に投影するのではなく、前記仮想音源から広がった音像を再現することができるから、立体的に音像を定位させることができる。
【発明を実施するための最良の形態】
【００２０】
＜第１の実施形態のシアターシステムの説明＞
図面を参照して、第１の実施形態のシアターシステムの構成を説明する。図１はこの構成を示している。このシアターシステムは、映像信号およびマルチチャンネルの音声信号を入力して再生するものである。
図１に示すように、視聴者９９９の前方に、映像を映し出すスクリーン６と、アレイ状にスピーカＳＰｉ（ｉ＝１〜Ｎ）を配置した正面スピーカアレイ２とを備える。また、視聴者９９９の斜め前方に左前スピーカＳＰＬ、右前スピーカＳＰＲを備える。また、視聴者９９９の前方または斜め前方に低音スピーカＳＰＷを備える。また、後方の上方または前方の机の上に設置されたプロジェクタ３と、斜め後方に左後スピーカＳＰＬＲ、右後スピーカＳＰＲＲを備える。さらに、入力部１１に各種信号１００〜１０２を入力して、以上のスピーカおよびプロジェクタを制御する制御装置１０を備える。以下それぞれの構成について説明する。
【００２１】
スクリーン６は、プロジェクタ３から出力された画像を映し出す。
プロジェクタ３は、電気信号を光に変換して出力する投影素子を備え、制御装置１０を通した映像信号１００の電気信号を光に変換し、スクリーン６に映し出す。
【００２２】
スピーカＳＰＬ、ＳＰＲ、ＳＰＬＲ、ＳＰＲＲ、ＳＰＷおよび正面スピーカアレイ２のスピーカＳＰｉ（ｉ＝１〜Ｎ）は、例えばダイナミックスピーカで構成でき、制御装置１０から出力された電気信号を音声に変換する。ここで、スピーカＳＰＬ、ＳＰＲ、ＳＰＬＲ、ＳＰＲＲは、広い周波数帯域をカバーできるように複数のスピーカユニットからなるスピーカシステムで構成しても良い。また、ＳＰＷは、低音を補強するための低音用スピーカで構成する。
【００２３】
図１の正面スピーカアレイ２は、マルチチャンネルの音声信号のうちのセンタチャンネルの音声信号を出力する。このセンタチャンネルの音声信号には、映像で表示される物体の音声、登場人物の台詞等が含まれている。
【００２４】
また、スピーカＳＰＬ、ＳＰＲ、ＳＰＬＲ、ＳＰＲＲには、マルチチャンネルの音声信号１０２のうちのそれぞれ１ｃｈずつが割り当てられている。また、スピーカＳＰＷには、各チャンネルから抽出された重低音信号が入力される。
【００２５】
ここで、入力信号１００、１０１、１０２について説明する。映像信号１００は、動画の映像であり、アナログの映像信号であってもディジタルの映像信号であってもよい。ＭＰＥＧなどの画像データを入力する。音源位置情報１０１は、映像信号１００のうちの所定の物体、即ちセンタチャンネルにその音声が割り当てられている物体や人物の位置を示す情報であり、画面上の座標（ｘ，ｙ）のみならず奥行き方向の座標（ｚ）を含む３次元の情報である。この情報は映像信号に同期して刻々入力される。また、この位置情報１０１は、スクリーン６の中心を原点とする極座標系の情報であってもよい。さらにはこれらの座標系の組み合わせであっても良い。音声信号１０２は、マルチチャンネルの音声信号であり、上述したスピーカそれぞれに対応している。
【００２６】
次に、図２、図３を用いて、上記シアターシステムにおけるセンタチャンネルの定位制御について説明する。
【００２７】
図２は、センタチャンネルの音声の定位位置の概念の説明する図である。スクリーン６には、プロジェクタ３により入力部に投影された映像信号による映画等の映像が映し出される。同図には、映し出された映像中に人物１０４が含まれている。この人物１０４が話す台詞等は、センタチャンネルに割り当てられている。そこで本実施形態のシアターシステム１では、センタチャンネル音声信号を人物１０４の位置に定位させる。
【００２８】
人物１０４の位置情報は、映像信号に同期して音源位置情報として入力される。この音源位置情報１０１は、（Ｘ，Ｙ，Ｚ）の３次元座標で与えられる。図２に示すように、Ｘ座標は左右方向、Ｙ座標は高さ方向、Ｚ座標は、スクリーン６からの奥行きを表している。制御装置１０は、この仮想音源ＶＳ（Ｘ，Ｙ，Ｚ）にセンタチャンネルの音像を定位するため、センタチャンネルの音声信号が仮想音源ＶＳから放出されるような波面を正面スピーカアレイ２により形成する。
【００２９】
次に、図３を用いて、仮想音源ＶＳの音像定位を再現する方法について説明する。まず、図３（Ａ）を用いて音波の伝わり方について説明する。図３（Ａ）に示すように、波面９１が、仮想音源ＶＳから出力されたものであれば、波面９１は、仮想音源ＶＳを中心として、一様に同じ円状に拡散していく。即ち、仮想音源ＶＳからの伝搬距離が一定のＲの位置９０では、いずれの位置においても仮想音源ＶＳからの到達時間は同じであり、音量も同じ、また、周波数特性（特に高域の減衰）も同じである。
【００３０】
次に、図３（Ｂ）を用いて図３（Ａ）で示した仮想音源ＶＳからの音波の伝わり方を正面のスピーカアレイで再現するための方法を説明する。図３（Ｂ）に示すように、各ＳＰｉから音声の波面１０９ｉ（ｉ＝１〜Ｎ）が出力されている。仮想音源ＶＳから各ＳＰｉまでの距離が互いに異なるから、前述図３（Ａ）で説明したような「仮想音源ＶＳから一様に拡散する」定位を再現するには、各ＳＰｉから上述の位置９０までの距離９２ｉ（ｉ＝１〜Ｎ）＝Ｒ−Ｌｉを音速で除算した到達時間差を考慮して、音声を出すタイミング、即ちディレイ量を調整する必要がある。また、例えば距離９２Ｎが他の距離９２ｉより短いとすれば、スピーカＳＰＮの音量は、位置９０で聴取した場合に音量が等しくなるよう、音量を絞る必要がある。さらに、周波数特性は、仮想音源ＶＳからの傾き角度や、仮想音源ＶＳからの距離伝搬距離Ｌｉ（ｉ＝１〜Ｎ）の２乗に比例させるなどして、高域を減衰するようにする。このようにディレイ量、音量、周波数特性を調整すれば、スピーカＳＰｉ（ｉ＝１〜Ｎ）で合成された波面９１１は、仮想音源ＶＳから伝搬された音声の波面９１（図３（Ａ）で図示。）を再現することになり、センタチャンネルを仮想音源ＶＳに定位させることができる。
【００３１】
なお、このような仮想音源ＶＳを焦点として拡散する音声信号を「放音ビーム」ということにする。
【００３２】
次に、図４を用いて、制御装置１０の内部構成について説明する。制御装置１０は、図１で示したように、各種の信号を入力する入力部１１と、入力部１１から入力した信号を加工して各スピーカに出力する信号を処理する信号処理装置５と、前述した音源位置情報１０１に基づいて正面スピーカアレイ２の各スピーカＳＰｉ（ｉ＝１〜Ｎ）に出力する音声を調整するためのパラメータを計算するパラメータ計算部１２とを備える。
【００３３】
入力部１１は、各信号を入力するインターフェースと、入力信号を格納する、読み書き可能なバッファを有している。入力部１１には、インターネット、ＶＴＲ等の各種ＡＶ機器等が接続されている。
【００３４】
信号処理装置５（２点鎖線の枠内）は、ＤＳＰ等で構成され機能的に以下の処理ブロックを備える。即ち、センタチャンネル音声信号１０２１を順次加工する遅延器５２ｉ（ｉ＝１〜Ｎ）とゲイン調整器５３ｉ（ｉ＝１〜Ｎ）とイコライザ５４ｉ（ｉ＝１〜Ｎ）と、前述したＤ／Ａ変換器５６ｉ（ｉ＝１〜Ｎ）を備える。また、遅延器５２ｉ（ｉ＝１〜Ｎ）の遅延状態を制御する遅延制御装置５１を備える。また、センタチャンネル以外のチャンネルの信号１０２２を加工して出力するための左右チャンネル入力用信号処理部５８１とＤ／Ａ変換器５９１とを備える。また、各チャンネルから抽出された低音音声信号１０２３を加工する低音音声入力用信号処理部５８２とＤ／Ａ変換器５９２とを備える。
【００３５】
遅延器５２ｉ（ｉ＝１〜Ｎ）は、リング状に読み書きを行うメモリであるリングバッファ等で構成され、遅延制御装置５１の制御により正面音声信号１０２１に対して所定の遅延を与えて、スピーカＳＰｉ（ｉ＝１〜Ｎ）に出力する。
【００３６】
ゲイン調整器５３ｉ（ｉ＝１〜Ｎ）は、ビットのシフトを行う機能を備え、パラメータ計算部１２のパラメータ出力であるゲイン調整情報１０６に基づいて、図３で説明したように遅延器５２ｉ（ｉ＝１〜Ｎ）の出力の音量を調整する。この調整は、後述するパラメータ計算部１２が計算した値に基づいて行う。
イコライザ５４ｉ（ｉ＝１〜Ｎ）は、音声信号にＦＩＲフィルタを畳み込み演算する機能を備え、図３で説明したように高域の周波数を調整する。このＦＩＲフィルタの係数は、信号処理装置５の外部に設けたパラメータ計算部１２で計算したＦＩＲのパラメータからなるイコライザ情報１０７を入力して行う。
【００３７】
Ｄ／Ａ変換器５６ｉ（ｉ＝１〜Ｎ）は、前述のようにＤ／Ａ変換器用ＩＣで構成する。イコライザ５４ｉ（ｉ＝１〜Ｎ）のディジタル音声出力をアナログ音声出力に変換する。
【００３８】
なお、Ｄ／Ａ変換器５６ｉ（ｉ＝１〜Ｎ）と正面スピーカアレイ２との間には、これらの音声信号を増幅するアンプを備えるが、図４では図示を省略している。
【００３９】
遅延制御装置５１は、信号処理装置５全体を処理するＤＳＰの機能の一部として構成するか、または演算機能を有するＩＣを備える。遅延制御装置５１は、パラメータ計算部１２により計算した遅延速度に基づいて、遅延器５２ｉ（ｉ＝１〜Ｎ）の読み出し位置、サンプリング速度を制御し、遅延量情報１０５を遅延器５２ｉ（ｉ＝１〜Ｎ）に出力する。
【００４０】
図４の左右チャンネル信号処理部５８１は、センタチャンネル以外のチャンネルの信号１０２２を加工してＤ／Ａ変換器５９に出力するものであり、前述の遅延器５２ｉ、ゲイン調整器５３ｉ、イコライザ５４ｉと同様の構成を備える。ただし、この左右チャンネル信号処理部５８１は前述の５２ｉ、５３ｉと異なり、必ずしもパラメータ計算部１２の計算結果に基づいてこのサラウンド入力１０２２を加工する必要はない。
【００４１】
Ｄ／Ａ変換器５９１は、Ｄ／Ａ変換器５６ｉ（ｉ＝１〜Ｎ）と同様の構成を備え、左右チャンネル信号処理部５８１の各ディジタル音声出力をアナログ音声出力に変換する。
【００４２】
図４の低音音声入力用信号処理部５８２は、低音音声信号１０２３を加工してＤ／Ａ変換器５９に出力するものであり、前述の遅延器５２ｉ、ゲイン調整器５３ｉ、イコライザ５４ｉと同様の構成を備える。
また、Ｄ／Ａ変換器５９２は、Ｄ／Ａ変換器５６ｉ（ｉ＝１〜Ｎ）と同様の構成を備え、低音音声入力用信号処理部５８２のディジタル音声出力をアナログ音声出力に変換する。
【００４３】
パラメータ計算部１２は、各種パラメータを計算するためのＩＣと、この計算に用いる制御データ（例えば音速等のデータ）を格納するＲＯＭを備える。または、ＩＣの代わりに制御装置１０にＣＰＵを備えて、このＣＰＵの１機能として構成しても良い。前述のとおり、パラメータ計算部１２は、音源位置情報１０１に基づいて正面スピーカアレイ２の各スピーカＳＰｉ（ｉ＝１〜Ｎ）に出力する音声を調整するためのパラメータを計算する。
【００４４】
次に、図５、図６を用いて、パラメータ計算部１２のパラメータ設定処理について説明する。
【００４５】
図５で示すような仮想音源ＶＳの定位を実現するためには、前述図３で説明したように、仮想音源ＶＳから拡散した音声の波面が均等になるように、合成された波面９１１を出力する必要がある。そのため、遅延器５２ｉ（ｉ＝１〜Ｎ）は、入力部１１に入力された信号にディレイをかけて音声を出力するタイミングを調整する。ゲイン調整器５３ｉ（ｉ＝１〜Ｎ）は、音量を調整する。イコライザ５４ｉ（ｉ＝１〜Ｎ）は、高域の周波数を調整する。パラメータ計算部１２は、これら５２ｉ、５３ｉ、５４ｉを制御して仮想音源ＶＳを焦点とする放音ビームを出力するためのパラメータを生成する。
【００４６】
なお、図４の左右チャンネル信号処理部５８１は、クロストークキャンセルやモデル頭部伝達関数を用いて、所定の方向の位置に音像定位させるようにしても良い。
【００４７】
図６（Ａ）は、図１に示す正面スピーカアレイ２を上から見た平面図であり、正面スピーカアレイ２より奥側に設定した仮想音源ＶＳの位置関係を表している。図６（Ｂ）は、図６（Ａ）で示した位置関係を基にしてパラメータ設定の具体的な値の例を示す。
【００４８】
図６（Ａ）に示す伝搬距離Ｌｉ（ｉ＝１〜Ｎ）は、前述の図２、図３、図５で示した距離に対応しており、角度αｉ（ｉ＝１〜Ｎ）は、仮想音源ＶＳと正面スピーカアレイ２との角度である。パラメータ計算部１２は、音源位置情報１０１に基づいて、仮想音源ＶＳの位置を決定し、仮想音源ＶＳの座標値Ｘ、Ｙ、Ｚを得る。そして、これを基に図６（Ａ）で示すような伝搬距離Ｌｉ（ｉ＝１〜Ｎ）［ｍ］、即ち、前述で設定した仮想音源ＶＳと、正面スピーカアレイ２の各スピーカＳＰｉとの伝搬距離Ｌｉ（ｉ＝１〜Ｎ）を計算する。また、受信側ユニット１Ｂと仮想音源ＶＳとの角度を計算する（図４では真上から見た角度になっているが、実際はスピーカＳＰｉとの角度αｉ（ｉ＝１〜Ｎ）を計算する）。
【００４９】
次に、以上の図６（Ａ）の距離の計算結果を基にして、図６（Ｂ）で示すように、パラメータ算出部３２のパラメータを設定する。
ディレイ量設定１２１では、伝搬距離Ｌｉ（ｉ＝１〜Ｎ）を音速で除算することにより、時間遅れを計算して設定する。このディレイ量を伝搬距離Ｌｉ［ｍ］を音速Ｖ［ｍ／ｓ］で除算した値とする（図中、マイナスで表記している。）。なお、図３ではこのディレイ量Ｒ−Ｌｉを音速で除算するとして説明したが、相対的にはこの定数Ｒは無視できる。
【００５０】
図６の音量設定１２２では、音量は距離の２乗に反比例するから、予め定めた基準の音量ｖｏｌｕｍｅを距離伝搬距離Ｌｉ（ｉ＝１〜Ｎ）で除算して計算する。ＳＰ１については、音量設定は、基準音量ｖｏｌｕｍｅ×１［ｍ］／伝搬距離Ｌｉ２［ｍ］とすることができる。
【００５１】
また、図６（Ｂ）の周波数特性を調整する高域ゲイン設定１２３には、各スピーカＳＰｉに届く音声の高域は、高域の指向性によって、減衰するからこの減衰分を考慮して、減衰するような周波数特性のフィルタのパラメータを設定することができる。ＳＰ１については、高域のイコライザレベルを、例えば、周波数領域でのゲインの平均レベルの（ｃｏｓαｉ）倍とすることができる。
【００５２】
次に、図７を用いて、第１の実施形態のシステムの遅延器５２ｉ（ｉ＝１〜Ｎ）（図４参照。）の構成をさらに具体的に説明する。図７は、この遅延器の構成をリングバッファで行う場合の構成図を示す。音声信号入力１０２１は、そのデータが読み書き可能なメモリで構成する入力部１１に格納されており、入力部１１内部のこれとは別区画の一部にリングバッファ１１１を設けるか、またはリングバッファ１１１は、信号処理装置５内部に設けた読み書き可能なメモリとする。遅延制御装置５１は、リングバッファ１１１をデータ区画１１２に示すようなデータアドレス区画に区切り、正面音声信号１０２１をこのデータアドレス区画に書き込みを行う。このデータ区画１１２の書き込み位置５１１は、音声信号のサンプリング周波数で読み出し経路５１４に沿って５１２の方向にリング状に順次書き込みを行う。また、リングバッファ１１１に書き込まれたデータの読み出しは、遅延制御装置５１が、この書き込みアドレスに対して所定の遅延をかけて、読み出し位置ＴＡＰｉ（ｉ＝１〜Ｎ）から読み出しを行う。これにより、１つの正面音声信号１０２１に対しディレイがかかった複数の音声信号を読み出すことができる。この遅延制御装置５１が読み出したデータは、図４で示したようにゲイン調整器５３ｉ（ｉ＝１〜Ｎ）に入力される。
【００５３】
図７に示す書き込み位置５１１に対する読み出し位置ＴＡＰｉの遅延量は、前述図６で説明したディレイ量設定１２１の遅延量であり、遅延制御装置５１が読み出し位置ＴＡＰｉの移動５１３ｉ（ｉ＝１〜Ｎ）をそれぞれ制御する。なお、この制御は、図４で示した遅延制御装置５１が遅延量情報１０５を与えることに相当する。
【００５４】
図７の読み出し位置ＴＡＰｉ（ｉ＝１〜Ｎ）の移動５１３ｉは、図２で示した人物１０４が静止しているときは、遅延制御装置５１は、正面音声信号１０２１が書き込まれるサンプリング速度と同じ速度で読み出す。他方、人物１０４（人物に限らず物体でも良い。）が移動するときは、この移動に伴いパラメータ計算部１２は、仮想音源ＶＳの位置を変動させることになるから、図６で示したディレイ量設定１２１で仮想音源ＶＳとスピーカＳＰｉ（ｉ＝１〜Ｎ）の伝搬距離Ｌｉ（ｉ＝１〜Ｎ）が変動する。これにより、書き込み位置５１１に対する読み出し位置読み出し位置ＴＡＰｉの遅延量が時間と共に変動するから、結果的に正面音声信号１０２１が書き込まれるサンプリング速度と異なった速度で読み出すことになり、仮想音源ＶＳから発せされる音声のトーンが上下する。このようにして、本実施形態のシステムによれば、正確な音像定位の結果として音源の移動に伴うドップラー効果を表現することができる。
【００５５】
＜第１の実施形態の応用＞
なお、図７で説明した人物１０４の移動時の音声信号の読み出しは、アドレスの移動５１３ｉを変化させて行う。このようにアドレスの移動５１３ｉを変化させるときは、アドレスが小数部を持つため、このアドレス値に近接するアドレスのデータを補間計算して求める。
【００５６】
また、本実施形態の装置では、マルチチャンネルの音声信号は図４の構成に限らないが、少なくとも正面音声信号１０２１を備え、かつ全体として入力がマルチチャンネル、即ち３チャンネル以上であることが必要である。図１では、実スピーカをこのマルチチャンネル分配置した図を示したが、後述のサラウンド入力用信号処理部５８でクロストークキャンセル処理をする等により、サラウンド入力１０２２を前方のスピーカＳＰＲ、ＳＰＬの２ｃｈにミックスダウンする構成でも良い。
【００５７】
また、図１の正面スピーカアレイ２は、スクリーン６の下に設置しても良いし、スクリーン６の周囲（左右、上下）に設置しても良い。
【００５８】
＜第２の実施形態＞
次に、図８を用いて、第１の実施形態のシステムの応用に係る第２の実施形態のシアターシステムについて説明する。図８は、このシアターシステムの制御装置の内部構成を示す。このシステムでは、音源位置情報１０１を外部から入力する代わりに、発音位置推定装置１５を設けてパラメータ計算部１２に入力する点が異なる。その他の点は、以上図１〜図７を用いて説明したことと同様なので、同じ符号を用いて以上の説明を準用する。
【００５９】
図８の発音位置推定装置１５は、発音位置推定装置１５の動作のプログラムを格納するＲＯＭと、映像信号１００のデータを処理するＲＡＭと、このプログラムを実行するＩＣまたはＣＰＵを備える（図示省略）。
【００６０】
図８の発音位置推定装置１５は、映像信号１００を取り込んで、画像解析を行い、図２で示した人物１０４の位置を推定し、その情報を把握して、パラメータ計算部１２に与える。人物の認識は顔判定等の手法で行えばよく、顔や身体の大きさで奥行き方向の距離（ｚ座標）を推定することも可能である。また、動いている物体の位置を画像解析により把握してパラメータ計算部１２に与えることも考えられる。
【００６１】
＜第２の実施形態の応用＞
なお、映像信号１００のデータを画像処理するためのＲＡＭは、読み書き可能なメモリで構成する入力部１１内部の区画の一部に設けてもよい。また、発音位置推定装置１５の動作プログラムを実行するＩＣは、制御装置１０に備えたＤＳＰやＣＰＵと共用であっても良い。
【００６２】
＜第３の実施形態＞
次に、図９を用いて、第１、第２の実施形態のシステムの応用に係る第３の実施形態のシアターシステムを示す。第３の実施形態のシアターシステムは、正面スピーカアレイ２に相当するアレイ状に配置したスピーカＳＰｉ（ｉ＝１〜Ｎ）を、スクリーン６の裏側に設けた点が異なる。その他の点は、以上図１〜図８を用いて説明したことと同様なので、同じ符号を用いて以上の説明を準用する。
【００６３】
図９に示す第３の実施形態では、スクリーン６の周囲に置いた正面スピーカアレイ２と異なり、図２で示した人物１０４と完全に一致させることができる。また、以上の説明、特に図２、図３の説明で示したように、人物１０４の位置に基づいて、パラメータ計算部１２が仮想音源ＶＳの位置を設定している。さらに、図６で示したようなパラメータ設定により、図３（Ｂ）で示したようにアレイ状に配置されたスピーカＳＰｉ（ｉ＝１〜Ｎ）で合成された音声は、仮想音源ＶＳから拡散された音声そのままを再現することになる。したがって、本実施形態は、先に掲げた特許文献２、３が単に人物１０４と一致する位置のスピーカを切り替えて出力するのと異なり、立体的な音像定位を実現できる。
【００６４】
＜第３の実施形態の応用＞
なお、図９で示すスピーカＳＰｉ（ｉ＝１〜Ｎ）は、裏側にダイナミックスピーカを埋め込んでも良いし、また、特許文献３のように背面に複数の独立したボイスコイルを配置して、スクリーン自体を振動板としてもよい。
【図面の簡単な説明】
【００６５】
【図１】第１の実施形態のシアターシステムの構成を示す。
【図２】第１の実施形態のシアターシステムの概念図を示す。
【図３】スピーカアレイを用いて、仮想音源の音像定位を再現する方法を表す図を示す。
【図４】第１の実施形態のシアターシステムの制御装置の内部構成を示す。
【図５】第１の実施形態のシステムにおける仮想音源ＶＳ、スピーカＳＰｉ（ｉ＝１〜Ｎ）間の距離と各種パラメータ設定の方法を説明する図を示す。
【図６】第１の実施形態のシステムにおける仮想音源ＶＳ、スピーカＳＰｉ（ｉ＝１〜Ｎ）間の距離、角度から各種パラメータを設定する実施例を示す。
【図７】第１の実施形態のシステムにおける遅延器の構成をリングバッファで行う場合の構成図を示す。
【図８】第１の実施形態の応用に係る第２の実施形態のシアターシステムの制御装置の内部構成を示す。
【図９】第１、第２の実施形態のシステムの応用に係る第３の実施形態のシアターシステムを示す。
【符号の説明】
【００６６】
１−シアターシステム、  １０−制御装置、  １１−入力部
１１１−リングバッファ、  １１２−データ区画、  １２−パラメータ計算部
１２１−ディレイ量設定、  １２２−音量設定、  １２３−高域ゲイン設定
１５−発音位置推定装置、  ２−正面スピーカアレイ、  ３−プロジェクタ
５−信号処理装置、  ５１−遅延制御装置、  ５１１−書き込み位置
５１２−移動、  ５１３ｉ（ｉ＝１〜Ｎ）−移動、  ５１４−読み出し経路
５２ｉ（ｉ＝１〜Ｎ）−遅延器、  ５３ｉ（ｉ＝１〜Ｎ）−ゲイン調整器
５４ｉ（ｉ＝１〜Ｎ）−イコライザ、  ５６ｉ（ｉ＝１〜Ｎ）−Ｄ／Ａ変換器
５８１−左右チャンネル入力用信号処理部、  ５８２−低音音声入力用信号処理部
５９１−Ｄ／Ａ変換器、  ５９２−Ｄ／Ａ変換器、  ６−スクリーン
ＳＰｉ（ｉ＝１〜Ｎ）−スピーカ、  ＳＰＬ−左前スピーカ
ＳＰＲ−右前スピーカ、  ＳＰＬＲ−左後スピーカ、  ＳＰＲＲ−右後スピーカ
ＳＰＷ−低音スピーカ、  Ｌｉ（ｉ＝１〜Ｎ）−伝搬距離
ＶＳ−仮想音源、  αｉ（ｉ＝１〜Ｎ）−角度
ＴＡＰｉ（ｉ＝１〜Ｎ）−読み出し位置
１００−映像信号、  １０１−音源位置情報、  １０２−音声信号
１０２１−センタチャンネル音声信号
１０２２−センタチャンネル以外のチャンネルの信号、  １０２３−低音音声信号
１０４−人物、  １０５−遅延量情報、  １０６−ゲイン調整情報
１０７−イコライザ情報、  １０９ｉ（ｉ＝１〜Ｎ）−波面
９１１−合成された波面、  ９２ｉ（ｉ＝１〜Ｎ）−距離、  ９９９−視聴者
【図１】
2007266967.tif 000003
【図２】
2007266967.tif 000004
【図３】
2007266967.tif 000005
【図４】
2007266967.tif 000006
【図５】
2007266967.tif 000007
【図６】
2007266967.tif 000008
【図７】
2007266967.tif 000009
【図８】
2007266967.tif 000010
【図９】
2007266967.tif 000011
【手続補正書】
【提出日】平成18年6月13日(2006.6.13)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
図４の左右チャンネル入力用信号処理部５８１は、センタチャンネル以外のチャンネルの信号１０２２を加工してＤ／Ａ変換器５９に出力するものであり、前述の遅延器５２ｉ、ゲイン調整器５３ｉ、イコライザ５４ｉと同様の構成を備える。ただし、この左右チャンネル入力用信号処理部５８１は前述の５２ｉ、５３ｉと異なり、必ずしもパラメータ計算部１２の計算結果に基づいてこのサラウンド入力１０２２を加工する必要はない。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
Ｄ／Ａ変換器５９１は、Ｄ／Ａ変換器５６ｉ（ｉ＝１〜Ｎ）と同様の構成を備え、左右チャンネル入力用信号処理部５８１の各ディジタル音声出力をアナログ音声出力に変換する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
なお、図４の左右チャンネル入力用信号処理部５８１は、クロストークキャンセルやモデル頭部伝達関数を用いて、所定の方向の位置に音像定位させるようにしても良い。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
図６（Ａ）に示す伝搬距離Ｌｉ（ｉ＝１〜Ｎ）は、前述の図２、図３、図５で示した距離に対応しており、角度αｉ（ｉ＝１〜Ｎ）は、仮想音源ＶＳと正面スピーカアレイ２のそれぞれのスピーカユニットとの角度である。パラメータ計算部１２は、音源位置情報１０１に基づいて、仮想音源ＶＳの位置を決定し、仮想音源ＶＳの座標値Ｘ、Ｙ、Ｚを得る。そして、これを基に図６（Ａ）で示すような伝搬距離Ｌｉ（ｉ＝１〜Ｎ）［ｍ］、即ち、前述で設定した仮想音源ＶＳと、正面スピーカアレイ２の各スピーカＳＰｉとの伝搬距離Ｌｉ（ｉ＝１〜Ｎ）を計算する。また、正面スピーカアレイ２のそれぞれのスピーカユニットと仮想音源ＶＳとの角度を計算する（図４では真上から見た角度になっているが、実際はスピーカＳＰｉとの角度αｉ（ｉ＝１〜Ｎ）を計算する）。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
次に、以上の図６（Ａ）の距離の計算結果を基にして、図６（Ｂ）で示すように、パラメータ計算部１２のパラメータを設定する。
ディレイ量設定１２１では、伝搬距離Ｌｉ（ｉ＝１〜Ｎ）を音速で除算することにより、時間遅れを計算して設定する。このディレイ量を伝搬距離Ｌｉ［ｍ］を音速Ｖ［ｍ／ｓ］で除算した値とする（図中、マイナスで表記している。）。なお、図３ではこのディレイ量Ｒ−Ｌｉを音速で除算するとして説明したが、相対的にはこの定数Ｒは無視できる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
図７の読み出し位置ＴＡＰｉ（ｉ＝１〜Ｎ）の移動５１３ｉは、図２で示した人物１０４が静止しているときは、遅延制御装置５１は、正面音声信号１０２１が書き込まれるサンプリング速度と同じ速度で読み出す。他方、人物１０４（人物に限らず物体でも良い。）が移動するときは、この移動に伴いパラメータ計算部１２は、仮想音源ＶＳの位置を変動させることになるから、図６で示したディレイ量設定１２１で仮想音源ＶＳとスピーカＳＰｉ（ｉ＝１〜Ｎ）の伝搬距離Ｌｉ（ｉ＝１〜Ｎ）が変動する。これにより、書き込み位置５１１に対する読み出し位置ＴＡＰｉの遅延量が時間と共に変動するから、結果的に正面音声信号１０２１が書き込まれるサンプリング速度と異なった速度で読み出すことになり、仮想音源ＶＳから発せされる音声のトーンが上下する。このようにして、本実施形態のシステムによれば、正確な音像定位の結果として音源の移動に伴うドップラー効果を表現することができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
また、本実施形態の装置では、マルチチャンネルの音声信号は図４の構成に限らないが、少なくとも正面音声信号１０２１を備え、かつ全体として入力がマルチチャンネル、即ち３チャンネル以上であることが必要である。図１では、実スピーカをこのマルチチャンネル分配置した図を示したが、後述の左右チャンネル入力用信号処理部５８１でクロストークキャンセル処理をする等により、サラウンド入力１０２２を前方のスピーカＳＰＲ、ＳＰＬの２ｃｈにミックスダウンする構成でも良い。