(57)【特許請求の範囲】
【請求項１】
コンテンツに係るオーディオ信号を入力するオーディオ信号入力手段と、
前記コンテンツに含まれるオブジェクトの位置情報を取得する取得手段と、
前記位置情報に基づいて前記オブジェクトの音像定位を行う音像定位処理部と、
前記オーディオ信号に音場効果を付与する処理を行う音場付与部と、
聴取環境の変更指示を受け付ける受付部と、
前記受付部で受け付けた聴取環境の変更指示に応じて、前記オブジェクトの移動量を調節して、前記音像定位処理部の音像位置を制御する制御部と、
を備えたことを特徴とするオーディオ信号処理装置。
【請求項２】
前記オーディオ信号に音場効果を付与するための音場効果情報を聴取位置毎に記憶する記憶手段を備え、
前記受付部は、前記聴取環境の変更指示として聴取位置の設定を受け付け、
前記制御部は、前記受付部で受け付けた聴取位置の設定に応じて前記記憶手段から前記音場効果情報を読み出し、前記音場付与部に設定する請求項１に記載のオーディオ信号処理装置。
【請求項３】
前記制御部は、前記記憶手段に記憶されている音場効果情報を複数読み出して、読み出した各音場効果情報から対応する聴取位置の音場効果情報を補間する請求項２に記載のオーディオ信号処理装置。
【請求項４】
聴取者の向いている方向を検出する方向検出部を備え、
前記制御部は、前記方向検出部で検出した聴取者の向いている方向に応じて前記音像定位処理部の音像位置を制御する請求項１乃至請求項３のいずれかに記載のオーディオ信号処理装置。
【請求項５】
前記オーディオ信号は、マルチチャンネルオーディオ信号であって、
前記音像定位処理部は、前記オーディオ信号をモノラル信号にミックスダウンすることを特徴とする請求項１乃至請求項４のいずれかに記載のオーディオ信号処理装置。
【請求項６】
前記位置情報は、前記オブジェクトごとに、独立したオーディオ信号として前記コンテンツに格納されるオブジェクト信号であり、
前記取得手段は、前記オブジェクト信号に含まれる前記位置情報を取得することを特徴とする請求項１乃至請求項５のいずれかに記載のオーディオ信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、オーディオ信号に種々の処理を行うオーディオ信号処理装置に関する（例えば特許文献１を参照）。
【背景技術】
【０００２】
従来から、聴取環境において所望の音場を形成する音場支援装置が知られている。音場支援装置は、複数チャンネルのオーディオ信号を合成して、合成後のオーディオ信号に所定のパラメータを畳み込むことにより、擬似反射音（音場効果音）を生成する。
【０００３】
一方、近年ではコンテンツに付加されたオブジェクト情報による音像定位の方式が普及している。オブジェクト情報は、各オブジェクト（音源）の位置を示す情報が含まれている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１８６５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば小さなコンサートホールで録音されたコンテンツである場合において、聴取環境において大きなコンサートホールの音場効果の付与を設定した場合、間接音は広がるが、直接音（各音源）の位置が変化しない。
【０００６】
そこで、この発明は、適切な音像位置を付与するオーディオ信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明のオーディオ信号処理装置は、コンテンツに係るオーディオ信号を入力するオーディオ信号入力手段と、前記コンテンツに含まれるオブジェクトの位置情報を取得する取得手段と、前記位置情報に基づいて前記オブジェクトの音像定位を行う音像定位処理部と、前記オーディオ信号に音場効果を付与する処理を行う音場付与部と、聴取環境の変更指示を受け付ける受付部と、前記受付部で受け付けた聴取環境の変更指示に応じて、前記音像定位処理部の音像位置を制御する制御部と、を備えている。
【０００８】
このように、本発明のオーディオ信号処理装置は、オブジェクト情報に含まれる位置情報を用いて、音像位置の再配置を行う。例えば、聴取環境の変更指示として大コンサートホールの音響空間の指定を受け付けた場合、聴取位置から遠い位置にオブジェクトの位置を再配置することで、当該大コンサートホールの規模に相当する位置に各オブジェクトを再配置する。また、オーディオ信号処理装置は、聴取環境の変更指示として指定された聴取位置に応じて、各オブジェクトの位置を再配置する。例えば、舞台のすぐ前の位置に聴取位置が指定された場合、オブジェクトの位置を聴取位置に近い位置に再配置し、舞台から遠い位置に聴取位置が指定された場合には、オブジェクトの位置を聴取位置から遠い位置に再配置する。したがって、選択された音響空間の音場環境だけでなく、直接音に相当する音源の位置も実際の音響空間に近づけることができる。
【０００９】
また、オーディオ信号処理装置は、前記オーディオ信号に音場効果を付与するための音場効果情報を聴取位置毎に記憶する記憶手段を備え、前記制御部は、前記受付部で受け付けた聴取位置の設定に応じて前記記憶手段から前記音場効果情報を読み出し、前記音場付与部に設定することが好ましい。
【００１０】
これにより、例えば、舞台のすぐ前の位置における音場、舞台から遠い位置における音場等を再現することができる。
【００１１】
また、制御部は、前記記憶手段に記憶されている音場効果情報を複数読み出して、読み出した各音場効果情報から対応する聴取位置の音場効果情報を補間することも可能である。
【００１２】
例えば、舞台のすぐ前の位置では、直接音が大きくなり、舞台から遠い位置では間接音が大きくなる。したがって、例えばホール中央の聴取位置が選択された場合には、舞台のすぐ前の位置における測定結果に対応する音場効果情報と舞台から遠い位置に置ける測定結果に対応する音場効果情報とを平均化することで、ホール中央の聴取位置に対応する音場効果情報を補間することもできる。
【００１３】
聴取者の向いている方向を検出する方向検出部を備え、
前記制御部は、前記方向検出手段で検出した聴取者の向いている方向に応じて前記音像定位処理部の音像位置を制御する請求項１乃至請求項４のいずれかに記載のオーディオ信号処理装置。
【発明の効果】
【００１４】
この発明によれば、適切な音像位置を付与することができる。
【図面の簡単な説明】
【００１５】
【図１】聴取環境の模式図である。
【図２】第１実施形態に係るオーディオ信号処理装置のブロック図である。
【図３】ＤＳＰおよびＣＰＵの機能的構成を示したブロック図である。
【図４】第１実施形態の変形例に係るＤＳＰの機能的構成を示すブロック図である。
【図５】第２実施形態の変形例に係るＤＳＰの機能的構成を示すブロック図である。
【図６】分析部の機能的構成を示すブロック図である。
【図７】第１実施形態（または第２実施形態）の変形例１に係るオーディオ信号処理部１４の機能的構成を示すブロック図である。
【図８】第３実施形態に係る聴取環境の模式図である。
【図９】第３実施形態におけるオーディオ信号処理装置のブロック図である。
【発明を実施するための形態】
【００１６】
（第１実施形態）
図１は、第１実施形態における聴取環境の模式図であり、図２は、第１実施形態におけるオーディオ信号処理装置１のブロック図である。本実施形態では、一例として平面視して正方形状の部屋内において、中心位置が聴取位置となっている聴取環境を示す。聴取位置の周囲には、複数のスピーカ（この例では、５つのスピーカ２１Ｌ、スピーカ２１Ｒ、スピーカ２１Ｃ、スピーカ２１ＳＬ、およびスピーカ２１ＳＲ）が設置されている。スピーカ２１Ｌは、聴取位置の前方左側、スピーカ２１Ｒは、聴取位置の前方右側、スピーカ２１Ｃは、聴取位置の前方中央、スピーカ２１ＳＬは、聴取位置の後方左側、スピーカ２１ＳＲは、聴取位置の後方右側に設置されている。スピーカ２１Ｌ、スピーカ２１Ｒ、スピーカ２１Ｃ、スピーカ２１ＳＬ、およびスピーカ２１ＳＲは、それぞれオーディオ信号処理装置１に接続されている。
【００１７】
オーディオ信号処理装置１は、入力部１１、デコーダ１２、レンダラ１３、オーディオ信号処理部１４、Ｄ／Ａコンバータ１５、アンプ（ＡＭＰ）１６、ＣＰＵ１７、ＲＯＭ１８、およびＲＡＭ１９を備えている。
【００１８】
ＣＰＵ１７は、ＲＯＭ１８に記憶されている動作用プログラム（ファームウェア）をＲＡＭ１９に読み出し、オーディオ信号処理装置１を統括的に制御する。
【００１９】
入力部１１は、ＨＤＭＩ（登録商標）等のインタフェースを有する。入力部１１は、プレーヤ等からコンテンツデータを入力し、デコーダ１２に出力する。
【００２０】
デコーダ１２は、例えばＤＳＰからなり、コンテンツデータをデコードし、オーディオ信号を抽出する。なお、本実施形態においては、オーディオ信号は特に記載がない限り全てデジタルオーディオ信号として説明する。
【００２１】
デコーダ１２は、入力されたコンテンツデータがオブジェクトベース方式に対応するものである場合、オブジェクト情報を抽出する。オブジェクトベース方式は、コンテンツに含まれるオブジェクト（音源）を、独立したオーディオ信号として格納したものである。オブジェクトベース方式は、後段のレンダラ１３によって当該オブジェクトのオーディオ信号を各チャンネルのオーディオ信号に分配することで（オブジェクト単位での）音像定位を行うものである。したがって、オブジェクト情報には、各オブジェクトの位置情報、およびレベル等の情報が含まれている。
【００２２】
レンダラ１３は、例えばＤＳＰからなり、オブジェクト情報に含まれている各オブジェクトの位置情報に基づいて、音像定位処理を行う。すなわち、レンダラ１３は、各オブジェクトの位置情報に対応する位置に音像が定位するように、デコーダ１２から出力される各オブジェクトのオーディオ信号を各チャンネルのオーディオ信号に所定のゲインで分配する。このようにして、チャンネルベース方式のオーディオ信号が生成される。生成された各チャンネルのオーディオ信号は、オーディオ信号処理部１４に出力される。
【００２３】
オーディオ信号処理部１４は、例えばＤＳＰからなり、ＣＰＵ１７の設定に応じて、入力された各チャンネルのオーディオ信号に所定の音場効果を付与する処理を行う。
【００２４】
音場効果は、例えば入力されたオーディオ信号から生成される擬似反射音からなる。生成された擬似反射音は、元のオーディオ信号に加算されて出力される。
【００２５】
図３は、オーディオ信号処理部１４およびＣＰＵ１７の機能的構成を示したブロック図である。オーディオ信号処理部１４は、機能的に、加算処理部１４１、音場効果音生成部１４２、および加算処理部１４３を備えている。
【００２６】
加算処理部１４１は、各チャンネルのオーディオ信号を所定のゲインで合成して、モノラル信号にミックスダウンする。各チャンネルのゲインは、ＣＰＵ１７における制御部１７１により設定される。一般的に、音源がセリフ等の音声の場合には音場効果を抑えることが好ましいため、音楽等の成分が多く含まれることの多いフロントチャンネルやサラウンドチャンネルのゲインは高く、セリフ等の成分が多く含まれることの多いセンタチャンネルのゲインは低く設定されている。
【００２７】
音場効果音生成部１４２は、例えばＦＩＲフィルタからなり、入力されたオーディオ信号に所定のインパルス応答を示すパラメータ（フィルタ係数）を畳み込むことで、擬似反射音を生成する。また、音場効果音生成部１４２は、生成した擬似反射音を各チャンネルに分配する処理を行う。フィルタ係数および分配比率は、ＣＰＵ１７における制御部１７１により設定される。
【００２８】
ＣＰＵ１７は、機能的に、制御部１７１とオブジェクト情報取得部１７２とを備えている。制御部１７１は、ＲＯＭ１８に記憶された音場効果情報に基づいて、音場効果音生成部１４２に、上記フィルタ係数、および各チャンネルへの分配比率等を設定する。
【００２９】
音場効果情報は、ある音響空間で発生する反射音群のインパルス応答、および反射音群の音源位置を示す情報を含むものである。例えば、スピーカ２１Ｌおよびスピーカ２１ＳＬに、所定の遅延量および所定のゲイン比率（例えば１：１）でオーディオ信号を供給すると、聴取位置の左側に擬似反射音を生成することができる。音場効果情報は、例えば前方上方側の音場を演出するプレゼンス音場用の設定や、サラウンド側の音場を演出するサラウンド音場用の設定がある。選択する音場効果情報は、オーディオ信号処理装置１において１つに固定されていてもよいが、映画館やコンサートホール等、ユーザが所望する音響空間の指定を受け付けて、受け付けた音響空間に対応する音場効果情報を選択するようにしてもよい。
【００３０】
以上のようにして、音場効果音が生成され、加算処理部１４１において各チャンネルに加算される。その後、各チャンネルのオーディオ信号は、Ｄ／Ａコンバータ１５においてアナログ信号に変換され、アンプ１６で増幅された後に各スピーカに出力される。これにより、聴取位置の周囲にコンサートホール等の所定の音響空間を模した音場が形成される。
【００３１】
そして、本実施形態のオーディオ信号処理装置１は、デコーダ１２で抽出されたオブジェクト情報をオブジェクト情報取得部１７２が取得し、オブジェクト毎に最適な音場を形成する。制御部１７１は、オブジェクト情報取得部１７２が取得したオブジェクト情報に含まれている位置情報に基づいて、加算処理部１４１の各チャンネルのゲインを設定する。これにより、制御部１７１は、音場効果音生成部１４２における各チャンネルのゲインを制御する。
【００３２】
例えば、時刻ｔ＝１のときに聴取位置の前方にオブジェクトが存在し、当該オブジェクトが時刻ｔ＝２のときに聴取位置付近に移動し、時刻ｔ＝３のときに聴取位置の後方に移動すると仮定する。制御部１７１は、時刻ｔ＝１のとき、フロントチャンネルのゲインを最大に設定し、加算処理部１４１のサラウンドチャンネルのゲインを最小に設定する。制御部１７１は、時刻ｔ＝２のとき、加算処理部１４１のフロントチャンネルのゲインおよびサラウンドチャンネルのゲインを同じ程度に設定する。その後、制御部１７１は、時刻ｔ＝３のとき、加算処理部１４１のサラウンドチャンネルのゲインを最大に設定し、フロントチャンネルのゲインを最小に設定する。
【００３３】
このように、オーディオ信号処理装置１は、移動するオブジェクトに対応して加算処理部１４１の各チャンネルのゲインを動的に変化させることで、形成される音場を動的に変化させることができる。よって、聴取者は、より立体感のある音場効果を得ることができる。
【００３４】
なお、本実施形態では、説明を容易にするために５つのスピーカ２１Ｌ、スピーカ２１Ｒ、スピーカ２１Ｃ、スピーカ２１ＳＬ、およびスピーカ２１ＳＲが設置され、５チャンネルのオーディオ信号を処理する例を示したが、スピーカの数およびチャンネルの数はこの例に限るものではない。実際には立体的な音像定位および音場効果を実現するために、高さの異なる位置にさらに多数のスピーカを設置することが好ましい。
【００３５】
なお、上述の例では、取得した位置情報に基づいたゲインで各チャンネルのオーディオ信号を合成し、所定のインパルス応答を示すパラメータ（フィルタ係数）を畳み込むことで、擬似反射音を生成する処理を行ったが、各チャンネルのオーディオ信号に個別のフィルタ係数を畳み込むことで音場効果を付与する処理を行ってもよい。この場合、ＲＯＭ１８には、オブジェクトの位置に応じた複数のフィルタ係数を記憶しておき、制御部１７１は、取得した位置情報に基づいて、ＲＯＭ１８から対応するフィルタ係数を読み出して音場効果音生成部１４２に設定する。また、制御部１７１は、取得した位置情報に基づいたゲインで各チャンネルのオーディオ信号を合成し、かつ取得した位置情報に基づいてＲＯＭ１８から対応するフィルタ係数を読み出して音場効果音生成部１４２に設定する処理を行ってもよい。
【００３６】
（第２実施形態）
次に、図４は、第２実施形態に係るオーディオ信号処理装置１Ｂの構成を示すブロック図である。図２に示した第１実施形態に係るオーディオ信号処理装置１と共通する構成については同一の符号を付し、説明を省略する。また、第２実施形態に係る聴取環境は、図１に示した第１実施形態に係る聴取環境と同様である。
【００３７】
オーディオ信号処理装置１Ｂにおけるオーディオ信号処理部１４は、図３に示した機能に加えて、分析部９１の機能を備えている。実際には、分析部９１は、別のハードウェア（ＤＳＰ）として実現されるものであるが、第２実施形態では説明のため、オーディオ信号処理部１４の機能として実現されるものとする。また、分析部９１は、ＣＰＵ１７によるソフトウェアで実現することも可能である。
【００３８】
分析部９１は、各チャンネルのオーディオ信号を分析することにより、コンテンツに含まれているオブジェクト情報を抽出する。すなわち、第２実施形態のオーディオ信号処理装置１Ｂでは、ＣＰＵ１７がデコーダ１２からオブジェクト情報を取得しない（取得できない）場合に、各チャンネルのオーディオ信号を分析することでオブジェクト情報を推定するものである。
【００３９】
図５は、分析部９１の機能的構成を示すブロック図である。分析部９１は、帯域分割部９１１と計算部９１２とを備えている。帯域分割部９１１は、各チャンネルのオーディオ信号を所定の周波数帯域に分割する。この例では、低域（ＬＰＦ）、中域（ＢＰＦ）、および高域（ＨＰＦ）の３つの帯域に分割する例を示す。ただし、分割する帯域は３つに限るものではない。帯域分割された各チャンネルのオーディオ信号は、計算部９１２に入力される。
【００４０】
計算部９１２は、分割された各帯域において、チャンネル間の相互相関を算出する。算出された相互相関は、ＣＰＵ１７のオブジェクト情報取得部１７２に入力される。また、計算部９１２は、各チャンネルのオーディオ信号のレベルを検出するレベル検出部としても機能する。各チャンネルのオーディオ信号のレベル情報もオブジェクト情報取得部１７２に入力される。
【００４１】
オブジェクト情報取得部１７２は、入力された相関値および各チャンネルのオーディオ信号のレベル情報に基づいて、オブジェクトの位置を推定する。
【００４２】
例えば、図６（Ａ）に示すように、低域（Ｌｏｗ）におけるＬチャンネルとＳＬチャンネルの相関値が高く（所定の閾値を超え）、図６（Ｂ）に示すように、低域（Ｌｏｗ）におけるＬチャンネルのレベルおよびＳＬチャンネルのレベルが高い（所定の閾値を超える）場合、図６（Ｃ）に示すように、スピーカ２１Ｌおよびスピーカ２１ＳＬの間にオブジェクトが存在するものとする。
【００４３】
また、高域（Ｈｉｇｈ）においては、相関の高いチャンネルは存在しないが、中域（Ｍｉｄ）のＣチャンネルにおいて高レベルのオーディオ信号が入力されている。したがって、図６（Ｃ）に示すように、スピーカ２１Ｃの付近にもオブジェクトが存在するものとする。
【００４４】
この場合、制御部１７１は、図３における加算処理部１４１に設定するゲインについて、ＬチャンネルのゲインおよびＳＬチャンネルのゲインを同じ程度（０．５：０．５）に設定するとともに、Ｃチャンネルのゲインを最大（１）に設定する。他のチャンネルのゲインは、最小に設定される。これにより、各オブジェクトの位置に応じた最適な寄与率を設定した音場効果音が生成される。
【００４５】
ただし、Ｃチャンネルにおける高レベルの信号は、セリフ等の音声に関するものである可能性があるため、制御部１７１は、オブジェクトの種類に関する情報も参照してゲインを設定することが好ましい。オブジェクトの種類に関する情報については、後述する。
【００４６】
また、このとき、制御部１７１は、帯域毎に設定された音場効果情報をＲＯＭ１８から読み出し、帯域毎に個別のパラメータ（フィルタ係数）を音場効果音生成部１４２に設定することが好ましい。例えば低域については残響時間が短く、高域については残響時間が長くなるように設定される。
【００４７】
なお、チャンネルの数が多いほど、オブジェクトの位置は、正確に推定することができる。この例では、各スピーカが全て同じ高さに配置され、５チャンネルのオーディオ信号の相関値を算出する例を示しているが、実際には立体的な音像定位および音場効果を実現するために、高さの異なる位置にさらに多数のスピーカを設置し、さらに多数のチャンネル間の相関値を算出するため、音源の位置はほぼ一意に決定することが可能である。
【００４８】
なお、この実施形態においては、帯域毎に各チャンネルのオーディオ信号を分割して、帯域毎にオブジェクトの位置情報を取得する例を示したが、帯域毎にオブジェクトの位置情報を取得する構成は、本発明において必須の構成ではない。
【００４９】
（変形例１）
次に、図７は、第１実施形態（または第２実施形態）の変形例１に係るオーディオ信号処理部１４の機能的構成を示すブロック図である。変形例１に係るオーディオ信号処理部１４は、加算処理部１４１Ａ、第１音場効果音生成部１４２Ａ、加算処理部１４１Ｂ、第２音場効果音生成部１４２Ｂ、および加算処理部１４３を備えている。なお、加算処理部１４１Ｂおよび第２音場効果音生成部１４２Ｂは、それぞれ実際には別のハードウェア（ＤＳＰ）として構成されるが、この例では説明のため、それぞれオーディオ信号処理部１４の機能として実現されるものとする。
【００５０】
加算処理部１４１Ａは、各チャンネルのオーディオ信号を所定のゲインで合成して、モノラル信号にミックスダウンする。各チャンネルのゲインは、固定されている。例えば、上述したように、フロントチャンネルやサラウンドチャンネルのゲインは高く、センタチャンネルのゲインは低く設定されている。
【００５１】
第１音場効果音生成部１４２Ａは、入力されたオーディオ信号に所定のインパルス応答を示すパラメータ（フィルタ係数）を畳み込むことで、擬似反射音を生成する。また、第１音場効果音生成部１４２Ａは、生成した擬似反射音を各チャンネルに分配する処理を行う。フィルタ係数および分配比率は、制御部１７１により設定される。図３の例と同様に、映画館やコンサートホール等、ユーザが所望する音響空間の指定を受け付けて、受け付けた音響空間に対応する音場効果情報を選択するようにしてもよい。
【００５２】
一方、制御部１７１は、オブジェクト情報取得部１７２が取得したオブジェクト情報に含まれている位置情報に基づいて、加算処理部１４１Ｂの各チャンネルのゲインを設定する。これにより、制御部１７１は、第２音場効果音生成部１４２Ｂにおける各チャンネルのゲインを制御する。
【００５３】
第１音場効果音生成部１４２Ａで生成された音場効果音と、第２音場効果音生成部１４２Ｂで生成された音場効果音と、は、それぞれ加算処理部１４３で各チャンネルのオーディオ信号に加算される。
【００５４】
よって、変形例に係るオーディオ信号処理部１４では、従来のように各チャンネルの寄与率を固定した音場効果音を生成しながらも、各オブジェクトの位置に応じた最適な寄与率を設定した音場効果音が生成される。
【００５５】
（変形例２）
次に、第１実施形態（または第２実施形態）の変形例２に係るオーディオ信号処理装置について説明する。変形例２に係るオーディオ信号処理部１４およびＣＰＵ１７は、図３に示した構成（または図７に示した構成）と同様の機能的構成を備えている。ただし、変形例２に係るオブジェクト情報取得部１７２は、オブジェクト情報として、位置情報に加えて、オブジェクトの種類を示す情報を取得する。
【００５６】
オブジェクトの種類を示す情報は、例えばセリフ、楽器、効果音、等の音源の種類を示す情報である。オブジェクトの種類を示す情報は、コンテンツデータに含まれている場合には、デコーダ１２が抽出するが、分析部９１における計算部９１２により推定することも可能である。
【００５７】
例えば、分析部９１における帯域分割部９１１は、入力されたオーディオ信号から、第１フォルマント（２００Ｈｚ〜５００Ｈｚ）、および第２フォルマント（２ｋＨｚ〜３ｋＨｚ）の帯域を抽出する。仮に、入力信号成分にセリフに関する成分が多く含まれる場合、またはセリフに関する成分しか含まれていない場合には、これら第１フォルマントおよび第２フォルマントの成分が他の帯域よりも多く含まれる。
【００５８】
したがって、オブジェクト情報取得部１７２は、全周波数帯域の平均レベルに比べて、これら第１フォルマントまたは第２フォルマントの成分のレベルが高い場合、オブジェクトの種類がセリフであると判断する。
【００５９】
制御部１７１は、オブジェクトの種類に基づいて加算処理部１４１（または加算処理部１４１Ｂ）のゲインを設定する。例えば、図６（Ｃ）に示したように、聴取位置の左側にオブジェクトが存在し、当該オブジェクトの種類がセリフである場合に、ＬチャンネルおよびＳＬチャンネルのゲインを低く設定する。また、図６（Ｃ）に示したように、聴取位置の前方にオブジェクトが存在し、当該オブジェクトの種類がセリフである場合に、Ｃチャンネルのゲインを低く設定する。
【００６０】
（変形例３）
第２実施形態の変形例３として、オーディオ信号処理装置１Ｂは、推定したオブジェクトの位置情報を用いて、表示部（不図示）にオブジェクトの位置を表示させることができる。これにより、ユーザは、音源の移動を視覚的に把握することができる。映画等のコンテンツの場合は、既に映像として表示部に音源に対応するものが表示されている場合が多いが、表示されている映像は主観的な視野である。そこで、オーディオ信号処理装置１Ｂは、例えば自身の位置を中心とした俯瞰図としてオブジェクトの位置を表示させることもできる。
【００６１】
（第３実施形態）
次に、図８（Ａ）および図８（Ｂ）は、第３実施形態に係る聴取環境の模式図であり、図９は、第３実施形態におけるオーディオ信号処理装置１Ｃのブロック図である。第３実施形態に係るオーディオ信号処理装置１Ｃは、図２に示したオーディオ信号処理装置１と同一のハードウェア構成を備えているが、さらにユーザインタフェース（Ｉ／Ｆ）８１を備えている。
【００６２】
ユーザＩ／Ｆ８１は、ユーザの操作を受け付けるインタフェースであり、例えばオーディオ信号処理装置の筐体に設けられたスイッチ、タッチパネル、またはリモコン等からなる。ユーザは、ユーザＩ／Ｆ８１を介して、聴取環境の変更指示として、所望する音響空間を指定する。
【００６３】
ＣＰＵ１７の制御部１７１は、当該音響空間の指定を受け付けて、ＲＯＭ１８から指定された音響空間に対応する音場効果情報を読み出す。そして、制御部１７１は、当該音場効果情報に基づくフィルタ係数および各チャンネルへの分配比率等をオーディオ信号処理部１４に設定する。
【００６４】
さらに、制御部１７１は、オブジェクト情報取得部１７２で取得したオブジェクトの位置情報を、読み出した音場効果情報に対応する位置に変換し、レンダラ１３に変換後の位置情報を出力することで、オブジェクトを再配置する。
【００６５】
すなわち、制御部１７１は、例えば大コンサートホールの音響空間の指定を受け付けた場合、聴取位置から遠い位置にオブジェクトの位置を再配置することで、当該大コンサートホールの規模に相当する位置に各オブジェクトを再配置する。レンダラ１３は、制御部１７１から入力される位置情報に基づいて、音像定位処理を行う。
【００６６】
例えば、図８（Ａ）に示すように、聴取位置の前方右側にオブジェクト５１Ｒが配置され、聴取位置の前方左側にオブジェクト５１Ｌが配置されている場合において、制御部１７１は、図８（Ｂ）に示すように、大コンサートホールの音響空間の指定を受け付けた場合、聴取位置から離れた位置にオブジェクト５１Ｒおよびオブジェクト５１Ｌを再配置する。これにより、選択された音響空間の音場環境だけでなく、直接音に相当する音源の位置も実際の音響空間に近づけることができる。
【００６７】
また、制御部１７１は、オブジェクトの移動についても、選択された音響空間の規模に対応する移動量に変換する。例えば、演劇等では、演者は、動的に移動しながらセリフを発する。制御部１７１は、例えば大ホールの音響空間の指定を受け付けた場合、デコーダ１２で抽出されるオブジェクトの移動量を大きくして、演者に対応するオブジェクトの位置を再配置する。これにより、演者がその場所で演じているような臨場感を与えることができる。
【００６８】
また、ユーザＩ／Ｆ８１は、聴取環境の変更指示として、聴取位置の指定を受け付けることも可能である。ユーザは、例えば、大ホールの音響空間を選択した後、さらに、ホールの中で、舞台のすぐ前の位置、２階席（斜め上から舞台を見下ろす位置）、出口付近の舞台から遠い位置等の聴取位置を選択する。
【００６９】
制御部１７１は、指定された聴取位置に応じて、各オブジェクトを再配置する。例えば、舞台のすぐ前の位置に聴取位置が指定された場合、オブジェクトの位置を聴取位置に近い位置に再配置し、舞台から遠い位置に聴取位置が指定された場合には、オブジェクトの位置を聴取位置から遠い位置に再配置する。また、例えば、２階席の位置が聴取位置として指定された場合（斜め上から舞台を見下ろす位置）、聴取者から見て斜め位置にオブジェクトの位置を再配置する。
【００７０】
また、聴取位置の指定を受け付ける場合、各位置における実際の音場（間接音の到来タイミングおよび方向）を測定し、音場効果情報としてＲＯＭ１８に格納しておくことが好ましい。制御部１７１は、指定された聴取位置に対応する音場効果情報をＲＯＭ１８から読み出す。これにより、舞台のすぐ前の位置における音場、舞台から遠い位置における音場等を再現することができる。
【００７１】
なお、音場効果情報は、実際の音響空間における全ての位置で測定する必要はない。例えば、舞台のすぐ前の位置では、直接音が大きくなり、舞台から遠い位置では間接音が大きくなる。したがって、例えばホール中央の聴取位置が選択された場合には、舞台のすぐ前の位置における測定結果に対応する音場効果情報と舞台から遠い位置に置ける測定結果に対応する音場効果情報とを平均化することで、ホール中央の聴取位置に対応する音場効果情報を補間することもできる。
【００７２】
（応用例）
応用例に係るオーディオ信号処理装置１Ｂは、ユーザが装着する端末に設けられたジャイロセンサ等を用いて、ユーザの向いている方向に関する情報を取得する。制御部１７１は、ユーザの向いている方向に応じて各オブジェクトを再配置する。
【００７３】
例えば、制御部１７１は、聴取者が右側を向いている場合、聴取者から見て左側の位置にオブジェクトの位置を再配置する。
【００７４】
また、応用例に係るオーディオ信号処理装置１ＢのＲＯＭ１８は、方向毎の音場効果情報を記憶している。制御部１７１は、聴取者の向いている方向に応じてＲＯＭ１８から音場効果情報を読み出し、オーディオ信号処理部１４に設定する。これにより、ユーザは、あたかもその場所に居るような実在感を得ることができる。
【符号の説明】
【００７５】
１，１Ｂ，１Ｃ…オーディオ信号処理装置
１１…入力部
１２…デコーダ
１３…レンダラ
１４…オーディオ信号処理部
１５…Ｄ／Ａコンバータ
１７…ＣＰＵ
１８…ＲＯＭ
１９…ＲＡＭ
２１Ｃ，２１Ｌ，２１Ｒ，２１ＳＬ，２１ＳＲ…スピーカ
５１Ｌ，５１Ｒ…オブジェクト
９１…分析部
１４１，１４１Ａ，１４１Ｂ…加算処理部
１４２…音場効果音生成部
１４２Ａ…第１音場効果音生成部
１４２Ｂ…第２音場効果音生成部
１４３…加算処理部
１７１…制御部
１７２…オブジェクト情報取得部
９１１…帯域分割部
９１２…相関計算部
【図１】
0006550756.tif 000002
【図２】
0006550756.tif 000003
【図３】
0006550756.tif 000004
【図４】
0006550756.tif 000005
【図５】
0006550756.tif 000006
【図６】
0006550756.tif 000007
【図７】
0006550756.tif 000008
【図８】
0006550756.tif 000009
【図９】
0006550756.tif 000010