(57)【要約】【課題】制作時とは異なる音源配置でのマルチチャンネル音響信号に基づく音響再生において、再生音の空間的印象を再現する。【解決手段】仮想空間設定部は、再生空間の所定の基準点と２つの目標点の中点を結ぶ直線上に、仮想空間における所定の中心点から音源配置の目標とする２つの目標点間の開き角がマルチチャンネル音響信号の制作時における所定の開き角に等しくなる前記中心点の位置と再生空間に対する仮想空間の大きさの割合を定める。音源方向決定部は、所定の再生空間に、前記中心点から前記制作時の各チャンネルの音源方向に各チャンネル位置を射影した位置を仮想音源の位置として前記基準点からの方向を仮想音源方向に定める。音響信号変換部は、前記仮想音源方向と前記再生空間に配置される再生音源の前記基準点からの再生音源方向に基づいて前記マルチチャンネル音響信号を前記再生音源への音響信号に変換する。【選択図】図１
2017212731.tif 000002
【特許請求の範囲】
【請求項１】
再生空間の所定の基準点と２つの目標点の中点を結ぶ直線上に、仮想空間における所定の中心点から前記目標点間の開き角がマルチチャンネル音響信号の制作時における所定の開き角に等しくなる前記中心点の位置と再生空間に対する仮想空間の大きさの割合を定める仮想空間設定部と、
前記再生空間に、前記仮想空間における前記制作時の各チャンネル位置を前記中心点から前記制作時の各チャンネルの音源方向に射影した位置を仮想音源の位置として前記基準点からの方向を仮想音源方向に定める音源方向決定部と、
前記仮想音源方向と前記再生空間に配置される再生音源の前記基準点からの再生音源方向に基づいて前記マルチチャンネル音響信号を前記再生音源への音響信号に変換する音響信号変換部と、
を備える音響処理装置。
【請求項２】
前記音響信号変換部は、
前記仮想音源方向と前記再生音源の前記基準点からの再生音源方向との角度が所定の角度の閾値以下であるとき、前記仮想音源方向に係るチャンネルの音響信号を前記再生音源方向の再生音源に出力する
ことを特徴とする請求項１に記載の音響処理装置。
【請求項３】
前記音響信号変換部は、
音響信号が分配されない再生音源が存在するとき、前記再生音源方向から所定範囲内の仮想音源方向に係るチャンネルの音響信号の少なくとも一部を前記少なくとも１つの再生音源に出力する
ことを特徴とする請求項１または請求項２に記載の音響処理装置。
【請求項４】
前記音源方向決定部は、前記制作時のチャンネル毎の音源または再生環境における再生音源が３次元空間に分布するとき、前記仮想空間として半径が一定である面を用いる
ことを特徴とする請求項１から請求項３のいずれか一項に記載の音響処理装置。
【請求項５】
前記音源方向決定部は、前記制作時のチャンネル毎の音源または再生環境における再生音源が３次元空間に分布するとき、前記仮想空間として水平方向の半径が一定である面を用いる
ことを特徴とする請求項１から請求項３のいずれか一項に記載の音響処理装置。
【請求項６】
前記音源方向決定部は、前記制作時のチャンネル毎の音源または再生環境における再生音源が３次元空間に分布するとき、前記仮想空間として立方体の面を用いる
ことを特徴とする請求項１から請求項３のいずれか一項に記載の音響処理装置。
【請求項７】
前記音源方向決定部は、
前記制作時のチャンネル毎の音源方向が３次元空間に分布するとき、当該音源方向の水平面内の方位角と水平面からの仰角もしくは高さとを独立に処理する
ことを特徴とする請求項１から請求項６のいずれか一項に記載の音響処理装置。
【請求項８】
音響処理装置における音響処理方法であって、
再生空間の所定の基準点と２つの目標点の中点を結ぶ直線上に、仮想空間における所定の中心点からの前記目標点間の開き角がマルチチャンネル音響信号の制作時における所定の開き角に等しくなる前記中心点の位置と再生空間に対する仮想空間の大きさの割合を定める仮想空間設定過程と、
前記再生空間に、前記仮想空間における前記制作時の各チャンネル位置を前記中心点から前記制作時の各チャンネルの音源方向に射影した位置を仮想音源の位置として前記基準点からの方向を仮想音源方向に定める音源方向決定過程と、
前記仮想音源方向と前記再生空間に配置される再生音源の前記基準点からの再生音源方向に基づいて前記マルチチャンネル音響信号を前記再生音源への音響信号に変換する音響信号変換過程と、
を有する音響処理方法。
【請求項９】
コンピュータに、
再生空間の所定の基準点と２つの目標点の中点を結ぶ直線上に、仮想空間における所定の中心点からの前記目標点間の開き角がマルチチャンネル音響信号の制作時における所定の開き角に等しくなる前記中心点の位置と再生空間に対する仮想空間の大きさの割合を定める仮想空間設定部と、
前記再生空間に、前記仮想空間における前記制作時の各チャンネル位置を前記中心点から前記制作時の各チャンネルの音源方向に射影した位置を仮想音源の位置として前記基準点からの方向を仮想音源方向に定める音源方向決定部と、
前記仮想音源方向と前記再生空間に配置される再生音源の前記基準点からの再生音源方向に基づいて前記マルチチャンネル音響信号を前記再生音源への音響信号に変換する音響信号変換部と、
を備える音響処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響処理装置、音響処理方法およびプログラムに関する。
【背景技術】
【０００２】
複数の音声チャンネルの番組音声を、制作時におけるチャンネル数よりも少ないチャンネル数に変換（ダウンミックス）することがある。その際、制作時における各音声チャンネルの音響信号にそれぞれダウンミックス係数を乗じて得られる音響信号を加算して、再生時における各音声チャンネルの音響信号を生成する。ダウンミックス係数として、所定の音響システムの標準規格（例えば、勧告ＩＴＵ−Ｒ  ＢＳ．７７５等）で規定されているものと、番組ごとに音響信号に付加したメタデータに基づいて指定されるものがある（例えば、ＡＲＩＢ  ＳＴＤ−Ｂ３２）。
【０００３】
また、映画用音響システムにはオブジェクトベース音響方式が採用されることがある。オブジェクトベース音響方式では、再生装置が音声コンテンツを構成する音響素材について各劇場の再生環境に応じて再生用の音響信号を生成する処理（レンダリング）を行う。ダウンミックス係数やレンダリングにおける各種パラメータの算出方法には、チャンネル数の変換前後の各チャンネルに係る音源方向（角度）に基づいて算出する方法、目標方向の近傍のチャンネルの音源に均等に分配する方法などがある。
【０００４】
例えば、非特許文献２には、式（１）に示す関係を用いて５．１ｃｈサラウンドの音響信号からステレオ２ｃｈの音響信号へのダウンミックス処理について記載されている。
【０００５】
【数１】
2017212731.tif 000003
【０００６】
式（１）において、Ｌｔ、Ｒｔは、ステレオ２ｃｈのうち、それぞれ左チャンネル、右チャンネルの音響信号を示す。Ｌ、Ｒ、Ｃ、ＬＦＥ、Ｌｓ、Ｒｓは、５．１ｃｈサラウンドのうち、それぞれ前方左チャンネル、前方右チャンネル、前方中央チャンネル、低域効果音チャンネル、サラウンド左チャンネル、サラウンド右チャンネルそれぞれの音響信号を示す。従って、式（１）の第１項の２行６列の行列の各要素がダウンミックス係数に相当する。ｋは、サラウンド左チャンネルＬｓ、サラウンド右チャンネルＲｓのレベルを規定する係数を示す。ｋは、例えば、１／√２、１／２、０である。メタデータが音響信号に付随して伝送されない場合、テレビジョン受信機では、ｋとして１／√２が用いられる。
【０００７】
また、昨今では４Ｋ／８Ｋ放送などの超高精細度テレビジョン放送において、２２．２マルチチャンネル音響などのマルチチャンネル音響システムが導入されている。また、番組制作時において薄型高精細度のディスプレイ等、使用されるディスプレイの画面サイズが大きくなる傾向にある。そのため、映像位置と音像位置とが連動する番組が制作されることがある。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ，Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  ＩＴＵ−Ｒ  ＢＳ．７７５−３，“Ｍｕｌｔｉｃｈａｎｎｅｌ  ｓｔｅｒｅｏｓｐｈｏｎｉｃ  ｓｏｕｎｄ  ｓｙｓｔｅｍ  ｗｉｔｈ  ａｎｄ  ｗｉｔｈｏｕｔ  ａｃｃｏｍｐａｎｙｉｎｇ  ｐｉｃｔｕｒｅ”，（０８／２０１２）
【非特許文献２】一般財団法人  電波産業会，ＡＲＩＢ  ＳＴＤ−Ｂ３２  ３．６版，「デジタル放送における映像符号化、音声符号化及び多重化方式」，平成２８年３月２５日
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、超高精細映像を視聴する際の視聴距離は、０．７５Ｈから３Ｈ程度である。Ｈは、画面の高さを示す。これらの視聴距離を視野角に換算すると、１００度から３０度程度となる。この視野角の最大値および最小値は、それぞれステレオ２ｃｈや５．１サラウンドなどの所定の前方チャンネルの開き角６０度と大きく異なる。他方、放送番組を家庭で視聴する場合における音声の再生環境は、番組制作時とは異なりうる。再生環境の要素として、画面サイズ、音源（スピーカ）数およびそれらの位置が含まれる。番組制作時と画面サイズが大きく異なると、番組視聴時において番組制作時と同じ音響空間を再現すると、映像と音像とのミスマッチが生じる。このミスマッチは、視聴者に対し違和感を与えることがある。また、テレビジョン受信装置には、前方のスピーカ、つまり左チャンネル、中央チャンネルおよび右チャンネルがディスプレイと一体に構成されていることがある。その場合には、前方のチャンネルで再生される音の位置が画面に連動すると、後方などのその他のチャンネルで再生される音とのつながりが悪くなることがある。
【００１０】
本発明は上記の点に鑑みてなされたものであり、制作時とは異なる音源配置でのマルチチャンネル音響信号に基づく音響再生において、再生音の空間的印象を再現することができる音響処理装置、音響処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は上記の課題を解決するためになされたものであり、［１］本発明の一態様は、再生空間の所定の基準点（聴取位置）と音源配置の目標とする２つの目標点の中点を結ぶ直線上に、仮想空間における所定の中心点からの前記２つの目標点の開き角がマルチチャンネル音響信号の制作時における所定の開き角に等しくなる前記中心点の位置と再生空間に対する仮想空間の大きさの割合を定める仮想空間設定部と、前記再生空間に、前記仮想空間における前記制作時の各チャンネルの位置を前記中心点から前記制作時の各チャンネルの方向に射影した位置を仮想音源の位置として前記基準点からの方向を仮想音源方向に定める音源方向決定部と、前記仮想音源方向と前記再生空間に配置される再生音源の前記基準点からの音源方向（再生音源方向）に基づいて前記マルチチャンネル音響信号を前記再生音源への音響信号に変換する音響信号変換部と、を備える音響処理装置である。
［１］の構成によれば、再生環境における音源配置が制作時の音源配置と異なっていても、再生環境において目標点を基準に全てのチャンネル位置を連動して再配置することができる。そのため、個々の音のつながりを保持した制作者が意図した空間的印象が再現される。
【００１２】
［２］本発明の一態様は、上述の音響処理装置であって、前記音響信号変換部は、前記基準点からの前記仮想音源方向と前記再生音源方向とがなす角度が所定の閾値以下であるとき、前記仮想音源方向に係るチャンネルの音響信号を前記再生音源から出力することを特徴とする。
［２］の構成によれば、前記仮想音源方向に位置するチャンネルの音響信号がその近傍に位置する前記再生音源を用いて再生される。受聴者に対して、仮想音源方向に近接した再生音源の方向に、複数の再生音源を用いる場合よりも再生される音を確実に知覚させることができる。
【００１３】
［３］本発明の一態様は、上述の音響処理装置であって、前記音響信号変換部は、音響信号が分配されない再生音源が存在するとき、前記再生音源から所定範囲内の仮想音源方向に係るチャンネルの音響信号の少なくとも一部を前記再生音源に出力することを特徴とする。
［３］の構成によれば、複数の仮想音源方向間の間隔が大きい場合において、その間に位置する再生音源からそれぞれの仮想音源方向に係る音が再生される。大きく離れた仮想音源の間にも音が知覚されるために、制作者が意図した方向に音が知覚されない現象が回避される。
【００１４】
［４］本発明の一態様は、上述の音響処理装置であって、前記音源方向決定部は、前記再生音源が３次元空間に分布するとき、前記仮想空間として半径が一定である面を用いることを特徴とする。
［４］の構成によれば、制作時の各チャンネルの音源配置に基づいて仮想音源方向が球面上に設定される。そのため、制作時のマルチチャンネル音響信号の各チャンネルの音源方向が方位角と仰角で表されている場合、仮想空間への音源のマッピングが容易である。また、仮想空間として球面が用いられることで３次元空間内のあらゆる音源方向に配置された音源に適用される。
【００１５】
［５］本発明の一態様は、上述の音響処理装置であって、前記再生音源が３次元空間に分布するとき、前記仮想空間として水平方向の半径が一定である面を用いることを特徴とする。
［５］の構成によれば、制作時の各チャンネルの音源配置に基づいて仮想音源方向が円柱面上に配置される。そのため、制作時のマルチチャンネル音響信号の各チャンネルの音源方向が方位角と高さで表されている場合、仮想空間への音源のマッピングが容易である。また、仮想空間として円柱面が用いられることで、高さがそれぞれ異なる音源について、マッピング処理を行わないため、マッピング処理を容易に行うことができる。
【００１６】
［６］本発明の一態様は、上述の音響処理装置であって、前記音源方向決定部は、前記再生音源が３次元空間に分布するとき、前記仮想空間として立方体の面を用いることを特徴とする。
［６］の構成によれば、制作時の各チャンネルの音源配置に基づいて仮想音源方向が立方体の面上に配置される。そのため、制作時のマルチチャンネル音響信号の各チャンネルの音源方向が直交座標系で表されている場合、仮想空間への音源のマッピングが容易である。また、仮想空間として立方体の面が用いられることで、制作時および再生環境における音源配置の設定が容易になる。
【００１７】
［７］本発明の一態様は、上述の音響処理装置であって、前記音源方向決定部は、前記制作時のチャンネル毎の音源方向が３次元空間に分布するとき、当該音源方向の水平面内の方位角と水平面からの仰角もしくは高さとを独立に処理する。
［７］の構成によれば、制作時の各チャンネルから変換される仮想音源方向として方位角の成分と仰角もしくは高さの成分とが独立に得られる。そのため、方位角の成分と仰角もしくは高さの成分とで、変換の要否または変換の度合いが調整可能になる。
【００１８】
［８］本発明の一態様は、音響処理装置における音響処理方法であって、再生空間の所定の基準点と音源配置の目標とする２つの目標点の中点を結ぶ直線上に、仮想空間における所定の中心点からの２つの目標点の開き角がマルチチャンネル音響信号の制作時における所定の開き角に等しくなる前記中心点の位置と再生空間に対する仮想空間の大きさの割合を定める仮想空間設定過程と、前記再生空間に、前記仮想空間における前記制作時の各チャンネルの位置を前記中心点から前記制作時の各チャンネルの方向に射影した位置を仮想音源の位置として前記基準点からの方向を仮想音源方向として定める音源方向決定過程と、前記仮想音源方向と前記再生空間に配置される再生音源の前記基準点からの音源方向（再生音源方向）に基づいて前記マルチチャンネル音響信号を前記再生音源への音響信号に変換する音響信号変換過程と、を有する音響処理方法である。
［８］の構成によれば、再生環境における音源配置が制作時の音源配置と異なっていても、再生環境において目標点を基準に全てのチャンネル位置を連動して再配置することができる。そのため、個々の音のつながりを保持した制作者が意図した空間的印象が再現される。
【００１９】
［９］本発明の一態様は、コンピュータに、再生空間の所定の基準点（聴取位置）と音源配置の目標とする２つの目標点の中点を結ぶ直線上に、仮想空間における所定の中心点からの前記２つの目標点の開き角がマルチチャンネル音響信号の制作時における所定の開き角に等しくなる前記中心点の位置と再生空間に対する仮想空間の大きさの割合を定める仮想空間設定部と、前記再生空間に、前記仮想空間における前記制作時の各チャンネルの位置を前記中心点から前記制作時の各チャンネルの方向に射影した位置を仮想音源の位置として前記基準点からの方向を仮想音源方向として定める音源方向決定部と、前記仮想音源方向と前記再生空間に配置される再生音源の前記基準点からの音源方向（再生音源方向）に基づいて前記マルチチャンネル音響信号を前記再生音源への音響信号に変換する音響信号変換部と、を備える音響処理装置として機能させるためのプログラムである。
［９］の構成によれば、再生環境における音源配置が制作時の音源配置と異なっていても、再生環境において目標点を基準に全てのチャンネル位置を連動して再配置することができる。そのため、個々の音のつながりを保持した制作者が意図した空間的印象が再現される。
【発明の効果】
【００２０】
本発明によれば、制作時とは異なる音源配置でのマルチチャンネル音響信号に基づく音響再生において、制作時の空間的印象をなるべく保持したまま、音のつながりがよい再生音で再生することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係る音響処理装置の構成を示す概略ブロック図である。
【図２】本発明の実施形態に係る仮想空間サイズ算出処理の一例を示す説明図である。
【図３】本発明の実施形態に係る仮想音響空間マッピング処理の説明図である。
【図４】本発明の実施形態に係る音響処理の一例を示すフローチャートである。
【図５】本発明の実施形態に係る仮想空間サイズ算出処理の各例を示す説明図である。
【図６】本発明の実施形態に係る仮想音源方向の一算出例を示す図である。
【図７】本発明の実施形態に係る仮想音源方向の一算出例を示す図である。
【図８】本発明の実施形態に係る仮想音源方向の一算出例を示す図である。
【図９】本発明の実施形態に係る仮想音源方向の一算出例を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る音響処理装置１の構成例を示すブロック図である。
音響処理装置１は、再生環境を構成する画面サイズ、再生音源の数ならびに配置に応じて、入力される音響信号を変換する。音響処理装置１は、各種の放送受信機、パッケージメディアの再生装置などに組み込まれてもよい。放送受信機は、例えば、テレビジョン受信機である。再生装置は、例えば、ホームシアターセットである。音響信号の変換に際して、音響信号のチャンネル数が制作時のＮ個から再生時のＭ個に変換される。Ｎ、Ｍは、それぞれ２以上の整数である。但し、ＭとＮが互いに等しくてもよいし、ＭとＮが異なっていてもよい。通例、Ｍは、Ｎよりも少ない。また、音響信号の制作時における音源配置は、再生時における音源配置とは異なる。以下の説明では、主に変換前後でチャンネル数が変更され、制作時の音源配置と再生時の音源配置とが異なる場合を例にする。
【００２３】
音響処理装置１は、データ入力部１１、仮想空間サイズ算出部１２、仮想音響空間マッピング部１３および音響信号変換部１４を含んで構成される。
データ入力部１１には、変換前のマルチチャンネル音響信号１１０、マルチチャンネル音源配置情報１１１および視野角情報１１２が入力される。マルチチャンネル音響信号１１０は、Ｎチャンネルの音響信号から構成される。マルチチャンネル音源配置情報１１１は、マルチチャンネル音響信号１１０の制作時に用いられた各チャンネルの音源配置、つまり各チャンネルの音源の所定の基準点からの方向を示す情報である。マルチチャンネル音源配置情報１１１には、各チャンネルの音源方向の他、距離の情報が含まれてもよいし、その方向または位置は、いかなる座標系で表されてもよい。視野角情報１１２は、マルチチャンネル音響信号１１０の制作時における指標となる聴取位置からの所定の開き角に関する情報である。所定の開き角として、制作時において聴取位置からの画像表示部（図示せず）の画面の左右両端、もしくは前方の主要な左右のスピーカのなす角である開き角が用いられ、画像として表示されるオブジェクトの表示位置の方向に音が知覚されるようにマルチチャンネル音響信号１１０が制作されることがある。オブジェクトは、例えば、人物、動物、その他、音を生じることが期待される被写体の像である。以下の説明では、この開き角を視野角と呼ぶ。
【００２４】
マルチチャンネル音源配置情報１１１が示す各チャンネルの音源位置は、後述するようにチャンネル数、聴取位置、画面の位置、大きさに応じて定められている。例えば、画面、各チャンネルの音源方向、聴取位置の配置として、非特許文献１に記載の配置が用いられることがある。視聴距離は、聴取位置と画面中心との距離に相当する。この聴取位置が仮想空間上の中心点、再生空間上の基準点に相当する。ここで、画面中心が音源分布の基準となる設定点とする。この設定点は、視野角を等分する方向、つまり２つの目標点の中点の方向に設定される。以下の説明では、基準点から設定点の方向、設定点から基準の方向を、それぞれ前方、後方と呼ぶ。また、基準点と設定点の線分から左回りの方向、右回りの方向を、それぞれ左方、右方と呼ぶ。設定点もしくはその位置を画面中央と呼ぶ。制作時に用いられる音源の個数は、Ｎ個であり、音響処理装置１に入力されるマルチチャンネル音響信号１１０のチャンネル数に相当する。
データ入力部１１は、マルチチャンネル音響信号１１０、マルチチャンネル音源配置情報１１１および視野角情報１１２を、それぞれ音響信号変換部１４、仮想音響空間マッピング部１３および仮想空間サイズ算出部１２に出力する。
【００２５】
仮想空間サイズ算出部１２には、データ入力部１１から制作時における視野角情報１１２が入力され、視野角情報１１２とは別個に再生環境における視野角情報１２０が予め設定されている。仮想空間サイズ算出部１２は、視野角情報１１２、１２０に基づいて仮想空間を設定する。仮想空間サイズ算出部１２は、再生空間における２つの目標点の中点もしくは設定点と基準点とを結ぶ直線上に、仮想空間の中心点からの再生空間に配置された２つの目標点の開き角がマルチチャンネル音響信号の制作時の所定の開き角と一致するように、仮想空間の中心点の位置およびサラウンド半径を定める。仮想空間サイズ算出部１２は、定めた中心点の位置を示す仮想空間情報を仮想音響空間マッピング部１３に出力する。このサラウンド半径が仮想空間サイズに相当する。
【００２６】
視野角情報１２０は、再生環境における画像表示部の画面の視野角に関する情報である。再生環境における各チャンネルの音源位置は、後述するように、チャンネル数、再生空間のサイズ（サラウンド半径）もしくは基準点と画面との距離、画面の大きさに応じて定められている。視野角情報１１２、１２０は、聴取位置からの視野角に限られず、画面のサイズ、アスペクト比および視聴距離など、聴取位置からの開き角を導出することができる情報であればよい。なお、映像を伴わない場合には画像表示部に代えて、主たる音声チャンネルの音源方向間の角度（見開き角）が以下に説明する処理において視野角に代えて用いられてもよい。主たる音声チャンネルは、例えば、ステレオ２ｃｈでは左チャンネル、右チャンネルであり、５．１ｃｈサラウンドでは前方左チャンネル、前方右チャンネルである。また、主たる音声チャンネルは、２２．２ｃｈサラウンドでは中層の前方左チャンネル、前方右チャンネルである。
【００２７】
仮想音響空間マッピング部１３には、データ入力部１１からマルチチャンネル音源配置情報１１１が入力され、仮想空間サイズ算出部１２から仮想空間情報が入力される。また、仮想音響空間マッピング部１３には、再生スピーカ配置情報１３０が予め設定されている。
再生スピーカ配置情報１３０は、再生環境における各チャンネルの再生スピーカの位置を示す情報である。再生スピーカの個数はＭ個であり、音響処理装置１から出力されるマルチチャンネル音響信号１４０のチャンネル数と等しい。再生スピーカは、所定の基準点（聴取位置）からの所定の半径の再生空間上にそれぞれ異なる方向に配置される。再生スピーカ配置情報１３０は、例えば、チャンネル毎の再生スピーカの聴取位置からの方向を示す。仮想音響空間マッピング部１３は、その再生空間に仮想空間の中心点から制作時の各チャンネルの音源方向と同一の方向に各チャンネルの音源を射影した位置を仮想音源位置として定める。仮想音響空間マッピング部１３は、チャンネル毎に定めた仮想音源位置の前記基準点からの方向を仮想音源方向として定める。仮想音響空間マッピング部１３は、制作時のチャンネル毎の仮想音源方向と再生スピーカの方向に基づいて変換情報を生成し、生成した変換情報を音響信号変換部１４に出力する。
【００２８】
音響信号変換部１４は、仮想音響空間マッピング部１３から入力された変換情報を用いて、データ入力部１１から入力されたマルチチャンネル音響信号１１０をマルチチャンネル音響信号１４０に変換する。具体的には、音響信号変換部１４は、マルチチャンネル音響信号１１０を構成する各チャンネルの音響信号を各列に要素として含む入力ベクトルに、変換情報に基づく変換マトリックスを乗算して出力ベクトルを算出する。音響信号変換部１４は、出力ベクトルの各列からマルチチャンネル音響信号１４０を構成する各チャンネルの音響信号を抽出する。音響信号変換部１４は、変換により得られたマルチチャンネル音響信号１４０を構成する各チャンネルの音響信号を、当該チャンネルに対応する再生スピーカに出力する。
【００２９】
（仮想空間サイズ算出処理の例）
次に、本実施形態に係る仮想空間サイズ算出処理の一例について説明する。図２は、本実施形態に係る仮想空間サイズ算出処理の一例の説明図である。
仮想空間サイズ算出部１２は、視野角情報１１２に基づいて制作時の画像表示部の画面サイズ２１１と、聴取位置２１２と、サラウンド半径２１３を取得する。図２（Ａ）には、視聴距離をサラウンド半径２１３とするサラウンドサークル２１０が示されている。仮想空間サイズ算出部１２は、視野角情報１２０に基づいて再生環境における画像表示部の画面サイズ２２１と、聴取位置２２２と、サラウンド半径２２３を取得する。図２（Ｂ）には、視聴距離をサラウンド半径２２３とするサラウンドサークル２２０が示されている。サラウンドサークル２２０は、再生環境において再生スピーカが配置される再生空間の一例である。聴取位置は、再生環境における基準点である。図２に示す例では、音源配置の目標とする２つの目標点を再生環境における画面サイズ２２１の両端とする。
【００３０】
次に、仮想空間サイズ算出部１２は、画面の中心を固定した状態で、制作時の聴取位置２１２と画面２１１の両端がなす角である所定の開き角と、仮想空間の中心位置２３２と再生環境の画面２２１の両端である目標点がなす角とが一致するように、サラウンド半径２１３をサラウンド半径２３３まで変化させる。図２（Ｃ）には、サラウンド半径２３３を半径として有するサラウンドサークル２３０が示されている。サラウンドサークル２３０は、制作時の音響空間を再生空間に対応させるための仮想空間の一例である。中心位置２３２は、サラウンドサークル２３０の中心位置である。ここで、中心位置２３２と画面２２１の両端がなす角と、中心位置２１２と画面２１１の両端がなす角とが一致し、この画面２２１の領域が仮想空間上の画面２３１の領域に相当する。仮想空間サイズ算出部１２は、再生環境のサラウンドサークルの中心位置である聴取位置２２２、そのサラウンド半径２２３、仮想空間のサラウンドサークルの中心位置２３２およびそのサラウンド半径２３３を示す仮想空間情報を仮想音響空間マッピング部１３に出力する。
【００３１】
（仮想音響空間マッピング処理）
次に、本実施形態に係る仮想音響空間マッピング処理の一例について説明する。図３は、本実施形態に係る仮想音響空間マッピング処理の説明図である。
仮想音響空間マッピング部１３は、中心位置３１１からの方向が、マルチチャンネル音源配置情報が示す各チャンネルの音源方向と同一の方向にある仮想空間のサラウンドサークル３１０上の位置をチャンネル位置３１２として定める。サラウンドサークル３１０、中心位置３１１は、上述のサラウンドサークル２３０、中心位置２３２に相当する。仮想音響空間マッピング部１３は、中心位置３１１から各チャンネルのチャンネル位置３１２を通過する直線と再生環境のサラウンドサークル３２０の交点を再生環境における仮想音源位置３２２として定める。サラウンドサークル３２０は、上述のサラウンドサークル２２０に相当する。仮想音源位置３２２は、聴取位置３２１からの所定の半径となる再生空間に、中心位置３１１から制作時のチャンネル毎の音源方向と同一の方向に射影される位置に相当する。
【００３２】
サラウンドサークル３３０上には、予め複数の再生音源（スピーカ）が配置されている。また、以下の説明では、再生音源を実音源と呼ぶこともある。図３に示す再生音源位置３３２は、複数の再生音源のうち聴取位置３３１、つまりサラウンドサークル３３０の中心点から左後方に配置された再生音源の位置である。サラウンドサークル３３０、聴取位置３３１は、上述のサラウンドサークル３２０、聴取位置３２１に相当する。ここで、仮想音響空間マッピング部１３は、再生環境における仮想音源位置の方向と各チャンネルの再生音源の方向との関係に基づいて、制作時の各チャンネルのマルチチャンネル音響信号１１０を各再生音源に分配するための分配係数を算出する。以下の説明では、仮想音源位置３２２の方向、各チャンネルの再生音源の方向を、それぞれ仮想チャンネル方向、実音源（スピーカ）方向と呼ぶことがある。音響信号変換部１４は、制作時の各チャンネルを各列に、再生環境における各チャンネルを各行に、算出した分配係数を配置して変換マトリックスを構成する。
【００３３】
音響信号変換部１４は、分配係数を算出する際、仮想音源方向を挟む複数の実音源方向の各チャンネルへの分配係数を算出する手法であれば、例えば、Ｔａｎ則、Ｓｉｎ則、ＶＢＡＰ法など、いずれの手法を用いてもよい。また、仮想音源方向からの角度が、所定の角度の閾値以下となる方向に実音源が存在する場合がある。その場合、音響信号変換部１４は、その仮想音源方向に係るチャンネルからその実音源に係るチャンネルへの分配係数を１とし、その他のチャンネルへの分配係数を０としてもよい。その場合には、実音源は、仮想音源方向に係るチャンネルに基づく音をそのまま再生するので、受聴者は、その再生音源の方向に確実に音の方向を知覚することができる。また、仮想音源方向を挟む各実音源方向への角度の差が、所定の差の閾値よりも少ない場合には、音響信号変換部１４は、その仮想音源方向に係るチャンネルから各実音源方向に対応するチャンネルの分配係数を互いに等しくしてもよい。その場合には、各実音源から再生される音の音圧レベルが等しくなる。
【００３４】
また、音響信号変換部１４が構成する変換マトリックスにおいて、出力チャンネルの行の分配係数が０となることがある。このことは、そのチャンネルに音響信号が分配されないことを意味する。そこで、音響信号変換部１４は、そのチャンネルの音源方向から所定の範囲内の仮想音源方向に係る音響信号について、そのチャンネルへの分配係数を０よりも有意に大きい値に定める。これにより、音響信号変換部１４は、そのチャンネルの実音源に、その仮想音源方向に係る音響信号を出力する。そのため、受聴者は仮想音源方向に近接した実音源の方向に再生される音を確実に知覚することができる。
【００３５】
（音響処理）
次に、本実施形態に係る音響処理について説明する。図４は、本実施形態に係る音響処理の一例を示すフローチャートである。
（ステップＳ１０１）仮想空間サイズ算出部１２は、データ入力部１１から入力される制作時の視野角情報１１２が示す視野角と予め設定された再生環境における視野角情報１２０が示す視野角の差異に基づいて仮想空間サイズとして仮想サラウンド半径を算出する。その後、ステップＳ１０２の処理に進む。
（ステップＳ１０２）仮想音響空間マッピング部１３は、仮想サラウンドサークル上のデータ入力部１１から入力されるマルチチャンネル音源配置情報１１１が示すチャンネル毎の音源方向の位置を仮想音源位置として設定する。その後、ステップＳ１０３の処理に進む。
【００３６】
（ステップＳ１０３）音響信号変換部１４は、聴取位置からの仮想音源位置の方向である仮想音源方向と、予め設定された再生スピーカ配置情報が示す各チャンネルの再生スピーカの方向に基づいて分配係数を要素として有する変換マトリックスを算出する。その後、ステップＳ１０４の処理に進む。
（ステップＳ１０４）音響信号変換部１４は、データ入力部１１から入力されるマルチチャンネル音響信号１１０に変換マトリックスを作用して再生信号としてマルチチャンネル音響信号１４０に変換する。音響信号変換部１４は、変換により得られたマルチチャンネル音響信号１４０を構成する各チャンネルの音響信号をそれぞれ対応する再生スピーカに出力する。その後、図４に示す処理を終了する。
【００３７】
（仮想空間サイズ算出処理の変形例）
上述した仮想空間サイズ算出処理では、仮想空間サイズ算出部１２は、図５（Ｃ）に示すように番組制作時の画面中心を固定した状態で、制作時の画面５０１ａのサイズが再生環境の画面５０２ａのサイズと一致するようにサラウンド半径５０３を算出する。以下の説明では、この例を例１と呼ぶ。例１では、画面５０１ａのサイズの指標として、中心位置５０１ｂからの画面中心までの距離に対する画面の水平方向の幅の比が用いられ、再生環境の画面５０２ａのサイズの指標として、中心位置５０２ｂからの画面中心までの距離に対する画面の水平方向の幅の比が用いられる（図５（Ａ）、（Ｂ））。なお、図５（Ｃ）−（Ｇ）に示す太い矢印は、音源配置の目標となる２つの目標点のうち左方の目標点を示す。図５（Ｃ）に示す太い矢印は、左方の目標点として画面５０２ａの左端が用いられることを示す。
【００３８】
仮想空間サイズ算出部１２は、例２−例５に示すようにサラウンド半径を算出してもよい。例２では、仮想空間サイズ算出部１２は、再生環境における中心位置５０２ｂと画面の左右両端それぞれの間との線分とサラウンドサークル５０２ｃとの交点５０４、５０５を２つの目標点に定める（図５（Ｂ））。そして、仮想空間サイズ算出部１２は、図５（Ａ）に示す中心位置５０１ｂからの視野角と中心位置５０１ｂからの目標点５０４、５０５のなす角とが一致するように、中心位置５０１ｂから画面中心までの距離をサラウンド半径５０３として算出する（図５（Ｄ））。図５（Ｄ）に示す太い矢印は、左方の目標点として交点５０４が用いられることを示す。
【００３９】
例１、例２では、画面中心がサラウンドサークル５０１ｃ、５０２ｃそれぞれの１点で接している場合を例にしたが、例３−例５に示すように、画面の左右両端がサラウンドサークル５０１ｃ、５０２ｃ上に設置されていてもよい。例３では、仮想空間サイズ算出部１２は、サラウンドサークル５０２ｃ上の画面５０２ａの交点５０６と交点５０７を目標点とし、中心点５０１ｂと目標点とのなす角と、中心点５０１ｂと画面５０１ａの左右両端のなす角とが一致するように中心点５０１ｂを算出する。つまり、サラウンドサークル５０１ｃ上の画面５０１aの左右両端とサラウンドサークル５０２ｃ上の画面５０２ａの左右両端が、それぞれ交点５０６、５０７において交わるサラウンドサークル５０１ｃを求める（図５（Ｅ））。仮想空間サイズ算出部１２は、サラウンドサークル５０１ｃの半径として、中心位置５０１ｂから交点５０６または交点５０７までの距離を算出する。図５（Ｅ）に示す太い矢印は、左方の目標点として交点５０６が用いられることを示す。
【００４０】
例４では、仮想空間サイズ算出部１２は、図５（Ａ）に示すサラウンドサークル５０１ｃと基準位置５０２ｂと画面５０２ａの左右両端とを結ぶ直線とが交差する点５０９と点５１０を目標点とし、中心位置５０１ｂと目標点５０９、５１０のなす角が中心位置５０１ｂからの画面５０１ａの視野角と一致するサラウンドサークル５０１ｃを求める（図５（Ｆ））。この条件では、中心位置５０２ｂから画面５０２ａの左端、右端それぞれとの間の線分とサラウンドサークル５０１ｃが交点５０９、５１０において画面５０１ａの左端、右端と交わる。仮想空間サイズ算出部１２は、図５（Ｆ）における中心位置５０１ｂから目標点である画面５０１ａの左右両端までの距離をサラウンド半径として算出する。図５（Ｆ）に示す太い矢印は、左方の目標点として交点５０９が用いられることを示す。
【００４１】
例５では、仮想空間サイズ算出部１２は、図５（Ａ）に示す中心位置５０１ｂからの画面５０１ａの視野角と、図５（Ｇ）に示す中心位置５０１ｂからの画面５０２ａの視野角とが等しく、かつ、サラウンドサークル５０１ｃとサラウンドサークル５０２ｃとが、それぞれの画面５０１ａと画面５０２ａの左右両端で区分される弧の中点５１１で接するサラウンドサークル５０１ｃを求める（図５（Ｇ））。この例では、図５（Ｇ）に示す画面５０２ａの左端、右端である点５１２、５１３を目標点として、中心位置５０１ｂと点５１２、５１３がなす角の角度が、図５（Ａ）に示す中心位置５０１ｂからの画面５０１ａの視野角に相当する。仮想空間サイズ算出部１２は、図５（Ｇ）における中心位置５０１ｂから画面５０１ａの両端までの距離をサラウンド半径として算出する。図５（Ｇ）に示す太い矢印は、左方の目標点として点５１２が用いられることを示す。
【００４２】
例２、例３、例５では、再生環境における基準点５０２ｂからの画面５０２ａの視野角と、基準点５０２ｂからサラウンドサークル５０２ｃ上にある各目標点のなす角が等しいことを条件としている。他方、マルチチャンネル音響信号のスタジオ規格である勧告ＩＴＵ−Ｒ  ＢＳ．７７５、勧告ＩＴＵ−Ｒ  ＢＳ．２０５１、ＡＲＩＢ  ＳＴＤ−Ｂ５９などでは、画面の両端に配置するスピーカ位置を所定の聴取位置を中心とするサラウンドサークル上に設定することを規定している。そのため、例２、例３、例５によれば、例１、例４よりも、これらの規格に基づいて制作された音響信号に基づく再生音の空間的印象が、制作時に制作者がその音響信号に基づく再生音について知覚された音の空間的印象に近くなる。
【００４３】
以下、例１−例５のそれぞれについて、仮想音響空間マッピング部１３により与えられる変換前の制作時における各チャンネルの音源方向から変換後の再生環境における仮想音源方向を与えるチャンネル位置座標変換の変換式と、変換前後の音源方向の典型例を示す。
例１によれば、変換後の仮想音源方向θは、式（２）に示す変換式を用いて与えられる。
【００４４】
【数２】
2017212731.tif 000004
【００４５】
式（２）において、θｔは、あるチャンネルの変換前、即ち制作時における音源方向を示す。θ、θｔは、それぞれ正面方向を基準とする左回りの水平面内の方位角である（図６（Ｃ））。θ０は、制作時における画面の左右両端のそれぞれに配置された音源の音源方向、即ち制作時における所定の開き角の１／２の角度を示す（図６（Ａ））。θｒは、再生環境における画面の左右両端のそれぞれに配置された音源の音源方向、即ち目標点の方向を示す（図６（Ｂ））。但し、θ０、θｒは、正面方向を基準とする方位角の絶対値である。制作時、再生環境における画面の視野角は、それぞれ２θ０、２θｒに相当する。ｒ０は、再生環境におけるサラウンドサークルの半径、即ち視聴距離を示す。ｒｔは、仮想空間におけるサラウンドサークルの半径を示す（図６（Ｃ））。式（２）の右式は、中心位置５０１ｂからの画面５０２ａ(目標点)の視野角が、中心位置５０１ｂからの画面５０１ａの視野角(制作時の所定の視野角)と等しいとの条件に基づき、仮想空間におけるサラウンドサークルの半径ｒｔが再生環境におけるサラウンドサークルの半径ｒ０と角度比で与えられることを示す。式（２）の左式は、仮想空間におけるサラウンドサークルの中心、即ち中心点からの制作時の音源方向θｔを、再生環境におけるサラウンドサークルの中心、即ち基準点からの仮想音源方向θに変換できることを示す（図６（Ｃ））。
【００４６】
図６（Ｄ）は、式（２）に示す変換式を用いて算出される変換後の音源方向を示す表である。図６（Ｄ）の各列は、制作時における各チャンネルの音源方向を示し、各行は変換条件を示す。第１行は、画面サイズを一定にして視聴距離を制作時における０．７５Ｈから３．０Ｈに変更する場合、第２行は、画面サイズを一定にして視聴距離を０．７５Ｈから１．５Ｈに変更する場合をそれぞれ示す。Ｈは、画面の垂直方向の高さを示す。アスペクト比は１６：９であるので、視聴距離１．５Ｈにおける視野角は約６０度、左側の音源方向が約３０度となる。第３行は、視聴距離を一定にして視野角を１２０度から６０度に変更する場合、第４行は、視聴距離を一定にして視野角を９０度から６０度に変更する場合を示す。
【００４７】
次に、例２、例５による変換後の仮想音源方向θについて説明する。例２では視聴距離がサラウンドサークルの半径と一致し、例５では視聴距離がサラウンドサークルに余弦成分を乗じたものになる違いがあるが、２つの目標点が再生環境のサラウンドサークル上の同じ位置にあるため、例２、例５のいずれも変換後の仮想音源方向θは、式（３）に示す変換式を用いて与えられる。
【００４８】
【数３】
2017212731.tif 000005
【００４９】
式（３）の右式は、半径ｒ０から制作時の画面の左右いずれか一端の方向の余弦成分の差分と、その方向の正弦成分に再生環境における画面の左右いずれか一端の方向の余接成分を乗じて得られる値との和が仮想空間におけるサラウンドサークルの半径ｒｔであることを示す（図７（Ａ）−（Ｃ））。なお、式（３）の左式は、式（２）の左式と同様である。
【００５０】
図７（Ｄ）は、式（３）に示す変換式を用いて算出される変換後の音源方向を示す表である。図７（Ｄ）の各行、各列の項目は、図６（Ｄ）の各行、各列の項目と同様である。
この変換式では、目標点が再生環境のサラウンドサークル上にあるため、視野角を１２０度から６０度に変換する場合に、変換前の画面両端の角度である６０度が３０度に変換される。
【００５１】
次に、例３による変換後の仮想音源方向θについて説明する。例３について変換後の仮想音源方向θは、式（４）に示す変換式を用いて与えられる。
【００５２】
【数４】
2017212731.tif 000006
【００５３】
式（４）の右式は、サラウンドサークルの半径ｒｔの制作時の画面の左右いずれか一端に相当する正弦成分が、再生環境におけるサラウンドサークルの半径ｒ０の画面のその方向の端に相当する正弦成分に等しいことに基づく。式（４）の左式は、仮想空間におけるサラウンドサークルの中心からの制作時の音源方向θｔを、再生環境におけるサラウンドサークルの中心からの仮想音源方向θに変換できることを示す（図８（Ｃ））。
式（４）は、式（３）と一見して表現が異なるが、実質的に式（３）と等価である。従って、図８（Ｄ）に示す仮想音源方向は、図７（Ｄ）に示す仮想音源方向と同様である。表現の違いは、仮想空間のサラウンドサークルと再生空間のサラウンドサークルとが弧の１点で接するのではなく、目標点の２点で交差することに起因して、式（４）の右式に示すサラウンドサークルの半径ｒｔの定義が、式（３）の右式に示す定義とは異なることによる。
【００５４】
次に、例４による変換後の仮想音源方向θについて説明する。例４による変換後の仮想音源方向θは、式（５）に示す変換式を用いて与えられる。
【００５５】
【数５】
2017212731.tif 000007
【００５６】
式（５）の右式は、再生環境における画面の水平方向の両端を仮想空間におけるサラウンドサークル上に投射した点を目標点とし、前記目標点が仮想空間における画面の水平方向の両端に相当することに基づく（図９（Ｃ））。仮想空間における画面の水平方向の幅は、サラウンドサークルの半径ｒｔの制作時の画面中心から左右いずれか一端の方向の正接成分で与えられる（図９（Ｄ））。なお、式（５）の左式は、式（２）、（３）の左式と同様である（図９（Ａ）−（Ｃ））。
【００５７】
図９（Ｄ）は、式（５）に示す変換式を用いて算出される変換後の音源方向を示す表である。図９（Ｄ）の各行、各列の項目は、図６（Ｄ）、図７（Ｄ）、図８（Ｄ）の各行、各列の項目と同様である。但し、図９（Ｄ）に示す例では、全体的に仮想音源方向の角度が小さくなる度合いが図８（Ｄ）に示す例よりもさらに少ない。
上記の説明では、視野角１２０度を視野角６０度に変換した場合に、変換後の仮想音源方向として１０．５３度（図６（Ｄ））、１３．２２度（図７（Ｄ）、図８（Ｄ））、１５．５２度（図９（Ｄ））など正確な数値を算出している場合を例示したが、これには限られない。実装に当たっては、音響信号変換部１４は、変換後の仮想音源方向として、１１度、１３度、１６度の１度単位、１０度、１５度、１５度の５度単位など、きりのよい数字に近似した数値を用いてもよい。また、音響信号変換部１４は、変換後の仮想音源方向に合わせてチャンネル毎の音源の再生信号レベルを決める場合においても、１ｄＢ単位で近似するなど、簡略化した再生信号レベルを用いてもよい。
【００５８】
（その他の変形例）
上記の説明では、マルチチャンネル音源配置情報１１１が示す制作時における音源配置ならびに再生スピーカ配置情報１３０が示す再生環境における音源配置として主に１つの２次元の水平面内に各チャンネルのスピーカが配置される場合を例にした。また、上記の説明では、視野角情報１１２、１２０が水平方向の視野角である場合を例にした。しかし、音源配置ならびに視野角はこれには限られない。３次元空間内に各チャンネルのスピーカが分布する音源配置が適用されてもよいし、さらに垂直方向の視野角が適用されてもよい。
【００５９】
例えば、音源配置として２２．２ｃｈサラウンドのように、中層の他、上層、下層に各チャンネルのスピーカが分布する再生方式に適用されてもよい。上層、下層は、中層とは高さが異なる水平面である。但し、上層や下層に配置されるスピーカの個数は、中層よりも少ないことがある。その場合、仮想空間サイズ算出部１２、仮想音響空間マッピング部１３は、水平面内の方位角の方向について上記の処理を行い、水平面からの仰角または高さの方向には実行しなくてもよい。
【００６０】
そこで、仮想空間サイズ算出部１２、仮想音響空間マッピング部１３は、仮想空間および再生環境において再生スピーカが配置される再生空間として、２次元平面内の円であるサラウンドサークルに代えて、３次元の立体空間の面を用いる。立体空間の面として、例えば、所定の基準点として聴取位置を中心とする球面、円柱面、立方体面のいずれが用いられてもよい。球面は、聴取位置からの半径が一定である面である。球面は、制作時および再生環境における各チャンネルの音源の配置が方位角と仰角で表されている場合にそのまま適用される。そのため、仮想空間への音源のマッピングが容易になる。また、球面が用いられることで３次元空間内のあらゆる音源方向に配置された音源にも適用される。円柱面は、聴取位置からの水平面内の半径が仰角または高さにかかわらず一定である面である。円柱面は、制作時および再生環境における各チャンネルの音源の配置が方位角と高さで表されている場合にそのまま適用される。そのため、仮想空間への音源のマッピングが容易になる。円柱面が用いられることで、高さがそれぞれ異なる音源について、高さごとの独立な処理が容易になる。例えば、互いに共通の高さの音源または所定の高さの範囲の音源同士で仮想音源方向が算出されてもよい。立方体面は、一つの面が画面と平行であって聴取位置を中心とする立方体の面である。立方体面は、制作時および再生環境における各チャンネルの音源の配置が直交座標系で表されている場合にそのまま適用される。そのため、仮想空間への音源のマッピングが容易になる。また、立方体面が用いられることで、制作者または受聴者による制作時および再生環境における音源配置の設定が容易になる。
【００６１】
また、上述した実施形態において、視野角情報１２０と再生スピーカ配置情報１３０のいずれか一方または両方は、データ入力部１１を介して入力されてもよい。また、マルチチャンネル音源配置情報１１１、視野角情報１１２、視野角情報１２０および再生スピーカ配置情報１３０のいずれか、または任意の組み合わせは、ユーザの操作に応じて生じる操作信号としてデータ入力部１１に入力されてもよい。これらの情報が、ユーザの操作により任意に設定可能となる。例えば、操作信号により指示される視野角情報１１２、１２０が用いられることで、再生される音の前方の音響空間の広がりがユーザの所望の範囲に制御される。また、操作信号により指示される再生スピーカ配置情報１３０が用いられることで、実際の再生環境に応じた再生スピーカの配置が指示され、再生される音について制作者が意図した空間的印象をより忠実に再現することができる。
【００６２】
また、仮想音響空間マッピング部１３は、マルチチャンネル音響信号１１０のうち音源方向が所定の範囲に含まれる一部のチャンネルにのみ変換マトリックスを生成してもよい。一部のチャンネルは、例えば、音源が前方のチャンネル、音源が中層に配置されている中層のチャンネル、などである。音響信号変換部１４は、その一部のチャンネルについて変換マトリックスを用いて変換後の音響信号を生成する。音響信号変換部１４は、残りのチャンネルの音響信号を変換後の音響信号として採用する。また、変換マトリックスの生成に係るチャンネルとして、５．１ｃｈサラウンドの低域効果音（ＬＦＥ：Ｌｏｗ  Ｆｒｅｑｕｅｎｃｙ  Ｃｈａｎｎｅｌ）のように音像定位に寄与しないチャンネルは、変換後の音響信号として採用されなくてもよい。
【００６３】
また、仮想音響空間マッピング部１３には、所定の範囲が複数個あり、それぞれの範囲に音源方向が含まれるチャンネルのグループが複数個設定されてもよい。その場合には、仮想音響空間マッピング部１３は、複数のグループのそれぞれについて変換マトリックスを生成する。音響信号変換部１４は、各グループのチャンネルについて変換マトリックスを用いて変換後の音響信号を生成する。
【００６４】
なお、仮想音響空間マッピング部１３が算出した仮想音源方向と所定の聴取位置からの再生スピーカの方向との角度が所定の角度の閾値以下である場合がある。その場合、音響信号変換部１４は、その仮想音源方向に係るチャンネルの音響信号を、その再生スピーカのチャンネルとして定め、その音響信号を定めたチャンネルの再生スピーカに出力してもよい。角度の閾値は、例えば、３〜１０度である。これにより、再生スピーカを用いてそのチャンネルの音響信号に基づく音が再生され、受聴者に対して仮想音源方向に近接したその再生スピーカの方向に再生される音を確実に知覚させることができる。複数の再生スピーカを用いて音を再生する際、合成音像が知覚されずに各々の再生スピーカからの音が知覚されることが回避される。
【００６５】
また、仮想音響空間マッピング部１３が構成する変換マトリックスによっては、音響信号が分配されない再生スピーカのチャンネルが存在する場合がある。この現象は、仮想音源方向間の角度が再生スピーカ間の角度よりも十分に大きいときに生じ、聴取位置の後方に現われる傾向がある。その場合には、音響信号変換部１４は、その再生スピーカから所定の範囲内の仮想音源方向に係るチャンネルの音響信号の全部または一部を、そのチャンネルの再生スピーカに出力してもよい。所定の範囲は、例えば、１０〜２０度である。これにより、現実の再生スピーカを用いてその音響信号に基づく音が再生されるので、受聴者は仮想音源方向に近接したその再生スピーカの方向に再生される音を確実に知覚することができる。従って、複数の仮想音源方向間の間隔が大きい場合において、それぞれの仮想音源方向に係る再生スピーカにそれぞれ音が知覚されるために、制作者が意図した方向に音像が知覚されない現象が回避される。
【００６６】
以上に説明したように、本実施形態に係る音響処理装置１は、再生空間の所定の基準点と２つの目標点の中点を結ぶ直線上に、仮想空間における所定の中心点からの音源配置の目標とする２つの目標点の開き角がマルチチャンネル音響信号の制作時における所定の開き角に等しくなる中心点の位置と再生空間に対する仮想空間の大きさの割合を定める仮想空間設定部として仮想空間サイズ算出部１２を備える。音響処理装置１は、仮想空間の中心点から制作時の各チャンネルの音源方向に各チャンネル位置を再生空間に射影した位置を仮想音源の位置として前記基準点からみた仮想音源の位置を仮想音源方向に定める音源方向決定部として仮想音響空間マッピング部１３を備える。また、音響処理装置１は、仮想音源方向と再生空間に配置される再生音源の基準点からの音源方向に基づいてマルチチャンネル音響信号を再生音源への音響信号に変換する音響信号変換部１４を備える。
【００６７】
この構成によれば、再生環境における音源配置が制作時の音源配置と異なっていても、再生環境において制作時における各チャンネルの音源方向に受聴者に知覚させる音を再生することができる。そのため、個々のオブジェクトの方向情報を用いずに制作者が意図した空間的印象が再現される。例えば、画面に表示されるそのオブジェクトの方向に連動する音を示すマルチチャンネル音響信号に基づく音が再生されるとき、受聴者はそのオブジェクトの方向に音を知覚することができる。
【００６８】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【００６９】
例えば、上述した音響処理装置１の一部、例えば、仮想空間サイズ算出部１２、仮想音響空間マッピング部１３および音響信号変換部１４をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、音響処理装置１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における音響処理装置１の一部、または全部をＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。音響処理装置１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【符号の説明】
【００７０】
１…音響処理装置、１１…データ入力部、１２…仮想空間サイズ算出部、１３…仮想音響空間マッピング部、１４…音響信号変換部
【図１】
2017212731.tif 000008
【図２】
2017212731.tif 000009
【図３】
2017212731.tif 000010
【図４】
2017212731.tif 000011
【図５】
2017212731.tif 000012
【図６】
2017212731.tif 000013
【図７】
2017212731.tif 000014
【図８】
2017212731.tif 000015
【図９】
2017212731.tif 000016