(57)【要約】【課題】複数のスピーカと各スピーカにオーディオ信号を供給するオーディオアンプとを含むオーディオシステムにおける仮想音源等の特定、または仮想音源等の所望の位置への移動を直観的で判りやすい操作により実現する。【解決手段】端末装置１０を所定の位置に向けた際（Ｓ３５）の、Ｚ軸に直交するＹ軸の方向を基準としたＺ軸回りの回転角度と、端末装置１０の軸であって、端末装置１０から所定の位置へ向かう方向の軸と直交し、かつ、Ｚ軸と直交する軸の回りの傾斜角度とを端末装置１０のセンサーにより検出し、回転角度と傾斜角度を角度情報として出力する。端末装置１０は、角度情報に基づいて算出される位置情報（Ｓ３７）と、対象位置情報記憶部に記憶された制御対象の位置情報との比較を行い、互いの位置情報のずれが所定範囲内である場合には（Ｓ３９）、前記制御対象が特定されたと判断する（Ｓ３９）。【選択図】図６
2016100688.tif 000002
【特許請求の範囲】
【請求項１】
端末装置を所定の方向に向けた際の、鉛直軸に直交する軸を基準とした前記鉛直軸回りの回転角度と、前記鉛直軸と直交する軸の回りの傾斜角度とを検出し、前記回転角度と前記傾斜角度を角度情報として出力する角度情報出力部と、
複数の制御対象の位置情報を記憶する対象位置情報記憶部と、
前記角度情報出力部から出力される前記角度情報に基づいて算出される位置情報と、前記対象位置情報記憶部に記憶された複数の制御対象の位置情報との比較を行い、制御対象の特定を行う制御対象特定部と、
を備えることを特徴とする端末装置。
【請求項２】
前記制御対象特定部による前記制御対象の特定が行われた後に、前記端末装置を所望の位置に向けた際に、前記角度情報出力部から出力される前記角度情報に基づいて算出される位置情報を前記制御対象の新たな位置情報として前記対象位置情報記憶部の記憶内容を更新する位置情報更新部を備える、
ことを特徴とする請求項１に記載の端末装置。
【請求項３】
前記制御対象特定部による前記制御対象の特定が行われた後に、前記端末装置を所望の位置に向けた際に、前記角度情報出力部から出力される前記角度情報に基づいて算出される位置情報を前記制御対象の新たな位置情報として、前記制御対象に対応するオーディオ信号を出力する外部のオーディオ信号処理装置に送信する送信部を備える、
ことを特徴とする請求項１に記載の端末装置。
【請求項４】
前記端末装置と目標位置との距離の調整を指示する距離調整指示部を備え、
前記位置情報として、前記距離調整指示部からの指示に基づいて増減させた距離と、前記角度情報出力部から出力される前記角度情報とに基づいて算出される位置情報を用いる、
ことを特徴とする請求項１ないし請求項３のいずれか１項に記載の端末装置。
【請求項５】
前記制御対象特定部により前記制御対象の特定を行う際に、前記算出される位置情報と前記対象位置情報記憶部に記憶された複数の制御対象の位置情報との比較を行い、互いの位置情報のずれが所定範囲内である場合に報知する報知部を備える、
ことを特徴とする請求項１ないし請求項４のいずれか１項に記載の端末装置。
【請求項６】
端末装置と、位置情報に基づいて入力信号に所定の処理を施すとともに、複数のスピーカのそれぞれに対応したチャンネルの信号を出力するオーディオ信号処理装置とを有するオーディオ信号処理システムであって、
端末装置を所定の方向に向けた際の、鉛直軸に直交する軸を基準とした前記鉛直軸回りの回転角度と、前記鉛直軸と直交する軸の回りの傾斜角度とを検出し、前記回転角度と前記傾斜角度を角度情報として出力する角度情報出力部と、
複数の制御対象の位置情報を記憶する少なくとも一つの対象位置情報記憶部と、
前記角度情報出力部から出力される前記角度情報に基づいて算出される位置情報と、前記対象位置情報記憶部に記憶された複数の制御対象の位置情報との比較を行い、制御対象の特定を行う制御対象特定部と、
を備えることを特徴とするオーディオ信号処理システム。
【請求項７】
前記制御対象特定部により特定された前記制御対象を強調して再生させる再生制御部を備える、
ことを特徴とする請求項６に記載のオーディオ信号処理システム。
【請求項８】
前記端末装置と目標位置との距離の調整を指示する距離調整指示部を備え、
前記位置情報として、前記距離調整指示部からの指示に基づいて増減させた距離と、前記角度情報出力部から出力される前記角度情報とに基づいて算出される位置情報を用い、
前記位置情報と前記目標位置との差が近いほど前記制御対象を強調して再生させる再生制御部を備える、
ことを特徴とする請求項６または請求項７に記載のオーディオ信号処理システム。
【請求項９】
プロセッサを備えた端末装置のプログラムであって、
前記プロセッサを、
端末装置を所定の位置に向けた際の、鉛直軸に直交する軸を基準とした前記鉛直軸回りの回転角度と、前記鉛直軸と直交する軸の回りの傾斜角度とを検出し、前記回転角度と前記傾斜角度を角度情報として出力する角度情報出力部、
制御対象の位置情報を記憶する対象位置情報記憶部、
前記端末装置を前記所定の位置に向けた際に前記角度情報出力部から出力される前記角度情報に基づいて算出される位置情報と、前記対象位置情報記憶部に記憶された前記制御対象の位置情報との比較を行い、前記制御対象の特定を行う制御対象特定部、
として機能させることを特徴とする端末装置のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数のスピーカを用いて臨場感の高い音を再生する技術に関し、特に仮想音源等の特定と位置の設定を支援する技術に関する。
【背景技術】
【０００２】
この種の技術の一例としては、２個のスピーカから同じ音量、同じ位相の音を出力することでそれらスピーカの間の位置にあたかも仮想スピーカがあるかのような聴感を聴者に与える（すなわち、それらスピーカの間の位置に音像を定位させる）技術が挙げられる。また、音量変化や周波数変化などによる音響効果の付与により、音像が移動しているかのような聴感（仮想音源が移動しているかのような聴感）を聴者に与えることも一般に行われている。従来、この種の技術は、映画館やテーマパークなどに設置されるオーディオシステムなどの比較的大規模なシステムで採用されることが多かったが、近年ではホームシアターシステムなどの家庭用のオーディオシステムにも採用されるようになってきている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−０６５４５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、これら複数のスピーカを用いて臨場感の高い音の再生を可能とするオーディオシステムにおいて、仮想スピーカや仮想音源の位置を直観的で判り易い操作によりユーザに特定させる技術、および、特定した仮想スピーカや仮想音源を直観的で判り易い操作により所望の位置に移動させる技術は従来提案されていなかった。また、
【０００５】
本発明は上記課題に鑑みて為されたものであり、複数のスピーカを有するオーディオシステム、または、複数チャネルの音響信号を出力可能な装置における仮想音源等の特定、あるいは、仮想音源等の所望の位置への移動を直観的で判りやすい操作により実現する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために本発明の端末装置は、端末装置を所定の位置に向けた際の、鉛直軸に直交する軸を基準とした前記鉛直軸回りの回転角度と、前記鉛直軸と直交する軸の回りの傾斜角度とを検出し、前記回転角度と前記傾斜角度を角度情報として出力する角度情報出力部と、複数の制御対象の位置情報を記憶する対象位置情報記憶部と、前記角度情報出力部から出力される前記角度情報に基づいて算出される位置情報と、前記対象位置情報記憶部に記憶された前記複数の制御対象の位置情報との比較を行い、制御対象の特定を行う制御対象特定部と、を備えることを特徴とする。
【０００７】
本発明の端末装置によれば、端末装置を所定の位置に向けると、角度情報出力部により、鉛直軸に直交する軸を基準とした前記鉛直軸回りの回転角度と、前記鉛直軸と直交する軸の回りの傾斜角度とが、角度情報として出力される。制御対象特定部は、角度情報に基づいて位置情報を算出し、算出された位置情報と、対象位置情報記憶部に記憶された複数の制御対象の位置情報との比較を行い、制御対象の特定を行う。したがって、ユーザは、特定したい音が聞こえる方向に端末装置を向けるという直観的で判りやすい操作をすることにより、制御対象の特定を行うことが可能となる。なお、本発明において、「制御対象」とは、スピーカ、仮想スピーカ、仮想音源等を含む概念である。
【０００８】
より好ましい態様としては、前記制御対象特定部による前記制御対象の特定が行われた後に、前記端末装置を所望の位置に向けた際に、前記角度情報出力部から出力される前記角度情報に基づいて算出される位置情報を前記制御対象の新たな位置情報として前記対象位置情報記憶部の記憶内容を更新する位置情報更新部を備えるようにすればよい。この場合には、特定した制御対象を設置したい位置に端末装置を向けるという直観的で判りやすい操作をすることにより、その位置の位置情報が算出され、特定した制御対象の新たな位置情報として対象位置情報記憶部の記憶内容が更新される。したがって、直観的で判りやすい操作により、特定した制御対象を所望の設置位置に移動することができる。
【０００９】
さらに好ましい態様としては、前記制御対象特定部による前記制御対象の特定が行われた後に、前記端末装置を所望の位置に向けた際に、前記角度情報出力部から出力される前記角度情報に基づいて算出される位置情報を前記制御対象の新たな位置情報として、前記制御対象に対応するオーディオ信号を出力する外部のオーディオ信号処理装置に送信する送信部を備えるようにすればよい。この場合には、特定した制御対象を設置したい位置に端末装置を向けるという直観的で判りやすい操作をすることにより、その位置の位置情報が算出され、特定した制御対象の新たな位置情報として、制御対象に対応するオーディオ信号を出力する外部のオーディオ信号処理装置に送信される。したがって、直観的で判りやすい操作により、制御対象に対応するオーディオ信号を聞きながら、特定した制御対象を所望の設置位置に移動することができる。
【００１０】
さらに好ましい態様としては、前記端末装置と目標位置との距離の調整を指示する距離調整指示部を備え、前記位置情報として、前記距離調整指示部からの指示に基づいて増減させた距離と、前記角度情報出力部から出力される前記角度情報とに基づいて算出される位置情報を用いるようにしてもよい。この場合には、ユーザが距離調整指示部を操作することにより端末装置と目標位置との距離の調整が指示されると、指示に基づいて増減させた距離と、角度情報出力部から出力される角度情報とに基づいて位置情報を算出が算出される。したがって、端末装置から遠い位置にある制御対象であっても、また、端末装置から近い位置にある制御対象であっても、直観的で判りやすい操作により、的確に制御対象の位置を調整することができる。
【００１１】
さらに好ましい態様としては、前記制御対象特定部により前記制御対象の特定を行う際に、前記算出される位置情報と前記対象位置情報記憶部に記憶された複数の制御対象の位置情報との比較を行い、互いの位置情報のずれが所定範囲内である場合に報知する報知部を備えてもよい。この場合には、報知部により、制御対象が特定されたことが報知されるので、ユーザは制御対象が特定されたこと直観的に理解することができる。なお、本発明において「報知」とは、表示部における制御対象の表示、端末装置の振動、端末装置からの発音等を含む概念である。
【００１２】
上記課題を解決するために本発明のオーディオ信号処理システムは、端末装置と、位置情報に基づいて入力信号に所定の処理を施すとともに、複数のスピーカのそれぞれに対応したチャンネルの信号を出力するオーディオ信号処理装置とを有するオーディオ信号処理システムであって、前記端末装置は、端末装置を所定の位置に向けた際の、鉛直軸に直交する軸を基準とした前記鉛直軸回りの回転角度と、前記鉛直軸と直交する軸の回りの傾斜角度とを検出し、前記回転角度と前記傾斜角度を角度情報として出力する角度情報出力部と、複数の制御対象の位置情報を記憶する少なくとも一つの対象位置情報記憶部と、前記角度情報出力部から出力される前記角度情報に基づいて算出される位置情報と、前記対象位置情報記憶部に記憶された複数の制御対象の位置情報との比較を行い、制御対象の特定を行う制御対象特定部とを備える、ことを特徴とする。
【００１３】
本発明のオーディオ信号処理システムによれば、したがって、ユーザは、特定したい音が聞こえる方向に端末装置を向けるという直観的で判りやすい操作をすることにより、制御対象の特定を行うことが可能となる。なお、本発明において、「制御対象」とは、スピーカ、仮想スピーカ、仮想音源等を含む概念である。
【００１４】
より好ましい態様によれば、前記制御対象特定部により特定された前記制御対象を強調して再生させる再生制御部を備えるようにしてもよい。この場合には、制御対象が特定できたことを直観的に知ることができる。
さらに好ましい態様によれば、前記端末装置と目標位置との距離の調整を指示する距離調整指示部を備え、前記位置情報として、前記距離調整指示部からの指示に基づいて増減させた距離と、前記角度情報出力部から出力される前記角度情報とに基づいて算出される位置情報を用い、前記位置情報と前記目標位置との差が近いほど前記制御対象を強調して再生させる再生制御部を備えるようにしてもよい。この場合には、距離の調整を直観的に行うことができる。
本発明は、端末装置のみならず、プロセッサを備えた端末装置のプログラムとしても概念することができる。上記プログラムは記録媒体に格納されても良い。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１実施形態のオーディオ信号処理システムの構成例を示す図である。
【図２】オーディオ信号処理システムにおけるスピーカ配置の一例を示す図である。
【図３】オーディオ信号処理システムに含まれるオーディオ信号処理装置の構成例を示すブロック図である。
【図４】オーディオ信号処理システムに含まれる端末装置の構成例を示すブロック図である。
【図５】端末装置から出力される角度情報を説明するための図である。
【図６】端末装置における全体的な処理を示すフローチャートである。
【図７】端末装置における対象音源の特定処理を示すフローチャートである。
【図８】端末装置における仮想音源の位置指定処理を示すフローチャートである。
【図９】端末装置のリセット処理時における表示例を示す図である。
【図１０】端末装置のリセット方向について説明するための図である。
【図１１】第１実施形態で用いられる３次元座標空間を説明するための図である。
【図１２】スピーカ管理テーブルを示す図である。
【図１３】仮想音源管理テーブルを示す図である。
【図１４】対象音源の特定処理の開始時における端末装置の表示例を示す図である。
【図１５】第１実施形態における対象音源の特定処理の際の座標算出処理を説明するための図である。
【図１６】第１実施形態における対象音源の特定処理の際の座標算出処理を説明するための図である。
【図１７】第１実施形態における対象音源の特定処理の際の座標算出例を説明するための図である。
【図１８】第１実施形態における対象音源の特定処理の際の座標算出例を説明するための図である。
【図１９】対象音源が特定された際の端末装置の表示例を示す図である。
【図２０】仮想音源の設定位置指定処理の開始時における端末装置の表示例を示す図である。
【図２１】第１実施形態における対象音源の位置指定処理の際の座標算出例を説明するための図である。
【図２２】第１実施形態における対象音源の位置指定処理の際の座標算出例を説明するための図である。
【図２３】第１実施形態における対象音源の位置指定処理の際の座標算出例を説明するための図である。
【図２４】第１実施形態における対象音源の位置指定処理の際の座標算出例を説明するための図である。
【図２５】更新後の仮想音源管理テーブルを示す図である。
【図２６】第２実施形態における端末装置の全体的な処理を示すフローチャートである。
【図２７】第２実施形態における端末装置の対象音源の特定処理を示すフローチャートである。
【図２８】第２実施形態における端末装置の仮想音源の位置指定処理を示すフローチャートである。
【図２９】距離を調整する際の端末装置の表示例を示す図である。
【図３０】距離を調整する際の端末装置の表示例を示す図である。
【図３１】距離の調整により特定可能および位置指定可能な音源を説明するための図である。
【図３２】第３実施形態で用いられる３次元座標空間を説明するための図である。
【図３３】第３実施形態における座標算出処理を説明するための図である。
【図３４】第３実施形態で用いられる３次元座標空間を説明するための図である。
【図３５】第３実施形態で用いられる３次元座標空間を説明するための図である。
【図３６】第３実施形態で用いられる３次元座標空間を説明するための図である。
【図３７】変形例に係る音響再生装置の外観図である。
【図３８】本体部のブロック図である
【図３９】音像定位部のブロック図である。
【発明を実施するための形態】
【００１６】
＜Ａ：第１実施形態＞
＜Ａ−１：オーディオ信号処理システムの構成＞
図１に、第１実施形態に係るオーディオ信号処理システムの構成例を示す。オーディオ信号処理システム１Ａは、スマートフォンなどの端末装置１０と、オーディオ信号処理装置２０と、スピーカＳＰ１〜ＳＰ９とを備える。端末装置１０は、例えば、スマートフォンなどの通信機器であり、オーディオ信号処理装置２０と通信可能である。通信の形態は無線又は有線のいずれであってあってもよいが、例えば、無線ＬＡＮ（Local Area Network）を介して通信が可能である。また、端末装置１０は、インターネット上の所定のサイトからアプリケーションプログラムをダウンロードすることができる。そのようなアプリケーションプログラムには、仮想音源を特定するプログラム、および仮想音源の設定位置を指定するプログラムが含まれ得る。
【００１７】
オーディオ信号処理装置２０は、いわゆるマルチチャネルアンプである。オーディオ信号処理装置２０は、入力オーディオ信号ＩＮ１〜ＩＮ９に音響効果を付与した出力オーディオ信号ＯＵＴ１〜ＯＵＴ９を生成し、ＯＵＴ１〜ＯＵＴ９をスピーカＳＰ１〜ＳＰ９に供給する。スピーカＳＰ１〜ＳＰ９は、オーディオ信号処理装置２０と有線又は無線にて接続されている。
【００１８】
図２に、オーディオ信号処理システム１Ａのリスニングルーム内のスピーカＳＰ１〜ＳＰ９の配置例を示す。この例では、９つのスピーカＳＰ１〜ＳＰ９がリスニングルーム内に配置されているが、スピーカの数は、９つに限らず、５つ以下であってもよいし、１０以上であってもよい。この場合、入力オーディオ信号の数は、５つ以下であってもよいし、１０以上であってもよい。本実施形態においては、例えば、７.１ｃｈサラウンドシステムに、リアの左右のプレゼンススピーカを加えたものである。なお、サブウーハのスピーカについては記載を省略している。
【００１９】
このオーディオ信号処理システム１Ａにおいては、リスニングルーム内のスピーカＳＰ１〜ＳＰ９の各位置を示すスピーカ位置情報は既知である。利用者Ａがあらかじめ定められた位置（以下「基準位置Ｐｒｅｆ」と称する。）で、スピーカＳＰ１〜ＳＰ９から放音された音を視聴した場合に所望の音響効果が得られる。この例では、センタスピーカＳＰ１は基準位置Ｐｒｅｆの正面に配置され、右フロントスピーカＳＰ２は基準位置Ｐｒｅｆの右斜め前方に配置され、右サラウンドスピーカＳＰ３は基準位置Ｐｒｅｆの右斜め後方に配置され、左サラウンドスピーカＳＰ４は基準位置Ｐｒｅｆの左斜め後方に配置され、左フロントスピーカＳＰ５は基準位置Ｐｒｅｆの左斜め前方に配置される。また、右フロントプレゼンススピーカＳＰ６は基準位置Ｐｒｅｆの右斜め前方の上方に配置され、右リアプレゼンススピーカＳＰ７は基準位置Ｐｒｅｆの右斜め後方の上方に配置され、左リアプレゼンススピーカＳＰ８は基準位置Ｐｒｅｆの左斜め後方の上方に配置され、左フロントプレゼンススピーカＳＰ９は基準位置Ｐｒｅｆの左斜め前方の上方に配置される。
【００２０】
本実施形態では、センタチャネル、右フロントチャネル、左フロントチャネル、右サラウンドチャネル、左サラウンドチャネル、右フロントプレゼンスチャネル、左フロントプレゼンスチャネル、右リアプレゼンスチャネル、および左リアプレゼンスチャネルの９つのチャネルのオーディオ信号が再生装置（図示略）からオーディオ信号処理装置２０に与えられる。本実施形態では、これら９つのチャネルの各々（或いは、これら９つのチャネルのうちの任意の２つ以上のミキシング結果）を仮想音源化して所望の位置に設置すること（すなわち、仮想音源化したオーディオ信号に対応する音像の定位位置として当該所望の位置を設定すること）を直観的で判りやすい操作によりユーザに行わせることができる。
【００２１】
例えば、左フロントプレゼンスチャネルに含まれる音像Ｒ１を仮想音源化した仮想音源Ｖ１として左フロントプレゼンススピーカＳＰ９、左フロントスピーカＳＰ５、左サラウンドスピーカＳＰ４および左リアプレゼンススピーカＳＰ８の間の位置（図２では、点線丸印で表記）に置く場合には、端末装置１０の操作によって左フロントプレゼンスチャネルに含まれる音像Ｒ１が操作対象として特定されると、オーディオ信号処理装置２０は、左フロントプレゼンスチャネルに含まれる音像Ｒ１を作成するオーディオ信号を選択する。次に、端末装置１０の操作によって音像Ｒ１を仮想音源Ｖ１の位置に置くことが指示されると、オーディオ信号処理装置２０は、左フロントプレゼンスチャネルに含まれる音像Ｒ１が当該位置に定位するように、左フロントプレゼンスチャネルのオーディオ信号を左フロントプレゼンススピーカＳＰ９、左フロントスピーカＳＰ５、左サラウンドスピーカＳＰ４および左リアプレゼンススピーカＳＰ８の各々に振り分けて出力する。上述の説明では端末装置１０がＲ１を特定するとオーディオ信号処理装置２０が対応する信号を選択し、次に端末装置１０が変更位置を指示するという流れとしたが、端末装置１０がＲ１を特定し、位置を変更した時点で、オーディオ信号処理装置２０が対応する信号を選択し位置制御するようにしても良い。
以下、本実施形態の特徴を顕著に示すオーディオ信号処理装置２０および端末装置１０を中心に説明する。
【００２２】
＜Ａ−２：オーディオ信号処理装置２０の構成＞
図３に示されるオーディオ信号処理装置２０は、装置全体の制御中枢として機能するＣＰＵ２１０、外部と通信を実行する通信インターフェース２２０、プログラムやデータを記憶するとともにＣＰＵ２１０の作業領域として機能するメモリ２３０、マイクロフォンなどの外部装置からの信号を入力してＣＰＵ２１０に供給する外部インターフェース２４０、基準信号Ｓｒ１〜Ｓｒ９を生成する基準信号生成回路２５０、選択回路２６０およびｍ個の処理ユニットＵ１〜Ｕｍを備える。ｍ個の処理ユニットＵ１〜ＵｍおよびＣＰＵ２１０は、複数のスピーカＳＰ１〜ＳＰ９の各位置を示すスピーカ位置情報、および仮想音源の位置を示す仮想音源位置情報（座標情報）に基づいて、入力オーディオ信号ＩＮ１〜ＩＮ９に音響効果を付与した出力オーディオ信号ＯＵＴ１〜ＯＵＴ９を複数のスピーカＳＰ１〜ＳＰ９の各々について生成する。
【００２３】
ここで、ｊ（ｊは１≦j≦ｍを満たす任意の自然数）番目の処理ユニットＵｊは、仮想音源化部３００、周波数補正部３１０、ゲイン分配部３２０、および加算器３３１〜３３９を有する。なお、他の処理ユニットＵ１、Ｕ２、…Ｕｊ-1、Ｕｊ+1、…Ｕｍは、処理ユニットＵｊと同様に構成されている。
【００２４】
仮想音源化部３００は、入力オーディオ信号ＩＮ１〜ＩＮ９に基づいて、仮想音源のオーディオ信号を生成する。この例では、ｍ個の処理ユニットＵ１〜Ｕｍを備えるので、ｍ個の仮想音源に対応した出力オーディオ信号ＯＵＴ１〜ＯＵＴ９を生成することができる。仮想音源化部３００は、９個のスイッチＳＷ１〜ＳＷ９とミキサ３０１とを備える。ＣＰＵ２１０は仮想音源化部３００を制御する。より具体的には、ＣＰＵ２１０は、メモリ２３０にｍ個の仮想音源を管理する仮想音源管理テーブルを記憶しておき、仮想音源管理テーブルを参照して仮想音源化部３００を制御する。仮想音源管理テーブルには、各仮想音源について、どの入力オーディオ信号ＩＮ１〜ＩＮ９をミキシングすればよいかを表わすデータ（例えば、ミキシングするチャネルを示すチャネル識別子や、それぞれのチャネルについてミキシングするか否かを表わす論理値など）が格納されている。そして、ＣＰＵ２１０は、仮想音源管理テーブルを参照して入力オーディオ信号ＩＮ１〜ＩＮ９のうちミキシングの対象となる入力オーディオ信号に対応するスイッチを順次にオンにして、ミキシングの対象となる入力オーディオ信号を取り込む。例えば、ミキシングの対象となる入力オーディオ信号がＩＮ１、ＩＮ２およびＩＮ５である場合、まず、ＣＰＵ２１０は、入力オーディオ信号ＩＮ１に対応するスイッチＳＷ１をオンにし、他のスイッチＳＷ２〜ＳＷ９をオフにする。次に、ＣＰＵ２１０は、入力オーディオ信号ＩＮ２に対応するスイッチＳＷ２をオンにし、他のスイッチＳＷ１、ＳＷ３〜ＳＷ９をオフにする。その次に、ＣＰＵ２１０は、入力オーディオ信号ＩＮ５に対応するスイッチＳＷ５をオンにし、他のスイッチＳＷ１〜ＳＷ４、ＳＷ６〜ＳＷ９をオフにする。
【００２５】
周波数補正部３１０は、仮想音源化部３００の出力信号に周波数補正を施す。具体的には、ＣＰＵ２１０の制御の下、周波数補正部３１０は、仮想音源の位置から基準位置Ｐｒｅｆまでの距離にしたがって、距離が遠いほど、高域の周波数成分を大きく減衰させるように周波数特性を補正する。これは、仮想音源から基準位置Ｐｒｅｆまでの距離が大きいほど、高周波成分の減衰量が大きくなるという音響特性を再現するためである。
【００２６】
メモリ２３０は、減衰量テーブルをあらかじめ記憶している。減衰量テーブルには、仮想音源から基準位置Ｐｒｅｆまでの距離と各周波数成分の減衰量との関係を表わすデータが格納されている。一方、仮想音源管理テーブルには、それぞれの仮想音源の位置を示す仮想音源位置情報が格納されている。仮想音源位置情報は、基準位置Ｐｒｅｆを原点とする三次元直交座標で与えられる。なお、仮想音源位置情報を二次元直交座標、あるいは極座標で表してもよい。この例では、仮想音源位置情報は、三次元直交座標の座標情報で与えられるものとする。
【００２７】
ＣＰＵ２１０は、第１に、メモリ２３０が記憶した仮想音源管理テーブルの内容を読み出し、読み出した仮想音源管理テーブルの内容に基づいて、それぞれの仮想音源から基準位置Ｐｒｅｆまでの距離を算出し、第２に、減衰量テーブルを参照して算出した基準位置Ｐｒｅｆまでの距離に応じた各周波数の減衰量を取得し、第３に、取得した減衰量に応じた周波数特性が得られるように周波数補正部３１０を制御する。
【００２８】
ゲイン分配部３２０は、ＣＰＵ２１０の制御の下、周波数補正部３１０の出力信号を各スピーカＳＰ１〜ＳＰ９に分配して、分配した複数のオーディオ信号Ａj[1]〜Ａj[9]を出力する。各スピーカＳＰ１〜ＳＰ９に対するオーディオ信号のゲインは、スピーカＳＰ１〜ＳＰ９と仮想音源との間の距離が遠いほど小さくなる。これにより、あたかも仮想音源の位置として設定された場所から音が放射されているかような音場を形成することができる。例えば、各スピーカＳＰ１〜ＳＰ９に対するオーディオ信号Ａj[1]〜Ａj[9]のゲインは、スピーカＳＰ１〜ＳＰ９と仮想音源との間の距離の逆数に比例する。あるいは、ゲインが、スピーカＳＰ１〜ＳＰ９と仮想音源との間の距離の二乗あるいは四乗の逆数に比例する構成であってもよい。なお、仮想音源との間の距離がほぼ０であるスピーカＳＰ１〜ＳＰ９が存在する場合は、それ以外のスピーカＳＰ１〜ＳＰ９に対するオーディオ信号Ａj[1]〜Ａj[9]のゲインを０にする。
【００２９】
メモリ２３０は、例えば、スピーカ管理テーブルを記憶している。スピーカ管理テーブルには、各スピーカＳＰ１〜ＳＰ９の識別子と対応づけて位置を示すスピーカ位置情報および基準位置Ｐｒｅｆとの間の距離を示す情報が格納される。スピーカ位置情報は、例えば、基準位置Ｐｒｅｆを原点とする三次元直交座標、二次元直交座標、あるいは極座標などによって表わされる。
【００３０】
ＣＰＵ２１０は、第１に、メモリ２３０に格納した仮想音源管理テーブルとスピーカ管理テーブルとを参照して、各スピーカＳＰ１〜ＳＰ９と各仮想音源との間の距離を算出し、第２に、算出した距離に基づいて各スピーカＳＰ１〜ＳＰ９に対するオーディオ信号のゲインを算出し、ゲインを指定する制御信号を各処理ユニットＵ１〜Ｕｍに供給する。
【００３１】
処理ユニットＵｊの加算器３３１〜３３９は、ゲイン分配部３２０から出力されるオーディオ信号Ａj[1]〜Ａj[9]と、前段の処理ユニットＵｊ-1から供給されるオーディオ信号Ｏj-1[1]〜Ｏj-1[9]とを加算して、オーディオ信号Ｏj[1]〜Ｏj[9]を出力する。これにより、処理ユニットＵｍから出力されるオーディオ信号Ｏm[k]（ｋは１から9までの任意の自然数）は、Ｏm[k]＝Ａ1[k]+ Ａ2[k]+…+Ａj[k]+…+Ａm[k]となる。
【００３２】
基準信号生成回路２５０は、ＣＰＵ２１０の制御の下、基準信号Ｓｒ１〜Ｓｒ９を生成して選択回路２６０に出力する。ＣＰＵ２１０は、複数のスピーカＳＰ１〜ＳＰ９の各距離を測定する際に、基準信号Ｓｒ１〜Ｓｒ９を生成するように基準信号生成回路２５０を生成する。また、ＣＰＵ２１０は、複数のスピーカＳＰ１〜ＳＰ９の各距離を測定する場合に基準信号Ｓｒ１〜Ｓｒ９を選択する一方、音響効果を付与する場合にオーディオ信号Ｏm[1]〜Ｏm[9]を選択して得た出力オーディオ信号ＯＵＴ１〜ＯＵＴ９を複数のスピーカＳＰ１〜ＳＰ９の各々に供給するように選択回路２６０を制御する。
【００３３】
＜Ａ−３：端末装置１０の構成＞
図４に、端末装置１０のハードウェア構成の一例を示す。端末装置１０は、装置全体の制御中枢として機能するＣＰＵ１００、アプリケーションプログラムなどを記憶したりＣＰＵ１００の作業領域として機能するメモリ１１０、利用者が指示を入力する操作部１２０、操作内容などを表示する表示部１３０、外部と通信を行う通信インターフェース１４０、ジャイロセンサ１５１、加速度センサ１５２、および方位センサ１５３、並びにバイブレーション発生部１６０とサウンド発生部１６１を備える。
【００３４】
ジャイロセンサ１５１は、図５に示すように端末装置１０の姿勢を直交するＸ軸、Ｙ軸、およびＺ軸の回転角であるピッチ角（pitch）、ロール角(roll)、およびヨー角(yaw)を出力する。これらの角度から、端末装置１０の向いている方向を特定することができる。加速度センサ１５２は、端末装置１０に加えられた加速度の成分を直交するＸ軸、Ｙ軸、およびＺ軸について測定する。この場合、加速度センサ１５２が測定する加速度は、三次元ベクトルで表わされ、三次元ベクトルに基づいて端末装置１０の向いている方向を特定することができる。方位センサ１５３は、例えば、地磁気を検出することにより、方位を測定する。この方位により、端末装置１０の向いている方向を特定することができる。但し、ジャイロセンサ１５１および加速度センサ１５２が出力する信号は、端末装置１０の有する３軸の座標系であって、リスニングリームに固定の座標系では無い。従って、ジャイロセンサ１５１および加速度センサ１５２で測定される方向は相対的なものとなる。即ち、リスニングルーム内に固定されている何らかの目標物を基準とし、基準に対する角度が相対的な方向として得られる。一方、方位センサ１５３が出力する信号は、地球上の方位であり、絶対的な方向を示す。
【００３５】
ＣＰＵ１００は、アプリケーションプログムを実行することによって、ジャイロセンサ１５１、加速度センサ１５２、および方位センサ１５３のうち少なくとも一つの出力を用いて、端末装置１０を向けた方向を測定する。この例の端末装置１０は、ジャイロセンサ１５１、加速度センサ１５２、および方位センサ１５３を備えるが、このうちの少なくとも一つを備えるものであってもよい。ジャイロセンサ１５１および加速度センサ１５２は、角度を出力する。角度はなんらかの基準に対する値である。基準は、リスニングルーム内の目標物であればどのようなものであってもよいが、この例では、複数のスピーカＳＰ１〜ＳＰ９のうちセンタスピーカＳＰ１とする。
一方、方位センサ１５３を用いて、複数のスピーカＳＰ１〜ＳＰ９の方向を測定する場合は、基準の方向の入力は不要である。方位センサ１５３からは、絶対的な方向を示す値が出力されるからである。
【００３６】
本実施形態の端末装置１０においては、仮想音源の位置の指定を行うプログラムを起動させると、端末装置１０はオーディオ信号処理装置２０との通信を行って、オーディオ信号処理装置２０のメモリ２３０に記憶されている仮想音源管理テーブルを読み取り、端末装置１０のメモリ１１０に格納する。仮想音源管理テーブルには、それぞれの仮想音源の位置を示す仮想音源位置情報が格納されている。仮想音源位置情報は、基準位置Ｐｒｅｆを原点とする三次元直交座標で与えられる。なお、仮想音源位置情報を極座標で表してもよい。この例では、仮想音源位置情報は、三次元直交座標の座標情報で与えられるものとする。
【００３７】
＜Ａ−４：オーディオ信号処理システムの動作＞
次に、オーディオ信号処理システムの動作を、基準角度の設定を行うリセット処理と、移動させようとする仮想音源を対象音源として特定する特定処理と、仮想音源を移動させる位置を指定処理とに分けて説明する。図６ないし図８に、端末装置１０が実行するリセット処理、対象音源の特定処理、および仮想音源の位置の指定処理の内容を示す。
【００３８】
＜Ａ−４−１：リセット処理＞
端末装置１０を用いて移動させようとする仮想音源を対象音源として特定を行う場合、ユーザは、まず、端末装置１０の操作部（図示略）を操作して、仮想音源の位置の指定を行うプログラムを起動させる。プログラムが起動すると、端末装置１０はオーディオ信号処理装置２０との通信を行って、オーディオ信号処理装置２０のメモリ２３０に記憶されている仮想音源管理テーブルを読み取り、端末装置１０のメモリ１１０に格納する（Ｓ３０）。端末装置１０の表示部１３０には、図９に示すように、例えば、２次元空間におけるスピーカの配置を模式的に示す画像と、「リセット方向に向け設定ボタンをクリックしてください」等のメッセージと、設定ボタンＢが表示される（Ｓ３１）。ユーザは、端末装置１０を持って基準位置Ｐｒｅｆの位置に立ち、図１０に示すように、端末装置１０のＹ軸を所定のリセット方向（本実施形態では、センタスピーカＳＰ１の方向）に向けた状態で設定ボタンＢを押下する。ＣＰＵ１００は、設定ボタンＢの押下を検出すると（Ｓ３２）、ｙａｗをゼロにリセットする（Ｓ３３）。この例では、ジャイロセンサ１５１および加速度センサ１５２の少なくとも一方により角度情報出力部が構成され、角度情報出力部により角度情報としてのｙａｗが取得されるものとする。上述したようにジャイロセンサ１５１および加速度センサ１５２は角度を出力する。ＣＰＵ１００は、前記角度情報のうちｙａｗを用いて図１０に示すＸＹ平面上におけるリセット方向に端末装置１０のＹ軸が向けられたものとして、ｙａｗをゼロにリセットする処理を行う。前述したように、本実施形態では、仮想音源の対象音源を特定し、仮想音源の位置を指定しようとするユーザは端末装置１０を持って基準位置Ｐｒｅｆの位置に立っているため、端末装置１０の中心の位置と基準位置Ｐｒｅｆの位置は概ね一致する。したがって、基準位置Ｐｒｅｆの位置は上記２次元座標空間の座標原点に概ね一致する。なお、本実施形態ではｙａｗは相対角度として取得されるので上述のようなリセット処理が必要であるが、ｙａｗが絶対角度として取得される場合には上述のようなリセット処理は不要である。また、他のセンサーによってｙａｗを自動的にリセットすることも考えられる。
【００３９】
本実施形態においては、ジャイロセンサ１５１および加速度センサ１５２の少なくとも一方により角度情報出力部が構成され、角度情報出力部は、鉛直軸であるＺ軸に直交するＹ軸の方向を基準としたＺ軸回りの回転角度（ｙａｗ）と、端末装置１０の軸であって、端末装置１０から対象音源の位置へ向かう方向との軸と直交し、かつ、Ｚ軸と直交する軸（図５に示すＸ軸）の回りの傾斜角（ｐｉｔｃｈ）とを角度情報として出力する。
【００４０】
＜Ａ−４−２：対象音源の特定処理＞
リセット処理が完了すると、ユーザは、移動させたい仮想音源の方向に端末装置１０を向けて直観的な操作で音源の特定を行う。本実施形態では、移動の対象となる仮想音源は、各チャネルの音であり、その個数は９個である。初期状態においては、各チャネルの音は、いずれか一つのスピーカから出力されており、入力オーディオ信号のミキシングは行われていない。つまり、センタチャネルの音はセンタスピーカＳＰ１、右フロントチャネルの音は右フロントスピーカＳＰ２、左フロントチャネルの音はスピーカＳＰ５、右サラウンドチャネルの音は右サラウンドスピーカＳＰ３、左サラウンドチャネルの音は左サラウンドスピーカＳＰ４、右フロントプレゼンスチャネルの音は右フロントプレゼンススピーカＳＰ６、左フロントプレゼンスチャネルの音は左フロントプレゼンススピーカＳＰ９、右リアプレゼンスチャネルの音は右リアプレゼンススピーカＳＰ７、および左リアプレゼンスチャネルの音は左リアプレゼンススピーカＳＰ８からそれぞれ出力される。但し、本発明はこの例に限定されるものではなく、各チャネルの音をミックスした音源を、移動させる仮想音源としてもよい。
【００４１】
本実施形態では、図１１に示すように、端末装置１０の中心を座標原点とし、Ｘ軸方向の長さが２、Ｙ軸方向の長さが２、かつＺ軸方向の長さが２の３次元座標空間において、特定したチャネルの音を仮想音源として移動させる例について説明する。また、本実施形態においては、図１１に示す３次元座標空間において、天井面と底面には、スピーカおよび仮想音源を配置しないこととする。
各スピーカの位置情報は、ユーザの操作、音場自動測定などで設定されるか、あるいは、予め設定され、スピーカ管理テーブルＴＢＬ１としてメモリ２３０に記憶されている。図１２にスピーカ管理テーブルＴＢＬ１の一例を示す。スピーカ管理テーブルＴＢＬ１には各スピーカの位置情報が、Ｘ，Ｙ，Ｚの座標として記憶されている。なお、スピーカ管理テーブルＴＢＬ１には、基準位置Ｐｒｅｆから各スピーカＳＰ１〜ＳＰ９までの距離を示す情報も含まれているが、図１２においては省略する。図１２に示すスピーカ管理テーブルＴＢＬ１は、各スピーカが図１１に示すように３次元座標空間に配置されている場合の例であり、例えば、右フロントプレゼンススピーカＳＰ６の位置情報は、（−１，１，１）と表される。
【００４２】
上述したように、初期状態においては、各チャネルの音はいずれか一つのスピーカから出力されるので、初期状態における各チャネルの位置情報は、各スピーカの位置情報と一致する。本実施形態では、各チャネルの位置情報は、仮想音源テーブルＴＢＬ２としてメモリ２３０に記憶されている。また、この仮想音源テーブルＴＢＬ２は、端末装置１０によって読み取られ、端末装置１０の対象位置情報記憶部としてのメモリ１１０に格納されている。図１３に初期状態における仮想音源テーブルＴＢＬ２の一例を示す。図１３に示すように、初期状態における各チャネルの位置情報は、図１２に示す各スピーカの位置情報と一致している。また、仮想音源テーブルＴＢＬ２には、それぞれのチャネルについてミキシングするか否かを表わす論理値なども含まれるが、図１３においては省略する。
【００４３】
＜Ａ−４−２−１：２次元座標空間における対象音源の特定処理＞
本実施形態では、以上のような位置情報を有する各チャネルの音を、移動する対象音源として端末装置１０により特定する。なお、この対象音源の特定処理を行う際には、全てのチャネルの音を含む何らのオーディオ信号がオーディオ信号処理システム１Ａにおいて再生されているものとする。
上述したリセット処理が完了すると、端末装置１０の表示部１３０には、例えば、図１４に示すように、「移動対象の音源の方向に向けてください。」等のメッセージが表示される（Ｓ３４）。ユーザは、オーディオ信号処理システム１Ａにおいて再生される再生音を聞きながら、端末装置１０を移動させたい音源の方向に向ける。一例として、図１０に示すように、左フロントプレゼンスチャネルの音源Ｒ１を対象音源として特定する場合について説明する。
【００４４】
端末装置１０のＣＰＵ１００は、表示部１３０に図１４に示すメッセージを表示させた後は、対象音源の特定処理の実行を開始する（Ｓ３５）。対象音源の特定処理は、所時間間隔で実行される処理である。対象音源の特定処理の具体的な内容を図７に示す。上述したように、各チャネルの位置情報は３次元座標空間における座標で表されるが、本実施形態では、まずＸＹ平面の２次元座標空間における座標を求め、次にＹＺ平面の２次元座標空間における座標を求めて各チャネルの特定を行う。ユーザが端末装置１０を移動させたい音源の方向に向けると、制御対象特定部としてのＣＰＵ１００は、前記角度情報のうちｙａｗのみを用いて（図７：Ｓ１００）、ＸＹ平面上における位置情報（Ｘ，Ｙ）を算出する（図７：Ｓ１０１）。ＣＰＵ１００は、これらの処理を所定時間間隔で実行する。上述したように、本実施形態では、対象音源を特定しようとするユーザは端末装置１０を持って基準位置Ｐｒｅｆの位置に立っているため、端末装置１０の中心の位置と基準位置Ｐｒｅｆの位置は概ね一致する。したがって、基準位置Ｐｒｅｆの位置は上記２次元座標空間の座標原点に概ね一致する。
【００４５】
図１５は、端末装置１０の中心を座標原点とし、Ｙ軸方向の長さが２、かつＸ軸方向の長さも２の矩形上の２次元座標空間において操作対象の音源を特定する場合の動作を説明するための図である。この場合、制御対象特定部としてのＣＰＵ１００は、ｙａｗの値が−４５°〜４５°であれば、Ｘをｙａｗの値に応じて−１〜１に設定するとともにＹを１に設定する。また、ｙａｗの値が４５°〜１３５°であれば、制御対象特定部としてのＣＰＵ１００は、Ｙをｙａｗの値に応じて＋１〜−１に設定するとともにＸを１に設定する。また、ｙａｗの値が−４５°〜−１３５°であれば、制御対象特定部としてのＣＰＵ１００は、Ｙをｙａｗの値に応じて＋１〜−１に設定するとともにＸを−１に設定する。そして、制御対象特定部としてのＣＰＵ１００は、ｙａｗの値が１３５°〜１８０であればＸの値をｙａｗの値に応じて１〜０に設定するとともにＹ＝−１に設定し、ｙａｗの値が−１３５°〜−１８０°であれば、Ｘをｙａｗの値に応じて−１〜０に設定するとともにＹを−１に設定する。つまり、前記角度情報は、図１４に示す矩形上の２次元座標空間の境界上の座標（Ｘ，Ｙ）に変換される。
例えば、図１７に示すように、ユーザが左フロントプレゼンスチャネルの方に端末装置１０を向けた場合には、所定時間間隔で更新されるユーザが特定しようとする音源の座標は、概ね（−１，１）となる。
【００４６】
＜Ａ−４−２−２：３次元座標空間における対象音源の特定処理＞
端末装置１０の中心を座標原点とする所定の広さの３次元座標空間において仮想音源位置およびスピーカ位置を設定する場合には、ｐｉｔｃｈを利用して（図７：Ｓ１００）、高さ方向の座標Ｚを求める（図７：Ｓ１０１）ようにすれば良い。なお、各軸の座標を求める順序はどのような順序であってもよい。ｙａｗとｐｉｔｃｈからＸＹＺ座標を同時に求めるようにしても良い）図１６は、端末装置１０の中心を座標原点とし、Ｚ軸方向の長さが２、かつＹ軸方向の長さも２の矩形上の２次元座標空間において対象音源を特定する場合の動作を説明するための図である。具体的には、ｐｉｔｃｈの値が−４５°〜４５°であれば、Ｚをｐｉｔｃｈの値に応じて−１〜１に設定し、ｐｉｔｃｈの値が−４５°より小さければＺを−１に設定し、ｐｉｔｃｈの値が４５°より大きければＺを＋１に設定すれば良い。このような態様によれば、前記角度情報は図１１に示す立方体状の３次元座標空間の側面上の座標（Ｘ，Ｙ，Ｚ）に変換される。
例えば、図１７に示すように、ユーザが左フロントプレゼンスチャネルの方に端末装置１０を向けた場合には、ユーザが特定しようとする音源の座標は、ＹＺ平面上の座標が（１，１）なので、ＸＹ平面上の座標（−１，１）と合わせて、３次元座標空間の座標は、概ね（−１，１，１）となる。
【００４７】
次に、ＣＰＵ１００は、上述のようにして所定時間毎にユーザが端末装置１０を向けた方向の座標を求め、メモリ１１０に格納した仮想音源テーブルＴＢＬ２に記憶されたチャネルの位置情報と比較し、ユーザが移動しようとする音源が、どのチャネルであるかを特定する処理を行う（図７：Ｓ１０２）。具体的には、ＣＰＵ１００は、上述のようにして求めた座標と仮想音源テーブルＴＢＬ２に位置情報として記憶された座標との差分が所定値以下であるかどうかを所定時間毎に判断し、ユーザが移動しようとする音源が、どのチャネルであるかを特定する。特定できた場合には、ステップＳ３５の対象音源の特定処理の出力として、例えば、特定した対象音源を識別する情報を出力する。特定できなかった場合には、ステップＳ３５の対象音源の特定処理の出力として、例えば、特定できなかった旨の情報を出力する。以上のように、本実施形態では、端末装置の向け先の位置の算出と、対象音源の特定とを所定時間毎に実行する。
【００４８】
ステップＳ３５の対象音源の特定処理を開始した後は、対象音源が特定できたかどうかの確認を行う（Ｓ３８）。本実施形態では、一例として、対象音源の特定ができるまでステップＳ３８の処理を繰り返す。つまり、類似または近似した座標が仮想音源テーブルＴＢＬ２に存在せず、特定ができない場合には（Ｓ３８：ＮＯ）、例えば、「移動対象の音源の方向に向けてください」等のメッセージを端末装置１０の表示部１３０に表示し続け、対象音源の特定処理を続ける。但し、一定時間経過しても特定できない場合には、タイムアウトにより処理を終了させたり、処理をキャンセルするようにしてもよい。
【００４９】
ＣＰＵ１００は、対象音源が特定できたことを確認した場合には（Ｓ３８：ＹＥＳ）、ステップＳ３５の対象音源の特定処理を停止させ、例えば図１９に示すように、「左フロントプレゼンスチャネルを移動しますか？」等のメッセージとＹＥＳボタンＣおよびＮＯボタンＤを端末装置１０の表示部１３０に表示させる（Ｓ３９）。また、特定できた場合には、端末装置１０をバイブレーション発生部１６０によりリアルタイムで振動させたり、端末装置１０のサウンド発生部１６１のスピーカからリアルタイムで音を出力するようにしてもよい。また、対象音源であると特定可能な候補が複数ある場合には、複数の候補を端末装置１０の表示部１３０に表示させるようにしてもよい。また、特定できた場合にステップＳ３９の確認メッセージのボタンは表示せずに、特定したチャネル名だけを表示し、特定したチャネルを記憶するだけで対象音源の特定処理を続けても良い。
【００５０】
以上のように、制御対象特定部としてのＣＰＵ１００は、端末装置１０を対象音源に向けた際に、ジャイロセンサ１５１および加速度センサ１５２の少なくとも一方により構成される角度情報出力部から出力されるｙａｗおよびｐｉｔｃｈからなる角度情報に基づいて位置情報（座標）を算出し、算出した位置情報と、対象位置情報記憶部としてのメモリ１１０に記憶された仮想音源テーブルＴＢＬ２における各チャネルの位置情報との比較を行い、互いの位置情報のずれが所定範囲内である場合に、操作対象の音源として対応するチャネルを提示（表示）し、操作対象の決定を促す。
【００５１】
すなわち、図１９に示す表示状態において、ユーザがＮＯボタンを押下した場合には（Ｓ４０：ＮＯ）、対象音源の特定処理を最初からやり直す。しかし、図１９に示す表示状態において、ユーザがＹＥＳボタンＣを押下した場合には（Ｓ４０：ＹＥＳ）、ＣＰＵ１００は、例えば図２０に示すように、「移動させたい方向へ向けてください」等のメッセージと、移動ボタンＥとを端末装置１０の表示部１３０に表示させる（Ｓ４１）。
【００５２】
＜Ａ−４−３：仮想音源の設置位置の指定＞
次に、ＣＰＵ１００は、ユーザが図２０に示す移動ボタンＥを押したことを検知すると（Ｓ４２：ＹＥＳ）、仮想音源の設置位置の指定処理を開始する（Ｓ４３）。図８に仮想音源の設置位置の指定処理の具体的な内容を示す。仮想音源の設置位置の指定処理は、所定時間間隔で実行される処理である。この場合、移動ボタンＥが押されていることを検知するＣＰＵ１００が設定位置指示部として機能する。また、ＣＰＵ１００は、位置情報更新部としても機能し、仮想音源の設置位置の指定処理においても、対象音源の特定処理と同様に、前記角度情報のうちｙａｗを用いて、ＸＹ平面の２次元座標空間における座標を、ｐｉｔｃｈを用いてＹＺ平面の２次元座標空間における座標を求めて、仮想音源の設置位置の３次元座標空間における座標を求める（図８：Ｓ２００）。そして、ＣＰＵ１００は、現在制御対象となっている仮想音源を識別する情報、例えばチャネル名と、算出した座標からなる位置情報とを含む仮想音源情報を、オーディオ信号処理装置２０に所定時間間隔ごとに送信する（図８：Ｓ２０１）。また、ＣＰＵ１００は、メモリ１１０に格納した仮想音源管理テーブルを更新する（図８：Ｓ２０２）。
【００５３】
オーディオ信号処理装置２０のＣＰＵ２１０は、仮想音源情報を受信すると、仮想音源管理テーブルＴＢＬ２を更新し、所定時間間隔で仮想音源を設定途中の位置に置いた場合のゲイン配分で入力オーディオ信号を計算し、オーディオ信号を出力する。ユーザーは移動ボタンＥを押しながら、仮想音源を移動させたい位置に端末装置１０を向け、設定途中の音像位置を確認しながら、対象音源を希望する位置に移動させ、希望位置で移動ボタンＥを離すと（Ｓ４６：ＹＥＳ）、仮想音源の設置位置の指定処理が完了する。  例えば、図２１、図２３に示すように、ユーザが移動ボタンＥを押下しながら、左フロントプレゼンススピーカＳＰ９と左リアプレゼンススピーカＳＰ８の間の位置Ｖ１に端末装置１０を向け、移動ボタンＥを離した場合には、ｙａｗの値が−７４°なので、Ｘを−１に設定する。Ｙについては、図２２に示すように、
【００５４】
（数１）
ｙ＝ｔａｎ１６°≒０．２９
となる。したがって、仮想音源のＸＹ平面上の座標は、（−１，０．２９）となる。
【００５５】
また、ｐｉｔｃｈを利用して高さ方向の座標Ｚを求める。図２４に示すように、
ｐｉｔｃｈの値が２７°とすると、
【００５６】
（数２）
ｚ＝ｔａｎ２７°≒０．５１
となる。したがって、仮想音源のＸＺ平面上の座標は、（−１，０．５１）となるので、先に求めたＸＹ平面上の座標（−１，０．２９）と合わせて、３次元座標空間の座標は、概ね（−１，０．２９，０．５１）となる。
【００５７】
なお、上述のように仮想音源の座標を算出した後には、ＣＰＵ１００は、端末装置１０の表示部１３０に、例えば、「この位置に移動しますか？」のように確認メッセージとＹＥＳボタンおよびＮＯボタンを表示させるようにしてもよい。ユーザは、仮想音源の位置を聞きながら確認できるので、位置を変更したい場合には、ＮＯボタンを押下する。ＣＰＵ１００は、ＮＯボタンの押下を検知した場合には、音源の位置情報を移動開始前の位置情報に戻し、メモリに格納した仮想音源管理テーブルを更新する。また、移動開始前の位置情報を含む仮想音源情報をオーディオ信号処理装置２０に送信する。オーディオ信号処理装置２０のＣＰＵ２１０は、仮想音源情報を受信すると、仮想音源管理テーブルＴＢＬ２を更新し、仮想音源を移動開始前の位置に置いた場合のゲイン配分で入力オーディオ信号を計算し、オーディオ信号を出力する。ＣＰＵ１００は、ステップＳ４１に示す端末装置１０を仮想音源の方向に向ける旨の指示表示を行い、上述した処理を繰り返す。しかし、仮想音源の位置が所望の位置である場合には、ユーザはＹＥＳボタンを押下する。ＣＰＵ１００は、ＹＥＳボタンの押下を検知すると、処理を完了させる。以上のような最終的な確認処理を行うようにしてもよい。
【００５８】
上述した例では、左フロントプレゼンスチャネルの位置を仮想音源として移動させたので、図２５に示すように、仮想音源テーブルＴＢＬ２の左フロントプレゼンスチャネルの座標値は、最終的には（−１，０．２９，０．５１）に書き換えられる。
ＣＰＵ１００は、移動ボタンＥが離されたことを検知すると（Ｓ４６：ＹＥＳ）、オーディオ信号処理装置２０に対して、仮想音源の移動が完了した旨の情報を送信する（Ｓ４７）。オーディオ信号処理装置２０は、仮想音源の移動が完了した旨の情報を受信すると、ユーザが位置指定を行った仮想音源を含め、全体のチャネルを再生させるなどしても良い。
【００５９】
以上のように、設定位置指示部として機能するＣＰＵ１００は、制御対象としての対象音源の特定が行われた後に、移動ボタンＥが押下され、端末装置１０が所望の位置に向けられると、所定時間間隔で向け先の位置を算出し、算出した位置を仮想音源の新たな位置として仮想音源管理テーブルＴＢＬ２を更新する。
【００６０】
以上説明したように、本実施形態によれば、仮想音源の位置の指定を行うプログラムを起動させた状態で、端末装置１０を仮想音源に向けるといった直観的な操作で、仮想音源の特定を行うことができる。特定を行った後は、移動ボタンＥを押下しながら端末装置１０を仮想音源の設置を所望する場所に向けるといった直観的な操作で、所定時間間隔で仮想音源テーブルＴＢＬ２が更新され、更新された情報に基づいてオーディオ信号が再生されるので、リアルタイムで再生音を聞きながら仮想音源を所望の場所に設置することができる。
【００６１】
また、本実施形態では、仮想音源の位置を指定した際に、仮想音源テーブルＴＢＬ２を更新するので、仮想音源として移動させた音源を新たな対象音源として特定し、さらに別な位置へと移動させることが可能となる。したがって、本実施形態によれば、直観的な操作により、仮想音源の位置を自由に変更することが可能になる。
【００６２】
なお、本実施形態では、各チャネルによる音像を制御対象として本発明の特定処理と設定位置の指定処理を行う例について説明した。しかし、本発明は本実施形態において説明した例に限定されるものではなく、例えば、複数のチャネルをミキシングした音像を制御対象としてもよいし、スピーカや仮想スピーカを制御対象としてもよい。スピーカを制御対象とする場合には、仮想音源管理テーブルではなく、スピーカ管理テーブルをオーディオ信号処理装置２０から端末装置１０に送信し、端末装置１０においてスピーカ管理テーブルに基づいて処理を行えばよい。また、端末装置１０において更新したスピーカ管理テーブルの内容は、オーディオ信号処理装置２０に反映させればよい。仮想スピーカは、複数のスピーカから同じ音を出力することで、物理的にスピーカがない所にスピーカがあるように聞こえるスピーカのことを言う。仮想スピーカは、仮想音源管理テーブルで管理してもよいし、スピーカ管理テーブルで管理してもよい。
【００６３】
＜Ｂ：第２実施形態＞
次に、図２６ないし図３１を参照しつつ、本発明の第２実施形態について説明する。第１実施形態においては、端末装置１０によって示した位置を３次元座標空間におけるＸ軸方向、Ｙ軸方向、またはＺ軸方向のいずれかの境界に投影させ、角度情報のみを用いて当該位置の座標を求める例について説明した。本実施形態は、角度情報の他に距離情報を用いて端末装置１０によって示した位置の座標を求める。図２６ないし図２８は本実施形態に係る端末装置１０における対象音源の特定処理の内容を示すフローチャート、図２９は本実施形態に係る端末装置１０の表示部１３０の表示例を示す図である。図３０は本実施形態に係る端末装置１０の表示部１３０の表示例を示す図である。図３１は本実施形態に係る端末装置１０により特定可能な対象音源と位置指定可能な仮想音源の例を示す図である。なお、図２６ないし図３０に示すフローチャートにおいて、図６ないし図８に示すフローチャートとの共通箇所には同一のステップ番号を付してある。
【００６４】
本実施形態においても、仮想音源の位置の指定を行うプログラムを起動させると、図２６に示すステップＳ３０〜Ｓ３３の処理が行われ、さらに図２９に示すように、端末装置１０を対象音源に向け、さらに距離を調整するように指示する表示が端末装置１０の表示部１３０において行われる（Ｓ５０）。端末装置１０のＣＰＵ１００は、表示部１３０に図２９に示すメッセージを表示させた後は、距離を含めた対象音源の特定処理の実行を開始する（Ｓ５１）。距離を含めた対象音源の特定処理は、所時間間隔で実行される処理である。距離を含めた対象音源の特定処理の具体的な内容を図２７に示す。
【００６５】
図２９に示す距離調整を促す表示においては、矢印方向に移動可能なフェーダーＦと設定ボタンＧとが含まれる。ユーザがフェーダーＦを「遠い」側に移動させた場合には、現在の位置よりも遠い位置に存在する対象音源を特定することができ、フェーダーＦを「近い」側に移動させた場合には、現在の位置よりも近い位置に存在する対象音源を特定することができる。
【００６６】
具体的には、距離調整指示部としての機能するＣＰＵ１００は、フェーダーＦの移動を検知すると、フェーダーＦの移動方向と移動量に応じて距離の調整を指示する。そして、制御対象特定部としても機能するＣＰＵ１００は、この指示に応じて距離を調整する（Ｓ１５０）。フェーダーＦの移動の検知処理と距離の調整処理は所定時間間隔ごとに行われ、フェーダーＦの移動が検知されなければ、次の処理（Ｓ１００~）が行われる。フェーダーＦの移動が検知された場合には、具体的には、図２２および図２４に示す三角形における斜辺ａの長さを、フェーダーＦの移動方向に応じて変化させる。さらに、第１実施形態と同様に、所定時間間隔ごとに角度情報を取得して（Ｓ１００）、所定時間間隔ごとに対象音源の座標を算出する（Ｓ１０１）。本実施形態においては、オーディオ信号処理装置２０のメモリ２３０および端末装置１０の対象位置情報記憶部としてのメモリ１１０に記憶されている仮想音源テーブルＴＢＬ２には、各チャネルの位置情報として、ユーザからの距離を考慮した座標が格納されている。
【００６７】
端末装置１０の制御対象特定部としてのＣＰＵ１００は、距離を調整した上で算出した座標に近い対象音源の座標が仮想音源テーブルＴＢＬ２に存在するかどうかを所定時間間隔ごとに判断し（Ｓ１０２）、存在しない場合には、ステップＳ５１の対象音源の特定処理の出力として、例えば、特定できなかった旨の情報を出力する。算出した座標に近い対象音源の座標が存在した場合には制御対象としての対象音源が特定されたと判断する。そして、ＣＰＵ１００は、ステップＳ５１の対象音源の特定処理の出力として、例えば、特定した対象音源を識別する情報を出力する。以上のように、本実施形態では、距離の調整と、端末装置の向け先の位置の算出と、対象音源の特定とを所定時間毎に実行する。
【００６８】
ステップＳ５１の対象音源の特定処理を開始した後は、対象音源が特定できたかどうかの確認を行う（Ｓ３８）。本実施形態では、一例として、対象音源の特定ができるまでステップＳ３８の処理を繰り返す。つまり、類似または近似した座標が仮想音源テーブルＴＢＬ２に存在せず、特定ができない場合には（Ｓ３８：ＮＯ）、例えば、「移動対象の音源の方向に向けて距離を調整してください」等のメッセージを端末装置１０の表示部１３０に表示し続け、対象音源の特定処理を続ける。但し、一定時間経過しても特定できない場合には、タイムアウトにより処理を終了させたり、処理をキャンセルするようにしてもよい。
【００６９】
ＣＰＵ１００は、対象音源が特定できたことを確認した場合には（Ｓ３８：ＹＥＳ）、ステップＳ５０の距離を含めた対象音源の特定処理を停止させ、例えば図１９に示すように、「左フロントプレゼンスチャネルを移動しますか？」等のメッセージとＹＥＳボタンＣおよびＮＯボタンＤを端末装置１０の表示部１３０に表示させる（Ｓ３９）。第１実施形態と同様に、端末装置１０をバイブレーション発生部１６０によりリアルタイムで振動させたり、端末装置１０のサウンド発生部１６１のスピーカからリアルタイムで音を出力するようにしてもよい。また、対象音源であると特定可能な候補が複数ある場合には、複数の候補を端末装置１０の表示部１３０に表示させるようにしてもよい。また、特定できた場合にステップＳ３９の確認メッセージのボタンは表示せずに、特定したチャネル名だけを表示し、特定したチャネルを記憶するだけで対象音源の特定処理を続けても良い。
【００７０】
以上のように、制御対象特定部としてのＣＰＵ１００は、端末装置１０を対象音源に向けた際に、ジャイロセンサ１５１および加速度センサ１５２の少なくとも一方により構成される角度情報出力部から出力されるｙａｗおよびｐｉｔｃｈからなる角度情報と、フェーダーＦの移動に基づく距離情報とに基づいて位置情報（座標）を算出し、算出した位置情報と、対象位置情報記憶部としてのメモリ１１０に記憶された仮想音源テーブルＴＢＬ２における各チャネルの位置情報との比較を行い、互いの位置情報のずれが所定範囲内である場合に、操作対象の音源として対応するチャネルを提示（表示）し、操作対象の決定を促す。
【００７１】
図１９に示す表示状態において、ユーザがＮＯボタンを押下した場合には（Ｓ４０：ＮＯ）、対象音源の特定処理を最初からやり直す。しかし、図１９に示す表示状態において、ユーザがＹＥＳボタンＣを押下した場合には（Ｓ４０：ＹＥＳ）、ＣＰＵ１００は、例えば図３０に示すように、「移動させたい方向へ向けて距離を調整してください」等のメッセージと、移動ボタンＥとを端末装置１０の表示部１３０に表示させる（Ｓ５２）。ＣＰＵ１００は、ユーザがこの表示したがって移動ボタンＥを押下したことを検知すると（Ｓ４２：ＹＥＳ）、距離を含めた仮想音源の設定位置の指定処理を開始する（Ｓ６０）。
【００７２】
図２８に距離を含めた仮想音源の設置位置の指定処理の具体的な内容を示す。仮想音源の設置位置の指定処理は、所定時間間隔で実行される処理である。この場合、移動ボタンＥが押されていることを検知するＣＰＵ１００は、距離調整指示部として機能する。ユーザがフェーダーＦを操作し、ＣＰＵ１００が、フェーダーＦの移動を検知すると、フェーダーＦの移動方向と移動量に応じて距離の調整を指示する。そして、位置情報更新部としても機能するＣＰＵ１００は、この指示に応じて距離を調整する（Ｓ２５０）。フェーダーＦの移動の検知処理と距離の調整処理は所定時間間隔ごとに行われ、フェーダーＦの移動が検知されなければ、次の処理（Ｓ２００~）が行われる。フェーダーＦの移動が検知された場合には、具体的には、上述の例と同様に、図２２および図２４に示す三角形における斜辺ａの長さを、フェーダーＦの移動方向に応じて変化させる。さらに、第１実施形態と同様に、所定時間間隔ごとに角度情報を取得して、仮想音源の設定位置の座標を算出する（Ｓ２００）。そして、所定時間間隔ごとに仮想音源を識別する情報、例えばチャネル名と、その仮想音源の位置情報を含む仮想音源情報をオーディオ信号処理装置２０に送信する（Ｓ２０１）。また、ＣＰＵ１００は、メモリ１１０に格納した仮想音源管理テーブルを更新する（図８：Ｓ２０２）。またフェーダーを移動ボタンと同じ意味を持たせ、ユーザーがフェーダーを操作している間だけ移動ボタンが押さされているとみなすことで、片手で容易に操作するようにしても良い。
【００７３】
オーディオ信号処理装置２０のＣＰＵ２１０は、仮想音源情報を受信すると、仮想音源管理テーブルＴＢＬ２を更新し、所定時間間隔で仮想音源を設定途中の位置に置いた場合のゲイン配分で入力オーディオ信号を計算し、オーディオ信号を出力する。ユーザーは移動ボタンＥを押しながら、仮想音源を移動させたい位置に端末装置１０を向け、設定途中の音像位置を確認しながら、対象音源を希望する位置に移動させ、希望位置で移動ボタンＥを離すと（Ｓ４６：ＹＥＳ）、仮想音源の設置位置の指定処理が完了する。
ＣＰＵ１００は、移動ボタンＥが離されたことを検知すると（Ｓ４６：ＹＥＳ）、オーディオ信号処理装置２０に対して、仮想音源の移動が完了した旨の情報を送信する（Ｓ４７）。オーディオ信号処理装置２０は、仮想音源の移動が完了した旨の情報を受信すると、ユーザが位置指定を行った仮想音源を含め、全体のチャネルを再生させるなどしてもよい。したがって、ユーザは、フェーダーＦの操作に応じて、自分自身に対する仮想音源の距離が変化することを認識することができ、リアルタイムで距離が変化する仮想音源の音を聞きながら最適な位置に仮想音源を設置することが可能となる。
【００７４】
以上のように、距離調整指示部としての機能するＣＰＵ１００が、ユーザの操作に応じて端末装置１０と目標位置との距離の調整を指示すると、制御対象特定部としても機能するＣＰＵ１００は、指示に応じて現在の端末装置と目標位置との距離を増減させる。つまり、目標位置を端末装置１０に近づける指示の場合には、現在よりも距離を短くし、目標位置を端末装置１０から遠ざける指示の場合には、現在よりも距離を長くする。制御対象特定部としてのＣＰＵ１００は、このようにして指示に基づいて増減させた距離と、角度情報出力部としてのセンサーから出力される角度情報とに基づいて、目標位置の位置情報を算出する。そして、制御対象特定部としてのＣＰＵ１００は、算出した目標位置の位置情報と、仮想音源テーブルＴＢＬ２に記憶された距離を考慮した各チャネルの位置情報とを比較し、互いの位置情報のずれが所定範囲内である場合には、対象音源が特定されたと判断する。
【００７５】
また、距離調整指示部としての機能するＣＰＵ１００が、ユーザの操作に応じて端末装置１０と対象音源の設定位置との距離の調整を指示すると、位置情報更新部としても機能するＣＰＵ１００は、指示に応じて現在の端末装置と設定位置との距離を増減させる。つまり、設定位置を端末装置１０に近づける指示の場合には、現在よりも距離を短くし、設定位置を端末装置１０から遠ざける指示の場合には、現在よりも距離を長くする。位置情報更新部としてのＣＰＵ１００は、このようにして指示に基づいて増減させた距離と、角度情報出力部としてのセンサーから出力される角度情報とに基づいて、設定位置の位置情報を算出する。そして、位置情報更新部としてのＣＰＵ１００は、算出した対象音源の位置情報を、新たな位置情報として仮想音源テーブルＴＢＬ２の内容を更新する。このようにして仮想音源の設定位置が指定される。ざらに、新たな位置情報はリアルタイムでオーディオ信号処理装置２０に送信され、オーディオ信号処理装置２０のＣＰＵ２１０が新たな位置情報で仮想音源テーブルＴＢＬ２の内容を更新するので、リアルタイムで仮想音源の音を聞きながら仮想音源の設定位置の指定が可能となる。
【００７６】
以上のように本実施形態によれば、制御対象の特定と制御対象の設置位置の指定において、制御対象とユーザとの距離を考慮するようにしたので、例えば、図３１に示すように、ユーザからの距離が異なる音像Ｒ１〜Ｒ４を特定することができ、さらに、ユーザからの距離が異なる位置に仮想音源Ｖ１〜Ｖ４を指定することができる。したがって、本実施形態によれば、制御対象の特定および位置の指定をより自由に行うことができる。
【００７７】
本実施形態では、距離の調整を、端末装置１０の表示部１３０に表示させたフェーダーを用いて行ったが、本発明はこの例に限定されるものではなく、表示部１３０に距離を表す数値を入力させるようにしてもよい。また、図５に示す端末装置１０から得られる角度情報の一つであるｒｏｌｌを用いてもよい。例えば、ｒｏｌｌの角度が反時計周りに大きくなった場合には図２２および図２４に示す三角形における斜辺ａの長さを短くし、ｒｏｌｌの角度が時計周りに大きくなった場合には図２２および図２４に示す三角形における斜辺ａの長さを長くするようにしてもよい。あるいは、ｒｏｌｌの角度が反時計周りに大きくなる場合に距離を短くし、ｒｏｌｌの角度が時計周りに大きくなる場合に距離を長くするようにしてもよい。ｒｏｌｌの角度を用いる場合には、表示部１３０上の表示を確認することが困難となることが考えられるので、制御対象を特定できた際に、端末装置１０のバイブレーション機能を使って端末装置１０を震わせたり、あるいは、サウンド機能を使ってブザー音等の音を発生させるようにしてもよい。
【００７８】
本実施形態では、制御対象の特定処理と設定位置の指定処理との両方の処理において距離の調整を行う例について説明したが、制御対象の特定処理と設定位置の指定処理とのいずれか一方の処理において距離の調整を行うようにしてもよい。
【００７９】
＜Ｃ：第３実施形態＞
次に、図３２ないし図３６を参照しつつ、本発明の第３実施形態について説明する。第１実施形態においては、図１１に示すように、端末装置１０の中心を座標原点とし、Ｘ軸方向の長さが２、Ｙ軸方向の長さが２、かつＺ軸方向の長さが２の３次元座標空間において、対象音源および仮想音源の座標を求めた。しかし、本発明はこの例に限定されるものではなく、例えば、図３２に示すように、端末装置１０の中心を座標原点とし、半径が１、かつＺ軸方向の長さが２の円柱形状の図形に投影することにより、対象音源および仮想音源の座標を求めるようにしてもよい。この場合にも、天井面および底面にはスピーカおよび仮想音源は配置しないこととする。図３３に示すＸＹ平面上におけるＸＹの座標は次のようにして求められる。
【００８０】
（数３）
ｘ＝ｓｉｎ（ｙａｗ）
ｙ＝ｃｏｓ（ｙａｗ）
また、Ｚの座標については、第１実施形態と同様に、ｐｉｔｃｈに基づいて求めればよい。
【００８１】
図１１に示す第１実施形態および図３２に示す第３実施形態のいずれの場合も、天井面および底面にスピーカおよび仮想音源を配置する場合には、ｐｉｔｃｈが＋４５°〜＋９０°または−４５°〜−９０°の時に、上述のようにして求めたＸＹ平面上のＸＹ座標に対して、（９０−ｐｉｔｃｈ）／４５を掛けることにより、３次元座標空間の天井または底面上の位置（Ｘ，Ｙ，Ｚ）を求めることができる。
【００８２】
さらに、図３４に示すように、端末装置１０によって指示された位置を、半径ｒの球上の極座標として求めてよい。この場合には、Ｘ、Ｙ、Ｚの座標はそれぞれ次のように求めることができる。
【００８３】
（数４）
ｘ＝ｒｃｏｓ（ｐｉｔｃｈ）ｓｉｎ（ｙａｗ）
ｙ＝ｒｃｏｓ（ｐｉｔｃｈ）ｃｏｓ（ｙａｗ）
ｚ＝ｒｓｉｎ（ｐｉｔｃｈ）
【００８４】
この場合には、テーブルに記憶された極座標のうち、端末装置１０の角度から算出された極座標と最も近い極座標の仮想音源等をユーザが特定したい音源と推定すればよい。また、仮想音源等の設定位置を指定する場合には、端末装置１０の角度から算出された極座標をテーブルに記憶すればよい。
【００８５】
また、図３５および図３６に示すように、ＸＹ平面およびＹＺ平面またはＸＺ平面において、所定の角度ごとに閾値を設け、スピーカおよび仮想音源がどの領域に属しているかを位置情報として記憶するようにしてもよい。図３５および図３６の例では、ＸＹ平面をＡ１〜Ａ１６の領域に分け、ＹＺ平面をＢ１〜Ｂ１６の領域に分けている。各領域の角度の間隔は均等である必要はなく、この例よりも更に細分化してもよいし、あるいは、大まかに区分するようにしてもよい。この場合には、端末装置１０の角度から算出された領域に属する仮想音源等をユーザが特定したい音源と推定すればよい。また、仮想音源等の設定位置を指定する場合には、その指定位置の属する領域を位置状態としてテーブルに記憶すればよい。
【００８６】
さらに、スピーカや仮想音源の位置情報を、奥行きを考慮せずに、ｙａｗおよびｐｉｔｃｈの角度で記憶しておくようにしてもよい。この場合には、端末装置１０の角度と最も近いスピーカや仮想音源を制御対象とすればよい。あるいは、端末装置１０の角度が、スピーカや仮想音源の角度に近づいた際に制御対象としてもよい。
【００８７】
＜Ｄ：第４実施形態＞
次に、図４を参照しつつ、本発明の第４実施形態について説明する。上述した実施形態においては、端末装置１０の表示部１３０に、制御対象や操作の確認メッセージを表示する例について説明した。つまり、上述した実施形態においては、ＣＰＵ１００および表示部１３０が、制御対象が特定されたことを報知する報知部として構成されていた。しかし、本発明のこの例に限定されるものではなく、例えば、図４に示す端末装置１０のバイブレーション発生部１６０によるバイブレーション機能あるいはサウンド発生部１６１によるサウンド機能を用いて、ユーザに報知するようにしてもよい。つまり、ＣＰＵ１００およびバイブレーション発生部１６０またはサウンド発生部１６１を、制御対象が特定されたことを報知する報知部として構成してもよい。
【００８８】
例えば、対象音源を特定しようとしてユーザが端末装置１０を音源の方向に向けた際、端末装置１０のｙａｗおよびｐｉｔｃｈの角度に近い位置情報を有する対象音源が存在した場合には、１度短くバイブレーションを発生させたり、予め設定しておいた音を発生させるようにしてもよい。また、バイブレーションを発生する回数や、音を発生させる回数を、制御対象ごとに変えるようにしてもよい。例えば、制御対象として、左フロントチャネルが特定可能な場合には１回、センタチャネルが特定可能な場合には２回、右フロントチャネルが特定可能な場合には３回というように、バイブレーションを発生する回数や、音を発生させる回数を、制御対象ごとに変えることも可能である。このように構成した場合には、ユーザが端末装置１０の表示部１３０を見なくても制御対象が特定されたことを知ることができ、利便性を高めることができる。
【００８９】
＜Ｆ：変形例＞
以上本発明の各実施形態について説明したが、これら実施形態に以下の変形を加えても勿論良い。
（１）上記各実施形態では、端末装置１０において角度情報を取得すると共に、座標の算出と制御対象の特定も端末装置１０において行った。しかし、端末装置１０において角度情報をオーディオ信号処理装置２０に送信し、オーディオ信号処理装置２０において座標の算出と制御対象の特定を行うようにしてもよい。
【００９０】
（２）上記各実施形態では、１種類の制御対象についてのみ処理を行った。しかし、上述したように、制御対象は、各チャネルによる音像、複数のチャネルのミキシングによる音像、仮想スピーカ、およびスピーカ等、複数存在する。そこで、端末装置１０の表示部１３０に、制御対象をリスト表示させ、ユーザにどの制御対象について処理を行うかを選択させるようにしてもよい。また、制御対象のリスト表示画面と、制御対象を選択する画面とを分けてもよい。
【００９１】
（３）上記各実施形態では、制御対象を特定した後に、制御対象の設定位置を指定する処理を行う例について説明した。しかし、制御対象を特定した後に、音量や音質を調整する等の編集処理を行うようにしてもよい。この場合には、端末装置１０の表示部１３０に、音量や音質の調整表示を行ったり、端末装置１０の姿勢の変化によって調整するようにしてもよい。なお、編集の内容は、制御対象によっても異なるので、制御対象に応じて、編集の内容が異なる画面を表示させるようにしてもよい。
【００９２】
（４）上記各実施形態では、常に全てのチャネルの音を再生する場合について説明した。しかし、制御対象を特定した時に、制御対象の音を強調して再生するようにしてもよい。この場合、他の音をミュートするようにしてもよいし、制御対象の音のみの音量を大きくするようにしてもよい。また、制御対象を特定処理が開始されるときに全ての音を消して、端末装置１０の向きが制御対象に近づいたときだけその場所から音を出すようにしてもよい。音は、現在再生されている音でもよいし、ビープ音などの固定音でもよい。さらに、上述した第２実施形態のように距離の調整が可能な構成においては、端末装置１０が指し示す位置が、目標位置に近づくほど、制御対象の音を大きくする等、強調して再生するようにしてもよい。
【００９３】
（５）上記各実施形態および各変形例においては、１台の端末装置１０を用いる場合について説明したが、複数台の端末装置１０を用いるようにしてもよい。複数台の端末装置１０を用いて、各端末装置１０において仮想音源等の特定処理を行う場合には、オーディオ信号処理装置２０において更新される仮想音源管理テーブルＴＢＬ２の仮想音源の位置情報を、複数台の端末装置１０が常に取得するように構成し、オーディオ信号処理装置２０と複数台の端末装置１０とにおいて、仮想音源管理テーブルＴＢＬ２の内容を同期するようにしてもよい。また、各端末装置１０において仮想音源等の特定処理を行う直前に、オーディオ信号処理装置２０から仮想音源管理テーブルＴＢＬ２の内容を取得して、各端末装置１０のメモリ１１０に格納させた仮想音源管理テーブルＴＢＬ２を更新するようにしてもよい。
【００９４】
（６）上記各実施形態および各変形例においては、端末装置１０とオーディオ信号処理装置２０とを備えたオーディオ信号処理システム１Ａに本発明を適用したが、本発明は、ポータブルオーディオプレイヤやスマートフォン等のように単体で音声や楽音などの様々な音響を再生する音響再生装置にも適用可能である。図３７は、本発明の変形例に係る音響再生装置の外観図である。音響再生装置３０は、音声や楽音などの様々な音響を再生する可搬型の機器（ポータブルオーディオプレイヤ）であり、本体部３１２と放音体３１４とを具備する。本体部３１２は、ステレオ形式の２系統の音響信号ＳOUT（ＳOUT_R，ＳOUT_L）を生成および出力する。放音体３１４は、本体部３１２が出力する各音響信号ＳOUTに応じた再生音を放射する機器（ヘッドホンやイヤホン）であり、再生音を聴取する利用者（以下「受聴者」という）の頭部に装着される。放音体３１４は、受聴者の右耳に装着されて音響信号ＳOUT_Rに応じた再生音を放射する放音部３１４Rと、受聴者の左耳に装着されて音響信号ＳOUT_Lに応じた再生音を放射する放音部３１４Lとで構成される。受聴者は、本体部３１２を胴体に携持する（例えば衣服のポケットに収容する）とともに放音体３１４を頭部に装着したうえで移動することが可能である。
【００９５】
図３８は、本体部３１２のブロック図である。図３８に示すように、本体部３１２は、演算処理装置３２０と記憶装置３３２と入力装置３３４と表示装置３３６と信号処理装置３４０とを具備するコンピュータシステムで実現される。入力装置３３４と表示装置３３６とが配置された筐体３５０（図３７）の内部に演算処理装置３２０と記憶装置３３２と信号処理装置３４０とが収容される。演算処理装置３２０は、記憶装置３３２が記憶するプログラムを実行することで複数の機能を実現する。
【００９６】
記憶装置３３２は、演算処理装置３２０が実行するプログラムや演算処理装置３２０が使用するデータを記憶する。半導体記録媒体や磁気記録媒体など公知の記録媒体が記憶装置３３２として任意に採用される。記憶装置３３２は、音響の波形を表す音響信号Ｓ0（サンプル系列）を例えば楽曲毎に記憶する。また、記憶装置３３２は、音響信号Ｓ0に付与される伝達特性（頭部伝達関数）を表す複数の伝達特性データＤを記憶する。さらに、記憶装置３３２は、上記各実施形態で説明した仮想音源管理テーブルＴＢＬ２を記憶する。
【００９７】
信号処理装置３４０は、音響信号Ｓ0を処理して音響信号ＳOUT（ＳOUT_R，ＳOUT_L）を生成する電子回路（ＤＳＰ）である。図３８に示すように、信号処理装置３４０は、音像定位部３４２とＤ/Ａ変換部３４４とを含んで構成される。音像定位部３４２は、放音体３１４からの再生音を聴取したときに受聴者が知覚する音像を特定の位置の仮想的な発音点（以下「仮想発音点」という）に定位させる、すなわち、仮想音源を仮想発音点に定位させるための音像定位処理を音響信号Ｓ0に対して実行することで音響信号Ｑ（Ｑ_R，Ｑ_L）を生成する。Ｄ/Ａ変換部３４４は、音像定位部３４２が生成したデジタルの音響信号Ｑ（Ｑ_R，Ｑ_L）をアナログの音響信号ＳOUT（ＳOUT_R，ＳOUT_L）に変換して放音体３１４に出力する。なお、仮想発音点の位置情報は、仮想音源管理テーブルＴＢＬ２に記憶される。
【００９８】
図３９は、音像定位部３４２のブロック図である。図３９に示すように、音像定位部３４２は、信号分離部３７２と畳込演算部３７４と信号合成部３７６とを含んで構成される。信号分離部（サラウンドコーデック）３７２は、記憶装置３３２に記憶された音響信号Ｓ0から複数の系統（5.1ch）の音響信号Ｓ（Ｓd_L，Ｓd_R，Ｓd_C，Ｓd_LS，Ｓd_RS，ＳLF）を生成する。音響信号ＳLF以外の５系統の音響信号Ｓd（Ｓd_L，Ｓd_R，Ｓd_C，Ｓd_LS，Ｓd_RS）の各々は、受聴者であるユーザに対して特定の方向（以下「受音方向」と表記する）から到来する音響に相当する。さらに詳述すると、音響信号Ｓd_Lおよび音響信号Ｓd_Rは、受聴者に対して前方の左右から到来する音響に相当する。また、音響信号Ｓd_Cは、受聴者の正面から到来する音響に相当し、音響信号Ｓd_LSおよび音響信号Ｓd_RSは、受聴者であるユーザに対して後方の左右から到来する音響に相当する。一方、音響信号ＳLFは低音域の音響に相当する。
【００９９】
畳込演算部３７４は、信号分離部３７２による処理後の各音響信号Ｓdに伝達特性（頭部伝達関数）Ｈを付加する。図３９に示すように、畳込演算部３７４は、音響信号ＳLF以外の各音響信号Ｓd（Ｓd_L，Ｓd_R，Ｓd_C，Ｓd_LS，Ｓd_RS）が供給される５個のフィルタ処理部３７８で構成される。各フィルタ処理部３７８は、右耳用のフィルタ３７８Rと左耳用のフィルタ３７８Lとで構成される。フィルタ３７８Lおよびフィルタ３７８Rの各々は、信号分離部３７２から供給される音響信号Ｓdに対して伝達特性Ｈの畳込み演算を実行するＦＩＲ（Finite Impulse Response）フィルタである。伝達特性Ｈは、例えばインパルス応答の時間軸上の波形を表す係数列であり、再生音の音像が仮想発音点に定位するように、すなわち、仮想音源が仮想発音点に定位するように各フィルタ処理部３７８のフィルタ３７８Rとフィルタ３７８Lとについて演算処理装置３２０が個別に設定する。
【０１００】
信号合成部３７６は、各フィルタ処理部３７８のフィルタ３７８Lによる処理後の音響信号Ｓd（Ｓd_L，Ｓd_R，Ｓd_C，Ｓd_LS，Ｓd_RS）と信号分離部３７２が生成する音響信号ＳLFとを加算することで音響信号Ｑ_Lを生成する。同様に、信号合成部３７６は、各フィルタ処理部３７８のフィルタ３７８Rによる処理後の音響信号Ｓd（Ｓd_L，Ｓd_R，Ｓd_C，Ｓd_LS，Ｓd_RS）と音響信号ＳLFとを加算することで音響信号Ｑ_Rを生成する。信号合成部７６が生成した音響信号Ｑ_Lおよび音響信号Ｑ_Rは、Ｄ/Ａ変換部３４４にて音響信号ＳOUT_Lおよび音響信号ＳOUT_Rに変換されたうえで放音体３１４に出力される。
【０１０１】
図３８の入力装置３３４は、音響再生装置３０に対する指示のためにユーザが操作する操作子で構成される。例えば、ユーザは、入力装置３３４を適宜に操作することで、音響再生装置３０が再生する楽曲（音響信号Ｓ0）の選択や仮想音源の仮想発音点の初期的な位置の指定を実行する。表示装置３３６は、例えば、ユーザによる選択の候補となる複数の楽曲の名称や受聴者と仮想発音点との関係を表す画像、あるいは映画やアニメなどの動画像を表示する。また、表示装置３３６は、上記各実施形態と同様に、仮想音源の特定処理および仮想音源の設定位置の指定処理を行う際にユーザに対して操作を促す表示、確認を求める表示等を行う。
【０１０２】
図３８に示すように、音響再生装置３０は、ジャイロセンサ３６１と加速度センサ３６２とを具備する。ジャイロセンサ３６１と加速度センサ３６２の各々は、自身の方位を検出するセンサである。
【０１０３】
以上のような音響再生装置３０において、仮想音源を仮想発音点に定位させた状態で、仮想音源の位置の指定を行うプログラムを起動させることにより、上記各実施形態と同様に、仮想音源の特定処理と、仮想音源の設定位置の指定処理を行うことができる。つまり、仮想発音点の方向に音響再生装置３０を向けることにより、仮想発音点の仮想音源を特定することができ、移動ボタンを押下しながら音響再生装置３０を所望の方向に向けることにより、仮想音源の仮想発音点を所望の方向に移動させることができる。なお、この変形の例においては、ｙａｗのリセット処理を行う場合のリセットの方向は、ユーザの正面となる。上記音像定位部342相当の機能を図３のレシーバーにも持たせることで、複数のスピーカーではなくイヤホンでユーザーが聞くようにしても良い。
【符号の説明】
【０１０４】
１Ａ…オーディオ信号処理システム、１０…端末装置、２０…オーディオ信号処理装置、３０…音響再生装置、１００…ＣＰＵ、１１０…メモリ、１５１…ジャイロセンサ、１５２…加速度センサ、１５３…方位センサ、２１０…ＣＰＵ、２３０…メモリ、３０１…ミキサ、３１０…周波数補正部、３２０…ゲイン分配部、ＩＮ１〜ＩＮ９…入力オーディオ信号、ＯＵＴ１〜ＯＵＴ９…出力オーディオ信号、Ｐｒｅｆ…基準位置、ＳＰ１…センタスピーカ、ＳＰ２…右フロントスピーカ、ＳＰ３…右サラウンドスピーカ、ＳＰ４…左サラウンドスピーカ、ＳＰ５…左フロントスピーカ、ＳＰ６…右フロントプレゼンススピーカ、ＳＰ７…右リアプレゼンススピーカ、ＳＰ８…左リアプレゼンススピーカ、ＳＰ９…左フロントプレゼンススピーカ、ＴＢＬ１…スピーカ管理テーブル、ＴＢＬ２…仮想音源テーブル。
【図１】
2016100688.tif 000003
【図２】
2016100688.tif 000004
【図３】
2016100688.tif 000005
【図４】
2016100688.tif 000006
【図５】
2016100688.tif 000007
【図６】
2016100688.tif 000008
【図７】
2016100688.tif 000009
【図８】
2016100688.tif 000010
【図９】
2016100688.tif 000011
【図１０】
2016100688.tif 000012
【図１１】
2016100688.tif 000013
【図１２】
2016100688.tif 000014
【図１３】
2016100688.tif 000015
【図１４】
2016100688.tif 000016
【図１５】
2016100688.tif 000017
【図１６】
2016100688.tif 000018
【図１７】
2016100688.tif 000019
【図１８】
2016100688.tif 000020
【図１９】
2016100688.tif 000021
【図２０】
2016100688.tif 000022
【図２１】
2016100688.tif 000023
【図２２】
2016100688.tif 000024
【図２３】
2016100688.tif 000025
【図２４】
2016100688.tif 000026
【図２５】
2016100688.tif 000027
【図２６】
2016100688.tif 000028
【図２７】
2016100688.tif 000029
【図２８】
2016100688.tif 000030
【図２９】
2016100688.tif 000031
【図３０】
2016100688.tif 000032
【図３１】
2016100688.tif 000033
【図３２】
2016100688.tif 000034
【図３３】
2016100688.tif 000035
【図３４】
2016100688.tif 000036
【図３５】
2016100688.tif 000037
【図３６】
2016100688.tif 000038
【図３７】
2016100688.tif 000039
【図３８】
2016100688.tif 000040
【図３９】
2016100688.tif 000041