(57)【要約】【課題】音像の移動の記録と再生を直観的で判りやすい操作により実現する。【解決手段】端末装置１０を音像の移動開始位置に向けて移動ボタンを押すと（Ｓ４１）、Ｚ軸に直交するＹ軸の方向を基準としたＺ軸回りの回転角度と、端末装置１０の軸であって、端末装置１０から所定の位置へ向かう方向の軸と直交し、かつ、Ｚ軸と直交する軸の回りの傾斜角度とを端末装置１０のセンサから回転角度と傾斜角度を角度情報として取得する。端末装置１０は、角度情報に基づいて位置情報を算出し、オーディオ信号処理装置２０に送信する（Ｓ４２）。これ以降も移動ボタンを押しながら音像の軌跡を描くように端末装置１０の向け先を移動させ、所定のサンプリング間隔ごとに角度情報に基づいて位置情報を算出し、オーディオ信号処理装置２０に送信する。【選択図】図６
2016100689.tif 000002
【特許請求の範囲】
【請求項１】
端末装置を所定の位置に向けた際の、鉛直軸に直交する２つの軸のうちの一方の方向を基準とした前記鉛直軸回りの回転角度と、前記端末装置の軸であって、前記端末装置から前記所定の位置へ向かう方向の軸と直交し、かつ、前記鉛直軸と直交する軸の回りの傾斜角度とを検出し、前記回転角度と前記傾斜角度を角度情報として出力する角度情報出力部と、
移動軌跡の送信開始を指示する送信開始指示部と、
送信開始指示部からの送信開始の指示後、前記端末装置を前記所定の位置に向けた際に、前記角度情報出力部から出力された前記角度情報を、所定のタイミングで取得する軌跡点情報取得部と、
少なくとも前記角度情報または前記角度情報に関連する関連情報を、前記端末装置と通信可能な外部の処理装置に所定のタイミングで送信する送信部とを備える、
を備えることを特徴とする端末装置。
【請求項２】
前記関連情報として、前記角度情報に基づいて前記所定の位置の位置情報を所定のタイミングで算出する軌跡点情報算出部を備える、
ことを特徴とする請求項１に記載の端末装置。
【請求項３】
前記端末装置と前記端末装置の目標位置との距離の調整を指示する距離調整指示部と、
前記距離調整指示部からの指示に基づいて前記距離を調整した距離情報を出力する距離調整部と、を備え、
前記送信部は、前記角度情報と共に前記距離情報を送信する、
ことを特徴とする請求項１に記載の端末装置。
【請求項４】
前記端末装置と前記端末装置の目標位置との距離の調整を指示する距離調整指示部と、
前記距離調整指示部からの指示に基づいて前記距離を調整した距離情報を出力する距離調整部と、を備え、
前記軌跡点情報算出部は、前記関連情報として、前記角度情報および前記距離情報に基づいて前記所定の位置の位置情報を所定のタイミングで算出する、
ことを特徴とする請求項２に記載の端末装置。
【請求項５】
端末装置と、入力信号に所定の処理を施すとともに、複数のスピーカのそれぞれに対応したチャンネルの信号を出力するオーディオ信号処理装置とを有するオーディオ信号処理システムであって、
前記端末装置は、
端末装置を所定の位置に向けた際の、鉛直軸に直交する２つの軸のうちの一方の方向を基準とした前記鉛直軸回りの回転角度と、前記端末装置の軸であって、前記端末装置から前記所定の位置へ向かう方向の軸と直交し、かつ、前記鉛直軸と直交する軸の回りの傾斜角度とを検出し、前記回転角度と前記傾斜角度を角度情報として出力する角度情報出力部と、
移動軌跡の送信開始を指示する送信開始指示部と、
送信開始指示部からの送信開始の指示後、前記端末装置を前記所定の位置に向けた際に、前記角度情報出力部から出力された前記角度情報を、所定のタイミングで取得する軌跡点情報取得部と、
少なくとも、前記制御対象を識別する識別情報と、前記軌跡点情報取得部により取得した前記角度情報または前記角度情報に関連する関連情報とを、所定のタイミングで前記オーディオ信号処理装置に送信する送信部とを備え、
前記オーディオ信号処理装置は、
前記端末装置から送信される前記制御対象を識別する前記識別情報と、前記角度情報または前記角度情報に関連する関連情報とを受信する受信部と、
前記識別情報と、前記角度情報または前記角度情報に関連する関連情報とに基づいて、前記識別情報により識別される前記制御対象を再生する再生部と、を備える、
ことを特徴とするオーディオ信号処理システム。
【請求項６】
前記角度情報に関連する関連情報として、前記角度情報に基づいて前記所定の位置の位置情報を所定のタイミングで算出する軌跡点情報算出部を備える、
ことを特徴とする請求項５に記載のオーディオ信号処理システム。
【請求項７】
前記オーディオ信号処理装置は、前記位置情報を前記識別情報に関連付けて記録する制御対象情報記録部を備える、
ことを特徴とする請求項６に記載のオーディオ信号処理システム。
【請求項８】
端末装置と、入力信号に所定の処理を施すとともに、複数のスピーカのそれぞれに対応したチャンネルの信号を出力するオーディオ信号処理装置と、前記端末装置および前記オーディオ信号処理装置の双方との通信が可能な情報処理装置と、を有するオーディオ信号処理システムであって、
前記端末装置は、
端末装置を所定の位置に向けた際の、鉛直軸に直交する２つの軸のうちの一方の方向を基準とした前記鉛直軸回りの回転角度と、前記端末装置の軸であって、前記端末装置から前記所定の位置へ向かう方向の軸と直交し、かつ、前記鉛直軸と直交する軸の回りの傾斜角度とを検出し、前記回転角度と前記傾斜角度を角度情報として出力する角度情報出力部と、
移動軌跡の送信開始を指示する送信開始指示部と、
送信開始指示部からの送信開始の指示後、前記端末装置を所定の位置に向けた際に前記角度情報出力部から出力された前記角度情報を、所定のタイミングで取得する軌跡点情報取得部と、少なくとも前記角度情報または前記角度情報に関連する関連情報を前記情報処理装置に所定のタイミングで送信する送信部と、を備え、
前記情報処理装置は、
前記少なくとも前記角度情報または前記角度情報に関連する関連情報を受信する情報処理受信部と、
少なくとも前記角度情報または前記角度情報に関連する関連情報を記録する情報処理記録部と、
少なくとも前記角度情報または前記角度情報に関連する関連情報と、前記移動軌跡で移動させる制御対象を識別する識別情報とを、前記オーディオ信号処理装置に所定のタイミングで送信する情報処理送信部と、を備え、
前記オーディオ信号処理装置は、
前記情報処理装置から送信される少なくとも前記角度情報または前記角度情報に関連する関連情報と前記識別情報とを受信する受信部と、
前記受信部により受信した少なくとも前記角度情報または前記角度情報に関連する関連情報に基づいて、前記識別情報により識別される前記制御対象を再生する再生部と、を備え、
前記角度情報に関連する関連情報として、前記角度情報に基づいて前記所定の位置の位置情報を所定のタイミングで算出する軌跡点情報算出部を、前記端末装置、前記情報処理送信部、および前記オーディオ信号処理装置のいずれかに備える、
ことを特徴とするオーディオ信号処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数のスピーカを用いて臨場感の高い音を再生する技術に関し、特に音像の移動と記録を支援する技術に関する。
【背景技術】
【０００２】
この種の技術の一例としては、パーソナルコンピューターのマンマシンインターフェースであるディスプレイやマウス等のポインティングデバイスを用いて、音像が移動する軌跡を入力し、入力した位置を、再生する音の時間軸上に設定することによって、音像が移動する速度を設定する技術が知られている（例えば、特許文献１）。特許文献１の技術では、各時間の経過に伴う音像の定位位置を音像データとして記憶させ、入力された音像信号を、各時間の音像移動データに基づいて定位させて再生させていた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−２２２２９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の方法では、ディスプレイやマウス等のポインティングデバイスを用いて、音像が移動する軌跡を入力するため、ユーザにとって直観的で判り易い操作により音像の移動する軌跡を設定することは困難であった。
【０００５】
本発明は上記課題に鑑みて為されたものであり、音像の移動と再生を直観的で判りやすい操作により実現する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために本発明の端末装置は、端末装置を所定の位置に向けた際の、鉛直軸に直交する２つの軸のうちの一方の方向を基準とした前記鉛直軸回りの回転角度と、前記端末装置の軸であって、前記端末装置から前記所定の位置へ向かう方向の軸と直交し、かつ、前記鉛直軸と直交する軸の回りの傾斜角度とを検出し、前記回転角度と前記傾斜角度を角度情報として出力する角度情報出力部と、移動軌跡の送信開始を指示する送信開始指示部と、送信開始指示部からの送信開始の指示後、前記端末装置を前記所定の位置に向けた際に、前記角度情報出力部から出力された前記角度情報を、所定のタイミングで取得する軌跡点情報取得部と、少なくとも前記角度情報または前記角度情報に関連する関連情報を、前記端末装置と通信可能な外部の処理装置に所定のタイミングで送信する送信部と、を備えることを特徴とする。
【０００７】
本発明の端末装置によれば、端末装置を所定の位置に向けると、角度情報出力部により、鉛直軸に直交する２つの軸のうちの一方の方向を基準とした前記鉛直軸回りの回転角度と、前記端末装置の軸であって、前記端末装置から前記所定の位置へ向かう方向の軸と直交し、かつ、前記鉛直軸と直交する軸の回りの傾斜角度とが、角度情報として出力される。送信開始指示部から移動軌跡の送信開始が指示され、端末装置の向け先が所望の軌跡を描くように端末装置の向け先を所定の位置に移動させると、軌跡点情報取得部は、角度情報出力部から出力された角度情報を、所定のタイミングで取得する。送信部は、少なくとも前記角度情報または前記角度情報に関連する関連情報を、前記端末装置と通信可能な外部の処理装置に所定のタイミングで送信する。本発明によれば、端末装置の向け先を移動させるという直観的で判りやすい操作をすることにより、制御対象の所望の軌跡に関する情報である角度情報または角度情報に関連する関連情報を、端末装置と通信可能な外部の処理装置に伝達することができる。その結果、外部の処理装置における制御対象の所望の軌跡の記録、もしくは制御対象の再生、あるいはその双方が可能となる。なお、本発明において、「制御対象」とは、音像等を含む概念である。以下、本発明の説明において同様である。また、「所定のタイミング」とは、一定のサンプリング間隔、あるいは、角度情報が変化したタイミング等を含む概念であり、以下、本発明の説明において同様である。さらに、「角度情報に関連する関連情報」とは、角度情報に基づいて算出される位置情報を含む概念である。以下、本発明の説明において同様である。
【０００８】
より好ましい態様としては、前記角度情報に関連する関連情報として、前記角度情報に基づいて前記所定の位置の位置情報を所定のタイミングで算出する軌跡点情報算出部を備えるようにしてもよい。この場合には、軌跡点情報算出部により、端末装置を向けた所定の位置の位置情報が角度情報に基づいて算出されるので、位置情報が外部の処理装置に送信され、外部の処理装置における位置情報の記録、もしくは位置情報に基づく制御対象の再生、あるいはその双方が可能となる。
【０００９】
さらに好ましい態様としては、前記端末装置と前記端末装置の目標位置との距離の調整を指示する距離調整指示部と、前記距離調整指示部からの指示に基づいて前記距離を調整した距離情報を出力する距離調整部と、を備え、前記送信部は、前記角度情報と共に前記距離情報を送信するようにしてもよい。この場合には、距離調整指示部によって端末装置と端末装置の目標位置との距離の調整が指示されると、距離調整部は、距離調整指示部からの指示に基づいて前記距離を調整した距離情報を出力する。そして、送信部は、角度情報と共に距離情報を送信する。したがって、端末装置の向け先を移動させるという直観的で判りやすい操作をすることにより、制御対象と所望の軌跡を描く端末装置との距離に関する距離情報が角度情報と共に外部の処理装置に送信され、外部の処理装置における距離を含めた位置情報の記録、もしくは距離を含めた位置情報に基づく制御対象の再生、あるいはその双方が可能となる。
【００１０】
さらに好ましい態様としては、前記端末装置と前記端末装置の目標位置との距離の調整を指示する距離調整指示部と、前記距離調整指示部からの指示に基づいて前記距離を調整した距離情報を出力する距離調整部と、を備え、前記軌跡点情報算出部は、前記関連情報として、前記角度情報および前記距離情報に基づいて前記所定の位置の位置情報を所定のタイミングで算出するようにしてもよい。この場合には、距離調整指示部によって端末装置と端末装置の目標位置との距離の調整が指示されると、距離調整部は、距離調整指示部からの指示に基づいて前記距離を調整した距離情報を出力する。軌跡点情報算出部は、角度情報と距離情報に基づいて前記所定の位置の位置情報を所定のタイミングで算出する。そして、送信部は、距離を含めた位置情報を外部の処理装置に送信する。したがって、端末装置の向け先を移動させるという直観的で判りやすい操作をすることにより、制御対象と所望の軌跡を描く端末装置との距離に関する距離情報を含めた位置情報が外部の処理装置に送信され、外部の処理装置における距離を含めた位置情報の記録、もしくは距離を含めた位置情報に基づく制御対象の再生、あるいはその双方が可能となる。
【００１１】
上記課題を解決するために本発明のオーディオ信号処理システムは、端末装置と、入力信号に所定の処理を施すとともに、複数のスピーカのそれぞれに対応したチャンネルの信号を出力するオーディオ信号処理装置とを有するオーディオ信号処理システムであって、前記端末装置は、端末装置を所定の位置に向けた際の、鉛直軸に直交する２つの軸のうちの一方の方向を基準とした前記鉛直軸回りの回転角度と、前記端末装置の軸であって、前記端末装置から前記所定の位置へ向かう方向の軸と直交し、かつ、前記鉛直軸と直交する軸の回りの傾斜角度とを検出し、前記回転角度と前記傾斜角度を角度情報として出力する角度情報出力部と、移動軌跡の送信開始を指示する送信開始指示部と、送信開始指示部からの送信開始の指示後、前記端末装置を前記所定の位置に向けた際に、前記角度情報出力部から出力された前記角度情報を、所定のタイミングで取得する軌跡点情報取得部と、少なくとも、前記制御対象を識別する識別情報と、前記軌跡点情報取得部により取得した前記角度情報または前記角度情報に関連する関連情報とを、所定のタイミングで前記オーディオ信号処理装置に送信する送信部とを備え、前記オーディオ信号処理装置は、前記端末装置から送信される前記制御対象を識別する前記識別情報と、前記角度情報または前記角度情報に関連する関連情報とを受信する受信部と、前記識別情報と、前記角度情報または前記角度情報に関連する関連情報とに基づいて、前記識別情報により識別される前記制御対象を再生する再生部と、を備えることを特徴とする。
【００１２】
本発明のオーディオ信号処理システムによれば、端末装置を所定の位置に向けると、角度情報出力部により、鉛直軸に直交する２つの軸のうちの一方の方向を基準とした前記鉛直軸回りの回転角度と、前記端末装置の軸であって、前記端末装置から前記所定の位置へ向かう方向の軸と直交し、かつ、前記鉛直軸と直交する軸の回りの傾斜角度とが、角度情報として出力される。送信開始指示部から移動軌跡の送信開始が指示され、端末装置の向け先が所望の軌跡を描くように端末装置の向け先を移動させると、軌跡点情報取得部は、端末装置を向けた位置の位置情報を、角度情報出力部から出力された角度情報を、所定のタイミングで取得する。端末装置の送信部により、制御対象を識別する識別情報と、取得した前記角度情報または前記角度情報に関連する関連情報とが、所定のタイミングでオーディオ信号処理装置に送信されると、オーディオ信号処理装置は、受信部において識別情報と、角度情報または前記角度情報に関連する関連情報とを受信する。再生部が、受信部により受信した識別情報と、角度情報または前記角度情報に関連する関連情報とに基づいて、前記識別情報により識別される前記制御対象を再生する。したがって、制御対象の再生音を確認しながら制御対象を所望の軌跡を描くように移動させることが可能となる。
【００１３】
より好ましい態様としては、前記角度情報に関連する関連情報として、前記角度情報に基づいて前記所定の位置の位置情報を所定のタイミングで算出する軌跡点情報算出部を備えるようにしてもよい。この場合には、軌跡点情報算出部により、端末装置を向けた所定の位置の位置情報が角度情報に基づいて算出され、送信部により位置情報がオーディオ信号処理装置に送信される。オーディオ信号処理装置は、受信部において位置情報を受信すると、位置情報に基づいて制御対象の再生を行う。したがって、制御対象の再生音を確認しながら、端末装置の向け先を移動させるという直観的で判りやすい操作をすることにより、制御対象を移動させることができる。
【００１４】
より好ましい態様としては、前記オーディオ信号処理装置は、前記位置情報を前記識別情報に関連付けて記録する制御対象情報記録部を備えるようにしてもよい。この場合には、制御対象情報記録部は、算出した位置情報を識別情報に関連付けて記録する。したがって、端末装置の向け先を移動させるという直観的で判りやすい操作をすることにより、制御対象の所望の軌跡を記録することができる。
【００１５】
上記課題を解決するために本発明のオーディオ信号処理システムは、端末装置と、入力信号に所定の処理を施すとともに、複数のスピーカのそれぞれに対応したチャンネルの信号を出力するオーディオ信号処理装置と、前記端末装置および前記オーディオ信号処理装置の双方との通信が可能な情報処理装置と、を有するオーディオ信号処理システムであって、前記端末装置は、端末装置を所定の位置に向けた際の、鉛直軸に直交する２つの軸のうちの一方の方向を基準とした前記鉛直軸回りの回転角度と、前記端末装置の軸であって、前記端末装置から前記所定の位置へ向かう方向の軸と直交し、かつ、前記鉛直軸と直交する軸の回りの傾斜角度とを検出し、前記回転角度と前記傾斜角度を角度情報として出力する角度情報出力部と、移動軌跡の送信開始を指示する送信開始指示部と、送信開始指示部からの送信開始の指示後、前記端末装置を前記所定の位置に向けた際に前記角度情報出力部から出力された前記角度情報を、所定のタイミングで取得する軌跡点情報取得部と、少なくとも前記角度情報または前記角度情報に関連する関連情報を前記情報処理装置に所定のタイミングで送信する送信部と、を備え、前記情報処理装置は、前記少なくとも前記角度情報または前記角度情報に関連する関連情報を受信する情報処理受信部と、少なくとも前記角度情報または前記角度情報に関連する関連情報を記録する情報処理記録部と、少なくとも前記角度情報または前記角度情報に関連する関連情報と、前記移動軌跡で移動させる制御対象を識別する識別情報とを、前記オーディオ信号処理装置に所定のタイミングで送信する情報処理送信部と、を備え、前記オーディオ信号処理装置は、前記情報処理装置から送信される少なくとも前記角度情報または前記角度情報に関連する関連情報と前記識別情報とを受信する受信部と、前記受信部により受信した少なくとも前記角度情報または前記角度情報に関連する関連情報に基づいて、前記識別情報により識別される前記制御対象を再生する再生部と、を備え、前記角度情報に関連する関連情報として、前記角度情報に基づいて前記所定の位置の位置情報を所定のタイミングで算出する軌跡点情報算出部を、前記端末装置、前記情報処理送信部、および前記オーディオ信号処理装置のいずれかに備える、ことを特徴とする。
【００１６】
本発明のオーディオ信号処理システムによれば、端末装置を所定の位置に向けると、角度情報出力部により、鉛直軸に直交する２つの軸のうちの一方の方向を基準とした前記鉛直軸回りの回転角度と、前記端末装置の軸であって、前記端末装置から前記所定の位置へ向かう方向の軸と直交し、かつ、前記鉛直軸と直交する軸の回りの傾斜角度とが、角度情報として出力される。送信開始指示部から移動軌跡の送信開始が指示され、端末装置の向け先が所望の軌跡を描くように端末装置を所定の位置に向けると、軌跡点情報取得部は、角度情報出力部から出力された角度情報を、所定のタイミングで取得する。端末装置の送信部は、少なくとも前記取得した角度情報または前記取得した角度情報に関連する関連情報を、情報処理装置に所定のタイミングで送信する。情報処理装置の情報処理受信部は、少なくとも前記角度情報または前記角度情報に関連する関連情報を受信する。また、情報処理記録部は、受信した少なくとも角度情報または角度情報に関連する関連情報を記録する。情報処理送信部は、情報処理記録部に記録した少なくとも角度情報または角度情報に関連する関連情報と、制御対象を識別する識別情報とを、オーディオ信号処理装置に所定のタイミングで送信する。オーディオ信号処理装置においては、受信部が識別情報と少なくとも角度情報または角度情報に関連する関連情報とを受信し、再生部は、受信した識別情報と少なくとも角度情報または角度情報に関連する関連情報とに基づいて、前記識別情報により識別される前記制御対象を再生する。また、角度情報に関連する関連情報として、角度情報に基づいて前記所定の位置の位置情報を所定のタイミングで算出する軌跡点情報算出部が、端末装置、情報処理送信部、およびオーディオ信号処理装置のいずれかに備えられる。以上のような本発明のシステムにおいては、端末装置から送信される少なくとも角度情報または角度情報に関連する関連情報は、情報処理装置において記録される。したがって、端末装置において直観的な操作により記録した制御対象の軌跡を、情報処理装置において修正する等の編集を行うことができる。そして、その後に情報処理装置から識別情報を伴ってオーディオ信号処理装置に送信され、オーディオ信号処理装置において再生されるので、制御対象の音を確認しながら制御対象の所望の軌跡を描くように移動させることが可能となる。
【００１７】
本発明は、端末装置のみならず、プロセッサを備えた端末装置のプログラムとしても概念することができる。上記プログラムは記録媒体に格納されても良い。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１実施形態のオーディオ信号処理システムの構成例を示す図である。
【図２】オーディオ信号処理システムにおけるスピーカ配置の一例を示す図である。
【図３】オーディオ信号処理システムに含まれるオーディオ信号処理装置の構成例を示すブロック図である。
【図４】オーディオ信号処理システムに含まれる端末装置の構成例を示すブロック図である。
【図５】端末装置から出力される角度情報を説明するための図である。
【図６】端末装置における全体的な処理を示すフローチャートである。
【図７】端末装置における対象音像の特定処理を示すフローチャートである。
【図８】端末装置における対象音像の軌跡点送信処理を示すフローチャートである。
【図９】オーディオ信号処理装置における対象音像の再生処理および軌跡点の記録処理を示すフローチャートである。
【図１０】端末装置のリセット処理時における表示例を示す図である。
【図１１】端末装置のリセット方向について説明するための図である。
【図１２】第１実施形態で用いられる３次元座標空間を説明するための図である。
【図１３】スピーカ管理テーブルを示す図である。
【図１４】音像管理テーブルを示す図である。
【図１５】移動音像テーブルを示す図である。
【図１６】第１実施形態における対象音像の特定処理の際の座標算出処理を説明するための図である。
【図１７】第１実施形態における対象音像の特定処理の際の座標算出処理を説明するための図である。
【図１８】第１実施形態における対象音像の特定処理の際の座標算出例を説明するための図である。
【図１９】第１実施形態における対象音像の特定処理の際の座標算出例を説明するための図である。
【図２０】対象音像の特定処理の開始時における端末装置の表示例を示す図である。
【図２１】対象音像が特定された際の端末装置の表示例を示す図である。
【図２２】対象音像の軌跡点送信処理における端末装置の表示例を示す図である。
【図２３】第１実施形態における対象音像の位置指定処理の際の座標算出例を説明するための図である。
【図２４】第１実施形態における対象音像の位置指定処理の際の座標算出例を説明するための図である。
【図２５】第１実施形態における対象音像の位置指定処理の際の座標算出例を説明するための図である。
【図２６】第１実施形態における対象音像の位置指定処理の際の座標算出例を説明するための図である。
【図２７】第２実施形態における端末装置の対象音像の音像情報の送信処理を示すフローチャートである。
【図２８】第２実施形態におけるオーディオ信号処理装置の対象音像の再生処理および軌跡点記録処理を示すフローチャートである。
【図２９】第３実施形態における端末装置の全体的な処理を示すフローチャートである。
【図３０】端末装置における距離調整を含めた対象音像の特定処理を示すフローチャートである。
【図３１】端末装置における距離調整を含めた対象音像の音像情報の送信処理を示すフローチャートである。
【図３２】対象音像の特定処理において距離を調整する際の端末装置の表示例を示す図である。
【図３３】対象音像の軌跡点送信処理において距離を調整する際の端末装置の表示例を示す図である。
【図３４】距離の調整により特定可能および位置指定可能な音像を説明するための図である。
【図３５】第４実施形態におけるオーディオ信号処理システムを示す概略図である。
【図３６】第４実施形態におけるパーソナルコンピュータの構成例を示すブロック図である。
【図３７】第４実施形態における端末装置の全体的な処理を示すフローチャートである。
【図３８】第４実施形態における対象音像の軌跡的送信処理を示すフローチャートである。
【図３９】第４実施形態に係るパーソナルコンピュータにおける対象音像の再生処理および軌跡点記録処理を示すフローチャートである。
【図４０】第５実施形態における再生テーブルを示す図である。
【図４１】第６実施形態で用いられる３次元座標空間を説明するための図である。
【図４２】第６実施形態における座標算出処理を説明するための図である。
【図４３】第６実施形態で用いられる３次元座標空間を説明するための図である。
【図４４】第６実施形態で用いられる３次元座標空間を説明するための図である。
【図４５】第６実施形態で用いられる３次元座標空間を説明するための図である。
【図４６】変形例における対象音像の特定方法を説明するための図である。
【発明を実施するための形態】
【００１９】
＜Ａ：第１実施形態＞
＜Ａ−１：オーディオ信号処理システムの構成＞
図１に、第１実施形態に係るオーディオ信号処理システムの構成例を示す。オーディオ信号処理システム１Ａは、スマートフォンなどの端末装置１０と、オーディオ信号処理装置２０と、スピーカＳＰ１〜ＳＰ９とを備える。端末装置１０は、例えば、スマートフォンなどの通信機器であり、オーディオ信号処理装置２０と通信可能である。通信の形態は無線又は有線のいずれであってあってもよいが、例えば、無線ＬＡＮ（Local Area Network）を介して通信が可能である。また、端末装置１０は、インターネット上の所定のサイトからアプリケーションプログラムをダウンロードすることができる。そのようなアプリケーションプログラムには、対象音像を特定するプログラム、および対象音像の軌跡点を送信するプログラムが含まれ得る。
【００２０】
オーディオ信号処理装置２０は、いわゆるマルチチャネルアンプである。オーディオ信号処理装置２０は、入力オーディオ信号ＩＮ１〜ＩＮ９に音響効果を付与した出力オーディオ信号ＯＵＴ１〜ＯＵＴ９を生成し、ＯＵＴ１〜ＯＵＴ９をスピーカＳＰ１〜ＳＰ９に供給する。スピーカＳＰ１〜ＳＰ９は、オーディオ信号処理装置２０と有線又は無線にて接続されている。
【００２１】
図２に、オーディオ信号処理システム１Ａのリスニングルーム内のスピーカＳＰ１〜ＳＰ９の配置例を示す。この例では、９つのスピーカＳＰ１〜ＳＰ９がリスニングルーム内に配置されているが、スピーカの数は、９つに限らず、５つ以下であってもよいし、１０以上であってもよい。この場合、入力オーディオ信号の数は、５つ以下であってもよいし、１０以上であってもよい。本実施形態においては、例えば、７.１ｃｈサラウンドシステムに、リアの左右のプレゼンススピーカを加えたものである。なお、サブウーハのスピーカについては記載を省略している。
【００２２】
このオーディオ信号処理システム１Ａにおいては、リスニングルーム内のスピーカＳＰ１〜ＳＰ９の各位置を示すスピーカ位置情報は既知である。利用者Ａがあらかじめ定められた位置（以下「基準位置Ｐｒｅｆ」と称する。）で、スピーカＳＰ１〜ＳＰ９から放音された音を視聴した場合に所望の音響効果が得られる。この例では、センタスピーカＳＰ１は基準位置Ｐｒｅｆの正面に配置され、右フロントスピーカＳＰ２は基準位置Ｐｒｅｆの右斜め前方に配置され、右サラウンドスピーカＳＰ３は基準位置Ｐｒｅｆの右斜め後方に配置され、左サラウンドスピーカＳＰ４は基準位置Ｐｒｅｆの左斜め後方に配置され、左フロントスピーカＳＰ５は基準位置Ｐｒｅｆの左斜め前方に配置される。また、右フロントプレゼンススピーカＳＰ６は基準位置Ｐｒｅｆの右斜め前方の上方に配置され、右リアプレゼンススピーカＳＰ７は基準位置Ｐｒｅｆの右斜め後方の上方に配置され、左リアプレゼンススピーカＳＰ８は基準位置Ｐｒｅｆの左斜め後方の上方に配置され、左フロントプレゼンススピーカＳＰ９は基準位置Ｐｒｅｆの左斜め前方の上方に配置される。
【００２３】
本実施形態では、センタチャネル、右フロントチャネル、左フロントチャネル、右サラウンドチャネル、左サラウンドチャネル、右フロントプレゼンスチャネル、左フロントプレゼンスチャネル、右リアプレゼンスチャネル、および左リアプレゼンスチャネルの９つのチャネルのオーディオ信号が再生装置（図示略）からオーディオ信号処理装置２０に与えられる。本実施形態では、これら９つのチャネルの各々、あるいは、これら９つのチャネルのうちの任意の２つ以上のミキシング結果によって、所定の定位位置に音像が形成されるようになっている。したがって、ミキシングの割合、および、ミキシングするチャネルを変更することにより、音像の定位位置を移動させることができる。本実施形態では、音像の定位位置の移動を、直観的で判りやすい操作によりユーザに行わせる。
【００２４】
例えば、図２に示すように、左フロントプレゼンスチャネルおよび右フロントプレゼンスチャネルのミキシングにより定位位置Ｒ１に形成される音像を、スタート位置Ｓ１からエンド位置Ｅ１に至るまで、曲線の軌跡Ｌを描くように移動させる場合には、まず、端末装置１０の操作によって定位位置Ｒ１の音像を特定する。次に、端末装置１０をスタート位置Ｓ１に向け、端末装置１０の操作により音像の軌跡点送信の開始を指示し、端末装置１０を向けた先が軌跡Ｌを描くように端末装置１０の向け先を移動させる。そして、端末装置１０の操作によってエンド位置Ｅ１において、音像の軌跡点送信の終了を指示する。音像の軌跡点送信の開始の指示から終了の指示があるまでの間は、端末装置１０は、端末装置１０の姿勢を示す角度情報から端末装置１０の向け先の位置情報を逐次算出し、所定のサンプリング間隔によって、算出した位置情報を送信する。したがって、スタート位置Ｓ１からエンド位置Ｅ１に至るまで、所定のサンプリング間隔に対応した軌跡点の位置情報が送信されることになる。これらの位置情報をオーディオ信号処理装置２０が受信し、オーディオ信号処理装置２０において位置情報と位置情報を受信した際の時間情報とに基づいて各チャネルのミキシングを行って再生することにより、音像の音を確認しながら軌跡Ｌを描いて音像を移動させることができる。また、オーディオ信号処理装置２０は、位置情報と時間情報とを、音像を識別する識別情報と関係付けて記録するので、記録した音像の移動を再現することができる。
以下、本実施形態における音像の移動記録処理および再生処理を、本実施形態の特徴を顕著に示すオーディオ信号処理装置２０および端末装置１０を中心に説明する。
【００２５】
＜Ａ−２：オーディオ信号処理装置２０の構成＞
図３に示されるオーディオ信号処理装置２０は、装置全体の制御中枢として機能するＣＰＵ２１０、外部と通信を実行する通信インターフェース２２０、プログラムやデータを記憶するとともにＣＰＵ２１０の作業領域として機能するメモリ２３０、マイクロフォンなどの外部装置からの信号を入力してＣＰＵ２１０に供給する外部インターフェース２４０、基準信号Ｓｒ１〜Ｓｒ９を生成する基準信号生成回路２５０、選択回路２６０およびｍ個の処理ユニットＵ１〜Ｕｍを備える。ｍ個の処理ユニットＵ１〜ＵｍおよびＣＰＵ２１０は、複数のスピーカＳＰ１〜ＳＰ９の各位置を示すスピーカ位置情報、および対象音像の位置を示す音像位置情報（座標情報）に基づいて、入力オーディオ信号ＩＮ１〜ＩＮ９に音響効果を付与した出力オーディオ信号ＯＵＴ１〜ＯＵＴ９を複数のスピーカＳＰ１〜ＳＰ９の各々について生成する。
【００２６】
ここで、ｊ（ｊは１≦j≦ｍを満たす任意の自然数）番目の処理ユニットＵｊは、音像形成部３００、周波数補正部３１０、ゲイン分配部３２０、および加算器３３１〜３３９を有する。なお、他の処理ユニットＵ１、Ｕ２、…Ｕｊ-1、Ｕｊ+1、…Ｕｍは、処理ユニットＵｊと同様に構成されている。
【００２７】
音像形成部３００は、入力オーディオ信号ＩＮ１〜ＩＮ９に基づいて、所定の定位位置に音像を形成する。この例では、ｍ個の処理ユニットＵ１〜Ｕｍを備えるので、ｍ個の音像に対応した出力オーディオ信号ＯＵＴ１〜ＯＵＴ９を生成することができる。音像形成部３００は、９個のスイッチＳＷ１〜ＳＷ９とミキサ３０１とを備える。ＣＰＵ２１０は音像形成部３００を制御する。より具体的には、ＣＰＵ２１０は、メモリ２３０にｍ個の音像を管理する音像管理テーブルを記憶しておき、音像管理テーブルを参照して音像を制御する。音像管理テーブルには、各音像について、どの入力オーディオ信号ＩＮ１〜ＩＮ９をミキシングすればよいかを表わすデータ（例えば、ミキシングするチャネルを示すチャネル識別子や、それぞれのチャネルについてミキシングするか否かを表わす論理値など）が格納されている。そして、ＣＰＵ２１０は、音像管理テーブルを参照して入力オーディオ信号ＩＮ１〜ＩＮ９のうちミキシングの対象となる入力オーディオ信号に対応するスイッチを順次にオンにして、ミキシングの対象となる入力オーディオ信号を取り込む。例えば、ミキシングの対象となる入力オーディオ信号がＩＮ１、ＩＮ２およびＩＮ５である場合、まず、ＣＰＵ２１０は、入力オーディオ信号ＩＮ１に対応するスイッチＳＷ１をオンにし、他のスイッチＳＷ２〜ＳＷ９をオフにする。次に、ＣＰＵ２１０は、入力オーディオ信号ＩＮ２に対応するスイッチＳＷ２をオンにし、他のスイッチＳＷ１、ＳＷ３〜ＳＷ９をオフにする。その次に、ＣＰＵ２１０は、入力オーディオ信号ＩＮ５に対応するスイッチＳＷ５をオンにし、他のスイッチＳＷ１〜ＳＷ４、ＳＷ６〜ＳＷ９をオフにする。
【００２８】
周波数補正部３１０は、音像形成部３００の出力信号に周波数補正を施す。具体的には、ＣＰＵ２１０の制御の下、周波数補正部３１０は、音像の位置から基準位置Ｐｒｅｆまでの距離にしたがって、距離が遠いほど、高域の周波数成分を大きく減衰させるように周波数特性を補正する。これは、音像から基準位置Ｐｒｅｆまでの距離が大きいほど、高周波成分の減衰量が大きくなるという音響特性を再現するためである。
【００２９】
メモリ２３０は、減衰量テーブルをあらかじめ記憶している。減衰量テーブルには、音像から基準位置Ｐｒｅｆまでの距離と各周波数成分の減衰量との関係を表わすデータが格納されている。一方、音像管理テーブルには、それぞれの音像の位置を示す音像位置情報が格納されている。音像位置情報は、基準位置Ｐｒｅｆを原点とする三次元直交座標で与えられる。なお、対象音像位置情報を極座標で表してもよい。この例では、対象音像位置情報は、三次元直交座標の座標情報で与えられるものとする。音像を移動させる処理を行った場合には、各音像の描く軌跡を形成する各軌跡点の位置情報が移動音像テーブルに格納される。音像管理テーブルと移動音像テーブルとは関連付けられており、音像管理テーブルには、移動音像テーブルにおける開始アドレスが格納される。詳しくは後述する。
【００３０】
ＣＰＵ２１０は、第１に、メモリ２３０が記憶した音像管理テーブルの内容を読み出し、読み出した音像管理テーブルの内容に基づいて、それぞれの音像から基準位置Ｐｒｅｆまでの距離を算出し、第２に、減衰量テーブルを参照して算出した基準位置Ｐｒｅｆまでの距離に応じた各周波数の減衰量を取得し、第３に、取得した減衰量に応じた周波数特性が得られるように周波数補正部３１０を制御する。
【００３１】
ゲイン分配部３２０は、ＣＰＵ２１０の制御の下、周波数補正部３１０の出力信号を各スピーカＳＰ１〜ＳＰ９に分配して、分配した複数のオーディオ信号Ａj[1]〜Ａj[9]を出力する。各スピーカＳＰ１〜ＳＰ９に対するオーディオ信号のゲインは、スピーカＳＰ１〜ＳＰ９と音像との間の距離が遠いほど小さくなる。これにより、あたかも音像の位置として設定された場所から音が放射されているかような音場を形成することができる。例えば、各スピーカＳＰ１〜ＳＰ９に対するオーディオ信号Ａj[1]〜Ａj[9]のゲインは、スピーカＳＰ１〜ＳＰ９と音像との間の距離の逆数に比例する。あるいは、ゲインが、スピーカＳＰ１〜ＳＰ９と音像との間の距離の二乗あるいは四乗の逆数に比例する構成であってもよい。なお、音像との間の距離がほぼ０であるスピーカＳＰ１〜ＳＰ９が存在する場合は、それ以外のスピーカＳＰ１〜ＳＰ９に対するオーディオ信号Ａj[1]〜Ａj[9]のゲインを０にする。
【００３２】
メモリ２３０は、例えば、スピーカ管理テーブルを記憶している。スピーカ管理テーブルには、各スピーカＳＰ１〜ＳＰ９の識別子と対応づけて位置を示すスピーカ位置情報および基準位置Ｐｒｅｆとの間の距離を示す情報が格納される。スピーカ位置情報は、例えば、基準位置Ｐｒｅｆを原点とする三次元直交座標、二次元直交座標、あるいは極座標などによって表わされる。
【００３３】
ＣＰＵ２１０は、第１に、メモリ２３０に格納した音像管理テーブルとスピーカ管理テーブルとを参照して、各スピーカＳＰ１〜ＳＰ９と各音像との間の距離を算出し、第２に、算出した距離に基づいて各スピーカＳＰ１〜ＳＰ９に対するオーディオ信号のゲインを算出し、ゲインを指定する制御信号を各処理ユニットＵ１〜Ｕｍに供給する。
【００３４】
処理ユニットＵｊの加算器３３１〜３３９は、ゲイン分配部３２０から出力されるオーディオ信号Ａj[1]〜Ａj[9]と、前段の処理ユニットＵｊ-1から供給されるオーディオ信号Ｏj-1[1]〜Ｏj-1[9]とを加算して、オーディオ信号Ｏj[1]〜Ｏj[9]を出力する。これにより、処理ユニットＵｍから出力されるオーディオ信号Ｏm[k]（ｋは１から9までの任意の自然数）は、Ｏm[k]＝Ａ1[k]+ Ａ2[k]+…+Ａj[k]+…+Ａm[k]となる。
【００３５】
基準信号生成回路２５０は、ＣＰＵ２１０の制御の下、基準信号Ｓｒ１〜Ｓｒ９を生成して選択回路２６０に出力する。ＣＰＵ２１０は、複数のスピーカＳＰ１〜ＳＰ９の各距離を測定する際に、基準信号Ｓｒ１〜Ｓｒ９を生成するように基準信号生成回路２５０を生成する。また、ＣＰＵ２１０は、複数のスピーカＳＰ１〜ＳＰ９の各距離を測定する場合に基準信号Ｓｒ１〜Ｓｒ９を選択する一方、音響効果を付与する場合にオーディオ信号Ｏm[1]〜Ｏm[9]を選択して得た出力オーディオ信号ＯＵＴ１〜ＯＵＴ９を複数のスピーカＳＰ１〜ＳＰ９の各々に供給するように選択回路２６０を制御する。
【００３６】
＜Ａ−３：端末装置１０の構成＞
図４に、端末装置１０のハードウェア構成の一例を示す。端末装置１０は、装置全体の制御中枢として機能するＣＰＵ１００、アプリケーションプログラムなどを記憶したりＣＰＵ１００の作業領域として機能するメモリ１１０、利用者が指示を入力する操作部１２０、操作内容などを表示する表示部１３０、外部と通信を行う通信インターフェース１４０、ジャイロセンサ１５１、加速度センサ１５２、および方位センサ１５３、並びにバイブレーション発生部１６０とサウンド発生部１６１を備える。
【００３７】
ジャイロセンサ１５１は、図５に示すように端末装置１０の姿勢を直交するＸ軸、Ｙ軸、およびＺ軸の回転角であるピッチ角（pitch）、ロール角(roll)、およびヨー角(yaw)を出力する。これらの角度から、端末装置１０の向いている方向を特定することができる。加速度センサ１５２は、端末装置１０に加えられた加速度の成分を直交するＸ軸、Ｙ軸、およびＺ軸について測定する。この場合、加速度センサ１５２が測定する加速度は、三次元ベクトルで表わされ、三次元ベクトルに基づいて端末装置１０の向いている方向を特定することができる。方位センサ１５３は、例えば、地磁気を検出することにより、方位を測定する。この方位により、端末装置１０の向いている方向を特定することができる。但し、ジャイロセンサ１５１および加速度センサ１５２が出力する信号は、端末装置１０の有する３軸の座標系であって、リスニングリームに固定の座標系では無い。従って、ジャイロセンサ１５１および加速度センサ１５２で測定される方向は相対的なものとなる。即ち、リスニングルーム内に固定されている何らかの目標物を基準とし、基準に対する角度が相対的な方向として得られる。一方、方位センサ１５３が出力する信号は、地球上の方位であり、絶対的な方向を示す。
【００３８】
ＣＰＵ１００は、アプリケーションプログムを実行することによって、ジャイロセンサ１５１、加速度センサ１５２、および方位センサ１５３のうち少なくとも一つの出力を用いて、端末装置１０を向けた方向を測定する。この例の端末装置１０は、ジャイロセンサ１５１、加速度センサ１５２、および方位センサ１５３を備えるが、このうちの少なくとも一つを備えるものであってもよい。ジャイロセンサ１５１および加速度センサ１５２は、角度を出力する。角度はなんらかの基準に対する値である。基準は、リスニングルーム内の目標物であればどのようなものであってもよいが、この例では、複数のスピーカＳＰ１〜ＳＰ９のうちセンタスピーカＳＰ１とする。本実施形態では、ユーザの操作により、端末装置１０をセンタスピーカＳＰ１に向け、その際の角度を測定して基準とするリセット処理を実行している。リセット処理の詳細については後述する。なお、リセット処理はユーザ操作によりある方向での角度を測定して基準とする方法以外の方法であっても良い。例えば、何等かのセンサーを用いたり、あるいは、カメラで監視する等の方法が考えられる。
一方、方位センサ１５３を用いて、複数のスピーカＳＰ１〜ＳＰ９の方向を測定する場合は、基準の方向の入力は不要である。方位センサ１５３からは、絶対的な方向を示す値が出力されるからである。
【００３９】
本実施形態の端末装置１０においては、音像の移動を行うプログラムを起動させると、端末装置１０はオーディオ信号処理装置２０との通信を行って、オーディオ信号処理装置２０のメモリ２３０に記憶されている音像管理テーブルを読み取り、端末装置１０のメモリ１１０に格納する。音像管理テーブルには、それぞれの音像の位置を示す音像位置情報が格納されている。音像位置情報は、基準位置Ｐｒｅｆを原点とする三次元直交座標で与えられる。なお、音像位置情報を極座標、二次元直交座標で表してもよい。この例では、音像位置情報は、三次元直交座標の座標情報で与えられるものとする。
【００４０】
＜Ａ−４：オーディオ信号処理システムの動作＞
次に、オーディオ信号処理システムの動作を、リセット処理と、移動させる対象音像の特定と、音像の軌跡点の送信・再生・記録とに分けて説明する。図６ないし図９に、端末装置１０が実行するリセット処理、対象音像の特定処理、音像情報の送信処理、およびオーディオ信号処理装置２０における音像の再生および軌跡点の記録処理の内容を示す。
【００４１】
＜Ａ−４−１：リセット処理＞
端末装置１０を用いて移動させる対象音像の特定を行う場合、ユーザは、まず、端末装置１０の操作部（図示略）を操作して、音像の移動を行うプログラムを起動させる。プログラムが起動すると、端末装置１０はオーディオ信号処理装置２０との通信を行って、オーディオ信号処理装置２０のメモリ２３０に記憶されている音像管理テーブルを読み取り、端末装置１０のメモリ１１０に格納する（Ｓ３０）。端末装置１０の表示部１３０には、図１０に示すように、例えば、２次元空間におけるスピーカの配置を模式的に示す画像と、「リセット方向に向け設定ボタンをクリックしてください」等のメッセージと、設定ボタンＢが表示される（Ｓ３１）。ユーザは、端末装置１０を持って基準位置Ｐｒｅｆの位置に立ち、図１１に示すように、端末装置１０のＹ軸を所定のリセット方向（本実施形態では、センタスピーカＳＰ１の方向）に向けた状態で設定ボタンＢを押下する。ＣＰＵ１００は、設定ボタンＢの押下を検出すると（Ｓ３２）、ｙａｗをゼロにリセットする（Ｓ３３）。この例では、ジャイロセンサ１５１および加速度センサ１５２の少なくとも一方により角度情報出力部が構成され、角度情報出力部により角度情報としてのｙａｗとｐｉｔｃｈが取得されるものとする。
【００４２】
つまり、角度情報出力部としてのジャイロセンサ１５１および加速度センサ１５２は、端末装置１０を所定の位置に向けた際の、鉛直軸（Ｚ軸）に直交する２つの軸（Ｘ軸、Ｙ軸）のうちの一方の方向（Ｙ軸）を基準とした鉛直軸（Ｚ軸）回りの回転角度（ｙａｗ）と、端末装置１０の軸であって、端末装置１０から所定の位置へ向かう方向の軸（図５におけるＹ軸）と直交し、かつ、鉛直軸（Ｚ軸）と直交する軸（Ｘ軸）の回りの傾斜角度（ｐｉｔｃｈ）とを検出し、回転角度（ｙａｗ）と傾斜角度（ｐｉｔｃｈ）を角度情報として出力する。
【００４３】
ＣＰＵ１００は、前記角度情報のうちｙａｗを用いて図１１に示すＸＹ平面上におけるリセット方向に端末装置１０のＹ軸が向けられたものとして、ｙａｗをゼロにリセットする処理を行う。前述したように、本実施形態では、対象音像を特定し、対象音像を移動させようとするユーザは端末装置１０を持って基準位置Ｐｒｅｆの位置に立っているため、端末装置１０の中心の位置と基準位置Ｐｒｅｆの位置は概ね一致する。したがって、基準位置Ｐｒｅｆの位置は上記２次元座標空間の座標原点に概ね一致する。なお、本実施形態ではｙａｗは相対角度として取得されるので上述のようなリセット処理が必要であるが、ｙａｗが絶対角度として取得される場合には上述のようなリセット処理は不要である。また、他のセンサによってｙａｗを自動的にリセットすることも考えられる。
【００４４】
本実施形態においては、ジャイロセンサ１５１および加速度センサ１５２の少なくとも一方により角度情報出力部が構成され、角度情報出力部は、鉛直軸であるＺ軸に直交するＹ軸の方向を基準としたＺ軸回りの回転角度（ｙａｗ）と、端末装置１０の軸であって、端末装置１０から対象音像の位置へ向かう方向との軸と直交し、かつ、Ｚ軸と直交する軸（図５に示すＸ軸）の回りの傾斜角（ｐｉｔｃｈ）とを角度情報として出力する。
【００４５】
＜Ａ−４−２：対象音像の特定処理＞
リセット処理が完了すると、ユーザは、移動させたい音像の方向に端末装置１０を向けて直観的な操作で音像の特定を行う。本実施形態では、移動可能な音像の位置情報は予め音像管理テーブルに記録されているものとする。
【００４６】
本実施形態では、図１２に示すように、端末装置１０の中心を座標原点とし、Ｘ軸方向の長さが２、Ｙ軸方向の長さが２、かつＺ軸方向の長さが２の３次元座標空間において、特定した音像を移動させる例について説明する。
各スピーカの位置情報は、ユーザの操作、音場自動測定などで設定されるか、あるいは、予め設定され、スピーカ管理テーブルＴＢＬ１としてメモリ２３０に記憶されている。図１３にスピーカ管理テーブルＴＢＬ１の一例を示す。スピーカ管理テーブルＴＢＬ１には各スピーカの位置情報が、Ｘ，Ｙ，Ｚの座標として記憶されている。なお、スピーカ管理テーブルＴＢＬ１には、基準位置Ｐｒｅｆから各スピーカＳＰ１〜ＳＰ９までの距離を示す情報も含まれているが、図１３においては省略する。図１３に示すスピーカ管理テーブルＴＢＬ１は、各スピーカが図１２に示すように３次元座標空間に配置されている場合の例であり、例えば、右フロントプレゼンススピーカＳＰ６の位置情報は、（−１，１，１）と表される。
【００４７】
上述したように、初期状態においては、各チャネルの音はいずれか一つのスピーカから出力されるので、初期状態における各チャネルの位置情報は、各スピーカの位置情報と一致する。本実施形態では、各チャネルの音をミキシングして音像を形成し、各音像の定位位置の位置情報は、音像管理テーブルＴＢＬ２としてメモリ２３０に記憶されている。また、この音像管理テーブルＴＢＬ２は、端末装置１０によって読み取られ、端末装置１０のメモリ１１０に格納されている。図１４に音像管理テーブルＴＢＬ２の一例を示す。図１４に示すように、音像管理テーブルＴＢＬ２は、各音像の位置情報と、移動記録とを含む。図１４には図示を省略するが、音像管理テーブルＴＢＬ２には、それぞれのチャネルについてミキシングするか否かを表わす論理値なども含まれる。
【００４８】
移動記録は、本発明に係る音像の移動処理が行われた否かを示す情報であり、移動処理が行われた場合には、ａｄｄｒ１、ａｄｄｒ１００等のアドレスが格納される。また、移動処理が行われていない場合には、ｎｕｌｌが格納される。移動記録の項目に記録されるアドレスは、移動音像テーブルＴＢＬ３におけるアドレスを示している。図１５に移動音像テーブルＴＢＬ３の一例を示す。図１５に示すように、移動音像テーブルＴＢＬ３には、アドレスと、時間と、位置情報とが記録されている。本実施形態においては、音像の移動処理におけるサンプリング時間を１秒に設定しているので、１秒ごとの位置情報が各アドレスに記録されている。なお、サンプリング時間は固定でなくてもよく、また、１秒よりも短いサンプリング時間を用いてもよい。移動音像テーブルＴＢＬ３における書き込み可能なアドレスは、例えばポインターにより管理されており、ＣＰＵ１００はポインターを参照することにより、移動音像テーブルＴＢＬ３における書き込み可能なアドレスを知ることができる。
【００４９】
＜Ａ−４−２−１：２次元座標空間における対象音像の特定処理＞
本実施形態では、以上のような位置情報を有する音像のいずれかを、移動する対象音像として端末装置１０により特定する。なお、この対象音像の特定処理を行う際には、全てのチャネルの音を含む何らかのオーディオ信号がオーディオ信号処理システム１Ａにおいて再生されているものとする。
上述したリセット処理が完了すると、端末装置１０の表示部１３０には、例えば、図２０に示すように、「移動対象の音像の方向に向けてください。」等のメッセージが表示される（Ｓ３４）。ユーザは、オーディオ信号処理システム１Ａにおいて再生される再生音を聞きながら、移動させたい音像の方向に端末装置１０を向ける。一例として、図１２に示すように、左フロントプレゼンスチャネルと右フロントプレゼンスチャネルのミキシングより形成される定位位置Ｒ１の音像を対象音像として特定する場合について説明する。
【００５０】
端末装置１０のＣＰＵ１００は、表示部１３０に図２０に示すメッセージを表示させた後は、対象音源の特定処理の実行を開始する（Ｓ３５）。対象音源の特定処理は、所定時間間隔で実行される処理である。対象音源の特定処理の具体的な内容を図７に示す。上述したように、各チャネルの位置情報は３次元座標空間における座標で表されるが、本実施形態では、まずＸＹ平面の２次元座標空間における座標を求め、次にＹＺ平面の２次元座標空間における座標を求めて各チャネルの特定を行う。ユーザが端末装置１０を移動させたい音像の方向に向け、ＣＰＵ１００は、前記角度情報のうちｙａｗのみを用いて（図７：Ｓ１００）、ＸＹ平面上における位置情報（Ｘ，Ｙ）を算出する（図７：Ｓ１０１）。ＣＰＵ１００は、これらの処理を所定時間間隔で実行する。上述したように、本実施形態では、対象音像を特定しようとするユーザは端末装置１０を持って基準位置Ｐｒｅｆの位置に立っているため、端末装置１０の中心の位置と基準位置Ｐｒｅｆの位置は概ね一致する。したがって、基準位置Ｐｒｅｆの位置は上記２次元座標空間の座標原点に概ね一致する。
【００５１】
図１６は、端末装置１０の中心を座標原点とし、Ｙ軸方向の長さが２、かつＸ軸方向の長さも２の矩形上の２次元座標空間において対象音像を特定する場合の動作を説明するための図である。この場合、ＣＰＵ１００は、ｙａｗの値が−４５°〜４５°であれば、Ｘをｙａｗの値に応じて−１〜１に設定するとともにＹを１に設定する。また、ｙａｗの値が４５°〜１３５°であれば、ＣＰＵ１００は、Ｙをｙａｗの値に応じて＋１〜−１に設定するとともにＸを１に設定する。また、ｙａｗの値が−４５°〜−１３５°であれば、ＣＰＵ１００は、Ｙをｙａｗの値に応じて＋１〜−１に設定するとともにＸを−１に設定する。そして、ＣＰＵ１００は、ｙａｗの値が１３５°〜１８０であればＸの値をｙａｗの値に応じて１〜０に設定するとともにＹ＝−１に設定し、ｙａｗの値が−１３５°〜−１８０°であれば、Ｘをｙａｗの値に応じて−１〜０に設定するとともにＹを−１に設定する。つまり、前記角度情報は、図１６に示す矩形上の２次元座標空間の境界上の座標（Ｘ，Ｙ）に変換される。
例えば、図１８に示すように、２次元座標空間の境界上よりも手前側の定位位置Ｒ１の音像に端末装置１０を向けた場合には、前記角度情報は、２次元座標空間の境界上の座標（Ｘ，Ｙ）に変換され、所定時間間隔で更新される定位位置Ｒ１の２次元座標空間における位置情報は、概ね（−０．５，１）となる。
【００５２】
＜Ａ−４−２−２：３次元座標空間における対象音像の特定処理＞
端末装置１０の中心を座標原点とする所定の広さの３次元座標空間において音像を特定する場合には、ｐｉｔｃｈを利用して（図７：Ｓ１００）、高さ方向の座標Ｚを求める（図７：Ｓ１０１）ようにすれば良い。なお、各軸の座標を求める順序はどのような順序であってもよい。ｙａｗとｐｉｔｃｈからＸＹＺ座標を同時に求めるようにしても良い。図１７は、端末装置１０の中心を座標原点とし、Ｚ軸方向の長さが２、かつＹ軸方向の長さも２の矩形上の２次元座標空間において対象音像を特定する場合の動作を説明するための図である。具体的には、ｐｉｔｃｈの値が−４５°〜４５°であれば、Ｚをｐｉｔｃｈの値に応じて−１〜１に設定し、ｐｉｔｃｈの値が−４５°より小さければＺを−１に設定し、ｐｉｔｃｈの値が４５°より大きければＺを＋１に設定すれば良い。このような態様によれば、前記角度情報は図１２に示す立方体状の３次元座標空間の側面上の座標（Ｘ，Ｙ，Ｚ）に変換される。
例えば、図１９に示すように、２次元座標空間の境界上よりも手前側の定位位置Ｒ１の音像に端末装置１０を向けた場合には、前記角度情報は、２次元座標空間の境界上の座標（Ｙ，Ｚ）に変換され、定位位置Ｒ１の２次元座標空間における位置情報は（１，０．５）となる。したがって、ＸＹ平面上の座標（−０．５，１）と合わせて、３次元座標空間の座標は、概ね（−０．５，１，０．５）となる。
【００５３】
次に、ＣＰＵ１００は、上述のようにして所定時間毎にユーザが端末装置１０を向けた方向の座標を求め、メモリ１１０に格納した音像管理テーブルＴＢＬ２に記憶された音像の位置情報と比較し、ユーザが移動しようとする音像が、どの音像であるかを特定する処理を行う（図７：Ｓ１０２）。具体的には、ＣＰＵ１００は、上述のようにして求めた座標と音像管理テーブルＴＢＬ２に位置情報として記憶された座標との差分が所定値以下であるかどうかを所定時間毎に判断し、ユーザが移動しようとする音像が、どの音像であるかを特定する。特定できた場合には、ステップＳ３５の対象音源の特定処理の出力として、例えば、特定した対象音源を識別する情報を出力する。特定できなかった場合には、ステップＳ３５の対象音源の特定処理の出力として、例えば、特定できなかった旨の情報を出力する。以上のように、本実施形態では、端末装置の向け先の位置の算出と、対象音源の特定とを所定時間毎に実行する。
【００５４】
ステップＳ３５の対象音源の特定処理を開始した後は、対象音源が特定できたかどうかの確認を行う（Ｓ３６）。本実施形態では、一例として、対象音源の特定ができるまでステップＳ３６の処理を繰り返す。つまり、類似または近似した座標が仮想音源テーブルＴＢＬ２に存在せず、特定ができない場合には（Ｓ３６：ＮＯ）、例えば、「移動対象の音源の方向に向けてください」等のメッセージを端末装置１０の表示部１３０に表示し続け、対象音源の特定処理を続ける。但し、一定時間経過しても特定できない場合には、タイムアウトにより処理を終了させたり、処理をキャンセルするようにしてもよい。
【００５５】
ＣＰＵ１００は、対象音源が特定できたことを確認した場合には（Ｓ３６：ＹＥＳ）、ステップＳ３５の対象音源の特定処理を停止させ、例えば図２１に示すように、「音像２を移動しますか？」等のメッセージとＹＥＳボタンＣおよびＮＯボタンＤを端末装置１０の表示部１３０に表示させる（Ｓ３７）。また、特定できた場合には、端末装置１０をバイブレーション発生部１６０によりリアルタイムで振動させたり、端末装置１０のサウンド発生部１６１のスピーカから音をリアルタイムで出力するようにしてもよい。また、対象音像であると特定可能な候補が複数ある場合には、複数の候補を端末装置１０の表示部１３０に表示させるようにしてもよい。また、特定できた場合にステップＳ３７の確認メッセージのボタンは表示せずに、特定したチャネル名だけを表示し、特定したチャネルを記憶するだけで対象音源の特定処理を続けても良い。
【００５６】
以上のように、ＣＰＵ１００は、端末装置１０を対象音像に向けた際に、ジャイロセンサ１５１および加速度センサ１５２の少なくとも一方により構成される角度情報出力部から出力されるｙａｗおよびｐｉｔｃｈからなる角度情報に基づいて位置情報（座標）を算出し、算出した位置情報と、軌跡点情報記録部としてのメモリ１１０に記憶された音像管理テーブルＴＢＬ２における各音像の位置情報との比較を行い、互いの位置情報のずれが所定範囲内である場合に、操作対象の音像を提示（表示）し、操作対象の決定を促す。
【００５７】
すなわち、図２１に示す表示状態において、ユーザがＮＯボタンＤを押下した場合には（Ｓ３８：ＮＯ）、対象音像の特定処理を最初からやり直す。しかし、図２１に示す表示状態において、ユーザがＹＥＳボタンＣを押下した場合には（Ｓ３８：ＹＥＳ）、ＣＰＵ１００は、対象音像を識別する情報と対象音像の位置情報とを含む音像情報をオーディオ信号処理装置２０に送信する（Ｓ３９）。音像情報を受信したオーディオ信号処理装置２０のＣＰＵ２１０は、受信した音像情報が示す対象音像の音を他の音よりも大きくしたり、あるいは、音像情報が示す対象音像の音よりも他の音を小さくしたり、もしくは、対象音像以外の音をミュートする等して、対象音像を強調する処理を行うようにしてもよい。
【００５８】
＜Ａ−４−３：３次元座標空間における対象音像の軌跡点の送信・再生・記録処理＞
端末装置１０のＣＰＵ１００は、次に、例えば図２２に示すように、「移動軌跡を描くように移動させてください。」等のメッセージと、移動ボタンＦとを端末装置１０の表示部１３０に表示させる（Ｓ４０）。ＣＰＵ１００は、ユーザが図２２に示す移動ボタンＦを押したことを検知すると（Ｓ４１：ＹＥＳ）、対象音像の音像情報の送信処理を開始する（Ｓ４２）。図８に音像情報の送信処理の具体的な内容を示す。音像情報の送信処理は、所定のサンプリング間隔で実行される処理である。ＣＰＵ１００は、音像情報の送信処理においても、対象音像の特定処理と同様に、前記角度情報のうちｙａｗを用いてＸＹ平面の２次元座標空間における座標を、また、ｐｉｔｃｈを用いてＹＺ平面の２次元座標空間における座標を求めて、軌跡点位置の３次元座標空間における座標を求める（図８：Ｓ３００）。そして、ＣＰＵ１００は、現在制御対象となっている音像を識別する情報、例えばチャネル名と、算出した座標からなる位置情報とを含む音像情報を、オーディオ信号処理装置２０に所定サンプリング間隔ごとに送信する（図８：Ｓ３０１）。なお、ＣＰＵ１００は、音像情報をメモリ１１０に記録するようにしてもよい。
【００５９】
図９にオーディオ信号処理装置２０のＣＰＵ２１０による音像の再生・記録処理の具体例を示す。なお、図９に示す音像の再生・記録処理は、一例として、予めオーディオ信号処理装置２０を軌跡点の再生・記録モードに設定しておくことにより、音像の再生・記録処理用のプログラムがＣＰＵ２１０によって実行されるものとする。あるいは、端末装置１０から所定のコマンドを受信した際に、音像の再生・記録処理用のプログラムをＣＰＵ２１０によって実行するようにしてもよい。
【００６０】
図９に示すように、オーディオ信号処理装置２０のＣＰＵ２１０は、音像情報を受信すると（図９：Ｓ９０；ＹＥＳ）、所定のサンプリング間隔で音像を所望の位置に置いた場合のゲイン配分で入力オーディオ信号を計算し、オーディオ信号を出力する（図９：Ｓ９１）。また、受信した音像情報に含まれる対象音像の位置情報を時間情報と共に移動音像テーブルＴＢＬ３に記録する（図９：Ｓ９２）。ＣＰＵ２１０は、以上の処理を、端末装置１０から音像移動の完了報告を受信するまで継続する（図９：Ｓ９３）。
【００６１】
したがって、ユーザは音像の移動を開始したい位置に端末装置１０を向け、移動ボタンＦを押すことにより、当該位置における音像の音を確認することができる。また、その後においても、移動ボタンＦ押しながら、対象音像の所望の軌跡を描くように端末装置１０を移動させることにより、その軌跡の通りに移動する対象音像の音を確認することができる。さらに、このように対象音像の音を確認しながら対象音像の軌跡点位置を記録することができる。
【００６２】
例えば、図２３、図２４に示すように、ユーザが、移動開始位置として左フロントプレゼンススピーカＳＰ６と左フロントプレゼンススピーカＳＰ９の間の位置Ｓ１に端末装置１０を向け、移動ボタンＦを押した場合には、位置Ｓ１の座標が移動開始位置の座標として算出される。例えば、ｙａｗの値が−７４°だとすると、ＣＰＵ１００はＸを−１に設定する。Ｙについては、図２４に示すように、
【００６３】
（数１）
ｙ＝ｔａｎ１６°≒０．２９
となる。したがって、対象音像の移動開始位置のＸＹ平面上の座標は、概ね（−１，０．２９）となる。
また、ＣＰＵ１００は、ｐｉｔｃｈを利用して高さ方向の座標Ｚを求める。図２５および図２６に示すように、ｐｉｔｃｈの値が２７°とすると、
【００６４】
（数２）
ｚ＝ｔａｎ２７°≒０．５１
となる。したがって、対象音像の移動開始位置のＸＺ平面上の座標は、（−１，０．５１）となるので、ＸＹ平面上の座標（−１，０．２９）と合わせて、３次元座標空間の座標は、概ね（−１，０．２９，０．５１）となる。
【００６５】
端末装置１０のＣＰＵ１００が、算出した移動開始位置の座標および対象音像を識別する情報を含む音像情報をオーディオ信号処理装置２０に送信し、オーディオ信号処理装置２０のＣＰＵ２１０が、音像情報を受信すると、ＣＰＵ２１０は、移動開始位置の座標を移動音像テーブルＴＢＬ３に記録する。移動音像テーブルＴＢＬ３において書き込み可能なアドレスは、例えばポインターによって管理されており、ＣＰＵ２１０は、ポインターを参照することによって、書き込み可能なアドレスを取得する。ＣＰＵ２１０は、取得したアドレスが示す移動音像テーブルＴＢＬ３のレコードに、時間と、算出した移動開始位置の座標とを記録する。移動開始位置の時間は、相対的な時間として「０：００：００」を記録しておく。記録する時間は、相対的な時間に限定されるものではなく、現在の時刻でも良いし、また音楽の再生時間でも良い。なお、端末装置１０から位置情報と共に時間情報を送信するようにしてもよい。
【００６６】
以下同様に、ユーザが、移動ボタンＦを押しながら、例えば図１２に示す軌跡Ｌを描くように端末装置１０の向け先を移動させると、ＣＰＵ１００は、所定のサンプリング間隔ごとに、軌跡点位置の送信処理を行い（図８：Ｓ３００〜Ｓ３０１）、オーディオ信号処理装置２０のＣＰＵ２１０は、軌跡点位置における音像の再生処理と移動音像テーブルＴＢＬ３の更新を継続する（図９：Ｓ９０〜Ｓ９３）。
したがって、ユーザが移動ボタンＦを押しながら、音像を移動させたい位置に端末装置１０を向け、設定途中の音像位置を確認しながら、音像を希望する軌跡を描くように移動させると、この移動期間における軌跡点の位置の座標は、所定のサンプリング間隔ごとにサンプリングされ、移動音像テーブルＴＢＬ３に記録されていく。そして、ユーザが終了位置で移動ボタンＦを離すと（Ｓ４３：ＹＥＳ）、ＣＰＵ１００は、オーディオ信号処理装置２０に対して、音像移動の完了報告を送信し（Ｓ４４）。完了報告を受信したオーディオ信号処理装置２０のＣＰＵ２１０は（図９：Ｓ９３；ＹＥＳ）、音像管理テーブルＴＢＬ２の更新を行い（図９：Ｓ９４）、軌跡点の記録処理が完了する。
【００６７】
以上のように、移動ボタンＦを表示する表示部１３０と表示部１３０に移動ボタンＦを表示させるＣＰＵ１００は、移動軌跡の送信開始を指示する送信開始指示部として機能している。また、ＣＰＵ１００は、軌跡点情報取得部として機能しており、送信開始指示部からの送信開始の指示を検出した後は、端末装置１０を向けた位置の位置情報を、角度情報出力部から出力された角度情報を、所定のタイミングで取得する。本実施形態では、所定のタイミングとして、所定のサンプリング間隔で取得する。さらに、本実施形態においては、ＣＰＵ１００は、軌跡点情報算出部としても機能し、前記取得した角度情報に基づいて、所定のサンプリング間隔ごとに端末装置１０を向けた位置の位置情報を算出する。また、ＣＰＵ１００と通信インターフェース１４０は、送信部として機能し、前記算出した位置情報を前記角度情報に関連する関連情報として、オーディオ信号処理装置２０に所定のサンプリング間隔ごとに送信する。
【００６８】
その後、端末装置１０の操作により、あるいは、オーディオ信号処理装置２０の操作により、移動軌跡を記録した音像の再生処理が指示された場合には、オーディオ信号処理装置２０のＣＰＵ２１０は、音像管理テーブルＴＢＬ２と移動音像テーブルＴＢＬ３に記録された内容に基づいて、入力オーディオ信号ＩＮ１〜ＩＮ９のミキシング、周波数補正、およびゲイン配分を行い、音像を再生する。その結果、音像は例えば図１２に示す軌跡Ｌを描いて移動することになる。
つまり、オーディオ信号処理装置２０のＣＰＵ２１０と通信インターフェース２２０は、受信部として機能し、端末装置１０から送信される制御対象（音像）を識別する識別情報と、前記角度情報に関連する関連情報としての前記位置情報とを受信する。また、オーディオ信号処理装置２０のＣＰＵ２１０と処理ユニットＵ１〜Ｕｍは再生部として機能し、受信した識別情報と、位置情報および時間情報とに基づいて、識別情報により識別される制御対象としての音像を再生する。
【００６９】
さらに、オーディオ信号処理装置２０のＣＰＵ２１０は、制御対象情報記録部として機能し、前記角度情報に関連する関連情報としての前記位置情報を、前記識別情報に関連付けて移動音像テーブルＴＢＬ３に記録する。また、ＣＰＵ２１０は、前記時間情報についても移動音像テーブルＴＢＬ３に記録する。本実施形態では、一例としてサンプリング間隔を１秒に設定してあるので、以上の処理を移動ボタンＦが離されたことを検知するまで継続することにより、図１５に示すように、移動音像テーブルＴＢＬ３には、１秒ごとに各軌跡点の座標が記録されることになる。
【００７０】
したがって、本実施形態によれば、対象音像の移動軌跡を描くように端末装置１０の向け先を移動させるといった直観的な操作で、対象音像の移動軌跡を記録することができる。記録を行った後は、再生を行うことにより、移動する対象音像を確認することができる。
なお、本実施形態では、オーディオ信号処理装置２０のメモリ２３０に、音像の識別情報、位置情報、および時間情報を一旦記憶させ、その後にこれらの情報に基づいて音像を再生する例について説明したが、本発明はこの例に限定されるものではなく、端末装置１０が時間情報に基づいて再生した音像の識別情報、位置情報を、オーディオ信号処理装置２０が受信しながら、再生するようにしてもよい。
【００７１】
＜Ｂ：第２実施形態＞
次に、図２７および図２８を参照しつつ、本発明の第２実施形態について説明する。第１実施形態においては、端末装置１０のＣＰＵ１００が軌跡点情報算出部として機能し、角度情報に基づいて端末装置１０の向け先の位置の位置情報を算出する構成について説明した。本実施形態では、オーディオ信号処理装置２０のＣＰＵ２１０が軌跡点情報算出部として機能し、端末装置１０から受信した角度情報に基づいて、ＣＰＵ２１０が端末装置１０の向け先の位置の位置情報を算出する構成について説明する。
【００７２】
図２７は、本実施形態における端末装置１０のＣＰＵ１００が実行する音像情報の送信処理を示すフローチャート、図２８は本実施形態におけるオーディオ信号処理装置２０のＣＰＵ２１０が実行する音像の再生・記録処理を示すフローチャートである。図２７は第１実施形態における図８に対応する図であり、図２８は第１実施形態における図９に対応する図である。図２７に示すように、本実施形態においては、端末装置１０のＣＰＵ１００は、対象音像の識別情報と、端末装置１０の向け先の位置の角度情報とを含む音像情報を所定のサンプリング間隔でオーディオ信号処理装置２０に送信する（Ｓ３１０）。本実施形態においては、ＣＰＵ１００は角度情報に基づく軌跡点の位置情報の算出処理は行わず、ＣＰＵ１００が送信する音像情報には、軌跡点の位置情報は含まれていない。
【００７３】
図２８に示すように、オーディオ信号処理装置２０のＣＰＵ２１０は、端末装置１０から音像情報を受信すると（Ｓ９０；ＹＥＳ）、音像情報に含まれる角度情報のうちｙａｗを用いてＸＹ平面の２次元座標空間における座標を、また、ｐｉｔｃｈを用いてＹＺ平面の２次元座標空間における座標を求めて、軌跡点位置の３次元座標空間における座標を求める（Ｓ２００）。以下、第１実施形態と同様に、オーディオ信号処理装置２０のＣＰＵ２１０は、所定のサンプリング間隔で音像を前記算出した軌跡点位置に置いた場合のゲイン配分で入力オーディオ信号を計算し、オーディオ信号を出力する（Ｓ９１）。また、受信した音像情報に含まれる対象音像の位置情報を時間情報と共に移動音像テーブルＴＢＬ３に記録する（Ｓ９２）。ＣＰＵ２１０は、以上の処理を、端末装置１０から音像移動の完了報告を受信するまで継続する（Ｓ９３）。
【００７４】
したがって、本実施形態においても、ユーザは音像の移動を開始したい位置に端末装置１０を向け、移動ボタンＦを押すことにより、当該位置における音像の音を確認することができる。また、その後においても、移動ボタンＦ押しながら、対象音像の所望の軌跡を描くように端末装置１０を移動させることにより、その軌跡の通りに移動する対象音像の音を確認することができる。さらに、このように対象音像の音を確認しながら対象音像の軌跡点位置を記録することができる。以上のように、本発明は、オーディオ信号処理装置２０のＣＰＵ２１０が軌跡点情報算出部として機能するように構成することも可能である。
【００７５】
＜Ｃ：第３実施形態＞
次に、図２９ないし図３４を参照しつつ、本発明の第３実施形態について説明する。上述した実施形態においては、端末装置１０によって示した位置を３次元座標空間におけるＸ軸方向、Ｙ軸方向、またはＺ軸方向のいずれかの境界に投影させ、角度情報のみを用いて当該位置の座標を求める例について説明した。本実施形態は、角度情報の他に距離情報を用いて端末装置１０によって示した位置の座標を求める。図２９は本実施形態に係る端末装置１０における全体的な処理の内容を示すフローチャート、図３０は本実施形態に係る端末装置１０における距離調整を含めた対象音像の特定処理の内容を示すフローチャート、図３１は本実施形態に係る端末装置１０における距離調整を含めた音像情報の送信処理の内容を示すフローチャート、図３２は本実施形態に係る端末装置１０における対象音像の特定処理時の距離調整の操作を促す表示例を示す図、図３３は本実施形態に係る端末装置１０における対象音像の軌跡点位置の再生・記録処理時の距離調整の操作を促す表示例を示す図、図３４は本実施形態に係る端末装置１０により特定可能な対象音像と指定可能な移動開始位置の例を示す図である。なお、図２９ないし図３１に示すフローチャートにおいて、図６ないし図８に示すフローチャートとの共通箇所には同一のステップ番号を付してある。
【００７６】
本実施形態においても、音像の移動を行うプログラムを起動させると、図２９に示すステップＳ３０〜Ｓ３３の処理が行われ、さらに図３２に示すように、端末装置１０を対象音像に向けるように指示する表示が端末装置１０の表示部１３０において行われる（Ｓ５０）。また、本実施形態においては、距離調整指示部としての機能するＣＰＵ１００が、図３２に示すように、端末装置１０をロールさせることで距離の調整が可能である旨のメッセージも端末装置１０の表示部１３０に表示させる。
【００７７】
図３２に示す表示においては、端末装置１０を対象音像に向けた場合の端末装置１０と対象音像とを結ぶ軸線回りに端末装置１０を回転させることにより、距離の調整が可能であることを示している。例えば、右回転させた場合には、現在の位置よりも遠い位置に存在する対象音像を特定することができ、左回転させた場合には、現在の位置よりも近い位置に存在する対象音像を特定することができる。このような端末装置１０の回転角度は、ジャイロセンサ１５１および加速度センサ１５２から出力される角度情報のうちｒｏｌｌを参照することにより取得することができる。
【００７８】
端末装置１０のＣＰＵ１００は、表示部１３０に図３２に示すメッセージを表示させた後は、距離調整を含めた対象音源の特定処理の実行を開始する（Ｓ５１）。距離調整を含めた対象音源の特定処理は、所定時間間隔で実行される処理である。距離調整を含めた対象音源の特定処理の具体的な内容を図３０に示す。
距離調整指示部としての機能するＣＰＵ１００は、角度情報としてのｒｏｌｌを取得し、ｒｏｌｌに応じて距離を調整する（図３０：Ｓ１５０）。具体的には、図２４および図２６に示す三角形における斜辺ａの長さを、ｒｏｌｌに応じて変化させる。そして、第１実施形態と同様に、角度情報としてのｙａｗとｐｉｔｃｈとを取得して（図３０：Ｓ１００）、端末装置１０を向けた方向の座標を算出する（図３０：Ｓ１０１）。
【００７９】
本実施形態においては、オーディオ信号処理装置２０のメモリ２３０および端末装置１０のメモリ１１０に記憶されている音像管理テーブルＴＢＬ２には、各音像の位置情報として、ユーザからの距離を考慮した座標が格納されている。端末装置１０のＣＰＵ１００は、距離を調整した上で算出した座標と、音像管理テーブルＴＢＬ２に記憶された音像の位置情報とを比較し、ユーザが移動しようとする音像が、どの音像であるかを特定する処理を行う（図３０：Ｓ１０２）。具体的には、ＣＰＵ１００は、上述のようにして求めた座標と音像管理テーブルＴＢＬ２に位置情報として記憶された座標との差分が所定値以下であるかどうかを所定時間毎に判断し、ユーザが移動しようとする音像が、どの音像であるかを特定する。特定できた場合には、ステップＳ５１の対象音源の特定処理の出力として、例えば、特定した対象音源を識別する情報を出力する。特定できなかった場合には、ステップＳ５１の対象音源の特定処理の出力として、例えば、特定できなかった旨の情報を出力する。以上のように、本実施形態では、端末装置の向け先の位置の算出と、対象音源の特定とを所定時間毎に実行する。
【００８０】
ステップＳ５１の対象音源の特定処理を開始した後は、対象音源が特定できたかどうかの確認を行う（Ｓ３６）。本実施形態では、第１実施形態と同様に、対象音源の特定ができるまでステップＳ３６の処理を繰り返す。つまり、類似または近似した座標が仮想音源テーブルＴＢＬ２に存在せず、特定ができない場合には（Ｓ３６：ＮＯ）、例えば、「移動対象の音源の方向に向けてください」等のメッセージを端末装置１０の表示部１３０に表示し続け、対象音源の特定処理を続ける。但し、一定時間経過しても特定できない場合には、タイムアウトにより処理を終了させたり、処理をキャンセルするようにしてもよい。
【００８１】
ＣＰＵ１００は、対象音源が特定できたことを確認した場合には（Ｓ３６：ＹＥＳ）、ステップＳ５１の対象音源の特定処理を停止させ、例えば図２１に示すように、「音像２を移動しますか？」等のメッセージとＹＥＳボタンＣおよびＮＯボタンＤを端末装置１０の表示部１３０に表示させる（Ｓ３７）。また、特定できた場合には、端末装置１０をバイブレーション発生部１６０によりリアルタイムで振動させたり、端末装置１０のサウンド発生部１６１のスピーカから音をリアルタイムで出力するようにしてもよい。
【００８２】
図２１に示す表示状態において、ユーザがＮＯボタンＤを押下した場合には（Ｓ３８：ＮＯ）、対象音像の特定処理を最初からやり直す。しかし、図２１に示す表示状態において、ユーザがＹＥＳボタンＣを押下した場合には（Ｓ３８：ＹＥＳ）、ＣＰＵ１００は、対象音像を識別する情報と対象音像の位置情報とを含む音像情報をオーディオ信号処理装置２０に送信する（Ｓ３９）。音像情報を受信したオーディオ信号処理装置２０のＣＰＵ２１０は、受信した音像情報が示す対象音像の音を他の音よりも大きくしたり、あるいは、音像情報が示す対象音像の音よりも他の音を小さくしたり、もしくは、対象音像以外の音をミュートする等して、対象音像を強調する処理を行うようにしてもよい。
【００８３】
次に、ＣＰＵ２１０は、図３３に示すように、「移動軌跡を描くように移動させてください。」等のメッセージと、移動ボタンＦとを端末装置１０の表示部１３０に表示させる（Ｓ５２）。また、本実施形態においては、距離調整指示部としての機能するＣＰＵ１００が、図３３に示すように、端末装置１０をロールさせることで距離の調整が可能である旨のメッセージも端末装置１０の表示部１３０に表示させる。ユーザが、この表示に従って、移動ボタンＦを押しながら、例えば図１２に示す軌跡Ｌを描くように端末装置１０の向け先を移動させるとする。この時、端末装置１０を向け先方向の軸線回りに回転させることにより、距離の調節も可能になっている。ＣＰＵ１００は、移動ボタンＦが押下されたことを検知すると（Ｓ４１：ＹＥＳ）、所定のサンプリング間隔ごとに、距離調整を含めた音像情報の送信処理を開始する。図３１に距離調整を含めた音像情報の送信処理の具体的な内容を示す。距離調整指示部としての機能するＣＰＵ１００は、角度情報としてのｒｏｌｌを取得し、ｒｏｌｌに応じて距離を調整する（図３１：Ｓ３５０）。具体的には、ＣＰＵ１００は、移動開始位置の指定処理と同様に、図２４および図２６に示す三角形における斜辺ａの長さを、ｒｏｌｌに応じて変化させる。そして、移動開始位置の指定処理と同様に、角度情報としてのｙａｗとｐｉｔｃｈとを取得して、端末装置１０を向けた方向の座標を算出する（図３１：Ｓ３００）。そして、ＣＰＵ１００は、現在制御対象となっている音像を識別する情報、例えばチャネル名と、算出した座標からなる位置情報とを含む音像情報を、オーディオ信号処理装置２０に所定のサンプリング間隔ごとに送信する（図３１：Ｓ３０１）。
【００８４】
オーディオ信号処理装置２０のＣＰＵ２１０は、第１実施形態と同様に、音像情報を受信すると、識別情報および位置情報に基づく再生処理を行い、移動音像テーブルＴＢＬ３の更新を行う。つまり、所定のサンプリング間隔で音像を設定途中の位置に置いた場合のゲイン配分で入力オーディオ信号を計算し、オーディオ信号を出力する。また、ＣＰＵ２１０は、受信した軌跡点の位置の座標と時間を移動音像テーブルＴＢＬ３に記録する。ユーザは移動ボタンＦを押しながら、音像を移動させたい位置に端末装置１０を向け、また、端末装置１０をロールさせることにより、設定途中の音像位置を確認しながら、音像を希望する軌跡を描くように移動させる。この移動期間における軌跡点の位置の座標は、所定のサンプリング間隔ごとにサンプリングされ、移動音像テーブルＴＢＬ３に記録されていく。そして、ユーザが終了位置で移動ボタンＦを離すと（Ｓ４３：ＹＥＳ）、ＣＰＵ１００は、オーディオ信号処理装置２０に対して、音像移動の完了報告を送信し（Ｓ４４）、音像情報の送信処理が完了する。
【００８５】
つまり、ＣＰＵ１００、ジャイロセンサ１５１、および加速度センサ１５２は距離調整指示部として機能し、端末装置１０と端末装置１０の目標位置との距離の調整を指示する。また、軌跡点情報算出部および送信部としても機能するＣＰＵ１００は、距離調整指示部からの指示、すなわちｒｏｌｌに基づいて増減させた距離と、角度情報出力部であるジャイロセンサ１５１、および加速度センサ１５２から出力される角度情報とに基づいて、端末装置１０を向けた位置の位置情報を所定の時間間隔ごとに算出し、算出した軌跡点位置の座標および対象音像を識別するオーディオ信号処理装置２０に送信する。なお、軌跡点位置をメモリ１１０へ記録するようにしてもよい。
【００８６】
本実施形態では、一例としてサンプリング間隔を１秒に設定してあるので、以上の処理を移動ボタンＦが離されたことを検知するまで継続することにより、図１５に示すように、移動音像テーブルＴＢＬ３には、１秒ごとに各軌跡点の距離を考慮した座標が記録されることになる。
その後、端末装置１０の操作により、あるいは、オーディオ信号処理装置２０の操作により、移動軌跡を記録した音像の再生処理が指示された場合には、オーディオ信号処理装置２０のＣＰＵ２１０は、音像管理テーブルＴＢＬ２と移動音像テーブルＴＢＬ３に記録された内容に基づいて、入力オーディオ信号ＩＮ１〜ＩＮ９のミキシング、周波数補正、およびゲイン配分を行い、音像を再生する。その結果、音像は例えば図１２に示す軌跡Ｌを描いて移動することになる。
【００８７】
以上のように、距離調整指示部としての機能するＣＰＵ１００が、ユーザの操作に応じて端末装置１０と目標位置との距離の調整を指示すると、ＣＰＵ１００は、指示に応じて現在の端末装置と目標位置との距離を増減させる。つまり、目標位置を端末装置１０に近づける指示の場合には、現在よりも距離を短くし、目標位置を端末装置１０から遠ざける指示の場合には、現在よりも距離を長くする。ＣＰＵ１００は、このようにして指示に基づいて増減させた距離と、角度情報出力部としてのセンサーから出力される角度情報とに基づいて、目標位置の位置情報を算出する。そして、ＣＰＵ１００は、算出した目標位置の位置情報と、音像管理テーブルＴＢＬ２に記憶された距離を考慮した各音像の位置情報とを比較し、互いの位置情報のずれが所定範囲内である場合には、対象音像が特定されたと判断する。
【００８８】
また、距離調整指示部としての機能するＣＰＵ１００が、ユーザの操作に応じて端末装置１０と対象音像の軌跡点との距離の調整を指示すると、ＣＰＵ１００は、指示に応じて現在の端末装置と軌跡点との距離を増減させる。つまり、軌跡点を端末装置１０に近づける指示の場合には、現在よりも距離を短くし、軌跡点を端末装置１０から遠ざける指示の場合には、現在よりも距離を長くする。ＣＰＵ１００は、このようにして指示に基づいて増減させた距離と、角度情報出力部としてのセンサーから出力される角度情報とに基づいて、軌跡点の位置情報を算出し、時間情報と共に、その位置情報をオーディオ信号処理装置２０に送信する。オーディオ信号処理装置２０のＣＰＵ２１０は、受信した識別情報と位置情報に基づいて対象音像の再生を行うと共に、位置情報を移動音像テーブルＴＢＬ３に記録する。
【００８９】
以上のように本実施形態によれば、対象音像の特定と対象音像の軌跡点の指定において、対象音像とユーザとの距離を考慮するようにしたので、例えば、図３４に示すように、ユーザからの距離が異なる位置Ｒ１〜Ｒ４の音像を特定することができ、さらに、ユーザからの距離が異なる位置Ｓ１〜Ｓ４に軌跡点を指定することができる。したがって、本実施形態によれば、対象音像の特定および軌跡点の指定をより自由に行うことができる。
【００９０】
なお、対象音像を特定できた際には、端末装置１０のバイブレーション機能を使って端末装置１０を震わせたり、あるいは、サウンド機能を使ってブザー音等の音を発生させるようにしてもよい。
【００９１】
本実施形態では、対象音像の特定処理と軌跡点の指定処理との両方の処理において距離の調整を行う例について説明したが、対象音像の特定処理と音像情報の送信処理とのいずれか一方の処理において距離の調整を行うようにしてもよい。また、本実施形態においても、第２実施形態と同様に、オーディオ信号処理装置２０のＣＰＵ２１０を軌跡点情報算出部として機能させ、端末装置１０からは距離調整の情報と角度情報をオーディオ信号処理装置２０に送信するようにしてもよい。この場合には、オーディオ信号処理装置２０のＣＰＵ２１０が、距離調整の情報と角度情報とに基づいて、軌跡点の位置情報を算出する。
【００９２】
＜Ｄ：第４実施形態＞
次に、図３５ないし図３９を参照しつつ、本発明の第４実施形態について説明する。本実施形態のオーディオ信号処理システム１Ｂは、端末装置１０とオーディオ信号処理装置２０との間に情報処理装置としてのパーソナルコンピュータ３０を備えている。図３５に示すように、端末装置１０とパーソナルコンピュータ３０とは相互に通信可能に構成されている。また、パーソナルコンピュータ３０とオーディオ信号処理装置２０も相互に通信可能に構成されている。通信の形態は無線又は有線のいずれであってもよいが、例えば、無線ＬＡＮ（Local Area Network）を介して通信が可能である。
【００９３】
パーソナルコンピュータ３０は、図３６に示すように、装置全体の制御中枢として機能するＣＰＵ４００、プログラムやデータを記憶するとともにＣＰＵ４００の作業領域として機能するメモリ４１０、利用者が指示を入力する操作部４２０、操作内容などを表示する表示部４３０、プログラムやデータを記憶するＨＤＤ４４０、メモリ４１０、および外部と通信を実行する通信インターフェース４５０を備える。
【００９４】
本実施形態においては、パーソナルコンピュータ３０のＣＰＵ４００が、予めオーディオ信号処理装置２０と通信を行い、オーディオ信号処理装置２０のメモリ２３０に記憶されている音像管理テーブルＴＢＬ２および移動音像テーブルＴＢＬ３と同じ内容の音像管理テーブルＴＢＬ２および移動音像テーブルＴＢＬ３を取得し、パーソナルコンピュータ３０のＨＤＤ４４０またはメモリ４１０に記憶させているものとする。本実施形態では、ＨＤＤ４４０に記憶させているものとして説明を行う。また、パーソナルコンピュータ３０のＨＤＤ４４０には、端末装置１０のメモリ１１０に記憶されている音像の移動を行うプログラムとは別の音像の移動を行うプログラムがインストールされており、対象音像の特定処理、軌跡点の位置の算出処理、並びに音像情報のオーディオ信号処理装置２０への送信処理は、パーソナルコンピュータ３０のＣＰＵ４００がＨＤＤ４４０にインストールされている音像の移動を行うプログラムを実行することにより行われる。
【００９５】
パーソナルコンピュータ３０において音像の移動を行うプログラムを起動させると、パーソナルコンピュータ３０のＣＰＵ４００は、対象音像の特定処理を行う（図３９：Ｓ８０）。具体的には、ＣＰＵ４００は、ＨＤＤ４４０に記憶された音像管理テーブルＴＢＬ２の内容を表示部４３０に選択可能に表示させる。ユーザが操作部４２０を操作することにより、いずれかの音像を選択すると、ＣＰＵ４００は、選択された音像を対象音像として特定する。ＣＰＵ４００は、特定した対象音像を識別する識別情報を含む音像情報をオーディオ信号処理装置２０に送信する（図３９：Ｓ８１）。また、ＣＰＵ４００は、端末装置１０からの角度情報の受信待ち状態となる（図３９：Ｓ８２）。なお、オーディオ信号処理装置２０は、予め軌跡点の再生・記録モードに設定されており、音像の再生・記録処理用のプログラムがＣＰＵ２１０によって実行されることにより、オーディオ信号処理装置２０における音像の再生・記録処理が行われることとする。オーディオ信号処理装置２０における音像の再生・記録処理の詳細は第１実施形態における図９と同様であるが、本実施形態においては、図９に示す処理が行われる前に、ステップＳ８１でパーソナルコンピュータ３０から送信される識別情報を含む音像情報をオーディオ信号処理装置２０のＣＰＵ２１０が受信すると、ＣＰＵ２１０は制御対象としての対象音像を認識するように構成されているものとする。
【００９６】
次に、端末装置１０において音像の移動を行うプログラムを起動させると、端末装置１０のＣＰＵ１００は、上述した実施形態と同様に、ｙａｗのリセット処理を行う（図３７：Ｓ３１〜Ｓ３３）。リセット処理が終了すると、ＣＰＵ１００は、上述した実施形態と同様に、例えば図２０に示すように、「移動軌跡を描くように移動させてください。」等のメッセージと、移動ボタンＦとを端末装置１０の表示部１３０に表示させる（図３７：Ｓ４０）。次に、ＣＰＵ１００は、ユーザが図２２に示す移動ボタンＦを押したことを検知すると（Ｓ４１：ＹＥＳ）、対象音像の音像情報の送信処理を開始する（Ｓ６０）。図３８に音像情報の送信処理の具体的な内容を示す。音像情報の送信処理は、所定のサンプリング間隔で実行される処理である。ＣＰＵ１００は、所定のサンプリング間隔で前記角度情報のｙａｗとｐｉｔｃｈを取得し（図３８：Ｓ３６０）、取得した角度情報をパーソナルコンピュータ３０に送信する（図３８：Ｓ３７０）。
【００９７】
パーソナルコンピュータ３０のＣＰＵ４００は、端末装置１０から所定のサンプリング間隔で角度情報を受信すると（図３９：Ｓ８２；ＹＥＳ）、軌跡点の位置の座標を算出する処理を行う（図３９：Ｓ８３）。座標を算出する処理の詳細は、上述した実施形態において端末装置１０のＣＰＵ１００における処理として説明した内容と同様なので説明を省略する。座標の算出処理が終了すると、パーソナルコンピュータ３０のＣＰＵ４００は、算出した座標情報を含む音像情報をオーディオ信号処理装置２０に送信する（図３９：Ｓ８４）。
【００９８】
オーディオ信号処理装置２０においては、第１実施形態と同様に、図９に示す音像の再生・記録処理が行われ、所定のサンプリング間隔で音像を所望の位置に置いた場合のゲイン配分で入力オーディオ信号を計算し、オーディオ信号を出力する。したがって、ユーザは音像の移動を開始したい位置に端末装置１０を向け、移動ボタンＦを押すことにより、当該位置における音像の音を確認することができる。
【００９９】
ＣＰＵ４００は、以上の処理（図３９：Ｓ８２〜Ｓ８４）を、端末装置１０から音像移動の完了報告を受信するまで（図３９：Ｓ８５；ＹＥＳ）継続する。ＣＰＵ４００は、末装置１０から音像移動の完了報告を受信すると（図３９：Ｓ８５；ＹＥＳ）、音像移動の完了報告をオーディオ信号処理装置２０に送信する。完了報告を受信したオーディオ信号処理装置２０のＣＰＵ２１０は、音像管理テーブルＴＢＬ２を更新し、音像の再生・記録処理を終了する。また、パーソナルコンピュータ３０のＣＰＵ４００は、音像移動の完了報告を受信した後、音像管理テーブルＴＢＬ２を更新する（図３９：Ｓ８７）と共に、移動音像テーブルＴＢＬ３を更新する（図３９：Ｓ８８）。
以上のように、パーソナルコンピュータ３０のＣＰＵ４００と通信インターフェース４５０は、角度情報を受信する情報処理受信部として機能し、また、角度情報に関連する関連情報として軌跡点位置の位置情報を記録する情報処理記録部として機能する。さらに、ＣＰＵ４００と通信インターフェース４５０は、制御対象の音像を識別する識別情報と前記角度情報に関連する関連情報としての軌跡点位置の位置情報をオーディオ信号処理装置２０に送信する情報処理送信部として機能する。
【０１００】
以上のように、本実施形態においては、移動軌跡の位置情報がパーソナルコンピュータ３０のＨＤＤ４４０に記録されるので、端末装置１０による直観的な操作で対象音像の軌跡Ｌを記録した後において、パーソナルコンピュータ３０上で軌跡Ｌの細かな修正を行うことが可能になっている。３次元空間上に描く軌跡を、最初からパーソナルコンピュータ３０上で作成することは複雑な操作を伴い、容易ではない。しかし、本実施形態によれば、最初は端末装置１０による直観的な操作で対象音像の軌跡Ｌを記録し、その後にパーソナルコンピュータ３０上で細かな修正を行うことができるので、対象音像についての所望の軌跡を従来よりも容易に作成することが可能になっている。
【０１０１】
パーソナルコンピュータ３０のＨＤＤ４４０に保存した移動音像テーブルＴＢＬ３の記録内容と音像管理テーブルＴＢＬ２の更新内容は、上述したような修正の有無に応じて、適宜更新される。また、パーソナルコンピュータ３０上においてこれらのテーブルに対する更新が行われた場合には、更新の内容をパーソナルコンピュータ３０からオーディオ信号処理装置２０に送信することができる。
【０１０２】
再生を行う場合には、上述した実施形態と同様に、オーディオ信号処理装置２０において再生処理を実行することにより、オーディオ信号処理装置２０のＣＰＵ２１０と処理ユニットＵ１〜Ｕｍは再生部として機能し、音像管理テーブルＴＢＬ２と移動音像テーブルＴＢＬ３に基づいて、識別情報により識別される制御対象としての音像を再生する。
【０１０３】
なお、本実施形態においては、パーソナルコンピュータ３０のＣＰＵ４００を軌跡点情報算出部として機能させ、パーソナルコンピュータ３０において軌跡点の位置情報を算出する構成について説明した。しかし、本発明はこのような構成に限定される訳ではなく、第１実施形態のように端末装置１０のＣＰＵ１００を軌跡点情報算出部として機能させてもよいし、また、第２実施形態のように、オーディオ信号処理装置２０のＣＰＵ２１０を軌跡点情報算出部として機能させてもよい。端末装置１０のＣＰＵ１００を軌跡点情報算出部として機能させる場合には、端末装置１０から軌跡点の位置情報を送信し、パーソナルコンピュータ３０において当該位置情報を受信して移動音像テーブルＴＢＬ３に記録する。また、パーソナルコンピュータ３０から当該位置情報をオーディオ信号処理装置２０に送信し、オーディオ信号処理装置２０において当該位置情報に基づく再生処理を行うと共に、移動音像テーブルＴＢＬ３への記録を行う。また、オーディオ信号処理装置２０のＣＰＵ２１０を軌跡点情報算出部として機能させる場合には、パーソナルコンピュータ３０から角度情報をオーディオ信号処理装置２０に送信し、オーディオ信号処理装置２０において角度情報に基づいて軌跡点の位置情報を算出すればよい。この場合には、オーディオ信号処理装置２０において算出した軌跡点の位置情報をパーソナルコンピュータ３０に送信し、パーソナルコンピュータ３０において受信した軌跡点の位置情報を移動音像テーブルＴＢＬ３に記録するようにしてもよい。
【０１０４】
また、本実施形態においては、制御対象としての音像の特定をパーソナルコンピュータ３０において行う構成について説明したが、本発明はこのような構成に限定される訳ではなく、例えば、第１実施形態のように端末装置１０において制御対象としての音像の特定を行い、特定した音像の識別情報をパーソナルコンピュータ３０に送信するように構成することも可能である。
【０１０５】
＜Ｅ：第５実施形態＞
次に、図４０を参照しつつ、本発明の第５実施形態について説明する。上述した実施形態においては、一つの対象音像について軌跡Ｌを作成する例について説明したが、複数の音像について複数の軌跡を作成するようにしてもよい。この場合にも移動音像テーブルＴＢＬ３への記録と音像管理テーブルＴＢＬ２の更新を行うところは上述した実施形態と同様である。本実施形態では、これらのテーブルとは別に再生テーブルＴＢＬ４を用いる。再生テーブルＴＢＬ４は、図４０に示すように、再生時間順に音像を識別する情報と時間情報と位置情報とが記録されている。音像の軌跡点の記録処理は、それぞれの音像について別々に行い、再生を行う前にこのような再生テーブルＴＢＬ４にすればよい。再生テーブルＴＢＬ４は、端末装置１０で作成してオーディオ信号処理装置２０やパーソナルコンピュータ３０に送信してもよいし、オーディオ信号処理装置２０またはパーソナルコンピュータ３０において作成するようにしてもよい。
【０１０６】
＜Ｆ：第６実施形態＞
次に、図４１ないし図４５を参照しつつ、本発明の第６実施形態について説明する。第１実施形態においては、図１０に示すように、端末装置１０の中心を座標原点とし、Ｘ軸方向の長さが２、Ｙ軸方向の長さが２、かつＺ軸方向の長さが２の３次元座標空間において、対象音像および軌跡点の座標を求めた。しかし、本発明はこの例に限定されるものではなく、例えば、図４１に示すように、端末装置１０の中心を座標原点とし、半径が１、かつＺ軸方向の長さが２の円柱形状の図形に投影することにより、対象音像および軌跡点の座標を求めるようにしてもよい。図４２に示すＸＹ平面上におけるＸＹの座標は次のようにして求められる。
【０１０７】
（数３）
ｘ＝ｓｉｎ（ｙａｗ）
ｙ＝ｃｏｓ（ｙａｗ）
また、Ｚの座標については、第１実施形態と同様に、ｐｉｔｃｈに基づいて求めればよい。
【０１０８】
図１２に示す第１実施形態および図４１に示す第６実施形態のいずれの場合も、天井面および底面に対象音像の軌跡点を配置する場合には、ｐｉｔｃｈが＋４５°〜＋９０°または−４５°〜−９０°の時に、上述のようにして求めたＸＹ平面上のＸＹ座標に対して、（９０−ｐｉｔｃｈ）／４５を掛けることにより、３次元座標空間の天井または底面上のおおよその位置（Ｘ，Ｙ，Ｚ）を求めることができる。
【０１０９】
さらに、図４３に示すように、端末装置１０によって指示された位置を、半径ｒの球上の極座標として求めてよい。この場合には、Ｘ、Ｙ、Ｚの座標はそれぞれ次のように求めることができる。
【０１１０】
（数４）
ｘ＝ｒｃｏｓ（ｐｉｔｃｈ）ｓｉｎ（ｙａｗ）
ｙ＝ｒｃｏｓ（ｐｉｔｃｈ）ｃｏｓ（ｙａｗ）
ｚ＝ｒｓｉｎ（ｐｉｔｃｈ）
【０１１１】
この場合には、テーブルに記憶された極座標のうち、端末装置１０の角度から算出された極座標と最も近い極座標の音像をユーザが特定したい音像と推定すればよい。また、音像の軌跡点を指定する場合には、端末装置１０の角度から算出された極座標をテーブルに記憶すればよい。また極座標から（数４）の数式で変換したＸＹＺの座標を使用しても良い。
【０１１２】
また、図４４および図４５に示すように、ＸＹ平面およびＹＺ平面またはＸＺ平面において、所定の角度ごとに閾値を設け、音像がどの領域に属しているかを位置情報として記憶するようにしてもよい。図４４および図４５の例では、ＸＹ平面をＡ１〜Ａ１６の領域に分け、ＹＺ平面をＢ１〜Ｂ１６の領域に分けている。各領域の角度の間隔は均等である必要はなく、この例よりも更に細分化してもよいし、あるいは、大まかに区分するようにしてもよい。この場合には、端末装置１０の角度から算出された領域に属する音像をユーザが特定したい音像と推定すればよい。また、音像の軌跡点を指定する場合には、その指定位置の属する領域を位置状態としてテーブルに記憶すればよい。
【０１１３】
＜Ｇ：第７実施形態＞
次に、図４を参照しつつ、本発明の第７実施形態について説明する。上述した実施形態においては、端末装置１０の表示部１３０に、制御対象や操作の確認メッセージを表示する例について説明した。つまり、上述した実施形態においては、ＣＰＵ１００および表示部１３０が、制御対象が特定されたことを報知する報知部として構成されていた。しかし、本発明のこの例に限定されるものではなく、例えば、図４に示す端末装置１０のバイブレーション発生部１６０によるバイブレーション機能あるいはサウンド発生部１６１によるサウンド機能を用いて、ユーザに報知するようにしてもよい。つまり、ＣＰＵ１００およびバイブレーション発生部１６０またはサウンド発生部１６１を、制御対象が特定されたことを報知する報知部として構成してもよい。
【０１１４】
例えば、対象音像を特定しようとしてユーザが端末装置１０を音像の方向に向けた際、端末装置１０のｙａｗおよびｐｉｔｃｈの角度に近い位置情報を有する対象音像が存在した場合には、１度短くバイブレーションを発生させたり、予め設定しておいた音を発生させるようにしてもよい。また、バイブレーションを発生する回数や、音を発生させる回数を、対象音像ごとに変えるようにしてもよい。例えば、対象音像として、左フロントチャネルが特定可能な場合には１回、センタチャネルが特定可能な場合には２回、右フロントチャネルが特定可能な場合には３回というように、バイブレーションを発生する回数や、音を発生させる回数を、対象音像ごとに変えることも可能である。このように構成した場合には、ユーザが端末装置１０の表示部１３０を見なくても対象音像が特定されたことを知ることができ、利便性を高めることができる。
【０１１５】
＜Ｈ：変形例＞
以上本発明の各実施形態について説明したが、これら実施形態に以下の変形を加えても勿論良い。
（１）上記各実施形態では、端末装置１０において角度情報を取得すると共に、座標の算出と対象音像の特定も端末装置１０において行った。しかし、端末装置１０において角度情報をオーディオ信号処理装置２０に送信し、オーディオ信号処理装置２０において座標の算出と対象音像の特定を行うようにしてもよい。
【０１１６】
（２）上記各実施形態では、対象音像の方向に端末装置１０を向けるという直観的な方法で対象音像を特定する例について説明した。しかし、本発明はこの例に限定されるものではなく、例えば、図４６に示すように、端末装置１０の表示部１３０に、対象音像を選択させるプルダウンメニュー１３１を表示させるようにしてもよい。
【０１１７】
（３）上記各実施形態では、対象音像を特定した後に、制御対象としての音像の軌跡的ん位置を算出する処理を行う例について説明した。しかし、対象音像を特定した後に、音量や音質を調整する等の編集処理を行うようにしてもよい。この場合には、端末装置１０の表示部１３０に、音量や音質の調整表示を行ったり、端末装置１０の姿勢の変化によって調整するようにしてもよい。なお、編集の内容は、制御対象によっても異なるので、制御対象に応じて、編集の内容が異なる画面を表示させるようにしてもよい。
【０１１８】
（４）上記各実施形態では、常に全てのチャネルの音を再生する場合と、対象音像を特定した時に、対象音像の音のみを再生する例について説明した。しかし、対象音像を特定処理が開始されるときに全ての音を消して、端末装置１０の向きが対象音像に近づいたときだけその場所から音を出すようにしてもよい。音は、現在再生されている音でもよいし、ビープ音などの固定音でもよい。
【０１１９】
（５）上記各実施形態では、一つの端末装置１０のみを用いる構成について説明したが、本発明はこのような構成に限定される訳ではない。例えば、上記各実施形態で説明した端末装置１０以外の他の端末装置１０を備え、当該他の端末装置１０から、軌跡点の送信・再生・記録処理の開始指示、あるいは、停止指示をオーディオ信号処理装置２０またはパーソナルコンピュータ３０に送信するように構成することもできる。つまり、軌跡点の送信・再生・記録処理の開始指示、あるいは、停止指示を送信する端末装置１０と、移動軌跡を描くように向け先を移動させる端末装置１０とを別々の端末装置１０で構成してもよい。また、複数の端末装置１０を備え、どの端末装置１０から軌跡点の送信・再生・記録処理の開始指示、あるいは、停止指示を送信してもよいし、どの端末装置１０で移動軌跡を描くように向け先を移動させるようにしてもよい。また、上記各実施形態においては、移動ボタンＦが押されたことを検知した際に軌跡点の送信・再生・記録処理の開始指示があったと判断し、移動ボタンＦが離された際に軌跡点の送信・再生・記録処理の停止指示があったと判断する構成について説明した。しかし、本発明はこのような構成に限定される訳ではなく、軌跡点の送信・再生・記録処理の開始ボタンと停止ボタンとを備え、開始ボタンが押下されたことを検知した際に軌跡点の送信・再生・記録処理の開始指示があったと判断し、停止ボタンが押下されたことを検知した際に軌跡点の送信・再生・記録処理の停止指示があったと判断するように構成してもよい。
【０１２０】
（６）上記第４実施形態では、端末装置１０において距離調整を行わずに、角度情報をパーソナルコンピュータ３０に送信する構成について説明した。しかし、本発明は、このような構成に限定される訳ではなく、第３実施形態のように端末装置１０において距離調整を行い、距離調整に関する情報と角度情報とを端末装置１０からパーソナルコンピュータ３０に送信するように構成することも可能である。
【０１２１】
（７）上記各実施形態では、受信側の装置が受信した時間を時間情報として採用する構成について説明した。しかし、本発明は、このような構成に限定される訳ではなく、送信側の装置が角度情報または位置情報と共に時間情報を送信するように構成することも可能である。受信側の装置が時間情報を有する場合には、当該受信側の装置が時間情報を受信した際に受信した時間情報を使用してもよいし、使用しなくてもよい。使用しない場合には、受信した際に直ちに処理を行えばよい。
【０１２２】
（８）上記第４実施形態では、パーソナルコンピュータ３０からオーディオ信号処理装置２０に軌跡点の位置情報を送信し、オーディオ信号処理装置２０において位置情報に基づく制御対象としての音源の再生を行う構成について説明した。しかし、本発明はこのような構成に限定される訳ではなく、パーソナルコンピュータ３０からオーディオ信号をオーディオ信号処理装置２０に送信、オーディオ信号処理装置２０においてオーディオ信号を処理して出力するように構成することも可能である。この場合には、パーソナルコンピュータ３０にオーディオ信号処理装置２０の処理ユニットＵ１〜Ｕｍと同様の処理ユニットＵ１〜Ｕｍを備える。そして、パーソナルコンピュータ３０の処理ユニットＵ１〜Ｕｍにより、制御対象を識別する識別情報、軌跡点の位置情報、および位置情報に関係付けられた時間情報に基づいて、オーディオ信号を処理し、オーディオ信号処理装置２０に送信する。オーディオ信号を受信したオーディオ信号処理装置２０は、受信したオーディオ信号をリアルタイムで出力する。このように構成した場合でも、軌跡点位置の音像の音を確認しながら、音像を所望の軌跡を描くように移動させることができる。
【０１２３】
（９）上記各実施形態においては、軌跡点の音像情報の送信・記録・再生処理の際に、一定のサンプリング間隔で角度情報の取得と送信、および位置情報の算出と送信を行う構成について説明した。しかし、本発明はこのような構成に限定される訳ではなく、例えば角度情報に変化があった場合だけ角度情報の取得と送信、および位置情報の算出と送信を行うように構成することも可能である。また、上記各実施形態では、一定のサンプリング間隔を１秒とした例について説明したが、１秒よりも早い間隔であってもよい。
【０１２４】
（１０）上記各実施形態においては、端末装置１０が取得した角度情報または算出した位置情報を送信する際に、角度情報または位置情報を端末装置１０のメモリ１１０に記録しない構成について説明した。しかし、本発明はこのような構成に限定される訳ではなく、角度情報または位置情報をメモリ１１０に記録するように構成することも可能である。このように構成した場合には、他の端末装置１０に角度情報または位置情報をコピーできる等の利点がある。
【符号の説明】
【０１２５】
１Ａ，１Ｂ…オーディオ信号処理システム、１０…端末装置、２０…オーディオ信号処理装置、３０…パーソナルコンピュータ、１００…ＣＰＵ、１１０…メモリ、１５１…ジャイロセンサ、１５２…加速度センサ、１５３…方位センサ、２１０…ＣＰＵ、２３０…メモリ、３０１…ミキサ、３１０…周波数補正部、３２０…ゲイン分配部、ＩＮ１〜ＩＮ９…入力オーディオ信号、ＯＵＴ１〜ＯＵＴ９…出力オーディオ信号、Ｐｒｅｆ…基準位置、ＳＰ１…センタスピーカ、ＳＰ２…右フロントスピーカ、ＳＰ３…右サラウンドスピーカ、ＳＰ４…左サラウンドスピーカ、ＳＰ５…左フロントスピーカ、ＳＰ６…右フロントプレゼンススピーカ、ＳＰ７…右リアプレゼンススピーカ、ＳＰ８…左リアプレゼンススピーカ、ＳＰ９…左フロントプレゼンススピーカ、ＴＢＬ１…スピーカ管理テーブル、ＴＢＬ２…音像管理テーブル、ＴＢＬ３…移動音像テーブル。
【図１】
2016100689.tif 000003
【図２】
2016100689.tif 000004
【図３】
2016100689.tif 000005
【図４】
2016100689.tif 000006
【図５】
2016100689.tif 000007
【図６】
2016100689.tif 000008
【図７】
2016100689.tif 000009
【図８】
2016100689.tif 000010
【図９】
2016100689.tif 000011
【図１０】
2016100689.tif 000012
【図１１】
2016100689.tif 000013
【図１２】
2016100689.tif 000014
【図１３】
2016100689.tif 000015
【図１４】
2016100689.tif 000016
【図１５】
2016100689.tif 000017
【図１６】
2016100689.tif 000018
【図１７】
2016100689.tif 000019
【図１８】
2016100689.tif 000020
【図１９】
2016100689.tif 000021
【図２０】
2016100689.tif 000022
【図２１】
2016100689.tif 000023
【図２２】
2016100689.tif 000024
【図２３】
2016100689.tif 000025
【図２４】
2016100689.tif 000026
【図２５】
2016100689.tif 000027
【図２６】
2016100689.tif 000028
【図２７】
2016100689.tif 000029
【図２８】
2016100689.tif 000030
【図２９】
2016100689.tif 000031
【図３０】
2016100689.tif 000032
【図３１】
2016100689.tif 000033
【図３２】
2016100689.tif 000034
【図３３】
2016100689.tif 000035
【図３４】
2016100689.tif 000036
【図３５】
2016100689.tif 000037
【図３６】
2016100689.tif 000038
【図３７】
2016100689.tif 000039
【図３８】
2016100689.tif 000040
【図３９】
2016100689.tif 000041
【図４０】
2016100689.tif 000042
【図４１】
2016100689.tif 000043
【図４２】
2016100689.tif 000044
【図４３】
2016100689.tif 000045
【図４４】
2016100689.tif 000046
【図４５】
2016100689.tif 000047
【図４６】
2016100689.tif 000048