(57)【要約】      （修正有）【課題】会話中である複数人から話し相手を選択することが可能な情報処理システム及びプログラムを提供する。【解決手段】ユーザの近傍に配された第１のセンサにより検知された信号より、ユーザ及びユーザが対話を要求する対象を同定する同定部１３３と、第１のセンサ及び対象の近傍に配された第２のセンサにより検知された信号に対して所定の信号処理を行う信号処理部１５と、信号処理部１５により処理された少なくとも第２のセンサにより検知された信号を、ユーザの近傍に配された第１の出力部に出力させる出力制御部１７と、同定部１３３により対象が複数同定された場合、第１のセンサにより検知された信号による複数の対象の中から特定対象を選択する選択要求を認識する認識部１３１を備え、認識部１３１により選択要求が認識された場合、第１のセンサにより検知された信号を、特定対象の近傍に配された第２の出力部に出力させる、情報処理システム。【選択図】図３
2014060647.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの近傍に配された第１のセンサにより検知された信号に基づいて、前記ユーザ及び前記ユーザが対話を要求する対象を同定する同定部と、
前記第１のセンサ及び前記対象の近傍に配された第２のセンサにより検知された信号に対して所定の信号処理を行う信号処理部と、
前記信号処理部により処理された少なくとも前記第２のセンサにより検知された信号を、前記ユーザの近傍に配された第１の出力部に出力させる出力制御部と、
前記同定部により前記対象が複数同定された場合、前記第１のセンサにより検知された信号に基づいて、複数の前記対象の中から特定対象を選択する選択要求を認識する認識部と、
を備え、
前記出力制御部は、前記認識部により前記選択要求が認識された場合、前記信号処理部により処理された前記第１のセンサにより検知された信号を、前記特定対象の近傍に配された第２の出力部に出力させる、情報処理システム。
【請求項２】
前記出力制御部は、前記認識部により前記選択要求が認識された場合、前記複数の対象のうち、前記特定対象の近傍に配された前記第２のセンサにより検知された信号のみを前記第１の出力部に出力させる、請求項１に記載の情報処理システム。
【請求項３】
前記信号処理部は、前記同定部により前記対象が複数同定された場合、複数の前記対象の近傍に配された前記第２のセンサにより検知された信号を処理する、請求項１に記載の情報処理システム。
【請求項４】
前記信号処理部は、前記同定部により前記対象が複数同定された場合、複数の前記対象の近傍に配された前記第２のセンサにより検知された信号を合成処理する、請求項１に記載の情報処理システム。
【請求項５】
前記信号は音声信号を含み、
前記第１のセンサおよび前記第２のセンサはマイクロフォンを含み、
前記第１の出力部および前記第２の出力部は音声を出力するスピーカーを含む、請求項１に記載の情報処理システム。
【請求項６】
前記認識部は、前記第１のセンサにより検知された前記ユーザの音声の大きさに基づいて前記選択要求を認識する、請求項５に記載の情報処理システム。
【請求項７】
前記認識部は、前記第１のセンサにより検知された前記ユーザの言語に基づいて前記選択要求を認識する、請求項５に記載の情報処理システム。
【請求項８】
前記信号処理部は、前記同定部により前記対象が複数同定された場合、前記第１の出力部からの音声出力が前記ユーザの位置付近の複数個所に定位するよう信号処理を行う、請求項５に記載の情報処理システム。
【請求項９】
前記認識部は、前記第１の出力部からの音声出力が定位した位置と前記第１のセンサにより検知された前記ユーザの位置との位置関係の変化に基づいて前記選択要求を認識する、請求項８に記載の情報処理システム。
【請求項１０】
前記認識部は、前記第１のセンサにより検知された前記ユーザの音声に所定の文言が含まれるか否かに基づいて前記選択要求を認識する、請求項５に記載の情報処理システム。
【請求項１１】
前記認識部は、前記第１のセンサにより検知された前記ユーザの話す速度に基づいて前記選択要求を認識する、請求項５に記載の情報処理システム。
【請求項１２】
前記認識部は、前記第１のセンサにより検知された前記ユーザの動作に基づいて前記選択要求を認識する、請求項１に記載の情報処理システム。
【請求項１３】
前記情報処理システムは、前記ユーザからの前記選択要求の入力を受け付ける入力部をさらに備え、
前記認識部は、前記入力部により入力された前記選択要求を認識する、請求項１に記載の情報処理システム。
【請求項１４】
前記出力制御部は、前記認識部が前記選択要求を認識した場合に、前記ユーザへの通知信号を前記第１の出力部に出力させる、請求項１に記載の情報処理システム。
【請求項１５】
前記情報処理システムは、
所定の空間に配されるセンサおよび出力部と信号の入出力を行い、
前記ユーザが含まれる所定の空間に配される前記センサを前記第１のセンサ、同空間に配される前記出力部を前記第１の出力部とし、
前記対象が含まれる所定の空間に配される前記センサを前記第２のセンサ、同空間に配される前記出力部を前記第２の出力部とする、請求項１に記載の情報処理システム。
【請求項１６】
前記情報処理システムは、
複数の所定の空間に配されるセンサおよび出力部と信号の入出力を行い、
複数の前記所定の空間のうち前記ユーザが含まれる前記所定の空間に配される前記センサを前記第１のセンサ、同空間に配される前記出力部を前記第１の出力部とし、
複数の前記所定の空間のうち前記対象が含まれる前記所定の空間に配される前記センサを前記第２のセンサ、同空間に配される前記出力部を前記第２の出力部とする、請求項１に記載の情報処理システム。
【請求項１７】
前記情報処理システムは、
所定のセンサおよび出力部のうち、前記ユーザおよび所定の前記対象の近傍に配されたセンサおよび出力部と信号の入出力を行い、
前記ユーザの近傍に配される前記センサを前記第１のセンサ、前記出力部を前記第１の出力部とし、
前記対象の近傍に配される前記センサを前記第２のセンサ、前記出力部を前記第２の出力部とする、請求項１に記載の情報処理システム。
【請求項１８】
コンピュータに、
ユーザの近傍に配された第１のセンサにより検知された信号に基づいて、前記ユーザ及び前記ユーザが対話を要求する対象を同定するステップと、
前記第１のセンサ及び前記対象の近傍に配された第２のセンサにより検知された信号に対して所定の信号処理を行うステップと、
前記信号処理された少なくとも前記第２のセンサにより検知された信号を、前記ユーザの近傍に配された第１の出力部に出力させるステップと、
を実行させ、前記対象が複数同定された場合に、
複数の前記対象の近傍に配された前記第２のセンサにより検知された信号を合成処理するステップと、
前記第１のセンサにより検知された信号に基づいて、複数の前記対象の中から特定対象を選択する選択要求を認識するステップと、
前記信号処理された前記第１のセンサにより検知された信号を、前記特定対象の近傍に配された第２の出力部に出力させるステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理システム及びプログラムに関する。
【背景技術】
【０００２】
近年、データ通信の分野において様々な技術が提案されている。特に、複数人で会話する際のデータ通信技術としては、例えば電話会議を円滑に執り行うための電話会議システムの技術が種々提案されている。
【０００３】
例えば、下記特許文献１では、複数人で会話する電話会議システムにおいて、話者ごとに異なる位置に音声出力を定位させることで、聞き手が容易に話者を判別できる技術が開示されている。また、下記特許文献２では、テレビ会議システムにおいて、あらかじめ会議のグループ登録を済ませ、事前にメール等で会議への参加意思を伝えておくことで、会議室へ入室すると自動的に会議へ参加できる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平２−２９５２６９号公報
【特許文献２】特開２００４−３４３１７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１及び２では、会話中である複数人から話し相手を選択する技術については、何ら言及されていない。
【０００６】
そこで、本開示では、会話中である複数人から話し相手を選択することが可能な、新規且つ改良された情報処理システム及びプログラムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、ユーザの近傍に配された第１のセンサにより検知された信号に基づいて、前記ユーザ及び前記ユーザが対話を要求する対象を同定する同定部と、前記第１のセンサ及び前記対象の近傍に配された第２のセンサにより検知された信号に対して所定の信号処理を行う信号処理部と、前記信号処理部により処理された少なくとも前記第２のセンサにより検知された信号を、前記ユーザの近傍に配された第１の出力部に出力させる出力制御部と、前記同定部により前記対象が複数同定された場合、前記第１のセンサにより検知された信号に基づいて、複数の前記対象の中から特定対象を選択する選択要求を認識する認識部と、を備え、前記出力制御部は、前記認識部により前記選択要求が認識された場合、前記信号処理部により処理された前記第１のセンサにより検知された信号を、前記特定対象の近傍に配された第２の出力部に出力させる、情報処理システムが提供される。
【０００８】
また、本開示によれば、コンピュータに、ユーザの近傍に配された第１のセンサにより検知された信号に基づいて、前記ユーザ及び前記ユーザが対話を要求する対象を同定するステップと、前記第１のセンサ及び前記対象の近傍に配された第２のセンサにより検知された信号に対して所定の信号処理を行うステップと、前記信号処理された少なくとも前記第２のセンサにより検知された信号を、前記ユーザの近傍に配された第１の出力部に出力させるステップと、を実行させ、前記対象が複数同定された場合に、複数の前記対象の近傍に配された前記第２のセンサにより検知された信号を合成処理するステップと、前記第１のセンサにより検知された信号に基づいて、複数の前記対象の中から特定対象を選択する選択要求を認識するステップと、前記信号処理された前記第１のセンサにより検知された信号を、前記特定対象の近傍に配された第２の出力部に出力させるステップと、を実行させるためのプログラムが提供される。
【発明の効果】
【０００９】
以上説明したように本開示によれば、会話中である複数人から話し相手を選択することが可能である。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る音響システムの概要を説明するための図である。
【図２】本実施形態に係る音響システムの全体構成を示す図である。
【図３】本実施形態に係る信号処理装置の構成を示すブロック図である。
【図４】本実施形態に係る管理サーバの構成を示すブロック図である。
【図５】本実施形態に係る表示装置の外観例を示した説明図である。
【図６】本実施形態に係る表示装置の構成の一例を示すブロック図である。
【図７】本実施形態に係る表示装置の構成の一例を示すブロック図である。
【図８】本実施形態に係る複数空間の接続動作の基本処理を示すフローチャートである。
【図９】本実施形態に係るコマンド認識処理を示すフローチャートである。
【図１０】本実施形態に係る収音処理を示すフローチャートである。
【図１１】本実施形態に係る音場再生処理を示すフローチャートである。
【図１２】本実施形態に係る接続空間の選択処理の一例の概要を示した説明図である。
【図１３】本実施形態に係る接続空間の選択処理の一例を示すフローチャートである。
【図１４】本実施形態に係る接続空間の選択処理の一例の概要を示した説明図である。
【図１５】本実施形態に係る接続空間の選択処理の一例を示すフローチャートである。
【図１６】本実施形態に係る接続空間の選択処理の一例の概要を示した説明図である。
【図１７】本実施形態に係る複数空間の接続動作の一例を示すフローチャートである。
【図１８】本実施形態に係る接続空間の選択処理の一例を示すフローチャートである。
【図１９】本実施形態に係る音響システムの音声ガイダンス処理を示すフローチャートである。
【図２０】本実施形態に係る音響システムの全体構成の一例を示す図である。
【図２１】本実施形態に係る複数空間の接続動作の一例を示すフローチャートである。
【図２２】本実施形態に係る音響システムの全体構成の一例を示す図である。
【図２３】本実施形態に係る複数空間の接続動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
なお、説明は以下の順序で行うものとする。
１．本開示の一実施形態に係る音響システムの概要
２．基本構成
２−１．システム構成
２−２．信号処理装置
２−３．管理サーバ
２−４．表示装置
３．複数空間の接続処理
３−１．基本処理
３−２．コマンド認識処理
３−３．収音処理
３−４．音場再生処理
４．接続空間の選択処理
４−１．接続空間の選択処理１
４−２．接続空間の選択処理２
４−３．接続空間の選択処理３
４−４．接続空間の選択処理４
４−５．接続空間の選択処理５
４−６．接続空間の選択処理６
４−７．接続空間の選択処理７
４−８．接続空間の選択処理に付随する処理
５．システム構成の変形例
５−１．システム構成例１
５−２．システム構成例２
６．効果
７．まとめ
【００１３】
＜１．本開示の一実施形態に係る音響システムの概要＞
本開示の一実施形態に係る音響システム（情報処理システム）は、
Ａ．ユーザの近傍に配された第１のセンサ（マイクロフォン１０、カメラ３０、赤外線／熱センサ４０）により検知された信号に基づいて、前記ユーザ及び前記ユーザが会話を要求する対象を同定する同定部（１３３）と、
Ｂ．前記第１のセンサ及び前記対象の近傍に配された第２のセンサ（マイクロフォン１０、カメラ３０、赤外線／熱センサ４０）により検知された信号に対して所定の信号処理を行う信号処理部（１５）と、
Ｃ．前記信号処理部により処理された少なくとも前記第２のセンサにより検知された信号を、前記ユーザの近傍に配された第１の出力部（スピーカー２０）に出力させる出力制御部（１７）と、
Ｄ．前記同定部により前記対象が複数同定された場合、前記第１のセンサにより検知された信号に基づいて、複数の前記対象の中から特定対象を選択する選択要求を認識する認識部（１３１）と、
を備え、
Ｅ．前記出力制御部は、前記認識部により前記選択要求が認識された場合、前記信号処理部により処理された前記第１のセンサにより検知された信号を、前記特定対象の近傍に配された第２の出力部（スピーカー２０）に出力させる。
【００１４】
まず、本実施形態に係る音響システムの概要について、図１を参照して説明する。
【００１５】
図１は、本実施形態に係る音響システムの概要を説明するための図である。図１に示したように、音響システムは、部屋、家、ビル、屋外、地域、国等の世界の至る所、また、世界中の自転車、オートバイ、自動車、船舶、ヘリコプター、飛行機、ロケット等の移動体に大量のセンサおよびアクチュエータが配置されている状況を想定する。センサとしては、例えばマイクロフォン（以下、マイクとも称す）１０、カメラ３０、人感センサ（図３で後述する赤外線／熱センサ４０等）等が挙げられる。また、アクチュエータとしては、例えばスピーカー２０、ディスプレイ（不図示）等が挙げられる。なお、図１においては、マイク１０のうち、それぞれ異なる場所である「サイトＡ」、「サイトＢ」および「サイトＣ」に配されたマイク１０を、それぞれマイク１０Ａ、マイク１０Ｂ、マイク１０Ｃと称する。スピーカー２０、およびカメラ３０についても同様である。
【００１６】
図１に示す例では、ユーザＡが現在居る屋内の一のエリア「サイトＡ」の壁、床、天井等に、複数のマイク１０Ａ、スピーカー２０Ａ、およびカメラ３０Ａが配されている。また、ユーザＢが現在居る屋外の一のエリア「サイトＢ」の道路等に、複数のマイク１０Ｂ、スピーカー２０Ｂ、およびカメラ３０Ｂが配されている。また、ユーザＣ１、Ｃ２が現在居る屋内の一のエリア「サイトＣ」には、サイトＡと同様に複数のマイク１０Ｃ、スピーカー２０Ｃ、およびカメラ３０Ｃが配されている。
【００１７】
ここで、サイトＡ、サイトＢおよびサイトＣはネットワークを介して接続可能である。そして、それぞれのサイトに配されたセンサにより検知された信号は、サイト間で相互に送受信され、各サイトにおいてアクチュエータにより出力される。なお、以下では、マイク１０により収音された音声がスピーカー２０により出力される例を説明するが、カメラ３０により検知された映像がディスプレイにより出力されてもよい。
【００１８】
これにより、ユーザの周囲に配された複数のスピーカー２０やディスプレイは、他のユーザの音声や映像をリアルタイムに再生することができる。このため、ユーザは、他の空間に居る他のユーザと、あたかも同一の場所で対話しているかのように、会話することができる。また、ユーザが会話できる人数に制限はなく、複数の空間に居る複数のユーザが、あたかも同一の場所に集まって会話しているかのように、会話することができる。
【００１９】
また、至る所にセンサおよびアクチュエータが配されているので、ユーザはスマートフォンや携帯電話端末を所有する必要がない。従って、ユーザは、声やジェスチャーによって音響システムに対して多様な入力を行うことができる。そして、音響システムは、ユーザによる入力を、ユーザの要求を示すコマンドとして認識する。
【００２０】
なお、コマンドには多様な種類があり、例えば、他のユーザの居る空間との接続、即ち発呼を要求する発呼要求、接続した空間から所望の空間を選択する選択要求、および選択要求による空間の選択を解除する選択解除要求がある。ユーザは、発呼要求として他ユーザを指示することで、ユーザの周辺の空間と他ユーザの周辺の空間とを接続させることができる。また、ユーザは、選択要求として会話中の複数人から所望の他ユーザを指示することで、特定の他ユーザとの間だけでの内密の会話を行うことができる。また、ユーザは、選択解除要求を指示することで、内密の会話を終えて元の複数人での会話に復帰することができる。なお、以下では、ユーザが発呼要求により会話を要求する対象である他ユーザ、および選択要求により選択する特定対象である他ユーザを、対象ユーザと総称する。
【００２１】
また、音響システムは、ユーザが、現在誰と会話中なのか、また誰と内密の会話中なのか等の会話状態をユーザに管理および確認させるためのデバイスを有してもよい。
【００２２】
以下、サイトＡに居るユーザＡが、サイトＢ居るユーザＢ、およびサイトＣに居るユーザＣ１、Ｃ２と会話する場合の、発呼要求による複数空間の接続動作、および選択要求による接続空間の選択動作について、順に説明する。
【００２３】
（複数空間の接続）
・データ収集
サイトＡでは、複数のマイク１０Ａ、カメラ３０Ａ、および人感センサ等により継続的にデータ収集処理が行われている。具体的には、音響システムは、複数のマイク１０Ａで収音した音声、カメラ３０Ａで撮像した撮像画像、または人感センサの検知結果を収集し、これらによりユーザの位置を推定する。
【００２４】
また、音響システムは、予め登録された複数のマイク１０の位置情報、および推定されたユーザの位置に基づいて、ユーザの声が十分収音可能な位置に配されているマイク群（マイク１０Ａ）を選出してもよい。そして、音響システムは、選出したマイク１０Ａにより収音されたオーディオ信号のストリーム群に対してマイクアレイ処理を行う。特に、音響システムは、ユーザＡの口元に収音点が合うような遅延和アレイを行ってもよく、これによりアレイマイクの超指向性を形成できる。よって、ユーザＡのつぶやき程度の小さな声も収音され得る。
【００２５】
また、音響システムは、収音したユーザＡの音声に基づいてコマンドを認識し、コマンドに従った動作処理を実行する。例えば、サイトＡに居るユーザＡが「Ｂさんと話したい」とつぶやくと、「ユーザＢへの発呼要求」がコマンドとして認識される。この場合、音響システムは、ユーザＢの現在位置を同定し、ユーザＢが現在居るサイトＢとユーザＡが現在居るサイトＡとを接続させる。これにより、ユーザＡは、ユーザＢと会話を行うことができる。
【００２６】
なお、コマンドは、カメラ３０Ａまたは人感センサ等によって認識されてもよい。
このとき、音響システムは、予め登録された複数のカメラ３０の位置情報、および推定されたユーザの位置に基づいて、コマンドを認識するために最適な、例えばユーザの正面に位置するカメラ３０Ａを選出してもよい。
【００２７】
・オブジェクト分解
会話中においては、サイトＡの複数のマイク１０Ａで収音されたオーディオ信号（ストリームデータ）に対して、音源分離（ユーザＡの周囲のノイズ成分や、ユーザＡの周囲の人物の会話などを分離）、残響抑制、ノイズ／エコー処理等のオブジェクト分解処理が行われる。これにより、Ｓ／Ｎ比のよい、残響感も抑制されたストリームデータがサイトＢに送られる。
【００２８】
なお、ユーザＡが移動しながら話す場合も想定されるが、音響システムは、上記データ収集を継続的に行うことで対応することができる。具体的には、音響システムは、複数のマイク１０、カメラ３０、および人感センサ等に基づいて継続的にデータ収集を行い、ユーザＡの移動経路や向いている方向を把握する。そして、音響システムは、移動しているユーザＡの周囲に配される適切なマイク群（マイク１０Ａ）の選出を継続的に更新し、また、移動しているユーザＡの口元に常に収音点が合うようマイクアレイ処理を継続的に行う。これにより、音響システムは、ユーザＡが移動しながら話す場合にも対応することができる。
【００２９】
また、音声のストリームデータとは別に、ユーザＡの移動方向や向き等がメタデータ化され、ストリームデータと共にサイトＢに送られる。
【００３０】
・オブジェクト合成
そして、サイトＢに送られたストリームデータは、サイトＢに居るユーザＢの周囲に配されたスピーカー２０Ｂから再生される。この際、音響システムは、サイトＢにおいて、複数のマイク１０Ｂ、カメラ３０Ｂ、および人感センサによりデータ収集を行い、収集したデータに基づいてユーザＢの位置を推定し、さらにユーザＢの周囲を音響閉曲面で囲う適切なスピーカー群（スピーカー２０Ｂ）を選出する。サイトＢに送られたストリームデータは、このように選出したスピーカー２０Ｂから再生され、音響閉曲面内側のエリアが適切な音場として制御される。なお、本明細書において、ユーザを取り囲むような形で、近接する複数のスピーカー２０、複数のマイク１０、または複数のカメラ３０の位置を繋いだ場合に形成される面を、概念的に「音響閉曲面」と称す。また、「音響閉曲面」は、必ずしも完全な閉曲面を構成するものではなく、おおよそユーザを取り囲むような形であればよい。
【００３１】
また、音響システムは、サイトＢにおいてユーザＢの周辺に配された複数のスピーカー２０Ｂを用いて、ユーザＡの音像を制御することも可能である。すなわち、音響システムは、アレイスピーカー（ビームフォーミング）を形成することで、ユーザＢの耳元や、音響閉曲面の外側にユーザＡの声（音像）を再現することも可能である。また、音響システムは、ユーザＡの移動経路や向きのメタデータを利用して、サイトＢにおいて、ユーザＡの実際の移動に合わせてユーザＡの音像をユーザＢの周囲で移動させてもよい。
【００３２】
以上、データ収集処理、オブジェクト分解処理、およびオブジェクト合成処理の各ステップに分けてサイトＡからサイトＢへの音声通信について概要を説明したが、サイトＢからサイトＡの音声通信においても当然に同様の処理が行われる。これにより、サイトＡおよびサイトＢで双方向の音声通信が可能となる。また、サイトＡおよびサイトＣ、サイトＢおよびサイトＣでの音声通信についても同様である。
【００３３】
（接続空間の選択）
音響システムは、収音したユーザＡの音声、撮像した撮像画像、または人感センサの検知結果に基づいて、選択要求を認識する。また、音響システムは、同様に選択解除要求を認識する。例えば、ユーザＡ、Ｂ、Ｃ１、Ｃ２での会話中に、ユーザＡがユーザＢを指示すると、「ユーザＡによるユーザＢの選択要求」がコマンドとして認識される。この場合、音響システムは、ユーザＡの音声を、ユーザＢに対してのみ再生する。そして、音響システムは、ユーザＡによる選択解除要求を認識すると、ユーザＡの音声を、ユーザＢ、Ｃ１、およびＣ２に対して再生する。このようにして、ユーザＡは、ユーザＢとの内密の会話を行うことができる。
【００３４】
また、音響システムは、選択要求として、他の空間に居る複数のユーザのうち一のユーザの選択を認識することができる。例えば、ユーザＡ、Ｂ、Ｃ１、Ｃ２での会話中に、ユーザＡがユーザＣ１を指示すると、「ユーザＡによるユーザＣ１の選択要求」がコマンドとして認識される。この場合、音響システムは、サイトＣにおいて、ユーザＡの音声を、ユーザＣ１に対してのみ再生する。このとき、同じくサイトＣに居るユーザＣ２に対しては、ユーザＡの音声は再生されない。このようにして、ユーザＡは、ユーザＣ１との内密の会話を行うことができる。
【００３５】
また、音響システムは、選択要求として、同じ空間に居る複数のユーザのうち一のユーザの選択を認識することができる。例えば、サイトＣに図示しないユーザＣ３が居る場合に、ユーザＣ１がユーザＣ３を指示すると、「ユーザＣ１によるユーザＣ３の選択要求」がコマンドとして認識される。この場合、音響システムは、ユーザＣ１の音声を、ユーザＣ３に対してのみ再生する。このとき、同じくサイトＣに居るユーザＣ２に対しては、ユーザＣ１の音声は再生されない。よって、例えばユーザＣ１がユーザＣ２に聞こえないように音声を発した場合には、ユーザＣ３のみがユーザＣ１の音声を聞くことができる。このようにして、ユーザＣ１は、ユーザＣ３との内密の会話を行うことができる。
【００３６】
以上、本開示の一実施形態に係る音響システムの概要について説明した。続いて、音響システムの構成について図２〜図７を参照して詳細に説明する。
【００３７】
＜２．基本構成＞
［２−１．システム構成］
図２は、本実施形態に係る音響システムの全体構成を示す図である。図２に示したように、音響システムは、信号処理装置１Ａ、１Ｂ、１Ｃ、マイク１０Ａ、１０Ｂ、１０Ｃ、スピーカー２０Ａ、２０Ｂ、２０Ｃ、カメラ３０Ａ、３０Ｂ、３０Ｃ、および管理サーバ３を有するクライアントサーバ型のシステムである。
【００３８】
信号処理装置１Ａ、信号処理装置１Ｂ、および信号処理装置１Ｃは、有線／無線によりネットワーク５に接続し、ネットワーク５を介して互いにデータの送受信が可能である。また、ネットワーク５には管理サーバ３が接続され、信号処理装置１Ａ、信号処理装置１Ｂ、および信号処理装置１Ｃは、管理サーバ３とデータの送受信を行うことも可能である。
【００３９】
信号処理装置１Ａは、サイトＡに配される複数のマイク１０Ａ、複数のスピーカー２０Ａ、および複数のカメラ３０Ａにより入出力される信号を処理する。また、信号処理装置１Ｂは、サイトＢに配される複数のマイク１０Ｂ、複数のスピーカー２０Ｂ、および複数のカメラ３０Ｂにより入出力される信号を処理する。また、信号処理装置１Ｃは、サイトＣに配される複数のマイク１０Ｃ、複数のスピーカー２０Ｃ、および複数のカメラ３０Ｃにより入出力される信号を処理する。なお、信号処理装置１Ａ、１Ｂ、１Ｃを区別して説明する必要がない場合は、信号処理装置１Ａ、１Ｂ、１Ｃを信号処理装置１と総称する。
【００４０】
管理サーバ３は、ユーザの認証処理や、ユーザの絶対位置（現在位置）を管理する機能を有する。さらに、管理サーバ３は、場所や建物の位置を示す情報（ＩＰアドレス等）を管理してもよい。これにより、信号処理装置１は、ユーザにより指定された対象ユーザの接続先情報（ＩＰアドレス等）を管理サーバ３に問い合わせて取得することができる。また、管理サーバ３は、現在どのユーザが会話を行っているか、その中でどのユーザが内密の会話を行っているか、等の情報を管理してもよい。
【００４１】
信号処理装置１は、所定の空間に配されるマイク１０、スピーカー２０、カメラ３０と信号の入出力を行う。つまり、管理サーバ３は、信号処理装置１を介して複数の所定の空間に配されるマイク１０およびスピーカー２０と信号の入出力を行う。そして、サーバクライアント型の音響システムは、複数の所定の空間のうち、ユーザが含まれる空間に配されるマイク１０およびスピーカー２０と、対象ユーザが含まれる空間に配されるマイク１０およびスピーカー２０とを、管理サーバ３により接続する。このようにして、サーバクライアント型の音響システムは、管理サーバ３により複数空間の接続および接続空間の選択を実現する。
【００４２】
［２−２．信号処理装置］
次に、信号処理装置１の構成について詳細に説明する。図３は、本実施形態に係る信号処理装置１の構成を示すブロック図である。図３に示すように、信号処理装置１は、要求判定部１３、ユーザ位置推定部１４、信号処理部１５、出力制御部１７、および通信Ｉ／Ｆ１９を有する。また、信号処理装置１は、アンプ・ＡＤＣ（アナログデジタルコンバータ）部１１を介した複数のマイク１０（アレイマイク）、ＤＡＣ（デジタルアナログコンバータ）・アンプ部２１を介した複数のスピーカー２０（アレイスピーカー）、カメラ３０、赤外線／熱センサ４０、カメラ位置情報ＤＢ（データベース）５１、マイク位置情報ＤＢ５３、およびスピーカー位置情報ＤＢ５５と接続している。以下、各構成について説明する。
【００４３】
（アレイマイク）
複数のマイク１０は、上述したように、あるエリア（サイト）の至る所に配置されている。例えば、複数のマイク１０は、屋外であれば、道路、電柱、街灯、家やビルの外壁等、屋内であれば、床、壁、天井等に配置される。また、複数のマイク１０は、周囲の音を収音し、アンプ・ＡＤＣ部１１に各々出力する。
【００４４】
（アンプ・ＡＤＣ部）
アンプ・ＡＤＣ部１１は、複数のマイク１０から各々出力された音波の増幅機能（ａｍｐｌｉｆｉｅｒ）、および音波（アナログデータ）をオーディオ信号（デジタルデータ）に変換する機能（Ａｎａｌｏｇ・ｔｏ・Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）を有する。アンプ・ＡＤＣ部１１は、変換した各オーディオ信号を信号処理装置１に出力する。
【００４５】
（マイク位置情報ＤＢ）
マイク位置情報ＤＢ５３は、サイトに配される複数のマイク１０の位置情報を記憶する記憶部である。複数のマイク１０の位置情報は、予め登録されていてもよい。
【００４６】
（カメラ、赤外線／熱センサ）
カメラ３０および赤外線／熱センサ４０は、上述したように、あるエリア（サイト）の至る所に配置されている。例えば、カメラ３０および赤外線／熱センサ４０は、屋外であれば、道路、電柱、街灯、家やビルの外壁等、屋内であれば、床、壁、天井等に配置される。また、カメラ３０および赤外線／熱センサ４０は、周囲の様子を撮像またはセンシングし、信号処理装置１に出力する。
【００４７】
（カメラ位置情報ＤＢ）
カメラ位置情報ＤＢ５１は、サイトに配される複数のカメラ３０の位置情報を記憶する記憶部である。複数のカメラ３０の位置情報は、予め登録されていてもよい。
【００４８】
（ユーザ位置推定部）
ユーザ位置推定部１４は、ユーザの位置を推定する機能を有する。具体的には、ユーザ位置推定部１４は、複数のマイク１０から収音した音声の解析結果、カメラ３０により撮像した撮像画像の解析結果、または赤外線／熱センサ４０による検知結果に基づいて、複数のマイク１０または複数のスピーカー２０に対するユーザの相対位置を推定する。また、ユーザ位置推定部１４は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）情報を取得し、ユーザの絶対位置（現在位置情報）を推定してもよい。
【００４９】
（要求判定部）
要求判定部１３は、マイク１０、カメラ３０、および赤外線／熱センサ４０による出力結果に基づいて、ユーザの要求を認識する機能を有する。より具体的には、要求判定部１３は、認識部１３１および同定部１３３として機能する。
【００５０】
・認識部
認識部１３１は、複数のマイク１０により収音され、信号処理部１３により処理されたオーディオ信号に基づいてユーザの音声を解析し、発呼要求、選択要求、または選択解除要求等の各種コマンドを認識する。他にも、認識部１３１は、複数のカメラ３０により取得された画像および赤外線／熱センサ４０により取得された検知結果に基づいて、ユーザ動作（ジェスチャー）を検出し、検出したジェスチャーを解析してコマンドを認識してもよい。
【００５１】
また、認識部１３１は、カメラ位置情報ＤＢ５１に登録されている各カメラ３０の位置に基づいて、コマンドを認識するために最適なカメラ、例えばユーザの正面に位置するカメラ３０からの出力を用いて、コマンドを認識してもよい。同様に、認識部１３１は、赤外線／熱センサ位置情報ＤＢ（不図示）に登録されている各赤外線／熱センサ４０の位置に基づいて、コマンドを認識するために最適な赤外線／熱センサ４０からの出力を用いて、ユーザの要求を認識してもよい。
【００５２】
なお、認識部１３１は、選択要求を認識した際には、選択要求を発したユーザおよび選択された対象ユーザを示す選択対象設定情報を生成し、信号処理部１５に出力する。ここで、選択対象設定情報が示すユーザは、内密の会話の参加者であることを意味する。例えば、ユーザＡが、ユーザＢ、Ｃ１、およびＣ２との会話中にユーザＢを指示すると、認識部１３１は、「ユーザＡによるユーザＢの選択要求」を認識し、「ユーザＡおよびＢ」を示す選択対象設定情報を信号処理部１５に出力する。
【００５３】
また、認識部１３１は、選択解除要求を認識した際には、選択要求において選択された対象ユーザおよび選択されなかった対象ユーザを示す選択対象設定情報を、信号処理部１５に出力する。例えば、認識部１３１は、ユーザＡが、ユーザＢ、Ｃ１、およびＣ２との会話中にユーザＢと内密の会話をしている場合に選択解除要求を認識すると、「ユーザＡ、Ｂ、Ｃ１およびＣ２」を示す選択対象設定情報を、信号処理部１５に出力する。
【００５４】
・同定部
同定部１３３は、認識部１３１により認識された対象ユーザを同定する機能を有する。具体的には、例えば同定部１３３は、コマンドにより指定された対象ユーザに対応する音声や画像を取得するための接続先情報を決定してもよい。同定部１３３は、例えば対象ユーザを示す情報を通信部Ｉ／Ｆ１９から管理サーバ３に送信し、管理サーバ３から対象ユーザに対応する接続先情報（ＩＰアドレス等）を取得してもよい。
【００５５】
（通信Ｉ／Ｆ）
通信Ｉ／Ｆ１９は、ネットワーク５を通じて他の信号処理装置や管理サーバ３との間でデータの送受信を行うための通信モジュールである。例えば、通信Ｉ／Ｆ１９は、管理サーバ３に対して同定部１３３により同定された対象ユーザに対応する接続先情報の問い合わせを行う。他にも、通信Ｉ／Ｆ１９は、接続先である他の信号処理装置１に、出力制御部１７により出力された選択対象設定情報、マイク１０で収音して信号処理部１３で処理したオーディオ信号を送信する。または、通信Ｉ／Ｆ１９は、接続先である他の信号処理装置から対象ユーザのオーディオ信号および選択対象設定情報を受信し、信号処理部１５に出力する。
【００５６】
（信号処理部）
信号処理部１５は、アンプ・ＡＤＣ部１１により出力された各オーディオ信号、通信Ｉ／Ｆ１９により受信された対象ユーザからのオーディオ信号、およびＤＡＣ・アンプ部２１を介してスピーカー２０から再生する各オーディオ信号を処理する。また、信号処理部１５は、認識部１３１により出力された選択対象設定情報を、出力制御部１７に出力する。ここで、信号処理部１３は、マイクアレイ処理部１５１、高Ｓ／Ｎ化処理部１５３、および音場再生信号処理部１５５として機能する。
【００５７】
・マイクアレイ処理部
マイクアレイ処理部１５１は、アンプ・ＡＤＣ部１１から出力された複数のオーディオ信号に対するマイクアレイ処理として、ユーザの音声にフォーカスするよう（収音位置がユーザの口元になるよう）指向性制御を行う。
【００５８】
この際、マイクアレイ処理部１５１は、ユーザ位置推定部１４により推定されたユーザの位置や、マイク位置情報ＤＢ５３に登録されている各マイク１０の位置に基づいて、ユーザの音声収音に最適な、ユーザを内包する音響閉曲面を形成するマイク群を選択してもよい。そして、マイクアレイ処理部１５１は、選択したマイク群により取得されたオーディオ信号に対して指向性制御を行う。また、マイクアレイ処理部１５１は、遅延和アレイ処理、Ｎｕｌｌ生成処理によりアレイマイクの超指向性を形成してもよい。
【００５９】
・高Ｓ／Ｎ化処理部１５３
高Ｓ／Ｎ化処理部１５３は、アンプ・ＡＤＣ部１１から出力された複数のオーディオ信号に対して、明瞭度が高くＳ／Ｎ比がよいモノラル信号となるよう処理する機能を有する。具体的には、高Ｓ／Ｎ化処理部１５３は、音源を分離し、残響・ノイズ抑制を行う。
【００６０】
なお、高Ｓ／Ｎ化処理部１５３は、マイクアレイ処理部１５１の後段に設けられてもよい。また、高Ｓ／Ｎ化処理部１５３により処理されたオーディオ信号（ストリームデータ）は、音場再生信号処理部１５５、要求判定部１３、および出力制御部１７に出力される。
【００６１】
・音場再生信号処理部
音場再生信号処理部１５５は、複数のスピーカー２０から再生するオーディオ信号に関する信号処理を行い、ユーザの位置付近に音場が定位するよう制御する。具体的には、音場再生信号処理部１５５は、ユーザ位置推定部１４により推定されたユーザの位置やスピーカー位置情報ＤＢ５５に登録されている各スピーカー２０の位置に基づいて、ユーザを内包する音響閉曲面を形成する最適なスピーカー群を選択する。そして、音場再生信号処理部１５５は、選択したスピーカー群に応じた複数のチャンネルの出力バッファに、信号処理したオーディオ信号を書き込む。
【００６２】
このとき、音場再生信号処理部１５５は、同定部１３３により対象ユーザが複数同定された場合、複数の対象ユーザ毎に音像を定位させる位置を制御してもよい。具体的には、音場再生信号処理部１５５は、ユーザを内包するよう選択したスピーカー群を対象ユーザ数で分割して、分割したスピーカー群に応じた複数のチャネルの出力バッファに、対象ユーザからのオーディオ信号を書き込んでもよい。他にも、音場再生信号処理部１５５は、複数の対象ユーザからのオーディオ信号を合成処理して、選択したスピーカー群に応じた複数のチャンネルの出力バッファに、合成処理したオーディオ信号を書き込んでもよい。
【００６３】
ここで、認識部１３１により選択対象設定情報が出力された場合、音場再生信号処理部１５５は、選択対象設定情報に応じてスピーカー２０に再生させるオーディオ信号を選択する。具体的には、音場再生信号処理部１５５は、通信Ｉ／Ｆ１９により受信された対象ユーザからのオーディオ信号のうち、選択対象設定情報が示す対象ユーザからのオーディオ信号のみを、出力バッファに書き込む。
【００６４】
例えば、サイトＡに居るユーザＡが、ユーザＢ、Ｃ１、およびＣ２との会話中にユーザＢを指示した場合の、サイトＡに対応する信号処理装置１Ａに関して説明する。このとき、認識部１３１により「ユーザＡおよびＢ」を示す選択対象設定情報が出力されるため、音場再生信号処理部１５５は、ユーザＢからのオーディオ信号のみを、出力バッファに書き込む。
【００６５】
一方で、通信Ｉ／Ｆ１９により対象ユーザから選択対象設定情報が受信された場合にも、音場再生信号処理部１５５は、選択対象設定情報に応じてスピーカー２０に再生させるオーディオ信号を選択する。具体的には、音場再生信号処理部１５５は、選択対象設定情報が示す対象ユーザに当該信号処理装置１が対応するユーザが含まれている場合に、選択対象設定情報が示す対象ユーザからのオーディオ信号のみを、出力バッファに書き込む。一方で、音場再生信号処理部１５５は、選択対象設定情報が示す対象ユーザに当該信号処理装置１が対応するユーザが含まれていない場合には、対象ユーザからのオーディオ信号を出力バッファに書き込まない。
【００６６】
例えば、サイトＡに居るユーザＡが、ユーザＢ、Ｃ１、およびＣ２との会話中にユーザＢを指示した場合の、サイトＢに対応する信号処理装置１Ｂに関して説明する。このとき、通信Ｉ／Ｆ１９により受信された選択対象設定情報が示す「ユーザＡおよびＢ」には、信号処理装置１Ｂが対応するユーザＢが含まれているため、音場再生信号処理部１５５は、選択対象設定情報が示すユーザＡからのオーディオ信号のみを、出力バッファに書き込む。
【００６７】
次に、サイトＡに居るユーザＡが、ユーザＢ、Ｃ１、およびＣ２との会話中にユーザＢを指示した例における、サイトＣに対応する信号処理装置１Ｃに関して説明する。このとき、通信Ｉ／Ｆ１９により受信された選択対象設定情報が示す「ユーザＡおよびＢ」には、信号処理装置１Ｃが対応するユーザＣ１およびＣ２が含まれていないため、音場再生信号処理部１５５は、選択対象設定情報が示すユーザＡおよびＢからのオーディオ信号を、出力バッファに書き込まない。
【００６８】
最後に、サイトＡに居るユーザＡが、ユーザＢ、Ｃ１、およびＣ２との会話中にユーザＢを指示した例において、ユーザＡが選択解除要求を指示した場合の、サイトＡに対応する信号処理装置１Ａに関して説明する。このとき、認識部１３１により「ユーザＡ、Ｂ、Ｃ１およびＣ２」を示す選択対象設定情報が出力されるため、音場再生信号処理部１５５は、選択対象設定情報が示すユーザＢ、Ｃ１およびＣ２からのオーディオ信号を、出力バッファに書き込む。
【００６９】
また、音場再生信号処理部１５５は、音響閉曲面の内側のエリアを適切な音場として制御する。音場の制御方法は、例えばキルヒホッフ・ヘルムホルツの積分則、またはレイリー積分則として知られるものであり、これを応用した波面合成法(ＷＦＳ：Ｗａｖｅ  Ｆｉｅｌｄ  Ｓｙｎｔｈｅｓｉｓ)等が一般的に知られている。また、音場再生信号処理部１５５は、特許第４６７４５０５号、および特許第４７３５１０８号等に記載の信号処理技術を応用してもよい。
【００７０】
（出力制御部）
出力制御部１７は、ＤＡＣ・アンプ部２１およびスピーカー２０を制御して、音場再生信号処理部１５５により出力バッファに書き込まれたオーディオ信号を出力させる。また、出力制御部１７は、通信Ｉ／Ｆ１９を介して、高Ｓ／Ｎ化処理部１５３により出力された、マイク１０により収音されたオーディオ信号、および認識部１３１により出力された選択対象設定情報を、接続先である他の信号処理装置１に送信する。
【００７１】
（スピーカー位置情報ＤＢ）
スピーカー位置情報ＤＢ５５は、サイトに配される複数のスピーカー２０の位置情報を記憶する記憶部である。複数のスピーカー２０の位置情報は、予め登録されていてもよい。
【００７２】
（ＤＡＣ・アンプ部）
ＤＡＣ・アンプ部２１は、複数のスピーカー２０から各々再生するための各チャンネルの出力バッファに書き込まれたオーディオ信号（デジタルデータ）を音波（アナログデータ）に変換する機能（Ｄｉｇｉｔａｌ・ｔｏ・Ａｎａｌｏｇ  Ｃｏｎｖｅｒｔｅｒ）を有する。
【００７３】
さらに、ＤＡＣ・アンプ部２３は、変換した音波を増幅（ａｍｐｌｉｆｉｅｒ）し、複数のスピーカー２０から各々再生（出力）する。
【００７４】
（アレイスピーカー）
複数のスピーカー２０は、上述したように、あるエリア（サイト）の至る所に配置されている。例えば、複数のスピーカー２０は、屋外であれば、道路、電柱、街灯、家やビルの外壁等、屋内であれば、床、壁、天井等に配置される。また、複数のスピーカー２０は、ＤＡＣ・アンプ部２３から出力された音波（音声）を再生する。
【００７５】
（補足）
以上、信号処理装置１の構成について詳細に説明した。なお、信号処理装置１は、演算処理装置および制御装置として機能し、各種プログラムに従って信号処理装置１内の動作全般を制御する制御部、および制御部により使用されるプログラムや演算パラメータ等を記憶する記憶部を、さらに有していてもよい。制御部は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、マイクロプロセッサによって実現される。また、記憶部は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、磁気ディスク、光ディスクによって実現される。
【００７６】
［２−３．管理サーバ］
次に、管理サーバ３の構成について説明する。図４は、本実施形態に係る管理サーバ３の構成を示すブロック図である。図４に示すように、管理サーバ３は、管理部３２、検索部３３、ユーザ位置情報ＤＢ３５、および通信Ｉ／Ｆ３９を有する。以下、各構成について説明する。
【００７７】
（管理部）
管理部３２は、信号処理装置１から送信されたユーザＩＤ等に基づいて、ユーザが現在居る場所（サイト）に関する情報を管理する。例えば管理部３２は、ユーザＩＤに基づいてユーザを識別し、識別したユーザの氏名等に、送信元の信号処理装置１のＩＰアドレス等を接続先情報として対応付けてユーザ位置情報ＤＢ３５に記憶させる。なお、ユーザＩＤは、氏名、暗証番号、または生体情報等を含んでもよい。また、管理部３２は、送信されたユーザＩＤに基づいてユーザの認証処理を行ってもよい。
【００７８】
（ユーザ位置情報ＤＢ）
ユーザ位置情報ＤＢ３５は、管理部３２による管理に応じて、ユーザが現在居る場所に関する情報を記憶する記憶部である。具体的には、ユーザ位置情報ＤＢ３５は、ユーザのＩＤ、および接続先情報（ユーザが居るサイトに対応する信号処理装置のＩＰアドレス等）を対応付けて記憶する。また、各ユーザの現在位置情報は時々刻々と更新されてもよい。
【００７９】
（検索部）
検索部３３は、信号処理装置１からの接続先（発呼先）問い合わせに応じて、ユーザ位置情報ＤＢ３５を参照し、接続先情報を検索する。具体的には、検索部３３は、接続先問い合わせに含まれる対象ユーザの氏名等に基づいて、対応付けられた接続先情報をユーザ位置情報ＤＢ３５から検索して抽出する。
【００８０】
（通信Ｉ／Ｆ）
通信Ｉ／Ｆ３９は、ネットワーク５を通じて信号処理装置１との間でデータの送受信を行うための通信モジュールである。例えば、通信Ｉ／Ｆ３９は、信号処理装置１からユーザのＩＤ、および接続先問い合わせ受信する。また、通信Ｉ／Ｆ３９は、接続先問い合わせに応じて、対象ユーザの接続先情報を送信する。また、通信Ｉ／Ｆ３９は、複数の信号処理装置１間のオーディオ信号および選択対象設定情報等のデータの送受信を中継する。
【００８１】
（補足）
以上、管理サーバ３の構成について詳細に説明した。なお、管理サーバ３は、演算処理装置および制御装置として機能し、各種プログラムに従って管理サーバ３内の動作全般を制御する制御部、および制御部により使用されるプログラムや演算パラメータ等を記憶する記憶部を、さらに有していてもよい。
【００８２】
なお、管理サーバ３は、信号処理装置１の機能を有していてもよい。つまり、管理サーバ３は、各マイク１０、スピーカー２０、カメラ３０と、信号処理装置１を介さずに信号の送受信を行い、複数空間の接続および接続空間の選択を行ってもよい。また、管理サーバ３は、信号処理装置１の機能の一部を有し、当該機能を有さない信号処理装置との連携によって信号処理装置１としての機能を実現してもよい。
【００８３】
［２−４．表示装置］
次に、ユーザの現在の会話状態を表示するデバイスである、表示装置について説明する。表示装置は、ユーザが現在誰と会話中なのかといった会話状態を表示することができる。ここで、本実施形態に係る表示装置の外観例を図５に示す。図５に示したように、本実施形態に係る表示装置７は、据え置き型のディスプレイ装置７−１、スマートフォン７−２、メガネ型表示装置７−３等の多様な形態で実現され得る。他にも、表示装置７は、ユーザ周辺に配されたショーウインドウや車のウインドウ等の窓ガラスに会話状態を投影する装置であってもよい。次に、図６を参照して、表示装置７の構成について説明する。
【００８４】
図６は、本実施形態に係る表示装置７の構成の一例を示すブロック図である。図６に示したように、表示装置７は、通信Ｉ／Ｆ７１、制御部７３、記憶部７５、および表示部７７を有する。
【００８５】
（通信Ｉ／Ｆ）
通信Ｉ／Ｆ７１は、有線／無線により信号処理装置１との間でデータの送受信を行うための通信モジュールである。例えば、通信Ｉ／Ｆ７１は、信号処理装置１からユーザおよび対象ユーザのＩＤ、顔画像、現在位置等の情報を受信する。また、信号処理装置１がユーザの選択要求を認識した際には、通信Ｉ／Ｆ７１は選択された対象ユーザのＩＤを受信する。また、通信Ｉ／Ｆ７１は、予めユーザにより設定された、スピーカー２０の再生音量やマイク１０による収音レベル等をユーザ所望の設定にするための設定情報を、信号処理装置１に送信してもよい。
【００８６】
（制御部）
制御部７３は、演算処理装置および制御装置として機能し、各種プログラムに従って表示装置７内の動作全般を制御する。制御部７３は、例えばＣＰＵ、マイクロプロセッサによって実現される。
【００８７】
（記憶部）
記憶部７５は、通信Ｉ／Ｆ７１により信号処理装置１から受信した情報を記憶する。例えば、記憶部７５は、ユーザおよび対象ユーザのＩＤ、顔画像、現在位置、選択要求により選択された対象ユーザのＩＤ等の情報を記憶する。
【００８８】
（表示部）
表示部７７は、通信Ｉ／Ｆ７１により信号処理装置１から受信した情報に基づいて、ユーザが現在誰と会話中なのか、また誰と内密の会話中なのか等の会話状態を表示する。例えば、表示部７７は、内密の会話中の対象ユーザの画像を濃く表示し、他の対象ユーザの画像を淡く表示してもよい。また、表示部７７は、内密の会話中の対象ユーザの画像を拡大して表示し、他の対象ユーザの画像を縮小して表示してもよい。表示部７７は、例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）等により実現される。
【００８９】
以上、図６を参照して表示装置７の構成を説明したが、表示装置７は会話状態を表示するだけでなく、ユーザからの発呼要求、選択要求、または選択解除要求その他のコマンドの入力を受け付けてもよい。以下、図７を参照して、コマンドの入力を受け付けることが可能な、表示装置７の他の一例について説明する。
【００９０】
図７は、本実施形態に係る表示装置７’の構成の一例を示すブロック図である。図７に示したように、表示装置７’は、通信Ｉ／Ｆ７１、制御部７３、記憶部７５、および表示部７７に加えて、入力部７８、およびカメラ７９を有する。
【００９１】
（入力部）
入力部７８は、ユーザからのコマンドの入力を受け付ける機能を有する。例えば、入力部７８は、キーボード、マウス等により実現される。また、入力部７８は、表示部７７と一体的に構成されるタッチパネルにより実現されてもよい。
【００９２】
（カメラ）
カメラ７９は、ユーザの様子を撮像する機能を有する。カメラ７９により撮像された画像は制御部７３に出力され、制御部７３によるジェスチャーの検出およびコマンドの認識に用いられる。
【００９３】
以上、本開示の一実施形態に係る音響システムの各構成について説明した。次に、本実施形態に係る音響システムによる、複数空間の接続処理について、図８〜図１１を参照して順に説明する。
【００９４】
＜３．複数空間の接続処理＞
［３−１．基本処理］
図８は、本実施形態に係る複数空間の接続動作の基本処理を示すフローチャートである。図８に示すように、まず、ステップＳ１０３Ａで、信号処理装置１ＡはサイトＡに居るユーザＡのＩＤを管理サーバ３に送信する。信号処理装置１Ａは、ユーザＡのＩＤを、ユーザＡが所有しているＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）等のタグから取得してもよいし、ユーザＡの音声から認識してもよい。また、信号処理装置１Ａは、ユーザＡの身体（顔、目、手等）から生体情報を読み取り、ＩＤとして取得してもよい。
【００９５】
一方、ステップＳ１０３Ｂで、信号処理装置１Ｂも同様にサイトＢに居るユーザＢのＩＤを管理サーバ３に送信する。ステップＳ１０３Ｃについても同様である。
【００９６】
次に、ステップＳ１０９で、管理サーバ３は、各信号処理装置１から送信されたユーザＩＤに基づいてユーザを識別し、識別したユーザの氏名等に、送信元の信号処理装置１のＩＰアドレス等を接続先情報として対応付けて登録する。
【００９７】
次いで、ステップＳ１１２Ｂで、信号処理装置１Ｂは、サイトＢに居るユーザＢの位置を推定する。具体的には、信号処理装置１Ｂは、サイトＢに配された複数のマイク１０Ｂに対するユーザＢの相対位置を推定する。
【００９８】
次に、ステップＳ１１５Ｂで、信号処理装置１Ｂは、推定したユーザＢの相対位置に基づき、サイトＢに配された複数のマイク１０Ｂにより収音されたオーディオ信号に対して、ユーザＢの口元に収音位置がフォーカスするようマイクアレイ処理を行う。このように、信号処理装置１Ｂは、ユーザＢが何らかの発言を行う場合に備える。
【００９９】
一方、ステップＳ１１１２Ｃ、Ｓ１１５Ｃで、信号処理装置１Ｃも同様に、サイトＣに居るユーザＣ１およびＣ２の位置を推定し、ユーザＣ１およびＣ２が何らかの発言を行う場合に備える。
【０１００】
また、ステップＳ１１８で、信号処理装置１Ａも同様に、ユーザＡの口元に収音位置がフォーカスするようサイトＡに配された複数のマイク１０Ａにより収音されたオーディオ信号に対してマイクアレイ処理を行い、ユーザＡが何らかの発言を行う場合に備える。そして、信号処理装置１Ａは、ユーザＡの音声（発言）に基づいてコマンドを認識する。ここでは、一例としてユーザＡが「ＢさんＣ１さんＣ２さんと話したい」とつぶやいて、信号処理装置１Ａが「ユーザＢ、Ｃ１およびＣ２に対する発呼要求」コマンドとして認識した場合について説明を続ける。なお、本実施形態によるコマンド認識処理については、後述の［３−２．コマンド認識処理］において詳細に説明する。
【０１０１】
次に、ステップＳ１２２で、信号処理装置１Ａは、接続先問い合わせを管理サーバ３に対して行う。上述したように、コマンドが「ユーザＢ、Ｃ１およびＣ２に対する発呼要求」であった場合、信号処理装置１Ａは、ユーザＢの接続先情報を問い合わせる。
【０１０２】
次いで、ステップＳ１２４で、管理サーバ３は、信号処理装置１Ａからの接続先問い合わせに応じて、ユーザＢ、Ｃ１およびＣ２の接続先情報を検索し、続くステップＳ１２６で、検索結果を信号処理装置１Ａに送信する。
【０１０３】
次に、ステップＳ１２８で、信号処理装置１Ａは、管理サーバ３から受信したユーザＢ、Ｃ１およびＣ２の接続先情報により接続先を同定する。
【０１０４】
次いで、ステップＳ１３０で、信号処理装置１Ａは、同定したユーザＢ、Ｃ１およびＣ２の接続先情報に基づいて、信号処理装置１Ｂおよび信号処理装置１Ｃに対して管理サーバ３を介して発呼処理を行う。例えば、信号処理装置１Ａは、ユーザＢが現在居るサイトＢに対応する信号処理装置１Ｂ、ならびにユーザＣ１およびＣ２が現在居るサイトＣに対応する信号処理装置１ＣのＩＰアドレスに基づいて、信号処理装置１Ｂおよび１Ｃに対して発呼処理を行う。
【０１０５】
次に、ステップＳ１３２Ｂで、信号処理装置１Ｂは、ユーザＡからの呼び出しに応答するか否かをユーザＢに問うメッセージを出力する。具体的には、例えば信号処理装置１Ｂは、ユーザＢの周辺に配されるスピーカー２０Ｂから当該メッセージを再生してもよい。また、信号処理装置１Ｂは、ユーザＢの周辺に配された複数のマイク１０Ｂから収音したユーザＢの音声に基づいて、呼び出し通知に対するユーザＢの回答を認識する。
【０１０６】
一方、ステップＳ１３２Ｃで、信号処理装置１Ｃも同様にユーザＡからの呼び出しに応答するか否かをユーザＣ１およびＣ２に問うメッセージを出力し、呼び出し通知に対するユーザＣ１およびＣ２の回答を認識する。
【０１０７】
次いで、ステップＳ１３４で、信号処理装置１Ｂおよび１Ｃは、ユーザＢ、Ｃ１およびＣ２の回答を、管理サーバ３を介して信号処理装置１Ａに送信する。ここでは、ユーザＢ、Ｃ１およびＣ２がＯＫ回答を行い、ユーザＡ（信号処理装置１Ａ側）、ユーザＢ（信号処理装置１Ｂ側）、ならびにユーザＣ１およびＣ２（信号処理装置１Ｃ側）の間で、双方向通信が開始される。
【０１０８】
具体的には、ステップＳ１３７Ａで、信号処理装置１Ａは、信号処理装置１Ｂおよび１Ｃとの通信を開始すべく、サイトＡにおいてユーザＡの音声を収音し、音声ストリーム（オーディオ信号）をサイトＢ（信号処理装置１Ｂ側）およびサイトＣ（信号処理装置１Ｃ側）に送信する収音処理を行う。なお、本実施形態による収音処理については、後述の［３−３．収音処理］において詳細に説明する。
【０１０９】
なお、ステップＳ１３７Ｃで、信号処理装置１Ｃも同様に、サイトＣにおいてユーザＣの音声を収音し、管理サーバ３を介してオーディオ信号をサイトＡおよびサイトＣに送信する送信処理を行う。
【０１１０】
そして、ステップＳ１４０Ｂで、信号処理装置１Ｂは、ユーザＢの周辺に配された複数のスピーカー２０ＢによりユーザＢを内包する音響閉曲面を形成し、信号処理装置１Ａおよび１Ｃから送信された音声ストリームに基づいて音場再生処理を行う。なお、本実施形態による音場再生処理については、後述の［３−４．音場再生処理］において詳細に説明する。
【０１１１】
なお、上記ステップＳ１３７Ａ〜Ｓ１４０Ｂでは、一例として一方向の通信を示したが、本実施形態は双方向通信が可能である。つまり、上記ステップＳ１３７Ａ〜Ｓ１４０Ｂとは逆に、信号処理装置１Ｂおよび１Ｃで収音処理、信号処理装置１Ａで音場再生処理を行ってもよい。また、信号処理装置１Ａおよび１Ｂで収音処理、信号処理装置１Ｃで音場再生処理を行ってもよい。
【０１１２】
以上、本実施形態に係る音響システムの複数空間の接続動作の基本処理について説明した。これにより、ユーザＡは、携帯電話端末やスマートフォン等を所持する必要なく、「ＢさんＣ１さんＣ２さんと話したい」とつぶやくだけで、他の場所に居るユーザＢ、Ｃ１およびＣ２と会話を行うことができる。続いて、上記ステップＳ１１８に示したコマンド認識処理について図９を参照して詳細に説明する。
【０１１３】
［３−２．コマンド認識処理］
図９は、本実施形態に係るコマンド認識処理を示すフローチャートである。図９に示すように、まず、ステップＳ２０３で、信号処理装置１のユーザ位置推定部１４は、ユーザの位置を推定する。例えば、ユーザ位置推定部１４は、複数のマイク１０から収音した音、およびマイク位置情報ＤＢ５３に記憶されている各マイクの配置等に基づき、各マイク１０に対するユーザの相対的な位置、向き、および口の位置を推定してもよい。他にも、ユーザ位置推定部１４は、カメラ３０により撮像した撮像画像、赤外線／熱センサ４０により検知した検知結果、およびカメラ位置情報ＤＢ５１に記憶されている各カメラ３０の配置等に基づいて推定してもよい。
【０１１４】
次いで、ステップＳ２０６で、信号処理部１５は、ユーザ位置推定部１４により推定されたユーザの相対的な位置、向き、および口の位置に応じて、ユーザを内包する音響閉曲面を形成するマイク群を選出する。
【０１１５】
次に、ステップＳ２０９で、信号処理部１５のマイクアレイ処理部１５１は、選出したマイク群から収音したオーディオ信号に対してマイクアレイ処理を行い、ユーザの口元にフォーカスするようマイク１０の指向性を制御する。これにより、信号処理装置１は、ユーザが何らかの発言を行う場合に備えることができる。
【０１１６】
次いで、ステップＳ２１２で、高Ｓ／Ｎ化処理部１５３は、マイクアレイ処理部１５１により処理したオーディオ信号に対して、残響・ノイズ抑制等の処理を行い、Ｓ／Ｎ比を向上させる。
【０１１７】
次に、ステップＳ２１５で、認識部１３１は、高Ｓ／Ｎ化処理部１５３から出力されたオーディオ信号に基づいて、音声認識（音声解析）を行う。
【０１１８】
そして、ステップＳ２１８で、認識部１３１は、認識した音声（オーディオ信号）に基づいて、コマンド認識処理を行う。コマンド認識処理の具体的な内容については特に限定しないが、例えば認識部１３１は、予め登録された（学習した）要求パターンと認識した音声を比較し、コマンドを認識してもよい。
【０１１９】
上記ステップＳ２１８で、コマンドを認識できなかった場合（Ｓ２１８／Ｎｏ）、信号処理装置１は、ステップＳ２０３〜Ｓ２１５に示す処理を繰り返す。この際、Ｓ２０３およびＳ２０６も繰り返されるので、信号処理部１５は、ユーザの移動に応じてユーザを内包する音響閉曲面を形成するマイク群を更新することが可能である。
【０１２０】
［３−３．収音処理］
次に、図８のステップＳ１３７（Ｓ１３７Ａ、Ｓ１３７Ｂ、Ｓ１３７Ｃ）に示す収音処理について、図１０を参照して詳細に説明する。図１０は、本実施形態に係る収音処理を示すフローチャートである。図１０に示すように、まず、ステップＳ３０８で、信号処理部１５のマイクアレイ処理部１５１は、選出／更新した各マイク１０から収音したオーディオ信号に対してマイクアレイ処理を行い、ユーザの口元にフォーカスするようマイク１０の指向性を制御する。
【０１２１】
次いで、ステップＳ３１２で、高Ｓ／Ｎ化処理部１５３は、マイクアレイ処理部１５１により処理したオーディオ信号に対して、残響・ノイズ抑制等の処理を行い、Ｓ／Ｎ比を向上させる。
【０１２２】
そして、ステップＳ３１５で、出力制御部１７は、高Ｓ／Ｎ化処理部１５３から出力されたオーディオ信号を、通信Ｉ／Ｆ１９を介して上記ステップＳ１２８（図８参照）で同定した対象ユーザの接続先情報で示される接続先に送信する。これにより、例えばユーザＡがサイトＡで発した音声が、ユーザＡの周辺に配された複数のマイク１０Ａにより収音され、サイトＢおよびＣ側に送信される。
【０１２３】
［３−４．音場再生処理］
次に、図８のステップＳ１４０（Ｓ１４０Ａ、Ｓ１４０Ｂ、Ｓ１４０Ｃ）に示す音場再生処理について、図１１を参照して詳細に説明する。図１１は、本実施形態に係る音場再生処理を示すフローチャートである。図１１に示すように、まず、ステップＳ４０３で、信号処理装置１のユーザ位置推定部１４は、ユーザの位置を推定する。
【０１２４】
次いで、ステップＳ４０６で、信号処理部１５は、推定したユーザの相対的な位置、向き、および耳の位置に応じて、ユーザを内包する音響閉曲面を形成するスピーカー群を選出する。なお、上記Ｓ４０３およびＳ４０６を継続的に行うことで、信号処理部１５は、ユーザの移動に応じてユーザを内包する音響閉曲面を形成するスピーカー群を更新することが可能である。
【０１２５】
次に、ステップＳ４０９で、通信Ｉ／Ｆ１９は、発呼元からオーディオ信号を受信する。
【０１２６】
次いで、ステップＳ４１２で、信号処理部１５の音場再生信号処理部１５５は、選出／更新した各スピーカー２０から出力された際に最適な音場を形成するよう、受信したオーディオ信号に対して所定の信号処理を行う。例えば、音場再生信号処理部１５５は、受信したオーディオ信号を、サイトＢの環境（道路、街路灯、および壁面に配された複数のスピーカー２０の配置）に応じてレンダリングする。
【０１２７】
そして、ステップＳ４１５で、出力制御部１７は、音場再生信号処理部１５５で処理されたオーディオ信号を、ＤＡＣ・アンプ部２３を介して、上記ステップＳ４０６で選出／更新されたスピーカー群から出力する。
【０１２８】
これにより、サイトＡで収音されたユーザＡの音声が、サイトＢに居るユーザＢの周辺に配された複数のスピーカー２０Ｂから再生される。また、上記ステップＳ４１２で、サイトＢの環境に応じて受信したオーディオ信号をレンダリングする際に、音場再生信号処理部１５５は、サイトＡの音場を構築するよう信号処理を行ってもよい。
【０１２９】
具体的には、音場再生信号処理部１５５は、リアルタイムに収音されるサイトＡのアンビエントとしての音や、サイトＡにおけるインパルス応答の測定データ（伝達関数）等に基づいて、サイトＢでサイトＡの音場を再現してもよい。これにより、例えば屋外のサイトＢに居るユーザＢは、屋内のサイトＡに居るユーザＡと同じ屋内に居るような音場感を得ることができ、より豊かな臨場感に浸ることができる。
【０１３０】
また、音場再生信号処理部１５５は、ユーザＢの周辺に配されたスピーカー群を用いて、受信したオーディオ信号（ユーザＡの音声）の音像を制御することも可能である。例えば、複数のスピーカー２０によりアレイスピーカー（ビームフォーミング）を形成することで、音場再生信号処理部１５５は、ユーザＢの耳元でユーザＡの音声を再現する。また、音場再生信号処理部１５５は、アレイスピーカーによってユーザＢを内包する音響閉曲面の外側にユーザＡの音像を再現する。
【０１３１】
＜４．接続空間の選択処理＞
本実施形態に係る音響システムは、多様な様式のコマンドによって選択要求を認識する。ここで、選択要求を示すコマンドは、選択要求によって選択されなかったユーザに察知されないような様式であることが望まれる。なぜならば、例えばユーザＡがユーザＢ、Ｃ１およびＣ２と会話中に単に「Ｃ１さんとだけ会話したい」とつぶやくと、そのつぶやきをユーザＢおよびＣ２も聞くことになるためである。そこで、本開示では、選択要求によって選択されなかったユーザに選択要求が察知されないような、選択要求の様式を提案する。
【０１３２】
［４−１．接続空間の選択処理１］
図１２は、本実施形態に係る接続空間の選択処理の一例の概要を示した説明図である。図１２に示したように、音響システムは、ユーザの話し声の大きさに基づいて、選択要求を認識し得る。ユーザＢがサイトＢにおいて、ユーザＡ、Ｃ１およびＣ２と会話している場合を想定する。このとき、ユーザＢが小声で話すと、ユーザＢはユーザＣ１およびＣ２と内密の会話を行うことができる。そして、ユーザＢが通常の話し声で話すと、ユーザＢはユーザＡ、Ｃ１およびＣ２との会話に復帰することができる。以下、図１３を参照し、このような選択要求に係る動作処理について説明する。
【０１３３】
図１３は、本実施形態に係る接続空間の選択処理の一例を示すフローチャートである。ここで、図１３は、図８を参照して説明した複数空間の接続処理によって、サイトＡ、ＢおよびＣが接続された後の動作処理を示している。図１３に示したように、ステップＳ６３７（Ｓ６３７Ａ、Ｓ６３７Ｂ、Ｓ６３７Ｃ）、Ｓ６４０（Ｓ６４０Ａ、Ｓ６４０Ｂ、Ｓ６４０Ｃ）において、ユーザＡ、Ｂ、Ｃ１およびＣ２は通常の話し声で会話を行っている。なお、ステップＳ６３７および６４０における動作処理は、上記ステップＳ１３７、Ｓ１４０（図１０および図１１参照）で説明した通りである。
【０１３４】
このとき、ユーザＢが小声で話すと、ステップＳ６４３で、認識部１３１はユーザＢの話し声の大きさに基づくコマンドを認識する。ここでは、一例として、小声はユーザＣ１およびＣ２を指示する選択要求を、通常の話し声は選択解除要求を示すことを、呼び出し通知（Ｓ１３２Ｂ）等の任意のタイミングで、信号処理装置１Ｂ、または表示装置７’等に設定されているものとする。認識部１３１は、このような設定情報に基づいて、「ユーザＢによるユーザＣ１およびＣ２の選択要求」を認識し、「ユーザＢ、Ｃ１およびＣ２」を示す選択対象設定情報を生成する。
【０１３５】
次に、ステップＳ６４５で、信号処理装置１Ｂは、信号処理装置１Ａおよび１Ｃに対して接続切り替え処理を行う。具体的には、信号処理装置１Ｂは、「ユーザＢ、Ｃ１およびＣ２」を示す選択対象設定情報を、管理サーバ３を介して信号処理装置１Ａおよび信号処理装置１Ｃに送信する。
【０１３６】
ここで、Ｓ６４５における、サイトＢに対応する信号処理装置１Ｂの処理を説明する。まず、信号処理装置１Ｂが有する認識部１３１は、「ユーザＢ、Ｃ１およびＣ２」を示す選択対象設定情報を信号処理部１５、および信号処理部１５を介して出力制御部１７に出力する。ここで、選択対象設定情報が示す対象ユーザはユーザＢ、Ｃ１およびＣ２であり、信号処理装置１Ｂが対応するユーザＢが含まれている。従って、信号処理装置１Ｂが有する音場再生信号処理部１５５は、選択対象設定情報が示す対象ユーザ（ユーザＣ１、Ｃ２）からのオーディオ信号のみを、出力バッファに書き込む。そして、信号処理装置１Ｂが有する出力制御部１７は、ユーザＣ１、Ｃ２の音声のみをスピーカー２０Ｂにより再生する。また、信号処理装置１Ｂが有する出力制御部１７は、選択対象設定情報を、通信Ｉ／Ｆ１９を介して信号処理装置１Ａおよび信号処理装置１Ｃに送信する。
【０１３７】
次に、Ｓ６４５における、サイトＣに対応する信号処理装置１Ｃの処理を説明する。まず、信号処理装置１Ｃが有する通信Ｉ／Ｆ１９は、「ユーザＢ、Ｃ１およびＣ２」を示す選択対象設定情報を受信する。ここで、選択対象設定情報が示す対象ユーザはユーザＢ、Ｃ１およびＣ２であり、信号処理装置１Ｃが対応するユーザＣ１およびＣ２が含まれている。従って、信号処理装置１Ｃが有する音場再生信号処理部１５５は、選択対象設定情報が示す対象ユーザ（ユーザＢ）からのオーディオ信号のみを、出力バッファに書き込む。そして、信号処理装置１Ｃが有する出力制御部１７は、ユーザＢの音声のみをスピーカー２０Ｃにより再生する。
【０１３８】
最後に、Ｓ６４５における、サイトＡに対応する信号処理装置１Ａの処理を説明する。まず、信号処理装置１Ａが有する通信Ｉ／Ｆ１９は、「ユーザＢ、Ｃ１およびＣ２」を示す選択対象設定情報を受信する。ここで、選択対象設定情報が示す対象ユーザはユーザＢ、Ｃ１およびＣ２であり、信号処理装置１Ａが対応するユーザＡが含まれていない。従って、信号処理装置１Ａが有する音場再生信号処理部１５５は、選択対象設定情報が示す対象ユーザ（ユーザＢ、Ｃ１、Ｃ２）からのオーディオ信号を、出力バッファに書き込まない。このため、信号処理装置１Ａが有する出力制御部１７は、ユーザＢ、Ｃ１、Ｃ２の音声をスピーカー２０Ａにより再生しない。
【０１３９】
次いで、ステップＳ６４７（Ｓ６４７Ｂ、Ｓ６４７Ｃ）、Ｓ６５０（Ｓ６５０Ｂ、Ｓ６５０Ｃ）において、ユーザＢはユーザＣ１およびＣ２との内密の会話を小声で行う。なお、ステップＳ６３７および６４０における動作処理は、上記ステップＳ６３７、Ｓ６４０における動作処理と同様である。
【０１４０】
次に、ユーザＢが小声から通常の話し声に音量を戻すと、ステップＳ６５３で、認識部１３１は「選択解除要求」を認識し、「ユーザＡ、Ｂ、Ｃ１およびＣ２」を示す選択対象設定情報を生成する。
【０１４１】
次いで、ステップＳ６５５で、信号処理装置１Ｂは、信号処理装置１Ａおよび１Ｃに対して接続切り替え処理を行う。具体的には、信号処理装置１Ｂは、信号処理装置１Ａおよび信号処理装置１Ｃに、「ユーザＡ、Ｂ、Ｃ１およびＣ２」を示す選択対象設定情報を送信する。
【０１４２】
ここで、Ｓ６５５における、サイトＢに対応する信号処理装置１Ｂの処理を説明する。まず、信号処理装置１Ｂが有する認識部１３１は、「ユーザＡ、Ｂ、Ｃ１およびＣ２」を示す選択対象設定情報を信号処理部１５、および信号処理部１５を介して出力制御部１７に出力する。ここで、選択対象設定情報が示す対象ユーザにユーザＢが含まれている。従って、信号処理装置１Ｂが有する音場再生信号処理部１５５は、選択対象設定情報が示す対象ユーザ（ユーザＡ、Ｃ１、Ｃ２）からのオーディオ信号を、出力バッファに書き込む。そして、信号処理装置１Ｂが有する出力制御部１７は、ユーザＡ、Ｃ１、Ｃ２の音声をスピーカー２０Ｂにより再生する。また、信号処理装置１Ｂが有する出力制御部１７は、選択対象設定情報を、通信Ｉ／Ｆ１９を介して信号処理装置１Ａおよび信号処理装置１Ｃに送信する。
【０１４３】
次に、Ｓ６５５における、サイトＣに対応する信号処理装置１Ｃの処理を説明する。まず、信号処理装置１Ｃが有する通信Ｉ／Ｆ１９は、「ユーザＡ、Ｂ、Ｃ１およびＣ２」を示す選択対象設定情報を受信する。ここで、選択対象設定情報が示す対象ユーザにユーザＣ１およびＣ２が含まれている。従って、信号処理装置１Ｃが有する音場再生信号処理部１５５は、選択対象設定情報が示す対象ユーザ（ユーザＡ、Ｂ）からのオーディオ信号を、出力バッファに書き込む。そして、信号処理装置１Ｃが有する出力制御部１７は、ユーザＡ、Ｂの音声をスピーカー２０Ｃにより再生する。
【０１４４】
最後に、Ｓ６５５における、サイトＡに対応する信号処理装置１Ａの処理を説明する。まず、信号処理装置１Ａが有する通信Ｉ／Ｆ１９は、「ユーザＡ、Ｂ、Ｃ１およびＣ２」を示す選択対象設定情報を受信する。ここで、選択対象設定情報が示す対象ユーザにユーザＡが含まれている。従って、信号処理装置１Ａが有する音場再生信号処理部１５５は、選択対象設定情報が示す対象ユーザ（ユーザＢ、Ｃ１、Ｃ２）からのオーディオ信号を、出力バッファに書き込む。このため、信号処理装置１Ａが有する出力制御部１７は、ユーザＢ、Ｃ１、Ｃ２の音声をスピーカー２０Ａにより再生する。
【０１４５】
次に、ステップＳ６５７（Ｓ６５７Ａ、Ｓ６５７Ｂ、Ｓ６５７Ｃ）、Ｓ６６０（Ｓ６６０Ａ、Ｓ６６０Ｂ、Ｓ６６０Ｃ）において、ユーザＡ、Ｂ、Ｃ１およびＣ２は通常の話し声で会話を行う。なお、ステップＳ６５７および６６０における動作処理は、上記ステップＳ６３７、Ｓ６４０における動作処理と同様である。
【０１４６】
（補足）
なお、上記ステップＳ６４５、Ｓ６４７、Ｓ６５０において、信号処理装置１は選択対象設定情報に含まれるユーザの音声のみを再生するとしたが、本開示はかかる例に限定されない。例えば、信号処理装置１は、選択対象設定情報に含まれないユーザの音声を再生してもよい。つまり、Ｓ６４７において、信号処理装置１ＢはユーザＡの音声を、ユーザＢ、Ｃ１およびＣ２の内密の会話の背景音として、再生してもよい。
【０１４７】
また、上記ステップＳ６４５、Ｓ６４７、Ｓ６５０において、各信号処理装置１間でオーディオ信号が送受信され、選択対象設定情報に基づいて再生するオーディ信号を選択的に再生するとしたが、本開示はかかる例に限定されない。例えば、信号処理装置１は、選択対象設定情報に含まれる他の信号処理装置１にのみオーディオ信号を送信してもよい。つまり、Ｓ６４７において、信号処理装置１Ｂは信号処理装置１Ｃにのみ、オーディオ信号を送信し、信号処理装置１Ｃは信号処理装置１Ｂにのみオーディオ信号を送信してもよい。
【０１４８】
他にも、管理サーバ３は、各信号処理装置１より受信した選択対象設定情報に基づいて、各信号処理装置１に対して、他の信号処理装置１からのオーディオ信号を選択的に送信してもよい。つまり、管理サーバ３は、音場再生信号処理部１５５および出力制御部１７としての機能を有していてもよい。
【０１４９】
［４−２．接続空間の選択処理２］
図１４は、本実施形態に係る接続空間の選択処理の一例の概要を示した説明図である。図１４に示したように、音響システムは、ユーザの言語に基づいて、選択要求を認識し得る。ユーザＢがサイトＢにおいて、ユーザＡ、Ｃ１およびＣ２と日本語で会話している場合を想定する。このとき、ユーザＢがロシア語で話すと、ユーザＢはユーザＡと内密の会話を行うことができる。また、ユーザＢが英語で話すと、ユーザＢはユーザＣ１およびＣ２と内密の会話を行うことができる。そして、ユーザＢが日本語で話すと、ユーザＢはユーザＡ、Ｃ１およびＣ２との会話に復帰することができる。以下、図１５を参照し、このような選択要求に係る動作処理について説明する。
【０１５０】
図１５は、本実施形態に係る接続空間の選択処理の一例を示すフローチャートである。ここで、図１５は、図８を参照して説明した複数空間の接続処理によって、サイトＡ、ＢおよびＣが接続された後の動作処理を示している。図１５に示したように、ステップＳ７３７（Ｓ７３７Ａ、Ｓ７３７Ｂ、Ｓ７３７Ｃ）、Ｓ７４０（Ｓ７４０Ａ、Ｓ７４０Ｂ、Ｓ７４０Ｃ）において、ユーザＡ、Ｂ、Ｃ１およびＣ２は日本語で会話を行っている。なお、ステップＳ７３７および７４０における動作処理は、上記ステップＳ１３７、Ｓ１４０（図１０および図１１参照）で説明した通りである。
【０１５１】
このとき、ユーザＢがロシア語で話すと、ステップＳ７４３で、認識部１３１はユーザＢの言語に基づくコマンドを認識する。ここでは、一例として、ロシア語はユーザＡを、英語はユーザＣ１およびＣ２をそれぞれ指示する選択要求を示し、日本語は選択解除要求を示すことを、設定情報として信号処理装置１Ｂ等に設定されているものとする。このため、認識部１３１は、ユーザＢがロシア語を話したことに基づいて、「ユーザＢによるユーザＡの選択要求」を認識し、「ユーザＢおよびＡ」を示す選択対象設定情報を生成する。
【０１５２】
次に、ステップＳ７４５で、上記ステップＳ６４５（図１３）と同様に、信号処理装置１Ｂは、信号処理装置１Ａおよび１Ｃに対して接続切り替え処理を行う。そして、ステップＳ７４７（Ｓ７４７Ａ、Ｓ７４７Ｂ）、Ｓ７５０（Ｓ７５０Ａ、Ｓ７５０Ｂ）において、上記ステップＳ７３７および７４０と同様に、ユーザＢはユーザＡとの内密の会話をロシア語で行う。
【０１５３】
次に、ユーザＢが話す言語をロシア語から英語に切り替えると、ステップＳ７５３で、認識部１３１はユーザＢの言語に基づくコマンドを認識する。具体的には、認識部１３１は、ユーザＢが英語を話したことに基づいて、「ユーザＢによるユーザＣ１およびＣ２の選択要求」を認識し、「ユーザＢ、Ｃ１およびＣ２」を示す選択対象設定情報を生成する。
【０１５４】
次に、ステップＳ７５５で、上記ステップＳ７４５と同様に、信号処理装置１Ｂは、信号処理装置１Ａおよび１Ｃに対して接続切り替え処理を行う。そして、ステップＳ７５７（Ｓ７５７Ａ、Ｓ７５７Ｂ）、Ｓ７６０（Ｓ７６０Ａ、Ｓ７６０Ｂ）において、上記ステップＳ７３７および７４０と同様に、ユーザＢはユーザＣ１およびＣ２との内密の会話を英語で行う。
【０１５５】
［４−３．接続空間の選択処理３］
図１６は、本実施形態に係る接続空間の選択処理の一例の概要を示した説明図である。図１６に示したように、音響システムは、音像（音声出力）が定位した位置とユーザの位置との位置関係の変化に基づいて、選択要求を認識し得る。ユーザＡがサイトＡの領域（１）において、ユーザＢ、Ｃ１およびＣ２と会話している場合を想定する。ここで、ユーザＢの音像は領域（２）側に定位し、ユーザＣ１およびＣ２の音像は領域（３）側に定位しているものとする。このとき、ユーザＡが領域（２）に移動すると、ユーザＡはユーザＢと内密の会話を行うことができる。また、ユーザＡが領域（３）に移動すると、ユーザＡはユーザＣ１およびＣ２と内密の会話を行うことができる。そして、ユーザＡが領域（１）に移動すると、ユーザＡはユーザＢ、Ｃ１およびＣ２との会話に復帰することができる。以下、図１７〜図１８を参照し、音像を定位させる動作処理、およびこのような選択要求に係る動作処理について、順に説明する。
【０１５６】
（複数空間の接続処理）
図１７は、本実施形態に係る複数空間の接続動作の一例を示すフローチャートである。図１７は、ステップＳ１１８およびＳ１４０ＡがステップＳ１１９およびＳ１４１Ａに変更されている点、およびステップＳ１２０が追加されている点で、図８と相違する。そこで、ここではステップＳ１１９、Ｓ１２０、Ｓ１４１Ａの処理についてのみ説明する。
【０１５７】
ステップＳ１１９においては、ステップＳ１１８と同様に、信号処理装置１Ａは、ユーザＡの音声（発言）に基づいてコマンドを認識する。このとき、信号処理装置１Ａは、「ユーザＢ、Ｃ１およびＣ２に対する発呼要求」コマンド、および「複数スポットモード」コマンドを認識する。ここで、「複数スポットモード」とは、対象ユーザが複数である場合に、対象ユーザ毎に音像を定位させる位置を分離する動作モードである。ここでは一例として、信号処理装置１Ａは、「複数スポットモード」コマンドに付随した設定情報として、ユーザＢの音像が領域（２）側に、ユーザＣ１およびＣ２の音像が領域（３）側に定位するよう設定する、ユーザＡによるコマンドを認識しているものとする。
【０１５８】
次に、ステップＳ１２０で、信号処理装置１は複数スポットモード設定を行う。具体的には、音場再生信号処理部１５５は、「複数スポットモード」コマンドに付随した設定情報に基づき、ユーザＡを内包するスピーカー群を、領域（２）側にユーザＢ、領域（３）側にユーザＣ１およびＣ２の音像が定位するよう分割する。そして、音場再生信号処理部１５５は、分割したスピーカー群に応じた複数のチャネルの出力バッファに、ユーザＢ、Ｃ１およびＣ２からのオーディオ信号をそれぞれ書き込む。
【０１５９】
そして、ステップＳ１４１Ａにおいては、ステップＳ１４０と同様に、信号処理装置１Ａは、信号処理装置１Ｂおよび１Ｃから送信されたオーディオ信号に基づいて音場再生処理を行う。このとき、信号処理装置１Ａは、ステップＳ１２０によって設定された複数スポットモード設定に基づいて、音声出力を行う。具体的には、出力制御部１７は、音場再生信号処理部１５５により出力バッファに書き込まれたオーディオ信号をスピーカー２０Ａにより出力させることで、領域（２）側にユーザＢの音像を、領域（３）側にユーザＣ１およびＣ２の音像を、それぞれ定位させる。
【０１６０】
（接続空間の選択処理）
図１８は、本実施形態に係る接続空間の選択処理の一例を示すフローチャートである。ここで、図１８は、図１７を参照して説明した複数空間の接続処理によって、サイトＡ、ＢおよびＣが接続された後の動作処理を示している。図１８に示したように、ユーザＡが領域（２）に移動すると、ステップＳ８３３で、認識部１３１は音像が定位した位置とユーザＡの位置との位置関係に基づくコマンドを認識する。
【０１６１】
ここでは、一例として、領域（２）への移動がユーザＢを、領域（３）への移動がユーザＣ１およびＣ２をそれぞれ指示する選択要求を示し、領域（１）への移動が選択解除要求を示すことを、設定情報として信号処理装置１Ａ等に設定されているものとする。このため、認識部１３１は、ユーザＡによる領域（２）への移動に基づいて、「ユーザＡによるユーザＢの選択要求」を認識し、「ユーザＡおよびＢ」を示す選択対象設定情報を生成する。
【０１６２】
次に、ステップＳ８３５で、上記ステップＳ６４５（図１３）と同様に、信号処理装置１Ａは、信号処理装置１Ｂおよび１Ｃに対して接続切り替え処理を行う。そして、ステップＳ８３７Ａ、Ｓ８３７Ｂ、Ｓ８４０Ｂ、Ｓ８４１Ａにおいて、上記ステップＳ１３７、Ｓ１４０、Ｓ１４１Ａ（図１０、図１１、図１７参照）と同様に、ユーザＡは領域（２）においてユーザＢとの内密の会話を行う。
【０１６３】
次いで、ユーザＡが領域（３）に移動すると、ステップＳ８４３で、認識部１３１は、「ユーザＡによるユーザＣ１およびＣ２の選択要求」を認識し、「ユーザＡ、Ｃ１およびＣ２」を示す選択対象設定情報を生成する。
【０１６４】
次に、ステップＳ８４５で、上記ステップＳ８３５と同様に、信号処理装置１Ａは、信号処理装置１Ｂおよび１Ｃに対して接続切り替え処理を行う。そして、ステップＳ８４７Ａ、Ｓ８４７Ｃ、Ｓ８５０Ｂ、Ｓ８５１Ａにおいて、上記ステップＳ１３７、Ｓ１４０、Ｓ１４１Ａと同様に、ユーザＡは領域（３）においてユーザＣ１およびＣ２との内密の会話を行う。
【０１６５】
次いで、ユーザＡが領域（１）に移動すると、ステップＳ８５３で、認識部１３１は、「選択解除要求」を認識し、「ユーザＡ、Ｃ１およびＣ２」を示す選択対象設定情報を生成する。
【０１６６】
次に、ステップＳ８５５で、上記ステップＳ８４５と同様に、信号処理装置１Ａは、信号処理装置１Ｂおよび１Ｃに対して接続切り替え処理を行う。そして、ステップＳ８５７Ａ、Ｓ８５７Ｂ、Ｓ８５７Ｃ、Ｓ８６０Ｂ、Ｓ８６０Ｃ、Ｓ８６１Ａにおいて、上記ステップＳ１３７、Ｓ１４０、Ｓ１４１Ａと同様に、ユーザＡは領域（１）においてユーザＢ、Ｃ１およびＣ２との会話を行う。
【０１６７】
（補足）
なお、上記ステップＳ８３５では、上記ステップＳ６４５（図１３）と同様に、音響システムは選択対象設定情報に含まれない対象ユーザの音声を出力しないとしたが、本開示はかかる例に限定されない。例えば、音響システムは、音像が定位した位置とユーザの位置との位置関係の変化に基づいて、音声出力の強さを制御してもよい。つまり、例えばステップＳ８４１Ａにおいて、ユーザＡが領域（２）側に移動するにつれて、信号処理装置１Ａはスピーカー２０Ａから出力させるユーザＣ１およびＣ２の音声の音量を下げてもよい。また、ユーザＡが領域（２）側に移動するにつれて、信号処理装置１Ａはスピーカー２０Ａから出力させるユーザＢの音声の音量を上げてもよい。
【０１６８】
また、信号処理装置１は、上記ステップＳ１２０において複数スポットモード設定を行う際に、図示しない照明装置を制御して、領域（１）（２）（３）にそれぞれ異なる色の光を照射させてもよい。これにより、ユーザは各領域の位置および範囲を視認することができる。また、信号処理装置１は、発言中の対象ユーザに対応する領域に照射する光を強めてもよい。
【０１６９】
また、管理サーバ３は、音場再生信号処理部１５５としての機能を有し、複数スポットモード設定を行ってもよい。具体的には、管理サーバ３は、「複数スポットモード」コマンドに付随した設定情報に基づき、ユーザを内包するスピーカー群を、分離された位置に音像が定位するよう分割してもよい。
【０１７０】
［４−４．接続空間の選択処理４］
音響システムは、ユーザの音声に所定の文言が含まれるか否かに基づいて、選択要求を認識し得る。ユーザＡが、ユーザＢ、Ｃ１およびＣ２と会話している場合を想定する。例えば、ユーザＡは、咳払いすることでユーザＢとの内密の会話を行い、「選択要求解除」とつぶやくことでユーザＢ、ＣおよびＣ２との会話に復帰する。つまり、信号処理装置１Ａは、ユーザによる咳払いを「ユーザＡによるユーザＢの選択要求」として認識し、「選択要求解除」の言葉を「選択解除要求」として認識する。
【０１７１】
なお、音響システムは、ユーザの音声に禁止対象の文言が含まれる場合に、切断要求を認識してもよい。ここで、切断要求とは、信号処理装置１間の接続を切断するコマンドである。例えば、ユーザＡが、機密事項や、差別言葉などの禁止対象の文言を発した場合に、信号処理装置１Ａは、強制的に信号処理装置１Ａと信号処理装置１Ｂおよび１Ｃとの接続を切断してもよい。
【０１７２】
［４−５．接続空間の選択処理５］
音響システムは、ユーザの話す速度に基づいて、選択要求を認識し得る。ユーザＡが、大人であるユーザＢ、ならびに幼児であるＣ１およびＣ２と会話している場合を想定する。例えば、ユーザＡは、ユーザＢに対する会話を通常の速度で行い、ユーザＢ、Ｃ１およびＣ２に対する会話を遅い速度で行う。つまり、信号処理装置１Ａは、ユーザＡによる通常の速度での会話を「ユーザＡによるユーザＢの選択要求」として認識し、遅い速度での会話を「選択解除要求」として認識する。
【０１７３】
［４−６．接続空間の選択処理６］
音響システムは、ユーザのジェスチャー（動作）基づいて、選択要求を認識し得る。ユーザＡが、ユーザＢ、Ｃ１およびＣ２と会話している場合を想定する。例えば、ユーザＡは、立ち上がることで、ユーザＢとの内密の会話を行い、座ることでユーザＢ、ＣおよびＣ２との会話に復帰する。つまり、信号処理装置１Ａは、ユーザの起立動作を「ユーザＡによるユーザＢの選択要求」として認識し、ユーザの着席動作を「選択解除要求」として認識する。
【０１７４】
［４−７．接続空間の選択処理７］
音響システムは、表示装置７’が受け付けたユーザによる入力に基づいて、選択要求を認識し得る。ユーザは、入力部７８によって選択要求を入力することができる。なお、音響システムは、カメラ７９を用いてユーザのジェスチャーによる選択要求を認識することも可能である。
【０１７５】
［４−８．接続空間の選択処理に付随する処理］
以上、本実施形態に係る音響システムによる、選択要求の実施例について説明した。ここで、ユーザには、音声やジェスチャーによる選択要求が実際に認識されたのか、即ち現在内密の会話中なのか否かを確認したいという要求がある。このような要求に対し、ユーザは、例えば表示装置７によって、選択要求が認識されたのか否かを確認することができる。他にも、音響システムは、音声ガイダンスによっても、選択要求が実際に認識されたのかを、ユーザに通知することができる。具体的には、出力制御部１７は、認識部１３１が選択要求を認識した場合に、ユーザへの通知信号をスピーカー２０に出力させる。以下、図１９を参照し、このような音声ガイダンスによる通知処理について説明する。
【０１７６】
図１９は、本実施形態に係る音響システムの音声ガイダンス処理を示すフローチャートである。図１９に示したように、まず、ステップＳ５０３で、認識部１３１は、ユーザのジェスチャーに基づいて、「コマンド開始」を示すコマンドを認識する。
【０１７７】
次に、ステップＳ５０６で、信号処理装置１は、ジェスチャーを使ったユーザに対してのみ、コマンド開始を示すコマンドを認識した旨を通知するメッセージを出力する。具体的には、出力制御部１７は、ユーザの周辺に配されるスピーカー２０から当該メッセージを再生する。
【０１７８】
なお、信号処理装置１は、当該メッセージを再生するスピーカー２０の近傍に配されたマイク１０の収音を中止してもよい。また、信号処理装置１は、収音しているマイク１０と離れた位置に配されたスピーカー２０によって、当該メッセージを再生してもよい。これにより、音声ガイダンスを他のユーザが聞くことが防止される。
【０１７９】
次いで、ステップＳ５０９で、信号処理装置１は、ユーザのジェスチャーに基づいて「選択要求」を示すコマンドを認識する。続いてステップＳ５１２で、信号処理装置１は、ジェスチャーを使ったユーザに対してのみ、「選択要求」を示すコマンドを認識した旨を通知するメッセージを出力する。
【０１８０】
次に、ステップＳ５１５で、信号処理装置１は、ユーザのジェスチャーに基づいて「コマンド終了」を示すコマンドを認識する。続いてステップＳ５１２で、信号処理装置１は、ジェスチャーを使ったユーザに対してのみ、「コマンド終了」を示すコマンドを認識した旨を通知するメッセージを出力する。
【０１８１】
（補足）
なお、上記では、信号処理装置１は、ジェスチャーによる選択要求を認識した際に、音声ガイダンスによる通知を行うとしたが、本開示は係る例に限定されない。信号処理装置１は、音声による選択要求を認識した際に、音声ガイダンスによる通知を行ってもよい。また、表示装置７’により選択要求を認識した際に、信号処理装置１は音声ガイダンスによる通知を行ってもよい。
【０１８２】
＜５．システム構成の変形例＞
本実施形態に係る音響システムは、多様なシステム構成により実現され得る。上記では図２を参照し、音響システムはクライアントサーバ型のシステム構成を有すると説明したが、本開示は係る例に限定されない。以下、音響システムの他のシステム構成の例について説明する。
【０１８３】
［５−１．システム構成例１］
（システム構成）
図２０は、本実施形態に係る音響システムの全体構成の一例を示す図である。図２０に示したように、音響システムは、管理サーバ３に代えて、周辺管理サーバ３Ａ’、３Ｂ’、３Ｃ’を有するＰ２Ｐ（Ｐｅｅｒ  ｔｏ  Ｐｅｅｒ）型のシステムである。なお、周辺管理サーバ３Ａ’、３Ｂ’、３Ｃ’を区別して説明する必要がない場合は、周辺管理サーバ３Ａ’、３Ｂ’、３Ｃ’を周辺管理サーバ３’と総称する。
【０１８４】
周辺管理サーバ３’は、周辺に居るユーザの認証処理や、ユーザの絶対位置（現在位置）を管理する機能を有する。さらに、周辺管理サーバ３’は、周辺の信号処理装置１、周辺の場所や建物の位置を示す情報（ＩＰアドレス等）を管理してもよい。また、周辺管理サーバ３’は、管理サーバ３と同様に、現在どのユーザが会話を行っているか、その中でどのユーザが内密の会話を行っているか、等の情報を管理してもよい。なお、信号処理装置１と周辺管理サーバ３’は、一体的に構成されていてもよい。
【０１８５】
周辺管理サーバ３’は、周辺に配された信号処理装置１を介して、所定の空間に配されるマイク１０およびスピーカー２０と信号の入出力を行う。そして、図２０に示したように、Ｐ２Ｐ型の音響システムは、ユーザが含まれる所定の空間に配されるマイク１０およびスピーカー２０と、対象ユーザが含まれる所定の空間に配されるマイク１０およびスピーカー２０とを、複数の周辺管理サーバ３’により接続する。このようにして、Ｐ２Ｐ型の音響システムは、複数の周辺管理サーバ３’によって、複数空間の接続および接続空間の選択を実現する。以下、図２１を参照して、Ｐ２Ｐ型の音響システムによる複数空間の接続処理について説明する。
【０１８６】
（複数空間の接続処理）
図２１は、本実施形態に係る複数空間の接続動作の一例を示すフローチャートである。図２１に示したように、まずステップＳ１０５で、周辺管理サーバ３’は、周辺に居るユーザのユーザＩＤおよび周辺の信号処理装置１のＩＰアドレス等を、他の周辺管理サーバ３’と共有する。続くステップＳ１１２Ｂ、Ｓ１１２Ｃ、Ｓ１１５Ｂ、Ｓ１１５Ｃ、Ｓ１１８の動作処理は、図８を参照して説明した通りであるため、説明を省略する。
【０１８７】
次いで、ステップＳ１２５で、周辺管理サーバ３’は、ステップＳ１１８において信号処理装置１Ａが認識したコマンド（発呼要求）に応じて、ユーザＢ、Ｃ１およびＣ２の接続先情報を検索する。
【０１８８】
次に、ステップＳ１３１で、信号処理装置１Ａは、ステップＳ１２８で同定したユーザＢ、Ｃ１およびＣ２の接続先情報に基づいて、信号処理装置１Ｂおよび１Ｃに対して発呼処理を行う。このとき、信号処理装置１Ａは、信号処理装置１Ｂへの発呼処理を周辺管理サーバ３Ａ’および３Ｂ’を介して行い、信号処理装置１Ｃへの発呼処理を周辺管理サーバ３Ａ’および３Ｃ’を介して行う。
【０１８９】
次いで、ステップＳ１３２Ｂおよび１３２Ｃで、信号処理装置１Ｂおよび１ＣがユーザＢおよびＣの回答を認識すると、ステップＳ１３５で、信号処理装置１Ｂおよび１Ｃは、ユーザＢ、Ｃ１およびＣ２の回答を、信号処理装置１Ａに送信する。このとき、信号処理装置１Ｂは、信号処理装置１Ａへの回答の送信を、周辺管理サーバ３Ｂ’および３Ａ’を介して行う。また、信号処理装置１Ｃは、信号処理装置１Ａへの回答の送信を、周辺管理サーバ３Ｃ’および３Ａ’を介して行う。
【０１９０】
次に、ステップＳ１３８Ａ、Ｓ１３８Ｂ、Ｓ１３８Ｃ、Ｓ１４２Ａ、Ｓ１４２Ｂ、Ｓ１４２Ｃで、各信号処理装置１は、上記ステップＳ１３７、Ｓ１４０（図１０および図１１参照）と同様に、収音処理および音場再生処理を行う。ただし、各信号処理装置１間のデータの送受信は、各周辺管理サーバ３’間のデータの送受信により実現される。
【０１９１】
［５−２．システム構成例２］
（システム構成）
図２２は、本実施形態に係る音響システムの全体構成の一例を示す図である。図２２に示したように、音響システムは、管理サーバ３に代えて、ポータブル管理サーバ３’’を有するポータブルクライアントサーバ型のシステムである。ここで、信号処理装置１Ｂおよび１Ｃは、ポータブル管理サーバ３’’を介さずにネットワーク５により接続される、メッシュネットワークを構成し得る。
【０１９２】
ポータブル管理サーバ３’’は、所有するユーザ、および予め登録された他のユーザの認証処理や、所有するユーザの絶対位置（現在位置）を管理する機能を有する。さらに、ポータブル管理サーバ３’’は、予め登録された場所や建物の位置を示す情報（ＩＰアドレス等）を管理してもよい。このように、ポータブル管理サーバ３’’は、管理サーバ３と比較して性能が限定的であるため、管理する情報の量が制限されている。また、ポータブル管理サーバ３’’は、管理サーバ３と同様に、現在どのユーザが会話を行っているか、その中でどのユーザが内密の会話を行っているか、等の情報を管理してもよい。なお、ポータブル管理サーバ３’’は、携帯電話、スマートフォンその他のモバイルコンピュータであってもよい。
【０１９３】
ポータブル管理サーバ３’’は、予め登録された所定のセンサおよび出力部のうち、ユーザおよび予め登録された所定の対象ユーザの近傍に配されたマイク１０およびスピーカー２０と信号の入出力を行う。そして、図２２に示したように、ポータブルクライアントサーバ型の音響システムは、ユーザの近傍に配されるマイク１０およびスピーカー２０と、対象ユーザの近傍に配されるマイク１０およびスピーカー２０とを、ポータブル管理サーバ３’’により接続する。このようにして、ポータブルクライアントサーバ型の音響システムは、予め登録されたユーザおよび場所等を管理するポータブル管理サーバ３’’によって、複数空間の接続および接続空間の選択を実現する。
【０１９４】
例えば、ユーザは、旅行先の場所および同行者の情報をポータブルクライアントサーバ型の音響システムに登録することで、共に旅行をしているが少し離れた場所にいる同行者と、あたかも同じ場所に集まっているかのように会話をすることができる。
【０１９５】
以下、図２３を参照して、ポータブルクライアントサーバ型の音響システムによる複数空間の接続処理について説明する。
【０１９６】
（複数空間の接続処理）
図２３は、本実施形態に係る複数空間の接続動作の一例を示すフローチャートである。図２３に示したように、ポータブル管理サーバ３’’は、ポータブル管理サーバ３’’を所有するユーザＡの居る場所に対応する信号処理装置１Ａ、予め登録された場所に対応する信号処理装置１Ｂおよび１Ｃとの通信を行う。つまり、ポータブル管理サーバ３’’に予め登録されたユーザＢ、Ｃ１およびＣ２が、予め登録されたサイトＢおよびＣにそれぞれ居る場合に、ステップＳ１０３Ｂ、１０３Ｃで信号処理装置１Ｂおよび１ＣによるユーザＩＤの通知がなされる。そして、続く処理によりサイトＡ、Ｂ、Ｃが接続される。
【０１９７】
なお、ステップＳ１３９Ａ、Ｓ１３９Ｂ、Ｓ１３９Ｃ、Ｓ１４３Ａ、Ｓ１４３Ｂ、Ｓ１４３Ｃで、各信号処理装置１は、上記ステップＳ１３７、Ｓ１４０（図１０および図１１参照）と同様に、収音処理および音場再生処理を行う。ただし、信号処理装置１Ｂおよび１Ｃ間のデータの送受信は、ポータブル管理サーバ３’’を介さずに、メッシュネットワークにより実現される。
【０１９８】
＜６．効果＞
上記説明したように、本実施形態に係る音響システムでは、ユーザは、会話中である複数のユーザから内密の会話を行うユーザを選択することが可能である。このとき、ユーザは、周囲に配されたマイク１０やカメラ３０、赤外線／熱センサ４０によって選択要求を音響システムに認識させることが可能であるため、スマートフォンや携帯電話端末を操作する必要が無い。また、音響システムは、ユーザの音声の大きさ、言語、速度、ジェスチャー、位置等によって選択要求を認識することが可能であるため、選択されなかったユーザに選択要求が察知されることがない。
【０１９９】
また、音響システムは、選択要求として、同じ空間に居る複数のユーザのうち一のユーザの選択を認識することができる。従って、ユーザは、同じ空間に居る他のユーザに察知されることなく、所望のユーザとの内密の会話を行うことができる。
【０２００】
また、上記で多様に開示した複数空間の接続処理において、ユーザは従来の会議等において所望の人物と会話する際の行動と同様の行動によって、所望の他ユーザとの会話を行うことができる。従って、ユーザは、直観的に本開示に係る音響システムを使用することが可能である。例えば、従来ユーザは、所望の人物に小声でささやくことで、内密の会話を行ってきた。音声の大きさに基づいて選択要求を認識する例においては、ユーザは、従来と同様の大きさのささやきを発することで、所望の他ユーザと内密の会話を行うことができる。また、例えば、従来ユーザは、所望の人物に接近することで、内密の会話を行ってきた。音像が定位した位置とユーザの位置との位置関係の変化に基づいて選択要求を認識する例においては、ユーザは、従来と同様に音像が定位した位置に接近することで、所望の他ユーザと内密の会話を行うことができる。
【０２０１】
＜７．まとめ＞
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２０２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの近傍に配された第１のセンサにより検知された信号に基づいて、前記ユーザ及び前記ユーザが対話を要求する対象を同定する同定部と、
前記第１のセンサ及び前記対象の近傍に配された第２のセンサにより検知された信号に対して所定の信号処理を行う信号処理部と、
前記信号処理部により処理された少なくとも前記第２のセンサにより検知された信号を、前記ユーザの近傍に配された第１の出力部に出力させる出力制御部と、
前記同定部により前記対象が複数同定された場合、前記第１のセンサにより検知された信号に基づいて、複数の前記対象の中から特定対象を選択する選択要求を認識する認識部と、
を備え、
前記出力制御部は、前記認識部により前記選択要求が認識された場合、前記信号処理部により処理された前記第１のセンサにより検知された信号を、前記特定対象の近傍に配された第２の出力部に出力させる、情報処理システム。
（２）
前記出力制御部は、前記認識部により前記選択要求が認識された場合、前記複数の対象のうち、前記特定対象の近傍に配された前記第２のセンサにより検知された信号のみを前記第１の出力部に出力させる、前記（１）に記載の情報処理システム。
（３）
前記信号処理部は、前記同定部により前記対象が複数同定された場合、複数の前記対象の近傍に配された前記第２のセンサにより検知された信号を処理する、前記（１）または（２）に記載の情報処理システム。
（４）
前記信号処理部は、前記同定部により前記対象が複数同定された場合、複数の前記対象の近傍に配された前記第２のセンサにより検知された信号を合成処理する、前記（１）〜（３）のいずれか一項に記載の情報処理システム。
（５）
前記信号は音声信号を含み、
前記第１のセンサおよび前記第２のセンサはマイクロフォンを含み、
前記第１の出力部および前記第２の出力部は音声を出力するスピーカーを含む、前記（１）〜（４）のいずれか一項に記載の情報処理システム。
（６）
前記認識部は、前記第１のセンサにより検知された前記ユーザの音声の大きさに基づいて前記選択要求を認識する、前記（５）に記載の情報処理システム。
（７）
前記認識部は、前記第１のセンサにより検知された前記ユーザの言語に基づいて前記選択要求を認識する、前記（５）または（６）に記載の情報処理システム。
（８）
前記信号処理部は、前記同定部により前記対象が複数同定された場合、前記第１の出力部からの音声出力が前記ユーザの位置付近の複数個所に定位するよう信号処理を行う、前記（５）〜（７）のいずれか一項に記載の情報処理システム。
（９）
前記認識部は、前記第１の出力部からの音声出力が定位した位置と前記第１のセンサにより検知された前記ユーザの位置との位置関係の変化に基づいて前記選択要求を認識する、前記（８）に記載の情報処理システム。
（１０）
前記認識部は、前記第１のセンサにより検知された前記ユーザの音声に所定の文言が含まれるか否かに基づいて前記選択要求を認識する、前記（５）〜（９）のいずれか一項に記載の情報処理システム。
（１１）
前記認識部は、前記第１のセンサにより検知された前記ユーザの話す速度に基づいて前記選択要求を認識する、前記（５）〜（１０）のいずれか一項に記載の情報処理システム。
（１２）
前記認識部は、前記第１のセンサにより検知された前記ユーザの動作に基づいて前記選択要求を認識する、前記（１）〜（１１）のいずれか一項に記載の情報処理システム。
（１３）
前記情報処理システムは、前記ユーザからの前記選択要求の入力を受け付ける入力部をさらに備え、
前記認識部は、前記入力部により入力された前記選択要求を認識する、前記（１）〜（１２）のいずれか一項に記載の情報処理システム。
（１４）
前記出力制御部は、前記認識部が前記選択要求を認識した場合に、前記ユーザへの通知信号を前記第１の出力部に出力させる、前記（１）〜（１３）のいずれか一項に記載の情報処理システム。
（１５）
前記情報処理システムは、
所定の空間に配されるセンサおよび出力部と信号の入出力を行い、
前記ユーザが含まれる所定の空間に配される前記センサを前記第１のセンサ、同空間に配される前記出力部を前記第１の出力部とし、
前記対象が含まれる所定の空間に配される前記センサを前記第２のセンサ、同空間に配される前記出力部を前記第２の出力部とする、前記（１）〜（１４）のいずれか一項に記載の情報処理システム。
（１６）
前記情報処理システムは、
複数の所定の空間に配されるセンサおよび出力部と信号の入出力を行い、
複数の前記所定の空間のうち前記ユーザが含まれる前記所定の空間に配される前記センサを前記第１のセンサ、同空間に配される前記出力部を前記第１の出力部とし、
複数の前記所定の空間のうち前記対象が含まれる前記所定の空間に配される前記センサを前記第２のセンサ、同空間に配される前記出力部を前記第２の出力部とする、前記（１）〜（１４）のいずれか一項に記載の情報処理システム。
（１７）
前記情報処理システムは、
所定のセンサおよび出力部のうち、前記ユーザおよび所定の前記対象の近傍に配されたセンサおよび出力部と信号の入出力を行い、
前記ユーザの近傍に配される前記センサを前記第１のセンサ、前記出力部を前記第１の出力部とし、
前記対象の近傍に配される前記センサを前記第２のセンサ、前記出力部を前記第２の出力部とする、前記（１）〜（１４）のいずれか一項に記載の情報処理システム。
（１８）
コンピュータに、
ユーザの近傍に配された第１のセンサにより検知された信号に基づいて、前記ユーザ及び前記ユーザが対話を要求する対象を同定するステップと、
前記第１のセンサ及び前記対象の近傍に配された第２のセンサにより検知された信号に対して所定の信号処理を行うステップと、
前記信号処理された少なくとも前記第２のセンサにより検知された信号を、前記ユーザの近傍に配された第１の出力部に出力させるステップと、
を実行させ、前記対象が複数同定された場合に、
複数の前記対象の近傍に配された前記第２のセンサにより検知された信号を合成処理するステップと、
前記第１のセンサにより検知された信号に基づいて、複数の前記対象の中から特定対象を選択する選択要求を認識するステップと、
前記信号処理された前記第１のセンサにより検知された信号を、前記特定対象の近傍に配された第２の出力部に出力させるステップと、
を実行させるためのプログラム。
【符号の説明】
【０２０３】
１、１Ａ、１Ｂ、１Ｃ  信号処理装置
１０、１０Ａ、１０Ｂ、１０Ｃ  マイクロフォン（マイク）
１１  アンプ・ＡＤＣ部
２０、２０Ａ、２０Ｂ、２０Ｃ  スピーカー
２１  ＤＡＣ・アンプ部
３０、３０Ａ、３０Ｂ、３０Ｃ  カメラ
４０    赤外線／熱センサ
５      ネットワーク
１３    要求判定部
１３１  認識部
１３３  同定部
１４    ユーザ位置推定部
１５    信号処理部
１５１  マイクアレイ処理部
１５３  高Ｓ／Ｎ化処理部
１５５  音場再生信号処理部
１７    出力制御部
１９    通信Ｉ／Ｆ
３、３Ａ、３Ｂ、３Ｃ  管理サーバ
３’、３Ａ’、３Ｂ’、３Ｃ’  周辺管理サーバ
３’’、３Ａ’’、３Ｂ’’、３Ｃ’’  ポータブル管理サーバ
３２    管理部
３３    検索部
３５    ユーザ位置ＤＢ
３９    通信Ｉ／Ｆ
５１    カメラ位置情報ＤＢ
５３    マイク位置情報ＤＢ
５５    スピーカー位置情報ＤＢ
７、７’  表示装置
７−１  ディスプレイ装置
７−２  スマートフォン
７−３  メガネ型表示装置
７１    通信Ｉ／Ｆ
７３    制御部
７５    記憶部
７７    表示部
７８    入力部
７９    カメラ
【図１】
2014060647.tif 000003
【図２】
2014060647.tif 000004
【図３】
2014060647.tif 000005
【図４】
2014060647.tif 000006
【図５】
2014060647.tif 000007
【図６】
2014060647.tif 000008
【図７】
2014060647.tif 000009
【図８】
2014060647.tif 000010
【図９】
2014060647.tif 000011
【図１０】
2014060647.tif 000012
【図１１】
2014060647.tif 000013
【図１２】
2014060647.tif 000014
【図１３】
2014060647.tif 000015
【図１４】
2014060647.tif 000016
【図１５】
2014060647.tif 000017
【図１６】
2014060647.tif 000018
【図１７】
2014060647.tif 000019
【図１８】
2014060647.tif 000020
【図１９】
2014060647.tif 000021
【図２０】
2014060647.tif 000022
【図２１】
2014060647.tif 000023
【図２２】
2014060647.tif 000024
【図２３】
2014060647.tif 000025