(57)【要約】【課題】ユーザ周辺の空間を他の空間と相互連携させることが可能な情報処理システムおよび記憶媒体を提供する。【解決手段】特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、前記認識部により認識された前記所定の対象を同定する同定部と、前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記所定の対象の周辺のセンサから取得した信号を処理する信号処理部と、を備える、情報処理システム。【選択図】図１
2014010290.tif 000002
【特許請求の範囲】
【請求項１】
特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、
前記認識部により認識された前記所定の対象を同定する同定部と、
前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、
前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記所定の対象の周辺のセンサから取得した信号を処理する信号処理部と、
を備える、情報処理システム。
【請求項２】
前記信号処理部は、前記所定の対象の周辺に配される複数のセンサから取得した信号を処理する、請求項１に記載の情報処理システム。
【請求項３】
前記特定ユーザの周辺に配される複数のセンサは、マイクロフォンであって、
前記認識部は、前記マイクロフォンにより検知されたオーディオ信号に基づいて、前記所定の対象を認識する、請求項１または２に記載の情報処理システム。
【請求項４】
前記認識部は、前記特定ユーザの周辺に配されるセンサにより検知された信号に基づいて、前記所定の対象に対する要求をさらに認識する、請求項１〜３のいずれか１項に記載の情報処理システム。
【請求項５】
前記特定ユーザの周辺に配されるセンサは、マイクロフォンであって、
前記認識部は、前記マイクロフォンにより検知されたオーディオ信号に基づいて、前記所定の対象に対する発呼要求を認識する、請求項４に記載の情報処理システム。
【請求項６】
前記特定ユーザの周辺に配されるセンサは、圧力センサであって、
前記認識部は、前記圧力センサにより特定のスイッチの押圧が検知された場合、前記所定の対象に対する発呼要求を認識する、請求項４に記載の情報処理システム。
【請求項７】
前記特定ユーザの周辺に配されるセンサは、撮像センサであって、
前記認識部は、前記撮像センサにより取得された撮像画像に基づいて、前記所定の対象に対する発呼要求を認識する、請求項４に記載の情報処理システム。
【請求項８】
前記所定の対象の周辺のセンサは、マイクロフォンであって、
前記特定ユーザの周辺に配される複数のアクチュエータは、複数のスピーカーであって、
前記信号処理部は、前記複数のスピーカーから出力された際に前記特定ユーザの位置付近に音場を形成するよう、前記複数のスピーカーの各位置および推定された前記特定ユーザの位置に基づいて、前記所定の対象の周辺の前記マイクロフォンにより収音されたオーディオ信号を処理する、請求項１〜７のいずれか１項に記載の情報処理システム。
【請求項９】
特定ユーザの周辺のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、
前記認識部により認識された前記所定の対象を同定する同定部と、
前記同定部により同定された前記所定の対象の周辺に配される複数のセンサから取得された信号に基づき、前記特定ユーザの周辺のアクチュエータから出力する信号を生成する信号処理部と、
を備える、情報処理システム。
【請求項１０】
コンピュータを、
特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、
前記認識部により認識された前記所定の対象を同定する同定部と、
前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、
前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記所定の対象の周辺のセンサから取得した信号を処理する信号処理部と、
として機能させるための、プログラムが記憶された記憶媒体。
【請求項１１】
コンピュータを、
特定ユーザの周辺のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、
前記認識部により認識された前記所定の対象を同定する同定部と、
前記同定部により同定された前記所定の対象の周辺に配される複数のセンサから取得された信号に基づき、前記特定ユーザの周辺のアクチュエータから出力する信号を生成する信号処理部と、
として機能させるための、プログラムが記憶された記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理システムおよび記憶媒体に関する。
【背景技術】
【０００２】
近年、データ通信の分野において様々な技術が提案されている。例えば、下記特許文献１では、Ｍ２Ｍ（Ｍａｃｈｉｎｅ−ｔｏ−Ｍａｃｈｉｎｅ）ソリューションに関する技術が提案されている。具体的には、特許文献１に記載の遠隔管理システムは、インターネットプロトコル（ＩＰ）のマルチメディアサブシステム（ＩＭＳ）プラットフォーム（ＩＳ）を利用し、装置によるプレゼンス情報の公開や、ユーザと装置の間のインスタントメッセージングを介して、権限のあるユーザのクライアント（ＵＣ）と機械のクライアント（ＤＣ）の相互作用が実現される。【０００３】
一方、音響技術の分野において、音響ビームを形成することができるアレイスピーカーが種々開発されている。例えば、下記特許文献２には、複数のスピーカーをその波面を共通にして一つのキャビネットに取り付け、各スピーカーから発する音の遅延量とレベルを制御するアレイスピーカーについて記載されている。また、下記特許文献２には、同様の原理によるアレイマイクも開発されている旨が記載され、当該アレイマイクは、各マイクの出力信号のレベルと遅延量とを調整することにより、その集音点を任意に設定でき、これにより効率のよい集音が可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００８−５４３１３７号公報
【特許文献２】特開２００６−２７９５６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１、２では、大量のイメージセンサ、マイク、スピーカー等を広範囲に配し、ユーザの身体拡張を実現する手段として捉える技術やコミュニケーション方法については、何ら言及されていない。【０００６】
そこで、本開示では、ユーザ周辺の空間を他の空間と相互連携させることが可能な、新規かつ改良された情報処理システムおよび記憶媒体を提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、前記認識部により認識された前記所定の対象を同定する同定部と、前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記所定の対象の周辺のセンサから取得した信号を処理する信号処理部と、を備える情報処理システムを提案する。【０００８】
本開示によれば、特定ユーザの周辺のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、前記認識部により認識された前記所定の対象を同定する同定部と、前記同定部により同定された前記所定の対象の周辺に配される複数のセンサから取得された信号に基づき、前記特定ユーザの周辺のアクチュエータから出力する信号を生成する信号処理部と、を備える情報処理システムを提案する。【０００９】
本開示によれば、コンピュータを、特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、前記認識部により認識された前記所定の対象を同定する同定部と、前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記所定の対象の周辺のセンサから取得した信号を処理する信号処理部と、として機能させるためのプログラムが記憶された記憶媒体を提案する。【００１０】
本開示によれば、コンピュータを、特定ユーザの周辺のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、前記認識部により認識された前記所定の対象を同定する同定部と、前記同定部により同定された前記所定の対象の周辺に配される複数のセンサから取得された信号に基づき、前記特定ユーザの周辺のアクチュエータから出力する信号を生成する信号処理部と、として機能させるためのプログラムが記憶された記憶媒体を提案する。
【発明の効果】
【００１１】
以上説明したように本開示によれば、ユーザ周辺の空間を他の空間と相互連携させることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施形態による音響システムの概要を説明するための図である。
【図２】本開示の一実施形態による音響システムのシステム構成を示す図である。
【図３】本実施形態による信号処理装置の構成を示すブロック図である。
【図４】本実施形態による音響閉曲面の形状について説明するための図である。
【図５】本実施形態による管理サーバの構成を示すブロック図である。
【図６】本実施形態による音響システムの基本処理を示すフローチャートである。
【図７】本実施形態によるコマンド認識処理を示すフローチャートである。
【図８】本実施形態による収音処理を示すフローチャートである。
【図９】本実施形態による音場再生処理を示すフローチャートである。
【図１０】本実施形態による信号処理装置の他の構成例を示すブロック図である。
【図１１】本実施形態による他のコマンド例を説明するための図である。
【図１２】本実施形態による大空間の音場構築について説明するための図である。
【図１３】本実施形態による音響システムの他のシステム構成を示す図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による音響システムの概要
２．基本構成
２−１．システム構成
２−２．信号処理装置
２−３．管理サーバ 
３．動作処理
３−１．基本処理
３−２．コマンド認識処理
３−３．収音処理
３−４．音場再生処理
４．補足
５．まとめ
【００１５】
＜１．本開示の一実施形態による音響システムの概要＞
まず、本開示の一実施形態による音響システム（情報処理システム）の概要について、図１を参照して説明する。図１は、本開示の一実施形態による音響システムの概要を説明するための図である。図１に示すように、本実施形態による音響システムでは、部屋、家、ビル、屋外、地域、国等の世界の至る所に大量のマイクロフォン１０、イメージセンサ（不図示）、およびスピーカー２０等の各種センサおよびアクチュエータが配置されている状況を想定する。
【００１６】
図１に示す例では、ユーザＡが現在居る屋外の一のエリア「サイトＡ」の道路等に、複数のセンサの一例として、複数のマイクロフォン（以下、マイクと称す）１０Ａ、および複数のアクチュエータの一例として、複数のスピーカー２０Ａが配されている。また、ユーザＢが現在居る屋内の一のエリア「サイトＢ」では、壁、床、天井等に、複数のマイク１０Ｂおよび複数のスピーカー２０Ｂが配されている。なお、サイトＡ、Ｂには、センサの一例として、図示しない人感知センサやイメージセンサがさらに配されていてもよい。
【００１７】
ここで、サイトＡとサイトＢはネットワークを介して接続可能であって、サイトＡの各マイクおよびスピーカーで入出力される信号と、サイトＢの各マイクおよびスピーカーで入出力される信号は、互いに送受信される。
【００１８】
これにより、本実施形態による音響システムは、所定対象（人物、場所、建物等）に対応する音声や画像をユーザの周囲に配された複数のスピーカーやディスプレイでリアルタイムに再生する。また、本実施形態による音響システムは、ユーザの音声をユーザの周囲に配された複数のマイクにより収音して所定対象の周囲でリアルタイムに再生することができる。このように、本実施形態による音響システムでは、ユーザ周辺の空間を他の空間と相互連携させることが可能となる。
【００１９】
また、屋内や屋外の至る所に配されるマイクロフォン１０、スピーカー２０、イメージセンサ等を用いて、実質的にユーザの口、目、耳等の身体を広範囲に拡張させることが可能となり、新たなコミュニケーション方法を実現することができる。
【００２０】
さらに、本実施形態による音響システムでは、至る所にマイクロフォンやイメージセンサ等が配されているので、ユーザはスマートフォンや携帯電話端末を所有する必要がなく、声やジェスチャーで所定対象を指示し、所定対象周辺の空間と接続させることができる。以下、サイトＡに居るユーザＡがサイトＢに居るユーザＢと会話がしたい場合における本実施形態による音響システムの適用について簡潔に説明する。
【００２１】
（データ収集処理）
サイトＡでは、複数のマイク１０Ａ、イメージセンサ（不図示）、および人感センサ（不図示）等により継続的にデータ収集処理が行われている。具体的には、本実施形態による音響システムは、複数のマイク１０Ａで収音した音声、イメージセンサで撮像した撮像画像、または人感センサの検知結果を収集し、これによりユーザの位置を推定する。
【００２２】
また、本実施形態による音響システムは、予め登録された複数のマイク１０Ａの位置情報、および推定されたユーザの位置に基づいて、ユーザの声が十分収音可能な位置に配されているマイク群を選出してもよい。そして、本実施形態による音響システムは、選出した各マイクにより収音されたオーディオ信号のストリーム群に対してマイクアレイ処理を行う。特に、本実施形態による音響システムは、ユーザＡの口元に収音点が合うような遅延和アレイを行ってもよく、これによりアレイマイクの超指向性を形成できる。よって、ユーザＡのつぶやき程度の小さな声も収音され得る。
【００２３】
また、本実施形態による音響システムは、収音したユーザＡの音声に基づいてコマンドを認識し、コマンドに従った動作処理を実行する。例えば、サイトＡに居るユーザＡが「Ｂさんと話したい」とつぶやくと、「ユーザＢへの発呼要求」がコマンドとして認識される。この場合、本実施形態による音響システムは、ユーザＢの現在位置を同定し、ユーザＢが現在居るサイトＢとユーザＡが現在居るサイトＡを接続させる。これにより、ユーザＡは、ユーザＢと通話を行うことができる。
【００２４】
（オブジェクト分解処理）
通話中においては、サイトＡの複数のマイクで収音されたオーディオ信号（ストリームデータ）に対して、音源分離（ユーザＡの周囲のノイズ成分や、ユーザＡの周囲の人物の会話などを分離）、残響抑制、ノイズ／エコー処理等のオブジェクト分解処理が行われる。これにより、Ｓ／Ｎ比のよい、残響感も抑制されたストリームデータがサイトＢに送られる。
【００２５】
なお、ユーザＡが移動しながら話している場合も想定されるが、本実施形態による音響システムは、上記データ収集を継続的に行うことで対応することができる。具体的には、本実施形態による音響システムは、複数のマイク、イメージセンサ、および人感センサ等に基づいて継続的にデータ収集を行い、ユーザＡの移動経路や向いている方向を把握する。そして、本実施形態による音響システムは、移動しているユーザＡの周囲に配される適切なマイク群の選出を継続的に更新し、また、移動しているユーザＡの口元に常に収音点が合うようアレイマイク処理を継続的に行う。これにより、本実施形態による音響システムは、ユーザＡが移動しながら話す場合にも対応することができる。
【００２６】
また、音声のストリームデータとは別に、ユーザＡの移動方向や向き等がメタデータ化され、ストリームデータと共にサイトＢに送られる。
【００２７】
（オブジェクト合成）
そして、サイトＢに送られたストリームデータは、サイトＢに居るユーザＢの周囲に配されたスピーカーから再生される。この際、本実施形態による音響システムは、サイトＢにおいて、複数のマイク、イメージセンサ、および人感センサによりデータ収集を行い、収集したデータに基づいてユーザＢの位置を推定し、さらにユーザＢの周囲を音響閉曲面で囲う適切なスピーカー群を選出する。サイトＢに送られたストリームデータは、このように選出したスピーカー群から再生され、音響閉曲面内側のエリアが適切な音場として制御される。なお、本明細書において、ある対象物（例えばユーザ）を取り囲むような形で、近接する複数のスピーカーまたは複数のマイクの位置を繋いだ場合に形成される面を、概念的に「音響閉曲面」と称す。また、「音響閉曲面」は、必ずしも完全な閉曲面を構成するものではなく、おおよそ対象物（例えばユーザ）を取り囲むような形であればよい。
【００２８】
また、ここでの音場は、ユーザＢが自ら任意で選択できるようにしてもよい。例えば、本実施形態による音響システムは、ユーザＢが、サイトＡを音場に指定した場合、サイトＡの環境がサイトＢで再現される。具体的には、例えばリアルタイムに収音されるアンビエントとしての音情報や、予め取得されたサイトＡに関するメタ情報に基づいて、サイトＡの環境がサイトＢで再現される。
【００２９】
また、本実施形態による音響システムは、サイトＢにおいてユーザＢの周辺に配された複数のスピーカー２０Ｂを用いて、ユーザＡの音像を制御することも可能である。すなわち、本実施形態による音響システムは、アレイスピーカー（ビームフォーミング）を形成することで、ユーザＢの耳元や、音響閉曲面の外側にユーザＡの声（音像）を再現することも可能である。また、本実施形態による音響システムは、ユーザＡの移動経路や向きのメタデータを利用して、サイトＢにおいて、ユーザＡの実際の移動に合わせてユーザＡの音像をユーザＢの周囲で移動させてもよい。
【００３０】
以上、データ収集処理、オブジェクト分解処理、およびオブジェクト合成処理の各ステップに分けてサイトＡからサイトＢへの音声通信について概要を説明したが、サイトＢからサイトＡの音声通信においても当然に同様の処理が行われる。これにより、サイトＡおよびサイトＢで双方向の音声通信が可能となる。
【００３１】
以上、本開示の一実施形態における音響システム（情報処理システム）の概要について説明した。続いて、本実施形態による音響システムの構成について図２〜図５を参照して詳細に説明する。
【００３２】
＜２．基本構成＞
［２−１．システム構成］
図２は、本実施形態による音響システムの全体構成を示す図である。図２に示すように、音響システムは、信号処理装置１Ａ、信号処理装置１Ｂ、および管理サーバ３を有する。
【００３３】
信号処理装置１Ａおよび信号処理装置１Ｂは、有線／無線によりネットワーク５に接続し、ネットワーク５を介して互いにデータの送受信が可能である。また、ネットワーク５には管理サーバ３が接続され、信号処理装置１Ａおよび信号処理装置１Ｂは、管理サーバ３とデータの送受信を行うことも可能である。
【００３４】
信号処理装置１Ａは、サイトＡに配される複数のマイク１０Ａおよび複数のスピーカー２０Ａにより入出力される信号を処理する。また、信号処理装置１Ｂは、サイトＢに配される複数のマイク１０Ｂおよび複数のスピーカー２０Ｂにより入出力される信号を処理する。なお、信号処理装置１Ａ、１Ｂを区別して説明する必要がない場合は、信号処理装置１と称する。
【００３５】
管理サーバ３は、ユーザの認証処理や、ユーザの絶対位置（現在位置）を管理する機能を有する。さらに、管理サーバ３は、場所や建物の位置を示す情報（ＩＰアドレス等）を管理してもよい。
【００３６】
これにより、信号処理装置１は、ユーザにより指定された所定の対象（人物、場所、建物等）の接続先情報（ＩＰアドレス等）を管理サーバ３に問い合わせて取得することができる。
【００３７】
［２−２．信号処理装置］
次に、本実施形態による信号処理装置１の構成について詳細に説明する。図３は、本実施形態による信号処理装置１の構成を示すブロック図である。図３に示すように、本実施形態による信号処理装置１は、複数のマイク１０（アレイマイク）、アンプ・ＡＤＣ（アナログデジタルコンバータ）部１１、信号処理部１３、マイク位置情報ＤＢ（データベース）１５、ユーザ位置推定部１６、認識部１７、同定部１８、通信Ｉ／Ｆ（インターフェース）１９、スピーカー位置情報ＤＢ２１、ＤＡＣ（デジタルアナログコンバータ）・アンプ部２３、および複数のスピーカー２０（アレイスピーカー）を有する。以下、各構成について説明する。
【００３８】
（アレイマイク）
複数のマイク１０は、上述したように、あるエリア（サイト）の至る所に配置されている。例えば、屋外であれば、道路、電柱、街灯、家やビルの外壁等、屋内であれば、床、壁、天井等に配置される。また、複数のマイク１０は、周囲の音を収音し、アンプ・ＡＤＣ部１１に各々出力する。
【００３９】
（アンプ・ＡＤＣ部）
アンプ・ＡＤＣ部１１は、複数のマイク１０から各々出力された音波の増幅機能（ａｍｐｌｉｆｉｅｒ）、および音波（アナログデータ）をオーディオ信号（デジタルデータ）に変換する機能（Ａｎａｌｏｇ・ｔｏ・Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）を有する。アンプ・ＡＤＣ部１１は、変換した各オーディオ信号を信号処理部１３に出力する。
【００４０】
（信号処理部）
信号処理部１３は、マイク１０により収音され、アンプ・ＡＤＣ部１１を介して送られた各オーディオ信号や、ＤＡＣ・アンプ部２３を介してスピーカー２０から再生する各オーディオ信号を処理する機能を有する。また、本実施形態による信号処理部１３は、マイクアレイ処理部１３１、高Ｓ／Ｎ化処理部１３３、および音場再生信号処理部１３５として機能する。
【００４１】
・マイクアレイ処理部
マイクアレイ処理部１３１は、アンプ・ＡＤＣ部１１から出力された複数のオーディオ信号に対するマイクアレイ処理として、ユーザの音声にフォーカスするよう（収音位置がユーザの口元になるよう）指向性制御を行う。
【００４２】
この際、マイクアレイ処理部１３１は、ユーザ位置推定部１６により推定されたユーザの位置や、マイク位置情報ＤＢ１５に登録されている各マイク１０の位置に基づいて、ユーザの音声収音に最適な、ユーザを内包する音響閉曲面を形成するマイク群を選択してもよい。そして、マイクアレイ処理部１３１は、選択したマイク群により取得されたオーディオ信号に対して指向性制御を行う。また、マイクアレイ処理部１３１は、遅延和アレイ処理、Ｎｕｌｌ生成処理によりアレイマイクの超指向性を形成してもよい。
【００４３】
・高Ｓ／Ｎ化処理部
高Ｓ／Ｎ化処理部１３３は、アンプ・ＡＤＣ部１１から出力された複数のオーディオ信号に対して、明瞭度が高くＳ／Ｎ比がよいモノラル信号となるよう処理する機能を有する。具体的には、高Ｓ／Ｎ化処理部１３３は、音源を分離し、残響・ノイズ抑制を行う。
【００４４】
なお、高Ｓ／Ｎ化処理部１３３は、マイクアレイ処理部１３１の後段に設けられてもよい。また、高Ｓ／Ｎ化処理部１３３により処理されたオーディオ信号（ストリームデータ）は、認識部１７による音声認識に用いられたり、通信部Ｉ／Ｆ１９を介して外部に送信されたりする。
【００４５】
・音場再生信号処理部
音場再生信号処理部１３５は、複数のスピーカー２０から再生するオーディオ信号に関する信号処理を行い、ユーザの位置付近に音場が定位するよう制御する。具体的には、例えば音場再生信号処理部１３５は、ユーザ位置推定部１６により推定されたユーザの位置やスピーカー位置情報ＤＢ２１に登録されている各スピーカー２０の位置に基づいて、ユーザを内包する音響閉曲面を形成する最適なスピーカー群を選択する。そして、音場再生信号処理部１３５は、選択したスピーカー群に応じた複数のチャンネルの出力バッファに、信号処理したオーディオ信号を書き込む。
【００４６】
また、音場再生信号処理部１３５は、音響閉曲面の内側のエリアを適切な音場として制御する。音場の制御方法は、例えばキルヒホッフ・ヘルムホルツの積分則、またはレイリー積分則として知られるものであり、これを応用した波面合成法(ＷＦＳ：Ｗａｖｅ  Ｆｉｅｌｄ  Ｓｙｎｔｈｅｓｉｓ)等が一般的に知られている。また、音場再生信号処理部１３５は、特許第４６７４５０５号、および特許第４７３５１０８号等に記載の信号処理技術を応用してもよい。
【００４７】
なお、上述したマイクまたはスピーカーにより形成される音響閉曲面の形状は、ユーザを取り囲む立体的な形状であれば特に限定されず、例えば、図４に示すような楕円型の音響閉曲面４０−１、円柱型の音響閉曲面４０−２、または多角形型の音響閉曲面４０−３であってもよい。図４に示す例では、一例としてサイトＢにおいてユーザＢの周辺に配される複数のスピーカー２０Ｂ−１〜２０Ｂ−１２による音響閉曲面の形状を示すが、複数のマイク１０による音響閉曲面の形状についても同様である。
【００４８】
（マイク位置情報ＤＢ）
マイク位置情報ＤＢ１５は、サイトに配される複数のマイク１０の位置情報を記憶する記憶部である。複数のマイク１０の位置情報は、予め登録されていてもよい。
【００４９】
（ユーザ位置推定部）
ユーザ位置推定部１６は、ユーザの位置を推定する機能を有する。具体的には、ユーザ位置推定部１６は、複数のマイク１０から収音した音声の解析結果、イメージセンサにより撮像した撮像画像の解析結果、または人感センサによる検知結果に基づいて、複数のマイク１０または複数のスピーカー２０に対するユーザの相対位置を推定する。また、ユーザ位置推定部１６は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）情報を取得し、ユーザの絶対位置（現在位置情報）を推定してもよい。
【００５０】
（認識部）
認識部１７は、複数のマイク１０により収音され、信号処理部１３により処理されたオーディオ信号に基づいてユーザの音声を解析し、コマンドを認識する。例えば、認識部１７は、「Ｂさんと話したい」というユーザの音声を形態素解析し、ユーザに指定された所定の対象「Ｂ」および要求「話す」に基づき、発呼要求コマンドを認識する。
【００５１】
（同定部）
同定部１８は、認識部１７により認識された所定の対象を同定する機能を有する。具体的には、例えば同定部１８は、所定の対象に対応する音声や画像を取得するための接続先情報を決定してもよい。同定部１８は、例えば所定の対象を示す情報を通信部Ｉ／Ｆ１９から管理サーバ３に送信し、管理サーバ３から所定の対象に対応する接続先情報（ＩＰアドレス等）を取得してもよい。
【００５２】
（通信Ｉ／Ｆ）
通信Ｉ／Ｆ１９は、ネットワーク５を通じて他の信号処理装置や管理サーバ３との間でデータの送受信を行うための通信モジュールである。例えば、本実施形態による通信Ｉ／Ｆ１９は、管理サーバ３に対して所定の対象に対応する接続先情報の問い合わせを行ったり、接続先である他の信号処理装置に、マイク１０で収音して信号処理部１３で処理したオーディオ信号を送信したりする。
【００５３】
（スピーカー位置情報ＤＢ）
スピーカー位置情報ＤＢ２１は、サイトに配される複数のスピーカー２０の位置情報を記憶する記憶部である。複数のスピーカー２０の位置情報は、予め登録されていてもよい。
【００５４】
（ＤＡＣ・アンプ部）
ＤＡＣ・アンプ部２３は、複数のスピーカー２０から各々再生するための各チャンネルの出力バッファに書き込まれたオーディオ信号（デジタルデータ）を音波（アナログデータ）に変換する機能（Ｄｉｇｉｔａｌ・ｔｏ・Ａｎａｌｏｇ  Ｃｏｎｖｅｒｔｅｒ）を有する。さらに、ＤＡＣ・アンプ部２３は、複数のスピーカー２０から各々再生する音波を増幅する機能（ａｍｐｌｉｆｉｅｒ）を有する。
【００５５】
また、本実施形態によるＤＡＣ・アンプ部２３は、音場再生信号処理部１３５により処理されたオーディオ信号に対してＤＡ変換および増幅処理を行い、スピーカー２０に出力する。
【００５６】
（アレイスピーカー）
複数のスピーカー２０は、上述したように、あるエリア（サイト）の至る所に配置されている。例えば、屋外であれば、道路、電柱、街灯、家やビルの外壁等、屋内であれば、床、壁、天井等に配置される。また、複数のスピーカー２０は、ＤＡＣ・アンプ部２３から出力された音波（音声）を再生する。
【００５７】
以上、本実施形態による信号処理装置１の構成について詳細に説明した。続いて、本実施形態による管理サーバ３の構成について図５を参照して説明する。
【００５８】
［２−３．管理サーバ］
図５は、本実施形態による管理サーバ３の構成を示すブロック図である。図５に示すように、管理サーバ３は、管理部３２、検索部３３、ユーザ位置情報ＤＢ３５、および通信Ｉ／Ｆ３９を有する。以下、各構成について説明する。
【００５９】
（管理部）
管理部３２は、信号処理装置１から送信されたユーザＩＤ等に基づいて、ユーザが現在居る場所（サイト）に関する情報を管理する。例えば管理部３２は、ユーザＩＤに基づいてユーザを識別し、識別したユーザの氏名等に、送信元の信号処理装置１のＩＰアドレス等を接続先情報として対応付けてユーザ位置情報ＤＢ３５に記憶させる。なお、ユーザＩＤは、氏名、暗証番号、または生体情報等を含んでもよい。また、管理部３２は、送信されたユーザＩＤに基づいてユーザの認証処理を行ってもよい。
【００６０】
（ユーザ位置情報ＤＢ）
ユーザ位置情報ＤＢ３５は、管理部３２による管理に応じて、ユーザが現在居る場所に関する情報を記憶する記憶部である。具体的には、ユーザ位置情報ＤＢ３５は、ユーザのＩＤ、および接続先情報（ユーザが居るサイトに対応する信号処理装置のＩＰアドレス等）を対応付けて記憶する。また、各ユーザの現在位置情報は時々刻々と更新されてもよい。
【００６１】
（検索部）
検索部３３は、信号処理装置１からの接続先（発呼先）問い合わせに応じて、ユーザ位置情報ＤＢ３５を参照し、接続先情報を検索する。具体的には、検索部３３は、接続先問い合わせに含まれる対象ユーザの氏名等に基づいて、対応付けられた接続先情報をユーザ位置情報ＤＢ３５から検索して抽出する。
【００６２】
（通信Ｉ／Ｆ）
通信Ｉ／Ｆ３９は、ネットワーク５を通じて信号処理装置１との間でデータの送受信を行うための通信モジュールである。例えば、本実施形態による通信Ｉ／Ｆ３９は、信号処理装置１からユーザのＩＤを受信したり、接続先問い合わせを受信したりする。また、通信Ｉ／Ｆ３９は、接続先問い合わせに応じて、対象ユーザの接続先情報を送信する。
【００６３】
以上、本開示の一実施形態による音響システムの各構成について詳細に説明した。次に、本実施形態による音響システムの動作処理について図６〜図９を参照して詳細に説明する。
【００６４】
＜３．動作処理＞
［３−１．基本処理］
図６は、本実施形態による音響システムの基本処理を示すフローチャートである。図６に示すように、まず、ステップＳ１０３において、信号処理装置１ＡはサイトＡに居るユーザＡのＩＤを管理サーバ３に送信する。信号処理装置１Ａは、ユーザＡのＩＤを、ユーザＡが所有しているＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）等のタグから取得してもよいし、ユーザＡの音声から認識してもよい。また、信号処理装置１Ａは、ユーザＡの身体（顔、目、手等）から生体情報を読み取り、ＩＤとして取得してもよい。
【００６５】
一方、ステップＳ１０６において、信号処理装置１Ｂも同様にサイトＢに居るユーザＢのＩＤを管理サーバ３に送信する。
【００６６】
次に、ステップＳ１０９において、管理サーバ３は、各信号処理装置１から送信されたユーザＩＤに基づいてユーザを識別し、識別したユーザの氏名等に、送信元の信号処理装置１のＩＰアドレス等を接続先情報として対応付けて登録する。
【００６７】
次いで、ステップＳ１１２において、信号処理装置１Ｂは、サイトＢに居るユーザＢの位置を推定する。具体的には、信号処理装置１Ｂは、サイトＢに配された複数のマイクに対するユーザＢの相対位置を推定する。
【００６８】
次に、ステップＳ１１５において、信号処理装置１Ｂは、推定したユーザＢの相対位置に基づき、サイトＢに配された複数のマイクにより収音されたオーディオ信号に対して、ユーザＢの口元に収音位置がフォーカスするようマイクアレイ処理を行う。このように、信号処理装置１Ｂは、ユーザＢが何らかの発言を行う場合に備える。
【００６９】
一方、ステップＳ１１８において、信号処理装置１Ａも同様に、ユーザＡの口元に収音位置がフォーカスするようサイトＡに配された複数のマイクにより収音されたオーディオ信号に対してマイクアレイ処理を行い、ユーザＡが何らかの発言を行う場合に備える。そして、信号処理装置１Ａは、ユーザＡの音声（発言）に基づいてコマンドを認識する。ここでは、一例としてユーザＡが「Ｂさんと話したい」とつぶやいて、信号処理装置１Ａが「ユーザＢに対する発呼要求」コマンドとして認識した場合について説明を続ける。なお、本実施形態によるコマンド認識処理については、後述の［３−２．コマンド認識処理］において詳細に説明する。
【００７０】
次に、ステップＳ１２１において、信号処理装置１Ａは、接続先問い合わせを管理サーバ３に対して行う。上述したように、コマンドが「ユーザＢに対する発呼要求」であった場合、信号処理装置１Ａは、ユーザＢの接続先情報を問い合わせる。
【００７１】
次いで、ステップＳ１２５において、管理サーバ３は、信号処理装置１Ａからの接続先問い合わせに応じて、ユーザＢの接続先情報を検索し、続くステップＳ１２６において、検索結果を信号処理装置１Ａに送信する。
【００７２】
次に、ステップＳ１２７において、信号処理装置１Ａは、管理サーバ３から受信したユーザＢの接続先情報により接続先を同定（決定）する。
【００７３】
次いで、ステップＳ１２８において、信号処理装置１Ａは、同定したユーザＢの接続先情報、例えばユーザＢが現在居るサイトＢに対応する信号処理装置１ＢのＩＰアドレスに基づいて、信号処理装置１Ｂに対して発呼処理を行う。
【００７４】
次に、ステップＳ１３１において、信号処装置１Ｂは、ユーザＡからの呼び出しに応答するか否かをユーザＢに問うメッセージを出力する（呼び出し通知）。具体的には、例えば信号処理装置１Ｂは、ユーザＢの周辺に配されるスピーカーから当該メッセージを再生してもよい。また、信号処理装置１Ｂは、ユーザＢの周辺に配された複数のマイクから収音したユーザＢの音声に基づいて、呼び出し通知に対するユーザＢの回答を認識する。
【００７５】
次いで、ステップＳ１３４において、信号処理装置１Ｂは、ユーザＢの回答を信号処理装置１Ａに送信する。ここでは、ユーザＢがＯＫ回答を行い、ユーザＡ（信号処理装置１Ａ側）とユーザＢ（信号処理装置１Ｂ側）の双方向通信が開始される。
【００７６】
具体的には、ステップＳ１３７において、信号処理装置１Ａは、信号処理装置１Ｂとの通信を開始すべく、サイトＡにおいてユーザＡの音声を収音し、音声ストリーム（オーディオ信号）をサイトＢ（信号処理装置１Ｂ側）に送信する収音処理を行う。なお、本実施形態による収音処理については、後述の［３−３．収音処理］において詳細に説明する。
【００７７】
そして、ステップＳ１４０において、信号処理装置１Ｂは、ユーザＢの周辺に配された複数のスピーカーによりユーザＢを内包する音響閉曲面を形成し、信号処理装置１Ａから送信された音声ストリームに基づいて音場再生処理を行う。なお、本実施形態による音場再生処理については、後述の［３−４．音場再生処理］において詳細に説明する。
【００７８】
なお、上記ステップＳ１３７〜Ｓ１４０では、一例として一方向の通信を示したが、本実施形態は双方向通信が可能であるので、上記ステップＳ１３７〜Ｓ１４０とは逆に、信号処理装置１Ｂで収音処理、信号処理装置１Ａで音場再生処理を行ってもよい。
【００７９】
以上、本実施形態による音響システムの基本処理について説明した。これにより、ユーザＡは、携帯電話端末やスマートフォン等を所持する必要なく、「Ｂさんと話したい」とつぶやくだけで、周辺に配された複数のマイクおよび複数のスピーカーを利用して他の場所に居るユーザＢと通話を行うことができる。続いて、上記ステップＳ１１８に示したコマンド認識処理について図７を参照して詳細に説明する。
【００８０】
［３−２．コマンド認識処理］
図７は、本実施形態によるコマンド認識処理を示すフローチャートである。図７に示すように、まず、ステップＳ２０３において、信号処理装置１のユーザ位置推定部１６は、ユーザの位置を推定する。例えばユーザ位置推定部１６は、複数のマイク１０から収音した音、イメージセンサにより撮像した撮像画像、およびマイク位置情報ＤＢ１５に記憶されている各マイクの配置等に基づき、各マイクに対するユーザの相対的な位置、向き、および口の位置を推定してもよい。
【００８１】
次いで、ステップＳ２０６において、信号処理部１３は、推定したユーザの相対的な位置、向き、および口の位置に応じて、ユーザを内包する音響閉曲面を形成するマイク群を選出する。
【００８２】
次に、ステップＳ２０９において、信号処理部１３のマイクアレイ処理部１３１は、選出したマイク群から収音したオーディオ信号に対してマイクアレイ処理を行い、ユーザの口元にフォーカスするようマイクの指向性を制御する。これにより、信号処理装置１は、ユーザが何らかの発言を行う場合に備えることができる。
【００８３】
次いで、ステップＳ２１２において、高Ｓ／Ｎ化処理部１３３は、マイクアレイ処理部１３１により処理したオーディオ信号に対して、残響・ノイズ抑制等の処理を行い、Ｓ／Ｎ比を向上させる。
【００８４】
次に、ステップＳ２１５において、認識部１７は、高Ｓ／Ｎ化処理部１３３から出力されたオーディオ信号に基づいて、音声認識（音声解析）を行う。
【００８５】
そして、ステップＳ２１８において、認識部１７は、認識した音声（オーディオ信号）に基づいて、コマンド認識処理を行う。コマンド認識処理の具体的な内容については特に限定しないが、例えば認識部１７は、予め登録された（学習した）要求パターンと認識した音声を比較し、コマンドを認識してもよい。
【００８６】
上記ステップＳ２１８において、コマンドを認識できなかった場合（Ｓ２１８／Ｎｏ）、信号処理装置１は、ステップＳ２０３〜Ｓ２１５に示す処理を繰り返す。この際、Ｓ２０３およびＳ２０６も繰り返されるので、信号処理部１３は、ユーザの移動に応じてユーザを内包する音響閉曲面を形成するマイク群を更新することが可能である。
【００８７】
［３−３．収音処理］
次に、図６のステップＳ１３７に示す収音処理について、図８を参照して詳細に説明する。図８は、本実施形態による収音処理を示すフローチャートである。図８に示すように、まず、ステップＳ３０８において、信号処理部１３のマイクアレイ処理部１３１は、選出／更新した各マイクから収音したオーディオ信号に対してマイクアレイ処理を行い、ユーザの口元にフォーカスするようマイクの指向性を制御する。
【００８８】
次いで、ステップＳ３１２において、高Ｓ／Ｎ化処理部１３３は、マイクアレイ処理部１３１により処理したオーディオ信号に対して、残響・ノイズ抑制等の処理を行い、Ｓ／Ｎ比を向上させる。
【００８９】
そして、ステップＳ３１５において、通信Ｉ／Ｆ１９は、高Ｓ／Ｎ化処理部１３３から出力されたオーディオ信号を、上記ステップＳ１２６（図６参照）で同定した対象ユーザの接続先情報で示される接続先（例えば、信号処理装置１Ｂ）に送信する。これにより、ユーザＡがサイトＡで発した音声が、ユーザＡの周辺に配された複数のマイクにより収音され、サイトＢ側に送信される。
【００９０】
［３−４．音場再生処理］
次に、図６のステップＳ１４０に示す音場再生処理について、図９を参照して詳細に説明する。図９は、本実施形態による音場再生処理を示すフローチャートである。図９に示すように、まず、ステップＳ４０３において、信号処理装置１のユーザ位置推定部１６は、ユーザの位置を推定する。例えばユーザ位置推定部１６は、複数のマイク１０から収音した音、イメージセンサにより撮像した撮像画像、およびスピーカー位置情報ＤＢ２１に記憶されている各スピーカーの配置等に基づき、各スピーカー２０に対するユーザの相対的な位置、向き、および耳の位置を推定してもよい。
【００９１】
次いで、ステップＳ４０６において、信号処理部１３は、推定したユーザの相対的な位置、向き、および耳の位置に応じて、ユーザを内包する音響閉曲面を形成するスピーカー群を選出する。なお、上記Ｓ４０３およびＳ４０６を継続的に行うことで、信号処理部１３は、ユーザの移動に応じてユーザを内包する音響閉曲面を形成するスピーカー群を更新することが可能である。
【００９２】
次に、ステップＳ４０９において、通信Ｉ／Ｆ１９は、発呼元からオーディオ信号を受信する。
【００９３】
次いで、ステップＳ４１２において、信号処理部１３の音場再生信号処理部１３５は、選出／更新した各スピーカーから出力された際に最適な音場を形成するよう、受信したオーディオ信号に対して所定の信号処理を行う。
例えば、音場再生信号処理部１３５は、受信したオーディオ信号を、サイトＢの環境（ここでは、部屋の床、壁、および天井に配された複数のスピーカー２０の配置）に応じてレンダリングする。
【００９４】
そして、ステップＳ４１５において、信号処理装置１は、音場再生信号処理部１３５で処理されたオーディオ信号を、ＤＡＣ・アンプ部２３を介して、上記ステップＳ４０６で選出／更新されたスピーカー群から出力する。
【００９５】
これにより、サイトＡで収音されたユーザＡの音声が、サイトＢに居るユーザＢの周辺に配された複数のスピーカーから再生される。また、上記ステップＳ４１２において、サイトＢの環境に応じて受信したオーディオ信号をレンダリングする際に、音場再生信号処理部１３５は、サイトＡの音場を構築するよう信号処理を行ってもよい。
【００９６】
具体的には、音場再生信号処理部１３５は、リアルタイムに収音されるサイトＡのアンビエントとしての音や、サイトＡにおけるインパルス応答の測定データ（伝達関数）等に基づいて、サイトＢでサイトＡの音場を再現してもよい。これにより、例えば屋内のサイトＢに居るユーザＢは、屋外のサイトＡに居るユーザＡと同じ屋外に居るような音場感を得ることができ、より豊かな臨場感に浸ることができる。
【００９７】
また、音場再生信号処理部１３５は、ユーザＢの周辺に配されたスピーカー群を用いて、受信したオーディオ信号（ユーザＡの音声）の音像を制御することも可能である。例えば、複数のスピーカーによりアレイスピーカー（ビームフォーミング）を形成することで、音場再生信号処理部１３５は、ユーザＢの耳元でユーザＡの音声を再現したり、ユーザＢを内包する音響閉曲面の外側にユーザＡの音像を再現したりすることが可能である。
【００９８】
以上、本実施形態による音響システムの各動作処理について詳細に説明した。続いて、本実施形態の補足について説明する。
【００９９】
＜４．補足＞
［４−１．コマンド入力の変形例］
上記実施形態では、音声にてコマンドを入力していたが、本開示による音響システムのコマンド入力方法は音声入力に限定されず、他の入力方法であってもよい。以下、図１０を参照して他のコマンド入力方法について説明する。
【０１００】
図１０は、本実施形態による信号処理装置の他の構成例を示すブロック図である。図１０に示すように、信号処理装置１’は、図３に示す信号処理装置１の各構成に加えて、操作入力部２５、撮像部２６、および赤外線／熱センサ２７を有する。
【０１０１】
操作入力部２５は、ユーザの周辺に配される各スイッチ（不図示）に対するユーザ操作を検出する機能を有する。例えば、操作入力部２５は、ユーザにより発呼要求スイッチが押下されたことを検出し、検出結果を認識部１７に出力する。認識部１７は、発呼要求スイッチの押下に基づいて、発呼コマンドを認識する。なお、この場合、操作入力部２５は、発呼先の指定（対象ユーザの氏名等）も受け付けることが可能である。
【０１０２】
また、認識部１７は、ユーザの周辺に配される撮像部２６（イメージセンサ）により撮像された撮像画像や、赤外線／熱センサ２７による検知結果に基づいて、ユーザのジェスチャーを解析し、コマンドとして認識してもよい。例えば、ユーザが電話をかけるジェスチャーを行った場合、認識部１７は、発呼コマンドを認識する。また、この場合、認識部１７は、発呼先の指定（対象ユーザの氏名等）を、操作入力部２５から受け付けてもよいし、音声解析に基づいて判断してもよい。
【０１０３】
以上説明したように、本開示による音響システムのコマンド入力方法は音声入力に限定されず、例えばスイッチ押下、またはジェスチャー入力等であってもよい。
【０１０４】
［４−２．他のコマンド例］
上記実施形態では、所定の対象として人物が指定され、発呼要求（通話要求）をコマンドとして認識する場合について説明したが、本開示による音響システムのコマンドは発呼要求（通話要求）に限定されず、他のコマンドであってもよい。例えば、信号処理装置１の認識部１７は、所定の対象として指定された場所、建物、番組、曲等をユーザが居る空間で再現するコマンドを認識してもよい。
【０１０５】
例えば、図１１に示すように、ユーザが「ラジオを聞きたい」、「○○の△△という曲を聞きたい」、「何かニュースない？」、「今、ウィーンで開催されている音楽会を聴きたい」等と発呼要求以外の要求を発言した場合すると、周辺に配された複数のマイク１０により収音され、認識部１７によりコマンドとして認識される。
【０１０６】
そして、信号処理装置１は、認識部１７により認識された各コマンドに応じた処理を行う。例えば、信号処理装置１は、ユーザが指定する対象のラジオ、曲、ニュース、音楽祭等に対応するオーディオ信号を、所定のサーバから受信し、上述したように音場再生信号処理部１３５による信号処理を経て、ユーザの周囲に配されたスピーカー群から再生してもよい。なお、信号処理装置１が受信するオーディオ信号は、リアルタイムで収音されたものであってもよい。
【０１０７】
このように、ユーザはスマートフォンやリモートコントローラー等の端末装置を所持したり操作したりする必要なく、所望のサービスをその場で発言するだけで取得することができる。
【０１０８】
また、本実施形態による音場再生信号処理部１３５は、特に歌劇場のような広い空間で収音されたオーディオ信号を、ユーザを内包する小さな音響閉曲面を形成するスピーカー群から再生する場合に、広い空間の残響および音像定位を再現することが可能である。
【０１０９】
すなわち、収音環境（例えば歌劇場）で音響閉曲面を形成するマイク群の配置と、再現環境（例えばユーザの部屋）で音響閉曲面を形成するスピーカー群の配置が異なる場合であっても、音場再生信号処理部１３５は、所定の信号処理により、収音環境の音像定位・残響特性を再現環境で再現することが可能である。
【０１１０】
具体的には、例えば音場再生信号処理部１３５は、特許第４７７５４８７号で開示されている伝達関数を用いた信号処理を用いてもよい。特許第４７７５４８７号では、測定環境の音場に基づいて第一の伝達関数（インパルス応答の測定データ）を求め、さらに再現環境において第一の伝達関数に基づく演算処理を施された音声信号を再生することで、再現環境において測定環境の音場（例えば残響、音像定位）を再現している。
【０１１１】
これにより、音場再生信号処理部１３５は、図１２に示すように、小空間に居るユーザを内包する音響閉曲面４０が、大空間の音場４２に没入するような音像定位および残響効果を得ることができる音場を構築することが可能となる。なお、図１２に示す例では、ユーザが居る小空間（例えば部屋）に配されている複数のスピーカー２０のうち、適宜ユーザを内包する音響閉曲面４０を形成する複数のスピーカー２０が選出されている。また、再現対象の大空間（例えば歌劇場）には、図１２に示すように、複数のマイク１０が配され、当該複数のマイク１０から収音されたオーディオ信号が、伝達関数に基づく演算処理を施され、選出された複数のスピーカー２０から再生される。
【０１１２】
［４−３．映像構築］
さらに、本実施形態による信号処理装置１は、上記実施形態において説明した他の空間の音場構築（音場再生処理）の他、併せて他の空間の映像構築を行うこともできる。
【０１１３】
例えば、ユーザが「現在行われている○○のサッカーの試合を見たい」とコマンド入力した場合、信号処理装置１は、対象の試合会場で収音されたオーディオ信号および映像を所定のサーバから受信し、ユーザが居る部屋で再生してもよい。
【０１１４】
映像の再生は、例えばホログラム再生による空間投影であってもよいし、部屋にあるテレビジョン、ディスプレイ、ユーザが装着するヘッドマウントディスプレイで再生してもよい。このように、音場構築と併せて映像構築も行うことで、ユーザは、試合会場への没入感を得ることができ、より臨場感に浸ることができる。
【０１１５】
なお、対象の試合場で没入する位置（収音・撮像位置）は、ユーザが任意に選択、移動させることも可能である。これにより、ユーザは、所定の観客席に留まらず、試合会場の中や、特定の選手を追うような臨場感に浸ることができる。
【０１１６】
［４−４．他のシステム構成例］
図１〜図２を参照して説明した上記実施形態による音響システムのシステム構成は、発呼側（サイトＡ）および着呼側（サイトＢ）の両者とも、ユーザの周辺に複数のマイクやスピーカーが配され、信号処理装置１Ａ、１Ｂにより信号処理されている。しかし、本実施形態による音響システムのシステム構成は図１〜図２に示す構成に限定されず、例えば図１３に示すような構成であってもよい。
【０１１７】
図１３は、本実施形態による音響システムの他のシステム構成を示す図である。図１３に示すように、本実施形態による音響システムは、信号処理装置１、通信端末７、および管理サーバ３が、ネットワーク５を介して接続している。
【０１１８】
通信端末７は、携帯電話端末やスマートフォンといった通常の単数のマイクおよび単数のスピーカーを有し、本実施形態による複数のマイクおよび複数のスピーカーが配される高機能なインターフェース空間に対して、レガシーなインターフェースである。
【０１１９】
本実施形態による信号処理装置１は、通常の通信端末７と接続し、通信端末７から受信した音声をユーザの周辺に配される複数のスピーカーから再生することができる。また、本実施形態による信号処理装置１は、ユーザの周辺に配される複数のマイクから収音したユーザの音声を、通信端末７に送信することができる。
【０１２０】
以上説明したように、本実施形態による音響システムによれば、周辺に複数のマイクおよび複数のスピーカーが配された空間に居る第１のユーザと、通常の通信端末７を所持する第２のユーザとの通話を実現することができる。すなわち、本実施形態による音響システムの構成は、発呼側および着呼側の一方が、本実施形態による複数のマイクおよび複数のスピーカーが配される高機能なインターフェース空間であってもよい。
【０１２１】
＜５．まとめ＞
上述したように、本実施形態による音響システムでは、ユーザ周辺の空間を他の空間と相互連携させることが可能となる。具体的には、本実施形態による音響システムは、所定対象（人物、場所、建物等）に対応する音声や画像をユーザの周囲に配された複数のスピーカーやディスプレイから再生し、また、ユーザの音声をユーザの周囲に配された複数のマイクで収音して所定対象の周囲で再生することができる。このように、屋内や屋外の至る所に配されるマイクロフォン１０、スピーカー２０、イメージセンサ等を用いて、実質的にユーザの口、目、耳等の身体を広範囲に拡張させることが可能となり、新たなコミュニケーション方法を実現することができる。
【０１２２】
さらに、本実施形態による音響システムでは、至る所にマイクロフォンやイメージセンサ等が配されているので、ユーザはスマートフォンや携帯電話端末を所有する必要がなく、声やジェスチャーで所定対象を指示し、所定対象周辺の空間と接続させることができる。
【０１２３】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２４】
例えば、信号処理装置１の構成は図３に示す構成に限定されず、例えば図３に示す認識部１７および同定部１８が、信号処理装置１ではなくネットワークを介して接続するサーバ側に設けられる構成であってもよい。この場合、信号処理装置１は、信号処理部１３から出力されるオーディオ信号を通信Ｉ／Ｆ１９を介してサーバに送信する。また、サーバは、受信したオーディオ信号に基づいて、コマンド認識や、所定の対象（人物、場所、建物、番組、曲等）を同定する処理を行い、認識結果および同定された所定の対象に対応する接続先情報を信号処理装置１に送信する。
【０１２５】
なお、本技術は以下のような構成も取ることができる。
（１）
特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、
前記認識部により認識された前記所定の対象を同定する同定部と、
前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、
前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記所定の対象の周辺のセンサから取得した信号を処理する信号処理部と、
を備える、情報処理システム。
（２）
前記信号処理部は、前記所定の対象の周辺に配される複数のセンサから取得した信号を処理する、前記（１）に記載の情報処理システム。
（３）
前記特定ユーザの周辺に配される複数のセンサは、マイクロフォンであって、
前記認識部は、前記マイクロフォンにより検知されたオーディオ信号に基づいて、前記所定の対象を認識する、前記（１）または（２）に記載の情報処理システム。
（４）
前記認識部は、前記特定ユーザの周辺に配されるセンサにより検知された信号に基づいて、前記所定の対象に対する要求をさらに認識する、前記（１）〜（３）のいずれか１項に記載の情報処理システム。
（５）
前記特定ユーザの周辺に配されるセンサは、マイクロフォンであって、
前記認識部は、前記マイクロフォンにより検知されたオーディオ信号に基づいて、前記所定の対象に対する発呼要求を認識する、前記（４）に記載の情報処理システム。
（６）
前記特定ユーザの周辺に配されるセンサは、圧力センサであって、
前記認識部は、前記圧力センサにより特定のスイッチの押圧が検知された場合、前記所定の対象に対する発呼要求を認識する、前記（４）に記載の情報処理システム。
（７）
前記特定ユーザの周辺に配されるセンサは、撮像センサであって、
前記認識部は、前記撮像センサにより取得された撮像画像に基づいて、前記所定の対象に対する発呼要求を認識する、前記（４）に記載の情報処理システム。
（８）
前記所定の対象の周辺のセンサは、マイクロフォンであって、
前記特定ユーザの周辺に配される複数のアクチュエータは、複数のスピーカーであって、
前記信号処理部は、前記複数のスピーカーから出力された際に前記特定ユーザの位置付近に音場を形成するよう、前記複数のスピーカーの各位置および推定された前記特定ユーザの位置に基づいて、前記所定の対象の周辺の前記マイクロフォンにより収音されたオーディオ信号を処理する、前記（１）〜（７）のいずれか１項に記載の情報処理システム。
（９）
特定ユーザの周辺のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、
前記認識部により認識された前記所定の対象を同定する同定部と、
前記同定部により同定された前記所定の対象の周辺に配される複数のセンサから取得された信号に基づき、前記特定ユーザの周辺のアクチュエータから出力する信号を生成する信号処理部と、
を備える、情報処理システム。
（１０）
コンピュータを、
特定ユーザの周辺に配される複数のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、
前記認識部により認識された前記所定の対象を同定する同定部と、
前記複数のセンサのいずれかにより検知された信号に応じて、前記特定ユーザの位置を推定する推定部と、
前記特定ユーザの周辺に配される複数のアクチュエータから出力される際に、前記推定部により推定された前記特定ユーザの位置付近に定位するよう、前記同定部により同定された前記所定の対象の周辺のセンサから取得した信号を処理する信号処理部と、
として機能させるための、プログラム。
（１１）
コンピュータを、
特定ユーザの周辺のセンサにより検知された信号に基づいて、所定の対象を認識する認識部と、
前記認識部により認識された前記所定の対象を同定する同定部と、
前記同定部により同定された前記所定の対象の周辺に配される複数のセンサから取得された信号に基づき、前記特定ユーザの周辺のアクチュエータから出力する信号を生成する信号処理部と、
として機能させるための、プログラム。
【符号の説明】
【０１２６】
１、１’、１Ａ、１Ｂ    信号処理装置
３    管理サーバ
５    ネットワーク
７    通信端末
１０、１０Ａ、１０Ｂ    マイクロフォン（マイク）
１１    アンプ・ＡＤＣ（アナログデジタルコンバータ）部
１３    信号処理部
１５    マイク位置情報ＤＢ（データベース）
１６    ユーザ位置推定部
１７    認識部
１８    同定部
１９  通信Ｉ／Ｆ（インターフェース）
２０、２０Ａ、２０Ｂ    スピーカー
２３    ＤＡＣ（デジタルアナログコンバータ）・アンプ部
２５    操作入力部
２６  撮像部（イメージセンサ）
２７    赤外線／熱センサ
３２    管理部
３３    検索部
４０、４０−１、４０−２、４０−３    音響閉曲面
４２    音場
１３１    マイクアレイ処理部
１３３    高Ｓ／Ｎ化処理部
１３５    音場再生信号処理部
【図１】
2014010290.tif 000003
【図２】
2014010290.tif 000004
【図３】
2014010290.tif 000005
【図４】
2014010290.tif 000006
【図５】
2014010290.tif 000007
【図６】
2014010290.tif 000008
【図７】
2014010290.tif 000009
【図８】
2014010290.tif 000010
【図９】
2014010290.tif 000011
【図１０】
2014010290.tif 000012
【図１１】
2014010290.tif 000013
【図１２】
2014010290.tif 000014
【図１３】
2014010290.tif 000015
【国際調査報告】
2014010290.tif 000016
2014010290.tif 000017