(57)【要約】【課題】集音部の数の低減と、音源の方向の推定における分解能の向上とを両立する。【解決手段】位置及び向きのうち少なくともいずれかを示す位置情報が変化する集音部による、１以上の音源それぞれからの音響の集音結果を取得する取得部と、前記集音部の前記位置情報の変化に伴う、当該集音部に集音される音響の周波数変化に基づき、前記１以上の音源それぞれの方向を推定する推定部と、を備える、情報処理装置。【選択図】図１
2017086030.tif 000002
【特許請求の範囲】
【請求項１】
位置及び向きのうち少なくともいずれかを示す位置情報が変化する集音部による、１以上の音源それぞれからの音響の集音結果を取得する取得部と、
前記集音部の前記位置情報の変化に伴う、当該集音部に集音される音響の周波数変化に基づき、前記１以上の音源それぞれの方向を推定する推定部と、
を備える、情報処理装置。
【請求項２】
前記集音部は、前記位置情報が所定のパターンで変化する、請求項１に記載の情報処理装置。
【請求項３】
前記集音部の前記位置情報を前記所定のパターンで変化させる駆動部の動作を制御する駆動制御部を備える、請求項２に記載の情報処理装置。
【請求項４】
前記駆動制御部は、前記集音部の前記位置情報が、略円形状の所定の軌道に沿って変化するように前記駆動部の動作を制御する、請求項３に記載の情報処理装置。
【請求項５】
前記推定部は、前記集音部により集音される音響のスペクトルの時間方向の変化と当該スペクトルの周波数方向の変化との比と、前記集音部の前記位置情報の変化と、に基づき、前記１以上の音源それぞれの方向を推定する、請求項１に記載の情報処理装置。
【請求項６】
前記１以上の音源それぞれの方向の推定結果に基づき、少なくともいずれかの方向から到来し集音される音響の振幅を制御する、音響制御部を備える、請求項１に記載の情報処理装置。
【請求項７】
前記取得部は、複数の前記集音部それぞれによる音響の集音結果を取得し、
前記推定部は、複数の前記集音部それぞれの移動に伴う、当該複数の集音部それぞれにより集音される音響の前記周波数変化に基づき、前記１以上の音源それぞれの方向を推定する、
請求項１に記載の情報処理装置。
【請求項８】
前記集音部は、前記位置情報が所定の移動体に対して相対的に前記所定のパターンで変化するように、当該移動体に支持され、
前記推定部は、前記所定の移動体の位置及び向きのうち少なくともいずれかの変化と、当該所定の移動体に対する前記集音部の相対的な前記位置情報の変化と、に伴う、前記音響の前記周波数変化に基づき、前記１以上の音源それぞれの方向を推定する、
請求項１に記載の情報処理装置。
【請求項９】
前記所定の移動体は、車両である、請求項８に記載の情報処理装置。
【請求項１０】
前記集音部は、所定の駆動体に対して保持され、当該駆動体が駆動することで、前記位置情報が前記所定のパターンで変化する、請求項１に記載の情報処理装置。
【請求項１１】
前記駆動体は、回転体であり、
前記集音部は、前記回転体が回転することで、前記位置情報が略円形状の所定の軌道に沿って変化する、
請求項１０に記載の情報処理装置。
【請求項１２】
前記回転体は、所定の天井面または壁面に設置されるファンの回転翼である、請求項１１に記載の情報処理装置。
【請求項１３】
前記音源は、音響を発する他の移動体であり、
前記推定部は、前記他の移動体の方向を、前記集音部により集音される音響の前記周波数変化に基づき推定する、請求項１に記載の情報処理装置。
【請求項１４】
前記推定部は、取得された前記他の移動体の位置の推定結果を、前記集音部により集音される音響の前記周波数変化に基づく当該他の移動体の方向の推定結果に基づき補正する、請求項１３に記載の情報処理装置。
【請求項１５】
前記取得部は、撮像部により撮像された画像を取得し、
前記推定部は、取得された前記画像の解析結果と、前記集音部により集音される音響の前記周波数変化と、に基づき、前記１以上の音源それぞれの方向を推定する、請求項１に記載の情報処理装置。
【請求項１６】
位置及び向きのうち少なくともいずれかを示す位置情報が変化する集音部による、１以上の音源それぞれからの音響の集音結果を取得することと、
プロセッサが、前記集音部の前記位置情報の変化に伴う、当該集音部に集音される音響の周波数変化に基づき、前記１以上の音源それぞれの方向を推定することと、
を含む、情報処理方法。
【請求項１７】
コンピュータに、
位置及び向きのうち少なくともいずれかを示す位置情報が変化する集音部による、１以上の音源それぞれからの音響の集音結果を取得することと、
前記集音部の前記位置情報の変化に伴う、当該集音部に集音される音響の周波数変化に基づき、前記１以上の音源それぞれの方向を推定することと、
を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年では、所謂音声認識技術や音響解析技術の発展に伴い、ユーザから発話された音声や、周囲に存在する音源からの音響を入力情報として利用することで、状態や状況を認識し、認識結果に応じて処理を実行することが可能な情報処理装置が各種提案されている。このような情報処理装置の中には、音声や音響の集音結果に基づき当該音響の到来方向（即ち、音源の方向）を推定し、推定結果を、雑音の抑圧や目的音の認識精度の向上等のような各種処理にフィードバックすることが可能なものも提案されている。例えば、特許文献１には、複数のマイクロフォン（以降では、「集音部」とも称する）それぞれの集音結果に基づき、音響の到来方向を推定する技術の一例が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−６１４２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
音響の到来方向を推定する仕組みの一例として、特許文献１に開示された技術のように、複数の集音部それぞれによる集音結果を利用する技術が挙げられる。このような技術では、音響の到来方向の推定に係る分解能やビームフォーミングのメインローブの幅は、集音部の間隔や数に依存し、より広い周波数帯域でより高い分解能を得るためには、高密度に多数設置された集音部を要する場合がある。【０００５】
一方で、集音部の数の増加は、集音部自体のコスト、配線コスト、メンテナンスコスト、及び、集音部間の特性のばらつきへの対策等の各種コストが増加する場合がある。また、集音部の数の増加に伴い、装置自体の重量が増加する場合もある。【０００６】
そこで、本開示では、集音部の数の低減と、音源の方向の推定における分解能の向上とを両立することが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、位置及び向きのうち少なくともいずれかを示す位置情報が変化する集音部による、１以上の音源それぞれからの音響の集音結果を取得する取得部と、前記集音部の前記位置情報の変化に伴う、当該集音部に集音される音響の周波数変化に基づき、前記１以上の音源それぞれの方向を推定する推定部と、を備える、情報処理装置が提供される。【０００８】
また、本開示によれば、位置及び向きのうち少なくともいずれかを示す位置情報が変化する集音部による、１以上の音源それぞれからの音響の集音結果を取得することと、プロセッサが、前記集音部の前記位置情報の変化に伴う、当該集音部に集音される音響の周波数変化に基づき、前記１以上の音源それぞれの方向を推定することと、を含む、情報処理方法が提供される。【０００９】
また、本開示によれば、コンピュータに、
位置及び向きのうち少なくともいずれかを示す位置情報が変化する集音部による、１以上の音源それぞれからの音響の集音結果を取得することと、前記集音部の前記位置情報の変化に伴う、当該集音部に集音される音響の周波数変化に基づき、前記１以上の音源それぞれの方向を推定することと、を実行させる、プログラムが提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、集音部の数の低減と、音源の方向の推定における分解能の向上とを両立することが可能な、情報処理装置、情報処理方法、及びプログラムが提供される。【００１１】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施形態に係る情報処理システムの概略的なシステム構成の一例を示している。
【図２】同実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。
【図３】集音部が円運動する場合における、集音部と音響との間の空間的な位置関係の一例を模式的に示した図である。
【図４】互いに異なる位置に存在する複数の音源それぞれから到来する音響の観測結果の一例を示している。
【図５】２つの音源が互いに異なる方向に位置する場合における、各音源から到来する音響のスペクトルの一例を示している。
【図６】図５に示したスペクトルに基づく、音響の到来方向の推定結果をヒストグラムとして表したグラフの一例である。
【図７】音源の位置が集音部に近い場合における、集音部と当該音源との間の空間的な位置関係の一例を模式的に示した図である。
【図８】近接音源から到来する音響の観測結果の一例を示している。
【図９】ドップラー効果による変調時の位相差を算出する方法の一例について説明するための説明図である。
【図１０】ドップラー効果による変調時の位相差を算出する方法の一例について説明するための説明図である。
【図１１】変形例１に係る情報処理システムの概要について説明するための説明図である。
【図１２】複数の集音部による音響の観測結果の一例を示している。
【図１３】複数の集音部それぞれの集音結果に基づき算出される振幅スペクトルの一例を示している。
【図１４】複数の集音部それぞれの集音結果に基づき算出される振幅スペクトルの他の一例を示している。
【図１５】変形例３に係る情報処理システムの概要について説明するための説明図である。
【図１６】集音ユニットが設置された移動体の速度及び加速度の検出結果の一例を示している。
【図１７】変形例４に係る情報処理システムの概要について説明するための説明図である。
【図１８】同実施形態に係る情報処理装置のハードウェア構成の一例を示した図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
なお、説明は以下の順序で行うものとする。
１．構成
１．１．システム構成
１．２．機能構成
２．技術的特徴
２．１．基本的な原理
２．２．集音部が円運動を行い、音源から到来する音響が平面波とみなせる場合
２．３．音源から音響と集音部の軌道とを一般化した場合
２．４．音源から観測点に近い場合
２．５．音源分離、ビームフォーミングへの応用
３．変形例
３．１．変形例１：複数の集音部を利用する場合の例
３．２．変形例２：他の方向推定技術との組み合わせ
３．３．変形例３：観測点が移動する場合の一例
３．４．変形例４：屋内における適用例
４．ハードウェア構成
５．むすび
【００１５】
＜＜１．構成＞＞
＜１．１．システム構成＞
まず、本開示の一実施形態に係る情報処理システムの概要について説明する。例えば、図１は、本実施形態に係る情報処理システムの概略的なシステム構成の一例を示している。なお、図１に示す例では、水平面上の互いに直交する方向をｘ方向及びｙ方向とし、鉛直方向をｚ方向として説明する。
【００１６】
図１に示すように、本実施形態に係る情報処理システム１は、情報処理装置１０と、集音ユニット３０とを含む。また、集音ユニット３０は、集音部３０１と、支持部３０３、駆動部３０５とを含む。支持部３０３は、一部が駆動部３０５に連結されており、駆動部３０５が駆動することで、軌道Ｌ１（円軌道）に沿って回転する。また、集音部３０１は、支持部３０３により支持されている。このような構成に基づき、駆動部３０５が駆動することにより支持部３０３が回転することで、集音部３０１は、軌道Ｌ１に沿って移動することとなる（即ち、集音部３０１の位置や向きが軌道Ｌ１に沿って変化する）。
【００１７】
集音部３０１は、所謂マイクロフォンのような集音デバイスにより構成される。また、集音部３０１は、例えば、マイクロフォンアレイのように、複数の集音デバイスを含んでもよい。集音部３０１は、周囲から到来する音響を集音し、集音結果に基づく音響信号を情報処理装置１０に出力する。例えば、図１に示す例の場合には、ユーザＵ１１及びＵ１２が発話した音声が集音部３０１により集音され、当該音声の集音結果に基づく音響信号が情報処理装置１０に出力される。
【００１８】
情報処理装置１０は、集音部３０１から音声や音響（以降では、総じて「音響」と称する場合がある）の集音結果に基づく音響信号を取得し、取得した音響信号の変化に基づき、集音ユニット３０に対する当該音響の音源の方向（即ち、音響の到来方向）を推定する。より具体的には、情報処理装置１０は、集音部３０１を所定の軌道（例えば、２次元または３次元的な軌道）に沿って移動させたときに、音響の集音結果に基づく音響信号の周波数がドップラー効果により変化する特性を利用することで、集音ユニット３０に対する当該音響の音源の方向を推定する。
【００１９】
具体的な一例として、図１に示す例では、集音部３０１は、水平面（即ち、ｘｙ平面）上において、２次元的な軌道Ｌ１（即ち、円軌道）に沿って移動する。このとき、集音部３０１とユーザＵ１１との間の位置関係に着目すると、集音部３０１が軌道Ｌ１に沿って移動することで、集音部３０１とユーザＵ１１との間の相対的な位置関係が変化し、集音部３０１とユーザＵ１１との間の距離が変化する。これにより、例えば、ユーザＵ１１により発話された音声の集音部３０１による集音結果に基づく音響信号は、ドップラー効果により周波数が変化することとなる。このとき、情報処理装置１０は、例えば、集音部３３０１の位置の変化を直接的または間接的に認識し、当該集音部３０１の位置の変化と、当該集音部３０１による集音結果に基づく音響信号の変化とに基づき、集音ユニット３０に対する音源（即ち、ユーザＵ１１）の方向を推定する。これは、ユーザＵ１２の場合についても同様である。
【００２０】
また、情報処理装置１０は、集音ユニット３０の動作を制御してもよい。具体的には、情報処理装置１０は、駆動部３０５の動作を制御することで、集音部３０１を所望の速度で所定の軌道（例えば、軌道Ｌ１）に沿って移動させてもよい。これにより、情報処理装置１０は、駆動部３０５の駆動に伴う集音部３０１の位置や向きの変化を認識することが可能となる。
【００２１】
また、集音ユニット３０の制御主体は、必ずしも情報処理装置１０である必要はない。この場合には、情報処理装置１０は、例えば、駆動部３０５の駆動状態を示す情報を集音ユニット３０から取得することで、駆動部３０５の駆動に伴う集音部３０１の位置や向きの変化を認識すればよい。なお、以降の説明では、情報処理装置１０が、集音ユニット３０（特に、駆動部３０５）の動作を制御するものとして説明する。
【００２２】
以上、図１を参照して、本実施形態に係る情報処理システムの概要について説明した。
【００２３】
＜１．２．機能構成＞
次いで、図２を参照して、本実施形態に係る情報処理システム１の機能構成の一例について、特に、情報処理装置１０の機能構成に着目して説明する。図２は、本実施形態に係る情報処理システム１の機能構成の一例を示したブロック図である。
【００２４】
図２に示すように、情報処理装置１０は、解析部１０１と、駆動制御部１０３と、処理実行部１０５と、記憶部１０７とを含む。
【００２５】
駆動制御部１０３は、駆動部３０５の動作を制御する。また、駆動制御部１０３は、駆動部３０５の制御結果を示す情報を後述する解析部１０１に出力する。これにより、解析部１０１は、駆動部３０５の制御結果を認識し、ひいては、当該駆動部３０５の駆動に伴う集音部３０１の動き（即ち、位置及び向きの変化）を認識することが可能となる。
【００２６】
解析部１０１は、集音部３０１から音響の集音結果に基づく音響信号を取得する。また、解析部１０１は、駆動制御部１０３から、駆動部３０５の制御結果を示す情報を取得する。解析部１０１は、駆動部３０５の制御結果を示す情報に基づき、集音部３０１の移動方向、向きの変化、及び移動速度等のような、集音部３０１の動き（即ち、位置及び向きの変化）を認識する。そして、解析部１０１は、認識した集音部３０１の動きと、当該集音部３０１から取得した音響信号の変化（即ち、ドップラー効果による周波数の変化）とに基づき、集音ユニット３０に対する音源の方向（即ち、音響の到来方向）を推定する。そして、解析部１０１は、音源の方向の推定結果を示す情報を、後述する処理実行部１０５に出力する。なお、解析部１０１による、音源の方向の推定に係る処理の詳細については、「３．技術的特徴」として別途後述する。また、解析部１０１が、「推定部」の一例に相当する。
【００２７】
記憶部１０７は、情報処理装置１０が各種機能を実行するための各種データを、一時的または恒常的に記憶するための記憶領域である。例えば、記憶部１０７には、後述する処理実行部１０５が、各種機能（例えば、アプリケーション）を実行するためのデータ（例えば、ライブラリ）や、当該機能を実行するための制御情報（例えば、設定情報等）が記憶されていてもよい。
【００２８】
処理実行部１０５は、情報処理装置１０が提供する各種機能（例えば、アプリケーション）を実行するための構成である。処理実行部１０５は、解析部１０１から、音源の方向の推定結果を示す情報を取得し、当該音源の方向の推定結果に基づき、各種機能を実行してもよい。
【００２９】
具体的な一例として、処理実行部１０５は、音源の方向の推定結果に基づき、当該音源の方向から到来する音響（即ち、当該音源からの音響）を強調してもよい。また、他の一例として、処理実行部１０５は、音源の方向の推定結果に基づき、他の方向から到来する音響（即ち、雑音）を抑圧してもよい。この場合には、例えば、処理実行部１０５は、取得した音響信号に対して、方向に応じてゲイン値を乗算することにより、所望の方向から到来する音響を強調または抑圧すればよい。なお、処理実行部１０５が、「音響制御部」の一例に相当する。
【００３０】
また、処理実行部１０５は、音源の方向の推定結果に基づき、他の構成の動作を制御してもよい。具体的な一例として、処理実行部１０５は、指向性を制御可能に構成されたスピーカーやマイクロフォン等のようなデバイス（所謂、指向性デバイス）の当該指向性を、音源の方向の推定結果に基づき制御してもよい。より具体的な一例として、処理実行部１０５は、ユーザの音声が集音された場合に、音源（即ち、当該ユーザ）の方向の推定結果に基づき、指向性スピーカーの指向性が当該ユーザの方向に向くように制御してもよい。
【００３１】
なお、図２を参照して説明した情報処理システム１の機能構成はあくまで一例であり、必ずしも同構成には限定されない。具体的な一例として、集音ユニット３０と情報処理装置１０とが一体的に構成されていてもよい。また、情報処理装置１０の各構成のうち、一部の構成が、情報処理装置１０とは異なる外部装置（例えば、サーバ等）に設けられていてもよい。また、情報処理装置１０が提供する機能に応じて、図２に示した各種構成とは異なる他の構成が設けられていてもよい。具体的な一例として、処理実行部１０５の非制御対象となる指向性デバイス（例えば、スピーカーやマイクロフォン等）が別途設けられていてもよい。
【００３２】
以上、図２を参照して、本実施形態に係る情報処理システム１の機能構成の一例について、特に、情報処理装置１０の機能構成に着目して説明した。
【００３３】
＜＜２．技術的特徴＞＞
次に、本実施形態の技術的特徴として、特に、情報処理装置１０（特に、解析部１０１）による音源の方向の推定に係る処理の詳細について説明する。
【００３４】
＜２．１．基本的な原理＞
前述したように、本実施形態に係る情報処理システム１は、集音部を所定の軌道（例えば、２次元または３次元的な軌道）に沿って位置や向きを変化させたときに、音響の集音結果に基づく音響信号がドップラー効果により変化する特性を利用することで、音源の方向（音響の到来方向）を推定する。この音源の方向の推定にあたり、本実施形態に係る情報処理システム１は、以下の点を仮定する。
（１）集音部の移動速度は既知または観測可能である。
（２）方向の推定の対象となる音源から到来する音響は、定常性及びトーン性を仮定することが可能な区間を含む。
（３）集音部から見た音源の移動速度は、少なくとも、当該集音部が所定の軌道に沿って移動する速度と比較して十分に小さい。
（４）集音部から見た音源の速度変化は、少なくとも、当該集音部が所定の軌道に沿って移動する速度と比較して十分にゆるやかである。
【００３５】
仮定（１）については、例えば、情報処理装置１０が、あらかじめ決められた軌道に沿って集音部３０１が移動するように制御することで実現可能である。また、他の一例として、情報処理装置１０が、各種センサ等の検知結果に基づき、集音部３０１の移動速度を算出することでも実現することが可能である。
【００３６】
仮定（２）は、少なくともスペクトルグラムの観測区間において、時間的に音の性質が急激に変化することがなく（定常性）、所謂長波構造を有する（トーン性）音響を対象としていることを意味する。なお、仮定（２）については、例えば、音声や楽曲、動物の鳴き声、サイレン等のようにトーン性を有する音響に広く適用可能である。
【００３７】
仮定（３）及び（４）については、集音部３０１の移動速度に応じてその程度が変わるが、集音部３０１から音源が十分に離れている場合（換言すると、音源から到来する音響を平面波とみなせる場合）については適用可能である。また、集音部３０１に対して音源の位置が近い場合においても、集音部３０１の移動速度に対して音源の緯度速度が十分に遅い場合（静止している場合も含む）については適用可能である。
【００３８】
また、前述したように、本実施形態に係る情報処理装置１０は、集音部３０１が移動することにより生ずるドップラー効果を、音源の方向の推定に利用する。具体的には、集音部３０１が音源に対して近づく場合には、当該音源からの音響の集音結果は、当該音響に比べてピッチが高く観測される（即ち、波長が短くなる）。これに対して、集音部３０１が音源から遠ざかる場合には、当該音源からの音響の集音結果は、当該音響に比べてピッチが低く観測される（即ち、波長が長くなる）。
【００３９】
前述した仮定（２）により、音源から到来する音響には定常とみなせる区間があり、その区間での音高（ピッチ）の変化は、仮定（３）及び（４）より、集音部３０１の移動速度の変化と、当該音響の到来方向とに依存する。なお、仮定（１）により、集音部３０１の移動速度の変化は既知であるため、情報処理装置１０は、音響の集音結果に基づく音響信号の音高の変化に基づき、当該音響の到来方向（即ち、音源の方向）を推定することが可能となる。なお、以降では、具合的な例を挙げて、さらに詳しく説明する。
【００４０】
＜２．２．集音部が円運動を行い、音源から到来する音響が平面波とみなせる場合＞
まず、図３及び図４を参照して、音源が集音部３０１から十分に離れており、当該音源から到来する音響が平面波とみなせ、かつ、集音部３０１が円状の軌道を等速度で移動する場合に着目して、音源の方向を推定する方法の一例について説明する。
【００４１】
例えば、図３は、集音部３０１が円運動する場合における、集音部３０１と音響との間の空間的な位置関係の一例を模式的に示した図である。なお、本説明では、図３に示すように、集音部３０１は、半径ｒの円周上を所定の角速度φで移動するものとして、音源の方向を推定する方法の一例について説明する。なお、平面波は、進行方向がθの正弦波であり、周波数をｆ０とする。ここで、集音部３０１の時刻ｔにおける速度をｖ＝（ｖｘ，ｖｙ）とすると、当該速度ｖは、以下に（式１）として示す計算式で表される。
【００４２】
【数１】
2017086030.tif 000003
・・・（式１）
【００４３】
なお、上記に示した（式１）において、φ０は、ｔ＝０における角度を示すものとする。ここで、平面波の進行方向を向いた単位ベクトルをｅｋ＝（ｃｏｓθ，ｓｉｎθ）とすると、ドップラー効果により変調されて集音部３０１に観測される信号（以降では、「観測信号」とも称する）の周波数ｆは、以下に（式２）として示す計算式で表される。なお、（式２）に示すように、ｖ⊥は、ｅｋとｖとの内積で表される。
【００４４】
【数２】
2017086030.tif 000004
・・・（式２）
【００４５】
上記に示した（式２）において、平面波の周波数ｆ０は未知の値であるが、その他の値は既知であるため、観測信号の周波数ｆの変調の位相から音源の方向（即ち、平面波の到来方向）を導出することが可能となる。
【００４６】
なお、音源が複数存在する場合には、各音源から到来する音響は、音源の位置に応じてことある位相で変調される。例えば、図４は、互いに異なる位置に存在する複数の音源それぞれから到来する音響の観測結果の一例を示している。図４において、横軸は時間ｔを示し、縦軸は観測信号の周波数ｆを示している。なお、図４に示された複数のグラフは、それぞれ異なる音源から到来した音響に基づく観測信号の一例を示している。図４を参照するとわかるように、本実施形態に係る情報処理システム１に依れば、単一の集音部３０１により複数の音源それぞれの方向を推定することが可能であることがわかる。また、本実施形態に係る情報処理システム１に依れば、特定の位相の信号のみを抽出することで、例えば、信号の周波数が重なっているような状況下においても、所望の方向に位置する音源から到来する音響を抽出及び分離することが可能である。
【００４７】
以上、図３及び図４を参照して、音源が集音部３０１から十分に離れており、当該音源から到来する音響が平面波とみなせ、かつ、集音部３０１が円状の軌道を等速度で移動する場合に着目して、音源の方向を推定する方法の一例について説明した。
【００４８】
＜２．３．音源から音響と集音部の軌道とを一般化した場合＞
次いで、図５及び図６を参照して、音源から音響と集音部の軌道とを一般化した場合、即ち、音源から到来する音響を正弦波に限らず、かつ、集音部３０１が移動する軌道を円状の軌道に限定しない場合において、音源の方向を推定する方法の一例について説明する。なお、本説明においても、音源が集音部３０１から十分に離れており、当該音源から到来する音響が平面波とみなせるものとして説明する。
【００４９】
まず、音源から到来する音響の時刻ｔにおけるスペクトルをＡ（ω，ｔ）、集音部３０１の時刻ｔにおける速度をｖ＝（ｖｘ，ｖｙ）、平面波の進行方向を向いた単位ベクトルをｅｋ＝（ｃｏｓθ，ｓｉｎθ）、速度ｖの平面波の進行方向の成分をｖ⊥とする。なお、ｖ⊥は、前述した例と同様に、ｅｋとｖとの内積で表される。また、角周波数をωで表すものとする。このとき、集音部３０１で観測される信号（即ち、観測信号）のスペクトルＡ〜（ω，ｔ）は、以下に（式３）として示す計算式で表される。なお、「Ａ〜」は、「Ａ」の上にチルダが付された文字を示すものとする。
【００５０】
【数３】
2017086030.tif 000005
・・・（式３）
【００５１】
なお、上記に示した（式３）において、ｄは、音源から集音部３０１までの距離を表す。また、ω０は、音源から到来する音響の角周波数を示す。また、ωは、ドップラー効果によって変調された（瞬時）角周波数を示している。ここで、前述した仮定（２）により、スペクトルはある短い区間では定常とみなせることから、以下に（式４）として示した関係式が成り立つ。
【００５２】
【数４】
2017086030.tif 000006
・・・（式４）
【００５３】
上記に（式４）として示した関係式に基づき、（式３）として前述した観測信号のスペクトルＡ〜（ω，ｔ）を時間ｔで偏微分すると、（式５）として示す計算式が導出される。
【００５４】
【数５】
2017086030.tif 000007
・・・（式５）
【００５５】
一方、観測信号のスペクトルＡ〜（ω，ｔ）の周波数方向の偏微分は、以下に（式６）として示す計算式で表される。
【００５６】
【数６】
2017086030.tif 000008
・・・（式６）
【００５７】
ここで、観測信号のスペクトルＡ〜（ω，ｔ）の時間方向の偏微分と、当該スペクトルＡ〜（ω，ｔ）の周波数方向の偏微分との比をγとすると、γは以下に（式７）として示す計算式で表される。
【００５８】
【数７】
2017086030.tif 000009
・・・（式７）
【００５９】
ここで、γ及びｖは観測可能であることから、上記に示した（式７）に基づき、音響の到来方向ｅｋ（即ち、音源の方向）を推定することが可能となる。なお、実質的には、観測誤差やノイズの影響も想定されるため、複数の（ω，ｔ）においてγを求め、音の到来方向ｅｋの推定精度を向上させてもよい。
【００６０】
なお、音源が複数存在する場合には、ある周波数においてある音源から到来する音響が支配的であれば、推定されるｅｋの値は、当該音源の方向を示すこととなる。したがって、各音源間において、周波数上で重なりがない帯域が存在する場合には、その帯域の情報を用いることで、各音源の方向を推定することが可能となる。例えば、図５は、２つの音源が互いに異なる方向に位置する場合における、各音源から到来する音響のスペクトルの一例を示している。図５において、横軸は時間ｔを示し、縦軸は観測信号の周波数ｆを示している。なお、図５に示す例では、互いに異なる方向ｅｋ１及びｅｋ２に位置する音源それぞれから到来する音響のスペクトルの一例を示している。
【００６１】
ここで、図５に示したスペクトルに基づき、各時刻及び各周波数（即ち、複数の（ω，ｔ））について音響の到来方向ｅｋを算出し、当該ｅｋの算出結果を到来方向ごとにカウントしてヒストグラムを生成すると、図６に示すようになる。図６は、図５に示したスペクトルに基づく、音響の到来方向の推定結果をヒストグラムとして表したグラフの一例である。図６において、横軸は音響の進行方向θ（換言すると、音響の到来方向）、縦軸は複数の（ω，ｔ））について算出された音響の到来方向ｅｋのカウント値Ｎを示している。即ち、図６に示す例では、θ１及びθ２のそれぞれの方向に音源が存在する可能性が高いことを示している。
【００６２】
なお、スペクトルの重なりや、音源から到来する音響に含まれる非定常な部分の影響により、音響の到来方向ｅｋの推定結果に歪みが生じる場合がある。しかしながら、前述した仮定（１）〜（４）で示した条件を満たす場合においては、多くの場合において到来方向ｅｋが正しく推定され得る。そのため、例えば、図６に示すようなヒストグラムを生成し、当該ヒストグラムのピーク値から、各音源からの音響の到来方向（即ち、各音源の方向）を推定することが可能となる。
【００６３】
以上、図５及び図６を参照して、音源から音響と集音部の軌道とを一般化した場合において、音源の方向を推定する方法の一例について説明した。なお、上記に説明した内容からもわかるように、本実施形態に係る情報処理システム１は、ドップラー効果により、集音部３０１による集音結果に基づく音響信号の周波数が変化すれば、集音部３０１の位置及び向きのうち少なくともいずれかを変化させる態様（例えば、集音部３０１を移動させる軌道）は特に限定されない。
【００６４】
＜２．４．音源から観測点に近い場合＞
次いで、図７〜図１０を参照して、音源の位置が集音部に近い場合、即ち、音源から到来する音響が平面波であるという仮定が成り立たない場合において、音源の方向を推定する方法の一例について説明する。
【００６５】
例えば、図７は、音源の位置が集音部３０１に近い場合における、集音部３０１と当該音源との間の空間的な位置関係の一例を模式的に示した図である。なお、本説明では、音源の方向の推定方法をよりわかりやすくするために、音源から到来する音響は周波数ｆ０の単一正弦波であり、集音部３０１は、図３に示す例と同様に、半径ｒの円状の軌道Ｌ１上を所定の角速度φで移動するものとする。なお、図７において、参照符号Ｓは、音源の位置を示している。また、参照符号ｌは、集音部３０１が移動する軌道Ｌ１の回転中心と音源Ｓとの間の距離を示している。このとき、ドップラー効果により集音部３０１に観測される信号（即ち、観測信号）の瞬時周波数ｆは、以下に（式８）として示す計算式で表される。
【００６６】
【数８】
2017086030.tif 000010
・・・（式８）
【００６７】
なお、上記に示した（式８）において、φ０は、ｔ＝０における角度を示すものとする。例えば、図８は、近接音源から到来する音響の観測結果の一例を示している。図８において、横軸は時間ｔを示し、縦軸は観測信号の周波数ｆを示している。なお、図８に示す例では、近接音源からの音響の観測結果に加えて、当該音響が平面波とみなせる場合における観測結果の一例を参考として提示している。上記に示した（式８）と、図６とを参照するとわかるように、近接音源の場合には、ドップラー効果により変調された信号に歪みが生じるが、依然として周期及び位相が保存されていることがわかる。そのため、ドップラー効果により変調された信号の位相から、音源の方向θを推定することが可能である。
【００６８】
具体的には、音源の方向をθとした場合に、定常な周波数は、ｓｉｎ（φｔ＋φ０＋θ）のかたちで変調されるため（例えば、上述した（式２）を参照）、ｆ＝ｓｉｎ（φｔ＋φ０）との位相差θとして、音源の方向を推定することが可能となる。より具体的な一例として、相互相関関数を計算し、相関値が最大となる時刻ΔＴから、位相差θ＝φΔＴとして求めればよい。なお、この場合には、観測点と近接音源との間の距離ｌは未知であってもよい。
【００６９】
具体的には、上記に示した（式８）において、（ｆ０，θ，ｌ）＝（ｆ０’，θ’，ｌ’）とした、Ａｒｅｆ（ｆ，ｔ）及びＲと観測信号の相互相関を計算し、相関値が最大となる（ｆ０’，θ’，ｌ’）を求めることで、位相差θ＝θ’を推定することが可能となる。この場合におけるＡｒｅｆ（ｆ，ｔ）及びＲは、以下に（式８ａ）として示すとおりである。なお、この手法では、方向だけでなく音源までの距離ｌ＝ｌ’についても推定可能であるが、精度よく求めるためには３変数についての最大化問題を解く必要があり、計算量がより大きくなる場合がある。
【００７０】
【数９】
2017086030.tif 000011
・・・（式８ａ）
【００７１】
また、位相差θを導出する方法の他の一例について、図９及び図１０を参照して以下に説明する。図９及び図１０は、ドップラー効果による変調時の位相差を算出する方法の一例について説明するための説明図である。図９及び図１０において、横軸は時間ｔを示し、縦軸は周波数ｆを示している。
【００７２】
まず、図９に示すように、直線ｆ＝ｆ０と観測信号との交点の周期が一定となるように、周波数ｆ０を導出する。次いで、図１０に示すように、ｆ＝ｓｉｎ（φｔ＋φ０）のゼロ点時刻ｔ１＝（ｎπ−φ０）／φと、直線ｆ＝ｆ０と観測信号とが交わる時刻ｔ２とを導出する。そして、導出した時刻ｔ１及びｔ２に基づき、位相差θ＝φ（ｔ２−ｔ１）を算出すればよい。なお、この場合においても、観測点と近接音源との間の距離ｌは未知であってもよい。
【００７３】
また、観測点と近接音源との間の距離ｌをなんらかの方法で特定することが可能な場合には、前述した（式８）に基づき、音響の到来方向（即ち、音源の方向）を推定できることは言うまでもない。
【００７４】
以上、図７〜図１０を参照して、音源の位置が集音部に近い場合、即ち、音源から到来する音響が平面波であるという仮定が成り立たない場合において、音源の方向を推定する方法の一例について説明した。
【００７５】
＜２．５．音源分離、ビームフォーミングへの応用＞
上述したように、本実施形態に係る情報処理システム１に依れば、周波数ビン毎の音響の到来方向（即ち、音源の方向）を推定することが可能である。そのため、前述したように、例えば、取得された観測信号に対して、所望の方向に応じてゲイン値を乗算することで、所望の方向から到来する音響を強調または抑圧することが可能である。
【００７６】
なお、本実施形態に係る情報処理システム１において得られる音響は、ドップラー効果により変調されて歪んだ音響となるが、例えば、前述した（式３）に基づき、ドップラー効果による変調を逆補正することで、集音部３０１が静止している場合と同様に歪みの少ない音響を取得することが可能である。
【００７７】
また、音源の移動や計算誤差等に伴い、当該音源の方向の推定結果が急激に変化することで、フィルタゲインが急激に変化し、ミュージカルノイズが発生する場合が想定され得る。このような場合には、例えば、ミュージカルノイズの発生を避けるために、音源の方向の推定結果やフィルタゲイン値に対して、時間方向に平滑化を施す処理等を加えてもよい。
【００７８】
以上、本実施形態の技術的特徴として、特に、情報処理装置１０による音源の方向の推定に係る処理の詳細について説明した。
【００７９】
＜＜３．変形例＞＞
次いで、本実施形態に係る情報処理システム１の変形例について説明する。
【００８０】
＜３．１．変形例１：複数の集音部を利用する場合の例＞
まず、変形例１として、複数の集音部３０１を利用することで、音源の方向の推定に係る性能（例えば、分解能等）をより向上させることが可能な仕組みの一例について説明する。
【００８１】
前述した通り、本実施形態に係る情報処理システム１では、単一の集音部３０１により、複数の音源それぞれの方向を推定することが可能である。一方で、音源の方向の推定に係る分解能は、集音部３０１の移動速度や音源からの音響の定常性の度合い等に依存する場合がある。例えば、集音部３０１の移動速度が過度に遅い場合には、ドップラー効果の影響を観測しにくくなり、特に、音源が複数存在する場合の方向推定が困難になる場合がある。一方で、集音部３０１の移動速度が過度に速い場合には、瞬時周波数の変化が激しくなり、スペクトルのピークがぼやけ、音源の方向を高い精度で推定することが困難となる場合がある。また、集音部３０１の移動速度は、当該集音部３０１を移動させる駆動部３０５等のハードウェア的な制約を受け、特に、集音部３０１をより高速に移動させることが困難な場合もある。そこで、変形例１に係る情報処理システムでは、上述した制約下においても、複数の集音部３０１を利用することで、音源の方向の推定に係る性能（例えば、分解能等）をより向上させることを可能としている。
【００８２】
例えば、図１１は、変形例１に係る情報処理システム１の概要について説明するための説明図であり、複数の集音部３０１を利用する場合における、各集音部３０１と音響との間の空間的な位置関係の一例を模式的に示した図である。なお、本説明では、図１１に示すように、複数の集音部３０１のそれぞれが同一の円状の軌道Ｌ１上を移動するものとし、かつ、音源から到来する音響は平面波とみなせるものとして説明する。また、図１２は、複数の集音部３０１による音響の観測結果の一例を示している。図１２において、横軸は時間ｔを示し、縦軸は観測信号の周波数ｆを示している。
【００８３】
具体的な一例として、情報処理装置１０は、複数の集音部３０１それぞれについて集音された音響信号に基づき音源の到来方向を推定する。なお、図１２を参照するとわかるように、複数の集音部３０１それぞれにより取得される観測信号は、各集音部３０１間の相対的な位置関係の違いに起因して位相がずれる。そのため、情報処理装置１０は、各集音部３０１に対応する音源の到来方向の推定結果に応じたヒストグラムを、複数の集音部３０１間の相対的な位置関係の違いに起因する位相分だけずらして加算する。このような処理により、情報処理装置１０は、音源の方向の推定結果として、より鋭いヒストグラムを取得することが可能となり、当該ヒストグラムのピーク値に基づき音源の方向をより精度よく推定することが可能となる。
【００８４】
また、他の一例として、各集音部３０１で観測される音響信号（即ち、観測信号）の周波数から振幅スペクトルを算出し、当該振幅スペクトルに基づき、音源の方向を推定する方法が挙げられる。本説明では、音源の方向の推定方法をよりわかりやすくするために、周波数ｆ０の単一正弦波の平面波がθ方向から到来する状況に着目して説明する。
【００８５】
具体的には、同一の円状の軌道Ｌ１上に位置するＮ個の集音部３０１それぞれの、時刻ｔ＝０における角度をφ０…φＮとすると、ｉ番目の集音部３０１で観測される音響信号（即ち、観測信号）の周波数ｆｉは、以下に（式９）として示された計算式で表される。
【００８６】
【数１０】
2017086030.tif 000012
・・・（式９）
【００８７】
ここで、ｉ番目の集音部３０１で観測される音響信号の振幅スペクトルをＡｉ（ｆｉ）とし、未知の到来方向をθ’と仮定とすると、ドップラー効果の影響を補正した振幅スペクトルの和Ａ−（ｆ）は、以下に（式１０）として示す計算式で表される。なお、「Ａ−」は、「Ａ」の上にバーが付された文字を示すものとする。
【００８８】
【数１１】
2017086030.tif 000013
・・・（式１０）
【００８９】
例えば、図１３は、複数の集音部３０１それぞれの集音結果に基づき算出される振幅スペクトルの一例を示しており、上述した（式１０）において、θ＝θ’の場合の振幅スペクトルの一例を示している。図１３において、横軸は周波数ｆを示し、縦軸は振幅｜Ａ｜を示している。図１３を参照するとわかるように、θ＝θ’において、観測信号に対してドップラー効果の影響を補正した場合の周波数が複数の集音部３０１間で略一致し、スペクトルのピークがより鋭くなり最大値を取る。
【００９０】
このような特性に基づき、振幅スペクトルの和Ａ−（ｆ）が最も鋭く最大値を取るようなθ’を求めることで、音響の到来方向（即ち、音源の方向）を推定することが可能となる。なお、この場合には、Ａ−（ｆ）は、θ方向の音響がより強調されるため、ビームフォーミングや音源分離等に利用することが可能となる。
【００９１】
また、（式１０）として上記に示した関係式は、任意の周波数ｆについて成立するため、音源から到来する音響は必ずしも単一正弦波に限らず、任意のスペクトルであってもよい。例えば、図１４は、複数の集音部３０１それぞれの集音結果に基づき算出される振幅スペクトルの他の一例を示しており、本来の音響の到来方向θとは異なる到来方向を仮定して（即ち、θ≠θ’）、振幅スペクトルの和Ａ−（ｆ）を求めた場合のスペクトルの一例である。この場合には、各集音部３０１に対応する振幅スペクトルＡｉ（ｆｉ）の補正後のスペクトルは重ならないため、図１４に示すように、図１３に示す例に比べて、ピーク値がより小さく、裾野の広がった形状のスペクトルとなる。
【００９２】
以上、変形例１として、図１１〜図１４を参照して、複数の集音部３０１を利用することで、音源の方向の推定に係る性能（例えば、分解能等）をより向上させることが可能な仕組みの一例について説明した。
【００９３】
＜３．２．変形例２：他の方向推定技術との組み合わせ＞
次いで、変形例２として、本実施形態に係る情報処理システム１による音源の方向の推定に係る処理を、他の方向推定技術に係る処理と組み合わせることで、音源の方向の推定に係る精度をより向上させるための技術の一例について説明する。
【００９４】
具体的には、様々な方向から多くの雑音が混入するような状況下においては、雑音の到来方向に応じて、対象とする音源からの音響の到来方向を推定するための、変調後の観測信号の算出が困難となる場合がある。このような場合には、例えば、情報処理装置１０は、観測点の周囲の映像を解析することで音源の位置の候補を推定し、当該推定結果と、前述した集音部３０１における観測信号に基づく音響の到来方向の推定結果とを組み合わせることで、音源の方向を推定してもよい。
【００９５】
具体的には、情報処理装置１０は、撮像装置等により撮像された観測点の周囲の映像を取得し、取得した映像に対して画像解析等の各種解析処理を施すことで音源の候補（例えば、人等）を抽出し、抽出結果に基づき音源の方向の候補を推定する。そして、情報処理装置１０は、集音部３０１の集音結果に基づく音響信号（観測信号）の解析時に、映像に基づき推定された音源の方向から到来する音響がより強調されるようなフィルタを適用してもよい。より具体的な一例として、音響の到来方向に応じた周波数変調のしかたに沿ってスペクトルを平滑化させるようなフィルタをかけることで、所望の方向から到来する音響を強調することも可能である。
【００９６】
なお、上記に説明した例はあくまで一例であり、本実施形態に係る情報処理システム１による音源の方向の推定に係る処理と組み合わせる他の方向推定技術は、音源の方向の候補を推定することが可能であれば、必ずしも映像の解析に基づく技術には限定されない。
【００９７】
以上、変形例２として、本実施形態に係る情報処理システム１による音源の方向の推定に係る処理を、他の方向推定技術に係る処理と組み合わせることで、音源の方向の推定に係る精度をより向上させるための技術の一例について説明した。
【００９８】
＜３．３．変形例３：観測点が移動する場合の一例＞
次いで、変形例３として、本実施形態に係る情報処理システム１を、自動車（車両）等の移動体に適用する場合の一例について説明する。例えば、図１５は、変形例３に係る情報処理システム１の概要について説明するための説明図である。図１５に示す例では、集音ユニット３０が移動体５０（例えば、自動車、電車、自転車等）に載置されており、移動体５０の移動に伴い、集音ユニット３０自体も移動する。なお、本説明では、集音部３０１は、円状の軌道に沿って移動するものとして説明する。また、図１５に示す例では、移動体５０は、ｘｙ平面上を移動するものとする。
【００９９】
この場合には、例えば、情報処理装置１０は、移動体５０の移動速度を認識する。具体的な一例として、情報処理装置１０は、移動体５０から移動速度を示す情報（例えば、速度計の値や、ハンドル操作の内容を示す情報等）を取得し、取得結果に応じて移動体５０の移動速度を認識してもよい。また、情報処理装置１０は、加速度センサ等の各種センサの検知結果に基づき、移動体５０の移動速度を認識してもよい。また、他の一例として、情報処理装置１０は、ＧＰＳ（Global  Positioning  System）等による移動体５０の位置の測位結果に基づき、当該移動体５０の移動速度を算出してもよい。もちろん、情報処理装置１０は、前述した各種方法のうち２以上の方法を組み合わせることで、移動体５０の移動速度を認識してもよい。
【０１００】
例えば、図１６は、集音ユニット３０が設置された移動体５０の速度及び加速度の検出結果の一例を示している。図１６において、各グラフの横軸は時間を示している。また、図１６において、｜ｖ｜は、移動体５０の速度の絶対値を示しており、例えば、速度計の値として取得することが可能である。また、ａｘは、移動体５０に対してｘ方向に加わる加速度を示しており、ａｙは、移動体５０に対してｙ方向に加わる加速度を示している。なお、加速度ａｘ及びａｙは、例えば、加速度センサの検知結果として取得することが可能である。また、ｖｘは、移動体５０の移動速度のｘ方向成分を示しており、ｖｙは、移動体５０の移動速度のｙ方向成分を示している。なお、移動体５０のｘ方向の速度ｖｘは、ｘ方向に加わる加速度ａｘの時間方向の積分値として算出することが可能である。同様に、移動体５０のｙ方向の速度ｖｙは、ｙ方向に加わる加速度ａｙの時間方向の積分値として算出することが可能である。
【０１０１】
そして、情報処理装置１０は、移動体５０の速度をバイアスとして、移動体５０に対して相対的に円状の軌道に沿って移動する集音部３０１の速度に加算することで、移動体５０の移動に伴う集音部３０１の移動速度を算出する。ここで、移動体５０の速度をｖｃａｒ、移動体５０に対して相対的に円状の軌道に沿って移動する集音部３０１の速度をｖｍｉｃとすると、移動体５０の移動に伴う集音部３０１の移動速度ｖｔｏｔａｌは、以下に（式１１）として示す計算式で表される。
【０１０２】
【数１２】
2017086030.tif 000014
・・・（式１１）
【０１０３】
なお、以降の処理については、前述した実施形態と同様である。具体的な一例として、情報処理装置１０は、（式３）〜（式７）を参照して前述した処理に基づき、集音ユニット３０（ひいては、移動体５０）に対する音源の方向を推定すればよい。このような構成により、例えば、情報処理システム１を自動車に適用することで、サイレンの到来方向や、死角に位置する他の自動車の走行音等の到来方向を推定することで、周囲の状況の把握や危険察知に応用することが可能となる。
【０１０４】
なお、移動体５０の種別は、必ずしも限定されず、当該移動体５０の動きも図１５に示すような平面的な動きには限定されない。具体的な一例として、移動体５０が、所謂ドローン等のような小型無人飛行機として構成されていてもよい。このような場合には、小型無人飛行機として構成された移動体５０に設置された情報処理装置１０は、集音部３０１の速度や、音響の進行方向を３次元的に解析することで、音源の方向（即ち、音響の到来方向）を３次元的に推定するとよい。
【０１０５】
また、小型無人飛行機のように比較的高速に３次元的に移動する移動体５０を適用する場合には、集音部３０１を回転させるための回転機構を設けない場合においても、移動体５０の運動を監視することで音源の方向を検知できる場合がある。具体的には、加速度センサ、超音波センサ、気圧センサ、ＧＰＳ等により移動体５０の速度を推定し、当該速度を集音部３０１の移動速度とみなして、音源の方向を推定すればよい。このような構成の場合には、例えば、移動体５０が動き回りながら音響の到来方向を推定し、当該推定結果を集計することで、集計結果に基づき音源の位置を推定することも可能である。
【０１０６】
また、所謂ドローンのように移動体５０自身が音を出すような場合には、例えば、複数の移動体５０間において互いの位置を把握しあうことも可能である。この場合には、例えば、一方の移動体５０側が、他方の移動体５０を音源とみなして、当該他方の移動体５０の位置または方向を推定すればよい。
【０１０７】
以上、変形例３として、図１５及び図１６を参照して、本実施形態に係る情報処理システム１を、自動車等の移動体に適用する場合の一例について説明した。
【０１０８】
＜３．４．変形例４：屋内における適用例＞
次いで、変形例４として、本実施形態に係る情報処理システム１を、屋内に設置された機器に適用した場合の一例を示す。例えば、図１７は、変形例４に係る情報処理システム１の概要について説明するための説明図であり、屋内に設定されたシーリングファンに対して情報処理システム１を適用した場合の一例を示している。
【０１０９】
具体的には、図１７に示す例では、天井に対して設置されたシーリングファン３０’を前述した集音ユニット３０（例えば、図１参照）として利用し、シーリングファンの回転翼３０３’を、集音部３０１を支持する支持部３０３として利用している。このような構成により、シーリングファンの回転翼３０３’が開店することで、集音部３０１が円状の軌道に沿って移動することとなる。このとき、例えば、ユーザＵ２１やユーザＵ２２から発せられた音声は、集音部３０１に集音される際に、ドップラー効果の影響により変調されることとなる。即ち、図１７に示す例では、ユーザＵ２１及びユーザＵ２２からの音声の集音結果に基づき、シーリングファン３０’（即ち、集音ユニット３０）に対する当該ユーザＵ２１及びユーザＵ２２それぞれの方向を推定することが可能となる。
【０１１０】
このような構成により、例えば、音声入力が行われた場合に当該音声を発話したユーザ（即ち、話者）の方向を推定し、当該ユーザに対してサービスを提供することが可能となる。なお、このとき、例えば、画像認識技術等と組み合わせることで、ユーザ個人を特定し、個人の特定結果に応じたサービスを提供できるようにシステムが構成されていてもよい。
【０１１１】
また、図１７に示す例のように、シーリングファン３０’を集音ユニット３０として利用することで、床やテーブル上に集音部を設置する場合に比べて場所をとらず、集音部３０１の位置を固定化することが可能となる。また、図１７に示すように、シーリングファン３０’を集音ユニット３０として利用する場合には、集音ユニット３０（即ち、シーリングファン３０’）を部屋の中央付近に設置できる可能性が高く、音源（例えば、ユーザ）との間に障害物が介在する可能性が低い。そのため、図１７に示すように、シーリングファン３０’を集音ユニット３０として利用することで、音源（例えば、ユーザ）の方向をより精度良く推定することが可能となる。
【０１１２】
以上、変形例４として、図１７を参照して、本実施形態に係る情報処理システム１を、屋内に設置された機器に適用した場合の一例について説明した。なお、変形例４では、シーリングファンを集音ユニット３０として利用する場合について説明したが、集音ユニット３０として利用可能な機器は必ずしもシーリングファンのみには限定されないことは言うまでもない。より具体的には、想定される音源の移動速度に対して十分に速い速度で移動する機構を少なくとも一部に有する機器であれば、集音ユニット３０として利用することは可能である。
【０１１３】
＜＜４．ハードウェア構成＞＞
次に、図１８を参照して、本開示の各実施形態に係る情報処理装置１０（即ち、上述した信号処理装置１１〜１４）のハードウェア構成の一例について説明する。図１８は、本開示の各実施形態に係る情報処理装置１０のハードウェア構成の一例を示した図である。
【０１１４】
図１８に示すように、本実施形態に係る情報処理装置１０は、プロセッサ９０１と、メモリ９０３と、ストレージ９０５と、操作デバイス９０７と、報知デバイス９０９と、集音デバイス９１３と、バス９１７とを含む。また、情報処理装置１０は、音響デバイス９１１と、通信デバイス９１５とのうち少なくともいずれかを含んでもよい。
【０１１５】
プロセッサ９０１は、例えばＣＰＵ（Central  Processing  Unit）、ＧＰＵ（Graphics  Processing  Unit）、ＤＳＰ（Digital  Signal  Processor）又はＳｏＣ（System  on  Chip）であってよく、情報処理装置１０の様々な処理を実行する。プロセッサ９０１は、例えば、各種演算処理を実行するための電子回路により構成することが可能である。なお、前述した解析部１０１、駆動制御部１０３、及び処理実行部１０５は、プロセッサ９０１により実現され得る。
【０１１６】
メモリ９０３は、ＲＡＭ（Random  Access  Memory）及びＲＯＭ（Read  Only  Memory）を含み、プロセッサ９０１により実行されるプログラム及びデータを記憶する。ストレージ９０５は、半導体メモリ又はハードディスクなどの記憶媒体を含み得る。例えば、前述した記憶部１０７は、メモリ９０３及びストレージ９０５の少なくともいずれか、もしくは、双方の組み合わせにより実現され得る。
【０１１７】
操作デバイス９０７は、ユーザが所望の操作を行うための入力信号を生成する機能を有する。操作デバイス９０７は、例えば、タッチパネルとして構成され得る。また、他の一例として、操作デバイス９０７は、例えばボタン、スイッチ、及びキーボードなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成し、プロセッサ９０１に供給する入力制御回路などから構成されてよい。
【０１１８】
報知デバイス９０９は、出力デバイスの一例であり、例えば、液晶ディスプレイ（ＬＣＤ：Liquid  Crystal  Display）装置、有機ＥＬ（ＯＬＥＤ：Organic  Light  Emitting  Diode）ディスプレイなどのデバイスであってよい。この場合には、報知デバイス９０９は、画面を表示することにより、ユーザに対して所定の情報を報知することができる。
【０１１９】
なお、上記に示した報知デバイス９０９の例はあくまで一例であり、ユーザに対して所定の情報を報知可能であれば、報知デバイス９０９の態様は特に限定されない。具体的な一例として、報知デバイス９０９は、ＬＥＤ（Light  Emitting  Diode）のように、点灯又は点滅のパターンにより、所定の情報をユーザに報知するデバイスであってもよい。また、報知デバイス９０９は、所謂バイブレータのように、振動することで、所定の情報をユーザに報知するデバイスであってもよい。
【０１２０】
音響デバイス９１１は、スピーカー等のように、所定の音響信号を出力することで、所定の情報をユーザに報知するデバイスである。
【０１２１】
集音デバイス９１３は、マイクロフォン等のような、ユーザから発せられた音声や周囲の環境の音響を集音し、音響情報（音響信号）として取得するためのデバイスである。また、集音デバイス９１３は、集音された音声や音響を示すアナログの音響信号を示すデータを音響情報として取得してもよいし、当該アナログの音響信号をデジタルの音響信号に変換し、変換後のデジタルの音響信号を示すデータを音響情報として取得してもよい。なお、前述した集音部３０１は、集音デバイス９１３により実現され得る。
【０１２２】
通信デバイス９１５は、情報処理装置１０が備える通信手段であり、ネットワークを介して外部装置と通信する。通信デバイス９１５は、有線または無線用の通信インタフェースである。通信デバイス９１５を、無線通信インタフェースとして構成する場合には、当該通信デバイス９１５は、通信アンテナ、ＲＦ（Radio  Frequency）回路、ベースバンドプロセッサなどを含んでもよい。
【０１２３】
通信デバイス９１５は、外部装置から受信した信号に各種の信号処理を行う機能を有し、受信したアナログ信号から生成したデジタル信号をプロセッサ９０１に供給することが可能である。
【０１２４】
バス９１７は、プロセッサ９０１、メモリ９０３、ストレージ９０５、操作デバイス９０７、報知デバイス９０９、音響デバイス９１１、集音デバイス９１３、及び通信デバイス９１５を相互に接続する。バス９１７は、複数の種類のバスを含んでもよい。
【０１２５】
また、コンピュータに内蔵されるプロセッサ、メモリ、及びストレージなどのハードウェアを、上記した情報処理装置１０が有する構成と同等の機能を発揮させるためのプログラムも作成可能である。また、当該プログラムを記録した、コンピュータに読み取り可能な記憶媒体も提供され得る。
【０１２６】
＜＜５．むすび＞＞
以上、説明したように、本実施形態に係る情報処理システム１では、集音部３０１の位置及び向きのうち少なくともいずれかを所定のパターンで変化させる（例えば、所定の軌道に沿って移動させる）ことで、当該集音部３０１により少なくとも１以上の音源からの音響を集音する。そして、情報処理装置１０は、集音部３０１により集音された音響に基づく音響信号の周波数が、当該集音部３０１の位置及び向きの変化に伴うドップラー効果の影響により変化する特性を利用することで、集音された音響の音源の方向を推定する。
【０１２７】
このような構成により、本実施形態に係る情報処理システム１は、周囲に音源が複数存在するような状況下においても、少なくとも１つの集音部３０１を設けることで、当該複数の音源それぞれの方向を、より高い分解能で推定することが可能となる。即ち、本実施形態に係る情報処理システム１に依れば、集音部３０１の数の低減と、音源の方向の推定における分解能の向上とを両立することが可能となる。また、本実施形態に係る情報処理システム１では、集音部３０１の数をより少なくすることが可能なため、各種コストを低減することが可能となり、重量もより軽くすることが可能となる。
【０１２８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２９】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１３０】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
位置及び向きのうち少なくともいずれかを示す位置情報が所定のパターンで変化する集音部による、１以上の音源それぞれからの音響の集音結果を取得する取得部と、
前記集音部の前記位置情報の変化に伴う、当該集音部に集音される音響の周波数変化に基づき、前記１以上の音源それぞれの方向を推定する推定部と、
を備える、情報処理装置。
（２）
前記集音部の前記位置情報を前記所定のパターンで変化させる駆動部の動作を制御する駆動制御部を備える、前記（１）に記載の情報処理装置。
（３）
前記駆動制御部は、前記集音部の前記位置情報が、略円形状の所定の軌道に沿って変化するように前記駆動部の動作を制御する、前記（２）に記載の情報処理装置。
（４）
前記推定部は、前記集音部により集音される音響のスペクトルの時間方向の変化と当該スペクトルの周波数方向の変化との比と、前記集音部の前記位置情報の変化と、に基づき、前記１以上の音源それぞれの方向を推定する、前記（１）〜（３）のいずれか一項に記載の情報処理装置。
（５）
前記１以上の音源それぞれの方向の推定結果に基づき、少なくともいずれかの方向から到来し集音される音響の振幅を制御する、音響制御部を備える、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記取得部は、複数の前記集音部それぞれによる音響の集音結果を取得し、
前記推定部は、複数の前記集音部それぞれの移動に伴う、当該複数の集音部それぞれにより集音される音響の前記周波数変化に基づき、前記１以上の音源それぞれの方向を推定する、
前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記集音部は、前記位置情報が所定の移動体に対して相対的に前記所定のパターンで変化するように、当該移動体に支持され、
前記推定部は、前記所定の移動体の位置及び向きのうち少なくともいずれかの変化と、当該所定の移動体に対する前記集音部の相対的な前記位置情報の変化と、に伴う、前記音響の前記周波数変化に基づき、前記１以上の音源それぞれの方向を推定する、
前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記所定の移動体は、車両である、前記（７）に記載の情報処理装置。
（９）
前記集音部は、所定の駆動体に対して保持され、当該駆動体が駆動することで、前記位置情報が前記所定のパターンで変化する、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（１０）
前記駆動体は、回転体であり、
前記集音部は、前記回転体が回転することで、前記位置情報が略円形状の所定の軌道に沿って変化する、
前記（９）に記載の情報処理装置。
（１１）
前記回転体は、所定の天井面または壁面に設置されるファンの回転翼である、前記（１０）に記載の情報処理装置。
（１２）
前記音源は、音響を発する他の移動体であり、
前記推定部は、前記他の移動体の方向を、前記集音部により集音される音響の前記周波数変化に基づき推定する、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（１３）
前記推定部は、取得された前記他の移動体の位置の推定結果を、前記集音部により集音される音響の前記周波数変化に基づく当該他の移動体の方向の推定結果に基づき補正する、前記（１２）に記載の情報処理装置。
（１４）
前記取得部は、撮像部により撮像された画像を取得し、
前記推定部は、取得された前記画像の解析結果と、前記集音部により集音される音響の前記周波数変化と、に基づき、前記１以上の音源それぞれの方向を推定する、前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
位置及び向きのうち少なくともいずれかを示す位置情報が所定のパターンで変化する集音部による、１以上の音源それぞれからの音響の集音結果を取得することと、
プロセッサが、前記集音部の前記位置情報の変化に伴う、当該集音部に集音される音響の周波数変化に基づき、前記１以上の音源それぞれの方向を推定することと、
を含む、情報処理方法。
（１６）
コンピュータに、
位置及び向きのうち少なくともいずれかを示す位置情報が所定のパターンで変化する集音部による、１以上の音源それぞれからの音響の集音結果を取得することと、
前記集音部の前記位置情報の変化に伴う、当該集音部に集音される音響の周波数変化に基づき、前記１以上の音源それぞれの方向を推定することと、
を実行させる、プログラム。
【符号の説明】
【０１３１】
１      情報処理システム
１０    情報処理装置
１０１  解析部
１０３  駆動制御部
１０５  処理実行部
１０７  記憶部
３０    集音ユニット
３０１  集音部
３０３  支持部
３０５  駆動部
【図１】
2017086030.tif 000015
【図２】
2017086030.tif 000016
【図３】
2017086030.tif 000017
【図４】
2017086030.tif 000018
【図５】
2017086030.tif 000019
【図６】
2017086030.tif 000020
【図７】
2017086030.tif 000021
【図８】
2017086030.tif 000022
【図９】
2017086030.tif 000023
【図１０】
2017086030.tif 000024
【図１１】
2017086030.tif 000025
【図１２】
2017086030.tif 000026
【図１３】
2017086030.tif 000027
【図１４】
2017086030.tif 000028
【図１５】
2017086030.tif 000029
【図１６】
2017086030.tif 000030
【図１７】
2017086030.tif 000031
【図１８】
2017086030.tif 000032
【国際調査報告】
2017086030.tif 000033
2017086030.tif 000034
2017086030.tif 000035