(57)【特許請求の範囲】
【請求項１】
音響信号を収録する複数の収音器を有する収音部のうち、少なくとも２つの前記収音器によって収録された前記音響信号に基づいて、音源の方向を特定する音源定位装置において、
前記収音器の配置に基づく情報を報知する報知手段と、
前記音源定位装置の表示部側に設けられた第１撮像部と、
前記表示部の反対側に設けられた第２撮像部と、
判定部と、
音源の方向を特定する音源定位部と、
を備え、
前記複数の収音器は、
前記音源定位装置の表示部側にｎ個（ｎは２以上の整数）設けられ、
前記表示部の反対側にｍ個（ｍは２以上の整数）設けられ、
前記ｎ個の収音器によって第１のマイクロフォンアレイが形成され、
前記ｍ個の収音器によって第２のマイクロフォンアレイが形成され、
前記判定部は、
前記第１撮像部によって撮像された画像と、前記第２撮像部によって撮像された画像とに基づいて、前記第１のマイクロフォンアレイまたは前記第２のマイクロフォンアレイのいずれか１つのマイクロフォンアレイを選択し、
前記音源定位部は、
前記判定部によって選択された前記マイクロフォンアレイによって収録された音響信号を用いて前記音源の方向を特定する、
音源定位装置。
【請求項２】
音響信号を収録する複数の収音器を有する収音部のうち、少なくとも２つの前記収音器によって収録された前記音響信号に基づいて、音源の方向を特定する音源定位装置において、
前記収音器の配置に基づく情報を報知する報知手段と、
前記複数の収音器それぞれが収録した音響信号の信号レベルを検出する検出部と、
前記検出部が検出した前記信号レベルが所定の値以下であるか否かを判別し、前記信号レベルが所定の値以下である前記音響信号を収録した収音器をオフ状態に制御する判定部と、
音源の方向を特定する音源定位部と、
を備え、
前記複数の収音器は、
前記音源定位装置にｎ個（ｎは２以上の整数）設けられ、
前記ｎ個の収音器によってマイクロフォンアレイが形成され、
前記音源定位部は、
前記マイクロフォンアレイの前記ｎ個の収音器のうちオン状態の収音器が収録した音響信号を用いて、前記音源の方向を特定する音源定位装置。
【請求項３】
前記報知手段は、
前記表示部に利用者の手を置く位置を示す情報を報知する手段、
前記表示部の枠に利用者の手を置く位置を示す情報を報知する手段、
前記音源定位装置に装着される装着物に利用者の手を置く位置を報知する手段、
前記表示部の前記枠に手を置く位置が印字されている手段、
前記装着物に手を置く位置が印字されている手段、
および前記収音器が配置されている位置を報知する手段のうち、少なくとも１つの手段である請求項１または請求項２に記載の音源定位装置。
【請求項４】
利用者による前記音源定位装置の向きを検出するセンサ、をさらに備え、
前記報知手段は、
前記センサが検出した向きに応じて、前記収音器の配置に基づく情報を報知する請求項１から請求項３のいずれか１項に記載の音源定位装置。
【請求項５】
前記複数の収音器それぞれが収録した音響信号の信号レベルを検出する検出部と、
前記音響信号の中から前記信号レベルが所定の値より大きい音響信号を選択する音響信号選択部と、
を備え、
前記音源定位部は、
前記音響信号選択部によって選択された音響信号を用いて、前記音源の方向を特定する請求項１に記載の音源定位装置。
【請求項６】
前記複数の収音器それぞれが収録した音響信号の信号レベルを検出する検出部、を備え、
前記判定部は、
前記検出部が検出した前記信号レベルが所定の値以下であるか否かを判別し、前記信号レベルが所定の値以下である音響信号を収録した収音器をオフ状態に制御し、
前記音源定位部は、
オン状態の収音器が収録した音響信号を用いて、前記音源の方向を特定する請求項１に記載の音源定位装置。
【請求項７】
音源定位ユニットと情報出力装置とを有する音響処理システムであって、
前記音源定位ユニットは、
音響信号を収録する複数の収音器を有する収音部と、
前記収音部によって収録された音響信号を用いて、音源の方位角を推定する音源定位部と、
前記音源の方向と、前記収音器によって収録された複数の音響信号とを、前記情報出力装置に送信する送信部と、
を備え、
前記情報出力装置は、
前記音源定位ユニットから送信された前記音源の方向を示す情報と、前記複数の音響信号とを、受信する受信部と、
前記受信部が受信した前記音源の方向を示す情報と、前記複数の音響信号とに基づいて、音源毎の音響信号を分離する音源処理を行う音源分離部と、
判定部と、
音源の方向を特定する音源定位部と、
前記情報出力装置の表示部側に設けられた第１撮像部と、
前記表示部の反対側に設けられた第２撮像部と、
を備え、
前記音源定位ユニットの前記複数の収音器は、
前記情報出力装置の表示部側にｎ個（ｎは２以上の整数）設けられ、
前記表示部の反対側にｍ個（ｍは２以上の整数）設けられ、
前記ｎ個の収音器によって第１のマイクロフォンアレイが形成され、
前記ｍ個の収音器によって第２のマイクロフォンアレイが形成され、
前記判定部は、
前記第１撮像部によって撮像された画像と、前記第２撮像部によって撮像された画像とに基づいて、前記第１のマイクロフォンアレイまたは前記第２のマイクロフォンアレイのいずれか１つのマイクロフォンアレイを選択し、
前記音源定位部は、
前記判定部によって選択された前記マイクロフォンアレイによって収録された音響信号を用いて前記音源の方向を特定する、
音響処理システム。
【請求項８】
前記音源定位ユニットの前記送信部は、
前記複数の収音器の位置を示す情報を送信し、
前記情報出力装置の前記受信部は、
前記音源定位ユニットから送信された前記複数の収音器の位置を示す情報を受信し、
前記情報出力装置は、
前記受信された前記複数の収音器の位置を示す情報に基づいて、前記収音器の配置に基づく情報を報知する報知手段、
をさらに備える請求項７に記載の音響処理システム。
【請求項９】
音源定位装置の表示部側に設けられた第１撮像部と、前記表示部の反対側に設けられた第２撮像部と、複数の収音器を有する収音部とを備える音源定位装置であって、前記複数の収音器は、前記音源定位装置の表示部側にｎ個（ｎは２以上の整数）設けられ、前記表示部の反対側にｍ個（ｍは２以上の整数）設けられ、前記ｎ個の収音器によって第１のマイクロフォンアレイが形成され、前記ｍ個の収音器によって第２のマイクロフォンアレイが形成され、音響信号を収録する複数の収音器を有する収音部のうち、少なくとも２つの前記収音器によって収録された前記音響信号に基づいて、音源の方向を特定する音源定位装置の制御方法において、
報知手段が、センサによって検出された利用者による前記音源定位装置の向きに応じて、前記収音器の配置に基づく情報を報知する報知手順、
を含む音源定位装置の制御方法。
【請求項１０】
検出部が、前記複数の収音器それぞれが収録した音響信号の信号レベルを検出する検出手順と、
音響信号選択部が、前記音響信号の中から前記信号レベルが所定の値より大きい音響信号を選択する音響信号選択手順と、
音源定位部が、前記音響信号選択手順によって選択された音響信号を用いて、前記音源の方向を特定する音源定位手順と、
を含む請求項９に記載の音源定位装置の制御方法。
【請求項１１】
検出部が、前記複数の収音器それぞれが収録した音響信号の信号レベルを検出する検出手順と、
判定部が、前記検出手順によって検出された前記信号レベルが所定の値以下であるか否かを判別し、前記信号レベルが所定の値以下である音響信号を収録した収音器をオフ状態に制御する判定手順と、
音源定位部が、前記判定手順によってオン状態にされた収音器が収録した音響信号を用いて、前記音源の方向を特定する音源定位手順と、
を含む請求項９に記載の音源定位装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音源定位装置、音響処理システム、及び音源定位装置の制御方法に関する。
【背景技術】
【０００２】
携帯電話端末やタブレット端末の４方向以上にマイクロフォンを接続または装着して、音源方向を特定して、特定した音源方向を報知する装置が提案されている。マイクロフォンは、例えば、携帯電話端末の四隅に配置される（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−９８５７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、複数のマイクロフォンのうち、いくつかのマイクロフォンを利用者の手や指が覆ってしまうことがあった。このように、いくつかのマイクロフォンが利用者の手や指で覆われた場合、音源位置を特定する音源定位の精度が低下するという課題があった。
【０００５】
本発明は、上記の問題点に鑑みてなされたものであって、音源定位の精度を向上させることができる音源定位装置、音響処理システム、及び音源定位装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
（１）上記目的を達成するため、本発明の一態様に係る音源定位装置は、音響信号を収録する複数の収音器を有する収音部のうち、少なくとも２つの前記収音器によって収録された前記音響信号に基づいて、音源の方向を特定する音源定位装置において、前記収音器の配置に基づく情報を報知する報知手段と、前記音源定位装置の表示部側に設けられた第１撮像部と、前記表示部の反対側に設けられた第２撮像部と、判定部と、音源の方向を特定する音源定位部と、を備え、前記複数の収音器は、前記音源定位装置の表示部側にｎ個（ｎは２以上の整数）設けられ、前記表示部の反対側にｍ個（ｍは２以上の整数）設けられ、前記ｎ個の収音器によって第１のマイクロフォンアレイが形成され、前記ｍ個の収音器によって第２のマイクロフォンアレイが形成され、前記判定部は、前記第１撮像部によって撮像された画像と、前記第２撮像部によって撮像された画像とに基づいて、前記第１のマイクロフォンアレイまたは前記第２のマイクロフォンアレイのいずれか１つのマイクロフォンアレイを選択し、前記音源定位部は、前記判定部によって選択された前記マイクロフォンアレイによって収録された音響信号を用いて前記音源の方向を特定する。
（２）上記目的を達成するため、本発明の一態様に係る音源定位装置は、音響信号を収録する複数の収音器を有する収音部のうち、少なくとも２つの前記収音器によって収録された前記音響信号に基づいて、音源の方向を特定する音源定位装置において、前記収音器の配置に基づく情報を報知する報知手段と、前記複数の収音器それぞれが収録した音響信号の信号レベルを検出する検出部と、前記検出部が検出した前記信号レベルが所定の値以下であるか否かを判別し、前記信号レベルが所定の値以下である前記音響信号を収録した収音器をオフ状態に制御する判定部と、音源の方向を特定する音源定位部と、を備え、前記複数の収音器は、前記音源定位装置にｎ個（ｎは２以上の整数）設けられ、前記ｎ個の収音器によってマイクロフォンアレイが形成され、前記音源定位部は、前記マイクロフォンアレイの前記ｎ個の収音器のうち前記オン状態の収音器が収録した音響信号を用いて、前記音源の方向を特定する。
【０００７】
（３）また、本発明の一態様に係る音源定位装置であって、前記報知手段は、前記表示部に利用者の手を置く位置を示す情報を報知する手段、前記表示部の枠に利用者の手を置く位置を示す情報を報知する手段、前記音源定位装置に装着される装着物に利用者の手を置く位置を報知する手段、前記表示部の前記枠に手を置く位置が印字されている手段、前記装着物に手を置く位置が印字されている手段、および前記収音器が配置されている位置を報知する手段のうち、少なくとも１つの手段であるようにしてもよい。
【０００８】
（４）また、本発明の一態様に係る音源定位装置は、利用者による前記音源定位装置の向きを検出するセンサ、をさらに備え、前記報知手段は、前記センサが検出した向きに応じて、前記収音器の配置に基づく情報を報知するようにしてもよい。
【００１０】
（５）また、本発明の一態様に係る音源定位装置は、前記複数の収音器それぞれが収録した音響信号の信号レベルを検出する検出部と、前記音響信号の中から前記信号レベルが所定の値より大きい音響信号を選択する音響信号選択部と、を備え、前記音源定位部は、前記音響信号選択部によって選択された音響信号を用いて、前記音源の方向を特定するようにしてもよい。
【００１１】
（６）また、本発明の一態様に係る音源定位装置は、前記複数の収音器それぞれが収録した音響信号の信号レベルを検出する検出部、を備え、前記判定部は、前記検出部が検出した前記信号レベルが所定の値以下であるか否かを判別し、前記信号レベルが所定の値以下である音響信号を収録した収音器をオフ状態に制御し、前記音源定位部は、オン状態の収音器が収録した音響信号を用いて、前記音源の方向を特定するようにしてもよい。
【００１２】
（７）上記目的を達成するため、本発明の一態様に係る音響処理システムは、音源定位ユニットと情報出力装置とを有する音響処理システムであって、前記音源定位ユニットは、音響信号を収録する複数の収音器を有する収音部と、前記収音部によって収録された音響信号を用いて、音源の方位角を推定する音源定位部と、前記音源の方向と、前記収音器によって収録された複数の音響信号とを、前記情報出力装置に送信する送信部と、を備え、前記情報出力装置は、前記音源定位ユニットから送信された前記音源の方向を示す情報と、前記複数の音響信号とを、受信する受信部と、前記受信部が受信した前記音源の方向を示す情報と、前記複数の音響信号とに基づいて、音源毎の音響信号を分離する音源処理を行う音源分離部と、判定部と、音源の方向を特定する音源定位部と、前記情報出力装置の表示部側に設けられた第１撮像部と、前記表示部の反対側に設けられた第２撮像部と、を備え、前記音源定位ユニットの前記複数の収音器は、前記情報出力装置の表示部側にｎ個（ｎは２以上の整数）設けられ、前記表示部の反対側にｍ個（ｍは２以上の整数）設けられ、前記ｎ個の収音器によって第１のマイクロフォンアレイが形成され、前記ｍ個の収音器によって第２のマイクロフォンアレイが形成され、前記判定部は、前記第１撮像部によって撮像された画像と、前記第２撮像部によって撮像された画像とに基づいて、前記第１のマイクロフォンアレイまたは前記第２のマイクロフォンアレイのいずれか１つのマイクロフォンアレイを選択し、前記音源定位部は、前記判定部によって選択された前記マイクロフォンアレイによって収録された音響信号を用いて前記音源の方向を特定する。
【００１３】
（８）また、本発明の一態様に係る音響処理システムにおいて、前記音源定位ユニットの前記送信部は、前記複数の収音器の位置を示す情報を送信し、前記情報出力装置の前記受信部は、前記音源定位ユニットから送信された前記複数の収音器の位置を示す情報を受信し、前記情報出力装置は、前記受信された前記複数の収音器の位置を示す情報に基づいて、前記収音器の配置に基づく情報を報知する報知手段、をさらに備えるようにしてもよい。
【００１４】
（９）上記目的を達成するため、本発明の一態様に係る音源定位装置の制御方法は、音源定位装置の表示部側に設けられた第１撮像部と、前記表示部の反対側に設けられた第２撮像部と、複数の収音器を有する収音部とを備える音源定位装置であって、前記複数の収音器は、前記音源定位装置の表示部側にｎ個（ｎは２以上の整数）設けられ、前記表示部の反対側にｍ個（ｍは２以上の整数）設けられ、前記ｎ個の収音器によって第１のマイクロフォンアレイが形成され、前記ｍ個の収音器によって第２のマイクロフォンアレイが形成され、音響信号を収録する複数の収音器を有する収音部のうち、少なくとも２つの前記収音器によって収録された前記音響信号に基づいて、音源の方向を特定する音源定位装置の制御方法において、報知手段が、センサによって検出された利用者による前記音源定位装置の向きに応じて、前記収音器の配置に基づく情報を報知する報知手順、を含む。
【００１５】
（１０）また、本発明の一態様に係る音源定位装置の制御方法であって、検出部が、前記複数の収音器それぞれが収録した音響信号の信号レベルを検出する検出手順と、音響信号選択部が、前記音響信号の中から前記信号レベルが所定の値より大きい音響信号を選択する音響信号選択手順と、音源定位部が、前記音響信号選択手順によって選択された音響信号を用いて、前記音源の方向を特定する音源定位手順と、を含むようにしてもよい。
【００１６】
（１１）また、本発明の一態様に係る音源定位装置の制御方法であって、検出部が、前記複数の収音器それぞれが収録した音響信号の信号レベルを検出する検出手順と、判定部が、前記検出手順によって検出された前記信号レベルが所定の値以下であるか否かを判別し、前記信号レベルが所定の値以下である音響信号を収録した収音器をオフ状態に制御する判定手順と、音源定位部が、前記判定手順によってオン状態にされた収音器が収録した音響信号を用いて、前記音源の方向を特定する音源定位手順と、を含むようにしてもよい。
【発明の効果】
【００１７】
上述した（１）の構成によれば、収音器の配置に基づく情報を報知することができる。これにより、本構成によれば、利用者は報知された情報を確認することで、収音器を覆わない位置に手を配置できる。この結果、本構成によれば、収音器が利用者の手によって覆われないため、複数の収音器が収録した音響信号を用いて、音源定位の精度を向上させることができる。
【００１８】
上述した（３）の構成によれば、収音器の配置に基づく情報を、表示部、枠、および装着物（例えばカバー、ケース、バンパー）のうち、少なくとも１つに表示され、または印字されているので、利用者は報知された情報を確認することで、収音器を覆わない位置に手を配置できる。この結果、本構成によれば、収音器が利用者の手によって覆われないため、複数の収音器が収録した音響信号を用いて、音源定位の精度を向上させることができる。
【００１９】
上述した（４）および（９）の構成によれば、利用者が音源定位装置を保持している状態に応じて、手を配置する位置を示す画像を表示させることができる。これにより、利用者は保持している状態によらず、報知された情報を確認することで、収音器を覆わない位置に手を配置できる。この結果、本構成によれば、収音部が利用者の手によって覆われないため、音源定位の精度を向上させることができる。
【００２０】
上述した（１）、（７）および（９）の構成によれば、表示部側の収音器によるマイクロフォンアレイを用いて音源定位を行うか、表示部側の反対側の収音器によるマイクロフォンアレイを用いて音源定位を行うかを、表示部側に設けられた第１撮像部によって撮像された撮像画像と、表示部側の反対側に設けられた第２撮像部によって撮像された撮像画像とに基づいて選択することができる。これにより、本構成によれば、音源の方向に向けられている側のマイクロフォンアレイを用いて音源定位を行うことができるので、音源定位の精度を向上させることができる。
【００２１】
上述した（２）、（５）、（６）、（１０）および（１１）の構成によれば、利用者の手によって覆われた音声信号のレベルの低い収音器を除外して音源定位、音源分離、および音声認識を行うことができるので、音源定位、音源分離、および音声認識の精度を向上することができる。
【００２２】
上述した（７）の構成によれば、音源定位装置は、音源定位ユニットから受信した複数の収音器で収録された音響信号と、音源の方位角を示す情報とに基づいて、音響信号分離処理を行うことができる。
上述した（８）の構成によれば、音源定位装置は、音源定位ユニットから受信した複数の収音器の位置を示す情報に基づいて、収音器の配置に基づく情報を報知することができる。これにより、本構成によれば、利用者は報知された情報を確認することで、収音器を覆わない位置に手を配置できる。この結果、本構成によれば、収音器が利用者の手によって覆われないため、複数の収音器が収録した音響信号を用いて、音源定位の精度を向上させることができる。
【図面の簡単な説明】
【００２３】
【図１】第１実施形態に係る音響処理システムの構成を示すブロック図である。
【図２】第１実施形態に係る収音器の配置について説明する図である。
【図３】第１実施形態に係る音源定位装置における第１画像の表示手順のフローチャートである。
【図４】第１実施形態に係る表示部に表示される音源定位アプリケーションを起動したときの画面の一例を説明する図である。
【図５】第１実施形態に係る横持ちの場合に表示部に表示される手を配置する位置を示す画像の例を説明する図である。
【図６】第１実施形態に係る縦持ちの場合に表示部に表示される手を配置する位置を示す画像の例を説明する図である。
【図７】第１実施形態に係る枠および表示部に表示される手を配置する位置を示す画像の例を説明する図である。
【図８】第１実施形態に係る装着物に予め印字されている手を配置する位置を示す画像の例を説明する図である。
【図９】第１実施形態に係る収音器が配置されている位置の報知例を説明する図である。
【図１０】第１実施形態に係る収音部が配置されている位置の報知の他の例を説明する図である。
【図１１】第１実施形態に係る縦持ちの場合に表示部に表示される手を配置する位置を示す画像の例を説明する図である。
【図１２】第２実施形態に係る音響処理システムの構成を示すブロック図である。
【図１３】第２実施形態に係る収音器２０１および収音器２０２の配置について説明する図である。
【図１４】第２実施形態に係る音源定位装置の動作手順のフローチャートである。
【図１５】第２実施形態に係る音源定位の結果の表示の一例を説明する図である。
【図１６】第２実施形態に係る音源定位の結果の表示の他の例を説明する図である。
【図１７】第２実施形態に係る両側の収音器と撮像部とを同時に使用する場合の音源定位装置の動作手順のフローチャートである。
【図１８】第２実施形態に係る音響処理システムの構成を示すブロック図である。
【図１９】第２実施形態に係る収音器の配置と、利用者の手が置かれた状態の一例を説明する図である。
【図２０】第２実施形態に係る利用者の手によって覆われている場合における音源定位装置の動作手順のフローチャートである。
【図２１】第３実施形態に係る本実施形態に係る音響処理システムの構成を示すブロック図である。
【発明を実施するための形態】
【００２４】
［第１実施形態］
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る音響処理システム１の構成を示すブロック図である。図１に示すように、音響処理システム１は、音源定位装置１０および収音部２０を備える。
【００２５】
収音部２０は、例えば周波数帯域（例えば２００Ｈｚ〜４ｋＨｚ）の成分を有する音波を受信するｎ個の収音器２０１−１〜２０１−ｎ（ｎは２以上の整数）を備える。なお、収音器２０１−１〜２０１−ｎのうちいずれか１つを特定しない場合は、収音器２０１という。収音器２０１は、マイクロフォンである。すなわち、収音部２０は、ｎ個の収音器２０１を備える第１のマイクロフォンアレイを形成する。収音器２０１−１〜２０１−ｎそれぞれは、収音した音響信号を音源定位装置１０に出力する。収音部２０は、収録したｎチャネルの音響信号を無線で送信してもよいし、有線で送信してもよい。送信の際にチャネル間で音響信号が同期していればよい。また、収音部２０は、音源定位装置１０に取り外し可能なように取り付けられていてもよく、音源定位装置１０に内蔵されていてもよい。以下の例では、収音部２０が、音源定位装置１０に内蔵されていている例を説明する。
【００２６】
音源定位装置１０は、例えば、携帯端末、タブレット端末、携帯ゲーム端末、ノート型のパソコン等である。なお、以下の説明では、音源定位装置１０がタブレット端末である例を説明する。音源定位装置１０は、収音器２０１の配置に基づく情報を、音源定位装置１０の表示部、または音源定位装置１０に装着されるカバーあるいはケースに報知する。また、音源定位装置１０は、収音部２０から入力される音響信号に基づいて、音源の位置を特定（音源定位ともいう）する。
【００２７】
次に、収音器２０１の配置について説明する。
図２は、本実施形態に係る収音器２０１の配置について説明する図である。図２において、音源定位装置１０の短手方向をｘ軸方向、長手方向をｙ軸方向、厚み方向をｚ軸方向とする。図２に示す例では、収音部２０が、７個の収音器２０１を備えている。また、７個の収音器２０１は、ｘｙ平面内に配置され、音源定位装置１０の表示部１１０の略周辺部１１（枠ともいう）に取り付けられている。なお、図２に示した収音器２０１の個数及び配置は一例であり、収音器２０１の個数及び配置はこれに限られない。また、図２において、符号Ｓｐは音源を示している。
【００２８】
次に、図１に戻って音源定位装置１０の構成について説明する。音源定位装置１０は、センサ１０１、取得部１０２、判定部１０３、記憶部１０４、第１画像生成部１０５、音響信号取得部１０６、音源定位部１０７、第２画像生成部１０８、画像合成部１０９、表示部１１０、操作部１１１、アプリケーション制御部１１２、音源分離部１２４、および音声出力部１２９を備える。
【００２９】
センサ１０１は、音源定位装置１０のｘ軸（図１参照）回りのピッチ（ｐｉｔｃｈ）、ｙ軸回りのロール（ｒｏｌｌ）、ｚ軸回りのヨー（ｙａｗ）を検出し、検出したピッチとロールとヨーとを回転角情報として取得部１０２に出力する。センサ１０１は、例えば地磁気センサと加速度センサである。または、センサ１０１は、音源定位装置１０の角速度を検出し、検出した角速度を取得部１０２に出力する。角速度を検出するセンサ１０１は、例えば３軸のジャイロセンサである。なお、センサ１０１が検出するピッチとロールとヨーは、図２に示した音源定位装置１０における座標系（以下、デバイス座標系という）ではなく、世界座標系における値である。また、実施形態において傾き情報とは、回転角情報または角速度情報である。
【００３０】
取得部１０２は、センサ１０１が検出した回転角情報または角速度を取得し、取得した回転角情報または角速度を判定部１０３に出力する。
【００３１】
判定部１０３は、アプリケーション制御部１１２から入力された起動情報に応じて、取得部１０２から入力された回転角情報または角速度に基づいて、音源定位装置１０の向きの判定を開始する。なお、判定部１０３は、音源定位装置１０が起動されている間、常時、判定を行うようにしてもよい。判定部１０３は、判定した判定結果を第１画像生成部１０５に出力する。ここで、音源定位装置１０の向きとは、音源定位装置１０が利用者によって、横持ちされている向きであるか、縦持ちされている向きであるかである。横持ちされている向きとは、図２に示したように、長手方向がｙ軸方向に沿い、短手方向がｘ軸方向に沿い、短手方向の枠を利用者が保持する向きである。また、縦持ちされている向きとは、図６に示すように、長手方向がｘ軸方向に沿い、短手方向がｙ軸方向に沿い、長手方向の枠を利用者が保持する向きである。判定結果には、縦持ちされている向きであることを示す情報、または横持ちされている向きを示す情報が含まれる。なお、図６については、後述する。
【００３２】
記憶部１０４には、人の指の形または手の形を示す情報が記憶されている。
第１画像生成部１０５は、判定部１０３から入力された判定結果に基づき、記憶部１０４に記憶されている人の指の形または手の形を示す情報を用いて、表示部１１０上に表示する手を配置する位置を示す画像（第１画像）を生成する。なお、手を配置する位置を示す画像については後述する。第１画像生成部１０５は、生成した手を配置する位置を示す画像を画像合成部１０９に出力する。
【００３３】
音響信号取得部１０６は、収音部２０のｎ個の収音器２０１によって収録されたｎ個の音響信号を取得する。音響信号取得部１０６は、取得したｎ個の音響信号に対し、時間領域において、フレーム毎にフーリエ変換を行うことで周波数領域の入力信号を生成する。音響信号取得部１０６は、フーリエ変換したｎ個の音響信号を音源定位部１０７に出力する。
【００３４】
音源定位部１０７は、アプリケーション制御部１１２から入力された起動情報に応じて、音響信号取得部１０６から入力された音響信号に基づいて、音源Ｓｐの方位角の推定（音源の方向を特定する、音源定位を行うともいう）を開始する。なお、音源定位部１０７は、音源定位装置１０が起動されている間または収音部２０が接続されている間、常時、音源Ｓｐの方位角の推定を行うようにしてもよい。音源定位部１０７は、推定した方位角を示す方位角情報を第２画像生成部１０８に出力する。また、音源定位部１０７は、音源分離部１２４に、入力された音響信号と方位角情報とを出力する。音源定位部１０７が推定する方位角は、例えば、当該ｎ個の収音器２０１が配置されている平面内において、収音部２０が備えるｎ個の収音器２０１の位置の重心点から、当該ｎ個の収音器２０１のうち予め定めた１個の収音器２０１への方向を基準とした方向である。音源定位部１０７は、例えば、ＭＵＳＩＣ（Ｍｕｌｔｉｐｌｅ  Ｓｉｇｎａｌ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）法を用いて方位角を推定する。なお、方位角の推定には、ビームフォーミング（Ｂｅａｍ  Ｆｏｒｍｉｎｇ）法、ＷＤＳ−ＢＦ（Ｗｅｉｇｈｔｅｄ  Ｄｅｌａｙ  ａｎｄ  Ｓｕｍ  Ｂｅａｍ  Ｆｏｒｍｉｎｇ；重み付き遅延和ビームフォーミング）法、一般化特異値展開を用いたＭＵＳＩＣ（ＧＳＶＤ−ＭＵＳＩＣ；Ｇｅｎｅｒａｌｉｚｅｄ  Ｓｉｎｇｕｌａｒ  Ｖａｌｕｅ  Ｄｅｃｏｍｐｏｓｉｔｉｏｎ−Ｍｕｌｔｉｐｌｅ  Ｓｉｇｎａｌ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）法等の他の音源方向推定方式を用いてもよい。
【００３５】
第２画像生成部１０８は、音源定位部１０７から入力された方位角情報に基づいて、音源の方向を示す画像（第２画像）を生成し、生成した音源の方向を示す画像を画像合成部１０９に出力する。
【００３６】
画像合成部１０９は、第１画像生成部１０５から入力された手を配置する位置を示す画像を、表示部１１０に表示されている画像に合成して、合成した画像を表示部１１０に表示させる。また、画像合成部１０９は、第２画像生成部１０８から入力された音源の方向を示す画像を、表示部１１０に表示されている画像に合成して、合成した画像を表示部１１０に表示させる。ここで、表示部１１０に表示されている画像とは、音源定位を行うアプリケーションの起動後の画像、表示部１１０にアプリケーションのアイコンが表示されている画像等である。
【００３７】
表示部１１０は、例えば液晶表示パネル、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）表示パネル等である。表示部１１０は、画像合成部１０９によって合成された画像を表示する。
操作部１１１は、利用者からの操作入力を検出し、検出した結果に基づく操作情報をアプリケーション制御部１１２に出力する。操作部１１１は、例えば、表示部１１０上に設けられているタッチパネル方式のセンサである。
【００３８】
アプリケーション制御部１１２は、操作部１１１から入力された操作情報に応じて、音源定位のアプリケーション（以下、音源定位アプリケーションという）を起動する。音源定位アプリケーションを起動後、アプリケーション制御部１１２は、アプリケーションの起動後の画像を生成し、生成したアプリケーションの起動後の画像を画像合成部１０９に出力する。また、音源定位アプリケーションを起動後、アプリケーション制御部１１２は、アプリケーションが起動されたことを示す起動情報を、判定部１０３と音源定位部１０７に出力する。
【００３９】
音源分離部１２４は、音源定位部１０７が出力したｎチャネルの音響信号を取得し、取得したｎチャネルの音響信号を、例えばＧＨＤＳＳ（Ｇｅｏｍｅｔｒｉｃ  Ｈｉｇｈ−ｏｒｄｅｒ  Ｄｅｃｏｒｒｅｌａｔｉｏｎ−ｂａｓｅｄ  Ｓｏｕｒｃｅ  Ｓｅｐａｒａｔｉｏｎ）法を用いて話者毎の音響信号に分離する。または、音源分離部１２４は、例えば独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ；ＩＣＡ）法を用いて、音源分離処理を行ってもよい。音源分離部１２４は、分離した話者毎の音響信号を音声出力部１２９に出力する。なお、音源分離部１２４は、例えば自部に記憶されている室内の伝達関数を用いて、雑音と話者の音響信号とを分離した後、話者毎の音響信号を分離するようにしてもよい。音源分離部１２４は、例えばｎチャネルの音響信号毎に音響特徴量を算出し、算出した音響特徴量及び音源定位部１０７から入力された方位角情報に基づいて、話者毎の音響信号に分離するようにしてもよい。
【００４０】
音声出力部１２９は、スピーカである。音声出力部１２９は、音源分離部１２４から入力された音響信号を再生する。
【００４１】
次に、音源定位装置１０における第１画像の表示手順を説明する。
図３は、本実施形態に係る音源定位装置１０における第１画像の表示手順のフローチャートである。
（ステップＳ１）利用者は、操作部１１１を操作して、音源定位アプリケーションのアイコンを選択する。アプリケーション制御部１１２は、操作部１１１から入力された操作情報に応じて、音源定位アプリケーションを起動する。音源定位アプリケーションを起動後、アプリケーション制御部１１２は、アプリケーションが起動されたことを示す起動情報を、判定部１０３と音源定位部１０７に出力する。
【００４２】
（ステップＳ２）判定部１０３は、アプリケーション制御部１１２から入力された起動情報に応じて、取得部１０２から入力された回転角情報または角速度に基づいて、音源定位装置１０の向きの判定を開始する。続けて、判定部１０３は、音源定位装置１０が横持ちされているか、縦持ちされているかを判定する。
【００４３】
（ステップＳ３）第１画像生成部１０５は、判定部１０３から入力された判定結果に基づき、記憶部１０４に記憶されている人の指の形または手の形を示す情報を用いて、表示部１１０上に表示する手を配置する位置を示す画像（第１画像）を生成する。
【００４４】
（ステップＳ４）画像合成部１０９は、第１画像生成部１０５から入力された手を配置する位置を示す画像を、表示部１１０に表示されている画像に合成して、合成した画像を表示部１１０に表示させる。
以上で、音源定位装置１０における第１画像の表示手順を終了する。
【００４５】
次に、音源定位部１０７が行う音源定位の処理の一例を説明する。
音源定位部１０７は、例えば、ＭＵＳＩＣ法を用いる場合、次式（１）を用いて空間スペクトルＰＭ（θ）を推定する。
【００４６】
【数１】
0006613503.tif 000002
【００４７】
式（１）において、Ｅｎは［ｅＮ＋１，・・・．ｅＭ］である。また、Ｎは音源の数、Ｍは収音器の個数である。また、［ｅＮ＋１，・・・．ｅＭ］は固有ベクトルである。上付きＨは、共役転置を表す。
ここで、仮想的な音源がθ方向にある場合のステアリングベクトルｖ（θ）が、音源のステアリングベクトルａｉと一致（ｖ（θ）  ＝  ａｉ）するとき、次式（２）のように表される。
【００４８】
【数２】
0006613503.tif 000003
【００４９】
式（２）より、ＰＭ（θ）はｖ（θ）＝ａｉにおいてピークを持つ。このピークとなる角度が、音源の方位角である。
【００５０】
次に、表示部１１０に表示される画像の例を説明する。
まず、表示部１１０に表示される音源定位アプリケーションを起動したときの画面の一例を説明する。
図４は、本実施形態に係る表示部１１０に表示される音源定位アプリケーションを起動したときの画面の一例を説明する図である。図４に示す例では、表示部１１０に、「音源定位開始」ボタンの画像ｇ１０１、「音源定位終了」ボタンの画像ｇ１０２、「マイクロフォン位置表示」ボタンの画像ｇ１０３、および「音源定位結果表示」ボタンの画像ｇ１０４が表示される。
【００５１】
「音源定位開始」ボタンの画像ｇ１０１は、音源定位処理を開始するボタンの画像である。「音源定位終了」ボタンの画像ｇ１０２は、音源定位処理を終了するボタンの画像である。「マイクロフォン位置表示」ボタンの画像ｇ１０３は、音源定位装置１０に内蔵されている収音器２０１の位置を表示させるボタンの画像である。「音源定位結果表示」ボタンの画像ｇ１０４は、音源定位処理の結果を表示するボタンの画像である。なお、「音源定位結果表示」ボタンが利用者によって選択された場合に、音源分離部１２４は、分離した音響信号を音声出力部１２９に出力するようにしてもよい。
【００５２】
なお、図４に示した例では、音源定位アプリケーションの起動後に、「音源定位開始」ボタンの画像ｇ１０１および「音源定位終了」ボタンの画像ｇ１０２が表示部１１０上に表示される例を示したが、これに限られない。例えば、音源定位アプリケーションが起動されたときに音源定位処理を開始し、音源定位アプリケーションが終了されたときに音源定位処理を終了することで、「音源定位開始」ボタンの画像ｇ１０１および「音源定位終了」ボタンの画像ｇ１０２を表示部１１０上に表示しなくてもよい。
【００５３】
次に、表示部１１０に表示される手を配置する位置を示す画像（第１画像）の例を、図５および図６を用いて説明する。
図５は、本実施形態に係る横持ちの場合に表示部１１０に表示される手を配置する位置を示す画像（第１画像）の例を説明する図である。図５において、表示部１１０上には、音源定位装置１０を保持するために、利用者の手を配置する位置を示す画像ｇ１１１とｇ１１２とが表示される。画像ｇ１１１は、左手を配置する位置を示す画像であり、画像ｇ１１２は、右手を配置する位置を示す画像である。
【００５４】
図６は、本実施形態に係る縦持ちの場合に表示部１１０に表示される手を配置する位置を示す画像（第１画像）の例を説明する図である。図６において、表示部１１０上には、音源定位装置１０を保持するために、利用者の手を配置する位置を示す画像ｇ１２１とｇ１２２とが表示される。画像ｇ１２１は、左手を配置する位置を示す画像であり、画像ｇ１２２は、右手を配置する位置を示す画像である。
【００５５】
図５および図６に示す例では、第１画像として、手の形状の画像の例を説明したが、これに限られない。手を配置する位置を示す画像であれば、例えば、長円形の画像、四角の画像等であってもよい。
また、第１画像は、図５および図６に示すように、手の輪郭の画像であってもよい。これにより、表示部１１０上に表示されている音源定位アプリケーションの画像等を遮る面積を低減することができる。
また、第１画像は、表示部１１０上に表示されている音源定位アプリケーションの画像の上に半透明な画像として重ねて表示するようにしてもよい。これにより、表示部１１０上に表示されている音源定位アプリケーションの画像等を遮ることを防ぐことができる。
【００５６】
以上のように、本実施形態の音源定位装置１０は、音響信号を収録する複数の収音器２０１を有する収音部２０のうち、少なくとも２つの収音器によって収録された音響信号に基づいて、音源の方向を特定する音源定位装置において、収音器の配置に基づく情報を報知する報知手段（例えば、第１画像生成部１０５、画像合成部１０９、表示部１１０）を備える。
【００５７】
この構成によって、利用者は報知された情報を確認することで、収音器を覆わない位置に手を配置できる。この結果、本実施形態の音源定位装置１０は、収音器が利用者の手によって覆われないため、複数の収音器が収録した音響信号を用いて、音源定位の精度を向上させることができる。
【００５８】
また、本実施形態の音源定位装置１０において、報知手段（例えば、第１画像生成部１０５、画像合成部１０９、表示部１１０）は、表示部１１０に利用者の手を置く位置を示す情報を報知する。
【００５９】
この構成によって、本実施形態の音源定位装置１０は、表示部１１０上に手を配置する位置を示す画像を表示させるようにしたので、利用者は報知された情報を確認することで、収音器２０１を覆わない位置に手を配置できる。この結果、本実施形態の音源定位装置１０は、収音器２０１が利用者の手によって覆われないため、音源定位の精度を向上させることができる。
【００６０】
また、本実施形態の音源定位装置１０は、利用者による音源定位装置１０の向きを検出するセンサ１０１、をさらに備え、報知手段（例えば、第１画像生成部１０５、画像合成部１０９、表示部１１０）は、センサが検出した向きに応じて、収音器２０１の配置に基づく情報を報知する。
【００６１】
この構成によって、本実施形態の音源定位装置１０は、利用者が音源定位装置１０を保持している向きに応じて、手を配置する位置を示す情報を報知させることができる。これにより、利用者は保持している向きによらず、報知された情報を確認することで、収音器２０１を覆わない位置に手を配置できる。この結果、本実施形態の音源定位装置１０は、収音器２０１が利用者の手によって覆われないため、音源定位の精度を向上させることができる。
【００６２】
なお、図５および図６に示すように、収音器２０１は、枠１１に配置されている。音源定位装置１０が横持ちまたは縦持ち専用の場合、利用者が、一般的に縦持ちのときに音源定位装置１０を保持する際に手を配置すると想定される位置、または横持ちのときに音源定位装置１０を保持する際に手を配置すると想定される位置を避けて収音器２０１を配置するようにしてもよい。
【００６３】
また、本実施形態では、表示部１１０上に第１画像を表示させる例を説明したが、これに限られない。枠１１に、例えば不図示の液晶パネルが取り付けられている場合、画像合成部１０９は、第１画像を枠１１に表示させるようにしてもよい。この場合、枠１１に表示される画像は、手の輪郭または手の形状の画像であるため、枠１１に取り付けられている液晶パネルは、白黒の液晶パネルであってもよい。また、枠１１に取り付けられている液晶パネルは、バックライトを備えていなくてもよい。
【００６４】
すなわち、本実施形態の音源定位装置１０において、報知手段（例えば、第１画像生成部１０５、画像合成部１０９、表示部１１０）は、表示部１１０の枠１１に利用者の手を置く位置を示す情報を報知する。
これにより、本実施形態の音源定位装置１０は、表示部１１０に表示されている画像を遮ることなく、手を配置する位置を示す画像を枠１１に表示させることができる。
【００６５】
なお、図７に示すように、枠１１と表示部１１０との両方に手の輪郭または手の形状の画像を連続させて表示させるようにしてもよい。
図７は、本実施形態に係る枠１１および表示部１１０に表示される手を配置する位置を示す画像（第１画像）の例を説明する図である。図７において、枠１１および表示部１１０上には、音源定位装置１０を保持するために、利用者の手を配置する位置を示す画像ｇ１３１とｇ１３２とが表示される。画像ｇ１３１は、左手を配置する位置を示す画像であり、画像ｇ１３２は、右手を配置する位置を示す画像である。
また、符号ｇ１３１１が示す領域の画像は、枠１１に表示される手を配置する位置を示す画像であり、符号ｇ１３１２が示す領域の画像は、表示部１１０に表示される手を配置する位置を示す画像である。
なお、図７に示した例では、枠１１と表示部１１０との両方に、手を配置する位置を示す画像を表示させる例を示したが、枠１１のみに手を配置する位置を示す画像を表示させるようにしてもよい。
【００６６】
また、本実施形態では、手を配置する位置を示す画像を枠１１または表示部１１０に表示させる例を説明したが、これに限られない。手を配置する位置を示す画像が、枠１１または表示部１１０に予め印字されていてもよい。
すなわち、本実施形態の音源定位装置１０において、報知手段は、表示部１１０の枠１１に手を置く位置が印字されている。
これによって、本実施形態の音源定位装置１０では、利用者が収音器２０１を遮ることなく、音源定位装置１０を保持することができる。この結果、本実施形態の音源定位装置１０は、収音器２０１が遮られないため、音源定位の精度を向上させることができる。
【００６７】
また、手を配置する位置を示す画像は、音源定位装置１０に装着される装着物が不図示の液晶パネルを備える場合、画像合成部１０９は、第１画像を装着物に表示させるようにしてもよい。この場合、装着物に表示される画像は、手の輪郭または手の形状の画像であるため、装着物に取り付けられている液晶パネルは、白黒の液晶パネルであってもよい。なお、装着物とは、例えば、カバー、ケース、バンパー等である。
【００６８】
すなわち、本実施形態の音源定位装置１０において、報知手段（例えば、第１画像生成部１０５、画像合成部１０９、表示部１１０）は、音源定位装置１０に装着される装着物３０（例えば、カバー、ケース、バンパー）に利用者の手を置く位置を報知する。
これにより、本実施形態の音源定位装置１０は、表示部１１０に表示されている画像を遮ることなく、手を配置する位置を示す画像を枠１１に表示させることができる。
【００６９】
この場合、音源定位装置１０は不図示の通信部を備え、装着物は、不図示の電源部、通信部、制御部、および液晶パネルを備える。例えば、音源定位装置１０の画像合成部１０９は、通信部を介して第１画像を、装着物に送信する。装着物の制御部は、通信部を介して第１画像を受信し、受信した第１画像を液晶パネルに表示させる。なお、音源定位装置１０と、装着物とは、有線または無線で接続されている。
【００７０】
このように、音源定位装置１０に装着物が装着される場合、装着物が収音部２０を備えるようにしてもよい。この場合、装着物に手を配置する位置を示す画像が予め印字されていてもよい。
図８は、本実施形態に係る装着物３０に予め印字されている手を配置する位置を示す画像の例を説明する図である。図８において、画像ｇ１４１は、装着物３０に予め印字されている左手を配置する位置を示す画像であり、画像ｇ１４２は、装着物３０に予め印字されている右手を配置する位置を示す画像である。
【００７１】
以上のように、本実施形態の音源定位装置１０において、報知手段は、音源定位装置１０に装着される装着物３０（例えば、カバー、ケース、バンパー）に利用者の手を置く位置が印字されている。
これにより、本実施形態の音源定位装置１０は、表示部１１０に表示されている画像を遮ることなく、手を配置する位置を示す画像を装着物３０に表示させることができる。
音源定位装置１０に装着物３０が装着される場合、装着物３０に、収音器２０１が取り付けられている位置が予め印字されていてもよい。
【００７２】
また、図４で示した「マイクロフォン位置表示」ボタンが利用者によって操作された場合、アプリケーション制御部１１２は、収音器２０１が配置されている位置を、枠１１、表示部１１０、または装着物３０に表示させるようにしてもよい。
この場合、例えば、図９に示すように、収音器２０１の周囲に不図示の導光板とＬＥＤ（発光ダイオード）とを、収音器２０１毎に配置する。そして、アプリケーション制御部１１２は、図９の符号３０１に示すようにＬＥＤを点灯または点滅させることで収音器２０１が配置されている位置を報知するようにしてもよい。
図９は、本実施形態に係る収音器２０１が配置されている位置の報知例を説明する図である。なお、図９に示す例では、収音器２０１の周辺部を点灯または点滅させることで収音器２０１が配置されている位置を報知する例を説明したが、収音器２０１の一部または全体の位置を点灯または点滅させることで収音器２０１が配置されている位置を報知するようにしてもよい。
【００７３】
また、アプリケーション制御部１１２は、収音器２０１が配置されている位置の報知を、表示部１１０上に表示させるようにしてもよい。
図１０は、本実施形態に係る収音器２０１が配置されている位置の報知の他の例を説明する図である。図１０に示す例では、矢印３１１の画像を表示部１１０上に表示させることで、収音器２０１の位置を報知する例である。なお、収音器２０１の位置を報知する画像は、後述する第２画像である音源Ｓｐの方向を示す画像と異なる画像であることが望ましい。
【００７４】
以上のように、本実施形態の音源定位装置１０において、報知手段（例えば、第１画像生成部１０５、画像合成部１０９、表示部１１０、アプリケーション制御部１１２）は、収音器２０１が配置されている位置を報知する。
これにより、本実施形態の音源定位装置１０は、収音器２０１の位置を利用者に報知することができる。利用者は、報知された画像やＬＥＤの点灯または点滅によって、収音器２０１の位置を知ることができるので、収音器２０１が配置されている位置を避けて、音源定位装置１０を保持することができる。この結果、本実施形態によれば、収音器２０１が遮られることを防ぐことができるので、音源定位の精度を向上させることができる。
【００７５】
また、実施形態において、報知手段とは、表示部１１０に利用者の手を置く位置を示す情報を報知する手段、表示部１１０の枠に利用者の手を置く位置を示す情報を報知する手段、音源定位装置１０に装着される装着物３０に利用者の手を置く位置を報知する手段、表示部１１０の枠１１に手を置く位置が印字されている手段、装着物３０に手を置く位置置が印字されている手段、および収音器２０１が配置されている位置を報知する手段のうち、少なくとも１つの手段である。
【００７６】
＜変形例＞
本実施形態では、音源定位装置１０の例としてタブレット端末を例に説明したが、音源定位装置１０は、例えばスマートフォンであってもよい。
音源定位装置１０の横幅が、例えば８ｃｍ以内の場合、利用者は、音源定位装置１０Ａを右手か左手の片手で保持する場合もある。このような場合、図１１に示すように、表示部１１０上に表示される手を配置する位置を示す画像（第１画像）は、片方の手の輪郭または外形の画像であってもよい。
【００７７】
図１１は、本実施形態に係る縦持ちの場合に表示部１１０に表示される手を配置する位置を示す画像（第１画像）の例を説明する図である。図１１に示す例において、音源定位装置１０Ａは、例えばスマートフォンであり、表示部１１０の画面の大きさは、例えば５インチである。
図１１において、表示部１１０上には、音源定位装置１０Ａを保持するために、利用者の手を配置する位置を示す画像ｇ１５１が表示される。画像ｇ１５１は、左手を配置する位置を示す画像である。
【００７８】
なお、表示部１１０に表示される手を配置する位置を示す画像（第１画像）は、例えば音源定位アプリケーションにおいて、右手の画像を表示させるか、左手の画像を表示させるか、および両手の画像を表示させるかのうち、１つを選択する。そして、アプリケーション制御部１１２は、選択された情報を判定部１０３に出力する。判定部１０３は、アプリケーション制御部１１２から入力された選択された情報を第１画像生成部１０５に出力する。そして、第１画像生成部１０５は、判定部１０３から入力された選択された情報に基づいて、第１画像を生成するようにしてもよい。
また、音源定位装置１０Ａにおいても、枠１１に不図示の液晶パネルが組み込まれている場合、画像合成部１０９は、第１画像を枠１１に表示させるようにしてもよい。また、画像合成部１０９は、枠１１、および装着物３０のうち、少なくとも１つに、手を配置する位置を示す画像が予め印字されていてもよい。さらに、装着物３０が液晶パネルを有する場合、画像合成部１０９は、装着物３０に手を配置する位置を示す画像を表示させるようにしてもよい。
【００７９】
また、本実施形態では、記憶部１０４に予め手の輪郭や形状を示す画像が記憶されている例を説明したが、これに限られない。例えば、音源定位の処理を行う前に、音源定位装置１０または音源定位装置１０Ａを利用者が保持したとき、操作部１１１上で、所定の面積以上が接している領域を、例えばアプリケーション制御部１１２が、利用者の手が置かれている領域として検出する。そして、アプリケーション制御部１１２は、検出した結果に基づいて、利用者毎の手の輪郭や形状を示す画像が生成し、生成した手の輪郭や形状を示す画像を記憶部１０４に記憶させるようにしてもよい。
【００８０】
［第２実施形態］
第１実施形態では、音源定位装置１０または音源定位装置１０Ａの表示部１１０側に、収音器２０１を備える例を説明したが、本実施形態では、音源定位装置１０Ｂが、収音器を表示部側と、表示部とは反対側の底面側とに備える例を説明する。
まず、音源定位装置１０Ｂが、表示部側の収音器、または底面側の収音器のうち、一方の側の収音器を用いて、音源の方向を推定（特定ともいう）行い、音源の分離処理を行う例を説明する。
【００８１】
図１２は、本実施形態に係る音響処理システム１Ｂの構成を示すブロック図である。図１２に示すように、音響処理システム１Ｂは、音源定位装置１０Ｂ、収音部２０Ｂ、および撮像部４０を備える。なお、以下の説明では、表示部側を表側とし、表示部と反対側の底側を裏側とする。
【００８２】
収音部２０Ｂは、ｎ個の収音器２０１に加え、さらにｍ個の収音器２０２−１〜２０２−ｍを備える。なお、収音器２０２−１〜２０１−ｍ（ｍは２以上の整数）のうちいずれか１つを特定しない場合は、収音器２０２という。ｎとｍとは、同じ値であってもよい。収音部２０Ｂは、ｎ個の収音器２０１によって第１のマイクロフォンアレイを形成し、またはｍ個の収音器２０２によって第２のマイクロフォンアレイを形成する。収音器２０１−１〜２０１−ｎ、収音器２０２−１〜２０２−ｍそれぞれは、収音した音響信号を音源定位装置１０Ｂに出力する。収音部２０Ｂは、収録したｎチャネルまたはｍチャネルの音響信号を無線で送信してもよいし、有線で送信してもよい。また、収音部２０Ｂは、音源定位装置１０Ｂに取り外し可能なように取り付けられていてもよく、音源定位装置１０Ｂに内蔵されていてもよい。以下の例では、収音部２０Ｂが、音源定位装置１０Ｂに内蔵されていている例を説明する。なお、以下の説明では、収音器２０１を表マイクともいい、収音器２０２を裏マイクともいう。
【００８３】
撮像部４０は、第１撮像部４１および第２撮像部４２を備える。撮像部４０は、撮像した撮像画像を音源定位装置１０Ｂに出力する。撮像部４０は、撮像画像を無線で送信してもよいし、有線で送信してもよい。また、撮像部４０は、音源定位装置１０Ｂに取り外し可能なように取り付けられていてもよく、音源定位装置１０Ｂに内蔵されていてもよい。以下の例では、撮像部４０が、音源定位装置１０Ｂに内蔵されていている例を説明する。おな、以下の説明では、第１撮像部４１を表カメラともいい、第２撮像部４２を裏カメラともいう。
【００８４】
音源定位装置１０Ｂは、音源定位装置１０と同様に、例えば、携帯端末、タブレット端末、携帯ゲーム端末、ノート型のパソコン等である。なお、以下の説明では、音源定位装置１０Ｂがタブレット端末である例を説明する。音源定位装置１０Ｂは、収音器２０１および２０２の配置に基づく情報を、音源定位装置１０Ｂの表示部１１０、または音源定位装置１０Ｂに装着される装着物３０（図８）に報知する。また、音源定位装置１０Ｂは、収音部２０Ｂから入力される音響信号に基づいて、音源定位を行う。さらに、音源定位装置１０Ｂは、第１撮像部４１および第２撮像部４２によって撮像された画像情報に基づいて、収音器２０１（表マイク）を用いて音源定位を行うか、収音器２０２（裏マイク）を用いて音源定位を行うか決定する。
【００８５】
次に、収音器２０１および収音器２０２の配置について説明する。
図１３は、本実施形態に係る収音器２０１および収音器２０２の配置について説明する図である。図１３において、音源定位装置１０Ｂの短手方向をｘ軸方向、長手方向をｙ軸方向、厚み方向をｚ軸方向とする。図１３に示す例では、収音部２０Ｂが８個の収音器２０１を表側に備え、８個の収音器２０２を裏側に備えている。８個の収音器２０１は、ｘｙ平面内において音源定位装置１０Ｂの表側に配置され、音源定位装置１０Ｂの表示部１１０の略周辺部１１（枠ともいう）に取り付けられている。８個の収音器２０２は、ｘｙ平面内において音源定位装置１０Ｂの裏側に配置され、音源定位装置１０Ｂの略周辺部に取り付けられている。なお、図１３に示した収音器２０１および収音器２０２の個数及び配置は一例であり、収音器２０１および収音器２０２の個数及び配置はこれに限られない。
【００８６】
次に、図１２に戻って音源定位装置１０Ｂの構成について説明する。音源定位装置１０Ｂは、センサ１０１、取得部１０２、判定部１０３Ｂ、記憶部１０４、第１画像生成部１０５、音響信号取得部１０６Ｂ、音源定位部１０７、第２画像生成部１０８、画像合成部１０９Ｂ、表示部１１０、操作部１１１、アプリケーション制御部１１２、音響信号レベル検出部１２１、画像取得部１２２、検出部１２３、音源分離部１２４、言語情報抽出部１２５、音声認識部１２６、第３画像生成部１２７、出力音声選択部１２８、および音声出力部１２９を備える。なお、音源定位装置１０と同じ機能を有する機能部には、同じ符号を用いて説明を省略する。
【００８７】
音響信号取得部１０６Ｂは、収音部２０Ｂのｍ個の収音器２０２によって収録されたｍ個の音響信号をさらに取得する。音響信号取得部１０６Ｂは、取得したｍ個の音響信号に対し、時間領域において、フレーム毎にフーリエ変換を行うことで周波数領域の入力信号を生成する。音響信号取得部１０６Ｂは、フーリエ変換したｎ個またはｍ個の音響信号に収音器２０１または収音器２０２を識別するための識別情報を関連付けて音響信号レベル検出部１２１に出力する。なお、識別情報には、第１収音部２１が収音した音響信号であることを示す情報、または第２収音部２２が収音した音響信号であることを示す情報が含まれている。
【００８８】
音源定位部１０７は、推定した方位角情報を第２画像生成部１０８に出力し、方位角情報と入力された音響信号とを音源分離部１２４に出力する。
音響信号レベル検出部１２１は、収音部２０Ｂから入力されたｎ個またはｍ個の音響信号それぞれの信号レベルを検出し、検出した信号レベルを示す情報に収音器２０１または収音器２０２の識別情報を関連付けて、判定部１０３Ｂに出力する。
【００８９】
画像取得部１２２は、第１撮像部４１によって撮像された撮像画像または第２撮像部４２によって撮像された撮像画像を取得し、取得した撮像画像に第１撮像部４１または第２撮像部４２を識別するための識別情報を関連付けて検出部１２３に出力する。
【００９０】
検出部１２３は、画像取得部１２２から入力された撮像画像を用いて、例えば撮像画像の輝度を検出することで、撮像に使用されている第１撮像部４１または第２撮像部４２を検出する。具体的には、利用者が音源定位アプリケーションの操作画面において、撮像に使用する撮像部を選択する。例えば、利用者が第１撮像部４１を選択した場合、アプリケーション制御部１１２は、選択された撮像部を示す情報を判定部１０３Ｂに出力する。そして、判定部１０３Ｂは、入力された撮像部を示す情報に応じて、第１撮像部４１をオン状態に制御し、選択されていない第２撮像部４２をオフ状態に制御する。これにより、検出部１２３は、第１撮像部４１によって撮像された撮像画像の輝度は所定値以上であることが検出でき、第２撮像部４２によって撮像された撮像画像の輝度は所定値未満であることが検出できる。
検出部１２３は、検出した検出結果を示す情報に第１撮像部４１または第２撮像部４２の識別情報を関連付けて、判定部１０３Ｂに出力する。
【００９１】
判定部１０３Ｂは、判定部１０３の処理に加えて、さらに以下の処理を行う。判定部１０３Ｂは、撮像部４０がオン状態の場合、検出部１２３から入力された検出結果を示す情報と第１撮像部４１または第２撮像部４２の識別情報とを用いて、第１収音部２１または第２収音部２２をオン状態に制御する。また、判定部１０３Ｂは、撮像部４０がオフ状態の場合、音響信号レベル検出部１２１から入力された信号レベルを示す情報と収音器２０１または収音器２０２の識別情報とを用いて、第１撮像部４１または第２撮像部４２をオン状態に制御する。
【００９２】
画像合成部１０９Ｂは、画像合成部１０９の処理に加えて、さらに以下の処理を行う。画像合成部１０９Ｂは、表示部１１０に表示されている画像に、検出部１２３から入力された撮像画像を重ねて合成する。例えば、画像合成部１０９Ｂは、表示部１１０に表示されている画像を半透明な状態で、検出部１２３から入力された撮像画像を重ねて合成する。
または、画像合成部１０９Ｂは、表示部１１０に表示されている画像の一部の領域に、検出部１２３から入力された撮像画像を表示するように合成する。
なお、画像合成部１０９Ｂは、例えば図４に示した「音源定位結果表示」ボタンが利用者によって操作されたとき、第３画像生成部１２７から入力された第３画像を撮像画像に合成する。
【００９３】
音源分離部１２４は、分離した話者毎の音響信号と音源定位部１０７から入力された方位角情報とを、言語情報抽出部１２５と出力音声選択部１２８とに出力する。
【００９４】
言語情報抽出部１２５は、音源分離部１２４から入力された話者毎の音響信号毎に、周知の手法によって話者毎の言語を検出する。言語情報抽出部１２５は、検出した話者毎の言語を示す情報、音源分離部１２４から入力された話者毎の音響信号及び方位角情報を音声認識部１２６に出力する。言語情報抽出部１２５は、例えば言語データベースを参照して、参照した結果に基づいて話者毎の言語を検出する。言語データベースは、音源定位装置１０Ｂが備えていてもよく、有線または無線のネットワークを介して接続されていてもよい。
【００９５】
音声認識部１２６は、言語情報抽出部１２５から入力された話者毎の言語を示す情報と、方位角情報とに基づいて、言語情報抽出部１２５から入力された話者毎の音響信号に対して音声認識処理を行って発話内容（例えば、単語、文を示すテキスト）を認識する。音声認識部１２６は、発話内容、話者を示す情報、および認識データを第３画像生成部１２７に出力する。
【００９６】
第３画像生成部１２７は、音声認識部１２６から入力された発話内容、話者を示す情報、および認識データに基づいて、第３画像を生成し、生成した第３画像を画像合成部１０９Ｂに出力する。
【００９７】
出力音声選択部１２８は、音源分離部１２４から入力された分離した話者毎の音響信号から、アプリケーション制御部１１２から入力された検出された発話情報を抽出し、抽出した発話情報に対応する音響信号を音声出力部１２９に出力する。
【００９８】
次に、音源定位装置１０Ｂの動作手順を説明する。
図１４は、本実施形態に係る音源定位装置１０Ｂの動作手順のフローチャートである。なお、以下の説明において、音源定位アプリケーションの起動前には、第１収音部２１と第２収音部２２とがオフ状態に制御されている。また、以下の処理において、利用者によって音源定位アプリケーションの操作画面において、撮像に使用する撮像部が選択されている場合は、選択された撮像部（第１撮像部４１または第２撮像部４２）が判定部１０３Ｂによってオン状態に制御されている。この場合は、以下の処理において、ステップＳ１０２の判別後、ステップＳ１０３、ステップＳ１０４の処理が行われる。
一方、利用者によって音源定位アプリケーションの操作画面において、撮像に使用する撮像部を選択されていない場合は、第１撮像部４１および第２撮像部４２がオフ状態に制御されている。この場合は、以下の処理において、ステップＳ１０２の判別後、ステップＳ１０５の処理が行われる。
【００９９】
（ステップＳ１０１）アプリケーション制御部１１２は、操作部１１１から入力された操作情報に応じて、音源定位アプリケーションを起動する。
【０１００】
（ステップＳ１０２）判定部１０３Ｂは、第１撮像部４１がオン状態であるかオフ状態であるか、第２撮像部４２がオン状態であるかオフ状態であるかを、検出部１２３から入力された検出結果を示す情報に基づいて判定する。判定部１０３Ｂは、第１撮像部４１がオン状態であると判定した場合（ステップＳ１０２；第１撮像部ＯＮ）、ステップＳ１０３の処理に進める。判定部１０３Ｂは、第２撮像部４２がオン状態であると判定した場合（ステップＳ１０２；第２撮像部ＯＮ）、ステップＳ１０４の処理に進める。判定部１０３Ｂは、第１撮像部４１および第２撮像部４２が両方ともオフ状態であると判定した場合（ステップＳ１０２；ＯＦＦ）、ステップＳ１０５の処理に進める。
【０１０１】
（ステップＳ１０３）判定部１０３Ｂは、第１収音部２１をオン状態に制御する。判定部１０３Ｂは、ステップＳ１０９に処理を進める。
（ステップＳ１０４）判定部１０３Ｂは、第２収音部２２をオン状態に制御する。判定部１０３Ｂは、ステップＳ１０９に処理を進める。
【０１０２】
（ステップＳ１０５）判定部１０３Ｂは、第１収音部２１および第２収音部２２をオン状態に制御する。
（ステップＳ１０６）判定部１０３Ｂは、収音器２０１の音響信号の信号レベルが所定値以上であるか否か、収音器２０２の音響信号の信号レベルが所定値以上であるか否かを、音響信号レベル検出部１２１から入力された信号レベルを示す情報に基づいて収音器２０１毎および収音器２０２毎に判定する。判定部１０３Ｂは、収音器２０１の音響信号の信号レベルが所定値以上であると判定した場合（ステップＳ１０６；収音器２０１の音響信号レベルが所定値以上）、ステップＳ１０７に処理を進める。判定部１０３Ｂは、収音器２０２の音響信号の信号レベルが所定値以上であると判定した場合（ステップＳ１０６；収音器２０２の音響信号レベルが所定値以上）、ステップＳ１０８に処理を進める。
【０１０３】
（ステップＳ１０７）判定部１０３Ｂは、第１撮像部４１をオン状態に制御する。判定部１０３Ｂは、ステップＳ１０９に処理を進める。
（ステップＳ１０８）判定部１０３Ｂは、第２撮像部４２をオン状態に制御する。判定部１０３Ｂは、ステップＳ１０９に処理を進める。
【０１０４】
（ステップＳ１０９）音源定位部１０７は、音響信号取得部１０６Ｂから入力された音響信号を用いて音源定位の処理を行う。
以上で、音源定位装置１０Ｂの動作手順を終了する。
【０１０５】
上述した音源定位装置１０Ｂによれば、音源定位および音源分離を行うために用いる収音部のみオン状態に制御するので、収音部２０Ｂの消費電力を低減することができる。
なお、本実施形態においても、判定部１０３Ｂは、センサ１０１が検出した結果に基づいて、音源定位装置１０Ｂの状態の判定を行う。そして、判定部１０３Ｂは、判定した結果に基づいて、第１画像を生成する。
【０１０６】
なお、図１４に示した例では、利用者によって、第１撮像部４１または第２撮像部４２のいずれか１つをオン状態に選択される例を説明したが、これに限られない。例えば、第１撮像部４１と第２撮像部４２とがオン状態であってもよい。この場合、判定部１０３Ｂは、輝度に基づいて、どちらの撮像部によって撮像された撮像画像を用いるか選択するようにしてもよい。例えば、第２撮像部４２が、装着物３０または利用者の手によって覆われている場合、第２撮像部４２の撮像画像の輝度の方が、第１撮像部４１の撮像画像の輝度より低い。この場合、判定部１０３Ｂは、第１撮像部４１および収音器２０１を選択するようにしてもよい。
【０１０７】
また、検出部１２３は、撮像画像に含まれる人の顔の画像の大きさに基づいて、撮像に使用されている第１撮像部４１または第２撮像部４２を検出するようにしてもよい。具体的には、第１撮像部４１と第２撮像部４２とがオン状態において、例えば第１撮像部４１が利用者側に向けられている場合、第１撮像部４１の撮像画像には、利用者の顔の画像が表示部１１０内に所定の割合以上で含まれることになる。音源定位を行いたい音源は、一般的に利用者の音声以外であると想定されるため、このような場合、判定部１０３Ｂは、第２撮像部４２の撮像画像および収音器２０２を用いるようにしてもよい。
【０１０８】
次に、音源定位の結果の表示例について説明する。
図１５は、本実施形態に係る音源定位の結果の表示の一例を説明する図である。
図１５に示す画像ｇ２００は、例えば第１撮像部４１によって撮像された画像に、第２画像である画像ｇ２０１と画像ｇ２０２とを合成した画像である。
画像ｇ２０１は、音源の方向を示す画像である。また、画像ｇ２０２は、音源定位した音声信号を音声認識してテキストに変換して、変換したテキストを画像に変換した画像である。図１５に示した例では、テキストを画像に変換した画像を、音源である話者の口から吹き出しのように表示させた例である。このような画像は、例えば検出部１２３が、周知の手法を用いて顔認識を行うことで、話者の口の位置を検出し、検出した口の位置に吹き出しの画像ｇ２０２を生成し、生成した画像を、撮像画像と合わせて画像合成部１０９Ｂに出力するようにしてもよい。
また、テキストを画像に変換した画像は、例えば１フレーズずつ吹き出し内に表示させてもよく、または吹き出しを逐次拡大して、発話順に並べて表示させるようにしてもよい。
【０１０９】
図１６は、本実施形態に係る音源定位の結果の表示の他の例を説明する図である。
図１６に示す画像ｇ２１０は、例えば第１撮像部４１によって撮像された画像に、第２画像である画像ｇ２１１および画像ｇ２１２を合成した画像である。
画像ｇ２１１は、話者１による音源の位置を示す画像であり、画像ｇ２１２は、話者２による音源の位置を示す画像である。
【０１１０】
利用者が操作部１１１を操作して、音源の位置を示す画像ｇ２１１を選択した場合、矢印ｇ２１３に示すように鎖線の四角ｇ２２０で囲んだ領域の画像が表示される。鎖線の四角ｇ２２０で囲んだ領域の画像には、『今晩は』を示す画像ｇ２２１、『久しぶりですね』を示す画像ｇ２２２、および『昨日、どこへ行きましたか』を示す画像ｇ２２３を含む。
また、利用者が操作部１１１を操作して、音源の位置を示す画像ｇ２１２を選択した場合、矢印ｇ２１４に示すように鎖線の四角ｇ２３０で囲んだ領域の画像が表示される。鎖線の四角ｇ２３０で囲んだ領域の画像には、『今晩は』を示す画像ｇ２３１、『ほんとですね』を示す画像ｇ２３２、および『浅草へ行きました』を示す画像ｇ２３３を含む。
【０１１１】
画像ｇ２２１〜画像ｇ２２３、画像ｇ２３１〜画像ｇ２３３はボタンになっており、利用者が各画像を選択した場合、アプリケーション制御部１１２は、検出されたボタンを示す情報を検出する。そして、アプリケーション制御部１１２は、検出した発話情報を出力音声選択部１２８に出力する。具体的には、アプリケーション制御部１１２は、『今晩は』が選択されたとき、『今晩は』を示す発話情報を出力音声選択部１２８に出力する。これにより、利用者は、表示部１１０上に表示される文字による音声認識結果を選択することで、音源定位、音源分離された音声のうち、聞きたい音響信号のみを聞くことができる。
または、利用者が画像ｇ２１１を選択した場合、アプリケーション制御部１１２は、話者１を示す情報を出力音声選択部１２８に出力するようにしてもよい。これにより、利用者は、話毎に音源定位および音源分離された音響信号を聞くことができる。
【０１１２】
以上のように、本実施形態の音源定位装置１０Ｂは、複数の収音器（収音器２０１−１〜２０１−ｎ、収音器２０２−１〜２０２−ｍ）は、音源定位装置１０Ｂの表示部１１０側にｎ個（ｎは２以上の整数）設けられ、表示部の反対側にｍ個（ｍは２以上の整数）設けられ、ｎ個の収音器２０１によって第１のマイクロフォンアレイが形成され、ｍ個の収音器２０２によって第２のマイクロフォンアレイが形成され、音源定位装置の表示部側に設けられた第１撮像部４１と、表示部の反対側に設けられた第２撮像部４２と、第１撮像部によって撮像された画像と、第２撮像部によって撮像された画像とに基づいて、第１のマイクロフォンアレイまたは第２のマイクロフォンアレイのいずれか１つのマイクロフォンアレイを選択する判定部１０３Ｂと、判定部によって選択されたマイクロフォンアレイによって収録された音響信号を用いて前記音源の方向を特定する音源定位部１０７と、を備える。
【０１１３】
この構成によって、本実施形態の音源定位装置１０Ｂは、音源定位して音源方向を表示部１１０上に表示し、音源分離および音声認識した結果を表示部１１０に表示する。これにより、利用者は、会議や打ち合わせのとき、音源定位装置１０Ｂによって撮像および収録することで、各発話者の発話内容を把握しやすくなる。また、本実施形態によれば、会議の様子を録画しておき、会議後に処理することで、議事録作成の支援を行うことができる。また、各発話と発話者の画像とが、ひも付いているため、どの発話者が発話しているのかを画像とともに利用者は認識することができる。
また、本実施形態によれば、音源定位して音響分離し、さらに音声認識した結果のテキストが表示部１１０上に表示されるので、聴覚に障害のある利用者を支援することができる。また、音源定位して音響分離し、さらに音声認識した結果の音響信号を再生することができるので、視覚に障害のある利用者を支援することができる。
【０１１４】
＜変形例１＞
図１４を用いて説明した例では、表側の収音器２０１、または裏側の収音器２０２とを使い分ける例を説明したが、変形例１では、第１収音部２１と第２収音部２２の両方を使用して、音源定位および音源分離を行う例を説明する。
音源定位装置１０Ｂの構成は、図１２と同様である。
【０１１５】
次に、両側の収音器と撮像部とを同時に使用する場合の音源定位装置１０Ｂの動作手順を説明する。
なお、以下の説明において、音源定位アプリケーションの起動前には、第１撮像部４１、第２撮像部４２、第１収音部２１、および第２収音部２２が、全てオフ状態に制御されている。
【０１１６】
図１７は、本実施形態に係る両側の収音器と撮像部とを同時に使用する場合の音源定位装置１０Ｂの動作手順のフローチャートである。
（ステップＳ１０１）アプリケーション制御部１１２は、処理終了後、ステップＳ１０５に処理を進める。
（ステップＳ１０５）判定部１０３Ｂは、ステップＳ１０５〜Ｓ１０８の処理を行う。判定部１０３Ｂは、ステップＳ１０９に処理を進める。
（ステップＳ１０９）音源定位部１０７は、ステップＳ１０９の処理を行う。
以上で、音源定位装置１０Ｂの動作手順を終了する。
【０１１７】
以上のように、本実施形態によれば、両側の第１撮像部４１、第２撮像部４２、収音器２０１、および収音器２０２を同時に用いることで、音源定位装置１０Ｂを利用者が固定したまま、音源の仰角も求めることができる。すなわち、両側の第１撮像部４１、第２撮像部４２、収音器２０１、および収音器２０２を同時に用いることで、極座標系のθとφとを求めることができる。この結果、本実施形態によれば、音源定位装置１０Ｂを固定したまま、音源を含む空間の地図を生成することができる。また、この音源の仰角を用いて、さらに精度の良い音源定位および音源分離を行うことができる。
さらに、音源定位装置１０Ｂを並進するように利用者が動かすことで、音源と音源定位装置１０Ｂとの距離情報を取得することもできる。この距離情報を用いて、さらに精度の良い音源定位および音源分離を行うことができる。
【０１１８】
＜変形例２＞
図１４を用いて説明した例では、判定部１０３Ｂが、第１収音部２１、第２収音部２２、第１撮像部４１、および第２撮像部４２をオン状態に制御する例を説明したが、これに限られない。音源定位の処理を開始するとき、第１収音部２１、第２収音部２２、第１撮像部４１、および第２撮像部４２の全てがオン状態である例を説明する。具体的には、変形例２では、収録された音響信号を信号レベルに応じて選択し、また撮像された撮像画像を輝度に応じて選択する例を説明する。
【０１１９】
図１８は、本実施形態に係る音響処理システム１Ｃの構成を示すブロック図である。図１８に示す音響処理システム１Ｃは、音響処理システム１Ｂの構成に加えて、さらに音響信号選択部１３１および画像選択部１３２を備える。
【０１２０】
音響信号選択部１３１は、音響信号レベル検出部１２１から入力された信号レベルを示す情報と識別情報とを用いて、信号レベルが所定のレベル以上である音響信号を選択する。または、音響信号選択部１３１は、判定部１０３Ｂから入力された選択情報に応じて、第１収音部２１が集音した音響信号、または第２収音部２２が集音した音響信号を選択する。音響信号選択部１３１は、選択した音響信号を音源定位部１０７に出力する。
【０１２１】
画像選択部１３２は、検出部１２３から入力された検出結果を示す情報と識別情報とを用いて、例えば画像の輝度が所定のレベル以上である撮像画像を選択する。または、画像選択部１３２は、判定部１０３Ｂから入力された選択情報に応じて、第１撮像部４１が撮像した撮像画像、または第２撮像部４２が撮像した撮像画像を選択する。画像選択部１３２は、選択した撮像画像を画像合成部１０９Ｂに出力する。
【０１２２】
判定部１０３Ｂは、判定部１０３の処理に加えて、さらに以下の処理を行う。判定部１０３Ｂは、撮像部４０がオン状態の場合、検出部１２３から入力された検出結果を示す情報と第１撮像部４１または第２撮像部４２の識別情報とを用いて、音源定位に用いる第１収音部２１または第２収音部２２を選択し、選択した収音部を示す情報を選択情報として、音響信号選択部１３１に出力する。また、判定部１０３Ｂは、撮像部４０がオフ状態の場合、音響信号レベル検出部１２１から入力された信号レベルを示す情報と収音器２０１または収音器２０２の識別情報とを用いて、第１撮像部４１の撮像画像または第２撮像部４２の撮像画像を選択し、選択した撮像画像を示す情報を選択情報として、画像選択部１３２に出力する。判定部１０３Ｂは、選択しなかった収音部および撮像部をオフ状態に制御するようにしてもよい。このように、選択しなかった収音部および撮像部をオフ状態に制御することで、撮像部と収音部とによる消費電力を低減することができる。
【０１２３】
以上のように、本実施形態の音響処理システム１Ｃは、複数の収音器（収音器２０１、収音器２０２）それぞれが収録した音響信号の信号レベルを検出する検出部（音響信号レベル検出部１２１）、を備え、判定部１０３Ｂは、検出部が検出した信号レベルが所定の値以下であるか否かを判別し、信号レベルが所定の値以下である音響信号を収録した収音器をオフ状態に制御し、音源定位部１０７は、オン状態の収音器が収録した音響信号を用いて、前記音源の方向を特定する。
【０１２４】
図１８に示した変形例の構成によっても、音響処理システム１Ｂと同様の効果を得ることができる。
【０１２５】
＜変形例３＞
第１実施形態ではｎ個の収音器２０１全てを用いる例を説明した。また、第２実施形態の変形例１および変形例２では、ｎ個の収音器２０１全て、またはｍ個の収音器２０２全てを切り換えて用いる例を説明したが、これに限られない。利用者の手によって覆われている収音器２０１または収音器２０２を除外して、音源定位および音源分離を行う例を説明する。
【０１２６】
変形例３の動作について、図１８と図１９を参照して説明する。
図１９は、本実施形態に係る収音器２０１の配置と、利用者の手が置かれた状態の一例を説明する図である。図１９に示す例では、１２個の収音器２０１が、枠１１に組み込まれている例である。破線の四角ｇ２５１で示す領域の画像は、利用者の左手の画像であり、破線の四角ｇ２５２で示す領域の画像は、利用者の右手の画像である。
図１９に示す例では、収音器２０１−６と収音器２０１−７とが右手によって覆われ、収音器２０１−１０と収音器２０１−１１とが左手によって覆われている。
【０１２７】
利用者の手によって覆われている収音器２０１または収音器２０２によって収録された音響信号は、手によって覆われていない収音器２０１または収音器２０２によって収録された音響信号のレベルより小さい。このため、音響信号選択部１３１は、信号レベルが所定の値以下の収音器２０１が利用者の手によって覆われていると判定する。そして、音響信号選択部１３１は、利用者の手によって覆われていないと判定した収音器の音響信号のみを選択する。
【０１２８】
次に、利用者の手によって覆われている場合の動作手順を説明する。
図２０は、本実施形態に係る利用者の手によって覆われている場合における音源定位装置１０Ｃの動作手順のフローチャートである。なお、図１４等で説明した処理を同じ処理には、同じ符号を用いる。
（ステップＳ２０１）ステップＳ１０５の処理の終了後、音響信号レベル検出部１２１は、音響信号取得部１０６Ｂから入力された音響信号毎の信号レベルを検出する。
【０１２９】
（ステップＳ２０２）音響信号選択部１３１は、音響信号取得部１０６Ｂから入力された音響信号の信号レベルが、第１所定値以下であるか否かを音響信号毎に判別する。音響信号選択部１３１は、信号レベルが第１所定値以下である場合（ステップＳ２０２；ＹＥＳ）、ステップＳ２０３の処理に進み、信号レベルが第１所定値より大きい場合（ステップＳ２０２；ＮＯ）、ステップＳ２０４の処理に進む。なお、第１所定値は、例えば、予め定められた値であってもよく、利用者が設定した値であってもよい。
【０１３０】
（ステップＳ２０３）音響信号選択部１３１は、信号レベルが第１所定値以下の収音器の音響信号を選択しない。判定部１０３Ｂは、ステップＳ１０９’に処理を進める。
（ステップＳ２０４）音響信号選択部１３１は、信号レベルが第１所定値より大きい収音器の音響信号を選択する。判定部１０３Ｂは、ステップＳ１０９’に処理を進める。
（ステップＳ１０９’）音源定位部１０７は、音響信号選択部１３１によって選択された音響信号を用いて音源定位の処理を行う。
以上で、音源定位装置１０Ｂの動作手順を終了する。
【０１３１】
ここで、手で覆われている収音器の音響信号を除外した場合に、音源定位部１０７が行う音源定位の処理の一例を説明する。
例えば、ＭＵＳＩＣ法を用いる場合、前述した式（１）を用いて空間スペクトルＰＭ（θ）を推定する。この場合、収音器２０２がＭ個有る場合、式（１）において、選択されなかった収音器２０２の個数を引いた数を用いて式（１）を用いて演算する。例えば、図１９に示した例では、１２個の収音器２０１の内、収音器２０１−６、２０１−７、２０１−１０、および２０１−１１を選択しないため、Ｍ＝８（＝１２−４）として式（１）を用いて演算する。
ビームフォーミング法等でも、同様に、除外された音響信号に対応する項を除外して、音源定位の処理を行う。
【０１３２】
なお、上述した例では、音響信号選択部１３１が、利用者の手によって覆われていないと判定した収音器２０１または収音器２０２の音響信号を選択する例を説明したが、これに限られない。
例えば、図１２に示した構成によって、判定部１０３Ｂが、音響信号レベル検出部１２１から入力された信号レベルを示す情報と収音器２０１の識別情報とを用いて、信号レベルが所定の値以下の収音器２０１が利用者の手によって覆われていると判定するようにしてもよい。そして、判定部１０３Ｂは、利用者の手によって覆われていると判定した収音器２０１をオフ状態に制御するようにしてもよい。
【０１３３】
以上のように、本実施形態の音源定位装置１０Ｃは、複数の収音器（収音器２０１、収音器２０２）それぞれが収録した音響信号の信号レベルを検出する検出部（音響信号レベル検出部１２１）と、音響信号の中から信号レベルが所定の値より大きい音響信号を選択する音響信号選択部１３１と、を備え、音源定位部１０７は、音響信号選択部によって選択された音響信号を用いて、前記音源の方向を特定する。
【０１３４】
また、本実施形態の音源定位装置１０Ｂは、複数の収音器（収音器２０１、収音器２０２）それぞれが収録した音響信号の信号レベルを検出する検出部（音響信号レベル検出部１２１）、を備え、判定部１０３Ｂは、検出部が検出した信号レベルが所定の値以下であるか否かを判別し、信号レベルが所定の値以下である音響信号を収録した収音器をオフ状態に制御し、音源定位部１０７は、オン状態の収音器が収録した音響信号を用いて、前記音源の方向を特定する。
【０１３５】
この構成によって、本実施形態の音源定位装置１０Ｂまたは音源定位装置１０Ｃは、利用者の手によって覆われた音声信号のレベルの低い収音器を除外して音源定位、音源分離、および音声認識を行うことができるので、音源定位、音源分離、および音声認識の精度を向上することができる。
【０１３６】
なお、図２０に示した例では、ステップＳ２０２において、音響信号の信号レベルが第１所定値以下の場合、その音響信号を選択しない例を説明したが、これに限られない。音響信号の信号レベルが、第２所定値以上の場合、音響信号に歪みが発生している可能性があるためである。歪みが発生している音響信号を用いて、音源定位および音源分離の処理を行うと精度が悪くなる場合もある。このため、音響信号選択部１３１は、音響信号取得部１０６Ｂから入力された音響信号の信号レベルが、第２所定値以上の場合も、その音響信号を選択しないようにしてもよい。
【０１３７】
なお、変形例３では、収音器２０１または収音器２０２が、利用者の手によって覆われていることを、音響信号のレベルに基づいて判定する例を説明したが、これに限られない。アプリケーション制御部１１２が、タッチパネルセンサである操作部１１１上に利用者の手が置かれた位置を、センサの出力に基づいて検出するようにしてもよい。そして、アプリケーション制御部１１２は、検出した位置に対応する収音器が手で覆われていると判定差売るようにしてもよい。
【０１３８】
［第３実施形態］
第１実施形態および第２実施形態では、音源定位装置１０、１０Ａ、１０Ｂ、１０Ｃが音源定位部１０７を備える例を説明したが、音源定位部１０７は、収音部２０とともに装着物３０が備えるようにしてもよい。
本実施形態では、カバー等の装着物に取り付けられた収音部と音源定位部と通信部とを備える音源定位ユニットで音源定位を行い、音源定位した結果と収録した音響信号とタブレット端末等に送信する例を説明する。
【０１３９】
図２１は、本実施形態に係る本実施形態に係る音響処理システム１Ｄの構成を示すブロック図である。図２１に示すように、音響処理システム１Ｄは、情報出力装置１０Ｄおよび音源定位ユニット５０を備える。情報出力装置１０Ｄは、例えば、携帯端末、タブレット端末、携帯ゲーム端末、ノート型のパソコン等である。なお、以下の説明では、情報出力装置１０Ｄがタブレット端末である例を説明する。
【０１４０】
なお、図２１に示す例では、音響処理システム１に本実施形態を適用する例を説明するが、音響処理システム１Ａ、音響処理システム１Ｂ、音響処理システム１Ｃに本実施形態を適用してもよい。また、音響処理システム１および音響処理システム１Ｂと同じ機能を有する機能部には同じ符号を用いて説明を省略する。
【０１４１】
音源定位ユニット５０は、装着物３０（図８）に取り付けられている。音源定位ユニット５０は、収音部２０、音響信号取得部１０６、音源定位部１０７、音源分離部１２４、および通信部５１を備える。音源定位ユニット５０と情報出力装置１０Ｄとは、無線または有線によって、情報の送受信を行う。なお、音源定位ユニット５０は、不図示の電源部を有している。
【０１４２】
音源定位部１０７は、推定した方位角情報と入力されたｎ個の音響信号とを音源分離部１２４に出力する。
音源分離部１２４は、音源定位部１０７が出力したｎチャネルの音響信号を取得し、取得したｎチャネルまたはｍチャネルの音響信号を、例えばＧＨＤＳＳ法を用いて話者毎の音響信号に分離する。音源分離部１２４は、分離した話者毎の音響信号と音源定位部１０７から入力された方位角情報とを、通信部５１に出力する。
【０１４３】
通信部５１は、音源分離部１２４から入力された話者毎の音響信号と方位角情報とを関連づけて情報出力装置１０Ｄに送信する。
【０１４４】
情報出力装置１０Ｄは、センサ１０１、取得部１０２、判定部１０３Ｄ、記憶部１０４、第１画像生成部１０５、第２画像生成部１０８、画像合成部１０９、表示部１１０、操作部１１１、アプリケーション制御部１１２、音声出力部１２９、および通信部１４１を備える。
通信部１４１は、音源定位ユニット５０から受信した方位角情報を第２画像生成部１０８に出力し、受信した話者毎の音響信号を音声出力部１２９に出力する。
【０１４５】
なお、図２１に示した例では、音源定位ユニット５０が収音部２０、音響信号取得部１０６、音源定位部１０７、音源分離部１２４、および通信部５１を備える例を説明したが、これに限られない。例えば、音源定位ユニット５０は、収音部２０、音響信号取得部１０６、音源定位部１０７、および通信部５１を備え、情報出力装置１０Ｄは、音源分離部１２４を備えるようにしてもよい。この場合、通信部５１は、音源定位部１０７から入力されたｎ個の音響信号と方位角情報とを関連づけて情報出力装置１０Ｄに送信するようにしてもよい。そして、情報出力装置１０Ｄの音源分離部１２４が、受信したｎ個の音響信号と方位角情報とに基づいて、音源分離の処理を行うようにしてもよい。
【０１４６】
また、通信部５１は、収音器２０１の位置を示す情報も送信するようにしてもよい。この場合、情報出力装置１０Ｄの通信部１４１は、受信した情報の中から、収音器２０１の位置を示す情報を抽出し、抽出した収音器２０１の位置を示す情報を、判定部１０３Ｄに出力するようにしてもよい。そして、判定部１０３Ｄは、取得部１０２から入力された回転角情報または角速度に基づいて、音源定位装置１０の向きを判定した判定結果と、通信部５１から入力された収音器２０１の位置を示す情報とを、第１画像生成部１０５に出力するようにしてもよい。
【０１４７】
これにより、本実施形態においても、情報出力装置１０Ｄは、音源定位ユニット５０の収音器２０１の位置と、情報出力装置１０Ｄの利用者に保持されている向きとに基づいて、手を配置する位置を示す画像を、表示部１１０、枠１１等に表示させることができる。
【０１４８】
以上のように、本実施形態の音響処理システム１Ｄは、音源定位ユニット５０と情報出力装置１０Ｄとを有する音響処理システムであって、音源定位ユニットは、音響信号を収録する複数の収音器（収音器２０１）を有する収音部２０と、収音部によって収録された音響信号を用いて、音源の方位角を推定する音源定位部１０７と、音源の方向と、収音器によって収録された複数の音響信号とを、情報出力装置に送信する送信部（通信部５１）と、を備え、情報出力装置は、音源定位ユニットから送信された音源の方向を示す情報と、複数の音響信号とを、受信する受信部（通信部１４１）と、受信部が受信した音源の方向を示す情報と、複数の音響信号とに基づいて、音源毎の音響信号を分離する音源処理を行う音源分離部１２４と、を備える。
【０１４９】
上述した構成によれば、情報出力装置１０Ｄは、音源定位ユニット５０から受信した複数の収音器で収録された音響信号と、音源の方位角を示す情報とに基づいて、音響信号分離処理を行うことができる。
【０１５０】
また、本実施形態の音響処理システム１Ｄは、音響処理システムにおいて、音源定位ユニット５０の送信部（通信部５１）は、複数の収音器（収音器２０１）の位置を示す情報を送信し、情報出力装置１０Ｄの受信部（通信部１４１）は、音源定位ユニットから送信された複数の収音器の位置を示す情報を受信し、音源定位装置は、受信された複数の収音器の位置を示す情報に基づいて、収音器の配置に基づく情報を報知する報知手段（判定部１０３Ｄ、第１画像生成部１０５、画像合成部１０９、表示部１１０）をさらに備える。
【０１５１】
上述した構成によれば、情報出力装置１０Ｄは、音源定位ユニット５０から受信した複数の収音器（収音器２０１、収音器２０２）の位置を示す情報に基づいて、収音器の配置に基づく情報を報知することができる。これにより、本構成によれば、利用者は報知された情報を確認することで、収音器を覆わない位置に手を配置できる。この結果、本構成によれば、収音器が利用者の手によって覆われないため、複数の収音器が収録した音響信号を用いて、音源定位の精度を向上させることができる。
【０１５２】
なお、音響処理システム１Ｄは、第１収音部２１、第２収音部２２（図１２）および撮像部４０（図１２）を備えていてもよい。そして、撮像部４０は、情報出力装置１０Ｄが備えていてもよい。この場合、情報出力装置１０Ｄの判定部１０３Ｄは、第１撮像部４１によって撮像された撮像画像と、第２撮像部４２によって撮像された撮像画像とに基づいて、音源定位に用いるマイクロフォンアレイを選択するようにしてもよい。そして、判定部１０３Ｄは、選択した結果を示す情報を、通信部１４１を介して、音源定位ユニット５０に送信するようにしてもよい。そして、音源定位ユニット５０は、通信部５１を介して受信した選択した結果を示す情報に基づいて、第１収音部２１によって収録された音響信号を用いて音源定位および音源分離の処理を行うか、第２収音部２２によって収録された音響信号を用いて音源定位および音源分離の処理を行うかを制御するようにしてもよい。
【０１５３】
また、本実施形態においても、第２実施形態の変形例３と同様に、音源定位ユニット５０が音響信号レベル検出部１２１（図１２）を備え、検出された音響信号の信号レベルに応じて、音源定位および音源分離に用いる音響信号を選択するようにしてもよい。
【０１５４】
なお、上述した音源定位装置１０（１０Ａ、１０Ｂ、１０Ｃ、及び１０Ｄ）を組み込む機器は、例えば、ロボット、車両、携帯端末、ＩＣレコーダ等であってもよい。また、この場合、ロボット、車両、携帯端末、ＩＣレコーダは、収音部２０、撮像部４０、センサ１０１、及び操作部１１１を備えていてもよい。
【０１５５】
なお、本発明における音源定位装置１０（１０Ａ、１０Ｂ、１０Ｃ、及び１０Ｄ）の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより音源方向の推定を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【０１５６】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【０１５７】
１、１Ａ、１Ｂ、１Ｃ、１Ｄ…音響処理システム、１０、１０Ａ、１０Ｂ、１０Ｃ…音源定位装置、１０Ｄ…情報出力装置、２０、２０Ｂ…収音部、３０…カバー、５０…音源定位ユニット、２０１、２０１−１〜２０１−ｎ、２０２、２０２−１〜２０２−ｍ…収音器、１０１…センサ、１０２…取得部、１０３、１０３Ｂ、１０３Ｃ、１０３Ｄ…判定部、１０４…記憶部、１０５…第１画像生成部、１０６、１０６Ｂ…音響信号取得部、１０７…音源定位部、１０８…第２画像生成部、１０９、１０９Ｂ…画像合成部、１１０…表示部、１１１…操作部、１１２…アプリケーション制御部、１２１…音響信号レベル検出部、１２２…画像取得部、１２３…検出部、１２４…音源分離部、１２５…言語情報抽出部、１２６…音声認識部、１２７…第３画像生成部、１２８…出力音声選択部、１２９…音声出力部
【図１】
0006613503.tif 000004
【図２】
0006613503.tif 000005
【図３】
0006613503.tif 000006
【図４】
0006613503.tif 000007
【図５】
0006613503.tif 000008
【図６】
0006613503.tif 000009
【図７】
0006613503.tif 000010
【図８】
0006613503.tif 000011
【図９】
0006613503.tif 000012
【図１０】
0006613503.tif 000013
【図１１】
0006613503.tif 000014
【図１２】
0006613503.tif 000015
【図１３】
0006613503.tif 000016
【図１４】
0006613503.tif 000017
【図１５】
0006613503.tif 000018
【図１６】
0006613503.tif 000019
【図１７】
0006613503.tif 000020
【図１８】
0006613503.tif 000021
【図１９】
0006613503.tif 000022
【図２０】
0006613503.tif 000023
【図２１】
0006613503.tif 000024