(57)【要約】【課題】  話者位置を空間内の座標系での位置として検出できる情報処理装置を提供する。【解決手段】  情報処理装置１００は、空間内での位置と向きが予め定められた少なくとも２つのマイクホロンアレイ１０３、１０４からの音声信号に基づいて該マイクロホンアレイ１０３、１０４と音源との相対的な角度を計算する角度計算部１０１２、１０２２と、マイクロホンアレイ１０３、１０４と音源との相対的な角度、および前記空間の大きさと前記空間内の前記マイクロホンアレイ１０３、１０４の位置と向きに関する情報に基づいて、前記各マイクロホンアレイ１０３、１０４から前記音源に向かった直線をそれぞれ求め、該直線が交差する位置を前記音源として求める位置計算部１０５２とを備える。【選択図】          図１
2007074317.tif 000002
【特許請求の範囲】
【請求項１】
空間内での位置と向きが予め定められた少なくとも２つのマイクホロンアレイからの音声信号に基づいて該マイクロホンアレイと音源との相対的な角度を計算する角度計算手段と、
前記マイクロホンアレイと音源との相対的な角度、および前記空間の大きさと前記空間内の前記マイクロホンアレイの位置と向きに関する情報に基づいて、前記各マイクロホンアレイから前記音源に向かった直線をそれぞれ求め、該直線が交差する位置を前記音源として求める位置計算手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記所定の空間の大きさと前記空間内の前記マイクロホンアレイの位置と向きに関する情報を保持する保持手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記位置計算手段は、前記音源が不連続に変化した時点で話者交代が発生したことを検知することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記位置計算手段が求めた音源に基づいて、スクリーン、照明手段および撮影手段のうちの少なくとも一つを切り替える切り替え手段をさらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項５】
空間内での位置と向きが予め定められた少なくとも２つのマイクホロンアレイからの音声信号に基づいて該マイクロホンアレイと音源との相対的な角度を計算する角度計算ステップと、
前記空間の大きさと前記空間内の前記マイクロホンアレイの位置と向きに関する情報、および前記マイクロホンアレイと音源との相対的な角度に基づいて、前記各マイクロホンアレイから前記音源に向かった直線をそれぞれ求め、該直線が交差する位置を前記音源として求める位置計算ステップと
を有することを特徴とする情報処理方法。
【請求項６】
前記音源が不連続に変化した時点で話者交代が発生したことを検知するステップをさらに有することを特徴とする請求項５に記載の情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音源を検出に関するものであり、より詳細には複数のマイクロホンアレイの出力から音源を検出する情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
マイクロホンアレイは、複数のマイクロホン素子を適切な間隔で配置し個々のマイクロホン素子の出力間の時間遅れを計算することで音源の向きを推定することができる装置である。このマイクロホンアレイを用いることにより、音源の向きはそのマイクロホンアレイからの相対的な角度として算出することができる。この性質を利用し、発話者の方向をマイクロホンアレイで推定してその方向にカメラを向け更に、顔画像検出を組み合わせて話者位置を特定する方法が特許文献１で提案されている。
【０００３】
また、カメラおよびマイクロホンアレイの位置を移動できる方法が特許文献２に開示されており、これはカメラおよびマイクロホンアレイを一本化したセンサ装置に更に超音波発振機などを取り付けてこのセンサ装置の位置を検出するというものである。
【特許文献１】特開２００１−８１９１号公報
【特許文献２】特開２０００−４１２２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の方法では、マイクロホンアレイの中心とカメラの首振りの中心とを揃えて配置しなければ両者を連動させることができず、カメラの設営位置が制限されてしまう。また、特許文献２に記載の方法では、カメラの配置をマイクロホンアレイの配置から分離することができない。
【０００５】
上記いずれの方法もマイクロホンアレイ等のセンサ素子の設置された位置からの話者に対する相対的な向きを検出することを目的としており、話者の室内での位置を検出するものではない。このため、会議室内での話者の位置に応じて利用するスクリーンを切り替えたり照明や空調を制御するという目的には利用できない。
【０００６】
また、この問題は画像記録装置としてのカメラに対しても同様であり、話者交代が発生した場合に直前の話者と新しい話者とを同一フレームに収めるようなカメラアングルからの撮影を行うといった柔軟な制御にも対応できない。
【０００７】
このような問題は、マイクロホンアレイ単位およびカメラとの複合センサがセンサ位置からの相対的な話者位置のみを検出する機能にとどまっていることに起因する。
【０００８】
そこで、本発明は、上記問題点に鑑みてなされたもので、音源を空間内の座標系での位置として検出できる情報処理装置および情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、空間内での位置と向きが予め定められた少なくとも２つのマイクホロンアレイからの音声信号に基づいて該マイクロホンアレイと音源との相対的な角度を計算する角度計算手段と、前記マイクロホンアレイと音源との相対的な角度、および前記空間の大きさと前記空間内の前記マイクロホンアレイの位置と向きに関する情報に基づいて、前記各マイクロホンアレイから前記音源に向かった直線をそれぞれ求め、該直線が交差する位置を前記音源として求める位置計算手段とを備える。
【００１０】
本発明によれば、センサ素子であるマイクロホンアレイからの相対的位置として検出されていた話者位置を室内の座標系での位置として検出することが可能になる。これによって、センサ素子とは独立に配置された室内の様々な設備を話者位置の動的な変化に応じて適応的に制御することが可能になる。
【００１１】
本発明の情報処理装置は、前記所定の空間の大きさと前記空間内の前記マイクロホンアレイの位置と向きに関する情報を保持する保持手段をさらに備える。前記位置計算手段は、前記音源が不連続に変化した時点で話者交代が発生したことを検知するとよい。本発明によれば、話者交代が発生した場合には検出される話者位置が不連続に変化するため、これをもって話者交代を検出できる。
【００１２】
本発明の情報処理装置は、前記位置計算手段が求めた音源に基づいて、スクリーン、照明手段および撮影手段のうちの少なくとも一つを切り替える切り替え手段をさらに備える。本発明によれば、話者に応じてカメラアングルを切替えたり、照明やスクリーンを制御するなどの動作を自動化できる。
【００１３】
本発明の情報処理方法は、空間内での位置と向きが予め定められた少なくとも２つのマイクホロンアレイからの音声信号に基づいて該マイクロホンアレイと音源との相対的な角度を計算する角度計算ステップと、前記空間の大きさと前記空間内の前記マイクロホンアレイの位置と向きに関する情報、および前記マイクロホンアレイと音源との相対的な角度に基づいて、前記各マイクロホンアレイから前記音源に向かった直線をそれぞれ求め、該直線が交差する位置を前記音源として求める位置計算ステップとを有する。
【００１４】
本発明によれば、センサ素子であるマイクロホンアレイからの相対的位置として検出されていた話者位置を室内の座標系での位置として検出することが可能になる。これによって、センサ素子とは独立に配置された室内の様々な設備を話者位置の動的な変化に応じて適応的に制御することが可能になる。
【００１５】
本発明の情報処理方法は、前記音源が不連続に変化した時点で話者交代が発生したことを検知するステップをさらに有する。本発明によれば、話者交代が発生した場合には検出される話者位置が不連続に変化するため、これをもって話者交代を検出できる。
【発明の効果】
【００１６】
本発明によれば、音源を空間内の座標系での位置として検出できる情報処理装置および情報処理方法を提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を実施するための最良の形態について説明する。
【実施例１】
【００１８】
図１は、本発明の実施例に係る発話情報処理装置（情報処理装置）１００の構成の概要を示す図である。発話情報処理装置１００は、複数のマイクロホンアレイを用いて話者の室内での位置を検出するものである。図１に示すように、発話情報処理装置１００は、コンピュータ１０１、１０２、マイクロホンアレイ１０３、１０４および位置計算用のコンピュータ１０５を備えている。コンピュータ１０１、１０２および１０５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Member）およびＲＡＭ（Random Access Memory）などを用いて構成され、所定のプログラムを実行することによりコンピュータ内の機能が実現される。
【００１９】
コンピュータ１０１および１０２のそれぞれには、マイクロホンアレイ１０３および１０４が接続されている。マイクロホンアレイ１０３、１０４は、少なくとも２つ含み、部屋内での位置と向きが予め定められている。コンピュータ１０１は、マイクロホンアレイ１０３からの音声信号を入力する入力部１０１１、角度計算部１０１２および出力部１０１３を備えている。角度計算部１０１２は、マイクロホンアレイ１０３からの音声信号に基づいてマイクロホンアレイ１０３と音源との相対的な角度を計算する。同様に、コンピュータ１０２は、マイクロホンアレイ１０４からの音声信号を入力する入力部１０２１、角度計算部１０２２および出力部１０２３を備えている。角度計算部１０２２は、マイクロホンアレイ１０４からの音声信号に基づいて、マイクロホンアレイ１０４と音源との相対的な角度を計算する。
【００２０】
コンピュータ１０１および１０２は、ネットワーク１０６を介して位置計算用のコンピュータ１０５に接続されている。コンピュータ１０５は、保持部１０５１および位置計算部１０５２を備えている。保持部１０５１は、所定の空間（例えば部屋）の大きさおよび部屋内のマイクロホンアレイ１０３、１０４の位置と向きに関する情報を、部屋の見取り図情報として保持している。位置計算部１０５２は、マイクロホンアレイ１０３、１０４と音源との相対的な角度および保持部１０５１が保持する見取り図情報に基づいて、各マイクロホンアレイ１０３、１０４から音源に向かった直線をそれぞれ求め、これら直線が交差する位置を話者位置として求める。
【００２１】
図２は、本発明における発話情報処理装置１００を部屋２００に配置した場合の例を示す図である。この図は部屋２００を上から見た場合の図であり、部屋２００の隅にマイクロホンアレイ１０３および１０４が配置されている。また、図示は省略するが、上述したコンピュータ１０１、１０２および１０５は、信号線を介して室内もしくは室外の適当な位置に配置されている。この部屋２００の大きさとマイクロホンアレイ１０３、１０４の位置および向きに関する情報は、部屋２００の見取図情報として前述のコンピュータ１０５内の保持部１０５１に格納されている。
【００２２】
図３は、本発明における発話情報処理装置１００による話者位置検出方法の概要を示す図である。話者３０３が発話すると、コンピュータ１０１、１０２の角度計算部１０１２、１０２２は、マイクロホンアレイ１０３、１０４からのそれぞれの音声信号に基づいて、マイクロホンアレイ１０３および１０４と音源とのそれぞれからの相対的な角度θ1およびθ2を計算する。そして、出力部１０１３、１０２３は、その値をコンピュータ１０５に送信する。位置計算部１０５２は、角度θ1およびθ2とマイクロホンアレイ１０３および１０４の位置と向きの情報から音源の向きを表す直線３０１および３０２を求め、さらにこれらの直線の交点を求めることで話者３０３の位置（音源）を検出する。
【００２３】
図４は、上述の話者位置検出の処理の流れを示す図である。ステップＳ４０１において、コンピュータ１０５の位置計算部１０５２は、コンピュータ１０１および１０２からマイクロホンアレイ１０３、１０４と音源との相対的な角度の情報が入力されると、ステップＳ４０２において、この角度情報と見取図情報から室内座標系における音源方向の直線を求め、ステップＳ４０３において、これらの直線の交点を計算することで室内座標系における話者位置（音源）を求める。
【００２４】
図５は、室内座標系における音源方向の直線を生成する計算を説明する図である。この例では、長方形の部屋５０２の左下隅を原点とし、長手方向をｘ軸、短手方向をｙ軸とする室内座標系を設定する。この室内座標系において、マイクロホンアレイ１０３は、その中心が（ｘ1、ｙ1）の位置に配置されているものとする。またマイクロホンアレイ１０３は、その正面がｘ軸に対して角度α1をなすように配置されているものとする。これらのパラメータは、マイクロホンアレイ１０３を部屋５０２に配置した時点で決定しており、見取図情報の一部として保持部１０５１に事前に格納されている。これにより、所定の空間の大きさおよび空間内でのマイクロホンアレイ１０３の位置（ｘ1、ｙ1）と向き（α1）が決定される。ここで、マイクロホンアレイ１０３が音源５０３の向きをθ1と検出したとすると、この音源５０３の位置とマイクロホンアレイ１０３の位置とを結ぶ直線５０４の室内座標系における表現を式（１）に示す。
【数１】
2007074317.tif 000003
【００２５】
位置計算部１０５２は、異なる位置に配置された図示しないマイクロホンアレイ１０４と音源５０３とを結ぶ直線の表現を同様に求め、これらの交点を計算することによって、話者位置である音源５０３の位置を検出することが可能になる。これによって、話者に応じてカメラアングルを切替えたり、照明やスクリーンを制御するなどの動作を自動化するために必要な情報を供給することが可能になる。
【実施例２】
【００２６】
次に、本発明の第２実施例について説明する。図６は実施例２を説明するための図である。図６における部屋６１０には、実施例１と同様のマイクロホンアレイ１０３および１０４と、図示しないコンピュータ１０１、１０２および１０５が設置されている。また、これらに加えて首振りカメラ６０３、６０４、６０５、６０６が設置されている。この室内で話者６０７および６０８が対話を行う場合を考える。実施例１に示した方法を用いた話者位置検出処理を連続的に適用すると、話者６０７と話者６０８の間で話者交代が発生した場合には検出される話者位置が不連続に変化するため、これをもって話者交代の検出とする。
【００２７】
この対話を撮影するためのカメラ６０３、６０４、６０５および６０６を切り替えて用いる場合、話者６０７を撮影するためにカメラ６０４を用いていたとすると、話者交代を検出したタイミングで残りのカメラ６０３、６０５および６０６のうちのいずれかに切り替えることにより、話者に着目した映像の撮影が可能になる。この場合、構図の自由度を考えれば被写体となる話者６０８からより遠い位置にあるカメラ６０５を用いることが好適である。
【００２８】
このように、コンピュータ１０５は、話者位置が不連続に変化した時点で話者交代が発生したことを検知することができる。また、コンピュータ１０５は、求めた話者位置に基づいて、不図示のスクリーン、照明手段または撮影手段を切り替えることで、話者に応じてカメラアングルを切替えたり、照明やスクリーンを制御するなどの動作を自動化できる。
【００２９】
一方、映像文法などの分野で指摘されるイマジナリーライン（架空の線）６０９を考慮するならば、カメラ切り替えは、この線を越えるべきでなく、この場合は、カメラ６０３を選択すべきである。本実施例においては、カメラ選択の複数の可能性について説明したが、本発明はこの選択の方法に限定されるものではない。
【００３０】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。たとえば上記実施例では音源を話者位置として求める例について説明したが、音源は話者による発話に限定されるものではない。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施例に係る発話情報処理装置１００の構成の概要を示す図である。
【図２】本発明の実施例に係る発話情報処理装置１００を部屋２００に配置した場合の例を示す図である。
【図３】本発明の実施例に係る発話情報処理装置による話者位置検出方法の概要を示す図である。
【図４】上述の話者位置検出の処理の流れを示す図である。
【図５】室内座標系における音源方向の直線を生成する計算を説明する図である。
【図６】本発明の実施例２を説明するための図である。
【符号の説明】
【００３２】
１００  発話情報処理装置
１０１、１０２、１０５  コンピュータ
１０１１、１０２１  入力部
１０１２、１０２２  角度計算部
１０１３、１０２３  出力部
１０３、１０４  マイクロホンアレイ
１０６  ネットワーク
６０３、６０４、６０５、６０６  首振りカメラ
【図１】
2007074317.tif 000004
【図２】
2007074317.tif 000005
【図３】
2007074317.tif 000006
【図４】
2007074317.tif 000007
【図５】
2007074317.tif 000008
【図６】
2007074317.tif 000009