(57)【要約】【課題】  ヒトの方向知覚メカニズムを利用した音源の仰角の推定アルゴリズムを用いて、実用上十分な推定精度の音源方向の推定方法と装置を提供する。【解決手段】  音源方向推定装置５００は、ダミーヘッドマイクロフォン５０２により得られた音響信号における振幅スペクトルを求める振幅スペクトル生成手段５０４と、振幅スペクトルにおける4000Hz〜17000Hzの周波数範囲に存在する２つのスペクトルノッチの周波数候補を検出するノッチ周波数候補検出手段５０６と、聴覚の仰角知覚メカニズムに基づいて作成したスペクトルノッチの周波数と音源の仰角との関係を記憶したデータベース５０７と、検出したスペクトルノッチの周波数候補とデータベースと５０７を照合して音源の仰角を推定する仰角推定手段５０９とを具備する。【選択図】図１
2009200569.tif 000002
【特許請求の範囲】
【請求項１】
ダミーヘッドマイクロフォンにより得られた音響信号を基に音の到来方向を推定する音源方向推定装置において、
前記音響信号における振幅スペクトルを求める振幅スペクトル生成手段と、
前記振幅スペクトルにおける4000Hz〜17000Hzの周波数範囲に存在する２つのスペクトルノッチの周波数の候補を検出するノッチ周波数候補検出手段と、
聴覚の仰角知覚メカニズムに基づいて作成した前記スペクトルノッチの周波数と音源の仰角との関係を記憶したデータベースと、
検出した前記スペクトルノッチの周波数の候補と前記データベースとを照合して音源の仰角を推定する仰角推定手段と
を具備することを特徴とする音源方向推定装置。
【請求項２】
ダミーヘッドマイクロフォンにより得られた２チャンネルの音響信号を基に音の到来方向を推定する音源方向推定装置において、
前記２チャンネルの音響信号の少なくとも一方の振幅スペクトルを求める振幅スペクトル生成手段と、
前記振幅スペクトルにおける4000Hz〜17000Hzの周波数範囲に存在する２つのスペクトルノッチの周波数を検出するノッチ周波数候補検出手段と、
聴覚の仰角知覚メカニズムに基づいて作成した前記スペクトルノッチの周波数と音源の仰角との関係を記憶したデータベースと、
検出した前記スペクトルノッチの周波数の候補と前記データベースとを照合して音源の仰角を推定する仰角推定手段と、
前記２チャンネルの音響信号の時間差を算出する時間差算出手段と、
前記２チャンネルの音響信号のレベル差を算出するレベル差算出手段と、
聴覚の方位角知覚メカニズムに基づいて作成した前記時間差と音源の方位との関係を記憶した時間差データベースと、
聴覚の方位角知覚メカニズムに基づいて作成した前記レベル差と音源の方位との関係を記憶したレベル差データベースと、
算出した前記時間差および前記レベル差と前記時間差データベースおよび前記レベル差データベースを照合して音源の方位角を推定する方位角推定手段と
を具備することを特徴とする音源方向推定装置。
【請求項３】
前記音響信号における振幅スペクトルの包絡線を求める包絡線生成手段をさらに具備し、
前記ノッチ周波数候補検出手段が、前記振幅スペクトルの包絡線における前記２つのスペクトルノッチの周波数の候補を検出する
ことを特徴とする請求項１又は２に記載の音源方向推定装置。
【請求項４】
カメラ追跡システムが作動的に接続され、前記仰角推定手段および／又は前記方位角推定手段からの出力がカメラ追跡システムを作動してカメラを音源の方向に向けることを特徴とする請求項１又は２に記載の音源方向推定装置。
【請求項５】
画像認識システムが作動的に接続され、前記仰角推定手段および／又は前記方位角推定手段からの出力が画像認識システムを作動してカメラを音源の方向に向けることを特徴とする請求項１又は２に記載の音源方向推定装置。
【請求項６】
ロボットが作動的に接続され、前記仰角推定手段および／又は前記方位角推定手段からの出力がロボットを作動してロボットを音源の方向に向けることを特徴とする請求項１又は２に記載の音源方向推定装置。
【請求項７】
マイクロフォン追跡システムが作動的に接続され、前記仰角推定手段および／又は前記方位角推定手段からの出力がマイクロフォン追跡システムを作動して収音システムの指向性を音源の方向に向けることを特徴とする請求項１又は２に記載の音源方向推定装置。
【請求項８】
音声認識システムが作動的に接続され、前記仰角推定手段および／又は前記方位角推定手段からの出力が音声認識システムを作動してマイクロフォンの指向性を音源の方向に向けることを特徴とする請求項１又は２に記載の音源方向推定装置。
【請求項９】
録音システムが作動的に接続され、前記仰角推定手段および／又は前記方位角推定手段からの出力が録音システムを作動して録音システムの指向性を音源の方向に向けることを特徴とする請求項１又は２に記載の音源方向推定装置。
【請求項１０】
ダミーヘッドマイクロフォンにより得られた音響信号を基に音の到来方向を推定する音源方向推定方法において、
前記音響信号における振幅スペクトルを求める第１のステップと、
前記振幅スペクトルにおける4000Hz〜17000Hzの周波数範囲に存在する２つのスペクトルノッチの周波数の候補を検出する第２のステップと、
聴覚の仰角知覚メカニズムに基づいて作成した前記スペクトルノッチの周波数と音源の仰角との関係を記憶したデータベースと検出した前記スペクトルノッチの周波数の候補と照合して音源の仰角を推定する第３のステップと
を含むことを特徴とする音源方向推定方法。
【請求項１１】
ダミーヘッドマイクロフォンにより得られた２チャンネルの音響信号を基に音の到来方向を推定する音源方向推定方法において、
前記２チャンネルの音響信号における振幅スペクトルを求める第１のステップと、
前記振幅スペクトルにおける4000Hz〜17000Hzの周波数範囲に存在する２つのスペクトルノッチの周波数の候補を検出する第２のステップと、
聴覚の仰角知覚メカニズムに基づいて作成した前記スペクトルノッチの周波数と音源の仰角との関係を記憶したデータベースと検出した前記スペクトルノッチの周波数の候補とを照合して音源の仰角を推定する第３のステップと、
前記２チャンネルの音響信号の時間差を算出する第４のステップと、
前記２チャンネルの音響信号のレベル差を算出する第５のステップと、
算出した前記時間差および前記レベル差と聴覚の方位角知覚メカニズムに基づいて作成した前記時間差と音源の方位との関係を記憶した時間差データベースおよび聴覚の方位角知覚メカニズムに基づいて作成した前記レベル差と音源の方位との関係を記憶したレベル差データベースとを照合して音源の方位角を推定するステップ第６のステップと
を含むことを特徴とする音源方向推定方法。
【請求項１２】
前記第２のステップの前に、前記音響信号における振幅スペクトルの包絡線を求めるステップをさらに含み、
前記第２のステップは、前記振幅スペクトルの包絡線における前記２つのスペクトルノッチの周波数の候補を検出する
ことを特徴とする請求項１０又は１１に記載の音源方向推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ロボット、監視システム、録音システム等に利用される音源方向の推定方法とその装置に関する。
【背景技術】
【０００２】
従来、音源方向の推定方法として、例えば特許文献１に記載されたものが知られている。この方法は、マイクロフォンにマイクロフォンエンハンサーを装着し、このマイクロフォンエンハンサーで、ヒトの耳介により生成されるパターンに概念的に類似した干渉パターンを生じさせることにより音響信号を変形させてマイクロフォンに受信させる。マイクロフォンエンハンサーは、入来音響信号と相互作用して各空間的方向にとって特有の周波数特性を発生させ、これらの信号をマイクロフォンへ送る。これらの相互作用パターンまたは干渉パターンは、各信号のスペクトルにスペクトルノッチとして現れる。このスペクトルノッチにより、方位角と仰角を「適当なアルゴリズム」を用いて探索表から推定するというものである。
【特許文献１】特表２００３−５２９０６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記従来の音源方向の推定方法においては、特殊な構造のマイクロフォンエンハンサーが必要となる。そのため、音場の空間的特性も含めた音の収録（バイノーラル録音）および空間的特性の測定に一般的に用いられている、ダミーヘッド、ヒト型ロボットなどの両耳の入口に装着されたマイクロフォンのような、人間の耳で受音するのに近似した環境に配置されたマイクロフォン(この出願において、「ダミーヘッドマイクロフォン」と定義する。）を利用できない。また、マイクロフォンエンハンサーで生じたスペクトルノッチから方位角と仰角を探索するアルゴリズムが具体的に示されていない。そのため、技術の有効性、つまり方位角と仰角の推定がどの程度の精度で可能であるのか不明である。
したがって、この出願に係る発明は、（１）音場の空間的特性の収録および測定に一般的に用いられているダミーヘッドの両耳の入口のような部位に配置された２つのマイクロフォンで収録された音響信号を用いて音源方向を推定できる方法と装置を提供すること、（２）聴覚の研究で解明したヒトの方向知覚メカニズムを利用した音源の仰角および方位角の推定アルゴリズムを用いて、実用上十分な推定精度を実現する音源方向の推定方法と装置を提供することを課題としている。
【課題を解決するための手段】
【０００４】
上記課題を解決するため、この出願に係る発明においては、ダミーヘッドマイクロフォンにより得られた音響信号における振幅スペクトルを求める振幅スペクトル生成手段と、振幅スペクトルにおける4000Hz〜17000Hzの周波数範囲に存在する２つのスペクトルノッチの周波数の候補を検出するノッチ周波数候補検出手段と、聴覚の仰角知覚メカニズムに基づいて作成したスペクトルノッチの周波数と音源の仰角との関係を記憶したデータベースと、検出した前記スペクトルノッチの周波数の候補と前記データベースとを照合して音源の仰角を推定する仰角推定手段とを具備させて音源方向推定装置を構成する。
また、この出願に係る発明においては、ダミーヘッドマイクロフォンにより得られた音響信号における振幅スペクトルを求める第１のステップと、振幅スペクトルにおける4000Hz〜17000Hzの周波数範囲に存在する２つのスペクトルノッチの周波数の候補を検出する第２のステップと、聴覚の仰角知覚メカニズムに基づいて作成した前記スペクトルノッチの周波数と音源の仰角との関係を記憶したデータベースと検出したスペクトルノッチの周波数の候補と照合して音源の仰角を推定する第３のステップとを含む方法で音源方向を推定する。
【発明の効果】
【０００５】
この出願に係る発明の装置と方法によれば、ダミーヘッドの両耳の入口のような部位に配置されたマイクロフォンで収録した２チャンネルの入力音響信号から音源の仰角および方位角を実用上十分な精度で推定することが可能となる。
【発明を実施するための最良の形態】
【０００６】
図面を参照してこの発明の実施の形態を説明する。図１はこの発明の実施形態の音源方向推定装置の概念的な構成図、図２は音の振幅スペクトルの包絡線を示すグラフ、図３はノッチの周波数と音源の仰角との関係を示すグラフ、図４は音源の仰角の推定値と実測値との比較の一例を示すグラフ、図５はカメラ追跡システムの説明図、図６は画像認識システムの説明図、図７はロボットシステムの説明図、図８はマイクロフォン追跡システムの説明図、図９は音声認識システムの説明図、図１０は録音システムの説明図である。
【０００７】
この発明の実施形態の音源方向推定装置５００の概念的な構成図を図１に示す。音源の仰角算出については以下の動作となる。まず、音源５０１から発せられた音響信号は、ダミーヘッドマイクロフォン５０２により収録される。ダミーヘッドマイクロフォン５０２で収録された２つの入力音響信号のうち，少なくとも１つの入力音響信号が、フーリエ変換などを用いた時間−周波数変換器５０３により、周波数領域へ変換される。さらに、振幅スペクトル算出器５０４により、スペクトル情報が得られる。不要なノイズの影響を除去してノッチ周波数を検出するため、移動平均、ガウスフィルタなどを用いたスペクトル包絡線抽出器５０５により、図２に示すような振幅スペクトルの包絡線が算出される。次にノッチ周波数候補検出器５０６により、振幅スペクトルの包絡線の中から、ヒトの仰角知覚の手掛かりとなっている２つのスペクトルノッチＮ１，Ｎ２の周波数の候補が検出される。すなわち、ノッチ周波数候補検出器５０６は、4000Hzから12000Hzの周波数範囲および8000Hzから17000Hzの周波数範囲でそれぞれ極小値を複数算出して２つのノッチＮ１，Ｎ２の周波数候補を抽出する。ノッチＮ１，Ｎ２の周波数を検出した一例を図２に示す。ここで、ノッチＮ１，Ｎ２は、ヒトの仰角知覚の手掛かりとなっている周波数ノッチである。このようにして求めた2つのノッチＮ１，Ｎ２の周波数の候補から、音源の仰角をデータベース５０７と照合器５０８を用いて推定し、仰角推定値５０９を得る。データベース５０７には、予め実測に基づいて作成された、音源の仰角とノッチ周波数との関係が記憶されている。
【０００８】
照合器５０８では、例えば下記の式(1)、式(2)を用いて音源の仰角を推定する。
err(i, j, θ) =|fN1C(i) ‐fN1(θ)|+ |fN2C(j) ‐fN2(θ)|      (1)
Θ = θ|min( err(i, j,θ))                                   (2)
ここで、
fN1C(i)：ノッチN1のi番目の候補の周波数
fN2C(j)：ノッチN2のj番目の候補の周波数
fN1(θ)：データベース507に予め格納されている仰角θのノッチN1の周波数
fN2(θ)：データベース507に予め格納されている仰角θのノッチN2の周波数
err(i, j, θ)：推定誤差，すなわちノッチN1のi番目の候補の周波数と仰角θのノッチN1の周波数との差の絶対値とノッチN2のj番目の候補の周波数と仰角のノッチN2の周波数との差の絶対値の和
θ|min( err(i, j,θ))：前記推定誤差が最小となる仰角
Θ：仰角推定値
【０００９】
ノッチＮ１，Ｎ２の周波数と音源の仰角との関係を示すデータベース５０７の一例を図３に示す。図３は音源の仰角が0°(前方向)から90°(上方向)を通り180°(後方向)まで上半球を変化するときの2つのノッチＮ１，Ｎ２の周波数を示している。○および■は実測値であり、点線および破線はノッチＮ１，Ｎ２の周波数を音源の仰角の関数として表したもので、４次関数による近似値である。このように、２つのノッチＮ１，Ｎ２の周波数と、点線および破線が示す４次関数による近似式で得られる周波数の差が最も小さくなる仰角を求め、これを音源の仰角推定値５０９とする。
【００１０】
以上の手順を用いて音源の仰角を推定した結果の一例を図４に示す。横軸は実際の音源の仰角、縦軸は仰角の推定値である。音源は、白色雑音、ピンク雑音、女声アナウンス、男声アナウンス、ポップ音楽の５種類である。ごく一部の例外を除いて実用上十分な精度で仰角が推定できることがわかる。
【００１１】
次に、音源の方位角算出については以下の動作となる。ダミーヘッドマイクロフォン５０２で収録した２チャンネルの入力音響信号から、時間差算出器５１０およびレベル差算出器５２０により、それぞれ時間差およびレベル差が算出される。算出された時間差およびレベル差は、予め作成された音源の方位角と時間差の関係を示すデータベース５１１および予め作成された音源の方位角とレベル差の関係を示すデータベース５２１と照合器５１２，５２２により照合され、方位角推定値５２３が算出される。左右両耳間における音響信号のレベル差、時間差に基づいて音源の方位角を推定する方法は各種のものが公知であるから、具体的説明を省略する。
【００１２】
次に、カメラ追跡システムが作動的に接続され、方向推定手段からの出力がカメラ追跡システムを作動してカメラを音源方向に向ける装置の動作を図５に示す。音源方向推定装置５００により算出された仰角推定値５０９、方位角推定値５２３は、それぞれ仰角制御部６０１および方位角制御部６０２に入力され、ビデオカメラ６０３の向きを制御する。
【００１３】
これにより、例えば遠隔会議システムにおいて自動的にカメラを発言者の方向に向けることができる。また、監視カメラシステムにおいては不審な物音のする方向に自動的にカメラを向けることができる。
【００１４】
図６に示すように、図５の実施形態におけるビデオカメラ６０３をさらに画像認識器７０１に接続し、ビデオカメラ６０３の出力画像を画像認識器７０１に入力して画像を認識する画像認識システムを構成することができる。
【００１５】
次に、音源方向推定装置５００を搭載したロボットシステムを図７に示す。音源方向推定装置５００により算出された仰角推定値５０９、方位角推定値５２３は、それぞれ仰角制御器６０１および方位角制御器６０２に入力され、ロボット頭部８０１やロボット胴体部８０２の向きを制御する。これにより、ロボットの向きを自動的に音源の方向に向け、例えば人間とロボットが音声によるコミュニケーションをとる際にロボットが常に人間の正面に向くようにすることができる。また、監視ロボットにおいては不審な物音のする方向に自動的に顔や胴体を向けることにより、精度よく集音したり、音の方向に目(カメラ)を向け視覚情報を得たりすることができる。
【００１６】
次に、音源方向推定装置５００を搭載したマイクロフォン追跡システムを図８に示す。音源方向推定装置５００により算出された仰角推定値５０９、方位角推定値５２３は、それぞれ仰角制御器６０１および方位角制御器６０２に入力され、マイクロフォン９０１の向きおよび指向性を制御する。これにより、マイクロフォン９０１の向きおよび指向性を自動的に音源の方向に向け、例えば遠隔会議システムにおいて自動的にマイクロフォンを発言者の方向に向けて精度よく集音できる。また、監視システムにおいては不審な物音のする方向に自動的にマイクロフォン９０１を向けて精度よく集音できる。
【００１７】
次に、音源方向推定装置５００を搭載した音声認識システムを図９に示す。音源方向推定装置５００により算出された仰角推定値５０９、方位角推定値５２３は、それぞれ仰角制御器６０１および方位角制御器６０２に入力され、マイクロフォン９０１の向きおよび指向性を制御する。このマイクロフォン９０１の出力音声を録音器９２１に入力し、音声を録音する。これにより、例えばロボット、カーナビゲーションシステム、監視システム等において、騒音環境下でも音声を発する音源の方向に自動的にマイクロフォンの向きおよび指向性を向けて精度よく音声を認識することができる。
【００１８】
図１０に示す録音システムは、上記実施形態におけるマイクロフォン９０１の出力音響信号を入力信号として、これを録音器９２１に録音する。マイクロフォンの向きおよび指向性が自動的に音源の方向に向けられ、録音器９２１はこの音源の音声信号を録音する。これにより、例えばロボット、監視システム等においては、騒音環境下においても音源の方向に自動的にマイクロフォンの向きおよび指向性を向けて精度よく録音することができる。
【図面の簡単な説明】
【００１９】
【図１】この発明の実施形態の音源方向推定装置の概念的な構成図である。
【図２】音の振幅スペクトルの包絡線を示すグラフである。
【図３】ノッチの周波数と音源の仰角との関係を示すグラフである。
【図４】音源の仰角の推定値と実測値との比較の一例を示すグラフである。
【図５】カメラ追跡システムの説明図である。
【図６】画像認識システムの説明図である。
【図７】ロボットシステムの説明図である。
【図８】マイクロフォン追跡システムの説明図である。
【図９】音声認識システムの説明図である。
【図１０】録音システムの説明図である。
【符号の説明】
【００２０】
５００  音源方向推定装置
５０１  音源
５０２  マイクロフォン
５０３  時間−周波数変換器
５０４  振幅スペクトル算出器
５０５  スペクトル包絡線抽出器
５０６  ノッチ周波数候補検出器
５０７  データベース
５０８  照合器
５０９  仰角推定値
５１０  時間差算出器
５１１  データベース
５１２  照合器
５２０  レベル差算出器
５２１  データベース
５２２  照合器
５２３  方位角推定値
６０１  仰角制御器
６０２  方位角制御器
６０３  ビデオカメラ
７０１  画像認識器
８０１  ロボット頭部
８０２  ロボット胴体部
９０１  マイクロフォン
９１１  音声認識器
９２１  録音器
Ｎ１，Ｎ２  周波数ノッチ
【図１】
2009200569.tif 000003
【図２】
2009200569.tif 000004
【図３】
2009200569.tif 000005
【図４】
2009200569.tif 000006
【図５】
2009200569.tif 000007
【図６】
2009200569.tif 000008
【図７】
2009200569.tif 000009
【図８】
2009200569.tif 000010
【図９】
2009200569.tif 000011
【図１０】
2009200569.tif 000012