(57)【特許請求の範囲】
【請求項１】
内部にノイズ発生源を備えたロボットにおいて、
少なくともロボットの一部を覆う防音性の外装と、
上記外装の外側に設けられ、主として外部の音を集音する少なくとも二つの外部マイクと、
上記外装の内側に設けられ、主として内部のノイズ発生源からのノイズを集音する少なくとも一つの内部マイクと、
上記外部マイク及び内部マイクからの信号に基づいて、それぞれ外部マイクからの音響信号から、内部のノイズ発生源からのノイズ信号をキャンセルするとともに、上記内部マイクからの信号からノイズ発生源によるバーストノイズを検出してこのバーストノイズを含む帯域の信号部分を除去する処理部と、
上記処理部からの左右の音響信号から、音の方向付けを行なう方向情報抽出部と、を含み、
上記処理部は、内部マイクからの音響信号のパワーが外部マイクからの音響信号のパワーより十分大きく、所定値以上のピークが所定値以上の帯域に亘って検出されたとき、バーストノイズとしてこの帯域の信号部分を除去することを特徴とするロボット聴覚装置。
【請求項２】
内部にノイズ発生源を備えたロボットにおいて、
少なくともロボットの一部を覆う自己認識用の防音性の外装と、
上記外装の外側に設けられ、主として外部の音を集音する少なくとも二つの外部マイクと、
上記外装の内側に設けられ、主として内部のノイズ発生源からのノイズを集音する少なくとも一つの内部マイクと、
上記外部マイク及び内部マイクからの信号に基づいて、それぞれ外部マイクからの音響信号から、内部のノイズ発生源からのノイズ信号をキャンセルするとともに、上記内部マイクからの信号からノイズ発生源によるバーストノイズを検出してこのバーストノイズを含む帯域の信号部分を除去する処理部と、
上記処理部からの左右の音響信号から、音の方向付けを行なう方向情報抽出部と、を含み、
上記処理部は、内部マイクからの音響信号のパワーが外部マイクからの音響信号のパワーより十分大きく、所定値以上のピークが所定値以上の帯域に亘って検出されたとき、バーストノイズとしてこの帯域の信号部分を除去することを特徴とするロボット聴覚装置。
【請求項３】
前記方向情報抽出部が、聴覚用のエピポーラ幾何により音の方向情報を計算して、音の方向付けを行なうことを特徴とする、請求項１又は２に記載のロボット聴覚装置。
【請求項４】
前記方向情報抽出部が、聴覚用のエピポーラ幾何に基づいた方法により、音の方向情報を計算して音の方向付けを行い、
調波構造を有する音に関しては、調波構造を利用した音源分離と音の強度差情報とを利用して音の方向付けを行なうことを特徴とする、請求項１又は２に記載のロボット聴覚装置。
【請求項５】
内部にノイズ発生源を備えたロボットにおいて、
少なくともロボットの一部を覆う防音性の外装と、
上記外装の外側に設けられ、主として外部の音を集音する少なくとも二つの外部マイクと、
上記外装の内側に設けられ、主として内部のノイズ発生源からのノイズを集音する少なくとも一つの内部マイクと、
上記外部マイク及び内部マイクからの信号に基づいて、外部マイクからの音響信号から内部のノイズ発生源からのノイズ信号をキャンセルするとともに、上記内部マイクからの信号からノイズ発生源によるバーストノイズを検出してこのバーストノイズを含む帯域の信号部分を除去する処理部と、
上記処理部からの左右の音響信号から、それぞれ周波数解析を行なって、当該音響データが示すピッチを伴う調波構造から、時間，周波数及びパワーに関する音響データを取り出すピッチ抽出部と、
上記ピッチ抽出部で取り出された左右の音響データに基づいて、音の方向付けを行なう左右チャンネル対応部と、
音の調波構造又は上記左右チャンネル対応部で取り出された音の方向付け情報に基づいて、上記音響データから音源毎の音響データに分離する音源分離部と、を含み、
上記処理部は、内外マイクの強度差がテンプレートの駆動機構のノイズの強度差と近く、内外マイクの入力音のスペクトルの強度とパターンとがテンプレートの駆動機構のノイズ周波数応答に近く、さらに駆動機構が動作しているときに、ノイズをバーストノイズとしてこの帯域の信号部分を除去することを特徴とするロボット聴覚システム。
【請求項６】
内部にノイズ発生源を備えたロボットにおいて、
少なくともロボットの一部を覆う自己認識用の防音性の外装と、
上記外装の外側に設けられ、主として外部の音を集音する少なくとも二つの外部マイクと、
上記外装の内側に設けられ、主として内部のノイズ発生源からのノイズを集音する少なくとも一つの内部マイクと、
上記外部マイク及び内部マイクからの信号に基づいて、外部マイクからの音響信号から内部のノイズ発生源からのノイズ信号をキャンセルするとともに、上記内部マイクからの信号からノイズ発生源によるバーストノイズを検出してこのバーストノイズを含む帯域の信号部分を除去する処理部と、
上記処理部からの左右の音響信号からそれぞれ周波数解析を行なって、当該音響データが示すピッチを伴う調波構造から時間，周波数及びパワーに関する音響データを取り出すピッチ抽出部と、
上記ピッチ抽出部で取り出された左右の音響データに基づいて、音の方向付けを行なう左右チャンネル対応部と、
音の調波構造又は上記左右チャンネル対応部で取り出された音の方向付け情報に基づいて、上記音響データから音源毎の音響データに分離する音源分離部と、を含み、
上記処理部は、内外マイクの強度差がテンプレートの駆動機構のノイズの強度差と近く、内外マイクの入力音のスペクトルの強度とパターンとがテンプレートの駆動機構のノイズ周波数応答に近く、さらに駆動機構が動作しているときに、ノイズをバーストノイズとしてこの帯域の信号部分を除去することを特徴とするロボット聴覚システム。
【請求項７】
内部に駆動機構等のノイズ発生源を備えた人型または動物型のロボットにおいて、
少なくともロボットの頭部を覆う防音性の外装と、
上記外装の外側にて両側の耳に対応する両耳位置に設けられ、主として外部の音を集音する少なくとも一対の外部マイクと、
上記外装の内側に設けられ、主として内部のノイズ発生源からのノイズを集音する少なくとも一つの内部マイクと、
上記外部マイク及び内部マイクからの信号に基づいて、外部マイクからの音響信号から内部のノイズ発生源からのノイズ信号をキャンセルするとともに、上記内部マイクからの信号からノイズ発生源によるバーストノイズを検出してこのバーストノイズを含む帯域の信号部分を除去する処理部と、
上記処理部からの左右の音響信号から、それぞれ周波数解析を行なって、当該音響データが示すピッチを伴う調波構造から、時間，周波数及びパワーに関する音響データを取り出すピッチ抽出部と、
上記ピッチ抽出部で取り出された左右の音響データに基づいて、音の方向付けを行なう左右チャンネル対応部と、
音の調波構造又は上記左右チャンネル対応部で取り出された音の方向付け情報に基づいて、上記音響データから音源毎の音響データに分離する音源分離部と、を含み、
上記処理部は、内外マイクの強度差がテンプレートの駆動機構のノイズの強度差と近く、内外マイクの入力音のスペクトルの強度とパターンとがテンプレートの駆動機構のノイズ周波数応答に近く、さらに駆動機構が動作しているときに、ノイズをバーストノイズとしてこの帯域の信号部分を除去することを特徴とするロボット聴覚システム。
【請求項８】
内部に駆動機構等のノイズ発生源を備えた人型または動物型のロボットにおいて、
少なくともロボットの頭部を覆う自己認識用の防音性の外装と、
上記外装の外側にて両側の耳に対応する両耳位置に設けられ、主として外部の音を集音する少なくとも一対の外部マイクと、
上記外装の内側に設けられ、主として内部のノイズ発生源からのノイズを集音する少なくとも一つの内部マイクと、
上記外部マイク及び内部マイクからの信号に基づいて、外部マイクからの音響信号から内部のノイズ発生源からのノイズ信号をキャンセルするとともに、上記内部マイクからの信号からノイズ発生源によるバーストノイズを検出してこのバーストノイズを含む帯域の信号部分を除去する処理部と、
上記処理部からの左右の音響信号からそれぞれ周波数解析を行なって、当該音響データが示すピッチを伴う調波構造から時間，周波数及びパワーに関する音響データを取り出すピッチ抽出部と、
上記ピッチ抽出部で取り出された左右の音響データに基づいて、音の方向付けを行なう左右チャンネル対応部と、
音の調波構造又は上記左右チャンネル対応部で取り出された音の方向付け情報に基づいて、上記音響データから音源毎の音響データに分離する音源分離部と、を含み、
上記処理部は、内外マイクの強度差がテンプレートの駆動機構のノイズの強度差と近く、内外マイクの入力音のスペクトルの強度とパターンとがテンプレートの駆動機構のノイズ周波数応答に近く、さらに駆動機構が動作しているときに、ノイズをバーストノイズとしてこの帯域の信号部分を除去することを特徴とするロボット聴覚システム。
【請求項９】
視覚，触覚等の知覚システムをさらに備えており、前記左右チャンネル対応部が、これらの知覚システムからの情報及び駆動機構の制御信号を参照して音の方向付け及び画像との対応付けを行なうことを特徴とする、請求項５〜８のいずれかに記載のロボット聴覚システム。
【請求項１０】
視覚，触覚等の知覚システムをさらに備えており、前記左右チャンネル対応部が、これらの知覚システムからの情報及び駆動機構の制御信号を参照して音の方向付け及び画像との対応付けを行い、
前記左右チャンネル対応部が、前記知覚システムに対して音の方向付けに関する情報を出力することを特徴とする、請求項５〜８のいずれかに記載のロボット聴覚システム。
【請求項１１】
視覚，触覚等の知覚システムをさらに備えており、前記左右チャンネル対応部が、これらの知覚システムからの情報及び駆動機構の制御信号を参照して音の方向付け及び画像との対応付けを行ない、
前記左右チャンネル対応部が、前記知覚システムに対して音の方向付けに関する情報を出力し、
前記左右チャンネル対応部が、聴覚用のエピポーラ幾何に基づいた方法により音の方向情報を計算して音の方向付けを行い、調波構造を有する音に関しては、調波構造を利用した音源分離と音の強度差情報とを利用して音の方向付けを行なうことを特徴とする、請求項５〜８のいずれかに記載のロボット聴覚システム。
【請求項１２】
内部に駆動機構等のノイズ発生源を備えた人型または動物型のロボットにおいて、
少なくともロボットの頭部を覆う防音性の外装と、
上記外装の外側にて両側の耳に対応する両耳位置に設けられ、主として外部の音を集音する少なくとも一対の外部マイクと、
上記外装の内側に設けられ、主として内部のノイズ発生源からのノイズを集音する少なくとも一つの内部マイクと、
上記外部マイク及び内部マイクからの信号に基づいて、外部マイクからの音響信号から内部のノイズ発生源からのノイズ信号をキャンセルするとともに、上記内部マイクからの信号からノイズ発生源によるバーストノイズを検出してこのバーストノイズを含む帯域の信号部分を除去する処理部と、
上記処理部からの左右の音響信号から、それぞれ周波数解析を行なって、当該音響データが示すピッチを伴う調波構造から、時間，周波数及びパワーに関する音響データを取り出すピッチ抽出部と、
上記ピッチ抽出部で取り出された左右の音響データに基づいて、音の方向付けを行なう左右チャンネル対応部と、
音の調波構造又は上記左右チャンネル対応部で取り出された音の方向付け情報に基づいて、上記音響データから音源毎の音響データに分離する音源分離部と、を含み、
上記処理部が、外部マイク及び内部マイクからの音響信号のスペクトルパワー差のパターンが前もって測定された駆動機構のノイズのスペクトルパワー差のパターンとほぼ同じであり、スペクトルの音圧及びパターンが前もって測定された駆動機構のノイズの周波数応答とほぼ同じであって、駆動機構の制御信号により駆動機構の連続動作を検出したとき、バーストノイズとしてこの帯域の信号部分を除去することを特徴とする、ロボット聴覚システム。
【請求項１３】
内部に駆動機構等のノイズ発生源を備えた人型または動物型のロボットにおいて、
少なくともロボットの頭部を覆う自己認識用の防音性の外装と、
上記外装の外側にて両側の耳に対応する両耳位置に設けられ、主として外部の音を集音する少なくとも一対の外部マイクと、
上記外装の内側に設けられ、主として内部のノイズ発生源からのノイズを集音する少なくとも一つの内部マイクと、
上記外部マイク及び内部マイクからの信号に基づいて、外部マイクからの音響信号から内部のノイズ発生源からのノイズ信号をキャンセルするとともに、上記内部マイクからの信号からノイズ発生源によるバーストノイズを検出してこのバーストノイズを含む帯域の信号部分を除去する処理部と、
上記処理部からの左右の音響信号からそれぞれ周波数解析を行なって、当該音響データが示すピッチを伴う調波構造から時間，周波数及びパワーに関する音響データを取り出すピッチ抽出部と、
上記ピッチ抽出部で取り出された左右の音響データに基づいて、音の方向付けを行なう左右チャンネル対応部と、
音の調波構造又は上記左右チャンネル対応部で取り出された音の方向付け情報に基づいて、上記音響データから音源毎の音響データに分離する音源分離部と、を含み、
上記処理部が、外部マイク及び内部マイクからの音響信号のスペクトルパワー差のパターンが前もって測定された駆動機構のノイズのスペクトルパワー差のパターンとほぼ同じであり、スペクトルの音圧及びパターンが前もって測定された駆動機構のノイズの周波数応答とほぼ同じであって、駆動機構の制御信号により駆動機構の連続動作を検出したとき、バーストノイズとしてこの帯域の信号部分を除去することを特徴とする、ロボット聴覚システム。
【請求項１４】
前記左右チャンネル対応部が、聴覚用のエピポーラ幾何により音の方向情報を計算して音の方向付けを行なうことを特徴とする、請求項１２又は１３に記載のロボット聴覚システム。
【請求項１５】
前記左右チャンネル対応部が、聴覚用のエピポーラ幾何に基づいた方法により音の方向情報を計算して音の方向付けを行い、調波構造を有する音に関しては、調波構造を利用した音源分離と音の強度差情報とを利用して音の方向付けを行なうことを特徴とする、請求項１２又は１３に記載のロボット聴覚システム。
【発明の詳細な説明】
技術分野
本発明はロボット、特に人型または動物型ロボットにおける聴覚装置に関するものである。
技術背景
近年、人型または動物型ロボットにおいては、視覚，聴覚の能動知覚が注目されてきている。能動知覚とは、ロボット視覚やロボット聴覚等の知覚を担当する知覚装置を、知覚すべき目標に追従するように、これらの知覚装置を支持する例えば頭部を駆動機構により姿勢制御するものである。
ここで、能動視覚に関しては、少なくとも知覚装置であるカメラが、駆動機構による姿勢制御によってその光軸方向が目標に向かって保持され、目標に対して自動的にフォーカシングやズームイン，ズームアウト等が行なわれることにより、目標がカメラによって撮像されるようになっており、種々の研究が行なわれている。
これに対して、能動聴覚に関しては、少なくとも知覚装置であるマイクが、駆動機構による姿勢制御によってその指向性が目標に向くようにして保持され、目標からの音がマイクによって集音される。このとき、能動聴覚の不利な点として、駆動機構が作動している間は、マイクが駆動機構の作動音、特にバーストノイズを拾ってしまうため、目標からの音に大きなノイズが混入してしまい、目標からの音を正確に認識できなくなってしまうことがある。
しかしながら、駆動機構を停止させた状態での聴覚研究では、特に目標が移動しているような場合、目標の移動に追従しながらの所謂能動聴覚を行なうことはできない。
さらに、上述した駆動機構だけでなく、ロボット内部で発生する各種動作音及び定常的に発生するノイズも、聴覚装置としてのマイクが集音してしまうので、同様に完全な能動聴覚を得ることは困難であった。
ところで、ノイズキャンセルの方法としては、所謂アクティブノイズコントロール（ＡＮＣ）という方法が知られている。
このＡＮＣ法は、騒音源の近傍にマイクを設けて、騒音源からのノイズを集音し、騒音源からのノイズをキャンセルしたい場所におけるノイズを、ＩＩＲ（無限インパルス応答）フィルタやＦＩＲ（有限インパルス応答）フィルタ等の適応フィルタによって予測して、ノイズをキャンセルしたい場所にて予想した騒音と逆位相の音をスピーカから出力してノイズを打ち消すことにより、ノイズを消滅させる方法である。
しかしながら、このようなＡＮＣ法においては、ノイズを過去のデータに基づく予想によってキャンセルしているため、所謂バーストノイズに対応することは困難である。また、適応フィルタを利用してノイズをキャンセルしていることから、左右のチャンネル間の位相差情報が歪められ、あるいは消滅してしまうので、音の方向付けができなくなってしまう。
さらに、騒音源からのノイズを集音するマイクは、できるだけノイズのみを集音することが望ましいが、ロボット聴覚装置の場合にはノイズのみを集音することが困難である。
また、ノイズをキャンセルしたい場所におけるノイズを予想するための計算時間が必要であることから、騒音源とスピーカとの距離はある程度離れていることが前提条件となるが、ロボット聴覚装置の場合には、外部音を集音する外部マイクと内部の騒音を集音する内部マイクが比較的近くに設置されることから、計算時間が短くなるため、実質的にＡＮＣ法を採用することが困難である。
従って、上述したＡＮＣ法をロボット内部で発生するノイズをキャンセルするために採用することは不適である。
この発明は、以上の点にかんがみて、駆動機構等のロボット内部で発生するノイズに影響されることなく、外部の目標からの音を集音して能動知覚を行なうことができるようにした、ロボット聴覚装置及びロボット聴覚システムを提供することを目的としている。
発明の開示
上記目的は、本発明の第一の構成によれば、内部にノイズ発生源を備えたロボットにおいて、少なくともロボットの一部を覆う防音性の外装と、上記外装の外側に設けられ主として外部の音を集音する少なくとも二つの外部マイクと、上記外装の内側に設けられ主として内部のノイズ発生源からのノイズを集音する少なくとも一つの内部マイクと、上記外部マイク及び内部マイクからの信号に基づいてそれぞれ外部マイクからの音響信号から内部のノイズ発生源からのノイズ信号をキャンセルする処理部と、上記処理部からの左右の音響信号から音の方向付けを行なう方向情報抽出部と、を含んでおり、上記処理部が、内部マイクからの信号からノイズ発生源によるバーストノイズを検出して、このバーストノイズを含む帯域の信号部分を除去することを特徴とするロボット聴覚装置により、達成される。
本発明によるロボット聴覚装置は、防音性の外装が自己認識用に構成されるのが望ましい。
本発明によるロボット聴覚装置は、内外マイクの強度差がテンプレートの駆動機構のノイズの強度差と近く、内外マイクの入力音のスペクトルの強度とパターンとがテンプレートの駆動機構のノイズ周波数応答に近く、さらに駆動機構が動作しているときにノイズをバーストノイズとして、上記処理部が、好ましくはこの帯域の信号部分を除去する。
本発明によるロボット聴覚装置は、好ましくは、上記方向情報抽出部が、聴覚用のエピポーラ幾何に基づいた方法により、音の方向情報を計算して音の方向付け（音源定位）を行い、調波構造を有する音に関しては、調波構造を利用した音源分離と、音の強度差情報とを利用してロバスト（頑健）な音源定位を行う。
また、上記目的は、本発明の第二の構成によれば、内部にノイズ発生源を備えたロボットにおいて、少なくともロボットの一部を覆う、好ましくはロボットの自己認識用の防音性の外装と、上記外装の外側に設けられ主として外部の音を集音する少なくとも二つの外部マイクと、上記外装の内側に設けられ主として内部のノイズ発生源からのノイズを集音する少なくとも一つの内部マイクと、上記外部マイク及び内部マイクからの信号に基づいて、それぞれ外部マイクからの音響信号から内部のノイズ発生源からのノイズ信号をキャンセルする処理部と、上記処理部からの左右の音響信号からそれぞれ周波数解析を行なって当該音響データが示すピッチを伴う調波構造から時間，周波数及びパワーに関する音響データを取り出すピッチ抽出部と、上記ピッチ抽出部で取り出された左右の音響データに基づいて音の方向付けを行なう左右チャンネル対応部と、音の調波構造又は上記左右チャンネル対応部で取り出された音の方向付け情報に基づいて上記音響データから音源毎の音響データに分離する音源分離部と、を含んでおり、上記処理部が、内部マイクからの信号からノイズ発生源によるバーストノイズを検出して、このバーストノイズを含む帯域の信号部分を除去することを特徴とするロボット聴覚システムにより達成される。
さらに、上記目的は、本発明の第三の構成によれば、内部に駆動機構等のノイズ発生源を備えた人型または動物型のロボットにおいて、少なくともロボットの頭部を覆う、好ましくはロボットの自己認識用の防音性の外装と、上記外装の外側にて両側の耳に対応する両耳位置に設けられ主として外部の音を集音する少なくとも一対の外部マイクと、上記外装の内側に設けられ主として内部のノイズ発生源からのノイズを集音する少なくとも一つの内部マイクと、上記外部マイク及び内部マイクからの信号に基づいて外部マイクからの音響信号から内部のノイズ発生源からのノイズ信号をキャンセルする処理部と、上記処理部からの左右の音響信号からそれぞれ周波数解析を行なって当該音響データが示すピッチを伴う調波構造から時間，周波数及びパワーに関する音響データを取り出すピッチ抽出部と、上記ピッチ抽出部で取り出された左右の音響データに基づいて音の方向付けを行なう左右チャンネル対応部と、音の調波構造又は上記左右チャンネル対応部で取り出された音の方向付け情報に基づいて上記音響データから音源毎の音響データに分離する音源分離部とを含んでおり、上記処理部が、内部マイクからの信号からノイズ発生源によるバーストノイズを検出して、このバーストノイズを含む帯域の信号部分を除去することを特徴とするロボット聴覚システムにより達成される。
この発明によるロボット聴覚システムは、好ましくは、ロボットが視覚，触覚等の知覚システムをさらに備えており、上記左右チャンネル対応部が、これらの知覚システムからの情報及び駆動機構の制御信号を参照して音の方向付け及び画像との対応付けを行なう。
この発明によるロボット聴覚システムは、好ましくは、上記左右チャンネル対応部が、上記知覚システムに対して音の方向付けに関する情報を出力する。
本発明によるロボット聴覚システムは、内外マイクの強度差がテンプレートの駆動機構のノイズの強度差と近く、内外マイクの入力音のスペクトルの強度とパターンとがテンプレートの駆動機構のノイズ周波数応答に近く、さらに駆動機構が動作しているときに、ノイズをバーストノイズとして、好ましくは上記処理部がこの帯域の信号部分を除去する。
本発明によるロボット聴覚システムは、内部マイクからの音響信号のパワーが外部マイクからの音響信号のパワーより十分大きく、所定周波数幅の複数個のサブバンドにて所定値以上のパワーを有しており、駆動機構の制御信号により駆動機構の連続動作を検出したとき、好ましくは、上記処理部がバーストノイズとしてこの帯域の信号部分を除去する。
本発明によるロボット聴覚システムは、外部マイク及び内部マイクからの音響信号のスペクトルパワー差のパターンが前もって測定された駆動機構のノイズのスペクトルパワー差のパターンとほぼ同じであり、スペクトルの音圧及びパターンが前もって測定された駆動機構のノイズの周波数応答とほぼ同じであって、駆動機構の制御信号により駆動機構の連続動作を検出したとき、好ましくは、上記処理部がバーストノイズとしてこの帯域の信号部分を除去する。
本発明によるロボット聴覚システムは、好ましくは、上記左右チャンネル対応部が、聴覚用のエピポーラ幾何に基づいた方法により音の方向情報を計算して音の方向付け（音源定位）を行い、調波構造を有する音に関しては、調波構造を利用した音源分離と音の強度差情報とを利用してロバスト（頑健）な音源定位を行う。
上記構成によれば、外部マイクが主として外部の目標からの音を集音し、内部マイクが主としてロボット内部の駆動機構等のノイズ発生源からのノイズを集音する。その際、外部マイクが集音した音響信号には、ロボット内部のノイズ発生源からのノイズ信号が混入しているが、この混入したノイズ信号は、処理部における演算処理によって、内部マイクが集音したノイズ信号によりキャンセルされて著しく低減される。その際、処理部が、内部マイクからの信号からノイズ発生源によるバーストノイズを検出して、外部マイクからの信号からこのバーストノイズを含む帯域の信号部分を除去する。すなわち、処理部はバーストノイズを含む外部マイクからの信号を全て取り除く。よって、方向情報抽出部または左右チャンネル対応部における音の方向付けを、バーストノイズに影響されることなくより正確に行なうことができる。
そして、ノイズがキャンセルされた音響信号から、ピッチ抽出部により周波数解析によって音響信号を取り出して、この音響信号から左右チャンネル対応部により音の方向付けを行なった後、この音の方向付けに基づいて音源分離部によって各音源毎の音響データに分離する。
したがって、外部マイクからの音響信号は、処理部での演算処理によってロボット内部の駆動機構等のノイズ発生源からのノイズが容易に著しく低減されると共に、特にバーストノイズを含む帯域の信号部分が除去されることによりそのＳ／Ｎ比が大幅に改善されるので、音源毎の音響データの分離をより一層良好に行なうことができる。
さらに、ロボットが視覚，触覚等の知覚システムを備えており、上記左右チャンネル対応部が、これらの知覚システムからの情報を参照して音の方向付けを行なう場合には、例えば視覚装置からの目標に関する視覚情報に基づいて、左右チャンネル対応部がより明確な方向付けを行なうことができる。
上記左右チャンネル対応部が、上記知覚システムに対して、音の方向付けに関する情報を出力する場合には、例えば視覚装置に対して目標に関する聴覚による方向付けの情報を出力するので、視覚装置がより一層正確な方向付けを行なうことができる。
処理部が、内外マイクの強度差がテンプレートの駆動機構のノイズの強度差と近く、内外マイクの入力音のスペクトルの強度とパターンとがテンプレートの駆動機構のノイズ周波数応答に近く、さらに駆動機構が動作しているときに、ノイズをバーストノイズとして、この帯域の信号部分を除去する場合、または内部マイクからの音響信号のパワーが外部マイクからの音響信号のパワーより十分大きく、所定周波数幅の複数個のサブバンドにて所定値以上のパワーを有しており、駆動機構の制御信号により駆動機構の連続動作を検出したとき、上記処理部がバーストノイズとしてこの帯域の信号部分を除去する場合には、バーストノイズの除去を容易に行なうことができる。
外部マイク及び内部マイクからの音響信号のスペクトルパワー差のパターンが前もって測定された駆動機構のノイズのスペクトルパワー差のパターンとほぼ同じであり、スペクトルの音圧及びパターンが前もって測定された駆動機構のノイズの周波数応答とほぼ同じであって、駆動機構の制御信号により駆動機構の連続動作を検出したとき、上記処理部がバーストノイズとしてこの帯域の信号部分を除去する場合には、バーストノイズの除去をより正確に行なうことができる。
上記方向情報抽出部が、エピポーラ幾何に基づいた方法により、音の方向情報を計算して音の方向付け（音源定位）を行い、調波構造を有する音に関しては、調波構造を利用した音源分離と、音の強度差情報とを利用してロバスト（頑健）な音源定位を行う場合には、従来の視覚システムで行なわれているエピポーラ幾何による計算方法を聴覚システムに応用することによって、ロボットの外装や音響環境による影響を受けずに、音の方向付けを一層正確に行なうことができる。
ここで、従来の両聴システムにおいて一般的である頭部伝達関数（ＨＲＴＦ）を利用することは、本発明では必要としない。頭部伝達関数は音環境の変化に弱いことが知られているが、本発明では、音環境が変化したとしても頭部伝達関数の再計算や調整を行なう必要がないので、汎用性の高い聴覚システムを構成することができる。
発明を実施するための最良の形態
以下、本発明のロボット聴覚装置及びロボット聴覚システムにおける実施の形態を図面を用いて詳細に説明する。
図１乃至図２はこの発明によるロボット聴覚システムの一実施形態を備えた実験用の人型ロボットの全体構成を示している。
図１において、人型ロボット１０は、４ＤＯＦ（自由度）のロボットとして構成されており、ベース１１と、ベース１１上にて一軸（垂直軸）周りに回動可能に支持された胴体部１２と、胴体部１２上にて三軸方向（垂直軸，左右方向の水平軸及び前後方向の水平軸）の周りに揺動可能に支持された頭部１３と、を含んでいる。
上記ベース１１は固定配置されていてもよく、脚部として動作可能としてもよく、或いは、移動可能な台車等の上に載置されていてもよい。
上記胴体部１２は、ベース１１に対して垂直軸の周りに、図１にて矢印Ａで示すように回動可能に支持されており、図示しない駆動手段によって回転駆動されると共に、図示の場合、防音性の外装によって覆われている。
上記頭部１３は胴体部１２に対して連結部材１３ａを介して支持されており、この連結部材１３ａに対して前後方向の水平軸の周りに、図１にて矢印Ｂで示すように揺動可能に、また左右方向の水平軸の周りに、図２にて矢印Ｃで示すように揺動可能に支持されていると共に、上記連結部材１３ａが、胴体部１２に対してさらに前後方向の水平軸の周りに、図１にて矢印Ｄで示すように揺動可能に支持されており、それぞれ図示しない駆動手段によって各矢印Ａ，Ｂ，Ｃ，Ｄ方向に回転駆動される。
ここで、上記頭部１３は、図３に示すように全体が防音性の外装１４により覆われていると共に、前側にロボット視覚を担当する視覚装置としてのカメラ１５を、また両側にロボット聴覚を担当する聴覚装置としての一対の外部マイク１６（１６ａ，１６ｂ）を備えている。
さらに、上記頭部１３は、図３に示すように、外装１４の内側にて左右に離隔して配設された一対の内部マイク１７（１７ａ，１７ｂ）を備えている。
上記外装１４は、例えばウレタン樹脂等の吸音性の合成樹脂から構成されており、頭部１３の内部をほぼ完全に密閉することにより、頭部１３の内部の遮音を行なうように構成されている。なお、胴体部１２の外装も、同様にして吸音性の合成樹脂から構成されている。なお、この外装１４は、ロボットが自己を認識するためのものでもあり、自己認識用にロボット内外から発せられる音を仕切る役割をするようになっている。ここで、自己認識とは、ロボットが、自分の内部の駆動手段から発したノイズやロボットの口（図示省略）から発せられた声などの音声とロボット外部からの音とを区別することを意味する。本発明では上記外装１４は、ロボットの内部と外部の音が区別できる程度にロボット内部が密閉されるように構成されている。
上記カメラ１５は公知の構成であって、例えば所謂パン，チルト，ズームの３ＤＯＦ（自由度）を有する市販のカメラが適用され得る。
上記外部マイク１６は、それぞれ頭部１３の側面において、前方に向かって指向性を有するように取り付けられている。
ここで、外部マイク１６の左右の各外部マイク１６ａ，１６ｂは、それぞれ図１及び図２に示すように、外装１４の両側にて前方に向いた段部１４ａ，１４ｂにて内側に取り付けられ、段部１４ａ，１４ｂに設けられた貫通穴を通して前方の音を集音すると共に、外装１４の内部の音をできるだけ拾わないように、音反射材や吸音材などを配した適宜の手段により遮音されている。これにより、外部マイク１６ａ，１６ｂは所謂バイノーラルマイクとして構成されている。なお、外部マイク１６ａ，１６ｂの取付位置の近傍において、段部１４ａ，１４ｂは人間の外耳形状或いは碗状に形成されていてもよい。
上記内部マイク１７は、外装１４の内側において、上述した各外部マイク１６ａ，１６ｂの近傍に、図示の場合には、前記カメラ１５の両端付近の上方にそれぞれ左右一対で配設されている。すなわち、一方の外部マイク１６ａの近傍には一方の内部マイク１７ａが、また、他方の外部マイク１６ｂの近傍には他方の内部マイク１７ｂが配設されている。尤も、上記内部マイク１７は、上記した位置に限定されることなく外装１４の内側で任意の位置に備えられていてよい。
図４は、上記外部マイク１６及び内部マイク１７を含む音響処理のための聴覚システムの電気的構成を示している。図４において、聴覚システム２０は、各外部マイク１６ａ，１６ｂ及び内部マイク１７ａ，１７ｂからの音響信号をそれぞれ増幅するアンプ２１ａ，２１ｂ，２１ｃ，２１ｄと、これらの増幅信号をＡＤ変換によりデジタル音響信号ＳＯＬ，ＳＯＲ，ＳＩＬ，ＳＩＲに変換するＡＤコンバータ２２ａ，２２ｂ，２２ｃ，２２ｄと、これらのデジタル音響信号が入力される処理部としての左右のノイズ除去回路２３，２４と、ノイズ除去回路２３，２４からのデジタル音響信号ＳＲ，ＳＬが入力されるピッチ抽出部２５，２６と、ピッチ抽出部２５，２６からの音響データが入力される左右チャンネル対応部２７と、左右チャンネル対応部２７からのデータが入力される音源分離部２８と、から構成されている。
上記ＡＤコンバータ２２ａ乃至２２ｄは、例えば量子化ビット数１６または２４で、４８ｋＨｚサンプリングした信号を取り出すように構成されている。
そして、左側の外部マイク１６ａからのデジタル音響信号ＳＯＬ及び左側の内部マイク１７ａからのデジタル音響信号ＳＩＬはノイズ除去回路２３に入力され、また右側の外部マイク１６ｂからのデジタル音響信号ＳＯＲ及び左側の内部マイク１７ｂからのデジタル音響信号ＳＩＲはノイズ除去回路２４に入力される。これらのノイズ除去回路２３，２４は同一の構成であり、それぞれ外部マイク１６からの音響信号から内部マイク１７のノイズ信号によりノイズキャンセルするように構成されている。即ち、ノイズ除去回路２３は、外部マイク１６ａからのデジタル音響信号ＳＯＬを、内部マイク１７ａが集音したロボット内部のノイズ発生源からのノイズ信号ＳＩＬに基づいて、例えば最も簡便には、外部マイク１６ａからのデジタル音響信号ＳＯＬから内部マイク１７ａからの音響信号ＳＩＬを減算する等の適宜の演算処理によるノイズキャンセル処理によって、外部マイク１６ａからの音響信号ＳＯＬに混入したロボット内部の各駆動機構（駆動手段）等のノイズ発生源からのノイズを除去して左の音響信号ＳＬを生成する。また、ノイズ除去回路２４は、外部マイク１６ｂからのデジタル音響信号ＳＯＲを、内部マイク１７ｂが集音したロボット内部のノイズ発生源からのノイズ信号ＳＩＲに基づいて、例えば最も簡便には、外部マイク１６ｂからのデジタル音響信号ＳＯＲから内部マイク１７ｂからの音響信号ＳＩＲを減算する等の適宜の演算処理によるノイズキャンセル処理によって、外部マイク１６ｂからの音響信号ＳＩＲに混入したロボット内部の各駆動機構等のノイズ発生源からのノイズを除去して右の音響信号ＳＲを生成する。
ここで、上記ノイズ除去回路２３，２４は、内部マイク１７ａ，１７ｂからの音響信号ＳＩＬ，ＳＩＲから所謂バーストノイズを検出して、外部マイク１６ａ，１６ｂからの音響信号ＳＯＬ，ＳＯＲからこのバーストノイズの帯域に対応する信号部分を除去することにより、バーストノイズの混入による音の方向付けの精度を高めるようになっている。このバーストノイズの除去は、ノイズ除去回路２３，２４内にて、以下のようにして行なわれる。
先ず、ノイズ除去回路２３，２４は、第一のバーストノイズ除去方法として、内部マイク１７ａ，１７ｂからの音響信号ＳＩＬ，ＳＩＲと外部マイク１６ａ，１６ｂからの音響信号ＳＯＬ，ＳＯＲとを比較して、音響信号ＳＩＬ，ＳＩＲのパワーが音響信号ＳＯＬ，ＳＯＲのパワーより十分大きく、また音響信号ＳＩＬ，ＳＩＲのパワーが所定値（例えば３０ｄＢ）以上のピークが所定周波数幅、例えば４７Ｈｚのサブバンドに関して、一定数（例えば２０）以上のサブバンドに亘って連続していて、さらに駆動手段が作動を続けている場合に、バーストノイズがあると判断して、音響信号ＳＯＬ，ＳＯＲの当該サブバンドに対応する信号部分を除去する。このために、ノイズ除去回路２３，２４には駆動機構の制御信号が入力されている。
なお、バーストノイズの除去やその検出の判断方法としては、好ましくは後述する第二のバーストノイズ除去方法を行うのが望ましい。
このようなバーストノイズの除去は、例えばアダプティブフィルタによって行なわれる。このアダプティブフィルタは、リニアフェーズフィルタであって、例えば１００のオーダーのＦＩＲフィルタにより構成される。各ＦＩＲフィルタのパラメータは、適応アルゴリズムとしての最小二乗法により計算される。
かくして、ノイズ除去回路２３，２４は、図６に示すように、それぞれバーストノイズ除去部として機能してバーストノイズの検出及び除去を行なう。
上記ピッチ抽出部２５，２６は同一の構成であり、ノイズ除去回路２３，２４からの左右の音響信号ＳＬ，ＳＲをそれぞれ周波数解析して、時間，周波数及びパワーの三軸から成る音響データを取り出すように構成されている。即ち、ピッチ抽出部２５は、ノイズ除去回路２３からの左の音響信号ＳＬを周波数解析することにより、時間とパワーで成る二軸の音響信号ＳＬから時間，周波数及びパワーの三軸から成るスペクトログラムと呼ばれる左の音響データＤＬを取り出す。また、ピッチ抽出部２６も同様にして、ノイズ除去回路２４からの右の音響信号ＳＲを周波数解析することにより、時間とパワーから成る二軸の音響信号ＳＲから時間，周波数及びパワーの三軸で成る右の音響データＤＲを取り出す。
ここで、上記周波数解析は、例えば２０ｍ秒の窓長で、７．５ｍ秒づつずらしながら、ＦＦＴ（高速フーリエ変換）を行なうことにより実行される。なお、このような周波数解析は、ＦＦＴに限らず一般的な種々の方法で行なわれるようにしてもよい。
このようにして得られた音響データＤＬにおいては、音声や音楽における各音はスペクトログラム上にてピークの連なりとして示されると共に、一般的に調波構造を有しており、整数倍の周波数値に規則的にピークを有するようになっている。
ピークの抽出は次のように行われる。スペクトルは、例えば４８ＫＨｚのサンプリング速度で１０２４のサブバンドについてフーリエ変換することにより計算される。次に、スペクトルの内、閾値以上のパワーを持ったローカルピークを抽出する。閾値は周波数ごとに異なり、部屋の暗騒音を一定時間計測することによって自動的に求められる。この際、バンドパスフィルタを用いて、ノイズの大きい９０Ｈｚ以下の周波数域とパワーの小さい３ＫＨｚ以上の高周波数域とは計算量低減のためにカットする。これにより十分高速なピーク抽出が実現できる。
上記左右チャンネル対応部２７は、左右のピッチ抽出部２５，２６からの音響データＤＬ，ＤＲにてそれぞれピークにより示される調波構造のピッチに関して、その位相差，時間差等に基づいて同じ音から派生するピッチを左右チャンネルで対応付けることにより音の方向付けを行なう。この音の方向付けは、例えばエピポーラ幾何に基づいた方法により、音の方向情報を計算して音の方向付け（音源定位）を行い、調波構造を有する音に関しては、調波構造を利用した音源分離と音の強度差情報とを利用してロバスト（頑健）な音源定位を行う。
ここで、視覚によるエピポーラ幾何の場合には、図６（Ａ）に示すように、互いに光軸が平行であって画面が同一面に位置し、同じ焦点距離を有する二つのカメラから成る簡単なステレオカメラにおいて、点Ｐ（Ｘ，Ｙ，Ｚ）が各カメラの画面にて点Ｐ１ｌ（ｘｌ，ｙｌ）及び点Ｐ２（ｘｒ，ｙｒ）に投影されるとき、以下の関係式
0003780516.tif 000002
が成立する。ここで、ｆは各カメラの焦点距離，ｂはベースライン，ｄは（ｘｌ−ｘｒ）で定義される。
このエピポーラ幾何の概念を聴覚に導入することにより、図６（Ｂ）に示すように、外部マイク１６ａ，１６ｂの中心から音源Ｐへの角度θについて、以下の方程式
0003780516.tif 000003
が成立する。ここで、ｖは音速，ｆは音の周波数である。
そして、左右の外部マイク１６ａ，１６ｂから音源までの距離差Δｌに基づいて、外部マイクからの左右の音響信号ＳＯＬ，ＳＯＲの間に位相差ＩＰＤ＝Δφが発生する。
音の方向付けは、例えば各サブバンドの帯域幅が４７ＨｚになるようなＦＦＴ（高速フーリエ変換）によりピークを抽出し、位相差ＩＰＤを計算することにより行なわれる。なお、ピークの抽出は、例えば４８ｋＨｚのサンプリング速度で１０２４のサブバンドについてフーリエ変換を計算することにより、ＨＲＴＦを利用した場合に比較して十分速く、正確に計算される。
これにより、頭部伝達関数（ＨＲＴＦ）によらない音の方向付け（音源定位）が実現できる。ピークの抽出においては、例えば４８ＫＨｚのサンプリング速度で１０２４ポイントのＦＦＴを使用して、スペクトルサブトラクションによる方法を用いる。これにより、実時間の処理が精度よく行える。なお、このスペクトルサブラトラクションは、ＦＦＴの窓関数の性質をも考慮に入れたスペクトル補間を伴っている。
かくして、左右チャンネル対応部２７は、図５に示すように、方向情報抽出部として機能して、方向情報を抽出する。図示の場合、左右チャンネル対応部２７は、聴覚システム２０以外にロボット１０に備えられた図示しない他の知覚システム３０から目標に関する情報、具体的には例えば視覚システムによる目標の位置，方向，形状，移動の有無等に関する情報や、触覚システムによる目標の柔軟度，振動の有無，触感等の情報が入力されることにより、上述した目標からの音の方向付けが正確に行なわれる。例えば、左右チャンネル対応部２７は、上記（聴覚による）方向情報と、カメラ１５からの視覚情報に基づく（視覚による）方向情報と比較して、これらの整合性をチェックし関連付ける。
さらに、左右チャンネル対応部２７は、人型ロボット１０の各駆動手段の制御信号に基づいて、頭部１３の方向情報（ロボット座標）を取得することにより、目標との相対位置を計算することができる。これにより、人型ロボット１０が移動している場合であっても、目標からの音の方向付けが一層正確に行なわれる。
上記音源分離部２８は、公知の構成により、左右チャンネル対応部２７からの方向付けの情報及び音響データＤＬ，ＤＲが入力されることにより、ディクションパスフィルタを使用することによって、方向付けの情報に基づいて音響データＤＬ，ＤＲから音源を同定すると共に、各音源毎に音響データを分離するように構成されている。
このディレクションパスフィルタは、例えば以下のようにしてサブバンドを収集する。即ち、特定の方向θを、各サブバンド（４７Ｈｚ）に関してΔφに変換した後、ピークを抽出して、位相差（ＩＰＤ）及びΔφ’を計算する。そして、位相差がΔφ’＝Δφであるとき、当該サブバンドを収集する。このようにして全てのサブバンドについて上記処理をして、収集されたサブバンドから成る波形を構成する。
ここで、同時のＦＦＴにより得られる左右チャンネルのスペクトルをＳｐ（ｌ）及びＳｐ（ｒ）とし、Ｓｐ（ｆｐ）のピーク周波数をｆｐとしたとき、左右のチャンネルのスペクトルＳｐ（ｌ）（ｆｐ）及びＳｐ（ｒ）（ｆｐ）は、それぞれ実数部Ｒ［Ｓｐ（ｒ）（ｆｐ）］，Ｒ［Ｓｐ（ｌ）（ｆｐ）］及び虚数部Ｉ［Ｓｐ（ｒ）（ｆｐ）］，Ｉ［Ｓｐ（ｌ）（ｆｐ）］で表わされる。
従って、上記Δφは、
0003780516.tif 000004
により求められる。
かくして、視覚（カメラ１５）によるエピポーラ平面から聴覚（外部マイク１６）によるエピポーラ平面への変換は図６に示すように容易に行なわれるので、目標の方向（θ）は、聴覚によるエピポーラ幾何に基づいて、上記の方程式［数２］により、ｆ＝ｆｐとして容易に求められる。
このように、左右チャンネル対応部２７で音源定位が行われ、その後音源分離部２８で音源が分離される。なお、図７はそれらの処理の概念図である。
また、音の方向付けと音源定位とについては、調波構造抽出によって音源分離を実現する方法により、調波構造を有する音に対してロバストな音源定位は行える。すなわち、これは、図４に示すモジュールの内、左右チャンネル対応部２７と音源分離部２８とを入れ替えて、音源分離部２８からのデータが左右チャンネル対応部２７へ入力されることにより実現できる。
ここで、調波構造を有する音に対する音源分離と音源定位について説明する。図８に示すように、まず音源分離においては、ピーク抽出で抽出されたピークは、周波数が低いものから順番に取りだされる。その周波数Ｆ０と一定以内の誤差（例えば心理学的実験によって得られた６％）で整数倍とみなせる周波数Ｆｎとを持つローカルピークが、周波数Ｆ０の倍音としてクラスタリングを行われる。このクラスタリングによって集められた最終的なピークの集合が一つの音と見なされる。これによって、音源分離が行われる。
次に、音源定位について説明する。一般に両耳聴における音源定位には、頭部伝達関数（ＨＲＴＦ）から求められる両耳間位相差（ＩＰＤ）と両耳間強度差（ＩＩＤ）とが使用される。しかし、ＨＲＴＦは頭部の形状や環境に大きく依存し、環境が変わる都度、計測が必要であるため実環境アプリケーションには不向きである。
そこで、本発明は、ＨＲＴＦに依らないＩＰＤを利用した音源定位法として、ステレオ視におけるエピポーラ幾何の概念を聴覚に拡張した聴覚エピポーラ幾何に基づく方法を適用している。
この際、（１）音の倍音構造の利用、（２）ＩＰＤを用いた聴覚エピポーラ幾何による定位結果とＩＩＤを用いた定位結果とのデンプスター−シェイファー理論を用いた統合、（３）モータ動作中でも正確な音源定位を可能とするアクティブオーディションの導入、によって音源定位のロバスト性を向上させている。
図８に示すように、この音源定位は、音源分離によって分離された調波構造を有した各音に対して行う。ロボットでは、左右のマイクのベースラインから１．５ＫＨｚ以下の周波数域に対してはＩＰＤ、それ以上の周波数域ではＩＩＤ、による音源定位が有効である。このため、入力音のうち１．５ＫＨｚ以上の倍音成分と１．５ＫＨｚ以下の倍音成分との２つに分けて処理を行う。先ず、入力音のうち１．５ＫＨｚ以下の周波数ｆｋを持った各倍音成分に対して、聴覚エピポーラ幾何を使用して、ロボット正面に対して±９０°の範囲で５°おきにＩＰＤ仮説（Ｐｈ（θ，ｆｋ））を生成する。
次に、次式に示す距離関数により、入力の各倍音におけるＩＰＤ（Ｐｓ（ｆｋ））と各仮説間の距離（ｄ（θ））とを計算する。ここで、ｎｆ＜１．５ＫＨｚは周波数が１．５ＫＨｚ以下である倍音数である。
0003780516.tif 000005
次に、得られた距離に対し、次式によって定義される確率密度関数を適用し、距離をＩＰＤを用いた場合の音源方向を支持する確信度ＢＦＩＰＤに変換する。ここで、ｍとｓとは、それぞれｄ（θ）の平均と分散とであり、ｎはｄの個数である。
0003780516.tif 000006
入力音のうち１．５ＫＨｚ以上の周波数を持った倍音に関しては、ＩＩＤの総和の正負に応じて下記表１に示す値をＩＩＤを用いた場合の音源方向を支持する確信度ＢＦＩＩＤとして与える。
0003780516.tif 000007
ＩＰＤ，ＩＩＤそれぞれの処理によって得られた音源方向を支持する値から、これらを次式で示されるデンプスター−シェイファー理論によって統合し、ＩＰＤとＩＩＤとの両方から音源方向を支持する新しい確信度を生成する。
0003780516.tif 000008
このような確信度ＢＦＩＰＤ＋ＩＩＤを各角度ごとに生成し、それらのうち最大の確信度値を持った方向が音源の方向と成る。
本発明の実施形態による人型ロボット１０は以上のように構成されており、外部マイク１６ａ，１６ｂが集音しようとする目標からの音は、以下のようにして集音され、ノイズキャンセルされることにより音源として知覚される。
先ず、外部マイク１６ａ，１６ｂが、主として目標からの外部の音を集音してそれぞれアナログ音響信号を出力する。ここで、外部マイク１６ａ，１６ｂはロボット内部からのノイズも集音するが、外装１４自体が頭部１３の内部を密閉しており、また外部マイク１６ａ，１６ｂが頭部１３の内部に対して遮音されていることにより、混入するノイズが比較的低いレベルに抑えられている。
これに対して、内部マイク１７ａ，１７ｂは、主としてロボット内部からのノイズ、例えば前述した各駆動機構の作動音や冷却ファンの作動音等のノイズ発生源からのノイズを集音する。ここで、内部マイク１７ａ，１７ｂは外部からの音も集音するが、外装１４が内部を密閉していることからそのレベルは比較的低く抑えられている。
このようにして集音された外部マイク１６ａ，１６ｂからのアナログ音響信号及び内部マイク１７ａ，１７ｂからのアナログ音響信号は、それぞれアンプ２１ａ乃至２１ｄにより増幅された後、ＡＤコンバータ２２ａ乃至２２ｄによりデジタル音響信号ＳＯＬ，ＳＯＲ，ＳＩＬ，ＳＩＲにＡＤ変換されて、ノイズ除去回路２３及び２４に入力される。
ノイズ除去回路２３，２４は、それぞれ外部マイク１６ａ，１６ｂからの音響信号ＳＯＬ，ＳＯＲから内部マイク１７ａ，１７ｂからの音響信号ＳＩＬ，ＳＩＲを減算する等の演算処理を行なうことにより、外部マイク１６ａ，１６ｂからの音響信号ＳＯＬ，ＳＯＲからロボット内部のノイズ発生源からのノイズ信号を除去すると共に、バーストノイズを検出して、外部マイク１６ａ，１６ｂからの音響信号ＳＯＬ，ＳＯＲからバーストノイズを含むサブバンドの信号部分を除去することにより、それぞれノイズ特にバーストノイズを除去した真の音響信号ＳＬ，ＳＲを外部へ出力する。
そして、ピッチ抽出部２５，２６が、それぞれ音響信号ＳＬ，ＳＲに基づいて周波数解析により、音響信号ＳＬ，ＳＲに含まれる全ての音に関して当該音に関するピッチを抽出し、このピッチに対応する当該音の調波構造，開始時，終了時と共に、音響データＤＬ，ＤＲとして左右チャンネル対応部２７に出力する。
続いて、左右チャンネル対応部２７が、これらの音響データＤＬ，ＤＲに基づいて音源毎の音の方向付けを行なう。
この場合、左右チャンネル対応部２７は、例えば各ピッチ抽出部２５，２６で抽出された音響データＤＬ，ＤＲに基づいて左右のチャンネルの調波構造を比較して、最も近いピッチを対応付ける。その際、左右のチャンネルのピッチを一対一で比較するだけでなく、一方のチャンネルの複数のピッチを他方のチャンネルの一つのピッチと比較する等により、より正確な対応付けを行なうことが好ましい。
そして、左右チャンネル対応部２７は、対応付けられたピッチの位相を比較すると共に、前述したエピポーラ幾何に基づいた方法により、音の方向情報を計算することにより、音の方向付けを行なう。
これにより、音源分離部２８が、左右チャンネル対応部２７からの音の方向付け情報に基づいて、音響データＤＬ，ＤＲから、音源毎の音に関する音響データを抽出して、音源毎の音に分離する。かくして、聴覚システム２０は音源毎の音の分離によって音響認識を行ない、能動聴覚を行なうことができる。
このようにして、本発明実施形態による人型ロボット１０によれば、ノイズ除去回路２３，２４により、外部マイク１６ａ，１６ｂからの音響信号ＳＯＬ，ＳＯＲから、内部マイク１７ａ，１７ｂからの音響信号ＳＩＬ，ＳＩＲに基づいてノイズキャンセルを行なうと共に、外部マイク１６ａ，１６ｂからの音響信号ＳＯＬ，ＳＯＲから、バーストノイズを含むサブバンドの信号成分を除去することにより、各駆動機構によって外部マイク１６ａ，１６ｂの指向性の方向を目標に向けながら、バーストノイズの影響を受けることなく、音の方向付けを行なうことができると共に、方向付けが、従来のようにＨＲＴＦを使用することなく、エピポーラ幾何に基づいた方法により計算することによって行なわれ得るので、音環境の変化によりＨＲＴＦの調整または再測定を行なう必要がなく、計算時間が短縮され得ると共に、未知の音環境においても、各音源からの音を分離して、より正確な音声認識を行なうことができる。
従って、例えば目標が移動している場合であっても、各駆動機構によって、外部マイク１６ａ，１６ｂの指向性の方向を常に目標に対して追従させながら、目標の音響認識を行なうことができる。このとき、左右チャンネル対応部２７が、例えば他の知覚システム３０として、視覚システムからの視覚による目標の方向付け情報を参照して音の方向付けを行なうことにより、より正確な音の方向付けを行なうことができる。
また、他の知覚システム３０として、視覚システムが使用される場合、左右チャンネル対応部２７が視覚システムに対して音の方向付け情報を出力するようにしてもよい。この場合、視覚システムが画像認識により目標の方向付けを行なう際に、聴覚システム２０の音に関する方向付け情報を参照することによって、例えば目標が移動して障害物の裏に隠れてしまった場合でも、目標からの音を参照して、目標の方向付けをより一層正確に行なうことができる。
以下に、具体的な実験例を示す。
図９に示すように、上記人型ロボット１０が、１０平方ｍの居住用の部屋４０内にて、二つの音源としてのスピーカ４１，４２に対向している。ここで、人型ロボット１０は、その頭部１３を５３度（右を０度とし、左回りの角度）の方向（回転前の方向）に向けている。
一方のスピーカ４１は、５００Ｈｚの単調音を再生し、人型ロボット１０の前方５度左（５８度）の位置に在る。これに対して、他方のスピーカ４２は６００Ｈｚの単調音を再生し、人型ロボット１０から見てスピーカ４１の６９度左（１２７度）の位置に在る。人型ロボット１０から各スピーカ４１，４２までの距離は、約２１０ｃｍである。
ここで、人型ロボット１０のカメラ１５の視野は、水平方向に関して約４５度であるから、人型ロボット１０は、スピーカ４２をカメラ１５により見ることができない。
この状態で、スピーカ４１が音を再生し、スピーカ４２が約３秒遅れて音を再生する場合について、人型ロボット１０が聴覚によりスピーカ４２の音の方向付けを行なって、スピーカ４２の方向に向けて頭部１３を回転し、音源としてのスピーカ４２と視覚対象物としてのスピーカ４２とを関連付ける、という実験を行なった。なお、回転後の頭部１３の方向は１３１度の方向になる。
実験は、人型ロボット１０の頭部１３の回転速度について、速い動作（６８．８度／秒）及び遅い動作（１４．９度／秒）と、Ｓ／Ｎ比０ｄＢの弱いノイズ（内部の待機状態の音と同様のパワー）とＳ／Ｎ比約５０ｄＢの強いノイズ（バーストノイズ）の条件で行なわれ、以下のような結果が得られた。
図１０は、人型ロボット１０の内部で発生する内部音（ノイズ）のスペクトログラムで、（Ａ）は速い動作の場合、（Ｂ）は遅い動作の場合を示している。これらのスペクトログラムによれば、駆動モータによるバーストノイズが明白に示されている。
従来のノイズ除去による方向情報は、図１１（Ａ）または（Ｂ）に示すように、頭部１３が回転している間（５〜６秒の間）、ノイズにより大きな影響を受けており、人型ロボット１０が音源を追跡するために頭部１３を回転駆動している間は、聴覚がほぼ無効となるようなノイズを発生していることが分かる。
これに対して、本発明によるバーストノイズ除去による方向情報は、図１２に示す弱いノイズ及び図１３に示す強いノイズの場合に、それぞれ頭部１３の回転駆動の間でも、バーストノイズの影響を受けずに、方向情報が正確に得られることが分かる。なお、図１４（Ａ）は図１３（Ａ）に対応するスペクトログラムを表し、また、図１４（Ｂ）は図１３（Ｂ）に対応するスペクトログラムを表すもので、いずれもノイズに比べて信号が強い場合を示している。
上記ノイズ除去回路２３，２４は、上述したように、各サブバンドについて、音響信号ＳＩＬ，ＳＩＲのパワーに基づいて、バーストノイズの有無の判定を行なってバーストノイズを除去しているが、バーストノイズの除去は、外装１４の音響特性に基づいて、以下のようにして行なうようにしてもよい。
第二のバーストノイズ除去方法においては、マイクに入力されるノイズは、ある時刻に、下記の３要件（（１）〜（３））を具備するとき、バーストノイズとして取り扱われる。
（１）内外のマイク１６ａ，１６ｂ，１７ａ，１７ｂの強度差がテンプレートのモータなどの駆動手段のノイズの強度差と近い。
（２）内外マイクの入力音のスペクトル強度とパターンがテンプレートのモータノイズ周波数応答に近い。
（３）モータなどの駆動手段が動作している。
即ち、第二のバーストノイズ除去方法においては、先ず、ノイズ除去回路２３，２４は、前以てロボット１０の各駆動手段の動作時における音響測定データ（後述の図１５（Ａ）及び（Ｂ）や図１６（Ａ）及び（Ｂ））、即ち外部マイク１６及び内部マイク１７からの音響信号データを測定し、テンプレートとして記憶しておく。
次に、ノイズ除去回路２３，２４は各サブバンド毎に、内部マイク１７ａ，１７ｂからの音響信号ＳＩＬ，ＳＩＲと外部マイク１６ａ，１６ｂからの音響信号ＳＯＬ，ＳＯＲに関して、上記記憶した音響測定データをテンプレートとしてバーストノイズの判定を行なう。即ち、ノイズ除去回路２３，２４は、外部マイクと内部マイクのスペクトルパワー差（又は音圧差）のパターンが、測定された音響測定データにおける駆動手段のノイズのスペクトルパワー差のパターンとほぼ同じであり、スペクトルの音圧及びパターンが測定された駆動手段のノイズの周波数応答とほぼ同じであって、さらに駆動手段が作動を続けている場合に、バーストノイズがあると判断して当該サブバンドに対応する信号部分を除去する。
このようなバーストノイズの判定は、以下の理由に基づいている。外装１４の音響特性は無響室において測定される。その際、測定される音響特性の項目は次の通りである。カバーロボット１０の各駆動手段、即ち頭部１３を前後方向に揺動させる第一のモータ（モータ１），頭部１３を左右方向に揺動させる第二のモータ（モータ２），頭部１３を垂直軸の周りに回動させる第三のモータ（モータ３）及び胴体部１２を垂直軸の周りに回動させる第四のモータ（モータ４）のノイズに関する内部マイク１７及び外部マイク１６による周波数対応は、図１５（Ａ），（Ｂ）に示すようになっている。また、内部マイク１７及び外部マイク１６のスペクトルパワー差のパターンは、図１６（Ａ）に示すようになっており、外部マイクの周波数応答から内部マイクの周波数応答を減算することにより得られる。同様にして、外部音のスペクトルパワー差のパターンは、図１６（Ｂ）に示すようになる。これはインパルス応答により得られる。インパルス応答は、水平方向及び垂直方向のマトリックス要素、即ち水平方向がロボット中心から０度，±４５度，±９０度及び±１８０度，そして垂直方向が０度及び３０度である１２点で測定される。
これらの図から、以下のことが観察される。即ち、
１．駆動手段（モータ）のノイズは、広帯域であり、図１５（Ａ），（Ｂ）に示すように、外部マイクによる信号よりも内部マイクによる信号が１０ｄＢ程度大きい。
２．駆動手段（モータ）のノイズは、図１６（Ａ）に示すように、２．５ｋＨｚ以上の周波数に関して、内部マイクより外部マイクの方がやや大きいかほぼ同等である。これは、外装１４で外部音が遮断されることにより、内部マイクがより駆動手段のノイズを拾いやすいことを示している。
３．駆動手段（モータ）のノイズは、２ｋＨｚ以下の周波数では、外部マイクより内部マイクの方がやや大きく、この傾向は、図１６（Ｂ）に示すように、特に７００Ｈｚ以下の周波数で顕著である。これは、外装１４内での共鳴を示しており、外装１４の直径が約１８ｃｍであることから、周波数５００Ｈｚにおけるλ／４に対応している。また、図１６（Ａ）においても、同様の共鳴が発生している。
４．内部音は、図１５（Ａ），（Ｂ）を比較して、平均して外部音より約１０ｄＢ大きい。従って、外装１４の内部音及び外部音の分離効率は約１０ｄＢである。
このようにして、前以て外部マイクと内部マイクのスペクトルパワー差のパターン、そして共鳴によるピークを含むスペクトルの音圧及びパターンを記憶させておくことにより、駆動手段（モータ）のノイズに関する測定データを保持しておき、ノイズ除去回路２３，２４が、各サブバンド毎に上述したバーストノイズの判定を行なって、バーストノイズがあると判定されたサブバンドに対応する信号部分を除去することにより、バーストノイズの影響を排除することができる。
前述したと同様の実験例を示す。
この場合、前述の実験例と同じ条件で、遅い動作（１４．９度／秒）でのみ実験が行なわれ、以下のような結果が得られた。
図１７は、人型ロボット１０の内部で発生する内部音（ノイズ）のスペクトログラムを示している。このスペクトログラムによれば、駆動モータによるバーストノイズが明白に示されている。
ノイズ除去のない場合による方向情報は、図１８に示すように、頭部１３が回転している間（５〜６秒の間）、ノイズにより影響を受けており、人型ロボット１０が音源を追跡するために頭部１３を回転駆動している間は、聴覚がほぼ無効となるようなノイズを発生していることが分かる。
また、前述した第一のバーストノイズ除去方法による方向情報は、図１９に示すように、頭部１３の回転駆動の間でもバーストノイズの影響による揺れがやや少なく、方向情報が比較的正確に得られる。
これに対して、上述した第二のバーストノイズ除去方法による方向情報は、図２０に示すように、頭部１３の回転駆動の間でもバーストノイズの影響による揺れが極めて少なくなり、方向情報がより一層正確に得られることが分かる。
なお、上記の実験と並行して、前述したＡＮＣ法（適応フィルタとしてＦＩＲフィルタを使用）によるノイズキャンセルも実験してみたが、バーストノイズを有効にキャンセルすることはできなかった。
上述した実施形態において、人型ロボット１０は、４ＤＯＦ（自由度）を有するように構成されているが、これに限らず、任意の動作を行なうように構成されたロボットに本発明によるロボット聴覚システムを組み込むことも可能である。
また、上述した実施形態においては、本発明によるロボット聴覚システムを人型ロボット１０に組み込んだ場合について説明したが、これに限らず、犬型等の各種動物型ロボットや、その他の形式のロボットに組み込むことも可能であることは明らかである。
さらに、上述した実施形態においては、内部マイク１７は一対のマイク１７ａ，１７ｂから構成されているが、一つ以上のマイクから構成されていてもよい。また、外部マイク１６は一対のマイク１６ａ，１６ｂから構成されているが、二対以上のマイクから構成されていてもよい。
従来技術のＡＮＣは、位相に影響を与えるフィルタリング処理を行うことで位相のずれが生じるため、音源定位を正確に行う場合には適していなかった。これに対して、本願発明によれば、位相情報に影響を与えるフィルタリングを行わないため、即ちノイズが混入している部分のデータを使わないようにしていることで、位相のずれは生じず、それゆえ、音源定位に適している。
産業上の利用可能性
以上のように、本発明によれば、駆動機構等のロボット内部で発生するノイズに影響されることなく、外部の目標からの音を集音して能動知覚を行なうことができるようにした、極めて優れたロボット聴覚装置及びロボット聴覚システムを提供できる。
【図面の簡単な説明】
本発明は、以下の詳細な説明及び本発明の実施例を示す添付図面に基づいて、より良く理解されるものとなろう。なお、添付図面に示す種々の実施例は本発明を特定又は限定することを意図するものではなく、単に本発明の説明及び理解を容易とするためだけのものである。
図中、
図１はこの発明によるロボット聴覚装置の第一の実施形態を組み込んだ人型ロボットの外観を示す正面図である。
図２は図１の人型ロボットの側面図である。
図３は図１の人型ロボットにおける頭部の構成を示す概略拡大図である。
図４は図１の人型ロボットにおけるロボット聴覚システムの電気的構成を示すブロック図である。
図５は図４のロボット聴覚システムにおける要部を示すブロック図である。
図６（Ａ）は視覚における、また、図６（Ｂ）は聴覚におけるエピポーラ幾何による方向付けを示す概略図である。
図７及び図８は、それぞれ音源定位と音源分離の処理を示す概念図である。
図９は図４のロボット聴覚システムの実験例を示す概略図である。
図１０は図９の実験におけるロボット頭部の（Ａ）速い動作及び（Ｂ）遅い動作における入力信号のスペクトログラムである。
図１１（Ａ）は図９の実験におけるバーストノイズを除去しない場合の速い動作における方向情報を示すグラフであり、図１１（Ｂ）は遅い動作における方向情報を示すグラフである。
図１２（Ａ）は図９の実験における弱いバーストノイズを除去した場合の速い動作における方向情報を示すグラフであり、図１２（Ｂ）は遅い動作における方向情報を示すグラフである。
図１３（Ａ）は図９の実験における強いバーストノイズを除去した場合の速い動作における方向情報を示すグラフであり、図１２（Ｂ）は遅い動作における方向情報を示すグラフである。
図１４（Ａ）は図１３（Ａ）に対応するスペクトログラムを、図１４（Ｂ）は図１３（Ｂ）に対応するスペクトログラムで、いずれもノイズに比べて信号が強い場合を示している。
図１５（Ａ）は駆動手段のノイズの内部マイクによる周波数応答を示すグラフであり、図１５（Ｂ）は外部マイクによる周波数応答を示すグラフである。
図１６（Ａ）は図１５の周波数応答における駆動手段のノイズのグラフ、図１６（Ｂ）は外部音のスペクトルパワー差のパターンを示すグラフである。
図１７は、ロボット頭部の遅い動作における入力信号のスペクトログラムである。
図１８はバーストノイズを除去しない場合の方向情報を示すグラフである。
図１９は図９の実験と同様の第一のバーストノイズ除去方法による方向情報を示すグラフである。
図２０は第二のバーストノイズ除去方法による方向情報を示すグラフである。
【図１】
0003780516.tif 000009
【図２】
0003780516.tif 000010
【図３】
0003780516.tif 000011
【図４】
0003780516.tif 000012
【図５】
0003780516.tif 000013
【図６】
0003780516.tif 000014
【図７】
0003780516.tif 000015
【図８】
0003780516.tif 000016
【図９】
0003780516.tif 000017
【図１０】
0003780516.tif 000018
【図１１】
0003780516.tif 000019
【図１２】
0003780516.tif 000020
【図１３】
0003780516.tif 000021
【図１４】
0003780516.tif 000022
【図１５】
0003780516.tif 000023
【図１６】
0003780516.tif 000024
【図１７】
0003780516.tif 000025
【図１８】
0003780516.tif 000026
【図１９】
0003780516.tif 000027
【図２０】
0003780516.tif 000028