(57)【特許請求の範囲】
【請求項１】
外部の音を集音する少なくとも一対のマイクを含む聴覚モジュールと、ロボットの前方を撮像するカメラを含む顔モジュールと、ステレオカメラにより物体を抽出するステレオモジュールと、ロボットを水平方向に回動させる駆動モータを含むモータ制御モジュールと、上記聴覚モジュール，顔モジュール，ステレオモジュール及びモータ制御モジュールからの聴覚イベント，顔イベント，ステレオイベント，モータイベントに基づいて聴覚ストリーム，顔ストリーム，ステレオストリーム，アソシエーションストリームを生成するアソシエーションモジュールと、アソシエーションモジュールにより生成された聴覚ストリーム，顔ストリーム，ステレオストリーム，アソシエーションストリームの何れかに基づいてアテンション制御を行なうアテンション制御モジュールと、を備えていて、
上記聴覚モジュールが、マイクからの音響信号に基づいて、調波構造を利用してピッチ抽出を行なうことにより音源毎の方向を得て個々の話者の方向を決定して個々の話者の聴覚イベントを抽出し、さらに、当該聴覚イベントをアソシエーションモジュールに送信し、
上記顔モジュールが、カメラにより撮像された画像に基づいて、パターン認識による各話者の顔識別と定位から各話者の名前，顔の方向を同定して個々の話者の顔イベントを抽出し、さらに、当該顔イベントをアソシエーションモジュールに送信し、
上記ステレオモジュールが、ステレオカメラにより撮像された画像から抽出された視差に基づいて縦に長い物体を抽出定位してステレオイベントを抽出し、当該ステレオイベントをアソシエーションモジュールに送信し、
上記モータ制御モジュールが、駆動モータの回転位置に基づいてモータイベントを抽出し、当該モータイベントをアソシエーションモジュールに送信し、
これにより、
上記アソシエーションモジュールが、聴覚イベント，顔イベント，ステレオイベントにモータイベントを同期させると共に該聴覚イベント，該顔イベント及び該ステレオイベントの座標系を絶対座標系に変換させてからカルマンフィルタを用いて同一話者の聴覚イベント，顔イベント，ステレオイベントを時間方向に接続することにより各話者の聴覚ストリーム，顔ストリーム及びステレオストリームを生成し、同一人物の聴覚ストリーム，顔ストリーム及びステレオストリームを関連付けてアソシエーションストリームを生成し、さらに、アソシエーションストリームを構成する聴覚ストリーム，顔ストリーム及びステレオストリームの結び付きが弱くなれば関連付けを解除して、
上記アテンション制御モジュールが、アソシエーションストリーム，聴覚ストリーム，顔ストリーム，ステレオストリームの順に優先的にアソシエーションストリーム，聴覚ストリーム，顔ストリーム及びステレオストリームの何れかを参照してアテンション制御とそれに伴う行動のプランニング結果に基づいて、モータの駆動制御を行なうロボット視聴覚システムであって、
上記聴覚モジュールが、アソシエーションモジュールからのアソシエーションストリームを参照して音源定位を行ってから、聴覚特性に従って正面方向で最小となり且つ左右に角度が大きくなるにつれて大きくなるパスレンジを有するアクティブ方向通過型フィルタにより、所定幅の範囲内の両耳間位相差または両耳間強度差をもったサブバンドを周波数領域で集めて、音源の波形を再構築することにより音源分離を行なうことを特徴とする、ロボット視聴覚システム。
【請求項２】
前記聴覚モジュールが、拡張聴覚エピポーラ幾何による音源定位に基づいて音源分離を行なうことを特徴とする、請求項１に記載のロボット視聴覚システム。
【請求項３】
前記聴覚モジュールが、ロボット固有の所定周波数を基準として、当該所定周波数未満で拡張聴覚エピポーラ幾何により、または全周波数帯域で頭部伝達関数により、または全周波数帯域で拡張聴覚エピポーラ幾何により、あるいは所定周波数未満で拡張聴覚エピポーラ幾何により且つ所定周波数以上で頭部伝達関数により、それぞれ得られる音源定位に基づいて音源分離を行なうことを特徴とする、請求項２に記載のロボット視聴覚システム。
【請求項４】
前記聴覚モジュール，顔モジュール，ステレオモジュール，モータ制御モジュール，アソシエーションモジュール及びアテンション制御モジュールが、ネットワークを介して互いに接続されていることを特徴とする、請求項１から３の何れかに記載のロボット視聴覚システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はロボット、特に人型または動物型ロボットにおける視聴覚システムに関するものである。
【０００２】
【従来の技術】
近年、このような人型または動物型ロボットにおいては、視覚，聴覚の能動知覚が注目されてきている。
能動知覚とは、ロボット視覚やロボット聴覚等の知覚を担当する知覚装置を、知覚すべき目標に追従するように、これらの知覚装置を支持する例えば頭部を駆動機構により姿勢制御するものである。
【０００３】
ここで、能動視覚に関しては、少なくとも知覚装置であるカメラが、駆動機構による姿勢制御によってその光軸方向が目標に向かって保持され、目標に対して自動的にフォーカシングやズームイン，ズームアウト等が行なわれることにより、目標がカメラによって撮像されるようになっており、種々の研究が行なわれている。
【０００４】
これに対して、能動聴覚に関しては、少なくとも知覚装置であるマイクが、駆動機構による姿勢制御によって、その指向性が目標に向かって保持され、目標からの音がマイクによって集音される。このとき、能動聴覚の不利な点として、駆動機構が作用している間は、マイクが駆動機構の作動音を拾ってしまうため、目標からの音に比較的大きなノイズが混入してしまい、目標からの音を認識できなくなってしまうことがある。
このような能動聴覚の不利な点を排除するために、例えば視覚情報を参照して音源の方向付けを行なうことにより、目標からの音を正確に認識する方法が採用されている。
【０００５】
【発明が解決しようとする課題】
ところで、このような能動聴覚においては、一般に、音源定位の際に、頭部伝達関数（以下、頭部伝達関数を単にＨＲＴＦと称する場合がある。）から求められる両耳間位相差（以下、両耳間位相差を単にＩＰＤと称する場合がある。）や両耳間強度差（以下、両耳間強度差を単にＩＩＤと称する場合がある。）を利用して、音源定位を行なうようにしている。
しかしながら、上記ＨＲＴＦを利用した音源定位では、部屋の音響環境まで考慮する必要があり、部屋の環境の変化が音源定位結果に大きく依存してしまう。また、測定関数であるため測定点間の値の補完が必要であるという問題もある。従って、実環境アプリケーションには不向きである。
【０００６】
また、ＨＲＴＦに依らず、視覚における所謂エピポーラ幾何を応用した音源定位も考えられるが、従来のエピポーラ幾何を応用した音源定位においては、両耳と目標とを結ぶ三角形に基づいて音源定位を行なっている。
しかしながら、このようなエピポーラ幾何における三角形においては、頭部付近では、上記三角形の辺が頭部を貫通することになるが、実際の目標からの音は頭部を貫通せず、頭部表面に沿って伝達するため、正確な音源定位を行なうことができなかった。
【０００７】
さらに、音源分離の際には、所謂方向通過型フィルタを用いて、特定の方向のＩＰＤと同じＩＰＤを有するサブバンドを選択する方法がある。
しかしながら、このような方向通過型フィルタにおいては、方向による感度の違い及びアクティブな動作を考慮していないため、感度の良好な正面以外の音源定位の精度が低くなってしまうと共に、従来では測定関数であるＨＲＴＦを利用している。従って、実環境及び環境の動的な変化に対応することが困難であり、さらにアクティブな動作に対してはＨＲＴＦの補間が必要になるという問題があった。
【０００８】
この発明は、以上の点にかんがみて、目標に対する視覚及び聴覚の情報を統合して、目標の音源分離を正確に行なうロボット視聴覚システムを提供することを目的としている。
【０００９】
【課題を解決するための手段】
上記目的は、この発明によれば、外部の音を集音する少なくとも一対のマイクを含む聴覚モジュールと、ロボットの前方を撮像するカメラを含む顔モジュールと、ステレオカメラにより物体を抽出するステレオモジュールと、ロボットを水平方向に回動させる駆動モータを含むモータ制御モジュールと、上記聴覚モジュール，顔モジュール，ステレオモジュール及びモータ制御モジュールからの聴覚イベント，顔イベント，ステレオイベント，モータイベントに基づいて聴覚ストリーム，顔ストリーム，ステレオストリーム，アソシエーションストリームを生成するアソシエーションモジュールと、アソシエーションモジュールにより生成された聴覚ストリーム，顔ストリーム，ステレオストリーム，アソシエーションストリームの何れかに基づいてアテンション制御を行なうアテンション制御モジュールと、を備えていて、上記聴覚モジュールが、マイクからの音響信号に基づいて、調波構造を利用してピッチ抽出を行なうことにより音源毎の方向を得て個々の話者の方向を決定して個々の話者の聴覚イベントを抽出し、さらに、当該聴覚イベントをアソシエーションモジュールに送信し、上記顔モジュールが、カメラにより撮像された画像に基づいて、パターン認識による各話者の顔識別と定位から各話者の名前，顔の方向を同定して個々の話者の顔イベントを抽出し、さらに、当該顔イベントをアソシエーションモジュールに送信し、上記ステレオモジュールが、ステレオカメラにより撮像された画像から抽出された視差に基づいて縦に長い物体を抽出定位してステレオイベントを抽出し、さらに、当該顔イベントをアソシエーションモジュールに送信し、上記モータ制御モジュールが、駆動モータの回転位置に基づいてモータイベントを抽出し、当該モータイベントをアソシエーションモジュールに送信し、これにより、上記アソシエーションモジュールが、聴覚イベント，顔イベント，ステレオイベントにモータイベントを同期させると共に該聴覚イベント，該顔イベント及び該ステレオイベントの座標系を絶対座標系に変換させてからカルマンフィルタを用いて同一話者の聴覚イベント，顔イベント，ステレオイベントを時間方向に接続することにより各話者の聴覚ストリーム，顔ストリーム及びステレオストリームを生成し、同一人物の聴覚ストリーム，顔ストリーム及びステレオストリームを関連付けてアソシエーションストリームを生成し、さらに、アソシエーションストリームを構成する聴覚ストリーム，顔ストリーム及びステレオストリームの結び付きが弱くなれば関係付けを解除して、上記アテンション制御モジュールが、アソシエーションストリーム，聴覚ストリーム，顔ストリーム，ステレオストリームの順に優先的にアソシエーションストリーム，聴覚ストリーム，顔ストリーム及びステレオストリームの何れかを参照してアテンション制御と、それに伴う行動のプランニング結果に基づいてモータの駆動制御を行なう、ロボット視聴覚システムであって、上記聴覚モジュールが、アソシエーションストリームを参照することにより、顔モジュール及びステレオモジュールからの顔ストリーム及びステレオストリームをも考慮して音源定位を行ってから、聴覚特性に従って正面方向で最小となり且つ左右に角度が大きくなるにつれて大きくなるパスレンジを有するアクティブ方向通過型フィルタにより、所定幅の範囲内の両耳間位相差（ＩＰＤ）または両耳間強度差（ＩＩＤ）をもったサブバンドを周波数領域で集めて音源の波形を再構築することにより音源分離を行なうことを特徴とするロボット視聴覚システムにより、達成される。
【００１０】
本発明によるロボット視聴覚システムは、好ましくは、上記聴覚モジュールが、拡張聴覚エピポーラ幾何による音源定位に基づいて音源分離を行なう。
【００１１】
本発明によるロボット視聴覚システムは、好ましくは、上記聴覚モジュールが、ロボット固有の所定周波数を基準として、当該所定周波数未満で拡張聴覚エピポーラ幾何により、または全周波数帯域で頭部伝達関数（ＨＲＴＦ）により、または全周波数帯域で拡張聴覚エピポーラ幾何により、あるいは所定周波数未満で拡張聴覚エピポーラ幾何により且つ所定周波数以上で頭部伝達関数により、それぞれ得られる音源定位に基づいて音源分離を行なう。
【００１３】
本発明によるロボット視聴覚システムは、好ましくは、上記聴覚モジュール，顔モジュール，ステレオモジュール，モータ制御モジュール，アソシエーションモジュール及びアテンション制御モジュールが、ネットワークを介して互いに接続されており、特にデータ量の大きいイベントやストリームの通信のために、比較的高速のネットワークが使用されている。
【００１４】
上記構成によれば、聴覚モジュールが、マイクが集音した外部の目標からの音から、調波構造を利用してピッチ抽出を行なうことにより音源毎の方向を得て、個々の話者の方向を決定してその聴覚イベントを抽出する。
また、顔モジュールが、カメラにより撮像された画像から、パターン認識による各話者の顔識別と定位から各話者を同定して、個々の話者の顔イベントを抽出する。
そして、ステレオモジュールが、ステレオカメラにより撮像された画像から抽出された視差に基づいて縦に長い物体を抽出定位してステレオイベントを抽出する。
さらに、モータ制御モジュールが、ロボットを水平方向に回動させる駆動モータの回転位置に基づいて、ロボットの方向を検出することによってモータイベントを抽出する。
なお、上記イベントとは、各時点において検出される音または顔が在ること、あるいは駆動モータが回転される状態を示しており、ストリームとは、エラー訂正処理を行ないながら、例えばカルマンフィルタ等により時間的に連続するように接続したイベントを示している。また、本明細書で用いることがある「視覚モジュール」「視覚ストリーム」の語は、顔モジュール，顔ストリーム及びステレオモジュール，ステレオストリームを包含する概念である。
【００１５】
ここで、アソシエーションモジュールは、このようにしてそれぞれ抽出された聴覚イベント，顔イベント，ステレオイベント及びモータイベントに基づいて、聴覚イベントの音源定位及び顔イベントの顔定位並びにステレオイベントの物体定位の方向情報によって各話者の方向を決定することにより、各話者の聴覚ストリーム，顔ストリーム及びステレオストリーム（視覚ストリーム）を生成し、さらにこれらのストリームを関連付けてアソシエーションストリームを生成する。この際、アソシエーションモジュールは、聴覚イベントの音源定位及び顔イベントの顔定位並びにステレオイベントの物体定位、即ち聴覚及び視覚の方向情報に基づいて各話者の方向を決定し、決定された各話者の方向を参考にしてアソシエーションストリームを生成することになる。
そして、アテンション制御モジュールが、これらのストリームに基づいてアテンション制御と、それに伴う行動のプランニング結果に基づいてモータの駆動制御を行なう。
アテンションとは、ロボットが目標である話者を、聴覚的及び／又は視覚的に「注目」することであり、アンテンション制御とは、モータ制御モジュールによりその向きを変えることにより、ロボットが上記話者に注目するようにすることである。
【００１６】
そして、アテンション制御モジュールは、このプランニングに基づいて、モータ制御モジュールの駆動モータを制御することにより、ロボットの方向を目標である話者に向ける。これにより、ロボットが目標である話者に対して正対することにより、聴覚モジュールが当該話者の声を、感度の高い正面方向にてマイクにより正確に集音，定位することができると共に、顔モジュールが当該話者の画像をカメラにより良好に撮像することができるようになる。
【００１７】
従って、このような聴覚モジュール，視覚モジュール（顔モジュール及びステレオモジュール）及びモータ制御モジュールと、アソシエーションモジュール及びアテンション制御モジュールとの連携によって、聴覚ストリームの音源定位及び視覚ストリーム（顔ストリーム及びステレオストリーム）の話者定位という方向情報に基づいて各話者の方向を決定することにより、ロボットの聴覚及び視覚がそれぞれ有する曖昧性が互いに補完されることになり、所謂ロバスト性が向上し、複数の話者であっても、各話者をそれぞれ確実に知覚することができる。
また、例えば聴覚ストリームまたは視覚ストリーム（顔ストリームとステレオストリーム）の何れか一方が欠落したときであっても、残りの視覚ストリーム（顔又はステレオストリーム）または聴覚ストリームのみに基づいて、目標である話者をアテンション制御モジュールが追跡することができるので、正確に目標の方向を把握して、モータ制御モジュールの制御を行なうことができる。
【００１８】
ここで、聴覚モジュールが、アソシエーションモジュールからのアソシエーションストリームを参照することにより、顔モジュール及びステレオモジュールからの顔ストリーム及びステレオストリームをも考慮して音源定位を行なうことによって、より一層正確な音源定位を行なうことができる。
そして、上記聴覚モジュールが、アソシエーションモジュールからの正確な音源方向情報に基づいて、聴覚特性に従って正面方向で最小となり且つ左右に角度が大きくなるにつれて大きくなるパスレンジを有するアクティブ方向通過型フィルタにより、所定幅の範囲内の両耳間位相差（ＩＰＤ）または両耳間強度差（ＩＩＤ）をもったサブバンドを集めて、音源の波形を再構築することにより音源分離を行なうので、上述した聴覚特性に応じてパスレンジ即ち感度を調整することにより、方向による感度の違いを考慮してより正確に音源分離を行なうことができる。
【００１９】
上記聴覚モジュールが、拡張聴覚エピポーラ幾何による音源定位に基づいて音源分離を行なう場合には、アソシエーションモジュールからのアソシエーションストリームを参照して、頭部表面に沿った拡張聴覚エピポーラ幾何により音源定位を行なうので、音源からロボットの両耳部に設けられた左右のマイクへの実際の距離に基づいて、聴覚エピポーラ幾何を応用することにより、ロボットの外装形状を考慮して、より正確に聴覚エピポーラ幾何による音源分離を行なうことができる。
【００２０】
上記聴覚モジュールが、ロボット固有の所定周波数を基準として、当該所定周波数未満で拡張聴覚エピポーラ幾何により、または全周波数帯域で頭部伝達関数（ＨＲＴＦ）により、または全周波数帯域で拡張聴覚エピポーラ幾何により、あるいは所定周波数未満で拡張聴覚エピポーラ幾何により且つ所定周波数以上で頭部伝達関数により、それぞれ得られる音源定位に基づいて音源分離を行なう場合には、そのときの実環境に応じて、正確な音源分離を行なうことができる。
【００２１】
上記アソシエーションモジュールが、各話者の方向を決定した後、カルマンフィルタを用いてイベントを時間方向に接続することにより聴覚ストリーム及び視覚ストリーム、即ち、顔ストリーム及びステレオストリームを生成し、さらにこれらを関連付けてアソシエーションストリームを生成する場合には、カルマンフィルタを使用することにより、より一層正確なストリームを生成することができる。
【００２２】
上記聴覚モジュール，顔モジュール，ステレオモジュール，モータ制御モジュール，アソシエーションモジュール及びアテンション制御モジュールが、ネットワークを介して互いに接続されており、特にデータ量の大きいイベントやストリームの通信のために、比較的高速のネットワークが使用されている場合には、大容量のデータを比較的高速のネットワークで伝送することにより、リアルタイム性及びスケーラビリティを向上させることができる。
【００２３】
【発明の実施の形態】
以下、図面に示した実施形態に基づいて、この発明を詳細に説明する。
図１乃至図２はこの発明によるロボット視聴覚システムの一実施形態を備えた実験用の人型ロボットの全体構成を示している。
図１において、人型ロボット１０は４ＤＯＦ（自由度）のロボットとして構成されており、ベース１１と、ベース１１上にて一軸（垂直軸）周りに回動可能に支持された胴体部１２と、胴体部１２上にて三軸方向（垂直軸，左右方向の水平軸及び前後方向の水平軸）の周りに揺動可能に支持された頭部１３と、を含んでいる。
【００２４】
上記ベース１１は固定配置されていてもよく、脚部として動作可能としてもよい。また、ベース１１は、移動可能な台車等の上に載置されていてもよい。
上記胴体部１２は、ベース１１に対して垂直軸の周りに、図１にて矢印Ａで示すように回動可能に支持されており、図示しない駆動手段によって回転駆動されると共に、図示の場合、防音性の外装によって覆われている。
【００２５】
上記頭部１３は胴体部１２に対して連結部材１３ａを介して支持されており、この連結部材１３ａに対して前後方向の水平軸の周りに、図１にて矢印Ｂで示すように揺動可能に、また左右方向の水平軸の周りに、図２にて矢印Ｃで示すように揺動可能に支持されていると共に、上記連結部材１３ａが、胴体部１２に対してさらに前後方向の水平軸の周りに、図１にて矢印Ｄで示すように揺動可能に支持されており、それぞれ図示しない駆動手段によって、各矢印Ａ，Ｂ，Ｃ，Ｄ方向に回転駆動される。
【００２６】
ここで、上記頭部１３は、図３に示すように全体が防音性の外装１４で覆われていると共に、前側にロボット視覚を担当する視覚装置としてのカメラ１５を、また両側にロボット聴覚を担当する聴覚装置としての一対のマイク１６（１６ａ，１６ｂ）を備えている。なお、マイク１６は、頭部１３の両側に限定されることなく、頭部１３の他の位置あるいは胴体部１２等に設けられていてもよい。
【００２７】
上記外装１４は、例えばウレタン樹脂等の吸音性の合成樹脂から構成されており、頭部１３の内部をほぼ完全に密閉することにより、頭部１３の内部の遮音を行なうように構成されている。なお、胴体部１２の外装も、同様にして吸音性の合成樹脂から構成されている。
上記カメラ１５は公知の構成であって、例えば所謂パン，チルト，ズームの３ＤＯＦ（自由度）を有する市販のカメラが適用され得る。なお、上記カメラ１５は、同期をとってステレオ画像を送ることができるように設計されている。
【００２８】
上記マイク１６は、それぞれ頭部１３の側面において、前方に向かって指向性を有するように取り付けられている。ここで、マイク１６の左右の各マイク１６ａ，１６ｂは、それぞれ図１及び図２に示すように、外装１４の両側にて前方に向いた段部１４ａ，１４ｂにて内側に取り付けられ、段部１４ａ，１４ｂに設けられた貫通穴を通して前方の音を集音すると共に、外装１４の内部の音を拾わないように適宜の手段により遮音されている。
これにより、各マイク１６ａ，１６ｂは、所謂バイノーラルマイクとして構成されている。なお、マイク１６ａ，１６ｂの取付位置の近傍において、外装１４は人間の外耳形状に形成されていてもよい。
【００２９】
図４は、上記カメラ１５及びマイク１６を含むロボット視聴覚の電気的構成を示している。
図４において、ロボット視聴覚システムは、聴覚モジュール２０，視覚モジュール、即ち、顔モジュール３０とステレオモジュール３７，モータ制御モジュール４０及びアソシエーションモジュール５０から構成されている。
ここで、アソシエーションモジュール５０はサーバから構成されていると共に、他のモジュール、即ち聴覚モジュール２０，顔モジュール３０，ステレオモジュール３７，モータ制御モジュール４０は、それぞれクライアントから構成されており、互いに非同期で動作する。
【００３０】
なお、上記サーバ及び各クライアントは、例えばパーソナルコンピュータにより構成されており、例えば１００Ｂａｓｅ−Ｔ等のネットワーク（図示せず）を介して、例えばＴＣＰ／ＩＰプロトコルにより、相互にＬＡＮ接続されている。この場合、好ましくは、データ量の大きいイベントやストリームの通信のためには、高速ネットワークが、また時刻の同期等の制御用通信のためには、中速ネットワークが、それぞれ区別して使用される。これにより、ロボット全体のリアルタイム性及びスケーラビリティを向上させるようにしている。
また、各モジュール２０，３０，３７，４０，５０は、それぞれ階層的に分散して、具体的には下位から順次にデバイス層，プロセス層，特徴層，イベント層から構成されている。
【００３１】
上記聴覚モジュール２０は、デバイス層としてのマイク１６と、プロセス層としてのピーク抽出部２１，音源定位部２２，音源分離部２３及びアクティブ方向通過型フィルタ２３ａと、特徴層（データ）としてのピッチ２４，音源水平方向２５と、イベント層としての聴覚イベント生成部２６と、から構成されている。
【００３２】
ここで、聴覚モジュール２０は、図５に示すように作用する。
即ち、図５において、聴覚モジュール２０は、例えば４８ｋＨｚ，１６ビットでサンプリングされたマイク１６からの音響信号を、符号Ｘ１で示すようにＤＦＴにより周波数解析して、符号Ｘ２で示すように左右のチャンネル毎にスペクトルを生成する。
そして、聴覚モジュール２０は、ピーク抽出部２１により左右のチャンネル毎に一連のピークを抽出して、左右のチャンネルで同じか類似のピークをペアとする。
ここで、ピーク抽出は、パワーがしきい値以上で且つローカルピークであって、低周波ノイズとパワーの小さい高周波帯域をカットするため例えば９０Ｈｚ乃至３ｋＨｚの間の周波数であるという条件のデータのみを透過させる帯域フィルタを使用することにより行なわれる。このしきい値は、周囲の暗騒音を計測して、さらに感度パラメータ、例えば１０ｄＢを加えた値として定義される。
【００３３】
そして、聴覚モジュール２０は、各ピークが調波構造を有していることを利用して、周波数が低い方から順に、調波構造を有するローカルピークを抽出して、抽出されたピークの集合を一つの音として、音源分離部２３により各音源からの混合音から音源毎の音響信号を分離する。
【００３４】
その際、聴覚モジュール２０の音源定位部２２は、符号Ｘ３で示すように、各音源毎の音響信号について、左右のチャンネルから同じ周波数の音響信号を選択して、例えば５度毎にＩＰＤ（両耳間位相差）及びＩＩＤ（両耳間強度差）を計算し、アクティブ方向通過型フィルタ２３ａに出力する。
【００３５】
これに対して、アクティブ方向通過型フィルタ２３ａは、アソシエーションモジュール５０における顔定位及びステレオ視覚そして音源定位に基づくリアルタイムトラッキング（後述）によるアソシエーションストリーム５９の方向に基づいて、以下に詳細に説明する拡張聴覚エピポーラ幾何を利用して、ロボット１０の正面を０度として±９０度の範囲で、符号Ｘ４で示すように、ＩＰＤの理論値ＩＰＤ（＝ΔφＥ  （θ））を生成すると共に、ＩＩＤの理論値ＩＩＤ（＝ΔρＥ  （θ））を計算する。
【００３６】
ここで、上記拡張聴覚エピポーラ幾何について説明する。
聴覚エピポーラ幾何は、ＨＲＴＦを使用せずに音源の方向情報を得るために必要である。ステレオ視覚研究においては、エピポーラ幾何が、最も一般的な定位法の一つであり、聴覚エピポーラ幾何は、視覚におけるエピポーラ幾何の聴覚への応用である。そして、聴覚エピポーラ幾何が幾何学的関係を利用して方向情報を得るので、ＨＲＴＦを不要にすることができるのである。
【００３７】
しかしながら、従来の聴覚エピポーラ幾何においては、外装１４の影響や、ロボット１０と部屋の反響のような実世界の環境の影響がある。外装１４の影響に関しては、実際のロボットの頭部の両側にマイク１６ａ，１６ｂを設けた場合、図６（Ａ）に示すように、例えば音源が右手前方に在ると、左側のマイク１６ａと音源Ｐとを結ぶ線分Ｑは、頭部１３内を貫通することになるが、実際には音源からの音は頭部１３の外装１４の表面に沿って進んで左側のマイク１６ａに達する。従って、このような場合には、上記聴覚エピポーラ幾何は適用できない。
【００３８】
そこで、本実施形態においては、より正確な方向情報を得るために、本発明による拡張聴覚エピポーラ幾何を利用している。
拡張聴覚エピポーラ幾何は、以下のように作用する。
即ち、先ず、ＦＦＴ（高速フーリエ変換）により得られた一対のスペクトルから、各サブバンドに対するＩＰＤを計算する。そして、頭部１３の形状を考慮して、図６（Ａ）に示すように、頭部１３中心から音源Ｐまでの距離をｌ、頭部の半径をｒとする。そして、音源Ｐから左右のマイク１６ａ，１６ｂまでの距離差をＤ、ＩＰＤをΔψ、音の周波数をｆ、音速をｖ（以下、音速ｖは、計算を簡略化するために、例えば３４０ｍ／秒に固定し、温度や湿度で変化しないものとする）とすると、以下の方程式
【数１】
0003627058.tif 000002
が得られる。
【００３９】
ここで、Ｄの定義にて、ロボットの外装１４の影響が考慮されるべきである。外装１４のために、音は、一方の耳には直接に到達し得る。例えば図６（Ａ）において、音源Ｐから左のマイク１６ａへの音の通路が真っ直ではないので、音は外装１４の表面に沿って進行しなければならない。従って、外装１４の形状を考慮することにより、聴覚エピポーラ幾何の方程式を調整すればよい。これにより、聴覚エピポーラ幾何の方程式は、
【数２】
0003627058.tif 000003
【数３】
0003627058.tif 000004
【数４】
0003627058.tif 000005
となる。
【００４０】
このようにして、Ｄは、θ及びｌの関数として定義される。図６（Ｂ）のグラフは、シミュレーションによって得られたＤ，θ及びｌの関係を示している。これにより、θが大きくなるにつれて、ｌの影響が大きくなることが分かる。
しかしながら、ｌが５０ｃｍ以上になると、ｌの影響は無視できる。このような場合、Ｄは、ｌが無限であるとして、θのみの関数として、以下の式、
【数５】
0003627058.tif 000006
により定義される。
【００４１】
ここで、音源が視覚エピポーラ幾何により定位されるときには、視覚及び聴覚におけるベースラインは平行であるので、Ｄは容易にθに変換され得る。これは、方向の表現が視覚及び聴覚情報を統合するための糸口として使用されることを意味している。
【００４２】
また、アクティブ方向通過型フィルタ２３ａは、前述した実世界の環境の影響によって、以下の三つの大きな因子に依存することになる。
１．  音源から左右の耳部への距離の差
２．  ロボット本体と頭部の反響
３．  部屋の反響
ここで、これらの因子による実世界での影響を調べるために、無響室にて正中面から左右に±９０度の範囲で１０度毎にパルス応答を測定し、拡張エピポーラ幾何によるシミュレーションとの比較を行なったところ、図７に示す結果が得られた。
即ち、図７（ａ）は、カバーのないステレオマイクを使用した音響測定結果であり、カバーの影響を考慮する必要はない。ここで、ＡＥＧで示す細線は、従来の聴覚エピポーラ幾何により推測されたＩＰＤを示し、測定結果と良好に合っていることが分かる。これにより、聴覚エピポーラ幾何の原理が正しいことが分かる。
【００４３】
これに対して、図７（ｂ）は、無響室におけるロボットのＩＰＤ測定値と聴覚エピポーラ幾何により推測されたＩＰＤを示している。この場合、聴覚エピポーラ幾何による推測は、３００Ｈｚ以上の周波数では対応するデータと合っていない。この不一致は、ロボット本体と頭部の反響により引き起こされている。
また、図７（ｃ）は、無響室におけるロボットのＩＰＤ測定値と拡張聴覚エピポーラ幾何により推測されたＩＰＤを示している。この場合、推測されたＩＰＤは、図７（ｂ）の場合よりも良好に推測されている。これは、カバーの影響による不一致の問題が拡張聴覚エピポーラ幾何により克服されたことを示している。さらに、図７（ｄ）は、非無響室における測定結果を示している。この部屋は、１０ｍ２  で、音吸収材が壁面，天井及び床面に取り付けられている。この場合、測定されたＩＰＤは、部屋の音響効果により歪められており、ＩＰＤの範囲がベースラインに対して±πを越えていることから、１２００Ｈｚ以上の周波数にて拡張聴覚エピポーラ幾何が良好に作用していないことが分かる。
【００４４】
次に、ＳＹＳＮＯＩＳＥ（ＬＭＳ  Ｉｎｔｅｒｎａｔｉｏｎａｌ社のソフトウェア）を利用したＢＥＭ（Ｂｏｕｎｄａｒｙ  Ｅｌｅｍｅｎｔ  Ｍｅｔｈｏｄ）により部屋の反響の影響を解析する。
図８は、３０度におけるＩＰＤ及びＩＩＤを示している。ここで、ＳＹＳＮＯＩＳＥ（床なし）で示すＩＰＤ及びＩＩＤは、ロボット頭部の三次元メッシュデータを使用して計算されており、３００及び４００Ｈｚの間にピークを有している。これらのピークは、ロボット頭部により引き起こされている。ロボットにより測定されたＩＰＤ及びＩＩＤもカバーにより３００及び４００Ｈｚの間にピークを有している。
また、ＳＹＳＮＯＩＳＥ（床あり）で示すＩＰＤ及びＩＩＤは、ロボットの下方１ｍの距離に床面がある条件のもとで計算されており、より多くのピークを有している。従って、単純な床面でさえ、ＩＰＤ及びＩＩＤのうねりを引き起こすので、音源定位のためには音響的環境の考慮が必要である。
【００４５】
また、アクティブ方向通過型フィルタ２３ａは、同様にして上記ストリーム方向に基づいて、頭部伝達関数（ＨＲＴＦ）を利用して、ロボット１０の正面を０度として±９０度の範囲で、符号Ｘ５で示すように、ＩＰＤ及びＩＩＤの理論値ＩＰＤ（＝ΔφＨ  （θ））及びＩＩＤ（＝ΔρＨ  （θ））を生成する。
【００４６】
さらに、アクティブ方向通過型フィルタ２３ａは、符号Ｘ７で示すように、前記ストリーム方向から、パスレンジ関数を利用して、パスレンジδ（θ）を計算する。
ここで、パスレンジ関数は、図５に示すように、ロボットの正面方向（θ＝０度）で、感度が最大となり、側方で感度が低下することから、θ＝０度で最小値をとり、側方でより大きくなるような関数である。
これは、正面方向で定位の感度が最大になり、左右に角度が大きくなるにつれて感度が低下するという聴覚特性を再現するためのものである。なお、正面方向で定位の感度が最大になることは、哺乳類の目の構造に見られる中心窩にならって聴覚中心窩と呼ぶ。この聴覚中心窩に関して、人間の場合には、正面の定位の感度が±２度程度であり、左右９０度付近にて±８度程度とされている。
【００４７】
このため、アクティブ方向通過型フィルタ２３ａは、拡張聴覚エピポーラ幾何による各サブバンド毎に計算されたＩＰＤ（＝ΔφＥ  （θ））及びＩＩＤ（＝ΔρＥ  （θ））と、ＨＲＴＦにより得られたＩＰＤ（＝ΔφＨ  （θ））及びＩＩＤ（＝ΔρＨ  （θ））に基づいて、前述したパスレンジδ（θ）により決定される角度θ−δ（θ）（以下、θＬ  という）からθ＋δ（θ）（以下、θＨ  という）の角度範囲で、抽出されたＩＰＤ（＝Δφ’）及びＩＩＤ（＝Δρ’）が以下の条件のうち何れかを満たすようなサブバンドを集める。
ここで、所定周波数ｆｔｈは、ＩＰＤによる定位が有効である周波数の上限であり、ロボット１０の頭部１４のベースラインに依存し、例えば１２００乃至１５００Ｈｚ程度である。
【００４８】
即ち、
条件Ａ．    ｆ＜ｆｔｈ：  ΔφＥ  （θＬ  ）≦Δφ’≦ΔφＥ  （θＨ  ）
これは、所定周波数ｆｔｈ未満の周波数で、拡張聴覚エピポーラ幾何によるＩＰＤのパスレンジδ（θ）の範囲内にＩＰＤ（＝Δφ’）が在る場合に、サブバンドを集めることを意味している。
条件Ｂ．    ｆ＜ｆｔｈ：  ΔφＨ  （θＬ  ）≦Δφ’≦ΔφＨ  （θＨ  ）
且つ  ｆ≧ｆｔｈ：  ΔρＨ  （θＬ  ）≦ρφ’≦ΔρＨ  （θＨ  ）
これは、所定周波数ｆｔｈ未満の周波数で、ＨＲＴＦによるＩＰＤのパスレンジδ（θ）の範囲内にＩＰＤ（＝Δφ’）が在る場合、そして所定周波数ｆｔｈ以上の周波数で、ＨＲＴＦによるＩＩＤのパスレンジδ（θ）の範囲内にＩＩＤ（＝Δρ’）が在る場合に、サブバンドを集めることを意味している。
条件Ｃ．    全周波数ｆ：  ΔφＥ  （θＬ  ）≦Δφ’≦ΔφＥ  （θＨ  ）
これは、すべての周波数で、拡張聴覚エピポーラ幾何によるＩＰＤのパスレンジδ（θ）の範囲内にＩＰＤ（＝Δφ’）が在る場合に、サブバンドを集めることを意味している。
条件Ｄ．    ｆ＜ｆｔｈ：  ΔφＥ  （θＬ  ）≦Δφ’≦ΔφＥ  （θＨ  ）
且つ  ｆ≧ｆｔｈ：  ΔρＥ  （θＬ  ）≦ρφ’≦ΔρＨ  （θＨ  ）
これは、所定周波数ｆｔｈ未満の周波数で、拡張聴覚エピポーラ幾何によるＩＰＤのパスレンジδ（θ）の範囲内にＩＰＤ（＝Δφ’）が在る場合、そして、所定周波数ｆｔｈ以上の周波数で、ＨＲＴＦによるＩＩＤのパスレンジδ（θ）の範囲内にＩＩＤ（＝Δρ’）が在る場合に、サブバンドを集めることを意味している。
【００４９】
そして、アクティブ方向通過型フィルタ２３ａは、このようにして集めたサブバンドから波形を構築することにより、符号Ｘ８で示すように、パス−サブバンド方向を生成し、符号Ｘ９で示すように、各サブバンド毎に、フィルタリングを行なって、逆周波数変換ＩＤＦＴにより、符号Ｘ１０で示すように、各音源からの聴覚イベントを抽出する。
【００５０】
このようにして、聴覚モジュール２０は、マイク１６からの音響信号に基づいて、ピッチ抽出，音源の分離及び定位から、少なくとも一人の話者を特定（話者同定）して、その聴覚イベントを抽出し、ネットワークを介してアソシエーションモジュール５０に対して送信するようになっている。
【００５１】
上記顔モジュール３０は、デバイス層としてのカメラ１５と、プロセス層としての顔発見部３１，顔識別部３２，顔定位部３３と、特徴層（データ）としての顔ＩＤ３４，顔方向３５と、イベント層としての顔イベント生成部３６と、から構成されている。
【００５２】
これにより、顔モジュール３０は、カメラ１５からの画像信号に基づいて、顔発見部３１により例えば肌色抽出により各話者の顔を検出し、顔識別部３２にて前もって登録されている顔データベース３８により検索して、一致した顔があった場合、その顔ＩＤ３４を決定して当該顔を識別すると共に、顔定位部３３により当該顔方向３５を決定（定位）する。
ここで、顔モジュール３０は、顔発見部３１が画像信号から複数の顔を見つけた場合、各顔について上記処理、即ち識別及び定位そして追跡を行なう。
その際、顔発見部３１により検出された顔の大きさ，方向及び明るさがしばしば変化するので、顔発見部３１は、顔領域検出を行なって、肌色抽出と相関演算に基づくパターンマッチングの組合せによって、２００ｍ秒以内に複数の顔を正確に検出できるようになっている。
【００５３】
顔定位部３３は、二次元の画像平面における顔位置を三次元空間に変換し、三次元空間における顔位置を、方位角θ，高さφ及び距離ｒのセットとして得る。
【００５４】
そして、顔モジュール３０は、各顔毎に、顔ＩＤ（名前）３４及び顔方向３５から、顔イベント生成部３６により顔イベント３９を生成して、ネットワークを介してアソシエーションモジュール５０に対して送信するようになっている。
【００５５】
上記ステレオモジュール３７は、デバイス層としてのカメラ１５と、プロセス層としての視差画像生成部３７ａ，目標抽出部３７ｂと、特徴層（データ）としての目標方向３７ｃと、イベント層としてのステレオイベント生成部３７ｄと、から構成されている。
これにより、ステレオモジュール３７は、カメラ１５からの画像信号に基づいて、視差画像生成部３７ａにより双方のカメラ１５の画像信号から視差画像を生成し、視差画像を領域分割した結果、縦に長い物体が発見されれば、人物候補として抽出し、その方向を同定し、ステレオイベントを生成し、ネットワークを介してアソシエーションモジュール５０に対して送信するようになっている。
【００５６】
上記モータ制御モジュール４０は、デバイス層としてのモータ４１及びポテンショメータ４２と、プロセス層としてのＰＷＭ制御回路４３，ＡＤ変換回路４４及びモータ制御部４５と、特徴層としてのロボット方向４６と、イベント層としてのモータイベント生成部４７と、から構成されている。
【００５７】
これにより、モータ制御モジュール４０は、アテンション制御モジュール５７（後述）からの指令に基づいてモータ制御部４５によりＰＷＭ制御回路４３を介してモータ４１を駆動制御すると共に、モータ４１の回転位置をポテンショメータ４２により検出して、ＡＤ変換回路４４を介してモータ制御部４５によりロボット方向４６を抽出し、モータイベント生成部４７によりモータ方向情報から成るモータイベント４８を生成して、ネットワークを介してアソシエーションモジュール５０に対して送信するようになっている。
【００５８】
上記アソシエーションモジュール５０は、上述した聴覚モジュール２０，顔モジュール３０，ステレオモジュール３７，モータ制御モジュール４０に対して、階層的に上位に位置付けられており、各モジュール２０，３０，３７，４０のイベント層の上位であるストリーム層を構成している。
具体的には、上記アソシエーションモジュール５０は、聴覚モジュール２０，顔モジュール３０，ステレオモジュール３７及びモータ制御モジュール４０からの非同期イベント、即ち聴覚イベント２８，顔イベント３９，ステレオイベント３９ａ及びモータイベント４８を同期させて聴覚ストリーム５３，顔ストリーム５４，ステレオストリーム５５を生成する絶対座標変換部５２と、各ストリーム５３，５４，５５を関連付けてアソシエーションストリームを生成し、あるいはこれらの関連付けを解除する関連付け部５６と、さらにアテンション制御モジュール５７と、ビューア５８を備えている。
【００５９】
上記絶対座標変換部５２は、聴覚モジュール２０からの聴覚イベント２８，顔モジュール３０からの顔イベント３９，ステレオモジュール３７からのステレオイベント３９ａに、モータ制御モジュール４０からのモータイベント４８を同期させると共に、聴覚イベント２８，顔イベント３９及びステレオイベント３９ａに関して、同期させたモータイベントによって、座標系を絶対座標系に変換することにより、聴覚ストリーム５３，顔ストリーム５４及びステレオストリーム５５を生成する。
その際、上記絶対座標変換部５２は、同一話者の聴覚ストリーム，顔ストリーム及びステレオストリームに接続することによって、聴覚ストリーム５３，顔ストリーム５４及びステレオストリーム５５を生成する。
【００６０】
また、関連付け部５６は、聴覚ストリーム５３，顔ストリーム５４，ステレオストリーム５５に基づいて、これらのストリーム５３，５４，５５の時間的つながりを考慮してストリームを関連付け、あるいは関連付けを解除して、アソシエーションストリーム５９を生成すると共に、逆にアソシエーションストリーム５９を構成する聴覚ストリーム５３，顔ストリーム５４及びステレオストリーム５５の結び付きが弱くなれば、関係付けを解除するようになっている。これにより、目標となる話者が移動している場合であっても、当該話者の移動を予測してその移動範囲となる角度範囲内であれば、上述したストリーム５３，５４，５５の生成を行なうことによって、当該話者の移動を予測して追跡できることになる。
【００６１】
ここで、上記ストリームの形成及び関連付けは、具体的には以下のようにして行なわれる。
前述したように座標変換された各イベントは、カルマンフィルタに基づくアルゴリズムを使用してストリームに接続される。ここで、カルマンフィルタは、特により大きな曖昧さを有する聴覚プロセスにおける定位でのプロセス及び測定ノイズの影響を低減するために有効である。
【００６２】
カルマンフィルタに基づくストリーム生成において、大きさＮの位置ベクトルｐは、ｌを平均速度のパラメータとして、以下の式
【数６】
0003627058.tif 000007
により定義される再帰方程式によって、近似される。
ｘｋ  及びｙｋ  が（ｐｋ  ，ｐｋ−１  ，・・・，ｐｋ−ｌ  ）として表わされる状態ベクトルであって、それぞれ位置ベクトルとして表わされた測定値であるとき、プロセスの状態及び測定値を予測する関数は、以下の式
【数７】
0003627058.tif 000008
により定義される。ここで、ｗｋ  及びｖｋ  がそれぞれプロセス及び測定ノイズを表わすとき、ＩＮ  がＮ×Ｎの大きさの単位行列であるとすると、Ｆ，Ｇ及びＨは以下のように定義される。
【数８】
0003627058.tif 000009
【００６３】
従って、カルマンフィルタは、それぞれ
【数９】
0003627058.tif 000010
をｘの予測値、Ｋｋ  をカルマンゲイン、Ｐを誤差共分散行列、σｗ  ２  及びσｖ  ２  をｗｋ  及びｖｋ  の変動共分散行列とすると、以下の式
【数１０】
0003627058.tif 000011
【数１１】
0003627058.tif 000012
【数１２】
0003627058.tif 000013
によって定義される。現在位置ベクトルは、
【数１３】
0003627058.tif 000014
により予測される。
【００６４】
聴覚ストリーム５３の生成において、聴覚ストリーム５３及び聴覚イベント２８が調和関係を有し、当該ストリーム５３及び聴覚イベント２８のｙｋ  の間の方位角の差が±１０度以内であるとき、これらは接続される。
また、顔ストリーム５４及びステレオストリーム５５の生成において、ストリームとイベントのｙｋ  の間の距離差が４０ｃｍ以内であって、それらが同じイベントＩＤを有するとき、顔イベントまたはステレオイベントが顔ストリームまたはステレオストリームに接続される。尚、イベントＩＤとは、顔モジュール３０で生成される顔ＩＤ３４または目標ＩＤである。
そして、同一人物からの複数のストリームと判断されたとき、これらの複数のストリームは、一つのアソシエーションストリームに関連付けられる。アソシエーションストリームを構成するストリームの一つが終了すると、終了したストリームはアソシエーションストリームから取り除かれ、アソシエーションモジュールは、一つまたはいくつかの分離されたストリームに関連付けを解除される。
【００６５】
また、アテンション制御モジュール５７は、モータ制御モジュール４０の駆動モータ制御のプランニングのためのアテンション制御を行なうものであり、その際アソシエーションストリーム５９，聴覚ストリーム５３，顔ストリーム５４そしてステレオストリーム５５の順に優先的に参照して、アテンション制御を行なう。
そして、アテンション制御モジュール５７は、聴覚ストリーム５３，顔ストリーム５４及びステレオストリーム５５の状態とアソシエーションストリーム５９の存否に基づいて、ロボット１０の動作プランニングを行ない、駆動モータ４１の動作の必要があれば、モータ制御モジュール４０に対して動作指令としてのモータイベントをネットワークを介して送信する。
【００６６】
ここで、アテンション制御モジュール５７におけるアテンション制御は、連続性とトリガに基づいており、連続性により同じ状態を保持しようとし、トリガにより最も興味のある対象を追跡しようとして、アテンションを向けるべきストリームを選択して、トラッキングを行なう。
このようにして、アテンション制御モジュール５７はアテンション制御を行なって、モータ制御モジュール４０の駆動モータ４１の制御のプランニングを行ない、このプランニングに基づいてモータコマンド６４ａを生成し、ネットワーク７０を介してモータ制御モジュール４０に伝送する。これにより、モータ制御モジュール４０では、このモータコマンド６４ａに基づいてモータ制御部４５がＰＷＭ制御を行なって、駆動モータ４１を回転駆動させてロボット１０を所定方向に向けるようになっている。
【００６７】
ビューア５８は、このようにして生成された各ストリーム５３，５４，５５，５７をサーバの画面上に表示するものであり、具体的にはレーダチャート５８ａ及びストリームチャート５８ｂにより表示する。
ここで、レーダチャート５８ａは、その瞬間におけるストリームの状態、より詳細にはカメラの視野角と音源方向を示し、ストリームチャート５８ｂは、アソシエーションストリーム（太線図示）と聴覚ストリーム及び視覚ストリーム（細線図示）を示している。
【００６８】
本発明実施形態による人型ロボット１０は以上のように構成されており、以下のように動作する。
例えばカメラ１５の視野外に居る話者がロボット１０に対して話し掛けると、ロボット１０は、マイク１６が当該話者の音声を拾って、聴覚モジュール２０が音源方向を伴う聴覚イベント２８を生成して、ネットワークを介してアソシエーションモジュール６０に伝送する。
【００６９】
これにより、アソシエーションモジュール５０は、この聴覚イベント２８に基づいて、聴覚ストリーム５３を生成する。このとき、顔モジュール３０は、当該話者がカメラ１５の視野内に入っていないので、顔イベント３９を生成せず、ステレオモジュール３７もステレオイベント３９ａを生成しない。
従って、アソシエーションモジュール５０は、聴覚イベント２８のみに基づいて、聴覚ストリーム５３を生成し、アテンション制御モジュール５７は、この聴覚ストリーム５３をトリガーとして、ロボット１０を話者の方向に向けるようなアテンション制御を行なう。
【００７０】
このようにして、ロボット１０が話者の方向を向き、所謂声によるトラッキングが行なわれる。そして、顔モジュール３０がカメラ１５による話者の顔の画像を取り込んで顔イベント３９を生成して、当該話者の顔を顔データベース３８により検索して顔識別を行なうと共に、その結果である顔ＩＤ２４及び画像をネットワーク７０を介してアソシエーションモジュール６０に伝送する。尚、当該話者の顔が顔データベース３８に登録されていない場合には、顔モジュール３０はその旨をネットワークを介してアソシエーションモジュール５０に伝送する。
【００７１】
このとき、アソシエーションモジュール５０は、聴覚イベント２８及び顔イベント３９によりアソシエーションストリーム５９を生成しており、このアソシエーションストリーム５９によりアテンション制御モジュール５７は、そのアテンション制御を変更しないので、ロボット１０は話者の方向を向き続ける。
従って、話者が移動したとしても、ロボット１０は、アソシエーションストリーム５９によりモータ制御モジュール４０を制御することにより、話者を追跡して、顔モジュール３０のカメラ１５が話者を継続して撮像し得るようになっている。
【００７２】
このようにして、人型ロボット１０は、聴覚モジュール２０による聴覚イベント２８及び顔モジュール３０による顔イベント３９と、アソシエーションモジュール５０によるアソシエーションストリーム５９に基づいて、複数の話者を聴覚及び視覚により認識すると共に、複数の話者のうちの一人の話者を追跡したり、あるいは途中で他の話者に切り換えて追跡することができる。
【００７３】
ここで、聴覚モジュール２０は、アクティブ方向通過型フィルタ２３ａにより拡張聴覚エピポーラ幾何によるＩＰＤを利用して音源定位を行なっているので、ロボット１０の頭部１４の形状を考慮したより正確な音源定位を行なうことができる。
また、聴覚モジュール２０は、アクティブ方向通過型フィルタ２３ａにより、パスレンジδ（θ）により、方向θに応じて感度を調整しているので、より正確な音源定位が可能な正面付近においては、サブバンドを集める角度範囲を狭く、また側方では角度範囲を広く設定することにより、より正確な音源分離を行なうことができる。
さらに、聴覚モジュール２０は、アクティブ方向通過型フィルタ２３ａにより、アソシエーションモジュール５９からのアソシエーションストリーム５９を参照して、ＩＰＤ及びＩＩＤを計算することから、ロボット１０が移動しているときでも、正確に音源定位・分離を行なうことができる。
【００７４】
このようにして、本発明実施形態による人型ロボット１０によれば、アソシエーションモジュール５０が、聴覚モジュール２０、顔モジュール３０及びステレオモジュール３７からの聴覚イベント、顔イベント及びステレオイベントに基づいて、これらの方向情報そして個々の話者同定から、これらの時間的流れを考慮して、聴覚ストリーム，視覚ストリームそしてアソシエーションストリームを生成することによって、複数の対象である話者を認識しているので、何れかのイベントが欠落したり明確に認識できなくなった場合、例えば話者が移動して「見えなく」なった場合でも聴覚により、また話者が話をせず「聞こえなく」なった場合でも視覚により、リアルタイムに複数の話者を聴覚的及び／又は視覚的にトラッキングすることができる。
【００７５】
以下に、アクティブ方向通過型フィルタの動作を下記に実験により評価する。これらの実験においては、上記人型ロボット１０が、約１０平方ｍの部屋にて、音源としての一つのスピーカに対向しており、このスピーカは、ロボット１０の正面方向を０度として、約１００ｃｍの距離にて同じ高さに位置している。
スピーカから発する音響信号は、ＡＳＪ  Ｃｏｎｔｉｎｕｏｕｓ  Ｃｏｒｐｕｓにおける毎日新聞記事からの男性及び女性により読み上げられた２０の文章が使用される。
【００７６】
そして、以下の四種の指標、即ち
１．入力と分離された話声の間の周波数帯域におけるＳＮ比の差
２．入力と分離された話声の間の信号損失
３．ノイズ抑制の効果
４．音響信号処理の専門家による評価
を評価のために使用した。
【００７７】
一番目のＳＮ比の差は、ｓｐ  （ｉ，ｊ），ｓｐｏ（ｉ，ｊ）及びｓｐｓ（ｉ，ｊ）をそれぞれ原波形信号，マイク１６で集音された観測波形信号及びアクティブ方向通過型フィルタにより分離された分離波形信号のスペクトル、ｍ，ｎをサブバンド及びサンプルの数、βを原波形信号と観測波形信号の間の大きさの減衰比として、
【数１４】
0003627058.tif 000015
により定義される。
【００７８】
二番目の信号損失は、ｓ（ｎ），ｓｏ  （ｎ），ｓｓ  （ｎ）をそれぞれ原波形信号，マイク１６で集音された観測波形信号及びアクティブ方向通過型フィルタにより分離された分離波形信号、Ｓを信号を有するサンプルの集合、即ちｓ（ｉ）−βｓｏ  （ｉ）≧０を満足するｉの集合として、
【数１５】
0003627058.tif 000016
により定義される。
【００７９】
また、二番目のノイズ抑制の効果は、ｓ（ｎ），ｓｏ  （ｎ），ｓｓ  （ｎ）をそれぞれ原波形信号，マイク１６で集音された観測波形信号及びアクティブ方向通過型フィルタにより分離された分離波形信号、Ｎをノイズを有するサンプルの集合、即ちｓ（ｉ）−βｓｏ  （ｉ）＜０を満足するｉの集合として、
【数１６】
0003627058.tif 000017
により定義される。
【００８０】
そして、以下の四つの実験を行なった。ここで、前述のｆｔｈは１５００Ｈｚとした。
実験１．  音源方向が０度から９０度まで変化するときの聴覚モジュール，顔モジュール及びステレオモジュールの音源定位のエラーを測定する。
実験２．  カルマンフィルタの有効性を測定する。この場合、二つのスピーカが使用され、一方が６０度の方向に固定され、他方が±３０度以内で繰返し左から右に移動している。そして、第二のスピーカからの話声がアクティブ方向通過型フィルタにより抽出される。カルマンフィルタの使用または不使用による二種の音ストリームがアクティブ方向通過型フィルタへの入力として使用され、抽出された音がＲ１  により比較される。
実験３．  前記各フィルタリング条件Ａ，Ｂ，Ｄによるアクティブ方向通過型フィルタの有効性を、Ｒ１  ，Ｒ２  ，Ｒ３  の指標を利用して、測定する。二話者同時発話及び三話者同時発話の場合の音源分離を行なった。第一のスピーカは、０度に固定される。第二のスピーカは、３０度，６０度及び９０度に位置する。三つの同時の話声の分離において、第二及び第三のスピーカは、±３０度，±６０度及び±９０度に位置する。これらのスピーカは、同時に同じ音量で異なる話声を出す。パスレンジ関数δ（θ）は、０度及び３０度の方向でスピーカに対して±２０度であり、６０度及び９０度の方向にて±３０度である。なお、これらの値は、単一音源に対する聴覚中心窩に従って定義される。
実験４．  一つのスピーカを０度方向に、もう一つのスピーカを３０度，６０度，９０度と変化させて、同時に音声が出力されている状態で、前述したアクティブ方向通過型フィルタ２３ａのサブバンドを集める際の条件Ａ乃至ＤによってＲ３  の指標を利用して、正面方向のスピーカからの音声の分離，抽出を試みた。
【００８１】
実験１によれば、ステレオモジュールによる音源定位は、図９にて符号Ｂで示すように最も正確であり、誤差は１度以内である。これに対して、顔モジュール及び聴覚モジュールによる音源定位は、図９にてそれぞれ符号Ａ及びＣで示すようになる。一般に視覚による定位は、聴覚による定位より正確であるが、聴覚モジュールは、全方向性センサの利点を有している。即ち、聴覚モジュールは、方位角±１５度以上からの音の方向を判断することができる。聴覚モジュールによる定位の感度は、音源方向に依存し、正面方向が最良であり、０度から３０度までは誤差±５度以内であって、３０度以上ではより悪化する。これは、聴覚中心窩の正当性及び音源に対向するように旋回するような動作の有効性を証明するものである。
【００８２】
図１０は、実験２の結果であって、（Ａ）カルマンフィルタ無し及び（Ｂ）カルマンフィルタ有りの場合のＳＮ比を示している。これにより、アクティブ方向通過型フィルタによるＳＮ比は、カルマンフィルタに基づくストリーム形成によって、約１ｄＢ増大することが分かる。これは、カルマンフィルタがより良好なストリーム形成及び正確な音源方向を提供することを示している。
図１１は、実験３の結果であって、（Ａ）二話者同時発話及び（Ｂ）三話者同時発話における音源分離の結果をそれぞれ示している。
すべてのフィルタリング条件において、同様の傾向が示されている。１５００Ｈｚ以下の周波数を使用するフィルタリング条件Ａと、他の条件との間の差は小さい。これは、ＩＩＤにより集められた１５００Ｈｚ以上の周波数によるサブバンドがより低いパワーを有しているからである。これは、拡張聴覚エピポーラ幾何が、実環境においてもアクティブ方向通過型フィルタにより音源を分離するために十分であることを証明している。
指標Ｒ１  及びＲ３  は正面方向で最良であり、周辺で悪化する。正面方向にて、ノイズ抑制の有効性は三話者同時発話において約９ｄＢである。しかしながら、３０度より接近した二話者同時発話の場合の話者の分離は、困難である。
信号損失は、図１１（Ａ）においてＲ２  により２〜４ｄＢである。聴覚信号処理の二人の専門家によれば、最も明瞭なフィルタリング条件はＤである。分離された音の品質は、１４チャンネルの線形マイクロホンアレーまたは１６チャンネルの円形マイクロホンアレーによる分離と同様に良好である。聴取による評価は、アクティブ方向通過型フィルタが音源分離のために良好な性能を有していることを示している。
【００８３】
さらに、図１２は、実験４の結果であって、条件Ｄが最良の音源分離の結果を示すことが分かった。これは、二つのスピーカの場合の場合に、アクティブ方向通過型フィルタ２３ａの効率が６乃至１０ｄＢであることを示している。
ＨＲＴＦに基づく条件Ｂによる音源定位は、拡張聴覚エピポーラ幾何に基づく条件Ａ，Ｄによる音源定位より良好ではない。これは、実世界における音源分離での拡張聴覚エピポーラ幾何の有効性を示している。
一般に、ＩＩＤにより集められる例えば１２００乃至１５００Ｈｚ以上の周波数のサブバンドのパワーが小さいことから、条件Ａ，Ｄにおける音源定位の差は小さい。しかしながら、自動音声認識がより高い周波数のサブバンドからの情報を利用するので、自動音声認識の場合の音声認識率の差は、より大きくなると期待される。
そこで、条件Ｃの場合には、ロボット１０の両耳部の間のベースラインの制限により、１５００Ｈｚ以上の最も多くのサブバンドが集められる。従って、音源定位の改良はそれ程大きくはない。
【００８４】
上述した実施形態において、人型ロボット１０は、４ＤＯＦ（自由度）を有するように構成されているが、これに限らず、任意の動作を行なうように構成されたロボットに本発明によるロボット聴覚システムを組み込むことも可能である。また、上述した実施形態においては、本発明によるロボット視聴覚システムを人型ロボット１０に組み込んだ場合について説明したが、これに限らず、犬型等の各種動物型ロボットや、その他の形式のロボットに組み込むことも可能であることは明らかであり、ここにロボットとは、広く産業用の自動制御装置等を含む概念である。
【００８５】
【発明の効果】
以上述べたように、この発明によれば、上記聴覚モジュールが、アソシエーションモジュールからの正確な音源方向情報に基づいて、聴覚特性に従って正面方向で最小となり且つ左右に角度が大きくなるにつれて大きくなるパスレンジを有するアクティブ方向通過型フィルタにより、所定幅の範囲内の両耳間位相差（ＩＰＤ）または両耳間強度差（ＩＩＤ）をもったサブバンドを集めて、音源の波形を再構築することにより、音源分離を行なうので、上述した聴覚特性に応じて、パスレンジ即ち感度を調整することにより、方向による感度の違いを考慮して、より正確に音源分離を行なうことができる。
上記聴覚モジュールが、拡張聴覚エピポーラ幾何による音源定位に基づいて音源分離を行なう場合には、アソシエーションモジュールからのアソシエーションストリームを参照して、頭部表面に沿った拡張聴覚エピポーラ幾何により音源定位を行なうので、音源からロボットの両耳部に設けられた左右のマイクへの実際の距離に基づいて、聴覚エピポーラ幾何を応用することにより、ロボットの外装形状を考慮して、より正確に聴覚エピポーラ幾何による音源分離を行なうことができる。
上記聴覚モジュールが、ロボット固有の所定周波数を基準として、当該所定周波数未満で拡張聴覚エピポーラ幾何により、または全周波数帯域で頭部伝達関数（ＨＲＴＦ）により、または全周波数帯域で拡張聴覚エピポーラ幾何により、あるいは所定周波数未満で拡張聴覚エピポーラ幾何により且つ所定周波数以上で頭部伝達関数により、それぞれ得られる音源定位に基づいて音源分離を行なう場合には、そのときの実環境に応じて、正確な音源分離を行なうことができる。
上記アソシエーションモジュールが、各話者の方向を決定した後、カルマンフィルタを用いてイベントを時間方向に接続することにより、聴覚ストリーム及び視覚ストリーム（顔ストリーム，ステレオストリーム）を生成し、さらにこれらを関連付けてアソシエーションストリームを生成する場合には、カルマンフィルタを使用することにより、より一層正確なストリームを生成することができる。上記聴覚モジュール，顔モジュール，ステレオモジュール，モータ制御モジュール，アソシエーションモジュール及びアテンション制御モジュールが、ネットワークを介して互いに接続されており、特にデータ量の大きいイベントやストリームの通信のために、比較的高速のネットワークが使用されている場合には、大容量のデータを比較的高速のネットワークで伝送することにより、リアルタイム性及びスケーラビリティを向上させることができる。
これにより、本発明によれば、目標に対する視覚及び聴覚の情報を統合して、目標の音源定位を正確に行なうようにした、極めて優れたロボット視聴覚システムが提供される。
【図面の簡単な説明】
【図１】この発明によるロボット聴覚装置の第一の実施形態を組み込んだ人型ロボットの外観を示す正面図である。
【図２】図１の人型ロボットの側面図である。
【図３】図１の人型ロボットにおける頭部の構成を示す概略拡大図である。
【図４】図１の人型ロボットにおけるロボット視聴覚システムの電気的構成を示すブロック図である。
【図５】図４に示すロボット視聴覚システムにおける聴覚モジュールの作用を示す図である。
【図６】図４のロボット視聴覚システムにおける、（Ａ）拡張聴覚エピポーラ幾何を示す図及び（Ｂ）ＩＰＤと音源からの距離との関係を示すグラフである。
【図７】図４に示すロボット視聴覚システムにおけるＩＰＤの計算結果を示すグラフである。
【図８】図４のロボット視聴覚システムにおける角度３０度での（Ａ）ＩＰＤの測定値・計算値を示すグラフ及び（Ｂ）ＩＩＤの測定値・計算値を示すグラフである。
【図９】図４のロボット視聴覚システムの実験１による音源定位精度を示すグラフである。
【図１０】図４のロボット視聴覚システムの実験２によるカルマンフィルタの有無によるＳ／Ｎ比を示すグラフである。
【図１１】図４のロボット視聴覚システムの実験３における（Ａ）二つの同時の話声及び（Ｂ）三つの同時の話声の場合の音源分離の評価を示す図である。
【図１２】図４のロボット視聴覚システムの具体的な実験例による聴覚モジュールの条件Ａ〜Ｄによる正面話者抽出のＳ／Ｎ比改善を示すグラフである。
【符号の説明】
１０    人型ロボット
１１    ベース
１２    胴体部
１３    頭部
１４    外装
１５    カメラ（ロボット視覚）
１６，１６ａ，１６ｂ    マイク（ロボット聴覚）
２０    聴覚モジュール
２１    ピーク抽出部
２２    音源定位部
２３    音源分離部
２３ａ  アクティブ方向通過型フィルタ
２６    聴覚イベント生成部
３０    顔モジュール
３７    ステレオモジュール
４０    モータ制御モジュール
５０    アソシエーションモジュール
５７    アテンション制御モジュール
【図１】
0003627058.tif 000018
【図２】
0003627058.tif 000019
【図３】
0003627058.tif 000020
【図４】
0003627058.tif 000021
【図５】
0003627058.tif 000022
【図６】
0003627058.tif 000023
【図７】
0003627058.tif 000024
【図８】
0003627058.tif 000025
【図９】
0003627058.tif 000026
【図１０】
0003627058.tif 000027
【図１１】
0003627058.tif 000028
【図１２】
0003627058.tif 000029