(57)【要約】【課題】音声認識精度を向上させる。【解決手段】距離計算部４７は、発話を行っているユーザからマイク２１までの距離を求め、音声認識部４１Ｂに供給する。音声認識部４１Ｂは、複数の異なる距離だけ離れた位置から発せられた音声を収録した音声データそれぞれから生成された、音響環境を考慮した音響モデルのセットを記憶している。そして、音声認識部４１Ｂは、その複数の音響モデルのセットの中から、距離計算部４７から供給される距離に最も近い距離の音響モデルのセットを選択し、その音響モデルのセットを用いて、音声認識を行う。【選択図】図３
2007241304.tif 000002
【特許請求の範囲】
【請求項１】
入力された音声を認識する音声認識装置であって、
前記音声の音源までの距離を求める距離算出手段と、
複数の異なる距離だけ離れた音源それぞれから発せられた音声を用いて生成された、前記複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットを記憶している記憶手段と、
前記距離算出手段において求められた距離に対応する音響モデルのセットを、前記記憶手段に記憶された前記複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットの中から選択することにより取得する取得手段と、
前記取得手段において取得された前記音響モデルのセットを用いて、前記音声を認識する音声認識手段と
を備えることを特徴とする音声認識装置。
【請求項２】
前記距離算出手段は、画像を撮像する複数の撮像手段が出力する画像を用いてステレオ処理を行うことにより、前記音源までの距離を求める
ことを特徴とする請求項１に記載の音声認識装置。
【請求項３】
前記距離算出手段は、超音波センサの出力を用いて、前記音源までの距離を求める
ことを特徴とする請求項１に記載の音声認識装置。
【請求項４】
入力された音声を認識する音声認識方法であって、
前記音声の音源までの距離を求める距離算出ステップと、
前記距離算出ステップにおいて求められた距離に対応する音響モデルのセットを、複数の異なる距離だけ離れた音源それぞれから発せられた音声を用いて生成された、前記複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットを記憶している記憶手段に記憶された前記複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットの中から選択することにより取得する取得ステップと、
前記取得ステップにおいて取得された前記音響モデルのセットを用いて、前記音声を認識する音声認識ステップと
を含むことを特徴とする音声認識方法。
【請求項５】
入力された音声を認識する音声認識処理を、コンピュータに行わせるプログラムであって、
前記音声の音源までの距離を求める距離算出ステップと、
前記距離算出ステップにおいて求められた距離に対応する音響モデルのセットを、複数の異なる距離だけ離れた音源それぞれから発せられた音声を用いて生成された、前記複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットを記憶している記憶手段に記憶された前記複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットの中から選択することにより取得する取得ステップと、
前記取得ステップにおいて取得された前記音響モデルのセットを用いて、前記音声を認識する音声認識ステップと
を含む処理をコンピュータに行わせることを特徴とするプログラム。
【請求項６】
入力された音声を認識する音声認識処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
前記音声の音源までの距離を求める距離算出ステップと、
前記距離算出ステップにおいて求められた距離に対応する音響モデルのセットを、複数の異なる距離だけ離れた音源それぞれから発せられた音声を用いて生成された、前記複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットを記憶している記憶手段に記憶された前記複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットの中から選択することにより取得する取得ステップと、
前記取得ステップにおいて取得された前記音響モデルのセットを用いて、前記音声を認識する音声認識ステップと
を含む処理をコンピュータに行わせるプログラムが記録されている
ことを特徴とする記録媒体。
【請求項７】
入力された音声を認識する音声認識装置であって、
前記音声の音源までの距離を求める距離算出手段と、
前記距離算出手段において求められた距離に対応する周波数特性の逆フィルタを実現するタップ係数を取得する第１の取得手段と、
前記取得手段において取得された前記タップ係数を用いて、前記音声をフィルタリングするフィルタ手段と、
複数の異なる距離だけ離れた音源それぞれから発せられた音声を用いて生成された、前記複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットを記憶している記憶手段と、
前記距離算出手段において求められた距離に対応する音響モデルのセットを、前記記憶手段に記憶された前記複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットの中から選択することにより取得する第２の取得手段と、
前記フィルタ手段においてフィルタリングされた前記音声を、前記取得手段において取得された前記音響モデルのセットを用いて認識する音声認識手段と
を備えることを特徴とする音声認識装置。
【請求項８】
入力された音声を認識する音声認識方法であって、
前記音声の音源までの距離を求める距離算出ステップと、
前記距離算出ステップにおいて求められた距離に対応する周波数特性の逆フィルタを実現するタップ係数を取得する第１の取得ステップと、
前記第１の取得ステップにおいて取得された前記タップ係数を用いて、前記音声をフィルタリングするフィルタステップと、
前記距離算出ステップにおいて求められた距離に対応する音響モデルのセットを、複数の異なる距離だけ離れた音源それぞれから発せられた音声を用いて生成された、前記複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットを記憶している記憶手段に記憶された前記複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットの中から選択することにより取得する第２の取得ステップと、
前記フィルタステップにおいてフィルタリングされた前記音声を、前記第２の取得ステップにおいて取得された前記音響モデルのセットを用いて認識する音声認識ステップと
を含むことを特徴とする音声認識方法。
【請求項９】
入力された音声を認識する音声認識処理を、コンピュータに行わせるプログラムであって、
前記音声の音源までの距離を求める距離算出ステップと、
前記距離算出ステップにおいて求められた距離に対応する周波数特性の逆フィルタを実現するタップ係数を取得する第１の取得ステップと、
前記第１の取得ステップにおいて取得された前記タップ係数を用いて、前記音声をフィルタリングするフィルタステップと、
前記距離算出ステップにおいて求められた距離に対応する音響モデルのセットを、複数の異なる距離だけ離れた音源それぞれから発せられた音声を用いて生成された、前記複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットを記憶している記憶手段に記憶された前記複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットの中から選択することにより取得する第２の取得ステップと、
前記フィルタステップにおいてフィルタリングされた前記音声を、前記第２の取得ステップにおいて取得された前記音響モデルのセットを用いて認識する音声認識ステップと
を含む処理をコンピュータに行わせることを特徴とするプログラム。
【請求項１０】
入力された音声を認識する音声認識処理を、コンピュータに行わせるプログラムが記録されている記録媒体であって、
前記音声の音源までの距離を求める距離算出ステップと、
前記距離算出ステップにおいて求められた距離に対応する周波数特性の逆フィルタを実現するタップ係数を取得する第１の取得ステップと、
前記第１の取得ステップにおいて取得された前記タップ係数を用いて、前記音声をフィルタリングするフィルタステップと、
前記距離算出ステップにおいて求められた距離に対応する音響モデルのセットを、複数の異なる距離だけ離れた音源それぞれから発せられた音声を用いて生成された、前記複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットを記憶している記憶手段に記憶された前記複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットの中から選択することにより取得する第２の取得ステップと、
前記フィルタステップにおいてフィルタリングされた前記音声を、前記第２の取得ステップにおいて取得された前記音響モデルのセットを用いて認識する音声認識ステップと
を含む処理をコンピュータに行わせるプログラムが記録されている
ことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識装置および音声認識方法、並びにプログラムおよび記録媒体に関し、例えば、発話者から音声認識装置までの距離に対応した音響モデルのセットを用いて音声認識処理を行うようにすることで、音声認識精度を向上させることができるようにする音声認識装置および音声認識方法、並びにプログラムおよび記録媒体に関する。
【背景技術】
【０００２】
近年におけるCPU(Central Processing Unit)の高速化や、メモリ等の大容量化等に伴い、大量の音声データやテキストデータを用いた統計的なモデル化手法を採用した数万語の語彙を対象とする大語彙音声認識システムが実現されている。
【０００３】
かかる大規模音声認識システムを含む音声認識システムでは、認識対象の音声が入力されるマイク（マイクロフォン）に近い位置で発話された音声については、高い精度の音声認識が実現されている。
【０００４】
しかしながら、マイクから離れた位置で発話された音声については、そのマイクからの距離が大きくなるほど、雑音の混入等によって、音声認識精度が劣化する。
【０００５】
そこで、例えば、三木、西浦、中村、鹿野、「マイクロホンアレーとＨＭＭ分解・合成法による雑音・残響下音声認識」、電子情報通信学会論文誌D-II, Vol.J83-DII No.11 pp.2206-2214, Nov.2000（以下、適宜、文献１という）では、第１の方法として、マイクロホンアレーを用いることで、マイクから離れた位置で発話された音声のＳＮ(Signal Noise)比を向上させる音声認識方法が提案されている。
【０００６】
また、例えば、清水、梶田、武田、板倉、「空間音響特性を考慮したスペースダイバーシチ型ロバスト音声認識」、電子情報通信学会論文誌D-II, Vol.J83-DII No.11 pp.2448-2456, Nov.2000（以下、適宜、文献２という）では、第２の方法として、複数のマイクを室内に分散させて配置し、音源から各マイクまでの距離に対応するインパルス応答それぞれを学習用の音声データに畳み込んで得られる音声データを用いて学習を行うことにより、各距離のインパルス応答を考慮したHMM(Hidden Markov Model)を用意し、複数のマイクに入力された音声それぞれについて、各距離のインパルス応答を考慮したHMMの尤度を計算する音声認識方法が提案されている。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した第１や第２の方法では、マイクの設置に関して制約があり、その適用が困難な場合がある。
【０００８】
即ち、例えば、近年においては、玩具等として、ユーザが発した音声を音声認識し、その音声認識結果に基づいて、ある仕草をしたり、合成音を出力する等の行動を自律的に行うロボット（本明細書においては、ぬいぐるみ状のものを含む）が製品化されているが、かかるロボットに、第１の方法による音声認識装置を実装した場合、マイクロホンアレーを構成する複数のマイクの設置間隔等の物理的制約が、ロボットの小型化やデザインの自由度の障害になる。
【０００９】
また、ロボットに、第２の方法による音声認識装置を実装した場合、ロボットを使用する部屋ごとに、複数のマイクを設置する必要があり、現実的ではない。さらに、第２の方法による場合には、複数のマイクそれぞれから入力された音声について、各距離のインパルス応答を考慮したHMMの尤度を計算しなければならず、音声認識処理に対して、大きな計算量が要求されることになる。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、音声認識処理に要求される計算量をほとんど増大させることなく、マイクから離れた位置で発話されたユーザの音声の認識精度を向上させることができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の第１の音声認識装置は、音声の音源までの距離を求める距離算出手段と、複数の異なる距離だけ離れた音源それぞれから発せられた音声を用いて生成された、複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットを記憶している記憶手段と、距離算出手段において求められた距離に対応する音響モデルのセットを、記憶手段に記憶された複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットの中から選択することにより取得する取得手段と、取得手段において取得された音響モデルのセットを用いて、音声を認識する音声認識手段とを備えることを特徴とする。
【００１２】
本発明の第１の音声認識方法は、音声の音源までの距離を求める距離算出ステップと、距離算出ステップにおいて求められた距離に対応する音響モデルのセットを、複数の異なる距離だけ離れた音源それぞれから発せられた音声を用いて生成された、複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットを記憶している記憶手段に記憶された複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットの中から選択することにより取得する取得ステップと、取得ステップにおいて取得された音響モデルのセットを用いて、音声を認識する音声認識ステップとを含むことを特徴とする。
【００１３】
本発明の第１のプログラムは、音声の音源までの距離を求める距離算出ステップと、距離算出ステップにおいて求められた距離に対応する音響モデルのセットを、複数の異なる距離だけ離れた音源それぞれから発せられた音声を用いて生成された、複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットを記憶している記憶手段に記憶された複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットの中から選択することにより取得する取得ステップと、取得ステップにおいて取得された音響モデルのセットを用いて、音声を認識する音声認識ステップとを含む処理をコンピュータに行わせることを特徴とする。
【００１４】
本発明の第１の記録媒体は、音声の音源までの距離を求める距離算出ステップと、距離算出ステップにおいて求められた距離に対応する音響モデルのセットを、複数の異なる距離だけ離れた音源それぞれから発せられた音声を用いて生成された、複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットを記憶している記憶手段に記憶された複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットの中から選択することにより取得する取得ステップと、取得ステップにおいて取得された音響モデルのセットを用いて、音声を認識する音声認識ステップとを含む処理をコンピュータに行わせるプログラムが記録されていることを特徴とする。
【００１５】
本発明の第２の音声認識装置は、音声の音源までの距離を求める距離算出手段と、距離算出手段において求められた距離に対応する周波数特性の逆フィルタを実現するタップ係数を取得する第１の取得手段と、第１の取得手段において取得されたタップ係数を用いて、音声をフィルタリングするフィルタ手段と、複数の異なる距離だけ離れた音源それぞれから発せられた音声を用いて生成された、複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットを記憶している記憶手段と、距離算出手段において求められた距離に対応する音響モデルのセットを、記憶手段に記憶された複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットの中から選択することにより取得する第２の取得手段と、フィルタ手段においてフィルタリングされた音声を、第２の取得手段において取得された音響モデルのセットを用いて認識する音声認識手段とを備えることを特徴とする。
【００１６】
本発明の第２の音声認識方法は、音声の音源までの距離を求める距離算出ステップと、距離算出ステップにおいて求められた距離に対応する周波数特性の逆フィルタを実現するタップ係数を取得する第１の取得ステップと、第１の取得ステップにおいて取得されたタップ係数を用いて、音声をフィルタリングするフィルタステップと、距離算出ステップにおいて求められた距離に対応する音響モデルのセットを、複数の異なる距離だけ離れた音源それぞれから発せられた音声を用いて生成された、複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットを記憶している記憶手段に記憶された複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットの中から選択することにより取得する第２の取得ステップと、フィルタステップにおいてフィルタリングされた音声を、第２の取得ステップにおいて取得された音響モデルのセットを用いて認識する音声認識ステップとを含むことを特徴とする。
【００１７】
本発明の第２のプログラムは、音声の音源までの距離を求める距離算出ステップと、距離算出ステップにおいて求められた距離に対応する周波数特性の逆フィルタを実現するタップ係数を取得する第１の取得ステップと、第１の取得ステップにおいて取得されたタップ係数を用いて、音声をフィルタリングするフィルタステップと、距離算出ステップにおいて求められた距離に対応する音響モデルのセットを、複数の異なる距離だけ離れた音源それぞれから発せられた音声を用いて生成された、複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットを記憶している記憶手段に記憶された複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットの中から選択することにより取得する第２の取得ステップと、フィルタステップにおいてフィルタリングされた音声を、第２の取得ステップにおいて取得された音響モデルのセットを用いて認識する音声認識ステップとを含む処理をコンピュータに行わせることを特徴とする
【００１８】
本発明の第２の記録媒体は、音声の音源までの距離を求める距離算出ステップと、距離算出ステップにおいて求められた距離に対応する周波数特性の逆フィルタを実現するタップ係数を取得する第１の取得ステップと、第１の取得ステップにおいて取得されたタップ係数を用いて、音声をフィルタリングするフィルタステップと、距離算出ステップにおいて求められた距離に対応する音響モデルのセットを、複数の異なる距離だけ離れた音源それぞれから発せられた音声を用いて生成された、複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットを記憶している記憶手段に記憶された複数の異なる距離ごとの、音響環境を考慮した音響モデルのセットの中から選択することにより取得する第２の取得ステップと、フィルタステップにおいてフィルタリングされた音声を、第２の取得ステップにおいて取得された音響モデルのセットを用いて認識する音声認識ステップとを含む処理をコンピュータに行わせるプログラムが記録されていることを特徴とする。
【００１９】
本発明の第１の音声認識装置および音声認識方法、並びにプログラムにおいては、音声の音源までの距離が求められ、その距離に対応する、音響環境を考慮した音響モデルのセットが取得される。そして、その取得された音響モデルのセットを用いて、音声が認識される。
【００２０】
本発明の第２の音声認識装置および音声認識方法、並びにプログラムにおいては、音声の音源までの距離が求められ、その距離に対応する周波数特性の逆フィルタを実現するタップ係数が取得される。そして、その取得されたタップ係数を用いて、音声がフィルタリングされ、そのフィルタリングされた音声が、音声の音源までの距離に対応する、音響環境を考慮した音響モデルのセットを用いて認識される。
【発明の効果】
【００２１】
本発明の第１の音声認識装置および音声認識方法、並びにプログラムによれば、音声の音源までの距離が求められ、その距離に対応する、音響環境を考慮した音響モデルのセットが取得される。そして、その取得された音響モデルのセットを用いて、音声が認識される。従って、音声認識精度を向上させることができる。
【００２２】
本発明の第２の音声認識装置および音声認識方法、並びにプログラムによれば、音声の音源までの距離が求められ、その距離に対応する周波数特性の逆フィルタを実現するタップ係数が取得される。そして、その取得されたタップ係数を用いて、音声がフィルタリングされ、そのフィルタリングされた音声が、音声の音源までの距離に対応する、音響環境を考慮した音響モデルのセットを用いて認識される。従って、音声認識精度を向上させることができる。
【発明を実施するための最良の形態】
【００２３】
図１は、本発明を適用したペット型ロボットの外観構成の例を示す斜視図であり、図２は、その内部構成の例を示すブロック図である。
【００２４】
図１の実施の形態において、ペット型ロボットは、四つ足の動物型のロボットとされており、大きくは、胴体部ユニット１、脚部ユニット２A，２B，２C，２D、頭部ユニット３、および尻尾部ユニット４から構成されている。
【００２５】
胴体に相当する胴体部ユニット１の前後左右には、それぞれ、脚に相当する脚部ユニット２A，２B，２C，２Dが連結され、胴体部ユニット１の前端部と後端部には、それぞれ、頭部に相当する頭部ユニット３と尻尾に相当する尻尾部ユニット４が連結されている。
【００２６】
胴体部ユニット１の上面には背中センサ１Ａが設けられている。また、頭部ユニット３には、その上部に頭センサ３Ａが、下部に顎センサ３Ｂがそれぞれ設けられている。なお、背中センサ１Ａ、頭センサ３Ａ、顎センサ３Ｂは、いずれも圧力センサで構成され、その部位に与えられる圧力を検知する。
【００２７】
尻尾部ユニット４は、胴体部ユニット１に対して、水平方向、および上下方向に揺動自在に取り付けられている。
【００２８】
図２に示すように、胴体部ユニット１には、コントローラ１１、Ａ／Ｄ変換部１２、Ｄ／Ａ変換部１３、通信部１４、半導体メモリ１５、背中センサ１Ａ等が格納されている。
【００２９】
コントローラ１１は、コントローラ１１全体の動作を制御するCPU１１Aと、CPU１１Aが各部を制御するのに実行するＯＳ(Operating System)、アプリケーションプログラム、その他の必要なデータ等が記憶されているメモリ１１B等を内蔵している。
【００３０】
Ａ／Ｄ(Analog/Digital)変換部１２は、マイク２１、ＣＣＤカメラ２２Ｌおよび２２Ｒ、背中センサ１Ａ、頭センサ３Ａ、顎センサ３Ｂが出力するアナログ信号をＡ／Ｄ変換することによりディジタル信号とし、コントローラ１１に供給する。Ｄ／Ａ(Digital/Analog)変換部１３は、コントローラ１１から供給されるディジタル信号をＤ／Ａ変換することによりアナログ信号とし、スピーカ２３に供給する。
【００３１】
通信部１４は、外部と無線または有線で通信するときの通信制御を行う。これにより、ＯＳやアプリケーションプログラムがバージョンアップされたときに、通信部１４を介して、そのバージョンアップされたＯＳやアプリケーションプログラムをダウンロードして、メモリ１１Ｂに記憶させたり、また、所定のコマンドを、通信部１４で受信し、ＣＰＵ１１Ａに与えることができるようになっている。
【００３２】
半導体メモリ１５は、例えば、ＥＥＰＲＯＭ(Electrically Erasable Programmable Read-only Memory)等で構成され、胴体部ユニット１に設けられた図示せぬスロットに対して、着脱可能になっている。半導体メモリ１５には、例えば、後述するような感情モデル等が記憶される。
【００３３】
背中センサ１Ａは、胴体部ユニット１において、ペット型ロボットの背中に対応する部位に設けられており、そこに与えられるユーザからの圧力を検出し、その圧力に対応する圧力検出信号を、Ａ／Ｄ変換部１２を介してコントローラ１１に出力する。
【００３４】
なお、胴体部ユニット１には、その他、例えば、ペット型ロボットの動力源となるバッテリ（図示せず）や、そのバッテリ残量を検出する回路等も格納されている。
【００３５】
頭部ユニット３においては、図２に示すように、外部からの刺激を感知するセンサとしての、音を感知する「耳」に相当するマイク２１、光を感知する「左目」および「右目」に相当するCCD(Charge Coupled Device)カメラ２２Ｌおよび２２Ｒ、並びにユーザが触れること等により与えられる圧力を感知する触覚に相当する頭センサ３Ａ、および顎センサ３Ｂが、例えば、それぞれ対応する部位に設けられている。また、頭部ユニット３には、ペット型ロボットの「口」に相当するスピーカ２３が、例えば、対応する部位に設置されている。
【００３６】
脚部ユニット２A乃至２Dのそれぞれの関節部分、脚部ユニット２A乃至２Dのそれぞれと胴体部ユニット１の連結部分、頭部ユニット３と胴体部ユニット１の連結部分、並びに尻尾部ユニット４と胴体部ユニット１の連結部分などには、アクチュエータが設置されている。アクチュエータは、コントローラ１１からの指示に基づいて各部を動作させる。即ち、アクチュエータによって、例えば、脚部ユニット２Ａ乃至２Ｄが動き、これにより、ロボットが歩行する。
【００３７】
頭部ユニット３に設置されているマイク２１は、ユーザからの発話を含む周囲の音声（音）を集音し、得られた音声信号を、Ａ／Ｄ変換部１２を介してコントローラ１１に出力する。CCDカメラ２２Ｌおよび２２Ｒは、周囲の状況を撮像し、得られた画像信号を、Ａ／Ｄ変換部１２を介してコントローラ１１に出力する。頭部ユニット３の上部に設けられた頭センサ３Ａや、頭部ユニット３の下部に設けられた顎センサ３Ｂは、例えば、ユーザからの「撫でる」や「叩く」といった物理的な働きかけにより受けた圧力を検出し、その検出結果を圧力検出信号として、Ａ／Ｄ変換部１２を介してコントローラ１１に出力する。
【００３８】
コントローラ１１は、マイク２１、CCDカメラ２２Ｌおよび２２Ｒ、背中センサ１Ａ、頭センサ３Ａ、並びに顎センサ３Ｂから、Ａ／Ｄ変換部１２を介して与えられる音声信号、画像信号、圧力検出信号に基づいて、周囲の状況や、ユーザからの指令、ユーザからの働きかけなどの有無を判断し、その判断結果に基づいて、ペット型ロボットが次にとる行動を決定する。そして、コントローラ１１は、その決定に基づいて、必要なアクチュエータを駆動させ、これにより、頭部ユニット３を上下左右に振らせたり、尻尾部ユニット４を動かせたり、各脚部ユニット２A乃至２Dを駆動して、ペット型ロボットを歩行させるなどの行動をとらせる。
【００３９】
さらに、コントローラ１１は、必要に応じて、合成音を生成し、それを、Ｄ／Ａ変換部１３を介して、スピーカ２３に供給して出力させたり、ペット型ロボットの「目」の位置に設けられた、図示しないLED(Light Emitting Diode)を点灯、消灯または点滅させる。
【００４０】
以上のようにして、ペット型ロボットは、周囲の状況や、接してくるユーザに基づいて、自律的に行動をとるようになっている。
【００４１】
次に、図３は、図２のコントローラ１１の機能的構成例を示している。なお、図３に示す機能的構成は、CPU１１Aが、メモリ１１Bに記憶されたＯＳおよびアプリケーションプログラムを実行することで実現される。また、図３では、Ａ／Ｄ変換部１２およびＤ／Ａ変換部１３の図示を省略してある。
【００４２】
コントローラ１１のセンサ入力処理部４１は、背中センサ１Ａや、頭センサ３Ａ、顎センサ３Ｂ、マイク２１、CCDカメラ２２Ｌおよび２２Ｒ等からそれぞれ与えられる圧力検出信号、音声信号、画像信号等に基づいて、特定の外部状態や、ユーザからの特定の働きかけ、ユーザからの指示等を認識し、その認識結果を表す状態認識情報を、モデル記憶部４２および行動決定機構部４３に通知する。
【００４３】
即ち、センサ入力処理部４１は、圧力処理部４１Ａ、音声認識部４１Ｂ、および画像処理部４１Ｃを有している。
【００４４】
圧力処理部４１Ａは、背中センサ１Ａ、頭センサ３Ａ、または顎センサ３Ｂから与えられる圧力検出信号を処理する。そして、圧力処理部４１Ａは、例えば、その処理の結果、所定の閾値以上で、かつ短時間の圧力を検出したときには、「叩かれた（しかられた）」と認識し、所定の閾値未満で、かつ長時間の圧力を検出したときには、「なでられた（ほめられた）」と認識して、その認識結果を、状態認識情報として、モデル記憶部４２および行動決定機構部４３に通知する。
【００４５】
音声認識部４１Ｂは、マイク２１から与えられる音声信号を対象とした音声認識を行う。そして、音声認識部４１Ｂは、その音声認識結果としての、例えば、「歩け」、「伏せ」、「ボールを追いかけろ」等の指令その他を、状態認識情報として、モデル記憶部４２および行動決定機構部４３に通知する。なお、音声認識部４１Ｂには、後述する距離計算部４７より、ユーザ等の音源からマイク２１までの距離が供給されるようになっており、音声認識部４１Ｂは、この距離に基づいて音声認識を行うようになっている。
【００４６】
画像処理部４１Ｃは、CCDカメラ２２Ｌおよび２２Ｒから与えられる画像信号を用いて、画像認識処理を行う。そして、画像処理部４１Ｃは、その処理の結果、例えば、「赤い丸いもの」や、「地面に対して垂直なかつ所定の高さ以上の平面」等を検出したときには、「ボールがある」や、「壁がある」等の画像認識結果を、状態認識情報として、モデル記憶部４２および行動決定機構部４３に通知する。
【００４７】
モデル記憶部４２は、ロボットの感情、本能、成長の状態を表現する感情モデル、本能モデル、成長モデルをそれぞれ記憶し、管理している。
【００４８】
ここで、感情モデルは、例えば、「うれしさ」、「悲しさ」、「怒り」、「楽しさ」等の感情の状態（度合い）を、所定の範囲（例えば、−１．０乃至１．０等）の値によってそれぞれ表し、センサ入力処理部４１からの状態認識情報や時間経過等に基づいて、その値を変化させる。
【００４９】
本能モデルは、例えば、「食欲」、「睡眠欲」、「運動欲」等の本能による欲求の状態（度合い）を、所定の範囲の値によってそれぞれ表し、センサ入力処理部４１からの状態認識情報や時間経過等に基づいて、その値を変化させる。
【００５０】
成長モデルは、例えば、「幼年期」、「青年期」、「熟年期」、「老年期」等の成長の状態（度合い）を、所定の範囲の値によってそれぞれ表し、センサ入力処理部４１からの状態認識情報や時間経過等に基づいて、その値を変化させる。
【００５１】
モデル記憶部４２は、上述のようにして感情モデル、本能モデル、成長モデルの値で表される感情、本能、成長の状態を、状態情報として、行動決定機構部４３に送出する。
【００５２】
なお、モデル記憶部４２には、センサ入力処理部４１から状態認識情報が供給される他に、行動決定機構部４３から、ペット型ロボットの現在または過去の行動、具体的には、例えば、「長時間歩いた」などの行動の内容を示す行動情報が供給されるようになっており、モデル記憶部４２は、同一の状態認識情報が与えられても、行動情報が示すペット型ロボットの行動に応じて、異なる状態情報を生成するようになっている。
【００５３】
例えば、ペット型ロボットが、ユーザに挨拶をし、ユーザに頭を撫でられた場合には、ユーザに挨拶をしたという行動情報と、頭を撫でられたという状態認識情報とが、モデル記憶部４２に与えられ、この場合、モデル記憶部４２では、「うれしさ」を表す感情モデルの値が増加される。
【００５４】
行動決定機構部４３は、センサ入力処理部４１からの状態認識情報や、モデル記憶部４２からの状態情報、時間経過等に基づいて、次の行動を決定し、決定された行動の内容を、行動指令情報として、姿勢遷移機構部４４に出力する。
【００５５】
即ち、行動決定機構部４３は、ペット型ロボットがとり得る行動をステート（状態）(state)に対応させた有限オートマトンを、ペット型ロボットの行動を規定する行動モデルとして管理している。そして、行動決定機構部４３は、この行動モデルとしての有限オートマトンにおけるステートを、センサ入力処理部４１からの状態認識情報や、モデル記憶部４２における感情モデル、本能モデル、または成長モデルの値、時間経過等に基づいて遷移させ、遷移後のステートに対応する行動を、次にとるべき行動として決定する。
【００５６】
ここで、行動決定機構部４３は、所定のトリガ(trigger)があったことを検出すると、ステートを遷移させる。即ち、行動決定機構部４３は、例えば、現在のステートに対応する行動を実行している時間が所定時間に達したときや、特定の状態認識情報を受信したとき、モデル記憶部４２から供給される状態情報が示す感情や、本能、成長の状態の値が所定の閾値以下または以上になったとき等に、ステートを遷移させる。
【００５７】
なお、行動決定機構部４３は、上述したように、センサ入力処理部４１からの状態認識情報だけでなく、モデル記憶部４２における感情モデルや、本能モデル、成長モデルの値等にも基づいて、行動モデルにおけるステートを遷移させることから、同一の状態認識情報が入力されても、感情モデルや、本能モデル、成長モデルの値（状態情報）によっては、ステートの遷移先は異なるものとなる。
【００５８】
その結果、行動決定機構部４３は、例えば、状態情報が、「怒っていない」こと、および「お腹がすいていない」ことを表している場合において、状態認識情報が、「目の前に手のひらが差し出された」ことを表しているときには、目の前に手のひらが差し出されたことに応じて、「お手」という行動をとらせる行動指令情報を生成し、これを、姿勢遷移機構部４４に送出する。
【００５９】
また、行動決定機構部４３は、例えば、状態情報が、「怒っていない」こと、および「お腹がすいている」ことを表している場合において、状態認識情報が、「目の前に手のひらが差し出された」ことを表しているときには、目の前に手のひらが差し出されたことに応じて、「手のひらをぺろぺろなめる」ような行動を行わせるための行動指令情報を生成し、これを、姿勢遷移機構部４４に送出する。
【００６０】
なお、行動決定機構部４３には、モデル記憶部４２から供給される状態情報が示す感情や、本能、成長の状態に基づいて、遷移先のステートに対応する行動のパラメータとしての、例えば、歩行の速度や、手足を動かす際の動きの大きさおよび速度などを決定させることができ、この場合、それらのパラメータを含む行動指令情報が、姿勢遷移機構部４４に送出される。
【００６１】
また、行動決定機構部４３では、上述したように、ペット型ロボットの頭部や手足等を動作させる行動指令情報の他、ペット型ロボットに発話を行わせる行動指令情報も、必要に応じて生成される。そして、ペット型ロボットに発話させる行動指令情報は、音声合成部４６に供給されるようになっている。音声合成部４６は、行動指令情報を受信すると、その行動指令情報にしたがって音声合成を行い、得られた合成音を、スピーカ２３から出力させる。
【００６２】
姿勢遷移機構部４４は、行動決定機構部４３から供給される行動指令情報に基づいて、ペット型ロボットの姿勢を、現在の姿勢から次の姿勢に遷移させるための姿勢遷移情報を生成し、これを制御機構部４５に送出する。
【００６３】
ここで、現在の姿勢から次に遷移可能な姿勢は、例えば、胴体や手や足の形状、重さ、各部の結合状態のようなペット型ロボットの物理的形状と、関節が曲がる方向や角度のようなアクチュエータの機構とによって決定される。
【００６４】
また、次の姿勢としては、現在の姿勢から直接遷移可能な姿勢と、直接には遷移できない姿勢とがある。例えば、４本足のペット型ロボットは、手足を大きく投げ出して寝転んでいる状態から、伏せた状態へ直接遷移することはできるが、立った状態へ直接遷移することはできず、一旦、手足を胴体近くに引き寄せて伏せた姿勢になり、それから立ち上がるという２段階の動作が必要である。また、安全に実行できない姿勢も存在する。例えば、４本足のペット型ロボットは、その４本足で立っている姿勢から、両前足を挙げてバンザイをしようとすると、簡単に転倒してしまう。
【００６５】
このため、姿勢遷移機構部４４は、直接遷移可能な姿勢をあらかじめ登録しておき、行動決定機構部４３から供給される行動指令情報が、直接遷移可能な姿勢を示す場合には、その行動指令情報を制御機構部４５に送出する。
【００６６】
一方、行動指令情報が、直接遷移不可能な姿勢を示す場合には、姿勢遷移機構部４４は、遷移可能な他の姿勢に一旦遷移した後に、目的の姿勢まで遷移させるような姿勢遷移情報を生成し、制御機構部４５に送出する。これによりロボットが、遷移不可能な姿勢を無理に実行しようとする事態や、転倒するような事態を回避することができるようになっている。
【００６７】
制御機構部４５は、姿勢遷移機構部４４からの姿勢遷移情報にしたがって、アクチュエータを駆動するための制御信号を生成し、これを、各部のアクチュエータに送出する。
【００６８】
音声合成部４６は、行動決定機構部４３から行動指令情報を受信し、その行動指令情報にしたがって、例えば、規則音声合成を行い、得られた合成音を、スピーカ２３に供給して出力させる。
【００６９】
距離計算部４７には、CCDカメラ２２Ｌおよび２２Ｒが出力する画像信号が供給されるようになっている。距離計算部４７は、CCDカメラ２２Ｌおよび２２Ｒからの画像信号を用いてステレオ処理（ステレオマッチング法による処理）を行うことにより、CCDカメラ２２Ｌおよび２２Ｒによって撮像された画像に表示されたユーザ等の音源から、マイク２１までの距離を求め、音声認識部４１Ｂに供給する。
【００７０】
ここで、距離計算部４７で行われるステレオ処理は、２つ以上の方向（異なる視線方向）からカメラで同一対象物を撮影して得られる複数の画像間の画素同士を対応付けることで、対応する画素間の視差情報や、カメラから対象物までの距離を求めるものである。
【００７１】
即ち、いま、CCDカメラ２２Ｌと２２Ｒを、それぞれ基準カメラ２２Ｌと検出カメラ２２Ｒというとともに、それぞれが出力する画像を、基準カメラ画像と検出カメラ画像というものとして、例えば、図４に示すように、基準カメラ２２Ｌおよび検出カメラ２２Ｒで、撮像対象物としてのユーザを撮影すると、基準カメラ２２Ｌからはユーザの投影像を含む基準カメラ画像が得られ、検出カメラ２２Ｒからもユーザの投影像を含む検出カメラ画像が得られる。そして、いま、例えば、ユーザの口部上のある点Ｐが、基準カメラ画像および検出カメラ画像の両方に表示されているとすると、その点Ｐが表示されている基準カメラ画像上の位置と、検出カメラ画像上の位置、つまり対応点（対応画素）とから、視差情報を求めることができ、さらに、三角測量の原理を用いて、点Ｐの３次元空間における位置（３次元位置）を求めることができる。
【００７２】
従って、ステレオ処理では、まず、対応点を検出することが必要となるが、その検出方法としては、例えば、エピポーラライン（Epipolar Line）を用いたエリアベースマッチング法などがある。
【００７３】
即ち、図５に示すように、基準カメラ２２Ｌにおいては、ユーザ上の点Ｐは、その点Ｐと基準カメラ２２Ｌの光学中心（レンズ中心）Ｏ1とを結ぶ直線Ｌ上の、基準カメラ１の撮像面Ｓ1との交点ｎaに投影される。
【００７４】
また、検出カメラ２２Ｒにおいては、ユーザ上の点Ｐは、その点Ｐと検出カメラ２２Ｒの光学中心（レンズ中心）Ｏ2とを結ぶ直線上の、検出カメラ２２Ｒの撮像面Ｓ2との交点ｎbに投影される。
【００７５】
この場合、直線Ｌは、光学中心Ｏ1およびＯ2、並びに点ｎa（または点Ｐ）の３点を通る平面と、検出カメラ画像が形成される撮像面Ｓ2との交線Ｌ2として、撮像面Ｓ2上に投影される。点Ｐは、直線Ｌ上の点であり、従って、撮像面Ｓ2において、点Ｐを投影した点ｎbは、直線Ｌを投影した直線Ｌ2上に存在し、この直線Ｌ2はエピポーララインと呼ばれる。即ち、点ｎaの対応点ｎbが存在する可能性のあるのは、エピポーララインＬ2上であり、従って、対応点ｎbの探索は、エピポーララインＬ2上を対象に行えば良い。
【００７６】
ここで、エピポーララインは、例えば、撮像面Ｓ1に形成される基準カメラ画像を構成する画素ごとに考えることができるが、基準カメラ２２Ｌと検出カメラ２２Ｒの位置関係が既知であれば、その画素ごとに存在するエピポーララインは、例えば計算によって求めることができる。
【００７７】
エピポーララインＬ2上の点からの対応点ｎbの検出は、例えば、次のようなエリアベースマッチングによって行うことができる。
【００７８】
即ち、エリアベースマッチングでは、図６（Ａ）に示すように、基準カメラ画像上の点ｎaを中心（例えば、対角線の交点）とする、例えば長方形状の小ブロック（以下、適宜、基準ブロックという）が、基準カメラ画像から抜き出されるとともに、図６（Ｂ）に示すように、検出カメラ画像に投影されたエピポーララインＬ2上の、ある点を中心とする、基準ブロックと同一の大きさの小ブロック（以下、適宜、検出ブロックという）が、検出カメラ画像から抜き出される。
【００７９】
ここで、図６（Ｂ）の実施の形態においては、エピポーララインＬ2上に、検出ブロックの中心とする点として、点ｎb1乃至ｎb6の６点が設けられている。この６点ｎb1乃至ｎb6は、図５に示した３次元空間における直線Ｌを、所定の一定距離ごとに区分する点、即ち、基準カメラ２２Ｌからの距離が、例えば、１ｍ，２ｍ，３ｍ，４ｍ，５ｍ，６ｍの点それぞれを、検出カメラ２２Ｒの撮像面Ｓ2に投影した点で、従って、基準カメラ２２Ｌからの距離が１ｍ，２ｍ，３ｍ，４ｍ，５ｍ，６ｍの点にそれぞれ対応している。
【００８０】
エリアベースマッチングでは、検出カメラ画像から、エピポーララインＬ2上に設けられている点ｎb1乃至ｎb6それぞれを中心とする検出ブロックが抜き出され、各検出ブロックと、基準ブロックとの相関が、所定の評価関数を用いて演算される。そして、点ｎaを中心とする基準ブロックとの相関が最も高い検出ブロックの中心の点ｎbが、点ｎaの対応点として求められる。
【００８１】
即ち、例えば、いま、評価関数として、相関が高いほど小さな値をとる関数を用いた場合に、エピポーララインＬ2上の点ｎb1乃至ｎb6それぞれについて、例えば、図７に示すような評価値（評価関数の値）が得られたとする。この場合、評価値が最も小さい（相関が最も高い）点ｎb3が、点ｎaの対応点として検出される。なお、図７において、点ｎb1乃至ｎb6それぞれについて求められた評価値（図７において●印で示す）のうちの最小値付近のものを用いて補間を行い、評価値がより小さくなる点（図７において×印で示す）を求めて、その点を、最終的な対応点として検出することも可能である。
【００８２】
図６の実施の形態では、上述したように、３次元空間における直線Ｌを所定の等距離ごとに区分する点を、検出カメラ２２Ｒの撮像面Ｓ2に投影した点が設定されているが、この設定は、例えば、基準カメラ２２Ｌおよび検出カメラ２２Ｒのキャリブレーション時に行うことができる。そして、このような設定を、基準カメラ２２Ｌの撮像面Ｓ1を構成する画素ごとに存在するエピポーララインごとに行い、図８（Ａ）に示すように、エピポーラライン上に設定された点（以下、適宜、設定点という）と、基準カメラ２２Ｌからの距離とを対応付ける設定点／距離テーブルをあらかじめ作成しておけば、対応点となる設定点を検出し、設定点／距離テーブルを参照することで、即座に、基準カメラ２２Ｌからの距離（ユーザまでの距離）を求めることができる。即ち、いわば、対応点から、直接、距離を求めることができる。
【００８３】
一方、基準カメラ画像上の点ｎaについて、検出カメラ画像上の対応点ｎbを検出すれば、その２点ｎaおよびｎbの間の視差（視差情報）を求めることができる。さらに、基準カメラ２２Ｌと検出カメラ２２Ｒの位置関係が既知であれば、２点ｎaおよびｎbの間の視差から、三角測量の原理によって、ユーザまでの距離を求めることができる。視差から距離の算出は、所定の演算を行うことによって行うことができるが、あらかじめその演算を行っておき、図８（Ｂ）に示すように、視差ζと距離との対応付ける視差／距離テーブルをあらかじめ作成しておけば、対応点を検出し、視差を求め、視差／距離テーブルを参照することで、やはり、即座に、基準カメラ２２Ｌからの距離を求めることができる。
【００８４】
ここで、視差と、ユーザまでの距離とは一対一に対応するものであり、従って、視差を求めることとと、ユーザまでの距離を求めることとは、いわば等価である。
【００８５】
また、対応点の検出に、基準ブロックおよび検出ブロックといった複数画素でなるブロックを用いるのは、ノイズの影響を軽減し、基準カメラ画像上の画素（点）ｎaの周囲の画素のパターンの特徴と、検出カメラ画像上の対応点（画素）ｎbの周囲の画素のパターンの特徴との相関性を明確化して判断することにより、対応点の検出の確実を期すためであり、特に、変化の少ない基準カメラ画像および検出カメラ画像に対しては、画像の相関性により、ブロックの大きさが大きければ大きいほど対応点の検出の確実性が増す。
【００８６】
なお、エリアベースマッチングにおいて、基準ブロックと検出ブロックとの相関性を評価する評価関数としては、基準ブロックを構成する画素と、それぞれの画素に対応する、検出ブロックを構成する画素の画素値の差分の絶対値の総和や、その差分の自乗和、正規化された相互相関(normalized cross correlation)などを用いることができる。
【００８７】
以上、ステレオ処理について簡単に説明したが、ステレオ処理（ステレオマッチング法）については、その他、例えば、安居院、長尾、「Ｃ言語による画像処理入門」、昭晃堂 pp.127ページなどにも記載されている。
【００８８】
次に、図９は、図３の音声認識部４１Ｂの構成例を示している。
【００８９】
図２のマイク２１およびＡ／Ｄ変換部１２を介して、音声認識部４１Ｂに入力される音声データは、特徴抽出部１０１と音声区間検出部１０７に供給される。
【００９０】
特徴抽出部１０１は、Ａ／Ｄ変換部１２からの音声データについて、適当なフレームごとに音響分析処理を施し、これにより、例えば、ＭＦＣＣ(Mel Frequency Cepstrum Coefficient)等の特徴量としての特徴ベクトルを抽出する。なお、特徴抽出部１０１では、その他、例えば、スペクトルや、線形予測係数、ケプストラム係数、線スペクトル対等の特徴ベクトル（特徴パラメータ）を抽出することが可能である。
【００９１】
特徴抽出部１０１においてフレームごとに得られる特徴ベクトルは、特徴ベクトルバッファ１０２に順次供給されて記憶される。従って、特徴ベクトルバッファ１０２では、フレームごとの特徴ベクトルが時系列に記憶されていく。
【００９２】
なお、特徴ベクトルバッファ１０２は、例えば、ある発話の開始から終了まで（音声区間）に得られる時系列の特徴ベクトルを記憶する。
【００９３】
マッチング部１０３は、特徴ベクトルバッファ１０２に記憶された特徴ベクトルを用いて、音響モデルデータベース１０４n（ｎ＝１，２，・・・，Ｎ（Ｎは、２以上の整数）、辞書データベース１０５、および文法データベース１０６を必要に応じて参照しながら、マイク２１に入力された音声（入力音声）を、例えば、連続分布ＨＭＭ法等に基づいて音声認識する。
【００９４】
即ち、音響モデルデータベース１０４nは、音声認識する音声の言語における個々の音素や音節などの所定の単位(PLU(Phonetic-Linguistic-Units))ごとの音響的な特徴を表す音響モデルのセットを記憶している。ここでは、連続分布ＨＭＭ法に基づいて音声認識を行うので、音響モデルとしては、例えば、ガウス分布等の確率密度関数を用いたＨＭＭ(Hidden Markov Model)が用いられる。辞書データベース１０５は、認識対象の各単語（語彙）について、その発音に関する情報（音韻情報）が記述された単語辞書を記憶している。文法データベース１０６は、辞書データベース１０５の単語辞書に登録されている各単語が、どのように連鎖する（つながる）かを記述した文法規則（言語モデル）を記憶している。ここで、文法規則としては、例えば、文脈自由文法（ＣＦＧ）や、正規文法（ＲＧ）、統計的な単語連鎖確率（Ｎ−ｇｒａｍ）などに基づく規則を用いることができる。
【００９５】
マッチング部１０３は、辞書データベース１０５の単語辞書を参照することにより、音響モデルデータベース１０４nに記憶されている音響モデルを接続することで、単語の音響モデル（単語モデル）を構成する。さらに、マッチング部１０３は、幾つかの単語モデルを、文法データベース１０６に記憶された文法規則を参照することにより接続し、そのようにして接続された単語モデルを用いて、時系列の特徴ベクトルとのマッチングを、連続分布ＨＭＭ法によって行い、マイク２１に入力された音声を認識する。即ち、マッチング部１０３は、上述したようにして構成された各単語モデルの系列から、特徴ベクトルバッファ１０２に記憶された時系列の特徴ベクトルが観測される尤度を表すスコアを計算する。そして、マッチング部１０３は、例えば、そのスコアが最も高い単語モデルの系列を検出し、その単語モデルの系列に対応する単語列を、音声の認識結果として出力する。
【００９６】
なお、ここでは、ＨＭＭ法により音声認識が行われるため、マッチング部１０３は、音響的には、接続された単語モデルに対応する単語列について、各特徴ベクトルの出現確率を累積し、その累積値をスコアとする。
【００９７】
即ち、マッチング部１０３におけるスコア計算は、音響モデルデータベース１０４に記憶された音響モデルによって与えられる音響的なスコア（以下、適宜、音響スコアという）と、文法データベース１０６に記憶された文法規則によって与えられる言語的なスコア（以下、適宜、言語スコアという）とを総合評価することで行われる。
【００９８】
具体的には、音響スコアは、例えば、ＨＭＭ法による場合には、単語モデルを構成する音響モデルから、特徴抽出部１０１が出力する特徴ベクトルの系列が観測される確率（出現する確率）に基づいて、単語ごとに計算される。また、言語スコアは、例えば、バイグラムによる場合には、注目している単語と、その単語の直前の単語とが連鎖（連接）する確率に基づいて求められる。そして、各単語についての音響スコアと言語スコアとを総合評価して得られる最終的なスコア（以下、適宜、最終スコアという）に基づいて、音声認識結果が確定される。
【００９９】
ここで、音声認識部４１Ｂは、文法データベース１０６を設けずに構成することも可能である。但し、文法データベース１０６に記憶された規則によれば、接続する単語モデルが制限され、その結果、マッチング部１０３における音響スコアの計算の対象とする単語数が限定されるので、マッチング部１０３の計算量を低減し、処理速度を向上させることができる。
【０１００】
また、図９の実施の形態では、Ｎ個の音響モデルデータベース１０４1，１０４2，・・・，１０４Nが設けられているが、これらのＮ個の音響モデルデータベース１０４1乃至１０４Nには、マイクから複数の異なる距離だけ離れた音源それぞれから発せられた音声を用いて生成された、その複数の異なる距離ごとの音響モデルのセットがそれぞれ記憶されている。
【０１０１】
即ち、例えば、いま、マイクから、音源である学習用の音声の発話者までの距離を、Ｄ1，Ｄ2，・・・，ＤN（但し、Ｄ1＜Ｄ2＜・・・＜ＤNとする）として、マイクから、各距離Ｄ1，Ｄ2，・・・，ＤNだけ離れた位置から発話を行った発話者の音声を、そのマイクで収録し、その収録した各距離に対する音声データを用いて学習を行うことにより得られた、各距離Ｄ1，Ｄ2，・・・，ＤNごとの音響モデル（ここではＨＭＭ）のセットが、音響モデルデータベース１０４1，１０４2，・・・，１０４Nにそれぞれ記憶されている。
【０１０２】
従って、音響モデルデータベース１０４nには、マイクから、距離Ｄnだけ離れた位置から発話を行った発話者の音声データから生成された音響モデルのセットが記憶されている。
【０１０３】
なお、距離Ｄ1乃至ＤNのうちの最小値Ｄ1としては、例えば、０（実際にはユーザの口とマイクが近接した状態）を採用することができ、最大値ＤNとしては、ここでは、例えば、ユーザがロボットに話しかけるであろうと予測される距離の最大値の統計値（例えば、多数のユーザに、最大で、どの程度離れた位置からロボットに話しかけるかのアンケートを行い、各ユーザが解答する距離の平均値など）を採用することができる。さらに、他の距離Ｄ2，Ｄ3，・・・，ＤN-1としては、例えば、距離ＤNを等分する距離を採用することができる。
【０１０４】
また、音響モデルデータベース１０４nに記憶させる距離Ｄnの音響モデルのセットは、マイクから、距離Ｄnだけ離れた位置で、実際に行った発話の音声データから生成することもできる他、マイクに近接して（マイクとの距離を０として）行われた発話を収録した音声データ（例えば、ヘッドセットマイクを使用して収録された音声データ）に対して、マイクとそこから距離Ｄnだけ離れた位置との間（空間）のインパルス応答を畳み込むことにより得られる音声データから生成することも可能である。なお、インパルス応答を用いて、所定の距離だけ離れた位置で発話された音声をマイクで収録した音声データを得ることについては、例えば、前述の文献２に記載されている。
【０１０５】
音声区間検出部１０７は、Ａ／Ｄ変換部１２の出力に基づいて、音声区間を検出し、その検出結果を表すメッセージを、選択制御部１０８に供給する。ここで、音声区間を検出する方法としては、例えば、所定のフレームごとに、Ａ／Ｄ変換部１２の出力のパワーを計算し、そのパワーが所定の閾値以上であるかどうかを判定する方法がある。
【０１０６】
選択制御部１０８は、音声区間検出部１０７から音声区間である旨のメッセージを受信すると、距離計算部４７（図３）に、マイク２１から、発話を行っているユーザまでの距離の算出を要求し、その要求に対応して、距離計算部４７から供給される距離を受信する。さらに、選択制御部１０８は、距離計算部４７から受信した距離に基づいて、セレクタ１０９を制御する。
【０１０７】
ここで、図３の実施の形態における距離計算部４７では、上述したステレオ処理によって、CCDカメラ２２Ｌまたは２２Ｒから、発話を行っているユーザまでの距離が計算されるが、CCDカメラ２２Ｌまたは２２Ｒと、マイク２１とは近い位置に設置されており、従って、CCDカメラ２２Ｌまたは２２Ｒから、発話を行っているユーザまでの距離は、マイク２１から、発話を行っているユーザまでの距離とみなせるものとする。但し、CCDカメラ２２Ｌおよび２２Ｒと、マイク２１との位置関係が分かっている場合には、マイク２１からユーザまでの距離は、CCDカメラ２２Ｌまたは２２Ｒからユーザまでの距離に基づいて求めることが可能である。
【０１０８】
セレクタ１０９は、選択制御部１０８からの制御にしたがい、Ｎ個の音響モデルデータベース１０４1乃至１０４Nのうちの１つである音響モデルデータベース１０４nを選択する。さらに、セレクタ１０９は、その選択した音響モデルデータベース１０４nに記憶された、距離Ｄnの音響モデルのセットを取得し、マッチング部１０３に提供する。これにより、マッチング部１０３では、セレクタ１０９で取得された距離Ｄnの音響モデルを用いて、音響スコアの計算が行われる。
【０１０９】
次に、図１０のフローチャートを参照して、図９の音声認識部４１Ｂによる音声認識処理について説明する。
【０１１０】
まず最初に、ステップＳ１において、音声区間検出部１０７は、ユーザからの音声入力があったかどうかを判定する。即ち、音声区間検出部１０７は、音声区間かどうかを判定し、音声区間であると判定した場合には、ユーザからの音声入力があったと判定し、音声区間でないと判定した場合には、ユーザからの音声入力がなかったと判定する。
【０１１１】
ステップＳ１において、音声入力がなかったと判定された場合、ステップＳ２乃至Ｓ５をスキップして、ステップＳ６に進む。
【０１１２】
また、ステップＳ１において、音声入力があったと判定された場合、即ち、音声区間検出部１０７において、音声区間が検出され、その旨のメッセージが選択制御部１０８に供給されるとともに、特徴抽出部１０１において、音声区間の音声データの特徴ベクトルの抽出が開始され、さらに、特徴ベクトルバッファ１０２において、その特徴ベクトルの記憶が開始された場合、ステップＳ２に進み、選択制御部１０８は、距離計算部４７（図３）に対して、発話を行っているユーザまでの距離の計算を要求する。これにより、距離計算部４７は、ステップＳ２において、発話を行っているユーザまでの距離を計算し、その距離を、選択制御部１０８に供給する。
【０１１３】
ここで、ユーザは、一般に、ロボットの正面方向から話しかけることが多いと予想されるため、ユーザまでの距離を計算するためにそのユーザを撮像するCCDカメラ２２Ｌおよび２２Ｒは、その撮像方向が、ロボットの正面方向になるように、頭部ユニット３（図２）設置されているものとする。
【０１１４】
なお、この場合、ユーザが、ロボットの正面方向からはずれた、例えば、側面や背面方向などから話しかけてきた場合には、CCDカメラ２２Ｌおよび２２Ｒにおいて、ユーザを撮像することができないことになる。そこで、例えば、マイク２１として、CCDカメラ２２Ｌおよび２２Ｒの撮像方向と同一方向の指向性を有するマイクを採用し、マイク２１に入力される音声レベルが最大となる方向に、頭部ユニット３を動かし、これにより、CCDカメラ２２Ｌおよび２２Ｒにおいて、ユーザを撮像することができるようにすることが可能である。
【０１１５】
また、ロボットには、複数のマイクを設け、その複数のマイクに到達する音声信号のパワー差や位相差から音源の方向を推定し、その方向に、その複数のマイクのうち、最大の音声レベルが得られるものの方向に、頭部ユニット３を動かすことによって、CCDカメラ２２Ｌおよび２２Ｒにおいて、ユーザを撮像することができるようにすることも可能である。なお、ロボットに、複数のマイクを設ける場合には、例えば、最大の音声レベルが得られるマイク（ロボットがユーザの方向を向いた場合には、基本的には、正面方向に設けられているマイク）が出力する音声データが、音声認識の対象とされる。
【０１１６】
ここで、図３の距離計算部４７において、CCDカメラ２２Ｌおよび２２Ｒから得られる画像を用いてステレオ処理を行うことにより、ユーザまでの距離を計算するには、CCDカメラ２２Ｌおよび２２Ｒが出力する画像から、ユーザが表示されている画素（以下、適宜、ユーザ画素という）を検出する必要があるが、例えば、いわゆる肌色などの所定の色が表示されている画素を、ユーザ画素として検出するようにすることが可能である。あるいは、また、例えば、CCDカメラ２２Ｌや２２Ｒによって、ユーザの顔を、あらかじめ撮像しておき、その顔画像を標準パターンとして、画像認識を行うことにより、ユーザ画素を検出することも可能である。
【０１１７】
選択制御部１０８は、距離計算部４７（図３）から、ユーザまでの距離を受信すると、ステップＳ３に進み、上述のＮ個の距離Ｄ1乃至ＤNの中から、ユーザまでの距離に最も近い距離Ｄnを検出し、その距離Ｄnの音響モデルのセットを記憶している音響モデルデータベース１０４nを選択するように、セレクタ１０９を制御する。これにより、セレクタ１０９は、ステップＳ３において、選択制御部１０８の制御にしたがい、音響モデルデータベース１０４nを選択し、ユーザまでの距離に最も近い距離Ｄnの音響モデルのセットを取得して、マッチング部１０３に供給し、ステップＳ４に進む。
【０１１８】
ステップＳ４では、マッチング部１０３は、特徴ベクトルバッファ１０２に記憶された、音声区間の音声データから抽出された特徴ベクトルを用い、セレクタ１０９から供給される距離Ｄnの音響モデルのセット、辞書データベース１０５に記憶された単語辞書、および文法データベース１０６に記憶された文法規則を参照することにより、音声認識結果の候補としての単語列（単語）に対する言語スコアおよび音響スコアを計算し、さらに、最終スコアを求め、最終スコアの最も大きい単語列（単語）を、音声認識結果として確定する。
【０１１９】
そして、ステップＳ５に進み、マッチング部１０３は、ステップＳ４で確定した音声認識結果を出力し、ステップＳ６に進む。
【０１２０】
ステップＳ６では、音声認識処理を終了するかどうかが判定され、終了しないと判定された場合、ステップＳ１に戻り、以下、同様の処理が繰り返される。
【０１２１】
また、ステップＳ６において、音声認識処理を終了すると判定された場合、即ち、例えば、ユーザによって、ロボットの電源がオフ状態とされた場合、音声認識処理を終了する。
【０１２２】
以上のように、発話を行ったユーザまでの距離を計算し、その距離に最も近い距離Ｄnだけ離れた位置で発話された音声を収録した音声データから生成された音響モデルのセット（距離Ｄnの音響モデルのセット）を用いて音声認識を行うようにしたので、マイクから離れた位置で発話されたユーザの音声の認識精度を向上させることができる。
【０１２３】
即ち、音声認識が、ユーザが発話を行った音響環境に近い音響環境で収録された音声データを用いて学習が行われた音響モデルのセットを用いて行われるため、音声認識精度を向上させることができる。
【０１２４】
さらに、この場合、Ｎ個の音響モデルのセットのうちの１セットを選択して音声認識が行われるので、音声認識処理に要求される計算量を（ほとんど）増大させることはない。
【０１２５】
なお、音響環境は、マイク２１からユーザまでの距離の他、ノイズレベルや、残響特性その他の要因によって変化するので、それらを考慮した音響モデルのセットを用いることで、音声認識精度をより向上させることが可能となる。
【０１２６】
また、図９の実施の形態では、各距離Ｄ1乃至ＤNの音響モデルのセットを記憶した音響モデルデータベース１０４1乃至１０４Nから、ユーザまでの距離に対応する音響モデルのセット（ユーザまでの距離に最も近い距離の音響モデルのセット）を選択するようにしたが、ユーザまでの距離に対応する音響モデルのセットは、その他、例えば、ネットワークを介して取得するようにすることなどが可能である。
【０１２７】
次に、図１１は、図１のペット型ロボットの他の内部構成例を示すブロック図である。なお、図中、図２における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１１のペット型ロボットは、頭部ユニット３の中に、超音波センサ１１１が新たに設けられている他は、図２における場合と基本的に同様に構成されている。
【０１２８】
超音波センサ１１１は、図示せぬ音源とマイクを有し、図１２に示すように、音源から、超音波パルスを発する。さらに、超音波センサ１１１は、その超音波パルスが障害物で反射され、返ってくる反射波を、マイクで受信し、超音波パルスを発してから、反射波を受信するまでの時間（以下、適宜、ラグ時間という）を求め、コントローラ１１に供給する。
【０１２９】
次に、図１３は、図１１のコントローラ１１の機能的構成例を示している。なお、図中、図３における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図１３のコントローラ１１は、距離計算部４７に対して、CCDカメラ２２Ｌおよび２２Ｒの出力に代えて、超音波センサ１１１の出力が供給されるようになっている他は、図３における場合と同様に構成されている。
【０１３０】
図１３の実施の形態では、距離計算部４７が、超音波センサ１１１の出力に基づいて、ユーザまでの距離を計算するようになっている。
【０１３１】
即ち、図１３の実施の形態においては、例えば、上述したような、マイク２１として指向性を有するものを使用する方法、複数のマイクを使用する方法、画像認識を利用する方法などによって、発話を行っているユーザの方向を認識し、そのユーザの方向に、超音波センサ１１１の音源が向くように、頭部ユニット３を動かす。そして、超音波センサ１１１は、超音波パルスを、ユーザに向けて発し、その反射波を受信することで、ラグ時間を求め、距離計算部４７に供給する。距離計算部４７は、超音波センサ１１１から供給されるラグ時間に基づいて、ユーザまでの距離を計算し、音声認識部４１Ｂに供給する。以後は、音声認識部４１Ｂにおいて、図９及び図１０で説明した場合と同様の処理が行われる。
【０１３２】
次に、図１４は、図３または図１３の音声認識部４１Ｂの他の構成例を示している。なお、図中、図９における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
【０１３３】
図９の実施の形態では、距離Ｄ1乃至ＤNの音響モデルのセットの中から、ユーザまでの距離に最も近い距離の音響モデルのセットを選択し、その音響モデルのセットを用いて音声認識を行うようになっていたが、図１４の実施の形態では、ユーザまでの距離に対応する周波数特性の逆フィルタを用いて、マイク２１から出力される音声データをフィルタリングし、そのフィルタリング後の音声データについて、所定の音響モデルのセットを用い、音声認識を行うようになっている。
【０１３４】
即ち、図１４の実施の形態において、音響モデルデータベース１０４は、例えば、マイクに近接して（マイクとの距離を０として）行われた発話を収録した音声データから生成された音響モデルのセットを記憶している。
【０１３５】
フィルタ部１２１は、タップ係数選択部１２２から供給されるタップ係数（以下、適宜、選択タップ係数という）をタップ係数として動作するディジタルフィルタで、Ａ／Ｄ変換部１２が出力する音声データをフィルタリングし、特徴抽出部１０１に供給する。
【０１３６】
タップ係数選択部１２２は、音声区間検出部１０７から音声区間を検出した旨のメッセージを受信すると、図３または図１３の距離計算部４７に、ユーザまでの距離の計算を要求し、その要求に応じて、距離計算部４７から供給されるユーザまでの距離を受信する。さらに、タップ係数選択部１２２は、ユーザまでの距離に最も近い距離に対応する周波数特性の逆フィルタを実現するタップ係数のセットを、タップ係数記憶部１２３から読み出す。そして、タップ係数選択部１２２は、タップ係数記憶部１２３から読み出したタップ係数を、選択タップ係数として、フィルタ部１２１に供給し、そのタップ係数として設定する。
【０１３７】
タップ係数記憶部１２３は、例えば、上述したＮ個の距離Ｄ1乃至ＤNそれぞれに対応する周波数特性の逆の特性を有するディジタルフィルタとしての逆フィルタを実現するタップ係数のセットを記憶している。
【０１３８】
以上のように構成される音声認識部４１Ｂでは、音声区間検出部１０７において音声区間であることが検出されると、タップ係数選択部１２２が、距離計算部４７（図３または図１３）に対して、ユーザまでの距離の計算を要求し、その要求に応じて、距離計算部４７から供給されるユーザまでの距離を受信する。さらに、タップ係数選択部１２２は、ユーザまでの距離に最も近い距離に対応する周波数特性の逆フィルタを実現するタップ係数のセットを、タップ係数記憶部１２３から読み出し、選択タップ係数として、フィルタ部１２１に供給する。
【０１３９】
フィルタ部１２１では、選択タップ係数を、そのタップ係数として、Ａ／Ｄ変換部１２が出力する音声データをフィルタリングし、これにより、マイク２１が出力する音声データの周波数成分からユーザまでの距離に対応する周波数特性を除去した音声データ、即ち、等価的に、マイク２１に近接して行われた発話を収録した音声データを得て、特徴抽出部１０１に供給する。
【０１４０】
ここで、例えば、いま、マイクに近接して行われた発話を収録した音声データをｘ（ｔ）（ｔは時刻（時間）を表す）と、距離Ｄnだけ離れた位置で行われた同一発話を収録した音声データをｙ（ｔ）と、マイク２１から、距離Ｄnだけ離れた位置までの空間のインパルス応答をｈn（ｔ）と、それぞれ表すとともに、各周波数をωとして、ｘ（ｔ），ｙ（ｔ），ｈn（ｔ）それぞれのフーリエ変換を、Ｘ（ω），Ｙ（ω），Ｈn（ω）と表すこととすると、次式が成立する。
【０１４１】
Ｙ（ω）＝Ｘ（ω）Ｈn（ω）  ・・・（１）
【０１４２】
式（１）から次式が成り立つ。
【０１４３】
Ｘ（ω）＝Ｙ（ω）／Ｈn（ω）  ・・・（２）
【０１４４】
Ｈn（ω）は、距離Ｄnに対応する周波数特性を表すから、式（２）より、距離Ｄnに対応する周波数特性Ｈn（ω）の逆の特性１／Ｈn（ω）を有するフィルタである逆フィルタによって、マイク２１から距離Ｄnだけ離れた位置で行われた発話を収録した音声データＹ（ω）をフィルタリングすれば、等価的に、マイク２１に近接して行われた発話を収録した音声データＸ（ω）を得ることができる。
【０１４５】
図１４の実施の形態において、タップ係数記憶部１２３は、各距離Ｄ1乃至ＤNに対応する周波数特性Ｈ1（ω）乃至ＨN（ω）の逆の特性１／Ｈ1（ω）乃至１／ＨN（ω）を有する逆フィルタを実現するタップ係数を記憶しており、タップ係数選択部１２２において、ユーザまでの距離に最も近い距離に対応する周波数特性の逆フィルタを実現するタップ係数のセットを、タップ係数記憶部１２３から読み出し、選択タップ係数として、フィルタ部１２１に供給する。
【０１４６】
フィルタ部１２１では、そのような選択タップ係数を、そのタップ係数（ディジタルフィルタのタップ係数）として、Ａ／Ｄ変換部１２が出力する音声データがフィルタリングされることにより、マイク２１に近接して行われた発話を収録した音声データが、等価的に求められ、特徴抽出部１０１に供給される。
【０１４７】
従って、マッチング部１０３では、等価的にマイク２１に近接して行われた発話を収録した音声データについて、マイクに近接して行われた発話を収録した音声データから生成された音響モデルのセットを用いて音声認識が行われるから、やはり、図９の実施の形態における場合と同様に、マッチング部１０３の計算量を増大させずに、音声認識精度を向上させることができる。
【０１４８】
ここで、距離Ｄnに対応する周波数特性Ｈn（ω）の逆の特性１／Ｈn（ω）は、マイクから距離Ｄnだけ離れた位置から、理想的には、インパルスδ（ｔ）を発し、そのインパルスδ（ｔ）を収録したマイクから出力される音声データｓ（ｔ）を観測することにより、実用上はＴＳＰ(Time Stretched Pulse)信号を用いて計測することによって、式（１）または（２）に示した関係から求めることが可能である。
【０１４９】
なお、マイク２１と、学習用の音声データを収録するマイクとは、同一の周波数特性を有するものを用いるのが望ましい。
【０１５０】
以上、本発明を、音声認識機能を有する、実体のあるロボットに適用した場合について説明したが、本発明は、例えば、コンピュータ上に表示される仮想的なロボットや、その他の任意の装置に適用可能である。
【０１５１】
なお、上述した一連の音声認識処理は、例えば、汎用のコンピュータに行わせることができ、この場合、一連の音声認識処理を行うプログラムが、汎用のコンピュータにインストールされることで、音声認識装置が実現される。
【０１５２】
さらに、この場合、プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスクやＲＯＭ(Read Only Memory)に予め記録しておくことができる。
【０１５３】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１５４】
さらに、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスクにインストールすることができる。
【０１５５】
なお、本明細書において、コンピュータ（ＣＰＵ）に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０１５６】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１５７】
さらに、本発明は、ＨＭＭ法以外のアルゴリズムによる音声認識にも適用可能である。
【０１５８】
また、本実施の形態では、ステレオ処理や、超音波センサによって、ユーザまでの距離を求めるようにしたが、ユーザまでの距離は、その他の任意の方法によって求めることが可能である。即ち、例えば、ユーザまでの距離は、例えば、ユーザに、その距離を発話してもらい、その発話を音声認識することによって求めること等が可能である。さらに、リモートコマンダに、距離を入力するボタンを設け、そのボタンを、ユーザに操作してもらうことにより、ロボットにおいて、ユーザまでの距離を求めるようにすることが可能である。
【図面の簡単な説明】
【０１５９】
【図１】本発明を適用したペット型ロボットの外観構成例を示す斜視図である。
【図２】ペット型ロボットのハードウェア構成例を示すブロック図である。
【図３】コントローラ１１の機能的構成例を示すブロック図である。
【図４】基準カメラ２２Ｌおよび検出カメラ２２Ｒで、ユーザを撮影している状態を示す図である。
【図５】エピポーララインを説明するための図である。
【図６】基準カメラ画像および検出カメラ画像を示す図である。
【図７】評価値の推移を示す図である。
【図８】設定点／距離テーブルおよび視差／距離テーブルを示す図である。
【図９】音声認識部４１Ｂの構成例を示すブロック図である。
【図１０】音声認識部４１Ｂの処理を説明するフローチャートである。
【図１１】ペット型ロボットの他のハードウェア構成例を示すブロック図である。
【図１２】超音波センサ１１１の処理を説明する図である。
【図１３】コントローラ１１の他の機能的構成例を示すブロック図である。
【図１４】音声認識部４１の他の構成例を示すブロック図である。
【符号の説明】
【０１６０】
１  胴体部ユニット，  １Ａ  背中センサ，  ２Ａ乃至２Ｄ  脚部ユニット，  ３  頭部ユニット，  ３Ａ  頭センサ，  ３Ｂ  顎センサ，  ４  尻尾部ユニット，  １１  コントローラ，  １１Ａ  ＣＰＵ，  １１Ｂ  メモリ，  １２  Ａ／Ｄ変換部，  １３  Ｄ／Ａ変換部，  １４  通信部，  １５  半導体メモリ，  ２１  マイク，  ２２Ｌ，２２Ｒ  ＣＣＤカメラ，  ２３  スピーカ，  ４１  センサ入力処理部，  ４１Ａ  圧力処理部，  ４１Ｂ  音声認識部，  ４１Ｃ  画像処理部，  ４２  モデル記憶部，  ４３  行動決定機構部，  ４４  姿勢遷移機構部，  ４５  制御機構部，  ４６  音声合成部，  ４７  距離計算部，  １０１  特徴抽出部，  １０２  特徴ベクトルバッファ，  １０３  マッチング部，  １０４，１０４1乃至１０４N  音響モデルデータベース，  １０５  辞書データベース，  １０６  文法データベース，  １０７  音声区間検出部，  １０８  選択制御部，  １０９  セレクタ，  １１１  超音波センサ，  １２１  フィルタ部，  １２２  タップ係数選択部，  １２３  タップ係数記憶部
【図１】
2007241304.tif 000003
【図２】
2007241304.tif 000004
【図３】
2007241304.tif 000005
【図４】
2007241304.tif 000006
【図５】
2007241304.tif 000007
【図６】
2007241304.tif 000008
【図７】
2007241304.tif 000009
【図８】
2007241304.tif 000010
【図９】
2007241304.tif 000011
【図１０】
2007241304.tif 000012
【図１１】
2007241304.tif 000013
【図１２】
2007241304.tif 000014
【図１３】
2007241304.tif 000015
【図１４】
2007241304.tif 000016