(57)【要約】【課題】発話者から発生する音声を認識する音声認識性能の向上する音声認識ロボット、および音声認識ロボットの制御方法を提供すること。【解決手段】音声認識ロボットにおいて、音声の発生した方向を特定する音源特定部と、音声取得部と、音声の内容を認識する音声認識部と、取得した音声の音圧を測定する測定部と、取得した音声の発生した方向について撮像する撮像部と、撮像した画像内に存在する人物の顔を検出する顔検出部と、検出した顔の中から、口唇を抽出する抽出部と、抽出した口唇の中心点を特定する特定部と、音声取得部を保持し、伸縮動作または関節角度の変化の少なくともいずれかの駆動動作により姿勢変更可能な保持部と、を備えさせることで、発話者の口唇の中心点と、前記音声取得部との相対的な位置を、測定した音声の音圧と基づいて修正するように前記保持部の姿勢を変更するようにした。【選択図】図７
2008126329.tif 000002
【特許請求の範囲】
【請求項１】
音声の発生した方向を特定する音源特定部と、
発生した音声を取得する音声取得部と、
前記音声取得部により取得した音声の内容を認識する音声認識部と、
取得した音声の音圧を測定する測定部と、
取得した音声の発生した方向について撮像し、その撮像した画像の画像データを作成する撮像部と、
作成した画像データ内に存在する人物の顔を検出する顔検出部と、
検出した顔の中から、口唇を抽出する抽出部と、
抽出した口唇の中心点を特定する特定部と、
前記音声取得部を保持し、伸縮動作または関節角度の変化の少なくともいずれかの駆動動作により姿勢変更可能な保持部とを備えた音声認識ロボットであって、
前記音源特定部で特定した音声の発生した方向を撮像部で撮像し、
前記撮像部で撮像した画像内に存在する人物の顔を、前記顔検出部で検出し、
前記検出した人物の顔の中から抽出した口唇の中心点を特定し、
特定した口唇の中心点と、前記音声取得部の位置との距離を算出し、
前記算出した距離と、測定部により測定した音声の音圧とに基づいて、前記口唇の中心点に対する音声取得部の相対的な位置を定め、
定められた位置に音声取得部を移動するように前記保持部の姿勢を変更することを特徴とする音声認識ロボット。
【請求項２】
目標とする目標音圧を記憶し、測定した音声の音圧と、前記目標音圧との差をパラメータとして、前記口唇の中心点と音声取得部との最適な距離を求め、前記音声取得部の位置を定めることを特徴とする請求項１に記載の音声認識ロボット。
【請求項３】
前記音声取得部が、指向性を有するマイクロフォンから構成され、音声取得部の先端から当該指向性と同方向を向いた位置の延長線上に、前記口唇の中心点が位置するように保持部の姿勢が変更されることを特徴とする請求項１または２に記載の音声認識ロボット。
【請求項４】
前記音源特定部が、指向性を有する１または複数のマイクロフォンから構成されることを特徴とする請求項１から３のいずれかに記載の音声認識ロボット。
【請求項５】
前記抽出部が、口唇の輪郭を求め、その輪郭によって特定される重心位置を中心点とすることを特徴とする請求項１から４のいずれかに記載の音声認識ロボット。
【請求項６】
前記検出した顔が、撮像した画像内の中央に位置し続けるように撮像する方向を変更することを特徴とする請求項１から５のいずれかに記載の音声認識ロボット。
【請求項７】
前記音声認識ロボットがさらに移動手段を備え、所定の領域内を移動可能に構成されていることを特徴とする請求項１から６のいずれかに記載の音声認識ロボット。
【請求項８】
前記保持部が、駆動制御される関節を含む腕部であり、前記音声取得部が当該腕部の先端に保持されていることを特徴とする請求項１から７のいずれかに記載の音声認識ロボット。
【請求項９】
音声の発生した方向を特定するステップと、
発生した音声を音声取得部を介して取得するステップと、
取得した音声の内容を認識するステップと、
取得した音声の音圧を測定するステップと、
取得した音声の発生した方向について撮像し、その撮像した画像の画像データを作成するステップと、
作成した画像データ内に存在する人物の顔を検出するステップと、
検出した顔の中から、口唇を抽出するステップと、
抽出した口唇の中心点を特定するステップと、
特定した口唇の中心点と、前記音声取得部との距離を算出するステップと、
前記算出した距離と、測定部により測定した音声の音圧とに基づいて、前記口唇の中心点に対する音声取得部の相対的な位置を定めるステップと、
定められた位置に前記音声取得部を移動するステップと、を備えることを特徴とする音声認識ロボットの制御方法。
【請求項１０】
前記音声取得部が指向性を有しており、前記音声取得部の先端から当該指向性と同方向を向いた位置の延長線上に、前記口唇の中心点が位置するように音源取得部の位置を定めるステップをさらに備えていることを特徴とする請求項９に記載の音声認識ロボットの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された音声情報を認識し、その内容に対して応答する音声認識ロボットおよびこのような音声認識ロボットの制御方法に関する。
【背景技術】
【０００２】
人間が発声した音声の内容を認識し、その内容に対して適切な回答を音声出力することで応答する音声認識ロボットが一般的に知られている。このような音声認識ロボットは、人間から発声された音声を音声データとして取得し、その音声データを解析することで音声認識処理を行っているために、発生された音声を正確に取得する必要がある。
【０００３】
そのために、音声を取得するマイクロフォン等の受音する受音部に雑音を除去するフィルタを設けたり、受音部に指向性を持たせて特定方向に位置する音源からの音に限定して音声を取得するといった技術が用いることが行われている（例えば特許文献１および２）。
【特許文献１】特開２００６−１７１７１９号公報
【特許文献２】特開２００６−２５１２６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、音声認識ロボットの位置と、音声を発生する人間との相対位置が確定している場合であれば、前述のようなフィルタを用いた雑音除去処理によって音声をある程度正確に取得することが可能となる場合があるが、これらの相対位置が定まらない場合は、音声認識ロボットが取得する音声の大きさ（音圧）が安定しない。そして、十分な音圧の得られない音声に対して雑音除去処理を行うと、音声認識性能が低くなる場合がある。
【０００５】
また、音声認識ロボットの全体または一部が移動可能に構成されている場合、このロボットと発話者である人間との距離を安全上一定距離以上に離間する必要があるため、特に音声認識性能を十分得ることができないという問題がある。
【０００６】
本発明は、このような問題を解決するためになされたものであり、発話者から発生する音声を認識する音声認識性能の向上する音声認識ロボット、および音声認識ロボットの制御方法を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明にかかる音声認識ロボットは、音声の発生した方向を特定する音源特定部と、発生した音声を取得する音声取得部と、前記音声取得部により取得した音声の内容を認識する音声認識部と、取得した音声の音圧を測定する測定部と、取得した音声の発生した方向について撮像し、その撮像した画像の画像データを作成する撮像部と、作成した画像データ内に存在する人物の顔を検出する顔検出部と、検出した顔の中から、口唇を抽出する抽出部と、抽出した口唇の中心点を特定する特定部と、前記音声取得部を保持し、伸縮動作または関節角度の変化の少なくともいずれかの駆動動作により姿勢変更可能な保持部と、を備えており、前記音源特定部で特定した音声の発生した方向を撮像部で撮像し、前記撮像部で撮像した画像内に存在する人物の顔を、前記顔検出部で検出し、前記検出した人物の顔の中から抽出した口唇の中心点を特定し、特定した口唇の中心点と、前記音声取得部の位置との距離を算出し、前記算出した距離と、測定部により測定した音声の音圧とに基づいて、前記口唇の中心点に対する音声取得部の相対的な位置を定め、定められた位置に音声取得部を移動するように前記保持部の姿勢を変更することを特徴とする。
【０００８】
このような音声認識ロボットによると、音声を発生した発話者の口唇と、音声を取得する音声取得部との距離を、音声取得部で取得する音声の音圧が所定の適切な値となるように、音声取得部の位置を定めることができる。これによって、音声認識部で認識する音声が一定の音圧に定められるため、音声認識部において、発話者から発生する音声を認識する音声認識性能が向上することができる。
【０００９】
また、このような音声認識ロボットにおいては、目標とする目標音圧を記憶し、測定した音声の音圧と、前記目標音圧との差をパラメータとして、前記口唇の中心点と音声取得部との最適な距離を求め、前記音声取得部の位置を定めるようにするものであってもよい。このような音声認識ロボットによると、発話者から発生される音声の強さに応じて音声取得部の位置を決定し、目標音圧で音声を取得することできるため、音声認識性能をより高めることが可能となる。
【００１０】
また、前記音声取得部は、指向性を有するマイクロフォンから構成され、音声取得部の先端から当該指向性と同方向を向いた位置の延長線上に、前記口唇の中心点が位置するように保持部の姿勢を変更するものであってもよい。このようにすると、音声取得部の指向性を考慮した音声取得部の位置決めができるため、発話者から発せられる音がある程度小さい音圧であっても、音声取得部により音声を取得するための感度が高くなり、十分な音圧の音声を取得しやすくすることが可能となる。
【００１１】
また、前記音源特定部は、指向性を有する１または複数のマイクロフォンから構成されることが好ましい。このような音源特定部は、発生した音声の、ロボットからみた相対的な方向をより正確に特定することができる。
【００１２】
また、前記抽出部は、口唇の輪郭を求め、その輪郭によって特定される重心位置を中心点とするものであってもよい。すなわち、口唇の輪郭を平面的に求め、その平面上において描写された輪郭に囲まれた領域の重心位置を特定し、その重心位置を口唇の中心点とする。このようにすると、口唇の中心点を簡単に求めることができる。
【００１３】
また、このような音声認識ロボットにおいては、検出した顔が、撮像した画像内の略中央に位置し続けるように撮像する方向を変更するように設けられていることが好ましい。このようにすると、検出した発話者を撮像エリア内におさめた状態を維持できるため、発話者を見失う可能性が低くなり、再度新たに発話者を検出する必要性が低くなるという効果がある。
【００１４】
このような音声認識ロボットが、さらに移動手段を備えるものであり、所定の領域内を移動可能に構成されているものであれば、より好ましい。このような音声認識ロボットは、発話者に対して近接離間可能に移動できるため、音声をより適切な音圧で取得しやすくなる。
【００１５】
さらに、前記保持部が、駆動制御される関節を含む腕部であり、前記音声取得部が当該腕部の先端に保持されるように構成することが好ましい。このようにすることで、保持部としての腕部を駆動して発話者と音声取得部との距離を適切な位置に保つことができる。
【００１６】
なお、本発明は、音声認識ロボットの制御方法をも提供するものであり、このような音声認識ロボットの制御方法においては、音声の発生した方向を特定するステップと、発生した音声を音声取得部を介して取得するステップと、取得した音声の内容を認識するステップと、取得した音声の音圧を測定するステップと、取得した音声の発生した方向について撮像し、その撮像した画像の画像データを作成するステップと、作成した画像データ内に存在する人物の顔を検出するステップと、検出した顔の中から、口唇を抽出するステップと、抽出した口唇の中心点を特定するステップと、特定した口唇の中心点と、前記音声取得部との距離を算出するステップと、前記算出した距離と、測定部により測定した音声の音圧とに基づいて、前記口唇の中心点に対する音声取得部の相対的な位置を定めるステップと、定められた位置に前記音声取得部を移動するステップと、を備えることを特徴としている。
【００１７】
このような音声認識ロボットの制御方法によると、音声を発生した発話者の口唇と、音声を取得する音声取得部との距離を、音声取得部で取得する音声の音圧が所定の適切な値となるように、音声取得部の位置を定めることができる。これによって、音声認識部で認識する音声が一定の音圧に定められるため、音声認識部において、発話者から発生する音声を認識する音声認識性能が向上することができる。
【００１８】
また、このような音声認識ロボットの制御方法において、前記音声取得部が指向性を有しており、前記音声取得部の先端から当該指向性と同方向を向いた位置の延長線上に、前記口唇の中心点が位置するように音源取得部の位置を定めるステップをさらに備えるようにしてもよい。音声取得部の指向性を考慮した音声取得部の位置決めができるため、発話者から発せられる音がある程度小さい音圧であっても、音声取得部の感度が高い状態で音声を取得することができる。
【発明の効果】
【００１９】
以上、説明したように、本発明によると、発話者から発生する音声を認識する音声認識性能の向上する音声認識ロボット、および音声認識ロボットを制御する制御方法を提供することができる。
【発明を実施するための最良の形態】
【００２０】
発明の実施の形態１．
以下に、図１から図７を参照しつつ、本発明の第１の実施形態にかかる音声認識ロボットについて説明する。
【００２１】
図１は、室内Ｒの中に発話者である人が存在しており、その室内Ｒ内に音声認識ロボット１が載置されている様子を示している。図１に示される音声認識ロボット１は、図２に示すように、地面に固定された胴体１０と、この胴体１０に接続された頭部１１、右腕１２、左腕１３を備える、人間の上半身と同様に構成されたヒューマノイド型のロボットである。以下、各構成要素について詳細に説明する。
【００２２】
胴体１０は、室内Ｒの床面に設置され、その内部に音声認識ロボット１の動作およびその他の機能を制御する制御部１００を備えている。制御部１００は、後述する音声取得部としてのマイクロフォンから入力された入力信号の内容を認識し、適切な応答データを選択した後に当該応答データを音声で出力する、演算処理部やメモリ等を備えた制御コンピュータである。この制御部１００の詳細な構成については後述する。
【００２３】
頭部１１は、音声認識ロボット１の前方の所定範囲を撮像するための撮像部１１１、１１２と、周囲で生じた音声を聞き取るための音源特定部１１３、１１４と、外部に対して言葉を発声するためのスピーカ１１５と、を備えている。撮像部１１１、１１２は、各々所定範囲の光学的な情報を取得して撮像データを作成し、この撮像データを取り込んで制御部１００へ出力する光学カメラであり、頭部１１の前面左右に設けられている。
【００２４】
音源特定部１１３、１１４は、各々一定の方向からの音声を取得可能な、いわゆる指向性を有するマイクロフォンを水平方向に複数配置したものであり、周囲で発声した音声が、音声認識ロボット１からみて相対的にどの方向から伝達されたものかを大まかに特定することができる。なお、音源特定部１１３、１１４は、頭部１１の左右の側面に設けられており、音声認識ロボット１の周囲で発せられた音声が、音声認識ロボット１に対して相対的にどの方向から発生されたかを特定し、後述する制御部１００へ出力する。
【００２５】
そして、スピーカ１１５は、制御部１００で作成された応答データを外部へ所定の方向および大きさで出力するものであり、頭部１１の前面下方に設けられている。
【００２６】
また、頭部１１は、胴体１０に対して床面に対して水平な面内で左右方向に回動可能に接続されており、頭部１１を回動することで撮像する範囲を状況に応じて変更し、周囲の環境を撮像することができる。
【００２７】
右腕１２および左腕１３は、制御部１００に含まれる演算処理部（図示せず）によって、駆動所定の制御プログラムに従って各腕部に含まれる関節部が駆動する量が制御され、各関節の関節駆動角度が決定されることで、所望の位置および姿勢をとるものである。そして、右腕１２および左腕１３の先端には物体を把持可能なハンド部１２ａ、１３ａが備えられており、さらに、右腕１２のハンド部１２ａには指向性を有するマイクロフォン１２ｂが、その先端を胴体１０に対して遠ざける向きにやや傾斜させて把持されている。マイクロフォン１２ｂは、音声認識ロボット１の周囲で発声した音声を取得する音声取得部として作用するものであり、本実施形態の場合、マイクロフォン１２ｂを把持する右腕１２が保持部に該当する。なお、右腕１２および左腕１３は、上腕部材および下腕部材、下腕部材およびハンド部をそれぞれ制御部１００からの指令により駆動可能な関節部材により接続され、関節部材の関節駆動領域の許す限り、その姿勢を自由に取ることができる。
【００２８】
なお、制御部１００は、図３に示すように、マイクロフォン１２ｂによって取得された音声が入力から音声データを作成してその内容を認識する音声認識部１０１、作成された音声データから、その音声の音圧（音の強度）を測定する測定部１０２、頭部１０に備えられた前記撮像部１１１、１１２により撮像した画像内に存在する人物の顔を検出する顔検出部１０３により検出した顔の位置および向きを判別する判別部１０４、検出した顔の中から口唇を部分的に抽出する抽出部１０５、抽出した口唇の中心点を特定する特定部１０６、および音声出力する応答データを作成するための音声合成部１０７と、所定のプログラムやデータを記憶する記憶領域１０８を備えている。
【００２９】
音声認識部１０１は、マイクロフォン１２ｂを介して入力された音声を、図示しないＡ／Ｄ変換部を介してＷＡＶＥファイルなどの音声データに変換するとともに、その音声データを音節毎に分割し、各音節を記憶領域１０８に記憶された単語データベースを用いて単語に置き換える。そして、音声データに含まれる単語およびその語順を解析して、記憶領域１０８に記憶された多数の文章のうち、この解析した音声データに最も近い文章を選び出す。選び出した文章と、音声データとの近似度合いが所定の値以上の場合は、解析した音声データが、選び出した文章と同一の内容として認識し、取得した音声を、選び出した文章と等しい旨を示す信号を出力する。また、最も近い文章が、所定の近似度合いに満たない場合は、該当する文章が記憶領域に記憶されていないとし、取得した音声の内容を認識できなかったことを表す信号を出力する。
【００３０】
測定部１０２は、音声認識部１０１により作成された音声データから、その音声の音圧（強さ）をデータの振幅により求めるものであり、入力される音声の音圧を時系列的に求めるものである。求められた音圧データは、記憶領域１０８に記憶される。
【００３１】
顔検出部１０３は、撮像部１１１、１１２で撮像することにより得られた画像データから顔の輪郭に相当する縁部を推定し、推定された顔の輪郭によって囲まれる領域を人物の顔として検出する。
【００３２】
なお、顔検出部１０３によって、検出された各人物の顔に含まれる目の位置、すなわちロボットからの相対距離および相対的方向に基づいて、検出した顔が、ロボットから見てどの方向を向いているかどうかを推定することができる。詳細には、図４に示すように、人物の顔に含まれる目（右目Ｅ１および左目Ｅ２）の各中心位置Ｅ１０、Ｅ１１を特定するとともに、各中心位置を結ぶ線分上の中点Ｍを特定する。そして、この各中心位置を結ぶ線分を含み、床面に平行な平面内で、中点Ｍから各中心位置を結ぶ線分に垂直な方向Dを求め、この方向Dを目（右目Ｅ１、左目Ｅ２）の視線方向、すなわちこれらの目を含む顔が向いている方向とする。そして、検出した各顔の向いている方向を各々求め、それらの方向についての信号を、各顔の存在するロボットからの相対位置と併せて出力する。
【００３３】
判別部１０４は、顔検出部１０３によって検出された、撮像された画像内に含まれる各顔の、ロボットからの相対位置および向いている方向から、どの顔がロボット自身に向けられているかを判別する。具体的には、図５に示すように、自身の位置P（例えば頭部１１の中心点）を基準として、目（右目および左目）の位置に基づいて判断した各顔の中心位置と、各顔の向いている方向とを組み合わせ、自身の位置を含むか否かを判断する。ここで、各顔の向いている方向には、所定の幅をもたせることとし、詳細には各方向を中心として床面に水平な方向に左右微小角度（例えば５度）ずつ幅を持たせるものとしている。このようにして、各顔がロボット自身の向きを向いているか否かを判断する。
【００３４】
抽出部１０５は、顔検出部１０３によって検出された画像データ中の顔のうち、判別部１０４においてロボットの方を向いていると判断された顔の中から、口唇を部分的に抽出する。また、ロボットの方を向いていると判断された顔が複数ある場合は、ロボットからの距離が最も近いものを選択し、選択した顔から口唇を部分的に抽出する。
【００３５】
抽出部１０５によって口唇を抽出する具体的な手法としては、顔の輪郭内部に含まれる領域の中で、予め記憶された複数の口唇データと略一致する部分を口唇として認識し、その認識した部分を顔中の口唇として抽出する。
【００３６】
特定部１０６は、抽出部１０５で抽出した口唇の輪郭から、その輪郭によって特定される重心位置をこの口唇の中心点として特定する。詳細には、抽出した口唇の輪郭を平面的に求め、その平面上において描写された輪郭に囲まれた領域の重心位置を特定し、その重心位置を口唇の中心点とする。このように、特定部１０６で特定された口唇の中心点は、音声認識ロボット１の位置を基準点とした相対的な位置を表す座標として、記憶領域１０８に記憶される。
【００３７】
音声合成部１０７は、音声認識部１０１によって認識された、取得した音声の内容に対応する、予め記憶領域内に多数記憶された応答文データ群の中から、最も適切な応答文データを読み出し、音声ファイルに変換してスピーカ１１５を介して外部に出力する。このように構成された音声認識ロボット１は、その前面近傍に位置する人物を撮像し、その撮像した画面内に含まれる複数の人物に対して、自分が応答すべき人物を特定して、その人物から発声された音声の内容を認識し、その内容に応じた内容の音声出力を行う。
【００３８】
記憶領域１０８は、音声認識ロボット１の腕部や首部分を含む関節部材を動作させる単一または複数種類のプログラムや音声出力するための多数種類の応答文等の他、右腕１２に把持されたマイクロフォン１２ｂの長さや指向性などを記憶するとともに、前述した口唇の中心点等の追加情報を新たに記憶する。さらに、記憶領域１０８には、マイクロフォン１２ｂにより発話者より取得する音声の強さ（音圧）の目標値としての目標音圧と、口唇とマイクロフォンまでの基本距離とが記憶されており、所定の数式に基づいて、測定した音圧を目標音圧とするための、口唇とマイクロフォンとの実際の距離を算出する。詳細には、以下の数式１によって関連づけられた測定された音圧と口唇−マイクロフォン間の距離との関係に基づいて、取得する音声の強さを目標音圧とするための口唇―マイクロフォン間の距離を計算する。
【数１】
2008126329.tif 000003
【００３９】
このように構成された音声認識ロボット１は、測定した音圧と、目標音圧との差をパラメータとして、音声を発生する発話者２００の口唇２０１の中心点２０１ａとマイクロフォン１２ｂとの距離が所定の適切な値とするマイクロフォン１２ｂの位置を特定する。さらに、口唇２０１の中心点２０１ａとマイクロフォン１２ｂと距離を定める条件とともに、口唇２０１に対するマイクロフォン１２ｂの指向性の向きを考慮して、マイクロフォン１２ｂを保持する右腕１２を含む自己の姿勢を変更する。姿勢の変更は、主としてマイクロフォン１２ｂを把持した右腕１２の関節を、制御部１００の図示しない演算処理部により駆動することで行われる。その手順について図６に示す概略図および図７に示すフローチャートを用いつつ説明する。なお、図６は音声認識ロボット１の周囲に位置する発話者２００が音声を発した様子を示す概略図であり、図６に示すように、音声認識ロボット１は、マイクロフォン１２ｂを把持した右腕１２の上腕および下腕のなす角度θ１と、下腕とマイクロフォン１２ｂを把持するハンド部１２ａのなす角度θ２を変化させることで、マイクロフォン１２ｂの先端の位置およびマイクロフォン１２ｂの傾斜度合いを調整する。また、図７は音声認識ロボット１が発話者の顔を検出した後にその姿勢を変更するまでの手順を示すフローチャートである。以下、詳細に説明する。
【００４０】
まず、音声認識ロボット１に電力が供給され、周囲からの音声を取得するための準備をした状態で、音声認識ロボット１の周囲に存在する発話者２００が音声認識ロボット１に話し掛けると、音声認識ロボット１は、この人物の発声した音声を音声取得部としてのマイクロフォン１２ｂで取得するとともに、音源特定部１１３、１１４によって音声の発声した方向（ロボットからみた相対的な方向）を特定する（ステップ１０１）。そして、マイクロフォン１２ｂで取得された音声は、音声認識部１０１において音声データに変換され、測定部１０２は、音声認識部１０１で作成された音声データから、取得した音声の音圧の測定を開始する（ステップ１０２）。このとき、音源特定部１１３、１１４で特定した方向に頭部１１の前面が位置するように頭部１１を回動し、撮像を開始する。
【００４１】
撮像部１１１、１１２で撮像したことで得られた画像データは、制御部１００に入力され、この画像データの中において顔検出部１０３が人物の顔を検出できるか否かを判断する（ステップ１０３）。ここで、画像データ中に人物の顔が１つでも検出できれば、検出した顔の向きを判別部１０４によって判別し、音声認識ロボット１の方を向いている顔が存在するか否かを判断する（ステップ１０４）。音声認識ロボット１の方を向いている顔が存在すれば、それらの顔の、音声認識ロボット１からの各距離を求めて、最も近い位置に存在する顔を選択する（ステップ１０５）。逆に、音声認識ロボット１の方を向いている顔が存在しなければ、音声認識ロボット１に対して話し掛けられた状態ではないと判断し、再度音声を取得する準備する状態に戻る。
【００４２】
次に、最も近い位置に存在する、音声認識ロボット１の方を向いている顔を判別すると、画像データ内における、判別した顔が占める領域から、口唇に相当する部分を抽出する（ステップ１０６）。そして、抽出した口唇の中心点２０１ａを特定し、その中心点２０１ａの位置座標（ｘｔ，ｙｔ，ｚｔ）を算出した後、音声認識ロボット１から、中心点の位置座標に相当する口唇内の点までの距離を、撮像部１１１、１１２で撮像する三角測量の原理で求める（ステップ１０７）。これによって、音声認識ロボット１の位置に対する、発話者の口唇中心点２０１ａの相対的な位置が特定される。
【００４３】
また、このように発話者の顔を撮像し続け、発話者の口唇中心点の位置を特定する動作と平行して、音源特定部１１３、１１４により特定された方向、すなわち発話者の存在する位置からの音声を常に取得し続け、音声認識部１０１により取得した音声から音声データを作成する（ステップ２０１）。そして、作成した音声データから取得した音声の音圧を測定部１０２で測定し、時系列的に測定した音圧を記憶する（ステップ２０２）。
【００４４】
このようにして、時系列的に求められる発話者からの音声の音圧と、音声認識ロボット１から発話者の口唇中心点までの相対的な距離とから、前述の数式１に基づいて、目標音圧を得るためのマイクロフォン先端−口唇中心点間の目標距離を算出する（ステップ１０８）。そして、マイクロフォン先端−口唇中心点間を前記目標距離とし、マイクロフォン１２ｂにより取得される音声の音圧が目標音圧となるマイクロフォン１２ｂの先端部分の目標位置（Ｘｔ，Ｙｔ，Ｚｔ）を定め、定められた先端位置にマイクロフォン１２ｂの先端が到達するための、右腕１２の関節角θ１，θ２の関係を算出する（ステップ１０９）。
【００４５】
さらに、このような関係を満たすθ１およびθ２のうち、マイクロフォン１２ｂの先端から、マイクロフォン１２ｂの有する指向性を示す方向に発話者の口唇の中心点が位置するように、θ１およびθ２の値を特定する（ステップ１１０）。なお、マイクロフォン１２ｂの先端を口唇の中心点に向ける手法としては、どのような手法が用いられてもよいが、例えばマイクロフォン１２ｂの先端部分の座標と、後端部分の座標とを求め、これらの座標を結ぶベクトルが、マイクロフォン１２ｂの先端部分を始点として口唇の中心点を示す座標に向かうようにマイクロフォン１２ｂの先端部分の位置を定めるようにしてもよい。
【００４６】
そして、このように定められた右腕１２の関節角θ１およびθ２を実現するために、右腕の関節部材を駆動し、マイクロフォン１２ｂの先端部分を発話者の口唇付近にマイクロフォン１２ｂの先端部分を目標位置（Ｘｔ，Ｙｔ，Ｚｔ）に到達させる（ステップ１１１）。このマイクロフォン１２ｂの先端部分の目標位置は、発話者からの音声の強弱の変化や発話者の位置などに応じて変化するため、マイクロフォン１２ｂによって取得される音声が一定時間途切れるまで（ステップ１１２）、ステップ１０１からステップ１１１までのフローを繰り返す。すなわち、選択した顔として抽出した領域を、画像データの略中心に位置するように頭部１１を回動させ、常に音声認識ロボット１に話し掛ける人物の顔の方向に、音声認識ロボット１の頭部１１の前面（音声認識ロボット１の顔前面）が向いているように動作する。これによって、前述のような状況の変化に対応して発話者の口唇とマイクロフォン先端部分との相対的な位置関係を一定に保たれ、発話者から発せられる音声の音圧が一定となるため、音声認識部１０１における音声認識の精度が向上する。
【００４７】
そして、音声認識部１０１によって取得される音声が一定時間途切れると、さらに音声認識を継続するか否かを判断し（ステップ１１３）、継続する場合は再度ステップ１０１からの手順を繰り返し、音声認識を終了する場合は所定の手順で終了処理を行う。
【００４８】
以上、説明したような音声認識ロボットおよび音声認識ロボットの制御方法においては、音声を発生した発話者の口唇と、音声を取得するマイクロフォンとの距離を、当該マイクロフォンで取得する音声の音圧が所定の適切な値となるように、マイクロフォンと口唇との距離が定められる。さらに、マイクロフォンの先端から、マイクロフォンの指向性と同方向を向いた位置の延長線上に、前記口唇の中心点が位置する関係を満たすように、マイクロフォンを保持する保持部としての右腕の関節を駆動することで、マイクロフォンの指向性を考慮したマイクロフォンの位置決めを行うことができる。
【００４９】
なお、本実施形態においては、右腕に保持されたマイクロフォンの指向性を考慮してマイクロフォンの位置が定められているが、本発明はこれに限られるものではない。例えば、指向性を考慮せずに、マイクロフォンと口唇との距離だけに基づいて、右腕の関節部材の駆動量（関節角）を定めてもよい。その場合、右腕の関節部材の関節許容範囲や、発話者と音声認識ロボットとの距離等に応じて、マイクロフォンの位置を特定するとよい。
【００５０】
また、マイクロフォンの指向性に基づいて右腕の駆動量（関節角）を定める場合において、マイクロフォン１２ｂの先端から、マイクロフォンの指向性の方向について正確に口唇の中心点が位置するような角度θ１およびθ２が特定できない場合がある。その場合は、マイクロフォン１２ｂの指向性を示す方向から所定の角度の範囲内（例えば指向性を示す軸線方向を中心として傾斜する所定角度の範囲内）に口唇の中心点が位置するようにしてもよい。このようにすると、角度θ１およびθ２が厳密には特定できない場合であっても、マイクロフォン１２ｂの指向性をある程度考慮した位置に、マイクロフォン１２ｂを移動させることができる。これによって、常に音声認識ロボット１に話し掛ける人物の顔の方向に、音声認識ロボット１の頭部１１の前面（音声認識ロボット１の顔前面）が向いているように動作させる。
【００５１】
また、音声認識ロボット１に話し掛ける人物の顔の方向に、音声認識ロボット１の頭部１１の前面（音声認識ロボット１の顔前面）を向かせる動作は、発話者が音声認識ロボット１から所定距離以上離れた位置に移動するまで続けられる。すなわち、選択した発話者の口唇の中心位置と、音声認識ロボット１との相対距離が所定距離以上であるか否かを判断し、所定距離以内に存在する限りは音声を取得しつづけ、音声認識を継続するようにするものであってもよい。このようにすると、発話者が音声認識ロボットから所定距離以上離れたと判断した場合は、音声取得および音声認識動作を終了し、次の音声取得に備えた準備状態となるようにしてもよい。
【００５２】
発明の実施の形態２．
次に、図８及び図９を参照しつつ、本発明の第２の実施形態にかかる音声認識ロボットについて説明する。なお、本実施の形態においては、前述した実施の形態１において説明した構成と同一の構成は同一の符号を付して、その説明を省略するものとする。
【００５３】
図８に示す音声認識ロボット１'は、前述の実施形態において説明した音声認識ロボットと同様に、胴体１０と、この胴体１０に接続された頭部１１、右腕１２、左腕１３を備える他、胴体１０に対して接続された腰部２０と、腰部２０に対して接続された右脚２１および左脚２２を備えるヒューマノイド型のロボットである。このように構成された音声認識ロボット１'は右脚２１および左脚２２とを交互に移動させることで２足歩行動作を行うものであり、右脚２１および左脚２２とは、本発明でいう移動手段に相当する。
【００５４】
２足歩行を行うための右脚２１および左脚２２は、各々股関節、上腿、膝関節、下腿、足首関節、足先といった各部材を備えている。これらの各部材は、図示しない関節部を介して接続されており、同じく図示しない複数のモータによって駆動自在に構成されている。そして、関節部を駆動するためのモータは制御部１００に含まれる演算処理部（図示せず）によって、所定の制御プログラムに従って駆動され、各関節の関節駆動角度が決定されることで、所望の姿勢をとり、また、２足歩行同さにより所定の位置に移動可能となる。
【００５５】
このように構成された音声認識ロボット１'は、音声を発生する発話者２００の口唇２０１に対して、マイクロフォン１２ｂの指向性を向けるとともに、口唇２０１とマイクロフォン１２ｂとの距離が所定の適切な値となるように自らの姿勢を変更するが、その姿勢変更だけで口唇２０１とマイクロフォン１２ｂとの距離が適切な値とならない場合には、自身の位置を移動することで、口唇２０１とマイクロフォン１２ｂとの相対的な位置関係を満たす。姿勢の変更は、主としてマイクロフォン１２ｂを把持した右腕１２の関節を、制御部１００の図示しない演算処理部により駆動することで行われ、自身の移動は右脚２１と左脚２２とを駆動することで行われる。その手順について図８に示すフローチャートを用いつつ説明する。なお、本実施形態における音声認識ロボット１'は、前述の実施形態と同様に、マイクロフォン１２ｂを把持した右腕１２の上腕および下腕のなす角度θ１と、下腕とマイクロフォン１２ｂを把持するハンド部１２ａのなす角度θ２を変化させることで、マイクロフォン１２ｂの先端の位置およびマイクロフォン１２ｂの傾斜度合いを調整する。以下、図９に示すフローチャートを用いて詳細に説明する。
【００５６】
まず、音声認識ロボット１'に電力が供給されると、周囲からの音声を取得する準備をした状態で停止（倒立）し、この状態で音声認識ロボット１'の周囲に存在する発話者２００が音声認識ロボット１'に話し掛けると、音声認識ロボット１'は、この人物の発声した音声を音声取得部としてのマイクロフォン１２ｂで取得するとともに、音源特定部１１３、１１４によって音声の発声した方向（ロボットからみた相対的な方向）を特定する（ステップ３０１）。そして、マイクロフォン１２ｂで取得された音声は、音声認識部１０１において音声データに変換され、測定部１０２は、音声認識部１０１で作成された音声データから、取得した音声の音圧の測定を開始する（ステップ３０２）。このとき、音源特定部１１３、１１４で特定した方向に頭部１１の前面が位置するように頭部１１を回動し、撮像を開始するとともに、頭部１１の正面が音声認識ロボット１'の身体正面となるように、脚部を駆動して移動し、自己の位置を修正する（ステップ３０３）。
【００５７】
撮像部１１１、１１２で撮像したことで得られた画像データは、制御部１００に入力され、この画像データの中において顔検出部１０３が人物の顔を検出できるか否かを判断する（ステップ３０４）。ここで、画像データ中に人物の顔が１つでも検出できれば、検出した顔の向きを判別部１０４によって判別し、音声認識ロボット１'の方を向いている顔が存在するか否かを判断する（ステップ３０５）。音声認識ロボット１'の方を向いている顔が存在すれば、それらの顔の、音声認識ロボット１'からの各距離を求めて、最も近い位置に存在する顔を選択する（ステップ３０６）。逆に、音声認識ロボット１'の方を向いている顔が存在しなければ、音声認識ロボット１'に対して話し掛けられた状態ではないと判断し、脚部による移動を停止し、再度音声を取得可能な停止状態に戻る。
【００５８】
次に、最も近い位置に存在する、音声認識ロボット１'の方を向いている顔を判別すると、画像データ内における、判別した顔が占める領域から、口唇に相当する部分を抽出する（ステップ３０７）。そして、抽出した口唇の中心点２０１ａを特定し、その中心点２０１ａの位置座標（ｘｔ，ｙｔ，ｚｔ）を算出した後、音声認識ロボット１'から、中心点の位置座標に相当する口唇内の点までの距離を、撮像部１１１、１１２で撮像する三角測量の原理で求める（ステップ３０８）。これによって、音声認識ロボット１'の位置に対する、発話者の口唇中心点の相対的な位置が特定される。
【００５９】
そして、音声認識ロボット１'の位置と、発話者の口唇中心点との相対的な位置から、音声認識ロボット１'の右腕に保持されたマイク１２の先端が、発話者の口唇中心点に対して十分近づける位置に到達可能か否かを判断する（ステップ３０９）。このような判断を行うための手順の一例としては、音声認識ロボットの特定位置（例えば立脚位置）から右腕１２の関節駆動による動きを考慮したマイク１２ｂの到達する領域を算出し、その領域の中で最大限発話者の口唇中心点に近づく点を求め、その点と口唇中心点との距離が所定の距離以内に収まらない場合に、音声認識ロボット１'が発話者に対して十分近づいていないと判断するようにする。
【００６０】
このような手順により、音声認識ロボット１'が発話者に対して十分近づいていないと判断すると、音声認識ロボット１'は脚部を駆動して移動することで立脚位置を変更する（ステップ４０１）。この際、音声認識ロボット１'の移動する位置としては、音声認識ロボット１'の特定部位（例えば立脚位置）を発話者の口唇中心点に向かう方向に所定距離だけ近づくような位置を選択する。そして、再度ステップ３０８に戻って音声認識ロボット１'の位置に対する、発話者の口唇中心点の相対的な位置を特定する。このようにし、音声認識ロボット１'の位置が発話者の口唇中心点に対して十分近づける位置に到達可能となると判断されるまで、これらのステップを繰り返す。
【００６１】
一方、発話者の顔を撮像し続け、発話者の口唇中心点の位置を特定する動作と平行して、音源特定部１１３、１１４により特定された方向、すなわち発話者の存在する位置からの音声を常に取得し続け、音声認識部１０１により取得した音声から音声データを作成する（ステップ４０２）。そして、作成した音声データから取得した音声の音圧を測定部１０２で測定し、時系列的に測定した音圧を記憶する（ステップ４０３）。
【００６２】
このように、音声認識ロボット１'の右腕に保持されたマイク１２の先端が、発話者の口唇中心点に対して十分近づける位置に到達可能と判断されると、時系列的に求められる発話者からの音声の音圧と、音声認識ロボット１から発話者の口唇中心点までの相対的な距離とから、前述の数式１に基づいて、目標音圧を得るためのマイクロフォン先端−口唇中心点間の目標距離を算出する（ステップ３１０）。そして、マイクロフォン先端−口唇中心点間を前記目標距離とし、マイクロフォン１２ｂにより取得される音声の音圧が目標音圧となるマイクロフォン１２ｂの先端部分の目標位置（Ｘｔ，Ｙｔ，Ｚｔ）を定め、定められた先端位置にマイクロフォン１２ｂの先端が到達するための、右腕１２の関節角θ１，θ２の関係を算出する（ステップ３１１）。
【００６３】
さらに、このような関係を満たすθ１およびθ２のうち、マイクロフォン１２ｂの先端から、マイクロフォン１２ｂの有する指向性を示す方向に発話者の口唇の中心点が位置するように、θ１およびθ２の値を特定可能か否かを判定する（ステップ３１２）。
【００６４】
θ１およびθ２の値を特定可能である場合は、定められた右腕１２の関節角θ１およびθ２を実現するために、右腕の関節部材を駆動し、マイクロフォン１２ｂの先端部分を発話者の口唇付近にマイクロフォン１２ｂの先端部分を目標位置（Ｘｔ，Ｙｔ，Ｚｔ）に到達させる（ステップ３１３）。
【００６５】
一方、θ１およびθ２の値を特定できない場合は、音声認識ロボット１'の位置が発話者に対して遠すぎると判断し、音声認識ロボット１'の立脚位置を修正し（ステップ４０４）、再度θ１およびθ２の値を特定可能か否かを判定するステップ（ステップ３１２）に戻る。
【００６６】
なお、このマイクロフォン１２ｂの先端部分の目標位置は、発話者からの音声の強弱の変化や発話者の位置などに応じて変化するため、マイクロフォン１２ｂによって取得される音声が一定時間途切れるまで（ステップ３１４）、ステップ１０１からステップ１１１までのフローを繰り返す。すなわち、選択した顔として抽出した領域を、画像データの略中心に位置するように頭部１１を回動させた後、頭部１１の前面が身体の正面となるように脚部を駆動して自己位置を修正する。これによって、前述のような状況の変化に対応して発話者の口唇とマイクロフォン先端部分との相対的な位置関係を一定に保たれ、発話者から発せられる音声の音圧が一定となるため、音声認識部１０１における音声認識の精度が向上する。
【００６７】
そして、音声認識部１０１によって取得される音声が一定時間途切れると、さらに音声認識を継続するか否かを判断し（ステップ３１５）、継続する場合は再度ステップ１０１からの手順を繰り返し、音声認識を終了する場合は所定の手順で終了処理を行う。
【００６８】
以上、本実施形態における音声認識ロボットおよび音声認識ロボットの制御方法では、音声を発生した発話者の口唇と、音声を取得するマイクロフォンとの距離を、当該マイクロフォンで取得する音声の音圧が所定の適切な値となるように、マイクロフォンと口唇との距離が定められる。さらに、マイクロフォンの先端から、マイクロフォンの指向性と同方向を向いた位置の延長線上に、前記口唇の中心点が位置する関係を満たすように、マイクロフォンを保持する保持部としての右腕の関節を駆動するとともに、ロボットの立脚位置を自律的に修正する。これによって、発話者に対して音声認識を行う上で適切な距離となるようにマイクロフォンの指向性を考慮したマイクロフォンの位置決めを行うことが可能となる。
【００６９】
なお、前述の実施形態においては、音声認識ロボットに備えられる移動手段として、歩行動作を行うための脚部（右脚および左脚）を備える例が記載されているが、本発明はこれに限られるものではない。すなわち、回転駆動される車輪等のような、一般的な移動手段を音声認識ロボットに組み込むものであってもよい。また、移動手段によりロボットの位置を変更する場合に、ロボット本体により自己位置を認識する機能を備えているものに限らず、ロボット外部に設けられた位置認識ステーションによりロボットの位置を認識し、ロボットの位置制御を行うようにしてもよい。
【００７０】
また、本発明に係る音声認識ロボットとしては、前述のようなヒューマノイドロボットに限られるものではなく、また、関節駆動による移動や姿勢変更を行うものに限られるものでもない。例えば、音声取得部としてのマイクロフォンを保持する保持部としては、前述のような関節駆動する腕部に限られるものではなく、単なる回動部材や伸縮部材に置き換えることも可能である。
【００７１】
以上、説明したように、本発明に係る音声認識ロボットおよび音声認識ロボットの制御方法によると、音声取得部としてのマイクロフォンを、発話者の口唇に対して目標音圧となり得るに適切な相対距離に位置させることができるため、より正確な音声認識を行うことができる。
【図面の簡単な説明】
【００７２】
【図１】本発明に係る第１の実施の形態である音声認識ロボットが室内に設けられている様子を示す全体外略図である。
【図２】図１、２に示す音声認識ロボットを概略的に示す概略図である。
【図３】図１、２に示す音声認識ロボットに備えられた制御部の内部を概念的に表したブロック図である。
【図４】図１、２に示す音声認識ロボットに備えられた顔検出部によって、各人物の顔の向きを求める様子を示す図である
【図５】図１、２に示す音声認識ロボットに備えられた判別部が、ロボットの方向を向いている顔を判別する様子を示す図である。
【図６】図１、２に示す音声認識ロボットが、発話者に対してマイクロフォンを向けた様子を概略的に示す概略図である。
【図７】図１に示す音声認識ロボットが、取得した音声に基づいて、自分が応答すべき発話者を特定し、音声取得部を発話者に対して近づける手順を示すフローチャートである。
【図８】本発明に係る第２の実施の形態である音声認識ロボットを概略的に示す概略図である。
【図９】図８に示す音声認識ロボットが、取得した音声に基づいて、自分が応答すべき発話者を特定し、音声取得部を発話者に対して近づける手順を示すフローチャートである。
【符号の説明】
【００７３】
１、 １'・・・音声認識ロボット
１０・・・胴体
１１・・・頭部
１２・・・右腕（保持部）
１２ｂ・・・マイクロフォン（音声取得部）
１３・・・左腕
２１・・・右脚（移動手段）
２２・・・左脚（移動手段）
１００・・・制御部
１０１・・・音声認識部
１０２・・・測定部
１０３・・・顔検出部
１０４・・・判別部
１０５・・・抽出部
１０６・・・特定部
１０７・・・音声合成部
１０８・・・記憶領域
１１１、１１２・・・撮像部
１１３、１１４・・・音源特定部
１１５・・・スピーカ
２００・・・発話者
２０１・・・発話者の唇
２０１ａ・・唇の中心点
【図１】
2008126329.tif 000004
【図２】
2008126329.tif 000005
【図３】
2008126329.tif 000006
【図４】
2008126329.tif 000007
【図５】
2008126329.tif 000008
【図６】
2008126329.tif 000009
【図７】
2008126329.tif 000010
【図８】
2008126329.tif 000011
【図９】
2008126329.tif 000012