(57)【要約】【課題】常に発話した発話者の方向を向いた状態で発話者に応答することができる音声認識ロボット、その制御方法を提供すること。【解決手段】音声の発生方向を特定する音源特定部と、音声を受信し、内容を認識する音声認識部と、２つ以上の方向につき撮像した画像を画像データとして取得する撮像部と、撮像画像内の人物の顔を検出する顔検出部と、検出した顔の位置・向きを判別する判別部と、検出した顔を抽出する抽出部を備えた音声認識ロボットにおいて、音源特定部で特定した音声の発生方向を撮像部で撮像し、撮像部で撮像した画像内に存在する人物の顔を顔検出部で検出し、検出した顔のうち判別部によりロボットの方向を向いている人物の顔を判別し、ロボットから最も近い位置の顔を抽出部で抽出し、撮像部の撮像する方向を抽出した顔の位置に併せて変更し、抽出した顔を撮像し続ける。【選択図】図５
2008087140.tif 000002
【特許請求の範囲】
【請求項１】
音声の発生した方向を特定する音源特定部と、
発生した音声を受信し、その内容を認識する音声認識部と、
少なくとも２つ以上の方向について撮像し、その撮像した画像を画像データとして取得する撮像部と、
撮像した画像内に存在する人物の顔を検出する顔検出部と、
検出した顔の位置および向きを判別する判別部と、
検出した顔を抽出する抽出部と、
を備える音声認識ロボットであって、
前記音源特定部で特定した音声の発生した方向を撮像部で撮像するとともに、
前記撮像部で撮像した画像内に存在する人物の顔を、前記顔検出部で検出し、
前記検出した人物の顔のうち、判別部によりロボットの方向を向いている人物の顔を判別し、
判別された顔のうち、ロボットから最も近い位置に存在する顔を抽出部で抽出し、
撮像部の撮像する方向を、抽出した顔の位置に併せて変更し、抽出した顔を撮像し続けるようにトラッキングすることを特徴とする音声認識ロボット。
【請求項２】
前記抽出した顔が、ロボットを中心に規定される領域の外に出ると、トラッキングを中止することを特徴とする請求項１に記載の音声認識ロボット。
【請求項３】
前記音源特定部が、指向性を有する１または複数のマイクロフォンから構成されることを特徴とする請求項１または２に記載の音声認識ロボット。
【請求項４】
前記顔検出部が、人物の顔に含まれる目と口の位置を特定し、これらの位置に基づいて顔の輪郭を推定することで、顔全体を検出することを特徴とする請求項１から３のいずれかに記載の音声認識ロボット。
【請求項５】
前記判別部が、検出した顔に含まれる両目の、ロボットからの位置に基づいて、検出した顔の方向を判別することを特徴とする請求項１から４のいずれかに記載の音声認識ロボット。
【請求項６】
前記検出した顔が、撮像した画像内の略中央に位置し続けるように撮像する方向を変更することを特徴とする請求項１から５のいずれかに記載の音声認識ロボット。
【請求項７】
前記音声認識ロボットがさらに移動手段を備え、所定の領域内を移動可能に構成されていることを特徴とする請求項１から６のいずれかに記載の音声認識ロボット。
【請求項８】
音声の発生した方向を特定するステップと、
発声した音声を受信し、その内容を認識するステップと、
音声の発生した方向について撮像し、その撮像した画像を画像データとして取得するステップと、
撮像した画像内に存在する人物の顔を検出するステップと、
検出した顔の向きを判別し、ロボットの方向を向いている顔を判別するステップと、
判別した顔のうち、ロボットから最も近い距離に位置する顔を抽出するステップと、
前記抽出した顔をトラッキングするように、撮像する方向を制御するステップと、
前記抽出した顔を撮像し続けるようにトラッキングするステップと、
を備えることを特徴とする音声認識ロボットの制御方法。
【請求項９】
前記抽出した顔が、ロボットから所定距離の範囲内から外れると、トラッキングを中止するステップをさらに備えることを特徴とする請求項８に記載の音声認識ロボットの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間に話し掛けられたことで得られる音声の内容を認識し、話し掛けた人間に応対する会話応対型の音声認識ロボットおよびこのような音声認識ロボットの制御方法に関する。
【背景技術】
【０００２】
近年、人間（発話者）が話し掛けた内容を音声データとして取得し、その内容を認識してその内容に対応した応答文を音声として発話することで、人間との会話を行うための会話型の音声認識システムが、開発されつつある。このような音声認識システムは、システム内部の記憶領域に応答文として発話する音声データを多数記憶しておき、認識した音声の内容に最も関連付けられる音声データを選択し、選択した音声データを音声として発話するものである。このような音声認識システムは、話し掛けられた内容を音声データとして取得し、この音声データを所定の言語の文節に区切ることで、各文節の順序や近接度合いに基づいてその内容に最も適した応答文を選択する。（例えば特許文献１）
【０００３】
【特許文献１】特開２００４−１０９３２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、前述のような音声認識システムは、取得した発話者からの音声を聞き分ける際に、指向性のあるマイク等を用いて音声を受け、音声の発声された方向を特定することができる。そこで、このような音声認識システムを人間対話型のロボットに組み込んだ場合（以下、このようなロボットを音声認識ロボットという）、特定された方向を向くように音声認識ロボットを動かすことで、発話者に対して応答し、また、発話者からの音声を受ける際に、ロボットがあたかも発話者を対話対象と認識して会話をしているように見せることができる。
【０００５】
しかしながら、発話者が複数おり、かつ、これらの発話者がロボットに対して相対的に移動している場合に、ロボットから見た発話者の方向が特定できず、ロボットが発話者を見るように方向を定めることができない場合がある。
【０００６】
本発明は、このような問題を解決するためになされたものであり、常に発話した発話者の方向を向いた状態で、発話者に応答することができる音声認識ロボットおよび音声認識ロボットの制御方法を提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明にかかる音声認識ロボットは、音声の発生した方向を特定する音源特定部と、発生した音声を受信し、その内容を認識する音声認識部と、少なくとも２つ以上の方向について撮像し、その撮像した画像を画像データとして取得する撮像部と、撮像した画像内に存在する人物の顔を検出する顔検出部と、検出した顔の位置および向きを判別する判別部と、検出した顔を抽出する抽出部と、を備えており、前記音源特定部で特定した音声の発生した方向を撮像部で撮像するとともに、前記撮像部で撮像した画像内に存在する人物の顔を、前記顔検出部で検出し、前記検出した人物の顔のうち、判別部によりロボットの方向を向いている人物の顔を判別し、判別された顔のうち、ロボットから最も近い位置に存在する顔を抽出部で抽出した後に、撮像部の撮像する方向を、抽出した顔の位置に併せて変更することで、抽出した顔を撮像し続けるようにトラッキングすることを特徴としている。
【０００８】
このような音声認識ロボットは、音声が発生した方向を向いた撮像部内に、複数の人物が存在していたときに、ロボットの方向を向いて、かつ、ロボットに最も近い位置に位置する人物を会話対象である発話者とみなして、その発話者の方を向き続けるように制御される。そのため、発話者との応答を行う際に、連続的に発話者を向いた状態を取りつづけることが可能となる。
【０００９】
また、このような音声認識ロボットとして、抽出した顔が、ロボットを中心に規定される領域の外に出ると、トラッキングを中止するように構成されていてもよい。すなわち、人物がロボットから所定距離以上離れると、会話対象である相手ではなくなったと判断し、トラッキングを中止する。このようにトラッキングが中止された際に、他の発話者からの音声を受信している場合は、発話している人を次の会話対象者として検出するように、再度トラッキング対象を抽出するように制御されていてもよい。
【００１０】
また、発話者から発声された方向を特定する音源特定部を、指向性を有する１または複数のマイクロフォンから構成するようにしてもよい。このように構成された音声認識ロボットは、音声の発声された方向を簡単にかつ精度よく検出することができる。
【００１１】
さらに、前記顔検出部は、撮像部により撮像された画像内に存在する人物の顔について、該顔に含まれる目と口の位置を特定し、これらの位置に基づいて顔の輪郭を推定することで、顔全体を検出するようにしてもよい。このようにすると、人物（発話者）の顔近辺に別の人物や物体等が存在し、ロボットからの距離を測定するだけでは人物の顔の輪郭が特定できない場合であっても、人物の顔内の目と口の位置を検出するだけで、顔の輪郭を特定することが可能になる。
【００１２】
また、撮像部で撮像された画像内に含まれる顔に含まれる、両目の位置をロボットからみて相対的に求め、これらの位置関係から、この顔の向いている方向を判別するようにしてもよい。このようにすると、顔全体の位置や、発話者の身体全体を考慮することなく、簡単に発話者の顔の向きを判別することができる。
【００１３】
さらに、検出した顔が、撮像した画像内の略中央に位置し続けるように、撮像する撮像部の方向を変更するように構成すると、撮像部がロボットの顔に相当する位置に設けられている場合、常に会話対象の人物（発話者）の方を向いて発話することができる。したがって、あたかも会話対象の人物の顔を見続けて会話を行っているように見せることができる。
【００１４】
なお、このような音声認識ロボットにおいて、移動手段を備えさせることで、所定の領域内を移動可能に構成してもよい。このような音声認識ロボットは、発話者を特定した状態で自己位置を変更して移動することができるため、例えば案内動作を行うようなロボットに用いることが可能になる。
【００１５】
また、本発明は、音声認識ロボットを制御するロボット制御方法をも提供するものであって、詳細には、音声の発生した方向を特定するステップと、発声した音声を受信し、その内容を認識するステップと、音声の発生した方向について撮像し、その撮像した画像を画像データとして取得するステップと、撮像した画像内に存在する人物の顔を検出するステップと、検出した顔の向きを判別し、ロボットの方向を向いている顔を判別するステップと、判別した顔のうち、ロボットから最も近い距離に位置する顔を抽出するステップと、前記抽出した顔をトラッキングするように、撮像する方向を制御するステップと、前記抽出した顔を撮像し続けるようにトラッキングするステップと、を備えることを特徴とする音声認識ロボットの制御方法を提供するものである。
【００１６】
このような音声認識ロボットの制御方法を用いると、音声が発生した方向を向いた撮像部内に、複数の人物が存在していた場合であっても、ロボットの方向を向いて、かつ、ロボットに最も近い位置に位置する人物を会話対象である発話者とみなして、その発話者の方を向き続けるようにロボットを制御することができる。そのため、発話者との応答を行う際に、連続的に発話者を向いた状態を取りつづけることが可能となる。
【００１７】
なお、このようなロボット制御方法においても、抽出した顔が、ロボットから所定距離の範囲内から外れると、トラッキングを中止するようにしてもよい。このように制御することで、当初ロボットに話し掛けていた人物が会話を中止したことを検知し、次の会話対象である人物を探して会話を続けることができる。
【発明の効果】
【００１８】
以上、説明したように、本発明によると、音声認識ロボットを、常に発話した発話者の方向を向いた状態で、発話者に応答するように制御することが可能となる。
【発明を実施するための最良の形態】
【００１９】
発明の実施の形態１．
以下に、図１から図６を参照しつつ、本発明の第１の実施形態にかかる音声認識ロボットについて説明する。
【００２０】
図１は、室内Ｒの中に人が複数移動しており、その室内Ｒ内に音声認識ロボット１が載置されている様子を示している。図１に示される音声認識ロボット１は、図２に示すように、地面に固定された胴体１０と、この胴体１０に接続された頭部１１、右腕１２、左腕１３を備えるような、人間の上半身と同様に構成されたヒューマノイド型のロボットである。以下、各構成要素について詳細に説明する。
【００２１】
胴体１０は、室内Ｒの床面に設置され、その内部に音声認識ロボット１の動作およびその他の機能を制御する制御部１００を備えている。制御部１００は、後述するマイクから入力された入力信号の内容を認識し、適切な応答データを選択した後に該応答データを音声で出力する、演算処理部やメモリ等を備えた制御コンピュータである。この制御部１００の詳細な構成については後述する。
【００２２】
頭部１１は、音声認識ロボット１の前方の所定範囲を撮像するための撮像部１１１、１１２と、周囲で生じた音声を聞き取るための音源特定部１１３、１１４と、外部に対して言葉を発声するためのスピーカ１１５と、を備えている。撮像部１１１、１１２は、各々所定範囲の光学的な情報を取得して撮像データとして取り込み、演算部１０１へ出力する光学カメラであり、頭部１１の前面左右に設けられている。
【００２３】
音源特定部１１３、１１４は、各々一定の方向からの音声を取得可能な、いわゆる指向性を有するマイクを水平方向に複数配置したものであり、周囲で発声した音声が、音声認識ロボット１からみて相対的にどの方向から伝達されたものかを大まかに特定することができる。なお、音源特定部１１３、１１４は、頭部１１の左右の側面に設けられており、音声認識ロボット１の周囲で発せられた音声を取得し、音声データとして取り込み、演算処理部１０１へ出力する。
【００２４】
そして、スピーカ１１５は、制御部１００で作成された応答データを外部へ所定の方向および大きさで出力するものであり、頭部１１の前面下方に設けられている。
【００２５】
また、頭部１１は、胴体１０に対して床面に対して水平な面内で左右方向に回動可能に接続されており、頭部１１を回動することで撮像する範囲を状況に応じて変更し、周囲の環境を撮像することができる。
【００２６】
右腕１２および左腕１３は、制御部１００に含まれる演算処理部１０１によって、駆動所定の制御プログラムに従って各腕部に含まれる関節部が駆動する量が制御され、各関節の関節駆動角度が決定されることで、所望の位置および姿勢をとるものである。
【００２７】
なお、制御部１００は、図３に示すように、入力される音声データからその内容を認識する音声認識部１０１、頭部１１に備えられた前記撮像部１１１，１１２により撮像した画像内に存在する人物の顔を検出する顔検出部１０２、顔検出部１０２により検出した顔の位置および向きを判別する判別部１０３、検出した顔を抽出する抽出部１０４、および音声出力する応答データを作成するための音声合成部１０５と、所定のプログラムやデータを記憶する図示しない記憶領域を備えている  
【００２８】
音声認識部１０１は、音源特定部１１３，１１４から取得した音声をＷＡＶＥファイルなどの音声データに変換するとともに、その音声データを音節毎に分割し、各音節を記憶領域に記憶された単語データベースを用いて単語に置き換える。そして、音声データに含まれる単語およびその語順を解析して、記憶領域に記憶された多数の文章のうち、この解析した音声データに最も近い文章を選び出す。選び出した文章と、音声データとの近似度合いが所定の値以上の場合は、解析した音声データが、選び出した文章と同一の内容として認識し、取得した音声を、選び出した文章と等しい旨を示す信号を出力する。また、最も近い文章が、所定の近似度合いに満たない場合は、該当する文章が記憶領域に記憶されていないとし、取得した音声の内容を認識できなかったことを表す信号を出力する。
【００２９】
顔検出部１０２は、撮像部１１１、１１２で撮像することにより得られた画像データから、人物の顔部分のみを検出する。この顔検出部１０２は、まず、人物の顔中に含まれる目および口（口唇）を抽出し、これらの位置に基づいて、顔の輪郭に相当する縁部を推定する。そして、このように推定された顔の輪郭によって囲まれる領域を人物の顔として検出する。
【００３０】
なお、顔検出部１０２によって、検出された各人物の顔に含まれる目の位置、すなわちロボットからの相対距離および相対的方向に基づいて、検出した顔が、ロボットから見てどの方向を向いているかどうかを推定することができる。詳細には、図４に示すように、人物の顔に含まれる目（右目Ｅ１および左目Ｅ２）の各中心位置Ｅ１０，Ｅ１１を特定するとともに、各中心位置を結ぶ線分上の中点Ｍを特定する。そして、この各中心位置を結ぶ線分を含み、床面に平行な平面内で、中点Ｍから各中心位置を結ぶ線分に垂直な方向Ｐを求め、この方向Ｐを目（右目Ｅ１、左目Ｅ２）の視線方向、すなわちこれらの目を含む顔が向いている方向とする。そして、検出した各顔の向いている方向を各々求め、それらの方向についての信号を、各顔の存在するロボットからの相対位置と併せて出力する。  
【００３１】
判別部１０３は、顔検出部１０２によって検出された、撮像された画像内に含まれる各顔の、ロボットからの相対位置および向いている方向から、どの顔がロボット自身に向けられているかを判別する。具体的には、図５に示すように、自身の位置R（例えば頭部１１の中心点）を基準として、目（右目および左目）の位置に基づいて判断した各顔の中心位置と、各顔の向いている方向とを組み合わせ、自身の位置を含むか否かを判断する。ここで、各顔の向いている方向には、所定の幅をもたせることとし、詳細には各方向を中心として床面に水平な方向に左右微小角度（例えば５度）ずつ幅を持たせるものとしている。このようにして、各顔がロボット自身の向きを向いているか否かを判断し、ロボット自身の向きを向いていないものは、後述する抽出対象から外すものとする。
【００３２】
抽出部１０４は、判別部１０３において、ロボットの方を向いていると判断された画像中の各顔のうち、ロボットからの距離が最も近いものを選び、その輪郭部分およびその内部を画像データ内において抽出する。具体的には、各顔の中心位置を特定し、各中心位置と、ロボットの頭部１１の前面における中心部分との距離を算出し、その算出した距離が最小である顔を選び、その顔の占める領域の画像データを抽出する。そして、頭部１１が回動することで撮像する場所が変化しても、抽出した画像データと近似する領域を常に特定し続ける。これによって、選択した顔が撮像部によって撮像される画像内に存在している限りは、トラッキングを行うことができる。なお、顔の中心位置とロボットとの距離については、例えば三角測量の手法により算出する。
【００３３】
音声合成部１０５は、音声認識部１０１によって認識された、取得した音声の内容に対応する、予め記憶領域内に多数記憶された応答文データ群の中から、最も適切な応答文データを読み出し、音声ファイルに変換してスピーカ１１５を介して外部に出力する。また、必要に応じて、腕部（右腕１２、左腕１３）を用いて身振りなどの動作を、音声出力に併せて行うようにしてもよい。
【００３４】
このように構成された音声認識ロボット１は、その前面近傍に位置する人物を撮像し、その撮像した画面内に含まれる複数の人物に対して、自分が応答すべき人物を特定して、その人物から発声された音声の内容を認識し、その内容に応じた内容の音声出力を行う。以下に、音声認識ロボット１が、取得した音声に基づいて、自分が応答すべき人物を特定する手順について、図６に示すフローチャートを用いて詳細に説明する。
【００３５】
まず、音声認識ロボット１は、電力が供給されると、周囲からの音声を取得するための状態を準備する（ステップ１０１）。この状態で、音声認識ロボット１の周囲に存在する人物が音声認識ロボット１に話し掛けると、音声認識ロボット１は、この人物の発声した音声を音源特定部１１３，１１４で取得する（ステップ１０２）。このとき、音源特定部１１３、１１４は、取得した音声の発声した方向（ロボットからみた相対的な方向）を特定する。そして、特定した方向に頭部１１の前面が位置するように頭部１１を回動し、撮像を開始する（ステップ１０３）。
【００３６】
撮像部１１１、１１２で撮像したことで得られた画像データは、制御部１００に入力され、この画像データの中において顔検出部１０２が人物の顔を検出できるか否かを判断する（ステップ１０４）。ここで、画像データ中に人物の顔が１つでも検出できれば、検出した顔の向きを、判別部１０３によって判別し、音声認識ロボット１の方を向いている顔が存在するか否かを判断する（ステップ１０５）。音声認識ロボット１の方を向いている顔が存在すれば、それらの顔の、音声認識ロボット１からの各距離を求めて、最も近い位置に存在する顔を選択する（ステップ１０６）。逆に、音声認識ロボット１の方を向いている顔が存在しなければ、音声認識ロボット１に対して話し掛けられた状態ではないと判断し、再度音声を取得する準備するために、ステップ１０１に戻る。
【００３７】
次に、最も近い位置に存在する、音声認識ロボット１の方を向いている顔を判別すると、画像データ内における、判別した顔が占める領域を抽出し、選択した顔をトラッキングする。（ステップ１０７）。このとき、選択した顔として抽出した領域を、画像データの略中心に位置するように頭部１１を回動させることで、常に音声認識ロボット１に話し掛ける人物の顔の方向に、音声認識ロボット１の頭部１１の前面（音声認識ロボット１の顔前面）が向いているように動作させる。さらに、音源特定部１１３，１１４も頭部１１と同時に回動するため、音源として特定された方向からの音声を常に取得し続ける。
【００３８】
また、音声認識ロボット１に話し掛ける人物の顔をトラッキングする動作は、この人物が音声認識ロボット１から所定距離以上離れた位置に移動するまで続けられる。すなわち、選択した顔の中心位置と、音声認識ロボット１との相対距離が所定距離以上であるか否かを判断し（ステップ１０８）、所定距離以内に存在する限りは会話を継続する。逆に、所定距離以上離れたと判断した場合は、トラッキングを解除するとともに（ステップ１０９）、次の音声を取得するか否かを判断する（ステップ１１０）。そして、継続して音声取得を行う場合は、ステップ１０１に戻って音声を取得するための準備状態に戻る。音声取得を継続しない場合は、電源供給等を停止し、動作を終了する。
【００３９】
このように、音声認識ロボット１に話し掛ける人物をトラッキングしている間、音声認識ロボット１は、この人物から発せられた言葉を音声認識し、その内容に応じた応答文を発話して会話を継続するとともに、トラッキングが解除されると会話を中止する。
【００４０】
なお、選択した顔が音声認識ロボット１の撮像部１１１，１１２により撮像されない場合、例えばロボットと人物との間に障害物が存在したり、音声認識ロボット１に話かけた人物が、ロボットの裏側など撮像部１１１，１１２で撮像できない位置に移動した場合も、音声認識ロボット１は、選択した顔との距離が所定距離以上であると判断して、トラッキングを中止する。すなわち、音声認識ロボット１が、トラッキングしている顔を判別できなくなった時点でトラッキングを中止する。このとき、トラッキングしている顔が判別できなくなったとする判断は、撮像部１１１，１１２により撮像された画像データ内に選択した顔を表す領域が微小時間（例えば数秒間）存在しないことが確認された場合に、行われることが好ましい。このようにすると、瞬間的に音声認識ロボット１と人物との間に障害物が通過した場合に、音声認識ロボット１と人物との会話が途切れることなく継続される。
【００４１】
また、本実施形態においては、選択した顔とロボットの間の、トラッキングを中止する距離については、撮像部により撮像された画像から、人物の顔を検出できる最長の距離に設定することが好ましい。このような、撮像部により人物の顔を検出できる距離は、撮像部の解像度や周囲の明るさなどに基づいて定めてもよい。
【００４２】
本実施形態においては、音声認識部は、取得した音声を音声データに変換するとともに、その音声データを音節毎に分割し、分割された音節を単語に置き換える手法が用いられているが、本発明はこれに限られるものではなく、現在用いられている多くの音声認識手法に置き換えて用いることが可能である。さらに、認識した音声の内容に対して応答する応答文を選択する手法等についても、前記実施形態に限られるものではなく、他の手法を適用することも可能である。
【００４３】
また、前述の実施形態においては、画像データから、人物の顔部分のみを検出する顔検出部は、人物の顔中に含まれる目および口（口唇）を抽出し、これらの位置に基づいて、顔の輪郭に相当する縁部を推定しているが、本発明はこれに限られるものではない。例えば、人物の顔の輪郭そのものや、顔内部の別の部分に基づいて、人物の顔を検出するようにしてもよい。
【００４４】
また、前述の実施形態における抽出部は、画像中に存在する顔の中心位置と、ロボットとの距離を算出し、その算出した距離が最小である顔を選ぶようにしているが、本発明はこれに限られるものではない。例えば、判別された人物の顔の向きが、各顔のロボットに対する方向に最も近い向きとなっている顔を抽出するようにしてもよい。この場合、画像中に存在する顔の中心と、ロボットとを結ぶ直線を各顔毎に仮想的に描写し、その各直線と、顔の向きとがなす傾斜角度をそれぞれ求め、その傾斜角度が最も小さい顔を抽出するようにするなどの手法が考えられる。
【００４５】
また、抽出部は、画像中に存在する顔部分のみを抽出し、トラッキングを行うのではなく、顔を含むその人物の身体全体をトラッキング対象としてもよい。このようにすると、顔部分の占める領域を特定する作業に失敗した場合であっても、その身体部分を抽出することで、顔部分の占める領域の場所を推定し、再度トラッキングした状態に復帰しやすくなる。
【００４６】
発明の実施の形態２．
次に、図７および８を用いて、本発明の第２の実施形態にかかる音声認識ロボットであって、室内Ｒ内を案内する案内ロボットとして適用された例について説明する。なお、本実施形態においては、前述の実施形態と同様または同一の構成については、同一の符号を付して、その説明を省略するものとする。
【００４７】
図７に示すように、本実施形態にかかる音声認識ロボット１'は、頭部１１や腕部を備えた胴体１０に、移動手段としての一対の車輪２１、２２およびキャスタ２３を備えており、外部からの指令に従って移動可能であるとともに、外部環境に基づいて自律的に移動するものである。なお、車輪２１，２２は各々独立して回動し、ロボット１'の左右方向への移動や旋回動作を可能にし、車輪２１，２２およびキャスタ２３とによって、ロボット１'はその構造全体を水平に支持した状態で室内Ｒ内を移動可能となる。
【００４８】
また、図示は省略するが、胴体１０の内部には、車輪２１、２２を駆動するための駆動部としてのモータが独立して備えられているとともに、これらのモータを制御するための制御部としてのＣＰＵ、室内Ｒについてのマップ情報を記憶する記憶部などを併せて備えている。そして、車輪２１、２２の回転数に基づいて、ロボット１'の移動した距離や速度、および方向が算出され、ロボット１'の位置情報を取得し、前述のマップ情報と併せて自己位置を求めている。
【００４９】
このように構成された音声認識ロボット１'が、その前面近傍に位置する人物を撮像し、その撮像した画面内に含まれる複数の人物に対して、自分が応答すべき人物を特定する手順について、図８に示すフローチャートを用いて詳細に説明する。なお、本実施形態においては、撮像した画像内に存在する人物の顔を検出する手順や、検出した顔の位置および向きの判別、検出した顔を抽出する手順などは、前述の実施形態において説明したものと同様の手法を用いているものとする。
【００５０】
前述の実施形態と同様に、音声認識ロボット１'は、室内Ｒ内の所定の初期位置に設置され、電力が供給されると、周囲からの音声を取得するための状態を準備する（ステップ２０１）。なお、音声認識ロボット１'には、予め室内Ｒ内のマップ情報が記憶されているとともに、初期位置を認識させているものとする。
【００５１】
この状態で、音声認識ロボット１'の周囲に存在する人物が音声認識ロボット１に話し掛けると、音声認識ロボット１は、この人物の発声した音声を音源特定部１１３，１１４で取得する（ステップ２０２）。このとき、音源特定部１１３、１１４は、取得した音声の発声した方向（ロボットからみた相対的な方向）を特定し、特定した方向に胴体１０前面が位置するように車輪２１，２２を駆動して、頭部１１に備えられた撮像部１１１，１１２を用いて撮像を開始する（ステップ２０３）。
【００５２】
撮像部１１１、１１２で撮像したことで得られた画像データは、制御部１００に入力され、この画像データの中において顔検出部１０２が人物の顔を検出できるか否かを判断する（ステップ２０４）。ここで、画像データ中に人物の顔が１つでも検出できれば、検出した顔の向きを、判別部１０３によって判別し、音声認識ロボット１'の方を向いている顔が存在するか否かを判断する（ステップ２０５）。音声認識ロボット１'の方を向いている顔が存在すれば、それらの顔の、音声認識ロボット１'からの各距離を求めて、最も近い位置に存在する顔を選択する（ステップ２０６）。逆に、音声認識ロボット１１'の方を向いている顔が存在しなければ、音声認識ロボット１'に対して話し掛けられた状態ではないと判断し、再度音声を取得する準備に戻る。
【００５３】
次に、最も近い位置に存在する、音声認識ロボット１'の方を向いている顔を判別すると、画像データ内における、判別した顔が占める領域を抽出し、選択した顔をトラッキングする。（ステップ２０７）。このとき、選択した顔として抽出した領域を、画像データの略中心に位置するように、頭部１１の回動と、車輪２１、２２の駆動とを組み合わせることで、常に音声認識ロボット１'に話し掛ける人物の顔の方向に、音声認識ロボット１'の頭部１１の前面（音声認識ロボット１'の顔前面）が向いているように動作させる。同時に、音源特定部１１３，１１４も頭部１１と同時に回動するため、音源として特定された方向からの音声を常に取得し続ける。
【００５４】
そして、トラッキングした人物から取得した音声を解析し、案内する目的の場所を特定する（ステップ２０８）。案内する場所が特定されると、音声認識ロボット１'に話し掛ける人物の顔をトラッキングし続けた状態で、音声認識ロボット１は、頭部１１の前面をこの人物に向けつつ、トラッキングした人物から所定距離となるように車輪２１、２２を駆動し、自己位置を調整する。そして、室内Ｒ内における案内する場所へ案内するために、トラッキングした人物との距離を一定に保った状態で、車輪２１、２２を駆動して所定の場所に向けて移動を開始する（ステップ２０９）。
【００５５】
なお、案内動作中においては、トラッキングした人物からの案内動作を中止する旨の音声指示があるか否かを検出している（ステップ２１０）。もし案内動作を中止する旨の指示がある場合は、案内動作を中止して室内Ｒ内の初期位置に戻る（ステップ３１０）が、案内動作を中止する指示が無い場合は、所定の案内場所まで移動を続ける。
【００５６】
そして、案内する所定の場所に到達すると、トラッキングした人物に対して案内動作を終了しても良い旨を確認し（ステップ２１１）、終了しても良い場合はトラッキングを解除して初期位置まで戻る（ステップ２１２）。もし、案内動作を継続する場合は、ステップ２０８に戻って、トラッキングした人物からの音声を認識し、案内対象となる場所を再度取得し、案内動作を再開する。このように、音声認識ロボット１'は、室内Ｒにおける案内動作を、次の音声の取得判断（ステップ２１３）により、動作停止の指令があるまで継続しつづける。
【００５７】
本実施形態形によれば、トラッキングした人物を常に画像内の中心に位置させ、案内する対象となる人間の位置を常に確認した状態で、ロボットが所望の場所まで移動しつづけることができる。そのため、案内される人間の動きに、ロボットの移動する動きが併せた状態で、案内動作を行うことができる。したがって、案内動作中に人間がロボットを見失ったり、逆にロボットがトラッキング対象の人物を見失う場合が少なくなり、より確実に案内動作を遂行することが可能になる。
【００５８】
なお、前述の実施形態においては、車輪の回転数によって移動した距離等を求めて自己位置を特定していたが、これに代えて、外部に設けた位置認識システムを用いてロボットの自己位置を求め、ロボットに位置信号を送信することでロボットに自己位置を認識させるようにしてもよい。このようにすると、ロボットはより正確な自己位置をリアルタイムに認識することができる。
【００５９】
また、ロボットの移動手段としては、車輪とキャスタの組み合わせに限られるものではなく、車輪のみで構成される倒立振子型の移動手段であってもよく、脚部を駆動することで移動する歩行型の移動手段であってもよい。
【００６０】
また、ロボットに設けられる周囲の外部環境を認識する手段としては、撮像部のみではなく、レーザレンジセンサやＣＣＤ等の光学カメラを別途設けたり、ロボット外部に設けられた基地局によりそのような外部環境情報をロボットに送信したりしてもよい。
【図面の簡単な説明】
【００６１】
【図１】本発明に係る第１の実施の形態である音声認識ロボットが室内に設けられている様子を示す全体外略図である。
【図２】図１に示す音声認識ロボットを概略的に示す概略図である。
【図３】図１に示す音声認識ロボットに備えられた制御部の内部を概念的に表したブロック図である。
【図４】図１に示す音声認識ロボットに備えられた顔検出部によって、各人物の顔の向きを求める様子を示す図である
【図５】図１に示す音声認識ロボットに備えられた判別部が、ロボットの方向を向いている顔を判別する様子を示図である。
【図６】図１に示す音声認識ロボットが、取得した音声に基づいて、自分が応答すべき人物を特定する手順を示すフローチャートである。
【図７】本発明に係る第２の実施の形態である音声認識ロボットを概略的に示す概略図である。
【図８】図７に示す音声認識ロボットが、取得した音声に基づいて、自分が応答すべき人物を特定しつつ、案内動作を行う手順を示すフローチャートである。
【符号の説明】
【００６２】
１、１'・・・音声認識ロボット
１００・・・制御部
１０１・・・音声認識部
１０２・・・顔検出部
１０３・・・判別部
１０４・・・抽出部
１０５・・・音声合成部
１１１，１１２・・・撮像部
１１３，１１４・・・音源特定部
１１５・・・スピーカ
【図１】
2008087140.tif 000003
【図２】
2008087140.tif 000004
【図３】
2008087140.tif 000005
【図４】
2008087140.tif 000006
【図５】
2008087140.tif 000007
【図６】
2008087140.tif 000008
【図７】
2008087140.tif 000009
【図８】
2008087140.tif 000010