(57)【要約】【課題】ロボットにおいて、音声情報と画像情報を用いて対話相手を正確に検出し、対話する。【解決手段】話者から話された会話の始まりを意味する特定の音声を認識し、音源方向推定により話者の方向を検出し、検出した話者方向に移動し、移動後にカメラから入力された画像から人物の顔を検出し、顔が検出された場合には対話処理を行う。対話処理においては、検出された顔の方向を優先し、顔方向に音声認識の指向性を限定して音声認識を行う。【選択図】図１
2006251266.tif 000002
【特許請求の範囲】
【請求項１】
音声入力と画像入力に基づいて処理を実行する視聴覚連携認識方法であって、
マイクロホンアレイから入力される音声に基づき、話者が発する会話の最初に利用する特定の単語もしくは文の音声とその方向とを認識し、
該音声認識に失敗すれば初期状態に戻り、
該音声認識に成功すれば検出された音声の方向にカメラを向け、
該カメラから入力された画像から人物の顔を検出し、
顔が検出されなかった場合には初期状態に戻り、
顔が検出された場合には対話処理を行うことを特徴とする視聴覚連携認識方法。
【請求項２】
音声入力と画像入力に基づいて処理を実行する視聴覚連携認識方法であって、
マイクロホンアレイから入力される音声に基づき、話者が発する会話の最初に利用する特定の単語もしくは文の音声とその方向とを認識し、
認識に失敗すれば初期状態に戻り、
認識に成功すれば検出された音声の方向にカメラを向け、
該カメラから入力された画像から人物の顔を検出し、
顔が検出されなかった場合にはユーザに顔が検出できないことを伝えて顔検出処理に戻り、
顔が検出された場合には対話処理を行うことを特徴とする視聴覚連携認識方法。
【請求項３】
請求項１もしくは請求項２の視聴覚連携方法の対話処理において、話者からの話しかけに対応して発話を行い、
請求項１もしくは請求項２で検出した話者方向に指向性を限定して、話者の音声と方向を認識し、
音声認識に失敗すれば音声認識の待機状態に戻り、
音声認識に成功すれば顔検出処理を行い、
顔が検出されなかった場合には顔が検出されていないことを発話にて伝えて顔検出処理に戻り、
顔が検出された場合には前記音声認識において検出された話者の方向と顔の方向が一致しているか否かを判定し、
一致していなかった場合には請求項１もしくは請求項２で認識した話者方向を修正して、検出された顔方向に移動し、
一致していた場合には対話を継続するか否かを判断し、
対話を継続する場合には、対話の状態遷移に応じて発話内容を選択して発話に戻り、
継続しない場合には、処理を終了することを特徴とする視聴覚連携認識方法。
【請求項４】
音声入力と画像入力に基づいて処理を実行する視聴覚連携認識装置であって、
複数のマイクから音声情報を採取し、採取した音声情報から音声の方向を推定する音源方向推定部と、推定した音源方向からの音声を認識する音声認識部を有し、
カメラからの画像情報を採取し、採取した画像情報から人間の顔領域を検出する顔認識部を有し、
前記カメラとマイクの位置や方向を移動させるための機構制御部を有し、
前記音源方向推定部と音声認識部、および顔認識部の結果を統合して話者方向の検出と、装置の機構制御部、および会話内容の理解を行う全体制御部を有し、
音声認識結果に応じて対話の状態遷移を判断して発話内容を選択する対話制御部と、発話を行うスピーカを有し、
前記音源方向推定部は、対話の状態に応じて方向推定の指向性を変更する処理と、
前記機構制御部では、前記制御部において推定した音源方向に装置を移動させる処理と、
前記全体制御部では、音声情報と画像情報のを用いた話者方向推定結果の両方が一致したときのみ対話を行う処理を実行することを特徴とする視聴覚連認識携装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識と音声認識の両者を用いたヒューマンインタフェース技術に関する。特に、画像認識機能と音声認識機能、および機構制御機能を持つロボットに関する。
【背景技術】
【０００２】
近年のロボットは、産業用ロボットのように決められた作業だけを実行するものから、状況を判断し、人間とのコミュニケーション(対話)をはかるものへと進歩しつつある。人間との対話には、周囲環境から対話相手を検出する技術と音声を認識する技術が必要がある。
【０００３】
従来のロボットと人間の対話では、ロボットの前で対話する人間はあらかじめ決められた１人であり、話者が接話マイクをつけることにより、ロボットに対話者の声のみを認識させていた。接話マイクを用いることにより、話者検出技術は不要となるうえ、周囲の雑音を入力することなく話者の声だけを認識することができた。
【０００４】
次に、接話マイクを使わずに対話相手の方向を検出する手段として、複数のマイクを配置して各マイクの位相差を用いて音源の方向を推定する技術がある。さらに、カメラを用いて人間の顔を検出することにより、話者の位置を検出する技術もある。
【０００５】
しかしながら、音声のみの場合、人間の声以外のノイズに誤反応するという問題があった。さらに、画像のみの場合は複雑な背景を顔と誤認識することや、照明や顔の角度などの条件により、顔を検出できないという問題があった。このため、画像認識と音声認識の両方を用いて、音声方向に顔があれば、その顔の人物を話者とする技術が考案された。この観点での公知例としては特許文献１〜３がある。特許文献１では、動体検出結果、顔検出結果、音源方向検出結果のいずれかに移動するように制御する。移動中に顔検出された場合に、顔方向に移動し、所定の範囲内に入れば停止する。特許文献２では、顔認識と音源方向推定などを用いて話者を同定している。特許文献３では、顔認識、音声認識などの認識機能の出力結果のいずれか1個以上の結果を用いて話者をトラッキングしている。
【０００６】
【特許文献１】特開２００４−１３０４２７号公報
【０００７】
【特許文献２】特開２００２−２６４０５１号公報
【特許文献３】特開２００４−２８３９５９号公報
【特許文献４】特開平８−２７２９７３号公報
【非特許文献１】大賀寿郎, 山崎芳男, 金田豊, ”音響システムとディジタル処理,”  電子情報通信学会,pp.203-209,1995/3/25
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明で解決しようとする第１の課題は、ロボットの周囲に雑音があり複数の人物が存在する状況下において、正確に対話相手を検出し、対話を実行することである。
特許文献１では、顔認識および音源方向推定の結果のいずれかの方向に移動し、顔が検出された場合、顔方向に移動する。しかしながら、特許文献1の方法では、音源方向に向いた際に見つけた顔を話者とする。音源方向の推定の精度は高くないため、音源方向に複数の人物がいる場合は正確に話者を特定できないという問題点がある。
【０００９】
本発明で解決しようとする第２の課題は、話者がカメラの視野外に存在し、話者でない人物が視野内に存在するような状況においても、正しく話者を認識することである。特許文献３では、顔認識と音声認識のいずれか1個以上の結果を用いて話者をトラッキングしている。この方法では、認識処理の優先度についての詳細な記述がない。仮に上記の状況においては顔認識を優先した場合、話者の検出を誤るという問題がある。
【００１０】
本発明で解決しようとする第３の課題は、音声認識と顔認識が誤認識や認識不能の場合でも適切な制御を行って話者を検出することである。顔認識では、照明条件や話者との距離および顔の角度などの条件により、視野内に顔が存在しても検出できない場合や誤検出する場合がある。音声認識では、静かな室内においては話者の声しか検出されないが、屋外などでは話者の声以外の雑音が存在するため、話者の声と雑音を間違える場合がある。このような状況では、認識が正しく動作することを前提としている従来手法では対応できないという問題点がある。
【００１１】
特許文献１では、音源方向と顔方向が一致していることが前提条件であるため、認識機能のいずれかが誤認識や認識不能となった場合には話者の特定ができないという問題点がある。
【００１２】
特許文献２では、顔認識と音源方向推定などを用いて、複数の人物が存在する状況下で話者を同定している。しかしながら、この方式では、顔認識や音源方向推定などの各認識機能が常に正しく認識していることが前提となっている。しかし、上記の環境で認識を行う場合、音声認識の誤りや画像処理の誤りは不可避であり、特許文献２の方式では正しく認識できないという問題がある。
【００１３】
特許文献３では、顔認識、音声認識などの認識機能の出力結果のいずれか1個以上の結果を用いて話者をトラッキングする。しかしながら、顔認識と音声認識の詳細な制御については説明されておらず、この例だけでは誤認識や認識不能の際に適切な制御はできないという問題点がある。
【課題を解決するための手段】
【００１４】
このような課題を解決するために発明された視聴覚連携認識方法は、音声入力と画像入力に基づいて処理を実行する視聴覚連携認識方法であって、話者が発する会話の最初に利用する特定の単語もしくは文の音声とその方向とを認識し、認識に失敗すれば初期状態に戻り、認識に成功すれば検出された音声の方向にカメラを向け、移動中もしくは移動後にカメラから入力された画像から人物の顔を検出し、顔が検出されなかった場合には初期状態に戻り、顔が検出された場合には対話処理を行う。
【発明の効果】
【００１５】
本発明の効果は、周辺雑音がある環境において、離れた位置から対話者を特定することができることである。さらに詳しくは、接話マイクを用いずに周辺雑音と対話者の声を正しく聞き分けることができることである。本発明の第２の効果は、周囲に複数の人物が存在する場合にも対話者を特定できることである。本発明の第３の効果は、環境条件が悪い場合においても、認識の頑強性が高いことである。周辺に雑音がある場合や複数の人物が存在する場合などにおいて、音声認識や顔認識の一方もしくは両方を誤るか認識できないことがある。このような状況においても、自律的に正しい対話を成功させるよう制御することができる。
【発明を実施するための最良の形態】
【００１６】
以下では本発明の全体的な記述のためにいくつかの特定な詳細例を提供する。しかしながら本発明がこれらの特定な詳細なしでも実用化できることは当業者にとっては明白である。本明細書の記述および図面は、当業者が別当業者に発明の内容を開示するのに使用される通常手段である。なお、本明細書において「一実施例」という記述がある場合、必ずしも同じ実施例のみに当てはまるのではなく、個別の実施例は互いに限定的ではない。さらに、本発明の実施例を示す処理の作業順序は、例示であって限定はされない。
【００１７】
まず、本発明における視聴覚連携装置の構成を図１に示す。１００はそれぞれ異なる位置に設置される複数のマイクから構成されるマイクロホンアレイである。１１０ではマイクロホンアレイからの音声信号から音源の方向を検出する。１２０では、音源方向の音声を認識する。１３０は画像を入力するカメラである。１４０では入力された画像から顔領域を検出する。１４０においては、顔検出に加えて、検出された顔が登録済みの誰であるかを識別する機能を持っても良い。１５０はマイクロホンアレイ１００やカメラ１３０の向きや位置を移動させる機構制御部である。移動には、水平垂直方向の回転運動や前進後退や上下左右などの移動運動を含む。１６０では、話者の位置や話者の話の内容に基づいて対話を制御する。１６０によって決められたロボットの発話内容がスピーカ１７０を通じてロボットの声として発せられる。１８０は全体制御部である。音声認識と顔認識の結果を統合して話者の方向を検出して、その結果に基づいてマイクロホンアレイ１００やカメラ１３０を機構制御部１５０を通じて移動させ、対話制御部１６０によって話者と会話する。
【実施例１】
【００１８】
まず、本実施例の特徴を説明する。本実施例の第１の特徴は、話者の方向を正確に推定するため、音声認識による音源方向と顔検出による顔方向の両者が一致した場合のみ対話を行うことである。一致が条件になっているため、いずれか一方のみを用いる場合に比べて誤認識が少ない。
【００１９】
第２の特徴は、話者方向の検出には音源方向推定の結果を優先して移動し、話者の方向に振り向いた後は顔の方向を優先して話者の方向を詳細に決定することである。これにより、視野内に複数の人物が存在する場合でも話者を特定することができる。
【００２０】
第３の特徴は、話者の呼びかけに対しては広い指向性で音源方向推定を行うかわりに、認識可能な単語を限定することである。音源方向推定の範囲を広げることにより周辺雑音と話者の声の判別が難しくなるかわりに、単語を限定することで判別の性能を上げる。
【００２１】
第４の特徴は、対話開始以降は話者方向のみに指向性を限定することである。指向性を限定することにより、周辺雑音と話者の声を明確に分離できる。
以上の特徴により、高精度な話者検出と対話を実現することができる。
【００２２】
本発明の第１の実施例として、話者を検出して対話を行う処理のフローを図２と図３を用いて説明する。図２は全体フローであり、図３はステップ２５０の対話処理部分のみのフローである。
【００２３】
まず、図２について説明する。ステップ２００からステップ２４０までの処理は、話者の方向を検出するための処理である。ステップ２００では、話者からロボットへの呼びかけの声を検出する。この処理においては、音源方向の推定範囲を広範囲に設定する。音声入力の範囲は、マイクロホンアレイからの入力の合成により制御することができる。この処理においては、ノイズと呼びかけを精度よく判別するため、呼びかけに用いる単語や文を限定することも可能である。音源方向の推定方法については後述する。ステップ２１０では、呼びかけの音声と方向が認識されたか否かを判定する。呼びかけが検出されなかった場合には、ステップ２００に戻る。すなわち、ロボットは何も反応しないため、話者は再度呼びかけを行うことになる。
【００２４】
ステップ２１０で呼びかけが検出された場合には、ステップ２２０で呼びかけ方向に移動する。移動には、角度の変更や前進後退や上下左右等の動作を含む。移動では、対象物や周辺の物体との距離情報を用いることがある。距離情報を得る一実施例としては、ステップ２００で音声情報から求めることや、レーザレーダ等の利用、複数のカメラを用いたステレオ視などが挙げられる。ステップ２３０では呼びかけ方向に向かって顔検出を行う。顔検出処理の一実施例としては、特開平８−２７２９７３号公報（特許文献４）に開示された技術がある。これは、画像中から肌色領域を判定することにより顔領域を検出するものであり、画像のＨ（色相）、Ｓ（彩度）、Ｖ（明度）の画像情報から顔領域を検出するものである。通常のカメラからの入力を利用するには、ＲＧＢ信号をＨＳＶ信号に変換すればよい。ステップ２４０では、顔が検出されたか否かを判定する。顔が検出されなかった場合には、ステップ２００に戻る。すなわち、ロボットは何も反応しないため、話者は再度呼びかけを行うことになる。ステップ２４０で顔が検出された場合には、対話相手が検出されたと判断して、ステップ２５０の対話処理を行う。
【００２５】
図３は、図２のステップ２５０の対話処理の詳細フローである。まず、ステップ３００において、呼びかけ者に対してロボットから発話する。ステップ３００の発話内容に対応して呼びかけ者が会話を行った場合、ステップ３１０においてその音声を認識する。この際に、音声認識可能な音源方向の範囲を視野角内、もしくは呼びかけ方向に限定すれば、周辺雑音と会話の音声を分離する精度が高くなる。ステップ３１０では、音源方向も再度推定する。ステップ３２０では、音声認識が成功したか否かを判定する。成功しない場合はステップ３１０に戻る。すなわち、ロボットは何も反応しないため、話者は再度話しかけることになる。
【００２６】
音声認識が成功した場合、ステップ３３０において顔検出を行う。ステップ３４０では、画像中から顔が検出されたか否かを判定する。顔が検出されなかった場合にはステップ３５０でロボットが発話する。この場合の発話内容の例としては、顔が検出できないことを伝えるための「顔が検出できません。」や、正面を向いてもらうための「こちらを向いてください。」、立ち位置を変えて照明や背景を変更する「少し右(もしくは左)へ移動してください。」などがある。なお、ステップ３５０の処理を規定回数以上繰り返した場合、話者は存在しなかったと判断して対話を終了してもよい。また、ステップ３５０を省略し、検出失敗の場合は直接ステップ３３０に戻ってもよい。ステップ３４０で顔が検出された場合には、ステップ３６０において、ステップ３１０で求めた音源方向とステップ３３０で求めた顔方向が一致するか否かを判定する。
【００２７】
方向が一致しない場合には、ステップ３７０において話者方向に移動する。この移動は、顔の位置がカメラの視野の中心になるようにカメラを移動させることである。ステップ３７０を行う理由は、音源方向と顔方向の両者が検出された場合、顔方向の検出精度の方が高いからである。これにより、視野内に複数の人物が存在する場合においても、正確に話者を特定することができる。以降の処理においては、ステップ３１０の音声認識において、指向性を話者方向により強くすることにより、さらに精度の高い認識も可能である。また、ステップ３７０においては、実際の移動をせずに、視野内での対話相手の判別だけでも良い。
【００２８】
ステップ３６０において方向が一致した場合には、ステップ３８０において対話内容に応じて対話を継続するか否かを判定する。対話を継続する場合にはステップ３００に戻る。この場合のステップ３００の発話内容は、対話の内容により異なる。対話を継続しない場合には、対話を終了する。対話終了後は、図２のステップ２００に戻って次の対話の開始を待機してもよい。
【実施例２】
【００２９】
本発明の第２の実施例として、話者を検出して対話を行う処理のフローを図４を用いて説明する。図４において、図２と同じ番号は同じ処理であるため、説明を省略する。
ステップ２４０で顔が検出されなかった場合、照明条件や顔の角度によって顔が検出できていない可能性がある。このような状況に対応するため、ステップ２６０において後述のリトライの回数制限をする。リトライが規定回数数以内であれば、ステップ２７０において、顔検出を改善するためにユーザに対して姿勢変更を要求する発話を行う。具体的な例としては、「こちらを向いてください。」や「(照明の影響のため)少し右（もしくは左）に移動してください。」などがある。規定回数を超えれば、ステップ２００における呼びかけ音声の検出が誤っていたと判断してステップ２００へ戻る。
【００３０】
以下、実施例１と２で用いている音源方向推定技術の一実施例について説明する。マイクロホンを複数使って、音源の方向を推定する技術の一実施例としては、非特許文献１に示す死角形成型音源定位技術がある。この技術では、判定対象の方向以外に存在する音源方向に死角を形成し、判定対象の方向の音のみを抽出することで、方向毎の音のパワーを算出する。そして、その方向毎の音のパワーから音源方向を推定する。死角形成型音源定位技術は、音源数がマイク数を下回る場合、高精度に音源方向を推定できることが知られている。
【図面の簡単な説明】
【００３１】
【図１】本発明の構成図である。
【図２】第１の実施例を示す視聴覚連携フローの図である。
【図３】第１の実施例中の対話処理のフローの図である。
【図４】第２の実施例を示す視聴覚連携フローの図である。
【符号の説明】
【００３２】
１００：マイクロホンアレイ、１１０：音源方向推定部、１２０：音声認識部、１３０：カメラ、１４０：顔認識部、１５０：機構制御部、１６０：対話制御部、１７０：全体制御部。
【図１】
2006251266.tif 000003
【図２】
2006251266.tif 000004
【図３】
2006251266.tif 000005
【図４】
2006251266.tif 000006