(57)【要約】【課題】音声認識機能を備えるロボット装置の音声コマンドの誤認識を低減する。【解決手段】ユーザ１０の音声コマンドを認識してロボットを駆動するロボット装置の制御装置において、ユーザの顔を撮像するカメラ２と、カメラの画像からユーザの口が動いているかどうかを判定し、口が動いていると判定している間のみ音声認識部６へ口動作検出信号４を発行する判定部３と、を備え、音声認識部６は、口動作検出信号４が入力されているときの音声コマンドのみを認識し、駆動制御部１２に動作コマンドとして発行するよう構成した。【選択図】図１
2007190620.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの音声によるコマンドを認識してロボットを駆動するロボット装置の制御装置において、
前記ユーザが発した音声データを検出するマイクと、
前記音声データに含まれる音声コマンドを認識し、動作コマンドとして発行する音声認識部と、
前記動作コマンドに従って前記ロボット装置の各駆動部を駆動する駆動制御部と、
前記ユーザの顔を撮像するカメラと、
前記カメラの画像から前記ユーザの口が動いているかどうかを判定し、口が動いていると判定している間のみ前記音声認識部に口動作検出信号を発行する判定部と、を備え、
前記音声認識部が、前記口動作検出信号が入力されているときの前記音声コマンドを認識し、前記駆動制御部に前記動作コマンドを発行することを特徴とするロボット装置の制御装置。
【請求項２】
前記判定部が、前記カメラが撮像した時系列の画像データの各々から抽出した前記ユーザの顔の構成部品の特徴点と、予め与えられた平均的な顔の構成部品の特徴点配置とを比較して前記ユーザの口の部分を特定するとともに、口の部分における前記特徴点が前記時系列の画像データから得られる差画像内で移動した数を計数し、該移動した数が予め与えられたしきい値よりも多い場合に、前記ユーザの口が動いていると判定することを特徴とする請求項１記載のロボット装置の制御装置。
【請求項３】
前記判定部は、前記画像データの各々から肌色に近く連続した部分を抽出して前記ユーザの顔を認識し、更に認識した顔の構成部品の輪郭線を抽出して、該輪郭線の角部を特徴点として抽出することを特徴とした請求項２記載のロボット装置の制御装置。
【請求項４】
請求項１記載のロボット装置の制御装置において、
時間データを出力する時計と、
前記音声データとともに前記時計からの時間データを記録する音声バッファと、
前記口動作検出信号とともに前記時計からの時間データを前記音声認識部に発行する判定部と、を更に備え、
前記音声認識部が、前記口動作検出信号とともに入力された前記時間データの間の前記音声データを前記音声バッファから取り出して前記音声コマンドを認識し、前記駆動制御部に前記動作コマンドを発行することを特徴とするロボット装置の制御装置。
【請求項５】
前記マイクと前記カメラのうち少なくとも１つを、前記ロボット装置及び前記駆動制御部と別体である操作装置に配置したことを特徴とする請求項１記載のロボット装置の制御装置。
【請求項６】
ユーザの音声によるコマンドを認識してロボットを駆動するロボット装置の制御装置において、
前記ユーザが発した音声データを検出するマイクと、
前記音声データに含まれる音声コマンドを常に認識し、動作コマンドとして常に発行する音声認識部と、
前記動作コマンドに従って前記ロボット装置の各駆動部を駆動する駆動制御部と、
前記ユーザの顔を撮像するカメラと、
前記カメラの画像から前記ユーザの口が動いているかどうかを判定し、口が動いていると判定している間のみ口動作検出信号を発行する判定部と、
前記音声認識部と前記駆動制御部との間に設けられ、前記口動作検出信号が入力されているときのみの前記動作コマンドを前記駆動制御部に送出するコマンド発行判断部と、
前記動作コマンドと、前記口動作検出信号とが入力され、前記口動作信号が入力されていないときに前記動作コマンドが入力された場合、警告を発する警告判断部と、を備えたことを特徴とするロボット装置の制御装置。
【請求項７】
前記カメラが撮像した前記ユーザの顔の画像データが入力されているとき、表示灯を点灯させる表示判断部と、を更に備えたことを特徴とする請求項１または請求項６記載のロボット装置の制御装置。
【請求項８】
ユーザの音声によるコマンドを認識してロボットを駆動するロボット装置の制御方法において、
前記ユーザが発した音声データをマイクで検出するとともに、前記ユーザの顔を撮像した画像から前記ユーザの口が動いているかどうかを判定し、
口が動いていると判定している間の前記音声データに含まれる音声コマンドのみを動作コマンドとして発行し、前記ロボット装置を制御することを特徴としたロボット装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボット装置の制御装置および方法に関する。  
【背景技術】
【０００２】
音声認識機能を備える一般的なロボット装置は、マイクに入力されたユーザが発した音声に含まれる音声コマンドを認識する音声認識部を備える。しかし、ユーザと他の人間との会話に含まれる音声コマンドを誤認識してしまったり、ユーザ以外の人間が発した音声に含まれる音声コマンドを誤認識してしまうという問題がある。
【０００３】
この問題に対して、例えば特許文献１では、大きく短い特徴的な音が認識された後に音声認識を開始するロボット制御装置が開示されている。
図５は特許文献１の一実施例のロボット制御装置の構成を表す図である。図５において、１はロボット装置であり、内蔵する駆動制御部１２によって制御および駆動される。１１は操作装置であり、ユーザ１０が発した音声データを検出するマイク５と、前記音声データの特徴パラメータを抽出する特徴パラメータ抽出部３２と、前記特徴パラメータから音声コマンドを同定するマッチング部３３と音声認識を開始するトリガである開始音を検出して検出メッセージ３１を発行する開始音検出部３０を備えている。
【０００４】
以上説明した構成で、マイク５が検知した音から開始音検出部３０が開始音を検出した場合に、特徴パラメータ抽出部３２およびマッチング部３３に検出メッセージ３１を発行する。マイク５に図６に示す音声データが入力されたとする。特徴パラメータ抽出部３２およびマッチング部３３は検出メッセージ３１が入力された後でユーザ１０が発した音声データに対して特徴パラメータの抽出処理とマッチング処理を行い、同定された音声コマンド３５を駆動制御部に発行する。よって、開始音を検出する前にマイク５に入力された音声コマンド３４は実行されず、駆動制御部１２は音声コマンド３５に従ってロボット装置を制御および駆動する。
このようにして大きくて短い特徴的な音が入力された後に音声認識を開始し、誤認識を低減するのである。
【特許文献１】特開２００１−１５４６９２号（第１０−１１頁、図６）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、従来のロボット制御装置においては誰の音声であっても同様に音声認識するため、ユーザと他の人間との会話に含まれる音声コマンドを誤認識したり、他の人間の声に含まれる音声コマンドを誤認識したりしてしまうという問題がある。
本発明はこのような問題点に鑑みてなされたものであり、音声コマンドの誤認識を低減できるロボット装置の制御装置および方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記問題を解決するため、本発明は次のように構成したのである。
請求項１に記載の発明は、ユーザの音声によるコマンドを認識してロボットを駆動するロボット装置の制御装置において、前記ユーザが発した音声データを検出するマイクと、前記音声データに含まれる音声コマンドを認識し、動作コマンドとして発行する音声認識部と、前記動作コマンドに従って前記ロボット装置の各駆動部を駆動する駆動制御部と、前記ユーザの顔を撮像するカメラと、前記カメラの画像から前記ユーザの口が動いているかどうかを判定し、口が動いていると判定している間のみ前記音声認識部に口動作検出信号を発行する判定部と、を備え、前記音声認識部が、前記口動作検出信号が入力されているときの前記音声コマンドを認識し、前記駆動制御部に前記動作コマンドを発行することを特徴とするロボット装置の制御装置とするものである。
また、請求項２に記載の発明は、前記判定部が、前記カメラが撮像した時系列の画像データの各々から抽出した前記ユーザの顔の構成部品の特徴点と、予め与えられた平均的な顔の構成部品の特徴点配置とを比較して前記ユーザの口の部分を特定するとともに、口の部分における前記特徴点が前記時系列の画像データから得られる差画像内で移動した数を計数し、該移動した数が予め与えられたしきい値よりも多い場合に、前記ユーザの口が動いていると判定することを特徴とする請求項１記載のロボット装置の制御装置とするものである。
また、請求項３に記載の発明は、前記判定部は、前記画像データの各々から肌色に近く連続した部分を抽出して前記ユーザの顔を認識し、更に認識した顔の構成部品の輪郭線を抽出して、該輪郭線の角部を特徴点として抽出することを特徴とした請求項２記載のロボット装置の制御装置とするものである。
また、請求項４に記載の発明は、請求項１記載のロボット装置の制御装置において、時間データを出力する時計と、前記音声データとともに前記時計からの時間データを記録する音声バッファと、前記口動作検出信号とともに前記時計からの時間データを前記音声認識部に発行する判定部と、を更に備え、前記音声認識部が、前記口動作検出信号とともに入力された前記時間データの間の前記音声データを前記音声バッファから取り出して前記音声コマンドを認識し、前記駆動制御部に前記動作コマンドを発行することを特徴とするロボット装置の制御装置とするものである。
また、請求項５に記載の発明は、前記マイクと前記音声認識部と前記カメラと前記判定部のうち少なくとも１つを、前記ロボット装置及び前記駆動制御部と別体である操作装置に配置したことを特徴とする請求項１記載のロボット装置の制御装置とするものである。
また、請求項６に記載の発明は、ユーザの音声によるコマンドを認識してロボットを駆動するロボット装置の制御装置において、前記ユーザが発した音声データを検出するマイクと、前記音声データに含まれる音声コマンドを常に認識し、動作コマンドとして常に発行する音声認識部と、前記動作コマンドに従って前記ロボット装置の各駆動部を駆動する駆動制御部と、前記ユーザの顔を撮像するカメラと、前記カメラの画像から前記ユーザの口が動いているかどうかを判定し、口が動いていると判定している間のみ口動作検出信号を発行する判定部と、前記音声認識部と前記駆動制御部との間に設けられ、前記口動作検出信号が入力されているときのみの前記動作コマンドを前記駆動制御部に送出するコマンド発行判断部と、前記動作コマンドと、前記口動作検出信号とが入力され、前記口動作信号が入力されていないときに前記動作コマンドが入力された場合、警告を発する警告判断部と、を備えたことを特徴とするロボット装置の制御装置とするものである。
また、請求項７に記載の発明は、前記カメラが撮像した前記ユーザの顔の画像データが入力されているとき、表示灯を点灯させる表示判断部と、を更に備えたことを特徴とする請求項１または請求項６記載のロボット装置の制御装置とするものである。
また、請求項８に記載の発明は、ユーザの音声によるコマンドを認識してロボットを駆動するロボット装置の制御方法において、前記ユーザが発した音声データをマイクで検出するとともに、前記ユーザの顔を撮像した画像から前記ユーザの口が動いているかどうかを判定し、口が動いていると判定している間の前記音声データに含まれる音声コマンドのみを動作コマンドとして発行し、前記ロボット装置を制御することを特徴としたロボット装置の制御方法とするものである。
【発明の効果】
【０００７】
請求項１乃至請求項３及び請求項８に記載の発明によると、ユーザが発した音声コマンドのみを実行することができるため、誤認識を低減できる。
請求項４に記載の発明によると、判定部の画像処理などに時間がかかり、口動作検出信号が実際の口の動きよりも遅れて発行される場合でも、問題なくロボット装置を制御できる。
請求項５に記載の発明によると、操作装置を別途設けることにより、ユーザの操作性を向上させ、音声コマンドのご認識を低減できる。
請求項６に記載の発明によると、ユーザにユーザ以外の人間の声や騒音を音声コマンドとして認識される可能性が高いことを知らせ、周囲の人間に静かにするように働きかけたり、騒音を低減させたりと、作業環境を整えるようにうながすことができる。
請求項７に記載の発明によると、ユーザは自分の顔および口の動きが判定部に認識されているかどうかを知り、認識されるように顔位置を調整するため、音声コマンドを発話しても音声コマンドとして受け付けられないといった誤認識を低減できる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態について図を参照して説明する。
【実施例１】
【０００９】
図１は本発明の一実施例の構成を表す図である。図１において、１はロボット装置であり、駆動制御部１２によって制御および駆動される。１１は操作装置であり、ユーザ１０が発した音声データを検出するマイク５と、前記音声データに含まれる音声コマンドを認識する音声認識部６と、カメラ２と、前記カメラ２が撮像した時系列の画像データから前記ユーザ１０の口の動きを検知し、口動作検出信号４を発行する判定部とを備えている。
【００１０】
次に図２を用いて音声データの処理を説明する。ここではユーザ１０が発した音声データに含まれる音声コマンド３５とユーザ１０以外の人間が発した音声に含まれる音声コマンド３４を例として説明する。ユーザ１０が操作装置１１を持っており、ロボット装置１の操作を担当しているものとする。カメラ２は操作装置を持っているユーザ１０の顔を撮像している。判定部３は前記カメラ２が撮像した時系列の画像データからユーザ１０の口が動いているかどうかを判定し、動いていると判定した場合は口動作検出信号４をＯＮにし、動いていないと判定した場合はＯＦＦにする。
【００１１】
ここでユーザ１０の口が動いているかどうかを判定する方法を説明する。カメラ２で撮像した時系列の画像データそれぞれに対して、肌色に近く連続した部分を抽出することで顔を認識し、さらにその部分内でエッジ抽出処理を行い、目、鼻、口など顔を構成する部品の輪郭線を抽出する。さらにこれらの輪郭線の角の部分を特徴点として抽出する。さらに予め与えられた平均的な顔の特徴点配置と比較して口の部分を同定する。さらに口の部分の時系列の画像データの差画像を求め、差画像内で移動した特徴点の数を計数し、予め設定されたしきい値よりも多い場合にユーザ１０の口が動いていると判定する。
音声認識部６は前記口動作検出信号がＯＮの間、マイク５から入力される音声データに含まれる音声コマンドを認識し、動作コマンドとして駆動制御部に発行する。ロボット装置１は駆動制御部１２によって制御および駆動されており、駆動制御部１２は操作装置１１内の音声認識部から発行されるコマンドに従ってロボットを駆動する。
ユーザ１０以外の人間が発した音声に音声コマンドが含まれていても、口動作検出信号はＯＦＦであるため、音声認識部は音声コマンドとして認識しないため、動作コマンドは発行されず、ロボット装置１は動作しない。
【００１２】
ここで、判定部の画像処理などに時間がかかり、口動作検出信号が実際の口の動きよりも遅れて発行される場合、ユーザの口が動いていた時間の音声データをもとに、音声コマンドを受け付ける方法を説明する。図３のように時計７とマイク５から入力された音声データを時計７から入力される時間データtと共に記録する音声バッファ８を設け、判定部からは口動作検出信号と時間データtを発行するようにする。音声認識部では音声バッファ８から時間データtの音声データを取り出してユーザの口が動いていた間の音声データに含まれる音声コマンドを認識する。
【００１３】
本発明が従来例と主に異なる点は、以上説明した構成で、ユーザ１０の口が動いているかどうかを監視し、口が動いていると判定されている間に音声認識部で認識した音声コマンドだけを動作コマンドとして駆動制御部に発行する点である。これにより、操作装置を持っているユーザが発した音声コマンドだけに従ってロボットが動作するため、ユーザ以外の人間が発した音声コマンドに反応してロボットが動作してしまう誤認識を低減できる。
ここで、本発明の制御装置は、全ての構成要件をロボット装置に搭載させ、ロボット装置上に操作装置１１が固定されるよう構成し、ユーザ１０がロボット装置に対して所定の位置に顔を移動して音声を発し、音声コマンドを認識させる形態としてもよく、上述のように駆動制御部１２のみをロボット装置に内蔵し、操作装置１１のみをロボット装置１と別体にしてユーザ１０が把持する形態としてもよい。
【実施例２】
【００１４】
図４は本発明の第２の実施例の構成を表す図である。本実施例が実施例１と異なる点を説明する。音声認識部６は常に音声データに含まれている音声コマンドを認識し続け、音声コマンドを認識した場合、動作コマンドとしてコマンド発行判断部および警告判断部に発行し、コマンド発行判断部において口動作検出信号がONの間に入力された動作コマンドのみを駆動制御部に発行するように構成した点と、口動作検出信号がOFFの間に音声認識部が音声コマンドを認識して動作コマンドを発行した際に警告ランプとしてLED２１を点灯させる警告判断部２０を設置した点、およびカメラ２が撮像した画像データにユーザ１０の顔が含まれている際にLED２３を点灯させる表示判定部２２を設置した点である。
【００１５】
次に図２を用いて本発明における音声データの処理を説明する。ここではユーザ１０が発した音声データに含まれる音声コマンド３５とユーザ１０以外の人間が発した音声に含まれる音声コマンド３４を例として説明する。ユーザ１０が操作装置１１を持っており、ロボット装置１の操作を担当しているものとする。カメラ２は操作装置を持っているユーザ１０の顔を撮像している。判定部３は前記カメラ２が撮像した画像データからユーザ１０の口が動いているかどうかを判定し、動いていると判定した場合は口動作検出信号４をONにし、動いていないと判定した場合はOFFにする。音声認識部６は常に音声データに含まれている音声コマンドを認識し続け、音声コマンドを認識した場合、動作コマンドとしてコマンド発行判断部に発行している。前記コマンド発行判断部は前記口動作検出信号がONの間、音声認識部から発行された動作コマンドをさらに駆動制御部に発行する。ロボット装置１は駆動制御部１２によって制御および駆動されており、駆動制御部１２は操作装置１１内のコマンド発行判断部から発行されるコマンドに従ってロボットを駆動する。
ユーザ１０以外の人間が発した音声に音声コマンドが含まれている場合、音声認識部は音声コマンドとして認識してコマンド発行判断部および警告判断部に発行するが、口動作検出信号はOFFであるため、コマンド発行判断部は動作コマンドを駆動制御部に発行せず、従ってロボット装置１は動作しない。警告判断部は、口動作検出信号がOFFである間に動作コマンドが入力された場合、LED２１を点灯させる。
また表示判定部２２は、カメラ２が撮像した画像データにユーザ１０の顔が含まれている際にLED２３を点灯させる。
【００１６】
これにより、ユーザ１０の口が動いていない間にマイク５に音声コマンドを含む音声が入力された際にLED２１が点灯するため、ユーザ１０にユーザ１０以外の人間の音声や騒音を音声コマンドとして認識される可能性が高いことを知らせ、周囲の人間に静かにするように要請したり、騒音を低減させたりと、作業環境を整えるようにうながすことができる。また、カメラ２が撮像した画像データにユーザ１０の顔および口が含まれていない場合にLED２３が点灯しないため、ユーザ１０に自分の顔および口の動きが判定部に認識されていないことを知らせ、顔の位置を調整し、音声コマンドを発話しても音声コマンドとして受け付けられないといった誤認識を低減できる。
【産業上の利用可能性】
【００１７】
本発明はロボット装置に限らずカーナビゲーションシステムや家電製品などにも適用できる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１実施例のロボット装置の構成を表す図
【図２】本発明の第１実施例の音声データ処理を表す図
【図３】本発明の第１実施例のロボット装置にさらに時計と音声バッファを追加した構成を表す図
【図４】本発明の第２実施例のロボット装置の構成を表す図
【図５】従来例のロボット装置の構成を表す図
【図６】従来例のロボット装置の音声データ処理を表す図
【符号の説明】
【００１９】
１  ロボット装置
２  カメラ
３  判定部
４  口動作検出信号
５  マイク
６  音声認識部
７  時計
８  音声バッファ
１０  ユーザ
１１  操作装置
１２  駆動制御部
２０  警告判断部
２１  LED
２２  表示判断部
２３  LED
２４  コマンド発行判断部
３０  開始音検出部
３１  検出メッセージ
３２  特徴パラメータ抽出部
３３  マッチング部
３４  音声コマンド
３５  音声コマンド
【図１】
2007190620.tif 000003
【図２】
2007190620.tif 000004
【図３】
2007190620.tif 000005
【図４】
2007190620.tif 000006
【図５】
2007190620.tif 000007
【図６】
2007190620.tif 000008