(57)【要約】【課題】発話に合わせて適度にロボットを動作させるとともに、ユーザに発話の開始及び終了のタイミングを伝えること。【解決手段】データベース３１に動作時間が互いに異なる値に決まっている複数の動作パターンのデータを格納しておき、発話時間測定部３２でロボットの発話開始前に生成される音声の波形データ３５ａから発話時間の長さを測定する。動作パターン組合せ生成部３３にて、発話時間に対して発話の開始と終了とに動作の開始と終了とが一致するように、データベース３１の内容から２つ以上の動作パターンの組合せ、再生順序及び再生タイミングを生成する。【選択図】　　　　図１
2004034273.tif 000002
【特許請求の範囲】
【請求項１】
動作時間が互いに異なる値に決まっている複数の動作パターンのデータを有するデータベースと、ロボットが発話を開始する前に生成される音声の波形データから発話時間の長さを発話開始前に測定する発話時間測定手段と、前記発話時間測定手段で測定した発話時間に対して発話の開始と終了とに動作の開始と終了とが一致するように、前記データベースの内容から２つ以上の動作パターンの組合せ、再生順序及び再生タイミングを生成する動作パターン組合せ生成手段とを備えることを特徴とするロボット発話中の動作プログラム生成装置。
【請求項２】
請求項１において、前記動作パターン組合せ生成手段は、発話開始と発話終了とに動作の開始と終了とが一致しない場合、前後に隣接する動作パターンの間に無動作時間を挿入することを特徴とするロボット発話中の動作プログラム生成装置。
【請求項３】
請求項１において、発声すべき文字データから動作種別を判断する動作種別判断手段を備えることを特徴とするロボット発話中の動作プログラム生成装置。
【請求項４】
請求項１から３いずれかに記載のロボット発話中の動作プログラム生成装置を有することを特徴とするロボット。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はロボットが発話している間、ロボットを適度に動作させるとともに、ユーザに発話の開始及び終了のタイミングを伝えるための技術に関する。
【０００２】
【従来の技術】
従来の技術では、ロボットの発話中は、（１）　決まった動作を再生したり、（２）　発話中の波形データ（特に、音の強弱）に応じてロボットを動作させていた。
【０００３】
しかし、（１）　の決まった動作の再生では、発話時間は一定でないことから、発話の開始と終了とに動作の開始と終了とが多くの場合ぴったり一致しないため、ユーザがロボットと対話するときの発言タイミングをつかみにくいという欠点がある。（２）　波形データに応じたロボット動作では、動作パターンが音声データに対して瞬間的な動作の組合せとなるため、発話の意味に合致した動作とならないという欠点がある。
【０００４】
【発明が解決しようとする課題】
本発明の課題は、上述した従来の技術が持つ欠点を解消し、ロボットが発話している間、ロボットを適度に動作させるとともに、ユーザに発話の開始及び終了のタイミングを伝えることができる技術を提供することである。
【０００５】
【課題を解決するための手段】
第１発明は、上記課題を解決するロボット発話中の動作プログラム生成装置であり、動作時間が互いに異なる値に決まっている複数の動作パターンのデータを有するデータベースと、ロボットが発話を開始する前に生成される音声の波形データから発話時間の長さを発話開始前に測定する発話時間測定手段と、前記発話時間測定手段で測定した発話時間に対して発話の開始と終了とに動作の開始と終了とが一致するように、前記データベースの内容から２つ以上の動作パターンの組合せ、再生順序及び再生タイミングを生成する動作パターン組合せ生成手段とを備えることを特徴とする。
【０００６】
第２発明は、第１発明において、前記動作パターン組合せ生成手段は、発話開始と発話終了とに動作の開始と終了とが一致しない場合、前後に隣接する動作パターンの間に無動作時間を挿入することを特徴とするロボット発話中の動作プログラム生成装置である、
第３発明は、第１発明において、発声すべき文字データから動作種別を判断する動作種別判断手段を備えることを特徴とするロボット発話中の動作プログラム生成装置である。
【０００７】
第４発明は、第１発明から第３発明いずれかのロボット発話中の動作プログラム生成装置を有することを特徴とするロボットである。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【０００９】
本発明の説明に先立ち、本発明を適用するロボットの一例を図３を参照して説明する。図３に示すロボット１は、ロボット本体１１が頭部１２と胸部１３と胴部（台車部）１４と左右の腕部１５とを有する人間を模したものであり、頭部１２と腕部１５は図示しない駆動機構により回動可能であるとともに、胴部１４に装備された左右の走行用車輪１６は図示しない駆動機構により操舵及び走行可能であって、作業空間をバッテリ駆動により自律的に移動するように構成されている。このロボット１は、一般家庭等の屋内を作業空間として人間と共存し、例えば、一般家庭内でユーザの生活を補助・支援・介護するために用いられる。そのため、ロボット１は、内蔵のＣＰＵ（コンピュータ）及び各種のセンサにより、ユーザと会話したり、ユーザの行動を見守ったり、ユーザの行動を補助したり、ユーザと一緒に行動したりする機能を備えている。ロボット１の形状としては、愛玩用に動物を模したものなど、種々考えられる。
【００１０】
詳細には、図３に示すロボット１はＣＰＵを用いた制御部を持ち、頭部１２に２つのカメラ１７と２つのマイクロホン１８が装着され、胸部１３の中央部に音量・音源方向センサと焦電型赤外線センサからなる人検知センサ１９、左右にスピーカ２０ａが装着されている。また、胸部１３の中央部に画像ディスプレイ２０ｂが装着され、胴部４に超音波式障害物センサ２１やレーザ式障害物センサ２２が装着されている。キーボード及びタッチセンサ等が装着されることもある。
【００１１】
カメラ１７はユーザや屋内を撮影してその画像を制御部に出力し、マイクロホン１８はユーザの音声や電話のベル、呼び鈴、テレビの音などの生活音を取り込んで制御部に出力し、人検知センサ１９はユーザの有無を検出して制御部に出力する。スピーカ２０ａはマイクロホン１８とともにユーザとの会話に用いられ、画像ディスプレイ２０ｂはユーザに対する情報提供に用いられる。キーボードやタッチセンサはユーザ用のデータ入力機器であり、ユーザの生活パターンデータを入力したり、ユーザの意思を入力するために用いられる。スピーカ２０ａはユーザに対する情報提供にも用いられる。制御部には、所定期間にわたるカレンダ及び現在の年月日及び時刻を計時するカレンダクロックが備えられている。
【００１２】
制御部には、キーボード等のデータ入力機器と、カメラ１７、マイクロホン１８、人検知センサ１９及び障害物センサ２１、２２等のユーザの生活パターンを常時モニタする外界センサと、カレンダクロックといった内界センサとにより、ロボット１の自己位置に関する情報と、ユーザの位置に関する情報と、ユーザの行動に関する情報とが入力される。
【００１３】
制御部は、自己位置認識機能と、ユーザ認識機能と、データベース（データ蓄積部）と、生活パターンデータ処理機能と、駆動制御機能とを有している。
【００１４】
自己位置認識機能は、カメラ１７が撮影した画像情報に基づいてロボット１自身の位置及び方位（向き、姿勢）を認識する。ユーザ認識機能は、マイクロホン１８で取り込んだ音声からユーザの発言内容の認識（音声認識）を行うとともに、カメラ１７で撮影した画像情報とマイクロホン１８で取り込んだ音声とからユーザ個人の認識を行い、また、カメラ１７と人検知センサ１９の検出結果からユーザの位置、向き、姿勢、活動量を認識する。
【００１５】
データベースは、ユーザとの会話用やユーザへの話し掛け用の音声データ、ユーザとの会話時やユーザへの話し掛け時の身振り動作のデータ、ユーザの生活情報（ユーザの居住に関する部屋の間取りや家具の配置、ユーザ個人の日常の生活パターン、ユーザの趣味、健康状態など）を記憶している。ユーザの生活情報には、必要に応じて文字列や映像、音声などのキーワードが付される。生活パターンのデータとしては、起床、就寝、食事、薬服用、散歩、自由時間、入浴などの行動に関するイベントが上げられ、これらのイベントが時間データとともにタイムスケジュールとして記憶される。
【００１６】
生活パターンデータ処理機能は、ユーザがデータ入力機器から直接入力した生活情報をキーワードを付してデータベースに蓄積したり、カメラ１７やマイクロホン１８、人検知センサ１９で取得した音声認識結果などユーザの各種情報を処理することで一つ一つの生活情報にキーワードやその日時を付してデータベースに蓄積する。更に、生活パターンデータ処理機能は、ユーザからの指示や話し掛けに応じて、あるいは、時刻などに応じて、これに対応するデータをデータベースから選択し、選択したデータに応じた指令を動作制御部に与えて制御する。
【００１７】
駆動制御機能は、生活パターンデータ処理機能からの指令に応じて、走行用車輪１６を駆動してロボット１の走行及び操舵を実行するとともに、頭部１２や腕部１３を駆動してそれの回動を実行する。また、スピーカ２０ａや画像ディスプレイ２０ｂを駆動してユーザとの会話を実行する。
【００１８】
次に、図１、図２を参照して、本発明の実施例に係るロボット発話中の動作プログラム生成装置（以下、単に動作プログラム生成装置と呼ぶ）を説明する。
【００１９】
上述したロボット１は、図１に例示する動作プログラム生成装置を有しており、この動作プログラム生成装置は、データベース３１と、発話時間測定部３２と、動作パターン組合せ生成部３３とを備えたものである。
【００２０】
図１中、３４はロボットに備えられた音声合成装置であり、音声波形生成部３５と波形再生部３６からなる。音声波形生成部３５は発声すべき文字データを入力して、これに対応する音声の波形データ３５ａを発話開始前に生成し、波形再生部３６は波形データ３５ａを実時間の音声波形に再生する。再生された音声波形は増幅器３７で増幅されてスピーカ２０ａに与えられ、これによりロボットが発話する。
【００２１】
ここで、ロボットが突然しゃべり始めるとユーザが聞き取りにくいので、文字データの先頭に「あ−」とか「うーん」とか意味がない文字データを挿入している。これにより、ロボットが「あ−」とか「うーん」とか意味がない言葉を発してから本来の発話を行うので、ユーザの注意を引き、聞き取りやすくなる。
【００２２】
データベース３１には、動作時間が互いに異なる値に決まっている複数の動作パターンのデータが格納されている。動作パターンは頭部１２や腕部１５、胴部１４のジェスチャ等の動作をパターン化したものであり、その例を上げると、ロボットがユーザに話し掛ける動きの種類として、１秒間分の動作パターン、２秒間分の動作パターン、４秒間分の動作パターン、８秒間分の動作パターンが格納されている。また、ロボットがユーザに問い掛ける動きの種類として、１秒間分の動作パターン、２秒間分の動作パターンが格納されている。更に、ロボットが確認する動きの種類として、１秒間分の動作パターン、２秒間分の動作パターンが格納されている。
【００２３】
発話時間測定部３２は、音声波形生成部３５等によってロボットの発話開始前に生成される波形データ３５ａから、発話時間の長さを発話開始前に測定する。波形データ３５ａ自体は実時間の音声波形に再生される前のデータであるから、波形データ３５ａのデータ長さ（バイト数）を調べることなどにより、瞬時に発話時間を測定することができる。
【００２４】
動作パターン組合せ生成部３３は、発話時間測定部３２で測定した発話時間に対して、ロボットの発話の開始と終了とにロボットの動作の開始と終了とが一致するように、データベース３１の内容から２つ以上の動作パターンの組合せを選択し、それの再生順序及び再生タイミングを生成する。
【００２５】
また、動作パターン組合せ生成部３３は、発話開始と発話終了とに動作の開始と終了とがぴったり一致しない場合は、前後に隣接する動作パターンの間に無動作時間を挿入するようにしている。
【００２６】
動作パターン組合せ生成部３３が選択する複数の動作パターンは発話内容になるべく適していることが好ましく、そのために、動作種別選択信号３８ａを利用している。
【００２７】
本例では、動作種別判断部３８にて発声すべき文字データを解析することで、質問や話し掛け、確認等の動作種別を判断し、動作種別選択信号３８ａを得るようにしている。
【００２８】
動作制御装置３９は、動作パターン組合せ生成部３３が選択した複数の動作パターンを、動作パターン組合せ生成部３３が指定する再生順序と再生タイミングで再生し、頭部１２や腕部１５、胴部１４のアクチュエータ（駆動機構）４０を実際に動作させる。
【００２９】
図２に動作パターンの組合せ手順の例を示す。
【００３０】
図２においては、波形データ３５ａの長さから、発話時間は１４．５秒であり、動作種別はロボットからユーザに対する質問であるとしている。
【００３１】
そこで、動作パターン組合せ生成部３３は、まず、動作種別＝質問より、最後に行う動作として２秒所要する質問用の動作パターン（２秒分の問い掛ける動き）を決定する。次に、始めに行う動作として、８秒分の話し掛ける動きの動作パターンと４秒分の話し掛ける動きの動作パターンとを組み合わせ、全体で１４秒を埋める。残った０．５秒については、４秒分の話し掛ける動きの動作パターンと２秒分の問い掛ける動きの動作パターンとの間に、０．５秒の無動作時間を挿入する。
【００３２】
これにより、発話の開始と終了とに動作の開始と終了とがぴったり一致し、ロボット１が発話している間、ロボット１が適度に動作するとともに、ユーザに発話の開始及び終了のタイミングを伝えることができる。
【００３３】
【発明の効果】
第１発明は、動作時間が互いに異なる値に決まっている複数の動作パターンのデータを有するデータベースと、ロボットが発話を開始する前に生成される音声の波形データから発話時間の長さを発話開始前に測定する発話時間測定手段と、前記発話時間測定手段で測定した発話時間に対して発話の開始と終了とに動作の開始と終了とが一致するように、前記データベースの内容から２つ以上の動作パターンの組合せ、再生順序及び再生タイミングを生成する動作パターン組合せ生成手段とを備えるので、発話に合わせて適度にロボットを動作させるとともに、ユーザに発話の開始及び終了のタイミングを伝えることができる。
【００３４】
第２発明は、発話開始と発話終了とに動作の開始と終了とが一致しない場合、動作パターン組合せ生成手段が前後に隣接する動作パターンの間に無動作時間を挿入するので、発話の開始と終了とに動作の開始と終了とがぴったり一致する。
【００３５】
第３発明は、発声すべき文字データから動作種別を判断する動作種別判断手段を備えるので、発話内容に適した動作をロボットに行わせることができる。
【００３６】
第４発明は、ロボットが第１発明から第３発明いずれかのロボット発話中の動作プログラム生成装置を有するので、ロボットが発話に合わせて適度に動作するとともに、ユーザに発話の開始及び終了のタイミングを伝えることができる。
【図面の簡単な説明】
【図１】本発明の実施例に係るロボット発話中の動作プログラム生成装置の構成を示す図。
【図２】動作パターンの組合せ手順の例を示す図。
【図３】ロボットの一例を示す図。
【符号の説明】
１　ロボット
１２　頭部
１３　胸部
１４　胴部（台車部）
２０ａ　スピーカ
３１　データベース
３２　発話時間測定部
３３　動作パターン組合せ生成部
３４　音声合成装置
３５　音声波形生成部
３５ａ　音声の波形データ
３６　波形再生部
３７　増幅器
３８　動作種別判断部
３８ａ　動作種別選択信号
３９　動作制御部
４０　アクチュエータ
【図１】
2004034273.tif 000003
【図２】
2004034273.tif 000004
【図３】
2004034273.tif 000005