(57)【要約】【課題】資料説明者の意図を正確にユーザに伝えることが可能な身振りを行うことができるプレゼンター動作再現ロボット、プレゼンター動作再現ロボットの制御方法及び制御プログラムを得ることを目的とする。【解決手段】動作パターン記憶部９に記憶されているロボットの動作パターンの中から、動作解析部３により解析されたプレゼンターの動作に対応し、かつ、キーワード検出部８により検出されたキーワードに対応する動作パターンを検索する動作パターン検索部１０を設け、身体制御部１２が動作パターン検索部１０により検索された動作パターンにしたがって身体を制御する。【選択図】図１
2008254103.tif 000002
【特許請求の範囲】
【請求項１】
資料説明者の動作を解析する動作解析手段と、
上記資料説明者の音声を認識する音声認識手段と、
上記資料説明者の動作及び音声に対応するロボット動作を記憶しているロボット動作記憶手段と、
上記ロボット動作記憶手段に記憶されているロボット動作の中から、上記動作解析手段により解析された資料説明者の動作に対応し、かつ、上記音声認識手段により認識された資料説明者の音声に対応するロボット動作を検索するロボット動作検索手段と、
上記ロボット動作検索手段により検索されたロボット動作にしたがって身体を制御する身体制御手段と
を備えたプレゼンター動作再現ロボット。
【請求項２】
資料説明者の音声に対応するロボット動作として、特定のキーワードに対応するロボット動作を記憶している上記ロボット動作記憶手段と、
上記資料説明者の音声の中から特定のキーワードを検出する上記音声認識手段と、
上記ロボット動作記憶手段に記憶されているロボット動作の中から、上記資料説明者の動作に対応し、かつ、上記音声認識手段により検出された特定のキーワードに対応するロボット動作を検索する上記ロボット動作検索手段とを備えたことを特徴とする請求項１記載のプレゼンター動作再現ロボット。
【請求項３】
ロボット動作検索手段は、音声認識手段により特定のキーワードが検出されない場合、ロボット動作記憶手段に記憶されているロボット動作の中から、資料説明者の動作に対応するロボット動作を検索することを特徴とする請求項２記載のプレゼンター動作再現ロボット。
【請求項４】
動作解析手段が資料説明者の動作を解析する動作解析ステップと、
音声認識手段が上記資料説明者の音声を認識する音声認識ステップと、
ロボット動作検索手段が上記資料説明者の動作及び音声に対応するロボット動作を記憶しているロボット動作記憶手段から、上記動作解析手段により解析された資料説明者の動作に対応し、かつ、上記音声認識手段により認識された資料説明者の音声に対応するロボット動作を検索するロボット動作検索ステップと、
身体制御手段が上記ロボット動作検索手段により検索されたロボット動作にしたがって身体を制御する身体制御ステップと
を備えたプレゼンター動作再現ロボットの制御方法。
【請求項５】
資料説明者の動作を解析する動作解析処理手順と、
上記資料説明者の音声を認識する音声認識処理手順と、
上記資料説明者の動作及び音声に対応するロボット動作を記憶しているロボット動作記憶手段から、上記動作解析処理手順により解析された資料説明者の動作に対応し、かつ、上記音声認識処理手順により認識された資料説明者の音声に対応するロボット動作を検索するロボット動作検索処理手順と、
上記ロボット動作検索処理手順により検索されたロボット動作にしたがって身体を制御する身体制御処理手順と
をコンピュータに実行させるためのプレゼンター動作再現ロボットの制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、資料の説明などを行うプレゼンターの動作を再現するプレゼンター動作再現ロボット、プレゼンター動作再現ロボットの制御方法及び制御プログラムに関するものである。
【背景技術】
【０００２】
以下の特許文献１には、検査技術者の頭部の動作を検知する動き解析装置を実装し、その動き解析装置の検知結果を参照して、ロボットの頭部が検査技術者の頭部と同じ動作を行うように、ロボットの頭部を制御する技術が開示されている。
ただし、このロボットは、動き解析装置が検査技術者の頭部の動作を検知するようにしているが、検査技術者の音声を解析することはない。
このため、ロボットの動作は、検査技術者の頭部の動作のみに依存し、検査技術者の音声との対応関係は存在しない。
【０００３】
【特許文献１】特開２００５−１１８９５３号公報（段落番号［００１４］から［００２５］、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来のロボットは以上のように構成されているので、検査技術者の頭部と同じ動作を行うように頭部が制御されるが、検査技術者の音声と無関係に頭部が制御される。このため、ユーザがロボットの動作を見ても、その動作の意図を容易に把握することができないことがあるなどの課題があった。
【０００５】
この発明は上記のような課題を解決するためになされたもので、資料説明者の意図を正確にユーザに伝えることが可能な身振りを行うことができるプレゼンター動作再現ロボット、プレゼンター動作再現ロボットの制御方法及び制御プログラムを得ることを目的とする。
【課題を解決するための手段】
【０００６】
請求項１記載の発明に係るプレゼンター動作再現ロボットは、資料説明者の動作を解析する動作解析手段と、資料説明者の音声を認識する音声認識手段と、資料説明者の動作及び音声に対応するロボット動作を記憶しているロボット動作記憶手段と、ロボット動作記憶手段に記憶されているロボット動作の中から、動作解析手段により解析された資料説明者の動作に対応し、かつ、音声認識手段により認識された資料説明者の音声に対応するロボット動作を検索するロボット動作検索手段と、ロボット動作検索手段により検索されたロボット動作にしたがって身体を制御する身体制御手段とを備えるようにしたものである。
【０００７】
請求項１記載の発明によれば、資料説明者の意図を正確にユーザに伝えることが可能な身振りを行うことができる効果が得られる。
【０００８】
請求項２記載の発明に係るプレゼンター動作再現ロボットは、資料説明者の音声に対応するロボット動作として、特定のキーワードに対応するロボット動作を記憶しているロボット動作記憶手段と、資料説明者の音声の中から特定のキーワードを検出する音声認識手段と、ロボット動作記憶手段に記憶されているロボット動作の中から、資料説明者の動作に対応し、かつ、音声認識手段により検出された特定のキーワードに対応するロボット動作を検索するロボット動作検索手段とを備えるようにしたものである。
【０００９】
請求項２記載の発明によれば、プレゼンター動作再現ロボットの動作を特定のキーワードと対応付けることができるようになり、さらに、資料説明者の意図を正確にユーザに伝えることが可能な身振りを行うことができる効果が得られる。
【００１０】
請求項３記載の発明に係るプレゼンター動作再現ロボットは、音声認識手段により特定のキーワードが検出されない場合、ロボット動作検索手段がロボット動作記憶手段に記憶されているロボット動作の中から、資料説明者の動作に対応するロボット動作を検索するようにしたものである。
【００１１】
請求項３記載の発明によれば、特定のキーワードが検出されない場合でも、資料説明者の動作を再現することができる効果が得られる。
【００１２】
請求項４記載の発明に係るプレゼンター動作再現ロボットの制御方法は、動作解析手段が資料説明者の動作を解析する動作解析ステップと、音声認識手段が資料説明者の音声を認識する音声認識ステップと、ロボット動作検索手段が資料説明者の動作及び音声に対応するロボット動作を記憶しているロボット動作記憶手段から、動作解析手段により解析された資料説明者の動作に対応し、かつ、音声認識手段により認識された資料説明者の音声に対応するロボット動作を検索するロボット動作検索ステップと、身体制御手段がロボット動作検索手段により検索されたロボット動作にしたがって身体を制御する身体制御ステップとを備えようにしたものである。
【００１３】
請求項４記載の発明によれば、資料説明者の意図を正確にユーザに伝えることが可能な身振りを行うことができる効果が得られる。
【００１４】
請求項５記載の発明に係るプレゼンター動作再現ロボットの制御プログラムは、資料説明者の動作を解析する動作解析処理手順と、資料説明者の音声を認識する音声認識処理手順と、資料説明者の動作及び音声に対応するロボット動作を記憶しているロボット動作記憶手段から、動作解析処理手順により解析された資料説明者の動作に対応し、かつ、音声認識処理手順により認識された資料説明者の音声に対応するロボット動作を検索するロボット動作検索処理手順と、ロボット動作検索処理手順により検索されたロボット動作にしたがって身体を制御する身体制御処理手順とを備えようにしたものである。
【００１５】
請求項５記載の発明によれば、資料説明者の意図を正確にユーザに伝えることが可能な身振りを行うことができる効果が得られる。
【発明の効果】
【００１６】
この発明によれば、ロボット動作記憶手段に記憶されているロボット動作の中から、動作解析手段により解析された資料説明者の動作に対応し、かつ、音声認識手段により認識された資料説明者の音声に対応するロボット動作を検索するロボット動作検索手段を設け、身体制御手段がロボット動作検索手段により検索されたロボット動作にしたがって身体を制御するように構成したので、資料説明者の意図を正確にユーザに伝えることが可能な身振りを行うことができる効果がある。
【発明を実施するための最良の形態】
【００１７】
実施の形態１．
図１はこの発明の実施の形態１によるプレゼンター動作再現ロボットを示す構成図であり、図１において、カメラ１は資料説明者であるプレゼンターを撮影し、プレゼンターの映像を映像格納部２に格納する。
映像格納部２はカメラ１から出力されたプレゼンターの映像を格納するメモリである。
動作解析部３は例えばＣＰＵ等を実装している半導体集積回路基板などから構成されており、映像格納部２に格納されている映像の変化を捉えて、プレゼンターの動作を解析する処理を実施する。
なお、カメラ１、映像格納部２及び動作解析部３から動作解析手段が構成されている。
【００１８】
キーワード格納部４はプレゼンターの音声の中から検出する対象のキーワードを格納しているメモリである。
マイク５はプレゼンターの音声を集音して、その音声信号を音声格納部６に出力する。
音声格納部６はマイク５から出力された音声信号を格納するメモリである。
【００１９】
音声認識処理部７は例えばＣＰＵ等を実装している半導体集積回路基板などから構成されており、音声格納部６に格納されている音声信号を解析して、プレゼンターの音声を識別する処理を実施する。
キーワード検出部８は例えばＣＰＵ等を実装している半導体集積回路基板などから構成されており、音声認識処理部７により識別された音声の中から、キーワード格納部４に格納されているキーワードを検出する処理を実施する。
なお、キーワード格納部４、マイク５、音声格納部６、音声認識処理部７及びキーワード検出部８から音声認識手段が構成されている。
【００２０】
動作パターン記憶部９はプレゼンターの動作及び特定のキーワードに対応する動作パターン（ロボット動作）を記憶しているメモリである。なお、動作パターン記憶部９はロボット動作記憶手段を構成している。
動作パターン検索部１０は例えばＣＰＵ等を実装している半導体集積回路基板などから構成されており、動作パターン記憶部９に記憶されている動作パターンの中から、動作解析部３により解析されたプレゼンターの動作に対応し、かつ、キーワード検出部８により検出されたキーワードに対応する動作パターンを検索する処理を実施する。なお、動作パターン検索部１０はロボット動作検索手段を構成している。
動作パターン格納部１１は動作パターン検索部１０により検索された動作パターンを格納するメモリである。
【００２１】
身体制御部１２は例えばＣＰＵ等を実装している半導体集積回路基板などから構成されており、タイミング発生部１４から出力されるタイミング信号に同期して、動作パターン格納部１１に格納されている動作パターンにしたがって身体を制御する処理を実施する。なお、身体制御部１２は身体制御手段を構成している。
音声再生部１３は例えばオーディオ装置などから構成されており、タイミング発生部１４から出力されるタイミング信号に同期して、音声格納部６に格納されている音声信号にしたがってプレゼンターの音声を再生する処理を実施する。
タイミング発生部１４は外部からロボットの動作開始要求を受けると、身体制御部１２と音声再生部１３の同期を確立するために、タイミング信号（例えば、所定周波数のパルス信号や、開始トリガ信号など）を身体制御部１２及び音声再生部１３に出力する。
【００２２】
図２はこの発明の実施の形態１によるプレゼンター動作再現ロボットの動作解析部３を示す構成図であり、図２において、変化部位検出部２１は映像格納部２に格納されている映像の変化を捉えて、動いているプレゼンターの部位を検出する処理を実施する。
変化部位解析部２２は変化部位検出部２１により検出された部位の動き（例えば、動いている方向）を解析する処理を実施する。
【００２３】
図３はこの発明の実施の形態１によるプレゼンター動作再現ロボットの音声認識処理部７を示す構成図であり、図３において、特徴抽出部３１は音声格納部６に格納されている音声信号に対して、例えば、ＬＰＣ分析を実行することにより、その音声信号の対数パワー、１６次ケプストラム係数、Δ対数パワー及びΔ１６次ケプストラム係数を含む３４次元の特徴パラメータを抽出する。
ＨＭＭメモリ３２は隠れマルコフモデル（隠れマルコフモデルは、複数の状態と、各状態間の遷移を示す弧とから構成されており、各弧には状態間の遷移確率と入力コード（特徴パラメータ）に対する出力確率が格納されている）を記憶しているメモリである。
音素照合部３３はＨＭＭメモリ３２に格納されている隠れマルコフモデルを用いて音素照合処理を実施することにより、特徴抽出部３１により抽出された特徴パラメータから音素データを生成する。
【００２４】
言語モデル格納部３４は統計的言語モデルを格納しているメモリである。
音声認識部３５は言語モデル格納部３４に格納されている統計的言語モデルを参照して、例えば、“Ｏｎｅ  Ｐａｓｓ  ＤＰアルゴリズム”を実行する。即ち、音素照合部３３により生成された音素データについて左から右方向に、後戻りなしに処理して、より高い生起確率の単語を音声認識結果（プレゼンターの音声）に決定する音声認識処理を実施する。
【００２５】
図４はこの発明の実施の形態１によるプレゼンター動作再現ロボットを示す正面図である。また、図５はこの発明の実施の形態１によるプレゼンター動作再現ロボットを示す側面図である。
図４及び図５では、上肢（左上腕部４１Ｌ、右上腕部４１Ｒ、左下腕部４２Ｌ、右下腕部４２Ｒ）や首（首関節部４６Ｎ）のアクチュエータを動かして、プレゼンターの動作を再現するプレゼンター動作再現ロボットの例を示している。
図４及び図５において、プレゼンター動作再現ロボットの左上腕部４１Ｌは一端が可動自在に左肩関節部４３Ｌに取り付けられており、左下腕部４２Ｌは一端が可動自在に左肘関節部４４Ｌに取り付けられている。
左肩関節部４３Ｌは身体制御部１２の指示の下、例えば、左上腕部４１Ｌを矢印Ａ方向に回転させるアクチュエータや、左上腕部４１Ｌを矢印Ｂ方向にスイングさせるアクチュエータなどからなる機械要素である。
左肘関節部４４Ｌは身体制御部１２の指示の下、例えば、左下腕部４２Ｌを矢印Ｃ方向に回転させるアクチュエータなどからなる機械要素である。
【００２６】
プレゼンター動作再現ロボットの右上腕部４１Ｒは一端が可動自在に右肩関節部４３Ｒに取り付けられており、右下腕部４２Ｒは一端が可動自在に右肘関節部４４Ｒに取り付けられている。
右肩関節部４３Ｒは身体制御部１２の指示の下、例えば、右上腕部４１Ｒを矢印Ａ方向に回転させるアクチュエータや、右上腕部４１Ｒを矢印Ｂ方向にスイングさせるアクチュエータなどからなる機械要素である。
右肘関節部４４Ｒは身体制御部１２の指示の下、例えば、右下腕部４２Ｒを矢印Ｃ方向に回転させるアクチュエータなどからなる機械要素である。
【００２７】
移動ローラ４５Ｌ，４５Ｒは身体制御部１２の指示の下、プレゼンター動作再現ロボットを移動させる移動機構である。
首関節部４６Ｎは身体制御部１２の指示の下、プレゼンター動作再現ロボットの首を上下に向けたり、左右に回転させたりするアクチュエータなどからなる機械要素である。
【００２８】
図１の例では、プレゼンター動作再現ロボットの構成要素であるカメラ１、動作解析部３、マイク５、音声認識処理部７、キーワード検出部８、動作パターン検索部１０、身体制御部１２、音声再生部１３及びタイミング発生部１４がそれぞれ専用のハードウェアで構成されていることを想定しているが、プレゼンター動作再現ロボットがコンピュータで構成されている場合、カメラ１、動作解析部３、マイク５、音声認識処理部７、キーワード検出部８、動作パターン検索部１０、身体制御部１２、音声再生部１３及びタイミング発生部１４の処理内容を記述しているプログラムをコンピュータのメモリに格納し、コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図６はこの発明の実施の形態１によるプレゼンター動作再現ロボットの処理内容を示すフローチャートである。
【００２９】
次に動作について説明する。
カメラ１は、資料説明者であるプレゼンターを例えば一定時間毎（例えば、５秒毎）に撮影し、プレゼンターの映像を映像格納部２に格納する（ステップＳＴ１）。
ここでは、カメラ１により撮影された映像が間欠映像であれば、撮影時刻Ｔの最新の映像をＰT、カメラ１により前回撮影された撮影時刻Ｔ−１の映像をＰT-1、カメラ１によりＮ回前に撮影された撮影時刻Ｔ−Ｎの映像をＰT-Nで表記する。
また、カメラ１により撮影された映像が連続映像であれば、最新フレームの映像をＰT、１フレーム前の映像をＰT-1、Ｎフレーム前の映像をＰT-Nで表記する。
【００３０】
動作解析部３は、カメラ１がプレゼンターの映像を映像格納部２に格納すると、映像格納部２に格納されている映像ＰT，ＰT-1，ＰT-2，・・・，ＰT-Nの変化を捉えて、プレゼンターの動作を解析する（ステップＳＴ２）。
以下、動作解析部３による動作の解析処理を具体的に説明する。
ただし、説明の簡単化のため、図７に示すように、映像ＰT，ＰT-1，ＰT-2を比較する例を説明する。
【００３１】
動作解析部３の変化部位検出部２１は、映像格納部２に格納されている映像ＰT，ＰT-1，ＰT-2の変化を捉えて、動いているプレゼンターの部位を検出する。
即ち、変化部位検出部２１は、図８に示すように、映像ＰTと映像ＰT-1の差分映像ＳT（映像ＰTのうち、映像ＰT-1と相違している部分のみを示す映像）を求めるとともに、映像ＰT-1と映像ＰT-2の差分映像ＳT-1（映像ＰT-1のうち、映像ＰT-2と相違している部分のみを示す映像）を求め、それらの差分映像ＳT，ＳT-1の輪郭を抽出して、その輪郭の特徴を解析する。
変化部位検出部２１は、例えば、動きの検出対象部位がプレゼンターの“首”と“手”である場合、輪郭の特徴量と予め設定されているプレゼンターの“首”の特徴量（または、“手”の特徴量）を比較し、双方の特徴量の差分が所定の閾値より小さければ、動いているプレゼンターの部位が“首”（または、“手”）であると判別する。
【００３２】
ここでは、変化部位検出部２１が差分映像の輪郭を抽出する処理や特徴量を抽出する処理などを実施して、動いているプレゼンターの部位を検出するものについて示したが、これに限るものではなく、例えば、公知の顔認識アルゴリズム等を使用して、差分映像が顔画像であるか否かを判別することにより、動いているプレゼンターの部位が“首”であるか否かを判別するようにしてもよい。
公知の顔認識アルゴリズムは、例えば、「電子情報通信学会論文誌Ｄ−II  ｖｏｌ．Ｊ８８−Ｄ−II  Ｎｏ．８  ｐｐ．１３３９−１３４８  ２００５」などに開示されている。
【００３３】
変化部位解析部２２は、変化部位検出部２１が動いているプレゼンターの部位を検出すると、差分映像ＳT，ＳT-1を比較して、その部位の動きを解析する。
即ち、変化部位解析部２２は、変化部位検出部２１により検出された部位が動いている方向を解析する。
動いているプレゼンターの部位が“首”であれば、首の上又は下方向の移動、あるいは、右又は左方向の回転を検出する。
また、動いているプレゼンターの部位が“手”であれば、手の右又は左方向の移動を検出する。
【００３４】
マイク５は、カメラ１による撮影と並行して、プレゼンターの音声を集音し、その音声信号を音声格納部６に格納する（ステップＳＴ３）。
音声認識処理部７は、マイク５が音声信号を音声格納部６に格納すると、その音声信号を解析して、プレゼンターの音声を識別する（ステップＳＴ４）。
以下、音声認識処理部７による音声の識別処理を具体的に説明する。
【００３５】
音声認識処理部７の特徴抽出部３１は、音声格納部６に格納されている音声信号に対して、例えば、ＬＰＣ分析を実行することにより、その音声信号の対数パワー、１６次ケプストラム係数、Δ対数パワー及びΔ１６次ケプストラム係数を含む３４次元の特徴パラメータを抽出する。
音素照合部３３は、特徴抽出部３１が特徴パラメータを抽出すると、ＨＭＭメモリ３２に格納されている隠れマルコフモデルを用いて音素照合処理を実施することにより、特徴抽出部３１により抽出された特徴パラメータから音素データを生成する。
【００３６】
音声認識部３５は、音素照合部３３が音素データを生成すると、言語モデル格納部３４に格納されている統計的言語モデルを参照して、例えば、“Ｏｎｅ  Ｐａｓｓ  ＤＰアルゴリズム”を実行する。
即ち、音声認識部３５は、その音素データについて左から右方向に、後戻りなしに処理して、より高い生起確率の単語（例えば、名詞、動詞）を音声認識結果（プレゼンターの音声）に決定する音声認識処理を実施する。
【００３７】
キーワード検出部８は、音声認識処理部７がプレゼンターの音声を識別すると、そのプレゼンターの音声の中から、キーワード格納部４に格納されているキーワードを検出する（ステップＳＴ５）。
例えば、キーワードとして、「どうでしょう」、「新商品」、「おめでとうございます」などがキーワード格納部４に格納されている場合、プレゼンターの音声を構成している単語（または、単語の組み合わせ）と、「どうでしょう」などのキーワードとを比較して、そのキーワードと一致する単語（または、単語の組み合わせ）を検出する。
【００３８】
動作パターン検索部１０は、動作解析部３がプレゼンターの動作を解析し、かつ、キーワード検出部８がキーワードを検出すると、動作パターン記憶部９に記憶されている動作パターンの中から、動作解析部３により解析されたプレゼンターの動作に対応し、かつ、キーワード検出部８により検出されたキーワードに対応する動作パターンを検索し（ステップＳＴ６）、その動作パターンを動作パターン格納部１１に格納する。
ここで、動作パターン記憶部９には、図９に示すように、例えば、ロボットの右手、左手、首など、ロボットのパーツ毎の動作パターンが記憶されている。
【００３９】
例えば、動作解析部３の解析結果が「プレゼンターの右手が右から左に動いている」旨を示し、キーワード検出部８がキーワード「新商品」を検出している場合、動作パターン検索部１０が右手用の動作パターン（図９（ａ）を参照）の中から、「ロボットの右手を右から左に移動してから、右手を商品に向ける」動作パターンを検索する。
また、動作解析部３の解析結果が「プレゼンターの左手が左から右に動いている」旨を示し、キーワード検出部８がキーワード「どうでしょう」を検出している場合、動作パターン検索部１０が左手用の動作パターン（図９（ｂ）を参照）の中から、「ロボットの左手を客に向けてから、左手を左から右に移動する」動作パターンを検索する。
【００４０】
ただし、キーワード検出部８によりキーワードが検出されない場合、動作パターン記憶部９に記憶されている動作パターンの中から、動作解析部３により解析されたプレゼンターの動作に対応する動作パターンを検索する。
例えば、動作解析部３の解析結果が「プレゼンターの右手が右から左に動いている」旨を示しているが、キーワード検出部８がキーワードを検出しない場合、動作パターン検索部１０が右手用の動作パターン（図９（ａ）を参照）の中から、「ロボットの右手を右から左に移動する」動作パターンを検索する。
また、動作解析部３の解析結果が「プレゼンターの左手が左から右に動いている」旨を示しているが、キーワード検出部８がキーワードを検出しない場合、動作パターン検索部１０が左手用の動作パターン（図９（ｂ）を参照）の中から、「ロボットの左手を左から右に移動する」動作パターンを検索する。
【００４１】
ここでは、動作解析部３の解析結果が「プレゼンターの右手」又は「プレゼンターの左手」の動きを示しているので、動作パターン検索部１０が「プレゼンターの右手」又は「プレゼンターの左手」の動作パターンを検索するものについて示したが、例えば、動作解析部３の解析結果が「プレゼンターの右手」、「プレゼンターの左手」、「プレゼンターの首」など、複数の部位の動きを同時に示している場合には、動作パターン検索部１０が「プレゼンターの右手」、「プレゼンターの左手」、「プレゼンターの首」などの動作パターンを同時に検索するようにする。
【００４２】
タイミング発生部１４は、動作パターン検索部１０により動作パターンが動作パターン格納部１１に格納されたのち、外部からロボットの動作開始要求を受けると、身体制御部１２によるロボット制御と音声再生部１３による音声再生を同期させるため、タイミング信号（例えば、所定周波数のパルス信号や、開始トリガ信号など）を身体制御部１２及び音声再生部１３に出力する。
【００４３】
身体制御部１２は、タイミング発生部１４からタイミング信号を受けると、そのタイミング信号に同期して、動作パターン格納部１１に格納されている動作パターンにしたがって身体を制御する。
即ち、身体制御部１２は、ロボットが動作パターンの通りに動作する制御信号をロボットのアクチュエータに出力する（ステップＳＴ７）。
例えば、動作パターンが「ロボットの右手を右から左に移動する」であれば、右肩関節部４３Ｒ及び右肘関節部４４Ｒに係るアクチュエータに制御信号を出力することにより、ロボットの右手を右から左に移動させるようにする。
【００４４】
音声再生部１３は、タイミング発生部１４からタイミング信号を受けると、そのタイミング信号に同期して、音声格納部６に格納されている音声信号にしたがってプレゼンターの音声を再生する。
【００４５】
以上で明らかなように、この実施の形態１によれば、動作パターン記憶部９に記憶されているロボットの動作パターンの中から、動作解析部３により解析されたプレゼンターの動作に対応し、かつ、キーワード検出部８により検出されたキーワードに対応する動作パターンを検索する動作パターン検索部１０を設け、身体制御部１２が動作パターン検索部１０により検索された動作パターンにしたがって身体を制御するように構成したので、プレゼンターの意図を正確にユーザに伝えることが可能な身振りを行うことができる効果を奏する。
即ち、動作パターン検索部１０が動作解析部３により解析されたプレゼンターの動作だけでなく、キーワード検出部８により検出されたキーワードに対応する動作パターンを検索するようにしているので、ロボットの動作を特定のキーワードと対応付けることができるようになり、その結果、プレゼンターの意図を正確にユーザに伝えることが可能なジェスチャを実現することができる効果を奏する。
【００４６】
また、この実施の形態１によれば、キーワード検出部８により特定のキーワードが検出されない場合、動作パターン記憶部９に記憶されているロボットの動作パターンの中から、動作解析部３により解析されたプレゼンターの動作に対応する動作パターンを検索するように構成したので、キーワード検出部８により特定のキーワードが検出されない場合でも、プレゼンターの動作を再現することができる効果を奏する。
【００４７】
なお、この実施の形態１では、動作解析部３が一定時間毎にプレゼンターの動作を解析し、音声認識処理部７が一定時間毎にプレゼンターの音声を認識して、キーワード検出部８がキーワードを検出することを想定しているが、これに限るものではなく、例えば、外部から処理開始要求信号を受ける毎に、動作解析部３がプレゼンターの動作を解析するとともに、音声認識処理部７がプレゼンターの音声を認識して、キーワード検出部８がキーワードを検出するようにしてもよい。
また、例えば、プレゼンターが１文を発話する毎に、動作解析部３がプレゼンターの動作を解析するとともに、音声認識処理部７がプレゼンターの音声を認識して、キーワード検出部８がキーワードを検出するようにしてもよい。
【００４８】
実施の形態２．
上記実施の形態１では、動作パターン検索部１０が動作パターンを動作パターン格納部１１に格納したのち、タイミング発生部１４が外部からロボットの動作開始要求を受けると、タイミング信号を身体制御部１２及び音声再生部１３に出力するものについて示したが（この場合のロボット制御は、通常、プレゼンターが動作を終えてから、プレゼンターの動作と非同期に行われる）、動作パターン検索部１０が動作パターンを動作パターン格納部１１に格納すると、直ちに、タイミング発生部１４がタイミング信号を身体制御部１２及び音声再生部１３に出力するようにしてもよい。
この場合、プレゼンターが動作しているとき、プレゼンターの動作に追従するようなリアルタイムなロボット制御を実施することができる。
【００４９】
実施の形態３．
上記実施の形態１では、カメラ１がプレゼンターの映像を映像格納部２に格納し、マイク５が音声信号を音声格納部６に格納するものについて示したが、例えば、ビデオカメラによりプレゼンターが撮影された録画データを映像格納部２及び音声格納部６に格納するようにしてもよい。
この場合、動作解析部３は、映像格納部２に格納されている録画データからプレゼンターの映像を取得し、音声認識処理部７は、音声格納部６に格納されている録画データからプレゼンターの音声を取得する。
【図面の簡単な説明】
【００５０】
【図１】この発明の実施の形態１によるプレゼンター動作再現ロボットを示す構成図である。
【図２】この発明の実施の形態１によるプレゼンター動作再現ロボットの動作解析部３を示す構成図である。
【図３】この発明の実施の形態１によるプレゼンター動作再現ロボットの音声認識処理部７を示す構成図である。
【図４】この発明の実施の形態１によるプレゼンター動作再現ロボットを示す正面図である。
【図５】この発明の実施の形態１によるプレゼンター動作再現ロボットを示す側面図である。
【図６】この発明の実施の形態１によるプレゼンター動作再現ロボットの処理内容を示すフローチャートである。
【図７】カメラ１により撮影された映像を示す説明図である。
【図８】カメラ１により撮影された複数の差分映像を示す説明図である。
【図９】ロボットのパーツ毎の動作パターンを示す説明図である。成図である。
【符号の説明】
【００５１】
１  カメラ（動作解析手段）
２  映像格納部（動作解析手段）
３  動作解析部（動作解析手段）
４  キーワード格納部（音声認識手段）
５  マイク（音声認識手段）
６  音声格納部（音声認識手段）
７  音声認識処理部（音声認識手段）
８  キーワード検出部（音声認識手段）
９  動作パターン記憶部（ロボット動作記憶手段）
１０  動作パターン検索部（ロボット動作検索手段）
１１  動作パターン格納部
１２  身体制御部（身体制御手段）
１３  音声再生部
１４  タイミング発生部
２１  変化部位検出部
２２  変化部位解析部
３１  特徴抽出部
３２  ＨＭＭメモリ
３３  音素照合部
３４  言語モデル格納部
３５  音声認識部
４１Ｌ  左上腕部
４１Ｒ  右上腕部
４２Ｌ  左下腕部
４２Ｒ  右下腕部
４３Ｌ  左肩関節部
４３Ｒ  右肩関節部
４４Ｌ  左肘関節部
４４Ｒ  右肘関節部
４５Ｌ，４５Ｒ  移動ローラ
４６Ｎ  首関節部
【図１】
2008254103.tif 000003
【図２】
2008254103.tif 000004
【図３】
2008254103.tif 000005
【図４】
2008254103.tif 000006
【図５】
2008254103.tif 000007
【図６】
2008254103.tif 000008
【図７】
2008254103.tif 000009
【図８】
2008254103.tif 000010
【図９】
2008254103.tif 000011