(57)【要約】【課題】移動しながら指揮者の運動を視認し、視認した指揮者の運動によってその後の動作を変えるロボットに、自然な感じで指揮できるようにする補助装置を提供すること。【解決手段】本発明で創作された指示装置３００は、移動しながらヒトの運動を視認し、視認したヒトの運動によってその後の動作を変えるロボットに指示するための装置である。その指示装置３００は、ヒトを撮影し続けるカメラ３４０と、マトリクス状に配置されたＬＥＤ３２２からなる表示部３２０とから構成される。表示部３２０は、カメラ３４０で撮影されたヒトの運動をほぼ同時に再現表示するとともに、ロボットを挟んでヒトと向合って配置される。【選択図】  図６
2005001031.tif 000002
【特許請求の範囲】
【請求項１】
移動しながらヒトの運動を視認し、視認したヒトの運動によってその後の動作を変えるロボットに指示する装置であり、
ヒトを撮影し続けるカメラと、
そのカメラで撮影されたヒトの運動をほぼ同時に再現する手段を備え、
その再現手段が、ロボットを挟んでヒトと向合って配置されていることを特徴とする移動ロボットに指示する装置。
【請求項２】
実際の「ヒトの運動」と請求項１の再現手段に再現された「ヒトの運動」のいずれか一方を視認し、視認した「ヒトの運動」によってその後の動作を変えるロボットであり、
連続して撮影するカメラと、そのカメラを搭載している頭部と、その頭部を胴体部に対して所定範囲内で回転させるアクチュエータと、そのアクチュエータを制御するアクチュエータ制御装置を備え、
そのアクチュエータ制御装置は、
（１）一方の「ヒトの運動」がカメラ視野内にあるときには、その一方の「ヒトの運動」をカメラ視野内に維持するようにアクチュエータを制御し、
（２）一方の「ヒトの運動」をカメラ視野内に維持できなくなるときには、
（２−１）他方の「ヒトの運動」をカメラ視野内に入れるために必要な「胴体部に対する頭部の回転位置」を計算し、
（２−２）計算された「胴体部に対する頭部の回転位置」を実現するようにアクチュエータを制御する
ことを特徴とするロボット。
【請求項３】
実際の「ヒトの運動」と複数台存在する請求項１の再現手段に再現された「ヒトの運動」のいずれか一つの「ヒトの運動」を視認し、視認した「ヒトの運動」によってその後の動作を変えるロボットであり、
連続して撮影するカメラと、そのカメラを搭載している頭部と、その頭部を胴体部に対して所定範囲内で回転させるアクチュエータと、そのアクチュエータを制御するアクチュエータ制御装置を備え、
そのアクチュエータ制御装置は、
（１）いずれか一つの「ヒトの運動」がカメラ視野内にあるときには、その「ヒトの運動」をカメラ視野内に維持するようにアクチュエータを制御し、
（２）カメラ視野内にある「ヒトの運動」をカメラ視野内に維持できなくなるときには、
（２−１）他の「ヒトの運動」毎に、その「ヒトの運動」をカメラ視野内に入れるために必要な「胴体部に対する頭部の回転位置」を計算し、
（２−２）計算された「胴体部に対する頭部の回転位置」の中から前記所定範囲の中間位置に最も近いものを選択し、
（２−３）選択された「胴体部に対する頭部の回転位置」を実現するようにアクチュエータを制御する
ことを特徴とするロボット。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、移動しながらヒトの運動を視認し、視認したヒトの運動によってその後の動作を変えるロボットと、そのロボットに指示する装置に関する。
【０００２】
【従来の技術】本発明者らは、指揮者の指揮に合わせて動作（例えば移動速度や楽器演奏速度）を変えるロボットを開発している。特許文献１には、指揮棒に加速度センサを組み込み、加速度センサの出力から指揮者の意図する速度を特定する技術が開示されている。特許文献１に記載の技術を利用すると、指揮棒の動きから指揮者の意図する速度を特定し、それをロボットに伝達することが可能となり、その後のロボットの動作速度を指揮者の意図にあわせて増減速することができるように思われる。
【０００３】
【特許文献１】
特開平７−２６１７５１号公報
【０００４】
【発明が解決しようとする課題】移動するロボットが方向を変えながら移動する場合、ロボットが指揮者に背を向けて移動する期間がある。特許文献１に記載の技術では、指揮棒に組み込まれている加速度センサを利用して指揮者の意図する速度を特定することから、特定された速度を無線等によってロボットに伝達することによって、ロボットが指揮者に背を向けて移動する期間中でも、指揮者の意図する速度でロボットを動作させることが可能である。
しかしながら、実際にはひどく不自然である。指揮者に背を向けて移動するロボットには指揮者が見えないはずであり、指揮者が見えないはずのロボットが指揮者の指揮にあわせて動作するのはひどく不自然である。指揮者はロボットの背を見ながら指揮しなければならず、ひどく指揮しずらい。指揮者とロボットを観察している観客には、指揮者を見えないはずのロボットが指揮者の指揮にあわせて動作する様子が観察され、これもまた不自然である。
【０００５】
その不自然さを解決するために、指揮者を撮影し続けるカメラをロボットの頭部に登載し、その頭部が胴体部に対して３６０°以上回転するロボットを試作してみた。そのロボットによると、移動するロボットが指揮者に背を向ける方位となっても、頭部を回転させることによってカメラ視野内に指揮者を維持することができ、指揮者を見えないはずのロボットが指揮者の指揮にあわせて動作することにはならない。
しかしながら、頭部が胴体部に対して３６０°以上回転すること自体が不自然であり、やはり無理がある。
【０００６】
本発明は、上記した課題を解決するために開発されたものであり、移動しながら指揮者の運動を視認し、視認した指揮者の運動によってその後の動作を変えるロボットに、自然な感じで指揮できるようにする補助装置を提供する。
また補助装置を活用し、移動方向にかかわらずに指揮者の運動を視認しつづけられるロボットを提供する。
【０００７】
【課題を解決するための手段と作用と効果】本発明で創作された指示装置は、移動しながらヒトの運動を視認し、視認したヒトの運動によってその後の動作を変えるロボットに指示するための装置である。その指示装置は、ヒトを撮影し続けるカメラと、そのカメラで撮影されたヒトの運動をほぼ同時に再現する手段を備えている。その再現手段は、ロボットを挟んでヒトと向合って配置される。
上記したロボットは、例えば指揮者の指揮を視認し、その後の移動速度や演奏速度を変えるロボットに具現化することができる。再現手段は、ヒトの運動を再現できるものであれば、どのようなものでもよい。例えば、マトリクス状に配列されたＬＥＤ群を用いることができる。あるいは機械的に動作することによってヒトの運動を再現するもの（例えばヒトの運動をアームを動かすことによって再現するもの）を用いることもできる。再現手段は、ヒトの運動を同一スケールで再現するものに限られない。ヒトの運動を縮小又は拡大して再現するものでもよい。またヒトの運動を一次元的の運動に変換し、一次元の表示装置（例えば一列に配列されたＬＥＤアレイ）でヒトの運動を再現することもできる。
再現装置がロボットを挟んでヒトと向合って配置されるという場合、ロボットの移動範囲を挟んだ両側にヒトと再現装置が位置しており、厳密に向い合っていることを要しない。ヒトが時計の１２時の位置にある場合、再現装置が４時から８時の位置にあれば、再現装置がロボットを挟んでヒトと向合って配置されるということができる。
【０００８】
ロボットを挟んでヒトと向合う位置に再現装置が配置されていれば、移動するロボットが指揮者に背を向ける方位となった場合には、その視野の範囲に再現装置が入ることになる。ロボットは、再現装置に再現されたヒトの運動を視認しながら動作を続ける。指揮者は、ロボットは自分に背を向けているものの、再現装置に再現された自分の運動を視認しながら動作していることを知ることができ、安心して指揮を続けることができる。指揮者とロボットを観察している観客にも不自然な感じはおきない。
【０００９】
前記指示装置を利用するためには、ロボットにも新規な構成が必要とされる。実際の「ヒトの運動」と再現手段に再現された「ヒトの運動」のいずれか一方を視認し、視認した「ヒトの運動」によってその後の動作を変えるロボットは、連続して撮影するカメラと、そのカメラを搭載している頭部と、その頭部を胴体部に対して所定範囲内で回転させるアクチュエータと、そのアクチュエータを制御するアクチュエータ制御装置を必要とする。そのアクチュエータ制御装置は、
（１）一方の「ヒトの運動」がカメラ視野内にあるときには、その一方の「ヒトの運動」をカメラ視野内に維持するようにアクチュエータを制御し、
（２）一方の「ヒトの運動」をカメラ視野内に維持できなくなるときには、
（２−１）他方の「ヒトの運動」をカメラ視野内に入れるために必要な「胴体部に対する頭部の回転位置」を計算し、
（２−２）計算された「胴体部に対する頭部の回転位置」を実現するようにアクチュエータを制御する必要がある。
【００１０】
上記のロボットでは、いずれか一方の「ヒトの運動」（実際の「ヒトの運動」か再現手段に再現された「ヒトの運動」のいずれか）がカメラ視野内にあるときには、その一方の「ヒトの運動」をカメラ視野内に維持するようにアクチュエータを制御する。この場合、アクチュエータを大きく回転させる必要もなく、回転中にヒトの運動を見失うこともない。
移動するロボットが方位を変えると、その一方の「ヒトの運動」をカメラ視野内に維持できなくなることがある。一方の「ヒトの運動」をカメラ視野内に維持できなくなるときには、他方の「ヒトの運動」をカメラ視野内に入れることが可能となる。上記のロボットでは、この場合、他方の「ヒトの運動」をカメラ視野内に入れるために必要な「胴体部に対する頭部の回転位置」を計算し、計算された「胴体部に対する頭部の回転位置」を実現するようにアクチュエータを制御する。これによって他方の「ヒトの運動」がカメラ視野内に入り、その後はその他方の「ヒトの運動」をカメラ視野内に維持するようにアクチュエータが制御される。
このロボットによると、「ヒトの運動」をカメラ視野内に維持できなくなるときには撮影対象を変えて撮影可能な「ヒトの運動」を撮影するので、「ヒトの運動」を長時間見失うことがない。
【００１１】
再現手段が複数台存在することもある。「ヒトの運動」が３以上存在することがある。その場合には、アクチュエータ制御装置は、
（１）いずれか一つの「ヒトの運動」がカメラ視野内にあるときには、その「ヒトの運動」をカメラ視野内に維持するようにアクチュエータを制御し、
（２）カメラ視野内にある「ヒトの運動」をカメラ視野内に維持できなくなるときには、
（２−１）他の「ヒトの運動」毎に、その「ヒトの運動」をカメラ視野内に入れるために必要な「胴体部に対する頭部の回転位置」を計算し、
（２−２）計算された「胴体部に対する頭部の回転位置」の中から前記所定範囲の中間位置に最も近いものを選択し、
（２−３）選択された「胴体部に対する頭部の回転位置」を実現するようにアクチュエータを制御する。
【００１２】
上記のロボットは、カメラ視野内にある「ヒトの運動」をカメラ視野内に維持できなくなるときに、他の「ヒトの運動」のそれぞれについてカメラ視野内に入れるために必要な「胴体部に対する頭部の回転位置」を計算する。そして、計算された各「胴体部に対する頭部の回転位置」の中から、頭部の回転可能範囲の中間位置に最も近いものを選択し、選択された「胴体部に対する頭部の回転位置」を実現する。このようにすると、撮影対象を切換えたときに頭部が回転可能範囲の中間位置に近いところにおかれるために、撮影対象を切換えた後にロボットが多少移動しても、新たに撮影対象にされた「ヒトの運動」をカメラ視野内に維持し続けることができる。従って、撮影対象を切換える頻度を少なくすることができる。
【００１３】
【発明の実施の形態】下記の実施例に記載の技術は、次の形態で好適に実施することができる。
（形態１）指揮再現装置は、指揮棒の動きを同一スケールで再現する。
このようにすると、ロボットは、実際に指揮者が行なう指揮と指揮再現装置が再現する指揮のどちらを撮影対象としても、画像処理手順が同じですむ（スケールを補正する必要がない）。
（形態２）ロボットは、指揮者の指揮に合わせて自身の移動速度を変える。さらに、指揮者の指揮に合わせて楽器の演奏速度を変える。
（形態３）指示装置は、ヒトが振る指揮棒を撮影し続けるカメラと、そのカメラの視野内における指揮棒の位置を逐次計算する画像処理装置と、指揮棒のカメラ視野内位置の変化に応じた態様で発光するＬＥＤ群を備える。
本発明者らは、本実施形態に係る指揮再現装置を創作する前に、カメラで撮影された画像をそのままディスプレイ等に表示する指揮再現装置を用いてみた。すると、ロボットが、ディスプレイ等に再現された指揮棒の動きをうまく特定できないことがあった。そこで、本実施形態に係る指揮再現装置のように、指揮棒の動きだけを再現するものを開発した。この指揮再現装置を用いると、ロボットが指揮棒の動きを正確に特定できるようになった。なお、条件によっては、カメラで撮影された画像をそのままディスプレイ等に表示するだけでロボットが指揮棒の動きを正確に特定できることがあり、そのままディスプレイ等に再現する場合を本発明の技術範囲から除外するものではない。
（形態４）指揮再現装置は、マトリクス状に配列されたＬＥＤ群を有している。指揮者が振る指揮棒のカメラ視野内位置に対応する位置にあるＬＥＤを発光させることによって、指揮棒の動きを再現する。
（形態５）ロボットの頭部には、ヒトの目を模してつくられた２つの孔が設けられている。どちらかの孔にカメラのレンズが臨んでいる。
（形態６）ロボットは、ヒトの首を模してつくられた首部に頭部が固定されている。胴体部は、首部を回転可能に支持している。胴体部内には、首部を胴体部に対して回転させるモータを有している。首部が回転すると頭部も回転し、「胴体部に対する頭部の回転位置」が変わる。
（形態７）アクチュエータ制御装置は、ロボットの位置と、胴体部が向いている方向と、撮影対象物（いずれかの「ヒトの運動」）の位置（実際に指揮者が存在する位置又は指揮再現装置の位置）とから、その撮影対象物をカメラ視野内に入れるために必要な「胴体部に対する頭部の回転位置」を計算する。
（形態８）アクチュエータ制御装置は、指揮棒の動き（指揮棒自体の動き又は指揮再現装置が再現する指揮棒の動き）を画像処理によって特定し、特定された指揮棒の動きからテンポとボリュームを特定し、特定されたテンポとボリュームで楽器を演奏させる。
（形態９）ロボットは、自身を移動させる移動機構（車輪等）を有している。
【００１４】
【実施例】（第１実施例）  図面を参照して、本発明に係る実楽器演奏ロボット１０を説明する。図１は、実楽器演奏ロボット１０が進行する様子を平面的に見た図である。実楽器演奏ロボット１０は、会場２の中を進行しながら太鼓６０を演奏する（太鼓６０を叩く）。会場２には、指揮台２００が設置されている。指揮者２０２は、指揮台２００の上で指揮棒２３０を振って指揮をする。指揮棒２３０の先端には赤くて丸い部材２３２が組み付けられている。図１では、指揮者２０２を極めて簡略化して示している。会場２には、さらに、指揮者２０２が行なう指揮を再現する指揮再現装置３００が設置されている。指揮再現装置３００は、指揮を再現して表示する面３２０ａが、指揮台２００の方向を向くように設置されている。指揮台２００と指揮再現装置３００は、会場２を挟んだ両側に配置されている。
ロボット１０は、ヒトの頭（顔）を模してつくられた頭部４０と、ヒトの胴体を模してつくられた胴体部７０と、車輪２２，２２等を有しており、太鼓６０を保持している。ロボット１０の詳しい構成は後で説明する。このロボット１０は、指揮台２００と指揮再現装置３００との間に設定された略円弧状の移動ルート（位置Ａ→位置Ｂ→位置Ｃ→…）を進行しながら太鼓６０を演奏する。
指揮再現装置３００は、マトリクス状に配列されたＬＥＤ群の発光位置を変えることによって、指揮者２０２が行なう指揮を再現する。
【００１５】
まず、ロボット１０の構成について詳しく説明する。図２に、ロボット１０の正面図を示している。ロボット１０は、ヒトを模してつくられたヒューマノイドロボットといえる。
ロボット１０は、車輪２２，２２を回転させることによって自身を進行させる。このロボット１０は、ヒトが行進しながら太鼓を演奏する（叩く）ように、移動しながら太鼓６０を演奏する。
胴体部７０は略直方体形状を有している。胴体部７０には、ロボット１０の動作を統括的に制御する制御部９０と、頭部４０を回転させるモータ５２等が収納されている。
胴体部７０には、アーム（腕）３０ａ，３０ｂが接続されている。以下では、アーム３０ａを右アームといい、アーム３０ｂを左アームという。右アーム３０ａは、上腕部３２ａと下腕部３４ａ（正確には下膊部と記載すべきだが下腕部と記載することにする）とを有している。上腕部３２ａの一端が胴体部７０に揺動自在に取り付けられている。上腕部３２ａの他端には、関節３８ａによって下腕部３４ａが連結されている。下腕部３４ａは、関節３８ａを支点として揺動可能である。この関節３８ａはヒトの肘関節に相当する。下腕部３４ａの一端には、太鼓６０を叩く撥３６ａが固定されている。上腕部３２ａの内部には、下腕部３４ａを揺動させるアクチュエータ３５ａ（例えばソレノイドやモータ）が設けられている。このアクチュエータ３５ａは、制御部９０から出力される制御信号に基づいて駆動される。左アーム３０ｂは、右アーム３０ａと同様の構成をしている。即ち、左アーム３０ｂは、上腕部３２ｂと下腕部３４ｂを有する。下腕部３４ｂは、肘関節３８ｂを支点として揺動可能である。下腕部３４ｂの一端には撥３６ｂが固定されている。また、上腕部３２ｂ内には、下腕部３４ｂを揺動させるアクチュエータ３５ｂが設けられている。
【００１６】
頭部４０は、略直方体形状を有している。頭部４０には、ヒトの目を模してつくられた２つの孔４０ａ，４０ｂが設けられている。孔４０ａが左目に相当し、孔４０ｂが右目に相当する。孔４０ａには、連続的に撮影し続けるビデオカメラ４２のレンズが臨んでいる。
頭部４０と胴体部７０の間には首部５０が設けられている。首部５０は、略円柱形状を有している。首部５０は、胴体部７０に回転可能（回転軸は符号Ｃ１で示している）に支持されている。首部５０（及びそれに固定されている頭部４０）は、胴体部７０に対して回転限界を有している（この点は後で説明する）。首部５０が回転することによって、ヒトが首を振って横を向くように、ロボット１０の頭部４０が横を向くことになる。首部５０を回転させるモータ５２は、制御部９０から出力される制御信号に基づいて駆動される。モータ５２の回転方向によって、頭部４０が右を向いたり左を向いたりする。
【００１７】
図３を参照して、頭部４０の回転限界について説明しておく。図３（ａ）は、頭部４０が正面を向いているロボット１０を平面的に見た図である。即ち、胴体部７０が向いている方向（胴体部７０の方向と簡単にいう場合がある）と、頭部４０が向いている方向（即ちカメラ４２の撮影方向）とが一致している。図３（ａ）の右方に示す２つの矢印は、太い矢印が胴体部７０の方向を示しており、細い矢印がカメラ４２の撮影方向を示している。胴体部７０の方向を基準としたカメラ４２の撮影方向（胴体部７０に対する頭部４０の回転位置）を「カメラ角度」ということにすると、図３（ａ）の場合のカメラ角度はゼロである。
図３（ｂ）は、胴体部７０に対して頭部４０が９０°右方向を向いているロボット１０を平面的に見た図である。本実施例の場合、この状態が、頭部４０の右方向の回転限界として設定されている（限界角度は任意に設定される）。この場合のカメラ角度は９０°（こちらの方向を正とする）である。
図３（ｃ）は、胴体部７０に対して頭部４０が９０°左方向を向いているロボット１０を平面的に見た図である。本実施例の場合、この状態が、頭部４０の左方向の回転限界として設定されている（限界角度は任意に設定される）。この場合のカメラ角度はマイナス９０°（こちらの方向を負とする）である。
【００１８】
図４に、ロボット１０の制御部９０の概略構成を示す。制御部９０は、ＣＰＵ１０１とＲＯＭ１０２とＲＡＭ１０３とＩ／Ｏ１１０等から構成される。ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、及びＩ／Ｏ１１０のそれぞれは、バス１０５によって相互に通信可能に接続されている。ＣＰＵ１０１は、ＲＯＭ１０２に格納されている制御プログラムに従って各種信号の出力制御を実行する。ＲＯＭ１０２に格納されているプログラムの中には、カメラ４２が撮影した画像を解析する処理や、その解析結果に基づいてモータ５２を駆動する処理等を実行するためのプログラムが含まれる。また、ＲＯＭ１０２には、指揮台２００の位置（座標）と、指揮再現装置３００の位置（座標）と、ロボット１０の進行ルート等が記憶されている。ＲＡＭ１０３は、ワークメモリとして使用されるメイン記憶素子であり、各処理の実行に応じて種々の情報を記憶する。具体的には、上記したカメラ角度（胴体部７０に対する頭部４０の回転位置）や、ロボット１０の現在位置等を記憶する。なお、ロボット１０の現在位置がわかれば、その現在位置とＲＯＭ１０２に記憶されている進行ルートから、胴体部７０がどの方向を向いているのかがわかる。
【００１９】
Ｉ／Ｏ１１０には、カメラ４２と移動機構２０（車輪２２，２２を回転させる機構）とモータ５２とアクチュエータ３５ａ，３５ｂが接続されている。カメラ４２で撮影された画像データはＩ／Ｏ１１０に送られる。Ｉ／Ｏ１１０は、送られてくる画像データを制御部９０が処理可能なデータ形式に変換し、その変換された画像データをＣＰＵ１０１等に送る。移動機構２０は、ＣＰＵ１０１がＩ／Ｏ１１０を介して出力した信号を入力し、入力された信号に基づいて車輪２２，２２を回転させる。モータ５２は、ＣＰＵ１０１がＩ／Ｏ１１０を介して出力した信号を入力し、その信号に基づいて駆動される。これにより首部５０（及び頭部４０）が回転する。各アクチュエータ３５ａ，３５ｂは、ＣＰＵ１０１がＩ／Ｏ１１０を介して出力した信号を入力し、その信号に基づいて駆動される。これにより太鼓６０が叩かれることになる。
【００２０】
続いて、指揮再現装置３００の構成について説明する。図５に、指揮再現装置３００のシステム構成を簡単に示している。また、図６には、指揮再現装置３００の正面図が示されている。指揮再現装置３００は、連続的に撮影し続けることができるビデオカメラ３４０と制御部３３０と表示部３２０等を有している。
制御部３３０は、ＣＰＵ３０１とＲＯＭ３０２とＲＡＭ３０３とＩ／Ｏ３１０等を有している。ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、及びＩ／Ｏ３１０は、バス３０５によって相互に通信可能に接続されている。ＣＰＵ３０１は、ＲＯＭ３０２に格納されている制御プログラムに従って各種信号の出力制御を実行する。ＲＯＭ３０２に格納されているプログラムの中には、カメラ３４０が撮影した画像を解析する処理や、その解析結果に基づいて表示部３２０のＬＥＤ３２２（図６参照）を発光させる処理等を実行するためのプログラムが含まれる。ＲＡＭ３０３は、各処理の実行に応じて種々の情報を記憶する。
Ｉ／Ｏ３１０には、カメラ３４０と表示部３２０が接続されている。カメラ３４０で撮影された画像データはＩ／Ｏ３１０に送られる。Ｉ／Ｏ３１０は、送られてくる画像データを制御部３３０が処理可能なデータ形式に変換する。変換された画像データはＣＰＵ３０１等に取り込まれる。
表示部３２０は、マトリクス状に並んだ複数のＬＥＤ３２２（図６では一つしか符合を付していない）によって構成される。この表示部３２０は、縦と横のそれぞれの長さが１ｍに設定されている。表示部３２０の各ＬＥＤ３２２は、赤色に発光するものである。表示部３２０は、制御部３３０から送られてくる信号に基づいて、いずれかのＬＥＤ３２２を発光させる。指揮再現装置３００は、指揮棒２３０の動きに合わせてＬＥＤ３２２の発光位置を変えることによって、指揮者２００が行なう指揮を同一スケールでリアルタイムに再現する。
図１に示される会場２では、表示部３２０の表示面３２０ａ（ＬＥＤ３２２が配列されている面）が指揮者２０２と対向するようにおかれる。
【００２１】
以下では、ロボット１０の制御部９０が実行する処理を説明する。図７から図１１は、制御部９０が実行する処理のフローチャートである。ここでは本発明に関連する処理を中心に説明する。ロボット自身が移動する処理については特に詳しく説明しないが、ＲＯＭ１０２に記憶されているルートをロボット１０が進行するように、制御部９０によって移動機構２０が制御される。しかも、指揮者２０２が指揮棒２３０を速く振ると（即ちテンポが速いと）、ロボット１０が高速で進行するように移動機構２０が制御される（テンポについては後で詳しく説明する）。逆に、指揮者２０２が指揮棒２３０をゆっくり振ると（即ちテンポが遅いと）、ロボット１０が低速で進行するように移動機構２０が制御される。
【００２２】
まず、図７を参照して、制御部９０が実行するメイン処理について説明する。制御部９０は、自己位置を記憶する処理を実行する（図７のステップＳ２）。この処理は、予め設定されたルートから現在の位置（座標）を計算し、その座標をＲＡＭ１０３に記憶することによって実行する。このステップＳ２の処理を実行する毎に自己位置が更新されていくことになる。なお、ステップＳ２の処理では、現在の胴体部７０の方向を算出して記憶する処理も実行する。
ステップＳ２の処理を実行するとステップＳ４に進む。ステップＳ４では、目標カメラ角度を計算して頭部を回転させる処理（以下では頭部回転処理という）を実行する。
【００２３】
図８と図９に、頭部回転処理のフローチャートを示している。図８のステップＳ１０では、指揮棒２３０が現在の撮影対象なのか、あるいは指揮再現装置３００が現在の撮影対象なのかを判別する。この処理は、前回実行した頭部回転処理（ステップＳ４）によってカメラ４２が指揮台２００の方向を向くことになった場合はＹＥＳとし、前回の頭部回転処理によってカメラ４２が指揮再現装置３００の方向を向くことになった場合はＮＯとする。ステップＳ１０でＹＥＳとされた場合（指揮棒２３０が撮影対象の場合）は、指揮棒２３０（部材２３２）をカメラ視野内に維持できるか否かを確認する処理（ステップＳ１２，Ｓ１４）に進み、ステップＳ１０でＮＯとされた場合（指揮再現装置３００が撮影対象の場合）は、指揮再現装置３００をカメラ視野内に維持できるか否かを確認する処理（図９のステップＳ３０，Ｓ３２）に進む。
ステップＳ１２では、ステップＳ２で記憶した自己位置情報（この自己位置情報には胴体部７０の方向に関する情報も含まれる）と、指揮台２００の位置（即ち指揮者２０２の位置）とから、指揮棒２３０をカメラ視野内に維持するのに必要なカメラ角度を計算する。以下では、撮影対象物をカメラ視野内に維持するため（あるいは撮影対象物をカメラ視野内に入れるため）に必要なカメラ角度のことを「目標カメラ角度」という。
ステップＳ１２で目標カメラ角度を計算すると、その目標カメラ角度の絶対値が９０°以下か否かを判別する（ステップＳ１４）。即ち目標カメラ角度が頭部４０の回転可能範囲（設定限界角度）内か否かを判別する。ここでＹＥＳと判別されるとステップＳ２０に進み、ＮＯと判別されるとステップＳ１６に進む。
ステップＳ２０では、目標カメラ角度になるようにモータ５２を駆動する。この処理は、以下のようにして実行する。まず、現在のカメラ角度から目標カメラ角度にするために、首部５０をどの方向（正方向又は負方向）にどれだけの角度だけ回転させればよいかを計算する。続いて、計算された角度だけ回転するようにモータ５２を駆動する。これにより、目標カメラ角度が実現し、カメラ４２のカメラ視野内に指揮棒２３０を維持できるようになる。
例えば、図１に例示される位置Ａから位置Ｂまでロボット１０が進行する場合は、上記のステップＳ１０，Ｓ１２，Ｓ１４，Ｓ２０の流れで処理が実行されて、指揮棒２３０（部材２３２）がカメラ視野内に維持される。
ステップＳ２０の処理を終えると、ステップＳ２に戻って自己位置を記憶する処理を実行する。
【００２４】
ステップＳ１２で計算された目標カメラ角度が限界角を超える場合（目標カメラ角度の絶対値が９０°以上の場合）は、ステップＳ１４でＮＯとされる。この場合は、指揮棒２３０をカメラ視野内に維持できないために、撮影対象を切換えて指揮再現装置３００をカメラ視野内に入れることができるか否かを確認する処理を実行する（ステップＳ１６，Ｓ１８）。
ステップＳ１６では、自己位置と指揮再現装置３００の位置とから、指揮再現装置３００（表示部３２０）をカメラ視野内に入れるのに必要な目標カメラ角度を計算する。次に、計算された目標カメラ角度の絶対値が９０°以下か否かを判別する（ステップＳ１８）。ここでＹＥＳとされると、ステップＳ２０に進んで目標カメラ角度となるようにモータ５２を駆動する。これにより、カメラ４２のカメラ視野内に指揮再現装置３００が入ることになる。
例えば、図１に例示される位置Ｂから位置Ｃまでロボット１０が進行する場合は、上記したステップＳ１０，Ｓ１２，Ｓ１４，Ｓ１６，Ｓ１８，Ｓ２０の流れで処理が実行されて、撮影対象が指揮棒２３０から指揮再現装置３００に切換えられる。
一方、ステップＳ１８でＮＯとされた場合は、ステップＳ２２に進んで現在のカメラ角度を維持するようにする。即ち、指揮棒２３０と指揮再現装置３００のどちらもカメラ４２のカメラ視野内に入れることができないために、どちらかをカメラ視野内に入れることができるようになるまでカメラ角度を変えずに待機するのである。ステップＳ２２の処理を終えると、ステップＳ２に戻る。
【００２５】
図９のステップＳ３０では、自己位置（胴体部７０の向きに関する情報を含む）と指揮再現装置３００の位置とから、目標カメラ角度を計算する。そして、計算された目標カメラ角度の絶対値が９０°以下か否かを判別する（ステップＳ３２）。ここでＹＥＳとされると、ステップＳ３８に進んで目標カメラ角度となるようにモータ５２を駆動する。これにより、指揮再現装置３００がカメラ視野内に維持される。
一方、ステップＳ３２でＮＯの場合（指揮再現装置３００をカメラ視野内に維持することができない場合）は、カメラ視野内に指揮棒２３０を入れることができるか否かを確認する処理（ステップＳ３４，Ｓ３６）を実行する。まず、自己位置と指揮台２００の位置とから目標カメラ角度を計算し（ステップＳ３４）、続いて、計算された目標カメラ角度の絶対値が９０°以下か否かを判別する（ステップＳ３６）。ここでＹＥＳとされると、ステップＳ３８に進んで目標カメラ角度となるようにモータ５２を駆動する。これにより、指揮再現装置３００から指揮棒２３０に撮影対象が切換えられることになる。
ステップＳ３６でＮＯとされた場合は、ステップＳ４０に進んで現在のカメラ角度を維持する。ステップＳ３８やステップＳ４０の処理を終えると、ステップＳ２に戻る。
【００２６】
続いて、制御部９０が実行する指揮態様解析処理について説明する。図１０に指揮態様解析処理のフローチャートを示している。
ステップＳ５０では、カメラ４２の画像から、太鼓６０を演奏するためのテンポとボリュームを計算する。具体的には、以下の処理を実行する。
（１）上述したように、指揮棒２３０の先端には丸くて赤い部材２３２が取り付けられている。また、指揮再現装置３００の表示部３２０では、赤色のＬＥＤ３２２を発光させることによって指揮棒２３０の動きを再現する。制御部９０は、カメラ視野内の赤色の領域のカメラ視野内位置を計算する処理を逐次実行することによって、赤色の部材２３２又は赤色に発光しているＬＥＤ３２２のカメラ視野内位置の変化態様を特定する。これにより、指揮棒２３０の移動軌跡が特定されることになる。例えば、指揮者２０２が二拍子で指揮棒２３０を振っている場合の移動軌跡は図１２のようになる。制御部９０は、指揮棒２３０の先端の部材２３２が最下点ｐから次の最下点ｐにくるまでを一周期として、その一周期の時間を測定する。制御部９０は、測定された時間からテンポを特定する。一周期の時間が短ければ速いテンポで太鼓６０を演奏することになり、一周期の時間が長ければ遅いテンポで太鼓６０を演奏することになる。また、テンポが速いとロボット１０を高速で移動させ、テンポが遅いとロボット１０を低速で移動させる。（２）また、制御部９０は、一周期における最上点から最下点ｐまでの距離ｓ（一周期の振幅）を測定し、測定された距離ｓからボリュームを特定する。距離ｓが大きい場合は太鼓６０から発音する音が大きくなり、距離ｓが小さい場合は太鼓６０から発音する音が小さくなる。本実施例に係るロボット１０は、太鼓６０を叩く深さを変えることによってボリュームを変えるという方法を採用している。太鼓６０を深く叩くとボリュームが大きくなり、太鼓６０を浅く叩くとボリュームが小さくなる。なお、この方法を採用せずに、下腕部３４ａ，３４ｂを揺動させる速度を変えることによって太鼓６０のボリュームを変えてもよい。
なお、ロボット１０と撮影対象物（例えば指揮棒２３０）との間の距離が異なると、実際に振られた指揮棒２３０の距離ｓが同じであっても、画像処理によって抽出される距離ｓは異なってしまう。従って、実際は、抽出した距離ｓをロボット１０と撮影対象物（例えば指揮棒２３０）の間の距離で補正してボリュームを正確に計算する。
【００２７】
ステップＳ５２では、ステップＳ５０で求められたテンポとボリュームを記憶する。この処理は、テンポとボリュームをＲＡＭ１０３で記憶することによって実行する。これにより、過去のテンポとボリュームがクリアされて新しいテンポとボリュームが記憶されることになる。
制御部９０は、上記したステップＳ５０とステップＳ５２の処理を繰り返して実行する。これにより、現在行なわれている指揮に基づいたテンポとボリュームが記憶されていくことになる。
【００２８】
制御部９０は、上記のようにして記憶されたテンポとボリュームに基づいてアクチュエータ３５ａ，３５ｂを駆動する処理を実行している（図１１のステップＳ６０）。記憶しているテンポが速ければ太鼓６０を叩く打点間の時間が短くなるようにアクチュエータ３５ａ，３５ｂを駆動する。テンポが遅ければ太鼓６０を叩く打点間の時間を長くする。また、ボリュームが大きい場合は、太鼓６０を深く叩くようにアクチュエータ３５ａ，３５ｂを駆動し、ボリュームが小さい場合は、太鼓６０を浅く叩くようにアクチュエータ３５ａ，３５ｂを駆動する。これにより、記憶しているボリュームで太鼓６０から発音されることになる。
【００２９】
続いて、指揮再現装置３００の制御部３３０が実行する処理について説明する。図１３に、制御部３３０が実行する処理のフローチャートを示す。
制御部３３０は、画像処理によって、指揮棒２３０に取り付けられた部材２３２を抽出し、その部材２３２のカメラ視野内位置を計算する（ステップＳ７０）。
続いて、計算されたカメラ視野内位置に対応した位置にあるＬＥＤを発光させる（ステップＳ７２）。ＲＯＭ３０２には、部材２３２のカメラ視野内位置とＬＥＤの位置（行及び列）とが対応づけて記憶されており、部材２３２のカメラ視野内位置からＬＥＤの位置を特定することができる。そして、特定されたＬＥＤを発光させるように表示部３２０に電流を供給する。
上記したステップＳ７０，Ｓ７２の処理を高速で繰り返して実行することによって、指揮者２０２が行なっている指揮が同一スケールでリアルタイムに再現されることになる。
【００３０】
上記した指揮再現装置３００を用いたことによって、ロボット１０は、指揮者２０２が振る指揮棒２３０をカメラ視野内に維持できなくなっても、指揮再現装置３００が再現する指揮をカメラ視野内に入れることができるようになる。従って、ロボット１０の移動ルートの選択の幅を広げることができる。また、指揮者２０２は、指揮再現装置３００で再現されている自身の指揮をロボット１０が視認して動作速度を変えている様子を確認できるので、ロボット１０が動作速度を変える様子を不自然と思わない。
上記した第１実施例に係るロボット１０によると、一方の撮影対象物（例えば指揮棒２３０）がカメラ４２のカメラ視野内にあるときには、その一方の撮影対象物をカメラ視野内に維持するようにモータ５２を制御する。そして、この制御によっては、カメラ視野内にある撮影対象物をカメラ視野内に維持できなくなるときに、他方の撮影対象物（例えば指揮再現装置３００）をカメラ視野内に入れるために必要な目標カメラ角度を計算し、計算された目標カメラ角度を実現するようにモータ５２を制御する。これによって他方の撮影対象物がカメラ視野内に入り、その後はその他方の撮影対象物をカメラ視野内に維持するようにモータ５２が制御されることになる。このロボット１０によると、一方の撮影対象物をカメラ視野内に維持できる間は撮影対象を変えない。従って、撮影対象を切換える頻度を少なくすることができる。撮影対象物をカメラ視野内に維持できなくなるときには撮影対象を変えるので、撮影対象物を長時間見失うこともない。
【００３１】
（第２実施例）  ここでは、第１実施例と異なる部分を中心に説明する。図１４には、本実施例に係るロボット１０が会場２内を進行する様子を平面的に見た図である。
本実施例では、会場２に、３つの指揮再現装置３００，４００，５００が設置されている。図示省略しているが、各指揮再現装置３００，４００，５００のカメラは、指揮者２０２の方向を向いている。図中の符号３２０ａ，４２０ａ，５２０ａは、各指揮再現装置３００，４００，５００の指揮再現表示面（ＬＥＤが配列されている面）である。
ロボット１０は、基本的な構成は第１実施例の場合と同様であり、進行ルートも第１実施例と同様のルートである。制御部９０のＲＯＭ１０２には、全ての指揮再現装置３００，４００，５００の位置が記憶されている。
【００３２】
本実施例に係るロボット１０の制御部９０が実行する頭部回転処理（即ち制御部９０が実行する上記ステップＳ４（図７参照）の処理）について説明する。図１５に、本実施例の頭部回転処理のフローチャートを示している。
制御部９０は、自己位置と現在撮影対象となっている撮影対象物の位置とから、その撮影対象物をカメラ視野内に維持するのに必要な目標カメラ角度を計算する（ステップＳ１００）。例えば、現在、図１４に示す位置Ａと位置Ｂの間にロボット１０がいるならば、ロボット１０の現在位置と指揮台２００の位置（現在の撮影対象の位置）とから目標カメラ角度を計算する。
ステップＳ１００で目標カメラ角度を計算すると、計算された目標カメラ角度の絶対値が９０°以下か否かを判別する（ステップＳ１０２）。ここでＹＥＳと判別されるとステップＳ１０８に進んで、その目標カメラ角度となるようにモータ５２を駆動する。
一方、目標カメラ角度の絶対値が９０°より大きい場合（ステップＳ１０２でＮＯの場合）は、ステップＳ１０４に進む。ステップＳ１０４では、他の撮影対象物毎に、その撮影対象物をカメラ視野内に入れるために必要な目標カメラ角度を計算する。例えば、現在、図１４に示す位置Ｂと位置Ｃの間にロボット１０が位置しており、カメラ視野内に指揮棒２３０を維持できなくなった場合は、指揮再現装置３００，４００，５００のそれぞれについて目標カメラ角度を算出する。ステップＳ１０４の処理を実行することによって、現在撮影対象となっている撮影対象物以外の３つの撮影対象物のそれぞれに対応した目標カメラ角度が算出されることになる。３つの目標カメラ角度を算出すると、絶対値が最も小さい目標カメラ角度を選択する（ステップＳ１０６）。例えば、現在、図１４に示す位置Ｂと位置Ｃの間にロボット１０が位置しており、指揮再現装置３００，４００，５００のそれぞれについて目標カメラ角度を算出した場合は、指揮再現装置５００をカメラ視野内に入れるために必要な目標カメラ角度を選択することになる。
ステップＳ１０６で目標カメラ角度を選択すると、その選択された目標カメラ角度になるようにモータ５２を駆動する（ステップＳ１０８）。例えば、図１４に例示される位置Ｂから位置Ｃにロボット１０が進行する場合は、上記のステップＳ１００，Ｓ１０２，Ｓ１０４，Ｓ１０６，Ｓ１０８の流れで処理が実行されて、撮影対象が指揮棒２３０から指揮再現装置５００に切換えられる。
ステップＳ１０８の処理を終えると、ステップＳ２（図７参照）に戻って自己位置を記憶する処理を実行する。
【００３３】
第２実施例に係るロボット１０によると、いずれかの撮影対象物をカメラ４２のカメラ視野内に維持できなくなるときに、他の撮影対象物のそれぞれについて目標カメラ角度を計算する。そして、計算された目標カメラ角度の中から、頭部４０の回転可能範囲の中間位置（カメラ角度＝０）に最も近いものを選択し、選択された目標カメラ角度を実現する。このようにすると、撮影対象を切換えたときに回転可能範囲の中間位置に近いところに頭部４０がおかれるために、切換え後の撮影対象物に対してロボット１０が多少の移動をしても、その撮影対象物をカメラ視野内に維持し続けることができる。これにより、撮影対象を切換える頻度を少なくすることができる。
【００３４】
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
上記実施例では、マトリクス状に配列されたＬＥＤ群によって指揮再現装置３００等を構成している。しかしながら、縦一列に配列されたＬＥＤ群によって指揮再現装置を構成してもよい。このようにしても、上記実施例のように指揮棒２３０の振幅と周期を再現することができる。また、必ずしもＬＥＤを用いる必要はなく、例えば、縦方向に伸びるレールに沿って部材（指揮棒２３０の先端に取り付けられた部材２３２と同様の部材）を移動させることによっても指揮棒２３０の動きを再現することができる。また、指揮再現装置として、指揮棒を振るロボットを採用してもよい。
【００３５】
また、本明細書または図面に説明した技術要素は、単独であるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時請求項記載の組み合わせに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
【図面の簡単な説明】
【図１】楽器演奏ロボットが進行する様子を平面的に見た図である。
【図２】楽器演奏ロボットの正面図である。
【図３】胴体部に対して頭部が回転する様子を説明するための図である。
【図４】楽器演奏ロボットの制御部の構成を示す。
【図５】指揮再現装置のシステム構成を示す。
【図６】指揮再現装置の正面図である。
【図７】楽器演奏ロボットの制御部が実行するメイン処理のフローチャートである。
【図８】楽器演奏ロボットの制御部が実行する頭部回転処理のフローチャートである。
【図９】楽器演奏ロボットの制御部が実行する頭部回転処理のフローチャートである（図８の続き）。
【図１０】楽器演奏ロボットの制御部が実行する指揮態様解析処理のフローチャートである。
【図１１】楽器演奏ロボットの制御部が実行する楽器演奏処理のフローチャートである。
【図１２】指揮棒の移動軌跡の一例を示す。
【図１３】指揮再現装置の制御部が実行する処理のフローチャートである。
【図１４】楽器演奏ロボットが進行する様子を平面的に見た図である（第２実施例）。
【図１５】楽器演奏ロボットの制御部が実行する頭部回転処理のフローチャートである（第２実施例）。
【符号の説明】
ｃ１・・首部の回転軸
２・・会場
１０・・楽器演奏ロボット
２０・・移動機構
２２，２２・・車輪
３０ａ・・右アーム
３０ｂ・・左アーム
３２ａ，３２ｂ・・上腕部
３４ａ，３４ｂ・・下腕部
３５ａ，３５ｂ・・下腕部を揺動させるアクチュエータ
３６ａ，３６ｂ・・撥
３８ａ，３８ｂ・・肘関節
４０・・頭部
４０ａ・・左目に相当する孔
４０ｂ・・右目に相当する孔
４２・・カメラ
５０・・首部
５２・・首部を回転させるモータ
６０・・太鼓
７０・・胴体部
９０・・制御部
１０１・・ＣＰＵ
１０２・・ＲＯＭ
１０３・・ＲＡＭ
１０５・・バス
１１０・・Ｉ／Ｏ
２００・・指揮台
２０２・・指揮者
２３０・・指揮棒
２３２・・指揮棒の先端に取り付けられた部材
３００・・指揮再現装置
３０１・・ＣＰＵ
３０２・・ＲＯＭ
３０３・・ＲＡＭ
３０５・・バス
３１０・・Ｉ／Ｏ
３２０・・表示部
３２２・・ＬＥＤ
３３０・・制御部
３４０・・カメラ
４００・・指揮再現装置
５００・・指揮再現装置
【図１】
2005001031.tif 000003
【図２】
2005001031.tif 000004
【図３】
2005001031.tif 000005
【図４】
2005001031.tif 000006
【図５】
2005001031.tif 000007
【図６】
2005001031.tif 000008
【図７】
2005001031.tif 000009
【図８】
2005001031.tif 000010
【図９】
2005001031.tif 000011
【図１０】
2005001031.tif 000012
【図１１】
2005001031.tif 000013
【図１２】
2005001031.tif 000014
【図１３】
2005001031.tif 000015
【図１４】
2005001031.tif 000016
【図１５】
2005001031.tif 000017