(57)【要約】【課題】色情報が加味された画像情報を得る新規な技術を提供する。【解決手段】画像情報出力装置は、入射する光束を連続する波長別に分光する分光器と、分光器で分光された波長別光束を受光する受光センサ群と、分光器で分光された波長別光束が受光面で重複しない光束群のみを選択して分光器に入射する光束選択装置を備える。その画像情報出力装置が出力する画像情報を解析する装置は、基準とする波長別強度信号分布を記憶している手段と、分光された波長別光束を受光する受光センサ群が出力する波長別強度信号分布が、記憶手段に記憶されている波長別強度信号分布に一致する光束を特定する手段を備える。【選択図】図２
2005265775.tif 000002
【特許請求の範囲】
【請求項１】
入射する光束を連続する波長別に分光する分光器と、
分光器で分光された波長別光束を受光する受光センサ群と、
分光器で分光された波長別光束が受光面で重複しない光束群のみを選択して分光器に入射する光束選択装置と、
を備える画像情報出力装置。
【請求項２】
請求項１に記載の画像情報出力装置の出力を解析する装置であり、
基準とする波長別強度信号分布を記憶している手段と、
分光された波長別光束を受光する受光センサ群が出力する波長別強度信号分布が、記憶手段に記憶されている波長別強度信号分布に一致する光束を特定する手段と、
を備える画像情報解析装置。
【請求項３】
対象物を含む範囲を撮影し、撮影して得られた分光画像情報から対象物の視野内位置を算出する装置であり、
請求項１に記載の画像情報出力装置と、
請求項２に記載の画像情報解析装置を備えており、
前記記憶手段は、受光センサ群が対象物からの光を受光したときに出力する波長別強度信号分布を記憶していることを特徴とする対象物位置算出装置。
【請求項４】
第１物体の近くにある第２物体の運動を視認しながら第１物体に対して相対移動するロボットであり、
請求項１に記載の画像情報出力装置と、
第１物体の波長別強度信号分布を記憶している第１の請求項２に記載の画像情報解析装置と、
第２物体の波長別強度信号分布を記憶している第２の請求項２に記載の画像情報解析装置と、
第１画像情報解析装置で特定される第１物体の視野内位置が所定位置に維持されるように画像情報出力装置の撮影方位を変化させるアクチュエータと、
第２画像情報解析装置で特定される第２物体の視野内の位置の変化によってロボットを制御する制御装置と、
を備えていることを特徴とするロボット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色情報が加味された画像情報を得る技術に関する。
【背景技術】
【０００２】
受光センサを利用する撮像装置等が知られている。受光センサは、入射した光の強度に応じて電気信号を出力するセンサである。受光センサが出力する電気信号は、光の強度に応じて変化するが、光の波長には依存しないので、受光センサをそのまま利用しても光の色情報を得ることはできない。そのことから、受光センサを用いて色情報を得る際には、カラーフィルタが利用されている。カラーフィルタによって、所定の波長の光のみを受光センサに受光させ、そのカラーフィルタに対応する波長光の強度を得るというものである。例えば赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のＲＧＢフィルタを用いると、ＲＧＢ各色光の強度をそれぞれ得ることができ、得られたＲＧＢ各色光の強度情報を用いて合成処理や補完処理等をすることにより、カラー画像情報を得ることができる。
【０００３】
受光センサを利用して対象物を撮像し、対象物の位置等を検出する技術が開発されている。例えば特許文献１には、ＲＧＢフィルタ方式のＣＣＤ撮像装置を利用して、移動している対象物の移動方向や移動量を算出する技術が記載されている。特許文献１の技術では、ＣＣＤ撮像装置の取り込み時間に同期して波長が変化する光を対象物に向けて送光することにより、ＣＣＤ撮像装置の取り込み時間よりも短い周期で対象物の撮像画像を得ようとするものである。
【特許文献１】特開２００３−２７０２５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術では、ＲＧＢ各色の単色画像情報をそれぞれ別個に扱うことによって、対象物の位置の算出周期を短縮しようとするものある。従って、対象物をその色彩で識別する必要がある場合には、特許文献１の技術の効果を期待することができない。
対象物をその色彩で識別し、対象物の位置等を検出するためには、色情報が加味された画像情報を得る必要がある。従来のように、カラーフィルタを利用する方式であると、フィルタ色毎に得られる明暗情報を合成したり補完したりする処理が必要となり、ソフトウェアへの負担が大きいという問題がある。一方、画像情報の処理を簡単化するために、より多色のフィルタを用意して、より多くの波長別の強度分布を得ようとすると、撮像装置等の構成が複雑になってしまう。
本発明は、上記の課題を克服する。本発明は、色情報が加味された画像情報を得るための新規な技術を提供する。
【課題を解決するための手段】
【０００５】
本発明は、画像情報を出力する装置に具現化される。この装置は、入射する光束を連続する波長別に分光する分光器と、分光器で分光された波長別光束を受光する受光センサ群と、分光器で分光された波長別光束が受光面で重複しない光束群のみを選択して分光器に入射する光束選択装置を備えている。
この装置では、入射する光束を連続する波長毎に分光し、その連続する波長別光束を複数の受光センサ群で受光する。各受光センサからは、受光した波長光の強度を電気信号に変換して出力され、受光センサ群の出力する出力信号群から、光束の波長別の強度分布を知ることができる。受光した光束の強度を、より多数に区分された波長毎に得ることができ、光束の正確な色情報を直接的に得ることができる。例えばフィルタ方式のように、多数の種類のフィルタを用意し、それらのフィルタを各受光センサに対応させて配置する必要がなく、この画像情報出力装置は簡単な構成で実現することができる。
本装置では、光束選択装置が用意されており、分光器で分光された光束群の各波長別光束が受光面で互いに重複することがない。それにより、視野内の各方向から入射した各光束の波長別の強度を正しく得ることができる。視野画像の画素毎の色情報を正しく得ることでき、色情報が加味された画像情報を直接的に得ることができる。
この画像情報出力装置によると、色情報が加味された画像情報を直接的に得ることができる。それにより、後の解析処理等の負担を低減することもできる。
【０００６】
本発明はまた、上記の画像情報出力装置で出力される画像情報を解析する装置を提供する。この画像情報解析装置は、基準とする波長別強度信号分布を記憶している手段と、分光された波長別光束を受光する受光センサ群が出力する波長別強度信号分布が、記憶手段に記憶されている波長別強度信号分布に一致する光束を特定する手段を備えている。
【０００７】
画像情報出力装置は、画像の画素毎の色情報を波長別強度信号分布で出力する。例えば色に対応付けて基準となる波長別強度信号分布を記憶しておけば、出力された波長別強度信号分布と記憶している波長別強度信号分布の基準値とを比較することにより、光束毎の色を直接的に特定することができる。各光束の色を特定することにより、各画素の色を特定することができる。
この画像情報解析装置を用いることにより、画像情報出力装置で出力された波長強度分布信号から、色情報が加味された画像情報を得ることができる。
【０００８】
本発明の技術により、新規で有用な対象物の位置を算出する装置が提供される。この装置は、対象物を含む範囲を撮影し、撮影した得られた画像情報から対象物の視野内位置を算出する装置であって、上記の画像情報出力装置と画像情報解析装置を備えている。そして、画像情報解析装置の記憶手段は、画像情報出力装置の受光センサ群が対象物からの光を受光したときに出力する波長別強度信号分布を記憶していることを特徴とする。
画像情報出力装置の視野内に対象物が存在すると、その対象物の色に対応する波長別強度信号分布が、受光センサ群から出力される。画像情報解析装置は、その対象物の色に対応する波長別強度信号分布を記憶しているので、対象物の色に対応する波長別強度信号分布が出力された光束を特定することができる。光束を特定することにより、入射方向を特定することができ、対象物の視野内の位置を算出することができる。
この装置では、受光センサ群が出力する波長別強度信号分布から直接的に対象物の位置を算出することができるので、対象物を視認する処理を高速に行うことができる。
【０００９】
本発明の技術を利用することにより、新しい方式によって動作が制御されるロボットを具現化することが可能となる。このロボットは、第１物体の近くにある第２物体の運動を視認しながら第１物体に対して相対移動することができる。このロボットは、上記の画像情報出力装置と、第１物体の波長別強度信号分布を記憶している第１の上記画像情報解析装置と、第２物体の波長別強度信号分布を記憶している第２の上記画像情報解析装置と、第１画像情報解析装置で特定される第１物体の視野内位置が所定位置に維持されるように画像情報出力装置の撮影方位を変化させるアクチュエータと、第２画像情報解析装置で特定される第２物体の視野内の位置の変化によってロボットを制御する制御装置を備えていることを特徴とする。
【００１０】
上記のロボットは、例えばロボットに対して相対的に移動する指揮者（第１物体）が振る指揮棒（第２物体）の動きに基づいて動作を変えるロボットに具現化される。この場合、第１物体として指揮者の顔を採用してもよい。なお、本技術思想は、ロボット自身が移動することによってロボットが第１物体（指揮者の顔）に対して相対移動する場合、逆にロボットは移動しないが第１物体が移動することによってロボットが第１物体に対して相対移動する場合、及びロボットと第１物体の双方が移動することによってロボットが第１物体に対して相対移動する場合のいずれにも用いることができる。また上記した「所定位置」とは、点であってもよいし、領域であってもよい。
このロボットは、第１物体が画像情報出力装置の視野内の所定位置からずれると、第１物体が視野内の所定位置に戻る方向に画像情報出力装置の撮影方位を変化させる。第１物体を視野内の所定位置に維持していれば、第２物体を視野内の所定範囲に撮影し続けることができる。第２物体を視野内に撮影し続けることにより、第２物体の視野内の位置の変化を計算し続けることができ、例えば第２物体の視野内の移動速度等に基づいて、動作を制御することができる。
【００１１】
本発明は、第１物体がロボットに対して低速で相対移動するもの（例えば指揮者）であり、第２物体がロボットに対して高速で相対移動するもの（例えば指揮棒）である場合に、特に効果的に用いることができる。ロボットは第１物体の視野内位置を高速に繰り返し算出する。それにより、画像情報出力装置の撮影方位は高い頻度で制御され、第１物体を視野内の所定位置に安定して撮影し続ける。その結果、第２物体は、ロボットと第１物体が相対的に静止しているときのように視野内に維持されて、第２物体の視野内位置の変化を正確に途切れなく算出することができる。
このロボットでは、例えば指揮者の振る指揮棒を撮影し続けることができ、指揮者が表現している指揮のテンポに合せて、自身の動作を制御することができる。
【発明の効果】
【００１２】
本発明により、色情報が加味された画像情報を得るための新規な技術が提供される。
【発明を実施するための最良の形態】
【００１３】
以下に、発明を実施するための最良の形態を列記する。
（形態１）  ロボットは、ヒトの頭（顔）を模してつくられた頭部を有する。頭部には、ヒトの目を模した２つの孔が設けられている。その２つの孔のそれぞれにはカメラが臨んでいる。
（形態２）  ロボットのカメラは、入射光を入射方向毎に光束に分離するレンズを備えている。
（形態３）  ロボットのカメラは、入射光を回折させて連続する波長別に分光する回折部を備えている。
（形態４）  ロボットのカメラは、受光センサ素子が面状に配置されたエリアセンサを備えている。
（形態５）  ロボットの画像処理回路は、視野内において特定した所定範囲の重心位置を算出するプログラムを記憶している。
（形態６）  ロボットの画像処理回路は、重心位置の時系列データからその重心位置が移動する方向や速さを算出するプログラムを備えている。
（形態７）  ロボットの頭部の角度を変化させる首回動機構は、画像処理回路から出力される信号に基づいて、ロボットの頭部の角度を決定する。
（形態８）  ロボットの動作を制御する吹奏機構やアーム駆動機構や移動機構は、周期的に入力される信号のテンポに基づいて、ロボットの動作速度を変化させる。
【実施例】
【００１４】
図面を参照して、本発明を楽器演奏ロボットに適用した実施例を説明する。図１は、楽器演奏ロボット１０（以下、単にロボットと略す）の概要を模式的に示す図である。図２は、ロボット１０の構成を示すブロック図である。
図１に示すように、ロボット１０は、楽器（ラッパ）９８を演奏しながら行進するロボットである。ロボット１０は、指揮者２が振る指揮棒４のテンポに合せて、ラッパ９８を演奏しながら行進をする。ロボット１０の移動範囲にはｘｙ座標が定められており、指揮者２の位置は座標によってロボット１０に教示されている。なお、ロボット１０は、複数のロボット１０からなるロボット１０群を編隊し、隊列を組んで演奏しながら行進することができる。
【００１５】
図１に示すように、ロボット１０は、大別すると、ヒトの頭部に模されている頭部２０と、ヒトの胴体に模されている胴体部４０と、頭部２０と胴体部４０を繋いでいる略円柱形状の首部７０等から構成されている。頭部２０と胴体部４０は、首部７０を介して相対的に回動可能に構成されている。胴体部４０には、ヒトの腕に模されているアーム６２ａ、６２ｂが設けられている。また、胴体部の下方部には、２つのタイヤ８４ａ、８４ｂを備えている。このように、ロボット１０はヒトに模されてつくられており、ロボット１０はヒトに模してつくられたヒューマノイドロボットといえる。
【００１６】
図１に示すように、頭部２０にはヒトの目に相当する位置に２つの孔が設けられており、それぞれの孔には第１カメラ２２ａ、第２カメラ２２ｂが臨んでいる。第１カメラ２２ａは、ヒトの左目に相当する位置に臨んでおり、第２カメラ２２ｂはヒトの右目に相当する位置に臨んでいる。第１カメラ２２ａは、指揮者２の頭（詳しくは顔）２ａを撮影するためのカメラであり、図１に示す範囲Ｖ１を撮影することが予定されている。第２カメラ２２ｂは、指揮者が振る指揮棒４の先端６を撮影するためのカメラである。詳しくは指揮棒先端６の移動経路６ａを含む範囲を撮影するためのカメラであって、第２カメラ２２ｂは図１に示す範囲Ｖ２を撮影することが予定されている。なお、指揮棒先端６は赤色を呈している。第１カメラ２２ａが指揮者２の頭（顔）２ａを撮影していれば、第２カメラ２２ｂは指揮棒先端６の移動経路６ａを含む範囲を撮影するように、第１カメラ２２ａと第２カメラ２２ｂの撮影方向は調整されている。第１、第２カメラ２２ａ、２２ｂについては後段で詳細に説明する。
頭部２０には、ヒトの口を模して孔３９ａが設けられており、その孔に臨むように吹奏機構３９が設けられている。吹奏機構３９は、孔３９ａから振動する空気（音）を吹き出すことができ、吹き出す空気（音）の振動数や風量を調整できるように構成されている。吹奏機構３９には、振動数や風量等を時系列で記述している吹奏動作情報が教示されている。吹奏機構３９は、その吹奏動作情報に基づいて、振動数や風量等を調節して孔３９ａから振動する空気（音）を吹き出す。それにより、孔３９ａにラッパ９８のマウスピース部９８ａを当接させると、ラッパ９８から音を出すことができる。
【００１７】
胴体部４０には、首回動機構７２、アーム駆動機構８２、移動機構８６、画像処理回路１００等が設けられている。
首回動機構７２には、首部７０の一端が回動可能に接続されている。首回動機構７２は、図示しない首制御回路や首アクチュエータ等を備えており、首部７０を回動制御することにより、頭部２０の水平方向の向きを制御可能に構成されている。首制御回路は、移動機構８６や画像処理部１００等から教示される情報等に基づいて、首部７０を回動させる角度を決定し、決定した首部７０の回動角度に基づいてアクチュエータに指令を与える。それにより、ロボット１０の頭部２０の向きが経時的に制御される。
アーム駆動機構８２には、アーム６２ａ、６２ｂが駆動可能に接続されている。アーム駆動機構８２は、アーム制御回路やアームアクチュエータ等を備えており、アーム６２ａ、６２ｂの動作を制御可能に構成されている。アーム制御回路には、アーム６２ａ、６２ｂの動作を時系列で記述しているアーム動作情報が予め教示されている。アーム制御回路は、その動作情報に基づいてアームアクチュエータに指令を与え、アーム６２ａ、６２ｂの動作を経時的に制御する。それにより、例えばアームが把持しているラッパ９８を頭部２０の孔２８ａへ運んだり、ラッパ９８の音階調節ピストン（図示せず）等を操作したりする。先に説明した吹奏機構２８の動作と併せて、予定されている楽曲をラッパ９８によって演奏することができる。
移動機構８６には、タイヤ８４ａ、８４ｂが回動可能に接続されている。移動機構８６は、図示しない移動制御回路、モータ、モータドライバ等を備えている。移動機構８６はモータとモータドライバを２対備えており、タイヤ８４ａ、８４ｂの駆動を独立して制御可能に構成されている。移動制御回路には、ロボット１０の移動経路が時系列で記述されている移動経路情報が教示されている。移動制御回路は、予め教示されている移動経路情報に基づいてモータドライバに指令を与え、各モータの回転速度や回転方向等を経時的に制御する。それにより、ロボット１０は予定されている経路を、予定された時刻に合せて移動することができる。
【００１８】
図２に示すように、画像処理回路１００は、第１、第２カメラ２２ａ、２２ｂからの出力信号を処理する回路である。画像処理回路１００は、第１処理回路１１０と第１処理回路１３０を備えている。第１処理回路１１０は、第１カメラ２２ａや首回動機構７２等と接続されている。第２処理回路１３０は、第２カメラ２２ｂや吹奏機構３９や移動機構８６やアーム駆動機構８２と接続されている。
第１処理回路１１０は、ＣＰＵ１１２、ＲＯＭ１１４、ＲＡＭ１１６、Ｉ／Ｏ１１８等を備えている。ＣＰＵ１１２、ＲＯＭ１１４、ＲＡＭ１１６と、Ｉ／Ｏ１１８は通信可能に接続されている。ＣＰＵ１１２は、ＲＯＭ１１４に格納されている制御プログラムに従って各種信号の出力制御を実行する。ＲＯＭ１１４には、例えば第１カメラ２２ａから出力される電気信号を処理するためのデータやプログラム等が記憶されている。具体的には、第１カメラ２２ａが指揮者２の顔の色を撮影したときに、第１カメラ２２ａが出力する電気信号を記述するデータを記憶している。また、第１カメラ２２ａの出力信号を経時的に処理して、第１カメラ２２ａの視野Ｖ１内における指揮者２の頭（顔）２ａの位置を経時的に算出するプログラム等が記憶されている。ＲＡＭ１１６は、ワークメモリとして使用されるメイン記憶素子であり、各処理の実行に応じて種々の情報を記憶する。
第１処理回路１１０は、上記の構成により、第１カメラ２２ａの出力信号を処理して第１カメラ２２ａの視野Ｖ１内における指揮者２の頭（顔）２ａの位置を経時的に算出し、算出した位置を首回動機構７２に教示する。
【００１９】
第２処理回路１３０は、ＣＰＵ１３２、ＲＯＭ１３４、ＲＡＭ１３６、Ｉ／Ｏ１３８等を備えている。ＣＰＵ１３２、ＲＯＭ１３４、ＲＡＭ１３６と、Ｉ／Ｏ１３８は通信可能に接続されている。ＣＰＵ１３２は、ＲＯＭ１３４に格納されている制御プログラムに従って各種信号の出力制御を実行する。ＲＯＭ１３４には、例えば第２カメラ２２ｂから出力される電気信号を処理するためのデータやプログラムが記憶されている。具体的には、第２カメラ２２ｂが指揮棒先端６の色（赤色）を撮影したときに、第２カメラ２２ｂが出力する電気信号を記述するデータを記憶している。また、第２カメラ２２ｂの出力信号を経時的に処理して、第２カメラ２２ｂの視野Ｖ２内における指揮棒先端６の位置を経時的に算出するプログラムを記憶している。また、経時的に算出した指揮棒先端６の位置から、その先端６の移動速度（速さとその方向）を算出するプログラム等が記憶されている。ＲＡＭ１３６は、ワークメモリとして使用されるメイン記憶素子であり、各処理の実行に応じて種々の情報を記憶する。
第２処理回路１３０は、上記の構成により、第２カメラ２２ｂの出力信号を処理して第２カメラ２２ｂの視野Ｖ２内における指揮棒先端６の位置を経時的に算出する。また、経時的に算出した先端６の位置から、その先端６の移動速度（速さとその方向）を算出する。そして、算出した先端６の移動速度に基づいて、指揮者２が指揮棒４で表現しているテンポと同期するテンポ信号を、吹奏機構３９やアーム駆動機構８２や移動機構８６に出力する。
【００２０】
次に、本実施例の特徴である第１カメラ２２ａと第２カメラ２２ｂについて、詳細に説明する。図２に示すように、第１カメラ２２ａは、第１光束選択部２４ａと、第１回折部２６ａと、第１ＣＣＤセンサ部２８ａ等を備えている。第２カメラ２２ｂは、第２光束選択部２４ｂと、第２回折部２６ａと、第２ＣＣＤセンサ部２８ａ等を備えている。第１光束選択部２４ａと第２光束選択部２４ｂは略同様の構成であり、第１光束選択部２４ａと第２光束選択部２４ｂは略同様の構成であり、第１エリアセンサ２８ａと第２エリアセンサ２８ｂは略同様の構成である。このように、第１カメラ２２ａと第２カメラ２２ｂは、略同様の構成をしている。
【００２１】
図３を参照して、第１カメラ２２ａについて説明する。図３は、第１カメラ２２ａの構成を模式的に示す図であり、所定の方向から入射した光Ｌｆが、第１光束選択部２４ａ、第１回折部２６ａ等を経て、第１エリアセンサ２８ａに入射する様子を示している。
図３に示すように、第１カメラ２２ａの第１光束選択部２４ａは、入射光Ｌｉを屈折するレンズ３２ａ、レンズ３２ｂや、レンズ３２ａ、３２ｂから入射する光束Ｌｆのうち所定の位置に入射した光束Ｌｆのみを透過するフィルタ３２ｃ等を備えている。また、第１屈折部２６ａは、反射ミラー３４が反射した光束Ｌｆをさらに反射するグレーティング反射板３６等から構成されている。グレーティング反射板３６は、反射面３６ｃに微小な幅の溝が並列に繰り返し形成されており、入射した光を波長毎に異なる角度で反射する。即ち、光の回折の原理を利用して、入射光束を連続する波長毎に分光した波長別光束に変換する反射板である。第１エリアセンサ２８ａは、ｍａ×Ｎａ個のＣＣＤ（電荷結合素子）センサ素子２８ｃ群等から構成されている。ＣＣＤセンサ素子２８ｃ群は略同一平面上に配置されており、図面水平方向にｍａ列、図面鉛直方向にＮａ行のマトリクス状に配置されている。各ＣＣＤセンサ素子２８ｃは、入射した光の強度に応じて電気信号を出力する受光センサである。各ＣＣＤセンサ素子２８ｃは、入射した光の強度に応じて電荷を発生させ、その電荷を電圧に変換した光電変換信号を出力する。この光電変換信号は、所定の周期で断続的に出力される。第１エリアセンサ２８ａは、ｍａ×Ｎａ個のＣＣＤセンサ素子２８ｃ群を備えていることから、第１エリアセンサ２８ａは所定の周期毎にｍａ×Ｎａ個の光電変換信号を出力する。
なお、上記のグレーティング反射板３６は、入射光束を連続する波長物光束に分光するための部材であり、グレーティング反射板３６に代えてプリズム等を利用することもできる。また、第１エリアセンサ２８ａは、光電変換素子を利用して受光した光の強度を電気信号で出力するための部材であり、ＣＣＤ方式に限定される必要はなく、ＣＭＯＳ方式等のエリアセンサを利用してもよい。
【００２２】
図３に示すように、所定の方向から入射した光Ｌｉは、レンズ３２ａ、レンズ３２ｂで屈折され、その屈折された光束Ｌｆがフィルタ３２ｃを透過し、反射ミラー３４で反射されて、グレーティング反射板３６ａへ入射する。フィルタ３２ｃは、離散的に定められた位置に入射した光束Ｌｆのみを透過する。詳しくは、第１カメラ２２ａの画素数に対応して、ｍａ×ｎａのマトリクス状に定められた位置に入射した光束のみを透過する。光束Ｌｆがフィルタ３２ｃに入射する位置は、その光束Ｌｆが第１光束選択部２４ａに入射したときの方向（入射光Ｌｉの入射方向）によって異なる。
フィルタ３２ｃを透過したｍａ×ｎａ本の光束Ｌｆ群は、反射ミラー３４で反射され、グレーティング反射板３６の反射面３６ｃに、ｍａ×ｎａのマトリクス状に並ぶ位置に離散的に入射する。例えば図３に示す場合の入射光Ｌｉは、グレーティング反射板３６の反射面３６ｃの位置３６ｄに入射する。図３に示す場合と異なる方向からの入射光は、位置３６ｄとは異なる位置に入射する。レンズ３２ａやレンズ３２ｂは、一つのレンズで構成してもよいし、複数の微小なレンズが複合している複眼レンズ等を用いてもよい。また、グレーティング反射板３６は、一つのグレーティング反射板を用いてもよいし、複数のグレーティング反射板を用いてもよい。あるいは、複数の微小なグレーティング反射面を有するものを用いてもよい。本実施例では、一つのグレーティング反射板３６を用いている。
グレーティング反射板３６に入射した光束Ｌｆは、グレーティング反射板３６で波長毎に異なる角度で反射される。即ち、グレーティング反射板３６によって、光束Ｌｆは連続する波長別に分光された波長別分光Ｌｓに変換される。波長別分光Ｌｓは、第１エリアセンサ２８ａの所定の範囲に入射する。詳しくは、直線状に並ぶｋ個のＣＣＤセンサ素子２８ｃ群に入射する。波長別分光Ｌｓは、グレーティング反射板３６の反射された位置によって、それぞれ第１エリアセンサ２８ａの異なるｋ個のＣＣＤセンサ素子２８ｃ群に入射する。第１光束選択部２４ａを透過したｍａ×ｎａ本の光束Ｌｆ群は、グレーティング反射板３６へ離散する位置に入射するので、各光束Ｌｆの波長別分光Ｌｓが第１エリアセンサ２８ａ上に重複して入射することはない。このように第１カメラ２２ａでは、入射光Ｌｓが入射方向に応じてｍａ×ｎａの光束Ｌｆに分離され、それぞれの光束がグレーティング反射板３８の異なる位置で波長別分光Ｌｓに変換されて反射され、それぞれの波長別分光Ｌｓが第１エリアセンサ２８ａの異なるｋ個のＣＣＤセンサ素子２８ｃ群に入射する。
【００２３】
図４は、第１カメラ２２ａの視野Ｖ１と、その視野Ｖ１の各位置から入射した光が、エリアセンサ２８ａに入射する位置の関係を示す図である。図４に示すように、分離光学系を構成する第１光束選択部２４ａが、入射光Ｌｉをｍａ×ｎａの光束に分離することにより、第１カメラ２２ａの視野Ｖ１は水平方向にｍａ列、鉛直方向にｎａ列の碁盤目上に区分される。各区分視野Ｖａからの入射光Ｌｉは、それぞれ第１エリアセンサ２８ａの異なるｋ個のＣＣＤセンサ素子２８ｃに入射する。例えば図４に示すように、視野Ｖ１において水平方向にｍ１列目、鉛直方向にｎ１行目に位置する区分視野Ｖａ１からの入射光は、第１エリアセンサ２８ａにおいて水平方向にｍ１列目、鉛直方向に（ｎ１−１）・ｋ＋１行目〜ｎ１・ｋ行目にならぶｋ個のＣＣＤセンサ素子２８ｃに入射する。同様に、水平方向にｍ列目、鉛直方向にｎ行目に位置する区分視野Ｖａからの入射光は、第１エリアセンサ２８ａにおいて水平方向にｍ１列目、鉛直方向上向きに（ｎ−１）・ｋ＋１行目〜ｎ・ｋ行目にならぶｋ個のＣＣＤセンサ素子２８ｃに入射する。視野Ｖ１を鉛直方向に区画する行数ｎａと、第１エリアセンサ２８ａにおいて鉛直方向に並ぶＣＣＤセンサ素子２８ｃの行数Ｎａは、Ｎａ＝ｎａ・ｋの関係となっている。
【００２４】
図５は、図４で示した区分視野Ｖａ１からの入射光が、第１エリアセンサ２８ａに入射したときに、第１エリアセンサ２８ａから出力される電気信号の例を示している。なお、図５では、第１エリアセンサ２８ａから出力される電気信号を、電圧値に変換して検出した場合を示している。区分視野Ｖａ１からの入射光は、波長別分光Ｌｓに変換されてｋ個のＣＣＤセンサ素子２８ｃ群に入射するので、第１エリアセンサ２８ａからはｋ個の電圧値が出力される。各ＣＣＤセンサ素子２８ｃが出力する電圧値は、区分視野Ｖａ１から入射した光の波長別の強度を示しており、これらのｋ個の波長別強度信号から区分視野Ｖａ１の色を特定することができる。あるいは、所定の物体の色をこの波長別強度信号分布によって教示しておき、それと出力された波長別強度信号分布を比較することにより、区分視野Ｖａ１の範囲にその物体が位置しているか否かを判断することもできる。
【００２５】
図６は、第１エリアセンサ２８ａの各ＣＣＤセンサ素子２８ｃが出力するｍａ×Ｎａ個の電気信号値群（波長別強度信号群）を、第１エリアセンサ２８ａにおけるＣＣＤセンサ素子２８ｃの配置に合わせてマトリクス状に示したものである。図６では、横軸をｍ軸とし縦軸をＮ軸として、各ＣＣＤセンサ素子２８ｃの第１エリアセンサ２８ａにおける位置を示しており、各ＣＣＤセンサ素子２８ｃの出力電圧値が横方向にヒストグラム状に示されている。また図６のｎ軸は、第１カメラ２２ａの視野Ｖ１において対応する区分視野Ｖａの位置を示している。例えば、ｍ軸の値が１であり、Ｎ軸の値が１〜ｋまでの位置に記述されている波長別強度信号は、視野Ｖ１において位置（ｍａ，ｎａ）＝（１，１）の区分視野から入射する光の波長別強度信号分布を示している。
図６に示した第１エリアセンサ２８ａの出力信号値群（波長別強度信号群）では、例えば視野Ｖ１における位置（ｍａ，ｎａ）＝（３，４）、（３，５）、（４，３）、（４，４）、（４，５）、（６，２）、（６，３）、（６，４）、（６，５）の波長別強度信号分布が、すべて略同一となっている。このような波長別強度信号が得られた場合、上記の各区分視野Ｖａには、同一の色彩の物体等が存在していると判断することができる。
このように第１カメラ２２ａでは、第１エリアセンサ２８ａから出力される信号値群から、直接的に視野Ｖ１内の各位置（各画素）の色が一致するのか否かを判断することができる。あるいは、色に対応する波長別強度信号分布を予め記憶しておけば、視野Ｖ１内の各位置の色を直接的に特定することもできる。
第２カメラ２２ｂは、上記で説明した第１カメラ２２ａと略同一であることから、重複説明を避け、第２カメラ２２ｂについての説明は省略する。
【００２６】
以上の構成により、ロボット１０は予定されている経路を移動しながら、ラッパ９８によって予定されている楽曲を演奏する。
ロボット１０は、予め教示されている上記の動作を、指揮者２が指揮棒４で表現している指揮のテンポに合せて変化させることができる。例えば指揮者２が指揮棒４をゆっくりのテンポで振れば、移動速度を遅くして、ラッパ９８の演奏のテンポも遅くする。指揮者２が指揮棒４を速いテンポで振れば、移動速度を速くして、ラッパ９８の演奏のテンポも速くする。そのために、ロボット１０は第１、第２カメラ２２ａ、２２ｂによって指揮者２の指揮棒４を撮影し続け、指揮者２の指揮のテンポを認識し続けられるように構成されている。以下、そのために本実施例のロボット１０が行う処理について説明する。
【００２７】
図７は、第１カメラ２２ａからの出力信号に基づいて、第１処理回路１１０等が行う処理の流れを示すフローチャートである。図７に示すフローに沿って、第１処理回路１１０等の処理動作を説明する。
ロボット１０が動作を開始することにより、図７に示すフローはスタートする。なお、スタート時には、第１カメラ２２ａが指揮者２の頭（顔）２ａを撮影するように、頭部２０の向きが設定されている。図７のステップＳ２では、第１処理回路１１０に、第１カメラ２２ａの出力信号が取り込まれる。第１カメラ２２ａからは、ｍａ×Ｎａ個の電圧値群が入力される。
ステップＳ４では、取り込んだｍａ×Ｎａ個の電圧値群を、図６に示すようにマトリクス状に配置する。なお、ここでいうマトリクス状に配置するとは、実際にマトリクス状に配置することを意図していない。図６に示したように、第１カメラ２２ａの視野Ｖ１における区分視野Ｖａの配置に対応付けて、各電圧値を処理することを意図している。それにより、第１カメラ２２ａの出力する電気信号において、各信号値がどの入射方向から撮像装置に入射した入射光を記述しているのかを特定することができる。この処理は、第１処理装置１１０のＣＰＵ１１２が、ＲＯＭ１１４に記憶されているこの処理のためのプログラムを実行することによって行われる。
【００２８】
ステップＳ６では、マトリクス状に配置した電圧値行列から、所定の波長別強度信号分布となっている位置を検出する。即ち、図６に示したようにマトリクス状に配置された電圧値行列の中で、ｋ個を一組とする電圧値群が所定の波長別強度信号分布となっているものを検出していく。この所定の波長別強度信号分布は、肌色（ヒトの顔の色）に対応する波長別強度信号分布であり、予めＲＯＭ１１４に記憶されている。肌色に対応する波長別強度信号分布となっている電圧値群が特定できれば、肌色である区分視野Ｖａ群を特定することができ、視野Ｖ１において肌色の範囲を特定することができる。第１カメラ２２ａから出力された電気信号を直接的に処理しているので、指揮者２の頭（顔）２ａの視野Ｖ１内位置を高速に特定することができる。
図８に示すように、例えば視野Ｖ１において肌色の範囲が図中の範囲Ａに特定できれば、視野Ｖ１の図中の範囲Ａに指揮者２の頭（顔）２ａが撮影されていると決定することができる。
ステップＳ８では、ステップＳ６で指揮者２の頭（顔）２ａが撮影されていると決定した範囲Ａから、その範囲Ａの重心位置を算出する。図８に示す場合、例えば重心位置を位置Ｇ（ｍ２，ｎ０）に算出することができる。
ステップＳ１０では、ステップＳ８の処理によって重心位置が求められたか否かが判別される。このステップＳ１０でイエスの場合はステップＳ１２へ進み、ノーの場合はステップＳ２２へ移動する。
【００２９】
ステップＳ１２では、算出された重心座標が、位置（ｍ０，ｎ）であるのか否かを判別する。このステップＳ１２でイエスの場合はステップＳ２へ戻り、ノーの場合はステップＳ１４へ移動する。ここで、ｎは任意の値である。例えば、図８の場合では、重心位置Ｇが位置（ｍ２，ｎ０）に算出されているので、このステップではノーと判定される。
ステップＳ１４では、ステップＳ８で算出した重心位置（ｍ，ｎ）を、首回動機構７２に教示する。首回動機構７２は、教示された重心位置（ｍ，ｎ）に基づいて、撮影される指揮者２の頭（顔）２ａの重心位置が（ｍ０，ｎ０）に位置するように、首アクチュエータを動作して、ロボット１０の頭部２０の向きを変更する。それにより、ロボット１０が左右に曲がりながら行進をしていても、第１カメラ２２ａは、その視野Ｖ１の略中心である（ｍ０，ｎ０）近傍に、指揮者２の頭（顔）２ａを撮影し続けることができる。
なお、ロボット１０の使用者は、ロボット１０を使用するのに先だって、指揮者２の頭（顔）２ａの重心座標が（ｍ０，ｎ０）になりうるように頭部２０の角度を調整しておくとよい。
本実施例では、ロボット１０が上下方向に移動しないので、第１カメラ２２ａで撮影される指揮者２の頭（顔）２ａの位置がｎ軸方向に大きく外れることはない。従って、指揮者の顔の重心のｎ座標がｎ０から大きく外れることはない。
なお以下では、ステップＳ２〜Ｓ１４の処理のことを「ビジュアルサーボ制御」と記載することがある。
【００３０】
第１処理回路１１０がステップＳ２〜Ｓ１４の処理（ビジュアルサーボ制御）を高速で繰り返し実行することによって、第１カメラ２２ａは指揮者２の頭（顔）２ａを捉え続けることになる。しかしながら、ロボット１０が高速で進行方向を変えると、第１カメラ２２ａの視野Ｖ１から指揮者２の頭（顔）２ａがフレームアウトしてしまうことがある。この場合、ステップＳ１０でノーと判断されて、ステップＳ２２の処理に進む。
ステップＳ２２では、第１カメラ２２ａの視野Ｖ１から指揮者２の頭（顔）２ａがフレームアウトしていることを首回動機構７２に教示し、ステップＳ２へ戻る。なお、首回動機構７２は、このフレームアウトしている旨の信号を受け取ると、以下の処理を実行して、第１カメラ２２ａが指揮者２の頭（顔）２ａを撮影できるように頭部２０の向きを変化させる。首回動機構７２は、ロボット１０の現在の位置と進行方向を移動機構８６から読み込む。また、首回動機構７２には、指揮者２の位置が予め教示されている。首回動機構７２は、ロボット１０の現在地情報と指揮者２の位置情報から、頭部２０が向くべき方向を決定し、頭部２０の向きをその方向へと回動する。この動作により、第１カメラ２２ａは、指揮者２の頭部２ａを撮影することができるようになる。以降、再びステップＳ２〜Ｓ１４の処理によるビジュアルサーボ制御によって、第１カメラ２２ａは、その視野Ｖ１の略中心である（ｍ０，ｎ０）近傍に、指揮者２の頭（顔）２ａを撮影し続ける。
【００３１】
上記で説明した図７のフローに沿って、第１カメラ２２ａが指揮者２の頭（顔）２ａを撮影し続けることにより、第２カメラ２２ｂは指揮者２が振る指揮棒先端６を撮影し続けることとなる。
図９は、第２カメラ２２ｂからの出力信号に基づいて、第２処理回路１３０等が行う処理の流れを示すフローチャートである。図９に示すフローに沿って、第２処理回路１３０等の処理動作について説明する。
ロボット１０が動作を開始することにより、図９に示すフローはスタートする。図９のステップＳ４２〜４８では、図７に示したフローのステップＳ２〜Ｓ８と略同一の処理が行われる。第２処理回路１３０は、第２カメラ２２ｂの出力信号を取り込み（ステップＳ４２）、取り込んだｍａ×Ｎａ個の電圧値群をマトリクス状に配置する（ステップＳ４４）。
【００３２】
ステップＳ４６では、マトリクス状に配置した電圧値行列から、所定の波長別強度信号分布となっている位置を検出する。第２処理回路１３０では、赤色（指揮棒先端６の色）に対応する波長別強度信号分布がＲＯＭ１３４に予め記憶されており、視野Ｖ２において指揮棒先端６が撮影されている範囲が特定される。
図１０に示すように、例えば視野Ｖ１において指揮棒先端６が、視野Ｖ２の図中の範囲Ｂに撮影されていると特定することができる。第２処理回路１３０は、第２カメラ２２ｂから出力された電気信号を直接的に処理しているので、その色彩で特定される指揮棒先端６の視野Ｖ２内位置を高速に求めることができる。
ステップＳ４８では、ステップＳ４６で指揮棒先端６が撮影されていると決定した範囲Ｂから、その範囲Ｂの重心位置を算出する。図１０に示す場合、例えば重心位置を位置Ｐ３（ｍ３，ｎ３）に算出することができる。
【００３３】
ステップＳ５０では、ステップＳ４８の処理によって求められた重心位置がＲＡＭ１３６に記憶される。
ステップＳ５２では、この処理が初回であるのか否かが判別される。このステップＳ５２でイエスの場合はステップＳ４２へ戻り、ノーの場合はステップＳ５４へ進む。ステップＳ４２へ戻ると、再びステップＳ４２〜Ｓ５０の処理によって指揮棒先端６の重心位置が算出されて記憶される。ここでは、図９に示す位置Ｐ４（ｍ４，ｎ４）に新たな重心位置が算出されたとする。
【００３４】
ステップＳ５４では、ＲＡＭ１３６に記憶されている指揮棒先端６の重心位置から、重心の移動速度を算出する。ここでいう移動速度とは、第２カメラ２２ｂの視野Ｖ２における移動速度であり、その速さと方向を意味する。ＲＡＭ１３６には、異なる時刻における指揮棒先端６の重心位置が少なくとも２つ記憶されており、その重心位置の変化量とその検出時間間隔から、指揮棒先端６の重心位置の移動速度を求めることができる。
ステップＳ５６では、ステップＳ５４の処理によって求められた重心位置の移動速度がＲＡＭ１３６に記憶される。
ステップＳ５８では、この処理が初回であるのか否かが判別される。このステップＳ５８でイエスの場合はステップＳ４２へ戻り、ノーの場合はステップＳ６０へ進む。ステップＳ４２へ戻ると、再びステップＳ４２〜Ｓ５０の処理によって指揮棒先端６の重心位置が算出されて記憶される。また、再びステップＳ５４、Ｓ５６の処理によって指揮棒先端６の重心位置の移動速度が算出されて記憶される。
【００３５】
ステップＳ６０では、ＲＡＭ１３６に記憶されている指揮棒先端６の重心の移動速度から、その先端６が移動軌跡６ａにおいて極小点Ｐｘを通過したのか否かが判別される。図９に示すように、指揮棒４による指揮では、その先端６が極小点Ｐｘを通過するときのタイミングから指揮のテンポを知ることができる。第２処理回路１３０では、時系列で記憶されている指揮棒先端６の重心位置の移動速度から、その先端６の移動方向のｎ軸方向成分が負方向から正方向に変化した時、その先端６が極小点Ｐｘを通過したと認識する。それにより、指揮者２が指揮棒４で表現している指揮のテンポを知ることができる。このステップＳ６０において、その先端６が極小点Ｐｘを通過したと認識されれば、ステップＳ６２へ進む。そうでない場合は、ステップＳ４２へ戻り上記の処理が繰り返される。
第２カメラ２２ｂおよび第２処理回路１３０により、指揮棒先端６の位置は高い時間分解能で求められるので、指揮棒先端６の速度変化をより正確に検出することができる。
ステップＳ６２では、吹奏機構３９やアーム駆動機構８２や移動機構８６等にテンポ信号を出力する。それにより、指揮者２が表現している指揮と同じテンポでテンポ信号が出力される。
【００３６】
吹奏機構３９やアーム駆動機構８２や移動機構８６等は、第２処理回路１３０から入力されたテンポ信号に合せて、自身の動作の速度を調節する。例えばテンポ信号が長い間隔を置いて（ゆっくりのテンポで）入力されれば、移動速度を遅くして、ラッパ９８の演奏のテンポも遅くする。テンポ信号が短い間隔を置いて（速いテンポで）入力されれば、移動速度を速くして、ラッパ９８の演奏のテンポも速くする。それによりロボット１０は、指揮者２が指揮棒４で表現している指揮のテンポに合せて、自身の動作を変化させることができる。
【００３７】
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
本実施例では、２台のカメラを利用しているが、１台のカメラを用いて構成することもできる。図１１に示すように、１台のカメラで指揮者と指揮棒先端を同時に撮影し、撮影した画像から指揮者の顔の範囲Ａとその重心Ｇや、指揮棒先端の範囲Ｂとその重心Ｐをそれぞれ特定することができる。指揮者の顔の視野Ｖ１内位置を所定の位置に維持していれば、そのカメラで指揮棒先端６を撮影し続けることもできる。
本実施例では、第１カメラと第２カメラが相対的な位置を保ち続けているが、第１カメラと第２カメラが相対的に運動できるようにしてもよい。
本明細書または図面に説明した技術要素は、単独であるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時請求項記載の組み合わせに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
【図面の簡単な説明】
【００３８】
【図１】ロボット１０の概要を示す図。
【図２】ロボット１０の構成を示すブロック図。
【図３】第１（第２）カメラの原理を示す図。
【図４】第１（第２）カメラの視野とエリアセンサの受光範囲の関係を示す図。
【図５】ＣＣＤセンサ素子群が出力する電気信号の一例。
【図６】第１（第２）カメラの視野とエリアセンサが出力する電気信号の対応を示す図。
【図７】第１処理回路の処理の流れを示すフローチャート。
【図８】第１処理回路が特定した指揮者の頭（顔）の視野内位置の一例を示す図。
【図９】第２処理回路の処理の流れを示すフローチャート。
【図１０】第２処理回路が特定した指揮棒先端の視野内位置の一例を示す図。
【図１１】第１カメラのみを利用するロボットの視野を例示する図。
【符号の説明】
【００３９】
２・・指揮者
２ａ・・指揮者の頭（顔）
４・・指揮棒
６・・指揮棒の先端
１０・・楽器演奏ロボット
２０・・楽器演奏ロボットの頭部
２２ａ、２２ｂ・・第１、第２カメラ
２４ａ、２４ｂ・・光束選択（分離光学系）
２６ａ、２６ｂ・・グレーティング反射板
２８ａ、２８ｂ・・受光センサ
２８ｃ・・ＣＣＤセンサ素子（光電変換素子）
３９・・吹奏機構
４０・・楽器演奏ロボットの胴体部
７０・・楽器演奏ロボットの首部
７２・・首回動機構
８２・・アーム駆動機構
８４ａ、８４ｂ・・タイヤ
８６・・移動機構
１００・・画像処理回路
１１０・・第１処理回路
１１２・・第１処理回路のＣＰＵ
１１４・・第１処理回路のＲＯＭ
１１６・・第１処理回路のＲＡＭ
１１８・・第１処理回路のＩ／Ｏ
１３０・・第２処理回路
１３２・・第２処理回路のＣＰＵ
１３４・・第２処理回路のＲＯＭ
１３６・・第２処理回路のＲＡＭ
１３８・・第２処理回路のＩ／Ｏ
【図１】
2005265775.tif 000003
【図２】
2005265775.tif 000004
【図３】
2005265775.tif 000005
【図４】
2005265775.tif 000006
【図５】
2005265775.tif 000007
【図６】
2005265775.tif 000008
【図７】
2005265775.tif 000009
【図８】
2005265775.tif 000010
【図９】
2005265775.tif 000011
【図１０】
2005265775.tif 000012
【図１１】
2005265775.tif 000013