(57)【特許請求の範囲】
【請求項１】
アームを備え、第１物体と第２物体とを用いて作業を行うロボットと、
第１制御と第２制御とにより、前記アームを動作させる制御装置と、を含み、
前記第２制御は、前記作業を行う期間のうち少なくとも一部の期間の音の大きさを用いた制御であり、録音された前記音における所定の時間区間ごとの前記音の大きさを用いた制御であり、
前記ロボットの制御周波数は、前記音のサンプリング周波数よりも低く、
前記制御装置は、
前記第１制御により所定位置まで前記アームを移動させた後、前記第２制御による前記アームの動作を開始し、
前記音の大きさが所定値を超えた時に、前記アームの動作を変化させる、
ロボットシステム。
【請求項２】
撮像装置を備え、
前記制御装置は、前記第１制御において前記撮像装置により撮像された画像を用いて前記所定位置まで前記アームを移動させる、
請求項１に記載のロボットシステム。
【請求項３】
前記ロボットは、力センサーを含み、
前記制御装置は、前記第２制御において前記力センサーの値を用いて前記アームの動作を制御する、
請求項１または請求項２に記載のロボットシステム。
【請求項４】
前記制御装置は、前記第２制御において所定の異常を検出した時に、前記アームの動作を変化させる、
請求項１から請求項３のいずれか１項に記載のロボットシステム。
【請求項５】
ロボットであって、
第１物体を第２物体に組み付けるアームと、
第１制御と第２制御とにより、前記アームを動作させる制御部と、を含み、
前記第２制御は、前記第１物体を前記第２物体に組み付ける時の音の大きさを用いた制御であり、録音された前記音における所定の時間区間ごとの前記音の大きさを用いた制御であり、
当該ロボットの制御周波数は、前記音のサンプリング周波数よりも低く、
前記制御部は、
前記第１制御により所定位置まで前記アームを移動させた後、前記第２制御による前記アームの動作を開始し、
前記音の大きさが所定値を超えた時に、前記アームの動作を変化させる、
ロボット。
【請求項６】
第１制御および第１物体と第２物体とを用いた作業を行う期間のうち少なくとも一部の期間の音の大きさを用いた制御であって録音された前記音における所定の時間区間ごとの前記音の大きさを用いた制御である第２制御により、前記作業を行うロボットのアームを動作させ、
前記第１制御により所定位置まで前記アームを移動させた後、前記第２制御による前記アームの動作を開始させ、
前記音の大きさが所定値を超えた時に、前記アームの動作を変化させる、
制御装置であって、
前記ロボットの制御周波数は、前記音のサンプリング周波数よりも低い、
制御装置。
【請求項７】
第１制御および第１物体と第２物体とを用いた作業を行う期間のうち少なくとも一部の期間の音の大きさを用いた制御であって録音された前記音における所定の時間区間ごとの前記音の大きさを用いた制御である第２制御により、前記作業を行うロボットのアームを動作させ、
前記第１制御により所定位置まで前記アームを移動させた後、前記第２制御による前記アームの動作を開始し、
前記音の大きさが所定値を超えた時に、前記アームの動作を変化させる、
制御方法であって、
前記ロボットの制御周波数は、前記音のサンプリング周波数よりも低い、
制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットシステム、ロボット、制御装置および制御方法に関する。
【背景技術】
【０００２】
ロボットハンドにおいて、音情報をフーリエ変換して、フーリエ変換の結果に基づいて、所定の周波数帯域の音情報を用いてタスクの達成を判別する技術が検討されている（非特許文献１参照。）。この技術では、ロボットハンドにより作業を行っているときに取得した音の時系列データをフーリエ変換して周波数特性を解析することで、作業の進捗度合を検知する。
また、コネクタ嵌合時に生じる嵌合音を含む音響信号を解析し、所定の周波数帯域における信号を閾値と比較して嵌合音の有無を判断するコネクタ嵌合検査システムが検討されている（特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１６１０４５号公報
【非特許文献】
【０００４】
【非特許文献１】栗田雄一、池田篤俊、祖父江厚志、小笠原司、「音情報を用いたロボットハンドによるタスク達成判別および水量推定」、人工知能学会研究資料、ＪＳＡＩ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  ＳＩＧ−Ｃｈａｌｌｅｎｇｅ−Ａ９０２−１０、２００９年１１月１９日、ｐ．５０−５５
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１に係る技術では、音情報をフーリエ変換して周波数解析する処理に時間がかかるため、リアルタイムのロボット制御に適用するとタイムラグが発生する。また、非特許文献１に係る技術では、ロボットハンドにより作業を行っているときに取得した音の時系列データをフーリエ変換するため、一定時間（長い時間）にわたる音の時系列データが必要であった。
また、特許文献１に係る技術においても、音情報をフーリエ変換して周波数解析する処理が必要であった。
以上のような技術は、特に、リアルタイムの作業チェックが必要な産業用ロボットに適用することが困難であった。
【０００６】
本発明は、前記の点に鑑み為されたものであり、音を用いてリアルタイムのロボット制御を行うことができるロボットシステム、ロボット、制御装置および制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様は、上記の課題を解決するためになされたものであり、アームを備え、第１物体と第２物体とを用いて作業を行うロボットと、第１制御と第２制御とにより、前記アームを動作させる制御装置と、含み、前記第２制御は、前記作業を行う期間のうち少なくとも一部の期間の音の大きさを用いた制御であり、前記制御装置は、前記第１制御により所定位置まで前記アームを移動させた後、前記第２制御による前記アームの動作を開始し、前記音の大きさが所定値を超えた時に、前記アームの動作を変化させる、ロボットシステムである。
この構成により、ロボットシステムは、第１制御により所定位置までアームを移動させた後、第２制御によるアームの動作を開始し、音の大きさが所定値を超えた時に、アームの動作を変化させる。これにより、ロボットシステムでは、音を用いてリアルタイムのロボット制御を行うことができる。
【０００８】
本発明の一態様は、ロボットシステムにおいて、前記第２制御は、録音された音における所定の時間区間ごとの音の大きさを用いた制御である、構成が用いられてもよい。
この構成により、ロボットシステムは、第２制御において、録音された音における所定の時間区間ごとの音の大きさを用いた制御を行う。これにより、ロボットシステムでは、録音された音を用いてリアルタイムのロボット制御を行うことができる。
【０００９】
本発明の一態様は、ロボットシステムにおいて、撮像装置を備え、前記制御装置は、前記第１制御において前記撮像装置により撮像された画像を用いて前記所定位置まで前記アームを移動させる、構成が用いられてもよい。
この構成により、ロボットシステムは、第１制御において撮像された画像を用いて所定位置までアームを移動させる。これにより、ロボットシステムでは、画像を用いて、精度良く、所定位置までアームを移動させることができる。
【００１０】
本発明の一態様は、ロボットシステムにおいて、前記ロボットは、力センサーを含み、前記制御装置は、前記第２制御において前記力センサーの値を用いて前記アームの動作を制御する、構成が用いられてもよい。
この構成により、ロボットシステムは、第２制御において力センサーの値を用いてアームの動作を制御する。これにより、ロボットシステムでは、過大な力を生じさせずに、組み付けを行うことができる。
【００１１】
本発明の一態様は、ロボットシステムにおいて、前記制御装置は、前記第２制御において所定の異常を検出した時に、前記アームの動作を変化させる、構成が用いられてもよい。
この構成により、ロボットシステムは、第２制御において所定の異常を検出した時に、第２制御によるアームの動作を変化させる。これにより、ロボットシステムでは、第２制御において、所定の異常を検出した時に、動作を継続せずに変化させることができる。
【００１２】
本発明の一態様は、第１物体を第２物体に組み付けるアームと、第１制御と第２制御とにより、前記アームを動作させる制御部と、を含み、前記第２制御は、前記第１物体を前記第２物体に組み付ける時の音の大きさを用いた制御であり、前記制御部は、前記第１制御により所定位置まで前記アームを移動させた後、前記第２制御による前記アームの動作を開始し、前記音の大きさが所定値を超えた時に、前記アームの動作を変化させる、ロボットである。
この構成により、ロボットは、第１制御により所定位置までアームを移動させた後、第２制御によるアームの動作を開始し、音の大きさが所定値を超えた時に、アームの動作を変化させる。これにより、ロボットでは、音を用いてリアルタイムの制御を行うことができる。
【００１３】
本発明の一態様は、第１制御および第１物体と第２物体とを用いた作業を行う期間のうち少なくとも一部の期間の音の大きさを用いた第２制御により、前記作業を行うアームを動作させ、前記第１制御により所定位置まで前記アームを移動させた後、前記第２制御による前記アームの動作を開始させ、前記音の大きさが所定値を超えた時に、前記アームの動作を変化させる、制御装置である。
この構成により、制御装置は、第１制御により所定位置までアームを移動させた後、第２制御によるアームの動作を開始させ、音の大きさが所定値を超えた時に、アームの動作を変化させる。これにより、制御装置では、音を用いてリアルタイムのロボット制御を行うことができる。
【００１４】
本発明の一態様は、第１制御および第１物体と第２物体とを用いた作業を行う期間のうち少なくとも一部の期間の音の大きさを用いた第２制御により、前記作業を行うアームを動作させ、前記第１制御により所定位置まで前記アームを移動させた後、前記第２制御による前記アームの動作を開始し、前記音の大きさが所定値を超えた時に、前記アームの動作を変化させる、制御方法である。
この構成により、制御方法は、第１制御により所定位置までアームを移動させた後、第２制御によるアームの動作を開始し、音の大きさが所定値を超えた時に、アームの動作を変化させる。これにより、制御方法では、音を用いてリアルタイムのロボット制御を行うことができる。
本発明の一態様は、アームを備え、第１物体と第２物体とを用いて作業を行うロボットと、第１制御と第２制御とにより、前記アームを動作させる制御装置と、を含み、前記第２制御は、前記作業を行う期間のうち少なくとも一部の期間の音の大きさを用いた制御であり、録音された前記音における所定の時間区間ごとの前記音の大きさを用いた制御であり、前記ロボットの制御周波数は、前記音のサンプリング周波数よりも低く、前記制御装置は、前記第１制御により所定位置まで前記アームを移動させた後、前記第２制御による前記アームの動作を開始し、前記音の大きさが所定値を超えた時に、前記アームの動作を変化させる、ロボットシステムである。
本発明の一態様は、ロボットであって、第１物体を第２物体に組み付けるアームと、第１制御と第２制御とにより、前記アームを動作させる制御部と、を含み、前記第２制御は、前記第１物体を前記第２物体に組み付ける時の音の大きさを用いた制御であり、録音された前記音における所定の時間区間ごとの前記音の大きさを用いた制御であり、当該ロボットの制御周波数は、前記音のサンプリング周波数よりも低く、前記制御部は、前記第１制御により所定位置まで前記アームを移動させた後、前記第２制御による前記アームの動作を開始し、前記音の大きさが所定値を超えた時に、前記アームの動作を変化させる、ロボットである。
本発明の一態様は、第１制御および第１物体と第２物体とを用いた作業を行う期間のうち少なくとも一部の期間の音の大きさを用いた制御であって録音された前記音における所定の時間区間ごとの前記音の大きさを用いた制御である第２制御により、前記作業を行うロボットのアームを動作させ、前記第１制御により所定位置まで前記アームを移動させた後、前記第２制御による前記アームの動作を開始させ、前記音の大きさが所定値を超えた時に、前記アームの動作を変化させる、制御装置であって、前記ロボットの制御周波数は、前記音のサンプリング周波数よりも低い、制御装置である。
本発明の一態様は、第１制御および第１物体と第２物体とを用いた作業を行う期間のうち少なくとも一部の期間の音の大きさを用いた制御であって録音された前記音における所定の時間区間ごとの前記音の大きさを用いた制御である第２制御により、前記作業を行うロボットのアームを動作させ、前記第１制御により所定位置まで前記アームを移動させた後、前記第２制御による前記アームの動作を開始し、前記音の大きさが所定値を超えた時に、前記アームの動作を変化させる、制御方法であって、前記ロボットの制御周波数は、前記音のサンプリング周波数よりも低い、制御方法である。
【００１５】
以上のように、本発明に係るロボットシステム、ロボット、制御装置および制御方法によれば、第１制御により所定位置までアームを移動させた後、第２制御によるアームの動作を開始し、音の大きさが所定値を超えた時に、アームの動作を変化させる。これにより、ロボットシステム、ロボット、制御装置および制御方法では、音を用いてリアルタイムのロボット制御を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係るロボットシステムの概略的な構成例を示す図である。
【図２】本発明の一実施形態（第１実施形態）に係る制御装置の概略的な構成例を示すブロック図である。
【図３】本発明の一実施形態（第１実施形態）に係るロボットシステムにおいて行われる処理の手順の一例を示すフローチャートである。
【図４】本発明の一実施形態に係る音の情報の取得の一例を示す図である。
【図５】本発明の一実施形態（第２実施形態）に係る制御部の概略的な構成例を示すブロック図である。
【図６】本発明の一実施形態（第２実施形態）に係るロボットシステムにおいて行われる処理の手順の一例を示すフローチャートである。
【図７】本発明の一実施形態（第３実施形態）に係る制御部の概略的な構成例を示すブロック図である。
【図８】本発明の一実施形態（第３実施形態）に係るロボットシステムにおいて行われる処理の手順の一例を示すフローチャートである。
【図９】本発明の一実施形態（第４実施形態）に係る制御部の概略的な構成例を示すブロック図である。
【図１０】本発明の一実施形態（第４実施形態）に係るロボットシステムにおいて行われる処理の手順の一例を示すフローチャートである。
【図１１】本発明の一実施形態（第５実施形態）に係るロボットシステムの概略的な構成例を示す図である。
【図１２】本発明の一実施形態（第５実施形態）に係る制御装置の概略的な構成例を示すブロック図である。
【図１３】本発明の一実施形態（第５実施形態）に係るロボットシステムにおいて行われる処理の手順の一例を示すフローチャートである。
【図１４】本発明の一実施形態（第６実施形態）に係るロボットシステムの概略的な構成例を示す図である。
【図１５】本発明の一実施形態（第７実施形態）に係るロボットの概略的な構成例を示すブロック図である。
【図１６】本発明の一実施形態（第８実施形態）に係るロボットの概略的な構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
本発明の実施形態について図面を参照して詳細に説明する。
【００１８】
＜第１実施形態＞
［本実施形態に係るロボットシステムの概要］
図１は、本発明の一実施形態に係るロボットシステム１の概略的な構成例を示す図である。
本実施形態に係るロボットシステム１は、ロボット１１と、制御装置１２と、ロボット１１と制御装置１２とを接続して通信可能にする回線１３を備える。
ロボット１１は、マニピュレーター２１と、マニピュレーター２１の先端に取り付けられたハンド２２と、ハンド２２に付されたマイク２３を備える。ロボットシステム１は、マイク２３と制御装置１２とを接続して通信可能にする回線１４を備える。
また、図１には、ロボット１１により操作する対象（操作対象）３１と、操作対象３１を組み付ける対象（組み付け対象）３２を示してある。
【００１９】
ここで、ロボット１１は、１本のマニピュレーター２１（アーム）を備える単腕のロボットである。マニピュレーター２１の軸の数（関節の数）としては、６軸のマニピュレーターが用いられており、他の構成例として、７軸のマニピュレーターまたは５軸以下のマニピュレーターが用いられてもよい。
ハンド２２は、エンドエフェクターの一例であり、例えば、汎用のロボットハンドが用いられる。エンドエフェクターとしては、様々なものが用いられてもよい。
【００２０】
マイク２３は、入力された音の情報を含む信号を回線１４を介して制御装置１２に送信する。マイク２３は、ハンド２２による作業に関する音（音波）を入力することが容易な箇所の一例として、ハンド２２に設けられている。他の構成例として、マイク２３は、ロボット１１の様々な箇所、または、ロボット１１以外の空間や物体における様々な箇所に、設けられてもよい。例えば、マイク２３は、ロボット１１のマニピュレーター２１や本体部に備えられてもよい。マイク２３としては、例えば、指向性を有しないマイク（すべての方位の音を入力するマイク）が用いられてもよく、または、指向性を有するマイク（特定の方位の音を入力するマイク）が用いられてもよい。
【００２１】
回線１３としては、例えば、有線の回線が用いられてもよく、または、無線の回線が用いられてもよい。
回線１４としては、例えば、有線の回線が用いられてもよく、または、無線の回線が用いられてもよい。
操作対象３１および組み付け対象３２としては、例えば、プラグおよびレセプタクルが用いられている。プラグとレセプタクルによりコネクタが構成されている。操作対象３１や組み付け対象３２としては、それぞれ、様々な物体が用いられてもよく、様々な形状のものが用いられてもよい。
【００２２】
図２は、本発明の一実施形態（第１実施形態）に係る制御装置１２の概略的な構成例を示すブロック図である。
本実施形態に係る制御装置１２は、入力部１０１と、出力部１０２と、記憶部１０３と、通信部１０４と、音情報受付部１０５と、制御部１０６を備える。
制御部１０６は、ロボット動作制御部１２１と、音情報取得部１２２と、音情報判定部１２３を備える。
【００２３】
入力部１０１は、外部からの入力を受け付ける。入力部１０１は、例えば、ユーザーにより操作された操作入力を受け付けるキーボードやマウスなどを含んで構成される。また、入力部１０１は、例えば、外部の記憶媒体からの入力を受け付ける機能を含んで構成されてもよい。
出力部１０２は、外部への出力を行う。出力部１０２は、例えば、ユーザーに対して各種の情報を画像で表示する画面（例えば、液晶ディスプレイ）や、ユーザーに対して音声の情報を出力するスピーカーなどを含んで構成される。また、出力部１０２は、例えば、外部の記憶媒体へ情報を出力する機能を含んで構成されてもよい。
記憶部１０３は、各種の情報を記憶する記憶媒体を含んで構成される。記憶部１０３は、例えば、制御部１０６で使用されるプログラムの情報や、各種の処理で使用されるパラメーター（例えば、数値）の情報などを記憶する。
【００２４】
通信部１０４は、回線１３を介してロボット１１との間で信号を通信（送信や受信）する。
音情報受付部１０５は、マイク２３から送信された信号（音の情報を含む信号）を回線１４を介して受信して、音の情報を受け付ける。
制御部１０６は、各種の処理を制御する。制御部１０６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を有する。
【００２５】
ロボット動作制御部１２１は、ロボット１１の動作を制御する。ロボット動作制御部１２１は、例えば、ロボット１１のマニピュレーター２１やハンド２２の動作を制御するための信号を通信部１０４によりロボット１１に対して送信することで、ロボット１１のマニピュレーター２１やハンド２２の動作を制御する。また、ロボット動作制御部１２１は、例えば、ロボット１１から送信される応答などの信号を通信部１０４により受信してもよい。
音情報取得部１２２は、音情報受付部１０５により受け付けられた音の情報を取得する。
音情報判定部１２３は、音情報取得部１２２により取得された音の情報に基づいて、所定の作業の状態が達せられたか否かについて判定を行う。本実施形態では、音情報判定部１２３は、音の大きさが所定の閾値を超える場合には、操作対象３１と組み付け対象３２との所定の組み付け状態（所定の作業の状態の一例）が達せられたと判定し、他の場合には、当該状態が達せられていないと判定する。なお、音情報判定部１２３は、音の大きさが所定の閾値を超えるか否かを判定する構成の代わりに、音の大きさが所定の閾値以上であるか否かを判定する構成が用いられてもよい。
【００２６】
［本実施形態に係るフローチャートの例］
図３は、本発明の一実施形態（第１実施形態）に係るロボットシステム１において行われる処理の手順の一例を示すフローチャートである。
まず、ロボットシステム１では、ロボット動作制御部１２１がロボット１１のマニピュレーター２１やハンド２２を制御することで、操作対象３１（本実施形態では、プラグ）をハンド２２で把持して、操作対象３１を組み付け対象３２（本実施形態では、レセプタクル）の直前の位置に移動させる（ステップＳ１）。
【００２７】
次に、ロボットシステム１では、ロボット動作制御部１２１がロボット１１のマニピュレーター２１やハンド２２を制御することで、操作対象３１を組み付け対象３２に対して所定の程度まで組み付ける（ステップＳ２）。本実施形態では、操作対象３１を組み付け対象３２に対して所定の程度まで組み付ける態様として、所定の位置まで差し込む態様が用いられる。ここで、所定の位置としては、例えば、操作対象３１を組み付け対象３２に組み付けたときに操作対象３１が反力を受け始めた位置が用いられる。
【００２８】
次に、ロボットシステム１では、音情報取得部１２２が、マイク２３に入力された音の情報を取得する（ステップＳ３）。音情報取得部１２２は、例えば、定められた所定の時間にわたる音の情報を取得する。
次に、ロボットシステム１では、音情報判定部１２３が、音情報取得部１２２により取得された音の情報について、当該音の大きさが所定値（所定の閾値）を超えるか否かを判定する（ステップＳ４）。
上記の判定の結果（ステップＳ４）、ロボットシステム１では、音情報判定部１２３が、音の大きさが所定値を超えると判定した場合（ステップＳ４：ＹＥＳ）には、本フローの処理を終了する。
【００２９】
一方、上記の判定の結果（ステップＳ４）、ロボットシステム１では、音情報判定部１２３が、音の大きさが所定値以下であると判定した場合（ステップＳ４：ＮＯ）には、ロボット動作制御部１２１がロボット１１のマニピュレーター２１やハンド２２を制御することで、操作対象３１を組み付け対象３２に対して、さらに所定の程度だけ組み付けて（ステップＳ５）、ステップＳ３の処理へ移行する。本実施形態では、操作対象３１を組み付け対象３２に対して、さらに所定の程度だけ組み付ける態様として、さらに所定の量（所定量）だけ差し込む態様が用いられる。
【００３０】
ここで、ロボットシステム１では、ステップＳ３〜ステップＳ５の処理を順次実行するが、実用上では同時に行われるとみなされる。具体的には、ロボットシステム１では、操作対象３１を組み付け対象３２に対して組み付けているとき（ステップＳ５の処理のとき）に発生する音の情報が取得される（ステップＳ３）。
【００３１】
具体例を示す。
操作対象３１（本実施形態では、プラグ）が組み付け対象３２（本実施形態では、レセプタクル）に差し込まれる際、爪の部分の差し込みが行われたところで、差し込みの作業が完了するコネクタが用いられる。この場合、爪の部分の差し込みが行われるときに、その前後のタイミングと比べて、大きい音（例えば、いわゆる「カチッ」という音）が発生する。この大きい音より小さく且つ前後のタイミングの音より大きい閾値を設定する。ロボットシステム１では、ステップＳ２の処理において、爪の部分の差し込みの作業の完了よりも手前の位置まで操作対象３１を組み付け対象３２に差し込み、ステップＳ３〜ステップＳ５の処理を行うことで、爪の部分の差し込みの作業が行われたところで、ステップＳ４の処理により、差し込みの作業の完了が判定され、差し込みの作業が終了させられる。
【００３２】
音の情報の取得の具体例を示す。
図４は、本発明の一実施形態に係る音の情報の取得の一例を示す図である。
図４におけるグラフにおいて、横軸は時間を表しており、縦軸は音の信号値（本例では、正負の符号を有する信号値）を表わしている。このグラフには、正弦波の形状を有する周期的な音の信号５００１の一例を示してある。また、このグラフには、音の信号５００１における複数の信号点ａ１〜ａ１１を示してある。
音の信号５００１は、音の大きさが所定の閾値を超えるものであり、具体例としては、爪の部分の差し込みが行われるときに発生する音の信号である。図４では図示を簡易化したが、音の信号５００１は発生した後に減衰する。
図４の例では、音の信号５００１の最大の振幅がＱ（Ｑは正の値）であるとし、所定の閾値としてＱより小さいＰ（Ｐは正の値）が設定されることで、ステップＳ４の処理において、音の大きさ（強度）が所定の閾値を超え得る。このような所定の閾値は、例えば、事前の実験、または、理論的な計算などにより、定められて、設定される。
【００３３】
一例として、音情報判定部１２３は、音の信号５００１の１周期のうちに１０個の信号点（例えば、ａ１〜ａ１０）で信号値を検出して、検出されたそれぞれの信号値と所定の閾値とを比較して、判定を行う。図４の例では、信号点ａ３、ａ４、ａ８、ａ９のそれぞれにおいて、信号値が所定の閾値Ｐを超える。なお、信号点ａ１〜ａ１０のタイミング（時間の軸における位置）は、調整されてもよい。
なお、音の信号５００１の１周期は、例えば、（１／４４ｋ）［ｓ］である。
また、音の信号５００１の信号値は、例えば、マイク２３の振動板の変位について、＋方向の変位を２５６値（または、他の値）で表し、−方向の変位を２５６値（または、他の値）で表したものである。
【００３４】
［本実施形態に係るまとめ］
以上のように、本実施形態に係るロボットシステム１では、音情報を用いてリアルタイムのロボット制御を行うことができる。
本実施形態に係るロボットシステム１では、例えば、音情報をフーリエ変換して周波数解析する処理を行わず、音の大きさに基づいてロボットを制御することにより、処理時間や処理負荷を小さくすることが可能である。
本実施形態に係るロボットシステム１では、例えば、音情報を用いて作業の進捗を検知する際に、音情報を取得する期間を限定することで、簡便でかつ雑音に対する頑健性の高い制御を実現することができる。
本実施形態に係るロボットシステム１によると、例えば、ロボット１１を用いた組み立て作業を確実に完了させることが可能となる。また、本実施形態に係るロボットシステム１は、組み立て作業のみならず、生活支援ロボットなどによるドアの開け閉めなどに適用することも可能である。
【００３５】
一構成例として、アーム（本実施形態では、マニピュレーター２１）を備え、第１物体（本実施形態では、操作対象３１）と第２物体（本実施形態では、組み付け対象３２）とを用いて作業を行うロボット（図１の例では、ロボット１１）と、第１制御（図３の例では、ステップＳ１〜ステップＳ２の制御であり、その後のステップＳ３〜ステップＳ５の処理ループより前の制御）と第２制御（図３の例では、ステップＳ３〜ステップＳ５の制御であり、第１制御の後の処理ループの制御）とにより、前記アームを動作させる制御装置（図１の例では、制御装置１２）と、を含み、第２制御は、前記作業を行う期間のうち少なくとも一部の期間の音の大きさを用いた制御であり、制御装置は、第１制御により所定位置までアームを移動させた後（図３の例では、ステップＳ２の処理の後）、第２制御によるアームの動作を開始し、音の大きさが所定値を超えた時に（図３の例では、ステップＳ４の処理）、アームの動作を変化させる、ロボットシステム（図１の例では、ロボットシステム１）である。
一構成例として、第１制御および第１物体と第２物体とを用いた作業を行う期間のうち少なくとも一部の期間の音の大きさを用いた第２制御により、前記作業を行うアームを動作させ、第１制御により所定位置までアームを移動させた後、第２制御によるアームの動作を開始させ、音の大きさが所定値を超えた時に、アームの動作を変化させる、制御装置（図１の例では、制御装置１２）である。
一構成例として、第１制御および第１物体と第２物体とを用いた作業を行う期間のうち少なくとも一部の期間の音の大きさを用いた第２制御により、前記作業を行うアームを動作させ、第１制御により所定位置までアームを移動させた後、第２制御によるアームの動作を開始し、音の大きさが所定値を超えた時に、アームの動作を変化させる、制御方法（図１の例では、制御装置１２において行われる制御の方法）である。
ここで、本実施形態では、第１物体を第２物体に組み付ける時の音の大きさが所定値を超えた時に、アームの動作を変化させる態様として、第２制御を終了する（第２制御によるアームの動作を終了する）態様が用いられるが、この態様に限定されず、他の様々な態様が用いられてもよい。他の構成例として、第１物体を第２物体に組み付ける時の音の大きさが所定値を超えた時に、他の動作を行う態様や、第２制御以外の制御を行う態様が用いられてもよい。ここでいう他の動作としては、例えば、アームの動作を終了する以外の動作であり、アーム以外の動作でもよい。
【００３６】
＜第２実施形態＞
［本実施形態に係るロボットシステムの概要］
本実施形態に係るロボットシステムの構成は、第１実施形態に係る図２に示される制御装置１２の制御部１０６の構成が異なる点を除いて、第１実施形態に係るロボットシステム１の構成と同様である。
このため、本実施形態では、主に、第１実施形態とは異なる点について詳しく説明する。また、本実施形態では、第１実施形態と同様な構成部については、同一の符号を付して、詳しい説明を省略する。
【００３７】
図５は、本発明の一実施形態（第２実施形態）に係る制御部１０６Ａの概略的な構成例を示すブロック図である。
本実施形態に係る制御部１０６Ａは、第１実施形態に係る図２に示される制御部１０６と同様な構成に、さらに、異常検出部１３１を備える。
異常検出部１３１は、操作対象３１が組み付け対象３２に対して組み付けられるときに、所定の異常の有無を検出する。本実施形態では、所定の異常として、操作対象３１が組み付け対象３２に対して組み付けられた量が所定の閾値を超えたという異常が用いられる。
【００３８】
［本実施形態に係るフローチャートの例］
図６は、本発明の一実施形態（第２実施形態）に係るロボットシステムにおいて行われる処理の手順の一例を示すフローチャートである。
図６の例におけるステップＳ２１〜ステップＳ２５の処理のそれぞれは、第１実施形態に係る図３の例におけるステップＳ１〜ステップＳ５の処理のそれぞれと同様である。図６の例は、ステップＳ２５の処理とステップＳ２３の処理との間にステップＳ２６の処理が設けられている点で、第１実施形態に係る図３の例とは異なる。
【００３９】
すなわち、ロボットシステムでは、ステップＳ２４の処理における判定の結果、音情報判定部１２３が、音の大きさが所定値以下であると判定した場合（ステップＳ２４：ＮＯ）には、ロボット動作制御部１２１がロボット１１のマニピュレーター２１やハンド２２を制御することで、操作対象３１を組み付け対象３２に対して、さらに所定の程度だけ組み付けて（ステップＳ２５）、ステップＳ２６の処理へ移行する。
そして、ロボットシステムでは、異常検出部１３１が、所定の異常の有無を検出する（ステップＳ２６）。
上記の判定の結果（ステップＳ２６）、ロボットシステムでは、異常検出部１３１が、所定の異常が有ることを検出した場合（ステップＳ２６：ＹＥＳ）には、本フローの処理を終了する。
一方、上記の判定の結果（ステップＳ２６）、ロボットシステムでは、異常検出部１３１が、所定の異常が有ることを検出しなかった場合（所定の異常が無いことを検出した場合、ステップＳ２６：ＮＯ）には、ステップＳ２３の処理へ移行する。
【００４０】
具体例を示す。
操作対象３１（本実施形態では、プラグ）が組み付け対象３２（本実施形態では、レセプタクル）に差し込まれる際、これらの物理的な形状から、差し込まれることが可能な最大の距離が把握される。ステップＳ２２の処理により差し込まれる距離の分を前記把握した最大の距離から減算した結果の距離（差し込まれることが可能な残りの距離）を、所定の閾値として設定する。ロボットシステムでは、異常検出部２６は、ステップＳ２５の処理により既に差し込まれた距離の積分値を算出し、当該積分値と所定の閾値とを比較し、当該積分値が所定の閾値を超える場合には異常であると判定し、一方、当該積分値が所定の閾値以下である場合には異常でないと判定する。つまり、異常検出部２６は、物理的に許容される距離を超えて、操作対象３１が組み付け対象３２に差し込まれたと判定した場合には、異常を検出する。
【００４１】
［本実施形態に係るまとめ］
以上のように、本実施形態に係るロボットシステムでは、第１実施形態と同様な効果を得ることができ、また、異常が検出された場合には処理を終了することが可能である。
【００４２】
一構成例として、制御装置（図５の例では、制御部１０６Ａを有する制御装置）は、第２制御において所定の異常を検出した時に（図６の例では、ステップＳ２６の処理）、アームの動作を変化させる、ロボットシステムである。
【００４３】
＜第３実施形態＞
［本実施形態に係るロボットシステムの概要］
本実施形態では、ロボットの制御周波数が音のサンプリング周波数よりも低い場合について、ロボットシステムの一例を示す。
一例として、ロボットの制御周波数が１ｋＨｚであり、音のサンプリング周波数が４４．１ｋＨｚ（例えば、通常設定される範囲であり、可聴音の周波数である。）である。
【００４４】
概略的な構成としては、本実施形態に係るロボットシステムの構成は、第１実施形態に係る図２に示される制御装置１２の制御部１０６の構成が異なる点を除いて、第１実施形態に係るロボットシステム１の構成と同様である。
本実施形態では、主に、第１実施形態とは異なる点について詳しく説明する。また、本実施形態では、第１実施形態と同様な構成部については、同一の符号を付して、詳しい説明を省略する。
【００４５】
図７は、本発明の一実施形態（第３実施形態）に係る制御部１０６Ｂの概略的な構成例を示すブロック図である。
本実施形態に係る制御部１０６Ｂは、第１実施形態に係る図２に示される制御部１０６と同様な構成に、さらに、録音制御部１４１を備える。
録音制御部１４１は、音情報受付部１０５により受け付けられた音を録音するように制御する。本実施形態では、録音制御部１４１は、記憶部１０３の記憶領域に、音を録音する。
【００４６】
［本実施形態に係るフローチャートの例］
図８は、本発明の一実施形態（第３実施形態）に係るロボットシステムにおいて行われる処理の手順の一例を示すフローチャートである。
まず、図８の例におけるステップＳ４１〜ステップＳ４２の処理のそれぞれは、第１実施形態に係る図３の例におけるステップＳ１〜ステップＳ２の処理のそれぞれと同様である。
すなわち、ロボットシステムでは、操作対象３１を組み付け対象３２の直前に移動させ（ステップＳ４１）、これらを所定の位置まで組み付ける（ステップＳ４２）。
【００４７】
次に、ロボットシステムでは、録音制御部１４１が、録音を開始するように制御する（ステップＳ４３）。
次に、ロボットシステムでは、録音制御部１４１が、録音の開始からあらかじめ定められた所定の時間が経過すると、録音を停止（終了）するように制御する。そして、ロボットシステムでは、音情報取得部１２２が、録音された音の情報（音の時系列データ）を取得する（ステップＳ４４）。
【００４８】
なお、図３に示されるフローにおけるステップＳ３で取得される音情報の時間の長さと、図８に示されるフローにおけるステップＳ４４で取得される音情報の時間の長さ（録音の時間の長さ）としては、本実施形態では、後者の方（録音の方）が長い。
【００４９】
次に、ロボットシステム１では、音情報判定部１２３が、音情報取得部１２２により取得された音の情報について、所定の時間区間ごとに、当該音の大きさが所定値（所定の閾値）を超えるか否かを判定する（ステップＳ４５）。
一例として、録音された音の情報（音の時系列データ）の長さは１ｍｓであり、所定の時間区間の長さは（１／４４）ｍｓである。この場合、音情報判定部１２３は、録音された音の情報（音の時系列データ）について、４４個の時間区間のそれぞれについて、音の大きさが所定値を超えるか否かを判定する。
【００５０】
上記の判定の結果（ステップＳ４５）、ロボットシステムでは、音情報判定部１２３が、少なくとも１個の時間区間について、音の大きさが所定値を超えると判定した場合（ステップＳ４５：ＹＥＳ）には、本フローの処理を終了する。
【００５１】
一方、上記の判定の結果（ステップＳ４５）、ロボットシステムでは、音情報判定部１２３が、すべての時間区間について、音の大きさが所定値以下であると判定した場合（ステップＳ４５：ＮＯ）には、録音制御部１４１が、録音を開始するように制御する（ステップＳ４６）。そして、ロボットシステムでは、ロボット動作制御部１２１がロボット１１のマニピュレーター２１やハンド２２を制御することで、操作対象３１を組み付け対象３２に対して、さらに所定の程度だけ組み付けて（ステップＳ４７）、ステップＳ４４の処理へ移行する。本実施形態では、操作対象３１を組み付け対象３２に対して、さらに所定の程度だけ組み付ける態様として、さらに所定の量（所定量）だけ差し込む態様が用いられる。
【００５２】
ここで、ロボットシステムでは、ステップＳ４４〜ステップＳ４７の処理を順次実行するが、音を録音して記憶部１０３に蓄積する処理が、ロボットの制御とは別に、より速く実行される構成となっている。これにより、ロボットシステムでは、ロボットの制御周波数に依らず、広い帯域の音情報を取得することができ、音情報を用いて、所定の作業の状態（本実施形態では、ロボットの作業の終了の状態）を確実に判断することが可能となる。
【００５３】
［本実施形態に係るまとめ］
以上のように、本実施形態に係るロボットシステムでは、録音の音情報を用いてリアルタイムのロボット制御を行うことができ、例えば、第１実施形態の場合と同様な効果を得ることができる。
【００５４】
一構成例として、第２制御（図７の例では、制御部１０６Ｂを有する制御装置による制御）は、録音された音における所定の時間区間ごとの音の大きさを用いた制御である、ロボットシステムである。
【００５５】
＜第４実施形態＞
本実施形態に係るロボットシステムの構成は、第３実施形態に係る図７に示される制御部１０６Ｂの構成が異なる点を除いて、第３実施形態に係るロボットシステムの構成と同様である。
このため、本実施形態では、主に、第３実施形態とは異なる点について詳しく説明する。また、本実施形態では、第３実施形態と同様な構成部については、同一の符号を付して、詳しい説明を省略する。
【００５６】
図９は、本発明の一実施形態（第４実施形態）に係る制御部１０６Ｃの概略的な構成例を示すブロック図である。
本実施形態に係る制御部１０６Ｃは、第３実施形態に係る図７に示される制御部１０６Ｂと同様な構成に、さらに、異常検出部１５１を備える。
異常検出部１５１は、操作対象３１が組み付け対象３２に対して組み付けられるときに、所定の異常の有無を検出する。本実施形態では、所定の異常として、操作対象３１が組み付け対象３２に対して組み付けられた量が所定の閾値を超えたという異常が用いられる。
【００５７】
［本実施形態に係るフローチャートの例］
図１０は、本発明の一実施形態（第４実施形態）に係るロボットシステムにおいて行われる処理の手順の一例を示すフローチャートである。
図１０の例におけるステップＳ６１〜ステップＳ６７の処理のそれぞれは、第３実施形態に係る図８の例におけるステップＳ４１〜ステップＳ４７の処理のそれぞれと同様である。図１０の例は、ステップＳ６７の処理とステップＳ６４の処理との間にステップＳ６８の処理が設けられている点で、第３実施形態に係る図８の例とは異なる。
【００５８】
すなわち、ロボットシステムでは、ロボット動作制御部１２１がロボット１１のマニピュレーター２１やハンド２２を制御することで、操作対象３１を組み付け対象３２に対して、さらに所定の程度だけ組み付けて（ステップＳ６７）、ステップＳ６８の処理へ移行する。
そして、ロボットシステムでは、異常検出部１５１が、所定の異常の有無を検出する（ステップＳ６８）。
上記の判定の結果（ステップＳ６８）、ロボットシステムでは、異常検出部１５１が、所定の異常が有ることを検出した場合（ステップＳ６８：ＹＥＳ）には、本フローの処理を終了する。
一方、上記の判定の結果（ステップＳ６８）、ロボットシステムでは、異常検出部１５１が、所定の異常が有ることを検出しなかった場合（所定の異常が無いことを検出した場合、ステップＳ６８：ＮＯ）には、ステップＳ６４の処理へ移行する。
なお、異常の検出の具体例については、例えば、第２実施形態の場合と同様である。
【００５９】
［本実施形態に係るまとめ］
以上のように、本実施形態に係るロボットシステムでは、第３実施形態と同様な効果を得ることができ、また、異常が検出された場合には処理を終了することが可能である。
【００６０】
＜第５実施形態＞
［本実施形態に係るロボットシステムの概要］
本実施形態では、第１実施形態に係るロボットシステム１の一例として、画像を用いて作業を行うロボットシステム１００１を示す。
図１１は、本発明の一実施形態に係るロボットシステム１００１の概略的な構成例を示す図である。
本実施形態に係るロボットシステム１００１は、ロボット１０１１と、制御装置１０１２と、ロボット１０１１と制御装置１０１２とを接続して通信可能にする回線１０１３と、カメラ（撮像装置）１０１５と、カメラ１０１５と制御装置１０１２とを接続して通信可能にする回線１０１６を備える。
ロボット１０１１は、マニピュレーター１０２１と、マニピュレーター１０２１の先端に取り付けられたハンド１０２２と、ハンド１０２２に付されたマイク１０２３を備える。ロボットシステム１００１は、マイク１０２３と制御装置１０１２とを接続して通信可能にする回線１０１４を備える。
また、図１１には、ロボット１０１１により操作する対象（操作対象）１０３１と、操作対象１０３１を組み付ける対象（組み付け対象）１０３２を示してある。
【００６１】
ここで、概略的な構成として、本実施形態に係るロボットシステム１００１の構成は、カメラ１０１５および回線１０１６を備えて画像を用いて作業を行う点を除いて、第１実施形態に係る図１に示されるロボットシステム１の構成と同様である。
本実施形態に係るロボットシステム１００１におけるロボット１０１１（マニピュレーター１０２１、ハンド１０２２、マイク１０２３）、回線１０１３、１０１４、操作対象１０３１および組み付け対象１０３２は、それぞれ、第１実施形態に係る図１に示されるロボットシステム１における対応するものと同様である。
【００６２】
カメラ１０１５は、画像を撮像し、撮像した画像の情報を回線１０１６を介して制御装置１０１２に送信する。ここで、カメラ１０１５は、ハンド１０２２により把持される操作対象１０３１が組み付け対象１０３２に組み付けられる様子の画像を撮像することが可能な配置で設けられている。
なお、画像の情報としては、例えば、２次元（平面）の情報が用いられてもよく、または、２個以上のカメラを用いるなどして、３次元（空間）の情報が用いられてもよい。
回線１０１６としては、例えば、有線の回線が用いられてもよく、または、無線の回線が用いられてもよい。
【００６３】
図１２は、本発明の一実施形態（第５実施形態）に係る制御装置１０１２の概略的な構成例を示すブロック図である。
本実施形態に係る制御装置１０１２は、入力部１１０１と、出力部１１０２と、記憶部１１０３と、通信部１１０４と、音情報受付部１１０５と、画像情報受付部１１０６と、制御部１１０７を備える。
制御部１１０７は、ロボット動作制御部１１２１と、音情報取得部１１２２と、音情報判定部１１２３と、画像情報取得部１１２４と、画像情報判定部１１２５を備える。
【００６４】
ここで、本実施形態に係る制御装置１０１２における入力部１１０１、出力部１１０２、記憶部１１０３、通信部１１０４、音情報受付部１１０５は、それぞれ、第１実施形態に係る図２に示される対応するものと同様である。
画像情報受付部１１０６は、カメラ１０１５から送信された信号（画像の情報を含む信号）を回線１０１６を介して受信して、画像の情報を受け付ける。また、画像情報受付部１１０６は、回線１０１６を介してカメラ１０１５との間で信号を通信することで、カメラ１０１５の動作を制御してもよい。
制御部１１０７は、各種の処理を制御する。制御部１１０７は、例えば、ＣＰＵを有する。
【００６５】
ここで、本実施形態に係る制御部１１０７におけるロボット動作制御部１１２１、音情報取得部１１２２、音情報判定部１１２３は、それぞれ、第１実施形態に係る図２に示される対応するものと同様である。
画像情報取得部１１２４は、画像情報受付部１１０６により受け付けられた画像の情報を取得する。
画像情報判定部１１２５は、画像情報取得部１１２４により取得された画像の情報に基づいて、所定の作業の状態が達せられたか否かについて判定を行う。
【００６６】
本実施形態では、画像情報判定部１１２５は、あらかじめ用意された目標の画像と、現在取得された画像とを比較して、これらの相関度が所定の閾値を超える場合（または、他の構成例として、所定の閾値以上である場合）には、操作対象１０３１と組み付け対象１０３２との所定の組み付け状態（所定の作業の状態の一例）が達せられたと判定し、他の場合には、当該状態が達せられていないと判定する。目標の画像としては、操作対象１０３１と組み付け対象１０３２との所定の組み付け状態が実現されたものの画像が用いられ、例えば、実際の画像、または、コンピューターグラフィックス（ＣＧ）の画像が用いられる。
なお、画像情報判定部１１２５が判定を行う手法としては、様々な画像処理の手法が用いられてもよい。
【００６７】
［本実施形態に係るフローチャートの例］
図１３は、本発明の一実施形態（第５実施形態）に係るロボットシステム１００１において行われる処理の手順の一例を示すフローチャートである。
まず、ロボットシステム１００１では、ロボット動作制御部１１２１がロボット１０１１のマニピュレーター１０２１やハンド１０２２を制御することで、操作対象１０３１（本実施形態では、プラグ）をハンド１０２２で把持して、操作対象１０３１を組み付け対象１０３２（本実施形態では、レセプタクル）の直前の位置に移動させる（ステップＳ８１）。
【００６８】
次に、ロボットシステム１００１では、画像情報取得部１１２４が、画像の情報を取得する（ステップＳ８２）。
次に、ロボットシステム１００１では、画像情報判定部１１２５が、画像情報取得部１１２４により取得された画像の情報に基づいて、操作対象１０３１が組み付け対象１０３２に対して所定の程度まで組み付けられたか否かを判定する（ステップＳ８３）。本実施形態では、操作対象１０３１が組み付け対象１０３２に対して所定の程度まで組み付けられる態様として、所定の位置まで差し込まれる態様が用いられる。ここで、所定の位置としては、例えば、操作対象１０３１を組み付け対象１０３２に組み付けたときに操作対象１０３１が反力を受け始める位置が用いられる。
【００６９】
上記の判定の結果（ステップＳ８３）、ロボットシステム１００１では、画像情報判定部１１２５が、操作対象１０３１が組み付け対象１０３２に対して所定の程度まで組み付けられていないと判定した場合（ステップＳ８３：ＮＯ）には、ロボット動作制御部１１２１がロボット１０１１のマニピュレーター１０２１やハンド１０２２を制御することで、操作対象１０３１を組み付け対象１０３２に対して、さらに所定の程度だけ組み付けて（ステップＳ８４）、ステップＳ８２の処理へ移行する。本実施形態では、操作対象１０３１を組み付け対象１０３２に対して、さらに所定の程度だけ組み付ける態様として、さらに所定の量（所定量）だけ差し込む態様が用いられる。
【００７０】
一方、上記の判定の結果（ステップＳ８３）、ロボットシステム１００１では、画像情報判定部１１２５が、操作対象１０３１が組み付け対象１０３２に対して所定の程度まで組み付けられたと判定した場合（ステップＳ８３：ＹＥＳ）には、音情報取得部１１２２が、マイク１０２３に入力された音の情報を取得する（ステップＳ８５）。音情報取得部１１２２は、例えば、定められた所定の時間にわたる音の情報を取得する。
【００７１】
次に、ロボットシステム１００１では、音情報判定部１１２３が、音情報取得部１１２２により取得された音の情報について、当該音の大きさが所定値（所定の閾値）を超えるか否かを判定する（ステップＳ８６）。
上記の判定の結果（ステップＳ８６）、ロボットシステム１００１では、音情報判定部１１２３が、音の大きさが所定値を超えると判定した場合（ステップＳ８６：ＹＥＳ）には、本フローの処理を終了する。
【００７２】
一方、上記の判定の結果（ステップＳ８６）、ロボットシステム１００１では、音情報判定部１１２３が、音の大きさが所定値以下であると判定した場合（ステップＳ８６：ＮＯ）には、ロボット動作制御部１１２１がロボット１０１１のマニピュレーター１０２１やハンド１０２２を制御することで、操作対象１０３１を組み付け対象１０３２に対して、さらに所定の程度だけ組み付けて（ステップＳ８７）、ステップＳ８５の処理へ移行する。本実施形態では、操作対象１０３１を組み付け対象１０３２に対して、さらに所定の程度だけ組み付ける態様として、さらに所定の量（所定量）だけ差し込む態様が用いられる。
【００７３】
ここで、ロボットシステム１００１では、ステップＳ８５〜ステップＳ８７の処理を順次実行するが、実用上では同時に行われるとみなされる。具体的には、ロボットシステム１００１では、操作対象１０３１を組み付け対象１０３２に対して組み付けているとき（ステップＳ８７の処理のとき）に発生する音の情報が取得される（ステップＳ８５）。
【００７４】
本実施形態のようなフローにより、ロボットシステム１００１では、操作対象１０３１が組み付け対象１０３２に対して所定の程度まで組み付けられたことを、画像に基づいて判断する。これにより、ロボットシステム１００１では、音情報取得部１１２２が音を取得する期間を、操作対象１０３１が組み付け対象１０３２に対して所定の位置まで組み付けられた時から操作対象１０３１と組み付け対象１０３２との組み付けが完了した時までの期間に限定することが可能となり、雑音に対する頑健性を向上させることができる。
【００７５】
なお、ロボットシステムにおいてカメラを備えて画像を用いて作業を行う構成は、例えば、以上に示される他の任意の実施形態に係るロボットシステムに適用されてもよく、それぞれの処理のフローにおいて、画像を用いた処理を併用することが可能である。
【００７６】
［本実施形態に係るまとめ］
以上のように、本実施形態に係るロボットシステム１００１では、画像を用いた処理を行い、音情報を用いてリアルタイムのロボット制御を行うことができ、例えば、第１実施形態の場合と同様な効果を得ることができる。
【００７７】
一構成例として、撮像装置（図１１の例では、カメラ１０１５）を備え、制御装置（図１１の例では、制御装置１０１２）は、第１制御において撮像装置により撮像された画像を用いて所定位置までアームを移動させる、ロボットシステム（図１１の例では、ロボットシステム１００１）である。
【００７８】
＜第６実施形態＞
［本実施形態に係るロボットシステムの概要］
図１４は、本発明の一実施形態に係るロボットシステム２００１の概略的な構成例を示す図である。
本実施形態に係るロボットシステム２００１は、ロボット２０１１と、制御装置２０１２と、ロボット２０１１と制御装置２０１２とを接続して通信可能にする回線２０１３と、カメラ（撮像装置）２０１５と、カメラ２０１５と制御装置２０１２とを接続して通信可能にする回線２０１６を備える。
ロボット２０１１は、マニピュレーター２０２１と、マニピュレーター２０２１の先端に取り付けられたハンド２０２２と、ハンド２０２２に付されたマイク２０２３と、力センサー２０２４を備える。ロボットシステム２００１は、マイク２０２３と制御装置２０１２とを接続して通信可能にする回線２０１４を備える。
また、図１４には、ロボット２０１１により操作する対象（操作対象）２０３１と、操作対象２０３１を組み付ける対象（組み付け対象）２０３２を示してある。
【００７９】
ここで、概略的な構成として、本実施形態に係るロボットシステム２００１の構成は、力センサー２０２４を備えてコンプライアントモーション制御を用いて作業を行う点を除いて、第５実施形態に係る図１１に示されるロボットシステム１００１の構成と同様である。
本実施形態に係るロボットシステム２００１におけるロボット２０１１（マニピュレーター２０２１、ハンド２０２２、マイク２０２３）、カメラ２０１５、回線２０１３、２０１４、２０１６、操作対象２０３１および組み付け対象２０３２、制御装置２０１２は、それぞれ、第５実施形態に係る図１１に示されるロボットシステム１００１における対応するものと同様である。
【００８０】
力センサー２０２４は、ハンド２０２２に印加される力を検出し、検出した力を示す値を力センサー値として、回線２０１３を介して制御装置２０１２（例えば、ロボット動作制御部）に出力する。なお、力センサー２０２４は、例えば、３次元直交座標軸のそれぞれについて力とモーメント（トルク）を検出し、本実施形態における力センサー値にモーメントの値が含まれてもよい。
制御装置２０１２（例えば、ロボット動作制御部）は、ロボット２０１１の動作を制御する場合に、力センサー２０２４から入力される力センサー値に基づいて、コンプライアントモーション制御を行うことが可能である。なお、制御装置２０１２（例えば、ロボット動作制御部）は、回線２０１３を介して力センサー２０２４との間で信号を通信することで、力センサー２０２４の動作を制御してもよい。
【００８１】
具体例を示す。
コンプライアントモーション制御の一例として、インピーダンス制御がある。
３次元直交座標軸としてＸ軸、Ｙ軸、Ｚ軸（例えば、図１４に示される軸）を想定する。操作対象２０３１と組み付け対象２０３２との接触面（ここでは、嵌合部の突起や穴を除く。）がＸＹ平面上の面であるとし、ロボット２０１１により操作対象２０３１をＺ軸方向に移動させることで、操作対象２０３１と組み付け対象２０３２とを組み付けるとする。この場合、例えば、嵌合部の突起と穴がずれていると、嵌合部に過大な力がかかってしまう。ロボットシステム２００１では、このような過大な力を抑制するために、Ｘ軸方向およびＹ軸方向についてインピーダンス制御を行うことで、力センサー２０２４の力がならう方向（力を緩和する方向）に制御を行う。なお、ロボットシステム２００１では、Ｚ軸方向についてインピーダンス制御を行ってもよく、この場合、例えば、Ｚ軸方向については組み付けが完了して操作対象２０３１と組み付け対象２０３２とが押されきったときの力の値（例えば、２つの面が押し合う程度の大きな値）を閾値として、検出される力の値が閾値を超えたとき（または、他の構成例として、閾値以上となったとき）に処理を終了する。
【００８２】
本実施形態に係るロボットシステム２００１では、ロボット２０１１の動作を制御する場合に、コンプライアントモーション制御を併用することで、操作対象２０３１や組み付け対象２０３２に過大な力をかけることなく、組み付け作業を実行することが可能となる。
【００８３】
なお、ロボットシステムにおいて力センサーを備えてコンプライアントモーション制御を用いて作業を行う構成は、例えば、以上に示される他の任意の実施形態に係るロボットシステムに適用されてもよく、それぞれの処理のフローにおいて、コンプライアントモーション制御を併用することが可能である。
また、ロボットシステムにおいて力センサーの値を用いてコンプライアントモーション制御を行うことは、例えば、それぞれの処理のフローにおける様々な動作に適用されてもよく、具体例として、最初に操作対象２０３１を組み付け対象２０３２に対して所定の程度まで組み付ける動作（例えば、図３の例におけるステップＳ２の動作など）や、その後に音の大きさが所定値以下である場合に操作対象２０３１を組み付け対象２０３２に対してさらに所定の程度だけ組み付ける動作（例えば、図３の例におけるステップＳ５の動作など）に適用されてもよい。
【００８４】
［本実施形態に係るまとめ］
以上のように、本実施形態に係るロボットシステム２００１では、画像を用いた処理を行い、力センサーを用いたコンプライアントモーション制御を行い、音情報を用いてリアルタイムのロボット制御を行うことができ、例えば、第１実施形態の場合と同様な効果を得ることができる。
【００８５】
一構成例として、ロボット（図１４の例では、ロボット２０１１）は、力センサー（図１４の例では、力センサー２０２４）を含み、制御装置は、第２制御において力センサーの値を用いてアームの動作を制御する、ロボットシステム（図１４の例では、ロボットシステム２００１）である。
【００８６】
＜第７実施形態＞
［本実施形態に係るロボットの概要］
図１５は、本発明の一実施形態に係るロボット３０１１の概略的な構成例を示す図である。
本実施形態に係るロボット３０１１は、マニピュレーター３０２１と、マニピュレーター３０２１の先端に取り付けられたハンド３０２２と、ハンド３０２２に付されたマイク３０２３と、制御装置３０２４と、マイク３０２３と制御装置３０２４とを接続して通信可能にする回線３０１４を備える。
また、図１５には、ロボット３０１１により操作する対象（操作対象）３０３１と、操作対象３０３１を組み付ける対象（組み付け対象）３０３２を示してある。
【００８７】
ここで、本実施形態に係るロボット３０１１の構成は、概略的には、図１に示されるロボットシステム１において制御装置１２および回線１３の機能をロボット１１の内部に備えたものと同様である。つまり、図１に示されるロボットシステム１ではロボット１１と制御装置１２を別体で備えるが、本実施形態に係るロボット３０１１は内部に一体として制御装置３０２４を備える。
【００８８】
なお、制御装置の機能を一体として有するロボットの構成を採用することは、例えば、以上に示される他の任意の実施形態に係るロボットシステムに適用されてもよい。例えば、制御装置の機能を一体として有するロボットにおいて、カメラや、力センサーを備えてもよい。
【００８９】
一構成例として、第１物体（図１５の例では、操作対象３０３１）を第２物体（図１５の例では、組み付け対象３０３２）に組み付けるアーム（図１５の例では、マニピュレーター３０２１）と、第１制御と第２制御とにより、アームを動作させる制御部（図１５の例では、制御装置３０２４の機能）と、を含み、第２制御は、第１物体を第２物体に組み付ける時の音の大きさを用いた制御であり、制御部は、第１制御により所定位置までアームを移動させた後、第２制御によるアームの動作を開始し、音の大きさが所定値を超えた時に、アームの動作を変化させる、ロボット（図１５の例では、ロボット３０１１）である。
【００９０】
＜第８実施形態＞
［本実施形態に係るロボットの概要］
図１６は、本発明の一実施形態に係るロボット４００１の概略的な構成例を示す図である。
ロボット４００１は、格納部４０１１と、胴体部分４０１２〜４０１４と、左側のマニピュレーター４０２１およびハンド４０３１と、右側のマニピュレーター４０２２およびハンド４０３２と、左側の車輪４０４１と、右側の車輪４０４２と、カメラ４０５１と、制御装置４０６１を備える。
【００９１】
ロボット４００１は、それぞれ腕（アーム）を構成する２本のマニピュレーター４０２１、４０２２を備える双腕ロボットである。ロボット４００１は、カメラ４０５１および制御装置４０６１と一体に構成されており、制御装置４０６１から出力される制御信号により動作が制御される。また、ロボット４００１は、自己の状態等を示す信号を、制御装置４０６１に入力してもよい。
【００９２】
格納部４０１１の上面には、胴体部材４０１２、胴体部材４０１３、胴体部材４０１４が順に上側に取り付けられており、最も上部の胴体部材４０１４の左側に左腕を構成するマニピュレーター４０２１が取り付けられており、当該胴体部材４０１４の右側に右腕を構成するマニピュレーター４０２２が取り付けられており、格納部４０１１の底面の左側に車輪４０４１が取り付けられており、格納部４０１１の底面の右側に車輪４０４２が取り付けられており、格納部４０１１の上面にカメラ４０５１が取り付けられている。
なお、ロボット４００１は、人手により外力を加えることで、または、装置により自動的に、左側の車輪４０４１および右側の車輪４０４２を回転させて、移動させることが可能である。
格納部４０１１には、制御装置４０６１が格納されている。
マニピュレーター４０２１、４０２２は、それぞれ、例えば、垂直多関節ロボットの一種であり、ロボットアームとして機能する。それぞれのマニピュレーター４０２１、４０２２は、その先端にハンド４０３１、４０３２を備える。
【００９３】
なお、図１６の例では、カメラ４０５１を格納部４０１１の上面に備えたが、他の構成例として、カメラ４０５１は、他の任意の場所に備えられてもよく、例えば、ロボット４００１における他の任意の場所に備えられてもよく、または、ロボット以外の場所として、床面、天井、壁面などに固定されて備えられてもよい。
また、カメラ４０５１は、例えば、人手により外力を加えることで、または、装置により自動的に、撮像方向や撮像角度などを変化させることが可能な構成であってもよい。
【００９４】
制御装置４０６１は、左腕のマニピュレーター４０２１（およびハンド４０３１）と、右腕のマニピュレーター４０２２（およびハンド４０３２）を制御する。制御装置４０６１とそれぞれのマニピュレーター４０２１、４０２２とは、例えば、有線または無線の回線を介して、制御信号などを伝送することが可能に接続される。
なお、制御装置４０６１は、例えば、左腕のマニピュレーター４０２１（およびハンド４０３１）と、右腕のマニピュレーター４０２２（およびハンド４０３２）とを、同時に関連付けて制御してもよく、または、左腕のマニピュレーター４０２１（およびハンド４０３１）と、右腕のマニピュレーター４０２２（およびハンド４０３２）とを、それぞれ別個に制御してもよい。
一例として、ロボット４００１では、左腕のハンド４０３１と右腕のハンド４０３２とのうちの一方により操作対象を把持し、他方により組み付け対象を把持して、これらを組み付ける作業を行うことができる。
【００９５】
ここで、本実施形態に係るロボット４００１の構成は、概略的には、図１５に示される単腕を有するロボット３０１１に対して、双腕を有する点で異なり、さらに、図１６の例では、カメラ４０５１を備える。
【００９６】
なお、双腕を有するロボットの構成を採用することは、例えば、以上に示される他の任意の実施形態に係るロボットシステムに適用されてもよい。例えば、カメラは、当該カメラにより撮像される画像の処理を行わない態様では、双腕を有するロボットに備えられなくてもよい。また、双腕を有するロボットにおいて、力センサーを備えてもよい。
【００９７】
［以上の実施形態について］
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【００９８】
なお、以上に説明した装置（例えば、制御装置など）における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ：Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）のように、一定時間プログラムを保持しているものも含むものとする。
【００９９】
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【０１００】
１、１００１、２００１…ロボットシステム、１１、１０１１、２０１１、３０１１、４００１…ロボット、１２、１０１２、２０１２、３０２４、４０６１…制御装置、１３、１４、１０１３、１０１４、１０１６、２０１３、２０１４、２０１６、３０１４…回線、２１、１０２１、２０２１、３０２１、４０２１〜４０２２…マニピュレーター、２２、１０２２、２０２２、３０２２、４０３１〜４０３２…ハンド、２３、１０２３、２０２３、３０２３…マイク、３１、１０３１、２０３１、３０３１…操作対象、３２、１０３２、２０３２、３０３２…組み付け対象、１０１、１１０１…入力部、１０２、１１０２…出力部、１０３、１１０３…記憶部、１０４、１１０４…通信部、１０５、１１０５…音情報受付部、１０６、１０６Ａ、１０６Ｂ、１０６Ｃ、１１０７…制御部、１２１、１１２１…ロボット動作制御部、１２２、１１２２…音情報取得部、１２３、１１２３…音情報判定部、１３１、１５１…異常検出部、１４１…録音制御部、１０１５、２０１５、４０５１…カメラ、１１０６…画像情報受付部、１１２４…画像情報取得部、１１２５…画像情報判定部、２０２４…力センサー、４０１１…格納部、４０１２〜４０１４…胴体部分、４０４１〜４０４２…車輪、５００１…音の信号、ａ１〜ａ１１…信号点
【図１】
0006418546.tif 000002
【図２】
0006418546.tif 000003
【図３】
0006418546.tif 000004
【図４】
0006418546.tif 000005
【図５】
0006418546.tif 000006
【図６】
0006418546.tif 000007
【図７】
0006418546.tif 000008
【図８】
0006418546.tif 000009
【図９】
0006418546.tif 000010
【図１０】
0006418546.tif 000011
【図１１】
0006418546.tif 000012
【図１２】
0006418546.tif 000013
【図１３】
0006418546.tif 000014
【図１４】
0006418546.tif 000015
【図１５】
0006418546.tif 000016
【図１６】
0006418546.tif 000017