(57)【要約】【課題】撮像画像における検出対象の誤検出の発生を抑制することができるロボットシステム、処理装置及び制御方法等の提供。【解決手段】ロボットシステムは、ロボット３００と、検出対象の画像を含む撮像画像を受け付ける画像受付部１１０と、前記検出対象の画像を含む画像領域を用いて撮像画像において検出対象の画像を含む注目領域を特定し、注目領域内において検出対象を検出することによって、前記ロボットを動かす処理部１３０と、を含む。また、画像受付部１１０は、検出対象が映り、ロボット制御時に参照する参照画像を受け付けてもよい。そして、画像領域は、参照画像のうち、検出対象が映る領域であってもよい。【選択図】  図３
2015160256.tif 000002
【特許請求の範囲】
【請求項１】
ロボットと、
検出対象の画像を含む撮像画像を受け付ける画像受付部と、
前記検出対象の画像を含む画像領域を用いて前記撮像画像において前記検出対象の画像を含む注目領域を特定し、前記注目領域内において前記検出対象を検出することによって、前記ロボットを動かす処理部と、
を含むことを特徴とするロボットシステム。
【請求項２】
請求項１において、
前記画像受付部は、
前記検出対象が映り、ロボット制御時に参照する参照画像を受け付け、
前記画像領域は、
前記参照画像のうち、前記検出対象が映る領域であることを特徴とするロボットシステム。
【請求項３】
請求項２において、
前記画像領域は、
前記参照画像において、ユーザーにより指定された領域であることを特徴とするロボットシステム。
【請求項４】
請求項２又は３において、
前記処理部は、
前記参照画像において前記検出対象が映る第２の注目領域を特定し、前記第２の注目領域内において、前記検出対象を検出することを特徴とするロボットシステム。
【請求項５】
請求項４において、
前記処理部は、
前記第２の注目領域内において、前記参照画像に映る前記検出対象の特徴量情報を求め、前記撮像画像の前記注目領域内において、前記参照画像の前記特徴量情報に基づき、前記検出対象を検出することを特徴とするロボットシステム。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記処理部は、
前記撮像画像の特徴量情報及び前記画像領域の特徴量情報に基づいて、前記撮像画像における前記注目領域を特定することを特徴とするロボットシステム。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記処理部は、
前記注目領域内において、エッジ検出処理を行い、前記エッジ検出処理の結果に基づいて、前記検出対象の位置姿勢情報を特定することを特徴とするロボットシステム。
【請求項８】
請求項７において、
前記処理部は、
前記エッジ検出処理を行うことにより特定した前記検出対象の前記位置姿勢情報と、前記検出対象の３次元モデルデータに基づいて、前記位置姿勢情報を修正することを特徴とするロボットシステム。
【請求項９】
請求項１乃至８のいずれかにおいて、
前記画像受付部は、
前記検出対象が映り、ロボット制御時に参照する参照画像を取得し、
前記処理部は、
前記撮像画像が前記参照画像に一致又は近づくように、前記ロボットを制御することを特徴とするロボットシステム。
【請求項１０】
検出対象の画像を含む撮像画像を受け付ける画像受付部と、
前記検出対象の画像を含む画像領域を用いて前記撮像画像において前記検出対象の画像を含む注目領域を特定し、前記注目領域内において前記検出対象を検出する処理部と、
を含むことを特徴とする処理装置。
【請求項１１】
検出対象の画像を含む撮像画像を受け付けることと、
前記検出対象の画像を含む画像領域を用いて前記撮像画像において前記検出対象の画像を含む注目領域を特定することと、
前記注目領域内において前記検出対象を検出することと、
前記検出対象の検出結果に基づいて、ロボットを動かすことと、
を含むことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットシステム、処理装置及び制御方法等に関係する。
【背景技術】
【０００２】
画像中に映る物体（検出対象）を検出し、さらには、その物体の３次元的な位置及び姿勢を知ることは、種々の応用において必要とされる。一例として、産業用ロボットの応用においては、カメラなどを用いて物体を撮像し、撮像した画像を用いて物体の位置姿勢情報を検出し、検出した位置姿勢情報を用いてロボットにその物体を把持させる、などと言うことが要求される。
【０００３】
このような画像中の物体検出に関する技術としては、例えば特許文献１などに記載される従来技術がある。特許文献１に記載される発明では、画像中のエッジを検出し、３次元幾何モデルのエッジと対応付けを行うことで、信頼度を算出し、算出された信頼度をもとに検出対象の位置姿勢を検出する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１７９９０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
検出対象と同じようなエッジが検出される他の物体が画像内に映っている場合などには、検出対象の位置姿勢が正確に求まらないことがある。
【課題を解決するための手段】
【０００６】
本発明の一態様は、ロボットと、検出対象の画像を含む撮像画像を受け付ける画像受付部と、前記検出対象の画像を含む画像領域を用いて前記撮像画像において前記検出対象の画像を含む注目領域を特定し、前記注目領域内において前記検出対象を検出することによって、前記ロボットを動かす処理部と、を含むロボットシステムに関係する。
【０００７】
本発明の一態様では、検出対象が映る画像領域を用いて、撮像画像において検出対象が映る注目領域を特定し、注目領域内において、検出対象の検出処理を行う。
【０００８】
よって、撮像画像における検出対象の誤検出の発生を抑制することが可能となる。
【０００９】
また、本発明の一態様では、前記画像受付部は、前記検出対象が映り、ロボット制御時に参照する参照画像を受け付け、前記画像領域は、前記参照画像のうち、前記検出対象が映る領域であってもよい。
【００１０】
これにより、ビジュアルサーボを行う際に、撮像画像において注目領域を特定するコストを低減すること等が可能になる。
【００１１】
また、本発明の一態様では、前記画像領域は、前記参照画像において、ユーザーにより指定された領域であってもよい。
【００１２】
これにより、参照画像において、ユーザーが一度、指定領域を指定するだけで、複数の撮像画像において、注目領域を自動で特定すること等が可能になる。
【００１３】
また、本発明の一態様では、前記処理部は、前記参照画像において前記検出対象が映る第２の注目領域を特定し、前記第２の注目領域内において、前記検出対象を検出してもよい。
【００１４】
これにより、参照画像において検出対象を検出する際にも、検出対象の誤検出の発生を抑制すること等が可能になる。
【００１５】
また、本発明の一態様では、前記処理部は、前記第２の注目領域内において、前記参照画像に映る前記検出対象の特徴量情報を求め、前記撮像画像の前記注目領域内において、前記参照画像の前記特徴量情報に基づいて前記検出対象を検出してもよい。
【００１６】
これにより、３次元モデルデータやテンプレート画像がない場合でも、撮像画像において検出対象の検出処理を行うこと等が可能になる。
【００１７】
また、本発明の一態様では、前記処理部は、前記撮像画像の特徴量情報及び前記画像領域の特徴量情報に基づいて、前記撮像画像における前記注目領域を特定してもよい。
【００１８】
これにより、撮像画像において検出対象が映る注目領域を特定すること等が可能になる。
【００１９】
また、本発明の一態様では、前記処理部は、前記注目領域内において、エッジ検出処理を行い、前記エッジ検出処理の結果に基づいて、前記検出対象の位置姿勢情報を特定してもよい。
【００２０】
これにより、撮像画像に映る検出対象の大まかな位置姿勢を特定すること等が可能になる。
【００２１】
また、本発明の一態様では、前記処理部は、前記エッジ検出処理を行うことにより特定した前記検出対象の前記位置姿勢情報と、前記検出対象の３次元モデルデータに基づいて、前記位置姿勢情報を修正してもよい。
【００２２】
これにより、撮像画像に映る検出対象の正確な位置姿勢を特定すること等が可能になる。
【００２３】
また、本発明の一態様では、前記画像受付部は、前記検出対象が映り、ロボット制御時に参照する参照画像を取得し、前記処理部は、前記撮像画像が前記参照画像に一致又は近づくように、ロボットを制御してもよい。
【００２４】
これにより、ロボットを用いて、検出対象を目標位置姿勢にすること等が可能になる。
【００２５】
また、本発明の他の態様は、検出対象の画像を含む撮像画像を受け付ける画像受付部と、前記検出対象の画像を含む画像領域を用いて前記撮像画像において前記検出対象の画像を含む注目領域を特定し、前記注目領域内において前記検出対象を検出する処理部と、を含む処理装置に関係する。
【００２６】
また、本発明の他の態様は、検出対象の画像を含む撮像画像を受け付けることと、前記検出対象の画像を含む画像領域を用いて前記撮像画像において前記検出対象の画像を含む注目領域を特定することと、前記注目領域内において前記検出対象を検出することと、前記検出対象の検出結果に基づいて、ロボットを動かすことと、を含む制御方法に関係する。
【００２７】
また、本発明の他の態様では、上記各部としてコンピューターを機能させるプログラム、又は該プログラムを記憶したコンピューター読み取り可能な情報記憶装置に関係する。
【００２８】
本発明の幾つかの態様によれば、撮像画像における検出対象の誤検出の発生を抑制することができるロボットシステム、処理装置及び制御方法等を提供することができる。
【図面の簡単な説明】
【００２９】
【図１】検出対象の誤検出が発生する場合の説明図。
【図２】本実施形態の処理装置のシステム構成例。
【図３】本実施形態のロボットシステムのシステム構成例。
【図４】図４（Ａ）、図４（Ｂ）は、切り出し画像の生成処理の説明図。
【図５】図５（Ａ）、図５（Ｂ）は、注目領域の特定処理の説明図。
【図６】図６（Ａ）〜図６（Ｄ）は、検出対象の粗検出の説明図。
【図７】検出対象の精密検出の説明図。
【図８】本実施形態のビジュアルサーボの準備の流れを説明するフローチャート。
【図９】図９（Ａ）〜図９（Ｃ）は、フローチャートの具体例及び変形例の説明図。
【図１０】本実施形態のビジュアルサーボの実行時の処理の流れを説明するフローチャート。
【図１１】図１１（Ａ）〜図１１（Ｃ）は、テンプレート画像とエッジ検出処理の説明図。
【図１２】図１２（Ａ）〜図１２（Ｅ）は、検出対象の粗検出の詳細な説明図。
【図１３】図１３（Ａ）〜図１３（Ｅ）は、検出対象の精密検出の詳細な説明図。
【図１４】図１４（Ａ）、図１４（Ｂ）は、撮像画像と参照画像の説明図。
【図１５】図１５（Ａ）、図１５（Ｂ）は、本実施形態のロボットの具体的な構成例。
【図１６】ネットワークを介してロボットを制御する処理装置の構成例。
【発明を実施するための形態】
【００３０】
以下、本実施形態について説明する。なお、以下で説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００３１】
１．本実施形態の概要
本実施形態では、画像中から検出対象を検出し、検出対象の位置姿勢や特徴量を特定する処理について説明する。ここで、検出対象とは、検出対象物や、検出対象位置などである。具体的に検出対象は、後述するロボットの作業対象であるワークや、ツール、作業位置（ネジ穴など）、マーカーなどである。また、位置姿勢とは、位置及び姿勢のことである。
【００３２】
しかし、前述したように、例えば検出対象と形状や色が似ている他の物体が、背景に映っている場合などには、検出対象以外の物体を検出対象であると判断して、誤検出してしまうことがある。
【００３３】
具体例を図１に示す。図１の例では、撮像画像ＰＩＭにおいて、検出対象であるワークＷＫの検出処理を行った結果、背景に映っている他のワークの一部分ＮＧＭをワークＷＫであると誤って検出してしまっている。本例では、検出対象の検出処理として、異なる姿勢のワークＷＫが映る複数のテンプレート画像を用いて、テンプレートマッチングを行うが、この際に偶然、他のワークの一部分ＮＧＭと、あるテンプレート画像との一致度が高くなってしまったため、このような誤検出が発生している。この場合には、撮像画像ＰＩＭに映るワークＷＫの位置を、他のワークの一部分ＮＧＭの位置であると特定し、ワークＷＫの姿勢を、他のワークの一部分ＮＧＭとマッチングしたテンプレート画像中のワークＷＫと同じ姿勢であると特定してしまう。このように、検出対象の誤検出が発生した場合には、検出対象の位置姿勢も誤って特定してしまう。検出対象の特徴量を検出する場合についても同様に、他のワークの一部分ＮＧＭの特徴量をワークＷＫの特徴量として誤って特定してしまう。
【００３４】
そこで、本実施形態では、撮像画像において検出対象が映る注目領域（関心領域、ＲＯＩ：Region of Interest）を、検出対象が映る切り出し画像を用いて、大まかに特定し、特定した注目領域内で、検出対象の検出処理を行う。これにより、撮像画像における検出対象の誤検出の発生を抑制する。なお、切り出し画像は、撮像画像の所与の画像領域を切り出した画像であり、単に画像領域と呼んでもよい。
【００３５】
具体的に、本実施形態の処理装置１００の構成例を図２に示す。本実施形態の処理装置１００は、画像受付部１１０と、処理部１３０と、を含む。なお、処理装置１００は、図２の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。また、本実施形態の処理装置１００は、後述する図１５（Ａ）に示すように、ロボット３００に含まれており、ロボット３００と一体に構成されていてもよい。さらに、後述する図１６に示すように、処理装置１００の機能は、サーバー５００と、各ロボット３００が有する端末装置３３０とにより、実現されてもよい。
【００３６】
まず、画像受付部１１０は、例えば検出対象の画像を含む撮像画像を撮像部２００から受け付ける（又は取得する）。なお、画像受付部１１０は、撮像部２００からの撮像画像を受け付けるインターフェース部、或いは、有線及び無線の少なくとも一方を含むネットワークを介して撮像部２００からの撮像画像を受信する通信部などにより実現できる。
【００３７】
次に、処理部１３０は、検出対象の画像を含む切り出し画像（画像領域）を用いて、撮像画像において検出対象が映る注目領域を特定し、注目領域内において、検出対象の検出処理を行う。なお、処理部１３０の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
【００３８】
そして、撮像部（カメラ）２００は、例えばＣＣＤ（charge-coupled device）等の撮像素子と光学系とを含む。撮像部２００は、例えば天井や作業台の上などに、検出対象が撮像部２００の画角内に入るような角度で配置される。そして、撮像部２００は、撮像画像の情報を処理装置１００（画像受付部１１０）に出力する。ただし、本実施形態においては、撮像画像の情報をそのまま処理装置１００に出力するものとするが、これに限定されるものではない。例えば、撮像部２００は、画像処理用等に用いられるデバイス（プロセッサー）を含むことができる。
【００３９】
具体的には、例えば後述する図５（Ａ）及び図５（Ｂ）に示すように、切り出し画像ＣＩＭを用いて、撮像画像ＰＩＭ内の注目領域ＲＯＩを特定し、特定した注目領域ＲＯＩ内で、検出対象であるワークＷＫの検出処理を行う。この場合、図５（Ｂ）に示すように、注目領域ＲＯＩには、図１の例においてテンプレート画像とマッチングしてしまった他のワークの一部分ＮＧＭが含まれない。そのため、検出対象の誤検出の発生を防ぐことが可能になる。
【００４０】
ここで、切り出し画像は、画像の全領域に対する検出対象が映る領域の割合が、所与の割合よりも大きい画像であり、例えば後述する図５（Ａ）の画像ＣＩＭである。一方、撮像画像は、撮像部２００により撮像された画像であり、例えば後述する図５（Ｂ）の画像ＰＩＭである。
【００４１】
また、注目領域は、画像中において、検出対象の検出処理の対象となる領域（対象領域）である。つまり、本実施形態では、注目領域内でのみ検出対象の検出処理を行う。
【００４２】
そして、検出処理は、画像中に検出対象が映っているか否かを判定する処理である。さらに、検出処理において、検出対象が画像内に映っていると判定した場合には、検出対象の位置姿勢や特徴量を特定してもよい。
【００４３】
以上のように、本実施形態では、切り出し画像を用いて、撮像画像内で検出対象の検出処理を行う領域を限定する。つまり、検出対象の誤検出が発生する可能性のある領域を、検出処理の対象領域から除外するのである。これにより、撮像画像における検出対象の誤検出の発生を抑制することが可能となる。
【００４４】
２．本実施形態の手法
次に、本実施形態の具体的な手法について説明する。以下では、特に検出対象の検出処理の結果に基づいて、ビジュアルサーボを行って、ロボットを動作させる例について説明する。ただし、本発明の用途は、ビジュアルサーボなどのロボット制御には限定されず、例えば画像を自動分類する場面などでも用いることができる。
【００４５】
まず、本実施形態のロボットシステムの構成について説明する。ロボットシステムは、図３に示すように、処理装置１００（画像受付部１１０と、処理部１３０と、参照画像記憶部１５０とを有する）と、ロボット制御部３５０と、ロボット機構３８０と、を含む。なお、参照画像記憶部１５０については後述する。また、例えばロボット３００は、ロボット制御部３５０と、ロボット機構３８０と、を含む。さらに、ロボットシステム及びロボット３００は、図３の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
【００４６】
この場合には、処理部１３０は、前述した又は後述する各処理を行うことにより、ロボット３００を制御する。具体的には、処理部１３０は、ロボット３００の制御情報をロボット制御部３５０に出力する。そして、ロボット制御部３５０は、取得した制御情報に基づいて、ロボット機構３８０を制御する。
【００４７】
そして、ロボット機構３８０は、エンドエフェクター３１０やアーム３２０等を有している。ここで、エンドエフェクター３１０とは、ワーク（作業対象物）を把持したり、持ち上げたり、吊り上げたり、吸着させたり、ワークに加工を施したりするために、アーム３２０のエンドポイントに取り付ける部品のことをいう。エンドエフェクター３１０は、例えばハンド（把持部）であってもよいし、フックであってもよいし、吸盤等であってもよい。さらに、１本のアームに対して、複数のエンドエフェクターを設けても良い。また、アーム３２０とは、ロボット３００のパーツであって、一つ以上の関節を含む可動パーツのことをいう。
【００４８】
本実施形態では、図３に示すようなロボット３００をビジュアルサーボにより動作させる。ここで、ビジュアルサーボとは、目標物（検出対象）の位置の変化を視覚情報として計測し、それをフィードバック情報として用いることによって目標物を追跡するサーボ系の一種である。ビジュアルサーボは、サーボ系への入力情報（制御量）によって、位置ベースビジュアルサーボと特徴ベースビジュアルサーボの二つに大別される。位置ベースビジュアルサーボは、物体の位置情報や姿勢情報がサーボ系への入力情報となり、特徴ベースビジュアルサーボは、画像の特徴量がサーボ系への入力情報となる。他にも、位置ベースと特徴ベースをハイブリッドした手法もある。本発明で扱うビジュアルサーボは、これら全ての手法を対象とする。これらのビジュアルサーボは、事前に入手した参照画像と、実行時に取得した撮像画像（入力画像）を元にサーボ系への入力情報を求める点で共通している。そのため、ビジュアルサーボを行う際には、事前情報として参照画像の取得が必須になる。
【００４９】
ここで、参照画像とは、目標画像やゴール画像とも呼ばれ、ビジュアルサーボの制御目標となる画像であり、ロボット３００の目標状態を表す画像をいう。すなわち、参照画像とは、ロボット３００の目標位置姿勢を表す画像、もしくはロボット３００が目標姿勢で目標位置に位置する状態を表す画像である。
【００５０】
また、参照画像はあらかじめ用意しておき、参照画像記憶部１５０に記憶しておく必要がある。なお、参照画像記憶部１５０の機能は、ＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。
【００５１】
一方、撮像画像には、作業スペースの現在の状態が映っており、撮像画像内にロボット３００やワーク（検出対象）が映りこんでいる場合には、ロボット３００やワークの現在の状態を表している。また、撮像画像は、ロボット３００が動作している間に、撮像部２００により所与の間隔で撮像される。なお、撮像部２００の性能によっては処理遅延が生じるが、ここでは、処理遅延が生じている場合でも、撮像画像には現在の状態が映されているものとして扱う。
【００５２】
具体的にビジュアルサーボでは、ビジュアルサーボの開始時又は事前に、参照画像において検出対象の検出処理を行い、検出対象の目標位置姿勢を特定したり、目標位置姿勢での検出対象の特徴量を求めたりする。そして、ビジュアルサーボの実行時に、撮像画像においても、検出対象の検出処理を行い、現在の検出対象の位置姿勢を特定したり、現在の位置姿勢における検出対象の特徴量を求めたりする。そして、参照画像から検出した目標位置姿勢等と、撮像画像から検出した現在の位置姿勢等とを比較して、撮像画像に映る検出対象が、参照画像に映る検出対象と次第に一致するように、ロボットを動作させる。
【００５３】
このように、ビジュアルサーボでは撮像画像において、検出対象の検出処理を何度も繰り返して行うことになる。この際に、検出対象の誤検出が発生してしまうと、ロボットを目標位置姿勢に正常に移動させることができない。そこで、撮像画像内に前述した注目領域を設定し、注目領域内でのみ検出処理を行えば、検出対象の誤検出の発生を抑制することができる。しかし、撮像画像において検出対象が映る位置は、都度変化することが通常である。そのため、撮像画像毎に注目領域を特定する必要があるが、例えばユーザーが撮像画像毎に注目領域を手動で設定することは非常に困難であり、現実的ではない。
【００５４】
そこで、本実施形態では、ビジュアルサーボを行うにあたり、事前に必要な参照画像を有効利用し、参照画像から切り出し画像を生成し、切り出し画像に基づいて撮像画像内の注目領域を特定する。以下、順を追って説明する。
【００５５】
まず画像受付部１１０は、検出対象が映り、ロボット制御時に参照する参照画像を、例えば参照画像記憶部１５０から取得する。この参照画像には、ロボット制御の目標位置姿勢で検出対象が映っている。次に、処理部１３０は、参照画像から検出対象が映る領域を切り出して、切り出し画像を生成する。つまり、切り出し画像は、参照画像から検出対象が映る領域を切り出して生成された画像である。
【００５６】
より具体的には、処理部１３０は、ユーザーによる参照画像内の領域特定情報を取得し、取得した領域特定情報に基づいて、参照画像から、ユーザーにより特定された領域を切り出して、切り出し画像を生成する。つまり、切り出し画像は、参照画像において、ユーザーにより指定された領域を切り出して生成された画像である。
【００５７】
例えば、図４（Ａ）に示すような参照画像ＴＩＭを取得した場合には、ユーザーが参照画像ＴＩＭ内において、検出対象であるワークＷＫが映る指定領域ＡＲを指定する。そして、指定領域ＡＲの画像を切り出して、図４（Ｂ）に示すような切り出し画像ＣＩＭを生成する。この場合、領域特定情報は、指定領域ＡＲを指定する情報であり、例えば指定領域ＡＲの座標データなどである。
【００５８】
このように、参照画像から切り出した切り出し画像を用いることにより、ビジュアルサーボを行う際に、撮像画像において注目領域を特定するコストを低減すること等が可能になる。
【００５９】
つまり、参照画像において、ユーザーが一度、指定領域を指定するだけで、複数の撮像画像において、注目領域を自動で特定すること等が可能になる。また、ビジュアルサーボの事前準備（教示の一環）として、参照画像の取得や画像ヤコビアンの算出作業などを行う必要があるため、その際に指定領域を指定すれば、ユーザーの負担が大きく増えることはない。
【００６０】
具体的に、撮像画像において注目領域を特定する際には、処理部１３０は、撮像画像の特徴量情報及び切り出し画像の特徴量情報に基づいて、撮像画像における注目領域を特定する。
【００６１】
具体例を図５（Ａ）及び図５（Ｂ）に示す。本例では、処理部１３０は、図５（Ａ）に示すような切り出し画像ＣＩＭと、図５（Ｂ）に示すような撮像画像ＰＩＭに対して、特徴量情報の抽出処理を行う。ここでは、画像の特徴量として、特徴点を検出（抽出）する。
【００６２】
ここで、特徴点とは、画像中で際立って観測できる点のことをいう。本例では、特徴点の検出方法（特徴点検出処理）として、コーナー検出法等を用いるが、その他の一般的なコーナー部検出方法（固有値、ＦＡＳＴ特徴検出）を用いても良いし、ＳＩＦＴ（Scale Invariant Feature Transform）に代表される局所特徴量記述子やＳＵＲＦ（Speeded Up Robust Feature）等を用いても良い。
【００６３】
その結果、図５（Ａ）の切り出し画像ＣＩＭでは、複数の特徴点（Ｐ１〜Ｐ６）が抽出され、同様に、図５（Ｂ）の撮像画像ＰＩＭでも、複数の特徴点（Ｐ１〜Ｐ６）に対応する各特徴点（Ｐ１’〜Ｐ６’）が抽出されたものとする。
【００６４】
この時、撮像画像ＰＩＭにおいて抽出された複数の特徴点のうち、特徴点（Ｐ１’〜Ｐ６’）の位置関係は、切り出し画像ＣＩＭにおいて抽出された複数の特徴点（Ｐ１〜Ｐ６）の位置関係と対応している。よって、撮像画像ＰＩＭにおいて抽出された特徴点（Ｐ１’〜Ｐ６’）が、ワークＷＫを表す特徴点であると判定できる。そのため、処理部１３０は、撮像画像ＰＩＭにおいて特徴点（Ｐ１’〜Ｐ６’）が全て含まれる領域ＲＯＩを注目領域として特定する。例えば、この注目領域ＲＯＩの境界線は、特徴点（Ｐ１’〜Ｐ６’）の各特徴点から所与の距離だけ離れた位置に設定する。
【００６５】
また、撮像画像ＰＩＭでは、特徴点（Ｐ１’〜Ｐ６’）以外にも特徴点が検出されており、例えば、特徴点Ｐ１”は特徴点Ｐ１に対応する特徴点であり、特徴点Ｐ２”は特徴点Ｐ２に対応する特徴点である。しかし、特徴点Ｐ１”と特徴点Ｐ２”の位置関係は、特徴点Ｐ１と特徴点Ｐ２の位置関係と異なるため、特徴点Ｐ１”と特徴点Ｐ２”は、検出対象以外のものを表す特徴点であると判定できる。その他の特徴点についても、他の特徴点との位置関係を考慮することにより、検出対象を表す特徴点であるか否かを判定できる。その結果、前述したように、特徴点（Ｐ１’〜Ｐ６’）が、ワークＷＫを表す特徴点であると判定できる。
【００６６】
これにより、撮像画像において検出対象が映る注目領域を特定すること等が可能になる。なお、本例では特徴量情報として、特徴点を表す情報を求めたが、特徴量情報は、輪郭線を表す情報や、輝度変化を表す情報などであってもよい。
【００６７】
次に、設定された注目領域を利用して、撮像画像において検出対象の検出処理を行う。本実施形態の検出処理は、粗検出と精密検出の二段階で行う。
【００６８】
まずは、エッジ検出を主とした検出対象の粗検出（粗姿勢検出）を行う。図６（Ａ）〜図６（Ｄ）に具体例を示す。図６（Ａ）は、注目領域ＲＯＩを設定した撮像画像ＰＩＭの説明図であり、図６（Ｂ）〜図６（Ｄ）は、撮像画像ＰＩＭのうち、注目領域ＲＯＩの部分だけを抜き出した説明図である。
【００６９】
図１を用いて前述したように、注目領域ＲＯＩを設定せずに粗検出を行った場合には、ワークＷＫではなく、背景に写りこんでいる他の物体のエッジ（ＮＧＭ）を、ワークＷＫのエッジであると、誤って検出してしまう。これに対して、撮像画像ＰＩＭに注目領域ＲＯＩを設定した場合には、図６（Ｂ）〜図６（Ｄ）に示すように、ワークＷＫのエッジを検出することができ、ワークＷＫの３つの位置姿勢候補（ＰＳ１〜ＰＳ３）を検出することができる。なお、検出される位置姿勢候補は、３つとは限らない。また、より詳細な粗検出の処理内容については、図１１（Ａ）〜図１１（Ｃ）及び図１２（Ａ）〜図１２（Ｅ）を用いて後述する。
【００７０】
次に、検出対象の位置姿勢候補（ＰＳ１〜ＰＳ３）を利用して、精密検出（精密姿勢検出）を行う。すると、図７のようにワークＷＫの精密な位置姿勢ＰＳが特定できる。なお、精密検出の処理の詳細については、図１３（Ａ）〜図１３（Ｅ）を用いて後述する。また、検出対象の検出処理では、検出対象の位置姿勢ではなく、検出対象の特徴量を求めてもよい。
【００７１】
ここで、本実施形態の比較例について説明する。撮像画像における検出対象の誤検出の発生を抑制する方法として、撮像部の視野角を狭くして、他の物体の写りこみを減らす方法が考えられる。しかし、撮像部の視野角を狭くしてビジュアルサーボを行う場合には、ビジュアルサーボによりロボットを動作させることが可能な範囲を制限してしまうことになる。
【００７２】
一方、本実施形態の手法を用いれば、ビジュアルサーボによりロボットを動作させることが可能な範囲を制限することなく、撮像画像における検出対象の誤検出の発生を抑制することが可能である。
【００７３】
またその他にも、前述したように、ビジュアルサーボの実行中に、撮像画像において注目領域をユーザーが逐次特定する手法も考えられる。しかし、この場合には、ユーザーが注目領域を特定している間、ビジュアルサーボを中断することになるため、ロボットの作業効率が著しく低下する。
【００７４】
これに対して、本実施形態の手法では、参照画像に対して一度、指定領域を指定すれば、以降ビジュアルサーボを行いながら、撮像画像において注目領域を自動で特定することが可能であるため、ロボットの作業効率を低下させることはない。
【００７５】
３．処理の詳細
次に、本実施形態におけるビジュアルサーボの準備の流れを、図８のフローチャートを用いて説明する。
【００７６】
まず、検出対象物を目標位置姿勢へ移動させる（Ｓ１０１）。この操作は、ロボット３００に行わせてもよいし、ユーザー（作業者）が行ってもよい。また、検出対象が作業位置などである場合には、撮像部２００の撮像方向を検出対象に向ける操作などを代わりに行う。
【００７７】
例えば、図９（Ａ）に示すように、ロボットのハンドＨＤがコンデンサーＷＫ（検出対象物）を把持して、基板上に設けられた差し込み穴ＨＬの位置に、コンデンサーＷＫの脚の先端の位置を合わせる。本例では、図９（Ａ）のように、差し込み穴ＨＬの位置に、コンデンサーＷＫの脚の位置が合う状態の位置姿勢が、コンデンサーＷＫの目標位置姿勢となる。
【００７８】
次に、撮像部２００が、目標位置姿勢の検出対象物を撮像することにより、参照画像を取得する（Ｓ１０２）。例えば、図９（Ａ）に示すような参照画像ＴＩＭを取得する。
【００７９】
そして、前述したように、ビジュアルサーボを行う際には、参照画像における検出対象を検出し、検出対象の目標位置姿勢や、目標位置姿勢で参照画像に映る検出対象の特徴量などを検出しておく必要がある。しかし、参照画像に映る検出対象を検出する際にも、撮像画像において検出処理を行う際と同様に、検出対象の誤検出が発生する可能性がある。
【００８０】
そこで本例では、処理部１３０が、参照画像において検出対象が映る第２の注目領域を特定し（Ｓ１０３）、第２の注目領域内において、検出対象の第２の検出処理を行う。
【００８１】
例えば、図９（Ａ）の例では、ユーザーによって指定された指定領域ＲＯＩ１を、第２の注目領域として特定する。ここで、第２の注目領域とは、参照画像において、検出対象が映る領域のことである。また、第２の注目領域は、前述した指定領域と同じ領域であってもよいし、指定領域を含む領域であってもよい。
【００８２】
次に、処理部１３０は、参照画像から第２の注目領域の画像を切り出して、切り出し画像を生成する（Ｓ１０４）。
【００８３】
例えば、図９（Ａ）の参照画像ＴＩＭの第２の注目領域ＲＯＩ１の画像を切り出して、図９（Ｂ）に示すような切り出し画像ＣＩＭを生成する。なお、切り出し画像は、必ずしも、参照画像のうち、第２の注目領域と同じ領域の画像を切り出した画像であるとは限らず、第２の注目領域よりも、所与のサイズだけ大きい又は小さい領域の画像であってもよい。
【００８４】
さらに、処理部１３０は、第２の注目領域内において、検出対象の第２の検出処理を行う（Ｓ１０５）。
【００８５】
ここで、第２の検出処理の内容は、前述した撮像画像における検出対象の検出処理と同じ内容である。具体的に、第２の検出処理では、参照画像に検出対象が映っているか否かを判定し、検出対象が映っていると判定した場合には、参照画像に映る検出対象の位置姿勢を特定したり、検出対象の特徴量を抽出したりする。
【００８６】
これにより、参照画像において第２の検出処理を行う際にも、検出対象が映っていない余計な領域を、第２の検出処理の対象領域とせずに、誤検出の発生を抑制すること等が可能になる。なお、図９（Ｃ）については、後述する。
【００８７】
次に、本実施形態におけるビジュアルサーボの実行時の処理の流れを、図１０に示すフローチャートを用いて説明する。
【００８８】
まず、撮像部２００により撮像することにより、画像受付部１１０が撮像画像を取得する（Ｓ２０１）。
【００８９】
次に、処理部１３０が、図５（Ａ）及び図５（Ｂ）を用いて前述したように、撮像画像と切り出し画像の特徴点マッチングを行って（Ｓ２０２）、撮像画像に注目領域を設定する（Ｓ２０３）。
【００９０】
そして、処理部１３０が、撮像画像の注目領域内で検出対象の検出処理を行う（Ｓ２０４）。
【００９１】
ここで、検出対象の検出処理及び第２の検出処理の詳細について説明する。本例の検出処理及び第２の検出処理は、処理対象となる画像が異なるだけであって、処理内容は同じである。ただし、本実施形態では、検出処理と第２の検出処理の内容が異なっていてもよい。
【００９２】
本例における検出処理及び第２の検出処理は、前述したように、粗検出と精密検出の二段階で行う。
【００９３】
まず、粗検出について説明する。例えば、処理部１３０は、注目領域内において、エッジ検出処理を行い、エッジ検出処理の結果に基づいて、検出対象の位置姿勢情報を特定する。
【００９４】
ここで、図１１（Ａ）〜図１１（Ｃ）、図１２（Ａ）〜図１２（Ｅ）を用いて、具体例を説明する。
【００９５】
まず、粗検出の準備として、図１１（Ａ）に示すようなワークＷＫ（検出対象）の３次元モデルデータＣＭから、図１１（Ｂ）に示すようなワークＷＫの複数のテンプレート画像（ＴＰＩＭ１〜ＴＰＩＭｉ（ｉは正の正数））を生成しておく。具体的には、３次元モデルデータＣＭは、３Ｄ  ＣＡＤデータ（3Dimension Computer Aided Design Data）である。そして、３次元モデルデータＣＭの姿勢を変えて、３次元モデルデータＣＭを様々な方向から見たときの画像を、ワークＷＫのテンプレート画像（ＴＰＩＭ１〜ＴＰＩＭｉ）として生成する。なお、図１１（Ｂ）には、図示の都合上、テンプレート画像ＴＰＩＭ１５までしか図示していないが、実際にはさらに多くのテンプレート画像を生成する。そして、以下で説明する処理についても、テンプレート画像ＴＰＩＭ１５までだけでなく、生成した全てのテンプレート画像を処理対象とする。
【００９６】
次に、図１１（Ｂ）の複数のテンプレート画像（ＴＰＩＭ１〜ＴＰＩＭｉ）の各テンプレート画像に対して、エッジ検出処理を行い、図１１（Ｃ）に示すような複数のエッジ画像（ＥＩＭ１〜ＥＩＭｉ）を取得する。例えば、図１１（Ｂ）に拡大して図示するテンプレート画像ＴＰＩＭ１２に対して、エッジ検出処理を行うと、図１１（Ｃ）に拡大して図示するエッジ画像ＥＩＭ１２が生成される。なお、エッジ画像は、テンプレート画像において検出されたエッジ部分のみを白色で、その他の領域を黒色で表す二値化画像である。ただし、エッジ検出処理の結果は、エッジ画像に限らず、例えばエッジ配置などのエッジ情報であってもよい。また、図１１（Ａ）〜図１１（Ｃ）を用いて説明した処理は、ビジュアルサーボを行う前にあらかじめ行っておくことが望ましい。
【００９７】
次に、図１２（Ａ）に示す撮像画像ＰＩＭの注目領域ＲＯＩ内の画像に対しても、エッジ検出処理を行い、図１２（Ｂ）に示すように、注目領域ＲＯＩ内のエッジ情報を取得する。言い換えれば、撮像画像ＰＩＭの注目領域ＲＯＩ内の画像だけを、エッジ画像化する。
【００９８】
そして、図１２（Ｂ）に示す注目領域ＲＯＩ内のエッジ画像と、図１１（Ｃ）に示す複数のエッジ画像（ＥＩＭ１〜ＥＩＭｉ）のうちの各エッジ画像を比較して、複数のエッジ画像（ＥＩＭ１〜ＥＩＭｉ）の中から、注目領域ＲＯＩ内のエッジ画像と一致度が高いエッジ画像を選択する。例えば、本例では、図１２（Ｃ）〜図１２（Ｅ）に示す３つのエッジ画像（ＥＩＭ（ｊ−１）〜ＥＩＭ（ｊ＋１））を選択する（ｊは、２≦ｊ≦（ｉ−１）の整数）。そして、選択したエッジ画像に映る検出対象の姿勢を候補姿勢として特定する。また、検出対象の候補位置についても、選択されたエッジ画像において検出対象が映る位置と、撮像画像ＰＩＭ内の注目領域ＲＯＩの位置に基づいて、特定することができる。
【００９９】
同様に、前述した図６（Ａ）〜図６（Ｄ）の例では、このような処理を行った結果、３つの候補位置姿勢（ＰＳ１〜ＰＳ３）が特定されている。なお、図１２（Ａ）〜図１２（Ｅ）を用いて説明した処理は、撮像画像を取得する度に、つまりビジュアルサーボの実行中に行う必要がある。
【０１００】
これにより、比較的少ない計算量で、撮像画像に映る検出対象の大まかな位置姿勢を特定すること等が可能になる。
【０１０１】
次に、精密検出について説明する。例えば、処理部１３０は、エッジ検出処理を行うことにより特定した検出対象の位置姿勢情報と、検出対象の３次元モデルデータに基づいて、位置姿勢情報を修正する。
【０１０２】
ここで、図１３（Ａ）〜図１３（Ｅ）を用いて具体例を説明する。なお、図１３（Ａ）、図１３（Ｂ）、図１３（Ｄ）、図１３（Ｅ）には、撮像画像の一部の領域のみを図示する。
【０１０３】
まず、図１３（Ａ）に示すように、候補位置姿勢ＢＰＳの３次元モデルデータを、撮像画像に重ね合わせる。なお、図１３（Ａ）は、前述した図１２（Ａ）〜図１２（Ｅ）と異なる検出対象の例であるが、この候補位置姿勢は、図１２（Ａ）〜図１２（Ｅ）のような粗検出を行うことにより求めたものである。
【０１０４】
次に、図１３（Ｂ）に示すように、候補位置姿勢ＢＰＳの３次元モデルデータの輪郭の中にマスクをかける。言い換えれば、撮像画像に重ねて配置された３次元モデルデータの輪郭の中の、全ての画素の輝度値に対して、所与の輝度値を加算する。
【０１０５】
そして、図１３（Ｃ）に示すように、マスク内の領域の輝度の平均値ＬＵ１と、マスク外の領域の輝度の平均値ＬＵ２を求める。
【０１０６】
さらに、２つの輝度の平均値（ＬＵ１とＬＵ２）の自乗誤差が所与の閾値以下か否かを判定し、自乗誤差が所与の閾値以下であると判定した場合には、図１３（Ｅ）に示すように、その時の３次元モデルデータの位置姿勢ＡＰＳを、撮像画像に映るワークＷＫ（検出対象）の位置姿勢として特定する。
【０１０７】
一方で、自乗誤差が所与の閾値よりも大きいと判定した場合には、２つの輝度の平均値（ＬＵ１とＬＵ２）の自乗誤差が最小となるように、３次元モデルデータの位置姿勢を調整し、図１３（Ｂ）を用いて説明した処理から、処理をやり直す。
【０１０８】
また、自乗誤差が所与の閾値以下か否かを判定する際に、自乗誤差が発散してしまったと判定した場合や、指定回数だけ３次元モデルデータの位置姿勢の調整が終わったと判定した場合にも、その時の３次元モデルデータの位置姿勢を、撮像画像に映るワークの位置姿勢として特定する。
【０１０９】
これにより、撮像画像に映る検出対象の正確な位置姿勢を特定すること等が可能になる。なお、この際に、精密検出の結果に基づいて、撮像画像に映る検出対象の特徴量を抽出してもよい。以上の流れが、検出対象の検出処理の流れである。
【０１１０】
さて、図１０のフローチャートに戻ると、次に、処理部１３０は、参照画像における第２の検出処理の結果と、撮像画像おける検出処理の結果が、所与の関係にあるか否かを判定する（Ｓ２０５）。例えば、検出処理及び第２の検出処理において、検出対象の位置姿勢を特定した場合には、検出対象の現在の位置姿勢が、目標位置姿勢と（略）一致しているか否かを判定する。また、検出処理及び第２の検出処理において、検出対象の特徴量を特定した場合には、撮像画像に映る検出対象の特徴量が、参照画像に映る検出対象の特徴量と（略）一致しているか否かを判定する。
【０１１１】
そして、参照画像における第２の検出処理の結果と、撮像画像における検出処理の結果が、所与の関係にないと判断した場合には、処理部１３０は、検出処理の結果に基づいて、ロボット３００を制御する（Ｓ２０６）。具体的には、処理部１３０は、撮像画像が参照画像に一致又は近づくように、ロボット３００を制御する。
【０１１２】
これにより、ロボットを用いて、検出対象を目標位置姿勢にすること等が可能になる。
【０１１３】
例えば、撮像画像が、図１４（Ａ）に示すような画像ＰＩＭであり、参照画像が、図１４（Ｂ）に示すような画像ＴＩＭである場合について説明する。本例では、ロボットが検出対象であるワークＷＫをハンドＨＤで把持し、参照画像ＴＩＭに映るワークＷＫと同じ位置姿勢で置く作業を行う。この場合には、前述した検出処理において検出したワークＷＫの位置姿勢が、第２の検出処理において検出したワークＷＫの目標位置姿勢と一致するように、ロボットを動作させる。または、撮像画像に映る検出対象の特徴量が、参照画像に映る検出対象の特徴量と（略）一致するように、ロボットを動作させる。そして、ロボットを動作させた後は、ステップＳ２０１に戻り、処理を繰り返す。
【０１１４】
さらに、このような処理を繰り返して、処理部１３０が、参照画像における第２の検出処理の結果と、撮像画像おける検出処理の結果が、所与の関係にあると判定した場合には、ロボットが目標の作業を完了したと判断して、ビジュアルサーボを終了する。例えば図１４（Ａ）及び図１４（Ｂ）の例では、ビジュアルサーボの終了時には、図１４（Ｂ）に示す参照画像と（略）同じ撮像画像が取得できるようになっている。以上が、ビジュアルサーボの実行時の処理の流れである。
【０１１５】
また、変形例として、図１１（Ａ）に示すような検出対象の３次元モデルデータや、図１１（Ｂ）に示すようなテンプレート画像がない場合も考えられる。
【０１１６】
そこで、処理部１３０は、参照画像の第２の注目領域内において、参照画像に映る検出対象の特徴量情報を求め、撮像画像の注目領域内において、参照画像から求めた検出対象の特徴量情報に基づいて検出処理を行ってもよい。
【０１１７】
例えば、前述した図９（Ａ）に示す参照画像ＴＩＭの第２の注目領域ＲＯＩ１内の画像から、検出対象であるコンデンサーＷＫの脚の特徴量を検出する。具体的には、コンデンサーＷＫの脚は、並行な線状であるため、第２の注目領域ＲＯＩ１内において、所与の範囲内の値を持つ画素値が並行に並ぶ領域ＳＰを、コンデンサーＷＫの脚が映る領域として特定する。ただし、参照画像における検出対象の特徴量は、この他の方法により求めてもよい。なお、第２の注目領域ＲＯＩ１は、ユーザーにより指定された領域であり、この場合にも、図９（Ｂ）に示す切り出し画像ＣＩＭを生成する。
【０１１８】
そして、図９（Ｃ）に示すように、切り出し画像ＣＩＭに基づいて、撮像画像ＰＩＭ内の注目領域ＲＯＩ２を特定し、参照画像ＴＩＭにおいて検出したコンデンサーＷＫの脚の特徴量に基づいて、撮像画像ＰＩＭの注目領域ＲＯＩ２内で検出処理を行う。つまり、撮像画像ＰＩＭの注目領域ＲＯＩ２内で、参照画像から抽出した検出対象の特徴量と同じように、略同じ値の画素値が並行に並ぶ領域を探索する。その結果、撮像画像ＰＩＭでもコンデンサーの脚ＤＯを検出することができる。
【０１１９】
これにより、３次元モデルデータやテンプレート画像がない場合でも、撮像画像において検出対象の検出処理を行うこと等が可能になる。なお、本処理は、検出対象がコンデンサーの脚のように薄く、単純な形状をしている場合などに特に有効である。
【０１２０】
４．ロボット
次に、図１５（Ａ）及び図１５（Ｂ）に、本実施形態の処理装置１００が適用されるロボット３００（ロボットシステム）の具体的な構成例を示す。
【０１２１】
図１５（Ａ）のように、ロボット３００は、ロボット機構３８０と処理装置１００とが一体に構成されていてもよい。すなわち、ロボット３００は、処理装置１００を含んでいてもよい。具体的には図１５（Ａ）に示すように、ロボット３００は、ロボット機構３８０及びロボット機構３８０を支えるベースユニット部を有し、当該ベースユニット部に処理装置１００及びロボット制御部３５０が格納されるものであってもよい。そして、図１５（Ａ）のロボット３００には、ベースユニット部に車輪等が設けられ、ロボット全体が移動可能な構成となっている。このロボット３００は、人手により移動させられるものであってもよいし、車輪を駆動させるモーターを設け、当該モーターをロボット制御部３５０により制御することにより、移動させられるものであってもよい。なお、図１５（Ａ）は双腕型の例であるが、ロボット３００は、後述する図１５（Ｂ）に示すように単腕型や、その他の多腕型のロボットであってもよい。
【０１２２】
さらに、図１５（Ａ）のように、ロボット３００の下に設けられたベースユニット部に、処理装置１００が設けられるとは限られない。例えば、本実施形態のロボット３００は、図１５（Ｂ）に示すように、ロボット機構３８０と処理装置１００とが別体に構成されていてもよい。この場合には、処理装置１００の一部又は全部の機能は、例えばＰＣ（Personal Computer）により実現され、処理装置１００とロボット３００は、有線及び無線の少なくとも一方を含むネットワークを介して、通信接続されている。
【０１２３】
また、図１６に示すように、処理装置１００の機能は、有線及び無線の少なくとも一方を含むネットワーク４００を介して、ロボット３００と通信接続されたサーバー５００により実現されてもよい。
【０１２４】
或いは本実施形態では、本発明の処理装置の処理の一部を、サーバー５００側の処理装置が行ってもよい。この場合には、ロボット３００側に設けられた処理装置との分散処理により、当該処理を実現する。なお、ロボット３００側の処理装置は、例えばロボット３００に設置される端末装置３３０（制御部）により実現される。
【０１２５】
そして、この場合に、サーバー５００側の処理装置は、本発明の処理装置における各処理のうち、サーバー５００の処理装置に割り当てられた処理を行う。一方、ロボット３００に設けられた処理装置は、本発明の処理装置の各処理のうち、ロボット３００の処理装置に割り当てられた処理を行う。なお、本発明の処理装置の各処理は、サーバー５００側に割り当てられた処理であってもよいし、ロボット３００側に割り当てられた処理であってもよい。
【０１２６】
これにより、例えば端末装置３３０よりも処理能力の高いサーバー５００が、処理量の多い処理を行うこと等が可能になる。さらに、例えばサーバー５００が各ロボット３００の動作を一括して制御することができ、複数のロボット３００に協調動作をさせること等が容易になる。
【０１２７】
なお、本実施形態のロボットシステム及び処理装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサーがプログラムを実行することで、本実施形態のロボットシステム及び処理装置等が実現される。具体的には、非一時的な情報記憶装置に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶装置（コンピューターにより読み取り可能な装置）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサーは、情報記憶装置に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶装置には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。
【０１２８】
また、本実施形態のロボットシステム及び処理装置等は、プロセッサーとメモリーを含んでも良い。ここでのプロセッサーは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサーはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種プロセッサーを用いることが可能である。また、プロセッサーはＡＳＩＣ（Application Specific Integrated Circuit）によるハードウェア回路でもよい。また、メモリーはコンピューターにより読み取り可能な命令を格納するものであり、当該命令がプロセッサーにより実行されることで、本実施形態に係るロボットシステム及び処理装置等の各部が実現されることになる。ここでのメモリーは、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリーであってもよいし、レジスターやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサーのハードウェア回路に対して操作を指示する命令であってもよい。
【０１２９】
以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、ロボットシステム及び処理装置の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１３０】
１００  処理装置、１１０  画像受付部、１３０  処理部、１５０  参照画像記憶部、
２００  撮像部、３００  ロボット、３１０  エンドエフェクター、３２０  アーム、
３３０  端末装置、３５０  ロボット制御部、３８０  ロボット機構、
４００  ネットワーク、５００  サーバー
【図２】
2015160256.tif 000003
【図３】
2015160256.tif 000004
【図８】
2015160256.tif 000005
【図９】
2015160256.tif 000006
【図１０】
2015160256.tif 000007
【図１３】
2015160256.tif 000008
【図１５】
2015160256.tif 000009
【図１６】
2015160256.tif 000010
【図１】
2015160256.tif 000011
【図４】
2015160256.tif 000012
【図５】
2015160256.tif 000013
【図６】
2015160256.tif 000014
【図７】
2015160256.tif 000015
【図１１】
2015160256.tif 000016
【図１２】
2015160256.tif 000017
【図１４】
2015160256.tif 000018