(57)【特許請求の範囲】
【請求項１】
駆動装置によって動かされる動体と、該動体の前記駆動装置に対する駆動指令を制御する動体制御部とを少なくとも含む動体システムにおいて、
前記動体が動く区画を少なくとも含む所定区画を撮像する撮像部と、
該撮像部により撮像された画像を処理する画像処理部と、を具備し、
該画像処理部は、予め教示された停止位置に前記動体を移動させたときに前記撮像部によって撮像された画像としての基準画像から前記動体の特徴部分を切出すことにより作成された画像モデルを含んでおり、
前記画像処理部が前記撮像部により撮像された画像と前記画像モデルとをマッチングすることによって、前記動体が予め教示された停止位置に到達したことが検出された場合には、前記画像処理部は前記動体を停止させる指令を出力することを特徴とする、動体システム。
【請求項２】
前記停止位置が、所定の大きさの空間として教示されており、
前記画像処理部によって、前記動体が前記空間に到達したことが検出された場合には、前記動体が前記停止位置に到達したとみなすようにしたことを特徴とする、請求項１に記載の動体システム。
【請求項３】
前記画像処理部は、停止要求部を含んでおり、該停止要求部の操作によって、前記動体の停止の要求があった場合に限り、前記動体が前記停止位置に到達したとみなすようにした、請求項１または請求項２に記載の動体システム。
【請求項４】
駆動装置によって動かされる動体と、該動体の前記駆動装置に対する駆動指令を制御する動体制御部とを少なくとも含む動体システムにおいて、
前記動体が動く区画を少なくとも含む所定区画を撮像する撮像部と、
該撮像部により撮像された画像を処理する画像処理部とを具備し、
該画像処理部は、予め教示された停止位置に前記動体を移動させたときに前記撮像部によって撮像された画像としての基準画像から前記動体の特徴部分を切出すことにより作成された画像モデルを含んでおり、
前記画像処理部が前記撮像部により撮像された画像と前記画像モデルとをマッチングすることによって、前記動体の位置が所定の空間から外れたことが検出された場合には、前記画像処理部は前記動体を停止させる指令を出力することを特徴とする、動体システム。
【請求項５】
駆動装置によって動かされる動体と、該動体の前記駆動装置に対する駆動指令を制御する動体制御部とを少なくとも含む動体システムにおいて、
前記動体が動く区画を少なくとも含む所定区画を撮像する撮像部と、
該撮像部により撮像された画像を処理する画像処理部とを具備し、
該画像処理部は、予め教示された停止位置に前記動体を移動させたときに前記撮像部によって撮像された画像としての基準画像から前記動体の特徴部分を切出すことにより作成された画像モデルを含んでおり、
前記画像処理部が前記撮像部により撮像された画像と前記画像モデルとをマッチングすることによって、前記動体の位置が所定の直線または曲線を越えたことが検出された場合には、前記画像処理部は前記動体を停止させる指令を出力することを特徴とする、動体システム。
【請求項６】
前記動体がロボットであることを特徴とする請求項１から請求項５のうちいずれか１項に記載されたロボットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視覚センサを用いて人間に対する安全性を高めた動体を含む動体システムおよびロボットシステムに関する。
【背景技術】
【０００２】
特許文献１においては、ロボットが人間の立ち入りが制限されている動作領域で動作している。そして、ロボットが或る工程を実施しているときにおいて人間がその動作領域に来訪したのが検知されたときに、その時点でロボットの動作を停止すると予め定められた不都合な段階での停止になる場合には、ロボットは或る工程の後の別の工程まで行った後で停止される。
【０００３】
また、特許文献２においては、ロボットが動作しているときにメンテナンス要求信号が入力された場合には、メンテナンス要求信号入力時におけるブロック分についてはそのブロックのブロックエンドまで動作してロボットを停止させ、次いで、ロボットをメンテナンスに適した所定姿勢にすることが開示されている。
【０００４】
さらに、特許文献３においては、第一画像記録ユニットおよび第二画像記録ユニットにより記録された画像を少なくとも二つの異なる方法で分析し、いずれか一方の分析で異物を検出した場合にロボットを停止させることが開示されている。
【０００５】
さらに、特許文献４においては、設定した処理レベルに応じた指令をロボット制御装置へ出力する動作指定域を記憶させておき、ロボットの制御装置がロボットアームの関節角度から計算されたロボットの手先位置が該動作指定域に含まれているか、ロボット制御装置が判断し、該ロボットの手先位置が該動作指定域に含まれている場合に、該処理レベルを停止としてロボットを停止させることが開示されている。
【０００６】
さらに、特許文献５に開示されるように、数値制御（ＮＣ）装置付機械では、機械の可動部が可動領域を超えてしまい機械が破損するのを防止するために、機械にリミットスイッチを取り付けている。そして、機械の可動部が可動領域を超えるときにリミットスイッチを押すと、リミットスイッチからＮＣ装置に信号が出力され、ＮＣ装置はこの信号を受けて可動部を停止させていた。特許文献５においては、ＮＣ装置に内蔵される不揮発性メモリにリミット（ストアードストロークリミットという）の位置を記憶させ、可動部の移動に伴い刻々と更新される機械座標値がストアードストロークリミットの座標値を超えたときに、ＮＣ装置が可動部を停止させるリミットスイッチレスが一般的になってきていることが開示されている。ロボットでも同様に、ロボットの可動領域が例えばロボットアームの手先の座標位置によってストアードストロークリミットとして設定され、ロボットアームの手先を移動してその座標位置がストアードストロークリミットを超えるときに、ロボット制御装置がロボットアームを停止させるストアードストロークリミットの機能が一般的である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第５５８２４２２号公報
【特許文献２】特開平５−７７１７９号公報
【特許文献３】特許第４４０５４６８号公報
【特許文献４】特開平３−３７７０１号公報
【特許文献５】特開昭６０−２３０２０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１においては、不都合な段階を予め定義してプログラムする必要がある。従って、特許文献１の技術を既存のロボットシステムに適用する場合には、そのロボットシステムのプログラムを変更したり、制御部の回路を変更する必要がある。このような変更に要するコストや手間は比較的大きい。そして、プログラムや回路の変更には高度の熟練さや慎重さが要求されるので作業者が限定され、ロボットシステムの現場でプログラムなどを自由に変更するのは困難である。また、変更ミスがある場合には、変更後のロボットシステムによって却って人間が危険になる可能性がある。このため、一般に、既存のロボットシステムのプログラムなどの変更は積極的に行われない。
【０００９】
特許文献２においては、メンテナンスに適した所定姿勢の情報とその姿勢までロボットを移動させる情報とを事前に設定する必要がある。また、特許文献２においては、メンテナンス要求信号が入力された後で、ロボットはブロックエンドにて一旦停止する。このため、ブロックエンドの停止位置からメンテナンスに適した所定姿勢まで移動する際に、ロボットが障害物に接触する可能性がある。メンテナンス終了後にブロックエンドの停止位置まで戻るときにも、同様な問題がある。
【００１０】
特許文献３においては、ロボットの停止位置は異物が検出されたときの位置であるので、ロボットの停止位置は設定されない。しかしながら、ロボットの停止位置によっては、ロボットの動作を再開するのが困難な場合がある。
【００１１】
特許文献４においては、ロボット制御装置はロボットに対する停止指令を出力する。さらにロボット制御装置は、ロボットの手先位置の検出と、手先位置が動作指定域に含まれるか否かを判定する。従って、特許文献１の場合と同様に、特許文献４の技術を既存のロボットに適用する場合には、そのロボットのプログラムを変更したり、制御部の回路を変更する必要がある。このような変更に要するコストや手間、プログラムや回路の変更に要求される高度の熟練さや慎重さに関し、特許文献１と同様な問題がある。
【００１２】
さらに、特許文献５におけるロボットへ停止指令は、ロボットの制御装置によるロボット手先位置の検出と可動制限域に含まれるかをロボット制御装置による判断に依存している。従って、例えば、ロボットの可動制限域の設定を誤った場合には、想定していない場所にロボットの先端位置が動く危険性がある。また、ロボットの手先位置の検出と動作制限域に含まれるかの判断する、ロボットの制御装置と独立した装置があれば、ロボットの動きを二重に監視することができるので、更なる安全を図ることができる。
【００１３】
本発明はこのような事情に鑑みてなされたものであり、プログラムなどを変更することなしに既存のシステムに適用できると共に、プログラムを変更することで生じうるミスを要因とする人間への危険を極力排除することのできる動体システムおよびロボットシステムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
前述した目的を達成するために１番目の発明によれば、駆動装置によって動かされる動体と、該動体の前記駆動装置に対する駆動指令を制御する動体制御部とを少なくとも含む動体システムにおいて、前記動体が動く区画を少なくとも含む所定区画を撮像する撮像部と、該撮像部により撮像された画像を処理する画像処理部と、を具備し、該画像処理部によって前記動体が予め教示された停止位置に到達したことが検出された場合には、前記画像処理部は前記動体を停止させる指令を出力することを特徴とする、動体システムが提供される。
２番目の発明によれば、１番目の発明において、前記停止位置が、所定の大きさの空間として教示されており、前記画像処理部によって、前記動体が前記空間に到達したことが検出された場合には、前記動体が前記停止位置に到達したとみなすようにした。
３番目の発明によれば、１番目または２番目の発明において、前記画像処理部は、停止要求部を含んでおり、該停止要求部の操作によって、前記動体の停止の要求があった場合に限り、前記動体が前記停止位置に到達したとみなすようにした。
４番目の発明によれば、駆動装置によって動かされる動体と、該動体の前記駆動装置に対する駆動指令を制御する動体制御部とを少なくとも含む動体システムにおいて、前記動体が動く区画を少なくとも含む所定区画を撮像する撮像部と、該撮像部により撮像された画像を処理する画像処理部とを具備し、前記画像処理部により検出された前記動体の位置が所定の空間から外れた場合には、前記画像処理部は前記動体を停止させる指令を出力することを特徴とする、動体システムが提供される。
５番目の発明によれば、駆動装置によって動かされる動体と、該動体の前記駆動装置に対する駆動指令を制御する動体制御部とを少なくとも含む動体システムにおいて、前記動体が動く区画を少なくとも含む所定区画を撮像する撮像部と、該撮像部により撮像された画像を処理する画像処理部とを具備し、前記画像処理部により検出された動体の位置が所定の直線または曲線を越えた場合には、前記画像処理部は前記動体を停止させる指令を出力することを特徴とする、動体システムが提供される。
６番目の発明によれば、１番目から５番目のいずれかの発明において、動体がロボットであることを特徴とするロボットシステムが提供される。
【発明の効果】
【００１５】
１番目の発明において、動体が停止位置に到達したことを画像処理部が検出すると、動体を停止位置で停止させるようにしている。動体の停止位置は、予め画像処理部に教示データとして教示してあり、画像処理部が教示データによって動体が停止位置に到達したことを検出するため、動体を停止位置で停止させるために動体の動きを制御するプログラムを何ら調整する必要はない。
２番目の発明においては、ロボットの停止位置などを所定の大きさの空間により定義しているので、ロボットの停止位置などに余裕代を与えることができる。
３番目の発明においては、停止要求部の操作で停止の要求された場合に限り、ロボットを停止させることができる。
４番目の発明において、画像処理部が動体の位置を追跡し、所定の空間から外れた場合には、動体を停止させることができる。従って、動体を制御するプログラムのミスで動体が所定の空間から外れても、画像処理部でそれを検知して動体を停止させることができる。このように動体を停止させるために動体を制御するプログラムを何ら調整する必要はない。
５番目の発明において、画像処理部が動体の位置を追跡し、所定の直線や曲線を越えた場合には、動体を停止させることができるので、動体を制御するプログラムのミスで動体が所定の直線や曲線を越えた場合に、画像処理部でそれを検知して動体を停止させることができる。このように動体を停止させるために動体を制御するプログラムを何ら調整する必要はない。
６番目の発明において、前記動体をロボットとしていることから、ロボットにおいても１番目から５番目の発明の効果をもたらすことができる。
【００１６】
添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれら目的、特徴および利点ならびに他の目的、特徴および利点がさらに明解になるであろう。
【図面の簡単な説明】
【００１７】
【図１】本発明に基づくロボットシステムの略図である。
【図２】本発明に基づく基準画像と画像モデルの図である。
【図３】画像処理部の処理を示す第一のフローチャートである。
【図４】画像処理部の処理を示す第二のフローチャートである。
【図５】画像処理部の処理を示す第三のフローチャートである。
【発明を実施するための形態】
【００１８】
以下、添付図面を参照して本発明の実施形態を説明する。以下の図面において同様の部材には同様の参照符号が付けられている。理解を容易にするために、これら図面は縮尺を適宜変更している。
請求項１の動体システムの具体的な例として、ロボットシステムを使って説明する。図１は本発明に基づくロボットシステムの略図である。図１に示されるように、本発明のロボットシステム１は、ロボット１０と、該ロボット１０を制御するロボット制御部２０とを少なくとも含んでいる。さらに、図１においては、ロボット１０およびその周辺を視野に含む視覚センサ１１と、視覚センサ１１により撮像された画像を処理して各種信号を出力する画像処理部２５とが示されている。
【００１９】
ロボット１０は産業用ロボット１０、例えば多関節ロボット１０である。従って、ロボット１０は少なくとも一つの駆動装置、例えばモータによって駆動される。従って、ロボット制御部２０は駆動装置に対する駆動指令を制御する。なお、ロボット１０は動体の一例であり、他の動体を含むシステムであってもよい。視覚センサ１１はロボット１０の近傍に配置されたポスト１４の先端に配置されており、ロボット１０などを上方から撮像する。視覚センサ１１はＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）のエリアセンサデバイスを組み込んだカメラ、およびＬＥＤ投光デバイスを含んでいる。視覚センサ１１は、ＬＥＤ光の反射光が戻ってくる時間を測定して二次元の奥行き画像を撮像する。
【００２０】
さらに、図１を参照すると、安全柵１９がロボット１０の周りに配置されている。安全柵１９は、ロボット１０が動作するロボット動作区画に対し人の立ち入りを制約している。視覚センサ１１の視野で、ロボット動作区画の一部を少なくとも含む所定区画が撮像される。所定区画が安全柵１９以外の手段、例えば床に配置された白線などによって定義されていてもよい。また図１では視覚センサ１１は所定区画を上方から撮像するものとしているが、その他の方向から視覚センサ１１が撮像してもよい。
【００２１】
視覚センサ１１により所定時間毎に撮像された画像はロボット制御部２０の画像処理部２５によって処理される。これにより、所定区画で動作するロボットを後述するように検知する。このような処理を所定時間毎に行うことにより、ロボットを所定区画内で追跡することも可能である。
【００２２】
画像処理部２５に対しては、ロボット１０に関する画像モデルが予め教示されている。画像処理部２５は、視覚センサ１１により撮像された画像とこれら画像モデルとをマッチングすることにより、ロボット１０を特定して検出する。画像モデルは、前処理された基準画像（後述する）から、ロボット１０の特徴部分のみを切出すことにより作成される。
【００２３】
また、図１に示されるように、ロボット制御部２０は停止部２１に接続されている。停止部２１は画像処理部２５の処理結果に応じて、ロボット１０を停止させる指令を出力する。なお、画像処理部２５がロボット１０を停止させる停止指令を出力してもよい。
【００２４】
ロボット１０を停止させる指令は、例えばロボット１０を減速させた後で停止させる指令である。この場合にはロボット１０に負荷がかかるのを避けられる。あるいは、ロボット１０を停止させる指令はロボット１０の動力源を遮断する指令であってもよい。この場合にはロボット１０を確実に停止させられる。また、画像処理部２５は、操作者によって操作される停止要求部２９を含んでいる。停止要求部２９が操作されてロボット１０の停止の要求があった場合に限り、ロボット１０が停止位置に到達したことを検出してもよい。つまり、この場合には、ロボットを停止位置で停止させたいときだけロボットを停止させ、それ以外のときにはロボットが停止位置に到達しても停止させない。
【００２５】
前述したように視覚センサ１１はポスト１４の先端に取付けられている。このため、視覚センサ１１により撮像される画像は、図２に示されるように、安全柵１９内部の所定区画の平面図に相当する。
【００２６】
また、画像処理部２５には基準画像が予め登録されている。基準画像は、画像処理部２５に教示される停止位置にロボット１０を移動させたときに、視覚センサ１１によって撮像された画像である。例えば図２に示される画像においては、ロボット１０が周辺機器４０上で停止している。この場合には、ロボット１０は周辺機器４０上の位置で停止させることができるよう画像処理部２５に基準画像が予め教示されている。本発明では、このような状態で予め撮像された画像が基準画像として使用される。
【００２７】
なお、複数の停止位置が教示されていてもよく、その場合には、各停止位置に対応した複数の基準画像が登録されるものとする。そのような場合であっても、各停止位置にロボット１０を移動させて視覚センサ１１により撮像されるのみで容易にロボットシステム１におけるロボットの停止位置を教示することができる。また、ロボット１０の停止位置は、画像処理部２５に接続された操作盤（図示しない）の表示部に基準画像に基づいて表示されるので、操作者はロボット１０の停止位置などに関する情報を直感的に得ることができる。
【００２８】
また、停止位置は、ロボット１０が所定の動作プログラムに従って動作したときの作業動作の軌道上に設置されるのが好ましい。例えばロボット１０をメンテナンスする場合を考えると、メンテナンスに適した場所はロボットの作業動作の軌道上にあることが多い。従って、作業動作の軌道上に停止位置がある場合には、メンテナンスを容易に行うことができ、メンテナンス終了後のロボットの動作の再開を極めて円滑に行うことができる。
【００２９】
図３は画像処理部の処理を示す第一のフローチャートである。図３によって、停止位置を予め教示することと、該停止位置へロボットが到達したのを検出することについて説明する。ロボットを停止させたい位置へロボットを移動させ、視覚センサで撮像したものを停止位置での基準画像とする。その基準画像からステップＳ５でロボットの特徴となる部分を切り出して画像モデルを作成する。そして、ロボットが該停止位置に到達した時点で撮像した画像（ステップＳ１）と、該画像モデルをモデルマッチングすると照合（ステップＳ２、Ｓ３）することで、画像処理部はロボットが予め教示した停止位置に到達したことを検知する。
【００３０】
図３のステップＳ１、Ｓ２、Ｓ３は所定の制御周期毎に繰返し実施されるものとする。スタップＳ１の視覚センサ１１で撮像された撮像画像は、図３の上記停止位置で撮像された基準画像からステップＳ５で作成されたロボットを検出するための画像モデルと、ステップＳ２においてモデルマッチングされる。そして、ステップＳ３においてモデルマッチングにより照合すれば、ロボットが予め教示した停止位置に到達したことを検知する。照合しなければ、ステップＳ１の撮像からステップＳ２のモデルマッチングおよびステップＳ３の照合の処理を繰返す。
【００３１】
ステップＳ３の照合においてロボット１０が予め教示した停止位置に到達したことを検知すると、ステップＳ４において、停止部２１が、ロボット１０を停止させる指令を出力する。これにより、ロボット１０は停止位置で停止する。
【００３２】
なお、ロボット１０の停止位置は、所定の大きさの空間として教示されていてもよい。そして画像処理部２５により、ロボット１０がこれら空間に到達したことが検出された場合には、ロボット１０が停止位置および通過位置に到達したとみなされる。この場合には、ロボットの停止位置などに余裕代を与えることができる。
【００３３】
図４は画像処理部の処理を示す第二のフローチャートである。図４によって、画像処理部２５により検出されたロボット１０の位置が所定の空間から外れた場合には、ロボット１０を停止させる指令を出力する、ロボットシステムについて説明する。図４に示されるように、ロボット１０を制御周期毎に追跡するため、ロボット１０の特徴マークの画像モデルを作るための基準画像を、該特徴マークが視覚センサ１１の視野に入るようロボット１０を移動させて、視覚センサ１１で撮像する。そして、この基準画像から、ステップＳ１ａで特徴マークの部分を切り出して、特徴マークの画像モデルを作成する。
【００３４】
図４に示されるように、ステップＳ２ａにおいて視覚センサ１１でロボット１０などを制御周期毎に撮像し、ステップＳ３ａにおいて撮像画像と特徴マークの画像モデルとをモデルマッチングする。そして、ロボット１０が視覚センサ１１の視野にある場合には、モデルマッチングにより照合し、照合した位置が特徴マークの視覚センサ１１の視野におけるロボット１０の位置となる。図４に示されるように、視覚センサ１１の視野には予めロボット１１の可動を許す範囲をロボットの特徴マークの可動空間Ａとして教示されている。ロボット１０の移動によって特徴マークが該特徴マークの可動空間Ａ内であるか否かをステップＳ４ａで判断する。ロボット１０の特徴マークが可動空間Ａを外れた場合は、ステップＳ５ａにおいてロボット１０へ停止指令が出力される。尚、視覚センサ１１はＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）のエリアセンサデバイスを組み込んだカメラ、およびＬＥＤ投光デバイスを含んでおり、ＬＥＤ光の反射光が戻ってくる時間を測定して二次元の奥行き画像を撮像するので、撮像画像における二次元的な空間のみならず、奥行きデータを使った三次元的空間を設定することもできる。言い換えれば、図４に示される実施形態においては、ロボット１０の位置が所定の三次元的空間である空間Ａを外れた場合に停止指令が出力される。
【００３５】
図５は画像処理部の処理を示す第三のフローチャートである。図５では、画像処理部２５により検出されたロボット１０の位置が所定の直線または曲線を越えた場合には、ロボット１０を停止させる指令を出力する、ロボットシステムについて説明する。ステップＳ１ａ、Ｓ２ａ、Ｓ３ａ、Ｓ５ａについては、図４と同じであるため説明を省略する。図５に示されるように、視覚センサ１１の視野には予めロボットの可動を許す範囲をロボットの特徴マークの可動範囲として教示されている。図４の可動範囲が閉空間Ａであるのに対し、図５では視覚センサの視野を直線Ｂまたは曲線で区切り、その区切られた一方の空間を可動空間としている。ロボットの移動によって特徴マークが該特徴マークの可動空間内であるか否かをステップＳ４ａで判断する。次いで、ロボット１０の特徴マークが可動空間を外れた場合は、ステップＳ５ａにおいてロボット１０に停止指令が出力される。直線Ｂまたは曲線が視野を完全に区切らず、視野に部分的に配置された場合であっても、ロボットがその部分的な直線や曲線を乗り越える場合にロボット１０に停止指令が出力されるようにしてもよい。また、上記の可動空間を奥行きデータを使った三次元的に設定できることも、図４の場合と同じである。言い換えれば、図５に示される実施形態においては、ロボット１０の位置が所定の直線Ｂまたは曲線を越えた場合に停止指令が出力される。
【００３６】
このように本発明においては、ロボット１０が停止位置に到達したこと等を画像処理部２５が検出すると、動体を停止位置で停止させるように停止指令が出力される。このため、本発明ではプログラムを変更する必要はない。このため、プログラムを変更することで生じうるミスを要因とする人間への危険を極力排除することが可能となる。従って、人間の安全を確保できるのが分かるであろう。
【００３７】
典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、前述した変更および種々の他の変更、省略、追加を行うことができるのを理解できるであろう。
【符号の説明】
【００３８】
１    ロボットシステム（動体システム）
１０    ロボット（動体）
１１    視覚センサ（撮像部）
１４    ポスト
１９    安全柵
２０    ロボット制御部（動体制御部）
２１    停止部
２５    画像処理部
２９    停止要求部
【図１】
0006572092.tif 000002
【図２】
0006572092.tif 000003
【図３】
0006572092.tif 000004
【図４】
0006572092.tif 000005
【図５】
0006572092.tif 000006