(57)【特許請求の範囲】
【請求項１】
ロボットの作業領域の少なくとも一部と作業者又は他のロボットが侵入し得る領域の少なくとも一部とが含まれる距離画像情報を時間的に連続して得る距離画像情報取得手段と、
前記連続した距離画像情報中にあらわれる画像と照合され、該照合により前記連続した距離画像情報中において前記作業者又は前記他のロボットを認識するための基準画像情報を少なくとも１つ格納している基準画像情報格納部と、
前記基準画像情報を参照し、前記連続した距離画像情報中において前記作業者又は前記他のロボットを安全監視対象として認識する認識手段と、
前記連続した距離画像情報中において、前記ロボットがアクセス可能であり、且つ、前記安全監視対象として認識された作業者又は前記安全監視対象として認識された他のロボットもアクセス可能である共通作業領域を設定する領域設定手段と、
前記連続した距離画像情報中において、前記安全監視対象として認識された作業者又は前記安全監視対象として認識された他のロボットが前記共通作業領域にアクセスするために越えることができるが前記ロボットおよび安全監視対象として認識されていない非対象物体は越えてはならない第１の境界を設定すると共に、前記ロボットが前記共通作業領域にアクセスするために越えることができるが前記作業者又は前記他のロボットは越えてはならない第２の境界を設定する境界設定手段と、
前記連続した距離画像情報中において、前記安全監視対象が前記第２の境界に侵入したこと、および、前記安全監視対象として認識されていない非対象物体が前記第１の境界に侵入したことを検出する越境検出手段とを備えるロボットシステム。
【請求項２】
前記越境検出手段により前記安全監視対象又は前記非対象物体の侵入が検出されると前記ロボットを停止させるロボット停止手段をさらに備えている請求項１に記載のロボットシステム。
【請求項３】
前記認識手段が、前記連続した距離画像情報中において前記作業者又は前記他のロボットと一体であり、且つ、前記作業者又は前記他のロボットと共に移動する物体も前記安全監視対象として認識するように構成されている請求項１又は請求項２に記載のロボットシステム。
【請求項４】
前記基準画像情報が、前記連続した距離画像情報中にあらわれる前記作業者又は前記他のロボットに付けられたマークと照合され、該照合により前記連続した距離画像情報中において前記マークに対応する画像と一体である物体を前記安全監視対象として認識するためのものである請求項２に記載のロボットシステム。
【請求項５】
前記ロボット停止手段が、前記連続した距離画像情報中において前記マークに対応する画像が所定の基準を超えて変化した際に前記ロボットを停止させるように構成されている請求項４に記載のロボットシステム。
【請求項６】
前記連続した距離画像情報中において前記安全監視対象が前記認識手段によって認識されていることを表示する表示装置をさらに備える請求項１から請求項５の何れかに記載のロボットシステム。
【請求項７】
前記基準画像情報が、前記作業者の身長および体格に関する情報を含んでいる請求項１から請求項６の何れかに記載のロボットシステム。
【請求項８】
前記基準画像情報格納部が、前記連続した距離画像情報中において前記ロボットに付けられたロボット用マークと照合され、該照合により前記連続した距離画像情報中において前記ロボットを認識するためのロボット基準画像情報を格納しており、
前記認識手段が、前記ロボット基準画像情報を参照し、前記連続した距離画像情報中において前記ロボットを安全監視対象ロボットとして認識するように構成され、
前記越境検出手段が、前記連続した距離画像情報中において、前記安全監視対象ロボット以外の物体が前記第２の境界に侵入したことを検出するように構成されている請求項１から請求項７の何れかに記載のロボットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はワークの搬送、ワークに対する加工等を行うロボットを有するロボットシステムに関し、より具体的には、作業中の安全監視機能を有するロボットシステムに関する。
【背景技術】
【０００２】
従来のロボットシステムでは、作業者が侵入し得る領域である作業者側エリアと、ロボットが作業を行うロボット側エリアとが、安全柵によって物理的に分離されていた。しかし、ワークの供給、治具や型の交換等のために作業者がロボット側エリアに入らなければならない場合もある。安全柵を用いた領域の物理的な分離は容易で安全性も高いが、作業者がロボット側エリアに入るためには安全柵の扉の鍵を開ける必要があり、生産性の向上を図る上では好ましくない。
【０００３】
近年では、生産性を向上させるために、ロボット側エリアと作業者側エリアとの間に配置されたライトカーテンと、ライトカーテンの作動と非作動とを切換えるマットスイッチとを備え、マットスイッチ上に作業者の体重が加わっていない場合はライトカーテンが非作動状態となって、ロボットアームが作業者側エリアまで移動可能な状態となり、マットスイッチ上に作業者の体重が加わるとライトカーテンが作動状態となり、ライトカーテンの検知範囲に作業者やロボットアームが侵入するとロボットを停止させるロボットシステムが知られている（例えば、特許文献１参照。）。
【０００４】
また、ロボットと作業者とが画角内に入るように撮像装置で撮像を行うと共に、撮像装置から撮像対象までの距離の情報を得て、ロボットと作業者との距離を常に監視するロボットシステムが知られている（例えば、特許文献２参照。）。
さらに、ロボット側エリアの手前に設けられた複数の床面反射マーカと、作業者に取付けられた作業者反射マーカと、ロボット側エリアおよび床面反射マーカに向かって光を照射するＬＥＤ光源と、各反射マーカからの反射光を受光する受光素子とを備えたロボットシステムが知られている（例えば、特許文献３参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２８３４５０号公報
【特許文献２】特開２０１２−２２３８３１号公報
【特許文献３】特開２０１０−２３１７１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述のようにマットスイッチでライトカーテンを作動させる構成を採用すると、例えばマットスイッチによりライトカーテンが作動する仕組みを忘れて、若しくは知らずに、作業者が作業台に乗って作業を行うと、ライトカーテンが非作動状態となり、作業者の安全を守ることができなくなる。
【０００７】
また、ロボットと作業者との距離を撮像装置により得られる画像に基づき常に監視する構成を採用する場合、作業者が画像上で確実に認識される必要があるが、作業者が撮像装置の死角に入る場合があり、また、撮像装置の精度や作業者が装着している服や帽子の色や状態により撮像装置による作業者の認識精度が落ちる可能性もあるので、作業者が安心して作業を行える状態とは言えない場合がある。
また、床面反射マーカおよび作業者に付けた作業者反射マーカからの反射光を受光部で検出する方式を採用する場合、例えば特殊なパターンでＬＥＤを発光させる必要があるため、装置の構成が複雑になり現実的な方法とは言えない。
【０００８】
本発明は、このような事情に鑑みてなされたものであって、安全監視の信頼性を向上することができるロボットシステムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明の一態様のロボットシステムは、ロボットの作業領域の少なくとも一部と作業者又は他のロボットが侵入し得る領域の少なくとも一部とが含まれる距離画像情報を時間的に連続して得る距離画像情報取得手段と、前記連続した距離画像情報中にあらわれる画像と照合され、該照合により前記連続した距離画像情報中において前記作業者又は前記他のロボットを認識するための基準画像情報を少なくとも１つ格納している基準画像情報格納部と、前記基準画像情報を参照し、前記連続した距離画像情報中において前記作業者又は前記他のロボットを安全監視対象として認識する認識手段と、前記連続した距離画像情報中において、前記ロボットがアクセス可能であり、且つ、前記安全監視対象として認識された作業者又は前記安全監視対象として認識された他のロボットもアクセス可能である共通作業領域を設定する領域設定手段と、前記連続した距離画像情報中において、前記安全監視対象として認識された作業者又は前記安全監視対象として認識された他のロボットが前記共通作業領域にアクセスするために越えることができるが前記ロボットおよび安全監視対象として認識されていない非対象物体は越えてはならない第１の境界を設定すると共に、前記ロボットが前記共通作業領域にアクセスするために越えることができるが前記作業者又は前記他のロボットは越えてはならない第２の境界を設定する境界設定手段と、前記連続した距離画像情報中において、前記安全監視対象が第２の境界に侵入したこと、および、前記安全監視対象として認識されていない非対象物体が前記第１の境界に侵入したことを検出する越境検出手段とを備えている。
【００１０】
当該態様では、時間的に連続して得られる距離画像情報中において作業者又は他のロボットが安全監視対象として認識されるので、作業者又は他のロボットが連続した距離画像情報中で追跡されることになる。このため、連続した距離画像情報中で作業者又は他のロボットを見失わずに監視することができる。これにより、作業者又は他のロボットが第２の境界に侵入したことを確実に検出し、例えば検出後にロボットを停止させること、又は、ロボットに危険回避動作を行わせることにより、作業者又は他のロボットがロボットと接触することが回避される。
【００１１】
また、連続した距離画像情報中において、作業者又は他のロボット側から共通作業領域にアクセスするために越える第１の境界と、共通作業領域におけるロボット側に存在する第２の境界とが設定され、安全監視対象と認識されると第１の境界を越えて共通作業領域にアクセスできるが、安全監視対象として認識されていない非対象物体は共通作業領域にアクセスするために越える第１の境界への侵入が検出される。このため、例えば作業者ではなく安全作業の知識が十分でない者が共通作業領域に向かって移動した時、第１の境界に侵入した時点でその移動が検出されるので、例えばロボットを停止させること、又は、ロボットに危険回避動作を行わせることにより、安全作業の知識が十分でないものがロボットと接触することが回避される。
【００１２】
前記態様において、前記越境検出手段により前記安全監視対象又は前記非対象物体の侵入が検出されると前記ロボットを停止させるロボット停止手段をさらに備えていることが好ましい。
このように構成すると、前記ロボットの動作異常や前記治具やワークの意図しない移動がある場合に、ロボットを停止させるので、作業者の安全の確保やロボットの故障防止を図る上で有利である。
【００１３】
前記態様において、前記認識手段が、前記連続した距離画像情報中において前記作業者又は前記他のロボットと一体であり、且つ、前記作業者又は前記他のロボットと共に移動する物体も前記安全監視対象として認識するように構成されていることが好ましい。
このように構成すると、作業者や他のロボットだけではなく、作業者や他のロボットにより運搬される物品も安全監視対象となるので、当該物品とロボットとの接触等を防止することが可能になり、作業者の安全の確保やロボットの故障防止を図る上で極めて有利である。
【００１４】
前記態様において、前記基準画像情報は、好ましくは、前記連続した距離画像情報中にあらわれる前記作業者又は前記他のロボットに付けられたマークと照合され、該照合により前記連続した距離画像情報中において前記マークに対応する画像と一体である物体を前記安全監視対象として認識するためのものである。
このように構成すると、作業者の体格や他のロボットの種類によらず、マークの照合により安全監視対象を認識することができるので、作業者にとって安全な環境の提供や、ロボットと他のロボットとの接触の防止を、簡単且つ確実に提供することが可能となる。
【００１５】
前記態様において、前記ロボット停止手段が、前記連続した距離画像情報中において前記マークに対応する画像が所定の基準を超えて変化した際に前記ロボット停止させるように構成されていることが好ましい。
例えば、作業者のヘルメットにマークが付けられており、作業者が通常の作業では行かない位置に移動して距離画像を撮像する装置とヘルメットとの間に障害物が配置される場合や、作業者が通常の作業ではとらない姿勢になる場合に、距離画像を撮像する装置から見てマークの形状が変化する。このような場合にロボットを停止させるので、作業者の安全の確保を図る上で極めて有利である。
【００１６】
前記態様において、前記連続した距離画像情報中において前記安全監視対象が認識手段によって認識されていることを表示する表示装置をさらに備えていることが好ましい。
表示装置を見ることで、作業者は安全監視対象として認識されているか否かが分かるので、安全監視対象として認識されていないのに共通作業領域で作業を行ってしまうことや、安全監視対象として認識されているか否かがわからずに待機する待機時間が生ずることが防止される。
【００１７】
前記態様において、前記基準画像情報が、前記作業者の身長および体格に関する情報を含んでいることが好ましい。
このように構成すると、例えばマークを付けたヘルメットを装着しているが、許可されていない者が共通作業領域で作業を行うことが防止されるので、安全性を向上する上で極めて有利である。
【００１８】
前記態様において、前記基準画像情報格納部が、前記連続した距離画像情報中において前記ロボットに付けられたロボット用マークと照合され、該照合により前記連続した距離画像情報中において前記ロボットを認識するためのロボット基準画像情報を格納しており、前記認識手段が、前記ロボット基準画像情報を参照し、前記連続した距離画像情報中において前記ロボットを安全監視対象ロボットとして認識するように構成され、前記越境検出手段が、前記連続した距離画像情報中において、前記安全監視対象ロボット以外の物体が前記第２の境界に侵入したことを検出するように構成されていることが好ましい。
【００１９】
このように構成すると、ロボットの位置も追跡することができるようになる。このため、共通作業領域において作業者が越えることは許されるがロボットが越えることは許されていない第１の境界をロボットが越える場合や、ロボットが通常とは異なる動きを取った時等に、これら事象をすぐに知ることができ、安全性を向上する上で有利である。
【発明の効果】
【００２０】
本発明のロボットシステムは安全監視の信頼性を向上することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１の実施形態に係るロボットシステムの概略平面図である。
【図２】第１の実施形態のロボットシステムの概略正面図である。
【図３】第１の実施形態のロボットシステムの安全監視制御部の動作の一例を示すフローチャートである。
【図４】第１の実施形態のロボットシステムの距離画像の一部を示す図である。
【図５】第１の実施形態のロボットシステムの距離画像の一部を示す図である。
【図６】第１の実施形態のロボットシステムの距離画像の一部を示す図である。
【図７】本発明の第２の実施形態に係るロボットシステムの概略平面図である。
【図８】第２の実施形態のロボットシステムの概略正面図である。
【発明を実施するための形態】
【００２２】
本発明の第１の実施形態に係るロボットシステムを、図面を参照しながら以下に説明する。
このロボットシステムは、図１および図２に示すように、所定の作業を行うロボット１０と、ロボット１０が作業を行う作業台２０と、ロボット１０および作業台２０を囲う安全柵３０とを備えている。このロボットシステムでは、作業者Ｓが作業台２０上の治具、型、ワーク等の交換や調整を行う際に、作業者Ｓが作業台２０の上方に手や頭を配置する場合がある。作業台２０から見てロボット１０と反対側に位置する部分において、安全柵３０における一部分に作業者Ｓが作業台２０にアクセスするための開口部３１が設けられている。
【００２３】
このロボットシステムは、作業台２０の上方に設けられ、ロボット１０の作業領域の少なくとも一部と作業者Ｓが侵入し得る領域の少なくとも一部とが写されるように図１および図２に二点鎖線で示されている視野で距離画像を時間的に連続して撮像する距離画像センサ４０と、安全柵３０により支持された表示装置５０とをさらに備えている。表示装置５０は液晶画面を有し、表示装置５０は開口部３１の近くの作業者Ｓから見える位置に配置されている。ここで、距離画像を所定時間おきに撮像する場合でも、時間的に連続した撮像であり、距離画像を時間間隔を空けずに連続して撮像する場合でも、時間的に連続した撮像である。
【００２４】
ロボット１０は、例えば、床面に固定されたベース１１と、上下方向に延びる軸線周りにベース１１に支持された基部１２と、基部１２に略水平方向の軸線周りに回転可能に支持された基端側アーム１３と、基端側アーム１３の先端に略水平方向の軸線周りに回転可能に支持された先端側アーム１４と、先端側アーム１４の先端部に略水平方向の軸線周りに回転可能に支持された先端部１５とを有し、先端部１５が作業台２０上のワークの移動、ワークへの加工等を行うように構成されている。
【００２５】
ロボット１０には、基部１２の回転用のサーボモータと、基端側アーム１３の回転用のサーボモータと、先端側アーム１４の回転用のサーボモータと、先端部１５の回転用のサーボモータとが設けられ、各サーボモータがロボット制御部１６に接続され、ロボット制御部１６により制御される。
【００２６】
距離画像センサ４０としては、例えばステレオカメラ、ＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）方式の距離画像センサ等を用いることができる。距離画像センサ４０は、撮像された画像の各々の画素について、撮像された物体と距離画像センサ４０との距離に関する情報を得ることができるものである。
【００２７】
このロボットシステムは、距離画像センサ４０で撮像された距離画像を前記距離に関する情報を含む状態で受信し、受取った距離画像に基づき様々な判断を行う安全監視制御部６０を備えている。安全監視制御部６０はロボット制御部１６および表示装置５０にも接続され、判断結果に応じてロボット制御部１６および表示装置５０を制御する。
【００２８】
安全監視制御部６０は、画像処理部６１と、メモリ装置６２とを有する。安全監視制御部６０はメモリ装置６２に格納された画像処理プログラムに基づき距離画像センサ４０から受け取る各々の距離画像に２値化処理等の周知の画像処理を施し、各処理後画像を対応する距離画像と共にメモリ装置６２に記憶する。メモリ装置６２は一時メモリを有するものであってもよい。これにより、処理後画像、距離画像、および距離に関する情報が時系列でメモリ装置６２に記憶される。本実施形態では、処理後画像と、距離画像と、距離に関する情報との組合せが距離画像情報として取扱われるが、処理後画像と、距離に関する情報との組合せが距離画像情報として取扱われてもよく、距離画像と距離に関する情報との組合せが距離画像情報として取扱われてもよく、その他の同様の情報を距離画像情報として取扱ってもよい。
【００２９】
また、安全監視制御部６０は、画像処理プログラムによって動作し、前記距離画像情報における距離に関する情報を用いることにより、各距離画像において各々の画素の高さ方向の位置座標を判断又は推定し、各々の画素の高さ方向の位置座標も距離画像情報の一部としてメモリ装置６２に記憶する。
安全監視制御部６０は、メモリ装置６２に格納された安全監視プログラムに基づき動作し、距離画像情報を用いて安全監視を行う。この場合の安全監視制御部６０の動作を図３のフローチャートを参照しながら説明する。
【００３０】
安全監視制御部６０は、例えば図示しない入力部に作業者Ｓが監視開始の指令を入力し、当該指令信号を受付けると（ステップＳ１）、時系列で、連続した距離画像情報において図１および図２に示す作業者認識領域Ａ１および共通作業領域Ａ２を設定する処理を開始する（ステップＳ２）。例えば、各距離画像情報における距離画像や処理後画像に対して作業者認識領域Ａ１および共通作業領域Ａ２を設定する。作業者認識領域Ａ１は図１および図２において一点鎖線で囲われた領域であり、共通作業領域Ａ２は図１および図２において斜線で示された領域である。共通作業領域Ａ２は作業者Ｓがアクセス可能であると共にロボット１０もアクセス可能な領域である。
【００３１】
また、安全監視制御部６０は、時系列で、連続した距離画像情報において図１および図２に示す作業者側境界Ｂ１およびロボット側境界Ｂ２を設定する処理を開始する（ステップＳ３）。例えば、各距離画像情報における距離画像や処理後画像に対して図１および図２に示す作業者側境界Ｂ１およびロボット側境界Ｂ２を設定する。作業者側境界Ｂ１は作業者Ｓが共通作業領域Ａ２にアクセスする際に越える境界面であり、ロボット側境界Ｂ２はロボット１０が共通作業領域Ａ２にアクセスする際に越える境界面である。
【００３２】
また、安全監視制御部６０は、ロボット１０が共通作業領域Ａ２内に入っているか否かを判断し（ステップＳ４）、ロボット１０が共通作業領域Ａ２内に入っている場合にはステップＳ４以下を行わず後述のステップＳ１３を実行し、ステップＳ４に戻る。また、ロボット１０が共通作業領域Ａ２内に入っている間表示装置５０はロボット１０が所定のエリアに存在していることを示す（ステップＳ１４）。
【００３３】
このため、作業者Ｓは共通作業領域Ａ２の作業がまだできないことを知ることができる。ステップＳ１３において安全監視制御部６０は、安全監視対象と認識されていない非対象物体もしくはロボット１０が作業者側境界Ｂ１に侵入したか否かを判断する（ステップＳ１３）。ステップＳ１３で侵入があったと判断されるとロボット制御部１６にロボット１０を停止するための停止指令を送信する（ステップＳ１２）。
ロボット１０が共通作業領域Ａ２内に入っていない場合、ロボット１０は作業エリア内に存在していないことを表示装置５０が示す（ステップＳ１５）。このため、作業者Ｓは共通作業領域Ａ２にロボットが存在していないことを認識できる。
【００３４】
続いて、安全監視制御部６０は、連続した距離画像情報を時系列に参照し、その中の処理後画像における作業者認識領域Ａ１内に例えば図１に示すようなマークＭが存在しているか否かを判断する（ステップＳ５）。マークＭが存在しない場合にはステップＳ４におけるロボット１０が共通作業領域Ａ２内に入っている場合と同様にステップＳ１３が行われ、ステップＳ４に戻る。
本実施形態では、マークＭは作業者Ｓのヘルメットや帽子の上面に付けられた３つの黒い正方形着色部から成る。３つの正方形着色部は作業者Ｓの幅方向（左右方向）に並ぶように配置され、中央の正方形着色部は他の２つに対して作業者Ｓの前方に配置されている。このため、マークＭを見ると、作業者Ｓがどちらの方向を向いているかを判断又は推定することができる。
【００３５】
なお、メモリ装置６２は基準画像情報として前記マークＭの基準画像を格納しており、安全監視制御部６０が安全監視プログラムにより距離画像情報中のマークＭの画像と基準画像情報中のマークＭの基準画像とを照合し、ステップＳ５におけるマークＭの存在有無の判断を公知の相関マッチングやエッジマッチング等の画像マッチングを用いて行う。具体的には、両者が基準の閾値以上の類似度で適合している場合にステップＳ５でマークＭが存在すると判断される。
なお、基準画像情報はマークＭ以外の複数の基準画像を含んでいてもよく、この場合、安全監視制御部６０は距離画像情報中の画像と複数の基準画像とを照合する。マークＭとしては、二次元コードや特徴的な図形を用いることが可能である。
【００３６】
なお、正方形着色部は距離画像情報中において高さ情報を表現できない、反射率の低い材質、または反射率の高い材質などで構成されていればよい。また、本実施形態では、マークＭが作業者認識領域Ａ１内に完全に入っている場合にマークＭが存在していると判断するが、マークＭの一部が作業者認識領域Ａ１内に入っている場合にマークＭが存在していると判断してもよい。
また、ステップＳ５において、作業者認識領域Ａ１を特に設けずに、処理後画像中にマークＭが存在しているか否かを判断してもよい。
【００３７】
ステップＳ５で作業者認識領域Ａ１内にマークＭが存在していると判断されると、表示装置５０に作業者Ｓが所定のエリアに存在することをあらわす表示を行わせる（ステップＳ６）。また、安全監視制御部６０は、各処理後画像にそれぞれ対応する連続した距離画像において、マークＭと一体となって写っており、且つ、マークＭの移動に伴って移動する物体（作業者等）を安全監視対象として認識する（ステップＳ７）。
【００３８】
例えば、図４の上図のような距離画像の場合はその下図の斜線の範囲が安全監視対象として認識される。また、作業者Ｓが台車と共に移動しており、作業者Ｓが台車に触れている図５の上図のような距離画像の場合はその下図の斜線の範囲が安全監視対象として認識される。また、作業者Ｓが台車と離れている図６の上図のような距離画像の場合はその下図の斜線の範囲が安全監視対象として認識される。図６の場合、台車は安全監視対象ではない非対象物体となる。
【００３９】
なお、メモリ装置６２に格納されている基準画像情報が、作業者Ｓを上から見た場合の形状をあらわす基準画像を有するものであってもよい。この場合、ステップＳ５および／又はＳ７において、安全監視制御部６０が距離画像情報中の画像と基準画像とを照合し、基準画像に基準の閾値以上の類似度で適合する画像が距離画像情報中にある場合に、当該画像に対応する物体を安全監視対象として認識するように構成できる。
【００４０】
続いて、安全監視制御部６０は、連続した距離画像情報を時系列に参照し、安全監視対象が作業者認識領域Ａ１内や距離画像内に存在し続けているか否かを判断し（ステップＳ８）、存在しなくなった時には、作業者Ｓが所定のエリアに存在していないことを表示するように表示装置５０を制御する（ステップＳ９）。
【００４１】
続いて、安全監視制御部６０は、安全監視対象として認識されていない非対象物体が作業者側境界Ｂ１に侵入したか否かを判断する（ステップＳ１０）。例えば、ヘルメットにマークＭを付けていない者、即ち、作業者Ｓではない可能性が高い者や、安全作業の知識が十分でない作業者Ｓが当該エリアに侵入した際には、安全監視対象ではなく非対称物体として認識され、作業者側境界Ｂ１に侵入したか否かが判断される。
また、安全監視制御部６０は、連続した距離画像情報を時系列に参照し、安全監視対象がロボット側境界Ｂ２に侵入したか否か、又は、安全監視対象として認識されていない非対象物体がロボット側境界Ｂ２に侵入したか否かを判断する（ステップＳ１１）。
【００４２】
ステップＳ１０又はステップＳ１１で侵入があったと判断されると、ロボット制御部１６にロボット１０を停止するための停止指令を送信する（ステップＳ１２）。
ステップＳ１０およびステップＳ１１では、安全監視対象が距離画像情報における距離画像上で作業者側境界Ｂ１やロボット側境界Ｂ２に一部でも重なれば侵入したと判断するが、安全監視対象が距離画像情報における距離画像上で作業者側境界Ｂ１やロボット側境界Ｂ２を越えた時に侵入したと判断することもできる。
【００４３】
本実施形態によれば、時間的に連続して得られる距離画像情報中において作業者Ｓが安全監視対象として認識されるので、作業者Ｓが連続した距離画像情報中で追跡されることになる。このため、連続した距離画像情報中で作業者Ｓを見失わずに監視することができる。これにより、作業者Ｓが侵入することが許容されていない境界（ロボット側境界Ｂ２）に侵入したことを確実に検出することができる。本実施形態では、侵入の検出後にロボット１０を停止させているが、ロボット１０に危険回避動作を行わせることも可能である。
【００４４】
連続した距離画像情報中において、作業者Ｓ側から共通作業領域Ａ２にアクセスするために越える作業者側境界Ｂ１（第１の境界）と、共通作業領域Ａ２におけるロボット１０側に存在するロボット側境界Ｂ２（第２の境界）とが設定され、安全監視対象と認識されると作業者側境界Ｂ１を越えて共通作業領域Ａ２にアクセスできるが、安全監視対象として認識されていない非対象物体は共通作業領域Ａ２にアクセスするために越える作業者側境界Ｂ１への侵入が検出される。このため、例えば作業者Ｓではなく安全作業の知識が十分でない者が共通作業領域Ａ２に向かって移動した時、作業者側境界Ｂ１に侵入した時点でその移動が検出されるので、例えばロボット１０を停止させること、又は、ロボット１０に危険回避動作を行わせることにより、安全作業の知識が十分でないものがロボット１０と接触することが回避される。
【００４５】
また、ロボット１０は非対象物体であるから、ロボット１０が共通作業領域Ａ２を通過して作業者側境界Ｂ１を越える等の異常が生じた場合に、当該異常を検出することができる。又は、共通作業領域Ａ２内の治具やワーク等が作業者Ｓ側に意図せず移動する等の異常や、作業者Ｓが持っている治具やワークが作業者Ｓの手から離れて共通作業領域Ａ２内に入る等の異常がある場合に、これらの異常を検出することができる。
【００４６】
なお、連続した距離画像情報中で作業者Ｓを追跡する際に、１フレーム前でマークＭが認識された近傍においてマークＭの照合を試みる構成とすることにより、処理時間を短縮すると共に、誤検出の可能性を低減することが可能となる。
また、安全監視対象として認識される作業者Ｓは複数であっても良い。この場合は、複数の作業者Ｓの各々について前述と同様の処理が行われる。つまり、全ての作業者Ｓが認識されなくなるまで前述の安全監視の処理が行われる。
【００４７】
本実施形態では、侵入検出がされるとロボット１０を停止させるので、作業者Ｓの安全の確保やロボット１０の故障防止を図る上で有利である。
また、作業者Ｓだけではなく、作業者Ｓにより運搬される物品も安全監視対象となるので、当該物品とロボット１０との接触等を防止することが可能になり、作業者Ｓの安全の確保やロボット１０の故障防止を図る上で極めて有利である。
また、進入検出がされた場合でもロボット１０を共通作業領域Ａ２の外で作業を継続するようにしても良い。この場合、ロボット１０の稼働率を下げることなく、作業者Ｓの安全が確保される。
【００４８】
また、本実施形態では、メモリ装置６２に格納されている基準画像情報は、連続した距離画像情報中にあらわれる作業者Ｓに付けられたマークＭの画像と照合され、該照合により連続した距離画像情報中においてマークＭの画像と一体である物体を安全監視対象として認識するためのものである。このため、作業者Ｓの体格によらず、マークＭの照合により安全監視対象を認識することができるので、作業者Ｓにとって安全な環境を簡単且つ確実に提供することが可能となる。
【００４９】
なお、ステップＳ１０やステップＳ１１の侵入判断に加えて、安全監視制御部６０が、連続した距離画像情報中においてマークＭに対応する画像が所定の基準を超えて変化したことも判断するように構成しても良い。例えば、ステップＳ１０やステップＳ１１と同時に、連続する距離画像情報中において、マークＭの基準画像情報に対して基準の閾値以上の類似度で適合する画像が無くなった場合に、マークＭに対応する画像が所定の基準を超えて変化したと判断することができる。
【００５０】
具体的には、作業者ＳのヘルメットにマークＭが付けられており、作業者Ｓが通常の作業では行かない位置に移動して距離画像センサ４０とヘルメットとの間に障害物が配置される場合や、作業者Ｓが通常の作業ではとらない姿勢になる場合に、距離画像センサ４０から見てマークＭの形状が変化する。このような場合にロボット１０を停止させるので、作業者Ｓの安全の確保を図る上で極めて有利である。
なお、マークＭをヘルメットの複数個所および作業者Ｓの肩部に設けることも可能である。これにより、作業者Ｓが通常考えられる範囲で頭を傾けただけでは、ヘルメットの他の部分のマークＭや肩部のマークＭの画像が基準画像情報に適合すると判断される。
【００５１】
また、本実施形態では、表示装置５０を見ることで、作業者Ｓは安全監視対象として認識されているか否かが分かるので、安全監視対象として認識されていないのに共通作業領域Ａ２で作業を行ってしまうことや、安全監視対象として認識されているか否かがわからずに待機する待機時間の発生が防止される。
【００５２】
なお、メモリ装置６２の基準画像情報が、作業者Ｓの身長および体格に関する情報を含んでいることが好ましい。距離画像情報は、距離画像中の作業者Ｓの頭部や肩部の高さ情報を有するので、基準画像情報に作業を許可された作業者Ｓの頭部や肩部の高さ情報を含ませることにより、ヘルメットにマークＭを付けた者が作業を許可された者であるか否かを判断することが可能となる。
【００５３】
この場合、ヘルメットにマークＭを付けているが作業を許可された者ではないと判断された時に、安全監視制御部６０が安全監視プログラムに基づき、その者が非対象物体であると判断し、作業者側境界Ｂ１に侵入した際にロボット１０を停止させることになる。
なお、マークＭを付けていない者が作業者側境界Ｂ１に侵入した際にも、その者は安全監視制御部６０により非対象物体として認識され、その者が作業者側境界Ｂ１に侵入した際に安全監視制御部６０はロボット１０を停止させる。
【００５４】
また、ロボット１０にもロボット用マークを付け、メモリ装置６２が、連続した距離画像情報中においてロボット１０に付けられたロボット用マークと照合され、該照合により連続した距離画像情報中においてロボット１０を認識するためのロボット基準画像情報を格納していてもよい。この場合、安全監視制御部６０が、作業者Ｓと同様にロボット１０も安全監視対象ロボットとして認識し、また、連続する距離画像情報中において安全監視対象ロボット以外の物体がロボット側境界Ｂ２に侵入したことを検出するように構成できる。
【００５５】
これにより、ロボット１０の位置も追跡することができるようになり、共通作業領域Ａ２において作業者Ｓが越えることは許されるがロボット１０が越えることは許されていない作業者側境界Ｂ１を越える場合や、ロボット１０が通常とは異なる動きを行った場合等に、これら事象をすぐに知ることができ、安全性を向上する上で有利である。
【００５６】
本実施形態では、距離画像情報中において作業者認識領域Ａ１、共通作業領域Ａ２、作業者側境界Ｂ１、およびロボット側境界Ｂ２を設定した。これに対し、床面にテープ等で作業者認識領域Ａ１、共通作業領域Ａ２、作業者側境界Ｂ１、およびロボット側境界Ｂ２を設けておき、距離画像中に写るこれら領域および境界を作業者認識領域Ａ１、共通作業領域Ａ２、作業者側境界Ｂ１、およびロボット側境界Ｂ２として用いることも可能である。この場合、距離画像中で物体が作業者側境界Ｂ１やロボット側境界Ｂ２に重なった時に、これら境界に物体が侵入したと判断される。
【００５７】
また、作業者Ｓを認識するために他の方法を用いることも可能である。例えば、距離画像センサ４０により撮像された作業者Ｓと推測される物体において、最も高い部分（頭の頂点）の第１の高さ位置と、第１の高さ位置から下方に所定距離だけ移動した第２の高さ位置（肩よりは上方の位置）との間に存在する当該物体の画像が円形に近いか否かを判断する。円形に近い場合は作業者Ｓの頭部であると認識し、第２の高さ位置よりも低い第３の高さ位置と、第３の高さ位置よりも低い第４の高さ位置との間に存在する物体の画像を抜出し、当該画像に近似する長方形を得て、当該長方形の長辺の長さが短辺の長さに対し所定の倍率以上である場合に肩部であると認識する。なお、第３の高さ位置と第４の高さ位置は、その間に肩部が入るように設定される。このように頭部と肩部とが認識された場合に作業者Ｓであると認識することが可能である。
【００５８】
本発明の第２の実施形態に係るロボットシステムを、図面を参照しながら以下に説明する。
本実施形態は、図７および図８に示すように、第１の実施形態に対して、作業者Ｓの代わりに他のロボット７０が設けられている。ロボット７０の先端部にマークＭが付けられており、ロボット７０は作業者Ｓと同様の作業を行うためのものである。
【００５９】
本実施形態では、作業者Ｓの代わりにロボット７０が用いられているが、その他の構成は第１の実施形態と同じである。このため、例えば、第１の実施形態の作業者認識領域Ａ１はロボット７０のための認識領域となり、作業者側境界Ｂ１はロボット７０のための境界となり、ステップＳ７ではマークＭと一体となって写るロボット７０が安全監視対象となる等の、監視対象を作業者Ｓからロボット７０に変更するための細かな違いはあるが、安全監視制御部６０が行う処理やその他の構成は実質的に同じとなる。
【００６０】
このため、本実施形態でも、時間的に連続して得られる距離画像情報中においてロボット７０が安全監視対象として認識され、ロボット７０が連続した距離画像情報中で追跡されることになる。従って、連続した距離画像情報中でロボット７０を見失わずに監視することができる。これにより、ロボット７０が侵入できない境界（ロボット側境界Ｂ２）に侵入したことを確実に検出し、例えば検出後にロボット１０を停止させることができ、また、ロボット１０に危険回避動作を行わせることもできる。このように、簡単な構成を用いてロボット７０を追跡し、ロボット１０と他のロボット７０との接触を防止することができる。
第１の実施形態のその他の構成や変形例の構成についても、作業者Ｓをロボット７０に置き換えてその内容を理解することができる。
【符号の説明】
【００６１】
１０  ロボット
１６  ロボット制御部
２０  作業台
３０  安全柵
３１  開口部
４０  距離画像センサ
５０  表示装置
６０  安全監視制御部
６１  画像処理武
６２  メモリ装置
Ａ１  作業者認識領域
Ａ２  共通作業領域
Ｂ１  作業者側境界
Ｂ２  ロボット側境界
【図１】
0006360105.tif 000002
【図２】
0006360105.tif 000003
【図３】
0006360105.tif 000004
【図４】
0006360105.tif 000005
【図５】
0006360105.tif 000006
【図６】
0006360105.tif 000007
【図７】
0006360105.tif 000008
【図８】
0006360105.tif 000009