(57)【要約】【課題】距離画像センサの視界における監視エリアの境界が遮られる位置に物体が設置されても、物体により形成される死角を経由した進入の可能性を把握する。【解決手段】ロボット２と、ロボット２の動作領域Ｇの上方から動作領域Ｇの周囲の距離画像情報を時間的に連続して取得する距離画像センサ３と、取得された距離画像情報を処理する画像処理装置４とを備え、画像処理装置４が、外部から動作領域Ｇ内への進入を可能とする境界を備えた監視エリアを動作領域Ｇの周囲に画定し、基準距離画像情報を記憶する記憶部を備え、距離画像センサ３により取得された距離画像情報と、記憶部に記憶されている基準距離画像情報とに基づいて、監視エリア内に存在する静止物体が、距離画像センサの視野Ｖ内において境界を遮っているか否かを検出するロボットシステム１である。【選択図】図１
2020069572.tif 000002
【特許請求の範囲】
【請求項１】
ロボットと、
該ロボットの動作領域の上方から該動作領域の周囲の距離画像情報を時間的に連続して取得する距離画像センサと、
該距離画像センサにより取得された前記距離画像情報を処理する画像処理装置とを備え、
該画像処理装置が、外部から前記動作領域内への進入を可能とする境界を備えた監視エリアを前記動作領域の周囲に画定し、前記監視エリア内に物体が存在しない状態での該監視エリアの前記境界の前記距離画像情報である基準距離画像情報を記憶する記憶部を備え、前記距離画像センサにより取得された前記距離画像情報と、前記記憶部に記憶されている前記基準距離画像情報とに基づいて、前記監視エリア内に存在する静止物体が、前記距離画像センサの視野内において前記境界を遮っているか否かを検出するロボットシステム。
【請求項２】
前記画像処理装置は、前記静止物体が前記境界を遮っていると判定した場合に、前記静止物体により遮られている空間の大きさを算出し、算出された前記空間の大きさが所定の閾値を超えている場合に報知する報知部を備える請求項１に記載のロボットシステム。
【請求項３】
前記画像処理装置は、前記空間の大きさとして、前記空間の最小横断面積を算出する請求項２に記載のロボットシステム。
【請求項４】
前記画像処理装置は、前記空間の大きさとして、前記空間の横断面の最小寸法を算出する請求項２に記載のロボットシステム。
【請求項５】
前記画像処理装置が、前記静止物体が前記境界を遮っていると判定した場合に、前記静止物体により遮られている空間を表示する表示部を備える請求項１に記載のロボットシステム。
【請求項６】
前記画像処理装置は、前記空間の３次元モデルを生成する３次元モデル生成部を備え、
前記表示部は、前記３次元モデル生成部により生成された前記空間の３次元モデルを表示する請求項５に記載のロボットシステム。
【請求項７】
前記ロボットおよびその周辺を撮影する撮影部を備え、
前記表示部が、前記撮影部により取得された画像に前記３次元モデルを重畳して表示する請求項６に記載のロボットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットシステムに関するものである。
【背景技術】
【０００２】
従来、作業台の上方に配置された距離画像センサによって連続的に取得される距離画像において、ロボットの動作領域の周囲に、境界を有する監視エリアを設定し、境界を経由した監視エリア内への作業者等の検出により、ロボットに危険回避動作を行わせるロボットシステムが知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−２２１９８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１のロボットシステムでは、監視エリア内に配置されている作業台等の物体が監視エリアの境界を超えていない。このため、境界を経由して監視エリア内に入る作業者等あるいは作業台の下に隠れている作業者等については確実に監視することができる。
【０００５】
しかしながら、現実の作業現場では、距離画像センサの視界における境界を遮る位置に作業台等の物体が配置されることがあり、物体を挟んで距離画像センサとは反対側には死角が形成される。このため、死角を経由した監視エリア内への進入については距離画像センサによって監視することができないという不都合がある。
【０００６】
本発明は、距離画像センサの視界における監視エリアの境界が遮られる位置に物体が設置されても、物体により形成される死角を経由した進入の可能性を把握することができるロボットシステムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の一態様は、ロボットと、該ロボットの動作領域の上方から該動作領域の周囲の距離画像情報を時間的に連続して取得する距離画像センサと、該距離画像センサにより取得された前記距離画像情報を処理する画像処理装置とを備え、該画像処理装置が、外部から前記動作領域内への進入を可能とする境界を備えた監視エリアを前記動作領域の周囲に画定し、前記監視エリア内に物体が存在しない状態での該監視エリアの前記境界の前記距離画像情報である基準距離画像情報を記憶する記憶部を備え、前記距離画像センサにより取得された前記距離画像情報と、前記記憶部に記憶されている前記基準距離画像情報とに基づいて、前記監視エリア内に存在する静止物体が、前記距離画像センサの視野内において前記境界を遮っているか否かを検出するロボットシステムである。
【０００８】
本態様によれば、距離画像センサによって、ロボットの動作領域の上方から動作領域の周囲の距離画像情報が時間的に連続して取得されると、取得された距離画像情報が画像処理装置により処理される。画像処理装置は、ロボットの動作領域の周囲に、外部からの動作領域内への進入を可能とする境界を備えた監視エリアを画定する。これにより、作業者等が境界を越えて監視エリア内に進入したときには、距離画像情報におけるいずれかの画素における距離情報が経時的に変化することにより、監視エリア内への作業者等の進入を検出することができる。
【０００９】
一方、監視エリア内に静止物体が配置されている場合には、距離画像情報における距離情報の経時的な変化はなく、静止物体を進入物として検出することはない。
この場合において、本態様によれば、記憶部に、監視エリア内に物体が存在しない状態での監視エリアの境界の距離画像情報である基準距離画像情報を記憶し、基準距離画像情報と距離画像センサにより取得された距離画像情報とに基づいて監視エリア内に存在する静止物体が距離画像センサの視野内において境界を遮っているか否かが検出される。
【００１０】
静止物体が境界を遮っている場合には、遮られている境界部分から静止物体によって隠れた死角を経由して、距離画像センサによって検出されることなく監視エリア内に作業者等が進入することができる可能性がある。すなわち、静止物体によって遮られている境界部分から死角を経由すれば、距離画像情報における距離情報の経時的変化は発生せず、作業者等の進入を検出することができない。したがって、静止物体によって遮られた境界の有無を検出することにより、静止物体により形成される死角を経由した進入の可能性の有無を把握することができる。そして、進入の可能性があると判断できる場合には、進入を防止する対策を施すことができる。
【００１１】
上記態様においては、前記画像処理装置は、前記静止物体が前記境界を遮っていると判定した場合に、前記静止物体により遮られている空間の大きさを算出し、算出された前記空間の大きさが所定の閾値を超えている場合に報知する報知部を備えていてもよい。
この構成により、静止物体によって形成される死角を作業者等が通過したり隠れたりすることができるか否かを判定することができ、空間の大きさが所定の閾値を超えている場合には報知部によりその旨が報知される。報知された場合には進入を防止する対策を施すことができる。
【００１２】
また、上記態様においては、前記画像処理装置は、前記空間の大きさとして、前記空間の最小横断面積を算出してもよい。
この構成により、静止物体によって形成される死角を作業者等が通過あるいは身体の一部を進入させることができるか否かを判定することができ、空間の大きさが所定の閾値を超えている場合には報知部によりその旨が報知される。報知された場合には進入を防止する対策を施すことができる。
【００１３】
また、上記態様においては、前記画像処理装置は、前記空間の大きさとして、前記空間の横断面の最小寸法を算出してもよい。
この構成により、静止物体によって形成される死角を作業者等が通過あるいは身体の一部を進入させることができるか否かを判定することができ、空間の大きさが所定の閾値を超えている場合には報知部によりその旨が報知される。報知された場合には進入を防止する対策を施すことができる。
【００１４】
また、上記態様においては、前記画像処理装置が、前記静止物体が前記境界を遮っていると判定した場合に、前記静止物体により遮られている空間を表示する表示部を備えていてもよい。
この構成により、静止物体によって形成される死角が表示部に表示されるので、表示された死角に対して進入を防止する対策を容易に施すことができる。
【００１５】
また、上記態様においては、前記画像処理装置は、前記空間の３次元モデルを生成する３次元モデル生成部を備え、前記表示部は、前記３次元モデル生成部により生成された前記空間の３次元モデルを表示してもよい。
この構成により、静止物体によって形成される死角が表示部に３次元モデルとして表示されるので、死角の角度を変えて表示し、死角に対して進入を防止する対策を容易に施すことができる。
【００１６】
また、上記態様においては、前記ロボットおよびその周辺を撮影する撮影部を備え、前記表示部が、前記撮影部により取得された画像に前記３次元モデルを重畳して表示してもよい。
この構成により、静止物体によって形成される死角が表示部に３次元モデルとして、実際に撮像部により取得されたロボット等の画像に重畳されて表示されるので、ロボット等に対する死角の位置を把握しやすく、死角に対して進入を防止する対策を容易に施すことができる。
【発明の効果】
【００１７】
本発明によれば、距離画像センサの視界における監視エリアの境界が遮られる位置に物体が設置されても、物体により形成される死角を経由した進入の可能性を把握することができるという効果を奏する。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係るロボットシステムを示す全体構成図である。
【図２】図１のロボットシステムを示す側面図である。
【図３】図１のロボットシステムにより取得された監視エリアの外面および底面の距離画像の一例を示す図である。
【図４】図２のロボットシステムにおいて、監視エリア内に静止物体が配置されている場合の一例を示す側面図である。
【図５】図４の場合の監視エリアの外面および底面の距離画像の一例を示す図である。
【図６】図５の距離画像と、図３の距離画像との差分画像を示す図である。
【図７】図４の監視エリア内に配置された静止物体により形成される死角の一例を示す斜視図である。
【発明を実施するための形態】
【００１９】
本発明の一実施形態に係るロボットシステム１について、図面を参照して以下に説明する。
本実施形態に係るロボットシステム１は、図１に示されるように、ロボット２と、ロボット２の動作範囲（動作領域）Ｇの上方に配置される安全カメラ（距離画像センサ）３と、安全カメラ３に接続された画像処理装置４とを備えている。
【００２０】
ロボット２は、図１に示す例では、例えば、６軸多関節型ロボットであり、球体状の動作範囲Ｇを備えている。
安全カメラ３は、ステレオカメラあるいはＴＯＦ（Ｔｉｍｅ  ｏｆ  ｆｌｉｇｈｔ）方式の距離画像センサを用いることができる。安全カメラ３は、画素毎に、安全カメラ３のレンズ中心からの距離を検出した距離画像（距離画像情報）を取得することができる。
【００２１】
安全カメラ３は、図１および図２に示されるように、ロボット２の動作範囲Ｇと干渉せず、ロボット２の動作範囲Ｇを全周にわたって取り囲む範囲を撮影可能な視界Ｖを有している。すなわち、安全カメラ３の視界Ｖは、レンズ中心から放射状に延び、ロボット２の動作範囲Ｇを含まない環状の範囲に広がっている。安全カメラ３により取得される距離画像は、例えば、図３に示される通りである。図中、斜線で示す領域が距離画像である。
【００２２】
画像処理装置４は、プロセッサおよびメモリにより構成されている。画像処理装置４は、安全カメラ３により取得された距離画像において、図２に示されるように監視エリアＡを画定する。監視エリアＡは、例えば、長方形状の一定の横断面形状を有し、図２に示されるように、ロボット２の動作範囲Ｇの外側を全周にわたって取り囲む位置に配置される正方形の環状の領域である。図３において、距離画像は、図２に示される監視エリアＡの外面Ａ１および監視エリアＡの底面Ａ２に対応している。
【００２３】
安全カメラ３は視界Ｖ内に存在する物体までの距離情報を各画素について取得するが、監視エリアＡの外面（境界）Ａ１よりも外側の領域および監視エリアＡの底面Ａ２よりも下側の領域については、距離情報の大きさによって、監視対象から除外している。
すなわち、画像処理装置４は、図２の監視エリアＡの外面Ａ１よりも外側に存在する点Ｂ１については、その点Ｂ１と安全カメラ３のレンズ中心とを結ぶ直線Ｌ１において、監視エリアＡの外面Ａ１よりも遠い位置に配置されているため、距離画像において対応する画素の距離情報は、同一画素に対応する監視エリアＡの外面Ａ１における点Ｂ２よりも大きくなり、監視エリアＡ外の点であるとして監視対象から除外することができる。
【００２４】
また、図２の監視エリアＡの底面Ａ２よりも下側に存在する点Ｃ１については、その点Ｃ１と安全カメラ３のレンズ中心とを結ぶ直線Ｌ２において、監視エリアＡの底面Ａ２よりも遠い位置に配置されているため、距離画像において対応する画素の距離情報は、同一画素に対応する監視エリアＡの底面Ａ２における点Ｃ２よりも大きくなり、監視エリアＡ外の点であるとして監視対象から除外することができる。
【００２５】
また、監視エリアＡ内に存在する静止物体（図５参照）Ｘ、例えば、テーブルあるいは制御装置等、静止した状態に維持されている物体については、静止物体Ｘとして設定されることにより監視対象から除外される。
【００２６】
この場合において、本実施形態においては、画像処理装置４は、安全カメラ３により取得された距離画像を用いて、監視エリアＡ内に存在する静止物体Ｘが、安全カメラ３の視界（視野）Ｖ内において監視エリアＡの外面（境界）Ａ１を遮っているか否かを検出する。
具体的には、画像処理装置４は、静止物体Ｘが配置されていない状態での監視エリアＡの外面Ａ１および底面Ａ２の距離画像である第１基準距離画像を記憶する記憶部（図示略）を備え、安全カメラ３により取得された距離画像と基準距離画像との差分から静止物体Ｘを検出することができる。
【００２７】
そして、画像処理装置４は、静止物体Ｘが検出された場合には、検出された静止物体Ｘが、本来、監視エリアＡの外面Ａ１または内面Ａ３であるべき領域の一部に差し掛かっているか否かを検出する。
図３に基準距離画像の例を示す。そして、図４に監視エリアＡ内に静止物体Ｘが配置されている場合の側面図、図５に監視エリアＡの外面Ａ１および底面Ａ２の距離画像の例を示す。また、図６に図３の基準距離画像と図５の距離画像との差分画像を示す。
【００２８】
図４において、監視エリアＡ内にハッチングが施された領域は、静止物体Ｘによって監視エリアＡ内に形成された死角である。図４の例では、死角は、監視エリアＡの外面Ａ１の一部の一部に差し掛かるように形成されている。
また、図６において、ハッチングが施された領域は、静止物体Ｘによって監視エリアＡの外面Ａ１が遮られている領域を示している。
【００２９】
この領域においては、静止物体Ｘが監視エリアＡの外面Ａ１よりも安全カメラ３に近い位置に配置されているため、これらの領域内の各画素には、外面Ａ１よりも小さい距離情報が取得される。これにより、静止物体Ｘによって監視エリアＡの外面Ａ１が遮られていることを検出することができる。
【００３０】
すなわち、監視エリアＡの外面Ａ１となるべき領域に静止物体Ｘが差し掛かることにより、視界Ｖが遮られている場合には、遮られている外面Ａ１部分から静止物体Ｘによって隠れた死角を経由して、距離画像センサによって検出されることなく監視エリアＡ内に作業者等が進入することができる可能性がある。
【００３１】
したがって、静止物体Ｘによって遮られた外面Ａ１の有無を検出することにより、静止物体Ｘにより形成される死角を経由した進入の可能性の有無を把握することができる。そして、進入の可能性があると判断できる場合には、静止物体Ｘが視界Ｖにおいて外面Ａ１または内面Ａ３を遮らない位置に移動したり、監視エリアＡの外面Ａ１の外側に、死角に繋がる経路を予め塞ぐ壁を設けたりして、作業者等の進入を防止する対策を施すことができる。
【００３２】
このように、本実施形態に係るロボットシステム１によれば、監視エリアＡ内に配置されている静止物体Ｘによって、監視エリアＡの外面Ａ１に重なる領域で安全カメラ３の視界Ｖが遮られているか否かを検出するので、静止物体Ｘにより形成される死角を経由した作業者等の進入の可能性の有無を把握することができるという利点がある。
【００３３】
なお、本実施形態においては、画像処理装置４が静止物体Ｘによって遮られている空間の大きさを算出し、ロボットシステム１が、算出された空間の大きさが所定の閾値を超えている場合にその旨を報知する報知部を備えていてもよい。報知部としては、音声、光あるいは画面表示等の任意の方法によって報知するものを採用することができる。
【００３４】
空間の大きさとしては、図７に示されるように、監視エリアＡ内において静止物体Ｘによって遮られている空間（ハッチングされている領域）の容積Ｓ、空間の最小横断面積Ｄ、空間の横断面の最小寸法Ｅ等を挙げることができる。図７において、死角となる空間としては、監視エリアＡの底面Ａ２よりも下方の空間をも加えた空間としている。
【００３５】
静止物体Ｘが監視エリアＡの内面Ａ３において安全カメラ３の視界Ｖを遮っている場合に、空間が人間の潜むことができるより大きな容積を有する場合には、ロボットシステム１起動前に静止物体Ｘによる死角に潜んでいた人間が、安全カメラ３によって検出されることなくロボット２の動作範囲Ｇに進入することができてしまう。このため、空間の容積Ｓが十分に小さく抑えられている必要がある。
【００３６】
また、空間の最小横断面積Ｄあるいは空間の横断面の最小寸法Ｅが、人間あるいは人間の体の一部、例えば、腕や脚を通過可能な大きさを有している場合には、安全カメラ３によって検出されることなくロボット２の動作範囲Ｇに進入することができてしまう。このため、空間の最小横断面積Ｄあるいは横断面の最小寸法Ｅも十分に小さく抑えられている必要がある。
【００３７】
また、画像処理装置４が表示部を備えていてもよい。表示部はモニタである。表示部は、静止物体Ｘにより遮られている空間を表示する。距離画像において空間の色を異ならせて表示してもよい。
また、画像処理装置４が、空間の３次元モデルを生成する３次元モデル生成部を備え、生成された空間の３次元モデルを表示部が表示することにしてもよい。
【００３８】
空間の３次元モデルとしては、空間自体の３次元モデルを直接的に生成してもよいし、監視エリアＡの３次元モデルを生成することにより、監視エリアＡの３次元モデルが欠落している領域の有無によって、静止物体Ｘにより遮られている空間を間接的に表示することにしてもよい。
３次元モデルを表示することにより、静止物体Ｘにより遮られている空間の形状を、見る角度を異ならせて確認することができる。
【００３９】
また、ロボットシステム１が、ロボット２およびその周辺を撮影する撮影部を備え、表示部が、撮影部により取得された画像に３次元モデルを重畳して表示してもよい。これにより、静止物体Ｘによって形成される死角が表示部に３次元モデルとして、実際に撮像部により取得されたロボット２等の画像に重畳されて表示されるので、ロボット２等に対する死角の位置を把握しやすく、死角に対して進入を防止する対策を容易に施すことができる。
【００４０】
また、２以上の安全カメラ３を有する場合に、いずれか１つの安全カメラ３に対して静止物体Ｘにより遮られている空間を死角と定義する場合には、各安全カメラ３について算出された死角の空間の和集合を死角として算出すればよい。また、すべての安全カメラ３に対して静止物体Ｘにより遮られている空間を死角と定義する場合には、各安全カメラ３について算出された死角の空間の積集合を死角として算出すればよい。
【符号の説明】
【００４１】
１  ロボットシステム
２  ロボット
３  安全カメラ（距離画像センサ）
４  画像処理装置
Ａ  監視エリア
Ａ１  外面（境界）
Ａ３  内面（境界）
Ｄ  最小横断面積
Ｅ  最小寸法
Ｇ  動作範囲（動作領域）
Ｖ  視界（視野）
Ｘ  静止物体
【図１】
2020069572.tif 000003
【図２】
2020069572.tif 000004
【図３】
2020069572.tif 000005
【図４】
2020069572.tif 000006
【図５】
2020069572.tif 000007
【図６】
2020069572.tif 000008
【図７】
2020069572.tif 000009