(57)【要約】【課題】対象物の深度情報の取得領域が透明の部材であっても、ロボットの作業禁止領域を設定できるロボットの作業禁止領域設定方法、及びロボットシステムを提供する。【解決手段】ロボットの作業禁止領域設定方法は、対象物に対して作業を行うロボットの作業禁止領域を設定する方法であって、光を透過させる透過領域と、光を透過させない非透過領域とが混在するカバーで覆われた対象物に対してパターン光を投影すること（ステップＳ１００）、パターン光が投影された対象物及びカバーを撮像して撮像画像を取得すること（ステップＳ２００）、撮像画像に基づいて、ロボットから対象物までの距離に関する情報である深度情報を算出すること（ステップＳ３００）、深度情報に基づいて、ロボットの作業禁止領域を設定すること（ステップＳ４００）、を含む。【選択図】図１１
2020192623.tif 000002
【特許請求の範囲】
【請求項１】
対象物に対して作業を行うロボットの作業禁止領域を設定する方法であって、
光を透過させる透過領域と、光を透過させない非透過領域とが混在するカバーで覆われた前記対象物に対してパターン光を投影すること、
前記パターン光が投影された前記対象物及び前記カバーを撮像して撮像画像を取得すること、
前記撮像画像に基づいて、前記ロボットから前記対象物までの距離に関する情報である深度情報を算出すること、
前記深度情報に基づいて、前記ロボットの作業禁止領域を設定すること、
を含む、
ロボットの作業禁止領域設定方法。
【請求項２】
請求項１に記載のロボットの作業禁止領域設定方法において、
前記カバーの前記透過領域と前記非透過領域との粗密度は、前記パターン光のパターン密度よりも高い、
ロボットの作業禁止領域設定方法。
【請求項３】
請求項１に記載のロボットの作業禁止領域設定方法において、
前記パターン光は、前記ロボットから前記対象物までの距離に基づいて、前記パターン光のパターン密度を変更して投影される、
ロボットの作業禁止領域設定方法。
【請求項４】
請求項３に記載のロボットの作業禁止領域設定方法において、
前記パターン光は、前記ロボットから前記対象物までの距離が、所定の距離よりも短い場合、前記パターン密度を低下して投影される、
ロボットの作業禁止領域設定方法。
【請求項５】
請求項４に記載のロボットの作業禁止領域設定方法において、
前記所定の距離は、前記パターン密度と、前記カバーの前記透過領域と前記非透過領域との粗密度とが一致する距離である、
ロボットの作業禁止領域設定方法。
【請求項６】
請求項１〜５のいずれか一項に記載のロボットの作業禁止領域設定方法において、
前記深度情報は、位相シフト法で算出される、
ロボットの作業禁止領域設定方法。
【請求項７】
請求項１〜５のいずれか一項に記載のロボットの作業禁止領域設定方法において、
前記深度情報は、ランダムドット法で算出される、
ロボットの作業禁止領域設定方法。
【請求項８】
請求項１〜７のいずれか一項に記載のロボットの作業禁止領域設定方法において、
前記作業禁止領域は、前記カバーに設けられたマーカーに基づいて設定される、
ロボットの作業禁止領域設定方法。
【請求項９】
対象物を覆う、光を透過させる透過領域と、光を透過させない非透過領域とが混在するカバーと、
ロボットと、
三次元計測装置と、
前記三次元計測装置の出力信号に基づいて、前記ロボットを制御するロボット制御装置と、
を備え、
前記三次元計測装置は、
前記カバーで覆われた前記対象物に対してパターン光を投影して、
前記パターン光が投影された前記対象物及び前記カバーを撮像して撮像画像を取得し、
前記撮像画像に基づいて、前記ロボットから前記対象物までの距離に関する情報である深度情報を算出し、
前記ロボット制御装置は、
前記深度情報に基づいて、前記ロボットの作業禁止領域を設定する、
ロボットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットの作業禁止領域設定方法、及びロボットシステムに関するものである。
【背景技術】
【０００２】
従来、人とロボットとが共通の環境で作業を行う場合において、障害物と非障害物とを低コストで分類し、不必要に物体を回避しないで効率的に移動できることが必要であった。
【０００３】
これに対し、先ず、少なくとも１つのセンサーが、ロボットの周囲の状況を取得する。次に、各センサーからの深度情報に基づいて、障害物を認識する。次に、非障害物の画像上の特徴量を記録する。次に、障害物と認識された物体の画像上の特徴量を抽出する。次に、マッチングを行って非障害物を認識する。次に、障害物と認識された物体から非障害物と認識された物体を削除して最終的な障害物を決定する。最終的に障害物と判断された物体の位置情報を用いてロボットの移動経路を計算する方法が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−２８３１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の技術では、正確な深度情報を得ることが困難であるため、ロボットが作業禁止領域を認識するのが困難であった。詳しくは、物体に透明な部材が使用されていた場合、光の透過や乱反射の影響で、正確な深度情報が得られないという課題があった。
【課題を解決するための手段】
【０００６】
本願のロボットの作業禁止領域設定方法は、対象物に対して作業を行うロボットの作業禁止領域を設定する方法であって、光を透過させる透過領域と、光を透過させない非透過領域とが混在するカバーで覆われた前記対象物に対してパターン光を投影すること、前記パターン光が投影された前記対象物及び前記カバーを撮像して撮像画像を取得すること、前記撮像画像に基づいて、前記ロボットから前記対象物までの距離に関する情報である深度情報を算出すること、前記深度情報に基づいて、前記ロボットの作業禁止領域を設定すること、を含む。
【０００７】
上記のロボットの作業禁止領域設定方法では、前記カバーの前記透過領域と前記非透過領域との粗密度は、前記パターン光のパターン密度よりも高いことが好ましい。
【０００８】
上記のロボットの作業禁止領域設定方法では、前記パターン光は、前記ロボットから前記対象物までの距離に基づいて、前記パターン光のパターン密度を変更して投影されることが好ましい。
【０００９】
上記のロボットの作業禁止領域設定方法では、前記パターン光は、前記ロボットから前記対象物までの距離が、所定の距離よりも短い場合、前記パターン密度を低下して投影されることが好ましい。
【００１０】
上記のロボットの作業禁止領域設定方法では、前記所定の距離は、前記パターン密度と、前記カバーの前記透過領域と前記非透過領域との粗密度とが一致する距離であることが好ましい。
【００１１】
上記のロボットの作業禁止領域設定方法では、前記深度情報は、位相シフト法で算出されることが好ましい。
【００１２】
上記のロボットの作業禁止領域設定方法では、前記深度情報は、ランダムドット法で算出されることが好ましい。
【００１３】
上記のロボットの作業禁止領域設定方法では、前記作業禁止領域は、前記カバーに設けられたマーカーに基づいて設定されることが好ましい。
【００１４】
本願のロボットシステムは、対象物を覆う、光を透過させる透過領域と、光を透過させない非透過領域とが混在するカバーと、ロボットと、三次元計測装置と、前記三次元計測装置の出力信号に基づいて、前記ロボットを制御するロボット制御装置と、を備え、前記三次元計測装置は、前記カバーで覆われた前記対象物に対してパターン光を投影して、前記パターン光が投影された前記対象物及び前記カバーを撮像して撮像画像を取得し、前記撮像画像に基づいて、前記ロボットから前記対象物までの距離に関する情報である深度情報を算出し、前記ロボット制御装置は、前記深度情報に基づいて、前記ロボットの作業禁止領域を設定する。
【図面の簡単な説明】
【００１５】
【図１】第１実施形態に係るロボットシステムの一例を示す構成図。
【図２】三次元計測装置のハードウェア構成の一例を示す図。
【図３】カバーで覆われていない計測対象を示す上面図。
【図４】カバーで覆われた計測対象を示す上面図。
【図５】カバーで覆われていない計測対象に対してパターン光を投影した場合の撮像画像を示す図。
【図６】カバーで覆われた計測対象に対してパターン光を投影した場合の撮像画像を示す図。
【図７】カバーで覆われていない計測対象に対してパターン光を投影した場合の撮像画像と直線の位置の高さの状況とを示す図。
【図８】カバーで覆われた計測対象に対してパターン光を投影した場合の撮像画像と直線の位置の高さの状況とを示す図。
【図９】カバーで覆われていないパーツボックスを示す断面図。
【図１０】カバーで覆われたパーツボックスを示す断面図。
【図１１】ロボットの作業禁止領域設定方法の一例を示すフローチャート。
【図１２】第２実施形態に係るロボットの作業禁止領域設定方法の一例を示すフローチャート。
【発明を実施するための形態】
【００１６】
以下、本発明を具体化した実施形態について図面に従って説明する。なお、使用する図面は、説明する部分が認識可能な状態となるように、適宜拡大又は縮小して表示している。
【００１７】
（第１実施形態）
図１は、本実施形態に係るロボットシステム２の一例を示す構成図である。
本実施形態に係るロボットシステム２は、図１に示すように、対象物としての計測対象Ｗを覆う、光を透過させる透過領域と、光を透過させない非透過領域とが混在するカバー４と、ロボット６と、三次元計測装置８と、三次元計測装置８の出力信号に基づいて、ロボット６を制御するロボット制御装置１０と、を備える。
【００１８】
三次元計測装置８は、カバー４で覆われた計測対象Ｗに対してパターン光を投影する。三次元計測装置８は、パターン光が投影された計測対象Ｗ及びカバー４を撮像して撮像画像を取得する。三次元計測装置８は、撮像画像に基づいて、ロボット６から計測対象Ｗまでの距離に関する情報である深度情報を算出する。
【００１９】
ロボット制御装置１０は、深度情報に基づいて、ロボット６の作業禁止領域を設定する。これによれば、深度情報の取得時において、計測対象Ｗの深度情報の取得領域を、光を透過させる透過領域と、光を透過させない非透過領域とが混在するカバー４を用いて覆うことができる。これにより、計測対象Ｗの深度情報の取得領域が透明の部材であっても、深度情報を精度よく検出できるようになり、ロボット６の作業禁止領域を設定できる。
以下、このようなロボットシステム２について詳細に説明する。
【００２０】
カバー４は、計測対象Ｗに配置した、光を透過させる透過領域と、光を透過させない非透過領域とが混在する。カバー４は、例えば、透過領域と非透過領域とが周期的に存在する。カバー４は、軽量で十分な強度を有し、かつ高い伸縮性を有する。カバー４は、凹凸の大きい場所や変形量が大きい場所でも使用できる。カバー４は、計測対象Ｗに対し着脱可能である。カバー４に用いる素材は、予め検出の容易さを確認したものを用いることができる。これにより、検出の不確実さを軽減することができる。
【００２１】
カバー４は、例えば、一般的な家庭の台所で使用する使い捨ての水切り網袋であってもよい。カバー４は、ストッキングのような伸縮性のある薄い布製の網であってもよい。カバー４は、半透明な材質であってもよい。
【００２２】
本実施形態では好適例としてカバー４に不織布を用いている。不織布は、例えば、ポリエステル系若しくはポリエチレン系の樹脂から構成される。不織布は、厚み方向に複数の繊維を積層した構成を有している。不織布は、繊維を織らずに絡み合わせたシートである。
【００２３】
カバー４の透過領域と非透過領域との粗密度は、パターン光のパターン密度よりも高くてもよい。これによれば、パターン光が非透過領域に確実に重なるため、カバー４の面に投影されたパターン光を精度よく撮像することができる。
【００２４】
ここで、パターン光について説明する。
パターン光は、その繰り返し周期が、深度情報の面内分解能よりも小さい。パターン光は、例えば、乱数を用いて白色のドットがランダムに配置されたパターン光である。三次元計測に基づく三次元点群の生成は、このランダムに配置されたドットのパターンが計測対象Ｗに投影された時の滲みの度合いによって精度が変化し、滲みの度合いが小さければ小さいほど、高い精度で行うことができる。
【００２５】
パターン光の特徴は、白色の領域と黒色の領域とが全体的に均一に分布していることである。これは、パターン光選択処理において用いられるパターン光は、白色の領域と黒色の領域とが全体的に均一であることが好ましいからであるが、これに限られず、不均一にそれらの領域が分布する画像であってもよい。なお、本実施形態において、制御部２６がパターン光選択処理において用いるパターン光は、白色と黒色との２値画像であるとして説明してきたが、これに代えて、第１色（白色と黒色以外）と、第１色とは異なる第２色（白色と黒色以外）によって描かれた２値画像であってもよい。なお、本実施形態において、白色とは、２５５階調の色階調が２５５の色を示すが、２５５に近い色であってもよい。また、本実施形態において、黒色とは、２５５階調の色階調が０の色を示すが、０に近い色であってもよい。
【００２６】
ここで、上述のパターン光とは、例えば、ランダムドットパターン光であるが、これに限られず、ステレオブロックマッチング法等によって計測対象Ｗの三次元計測を行うための特徴点を提供することが可能なパターン光であれば如何なるパターン光であってもよい。
【００２７】
ランダムドットパターン光とは、第１色と、第１色とは異なる第２色とによる２値画像であってドットと呼ばれる最小単位がランダムに配置されることによって描かれた画像である。一般的には、第１色と第２色とのうちいずれか一方が白色であり、他方が黒色であることが多いが、第１色と第２色とはこれらの色に限られない。なお、ドットの大きさは、そのドットを描くために用いるピクセルの数によって表され、以下では、ドットサイズと称して説明する。
【００２８】
ロボット６は、６軸の垂直多関節ロボットであってもよいし、スカラーロボット等の水平多関節ロボット、脚部を備える脚式歩行（走行）ロボット等の他の形態のロボットであってもよい。また、ロボット６は、単腕ロボットであってもよいし、双腕ロボット等の他のロボットであってもよい。
【００２９】
三次元計測装置８は、投影部２０と、撮像部２２と、深度情報算出部２４と、制御部２６と、を備える。
【００３０】
投影部２０は、カバー４で覆われた計測対象Ｗに対してパターン光を投影する。投影部２０は、例えば、反射型液晶パネルや透過型液晶パネル、ＤＭＤ（Digital Mirror Device）等が用いられたプロジェクター、レーザー光源、回折格子であり、制御部２６から取得した各種の投影画像を投影する。投影部２０は、計測対象Ｗを含む範囲に前述の投影画像を投影可能な位置に設置されている。
【００３１】
撮像部２２は、パターン光が投影された計測対象Ｗ及びカバー４を撮像して撮像画像を取得する。撮像部２２は、例えば、集光された光を電気信号に変換する撮像素子であるＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を備えたカメラである。撮像部２２は、制御部２６と接続されている。撮像部２２は、計測対象Ｗが含まれる範囲を撮像可能な位置に設置されている。撮像部２２は、計測対象Ｗが含まれる範囲の静止画像を撮像画像として撮像してもよく、前述の範囲の動画像を撮像画像として撮像してもよい。
【００３２】
なお、撮像部２２は、２台の撮像部を備える構成で、ステレオ撮像を行ってもよいし、３台以上の撮像部を備える構成であってもよいし、投影部２０とのキャリブレーションが行われている場合には、撮像部２２は、１台の撮影部を備える構成であってもよい。
【００３３】
図１において、投影部２０は、撮像部２２と一体として構成されているが、これに代えて、撮像部２２とは別体として、撮像部２２と異なる位置に設置されていてもよい。なお、以下では、投影部２０は、撮像部２２と予めキャリブレーションがされているものとし、互いの相対的な位置及び姿勢が既知のものとして説明する。
【００３４】
深度情報算出部２４は、撮像画像に基づいて、ロボット６から計測対象Ｗまでの距離に関する情報である深度情報を算出する。深度情報算出部２４は、撮像された撮像画像に基づいて三次元計測を行うことで深度情報を算出する。深度情報は、ロボット６から計測対象Ｗまでの距離に関する情報である。例えば、深度情報は、ロボット６のロボット座標原点から計測対象Ｗまでの距離に関する情報である。
【００３５】
深度情報は、位相シフト法で算出されてもよい。これによれば、表面が一様な計測対象Ｗやカバー４の表面でも、深度情報を精度よく算出できる。
【００３６】
深度情報は、ランダムドット法で算出されてもよい。これによれば、表面が一様な計測対象Ｗやカバー４の表面でも、深度情報を精度よく算出できる。
【００３７】
次に、図２を参照して、制御部２６のハードウェア構成について説明する。
図２は、三次元計測装置８のハードウェア構成の一例を示す図である。
制御部２６は、例えば、ＣＰＵ（Central Processing Unit）９０と、記憶部９２と、入力受付部９４と、通信部９６と、を備える。これらの構成要素は、バスＢｕｓを介して相互に通信可能に接続されている。
【００３８】
ＣＰＵ９０は、記憶部９２に格納された各種プログラムを実行する。
【００３９】
記憶部９２は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read−Only Memory）、ＲＯＭ（Read−Only Memory）、ＲＡＭ（Random Access Memory）などを含み、制御部２６が処理する各種情報や画像、プログラムを格納する。なお、記憶部９２は、制御部２６に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置でもよい。
【００４０】
入力受付部９４は、例えば、キーボードやマウス、タッチパッド、その他の入力装置である。なお、入力受付部９４は、表示部として機能してもよく、さらに、タッチパネルとして構成されてもよい。
【００４１】
通信部９６は、例えば、ＵＳＢ等のデジタル入出力ポートやイーサネット（登録商標）ポート等を含んで構成される。
【００４２】
図１において制御部２６が備える機能部のうち一部又は全部は、例えば、ＣＰＵ９０が、記憶部９２に記憶された各種プログラムを実行することで実現される。また、これらの機能部のうち一部又は全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってもよい。
【００４３】
制御部２６は、記憶部９２により記憶されているドットサイズが異なる複数の画像の中から少なくとも一つのパターン光を選択し、選択されたパターン光を投影部２０に出力して投影させる。制御部２６は、選択された画像であって計測対象Ｗに適したドットサイズのランダムドットパターン画像を計測対象Ｗに投影するように投影部２０を制御する。制御部２６は、撮像部２２により撮像された撮像画像に基づいて、パターン光の選択処理を行い、計測対象Ｗに適したドットサイズのパターン光を選択する。
【００４４】
制御部２６は、パターン光が投影された計測対象Ｗを撮像部２２により撮像させる。制御部２６は、撮像部２２により撮像された撮像画像を取得する。制御部２６は、計測対象Ｗが含まれる範囲を撮像するように撮像部２２を制御する。
【００４５】
制御部２６は、入力受付部９４によりユーザーから計測開始の操作を受け付けると、計測対象Ｗの材質や形状に適したパターン光が選択された後、計測対象Ｗの三次元計測に基づく深度情報の算出を深度情報算出部２４に行わせる。
【００４６】
制御部２６は、取得された撮像画像を対応付けて記憶部９２に記憶させる。この時、制御部２６は、撮像画像が撮像された際に投影されていたパターン光のドットサイズを撮像画像に対応付けて記憶部９２に記憶させる。
【００４７】
ロボット制御装置１０は、三次元計測装置８の出力信号に基づいて、ロボット６を制御する。ロボット制御装置１０は、深度情報受付部３０と、作業禁止領域設定部３２と、ロボット制御部３４と、を備える。
【００４８】
深度情報受付部３０は、三次元計測装置８から深度情報を取得する。
【００４９】
作業禁止領域設定部３２は、深度情報受付部３０から深度情報を取得する。作業禁止領域設定部３２は、取得した深度情報に基づいて、ロボット６の作業禁止領域を設定する。
【００５０】
作業禁止領域は、カバー４に設けられた図示しないマーカーに基づいて設定されてもよい。これによれば、マーカーにより、異なる距離範囲で作業禁止領域を設定することができ、より効率的な作業領域を確保できる。
【００５１】
またカバー４によって、例えば５ｃｍまで近づいてよいものと、例えば２０ｃｍまで近づいてよいものを区別するためにマーカーを配置してもよい。マーカーは、撮像時の画像で認識されてもよい。マーカーは、色で識別されてもよいし、模様で識別されてもよい。
【００５２】
ロボット制御部３４は、作業禁止領域設定部３２から作業禁止領域を取得する。ロボット制御部３４は、取得した作業禁止領域に基づいて、計測対象Ｗに所定の作業を行うようにロボット６を制御する。
【００５３】
ここで、計測対象Ｗについて説明する。
計測対象Ｗは、ロボットシステム２により三次元計測が行われる物体であって前述のパターン光を投影可能な物体である。計測対象Ｗの材質は、透明な材質（例えば、ガラス、透明な合成樹脂等）であってもよく、半透明な材質（例えば、光の一部を透過するアクリルやプラスチック等）であってもよく、不透明な材質（例えば、光を透過しない金属や紙等）であってもよい。また、半透明な材質及び不透明な材質は、反射面を有していてもよい。透明な合成樹脂としては、例えば、ポリイミド樹脂、ＰＥＴ樹脂、アクリル樹脂、ＭＳ樹脂、ＭＢＳ樹脂、ＡＢＳ樹脂、ポリカーボネート樹脂、シリコーン樹脂、シロキサン樹脂、エポキシ樹脂などを挙げることができる。また、計測対象Ｗの形状は、特に何らかの形状に限定されることは無いが、表面形状に特徴が無い場合、ロボットシステム２によって行われる処理によって得られる効果が最も顕著に表れる。計測対象Ｗは、物体の一例である。
【００５４】
本実施形態において、計測対象Ｗは、立方体形状で上部がアクリル製のカバーであって透明なカバーであるとして説明するが、前述したように計測対象Ｗの材質や形状はこれに限られず、他の何らかの材質や形状であってもよい。なお、計測対象Ｗのカバー４は、投影部２０からのパターン光をほとんど透過してしまい、計測対象Ｗからのパターン光の反射光を撮像画像から検出することが不可能な物体である。
【００５５】
透明な材質の面、金属による反射面を備える例として、本実施形態では自動ネジ供給機としての計測対象Ｗを挙げる。
図３は、カバー４で覆われていない計測対象Ｗを示す上面図である。計測対象Ｗは、開口部４４を備える収納ケース４０と、開口部４４を覆うように設けられた透明な上蓋４２と、を備える。計測対象Ｗは、上蓋４２及び開口部４４を介して、その下に金属と合成樹脂製との構造物４６を備える。計測対象Ｗは、計測対象Ｗの内部にセットされたネジ４８を供給する供給部５０に、金属による反射面５２が設けられている。計測対象Ｗは、透明な上蓋４２を透かして、その下のネジ４８及び構造物４６が透けて見えている。
【００５６】
以下で説明する実施形態に係る技術は、一般的な画像処理用途に利用することができる。一般的な画像処理用途とは、例えば、ビンピッキングや作業台等の周囲環境の認識、作業対象物の検査等のことである。
【００５７】
ロボットシステム２は、テーブル等の台上に設置された計測対象Ｗに対して投影部２０からパターン光を投影し、パターン光が投影された計測対象Ｗを撮像部２２により撮像する。そして、ロボットシステム２は、撮像部２２より撮像された撮像画像に基づいて、例えば、ステレオブロックマッチング法等を用いて計測対象Ｗの三次元計測を行う。
【００５８】
図４は、カバー４で覆われた計測対象Ｗを示す上面図である。なお、本実施形態ではカバー４として不織布を用いている。
図３及び図４の二つの図は、上蓋４２及び開口部４４を介して、その下の構造物４６及びネジ４８が目視できる等、自然光（環境光）を用いた通常の画像では大きな差はない。一方で、パターン光の照明を使い、深度画像にした例を以下に示す。
【００５９】
図５は、カバー４で覆われていない計測対象Ｗに対してパターン光を投影した場合の撮像画像を示す図である。図６は、カバー４で覆われた計測対象Ｗに対してパターン光を投影した場合の撮像画像を示す図である。
図５及び図６から明らかであるように、図３及び図４に示す通常の画像では大きな差はなかったが、２つの深度画像については非常に大きな差がみられる。
【００６０】
計測対象Ｗをカバー４で覆わない例においては、図５に示すように、上部の透明な上蓋４２の部分６０が、黒く表示されている。これは、その部分６０でのパターン光の検出に失敗していることを示す。一方、計測対象Ｗをカバー４で覆った方は、図６に示すように、ほぼ一様な色調となっており、これは、そこの部分６０にほぼ同じ高さの平面があることを示している。
【００６１】
具体的に、その高さの状態を示したのが以下の図７及び図８である。
図７は、カバー４で覆われていない計測対象Ｗ（図３参照）に対してパターン光を投影した場合の撮像画像と直線７０の位置の高さの状況とを示す図である。図８は、カバー４で覆われた計測対象Ｗ（図４参照）に対してパターン光を投影した場合の撮像画像と直線７０の位置の高さの状況とを示す図である。なお、図７及び図８中の縦の直線７０の位置の高さの状況を、その左右の折れ線７２で示している。
【００６２】
図７に示す画像がカバー４で覆わなかった例である。図７に示すように、図の上下の不透明部分７６の高さは正しく検出されているが、その間の透明な上蓋４２の部分７４のデータは、不定値となり、発散している。なお、この図７では発散値を設定した値でクリップしている。
【００６３】
一方で、図８より明らかであるように、透明な上蓋４２の部分７４の平面が折れ線７２で正しく検出されている。
【００６４】
この方法で重要な点は、例えばロボット６の衝突回避のために進入禁止としたい領域を視覚化できているという点である。また、カバー４を手で動かすことにより、現場でデータを取得する際に、極めて容易に変更することができるという点である。
【００６５】
例えば、説明を簡単にするために、以下のような図９及び図１０のような状況を考える。
図９は、カバー４で覆われていないパーツボックス８０，８２を示す断面図である。図１０は、カバー４で覆われたパーツボックス８０，８２を示す断面図である。これは例えば、２つの同じパーツボックス８０，８２が並んでいるというような状況である。
【００６６】
ここで、図９に示す左側のパーツボックス８０の中には進入を禁止し、右側のパーツボックス８２の中からは図示しないパーツを取り出すために進入を許可するような状況を考える。
【００６７】
この場合、深度情報の取得時に、図１０に示すように、カバー４を覆うだけで、左側のパーツボックス８０を進入禁止にし、右側のパーツボックス８２を進入可とすることができる。この状況は、現場で容易に、かつ目視で確認しつつ実行することができる。
【００６８】
以下、図１１を参照して、ロボット６の作業禁止領域設定方法について説明する。
図１１は、ロボット６の作業禁止領域設定方法の一例を示すフローチャートである。
【００６９】
ロボット６の作業禁止領域設定方法は、計測対象Ｗに対して作業を行うロボット６の作業禁止領域を設定する方法であって、先ず、光を透過させる透過領域と、光を透過させない非透過領域とが混在するカバー４で覆われた計測対象Ｗに対してパターン光を投影する。次に、パターン光が投影された計測対象Ｗ及びカバー４を撮像して撮像画像を取得する。次に、撮像画像に基づいて、ロボット６から計測対象Ｗまでの距離に関する情報である深度情報を算出する。次に、深度情報に基づいて、ロボット６の作業禁止領域を設定することを含む方法である。
【００７０】
これによれば、深度情報の取得時において、計測対象Ｗの深度情報の取得領域を、光を透過させる透過領域と、光を透過させない非透過領域とが混在するカバー４を用いて覆うことができる。これにより、計測対象Ｗの深度情報の取得領域が透明の部材であっても、深度情報を精度よく検出できるようになり、ロボット６の作業禁止領域を設定できる。
以下、このようなロボット６の作業禁止領域設定方法について詳細に説明する。
【００７１】
まず、ステップＳ１００において、投影部２０は、光を透過させる透過領域と、光を透過させない非透過領域とが混在するカバー４で覆われた計測対象Ｗにパターン光を投影する。
【００７２】
次に、ステップＳ２００において、撮像部２２は、パターン光が投影された計測対象Ｗ及びカバー４を撮像して撮像画像を撮像する。そして、制御部２６は、撮像部２２から撮像画像を取得する。
【００７３】
次に、ステップＳ３００において、深度情報算出部２４は、撮像画像に基づいて、ステレオブロックマッチング法等によってロボット６から計測対象Ｗまでの距離に関する情報である深度情報を算出する。
【００７４】
次に、ステップＳ４００において、深度情報受付部３０は、三次元計測装置８から深度情報を取得する。作業禁止領域設定部３２は、深度情報に基づいて、ロボット６の作業禁止領域を設定する。そして、ロボット制御部３４は、作業禁止領域に基づいて、計測対象Ｗに所定の作業を行うようにロボット６を制御する。
【００７５】
本実施形態によれば、深度情報の取得時において、計測対象Ｗの深度情報の取得領域を、光を透過させる透過領域と、光を透過させない非透過領域とが混在するカバー４を用いて覆うことができる。これにより、計測対象Ｗの深度情報の取得領域が透明の部材であっても、深度情報を精度よく検出できるようになり、ロボット６の作業禁止領域を設定できる。
【００７６】
（第２実施形態）
次に、本実施形態に係るロボット６の作業禁止領域設定方法について説明する。
図１２は、本実施形態に係るロボット６の作業禁止領域設定方法の一例を示すフローチャートである。
【００７７】
本実施形態は、三次元計測装置８の投影部２０から投影されるパターン光のドットサイズが変更される以外は、前述した第１実施形態と同様である。なお、以下の説明では、本実施形態に関し、前述した実施形態との相違点を中心に説明し、同様の事項に関してはその説明を省略する。
【００７８】
本実施形態に係る三次元計測装置８の投影部２０が計測対象Ｗ及びカバー４に投影するパターン光は、ロボット６から計測対象Ｗまでの距離に基づいて、パターン光のドットサイズを変更、すなわちパターン密度を変更して投影される。これによれば、ロボット６から計測対象Ｗまでの距離が遠くなる場合、ドットサイズを小さく、パターン密度を高くすれば計測対象Ｗやカバー４の表面の凸凹を精度よく算出することができる。逆にロボット６から計測対象Ｗまでの距離が近くなる場合、ドットサイズを大きく、パターン密度を小さくすれば、より正確に深度情報を得ることができる。
【００７９】
以下、このようなロボット６の作業禁止領域設定方法について詳細に説明する。なお、ステップＳ１００〜ステップＳ３００、及びステップＳ４００は、第１実施形態と同様のため省略する。
【００８０】
先ず、ステップＳ３１０において、制御部２６は、ロボット６から計測対象Ｗまでの距離が所定の距離より短いか判断する。ロボット６から計測対象Ｗまでの距離が、所定の距離よりも短い場合、ステップＳ３２０に移行する。ロボット６から計測対象Ｗまでの距離が、所定の距離よりも短くない場合、ステップＳ３５０に移行する。
【００８１】
次に、ステップＳ３２０において、投影部２０は、ドットサイズの大きなパターン光を計測対象Ｗに投影する。
【００８２】
パターン光は、ロボット６から計測対象Ｗまでの距離が、所定の距離よりも短い場合、ドットサイズを大きくして投影されてもよい。これによれば、ロボット６から計測対象Ｗまでの距離が近くなると、カバー４の粗密度が相対的に低くなり（網目が粗くなり）、パターン光が非透過領域に当たらなくなってしまうが、パターン密度を低くすることでパターン光が確実に非透過領域に当たるようになる。
【００８３】
所定の距離は、パターン密度と、カバー４の透過領域と非透過領域との粗密度とが一致する距離としている。これによれば、ロボット６から計測対象Ｗまでの距離が粗密度とパターン密度が一致する距離より短い位置に計測対象Ｗがあるとき、パターン密度が低いパターン光を投影すると、パターン光が確実に非透過領域に当たるようになる。ロボット６と計測対象Ｗとの距離が所定の距離より長い位置にあるときは、ドットサイズが小さなパターン光を投影することで、計測対象Ｗやカバー４の表面の凸凹を精度よく算出できる。
【００８４】
次に、ステップＳ３３０において、撮像部２２は、パターン光が投影された計測対象Ｗ及びカバー４を撮像して撮像画像を撮像する。そして、制御部２６は、撮像部２２から撮像画像を取得する。
【００８５】
次に、ステップＳ３４０において、深度情報算出部２４は、撮像画像に基づいて、ステレオブロックマッチング法等によってロボット６から計測対象Ｗまでの距離に関する情報である深度情報を算出する。
【００８６】
次に、ステップＳ３５０において、深度情報算出部２４は、取得済みの撮像画像に基づいて、ステレオブロックマッチング法等によってロボット６から計測対象Ｗまでの距離に関する情報である深度情報を算出する。
【００８７】
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等されてもよい。
【００８８】
また、以上に説明した装置における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ（Compact Disk）−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ：Random Access Memory）のように、一定時間プログラムを保持しているものも含むものとする。
【００８９】
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００９０】
また、前述したように特許文献１に記載されている技術は、環境情報を粗く検出するという目的には適している。しかし、より複雑な状況、より密集した状況には対応できないという課題がある。
【００９１】
例えば、ランドマークは、その位置と、それが取り付けられた面の方向などの単純な情報は与えてくれる。しかし、非常に複雑な状況に対応するためには、非常に大量のランドマークが必要となる。また非常に密集した状況では、空間中のランドマークの密度も高くなり検出が困難になる。また処理の負荷も大きくなる。さらには、ランドマーク自体がロボット６によっては障害物であるために、それを設置することが許容されない状況も存在する。
【００９２】
さらには、この技術は深度情報が正しく取得され、対象が画像特徴から正しく認識されることが条件となっている。しかし、一般的な状況において、深度情報を正しく取得することは困難である。また画像特徴から対象を完全に正しく認識することも困難である。
【００９３】
さらに、ユーザーの意図を、深度情報へ反映させることが困難である。あるいはそれを変更することが困難であるという課題がある。
【００９４】
例えば、特許文献１において、予め設定した画像特徴Ａを、何らかの変更により新規の画像特徴Ｂとする場合、その場での変更は困難である。つまり、少なくとも登録データの変更処理を、そのデータで問題ないかどうかの確認処理が必要となる。
【００９５】
ここで前述の、一般的な状況において深度情報を正しく取得することが困難であること、検出性能を保証できない、について捕捉する。
【００９６】
深度情報を取得するための手段としては、光学的な手段が用いられることが多い。特許文献１にはＬＲＦ（Laser Range Finder）が記載されているが、これは光学的な手段を用いるものである。光学的な手段が用いられる理由は、非接触でデータを取得できること、取得できる範囲が広いことなどによる。
【００９７】
このような光学的な手段は、さらにいくつかの方法に分類できる。最も大きな分類は、受動的な方法か、能動的な方法かである。能動的な方法で多く用いられる方法は、ＴＯＦ（Time Of Flight、飛翔時間）法とパターン照明法とである。
【００９８】
受動的な方法とは、例えばステレオカメラで周囲を撮像し、その画像中から特徴点を検出し、それから三角測量の要領で深度を得る方法である。この方法では、画像中から安定して特徴点を検出する必要がある。しかし、未知の特徴点を安定して検出することは困難であるという問題がある。さらに例えば単色の平板のような特徴点がない状況へ対応することができないという問題がある。
【００９９】
能動的な方法は、このような問題に対応するものであり、測定側が何らかの照明手段を用いるものである。
【０１００】
ＴＯＦ法は名前のとおり、照明光が対象物で反射して戻ってくるまでの時間を求め、それから深度を得る方法である。あるいは、照明光を変調し、照明光と反射光との間の位相差を求め、それから深度を得る方法である。しかしいずれの方法においても、光速が非常に大きいために、精度を得ることが困難であるという問題がある。
【０１０１】
パターン照明法は、あるパターンを持つ光で対象を照明することにより、例えば単色の平板のような状況においても、その表面にパターン像を投影するものである。それにより、明確な特徴点を持たなかった領域に特徴点を生成することができる。また、このパターンは既知である。という点も受動的な方法に対して有利である。これらの部分を除いては、受動的な方法とほぼ同様である。
【０１０２】
実際の深度データ測定では、長距離の測定ではＴＯＦ法、近距離の測定ではパターン照明法が用いられることが多い。それは、近距離であればパターン照明法の方が、より高い精度を得ることができ、またコスト的にも有利であるからである。
【０１０３】
しかし、これらの方法においても残る問題がある。それは対象物が透明、半透明、反射面などを持つ場合には、反射光の検出、パターン光の検出のいずれもが困難であるということである。
【０１０４】
さらに、特許文献１における課題をまとめると、対象物が透明、半透明、反射物などへの対応が困難である。
【０１０５】
本実施形態によれば、前述の課題に対し以下の効果を得ることができる。
先ず、得られるデータが粗いという課題に対しては、上述した透過／非透過領域が周期的に形成された素材の面で覆うことにより、より密なデータを安定して得ることができる。また、設置、撤去が容易ではないという課題に対しては、例えば、布状のもので覆うだけなので、設置、撤去は極めて容易である。また、ユーザーの意図をデータへ反映させるのが困難であるという課題に対しては、布の面そのものが検出面であり、ユーザーがそれを容易に目視確認ができる。また、その場での変更が容易でないという課題に対しては、布状なので、一部を持ち上げる、支えを入れるなどにより、容易に変更できる。また、検出性能が保証できないという課題に対しては、既知の素材を用いるため、その検出性能を予め保証できる。また、対象物が透明、半透明、反射面への対応が困難であるという課題に対しては、光を透過させる透過領域と、光を透過させない非透過領域とが混在するカバー４を用いるため、このような面の影響を遮蔽できる。さらに、透過領域を含むため、その下にある環境物との対応を容易に視認できる。
【０１０６】
以下に、実施形態から導き出される内容を記載する。
【０１０７】
ロボットの作業禁止領域設定方法は、対象物に対して作業を行うロボットの作業禁止領域を設定する方法であって、光を透過させる透過領域と、光を透過させない非透過領域とが混在するカバーで覆われた前記対象物に対してパターン光を投影すること、前記パターン光が投影された前記対象物及び前記カバーを撮像して撮像画像を取得すること、前記撮像画像に基づいて、前記ロボットから前記対象物までの距離に関する情報である深度情報を算出すること、前記深度情報に基づいて、前記ロボットの作業禁止領域を設定すること、を含む。
これによれば、深度情報の取得時において、対象物の深度情報の取得領域を、光を透過させる透過領域と、光を透過させない非透過領域とが混在するカバーを用いて覆うことができる。これにより、対象物の深度情報の取得領域が透明の部材であっても、深度情報を精度よく検出できるようになり、ロボットの作業禁止領域を設定できる。
【０１０８】
上記のロボットの作業禁止領域設定方法では、前記カバーの前記透過領域と前記非透過領域との粗密度は、前記パターン光のパターン密度よりも高いことが好ましい。
これによれば、パターン光が非透過領域に確実に重なるため、カバーの面に投影されたパターン光を精度よく撮像することができる。
【０１０９】
上記のロボットの作業禁止領域設定方法では、前記パターン光は、前記ロボットから前記対象物までの距離に基づいて、前記パターン光のパターン密度を変更して投影されることが好ましい。
これによれば、ロボットから対象物までの距離が遠くなる場合、ドットサイズを小さく、パターン密度を高くすれば対象物やカバーの表面の凸凹を精度よく算出することができる。逆にロボットから対象物までの距離が近くなる場合、ドットサイズを大きく、パターン密度を小さくすれば、より正確に深度情報を得ることができる。
【０１１０】
上記のロボットの作業禁止領域設定方法では、前記パターン光は、前記ロボットから前記対象物までの距離が、所定の距離よりも短い場合、前記パターン密度を低下して投影されることが好ましい。
これによれば、ロボットから対象物までの距離が近くなると、カバーの粗密度が相対的に低くなり（網目が粗くなり）、パターン光が非透過領域に当たらなくなってしまうが、パターン密度を低くすることでパターン光が確実に非透過領域に当たるようになる。
【０１１１】
上記のロボットの作業禁止領域設定方法では、前記所定の距離は、前記パターン密度と、前記カバーの前記透過領域と前記非透過領域との粗密度とが一致する距離であることが好ましい。
これによれば、ロボットから対象物までの距離が粗密度とパターン密度が一致する距離より短い位置に対象物があるとき、パターン密度が低いパターン光を投影すると、パターン光が確実に非透過領域に当たるようになる。ロボットと対象物との距離が所定の距離より長い位置にあるときは、ドットサイズが小さなパターン光を投影することで、対象物やカバーの表面の凸凹を精度よく算出できる。
【０１１２】
上記のロボットの作業禁止領域設定方法では、前記深度情報は、位相シフト法で算出されることが好ましい。
これによれば、表面が一様な対象物やカバーの表面でも、深度情報を精度よく算出できる。
【０１１３】
上記のロボットの作業禁止領域設定方法では、前記深度情報は、ランダムドット法で算出されることが好ましい。
これによれば、表面が一様な対象物やカバーの表面でも、深度情報を精度よく算出できる。
【０１１４】
上記のロボットの作業禁止領域設定方法では、前記作業禁止領域は、前記カバーに設けられたマーカーに基づいて設定されることが好ましい。
これによれば、マーカーにより、異なる距離範囲で作業禁止領域を設定することができ、より効率的な作業領域を確保できる。
【０１１５】
ロボットシステムは、対象物を覆う、光を透過させる透過領域と、光を透過させない非透過領域とが混在するカバーと、ロボットと、三次元計測装置と、前記三次元計測装置の出力信号に基づいて、前記ロボットを制御するロボット制御装置と、を備え、前記三次元計測装置は、前記カバーで覆われた前記対象物に対してパターン光を投影して、前記パターン光が投影された前記対象物及び前記カバーを撮像して撮像画像を取得し、前記撮像画像に基づいて、前記ロボットから前記対象物までの距離に関する情報である深度情報を算出し、前記ロボット制御装置は、前記深度情報に基づいて、前記ロボットの作業禁止領域を設定する。
これによれば、深度情報の取得時において、対象物の深度情報の取得領域を、光を透過させる透過領域と、光を透過させない非透過領域とが混在するカバーを用いて覆うことができる。これにより、対象物の深度情報の取得領域が透明の部材であっても、深度情報を精度よく検出できるようになり、ロボットの作業禁止領域を設定できる。
【符号の説明】
【０１１６】
２…ロボットシステム、４…カバー、６…ロボット、８…三次元計測装置、１０…ロボット制御装置、２０…投影部、２２…撮像部、２４…深度情報算出部、２６…制御部、３０…深度情報受付部、３２…作業禁止領域設定部、３４…ロボット制御部、４０…収納ケース、４２…上蓋、４４…開口部、４６…構造物、４８…ネジ、５０…供給部、５２…反射面、６０…部分、７０…直線、７２…折れ線、７４…部分、７６…不透明部分、８０，８２…パーツボックス、９０…ＣＰＵ、９２…記憶部、９４…入力受付部、９６…通信部、Ｗ…計測対象（対象物）。
【図１】
2020192623.tif 000003
【図２】
2020192623.tif 000004
【図３】
2020192623.tif 000005
【図４】
2020192623.tif 000006
【図５】
2020192623.tif 000007
【図６】
2020192623.tif 000008
【図７】
2020192623.tif 000009
【図８】
2020192623.tif 000010
【図９】
2020192623.tif 000011
【図１０】
2020192623.tif 000012
【図１１】
2020192623.tif 000013
【図１２】
2020192623.tif 000014