(57)【要約】      （修正有）【課題】安全センサシステムおよび方法を提供する。【解決手段】プロジェクタから光パターンを第１の位置へ投影することを含む。光パターンは、第１の光パターンの各々がパターン姿勢を有した状態で形状制御素子によって生成される。第１の画像は、第１の光パターンのカメラで取り込まれる。光パターンの姿勢または形状は、形状制御素子を用いて変更される。パターンの姿勢または形状は、両方の画像から判断される。パターン姿勢および形状制御素子に送信された制御値に基づく値から、所定の測定誤差よりも大きく異なるパターン姿勢もしくは形状情報か、または所定の測定誤差よりも小さく異なるパターン姿勢もしくは形状情報に基づいて、第２の画像が有効であると判断される。【選択図】図７
2018124259.tif 000002
【特許請求の範囲】
【請求項１】
センサを操作する方法であって、
プロジェクタから第１の場合における光パターンを投影するステップであって、前記光パターンは第１の位置に投影され、前記プロジェクタは制御値に基づいて前記光パターンを変化させるように動作可能であり、前記光パターンは形状制御素子によって生成され、前記第１の場合における前記光パターンは、第１の制御値によって少なくとも部分的に定義される、ステップと、
少なくとも１つのカメラを用いて、前記第１の場合における対象物上の前記光パターンからなる第１の画像を取得するステップであって、前記少なくとも１つのカメラは、少なくとも前記プロジェクタまたは少なくとも１つの他のカメラに対して所定の幾何学的関係で配置される、ステップと、
前記第１の画像の前記光パターンに少なくとも部分的に基づいて、オペレータおよび対象物の少なくとも一方の上の少なくとも１点の三次元座標を決定するステップと、
前記形状制御素子を使用して、第２の場合において前記光パターンの姿勢または形状を変化させるステップであって、前記第２の場合における前記光パターンの姿勢または形状の変化は第２の制御値によって定義される、ステップと、
前記少なくとも１つのカメラを用いて、前記第２の場合における前記光パターンからなる第２の画像を取得するステップと、
プロセッサを用いて、前記第１の画像と前記第２の画像との間の前記光パターンの姿勢または形状の変化を判断するステップと、
プロセッサを用いて、前記姿勢または形状の前記変化が有効閾値内での違いであることに少なくとも部分的に基づいて、前記第２の画像が有効であることを判断するステップであって、前記有効閾値は、前記第１の制御値と前記第２の制御値との間の差に部分的に基づいている、ステップとを含む、方法。
【請求項２】
前記オペレータを含めた相互影響の確率が所定の確率閾値以上であることを受けて、前記対象物の方向および速度の少なくとも一方を変更するステップをさらに含む、請求項１に記載の方法。
【請求項３】
複数の場合において前記三次元座標を決定するステップをさらに含み、前記第２の画像が有効であるという判断は、前記複数の場合の各々において行われる、請求項１に記載の方法。
【請求項４】
複数の場合において前記三次元座標を決定するステップをさらに含み、前記第２の画像が有効であるという判断は、前記複数の場合の間に１回行われる、請求項１に記載の方法。
【請求項５】
前記第１の画像における前記光パターンの姿勢または形状と異なっていない前記第２の画像における前記光パターンの姿勢または形状に少なくとも部分的に基づいて信号を送信するステップをさらに含む、請求項１に記載の方法。
【請求項６】
前記第２の光パターンと、前記第２の画像と、前記所定の幾何学的関係とに少なくとも部分的に基づいて、前記対象物上の点までの奥行きを決定するステップをさらに含む、請求項１に記載の方法。
【請求項７】
前記決定された三次元座標に少なくとも部分的に基づいて、前記対象物上の点までの奥行きを決定するステップをさらに含む、請求項１に記載の方法。
【請求項８】
前記奥行きは、無効な奥行きであると判断するステップをさらに含み、
前記信号は、前記奥行きが無効であるという判断にさらに基づいている、請求項７に記載の方法。
【請求項９】
前記光パターンの姿勢または形状の変化を判断するステップは、前記第２の画像における前記光パターンの形状または姿勢の変化を、前記第１の画像における前記光パターンの前記形状または姿勢と比較するステップを含む、請求項１に記載の方法。
【請求項１０】
前記少なくとも１つのカメラは、第１のカメラと第２のカメラとを含み、前記第１のカメラは、第１のカメラ光軸と第１のカメラ姿勢とを有し、前記第２のカメラは、第２のカメラ光軸と第２のカメラ姿勢とを有し、
前記プロジェクタと、前記第１のカメラと、前記第２のカメラとは、筐体内に三角形配列で結合され、前記三角配列は、プロジェクタ光軸、前記第１のカメラ光軸、および前記第２のカメラ光軸のいずれにも一致しない平面内にあり、前記筐体は、基準系に対して固定されている、請求項１に記載の方法。
【請求項１１】
前記第２のカメラを用いて、前記第１の場合における前記対象物上の第１の光パターンからなる第３の画像を取得するステップと、
前記第２のカメラを用いて、前記第２の場合における前記対象物上の第２の光パターンからなる第４の画像を取得するステップとをさらに含む、請求項７に記載の方法。
【請求項１２】
前記光パターンの姿勢または形状の前記変化は、前記パターンの位置の所定の変化であり、前記所定の変化において、前記光パターンは、少なくとも１つのエピポーラ線から所定の距離および方向だけオフセットされる、請求項１に記載の方法。
【請求項１３】
第１のカメラは、複数の画素を有する光学センサを含み、
前記複数の画素に対する複数のレーザ光点の割合は、０．１未満である、請求項１に記載の方法。
【請求項１４】
前記割合が０．０１未満である、請求項１３に記載の方法。
【請求項１５】
第１の光パターンの不確実性パラメータを決定するステップをさらに含み、
前記パターンの位置の変化は、前記不確実性パラメータに基づいている、請求項１２に記載の方法。
【請求項１６】
前記不確実性パラメータは、０．０５〜０．３画素である、請求項１５に記載の方法。
【請求項１７】
前記光パターンの姿勢または形状の前記変化は、前記パターンの位置の所定の変化であり、前記所定の変化において、前記光パターンは、少なくとも１つのエピポーラ線に沿った方向に所定の距離および方向だけ移動される、請求項１に記載の方法。
【請求項１８】
筐体と、
前記筐体内に配置された、基準系内に光軸とプロジェクタ姿勢とを有するプロジェクタであって、光パターンを投影するように動作可能なプロジェクタと、
前記プロジェクタに動作可能に結合された形状制御素子であって、制御値に少なくとも部分的に基づいて前記光パターンの姿勢または形状を選択的に変化させるように動作可能な形状制御素子と、
前記筐体内に配置された少なくとも１つのカメラであって、前記基準系内にカメラ光軸とカメラ姿勢とを有し、少なくとも前記プロジェクタまたは少なくとも１つの他のカメラに対して所定の幾何学的関係で配置されたカメラと、
コンピュータ可読命令を有するメモリと、
前記プロジェクタと前記少なくとも１つのカメラとに動作可能に結合された、前記コンピュータ可読命令を実行するために構成された１つまたは複数のプロセッサと、
を備えたシステムであって、
前記コンピュータ可読命令は、
前記プロジェクタから第１の場合における前記光パターンを投影するステップであって、前記光パターンは第１の位置に投影され、前記第１の場合における前記光パターンは、第１の制御値によって定義される、ステップと、
前記少なくとも１つのカメラを用いて、前記第１の場合における前記対象物上の前記光パターンからなる第１の画像を取得するステップと、
前記第１の画像の前記光パターンに少なくとも部分的に基づいて、オペレータおよび対象物の少なくとも一方の上の少なくとも１点の三次元座標を決定するステップと、
前記形状制御素子を使用して、第２の場合において前記光パターンの姿勢または形状を変化させるステップであって、前記姿勢または形状の変化は第２の制御値によって定義される、ステップと、
前記少なくとも１つのカメラを用いて、前記第２の場合における前記光パターンからなる第２の画像を取得するステップと、
プロセッサを用いて、前記第１の画像と前記第２の画像との間の前記光パターンの前記姿勢または形状の変化を判断するステップと、
プロセッサを用いて、前記姿勢または形状の前記変化が有効閾値内での違いであることに少なくとも部分的に基づいて、前記第２の画像が有効であることを判断するステップであって、前記有効閾値は、前記第１の制御値と前記第２の制御値との間の差に部分的に基づいている、ステップとを含む、システム。
【請求項１９】
前記コンピュータ可読命令は、前記オペレータを含めた相互影響の確率が所定の確率閾値以上であることを受けて、前記対象物の方向および速度の少なくとも一方を変更するステップをさらに含む、請求項１８に記載のシステム。
【請求項２０】
前記コンピュータ可読命令は、複数の場合において前記三次元座標を決定するステップをさらに含み、前記第２の画像が有効であるという判断は、前記複数の場合の各々において行われる、請求項１８に記載のシステム。
【請求項２１】
前記コンピュータ可読命令は、複数の場合において前記三次元座標を決定するステップをさらに含み、前記第２の画像が有効であるという判断は、前記複数の場合の間に１回行われる、請求項１８に記載のシステム。
【請求項２２】
前記コンピュータ可読命令は、前記第１の画像における前記光パターンの姿勢または形状と異なっていない前記第２の画像における前記光パターンの姿勢または形状に少なくとも部分的に基づいて信号を送信するステップをさらに含む、請求項１８に記載のシステム。
【請求項２３】
前記コンピュータ可読命令は、奥行きが無効な奥行きであると判断するステップをさらに含み、
前記信号は、前記奥行きが無効であるという判断にさらに基づいている、請求項２２に記載のシステム。
【請求項２４】
前記変化した光パターンを判断するステップは、前記第２の画像における前記光パターンの形状または姿勢の変化を、前記第１の画像における前記光パターンの形状または姿勢と比較するステップを含む、請求項２３に記載のシステム。
【請求項２５】
前記コンピュータ可読命令は、
前記第２のカメラを用いて、前記第１の場合における前記対象物上の第１の光パターンからなる第３の画像を取得するステップと、
前記第２のカメラを用いて、前記第２の場合における前記対象物上の第２の光パターンからなる第４の画像を取得するステップとをさらに含む、請求項２３に記載のシステム。
【請求項２６】
前記所定の一組の値は、少なくとも１つのエピポーラ線からの所定の距離および方向だけのオフセットである、請求項１８に記載のシステム。
【請求項２７】
第１のカメラは、複数の画素を有する光学センサを含み、
前記複数の画素に対する複数のレーザ光点の割合は、０．１未満である、請求項２４に記載のシステム。
【請求項２８】
前記コンピュータ可読命令は、前記複数の光点について０．０５〜０．３画素の不確実性パラメータを決定するステップをさらに含み、
前記距離は前記不確実性パラメータに基づいている、請求項２７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１６年９月１４日に出願された米国仮特許出願第６２／３９４，４９５号および２０１６年１１月２８日に出願された米国仮特許出願第６２／４２６，８０２号の非仮特許出願であり、両方の仮出願の内容は参照により本明細書に組み込まれる。
【０００２】
本明細書で開示される主題は、製造環境などの環境において人間に優しいロボットまたは人間中心（human-centric）ロボットと共に使用されるような安全センサに関し、特に、システムの動作を確認するための自己検査システムを有するセンサに関する。
【背景技術】
【０００３】
ロボット装置は、コストを削減し、品質を改善するために、製造および他の環境で広く使用されてきた。ロボット装置は、敏速かつ予測不可能に動き得る硬体／剛体である。人間オペレータとの意図的でない衝突を回避するために、典型的な製造セルは、人間オペレータが当該領域に入る必要があるときにロボット装置を無効にするロックアウト手順を含む。ロボット装置をロックアウトすることによって、動いているロボットによる接触のリスクを確実に除去する。
【０００４】
人間中心ロボットと呼ばれる一種のロボット装置が開発され、これは、人間オペレータへの衝突のリスクを最小化しながら、ロボットと人間オペレータが互いに極めて接近して作業することを可能にする。これらの人間中心ロボットは、医療施設、図書館、および製造組立作業を含む様々な用途に提案され、使用されている。人間中心ロボットには、人間の存在を含むそれらロボットの周囲領域を監視することを可能にするセンサが含まれている。ロボットのコントローラは、これらのセンサ入力を受信し、近くにいる人間との衝突のリスクを予測するようにプログラムされている。人間に対する潜在的衝突が検出されると、ロボットは接触を回避するために緩和行動（例えば、速度を遅くするかまたは方向を変える）を取る。製造環境では、これらの人間中心ロボットは、軽組立および小部品の製造に使用されている。
【０００５】
例えば、ＩＳＯ／ＴＳ１５０６６（２０１６）およびＩＳ１３８４９−１：２０１５などの規格は、人間中心ロボットで使用される検知システムの所望の性能レベルおよびアーキテクチャを定義するために普及している。これらの規格は、オペレータとロボットシステムとの間の接触リスクを低減するためにシステムの動作を定義している。検知システムは、これらの規格の性能レベル「ｄ」およびカテゴリ３に該当する。この性能レベルでは、検知システムは、一種類の障害が１００〜１０００年に１度発生するような信頼性を有する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
したがって、ロボット装置で使用される既存の検知システムは、所期の目的に適してはいるが、特に、人間オペレータに極めて接近して動作することが可能な人間中心ロボットで使用するための検知システムを提供する点で改善の必要が残っている。
【課題を解決するための手段】
【０００７】
本発明の一態様によれば、システムが提供される。本システムは、筐体と、筐体内に配置された、基準系（frame of reference）内に光軸およびプロジェクタ姿勢を有するプロジェクタとを含む。光パターンを第１の光パターンから第２の光パターンに変化させる手段が設けられ、第２の光パターンは、第１の光パターンと所定の一組の値だけ異なっている。形状制御素子が提供される。筐体内に少なくとも１つのカメラが配置され、この少なくとも１つのカメラは、基準系内にカメラ光軸およびカメラ姿勢を有し、少なくともプロジェクタまたは少なくとも１つの他のカメラに対して所定の幾何学的関係で配置されている。コンピュータ可読命令を有するメモリが提供される。１つまたは複数のプロセッサが、プロジェクタおよび少なくとも１つのカメラに動作可能に結合され、この少なくとも１つのカメラは、コンピュータ可読命令を実行するように構成されている。このコンピュータ可読命令は、プロジェクタから第１の場合における光パターンを投影するステップであって、光パターンは第１の位置に投影される、ステップと、形状制御素子によって、光パターンを、第１の光パターンと第２の光パターンの各々がパターン姿勢を有する状態で生成するステップと、少なくとも１つのカメラを用いて、第１の場合における対象物上の第１の光パターンからなる第１の画像を取得するステップと、パターン形状または姿勢制御素子を使用して、第２の場合において光パターンの姿勢または形状を変化させるステップと、パターンの姿勢または形状について両方の画像からパターン姿勢または形状情報を判断するステップと、パターン姿勢および形状制御素子に送信された制御値に少なくとも部分的に基づく、第１および第２の場合における、所定の測定誤差よりも大きく異なるパターン姿勢もしくは形状情報か、または所定の測定誤差よりも小さく異なるパターン姿勢もしくは形状情報に少なくとも部分的に基づいて、第２の画像が有効であると判断するステップと、を含む。
【０００８】
本発明の別の態様によれば、製造セルを操作する方法が提供される。本方法は以下を含む。センサを操作する方法であって、この方法は、プロジェクタから第１の場合における光パターンを投影するステップであって、光パターンは第１の位置に投影され、プロジェクタは第１の光パターンを第２の光パターンに変化させる手段を含み、光パターンは、形状制御素子によって、第１の光パターンと第２の光パターンの各々がパターン姿勢を有する状態で生成される、ステップと、少なくとも１つのカメラを用いて、第１の場合における対象物上の第１の光パターンからなる第１の画像を取得するステップであって、少なくとも１つのカメラは、少なくともプロジェクタまたは少なくとも１つの他のカメラに対して所定の幾何学的関係で配置される、ステップと、パターン形状または姿勢制御素子を使用して、第２の場合において光パターンの姿勢または形状を変化させるステップと、プロセッサを用いて、パターンの姿勢または形状について両方の画像からパターン姿勢または形状情報を判断するステップと、プロセッサを用いて、パターン姿勢および形状制御素子に送信された制御値に少なくとも部分的に基づくパターン姿勢または形状情報ための値から、第１および第２の場合における、所定の測定誤差よりも大きく異なるパターン姿勢もしくは形状情報か、または所定の測定誤差よりも小さく異なるパターン姿勢もしくは形状情報に少なくとも部分的に基づいて、第２の画像が有効であると判断するステップと、を含む。
【０００９】
これらおよび他の利点および特徴は、図面と併せて以下の説明からより明らかになるであろう。
【００１０】
本発明と見なされる主題は、本明細書の結論にある特許請求の範囲に具体的に指摘されかつ明確に特許請求される。本発明の前述のおよび他の特徴および利点は、添付の図面と併せて以下の詳細な説明から明らかである。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態による、人間中心ロボットを有する製造セルの図である。
【図２】本発明の一実施形態による、図１の人間中心ロボットで使用される非接触センサの斜視図である。
【図３】本発明の一実施形態による、図２のセンサの概略図である。
【図４】本発明の別の実施形態による、図２のセンサの概略図である。
【図５】非接触センサによって投影された光パターンの図である。
【図６】プロジェクタによって投影された光パターンおよび非接触センサのカメラによって取得された画像の図である。
【図７】本発明の一実施形態による、図１の人間中心ロボットを操作する方法のフロー図である。
【図８】別の実施形態による、図１の人間中心ロボットを操作する方法のフロー図である。
【図９】別の実施形態による、図１の人間中心ロボットを操作する方法のフロー図である。  詳細な説明は、例として図面を参照し、本発明の実施形態を利点および特徴と共に説明する。
【発明を実施するための形態】
【００１２】
本発明の実施形態は、人間オペレータとロボットが互いに極めて接近して動作する環境において、製造される物体の自動検査を提供する点で利点を提供する。本発明の実施形態は、物体の廃棄および再加工のコストを低減するために製造プロセスにおいてエラーを早期に処理することを可能にするべく、製造プロセスにおいて早期に作製または組立製造される物体の費用効果の高い検査を可能にする。
【００１３】
次に、図１を参照すると、一実施形態による製造セル２０が示されている。セル２０は、例えば、ベンチトップまたはコンベヤなどの作業面２２を含む。例示的実施形態では、セル２０は、例えば、人間中心ロボットなどのロボット装置２４を含む。本明細書において使用される場合、人間中心ロボット２４は、人間オペレータ２６に極めて接近して自律的または半自律的に動作するように構成されたロボット装置である。本明細書において使用される場合、「極めて接近して」という語句は、人間中心ロボット２４の部分が、操作中に人間オペレータ２６と重なり合う領域内を移動し得るように、人間中心ロボット２４とオペレータ２６とが配置されることを意味する。人間中心ロボットは、人間に優しいロボット、協力ロボット、または人間協力ロボットとも呼ばれることがある。このように、人間中心ロボット２４は、例えば、センサ２８などの１つまたは複数のセンサを含むことができ、このセンサは、接触のリスクがある人間オペレータの所定距離内に人間中心ロボットの可動部が存在するようにオペレータ２６と人間中心ロボット２４とが配置されているかを判断する。一実施形態では、コントローラ３２は、人間中心のロボット２４の速度または動きを変化させて、接触を回避するかまたは接触した場合にオペレータ２６にかかる力を低減するように構成されている。１つまたは複数の実施形態では、人間中心ロボットは、接触点における速度が２５メートル／秒以下、最大動的動力が８０ワット以下、または最大静的耐力が１５０ニュートン以下となるように構成されている。
【００１４】
センサ２８は、人間オペレータと人間中心ロボットとの相対的な位置の判断を可能にする位置信号を送信する。例示的実施形態では、位置信号は、環境照明または周囲照明の関数ではない。換言すると、位置信号は、環境光条件とは無関係に決定される。
【００１５】
一実施形態では、人間中心ロボットは、ジンら（Ｚｉｎｎ  ｅｔ  ａｌ．）による、その内容が参照により本明細書に組み込まれる雑誌論文「人間中心ロボット設計のための新しい駆動アプローチ（Ａ  Ｎｅｗ  Ａｃｔｕａｔｉｏｎ  Ａｐｐｒｏａｃｈ  ｆｏｒ  Ｈｕｍａｎ−ｃｅｎｔｒｉｃ  Ｒｏｂｏｔ  Ｄｅｓｉｇｎ）」（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｒｏｂｏｔｉｃｓ  Ｒｅｓｅａｒｃｈ、２３巻、Ｎｏ．４〜５、２００４年４月〜５月、３７９〜３９８頁）に記載されている固有安全性のための特性を組み込むことができる。別の実施形態では、人間中心ロボットは、ハダディンら（Ｈａｄｄａｄｉｎ  ｅｔ  ａｌ．）による、その内容が参照により本明細書に組み込まれる雑誌論文「衝突試験による物理的な人間とロボットの相互影響の安全評価」（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｒｏｂｏｔｉｃｓ：Ｓｃｉｅｎｃｅ  ａｎｄ  Ｓｙｓｔｅｍｓ  ＩＩＩ、２００７年６月）に記載されている特性を含むことができる。別の実施形態では、人間中心ロボットは、その内容が参照により本明細書に組み込まれる、ＩＳＯ規格ＩＳＯ／ＤＴＳ１５０６６：２０１６、ＩＳＯ／ＴＲ１３４８２：２０１４またはＩＳＯ１０２１８−１：２０１１に準拠することができる。
【００１６】
人間中心のロボット２４は、人間オペレータに接近して自律的または半自律的に動作するロボットに伴うリスクを低減する、例えば、緩衝器またはパッドなどの追加の特徴を含むこともできることを理解されたい。図示された実施形態では、人間中心ロボット２４は、２つ以上のアームセグメント３６、３８を有する関節式アーム３４を備える基部３１を含む。アーム３４の端部には、エンドエフェクタ４０が配置されている。一実施形態では、エンドエフェクタ４０は、ツールを受け入れる大きさのカプラを含む。一実施形態では、人間中心ロボット２４は、画定された領域３０内で動作する。
【００１７】
１つまたは複数の実施形態では、アーム３４は、複数の変換器４６をさらに含む。例示的実施形態では、変換器４６の各々は、アームセグメント３６、３８の回転軸の１つに関連付けられ、そのアームセグメントの回転を測定する。変換器４６は、例えば、ロータリエンコーダであってもよい。各変換器４６は、関連付けられたアームセグメントの回転を受けてコントローラ３２に信号を送信するように電気的に結合されている。このようにして、コントローラ３２は、エンドエフェクタ４０およびアーム３４の任意の部分の位置および配向を判断することができる。エンドエフェクタ４０およびアーム３４の位置を判断することができる実施形態では、このデータをセンサ２８から取得したデータと比較して、ロボット装置２４の動作を検証することができる。
【００１８】
本明細書の実施形態では、人間中心ロボットは多軸多関節アームを備えた据え付け型であるとして説明しているが、これは例示目的であり、特許請求の範囲に記載された発明はそれに限定されるべきではないことを理解されたい。他の実施形態では、人間中心ロボットは、可動型であり、複数の関節式アームを有し、例えば、複数のアクチュエータ／カプラまたはそれらの組み合わせを有することができる。
【００１９】
コントローラ３２は、データおよび命令を受け入れ、当該命令を実行してデータを処理し、結果を提示することが可能な適切な電子装置である。コントローラ３２は、ユーザインターフェースを介して、または、これらに限定されないが、例えば、電子データカード、音声起動手段、手動操作可能な選択および制御手段、放射波長および電子的または電気的転送などの他の手段を介して、命令を受け入れることができる。したがって、コントローラ３２は、マイクロプロセッサ、マイクロコンピュータ、ミニコンピュータ、光学コンピュータ、ボードコンピュータ、複合命令セットコンピュータ、特定用途向け集積回路（ＡＳＩＣ）、縮小命令セットコンピュータ（ＲＳＩＣ）、アナログコンピュータ、デジタルコンピュータ、分子コンピュータ、量子コンピュータ、セルラコンピュータ、超電導コンピュータ、スーパーコンピュータ、ソリッドステートコンピュータ、シングルボードコンピュータ、バッファ付きコンピュータ、コンピュータネットワーク、デスクトップコンピュータ、ラップトップコンピュータ、科学技術計算用コンピュータ、セルラ電話、または前述のいずれかのハイブリッドとすることができる。
【００２０】
コントローラ３２は、センサ２８、エンコーダ４６、またはリーダ回路によって供給されるアナログ電圧レベルをデジタル信号に変換することが可能である。一実施形態では、センサ２８、エンコーダ４６、またはリーダ回路を、コントローラ３２にデジタル信号を提供するように構成してもよく、あるいはアナログ／デジタル（Ａ／Ｄ）変換器（図示せず）をセンサ２８とコントローラ３２との間に結合して、コントローラ３２による処理のためにアナログ信号をデジタル信号に変換してもよい。他の実施形態では、センサ２８とコントローラ３２との間で信号を光ファイバケーブルで転送してもよい。コントローラ３２は、人間中心ロボット２４を制御するための様々なプロセスへの入力として機能するそれらのデジタル信号を使用する。それらのデジタル信号は、人間中心ロボット２４またはその一部による人間オペレータへの接近距離を含む、１つまたは複数の人間中心ロボットデータを表すが、これに限定されない。
【００２１】
一般に、コントローラ３２は、データを受け取り、また、そのデータを所定のパラメータと比較するためにある一定の命令を与えられる。コントローラ３２は、当該パラメータを所定の分散（例えば、アーム３４が人間オペレータに接近中の）と比較し、所定の分散を超過している場合、人間中心ロボットの動作を変化させるかまたは人間オペレータ２６に警報を示すために使用し得る信号を生成することができる。一実施形態では、コントローラ３２は、アラート信号をリモートコンピュータ（図示せず）に送信するか、または、例えば、セルラＳＭＳ（テキストメッセージ）信号など別の通信媒体を介して所定の第三者に信号を送信するように構成することができる。
【００２２】
コントローラ３２は、電子回路を含むことができる。電子回路は、１つまたは複数のメモリデバイス５０に結合されたプロセッサ４８を含むことができる。メモリデバイス５０は、ランダムアクセスメモリ（ＲＡＭ）装置、不揮発性メモリ（ＮＶＭ）装置、または読み出し専用メモリ（ＲＯＭ）装置を含むことができる。また、プロセッサ４８は、データ通信バスを介して、１つまたは複数の入出力（Ｉ／Ｏ）コントローラおよびＬＡＮインターフェース装置にも結合することができる。
【００２３】
メモリデバイスは、コンピュータ可読命令または、例えば、プロセッサ用の初期化パラメータを含む主機能ファームウェアなどのアプリケーションコードおよびブートコードを格納する。また、アプリケーションコードは、プロセッサに任意の動作制御方法を実行させるプログラム命令を含み、このプログラム命令は、動作の開始および停止、センサ２８からの信号に基づくアーム３４が人間オペレータ２６に接触する確率の決定、および警報の生成を含む。アプリケーションコードは、人間中心ロボット２４と遠隔端末位置および／または受信位置との間で動作情報を送信するために使用されるオンボード遠隔測定システムを生成することができる。
【００２４】
コントローラ３２は、人間中心ロボット２４から遠隔に位置してもよいことを理解されたい。一実施形態では、人間中心ロボット２４は、遠隔配置されたコントローラ３２に信号を送信する通信回路（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、セルラ、イーサネット（登録商標））を含み得る。一実施形態では、コントローラ３２は、有線または無線通信媒体を介して人間中心ロボット２４に接続するセルラ電話であってもよい。
【００２５】
一実施形態では、製造組み立てライン２０は、人間中心ロボット２４、人間オペレータ２６、またはそれらの組み合わせによって処理されことになる物体５６を受け取る。物体５６は１個の物品として示されているが、これは例示目的であり、物体５６は、人間中心ロボット２４または人間オペレータ２６による組み立てを必要とし得る複数の構成要素またはサブアセンブリから構成されてもよいことを理解されたい。複数または集合体である構成要素またはサブアセンブリが、例えば、キット内に配列されてもよい。また、物体５６は、これらに限定されないが、例えば、機械加工、溶接、ボンディングなどの製造プロセスステップを必要とすることもある。また、物体５６は、例えば、化学処理を必要とすることもある。
【００２６】
次に、図２を参照すると、センサ２８の実施形態が示されている。図示された実施形態では、センサ２８は、２つのカメラ１００、１０２とプロジェクタ１０４とを有する３Ｄイメージャである。一実施形態では、図２の３Ｄイメージャ２８は、三次元画像に組み込むための色（テクスチャ）情報を提供するために使用することができるカメラ１０６をさらに含む。これに加えて、カメラ１０６を使用して、ビデオグラメトリの使用を介して複数の三次元画像を登録することができる。
【００２７】
本明細書において使用される場合、「プロジェクタ」という用語は、概してパターンを生成するための装置を指すと定義される。パターンの生成は、回折光学素子またはマイクロレンズ（もしくは単一レーザ）による生成などの偏向法によって、あるいは、例えば、シャッタ、（透過型プロジェクタで使用されるような）透過性、およびその他のマスクを用いた生成などのシェーディング法によって実現することができる。偏向法は、光の損失が少なく、その結果、より高い強度が得られるという利点を有する。
【００２８】
カメラ１００、１０２、１０６、およびプロジェクタ１０４は、筐体１０８によって、固定された幾何学的関係に配置されてもよい。筐体１０８は、基準系に対して固定されている。以下により詳細に説明するように、１つまたは複数の実施形態では、カメラ１００は、ベクトル１１０が、カメラ１００の投影中心からカメラ１００の基準面（例えば、センサの画素配列面）に垂直に延びるように配向されている。同様に、カメラ１０２は、ベクトル１１２が、カメラ１０２の投影中心からカメラ１０２の基準面（例えば、センサの画素配列面）に垂直に延びるように配向されている。また、プロジェクタ１０４も、ベクトル１１４がプロジェクタの投影中心を通ってプロジェクタの基準面に垂直に延びるように配向されている。ベクトル１１０、１１２は、カメラ１００、１０２がプロジェクタ１０４によって放射された画像を取得することを可能にするように互いに対して配向されている。１つまたは複数の実施形態では、カメラ１００、１０２の視野（ＦＯＶ）が、互いに重なり、またプロジェクタ１０４から放射された画像と、例えば、領域３０内の対象物などの１つまたは複数の対象物の表面上で重なるように、ベクトル１１０、１１２は、互いに対して、かつベクトル１１４に対して角度が付けられている。カメラ１００、１０２、およびプロジェクタ１０４の相対的な配向は、カメラ１００、１０２およびプロジェクタ１０４の各々の基準系における姿勢をそれぞれ規定する。１つまたは複数の実施形態では、ベクトル１１０、１１２、１１４は、カメラ１００、１０２、およびプロジェクタ１０４のそれぞれの光軸と同軸である。
【００２９】
図示された実施形態では、カメラ１００、１０２、およびプロジェクタ１０４は、Ａ１−Ａ２−Ａ３の三角形に配置されている。この三角配置は、一直線に配置された２つのカメラとプロジェクタについて利用可能な情報を上回る追加情報を提供する。一実施形態では、三角配置は、プロジェクタの光軸、カメラ１００の光軸、およびカメラ１０２の光軸と一致しない平面内に配置される。この追加情報は、エピポーラ制約の概念を示す図３と、エピポーラ制約が３Ｄイメージャ２８の三角配置にどのように有利に適用されるかを示す図４とを参照して、理解することができる。図３では、三次元三角測量機器２４０は、図３の左側および右側にそれぞれ装置１、装置２を含む。装置１、装置２は、２つのカメラ１００、１０２でもよく、あるいは、装置１、装置２は、１つのカメラと１つのプロジェクタ１０４であってもよい。その２つの装置の各々は、カメラであろうとプロジェクタであろうと、投影中心Ｏ１またはＯ２と、代表平面２３０または２１０とを有する。投影中心同士は、線２０２の長さであるベースライン距離Ｂだけ離間されている。基本的には、投影中心Ｏ１、Ｏ２は点であり、この点を通って、光線が対象物上の点へまたは対象物上の点から移動すると考えることができる。これらの光線は、照明されたプロジェクタパターンジェネレータ上のパターンなど、照射されたプロジェクタパターンから出現するか、または感光性アレイに衝突する。
【００３０】
図３では、投影中心Ｏ２に向けて角度付けされた基準面２３０と、投影中心Ｏ１に向けて角度付けされた基準面２１０とについて、平面２３０、２１０をエピポーラ点Ｅ１、Ｅ２でそれぞれ横切る線２０２が、投影中心Ｏ１とＯ２の間に描かれている。平面２３０上の点ＵＤを考える。装置１がカメラ１００である場合、画像上の点ＵＤを生成する物点は、線２３８上にあることが知られている。物点は、例えば、点ＶＡ、ＶＢ、ＶＣ、またはＶＤのうちの１つであってもよい。これらの４つの物点は、装置２の基準面２１０上の点ＷＡ、ＷＢ、ＷＣ、ＷＤにそれぞれ対応する。これは、装置２がカメラであろうとプロジェクタであろうと、当てはまる。また、これらの４つの点が平面２１０の直線２１２上にあることも当てはまる。基準面２１０とＯ１−Ｏ２−ＵＤ面との交線であるこの線は、エピポーラ線２１２と呼ばれる。基準面２１０上の任意のエピポーラ線は、エピポールＥ２を通過することになる。装置１の基準面上の任意の点について装置２の基準面上にエピポーラ線が存在するように、装置２の基準面上の任意の点についても、装置１の基準面上にエピポーラ線２３４が存在する。
【００３１】
次に、図４を参照すると、図２の３Ｄイメージャ２８と一致する３Ｄイメージャ２９０についてのエピポーラ関係が示されており、２つのカメラと１つのプロジェクタが三角配列で配置されている。一般に、装置１、装置２、および装置３は、それらの装置のうちの少なくとも１つがカメラである限り、カメラとプロジェクタの任意の組み合わせであってよい。３つの装置２９１、２９２、２９３の各々は、投影中心Ｏ１、Ｏ２、Ｏ３と、基準面２６０、２７０、２８０とをそれぞれ有する。装置の各対は、一対のエピポールを有する。装置１と装置２は、平面２６０、２７０上にエピポールＥ１２、Ｅ２１をそれぞれ有する。装置１と装置３は、平面２６０、２８０上にエピポールＥ１３、Ｅ３１をそれぞれ有する。装置２と装置３は、平面２７０、２８０上にエピポールＥ２３、Ｅ３２をそれぞれ有する。換言すると、各基準面は、２つのエピポールを含む。装置１の基準面は、エピポールＥ１２、Ｅ１３を含む。装置２の基準面は、エピポールＥ２１、Ｅ２３を含む。装置３の基準面は、エピポールＥ３１、Ｅ３２を含む。
【００３２】
一実施形態では、装置３はプロジェクタ１０４であり、装置１は第１のカメラ１００であり、装置２は第２のカメラ１０２である。測定において、投影点Ｐ３、第１の像点Ｐ１、第２の像点Ｐ２が得られたとする。これらの結果は、次のようにして一貫性をチェックすることができる。
【００３３】
像点Ｐ１の整合性をチェックするために、基準面２６０で平面Ｐ３−Ｅ３１−Ｅ１３と交差して、エピポーラ線２６４を得る。平面Ｐ２−Ｅ２１−Ｅ１２と交差して、エピポーラ線２６２を得る。像点Ｐ１が矛盾なく決定された場合、観察された像点Ｐ１は、決定されたエピポーラ線２６２と２６４との交点上にあることになる。
【００３４】
像点Ｐ２の整合性をチェックするために、基準面２７０で平面Ｐ３−Ｅ３２−Ｅ２３と交差して、エピポーラ線２７４を得る。平面Ｐ１−Ｅ１２−Ｅ２１と交差して、エピポーラ線２７２を得る。像点Ｐ２が矛盾なく決定された場合、観察された像点Ｐ２は、決定されたエピポーラ線２７２と２７４との交点上にあることになる。
【００３５】
像点Ｐ３の整合性をチェックするために、基準面２８０で平面Ｐ２−Ｅ２３−Ｅ３２と交差して、エピポーラ線２８４を得る。平面Ｐ１−Ｅ１３−Ｅ３１と交差して、エピポーラ線２８２を得る。像点Ｐ３が矛盾なく決定された場合、観察された像点Ｐ３は、決定されたエピポーラ線２８２と２８４との交点上にあることになる。
【００３６】
プロジェクタとカメラとの三角配置を有する３Ｄイメージャ２９０を使用して提供される情報の冗長性を使用して、測定時間を短縮し、誤差を特定し、補正／較正パラメータを自動的に更新することができる。
【００３７】
装置１、装置２、装置３の幾何学的構成は既知であるので、プロジェクタ２９３が対象物上の点に光点を放射し、その光点が反射されてカメラ２９１、２９２によって取り込まれ、３Ｄイメージャ２９０から対象物までの距離を決定することができることを理解されたい。３Ｄイメージャ２９０の位置および配向が既知である場合、その点の三次元座標を決定することができる。一実施形態では、プロジェクタ２９３は、１つの点Ｐ３を投影するのではなく、図５に示す要素３０２からなる配列３００などのパターン画像を投影するように構成されている。１つまたは複数の実施形態では、配列３００の要素３０２は光点である。一実施形態では、要素３０２はガウシアン形状である。いくつかの例では、３Ｄイメージャ２９０は、配列３００の個々の要素３０２のいくつかとカメラ２９１、２９２によって記録された画像との間の対応関係を上記のエピポーラ制約に基づいて決定することができる。
【００３８】
配列３００の要素３０２の密度が増加するにつれて、複数の点がエピポーラ線上にある確率が上がることを理解されたい。エピポーラ線上に複数の点が位置する場合、追加のステップを利用して、投影された各要素とカメラ２９１、２９２によって記録された画像内の識別された要素との間の対応関係を識別する。一実施形態では、潜在的な対応関係は、プロジェクタ２９３によって放射されたレーザビームからの光線が、当該三次元点を通って延びるかをチェックすることによって判断される。要素３０２の密度が増加するにつれて、偽の対応関係の数が増加することを理解されたい（本明細書では「孤立点（stray points）」と呼ぶ）。一実施形態では、配列３００は、「疎な」要素密度を有する。本明細書で使用される場合、要素３０２の疎な密度とは、カメラ２９１、２９２の画素数に対して配列３００の要素の数が著しく少ない密度のことである。一実施形態では、画素に対する要素の割合は０．１未満である。別の実施形態では、この割合は０．０１未満である。一実施形態では、配列３００は、１１，０００個の要素を有し、カメラ２９１、２９２は、各々、１，３００，０００画素の画像センサを有する。
【００３９】
３Ｄイメージャがセンサ２８として人間中心ロボット２４と共に使用される実施形態では、カメラ２９１、２９２によって取得された画像（例えば、図５）は、有効な最新の取得結果であり、カメラチップ／センサとプロジェクタ２９３によって放射されたパターン画像からの処理アルゴリズムの間で途中の状態で凍結されたデータだけではないことを、立証、確認または検証するための自己検査プロセスを実行することが望ましい。次に、図５〜図７を参照すると、画像、画像に伴う配列３００などの撮像されたパターン、および利用可能な場合には「背景画像」、すなわち撮像された背景光（構造化照明からではない）が有効であることを検証する方法４００がある。方法４００は、ブロック４０１で開始し、パターンの形状または姿勢の制御値を設定する。ブロック４０２へ続いて、プロジェクタ２９３を用いて第１の光パターンを放出する。上述したように、図示された実施形態では、第１の光パターンは、光点３０２などの要素からなる配列３００である。
【００４０】
１つまたは複数の実施形態では、３Ｄイメージャ２９０は、第１の光パターンを第２の光パターンに変化させる手段を含む。一実施形態では、第２の光パターンは、第１の光パターンを第１の方向から第２の方向に傾けることによって形成される。この実施形態では、３Ｄイメージャ２９０は、傾斜ミラー（例えば、圧電、微小電気機械システムまたはＭＥＭＳ、磁気）、並進ステージ／スライド上の可動ミラー、傾斜反射型回折光学素子（例えば、圧電、微小電気機械システムまたはＭＥＭＳ、磁気）、回転リスレープリズムまたはプリズムペア、音響光学偏向器、光学結晶、電気光学偏向器、動的回折光学素子、アドレス指定可能なレーザ源配列、特別な光発生器などであるがこれらに限定されない装置または構成要素を使用して、光パターンを変化させる手段を提供することができる。１つまたは複数の実施形態では、光パターンを変化させる手段は、パターンを生成してそのパターンの角度位置を制御する空間光発生器のような回折か、またはパターン自体の変更を含むことができる。１つまたは複数のさらなる実施形態では、パターンを変化させる手段は、ＤＭＤミラー、透過マスク、反射マスク、マスク付きマイクロレンズアレイ、ＬＣＤ素子、またはＬＣｏＳ素子によって実施されてもよい。
【００４１】
次に、方法４００はブロック４０４に進み、１つまたは複数の対象物で反射された第１の光パターンの画像を１つまたは複数のカメラ２９１、２９２によって記録する。図１の実施形態では、これらの対象物は、人間中心ロボット２４、オペレータ２６、または物体５６を含み得る。次に、方法４００はブロック４０６に進み、画像から情報を抽出し、この情報は、例えば、センサの測量作業を実行するために使用される。これは、「背景画像」を使用するか、または三次元座標へと処理することができるパターンの画像を使用して行うことができる。１つまたは複数の対象物の三次元座標は、図３および図４を参照して本明細書で説明されるエピポーラ関係を使用して決定される。
【００４２】
次に、方法４００はブロック４０８に進み、画像から形状または姿勢情報が決定される。形状または姿勢情報は、取得された画像から生成される。それは、２回の取得の間にパターンが完全に変化したか、またはパターンが所定の方法で変化したかを識別する、パターンに関する情報である。
【００４３】
方法４００は、プロジェクタ２９０から放射された第２の光パターン３０６Ａを投影するためにループする。図７に示す実施形態では、第２の光パターンは、単に第１の光パターンのパターン姿勢またはパターン形状の変更であってもよい。一実施形態では、第２の光パターンは、第１の光パターンと幾何学的に同一であり、所定の距離および方向だけオフセットされる。例示的実施形態では、オフセットの方向は、第１の光パターンの要素が位置するエピポーラ線に沿っていない方向である。１つまたは複数の実施形態では、オフセットの方向は、矢印３０４によって示される方向など、エピポーラ線に垂直な方向であってもよい。エピポーラ線から離れる方向に第２の光パターンをオフセットすることによって、方法４００は、センサの動作を検証することができる。図６に示すように、パターンの移動量は、エピポーラ線３０７の付近の不確実性範囲３０５に基づいて決定されてもよい。要素３０２Ａのうちの少なくとも１つが、プロジェクタ図においてエピポーラ線３０７上にあり、これは、カメラによって取得された画像における要素３０６Ｂに対応することを理解されたい。要素３０６Ａなどの要素を不確実性範囲３０５よりも大きな距離だけシフトすることによって、カメラによって撮像された要素３０６Ｂの動きが、単に測定の不確実性によるものではなく、光パターンの移動によるものであることを検証することができる。いくつかの実施形態では、カメラによって撮像された要素３０６などの要素は、奥行きの変化により、矢印３０９で示すように、エピポーラ線３０７に沿った方向にシフトすることができる。奥行きの変化は、対象物の動きまたは光パターンの動きに起因し得る。
【００４４】
一実施形態では、第１の光パターンからなる第１の画像は、第２の光パターンからなる第２の画像との比較のためだけに使用してもよい。この実施形態では、第１の画像（および関連するデータ／情報）は、有効性の確認のためにのみ使用され、ロボットが人間オペレータへ接近することを確認するためには使用されず、接近は、第２の画像から決定される。
【００４５】
図６に示すパターンは、互いに重ね合わされた第１の画像（要素３０２Ａ／３０２Ｂを有する第１の光パターンが投影／撮像されている）と第２の画像（要素３０６Ａ／３０６Ｂを有する変更後の光パターンが投影／撮像されている）を示すことを理解されたい。これは説明目的および明確性のためである。動作では、光パターンのうちの１パターンだけが同時に撮像され得る。光パターンの変更が、各測定ステップと共に行われてもよいこと、または、測定が、前回の測定中に取得されたパターン位置またはパターン形状と比較されてもよいことをさらに理解されたい。
【００４６】
１つまたは複数の実施形態では、対象物上の要素の座標（第１の光パターンおよび第２の光パターンの両方について）は、６自由度で決定される。
【００４７】
次に、方法４００はブロック４１０に進み、第２の光パターンの要素（例えば、第２の位置の光パターン）が、所定の距離および方向にオフセットされた位置（例えば、図６の要素３０６Ｂ）に位置しているかを判断する。これに加えて、または代替的に、いくつかの実施形態では、前回の画像取得に対して形状または姿勢情報が変化したかをチェックする。一実施形態では、ブロック４０１〜４１２のステップは、検証モジュール４０３を定義している。本明細書でより詳細に説明するように、この検証モジュールを使用して、センサ２８が所望のように機能しているかを判断することができる。
【００４８】
クエリブロック４１２では、ブロック４１０で獲得された情報に基づいて、画像およびブロック４０６で抽出された情報が有効かをチェックする。１つまたは複数の実施形態では、パターン形状または姿勢の情報が前回の測定値に対して変化した場合、当該情報は有効であるとみなされる。他の実施形態では、有効性検証のために追加のチェック、すなわち、形状または姿勢情報がブロック４０１で設定されたパターン形状および姿勢制御の制御値から予想される値と一致するかのチェックが、使用されることになる。第２の光パターンの位置が所定の方向および距離であることが検証されると、方法４００はブロック４０１にループバックし、プロセスは継続する。１つまたは複数の実施形態では、第２の光パターンからなる画像は、後続の検証プロセスの第１の光パターンとなる。
【００４９】
クエリブロック４１２において第２の光パターンの位置の有効性が確認されない場合、測定される対象物（例えば、人間中心ロボットおよび／または人間オペレータ）の三次元座標は、所望の信頼度レベルで決定することができない。結果として、人間中心ロボットと人間オペレータとの間の望ましくない接触のリスクが増大する可能性がある。
【００５０】
１つまたは複数の実施形態では、クエリブロック４１２が、第２の光パターンの位置が所定の距離および方向に対応していないことを意味する否定を返す場合、方法４００はブロック４１４に進み、信号を送信する。この信号は、電子的、視覚的（例えば、警告灯）または可聴（例えば、音声警報）であってもよい。１つまたは複数の実施形態では、この信号はセンサ２８からコントローラ３２に送信される。１つまたは複数の実施形態では、方法４００はブロック４１６に進んでもよく、この信号が人間中心ロボットに動きを急速に停止させ、人間オペレータとの望ましくない接触を回避することができる。その後、方法４００はブロック４１８で停止する。
【００５１】
方法４００は、人間中心ロボットとオペレータとの間の望ましくない接触のリスクを、環境における当該構造および環境照明条件とは関係なく防止または低減するために、センサ２８の３Ｄイメージャ２９０の使用を可能にする点で利点を提供することを理解されたい。このように、センサ２８は、センサの動作を確認するための自己検査システムを提供する。これは、従来技術のセンサシステムの環境光または周囲光への依存が当該センサの信頼性を低下させる可能性があるセンサの移動時（例えば、可動プラットフォーム、ロボット、またはガントリークレーン上での）には、さらなる利点を提供することができる。
【００５２】
方法４００は、追加ステップまたは追加プロセス動作を含み得ることを理解されたい。例えば、１つまたは複数の実施形態では、方法４００は、人間中心ロボットと人間オペレータとの間の接触可能性時間を判断することができる。接触可能性時間が閾値を上回る場合、方法４００は、再取得プロセスを実行することができ、方法４００は、ブロック４０２にループバックして、測定された対象物の三次元座標の再確立を試みる。この実施形態では、この閾値は、再取得ステップを実行するために使われる時間よりも長い時間である（例えば、この検証は、所望の安全因子との接触に先立って行われてもよい）。１つまたは複数の実施形態では、方法４００は、信号を送信するかまたは人間中心ロボットの動きを休止する前に、クエリブロック４１２において所定数の否定的検証結果（negative verifications）を有し得る。
【００５３】
次に、図８を参照すると、例えば、製造セルなどのセル２０の動作を監視するための方法４５０である別の実施形態が示されている。この実施形態では、方法４５０は、ブロック４５２で開始し、イメージャ２９０のプロジェクタ２９３の光パターンの形状または姿勢の制御値を設定する。次に、方法４５０はブロック４５４に進み、１つまたは複数の対象物から反射された第１の光パターンの画像を１つまたは複数のカメラ２９１、２９２によって記録する。図１の実施形態では、これらの対象物は、人間中心ロボット２４、オペレータ２６、または物体５６を含み得る。次に、方法４００はブロック４０６に進み、情報を画像から抽出し、この情報は、例えば、センサの測量作業を実行するために使用される。これは、「背景画像」を使用するか、または三次元座標へと処理することができるパターンからなる画像を使用して行うことができる。１つまたは複数の対象物の三次元座標は、図３および図４を参照して本明細書で説明されるエピポーラ関係を使用して決定される。
【００５４】
次に、方法４５０はブロック４５６に進み、光パターンの画像を取得する。一実施形態では、方法４５０は、結合子４５８で２つの並列プロセスに分岐する。ブロック４６０〜４６８で表される第１のプロセスは、形状または姿勢を決定し、センサ２８の動作を検証する。ブロック４７０〜４７４によって表される第２のプロセスは、オペレータおよび人間中心ロボットの三次元座標を決定する。この三次元座標から、オペレータと人間中心ロボットとの間に接触の可能性があるかを判断することができる。
【００５５】
第１のプロセスは、ブロック４６０において、取得された画像から形状または姿勢情報を決定することによって開始する。光パターンの画像を使用して、２回の画像取得の間にパターンが完全に変化したか、またはパターンが所定の方法で変化したかを識別する。次に、方法４５０は進み、ブロック４６２において、形状／姿勢情報を前回の光パターンの画像と比較する。次に、ブロック４６４において、チェックを実行し、測定された形状／姿勢情報と予想された形状／姿勢情報が許容不確実性内で一致するかを判断し、かつ／または、測定された形状／姿勢情報が前回の画像と比較して変化したかをチェックする。一実施形態では、方法４５０は、（ブロック４５２において）前回の反復からの光パターンから所定の距離だけ光パターンをオフセットすることによって、各反復において光パターンの形状／姿勢を変化させる。
【００５６】
本明細書で図７に関して説明するように、要素３０６Ａなどの要素を不確実性範囲３０５よりも大きな距離だけシフトすることによって、カメラによって撮像された要素３０６Ｂの動きが、単に測定の不確実性によるものではなく、光パターンの移動によるものであることを検証することができる。いくつかの実施形態では、カメラによって撮像された要素３０６などの要素は、奥行きの変化により、矢印３０９で示すように、エピポーラ線３０７に沿った方向にシフトすることができる。奥行きの変化は、対象物の動きまたは光パターンの動きに起因し得る。
【００５７】
次に、方法４５０はブロック４６６に進み、現在の光パターンの要素が、前回の光パターンから所定の距離および方向にオフセットされた位置に位置しているかを判断することによって、画像が有効であるかを判断する。１つまたは複数の実施形態では、センサ２８によって取得された画像は、光パターンの形状または姿勢の画像が前回の測定に対して（例えば、有効閾値だけ）変化した場合に有効であるとみなされることになる。他の実施形態では、有効性検証のために追加のチェック、すなわち、画像内の光パターンの形状または姿勢がブロック４５２で設定された光パターンの制御値から予想される値と一致するかを判断することによるチェックが、使用されることになる。現在の光パターンの位置が所定の方向および距離であることが検証されると、方法４５０はブロック４５２にループバックし、プロセスは継続する。
【００５８】
クエリブロック４６６において現在の光パターンの位置の有効性が確認されない場合、測定される対象物（例えば、人間中心ロボットおよび／または人間オペレータ）の三次元座標は、所望の信頼度レベルで決定することができない。結果として、人間中心ロボットと人間オペレータとの間の望ましくない接触のリスクが増大する可能性がある。
【００５９】
１つまたは複数の実施形態では、照会ブロック４１２が、現在の光パターンの位置が所定の距離および方向に対応していないことを意味する否定を返す場合、方法４５０はブロック４６８に進み、信号を送信する。この信号は、電子的、視覚的（例えば、警告灯）または可聴（例えば、音声警報）であってもよい。１つまたは複数の実施形態では、この信号はセンサ２８からコントローラ３２に送信される。
【００６０】
ブロック４６０〜４６８の検証プロセスと並行して、方法４５０はブロック４７０にも進み、オペレータおよび人間中心ロボットの三次元座標データが決定される。一実施形態では、取得された光パターンの画像に基づいて、オペレータおよび人間中心ロボットについて三次元座標データが決定される。別の実施形態では、三次元座標データは、取得された光パターンの画像からオペレータについてのみ決定される一方で、人間中心ロボットからの三次元座標情報は、例えば、変換器４６など人間中心ロボット上のセンサから決定し得る。このようにして、オペレータによって占有される空間の体積および人間中心ロボットによって占有される空間の体積を決定することができる。
【００６１】
次に、方法４５０はブロック４７２に進み、オペレータと人間中心ロボットとの間の相互影響（interaction）または望ましくない接触の確率を決定する。相互影響は実際の接触ではなくてもよく、人間中心ロボットの一部がオペレータの所定の距離内にある状況、または人間中心ロボットの一部が所定の閾値を上回る率／速度でオペレータに近づいている状況であり得ることを理解されたい。
【００６２】
次に、方法４５０はクエリブロック４７４に進み、ここで相互影響の確率が所定の閾値（例えば、確率閾値）を上回るかを判断する。クエリブロック４７４が否定を返す場合、換言すれば、相互影響の可能性が低いかまたは全くない場合、方法４５０はブロック４５２にループバックして、プロセスが再び開始する。
【００６３】
クエリブロック４７４が肯定（衝突の確率が閾値を上回る）を返す場合、方法４５０はブロック４７６に進み、人間中心ロボットの動きまたは位置を変更する。一実施形態では、人間中心ロボットを停止／休止する。別の実施形態では、所定の閾値未満に相互影響の確率を低減するように人間中心ロボットの動きを変更する（例えば、方向または速度の変更）。一実施形態では、クエリブロック４６６が否定（すなわち、画像の有効性が確認されない）を返す場合、方法４５０はブロック４７６に進む。人間中心ロボットの動きが変更されると、方法４５０はブロック４７８で停止する。
【００６４】
図８の実施形態では、画像の検証が連続して行われることを理解されたい。換言すると、方法４５０の反復毎に画像の検証が実行される。いくつかの実施形態では、画像検証を周期的または非周期的に行うことが望ましい場合がある。これは、光パターンの形状／姿勢の連続的な変更および画像の比較によって引き起こされる（コントローラ３２などの）計算負荷を低減するために行われ得る。次に、図９を参照すると、方法５００の実施形態が示されており、この検証プロセスが周期的に実行される。
【００６５】
方法５００は、ブロック５０２で開始し、光パターンをセル２０内に投影し、光パターンの画像を取得する。次に、本方法はブロック５０４に進み、オペレータおよび人間中心ロボットの三次元座標データを決定する。次に、方法５００はブロック５０６に進み、相互影響の確率を決定する。一実施形態では、ブロック５０４のステップは、図８のブロック４７０と同じであり、ブロック５０６のステップは、ブロック４７２と同じである。次に、方法５００はクエリブロック５０８に進み、相互影響の確率が所定の閾値を上回るかを判断する。クエリブロック５０８が肯定を返す場合、方法５００はブロック５１０に進み、図８のブロック４７６に関して説明したようにロボットの動きを変更する。
【００６６】
クエリブロック５０８が、相互影響の可能性が閾値を下回ることを意味する否定を返す場合、方法５００はクエリブロック５１２に進む。クエリブロック５１２において、カウンタ「ｎ」が閾値に等しいかを判断する。例示的実施形態では、カウンタ「ｎ」の閾値は、画像検証間に実行される反復の回数（例えば、方法５００のループの数）に等しい。クエリブロック５１２が否定（すなわち閾値に達していない）を返すと、方法５００はブロック５１４に進み、カウンタ「ｎ」を１だけインクリメントし、ブロック５０２にループバックして別の反復を開始する。クエリブロック５１２が肯定（すなわち、カウンタ閾値に達した）を返す場合、方法５００は、ブロック５１６の検証モジュール４０３に進む。検証モジュール４０３は、本明細書において図７に関して説明されており、ここでは簡潔にするために繰り返さない。
【００６７】
方法５００は、クエリブロック５１８において、ブロック５１６の出力を受け取り、画像が検証されたかを判断する。クエリブロック５１８が、画像が検証されセンサ２８が所望のように動作していることを意味する肯定を返す場合、方法５００はブロック５２０に進み、カウンタ「ｎ」をゼロにリセットして、それからブロック５０２にループバックする。クエリブロック５１８が、画像が検証されないかまたは検証することができずにセンサ２８の動作を検証できないことを意味する否定を返す場合、方法５００はブロック５２２に進み、信号を送信してオペレータにセンサ２８が所望のように動作していない可能性があることを警告する。次に、方法５００はブロック５１０に進み、人間中心ロボットの動きを変更する（例えば、停止／休止する）。その後、方法５００はブロック５２４で停止する。
【００６８】
本明細書における実施形態は、人間中心ロボットと協働してセンサ２８を使用することを言及しているが、これは例示目的であり、特許請求された発明はそれに限定されるべきではないことを理解されたい。１つまたは複数の他の実施形態では、センサ２８は、クレーン、ガントリー、コンベヤシステム、エスカレータ、エレベータ、ドアなどの半自動または手動で操作される装置と共に使用されてもよい。さらなる実施形態では、近接センサの代わりにセンサ２８を使用することができる。
【００６９】
本発明を限定的な数の実施形態のみに関して詳しく説明したが、本発明がこのように開示された実施形態に限定されないことは容易に理解できるはずである。むしろ、本発明は、上述されていないが、本発明の本質と範囲に整合する変更、変化、置換または同等の構成をいくつでも含めるように改変できる。これに加えて、本発明の各種の実施形態を説明したが、本発明の態様は上記の実施形態のいくつかだけを含んでいてもよいと理解するべきである。したがって、本発明は上記の説明によって限定されるとみなされるべきではなく、付属の特許請求の範囲によってのみ限定される。
【図１】
2018124259.tif 000003
【図２】
2018124259.tif 000004
【図３】
2018124259.tif 000005
【図４】
2018124259.tif 000006
【図５】
2018124259.tif 000007
【図６】
2018124259.tif 000008
【図７】
2018124259.tif 000009
【図８】
2018124259.tif 000010
【図９】
2018124259.tif 000011
【外国語明細書】
2018124259.tif 000012
2018124259.tif 000013
2018124259.tif 000014
2018124259.tif 000015
2018124259.tif 000016
2018124259.tif 000017
2018124259.tif 000018
2018124259.tif 000019
2018124259.tif 000020
2018124259.tif 000021
2018124259.tif 000022
2018124259.tif 000023
2018124259.tif 000024
2018124259.tif 000025
2018124259.tif 000026
2018124259.tif 000027
2018124259.tif 000028
2018124259.tif 000029
2018124259.tif 000030
2018124259.tif 000031
2018124259.tif 000032
2018124259.tif 000033
2018124259.tif 000034
2018124259.tif 000035
2018124259.tif 000036
2018124259.tif 000037
2018124259.tif 000038
2018124259.tif 000039
2018124259.tif 000040
2018124259.tif 000041
2018124259.tif 000042
2018124259.tif 000043
2018124259.tif 000044
2018124259.tif 000045
2018124259.tif 000046
2018124259.tif 000047
2018124259.tif 000048
2018124259.tif 000049