(57)【要約】【課題】複雑なおよび／または反射性の表面を有する物体の形状および／またはサイズを判定するシステムおよび方法を提供する。【解決手段】本明細書に記載のいくつかの実施形態は、光のパターンを物体に投影することを含む、物体のおよび／またはサイズを判定するための光学システムおよび方法に関する。光のパターンは、一次反射を、拒絶され得る二次反射および／またはより高次の反射と区別することができるように構成され得る。そのため、光のパターンが物体に複数回反射される場合でも、元の反射、または一次反射を検出し、区別し、および／またはレーザー三角測量に使用することができる。いくつかの実施形態では、反射対称性および／または回転対称性を有さない光のパターンが物体に投影され、その結果、二次反射および／またはより高次の反射を一次反射と区別することができる。【選択図】図２
2021515250.tif 000002
【特許請求の範囲】
【請求項１】
一次反射が二次反射とは異なるジオメトリを有するパターンを部品に投影するように構成された光源と、
前記部品の画像を取り込む検出器と、
前記検出器に通信可能に結合されており、かつ、前記画像を処理して前記パターンの一次反射を識別し、前記パターンの二次反射をフィルタリングする計算デバイスと、
を備える装置。
【請求項２】
前記計算デバイスは、前記パターンの前記一次反射に基づいて、前記パターンが投影された前記部品の一部分の形状を識別する、請求項１に記載の装置。
【請求項３】
前記光源は、前記部品全体にわたって前記パターンをスキャンし、
前記画像は、複数の画像からのものであり、
前記検出器は、前記複数の画像を取り込み、前記部品の異なる部分が、前記複数の画像からの各画像における前記パターンの一次反射を生成し、
前記計算デバイスは、前記複数の画像を処理して、前記複数の画像からの各画像における前記パターンの一次反射を識別し、かつ、前記複数の画像からの各画像から前記パターンの二次反射をフィルタリングする、
請求項１に記載の装置。
【請求項４】
前記計算デバイスは、前記複数の画像からの各画像における前記パターンの前記一次反射に基づいて、前記部品の表面の形状を識別する、請求項３に記載の装置。
【請求項５】
前記計算デバイスは、前記複数の画像からの各画像における前記パターンの前記一次反射に基づいて、前記部品の表面の３次元モデルを生成する、請求項３に記載の装置。
【請求項６】
前記パターンは反射対称性を有さない、請求項１に記載の装置。
【請求項７】
前記パターンは回転対称性を有さない、請求項１に記載の装置。
【請求項８】
前記光源は、前記パターンの第１の部分を第１の色で投影し、前記パターンの第２の部分を第２の色で投影する、請求項１に記載の装置。
【請求項９】
非対称パターンを光源から部品に投影することと、
前記部品の画像を取り込むことと、
前記部品の前記画像を処理して、前記非対称パターンの二次反射を除去することと、
前記部品の前記画像に描写された前記非対称パターンの一次反射における前記非対称パターンの偏差に基づいて、前記部品の一部分の形状を識別することと、
を含む方法。
【請求項１０】
前記部品全体にわたって前記非対称パターンをスキャンすることと、
前記画像を含む前記部品の複数の画像を取り込むことであって、前記複数の画像からの各画像は、前記非対称パターンの一次反射が照射された前記部品の異なる部分を描写しており、前記複数の画像からの少なくとも１つの画像は、前記非対称パターンの二次反射を描写する、取り込むことと、
前記複数の画像からの各画像を処理して、前記非対称パターンの二次反射を除去することと、
前記複数の画像に描写された一次反射における前記非対称パターンの偏差に基づいて、前記部品の表面の三次元モデルを生成することと、
をさらに含む請求項９に記載の方法。
【請求項１１】
前記非対称パターンは、線形部分を含む、請求項９に記載の方法。
【請求項１２】
前記部品の前記部分の前記形状を識別することは、前記非対称パターンの前記線形部分の前記一次反射の非線形部分を識別することを含む、請求項１１に記載の方法。
【請求項１３】
前記パターンは、複数の非二等辺直角三角形を含む、請求項９に記載の方法。
【請求項１４】
前記部品の前記画像は、少なくとも、前記非対称パターンの一次反射と前記非対称パターンの二次反射とを含む、請求項９に記載の方法。
【請求項１５】
前記非対称パターンの少なくとも一部分は、レーザー線プロジェクタから投影される、請求項９に記載の方法。
【請求項１６】
前記光源は第１の光源であり、前記非対称パターンは第１の非対称パターンであり、前記部品の前記一部分は前記部品の第１の部分であり、前記方法は、
第２の光源から前記部品に第２の非対称パターンを投影することと、
前記部品の前記画像を処理して、前記第２の非対称パターンの二次以上の反射を除去することと、
前記第２の非対称パターンの線形部分の一次反射の非線形部分に基づいて、前記部品の第２の部分の形状を識別することと、
をさらに含む、
請求項９に記載の方法。
【請求項１７】
プロセッサによって実行されるコードを格納する非一時的なプロセッサ可読媒体であって、前記コードは、前記プロセッサに、
所定のジオメトリを有するパターンによって照光された部品の複数の画像を受信することであって、前記複数の画像からの各画像が、前記パターンの一次反射を含み、前記複数の画像からの少なくとも１つの画像が、前記パターンの二次反射を含む、受信することと、
前記二次反射のジオメトリを前記所定のジオメトリと比較することにより、前記少なくとも１つの画像から前記パターンの前記二次反射をフィルタリングすることと、
前記複数の画像に取り込まれた一次反射における前記パターンの線形部分を三角測量することに基づいて、前記部品の少なくとも一部分の三次元モデルを生成することと、
を行わせるコードを含む、
非一時的なプロセッサ可読媒体。
【請求項１８】
前記所定のジオメトリは、回転対称性または反射対称性を有さない、請求項１７に記載の非一時的なプロセッサ可読媒体。
【請求項１９】
前記パターンの各二次反射が前記所定のジオメトリとは異なるジオメトリを有するように、前記所定のジオメトリは回転対称性または反射対称性を有さず、
前記プロセッサに前記パターンの前記二次反射をフィルタリングさせる前記コードは、前記プロセッサに、前記所定のジオメトリ以外のジオメトリを有する前記パターンのすべての反射をフィルタリングさせるコードをさらに含む、
請求項１７に記載の非一時的なプロセッサ可読媒体。
【請求項２０】
前記パターンの前記線形部分は、第１の色を有し、
回転対称性および反射対称性を欠く前記パターンの第２の部分は、第２の色を有する、
請求項１７に記載の非一時的なプロセッサ媒体。
【請求項２１】
前記部品の少なくとも一部分の前記三次元モデルは、前記複数の画像を取り込んだ撮像デバイスの格納場所および前記部品に前記パターンを投影した光源の格納場所に、少なくとも部分的に基づいて生成される、請求項１７に記載の非一時的なプロセッサ媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１９年４月３０日に提出された「Ｒｅｆｌｅｃｔｉｏｎ  Ｒｅｆｕｔｉｎｇ  Ｌａｓｅｒ  Ｓｃａｎｎｅｒ」」と題する米国仮出願番号第６２／６６４，３２０号の優先権と利益を主張し、その開示は参照によりその全体が本明細書に組み込まれる。
【０００２】
本明細書に記載の実施形態は、概して、物体の形状および／またはサイズを判定し、物体を画像化するときに反射を拒絶するための光学システムおよび方法に関する。
【背景技術】
【０００３】
レーザースキャナは通常、レーザー線を投影し、レーザー線の反射を取り込むことによって動作する。図１に示すように、レーザー三角測量は、細いレーザー線１２５を光源１２０から物体１１０に投影することをともなう技術である。物体１１０および／またはレーザー線１２５は、カメラ１３０によって画像化される。レーザー線１２５は、平坦な表面に投影されると直線のように見える。システムは、物体、表面、および／または環境と、レーザー線との間の相互作用を視覚的に観察することによって動作する。
【０００４】
既知のレーザースキャナは、一般に、平坦な物体または反射率が非常に低い物体に適している。既知のレーザースキャナは、一般に、より複雑な、湾曲した、および／または反射性の物体には適していない。特に、湾曲した反射性の物体に投影されたレーザー線は、複数の反射を照射する可能性が高く、物体を正確にスキャンすることが不可能または非現実的である。したがって、複雑なおよび／または反射性の表面を有する物体の形状および／またはサイズを判定するシステムおよび方法の必要性が存在する。
【発明の概要】
【０００５】
本明細書に記載のいくつかの実施形態は、光のパターンを物体に投影することを含む、物体の形状および／またはサイズを判定するための光学システムおよび方法に関する。光のパターンは、一次反射を二次反射および／またはより高次の反射と区別することができ、それらを拒絶することができるように構成され得る。そのため、光のパターンが物体に複数回反射される場合でも、元の反射、または一次反射を検出し、区別し、および／またはレーザー三角測量に使用することができる。いくつかの実施形態では、反射および／または回転対称性を有さない光のパターンが物体に投影され、その結果、二次反射および／またはより高次の反射を一次反射と区別することができる。
【図面の簡単な説明】
【０００６】
【図１】従来技術のレーザー三角測量システムの概略図である。
【図２】一実施形態による、部品のジオメトリを検出するように構成されたシステムの概略図である。
【図３】一実施形態による、一次反射と二次反射とを区別するために使用可能な光源によって投影され得る例示的なパターンの図である。
【図４】一実施形態による、一次反射と二次反射とを区別するために使用可能な光源によって投影され得る例示的なパターンの図である。
【図５】一実施形態による、部品の少なくとも一部分のジオメトリを判定するための方法のフローチャートである。
【発明を実施するための形態】
【０００７】
本明細書に記載の実施形態は、光のパターンを物体に投影することを含む、物体の形状および／またはサイズを決定するための光学システムおよび方法に関する。光のパターンは、一次反射を二次反射および／またはより高次の反射と区別することができ、それらを拒絶することができるように構成され得る。そのため、光のパターンが物体に複数回反射される場合でも、元の反射、または一次反射を検出し、区別し、および／またはレーザー三角測量に使用することができる。以下でさらに詳細に説明するように、いくつかの実施形態では、物体に投影された光のパターンは、反射および／または回転対称性を有さないので、二次および／またはより高次の反射を一次反射と区別することができる。レーザー三角測量技術を、一次反射を含む、物体の取り込まれた画像（例えば、二次反射および／またはより高次の反射が除去された画像）に適用して、物体の少なくとも一部分のモデルを作成することができる。
【０００８】
レーザー三角測量という用語は、本明細書では、パターンが投影される物体の形状を判定するために用いられる技術を指すために使用されている。物体に投影される光は、レーザー光源から生じる必要はないことを理解されたい。加えて、レーザー三角測量という用語は、パターンが薄い直線部分を必要とすることを意味すると理解されるべきではない。レーザー三角測量技術を使用して、任意の適切な光源から生じる任意の所定のパターンを使用して物体の形状を確認することができる。同様に、レーザー三角測量は、任意の所定のパターンによって照光された部品の画像を分析して、パターンが投影される部品の形状によって引き起こされるパターンの偏差を識別することを含み得る。
【０００９】
本明細書に記載のいくつかの実施形態は、光源、検出器、および計算デバイスを含む装置および／またはシステムに関する。光源は、パターンの一次反射が二次反射（および／またはパターンの他の一次反射より高次の反射）とは異なるように、パターンを部品に投影するように構成することができる。検出器は、例えば部品が光源によって照光されている間に、部品の画像を取り込むように構成することができる。計算デバイスは、検出器に通信可能に結合され、部品の画像を処理してパターンの一次反射を識別し、および／または画像からの二次反射（および／またはより高次の反射）をフィルタリングするように構成することができる。
【００１０】
本明細書に記載のいくつかの実施形態は、所定の非対称パターンを部品に投影することを含む方法に関する。部品の画像は、例えば、カメラまたは他の検出器デバイスによって取り込むことができる。部品の画像を処理して、非対称パターンの二次反射を除去することができる。部品の一部分の形状は、部品の画像における非対称パターンの一次反射における所定の非対称パターンからの偏差に基づいて判定することができる。
【００１１】
本明細書に記載のいくつかの実施形態は、所定のジオメトリを有するパターンによって照光された部品の複数の画像を受信することを含むコンピュータ実装方法であって、画像の少なくとも１つは、パターンの二次反射を含む、コンピュータ実装方法に関する。二次反射のジオメトリを所定のジオメトリと比較することにより、二次反射をフィルタリングまたは拒絶することができる。部品の少なくとも一部分の三次元モデルは、複数の画像に取り込まれた一次反射のパターンの一部分（例えば、線形部分）を三角測量することによって生成することができる。
【００１２】
図２は、一実施形態による、部品２１０のジオメトリを検出するように構成されたシステムの概略図である。光源２２０は、所定のパターンを部品２１０に投影するように構成されている。適切なパターンについて、以下でさらに詳細に説明するが、一般に、パターンは二次元であり、線形部分を含む。光源２２０は、パターンを投影するように構成された任意の適切な光源であり得る。例えば、光源２２０は、ベルリンレーザー、５３２ｎｍガラスレンズグリーンレーザー線ジェネレータであり得る。別の例として、光源２２０は、Ｓｍａｒｔ  Ｖｉｓｉｏｎ  Ｌｉｇｈｔｓ製などのＬＥＤ構造化光パターンプロジェクタであり得る。さらに別の例として、光源は、Ｄｉｇｉｔａｌ  Ｌｉｇｈｔ  Ｐｒｏｃｅｓｓｉｎｇ（ＤＬＰ）、Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  ｏｎ  Ｓｉｌｉｃｏｎ（ＬＣｏＳ）、液晶ディスプレイ（ＬＣＤ）、または家庭もしくは商業劇場において視覚媒体を投影するために通常使用されるタイプなどの任意の他の適切なプロジェクタであり得る。
【００１３】
光源２２０は、任意の適切な波長および／または波長の組み合わせで所定のパターンを投影するように構成することができる。いくつかの実施形態では、光源２２０は、部品２１０に対して良好なコントラストを有する波長で、パターンの少なくとも一部分を投影するように構成することができる。例えば、部品２１０が青色である場合、パターンの少なくとも一部分は黄色であり得る。部品２１０が赤色である場合、パターンの少なくとも一部分は赤色であり得る。
【００１４】
検出器２３０は、部品２１０が光源２２０によって照光されている間に部品２１０を画像化するように構成されている。検出器２３０は、任意の適切なカメラまたは光検出器であり得る。検出器２３０は、光源２２０によって放出された光の波長に敏感に反応する。検出器２３０は、光源２２０によって投影されたパターンの顕著な特徴を取り込むのに十分な解像度を有し得る。例えば、検出器２３０は、所望のレンズが取り付けられたＢａｓｌｅｒ  ａｃｅ  ａｃＡ２０４０ー１８０ｋｃであり得る。適切なレンズの例は、Ｅｄｍｕｎｄ  Ｏｐｔｉｃｓ８ｍｍ／Ｆ１．８Ｃ−ｍｏｕｎｔである。
【００１５】
光源２２０および検出器２３０は、光源２２０が適切な強度をともなう適切な波長でパターンを投影するように構成され、それにより部品２１０が、検出器２３０が敏感に反応する色帯内にある十分な強度をともなうパターンを反射するように、事前構成され、通信可能に結合され、または別様に調整され得る。部品の異なる領域が異なる色または反射特性を有する実施形態では、検出器２３０は、照光されている部品２１０の一部分の反射特性および／または検出器２３０の感度に基づいて、異なるパターン、異なる色を有するパターン、および／または異なる強度をともなうパターンを投影するように動作可能であり得る。
【００１６】
図１を参照して上で説明したように、レーザー三角測量システムは、一般に、単純な非反射性部品のジオメトリを判定するのに適している。反射性の表面および／または角度のある表面を有する部品２１０などの物体は、既知のシステムが解像できない場合がある二次反射またはより高次の反射を生成する場合がある。図２に示すように、光源２２０は、パターンを部品２１０に投影し、検出器２２０が取り込むことができる一次反射２２２を生成する。パターンは、部品２１０で反射し、部品２１０の別の部分に二次反射２２４を照射することができ、検出器２２０はこの反射も取り込むことができる。計算デバイス２４０（プロセッサおよびメモリを有する）は、一次反射２２２を二次反射２２４（および場合によってはより高次の反射）から区別し、二次反射および／またはより高次の反射を反証またはフィルタリングすることができ、それによって、一次反射２２２のみが部品２１０の形状を判定するために使用される。
【００１７】
いくつかの実施形態では、部品２１０の形状および／またはサイズは、部品が光源２２０によって照光されている間に検出器によって撮影された部品２１０の画像を分析することによって判定することができる。具体的には、光源２２０は、所定のパターンを部品２１０に投影することができ、パターンによって照光された部品２１０の１つ以上の画像は、検出器によって取り込まれ、計算デバイス２４０によって処理され得る。計算デバイス２４０は、パターンの一次反射と予想される所定のパターンとの間の偏差を分析することができる。偏差は、パターンが投影される部品２１０の形状および／またはサイズに起因する可能性がある。場合によっては、計算デバイス２４０は、検出器２３０に関する情報（空間におけるその位置および向きが含まれ得るが、これらに限定されない）および／または光源２２０に関する情報（空間におけるその位置および向きが含まれ得るが、これらに限定されない）を記憶し、または（例えば、較正ルーチンを介して）判定することができる。検出器２３０および／または光源２２０に関する情報を使用して、パターンと部品２１０とが交差する点または領域の３次元位置（ある参照フレーム内のｘ、ｙ、ｚ状態）を生成することができる。同様に、パターンによって照光された部品２１０の部分の三次元座標を判定することができる。データを生成するための任意の所望の技術および方法を、開示されたシステムで使用することができる。
【００１８】
図３および図４は、２つの実施形態による、一次反射を二次反射から区別するために使用可能な光源によって投影することができる例示的なパターンの図である。特に、図３および図４に示すパターンは、反射または回転対称性を有さない。したがって、図３および図４に示すパターンの二次反射は、一次反射と区別することができる。同様に、図３および図４に示すパターンは、任意の回転または回転の組み合わせの下で、反射とそれに続く任意の回転または回転の組み合わせの後、元の（所定の）パターンと同一または同等になることは決してない。数学的な意味でのパターンの回転は、ユークリッド空間のある平面上の二次元パターンに適用されるように、ユークリッド空間からそのパターン自体へのマッピングであり、形状または点は平面上の単一の点を中心に回転し、かつ形状は保持される。数学的な意味でのパターンの反射は、ユークリッド空間のある平面上の二次元パターンに適用されるように、ユークリッド空間からそのパターン自体へのマッピングであり、反射される点または形状は、平面上の軸を中心にミラーリングされる。
【００１９】
図３のパターンは、２つの別個の部分、線形部分３２１とパターン部分３２２とを含む。線形部分３２１は、パターン部分３２２に対して事前定義された向きおよび位置を有する。いくつかの実施形態では、線形部分３２１およびパターン部分３２２は、異なる色であり得る。例えば、線形部分３２１は緑色のレーザー線であり得、パターン部分３２２は赤色であり得る。線形部分３２１およびパターン部分３２２は、任意の波長（例えば、人間の目には見えない波長を含む任意の「色」）または波長の組み合わせであり得ることを理解されたい。さらに、線形部分３２１およびパターン部分３２２は、別々にまたは共に（例えば、単一の光源から、または複数の光源を使用して）生成され得ることを理解されたい。
【００２０】
いくつかの実施形態では、線形部分３２１は、部品の形状を判定するためのレーザー三角測量に使用でき、一方、パターン部分３２２は、反射が（部品の形状を判定するために使用される）一次反射であるか、またはフィルタリングもしくは反証することができる二次反射もしくはより高次の反射かどうかを判定するために使用することができる。線形部分３２１およびパターン部分３２２が異なる色である実施形態では、パターン部分３２２は、任意の反射が反証された後に画像からフィルタリングすることができ、これによってレーザー三角測量処理のためにより単純な画像を提供することができる。
【００２１】
図３のパターンとは異なり、図４のパターンは、明確な線形部分およびパターン部分を有さない。パターン４２０の一部分４２１は線形であり、計算デバイスによってパターン４２０の画像から検出および／または分離することができ、部品のレーザー三角測量分析を実施するために使用することができる。さらに他の実施形態では、パターンは、単一の線または連続した線を含まなくてもよい。
【００２２】
本明細書で説明するように、検出器および／または計算デバイスが一次反射と二次反射（および場合によってはより高次の反射）とを区別できるならば、任意の適切なパターンを使用することができる。いくつかの実施形態では、パターンは、反射または回転対称性を有さない。同様に、任意のサイズ、形状、および構成のパターンを使用することができ、かつ用途、分類技術、利用可能な光源のタイプ、および／または他の任意の要因に基づいて選択することができる。いくつかの実施形態では、複数のパターンを部品に投影することができる。いくつかの実施形態では、パターンは、複数の「レーザー線」またはレーザー線類似物が部品を同時に照光することができるように、複数の線形部分を含むことができる。複数のパターンおよび／または複数の線形部分を有するパターンが部品を照光する実施形態では、各パターンは類似していてもよく、または各パターンは異なっていてもよい。異なるパターンおよび／または色を使用することは、複数のパターンの実施形態において、パターン、ひいてはパターンを発生させる光源を互いに区別するのに役立ち得る。さらに、いくつかの実施形態では、複数のパターンを同時におよび／または順次に連携して使用することができ、これにより、いくつかの表面または物体の視認性を向上させることができる。同様に、パターンや色などによっては、特定の表面で他の表面よりも目立つ場合がある。
【００２３】
図３および図４は、非二等辺直角三角形を含む部分を有するパターンを示しているが、任意の適切なパターンが使用可能であることを理解されたい。同様に、レーザー三角測量を使用して、事前に決定されたパターンを用いて部品の形状を確認することができる。そのようなパターンは、連続的な線形部分を含まない場合があり、および／またはレーザー三角測量に使用される曲線および／または円弧を含む場合がある。そのようなパターンは通常、反射または回転対称性を有さない。そのようなパターンは、レーザー三角測量に使用される線形（または曲線）部分と重なる場合がある。実装するパターンの数および種類（複数可）に制限はなく、複数のパターンを使用することができる。パターンは、レーザー三角測量に使用される線形（または曲線）部分全体を包含してもよく、または完全に包含していなくてもよい。
【００２４】
図５は、一実施形態による、部品の少なくとも一部分のジオメトリを判定するための方法のフローチャートである。５１０では、部品をパターンで照光することができる。上記のように、パターンは通常、反射または回転対称性を有さない。加えて、パターンは通常、パターン自体の一部分として（例えば、図４に示すように）、またはパターンに関連する（例えば、図３に示すように）線形部分を含む。いくつかの実施形態では、部品の表面の各部分がパターンによって照光されるように、パターンを部品上で移動または「スキャン」することができる。いくつかの実施形態では、部品を移動または回転させることができ、そのような部品の追加の表面をパターンによって照光することができる。いくつかの実施形態では、異なる場所に配設された複数の光源は、部品の複数の表面を照光することができるように、複数の角度から部品を照光することができる。
【００２５】
５２０で、部品の１つ以上の画像を１つ以上の検出器によって取り込むことができる。パターン（複数可）が部品の表面（複数可）を横切ってスキャンされる実施形態では、検出器（複数可）は、部品の一連の画像または映像を取り込むことができ、パターンは、各画像において部品の異なる部分に投影される。
【００２６】
５３０で、（プロセッサとメモリとを有する）検出器（複数可）に動作可能に結合された計算デバイスは、画像（複数可）を処理して、パターンの一次反射を識別し、二次反射および／またはより高次の反射をフィルタリングまたは反証することができる。例えば、上記のように、パターンは、二次反射（および／またはより高次の反射）が一次反射と区別可能であり、計算デバイスがそのような高次反射を拒絶するように動作可能であり得るように構成することができる。
【００２７】
一次反射とより高次の反射とを区別するための画像の処理は、パターン認識および／または分類を含む。いくつかの実施形態では、パターン認識は、画像で検出されたパターンを一次反射（クラス０）または非一次反射（クラス１）として分類することを含み得る。ソフトウェアおよびハードウェアの任意の適切な組み合わせは、パターンをクラス０の反射またはクラス１の反射として識別するように動作可能な分類器であり得る。例えば、部品の画像を分析して（例えば、プロセッサによって）、光源によって投影されたパターンの少なくとも一部分の色に一致する画素を特定することができる（任意選択で、非白色の表面および／または非理想的なミラーによって引き起こされる色ずれを考慮する）。パターンの少なくとも一部分の色に一致する画素のパターンは、投影されたパターンの一次反射の予想されるパターンと比較することができる。画素のパターンが一次反射の予想されるパターンと一致する場合、レーザー三角測量技術をそれらの画素の一部分および／またはそれらの画素に関連付けられた画素に適用することができる。画素のパターンが予想されるパターンと一致しない場合（例えば、画素のパターンが予想されるパターンの「鏡像」である場合）、それらの画素および／またはそれらの画素に関連付けられた他の画素は、二次反射またはより高次の反射に関連付けられていると識別され得、レーザー三角測量技術が画像に適用される前にフィルタリングまたは破棄される場合がある。
【００２８】
いくつかの実施形態では、部品に投影されたパターンは、２回以上反射される場合があるが、それでも一次反射であるように見える場合がある。例えば、３次または他のより高次の反射は、特定の状況下では、一次反射と同様に見える場合がある。いくつかの実施形態では、奇数の非一次反射は、パターンの強度、ノイズ、および／または鮮明度を分析することによって、クラス１の反射として識別され得る。実世界の表面（つまり、理想的なミラーではない）の場合、各反射は、表面の欠陥や吸光度などにより、ある程度の散乱を引き起こす。したがって、所定のもしくは動的な閾値を超えるノイズ、所定のもしくは動的な閾値を下回る強度、および／または所定のもしくは動的な閾値を下回る鮮明度を有するパターンは、クラス１の反射として識別され、拒絶され得る。
【００２９】
いくつかの実施形態では、深い畳み込みニューラルネットワークまたは単に畳み込みネットワークとも称し得る畳み込みニューラルネットワーク（ＣＮＮ）を、パターンまたはその任意の部分を認識するための分類器として使用することができる。任意の適切な数の層、ニューロンの活性化機能、層間の接続、ネットワーク構造などを有する任意の適切なＣＮＮを使用して、画像において検出されたパターンを分類することができる。いくつかの実施形態では、ＣＮＮのネットワーク構造は、任意の適切な手段を使用するトレーニングを通じて調整および／または変更され得る。ＣＮＮは、任意の適切な手段を使用して初期化することができる。加えて、または代替的に、スケール不変特徴変換（ＳＩＦＴ）のような技術、または他のタイプのニューラルネットワークを分類器として使用してパターンを識別することができる。
【００３０】
いくつかの実施形態では、分類器は、検出器によって取り込まれた１つ以上の画像内の領域、サブ要素、またはサブ画像上で動作するようにローカライズおよび／または実装することができる。いくつかの実施形態では、分類器は、検出器（複数可）によって取得された個々の画素（または他の方法で索引付けされた領域）を分類できるように適用することができる。
【００３１】
一例として、分類器は、画像内の各画素に対して、サブ画像を作成することによって動作することができる。各サブ画像は、特定の画素を中心とする奇数の（画素）行と奇数の（画素）列を有し得る。各サブ画像のサイズ（例えば、数または行および列）は、パターンに基づいて選択され得、かつパターンの線形部分がサブ画像の中央にある場合、パターンの顕著な特徴（例えば、図３および／または図４に示すパターンの少なくとも１つの三角形全体）がサブ画像に含まれるように構成され得る。分類器は、中央の画素がパターンの線形部分を構成しているかどうか、およびパターンが一次反射であるか、または一次反射より高次であるかどうかを判定することができる。中央の画素がパターンの線形部分を構成し、パターンが一次反射である場合、分類器はサブ画像をクラス０として示すことができる。中央の画素がパターンの線形部分を構成していない場合、および／またはパターンが一次反射でない場合、分類器はサブ画像をクラス１として示すことができる。分類器は、さまざまなサブ画像を反復し、分類結果をメモリに保存することができる。しかしながら、他の分類器は、画像またはサブ画像内で一度に２つ以上の画素を分類するように動作可能であり得、画像および／もしくはサブ画像を分類するために使用される１つ以上の画素の位置が中央の画素である必要はなく、ならびに／または画像および／もしくはサブ画像は、分類器によって、または画像が分類器によって受信される前に、フィルタリング、正規化、または他の方法で処理され得ることを理解されたい。
【００３２】
５４０で、部品の少なくとも一部分のモデルは、パターンの一次反射（クラス０）のみを使用して、計算デバイスによって生成することができる。同様に、レーザー三角測量は、例えば、検出器（複数可）および／または光源（複数可）の既知の位置を使用して、パターンの一次反射に対して実行することができる。換言すれば、所定の形状を有するパターンの線形または他の部分の一次反射の偏差を使用して、パターンのその部分によって照光された部品の部分の形状を識別することができる。すなわち、線形であることが知られている（または別の所定の形状を有する）パターンの部分は、非平坦な表面に投影され、かつ非平坦な表面から反射されることにより、一次反射において非線形に見える（または所定の形状とは異なる形状を有する）場合がある。パターンの一次反射を分析することにより、このような偏差を使用して、パターンが投影される部品の表面をマッピングすることができる。
【００３３】
パターン（複数可）が部品の表面全体でスキャンされる実施形態では、表面の３次元モデルは、二次反射および／またはより高次の反射を除去するために５３０で処理された複数の画像を使用して生成され得る。同様に、各画像は、所定の形状を有するパターンの線形部分または他の部分の一次反射によって照光された部品の異なる部分を取り込むことができ、パターンのその部分の偏差を使用して、部品の表面の三次元モデルを生成することができる。
【００３４】
本明細書に記載の実施形態は、ロボット溶接などの完全自律的または半自律的な製造プロセスに特に適している可能性がある。例えば、いくつかの実施形態では、光源および／または検出器は、適切なロボット（例えば、６軸溶接ロボット）に結合することができる。本明細書で説明する部品のモデルを使用して、溶接用の接合部または自動機械加工プロセス用の他の特徴を識別することができる。多くの溶接プロセスは、アルミニウムやステンレス鋼などの反射性の高い材料の接合をともなう。このような材料はまた、しばしば湾曲しており、複数の反射を照射するため、従来のレーザー三角測量法を不適切にすることがある。
【００３５】
様々な実施形態を上述したが、それらは、限定的なものではなく、例としてのみ提示されていることを理解されたい。例えば、本明細書に記載のいくつかの実施形態は、単一の光源、単一の検出器、および／または単一のパターンを参照している。しかしながら、複数の光源が部品を照光することができることを理解されたい。各光源は、同様のパターンまたは異なるパターンで部品を照光することができる。パターンは、複数の検出器で検出することができる。複数の光源をともなう実施形態では、検出器（複数可）および／または検出器によって取り込まれた画像を処理する計算デバイスがどの光源がどのパターンを投影したかを識別できるように、各光源が異なるパターンで部品を照光することが有利であり得る。
【００３６】
さらに、様々な実施形態が特定の特徴および／または構成要素の組み合わせを有するものとして説明したが、適宜、実施形態のいずれかからの任意の特徴および／または構成要素、ならびに追加の特徴および／または構成要素の組み合わせを有する他の実施形態も可能である。例えば、上で詳細に説明していないが、いくつかの実施形態では、部品の一部分の形状を判定する方法は、検出器（複数可）の歪み、検出器（複数可）上のレンズ（複数可）、検出器（複数可）およびレンズ（複数可）の組み合わせの歪み、ならびに／またはパターン（複数可）が投影されるテスト面もしくは固定物に対するカメラ（複数可）の相対位置が判定される較正段階を含み得る。
【００３７】
本明細書に記載のいくつかの実施形態は、方法および／または処理イベントに関する。そのような方法および／または処理イベントは、コンピュータに実装できることを理解されたい。すなわち、方法または他のイベントを本明細書で説明している場合、それらは、プロセッサとメモリとを有する計算デバイス２４０などの計算デバイスによって実行され得ることを理解されたい。本明細書に記載の方法は、局所的に、例えば、検出器、発光体、および／または部品と物理的に同じ場所に位置する計算デバイスで、および／または遠隔で、例えば、サーバー上および／または「クラウド」内で実行することができる。
【００３８】
計算デバイスのメモリは、非一時的なコンピュータ可読媒体とも称し、さまざまなコンピュータ実装動作を実行するための命令またはコンピュータコードを含み得る。コンピュータ可読媒体（またはプロセッサ可読媒体）は、それ自体が一時的な伝播信号（例えば、空間またはケーブルなどの伝送媒体上で情報を搬送する伝播電磁波）を含まないという意味で非一時的である。媒体およびコンピュータコード（コードとも称し得る）は、特定の１つ以上の目的のために設計および構築されたものとすることができる。非一時的コンピュータ可読媒体の例は、これらに限定されるものではないが、ハードディスク、フロッピーディスク、および磁気テープなどの磁気記憶媒体、コンパクトディスク／デジタルビデオディスク（ＣＤ／ＤＶＤ）、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、およびホログラフィックデバイスなどの光学記憶媒体、光ディスクなどの光磁気記憶媒体、搬送波信号処理モジュール、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）デバイスなどを含む。１つ以上のプロセッサをメモリに通信可能に結合し、非一時的なプロセッサ可読媒体に格納されたコードを実行するように動作可能にすることができる。プロセッサの例は、汎用プロセッサ（例えば、ＣＰＵ）、グラフィカルプロセッシングユニット、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、デジタルシグナルプロセッサ（ＤＳＰ）、プログラマブルロジックデバイス（ＰＬＤ）などを含む。コンピュータコードの例は、これらに限定されるものではないが、マイクロコードまたはマイクロ命令、コンパイラによって生成されるような機械命令、ウェブサービスを生成するために使用されるコード、およびインタープリタを使用するコンピュータによって実行される高レベル命令を含むファイルを含む。例えば、実施形態は、命令型プログラミング言語（例えば、Ｃ、Ｆｏｒｔｒａｎなど）、関数型プログラミング言語（Ｈａｓｋｅｌｌ、Ｅｒｌａｎｇなど）、論理プログラミング言語（例えば、Ｐｒｏｌｏｇ）、オブジェクト指向プログラミング言語（例えば、Ｊａｖａ、Ｃ＋＋など）、または他の適切なプログラミング言語および／または開発ツールを使用して実装することができる。コンピュータコードの追加の例は、これらに限定されるものではないが、制御信号、暗号化コード、および圧縮コードを含む。
【００３９】
上述した方法が特定の順序で発生する特定のイベントを示す場合、特定のイベントの順序を変更してもよい。さらに、特定のイベントは、可能な場合は並行プロセスで同時に実行してもよく、上述したように順次実行してもよい。様々な実施形態を特定の特徴および／または構成要素の組み合わせを有するものとして説明したが、適宜、実施形態のいずれかからの任意の特徴および／または構成要素の組み合わせを有する他の実施形態も可能である。
【図１】
2021515250.tif 000003
【図２】
2021515250.tif 000004
【図３】
2021515250.tif 000005
【図４】
2021515250.tif 000006
【図５】
2021515250.tif 000007
【手続補正書】
【提出日】令和2年12月16日(2020.12.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
一次反射が二次反射のジオメトリと区別可能なジオメトリを有する所定のジオメトリを有するパターンを部品に投影するように構成された光源と、
前記部品の画像を取り込む検出器と、
前記検出器に通信可能に結合されており、かつ、前記画像を処理して、前記一次反射の前記ジオメトリに基づいて前記パターンの一次反射を識別し、前記二次反射の前記ジオメトリに基づいて前記パターンの二次反射をフィルタリングする計算デバイスと、
を備える装置。
【請求項２】
前記計算デバイスは、前記パターンの前記一次反射に基づいて、前記パターンが投影された前記部品の一部分の形状を識別する、請求項１に記載の装置。
【請求項３】
前記光源は、前記部品全体にわたって前記パターンをスキャンし、
前記画像は、複数の画像からのものであり、
前記検出器は、前記複数の画像を取り込み、前記部品の異なる部分が、前記複数の画像からの各画像における前記パターンの一次反射を生成し、
前記計算デバイスは、前記複数の画像を処理して、前記複数の画像からの各画像における前記パターンの前記一次反射を識別し、かつ、前記複数の画像からの各画像から前記パターンの二次反射をフィルタリングする、
請求項１に記載の装置。
【請求項４】
前記計算デバイスは、前記複数の画像からの各画像における前記パターンの前記一次反射に基づいて、前記部品の表面の形状を識別する、請求項３に記載の装置。
【請求項５】
前記計算デバイスは、前記複数の画像からの各画像における前記パターンの前記一次反射に基づいて、前記部品の表面の３次元モデルを生成する、請求項３に記載の装置。
【請求項６】
前記所定のジオメトリは、反射対称性を有さない、請求項１に記載の装置。
【請求項７】
前記所定のジオメトリは、回転対称性を有さない、請求項１に記載の装置。
【請求項８】
前記光源は、前記パターンの第１の部分を第１の色で投影し、前記パターンの第２の部分を第２の色で投影する、請求項１に記載の装置。
【請求項９】
事前定義された非対称パターンを光源から部品に投影することであって、その結果、前記光源は、前記事前定義された非対称パターンが最初に前記部品を照光する前記部品の第１の部分で、前記事前定義された非対称パターンの一次反射を生成し、かつ、前記部品の前記第１の部分は、前記事前定義された非対称パターンを前記部品の第２の部分に反射し、それによって、前記事前定義された非対称パターンの二次反射を生成する、投影することと、
前記事前定義された非対称パターンの前記一次反射と前記非対称パターンの前記二次反射とを含む前記部品の画像を取り込むことと、
前記部品の前記画像を処理して、前記事前定義された非対称パターンの前記二次反射を除去することと、
前記一次反射の前記画像における前記事前定義された非対称パターンの偏差に基づいて、前記部品の前記第１の部分の形状を識別することと、
を含む方法。
【請求項１０】
前記部品全体にわたって前記事前定義された非対称パターンをスキャンすることと、
前記画像を含む前記部品の複数の画像を取り込むことと、
前記複数の画像からの各画像を処理して、前記事前定義された非対称パターンの二次反射を除去することと、
前記複数の画像に描写された一次反射における前記事前定義された非対称パターンの偏差に基づいて、前記部品の表面の３次元モデルを生成することと、
をさらに含む請求項９に記載の方法。
【請求項１１】
前記事前定義された非対称パターンは、線形部分および非対称部分を含む、請求項９に記載の方法。
【請求項１２】
前記部品の前記第１の部分の前記形状を識別することは、前記事前定義された非対称パターンの前記線形部分の前記一次反射の非線形部分を識別することを含む、請求項１１に記載の方法。
【請求項１３】
前記事前定義された非対称パターンは、複数の非二等辺直角三角形を含む、請求項９に記載の方法。
【請求項１４】
前記事前定義された非対称パターンの少なくとも一部分は、レーザー線プロジェクタから投影される、請求項９に記載の方法。
【請求項１５】
前記光源は第１の光源であり、前記非対称パターンは第１の所定の非対称パターンであり、前記方法は、
第２の所定の非対称パターンを第２の光源から前記部品に投影することと、
前記部品の前記画像を処理して、前記第２の所定の非対称パターンの二次以上の反射を除去することと、
前記第２の所定の非対称パターンの線形部分の一次反射の非線形部分に基づいて、前記部品の第３の部分の形状を識別することと、
をさらに含む、
請求項９に記載の方法。
【請求項１６】
プロセッサによって実行されるコードを格納する非一時的なプロセッサ可読媒体であって、前記コードは、前記プロセッサに、
所定のジオメトリを有するパターンによって照光された部品の複数の画像を受信することであって、前記複数の画像からの各画像が、前記パターンの一次反射を含み、前記複数の画像からの少なくとも１つの画像が、前記パターンの二次反射を含む、受信することと、
前記二次反射のジオメトリを前記所定のジオメトリと比較することにより、前記少なくとも１つの画像から前記パターンの前記二次反射をフィルタリングすることと、
前記複数の画像に取り込まれた一次反射における前記パターンの線形部分を三角測量することに基づいて、前記部品の少なくとも一部分の三次元モデルを生成することと、
を行わせるコードを含む、
非一時的なプロセッサ可読媒体。
【請求項１７】
前記所定のジオメトリは、回転対称性または反射対称性を有さない、請求項１６に記載の非一時的なプロセッサ可読媒体。
【請求項１８】
前記パターンの各二次反射が前記所定のジオメトリとは異なるジオメトリを有するように、前記所定のジオメトリは回転対称性または反射対称性を有さず、
前記プロセッサに前記パターンの前記二次反射をフィルタリングさせる前記コードは、前記プロセッサに、前記所定のジオメトリ以外のジオメトリを有する前記パターンのすべての反射をフィルタリングさせるコードをさらに含む、
請求項１６に記載の非一時的なプロセッサ可読媒体。
【請求項１９】
前記パターンの前記線形部分は、第１の色を有し、
回転対称性および反射対称性を欠く前記パターンの第２の部分は、第２の色を有する、請求項１６に記載の非一時的なプロセッサ媒体。
【請求項２０】
前記部品の少なくとも一部分の前記三次元モデルは、前記複数の画像を取り込んだ撮像デバイスの格納場所および前記部品に前記パターンを投影した光源の格納場所に、少なくとも部分的に基づいて生成される、請求項１６に記載の非一時的なプロセッサ媒体。
【国際調査報告】
2021515250.tif 000008
2021515250.tif 000009