(57)【要約】【課題】本発明は、投影されたパターンのぼけ、引き伸ばし、つぶれが発生しても３次元形状の計測を行うことが可能な投影パターン作成装置を提供することを目的とする。【解決手段】本発明の投影パターン作成装置は、パターン投影装置からの投影パターンを撮像装置で撮像することにより対象物体の３次元位置または／および形状を計測するための投影パターン作成装置であって、パターン投影装置および撮像装置の光学系の特性、または／および両者の位置関係に基づいて、投影された投影パターンが、撮像装置の画像に写った際の変形を再現して変形投影パターンを生成する投影パターン変形部と、パターン投影装置または撮像装置に対する位置や傾きが異なる評価面に向けて第一の投影パターンを投影した場合に生成される、第一の変形投影パターンに基づいて、第一の投影パターンを改善した第二の投影パターンを生成する第一の投影パターン改善部と、を備える。【選択図】図７
2018059850.tif 000002
【特許請求の範囲】
【請求項１】
パターン投影装置と一乃至複数の撮像装置を備え、前記パターン投影装置から対象物体に投影された投影パターンを前記撮像装置で撮像することにより対象物体の３次元位置または／および形状を計測する３次元計測装置で使用する投影パターンを作成する投影パターン作成装置であって、
前記パターン投影装置の光学系の特性、前記撮像装置の光学系の特性、または／および前記パターン投影装置と前記撮像装置の位置関係に基づいて、前記パターン投影装置の投影範囲内に設けた評価面に向けて前記パターン投影装置から投影された前記投影パターンが、前記撮像装置の画像に写った際の変形を再現することで変形投影パターンを生成する投影パターン変形部と、
前記パターン投影装置または前記撮像装置に対する位置や傾きが異なる一乃至複数の評価面に向けて前記パターン投影装置から第一の投影パターンを投影した場合に生成される、一乃至複数の第一の変形投影パターンに基づいて、前記第一の投影パターンを改善した第二の投影パターンを生成する第一の投影パターン改善部と、
を備えることを特徴とする投影パターン作成装置。
【請求項２】
パターン投影装置と一乃至複数の撮像装置を備え、前記パターン投影装置から対象物体に投影された投影パターンを前記撮像装置で撮像することにより対象物体の３次元位置または／および形状を計測する３次元計測装置で使用する投影パターンを作成する投影パターン作成装置であって、
前記パターン投影装置の前方に前記投影パターンを投影する評価面を設け、前記パターン投影装置から評価面に投影された第一の投影パターンを前記撮像装置で撮像する投影パターン撮像部と、
前記パターン投影装置または前記撮像装置に対する位置や傾きが異なる一乃至複数の評価面に、前記パターン投影装置から前記第一の投影パターンを投影した場合に前記撮像装置の画像に写る一乃至複数の第二の変形投影パターンに基づいて前記第一の投影パターンを改善し第二の投影パターンを生成する第二の投影パターン改善部と、
を備えることを特徴とする投影パターン作成装置。
【請求項３】
請求項１、または請求項２に記載の投影パターン作成装置で作成された前記第二の投影パターンを前記パターン投影装置から投影する、３次元計測装置。
【請求項４】
前記投影パターン変形部は、前記投影パターンの前記パターン投影装置の光学系または／および前記撮像装置の光学系に起因する変形を再現した第一の変形投影パターンを生成し、
前記第一の投影パターン改善部は、前記第一の変形投影パターンに基づいて第一の評価値を算出すると共に、該第一の評価値に基づいて前記第一の投影パターンを改善する、請求項１に記載の投影パターン作成装置。
【請求項５】
前記投影パターン変形部は、前記投影パターンの前記パターン投影装置と前記撮像装置の位置関係に起因した変形を再現した第二の変形投影パターンを生成し、
前記第一の投影パターン改善部は、前記第二の変形投影パターンに基づいて第一の評価値を算出すると共に、該第一の評価値に基づいて前記第一の投影パターンを改善する、請求項１に記載の投影パターン作成装置。
【請求項６】
パターン投影装置と一乃至複数の撮像装置を備え、前記パターン投影装置から対象物体に投影された投影パターンを前記撮像装置で撮像することにより対象物体の３次元位置または／および形状を計測する３次元計測装置で使用する投影パターンを作成する投影パターン作成装置であって、
前記パターン投影装置の光学系または／および前記撮像装置の光学系、並びに前記パターン投影装置と前記撮像装置の位置関係のうちの少なくとも１つに起因する変形の影響を判定する第一の条件を満たす領域を、第一の投影パターンから第一の修正可能領域として抽出する第一の領域抽出部と、
前記第一の修正可能領域内のパターンを修正し第二の投影パターンを生成する、第三の投影パターン改善部と、
を備えることを特徴とする投影パターン作成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投影パターン作成装置および３次元計測装置に関し、特に、パターンの変形の影響を考慮してパターンを生成する投影パターン作成装置および生成されたパターンを用いる３次元計測装置に関する。
【背景技術】
【０００２】
対象物の３次元形状を計測する３次元計測装置は、パターン投影装置と撮像装置から構成され、対象物にパターン投影装置からパターンを投影し、その様子を撮像装置で撮像し、撮像された画像を処理することで、対象物の３次元形状を計測する。
【０００３】
３次元形状を求めるためには、画像に写ったパターンの幾何学的な特徴を利用し、画像同士または画像とパターンの対応関係を求める必要があるため、投影するパターンは３次元計測装置の性能を左右する重要な要素である。
【０００４】
様々な方式の３次元計測装置が提案されているが、特に、１枚のパターンで計測を行うことができる３次元計測装置は、パターンの撮像が１回で済むため短時間で計測を行うことが出来、また移動物体を計測することが出来るという利点がある。
【０００５】
パターン投影装置から対象物に投影されたパターンを撮像装置で撮像すると、撮像された画像に写るパターンは、パターン投影装置や撮像装置の光学系、対象物とパターン投影装置および撮像装置の相対位置関係、並びに対象物の形状の影響を受け、変形して見える。このパターンの変形の影響で対象物の３次元形状を正しく計測できない場合がある。
【０００６】
パターン投影装置はピントを合わせた位置で最も鮮明なパターンが投影される。図１に、従来のパターン投影装置が投影するパターンの一例を示す。図１に示すように、（１）〜（８）までパターンのサイズを小さくしていっても細かな格子まで識別することが出来る。
【０００７】
ピントを合わせた位置から離れるほど投影されたパターンがぼやける。同様に撮像装置もピントを合わせた位置で最も鮮明な画像が撮像され、ピントを合わせた位置から離れるほどぼやけた画像が撮像される。
【０００８】
図２に、従来のパターン投影装置が投影するパターンがぼやけた場合の例を示す。図２のように、パターンが細かい場合、ピント位置から離れると細かな格子がぼやけてパターンの形状の判別できなくなる。
【０００９】
対象物に凹凸がある場合や対象物が３次元計測装置に対して傾いている場合、パターン投影装置、撮像装置および対象物の表面の相対関係によって、画像に写るパターンが引き延ばされたり、逆につぶされたりすることがある。
【００１０】
図３に、従来のパターン投影装置、撮像装置および対象物の位置関係の一例を示す。また、図４に、従来のパターン投影装置が投影するパターンが引き延ばされた場合の例を示す。例えば、パターン投影装置１、撮像装置２および対象物３１が図３に示すような相対的位置関係にある場合、画像に写るパターンは横方向に引き延ばされ、図４のようになる。パターンが引き延ばされた分、パターンの識別のために広い範囲の画像を処理する必要がある。
【００１１】
図５に、従来のパターン投影装置、撮像装置および対象物の位置関係の他の例を示す。また、図６に、従来のパターン投影装置が投影するパターンがつぶされた場合の例を示す。パターン投影装置１、撮像装置２および対象物３２が図５に示すような相対的位置関係にある場合、画像に写るパターンは横方向につぶされて図６のようになる。パターンがつぶされると細かなパターンが判別できなくなり、３次元形状を計測できなくなる。
【００１２】
これまでに、１枚のパターンで計測を行う３次元計測装置が種々提案されている。
【００１３】
例えば、異なる２つのパターンを同時に対象物に投影し、撮像した画像を２つの周波数に分解し、撮像することで１回の撮像で３次元計測を行う３次元計測装置が提案されている（例えば、特許文献１）。
【００１４】
上記の手法は、画像に写るパターンにぼけが発生すると正しく計測を行うことが出来ないという問題がある。
【００１５】
その他、大まかな位置あわせを行うための投影パターンと、密に３次元点を得るための投影パターンを１つの投影パターンにまとめて、パターンの投影を１回行うことにより３次元計測を行う３次元計測装置が提案されている（例えば、特許文献２）。
【００１６】
上記の手法は、パターンのぼけ、引き伸ばし、つぶれを考慮していない。そのため、ぼけ、つぶれが発生しても画像に写るパターンが判別可能な程度までパターンを荒くするとともに、パターンが引き延ばされる分を加味し画像上の広い範囲を処理し３次元形状を求める必要があり、空間分解能を高めることができない、計測対象の細かな形状を計測することができない、奥行き方向の計測範囲が狭いといった問題がある。
【００１７】
また、縞パターンの両側に、縞を識別するパターンを追加し、３次元形状を計測する３次元計測装置が提案されている（例えば、特許文献３）。追加パターンを縞に対して左右対象とすることで、パターンのぼけや濃淡値の変化が起きても縞の中心位置がずれないようにしている。しかしながら、縞を識別する追加パターンはとても細かく、追加パターンがぼけると縞を識別できなくなってしまうため、わずかなパターンのぼけしか許容できないという問題がある。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開２００１−３４９７１３号公報
【特許文献２】特許第５３２２２０６号公報
【特許文献３】特開２０１４−１９９１９３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
本発明は、投影されたパターンのぼけ、引き伸ばし、つぶれが発生しても３次元形状の計測を行うことが出来る投影パターン作成装置および３次元計測装置を提供することを目的とする。
【課題を解決するための手段】
【００２０】
本発明の一実施例に係る投影パターン作成装置は、パターン投影装置と一乃至複数の撮像装置を備え、パターン投影装置から対象物体に投影された投影パターンを撮像装置で撮像することにより対象物体の３次元位置または／および形状を計測する３次元計測装置で使用する投影パターンを作成する投影パターン作成装置であって、パターン投影装置の光学系の特性、撮像装置の光学系の特性、または／およびパターン投影装置と撮像装置の位置関係に基づいて、パターン投影装置の投影範囲内に設けた評価面に向けてパターン投影装置から投影された投影パターンが、撮像装置の画像に写った際の変形を再現することで変形投影パターンを生成する投影パターン変形部と、パターン投影装置または撮像装置に対する位置や傾きが異なる一乃至複数の評価面に向けてパターン投影装置から第一の投影パターンを投影した場合に生成される、一乃至複数の第一の変形投影パターンに基づいて、第一の投影パターンを改善した第二の投影パターンを生成する第一の投影パターン改善部と、を備えることを特徴とする。
【発明の効果】
【００２１】
本発明の一実施例に係る投影パターン作成装置および３次元計測装置によれば、投影されたパターンのぼけ、引き伸ばし、つぶれが発生しても３次元形状の計測を行うことが出来る。
【図面の簡単な説明】
【００２２】
【図１】従来のパターン投影装置が投影するパターンの一例を示す図である。
【図２】従来のパターン投影装置が投影するパターンがぼやけた場合の例を示す図である。
【図３】従来のパターン投影装置、撮像装置および対象物の位置関係の一例を示す図である。
【図４】従来のパターン投影装置が投影するパターンが引き延ばされた場合の例を示す図である。
【図５】従来のパターン投影装置、撮像装置および対象物の位置関係の他の例を示す図である。
【図６】従来のパターン投影装置が投影するパターンがつぶされた場合の例を示す図である。
【図７】本発明の実施例１に係る投影パターン作成装置の構成を示す図である。
【図８】本発明の実施例１に係る投影パターン作成装置によるパターン作成手順を説明するためのフローチャートである。
【図９】本発明の実施例１に係る投影パターン作成装置によって作成されたパターンの一例を示す図である。
【図１０】本発明の実施例１に係る投影パターン作成装置によって作成されたパターンの他の例を示す図である。
【図１１】本発明の実施例１に係る投影パターン作成装置によってパターンを引き延ばす方法を説明するための図である。
【図１２】本発明の実施例１に係る投影パターン作成装置によってパターンをつぶす方法を説明するための図である。
【図１３】本発明の実施例１に係る投影パターン作成装置の他の構成を示す図である。
【図１４】本発明の実施例２に係る投影パターン作成装置の構成を示す図である。
【図１５】本発明の実施例２に係る投影パターン作成装置によるパターン作成手順を説明するためのフローチャートである。
【図１６】本発明の実施例３に係る投影パターン作成装置によるパターン作成手順を説明するためのフローチャートである。
【発明を実施するための形態】
【００２３】
以下、図面を参照して、本発明に係る投影パターン作成装置および３次元計測装置について説明する。
【００２４】
［実施例１］
まず、本発明の実施例１に係る投影パターン作成装置について説明する。図７に、本発明の実施例１に係る投影パターン作成装置の構成を示す。本発明の実施例１に係る投影パターン作成装置４は、３次元計測装置１０１で使用する投影パターンを作成する。３次元計測装置１０１は、パターン投影装置１と一乃至複数の撮像装置２を備え、パターン投影装置１から対象物体に投影された投影パターンを撮像装置２で撮像することにより対象物体の３次元位置または／および形状を計測する。
【００２５】
図７に示すように、投影パターン作成装置４は、投影パターン変形部５と、第一の投影パターン改善部６と、を備える。また、３は、対象物体が配置される評価面である。
【００２６】
投影パターン変形部５は、パターン投影装置１の光学系の特性、撮像装置２の光学系の特性、または／およびパターン投影装置１と撮像装置２の位置関係に基づいて、パターン投影装置４の投影範囲内に設けた評価面３に向けてパターン投影装置１から投影された投影パターンが、撮像装置２の画像に写った際の変形を再現することで変形投影パターンを生成する。
【００２７】
第一の投影パターン改善部６は、パターン投影装置１または撮像装置２に対する位置や傾きが異なる一乃至複数の評価面３に向けてパターン投影装置１から第一の投影パターンを投影した場合に生成される、一乃至複数の第一の変形投影パターンに基づいて、第一の投影パターンを改善した第二の投影パターンを生成する。投影パターン作成装置４で作成された第二の投影パターンをパターン投影装置１から投影する。
【００２８】
投影パターン変形部５は、パターン投影装置１の光学系または／および撮像装置２の光学系に起因する変形を再現した第一の変形投影パターンを生成し、第一の投影パターン改善部６は、第一の変形投影パターンに基づいて第一の評価値を算出すると共に、該第一の評価値に基づいて第一の投影パターンを改善することが好ましい。
【００２９】
さらに、投影パターン変形部５は、パターン投影装置１と撮像装置２の位置関係に起因した変形を再現した第二の変形投影パターンを生成し、第一の投影パターン改善部６は、第二の変形投影パターンに基づいて第一の評価値を算出すると共に、該第一の評価値に基づいて第一の投影パターンを改善することが好ましい。
【００３０】
３次元計測装置１０１は、パターン投影装置１と、撮像装置２と、を備える。パターン投影装置１と撮像装置２を一体の筐体に収めてもよいし、別の筐体に収めてもよい。パターン投影装置１に対して撮像装置２が１つでもよいし、複数でもよい。投影パターン作成装置４は、パターン投影装置１や撮像装置２と同じ筐体に収めてもよいし、別の筐体に収めてもよい。
【００３１】
パターン投影装置１には任意の方式のものが使用できる。例えば以下の構成を用いたパターン投影装置が挙げられる。
・液晶、ＭＥＭＳ（Micro Electro Mechanical Systems）デバイス、またはフォトマスクを使用する。
・光源にランプ、またはＬＥＤを使用する。
・光源の波長は可視光、赤外光、紫外光を用いることができる。
【００３２】
撮像装置２には任意のものを使用できる。例えば以下の撮像装置が挙げられる。
・カラーカメラ
・グレースケールカメラ
・赤外や紫外などの可視光以外を光源として撮像が行えるカメラ
【００３３】
第二の投影パターンは以下の手順で生成される。詳細は後述する。
・対象物の３次元形状を計測出来れば、ランダムドットやデブルーイン系列を利用する方法など任意の手法で生成されたパターンを投影パターンの初期値とする。
・投影パターンで３次元計測を行うことが出来るかどうかを数値化し、評価値Ａとする。評価値Ａを計算する方法の例は後述する。
・投影パターンを意図的にぼかした変形投影パターンで評価値Ａと同様の計算を行い評価値Ｂとする。投影パターンをぼかす方法の例は後述する。
・投影パターンを意図的に引き伸ばした変形投影パターンで評価値Ａと同様の計算を行い評価値Ｃとする。投影パターンを引き延ばす方法の例は後述する。
・投影パターンを意図的につぶした変形投影パターンで評価値Ａと同様の計算を行い評価値Ｄとする。投影パターンをつぶす方法の例は後述する。
・評価値Ａに評価値Ｂ、Ｃ、Ｄを１つ以上加算した合計値Ｅが減少するよう、投影パターンを修正し再度合計値Ｅを求めるという操作を繰り返し、投影パターンを改善する。投影パターンを改善する方法の例は後述する。
【００３４】
次に、本発明の実施例１に係る投影パターン作成装置４による第二の投影パターン作成手順について、図８に示したフローチャートを用いて説明する。
【００３５】
まず、ステップＳ１０１において、評価値Ａを計算する。評価値Ａの計算方法の例を示す。
【００３６】
３次元計測装置１０１で３次元計測を行う際、撮像装置２で撮像した画像に対して、エッジ抽出、平滑化、フーリエ変換など前処理を行う場合は、投影パターンに前処理を行った上で評価値Ａを求める。
【００３７】
評価値Ａは３次元計測方法に合わせて任意の計算方法で求めることが出来る。例えば、以下の計算方法が考えられる。
・縦縞など特定の幾何学模様を検出して３次元計測を行う場合は、投影パターンに対する特定の幾何学模様が検出できなかった面積の割合を評価値Ａとして計算する。
・３次元計測に幾何学模様の順序関係の認識が必要な場合は、投影パターンに対する順序関係が正しく求められなかった割合を評価値Ａとして計算する。
・投影パターンに繰り返しが無いことを利用して３次元計測を行う場合は、投影パターン中の注目する小領域と別の小領域との差をすべての組み合わせで計算し、最大の差、差の総和、差の平均を評価値Ａとして計算する。尚、投影パターンが特定の方向だけ繰り返しが無い場合や、注目する領域に対してある範囲の中で繰り返しが無い場合は、繰り返しが無い範囲で計算を行う。
・複数の３次元計測方法を組み合わせている場合は、それぞれで評価値を計算し、その和として評価値Ａを求めてもよい。
【００３８】
次に、ステップＳ１０２において、投影パターンのぼけを考慮するか否かを判断し、投影パターンのぼけを考慮する場合は、ステップＳ１０３において、投影パターンをぼかし、ステップＳ１０４において、評価値Ｂを計算する。一方、投影パターンのぼけを考慮しない場合は、ステップＳ１０３およびＳ１０４を実行しない。
【００３９】
投影パターンをぼかす方法の例について説明する。投影パターンをぼかす方法の１つは、ローパスフィルタを適用し、投影パターンの高周波成分を除去する方法が挙げられる。ローパスフィルタを適用することで、投影パターンが撮像装置のピントを合わせた位置から離れたところに投影された場合を再現することが出来る。
【００４０】
投影パターンをぼかす別の方法はパターン投影装置１の光学系を考慮し、ぼけたパターンを生成する。例えば、図９のような白黒パターンを投影すると、白い部分にはパターン投影装置１から光が照射され、黒い部分にはパターン投影装置１から光が照射されない。
【００４１】
パターン投影装置１からスポット光を投影すると、投影されたスポットはピントを合わせた位置で最もスポット径が小さくなり、ピントを合わせた位置から離れるほど径が大きくなる。そのため、投影された投影パターンは、ピントを合わせた位置から離れるにつれて投影パターンの白い部分が膨張しぼけが発生する。
【００４２】
図９に示した投影パターンに、ぼけが発生すると図１０のようになる。白い部分が黒い部分に膨張するため、白黒境界線の黒側に灰色の領域が発生する。そのため、黒い細かな形状は灰色になり判別が難しくなる。一方、白い部分は膨張するため細かな形状は失われにくい。
【００４３】
そのため、投影パターンの黒い部分を境界線に近いほど白く、境界線から離れるほど黒くなるよう、境界線からの距離に応じて投影パターンの濃淡値を変更することで投影パターンのぼけを再現することが出来る。
【００４４】
投影パターンが白黒の２階調でなく多階調の場合は、それぞれの境界線で濃淡値の小さい側へ同様の処理を行うことで投影パターンのぼけを再現することが出来る。
【００４５】
また、投影パターンがカラーの場合は成分ごとに処理を行うことで投影パターンのぼけを再現することが出来る。
【００４６】
パターン投影装置１の光学系が異なり投影パターンの白い部分の膨張では投影パターンのぼけを再現できない場合は、光学系に合わせた任意の処理を行い、投影パターンのぼけを再現してもよい。
【００４７】
３次元計測では撮像装置２で撮像された画像を処理するので、ローパスフィルタとパターンの白い部分の膨張を投影パターンに両方適用して評価を行ってもよい。ぼけの支配的要因がパターン投影装置１である場合は投影パターンの白い部分の膨張のみを、また撮像装置２である場合は投影パターンにローパスフィルタのみを適用して評価を行ってもよい。
【００４８】
投影パターンをぼかす更に別の方法として、実際にパターン投影装置１からピントを合わせた位置から離れた位置に設置した任意の対象物（例えば平面）に投影パターンを投影し、投影された投影パターンを撮像装置２で撮像し、撮像された画像を変形投影パターンとして評価を行ってもよい。
【００４９】
次に、ステップＳ１０５において、投影パターンの引き伸ばしを考慮するか否かを判断する。投影パターンの引き伸ばしを考慮する場合は、ステップＳ１０６において投影パターンを引き延ばし、ステップＳ１０７において、評価値Ｃを計算する。一方、投影パターンの引き伸ばしを考慮しない場合は、ステップＳ１０６およびＳ１０７を実行しない。
【００５０】
次に、投影パターンを引き延ばす方法の例について説明する。投影パターンを引き延ばす１つの方法は、パターン投影装置１、撮像装置２、およびパターンが投影される対象物の表面の相対関係、並びにパターン投影装置１、撮像装置２の光学系を考慮して引き延ばされた変形投影パターンを生成する方法である。例えば、図１１のようにパターン投影装置１に対して傾いた面３１にパターンＩAが投影される場合、撮像装置２で撮像される画像ＩBにはパターン投影装置１に近い面に投影されたパターンに比べて遠い面に投影されたパターンの方がより大きく引き延ばされる。
【００５１】
パターン投影装置１の光学系の数値モデル、撮像装置２の光学系の数値モデル、並びにパターン投影装置１、撮像装置２、およびパターンが投影される面の相対位置関係から、引き延ばされた変形投影パターンを計算することが出来る。パターン投影装置１および撮像装置２は実際に使用する装置に合わせて任意の数値モデルを使用して良い。また、相対位置関係によって投影パターンの引き延ばされ方が変わるので、異なる複数の相対位置関係で引き延ばされた変形投影パターンを生成し評価に用いてもよい。
【００５２】
投影パターンを引き延ばす別の方法として、投影パターンをある方向に拡大する方法が挙げられる。この方法はパターン投影装置１や撮像装置２に対して傾きの少ない面に投影パターンＩAを投影した場合に撮像装置２で撮像された画像に写る投影パターンを近似的に表現することが出来る。投影パターンを引き延ばす処理を短時間で行うことが出来るため、投影パターンの改善にかかる時間を短縮できる利点がある。
【００５３】
投影パターンを引き延ばす更に別の方法として、実際にパターン投影装置１から傾いた任意の対象物（例えば平面）に投影パターンを投影し、撮像装置２で投影された投影パターンを撮像し、撮像された画像を変形投影パターンとして評価を行ってもよい。
【００５４】
次に、ステップＳ１０８において、投影パターンのつぶれを考慮するか否かを判断する。投影パターンのつぶれを考慮する場合は、ステップＳ１０９において投影パターンをつぶし、ステップＳ１１０において、評価値Ｄを計算する。一方、投影パターンのつぶれを考慮しない場合は、ステップＳ１０９およびＳ１１０を実行しない。
【００５５】
次に、投影パターンをつぶす方法の例について説明する。投影パターンをつぶす１つの方法は、投影パターンを引き延ばす場合と同様に、パターン投影装置１、撮像装置２、および投影パターンが投影される対象物表面の相対関係、並びにパターン投影装置１、撮像装置２の光学系を考慮する方法である。例えば、図１２のようにパターン投影装置１に対して傾いた面３２に投影パターンＩAが投影される場合、撮像装置２で撮像される画像ＩBにはパターン投影装置１に近い面に投影されたパターンに比べて遠い面に投影されたパターンの方がより大きいつぶれが発生する。
【００５６】
引き延ばされた変形投影パターンを計算する場合と同じ手法を用いて、つぶされた変形投影パターンを生成することが出来る。また、異なる複数の相対関係でつぶされた変形投影パターンを評価に用いることが出来る。
【００５７】
投影パターンをつぶす別の方法は、投影パターンをある方向に縮小する方法が挙げられる。この方法はパターン投影装置１や撮像装置２に対して傾きの少ない面に投影パターンＩAを投影した場合に、撮像装置で撮像された画像に写る投影パターンを近似的に表現することが出来る。投影パターンをつぶす処理を短時間で行うことが出来るため、投影パターンの改善にかかる時間を短縮できる利点がある。
【００５８】
投影パターンをつぶす更に別の方法として、実際にパターン投影装置１から傾いた任意の対象物（例えば平面）に投影パターンを投影し、投影された投影パターンを撮像装置２で撮像し、撮像された画像を変形投影パターンとして評価を行ってもよい。
【００５９】
次に、ステップＳ１１１において、評価値Ｅを計算する。評価値Ｅを計算する方法の例について説明する。
【００６０】
任意の数式を用いて評価値Ａ〜Ｄから評価値Ｅを求めることができる。例えば以下の方法が挙げられる。
・評価値Ａ〜Ｄの和を評価値Ｅとする。
Ｅ＝Ａ＋Ｂ＋Ｃ＋Ｄ
・評価値Ａ〜Ｄに重みαA〜αDを乗算したうえで、合計値Ｅとする。
Ｅ＝αA×Ａ＋αB×Ｂ＋αC×Ｃ＋αD×Ｄ
・評価値Ｂを算出する際に、上述した複数の異なる方法で投影パターンをぼかして算出した評価値をそれぞれＢ1〜Ｂnとし、Ｂ1〜Ｂnの和ΣＢiを評価値Ｂとして用いてもよい。
・異なるｎ個の条件で投影パターンを引き延ばした場合の評価値Ｃ1〜Ｃnを計算し、得られたｎ個の評価値の和を評価値Ｃ＝ΣＣiとして、上記と同様に評価値Ｅを求める。
・異なるｎ個の条件で投影パターンをつぶした場合の評価値Ｄ1〜Ｄnを計算し、得られたｎ個の評価値の和を評価値Ｄ＝ΣＤiとして、上記と同様に評価値Ｅを求める。
・評価値Ａ〜Ｄのすべてを使って評価値Ｅを算出するのではなく、ＡとＢだけなど、一部だけを用いて評価値Ｅを算出するようにしてもよい。
【００６１】
次に、ステップＳ１１２において、計算した評価値Ｅが所定の閾値より小さくなっているか否かを判断する。評価値Ｅが閾値より小さくなっている場合は、処理を終了する。
【００６２】
一方、評価値Ｅが閾値以上となっている場合は、ステップＳ１１３において、投影パターンを修正する。なお、図８には、投影パターンをぼかす工程、投影パターンを引き伸ばす工程、および投影パターンをつぶす工程のそれぞれを並行して、即ち、パラレルに実行する例を示している。しかしながらこのような例には限られず、上記各工程を順次、即ち、シリアルに実行するようにしてもよい。
【００６３】
投影パターンを修正する方法の例について説明する。最尤推定、強化学習、遺伝的アルゴリズムなど任意の方法で投影パターンを修正することが出来る。例えば、以下の方法が挙げられる。
・投影パターンの境界線を細分化し、幾つかの細分化した境界線の位置を動かすことで投影パターンを修正する。境界線は、任意の方法で選択してよい。例えば、ランダムに選択する方法、投影パターン中の評価値Ｅを大きくする原因となっている領域内から選択する方法が挙げられる。
・投影パターンを小領域に細分化し、幾つかの小領域のそれぞれの白黒値を変えることで投影パターンを修正する。小領域は、任意の方法で選択して良い。例えば、ランダムに選択する方法、投影パターン中の評価値Ｅを大きくする原因となっている領域内から選択する方法が挙げられる。
・投影パターンを全体的に拡大、または縮小する。
・予め複数の小パターンを用意し、小パターンを並べ投影パターンを表現する。小パターンの配置を変えることで投影パターンを修正する。
【００６４】
以上のようにして、投影パターンのぼけ、引き伸ばし、つぶれの影響を考慮して第二の投影パターンを生成し、生成された第二の投影パターンを３次元計測に用いることができる。
【００６５】
次に、本発明の実施例１に係る投影パターン作成装置の変形例について説明する。図１３に、本発明の実施例１に係る投影パターン作成装置の他の構成を示す。本発明の実施例１の変形例に係る投影パターン作成装置４１は、３次元計測装置１０１１で使用する投影パターンを作成する。３次元計測装置１０１１は、パターン投影装置１と一乃至複数の撮像装置２を備え、パターン投影装置１から対象物体に投影された投影パターンを撮像装置２で撮像することにより対象物体の３次元位置または／および形状を計測する。
【００６６】
投影パターン作成装置４１は、投影パターン撮像部７と、第二の投影パターン改善部８と、を備える。
【００６７】
投影パターン撮像部７は、パターン投影装置１の前方に投影パターンを投影する評価面を設け、パターン投影装置１から評価面に投影された第一の投影パターンを撮像装置２で撮像する。
【００６８】
第二の投影パターン改善部８は、パターン投影装置１または撮像装置２に対する位置や傾きが異なる一乃至複数の評価面に、パターン投影装置１から第一の投影パターンを投影した場合に撮像装置２の画像に写る一乃至複数の第二の変形投影パターンに基づいて第一の投影パターンを改善し第二の投影パターンを生成する。投影パターン作成装置４１は、３次元計測装置１０１１を内蔵している。そのため、投影パターン作成装置４１で作成された第二の投影パターンをパターン投影装置４１から投影することができる。
【００６９】
本発明の実施例１に係る投影パターン作成装置によれば、空間分解能を粗くしたり計測範囲を制限したりすることなく、奥行きのある対象の計測や、対象までの距離が正確にわからないばら積みされた対象の計測が可能となる。
【００７０】
［実施例２］
次に、本発明の実施例２に係る投影パターン作成装置について説明する。図１４に、本発明の実施例２に係る投影パターン作成装置の構成を示す。本発明の実施例２に係る投影パターン作成装置４２が、本発明の実施例１に係る投影パターン作成装置４と異なっている点は、第一の領域抽出部９と、第三の投影パターン改善部１０と、を備える点である。本発明の実施例２に係る投影パターン作成装置４２の他の構成は、本発明の実施例１に係る投影パターン作成装置４における構成と同様であるので詳細な説明は省略する。
【００７１】
第一の領域抽出部９は、パターン投影装置１の光学系または／および撮像装置２の光学系、並びにパターン投影装置１と撮像装置２の位置関係のうちの少なくとも１つに起因する変形の影響を判定する第一の条件を満たす領域を、第一の投影パターンから第一の修正可能領域として抽出する。
【００７２】
第三の投影パターン改善部１０は、第一の修正可能領域内のパターンを修正し第二の投影パターンを生成する。
【００７３】
次に、本発明の実施例２に係る投影パターン作成装置４２による第二の投影パターン作成手順について、図１５に示したフローチャートを用いて説明する。
【００７４】
実施例１では投影パターンのぼけ、引き伸ばし、つぶれを考慮した評価値を用いて投影パターンを評価した。一方、実施例２では、投影パターンの評価は評価値Ａで行い、ぼけや引き伸ばし、つぶれの影響を考慮して投影パターンの修正に制限を設け、投影パターンの改善を行う。
【００７５】
まず、ステップＳ２０１において、評価値Ａを計算する。次に、ステップＳ２０２において、評価値Ａが所定の閾値より小さいか否かを判断する。評価値Ａが閾値より小さい場合は処理を終了する。
【００７６】
一方、評価値Ａが閾値以上である場合は、以下の手順で投影パターンを修正する。
・予め、ぼけに強いパターンが満たす条件Ｂ、引き伸ばしに強いパターンが満たす条件Ｃ、つぶれに強いパターンが満たす条件Ｄを設定する。条件Ｂ、Ｃ、Ｄの例は後述する。
・投影パターンを小領域に分割し、小領域ごとに条件Ｂを満たすか否かを判定し、ステップＳ２０３において投影パターンのボケを考慮すると判断した場合には、ぼけに強い領域ＲBを抽出する（ステップＳ２０４）。一方、ステップＳ２０３において投影パターンのボケを考慮しないと判断した場合には、ステップＳ２０４の工程を実行しない。
・投影パターンを小領域に分割し、小領域ごとに条件Ｃを満たすか否かを判定し、ステップＳ２０５において投影パターンの引き伸ばしを考慮すると判断した場合には、引き伸ばしに強い領域ＲCを抽出する（ステップＳ２０６）。一方、ステップＳ２０５において投影パターンの引き伸ばしを考慮しないと判断した場合には、ステップＳ２０６の工程を実行しない。
・投影パターンを小領域に分割し、小領域ごとに条件Ｄを満たすか否かを判定し、ステップＳ２０７において投影パターンのつぶれを考慮すると判断した場合には、つぶれに強い領域ＲDを抽出する（ステップＳ２０８）。一方、ステップＳ２０７において投影パターンのつぶれを考慮しないと判断した場合には、ステップＳ２０８の工程を実行しない。
・抽出された領域ＲB〜ＲDから投影パターンを修正可能な領域ＲEを抽出する（ステップＳ２０９）。領域ＲEの抽出方法の例は後述する。
・評価値Ａが減少するよう、抽出されたＲE内のパターンを実施例１と同じ要領で修正（ステップＳ２１０）し、再度パターンを修正可能な領域ＲEを求めるという操作を繰り返し、投影パターンを改善する。なお、図１５には、ぼけに強い領域ＲBを抽出する工程、引き伸ばしに強い領域ＲCを抽出する工程、およびつぶれに強い領域ＲDを抽出する工程のそれぞれを並行して、即ち、パラレルに実行する例を示している。しかしながらこのような例には限られず、上記各工程を順次、即ち、シリアルに実行するようにしてもよい。
【００７７】
次に、上述した条件Ｂ、Ｃ、Ｄの例について説明する。
まず、条件Ｂの例について説明する。ぼけに強いパターンが満たす条件として、例えば以下を条件Ｂとして用いることが出来る。
・境界線と境界線の間隔が、閾値以上
・最も小さい黒領域の面積が、閾値以上
・最も小さい白領域の面積が、閾値以上
・境界線前後の値の変化量が、閾値以上
【００７８】
次に、条件Ｃの例について説明する。引き伸ばしに強いパターンが満たす条件として、例えば以下を条件Ｃとして用いることが出来る。
・白領域の面積の総和が、閾値以下
・黒領域の面積の総和が、閾値以下
・境界線と境界線の間隔が、閾値以下
・最も小さい黒領域の面積が、閾値以下
・最も小さい白領域の面積が、閾値以下
【００７９】
次に、条件Ｄの例について説明する。つぶれに強いパターンが満たす条件として、例えば以下を条件Ｄとして用いることが出来る。
・境界線と境界線の間隔が、閾値以上
・最も小さい黒領域の面積が、閾値以上
・最も小さい白領域の面積が、閾値以上
【００８０】
次に、領域ＲEの抽出方法の例について説明する。任意の方法を用いて領域ＲB〜ＲDからＲEを抽出して良い。例えば、以下の方法が挙げられる。
・領域ＲB〜ＲDの論理和を領域ＲEとする。
・領域ＲB〜ＲDの論理積を領域ＲEとする。
・領域ＲB〜ＲDのいずれか２つ以上の領域に含まれる領域を領域ＲEとする。
【００８１】
本発明の実施例２に係る投影パターン作成装置４２によれば、ぼけや引き伸ばし、つぶれの影響を考慮して投影パターンの修正に制限を設け、投影パターンの改善を行うことにより、空間分解能を粗くしたり計測範囲を制限したりすることなく、奥行きのある対象の計測や、対象までの距離が正確にわからないばら積みされた対象の計測が可能となる。
【００８２】
［実施例３］
次に、本発明の実施例３に係る投影パターン作成装置について説明する。実施例３では、実施例１と２の組み合わせ投影パターンを改善する。図１６に、本発明の実施例３に係る投影パターン作成装置による投影パターン作成手順を説明するためのフローチャートを示す。図１６において、ステップＳ３０１〜Ｓ３１２が、実施例１におけるフローチャートのステップＳ１０１〜Ｓ１１２に相当し、ステップＳ３１３〜Ｓ３２０が、実施例２におけるフローチャートのステップＳ２０３〜Ｓ２０９に相当する。
【００８３】
本発明の実施例３に係る投影パターン作成装置によれば、ぼけや引き伸ばし、つぶれの影響を考慮して投影パターンの改善を行うことにより、空間分解能を粗くしたり計測範囲を制限したりすることなく、奥行きのある対象の計測や、対象までの距離が正確にわからないばら積みされた対象の計測が可能となる。
【符号の説明】
【００８４】
１    パターン投影装置
２    撮像装置
４    投影パターン投影装置
５    投影パターン変形部
６    第一の投影パターン改善部
７    投影パターン撮像部
８    第二の投影パターン改善部
９    第一の領域抽出部
１０    第三の投影パターン改善部
【図１】
2018059850.tif 000003
【図２】
2018059850.tif 000004
【図３】
2018059850.tif 000005
【図４】
2018059850.tif 000006
【図５】
2018059850.tif 000007
【図６】
2018059850.tif 000008
【図７】
2018059850.tif 000009
【図８】
2018059850.tif 000010
【図９】
2018059850.tif 000011
【図１０】
2018059850.tif 000012
【図１１】
2018059850.tif 000013
【図１２】
2018059850.tif 000014
【図１３】
2018059850.tif 000015
【図１４】
2018059850.tif 000016
【図１５】
2018059850.tif 000017
【図１６】
2018059850.tif 000018