(57)【要約】 【構成】    矩形波状の格子を測定対象へプロジェクタから投影すると共に、投影された格子を撮影して、測定対象の３次元形状を求める。プロジェクタを調整するため、格子を位置が既知な基準面に投影して基準面の位置を求め、位置の誤差が最小となるピントでの投影画像を周波数スペクトルに変換し、基準スペクトルとして記憶する。調整対象のプロジェクタに格子をセットして、格子を位置が既知な基準面に投影して撮影し、撮影した画像の周波数スペクトルを求め、基準スペクトルとの周波数毎の誤差の和を求める。誤差の和が最小となるピントに、調整対象のプロジェクタのピントを調整する。【効果】  矩形波状の格子を用いても正確に３次元形状が測定できるように、プロジェクタを容易に調整できる。【選択図】     図４
2013257206.tif 000002
【特許請求の範囲】
【請求項１】
周期的な格子を測定対象へプロジェクタから投影すると共に、投影された格子を撮影して、測定対象の３次元形状を求める３次元計測装置での、プロジェクタを調整する方法において、
a：  矩形波状の格子を位置が既知な基準面に投影して基準面の位置を求め、位置の誤差が最小となるピントでの投影画像を周波数スペクトルに変換し、基準スペクトルとして記憶するステップと、
b：  調整対象のプロジェクタに矩形波状の格子をセットして、格子を前記基準面に投影して撮影し、撮影した画像の周波数スペクトルを求めるステップと、
c:  求めた周波数スペクトルと基準スペクトルとの、周波数毎の誤差の和を求めるステップと、
d:  プロジェクタのピントを変更しながら、ステップb,cを繰り返し、誤差の和が最小となるピントに調整対象のプロジェクタのピントを調整するステップ、
とを実行することを特徴とする、３次元計測装置でのプロジェクタの調整方法。
【請求項２】
前記ステップcでは、基準スペクトルと求めた周波数スペクトルとの、スペクトルの強度と１次周波数とを揃えた上で誤差の和を求めることを特徴とする、請求項１の３次元計測装置でのプロジェクタの調整方法。
【請求項３】
周期的な格子を測定対象へプロジェクタから投影すると共に、投影された格子を撮影して、測定対象の３次元形状を求める３次元計測装置での、プロジェクタを調整する装置において、
矩形波状の格子を位置が既知な基準面に投影した際の投影画像の周波数スペクトルを基準スペクトルとして記憶するためのメモリと、
調整対象のプロジェクタに矩形波状の格子をセットして、格子を前記基準面に投影した画像の周波数スペクトルを求める周波数変換部と、
求めた周波数スペクトルと基準スペクトルとの、周波数毎の誤差の和を求める誤差算出部とを備えていることを特徴とする、３次元計測装置のプロジェクタの調整装置。
【請求項４】
前記周波数変換部は、調整対象のプロジェクタのピントの変更に応じて、複数回周波数スペクトルを求め、
前記誤差算出部は、複数の周波数スペクトル中で、誤差の和が最小となる周波数スペクトルを求めるように構成されていることを特徴とする、請求項３の３次元計測装置のプロジェクタの調整装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は３次元計測に関し、特に格子を投影するためのプロジェクタの調整に関する。
【背景技術】
【０００２】
プロジェクタから格子を計測対象物体に投影し、カメラで画像を撮影することにより、計測対象物体（以下単に「対象」という）の３次元形状を求めることが行われている（例えば特許文献１：特許2903111）。透光度が正弦波状に周期的に変化する格子を有するガラス板等をプロジェクタの前面に配置し、ガラス板の位置を正弦波の周期の1/4ずつシフトさせて、例えば４回撮影する。４枚の画像での同じ画素の輝度をＩ0〜Ｉ3とすると、（Ｉ1−Ｉ3）／（Ｉ0−Ｉ2）等は格子に対する画素の位相を表し、位相はプロジェクタから見た対象の方向を表している。カメラから見た画素の方向は既知なので、プロジェクタから見た対象の方向が定まると、ステレオ測量の原理により、対象表面の３次元位置が定まる。
【０００３】
正弦波状の濃淡を備えた格子をガラス板等に描画することは容易ではない。そこで矩形波状の格子により正弦波状の格子を代用することが知られている（特許文献２：特許4831703）。なおこの明細書で、矩形波状の格子、正弦波状の格子等の用語は、矩形波状あるいは正弦波状等に透光度が変化する格子を意味する。特許文献２では、撮影した画像を平滑化すると、矩形波状の格子でも３次元座標を計測できることを開示している。対象の表面が単純な平面の場合、画像の平滑化でも正しい位相を求めることができる。しかし対象が複雑な形状の場合、画像を平滑化すると正しい位相を求めることは困難である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許2903111
【特許文献２】特許4831703
【発明の概要】
【発明が解決しようとする課題】
【０００５】
この発明の課題は、画像の平滑化ではなくプロジェクタのピントの調整によって、３次元計測に適した格子を対象に投影できるようにすると共に、ピントを自動的に調整することにより最適な計測精度が得られるようにすることにある。
【課題を解決するための手段】
【０００６】
この発明の３次元計測装置でのプロジェクタの調整方法は、周期的な格子を測定対象へプロジェクタから投影すると共に、投影された格子を撮影して、測定対象の３次元形状を求める３次元計測装置での、プロジェクタを調整する方法において、
a：  矩形波状の格子を位置が既知な基準面に投影して基準面の位置を求め、位置の誤差が最小となるピントでの投影画像を周波数スペクトルに変換し、基準スペクトルとして記憶するステップと、
b：  調整対象のプロジェクタに矩形波状の格子をセットして、格子を前記基準面に投影して撮影し、撮影した画像の周波数スペクトルを求めるステップと、
c:  求めた周波数スペクトルと基準スペクトルとの、周波数毎の誤差の和を求めるステップと、
d:  プロジェクタのピントを変更しながら、ステップb,cを繰り返し、誤差の和が最小となるピントに調整対象のプロジェクタのピントを調整するステップ、
とを実行することを特徴とする。
【０００７】
この発明の３次元計測装置のプロジェクタの調整装置は、周期的な格子を測定対象へプロジェクタから投影すると共に、投影された格子を撮影して、測定対象の３次元形状を求める３次元計測装置での、プロジェクタを調整する装置において、
矩形波状の格子を位置が既知な基準面に投影した際の投影画像の周波数スペクトルを基準スペクトルとして記憶するためのメモリと、
調整対象のプロジェクタに矩形波状の格子をセットして、格子を前記基準面に投影した画像の周波数スペクトルを求める周波数変換部と、
求めた周波数スペクトルと基準スペクトルとの、周波数毎の誤差の和を求める誤差算出部とを備えていることを特徴とする。
【０００８】
図６〜図９に示すように、格子の投影画像（以下単に「投影画像」、あるいは「格子の画像」等ということがある）を平滑化せずに、格子をぼかして投影することによって対象までの距離を測定することができる。するとプロジェクタのピントを調整し、格子をぼかす程度を最適化する必要がある。この発明では、矩形波状の格子を位置が既知な基準面に投影して基準面の位置を求め、位置の誤差が最小となるピントでの投影画像を周波数スペクトルに変換し、基準スペクトルとする。プロジェクタのピントを変更しながら格子を撮影し、最適の測定結果が得られるピントでの格子の画像を周波数スペクトルに変換したものが基準スペクトルである。周波数スペクトルは例えばフーリエ変換でのパワースペクトルであるが、各成分の絶対値のスペクトル、主要な周波数成分の値のみのスペクトル等でも良い。また周波数スペクトルへの変換の種類は、離散コサイン変換等でも良い。なお周波数の意味は空間周波数である。矩形波状の格子を設けるサブストレートはガラス板、プラスチックのフィルムあるいはシート等の透明なサブストレートで、同じ格子を備えるサブストレートを多数作製できる。
【０００９】
調整対象の３次元計測装置に対して、プロジェクタに矩形波状の格子をセットし、格子を位置が既知な基準面に投影して撮影し、撮影した画像の周波数スペクトルを求め、求めた周波数スペクトルと基準スペクトルとの、周波数毎の誤差の和を求め、誤差の和が最小となるピントに調整対象のプロジェクタのピントを調整する。すると基準スペクトルと実質的に同じ周波数特性に格子が投影されるように、プロジェクタを調整できる。これらの作業は自動的に行うことができる。対象の表面が不連続に変化する場合、投影画像を平滑化すると、意味のある位相を求めることができない。しかしこの発明では投影画像を平滑化する必要がない。この発明では以下の効果が得られる。
1)  簡単に作製できる矩形波状の格子を用い、プロジェクタのピントを調整することにより、正確に３次元形状を測定できる。
2)  ピントの調整は基準スペクトルとの比較により自動的に行うことができる。
3)  表面が不連続に変化する対象でも、３次元形状を測定できる。
【００１０】
この明細書において、プロジェクタの調整方法に関する記載は調整装置にもそのまま当てはまり、調整装置に関する記載は調整方法にもそのまま当てはまる。
【００１１】
好ましくは、前記周波数変換部は、調整対象のプロジェクタのピントの変更に応じて、複数回周波数スペクトルを求め、
前記誤差算出部は、複数の周波数スペクトル中で、誤差の和が最小となる周波数スペクトルを求めるように構成されている。
【００１２】
また好ましくは、基準スペクトルと求めた周波数スペクトルとの、スペクトルの強度と１次周波数とを揃えた上で誤差の和を求める。スペクトルの強度は画像の明るさによって変化し、ピント調整の良否とは直接の関係がない。１次周波数は格子から投影面までの距離により変化し、同様にピント調整の良否とは直接の関係がない。そこでスペクトルの強度と１次周波数とを揃えた上で誤差の和を求めると、プロジェクタの明るさ及び格子から投影面までの距離等が変化しても、ピントを最適値に調整できる。  
【図面の簡単な説明】
【００１３】
【図１】実施例の３次元計測装置のブロック図
【図２】実施例で用いる格子を表す図で、a)は格子のパターンを、b)は格子の透光度を表す。
【図３】実施例で用いるプロジェクタのブロック図
【図４】実施例でのピント調整装置のブロック図
【図５】実施例でのピント調整アルゴリズムを示すフローチャート
【図６】種々のピントでの格子の投影画像
【図７】図６と同じ格子の別のプロジェクタによる投影画像
【図８】図６の投影画像のパワースペクトル
【図９】図７の投影画像のパワースペクトル
【発明を実施するための形態】
【００１４】
以下に、発明を実施するための最適実施例を示す。
【実施例】
【００１５】
図１〜図９に、実施例の３次元計測装置２と、用いるプロジェクタ６の調整とを示す。１は３次元形状を測定する対象で、例えば人体、家具、機械、自動車、建築物等である。対象１を例えば取り囲むように複数のユニット４が配置され、各ユニット４はプロジェクタ６とデジタルカメラ８とを備えている。ユニット４のプロジェクタ６は格子を対象１に投影し、カメラ８で撮影する。そしてユニット４をコントローラ１０で制御すると共に、カメラ８の画像を処理して、対象１の表面の３次元座標の集合を求める。
【００１６】
コントローラ１０のユニット制御部１２は、各ユニット４からの格子の投影（発光）と撮影とを制御し、位相解析部１４は、各カメラ８からのデジタル画像を基に、対象の表面の格子の１ピッチ内での位相θ（０〜２π）を求める。位相接続部１６は、２π周期の位相を、格子の基準点からの位相（２ｎπ＋θ）に変換し、位相と画素の位置とから、対象の３次元座標（ｘｙｚ）を求める。このようにして得られた座標は、カメラ８毎の座標系に基づくものなので、座標変換部１８により適宜の基準座標系での３次元座標に変換する。ユニット４を例えば４台配置すると、対象１の同じ位置を複数のユニットで撮影できるので、３次元座標も複数求まる。合成部２０は、画素の位置による信頼性を重みとして、複数の３次元座標を平均し、基準座標系での対象１の表面の３次元座標の集合を出力する。
【００１７】
ピント調整部２２はプロジェクタ６のピント調整を行い、その詳細を図２〜図５に示す。なお位相解析部１４，位相接続部１６は各ユニット４に設けても良い。またピント調整部２２をユニット４に設けても、あるいは３次元計測装置２とは別の装置として設けても良い。
【００１８】
格子付きのガラス板３０を図２に示す。格子は一定ピッチの矩形波で（図２a)）、ガラス板の表面にプリントして設けられ、格子を設けるサブストレートはガラスに限らず透明なプラスチックの板あるいはフィルム等でも良い。そして格子の透光度は図２b)のように変化し、格子はグレースケールに限らず、カラーの格子でも良い。格子のピッチを例えば0.5mmとし、投影面上で例えば25mmピッチとなるようにプロジェクタにより投影する。奥行き方向の位置の測定範囲（格子の位相で360°分の奥行き）を例えば50mmとし、撮影した画像での格子位相の分解能を例えば0.72°とすると、例えば100μｍ程度のオーダーで３次元形状を測定できる。矩形波の格子を備えたガラス板３０はインクジェットプリンタ等により簡単に作製できるが、透光度が正弦波状に変化する格子をプリントすることは容易ではない。透光度が高い領域での階調と低い領域での階調をプリントすることが難しいためである。実施例では同じ格子を備えたガラス板３０を複数枚作製し、その１枚でピント調整用の基準スペクトルを取得する。３次元計測装置２のプロジェクタ６にガラス板３０の他の１枚をセットして、基準スペクトルによりピントを調整する。
【００１９】
図３はプロジェクタ６の構成を示し、２４はＬＥＤパネル等の光源、２６は１枚あるいは複数枚のレンズで、ピント調整部２８によりピントを調整できる。３０は前記のガラス板で、スライド部３２により格子の配列方向に沿って例えば１／４ピッチずつ４個の位置にスライドする。そしてカメラはガラス板３０の位置毎に例えば合計４枚の画像を撮影する。
【００２０】
図４はピント調整部２２を示す。同じピッチの格子をプリントしたガラス板３０から最も高精度に３次元座標を計測できるように、別のプロジェクタのピントを調整した際のデータを、基準スペクトルとしてメモリ４０が記憶している。基準面は例えば平面状であるが、円柱、６角柱、立方体の等の表面でも良く、曲面あるいは折れ曲がりのある面でも良い。そして基準面は面上の各部の位置が既知で、３次元計測装置で求めた距離の誤差を求めることができるものである。基準スペクトルは、この時に投影した格子の画像をフーリエ変換、あるいは離散コサイン変換した際の、パワースペクトル等である。基準スペクトルはパワースペクトルに限らず、フーリエ変換値、あるいは離散コサイン変換値の絶対値のスペクトル、もしくはフーリエ変換値、あるいは離散コサイン変換値の主要成分の値等でも良い。即ち、投影された格子の周波数スペクトルを表すデータであれば良い。
【００２１】
ＦＦＴ（高速フーリエ変換部）４２は、格子を撮影した画像を、２次元に、あるいは格子の配列方向に沿って１次元にフーリエ変換し、パワースペクトルを求める。なおフーリエ変換に代えて離散コサイン変換等でも良いが、以下ではフーリエ変換を例に説明する。基準スペクトルと、撮影した画像のフーリエ変換とでは、例えば画像の明るさの相違のため０次の成分の強弱が異なり、ガラス板３０から対象までの距離に応じて１次成分の周波数が異なる。そこで正規化部４４は、例えば０次の成分の強弱が等しくなるように、あるいは全ての周波数に渡っての成分の２乗和等が等しくなるように、撮影画像のフーリエ変換値と基準スペクトルの一方のパワースペクトルの強弱を変更する。また１次成分の周波数、あるいは１次成分と３次成分の平均周波数が等しくなるように、一方の周波数を変換する。
【００２２】
ＳＳＤ（２乗誤差の和）算出部４６は、２つのパワースペクトル間のＳＳＤ（２乗誤差の和）を求める。そしてフーリエ変換からＳＳＤの算出までの処理を、プロジェクタ６のレンズ２６のピントを調整しながら繰り返し、ＳＳＤが最小となるピントをプロジェクタ６のピントとする。ＳＳＤが最小となることは２つのパワースペクトルの類似度が最大となることを意味し、ＳＳＤ以外の要素により周波数スペクトルの類似度を評価しても良い。例えば誤差の絶対の和等を用いても良い。またパワースペクトル以外の周波数スペクトルにより類似度を評価しても良く、またフーリエ変換以外の変換により画像を周波数スペクトルに変換しても良い。
【００２３】
図５はピントの調整アルゴリズムを示し、用いるデータを図６〜図９に示す。準備段階では、基準スペクトルを取得して記憶し（ステップ１）、プロジェクタ毎のピント調整では、ピントを順次変化させながら格子を位置が既知な基準面に投影し、カメラで撮影する（ステップ２）。撮影した画像をフーリエ変換し、パワースペクトルに変換する（ステップ３）。そして０次成分の値が基準スペクトルと等しくなるように、スペクトルの強弱を変化させ、１次成分の周波数が基準スペクトルと等しくなるように周波数を変化させる（ステップ４）。これはいわばスペクトルを縦横に伸縮させることである。基準スペクトルとの誤差の２乗和（ＳＳＤ）を求め（ステップ５）、ピントを変えてＳＳＤが最小となるピントにより、プロジェクタ６のレンズ２６を調整する（ステップ６，７）。
【００２４】
図６は矩形波状の格子の投影画像を示し、0.28m等はピントの値で、σはこの格子により基準平面の位置を測定した際の、誤差の標準偏差である。ピントが0.28mで矩形波に近い格子が投影され、3.0mではぼやけた格子が投影されている。ピントが合いすぎてもぼやけすぎても、計測精度が低下する。図７は同じ矩形波状の格子を別のプロジェクタで投影した画像を示し、基準平面までの距離が異なるので、格子の数が異なっている。測定精度はピントが0.28mと3.0mで高く、3.0mで測定精度は最高となっている。
【００２５】
図８は図６のパワースペクトルを、図９は図７のパワースペクトルを示し、投影された格子は０次の成分を有し、奇数次の成分は強いが、偶数次の成分は弱く、正弦波とは異なり、元の矩形波の周波数スペクトルの特徴を残している。そして最も高い計測精度が得られる、図８でのピントが0.4mのデータと、図９でのピントが3.0mのデータ、の一方あるいは双方を基準スペクトルとして記憶する。基準スペクトルを取得したのとは異なるプロジェクタを調整する際に、図５のアルゴリズムにより基準スペクトルからのＳＳＤが最小となるピントを求める。なお基準スペクトルが複数ある場合、例えば基準スペクトル毎のＳＳＤの和を最小とするようにピントを調整する。
【００２６】
以上のアルゴリズムにより、基準平面を用いて３次元形状を測定した際に最も誤差が小さかった投影画像と、類似の周波数スペクトルとなるように、対象に格子を投影できる。投影された格子から高精度に測定できる条件は、対象が平面でも曲面でも変わらないので、高精度に対象を測定できる。実施例では、簡単に作製できる矩形波状の格子を用い、プロジェクタのピントを調整することにより、測定精度を高める。ピントの調整は基準スペクトルとの比較により行われ、自動的に実行できる。
【符号の説明】
【００２７】
１        対象
２        ３次元計測装置
４        ユニット
６        プロジェクタ
８        カメラ
１０      コントローラ
１２      ユニット制御部
１４      位相解析部
１６      位相接続部
１８      座標変換部
２０      合成部
２２      ピント調整部
２４      光源
２６      レンズ
２８      ピント調整部
３０      ガラス板
３２      スライド部  
４０      メモリ
４２      ＦＦＴ
４４      正規化部
４６      ＳＳＤ算出部
【図１】
2013257206.tif 000003
【図２】
2013257206.tif 000004
【図３】
2013257206.tif 000005
【図４】
2013257206.tif 000006
【図５】
2013257206.tif 000007
【図６】
2013257206.tif 000008
【図７】
2013257206.tif 000009
【図８】
2013257206.tif 000010
【図９】
2013257206.tif 000011