(57)【要約】  周期的な格子を測定対象へ投影するプロジェクタと投影された格子を撮影するカメラとから成るユニットを測定対象の周囲に複数備え、各ユニットが計測した３次元座標を座標変換により合成する。基準面に表示された第１の格子を撮影し第１の格子に対する位相をカメラの画素毎に求めて記憶する。基準面にプロジェクタから第２の格子を投影して撮影し、基準面の３次元座標をカメラの画素毎に求めて記憶する。カメラの画素毎の位相を補間して、カメラ間で位相が共通のサブピクセルを生成すると共に、各サブピクセルの３次元座標を求め、位相が同じサブピクセルの３次元座標がユニット間で一致するように、合成パラメータを生成する。座標変換用の合成パラメータの精度を向上させる。
2013187204.tif 000002
【特許請求の範囲】
【請求項１】
周期的な格子を測定対象へ投影するプロジェクタと投影された格子を撮影するカメラとから成るユニットを測定対象の周囲に複数備えて、ユニット毎に測定対象表面の３次元座標を計測し、計測した３次元座標をユニット間の座標変換により合成する３次元計測装置のために、所定の基準面に表示された第１の格子を各ユニットのカメラで撮影することにより、前記座標変換のための合成パラメータを生成する装置であって、  
前記第１の格子を各ユニットのカメラで撮影した画像から求めた、第１の格子に対する位相をカメラの画素毎に記憶するための手段と、
基準面に各ユニットのプロジェクタから第２の格子を投影し、各ユニットのカメラで第２の格子を撮影した際の、カメラ毎の座標系での基準面の３次元座標をカメラの画素毎に記憶するための手段と、
カメラの画素毎の位相を補間して、カメラ間で位相が共通のサブピクセルを生成すると共に、カメラ毎の座標系での各サブピクセルの３次元座標を求めるための手段と、
各ユニット間で共通の基準座標系で、位相が同じサブピクセルの３次元座標がユニット間で一致するように、カメラ毎の座標系を各ユニット間で共通の基準座標系へ変換する合成パラメータを生成するための手段、とから成る３次元計測装置のための合成パラメータの生成装置。
【請求項２】
前記第１の格子を格子の周期の１／３ピッチ以下の距離ずつシフトさせ、第１の格子をシフトさせる各位置毎に、第１の格子を撮影するように構成されていることを特徴とする、請求項１の３次元計測装置のための合成パラメータの生成装置。
【請求項３】
画面を前記基準面として前記第１の格子を表示する、フラットパネルディスプレイを備えていることを特徴とする、請求項２の３次元計測装置のための合成パラメータの生成装置。
【請求項４】
シフトさせずに前記第１の格子を撮影した画像から、位置を変えて画素を規則的に抽出した複数の第２の画像から、第１の格子に対する各カメラの画素毎の位相を求めるように構成されていることを特徴とする、請求項１の３次元計測装置のための合成パラメータの生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は３次元計測に関し、特に複数の計測用のユニット間の座標変換に関する。
【背景技術】
【０００２】
発明者は、カメラとプロジェクタとを備えた複数のユニットにより、人体等の計測対象の３次元形状を測定する装置を開発中である。この装置では、ユニット毎の座標系に基づく計測データを共通の座標系に基づくデータに変換すると共に、ユニット毎のデータを合成して対象の３次元形状を求める。【０００３】
ユニット間の座標変換について特許文献１（特許4429135）は、以下のことを開示している。３次元形状の測定は位相シフト法（例えば特許文献２：特許2903111）により行う。２台のユニットの一方からプロジェクタにより正弦波状のパターンを投影し、パターンを正弦波の例えば１／４波長ずつ移動させて例えば４回撮影し、正弦波に対する各画素の位相を測定し、対象の３次元形状を測定する。なお位相シフト法では、位相が求まると３次元座標が求まる。プロジェクタで投影した正弦波状のパターンを他のユニットでも撮影し、対象の形状データあるいはテクスチャー等に基づいて特徴点を抽出する。そして２つのユニットで撮影した画像間で、特徴点をマッチングし、位相で対応付けると高精度にマッチングできるとされている。しかしこの手法では多数の特徴点を抽出することが難しいので、座標変換の精度に限界がある。【０００４】
関連する先行技術を示す。特許文献３（特公平3-58442）は、正弦波状のパターンを移動させず、対象に固定したままで、３次元形状を測定する手法を提案している。この手法では、撮影した画像からの画素の抽出により、擬似的にパターンをシフトさせた４枚の画像に対応するものを作成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許4429135
【特許文献２】特許2903111
【特許文献３】特公平3-58442
【発明の概要】
【発明が解決しようとする課題】
【０００６】
この発明の課題は、異なるユニットのカメラで撮影した画像間で、同じ位置にある点を多数サンプリングできるようにすることにより、座標変換用の合成パラメータの精度を向上させることにある。
またこの発明の課題は、正確に同じ位置の点をサンプリングできるようにすることにある。
【課題を解決するための手段】
【０００７】
この発明の合成パラメータの生成装置は、周期的な格子を測定対象へ投影するプロジェクタと投影された格子を撮影するカメラとから成るユニットを測定対象の周囲に複数備えて、ユニット毎に測定対象表面の３次元座標を計測し、計測した３次元座標をユニット間の座標変換により合成する３次元計測装置のために、所定の基準面に表示された第１の格子を各ユニットのカメラで撮影することにより、前記座標変換のための合成パラメータを生成する。
この発明の合成パラメータの生成装置は、
前記第１の格子を各ユニットのカメラで撮影した画像から求めた、第１の格子に対する位相をカメラの画素毎に記憶するための手段と、
基準面に各ユニットのプロジェクタから第２の格子を投影し、各ユニットのカメラで第２の格子を撮影した際の、カメラ毎の座標系での基準面の３次元座標をカメラの画素毎に記憶するための手段と、
カメラの画素毎の位相を補間して、カメラ間で位相が共通のサブピクセルを生成すると共に、カメラ毎の座標系での各サブピクセルの３次元座標を求めるための手段と、
各ユニット間で共通の基準座標系で、位相が同じサブピクセルの３次元座標がユニット間で一致するように、カメラ毎の座標系を各ユニット間で共通の基準座標系へ変換する合成パラメータを生成するための手段、とから成る。【０００８】
この発明では、第１の格子を基準とする位相が一致する点が同じ位置の点となるように、合成パラメータを生成する。同じ位置の点とはいっても、異なるカメラ間で全く同じ位置に対応する画素が存在することは希である。そこでカメラ間で位相が一致するように、サブピクセルを発生させる。サブピクセルの数は例えば画素の数と同じだけ発生させることができるので、位相が正確に一致するサブピクセルをカメラ間で多量に発生させることができる。従って座標変換の合成パラメータの精度が増す。【０００９】
合成パラメータの生成装置は３次元計測装置の一部でも、３次元計測装置とは別の装置でも良く、合成パラメータの生成時に３次元計測装置が備えている機能を借用することができる。例えば、第１の格子に対する位相をカメラの画素毎に求めることは、３次元計測装置の機能の一部である。基準面の３次元座標を求めることも、３次元計測装置の機能の一部である。基準面は例えば平面であるが、曲面等でも良い。カメラの画素とはカメラの全ての画素ではなく、カメラ画像中の合成パラメータの生成に用いる画素の意味である。所定の基準面は例えば液晶モニタ等の画面、白色の板、あるいは第１の格子が描画された板等であり、第１の格子を何らかの意味で表示できるものであればよい。また第１の格子は、液晶モニタ等の画面に表示された格子、あるいは３次元計測装置のプロジェクタ等から投影した格子、もしくは基準面に描画した格子等で、カメラで撮影して位相を求めることができるものであればよい。【００１０】
好ましくは合成パラメータの生成装置は、第１の格子を格子の周期の１／３ピッチ以下ずつ、好ましくは１／４ピッチずつシフトさせ、第１の格子をシフトさせる各位置毎に、第１の格子を撮影するように構成されている。このようにすると、第１の格子をシフトさせた複数の画像から、各画素の位相を求めることができる。【００１１】
特に好ましくは、画面を基準面として第１の格子を表示する、フラットパネルディスプレイを備えている。このようにすると正確に第１の格子を表示してシフトさせることができる。【００１２】
また好ましくは合成パラメータの生成装置は、シフトさせずに第１の格子を撮影した画像から、位置を変えて画素を規則的に抽出した複数の第２の画像から、第１の格子に対する各カメラの画素毎の位相を求めるように構成されている。このようにすると格子をシフトさせずに、格子に対する位相を求めることができる。
【図面の簡単な説明】
【００１３】
【図１】実施例の３次元計測装置のブロック図
【図２】実施例での合成パラメータの生成アルゴリズムを示すフローチャート
【図３】実施例の合成パラメータ生成装置のブロック図
【図４】実施例での基準面とユニットとの配置を示す平面図
【図５】実施例での合成パラメータの生成を模式的に示す図
【図６】実施例での位相の算出過程を示す図で、a)はユニット４−１が撮影した格子画像を、b)はユニット４−２が撮影した格子画像を、c)はユニット４−１でのｘ方向の位相の画像を、d)はユニット４−２でのｘ方向の位相の画像を、e)はユニット４−１でのｙ方向の位相の画像を、f)はユニット４−２でのｙ方向の位相の画像を示す。
【図７】変形例での基準物体とユニットとの配置を示す平面図
【図８】変形例での基準物体の正面図
【図９】第２の変形例での基準面とユニットとの配置を示す平面図
【発明を実施するための形態】
【００１４】
以下に、発明を実施するための最適実施例を示す。
【実施例】
【００１５】
図１〜図９に、３次元計測装置２と実施例の合成パラメータ生成装置２２とを示す。合成パラメータ生成装置２２は３次元計測装置２の一部として示すが、別の装置としても良い。１は３次元形状を測定する対象で、例えば人体、家具、機械、自動車、建築物等である。対象１を取り囲むように４台あるいは３台等のユニット４が配置され、各ユニット４はプロジェクタ６とデジタルカメラ８とを備えている。ユニット４のプロジェクタ６は格子を対象１に投影し、カメラ８で撮影する。そしてユニット４をコントローラ１０で制御すると共に、カメラ８の画像を処理して、対象１の表面の３次元座標の集合を求める。【００１６】
コントローラ１０のユニット制御部１２は、各ユニット４からの格子の投影（発光）と撮影とを制御し、位相解析部１４は、各カメラ８からのデジタル画像を基に、対象の表面の格子の１ピッチ内での位相θ（０〜２π）を求める。３次元座標算出部１６は、２π周期の位相を、格子の基準点からの位相（２ｎπ＋θ：ｎは整数）に変換し、位相と画素の位置とから、対象の３次元座標（ｘｙｚ）を求める。このようにして得られた座標は、カメラ８毎の座標系に基づくものなので、座標変換部１８により適宜の基準座標系での３次元座標に変換する。ユニット４を例えば４台配置すると、対象１の同じ位置を複数のユニットで撮影できるので、３次元座標も複数求まる。合成部２０は、画素の位置による信頼性を重みとして、複数の３次元座標を平均し、基準座標系での対象１の表面の３次元座標の集合を出力する。【００１７】
合成パラメータの生成アルゴリズムを図２に示し、合成パラメータ生成装置２２の構成を図３に示す。基準面に第１の格子を表示し（ステップ１）、第１の格子に対する位相を、カメラ８の画素毎に求める（ステップ２）。またプロジェクタ６から基準面に第２の格子を投影し、カメラ８で撮影し、３次元座標算出部１６により、各画素の３次元座標を求める（ステップ３）。これによってカメラ８の画素毎に第１の格子に対する位相と３次元座標とが求まる。カメラ間で位相が完全に一致する画素は少ないので、位相が一致するようにサブピクセルを生成し、３次元座標も補間する（ステップ４）。するとカメラ間で位相が完全に一致し、かつ３次元座標が各カメラの座標系で既知なサブピクセルが大量に生成し、これらのサブピクセルを用いて合成パラメータを生成する（ステップ５）。【００１８】
図３は合成パラメータ生成装置２２の構成を示し、格子番号カウント部２４は、第１の格子の例えば端部からの格子の番号をカウントする。位相算出部２６は第１の格子に対する位相を算出するが、位相解析部１４によって位相を算出しても良い。ここまでの処理で格子の番号が分かり、格子に対する位相も分かるので、２ｎπ＋θの完全な位相（ｎは格子の番号、θは０以上２π未満の位相）が分かり、これを３次元座標算出部１６で求めた３次元座標と共に、カメラの画素単位でメモリ２８〜３１に記憶する。なお実施例では第１の格子をｘ方向（水平方向）とｙ方向（鉛直方向）とに表示し、それぞれに対する位相を求めるので、位相はｘ方向とｙ方向の２種類である。また上下左右の縞状の明暗を持つ格子を第１の格子とすると、ｘ方向とｙ方向の２種類の位相を同じ格子から求めることができる。【００１９】
異なるカメラ間では、位相がほぼ等しい画素は多数有るが、完全に一致する画素は少ない。そこでｘ方向、ｙ方向の位相が、２ｎπ＋０，２ｎπ＋１／４π，…，２ｎπ＋７／４π等の所定の位相のサブピクセルを、補間部３２により、周囲の画素間の補間で生成する。補間の割合に応じて周囲の画素の３次元座標を補間しサブピクセルの３次元座標として、ｘ方向、ｙ方向の位相と共に、カメラ毎のメモリ３３〜３６に記憶する。なおサブピクセルの位相は規則的に変化するので、メモリ３３〜３６のアドレスに位相を割り当てて擬似的に記憶し、実際に記憶するのは３次元座標のみとしても良い。  【００２０】
同じ位相のサブピクセルのペアが多数存在するので、位相が同じサブピクセルは同じ３次元座標を持つように、演算部３８で合成パラメータを生成する。座標変換に必要なパラメータは、座標原点の移動に伴う３次元の並進ベクトルと、座標系の回転に伴う回転行列（回転角はｘ軸回り、ｙ軸回り、ｚ軸回りの３種類）である。これらの６個の未知数に対し、座標変換により座標が一致するサブピクセルが多数存在するので、正確に合成パラメータを生成できる。合成パラメータは、いずれかのカメラの座標系を基準座標系として他のカメラでの座標を基準座標系の座標に変換するもの、もしくはカメラとは独立した座標系を基準座標系として各カメラでの座標を基準座標系の座標に変換するものである。【００２１】
４台のユニットに対し、例えば反時計回りに９０°ずつ位置が異なるユニットを、ユニット４−１〜４の順に番号を付ける。ユニット４−１，４−２で同じ格子を撮影し、ユニット４−２，４−３で同じ格子を撮影することができるが、ユニット４−１，４−３で同じ格子を撮影することは難しい。そこで例えばユニット４−１のカメラの座標系を基準座標系として、ユニット４−２のカメラの座標系を基準座標系に変換するための合成パラメータを生成し、同様にユニット４−４のカメラの座標系を基準座標系に変換するための合成パラメータを生成する。ユニット４−３のカメラの座標系をユニット４−２のカメラの座標系に変換するための合成パラメータと、ユニット４−３のカメラの座標系をユニット４−４の座標系に変換するための合成パラメータとを生成する。ユニット４−３→ユニット４−２→ユニット４−１及び、ユニット４−３→ユニット４−４→ユニット４−１の順に座標変換を合成すると、ユニット４−３からユニット４−１へ座標変換する合成パラメータを２種類生成でき、例えばこれらを平均すると、ユニット４−３からユニット４−１へ座標変換する合成パラメータを生成できる。あるいはユニット４−４→ユニット４−３→ユニット４−２→ユニット４−１の順に環状に座標変換しても良く、またユニット４−３→ユニット４−２→ユニット４−１及びユニット４−４→ユニット４−１のように２ルートで座標変換しても良い。ユニット間の座標変換をどのように組み合わせて、全体的な座標変換とするかは任意である。【００２２】
図４は液晶パネル４２を用いて第１の格子を表示する例を示し、液晶パネルに代えて他のフラットパネルのモニタでも良く、パネル４２を回転台４０上において、基準面の向きを９０°ずつ回転させる。またパネル４２の各向きでｘ方向に正弦波状に明暗が変化する格子とｙ方向に正弦波状に明暗が変化する格子とを表示し、表示した格子を格子のピッチの１／４ずつシフトさせて、各格子位置毎にユニット４のカメラで撮影する。液晶パネル４２から第１の格子を投影する代わりに、ユニット４のプロジェクタから第１の格子を投影しても良い。【００２３】
図５は図４の状況でｘ方向の格子を表示している例を示し、隣接したユニット４−１，４−２等で撮影する。格子の縞の番号を数えると共に、格子に対する各画素の位相を求める。位相が２ｎπ＋０．００°の画素を探しているとして、例えば−０．０１°と＋０．５９°の画素が見つかったとする。するとこれらの画素間を1:59に内分することにより、ｘ方向の位相が０．００°の点を生成できる。ｙ方向にも同様の処理を行うことにより、例えばｘ方向とｙ方向の位相が２ｎπ＋０．００°等の所定の値となるサブピクセルを多量に生成できる。【００２４】
図４の状況で液晶パネル４２に表示したｘ方向の第１の格子を、ユニット４−１，４−２のカメラで撮影した画像を、図６a)，b)に示す。これらの画像から求めたｘ方向の位相をc），d)に示す。また液晶パネル４２にｙ方向の第１の格子を表示して求めたｙ方向の位相をe），f)に示す。【００２５】
なお液晶パネルの位置はユニット４により計測するので、基準面を既知の位置に配置する必要はない。同様に基準面が平面である必要はない。【００２６】
図７、図８は４角柱の基準物体５０を用いる変形例を示し、図８に示すように、基準物体５０の４側面に、格子５２が回転部５４により９０°回転自在に取り付けられている。格子５２を隣接する２個のユニットのカメラで撮影し、格子５２を９０°回転させて再度撮影する。格子５２はシフトしないが、特許文献３のようにして格子５２に対する位相を求めることができる。また格子５２の各点の３次元座標は、ユニット４のプロジェクタから第２の格子を投影し求めることができる。ここで格子５２を縦横の縞状の格子とすると、回転部５４は不要である。【００２７】
図９は第２の変形例を示し、透明で厚さが一定の基準板５６の例えば両面に、正弦波状の格子５８が対称に描画されている。例えばユニット４−１の画像に対して、格子５８aに対して位相が所定の値となるサブピクセルを発生させ、その３次元座標を求める。同様にユニット４−２の画像に対して、格子５８bに対して位相が所定の値となるサブピクセルを発生させ、３次元座標を求める。格子５８a，bは対称なので、格子５８bに対するサブピクセルの３次元座標を基準板５６の厚さ方向にシフトさせると、あたかも格子５８aを基準とする位相と３次元座標とを、ユニット４−２でも取得したかのように扱うことができる。ユニット４−２，４−３間等では同じ格子５８bを観察できるので、処理はさらに容易である。以上のようにしても、合成パラメータを生成できる。なお格子５８を縦横の縞状の格子とすると回転部等は不要である。また格子５８が縦縞もしくは横縞のみの格子の場合、図８の回転部５４等により、水平方向の位相と鉛直方向の位相とを求めることが好ましい。
【符号の説明】
【００２８】
１  対象    ２  ３次元計測装置    ４  ユニット
６  プロジェクタ    ８  カメラ    １０  コントローラ
１２  ユニット制御部    １４  位相解析部    
１６  ３次元座標算出部    １８  座標変換部    ２０  合成部
２２  合成パラメータ生成装置    ２４  格子番号カウント部
２６  位相算出部    ２８〜３１  メモリ    ３２  補間部
３３〜３６  メモリ    ３８  演算部    ４０  回転台
４２  液晶パネル    ５０  基準物体    ５２  格子
５４  回転部    ５６  基準板    ５８a，b  格子    
【図１】
2013187204.tif 000003
【図２】
2013187204.tif 000004
【図３】
2013187204.tif 000005
【図４】
2013187204.tif 000006
【図７】
2013187204.tif 000007
【図９】
2013187204.tif 000008
【図５】
2013187204.tif 000009
【図６】
2013187204.tif 000010
【図８】
2013187204.tif 000011
【国際調査報告】
2013187204.tif 000012
2013187204.tif 000013
2013187204.tif 000014