(57)【特許請求の範囲】
【請求項１】
パターンコードに基づいて３値以上に強度変調された複数の領域からなるパターン光をレーザ光によって生成し、前記パターン光を物体に投影する投影手段と、
前記パターン光の投影によって前記物体から反射された光を撮影してパターン像を得る撮影手段と、
前記パターンコードと前記パターン像に基づいて前記物体までの距離情報を演算する演算手段とを備えたことを特徴とする３次元形状計測装置。
【請求項２】
前記投影手段は、前記レーザ光を出射する光源と、前記光源から出射された前記レーザ光を前記スリット光に整形する整形手段と、前記スリット光を偏向して前記物体上を走査する偏向手段と、パターンコードに基づいて前記光源および前記偏向手段を制御して前記パターン光を生成する制御手段とを備えた構成の請求項１記載の３次元形状計測装置。
【請求項３】
前記偏向手段は、ポリゴンミラーを用いた構成の請求項２記載の３次元形状計測装置。
【請求項４】
前記制御手段は、前記偏向手段を制御して前記スリット光で前記物体上を複数回走査させ、前記スリット光の走査回数および走査位置に応じて前記光源を制御して前記レーザ光を点滅させることにより、前記パターン光を形成する構成の請求項２記載の３次元形状計測装置。
【請求項５】
前記撮影手段は、前記投影手段の投影方向から前記物体からの前記光を撮影して第１のパターン像を得る第１の撮影手段と、前記投影手段の投影方向と異なる方向から前記物体からの前記光を撮影して第２のパターン像を得る第２の撮影手段とを備え、
前記演算手段は、前記第１のパターン像に基づいて前記パターンコードを修正し、その修正した前記パターンコードと前記第２のパターン像に基づいて前記物体までの距離情報を演算する構成の請求項１記載の３次元形状計測装置。
【請求項６】
パターンコードに基づいて３値以上に強度変調された複数の領域からなるパターン光をレーザ光によって生成し、前記パターン光を物体に投影する投影手段と、
前記パターン光の投影によって前記物体から反射された光を撮影してパターン像を得る撮影手段と、
前記パターンコードと前記パターン像に基づいて前記物体までの距離情報を演算する演算手段と、
前記演算手段の演算により得られた前記距離情報、および前記撮像手段によって得られた輝度情報に基づいて３次元画像を形成する３次元画像形成手段とを備えたことを特徴とする３次元形状計測装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、パターン投影法を用いて対象物体までの距離情報を取得する３次元形状計測装置に関し、特に、対象物体に依存せずに精度良く距離情報および輝度情報を同時に取得することが可能な３次元形状計測装置に関する。
【０００２】
【従来の技術】
対象物体の形状を測定する手法として、従来より、パッシブ手法（ｓｈａｐｅｆｒｏｍ  Ｘ、ステレオ視）と、アクティブ手法（レーザーレーダ、パターン投影、スポット投影)とが知られている。このうち、パッシブ手法は、汎用的であり、対象物体に対する制約が少ないという特色を有し、アクティブ手法は、投光手段の限界などにより測定できるレンジが小さい場合が多いが、計測精度は高いという特色を有する。
【０００３】
アクティブ手法の一つであるパターン投影法では、対象物体に基準となるパターン光を投影し、この基準となるパターン光が投影された方向とは異なる方向から撮影を行う。撮影されたパターンは、物体の形状によって変形を受けたものとなる。この撮影された変形パターンと投影したパターンとの対応づけを行うことで、物体の３次元計測を行うことができる。
【０００４】
パターン投影法では、変形パターンと投影したパターンの対応づけを、いかに誤対応を少なく、かつ、簡便に行うかが課題となる。そこで、様々なパターン投影法が従来より提案されている。
【０００５】
このような従来のパターン投影法として、例えば、特開平５−３３２７３７号公報、および特許第２５６５８８５号公報に示されるものがある。
【０００６】
特開平５−３３２７３７号公報には、パターン投影法として空間コード化法を用いた形状計測装置が示されている。この装置は、レーザ光源と、レーザ光をスリット形に整形するレンズ系と、整形されたレーザ光を対象物体に照射し、走査するスキャンニング装置と、対象物体からの反射光を検出するＣＣＤカメラと、これらを制御する装置とを有する。このような構成において、対象物体をスキャンニング装置によってレーザ光で走査すると、レーザ光が照射された部分と照射されていない部分とが生じて縞模様が形成される。レーザ光の照射を異なる複数のパターンにより行うことで、対象物体上はＮ個の識別可能な部分に分割される。対象物を異なる位置からＣＣＤカメラで撮影した画像上の各画素が、分割されたどの部分に含まれるかを判別することにより対象物体の形状を算出できる。
【０００７】
特許第２５６５８８５号公報には、パターン投影法として空間パターンコード化方法を用いた形状計測装置が示されている。この装置は、３値の階調領域を有し、階調領域の境界線の交点において少なくとも３種類の階調領域が互いに接しているように配置した３値格子板パターン原画と、このパターン原画を介して物体に３値格子板パターン光を投影するプロジェクタと、３値格子板パターン光が投影された物体を撮影するＣＣＤカメラと、パターン原画とＣＣＤカメラの撮影によって得られたパターン像との間の対応を行って計測を行う計測部とを有する。このような構成において、プロジェクタから物体に３値格子板パターン光を投影し、ＣＣＤカメラによって３値格子板パターン光が投影された物体を撮影すると、パターン像が得られる。計測部は、パターン像の階調領域の各交点に周囲の階調の種類と順序に応じた主コードを付与し、隣接する主コードを上記交点の識別用の特徴コードとして付与する。これにより、撮影パターンとパターン原画とを一義的に対応することができるので、１回の投影で高密度で計測することが可能となる。
【０００８】
【発明が解決しようとする課題】
しかし、特開平５−３３２７３７号公報に示された従来の形状計測装置によると、解像度を高くするためには、レーザ光による複数回の走査とカメラによる複数回の撮影が必要となる。例えば、画面を２５６の領域に分割するには８回の撮影が必要となる。そのため、動きの早い物体の撮影は困難となるという問題がある。
【０００９】
特許第２５６５８８５号公報に示された従来の形状計測装置によると、プロジェクタの光学系の焦点深度が狭いため、物体表面の距離に応じて階調領域間のエッジがぼけて精度の良い計測ができなくなることから、奥行き方向の測定可能な範囲が限定されてしまうという問題がある。
【００１０】
また、上記各従来の形状計測装置では、対象物体の形状や反射率等によって撮影されるパターンが変化するため、投影したパターンとの対応づけが困難となるという問題がある。
【００１１】
従って、本発明の目的は、対象物体に依存せずに精度良く距離情報を取得することが可能な３次元形状計測装置を提供することにある。
また、本発明の他の目的は、輝度情報と距離情報を同時に取得することが可能な３次元画像撮影装置を提供することにある。
【００１２】
【課題を解決するための手段】
本発明は、上記目的を達成するため、パターンコードに基づいて３値以上に強度変調された複数の領域からなるパターン光をレーザ光によって生成し、前記パターン光を物体に投影する投影手段と、前記パターン光の投影によって前記物体から反射された光を撮影してパターン像を得る撮影手段と、前記パターンコードと前記パターン像に基づいて前記物体までの距離情報を演算する演算手段とを備えたことを特徴とする３次元形状計測装置を提供する。
上記構成によれば、光源として用いるレーザ光は、焦点深度などの影響が少ない直線性を有するため、領域間のエッジがぼけなくなり、奥行き方向の測定可能な範囲が広くなる。強度変調されたパターン光を物体に投影することにより、１回の撮影で形状を計測することが可能となる。
【００１３】
本発明は、上記他の目的を達成するため、パターンコードに基づいて３値以上に強度変調された複数の領域からなるパターン光をレーザ光によって生成し、前記パターン光を物体に投影する投影手段と、前記パターン光の投影によって前記物体から反射された光を撮影してパターン像を得る撮影手段と、前記パターンコードと前記パターン像に基づいて前記物体までの距離情報を演算する演算手段と、前記演算手段の演算により得られた前記距離情報、および前記撮像手段によって得られた輝度情報に基づいて３次元画像を形成する３次元画像形成手段とを備えたことを特徴とする３次元形状計測装置を提供する。
上記構成によれば、光源としてレーザ光を用いることにより、領域間のエッジがぼけなくなり、奥行き方向の測定可能な範囲が広くなる。強度変調されたパターン光を物体に投影することにより、１回の撮影で形状を計測することが可能となる。３次元画像形成手段により距離情報および輝度情報に基づいて３次元画像が形成される。
【００１４】
【発明の実施の形態】
図１は、本発明の実施の形態に係る３次元形状計測装置を適用した３次元画像撮影装置を示す。この３次元画像撮影装置１は、３値以上に強度変調された投影パターン光８を物体４に投影する投光器２と、投影パターン光８および外光によって物体４で反射した反射光３ｂをハーフミラー５を介して撮影する第１のカメラ６Ａと、投光器２の光軸から所定の距離Ｌを設けて配置され、物体４からの反射光３ｂを撮影する第２のカメラ６Ｂと、第１および第２のカメラ６Ａ，６Ｂによって得られた画像を基に距離情報と輝度情報からなる３次元画像を形成する画像処理部７とを有して構成されている。
【００１５】
投光器２は、紫外線あるいは赤外線の不可視領域の単一の光強度を有するレーザ光を出射するレーザ光源２０と、レーザ光源２０から出射されたレーザ光をスリット光３ａに整形するシリンドリカルレンズ２１と、複数（例えば１２面）のミラー面２２ａを備え、シリンドリカルレンズ２１によって整形されたスリット光３ａをミラー面２２ａによって偏向走査させるポリゴンミラー２２と、レーザ光源２０にレーザ駆動信号２３ａを出力してレーザ光源２０を駆動するレーザ光源駆動部２３と、ポリゴンミラー２２にミラー駆動信号２４ａを出力してポリゴンミラー２２を一定方向に回転駆動するとともに、ポリゴンミラー２２の角度に応じたミラー角度信号２４ｂを出力するポリゴンミラー駆動部２４と、ポリゴンミラー駆動部２４からのミラー角度信号２４ｂに基づいてレーザ光源駆動部２３にオンオフ同期信号２５ａを出力する制御部２５とを備える。
【００１６】
図２は、投影パターン光８の形成動作を示す。投光器２の制御部２５は、同図（ａ）に示すように、画像処理部７内のフレームメモリに予め記憶されているパターンコード、およびポリゴンミラー駆動部２４からのミラー角度信号２４ｂに基づいて、レーザ光源駆動部２３にオンオフ同期信号２５ａを出力し、レーザ光源駆動部２３によってレーザ光源２０を点滅させることにより、レーザ光源２０から出射され、シリンドリカルレンズ２１によって整形されたスリット光３ａをポリゴンミラー２２のミラー面２２ａによって物体４上を走査させる。そして、制御部２５は、ポリゴンミラー２２が半回転する間、すなわち、第１および第２のカメラ６Ａ，６Ｂの１ビデオフレーム中に上記の動作を複数回（同図（ａ）では６回）繰り返すことにより、スリット光３ａが時系列的に合成されて、同図（ｂ）に示すような、異なる光強度を有する複数のストライプ光８０からなる投影パターン光８が形成される。
【００１７】
図３は、第１および第２のカメラ６Ａ，６Ｂを示す。第１および第２のカメラ６Ａ，６Ｂは、物体４からの反射光３ｂを２方向に分割するプリズム６０と、プリズム６０によって一方の方向に分割された反射光３ｂのうち不可視領域の成分を遮断する不可視領域遮断フィルタ６１と、不可視領域遮断フィルタ６１を透過した反射光３ｂを輝度画像として撮影するカラーＣＣＤカメラ６２と、プリズム６０によって他方の方向に分割された反射光３ｂのうち不可視領域の成分を透過させる不可視領域透過フィルタ６３と、不可視領域透過フィルタ６３を透過した反射光３ｂを撮影パターン画像として撮影するカラーＣＣＤカメラ６４とを備える。
【００１８】
図４は、この３次元画像撮影装置１の制御系を示す。この装置１は、第１のカメラ６Ａが撮影した輝度画像を記憶する輝度値メモリ１１Ａと、第１のカメラ６Ａが撮影した撮影パターン画像を記憶するパターン画像メモリ１２Ａと、第２のカメラ６Ｂが撮影した輝度画像を記憶する輝度値メモリ１１Ｂと、第２のカメラ６Ｂが撮影した撮影パターン画像を記憶するパターン画像メモリ１２Ｂと、投光器２が投影する投影パターン光８に対応するストライプパターンを正方格子状のセルに分割し、各セル毎にコード化してパターンコードとして記憶するフレームメモリ１３と、第１のカメラ６Ａで撮影された撮影パターン画像の領域を分割する領域分割部１４と、領域分割部１４によって分割された領域に対応する輝度情報を輝度値メモリ１１Ａ，１１Ｂから探索して読み出す対応点探索部１５と、領域分割部１４によって分割された所定の領域について、パターン画像メモリ１２Ａに記憶された撮影パターン画像とフレームメモリ１３に記憶されているパターンコードとを用いて再コード化を行う再コード化部１６と、再コード化部１６で再コード化されたパターンコードと第２のカメラ６Ｂによって撮影された撮影パターン画像とから物体４までの距離情報を演算するコード復号部１７と、対応点探索部１５によって輝度値メモリ１１Ａ，１１Ｂから読み出された輝度情報とコード復号部１７によって得られた距離情報とを統合して３次元画像を形成する距離情報統合部１８と、距離情報統合部１８によって形成された３次元画像を記憶する３次元画像メモリ１９とを備える。
【００１９】
次に、本装置１の動作を説明する。まず、投光器２の制御部２５は、図２（ａ）に示すように、フレームメモリ１３に予め記憶されているパターンコード、およびポリゴンミラー駆動部２４からのミラー角度信号２４ｂに基づいて、レーザ光源駆動部２３にオンオフ同期信号２５ａを出力する。レーザ光源駆動部２３は、制御部２５からのオンオフ同期信号２５ａに同期してレーザ光源２０にレーザ駆動信号２３ａを出力する。レーザ光源２０は、光強度が一定の不可視領域のレーザ光をパルス状に出射する。レーザ光源２０から出射されたレーザ光は、シリンドリカルレンズ２１によってスリット光３ａに整形され、ポリゴンミラー２２のミラー面２２ａで反射した後、ハーフミラー５を介して物体４に照射される。制御部２５は、ポリゴンミラー２２が半回転する間、すなわち、ＣＣＤカメラ６２，６４の１ビデオフレーム中に上記の動作制御を繰り返す。スリット光３ａが時系列的に合成されて図２（ｂ）に示すような強度変調された投影パターン光８が物体４に投影される。
【００２０】
第１のカメラ６Ａは、ハーフミラー５を介して投影パターン光８が投影された物体４の画像を撮影する。すなわち、第１のカメラ６ＡのカラーＣＣＤカメラ６２は、撮影した物体４の画像を輝度画像として輝度値メモリ１１Ａに記憶し、第１のカメラ６ＡのカラーＣＣＤカメラ６４は、撮影した物体４の画像を撮影パターン画像としてパターン画像メモリ１２Ａに記憶する。第２のカメラ６Ｂは、第１のカメラ６Ａとは異なる角度から物体４の画像を撮影する。すなわち、第２のカメラ６ＢのカラーＣＣＤカメラ６２は、撮影した物体４の画像を輝度画像として輝度値メモリ１１Ｂに記憶し、第２のカメラ６ＢのカラーＣＣＤカメラ６４は、撮影した物体４の画像を撮影パターン画像としてパターン画像メモリ１２Ｂに記憶する。
【００２１】
領域分割部１４は、第１のカメラ６Ａで撮影され、パターン画像メモリ１２Ａに記憶されている撮影パターン画像の領域を分割する。すなわち、撮影パターン画像からストライプパターンを抽出し、隣合うストライプ間の強度差が閾値以下である領域については、投光器２からスリット光３ａが届いていない領域１として分割し、ストライプ間の強度差が閾値以上である領域については領域２として分割する。
【００２２】
対応点探索部１５は、領域分割部１４によって分割された領域１，２に対応する輝度情報を輝度値メモリ１１Ａ，１１Ｂから読み出して距離情報統合部１８に出力する。
【００２３】
再コード化部１６は、領域分割部１４によって分割された領域２について、パターン画像メモリ１２Ａに記憶された撮影パターン画像とフレームメモリ１３に記憶されたパターンコードとを用いて再コード化を行う。すなわち、撮像パターン画像からストライプパターンを抽出し、各ストライプを縦方向に分割し、正方形のセルを生成する。生成された各セルについて強度の平均値をとり、平均値を各セルの強度とする。画像の中心から順に、フレームメモリ１３のパターンコードと第１のカメラ６Ａにより得られた撮影パターン画像から抽出したストライプパターンの対応する各セル間の強度を比較し、物体４の反射率、物体４までの距離等の要因によってストライプの輝度が変化したためにセル間の強度が閾値以上異なるかどうかを判断する。閾値以上異ならない場合は、撮影されたすべてのセルについて再コード化を終了する。閾値以上異なる場合は、新たな強度のセルかどうか判断する。そして、新たな強度のセルのときは、新たなコードを生成し、割り付けを行う。また、新たな強度のセルでないときは、他に出現している部位と識別可能とするストライプの並びを用いてコード化する。このようにして、再コード化を終了する。
【００２４】
図５は、ストライプパターンのコード化の例を示す。同図（ａ）は、ストライプ９０の並びによってコード化されたストライプパターン９を示す。このストライプパターン９には、各ストライプ９０毎に強度としてそれぞれ３（強）、２（中）、１（弱）が割り当てられている。同図（ｂ）においては、左から３つ目のセル９１で強度が変化して新たなコードが出現したので、新たに「０」というコードを割り当てている。同図（ｃ）においては、左から３つめ上から２つめのセル９１に既存のコードが出現しているので、セル９１の並びから新たなコードとして、縦の並びを「２３２」、横の並びを「１３１」という具合に再コード化する。この再コード化は、対象の形状が変化に富む部位には２次元パターンなどの複雑なパターンを投光し、変化の少ない部位には簡単なパターンを投光しているのに等しい。この過程を繰り返し、全てのセル９１に対して一意なコードを割り付けることで再コード化を行う。
【００２５】
図６は、コード復号部１７による距離の算出方法を示す。コード復号部１７は、パターン画像メモリ１２Ｂが記憶する撮影パターン画像からストライプパターンを抽出し、各ストライプをセルに分割し、再コード化部１６で再コード化されたコードを用いて各セルのコードを検出し、この検出したコードに基づいて投光器２からのスリット角θを算出する。各画素の属するセル９１のスリット角θと第２のカメラ６Ｂの結像面６４上に撮影された画像上のｘ座標とカメラパラメータである焦点距離Ｆと基線長（距離）Ｌとから、次の式（１）によって距離Ｚを算出する。
Ｚ＝（Ｆ×Ｌ）／（ｘ＋Ｆ×ｔａｎθ）              …（１）
【００２６】
また、上述の領域１については次のようにして距離を算出する。領域１では、投影パターン光８によるパターン検出は行うことができないので、対応点探索部１５において、輝度値メモリ１１Ａ，１１Ｂから読み出された輝度情報を用いて視差を検出し、これに基づいて距離を算出する。領域１を除く領域２に対しては、前述の操作により距離が算出されているので、領域１の距離の最小値が得られ、また対応づけ可能な画素も限定される。これらの制限を用いて、画素間の対応づけを行い視差ｄを検出し、カメラパラメータである画素サイズλを用いて、次の式（２）によって距離Ｚを算出する。
Ｚ＝（Ｌ×Ｆ）／（λ×ｄ）                          …（２）
【００２７】
距離情報統合部１８は、コード復号部１７によって算出された距離情報と、第１の輝度値メモリ１１Ａおよび第２の輝度値メモリ１１Ｂの輝度情報とを統合することにより３次元画像を形成し、その３次元画像を３次元画像メモリ１９に記憶する。
【００２８】
上述した本実施の形態の装置１によれば、以下の効果が得られる。
（イ）光源に用いたレーザ光は、焦点深度などの影響が少ない直線性を有するため、ストライプ間のエッジがぼけなくなり、奥行き方向の測定可能な範囲が広くなる。
（ロ）強度変調された投影パターン光８を物体４に投影しているので、１回の撮影で物体の３次元形状を計測することができ、動きの早い物体でも撮影することが可能となる。
（ハ）投影パターン光８を投影した光軸と同じ光軸で撮影した撮影パターンを用いて再コード化することにより、物体４の反射率等の影響を除去することが可能となり、物体に依らず精度良く３次元形状計測を行うことができる。
（ニ）物体４の反射率や形状によって、あるストライプが他の部分のストライプと同じストライプに変化してしまう確率が減少するので、撮影パターン画像と投影パターン画像との誤対応が減り、再コード化にかかる計算量も減少する。
（ホ）物体からの反射光を不可視領域の成分の光と可視領域の成分の光に分割し、各々を撮影しているので、距離情報と輝度情報の一括取得が可能となる。
【００２９】
なお、上記実施の形態では、光源として赤外線あるいは紫外線のレーザ光を用いたが、他の不可視領域の波長を用いてもよい。
また、物体４からの反射光３ｂを撮影する第３のカメラを設けてもよい。これにより、パターン投影法で問題となるオクルージョンを排除できる。
また、光源に面発光型レーザを用い、面発光型レーザから出射されたレーザ光を空間変調器等の濃淡フィルタを通過させて物体に強度変調された投影パターンを投影してもよく、圧電素子によってレーザ光源およびシリンドリカルレンズ自体を回転移動させて投影パターンを形成してもよい。これにより、ポリゴンミラー等の機械的部分を省くことができ、高寿命化が図れる。
【００３０】
【発明の効果】
以上説明したように、本発明の３次元形状計測装置によれば、光源に用いたレーザ光は、焦点深度などの影響が少ない直線性を有するため、領域間のエッジがぼけなくなり、奥行き方向の測定可能な範囲が広くなる。また、強度変調されたパターン光を物体に投影しているので、１回の撮影で形状を計測することができる。この結果、対象物体に依存せずに精度良く距離情報を取得することが可能となる。
また、３次元画像形成手段により距離情報および輝度情報に基づいて３次元画像を形成することにより、輝度情報と距離情報を同時に取得することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る３次元画像撮影装置の構成を示す図
【図２】（ａ）は本実施の形態に係る投影パターン光の形成動作を示すタイミングチャート、（ｂ）は投影パターン光を示す図
【図３】本実施の形態に係る第１および第２のカメラの構成を示す図
【図４】本実施の形態に係る３次元画像撮影装置の制御系を示すブロック図
【図５】（ａ），（ｂ），（ｃ）は本実施の形態に係る再コード化部によるスリットパターンのコード化の例を示す図
【図６】本実施の形態に係るコード復号部による空間コード化の距離の算出方法を示す図
【符号の説明】
１  ３次元画像撮影装置
２  投光器
３ａ  スリット光
３ｂ  反射光
４  物体
５  ハーフミラー
６Ａ  第１のカメラ
６Ｂ  第２のカメラ
７  画像処理部
８  投影パターン光
９  ストライプパターン
１１Ａ，１１Ｂ  輝度値メモリ
１２Ａ，１２Ｂ  パターン画像メモリ
１３  フレームメモリ
１４  領域分割部
１５  対応点探索部
１６  再コード化部
１７  コード復号部
１８  距離情報統合部
１９  ３次元画像メモリ
２０  レーザ光源
２１  シリンドリカルレンズ
２２  ポリゴンミラー
２２ａ  ミラー面
２３  レーザ光源駆動部
２３ａ  レーザ駆動信号
２４  ポリゴンミラー駆動部
２４ａ  ミラー駆動信号
２４ｂ  ミラー角度信号
２５  制御部
２５ａ  オンオフ同期信号
６０  プリズム
６１  不可視領域遮断フィルタ
６２，６４  カラーＣＣＤカメラ
６３  不可視領域透過フィルタ
６５  結像面
８０  ストライプ光
９０  ストライプ
９１  セル
【図１】
0003714063.tif 000002
【図２】
0003714063.tif 000003
【図３】
0003714063.tif 000004
【図４】
0003714063.tif 000005
【図５】
0003714063.tif 000006
【図６】
0003714063.tif 000007