(57)【要約】【課題】３次元計測方法及びそれを用いた装置において、撮像のボケによる影響を排除して計測領域における３次元形状を高速且つ高精度に計測できるようにすることで、計測領域における識別性能を向上させる。【解決手段】計測対象物の計測領域における画像から得られる輝度値分布を縞パターンに直交する方向に微分した輝度微分値と、計測対象物の反射率の差異が縞パターンから得られる位相値に及ぼす影響を補正するための位相補正値との補正関係を予め求めておき、計測対象物に所定の光を投影して撮像し、所定の撮像画像を取得する処理（Ｓ１）と、画像の輝度についての微分画像を生成する処理（Ｓ２）と、縞パターンの位相値を算出する処理（Ｓ３）と、撮像のボケによる縞パターンの位相値の誤差を補正する処理（Ｓ４）と、撮像画像の画素の位置について、３次元座標を計算する処理とを実行させることで、計測領域における３次元形状を計測する。【選択図】図１１
2008241483.tif 000002
【特許請求の範囲】
【請求項１】
計測対象物に縞パターンを当該縞パターンの位相をシフトさせて複数回投影して撮像する位相シフト法を用いることにより、計測対象物が複数の反射率を有する場合の計測対象物の計測領域における３次元形状を計測する３次元計測方法であって、
前記計測領域における画像から得られる輝度値分布を縞パターンに直交する方向に微分した輝度微分値と、計測対象物の反射率の差異が縞パターンから得られる位相値に及ぼす影響を補正するための位相補正値との補正関係を予め求めておき、
３次元形状を計測する際に、前記計測領域から輝度微分値を算出し、前記補正関係から得られる位相補正値に基づいて前記反射率の差異による影響を受けた位相値を補正し、前記補正された位相値を、位相シフト法を用いて計算を行うことにより、前記計測領域における３次元形状を計測することを特徴とする３次元計測方法。
【請求項２】
前記補正関係を、前記計測領域の撮像における点拡がり関数の複数の値として求めておき、
３次元形状を計測する際に、前記点広がり関数の複数の値から得られる補正関係に基づいて、前記反射率の差異による影響を受けた位相値を補正して前記計測領域における３次元形状を計測することを特徴とする請求項１に記載の３次元計測方法。
【請求項３】
前記計測領域を領域分割し、分割された分割計測領域毎に、領域内の画像（以下、分割計測領域画像という）の輝度値の代表値をその分割計測領域画像の輝度値とすることを特徴とする請求項２に記載の３次元計測方法。
【請求項４】
前記計測領域の輝度値分布を得た後に、前記画像の平滑化処理をして輝度微分値を算出することを特徴とする請求項１乃至請求項３に記載の３次元計測方法。
【請求項５】
予め求めておいた複数の補正関係の中から、前記算出された輝度微分値を前記方向にさらに微分することで得られる輝度２次微分値を用いて、特定の補正関係を選択することを特徴とする請求項１乃至請求項４に記載の３次元計測方法。
【請求項６】
前記算出された輝度微分値が予め設定した規定値以上である場合に限り、前記反射率の差異による影響を受けた位相値を補正することを特徴とする請求項１乃至５に記載の３次元計測方法。
【請求項７】
光の輝度が変化する縞パターンを計測対象物に投影する縞パターン投影部と、
縞パターンが投影された計測対象物を撮像する撮像部と、
前記撮像部から出力される画像データに基づいて、計測対象物の計測領域における３次元形状を計測するための演算を行う３次元計測処理部と、を備えた３次元形状計測装置において、
前記計測領域における画像から得られる輝度値分布を縞パターンに直交する方向に微分した輝度微分値と、計測対象物の反射率の差異が縞パターンから得られる位相値に及ぼす影響を補正するための位相補正値との補正関係を予め求めて記憶させる記憶部を備え、
前記３次元計測処理部は、３次元形状を計測する際に、前記計測領域から輝度微分値を算出し、前記補正関係から得られる位相補正値に基づいて前記反射率の差異による影響を受けた位相値を補正し、前記補正された位相値を位相シフト法を用いて計算を行うことにより、計測対象物が複数の反射率を有する場合の前記計測領域における３次元形状を計測することを特徴とする３次元形状計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位相シフト法を用いた画像処理によって計測対象物の計測領域における３次元形状を計測する３次元計測方法及びその装置に関する。
【背景技術】
【０００２】
一般に、物体の３次元形状を非接触で計測する方法としては、例えば、高速且つ高精度の計測が可能な位相シフト法が挙げられる。この位相シフト法では、まず、計測対象物に正弦波形状の縞パターンを投影してカメラで撮像する過程を、縞パターンの位相を一定間隔（例えば、π/2）でずらして複数回実行する。次に、撮像して得られた複数枚の撮像画像の各画素における輝度値の変化から縞パターンの位相情報を算出し、この位相情報に基づいて計測対象物の計測領域における３次元形状の演算を行う。
【０００３】
従って、位相シフト法では、計測対象物の反射率、撮像の際のノイズの重畳や正弦波形状の歪等の影響によって、上述した輝度値の信頼性が低下すると、正確な縞パターンの位相情報を求めることができず、３次元形状の計測精度が低下する虞がある。そこで、３次元形状の計測過程において輝度値の信頼性を評価する等、位相シフト法による計測を高精度化するための種々の技術が開発されている。
【０００４】
例えば、特許文献１では、縞パターンを投影する投影光学部を複数配置し、それぞれ異なる方向から計測対象物を投影して撮像し、これにより得られる複数枚の撮像画像の各画素における輝度値の変化の大きさ（コントラストの強さ）を比較し、コントラストが最も大きい投影方向からのデータを基に計測対象物の立体情報を演算する技術が開示されている。
【０００５】
また、特許文献２では、輝度飽和領域、コントラスト低下領域、コントラスト低下領域の境界領域及び位相エラー領域を抽出する位相値信頼性判定部を設け、算出される縞パターンの位相情報が信頼できない上記領域においては、別途再測定を行う等して、信頼性の高い位相情報を取得し、全体として精度の高い３次元計測を可能にした技術が開示されている。
【特許文献１】特開２００４−３０９２４０号公報
【特許文献２】特開２００６−２３１７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述のような従来技術においては、コントラストの低下による計測精度の低下や輝度値の飽和による誤計測への対応等は可能であるが、計測対象物に反射率の異なる部分がある場合には、この境界付近において撮像のボケが生じて誤計測が発生していた。そのため、計測に際し計測対象物を白塗装する等して、計測対象物の反射率を一定にする必要があった。故に、位相シフト法は、計測対象物への塗装が許される分野、例えば、リバースエンジニアリングやモデリング等には使用されているが、塗装が許されない分野、例えば、生産ラインにおけるワークの外観検査等には使用されていなかった。
【０００７】
ところで、上記ワークの外観検査は、現在、撮像画像の輝度情報からエッジ等の２次元的な画像特徴を抽出し、計測領域における種々の関係を特徴計測で求める画像処理によって行われている。一方で、近年、計測対象物を構成する製品のコストダウンや計測対象物の複雑化が進むことに伴って、計測対象物におけるロス率のさらなる削減が求められ、より精度の高い検査が必要とされている。例えば、成形品の外観検査では、成形品の上に載ったゴミ、成形品の表面に埋め込まれた異物や表面の変色等の識別が必要とされている。このような識別性が必要とされるのは、成形品の上に載ったゴミは後工程で拭き取ることができるので不良と判断されないが、成形品の樹脂の中に埋まっている異物や樹脂の変色は修正ができないので不良と判断されるためである。
【０００８】
しかしながら、上述した画像処理では、成形品の上に載ったゴミ、成形品の表面に埋め込まれた異物や表面の変色等は正常部分との濃淡が異なるので、それらを一様に不良として検出することは可能であるが、それらをそれぞれ識別して検出することは困難であり、これらの理由で不良と判断されたものは、再度作業者がチェックするか、不良とみなし破棄するしかなかった。ここで、再度作業者がチェックする場合には、作業工数が余分にかかり、破棄する場合には、拭き取れば良品となるものを捨てることになるので、歩留まりが下がり、どちらの場合も製品のコストアップにつながる無駄なコストを発生させていた。
【０００９】
本発明は、上記問題を解決するためになされたものであり、計測対象物が複数の反射率を有する場合であっても、撮像のボケによる影響を排除して計測領域における３次元形状を高速且つ高精度に計測できるようにすることで、計測領域における識別性能を向上させた３次元計測方法及びそれを用いた装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために請求項１の発明は、計測対象物に縞パターンを当該縞パターンの位相をシフトさせて複数回投影して撮像する位相シフト法を用いることにより、計測対象物が複数の反射率を有する場合の計測対象物の計測領域における３次元形状を計測する３次元計測方法であって、前記計測領域における画像から得られる輝度値分布を縞パターンに直交する方向に微分した輝度微分値と、計測対象物の反射率の差異が縞パターンから得られる位相値に及ぼす影響を補正するための位相補正値との補正関係を予め求めておき、３次元形状を計測する際に、前記計測領域から輝度微分値を算出し、前記補正関係から得られる位相補正値に基づいて前記反射率の差異による影響を受けた位相値を補正し、前記補正された位相値を、位相シフト法を用いて計算を行うことにより、前記計測領域における３次元形状を計測するものである。
【００１１】
請求項２の発明は、請求項１に記載の発明において、前記補正関係を、前記計測領域の撮像における点拡がり関数の複数の値として求めておき、３次元形状を計測する際に、前記点広がり関数の複数の値から得られる補正関係に基づいて、前記反射率の差異による影響を受けた位相値を補正して前記計測領域における３次元形状を計測するものである。
【００１２】
請求項３の発明は、請求項２に記載の発明において、前記計測領域を領域分割し、分割された分割計測領域毎に、領域内の画像（以下、分割計測領域画像という）の輝度値の代表値をその分割計測領域画像の輝度値とするものである。
【００１３】
請求項４の発明は、請求項１乃至請求項３のいずれか一項に記載の発明において、前記計測領域の輝度値分布を得た後に、前記画像の平滑化処理をして輝度微分値を算出するものである。
【００１４】
請求項５の発明は、請求項１乃至請求項４のいずれか一項に記載の発明において、予め求めておいた複数の補正関係の中から、前記算出された輝度微分値を前記方向にさらに微分することで得られる輝度２次微分値を用いて、特定の補正関係を選択するものである。
【００１５】
請求項６の発明は、請求項１乃至請求項５のいずれか一項に記載の発明において、前記算出された輝度微分値が予め設定した規定値以上である場合に限り、前記反射率の差異による影響を受けた位相値を補正するものである。
【００１６】
請求項７の発明は、光の輝度が変化する縞パターンを計測対象物に投影する縞パターン投影部と、縞パターンが投影された計測対象物を撮像する撮像部と、前記撮像部から出力される画像データに基づいて、計測対象物の計測領域における３次元形状を計測するための演算を行う３次元計測処理部と、を備えた３次元形状計測装置において、前記計測領域における画像から得られる輝度値分布を縞パターンに直交する方向に微分した輝度微分値と、計測対象物の反射率の差異が縞パターンから得られる位相値に及ぼす影響を補正するための位相補正値との補正関係を予め求めて記憶させる記憶部を備え、前記３次元計測処理部は、３次元形状を計測する際に、前記計測領域から輝度微分値を算出し、前記補正関係から得られる位相補正値に基づいて前記反射率の差異による影響を受けた位相値を補正し、前記補正された位相値を、位相シフト法を用いて計算を行うことにより、計測対象物が複数の反射率を有する場合の前記計測領域における３次元形状を計測するものである。
【発明の効果】
【００１７】
請求項１の発明によれば、計測対象物の反射率の差異による影響を排除した位相値を算出することができるので、計測領域における３次元形状を高精度に計測することができる。
【００１８】
請求項２の発明によれば、計測対象物が撮像する方向に大きく異なる部分を有した場合であっても、反射率の差異による影響を排除して高精度に計測することができる。
【００１９】
請求項３の発明によれば、計測対象物上の各部分で反射率が大きく異なる場合であっても、反射率の差異による影響を排除して高精度に計測することができる。
【００２０】
請求項４の発明によれば、ノイズによる輝度微分値への影響を低減させることができ、３次元形状をより一層高精度に計測することができる。
【００２１】
請求項５の発明によれば、計測対象物の反射率の差異による影響を確実に排除することができるので、３次元形状をより一層高精度に計測することができる。
【００２２】
請求項６の発明によれば、ノイズによる輝度値の細かい（瞬間的な）変動の影響を排除することができるので、３次元形状をより一層高精度且つ高速に計測することができる。
【００２３】
請求項７の発明によれば、計測対象物が複数の反射率を有する場合であっても、計測領域における３次元形状を高精度に計測することができる３次元形状計測装置が得られる。
【発明を実施するための最良の形態】
【００２４】
（第１の実施形態）
本発明の第１の実施形態に係る３次元計測方法について図１乃至図１３を参照して説明する。本実施形態が適用されるのは、計測対象物の表面が反射率の異なる二種類のもので構成されており、計測時におけるそれぞれの輝度値(L1,L2)が既知であり、さらに、光学系による撮像のボケの度合いを表すσの値も既知（計測対象物の計測領域において一定）である場合が考えられる。例えば、平面である白地の紙に単色のインクで文字が描かれているものを３次元計測する場合等に相当する。図１は、本実施形態の３次元計測方法を実行できる３次元形状計測装置の概略構成を示す。３次元形状計測装置１は、位相シフト法を用いて、計測対象物の計測領域における３次元形状を非接触で計測するためのものであって、計測対象物６に光の輝度が正弦波状に変化する縞パターンを投影する縞パターン投影ユニット２（縞パターン投影部）と、縞パターンが投影された計測対象物６を撮像する撮像ユニット３（撮像部）と、縞パターン投影ユニット２及び撮像ユニット３を制御すると共に、それらのユニットから出力された各種データに基づいて計測領域における３次元形状を計測するための各種処理を行う３次元計測処理ユニット４（３次元計測処理部）と、計算結果及び撮像画像等を表示する表示ユニット５とを備える。
【００２５】
縞パターン投影ユニット２は、照明部２１と、縞パターン生成部２２と、投影光学部２３とを備える。照明部２１は、光源と光源からの光を平行光に変換するコンデンサーレンズとで構成され、縞パターン生成部２２は透過型液晶と偏光板とで構成される。投影光学部２３は、縞パターン生成部２２で作られた縞パターンを計測対象物６に投影するためのレンズである。これによって、縞パターン投影ユニット２は、縞パターンの投影ができ、さらに、縞パターン生成部２２を取り外すことで、一様な光の投影ができる。なお、本実施形態においては、縞パターン生成部２２に透過型液晶と偏光板を使用したが、反射型液晶と偏光板との組合せ、フィルムに焼き付けた縞パターンと所定の間隔で位相をずらすためのアクチュエータとの組合せ及びデジタルミラーデバイス（DMD）でも同等の機能を実現することができる。
【００２６】
撮像ユニット３は、被写体の像を光電変換するための撮像素子３１と、計測対象物６の像を撮像素子３１上に作るための光学レンズから成る撮像光学部３２と、を備える。これによって、計測対象物６に投影され、その表面上で変形された縞パターン等の像が撮像光学部３２により結像される。撮像素子３１は、この縞パターン等の像を画像信号に変換して出力する。
【００２７】
３次元計測処理ユニット４は、縞パターンデータ作成部４１と、投影・撮像制御部４２と、メモリ４３と、演算部４４と、を備える。縞パターンデータ作成部４１は、縞パターン生成部２２において縞パターンを生成するための縞パターンデータを作成する。投影・撮像制御部４２は、縞パターンデータを縞パターン投影ユニット２に転送し、この縞パターンデータに基づいて投影して撮像するための制御を行う。メモリ４３は、縞パターン投影ユニット２で設定されたカメラ分解能、入射角度、縞パターンピッチ及び位相シフトステップ数や、撮像ユニット３で撮像された撮像画像、さらには、この撮像画像に後述する画像処理を施した画像等、各ユニットから出力されるデータを記録する。演算部４４は、メモリ４３内のデータを読み出して、計測対象物６の計測領域における３次元形状を計測するために、縞パターンの位相値の算出や撮像画像の画像処理等の各種演算を行う。表示ユニット５は、上記各部における処理の結果を表示するディスプレイ等である。
【００２８】
ところで、計測対象物が複数の反射率を有する場合、撮像ユニット３の撮像のボケによって、撮像画像の明暗の境界付近での、算出される縞パターンの位相値が正しい値からずれてしまうために、計測対象物の明暗の境界部分において誤計測が発生する。そこで、上述のメモリ４３には、計測領域における画像から得られる輝度値分布を投影する縞パターンに直交する方向に微分した輝度微分値と、計測対象物の反射率の差異が縞パターンの位相値に及ぼす影響を補正するための位相補正値との補正関係を、計測を行う前に記憶させておく。
【００２９】
この補正関係は、コントラストがある平面上に正弦波の縞模様を投影し、その後光学系によるボケが生じたときに縞パターンの位相値を復元するシミュレーションを、コンピュータ等を使用して実行することにより求める。ここで、このシミュレーションの手順について説明する。図２乃至図１０は、このシミュレーションにおける下記の各状態を示す。
【００３０】
まず、計測対象物の表面に明るい領域と暗い領域によるコントラストがある状態を、図２に示すように、明るい方と暗い方の二つの輝度値(L1,L2)だけが存在する状態とし、x,y座標を設定してx方向の輝度値分布で表現する。
【００３１】
次に、図３に示すように、この輝度値分布（図２）に、初期位相0,π/2,π,3π/２の４種類の正弦波を重ね合わせた輝度値分布を生成する。このとき、正弦波の位相方向がx方向になるように重ね合わせる。さらに、図４に示すように、これらの輝度値分布（図３）それぞれに標準偏差σの正規分布を用いた移動平均を行うことによってぼかし状態を生じさせる。これら、ぼかし前及びぼかし後の状態の輝度値分布がそれぞれ、撮像ユニット３側にボケがない場合の４枚の撮像画像の輝度値分布（図３（ａ）〜（ｄ））と、ボケがある場合の４枚の撮像画像の輝度値分布（（図４（ａ）〜（ｄ））に相当する。
【００３２】
次に、ぼかし前の（ボケがない）状態の輝度値分布（図３（ａ）〜(ｄ)）から縞パターンの位相値を算出し、ぼかし後の（ボケがある）状態の輝度値分布（図４（ａ）〜(ｄ)）から同じく縞パターンの位相値を算出する。図５は、これら縞パターンの位相値をそれぞれプロットしたものである。ここで、明暗（明るい領域と暗い領域）の境界付近において、２つの位相値に誤差が生じている部分が存在する。ぼかし前の状態が正しい位相値であるから、この二つの位相値の差（位相差Ｐ）、すなわちぼかし後の状態の位相値から、ぼかし前の状態の位相値を差し引いたものが、撮像のボケによる位相の誤差である。この位相差を位相補正値として、後述する位相値の補正の際に使用する。
【００３３】
図６は、横軸を画素の位置として、図２に示した輝度値分布をx方向に微分した輝度微分値Dと位相差Ｐをそれぞれプロットしたものである。ここで、位相差Ｐの変化は輝度微分値Dの変化とほぼ一致しているが、輝度微分値Dをさらにx方向に微分した輝度２次微分値D2が0でない範囲において、位相差Ｐの方がやや暗い領域にずれていることがわかる。
【００３４】
図７は、輝度微分値Dと位相差Ｐの関係を示したD-Pグラフである。全体として、８の字を描いたようなグラフになっている。ここで、D-Pグラフを、上述の輝度２次微分値D2の符号によって二つに分割し、それぞれを、原点を通る三次関数で近似する。原点付近での傾きが大きいほうが、輝度２次微分値D2>0のときのグラフである。このとき、D-Pグラフは（式１）のように表される。
【００３５】
【数１】
2008241483.tif 000003
【００３６】
ここで、（式１）及び（式２）の係数a1,b1,c1,a2,b2,c2は、L1,L2,σそれぞれの値によって異なるため、L1,L2,σの値を変化させ、それぞれの組み合わせに対して（式１)の係数a1,b1,c1,a2,b2,c2を求める。図８は、L1,L2,σのうちそれぞれ一つのパラメータだけを変化させた状態を示すものである。図８（ａ）の、L1だけを変化させた場合には、D2>0のときの原点付近の傾きはほとんど変化せず、図８（ｂ）の、L2だけを変化させた場合にはD2<0のときの原点付近の傾きがほとんど変化しないことがわかる。また、図８（ｃ）の、σを変化させた場合には、D2の符号に関わらず、全体の傾きが変化することがわかる。
【００３７】
このようなシミュレーションによって求めた係数a1,b1,c1,a2,b2,c2が上記補正関係であり、図９に示すように、L1,L2,σの値に対応させたテーブルとして上記補正関係のテーブルを作成しておき、実際の計測時における位相の誤差の補正に用いる。なお、ここでは、D-Pグラフを、三次関数を用いて近似したが、上述の８の字を描いたような特性を示す奇数次の関数を用いて近似してもよい。また、このような奇数次関数による近似を行わず、図１０に示すように、シミュレーションによって得られたD-Pグラフにおけるプロット点間を補間することによって、輝度微分値Dに対する位相差Ｐそのものをテーブルとして保持しておいてもよい。以下、上記これらのテーブルをD-P補正テーブルと称する。
【００３８】
次に、本実施形態に係る３次元形状計測方法の計測手順について説明する。以下の計測手順は、主に演算部４４により実行される。図１１は、本実施形態のフローチャートを示す。また、図１２は、この計測手順の概要を模式化したものを示す。ここで、下記に記すのは投影する縞パターンの正弦波の位相を１／４周期ずつ変化させる４相の位相シフト法の例であるが、本実施形態においては、３相又は５相以上の位相シフト法であっても構わない。なお、撮像画像における各点とは各画素に対応するものである。
【００３９】
まず、ステップＳ１に示されるように、計測対象物６に所定の光を投影して撮像し、所定の撮像画像を取得する処理が実行される。ここで、このステップＳ１に係る位相変化・投影処理について具体的に説明する。図１３は、そのフローチャートを示す。次のステップＬＳ１１の処理は、ステップＬＥ１１の処理と組み合わされ、この間（本実施形態においては、ステップＳ１１からＳ１３）の処理を、0〜3まで順次iの値を増加させて繰り返す処理である。すなわち、下記ステップＳ１１、Ｓ１２及びＳ１３が、後述する縞パターンの位相をπ/2ずつシフトさせて実行される。まず、ステップＳ１１の、縞パターンデータ作成部４１で作成した正弦波状の縞パターンデータLi(u,v)に基づいて、縞パターンを生成する処理が実行される。縞パターンデータLi(u,v)は（式３）のように表される。
【００４０】
【数２】
2008241483.tif 000004
【００４１】
ここで、(u,v)は縞パターン投影ユニット２の液晶上の座標、b(u,v)はバイアス値、a(u,v)は振幅値、φ(u)は位相値、iπ/2は位相シフト量（i=0,1,2,3）である。縞パターンの輝度はu方向に対して変化し、uは位相φの関数となっておりu(φ)と表すこともできる。
【００４２】
次に、縞パターン投影ユニット２によって上記縞パターンデータLi(u,v)の縞パターンを計測対象物６に投影する処理が実行され（Ｓ１２）、縞パターンが投影された計測対象物６を撮像ユニット３で撮像する処理が実行される（Ｓ１３）。このとき、撮像画像上の座標を(x,y)とし、撮像画像のx方向が正弦波状の縞パターンに直交する方向となるようする。次に、撮像された撮像画像における各点での輝度値Ii(x,y)をメモリ４３に記録する処理が実行される（Ｓ１４）。このとき、撮像画像の各画素の位置は、撮像画像上の座標(x,y)によって表される。このステップＬＳ１１からＬＥ１１までの処理は、図１２（ａ）に示す内容に対応する。
【００４３】
次に、縞パターン投影ユニット２により、一様な光を計測対象物６に投影する処理が実行され（Ｓ１５）、一様な光が投影された計測対象物６を撮像ユニット３で撮像する処理が実行される（Ｓ１６）。さらに、この１枚の撮像画像をメモリ４３に記録する処理が実行される（Ｓ１７）。この撮像画像を画像Itとする。なお、この画像Itは、一様な光を投影して撮像する方法で取得する以外に、上述した、縞パターンの位相をシフトさせて投影して撮像した４枚の撮像画像を平均することで取得したものであってもよい。以上が、ステップＳ１に係る位相変化・投影処理についての説明である。
【００４４】
上述のステップＳ１の処理が実行されると、ステップＳ２の、画像Itの輝度についてのx方向の微分画像Dtを生成する処理が実行される。これは、画像Itから得られる輝度値分布をx方向に微分して撮像画像上の各点における輝度微分値を算出するためのものである。ここで、微分のオペレータは、上述したシミュレーションにおいてD-P補正テーブルを求めたときと同じものを使用する。
【００４５】
次のステップＬＳ１の処理は、ステップＬＥ１の処理と組み合わされ、この間（本実施形態においては、ステップＬＳ２からＬＥ２）の処理を、全てのy座標値において実行されるまで繰り返す処理であり、さらに次のステップＬＳ２の処理は、ステップＬＥ２の処理と組み合わされ、この間（本実施形態においては、ステップＳ３からＳ５）の処理を、全てのx座標値において実行されるまで繰り返す処理である。従って、下記ステップＳ３、Ｓ４、及びＳ５の処理は、撮像画像の全画素において実行される。
【００４６】
次に、ステップＳ３に示されるように、縞パターンの位相値を算出する処理が実行される。具体的には、メモリ４３に記録された各画素の輝度値Ii(x,y)(i=0,1,2,3)から、各画素について正弦波を当てはめて、各画素における縞パターンの位相値φ(x,y)を計算する。位相値φ(x,y)は（式４）のように表される。このステップＳ３の処理は、図１２（ｂ）に示す内容に対応する。
【００４７】
【数３】
2008241483.tif 000005
【００４８】
次に、ステップＳ４に示されるように、撮像のボケによる縞パターンの位相値の誤差を補正する処理が実行される。具体的には、予め既知であるL1,L2,σの値に対応したD-P補正テーブルから位相補正値Pを取得し、位相値φ(x,y)を補正した位相値φ'(x,y)を計算する。位相値φ'(x,y)は（式５）のように表される。このステップＳ４の処理は、図１２（ｃ）に示す内容に対応する。
【００４９】
【数４】
2008241483.tif 000006
【００５０】
次に、ステップＳ５に示されるように、撮像画像の画素の位置(x,y)について、３次元座標X(x,y)、Y(x,y)、Z(x,y)を計算する処理が実行される。具体的には、計測対象物６に投影された縞パターンは計測対象物６の３次元形状により変調されているが、投影時の位相値φ(u)と、撮像画像から求めた位相値φ(x,y)は同じものであるため、撮像素子３１上の座標と液晶上の座標の対応関係が得られ、三角測量の原理によって計測対象物６表面の３次元座標が求められる。３次元座標X(x,y),Y(x,y),Z(x,y)は（式６）のように表される。
【００５１】
【数５】
2008241483.tif 000007
【００５２】
ここで、u(f)は位相から液晶の素子上の画素へ対応付ける関数、pc,ppはそれぞれ撮像ユニット３、縞パターン投影ユニット２のキャリブレーションで求められるパラメータであり、次の（式７）、（式８）を満足する。このステップＳ５の処理は、図１２（ｄ）に示す内容に対応する。
【００５３】
【数６】
2008241483.tif 000008
【００５４】
以上の手順によって、計測対象物の計測領域における３次元形状が計測される。従って、計測対象物の反射率の差異による影響を排除した位相値を算出することができるので、計測領域における３次元形状を高精度に計測することができる。
【００５５】
（第２の実施形態）
本発明の第２の実施形態に係る３次元計測方法について図面を参照して説明する。本実施形態が適用されるのは、計測対象物の表面反射率が異なる二種類のもので構成されており、計測時におけるそれぞれの輝度値(L1,L2)が既知であり、さらに、光学系による撮像のボケの度合いを表すσの値が撮像画像中で異なる（計測対象物の計測領域において一定でない）場合が考えられる。例えば、高さ方向が大きく異なる部分がある単色の形状部に、別途異なる単色のインクで文字が描かれているものを３次元計測する場合等に相当する。本実施形態の３次元計測方法を実行できる３次元形状計測装置については、第１の実施形態と同様である（以下、同様）。
【００５６】
図１４は、本実施形態のフローチャートを示す。ここで、前述の図１１に示す各ステップと同等のステップについては、同符合を付しており、以下のフローチャートにおいても、同様に同符合を付す。まず、ステップＳ１、Ｓ２の処理が実行される。
【００５７】
次に、ステップＳ６に示されるように、σの値を算出する処理が実行される。ここで、このステップＳ６に係るσの算出処理について具体的に説明する。図１５は、そのフローチャートを示す。まず、ステップＳ６１に示されるように、輝度値が変化する位置にある画素の集まりを、σの値を算出すべき補正対象範囲として抽出する処理が実行される。具体的には、微分画像Dt全体から、x方向の輝度値がL1からL2に、又はL2からL1に変化する（このとき、輝度微分値は０から変化して０に戻る）間に位置する画素の集まりを、１つの補正対象範囲として区切って抽出し、さらに、この補正対象範囲の個数ｐを抽出する。
【００５８】
次のステップＬＳ６１の処理は、ステップＬＥ６１の処理と組み合わされ、この間（本実施形態においては、ステップＳ６２及びＳ６３）の処理を、上述のｐ個全ての補正対象範囲について実行されるまで繰り返す処理である。
【００５９】
次に、ステップＳ６２に示されるように、補正対象範囲内のMTFを計算する処理が実行される。具体的には、補正対象範囲内について、画像Itのx方向の輝度値と、L1,L2の値から推測される理想的なエッジでの輝度値に基づいて、エッジ拡がり関数によるMTFの推定を行う。ここで、理想的なエッジは、画像Itのx方向の輝度値を(L1+L2)/2のしきい値で二値化したものとする。このMTFは既知の通り、光学系を１つの伝達系とみなしたとき、その伝達性能を表す指標であって、空間周波数毎に定義されるものであり、（式９）のように表される。
【００６０】
【数７】
2008241483.tif 000009
【００６１】
ここで、ESF(x)はエッジ拡がり関数（撮像されたエッジのプロファイル）、E(x)は理想的なエッジのプロファイル、h(x)は[0,W]を窓領域とするハニング窓、ξは空間周波数、f[]はフーリエ変換である。
【００６２】
次に、ステップＳ６３に示されるように、MTFより補正対象範囲内のσの値を計算する処理が実行される。具体的には、撮像のボケを正規分布と仮定したときの標準偏差σの値に対するMTFを予め求めておき、（式９）で求められたMTFがどのσの値に対するMTFの形状に最も近いかを最小二乗法で判定することで、最適なσの値を選択する。以上が、ステップＳ６に係るσの算出処理についての説明である。
【００６３】
次のステップＬＳ１以降の処理は、第１の実施形態と同様である。このように、算出したσの値と、予め既知であるL1,L2を用いて、縞パターンの位相値の誤差を補正することにより、計測対象物が撮像する方向に大きく異なる部分を有しており、撮像のボケ度合いが、計測対象物の計測領域において一定でない場合であっても、反射率の差異による影響を排除して高精度に計測することができる。
【００６４】
（第３の実施形態）
本発明の第３の実施形態に係る３次元計測方法について図面を参照して説明する。本実施形態が適用される場合として、計測対象物表面の反射率が多様であるため、L1,L2の値が画像It中の位置によって異なり、画像Itを二種類の輝度値のみで表すことが適切でない場合が考えられる。
【００６５】
図１６は、本実施形態のフローチャートを示す。まず、第２の実施形態と同様に、ステップＳ１からＳ６までの処理が実行される。次に、Ｓ７に示されるように、画像Itを輝度値によって領域分割し、分割された領域内の画像毎に、その画像の輝度値を代表する代表輝度値を求める処理が実行される。このとき、領域分割は、近接画素の統合や輪郭線の抽出等によって行い、領域内の画像毎の代表輝度値は、その画像の輝度値の平均値を用いる。
【００６６】
次のステップＬＳ３の処理とさらに次のステップＬＳ４の処理は、ステップＬＳ１の処理とステップＬＳ２の処理に対応する処理である。従って、下記ステップＳ３、Ｓ８、Ｓ４及びＳ５の処理は、撮像画像の全画素において実行される。
【００６７】
次に、ステップＳ３の処理が実行され、ステップＳ８に示されるように、注目する画素におけるL1及びL2を求める処理が実行される。具体的には、注目する画素が所属する領域の代表輝度値（La）と、この領域とx方向において隣接する領域のうち、より自身の画素から近い領域の代表輝度値(Lb)とを比較し、明るいほうの代表輝度値をL1、暗いほうの代表輝度値をL2とする。従って、L1，L2は（式１０）及び（式１１）のように表される。
【００６８】
【数８】
2008241483.tif 000010
【００６９】
次に、ステップＳ４、Ｓ５の処理が実行される。このように、注目する画素ごとにL1,L2の値を求めて、縞パターンの位相値の誤差を補正することにより、複数の反射率が計測対象物上の各部分で大きく異なる場合であっても、反射率の差異による影響を排除して高精度に計測することができる。
【００７０】
（第４の実施形態）
本発明の第４の実施形態に係る３次元計測方法について図面を参照して説明する。
本実施形態が適用されるのは、投影系又は撮像系のノイズによって輝度値にばらつきが生じる場合が考えられる。
【００７１】
図１７は、本実施形態のフローチャートを示す。まず、ステップＳ１の処理が実行される。次に、ステップＳ９の、画像Itにメディアンフィルタ又は移動平均フィルタを施し、画像Itを平滑化する処理が実行される。次のステップＳ２以降の処理は、第３の実施形態と同様である。
【００７２】
このようにして画像Itの平滑化を行った後、微分画像Dtを生成することにより、ノイズによる輝度微分値への影響を低減させることができ、３次元形状をより一層高精度に計測することができる。
【００７３】
（第５の実施形態）
本発明の第５の実施形態に係る３次元計測方法について図面を参照して説明する。本実施形態が適用されるのは、第４の実施形態と同様に、投影系又は撮像系のノイズによって輝度値にばらつきが生じる場合が考えられる。
【００７４】
図１８は、本実施形態のフローチャートを示す。本実施形態においても、第４の実施形態と同様に、ステップＳ１からＳ７までの処理が実行される。次のステップＬＳ５の処理とさらに次のステップＬＳ６の処理は、ステップＬＳ１の処理とステップＬＳ２の処理に対応する処理である。従って、下記ステップＳ３、Ｓ８、Ｓ１０、Ｓ４及びＳ５の処理は、撮像画像の全画素において実行される。
【００７５】
次に、ステップＳ３、Ｓ８の処理が実行され、ステップＳ１０の、輝度微分値の絶対値が予め設定した規定値以上であるかを判断する処理が実行される。輝度微分値の絶対値が規定値以上である場合には、ステップＳ４の処理が実行される。図１９は、輝度微分値の絶対値が規定値以上である画素の範囲（補正実行範囲）を示す。
【００７６】
次に、ステップＳ５の処理が実行される。このように、輝度微分値が予め設定した規定値以上である限り、位相値を補正するようにすることで、ノイズによる輝度値の細かい（瞬間的な）変動の影響を排除することができるので、３次元形状をより一層高精度且つ高速に計測することができる。
【００７７】
なお、本発明は、上記各種実施形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。例えば、上記補正関係を、縞パターン投影ユニット２及び撮像ユニット３から出力されるデータを記録するメモリ４３とは別に設けたメモリに記憶させてもよい。
【図面の簡単な説明】
【００７８】
【図１】本発明の第１の実施形態に係る３次元計測方法を実行できる３次元形状計測装置を示すブロック構成図。
【図２】（ａ）は補正関係を求めるためのシミュレーションにおいて、コントラストがある平面上を示す概略図、（ｂ）は図２（ａ）のx方向の輝度値分布を示す図。
【図３】（ａ）は図２（ｂ）の図に初期位相０の正弦波を重ね合わせた図、（ｂ）は同じく初期位相π/2の正弦波を重ね合わせた図、（ｃ）は同じく初期位相πの正弦波を重ね合わせた図、（ｄ）は同じく初期位相3π/2の正弦波を重ね合わせた図。
【図４】（ａ）は図３（ａ）の図に移動平均を行った図、（ｂ）は図３（ｂ）の図に移動平均を行った図、（ｃ）は図３（ｃ）の図に移動平均を行った図、（ｄ）は図３（ｄ）の図に移動平均を行った図。
【図５】（ａ）は、図３（ａ）〜(ｄ)及び図４（ａ）〜(ｄ)から算出したぼかし前及びぼかし後のx方向の位相値を示す図、（ｂ）は図５（ａ）のＡ部の拡大図、（ｃ）は図５（ａ）のＢ部の拡大図。
【図６】図２の輝度値分布を微分した輝度微分値Ｄと図５で示した位相差Ｐを画素の位置毎に示す図。
【図７】上記輝度微分値Ｄと上記位相差Ｐの関係を示すグラフ（D-Pグラフ）。
【図８】（ａ）はL1を変数とし、L2,σを定数とした場合のD-Pグラフの変化を示す図、（ｂ）はL2を変数とし、L1,σを定数とした場合のD-Pグラフの変化を示す図、（ｃ）はσを変数とし、L1,L2を定数とした場合のD-Pグラフの変化を示す図。
【図９】輝度微分値Ｄと位相差Ｐの関係を奇数次関数で近似した場合のテーブルを示す図。
【図１０】上記関係を奇数次関数で近似しない場合のテーブルを示す図。
【図１１】上記計測方法の計測手順を示すフローチャート。
【図１２】（ａ）乃至（ｄ）は上記計測手順での主要な処理を示す模式図。
【図１３】上記計測方法での位相変化・投影処理の手順を示すフローチャート。
【図１４】本発明の第２の実施形態に係る３次元計測方法の計測手順を示すフローチャート。
【図１５】上記計測方法でのσ算出の手順を示すフローチャート。
【図１６】本発明の第３の実施形態に係る３次元計測方法の計測手順を示すフローチャート。
【図１７】本発明の第４の実施形態に係る３次元計測方法の計測手順を示すフローチャート。
【図１８】本発明の第５の実施形態に係る３次元計測方法の計測手順を示すフローチャート。
【図１９】上記計測方法での補正実行範囲を示す図。
【符号の説明】
【００７９】
１  ３次元形状計測装置
２  縞パターン投影ユニット（縞パターン投影部）
３  撮像ユニット（撮像部）
４  ３次元計測処理ユニット（３次元計測処理部）
５  表示ユニット
６  計測対象物
２１  照明部
２２  縞パターン生成部
２３  投影光学部
３１  撮像素子
３２  撮像光学部
４１  縞パターンデータ作成部
４２  投影・撮像制御部
４３  メモリ（記憶部）
４４  演算部
【図１】
2008241483.tif 000011
【図２】
2008241483.tif 000012
【図３】
2008241483.tif 000013
【図４】
2008241483.tif 000014
【図５】
2008241483.tif 000015
【図６】
2008241483.tif 000016
【図７】
2008241483.tif 000017
【図８】
2008241483.tif 000018
【図９】
2008241483.tif 000019
【図１０】
2008241483.tif 000020
【図１１】
2008241483.tif 000021
【図１３】
2008241483.tif 000022
【図１４】
2008241483.tif 000023
【図１５】
2008241483.tif 000024
【図１６】
2008241483.tif 000025
【図１７】
2008241483.tif 000026
【図１８】
2008241483.tif 000027
【図１９】
2008241483.tif 000028
【図１２】
2008241483.tif 000029