(57)【要約】【課題】対物レンズの光軸に沿って、被検物を移動させることなく、被検物の形状を測定できるようにする。【解決手段】MLA１２は、対物レンズ１１の瞳面又は結像面に配置され、撮像素子１３は、MLA１２の背後に設置され、対物レンズ１１による被検物像を撮像する。演算処理回路３４は、撮像素子１３の出力から複数の測定画像を生成し、MLA１２の２次元状に配列された複数のＭＬの各々に対応する撮像素子１３の撮像領域を構成する画素のうち、対物レンズ１１の主光線と交わる位置にある画素から得られる基準画像を、測定画像の補正情報として用いて、被検物の３次元の形状を測定する。本発明は、被検物の３次元の形状を計測する形状測定装置に適用できる。【選択図】図１１
2010054320.tif 000002
【特許請求の範囲】
【請求項１】
対物レンズと、
前記対物レンズの背後に２次元に配列された複数のレンズを有する光学素子と、
前記光学素子の背後に配置された２次元の撮像素子と、
前記撮像素子の出力から複数の測定画像を生成する画像生成手段と、
前記複数のレンズの各々に対応する前記撮像素子の撮像領域を構成する画素のうち、前記対物レンズの主光線と交わる位置にある画素から得られる基準画像を、前記測定画像の補正情報として用いて、被検物の３次元の形状を測定する３次元形状測定手段と
を備えることを特徴とする形状測定装置。
【請求項２】
前記光学素子は、前記対物レンズの射出瞳と共役であり、
前記３次元形状測定手段は、前記複数のレンズのうちの前記対物レンズの光軸の位置にあるレンズにより前記撮像素子の撮像面上に形成された像から得られる画像を、前記基準画像とする
ことを特徴とする請求項１に記載の形状測定装置。
【請求項３】
前記撮像素子の撮像面は、前記対物レンズの射出瞳と共役であり、
前記３次元形状測定手段は、前記対物レンズの主光線が交わる前記撮像素子の撮像領域を構成する画素から前記基準画像を形成する
ことを特徴とする請求項１に記載の形状測定装置。
【請求項４】
前記３次元形状測定手段は、前記複数の測定画像の中から、着目しているエッジ位置とその近傍の画素信号が、前記基準画像より得られるエッジ位置とその近傍の画素のコントラスト信号と最も相関の高い画像を求め、さらに、その画像の仮想的な焦点位置から各エッジ位置でのベストフォーカス位置を求めることで、前記被検物の３次元の形状を測定する
ことを特徴とする請求項１から３の何れか一項に記載の形状測定装置。
【請求項５】
前記相関は、前記画素信号と、前記コントラスト信号との差分絶対値の和を計算することによって求められ、
前記３次元形状測定手段は、前記相関の計算を行うとき、合焦時における差分絶対値の和で除算して、規格化する
ことを特徴とする請求項４に記載の形状測定装置。
【請求項６】
前記３次元形状測定手段は、前記基準画像を用いて、前記複数の測定画像の中のエッジ位置を検出し、そのエッジ位置における所定のフィルタ処理で得られたデフォーカス量の変化に基づいて、各エッジ位置でのベストフォーカス位置を求めることで、前記被検物の３次元の形状を測定する
ことを特徴とする請求項１から３の何れか一項に記載の形状測定装置。
【請求項７】
前記３次元形状測定手段は、前記デフォーカス量の計算を行うとき、合焦時のデフォーカス量で除算して、規格化する
ことを特徴とする請求項６に記載の形状測定装置。
【請求項８】
前記被検物に所定のパターンを投影する投影手段をさらに備え、
前記撮像素子は、前記被検物に投影された前記パターンの反射光であって、前記対物レンズによる被検物像を撮像し、
前記３次元形状測定手段は、前記撮像素子から出力される前記パターンの反射光から得られる画像信号に基づいて、前記被検物の３次元の形状を測定する
ことを特徴とする請求項１から７の何れか一項に記載の形状測定装置。
【請求項９】
前記対物レンズの瞳面又は瞳面と共役な位置に配置されるレンズ絞りと、
測定感度を上げたい場合には前記レンズ絞りを大きくしてＦ値を小さくし、測定範囲を広げたい場合には前記レンズ絞りを絞り込んでＦ値を大きくするように、前記レンズ絞りを制御するレンズ絞り制御手段と
をさらに備えることを特徴とする請求項１から８の何れか一項に記載の形状測定装置。
【請求項１０】
対物レンズと、
前記対物レンズの背後に２次元に配列された複数のレンズを有する光学素子と、
前記光学素子の背後に配置された２次元の撮像素子と
を備える形状測定装置の形状測定方法において、
前記撮像素子の出力から複数の測定画像を生成し、
前記複数のレンズの各々に対応する前記撮像素子の撮像領域を構成する画素のうち、前記対物レンズの主光線と交わる位置にある画素から得られる基準画像を、前記測定画像の補正情報として用いて、被検物の３次元の形状を測定する
ステップを含むことを特徴とする形状測定方法。
【請求項１１】
対物レンズと、
前記対物レンズの背後に２次元に配列された複数のレンズを有する光学素子と、
前記光学素子の背後に配置された２次元の撮像素子と
を備える機器を制御するコンピュータに実行させるプログラムであって、
前記撮像素子の出力から複数の測定画像を生成し、
前記複数のレンズの各々に対応する前記撮像素子の撮像領域を構成する画素のうち、前記対物レンズの主光線と交わる位置にある画素から得られる基準画像を、前記測定画像の補正情報として用いて、被検物の３次元の形状を測定する
ステップを含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、形状測定装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
対物レンズの光軸に沿って被検物を移動させながら焦点位置の異なる複数の画像を得て、被検物上の点各々について、それら複数の画像より合焦測度が最大となる画像を選択し、その画像での焦点位置をその点についての高さとし、これらの情報から被検物の形状測定を行うものが知られている。
【０００３】
これは、一般的に、SFF（Shape From Focus）といった手法である。
【特許文献１】特許第２９６０６８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような従来の技術では、対物レンズの光軸に沿って被検物を移動させながら画像を取得する必要があり、測定に時間がかかっていた。
【０００５】
本発明はこのような状況に鑑みてなされたものであり、対物レンズの光軸に沿って、被検物を移動することなく、被検物の形状を測定できるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の一側面の形状測定装置は、対物レンズと、前記対物レンズの背後に２次元に配列された複数のレンズを有する光学素子と、前記光学素子の背後に配置された２次元の撮像素子と、前記撮像素子の出力から複数の測定画像を生成する画像生成手段と、前記複数のレンズの各々に対応する前記撮像素子の撮像領域を構成する画素のうち、前記対物レンズの主光線と交わる位置にある画素から得られる基準画像を、前記測定画像の補正情報として用いて、被検物の３次元の形状を測定する３次元形状測定手段とを備えることを特徴とする。
【０００７】
前記光学素子は、前記対物レンズの射出瞳と共役であり、前記３次元形状測定手段は、前記複数のレンズのうちの前記対物レンズの光軸の位置にあるレンズにより前記撮像素子の撮像面上に形成された像から得られる画像を、前記基準画像とすることを特徴とする。
【０００８】
前記撮像素子の撮像面は、前記対物レンズの射出瞳と共役であり、前記３次元形状測定手段は、前記対物レンズの主光線が交わる前記撮像素子の撮像領域を構成する画素から前記基準画像を形成することを特徴とする。
【０００９】
前記３次元形状測定手段は、前記複数の測定画像の中から、着目しているエッジ位置とその近傍の画素信号が、前記基準画像より得られるエッジ位置とその近傍の画素のコントラスト信号と最も相関の高い画像を求め、さらに、その画像の仮想的な焦点位置から各エッジ位置でのベストフォーカス位置を求めることで、前記被検物の３次元の形状を測定することを特徴とする。
【００１０】
前記相関は、前記画素信号と、前記コントラスト信号との差分絶対値の和を計算することによって求められ、前記３次元形状測定手段は、前記相関の計算を行うとき、合焦時における差分絶対値の和で除算して、規格化することを特徴とする。
【００１１】
前記３次元形状測定手段は、前記基準画像を用いて、前記複数の測定画像の中のエッジ位置を検出し、そのエッジ位置における所定のフィルタ処理で得られたデフォーカス量の変化に基づいて、各エッジ位置でのベストフォーカス位置を求めることで、前記被検物の３次元の形状を測定することを特徴とする。
【００１２】
前記３次元形状測定手段は、前記デフォーカス量の計算を行うとき、合焦時のデフォーカス量で除算して、規格化することを特徴とする。
【００１３】
前記被検物に所定のパターンを投影する投影手段をさらに備え、前記撮像素子は、前記被検物に投影された前記パターンの反射光であって、前記対物レンズによる被検物像を撮像し、前記３次元形状測定手段は、前記撮像素子から出力される前記パターンの反射光から得られる画像信号に基づいて、前記被検物の３次元の形状を測定することを特徴とする。
【００１４】
前記対物レンズの瞳面又は瞳面と共役な位置に配置されるレンズ絞りと、測定感度を上げたい場合には前記レンズ絞りを大きくしてＦ値を小さくし、測定範囲を広げたい場合には前記レンズ絞りを絞り込んでＦ値を大きくするように、前記レンズ絞りを制御するレンズ絞り制御手段とをさらに備えることを特徴とする。
【００１５】
本発明の一側面の形状測定方法は、対物レンズと、前記対物レンズの背後に２次元に配列された複数のレンズを有する光学素子と、前記光学素子の背後に配置された２次元の撮像素子とを備える形状測定装置の形状測定方法において、前記撮像素子の出力から複数の測定画像を生成し、前記複数のレンズの各々に対応する前記撮像素子の撮像領域を構成する画素のうち、前記対物レンズの主光線と交わる位置にある画素から得られる基準画像を、前記測定画像の補正情報として用いて、被検物の３次元の形状を測定するステップを含む。
【００１６】
本発明の一側面のプログラムは、上述した本発明の一側面の形状測定方法に対応するプログラムである。
【００１７】
本発明の一側面においては、撮像素子の出力から複数の測定画像が生成され、複数のレンズの各々に対応する撮像素子の撮像領域を構成する画素のうち、対物レンズの主光線と交わる位置にある画素から得られる基準画像を、測定画像の補正情報として用いて、被検物の３次元の形状が測定される。
【発明の効果】
【００１８】
本発明によれば、対物レンズの光軸に沿って、被検物を移動することなく、被検物の形状を測定できる。
【発明を実施するための最良の形態】
【００１９】
以下、適宜、図面を参照しながら本発明の実施の形態について説明する。
【００２０】
本発明では、レンズを動かすことなく、複数の仮想的な物体面（Ｚ1，Ｚ2，・・・）からの（方向性を含む）ボケ量（以下、フォーカス情報ともいう）を算出し、さらに、ボケのない全焦点の画像も同時に得られるようにしている。これにより、本発明においては、それらの情報を用いた距離計測を行うことが可能となる。
【００２１】
具体的には、レンズと撮像面の間隔ａ（以下、レンズ位置ａともいう）と、レンズの焦点距離ｆから、下記の式（１）のガウスの公式により、被検物の測定点までの距離ｂを知ることができる。
【００２２】
１／ｂ＝１／ｆ−１／ａ・・・（１）
【００２３】
本発明による測定では、上記の機構的に決まるレンズ位置ａとは別に、マイクロレンズアレイ（以下、MLAという）を通した撮像素子上の画素信号を組み換え、加算することにより、仮想的にレンズと撮像面の間隔ａ1，ａ2，ａ3，・・・，ａnを構築する。これらの値を、式（１）の値ａに代入して得られる値ｂの値列が、複数の物体面（Ｚ1，Ｚ2，Ｚ3，・・・Ｚn）の位置となる。すなわち、かかる測定においては、このような再構成により、異なる物体面から発せられた光線が撮像面に到達したとして、そのときの画像を再構成し、フォーカス情報を得ることができる。
【００２４】
このようにして、レンズの光軸に沿って被検物を移動することなく、従来のSFF法と同様の情報を得ることができる。
【００２５】
なお、このような焦点検出での位置は、MLAの数だけ実行できるので、被検物をどのくらい細かく測定できるか（空間分解能）は、MLAの配列構成によって決まる。つまり、MLAの数が多いほど、測定の空間分解能が高くなることになる。
【００２６】
次に、上記の原理を用いて、被検物の形状測定を行う形状測定装置の詳細について、各構成要素ごとに説明する。
【００２７】
［１．光学系］
まず、図１を参照して、本発明を適用した形状測定装置の光学系の概要について説明する。
【００２８】
図１に示すように、光学系は、対物レンズ１１、MLA１２、及び撮像素子１３を含むようにして構成される。
【００２９】
図１には、図１ａと図１ｂの２つの光学系の構成が図示されているが、図１ａの構成では、被検物（物体面（Ｐ面））の像を捕らえる対物レンズ１１の焦点距離だけ離れた位置にMLA１２を置き、MLA１２の焦点距離だけ離れた位置に撮像素子１３が置かれている。図１ａでは、この撮像素子１３の撮像面が、物体面（Ｐ面）と共役になっており、被検物の像が結像している。
【００３０】
MLA１２は、先述したMLAと同様に、例えば７×７個などの、複数のマイクロレンズ（以下、ＭＬという）を２次元状に並べてなる光学素子である（図１では、縦方向の７個を図示している）。各ＭＬで結像した像のできる領域、すなわち、ＭＬ領域１３ＭＬから得られる画像信号は、それぞれのＭＬ領域の位置に応じて被検物の異なる視点の画像、つまり、視差のある像となっている。
【００３１】
一方、図１ｂの構成では、所定の位置にある物体面Ｐが対物レンズ１１で結像する面にMLA１２を置き、ＭＬの焦点距離だけ離れた位置に撮像素子１３が置かれている。この場合、撮像素子１３の面が、対物レンズ１１の瞳面と共役になっており、各ＭＬ領域の画像信号は、瞳を分割した像となっている。言い換えると、図１ｂでは、結像された光線が、レンズ瞳から見て違う角度ごとの光線に振り分けられている。
【００３２】
本発明では、上記の図１ａ又は図１ｂのいずれの構成からも、違う角度からの光線を再構成することによって、焦点面の異なる複数の画像を得ることができ、それを利用して、被検物の形状の測定を行う。したがって、以下の説明では、図１ａの構成を中心に述べるが、図１ｂの構成を採用しても同様である。
【００３３】
そこで、次に、図２及び図３を参照して、図１ａの光学系のさらに詳細な構成について説明する。なお、図２においては、複数のＭＬからなるMLA１２の一部としての、マイクロレンズＭＬa，マイクロレンズＭＬb，マイクロレンズＭＬcの３つのＭＬ（以下、それぞれ、ＭＬa，ＭＬb，ＭＬcという）が説明のために図示されている。
【００３４】
図２において、物体面（Ｐ面）上の点Ｐ１からの光線には、光軸と平行方向の光（図中の実線）として対物レンズ１１を通過後屈折して、ＭＬbによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ１bに結像される光線群（図中の実線）や、対物レンズ１１の中心を通過後、ＭＬcによって、撮像素子１３の撮像面上のＭＬ領域の点Ｐ１cに結像される光線群（図中の点線）などがある。
【００３５】
こうして、対物レンズ１１の瞳面に置いた各ＭＬが、撮像面にそれぞれ独立に物体の像を結ぶ。また、このとき、撮像面上のＭＬ領域の点Ｐ１bと、ＭＬ領域の点Ｐ１cとは、物体面（Ｐ面）上の同じ点Ｐ１からの、異なる角度で出てきた光線を受光する。
【００３６】
同様に、物体面（Ｐ面）上の点Ｐ２からの光線には、図中の一点鎖線で示される方向に射出して対物レンズ１１を通過屈折し、ＭＬaによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ２aに結像される光線、図中の実線で示されるように、対物レンズ１１の光軸と平行方向に射出して対物レンズ１１を通過後、ＭＬbによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ２bに結像される光線、及び図中の点線で示されるように、下方向に射出して対物レンズ１１を通過後屈折して、ＭＬcによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ２cに結像される光線が示されている。また、物体面（Ｐ面）上の点Ｐ３からの光線には、図中の一点鎖線で示されるように上方向に射出して対物レンズ１１を通過後屈折して、ＭＬaによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ３aに結像される光線、図中の実線で示されるように対物レンズ１１の光軸と平行方向に射出して、ＭＬbによって撮像素子１３の撮像面上のＭＬ領域の点Ｐ３bに結像される光線が示されている。
【００３７】
ここで、仮に、対物レンズ１１だけの結像系であったとすると、例えば、点Ｐ２から射出された光は対物レンズ１１で一点に集光される。すなわち、図２の光学系でいうと、点Ｐ２a，Ｐ２b，Ｐ２cなどの点Ｐ２から射出したあらゆる方向からの光線強度が加算されたものとなり、これが画素信号となる。このことは、図２に示すような、本発明の光学系では、MLA１２の各ＭＬによって、被検物上の一点から出た光を方向別に選別して捕えることができる、ということを意味している。
【００３８】
図３は、ある１つのＭＬから見た像が、Ｐ面から射出した同じ方向からの光線で構成されたＰ面の像であることを示しており、そのことはＰ面を各ＭＬによって各ＭＬの数だけ異なる方向から見た像が得られることを示すものである。すなわち、ＭＬの数だけできるが、それらはＰ面から射出した光のうち、同じ方向へ射出した光が対応するＭＬに入射してＰ面の像を形成することを意味する。換言すれば、ＭＬの数だけ異なる視差の像が得られる。
【００３９】
図３ａないし図３ｃで示す光線のうち、図３ｂにおいて、対物レンズ１１に対して垂直に入ってくる光を集めた中央部のＭＬによる像は、Ｐ面を正面から捕らえた像となる。また、図３ａ及び図３ｃは、対物レンズ１１に斜めに入射する光を集めた端の方に位置するＭＬによる像は、Ｐ面から射出する光の角度の方向からＰ面を見た像となる。
【００４０】
対物レンズ１１の瞳面は、MLA１２の各ＭＬの口径の大きさに分割され、それぞれのＭＬが同じ物体像を結ぶ。このとき、端の方のＭＬでの像は、周辺でけられ（物体の見えない所）が発生し、端の方の視野の一部は遮られるが、基本的には、各ＭＬによる像は、物体面（Ｐ面）と共役の位置で物体面（Ｐ面）を異なる角度から見た像となる。
【００４１】
そして、Ｎ個の各MLA像のＮＡ（開き角）は、各ＭＬの口径で決まる開口で１／Ｎに縮小される。ここで注目すべきことは、各ＭＬの像は、結像側からの見込み角度が小さく、光量は少なくなるが、被写界深度（焦点深度）は非常に深くなる。従って、物体側の奥行きに関係なく、ほとんど焦点の合った像、いわゆる全焦点画像となっている。
【００４２】
さらに、図３ｂの対物レンズ１１の光軸上（図２のMLA１２の中心に相当する）のＭＬ（図２のＭＬbに相当する）によって結像される像は、物体位置が光軸方向に移動しても、焦点もほぼ合ったまま像はずれない。すなわち、物体の光軸方向の位置が変わっても像はほとんど変化しない。
【００４３】
一方、図３ａと図３ｃでの中心から外れたＭＬ（図２のＭＬa，ＭＬcに相当する）を見ると、図中の左方向の矢印で示すように、物体位置が対物レンズ１１から遠ざかる場合、結像される像は、図３ａでは図中の上方向の矢印の方向にずれ、図３ｃでは図中の下方向の矢印の方向にずれる。つまり、光線のあたる画素位置は、光軸から遠ざかる方向にずれていく。逆に、物体位置が近づけば、これらの画像の画素位置は、光軸へ近づく方向にずれていく。
【００４４】
以上のようにして、本発明の光学系は構成される。
【００４５】
［２．焦点画像生成の手順］
（２−１）MLA１２を対物レンズ１１の瞳面とした場合
次に、図４及び図５を参照しつつ、上記の本発明の光学系を採用した場合において、複数の異なる位置での物体面の画像又は信号を形成して、物体各点でのフォーカス情報を検出する方法について説明する。なお、本実施の形態においては、図１で説明したように、図１ａ又は図１ｂのいずれの構成を採用しても、異なる角度から入射される光線を再構成して、焦点面の異なる複数の画像を生成することが可能である。したがって、はじめに、（１）MLA１２を対物レンズ１１の瞳面に置いた場合について説明し、その後、（２）MLA１２を対物レンズ１１の結像面に置いた場合についても説明する。
【００４６】
図４は、対物レンズ１１とMLA１２での光線追跡図を示し、図５は、MLA１２で結像された撮像素子１３の面での画素配列の一部と、MLA領域ごとに信号処理される選択画素を示している。
【００４７】
ところで、MLA１２の後側に配置される撮像素子１３は、例えば、CCD（Charge Coupled Device）センサやCMOS（Complementary Metal Oxide Semiconductor）センサなどであり、MLA１２の各ＭＬを通過した光を受光する所定の画素配列を、ＭＬに対応した配置パターンで配置してなる。この画素配列の縦方向と横方向の画素数は、例えば７×７個などの個々のＭＬを個別に透過した部分光束を個別に受けられるように、適宜設定される。なお、ここでは、撮像素子１３として、CCDを用いた例について説明する。
【００４８】
図５において、２１×２１個の四角は、撮像素子１３を対物レンズ１１の光軸方向から見た場合に撮像面上に配列された画素を示しており、そのうちの太線で囲まれた７×７個の四角からなる領域がそれぞれ１つのＭＬ領域を示している。図５では、７×７個のＭＬ領域のうち、３×３個のＭＬ領域を代表させて示している。したがって、図中の太線で囲まれたＭＬ領域のうちの中央の領域が、対物レンズ１１の中心のＭＬ（図２のＭＬbに相当する）で結像されるＭＬ領域となる。
【００４９】
図４ａは、物体面Ｐ０（焦点の合っている焦点面Ｚ0と同じ）がフォーカス位置にある場合の光線図である。ここで、物体面Ｐ０は、光学系の焦点距離ｆ、及び対物レンズ１１と撮像素子１３の撮像面との間隔ａで一義的に決定され、具体的には、上記の光学系のガウスの式（１）で決まる距離ｂの位置である。
【００５０】
物体面Ｐ０の対物レンズ１１の光軸と一致する位置から射出した光は、MLA１２の各ＭＬで、CCD（撮像素子１３）面上の各ＭＬ領域の中央部（各ＭＬの光軸と一致）に集光する。従って、図５（既に述べたように、対物レンズ１１の光軸に一致する位置のＭＬを中心にその周囲１つずつのＭＬ領域に対応する画素エリアのみを示している）に示すように、物体面Ｐ０の中央（対物レンズ１１の光軸に一致する）の点Ｐ０２から射出した光は、各ＭＬ領域内の中央の画素（図５では黒色の四角）に集光するので、各画素エリアの中央の画素の出力を選択し、加算することで物体面Ｐ０の点Ｐ０２の全輝度が得られる。
【００５１】
物体面Ｐ０の点Ｐ０２から外れた位置からの光は、点Ｐ０２からのずれ量に応じた角度で平行にMLA１２に入射するので、これらの光は各ＭＬ領域で中央から同量、同方向へずれることになる。よって、各ＭＬ領域で同じ位置の画素を選択し、加算することで、焦点面Ｚ0にある物体面Ｐ０の画像を再現することができる。
【００５２】
図４ｂは、物体面Ｐ０より対物レンズ１１に近い物体面Ｐ１（実際には、図４ｂの点線の物体面Ｐ０で示すように、図４ａと同様に、物体面Ｐ０と撮像素子１３の撮像面とが共役のままとなっている）からの光線図である。物体面Ｐ１の対物レンズ１１の光軸と一致する位置から射出した光は、各ＭＬの光軸上からレンズの端側へ、少しずつ外側にずれる角度でMLA１２の各ＭＬに入射し、集光される。この場合、物体面Ｐ１の中央（対物レンズ１１の光軸に一致する）の点Ｐ１２から射出した光は、図５に示すように、中心のＭＬ領域（図２のＭＬbによって結像される領域に相当する）内での画素はそのままで、それ以外のＭＬ領域では、図４ａに示した物体面Ｐ０での画素の位置から１画素ずつ外側の画素（図５では間隔の狭い左下がり斜線の四角）に集光するので、それらの画素を選択し、加算することで物体面Ｐ１の点Ｐ１２の全輝度が得られる。
【００５３】
物体面Ｐ１の点Ｐ１２から外れた位置からの光は、点Ｐ１２からのずれ量に応じた角度で平行にMLA１２に入射するので、これらの光は各ＭＬ領域で中央から同量、同方向へずれることになる。よって、各ＭＬ領域で同じ位置の画素を選択し、加算することで、物体面Ｐ１の画像を再現することができる。
【００５４】
図４ｃは、物体面Ｐ０より対物レンズ１１から遠い物体面Ｐ２（実際には、図４ｃの点線の物体面Ｐ０で示すように、図４ａと同様に、物体面Ｐ０と撮像素子１３の撮像面とが共役のままとなっている）からの光線図である。物体面Ｐ２の対物レンズ１１の光軸と一致する位置から射出した光は、各ＭＬの光軸上からレンズの端側へ、少しずつ内側にずれる角度でMLA１２の各ＭＬに入射し、集光される。この場合、物体面Ｐ２の中央（対物レンズ１１の光軸に一致する）の点Ｐ２２から射出した光は、図５に示すように、中央のＭＬ領域（図２のＭＬbによって結像される領域に相当する）での画素はそのままで、それ以外のＭＬ領域では、図４ａに示した物体面Ｐ０での画素の位置から１画素ずつ内側の画素（図５では間隔の広い左下がり斜線の四角）に集光するので、それらの画素を選択し、加算することで物体面Ｐ２の点Ｐ２２の全輝度が得られる。
【００５５】
物体面Ｐ２の点Ｐ２２から外れた位置からの光は、点Ｐ２２からのずれ量に応じた角度で平行にMLA１２に入射するので、これらの光は各ＭＬ領域で中央から同量、同方向へずれることになる。よって、各ＭＬ領域で同じ位置の画素を選択し、加算することで、物体面Ｐ２の画像を再現することができる。
【００５６】
なお、図４では、撮像素子１３の右側の長方形４０は、ＭＬ領域の一部である１３ＭＬ1ないし１３ＭＬ7を模式的に表しており、各ＭＬ領域での光の集光する位置を黒色で塗り潰すことによって、図５で上述した説明を補足して概念的に説明するためのものである。すなわち、本実施の形態では、７×７個のＭＬ領域の例を取り上げているので、縦方向に７個ある各ＭＬ領域１３ＭＬ1ないし１３ＭＬ7を模式的に示し、それぞれのＭＬ領域に集光（結像）した光の様子が示されている。図４ａにおいては、物体面Ｐ０２からの線は、CCD（撮像素子１３）上の各ＭＬ領域の中央に集光（結像）する。また、図４ｂに示したように、物体面Ｐ０よりも対物レンズ１１に近い物体面Ｐ１からの光は、中央のＭＬ領域では中央に集光し（完全には結像しないが、ＭＬの開口が小さいので、焦点深度の深い状態が実現されている）、それ以外のＭＬ領域では図４ａの場合と比べて外側へ集光する。さらに、図４ｃに示したように、物体面Ｐ０よりも対物レンズ１１から遠い物体面Ｐ２からの光は、中央のＭＬ領域では中央に集光し（完全には結像しないが、ＭＬの開口が小さいので、焦点深度の深い状態が実現されている）、それ以外の領域では図４ａの場合と比べて内側へ集光する。
【００５７】
さらに捕捉すれば、本実施の形態においては、前側物体面Ｐ１や後側物体面Ｐ２は、実際には、対物レンズ１１の位置で決まる物体面Ｐ０（図４では物体面Ｐ０が撮像素子１３の受光面と共役となる）以外の、対物レンズ１１を動かすことなく得られるいわば仮想的な合焦面である。
【００５８】
以上のように、物体面Ｐ０，Ｐ１，Ｐ２のように、物体の光軸方向の位置を物体面Ｐ０から変えた場合でも、対物レンズ１１の中心のＭＬ（図２のＭＬbに相当する）によって結像される像は、焦点もほぼ合ったまま像の位置がずれないことになる。
【００５９】
すなわち、図３ｂに示した光学系の構成のレンズ中心のＭＬ（図２のＭＬbに相当する）によって結像される画像（図２のＰ２bに相当する）は、対物レンズ１１に対して垂直に入ってくる光線からなり、被検物を正面から捉えた像となる。したがって、物体位置が光軸方向に移動しても、像はずれない。そして、分割された小さな瞳からの像なのでＦ値が大きく、被写界深度（焦点深度）は非常に深くなる。つまり、被検物の光軸方向の位置が変わっても、像はほとんど変化しない。したがって、物体側の奥行きに関係なく、ほとんど焦点の合った像、いわゆる全焦点画像となっている。
【００６０】
（２−２）MLA１２を対物レンズ１１の結像面に配置した場合
ところで、上記の（２−１）においては、光学系として、図１ａの構成を採用した場合の例、つまり、MLA１２が対物レンズ１１の瞳面に設定された場合について説明した。常に焦点の合った全焦点画像を取得する方法としては、（２−１）の方法に限らず、図１ｂに示したように、MLA１２を対物レンズ１１の焦点（結像）面、すなわち、物体面と共役の位置に設定した場合でも同等の効果を得ることができる。そこで、次に、全焦点画像を取得する方法の第２の例として、（２−２）MLA１２が対物レンズ１１の結像面に設定された場合について説明する。この場合、（２−１）の方法と比べて、異なる物体面での画像の作成手順が異なるため、ここでは、図６ないし図８を参照して、その作成手順を中心に説明する。
【００６１】
図６ないし図８においては説明を分かり易くするために、撮像素子１３において直線上に並んだ５つの画素ａ，ｂ，ｃ，ｄ，ｅに入射する各光線（対応するマイクロレンズＭＬの中心を通る主光線のみ）を示している。また、各図中の各要素には、光軸と垂直な面内における座標を示すための添字（１，２，３，・・・）を付している。
【００６２】
すなわち、図６に示すように、不図示の対物レンズ１１による被検物の像がMLA１２上（Ｚ＝０）で結像（各ＭＬへ入射する領域を破線で示し、その中心の座標をＸ1ないしＸ7で示している）する場合、不図示の対物レンズ１１からの光線ｒ1，ｒ2，ｒ3，ｒ4，ｒ5は、結像面（Ｚ＝０面上）、すなわちＭＬの表面の１点に集まる。中心座標をＸ1ないしＸ7で示した各領域は、同じ作用を受けるから、以下、中央の領域について説明する。中央の領域の中心Ｘ4を出た光は、マイクロレンズＭＬ4のレンズ作用によって、撮像素子１３の面上ではそれぞれの画素に対応して、ａ4，ｂ4，ｃ4，ｄ4，ｅ4の画素信号となる。したがって、結像面（Ｚ＝０）での各画像信号は、これらの和となる。すなわち、画像信号をＬとすれば、Ｌは下記の式（２）で求めることができる。
【００６３】
Ｌ（ｉ）＝（ａi＋ｂi＋ｃi＋ｄi＋ｅi）      ・・・（２）
【００６４】
ただし、上記の通り、ｉは光軸と垂直な面内におけるＸ方向の座標（ｉ＝１〜７）を示しており、例えば、座標Ｘ4の場合には、Ｌ（４）＝（ａ4＋ｂ4＋ｃ4＋ｄ4＋ｅ4）となる。なお、実際には、２次元的に考える必要があるので、Ｘ方向以外にＹ方向についても考えなければならないが、ここでは、説明を簡略化するためにＸ方向についてのみ述べる。
【００６５】
一方、図７に示すように、結像面が各ＭＬの表面からずれたＺ＝ｈ1の位置での中央の領域の中心座標Ｘ4の画像信号は、下記の式（３）から求めることができる。ただし、ｉ＝１〜７であり、座標の添数字が１〜７から外れた値は使用されない値である。
【００６６】
Ｌ（ｉ）＝（ａi-2＋ｂi-1＋ｃi＋ｄi+1＋ｅi+2）      ・・・（３）
【００６７】
座標Ｘ4の場合にはｉ＝４となるので、Ｌ（４）＝（ａ2＋ｂ3＋ｃ4＋ｄ5＋ｅ6）となる。このことからも明らかなように、撮像素子１３の撮像面のそれぞれの領域での中央の画素信号ｃi（この例の場合にはｃ4）は、焦点位置によらず常に存在する。つまり、この信号だけを集めた画像は、物体側の位置にかかわらず一定で、焦点ボケのない像となる。
【００６８】
したがって、図８に示すように、下記の式（４）の関係を有する信号で構成される画像は、結像面がどこにあっても（逆の言い方をすれば、結像面が一定で被検物がどこにあっても）常に焦点の合った全焦点画像となる。ただし、図８ではより実際的な応用を説明するために、図６，７に対して、フィールドレンズ（以下、ＦＬという）を付加した図面としている。このＦＬを配置することで、像高の高い位置に配置されたＭＬに入射する光束の角度を抑えられるため、先述した例では述べていないが、ＦＬを設けたほうが好ましい。
【００６９】
Ｌ（ｉ）＝ｃi      ・・・（４）
【００７０】
すなわち、例えば、図８において、撮像素子１３の撮像面のそれぞれの領域での中央の画素信号ｃ1，ｃ2，ｃ3，ｃ4，ｃ5，ｃ6，ｃ7を集めた画像は、焦点の合った全焦点画像となる。
【００７１】
以上のようにして、図１ａ又は図１ｂの構成を採用することで、焦点画像生成の手順は異なるが、異なる角度からの光線を再構成して、焦点面の異なる複数の画像が生成される。
【００７２】
［３．測定の信号処理手順］
次に、上記の手順で生成される仮想的な焦点位置での画像群から、測定のための画像データを得るために実行される信号処理について説明する。かかる信号処理では、常に焦点の合った全焦点画像を用いる点に特徴があり、焦点面を光軸方向へ少しずつずらしながら取得した各画像データに対してエッジ処理を施すことにより、焦点の合った画像を選択する。
【００７３】
（３−１）多焦点逐次処理法
上記のエッジ処理としては、いくつかの方法が考えられるが、ここではまず、画像のエッジを検出する方法として、多焦点逐次処理法を用いた場合について説明する。また、この多焦点逐次処理におけるエッジ処理として、フーリエ変換（ウェーブレット変換）法を用いた場合を一例にして説明する。
【００７４】
上記の［２．焦点画像生成の手順］により、複数の異なる物体面での画像群が形成された後、先述したSFFと同様の処理によって、各々の画像の同じ画素エリアの位置において、下記の方法でフォーカス情報を検出することができる。
【００７５】
すなわち、かかる信号処理では、図９に示すように、距離の異なる複数の物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の画像群について、それぞれFFT（Fast Fourier Transform）により画像信号をフーリエ変換（又はウェーブレット変換）し、空間周波数空間内（フーリエ面上）で高周波成分のみをハイパスフィルタ（High Pass Filter）にて抽出した後、逆フーリエ変換（又は逆ウェーブレット変換）する。この処理によって、ほぼエッジ（輪郭）部分のみの画像となる。次に、これらの画像でエッジのある各点の位置（Ｘi，Ｙi）に着目して、複数の物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の画像群の中から、最もエッジの鋭い（傾き成分の最も高い）画像をベストフォーカス（Best Focus）として、選択する。
【００７６】
図１０は、各焦点面の画像群におけるサンプリング点のエッジの傾き成分をグラフ化したものである。図１０において、横軸Ｚは物体面の位置（被検物からの距離）を表し、縦軸αはエッジの傾き成分を表し、図中上方向にいくほど、その値が大きくなる（焦点の合っている程度（フォーカスの程度）が高い）ことを意味する。
【００７７】
図１０に示すように、Ｚ方向のサンプリング点は、各物体面毎の値となっているために離散的なものとなっているが、図中の曲線で表しているように、関数近似によってピーク（図中の点線）を求めることで、補間処理による小数点以下の値を持つ位置Ｚが求められ、その精度は向上する。
【００７８】
しかしながら、この手順ではＺの位置を求めることができるものの、次に示すような問題が残る。
【００７９】
すなわち、焦点の違う画像からエッジを検出する場合、物体の距離に応じて、ピント（焦点）の合っている所と、合っていない所とが存在する。このとき、明るさ（信号強度）が極端に違うエッジが隣接している場合、焦点の合っていない明るいエッジが、隣接する焦点の合った暗いエッジを覆ってしまい、エッジの位置を誤認識する恐れがある。
【００８０】
かかる問題を解決するためには、全てのエッジで焦点の合った画像を用いて、画素単位での微分値を求め、正しいエッジ位置を先に検出しておけばよい。
【００８１】
そこで、本実施の形態においては、MLA１２の中央のＭＬ（図２のＭＬbに相当する）で結像される、対物レンズ１１の中心（軸上）の画像が物体面の位置が変わっても（Ｚの方向が変わっても）変化のない画像であって、かつ、被写界深度が深く、物体側の距離によらず常にほぼ完全にピントの合った、像ずれがなく、かつボケのない画像（全焦点画像）となることに着目し、この画像を用いる。
【００８２】
本発明の信号処理においては、この全焦点画像を用いて、上記のように、フーリエ変換及びハイパスフィルタ処理をすることによって、正しいエッジ位置（Ｘi，Ｙi）を得て、同時にその近傍画像のコントラスト信号（画像の濃度値）を登録する。次に、それらのエッジについて、多数物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の画像群の中から、着目するエッジ位置（Ｘi，Ｙi）とその近傍の画像信号が、登録したコントラスト信号と最も相関の高い画像におけるＺを求める。
【００８３】
すなわち、全焦点画像から得られた各エッジ位置（Ｘi，Ｙi）について、物体位置（Ｚ）の異なる複数の（ボケを含む）画像から、同じ座標（Ｘi，Ｙi）のエッジ位置の画素信号における、ボケのない全焦点画像のエッジ信号と最も類似性（相関）の高い物体位置（Ｚ）を求める。これにより、エッジ各点（Ｘi，Ｙi）でのＺを検出することができる。
【００８４】
具体的には、まず、注目しているエッジ位置である注目エッジ位置（Ｘi，Ｙi）と、その近傍画素の信号強度ｆi,jを検出する。次に、それらのエッジについて、多数の物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の画像群の中から、同じエッジ位置（Ｘi，Ｙi）と、その近傍信号ｇi,j（Ｚ）が、ｆi,jと最も相関の高くなるときのＺを求める。
【００８５】
この相関の求め方は、各点の明るさやコントラストの違いを吸収するよく知られた正規化相関法を用いると好適であるが、例えば、計算時間を短縮できる差分絶対値の和、又は差分の二乗和を求める方法など、かかる相関を求めることができる方法であれば他の方法であってもよい。また、相関値の計算は、例えば、差分絶対値の和により相関を求める場合に、合焦時の差分絶対値の和で除算（規格化）して求めるなど、合焦時の値を用いることにより、各点の明るさやエッジ強度に依存しない、焦点ずれだけを反映させた規格化値とすることができる。
【００８６】
そして、例えば、下記の式（５）又は式（６）の値が最も小さくなるときのＺを求める。
【００８７】
【数１】
2010054320.tif 000003
【００８８】
【数２】
2010054320.tif 000004
【００８９】
これにより、物体の各エッジ座標（Ｘi，Ｙi）位置でのＺが求められる。
【００９０】
なお、ここでは、撮像素子１３から出力される画像信号に対し、直接画像処理を施す例について説明したが、エッジ信号を際立たせ、検出誤差を低減する目的で、画像の前処理を施してもよい。例えば、各画像を、フーリエ変換とハイパスフィルタを組み合わせた処理や、ソーベルフィルタ、あるいはラプラシアンフィルタと呼ばれるデジタル微分フィルタなどの画像処理をすることにより、輪郭部だけを強調した、いわゆるエッジ画像を得ることができるので、その後、上記の相関処理を行えばよい。
【００９１】
また、相関を計算する際には、先述した場合と同様に、図１０に示したような補間処理を用いて求めることも可能である。
【００９２】
以上のように、多焦点逐次処理法では、画像信号の強度のみでエッジ位置を特定（光軸方向でピントの合った画像を特定）しようとすると、本来の特定すべきエッジが強いボケ光によって検出できない場合が生じるので、これを避けるために、全焦点画像を用いた相関処理を行っている。
【００９３】
（３−２）全焦点エッジ抽出法
次に、画像のエッジを検出する方法として、全焦点エッジ抽出法を用いた場合について説明する。
【００９４】
上記の（３−１）の多焦点逐次処理法では、一旦、多数の焦点画像群を形成した後に、フーリエ変換などの処理を行うため、どうしても処理時間がかかってしまう。また、エッジを検出する画像として、先の物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の画像群では、いずれもどこかに焦点面があり、その焦点からはずれた箇所はボケが生じ、全てのエッジを検出することは困難になる。そこで、全焦点エッジ抽出法では、MLA１２の中央のＭＬで結像される全焦点画像によって予め２次元画像上でエッジ位置が特定できることに着目し、特定したエッジ位置のみで光軸方向へエッジ位置の探索を行なう。つまり、全焦点画像の中の特徴（エッジ）を先に検出しておき、その検出されたエッジ位置に対応する位置の物体面の画像だけを生成し、その位置でのベストフォーカスとなるＺを検出すれば、処理する点が少なくて済み、演算の負担が少ないばかりでなく、演算時間が短くて済み、迅速な測定に寄与することができる。
【００９５】
具体的には、MLA１２の中央のＭＬで結像される全焦点画像を用いて、画像処理でよく知られている輪郭抽出のための３×３行列（一般的に微分オペレータと呼ばれる）を使ったエッジ抽出の演算処理を行う。例えば、ソーベルフィルタ（Sobel Filter）などを使って、Ｘ方向又はＹ方向で、画像中のエッジを検出する。なお、この方法は、特に、線のエッジ検出に有効である。また、スポットや交点などの点の検出には、二次微分に相当するラプラシアンフィルタ（Laplace Filter）を使ってもよい。これらは、被検物の段差など、何らかの構造や色、反射率の差などによるものである。全焦点エッジ抽出法では、検出されたエッジや点の位置（Ｘi，Ｙi）における、これらのフィルタで処理された値を、デフォーカス量として算出する。
【００９６】
そして、全焦点エッジ抽出法においては、画像のエッジのある各点（位置）に着目して、（３−１）と同様に、上記の多数の物体面（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）に対応する、このデフォーカス量の変化を算出する。これにより得られる値は、上記の図１０と同様のデータとなるため、これから信号のピーク、すなわち、ベストフォーカスとなるＺを求める。
【００９７】
このとき、先述した（３−１）の多焦点逐次処理法と同様に、合焦時のデフォーカス量で除算（規格化）することで、この全焦点エッジ抽出法においても、各点の明るさやエッジ強度に依存しないようにすることができる。なお、全焦点エッジ抽出法においては、かかる規格化を行うと好適ではあるが、必ずしもこの規格化を行う必要はない。
【００９８】
以上のように、上記の（３−１）の多焦点逐次処理法や、（３−２）の全焦点エッジ抽出法などのエッジ処理によって、物体の各エッジ座標（Ｘi，Ｙi）位置でのＺが検出される。なお、その後、検出された値を用いての距離測定処理が行われるが、その処理については、次の［４．距離測定手順］で説明する。
【００９９】
［４．距離測定手順］
（４−１）多数のフォーカス画像から物体位置を求める方法
上記の手順によって求められた、物体の各エッジ座標（Ｘi，Ｙi）位置でのＺを用いた距離測定が行われるが、その手順にはいくつかの方法があるが、ここではまず、多数のフォーカス画像（焦点面の位置が異なる多数の画像、すなわち、多数の仮想焦点面の画像）を生成し、その中からベストの焦点位置を求める方法について説明する。
【０１００】
ここで、仮想焦点面と共役な被検物像側の物体面の位置（・・・，Ｚ-1，Ｚ0，Ｚ1，・・・）の値は、式（１）に基づき、対物レンズ１１と撮像素子１３の撮像面との間隔ａ、若しくは対物レンズ１１と仮想的な焦点面との間隔（ａ1，ａ2，ａ3，・・・，ａn）によって一義的に決まる。
【０１０１】
したがって、焦点面の位置（撮像面上にある場合も含む（すなわち、ａ1，ａ2，ａ3，・・・，ａn））を定めれば、その位置に焦点が合うべき被検物の部位の位置がわかり、その部位までの距離ｂが式（１）を用いて求めることができる。その結果、求めた距離ｂの値と撮像素子１３から出力される２次元画像の座標（Ｘ，Ｙ）情報と合わせて、被検物の上記部分の座標（Ｘ，Ｙ，Ｚ）、すなわち、３次元の空間座標を決定することができる。
【０１０２】
（４−２）２つの異なる焦点面の画像情報から物体位置を求める方法
上記の（４−１）の方法では、多数のフォーカス画像（多数の異なる焦点面を仮定した場合に得られる画像）を生成して、それぞれのフォーカス画像の中からベストの焦点位置の部分を検出するといった方法で、被検物の各部分までの距離を正確に測定することができる。そのためには、例えば、図１０のような多点情報からピークを検出する、というような手順が必要となる。図１０において、横軸Ｚは被検物までの距離、縦軸αは焦点の合っている程度（フォーカスの程度）を示している。この図から２次元画像のある座標（Ｘ，Ｙ）における焦点の合っている被検物の部位までの距離がαの最大値となるＺの値として求めることができる、ということがわかる。しかしながら、処理の手順が多く、処理に時間がかかる可能性が高い。
【０１０３】
そこで、ここでは、別の方法として、少ない処理量で、高速化を図る測定手順について説明する。この方法においては、多数の画像を生成し、そこから得られる図１０のような多点情報からピークを検出するのではなく、最低２つの異なる焦点面の画像情報を用いて、両者の差分信号、すなわち、２つの位置でのデフォーカス量の差から、Ｚの位置を求める。そして、このＺは、対物レンズ１１から被検物までの距離ｂに対応するので、この値と撮像素子１３の２次元画像の座標（Ｘ，Ｙ）情報と合わせて、被検物の座標（Ｘ，Ｙ，Ｚ）、すなわち、３次元形状を測定することができる。
【０１０４】
しかしながら、この方法で演算した値そのものだけでは、被検物の局所的な反射強度の差が影響する可能性が高い。すなわち、元の照明光の明るさ分布や、被検物の位置による反射率の違いによって信号強度は変化する。特に隣接した領域に明暗の差が著しい箇所があると、デフォーカス状態では両者の信号が混ざり合うため、エッジのピークを誤検出する可能性がある。
【０１０５】
そこで、先述した方法と同様の考え方で、かかる演算処理で求められた演算値を、MLA１２の中央のＭＬにより結像された画像の各画素値で除算して規格化しておくことにより、局所エリア毎に、明るさ（光強度）によらない、規格化されたデフォーカスによるボケ量を得ることができる。
【０１０６】
以上のようにして、本実施の形態においては、例えば、（４−１）又は（４−２）の方法によって、距離測定の処理が行われることで、被検物の表面の座標（Ｘ，Ｙ，Ｚ）が求められ、３次元形状が測定される。
【０１０７】
このように、本実施の形態においては、１回の撮像により得られる画像信号を用いて、被検物の３次元形状を計測できるので、従来のSFFのように、複数回の撮像が必要な場合と比べて、高速で計測を行うことが可能である。
【０１０８】
［５．形状測定装置］
次に、上述した距離測定の処理を行って、被検物の３次元形状を測定する、本実施の形態に係る形状測定装置の構成について、図１１を参照して説明する。
【０１０９】
図１１に示すように、形状測定装置は、対物レンズ１１、MLA１２、撮像素子１３、制御回路３１、ユーザインターフェース３２、駆動回路３３、演算処理回路３４、及び、メモリ３５を含むようにして構成される。なお、図１１において、対物レンズ１１ないし撮像素子１３は、先述した図１等の対物レンズ１１ないし撮像素子１３に対応している。
【０１１０】
制御回路３１は、ユーザインターフェース３２を介してユーザから入力された指示にしたがって、駆動回路３３、演算処理回路３４、及びメモリ３５の制御を行う。また、制御回路３１は、図１１の形状測定装置の各部の動作を制御する。
【０１１１】
駆動回路３３は、撮像素子１３を駆動する。また、駆動回路３３は、撮像素子１３からの画像信号を、演算処理回路３４に出力する。
【０１１２】
演算処理回路３４は、駆動回路３３からの画像信号に基づいて、所定の演算処理を行う。そして、演算処理回路３４は、演算結果をメモリ３５に格納する。
【０１１３】
演算処理回路３４は、MLA１２のＭＬの各々により結像された像を、撮像素子１３により撮像することで得られる画像データから、被検物の３次元形状を測定する。かかる処理の詳細については、後述する図１２の演算処理回路３４の動作の説明の際に併せて説明する。
【０１１４】
以上のようにして、形状測定装置は構成される。
【０１１５】
次に、図１２のフローチャートを参照して、図１１の演算処理回路３４により行われる３次元形状測定処理について説明する。
【０１１６】
演算処理回路３４は、ステップＳ１１において、駆動回路３３からの画像信号を取得し、ステップＳ１２において、焦点画像を生成する。具体的には、上記の［２．焦点画像生成の手順］で述べたように、演算処理回路３４は、図１ａの構成の場合には、（２−１）の方法によって、図１ｂの構成の場合には、（２−２）の方法によって、異なる角度からの光線を再構成して、焦点面の異なる複数の画像を生成する。
【０１１７】
ステップＳ１３において、演算処理回路３４は、測定の信号処理を行う。具体的には、上記の［３．測定の信号処理手順］で述べたように、演算処理回路３４は、（３−１）の「多焦点逐次処理法」又は（３−２）の「全焦点エッジ抽出法」などのエッジ処理によって、常に焦点の合った全焦点画像を用いて、物体の各エッジ座標（Ｘi，Ｙi）位置でのＺを求める。
【０１１８】
そして、演算処理回路３４は、ステップＳ１４において、距離測定の処理を行い、ステップＳ１５において、物体の３次元形状を測定し、処理は終了する。具体的には、上記の［４．距離測定手順］で述べたように、演算処理回路３４は、（４−１）の「多数のフォーカス画像から物体位置を求める方法」又は（４−２）の「２つの異なる焦点面の画像情報から物体位置を求める方法」によって、被検物の表面の座標（Ｘ，Ｙ，Ｚ）が求められ、３次元形状が測定される。
【０１１９】
以上のように、図１１の形状測定装置においては、演算処理回路３４によって、先述した、［２．焦点画像生成の手順］、［３．測定の信号処理手順］、［４．距離測定手順］が順に実行されることで、MLA１２の中央のＭＬによって結像された像から得られる全焦点画像を用いた信号処理が行われ、それにより得られる物体の各エッジ座標（Ｘi，Ｙi）位置でのＺから、被検物の表面の座標（Ｘ，Ｙ，Ｚ）、すなわち、３次元形状が測定される。
【０１２０】
すなわち、図１ａに示したように、MLA１２が対物レンズ１１の射出瞳と共役となるように配置されている場合、演算処理回路３４は、複数のＭＬのうちの対物レンズ１１の光軸の位置（この対物レンズ１１の光軸は、対物レンズ１１の主光線の一部と一致している）にあるMLA１２の中央のＭＬにより撮像素子１３の撮像面上に形成された像から得られる全焦点画像（基準画像）を、撮像素子１３の出力から得られる焦点面の異なる複数の画像（測定画像）の補正情報として用いて、被検物の３次元の形状を測定する。
【０１２１】
なお、本実施の形態では、図１ａの構成を中心に述べたが、図１ｂに示したように、撮像素子１３の撮像面が対物レンズ１１の射出瞳と共役となるように配置されている場合には、演算処理回路３４は、対物レンズ１１の主光線が交わる撮像素子１３の撮像領域を構成する画素から得られる全焦点画像（基準画像）を、撮像素子１３の出力から得られる焦点面の異なる複数の画像（測定画像）の補正情報として用いて、被検物の３次元形状を測定することになる。
【０１２２】
［６．パターン投影照明系］
ところで、図１１の形状測定装置においては、被検物の形状の測定処理を実行する際の照明の方法として、測定対象や目的によって、パッシブ（Passive）法（自然光）と、アクティブ（Active）法（補助光利用）があり、測定対象や用途によって使い分けることができる。
【０１２３】
パッシブ法はこれまでに述べた方法である。すなわち、かかる方法は、被検物にパターン、エッジやコントラスト変化がある場合に、自然光のまま、被検物から反射光や散乱光を使って、撮像した画像からエッジ（輪郭など）の信号を検出するものである。また、形状測定装置においては、被検物までの距離が長い場合にも、補助光が届かないのでパッシブ法で測定する。
【０１２４】
ここでは、もう一方の照明の方法である、アクティブ法の詳細について説明する。
【０１２５】
図１１の形状測定装置において、３次元形状測定処理が実行されるとき、被検物がエッジ信号や十分なコントラスト信号を持たない対象となる場合には、テキスチャやパターン投影などの構造を持つ照明をあてて、その焦点変化を検出する。
【０１２６】
図１３は、アクティブ方式の場合の光学系の構成の例の概略図である。
【０１２７】
図１３においては、図１１の形状測定装置を構成するもののうち、光学系のみを図示しており、実際には、先述したように、撮像素子１３は、駆動回路３３と接続され、撮像により得られた画像信号を出力する。また、図１３の光学系では、先述した対物レンズ１１ないし撮像素子１３の他に、被検物に測定用補助光を照射するアクティブ方式の照明方法を実現するための、光源５１、照明レンズ系５２、ピンホールパターン５３、及びハーフミラー５４が配置されている。
【０１２８】
光源５１としては、例えば、ハロゲンランプ等の白色光源や、RGB３色で構成されたLED（Light Emitting Diode）などが用いられる。照明レンズ系５２は、実際には複数のレンズによって構成されており、光源５１より射出された（図中下方から上方へ進行する）照明光を集光する。この集光された照明光は、ピンホールパターン５３を照明する。
【０１２９】
ピンホールパターン５３は、平板状に形成されており、照明レンズ系５２の光軸と垂直に交わるように配置されている。また、ピンホールパターン５３には、照明レンズ系５２の光軸と交わる面に、前後左右方向に一定間隔を有して規則正しい位置で上下に開口したピンホールが複数設けられている。なお、被検物に投影するパターンとして、ピンホールの代わりに、例えば、格子状パターン又は縦縞や横縞などのような他のパターンを用いてもよい。
【０１３０】
ハーフミラー５４は、照明レンズ系５２の光軸に対して４５度傾斜した状態で、対物レンズ１１とMLA１２との間に配置される。
【０１３１】
光源５１から射出されて、照明レンズ系５２（図中上方）に向けて進行する照明光は、照明レンズ系５２に入射して集光された後、ピンホールパターン５３に到達する。ピンホールパターン５３のピンホールを通過した照明光の一部は、ハーフミラー５４で反射して９０度向きを変えて、対物レンズ１１に入射し、被検物にピンホールのパターンが投射される。
【０１３２】
図１３に示すように、図示した例ではピンホールのパターンは、５×３個のドットである。被検物の表面に照射された照明光の一部は、被検物の表面の反射光となって、対物レンズ１１に入射して、ハーフミラー５４を透過した後、さらにMLA１２を通過し、撮像素子１３上で結像する。撮像素子１３で結像した反射光は、その撮像面上に形成された画素エリアの各受光部において受光され、図１１に示した駆動回路３３に出力される。そして、図１１に示したように、演算処理回路３４は、駆動回路３３からの画像信号に基づいて、３次元形状測定処理を実行する。
【０１３３】
本例は、アクティブ方式であるので、演算処理回路３４は、照明した投影パターンの交点やスポットなどにおける、エッジやコントラストの変化を検出する。このとき、パターンの位置は既知であるので、演算処理回路３４は、その部分のエッジコントラストを検出すればよいことになる。そして、演算処理回路３４は、先述した処理と同様に、多焦点の画像を得て、それぞれの点の焦点変化からベストフォーカス位置を検出し、被検物との距離を求める。また、ピンホール又は格子点などの隔てた点の間隔が、測定の空間分解能となる。
【０１３４】
なお、本実施の形態においては、上記のパターン投影照明系の代わりに、レーザ走査照明系を採用することも可能である。すなわち、形状測定装置は、レーザ走査照明系を採用する場合、例えば、レーザ光などでスリット又は線状ビームをあて、それと垂直方向にビームを走査させる手段や、集光スポット光にて２次元走査を行うレーザ顕微鏡の構成からなる。
【０１３５】
以上のように、図１１の形状測定装置においては、測定対象や用途によって、照明の方法として、パッシブ法とアクティブ法を使い分けることができる。
【０１３６】
さらに、図１、図１３などの光学系では、光学系の基本要素のみを図示して説明したので、実際には機能は同等で様々な変形を考えることができる。例えば、MLA１２の前にフィールドレンズＦＬを置いてもよいことは前述したが、MLA１２と撮像素子１３との間にリレーレンズを配置するなどしてもよいことは勿論である。
【０１３７】
［７．レンズの絞り（Ｆ値）可変機構］
また、本実施の形態においては、光学系（レンズ）のＦ値を変えて像を捕らえて測定する方法あるいはその補佐機能を設けるようにしてもよい。
【０１３８】
一般に、光学系の被写界深度は、レンズのＦ値に依存して変化する。これを調整するためには、レンズの瞳面の位置あるいは瞳面と共役な位置にレンズ絞り（アパーチャ）を設置して駆動系でその大きさを可変にする必要がある。
【０１３９】
この可変機構を設けることで、例えば、次の２つの用途で有効に利用することができる。
【０１４０】
（７−１）測定用途に応じた調整
測定被検物に対して、絞りを大きくしてＦ値を小さくして撮像すれば、被写界深度は浅くなり、画像フォーカス測定の感度は上がる。ただし、このとき、測定可能な範囲は狭まる。逆に、絞り込んでＦ値を大きくすれば、被写界深度は深くなり、測定感度は下がるが、測定範囲は広がる。これを利用して、測定用途や、必要な精度や範囲に応じて最適な値に調整することができる。具体的には、図１１の形状測定装置においては、対物レンズ１１の瞳面の位置又は瞳面と共役な位置にレンズ絞り（図示せず）が配置され、例えば、測定感度を上げたい場合には、制御回路３１により制御される駆動系（図示せず）によってレンズ絞りを大きくしてＦ値を小さくし、測定範囲を広げたい場合には、駆動系によりレンズ絞りを絞り込んでＦ値を大きくすることになる。
【０１４１】
（７−２）収差測定
対物レンズ１１の収差測定における補助手段として、あるいは、MLA１２の各レンズ要素のばらつきを評価する手段として用いることも可能である。すなわち、レンズのＦ値を十分に絞り込んだ場合、被写界深度が深くなるとともに、レンズの中心部だけを使うので、収差を大きく低減した（ほぼ無収差に近い）光学像が得られる。本発明の光学系で得られる撮像素子１３からの画像信号は、対物レンズ１１とともにMLA１２の光学特性の影響も受けている。従って、この画像信号を使って収差などの光学特性を評価する場合、両者の影響が重なって現われる。そこで、対物レンズ１１のＦ値を絞ってこの収差の影響をなくした画像を取り込んだ後、絞りを開放（Ｆ値を最小）にして画像を撮像し、両者の差をとれば、MLA１２のみの収差、あるいは各ＭＬ個別の光学特性が分かる。そして得られたこのMLA１２の特性を差し引けば、対物レンズ１１のみの特性も分かることになる。これは、例えば、対物レンズ１１の収差測定を行う場合に有効な機能となる。
【０１４２】
以上のように、本発明によれば、MLAの中央のＭＬから得られる焦点の合った全焦点画像を用いて、画像処理を行うことで、対物レンズの光軸に沿って、被検物を移動することなく、被検物の形状を測定できる。
【０１４３】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。
【０１４４】
この記録媒体は、コンピュータとは別に、利用者にプログラムを提供するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリ等により構成されるだけでなく、コンピュータに予め組み込まれた状態で利用者に提供される、プログラムが記録されているハードディスクドライブやROM（Read Only Memory）等で構成される。
【０１４５】
また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデム等のインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【０１４６】
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１４７】
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１４８】
【図１】本発明を適用した光学系の概要を説明する図である。
【図２】光学系のさらに詳細な構成について説明する図である。
【図３】ある１つのＭＬから見た像が、同じ方向からの光線で構成された、方向別に見た像であることを示す図である。
【図４】対物レンズとMLAでの光線の追跡結果を示す図である。
【図５】MLAで結像された撮像素子面における画素配列を示す図である。
【図６】MLAを対物レンズの結像面とした場合（Ｚ＝０）の構成の例を示す図である。
【図７】MLAを対物レンズの結像面とした場合（Ｚ＝ｈ1）の構成の例を示す図である。
【図８】全焦点画像の例を示す図である。
【図９】画像群のフーリエ変換法を用いた信号処理の流れを示す図である。
【図１０】サンプリング点のエッジの傾き成分をグラフ化した図である。
【図１１】本発明を適用した形状測定装置の一実施の形態の構成を示す図である。
【図１２】３次元形状測定処理について説明するフローチャートである。
【図１３】アクティブ方式の場合の光学系の構成の例の概略図である。
【符号の説明】
【０１４９】
１１  対物レンズ，  １２  MLA，  １３  撮像素子，  ３１  制御回路，  ３２  ユーザインターフェース，  ３３  駆動回路，  ３４  演算処理回路，  ３５  メモリ，  ５１  光源，  ５２  照明レンズ系，  ５３  ピンホールパターン，  ５４  ハーフミラー，  ＭＬ  マイクロレンズ，  ＦＬ  フィールドレンズ
【図１】
2010054320.tif 000005
【図２】
2010054320.tif 000006
【図３】
2010054320.tif 000007
【図４】
2010054320.tif 000008
【図５】
2010054320.tif 000009
【図６】
2010054320.tif 000010
【図７】
2010054320.tif 000011
【図８】
2010054320.tif 000012
【図９】
2010054320.tif 000013
【図１０】
2010054320.tif 000014
【図１１】
2010054320.tif 000015
【図１２】
2010054320.tif 000016
【図１３】
2010054320.tif 000017