(57)【要約】【課題】小区画のサイズを大きくするとともに、各小区画内の像のぼけを小さくすることが可能な撮像システムおよび撮像方法を提供すること。【解決手段】被写体の像を形成する光学系と、光学系を介して、被写体の撮像範囲を複数の小区画毎に撮像する撮像手段と、撮像手段で被写体を撮像する前に、光学系の光軸方向における被写体の高さを計測する計測手段と、被写体の高さと被写体の高さ分布を近似した平面における近似高さとに基づく残差を算出することで、小区画毎の撮像条件を取得する処理手段と、撮像条件に基づいて、小区画と撮像手段との相対的な位置関係を調節する調節手段と、を有する。【選択図】図４
2016142960.tif 000002
【特許請求の範囲】
【請求項１】
被写体の像を形成する光学系と、
前記光学系を介して、前記被写体の撮像範囲を複数の小区画毎に撮像する撮像手段と、
前記撮像手段で前記被写体を撮像する前に、前記光学系の光軸方向における前記被写体の高さを計測する計測手段と、
前記被写体の高さと前記被写体の高さ分布を近似した平面における近似高さとに基づく残差を算出することで、前記小区画毎の撮像条件を取得する処理手段と、
前記撮像条件に基づいて、前記小区画と前記撮像手段との相対的な位置関係を調節する調節手段と、を有することを特徴とする撮像システム。
【請求項２】
前記撮像条件は、前記光学系の光軸と垂直な面における前記撮像手段に対する前記小区画の位置、前記小区画と前記撮像手段との距離、および前記撮像手段に対する前記小区画の傾きの少なくともいずれかであることを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記処理手段は、前記残差が所定の被写界深度内となる撮像条件を取得することを特徴とする請求項１または２に記載の撮像システム。
【請求項４】
前記被写界深度は、使用波長、前記光学系の開口数、および前記光学系の撮像倍率を用いて決定されることを特徴とする請求項３に記載の撮像システム。
【請求項５】
前記処理手段は、前記近似高さを算出する際に、前記小区画の大きさを変数に含むことを特徴とする請求項１から４のいずれか１項に記載の撮像システム。
【請求項６】
前記小区画の大きさは、前記撮像手段の撮像面の大きさ、および前記光学系の撮像倍率を用いて決定されることを特徴とする請求項５に記載の撮像システム。
【請求項７】
前記処理手段は、前記小区画内の撮像データの一部を削除、または補間のいずれかを実行することを特徴とする請求項５または６に記載の撮像システム。
【請求項８】
前記撮像手段の撮像面の大きさと前記光学系の撮像倍率とを用いて決定される前記小区画の大きさ、および、使用波長と前記光学系の開口数と前記光学系の撮像倍率とを用いて決定される被写界深度の少なくとも一方を入力する入力手段を更に有することを特徴とする請求項１から７のいずれか１項に記載の撮像システム。
【請求項９】
前記処理手段は、前記被写体の高さと前記被写体の高さ分布を近似した平面における近似高さに基づく第１の残差が所定の被写界深度を超えている場合の第１の撮像条件を取得した後、前記被写体の高さと前記第１の残差を含む領域の高さ分布を近似した平面における近似高さに基づく第２の残差を算出することで第２の撮像条件を取得し、
前記調節手段は、前記第１の撮像条件に基づいて前記小区画と前記撮像手段との相対的な位置関係を調節し、前記撮像手段によって撮像された後、前記第２の撮像条件に基づいて前記小区画と前記撮像手段との相対的な位置関係を調節することを特徴とする請求項１から８のいずれか１項に記載の撮像システム。
【請求項１０】
前記撮像手段は、前記第２の撮像条件に基づいて前記位置関係が調節された後、前記領域と異なる領域を撮像しないことを特徴とする請求項９に記載の撮像システム。
【請求項１１】
前記処理手段は、前記第２の撮像条件に基づいて前記位置関係が調節された後、前記撮像手段によって撮像された前記被写体のうち前記領域と異なる領域を削除することを特徴とする請求項９または１０に記載の撮像システム。
【請求項１２】
前記光学系は、物体を結像する第１の結像光学系と、前記第１の結像光学系により結像された前記物体を再結像する第２の結像光学系と、前記第１および第２の結像光学系の間に配置される反射手段と、を備え、
前記撮像条件に基づいて、前記反射手段の前記光軸方向の位置、および前記反射手段の前記光軸に対する傾きの少なくとも一方を変更可能であることを特徴とする請求項１から１１のいずれか１項に記載の撮像システム。
【請求項１３】
前記処理手段は、前記近似高さの一部のデータを用いて、前記残差を算出することを特徴とする請求項１から１２のいずれか１項に記載の撮像システム。
【請求項１４】
前記処理手段は、前記被写体の高さのデータ数を増やすために、補間を行うことを特徴とする請求項１から１３のいずれか１項に記載の撮像システム。
【請求項１５】
前記処理手段は、前記被写体の高さを用いて、空間周波数情報を算出することを特徴とする請求項１から１４のいずれか１項に記載の撮像システム。
【請求項１６】
前記残差は、前記被写体の高さと前記近似高さとの差または前記被写体の高さと前記近似高さとの差の二乗平均平方根のいずれか一方であることを特徴とする請求項１から１５のいずれか１項に記載の撮像システム。
【請求項１７】
前記処理手段は、最小二乗法、または勾配法のいずれか一方を用いて、前記近似高さを算出することを特徴とする請求項１から１６のいずれか１項に記載の撮像システム。
【請求項１８】
被写体の像を形成する光学系と、前記光学系を介して、被写体の撮像範囲を複数の小区画毎に撮像する撮像手段と、を有する撮像システムの撮像方法であって、
前記光学系の光軸方向における前記被写体の高さを計測するステップと、
前記被写体の高さと前記被写体の高さ分布を近似した平面における近似高さとに基づく残差を算出することで、前記小区画毎の撮像条件を取得するステップと、
前記撮像条件に基づいて、前記小区画と前記撮像手段との相対的な位置関係を調節するステップと、
前記撮像手段が前記小区画を撮像するステップと、を有することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、標本を撮像してデジタル画像データを取得する撮像システムおよび撮像方法に関する。
【背景技術】
【０００２】
近年、病理診断の分野において、標本（人体の組織片等）の顕微鏡像を撮像し、高精細のデジタル画像を取得・蓄積・閲覧する撮像システムが注目を集めている。この種の撮像システムは、バーチャル・スライド・システムとも呼ばれ、広域な領域を撮像することが求められる。例えば、プレパラート上の１０ｍｍ×１０ｍｍの観察領域を光学倍率１０倍で撮像する場合、撮像面での撮像領域の大きさは１００ｍｍ×１００ｍｍ、すなわち直径１４１ｍｍ程度になる。これほどの面積を一括で撮像可能な大判の撮像素子（イメージセンサ）は、画素欠陥などによる歩留り低下の影響によりコスト高となる。そのため、被写体の撮像領域を複数の小区画に分割し、小区画単位で撮像を行い、得られた部分画像をつなぎ合わせて全体画像を生成することが行われている。
【０００３】
ここで、被写体とは、標本そのもの、あるいはプレパラートといった撮像する物体一般を意味する。プレパラートは、観察対象となる標本（組織片等）をスライドグラス上に載置し、これを透明な保護部材（カバーグラス）によって挟んで固定したものである。撮像回数を減らして撮像時間を短縮するためには、小区画の大きさをより大きくし、小区画の数をより少なくすることが望ましい。また、被写体の撮像においては高い解像力が求められ、撮像光学系の物体側の開口数（ＮＡ）を大きくする必要がある。しかしながら、物体側の開口数を大きくすると被写界深度は浅くなる。被写体の表面に高さ方向の凹凸がある場合、小区画内で被写界深度を超える高さの場所が存在することがあり、像がぼけてしまうことがある。
【０００４】
広視野の観察を可能にする技術として、特許文献１では、撮像区画の異なる複数の画像を貼り合せることにより高解像かつ広画角な画像を生成するシステムが提案されている。このシステムでは、最初にオペレータが低解像度の全体画像上で撮像範囲を指定すると、演算装置が撮像範囲を小区画に分割し、小区画毎に顕微鏡で高倍率の画像を撮像する。この際、被写体の高さ情報を用いて合焦位置で画像を撮像する。小区画の大きさは、小区画内で被写界深度を超える部分が生じないように、小さく設定される。
【０００５】
また、小区画の大きさを大きくする技術として、特許文献２には、被写体の凹凸に合わせて撮像する技術が開示されている。撮像システムは、第１の結像光学系（結像光学系）と、第２の結像光学系（再結像光学系）と、それらの間の光路上に配置された反射手段とを有する。反射手段の光軸方向の位置および光軸に対する傾きの少なくとも一方を変更することで、被写体の凹凸に合わせて撮像する。この技術において、小区画の数が増えると、第２の結像光学系の数が増えてしまう。第２の結像光学系の数をより少なくするためには小区画の数は少ない方が望ましく、このためには小区画の大きさはより大きいことが望ましい。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１０８２２３号公報
【特許文献２】特許第５２２０１７２号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１では、撮像領域を複数の小区画に分割する際に用いる境界は被写体の存在する位置を用いて定められる。ただし、小区画内の高さ分布に対して被写体に対する小区画の境界の相対的な位置が最適化されることはない。撮像面は、像面の凹凸に対して合焦位置を合わせるために光軸方向に平行移動を行う。しかしながら、被写体の凹凸に合わせて、撮像面を被写体に対して相対的に傾けることはできない。このため、被写体の凹凸による像の合焦位置の変化を小さくすることが困難で、小区画の大きさを大きくすることができない。
【０００８】
特許文献２では、反射手段の位置や傾きを調整することで、被写体の凹凸が被写界深度を超えないようにする。しかし、被写体の凹凸の量が大きいと小区画の大きさを大きくすることは難しい。また、小区画に分割する境界によっては、被写体の凹凸が被写界深度を越える場合がある。このような場合に対応するためには、小区画の大きさや被写体に対する小区画の境界位置ならびに反射手段の位置調整量を最適化する必要がある。しかしながら、小区画の大きさや小区画に分割する境界を最適化し、最適化された境界において反射手段の位置や傾きを決定する方法の具体的な開示はない。
【０００９】
このような課題を鑑みて、本発明は、小区画のサイズを大きくするとともに、各小区画内の像のぼけを小さくすることが可能な撮像システムおよび撮像方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一側面としての撮像システムは、被写体の像を形成する光学系と、前記光学系を介して、前記被写体の撮像範囲を複数の小区画毎に撮像する撮像手段と、前記撮像手段で前記被写体を撮像する前に、前記光学系の光軸方向における前記被写体の高さを計測する計測手段と、前記被写体の高さと前記被写体の高さ分布を近似した平面における近似高さとに基づく残差を算出することで、前記小区画毎の撮像条件を取得する処理手段と、前記撮像条件に基づいて、前記小区画と前記撮像手段との相対的な位置関係を調節する調節手段と、を有することを特徴とする。
【００１１】
また、本発明の他の側面としての撮像方法は、被写体の像を形成する光学系と、前記光学系を介して、前記被写体の撮像範囲を複数の小区画毎に撮像する撮像手段と、を有する撮像システムの撮像方法であって、前記光学系の光軸方向における前記被写体の高さを計測するステップと、前記被写体の高さと前記被写体の高さ分布を近似した平面における近似高さとに基づく残差を算出することで、前記小区画毎の撮像条件を取得するステップと、前記撮像条件に基づいて、前記小区画と前記撮像手段との相対的な位置関係を調節するステップと、前記撮像手段が前記小区画を撮像するステップと、を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、小区画のサイズを大きくするとともに、各小区画内の像のぼけを小さくすることが可能な撮像システムおよび撮像方法を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る撮像システムの要部概略図である。
【図２】反射部材を有する撮像ユニットの要部概略図である。
【図３】平面フィッティングの説明図である。
【図４】撮像方法のフローチャートである。
【図５】撮像条件の設定を示す図である。
【図６】撮像条件の設定法を示す図である。
【図７】撮像条件の設定法１，２のフローチャートである。
【図８】撮像条件の設定法３のフローチャートである。
【図９】撮像条件の設定法４のフローチャートである。
【図１０】実施例１の計測で得た高さを示す図である。
【図１１】実施例１の境界を変化させたことを示す図である。
【図１２】実施例２の被写界深度を超える残差の位置を示す図である。
【図１３】実施例２の被写界深度を超える残差の値を示す図である。
【図１４】実施例２の被写界深度を超える残差の位置と、その残差を撮像する境界を示す図である。
【図１５】実施例２の新しい境界における残差の値を示す図である。
【図１６】実施例２の計測で得た高さを示す図である。
【図１７】実施例３の被写界深度を超える残差の位置を示す図である。
【図１８】実施例３の被写界深度を超える残差の値を示す図である。
【図１９】実施例３の被写界深度を超える残差の位置と、その残差を撮像する境界を示す図である。
【図２０】実施例３の新しい境界における残差の値を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
（システム構成）
図１は、本発明の実施形態に係る撮像システムの要部概略図である。光軸に平行な方向をｚ方向、紙面に垂直な方向をｘ方向、光軸に垂直で紙面と平行な方向をｙ方向とする。撮像システムは、計測撮像装置１、演算装置（処理手段）２、および表示装置３から構成される。
【００１５】
計測撮像装置１は、計測ユニット（計測手段）１００、撮像ユニット（撮像手段）３００、被写体であるプレパラート１０３を搬送する搬送部２０３、および制御部４０１を有し、プレパラート１０３上の標本を撮像してデジタル画像を生成する。計測ユニット１００は、表面形状計測を行う。表面形状計測とは、プレパラート１０３上の標本位置や被写体の高さ（凹凸）を計測することを指す。表面形状計測は、被写体を撮像する前に撮像ユニット３００で撮像する撮像倍率よりも低い倍率で行われる。また、計測ユニット１００は、表面形状計測のみでなく、計測データを処理する機能を有していてもよい。例えば、表面形状計測の結果に対して表面形状の空間周波数を計算し、空間周波数が一定の値を超えた成分を除去する処理を行う機能を有する。この処理で、ステージの誤差や計測エラーに起因する高い空間周波数を持つノイズを除去することができる。表面形状計測の結果は、撮像ユニット３００の撮像条件を設定する際に用いられる。撮像ユニット３００は、被写体の撮像領域を複数の小区画に分割し、小区画単位で撮像を行う。ここでは小区画毎に異なる撮像素子で撮像する場合を考える。本実施形態では、被写体を複数の小区画に分割する境界の位置を決める際に、計測ユニット１００による表面形状計測の結果を用いる。つまり、表面形状計測で得られた標本またはカバーグラスの高さｚ（ｘ，ｙ）を用いて、撮像条件の１つである被写体に対する小区画の境界位置（ｘ，ｙ）を設定する。撮像条件は、小区画の境界位置に限らず、後述する撮像面の位置や傾きの条件を含み、より少ない撮像回数で被写体の全領域を被写界深度に収まるように設定される。撮像条件は、演算装置２を用いて計算される。搬送部２０３は、表面形状計測が終了したプレパラート１０３を、計測ユニット１００から撮像ユニット３００に搬送する。制御部４０１は、小区画の境界位置などの撮像条件を満たすように、撮像装置の被写体の位置や撮像面の位置を制御する。
【００１６】
演算装置２は、撮像条件を取得する。また、計測撮像装置１を用いて得られた画像データに対し所定の画像処理（現像、色変換、ガンマ補正、ノイズ除去、圧縮など）を適用する機能、小区画の画像をつなぎ合わせる機能、および画像の管理・閲覧を行う機能などを有する。演算装置２は、ＣＰＵ、メモリ、記憶装置、および入力装置（入力手段）などを備える汎用のコンピュータでもよいし、専用の画像処理回路を有してもよい。演算装置２の記憶装置には、撮影条件を取得するためのプログラムが格納されている。なお、演算装置２の機能を計測撮像装置１に組み込んでもよい。
【００１７】
表示装置３は、画像や計算結果などの閲覧に用いられるディスプレイである。なお、表示装置３を計測撮像装置１や演算装置２に一体化してもよい。
【００１８】
計測ユニット１００は、計測用照明部１０１、計測用ステージ１０２、計測用光学系１０４、および計測部１０５を備える。計測用照明部１０１は、計測用ステージ１０２上に設置されているプレパラート１０３に光源からの光を導く照明光学系を有する。計測用ステージ１０２は、プレパラート１０３を保持し、計測用光学系１０４に対するプレパラート１０３の位置を調整する。計測用光学系１０４は、プレパラート１０３を透過した光を計測部１０５に導く光学系である。計測ユニット１００ではプレパラート全体の計測を行うことが目的のため、計測用光学系１０４は低倍率でよい。計測部１０５は、センサであり、計測用光学系１０４からの光に基づき、被写体上の複数の点における物理量を計測する。標本もしくはカバーグラスの凹凸（表面形状）を計測する目的であれば、反射光や干渉光を利用する各種の距離センサを用いることができる。図１では、透過型の計測ユニットを例示しているが、計測する物理量やセンサの種類に応じて、カバーグラス側から光を照射し被写体での反射光を計測する反射型の計測ユニットを用いてもよい。また、複数のユニットもしくはセンサを組み合わせて用いてもよい。各計測点の計測データは制御部４０１に伝送される。
【００１９】
搬送部２０３は、表面形状計測が終了したプレパラート１０３を、計測ユニット１００から撮像ユニット３００に搬送する。撮像ユニット３００に搬送されたプレパラート１０３は、撮像ユニット３００の撮像用ステージ３０２上に配置されたプレパラート３０３として示されている。搬送部２０３は、例えば計測用ステージ１０２自体を移動させ、撮像用ステージ３０２として機能させてもよい。また、ハンド装置によりプレパラート１０３を保持または吸着してステージ上に移動させてもよい。さらに、複数のプレパラート１０３を撮像する場合には、計測用ステージ１０２と撮像用ステージ３０２にそれぞれ異なるプレパラートが設置されてもよい。このとき、表面形状計測処理と撮像処理が並列に行われてもよい。なお、複数のプレパラートの撮像を連続的に行う場合は、ストッカ（不図示）に収容されているプレパラート１０３が搬送部２０３によって１枚ずつ計測用ステージ１０２から撮像用ステージ３０２に搬送されるのが望ましい。
【００２０】
撮像ユニット３００は、撮像用照明部３０１、撮像用ステージ３０２、結像光学系３０４、およびＣＣＤやＣＭＯＳといった撮像素子から構成された撮像部３０５を有する。撮像用照明部３０１は、ステージ３０２上に設置されているプレパラート３０３に光源からの光を導く照明光学系を有する。光源には、例えばハロゲンランプやキセノンランプ、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）を用いることができる。結像光学系３０４は、被写体の像を拡大して撮像部３０５に形成する。撮像部３０５は、複数の撮像素子から構成されている。図１では、３つの撮像素子が設けられているが、撮像素子の数はこれに限らない。撮像素子で受光した光を光電変換し、画像データを生成、出力する。この画像データは制御部４０１を介して演算装置２に伝送される。撮像素子のサイズ、数、配置は任意である。Ｎ個の小区画の撮像を行うために、Ｎ個の撮像素子を用いて一括撮像をすることが理想ではあるが、１つの撮像素子でＮ回撮像してもよいし、複数（ｍ個）の撮像素子でＮ／ｍ回撮像してもよい。複数の撮像素子を用いるほうが撮像時間を短縮できる。
【００２１】
制御部４０１は、各駆動部とともに駆動機構（調節手段）として機能する。具体的には、制御部４０１は、演算装置２が取得した撮像情報に基づいて各駆動部を駆動することで、プレパラート３０３と、撮像部３０５を構成する複数の撮像素子の撮像面との相対的な位置関係を調節する。相対的な位置関係とは、ｘｙ平面上の撮像面に対するプレパラート３０３の位置と、ｚ方向におけるプレパラート３０３と撮像面との距離と、撮像面に対するプレパラート３０３のｚ軸に対する傾き角度を意味する。ｘｙ平面上の撮像面に対するプレパラート３０３の位置は、被写体を小区画に分割する境界の位置の条件から決まる。ｚ方向におけるプレパラート３０３と撮像面との距離と、撮像面に対するプレパラート３０３のｚ軸に対する傾き角度は、小区画内の撮像データが被写界深度内に収まるように設定される。
【００２２】
駆動部２０１は、制御部４０１から伝送された信号に基づき、撮像用ステージ３０２を駆動し、プレパラート３０３と撮像部３０５との相対的な位置を調整する。駆動部２０１は、撮像用ステージ３０２をｘｙ平面上で平行移動させ、プレパラート３０３の位置を微調整する。駆動部２０１は、撮像用ステージ３０２に対し、ｚ軸を中心としたｘｙ平面内での回転や、ｚ方向の平行移動や、ｘ軸やｙ軸を中心とした回転を行ってもよい。
【００２３】
駆動部２０２は、制御部４０１から伝送された信号に基づき、撮像部３０５を駆動する。駆動部２０２は、撮像部３０５を構成する複数の撮像素子それぞれに対して独立に設けられている。駆動部２０２は、ｘ軸を中心にした回転駆動を行う。本実施形態では、ｘｚ面内に駆動部（不図示）が配置されている。ｘｚ面内の駆動部は、ｙ軸を中心にした回転駆動を行う。そうすることで、撮像素子のｚ軸に対する傾きが変化する。すなわち、本実施形態では、撮像部３０５を構成する複数の撮像素子ごとに位置および傾きを調整することができる。また、駆動部２０２は、撮像素子のｚ方向の位置を変化させる。
（反射部材を有する撮像ユニットの構成）
撮像ユニット３００に複数の撮像部が設けられている構成の一例について、図２を用いて説明する。図２では、例として２つの撮像部５０５，５０８が設けられている。撮像ユニットは、第１の結像光学系５０２と第２の結像光学系５０４，５０７に分かれている。図中のｘ，ｙ，ｚ軸は、第１の結像光学系５０２の光軸方向と、第２の結像光学系５０４，５０７の光軸方向に基づいて別々に設定されるローカル座標とする。第１の結像光学系５０２の像位置には、反射部材５０３，５０６が配置されている。反射部材５０３は第１の結像光学系５０２と第２の結像光学系５０４との間、反射部材５０６は第１の結像光学系５０２と第２の結像光学系５０７との間に配置されている。第２の結像光学系５０４，５０７の物点に相当する位置は、第１の結像光学系５０２の像点に相当する。第２の結像光学系５０４，５０７の物点に相当する位置は、第１の結像光学系５０２の像において異なる位置に相当する。第１の結像光学系５０２の像とは撮像用ステージ５０１上の被写体の像であるから、複数の第２の結像光学系５０４，５０７はそれぞれ被写体の異なる領域を再結像する。このように複数の第２の結像光学系を用いることで、第２の結像光学系の撮像領域を複数の小区画に分割して一括撮像することができる。本実施形態では、表面形状計測の結果に基づいて、駆動部５０９で撮像用ステージ５０１を駆動し、撮像用ステージ５０１上の被写体をｘｙ面内で平行移動させる。こうして被写体に対する小区画の境界位置を最適にする。また、駆動部５１２，５１３で反射部材５０３，５０６の傾きや光軸（ｚ軸）に対する位置を変化させる。このように境界の位置と反射部材５０３，５０６傾きや光軸に対する位置を変化させることで、各小区画の撮像を行う。反射部材を有する撮像ユニットの場合は、このように反射部材を用いて被写体と撮像部との相対的な位置および方向を変化させることができる。また、反射部材のみでなく、駆動部５１０，５１１を用いて撮像部５０５，５０８の位置を変化させて各小区画の撮像を行ってもよい。撮像部の位置の変化においては、ｚ方向の位置や撮像面内の位置を主に変化させる。なお、第１および第２の結像光学系の少なくとも一方が、変倍機能を有していてもよい。
（平面フィッティング）
平面フィッティングについて、図３を用いて説明する。平面フィッティングは、撮像面の光軸に対する位置と傾きを設定する際に演算装置２によって計算される。
【００２４】
図３（ａ）に示すように、被写体の領域を大きさが指定された小区画で分割する。黒い実線で示した正方形の１つ１つが小区画の１つ１つを示している。灰色の濃淡は表面形状計測で取得した被写体の高さを表し、色が薄いほど被写体の高さが高いことを示している。平面フィッティングは、表面形状計測で取得した小区画内の被写体の高さデータに対して行われる。別の小区画に属する高さは、別の平面でフィッティングされる。同一の小区画に属する高さは、同一の平面でフィッティングされる。平面フィッティングは、最小二乗法などの一般的な方法を用いることができる。表面形状計測で取得した小区画内の被写体のデータと平面フィッティング後のデータとの残差（フィッティング残差）が被写界深度内に収まるように、被写体に対する小区画の境界位置を最適化する。例えば、図３（ｂ）は、図３（ａ）のＲ１で示す小区画を平面フィッティングした図である。平面フィッティング前のデータをＺ（Ｘ，Ｙ）、平面フィッティング後のデータをＰ（Ｘ，Ｙ）、残差をＥ、平面のＸ方向の傾きをＧ、平面のＹ方向の傾きをＨ、平面のＺ方向の位置をＣとすると、以下の式（１），（２）が成り立つ。Ｇ，Ｈ，Ｃの値は撮像条件に相当し、Ｇ，Ｈ，Ｃの値に対応するように、撮像面の傾きと位置が設定される。
【００２５】
Ｐ（Ｘ，Ｙ）＝Ｇ・Ｘ＋Ｈ・Ｙ＋Ｃ                    （１）
Ｅ（Ｘ，Ｙ）＝｜Ｐ（Ｘ，Ｙ）−Ｚ（Ｘ，Ｙ）｜ （２）
また、平面フィッティングにおける各平面の境界位置は、小区画の境界位置と同一であり、これも撮像条件に相当する。撮像用ステージ３０２の位置は、境界位置に対応するように設定される。なお、残差Ｅの評価は、上式を用いた方法に限らず、他の方法を用いてもよい。例えば、小区画内にある残差Ｅ（Ｘ，Ｙ）のデータ数がＮｄ個と大きい場合、評価する残差のデータ数をＭｄに減らして評価してもよい。例えば、１つの小区画にあるＮｄ個のデータに対してＲ個（Ｎｄ＞Ｒ）のデータをひとまとめにして評価することで、評価データをＭｄ個に減らす。この場合は、Ｍｄ＝Ｎｄ／Ｒとなる。Ｎｄ／Ｒが小数になる場合は、小数点以下を切り捨てて整数にする。Ｒ個のデータを用いて、二乗平均平方根ＲＭＳを式（３）で求める。
【００２６】
【数１】
2016142960.tif 000003
【００２７】
二乗平均平方根ＲＭＳは、１つの小区画でＭｄ個得られる。そして、Ｍｄ個のデータを用いて１つの小区画の残差を評価してもよい。
（画像取得の手順）
本実施形態の撮像方法について、図４のフローチャートを用いて説明する。ステップｓ１では、表面形状計測で被写体の高さを計測し、高さデータを取得する。表面形状計測は、計測ユニット１００を用いて行われる。ステップｓ２では、被写体の撮像範囲を複数の小区画に分割して撮像する際の撮像条件を設定する。撮像条件には、小区画の境界位置や、撮像面の位置、傾きを含む。これ以外にも撮像光学系が変倍機能を有する場合、小区画の大きさを含む場合がある。撮像条件は、演算装置２によって計算される。ステップｓ３では、ステップｓ２で設定された撮像条件に基づいて、駆動機構を用いて撮像用ステージ、撮像面、および反射部材を動かして、各小区画の部分画像を撮像する。ステップｓ４では、ステップｓ３で撮像した部分画像のデータを取り込む。演算装置２は、所定の画像処理の適用、小区画の画像をつなぎ合わせ、および画像の管理・閲覧などを実行する。また、表示装置３を用いて画像や解析結果などを表示する。さらに、画像データを内部または外部の記憶装置に保存する。
（撮像条件の設定の概要）
図４のステップｓ２の撮像条件は、より少ない撮像回数で被写体の全領域を被写界深度に収まるように設定される。演算装置２は、まず、撮像回数１回で被写体の全領域を被写界深度に収まるように撮像する条件があるかを計算する。この条件がない場合には、撮像回数２回で被写体の全領域を被写界深度に収まるように撮像する条件があるかを計算する。具体的には、１回目の撮像で被写界深度に収まらなかった全ての領域を被写界深度に収まるように撮像する条件があるかを計算する。１回目の撮像で被写界深度におさまった領域については、撮像データが記憶装置に保存されるので、２回目で必ずしも撮像する必要はない。２回の撮像でも被写体の全領域を被写界深度に収まるように撮像する条件がない場合は、さらに同様に回数を増やし、被写体の全領域を被写界深度に収まるように撮像する条件があるかを計算する。あらかじめ決められた撮像回数に達しても被写体の全領域を被写界深度に収まるように撮像する条件がない場合は、深度を超える領域を表示する。表示された領域に関しては、撮像用ステージまたは撮像面のいずれか一方のｚ方向の位置を変化させながら複数枚の画像を撮像し、被写界深度に収まる画像を得ることができる。しかしながら、この方法は撮像時間が増えてしまう。
【００２８】
撮像条件の設定における計算で用いられる変数は、撮像用ステージや撮像面、反射部材を駆動する駆動機構の有無や撮像光学系の変倍機能の有無によって異なる。本実施形態では、表面形状計測で得られた標本またはカバーグラスの高さを用いて、被写体に対する小区画の境界位置を設定する。このため、本実施形態では、撮像用ステージがｘｙ平面内で移動する機構を必ず有する。撮像面に関しては、光軸ｚ方向への移動とｚ軸に対する回転の移動ができる機構を有していることが望ましい。しかし、例えば、撮像面をｚ軸に対して回転する機構がない場合であってもよい。この場合は、平面フィッティングをシフト成分のＣのみを変数にし、チルト成分のＧとＨをゼロに固定すればよい。
【００２９】
撮像条件の設定について、図５を用いて説明する。ステップｓ２０１では、演算装置２は、小区画の境界、ｚシフト、およびｚチルトを変数にした平面フィッティングを全小区画に対して計算する。ｚシフトは平面のＺ方向の位置Ｃ、ｚチルトは（平面のＸ方向の傾きＧ，平面のＹ方向の傾きＨ）に相当する。ステップｓ２０２では、平面フィッティングの全ての残差が被写界深度に収まるかどうかを判定する。収まる場合は撮像条件が設定され終了し、収まらない場合はステップｓ２０３に進む。ステップｓ２０３では、演算装置２は、深度を超えた領域に対して平面フィッティングを行う。詳細については、後述する。ステップｓ２０４では、演算装置２は、平面フィッティングの全ての残差が被写界深度に収まるかどうかを判定する。収まる場合は撮像条件が設定され終了し、収まらない場合はステップｓ２０５に進む。ステップｓ２０５では、深度を超える領域を表示して終了する。
【００３０】
なお、撮像条件の設定について、撮像光学系の変倍機能を有さない場合について説明したが、本発明においては、撮像光学系の変倍機能を備えていなくても影響はない。変倍機能を有する場合は、平面フィッティングの計算において変数に小区画の大きさが加わる。撮像光学系の撮像倍率（拡大倍率）を高くすることで被写体を分割する小区画の大きさを小さくする。ここで撮像面の大きさは一定とする。小区画に含まれる被写体の領域が小さくなるので小区画内の被写体の高さ変化が小さくなる。平面フィッティングする対象である高さの変化が小さくなるので、平面フィッティングの残差も小さくなり、被写界深度に収まる撮像条件を求めることが容易になる。計算の各ステップは、小区画の大きさの変数が増すのみで図５に示したものと同様である。
（撮像条件の設定）
撮像条件の設定では、まず撮像領域全域（全小区画）に対し１回目の平面フィッティングを行い、次に残差が被写界深度に収まらなかった領域に対し２回目の平面フィッティングを行う。２回目の平面フィッティングは２通りの場合がある。１つ目は、２回目の平面フィッティングで１回目の平面フィッティングの境界位置を変えずに、残差が被写界深度に収まらなかった領域のみｚシフトとｚチルトを変える場合である。２つ目は、２回目の平面フィッティングにおいて１回目の平面フィッティングの境界位置を変化させた上で、残差が被写界深度に収まらなかった領域のｚシフトとｚチルトを求め直す場合である。これらは、被写体に対する小区画の境界位置を変える場合と変えない場合に相当する。
【００３１】
１回目の平面フィッティングで撮像領域全域の残差が被写界深度内に収まる場合を撮像条件の設定法０と呼ぶ。また、残差が被写界深度を超えた領域に対して行う２回目の平面フィッティングにおいて境界位置を変えずにｚシフトとｚチルトを変化させる場合を撮像条件の設定法１と呼ぶ。一方、残差が被写界深度を超えた領域に対して行う２回目の平面フィッティングにおいて境界位置を変えてｚシフトとｚチルトを変化させる場合を撮像条件の設定法２と呼ぶ。演算装置２において撮像条件を計算する際には、まず撮像条件の設定法０を計算する。撮像領域全域の残差が被写界深度内に収まらなかった場合には、例えば、撮像条件の設定法１，２の順番で計算し、撮像領域全域の残差が被写界深度内に収まった場合には計算を終了すればよい。撮像条件の設定法０〜２は、撮像光学系が変倍機能を有さない場合に相当する。
【００３２】
撮像光学系が変倍機能を有する場合には、小区画の大きさを変化させることができる。撮像光学系の拡大倍率を上げて小区画の大きさを小さくして撮像領域全域を撮像する方法を撮像条件の設定法３と呼ぶ。また、残差が被写界深度を超えた領域がなくなるまで小区画の大きさを小さくして複数回撮像する方法を撮像条件の設定法４と呼ぶ。
【００３３】
撮像条件の設定法０〜４について、図６を用いて説明する。
（撮像条件の設定法０）
撮像条件の設定法０について、図６（ａ）を用いて説明する。灰色に示した被写体に対して９つの小区画に分割して撮像する方法について説明する。設定法０では、被写体に対する境界の相対位置（ｘ，ｙ）を最適化することで、撮像領域全域の残差が被写界深度に収まる。この場合は例えば図２の構成で、９つの第２の結像光学系を用い、９つの小区画を別々に同時に撮像することができる。つまり、撮像回数は１回である。
（撮像条件の設定法１）
撮像条件の設定法１について、図６（ｂ），（ｃ）を用いて説明する。この方法は、１回目の撮像では撮像領域全域被写体の全領域の残差が被写界深度に収まらない場合に用いられる。つまり、被写体に対する境界Ｂ１を最適化しても、１つ以上の高さデータの残差が被写界深度を超えてしまう場合に用いられる。
【００３４】
まず、図６（ｂ）に示すように被写界深度を超える残差の数が最小となる境界Ｂ１を決定するとともに、境界Ｂ１で残差が被写界深度を超える黒色で示した領域Ｎ１，Ｎ２を特定する。そして、領域Ｎ１，Ｎ２およびその近傍に対して、領域Ｎ１，Ｎ２が被写界深度内に収まるように平面フィッティングを再度行う。この際の小区画の大きさは、境界Ｂ１の小区画と同じ大きさである。また、小区画の境界Ｂ１は変えずに、平面の傾きと位置のみをフィッティング変数にする。つまり、境界Ｂ１は不変のもと、領域Ｎ１，Ｎ２を含む小区画を再度平面フィッティングし直す（図６（ｃ））。なお、領域Ｎ１，Ｎ２以外の領域は、平面フィッティングの対象ではないので、被写界深度を超えてもよい。
（撮像条件の設定法２）
環境条件の設定法２について、図６（ｄ）〜（ｇ）を用いて説明する。この方法は、撮像条件の設定法１と異なり、再度平面フィッティングし直す際のフィッティング係数として境界も変化させる。
【００３５】
まず、被写界深度を超える残差の数が最小となる境界Ｂ１を決定する（図６（ｄ））。そして、境界Ｂ１で残差が被写界深度を超える領域Ｅｒ１，Ｅｒ２およびその近傍に対して、領域Ｅｒ１，Ｅｒ２が被写界深度内に収まるように平面フィッティングを再度行う。この際の小区画の大きさは境界Ｂ１の小区画と同じ大きさであるが、小区画の境界Ｂ１を変化させる。つまり、境界を平面フィッティングの変数にして、領域Ｅｒ１，Ｅｒ２を含む小区画を再度、平面フィッティングし直す（図６（ｅ））。
【００３６】
平面フィッティングする対象領域を、データＥｒ１，Ｅｒ２およびその近傍に限定しない場合も考えられる。被写界深度を超えるデータ数が最小となる境界Ｂ１を決定した後、データＥｒ１，Ｅｒ２を含む小区画の全データを平面フィッティングの対象データとしてもよい。図６（ｆ）は、境界を変化させて小区画の全データを平面フィッティングの対象データとして計算し、境界Ｂ３を求めた場合を示している。境界Ｂ３では、境界Ｂ１で残差が被写界深度を超える領域Ｅｒ１，Ｅｒ２が被写界深度内となる。また、境界Ｂ３において、領域Ｅｒ１を含む小区画Ｒ２１，Ｒ２２に含まれる全ての残差は被写界深度内に収まる。しかし、境界Ｂ３において、領域Ｅｒ２を含む小区画Ｒ２３〜Ｒ２６のうち、小区画Ｒ２３において、×印で示した領域Ｅｒ２１の残差は被写界深度を超える。この場合は、小区画Ｒ２３の撮像において、小区画Ｒ２３の全域のデータを取得した後に領域Ｅｒ２１を削除すればよい。または、領域Ｅｒ２１は、境界Ｂ１で撮像する際に取得しているので、領域Ｅｒ２１に相当する図６（ｇ）において黒色で示したＤ２の部分を撮像しないように（光が入らないように）マスキングして撮像してもよい。このように、本発明は、深度を超えた残差をもつ撮像データに対する処置を含んでいてもよい。
（撮像条件の設定法３）
撮像条件の設定法３について、図６（ｈ）を用いて説明する。この方法では、小区画の大きさを小さくすることで、単一の境界で、被写体の全領域を撮像する。この方法を用いることで、１回の撮像で全領域を撮像できる場合がある。一方、撮像ユニットの高倍化による撮像領域の縮小により、被写体の全領域を撮像できなくなる場合がある。この場合は撮像用ステージを動かして、複数回撮像する必要がある。図６（ｈ）に示した数字は、撮像の順番を示している。１回目の撮像に対して横方向に撮像用ステージを動かして２回目の撮像を行う。そして、１回目の撮像に対して縦方向に撮像用ステージを動かして３回目の撮像を行う。そして、１回目の撮像に対して横方向と縦方向に撮像用ステージを動かして４回目の撮像を行う。撮像する順番は、番号順である必要はない。この方法では、小区画の大きさは、単一の値に決定され、撮像回数の違いで変わることはない。また、全てのフィッティング残差が被写界深度内になるように小区画の大きさを設定するので、同じ領域を重複して撮像することはない。
（撮像条件の設定法４）
撮像条件の設定法４について、図６（ｉ）を用いて説明する。この方法では、同一領域を重複して撮像し、撮像回数の違いで小区画の大きさを変化させる。まず、特定の大きさの小区画を設定し、被写界深度を超える残差が最小となる境界Ｂ２１をまず決定する。これは撮像条件の設定法１と同じである。そして、境界Ｂ２１において被写界深度を超える残差を被写界深度に収まるようにする境界Ｂ２２を決定する。境界Ｂ２２を決める際に設定する小区画の大きさは、変更可能とする。このことが他の撮像条件の設定法とは異なる。境界Ｂ２１において被写界深度が超える複数の残差の中には、境界Ｂ２２に変えて平面フィッティングしても依然として被写界深度を超える残差が含まれる場合がある。この場合はこれらの残差が被写界深度に収まるようにする境界Ｂ２３を決定する。境界Ｂ２３を決める際に設定する小区画の大きさは、変更可能とする。このようにして、全ての残差が被写界深度に収まるように、境界を変え、重複して撮像する。境界Ｂ２２，Ｂ２３の決定においては、小区画内の残差が全て被写界深度内になるものを選ぶ条件をつけることができる。また、境界Ｂ２１，Ｂ２２において被写界深度を超えた残差となる部分のみを境界Ｂ２２，Ｂ２３において残差が被写界深度内に収まるようにすれば、小区画内の残差が全て被写界深度内にならなくてもいいとする条件をつけることができる。後者の条件では、境界の採用基準が緩くなり、被写界深度をこえた残差が存在する領域ごとに異なる小区画の大きさを持つ境界が採用されやすくなる。しかし、小区画内にある深度を超えた残差が存在する領域の撮像データを削除する処理が必要になる。このことから撮像方法が複雑化しやすい。小区画内のデータが全て被写界深度内になるものを選ぶ条件をつけると、被写界深度を超えた残差が存在する領域の撮像データを削除する処理が不要になり、撮像方法を簡易化できる。また、小区画の大きさの変化に伴い、撮像データのサンプリングピッチが変化する。このため、たとえばｎ−１回目とｎ回目の撮像で得られたデータを等しいサンプリングピッチになるように補間する処理が必要になる。
（撮影条件の設定法のフロー）
撮像条件の設定法１〜４のフローについて、図７〜９を用いて説明する。このフローは、図５のステップｓ２０３の詳細に相当する。このため、図５のステップｓ２０１の平面フィッティングにおいて、残差が被写界深度を超える領域が決定している。そして、図５のステップｓ２０２の判断で残差が被写界深度を超えた領域（例えば、図６（ｄ）の領域Ｅｒ１，Ｅｒ２）をＡ１とする。
【００３７】
まず、撮像条件の設定法１のフローについて、図７を用いて説明する。ステップｓ１０１では、１回目（Ｎ＝１）の撮像で残差が被写界深度を超える領域Ａ１を読み出す。ステップｓ１０２では、領域Ａ１における残差の数が最小となる境界を決定する。残差を計算する際に行う平面フィッティングは、領域Ａ１とその近傍のみを平面フィッティングの対象データにする。そして、境界Ｂ１を変化させずに、ｚシフトとｚチルトのみを変化させる。ステップｓ１０３では、領域Ａ１全域で残差が被写界深度内に収まるかどうかを判定する。収まる場合はステップｓ１０４に進み、収まらない場合はｓ１０５に進む。ステップｓ１０４では、ステップｓ１０３において全ての残差が被写界深度内に収まったので、境界位置と撮像面のチルトとシフトと撮像回数を決定する。例えば、図６（ｂ），（ｃ）で示した場合は、まず境界Ｂ１で１回目の撮像を行う。次に境界Ｂ１のもと領域Ｎ１，Ｎ２を含む小区画を撮像する際に、物体面と撮像面との光軸方向の相対的な位置と傾きを変えて２回目の撮像をする。すなわち、撮像回数は２回である。ステップｓ１０５では、ステップｓ１０３において全ての残差が被写界深度内に収まらなかったので、被写界深度内に収まらなかった残差を撮像するため、撮像回数の増加をカウントする。ステップｓ１０６では、撮像回数があらかじめ設定した上限を超えたかどうかを判定する。上限を超えていない場合は、ステップｓ１０１に進み、以後前述したフローを進む。上限を超えた場合は、ステップｓ１０７に進む。ステップｓ１０７では、撮像回数が上限を超えた場合に、被写界深度を超える領域を表示すし、終了する。
【００３８】
次に、撮像条件の設定法２のフローについて、図７を用いて説明する。ステップｓ１０１では、１回目の撮像で残差が被写界深度を超える領域Ａ１を読み出す。ステップｓ１０２では、領域Ａ１における残差の数が最小となる境界を決定する。前述したように、撮像条件の設定法２では、境界を境界Ｂ１から変化させる。平面フィッティングは、領域Ａ１とその近傍のみを平面フィッティングの対象データに限定する場合と、限定しない場合がある。限定する場合は例えば図６（ｅ）の境界Ｂ２に相当し、限定しない場合は例えば図６（ｆ）の境界Ｂ３に相当する。仮に図５のステップｓ２０１，ｓ２０２で境界Ｂ１を求める際に、境界Ｂ１以外の境界の残差が計算されていれば、この計算の結果から、領域Ａ１が最小となる境界を境界Ｂ３として読み出してもよい。また、境界Ｂ３を改めて計算してもよい。前述したように、境界Ｂ３の平面フィッティングの残差において、領域Ａ１以外の残差（例えば、図６（ｆ）のＥｒ２１）が被写界深度を超えても、領域Ａ１の残差が被写界深度内に収まれば境界Ｂ３として採用することができる。ステップｓ１０３では、ステップｓ１０２で求めた残差において、領域Ａ１の残差が全て被写界深度内に収まるかどうかを判定する。この後のフローは撮像条件の設定法１と同様である。撮像条件の設定法２では境界が変化するが、小区画の大きさは変化しない。
【００３９】
次に、撮像条件の設定法３のフローについて、図８を用いて説明する。ステップｓ３０１では、平面フィッティングする領域を全領域に指定する。これは、平面フィッティングをする対象データを、例えば被写界深度を超えた残差など一部に限定しないという意味である。フィッティングする平面は小区画毎に別々である。ステップｓ３０２では、小区画の大きさを設定する。ステップｓ３０３では、撮像回数があらかじめ決めた上限を超えたかどうかを判断する。小区画の大きさによっては、１回で全領域を撮像できない場合がある。小区画の大きさ（撮影倍率）にしたがって、撮像回数が決まる。例えば、図６（ｈ）では、４回と決まる。上限を超えていない場合はステップｓ３０４に進み、上限を超えた場合はステップｓ３０８に進む。ステップｓ３０８では、被写界深度を超える残差が存在する領域を表示し、終了する。ステップｓ３０４では、小区画の境界を設定する。ステップｓ３０５では、全ての小区画を平面フィッティングし、残差を計算する。ステップｓ３０６では、全ての残差が被写界深度内に収まっているかどうかを判断する。全ての残差が被写界深度内に収まる場合はステップｓ３０７に進み、収まらない場合はステップｓ３０２に進み、小区画の大きさを設定し直し、同様のフローを繰り返す。この際、平面フィッティングする領域は常に全領域である。ステップｓ３０７では、全領域共通の小区画の大きさをもつ境界と、平面の位置と傾きを決定し、終了する。
【００４０】
次に、撮像条件の設定法４のフローについて、図９を用いて説明する。ステップｓ４０１では、１回目の撮像の被写界深度を超える領域Ａ１を読み出す。ステップｓ４０２では、小区画の大きさを設定する。ステップｓ４０３では、領域Ａ１を小区画に分割する境界を設定する。ステップｓ４０３では、平面フィッティングの残差を計算する。ステップｓ４０５では、被写界深度を超えた残差を被写界深度内にする境界があるかどうかを判定する。判定の際には、小区画内のデータが全て被写界深度内になる境界に限定するという条件をつけることができる。この条件で小区画内にある被写界深度を超えた残差をもつデータを削除する処理が割愛できる。また、被写界深度を超えたデータを被写界深度内にすれば、小区画内のデータが全て被写界深度内にならなくてもよいとする条件をつけることも可能である。こうした条件を満たす境界がない場合はステップｓ４０２に戻り、こうした条件を満たす境界がある場合はステップｓ４０６に進む。ステップｓ４０６では、領域Ａ１の全てのフィッティング残差が被写界深度内に収まるかどうかを判定する。収まる場合は、ステップｓ４０７で境界と平面の位置と傾きと撮像回数を決定し、終了する。収まらない場合は、ステップｓ４０８に進む。ステップｓ４０８では、撮像回数のカウントＮを１つ増加する。ステップｓ４０９では、撮像回数が上限を超えたかどうかを判定する。上限を超えた場合は、ステップｓ４１０でフィッティング残差が被写界深度を超える領域を表示し、終了する。上限を超えない場合は、ステップｓ４０２に戻り、以下同様のフローを繰り返す。
【実施例１】
【００４１】
本実施例では、撮像条件の設定法０に関して詳しく説明する。
【００４２】
まず、図４のステップｓ１では、表面形状計測で物体の高さを取得する。表面形状計測で得た高さを補完してデータ数を増す補完処理を行ってもよい。本実施例では、補完処理は割愛する。表面形状計測で得た高さを図１０に示す。高さは、０．２５ｍｍ刻みで得られている。
【００４３】
次に、図４のステップｓ２に進み、小区画の大きさ、撮像位置、傾きの最適化を行う。本実施例では、被写体の大きさは、物体面上において１０ｍｍ×１０ｍｍとする。この被写体を２ｍｍ×２ｍｍの小区画に分割して撮像する。１つの小区画に相当する領域を１つの撮像素子で撮像する。撮像素子の撮像面の大きさは４０ｍｍ×４０ｍｍで、撮像倍率は２０倍である。２ｍｍ×２ｍｍの小区画には、９×９＝８１個の高さデータがある。境界は８１通り変化させることができる。被写体に対して境界位置を最適化する際に、境界は最大で小区画１つ分ずれる。このため、被写体の大きさと、境界が最大で小区画１つ分ずれることを考え、撮像ユニット３００は１２ｍｍ×１２ｍｍの範囲を撮像できるものとする。全領域を撮像した場合には、３６個の小区画が撮像される。本実施例では、表面形状計測で得た高さと平面フィッティングした近似高さとの差を残差として評価する。被写界深度Ｄは、本実施例において、以下の式で算出される。ｋ２は定数、λは使用波長、ＮＡは撮像ユニットの物体側開口数である。なお、被写体深度は、計算者が任意に設定してもよい。
【００４４】
【数２】
2016142960.tif 000004
【００４５】
本実施例では、ｋ２＝１．０、λ＝０．５４μｍ、ＮＡ＝０．６としているため、被写界深度は物体面上においてＤ＝±１．５μｍとなる。
【００４６】
図５のステップｓ２０１では、小区画の境界を設定し、残差を計算する。本実施形態では、境界を８１通り変化させて、それぞれの境界で全領域を平面フィッティングし、残差が被写界深度（１．５μｍ）を超えるデータ数を取得する。
【００４７】
なお、境界（被写体と境界の相対位置）は、例えば最急降下法などを用いて変化させるなど様々な方法が適用可能である。最急降下法を利用する場合、まず、データ位置（Ｘ，Ｙ）と境界位置（ｍ，ｎ）と平面の傾きと位置（Ｇ，Ｈ，Ｃ）を変数にもつ平面近似した高さＰを求める。そして、高さＰと表面形状計測で得られた高さＺとの残差Ｅを求める。そして、残差Ｅを各変数で微分し、残差が小さくなる方向に最も大きく変化する向きに各変数を微小量変化させる。このようにして、残差が最小となる変数の組を決定する。
【００４８】
本実施例では深度を超える残差の数がゼロとなる境界が算出され、その結果を図１１に示す。図１１（ａ）は、表面形状計測値に初期境界の境界線を重ねて示したものである。図１１（ｂ）は、被写界深度を超える残差の数がゼロとなるような境界の境界線を重ねて示したものである。
【００４９】
図５のステップｓ２０２では、全ての残差が被写界深度内に収まるので、撮像条件の設定を終了する。境界位置とフィッティングした平面の傾き（式（１）のＧ，Ｈ）と光軸方向に対する位置（式（１）のＣ）が決まる。撮像回数は１回である。
【００５０】
次に、図４のステップｓ３の分割撮像を行う。ここでは、図２の撮像ユニットを考える。図４のステップｓ２で決定した境界の位置に合わせて、撮像用ステージ５０１を動かして被写体をｘｙ平面上で移動させる。さらに、各小区画の平面フィッティングの結果である平面の傾きと光軸に対する位置（式（１）のＧ，Ｈ，Ｃ）に対応して、反射部材５０３，５０６の位置と傾きについて、駆動部５１２，５１３を用いて調整する。ｘｚ面内の傾きＧとｙｚ面内の傾きＨはともに±２ｍｒａｄの範囲である。また、ｚ方向の高さの調整量は、物体側で±５μｍの範囲である。像側で相対位置を調整する場合には倍率を考慮する。こうして、被写体と撮像面の相対位置を調整したうえで、第２撮像光学系５０４，５０７を用いて、小区画毎に独立して同時に撮像する。このようにして、境界（図１１（ｂ））に対応する被写体位置と撮像素子との相対位置で、被写体全域を分割撮像する。
【００５１】
次に、図４のステップｓ４のデータ取り込みを行う。ステップｓ４では、ステップｓ３で撮像した部分画像のデータを取り組む。そして、小区画の画像を合成する（つなぎ合わせる）。必要に応じて、図１の表示装置３を用いて画像や解析結果などを表示する。そして、画像データを記憶装置に格納し、終了する。
【実施例２】
【００５２】
本実施例では、撮像条件の設定法２に関して詳しく説明する。図５のステップｓ２０２において、深度を超えるフィッティング残差があった場合に相当する。
【００５３】
本実施例では、実施例１と同じ表面形状計測値とする。また、本実施例では、ｋ２＝１．０、λ＝０．５４μｍ、ＮＡ＝０．７３としているため、被写界深度は物体面上においてＤ＝±１．０μｍとなる。
【００５４】
実施例１と同様に、境界を８１通り変化させたところ、境界Ｂ７９〜Ｂ８１の３つが被写界深度を超える残差が存在する小区画の数が１で最小となった。全ての小区画のフィッティング残差が深度内に入る境界はない。つまり、図６（ａ）で示した１回撮像では全領域を被写界深度内に撮像することはできない。
【００５５】
図７のステップｓ１０１では、１回目の撮像でフィッティング残差が深度を超える領域Ａ１を読み出す。本実施例では、１回目の撮像において、境界Ｂ７９〜Ｂ８１の３つにおいて、被写界深度を超える残差の数が最も少ない。ここでは、被写界深度を超える残差の数のみでなく残差の量も考慮して、フィッティング残差の量が最小の境界Ｂ８０を選び、境界Ｂ８０の領域Ａ１を読み出す。被写界深度を超える５つの残差の位置を図１２に×印で示した。図１２には、被写体１２１、および小区画の境界Ｂ８０が示されている。被写界深度を超える５つの残差は、全て１つの小区画Ｂ８０Ｒ１に存在する。小区画Ｂ８０Ｒ１の残差の値を図１３に示した。数値の単位はμｍである。５つの残差Ｅ１〜Ｅ５が被写界深度を超えている。
【００５６】
図７のステップｓ１０２では、５つの残差Ｅ１〜Ｅ５のうちより多くの残差が被写界深度に収まる境界を決定する。本実施例では、図５のステップｓ２０１，ｓ２０２で既に計算された境界の残差の情報を用いて決めることができる。本実施例では、境界Ｂ７２において５つのフィッティング残差全てが深度内にフィッティングされる。図１４に境界Ｂ７２と境界Ｂ８０との相対位置を示す。境界Ｂ８０では１つの小区画内にあった被写界深度を超えた５つの残差は、境界Ｂ７２では２つの小区画Ｂ７２Ｒ１，Ｂ７２Ｒ２に分布している。図１５（ａ）には、境界Ｂ７２における小区画Ｂ７２Ｒ１の残差の値が示されている。数値の単位はμｍである。境界Ｂ８０において被写界深度を超えた残差Ｅ１〜Ｅ３が全て被写界深度内に収まっているとともに、小区画の全ての残差が深度内に収まっている。図１５（ｂ）には、境界Ｂ７２における小区画Ｂ７２Ｒ２の残差の値が示されている。境界Ｂ８０において被写界深度を超えた残差Ｅ４，Ｅ５の両方が被写界深度内に収まっている。一方、破線部Ｅ２１，Ｅ２２で示した７個の残差が深度を超えている。しかし、これらのデータは、境界Ｂ８０で被写界深度内にフィッティングできたデータである。
【００５７】
図７のステップｓ１０３では、領域Ａ１全域の残差、つまり５つの残差Ｅ１〜Ｅ５が被写界深度内に収まるかどうかを判定する。前述したように、５つの残差Ｅ１〜Ｅ５は、境界Ｂ８０と境界Ｂ７２の２つの境界を用いることで、全てが被写界深度内に収まる。
【００５８】
図７のステップｓ１０４では、境界の位置と傾きと撮像回数を決定する。境界の位置は、境界Ｂ８０と境界Ｂ７２に決まる。平面の位置と傾きは平面フィッティングで得られた結果（式（１）のＧ，Ｈ，Ｃ）を採用する。これは、境界Ｂ８０では、３６個全ての小区画毎に異なる位置と傾きになる。境界Ｂ７２では、境界Ｂ８０で深度を超えたデータのみを撮像すれば十分なので小区画Ｂ７２Ｒ１，Ｂ７２Ｒ２の２つの平面の位置と傾きで足りる。撮像回数は、境界Ｂ８０の撮像と境界Ｂ７２の撮像の２回となる。
【００５９】
以上で撮像条件の設定法２が終了する。
【００６０】
この後の分割撮像以降のフローは、分割撮像の回数が変わるのみで、実施例１と同様である。実施例１と同様に、境界Ｂ８０に対応して、被写体位置と反射部材の位置と傾きを調整して撮像する。そして、境界Ｂ７２に対応して、被写体位置と反射部材の位置と傾きを新たに調整して、２回目の撮像を行う。２回目の撮像では、前述したように小区画Ｂ７２Ｒ１，Ｂ７２Ｒ２の２つの区画のみ撮像すればよい。もちろん全領域撮像しても構わない。小区画Ｂ７２Ｒ２の撮像においては、図１５（ｂ）に示した破線部Ｅ２１，Ｅ２２の７個のデータを撮像しないように撮像面にマスキングを施してもよい。また、破線部Ｅ２１，Ｅ２２の７個のデータを含めて撮像して、図４のステップｓ４におけるデータ取り込みで、破線部Ｅ２１，Ｅ２２の７個のデータを削除してもよい。
【実施例３】
【００６１】
実施例３では、撮像条件の設定法４に関して詳しく説明する。
【００６２】
表面形状計測で得た高さを図１６に示す。高さは、０．２５ｍｍ刻みのデータとして得られている。小区画の大きさを実施例１と同様に２ｍｍ×２ｍｍとする。１つの小区画には９×９＝８１個のデータが含まれる。撮像ユニットが撮像可能な範囲は、１２ｍｍ×１２ｍｍである。本実施例では、実施例２と同様に被写界深度は物体面上において±１．０μｍとする。また、表面形状計測で得た高さと平面フィッティングした近似高さとの差を残差として評価する。
【００６３】
図１７には、被写体１９１、および境界Ｂ３０１が示されている。被写界深度内に収まらない残差を含む小区画（Ｂ３０１Ｒ１，Ｂ３０１Ｒ２，Ｂ３０１Ｒ３）は濃い灰色で示されている。これら３つの小区画の残差の値を図１８に示す。被写界深度内に収まらない残差を楕円で囲って示した。被写界深度内に収まらない残差は、主に小区画の端に集まっている。被写界深度内に収まらないフィッティング残差は１８個ある。
【００６４】
図９のステップｓ４０１で１回目の撮像の被写界深度が超える領域Ａ１を読み出す。領域Ａ１は、図１７の３つの小区画（Ｂ３０１Ｒ１，Ｂ３０１Ｒ２，Ｂ３０１Ｒ３）である。
【００６５】
ステップｓ４０２では、小区画の大きさを設定する。本実施例では、小区画の大きさを１．７５ｍｍ×１．７５ｍｍとした。これは、小区画に含まれるデータが８×８＝６４個になる大きさである。
【００６６】
ステップｓ４０３では領域Ａ１を分割する小区画の境界を設定し、ステップｓ４０４では残差を計算する。
【００６７】
ステップｓ４０５では、被写界深度を超えた残差を被写界深度内にする境界があるかどうかを判定する。この判定の際、本実施例では、小区画内のデータが全て被写界深度内に収まる条件をつけた。この条件について具体的に説明する。例えば、領域Ａ１の被写界深度を超える残差が１８個である場合、このうち１つの残差Ｎ３１を被写界深度内に収める境界Ｂ３１が求まるとする。この境界Ｂ３１において、残差Ｎ３１を含む小区画がＲ３１であるとき、小区画Ｒ３１に含まれる全ての残差は被写界深度内に収まらなければならないというのが条件の内容である。境界Ｂ３１はこのように１つの被写界深度を超える残差（Ｎ３１）を被写界深度内に収まれば条件を満たす。本実施例では、他の１７個の被写界深度を超える残差が被写界深度内に収まらなくてもステップｓ４０６に進む。
【００６８】
ステップｓ４０６では、領域Ａ１の１８個全ての被写界深度を超える残差が被写界深度内に収まっていないと判断される。そのため、小区画に含まれるデータが小さくなるように小区画の大きさを小さくし、１．２５ｍｍ×１．２５ｍｍの大きさで、小区画内の全ての残差が被写界深度内になる。全ての残差が被写界深度内に収まる境界は複数存在するので、ここでは、被写界深度を超えた残差を撮像するのに要する小区画の数が最小となる境界を選択する。この境界を図１９に境界Ｂ３０２として示す。境界Ｂ３０１において、被写界深度内に収まらない残差を含む小区画（領域Ａ３）を図１７と同様に小区画（Ｂ３０１Ｒ１，Ｂ３０１Ｒ２，Ｂ３０１Ｒ３）で濃い灰色で示してある。倍率を上げることで、小区画３６個で撮像できる被写体領域は７．５０ｍｍ×７．５０ｍｍに小さくなるが、境界Ｂ３０２で領域Ａ３を１回で撮像できる。領域Ａ３の境界Ｂ３０２における残差の値を図２０に示した。単位はμｍである。例えば、小区画Ｂ３０２Ｒ１において、楕円で囲った被写界深度を超える残差が深度内の−０．５３になり、かつ小区画Ｂ３０２Ｒ１内の全ての残差が被写界深度内に収まっている。このことから、ステップｓ４０６に進む。
【００６９】
ステップｓ４０６では、領域Ａ３の１８個全ての被写界深度を超える残差が被写界深度内に収まっていると判断されるので、ステップｓ４０７に進む。
【００７０】
ステップｓ４０７では、境界と平面の位置と傾きと撮像回数を決定する。境界は、境界Ｂ３０１，Ｂ３０２を用いる。それぞれの境界において、平面フィッティングを計算した結果から平面の位置と傾き（式（１）のＧ，Ｈ，Ｃ）は決定している。撮像用ステージと反射部材の位置を調整することで、境界Ｂ３０１に対応するように被写体と撮像面の相対位置を設定し、１回撮像する。そして、被写界深度を超える１８個の残差を含む領域Ａ３を、境界Ｂ３０２に対応するように、撮像倍率を２０倍から３２倍にした後、撮像用ステージと反射部材の位置を調節することで被写体と撮像面の相対位置を設定し２回目の撮像を行う。このとき、前述したように１回の撮像で領域Ａ１の全域を撮像できる。つまり、境界Ｂ３０１の１回と境界Ｂ３０２の１回の計２回が撮像回数となる。この後の分割撮像以降のフローは、分割撮像の回数が変わるのみで、実施例１と同様である。
【００７１】
図２の第１の結像光学系５０２の倍率を変えずに、第２の結像光学系５０４，５０７の倍率を変えることで、撮像倍率を３２倍にする場合を考える。このとき第２の結像光学系５０４，５０７の像側のＮＡを変えずに、物体側のＮＡを変えることで変倍すれば、変倍が第２の結像光学系５０４，５０７の撮像面の移動量に影響を及ぼすことはない。第２の結像光学系５０４，５０７の物体面にある反射部材５０３，５０６の光軸方向の移動量と光軸に対する傾きを調整することで境界Ｂ３０２の境界に対応するように被写体と撮像面の相対位置を設定できる。
【００７２】
なお、本実施例では、小区画の大きさを変えても、被写界深度を超える残差は、表面形状計測で得た高さと平面フィッティングした近似高さとの差が１μｍを超えるものとした。しかし、例えば撮像倍率を大きくして小区画の大きさを小さくする場合、この条件を倍率に応じて変えてもよい。許容できる残差の量は、被写界深度によらず計算者が任意に設定できる。
【００７３】
また、本実施例では、境界Ｂ３０２で、領域Ａ１のみでなく被写体の全領域を被写界深度内に撮像できる。境界Ｂ３０１で撮像せずに、境界Ｂ３０２のみを用いた撮像で全領域を撮像する場合は、図１９からわかるように、４回撮像することになる。これは図６（ｈ）で示した撮像条件の設定法３の場合の解である。撮像条件の設定法４の解を得た後に、撮像条件の設定法３を行い、より少ない回数の撮像方法を選んでもよい。
【００７４】
また、本実施例では、小区画の大きさを小区画に含まれるデータ数が少なくなるように徐々に小さくしたが、これ以外の方法も考えられる。例えば、表面形状計測で得た高さデータの空間周波数情報から、ｘ，ｙ方向の周期情報を得て、周期情報に基づいて大きさを決定することが考えられる。また、表面形状計測で得た高さデータの変化量が一定値未満になるように大きさを決定することも考えられる。また、勾配法（最急降下法）を利用することも考えられる。最急降下法を利用する場合には、以下のように計算する。データ位置（Ｘ，Ｙ）と境界位置（ｍ，ｎ）と平面の傾きと位置（Ｇ，Ｈ，Ｃ）と小区画の大きさ（Ｒ）を変数に持つ平面近似した高さＰを求める。そして、Ｐと表面形状計測で得られた高さＺとの残差Ｅを求める。次に残差Ｅを各変数で微分し、残差が小さくなる方向に最も大きく変化する向きに各変数を微小量変化させる。このようにして、残差が最小となる変数の組を決定する。
【００７５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００７６】
２      演算装置（処理手段）
１００  計測ユニット（計測手段）
３００  撮像ユニット（撮像手段）
４０１  制御部（調節手段）
【図１】
2016142960.tif 000005
【図２】
2016142960.tif 000006
【図３】
2016142960.tif 000007
【図４】
2016142960.tif 000008
【図５】
2016142960.tif 000009
【図６】
2016142960.tif 000010
【図７】
2016142960.tif 000011
【図８】
2016142960.tif 000012
【図９】
2016142960.tif 000013
【図１０】
2016142960.tif 000014
【図１１】
2016142960.tif 000015
【図１２】
2016142960.tif 000016
【図１３】
2016142960.tif 000017
【図１４】
2016142960.tif 000018
【図１５】
2016142960.tif 000019
【図１６】
2016142960.tif 000020
【図１７】
2016142960.tif 000021
【図１８】
2016142960.tif 000022
【図１９】
2016142960.tif 000023
【図２０】
2016142960.tif 000024