(57)【要約】【課題】  撮像素子の受光面の表面形状や被検物の表面形状にうねりが生じている場合でも、被検物の良好な画像を取得することができる画像取得装置を提供すること。【解決手段】  被検物２１０を保持する被検物ステージ２００と、被検物２１０を撮像する撮像素子３１を含む撮像部３０と、撮像素子３１の受光面３１０に被検物２１０の像を形成する対物光学系２０と、を備える画像取得装置１０００であって、対物光学系２０の被写界深度情報と受光面３１０の表面形状情報と被検物２１０の表面形状情報とに基づいて、被検物ステージ２００と撮像素子３１との相対的な位置及び相対的な姿勢の少なくとも一方を変更する制御ユニット３００を有する。【選択図】  図１
2014142561.tif 000002
【特許請求の範囲】
【請求項１】
被検物を保持する被検物ステージと、該被検物を撮像する撮像素子を含む撮像部と、該撮像素子の受光面に該被検物の像を形成する対物光学系と、を備える画像取得装置であって、
前記対物光学系の被写界深度情報と前記受光面の表面形状情報と前記被検物の表面形状情報とに基づいて、前記被検物ステージと前記撮像素子との相対的な位置及び相対的な姿勢の少なくとも一方を変更する制御ユニットを有することを特徴とする画像取得装置。
【請求項２】
前記制御ユニットは、前記被写界深度情報と前記受光面の表面形状情報とに基づいて合焦範囲を求め、かつ、該合焦範囲の中に前記被検物の表面が収まるように前記被検物ステージと前記撮像素子との相対的な位置及び相対的な姿勢の少なくとも一方を変更することを特徴とする請求項１に記載の画像取得装置。
【請求項３】
前記撮像素子の位置及び姿勢の少なくとも一方を駆動可能であり、
前記制御ユニットは、前記対物光学系の被写界深度情報と前記受光面の表面形状情報と前記被検物の表面形状情報と前記撮像素子の駆動範囲とに基づいて、前記被検物ステージと前記撮像素子との相対的な位置及び相対的な姿勢の少なくとも一方を変更することを特徴とする請求項１に記載の画像取得装置。
【請求項４】
前記被検物の表面形状情報を取得する被検物形状取得ユニットを有することを特徴とする請求項１乃至３のいずれか１項に記載の画像取得装置。
【請求項５】
前記受光面の表面形状情報を取得する受光面形状取得ユニットを有することを特徴とする請求項１乃至４のいずれか１項に記載の画像取得装置。
【請求項６】
前記受光面形状取得ユニットは、前記撮像素子の複数の姿勢の夫々に対応する前記受光面の表面形状情報を取得することを特徴とする請求項５に記載の画像取得装置。
【請求項７】
前記制御ユニットは、前記被検物ステージと前記撮像素子との相対的な位置及び相対的な姿勢の少なくとも一方を変更する際の前記受光面の表面形状情報を、前記受光面形状取得ユニットにより取得した複数の表面形状情報より決定することを特徴とする請求項６に記載の画像取得装置。
【請求項８】
前記制御ユニットは、前記撮像素子の目標姿勢に応じて前記受光面の表面形状情報を選択することを特徴とする請求項７に記載の画像取得装置。
【請求項９】
前記撮像素子の温度を計測する温度計測部を備え、
前記受光面形状取得ユニットは、前記撮像素子の複数の温度の夫々に対応する前記受光面の表面形状情報を取得することを特徴とする請求項５乃至８のいずれか１項に記載の画像取得装置。
【請求項１０】
前記制御ユニットは、前記温度計測部により計測した温度に応じて前記受光面の表面形状情報を選択することを特徴とする請求項９に記載の画像取得装置。
【請求項１１】
前記受光面形状取得ユニットは、計測光源と、撮像素子を駆動可能に保持する撮像素子ステージと、該計測光源からの光束を該撮像素子の受光面に導光する計測光学系と、該撮像素子ステージの位置と該撮像素子から出力される信号との関係に基づき、該受光面の表面形状情報を演算する計測演算部と、を備えることを特徴とする請求項５乃至１０のいずれか１項に記載の画像取得装置。
【請求項１２】
前記撮像部は、前記撮像素子を複数有することを特徴とする請求項１乃至１１のいずれか１項に記載の画像取得装置。
【請求項１３】
前記画像取得装置は顕微鏡であり、前記対物光学系は拡大系であることを特徴とする請求項１乃至１２のいずれか１項に記載の画像取得装置。
【請求項１４】
対物光学系によって被検物ステージが保持する被検物の像を撮像素子の受光面に形成することにより、該被検物を撮像する画像取得装置における画像取得方法であって、
前記対物光学系の被写界深度情報と前記受光面の表面形状情報と前記被検物の表面形状情報とに基づいて、前記被検物ステージ及び前記撮像素子の少なくとも一方の制御目標値を演算する演算ステップと、
前記演算ステップで求めた制御目標値に基づいて、前記被検物ステージと前記撮像素子との相対的な位置及び相対的な姿勢の少なくとも一方を変更して前記被検物を撮像する撮像ステップと、
を有することを特徴とする画像取得方法。
【請求項１５】
前記受光面の表面形状情報を取得するステップを有することを特徴とする請求項１４に記載の画像取得方法。
【請求項１６】
前記被検物の表面形状情報を取得するステップを有することを特徴とする請求項１４又は１５に記載の画像取得方法。
【請求項１７】
計測光源と、撮像素子を駆動可能に保持する撮像素子ステージと、該計測光源からの光束を該撮像素子の受光面に導光する計測光学系と、該撮像素子ステージの位置と該撮像素子から出力される信号との関係に基づき、該受光面の表面形状情報を演算する計測演算部と、を備えることを特徴とする形状取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像取得装置に関し、例えば、被検物のデジタル画像を取得する顕微鏡に好適である。
【背景技術】
【０００２】
病理学の分野等で、撮像素子を用いて検体（細胞や組織切片等）を含む被検物（プレパラート）を撮像することにより、被検物のデジタル画像を取得することができる画像取得装置が注目されている。画像取得装置に用いる撮像素子は、半導体基板やフォトダイオード等を含む受光面（画素面）がパッケージに固着されて構成されている。しかし、撮像素子の製造過程（例えば、半導体基板を削って薄くする工程等）において、パッケージに対する受光面のうねり（反りや傾き）が発生してしまう。
【０００３】
ここで、特許文献１には、受光面にうねりが生じた複数の撮像素子を実装基板上に搭載し、擬似的な大型撮像素子を製造する方法が開示されている。この時、各撮像素子において受光面のうねりを平均化した仮想平面を算出し、その仮想平面が所定の高さとなるように各撮像素子を配置することによって、各撮像素子のうねりによる影響を低減している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１８８１８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮像素子の受光面だけでなく、被検物の表面にもうねりが生じてしまう場合がある。この場合、画像取得装置において、特許文献１に記載の方法に基づいて撮像素子を配置したとしても、被検物の観察したい領域（観察領域）の一部が対物光学系の被写界深度に収まらず、取得した画像にボケが生じてしまう。
【０００６】
そこで、本発明は、撮像素子の受光面の表面形状や被検物の表面形状にうねりが生じている場合でも、被検物の良好な画像を取得することができる画像取得装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するための、本発明の一側面としての画像取得装置は、被検物を保持する被検物ステージと、該被検物を撮像する撮像素子を含む撮像部と、該撮像素子の受光面に該被検物の像を形成する対物光学系と、を備え、前記対物光学系の被写界深度情報と前記受光面の表面形状情報と前記被検物の表面形状情報とに基づいて、前記被検物ステージと前記撮像素子との相対的な位置及び相対的な姿勢の少なくとも一方を変更する制御ユニットを有することを特徴とする。
【０００８】
本発明の更なる目的またはその他の特徴は、以下、添付の図面を参照して説明される好ましい実施形態によって明らかにされる。
【発明の効果】
【０００９】
本発明によれば、撮像素子の受光面の表面形状や被検物の表面形状にうねりが生じている場合でも、被検物の良好な画像を取得することができる画像取得装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る画像取得装置の要部概略図。
【図２】本発明の実施形態に係る被検物の概略図。
【図３】本発明の実施形態に係る撮像部の概略図。
【図４】撮像素子の受光面を説明するための図。
【図５】本発明の実施形態に係る被検物形状取得ユニットの概略図。
【図６】本発明の実施形態に係る形状取得装置（受光面形状取得ユニット）の概略図。
【図７】受光面の表面形状情報を取得する方法を説明するための図。
【図８】本発明の実施形態に係る画像取得方法を説明するためのフローチャート。
【図９】本発明の実施形態に係る被検物における被検物区分を説明するための図。
【図１０】本発明の実施形態における受光面と合焦範囲との関係を説明するための図。
【図１１】被検物ステージの制御目標値の求め方を説明するための図。
【図１２】本発明の実施形態における被検物区分の撮像順を説明するための図。
【図１３】変形例における受光面と合焦範囲との関係を説明するための図。
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい実施形態を添付の図面に基づいて詳細に説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明を省略する。
【００１２】
図１は、被検物２１０の画像を取得する顕微鏡装置としての画像取得装置１０００の要部概略図である。画像取得装置１０００は、顕微鏡ユニット１００と、被検物ステージ２００と、制御ユニット３００と、画像処理ユニット４００と、被検物形状取得ユニット５００と、を備えている。画像取得装置１０００によれば、対物光学系２０の被写界深度情報と撮像素子３１の受光面３１０及び被検物２１０の表面形状情報とに基づいて、被検物ステージ２００と撮像素子３１との相対的な位置及び相対的な姿勢の少なくとも一方を変更することができる。これにより、撮像素子３１の受光面３１０の表面形状や被検物２１０の表面形状にうねりが生じている場合でも、被検物２１０の良好な画像を取得することができる。
【００１３】
ここで、画像取得装置１０００により画像を取得する対象となる被検物２１０の例を、図２（ａ）の上面図及び図２（ｂ）の側面図に示す。被検物（プレパラート）２１０は、染色された検体２１１が、カバーグラス２１２とスライドグラス２１３との間に挟まれ、封止剤２１４により封止された構成となっている。図２（ｂ）に示したように、被検物２１０の表面（検体２１１及びカバーグラス２１２の表面）にはうねりが生じている。ここで、画像取得装置１０００において、高い解像力を得るために対物光学系の開口数（ＮＡ）を大きくする場合、その焦点深度が浅く（例えば５０μｍ程度に）なってしまうため、被検物２１０のわずかなうねりが取得画像の画質に大きく影響してしまう。
【００１４】
病理診断においては、例えば組織切片や生体サンプルなどが観察対象の検体２１１となるが、例えば、外観検査（異物の付着、キズの検査等）を行う目的で基板などが検体２１１となる場合もある。スライドグラス２１３には、２次元コード、１次元バーコード、ＩＣチップなどのラベル２１５が貼付されていてもよい。このラベル２１５には、例えば被検物２１０を管理するための識別番号などの情報を記録しておくことができる。また、ラベル２１５に、被検物２１０の表面形状、被撮像区分、撮像順などの情報（詳細は後述）を書き込んでおき、それらの情報に基づいて、顕微鏡ユニット１００により画像取得動作を行なうようにしてもよい。
【００１５】
図１に戻り、顕微鏡ユニット１００の構成について詳細に説明する。顕微鏡ユニット１００は、照明光学系１０と、対物光学系２０と、撮像部３０と、ステージ計測部４０と、を有する。この顕微鏡ユニット１００では、被検物ステージ２００により保持された被検物２１０を照明光学系１０によって照明し、対物光学系２０により拡大された被検物２１０の像を形成している。そして、対物光学系２０からの光束を撮像部３０で受光することにより、被検物２１０を撮像している。なお、撮像部３０は撮像素子３１を複数有する構成であるが、図１では簡単のため省略して１つの撮像素子３１のみを示している。
【００１６】
照明光学系１０は、光源（白色光源や、ＲＧＢの各波長の光を切換え可能なものなど）と、光源からの光束を被検物２１０に導く光学系とを含んでいる。また、ステージ計測部４０は、被検物ステージ２００の位置情報を取得している。ステージ計測部４０としては、レーザ変位計、リニアエンコーダ、静電容量式変位計、接触式変位計、などを用いることができる。例えば、レーザ変位計などを用いて被検物ステージ２００の高さ（Ｚ方向の位置）を計測したり、リニアエンコーダなどによりＸＹ方向の位置を計測したりすることができる。また、複数のレーザ変位計により、被検物ステージ２００の上面の少なくとも３点の高さを計測することで、被検物ステージ２００の姿勢情報も取得も可能になる。
【００１７】
また、被検物２１０を保持する被検物ステージ２００は、ＸＹＺ並進やＸＹチルトを行うことが可能な構成となっている。この被検物ステージ２００によれば、図１に示したように、顕微鏡ユニット１００における撮像位置と被検物形状取得ユニット５００における計測位置との間で被検物２１０を移動させることができる。このように、顕微鏡ユニット１００と被検物形状取得ユニット５００とで被検物ステージ２００を共有することにより、被検物形状取得ユニット５００で取得した被検物２１０の表面形状情報（詳細は後述）の、顕微鏡ユニット１００での再現性を大きくしている。さらに、画像取得装置１０００は、顕微鏡ユニット１００の撮像位置において、ステージ計測部４０により取得した位置姿勢情報に基づき、被検物ステージ２００の位置や姿勢を所望の値となるように制御可能な構成である。この構成により、被検物ステージ２００と撮像素子３１との相対的な位置及び相対的な姿勢の少なくとも一方を変更することができる。被検物ステージ２００には、例えばボールねじを用いた並進機構や、３つ以上のピエゾ素子を用いた上下機構などを用いてもよい。なお、被検物ステージ２００には、顕微鏡ユニット１００における照明光学系１０からの光を通過させるための開口が設けられている。
【００１８】
図３（ａ）及び（ｂ）は、顕微鏡ユニット１００が有する撮像部３０の要部概略図であり、図３（ａ）は撮像部３０を＋Ｚ方向に見た図、図３（ｂ）は図３（ａ）のＢ−Ｂ断面矢視図を示している。本実施形態に係る撮像部３０は、撮像素子３１を複数有しており、夫々が回路基板３２により保持され、互いに一定の間隔をあけてＸＹ方向に配列されている。なお、撮像素子３１の数や配置は、対物光学系２０のイメージサークルの大きさ、撮像素子３１の面積、被検物２１０の大きさや形、後述する駆動部３３を設けた時に要する空間などに応じて適宜決定される。この撮像素子３１としては、ＣＭＯＳイメージエリアセンサやＣＣＤイメージエリアセンサなどを用いることができる。また、複数の撮像素子３１に対して、それぞれを所望の温度に冷却するための装置を設けてもよい。
【００１９】
さらに、本実施形態に係る撮像部３０は、各撮像素子３１の位置及び姿勢を変更することが可能な複数の駆動部３３を有する。駆動部３３のそれぞれは、定盤３５に設けられ、保持部材３４及び回路基板３２を介して撮像素子３１に結合されている。例えば、駆動部３３として３つのシリンダを各撮像素子３１に設けた場合は、それぞれのシリンダの伸縮により、撮像素子３１のＺ並進（Ｚ方向の位置の変更）やＸＹチルト（Ｘ軸周り及びＹ軸周りの姿勢変更）を行うことができる。このような駆動部３３を設けることで、各撮像素子３１を駆動して被検物２１０に対するフォーカス調整を行うことができる。ここで、撮像素子３１の駆動範囲は限られているため、被検物２１０の表面形状によっては、撮像素子３１によりフォーカス調整を行うことができない部分が生じる場合がある。このような場合は、被検物ステージ２００の駆動を組み合わせることで、被検物２１０の観察領域の全域でフォーカス調整を行うことができる。
【００２０】
なお、複数の撮像素子３１は、対物光学系２０のイメージサークル内において、各撮像素子３１を駆動部３３で駆動した時に互いに接触しないように配置している。この時、各撮像素子３１を、顕微鏡ユニット１００において撮像部３０と被検物ステージ２００との相対位置を変更して複数の部分画像を取得する際に（詳細は後述）、その相対位置の変更量が小さくなるように配置することが望ましい。また、回路基板３２を、温度や吸湿による変形の小さい絶縁部材であるセラミックにより構成し、温度や湿度の変化による撮像素子の位置変化を小さくすることが好ましい。さらに、駆動部３３、保持部材３４、定盤３５の夫々を、熱膨張係数が既知である材質（ステンレスや鉄など）で構成し、温度変化による撮像素子の位置変化を予測し易くすることが好ましい。
【００２１】
ここで、撮像素子３１について、図４を用いて詳細に説明する。図４（ａ）は１つの撮像素子３１のＹＺ断面図、図４（ｂ）は撮像素子３１の受光面３１０の一部を拡大してＺ方向から見た図、図４（ｃ）は受光面３１０の一部を拡大して示したＹＺ断面図である。撮像素子３１は、複数の画素３１３が配置された半導体基板３１２が、パッケージ３１１に固着された構成である。本実施形態に係る撮像素子３１は、ＸＹ方向の長さが略等しい画素３１３を約５００万個有しており、各画素の表面にマイクロレンズ３１４を備えている。
【００２２】
なお、本実施形態では、画素３１３毎に設けた画素代表点３１５の夫々を含む面を、撮像素子３１の受光面３１０としている。画素代表点３１５の位置は、例えば、ＸＹ断面内においては画素３１３の中心位置に設けられ、ＹＺ断面内においては画素３１３の高さを代表する位置（詳細は後述）に設けられているとする。撮像素子３１の製造過程において、例えば図４（ａ）に示したような半導体基板３１２のうねりが生じるため、そのうねりに伴って、図４（ｃ）に示すように受光面３１０もうねってしまう。受光面３１０のうねりは、大型の撮像素子ほど大きくなりやすく、例えば、各画素代表点３１５の位置座標のＰＶ値（最大値と最小値の差）が３０μｍ程度となるようなうねりが生じる。なお、撮像部３０が有する複数の撮像素子３１においては、夫々異なるうねりが生じているものとする。
【００２３】
次に、本実施形態に係る被検物形状取得ユニット５００を図５に示す。被検物形状取得ユニット５００は、照明部５１０と、表面形状計測部５２０と、偏光ビームスプリッタ５３０と、λ／４板５４０と、を有する。この被検物形状取得ユニット５００によれば、被検物２１０の表面に生じたうねり（高さ分布）の情報を取得することができる。
【００２４】
被検物２１０を照明する照明部５１０は、半導体レーザや白色ＬＥＤ光源等を光源とし、平行光を照射すように構成されている。照明部５１０からの光は、偏光ビームスプリッタ５３０及びλ／４板５４０を介して被検物２１０の表面で反射し、その反射光は表面形状計測部５２０に導かれる。表面形状計測部５２０は、シャックハルトマンセンサを備えており、被検物２１０の表面で反射した光の波面の高さ分布を計測することにより、被検物２１０の表面形状情報を取得する。
【００２５】
なお、表面形状計測部５２０としては、シャックハルトマンセンサに限らず、干渉計等の波面センサや、レーザ変位計や接触式変位計等の位置計測器により被検物２１０の複数点で表面高さを計測する構成などを用いてもよい。また、被検物形状取得ユニット５００は、例えば、被検物２１０のラベル２１５に予め記録しておいた表面形状情報を読み取る２次元コードリーダなどの読取装置でもよい。また、他の手段で予め計測しておいた表面形状情報をＬＡＮなどによる通信によって取得する装置としてもよい。
【００２６】
以上、本実施形態に係る画像取得装置１０００の構成について説明した。次に、撮像素子３１の受光面３１０の表面形状を取得するための形状取得装置（受光面形状取得ユニット）６００について、図６を用いて詳細に説明する。なお、本実施形態においては、形状取得装置６００を画像取得装置１０００とは別の装置としているが、形状取得装置６００を受光面形状取得ユニット６００として画像取得装置１０００内に設けてもよい。
【００２７】
形状取得装置６００は、計測光源６１０と、計測光学系６２０と、撮像素子ステージ６３０と、計測演算部６４０と、を備えている。また、撮像素子ステージ６３０には、計測対象の撮像素子３１が回路基板３２及び保持部材３４を介して取り付けられている。撮像素子ステージ６３０によれば、撮像素子３１をＸＹＺ並進及びＸＹチルトを行うことができる。計測光学系６２０は、計測光源６１０からの光束を撮像素子３１の受光面３１０に導光しており、計測演算部６４０は、撮像素子ステージ６３０の位置と撮像素子３１から出力される信号との関係に基づき、受光面３１０の表面形状情報を演算している（詳細は後述）。
【００２８】
なお、受光面３１０の表面形状を取得する時（詳細は後述）の撮像素子３１の位置や姿勢を、顕微鏡ユニット１００により被検物２１０を撮像する時に再現できるように、撮像素子ステージ６３０の構成を撮像部３０の構成と略同じにすることが好ましい。一方、形状取得装置６００を受光面形状取得ユニット６００として画像取得装置１０００内に設置する場合は、受光面形状取得ユニット６００が撮像素子ステージ６３０を備えない構成としてもよい。この場合は、撮像部３０が顕微鏡ユニット１００と受光面形状取得ユニット６００との間を移動できるように構成することで、撮像部３０が撮像素子ステージ６３０の機能を兼ねるようにすることができる。また、顕微鏡ユニット１００自体が、受光面形状取得ユニット６００の機能を兼ねるように構成してもよい。
【００２９】
本実施形態において、計測光源６１０は単一の点光源（ＬＥＤ、レーザ、キセノンランプ等）であり、計測像６５０は計測光学系６２０により形成された計測光源６１０の像である。この時、計測像６５０の大きさが受光面３１０のうねりの大きさと比較して小さくなるように、計測光源６１０として用いる点光源のサイズや計測光学系６２０の倍率を設定している。例えば、受光面３１０のうねりの大きさが数ｍｍである場合、点光源のサイズを数百μｍ、計測光学系の倍率を０．１倍程度に設定することにより、計測像６５０の大きさは数十μｍ程度に小さくすることができる。なお、計測光源６１０としては単一の点光源に限らず、複数の点光源を用いてもよい。また、ラインアンドスペースチャート設け、計測光源６１０により白色光を照射することにより計測像６５０を形成してもよい。
【００３０】
形状取得装置６００において、撮像素子３１の受光面３１０の表面形状情報を取得する方法について説明する。
【００３１】
初めに、点光源である計測光源６１０からの光束が計測光学系６２０により集光された時に最も光強度が強くなる位置、すなわち計測像６５０の位置を測定する。計測像６５０の位置を測定するための具体的な方法を説明する。まず、撮像素子ステージ６３０に対して計測対象の撮像素子３１を図６に示した位置に設置する前に、その位置に図７（ａ）に示すような受光部７０を設置する。この受光部７０は、計測受光面７１とスリット７２とを有しており、スリット７２の幅及び長さは計測光源６１０からの光束の波長よりも大きく、かつ受光素子の画素よりも小さくなっている。これは、スリット７２が波長よりも小さいと、計測光源６１０からの光束がスリット７２を通過せず、スリット７２が計測受光面７１の画素よりも大きいと、計測像６５０を高精度に測定できないためである。なお、このスリット７２をピンホールにより構成してもよい。
【００３２】
続いて、受光部７０の位置計測点７４と受光部７０のスリット基準点７３とを結ぶベクトルＳｏを求める。このベクトルＳｏとしては、既知である設計値を用いてもよいし、受光部７０の位置計測点７４及びスリット基準点７３の位置を計測することにより求めてもよい。なお、図７（ａ）においては、受光部７０の位置計測点７４を便宜上図の位置に示したが、これに限らず、撮像素子ステージ６３０により計測受光面７１と一体的に駆動される部分であれば、どこに位置計測点７４を設けてもよい。
【００３３】
次に、スリット基準点７３が計測像６５０を通過するように撮像素子ステージ６３０を駆動しながら、計測受光面７１の受光量を測定する。そして、計測基準点Ａを原点とし、計測演算部６４０により、計測受光面７１の受光量が最大となる時の撮像素子３１のベクトルＳｃを記憶する。このようにして取得したベクトルＳｏとベクトルＳｃとの和が、計測像６５０の位置を示すベクトルＯｃ（＝Ｓｏ＋Ｓｃ）として取得される。なお、計測基準点Ａは、形状取得装置６００内に設けられた不図示の計測器の位置により定まる。また、ベクトルＯｃは撮像素子によらず一定であるため、１度計測すればよく、複数の撮像素子に対して上述した計測工程を毎回行う必要はない。
【００３４】
そして、図６に示したように計測対象の撮像素子３１を撮像素子ステージ６３０に取り付け、計測演算部６４０により、受光面３１０における全画素の中から計測対象の画素を選択する。本実施形態では、受光面３１０上でまんべんなく略正方格子上に配置された１００×１００の計１００００個の画素を選択している。続いて、選択した画素ｉ（ｉ＝１，２・・・１００００）の夫々が計測像６５０を通過するように撮像素子ステージ６３０により撮像素子３１をＸＹＺ並進させながら、各画素ｉにより計測光源６１０からの光を受光する。この時、撮像素子３１の姿勢は一定にしておく。そして、計測演算部６４０により、各画素ｉでの受光量の夫々に対応する撮像素子３１の位置を記憶する。
【００３５】
さらに、計測演算部６４０が記憶した情報に基づいて、選択した全ての画素ｉに対して、受光量が最大となる時の撮像素子３１の位置を示すベクトルＳｉを演算する。図７（ｂ）は、ある画素３１３の受光量が最大となる時の撮像素子３１の位置を示している。例えば、点Ｂを撮像素子３１の位置計測点とした時、この画素３１３の受光量が最大となる時の撮像素子３１の位置を示すはベクトルＳ１で表される。なお、ベクトルＳ１の原点は、ベクトルＯｃを計測した時の計測基準点Ａと同様である。そして、計測演算部６４０により、ベクトルＳ１と、予め取得しておいたベクトルＯｃとの差から、この画素３１３の位置を示すベクトルＰ１を算出する。
【００３６】
すなわち、各画素ｉの位置を示すベクトルＰｉと、予め取得しておいた計測像６５０の位置を示すベクトルＯｃと、受光量が最大となる時の撮像素子３１の位置を示すベクトルＳｉと、の夫々の関係は、Ｐｉ＝Ｏｃ−Ｓｉで表される。このようにして、選択した画素の全ての位置を求め、夫々を前述した画素代表点３１５の位置とすることにより、各画素代表点３１５を含む面を受光面３１０として取得することができる。以上の方法で取得した各画素代表点３１５の位置の情報は、受光面３１０の表面形状情報として制御ユニット３００へ送られる。なお、図７（ｂ）においては、撮像素子３１の位置計測点Ｂを便宜上図の位置に示したが、実際には、撮像素子ステージ６３０により駆動される部材（回路基板３２や保持部材３４など）の端部に撮像素子３１の位置計測点Ｂを設けることになる。また、位置計測点Ｂの位置は、計測対象の各撮像素子の取付誤差などを考慮して、撮像素子を撮像素子ステージ６３０に取り付ける毎に計測している。
【００３７】
以上、形状取得装置６００により撮像素子３１の受光面３１０の表面形状を取得する方法について説明したが、受光面３１０の表面形状を取得する方法はこれに限られない。例えば、形状取得装置６００をレーザ変位計や触針式変位計等により構成して、受光面３１０の表面形状を取得するようにしてもよい。あるいは、各画素の受光量が最大となるように撮像素子３１を移動した時の移動量に基づいて各画素の相対的な位置を演算することにより、受光面３１０の表面形状情報を求めてもよい。また、形状取得装置６００を、例えば、他の装置により予め計測しておいた受光面３１０の表面形状の情報を、ＬＡＮ等による通信や、ユーザーによる入力、ＣＤ等の記憶媒体を介して取得する構成としてもよい。この場合は、制御ユニット３００が形状取得装置（受光面形状取得ユニット）６００を兼ねるように構成してもよい。
【００３８】
次に、画像取得装置１０００により、被検物２１０の観察領域の画像を取得するための具体的な手順を、図８のフローチャートを用いて詳細に説明する。本実施形態に係る画像取得装置１０００は、図８のフローチャートに従ったプログラムをメモリに記憶させて、ＣＰＵ（制御ユニット３００）によりそのプログラムを実行するように構成している。なお、制御ユニット３００としては、例えば、ＰＣやマイコンボード、産業用コントローラなどを用いることができる。
【００３９】
まず、ステップＳ８０１では、前述した被検物形状取得ユニット５００によって、被検物２１０の表面形状情報を取得する。
【００４０】
ステップＳ８０２では、制御ユニット３００により、被検物２１０を複数の被検物区分２２０に区分する。被検物２１０を複数の被検物区分２２０に区分した様子を、図９（ａ）の上面図及び図９（ｂ）の側面図に示す。被検物区分２２０の夫々は、撮像部３０における１つの撮像素子３１で撮像できる範囲（被撮像範囲）と対応している。本実施形態では、顕微鏡ユニット１００の撮像位置において、被検物ステージ２００と撮像部３０との相対位置を変更することにより、全ての被検物区分２２０を撮像することができる。なお、図９においては、隣接する被検物区分２２０同士の間隔や重なり領域（詳細は後述）を省略している。
【００４１】
ここで、例えば、図３に示した３×３個の撮像素子３１のそれぞれが２０ｍｍ四方の受光面３１０を有しているとし、各受光面３１０が格子状に３８ｍｍ周期で配置されている場合を考える。この時、対物光学系２０の光学倍率が１０倍であるとすると、撮像素子３１のそれぞれが撮像できる被撮像範囲は２ｍｍ四方となり、物体側には３×３個の被撮像範囲が３．８ｍｍ周期で並ぶことになる。制御ユニット３００は、この３×３個の被撮像範囲を記憶する。そして、被撮像範囲を記憶した後、被検物ステージ２００のＸ方向の位置を１．９ｍｍ（被撮像範囲の配列周期である３．８ｍｍの半分）だけ移動する場合を考える。すると、被検物ステージ２００の移動後の各被撮像範囲は、制御ユニット３００で記憶しておいた各被撮像範囲とＸ方向に０．１ｍｍの重なり領域をもって、３．８ｍｍ周期で並ぶことになる。このように、各受光面３１０同士の間隔を埋めるように被検物ステージ２００を移動する場合を想定し、各位置で記憶した被撮像範囲を被検物区分２２０とすることで、被検物２１０の観察領域の全域を区分することができる。
【００４２】
また、ステップＳ８０２では、各被検物区分２２０に対応する撮像素子３１と、被検物ステージ２００のＸＹ方向の位置とを制御ユニット３００によって記憶しておく。なお、図９では被検物２１０の全面を被検物区分２２０に区分しているが、予め被検物形状取得ユニット５００において検体２１１が存在する範囲（観察領域）を検出しておき、この範囲のみを区分するようにしてもよい。また、被検物２１０の全面を区分した後に、観察領域を含む部分のみを被検物区分２２０としてもよい。なお、検体２１１（観察領域）が、１つの撮像素子３１が撮像可能な被撮像範囲よりも小さい場合は、その観察領域を含む１つの被撮像範囲のみを被検物区分２２０とすることになる。
【００４３】
ステップＳ８０３では、制御ユニット３００において、ステップＳ８０１で取得した被検物２１０の観察領域の全域の表面形状情報より、ステップＳ８０２で区分した被検物区分２２０毎の表面形状情報を求める。
【００４４】
ステップＳ８０４では、制御ユニット３００により、対物光学系２０の被写界深度情報と、形状取得装置６００により取得した受光面３１０の表面形状情報と、に基づき、物体側における合焦範囲３２０を求める。図１０（ａ）は、実線で示した受光面３１０（撮像素子３１）を、Ｚ方向及びＸ軸周りに最大限駆動した時の様子を破線で示したものである。受光面３１０が図１０（ａ）に示すような範囲で駆動可能である時、被写界深度はその駆動範囲に応じて幅を持つことになる。よって、物体側の合焦範囲３２０（焦点が合う範囲）は、図１０（ｂ）に示すように、受光面３１０の駆動範囲に対応した範囲となる。なお、受光面３１０の駆動範囲は、Ｚ方向の駆動範囲（Ｚ並進範囲）と、ＸＹ軸周りの駆動範囲（チルト範囲）を含んでいるが、簡単のため図１０ではＹ軸周りの駆動範囲を省略して示している。また、合焦範囲３２０は、受光面３１０の表面形状情報に基づいて取得されるため、合焦範囲３２０も受光面３１０の表面形状に応じた範囲となる。すなわち、受光面３１０のうねりに応じて、図１０（ｂ）の破線で示した合焦範囲３２０にもうねりが生じることになるが、ここでは簡単のため直線で示している。
【００４５】
ここで、対物光学系２０の被写界深度情報は、制御ユニット３００に予め保存しておくことにより、合焦範囲３２０を求める際に適宜参照できるものとする。なお、対物光学系２０に絞りを設けて開口数（ＮＡ）を調整することができる構成とした場合は、その開口数の変化に応じて被写界深度も変化することになる。その場合は、各開口数に対する被写界深度情報のデータベースを制御ユニット３００に予め保存しておいたり、制御ユニット３００が開口数の変化に応じて被写界深度を演算したりする構成にすればよい。また、被写界深度情報は、画像取得装置１０００に備えた他の記録手段や、画像取得装置１０００の外部の装置に保存しておき、制御ユニット３００により適宜参照できるようにしてもよい。なお、上述した被写界深度を、対物光学系２０の光学倍率及び焦点深度の比に置き換えて考えてもよい。
【００４６】
図１１（ａ）及び（ｂ）は、被検物ステージ２００と撮像部３０との相対位置を変更して得られる各合焦範囲３２０と、被検物ステージ２００及び被検物２１０の表面（被検物表面）２３０との関係を示した図である。例えば、対物光学系２０の光学倍率が１０倍である場合、撮像素子３１における受光面３１０のＺ並進範囲の１／１００、チルト範囲の１／１０に対応する物体側の領域が合焦範囲３２０となる。また、本実施形態では、図３に示したように受光面３１０同士が一定の間隔を空けて配置されているが、被検物ステージ２００が可動であることを考慮して、ＸＹ平面内において隙間がないように合焦範囲３２０を求めることができる。被検物表面２３０のうち、この合焦範囲３２０の中に入った領域を撮像した場合に、フォーカスの合った画像を取得できる。
【００４７】
ステップＳ８０５では、制御ユニット３００において、図１１（ａ）に示すような被検物表面２３０の最小二乗面２４０（被検物表面２３０からの距離の二乗の和が最小になる面）と、この最小二乗面２４０の法線ベクトル２５０とを求める。また、ステップＳ８０６では、制御ユニット３００において、最小二乗面２４０の法線ベクトル２５０をＺ方向に対して平行にする回転座標変換を行うための、被検物ステージ２００の姿勢制御目標値を演算し、記憶する。さらに、制御ユニット３００において、前述した回転座標変換後の被検物表面２３０の全域が合焦範囲３２０に入るようにする並進座標変換を行うための、被検物ステージ２００の位置制御目標値を演算し、記憶する。
【００４８】
続いて、ステップＳ８０７では、制御ユニット３００において、前述の回転座標変換及び並進座標変換後の被検物表面２３０において、フォーカスを合わせるための撮像素子３１の位置や姿勢の制御目標値を演算し、被検物区分２２０毎に記憶する。例えば、被検物表面２３０にフォーカス合わせるための各撮像素子３１の目標姿勢は、前述の回転座標変換及び並進座標変換後の、被検物区分２２０毎の被検物表面２３０の最小二乗面の姿勢に基づいて算出することができる。また、被検物表面２３０にフォーカスを合わせるための各撮像素子３１のＺ方向の目標位置は、例えば、ステップＳ８０３で求めた各被検物区分２２０毎の表面形状情報より算出することができる。すなわち、前述の回転座標変換及び並進座標変換後の、被検物区分２２０毎のＸＹ中心における被検物表面２３０の高さに基づいて算出される。
【００４９】
ステップＳ８０８では、制御ユニット３００において、各被検物区分２２０を顕微鏡ユニット１００により撮像する際の撮像順を演算する。本実施形態では、図３に示したような３×３個の撮像素子３１を、間隔を持って配置した撮像部３０を用いているため、図１２に示すように、同じ数字が付された被検物区分２２０毎に同時に撮像するようにする。
【００５０】
そして、ステップＳ８０９では、上述した各ステップにおいて制御ユニット３００により取得した、被検物ステージ２００及び各撮像素子３１の制御目標値や撮像順に基づき、顕微鏡ユニット１００において被検物２１０の撮像を行う。まず、制御ユニット３００によって、ステップＳ８０６及びＳ８０７で記憶しておいた制御目標値に基づいて、被検物ステージ２００及び各撮像素子３１の位置や姿勢を制御し、顕微鏡ユニット１００に撮像指令を与える。本実施形態に係る撮像部３０には、複数の撮像素子３１が一定の間隔で離散的に配置されているので、１回の撮像では各被検物区分２２０の画像（部分画像）が離散的に取得されることになる。そこで、ステップＳ８０８で演算した撮像順に基づいて被検物ステージ２００を移動し、被検物２１０と撮像素子３１との相対位置を変更しながら複数回撮像し、複数の撮像素子３１同士の隙間を埋めるように部分画像を取得する。これにより、被検物２１０の観察領域の全域を撮像することができる。
【００５１】
最後に、ステップＳ８１０では、画像処理ユニット４００により、各撮像素子３１で撮像した複数の部分画像を夫々の位置関係に基づいて繋ぎ合わせ、被検物２１０の観察領域の全域に対する、一枚の全体画像を生成する。この時、隣接する部分画像間の位置ズレによる画像劣化を軽減するために、ステージ計測部４０によって計測した被検物ステージ２００の位置姿勢情報に基づき、被撮像区分毎の部分画像の位置変化量を演算する。そして、この位置変化量に基づいて画像処理を行うことで、全体画像における部分画像の位置ズレを補正することができる。なお、画像処理ユニット４００としては、例えばＰＣやマイコンボード、ＦＰＧＡボード等に上述した画像処理プログラムを記憶させて構成したものや、画像処理回路基板を用いたものなどが挙げられる。
【００５２】
以上、本実施形態に係る画像取得装置１０００によれば、撮像素子３１の受光面３１０の表面形状に基づいて合焦範囲３２０を求め、その合焦範囲３２０に応じた撮像を行うことができる。したがって、撮像素子３１の受光面３１０にうねりが生じている場合でも、被検物２１０の良好な画像を取得することができる。
【００５３】
［変形例］
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことは言うまでもなく、その要旨の範囲内で種々の変形および変更が可能である。
【００５４】
例えば、上述した形状取得装置６００での計測を、撮像素子３１（受光面３１０）の姿勢を変更して行うことで、受光面３１０の複数の姿勢に対応する複数の表面形状情報を取得してもよい。この場合、形状取得装置６００により取得した、受光面３１０の複数の表面形状情報より、制御ユニット３００が制御目標値を演算する際に用いる受光面３１０の表面形状情報を決定するように構成することができる。例えば上述したステップＳ８０７において、制御ユニット３００が撮像素子３１の姿勢の制御目標値（目標姿勢）を演算した後に、その目標姿勢に応じて受光面３１０の表面形状情報を再選択してもよい。そして、ステップＳ８０４に戻り再選択した表面形状情報に基づいて合焦範囲３２０を求めることにより、受光面３１０の姿勢に応じた自重変形などを考慮して、より高精度なフォーカス制御を行うことが可能になる。
【００５５】
なお、受光面３１０の計測は代表的な姿勢においてのみに行なってもよく、例えば、受光面３１０が水平になる時の姿勢以外に、受光面３１０を最大限駆動した時の姿勢において計測することが望ましい。また、撮像素子３１の目標姿勢に応じて、代表的な姿勢において取得した受光面３１０の表面形状情報より、制御ユニット３００が制御目標値を演算する際に用いる受光面３１０の表面形状情報を演算するようにしてもよい。
【００５６】
また、形状取得装置６００において、撮像素子３１の温度を調節する温度調節部（不図示）を設け、複数の温度に対応した受光面３１０の表面形状情報を取得してもよい。この場合にも、取得した受光面３１０の複数の表面形状情報より、制御ユニット３００が制御目標値を演算する際に用いる受光面３１０の表面形状情報を決定するように構成することができる。そして、顕微鏡ユニット１００にも温度計測部を設けることにより、上述したステップＳ８０７において、計測した温度に応じて受光面３１０の表面形状情報を再選択してもよい。これにより、受光面３１０の熱変形などを考慮した合焦範囲３２０を取得することができるため、より高精度なフォーカス制御を行うことが可能になる。
【００５７】
上述した実施形態に係る撮像部３０は複数の撮像素子３１を有しているが、本発明はこれに限らず、１つの撮像素子３１で撮像部３０を構成してもよい。また、本実施形態に係る撮像部３０では、各撮像素子３１の位置及び姿勢が変更可能に構成されているが、Ｚ並進のみ可能な構成としてもよい。図１３（ａ）は、Ｚ並進のみ可能な撮像素子３１の駆動範囲と、対応する合焦範囲３２０を示した図である（簡単のため、受光面３１０のうねりによる合焦範囲３２０のうねりは省略している）。また、撮像部３０全体をＸＹＺ方向に駆動可能に構成し、被検物ステージ２００または撮像部３０の少なくとも一方をＸＹ方向に移動することで、被検物２１０及び撮像素子３１を相対的に移動できるようにしてもよい。
【００５８】
なお、撮像部３０において、駆動部３３を設けずに、各撮像素子３１を駆動しない構成としてもよい。各撮像素子３１を駆動しない構成の場合、前述したステップＳ８０４においては、制御ユニット３００は対物光学系２０の被写界深度と各受光面３１０の表面形状とに基づいて合焦範囲を求めることになる。図１３（ｂ）は、撮像素子３１を駆動しない場合の合焦範囲３２０を示した図である（簡単のため、受光面３１０のうねりによる合焦範囲３２０のうねりは省略している）。このような場合、すなわち、撮像素子３１を駆動せずに被検物ステージ２００の駆動のみを行う場合であっても、上述した各ステップで説明したような本実施形態に係る画像取得方法を適用することができる。
【００５９】
また、上述した実施形態においては、図１１（ｂ）に示したように、被検物表面２３０の全域が合焦範囲３２０に入る場合について説明したが、被検物表面２３０のうねりが大きく被検物表面２３０の全域が合焦範囲３２０に入りきらない場合も考えられる。このような場合は、まず、制御ユニット３００により、被検物ステージ２００の姿勢毎に撮像可能な被検物区分２２０を被撮像区分として記憶していき、全ての被検物区分２２０を被撮像区分として記憶する。そして、制御ユニット３００により、その各被撮像区分に対して被検物ステージ２００及び撮像素子３１の制御目標値を演算し、被撮像区分毎に撮像を行うように撮像順を演算すればよい。すなわち、被検物ステージ２００の１つの姿勢のみでは被検物表面２３０の全域が合焦範囲３２０に入りきらない場合においても、被検物ステージ２００の姿勢を複数回変更することにより、被検物表面２３０の全域を撮像することができる。なお、この時、被検物ステージ２００の姿勢の変更量が最小になるような、姿勢の変更順を算出することが望ましい。
【００６０】
また、上述した実施形態に係る制御ユニット３００は、画像取得装置１０００において他のユニットとは独立して設けられているが、顕微鏡ユニット１００や被検物形状取得ユニット５００、画像処理ユニット４００などと一体になるように構成してもよい。なお、本実施形態に係る画像取得装置１０００は、各ユニットを１つずつ備えているが、本発明はこれに限らず、夫々を複数備える構成としてもよい。
【００６１】
上述した実施形態おいては、被検物の観察領域の全域を撮像する際にステップ撮像を行なっているが、本発明は被検物をスキャンする構成に対しても適用可能である。また、本発明に係る画像取得装置は、対物光学系が被検物の拡大像を形成する拡大系であり、被検物を拡大して観察する顕微鏡装置に限ることはなく、例えば、基板などの外観検査（異物の付着、キズの検査等）を行う検査装置としても有用である。
【符号の説明】
【００６２】
１０００  画像取得装置
２００  被検物ステージ
２１０  被検物
３００  制御ユニット
３１０  受光面
２０  対物光学系
３０  撮像部
３１  撮像素子
【図１】
2014142561.tif 000003
【図２】
2014142561.tif 000004
【図３】
2014142561.tif 000005
【図４】
2014142561.tif 000006
【図５】
2014142561.tif 000007
【図６】
2014142561.tif 000008
【図７】
2014142561.tif 000009
【図８】
2014142561.tif 000010
【図９】
2014142561.tif 000011
【図１０】
2014142561.tif 000012
【図１１】
2014142561.tif 000013
【図１２】
2014142561.tif 000014
【図１３】
2014142561.tif 000015