(57)【要約】【課題】試料を多数の部分領域に分割して顕微鏡撮像を行う場合においても、簡単な構成で迅速に全体最適な露出条件を決定できる撮像装置付顕微鏡、及びその露出時間を算出する方法を提供することを目的とする。【解決手段】被写体となる試料の一部分を所定の同一露出条件で順次撮像して得る複数の部分画像を繋げて所望の全体画像を取得する撮像装置付顕微鏡であって、所定の同一露出条件を、被写体となる試料が載置される試料台の駆動により、被写体となる試料を所定の期間走査しつつ露出することで得られる流れ像と、所定の期間との関係に基づいて演算する露出条件演算部を備える撮像装置付顕微鏡とする。【選択図】    図１
2009008793.tif 000002
【特許請求の範囲】
【請求項１】
被写体となる試料の一部分を所定の同一露出条件で順次撮像して得る複数の部分画像を繋げて所望の全体画像を取得する撮像装置付顕微鏡であって、
前記所定の同一露出条件を、前記被写体となる試料が載置される試料台の駆動により、前記被写体となる試料を所定の期間走査しつつ露出することで得られる流れ像と、前記所定の期間との関係に基づいて演算する露出条件演算部を備える
ことを特徴とする撮像装置付顕微鏡。
【請求項２】
請求項１に記載の撮像装置付顕微鏡において、
前記露出条件演算部は、
前記所定の期間において走査される前記試料の走査面積と、前記部分画像の面積と、前記所定の期間との関係から所定の同一露出時間を演算する
ことを特徴とする撮像装置付顕微鏡。
【請求項３】
請求項２に記載の撮像装置付顕微鏡において、
前記所定の期間が前記流れ像の露出時間として適正であるかどうかを判別する露出時間判別部を備え、
前記露出条件演算部は、前記所定の期間を、前記走査面積を前記部分画像の面積で除算した値で除算して露出時間を演算し、
前記露出時間判別部が、前記所定の期間を適正であると判別すると、前記露出条件演算部が演算する前記露出時間を前記所定の同一露出時間として前記被写体となる試料を順次撮像する
ことを特徴とする撮像装置付顕微鏡。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載の撮像装置付顕微鏡において、
前記部分画像を撮像する光学条件と、前記流れ像を撮像する光学条件とは同一である
ことを特徴とする撮像装置付顕微鏡。
【請求項５】
被写体となる試料の一部分を所定の同一露出時間で順次撮像して得る複数の部分画像を繋げて所望の全体画像を取得する撮像装置付顕微鏡の露出時間を算出する方法であって、
前記被写体となる試料が載置される試料台の駆動により、前記被写体となる試料を所定の期間走査しつつ露出することで得られる流れ像と、前記所定の期間との関係に基づいて前記所定の同一露出時間を演算する工程を有する
ことを特徴とする撮像装置付顕微鏡の露出時間を算出する方法。
【請求項６】
請求項５に記載の撮像装置付顕微鏡の露出時間を算出する方法であって、
前記所定の期間において走査される前記試料の走査面積と、前記部分画像の面積と、前記所定の期間との関係から前記所定の同一露出時間を演算する工程を有する
ことを特徴とする撮像装置付顕微鏡の露出時間を算出する方法。
【請求項７】
請求項６に記載の撮像装置付顕微鏡の露出時間を算出する方法であって、
前記所定の期間が前記流れ像の露出時間として適正であるかどうかを判別する工程と、
前記所定の期間を、前記走査面積を前記部分画像の面積で除算した値で除算して露出時間を演算する工程と、
前記所定の期間が適正であると判別されると、前記露出時間を、前記被写体となる試料を順次撮像する前記所定の同一露出時間とする工程とを有する
ことを特徴とする撮像装置付顕微鏡の露出時間を算出する方法。
【請求項８】
請求項５乃至請求項７のいずれか一項に記載の撮像装置付顕微鏡の露出時間を算出する方法において、
前記部分画像を撮像する光学条件と、前記流れ像を撮像する光学条件とは同一である
ことを特徴とする撮像装置付顕微鏡の露出時間を算出する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡で拡大した被写体の一部を順次撮像して全体画像を取得する撮像装置付顕微鏡に関し、その撮像像装置付顕微鏡が順次撮像する際の露出時間を算出する方法に関する。
【背景技術】
【０００２】
被写体となる試料の一部を拡大して撮像する顕微鏡写真では、一回の撮像で得られる写真に対応する試料領域は、拡大倍率に依存する一定の狭い領域に限定される。このような顕微鏡写真を試料全体等に渉って取得したい場合には、対象となる試料全体等を複数回にわけて部分撮像し、複数回の撮像により取得した複数枚の顕微鏡写真を繋げて合成し、試料全体の顕微鏡写真とする。
【０００３】
このような撮像において、全体として整合のとれた試料全体の顕微鏡写真とするためには、複数回の部分撮像について各々撮像条件（特に露出条件）をパ−シャルに最適化して変更するのではなく、試料全体として同一の撮像条件下となるように全体最適化された撮像条件のもとで、各々の部分撮像を行う必要がある。
【０００４】
このため、従来は実際の部分撮像を行う前に、対象となる試料全体について、予備の部分撮像を一回の撮像で対象となる狭い各部分ごとにステップバイステップで個別に複数回行い、各々の部分最適な撮像条件を一度算出した上で、その結果をもとに全体最適となる撮像条件を決定し、対象となる試料全体についての各部分撮像を、その決定した撮像条件で固定して複数回実施していた。さらには、このような露出を算出するために試料の露光条件等を検出できる検出機構が別途必要となっていた。
【０００５】
顕微鏡写真の露光条件を決定する方法の一例が、特開平８−１１０５４２に開示されている。
【特許文献１】特開平８−１１０５４２
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上述のような撮像条件の決定プロセスを行うには、撮像素子とは別途、露出検出装置等の露出条件を算出するための機構が必要となるだけでなく、露出条件の決定に時間や労力を要することとなっていた。
【０００７】
特に、昨今の各種マイクロデバイス等の微細化に伴い、顕微鏡写真の拡大倍率も増大する傾向にあり、一回の撮像で取得できる写真に対応する試料の領域は狭小化する傾向にある。従って、求めたい全体写真に対応する試料領域全体をカバ−するのに必要とされる撮像回数も増大する傾向にあり、個々の撮像にかかる露出条件についての部分最適を求める時間と労力も増大することとなる。
【０００８】
本発明は、試料を多数の部分領域に分割して顕微鏡撮像を行う場合においても、簡単な構成で迅速に全体最適な露出条件を決定できる撮像装置付顕微鏡、及びその露出時間を算出する方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
この発明にかかる撮像装置付顕微鏡は、被写体となる試料の一部分を所定の同一露出条件で順次撮像して得る複数の部分画像を繋げて所望の全体画像を取得する撮像装置付顕微鏡であって、所定の同一露出条件を、被写体となる試料が載置される試料台の駆動により、被写体となる試料を所定の期間走査しつつ露出することで得られる流れ像と、所定の期間との関係に基づいて演算する露出条件演算部を備えることを特徴とする。
【００１０】
また、この発明にかかる撮像装置付顕微鏡は、好ましくは露出条件演算部が、所定の期間において走査される試料の走査面積と、部分画像の面積と、所定の期間との関係から所定の同一露出時間を演算することを特徴とする。
【００１１】
また、この発明にかかる撮像装置付顕微鏡は、さらに好ましくは所定の期間が流れ像の露出時間として適正であるかどうかを判別する露出時間判別部を備え、露出条件演算部は、所定の期間を、走査面積を部分画像の面積で除算した値で除算して露出時間を演算し、露出時間判別部が、所定の期間を適正であると判別すると、露出条件演算部が演算する露出時間を所定の同一露出時間として被写体となる試料を順次撮像することを特徴とする。
【００１２】
また、この発明にかかる撮像装置付顕微鏡は、さらに好ましくは部分画像を撮像する光学条件と、流れ像を撮像する光学条件とが同一であることを特徴とする。
【００１３】
また、この発明にかかる撮像装置付顕微鏡の露出時間を算出する方法は、被写体となる試料の一部分を所定の同一露出時間で順次撮像して得る複数の部分画像を繋げて所望の全体画像を取得する撮像装置付顕微鏡において、被写体となる試料が載置される試料台の駆動により、被写体となる試料を、所定の期間走査しつつ露出することで得られる流れ像と、所定の期間との関係に基づいて所定の同一露出時間を演算する工程を有することを特徴とする。
【００１４】
また、この発明にかかる撮像装置付顕微鏡の露出時間を算出する方法は、好ましくは所定の期間において走査される試料の走査面積と、部分画像の面積と、所定の期間との関係から所定の同一露出時間を演算する工程を有することを特徴とする。
【００１５】
また、この発明にかかる撮像装置付顕微鏡の露出時間を算出する方法は、さらに好ましくは、所定の期間が流れ像の露出時間として適正であるかどうかを判別する工程と、所定の期間を、走査面積を部分画像の面積で除算した値で除算して露出時間を演算する工程と、所定の期間が適正であると判別されると、露出時間を、被写体となる試料を順次撮像する所定の同一露出時間とする工程とを有することを特徴とする。
【００１６】
また、この発明にかかる撮像装置付顕微鏡の露出時間を算出する方法は、さらに好ましくは、部分画像を撮像する光学条件と、流れ像を撮像する光学条件とが同一であることを特徴とする。
【発明の効果】
【００１７】
本発明により、簡易な構成で迅速にかつ適正に露出条件が決定され、またその露出条件に対応して部分画像を取得できる撮像装置付顕微鏡となる。従って部分画像を繋げた全体画像の取得時間も短縮され、全体としてスル−プットを向上した撮像装置付顕微鏡とできる。また、迅速な露出条件の算出方法とできる。
【００１８】
また、露出条件の決定に要する時間を短くできることから、スル−プットを低下させず高く維持したまま、部分画像の撮像に時間を割くことも可能となり、高精度、高信頼性の画像取得とできる。
【発明を実施するための最良の形態】
【００１９】
実施形態においては、露出条件を検出するためのフォトダイオ−ド等の検出装置を用いず、撮像に使用する撮像素子を用いて露光量等を推定する撮像装置付顕微鏡とする。
【００２０】
また、部分画像に対応する試料の領域ごとに、ステップバイステップで個々別々に露出条件を算出せず、複数の部分画像に相当する部分画像より広い試料の領域に対して、走査を行うことで露出条件を推定する。
【００２１】
これにより、部分画像の取得にかかる露光条件等を、被写体となる試料全体に対して速やかに推定し、適切な露出条件とすることが可能な撮像装置付顕微鏡となる。
【００２２】
そこで、以下に各実施形態ごとに図面を用いて詳細に説明する。
（第一の実施形態）
図１は、第一の実施形態にかかる撮像装置付顕微鏡１の構成概念図を示すものである。図１において、顕微鏡写真の被写体となる試料６は、ステ−ジ（試料台）７の上に載置される。ステ−ジ７は、ステ−ジ駆動装置８によりＸ方向、Ｙ方向に駆動できるように構成される。
【００２３】
レンズ１０は、図示しないレンズ駆動等により試料６の表面と撮像素子１１に対して共に合焦する共役点となるよう自動焦点動作（Auto Focus）される。これにより、ステ−ジ７の駆動により撮像対象となる試料６が移動して、その表面に多少の凹凸があったとしても常に、焦点が合う撮像が行えることとなる。撮像素子１１は、撮像装置付顕微鏡１の図示しない撮像装置部分に備えられる。
【００２４】
レンズ１０は、対物レンズ５と写真対物レンズ３と鏡胴レンズ４等の複数のレンズから構成される結像光学系レンズ群である。
【００２５】
これにより、試料６の撮像対象となる部分は、所定の倍率で拡大され撮像素子１１の撮像面上に結像する。このため、撮像素子１１の撮像面には、試料６の一部分しか結像されないので、ステ−ジ７をステップバイステップで順次駆動しながら撮像して得た個々の部分画像を繋げて所望の試料６の全体画像とする。
【００２６】
この際、顕微鏡の拡大倍率を下げる等することにより、試料６の全体領域が全て撮像素子１１の撮像面に結像されるよう（一回の撮像の視野にはいるよう）調整して、露光条件を算出することも考えられる。しかし、この方法では、拡大倍率等の光学条件等が実際の個々の試料６の部分を撮像するものとは異なるものである。そこで、撮像装置付顕微鏡１では、より正確に試料６全体に対する露出条件を決定するために、実際の撮像時の光学条件（典型的には、同一拡大倍率）のもとで、露出条件を算出する。
【００２７】
また、試料６と撮像素子１１との間に、ハ−フミラ−等による分岐光を生成して露出条件を検出する等の検出装置を設けず、撮像装置１１を用いて露出条件を算出する。このため、構成の簡単な撮像装置付顕微鏡とすることができる。
【００２８】
すなわち、拡大倍率等の光学条件を実際の撮像条件とし、さらに実際の撮像に用いる撮像素子１１を用いて露出条件を算出し推定するので、装置全体として小型軽量で安価な装置とでき、正確な露出条件とすることが可能となる。
【００２９】
次に、撮像素子１１が備えられる撮像装置部分の構成について図２を用いて詳細に説明する。図２は、撮像装置付顕微鏡１の撮像装置２についての構成概念図である。
【００３０】
撮像装置２のレンズ１０は、試料６と撮像素子１１との間に載置され、焦点距離を連続的に変更可能な不図示のズ−ムレンズ、ピントを調整するフォ−カシングレンズ、撮像時の振動を補正するＶＲ（Vibration Reduction）レンズ、対物レンズ５等の複数のレンズ群から構成される。そして、試料６の試料面からの光を集光して結象する機能を有する。試料面は、必ずしも試料最表面である必要はなく反射光や透過光等による光情報が検出できる試料内部の特定深度の部位や面であってもよい。
【００３１】
レンズ１０は、ＣＰＵ１７からの指示により不図示のレンズ駆動装置を駆動することにより制御され調整される。また、レンズ１０の位置は、不図示のレンズ位置検出器によりその位置が検出され、ＣＰＵ１７によりフィ−ドバック制御される。
【００３２】
レンズ１０は、撮像素子１１の撮像面に試料６の被写体を結像させる。撮像素子１１は、撮像面上に結像された被写体像の光強度に応じて光電変換した電気信号を出力する。撮像素子１１は、ＣＣＤ等の電荷蓄積型の固体撮像素子を用いる。固体撮像素子には、ＣＭＯＳを用いてもよい。ＣＭＯＳを用いる場合には、その電荷読み出し回路等においてバルブ等による一定時間分の電荷を蓄積できる回路構成としてもよい。
【００３３】
また、撮像素子１１は、ＣＰＵ１７が有する不図示のタイミングジェネレ−タ等のクロック生成器からのトリガ−入力により、光電変換した電気信号を順次出力する。また、レンズ１０と撮像素子１１との間には、不図示の絞りやＮＤフィルタ−等が設けられ、ＣＰＵ１７により演算された適切な露出（自動露出ＡＥ：Auto Exposure）が指示され調整される。また、露出条件は、所定の露出条件に固定して撮像することが可能な構成をとる。また、ＣＰＵ１７は、露出条件に対応して試料６を照明する照明装置１ｄへ光量や光源や照射方式等の指示や制御を行う。
【００３４】
撮像素子１１から出力される電気信号は、アナログ信号のまま必要に応じてＣＤＳ部１２に入力されＣＤＳ（Correlated Double Sampling）処理によりノイズの低減処理がされる。固体撮像素子としてＣＭＯＳを用いる場合には、このようなノイズ低減処理を行うことが好ましい。
【００３５】
また、Ａ／Ｄ変換部１３では、アナログ信号からディジタル信号へと変換処理される。ディジタル変換処理された画像デ−タは、画像処理部１４に入力される。ＣＭＯＳ等においては、ＣＤＳ部１２とＡ／Ｄ変換部１３は、撮像素子１１に組み込まれる場合もある。
【００３６】
画像処理部１４は例えばＡＳＩＣで構成され、中央演算装置であるＣＰＵ１７からの指示に従い、Ａ／Ｄ変換部１３から得られたディジタル画像デ−タに、ホワイトバランス処理、ハイパスフィルタ処理やノイズ低減処理、エッジ処理、階調処理（ガンマ補正）等の様々な画像処理の演算を行うこととしてもよい。また、画像処理部１４が備えるＡＷＢ（Auto White Balance）演算部１４ａでは、最適なホワイトバランス処理となるパラメ−タ値の演算と処理が行われる構成としてもよい。試料６から取得した部分画像から全体画像を作成する処理は、画像処理部１４が行うこととできる。
【００３７】
画像処理部１４で行われる種々の画像処理に必要なアルゴリズムやパラメ−タは、フラッシュメモリ１９等に予め記録されており、ＣＰＵ１７からの指示により必要に応じてそれぞれ最適なものが読み出され、適用され実行される。
【００３８】
画像処理部１４で演算処理された画像デ−タは、ＲＡＭ１６等に記録することができる。ＲＡＭ１６は外付けのメモリとして構成してもよい。ＲＡＭ１６に記録しておくことで、画像デ−タを読み出して別途加工することも可能となる。また、画像処理部１４は、ＲＡＭ１６をバッファメモリとして用い、撮像された複数の画像デ−タを一時記憶する画像メモリとして用いてもよい。画像処理部１４は、画像メモリから画像デ−タを適宜読み出し、画像処理後に適宜書き込みすることにより、所定の画像処理を行う。
【００３９】
また、撮像装置２を含む撮像装置付顕微鏡１全体の撮像動作シ−ケンスについての制御はＣＰＵ１７からの指示にかかり、図示しないレリ−ズスイッチや各種設定処理等の操作を行う操作部１８からの操作信号も、ＣＰＵ１７に入力され処理される。また、試料６が載置されるステ−ジ７を駆動するステ−ジ駆動装置８は、ＣＰＵ１７からの指示により駆動制御される。ステ−ジ駆動装置８は、少なくとも試料６をＸＹ水平面内で任意のステップにて駆動することが可能である。ステ−ジ駆動装置８は、例えばステッピングモ−タ等を用いてもよい。ＣＰＵ１７は、後述する流れ像が撮像素子１１で取得できるように、撮像素子１１を露光させるとともにステ−ジ駆動装置８を走査させるように駆動する。
【００４０】
操作部１８は、撮像装置２の電源をオンオフする電源スイッチの他、レリ−ズ釦の全押しや半押しや自動レリ−ズと手動との切り替え、さらには再生画像等を更新するためのアップダウン釦等を備える。アップダウン釦は、複数抽出されて表示部１５に表示されたサムネイル画像から所望の画像を選択したり、撮像時に手動又は自動でズ−ムレンズをテレ又はワイド側に駆動するために用いてもよい。
【００４１】
さらに、カ−ドインタ−フェ−ス１ａを介してメモリカ−ド１ｂ等に画像デ−タや画像処理にかかる様々な電子情報等を保存することも可能である。また、外部インタ−フェ−ス１ｃを介して、撮像装置２内の画像デ−タやプログラム等を外部媒体へ読み出し、又は書き込み、又は演算処理等を行うことができる。
【００４２】
また、表示部１５には、処理した画像（例えば、部分画像を繋げて作成した試料の全体画像）を表示して撮像装置２のオペレ−タが画像の確認を行い、また必要な処理情報やメニュ−等の各種案内を表示できるように構成されている。また、表示部１５をタッチパネル等を用いることで入力操作が可能な構成とすることもできる。タッチパネル方式とする場合には、表示部１５は操作部１８の一部としても機能する。
【００４３】
表示部１５は、ＬＣＤや有機ＥＬ、無機ＥＬ等の各種表示デバイスで構成できる。表示部１５は、ＲＡＭ１６やメモリカ−ド１ｂに記録されている画像デ−タや、外部インタ−フェ−ス１ｃを通じて外部の撮像装置等から転送されてきた画像デ−タ等を再生表示する際にも用いられる。
【００４４】
撮像装置２のＣＰＵ１７は、ＡＦ演算部１７ｃを備え、撮像素子１１で撮像する画像デ−タを用いて最適な自動焦点調整を行うように演算し、レンズ駆動装置（不図示）を駆動してレンズ１０を制御する。ＡＦ演算部１７ｃが行う自動焦点の演算は、撮像画像の中の所定の５個所又は９個所について行う。また、ＡＦ演算部１７ｃは、撮像する画像中に存在する特定のマ−カをタ−ゲットとして自動焦点処理を行ってもよい。
【００４５】
また、ＣＰＵ１７は、露出条件演算部１７ａを備える。露出条件演算部１７ａは、撮像素子１１から取得する画像デ−タに基づいて、試料６の部分画像を撮像するための全体最適な露出条件を演算する。露出条件とは、典型的には露光時間であるが、光源の種類や光量、ＮＤフィルタの条件、その他光照射方式等に関する条件としてもよい。光源には、コヒ−レントなレ−ザ光や散乱光、特定波長の光、位相操作された光、補色関係の波長を合成した光等、蛍光に関係する光、太陽光（例えば、ＡＭ１．０等）各種電磁波等、光の生成や性質に関する任意のものを用いてもよい。
【００４６】
試料６の部分画像を撮像する際には、撮像素子１１にはその部分画像以外の試料６の全体画像に対応する試料の全体領域についての画像は撮像されない。このため、撮像素子１１に撮像されている部分画像のみに基づくパ−シャルな露光条件で、その部分について最適化を図ることは可能である。
【００４７】
一方、上述のように、複数の部分画像を繋げて全体画像を合成するような撮像装置付顕微鏡１においては、個々の部分について別個独立に露出条件を算出し撮像すると、繋げて合成した時に全体として不調和となり、整合の取れた顕微鏡写真とすることができないことが懸念される。部分画像の取得時にかかる部分最適条件が、必ずしも全体最適な露出条件と一致するとは限らないからである。そこで、試料６全体として同一の露出条件で撮像するために、予め露出条件を確定するプロセスが必要となる。
【００４８】
また、ＣＰＵ１７は、露出時間判別部１７ｂを備える。露出時間判別部１７ｂは、撮像素子１１で取得する流れ像から、その流れ像の取得に費やした露出時間等が適切であるかどうかを判別する。例えば、露出時間判別部１７ｂは、撮像素子１１が取得する流れ像が、いわゆる撮像素子１１が飽和して撮像されたものであり、露出時間が過剰であるかどうかを判別する。あるいは、露出時間が不足して撮像された流れ像であって、ＳＮＲ（Signal Noise Ratio）が所望の値に達しないものでないかどうかを判別する。
【００４９】
このようにして、ＣＰＵ１７は、試料６の部分画像を撮像するのに適切であり、かつ試料６の全体画像を取得するのに適切な露光条件を決定する。なお、試料全体ではなく一回の撮像では得られない試料の所望の領域についての顕微鏡写真を取得する場合もあるが、ここでは典型例として試料全体の顕微鏡写真を取得する場合について以下説明を続ける。
【００５０】
図３は、試料６と一回の撮像で取得できる部分画像の部分（領域）３２との関係を示す模式図である。図３において試料６は、ステ−ジ７に載置手段３１により載置され一時固定される。
【００５１】
載置手段３１は、例えば静電チャックやバキュ−ムチャック等であり試料６を撮像する間、一時的に試料６をステ−ジ７に固定できる手段である。異なる複数の試料を順次撮像する必要のある場合等には、載置手段３１は、試料６を容易に取り外しかつ固定可能であることが好ましい。
【００５２】
撮像装置付顕微鏡１は、所定の倍率で試料６を撮像するので、一回の撮像により取得できる試料６の範囲は、試料６の一部である部分３２となる。部分３２の撮像を行う際には、試料６の部分３２にかかる部分以外の他の部分については、撮像装置付顕微鏡１は認識しない。部分３２の撮像を、他の部分についても同様に順次撮像し全体の画像を得る。
【００５３】
図４は、全体画像４１と部分画像４２（３２）との関係について概念的に示すものである。全体画像４１は、試料６の所望の一部の領域であってもよいし、試料６の全範囲であってもよい。また、試料６の任意の深度についての断面又は部分であってもよい。流れ像の取得中に焦点合わせを常に保つ意味から、結像光学系（レンズ１０に対応）に対して撮像素子１１と共役な面又は部分であることが好ましい。
【００５４】
全体画像４１は、撮像装置付顕微鏡１の一回の撮像では取得できないので、所定の倍率で拡大された試料６の部分３２に対応する部分画像４２を試料６の全体画像４１に対応する全域で撮像し、図４に示すようにマトリックス状に繋げることで作成する。図４では、全体画像４１は、６×６の３６枚の部分画像から構成されるが、部分画像の枚数はこれに限られるものではなく任意に設定してもよい。
【００５５】
また、全体画像４１に対応する試料６は、例えば一辺１２ｍｍ程度の略正方形である。また、部分３２は、一辺２ｍｍ程度の略正方形である。従って、試料６は、１辺２ｍｍの略正方形の部分３２等が、３６個マトリックス状に繋がって構成される。
【００５６】
次に、部分３２を撮像する際の露光条件の推定方法について図５を用いて説明する。図５は、ＣＰＵ１７が、露光条件を算出するための流れ像の取得について説明する概念図である。
【００５７】
ＣＰＵ１７は、レリ−ズの操作等により撮像素子１１を露光状態にし、部分５１から部分５２まで走査５３を行う。走査５３は、ＣＰＵ１７がステ−ジ駆動装置８を−Ｘ方向に駆動することで、見かけ上ステ−ジ７すなわち試料６がＸ方向に走査される。
【００５８】
部分５１や部分５２は、部分３２と同一面積である。すなわち、部分画像４２を撮像する際の光学条件と同じ条件のもとで走査５３を行う。拡大倍率等の光学条件が異なると、露光条件を初めとする様々な撮像条件も異なることとなり、異なる条件下での光学特性等の変動が取得画像に反映される懸念が生じるので、これを回避する。
【００５９】
走査５３が完了すると、ＣＰＵ１７は撮像素子１１の露光状態を一旦遮断する。露出時間判別部１７ｂは、走査５３の間に取得した流れ像から、走査５３に費やした露出時間が適切かどうかを判別する。
【００６０】
同様に、ＣＰＵ１７は、走査５４、走査５５、走査５６、走査５７、走査５８を行い、試料６の全ての撮像領域を走査して、流れ像を取得する。そして、露出時間判別部１７ｂは、露出時間の適否を判別する。
【００６１】
露出時間が適切であれば、露光条件演算部１７ａは、その露出時間に基づいて部分３２等を撮像して部分画像４２等を取得するための露出時間を算出する。なお、一回の走査領域は、上述のような一ライン（走査５３等に対応する長辺１２ｍｍ程度の略長方形）に限られず、全体画像４１に対応する試料６のなかで任意に設定してよい。
【００６２】
このような、撮像装置付顕微鏡１の動作について、図８を用いてさらに詳述する。図８は、撮像装置付顕微鏡１の動作の一例を示すフロ−図である。
【００６３】
（ステップＳ８１）
試料の撮像をする準備として、撮像装置付顕微鏡１の主電源を投入する。
【００６４】
（ステップＳ８２）
流れ像を取得する際に用いる露出時間となる所定の期間を、撮像装置付顕微鏡１に設定する。所定の期間は、例えば１秒とすることができる。これにより、１秒で６枚の部分画像に対応する走査５３等を行うこととなる。
【００６５】
（ステップＳ８３）
撮像装置付顕微鏡１は、所定の領域を走査して流れ像を取得する。例えば、ＣＰＵ１７は、１秒間のレリ−ズ動作により撮像素子１１を露光状態とする。そして、ＣＰＵ１７は、ステ−ジ駆動装置８を駆動して走査５３を行う。これにより、撮像素子１１は、１秒間で、試料６の走査５３にかかる所定の領域について、すなわち部分５１から部分５２まで（長辺約１２ｍｍ、短辺約２ｍｍの略長方形）について連続的に受光し、流れ像を取得することができる。
【００６６】
すなわち、撮像素子１１は、走査５３に対応する６つの部分画像について、その平均的な光強度を合計して検出することとなる。また、ステ−ジ駆動装置８は、試料６の観測対象及び撮像素子１１に対して常に、合焦した状態でステ−ジ７を駆動制御することができるものとする。
【００６７】
（ステップＳ８４）
露出時間判別部１７ｂは、ステップＳ８３で取得した流れ像が撮像素子１１の飽和（saturation）にかかるものかどうかを判別する。撮像素子１１が飽和すると、受光する光の量と出力する電気量との関係が崩れ、正確な画像デ−タを出力できなくなる。飽和にかかるものかどうかは、例えば、所定の期間を変更（例えば１秒→１．１秒）して露出時間を増大させた場合の出力電荷量をモニタ−して比較すること等により検出してもよい。また、飽和によるいわゆる電荷漏れを検出する構成としてもよい。また、飽和にかかる流れ像かどうかの判別は、流れ像の各画素（pixel）ごとに行ってもよい。
【００６８】
ステップＳ８３で取得した流れ像が、撮像素子１１の飽和にかかるものであれば、ステップ８ｂにて所定の期間を減少させる処理を行うことで、飽和にかからない所定の期間とする。
【００６９】
（ステップＳ８５）
露出時間判別部１７ｂは、ステップＳ８３で取得した流れ像についてＳＮＲ（Ｓ／Ｎ）が良好かどうかを判別する。ＣＰＵ１７は、ＳＮＲが所望の値より低ければ、流れ像を取得するための所定の期間を長くして、より多くの被写体の光情報を取り込むことにより、所望のＳＮＲとなるようにする。所望のＳＮＲの値は、撮像画像に求められる特性等により任意に設定してもよい。
【００７０】
（ステップＳ８６）
露出条件演算部１７ａは、部分画像４２を撮像する露出時間を算出する。例えば、走査５３を１秒で行う間に撮像素子１１に蓄積された電荷に対応する電気信号がＡ１であり、走査５４を１秒で行う間に撮像素子１１に蓄積された電荷に対応する電気信号がＡ２であり、走査５５を１秒で行う間に撮像素子１１に蓄積された電荷に対応する電気信号がＡ３であり、以下同様に、走査５６、走査５７、走査５８を１秒で行う間に撮像素子１１に蓄積された電荷に対応する電気信号がそれぞれＡ４、Ａ５、Ａ６であるとする。また、いずれの電気信号Ａ１〜Ａ６も、ステップＳ８４において飽和しておらず、かつステップＳ８５においてＳＮＲも良好であるとする。この場合には、典型的には１秒の間で走査する部分画像に対応する数で除算し、部分画像４２を６分の１秒で撮像することとできる。そして、他の部分画像も同一の露出時間で撮像する。
【００７１】
また、露出条件演算部１７ａは、ステップＳ８２〜ステップＳ８５による走査５３〜走査５８の所定の期間が、Ｔ１〜Ｔ６と各々個別に異なる値を有する場合には、Ｔ１〜Ｔ６を全て合計してこれらの走査５３〜走査５８に対応する全ての部分画像の数（３６枚）で除算することで平均値を算出してもよい。これにより、例えば一つの部分画像ごとに１秒づつ光強度を検出すれば６つの部分画像相当では６秒間要するのに比して、約６分の１の時間で露出時間を推定することができる。
【００７２】
また、撮像素子１１の飽和を回避することを優先する場合には、Ｔ１〜Ｔ６の中で最も小さい値を６で除算した期間を部分画像４２の露出時間としてもよい。
【００７３】
（ステップＳ８７）
ＣＰＵ１７は、ステ−ジ駆動装置８を制御し、試料６の部分３２等の部分画像をステップバイステップで順次取得するよう撮像素子１１に指示する。
【００７４】
（ステップＳ８８）
図３に示す試料６の所望の画像取得領域について、撮像装置付顕微鏡１が計３６枚の部分画像を順次撮像し終えるとステップＳ８９へと進む。
【００７５】
（ステップＳ８９）
ＣＰＵ１７は、順次撮像して取得した部分画像４２を繋げ、所望の画像領域の全体画像４１を作成するように画像処理部１４に指示する。
【００７６】
（ステップＳ８ａ）
ＣＰＵ１７は、ステップＳ８９で画像処理部１４が作成した全体画像４１を表示部１５に表示するよう指示する。また、ＣＰＵ１７は、ステップＳ８９で画像処理部１４が作成した全体画像４１を記憶部に記録させてもよい。例えば、カ−ドインタ−フェ−ス１ａを介してメモリカ−ド１ｂ等に記録しておくことで、後日ニコンキャプチャ−（登録商標）等の画像処理装置やグラフィックワ−クステ−ション等にて所望の処理や編集が行えるので好ましい。
【００７７】
（ステップＳ８ｂ）
ステップＳ８４で撮像素子１１の電荷が飽和していれば、流れ像を取得する所定の期間を短く変更し、飽和しないようになる期間までこの処理を継続する。例えば、所定の期間を１．０秒から０．９秒へと変更する。流れ像を取得する所定の期間が短くなれば、より短い期間で所定の領域の走査を行うので、例えば走査５３においてステ−ジ７を駆動する駆動速度は速くなる。
【００７８】
また、ＳＮＲが所望の値より小さければ信号強度が不足しているとして、流れ像を取得する期間である所定の期間を長くなるように変更する。例えば、１秒から１．１秒へと所定の期間を変更する。
【００７９】
以上の構成と動作により、撮像装置付顕微鏡１は、撮像対象となる試料６が多数ある場合においても、高スル−プットを維持しつつ迅速に全体として適切な同一の露出条件を導出し、各試料６の部分３２の部分画像４２を取得することが可能となる。これにより、複数の部分画像４２の合成により作成される各試料６の所望の領域の全体画像も、均質かつ違和感がなく、全体として鑑賞、観察に堪え得る全体画像とできる。
【００８０】
撮像装置付顕微鏡１では、撮像装置２が備えるＣＰＵ１７が、ステ−ジ駆動装置８や照明装置１ｄを制御する構成とした。また、撮像装置２が備える画像処理部１４が、部分画像４２を繋げて合成処理をして全体画像を作成する構成と動作とした。しかし、この構成と動作に限られず、ＣＰＵ１７や画像処理部１４は、撮像装置２とは別体でシステム構成して制御装置等に設けてもよい。
【００８１】
また、撮像装置付顕微鏡１は、走査５３〜走査５８の６回に分けて全体画像４１に対応する試料６を走査したが、これに限られることはない。１回の走査で全体画像４１に対応する試料６を走査してもよい。この場合、１秒で全体画像４１に対応する試料６全てを走査することとしてもよい。また、任意の複数回で走査することとしてもよい。また、流れ像を取得する走査時間は、１秒に限られず任意の設定としてもよい。
【００８２】
なお、流れ像は、例えば１秒間の露出時間において走査される領域の光信号を蓄積するものであるので、解像度の低下や画質の劣化、像のボケ等が生じるが、露出条件の判定に用いることに何ら支障が生じるものではない。
【００８３】
（第二の実施形態）
図６は、第二の実施形態における顕微鏡システム６０を示す図である。
図７は、顕微鏡システム６０のステ−ジ６１２を示す図である。
以下、図６および図７を参照して、顕微鏡システム６０の構成について説明する。
顕微鏡システム６０には、ステ−ジ６１２が設けられる。このステ−ジ６１２上には、スライド７１２ｂ（試料）を把持するスライドホルダ−７１２ａが設けられる。
【００８４】
駆動機構６２０は、このスライドホルダ−７１２ａを、図７中に示すＸ軸方向に移動させる。また、駆動機構６２０は、ステ−ジ６１２全体を、図７中に示すＹ軸方向に移動させる。これら２方向の移動により、試料の位置を２次元的にＸＹ平面内で調整することができる。
【００８５】
なお、スライドホルダ−７１２ａの隅（すなわち顕微鏡観察に支障のない箇所）には、光の反射特性が既知の反射部位７４２（例えば、落射照明を均一に拡散反射するもの）が設けられてもよい。この反射部位７４２は、落射照明式の蛍光観察にも対応するよう、蛍光放射特性についても既知である（例えば、均一な蛍光放射特性を有する）。
【００８６】
また、ステ−ジ６１２の裏側には、透過照明部６２１が配置される。透過照明部６２１は、光を透過する透過部位７４１を介して、試料の裏側へ光を照射する。透過部位７４１は、ステ−ジ６１２の移動時に透過照明光を遮らないように、Ｙ軸方向に延びた開口形状を有する。
【００８７】
一方、試料を間に挟んで透過照明部６２１の反対側には、リボルバ選択式の対物光学系６１３が配置される。また、落射照明部６２２の光は、この対物光学系６１３の光路上を通って、試料の表側へ光を照射する。
【００８８】
照明選択部６２３は、これらの照明部６２１，６２２を選択することで、顕微鏡の照明方式を透過方式／落射方式に切り換えることができる。
【００８９】
なお、この対物光学系６１３で集められた試料からの光は、結像光学系６１４を介して、撮像素子６１５の受光面に光像を結像する。また、結像光学系６１４は、撮像素子６１５の撮像面と、ステ−ジ６１２のスライド７１２ｂ（試料面）とに共に合焦し結像する共役点に制御される。
【００９０】
撮像素子６１５は、この光像を光電変換して画像デ−タを生成する。この画像デ−タは、Ａ／Ｄ変換部６１６、およびインタ−フェ−ス部６１７を介して、制御装置６３１内の画像処理部６３３へ出力される。
【００９１】
画像処理部６３３には、画像デ−タを一時記憶するためのメモリ６３４がバス接続される。なお、制御装置６３１には、マイクロプロセッサなどからなる制御部６３２、およびユ−ザ操作を受け付ける操作部６３２ａも設けられる。また、図示しない表示部等へ画像を表示できるものとする。
【００９２】
制御部６３２の指示により、撮像素子６１５で撮像された画像デ−タは、画像処理部６３３で所定の処理をされた後、メモリ６３４に一時記憶される。所望の画像領域について全ての部分画像４２等の取得が完了すれば、制御部６３２からの指示によりメモリ６３４から画像デ−タを読み出し、画像処理部６３３が部分画像４２等を繋いで合成し、全体画像を作成する。
【００９３】
その他の構成や機能は、撮像装置付顕微鏡１と重複するので説明を省略する。
【００９４】
次に図９を用いて、顕微鏡システム６０の動作について説明する。図９は、顕微鏡システム６０の動作フロ−図概要を示すものである。なお、後述する各ステップにおいて、第一の実施形態の説明と重複する部分については簡略に説明する。
【００９５】
（ステップＳ９０）
顕微鏡システム６０の主電源を投入する。これにより、制御装置６３１等に通電される。制御部６３２は、顕微鏡システム６０の初期化処理を実行してシステム間のインタ−フェ−スを確立し、待機状態となる。
【００９６】
（ステップＳ９１）
制御部６３２は、リボルバの回転角度から、現在選択中のリボルバ（対物光学系６１３）の番号（ｎ）情報を取得する。また、対物光学系６１３の内部ＲＯＭ情報などから情報を取得し、現在選択中の対物光学系６１３の識別コ−ドＩＤを番号（ｎ）の替わりに用いてもよい。さらに、制御部６３２は、照明光学系（６２１，６２２，６２３に相当）、対物光学系６１３、及び結像光学系６１４の光学的な状態（視野絞り値、開口絞り値、光源の明るさ調整値、フィルタの種類）なの情報を取得する。
【００９７】
（ステップＳ９２）
制御部６３２は、顕微鏡システム６０のカスタム設定等の情報を、不図示の不揮発性メモリから読み出す。
【００９８】
（ステップＳ９３）
制御部６３２の指示により、照明選択部６２３は、透過方式が選択されていれば透過照明部６２１を照明駆動し、落射方式が選択されていれば落射照明部６２２を照明駆動する。
【００９９】
（ステップＳ９４）
被写体となる試料をステ−ジ６１２にセットする。試料のセットは、手動でも自動でもよいが、生産検査装置等においては、高スル−プットとする必要性から試料ロ−ダ等による自動での試料セットとすることが望ましい。
【０１００】
（ステップＳ９５）
制御部６３２は、試料の現在位置の情報（Ｘ，Ｙ）を駆動機構６２０から取得する。試料を走査する際には、オリジナルポジションから順次駆動することが好ましいので、制御部６３２は、現在位置の情報（Ｘ，Ｙ）に基づき、オリジナルポジションに初期化する指令を駆動機構６２０に与えてもよい。
【０１０１】
（ステップＳ９６）
制御部６３２は、流れ像を取得するための仮の露出条件を設定する。例えば、露出時間を１秒とできる。また、各露出条件の間で相関関係が判明している場合には、露出時間以外の露出条件を変更して設定してもよい。また、この設定は、操作部６３２ａからの操作入力等により、オペレ−タが入力操作することとしてもよい。
【０１０２】
（ステップＳ９７）
撮像素子６１５は、所定の領域の走査により流れ像を取得する。所定の領域は、ステップＳ９６で設定した１秒で走査する。これにより撮像素子６１５には、１秒間で１回分の走査領域全域の光情報が蓄積される。
【０１０３】
（ステップＳ９８）
制御部６３２は、流れ像にかかる撮像において、撮像素子６１５が飽和していないかどうか判断する。飽和していれば、ステップＳ９ｉへと進み、飽和していなければステップＳ９９へと進む。
【０１０４】
（ステップＳ９９）
制御部６３２は、ＳＮＲが良好がどうかを判断する。ＳＮＲが良好であればＳ９ａへと進み、ＳＮＲが良好でなければＳ９ｉへと進む。
【０１０５】
（ステップＳ９ａ）
制御部６３２は、部分画像を撮像するための順次撮像の露出条件を算出する。光学条件、及び露出時間（露光時間）を除く露出条件は、流れ像の取得と部分画像の取得とで同一であることが好ましい。光学条件等が変わると光学特性や撮像素子６１５の検出特性が変動する影響やそのノイズが、画像に重畳される懸念が生じるからである。
【０１０６】
しかしこれに限られず、予め上述の特性変動等が把握できている場合等においては、光学条件や露出条件を任意に変更して流れ像や部分画像を取得することとしてもよい。この場合には、予め判明している相互の相関関係により、制御部６３２が流れ像等に基づき、部分画像を取得する最適な露出条件を演算することとできる。
【０１０７】
（ステップＳ９ｂ）
制御部６３２は、試料をステップＳ９５で取得した位置の情報（Ｘ，Ｙ）に戻すよう、駆動機構６２０に制御信号を与える。駆動機構６２０は、ステ−ジ６１２又はスライドホルダ−６１２ａを位置制御することにより、ステップＳ９５で取得した位置の情報（Ｘ，Ｙ）に戻す。この際、上述のオリジナルポジションに初期化して戻すこととしてもよい。
【０１０８】
（ステップＳ９ｃ）
制御部６３２の指示により、試料の一部分を順次撮像する。制御部６３２は、操作部６３２ａからの撮像操作により、又は自動撮像動作により順次撮像することとできる。
【０１０９】
制御部６３２は、撮像素子６１５に制御信号を与えて、試料の画像デ−タを出力させる。出力された試料の画像デ−タは、Ａ／Ｄ変換部６１６を介してディジタル信号化された後、インタ−フェ−ス部６１７を介して、画像処理部６３３に伝達され所定の画像処理が成される。
【０１１０】
（ステップＳ９ｄ）
試料のなかで顕微鏡写真が必要な所望の撮像領域について、全て部分画像の撮像が完了したかどうかを判断する。全部分画像の取得が完了していなければステップＳ９ｃへと進み、全部分画像の取得が完了していればステップＳ９ｅへと進む。
【０１１１】
（ステップＳ９ｅ）
画像処理部６３３は、取得した部分画像を繋げて試料の所望の領域に対応する全体画像を作成する。
【０１１２】
（ステップＳ９ｆ）
制御部６３２は、ステップＳ９ｅで作成した全体画像を不図示の表示部に表示させ、又はメモリ６３４等に記憶させる。メモリ６３４等に記憶された記録画像は、後日、サムネイル表示等により任意に選択し、読み出し、画像処理や編集をすることができる。また、特定の特徴を有する画像のみを検索して抽出する処理をしてもよい。例えば、特定のディフェクト（defect）に特有の特徴を有する全体画像のみ、抽出しカウントすることも可能である。顕微鏡システム６０は、全体画像ごとに、各々同一の又は同一に対応する露出条件で撮像しているので、この場合でも安定した抽出やカウントが行える。また、全ての全体画像で共に、同一の又は同一に対応する露出条件や撮像条件で撮像することとしてもよい。
【０１１３】
（ステップＳ９ｇ）
制御部６３２は、リボルバの回転や、対物光学系６１３の交換装着を検出することにより、対物光学系６１３の交換を検知する。また、制御部６３２は、照明方式の変更（透過照明か落射方式か）、光学系のズ−ム操作、視野絞り、開口絞り、照明の明るさ、照明行路上のフィルタ等の光学条件について変更があるかないかを検出する。
【０１１４】
対物光学系６１３の状態に変更が無ければ、ステップＳ９ｈへと進む。対物光学系６１３の状態に変更があれば、ステップＳ９１へと進む。
【０１１５】
（ステップＳ９ｈ）
顕微鏡システム６０を用いて顕微鏡撮像する他の試料がないかどうかを確認する。他の撮像試料があれば、ステップＳ９４へと進み順次撮像等を継続する。他の撮像試料が無ければ、主電源を遮断して終了する。
【０１１６】
（ステップＳ９ｉ）
仮の露出条件を変更する。ステップＳ９８で飽和していれば、飽和を抑制するように変更する。ステップＳ９９でＳＮＲが良好でなければ、ＳＮＲが向上するように変更する。
【０１１７】
例えば、飽和を抑制するには、露出時間を低減したり照射光量を低減したりフィルタ等を調整する。また、例えばＳＮＲを向上させるには、露出時間を増大させたり照射光量を増大させたりフィルタを調整したりする。
【０１１８】
これにより、観測対象の撮像条件に関わる事前情報が得られない場合であって、適正露出条件を推定するために、予め観測領域全体に対する露出条件を計測する必要がある場合であっても、迅速な露出条件の推定が行える。
【０１１９】
また、観測領域全体を一度に計測できず、複数の計測に分けて画像取得する必要がある場合であっても、各画像ごとの個別の露出条件の設定による光源や検出器の特性変動の影響を低減し、一定露出条件下での撮像とすることが可能となる。
【０１２０】
また、撮像装置付顕微鏡１や顕微鏡システム６０により、同一時間内で同一数の試料を撮像する場合でも、従来に比してより正確で精緻な部分画像の取得が行える。すなわち、部分画像取得の露出条件決定に要する時間配分が少なくなることにより、相対的に部分画像の撮像に割ける時間配分が増大する。これにより、例えば同一部分画像を複数回撮像することにより、平均化処理等によるノイズ低減処理を行うなどしてＳ／Ｎを向上させ、より正確で精緻かつ安定した画像取得とできる。
【０１２１】
また、撮像素子１１等を露出の光検出器として用いるので、ハ−フミラ−とフォトダイオ−ド等による露出検出装置が不要となり、簡単かつ軽量で安価な構成の撮像装置付顕微鏡とできる。
【０１２２】
また、撮像装置付顕微鏡１と顕微鏡システム６０とは、各々自明な範囲で適宜その構成と動作を変更して用いてもよい。
【産業上の利用可能性】
【０１２３】
本発明は、検査装置、生産用ウェハ監視装置、各種撮像装置付顕微鏡やそれを用いる種々の顕微鏡システムに用いることができ、高スル−プットを要求される生産管理装置等に適用できる。また、オペレ−タが直接に被写体をその場観察せず、画像デ−タをまとめて取得して蓄積する画像検査装置には好適である。
【図面の簡単な説明】
【０１２４】
【図１】撮像装置付顕微鏡の構成概念図
【図２】撮像装置の構成概念図
【図３】試料と部分画像の領域との関係を示す模式図
【図４】全体画像と部分画像との関係概念図
【図５】流れ像の取得の説明概念図
【図６】顕微鏡システムの構成概念図
【図７】顕微鏡システムのステ−ジ構成概念図
【図８】撮像装置付顕微鏡１の動作の一例を示すフロ−図
【図９】顕微鏡システムの動作フロ−概要図
【符号の説明】
【０１２５】
１・・撮像装置付顕微鏡、２・・撮像装置、３・・写真対物レンズ、４・・鏡胴レンズ、５・・対物レンズ、６・・試料、７・・ステ−ジ、８・・ステ−ジ駆動装置、１０・・レンズ、１１・・撮像素子、１２・・ＣＤＳ部、１３・・Ａ／Ｄ変換部、１４・・画像処理部、１４ａ・・ＡＷＢ演算部、１５・・表示部、１６・・ＲＡＭ、１７・・ＣＰＵ、１７ａ・・露出条件演算部、１７ｂ・・露出時間判別部、１７ｃ・・ＡＦ演算部、１８・・操作部、１９・・フラッシュメモリ、１ａ・・カ−ドインタ−フェ−ス、１ｂ・・メモリカ−ド、１ｃ・・外部インタ−フェ−ス、１ｄ・・照明装置
【図１】
2009008793.tif 000003
【図２】
2009008793.tif 000004
【図３】
2009008793.tif 000005
【図４】
2009008793.tif 000006
【図５】
2009008793.tif 000007
【図６】
2009008793.tif 000008
【図７】
2009008793.tif 000009
【図８】
2009008793.tif 000010
【図９】
2009008793.tif 000011