(57)【特許請求の範囲】
【請求項１】
載置された試料を少なくとも水平方向に移動する移動手段と、
前記試料に焦点を結ぶための対物レンズと、
前記対物レンズを経た前記試料からの光を観察光軸および検出光軸に分岐する分岐手段と、
前記検出光軸上に配置され、前記試料からの光が結像する複数ラインのラインセンサと、
前記複数ラインのラインセンサから入力した画像データに基づき焦点位置の状態を判定し、前記判定の結果に基づき前記焦点の位置を制御する制御手段とを有し、
前記複数ラインのラインセンサは、前記検出光軸に対して所定の傾きを有し、前記ラインセンサの受光素子の配列に直交する方向に所定間隔で並置され、
前記制御手段は、前記複数ラインのラインセンサから入力した各ラインの画像データの、前記所定間隔の並置による画像位置のずれを補正する補正手段と、
前記補正後の画像データそれぞれから空間周波数成分の強度を表す信号を生成する生成手段と、
前記信号が表す空間周波数成分の強度から前記焦点位置の状態を判定する判定手段と、
前記判定の結果に基づき焦点位置の制御量を決定する決定手段とを有することを特徴とする自動焦点装置。
【請求項２】
前記判定手段は、前記信号が表す空間周波数成分の強度を比較して前記焦点位置のずれの方向および程度を判定することを特徴とする請求項1に記載された自動焦点装置。
【請求項３】
前記比較には、前記信号が表す低周波数成分の強度および高周波数成分の強度と所定の閾値の比較、前記低周波数成分同士および前記高周波数成分同士の強度の比較が含まれることを特徴とする請求項2に記載された自動焦点装置。
【請求項４】
さらに、前記観察光軸上に配置され、前記試料からの光が結像するラインセンサを有することを特徴とする請求項1から請求項3の何れか一項に記載された自動焦点装置。
【請求項５】
載置された試料を少なくとも水平方向に移動する移動手段、前記試料に焦点を結ぶための対物レンズ、前記対物レンズを経た前記試料からの光を観察光軸および検出光軸に分岐する分岐手段、並びに、前記検出光軸上に配置され、前記試料からの光が結像する複数ラインのラインセンサを有し、前記複数ラインのラインセンサが、前記検出光軸に対して所定の傾きを有し、前記ラインセンサの受光素子の配列に直交する方向に所定間隔で並置された装置において、前記複数ラインのラインセンサから入力した画像データに基づき焦点位置の状態を判定し、前記判定の結果に基づき前記焦点の位置を制御する焦点制御方法であって、
前記複数ラインのラインセンサから入力した各ラインの画像データの、前記所定間隔の並置による画像位置のずれを補正し、
前記補正後の画像データそれぞれから空間周波数成分の強度を表す信号を生成し、
前記信号が表す空間周波数成分の強度から前記焦点位置の状態を判定し、
前記判定の結果に基づき焦点位置の制御量を決定することを特徴とする焦点制御方法。
【請求項６】
コンピュータに請求項5に記載された焦点制御を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学顕微鏡によって試料を観察する際に、試料に自動的に焦点を合わせる焦点制御に関する。
【背景技術】
【０００２】
光学顕微鏡によって試料を観察する際に、試料面に自動的に焦点を合わせる顕微鏡自動焦点装置が知られている（例えば、特許文献1、2）。
【０００３】
特許文献1の発明は、顕微鏡光学系の光軸（以下、観察光軸）に配置したハーフミラーにより、観察光軸に対して直交する方向に光軸（以下、検出光軸）を分岐して、検出光軸に対して傾けて配置されたCCDカメラによって二次元の画像を取得する。なお、観察光軸をz軸、検出光軸をy軸、CCDカメラの撮像面をzx平面とする。また、CCDカメラは、z軸に対して角度θの傾きを有する。
【０００４】
次に、CCDカメラによって取得した、z軸方向にa画素、x軸方向にb画素の画像から、z軸方向にa画素、x軸方向にb'画素の画像を切り出す（以下、切出画像）。そして、切出画像をx軸方向にs画素シフトした画像（以下、シフト画像）を作成し、切出画像とシフト画像の差分絶対値画像を作成する。
【０００５】
次に、差分絶対画像において、z軸方向に並んだ画素（b'-s画素）の平均値を計算して、平均値のデータ列（a画素分）を作成する。このデータ列はz軸方向に並んだ各画素の画像成分の微分絶対値に相当し、このデータ列からz軸方向のコントラスト変化を検出することができる。従って、コントラスト変化の検出結果に基づき対物レンズをz軸方向に移動して試料面に焦点を合わせる。
【０００６】
上記の方法は、試料のコントラストパターンが均一な場合は試料面に焦点を合わせることができる。しかし、試料のコントラストパターンが不均一な場合、焦点を合わせることができない場合がある。
【０００７】
特許文献2の発明は、水平および垂直方向へ移動可能なステージに載置した試料に、対物レンズを介してレーザ光をスポット照射し、試料から反射されるレーザ光（反射レーザ光）をハーフミラーにより観察光軸に対して直交する検出光軸に導く。そして、検出光軸上に配置した回動するミラーによって、z軸に対して角度θの傾きを有するラインセンサの各受光素子に反射レーザ光を入射する。
【０００８】
ラインセンサの傾きにより、回動するミラーとラインセンサの各素子の間には光路長の差があり、ラインセンサの中央の素子の出力が最大（入射光の強度が最大）の場合に合焦と判断する。言い換えれば、ラインセンサの各素子の出力に基づきステージをz軸方向に移動すれば、試料面に自動的に焦点を合わせることができる。
【０００９】
一方、表面が平滑かつz軸方向に偏りがない試料であれば、一度の焦点合わせで鮮明な顕微鏡画像を得ることができる。しかし、表面に凹凸がある試料の広い範囲に亘る鮮明な顕微鏡画像を得るには、ステージを水平方向に移動しながら、試料の様々な領域でリアルタイムに焦点を合わせる必要がある。
【００１０】
特許文献1の技術は、a×b'画素に相当する試料面の範囲において、最も高いコントラストが得られる位置に焦点を合わせることができる。しかし、CCDカメラによる画像の取得はフレーム単位であり、対物レンズの移動により焦点を制御する。従って、特許文献1の技術により、ステージを水平方向に移動しながら、試料の様々な領域でリアルタイムに焦点を合わせることは難しい。
【００１１】
また、特許文献2の技術は、試料表面のピンポイントに焦点を合わせることができるが、観察光とレーザ光の分離、つまり、試料の観察と焦点合わせを分離して行う必要がある。従って、ステージを移動して試料の観察位置を移動し、レーザ光をオンして焦点合わせを行い、レーザ光をオフして顕微鏡画像を取得し、再びステージを移動する、の繰り返しが必要になる。
【００１２】
このように、特許文献1、2の技術によれば顕微鏡の自動焦点合わせが可能になるが、表面に凹凸がある試料の広い範囲に亘る鮮明な顕微鏡画像を短時間で得る場合の焦点制御には向かない。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特表WO2005/114293号公報
【特許文献２】特許第3390106号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
本発明は、表面に凹凸がある試料の広い範囲や試料内部の構造に焦点を合わせて、試料の鮮明な顕微鏡画像を短時間で得るための焦点制御を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１６】
本発明にかかる自動焦点装置は、載置された試料を少なくとも水平方向に移動する移動手段と、前記試料に焦点を結ぶための対物レンズと、前記対物レンズを経た前記試料からの光を観察光軸および検出光軸に分岐する分岐手段と、前記検出光軸上に配置され、前記試料からの光が結像する複数ラインのラインセンサと、前記複数ラインのラインセンサから入力した画像データに基づき焦点位置の状態を判定し、前記判定の結果に基づき前記焦点の位置を制御する制御手段とを有し、前記複数ラインのラインセンサは、前記検出光軸に対して所定の傾きを有し、前記ラインセンサの受光素子の配列に直交する方向に所定間隔で並置され、前記制御手段は、前記複数ラインのラインセンサから入力した各ラインの画像データの、前記所定間隔の並置による画像位置のずれを補正する補正手段と、前記補正後の画像データそれぞれから空間周波数成分の強度を表す信号を生成する生成手段と、前記信号が表す空間周波数成分の強度から前記焦点位置の状態を判定する判定手段と、前記判定の結果に基づき焦点位置の制御量を決定する決定手段とを有することを特徴とする。
【発明の効果】
【００１７】
本発明によれば、表面に凹凸がある試料の広い範囲や試料内部の構造に焦点を合わせて、試料の鮮明な顕微鏡画像を短時間で得るための焦点制御を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】実施例の自動焦点装置の構成例を説明するブロック図。
【図２】各ラインのz軸（主走査）方向に同位置にある素子が出力する信号を説明する図。
【図３】焦点検出センサが取得した1ライン分の画像の空間周波数成分の相対的な強度と焦点の関係例を示す図。
【図４】焦点評価部の構成例を説明するブロック図。
【図５】焦点状態判定部と制御量決定部の処理例を説明するフローチャート。
【発明を実施するための形態】
【００１９】
以下、本発明にかかる実施例の自動焦点装置および焦点制御方法を図面を参照して詳細に説明する。
【００２０】
［装置の構成］
図1のブロック図により実施例の自動焦点装置の構成例を説明する。
【００２１】
図1(a)は自動焦点装置の光学ユニット17を側面から観た様子を示す。ステージ11は、試料12を搭載し、水平方向に自在に移動する。試料12からの光（透過光、蛍光、反射光を含む）は、対物レンズ13によって観察光の光路L1（観察光軸）に配置された観察画像の取得用のラインセンサ（以下、観察センサ）15上に結像する。観察光軸上に配置されたビームスプリッタ14は、観察光軸（z軸）に直交するy軸方向に検出光の光路L2（検出光軸）を分岐する。
【００２２】
ビームスプリッタ14によって分岐された検出光は、検出光軸上に配置されたラインセンサ（以下、焦点検出センサ）16上に結像する。焦点検出センサ16は、複数のラインセンサを一面に等間隔に並置した形態を有する。図1(b)は焦点検出センサ16の配置をz軸方向から観た様子を示す。焦点検出センサ16は、検出光軸（y軸）に対して所定角度θの傾きをもって配置されている。なお、図1には、説明を簡単にするために、焦点検出センサ16が三本のライン16a-16cを有する例を示すが、ライン数は三本以上であればよい。
【００２３】
詳細は後述するが、焦点評価部18は焦点検出センサ16の各ラインによって取得した画像から合焦状態を評価し、焦点制御部19は合焦状態の評価結果に基づき光学ユニット17のz軸方向の位置を制御する。つまり、焦点評価部18と焦点制御部19は、ステージ11の動きに合わせて観察センサ15によって鮮明な画像が得られるように、リアルタイムに焦点を試料12に合わせる自動焦点制御を行う。なお、焦点を合わせる位置は、試料12の表面または内部構造である。
【００２４】
なお、焦点制御部19による焦点制御は、光学ユニット17のz軸方向への移動に限らず、対物レンズ13のz軸方向への移動、または、ステージ11のz軸方向への移動でも構わない。また、焦点評価部18および焦点制御部19は、例えば、マイクロプロセッサなどのコンピュータに後述する処理を実行するプログラムを供給することで実現される。
【００２５】
［焦点検出センサ］
●配置
観察光L1を観察センサ15上で結像させた状態で、検出光L2が焦点検出センサ16の例えば中央のライン（図1(b)においてはライン16b）上で結像するように、検出光L2の光路長（言い換えれば焦点検出センサ16の位置）を調整する。
【００２６】
焦点検出センサ16のラインピッチを100μm、光学系の倍率を20、傾きθを66度と仮定する。ライン16bにおいて試料12の例えば表面に焦点が合っている（以下、合焦状態）とすると、ライン16aでは、試料12の表面から2.0μm（=100 cos 66°/20）深い位置（試料内）に焦点が合う状態にある。また、ライン16cでは、試料12の表面から2.0μm浅い位置（試料外）に焦点が合う状態にある。なお、以下では、焦点を合わすべき位置から深い位置を負符号（例えば-1μm）、浅い位置を正符号（例えば+1μm）で表す。
【００２７】
●出力信号の強度
図2により各ラインのz軸（主走査）方向に同位置にある素子が出力する信号を説明する。なお、図2には焦点検出センサ16が5ラインの例を示す。また、合焦状態にあるラインを「合焦ライン」、合焦状態にないラインを「非合焦ライン」と呼ぶ。
【００２８】
図2(a)はステージ11に載置した試料12のxy軸方向の形状を示す。説明を簡単にするために、試料12はxy軸方向に沿った長方形、z軸方向に平坦な形状を有し、ステージ11はx軸（副走査）方向に移動する。
【００２９】
焦点検出センサ16の中央ラインが合焦ラインの場合、図2(b)の上段に示すように、中央ラインの素子は、試料12の形状に相当する矩形状の信号を出力する。一方、非合焦ラインの素子は、試料12の形状に対して台形状または三角波状の信号を出力し、信号のピーク値は合焦ラインの素子が出力する信号のピーク値よりも小さい。また、焦点検出センサ16の中央ラインに隣接するラインが合焦ラインの場合は、図2(b)の下段に示すように、隣接するラインの素子が試料12の形状に相当する矩形状の信号を出力する。
【００３０】
●出力信号の周波数特性
図3により焦点検出センサ16が取得した1ライン分の画像の空間周波数成分の相対的な強度と焦点の関係例を示す。なお、図3に示す特性は、その表面に模様があるz軸方向に平坦な試料12から得たものである。
【００３１】
試料12に焦点が合っている場合は低周波数成分（例えば50-100サイクル/mm）、高周波数成分（例えば100-200サイクル/mm）ともに強度のピークを示し、焦点がずれると何れも強度が低下する。ただし、強度が低下する様子を比べると、高周波数成分に比べて低周波数成分の低下の度合いが弱い。つまり、空間周波数成分の強度変化に注目すると、1ライン分の領域における焦点位置の高速かつ精密な制御が可能になる。
【００３２】
［焦点評価部］
図4のブロック図により焦点評価部18の構成例を説明する。
【００３３】
焦点検出センサ16の各ラインから出力される1ライン分のアナログ信号は、アナログ-ディジタル変換器(A/D)21a-21cにより1ライン分の画像データに変換される。そして、画像データは、ステージ11の移動（副走査）に合わせて、メモリ22a-22cの所定領域に格納される。なお、メモリ22a-22cには、例えばラインメモリやRAMなどに割り当てた領域を利用する。
【００３４】
画像位置補正部23a、23bは、焦点検出センサ16の各ライン16a-16cの間の副走査方向（x軸方向）の配置のずれによる画像の位置ずれを補正する。例えば、焦点検出センサ16のラインピッチを100μm、光学系の倍率を20、傾きθを66度と仮定すると、あるタイミングで各ラインが取得する画像は互いに2.0μm（=100 cos 66°/20）ずつ副走査方向にずれている。つまり、画像位置補正部23aは、ライン16cが取得した画像のライン（以下、基準ライン）に対応する、ライン16aが取得した画像データをメモリ22aから読み出す。同様に、画像位置補正部23bは、基準ラインに対応する、ライン16bが取得した画像データをメモリ22bから読み出す。
【００３５】
周波数成分分離部24a、24b、24cは、画像位置補正部23a、23bから補正後の画像データを入力し、メモリ22cから基準ラインの画像データを入力する。そして、入力した画像データそれぞれから空間周波数の低周波数成分の強度を表す信号SxLCと高周波数成分の強度を表す信号SxHCを生成する。なお、SxはSa、SbまたはScを表す。
【００３６】
焦点状態判定部25は、周波数成分分離部24a、24b、24cから信号SxLCと信号SxHCを入力して、焦点位置の状態を判定する。制御量決定部26は、焦点位置の状態に基づき焦点位置の制御量を決定して、制御量を表す制御信号を焦点制御部19に出力する。
【００３７】
●焦点状態判定部および制御量決定部
表1は、焦点検出センサ16が3ラインの場合に、焦点位置と、ライン16a-16cの素子が出力する信号値の強度の相対関係例を示す。強度3は「強」、強度2は「中」、強度1は「弱」に対応し、「−」は信号値が所定の判定閾値未満（無効）を示す。なお、判定閾値は、焦点検出センサ16の特性、光学系の特性、焦点評価部18の特性に応じてノイズと信号を区別するために設定するが、低周波数成分と高周波数成分に共通に設定してもよいし、別個に設定してもよい。
【００３８】
（表1）
│                │              ライン              │
│                │   16a    │   16b    │   16c    │
状態│    焦点位置    │SaLC│SaHC│SbLC│SbHC│ScLC│ScHC│
──┼────────┼──┼──┼──┼──┼──┼──┤
A │正方向へのずれ大│ − │ − │  1 │ − │  2 │  1 │
B │正方向へのずれ中│  1 │ − │  2 │  1 │  3 │  2 │
C │正方向へのずれ小│  1 │  1 │  2 │  2 │  3 │  3 │
D │      合焦      │  2 │  2 │  3 │  3 │  2 │  2 │
E │負方向へのずれ小│  3 │  3 │  2 │  2 │  1 │  1 │
F │負方向へのずれ中│  3 │  2 │  2 │  1 │  1 │ − │
G │負方向へのずれ大│  2 │  1 │  1 │ − │ − │ − │
【００３９】
焦点状態判定部25は、信号SxLCおよび信号SxHCの有効無効、並びに、信号SxLC（低周波数成分同士）および信号SxHC（高周波数成分同士）の相対的な強度の関係を判定する。そして、例えば表1に相当するテーブルを参照して焦点位置の状態（例えばA-Gの何れか）を判定する。つまり、焦点状態判定部25は、焦点位置のずれの方向および程度を判定する。
【００４０】
制御量決定部26は、焦点位置の状態の判定結果に基づき、例えば表2に示すテーブルを参照して焦点位置の制御量を決定する。制御量には、焦点を移動する方向（制御方向）と焦点を移動する量（移動量）が含まれる。なお、移動量の具体的な値は、焦点検出センサ16のラインピッチおよび傾きθ、光学系の倍率などによって決まる。
【００４１】
（表2）
状態│制御方向│移動量（一例）
──┼────┼───────
A │ 負方向 │  大（6μm）
B │ 負方向 │  中（4μm）
C │ 負方向 │  小（2μm）
D │   −   │  −
E │ 正方向 │  小（2μm）
F │ 正方向 │  中（4μm）
G │ 正方向 │  大（6μm）
【００４２】
図5のフローチャートにより焦点状態判定部25と制御量決定部26の処理例を説明する。なお、図5に示す処理は、ステージ11に移動（副走査）ごとに行われる処理である。
【００４３】
焦点状態判定部25は、信号SxLCが二つ以上有効か否かを判定する(S11)。この判定条件を満たさない場合、試料12の準備またはステージ11への載置における不具合、初期焦点位置の不具合などが考えられ、焦点状態判定部25は、エラーを報知して(S12)処理を終了する。また、この判定条件を満たす場合、焦点状態判定部25は、有効な信号SxLCを比較して強弱の関係を判定する(S13)。
【００４４】
次に、焦点状態判定部25は、信号SxHCが二つ以上有効か否かを判定し(S14)、信号SxHCが二つ以上有効であれば、有効な信号SxHCを比較しての強弱の関係を判定する(S15)。そして、信号SxHCおよび信号SxLCの有効無効および強弱の関係の判定結果に基づき、例えば表1に相当するテーブルを参照して、焦点位置の状態を判定する(S16)。
【００４５】
制御量決定部26は、例えば表2に相当するテーブルを参照して、制御量（制御方向と移動量）を表す信号を焦点制御部19に出力する(S17)。
【００４６】
焦点位置からある程度離れた位置から焦点制御を開始した場合、高周波数成分の強度が小さく、判定閾値未満（無効）になる可能性がある。この場合、焦点位置からある程度離れても強度が低下しない低周波数成分のみを利用して焦点制御を行い、焦点位置を近付ける。そして、焦点位置に近くなると高周波数成分の強度も判定閾値以上（有効）になり、高周波数成分も利用した精度の高い焦点制御を行う。
【００４７】
他方、焦点位置に近い位置から焦点制御を開始した場合、低周波数成分、高周波数成分ともに強度が大きく、判定閾値以上の強度を得ることができ、短時間に合焦が得られる。つまり、前回顕微鏡画像を取得した際の焦点位置に基づき初期焦点位置を決定すれば合焦が得られるまでの時間を短縮することができる場合が多い。
【００４８】
［変形例］
上述したように、焦点検出センサ16が3ラインの場合、例えば「移動量」を正負各三段階に設定することができる。焦点検出センサ16のライン数を増やせば、焦点位置の状態としてさらに多くの状態を判定して「移動量」の段階数を増すことができ、焦点検出センサ16の傾きθを大きく設定すれば移動量を小刻みに設定することができる。
【００４９】
また、図1には、対物レンズ13だけから構成される装置の一例を示したが、対物レンズ13と結像レンズの組み合わせた装置にも本発明を適用することができる。その場合、対物レンズ13と結像レンズの間にビームスプリッタ14やハーフミラーを配置して観察光軸L1から検出光軸L2を分岐し、検出光軸L2に別途結像レンズを配置して焦点検出センサ16に結像する。あるいは、結像レンズとラインセンサ15の間にビームスプリッタ14やハーフミラーを配置して観察光軸L1から検出光軸L2を分岐し、焦点検出センサ16に結像してもよい。
【００５０】
スポットで焦点を合わせる場合（例えば特許文献2）は、試料との間の距離を測定して焦点を合わせると言うよりは、試料の凹凸の変化を測定して焦点を合わせることになる。その結果、試料（スポット）が僅かに移動しただけで焦点位置が大きく変化し、焦点位置の制御が間に合わなない、不安定になるなどの可能性がある。これに対して、実施例の自動焦点装置によれば、複数ラインのラインセンサを用いて（ある狭い範囲の）二次元で焦点を合わせることができる。従って、スポットで焦点を合わせる場合の不具合を防ぐことができる。
【００５１】
このように、実施例の自動焦点装置によれば、表面に凹凸がある試料の広い範囲や試料内部の構造に焦点を合わせて、試料の鮮明な顕微鏡画像を短時間に得ることができる。
【図１】
0005603287.tif 000002
【図２】
0005603287.tif 000003
【図３】
0005603287.tif 000004
【図４】
0005603287.tif 000005
【図５】
0005603287.tif 000006