(57)【要約】  本発明は、被観察物の超解像画像の情報を高いＳＮ比で取得することのできる顕微鏡装置及び観察方法を提供することを目的とする。そのために、本発明の顕微鏡装置は、標本（１４）の被観察面を線状の照明光（Ｅ）で照明する照明光学系（１，２，５，６，７〜１３）と、前記照明光（Ｅ）を線方向に空間変調する変調手段（４）と、前記空間変調された照明光で照明された前記被観察面からの光を結像する結像光学系（１３〜６，１５）と、前記被観察面からの光を検出する検出器（１６）とを有することを特徴とする。したがって、照明領域（Ｅ）の非構造化方向（Ｄａ）に関しては共焦点効果が得られる。この共焦点効果により、照明領域（Ｅ）の構造化照明の実質的なコントラストは高まるので、照明領域（Ｅ）の変調像は高いＳＮ比で検出される。
2007043313.tif 000002
【特許請求の範囲】
【請求項１】
標本の被観察面を線状の照明光で照明する照明光学系と、
前記照明光を線方向に空間変調する変調手段と、
前記空間変調された照明光で照明された前記被観察面からの光を結像する結像光学系と、
前記被観察面からの光を検出する検出器と
を有することを特徴とする顕微鏡装置。
【請求項２】
請求項１に記載の顕微鏡装置において、
前記照明光を前記被観察面に対して相対的に回転させる機構を更に備えた
ことを特徴とする顕微鏡装置。
【請求項３】
請求項１又は請求項２に記載の顕微鏡装置において、
前記被観察面上を前記照明光で走査する機構を更に備えた
ことを特徴とする顕微鏡装置。
【請求項４】
請求項１〜請求項３の何れか一項に記載の顕微鏡装置において、
前記空間変調の位相を変化させる機構を更に備えた
ことを特徴とする顕微鏡装置。
【請求項５】
請求項２〜請求項４の何れか一項に記載の顕微鏡装置において、
前記機構を駆動しながら前記輝度分布のデータを複数回取得する制御手段を更に備えた
ことを特徴とする顕微鏡装置。
【請求項６】
標本の被観察面へ線状の照明光を照明する手順と、
前記照明光を線方向に空間変調する手順と、
前記空間変調された照明光で照明された前記被観察面からの光を結像する手順と、
前記被観察面からの光を検出する手順と
を有することを特徴とする観察方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡装置及び観察方法に関する。
【背景技術】
【０００２】
近年、顕微鏡光学系の分解能よりも高い分解能で標本を観察する超解像技術が提案された（特許文献１など）。特許文献１には、標本を構造化照明して変調像を生成し、その構造化照明の位相を変化させながら変調像を撮像素子で複数回検出し、それら変調像を演算で復調して超解像画像を得る構造化照明手法が開示されている。
因みに、通常の顕微鏡光学系の伝達関数には、空間周波数ゼロの近傍にミッシングコーンと呼ばれる凹部が存在するので、標本に含まれる空間周波数の低いパターンについては光軸方向に分解して観察することはできなかった。しかし、構造化照明手法によれば伝達関数が実質的に拡大されるので（伝達関数は、顕微鏡光学系の伝達関数を構造化照明の空間周波数だけずらして重ね合わせたものに相当する。）、構造化照明の空間周波数さえ適切に設定すれば、ミッシングコーンを無くし、光軸方向に高い分解能で観察することが可能になると考えられる。
【特許文献１】特開平１１−２４２１８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、この構造化照明手法には、次に述べる問題があった。
一般に、超解像を必要とするような顕微鏡光学系は高開口数の対物レンズを利用しているが、開口数が高くなるほど焦点深度は浅くなる。このとき、標本の被観察面以外からの光が撮像素子へ多く入射するので、構造化照明のコントラストは、事実上低くなる。
一方、構造化照明手法では、構造化照明のコントラストが低いほど超解像画像を得ることが難しくなる。なぜなら、構造化照明のコントラストが低いと、変調画像に含まれる±１次変調成分の強度が０次変調成分の強度に比べて低くなるのに対し、変調画像に重畳されるノイズ強度は強度の高い０次変調成分に支配されるので、超解像に重要な±１次変調成分がノイズに埋もれてしまうからである。【０００４】
そこで本発明は、被観察物の超解像画像の情報を高いＳＮ比で取得することのできる顕微鏡装置及び観察方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の顕微鏡装置は、標本の被観察面を線状の照明光で照明する照明光学系と、前記照明光を線方向に空間変調する変調手段と、前記空間変調された照明光で照明された前記被観察面からの光を結像する結像光学系と、前記被観察面からの光を検出する検出器とを有することを特徴とする。
なお、本発明の顕微鏡装置においては、前記照明光を前記被観察面に対して相対的に回転させる機構を更に備えることが望ましい。【０００６】
また、本発明の何れかの顕微鏡装置においては、前記被観察面上を前記照明光で走査する機構を更に備えることが望ましい。
また、本発明の何れかの顕微鏡装置においては、前記空間変調の位相を変化させる機構を更に備えることが望ましい。
また、本発明の何れかの顕微鏡装置においては、前記機構を駆動しながら前記輝度分布のデータを複数回取得する制御手段を更に備えることが望ましい。【０００７】
また、本発明の観察方法は、標本の被観察面へ線状の照明光を照明する手順と、前記照明光を線方向に空間変調する手順と、前記空間変調された照明光で照明された前記被観察面からの光を結像する手順と、前記被観察面からの光を検出する手順とを有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、被観察物の超解像画像の情報を高いＳＮ比で取得することのできる顕微鏡装置及び観察方法が実現する。
【図面の簡単な説明】
【０００９】
【図１】実施形態の顕微鏡装置の光学系部分の構成を示す図である。
【図２】図１のＡ以降の光学系を示す図である。
【図３】データ処理装置１７の制御に関する動作フローチャートである。
【図４】取得した３Ｎ個の変調像の画像データを示す図である。
【図５】データ処理装置１７の演算に関する動作フローチャートである。
【図６】ステップＳ２２の処理を説明する図である。
【図７】ステップＳ２３の処理を説明する図である。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態を説明する。本実施形態は、顕微鏡装置の実施形態である。
先ず、本顕微鏡装置の構成を説明する。
図１、図２は、本顕微鏡装置の光学系部分の構成を示す図である。図１（Ａ），（Ｂ）は、顕微鏡装置の光路を９０°異なる角度から見た図である。図２は、図１（Ａ），（Ｂ）中の符号Ａで示す箇所以降の光路を示す。【００１１】
図１、図２に示すように、本顕微鏡装置には、レーザ光源などの光源１、ビーム整形レンズ２、回折格子４、アクチュエータ１９、コリメータレンズ５、ダイクロイックミラー６、走査ユニット７、反射鏡８、集光レンズ１５、１次元光検出器（ラインセンサ）１６、コンピュータや回路などからなるデータ処理装置１７、スキャナレンズ９、イメージローテータ１８、第２対物レンズ１１、反射鏡１２、対物レンズ１３、蛍光物質で標識された標本１４、不図示の画像表示装置などが配置される。なお、反射鏡８，１２などは光路配置上必要となったものであり、必須ではない。また、必要に応じて、ダイクロイックミラー６の入射光路や射出光路に励起フィルタやバリアフィルタなどを配置してもよい。【００１２】
光源１から射出した光は、ビーム整形レンズ２の３枚のシリンドリカルレンズ２１，２２，２３により、線状の断面を持った平行光（１次元方向に伸びた平行光）に整形される。断面の長手方向は、少なくとも対物レンズ１３の視野の幅に相当する長さを持っていることが望ましい。
この平行光は、標本１４と光学的に共役な位置に配置された回折格子４へ入射し、各次数の回折成分を発生させる。その回折方向は、平行光の長手方向である。【００１３】
回折格子４は、例えば、位相型や振幅型の１次元回折格子（図では透過型の回折格子）である。特に、位相型は０次回折成分が殆ど発生しないので好ましい。但し、現実には多少の０次回折成分が漏れ出てしまうため、瞳位置に０次回折成分をする遮光部材を配置し、０次回折成分が標本１４に到達しないようにしておく（０次遮光をする）ことが望ましい。因みに、０次遮光は、振幅型の回折格子を利用した場合にも必要となる。０次遮光のためには、瞳位置に配置される走査ユニット７の中央に吸収膜を形成してもよいが、回折格子４とコリメータレンズ５との間にリレー光学系を設けると共に、そのリレー光学系中の瞳位置に遮光部材を配置する方が望ましい。また、回折格子４は、アクチュエータ１９によって格子線に直交する方向へ移動可能である。【００１４】
この回折格子４において発生した±１次回折成分は、コリメータレンズ５を介してダイクロイックミラー６へ入射し、そのダイクロイックミラー６を透過する。それら±１次回折成分は、走査ユニット７、反射鏡８、及びスキャナレンズ９を介して１次像面１０上に回折格子４の空間像（線状の空間像）を形成する。この空間像は、イメージローテータ１８、第２対物レンズ１１、反射鏡１２、及び対物レンズ１３を介して標本１４上に投影される。したがって、標本１４上は、線状の照明光、しかもその長手方向にかけて正弦波状に空間的に強度変調された照明光で照明（構造化照明）される。なお、対物レンズ１３の焦点面は、標本１４中の被観察面に一致している。この被観察面のみに着目すると、構造化照明のコントラストは高いが、被観察面の上下層まで含めてみると、構造化照明のコントラストは低くなっている。【００１５】
標本１４上の線状の照明領域Ｅでは、蛍光が発生する。発生した蛍光は対物レンズ１３により集められ、反射鏡１２、第２対物レンズ１１、イメージローテータ１８、スキャナレンズ９、反射鏡８、走査ユニット７を介してダイクロイックミラー６へ到達する。その蛍光は、ダイクロイックミラー６で反射され、集光レンズ１５を介して照明領域Ｅの像を形成する。照明領域Ｅは空間変調されているため、その像は、各次数の変調成分を含んだ変調像となっている。この変調像は、照明領域Ｅと共役な位置に配置された１次元光検出器１６によって検出される。この位置に配置された１次元光検出器１６によれば、標本１４の被観察面以外からの余分な光の多くがカットされるので、照明領域Ｅの短手方向に関し共焦点効果を得ることができる。この共焦点効果によると、構造化照明の実際のコントラストが低かったとしても、１次元光検出器１６が生成した変調像の輝度分布データを扱う際には、構造化照明のコントラストを実質的に高くすることができる。【００１６】
１次元光検出器１６が生成した変調像の輝度分布データは、データ処理装置１７へ送られる。データ処理装置１７は、輝度分布データに対し演算を施して標本１４の超解像画像を取得し、それを不図示の画像表示装置上に表示する。
なお、データ処理装置１７は、この演算の他に、顕微鏡装置内の各部を駆動して必要な情報を取得するための制御も行う。データ処理装置１７が走査ユニット７を駆動すると、照明領域Ｅがその短手方向に移動するので、標本１４上を照明領域Ｅで走査することができる。また、アクチュエータ１９を駆動すると、照明領域Ｅの構造化照明の位相（空間変調の位相）が変化する。また、イメージローテータ１８を駆動すると、標本１４における照明領域Ｅの方向を回転させることができる。【００１７】
なお、イメージローテータ１８は、回折格子４や走査ユニット７よりも標本１４側に配置されるので、照明領域Ｅの方向を回転させると、構造化方向Ｄｂ及び走査方向Ｄａも一緒に回転する。よって、照明領域Ｅに対する構造化方向Ｄｂ及び走査方向Ｄａは不変である。
次に、データ処理装置１７の制御に関する手順を詳細に説明する。【００１８】
図３は、データ処理装置１７の制御に関する動作フローチャートである。図３に示すとおり、データ処理装置１７は、標本１４上を照明領域Ｅで走査しながら１次元光検出器１６を繰り返し駆動して複数の輝度データを取得し、それら輝度データを合成して標本１４の２次元の変調像の画像データを取得する（Ｓ１１）。以下で説明する画像データは、照明領域Ｅを走査して輝度データを合成したものをいう。【００１９】
さらに、データ処理装置１７は、変調像の画像データの取得（Ｓ１１）を、構造化照明の位相を変化させながら複数回行う（Ｓ１１〜Ｓ１３のループ）。例えば、データ処理装置１７は、位相を２π／Ｎずつ変化させながらＮ（Ｎ≧３）個の変調像の画像データを取得する。
取得したＮ個の変調像の画像データをＩ1j（ｊは位相番号であり、ｊ＝１，２，…，Ｎ）とおき、図４（Ａ）に示した。これら変調像の画像データＩ1j（ｊ＝１，２，…，Ｎ）の全体には、その構造化方向Ｄｂ（図４ではＸ方向）へ超解像化するための情報が含まれる。【００２０】
さらに、データ処理装置１７は、Ｎ個の変調像の画像データの取得（Ｓ１１〜Ｓ１３のループ）を、照明領域Ｅの回転位置θを変化させ標本上を走査し、複数回行う（Ｓ１１〜Ｓ１５のループ）。例えば、データ処理装置１７は、照明領域Ｅの回転位置を１２０°ずつ変化させながら、Ｎ個の変調像の画像データの取得を合計３回行う。
図４（Ａ）に示すＮ個の画像データＩ1j（ｊ＝１，２，…，Ｎ）の取得時の回転位置θをθ＝０°とし、回転位置θ＝１２０°の下で取得されたＮ個の変調像の画像データをＩ2j（ｊ＝１，２，…，Ｎ）とおき、図４（Ｂ）に示した。また、回転位置θ＝２４０°の下で取得されたＮ個の変調像の画像データをＩ3j（ｊ＝１，２，…，Ｎ）とおき、図４（Ｃ）に示した。【００２１】
変調像の画像データＩ1j（ｊ＝１，２，…，Ｎ）と、変調像の画像データＩ2j（ｊ＝１，２，…，Ｎ）と、変調像の画像データＩ3j（ｊ＝１，２，…，Ｎ）とでは、回転位置θが１２０°ずつ異なるので、構造化方向Ｄｂも１２０°ずつ異なる。
よって、これら３Ｎ個の変調像の画像データＩMj（Ｍ＝１，２，３，ｊ＝１，２，…，Ｎ）の全体には、１２０°ずつ異なる３方向へ超解像化するための情報が含まれる（なお、Ｍは回転位置番号である。）。【００２２】
次に、データ処理装置１７の演算に関する手順を詳細に説明する。
図５は、データ処理装置１７の演算に関する動作フローチャートである。
（ステップＳ２１）
データ処理装置１７は、３Ｎ個の変調像の画像データＩMj（Ｍ＝１，２，３，ｊ＝１，２，…，Ｎ）の各々をフーリエ変換し、波数空間で表現された３Ｎ個の変調像の画像データＩkMj（Ｍ＝１，２，３，ｊ＝１，２，…，Ｎ）を得る。なお、波数空間で表現されたデータには、波数空間上の座標ｋを示す添え字「ｋ」を付す。【００２３】
（ステップＳ２２）
データ処理装置１７は、回転位置θ＝０°の下で取得したＭ＝１の変調像の画像データＩk1j（ｊ＝１，２，３，…Ｎ）に対し所定の演算を施し、それら変調像の画像データに共通して含まれる各次数の変調成分ＩkL（Ｌは次数であり、Ｌ＝＋１，０，−１）を抽出し、図６（Ａ）に示すように±１次変調成分を０次変調成分に対して構造化照明の空間周波数Ｋだけ構造化方向Ｄｂへずらして並べなおし、標本１４の復調像の画像データＩk1を取得する。なお、図６において、各変調成分ＩkL（Ｌ＝＋１，０，−１）のデータ範囲を示す円のサイズは、構造化照明をしなかった場合の解像限界に対応している。また、ｋX軸，ｋY軸は、図４中に示した実空間上のＸ軸，Ｙ軸に対応している。【００２４】
また、データ処理装置１７は、回転位置θ＝１２０°の下で取得したＭ＝２の変調像の画像データＩk2j（ｊ＝１，２，３，…，Ｎ）に対し所定の演算を施し、それら変調像の画像データに共通して含まれる各次数の変調成分ＩkL（Ｌ＝＋１，０，−１）を抽出し、それらを図６（Ｂ）に示すように構造化照明の空間周波数Ｋだけ構造化方向Ｄｂへずらして並べなおし、標本１４の復調像の画像データＩk2を取得する。【００２５】
また、データ処理装置１７は、回転位置θ＝２４０°の下で取得したＭ＝３の変調像の画像データＩk3j（ｊ＝１，２，３，…，Ｎ）に対し所定の演算を施し、それら変調像の画像データに共通して含まれる各次数の変調成分ＩkL（Ｌ＝＋１，０，−１）を抽出し、それらを図６（Ｃ）に示すように構造化照明の空間周波数Ｋだけ構造化方向Ｄｂへずらして並べなおし、標本１４の復調像の画像データＩk3を取得する。【００２６】
なお、本ステップの演算には、式（１）で表される方程式を適用することができる。【００２７】
【数１】
2007043313.tif 000003
【００２８】
但し、Ｏk（ｋ＋ＬＫ）Ｐk（ｋ）がＩkLに相当し、ｍLは、Ｌ次変調成分ＩkLの回折強度を表す。因みに、Ｏk（ｋ）は、標本１４が有する実際のパターンを波数空間で表現したものであり、Ｐk（ｋ）は、標本１４から１次元光検出器１６までの顕微鏡光学系の伝達関数である。
特に、Ｎ＞３のとき、本ステップの演算には、式（２）で表される最小自乗法を適用することができる。最小自乗法によれば、複数のデータに重畳されているノイズの影響を抑えることができる。【００２９】
【数２】
2007043313.tif 000004
【００３０】
但し、ｂLj＝ｍLｅｘｐ(２πｉｊ／Ｎ）である。
（ステップＳ２３）
データ処理装置１７は、図６に示した３つの復調像の画像データＩkM（Ｍ＝１，２，３）を図７に示すように合成して１つの復調像の画像データＩkを得る。３つの復調像の画像データＩkM（Ｍ＝１，２，３）の各々に含まれる０次変調成分Ｉk0は互いに共通の量を表しているので、その０次変調成分Ｉk0を基準として３つの復調像の画像データＩkM（Ｍ＝１，２，３）を合成すれば、その合成精度を高めることができる。【００３１】
（ステップＳ２４）
データ処理装置１７は、復調像の画像データＩkを逆フーリエ変換して実空間で表現された復調像の画像データＩを得る。この復調像の画像データＩは、１２０°ずつ異なる３方向に亘る標本１４の超解像画像を表現する。この超解像画像が、不図示の画像表示装置へ表示される（以上、ステップＳ２４）。【００３２】
以上まとめると、本顕微鏡装置は、標本１４を所定方向（Ｄｂ）へ亘り構造化照明すると共に、その非構造化方向（Ｄａ）に関しては共焦点効果が得られるような構成となっている。この共焦点効果により、構造化照明の実質的なコントラストは高まる。したがって、変調像の画像データＩMj（Ｍ＝１，２，３，ｊ＝１，２，…，Ｎ）の各々のＳＮ比は高まり、その分だけ標本１４の超解像画像は高精度に求まる。【００３３】
また、本顕微鏡装置では、共焦点効果を得るために照明光を線状に整形するので、１度に取得できる情報が標本１４の１次元の情報のみとなるが、標本１４上を照明領域Ｅで走査するための機構（走査ユニット７）と、その機構及び１次元光検出器１６を適切に制御する制御手段（データ処理装置１７）とが備えられるので、標本１４の２次元の変調像の画像データを確実に取得することができる。【００３４】
また、本顕微鏡装置には、構造化照明の位相を変化させるための機構（アクチュエータ１９）と、その機構及び１次元光検出器１６を適切に制御する制御手段（データ処理装置１７）とが備えられるので、復調像の画像データを確実に取得するための情報（位相の異なる複数の変調像の画像データ）を取得することができる。
また、本顕微鏡装置には、構造化方向Ｄｂを変化させるための機構（イメージローテータ１８）と、イメージローテータ１８及び１次元光検出器１６を適切に制御する制御手段（データ処理装置１７）とが備えられるので、超解像化の方向を確実に複数化することができる。【００３５】
（その他）
なお、本実施形態では、照明領域Ｅの回転位置を変化させるために、光の方向を回転させるイメージローテータ１８を使用したが、標本１４の配置方向を回転させる回転ステージを使用してもよい。但し、イメージローテータ１８を使用した方が回転位置の再現性を高めることができるので好ましい。【００３６】
また、本実施形態では、超解像化の方向を１２０°ずつ異なる３方向に設定したが、その方向の数や種類は変更されてもよい。なお、方向が１方向のみである場合には、イメージローテータ１８を省略することが可能である。
また、本実施形態では、変調像から復調像を得るための復調演算を波数空間で行った（図５を参照）が、例えば、特開平１１−２４２１８９号公報のように、復調演算を実空間上で行ってもよい。因みに、特開平１１−２４２１８９号公報の復調演算は、位相の異なる３個の変調像の画像データを線形の演算式に当てはめるものである。その演算式は、上述した式（１）を実空間で表現したものに相当する。【００３７】
また、本実施形態では、必要なデータを取得する手順の全てが自動化されたが（図３参照）、その手順の一部を手動で行うこととしてもよい。
また、本実施形態では、取得したデータを処理する手順の全てが自動化されたが（図５参照）、その手順の一部又は全部を手計算で行うこととしてもよい。
【図１】
2007043313.tif 000005
【図２】
2007043313.tif 000006
【図３】
2007043313.tif 000007
【図４】
2007043313.tif 000008
【図５】
2007043313.tif 000009
【図６】
2007043313.tif 000010
【図７】
2007043313.tif 000011
【手続補正書】
【提出日】平成19年2月22日(2007.2.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
標本の被観察面を線状の照明光で照明する照明光学系と、
前記照明光を線方向に空間変調する変調手段と、
前記空間変調された照明光で照明された前記被観察面からの光を結像する結像光学系と、
前記被観察面からの光を検出する検出器と、
前記空間変調の位相を変化させる機構と、
前記位相の異なる複数の検出信号を、前記位相の変化に伴って変化する信号成分と前記位相の変化に伴って変化しない信号成分とに分離し、前記各信号成分を前記変調を受ける前の空間周波数成分へ再配置する演算部と
を備えたことを特徴とする顕微鏡装置。
【請求項２】
請求項１に記載の顕微鏡装置において、
前記照明光を前記被観察面に対して相対的に回転させる機構を更に備えた
ことを特徴とする顕微鏡装置。
【請求項３】
請求項１又は請求項２に記載の顕微鏡装置において、
前記被観察面上を前記照明光で走査する機構を更に備えた
ことを特徴とする顕微鏡装置。
【請求項４】
請求項２又は請求項３に記載の顕微鏡装置において、
前記機構を駆動しながら前記輝度分布のデータを複数回取得する制御手段を更に備えた
ことを特徴とする顕微鏡装置。
【請求項５】
標本の被観察面へ線状の照明光を照明する手順と、
前記照明光を線方向に空間変調する手順と、
前記空間変調された照明光で照明された前記被観察面からの光を結像する手順と、
前記被観察面からの光を検出する手順と、
前記空間変調の位相を変化させる手順と、
前記位相の異なる複数の検出信号を、前旨位相の変化に伴って変化する信号成分と前記位相の変化に伴って変化しな信号成分とに分離し、前記各信号成分を前記変調を受ける前の空間周波数成分へ再配置する手順と
を備えたことを特徴とする観察方法。
【手続補正書】
【提出日】平成19年9月3日(2007.9.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
標本の被観察面を線状の照明光で照明する照明光学系と、
前記照明光を線方向に空間変調する変調手段と、
前記空間変調された照明光で照明された前記被観察面からの光を結像する結像光学系と、
前記被観察面からの光を検出する検出器と、
前記空間変調の位相を変化させる機構と、
前記位相の異なる複数の検出信号を、前記位相の変化に伴って変化する信号成分と前記位相の変化に伴って変化しない信号成分とに分離し、前記各信号成分を前記変調を受ける前の空間周波数成分へ再配置する演算部と
を備えたことを特徴とする顕微鏡装置。
【請求項２】
請求項１に記載の顕微鏡装置において、
前記照明光を前記被観察面に対して相対的に回転させる機構を更に備えた
ことを特徴とする顕微鏡装置。
【請求項３】
請求項１又は請求項２に記載の顕微鏡装置において、
前記被観察面上を前記照明光で走査する機構を更に備えた
ことを特徴とする顕微鏡装置。
【請求項４】
請求項２又は請求項３に記載の顕微鏡装置において、
前記機構を駆動しながら前記検出器からの検出信号を複数回取得する制御手段を更に備えた
ことを特徴とする顕微鏡装置。
【請求項５】
標本の被観察面へ線状の照明光を照明する手順と、
前記照明光を線方向に空間変調する手順と、
前記空間変調された照明光で照明された前記被観察面からの光を結像する手順と、
前記被観察面からの光を検出する手順と、
前記空間変調の位相を変化させる手順と、
前記位相の異なる複数の検出信号を、前旨位相の変化に伴って変化する信号成分と前記位相の変化に伴って変化しない信号成分とに分離し、前記各信号成分を前記変調を受ける前の空間周波数成分へ再配置する手順と
を備えたことを特徴とする観察方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡装置及び観察方法に関する。
【背景技術】
【０００２】
近年、顕微鏡光学系の分解能よりも高い分解能で標本を観察する超解像技術が提案された（特許文献１など）。特許文献１には、標本を構造化照明して変調像を生成し、その構造化照明の位相を変化させながら変調像を撮像素子で複数回検出し、それら変調像を演算で復調して超解像画像を得る構造化照明手法が開示されている。
【０００３】
因みに、通常の顕微鏡光学系の伝達関数には、空間周波数ゼロの近傍にミッシングコーンと呼ばれる凹部が存在するので、標本に含まれる空間周波数の低いパターンについては光軸方向に分解して観察することはできなかった。しかし、構造化照明手法によれば伝達関数が実質的に拡大されるので（伝達関数は、顕微鏡光学系の伝達関数を構造化照明の空間周波数だけずらして重ね合わせたものに相当する。）、構造化照明の空間周波数さえ適切に設定すれば、ミッシングコーンを無くし、光軸方向に高い分解能で観察することが可能になると考えられる。
【特許文献１】特開平１１−２４２１８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、この構造化照明手法には、次に述べる問題があった。
【０００５】
一般に、超解像を必要とするような顕微鏡光学系は高開口数の対物レンズを利用しているが、開口数が高くなるほど焦点深度は浅くなる。このとき、標本の被観察面以外からの光が撮像素子へ多く入射するので、構造化照明のコントラストは、事実上低くなる。
【０００６】
一方、構造化照明手法では、構造化照明のコントラストが低いほど超解像画像を得ることが難しくなる。なぜなら、構造化照明のコントラストが低いと、変調画像に含まれる±１次変調成分の強度が０次変調成分の強度に比べて低くなるのに対し、変調画像に重畳されるノイズ強度は強度の高い０次変調成分に支配されるので、超解像に重要な±１次変調成分がノイズに埋もれてしまうからである。
【０００７】
そこで本発明は、被観察物の超解像画像の情報を高いＳＮ比で取得することのできる顕微鏡装置及び観察方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の顕微鏡装置は、標本の被観察面を線状の照明光で照明する照明光学系と、前記照明光を線方向に空間変調する変調手段と、前記空間変調された照明光で照明された前記被観察面からの光を結像する結像光学系と、前記被観察面からの光を検出する検出器と、前記空間変調の位相を変化させる機構と、前記位相の異なる複数の検出信号を、前記位相の変化に伴って変化する信号成分と前記位相の変化に伴って変化しない信号成分とに分離し、前記各信号成分を前記変調を受ける前の空間周波数成分へ再配置する演算部とを備えたことを特徴とする。
【０００９】
なお、本発明の顕微鏡装置は、前記照明光を前記被観察面に対して相対的に回転させる機構を更に備えてもよい。
【００１０】
また、本発明の何れかの顕微鏡装置は、前記被観察面上を前記照明光で走査する機構を更に備えてもよい。
【００１１】
また、本発明の顕微鏡装置は、前記機構を駆動しながら前記検出器からの検出信号を複数回取得する制御手段を更に備えてもよい。
【００１２】
また、本発明の観察方法は、標本の被観察面へ線状の照明光を照明する手順と、前記照明光を線方向に空間変調する手順と、前記空間変調された照明光で照明された前記被観察面からの光を結像する手順と、前記被観察面からの光を検出する手順と、前記空間変調の位相を変化させる手順と、前記位相の異なる複数の検出信号を、前旨位相の変化に伴って変化する信号成分と前記位相の変化に伴って変化しない信号成分とに分離し、前記各信号成分を前記変調を受ける前の空間周波数成分へ再配置する手順とを備えたことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、被観察物の超解像画像の情報を高いＳＮ比で取得することのできる顕微鏡装置及び観察方法が実現する。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態を説明する。本実施形態は、顕微鏡装置の実施形態である。
【００１５】
先ず、本顕微鏡装置の構成を説明する。
【００１６】
図１、図２は、本顕微鏡装置の光学系部分の構成を示す図である。図１（Ａ），（Ｂ）は、顕微鏡装置の光路を９０°異なる角度から見た図である。図２は、図１（Ａ），（Ｂ）中の符号Ａで示す箇所以降の光路を示す。
【００１７】
図１、図２に示すように、本顕微鏡装置には、レーザ光源などの光源１、ビーム整形レンズ２、回折格子４、アクチュエータ１９、コリメータレンズ５、ダイクロイックミラー６、走査ユニット７、反射鏡８、集光レンズ１５、１次元光検出器（ラインセンサ）１６、コンピュータや回路などからなるデータ処理装置１７、スキャナレンズ９、イメージローテータ１８、第２対物レンズ１１、反射鏡１２、対物レンズ１３、蛍光物質で標識された標本１４、不図示の画像表示装置などが配置される。なお、反射鏡８，１２などは光路配置上必要となったものであり、必須ではない。また、必要に応じて、ダイクロイックミラー６の入射光路や射出光路に励起フィルタやバリアフィルタなどを配置してもよい。
【００１８】
光源１から射出した光は、ビーム整形レンズ２の３枚のシリンドリカルレンズ２１，２２，２３により、線状の断面を持った平行光（１次元方向に伸びた平行光）に整形される。断面の長手方向は、少なくとも対物レンズ１３の視野の幅に相当する長さを持っていることが望ましい。
【００１９】
この平行光は、標本１４と光学的に共役な位置に配置された回折格子４へ入射し、各次数の回折成分を発生させる。その回折方向は、平行光の長手方向である。
【００２０】
回折格子４は、例えば、位相型や振幅型の１次元回折格子（図では透過型の回折格子）である。特に、位相型は０次回折成分が殆ど発生しないので好ましい。但し、現実には多少の０次回折成分が漏れ出てしまうため、瞳位置に０次回折成分をする遮光部材を配置し、０次回折成分が標本１４に到達しないようにしておく（０次遮光をする）ことが望ましい。因みに、０次遮光は、振幅型の回折格子を利用した場合にも必要となる。０次遮光のためには、瞳位置に配置される走査ユニット７の中央に吸収膜を形成してもよいが、回折格子４とコリメータレンズ５との間にリレー光学系を設けると共に、そのリレー光学系中の瞳位置に遮光部材を配置する方が望ましい。また、回折格子４は、アクチュエータ１９によって格子線に直交する方向へ移動可能である。
【００２１】
この回折格子４において発生した±１次回折成分は、コリメータレンズ５を介してダイクロイックミラー６へ入射し、そのダイクロイックミラー６を透過する。それら±１次回折成分は、走査ユニット７、反射鏡８、及びスキャナレンズ９を介して１次像面１０上に回折格子４の空間像（線状の空間像）を形成する。この空間像は、イメージローテータ１８、第２対物レンズ１１、反射鏡１２、及び対物レンズ１３を介して標本１４上に投影される。したがって、標本１４上は、線状の照明光、しかもその長手方向にかけて正弦波状に空間的に強度変調された照明光で照明（構造化照明）される。なお、対物レンズ１３の焦点面は、標本１４中の被観察面に一致している。この被観察面のみに着目すると、構造化照明のコントラストは高いが、被観察面の上下層まで含めてみると、構造化照明のコントラストは低くなっている。
【００２２】
標本１４上の線状の照明領域Ｅでは、蛍光が発生する。発生した蛍光は対物レンズ１３により集められ、反射鏡１２、第２対物レンズ１１、イメージローテータ１８、スキャナレンズ９、反射鏡８、走査ユニット７を介してダイクロイックミラー６へ到達する。その蛍光は、ダイクロイックミラー６で反射され、集光レンズ１５を介して照明領域Ｅの像を形成する。照明領域Ｅは空間変調されているため、その像は、各次数の変調成分を含んだ変調像となっている。この変調像は、照明領域Ｅと共役な位置に配置された１次元光検出器１６によって検出される。この位置に配置された１次元光検出器１６によれば、標本１４の被観察面以外からの余分な光の多くがカットされるので、照明領域Ｅの短手方向に関し共焦点効果を得ることができる。この共焦点効果によると、構造化照明の実際のコントラストが低かったとしても、１次元光検出器１６が生成した変調像の輝度分布データを扱う際には、構造化照明のコントラストを実質的に高くすることができる。
【００２３】
１次元光検出器１６が生成した変調像の輝度分布データは、データ処理装置１７へ送られる。データ処理装置１７は、輝度分布データに対し演算を施して標本１４の超解像画像を取得し、それを不図示の画像表示装置上に表示する。
【００２４】
なお、データ処理装置１７は、この演算の他に、顕微鏡装置内の各部を駆動して必要な情報を取得するための制御も行う。データ処理装置１７が走査ユニット７を駆動すると、照明領域Ｅがその短手方向に移動するので、標本１４上を照明領域Ｅで走査することができる。また、アクチュエータ１９を駆動すると、照明領域Ｅの構造化照明の位相（空間変調の位相）が変化する。また、イメージローテータ１８を駆動すると、標本１４における照明領域Ｅの方向を回転させることができる。
【００２５】
なお、イメージローテータ１８は、回折格子４や走査ユニット７よりも標本１４側に配置されるので、照明領域Ｅの方向を回転させると、構造化方向Ｄｂ及び走査方向Ｄａも一緒に回転する。よって、照明領域Ｅに対する構造化方向Ｄｂ及び走査方向Ｄａは不変である。
【００２６】
次に、データ処理装置１７の制御に関する手順を詳細に説明する。
【００２７】
図３は、データ処理装置１７の制御に関する動作フローチャートである。図３に示すとおり、データ処理装置１７は、標本１４上を照明領域Ｅで走査しながら１次元光検出器１６を繰り返し駆動して複数の輝度データを取得し、それら輝度データを合成して標本１４の２次元の変調像の画像データを取得する（Ｓ１１）。以下で説明する画像データは、照明領域Ｅを走査して輝度データを合成したものをいう。
【００２８】
さらに、データ処理装置１７は、変調像の画像データの取得（Ｓ１１）を、構造化照明の位相を変化させながら複数回行う（Ｓ１１〜Ｓ１３のループ）。例えば、データ処理装置１７は、位相を２π／Ｎずつ変化させながらＮ（Ｎ≧３）個の変調像の画像データを取得する。
【００２９】
取得したＮ個の変調像の画像データをＩ1j（ｊは位相番号であり、ｊ＝１，２，…，Ｎ）とおき、図４（Ａ）に示した。これら変調像の画像データＩ1j（ｊ＝１，２，…，Ｎ）の全体には、その構造化方向Ｄｂ（図４ではＸ方向）へ超解像化するための情報が含まれる。
【００３０】
さらに、データ処理装置１７は、Ｎ個の変調像の画像データの取得（Ｓ１１〜Ｓ１３のループ）を、照明領域Ｅの回転位置θを変化させ標本上を走査し、複数回行う（Ｓ１１〜Ｓ１５のループ）。例えば、データ処理装置１７は、照明領域Ｅの回転位置を１２０°ずつ変化させながら、Ｎ個の変調像の画像データの取得を合計３回行う。
【００３１】
図４（Ａ）に示すＮ個の画像データＩ1j（ｊ＝１，２，…，Ｎ）の取得時の回転位置θをθ＝０°とし、回転位置θ＝１２０°の下で取得されたＮ個の変調像の画像データをＩ2j（ｊ＝１，２，…，Ｎ）とおき、図４（Ｂ）に示した。また、回転位置θ＝２４０°の下で取得されたＮ個の変調像の画像データをＩ3j（ｊ＝１，２，…，Ｎ）とおき、図４（Ｃ）に示した。
【００３２】
変調像の画像データＩ1j（ｊ＝１，２，…，Ｎ）と、変調像の画像データＩ2j（ｊ＝１，２，…，Ｎ）と、変調像の画像データＩ3j（ｊ＝１，２，…，Ｎ）とでは、回転位置θが１２０°ずつ異なるので、構造化方向Ｄｂも１２０°ずつ異なる。
【００３３】
よって、これら３Ｎ個の変調像の画像データＩMj（Ｍ＝１，２，３，ｊ＝１，２，…，Ｎ）の全体には、１２０°ずつ異なる３方向へ超解像化するための情報が含まれる（なお、Ｍは回転位置番号である。）。
【００３４】
次に、データ処理装置１７の演算に関する手順を詳細に説明する。
【００３５】
図５は、データ処理装置１７の演算に関する動作フローチャートである。
【００３６】
（ステップＳ２１）
データ処理装置１７は、３Ｎ個の変調像の画像データＩMj（Ｍ＝１，２，３，ｊ＝１，２，…，Ｎ）の各々をフーリエ変換し、波数空間で表現された３Ｎ個の変調像の画像データＩkMj（Ｍ＝１，２，３，ｊ＝１，２，…，Ｎ）を得る。なお、波数空間で表現されたデータには、波数空間上の座標ｋを示す添え字「ｋ」を付す。
【００３７】
（ステップＳ２２）
データ処理装置１７は、回転位置θ＝０°の下で取得したＭ＝１の変調像の画像データＩk1j（ｊ＝１，２，３，…Ｎ）に対し所定の演算を施し、それら変調像の画像データに共通して含まれる各次数の変調成分ＩkL（Ｌは次数であり、Ｌ＝＋１，０，−１）を抽出し、図６（Ａ）に示すように±１次変調成分を０次変調成分に対して構造化照明の空間周波数Ｋだけ構造化方向Ｄｂへずらして並べなおし、標本１４の復調像の画像データＩk1を取得する。なお、図６において、各変調成分ＩkL（Ｌ＝＋１，０，−１）のデータ範囲を示す円のサイズは、構造化照明をしなかった場合の解像限界に対応している。また、ｋX軸，ｋY軸は、図４中に示した実空間上のＸ軸，Ｙ軸に対応している。
【００３８】
また、データ処理装置１７は、回転位置θ＝１２０°の下で取得したＭ＝２の変調像の画像データＩk2j（ｊ＝１，２，３，…，Ｎ）に対し所定の演算を施し、それら変調像の画像データに共通して含まれる各次数の変調成分ＩkL（Ｌ＝＋１，０，−１）を抽出し、それらを図６（Ｂ）に示すように構造化照明の空間周波数Ｋだけ構造化方向Ｄｂへずらして並べなおし、標本１４の復調像の画像データＩk2を取得する。
【００３９】
また、データ処理装置１７は、回転位置θ＝２４０°の下で取得したＭ＝３の変調像の画像データＩk3j（ｊ＝１，２，３，…，Ｎ）に対し所定の演算を施し、それら変調像の画像データに共通して含まれる各次数の変調成分ＩkL（Ｌ＝＋１，０，−１）を抽出し、それらを図６（Ｃ）に示すように構造化照明の空間周波数Ｋだけ構造化方向Ｄｂへずらして並べなおし、標本１４の復調像の画像データＩk3を取得する。
【００４０】
なお、本ステップの演算には、式（１）で表される方程式を適用することができる。
【００４１】
【数１】
2007043313.tif 000012
但し、Ｏk（ｋ＋ＬＫ）Ｐk（ｋ）がＩkLに相当し、ｍLは、Ｌ次変調成分ＩkLの回折強度を表す。因みに、Ｏk（ｋ）は、標本１４が有する実際のパターンを波数空間で表現したものであり、Ｐk（ｋ）は、標本１４から１次元光検出器１６までの顕微鏡光学系の伝達関数である。
【００４２】
特に、Ｎ＞３のとき、本ステップの演算には、式（２）で表される最小自乗法を適用することができる。最小自乗法によれば、複数のデータに重畳されているノイズの影響を抑えることができる。
【００４３】
【数２】
2007043313.tif 000013
但し、ｂLj＝ｍLｅｘｐ(２πｉｊ／Ｎ）である。
【００４４】
（ステップＳ２３）
データ処理装置１７は、図６に示した３つの復調像の画像データＩkM（Ｍ＝１，２，３）を図７に示すように合成して１つの復調像の画像データＩkを得る。３つの復調像の画像データＩkM（Ｍ＝１，２，３）の各々に含まれる０次変調成分Ｉk0は互いに共通の量を表しているので、その０次変調成分Ｉk0を基準として３つの復調像の画像データＩkM（Ｍ＝１，２，３）を合成すれば、その合成精度を高めることができる。
【００４５】
（ステップＳ２４）
データ処理装置１７は、復調像の画像データＩkを逆フーリエ変換して実空間で表現された復調像の画像データＩを得る。この復調像の画像データＩは、１２０°ずつ異なる３方向に亘る標本１４の超解像画像を表現する。この超解像画像が、不図示の画像表示装置へ表示される（以上、ステップＳ２４）。
【００４６】
以上まとめると、本顕微鏡装置は、標本１４を所定方向（Ｄｂ）へ亘り構造化照明すると共に、その非構造化方向（Ｄａ）に関しては共焦点効果が得られるような構成となっている。この共焦点効果により、構造化照明の実質的なコントラストは高まる。したがって、変調像の画像データＩMj（Ｍ＝１，２，３，ｊ＝１，２，…，Ｎ）の各々のＳＮ比は高まり、その分だけ標本１４の超解像画像は高精度に求まる。
【００４７】
また、本顕微鏡装置では、共焦点効果を得るために照明光を線状に整形するので、１度に取得できる情報が標本１４の１次元の情報のみとなるが、標本１４上を照明領域Ｅで走査するための機構（走査ユニット７）と、その機構及び１次元光検出器１６を適切に制御する制御手段（データ処理装置１７）とが備えられるので、標本１４の２次元の変調像の画像データを確実に取得することができる。
【００４８】
また、本顕微鏡装置には、構造化照明の位相を変化させるための機構（アクチュエータ１９）と、その機構及び１次元光検出器１６を適切に制御する制御手段（データ処理装置１７）とが備えられるので、復調像の画像データを確実に取得するための情報（位相の異なる複数の変調像の画像データ）を取得することができる。
【００４９】
また、本顕微鏡装置には、構造化方向Ｄｂを変化させるための機構（イメージローテータ１８）と、イメージローテータ１８及び１次元光検出器１６を適切に制御する制御手段（データ処理装置１７）とが備えられるので、超解像化の方向を確実に複数化することができる。
【００５０】
（その他）
なお、本実施形態では、照明領域Ｅの回転位置を変化させるために、光の方向を回転させるイメージローテータ１８を使用したが、標本１４の配置方向を回転させる回転ステージを使用してもよい。但し、イメージローテータ１８を使用した方が回転位置の再現性を高めることができるので好ましい。
【００５１】
また、本実施形態では、超解像化の方向を１２０°ずつ異なる３方向に設定したが、その方向の数や種類は変更されてもよい。なお、方向が１方向のみである場合には、イメージローテータ１８を省略することが可能である。
【００５２】
また、本実施形態では、変調像から復調像を得るための復調演算を波数空間で行った（図５を参照）が、例えば、特開平１１−２４２１８９号公報のように、復調演算を実空間上で行ってもよい。因みに、特開平１１−２４２１８９号公報の復調演算は、位相の異なる３個の変調像の画像データを線形の演算式に当てはめるものである。その演算式は、上述した式（１）を実空間で表現したものに相当する。
【００５３】
また、本実施形態では、必要なデータを取得する手順の全てが自動化されたが（図３参照）、その手順の一部を手動で行うこととしてもよい。
【００５４】
また、本実施形態では、取得したデータを処理する手順の全てが自動化されたが（図５参照）、その手順の一部又は全部を手計算で行うこととしてもよい。
【図面の簡単な説明】
【００５５】
【図１】実施形態の顕微鏡装置の光学系部分の構成を示す図である。
【図２】図１のＡ以降の光学系を示す図である。
【図３】データ処理装置１７の制御に関する動作フローチャートである。
【図４】取得した３Ｎ個の変調像の画像データを示す図である。
【図５】データ処理装置１７の演算に関する動作フローチャートである。
【図６】ステップＳ２２の処理を説明する図である。
【図７】ステップＳ２３の処理を説明する図である。
【国際調査報告】
2007043313.tif 000014
2007043313.tif 000015