(57)【要約】【課題】より正確な標本画像を取得できる顕微鏡装置を提供する。【解決手段】顕微鏡装置１は、光源１１から射出された光に対し空間変調を行う回折格子１６を有し、当該回折格子１６により空間変調されて得られた照明光を標本５へ照射する照明光学系１０と、照明光が照射された標本５からの変調像を結像する結像光学系３０と、変調像を撮像する撮像素子３５と、照明光の位相を変調する回折格子駆動装置２５と、照明光の位相を変調する毎に撮像素子３５が撮像した複数の変調像から標本５の画像を生成する画像処理装置４１とを備え、画像処理装置４１は、撮像素子３５から出力された画像信号の強度を撮像素子３５の画素単位で補正して変調像の光量に換算するようになっている。【選択図】図１
2009300589.tif 000002
【特許請求の範囲】
【請求項１】
光源から射出された光に対し空間変調を行う回折格子を有し、前記回折格子により空間変調されて得られた照明光を標本へ照射する照明光学系と、
前記照明光が照射された前記標本からの変調像を結像する結像光学系と、
前記変調像を撮像する撮像素子と、
前記照明光の位相を変調する位相変調部と、
前記位相変調部を利用して前記照明光の位相を変調する毎に前記撮像素子が撮像した複数の前記変調像から前記標本の画像を生成する画像処理装置とを備え、
前記画像処理装置は、前記撮像素子から出力された画像信号の強度を前記撮像素子の画素単位で補正して前記変調像の光量に換算する補正部を有して構成されることを特徴とする顕微鏡装置。
【請求項２】
前記補正部は、前記画素単位で求めた前記撮像素子への入射光量と前記撮像素子から出力される前記画像信号の強度との相関を示す関数を利用して、前記撮像素子へ入射する前記変調像の光量を求めることを特徴とする請求項１に記載の顕微鏡装置。
【請求項３】
前記画像処理装置は、前記撮像素子に均一な光が照射された状態で前記撮像素子から出力される画像信号に基づいて前記関数を求める演算部を有することを特徴とする請求項２に記載の顕微鏡装置。
【請求項４】
前記撮像素子に均一な光を照射して前記撮像素子から前記画像信号を得るための操作が行われる操作部を備えることを特徴とする請求項３に記載の顕微鏡装置。
【請求項５】
前記画像処理装置は、前記画素単位で求めた、前記撮像素子から出力される前記画像信号の強度に対応した前記撮像素子への入射光量を示すデータテーブルを有し、
前記補正部は、前記データテーブルを利用して、前記撮像素子へ入射する前記変調像の光量を求めることを特徴とする請求項１に記載の顕微鏡装置。
【請求項６】
前記補正部は、前記データテーブルのデータから補間計算を行うことにより、前記撮像素子へ入射する前記変調像の光量を求めることを特徴とする請求項５に記載の顕微鏡装置。
【請求項７】
前記画像処理装置は、前記撮像素子に均一な光が照射された状態で前記撮像素子から出力される画像信号に基づいて前記データテーブルを生成する演算部を有することを特徴とする請求項５もしくは６に記載の顕微鏡装置。
【請求項８】
前記撮像素子に均一な光を照射して前記撮像素子から前記画像信号を得るための操作が行われる操作部を備えることを特徴とする請求項７に記載の顕微鏡装置。
【請求項９】
前記回折格子は、前記照明光学系の光軸と垂直な方向に並ぶ格子パターンを有し、
前記位相変調部は、前記格子パターンが並ぶ方向へ前記回折格子を移動させることにより、前記照明光の位相を変調することを特徴とする請求項１から８のうちいずれか一項に記載の顕微鏡装置。
【請求項１０】
前記回折格子は、前記照明光学系の光軸と垂直な面内で互いに直交するように並ぶ２つの格子パターンを有し、
前記２つの格子パターンのうちいずれかが並ぶ方向へ前記回折格子を移動させることにより、前記照明光の位相を変調することを特徴とする請求項１から８のうちいずれか一項に記載の顕微鏡装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、構造化照明顕微鏡からなる顕微鏡装置に関する。
【背景技術】
【０００２】
光学顕微鏡の分解能は対物レンズの開口数と波長により決まり、分解能を高めるためには、一般に波長を短くするか開口数を大きくするより方法がないとされてきた。その一方で、開口数と波長により決定されるそれよりも高い分解能で標本を観察したいと言う要求がある。
【０００３】
この要求に答える技術の一つとして、例えば、照明光学系において観察する標本付近に照明光の空間周波数を変調する変調手段を設け、この変調手段により照明光の空間周波数を変調しながら複数の撮影画像を取得し、取得した複数の撮影画像を線形計算によって復調することにより、高分解能の標本画像を得る構造化照明顕微鏡が提案されている（例えば、特許文献１を参照）。
【特許文献１】特開平１１−２４２１８９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
一般に複数の受光素子から構成される撮像素子は、全ての受光素子がそれぞれ同一の感度および背景ノイズレベルを有するように作られている。しかし実際には、製造誤差等により、±数％もの感度のバラツキや背景ノイズのバラツキが発生することがある。そのため、従来の顕微鏡においては、画像取得に用いられる撮像素子の各受光素子に存在する感度や背景ノイズのバラツキに起因する固定パターンノイズを考慮していないため、復調によって得られた画像に誤差が生じるおそれがある。
【０００５】
特に、構造化照明顕微鏡では、構造化照明の条件を変化させながら複数枚の画像を取得し、そこから回折成分を分離した後、本来の波数空間に並べ直して合成する（すなわち、復調する）ことで標本画像を取得する。このため、復調前の画素における信号強度のバラツキが高い空間周波数成分へ伝達されてしまい、正確な標本画像を取得できなくなるおそれがあった。
【０００６】
本発明は、このような問題に鑑みてなされたものであり、より正確な標本画像を取得できる顕微鏡装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
このような目的達成のため、本発明を例示する第一の態様に従えば、光源から射出された光に対し空間変調を行う回折格子を有し、前記回折格子により空間変調されて得られた照明光を標本へ照射する照明光学系と、前記照明光が照射された前記標本からの変調像を結像する結像光学系と、前記変調像を撮像する撮像素子と、前記照明光の位相を変調する位相変調部と、前記位相変調部を利用して前記照明光の位相を変調する毎に前記撮像素子が撮像した複数の前記変調像から前記標本の画像を生成する画像処理装置とを備え、前記画像処理装置は、前記撮像素子から出力された画像信号の強度を前記撮像素子の画素単位で補正して前記変調像の光量に換算する補正部を有して構成されることを特徴とする顕微鏡装置が提供される。
【発明の効果】
【０００８】
本発明によれば、撮像素子の出力信号から正確な入射光量を算出し、入射光量をできるだけ正確に反映した、より正確な標本画像を取得することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して本発明の実施形態について説明する。本発明に係る顕微鏡装置である構造化照明顕微鏡の第１実施形態を図１に示す。第１実施形態の構造化照明顕微鏡１は、照明光学系１０と、結像光学系３０と、撮像素子３５と、画像処理装置４１が組み込まれた制御装置４０と、モニター５０とを主体に構成される。
【００１０】
結像光学系３０は、光源側から順に、ランプ光源１１と、コレクタレンズ１２と、リレーレンズ１３と、開口絞り１４と、フィールドレンズ１５と、回折格子１６と、コンデンサレンズ１７と、折返しミラー１８と、リレーレンズ１９と、視野絞り２０と、第２対物レンズ２１と、ハーフミラー９と、対物レンズ７とを有して構成される。そして、ランプ光源１１からの光は、コレクタレンズ１２およびリレーレンズ１３を介して開口絞り１４の開口部に集光され、フィールドレンズ１５で結像光学系３０の光軸に対し略平行な平行光に変換されて回折格子１６に入射される。回折格子１６から出射された光は、コンデンサレンズ１７で集光されて、対物レンズ７の瞳面８の共役位置に配置された折返しミラー１８で偏向され、リレーレンズ１９、視野絞り２０、および第２対物レンズ２１を介して、ハーフミラー９に達する。ハーフミラー９に達した光は、当該ハーフミラー９において対物レンズ７の瞳面８に集光されるように対物レンズ７側に反射され、対物レンズ７を介して標本５に照射される。
【００１１】
結像光学系３０は、物体（標本５）側から順に、対物レンズ７と、ハーフミラー９と、結像レンズ３１とを有して構成される。そして、標本５からの光は、対物レンズ７で集光され、ハーフミラー９を透過し結像レンズ３１を介して撮像素子３５に結像される。
【００１２】
撮像素子３５は、結像光学系３０により結像された像を撮像し、画像信号を制御装置４０の画像処理装置４１に出力する。画像処理装置４１は、所定の演算処理を行って標本５の画像である標本画像を生成する。そして、画像処理装置４１により生成された標本画像は、制御装置４０のメモリ（図示せず）に記憶されるとともに、モニター５０で表示されてユーザに観察される。また、回折格子１６には、回折格子１６を構成する格子パターンが並ぶ方向へ回折格子１６を移動させる回折格子駆動装置２５が接続され、制御装置４０により回折格子駆動装置２５の作動が制御される。
【００１３】
なお、画像処理装置４１は、ＭＰＵ（Micro  Processing  Unit）を搭載した図示しない回路基板を主体に構成され、図２に示すように、入力部４２と、内部メモリ４３と、演算処理部４４と、出力部４５とを有している。そして、撮像素子３５からの画像信号が入力部４２より入力され内部メモリ４３に記憶されると、演算処理部４４は、内部メモリ４３に記憶された画像信号のデータから標本画像を生成し、生成した標本画像の画像データを出力部４５からモニター５０および制御装置４０のメモリ（図示せず）へ出力するようになっている。
【００１４】
以下、第１実施形態の構造化照明顕微鏡１による画像取得について説明する。第１実施形態の回折格子１６は、結像光学系３０の光軸と垂直な紙面内の方向に１次元の透過率分布を持つ格子パターンを有しており、図１の破線で示す回折光を生じさせる。なお、このような回折格子に限らず、ランプ光源１１の波長に対して１／２波長の光路差となるような位相回折格子を用いるようにしてもよい。
【００１５】
本実施形態により高い空間分解能を得るため、回折格子１６は、標本５上に（回折格子１６により）空間変調された照明光を投影できる範囲で、周期の細かいものが望ましい。この際、モアレを発生させるために十分細かい正弦波状の照明を標本５に対して行えればいいので、結像限界付近の周期を持った格子に対して斜光照明を行うか、あるいは、±１次光の回折が結像できる周期の回折格子１６に対して±１次光のみが透過できるように、対物レンズ７の瞳面８と共役な面に遮光板を配置することが好ましい。
【００１６】
本実施形態においては、±１次光が標本５上で干渉し解像限界付近の周期の照明となるような回折格子１６を用いている。回折格子１６によって±１次光はそれぞれフィールドレンズ１７の周辺部を通るように分離され、＋１次光と−１次光は瞳面上に置かれた折返しミラー１８の周辺部の位置にそれぞれスポットを作る。ここで、折返しミラー１８上で±１次光が重ならないように開口絞り１４を調節しておく。なお、光源１１として単色光を利用した場合、上記±１次光が重ならないような照明条件とすることは容易であるため、開口絞り１４は設けなくてもよい。
【００１７】
回折格子１６の種類と照明条件によっては０次光が発生するので、折り返しミラー１８表面の光軸上に０次光を遮る遮光板（図示せず）を配置し、正弦波状の照明に不要な０次光を除去することが望ましい。なお、図１においては、折り返しミラー１８を瞳面上に置いたため０次光を除去する遮光板（図示せず）を折り返しミラー1８上に設けたが、折り返しミラー１８を使用しない場合、あるいは、それが瞳面と異なる位置に置かれた場合は、折り返しミラー１８上ではなく、照明光学系３０中の瞳面８と共役な位置に遮光板（図示せず）を設けるようにすればよい。
【００１８】
折返しミラー１８で偏向された±１次光は、対物レンズ７の瞳面８の周縁部を通り、標本５付近で互いに干渉することにより縞構造を有する照明光となり標本５に照射される。このような（空間変調された）照明光が照射された標本５からの反射光は、結像光学系３０により撮像素子３５に導かれ、空間変調された照明光が照射された標本５の像（以下、変調像と称する）が結像される。
【００１９】
変調像の撮像は、例えばＣＣＤやＣＭＯＳ等の撮像素子３５によって行われる。このとき、回折格子駆動装置２５により、格子パターンが並ぶ方向へ正確にその周期の１／Ｎだけ回折格子１６をずらしながら、Ｎ枚の画像を取得する。ただし、Ｎは３以上であり、できるだけ大きいことが望ましい。
【００２０】
撮像素子３５によって撮像取得された複数の変調像の画像信号は、画像処理装置４１の入力部４２から内部メモリ４３に送られ、内部メモリ４３に記憶された画像信号のデータに対し、演算処理部４４が所定の演算処理を行うことで標本画像（画像データ）を生成する。そこで、標本画像を生成するための演算の内容を以下に示す。
【００２１】
画像上の点ｒ＝（ｘ，ｙ）について点像強度分布Ｐ（ｒ）を持つ顕微鏡光学系において、標本Ｏ（ｒ）にある強度分布を持った照明を与えると、標本における回折光は空間変調を受ける。単一の空間周波数成分ベクトルＫを持つ正弦波状の照明の場合、空間変調成分としては、０次および±１次の３変調成分となる。これらの空間変調をｍｌｅｘｐ（ｉｌＫｒ＋ｉｌφ）と表記(ただし、ｌ＝１，０，−１)すると、空間変調を受けた標本の像（撮像素子３５への入射光量Ｉ（ｒ））は、次の（１）式のように表すことができる。
【００２２】
【数１】
2009300589.tif 000003
【００２３】
ここで、ｒは標本上の位置ベクトルであってＫｒはベクトルの内積を表し、＊は畳み込み積分を表す。また、φは変調位相である。
【００２４】
前述のように回折格子１６をずらしながら撮像を行うと、同一の変調周波数、変調振幅を持ち、変調位相φのみ異なる画像がＮ枚得られるが、このときのｊ番目の画像信号強度（撮像素子３５への入射光量）Ｉj（ｒ）は、j番目の画像の構造化照明位相をφjとすると、次の（２）式で表わされ、Ｎ個の方程式が得られる。
【００２５】
【数２】
2009300589.tif 000004
【００２６】
また、撮像素子３５への入射光量と撮像素子３５からの出力信号強度（画像信号の強度）との関係を事前に測定した測定データから、入射光量Ｉ(ｒ)を出力信号強度Ｓ(ｒ)によって次の（３）式のように近似する。
【００２７】
【数３】
2009300589.tif 000005
【００２８】
ここで、ａ(ｒ)は撮像素子３５を構成する各受光素子の感度を表し、ｂ(ｒ)は各受光素子の背景ノイズを表す。なお、事前の測定データは、テーブルとして制御装置４０の不図示のメモリに記憶しておくことが望ましい。
【００２９】
図３は、撮像素子３５を構成する各受光素子の感度ａ(ｒ)を画像化したものの一例である。図３において、明るい領域は受光素子の感度が高いことを示し、暗い領域は受光素子の感度が低いことを示している。図４は、各受光素子の背景ノイズｂ(ｒ)を画像化したものの一例である。図４において、明るい領域は受光素子の背景ノイズが大きいことを示し、暗い領域は受光素子の背景ノイズが小さいことを示している。
【００３０】
図３および図４に示すような受光素子ごとの感度ａ(ｒ)および背景ノイズｂ(ｒ)は、次のようにして求める。まず、撮像素子３５上に均一な照明を施す。撮像素子３５（ＣＣＤカメラ）が顕微鏡１に接続してあれば、顕微鏡１の対物瞳面もしくはその近傍に拡散板（図示せず）を置くことで撮像素子３５上に均一な照明を施すことが望ましい。またこのとき、（拡散板の）光源強度を十分弱くし、可能ならば数秒程度の露光時間で撮像素子３５が飽和する程度にする。
【００３１】
次に、露光時間を０からカメラ出力の一部が飽和するまで変化させながら、撮像素子３５によって所定の露光時間ごとに画像を取得する。このとき、できるだけ露光時間は等間隔とし、数通り以上の露光時間に対して画像を取得するようにする。
【００３２】
そして、撮像素子３５の（各受光素子に対応した）各画素における出力信号強度Ｓ（ｒ）ごとに、線形フィッティングを施し、露光時間ｔに対して、次の（４）式を満たすような感度ａ(ｒ)および背景ノイズｂ(ｒ)を求める。
【００３３】
【数４】
2009300589.tif 000006
【００３４】
なお、線形フィッティングには最小自乗近似を用いることでより信頼性を得ることができる。その際、出力信号が飽和していない線形性の良好な領域の測定データを利用するとよい。また、感度ａ(ｒ)および背景ノイズｂ(ｒ)を求めるために撮像素子３５から出力された画像信号は、画像処理装置４１の入力部４２から内部メモリ４３に入力され、演算処理部４４が所定のプログラムに基づいて感度ａ(ｒ)および背景ノイズｂ(ｒ)を求める。なお、感度ａ(ｒ)および背景ノイズｂ(ｒ)を求めるための演算部を別途設けるようにしてもよい。
【００３５】
また、入射光量Ｉ(ｒ)と出力信号強度Ｓ(ｒ)の関係は、撮像素子３５の温度や内部ゲイン等によって異なる。したがって、実際に利用する撮像素子３５の温度や内部ゲインに合わせて、それぞれデータを取得し、近似する必要があり、それぞれの温度や内部ゲインごとに感度ａ(ｒ)および背景ノイズｂ(ｒ)のデータを取得し、テーブルとして制御装置４０の不図示のメモリに記憶しておくことが望ましい。そこで、制御装置４０と接続されたキーボード等の操作部４９（図１を参照）を操作することにより、制御装置４０に感度ａ(ｒ)および背景ノイズｂ(ｒ)を求めるための作動を行わせるようになっている。これにより、必要なときに感度ａ(ｒ)および背景ノイズｂ(ｒ)を求めることが可能になる。
【００３６】
撮像素子３５における入射光量Ｉ(ｒ)と出力信号強度Ｓ(ｒ)との間の補正は、撮像素子３５からの読み出し直後に行うことも可能であるが、回折成分分離計算と同時に行った方がＭＰＵ（Micro  Processing  Unit）による処理速度の点で有利である。多くのＭＰＵにはキャッシュメモリが搭載されているが、これは通常のデータ処理に見られる処理の局在性を利用して、大きなコストアップを避けつつ高性能を達成する技術である。
【００３７】
従って、このようなアーキテクチャを持ったＭＰＵで画像処理を行う場合には、同一画素についての演算はなるべくまとめて処理するのが望ましい。従って、出力信号強度Ｓ(ｒ)を補正する処理は回折成分の分離とともに行うのが望ましい。（２）式および（３）式より、次の（５）式で示すようなＮ個の方程式が得られる。
【００３８】
【数５】
2009300589.tif 000007
【００３９】
（５）式においては、Ｏ（ｒ）ｅｘｐ（ｉｌＫｒ）が未知数であり、これらはＮ≧３の画像を取得することで求めることができる。Ｎ個の方程式である（５）式のうち３つの式を用いると、次の（６）式が得られる。
【００４０】
【数６】
2009300589.tif 000008
【００４１】
この方程式を解くことで、Ｏ（ｒ）ｅｘｐ（ｉｌＫｒ）*Ｐ（ｒ）を求めることができる。
【００４２】
または、Ｎ≧４の画像から、公知の手法により最小２乗法を用いて求めてもよい。最小２乗法を用いることでノイズを低減させることができる。これらは、ｌ＝０が超解像ではない通常の顕微鏡像に、ｌ＝±１が超解像成分に対応する。
【００４３】
上記で求められるＯ（ｒ）ｅｘｐ（ｉｌＫｒ）*Ｐ（ｒ）はそれぞれ（すなわち、ｌ＝−１，０，１についてそれぞれ）、波数空間においてＯｋ（ｋ）Ｐｋ（ｒ+ｌＫ）に対応する。ここで、Ｏｋ（ｋ）は標本における発光体の分布のフーリエ変換であり、Ｐｋ（ｋ）は強度分布を持たない照明を与えた場合の顕微鏡光学系が持つ伝達関数（ＯＴＦ：Optical Transfer Function）である。
【００４４】
強度分布を持たない照明を与えた場合の通常の伝達関数は、光の波長をλとすると、対物レンズ７のＮＡに対して−２ＮＡ／λ≦ｋ≦２ＮＡ／λであるから、上記で得られた標本情報Ｏ（ｒ）ｅｘｐ（ｉｌＫｒ）*Ｐ（ｒ）は、ｌ＝−１に対して−２ＮＡ／λ−Ｋ≦ｋ≦２ＮＡ／λ−Ｋ、ｌ＝０に対して−２ＮＡ／λ≦ｋ≦２ＮＡ／λ、ｌ＝１に対して−２ＮＡ／λ＋Ｋ≦ｋ≦２ＮＡ／λ＋Ｋの情報を含むことがわかる。従って、Ｏ（ｒ）ｅｘｐ（ｉｌＫｒ）*Ｐ（ｒ）全体としては、−２ＮＡ／λ−Ｋ≦ｋ≦２ＮＡ／λ＋Ｋまでの情報を含むので、高い解像度を持った顕微鏡画像、すなわち標本画像を得ることができる。
【００４５】
この結果、第１実施形態の構造化照明顕微鏡１によれば、撮像素子３５からの出力信号強度Ｓ(ｒ)を撮像素子３５の画素単位で補正して撮像素子３５への入射光量Ｉ(ｒ)（すなわち、変調像の光量）に換算するため、前もって測定した撮像素子３５の感度および背景ノイズのバラツキから、撮像素子３５の出力信号から正確な入射光量を算出することができ、入射光量をできるだけ正確に反映した、より正確な標本画像を取得することができる。特に、格子パターンが並ぶ方向へ回折格子１６を移動させることにより、照明光の位相を変調する構成の構造化照明顕微鏡１において、高い効果を得ることができる。
【００４６】
また、撮像素子３５への入射光量Ｉ(ｒ)と撮像素子３５からの出力信号強度Ｓ(ｒ)との相関を示す関数（（３）式）を利用して、撮像素子３５へ入射する変調像の光量を求めるようにすれば、比較的単純な計算で出力信号強度Ｓ(ｒ)の補正を行うことができる。
【００４７】
また、撮像素子３５に均一な光が照射された状態で、撮像素子３５から出力される画像信号に基づいて関数（（３）式）を求める演算処理部４４を有することで、観察条件に応じて関数（（３）式）を使い分けることができ、より正確な標本画像を取得することが可能になる。
【００４８】
なお、上述のような補正に基づいて得られた像は、空間変調がなされた１次元方向のみに高い解像度を持つが、空間変調を施す方向を少なくとも２方向に変化させ、それぞれの方向について１次元と同様の処理を施すことで２次元方向の高い解像度を持った顕微鏡を構成することもできる。
【００４９】
このとき、空間変調を施す方向は３方向が望ましい。２方向のみの場合はそれら２方向の中間方向に超解像効果があまり得られないが、３方向ではそれら３方向の間の方向でも超解像効果の最大となる方向とくらべ遜色のない程度までの超解像効果が得られる。４方向以上とすると撮像枚数の増加のわりには照明方向の間における超解像の低下を抑える効果が少なくなる。
【００５０】
次に、構造化照明顕微鏡の第２実施形態について図５を参照しながら説明する。第２実施形態の構造化照明顕微鏡１０１は、第１実施形態の構造化照明顕微鏡１と比較して、回折格子および回折格子駆動装置の構成と、画像処理装置による画像処理方法が異なっており、他の構成は同様の構成であるため、同一の部材には同じ符号を付して詳細な説明を省略する。
【００５１】
第２実施形態の照明光学系１１０に構成される回折格子１１６は、照明光学系１１０の光軸に対して垂直な面内で互いに直行する正弦波状の透過率分布を持つ回折格子である。回折格子１１６は光軸に対して垂直な面内の２方向に並ぶ２つの格子パターンが形成され、それぞれの格子パターンは必ずしも直交している必要はないが、以下で説明する演算処理が単純となるため直交していたほうが望ましい。また、回折格子１１６には、回折格子１１６の２つの格子パターンが並ぶ方向へそれぞれ回折格子１１６を移動させる回折格子駆動装置１２５が接続され、制御装置４０により回折格子駆動装置１２５の作動が制御される。
【００５２】
この回折格子１１６は、紙面に垂直な方向に沿って延びる格子パターンによって図５の破線で示す回折光を生じさせる。また、紙面内の方向に沿って延びる格子パターンによって、紙面の上下を通る図示しない回折光が生じる。本実施形態により高い空間分解能を得るため、回折格子１１６は、標本５上に（回折格子１１６により）空間変調された照明光を投影できる範囲で、周期の細かいものが望ましい。このため、回折光のうち考慮しなければならないのは±１次光のみとなる。なお、２方向の格子パターンの周期は同じであるほうが望ましいが、２方向の解像度が異なることが問題とならない場合には、２方向の周期は異なっていてもかまわない。
【００５３】
また、モアレを発生させるために十分細かい正弦波状の照明を標本５に対して行えればいいので、結像限界付近の周期を持った格子に対して斜光照明を行うか、あるいは、±１次光の回折が結像できる周期の回折格子１１６に対して±１次光のみが透過できるように、対物レンズ７の瞳面８と共役な面に遮光板を配置することが好ましい。なお、回折格子１１６は０次光成分が十分少ない必要があるため、上記のような回折格子に限らず、ランプ光源１１の波長に対して１／２波長の光路差となるような位相回折格子を用いるようにしてもよい。
【００５４】
回折格子１１６によって±１次光はそれぞれフィールドレンズ１７周辺部を通るように分離され、＋１次光と−１次光は折返しミラー１８の周辺部の位置にそれぞれスポットを作る。ここで、折返しミラー１８上で±１次光が重ならないように開口絞り１４を調節しておく。なお、光源１１として単色光を利用した場合には上記±１次光が重なることはないため、開口絞り１４は設けなくてもよい。
【００５５】
折返しミラー１８で偏向された±１次光は、対物レンズ７の瞳面８の周縁部を通り、標本５付近で互いに干渉することにより縞構造を有する照明光となり標本５に照射される。このような（空間変調された）照明光が照射された標本５からの反射光は、結像光学系３０により撮像素子３５に導かれ、空間変調された照明光が照射された標本５の変調像が結像される。
【００５６】
変調像の撮像は、撮像素子３５によって行われる。回折格子１１６が互いに直交する２方向の格子パターンを有しているため、標本５上には互いに直交する２方向の格子パターンに基づく光が照明されている。回折格子駆動装置１２５により、互いに直交する２方向についてそれぞれ、格子パターンが並ぶ方向へ正確にその周期の１／Ｎだけ回折格子１１６をずらしながら画像を取得する。
【００５７】
すなわち、２方向の格子パターンのうち一方が並ぶ方向(これをｙ方向とする)に１／Ｎずつ位置をずらしながらＮ枚の画像を取得し、次に、もう一方の格子パターンが並ぶ方向(これをｘ方向とする)に１／Ｎだけ位置をずらしてから、再びｙ方向に１／Ｎずつ位置をずらしながらＮ枚の画像を取得する。以下、これを繰り返して、ｘ方向についてもＮ回位置をずらすことで（Ｎ×Ｎ）枚の画像を取得する。
【００５８】
撮像素子３５によって撮像取得された複数の変調像の画像信号は、画像処理装置１４１に送られ、画像処理装置１４１における演算処理部が所定の演算処理を行うことで標本画像（画像データ）を生成する。そこで、第２実施形態の構造化照明顕微鏡１０１により標本画像を取得するための演算の内容を以下に示す。
【００５９】
上記のようにして回折格子１１６をずらしながら撮像を行うと、一方の格子パターンにおける同一位相の画像がＮ枚取得できるが、これらの画像はもう一方の格子パターンにより変調振幅が異なる。すなわち、上記格子パターンの方向をそれぞれｘ方向およびｙ方向とすると、構造化照明強度Ｉriは一般に、次の（７）式のように表わすことができる。
【００６０】
【数７】
2009300589.tif 000009
【００６１】
そのため、位相φxをｘ方向にφx＝０，…，２πｊ／Ｎx，…，２π（Ｎx−１）／Ｎxとなるようにずらすと、ある特定のｘにおいて、ｙ方向の照明振幅はｃｏｓ（２πｊ／Ｎy）に比例した値を持つことになる。すなわち変調振幅の異なる画像が得られることになる。
【００６２】
具体的には、（７）式で示す構造化照明で標本を照明し、φy=０を固定とし、φxをφx＝０，…，２πｊ／Ｎx，…，２π（Ｎx−１）／Ｎxと変化させながらＮx枚の標本像を撮像する。そのときの画像信号をＳj（ｒ）とすると、第１実施形態における１次元の場合と同様に（４）式を使い、（５）式と同様の（８）式を得ることができる。
【００６３】
【数８】
2009300589.tif 000010
【００６４】
（８）式に基づく方程式を３個作成して（６）式と同様にして解くか、もしくは、Ｎ≧４の画像から公知の最小自乗法を利用した方法を用いることにより、Ｏ（ｒ）ｅｘｐ（ｉｌxＫｒ）*Ｐ（ｒ）を求め（ただし、ｌx＝−１，０，１）、これをＯx（ｒ）ｅｘｐ（ｉｌxＫxｘ）*Ｐ（ｒ）とする。
【００６５】
次に、これらをφy＝２π／Ｎy，…，２πｊ／Ｎy，…，２π（Ｎy−１）／Ｎyと変化させながら前記φy＝０の場合も含めてＮy組繰り返すと、Ｏx（ｒ）ｅｘｐ（ｉｌxＫxｘ）*Ｐ（ｒ）をＮy組計算することができる。
【００６６】
最後に、φyを変化させて得られたＮy組のＯx（ｒ）ｅｘｐ（ｉｌxＫxｘ）*Ｐ（ｒ）から３組を選ぶと、（６）式に相当する（９）式がｌx＝−１，０，１に対してそれぞれ1個ずつできる。
【００６７】
【数９】
2009300589.tif 000011
【００６８】
この（９）式をｌxごとに解くことで、Ｏ（ｒ）ｅｘｐ（ｉｌxＫxｘ+ｉｌyＫyｙ）*Ｐ（ｒ）を求めることができる（ただし、ｌx＝−１，０，１および、ｌy＝−１，０，１）。
【００６９】
これらのうち、ｌx＝０およびｌy＝０の成分が通常の顕微鏡画像に対応するが、その他の成分は超解像情報に対応する成分であるため、第１実施形態の場合と同様に合成することで超解像画像を得ることができる。
【００７０】
なお、ここでは、構造化照明位相を等間隔で変化させる場合について述べたが、実際には不等間隔でも上に述べた補正演算手法により画像の復調は可能であり、これらの複数の撮影画像を画像処理装置により補正演算することで標本画像を作成する。演算処理は第１実施形態で述べた手法を二次元に拡張して適用すればよい。
【００７１】
以上述べたように、第２実施形態の構造化照明顕微鏡１０１によれば、第１実施形態の場合と同様の効果を得ることができる。
【００７２】
なお、上述の各実施形態は例に過ぎず、上述の構成や形状に限定されるものではなく、本発明の範囲内において適宜修正、変更が可能である。
【００７３】
また、上述の各実施形態において、撮像素子３５への入射光量と撮像素子３５からの出力信号強度との相関を示す関数（（３）式）を利用して、撮像素子３５へ入射する変調像の光量を求めているが、これに限られるものではなく、撮像素子３５からの出力信号強度に対応した撮像素子３５への入射光量を示すデータテーブルを利用して、撮像素子３５へ入射する変調像の光量を求めるようにしてもよい。このようにしても、上述の場合と同様の効果を得ることができる。なお、このようなデータテーブルを用いる場合、補間計算を行うようにすれば、より正確に入射光量を求めることができる。
【００７４】
またこのとき、上述の場合と同様に、撮像素子３５に均一な光が照射された状態で撮像素子３５から出力される画像信号に基づいて、演算処理部等によりデータテーブルを生成することができ、このようなデータテーブルを得るための操作は、操作部４９によって行われる。これにより、上述の場合と同様の効果を得ることができる。
【００７５】
また、上述の各実施形態において、照明光の位相を変調した複数の画像を取得しているが、これに限られるものではなく、照明光の変調振幅を変化させて複数の画像を取得するようにしてもよい。
【図面の簡単な説明】
【００７６】
【図１】第１実施形態にかかる構造化照明顕微鏡の概略構成図である。
【図２】画像処理装置の制御ブロック図である。
【図３】撮像素子の感度のバラツキを画像化して示す図である。
【図４】撮像素子の背景ノイズのバラツキを画像化して示す図である。
【図５】第２実施形態にかかる構造化照明顕微鏡の概略構成図である。
【符号の説明】
【００７７】
１  構造化照明顕微鏡（第１実施形態）
５  標本
１０  照明光学系                        １１  ランプ光源
１６  回折格子                          ２５  回折格子駆動装置（位相変調部）
３０  結像光学系                        ３５  撮像素子
４１  画像処理装置                      ４４  演算処理部（補正部および演算部）
４９  操作部
１０１  構造化照明顕微鏡（第２実施形態）
１１０  照明光学系
１１６  回折格子                        １２５  回折格子駆動装置（位相変調部）
１４１  画像処理装置
【図１】
2009300589.tif 000012
【図２】
2009300589.tif 000013
【図３】
2009300589.tif 000014
【図４】
2009300589.tif 000015
【図５】
2009300589.tif 000016