(57)【特許請求の範囲】
【請求項１】
正弦波状に空間変調された照明光により標本を照明し、
前記照明光により照明された前記標本からの光を結像させ、取得した画像から画像演算処理により標本像を作成する画像作成方法において、
前記標本上での前記照明光による前記標本からの発光に含まれる空間変調成分の数よりも多くの枚数の画像を取得し、これら撮像された複数枚の画像を構成する空間周波数成分の各々についてこれらを撮像した際に変化させた量をパラメータとして、複素数を考慮した以下の式に示す最小自乗法を適用し、最も尤もらしい標本像を作成することを特徴とする画像作成方法。
【数１】
0004123305.tif 000009
ここで、ｂｌｊ＝ｍｌexp（ｉφｊ）（ｍｌは前記照明光の変調振幅、φｊはｊ番目の前記画像の前記照明光の変調位相である）、又、Ｉｋｊ（ｋ）はj番目の前記画像の信号強度、Ｐｋ（ｋ）は光学系の伝達関数である。
【請求項２】
前記標本上における照明光の位相を変化させながら、前記複数枚の画像を取得することを特徴とする請求の範囲第１項に記載の画像作成方法。
【請求項３】
前記標本上での照明光の変調振幅を変化させながら、前記複数枚の画像を取得することを特徴とする請求の範囲第１項に記載の画像作成方法。
【請求項４】
前記標本に対して前記空間変調された前記照明光を施す方向が３方向であり、
前記（４）式に代えて、以下の式に示す最小自乗法を適用することにより
１つの０次光変調成分、各３つの±1次光変調成分を分離することを特徴とする請求項１から３のいずれか１項に記載の画像作成方法。
【数２】
0004123305.tif 000010
ここで、Ｎdは前記照明光を施す各方向の画像数、ｍｌは前記照明光の変調振幅、φｊはｊ番目の前記画像の前記照明光の変調位相である。又、Ｉｋｊ（ｋ）はj番目の前記画像の信号強度、Ｐｋ（ｋ）は光学系の伝達関数である。
【請求項５】
光源と、
標本と光学的に共役な位置に配置された回折格子を含み、前記光源からの光を前記回折格子により変換された、正弦波状に空間変調した光を前記標本へ照明する照明光学系と、
前記回折格子を変調する変調装置と、
前記標本からの空間変調された標本像を撮像する撮像手段と、
前記撮像手段で撮像した、前記標本上での照明光による前記標本からの発光に含まれる空間変調成分の数よりも多くの枚数の画像を構成する空間周波数成分の各々について、これらを撮像した際に変化させた量をパラメータとして、複素数を考慮した以下の式に示す最小自乗法を適用し、最も尤もらしい標本の画像を生成する画像生成装置とを有することを特徴とする顕微鏡装置。
【数３】
0004123305.tif 000011
ここで、ｂｌｊ＝ｍｌexp（ｉφｊ）（ｍｌは前記照明光の変調振幅、φｊはｊ番目の前記画像の前記照明光の変調位相である）、又、Ｉｋｊ（ｋ）はj番目の前記画像の信号強度、Ｐｋ（ｋ）は光学系の伝達関数である。
【請求項６】
前記撮像手段は、前記標本上での照明光の位相を変化させた複数枚の画像を撮像することを特徴とする請求項５に記載の顕微鏡装置。
【請求項７】
前記撮像手段は、前記標本上での照明光の変調振幅を変化させた複数枚の画像を撮像することを特徴とする請求項５に記載の顕微鏡装置。
【請求項８】
前記回折格子は、光軸に垂直な面内に２方向の格子パターンを有し、
前記変調装置は、前記２方向のそれぞれに対して垂直な方向に前記回折格子を移動することを特徴とする請求項５から請求項７のうちいずれか１項に記載の顕微鏡装置。
【請求項９】
前記回折格子は、光軸に垂直な面内に１方向の格子パターンを有し、
前記標本に対して前記空間変調された前記光を３方向から施して取得した複数の画像を用いて、前記（４）式に代えて以下の式に示す最小自乗法を適用することにより、１つの０次光変調成分、各３つの±1次光変調成分を分離することを特徴とする請求項５から７のうちいずれか１項に記載の顕微鏡装置。
【数４】
0004123305.tif 000012
ここで、Ｎdは前記照明光を施す各方向の画像数、ｍｌは前記照明光の変調振幅、φｊはｊ番目の前記画像の前記照明光の変調位相である。又、Ｉｋｊ（ｋ）はj番目の前記画像の信号強度、Ｐｋ（ｋ）は光学系の伝達関数である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像作成方法および顕微鏡装置に関するものである。
【背景技術】
【０００２】
光学顕微鏡の分解能は対物レンズの開口数と波長により決まり、分解能を高めるためには、一般に波長を短くするか開口数を大きくするより方法がないとされてきた。その一方で、開口数と波長により決定されるそれよりも高い分解能で標本を観察したいと言う要求がある。【０００３】
この要求に答える技術の一つとして W. Lukoszが "Optical systems with resolving powers exceeding the classical limit. II", Journal of the Optical Society of America, Vol.37, no.7 (1967) で示した格子超解像と呼ばれる技術がある。この手法では、観察物体の近傍に置いた回折格子で標本像を空間変調し、標本と撮像素子の間に存在する結像光学系を通りえない空間周波数成分を撮像素子へ導き、撮像素子近傍の回折格子で復調して高い分解能を持った光学顕微鏡を構成しようというものである。これは、Lukosz自身が認めているように現実的ではないが、より現実的にしたものとして、 例えば、 J. T. Frohn らが  "True optical resolution beyond the Rayleigh limit achieved by standing wave illumination", PNAS, Vol.97, No.13 で紹介している顕微鏡構成がある。【０００４】
この顕微鏡構成と画像処理については、例えば、特開平１１−２４２１８９号公報に、照明光学系に観察する標本付近の照明光の空間周波数を変調する手段を設け、空間周波数を変調しながら複数の撮影画像を取得し、これら複数の撮影画像を復調することにより、高分解能の画像を得る方法が記載されている。特開平１１−２４２１８９号公報に記載された復調方法では、複数の撮影画像をもとに線形計算により画像を生成している。【０００５】
しかし、特開平１１−２４２１８９号公報に記載された復調方法には撮影画像に含まれるノイズの寄与が考慮されていないため、復調によって得られた画像はノイズ成分の影響で誤ったものとなる可能性がある。【０００６】
一般に光検出器から出力される光信号には、暗電流ノイズ、サーマルノイズ、ショットノイズといったノイズ成分を含んでいる。暗電流ノイズは撮像環境が一定であればその他の条件には依存せずほぼ一定の付近で変化を示すノイズである。サーマルノイズは撮像環境および撮像条件に依存するノイズ成分である。ショットノイズは撮像環境や撮像条件にはあまり影響を受けないが、信号強度に大きく依存するノイズである。【０００７】
撮像画像中には常にその信号強度に依存したノイズ成分と依存しないノイズ成分が含まれており、特に明るくない標本を撮像した画像中ではどちらも相対的に無視できない大きさとなるため、ノイズ成分を正しく取り出すことなしには実用上十分な画像回復は困難である。そこで、高倍率の顕微鏡観察において明るい撮像を行うためには、光源の強度を大きくするなどして標本上の光密度を高くすることが必要であったが、その反面、標本へのダメージが大きいという問題があった。【０００８】
構造化照明顕微鏡技術では、特開平１１−２４２１８９号公報にも記載されているように、厚みや高低の有る標本を観察した際には焦点面近傍の信号成分を選択的に取り出すことができ、従来型顕微鏡において除去できなかった焦点深度外からのぼけ像を画像処理中に除去することができ、光軸方向の高い解像度をも持つことが知られている。しかしながら、このように厚みの有る標本を観察した場合は、画像処理において除去される焦点深度外からの信号は画像処理前には信号中に混入しておりこれもノイズ源となるため、信号強度に依存するノイズ成分は画像処理後の画像成分に対して相対的に大きくなることがあるという問題があった。
【発明の開示】
【０００９】
本発明は、ノイズ成分を低下させた高分解能の画像を得ることを目的とする。
【００１０】
本発明は、正弦波状に空間変調された照明光により標本を照明し、前記照明光により照明された前記標本からの光を結像させ、取得した画像から画像演算処理により標本像を作成する画像作成方法において、前記標本上での前記照明光による前記標本からの発光に含まれる空間変調成分の数よりも多くの枚数の画像を取得し、これら撮像された複数枚の画像を構成する空間周波数成分の各々についてこれらを撮像した際に変化させた量をパラメータとして、複素数を考慮した以下の式に示す最小自乗法を適用し、最も尤もらしい標本像を作成することを特徴とする画像作成方法を提供する。
【数１】
0004123305.tif 000002
ここで、ｂｌｊ＝ｍｌexp（ｉφｊ）（ｍｌは前記照明光の変調振幅、φｊはｊ番目の前記画像の前記照明光の変調位相である）、又、Ｉｋｊ（ｋ）はj番目の前記画像の信号強度、Ｐｋ（ｋ）は光学系の伝達関数である。
【００１１】
また、光源と、標本と光学的に共役な位置に配置された回折格子を含み、前記光源からの光を前記回折格子により変換された、正弦波状に空間変調した光を前記標本へ照明する照明光学系と、前記回折格子を変調する変調装置と、前記標本からの空間変調された標本像を撮像する撮像手段と、
前記撮像手段で撮像した、前記標本上での照明光による前記標本からの発光に含まれる空間変調成分の数よりも多くの枚数の画像を構成する空間周波数成分の各々について、これらを撮像した際に変化させた量をパラメータとして、複素数を考慮した以下の式に示す最小自乗法を適用し、最も尤もらしい標本の画像を生成する画像生成装置とを有することを特徴とする顕微鏡装置を提供する。
【数３】
0004123305.tif 000003
ここで、ｂｌｊ＝ｍｌexp（ｉφｊ）（ｍｌは前記照明光の変調振幅）、φｊはｊ番目の前記画像の前記照明光の変調位相である）、又、Ｉｋｊ（ｋ）はj番目の前記画像の信号強度、Ｐｋ（ｋ）は光学系の伝達関数である。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態に記載された顕微鏡装置の全体概略図である。
【発明を実施するための最良の形態】
【００１３】
図１は、照明光の位相を変調する顕微鏡の構成の例である。照明光学系は、光源から順に、ランプ光源１、コレクタレンズ２、リレーレンズ３、開口絞り４、フィールドレンズ５、回折格子６、コンデンサレンズ７、瞳共役位置に配置された折返しミラー８、リレーレンズ９、視野絞り１０、第二対物レンズ１１、ハーフミラー１２により構成される。【００１４】
回折格子６は紙面の垂直方向に1次元の透過率分布を持つ回折格子であり、破線で示す回折光を生じさせる。後述する理由により本技術で高い空間分解能を得るためには前記回折格子は標本上に変調された照明光が投影できる範囲で周期の細かいものが望ましい。【００１５】
前記回折格子として光源の波長に対して1/2波長の光路差となるような位相回折格子が望ましいが、十分細かい正弦波状の照明を標本に対して行えればいいので、例えば透過率を変調させた結像限界付近の周期を持った格子に対して斜光照明を行うか、あるいは±１次光の回折が結像できる周期の回折格子に対して±１次光のみが透過できるように対物レンズの瞳と共役な面に遮光板を置いてもよい。【００１６】
回折格子６によって±１次光はそれぞれフィールドレンズ７周辺部を通るように分離され、＋１次光と−１次光は折返しミラーの周辺部の位置にそれぞれスポットを作る。ここで、折返しミラー８上で±１次光が重ならないように開口絞り４を調節しておく。光源として単色光を利用した場合には上記±１次光が重なることはないため、開口絞りはなくてもよい。【００１７】
折返しミラー８で偏向された±１次光は対物レンズの瞳面１４の周縁部を通り、標本１５付近で互いに干渉することにより縞構造を有する照明光を照射する。【００１８】
撮影は、撮像装置１７によって行われる。図示しない回折格子駆動装置により、各格子パターンと直交する方向に正確にその周期の1/NだけずらしながらＮ枚の画像を取得する。ただし、Ｎは４以上であり、できるだけ大きいことが望ましい。【００１９】
これらの複数の撮影画像を演算手段１９により演算することにより標本の画像を作成する。演算の内容を次に示す。【００２０】
点像強度分布Pｒ(x)を持つ顕微鏡光学系において、標本Oｒ(x)にある強度分布をもった照明を与えると標本における回折光は空間変調を受ける。単一の空間周波数成分Ｋを持つ正弦波状の照明の場合、空間変調成分としては、0,±1次の3変調成分となる。これらの空間変調を
mｌ exp(ilKx+φ),(l=-1,0,1)
と表記すると、空間変調を受けた標本の像は、
【数１】
0004123305.tif 000004
と表すことができる。ここで、*は畳み込み積分を表す。【００２１】
以下、実空間における量には添え字ｒを、端数空間における量には添え字ｋをつけて表すこととする。【００２２】
式(1)をフーリエ変換し、波数空間で表記すると、
【数２】
0004123305.tif 000005
ここで、Pｒ(x)のフーリエ変換Pｋ(k)は光学系の伝達関数 (OTF; Optical Transfer
Function)を表している。【００２３】
式(2)におけるl=-1,1に対応するOＫ(k-K),Oｋ(k+K)は、標本の持つ空間周波数成分を照明が持つ空間周波数Ｋだけずらすことを意味しており、Pｋ(k)という空間周波数成分しか取得することのできない顕微鏡光学系であっても、標本が持つ高い空間周波数成分を取得できることを表している。このため、照明パターンの周期はこの顕微鏡光学系で結像できる範囲でできるだけ短いことが望ましい。【００２４】
前述のように格子をずらしながら撮像を行うと、同一の変調周波数、変調振幅を持ち、変調位相φのみ異なる画像がＮ枚得られるが、このときのj番目の画像信号強度 Iｋj(k)は、ｊ番目の画像の構造化照明位相をφｊと表すと、
【数３】
0004123305.tif 000006
であり、Ｎ個の方程式が得られる。【００２５】
これらの方程式ではOｋ(k+lK),(l=-1,0,1)が未知数であるため、N=3でも解くことができるが、撮像画像Iｋj(k)にノイズが含まれていると、そのノイズの影響で得られる結果が正確ではなくなる。このように観測量にノイズが含まれているような場合には、できるだけ多くの撮像を行い、未知数をより真値に近い値に導くための手法として最小自乗法が有用であることを見出した。【００２６】
そこで、上記N>3の画像に対して最小自乗法を適用することで最も尤もらしい Oｋ(k+lK)を求めることができる。【００２７】
具体的には、bｌｊ= mｌexp(iφｊ)とおいて、
【数４】
0004123305.tif 000007
を解くことでOｋ(k+lK)Pｋ(k)を求める。【００２８】
以上の最小自乗処理により信号がいわば平均化されるため、元画像に重畳していたノイズの影響を低く抑えたOｋ(k+lK)Pｋ(k)を求めることができる。【００２９】
Pｋ(k)は既知であるか、あるいはあらかじめ計測しておくことができるので、Oｋ(k+lK)を求めることができる。ここで、単純にOｋ(k+lK)Pｋ(k)をPｋ(k)で割ることでOｋ(k+lK)を求めることもできるが、ウィナーフィルタなどノイズの影響を受けにくい公知の手法を利用することが望ましい。【００３０】
強度分布を持たない照明を与えた場合の顕微鏡光学系が持つPｋ(k)が検出可能な範囲は、光波長λ、対物レンズのNAに対して、k=-2NA/λ〜2NA/λであるから、上記で得られたOｋ(k+lK)はl=-1,0,1に対して、k=-2NA/λ-K〜2NA/λ-K、k=2NA/λ〜2NA/λ、k=-2NA/λ+K〜2NA/λ+Kの情報を含む。従って、Oｋ(k+lK)全体としてはk=-2NA/λ-K〜2NA/λ+Kまでの情報を含むので、これをOｋ(k)と定義しなおして逆フーリエ変換を行い実空間の情報Oｒ(x)に戻すことで、高い解像度を持った顕微鏡画像を得ることができる。【００３１】
この結果得られた像は、空間変調がなされた１次元方向のみに高い解像度を持つが、空間変調を施す方向を少なくとも２方向に変化させ、それぞれの方向について１次元と同様の処理を施すことで２次元方向の高い解像度を持った顕微鏡を構成することもできる。【００３２】
あるいは、少なくとも2方向の空間変調画像に対して2次元の最小自乗法による連立方程式を構成しておき、これを解くことでも2次元方向の高い解像度を持った顕微鏡を構成することができる。【００３３】
具体的には、例えば3方向に空間変調を施した場合には、3つの方向d=1,2,3に対してOｋｄ(k+lK)Pｋ(k)が未知数となるので、これらを求めればいいが、３つの０次回折成分Oｋ１(k)Pｋ(k)、Oｋ２(k)Pｋ(k)、Oｋ３(k)Pｋ(k)は共通のものであるため連立方程式は7本となり、それぞれの変調方向の画像数をNｄ (d=1,2,3)とすると、
【数５】
0004123305.tif 000008
である。これを解くことで０次変調成分Oｋ(k)Pｋ(k)、および、３つの方向の±１次成分 Oｋｄ(k±K)Pｋ(k)を求めることができる。【００３４】
この場合は３方向の空間変調それぞれについて３以上の構造化照明位相における画像を処理して７つの未知数を求める問題であり、未知数よりもデータが多い状態となっている。【００３５】
このような場合には最小自乗法を利用せずに一意にOｋｄ(k+lK)Pｋ(k)を求めることはできない。従って、１次元変調の方向を変えて２次元解像度を向上させる際には、上記手法はきわめて有効である。【００３６】
図１は、照明光の位相を変調する顕微鏡の構成の例である。照明光学系は、光源から順に、ランプ光源１、コレクタレンズ２、リレーレンズ３、開口絞り４、フィールドレンズ５、回折格子６、コンデンサレンズ７、瞳共役位置に配置された折返しミラー８、リレーレンズ９、視野絞り１０、第二対物レンズ１１、ハーフミラー１２により構成される。【００３７】
回折格子６は光軸に対して垂直な面内で直行する正弦波状の透過率分布を持つ回折格子である。回折格子６は光軸に対して垂直な面内の2方向に格子パターンがあればよく、必ずしも直交している必要はないが、演算処理が単純となるため直交していたほうが望ましい。【００３８】
この回折格子は紙面に垂直な方向の格子によって破線で示す回折光を生じさせる。また、紙面内の方向の格子によって、紙面の上下を通る図示しない回折光が生じる。本技術により高い空間分解能を得るためには前記回折格子は標本上に変調された照明光が投影できる範囲で周期の細かいものが望ましい。このため、前記回折光のうち考慮しなければならないのは±１次光のみとなる。２方向の格子の周期は同じであるほうが望ましいが、２方向の解像度が異なることが問題とならない場合には、２方向の周期は異なっていてもかまわない。【００３９】
前記回折格子は０次光成分が十分少ない必要があるため、光源の波長に対して1/2波長の光路差となるような位相回折格子が望ましいが、十分細かい正弦波状の照明を標本に対して行えればいいので、例えば透過率を変調させた結像限界付近の周期を持った格子に対して斜光照明を行うか、あるいは±１次光の回折が結像できる周期の回折格子に対して±１次光のみが透過できるように対物レンズの瞳と共役な面に遮光板を置いてもよい。【００４０】
回折格子６によって±１次光はそれぞれフィールドレンズ７周辺部を通るように分離され、＋１次光と−１次光は折返しミラーの周辺部の位置にそれぞれスポットを作る。ここで、折返しミラー８上で±１次光が重ならないように開口絞り４を調節しておく。光源として単色光を利用した場合には上記±１次光が重なることはないため、開口絞りはなくてもよい。【００４１】
折返しミラー８で偏向された±１次光は対物レンズの瞳面１４の周縁部を通り、標本１５付近で互いに干渉することにより縞構造を有する照明光を照射する。【００４２】
撮影は、撮像装置１７によって行われる。回折格子が直行する2方向の格子となっているため、標本上には直行する2方向の格子パターンが照明されている。図示しない回折格子駆動装置により、各格子パターンの方向に正確にその周期の1/Nだけ位置をずらしながら画像を取得する。【００４３】
すなわち、まず一方の格子の方向(これをY方向とする)に1/Nづつ位置をずらしながらＮ枚の画像を取得する。次にもう一方の格子の方向(これをＸ方向とする)に1/Nだけ位置をずらしてから、Ｙ方向に1/Nづつ位置をずらしながらＮ枚の画像を取得する。以下、これを繰り返して、Ｘ方向についてもＮ回位置をずらすことでＮ２枚の画像を取得する。【００４４】
上記のように格子をずらしながら撮像を行うと、一方の格子パターンにおける同一位相の画像がＮ枚取得できるが、これらの画像はもう一方の格子パターンにより変調振幅が異なる。すなわち、上記格子パターンの方向をそれぞれｘ、ｙ方向とすると、構造化照明強度Ｉｒｉは一般に、
Ｉｒｉ=(1/4)Ｉｒｉ０(1+cos(Ｋｘx+φｘ ) )(1+cos(Ｋｙy +φｙ))    (6)
と書けるので、ｘ方向にφｘ=0,...,2πj/N,...,2π(N-1)/Nとなるようにずらすと、ある特定のｘにおけるｙ方向の照明振幅は、cos(2πj/N)に比例した値を持つことになる。すなわち変調振幅の異なる画像が得られることになる。【００４５】
これらの複数の撮影画像を演算手段１９により演算することにより標本の画像を作成する。演算処理は先の例で述べた手法を２次元に拡張して適用すればよい。
【図１】
0004123305.tif 000013