(57)【要約】【課題】高速化が可能な構造化照明顕微鏡を提供する。【解決手段】構造化照明顕微鏡（１）は、試料（Ｘ）に含まれる蛍光物質を励起するための励起光を、干渉縞で試料に照射する照明光学系（１１）と、干渉縞の位相を変化させる制御部（４１）と、試料からの光を少なくとも１つの周波数でロックイン検出する検出部（３５）と、ロックイン検出された信号の少なくとも一部を用いて、試料の画像を生成する画像処理部（４０）と、を備える。
2018150471.tif 000002
【特許請求の範囲】
【請求項１】
試料に含まれる蛍光物質を励起するための励起光を、干渉縞で前記試料に照射する照明光学系と、
前記干渉縞の位相を変化させる制御部と、
前記試料からの光を少なくとも１つの周波数でロックイン検出する検出部と、
前記ロックイン検出された信号の少なくとも一部を用いて、前記試料の画像を生成する画像処理部と、を備える構造化照明顕微鏡。
【請求項２】
前記検出部は２相ロックイン検出を行う、請求項１に記載の構造化照明顕微鏡。
【請求項３】
前記干渉縞は、第１の空間周波数成分を有し、
前記検出部は、第１の周波数でロックイン検出を行う、請求項１又は請求項２に記載の構造化照明顕微鏡。
【請求項４】
前記干渉縞は、第１の空間周波数成分および第２の空間周波数成分を有し、
前記検出部は、第１の周波数および第２の周波数でロックイン検出を行う、請求項１又は請求項２に記載の構造化照明顕微鏡。
【請求項５】
前記干渉縞は、第１の空間周波数成分と、第２の空間周波数成分と、第３の空間周波数成分を有し、
前記検出部は、第１の周波数、第２の周波数および第３の周波数でロックイン検出を行う、請求項１又は請求項２に記載の構造化照明顕微鏡。
【請求項６】
前記干渉縞は、第１の空間周波数成分と、第２の空間周波数成分と、第３の空間周波数成分を有し、第４の空間周波数成分と、第５の空間周波数成分と、第６の空間周波数成分を有し、
前記検出部は、第１の周波数、第２の周波数、第３の周波数、第４の周波数、第５の周波数および第６の周波数でロックイン検出を行う、請求項１又は請求項２に記載の構造化照明顕微鏡。
【請求項７】
前記検出部は、
前記試料からの光を受光する第１検出部と、
前記第１検出部から出力された検出信号を前記少なくとも１つの周波数でロックイン検出する第２検出部と、を備える、請求項１から請求項６のいずれか一項に記載の構造化照明顕微鏡。
【請求項８】
前記第１検出部は撮像素子であり、
前記第２検出部はロックインアンプである、請求項７に記載の構造化照明顕微鏡。
【請求項９】
前記検出部は、前記検出信号の直流成分と交流成分とを分離するフィルタを備え、
前記第２検出部は、前記検出信号の少なくとも前記交流成分を用いてロックイン検出を行う、請求項７又は請求項８に記載の構造化照明顕微鏡。
【請求項１０】
試料に含まれる蛍光物質を励起するための励起光を、干渉縞で前記試料に照射する照明光学系と、
前記干渉縞の位相を変化させる制御部と、
前記試料からの光を少なくとも１つの周波数でロックイン検出する検出部と、
前記ロックイン検出された信号の少なくとも一部を用いて、前記試料の画像を生成する画像処理部と、を備え、
前記検出部は、
前記試料からの光を受光する第１検出部と、
前記第１検出部から出力された検出信号を前記少なくとも１つの周波数でロックイン検出する第２検出部と、を備える、構造化照明顕微鏡。
【請求項１１】
前記第１検出部は撮像素子であり、
前記第２検出部はロックインアンプである、請求項１０に記載の構造化照明顕微鏡。
【請求項１２】
前記検出部は、前記検出信号の直流成分と交流成分とを分離するフィルタを備え、
前記第２検出部は、前記検出信号の少なくとも前記交流成分を用いてロックイン検出を行う、請求項１０又は請求項１１に記載の構造化照明顕微鏡。
【請求項１３】
前記干渉縞は、第１の空間周波数成分を有し、
前記第２検出部は、
第１の周波数および第１の初期位相を有する参照信号と前記検出信号の少なくとも一部とを掛け合わせて積算した信号と、
第１の周波数および第２の初期位相を有する参照信号と前記検出信号の少なくとも一部とを掛け合わせて積算した信号と、
前記検出信号の少なくとも一部を積算した信号と、を出力する、請求項１０から請求項１２のいずれか一項に記載の構造化照明顕微鏡。
【請求項１４】
前記干渉縞は、第１の空間周波数成分および第２の空間周波数成分を有し、
前記第２検出部は、
第１の周波数および第１の初期位相を有する参照信号と前記検出信号の少なくとも一部とを掛け合わせて積算した信号と、
第１の周波数および第２の初期位相を有する参照信号と前記検出信号の少なくとも一部とを掛け合わせて積算した信号と、
第２の周波数および第１の初期位相を有する参照信号と前記検出信号の少なくとも一部とを掛け合わせて積算した信号と、
第２の周波数および第２の初期位相を有する参照信号と前記検出信号の少なくとも一部とを掛け合わせて積算した信号と、
前記検出信号の少なくとも一部を積算した信号と、を出力する、請求項１０から請求項１２のいずれか一項に記載の構造化照明顕微鏡。
【請求項１５】
前記干渉縞は、第１の空間周波数成分と、第２の空間周波数成分と、第３の空間周波数成分を有し、
前記第２検出部は、
第１の周波数および第１の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第１の周波数および第２の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第２の周波数および第１の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第２の周波数および第２の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第３の周波数および第１の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第３の周波数および第２の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
前記検出信号の少なくとも一部を積算した信号と、を出力する、請求項１０から請求項１２のいずれか一項に記載の構造化照明顕微鏡。
【請求項１６】
前記干渉縞は、第１の空間周波数成分と、第２の空間周波数成分と、第３の空間周波数成分を有し、
前記第２検出部は、
第１の周波数および第１の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第２の周波数および第１の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第３の周波数および第１の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、を出力する、請求項１０から請求項１２のいずれか一項に記載の構造化照明顕微鏡。
【請求項１７】
前記干渉縞は、第１の空間周波数成分と、第２の空間周波数成分と、第３の空間周波数成分を有し、第４の空間周波数成分と、第５の空間周波数成分と、第６の空間周波数成分を有し、
前記第２検出部は、
第１の周波数および第１の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第１の周波数および第２の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第２の周波数および第１の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第２の周波数および第２の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第３の周波数および第１の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第３の周波数および第２の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第４の周波数および第１の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第４の周波数および第２の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第５の周波数および第１の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第５の周波数および第２の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第６の周波数および第１の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第６の周波数および第２の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
前記検出信号の少なくとも一部を積算した信号と、を出力する、請求項１０から請求項１２のいずれか一項に記載の構造化照明顕微鏡。
【請求項１８】
前記干渉縞は、第１の空間周波数成分と、第２の空間周波数成分と、第３の空間周波数成分を有し、第４の空間周波数成分と、第５の空間周波数成分と、第６の空間周波数成分を有し、
前記第２検出部は、
第１の周波数および第１の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第２の周波数および第１の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第３の周波数および第１の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第４の周波数および第１の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第５の周波数および第１の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、
第６の周波数および第１の初期位相を有する参照信号と前記検出信号とを掛け合わせて積算した信号と、を出力する、請求項１０から請求項１２のいずれか一項に記載の構造化照明顕微鏡。
【請求項１９】
試料に含まれる蛍光物質を励起するための励起光を、干渉縞で前記試料に照射することと、
前記干渉縞の位相を変化させることと、
前記試料からの光を少なくとも１つの周波数でロックイン検出することと、
前記ロックイン検出された信号の少なくとも一部を用いて、前記試料の画像を生成することと、を含む観察方法。
【請求項２０】
コンピュータに、
試料に含まれる蛍光物質を励起するための励起光を干渉縞で前記試料に照射させ、前記干渉縞の位相を変化させる制御と、
前記試料からの光を少なくとも１つの周波数でロックイン検出させる制御と、
前記ロックイン検出された信号の少なくとも一部を用いて、前記試料の画像を生成することと、を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、構造化照明顕微鏡、観察方法、及びプログラムに関する。
【背景技術】
【０００２】
光学系の分解能を越えた観察を可能とする顕微鏡がある。（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国再発行特許発明第３８３０７号明細書
【発明の概要】
【０００４】
本発明の第１の態様に従えば、試料に含まれる蛍光物質を励起するための励起光を、干渉縞で試料に照射する照明光学系と、干渉縞の位相を変化させる制御部と、試料からの光を少なくとも１つの周波数でロックイン検出する検出部と、ロックイン検出された信号の少なくとも一部を用いて、試料の画像を生成する画像処理部と、を備える構造化照明顕微鏡が提供される。
【０００５】
本発明の第２の態様に従えば、試料に含まれる蛍光物質を励起するための励起光を、干渉縞で試料に照射する照明光学系と、干渉縞の位相を変化させる制御部と、試料からの光を所定周波数でロックイン検出する検出部と、ロックイン検出された信号の少なくとも一部を用いて、試料の画像を生成する画像処理部と、を備え、検出部は、試料からの光を受光する第１検出部と、第１検出部から出力された検出信号を所定周波数でロックイン検出する第２検出部と、を備える、構造化照明顕微鏡が提供される。
【０００６】
本発明の第３の態様に従えば、試料に含まれる蛍光物質を励起するための励起光を、干渉縞で試料に照射することと、干渉縞の位相を変化させることと、試料からの光を少なくとも１つの周波数でロックイン検出することと、ロックイン検出された信号の少なくとも一部を用いて、試料の画像を生成することと、を含む観察方法が提供される。
【０００７】
本発明の第４の態様に従えば、コンピュータに、試料に含まれる蛍光物質を励起するための励起光を、干渉縞で試料に照射し、干渉縞の位相を変化させる制御と、試料からの光を少なくとも１つの周波数でロックイン検出させる制御と、ロックイン検出された信号の少なくとも一部を用いて、試料の画像を生成することと、を実行させるプログラムが提供される。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る構造化照明顕微鏡を示す図である
【図２】第１実施形態に係る分岐部の動作を示す図である。
【図３】第１実施形態に係る照明方法を概念的に示す図である。
【図４】第１実施形態に係るロックインアンプの動作を示す概念図である。
【図５】第１実施形態に係るロックインアンプを示す図である。
【図６】第１実施形態に係る干渉縞の移動を示す図である。
【図７】実施形態に係る観察方法を示すフローチャートである。
【図８】第２実施形態に係る構造化照明顕微鏡を示す図である。
【図９】第２実施形態に係るロックインアンプを示す図である。
【図１０】第２実施形態に係る照明方法を示す図である。
【図１１】変形例に係るマスク、及び瞳面上の回折光を示す図である。
【図１２】試料面における干渉縞の移動を説明するための図である。
【図１３】第３実施形態に係るロックインアンプを示す図である。
【図１４】実施形態に係る観察方法を示すフローチャートである。
【図１５】変形例に係るロックインアンプを示す図である。
【図１６】第４実施形態に係るロックインアンプを示す図である。
【図１７】干渉縞の移動方向の例を示す図である。
【図１８】干渉縞の移動方向の例を示す図である。
【図１９】変形例に係るロックインアンプを示す図である。
【図２０】変形例に係るマスク、及び瞳面上の回折光を示す図である。
【図２１】変形例に係る構造化照明装置を示す図である。
【図２２】変形例に係る構造化照明顕微鏡を示す図である。
【発明を実施するための形態】
【０００９】
次に、図面を参照しながら実施形態について説明する。図１は、実施形態に係る構造化照明顕微鏡１を示す図である。構造化照明顕微鏡１は、例えば蛍光顕微鏡であり、予め蛍光染色された細胞などを含む試料Ｘの観察などに利用される。試料Ｘは、例えば、ステージ（図示せず）に保持される。
【００１０】
構造化照明顕微鏡１は、試料Ｘのうち観察対象の面（以下、試料面という）の２次元的な超解像画像を形成する２Ｄ−ＳＩＭモードと、試料面に垂直な方向の情報を含む３次元的な３次元超解像画像を形成する３Ｄ−ＳＩＭモードとを有する。
【００１１】
構造化照明顕微鏡１は、試料Ｘ上で干渉縞を移動させることにより、試料Ｘ上の各点の照明強度を所定周波数で変化させながら、試料Ｘからの蛍光をロックイン検出し、その検出結果を用いて復調画像（超解像画像）を生成する。
【００１２】
第１実施形態に係る構造化照明顕微鏡１は、２Ｄ−ＳＩＭモードにおいて、試料面上の周期方向が１方向の干渉縞を用いて、３チャンネルのロックイン検波を行う。なお、３Ｄ−ＳＩＭモードの場合、試料面上の周期方向が３方向の干渉縞を用いる場合、ロックイン検出のチャンネル数が異なる場合などについては、第２実施形態以降で順に説明する。
【００１３】
［第１実施形態］
構造化照明顕微鏡１は、構造化照明装置２と、撮像装置３と、制御装置４と、表示装置５と、記憶装置６とを備える。構造化照明装置２は、光源部１０と、照明光学系１１とを備える。光源部１０は、例えばレーザダイオードを含み、レーザ光などの可干渉光を発する。以下の説明において、光源部１０から発せられた光を照明光という。構造化照明顕微鏡１により蛍光観察を行う場合、照明光の波長は、試料Ｘに含まれる蛍光物質の励起波長を含む波長帯に設定される。
【００１４】
なお、光源部１０の少なくとも一部は、構造化照明装置２に含まれていなくてもよい。例えば、光源部１０は、ユニット化されており、構造化照明装置２に交換可能（取り付け可能、取り外し可能）に設けられていてもよい。例えば、光源部１０は、構造化照明顕微鏡１による観察時などに、構造化照明装置２に取り付けられてもよい。
【００１５】
照明光学系１１は、試料Ｘに含まれる蛍光物質を励起するための励起光（照明光）を、干渉縞で試料Ｘに照射する。照明光学系１１は、光源部１０から試料Ｘに向かう順に、集光レンズ１２、導光部材１３、及びコリメータ１４、及び分岐部１５を備える。導光部材１３は、例えば光ファイバを含む。集光レンズ１２は、光源部１０からの照明光を、導光部材の光入射側の端面に集光する。導光部材１３は、集光レンズ１２からの照明光をコリメータ１４へ導く。コリメータ１４は、導光部材１３からの照明光を平行光に変換する。
【００１６】
照明光学系１１は、分岐部１５によって照明光を複数の光に分岐する。例えば、分岐部１５は、回折格子１６を有していてもよい。この場合、回折格子１６から回折光が射出される。照明光学系１１は、複数の回折光の干渉により形成される干渉縞（構造化照明）で試料Ｘを照明する。図１には、複数の光束のうち、０次回折光（実線で示す）、＋１次回折光（破線で示す）、及び−１次回折光（２点鎖線で示す）を示した。以下の説明において、回折光のうち＋１次回折光と−１次回折光の一方または双方を指す場合に、単に１次回折光と表記する。また、１次回折光が０次回折光に対して偏向する方向（図１ではＺ方向）を、分岐方向という。
【００１７】
照明光学系１１は、２Ｄ−ＳＩＭモードにおいて、複数の回折光のうち＋１次回折光と−１次回折光との干渉により形成される干渉縞によって試料を照明する。２Ｄ−ＳＩＭモードにおいて、照明光学系１１は、例えば、＋１次回折光と−１次回折光との干渉縞を形成し、０次回折光および２次以上の回折光を干渉縞の形成に用いない。
【００１８】
照明光学系１１は、例えば、球面レンズ、非球面レンズなどの回転対称な形状のレンズ部材を含む。以下、このレンズ部材の対称軸を、照明光学系１１の光軸１１ａという。なお、照明光学系１１は、自由曲面レンズを含んでいてもよい。
【００１９】
分岐部１５は、照明光を複数の光に分岐する。分岐部１５は、例えば、回折格子１６および駆動部１７を備える。回折格子１６は、照明光学系１１の光軸１１ａに交差する面内に、例えば１次元の周期構造を有する。この周期構造において単位構造が並ぶ方向は、上述の分岐方向に相当する。この周期構造は、濃度（透過率）が周期的に変化する構造であってもよいし、段差（位相差）が周期的に変化する構造であってもよい。回折格子１６が位相型である場合、±１次回折光の回折効率が高く、干渉縞の形成に±１次回折光を用いる場合に光量のロスを低減することができる。
【００２０】
駆動部１７は、回折格子１６をＹＺ面内で移動させる。これにより、試料面上で干渉縞が移動する（干渉縞の位相が変化する）。駆動部１７は、回折格子１６をＸ方向と平行な軸の周りで回転させる。これにより、試料面上で干渉縞の方向が変化する。分岐部１５の動作、及び干渉縞による照明方法については、後に図２等を参照して説明する。
【００２１】
照明光学系１１は、分岐部１５から試料Ｘに向かう順に、レンズ２０、１／２波長板２１、マスク２２、レンズ２３、視野絞り２４、レンズ２５、フィルタ２６、ダイクロイックミラー２７、及び対物レンズ２８を含む。
【００２２】
分岐部１５で発生した回折光は、レンズ２０に入射する。レンズ２０は、例えば、その焦点が分岐部１５とほぼ一致するように、配置される。レンズ２０は、対物レンズ２８の後側焦点面（瞳面）と共役な位置（瞳共役面Ｐ１）において、分岐部１５で分岐した複数の光束のうち同じ次数の回折光を同じ位置に集光する。例えば、レンズ２０は、分岐部１５で発生した０次回折光を、瞳共役面Ｐ１において照明光学系１１の光軸１１ａ上に集光する。レンズ２０は、分岐部１５で発生した＋１次回折光を、光軸１１ａから離れた位置に集光する。レンズ２０は、分岐部１５で発生した−１次回折光を、瞳共役面Ｐ１において光軸１１ａに関して＋１次回折光と対称的な位置に集光する。
【００２３】
１／２波長板２１は、例えばレンズ２０とレンズ２３との間の光路に配置され、試料Ｘに入射する際の照明光の偏光状態がＳ偏光になるように、照明光の偏光状態を調整する。例えば、図１の状態において、試料Ｘに対する１次回折光の入射面はＸＺ平面であり、１／２波長板２１は、照明光学系１１から射出される照明光の偏光状態がＹ方向の直線偏光になるように、照明光の偏光状態を調整する。分岐部１５において回折方向が変更されると試料Ｘに対する１次回折光の入射面がＺ方向の周りで回転するため、１／２波長板２１は、回折方向に応じて照明光の偏光状態を調整する。なお、１／２波長板２１は、分岐部１５と試料Ｘとの間の光路のいずれの位置に配置されていてもよい。
【００２４】
マスク２２は、干渉縞の形成に使われる回折光を通し、干渉縞の形成に使われない回折光を遮断する。マスク２２は、２Ｄ−ＳＩＭモードにおいて、１次回折光を通し、０次回折光および２次以上の回折光を遮断する。マスク２２は、１次回折光の光路が０次回折光の光路から分離する位置、例えば瞳共役面Ｐ１に配置される。２Ｄ−ＳＩＭモードにおいて、マスク２２は、０次回折光が入射する部分が遮光部になり、１次回折光が入射する分が開口部（透過部）になる。
【００２５】
マスク２２を通った照明光は、レンズ２３に入射する。レンズ２３は、分岐部１５と光学的に共役な中間像面２３ａを形成する。視野絞り２４は、例えば中間像面２３ａに配置される。視野絞り２４は、照明光学系１１の光軸１１ａに垂直な面内において、照明光学系１１から試料Ｘに照明光が照射される範囲（照野、照明領域）を規定する。
【００２６】
視野絞り２４を通った照明光は、レンズ２５に入射する。レンズ２５は、例えば第２対物レンズである。レンズ２５は、分岐部１５上の各点からの＋１次回折光を、対物レンズ２８の後側焦点面（瞳面Ｐ０）に集光する。また、レンズ２５は、分岐部１５上の各点からの−１次回折光を、対物レンズ２８の後側焦点面（瞳面Ｐ０）の他の位置に集光する。つまり、レンズ２５は、分岐部１５の各点からの−１次回折光を、照明光学系１１の光軸１１ａに関して＋１次回折光と対称的な位置に集光する。
【００２７】
レンズ２５を通った照明光は、フィルタ２６に入射する。フィルタ２６は、例えば励起フィルタであり、試料Ｘに含まれる蛍光物質の励起波長を含む波長帯の光が選択的に通る特性を有する。フィルタ２６は、例えば、照明光のうち励起波長以外の波長の少なくとも一部、迷光、外光などを遮断する。フィルタ２６を通った光は、ダイクロイックミラー２７に入射する。ダイクロイックミラー２７は、試料Ｘに含まれる蛍光物質の励起波長を含む波長帯の光が反射し、試料Ｘからの光のうち所定の波長帯の光（例、蛍光）が通る特性を有する。フィルタ２６からの光は、ダイクロイックミラー２７で反射し、対物レンズ２８に入射する。
【００２８】
対物レンズ２８は、中間像面２３ａと光学的に共役な面、すなわち分岐部１５と光学的に共役な面を試料Ｘ上に形成する。つまり、対物レンズ２８は、試料Ｘ上に、構造化照明を形成する。＋１次回折光は、対物レンズ２８の瞳面Ｐ０上で光軸１１ａから離れたスポットを形成する。−１次回折光は、瞳面Ｐ０において、光軸１１ａに関して＋１次回折光と対称的な位置にスポットを形成する。１次回折光が形成するスポットは、例えば、瞳面Ｐ０の外周部に配置される。１次回折光は、所定の角度で試料Ｘに入射する。例えば、１次回折光は、平行光で試料Ｘに照射される。
【００２９】
試料Ｘは、観察時に、その観察対象の部分が対物レンズ２８の焦点面に配置される。２ＤＳＩＭモードにおいて、試料Ｘに形成される干渉縞は、例えば、照明光学系１１の光軸１１ａに垂直な方向（ＸＹ面内）に光強度の周期的な分布を有する。この干渉縞は、分岐部１５の周期方向に応じた方向に、ライン状の明部と暗部とが周期的に並ぶパターンである。ここでは、干渉縞において、明部および暗部に平行な方向をライン方向と称し、明部と暗部とが並ぶ方向を周期方向と称する。
【００３０】
試料Ｘのうち干渉縞の明部に配置されている部分は、蛍光物質が励起されて、蛍光を発する。以下、試料Ｘにおける構造（例、蛍光物質）の空間分布のパターンをテクスチャという。試料Ｘの蛍光像は、照明光学系１１が形成する干渉縞と、試料Ｘのテクスチャとのモアレ像である。撮像装置３は、このモアレ像の画像を取得する。
【００３１】
撮像装置３は、結像光学系３１、及び撮像素子３２を備える。結像光学系３１は、対物レンズ２８、ダイクロイックミラー２７、フィルタ３３、及びレンズ３４を備える。結像光学系３１は、対物レンズ２８およびダイクロイックミラー２７を照明光学系１１と共用している。試料Ｘからの光（以下、観察光という）は、対物レンズ２８に入射してダイクロイックミラー２７を通ってフィルタ３３に入射する。
【００３２】
フィルタ３３は、例えば蛍光フィルタである。フィルタ３３は、試料Ｘからの観察光のうち所定の波長帯の光（例、蛍光）が選択的に通る特性を有する。フィルタ３３は、例えば、試料Ｘで反射した照明光、外光、迷光などを遮断する。フィルタ３３を通った光は、レンズ３４に入射する。レンズ３４は、対物レンズ２８の焦点面（物体面）と光学的に共役な面（像面）を形成する。試料Ｘからの蛍光による像（モアレ像）は、この像面に形成される。
【００３３】
撮像素子３２は、例えばＣＭＯＳイメージセンサ、ＣＣＤイメージセンサなどの二次元イメージセンサを含む。撮像素子３２は、例えば、二次元的に配列された複数の画素を有し、各画素にフォトダイオードなどの光検出器（光電変換素子）が配置された構造である。撮像素子３２は、例えば、観察光によって光電変換素子への観察光の照射によって生じた電荷を、読出回路によって読み出す。以下、光検出器から読み出された電荷に相当する信号を、検出信号という。
【００３４】
本実施形態において、撮像装置３（検出部）は、試料Ｘからの光を少なくとも１つの周波数でロックイン検出する。撮像装置３は、撮像素子３２（第１検出部）およびロックインアンプ３５（第２検出部）を備える。ロックインアンプ３５は、撮像素子３２から出力された検出信号に対してロックイン検出を行って、検出信号から所定周波数の成分を抽出する。なお、撮像素子３２とロックインアンプ３５とは一体的に構成されていてもよい。例えば、ロックインアンプ３５の機能を有する撮像素子３２を用いてもよい。
【００３５】
制御装置４は、画像処理部４０および制御部４１を備える。制御部４１は、構造化照明顕微鏡１の各部の制御を実行する。制御部４１は、干渉縞の位相を変化させる。画像処理部４０は、ロックイン検出された信号の少なくとも一部を用いて、試料Ｘの画像を生成する。画像処理部４０は、例えば、試料Ｘの画像として復調画像を生成する。制御装置４は、例えば、復調画像のデータを表示装置５に供給し、表示装置５に復調画像を表示させる。
【００３６】
次に、本実施形態に係る分岐部１５、ロックインアンプ３５、及び画像処理部４０の動作に基づき、照明方法、観察光の検出方法、及び復調方法について説明する。
【００３７】
図２は、分岐部１５の動作を示す図である。図２（Ａ）に示すように、駆動部１７は、回折格子１６を平行移動させる。駆動部１７は、試料面上で干渉縞が周期方向に移動するように、回折格子１６を平行移動させる。回折格子１６の移動方向と周期方向との角度が０°以上９０°未満であれば、試料面上で干渉縞が周期方向に移動する。駆動部１７は、例えば、回折格子１６の周期方向と平行な方向に、回折格子１６を移動させる。図２（Ａ）において回折格子１６の周期方向はＺ方向であり、駆動部１７は、回折格子１６をＺ方向に平行移動させる。駆動部１７は、試料面上で干渉縞が少なくとも１周期分移動するように回折格子１６を連続的に一定の速度で移動させ、試料面上で干渉縞を一定の速度で移動させる。
【００３８】
駆動部１７は、回折格子１６を回転させ、回折格子１６の周期方向（分岐方向）を変更する。駆動部１７は、例えば、図２（Ａ）に示す回折格子１６の位置（以下、第１回転位置ＲＰ１という）から、回折格子１６を時計回りに１２０°回転させ、回折格子１６を図２（Ｂ）に示す回転位置（以下、第２回転位置ＲＰ２という）に配置する。図２（Ｂ）において、回折格子１６の周期方向は、時計回りを正としてＺ方向と１２０°の角度をなす方向であり、駆動部１７は、例えば、この周期方向に回折格子１６を平行移動させる。
【００３９】
また、駆動部１７は、例えば、回折格子１６を第２回転位置ＲＰ２から時計回りに１２０°回転させ、回折格子１６を図２（Ｃ）に示す回転位置（以下、第３回転位置ＲＰ３という）に配置する。図２（Ｃ）において、回折格子１６の周期方向は、時計回りを正としてＺ方向と２４０°の角度をなす方向であり、駆動部１７は、例えば、この周期方向に回折格子１６を平行移動させる。
【００４０】
なお、図２（Ｄ）に示すように、回折格子１６が第１回転位置ＲＰ１で平行移動する距離と、回折格子１６が第２回転位置ＲＰ２で平行移動する距離と、回折格子１６が第３回転位置ＲＰ３で平行移動する距離とが同じであってもよい。この場合、次の回転位置への回転と、各回転位置での平行移動とを交互に行うと、回折格子１６を元の位置（図２（Ａ）において平行移動させる前の位置）に戻すことができる。なお、各回転位置で回折格子１６が平行移動するが例えば、回折格子１６はコリメータ１４から照射される光束の少なくとも一部を受光できる位置にあればよい。図２（Ｄ）においては回折格子１６の移動を強調して概念的に示した。
【００４１】
図３は、本実施形態に係る照明方法を概念的に示す図である。図３（Ａ）は、試料面上の干渉縞の時間変化を示す図である。図２の駆動部１７が回折格子１６を平行移動させると、試料面上で干渉縞が周期方向に移動する。言い換えると、図２の駆動部１７が回折格子１６を平行移動させると、干渉縞の位相が変化する。図３（Ａ）には、干渉縞が１周期分の長さだけ移動する期間の干渉縞の状態を示した。図３の各図において、横軸は、干渉縞が１周期分移動する時間を１（任意単位）とした時刻である。
【００４２】
図３（Ｂ）は、干渉縞の周期方向における照明強度の空間分布を各時刻について示した図である。図３（Ｂ）において、各時刻における照明強度の空間分布は、横軸が照明強度であり、縦軸が干渉縞の周期方向の位置である。各時刻における照明強度の空間分布は、正弦波状であり干渉縞の移動に伴って周期方向にシフトする（位相が変化する）。照明強度の分布は、干渉縞が１周期分移動すると、移動前と同じ分布に戻る。
【００４３】
図３（Ｃ）は、試料面上の任意の点における照明強度の時間変化を示す図である。ここでは、任意の点として、図３（Ａ）および図３（Ｂ）に二点鎖線で示す線上の点の照明強度の時間変化を示した。試料面上の任意の点における照明強度は、干渉縞の移動速度に応じた周波数で変化する。干渉縞の周期方向における照明強度が正弦波状であり、干渉縞が周期方向に一定の速度で移動する期間において、試料面上の任意の点における照明強度は、正弦波状に変化する。照明強度が変化する周期は、干渉縞が１周期分移動する時間と同じである。
【００４４】
図３（Ｄ）は、図３（Ｃ）に対応する蛍光強度の時間変化を示す図であり、図３（Ｅ）は、図３（Ｄ）に対応する検出信号のレベルの時間変化を示す図である。試料面上で蛍光物質が存在する位置では、照明強度に応じた強度の蛍光が発生する。蛍光強度は、例えば、照明強度の時間変化と同じ周波数の正弦波状に時間変化する。また、試料面上の物点と光学的な共役な像点に配置された撮像素子３２の光検出器には、蛍光強度に応じた電荷が蓄積され、検出信号のレベルは、例えば、蛍光強度の時間変化と同じ周波数の正弦波状に時間変化する。なお、図３（Ｃ）に示される照明強度の時間変化の正弦波と、図３（Ｄ）に示される蛍光強度の時間変化の正弦波と、図３（Ｅ）に示される検出信号の時間変化の正弦波は同じ位相であるが、異なっていてもよい。
【００４５】
図４は、ロックインアンプ３５の動作を示す概念図である。ロックインアンプ３５は、例えば、２相ロックイン検出を行う。図３に示した干渉縞は、少なくとも第１の空間周波数成分（周期方向の空間周波数成分）を有する。ロックインアンプ３５は、少なくとも第１の周波数でロックイン検出を行う。ロックイン検出の周波数は、例えば、干渉縞の空間周波数と干渉縞の移動速度に基づいて決定される。ロックイン検出の周波数は、例えば、干渉縞の時間変化の周波数に基づいて決定される。第１の周波数は、例えば、照明強度（図３（Ｃ）参照）の時間変化の周波数と同じ所定周波数である。ロックインアンプ３５は、検出信号に参照信号を掛け合わせた結果（乗算信号、乗算値）を積算期間Ｔにおいて積算し、その結果（積算信号、積算値）を出力する。積算期間Ｔは、例えば、干渉縞の移動量が１周期に相当する長さ（以下、周期長という）になる時間（以下、移動周期という）の整数倍に設定される。
【００４６】
本実施形態において、ロックインアンプ３５は、３種類の参照信号を用いる。第１の参照信号は、直流信号（例、１）である。以下、検出信号と第１の参照信号とを掛け合わせて積算した積算信号をＩＤで表す。積算期間Ｔが干渉縞の移動周期の整数倍である場合、積算期間Ｔで積算した照明強度は試料面上で均一になる。例えば、各画素に対応するＩＤを画素配列に応じて配列すると、一様に照明されている試料面上を撮像した撮像画像が得られる。
【００４７】
第２の参照信号は、第１の周波数および第１の初期位相を有する交流信号（例、正弦波）である。以下、検出信号と第２の参照信号とを掛け合わせて積算した積算信号をＩＣで表す。第３の参照信号は、第１の周波数および第２の初期位相を有する交流信号である。例えば、第２の初期位相は第１の初期位相とπ／２ずれた位相である。第２の参照信号がｃｏｓθで表されるときに、第３の参照信号はｓｉｎθで表される。以下、検出信号と第２の参照信号とを掛け合わせて積算した積算信号をＩＳで表す。
【００４８】
図５は、ロックインアンプ３５の構成例を示す図である。撮像素子３２の光検出器３２ａは、検出信号（図中にｆ（ｔ）で表す）を、例えばフィルタ４５に出力する。フィルタ４５は、交流直流フィルタ（ＡＤフィルタ）であり、検出信号から交流成分と直流成分とを分離する。ロックインアンプ３５は、フィルタ４５が分離した交流成分と直流成分のうち少なくとも交流成分を用いてロックイン検出を行う。なお、ロックイン検出とは、入力信号から特定の周波数成分を取り出すことを言い、例えば、検出信号から積算信号（ＩＣ）、（ＩＳ）を取得することである。ロックインアンプ３５は、乗算器４６ａ〜４６ｃ、及び積分器（積算器）４７ａ〜４７ｃを備える。
【００４９】
乗算器４６ａの入力端子は、フィルタ４５における直流成分の出力端子と接続される。乗算器４６ａは、例えば波形生成部（図示せず）から供給される直流信号である第１の参照信号（例、１）と、検出信号の直流成分とを掛け合わせ、その結果（乗算信号、乗算値）を出力する。乗算器４６ａの出力端子は、積分器４７ａの入力端子に接続される。積分器４７ａは、乗算器４６ａからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＤ）を出力する。する。言い換えると、積分器４７ａは、ローパスフィルタである。なお、乗算器４６ａは適宜省略されてもよい。
【００５０】
乗算器４６ｂの入力端子は、フィルタ４５における交流成分の出力端子と接続される。乗算器４６ｂは、例えば波形生成部（図示せず）から供給される第２の参照信号と、検出信号の交流成分とを掛け合わせ、その結果（乗算信号、乗算値）を出力する。乗算器４６ｂの出力端子は、積分器４７ｂの入力端子に接続される。積分器４７ｂは、乗算器４６ｂからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＣ）を出力する。言い換えると、積分器４７ｂは、ローパスフィルタである。
【００５１】
乗算器４６ｃの入力端子は、フィルタ４５における交流成分の出力端子と接続される。乗算器４６ｃは、例えば波形生成部（図示せず）から供給される第３の参照信号と、検出信号の交流成分とを掛け合わせ、その結果（乗算信号、乗算値）を出力する。乗算器４６ｃの出力端子は、積分器４７ｃの入力端子に接続される。積分器４７ｃは、乗算器４６ｃからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＳ）を出力する。言い換えると、積分器４７ｃは、ローパスフィルタである。
【００５２】
ロックインアンプ３５は、例えば、制御部４１に制御され、干渉縞が一定の速度で移動している期間に、ロックイン検出を行う。例えば、制御部４１は、駆動部１７に設けられるエンコーダなどを監視し、回折格子１６の速度が一定になった際に、ロックインアンプ３５にロックイン検出を実行させる。また、回折格子１６が平行移動を開始してから一定の速度に至るまでの時間を予め調べておき、制御部４１は、駆動部１７に回折格子１６の平行移動を開始させてから上記の時間が経過した後に、ロックインアンプ３５にロックイン検出を実行させてもよい。
【００５３】
本実施形態において、構造化照明顕微鏡１は、図２（Ａ）〜（Ｃ）に示したように干渉縞の方向を変更し、干渉縞の方向ごとに、観察光を撮像素子３２により検出信号に変換し、検出信号をロックインアンプ３５により積算信号に変換する。図６（Ａ）は、図２（Ｂ）に対応する干渉縞の移動を示す図である。分岐部１５は、図６（Ａ）に示すように周期方向を設定し、干渉縞を周期方向に一定の速度で移動させ、撮像素子３２は、干渉縞が移動している間に観察光を検出する。また、分岐部１５は、図６（Ｂ）に示すように周期方向を図６（Ａ）の状態から変更し、干渉縞を周期方向に一定の速度で移動させ、撮像素子３２は、干渉縞が移動している間に観察光を検出する。つまり、分岐部１５は、干渉縞の位相を変化させ、撮像素子３２は、干渉縞の位相が変化している間の少なくとも一部の時間において観察光を検出する。
【００５４】
次に、上記説明した照明方法、観察光の検出方法、及び復調方法について具体的に説明する。まず、試料面において、第１の方向に周期構造を持ち、第１の方向で移動する干渉縞が照射される。つまり、試料面において、第１の方向で位相が変化する干渉縞が照射される。言い換えると、試料面上の任意の点において照明強度が時間変化する干渉縞が照射される。ここで、試料面上の任意の点における照明強度の時間変化の周波数をωとする。まず、撮像素子３２の光検出器３２ａから出力された検出信号ｆ（ｔ）は、フィルタ４５において交流成分と直流成分に分離される。
【００５５】
ロックインアンプ３５は、４６ａにおいて、フィルタ４５により分離された直流成分と、直流信号である第１の参照信号（例えば１）とを掛け合わせ、４７ａにおいて、照明強度の時間変化の周期（２π／ω）の整数倍である積算期間Ｔで積算し、その結果を示す積算信号（ＩＤ）を出力する。
【００５６】
ロックインアンプ３５は、乗算器４６ｂにおいて、フィルタ４５により分離された交流成分と、周波数ωで振動する第２の参照信号とを掛け合わせ、積分器４７ｂにおいて、乗算器４６ｂからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＣ）を出力する。
【００５７】
ロックインアンプ３５は、乗算器４６ｃにおいて、フィルタ４５により分離された交流成分と、周波数ωで振動し、第２の参照信号と位相がπ／２ずれた第３の参照信号とを掛け合わせ、積分器４７ｃにおいて、乗算器４６ｃからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＳ）を出力する。
【００５８】
なお、フィルタ４５は適宜省略されてもよい。フィルタ４５が省略される場合、撮像素子３２の光検出器３２ａから出力された検出信号ｆ（ｔ）は、４６ａ、４６ｂ、４６ｃにそれぞれ入力される。
【００５９】
制御装置４の画像処理部４０は、ロックインアンプ３５から積算信号ＩＤ、ＩＣ、ＩＳを読み出し、積算信号ＩＤ、ＩＣ、ＩＳを用いて復調処理を行う。例えば、画像処理部４０は、積算信号ＩＤ、ＩＣ、ＩＳをフーリエ変換し、線形変換を行うことにより、物体の超解像成分を含む空間周波数スペクトルを得る。こうして、第１の方向における物体の超解像成分を含む空間周波数スペクトルを得ることができる。なお、上記では、積算信号ＩＤ、ＩＣ、ＩＳをフーリエ変換し、線形変換を行うことにより、物体の超解像成分を含む空間周波数スペクトルを得る場合を例として説明したが、これに限らず他の手法を採用してもよい（以下の復調処理においても同様）。
【００６０】
同様に、試料面において、第２の方向において周期構造を持ち第２の方向で移動する干渉縞が照明され、画像処理部４０は、第２の方向おける物体の超解像成分を含む空間周波数スペクトルを得る。つまり、試料面において、第２の方向で位相が変化する干渉縞が照明され、画像処理部４０は、第２の方向おける物体の超解像成分を含む空間周波数スペクトルを得る。さらに、試料面において、第３の方向において周期構造を持ち３の方向で移動する干渉縞が照明され、画像処理部４０は、第３の方向における物体の超解像成分を含む空間周波数スペクトルを得る。つまり、試料面において、第３の方向で位相が変化する干渉縞が照明され、画像処理部４０は、第３の方向おける物体の超解像成分を含む空間周波数スペクトルを得る。
【００６１】
画像処理部４０は、第１の方向における物体の超解像成分を含む空間周波数スペクトル、第２の方向における物体の超解像成分を含む空間周波数スペクトル、第３の方向における物体の超解像成分を含む空間周波数スペクトルを周波数空間で再配置し、再配置した空間周波数スペクトルを逆フーリエ変換することにより、超解像画像（復調画像）を得る。なお、本実施形態では、干渉縞の周期方向が３方向の場合を例示したが、方向数は３に限らず適宜変更してもよい。
【００６２】
次に、上述のような構造化照明顕微鏡１の動作に基づき、観察方法について説明する。図７は、本実施形態に係る観察方法を示すフローチャートである。ステップＳ１において、構造化照明顕微鏡１は、干渉縞の方向を設定する。例えば、制御部４１は、駆動部１７を制御し、回折格子１６を図２（Ａ）の第１回転位置ＲＰ１に配置させる。
【００６３】
ステップＳ２において、構造化照明顕微鏡１は、干渉縞の位相を変化させる。例えば、構造化照明顕微鏡１は、干渉縞を試料面上で移動させながら、試料Ｘからの観察光を検出する。例えば、制御部４１は、分岐部１５により干渉縞を移動させながら、撮像素子３２により観察光を検出させる。つまり、制御部４１は、分岐部１５により干渉縞の位相を変化させながら、撮像素子３２により観察光を検出させる。
【００６４】
ステップＳ３において、構造化照明顕微鏡１は、試料からの光を少なくとも１つの周波数でロックイン検出する。例えば、構造化照明顕微鏡１は、照明強度の時間変化の周波数に応じた成分を抽出する。例えば、制御部４１は、撮像素子３２からの検出信号から照明強度の時間変化の周波数に応じた成分をロックインアンプ３５により抽出させる。
【００６５】
ステップＳ４において、構造化照明顕微鏡１は、干渉縞の方向として予定されている全ての方向が終了したか否かを判定する。例えば、制御部４１は、図２に示した３通りの干渉縞の方向について、観察光の検出が終了したか否かを判定する。制御部４１は、観察光の検出が完了していない干渉縞の方向があると判定した場合（ステップＳ４；Ｎｏ）、ステップＳ１に戻り、干渉縞の方向を次の方向に設定する。また、観察光の検出が完了していない干渉縞の方向がないと制御部４１が判定した場合（ステップＳ４；Ｙｅｓ）、ステップＳ５において、構造化照明顕微鏡１は、ロックイン検出された信号の少なくとも一部を用いて、試料の画像を生成する。例えば、画像処理部４０は、上記説明したアルゴリズムに従って、復調画像を生成する。
【００６６】
なお、構造化照明顕微鏡１は、例えば、撮像素子３２による撮像結果を記憶部などに記憶させておき、干渉縞の方向を変更した後にロックイン検出を行ってもよい。例えば、構造化照明顕微鏡１は、前回の干渉縞の方向に応じた撮像結果を使ったロックイン検出を、次回の干渉縞の方向に関するステップＳ１〜Ｓ４の処理と並行して行ってもよいし、ステップＳ４の処理の後で行ってもよい。また、構造化照明顕微鏡１は、前回の干渉縞の方向に応じた撮像結果を使った復調処理を、次の干渉縞の方向に関するステップＳ１〜Ｓ４の処理と並行して行ってもよい。
【００６７】
［第２実施形態］
第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。第２実施形態に係る構造化照明顕微鏡１は、３Ｄ−ＳＩＭモードにおいて、試料面上の周期方向が１方向の干渉縞を用いて、５チャンネルのロックイン検波を行う。本実施形態に係る構造化照明顕微鏡１で用いられる干渉縞は、少なくとも２つの空間周波数成分を有する。より具体的には、０次回折光と１次回折光との干渉により形成される干渉縞（０次回折光と＋１次回折光との干渉および０次回折光と−１次回折光との干渉によって形成される干渉縞）が有する空間周波数成分と、＋１次回折光と−１次回折光との干渉によって形成される干渉縞が有する空間周波数成分を有する。
【００６８】
図８は、本実施形態に係る構造化照明顕微鏡１を示す図である。図８においては、図を見やすくするために試料Ｘから撮像素子３６までの光路を省略したが、撮像装置３は、図１と同様に試料Ｘを撮像する。３Ｄ−ＳＩＭモードにおいて、構造化照明装置２は、０次回折光と１回折光（−１次回折光、１次回折光）との干渉による干渉縞を含む構造化照明で試料Ｘを照明する。なお、３Ｄ−ＳＩＭにおいて、構造化照明顕微鏡１は、−１次回折光と＋１次回折光との干渉縞を構造化照明に用いるが、この干渉縞は第１実施形態と同様であるので、適宜、その説明を省略する。
【００６９】
マスク２２は、３Ｄ−ＳＩＭモードにおいて、０次回折光および１次回折光（−１次回折光、１次回折光）を通し、２次以上の回折光を遮断する。マスク２２は、例えば、０次回折光の通過と遮断とを切り替え可能なシャッタ部を備え、３Ｄ−ＳＩＭモードにおいては０次回折光が通過するように設けられる。なお、構造化照明装置２は、３Ｄ−ＳＩＭモードに使用される際に、マスク２２を、０次回折光が入射する位置に開口部を有するマスクに交換可能であってもよい。
【００７０】
図９は、本実施形態に係るロックインアンプ３５を示す図である。本実施形態において、干渉縞は、少なくとも第１の空間周波数成分および第２の空間周波数成分を有する。ロックインアンプ３５は、少なくとも第１の周波数および第２の周波数でロックイン検出を行う。ロックインアンプ３５は、乗算器４６ａ〜４６ｅ、及び積分器（積算器）４７ａ〜４７ｅを備える。ロックインアンプ３５は、５種類の参照信号（第１〜第５の参照信号）を用いる。第１の参照信号は直流信号（１）である。第２〜第４の参照信号は、交流信号である。３Ｄ−ＳＩＭで１方向ごとにロックイン検波する際の参照信号の周波数を下記の［表１］に示す。
【００７１】
【表１】
2018150471.tif 000003
【００７２】
乗算器４６ａの入力端子は、フィルタ４５における直流成分の出力端子と接続される。乗算器４６ａは、例えば波形生成部（図示せず）から供給される直流信号である第１の参照信号（例、１）と、検出信号の直流成分とを掛け合わせ、その結果（乗算信号、乗算値）を出力する。乗算器４６ａの出力端子は、積分器４７ａの入力端子に接続される。積分器４７ａは、乗算器４６ａからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＤ）を出力する。言い換えると、積分器４７ａは、ローパスフィルタである。なお、乗算器４６ａは適宜省略されてもよい。
【００７３】
乗算器４６ｂの入力端子は、フィルタ４５における交流成分の出力端子と接続される。乗算器４６ｂは、例えば波形生成部（図示せず）から供給される第２の参照信号と、検出信号の交流成分とを掛け合わせ、その結果（乗算信号、乗算値）を出力する。第２の参照信号は、第１の周波数（ａ１）の第１の初期位相の交流信号（例、ｃｏｓ（ａ１ｔ））である。第１の周波数は、例えば、０次回折光と１次回折光との干渉により形成される干渉縞（０次回折光と＋１次回折光との干渉および０次回折光と−１次回折光との干渉により形成される干渉縞）の位相変化によって試料面上任意の点に生じる照明強度の時間変化の周波数と同じである。乗算器４６ｂの出力端子は、積分器４７ｂの入力端子に接続される。積分器４７ｂは、乗算器４６ｂからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＣ，ａ１）を出力する。言い換えると、積分器４７ｂは、ローパスフィルタである。
【００７４】
乗算器４６ｃは、例えば波形生成部（図示せず）から供給される第３の参照信号と、検出信号の交流成分とを掛け合わせ、その結果（乗算信号、乗算値）を出力する。第３の参照信号は、第１の周波数と同じ周波数（ａ１）の第２の初期位相の交流信号（例、ｓｉｎ（ａ１ｔ））である。乗算器４６ｃの入力端子は、フィルタ４５における交流成分の出力端子と接続される。乗算器４６ｃの出力端子は、積分器４７ｃの入力端子に接続される。積分器４７ｃは、乗算器４６ｃからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＳ，ａ１）を出力する。言い換えると、積分器４７ｃは、ローパスフィルタである。
【００７５】
乗算器４６ｄの入力端子は、フィルタ４５の交流成分の出力端子に接続される。乗算器４６ｄは、波形生成部（図示せず）から供給される第４の参照信号と検出信号の交流成分とを掛け合わせて、その結果（乗算信号、乗算値）を出力する。第４の参照信号は、第２の周波数（ａ２）の第１の初期位相の交流信号（例、ｃｏｓ（ａ２ｔ））である。第２の周波数（ａ２）は、例えば、第１の周波数（ａ１）と異なる周波数である。第２の周波数（ａ２）は、例えば、−１次回折光と＋１次回折光との干渉により形成される干渉縞の位相変化によって試料面上任意の点に生じる照明強度の時間変化の周波数と同じである。第２の周波数（ａ２）は、例えば第１の周波数（ａ１）に対して２以上の整数倍（例、ａ２＝２ａ１）である。乗算器４６ｄの出力端子は、積分器４７ｄの入力端子に接続される。積分器４７ｄは、乗算器４６ｄからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＣ，ａ２）を出力する。
【００７６】
乗算器４６ｅの入力端子は、フィルタ４５の交流成分の出力端子に接続される。乗算器４６ｅは、波形生成部（図示せず）から供給される第５の参照信号と検出信号の交流成分とを掛け合わせて、その結果（乗算信号、乗算値）を出力する。第５の参照信号は、第２の周波数（ａ２）の第２の初期位相の交流信号（例、ｓｉｎ（ａ２ｔ））である。乗算器４６ｅの出力端子は、積分器４７ｅの入力端子に接続される。積分器４７ｅは、乗算器４６ｅからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＳ，ａ２）を出力する。
【００７７】
上記の参照信号に応じた積算信号ＩＤは、無変調の信号が抽出されたものである。上記の参照信号に応じた積算信号、ＩＣ，ａ２、ＩＳ，ａ２は、＋１次回折光と−１次回折光との干渉による干渉縞により変調された信号が抽出されたものである。また、上記の参照信号に応じた積算信号ＩＣ，ａ１、ＩＳ，ａ１は、０次回折光と１次回折光との干渉により形成される干渉縞（０次回折光と＋１次回折光との干渉および０次回折光と−１次回折光の干渉による干渉縞）により変調された信号が抽出されたものである。
【００７８】
次に、上記説明した照明方法、観察光の検出方法、及び復調方法について具体的に説明する。まず、試料に０次回折光および１次回折光（−１次回折光、１次回折光）による干渉縞が照射される。この干渉縞は３光束干渉による干渉縞であるため、試料断面の所定方向および試料の深さ方向に周期構造を有する。対物レンズ２８と、試料が載置されているステージとが第１の距離にある場合に、任意の深さの試料断面において、第１の方向に周期構造を持ち、第１の方向で移動する干渉縞が照射される。つまり、対物レンズ２８と、試料が載置されているステージとが第１の距離にある場合に、任意の深さの試料断面において、第１の方向に位相が変化する干渉縞が照射される。言い換えると、試料面上の任意の点において照明強度が時間変化する干渉縞が照射される。
【００７９】
ここで、試料面上の任意の点における照明強度の時間変化は２つの周波数ａ１とａ２とで振動する成分から構成される。つまり、試料面上の任意の点における照明強度の時間変化の周波数は、２つの周波数ａ１とａ２とから構成される。撮像素子３２の光検出器３２ａから出力された検出信号ｆ（ｔ）は、フィルタ４５において交流成分と直流成分に分離される。
【００８０】
ロックインアンプ３５は、４６ａにおいて、フィルタ４５により分離された直流成分と、直流信号である第１の参照信号（例えば１）とを掛け合わせ、４７ａにおいて、照明強度の時間変化の周期（２π／ａ１）の整数倍である積算期間Ｔで積算し、その結果を示す積算信号（ＩＤ）を出力する。
【００８１】
ロックインアンプ３５は、乗算器４６ｂにおいて、フィルタ４５により分離された交流成分と、周波数ａ１で振動する第２の参照信号とを掛け合わせ、積分器４７ｂにおいて、乗算器４６ｂからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＣ，ａ１）を出力する。
【００８２】
ロックインアンプ３５は、乗算器４６ｃにおいて、フィルタ４５により分離された交流成分と、周波数ａ１で振動し、第２の参照信号と位相がπ／２ずれた第３の参照信号とを掛け合わせ、積分器４７ｃにおいて、乗算器４６ｃからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＳ，ａ１）を出力する。
【００８３】
ロックインアンプ３５は、乗算器４６ｄにおいて、フィルタ４５により分離された交流成分と、周波数ａ２（ａ２＝２ａ１）で振動する第４の参照信号とを掛け合わせ、積分器４７ｄにおいて、乗算器４６ｄからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＣ，ａ２）を出力する。
【００８４】
ロックインアンプ３５は、乗算器４６ｅにおいて、フィルタ４５により分離された交流成分と、周波数ａ２で振動し、第４の参照信号と位相がπ／２ずれた第５の参照信号とを掛け合わせ、積分器４７ｅにおいて、乗算器４６ｅからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＳ，ａ２）を出力する。
【００８５】
制御装置４の復調部４１は、対物レンズ２８および試料が載置されているステージの少なくとも一方を移動する。そして、対物レンズ２８とステージとが第１の距離および第２の距離にある場合それぞれにおいて、任意の深さの試料断面において第１の方向に周期構造を持ち、第１の方向で移動する干渉縞が照明され、同様に、ロックインアンプ３５から積算信号ＩＤ、ＩＣ，ａ１、ＩＳ，ａ１、ＩＣ，ａ２、ＩＳ，ａ２が出力される。
【００８６】
制御装置４の画像処理部４０は、対物レンズ２８とステージとが第１の距離にある場合、第２の距離にある場合における積算信号ＩＤ、ＩＣ，ａ１、ＩＳ，ａ１、ＩＣ，ａ２、ＩＳ，ａ２を読み出し、復調処理を行う。例えば、画像処理部４０は、積算信号ＩＤ、ＩＣ，ａ１、ＩＳ，ａ１、ＩＣ，ａ２、ＩＳ，ａ２をフーリエ変換し、線形変換を行うことにより、物体の超解像成分を含む空間周波数スペクトルを得る。こうして、第１の方向における物体の超解像成分を含む空間周波数スペクトルを得ることができる。
【００８７】
同様に、対物レンズ２８とステージとが第１の距離にある場合、第２の距離にある場合において、第２の方向において周期構造を持ち第２の方向で移動する干渉縞が照明され、画像処理部４０は、第２の方向おける物体の超解像成分を含む空間周波数スペクトルを得る。つまり、対物レンズ２８とステージとが第１の距離にある場合、第２の距離にある場合において、第２の方向に干渉縞の位相を変化させて、画像処理部４０は、第２の方向おける物体の超解像成分を含む空間周波数スペクトルを得る。
【００８８】
さらに、対物レンズ２８とステージとが第１の距離にある場合、第２の距離にある場合において、第３の方向において周期構造を持ち３の方向で移動する干渉縞が照明され、画像処理部４０は、第３の方向における物体の超解像成分を含む空間周波数スペクトルを得る。つまり、対物レンズ２８とステージとが第１の距離にある場合、第２の距離にある場合において、第３の方向に干渉縞の位相を変化させて、画像処理部４０は、第３の方向おける物体の超解像成分を含む空間周波数スペクトルを得る。
【００８９】
画像処理部４０は、第１の方向における物体の超解像成分を含む空間周波数スペクトル、第２の方向における物体の超解像成分を含む空間周波数スペクトル、第３の方向における物体の超解像成分を含む空間周波数スペクトルを周波数空間で再配置し、再配置した空間周波数スペクトルを逆フーリエ変換することにより、３次元の超解像画像（復調画像）を得る。
【００９０】
なお、上記では、対物レンズ２８とステージとを第１の距離に設定して積算信号を取得し、第２の距離に設定して積算信号を取得して３次元の超解像画像（復調画像）を取得したが、設定される距離の数は１以上であればよい。言い換えると、対物レンズ２８とステージとを第１〜第ｎ（ｎは１以上の整数）の距離に設定し、積算信号を取得して３次元の超解像画像（復調画像）を取得してよい。また、干渉縞の方向が３方向の場合を例示したが、方向数は３に限らず適宜変更してもよい。
【００９１】
［第３実施形態］
第３実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。本実施形態に係る構造化照明顕微鏡１は、２Ｄ−ＳＩＭモードにおいて、試料面上の周期方向が３方向である干渉縞を用いて、７チャンネルのロックイン検出を行う。言い換えると、本実施形態に係る構造化照明顕微鏡１で用いられる干渉縞は、少なくとも３つの空間周波数成分を有する。例えば、試料面上の周期方向が３方向である干渉縞の場合、３方向それぞれに少なくとも１つの空間周波数成分を有する。
【００９２】
図１０は、本実施形態に係る照明方法を示す図である。図１０（Ａ）は、本実施形態に係る分岐部１５を示す図である。分岐部１５は、回折格子１６を備える。回折格子１６は、三角格子状の部材であり、３方向（図中、Ｄ１〜Ｄ３で示す）に周期構造を有する。駆動部１７は、制御部４１に制御されて、回折格子１６を所定の方向に平行移動させる。回折格子１６の移動方向については、後に図１２を参照しつつ説明する。
【００９３】
図１０（Ｂ）は、本実施形態に係るマスク２２を示す図である。マスク２２は、開口部２２ａ、開口部２２ｄ、及び開口部２２ｅを有する。開口部２２ａは、＋１次回折光Ｌａの入射領域に配置される。開口部２２ｄは、＋１次回折光Ｌｄの入射領域に配置される。開口部２２ｄは、開口部２２ａに対して光軸１１ａを中心とする反時計回りに１２０°の回転位置に配置される。開口部２２ｅは、＋１次回折光Ｌｅの入射領域に配置される。開口部２２ｅは、開口部２２ｄに対して光軸１１ａを中心とする反時計回りに１２０°の回転位置に配置される。マスク２２は、−１次回折光Ｌｂの入射領域、−１次回折光Ｌｃの入射領域、及び−１次回折光Ｌｆの入射領域が遮光領域になっている。
【００９４】
図１０（Ｃ）は、瞳面Ｐ０における回折光の入射領域を示す図である。瞳面Ｐ０において、＋１次回折光Ｌａの入射領域、＋１次回折光Ｌｄの入射領域、及び＋１次回折光Ｌｅの入射領域は、光軸１１ａの周囲に等間隔で並んでいる。＋１次回折光Ｌａの入射領域と＋１次回折光Ｌｄの入射領域との距離ＤＬは、例えば、約√３ＮＡに相当する距離（対物レンズ２８の焦点距離ｆ×√３ＮＡ）に設定される。この場合、通常照明に比べて最大で√３倍の解像度が得られる。
【００９５】
図１１は、変形例に係るマスク２２、及び瞳面Ｐ０上における回折光の入射領域を示す図である。このマスク２２は、マスク本体２２Ａと、遮光板２２Ｂとを備える。マスク本体２２Ａは、開口部２２ａ〜２２ｆを有する。開口部２２ａは、周期方向Ｄ３に分岐した＋１次回折光Ｌａの入射領域に配置され、開口部２２ｂは、周期方向Ｄ３に分岐した−１次回折光Ｌｂの入射領域に配置される。開口部２２ｃは、周期方向Ｄ２に分岐した＋１次回折光Ｌｃの入射領域に配置され、開口部２２ｄは、周期方向Ｄ２に分岐した−１次回折光Ｌｄの入射領域に配置される。開口部２２ｅは、周期方向Ｄ１に分岐した＋１次回折光Ｌｅの入射領域に配置され、開口部２２ｆは、周期方向Ｄ１に分岐した−１次回折光Ｌｅの入射領域に配置される。遮光板２２Ｂは、マスク本体２２Ａに対して回転可能である。遮光部２２Ｂは、駆動部（図示せず）により、光軸１１ａの周りで回転駆動される。遮光部２２Ｂは、図１１（Ａ）〜（Ｃ）に示す各回転位置に配置可能である。
【００９６】
図１１（Ａ）において、遮光部２２Ｂは、＋１次回折光Ｌａおよび−１次回折光Ｌｂを通し、かつ＋１次回折光Ｌｃ、−１次回折光Ｌｄ、＋１次回折光Ｌｅ、及び−１次回折光Ｌｆを遮る回転位置に配置される。瞳面Ｐ０において、＋１次回折光Ｌａの入射領域および−１次回折光Ｌｂの入射領域は、光軸１１ａに関して対称的に配置される。＋１次回折光Ｌａの入射領域と−１次回折光Ｌｂの入射領域との距離ＤＬは、例えば、ＮＡの約２倍に相当する距離（対物レンズ２８の焦点距離ｆ×２ＮＡ）に設定される。
【００９７】
図１１（Ｂ）において、遮光部２２Ｂは、図１１（Ａ）から時計回りを正として１２０°回転した回転位置に配置される。遮光部２２Ｂは、＋１次回折光Ｌｅおよび−１次回折光Ｌｆを通し、かつ＋１次回折光Ｌａ、−１次回折光Ｌｂ、＋１次回折光Ｌｃ、及び−１次回折光Ｌｄを遮る回転位置に配置される。瞳面Ｐ０において、＋１次回折光Ｌｅの入射領域および−１次回折光Ｌｆの入射領域は、図１１（Ａ）の＋１次回折光Ｌａの入射領域および−１次回折光Ｌｂの入射領域から、時計回りを正として１２０°回転した回転位置に配置される。
【００９８】
図１１（Ｃ）において、遮光部２２Ｂは、図１１（Ｂ）から時計回りを正として１２０°回転した回転位置に配置される。遮光部２２Ｂは、＋１次回折光Ｌｃおよび−１次回折光Ｌｄを通し、かつ＋１次回折光Ｌａ、−１次回折光Ｌｂ、＋１次回折光Ｌｅ、及び−１次回折光Ｌｆを遮る回転位置に配置される。瞳面Ｐ０において、＋１次回折光Ｌｃの入射領域および−１次回折光Ｌｄの入射領域は、図１１（Ｂ）の＋１次回折光Ｌｅの入射領域および−１次回折光Ｌｆの入射領域から、時計回りを正として１２０°回転した回転位置に配置される。
【００９９】
遮光部２２Ｂは、撮像素子３２における光検出部が電荷を蓄積している間に回転駆動される。遮光部２２Ｂは、対になる３組の１次回折光から１組ずつ択一的に通すので、復調画像の生成に用いない干渉縞を低減することができる。
【０１００】
図１２は、試料面における干渉縞の移動を説明するための図である。図１２（Ａ）は、試料面における干渉縞を示す図である。図１２（Ｂ）は、干渉縞の移動方向を説明するための模式図である。図１２（Ｂ）において、ｋ１、ｋ２、ｋ３は、それぞれ、干渉縞の波数ベクトルを示し、周期方向Ｄ１、Ｄ２、Ｄ３と対応関係にある。波数ベクトルｋ３は、例えば、ｋ３＝ｋ１＋ｋ２の関係を満たす。干渉縞による照明強度は、波数ベクトルｋ１、ｋ２、ｋ３のそれぞれの方向において正弦波状の空間分布の成分を有する。
【０１０１】
図１２（Ｂ）において、符号ｇ１、ｇ２は、格子ベクトルである。格子ベクトルｇ１は、波数ベクトルｋ２に垂直な方向の干渉縞周期を表すベクトルである。格子ベクトルｇ２は、波数ベクトルｋ１に垂直な方向の干渉縞周期を表すベクトルである。干渉縞の移動方向を示すベクトルＤ４は、例えば、互いに異なる整数ｎ１、ｎ２を用いて、Ｄ４＝ｎ１ｇ１＋ｎ２ｇ２で表される。言い換えると、干渉縞は、格子ベクトルｇ１およびｇ２の整数倍の並進に対して対称性を持つ。
【０１０２】
干渉縞をベクトルＤ４の分だけ移動させると、干渉縞は、波数ベクトルｋ１に平行な方向にｎ１周期分移動し、波数ベクトルｋ２に平行な方向にｎ２周期分移動し、波数ベクトルｋ３に平行な方向に（ｎ１＋ｎ２）周期分移動する。ここで、照明強度の波数ベクトルｋ１成分の時間変化の周波数をｂ１とし、照明強度の波数ベクトルｋ２成分の時間変化の周波数をｂ２とし、照明強度の波数ベクトルｋ３成分の時間変化の周波数をｂ３とする。ｂ１、ｂ２、ｂ３は、ｂ２＝（ｎ２／ｎ１）ｂ１、ｂ３＝（１＋ｎ２／ｎ１）ｂ１を満たす。
【０１０３】
図１２（Ｂ）では、例えば、ｎ１＝１、ｎ２＝２の場合を示している。図１２（Ｂ）において、干渉縞は、波数ベクトルｋ１方向に１周期分移動し、波数ベクトルｋ２方向に２周期分移動し、波数ベクトルｋ３方向に３周期分移動する。また、照明強度の波数ベクトルｋ１成分の時間変化の周波数をｂ１とすると、照明強度の波数ベクトルｋ２成分の時間変化の周波数ｂ２はｂ１の２倍になり、照明強度の波数ベクトルｋ３成分の時間変化の周波数ｂ３はｂ１の３倍になる。
【０１０４】
このように、干渉縞の移動方向は、波数ベクトルｋ１方向において干渉縞が移動する周期数と、波数ベクトルｋ２方向において干渉縞が移動する周期数と、波数ベクトルｋ３方向において干渉縞が移動する周期数とが互いに異なるように、設定される。この場合、照明強度の波数ベクトルｋ１成分の時間変化の周波数と、照明強度の波数ベクトルｋ２成分の時間変化の周波数と、照明強度の波数ベクトルｋ３成分の時間変化の周波数とが、それぞれ、所定周波数（第１〜第３の周波数）となる。本実施形態において、ロックインアンプ３５は、少なくとも第１の周波数、第２の周波数および第３の周波数でロックイン検出を行う。第１の周波数（ｂ１）と、第２の周波数（ｂ２）と、、第３の周波数（ｂ３）とを互いに異なる値にすると、各方向に応じた周波数の成分をロックイン検出により抽出することができる。
【０１０５】
図１３は、本実施形態に係るロックインアンプ３５を示す図である。このロックインアンプ３５は、乗算器４６ａ〜４６ｇ、及び積分器（積算器）４７ａ〜４７ｇを備える。ロックインアンプ３５は、７種類の参照信号（第１〜第７の参照信号）を用いる。第１の参照信号は直流信号（１）である。第２〜第７の参照信号は、交流信号である。本実施形態において、２Ｄ−ＳＩＭで３方向一括してロックイン検波する際の参照信号の周波数を下記の［表２］に示す。
【０１０６】
【表２】
2018150471.tif 000004
【０１０７】
乗算器４６ａの入力端子は、フィルタ４５における直流成分の出力端子と接続される。乗算器４６ａは、例えば波形生成部（図示せず）から供給される直流信号である第１の参照信号（例、１）と、検出信号の直流成分とを掛け合わせ、その結果（乗算信号、乗算値）を出力する。乗算器４６ａの出力端子は、積分器４７ａの入力端子に接続される。積分器４７ａは、乗算器４６ａからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＤ）を出力する。する。言い換えると、積分器４７ａは、ローパスフィルタである。なお、乗算器４６ａは適宜省略されてもよい。
【０１０８】
乗算器４６ｂの入力端子は、フィルタ４５における交流成分の出力端子と接続される。乗算器４６ｂは、例えば波形生成部（図示せず）から供給される第２の参照信号と、検出信号の交流成分とを掛け合わせ、その結果（乗算信号、乗算値）を出力する。第２の参照信号は、第１の周波数（ｂ１）の第１の初期位相の交流信号（例、ｃｏｓ（ｂ１ｔ））である。第１の周波数（ｂ１）は、照明強度の波数ベクトルｋ１成分の時間変化の周波数である。乗算器４６ｂの出力端子は、積分器４７ｂの入力端子に接続される。積分器４７ｂは、乗算器４６ｂからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＣ，ｂ１）を出力する。言い換えると、積分器４７ｂは、ローパスフィルタである。
【０１０９】
乗算器４６ｃの入力端子は、フィルタ４５における交流成分の出力端子と接続される。乗算器４６ｃは、例えば波形生成部（図示せず）から供給される第３の参照信号と、検出信号の交流成分とを掛け合わせ、その結果（乗算信号、乗算値）を出力する。第３の参照信号は、第１の周波数（ｂ１）の第２の初期位相の交流信号（例、ｓｉｎ（ｂ１ｔ））である。乗算器４６ｃの出力端子は、積分器４７ｃの入力端子に接続される。積分器４７ｃは、乗算器４６ｃからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＳ，ｂ１）を出力する。言い換えると、積分器４７ｃは、ローパスフィルタである。
【０１１０】
乗算器４６ｄの入力端子は、フィルタ４５の交流成分の出力端子に接続される。乗算器４６ｄは、波形生成部（図示せず）から供給される第４の参照信号と検出信号の交流成分とを掛け合わせて、その結果（乗算信号、乗算値）を出力する。第４の参照信号は、第２の周波数（ｂ２）の第１の初期位相の交流信号（例、ｃｏｓ（ｂ２ｔ））である。第２の周波数（ｂ２）は、例えば、第１の周波数（ｂ１）と異なる周波数である。第２の周波数（ｂ２）は、照明強度の波数ベクトルｋ２成分の時間変化の周波数である。第２の周波数（ｂ２）は、例えば第１の周波数（ｂ１）に対して２以上の整数倍（例、ｂ２＝２ｂ１）である。乗算器４６ｄの出力端子は、積分器４７ｄの入力端子に接続される。積分器４７ｄは、乗算器４６ｄからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＣ，ｂ２）を出力する。
【０１１１】
乗算器４６ｅの入力端子は、フィルタ４５の交流成分の出力端子に接続される。乗算器４６ｅは、波形生成部（図示せず）から供給される第５の参照信号と検出信号の交流成分とを掛け合わせて、その結果（乗算信号、乗算値）を出力する。第５の参照信号は、第２の周波数（ｂ２）の第２の初期位相の交流信号（例、ｓｉｎ（ｂ２ｔ））である。乗算器４６ｅの出力端子は、積分器４７ｅの入力端子に接続される。積分器４７ｅは、乗算器４６ｅからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＳ，ｂ２）を出力する。
【０１１２】
乗算器４６ｆの入力端子は、フィルタ４５の交流成分の出力端子に接続される。乗算器４６ｆは、波形生成部（図示せず）から供給される第６の参照信号と検出信号の交流成分とを掛け合わせて、その結果（乗算信号、乗算値）を出力する。第６の参照信号は、、第３の周波数（ｂ３）の第１の初期位相の交流信号（例、ｃｏｓ（ｂ３ｔ））である。、第３の周波数（ｂ３）は、照明強度の波数ベクトルｋ３成分の時間変化の周波数である。、第３の周波数（ｂ３）は、例えば、第２の周波数（ｂ２＝２ｂ１）と異なり、かつ第１の周波数（ｂ１）に対して２以上の整数倍（例、ｂ３＝３ｂ１）である。乗算器４６ｆの出力端子は、積分器４７ｆの入力端子に接続される。積分器４７ｆは、乗算器４６ｆからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＣ，ｂ３）を出力する。
【０１１３】
乗算器４６ｇの入力端子は、フィルタ４５の交流成分の出力端子に接続される。乗算器４６ｇは、波形生成部（図示せず）から供給される第７の参照信号と検出信号の交流成分とを掛け合わせて、その結果（乗算信号、乗算値）を出力する。第７の参照信号は、、第３の周波数（ｂ３）の第２の初期位相の交流信号（例、ｓｉｎ（ｂ３ｔ））である。例えば、第２の初期位相は第１の初期位相とπ／２ずれた位相である。乗算器４６ｇの出力端子は、積分器４７ｇの入力端子に接続される。積分器４７ｇは、乗算器４６ｇからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＳ，ｂ３）を出力する。
【０１１４】
次に、上記説明した照明方法、観察光の検出方法、及び復調方法について具体的に説明する。まず、試料面において、第１の方向、第２の方向および第３の方向に周期構造を持つ干渉縞が照射される。また、この干渉縞は、例えば、図１２（Ｂ）に示すようにベクトルＤ４の向きに移動し、干渉縞の位相が変化する。言い換えると、試料面上の任意の点において照明強度が時間変化する干渉縞が照射される。
【０１１５】
ここで、試料面上の任意の点における照明強度の時間変化は３つの周波数ｂ１、ｂ２、ｂ３とで振動する成分から構成される。つまり、試料面上の任意の点における照明強度の時間変化の周波数は、３つの周波数ｂ１、ｂ２、ｂ３とから構成される。ロックインアンプ３５は、図１３に示すように、積算信号ＩＤ、ＩＣ，ｂ１、ＩＳ，ｂ１、ＩＣ，ｂ２、ＩＳ，ｂ２、ＩＣ，ｂ３、ＩＳ，ｂ３を出力する。
【０１１６】
制御装置４の画像処理部４０は、ロックインアンプ３５から積算信号ＩＤ、ＩＣ，ｂ１、ＩＳ，ｂ１、ＩＣ，ｂ２、ＩＳ，ｂ２、ＩＣ，ｂ３、ＩＳ，ｂ３を読み出し、復調処理を行う。例えば、画像処理部４０は、積算信号ＩＤ、ＩＣ，ｂ１、ＩＳ，ｂ１、ＩＣ，ｂ２、ＩＳ，ｂ２、ＩＣ，ｂ３、ＩＳ，ｂ３をフーリエ変換し、線形変換を行うことにより、物体の超解像成分を含む空間周波数スペクトルを得る。こうして、３方向における物体の超解像成分を含む空間周波数スペクトルを得ることができる。画像処理部４０は、３方向の物体の超解像成分を含む空間周波数スペクトルを周波数空間で再配置し、再配置した空間周波数スペクトルを逆フーリエ変換することにより、超解像画像（復調画像）を得る。
【０１１７】
次に、上述のような構造化照明顕微鏡１の動作に基づき、観察方法について説明する。図１４は、実施形態に係る観察方法を示すフローチャートである。ステップＳ１０において、構造化照明顕微鏡１は、干渉縞を試料面上で移動させながら、試料Ｘからの観察光を検出する。つまり、構造化照明顕微鏡１は、干渉縞の位相を変化させながら、試料Ｘからの観察光を検出する。例えば、制御部４１は、分岐部１５により干渉縞を移動させながら、撮像素子３２により観察光を検出させる。つまり、制御部４１は、分岐部１５により干渉縞の位相を変化させながら、撮像素子３２により観察光を検出させる。
【０１１８】
ステップＳ１１において、構造化照明顕微鏡１は、照明強度の時間変化の周波数に応じた成分を抽出する。例えば、制御部４１は、撮像素子３２からの検出信号から照明強度の時間変化の周波数に応じた成分をロックインアンプ３５により抽出させる。
【０１１９】
ステップＳ１２において、画像処理部４０は、ロックインアンプ３５により抽出された成分をフーリエ変換し、線形変換を行うことにより、物体の超解像成分を含む空間周波数スペクトルを得る。また、画像処理部４０は、空間周波数スペクトルを周波数空間で再配置し、再配置した空間周波数スペクトルを逆フーリエ変換することにより、超解像画像（復調画像）を得る。
【０１２０】
なお、ロックインアンプ３５は、図１３において７種類の参照信号を用いてロックイン検出を行ったが、これよりも少ない種類の参照信号を用いてロックイン検出を行ってもよい。図１５は、変形例に係るロックインアンプを示す図である。
【０１２１】
本変形例において、周期方向が３方向である干渉縞を用いて、図１３よりも少ないチャンネル数（例、３チャンネル）のロックイン検出を行う。言い換えると、本変形例に係る構造化照明顕微鏡１で用いられる干渉縞は、少なくとも３つの空間周波数成分を有する。例えば、試料面上の周期方向が３方向である干渉縞の場合、３方向それぞれに少なくとも１つの空間周波数成分を有する。
【０１２２】
図１５に示すロックインアンプ３５は、第２の参照信号（Ｃ１（ｔ）＝ｃｏｓ（ｂ１ｔ））を用いてロックイン検出を行って、積算信号ＩＣ，ｂ１を出力する。第２の参照信号は、第１の周波数（ｂ１）および第１の初期位相を有する。また、ロックインアンプ３５は、第４の参照信号（Ｃ２（ｔ）＝ｃｏｓ（ｂ２ｔ））を用いてロックイン検出を行って、積算信号ＩＣ，ｂ２を出力する。第４の参照信号は、第２の周波数（ｂ２）および第１の初期位相を有する。また、ロックインアンプ３５は、第６の参照信号（Ｃ３（ｔ）＝ｃｏｓ（ｂ３ｔ））を用いてロックイン検出を行って、積算信号ＩＣ，ｂ３を出力する。第６の参照信号は、第３の周波数（ｂ３）および第１の初期位相を有する。３つの周波数ｂ１、ｂ２、ｂ３の関係は、上記の［表２］と同様である。画像処理部４１は、積算信号ＩＣ，ｂ１、ＩＣ，ｂ２、ＩＣ，ｂ３を用いて試料Ｘの画像を生成してもよい。
【０１２３】
［第４実施形態］
第４実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。本実施形態に係る構造化照明顕微鏡１は、３Ｄ−ＳＩＭモードにおいて、試料面上の周期方向が３方向である干渉縞を用いて、１３チャンネルのロックイン検出を行う。例えば、図１１に示したマスク２２において０次光を通すことにより、３Ｄ−ＳＩＭモードにおける干渉縞が形成される。言い換えると、本実施形態に係る構造化照明顕微鏡１で用いられる干渉縞は、少なくとも６つの空間周波数成分を有する。例えば、試料面上の周期方向が３方向である干渉縞の場合には、３方向それぞれに０次回折光と１次回折光との干渉により形成される干渉縞（０次回折光と＋１次回折光との干渉および０次回折光と−１次回折光との干渉によって形成される干渉縞）が有する空間周波数成分と、＋１次回折光と−１次回折光との干渉によって形成される干渉縞が有する空間周波数成分とを有する。
【０１２４】
図１６は、本実施形態に係るロックインアンプ３５を示す図である。ロックインアンプ３５は、少なくとも第１の周波数、第２の周波数、第３の周波数、第４の周波数、第５の周波数および第６の周波数でロックイン検出を行う。このロックインアンプ３５は、乗算器４６ａ〜４６ｍ、及び積分器（積算器）４７ａ〜４７ｍを備える。ロックインアンプ３５は、１３種類の参照信号（第１〜第１３の参照信号）を用いる。第１の参照信号は直流信号（１）である。第２〜第１３の参照信号は、交流信号である。本実施形態において、３Ｄ−ＳＩＭで３方向一括してロックイン検波する際の参照信号の周波数を下記の［表３］に示す。
【０１２５】
【表３】
2018150471.tif 000005
【０１２６】
乗算器４６ａの入力端子は、フィルタ４５における直流成分の出力端子と接続される。乗算器４６ａは、例えば波形生成部（図示せず）から供給される直流信号である第１の参照信号（例、１）と、検出信号の直流成分とを掛け合わせ、その結果（乗算信号、乗算値）を出力する。乗算器４６ａの出力端子は、積分器４７ａの入力端子に接続される。積分器４７ａは、乗算器４６ａからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＤ）を出力する。する。言い換えると、積分器４７ａは、ローパスフィルタである。なお、乗算器４６ａは適宜省略されてもよい。
【０１２７】
乗算器４６ｂの入力端子は、フィルタ４５における交流成分の出力端子と接続される。乗算器４６ｂは、例えば波形生成部（図示せず）から供給される第２の参照信号と、検出信号の交流成分とを掛け合わせ、その結果（乗算信号、乗算値）を出力する。第２の参照信号は、第１の周波数（ｃ１）の第１の初期位相の交流信号（例、ｃｏｓ（ｃ１ｔ））である。第１の周波数は、照明強度の波数ベクトルｋ１成分の時間変化の周波数である。乗算器４６ｂの出力端子は、積分器４７ｂの入力端子に接続される。積分器４７ｂは、乗算器４６ｂからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＣ，ｃ１）を出力する。言い換えると、積分器４７ｂは、ローパスフィルタである。
【０１２８】
乗算器４６ｃの入力端子は、フィルタ４５における交流成分の出力端子と接続される。乗算器４６ｃは、例えば波形生成部（図示せず）から供給される第３の参照信号と、検出信号の交流成分とを掛け合わせ、その結果（乗算信号、乗算値）を出力する。第３の参照信号は、第１の周波数（ｃ１）の第２の初期位相の交流信号（例、ｓｉｎ（ｃ１ｔ））である。乗算器４６ｃの出力端子は、積分器４７ｃの入力端子に接続される。積分器４７ｃは、乗算器４６ｃからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＳ，ｃ１）を出力する。言い換えると、積分器４７ｃは、ローパスフィルタである。
【０１２９】
乗算器４６ｄの入力端子は、フィルタ４５の交流成分の出力端子に接続される。乗算器４６ｄは、波形生成部（図示せず）から供給される第４の参照信号と検出信号の交流成分とを掛け合わせて、その結果（乗算信号、乗算値）を出力する。第４の参照信号は、第２の周波数（ｃ２）の第１の初期位相の交流信号（例、ｃｏｓ（ｃ２ｔ））である第２の周波数は、照明強度の波数ベクトルｋ２成分の時間変化の周波数である。第２の周波数（ｃ２）は、例えば、第１の周波数（ｃ１）と異なる周波数である。第２の周波数（ｃ２）は、例えば、第１の周波数（ｃ１）に対して２以上の整数倍（例、ｃ２＝３ｃ１）である。乗算器４６ｄの出力端子は、積分器４７ｄの入力端子に接続される。積分器４７ｄは、乗算器４６ｄからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＣ，ｃ２）を出力する。
【０１３０】
乗算器４６ｅの入力端子は、フィルタ４５の交流成分の出力端子に接続される。乗算器４６ｅは、波形生成部（図示せず）から供給される第５の参照信号と検出信号の交流成分とを掛け合わせて、その結果（乗算信号、乗算値）を出力する。第５の参照信号は、第２の周波数（ｃ２）の第２の初期位相の交流信号（例、ｓｉｎ（ｃ２ｔ））である。乗算器４６ｅの出力端子は、積分器４７ｅの入力端子に接続される。積分器４７ｅは、乗算器４６ｅからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＳ，ｃ２）を出力する。
【０１３１】
乗算器４６ｆの入力端子は、フィルタ４５の交流成分の出力端子に接続される。乗算器４６ｆは、波形生成部（図示せず）から供給される第６の参照信号と検出信号の交流成分とを掛け合わせて、その結果（乗算信号、乗算値）を出力する。第６の参照信号は、、第３の周波数（ｃ３）の第１の初期位相の交流信号（例、ｃｏｓ（ｃ３ｔ））である。、第３の周波数（ｃ３）は、照明強度の波数ベクトルｋ３成分の時間変化の周波数である。、第３の周波数（ｃ３）は、例えば、第２の周波数（ｃ２＝３ｃ１）と異なり、かつ第１の周波数（ｃ１）に対して２以上の整数倍（例、ｃ３＝４ｃ１）である。乗算器４６ｆの出力端子は、積分器４７ｆの入力端子に接続される。積分器４７ｆは、乗算器４６ｆからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＣ，ｃ３）を出力する。
【０１３２】
乗算器４６ｇの入力端子は、フィルタ４５の交流成分の出力端子に接続される。乗算器４６ｇは、波形生成部（図示せず）から供給される第７の参照信号と検出信号の交流成分とを掛け合わせて、その結果（乗算信号、乗算値）を出力する。第７の参照信号は、、第３の周波数（ｃ３）の第２の初期位相の交流信号（例、ｓｉｎ（ｃ３ｔ））である。例えば、第２の初期位相は第１の初期位相とπ／２ずれた位相である。乗算器４６ｇの出力端子は、積分器４７ｇの入力端子に接続される。積分器４７ｇは、乗算器４６ｇからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＳ，ｃ３）を出力する。
【０１３３】
乗算器４６ｈの入力端子は、フィルタ４５の交流成分の出力端子に接続される。乗算器４６ｈは、波形生成部（図示せず）から供給される第８の参照信号と検出信号の交流成分とを掛け合わせて、その結果（乗算信号、乗算値）を出力する。第８の参照信号は、第４の周波数（ｃ４）の第１の初期位相の交流信号（例、ｃｏｓ（ｃ４ｔ））である。第４の周波数は、照明強度の波数ベクトルｋ１成分の周波数である。第４の周波数（ｃ４）は、例えば、第２の周波数および、第３の周波数のいずれとも異なり、かつ第１の周波数（ｃ１）に対して２以上の整数倍（例、ｃ４＝２ｃ１）である。乗算器４６ｈの出力端子は、積分器４７ｈの入力端子に接続される。積分器４７ｈは、乗算器４６ｈからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＣ，ｃ４）を出力する。
【０１３４】
乗算器４６ｉの入力端子は、フィルタ４５の交流成分の出力端子に接続される。乗算器４６ｉは、波形生成部（図示せず）から供給される第９の参照信号と検出信号の交流成分とを掛け合わせて、その結果（乗算信号、乗算値）を出力する。第９の参照信号は、第４の周波数（ｃ４）の第２の初期位相の交流信号（例、ｓｉｎ（ｃ４ｔ））である。例えば、第２の初期位相は第１の初期位相とπ／２ずれた位相である。乗算器４６ｉの出力端子は、積分器４７ｉの入力端子に接続される。積分器４７ｉは、乗算器４６ｉからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＳ，ｃ４）を出力する。
【０１３５】
乗算器４６ｊの入力端子は、フィルタ４５の交流成分の出力端子に接続される。乗算器４６ｊは、波形生成部（図示せず）から供給される第１０の参照信号と検出信号の交流成分とを掛け合わせて、その結果（乗算信号、乗算値）を出力する。第１０の参照信号は、第５の周波数（ｃ５）の第１の初期位相の交流信号（例、ｃｏｓ（ｃ５ｔ））である。第５の周波数は、照明強度の波数ベクトルｋ２成分の時間変化の周波数である。第５の周波数（ｃ５）は、例えば、第１〜第４の周波数のいずれとも異なり、かつ第１の周波数（ｃ１）に対して２以上の整数倍（例、ｃ５＝６ｃ１）である。乗算器４６ｊの出力端子は、積分器４７ｊの入力端子に接続される。積分器４７ｊは、乗算器４６ｊからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＣ，ｃ５）を出力する。
【０１３６】
乗算器４６ｋの入力端子は、フィルタ４５の交流成分の出力端子に接続される。乗算器４６ｋは、波形生成部（図示せず）から供給される第１１の参照信号と検出信号の交流成分とを掛け合わせて、その結果（乗算信号、乗算値）を出力する。第１１の参照信号は、第５の周波数（ｃ５）の第２の初期位相の交流信号（例、ｓｉｎ（ｃ５ｔ））である。例えば、第２の初期位相は第１の初期位相とπ／２ずれた位相である。乗算器４６ｋの出力端子は、積分器４７ｋの入力端子に接続される。積分器４７ｋは、乗算器４６ｋからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＳ，ｃ５）を出力する。
【０１３７】
乗算器４６ｌの入力端子は、フィルタ４５の交流成分の出力端子に接続される。乗算器４６ｌは、波形生成部（図示せず）から供給される第１２の参照信号と検出信号の交流成分とを掛け合わせて、その結果（乗算信号、乗算値）を出力する。第１２の参照信号は、第６の周波数（ｃ６）の第１の初期位相の交流信号（例、ｃｏｓ（ｃ６ｔ））である。第６の周波数は、照明強度の波数ベクトルｋ３成分の時間変化の周波数である。第６の周波数（ｃ６）は、例えば、、第３の周波数（ｃ３）に対して２以上の整数倍（例、ｃ６＝２ｃ３＝８ｃ１）である。乗算器４６ｌの出力端子は、積分器４７ｌの入力端子に接続される。積分器４７ｌは、乗算器４６ｌからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＣ，ｃ６）を出力する。
【０１３８】
乗算器４６ｍの入力端子は、フィルタ４５の交流成分の出力端子に接続される。乗算器４６ｍは、波形生成部（図示せず）から供給される第１３の参照信号と検出信号の交流成分とを掛け合わせて、その結果（乗算信号、乗算値）を出力する。第１３の参照信号は、第６の周波数（ｃ６）の第２の初期位相の交流信号（例、ｓｉｎ（ｃ６ｔ））である。例えば、第２の初期位相は第１の初期位相とπ／２ずれた位相である。乗算器４６ｍの出力端子は、積分器４７ｍの入力端子に接続される。積分器４７ｍは、乗算器４６ｍからの乗算信号を積算期間Ｔにおいて積算し、その結果を示す積算信号（ＩＳ，ｃ６）を出力する。
【０１３９】
上記の参照信号に応じた積算信号ＩＤは、無変調の信号が抽出されたものである。ＩＣ，ｃ４、ＩＳ，ｃ４は、第１の方向の＋１次回折光と−１次回折光との干渉による干渉縞により変調された信号が抽出されたものである。また、ＩＣ，ｃ５、ＩＳ，ｃ５は、第２の方向の＋１次回折光と−１次回折光との干渉による干渉縞により変調された信号が抽出されたものである。また、ＩＣ，ｃ６、ＩＳ，ｃ６は、第３の方向の＋１次回折光と−１次回折光との干渉による干渉縞により変調された信号が抽出されたものである。また、ＩＣ，ｃ１、ＩＳ，ｃ１は、第１の方向の０次回折光と１次回折光の干渉縞（０次回折光と＋１次回折光とによる干渉及び０次回折光と−１次回折光との干渉による干渉縞）により変調された信号が抽出されたものである。また、ＩＣ，ｃ２、ＩＳ，ｃ２は、第２の方向の０次回折光と１次回折光の干渉縞（０次回折光と＋１次回折光とによる干渉および０次回折光と−１次回折光との干渉による干渉縞）により変調された信号が抽出されたものである。また、ＩＣ，ｃ３、ＩＳ，ｃ３は、第３の方向の０次回折光と１次回折光の干渉縞（０次回折光と＋１次回折光との干渉及び０次回折光と−１次回折光との干渉による干渉縞）により変調された信号が抽出されたものである。
【０１４０】
図１７および図１８は、試料面における干渉縞の移動を説明するための図である。図１７（Ａ）は、試料面における干渉縞を示す図である。図１７（Ｂ）は、干渉縞の移動方向を説明するための模式図である。図１７（Ｂ）において、ｋ１、ｋ２、ｋ３は、それぞれ、０次光と１次光との干渉縞の波数ベクトル（実線で示す）を示す。波数ベクトルｋ１、ｋ２、ｋ３は、それぞれ、周期方向Ｄ１、Ｄ２、Ｄ３と対応関係にある。波数ベクトルｋ３は、例えば、ｋ３＝ｋ１＋ｋ２の関係を満たす。図１７（Ｂ）において、ｋ４、ｋ５、ｋ６は、それぞれ、＋１次光と−１次光との干渉縞の波数ベクトル（点線で示す）を示す。波数ベクトルｋ４、ｋ５、ｋ６は、それぞれ、周期方向Ｄ１、Ｄ２、Ｄ３と対応関係にある。
【０１４１】
図１７（Ｂ）の干渉縞において、０次光と１次光との干渉縞を実線で表し、＋１次光と−１次光との干渉縞を点線で表した。図１８（Ａ）は、図１７（Ｂ）から０次光と１次光との干渉縞（実線）を抽出した図である。０次光と＋１次光との干渉縞および０次光と−１次光との干渉縞による照明強度は、波数ベクトルｋ１、ｋ２、ｋ３のそれぞれの方向において正弦波状の空間分布の成分を有する。
【０１４２】
図１８（Ａ）において、符号ｇ１、ｇ２は、格子ベクトルである。格子ベクトルｇ１は、波数ベクトルｋ２に垂直な方向の干渉縞周期を表すベクトルである。格子ベクトルｇ２は、波数ベクトルｋ１に垂直な方向の干渉縞周期を表すベクトルである。干渉縞の移動方向を示すベクトルＤ４は、例えば、互いに異なる整数ｎ１、ｎ２を用いて、Ｄ５＝ｎ１ｇ１＋ｎ２ｇ２で表される。言い換えると、干渉縞は、格子ベクトルｇ１およびｇ２の整数倍の並進に対して対称性を持つ。
【０１４３】
干渉縞をベクトルＤ５の分だけ移動させると、干渉縞は、波数ベクトルｋ１の干渉縞がｎ１周期分移動し、波数ベクトルｋ２の干渉縞がｎ２周期分移動し、波数ベクトルｋ３の干渉縞が（ｎ１＋ｎ２）周期分移動する。ここで、照明強度の波数ベクトルｋ１成分の時間変化の周波数をｃ１とし、照明強度の波数ベクトルｋ２成分の時間変化の周波数をｃ２とし、照明強度の波数ベクトルｋ３成分の時間変化周波数をｃ３とすると、ｃ１、ｃ２、ｃ３は、ｃ２＝（ｎ２／ｎ１）ｃ１、ｃ３＝（１＋ｎ２／ｎ１）ｃ１を満たす。ここで、第４の周波数（ｃ４）はｃ１の２倍であることから、ｎ２／ｎ１を２よりも大きい正の整数にする。
【０１４４】
図１８（ａ）では、例えば、ｎ１＝１、ｎ２＝３の場合を示している。図１８（ａ）において、干渉縞は、波数ベクトルｋ１に平行な方向に１周期分移動し、波数ベクトルｋ２に平行な方向に３周期分移動し、波数ベクトルｋ３に平行な方向に４周期分移動する。また、照明強度の波数ベクトルｋ１成分の時間変化の周波数をｃ１とすると、照明強度の波数ベクトルｋ２成分の時間変化の周波数ｃ２はｃ１の３倍になり、照明強度の波数ベクトルｋ３成分の時間変化の周波数ｃ３はｃ１の４倍になる。
【０１４５】
図１８（Ｂ）は、図１７（Ｂ）から＋１次光と−１次光との干渉縞（点線）を抽出した図である。波数ベクトルｋ６は、例えば、ｋ６＝ｋ４＋ｋ５の関係を満たす。また、ｋ４、ｋ５、ｋ６は、それぞれ、ｋ４＝２ｋ１、ｋ５＝２ｋ２、ｋ６＝２ｋ３の関係を満たす。＋１次光と−１次光の干渉縞による照明強度は、波数ベクトルｋ４、ｋ５、ｋ６のそれぞれの方向において正弦波状の空間分布の成分を有する。
【０１４６】
＋１次光と−１次光の干渉縞の移動方向を示すベクトルＤ５は、例えば、互いに異なる整数ｎ１、ｎ２を用いて、Ｄ５＝ｎ１ｇ１＋ｎ２ｇ２で表される。干渉縞をベクトルＤ５の分だけ移動させると、干渉縞は、波数ベクトルｋ４の干渉縞が２ｎ１周期分移動し、波数ベクトルｋ５の干渉縞が２ｎ２周期分移動し、波数ベクトルｋ６の干渉縞が２（ｎ１＋ｎ２）周期分移動する。ここで、照明強度の波数ベクトルｋ４成分の周波数をｃ４とし、照明強度の波数ベクトルｋ５成分の周波数をｃ５とし、照明強度の波数ベクトルｋ６成分の周波数をｃ６とすると、ｃ４＝２ｃ１、ｃ５＝２ｃ２、ｃ６＝２ｃ３となる。したがって、ｃ１、ｃ２、ｃ３、ｃ４、ｃ５、ｃ６の関係は、上記の表３の通りとなる。
【０１４７】
制御装置４の復調部４１は、対物レンズ２８および試料が載置されているステージの少なくとも一方を移動する。そして、対物レンズ２８とステージとが第1の距離および第２の距離にある場合それぞれにおいて、任意の深さの試料断面において３方向に周期構造を持ち、1方向で移動する干渉縞が照明され、ロックインアンプ３５から積算信号ＩＤ、ＩＣ，ｃ１、ＩＳ，ｃ１、ＩＣ，ｃ２、ＩＳ，ｃ２、ＩＣ，ｃ３、ＩＳ，ｃ３、ＩＣ，ｃ４、ＩＳ，ｃ４、ＩＣ，ｃ５、ＩＳ，ｃ５、ＩＣ，ｃ６、ＩＳ，ｃ６が出力される。
【０１４８】
制御装置４の画像処理部４０は、対物レンズ２８とステージとが第１の距離にある場合、第２の距離にある場合における積算信号ＩＤ、ＩＣ，ｃ１、ＩＳ，ｃ１、ＩＣ，ｃ２、ＩＳ，ｃ２、ＩＣ，ｃ３、ＩＳ，ｃ３、ＩＣ，ｃ４、ＩＳ，ｃ４、ＩＣ，ｃ５、ＩＳ，ｃ５、ＩＣ，ｃ６、ＩＳ，ｃ６を読み出し、復調処理を行う。例えば、画像処理部４０は、積算信号ＩＤ、ＩＣ，ｃ１、ＩＳ，ｃ１、ＩＣ，ｃ２、ＩＳ，ｃ２、ＩＣ，ｃ３、ＩＳ，ｃ３、ＩＣ，ｃ４、ＩＳ，ｃ４、ＩＣ，ｃ５、ＩＳ，ｃ５、ＩＣ，ｃ６、ＩＳ，ｃ６をフーリエ変換し、線形変換を行うことにより、物体の超解像成分を含む空間周波数スペクトルを得る。こうして、３方向における物体の超解像成分を含む空間周波数スペクトルを得ることができる。
【０１４９】
画像処理部４０は、３方向における物体の超解像成分を含む空間周波数スペクトルを周波数空間で再配置し、再配置した空間周波数スペクトルを逆フーリエ変換することにより、３次元の超解像画像（復調画像）を得る。
【０１５０】
なお、ロックインアンプ３５は、図１６において１３種類の参照信号を用いてロックイン検出を行ったが、これよりも少ない種類の参照信号を用いてロックイン検出を行ってもよい。図１９は、変形例に係るロックインアンプを示す図である。
【０１５１】
本変形例において、周期方向が３方向である干渉縞を用いて、図１６よりも少ないチャンネル数（例、６チャンネル）のロックイン検出を行う。言い換えると、本変形例に係る構造化照明顕微鏡１で用いられる干渉縞は、少なくとも６つの空間周波数成分を有する。例えば、試料面上の周期方向が３方向である干渉縞の場合、３方向それぞれに少なくとも２つの空間周波数成分を有する。
図１９に示すロックインアンプ３５は、第２の参照信号（Ｃ１（ｔ）＝ｃｏｓ（ｃ１ｔ））を用いてロックイン検出を行って、積算信号ＩＣ，，ｃ１を出力する。第２の参照信号は、第１の周波数（ｃ１）および第１の初期位相を有する。また、ロックインアンプ３５は、第４の参照信号（Ｃ２（ｔ）＝ｃｏｓ（ｃ２ｔ））を用いてロックイン検出を行って、積算信号ＩＣ，，ｃ２を出力する。第４の参照信号は、第２の周波数（ｃ２）および第１の初期位相を有するまた、ロックインアンプ３５は、第６の参照信号（Ｃ３（ｔ）＝ｃｏｓ（ｃ３ｔ））を用いてロックイン検出を行って、積算信号ＩＣ，，ｃ３を出力する。第６の参照信号は、第３の周波数（ｃ３）および第１の初期位相を有する。
【０１５２】
また、ロックインアンプ３５は、第８の参照信号（Ｃ４（ｔ）＝ｃｏｓ（ｃ４ｔ））を用いてロックイン検出を行って、積算信号ＩＣ，，ｃ４を出力する。第８の参照信号は、第４の周波数（ｃ４）および第１の初期位相を有する。また、ロックインアンプ３５は、第１０の参照信号（Ｃ５（ｔ）＝ｃｏｓ（ｃ５ｔ））を用いてロックイン検出を行って、積算信号ＩＣ，，ｃ５を出力する。第１０の参照信号は、第５の周波数（ｃ５）および第１の初期位相を有する。また、ロックインアンプ３５は、第１２の参照信号（Ｃ６（ｔ）＝ｃｏｓ（ｃ６ｔ））を用いてロックイン検出を行って、積算信号ＩＣ，，ｃ６を出力する。第１２の参照信号は、第６の周波数（ｃ４）および第１の初期位相を有する。６つの周波数ｃ１、ｃ２、ｃ３、ｃ４、ｃ５、ｃ６の関係は、上記の［表３］と同様である。画像処理部４１は、積算信号ＩＣ，ｃ１、ＩＣ，ｃ２、ＩＣ，ｃ３、ＩＣ，ｃ４、ＩＣ，ｃ５、ＩＣ，ｃ６を用いて試料Ｘの画像を生成してもよい。
【０１５３】
［変形例］
次に、変形例について説明する。上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。
【０１５４】
図２０（Ａ）は、変形例に係る構造化照明装置２を示す図である。構造化照明装置２は、光源部１０、位相調整部５０、及び光射出部５１を備える。構造化照明装置２は、光源部１０からの励起光を、位相調整部５０を介して光射出部５１から射出する。光射出部５１は、瞳面Ｐ０と光学的に共役な位置（図１の瞳共役面Ｐ１）に配置される。光射出部５１と試料Ｘとの間の光学系は、第１実施形態と同様であり、図２０にはその図示を省略した。
【０１５５】
光源部１０は、複数の光源５２（第１光源５２ａ、第２光源５２ｂ、第３光源５２ｃ）を備える。光源部１０は、制御部４１に制御され、複数の光源５２のうち点灯させる光源を択一的に切り替え可能である。第１光源５２ａ、第２光源５２ｂ、及び第３光源５２ｃは、いずれも、試料Ｘに含まれる蛍光物質の励起波長を含む波長帯の光を射出し、例えば同じ波長帯の光を射出する。
【０１５６】
第１位相調整部５０ａは、第１光源５２ａからの励起光を２光束に分岐するとともに、分岐した２光束間の位相差を調整する。第１位相調整部５０ａで分岐した一方の光束は、光ファイバ５３ａを介して光射出部５１の射出部５４ａに導かれ、他方の光束は光ファイバ５３ｂを介して射出部５４ｂに導かれる。射出部５４ａおよび射出部５４ｂは、光軸１１ａに関して対称的な位置に配置される。第１位相調整部５０ａは、制御部４１に制御され、射出部５４ａおよび射出部５４ｂから射出される２光束間の位相差を調整することによって、２光束干渉により生成される干渉縞を試料面上で平行移動する。
【０１５７】
第２位相調整部５０ｂは、第２光源５２ｂからの励起光を２光束に分岐するとともに、制御部４１に制御され、分岐した２光束間の位相差を調整する。第２位相調整部５０ｂで分岐した一方の光束は、光ファイバ５３ｃを介して光射出部５１の射出部５４ｃに導かれ、他方の光束は光ファイバ５３ｄを介して射出部５４ｄに導かれる。射出部５４ｃおよび射出部５４ｄは、光軸１１ａに関して対称的な位置に配置される。射出部５４ｃと射出部５４ｄとを結ぶ線は、射出部５４ａと射出部５４ｂとを結ぶ線と、時計回りを正として１２０°の角度をなしている。第２位相調整部５０ｂは、制御部４１に制御され、射出部５４ｃおよび射出部５４ｄから射出される２光束間の位相差を調整することによって、２光束干渉により生成される干渉縞を試料面上で平行移動する。
【０１５８】
第３位相調整部５０ｃは、第３光源５２ｃからの励起光を２光束に分岐するとともに、分岐した２光束間の位相差を調整する。第３位相調整部５０ｃで分岐した一方の光束は、光ファイバ５３ｅを介して光射出部５１の射出部５４ｅに導かれ、他方の光束は光ファイバ５３ｆを介して射出部５４ｆに導かれる。射出部５４ｅおよび射出部５４ｆは、光軸１１ａに関して対称的な位置に配置される。射出部５４ｅと射出部５４ｆとを結ぶ線は、射出部５４ｃと射出部５４ｄとを結ぶ線と、時計回りを正として１２０°の角度をなしている。第３位相調整部５０ｃは、制御部４１に制御され、射出部５４ｅおよび射出部５４ｆから射出される２光束間の位相差を調整することにより、２光束干渉により生成される干渉縞を試料面上で平行移動する。
【０１５９】
図２０（Ｂ）は、構造化照明装置２の動作を示すタイミングチャートである。光検出器は、ロックインアンプの積算期間Ｔの間に、観察光の入射による電荷の蓄積を複数回数行う。制御部４１は、光検出器の電荷蓄積期間ごとに、第１光源５２ａ、第２光源５２ｂ、及び第３光源５２ｃをパルス駆動する。
【０１６０】
制御部４１は、光検出器の電荷蓄積期間Ｔｑの間に、第１光源５２ａを点灯状態とし、第２光源５２ｂおよび第３光源５２ｃを消灯状態にする。また、制御部４１は、第１光源５２ａが点灯状態である期間に、第１光源５２からの励起光を分岐した２光束の位相差を第１位相調整部５０ａにより調整させる。
【０１６１】
制御部４１は、光検出器の電荷蓄積期間Ｔｑの間に、第１光源５２ａを消灯状態とした後に、第２光源５２ｂを点灯状態とし、第３光源５２ｃの消灯状態を維持する。また、制御部４１は、第２光源５２ｂが点灯状態である期間に、第２光源５２からの励起光を分岐した２光束の位相差を第２位相調整部５０ｂにより調整させる。
【０１６２】
制御部４１は、光検出器の電荷蓄積期間Ｔｑの間に、第２光源５２ｂを消灯状態とした後に、第３光源５２ｃを点灯状態とし、第１光源５２ａの消灯状態を維持する。また、制御部４１は、第３光源５２ｃが点灯状態である期間に、第３光源５２からの励起光を分岐した２光束の位相差を第３位相調整部５０ｃにより調整させる。
【０１６３】
構造化照明顕微鏡１は、以上のような電荷蓄積期間Ｔｑを繰り返し、ロックイン検出を行って、復調画像を生成する。複数の光源５２を重複させずに点灯させるので、復調画像の生成に用いない干渉縞の発生を抑制することができる。
【０１６４】
なお、第１光源５２ａ、第２光源５２ｂ、及び第３光源５２ｃは、射出する励起光の波長帯が、蛍光物質の励起波長を含む範囲内で互いに異なっていてもよい。第１光源５２ａ、第２光源５２ｂ、及び第３光源５２ｃは、射出する励起光が互いに干渉しないように、射出する励起光の波長帯が互いに異なっていてもよい。第１光源５２ａ、第２光源５２ｂ、及び第３光源５２ｃが射出する励起光のコヒーレンスが無視できる場合、第１光源５２ａ、第２光源５２ｂ、及び第３光源５２の少なくとも２つが同時に点灯状態になっていてもよい。
【０１６５】
なお、図２０の構造化照明装置２は、２Ｄ−ＳＩＭに適用した例であるが、３Ｄ−ＳＩＭに適用することもできる。３Ｄ−ＳＩＭに適用する場合、例えば、光射出部５１における光軸１１ａの部分に、第２実施形態で説明した０次回折光（図８中に実線で示す光束）に相当する光束を射出する射出部を設ける。この射出部は、第１光源５２ａからの励起光、第２光源５２ｂからの励起光、及び第３光源５２ｃからの励起光のそれぞれに対してコヒーレンスを有する励起光を射出する。この射出部は、例えば、第１光源５２ａから励起光が射出される期間と、第２光源５２ｂから励起光が射出される期間と、第３光源５２ｃから励起光が射出される期間とに、間欠的または連続的に励起光を射出する。
【０１６６】
図２１は、変形例に係る構造化照明装置２を示す図である。構造化照明装置２において、レンズ２０から試料Ｘまでの光学系は、第１実施形態あるいは第２実施形態と同様であり、その図示を省略した。
【０１６７】
図２１（Ａ）に示すように、構造化照明装置２は、光源部１０、及び分岐部１５を備える。光源部１０は、第１光源５２ａ、第２光源５２ｂ、及び第３光源５２ｃを含む。第１光源５２ａ、第２光源５２ｂ、及び第３光源５２ｃは、射出する励起光の波長が、蛍光物質の励起波長を含む範囲内で互いに異なる。２光源間の励起光の波長の差は、例えば、１０ｎｍ〜２０ｎｍ程度である。
【０１６８】
分岐部１５は、回折部６０および駆動部１７を備える。回折部６０（図２１（Ｂ）参照）は、回折格子１６ａ、回折格子１６ｂ、回折格子１６ｃ、及び保持部材６１を備える。回折格子１６ａ〜１６ｃは、周期方向が互いに異なる。例えば、回折格子１６ｂの周期方向は、回折格子１６ａの周期方向と、時計回りを正として１２０°の角度をなす。また、回折格子１６ｃの周期方向は、回折格子１６ｂの周期方向と、時計回りを正として１２０°の角度をなす。回折格子１６ａ〜１６ｃは、いずれも保持部材６１に保持され、ユニット化されている。
【０１６９】
第１光源５２ａからの励起光は、集光レンズ６２ａにより集光され、光ファイバ６３ａおよびコリメータ６４ａを介して、回折格子１６ａに導かれる。第２光源５２ｂからの励起光は、集光レンズ６２ｂにより集光され、光ファイバ６３ｂおよびコリメータ６４ｂを介して、回折格子１６ｂに導かれる。第３光源５２ｃからの励起光は、集光レンズ６２ｃにより集光され、光ファイバ６３ｃおよびコリメータ６４ｃを介して、回折格子１６ｃに導かれる。
【０１７０】
図２１（Ｂ）に示すように、駆動部１７は、ユニット化された回折格子１６ａ〜１６ｃ（回折部６０）を一括して移動させる。回折部６０の移動方向は、例えば、２Ｄ−ＳＩＭの場合には図１２（Ｂ）と同様であり、３Ｄ−ＳＩＭの場合には図１７と同様である。なお、回折格子１６ａ〜１６ｃの少なくとも１つは、他の回折格子とユニット化されていなくてもよい。例えば、駆動部１７は、回折格子１６ａ〜１６ｃを個別に移動させてもよい。回折格子１６ａ〜１６ｃを個別に移動させる場合の移動方向は、ユニット化されている場合と同様である。
【０１７１】
回折格子１６ａの光出射側には、レンズ２０に向かう順にミラー６５ａ、ダイクロイックミラー６６ａ、及びダイクロイックミラー６６ｂが設けられる。回折格子１６ｂの光出射側には、レンズ２０に向かう順にダイクロイックミラー６６ａ、及びダイクロイックミラー６６ｂが設けられる。回折格子１６ｃの光出射側には、レンズ２０に向かう順にミラー６５ｂ、及びダイクロイックミラー６６ｂが設けられる。
【０１７２】
ダイクロイックミラー６６ａは、第１光源５２ａからの励起光が反射し、第２光源５２ｂからの励起光が透過する特性を有する。ダイクロイックミラー６６ｂは、第１光源５２ａからの励起光および第２光源５２ｂからの励起光が透過し、第３光源５２ｃからの励起光が反射する特性を有する。
【０１７３】
回折格子１６ａからの励起光は、ミラー６５ａおよびダイクロイックミラー６６ａで反射し、ダイクロイックミラー６６ｂを透過してレンズ２０に入射する。回折格子１６ｂからの励起光は、ダイクロイックミラー６６ａおよびダイクロイックミラー６６ｂを透過してレンズ２０に入射する。回折格子１６ｃからの励起光は、ミラー６５ｂおよびダイクロイックミラー６６ｂで反射してレンズ２０に入射する。第１光源５２ａからの励起光、第２光源５２ｂからの励起光、第３光源５２ｃからの励起光は、それぞれ干渉縞を形成し、３種の干渉縞が試料面上で重ねあわされる。
【０１７４】
なお、構造化照明顕微鏡１は、回折格子１６を平行移動させる以外の手法により、試料面上で干渉縞を移動させてもよい。言い換えると、構造化照明顕微鏡１は、回折格子１６を平行移動させる以外の手法により、干渉縞の位相を変化させてもよい。例えば、分岐部１５は、強誘電性液晶を用いた光変調器を備え、強誘電性液晶に印加する電圧パターンを変化させることにより、干渉縞を移動させてもよい。言い換えると、例えば、分岐部１５は、強誘電性液晶を用いた光変調器を備え、強誘電性液晶に印加する電圧パターンを変化させることにより、干渉縞の位相を変化させてもよい。また、分岐部１５は、音響光学素子（ＡＯＭ）を備え、音響光学素子に発生する進行波により、干渉縞を移動させてもよい。言い換えると、分岐部１５は、音響光学素子（ＡＯＭ）を備え、音響光学素子に発生する進行波により、干渉縞の位相を変化させてもよい。また、分岐部１５は、音響光学素子に発生する定常波の位置を変化させることにより、干渉縞を移動させてもよい。言い換えると、分岐部１５は、音響光学素子に発生する定常波の位置を変化させることにより、干渉縞の位相を変化させてもよい。つまり、強誘電性液晶を用いた光変調器や、音響光学素子を回折部材として用いることができる。
【０１７５】
図２２は、変形例に係る構造化照明顕微鏡を示す図である。この構造化照明顕微鏡１は、画像処理部４０に設けられた検出部７０を備える。検出部７０は、撮像素子３２から出力される検出信号を所定周波数の成分でロックイン検出する。例えば、撮像装置３は、高速度ビデオカメラを有し、記憶部（図示せず）は、撮像素子３２（第１検出部）から出力されるデータを記憶する。画像処理部４０の検出部７０（第２検出部）は、このデータを使って図５、図９、図１３、図１５、図１６、あるいは図１９に示した乗算器および積分器の処理と同様の演算を実行し、積算信号（積算値）を算出する。検出部７０は、例えばコンピュータの演算部が乗算器および積分器の処理と同様の演算を実行することで、実現される。このように、構造化照明顕微鏡１は、図１などに示したロックインアンプ３５を備えていなくてもよい。
【０１７６】
構造化照明顕微鏡には高速化が期待される。例えば、生物の試料である場合、複数の変調画像を取得する間に試料が移動などにより変化することがある。また、蛍光観察を行う場合、複数の変調画像を取得する間に、褪色の影響が顕著になる可能性がある。上述の実施形態によれば、高速化が可能な構造化照明顕微鏡、観察方法、及びプログラムを提供することができる。
【０１７７】
上述の各実施形態において、制御装置４は、例えばコンピュータシステムを含む。制御装置４は、例えば、記憶装置６に記憶されているプログラム（例、観察プログラム）を読み出し、このプログラムに従って、各種の処理を実行させる。このプログラムは、コンピュータに、試料に含まれる蛍光物質を励起するための励起光を干渉縞で試料に照射させ、干渉縞の位相を変化させる制御と、試料からの光を少なくとも１つの周波数でロックイン検出させる制御と、ロックイン検出された信号の少なくとも一部を用いて、試料の画像を生成することと、を実行させる。このプログラムは、制御プログラムと、画像処理プログラムとに分かれて提供されてもよい。上記の制御プログラムは、コンピュータに、試料に含まれる蛍光物質を励起するための励起光を干渉縞で試料に照射させ、干渉縞の位相を変化させる制御と、試料からの光を少なくとも１つの周波数でロックイン検出させる制御と、を実行させる。上記の画像処理プログラムは、コンピュータに、ロックイン検出された信号の少なくとも一部を用いて、試料の画像を生成することを実行させる。上述のプログラムは、コンピュータ読み取り可能な記録媒体に記録されて提供されてもよい。
【０１７８】
なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。
【符号の説明】
【０１７９】
１・・・構造化照明顕微鏡、１１・・・照明光学系、１５・・・分岐部、３１・・・結像光学系、３２・・・撮像素子、３５・・・ロックインアンプ、４０・・・復調部、４１・・・制御部
【図１】
2018150471.tif 000006
【図２】
2018150471.tif 000007
【図３】
2018150471.tif 000008
【図４】
2018150471.tif 000009
【図５】
2018150471.tif 000010
【図６】
2018150471.tif 000011
【図７】
2018150471.tif 000012
【図８】
2018150471.tif 000013
【図９】
2018150471.tif 000014
【図１０】
2018150471.tif 000015
【図１１】
2018150471.tif 000016
【図１２】
2018150471.tif 000017
【図１３】
2018150471.tif 000018
【図１４】
2018150471.tif 000019
【図１５】
2018150471.tif 000020
【図１６】
2018150471.tif 000021
【図１７】
2018150471.tif 000022
【図１８】
2018150471.tif 000023
【図１９】
2018150471.tif 000024
【図２０】
2018150471.tif 000025
【図２１】
2018150471.tif 000026
【図２２】
2018150471.tif 000027
【国際調査報告】
2018150471.tif 000028
2018150471.tif 000029
2018150471.tif 000030
2018150471.tif 000031