(57)【要約】【課題】３次元領域を複数回走査して得られた画像データから新たな画像データを構築する場合に、構築画像の画質の劣化を抑えながら画像構築に要する時間を短縮する。【解決手段】走査型顕微鏡装置１００は、試料Ｓを対物レンズ８の光軸と交わる方向に走査する走査部４と、光軸の方向に移動してステージ９と対物レンズ８との距離を変更する準焦部７と、準焦部７の位置を検出する変位計１５と、試料Ｓからの光を検出する光検出器１３と、画像出力部１８と、画像処理部２０ａを備える。画像出力部１８は、画像データと、ラインスキャンのタイミングに基づいて取得された準焦部７の位置データを出力する。画像処理部２０ａは、準焦部７が互いに反対方向に移動する第１の３次元走査と第２の３次元走査中に画像出力部１８から出力された複数の画像データと複数の位置データに基づいて新たな画像データを生成する。【選択図】図１
2018091968.tif 000002
【特許請求の範囲】
【請求項１】
ステージに載置された試料を対物レンズの光軸と交わる方向に走査する走査部と、
前記光軸の方向に移動して前記ステージと前記対物レンズとの距離を変更する準焦部と、
前記準焦部の位置を検出する位置検出部と、
前記対物レンズを介して入射する前記試料からの光を検出する光検出部と、
前記光検出部からの信号に基づいて取得された画像データと、前記位置検出部からの信号に基づいて取得された前記準焦部の位置を示す位置データであって前記走査部が行うラインスキャンのタイミングに基づいて取得された位置データと、を出力する画像出力部と、
前記準焦部が第１の方向に移動しながら行われる第１の３次元走査と前記準焦部が前記第１の方向と反対の第２の方向に移動しながら行われる第２の３次元走査とを含む複数回の３次元走査中に前記画像出力部から出力された複数の画像データと複数の位置データに基づいて、新たな画像データを生成する画像処理部と、を備える
ことを特徴とする走査型顕微鏡装置。
【請求項２】
請求項１に記載の走査型顕微鏡装置において、
前記第１の３次元走査は、前記準焦部の往復運動の往路期間中に行われ、
前記第２の３次元走査は、前記準焦部の往復運動の復路期間中に行われる
ことを特徴とする走査型顕微鏡装置。
【請求項３】
請求項１又は請求項２に記載の走査型顕微鏡装置において、
前記走査部は、前記ラインスキャンを行う第１のスキャナと、前記第１のスキャナの走査方向と直交する方向に前記試料を走査する第２のスキャナと、を備え、
前記第２のスキャナは、
前記準焦部の移動方向が前記第１の方向であるときに、第３の方向に前記試料を走査し、
前記準焦部の移動方向が前記第２の方向であるときに、前記第３の方向とは反対の第４の方向に前記試料を走査する
ことを特徴とする走査型顕微鏡装置。
【請求項４】
請求項１乃至請求項３のいずれか１項に記載の走査型顕微鏡装置において、
前記画像処理部は、
前記第１の３次元走査中に出力された複数の第１の画像データ及び複数の第１の位置データと、前記第２の３次元走査中に出力された複数の第２の画像データ及び複数の第２の位置データとに基づいて補間処理により、それぞれ前記準焦部の所定位置を示す複数の所定位置データに対応する複数の第１の推定画像データを生成し、
前記複数の第２の画像データ及び前記複数の第２の位置データと、前記準焦部が前記第１の方向に移動しながら行われる第３の３次元走査中に出力された複数の第３の画像データ及び複数の第３の位置データとに基づいて補間処理により、前記複数の所定位置データに対応する複数の第２の推定画像データを生成し、
前記複数の第１の推定画像データと前記複数の第２の推定画像データと前記複数の所定位置データとに基づいて、新たな画像データを生成する
ことを特徴とする走査型顕微鏡装置。
【請求項５】
請求項１乃至請求項４のいずれか１項に記載の走査型顕微鏡装置において、さらに、
前記走査部を制御する走査制御部を備え、
前記画像出力部は、前記走査制御部から出力される前記ラインスキャンと同期した信号に基づいて前記位置データを取得する
ことを特徴とする走査型顕微鏡装置。
【請求項６】
請求項１乃至請求項５のいずれか１項に記載の走査型顕微鏡装置において、さらに、
前記第１の３次元走査中の画像データ取得条件と前記第２の３次元走査中の画像データ取得条件とを異ならせる画像データ取得条件変更部を備える
ことを特徴とする走査型顕微鏡装置。
【請求項７】
光検出部からの信号に基づいて取得された画像データと、位置検出部からの信号に基づいて取得された準焦部の位置を示す位置データであってラインスキャンのタイミングに基づいて取得された位置データとを出力し、
前記準焦部が第１の方向に移動しながら行われる第１の３次元走査と前記準焦部が前記第１の方向と反対の第２の方向に移動しながら行われる第２の３次元走査とを含む複数回の３次元走査中に出力された複数の画像データと複数の位置データに基づいて、新たな画像データを生成する
ことを特徴とする画像構築方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、走査型顕微鏡装置、及び、画像構築方法に関する。
【背景技術】
【０００２】
試料の高さを非接触で測定し画像構築に利用する装置として、従来から、例えば、特許文献１、特許文献２に記載されているような、共焦点レーザ走査型顕微鏡装置が知られている。共焦点レーザ走査型顕微鏡装置は、対物レンズと試料との光軸方向（Z方向）の距離を変えながら取得した焦点深度の浅い複数の共焦点画像の画像データから試料の高さデータを生成して、画像構築に利用することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１０２０３２号公報
【特許文献２】特許第４８６５２７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
共焦点レーザ走査型顕微鏡装置では、画像構築において例えばHDR（High Dynamic Rang）処理などを行うために、一定の３次元領域を複数回繰り返し走査することがある。この場合、対物レンズと試料との距離は常に一定方向に変化させるのが通常である。つまり、Z走査方向は常に一定方向に維持される。これは、Z走査方向を変更すると繰り返し走査される３次元領域内におけるサンプリング位置を一定に維持することが難しくなるからである。繰り返し毎にサンプリング位置が変化すると、サンプリング位置のずれに起因して構築画像の画質が劣化する虞がある。
【０００５】
しかしながら、Z走査方向を一定方向に維持するためには、１回の３次元領域の走査が完了するたびに、次回の３次元領域の走査開始前に準焦部を駆動して、Z位置を走査終了位置から走査開始位置まで戻さなければならない。このため、走査再開ひいては画像構築に時間がかかってしまう。
【０００６】
以上の実情を踏まえ、本発明の一側面に係る目的は、３次元領域を複数回走査して得られた画像データから新たな画像データを構築する場合に、構築画像の画質の劣化を抑えながら画像構築に要する時間を短縮することができる技術を提供することである。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る走査型顕微鏡装置は、ステージに載置された試料を対物レンズの光軸と交わる方向に走査する走査部と、前記光軸の方向に移動して前記ステージと前記対物レンズとの距離を変更する準焦部と、前記準焦部の位置を検出する位置検出部と、前記対物レンズを介して入射する前記試料からの光を検出する光検出部と、前記光検出部からの信号に基づいて取得された画像データと前記位置検出部からの信号に基づいて取得された前記準焦部の位置を示す位置データであって前記走査部が行うラインスキャンのタイミングに基づいて取得された位置データを出力する画像出力部と、前記準焦部が第１の方向に移動しながら行われる第１の３次元走査と前記準焦部が前記第１の方向と反対の第２の方向に移動しながら行われる第２の３次元走査とを含む複数回の３次元走査中に前記画像出力部から出力された複数の画像データと複数の位置データに基づいて新たな画像データを生成する画像処理部と、を備える。
【０００８】
本発明の一態様に係る画像構築方法は、試料からの光を検出する光検出部からの信号に基づいて取得された画像データと、位置検出部からの信号に基づいて取得された準焦部の位置を示す位置データであってラインスキャンのタイミングに基づいて取得された位置データとを出力し、前記準焦部が第１の方向に移動しながら行われる第１の３次元走査と前記準焦部が前記第１の方向と反対の第２の方向に移動しながら行われる第２の３次元走査とを含む複数回の３次元走査中に出力された複数の画像データと複数の位置データに基づいて、新たな画像データを生成する。
【発明の効果】
【０００９】
上記の態様によれば、３次元領域を複数回走査して得られた画像データから新たな画像データを構築する場合に、構築画像の画質の劣化を抑えながら画像構築に要する時間を短縮することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る走査型顕微鏡装置１００の構成を例示した図である。
【図２】コンピュータ２０のハードウェアの構成を例示した図である。
【図３】準焦部７のZ方向への移動の軌跡の一例を示した図である。
【図４】従来技術における準焦部のZ方向への移動の軌跡の一例を示した図である。
【図５】第１の実施形態に係る画像構築処理のフローチャートの一例である。
【図６】第１の実施形態に係る画像出力処理のフローチャートの一例である。
【図７】X走査方向とY走査方向を説明するための図である。
【図８】フレーム期間中におけるZ位置の変化を説明するための図である。
【図９】画像出力処理のフローチャートの変形例である。
【図１０】画像構築処理のフローチャートの変形例である。
【図１１】準焦部７のZ方向への移動の軌跡の変形例を示した図である。
【図１２】第２の実施形態に係る画像構築処理のフローチャートの一例である。
【図１３】準焦部７のZ方向への移動の軌跡の別の例を示した図である。
【図１４】フレーム期間中におけるZ位置の変化を説明するための別の図である。
【図１５】所定位置の位置データの生成方法について説明するための図である。
【図１６】画像データの補間方法について説明するための図である。
【図１７】準焦部７のZ方向への移動の軌跡の変形例を示した図である。
【発明を実施するための形態】
【００１１】
［第１の実施形態］
図１は、本実施形態に係る走査型顕微鏡装置１００の構成を例示した図である。走査型顕微鏡装置１００は、レーザ１及び走査部４を備える共焦点レーザ走査型顕微鏡であり、図１に示すように、顕微鏡本体１０、コンピュータ２０、表示装置３０、及び、入力装置４０を備えている。
【００１２】
顕微鏡本体１０は、試料Ｓに照射する照明光であるレーザ光を出射するレーザ１と、試料Ｓにレーザ光を照射する対物レンズ８と、試料Ｓを載置するステージ９と、対物レンズ８を介して入射する試料Ｓからの光を検出する光検出器１３を備える。
【００１３】
顕微鏡本体１０は、さらに、レーザ１から出射したレーザ光がステージ９に載置された試料Ｓへ至る照明光路上に、ミラー２、ハーフミラー３、走査部４、ミラー５、レンズ６、準焦部７、対物レンズ８を備える。
【００１４】
レーザ１は、レーザ光を平行光として出射する光源である。レーザ１から出射されるレーザ光の光量は、コンピュータ２０からの入力に基づいて制御される。具体的には、例えば、レーザ１の駆動電流がコンピュータ２０からの入力によって変更されることで、レーザ１からの出射光量が変化する。
【００１５】
走査部４は、ステージ９に載置された試料Ｓを対物レンズ８の光軸と交わる方向に二次元に走査する二次元走査装置である。走査部４は、走査位置を互いに直交する方向に移動させるスキャナ４ａとスキャナ４ｂを含んでいる。なお、走査位置とは、対物レンズ８から試料Ｓへ向けて出射したレーザ光が集光し光スポットが形成される位置のことである。スキャナ４ａは、走査型顕微鏡装置１００の第１のスキャナであり、対物レンズ８の光軸と直交するX方向に試料Ｓを走査する、例えば、ガルバノスキャナ、共振スキャナ、音響光学素子である。スキャナ４ｂは、走査型顕微鏡装置１００の第２のスキャナであり、対物レンズ８の光軸及びX方向と直交するY方向に試料Ｓを走査する、例えば、ガルバノスキャナである。
【００１６】
走査部４は、後述する走査制御部１４により、例えば、ラスタースキャンを行うように制御される。この場合、スキャナ４ａはラインスキャンを行い、スキャナ４ｂよりも高速に試料Ｓを走査する。スキャナ４ｂはスキャナ４ａの走査方向（X方向）と直交するY方向に試料Ｓを走査する。
【００１７】
レンズ６は、対物レンズ８の瞳を走査部４に投影する瞳投影光学系である。準焦部７は、対物レンズ８とともに対物レンズ８の光軸の方向（以降、光軸方向、又はZ方向と記す）に移動して、ステージ９と対物レンズ８との距離を変更する。ステージ９は、例えば、対物レンズ８の光軸と直交するX方向とY方向に移動する可動ステージである。ステージ９は、電動ステージであっても手動ステージであってもよい。
【００１８】
顕微鏡本体１０は、さらに、試料Ｓで反射したレーザ光が光検出器１３へ至る検出光路上に、上述した、対物レンズ８、準焦部７、レンズ６、ミラー５、走査部４、ハーフミラー３に加えて、レンズ１１及び共焦点絞り１２を備える。
【００１９】
レンズ１１は、試料Ｓで反射したレーザ光を集光させるレンズである。共焦点絞り１２は、ピンホールが形成されたピンホール板であり、レンズ１１の焦点位置にピンホールが位置するように配置される。
【００２０】
共焦点絞り１２の後段に配置された光検出器１３は、例えば、フォトマルチプライヤ（PMT）、アバランシェフォトダイオード（APD）などである。光検出器１３は、検出光量に応じたアナログ信号を画像出力部１８へ出力する。光検出器１３内でのアナログ信号の増幅率は、コンピュータ２０からの入力に基づいて制御される。具体的には、例えば、光検出器１３であるフォトマルチプライヤ又はアバランシェフォトダイオードへの印加電圧がコンピュータ２０からの入力によって変更されることで、増幅率が変化し、アナログ信号の信号強度が変化する。
【００２１】
顕微鏡本体１０は、さらに、走査制御部１４、変位計１５、準焦駆動部１６、準焦制御部１７、及び画像出力部１８を備えている。
【００２２】
走査制御部１４は、コンピュータ２０からの入力に基づいて、例えば、走査部４がラスタースキャンを行うように、走査部４を制御する。なお、走査制御部１４は、準焦部７の移動方向に応じてスキャナ４ｂの走査方向が反転するようにスキャナ４ｂを制御してもよい。さらに、走査制御部１４は、フレーム有効信号（ＦＶＡＬ）、ライン有効信号（ＬＶＡＬ）、データ有効信号（ＤＶＡＬ）などの同期信号を画像出力部１８へ出力する。フレーム有効信号は、走査部４による２次元走査の１フレーム分に相当するタイミング（垂直走査）を通知する同期信号である。ライン有効信号は、走査部４による２次元走査の１ライン分に相当するタイミング（水平走査）を通知する同期信号である。データ有効信号は、走査部４による２次元走査中に得られる画素データが有効なデータであるかを通知する同期信号である。
【００２３】
変位計１５は、準焦部７の光軸方向の位置を検出する位置検出部である。変位計１５は、例えば、光学式のリニアスケールであり、準焦部７の光軸方向への移動によって生じる変位量、即ち、対物レンズ８とステージ９との距離の変化量、を測定して画像出力部１８へ出力する。なお、変位計１５は、静電容量式の変位計、その他の変位計であってもよい。
【００２４】
準焦駆動部１６は、例えばモータを備え、準焦部７を駆動し光軸方向に移動させる。準焦制御部１７は、コンピュータ２０からの入力に基づいて、準焦駆動部１６を介して準焦部７の光軸方向への移動を制御する。
【００２５】
画像出力部１８は、光検出器１３からのアナログ信号に基づいて取得した画像データをコンピュータ２０へ出力する。具体的には、例えば、走査制御部１４から出力される同期信号に基づいてサンプリングクロックを生成する。さらに、生成したサンプリングクロックに従って光検出器１３からのアナログ信号をサンプリングし、取得した画素データをコンピュータ２０へ出力する。これにより、画素データから構成される画像データがコンピュータ２０へ出力される。
【００２６】
画像出力部１８は、さらに、変位計１５からの信号に基づいて取得された準焦部７の位置を示す位置データであって走査部４（スキャナ４ａ）が行うラインスキャンのタイミングに基づいて取得された位置データをコンピュータ２０へ出力する。具体的には、例えば、画像出力部１８は、変位計１５からの信号をカウントするカウンタを有し、カウンタが保持する値を走査制御部１４から出力されたライン有効信号の立ち上がりのタイミングで読み出すことで位置データを取得する。さらに、画像出力部１８は、取得した位置データを所定のタイミングでコンピュータ２０へ出力する。これにより、ライン毎に取得された位置データ、即ち、準焦部７のZ方向の位置データ、がコンピュータ２０へ出力される。
【００２７】
顕微鏡本体１０では、レーザ１から出射したレーザ光は、ミラー２を反射し、ハーフミラー３、走査部４を介してミラー５へ入射する。ミラー５で対物レンズ８の光軸方向に反射したレーザ光は、レンズ６により所定の光束径に拡大されて、対物レンズ８によりステージ９に載置された試料Ｓに照射される。試料Ｓを反射したレーザ光は、再び対物レンズ８に入射し、レンズ６、ミラー５、走査部４を介してハーフミラー３に入射する。ハーフミラー３で反射したレーザ光は、レンズ１１により集光し共焦点絞り１２に形成されたピンホールを通って光検出器１３で検出される。
【００２８】
走査部４が走査位置をX方向及びY方向に移動させながら、つまり、２次元走査を行いながら、画像出力部１８が光検出器１３からの信号のサンプリングを繰り返すことで、X方向とY方向の二次元に分布した各サンプリング位置のデジタル信号（つまり、画素データからなる画像データ）がコンピュータ２０へ出力される。さらに、変位計１５をZ方向に移動させながら、つまり、３次元走査を行いながら、上述の処理を繰り返すことで、X方向、Y方向及びZ方向の３次元に分布した各サンプリング位置のデジタル信号（つまり、複数の画像データ）がコンピュータ２０へ出力される。なお、サンプリング位置とは、サンプリングが行われた走査位置のことをいう。
【００２９】
コンピュータ２０は、画像出力部１８から出力された複数の画像データと複数の位置データに基づいて新たな画像データを生成する画像処理部２０ａを備える。画像処理部２０ａは、例えば、後述するプロセッサ２１を備えてもよい。画像処理部２０ａは、例えば、複数の画像データと複数の位置データに基づいて画素毎に輝度変化曲線（以降、ＩＺカーブと記す）を生成してもよい。そして、ＩＺカーブに基づいてその画素の高さを特定することで、試料Ｓの高さを示す高さデータを画素毎に生成してもよい。画像処理部２０ａは、複数の画像データと複数の位置データに加えて画素毎に生成された高さデータを用いて、試料Ｓの３次元画像の画像データを生成してもよく、試料Ｓ表面の全ての場所に焦点のあった全焦点画像（エクステンドフォーカス画像ともいう）の画像データを生成してもよい。
【００３０】
画像処理部２０ａは、さらに、所定の３次元領域を複数回走査し、その複数回の３次元走査中に出力された複数の画像データと複数の位置データに基づいて、新たな画像データを生成してもよい。例えば、レーザ１の出力又は光検出器１３の増幅率の少なくとも一方が異なる条件で３次元走査を複数回行い、それぞれの３次元走査で得られた３次元画像を合成してHDR画像を構築してもよい。また、HDR画像を構築するHDR処理において、複数の３次元画像の位置データをライン毎に比較してもよい。比較の結果、Z位置の差が所定範囲内に収まらないラインの画素については合成を行わず、一方の画素データを用いてＨＤＲ画像の画素データを生成しても良い。
【００３１】
図２は、コンピュータ２０のハードウェアの構成を例示した図である。コンピュータ２０は、例えば、標準的なコンピュータであり、プロセッサ２１、メモリ２２、入出力インターフェース２３、ストレージ２４、及び、可搬記録媒体２６が挿入される可搬記録媒体駆動装置２５を備える。そして、これらの構成要素はバス２７によって相互に接続されている。なお、図２は、コンピュータ２０のハードウェア構成の一例であり、コンピュータ２０はこの構成に限定されるものではない。
【００３２】
プロセッサ２１は、例えば、CPU（Central Processing Unit）、MPU（Micro Processing Unit）、DSP（Digital Signal Processor）などであり、プログラムを実行してプログラムされた処理を行う。なお、プログラムされた処理の一例は、例えば、３次元画像、全焦点画像、HDR画像などの画像データを生成する画像処理、ＩＺカーブを算出して高さデータを生成する高さ測定処理などである。
【００３３】
メモリ２２は、例えば、RAM（Random Access Memory）であり、プログラムの実行の際に、ストレージ２４または可搬記録媒体２６に記録されているプログラムまたはデータを一時的に記憶する。入出力インターフェース２３は、コンピュータ２０以外の装置（例えば、顕微鏡本体１０、表示装置３０、入力装置４０など）と信号をやり取りする回路である。
【００３４】
ストレージ２４は、例えば、ハードディスク、フラッシュメモリであり、主に各種データやプログラムの記録に用いられる。可搬記録媒体駆動装置２５は、光ディスクやコンパクトフラッシュ（登録商標）等の可搬記録媒体２６を収容するものである。可搬記録媒体２６は、ストレージ２４を補助する役割を有する。
【００３５】
表示装置３０は、コンピュータ２０から出力された画像データに基づいて、試料Ｓの画像を表示するディスプレイである。表示装置３０は、例えば、液晶ディスプレイであってもよく、又は、有機ＥＬディスプレイであってもよい。表示装置３０は、試料Ｓの画像以外の種々の情報を表示してもよい。
【００３６】
入力装置４０は、ユーザの操作に応じた命令をコンピュータ２０へ入力する入力装置である。入力装置４０は、例えば、マウス、キーボード、タッチパネルなどである。なお、表示装置３０と入力装置４０は、コンピュータ２０と一体に構成されていても良く、コンピュータ２０の一部であってもよい。
【００３７】
以上のように構成された本実施形態に係る走査型顕微鏡装置１００では、所定の３次元領域を複数回走査する場合に、３次元走査毎に準焦部７の移動方向（Z走査方向）を反転させる。図３は、走査型顕微鏡装置１００の準焦部７のZ方向への移動の軌跡の一例を示した図である。図３には、準焦部７が３次元領域の下限位置Z1から上限位置Z2に向かって+Z方向（第１の方向）に移動しながら第１の３次元走査が行われ、その後、準焦部７が３次元領域の上限位置Z2から下限位置Z1に向かって-Z方向（第２の方向）に移動しながら第２の３次元走査が行われる例が示されている。即ち、第１の３次元走査が準焦部７の往復運動の往路期間中に行われ、第２の３次元走査が準焦部７の往復運動の復路期間中に行われる例が示されている。これに対して、従来の走査型顕微鏡装置では、所定の３次元領域を複数回走査する場合であっても、準焦部の移動方向（Z走査方向）は常に一定の方向に維持される。図４は、従来技術における走査型顕微鏡装置の準焦部のZ方向への移動の軌跡の一例を示した図である。図４には、第１の３次元走査と第２の３次元走査の両方が、準焦部が第１の方向に移動しながら行われる例が示されている。
【００３８】
走査型顕微鏡装置１００では、従来の走査型顕微鏡装置とは異なり、３次元走査終了後、次回の３次元走査を開始する前に準焦部７を所定の位置へ戻す処理（図４の時刻Ｔ１２から時刻Ｔ１３の間に行われる準焦部７の移動処理）が行われない。このため、従来の走査型顕微鏡装置よりも短時間で複数回の３次元走査を行うことができる。
【００３９】
図５は、第１の実施形態に係る画像構築処理のフローチャートの一例である。図６は、第１の実施形態に係る画像出力処理のフローチャートの一例である。図７は、X走査方向とY走査方向を説明するための図である。図８は、フレーム期間中におけるZ位置の変化を説明するための図である。以下、図５から図８を参照して、短時間に複数回の３次元走査を行いながら構築画像の画質の劣化を抑制する画像構築方法について具体的に説明する。
【００４０】
図５に示す画像構築処理が開始されると、走査型顕微鏡装置１００は、まず、初期設定を行う（ステップＳ１０）。具体的には、利用者からの入力又は予めコンピュータ２０に格納されている設定情報に基づいて、コンピュータ２０が、３次元走査の範囲（準焦部７の上下限位置、対物レンズ８の倍率、走査部４の振り角など）、３次元走査の回数、準焦部７の移動方向（Z走査方向）、スキャナ４ｂの走査方向（Y走査方向）、画像データ取得条件などを設定する。以降では、３次元走査の回数が２回、準焦部７の移動方向が+Z方向（第１の方向）、スキャナ４ｂの走査方向が-Y方向（第３の方向）に設定された例で説明する。
【００４１】
なお、画像データ取得条件とは、走査型顕微鏡装置１００に設定される条件のうち画像データに影響を及ぼす条件のことである。画像データ取得条件の具体例は、画像データの明るさに関する条件であり、レーザ１の出力又は光検出器１３の増幅率の少なくとも一方である。この場合、レーザ１及び光検出器１３は、画像データ取得条件を変更する画像データ取得条件変更部である。
【００４２】
初期設定が完了すると、走査型顕微鏡装置１００は、準焦部７を下限位置まで移動させる（ステップＳ２０）。具体的には、準焦制御部１７は、コンピュータ２０からの入力に基づいて、準焦駆動部１６を介して準焦部７を下限位置まで移動させる。
【００４３】
次に、走査型顕微鏡装置１００は、３次元走査を開始する（ステップＳ３０、ステップＳ４０）。１回目の３次元走査（第１の３次元走査）が開始されると、コンピュータ２０からの入力に基づいて顕微鏡本体１０の各部が動作する。そして、準焦部７が駆動終了位置（ここでは、上限位置）に達するまで（ステップＳ４０ＹＥＳ）、走査部４によるラスタースキャンと画像出力部１８による図６に示す画像出力処理とが繰り返し行われる（ステップＳ３０）。
【００４４】
画像出力処理では、画像出力部１８は、まず、走査制御部１４から出力されたスキャナ４ａによるラインスキャンと同期した信号に基づいて位置データを取得する（ステップＳ３１）。具体的には、画像出力部１８は、例えば、変位計１５からの信号をカウントするカウンタの値をライン有効信号の立ち上がりタイミングで読み出して、ラインに対応する位置データを取得する。なお、取得した位置データは、画像出力部１８内のメモリに格納される。
【００４５】
さらに、画像出力部１８は、サンプリングクロックに従って１ライン分の画素データを取得し、コンピュータ２０へ出力し（ステップＳ３２）、最終ラインのサンプリングが完了するまで（ステップＳ３３ＹＥＳ）、ステップＳ３１及びステップＳ３２の処理を繰り返す。これにより、１フレーム分の画素データ（即ち、画像データ）がコンピュータ２０へ出力される。最終ラインまでサンプリングが完了すると、画像出力部１８は、ライン毎に取得した位置データを出力し（ステップＳ３４）、２次元走査を終了する。これにより、画像データに続けてその画像データのライン毎の位置データがコンピュータ２０へ出力される。
【００４６】
以上のように準焦部７が駆動終了位置に達するまで図６に示す画像出力処理が繰り返し行われることで、第１の３次元走査中に、複数の画像データ（複数フレーム分の画素データ）と複数の位置データがコンピュータ２０へ出力される。
【００４７】
その後、走査型顕微鏡装置１００は、３次元走査を終了するかどうかを判定する（ステップＳ５０）。ここでは、走査型顕微鏡装置１００は、実行済みの３次元走査の回数がステップＳ１０で設定された回数に達していない場合には３次元走査を終了しないと判定し、ステップＳ６０からステップＳ８０の処理を実行後に、２回目の３次元走査（第２の３次元走査）を開始する（ステップＳ３０及びステップＳ４０）。
【００４８】
ステップＳ６０では、走査型顕微鏡装置１００は、準焦部７の移動方向を反転させる。具体的には、コンピュータ２０は、準焦部７の移動方向の設定を、+Z方向（第１の方向）から-Z方向（第２の方向）に変更する。これにより、第１の３次元走査と第２の３次元走査で準焦部７の移動方向が反転する。
【００４９】
ステップＳ７０では、走査型顕微鏡装置１００は、スキャナ４ｂの走査方向を反転させる。具体的には、コンピュータ２０は、スキャナ４ｂの走査方向の設定を、-Y方向（第３の方向）から+Y方向（第４の方向）に変更する。これにより、図７に示すように、第１の３次元走査と第２の３次元走査でスキャナ４ｂの走査方向（Y走査方向）が反転する。つまり、スキャナ４ｂは、準焦部７の移動方向が第１の方向であるときに第３の方向（-Y方向）に試料Ｓを走査し（図７（ａ）参照）、準焦部７の移動方向が第２の方向であるときに第４の方向（+Y方向）に試料Ｓを走査する（図７（ｂ）参照）。
【００５０】
ステップＳ８０では、走査型顕微鏡装置１００は、画像データ取得条件を変更する。具体的には、コンピュータ２０が、レーザ１の出力又は光検出器１３の増幅率の少なくとも一方の設定を変更する。これにより、画像データ取得条件変更部であるレーザ１又は光検出器１３は、画像データ取得条件であるレーザ１の出力又は光検出器１３の増幅率の少なくとも一方を変更し、第１の３次元走査中の画像データ取得条件と第２の３次元走査中の画像データ取得条件を異ならせる。
【００５１】
第１の３次元走査と第２の３次元走査が完了し、ステップＳ５０で３次元走査を終了すると判定すると、走査型顕微鏡装置１００は、画像構築を行い（ステップＳ９０）、図５に示す画像構築処理を終了する。
【００５２】
ステップＳ９０では、画像処理部２０ａは、第１の３次元走査と第２の３次元走査とを含む複数回の３次元走査中に画像出力部１８から出力された複数の画像データと複数の位置データに基づいて、新たな画像データを生成する。具体的には、画像処理部２０ａは、例えば、第１の３次元走査で得られた複数の画像データに基づいて生成された第１の３次元画像データと第２の３次元走査で得られた複数の画像データに基づいて生成された第２の３次元画像データとを用いてHDR画像の画像データを生成する。また、HDR画像を構築するHDR処理において、第１の３次元画像の位置データと第２の３次元画像の位置データをライン毎に比較して、Z位置の差が所定範囲内に収まらないラインの画素については画像データの合成を行わず、一方の画素データを用いてHDR画像の画素データを生成しても良い。
【００５３】
図５に示す画像構築処理を実行する走査型顕微鏡装置１００では、図３に示すように、第１の３次元走査と第２の３次元走査で準焦部７の移動方向（Z走査方向）が反転する。このため、準焦部７の無駄な移動が解消され、短時間で第１の３次元走査と第２の３次元走査を含む複数回の３次元走査を行うことができる。
【００５４】
また、走査型顕微鏡装置１００では、図７に示すように、準焦部７の移動方向の反転に伴ってスキャナ４ｂの走査方向（Y走査方向）も反転する。これにより、図８に示すように、第１の３次元走査と第２の３次元走査で準焦部７が実質的に同じZ位置の範囲を移動中に取得した２つの画像（以降、対応画像と記す。）を比較すると、ライン毎のZ位置もほぼ同じになる。例えば、対応画像データである第１の３次元走査のＮフレーム（最終フレーム）目の画像データと第２の３次元走査の１フレーム目の画像データとを比較すると、第１ライン、第Ｍライン、第１０２４ラインの各々のZ位置はどちらの画像データでもそれぞれZa,Zb,Zcとなり、それぞれ同じになる。このため、HDR処理において、合成画素間の位置ずれに起因する画質の劣化を大幅に抑制することができる。
【００５５】
さらに、走査型顕微鏡装置１００では、画像構築処理において、複数の画像データに加えて位置データを利用する。例えば、HDR画像を構築するHDR処理において、対応画像のライン毎のZ位置を比較してZ位置の差が所定範囲内に収まらないラインの画素については画素合成を行わず、一方の画素データを用いてHDR画像の画素データを生成する。これにより、準焦部７の移動速度が一定に維持されず変動する場合であっても、必要に応じてライン単位で合成処理を回避することで合成画素間の位置ずれに起因する画質の劣化を抑制することができる。
【００５６】
なお、３次元走査毎に画像データ取得条件を変更する例を示したが、走査型顕微鏡装置１００は、画像データ取得条件を変更することなく３次元走査を繰り返してもよい。この場合、ステップＳ９０では、複数回の３次元走査で取得された複数の画像データは、ノイズ低減に利用されてもよい。
【００５７】
また、準焦部７が対物レンズ８を移動させる例を示したが、準焦部７は、ステージ９と対物レンズ８との距離を変更するものであればよい。このため、準焦部７は、ステージ９とともに対物レンズ８の光軸の方向に移動することで、ステージ９を移動させるものであってもよい。
【００５８】
また、図１では、準焦部７が+Z方向に移動中にスキャナ４ｂが-Y方向に試料Ｓを走査し、準焦部７が-Z方向に移動中にスキャナ４ｂが+Y方向に試料Ｓを走査する例を示したが、スキャナ４ｂの走査方向は、準焦部７の移動方向の反転に伴って反転すればよい。このため、準焦部７が+Z方向に移動中にスキャナ４ｂが+Y方向に試料Ｓを走査し、準焦部７が-Z方向に移動中にスキャナ４ｂが-Y方向に試料Ｓを走査してもよい。
【００５９】
図９は、画像出力処理のフローチャートの変形例である。図６では、１フレーム分の画素データを出力してから各ラインの位置データを出力する例を示したが、画像出力部１８は、図６に示す画像出力処理の代わりに、図９に示す画像出力処理を行ってもよい。
【００６０】
図９に示す画像出力処理では、画像出力部１８は、スキャナ４ａによるラインスキャンと同期した信号に基づいて位置データを取得し（ステップＳ３５）、サンプリングクロックに従って取得した１ライン分の画素データをコンピュータ２０へ出力する（ステップＳ３６）。ステップＳ３５及びステップＳ３６の処理は、図６に示すステップＳ３１及びステップＳ３２の処理と同様である。
【００６１】
その後、画像出力部１８は、スキャナ４ａによるラインスキャンと同期した信号に基づいて位置データをコンピュータ２０へ出力する（ステップＳ３７）。具体的には、画像出力部１８は、ステップＳ３５で取得した位置データをライン有効信号の立ち下がりタイミングで読み出して、コンピュータ２０へ出力する。そして、最終ラインのサンプリングが完了するまで（ステップＳ３８ＹＥＳ）、ステップＳ３５からステップＳ３８の処理を繰り返す。
【００６２】
これにより、１ライン分の画素データがコンピュータ２０へ出力される度にそのラインの位置データがコンピュータ２０へ出力される。つまり、図９に示す画像出力処理が行われる場合であっても、図６に示す画像出力処理が行われる場合と同様に、画像データとその画像データのライン毎の位置データがコンピュータ２０へ出力される。
【００６３】
図５では、準焦部７を下限位置まで移動させてから走査型顕微鏡装置１００が３次元走査を開始する例を示したが、走査型顕微鏡装置１００は、準焦部７の現在位置が３次元走査範囲内にある場合には、準焦部７の現在位置から３次元走査を開始しても良い。
【００６４】
図１０は、画像構築処理のフローチャートの変形例である。図１０に示す画像構築処理は、ステップＳ２０の処理を含まない点が図５に示す画像構築処理とは異なる。この場合、図１１（ａ）に示すように、まず、第１の３次元走査が準焦部７の現在位置Ｚｃから上限位置まで行われる（時刻Ｔ１ａから時刻Ｔ２ａ）。この段階では、範囲全体が走査されていないため、第１の３次元走査は完了していない。その後、準焦部７の移動方向、スキャナ４ｂの走査方向及び画像取得条件の設定が変更されて、第２の３次元走査が行われる（時刻Ｔ２ａから時刻Ｔ３ａ）。最後に、準焦部７の移動方向、スキャナ４ｂの走査方向及び画像取得条件の設定が最初の設定に戻されて、第１の３次元走査が下限位置から位置Ｚｃまで行われる（時刻Ｔ３ａから時刻Ｔ４ａ）。これにより、図１１（ｂ）に示すように、最初に行われた第１の３次元走査の前半部分で走査されていなかった走査範囲が第１の３次元走査の後半部分で走査されて、第１の３次元走査が完了する。
【００６５】
図１０に示す画像構築処理によっても、第１の３次元走査と第２の３次元走査で取得される合成画素間の位置ずれを抑制することができる。このため、図５に示す画像構築処理と同様に、合成画素間の位置ずれに起因する画質の劣化を大幅に抑制することができる。さらに、図１０に示す画像構築処理では、３次元走査が現在位置から開始されるため、３次元走査開始前の準焦部７の無駄な移動が解消される。このため、さらに、短時間で第１の３次元走査と第２の３次元走査を含む複数回の３次元走査を行うことができる。なお、現在位置からの走査は、３次元走査が偶数回を行われる場合に特に有効である。
【００６６】
［第２の実施形態］
本実施形態に係る走査型顕微鏡装置（以降、単に走査型顕微鏡装置と記す）は、第１の実施形態に係る走査型顕微鏡装置１００と同様の構成を有する。このため、以下では、走査型顕微鏡装置の各構成要素については、走査型顕微鏡装置１００の各構成要素と同様の符号で参照する。
【００６７】
走査型顕微鏡装置は、所定の３次元領域を複数回走査する場合に、３次元走査毎に準焦部７の移動方向（Z走査方向）を反転させる点は、走査型顕微鏡装置１００と同様である。ただし、走査型顕微鏡装置は、スキャナ４ｂの走査方向が準焦部７の移動方向の反転に伴って反転せず一定の方向に維持される点、及び、対応画像データとそれらの位置データに基づいて所定のZ位置における画像データ（推定画像データ）を推定し、複数の推定画像データに基づいて新たな画像データを生成する点が、走査型顕微鏡装置１００とは異なる。
【００６８】
図１２は、第２の実施形態に係る画像構築処理のフローチャートの一例である。図１３は、準焦部７のZ方向への移動の軌跡の一例を示した図である。図１４は、フレーム期間中におけるZ位置の変化を説明するための図である。図１５は、所定位置の位置データの生成方法について説明するための図である。図１６は、画像データの補間方法について説明するための図である。以下、図１２から図１６を参照して、短時間に複数回の３次元走査を行いながら構築画像の画質の劣化を抑制する画像構築方法について具体的に説明する。
【００６９】
図１２に示す画像構築処理が開始されると、走査型顕微鏡装置は、まず、初期設定を行う（ステップＳ１１０）。なお、ステップＳ１１０の処理は、図５に示すステップＳ１０の処理と同様である。以降では、３次元走査の回数が３回、準焦部７の移動方向が+Z方向（第１の方向）、スキャナ４ｂの走査方向が-Y方向（第３の方向）に設定された例で説明する。
【００７０】
初期設定が完了すると、走査型顕微鏡装置は、準焦部７を下限位置まで移動させて（ステップＳ１２０）、３次元走査を開始する（ステップＳ１３０、ステップＳ１４０）。これにより、コンピュータ２０からの入力に基づいて顕微鏡本体１０の各部が動作し、準焦部７が駆動終了位置（上限位置）に達するまで（ステップＳ１４０ＹＥＳ）、走査部４によるラスタースキャンと画像出力部１８による画像出力処理とが繰り返し行われる（ステップＳ１３０）。なお、ステップＳ１２０からステップＳ１４０の処理は、図５に示すステップＳ２０からステップＳ４０の処理と同様である。
【００７１】
さらに、走査型顕微鏡装置は、３次元走査を終了するかどうかを判定し（ステップＳ１５０）、３次元走査を終了しないと判定した場合には、準焦部７の移動方向を反転し（ステップＳ１６０）、画像データ取得条件を変更する（ステップＳ１７０）。なお、ステップＳ１５０、ステップＳ１６０、ステップＳ１７０の処理は、図５に示すステップＳ５０、ステップＳ６０、ステップＳ８０の処理と同様である。
【００７２】
その後、再び３次元走査を開始する（ステップＳ１３０及びステップＳ１４０）。以上の処理（ステップＳ１３０からステップＳ１７０の処理）がステップＳ１１０で設定された３次元走査の回数（ここでは、３回）繰り返される。これにより、走査型顕微鏡装置では、図１３に示すように、準焦部７が+Z方向（第１の方向）に移動しながら第１の３次元走査と第３の３次元走査が行われ、準焦部７が-Z方向（第２の方向）に移動しながら第２の３次元走査が行われる。
【００７３】
なお、走査型顕微鏡装置では、走査型顕微鏡装置１００とは異なり、準焦部７の移動方向が反転しても、スキャナ４ｂの走査方向は変更されない。このため、走査型顕微鏡装置では、図１４に示すように、例えば、第１の３次元走査と第２の３次元走査の間での対応画像を比較すると、ライン毎のZ位置がずれてしまう。例えば、対応画像データである第１の３次元走査のＮフレーム（最終フレーム）目の画像データと第２の３次元走査の１フレーム目の画像データとを比較すると、第１の３次元走査のＮフレーム目の画像データでは、第ＭラインのZ位置がZbとなるのに対して、第２の３次元走査の１フレーム目の画像データでは、第ＭラインのZ位置がZdとなる。他のラインでもZ位置は異なり、特に、画像の中心から周辺へ向かうほどライン間のZ位置の差が大きく生じてしまう。
【００７４】
そこで、走査型顕微鏡装置は、ステップＳ１５０で３次元走査を終了すると判定すると、ステップＳ１９０で画像構築を行う前に、画像データを補間するデータ補間処理を行う（ステップＳ１８０）。データ補間処理は、Z位置のずれに起因する画質の劣化を抑制するために画像処理部２０ａで行われる処理であり、例えばHDR処理での合成画素間の位置ずれを抑制するための処理である。
【００７５】
具体的には、画像処理部２０ａは、第１の３次元走査中に出力された複数の第１の画像データ及び複数の第１の位置データと、第２の３次元走査中に出力された複数の第２の画像データ及び複数の第２の位置データとに基づいて補間処理を行い、準焦部７の所定位置を示す複数の所定位置データに対応する、複数の第１の推定画像データを生成する。
【００７６】
更に具体的には、画像処理部２０ａは、１組の対応画像データ（第１の画像データと第２の画像データ）のライン毎に補間処理を行い、ライン毎に１つの所定位置を示す所定位置データに対応する１ライン分の推定画素データを生成する。これにより１組の対応画像データから複数（ライン数と同数）の所定位置データが生成され、複数の所定位置データに対応する１つの第１の推定画像データが生成される。以下、補間処理の具体例について図１５及び図１６を参照しながら更に詳細に説明する。
【００７７】
まず、ライン毎に所定位置を決定する。図１５には、説明を簡略化するため全てのラインの所定位置が同じである例が示されている。なお、図１５に示す所定位置は、対応画像がカバーするZ走査範囲の中間に位置する位置Ze(=(Za+Zc)/2)である。
【００７８】
所定位置が決定されると、第１の位置データが示すZ位置から所定位置までの距離と第２の位置データが示すZ位置から所定位置までの距離の比を、ライン毎に算出する。なお、図１５では、全てのラインについて距離の比は１：１である。
【００７９】
次に、画像データ取得条件に起因する画素値（輝度）の変化を考慮して、第１の画像データの画素値と第２の画像データの画素値を正規化する。例えば、画素値がレーザ１の出力に比例するとの仮定に基づいて画素値を正規化する。図１６には、第２の画像データが第１の画像データに対してレーザ１の出力が２倍の条件で取得された場合の例が示されている。図１６に示すように、正規化により、第２の画像データの画素値に対して１／２倍の画素値を有する正規化後の第２の画像データが生成される。
【００８０】
ライン毎の距離の比の算出と画像データの正規化が完了すると、画素毎に所定位置における画素値を推定する。ここでは、例えば、各画素において所定位置からの距離に応じて画素値が線形に変化すると仮定して、第１の画像データの画素値と正規化後の第２の画像データの画素値の間を線形補間する。さらに、予め算出した距離の比と補間結果とに基づいて所定位置における画素値を推定する。これにより、各画素が補間により推定された画素値を有する第１の推定画像データが生成される。
【００８１】
そして、すべての対応画像データに対して同様の処理を繰り返すことで、複数（ライン数×対応画像の組数）の所定位置データに対応する複数（対応画像の組数）の第１の推定画像データが生成される。
【００８２】
また、画像処理部２０ａは、複数の第２の画像データ及び複数の第２の位置データと、第３の３次元走査中に出力された複数の第３の画像データ及び複数の第３の位置データとに基づいて補間処理を行い、複数の所定位置データに対応する複数の第２の推定画像データを生成する。
【００８３】
第２の推定画像データを生成する処理は、第１の推定画像データを生成する処理と同様である。ただし、第２の推定画像データを生成する処理では、複数の所定位置データを、第１の推定画像データに対応する複数の所定位置データと一致するように決定する。これにより、３回の３次元走査からZ位置のずれのない複数の第１の推定画像データと複数の第２の推定画像データが生成される。
【００８４】
走査型顕微鏡装置は、ステップＳ１８０のデータ補間処理が終了すると、画像構築を行い（ステップＳ１９０）、図１２に示す画像構築処理を終了する。ステップＳ１９０では、画像処理部２０ａは、データ補間処理で生成された複数の第１の推定画像データと複数の第２の推定画像データと複数の所定位置データとに基づいて、新たな画像データを生成する。ステップＳ１９０の処理内容は、図５のステップＳ９０と同様である。
【００８５】
図１２に示す画像構築処理を実行する走査型顕微鏡装置でも、走査型顕微鏡装置１００と同様に、準焦部７の無駄な移動が解消されるため、短時間で第１の３次元走査と第２の３次元走査を含む複数回の３次元走査を行うことができる。また、走査型顕微鏡装置では、データ補間処理により、準焦部７の移動速度の変動の有無によらずZ位置ずれのない複数の推定画像データが生成される。このため、準焦部７の移動速度が一定に維持されず変動する場合（例えば、ユーザが一時的に準焦部７の移動を停止してしまった場合など）であっても、HDR処理において、合成画素間の位置ずれに起因する画質の劣化を大幅に抑制することができる。
【００８６】
本実施形態においても、第１の実施形態の変形例と同様に、準焦部７の現在位置から３次元走査を開始しても良い。即ち、図１２のステップＳ１２０を省略してもよい。例えば、４回の３次元走査を行う場合であれば、図１７に示すように、最初に、準焦部７の現在位置Ｚｃから上限位置まで第１の３次元走査の前半部分を行い、その後、第２から第４の３次元走査を行い、最後に、下限位置から位置Ｚｃまで第１の３次元走査の後半部分を行ってもよい。これにより、３次元走査開始前の準焦部７の無駄な移動が解消されるため、さらに短時間で第１の３次元走査と第２の３次元走査を含む複数回の３次元走査を行うことができる。なお、図１２のステップＳ１２０は、準焦部７の現在位置が３次元走査範囲内にあり、且つ、３次元走査が偶数回行われるときに省略されてもよい。
【００８７】
上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明の実施形態は上述した実施形態に限定されるものではない。本発明の走査型顕微鏡装置は、特許請求の範囲に記載した範囲内で、さまざまな変形、変更が可能である。
【００８８】
例えば、上述した実施形態では、画像データ取得条件としてレーザ１の出力、光検出器１３の増幅率を例示したが、画像データ取得条件はこれらに限らない。例えば、準焦部７の移動速度（即ち、３次元領域内での画像データ取得回数）を画像データ取得条件として設定しても良い。また、第２の実施形態で行われたデータ補間処理を、準焦部７の移動方向に応じてスキャナ４ｂの走査方向が反転する第１の実施形態で行ってもよい。
【符号の説明】
【００８９】
１・・・レーザ、２、５・・・ミラー、３・・・ハーフミラー、４・・・走査部、４ａ、４ｂ・・・スキャナ、６、１１・・・レンズ、７・・・準焦部、８・・・対物レンズ、９・・・ステージ、１０・・・顕微鏡本体、１２・・・共焦点絞り、１３・・・光検出器、１４・・・走査制御部、１５・・・変位計、１６・・・準焦駆動部、１７・・・準焦制御部、１８・・・画像出力部、２０・・・コンピュータ、２０ａ・・・画像処理部、２１・・・プロセッサ、２２・・・メモリ、２３・・・入出力インターフェース、２４・・・ストレージ、２５・・・可搬記録媒体駆動装置、２６・・・可搬記録媒体、２７・・・バス、３０・・・表示装置、４０・・・入力装置、１００・・・走査型顕微鏡装置、Ｓ・・・試料
【図１】
2018091968.tif 000003
【図２】
2018091968.tif 000004
【図３】
2018091968.tif 000005
【図４】
2018091968.tif 000006
【図５】
2018091968.tif 000007
【図６】
2018091968.tif 000008
【図７】
2018091968.tif 000009
【図８】
2018091968.tif 000010
【図９】
2018091968.tif 000011
【図１０】
2018091968.tif 000012
【図１１】
2018091968.tif 000013
【図１２】
2018091968.tif 000014
【図１３】
2018091968.tif 000015
【図１４】
2018091968.tif 000016
【図１５】
2018091968.tif 000017
【図１６】
2018091968.tif 000018
【図１７】
2018091968.tif 000019