(57)【要約】  画像処理装置であって、第１観察条件で得られた第１顕微鏡画像データに対応する対応画像データを、第２観察条件で得られた第２顕微鏡画像データと第３顕微鏡画像データに基づいて生成する画像生成部と、対応画像データを出力する画像出力部と、を備える。対応画像データは、第１顕微鏡画像データが得られた第１焦点面に対応する画像データであってよく、第２顕微鏡画像データと第３顕微鏡画像データはそれぞれ、第１焦点面とは異なる第２焦点面と第３焦点面における画像データであってよい。
2018131172.tif 000002
【特許請求の範囲】
【請求項１】
第１観察条件で得られた第１顕微鏡画像データに対応する対応画像データを、第２観察条件で得られた第２顕微鏡画像データと第３顕微鏡画像データに基づいて生成する画像生成部と、
前記対応画像データを出力する画像出力部と、
を備える画像処理装置。
【請求項２】
前記対応画像データは、前記第１顕微鏡画像データが得られた第１面に対応する画像データであり、
前記第２顕微鏡画像データと前記第３顕微鏡画像データはそれぞれ、前記第１面とは異なる第２面と第３面における画像データである、
請求項１に記載の画像処理装置。
【請求項３】
前記画像生成部は、前記第２顕微鏡画像データと前記第３顕微鏡画像データをフーリエ変換および逆フーリエ変換することにより、前記対応画像データを生成する、請求項２に記載の画像処理装置。
【請求項４】
前記第１面は、前記第２面と前記第３面との間の面である、請求項２に記載の画像処理装置。
【請求項５】
前記第２観察条件は、ローカリゼーション法を含み、
前記画像生成部は、前記第１顕微鏡画像データに基づく前記第１顕微鏡画像の焦点深度に対応する前記対応画像データを生成する、請求項２に記載の画像処理装置。
【請求項６】
前記画像生成部は、前記第２顕微鏡画像データに基づく画像におけるパターンと、前記第３顕微鏡画像データに基づく画像におけるパターンと、に基づいて、前記対応画像データを生成する、請求項２に記載の画像処理装置。
【請求項７】
前記対応画像データは、前記第１顕微鏡画像データが得られた第１時刻に対応する画像データであり、
前記第２顕微鏡画像データと前記第３顕微鏡画像データはそれぞれ、前記第１時刻とは異なる第２時刻と第３時刻に得られた画像データである、請求項１に記載の画像処理装置。
【請求項８】
前記第１時刻は、前記第２時刻と前記第３時刻の間の時刻である、請求項７に記載の画像処理装置。
【請求項９】
前記画像生成部は、前記第２顕微鏡画像データに基づく画像におけるパターンと、前記第３顕微鏡画像データに基づく画像におけるパターンと、に基づいて、前記対応画像データを生成する、請求項７に記載の画像処理装置。
【請求項１０】
前記第１観察条件は第１顕微鏡法を含み、前記第２観察条件は前記第１顕微鏡法とは異なる第２顕微鏡法を含む、請求項１から９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記画像生成部は、前記第２観察条件に基づいて、前記対応画像データに関する評価を行う、請求項１から１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記第１顕微鏡画像データに基づく第１顕微鏡画像と、前記対応画像データに基づく対応画像と、を表示する表示部をさらに備える、請求項１から１１のいずれか一項に記載の画像処理装置。
【請求項１３】
第１顕微鏡と、
第２顕微鏡と、
請求項１から１２のいずれか一項に記載の画像処理装置と、
を含む顕微鏡システム。
【請求項１４】
第１観察条件で得られた第１顕微鏡画像データに対応する対応画像データを、第２観察条件で得られた第２顕微鏡画像データと第３顕微鏡画像データに基づいて生成することと、
前記対応画像データを出力することと、
を含む画像処理方法。
【請求項１５】
前記対応画像データは、前記第１顕微鏡画像データが得られた第１面に対応する画像データであり、
前記第２顕微鏡画像データと前記第３顕微鏡画像データはそれぞれ、前記第１面とは異なる第２面と第３面における画像データである、
請求項１４に記載の画像処理方法。
【請求項１６】
前記生成することにおいて、前記第２顕微鏡画像データと前記第３顕微鏡画像データをフーリエ変換および逆フーリエ変換することにより、前記対応画像データを生成する、請求項１５に記載の画像処理方法。
【請求項１７】
前記第１面は、前記第２面と前記第３面との間の面である、請求項１５に記載の画像処理方法。
【請求項１８】
前記第２観察条件は、ローカリゼーション法を含み、
前記生成することにおいて、前記第１顕微鏡画像データに基づく前記第１顕微鏡画像の焦点深度に対応する前記対応画像データを生成する、請求項１５に記載の画像処理方法。
【請求項１９】
前記生成することにおいて、前記第２顕微鏡画像データに基づく画像におけるパターンと、前記第３顕微鏡画像データに基づく画像におけるパターンと、に基づいて、前記対応画像データを生成する、請求項１５に記載の画像処理方法。
【請求項２０】
前記対応画像データは、前記第１顕微鏡画像データが得られた第１時刻に対応する画像データであり、
前記第２顕微鏡画像データと前記第３顕微鏡画像データはそれぞれ、前記第１時刻とは異なる第２時刻と第３時刻に得られた画像データである、請求項１４に記載の画像処理方法。
【請求項２１】
前記第１時刻は、前記第２時刻と前記第３時刻の間の時刻である、請求項２０に記載の画像処理方法。
【請求項２２】
前記生成することにおいて、前記第２顕微鏡画像データに基づく画像におけるパターンと、前記第３顕微鏡画像データに基づく画像におけるパターンと、に基づいて、前記対応画像データを生成する、請求項２０に記載の画像処理方法。
【請求項２３】
前記第１観察条件は第１顕微鏡法を含み、前記第２観察条件は前記第１顕微鏡法とは異なる第２顕微鏡法を含む、請求項１４から２２のいずれか一項に記載の画像処理方法。
【請求項２４】
前記生成することにおいて、前記第２観察条件に基づいて、前記対応画像データに関する評価を行う、請求項１４から２３のいずれか一項に記載の画像処理方法。
【請求項２５】
前記第１顕微鏡画像データに基づく第１顕微鏡画像と、前記対応画像データに基づく対応画像と、を表示する表示部をさらに備える、請求項１４から２４のいずれか一項に記載の画像処理方法。
【請求項２６】
第１観察条件で得られた第１顕微鏡画像データに対応する対応画像データを、第２観察条件で得られた第２顕微鏡画像データと第３顕微鏡画像データに基づいて生成する手順と、
前記対応画像データを出力する手順と、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、顕微鏡システム、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
互いに異なる顕微鏡法によりそれぞれ試料を撮像する複数種類の顕微鏡装置（モダリティとも呼ぶ）を搭載した顕微鏡システムが知られている（例えば、特許文献１参照）。
特許文献１  特表２０１２−５０７７５６号公報
【発明の概要】
【０００３】
本発明の第１の態様においては、第１観察条件で得られた第１顕微鏡画像データに対応する対応画像データを、第２観察条件で得られた第２顕微鏡画像データと第３顕微鏡画像データに基づいて生成する画像生成部と、対応画像データを出力する画像出力部と、を備える画像処理装置が提供される。
【０００４】
本発明の第２の態様においては、第１顕微鏡と、第２顕微鏡と、上記画像処理装置と、を含む顕微鏡システムが提供される。
【０００５】
本発明の第３の態様においては、第１観察条件で得られた第１顕微鏡画像データに対応する対応画像データを、第２観察条件で得られた第２顕微鏡画像データと第３顕微鏡画像データに基づいて生成することと、対応画像データを出力することと、を含む画像処理方法が提供される。
【０００６】
本発明の第４の態様においては、第１観察条件で得られた第１顕微鏡画像データに対応する対応画像データを、第２観察条件で得られた第２顕微鏡画像データと第３顕微鏡画像データに基づいて生成する手順と、対応画像データを出力する手順と、をコンピュータに実行させるプログラムが提供される。
【０００７】
なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る顕微鏡システムに含まれる本体部の構成を示す。
【図２】第１の実施形態に係る顕微鏡システムの機能構成を示す。
【図３】第１の実施形態に係る顕微鏡観察及び画像処理のフローを示す。
【図４】第１及び第２顕微鏡画像データに基づく撮像画像の対応の一例を示す。
【図５】フーリエ変換を用いた画像データの生成原理を示す。
【図６】Ｚスタック画像を表示した表示画面の一例を示す。
【図７】画像データのシフト量の推定を示す。
【図８】重み平均を用いた画像データの生成原理を示す。
【図９】第２の実施形態に係る顕微鏡システムに含まれる本体部の構成を示す。
【図１０】第２の実施形態に係る顕微鏡観察及び画像処理のフローを示す。
【図１１】第２の実施形態に係る顕微鏡システムにおける第１顕微鏡装置による撮像状態を示す。
【図１２】第２の実施形態に係る顕微鏡システムにおける第２顕微鏡装置による撮像状態を示す。
【図１３】第１及び第２顕微鏡画像データに基づく撮像画像の対応の一例を示す。
【図１４】第２顕微鏡画像データを畳み込み演算して生成された画像の一例を示す。
【図１５】第３の実施形態に係る顕微鏡観察及び画像処理のフローを示す。
【図１６】第１及び第２顕微鏡画像データに基づく撮像画像の対応の一例を示す。
【図１７】第４の実施形態に係る顕微鏡観察及び画像処理のフローを示す。
【図１８】タイムラプス撮影における第１顕微鏡装置による撮像状態を示す。
【図１９】タイムラプス撮影における第２顕微鏡装置による撮像状態を示す。
【図２０】第１及び第２顕微鏡装置により試料が撮像されるタイミングチャートの一例を示す。
【図２１】画像認識を利用した時間補間による画像データの生成原理を示す。
【図２２】輝度値の演算を利用した時間補間による画像データの生成原理を示す。
【図２３】第１及び第２顕微鏡装置により試料が撮像されるタイミングチャートの別の例を示す
【図２４】本実施形態に係るコンピュータの構成の一例を示す。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１０】
本発明の第１の実施形態について説明する。
【００１１】
図１及び図２に、それぞれ、第１の実施形態に係る顕微鏡システム１００に含まれる本体部９９の構成及び顕微鏡システム１００の機能構成を示す。顕微鏡システム１００は、複数種類の顕微鏡装置を用いてそれぞれ異なる顕微鏡法により試料を撮像するシステムであり、本体部９９、制御部５０、及び画像処理部６０を備える。なお、説明の都合上、図１において後述する光学系２０の光軸Ｌに平行にＺ軸が定められている。
【００１２】
本体部９９は、第１観察条件で試料９を観察する第１顕微鏡装置３０、及び、第２観察条件で試料９を観察する第２顕微鏡装置４０を含む。第１及び第２観察条件は、例えば、顕微鏡法、照明条件、撮像条件等を含む。第１の実施形態において、第１顕微鏡装置３０の顕微鏡法である第１顕微鏡法は共焦点顕微鏡であり、第２の顕微鏡装置４０の顕微鏡法である第２顕微鏡法はＳＩＭ（構造化照明顕微鏡法）である。
【００１３】
また、照明条件は、試料９を照明する照明光の輝度、照明光の波長、照明光に偏光を用いるか否かおよび偏光と用いる場合には偏光の向き、絞りの大きさ等を含む。撮像条件は、対物レンズ２１ａの開口数、試料９を撮像するＸＹ面内の範囲（ＸＹ走査範囲と呼ぶ）及びＺ軸上の位置（Ｚ位置という）等を含む。
【００１４】
第１顕微鏡装置３０および第２顕微鏡装置４０はステージ系１０を共有している。ステージ系１０は、試料９を支持して移動するシステムであり、ステージ１１、センサ１２、及び駆動装置１３を有する。ここで、試料９は、例えば、蛍光色素が導入された細胞等であり、透光性のガラス板等の保持部材８上に保持して使用される。本実施形態では、第１顕微鏡装置３０で用いる蛍光色素と第２顕微鏡装置４０で用いる蛍光色素との２色の蛍光色素が導入されている。
【００１５】
ステージ１１は、試料９を支持する装置である。ステージ１１は、光学系２０の光軸Ｌが通る開口１１ａが形成され、試料９は、保持部材８をステージ１１上に支持することで開口１１ａ上に位置決めされる。ステージ１１は、光学系２０の光軸Ｌに移動可能に構成される。
【００１６】
センサ１２は、ステージ１１のＺ軸方向の位置或いは変位を測定する。センサ１２として、例えば、リニアエンコーダを採用することができる。その測定結果は、制御部５０に送信される。
【００１７】
駆動装置１３は、ステージ１１をＺ軸方向に駆動する。駆動装置１３として、例えば複数のモータ等を採用することができる。駆動装置１３は、制御部５０により制御されてステージ１１を目標位置に駆動する。当該移動により、ステージ１１上の試料９が光学系２０の光軸Ｌに対して移動する。
【００１８】
第１顕微鏡装置３０および第２顕微鏡装置４０は光学系２０を共有している。光学系２０は、試料９に照明光を照射するとともに試料９から射出する光を集光する系であり、対物レンズ２１ａ、スキャナ２３、及びフィルタ２４を有する。
【００１９】
対物レンズ２１ａは、ステージ１１上の試料９の中間像を結ぶ光学素子であり、本実施形態では一例としてステージ１１の直下に配されている。図１においては、対物レンズ２１ａを含む光学系２０の焦点を含むＸＹ面に平行な焦点面２０ａが併せて示されている。
【００２０】
スキャナ２３は、照明光を光学系２０の光軸Ｌに直交する面内、すなわち図中のＸＹ方向に振る機構であり、一例として一対のガルバノミラーを使用することができる。一方のガルバノミラーはＸ軸周りに回動し、他方のガルバノミラーはＹ軸周りに回動する。スキャナ２３に入射する照明光は、一対のガルバノミラーにより反射されることで光軸Ｌに対してＸ軸及びＹ軸方向のそれぞれに振られ、試料９がＸＹ方向に走査される。スキャナ２３は不図示の駆動装置により、光軸Ｌ上に進出したり、光軸Ｌから退避したりすることができ、ＳＩＭにより試料９を観察するときには光軸Ｌから退避している。
【００２１】
フィルタ２４は、光学系２０の光軸Ｌ上に配されて、特定の波長（λ１，λ１'）を有する光を反射し、その他の波長（λ２，λ２'）を有する光を透過する光学素子である。フィルタ２４として、例えば、ダイクロイックミラーを使用することができる。フィルタ２４は、第１照明・撮像部３１から射出される照明光（波長λ１）を反射してスキャナ２３及び対物レンズ２１ａを介して試料９に送り、試料９から戻る光（波長λ１'）を反射して第１照明・撮像部３１に送るとともに、第２照明・撮像部４１から射出される照明光（波長λ２）を反射してスキャナ２３及び対物レンズ２１ａを介して試料９に送り、試料９から戻る光（波長λ２'）を透過して第２照明・撮像部４１に送る。
【００２２】
第１顕微鏡装置３０は、第１照明・撮像部３１、光学系２０およびステージ系１０を有し、第１顕微鏡法により試料９を撮像する。本実施形態では、上記の通り第１顕微鏡法として共焦点顕微鏡法を採用する。共焦点顕微鏡法において、第１照明・撮像部３１の不図示のレーザ光源からの照明光により試料９を焦点面２０ａ上でＸＹ方向に走査し、焦点面２０ａ上に位置する試料の断面を第１照明・撮像部３１の不図示の撮像素子で撮像して二次元画像を生成する。さらに試料９を焦点面２０ａに対してＺ軸方向に相対的に変位させ、試料９内での異なる面を撮像する。より具体的には、複数のＺ位置で試料９を走査することで試料９を撮像してＺスタック画像を生成する。第１顕微鏡装置３０は、試料９を高速で、ただし比較的低い分解能で観察することができる。
【００２３】
第１照明・撮像部３１は、試料９を照明し、試料９からの光を検出する。第１照明・撮像部３１は、輝度、波長、偏光、絞り等に関する照明条件に従って照明光、例えば波長λ１（例えば、４８８ｎｍ）の照明光を生成し、不図示のダイクロイックミラー等のフィルタを介して光学系２０（フィルタ２４）に向けて射出する。照明光は光学系２０を介して、焦点面２０ａ上に位置する試料９内の観察位置９ａを照明する。照明光により試料９が発する波長λ１'（例えば、５２５ｎｍ）の蛍光等の光が光学系２０を介して第１照明・撮像部３１に入射する。第１照明・撮像部３１は、試料９から入射する光を上記不図示のフィルタにより照明光などのノイズとなる光から分離して検出することで、試料９を撮像する。撮像により得られた画像データは、第１顕微鏡装置３０の顕微鏡画像データとして画像処理部６０に送信される。
【００２４】
第２顕微鏡装置４０は、第２照明・撮像部４１、光学系２０およびステージ系１０を有し、第２顕微鏡法により試料９を撮像する。本実施形態では、上記の通り第２顕微鏡法として、ＳＩＭを採用する。ＳＩＭにおいて、第２照明・撮像部４１の不図示のレーザ光源から構造化照明（すなわち、パターン状の照明）を生成して試料９を照明し、試料９の微細構造と構造化照明とで発生するモアレを第２照明・撮像部４１の不図示の撮像素子で撮像する。この場合に構造化照明のパターンの向きを変えて複数の画像を取得することにより、回折限界内で得られる画像成分（低周波成分）と、モアレという形で読み込んだ回折限界を超えた成分（高周波成分）とを分離する。低周波成分と高周波成分とをフーリエ変換された周波数空間上で再配置してから逆フーリエ変換することにより、回折限界を超えた解像度の画像が生成される。さらに試料９を焦点面２０ａに対してＺ軸方向に相対的に変位させ、試料９内での異なる面を撮像する。より具体的には、複数のＺ位置で試料９を走査することで試料９を撮像してＺスタック画像を生成する。第２顕微鏡装置４０は、試料９を高分解能で、ただし比較的低速で観察することができる。
【００２５】
第２照明・撮像部４１は、試料９を照明し、試料９からの光を検出する。第２照明・撮像部４１は、照明条件に従って照明光、例えば波長λ２（例えば、５６１ｎｍ）の照明光を生成し、不図示のダイクロイックミラー等のフィルタを介して光学系２０（フィルタ２４）に向けて射出する。照明光は光学系２０を介して試料９に送られ、焦点面２０ａ上に位置する試料９内の観察位置９ａが照明される。それにより、例えば試料９が発する波長λ２'（例えば、６００ｎｍ）の蛍光等の光が光学系２０を介して第２照明・撮像部４１に戻る。第２照明・撮像部４１は、試料９から入射する光を上記不図示のフィルタにより照明光などのノイズとなる光から分離して検出することで、試料９を撮像する。撮像により得られた画像データは、第２顕微鏡装置４０の顕微鏡画像データとして画像処理部６０に送信される。
【００２６】
制御部５０は、入力部５１を有し、入力部５１に入力される指示に応じて本体部９９の構成各部、すなわちステージ系１０、光学系２０、第１顕微鏡装置３０、及び第２顕微鏡装置４０を制御する。制御部５０は、コンピュータ、マイクロコントローラ等を含む情報処理装置に、例えば不揮発性メモリ等の記憶装置或いはＣＤ−ＲＯＭ等の記録媒体に記憶された制御用プログラムを実行させることによって各機能部を発現し、制御装置として機能する。
【００２７】
例えば、制御部５０は、撮像する試料９のＺ位置の変更の指示に応じてステージ系１０を制御して、試料９を支持するステージ１１を光軸Ｌに平行な方向（光軸方向とも呼ぶ）に駆動することで、試料９の所望のＺ位置を焦点面２０ａ上に移動する。また、制御部５０は、第１及び第２照明・撮像部３１，４１を制御して、試料９を撮像する。
【００２８】
入力部５１は、マウス、キーボード、タッチパネル等を有する。ユーザは、入力部５１を介して、例えば、顕微鏡による観察（単に、顕微鏡観察とも呼ぶ）、すなわち第１及び第２顕微鏡装置３０，４０による試料９の撮像を制御部５０に対して指示することができる。さらに、ユーザは入力部５１を介して観察条件の設定及び顕微鏡観察により得られる顕微鏡画像データを処理した新たな画像データの生成を指示することができる。
【００２９】
画像処理部６０は、第１及び第２顕微鏡装置３０，４０により得られる顕微鏡画像データを処理する、或いは新たな画像データを生成する。画像処理部６０は、画像生成部６１及び画像出力部６２を含む。画像処理部６０は、コンピュータ、マイクロコントローラ等を含む情報処理装置に、例えば不揮発性メモリ等の記憶装置或いはＣＤ−ＲＯＭ等の記録媒体に記憶された画像処理プログラムを実行させることによって各機能部を発現し、画像処理装置として機能する。
【００３０】
なお、画像処理部６０は、第１及び第２顕微鏡装置３０，４０により撮像された撮像画像をデータとして取り扱うので、以下において、また後述する実施形態において顕微鏡画像データとも呼ぶが、顕微鏡画像データが示す情報は画像であるので、同じ参照番号を用いるとともに画像として図示する場合がある。また、第１および第２の顕微鏡装置３０、４０の顕微鏡画像データは１枚の顕微鏡画像に対応するデータである。
【００３１】
画像生成部６１は、第１及び第２顕微鏡装置３０，４０により得られた顕微鏡画像データに基づいて新たな画像データを生成する。この場合に、画像生成部６１は、第１顕微鏡装置３０により第１観察条件で得られた第１顕微鏡画像データに対応する対応画像データを、第２顕微鏡装置４０により第２観察条件で得られた第２顕微鏡画像データと第３顕微鏡画像データに基づいて生成する。画像生成部６１は、第１及び第２顕微鏡装置３０，４０から受信した第１、第２および第３顕微鏡画像データ、並びに、生成した対応画像データを記憶する。画像生成部６１による対応画像データの生成については後述する。また、第１、第２および第３顕微鏡画像データはそれぞれ１枚の顕微鏡画像に対応するデータである。
【００３２】
画像出力部６２は、第１及び第２顕微鏡装置３０，４０により得られた第１、第２および第３顕微鏡画像データ及び／又は画像生成部６１により生成された対応画像データを処理して、表示部６３に出力する。それにより、少なくとも、第１顕微鏡装置３０により第１観察条件で得られた第１顕微鏡画像データに基づく顕微鏡画像と、この顕微鏡画像に対応して第２顕微鏡装置４０により第２観察条件で得られた第２および第３顕微鏡画像データに基づいて生成された対応画像データに基づく対応画像と、が表示部６３に表示される。
【００３３】
表示部６３は、例えば、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、及びプロジェクタ等の表示装置を有する。表示部６３は、画像出力部６２により処理された画像データ、すなわち第１及び第２顕微鏡装置３０，４０により得られた第１、第２および第３顕微鏡画像データに基づく顕微鏡画像（撮像画像とも呼ぶ）および画像生成部６１により生成された対応画像データに基づく対応画像の少なくともいずれか１つを、画面上に表示する。
【００３４】
また、表示部６３は、画像生成部６１により生成された対応画像データに基づく対応画像を、第１及び第２顕微鏡装置３０，４０により得られた第１、第２および第３顕微鏡画像データに基づく撮像画像と区別して表示する。ここで、画像出力部６２は、例えば、画像を囲む外枠を太くする、点滅する、彩色を変更するなどにより撮像画像と区別する。それにより、生成された画像と撮像された画像とを区別することができる。
【００３５】
図３に、第１の実施形態に係る顕微鏡観察及び画像処理のフローを示す。本例では、試料９のＺスタック画像が撮像される。
【００３６】
ステップ１１０では、ユーザにより第１及び第２観察条件が設定される。上記の通り本実施形態において第１及び第２観察条件のうち第１顕微鏡法および第２顕微鏡法はすでに設定されている。また、第１観察条件の照明条件の一例として波長４８８ｎｍの照明光を用いることが設定される。さらに、第１観察条件の撮像条件の一例として、開口数１．４９の対物レンズ２１ａを用いること、撮像するＸＹ面内の範囲（すなわち、ＸＹ走査範囲）および撮像するＺ位置が設定される。試料９を撮像するＺ位置は、試料９の撮像におけるＺ軸上の基準位置Ｚ１、Ｚ方向のステップ量ΔＺ１、撮像する画像数Ｎ１で設定される。また、第２観察条件の照明条件の一例として波長５６１ｎｍの照明光を用いることが設定される。さらに、第２観察条件の撮像条件の一例として、第１観察条件と同じ開口数１．４９の対物レンズ２１ａを用いること、撮像するＸＹ面内の範囲、撮像におけるＺ軸上の基準位置Ｚ２、Ｚ方向のステップ量ΔＺ２、撮像する画像数Ｎ２が設定される。ユーザは観察条件を入力部５１を介して入力し、入力された条件は制御部５０に送信される。さらに以下の説明においては、撮像条件について、一例として、Ｚ１＝Ｚ２，ΔＺ１＝ΔＺ２／２，Ｎ１＝２Ｎ２となるよう設定されているものとする。なお、この撮像条件は説明のための一例であって、Ｚ１＝Ｚ２でなくてもよく、ΔＺ１＝ΔＺ２／２でなくてもよく、Ｎ１＝２Ｎ２でなくてもよい。
【００３７】
ユーザにより、ステージ１１上に試料９が支持され、入力部５１を介して顕微鏡観察の開始が指示されると、次のステップ１２０に進む。
【００３８】
ステップ１２０では、第１及び第２顕微鏡装置３０，４０により並行して試料９が撮像される。
【００３９】
制御部５０は、第１及び第２顕微鏡装置３０，４０のそれぞれに対する第１及び第２観察条件に応じて、ステージ系１０、光学系２０、第１及び第２顕微鏡装置３０，４０を制御する。例えば、制御部５０は、第１及び第２照明・撮像部３１，４１に対する照明条件を設定する。
【００４０】
制御部５０は、試料９のＺ位置Ｚ１に光学系２０の焦点面２０ａが位置するようにステージ１１を駆動し、第１及び第２顕微鏡装置３０，４０により試料９を撮像する。
【００４１】
図１に示すように、第１顕微鏡装置３０は、第１照明・撮像部３１より波長λ１の照明光を出射し、光学系２０を介してステージ１１上の試料９を照明する。焦点上に位置する試料９の観察位置９ａが照明されることにより、試料９に含まれる蛍光色素が波長λ１'の蛍光を発する。蛍光は、光学系２０を介して集光され、第１照明・撮像部３１により撮像される。
【００４２】
第１顕微鏡装置３０による試料９の照明及び蛍光の撮像と並行して、制御部５０は、スキャナ２３を制御して照明光をＸＹ方向に振ることにより、焦点面２０ａ上のＸＹ走査範囲内で試料９を走査する。それにより、第１顕微鏡装置３０により、試料９の当該Ｚ位置Ｚ１が撮像され、共焦点顕微鏡法の画像データが生成される。Ｚ位置Ｚ１の画像データは画像処理部６０に送られ、第１顕微鏡画像データとして画像生成部６１に記憶される。
【００４３】
一方、第２顕微鏡装置４０は、第２照明・撮像部４１より波長λ２の構造化照明を出射し、光学系２０を介してステージ１１上の試料９を照明する。それにより、焦点上に位置する試料９の観察位置９ａが照明され、試料９に含まれる別の蛍光色素が波長λ２'の蛍光を発する。蛍光は、光学系２０を介して集光され、第２照明・撮像部４１により撮像される。第２顕微鏡装置４０の顕微鏡方法がＳＩＭなので、構造化照明のパターンの向きを変えて試料９を複数撮像して、試料９のＺ位置Ｚ１でのＳＩＭ画像を生成する。当該Ｚ位置Ｚ１でのＳＩＭ画像のデータは、第２顕微鏡装置４０の顕微鏡画像データとして画像生成部６１に記憶される。第２顕微鏡装置４０の撮像時には、スキャナ２３は光軸Ｌ上から退避させておく。
【００４４】
制御部５０は、Ｚ位置Ｚ１での試料９の撮像が終了すると、ステージ１１をΔＺ１だけステップ駆動して、第１顕微鏡装置３０のみにより、焦点面２０ａ上に位置する試料９の断面を撮像する。
【００４５】
制御部５０は、Ｚ位置Ｚ１＋ΔＺ１での試料９の撮像が終了すると、ステージ１１を更にΔＺ１だけステップ駆動して試料９のＺ位置Ｚ１＋２ΔＺ１（＝Ｚ２＋ΔＺ２）を焦点面２０ａに位置させ、第１及び第２顕微鏡装置３０，４０により、試料９を撮像する。
【００４６】
制御部５０は、順次、ステージ１１をＺ軸方向にステップ量ΔＺ１、ステップ駆動して、第１及び第２顕微鏡装置３０，４０の両方又は第１顕微鏡装置３０のみにより焦点面２０ａ上で試料９を走査し、試料９内の複数のＺ位置を撮像する。第１顕微鏡装置３０は一連の撮像結果から複数の共焦点顕微鏡画像を生成し、第１顕微鏡装置３０の顕微鏡画像データとして画像処理部６０に送る。また、第２顕微鏡装置４０は一連の撮像結果から複数のＳＩＭ画像を生成するとともに、第２顕微鏡装置４０の複数の顕微鏡画像データとして画像処理部６０に送る。一連の撮像結果から生成された複数の顕微鏡画像をまとめてＺスタック画像ともいう。
【００４７】
図４に、第１及び第２顕微鏡装置３０，４０によりそれぞれ得られた複数の顕微鏡画像データに基づく撮像画像の対応の一例を示す。ここで、第１及び第２観察条件（特に撮像条件）の違いにより、第２顕微鏡装置４０により一部のＺ位置（図４の例では、Ｚ位置Ｚ１＋ΔＺ１，Ｚ１＋３ΔＺ１等）にて撮像が行われず、第１顕微鏡装置３０の顕微鏡画像と対比できる顕微鏡画像が存在していない。
【００４８】
ステップ１３０では、ユーザにより、補間により対応画像データを生成する対象となる空間的な場所である対象空間が選択される。対象空間は、試料９のＺ位置により与えることができる。ステップ１３０において、まず、画像処理部６０は、第１及び第２顕微鏡装置３０，４０によりそれぞれ得られた顕微鏡画像データを処理して、それぞれに含まれる撮像画像の一覧を表示部６３の画面上に表示する。ユーザは画面上の表示より、第１顕微鏡装置３０の顕微鏡画像が存在しているＺ位置Ｚ１＋ΔＺ１及びＺ３＋３ΔＺ３には、第２顕微鏡装置４０の顕微鏡画像が存在しないことを把握する。ユーザは、入力部５１を介して、例えば、試料９のＺ位置の数値を入力したり、Ｚ位置を示す画面上の点をクリック又はタッチするなどにより対象空間を選択する。ここでは、対象空間として、Ｚ位置Ｚ１＋ΔＺ１が選択されたとする。
【００４９】
ユーザによりＺ位置Ｚ１＋ΔＺ１が選択されると、第１顕微鏡装置３０の複数の顕微鏡画像データのうちＺ位置Ｚ１＋ΔＺ１の顕微鏡画像データが第１顕微鏡画像データとして特定される。さらに、第２顕微鏡装置４０の複数の顕微鏡データのうちから、対応画像データに生成に用いられる第２顕微鏡画像データと第３顕微鏡画像データが特定される。例えば、第２顕微鏡装置４０の複数の顕微鏡画像データのうち、±Ｚ方向についてＺ位置Ｚ１＋ΔＺ１に最も近い顕微鏡画像データが第２顕微鏡画像データおよび第３顕微鏡画像データとして特定される。これにより、第１顕微鏡装置３０の顕微鏡画像データのうちの第１面（Ｚ位置Ｚ１＋ΔＺ１）の顕微鏡画像データである第１顕微鏡画像データに対応して、第２顕微鏡装置４０の顕微鏡画像データのうち、当該第１面を間に挟む第２面で得られた第２顕微鏡画像データと第３面で得られた第３顕微鏡画像データとから、下記の通り、第１顕微鏡画像データと同じＺ位置での対応画像が生成される。
【００５０】
ステップ１４０では、画像処理部６０により、ステップ１３０で選択された対象空間に対してサンプリング条件が確認され、補間によりその対象空間に対する対応画像データを生成することができるか否かが評価される。
【００５１】
サンプリング条件は、少なくとも、顕微鏡画像データに基づく少なくとも２つの異なる撮像画像がそれぞれ撮像されたＺ位置の間隔、すなわち光軸方向のステップ量ΔＺに関する次の条件を含む。
【数１】
2018131172.tif 000003
ここで、カットオフ周波数ｋｚ，ｍａｘは、光学系２０の光学伝達関数（ＯＴＦ）が光軸方向に対する共役な周波数方向に拡がる最大の範囲である。サンプリング条件を満たさない画像データを用いて補間した場合、エイリアシングが生じることがある。
【００５２】
画像処理部６０は、サンプリング条件［式（１）］の詳細、すなわち、ステップ量ΔＺ及びカットオフ周波数ｋｚ，ｍａｘのそれぞれの値、サンプリング条件を満たすか否かの区別、条件を満たさない場合にエイリアシングが発生するおそれがあること、発生のおそれの程度などを表示部６３の画面上に表示する。それにより、ユーザは、サンプリング条件を満たすか否かを確認することができ、例えばサンプリング条件を満たさない場合にエイリアシングの発生を回避することができる。
【００５３】
ステップ１５０では、ユーザにより、対象空間に対する画像データを補間により生成するか、再撮像するかが判断される。ユーザは、ステップ１４０において確認されたサンプリング条件に基づいて、補間又は再撮像のいずれかを入力部５１を介して選択する。ユーザは、例えば、サンプリング条件を満たす場合に補間を選択し、満たさない場合に再撮像を選択することができる。また、ユーザは、サンプリング条件を満たさない場合であっても補間を選択することもできる。補間が選択された場合、画像処理部６０が指示を受けて、ステップ１６０に進む。再撮像が選択された場合、制御部５０が指示を受けて、ステップ１６５に進む。
【００５４】
ステップ１６０では、画像生成部６１により、補間により対象空間に対する対応画像データが生成される。
【００５５】
図５に、フーリエ変換を用いた対応画像データの生成原理を示す。顕微鏡画像データｆは、図５左に示すように、互いに異なるＺ位置Ｚｉ（ｉ＝０〜Ｎ−１）にて撮像されたＮ枚の撮像画像を含む。顕微鏡画像データｆは、離散的なＸ，Ｙ，Ｚ座標に関する輝度値の集合であるが、便宜上、座標Ｘ，Ｙ，Ｚに関する関数として表す。本例では、対象空間のＺ位置ＺＳ（＝Ｚ１＋Δ）とする。
【００５６】
画像生成部６１は、ステップ１３０において選択された対象空間に対してシフト量Δを決定する。ここで、シフト量Δは、対象空間のＺ位置ＺＳと、顕微鏡画像データｆに基づくＮ枚の撮像画像のうちのいずれかの画像が撮像されたＺ位置との差である。いずれかの画像として、例えば、Ｚ位置ＺＳに最も近いＺ位置Ｚ１で撮像された撮像画像ｆ１を選択するとよい。斯かる場合、シフト量はＺｓ−Ｚ１＝Δと決定される。
【００５７】
画像生成部６１は、決定されたシフト量Δを用いて対象空間に対する画像データを生成する。まず、画像生成部６１は、顕微鏡画像データｆのＺ座標に関する離散フーリエ変換Ｆを算出する。
【数２】
2018131172.tif 000004
ここで、Ｋは座標Ｚに共役な変数であり、ΔＫ＝π／ΔＺを用いてＫｉ＝ｉΔＫ（ｉ＝０〜Ｎ−１）と離散化される。なお、Ｎは、顕微鏡画像データｆに含まれる全撮像画像数でもよく、全撮像画像のうちのサンプリング条件［式（１）］を満たす２以上の画像数でもよい。次に、画像生成部６１は、Ｚ座標に対するシフト量Δを取り込んだ位相因子（２π／Ｎ）Ｋ（Ｚ−Δ）を用いて逆離散フーリエ変換ｆを算出する。
【数３】
2018131172.tif 000005
式（３）の計算により、図５中央に示すように、Ｚ位置がΔシフトした新たな顕微鏡画像データｆ（Ｘ，Ｙ，Ｚ−Δ）が生成される。最後に、画像生成部６１は、生成された顕微鏡画像データのなかから、Ｚ位置ＺＳに対する画像データｆ１'を抜き出す。それにより、対象空間に対する対応画像データが得られる。
【００５８】
対応画像データは、試料９のＺ位置Ｚ１＋ΔＺ１の第１顕微鏡画像データとは当該Ｚ位置が同じである点で、当該第１顕微鏡画像データに対応する画像データの一例となっている。さらに、式（２）および（３）から明らかな通り、Ｚ位置Ｚ１＋ΔＺ１とは異なるＺ位置で撮像された画像データである第２顕微鏡画像データと、さらに他のＺ位置で撮像された画像データである第３顕微鏡画像データに基づいて、対応画像データが生成されている。ここで、試料９のＺ位置Ｚ１＋ΔＺ１で得られた第１顕微鏡画像データを第１面で得られた第１顕微鏡画像データと記すこととすれば、対応画像データは、試料９の第１面とは異なる第２面で得られた第２顕微鏡画像データと、第１および第２面とは異なる第３面で得られた第３の顕微鏡画像データに基づいて生成されているともいえる。さらに、第１面が第２面と第３面との間となるような第２、第３顕微鏡画像データに基づいて対応画像データが生成されている。
【００５９】
ステップ１６５では、制御部５０により、再撮像により対象空間に対する画像データが生成される。制御部５０は、再撮像に対する観察条件を設定する。制御部５０は、第２顕微鏡装置４０によりＺ位置Ｚｓにて試料９を撮像する。詳細は先のステップ１２０と同様である。得られた対応画像データは画像処理部６０に送信される。
【００６０】
ステップ１７０では、画像出力部６２により、ステップ１６０にて画像生成部６１により生成された対応画像データ又はステップ１６５にて再撮像により生成された画像データを、ステップ１２０にて生成された顕微鏡画像データに統合して、一連のＺスタック画像に編集する。
【００６１】
ステップ１８０では、表示部６３により、ステップ１７０にて編集されたＺスタック画像を画面上に表示する。
【００６２】
図６に、第１及び第２顕微鏡装置３０，４０によりそれぞれ得られたＺスタック画像を表示する表示部６３の表示画面６３ａの一例を示す。表示部６３は、表示画面６３ａの上段に第１及び第２顕微鏡装置並びに顕微鏡法、中段にそれぞれの顕微鏡装置により得られたＺスタック画像のうちの各１つの画像６３ｃ，６３ｄ、下段にＺスタック画像に関する情報（撮像位置Ｚ１，Ｚ２、Ｚ間隔ΔＺ１，ΔＺ２、画像数Ｎ１，Ｎ２、開口数ＮＡ等）を表示する。表示部６３は、画像生成部６１により補間により生成され、顕微鏡画像データに統合された対応画像６３ｄを、撮像画像、例えば画像６３ｃと視覚的に区別して表示する。本例では、対応画像６３ｄを囲む外枠が太く表示され、また対応画像６３ｄの近傍に補間されたことを意味する文字「補間」が表示されている。
【００６３】
上述のとおり、第１及び第２顕微鏡装置３０，４０を用いて第１及び第２観察条件で試料を撮像した場合に、一方の観察条件で撮像した試料の断面について他方の観察条件で撮像できないことがある。その理由として、例えば、第１観察条件用の蛍光色素と第２観察条件用の蛍光色素とで退色する時間が異なり、退色までに撮像できる画像数が異なることが挙げられる。また、第１及び第２観察条件で多色の蛍光色素を励起する波長が異なると、同じ撮像の時間でも試料に与えるダメージの大きさが異なるので、試料に与えるトータルのダメージの大きさを考慮して、撮像できる画像数が異なることが挙げられる。さらに、同じ蛍光色素および同じ励起の波長を用いたとした場合であっても、顕微鏡法等に起因して撮像に要する時間が長いと、蛍光色素の退色および試料へのダメージが大きくなるので、撮像できる画像数が限られる場合があることが挙げられる。本実施形態に係る顕微鏡システム１００によれば、このように一方の観察条件について、他方の観察条件における試料のあるＺ位置の顕微鏡画像データに対応する顕微鏡画像データが存在しなくても、一方の顕微鏡画像データから他方の顕微鏡画像に対応する対応画像を生成して補間することができる。よって、異なる観察条件で得られた顕微鏡画像同士を容易に対比することが可能となる。
【００６４】
本実施形態に係る顕微鏡システム１００では、分解能が高いＳＩＭの第２顕微鏡装置４０により得られる顕微鏡画像データに基づいて、相対的に分解能が低い共焦点顕微鏡法の第１顕微鏡装置３０により得られる顕微鏡画像データに対応する画像データを生成する画像処理を行う。分解能が高い顕微鏡法は一般的に長時間の観察を要することから、上記の蛍光色素の退色等の理由により、試料９のあるＺ位置で第１顕微鏡装置３０による撮像は行われるが第２顕微鏡装置４０による撮像が行われない場合がある。斯かる場合においても、第２顕微鏡装置４０により得られる顕微鏡画像データから対応画像を生成して補うことで、第１及び第２顕微鏡装置３０，４０から得られる顕微鏡画像を容易に対比することが可能となる。
【００６５】
なお、本実施形態に係る顕微鏡システム１００では、第２顕微鏡装置４０により得られる顕微鏡画像データに基づいて、第１顕微鏡装置３０により得られる顕微鏡画像データに対応する画像データを生成する画像処理を行うが、これに代えて又はこれとともに、第１顕微鏡装置３０により得られる顕微鏡画像データに基づいて、第２顕微鏡装置４０により得られる顕微鏡画像データに対応する対応画像データを生成してもよい。例えば弱い蛍光を発する蛍光色素を使用することで長時間の照明を要する場合など、分解能が低い顕微鏡法による撮像であっても長い時間を要することがある。よって、試料９のあるＺ位置で、分解能が高い第２顕微鏡装置４０による撮像は行われるが、分解能が低い第１顕微鏡装置３０による撮像は行われない場合がある。斯かる場合において、第１顕微鏡装置３０により得られる顕微鏡画像データから対応画像を生成して補うことで、第１及び第２顕微鏡装置３０，４０により得られる顕微鏡画像を容易に対比することが可能となる。
【００６６】
なお、また、顕微鏡システム１００に複数の対物レンズを設け、第１観察条件と第２観察条件とで対物レンズを変えてもよい。また、第１の実施形態に係る顕微鏡システム１００は、ステージ１１および光学系２０の一部を１及び第２顕微鏡装置３０，４０で共用しているが、これに代えて、第１及び第２顕微鏡装置３０，４０のそれぞれが別個のステージおよび光学系を専用で有していてもよい。斯かる場合、試料を保持する保持部材８上に試料に近接してマーカを設け、それぞれの顕微鏡装置により試料を観察する際にマーカを基準に試料の位置を決定することで、互いに等しい範囲について試料を撮像することができる。
【００６７】
なお、第１の実施形態に係る顕微鏡システム１００による顕微鏡観察では、ステップ１４０において補間により対応画像データを生成することができるか否かを評価するためにサンプリング条件［式（１）］を確認することとしたが、これに代えて、次の２つの補間条件の両方が満たされているか否かを確認することとしてもよい。第１条件は、対象空間に対応する試料９のＺ位置が、顕微鏡画像データに基づく画像データのうち、少なくとも２つの異なる撮像画像がそれぞれ撮像されたＺ位置の間に位置することである。第２条件は、対象空間に対応する試料９のＺ位置が、少なくとも２つの異なる撮像画像のそれぞれが撮像されたＺ位置から予め定められた範囲、例えば撮像の際に使用された対物レンズの焦点深度の範囲内に含まれることである。補間条件を満たす場合、第１の実施形態の方法で少なくとも２つの異なる撮像画像に対応する画像データを用いて補間することで、撮像画像に取り込まれている対象空間上での試料９の像が反映された適切な対応画像データを再現することができる。なお、補間条件を満たさない画像データを用いて補間すると、撮像画像に抽出すべき対象空間上での試料９の像が取り込まれていないため、本来の試料の像とは大きく異なり、ノイズを含む対応画像データが生成されるおそれがある。
【００６８】
なお、第１の実施形態に係る顕微鏡システム１００による顕微鏡観察では、ステップ１５０においてユーザにより対応画像データを補間により生成するか、再撮像するかを判断することとしたが、これに代えて、画像生成部６１により判断することとしてもよい。画像処理部６０は、例えば、サンプリング条件［式（１）］を満たす場合に補間を選択し、満たさない場合に再撮像を選択することとしてよい。
【００６９】
なお、第１の実施形態に係る顕微鏡システム１００を用いた顕微鏡観察では、ステップ１６０において対応画像データを生成する際にシフト量Δが既知であるとしたが、第１、第２および第３顕微鏡画像データｇ，ｆにおいて光軸方向の基準位置Ｚ１，Ｚ２が未知であるためにシフト量Δが未知であることもある。斯かる場合、ステップ１６０において、まず、シフト量Δを算出することとする。ただし、それぞれのデータにおいてＺ間隔ΔＺ１，ΔＺ２は既知であるとする。Ｚ間隔ΔＺ１，ΔＺ２は互いに等しくなくてよい。
【００７０】
図７に、第１顕微鏡画像データｇ、第２及び第３顕微鏡画像データｆを例にしてシフト量Δの推定を示す。まず、画像生成部６１は、第２及び第３顕微鏡画像データｆに基づく各画像のＺ間隔ΔＺ２をΔＺ１に変換して、新たな顕微鏡画像データｆ'を生成する。ここで、画像生成部６１は、先述のとおりフーリエ変換［式（２）及び式（３）］を利用して、第２及び第３顕微鏡画像データｆからＺ位置Ｚ２＋ｉΔＺ１（ｉ＝０〜Ｎ−１）に対する画像データをそれぞれ抽出し、抽出されたＮ枚の画像よりＺ間隔ΔＺ１の新たな顕微鏡画像データｆ'を構築する。次に、画像生成部６１は、フーリエ変換［式（２）及び式（３）］により画像データｆ'をＺ座標に関してシフト量Δ、シフトして、シフト量Δに関する相関係数ρ（Δ）を算出する。
【数４】
2018131172.tif 000006
ここで、Ｅ（ｆ）はｆの平均である。最後に、画像生成部６１は、相関係数ρ（Δ）が最大になるΔより目的のシフト量を推定する。画像生成部６１は、推定されたシフト量Δを用いて、先述のとおり第２及び第３顕微鏡画像データｆをフーリエ変換［式（２）］及びシフト量Δを取り込んだ位相因子を含む逆フーリエ変換［式（３）］を算出し、逆フーリエ変換から画像データを抜き出すことで、対応画像データを生成することができる。
【００７１】
シフト量を推定する方法によれば、シフト量Δが未知である場合にも対応画像データを生成することができる。よって、シフト量Δが未知である場合にも一方の顕微鏡画像データから他方の顕微鏡画像に対応する対応画像を生成して補間することができ、異なる観察条件で得られた顕微鏡画像を容易に対比することが可能となる。なお、第２及び第３顕微鏡画像データに加えて、第２顕微鏡装置４０の他の顕微鏡画像データも併せて用いてもよい。
【００７２】
なお、本実施形態に係る顕微鏡システム１００を用いた顕微鏡観察では、ステップ１６０において離散フーリエ変換により対応画像データを生成することとしたが、これに代えて、重み平均又は高速多重極法により対応画像データを生成してもよい。
【００７３】
図８に、重み平均を用いた対応画像データの生成原理を示す。ここで、第２及び第３顕微鏡画像データは、画像データＩＸの位置ＺＸを間に含む第１及び第２位置ＺＡ，ＺＢの画像データＩＡ，ＩＢである。ここで、ｄＡ＝ＺＡ−ＺＸ，ｄＢ＝ＺＸ−ＺＢである。画像生成部６１は、画像データＩＡ，ＩＢを演算して対応画像データＩＸ＝ｃＡＩＡ＋ｃＢＩＢを生成する。ここで、ｃＡ及びｃＢは重みであり、ｃＡ＝ｄＢ／（ｄＡ＋ｄＢ）、ｃＢ＝ｄＡ／（ｄＡ＋ｄＢ）と与えられる。重み平均を用いることにより簡便な方法で対応画像データを生成することができる。
【００７４】
高速多重極法では、第２および第２顕微鏡画像データに基づいて撮像画像の各ピクセルに対応する二次元面上の位置にそれぞれの輝度値に等しい電荷が存在すると仮定し、それぞれの電荷により画像の各ピクセルに対応する二次元面上の各位置に生じるクーロンポテンシャルの重ね合わせを輝度値として推定することにより、対応画像データを生成する。高速多重極法は、サンプリング条件を満たす場合に限らず、満たさない場合においても適用することができる。
【００７５】
なお、ステップ１３０における離散フーリエ変換、上記の重み平均、又は上記の高速多重極法により対応画像データを生成する場合に、補間条件における第１条件、すなわち対象空間が、補間に用いる少なくとも２つの異なる撮像画像がそれぞれ撮像された試料９のＺ位置の間に位置することを、必ずしも満たす必要はない。つまり、少なくとも２つの異なる撮像画像を用いて、それぞれの撮像画像が撮像された試料９のＺ位置の外の位置に外挿して対応画像データを生成してもよい。
【００７６】
なお、第１の実施形態に係る顕微鏡システム１００を用いた顕微鏡観察では、ステップ１５０にて、ユーザは、試料９が例えば固定標本の場合など再利用できる場合に再撮像を選択することができる。ここで、ステップ１５０にて試料９が再利用できないにも関わらずユーザが再撮像を選択した場合には、ステップ１６５では再撮像せず、次のステップ１７０に進むこととしてもよい。また、ステップ１５０において、試料９が再利用できないことを表示部６３に表示してユーザに補間を選択することを示唆してもよい。
【００７７】
本実施形態では、上記ステップ１３０で特定された第１顕微鏡画像データのＺ位置と同じＺ位置の対応画像データを生成する。しかしながら、対応画像データのＺ位置は、第１顕微鏡画像データのＺ位置と同じでなくてもよく、例えば第１顕微鏡画像データに基づく画像と対比画像データに基づく画像とを対比したときに支障がない範囲で、対応画像データのＺ位置が第１顕微鏡画像データのＺ位置と異なってもよい。すなわち、対応画像データは、第１顕微鏡画像データとＺ位置が同じである場合でなく、第１顕微鏡画像データに基づく画像と対比画像データに基づく画像との対比に支障がない範囲で互いのＺ位置が異なる場合にも、対応画像データが第１顕微鏡画像データに対応しているといえる。
【００７８】
本発明の第２の実施形態について説明する。
【００７９】
第２の実施形態では、第１顕微鏡装置３０は、第１観察条件（第１顕微鏡法）として共焦点顕微鏡法を採用し、第２顕微鏡装置４０は、第２観察条件（第２顕微鏡法）としてローカリゼーション法を用いる。ローカリゼーション法において、試料９内に導入された蛍光色素を低密度で活性化させておいて励起光を照射することにより、活性化状態の蛍光色素のみ（一部の蛍光色素のみ）を発光させて蛍光画像を取得する。蛍光画像においては、低密度で発光する蛍光色素の像が個々に分離されたものとなるので、個々の蛍光色素の位置を特定することができる。上記活性化、励起、蛍光画像の取得および位置の特定を複数繰り返し、特定された複数の蛍光色素の位置に特定の輝度値を割り当てることにより点描された画像を生成することにより、光学的な回折限界を超えた高分解能の画像が生成される。なお、ローカリゼーション法は、ＳＴＯＲＭ（確率論的光学再構成法）、ＰＡＬＭ（光活性化局在法）等を含む。本実施形態では一例として三次元のＳＴＯＲＭを採用し、ＳＴＯＲＭにより生成される蛍光画像をＳＴＯＲＭ画像とも呼ぶこととする。
【００８０】
ただし、第２顕微鏡装置４０の顕微鏡法としてＳＴＯＲＭを採用したことから、本体部９９は、第１の実施形態に係る光学系２０に代えて光学系２０'を含む。本体部９９に含まれる他の構成、すなわちステージ系１０、第１顕微鏡装置３０、及び第２顕微鏡装置４０は、第１の実施形態と同様に構成されている。
【００８１】
図９に、第２の実施形態に係る顕微鏡システム１００に含まれる本体部９９の構成、特に光学系２０'の構成を示す。光学系２０'は、複数の対物レンズ２１ａ，２１ｂ、シリンドリカルレンズ２５、結像光学系２６、及びフィルタ２４を含む。ここで、フィルタ２４は、第１の実施形態と同様に構成されている。
【００８２】
複数の対物レンズ２１ａ，２１ｂは、ステージ１１上の試料９の中間像を結ぶ光学素子であり、本実施形態では一例としてステージ１１の直下に配されている。複数の対物レンズ２１ａ，２１ｂは、相対的に深い及び浅い焦点深度をそれぞれ有し、それらを切り替えることにより第１及び第２顕微鏡装置３０，４０の焦点深度が変更される。図９においては対物レンズ２１ｂが光軸Ｌ上に配された状態が示されており、対物レンズ２１ｂを含む光学系２０'の焦点面２０ｂが示されている。
【００８３】
シリンドリカルレンズ２５は、光軸Ｌに直交する面内において一方向のみについて光を集光する半円筒状のレンズ素子であり、ＳＴＯＲＭにより試料を観察する際に使用される。シリンドリカルレンズ２５を介して検出される光は、焦点面２０ｂから距離に応じて像の大きさが変わるともに、焦点面２０ｂに対していずれの側に位置するかに応じて像の形が変わる。よって、検出される像の大きさと形から、発光した蛍光色素の位置の三次元座標を特定することができる。
【００８４】
結像光学系２６は、シリンドリカルレンズ２５を介した光を第２照明・撮像部４１に向けて集光する１又は複数の光学素子であり、ＳＴＯＲＭにより試料を観察する際に使用される。
【００８５】
複数の対物レンズ２１ａ，２１ｂは不図示のレボルバに支持され、当該レボルバが回転することで、複数の対物レンズ２１ａ，２１ｂかが光学系２０の光軸Ｌ上に配置される。なお、シリンドリカルレンズ２５および結像光学系２６はレボルバの回転とは独立して光軸Ｚ上に進退可能である。
【００８６】
図１０に、第２の実施形態に係る顕微鏡観察及び画像処理のフローを示す。本例では、試料９のＺスタック画像（又は三次元蛍光画像）が撮像される。ただし、第１の実施形態に係るフローと同一又は対応する事項については適宜説明を省略する。
【００８７】
ステップ２１０では、ユーザにより、第１及び第２観察条件が設定される。上記の通り本実施形態において第１及び第２観察条件のうち第１顕微鏡法および第２顕微鏡法はすでに設定されている。さらに、第１観察条件の撮像条件の一例として、対物レンズ２１ａを用いること、撮像するＸＹ面内の範囲、撮像におけるＺ軸上の基準位置Ｚ１、Ｚ方向のステップ量ΔＺ１、撮像する画像数Ｎ１が設定される。また、第２観察条件の撮像条件の一例として、第１観察条件とは異なり、対物レンズ２１ｂを用いること、撮像するＸＹ面内の範囲、撮像におけるＺ軸上の基準位置Ｚ２、Ｚ方向のステップ量ΔＺ２、撮像する画像数Ｎ２が設定される。ユーザは観察条件を入力部５１を介して入力し、入力された条件は制御部５０に送信される。
【００８８】
ユーザにより、ステージ１１上に試料９が支持され、入力部５１を介して顕微鏡観察の開始が指示されると、次のステップ２２０に進む。
【００８９】
ステップ２２０では、第１及び第２顕微鏡装置３０，４０によりそれぞれ独立に試料９が撮像される。
【００９０】
図１１に、第１顕微鏡装置３０による撮像状態を示す。制御部５０は、光学系２０'を制御して、対物レンズ２１ｂ、シリンドリカルレンズ２５、及び結像光学系２６を光軸Ｌから退避するとともに、対物レンズ２１ａを光軸Ｌ上に配置する。制御部５０は、試料９のＺ位置Ｚ１が対物レンズ２１ａを含む光学系２０'の焦点面２０ａに位置するようにステージ系１０を駆動し、試料９の断面像を撮像する。その詳細は第１の実施形態と同様である。撮像結果は画像処理部６０に送られ、第１顕微鏡装置３０の顕微鏡画像データとして画像生成部６１に記憶される。
【００９１】
制御部５０は、Ｚ位置Ｚ１での試料９の撮像が終了すると、ステージ１１をＺ軸方向に駆動して、順次、Ｚ位置Ｚ１＋ｉΔＺ１（ｉ＝１〜Ｎ１−１）を焦点面２０ａに位置させて、試料９を撮像する。第１顕微鏡装置３０により得られた一連の撮像結果は画像処理部６０に送られ、それぞれが第１顕微鏡装置３０の顕微鏡画像データとして画像生成部６１に記憶される。
【００９２】
図１２に、第２顕微鏡装置４０による撮像状態を示す。制御部５０は、光学系２０'を制御して、対物レンズ２１ａおよびスキャナ２３を光軸Ｌから退避するとともに、対物レンズ２１ｂ、シリンドリカルレンズ２５、及び結像光学系２６を光軸Ｌ上に配置する。制御部５０は、光学系２０'の焦点面２０ｂに試料９のＺ位置Ｚ２が来るようステージ系１０を駆動し、試料９を撮像する。
【００９３】
第２顕微鏡装置４０は、第２照明・撮像部４１より照明光を発し、光学系２０'を介してステージ１１上の試料９を照明する。ここで、第２顕微鏡装置４０は、焦点上に位置する試料９の観察位置９ａ内に含まれる蛍光色素を低密度で活性化させておいて励起光（波長λ２）を照射することにより、活性化状態の蛍光色素のみの蛍光（波長λ２'）を発光させて、対物レンズ２１ｂ、シリンドリカルレンズ２５、及び結像光学系２６を介して第２照明・撮像部４１で検出し、蛍光画像を取得する。
【００９４】
第２顕微鏡装置４０は、個々の蛍光色素の位置を特定する。上記の活性化、励起、蛍光画像の取得および位置の特定を複数繰り返し、特定された複数の蛍光色素の位置に特定の輝度値を割り当てることによりＳＴＯＲＭ画像を生成する。
【００９５】
制御部５０は、試料９のＺ位置Ｚ２の撮像が終了すると、ステージ１１をＺ軸方向について、順次、Ｚ位置Ｚ２ｊ（ｊ＝１〜Ｎ２−１）を焦点面２０ｂに位置させて試料９を撮像し、それぞれのＺ位置でのＳＴＯＲＭ画像の構築を行う。それぞれのＺ位置でのＳＴＯＲＭ画像は、第２顕微鏡装置４０の顕微鏡画像データとして画像生成部６１に記憶される。
【００９６】
図１３に、第１及び第２顕微鏡装置３０，４０によりそれぞれ得られた顕微鏡画像データに基づく撮像画像の対応の一例を示す。第２顕微鏡装置３０の顕微鏡画像データは、三次元位置に特定の輝度値を割り当てた画像のデータなので、三次元の画像のデータであることを示すべく図中において直方体で表現した。当該直方体の数は撮像時のステップ数（Ｎ２）に対応している。また、表記を簡便にすべく、Ｚ２＋ｊΔＺ２をＺ２ｊ（ｊ＝０〜Ｎ２−１）と表した（なお、Ｚ２＝Ｚ２０である）。
【００９７】
ステップ２３０では、第１の実施形態におけるステップ１３０と同様に、ユーザにより、補間により画像データを生成する対象となる空間的な場所である対象空間が選択される。対象空間は、試料９のＺ位置により与えることができる。画像処理部６０は、第１及び第２顕微鏡装置３０，４０によりそれぞれ得られた顕微鏡画像データを処理して、それぞれに含まれる撮像画像の一覧を表示部６３の画面上に表示する。ユーザは、入力部５１を介して、第２顕微鏡装置４０により得られた顕微鏡画像データから、第１顕微鏡装置３０により撮像された撮像画像に対応するＺ位置の画像（図中、点線の平行四辺形を用いて示す）を対物レンズ２１ａの焦点深度に対応した画像を生成することを選択する。
【００９８】
図１３の例では複数のＺ位置が選択されているので、第１顕微鏡装置３０の複数の顕微鏡画像データのうち、上記複数のＺ位置で撮像された顕微鏡画像データが各々、第１顕微鏡画像データとして特定される。
【００９９】
ステップ２４０では、第１の実施形態におけるステップ１４０と同様に、画像処理部６０により、ステップ２３０で選択された対象空間に対してサンプリング条件が確認され、補間によりその対象空間に対する画像データを生成することができるか否かが評価される。サンプリング条件の詳細は、第１の実施形態と同様である。
【０１００】
ステップ２５０では、第１の実施形態におけるステップ１５０と同様に、ユーザにより、対象空間に対する画像データを補間により生成するか、再撮像するかが判断される。補間が選択された場合、画像処理部６０がその指示を受けて、ステップ２６０に進む。再撮像が選択された場合、制御部５０がその指示を受けて、ステップ２６５に進む。
【０１０１】
ステップ２６０では、画像生成部６１により、ステップ２３０で特定されたそれぞれの第１顕微鏡画像データに対応する対応画像データが生成される。ここでは、対応画像データは、第２及び第３顕微鏡画像データから、第１顕微鏡装置３０において使用された対物レンズ２１ａを含む光学系２０'の焦点深度に対応するよう生成される。
【０１０２】
画像生成部６１は、第２及び第３顕微鏡画像データから、対物レンズ２１ａの焦点深度の範囲内にある、特定の輝度値が割り当てられた点をＺ軸方向に重ねる、或いはＸＹ面に投影することで対応画像データを生成する。斯かる場合に、Ｚ位置に応じて異なる色彩を用いて対応画像データを生成してもよい。対応画像データの生成に用いる第２及び第３顕微鏡画像データは、第２顕微鏡装置４０の複数の顕微鏡画像データのうち、第１顕微鏡データのＺ位置を間に挟むようなものである。言い換えると、第１顕微鏡データを得た第１面が、第２顕微鏡画像データを得た第２面と、第３顕微鏡画像データを得た第３面との間となるような第２、第３顕微鏡画像データに基づいて対応画像データが生成される。
【０１０３】
ステップ２６５では、制御部５０により、再撮像により対象空間に対する顕微鏡画像データが生成される。制御部５０は、再撮像に対する観察条件、特に使用する対物レンズ２１ａを設定する。制御部５０は、第２顕微鏡装置４０によりステップ１２０と同様に、ただし対物レンズ２１ａを用いて試料９を撮像する。その詳細は省略する。その撮像結果は画像処理部６０に送信され、画像生成部６１に記憶される。
【０１０４】
ステップ２７０では、第１の実施形態におけるステップ１７０と同様に、画像出力部６２により、ステップ２６０にて画像生成部６１により生成された対応画像データ又はステップ２６５にて再撮像により得られた顕微鏡画像データを、先にステップ２２０にて得られた顕微鏡画像データに統合する。
【０１０５】
ステップ２８０では、第１の実施形態におけるステップ１８０と同様に、表示部６３により、ステップ２７０にて統合された画像を画面上に表示する。その詳細は、先述のとおりである。
【０１０６】
図１４に、生成された対応画像の一例を示す。ここで、画像１４１は、第２及び第３顕微鏡画像データにおける対物レンズ２１ａの焦点深度の範囲内にある、特定の輝度値が割り当てられた点をＺ軸方向に重ねることで生成された対応画像である。対応画像データは、第１顕微鏡画像データのＺ位置と同じＺ位置をＺ軸上の中心として対物レンズ２１ａの焦点深度の範囲内にある、特定の輝度値が割り当てられた点をＺ軸方向に重ねることで生成されているので、第１顕微鏡画像データとＺ位置が対応している。また、対応画像データは、第１顕微鏡画像データを得るのに用いられた対物レンズ２１ａの焦点深度の範囲内にある、特定の輝度値が割り当てられた点をＺ軸方向に重ねているという点で、当該第１顕微鏡画像データに対応する画像データの一例となっている。特に第２及び第３顕微鏡画像データがＳＴＯＲＭ画像データのように、蛍光色素の位置を特定して輝度値を割り当てるというローカリゼーション法により得られた顕微鏡画像データなので、像のボケを伴っておらず、任意のＺ位置と、当該Ｚ位置を中心とするＺ軸に沿った任意の範囲を切り出すことができる。よって、共焦点顕微鏡法を用いた第１顕微鏡画像データの焦点深度に対応した対応画像を容易に生成することができ、対比を容易にすることができる。
【０１０７】
なお、ステップ２６０において、第２及び第３顕微鏡画像データから、対物レンズ２１ａの焦点深度の範囲内にある特定の輝度値が割り当てられた点をＺ軸方向に重ねて対応画像データを生成することに代えて、下記の通り、第１顕微鏡装置３０の点拡がり関数ＰＳＦを用いて畳み込み演算をすることで対応画像データを生成してもよい。
【０１０８】
対応画像データＩは、第２及び第３顕微鏡画像データＯ及び点拡がり関数ＰＳＦを用いて、次のように算出することができる。
【数５】
2018131172.tif 000007
ただし、第２及び第３顕微鏡画像データＯは、図１３より分かるように、予め設定された三次元空間（Ｘ，Ｙ，Ｚ）において特定の輝度値が割り当てられた点の分布として得られている。なお、第２及び第３顕微鏡画像データＯは、離散的なＸ，Ｙ，Ｚ座標に関する輝度値の集合であるが、ここでは便宜上、座標Ｘ，Ｙ，Ｚに関する関数として表している。
【０１０９】
ここで、点拡がり関数ＰＳＦは位置に依存しない関数により近似できるとすると、式（５）は次のように書き換えることができる。
【数６】
2018131172.tif 000008
ただし、点拡がり関数ＰＳＦとして第１顕微鏡装置３０のＰＳＦを用い、かつ、対物レンズ２１ａの焦点深度に対応する深さ範囲について第２及び第３顕微鏡画像データＯを畳み込み演算する。第１顕微鏡装置３０のＰＳＦは、例えば、光学系２０のＰＳＦ、照明パターンを表現する照明光学系のＰＳＦ、ピンホールのＰＳＦ、それらの積などが挙げられる。
【０１１０】
式（６）の右辺は、離散フーリエ変換を用いて演算することができる。画像生成部６１は、第２及び第３顕微鏡画像データＯ及び点拡がり関数ＰＳＦをそれぞれ離散フーリエ変換し、それぞれのフーリエ変換の積を逆離散フーリエ変換することで右辺を演算する。
【０１１１】
図１４の画像１３１は、式（６）において対物レンズ２１ａによる輝点の像の拡がりを表現する点拡がり関数ＰＳＦを用いて求められた画像の一例を示す。画像１３１では、第２顕微鏡画像データを点拡がり関数ＰＳＦを用いた式（６）により畳み込み演算することで、第１顕微鏡画像データに含まれているボケの成分が取り込まれて、画像のＳ／Ｎ比（信号対雑音比）が第１顕微鏡画像データに近いものとなっている。互いの画像データの画質のＳ／Ｎ比が近いので、互いの画像データを容易に対比することができる。
【０１１２】
なお、本実施形態において対象画像データを生成するのに第２及び第３顕微鏡画像データが用いられたが、これに限られない。対象画像データＩの焦点深度に応じて第２顕微鏡装置４０の複数の顕微鏡画像データのうち、当該第２及び第３顕微鏡画像データに加えて他の顕微鏡画像データも用いられてよい。
【０１１３】
第２の実施形態に係る顕微鏡システム１００における顕微鏡観察では、ステップ２２０における第１及び第２顕微鏡装置３０，４０による試料の撮像において、それぞれ、異なる対物レンズ２１ａ，２１ｂを使用したが、これに限らず、共通の対物レンズを使用してもよい。また、第１顕微鏡装置３０で対物レンズ２１ｂを用い、第２顕微鏡装置４０で対物レンズ２１ａを用いてもよい。
【０１１４】
なお、第２の実施形態に係る顕微鏡システム１００を用いた顕微鏡観察では、ステップ２６０において第２顕微鏡装置４０により得られた第２及び第３顕微鏡画像データから、第１顕微鏡装置３０で使用された対物レンズ２１ａの焦点深度に対応する対応画像を生成したが、逆に、第１顕微鏡装置３０により得られた第１顕微鏡画像データから、第２顕微鏡装置４０により使用された対物レンズ２１ｂの焦点深度に対応する対応画像を生成してもよい。
【０１１５】
斯かる場合、ステップ２３０では、ユーザにより、対応画像データを生成する対象空間が選択される。対象空間は、試料９のＺ位置により与えることができる。画像処理部６０は、第１及び第２顕微鏡装置３０，４０によりそれぞれ得られた顕微鏡画像データを処理して、それぞれに含まれる撮像画像の一覧を表示部６３の画面上に表示する。ユーザは、画面上の表示に基づき、入力部５１を介して、第１顕微鏡装置３０により得られた顕微鏡画像データから第２顕微鏡装置４０の顕微鏡画像データのいずれかのＺ位置を対象空間として選択し、第２顕微鏡装置４０により使用された対物レンズ２１ｂの焦点深度に対応する対応画像を生成することを選択する。これにより第１顕微鏡装置３０の顕微鏡画像データから第１顕微鏡画像データが特定され、第２顕微鏡装置４０の顕微鏡画像データから第２及び第３顕微鏡画像データが特定される。
【０１１６】
斯かる場合、ステップ２６０では、画像生成部６１により、対応画像データが、第２顕微鏡装置４０により使用された対物レンズ２１ｂの焦点深度に対応するよう、例えば第１顕微鏡画像データを逆畳み込み演算することにより生成される。逆畳み込み演算により対応画像ではボケの程度が軽減される。このように、第１顕微鏡画像データから第２顕微鏡装置４０により使用された対物レンズ２１ｂの焦点深度に対応する対応画像を生成することで、互いの画像データを容易に対比することができる。
【０１１７】
さらに、画像出力部６２は、ステップ２７０において、第２および第３顕微鏡画像データから対象空間のＺ位置のそれぞれの焦点深度の範囲に含まれる特定の輝度値の点をＺ軸方向に関して重ね合わせて対応画像データに対するペア画像とし、このペア画像をステップ２８０において表示部６３の画面上に表示してもよい。
【０１１８】
なお、第２の実施形態に係る顕微鏡システム１００は、ステージ１１および光学系２０の一部を１及び第２顕微鏡装置３０，４０で共用しているが、これに代えて、第１及び第２顕微鏡装置３０，４０のそれぞれが別個のステージおよび光学系を専用で有していてもよい。斯かる場合、試料を保持する保持部材８上に試料に近接してマーカを設け、それぞれの顕微鏡装置により試料を観察する際にマーカを基準に試料の位置を決定することで、互いに等しい範囲について試料を撮像することができる。
【０１１９】
なお、第２の実施形態に係る顕微鏡システム１００を用いた顕微鏡観察では、ステップ２５０にて、ユーザは、試料９が例えば固定標本の場合など再利用できる場合に再撮像を選択することができる。ここで、ステップ２５０にて試料９が再利用できないにも関わらずユーザが再撮像を選択した場合には、ステップ２６５では再撮像せず、次のステップ２７０に進むこととしてもよい。また、ステップ２５０において、試料９が再利用できないことを表示部６３に表示してユーザに補間を選択することを示唆してもよい。
【０１２０】
本発明の第３の実施形態について説明する。
【０１２１】
第１及び第２の実施形態における顕微鏡システム１００による顕微鏡観察では、第１及び第２顕微鏡装置３０，４０により共通又は異なる対物レンズをそれぞれ使用して試料を撮像した。斯かる場合、得られる顕微鏡画像データは使用した対物レンズの焦点深度の範囲内で試料の像を取り込んでいることから、顕微鏡画像データから焦点深度の範囲内の任意の深さでの試料の像を抽出することができる。それに対して、対物レンズを使用しない顕微鏡法、例えば電子線を試料に照射して表面を観察する電子顕微鏡法では、試料をスライスしてその表面の構造を撮像するため、スライスされなかった部分の像は顕微鏡画像データに取り込まれず、顕微鏡画像データから抽出することもできない。本実施形態では、斯かる場合において、スライスした試料の部分について得られた顕微鏡画像データから、スライスされなかった部分の像を含む画像データを生成する。
【０１２２】
第３の実施形態では、第１の実施形態に係る顕微鏡システム１００を使用し、一例として、第１顕微鏡装置３０に対する第１観察条件（第１顕微鏡法）としてＳＴＯＲＭを採用し、第２顕微鏡装置４０に対する第２観察条件（第２顕微鏡法）として電子顕微鏡法を採用する。
【０１２３】
第２顕微鏡装置４０は、例えば、電子銃、集束レンズ及び対物レンズ、走査コイル、及び検出器（いずれも不図示）を含む。ここで、観察対象の試料は、適当な厚みにスライスされてサンプルとしてステージ１１上に支持される。第２顕微鏡装置４０は、電子銃により例えば数１００Ｖから数１０ｋＶの加速電圧で電子線を加速し、集束レンズ及び対物レンズにより電子線を１つのスポットに集束し、走査コイルによりサンプル上でスポットを移動させてサンプルを電子線走査し、検出器によりサンプルから発生する信号電子を検出する。検出結果は、第２及び第３顕微鏡画像データとして画像処理部６０（画像生成部６１）に送信され、信号電子の量を各点の明るさとする画像データが生成される。なお、信号電子の発生量は、試料の表面構造により変化するため、画像データには試料の表面構造が表される。
【０１２４】
第１顕微鏡装置３０は、顕微鏡システム１００において第２顕微鏡装置４０と独立して構成される。第１顕微鏡装置３０の構成は、第２の実施形態と同様である。
【０１２５】
図１５に、第３の実施形態に係る顕微鏡観察及び画像処理のフローを示す。ただし、第１及び第２の実施形態に係るフローと同一又は対応する事項については適宜説明を省略する。
【０１２６】
ステップ３１０では、第１及び第２実施形態におけるステップ１１０及び２１０と同様に、ユーザにより第１及び第２観察条件が設定される。上記の通り本実施形態において第１及び第２観察条件のうち第１顕微鏡法および第２顕微鏡法はすでに設定されている。さらに、第１観察条件の撮像条件の一例として、撮像におけるＺ軸上の基準位置Ｚ１、Ｚ方向のステップ量ΔＺ１、撮像する画像数Ｎ１が設定される。また、第２観察条件の撮像条件の一例として、試料９を撮像するＸＹ面内の範囲及び撮像する画像数（サンプル数に等しい）Ｎ２が設定される。また、試料に関する情報として各サンプルの厚み、各サンプルの試料９のＺ位置等を含む。ユーザはこれらの観察条件を入力部５１を介して入力し、入力された条件は制御部５０に送信される。
【０１２７】
ステップ３２０では、第１及び第２顕微鏡装置３０，４０によりそれぞれ独立に試料が撮像される。
【０１２８】
まず、第１顕微鏡装置３０による試料の撮像が行われる。その詳細は、第２実施形態と同様である。
【０１２９】
第１顕微鏡装置３０による撮像の後に、第２顕微鏡装置４０による試料の撮像が行われる。ユーザは、第１顕微鏡装置３０による撮像に用いた試料を撮像条件に従って深さ方向に複数スライスし、それらのうちの１つをサンプルとしてステージ１１上に支持する。制御部５０は、ステージ系１０を制御して、ステージ１１をＺ軸方向に駆動して電子線のスポット上にサンプルの表面を位置決めする。この状態において、制御部５０は、第２顕微鏡装置４０によりサンプルを電子線走査する。それにより、１つめのサンプルの表面構造が撮像される。
【０１３０】
制御部５０は、１つめのサンプルについての撮像が終了すると、電子銃を停止し、ステージ１１をスポットから退避する。ユーザは、２つめのサンプルをステージ１１上に支持する。制御部５０は、先と同様に、２つめのサンプルを電子線走査する。同様に、制御部５０はすべてのサンプルを順次、電子線走査する。第２顕微鏡装置４０により得られた一連の撮像結果は画像処理部６０に送られ、第２顕微鏡装置４０の複数の顕微鏡画像データとして画像生成部６１に記憶される。
【０１３１】
図１６に、第１及び第２顕微鏡装置３０，４０によりそれぞれ得られた顕微鏡画像データに基づく撮像画像の対応の一例を示す。第２顕微鏡装置４０の顕微鏡画像データ（電子顕微鏡画像）は、試料内の互いに異なるＺ位置Ｚａ，Ｚｃにおいてスライスされたサンプルの表面構造を表す。第１顕微鏡装置３０の顕微鏡画像データ（ＳＴＯＲＭ画像）は第２の実施形態で説明した通りである。
【０１３２】
ステップ３３０では、第１及び第２の実施形態におけるステップ１３０及び２３０と同様に、ユーザにより、補間により対応画像データを生成する対象となる空間的な場所である対象空間が選択される。対象空間は、試料９のＺ位置により与えることができる。画像処理部６０は、第１及び第２顕微鏡装置３０，４０によりそれぞれ得られた顕微鏡画像データを処理して、それぞれに基づく撮像画像の一覧、Ｚ位置Ｚａ，Ｚｃに対する画像１９１，１９２及び画像１９６，１９８を表示部６３の画面上に表示する。ユーザは、画面上の表示から、第１顕微鏡装置３０では撮像されたが第２顕微鏡装置４０ではＺ位置Ｚｂで画像が撮像されなかったことを把握する。ユーザは、入力部５１を介して、第２顕微鏡装置４０により得られた顕微鏡画像データから試料９のＺ位置Ｚｂにおける対応画像データを生成することを選択する。
【０１３３】
これにより、第１顕微鏡装置３０の複数の顕微鏡画像データのうちのＺ位置Ｚｂの顕微鏡画像データが第１顕微鏡画像データとして特定される。さらに、第２顕微鏡装置４０の複数の顕微鏡画像データのうち、Ｚ位置Ｚｂを間に挟む、Ｚ位置Ｚａで撮像された第２顕微鏡画像データとＺ位置Ｚｃで撮像された第３顕微鏡画像データが特定される。さらに、第２顕微鏡画像データと第３顕微鏡画像データとから、下記の通り、第１顕微鏡画像データと同じＺ位置Ｚｂでの対応画像が生成される。
【０１３４】
ステップ３４０では、第１及び第２実施形態におけるステップ１４０及び２４０と同様に、画像処理部６０により、サンプリング条件が確認される。
【０１３５】
ステップ３５０では、第１及び第２実施形態におけるステップ１５０及び２５０と同様に、ユーザにより、対象空間に対する画像データを補間により生成するか否かが判断される。補間が選択された場合、画像処理部６０がその指示を受けて、ステップ３６０に進む。補間しないことが選択された場合、制御部５０がその指示を受けて、フローを終了する。
【０１３６】
ステップ３６０及び３６５において、画像生成部６１により、補間により対象空間に対する対応画像データが生成される。ここでは、試料内の深さＺｂに対応する対応画像データ１９５が、電子顕微鏡法により得られた第２および第３顕微鏡画像データである、位置Ｚａ，Ｚｃにおける撮像画像１９１，１９２のそれぞれのパターンに基づいて生成される。
【０１３７】
ステップ３６０では、セグメンテーション法を実行して、撮像画像１９１，１９２におけるパターンを構造分類する。画像生成部６１は、第１顕微鏡画像データから試料内の深さＺａ，Ｚｃにおける撮像画像１９１，１９２を抽出し、表示部６３の画面上に表示する。それぞれの撮像画像１９１，１９２に対して、画像生成部６１或いはユーザにより、セグメンテーションを実行する。すなわち、電子顕微鏡法により得られたサンプルの撮像画像１９１，１９２において、画像内における構造体をそれぞれ判別し、判別された構造体を含むエリアをそれぞれ異なる色彩を用いて彩色する。それにより、図１６に示すように、構造分類された２つの画像１９３，１９４が得られる。
【０１３８】
ステップ３６５では、構造分類された２つの画像１９３，１９４から画像データ１９５が生成される。画像生成部６１は、２つの画像１９３，１９４間で判別された構造体を比較し、対応する構造体のエリアの形状を深さＺａ，Ｚｂ，Ｚｃに応じて補間することにより、対応画像データ１９５における構造体のエリアを生成する。補間は、例えば、２つの画像１９３，１９４間で、対応する構造体のエリアの外縁上に同じ数の補間点を等間隔に配置し、互いの補間点のうち例えば最近接するなど対応する２つの点のＸＹ面内での位置を深さＺａ，Ｚｂ，Ｚｃを用いて重み平均して対応画像１９５における内挿点の位置をそれぞれ求め、求められた複数の内挿点を連続的に結ぶことで行うことができる。このとき、画像生成部６１は、２つの画像１９３，１９４間で構造体のエリアの形状の類比、重なりの程度等に基づいて構造体が対応するかどうかを判断することができ、また構造体の深さ方向の連続的な変形を理解することができる。電子顕微鏡法により得られる画像１９１，１９２は通常、例えばモノクロ等、二値表現されるため、画像上で構造体を判別するのが難しく、また試料の深さ方向の構造的変化を理解するのが難しい。そこで、セグメンテーション法により構造体を判別することで、画像１９１，１９２上の構造体を判別し、同一構造体の深さ方向の連続的変化を利用することで、対応画像データ１９５をより正確に生成することができる。
【０１３９】
ステップ３７０では、画像生成部６１は、第１顕微鏡画像データ（ＳＴＯＲＭ画像データ）から、ステップ３２０において第１顕微鏡装置３０により撮像された試料９のＺ位置Ｚａ，Ｚｃ、および、ステップ３３０において選択された試料９のＺ位置Ｚｂのそれぞれにおける特定の輝度値の三次元位置情報を抽出する。
【０１４０】
ステップ３７５では、画像生成部６１は、ステップ３７０にて抽出した特定の輝度値の三次元位置情報を用いてＺ位置Ｚａ，Ｚｂ，Ｚｃのそれぞれに対するＳＴＯＲＭ画像１９６〜１９８を再構築する。ＳＴＯＲＭ画像１９６〜１９８は、例えば、特定の輝度値を有する点をサンプルの厚み分だけＺ方向に重ねることで再構築する。
【０１４１】
ステップ３８０では、第１及び第２実施形態におけるステップ１７０及び２７０と同様に、画像出力部６２により、ステップ３６５にて画像生成部６１により生成された対応画像データ１９５を、第２および第３顕微鏡画像データに統合して一連の画像データに編集するとともに、ステップ３７５にて再構築されたＳＴＯＲＭ画像１９６〜１９８を一連の画像データに統合する。
【０１４２】
ステップ３９０では、第１及び第２実施形態におけるステップ１８０及び２８０と同様に、表示部６３により、ステップ３８０にて編集又は統合された画像を画面上に表示する。その詳細は、先述のとおりである。
【０１４３】
なお、第３の実施形態に係る顕微鏡システム１００を用いた顕微鏡観察では、ステップ３３０において対象空間として試料９のＺ位置Ｚｂを選択し、ステップ３６０及び３６５において当該Ｚ位置Ｚｂを間に挟むようなＺ位置Ｚａ，Ｚｃにおいてそれぞれ得られた電子顕微鏡画像のパターンに基づいて対応画像データを生成した。これに代えて、少なくとも２つの異なる電子顕微鏡画像を用いて、それぞれの画像が得られた試料内の深さ（Ｚａ，Ｚｃ）の外の位置（Ｚｂ＜Ｚａ又はＺｂ＞Ｚｃ）に外挿して対象空間に対応する対応画像データを生成してもよい。
【０１４４】
なお、第３の実施形態に係る顕微鏡システム１００を用いた顕微鏡観察では、ステップ３７０及び３７５にて第１顕微鏡画像データからＳＴＯＲＭ画像を再構築するのに先立って、ステップ３６０及び３６５にて第２および第３顕微鏡画像データから電子顕微鏡画像の画像データを生成したが、逆に、第２および第３顕微鏡画像データから電子顕微鏡画像の画像データを生成するのに先立って、第１顕微鏡画像データからＳＴＯＲＭ画像を再構築してもよい。
【０１４５】
なお、第３の実施形態に係る顕微鏡システム１００における顕微鏡観察では、ステップ３７０において、第１顕微鏡画像データの特定の輝度値を有する点をＺ方向に重ねることでＳＴＯＲＭ画像を再構築したが、これに代えて、第２の実施形態において説明したように点拡がり関数ＰＳＦを用いた畳み込み演算してＳＴＯＲＭ画像を再構築してもよい。
【０１４６】
なお、第３の実施形態に係る顕微鏡システム１００を用いた顕微鏡観察では、第２顕微鏡装置４０を用いて電子顕微鏡法により撮像された画像をセグメンテーション法により構造分類して補間により画像データを生成したが、これに限らず、先に図８を用いて説明したように、２つの画像（すなわち、輝度値）の重み平均より画像データを生成してもよい。
【０１４７】
なお、第３の実施形態に係る顕微鏡システム１００における顕微鏡観察では、第１顕微鏡装置３０により試料９を撮像した後に、その試料９をスライスし、それぞれのスライスをサンプルとして第２顕微鏡装置４０により撮像することとしたが、これに代えて、第１及び第２顕微鏡装置３０，４０による撮像に先立って試料をスライスし、それぞれのスライスをサンプルとして第１及び第２顕微鏡装置３０，４０の両方により撮像することとしてもよい。斯かる場合に、第１及び第２顕微鏡装置３０，４０によるサンプルの撮像の順序は任意でよい。
【０１４８】
本発明の第４の実施形態について説明する。
【０１４９】
第４の実施形態では、複数の顕微鏡装置により同一の試料を順次撮像して時系列画像（タイムラプス画像とも呼ぶ）をそれぞれ構築した場合に、一方の時系列画像から他方の時系列画像に含まれる画像が撮像された時刻に対応する画像を生成することで、それぞれの時系列画像を対比可能にする。
【０１５０】
第４の実施形態では、第１の実施形態に係る顕微鏡システム１００を使用し、一例として、第１顕微鏡装置３０に対する顕微鏡法として共焦点顕微鏡法を採用し、第２顕微鏡装置４０に対する顕微鏡法としてＳＩＭ（構造化照明顕微鏡法）を採用する。また、第１及び第２顕微鏡法とで、同一の蛍光色素を試料９に導入することとし、これに対応して照明条件において互いに等しい波長を採用する。
【０１５１】
図１７に、第４の実施形態に係る顕微鏡観察及び画像処理のフローを示す。本例では、試料９の時系列画像が撮像される。ただし、第１から第３の実施形態に係るフローと同一又は対応する事項については適宜説明を省略する。
【０１５２】
ステップ４１０では、ユーザにより第１及び第２観察条件が設定される。上記の通り本実施形態において第１及び第２観察条件のうち第１顕微鏡法および第２顕微鏡法はすでに設定されている。また、第１観察条件の撮像条件の一例として、対物レンズ２１ａを用いること、撮像するＸＹ面内の範囲、撮像開始時間Ｔ１、撮像間隔ΔＴ１、撮像する画像数Ｎ１が設定される。また、第２観察条件の撮像条件の一例として、対物レンズ２１ｂを用いること、撮像するＸＹ面内の範囲、撮像開始時間Ｔ２、撮像間隔ΔＴ２、撮像する画像数Ｎ２が設定される。さらに以下の説明においては、一例として、Ｔ１＜Ｔ２，ΔＴ１＝ΔＴ２，Ｎ１＝Ｎ２（すなわち、第１及び第２顕微鏡装置３０，４０による交互の撮影）となるよう設定されているものとする。それにより、第１及び第２顕微鏡装置３０，４０により交互に、試料９が撮像されることとなる。ユーザはこれらの観察条件を入力部５１を介して入力し、入力された条件は制御部５０に送信される。
【０１５３】
ユーザにより、ステージ１１上に試料９が支持され、入力部５１を介して顕微鏡観察の開始が指示されると、次のステップ４２０に進む。
【０１５４】
ステップ４２０では、第１及び第２顕微鏡装置３０，４０により交互に試料９が撮像される。撮像に先立って、制御部５０は、ステージ１１をＺ軸方向に駆動して試料９のＺ位置を焦点面２０ａ上に位置決めする。
【０１５５】
制御部５０は、時刻Ｔ１にて、第１顕微鏡装置３０により試料９を撮像する。撮像に先立って、制御部５０は、光学系２０を制御して対物レンズ２１ａに切り替える。
【０１５６】
図１８に示すように、第１顕微鏡装置３０は、第１照明・撮像部３１より波長λ１の照明光を発し、光学系２０（対物レンズ２１ａ）を介してステージ１１上の試料９を照明する。それにより、焦点上に位置する試料９の観察位置９ａが照明され、これに含まれる蛍光色素が波長λ１'の蛍光を発する。蛍光は、光学系２０（対物レンズ２１ａ）を介して集光されて、第１照明・撮像部３１により撮像される。蛍光の撮像と並行して、制御部５０は、スキャナ２３を制御して照明光をＸＹ方向に振ることにより、焦点面２０ａ上のＸＹ走査範囲内で試料９を走査する。それにより、試料９が走査されて、試料９のＺ走査位置での断面像が撮像される。
【０１５７】
第１顕微鏡装置３０により試料９を撮像する間、第２顕微鏡装置４０は停止している。
【０１５８】
第１顕微鏡装置３０による撮像の終了後、制御部５０は、時刻Ｔ２にて、第２顕微鏡装置４０により試料９を撮像する。これに先立って、制御部５０は、光学系２０を制御して対物レンズ２１ｂに切り替える。
【０１５９】
図１９に示すように、第２顕微鏡装置４０は、第２照明・撮像部４１より波長λ２の照明光を発し、光学系２０（対物レンズ２１ｂ）を介してステージ１１上の試料９を照明する。それにより、焦点上に位置する試料９の観察位置９ｂが照明され、これに含まれる蛍光色素が波長λ２'の蛍光を発する。蛍光は、光学系２０（対物レンズ２１ｂ）を介して集光されて、第２照明・撮像部４１により撮像される。なお、第２顕微鏡装置４０の撮像の間はスキャナ２３は光軸Ｌ上から退避している。
【０１６０】
第２顕微鏡装置４０により試料９を撮像する間、第１顕微鏡装置３０は停止している。
【０１６１】
第２顕微鏡装置４０による撮像の終了後、制御部５０は、光学系２０を制御して対物レンズ２１ａに切り替え、時刻Ｔ１＋ΔＴ１にて第１顕微鏡装置３０により試料９を撮像し、光学系２０を制御して対物レンズ２１ｂに切り替え、時刻Ｔ２＋ΔＴ２にて第２顕微鏡装置４０により試料９を撮像する。制御部５０は、第１及び第２顕微鏡装置３０，４０による試料９の撮像を交互に繰り返す。それにより、時間に関して連続して試料９がそれぞれ撮像される。第１顕微鏡装置３０により得られた一連の撮像結果は画像処理部６０に送られ、第１顕微鏡装置３０の複数の顕微鏡画像データとして画像生成部６１に記憶される。また、第２顕微鏡装置４０により得られた一連の撮像結果は画像処理部６０に送られ、第２顕微鏡装置の複数の顕微鏡画像データとして画像生成部６１に記憶される。
【０１６２】
図２０上段に、第１及び第２顕微鏡装置３０，４０により試料９が撮像されるタイミングチャートの一例を示す。第１及び第２顕微鏡装置３０、４０の顕微鏡画像データは、それぞれが互いに異なる時刻において第１及び第２観察条件で得られた画像データを含む。上述の撮像条件より、第１及び第２顕微鏡装置３０，４０により異なる時刻Ｔ１＋ｎΔＴ１≠Ｔ２＋ｎΔＴ２（ｎ＝０〜Ｎ１−１）、ただしＴ１＜Ｔ２、ΔＴ１＝ΔＴ２、Ｎ１＝Ｎ２、すなわち交互に試料９を撮像することで、それぞれ異なる対物レンズ２１ａ，２１ｂを用いて異なる倍率で試料９を撮像することができる、また等しい波長の照明光を用いて試料９を照明することもできるが、一方の顕微鏡装置により試料９が撮像された時刻において他方の顕微鏡装置により試料９が撮像されず、時間的に対応する顕微鏡画像が存在しないこととなる。
【０１６３】
ステップ４３０では、ユーザにより、補間により対応画像データを生成する対象時刻が選択される。画像処理部６０は、第１及び第２顕微鏡装置３０，４０によりそれぞれ得られた顕微鏡画像データを処理して、それぞれに含まれる撮像画像の一覧を表示部６３の画面上に表示する。ユーザは、その表示より、第１顕微鏡装置３０の顕微鏡画像データの中に、第２顕微鏡装置４０により時刻Ｔ２（から時刻Ｔ１＋ΔＴ１の間）に撮像された画像に対応する画像が撮像されていないこと、第２顕微鏡装置４０の顕微鏡画像データの中に、第１顕微鏡装置３０により時刻Ｔ１＋ΔＴ１にて撮像された画像に対応する画像が撮像されていないことを把握する。ユーザは、入力部５１を介して、例えば、時刻を示す画面上の点をクリック又はタッチするなどにより対象時刻を選択する。ここでは、対象時刻として、第１顕微鏡装置３０の顕微鏡画像データに対して時刻Ｔ２及びＴ２１、第２顕微鏡装置４０の顕微鏡画像データに対して時刻Ｔ１＋ΔＴ１を選択するとする。
【０１６４】
ステップ４４０では、画像生成部６１により、補間により対象時刻に対する対応画像データが生成される。
【０１６５】
図２１に、時間補間による対応画像データの生成原理を示す。ここでは、一例として、互いに異なる時刻Ｔ１（＝Ｔａ），Ｔ１＋ΔＴ１（＝Ｔｂ）にてそれぞれ撮像された２つの画像２３１，２３２を補間して、時刻Ｔａ，Ｔｂの間の時刻Ｔ２（＝Ｔｃ）での対応画像２３５を生成する。画像生成部６１は、２つの画像２３１，２３２のそれぞれに対して画像認識を適用して、それぞれの画像内から対象２３１ａ，２３２ａを抽出し、対象２３１ａ，２３２ａの画像内での位置ｒａ，ｒｂ及び対象２３１ａ，２３２ａの輝度値Ｉａ，Ｉｂを算出する。画像認識として、例えば、テンプレートマッチング（自己相関法）、オプティカルフロー法、セグメンテーション法等を採用することができる。
【０１６６】
テンプレートマッチングでは、画像内の位置をずらしつつテンプレートを重ねて相間を求め、求められた相間が最も大きい位置にテンプレートに一致する図形があると判断することで、画像内から対象を探索する。現時刻前の画像内でテンプレートがマッチングした位置の近傍において現時刻の画像にテンプレートを重ねることで、画像内から対象を効率良く探索することができる。現時刻前の画像と現時刻の画像とのそれぞれについてテンプレートマッチングを適用することで、画像内から対象及びその移動や変形を検出することができる。
【０１６７】
オプティカルフロー法では、時間の経過に対して不変な特徴量、例えば対象を映し出すピクセル或いはエリアの輝度値を利用して、２つの画像の間で対象の動きを表す移動ベクトルを算出する。
【０１６８】
セグメンテーション法は、第３の実施形態において説明したとおりであり、２つの画像におけるパターンを構造分類し、分類された構造を互いに対比することにより、時間の経過とともに対象の移動や変形を検出することができる。
【０１６９】
画像生成部６１は、画像認識により２つの時刻Ｔａ，Ｔｂの画像２３１，２３２においてそれぞれ求められたパターンに基づいて、画像２３５における対象の位置ｒｃ及び輝度値Ｉｃを算出する。対象の位置ｒｃ及び輝度値Ｉｃは、例えば、対象２３１ａ，２３２ａの位置ｒａ，ｒｂ及び対象２３１ａ，２３２ａの輝度値Ｉａ，Ｉｂを用いて、ｒｃ＝ｃａ×ｒａ＋ｃｂ×ｒｂ及びＩｃ＝ｃａ×Ｉａ＋ｃｂ×Ｉｂと算出される。ここで、係数ｃａ，ｃｂは、２つの画像２３１，２３２の撮像時刻Ｔａ，Ｔｂと生成する画像２３５に対する時刻Ｔｃを用いてｃａ＝｜Ｔｃ−Ｔｂ｜／｜Ｔｂ−Ｔａ｜、ｃｂ＝｜Ｔｃ−Ｔａ｜／｜Ｔｂ−Ｔａ｜と与えられる。画像生成部６１は、白地等の背景上の位置ｒｃに輝度値Ｉｃでテンプレートと同形状の図形を表示することで、対応画像２３５を生成する。画像認識を適用することで、対象が動く場合においても対応画像２３５を生成することができる。
【０１７０】
画像生成部６１は、図２０下段に示すように、第１顕微鏡装置３０の複数の顕微鏡画像データのうち、時刻Ｔ１及びＴ１＋ΔＴ１に撮像された２つの画像２３１，２３２の画像データに基づいて、ステップ４３０にて選択された時刻Ｔ２及びＴ２１のそれぞれでの対応画像２３５，２３６の画像データを生成する。また、第２顕微鏡装置４０の複数の顕微鏡画像データのうち、時刻Ｔ２及びＴ２＋ΔＴ２に撮像された２つの画像２３３，２３４の画像データに基づいてステップ４３０にて選択された時刻Ｔ１＋ΔＴ１での対応画像２３７の画像データを生成する。
【０１７１】
ここで、対応画像２３７を例として更に説明すると、第１顕微鏡装置３０の複数の顕微鏡画像データのうち、時刻Ｔ１＋ΔＴ１の顕微鏡画像データが選択されて、第１顕微鏡画像データとして特定される。さらに、第１顕微鏡装置３０の複数の顕微鏡画像データのうち、第１顕微鏡画像データが得られた第１時刻（Ｔ１＋ΔＴ１）とは異なる第２時刻（Ｔ２）に得られた第２顕微鏡画像データと、第１時刻と第２時刻とのいずれとも異なる第３時刻（Ｔ２＋ΔＴ２）に得られた第３顕微鏡画像データが特定される。対応画像２３７は、第２及び第３第３顕微鏡画像データに基づいて生成される。
【０１７２】
ステップ４５０では、画像出力部６２により、ステップ４４０にて画像生成部６１により生成された画像データを、先にステップ４２０にて得られた顕微鏡画像データに統合して時系列画像に編集する。
【０１７３】
ステップ４６０では、表示部６３により、ステップ４５０にて編集された時系列画像を画面上に表示する。
【０１７４】
上述のとおり、第１及び第２顕微鏡装置３０，４０を用いてそれぞれ異なる顕微鏡法により試料を撮像した場合に顕微鏡装置毎にそれぞれの分解能に応じて撮像に要する時間が異なるために、第１及び第２顕微鏡装置３０，４０により同一の試料を順次撮像して時系列画像をそれぞれ構築した場合に一方の時系列画像に、他方の時系列画像に含まれる画像と同時刻の画像が含まれず、それぞれの同時刻の画像を対比できないことがある。また、第１及び第２顕微鏡装置３０，４０で同一の波長又は近接する波長スペクトルを有する照明光を用いる場合に同一の試料を同時に撮像できないために、同様に、同時刻の画像を対比できないことがある。このような場合においても、一方の時系列画像の顕微鏡画像データから他方の時系列画像の画像が撮像された時刻に対応する画像データを生成して補うことで、それぞれの同時刻の画像を対比することが可能となる。
【０１７５】
なお、第４の実施形態に係る顕微鏡システム１００による顕微鏡観察では、ステップ４４０において画像認識を適用して画像データを生成することとしたが、これに代えて、画像認識を適用しないで２つの画像の輝度値を演算することのみで画像データを生成することとしてもよい。
【０１７６】
図２２に、輝度値の演算を利用した時間補間による処理画像データの生成原理を示す。ここでは、互いに異なる時刻Ｔａ（＝Ｔ１），Ｔｂ（＝Ｔ１＋ΔＴ１）にてそれぞれ撮像された２つの画像２３１，２３２を補間して、時刻Ｔａ，Ｔｂの間の時刻Ｔｃ（＝Ｔ２１）での画像２３６を生成する。画像生成部６１は、２つの画像２３１，２３２全体の輝度値Ｉａ，Ｉｂを用いて、画像２３６の輝度値Ｉｃ＝ｃａ×Ｉａ＋ｃｂ×Ｉｂを算出する。ここで、係数ｃａ，ｃｂは、２つの画像２３１，２３２の撮像時刻Ｔａ，Ｔｂと生成する画像２３６に対する時刻Ｔｃを用いてｃａ＝｜Ｔｃ−Ｔｂ｜／｜Ｔｂ−Ｔａ｜、ｃｂ＝｜Ｔｃ−Ｔａ｜／｜Ｔｂ−Ｔａ｜と与えられる。それにより、例えば画像２３１において白地の背景に対象２３１ａが輝度値Ｉａで映し出され、画像２３２において白地の背景に対象２３２ａが輝度値Ｉｂで映し出されている場合に、画像２３６において、白地の背景２３６ａ上に画像２３１内の対象２３１ａの一部に対応する対象２３６ｂが輝度値Ｉａで、画像２３２内の対象２３２ａの一部に対応する対象２３６ｃが輝度値Ｉｂで、画像２３１内の対象２３１ａと画像２３２内の対象２３２ａとの重なりに対応する対象２３６ｄが輝度値Ｉｃで映し出される。
【０１７７】
なお、第４の実施形態に係る顕微鏡システム１００による顕微鏡観察では、ステップ４４０における画像認識又は上記の輝度値の演算を利用することにより互いに異なる時刻Ｔａ，Ｔｂ（ただし、Ｔａ＜Ｔｂ）にてそれぞれ撮像された２つの画像を補間して、時刻Ｔａ，Ｔｂの間の対象時刻Ｔｃ（すなわち、Ｔａ＜Ｔｃ＜Ｔｂ）での画像を生成したが、対象時刻Ｔｃが、補間に用いる少なくとも２つの異なる画像がそれぞれ得られた時刻の間の時刻である必要はない。つまり、少なくとも２つの異なる画像を用いて、それぞれの画像が得られた時刻（Ｔａ，Ｔｂ）より早い又は遅い時刻（すなわち、Ｔｃ＜Ｔａ又はＴｃ＞Ｔｂ）に外挿して対象時刻に対応する画像データを生成してもよい。
【０１７８】
なお、第４の実施形態に係る顕微鏡システム１００による顕微鏡観察では、第１及び第２観察条件のそれぞれにおいて異なる対物レンズ２１ａ，２１ｂを使用することとし、ステップ４２０において第１及び第２顕微鏡装置３０，４０により交互に試料９を撮像したが、第１及び第２観察条件のそれぞれにおいて共通の対物レンズを使用することとし、第１及び第２顕微鏡装置３０，４０により並行して試料９を撮像してもよい。その詳細は、第１の実施形態において説明したとおりである。ただし、第１及び第２顕微鏡法とで、異なる２つの蛍光色素を試料９に導入し、これに対応して照明条件において互いに異なる波長を採用する。また、並行してのタイムラプス撮影の条件として、例えば、撮像開始時間Ｔ１＝Ｔ２、撮像間隔ΔＴ１＜ΔＴ２、撮像する画像数Ｎ１＞Ｎ２等が与えられる。第１及び第２顕微鏡装置３０，４０において撮像に要する時間は、例えば、それぞれの顕微鏡法に応じて定まる。また、第１及び第２顕微鏡装置３０，４０の撮像間隔ΔＴ１，ΔＴ２は、例えば、それぞれの顕微鏡法において撮像に要する時間と、第１及び第２照明・撮像部３１，４１により得られた撮像結果の画像処理部６０による処理速度等に応じて定まる。そのため、第１及び第２顕微鏡装置３０，４０とでそれぞれ異なる時刻で試料を撮像することとなり得る。
【０１７９】
図２３上段に、第１及び第２顕微鏡装置３０，４０のそれぞれにより並行して試料が撮像されるタイミングチャートの別の例を示す。第１及び第２顕微鏡画像データは、それぞれが複数の時刻において第１及び第２観察条件で得られた一連の画像データを含む。並行してのタイムラプス撮像の条件より、第１及び第２顕微鏡装置３０，４０によりそれぞれ異なる撮像間隔ΔＴ１，ΔＴ２で試料を撮像することで、一方の顕微鏡装置により試料が撮像された時刻に他方の顕微鏡装置により試料が撮像されず、それぞれの画像を対比できないことがある。そこで、例えば図２３下段に示すように、第２顕微鏡画像データに含まれる時刻Ｔ２及びＴ２＋ΔＴ２に撮像された２つの画像２６１，２６２の画像データに基づいて時刻Ｔ１＋２ΔＴ１での画像２６３の画像データを生成し、画像を補うことで、それぞれの画像を対比することが可能となる。
【０１８０】
本実施形態では、上記ステップ４３０で特定された第１顕微鏡画像データの撮像の時刻と同じ時刻の対応画像データを生成する。しかしながら、対応画像データの時刻は、第１顕微鏡画像データの時刻と同じにならなくてもよく、例えば第１顕微鏡画像データに基づく画像と対比画像データに基づく画像とを対比したときに支障がない範囲で、対応画像データの時刻が第１顕微鏡画像データの時刻と異なってもよい。すなわち、対応画像データは、第１顕微鏡画像データと時刻が同じである場合でなく、第１顕微鏡画像データに基づく画像と対比画像データに基づく画像との対比に支障がない範囲で互いの時刻が異なる場合にも、対応画像データが第１顕微鏡画像データに対応しているといえる。
【０１８１】
なお、第４に係る顕微鏡システム１００において、第１及び第２顕微鏡装置３０，４０は顕微鏡法としてそれぞれ共焦点顕微鏡法及びＳＩＭ（構造化照明顕微鏡法）を採用したが、これに限らず、いずれも同じ顕微鏡法、例えばいずれも共焦点顕微鏡法を採用してもよい。斯かる場合、多色蛍光法により、すなわち、複数（例えば２つ）の蛍光色素を試料に導入し、第１及び第２顕微鏡装置３０，４０で異なる波長をそれぞれ有する複数の照明光により試料を照明して、試料内の蛍光色素がそれぞれ発する蛍光を検出することで、試料を撮像してもよい。それにより、異なる蛍光物質がそれぞれ導入される試料の異なる部分を同時に観察することが可能となる。
【０１８２】
なお、第４の実施形態に係る顕微鏡システム１００では、第１及び第２顕微鏡装置３０，４０により交互に試料を撮像することとしたが、第１及び第２顕微鏡装置３０，４０のそれぞれが別個のステージおよび光学系を専用で有していて、同一の試料を個別に撮像してもよい。斯かる場合、試料を保持する保持部材８上に試料に近接してマーカを設け、それぞれの顕微鏡装置により試料を観察する際にマーカを基準に試料の位置を決定することで、互いに等しい範囲について試料を撮像することができる。
【０１８３】
なお、第１〜第４の実施形態に係る顕微鏡システム１００による顕微鏡観察では、ステップ１３０，２３０，３３０，４３０においてユーザが補間により画像データを生成する対象空間又は対象時刻を選択することとしたが、これに代えて、画像生成部６１が対象空間又は対象時刻を自動的に選択することとしてもよい。斯かる場合、第１〜第３実施形態においては、第１及び第２観察条件に含まれる撮像条件、光軸方向の基準位置、光軸方向のステップ量、撮像する画像数等から第１及び第２顕微鏡画像データにおいて欠落している撮像画像を特定して、対象空間を選択することができる。また、第４実施形態においては、第１及び第２観察条件に含まれる撮像条件、撮像開始時間、撮像間隔、撮像する画像数等から対象時刻を選択することができる。
【０１８４】
なお、第１〜第３の実施形態に係る顕微鏡システム１００による顕微鏡観察では、サンプリング条件の確認は対象空間に対する画像データを生成する前に行うこととしたが、これに代えて、画像データを生成した後にサンプリング条件の確認を行ってもよい。
【０１８５】
なお、第１から第４の実施形態に係る顕微鏡システム１００における顕微鏡観察では、ステップ１７０，２７０，３８０，４５０において、画像出力部６２により、画像生成部６１により補間により生成された対応画像データを第２顕微鏡装置４０（又は第１顕微鏡装置３０）により撮像して得られた顕微鏡画像データに統合して、例えばＺスタック画像、時系列画像等の一連の画像データに編集し、ステップ１８０，２８０，３９０，４６０において表示部６３の画面上に表示することとしたが、補間により生成された対応画像データを撮像により得られた顕微鏡画像データに統合しなくてもよく、対応画像データに基づく画像とこれに対応する第１顕微鏡画像データに基づく画像とを表示部６３の画面上に表示してもよい。また、表示部６３は対応画像を他方の顕微鏡方法による顕微鏡画像と関連させることなく表示してもよい。
【０１８６】
なお、第１から第４の実施形態に係る顕微鏡システム１００による顕微鏡観察では、共焦点顕微鏡法、ＳＩＭおよび電子顕微鏡法において試料９の複数のＺ位置を撮像してＺスタック画像を生成したが、試料９の１つのＺ位置のみを撮像してもよい。同様に、ＳＴＯＲＭにおいても試料９の複数のＺ位置を撮像してＳＴＲＯＭ画像を生成したが、試料９の１つのＺ位置のみを撮像してＳＴＯＲＭ画像を生成してもよい。
【０１８７】
なお、第１から第４の実施形態に係る顕微鏡システム１００において、画像処理部６０は、第１及び第２顕微鏡装置３０，４０から送信される顕微鏡画像データに限らず、顕微鏡システム１００とは別個の顕微鏡装置により得られる画像データを処理してもよい。また、画像出力部６２により、顕微鏡システム１００により得られた顕微鏡画像データを処理して、別個の顕微鏡装置により撮像された顕微鏡画像と顕微鏡システム１００により撮像された顕微鏡画像とを表示部６３の画面上に並べて又は重ねて表示してもよい。
【０１８８】
なお、第１から第４の実施形態に係る顕微鏡システム１００において、第１及び第２照明・撮像部３１，４１の撮像素子は、電荷結合素子（ＣＣＤ）、ＣＭＯＳ等であってよく、また、撮像素子に代えて光電子増倍管（ＰＭＴ）等の受光素子であってよい。また、受光する光の波長に応じて適当な素子を採用してよい。
【０１８９】
なお、第１から第４の実施形態に係る顕微鏡システム１００において、第１及び第２顕微鏡装置３０，４０に対して任意の顕微鏡法、例えば、ＰＥＴ（陽電子断層法）、ＭＲＩ（磁気共鳴画像法）、ＣＴ（コンピュータ断層撮影法）、実体蛍光顕微鏡法、落射蛍光顕微鏡法、コンフォーカル（共焦点）顕微鏡法、ＳＩＭ（構造化照明顕微鏡法）、ＳＴＯＲＭ（確率論的光学再構成顕微鏡法）、ＰＡＬＭ（光活性化局在法）、ＳＴＥＤ（誘導放出制御法）、電子顕微鏡、原子間力顕微鏡等を採用してもよい。また、本実施形態に係る顕微鏡システム１００は、２つの顕微鏡法をそれぞれ採用する２つの顕微鏡装置を備えることとしたが、これに限らず、３以上の顕微鏡法をそれぞれ採用する３以上の顕微鏡装置を備えてもよい。また、同じ顕微鏡法をそれぞれ採用する少なくとも２つの顕微鏡装置を備えてもよい。
【０１９０】
また、第１顕微鏡装置３０と第２顕微鏡装置４０とで同じ蛍光色素を用いてもよいし、３色以上の蛍光色素を用いてもよい。また、第１顕微鏡装置３０と第２顕微鏡装置４０の一方または両方が、蛍光色素を用いず、自家蛍光や落射照明により試料９を撮像してもよい。第１顕微鏡装置３０と第２顕微鏡装置４０の一方または両方に蛍光色素を用いない場合であっても、第１顕微鏡装置３０と第２顕微鏡装置４０とで照明光の波長が異なる等の理由により、試料９がダメージを受ける程度が異なることがある。よって、試料９のあるＺ位置で第１顕微鏡装置３０及び第２顕微鏡装置４０の一方による撮像は行われるが第１顕微鏡装置３０及び第２顕微鏡装置４０の他方による撮像が行われない場合がある。斯かる場合においても、対応画像を生成して補うことで、第１及び第２顕微鏡装置３０，４０から得られる顕微鏡画像を容易に対比することが可能となる。また、ユーザ等による撮像し忘れで画像が欠落した場合にも、対応画像を生成して補うことで、対比が可能になる。
【０１９１】
なお、第１から第４の実施形態に係る顕微鏡システム１００では、試料９を支持するステージ１１をＺ軸方向に駆動することで、対物レンズ２１ａ，２１ｂの焦点に対して試料９を移動する構成を採用したが、これに代えて、対物レンズ２１ａ，２１ｂを支持するレボルバをＺ軸方向に駆動する、或いは光学系２０の光軸Ｌ上に屈折力を有する光学素子を配置し、光軸Ｌに平行な方向に移動することで、対物レンズ２１ａ，２１ｂの焦点に対して試料９を移動する構成を採用してもよい。
【０１９２】
なお、第１から第４の実施形態に係る顕微鏡システム１００では、第１及び第２照明・撮像部３１，４１から照明光を射出する又は止めることで第１及び第２顕微鏡装置３０，４０を稼働又は停止することとしたが、光学系２０の光軸Ｌ上に例えばダイクロイックミラー等のフィルタを配置又は退避して、照明光を光学系２０に送る又は送らないことで、第１及び第２顕微鏡装置３０，４０を稼働又は停止することとしてもよい。
【０１９３】
なお、第１から第４の実施形態に係る顕微鏡システム１００では、対物レンズ２１ａ，２１ｂが試料９を支持するステージ１１の下方に配置され、試料を下側から観察する倒立型の顕微鏡システムを採用したが、これに代えて、対物レンズ２１ａ，２１ｂがステージ１１の上方に配置され、試料を上側から観察する正立型の顕微鏡システムを採用してもよい。また、顕微鏡装置毎に、倒立型及び正立型のいずれを採用してもよい。
【０１９４】
なお、第１から第４の実施形態において、第１顕微鏡装置３０の顕微鏡画像データは第１顕微鏡画像データにもなり得るものであるが、説明の便宜上、別個の名称を用いた。同様に、第２顕微鏡装置４０の顕微鏡画像データは第２顕微鏡画像データ、第３顕微鏡画像データにもなり得るものであるが、説明の便宜上、別個の名称を用いた。
【０１９５】
本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
【０１９６】
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。
【０１９７】
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。
【０１９８】
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【０１９９】
図２４は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ２２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。
【０２００】
本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、およびディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インタフェース２２２２、ハードディスクドライブ２２２４、ＤＶＤ−ＲＯＭドライブ２２２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０およびキーボード２２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ２２４０を介して入／出力コントローラ２２２０に接続されている。
【０２０１】
ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。
【０２０２】
通信インタフェース２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ−ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ−ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。
【０２０３】
ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、および／またはコンピュータ２２００のハードウェアに依存するプログラムを格納する。入／出力チップ２２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ２２２０に接続してよい。
【０２０４】
プログラムが、ＤＶＤ−ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い情報の操作または処理を実現することによって構成されてよい。
【０２０５】
例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース２２２２に対し、通信処理を命令してよい。通信インタフェース２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ−ＲＯＭ２２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
【０２０６】
また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ−ＲＯＭドライブ２２２６（ＤＶＤ−ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。
【０２０７】
様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
【０２０８】
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。
【０２０９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
【０２１０】
請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０２１１】
８…保持部材、９…試料、９ａ，９ｂ…観察位置、１０…ステージ系、１１ａ…開口、１１…ステージ、１２…センサ、１３…駆動装置、２０…光学系、２０ａ，２０ｂ…焦点面、２１ａ，２１ｂ…対物レンズ、２３…スキャナ、２４…フィルタ、２５…シリンドリカルレンズ、２６…結像光学系、３０…第１顕微鏡装置、３１…第１照明・撮像部、４０…第２顕微鏡装置、４１…第２照明・撮像部、５０…制御部、５１…入力部、６０…画像処理部、６１…画像生成部、６２…画像出力部、６３ａ…表示画面、６３ｃ…画像、６３ｄ…対応画像、６３…表示部、９９…本体部、１００…顕微鏡システム、２２００…コンピュータ、２２０１…ＲＯＭ、２２１０…ホストコントローラ、２２１２…ＣＰＵ、２２１４…ＲＡＭ、２２１６…グラフィックコントローラ、２２１８…ディスプレイデバイス、２２２０…出力コントローラ、２２２２…通信インタフェース、２２２４…ハードディスクドライブ、２２２６…ＲＯＭドライブ、２２３０…ＲＯＭ、２２４０…出力チップ、２２４２…キーボード。
【図１】
2018131172.tif 000009
【図２】
2018131172.tif 000010
【図３】
2018131172.tif 000011
【図４】
2018131172.tif 000012
【図５】
2018131172.tif 000013
【図６】
2018131172.tif 000014
【図７】
2018131172.tif 000015
【図８】
2018131172.tif 000016
【図９】
2018131172.tif 000017
【図１０】
2018131172.tif 000018
【図１１】
2018131172.tif 000019
【図１２】
2018131172.tif 000020
【図１３】
2018131172.tif 000021
【図１４】
2018131172.tif 000022
【図１５】
2018131172.tif 000023
【図１６】
2018131172.tif 000024
【図１７】
2018131172.tif 000025
【図１８】
2018131172.tif 000026
【図１９】
2018131172.tif 000027
【図２０】
2018131172.tif 000028
【図２１】
2018131172.tif 000029
【図２２】
2018131172.tif 000030
【図２３】
2018131172.tif 000031
【図２４】
2018131172.tif 000032
【手続補正書】
【提出日】令和1年10月11日(2019.10.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１顕微鏡法で得られた第１顕微鏡画像データと、前記第１顕微鏡法とは異なる第２顕微鏡法で得られた第２顕微鏡画像データを取得する取得部と、
前記第１顕微鏡画像データに対応する、前記第２顕微鏡法における対応画像データを前記第２顕微鏡画像データに基づいて生成する画像生成部と、
を備える画像処理装置。
【請求項２】
前記画像生成部は、前記第１顕微鏡画像データが得られた位置に対応する前記対応画像データを、前記第２顕微鏡画像データに基づいて生成する請求項１に記載の画像処理装置。
【請求項３】
前記対応画像データは、前記第１顕微鏡画像データが得られた第１面に対応する画像データであり、
前記第２顕微鏡画像データは、前記第１面とは異なる第２面と第３面のそれぞれに対応する画像データである請求項２に記載の画像処理装置。
【請求項４】
前記画像生成部は、前記第２面と前記第３面のそれぞれの面の前記第２顕微鏡画像データをフーリエ変換および逆フーリエ変換して、前記対応画像データを生成する請求項３に記載の画像処理装置。
【請求項５】
前記画像生成部は、前記第１面と前記第２面の間隔と、前記第１面と前記第３面の間隔と、前記第２顕微鏡画像データとに基づいて前記対応画像データを生成する請求項３に記載の画像処理装置。
【請求項６】
前記画像生成部は、前記第２面の前記第２顕微鏡画像データに基づく画像におけるパターンと、前記パターンと対応付けられたパターンであって、前記第３面の前記第２顕微鏡画像データに基づく画像におけるパターンとに基づいて、前記対応画像データを生成する請求項３に記載の画像処理装置。
【請求項７】
前記第１面は、前記第２面と前記３面との間の面である、請求項３に記載の画像処理装置。
【請求項８】
前記画像生成部は、前記第１顕微鏡画像データを取得する前記第１顕微鏡法による第１顕微鏡の焦点深度に対応する前記対応画像データを、前記第２顕微鏡画像データに基づいて生成する請求項１〜７に記載の画像処理装置。
【請求項９】
前記第２顕微鏡法は、ローカリゼ―ション法であり、
前記画像生成部は、前記第２顕微鏡画像データから、前記第１顕微鏡の焦点深度の範囲における画像データを抽出し、前記対応画像データを生成する請求項８に記載の画像処理装置。
【請求項１０】
前記画像生成部は、前記第１顕微鏡画像データが得られた時刻に対応する前記対応画像データを、前記第２顕微鏡画像データに基づいて生成する請求項１に記載の画像処理装置。
【請求項１１】
前記対応画像データは、前記第１顕微鏡画像データが得られた第１時刻に対応する画像データであり、
前記第２顕微鏡画像データは、前記第１時刻とは異なる第２時刻と第３時刻のそれぞれに対応する画像データである、請求項１０に記載の画像処理装置。
【請求項１２】
前記第１時刻は、前記第２時刻と前記第３時刻の間の時刻である請求項１１に記載の画像処理装置。
【請求項１３】
前記画像生成部は、前記第２時刻に得られた前記第２顕微鏡画像データに基づく画像におけるパターンと、前記第３時刻に得られた前記第２顕微鏡画像データに基づく画像におけるパターンとに基づいて、前記対応画像データを生成する請求項１１または１２に記載の画像処理装置。
【請求項１４】
前記画像生成部は、前記第２時刻の前記第２顕微鏡画像データに基づく画像におけるパターンの画像上の位置及び輝度値と、前記パターンと対応付けられたパターンであって、前記第３時刻の前記第２顕微鏡画像データに基づく画像におけるパターンの画像上の位置及び輝度値とに基づいて、前記対応画像データを生成する請求項１３に記載の画像処理装置。
【請求項１５】
前記画像生成部は、前記第２時刻の前記第２顕微鏡画像データに基づく画像におけるパターンの輝度値と、前記第３時刻の前記第２顕微鏡画像データに基づく画像における前記パターンの輝度値とに基づいて、前記対応画像データを生成する請求項１３に記載の画像処理装置。
【請求項１６】
前記対応画像データは、未取得の前記第２顕微鏡画像データに相当する画像データである請求項１〜１５のいずれか一項に記載の画像処理装置。
【請求項１７】
前記対応画像データに基づく画像、または前記対応画像データに基づく画像と前記第１顕微鏡画像データに基づく画像が表示部に表示されるように、前記対応画像データ、または前記第１顕微鏡画像データを前記表示部に出力する画像出力部を更に備える請求項１〜１６のいずれか一項に記載の画像処理装置。
【請求項１８】
前記画像出力部は、前記対応画像データに基づく画像が前記第２顕微鏡データに基づく画像と視覚的に区別されて前記表示部に表示されるように、前記対応画像データを前記表示部に出力する請求項１７に記載の画像処理装置。
【請求項１９】
前記画像生成部は、前記第１顕微鏡法による観察条件および前記第２顕微鏡法による観察条件に基づいて前記第１顕微鏡画像データに対応する前記第２顕微鏡画像データの有無を判定し、前記第２顕微画像データが無い場合、前記対応画像データの生成する請求項１〜１８に記載の画像処理装置。
【請求項２０】
前記画像出力部は、前記第１顕微鏡画像データに基づく画像と、前記第２顕微鏡画像データに基づく画像とが前記表示部に表示されるように、前記第１顕微鏡画像データと前記第２顕微鏡画像データとを前記表示部に出力し、
前記対応画像データを生成する指示を、入力部を介して受け付ける受付部を更に備える請求項１７または１８に記載の画像処理装置。
【請求項２１】
前記第２顕微鏡法による前記第２顕微鏡画像データの撮像条件に基づいて、前記画像生成部で生成される前記対応画像データを評価する評価部を更に備える請求項１〜２０のいずれか一項に記載の画像処理装置。
【請求項２２】
前記評価部は、前記評価の結果に基づいて、前記対応画像データを生成するか、または、前記第２顕微鏡法を用いて前記第１顕微鏡画像データに対応する第２顕微鏡画像データを得るかを決定する請求項２１に記載の画像処理装置。
【請求項２３】
前記第２顕微鏡法による前記第２顕微鏡画像データの撮像条件に基づいて、前記画像生成部で生成される前記対応画像データを評価する評価部を更に備え、
前記画像出力部は、前記評価部による前記評価の結果が前記表示部に表示されるように前記評価の結果を前記表示部に出力し、
前記対応画像データを生成する指示、または前記第２顕微鏡法を用いて前記第１顕微鏡画像データに対応する第２顕微鏡画像データを取得する指示を入力部から受け付ける受付部を更に備える請求項１７または１８に記載の画像処理装置。
【請求項２４】
第１顕微鏡法による第１顕微鏡と、
前記第１顕微鏡法とは異なる第２顕微鏡法による第２顕微鏡と、
表示部と、
入力部と、
請求項１〜２３のいずれか一項に記載の画像処理装置と、
を備える顕微鏡システム。
【請求項２５】
第１顕微鏡法で得られた第１顕微鏡画像データと、前記第１顕微鏡法とは異なる第２顕微鏡法で得られた第２顕微鏡画像データを取得することと、
前記第１顕微鏡画像データに対応する、前記第２顕微鏡法における対応画像データを前記第２顕微鏡画像データに基づいて生成することと、
を含む画像処理方法。
【請求項２６】
前記対応画像データは、前記第１顕微鏡画像データが得られた第１面に対応する画像データであり、
前記第２顕微鏡画像データは、前記第１面とは異なる第２面と第３面のそれぞれに対応する画像データである請求項２５に記載の画像処理方法。
【請求項２７】
前記対応画像データを生成することは、前記第２面と前記第３面のそれぞれの面の前記第２顕微鏡画像データをフーリエ変換および逆フーリエ変換して、前記対応画像データを生成することを含む請求項２６に記載の画像処理方法。
【請求項２８】
前記対応画像データを生成することは、前記第２面の前記第２顕微鏡画像データに基づく画像におけるパターンと、前記パターンと対応付けられたパターンであって、前記第３面の前記第２顕微鏡画像データに基づく画像におけるパターンとに基づいて、前記対応画像データを生成することを含む請求項２６に記載の画像処理方法。
【請求項２９】
前記第１面は、前記第２面と前記第３面との間の面である、請求項２６に記載の画像処理方法。
【請求項３０】
前記第２顕微鏡法は、ローカリゼ―ション法であり、
前記対応画像データを生成することは、前記第２顕微鏡画像データから、前記第１顕微鏡の焦点深度の範囲における画像データを抽出し、前記対応画像データを生成することを含む請求項２６に記載の画像処理方法。
【請求項３１】
前記対応画像データは、前記第１顕微鏡画像データが得られた第１時刻に対応する画像データであり、
前記第２顕微鏡画像データは、前記第１時刻とは異なる第２時刻と第３時刻のそれぞれに対応する画像データである、請求項２５に記載の画像処理方法。
【請求項３２】
前記第１時刻は、前記第２時刻と前記第３時刻の間の時刻である請求項３１に記載の画像処理方法。
【請求項３３】
前記生成することにおいて、前記第２時刻に得られた前記第２顕微鏡画像データに基づく画像におけるパターンと、前記第３時刻に得られた前記第２顕微鏡画像データに基づく画像におけるパターンとに基づいて、前記対応画像データを生成することを含む請求項３１又は３２に記載の画像処理方法。
【請求項３４】
さらに、前記第２顕微鏡法による前記第２顕微鏡画像データの撮像条件に基づいて、前記生成される前記対応画像データを評価することを備える、請求項２５〜３３のいずれか一項に記載の画像処理方法。
【請求項３５】
さらに、前記対応画像データに基づく画像、または前記対応画像データに基づく画像と前記第１顕微鏡画像データに基づく画像が表示部に表示されるように、前記対応画像データ、または前記第１顕微鏡画像データを前記表示部に出力することを備える請求項２５〜３４のいずれか一項に記載の画像処理方法。
【請求項３６】
第１顕微鏡法で得られた第１顕微鏡画像データと、前記第１顕微鏡法とは異なる第２顕微鏡法で得られた第２顕微鏡画像データを取得することと、
前記第１顕微鏡画像データに対応する、前記第２顕微鏡法における対応画像データを前記第２顕微鏡画像データに基づいて生成することと、
をコンピュータに実行させるプログラム。
【請求項３７】
さらに、前記対応画像データに基づく画像、または前記対応画像データに基づく画像と前記第１顕微鏡画像データに基づく画像が表示部に表示されるように、前記対応画像データ、または前記第１顕微鏡画像データを前記表示部に出力することを備える請求項３６に記載のプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
本発明の第１の態様においては、第１顕微鏡法で得られた第１顕微鏡画像データと、前記第１顕微鏡法とは異なる第２顕微鏡法で得られた第２顕微鏡画像データを取得する取得部と、前記第１顕微鏡画像データに対応する、前記第２顕微鏡法における対応画像データを前記第２顕微鏡画像データに基づいて生成する画像生成部と、を備える画像処理装置が提供される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
本発明の第２の態様においては、第１顕微鏡と、第２顕微鏡と、表示部と、入力部と、上記画像処理装置と、を含む顕微鏡システムが提供される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明の第３の態様においては、第１顕微鏡法で得られた第１顕微鏡画像データと、前記第１顕微鏡法とは異なる第２顕微鏡法で得られた第２顕微鏡画像データを取得することと、前記第１顕微鏡画像データに対応する、前記第２顕微鏡法における対応画像データを前記第２顕微鏡画像データに基づいて生成することと、を含む画像処理方法が提供される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明の第４の態様においては、第１顕微鏡法で得られた第１顕微鏡画像データと、前記第１顕微鏡法とは異なる第２顕微鏡法で得られた第２顕微鏡画像データを取得することと、前記第１顕微鏡画像データに対応する、前記第２顕微鏡法における対応画像データを前記第２顕微鏡画像データに基づいて生成することと、をコンピュータに実行させるプログラムが提供される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
上述のとおり、第１及び第２顕微鏡装置３０，４０を用いて第１及び第２観察条件で試料を撮像した場合に、一方の観察条件で撮像した試料の断面について他方の観察条件で撮像できないことがある。その理由として、例えば、第１観察条件用の蛍光色素と第２観察条件用の蛍光色素とで退色する時間が異なり、退色までに撮像できる画像数が異なることが挙げられる。また、第１及び第２観察条件で多色の蛍光色素を励起する波長が異なると、同じ撮像の時間でも試料に与えるダメージの大きさが異なるので、試料に与えるトータルのダメージの大きさを考慮して、撮像できる画像数が異なることが挙げられる。さらに、同じ蛍光色素および同じ励起の波長を用いたとした場合であっても、顕微鏡法等に起因して撮像に要する時間が長いと、蛍光色素の退色および試料へのダメージが大きくなるので、撮像できる画像数が限られる場合があることが挙げられる。本実施形態に係る顕微鏡システム１００によれば、このように一方の観察条件について、他方の観察条件における試料のあるＺ位置の顕微鏡画像データに対応する顕微鏡画像データが存在しなくても、一方の顕微鏡画像データから他方の顕微鏡画像データに対応する対応画像を生成して補間することができる。よって、異なる観察条件で得られた顕微鏡画像同士を容易に対比することが可能となる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
高速多重極法では、第２および第３顕微鏡画像データに基づいて撮像画像の各ピクセルに対応する二次元面上の位置にそれぞれの輝度値に等しい電荷が存在すると仮定し、それぞれの電荷により画像の各ピクセルに対応する二次元面上の各位置に生じるクーロンポテンシャルの重ね合わせを輝度値として推定することにより、対応画像データを生成する。高速多重極法は、サンプリング条件を満たす場合に限らず、満たさない場合においても適用することができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
複数の対物レンズ２１ａ，２１ｂは不図示のレボルバに支持され、当該レボルバが回転することで、複数の対物レンズ２１ａ，２１ｂかが光学系２０の光軸Ｌ上に配置される。なお、シリンドリカルレンズ２５および結像光学系２６はレボルバの回転とは独立して光軸Ｌ上に進退可能である。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
図１１に、第１顕微鏡装置３０による撮像状態を示す。制御部５０は、光学系２０’を制御して、対物レンズ２１ｂ、シリンドリカルレンズ２５、及び結像光学系２６を光軸Ｌから退避するとともに、対物レンズ２１ａを光軸Ｌ上に配置する。制御部５０は、試料９のＺ位置Ｚ１が対物レンズ２１ａを含む光学系２０’の焦点面２０ａに位置するようにステージ系１０を駆動し、第１顕微鏡装置３０で試料９の断面像を撮像する。その詳細は第１の実施形態と同様である。撮像結果は画像処理部６０に送られ、第１顕微鏡装置３０の顕微鏡画像データとして画像生成部６１に記憶される。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
図１３に、第１及び第２顕微鏡装置３０，４０によりそれぞれ得られた顕微鏡画像データに基づく撮像画像の対応の一例を示す。第２顕微鏡装置４０の顕微鏡画像データは、三次元位置に特定の輝度値を割り当てた画像のデータなので、三次元の画像のデータであることを示すべく図中において直方体で表現した。当該直方体の数は撮像時のステップ数（Ｎ２）に対応している。また、表記を簡便にすべく、Ｚ２＋ｊΔＺ２をＺ２ｊ（ｊ＝０〜Ｎ２−１）と表した（なお、Ｚ２＝Ｚ２０である）。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【０１０２】
画像生成部６１は、第２及び第３顕微鏡画像データから、対物レンズ２１ａの焦点深度の範囲内にある、特定の輝度値が割り当てられた点をＺ軸方向に重ねる、或いはＸＹ面に投影することで対応画像データを生成する。斯かる場合に、Ｚ位置に応じて異なる色彩を用いて対応画像データを生成してもよい。対応画像データの生成に用いる第２及び第３顕微鏡画像データは、第２顕微鏡装置４０の複数の顕微鏡画像データのうち、第１顕微鏡画像データのＺ位置を間に挟むようなものである。言い換えると、第１顕微鏡画像データを得た第１面が、第２顕微鏡画像データを得た第２面と、第３顕微鏡画像データを得た第３面との間となるような第２、第３顕微鏡画像データに基づいて対応画像データが生成される。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１１６
【補正方法】変更
【補正の内容】
【０１１６】
斯かる場合、ステップ２６０では、画像生成部６１により、対応画像データが、第２顕微鏡装置４０により使用された対物レンズ２１ｂの焦点深度に対応するよう、例えば第１顕微鏡画像データを逆畳み込み演算することにより生成される。逆畳み込み演算により対応画像データではボケの程度が軽減される。このように、第１顕微鏡画像データから第２顕微鏡装置４０により使用された対物レンズ２１ｂの焦点深度に対応する対応画像を生成することで、互いの画像データを容易に対比することができる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１３８
【補正方法】変更
【補正の内容】
【０１３８】
ステップ３６５では、構造分類された２つの画像１９３，１９４から画像データ１９５が生成される。画像生成部６１は、２つの画像１９３，１９４間で判別された構造体を比較し、対応する構造体のエリアの形状を深さＺａ，Ｚｂ，Ｚｃに応じて補間することにより、対応画像データ１９５における構造体のエリアを生成する。補間は、例えば、２つの画像１９３，１９４間で、対応する構造体のエリアの外縁上に同じ数の補間点を等間隔に配置し、互いの補間点のうち例えば最近接するなど対応する２つの点のＸＹ面内での位置を深さＺａ，Ｚｂ，Ｚｃを用いて重み平均して対応画像データ１９５における内挿点の位置をそれぞれ求め、求められた複数の内挿点を連続的に結ぶことで行うことができる。このとき、画像生成部６１は、２つの画像１９３，１９４間で構造体のエリアの形状の類比、重なりの程度等に基づいて構造体が対応するかどうかを判断することができ、また構造体の深さ方向の連続的な変形を理解することができる。電子顕微鏡法により得られる画像１９１，１９２は通常、例えばモノクロ等、二値表現されるため、画像上で構造体を判別するのが難しく、また試料の深さ方向の構造的変化を理解するのが難しい。そこで、セグメンテーション法により構造体を判別することで、画像１９１，１９２上の構造体を判別し、同一構造体の深さ方向の連続的変化を利用することで、対応画像データ１９５をより正確に生成することができる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１８１
【補正方法】変更
【補正の内容】
【０１８１】
なお、第４の実施形態に係る顕微鏡システム１００において、第１及び第２顕微鏡装置３０，４０は顕微鏡法としてそれぞれ共焦点顕微鏡法及びＳＩＭ（構造化照明顕微鏡法）を採用したが、これに限らず、いずれも同じ顕微鏡法、例えばいずれも共焦点顕微鏡法を採用してもよい。斯かる場合、多色蛍光法により、すなわち、複数（例えば２つ）の蛍光色素を試料に導入し、第１及び第２顕微鏡装置３０，４０で異なる波長をそれぞれ有する複数の照明光により試料を照明して、試料内の蛍光色素がそれぞれ発する蛍光を検出することで、試料を撮像してもよい。それにより、異なる蛍光物質がそれぞれ導入される試料の異なる部分を同時に観察することが可能となる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１８６
【補正方法】変更
【補正の内容】
【０１８６】
なお、第１から第４の実施形態に係る顕微鏡システム１００による顕微鏡観察では、共焦点顕微鏡法、ＳＩＭおよび電子顕微鏡法において試料９の複数のＺ位置を撮像してＺスタック画像を生成したが、試料９の１つのＺ位置のみを撮像してもよい。同様に、ＳＴＯＲＭにおいても試料９の複数のＺ位置を撮像してＳＴＯＲＭ画像を生成したが、試料９の１つのＺ位置のみを撮像してＳＴＯＲＭ画像を生成してもよい。
【国際調査報告】
2018131172.tif 000033
2018131172.tif 000034
2018131172.tif 000035
2018131172.tif 000036