(57)【要約】  画像処理装置であって、第１顕微鏡で得られた第１顕微鏡画像データを、第１顕微鏡とは顕微鏡法の異なる第２顕微鏡で得られた第２顕微鏡画像データに基づいて処理し、処理画像データを生成する画像生成部と、処理画像データと第２顕微鏡画像データとの少なくとも一方の画像データを出力する画像出力部と、を含む。第２顕微鏡画像データに基づく第２顕微鏡画像は、第１顕微鏡画像データに基づく第１顕微鏡画像よりも分解能が高いものであってよい。
2018131173.tif 000002
【特許請求の範囲】
【請求項１】
第１顕微鏡で得られた第１顕微鏡画像データを、前記第１顕微鏡とは顕微鏡法の異なる第２顕微鏡で得られた第２顕微鏡画像データに基づいて処理し、処理画像データを生成する画像生成部と、
前記処理画像データと前記第２顕微鏡画像データとの少なくとも一方の画像データを出力する画像出力部と、
を含む画像処理装置。
【請求項２】
前記第２顕微鏡画像データに基づく第２顕微鏡画像は、前記第１顕微鏡画像データに基づく第１顕微鏡画像よりも分解能が高い、請求項１に記載の画像処理装置。
【請求項３】
前記画像生成部は、前記第２顕微鏡画像データに基づいて、前記第１顕微鏡画像データを逆畳み込み演算して前記処理画像データを生成する、請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像生成部は、前記第２顕微鏡に関する収差情報と前記第２顕微鏡画像データとに基づいて、前記第１顕微鏡画像データを逆畳み込み演算して前記処理画像データを生成する、請求項３に記載の画像処理装置。
【請求項５】
前記画像生成部は、前記第１顕微鏡に関する光学条件に基づいて、前記第２顕微鏡画像データを畳み込み演算して別の処理画像データを生成し、
前記画像出力部は、前記別の処理画像データと前記第１顕微鏡画像データとの少なくとも一方のデータを出力する、
請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記画像生成部は、前記第２顕微鏡に関する収差情報と、前記第１顕微鏡に関する光学条件に基づいて、前記第２顕微鏡画像データを畳み込み演算して前記別の処理画像データを生成する、請求項５に記載の画像処理装置。
【請求項７】
前記処理画像データに基づく処理画像と、前記第２顕微鏡画像データに基づく第２顕微鏡画像との少なくとも一方の画像を表示する表示部をさらに含む、請求項１から５のいずれか一項に記載の画像処理装置。
【請求項８】
前記別の処理画像データに基づく別の処理画像と、前記第１顕微鏡画像データに基づく第１顕微鏡画像と、前記処理画像データに基づく処理画像と、前記第２顕微鏡画像データに基づく第２顕微鏡画像との少なくとも１つの画像を表示する表示部をさらに含む、請求項６に記載の画像処理装置。
【請求項９】
前記第２顕微鏡はローカリゼーション顕微鏡を含む、請求項１から８のいずれか一項に記載の画像処理装置。
【請求項１０】
第１顕微鏡と、
第２顕微鏡と、
請求項１から９のいずれか一項に記載の画像処理装置と、
を備える顕微鏡システム。
【請求項１１】
第１顕微鏡で得られた第１顕微鏡画像データを、前記第１顕微鏡とは顕微鏡法の異なる第２顕微鏡で得られた第２顕微鏡画像データに基づいて処理し、処理画像データを生成し、
前記処理画像データと前記第２顕微鏡画像データとの少なくとも一方の画像データを出力する、
画像処理方法。
【請求項１２】
前記第２顕微鏡画像データに基づく第２顕微鏡画像は、前記第１顕微鏡画像データに基づく第１顕微鏡画像よりも分解能が高い、請求項１１に記載の画像処理方法。
【請求項１３】
前記生成において、前記第２顕微鏡画像データに基づいて、前記第１顕微鏡画像データを逆畳み込み演算して前記処理画像データを生成する、請求項１１又は１２に記載の画像処理方法。
【請求項１４】
前記生成において、前記第２顕微鏡に関する収差情報と前記第２顕微鏡画像データとに基づいて、前記第１顕微鏡画像データを逆畳み込み演算して前記処理画像データを生成する、請求項１３に記載の画像処理方法。
【請求項１５】
前記生成において、前記第１顕微鏡に関する光学条件に基づいて、前記第２顕微鏡画像データを畳み込み演算して別の処理画像データを生成し、
前記出力において、前記別の処理画像データと前記第１顕微鏡画像データとの少なくとも一方のデータを出力する、
請求項１１から１４のいずれか一項に記載の画像処理方法。
【請求項１６】
前記生成において、前記第２顕微鏡に関する収差情報と、前記第１顕微鏡に関する光学条件に基づいて、前記第２顕微鏡画像データを畳み込み演算して前記別の処理画像データを生成する、請求項１５に記載の画像処理方法。
【請求項１７】
前記処理画像データに基づく処理画像と、前記第２顕微鏡画像データに基づく第２顕微鏡画像との少なくとも一方の画像を表示する段階をさらに含む、請求項１１から１５のいずれか一項に記載の画像処理方法。
【請求項１８】
さらに、前記別の処理画像データに基づく別の処理画像と、前記第１顕微鏡画像データに基づく第１顕微鏡画像と、前記処理画像データに基づく処理画像と、前記第２顕微鏡画像データに基づく第２顕微鏡画像との少なくとも１つの画像を表示する、請求項１６に記載の画像処理方法。
【請求項１９】
前記第２顕微鏡はローカリゼーション顕微鏡を含む、請求項１１から１８のいずれか一項に記載の画像処理方法。
【請求項２０】
第１顕微鏡で得られた第１顕微鏡画像データを、前記第１顕微鏡とは顕微鏡法の異なる第２顕微鏡で得られた第２顕微鏡画像データに基づいて処理し、処理画像データを生成する手順と、
前記処理画像データと前記第２顕微鏡画像データとの少なくとも一方の画像データを出力する手順と、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、顕微鏡システム、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
互いに異なる顕微鏡法によりそれぞれ試料を撮像する複数種類の顕微鏡装置（単に顕微鏡、或いはモダリティとも呼ぶ）を搭載した顕微鏡システムが知られている（例えば、特許文献１参照）。
特許文献１  特表２０１２−５０７７５６号公報
【発明の概要】
【０００３】
本発明の第１の態様においては、第１顕微鏡で得られた第１顕微鏡画像データを、第１顕微鏡とは顕微鏡法の異なる第２顕微鏡で得られた第２顕微鏡画像データに基づいて処理し、処理画像データを生成する画像生成部と、処理画像データと第２顕微鏡画像データとの少なくとも一方の画像データを出力する画像出力部と、を含む画像処理装置が提供される。
【０００４】
本発明の第２の態様においては、第１顕微鏡と、第２顕微鏡と、第１の態様の画像処理装置と、を備える顕微鏡システムが提供される。
【０００５】
本発明の第３の態様においては、第１顕微鏡で得られた第１顕微鏡画像データを、第１顕微鏡とは顕微鏡法の異なる第２顕微鏡で得られた第２顕微鏡画像データに基づいて処理し、処理画像データを生成し、処理画像データと第１顕微鏡画像データとの少なくとも一方の画像データを出力する、画像処理方法が提供される。
【０００６】
本発明の第４の態様においては、第１顕微鏡で得られた第１顕微鏡画像データを、第１顕微鏡とは顕微鏡法の異なる第２顕微鏡で得られた第２顕微鏡画像データに基づいて処理し、処理画像データを生成する手順と、処理画像データと第１顕微鏡画像データとの少なくとも一方の画像データを出力する手順と、をコンピュータに実行させるプログラムが提供される。
【０００７】
なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る顕微鏡システムに含まれる本体部の構成を示す。
【図２】本実施形態に係る顕微鏡システムの機能構成を示す。
【図３】顕微鏡観察及び画像処理のフローを示す。
【図４】第１顕微鏡装置による撮像状態を示す。
【図５】第２顕微鏡装置による撮像状態を示す。
【図６】第１及び第２顕微鏡画像データに含まれる画像の対応の一例を示す。
【図７】第１顕微鏡画像データを逆畳み込み計算して生成された画像の一例を示す。
【図８】表示画面の一例を示す。
【図９】第２顕微鏡画像データを畳み込み計算して生成された画像の一例を示す。
【図１０】本実施形態に係るコンピュータの構成の一例を示す。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１０】
図１及び図２に、それぞれ、本実施形態に係る顕微鏡システム１００に含まれる本体部９９の構成及び顕微鏡システム１００の機能構成を示す。顕微鏡システム１００は、複数種類の顕微鏡装置を用いてそれぞれ異なる顕微鏡法により試料を撮像するシステムであり、本体部９９、制御部５０、及び画像処理部６０を備える。
【００１１】
本体部９９は、第１観察条件で試料９を観察する第１顕微鏡装置３０、及び、第２観察条件で試料９を観察する第２顕微鏡装置４０を含む。第１及び第２観察条件は、例えば、顕微鏡法、照明条件、撮像条件等を含む。本実施形態において、第１顕微鏡装置３０の顕微鏡法である第１顕微鏡法は共焦点顕微鏡であり、第２の顕微鏡装置４０の顕微鏡法である第２顕微鏡法はＳＴＯＲＭ（確率論的光学再構成法）である。
【００１２】
また、照明条件は、試料９を照明する照明光の輝度、照明光の波長、照明光に偏光を用いるか否かおよび偏光と用いる場合には偏光の向き、絞りの大きさ等を含む。撮像条件は、対物レンズ２１ａの開口数、試料９を撮像するＸＹ面内の範囲（ＸＹ走査範囲と呼ぶ）及びＺ軸上の位置（Ｚ位置という）等を含む。試料９を撮像するＺ位置は、例えば、試料９のＺ軸方向の基準位置、Ｚ軸に沿ったステップ量、撮像する画像数により特定される。
【００１３】
第１顕微鏡装置３０および第２顕微鏡装置４０はステージ系１０を共有している。ステージ系１０は、試料９を支持してこれを駆動するシステムであり、ステージ１１、センサ１２、及び駆動装置１３を有する。ここで、試料９は、例えば、蛍光色素が導入された細胞等であり、透光性のガラス板等の保持部材８上に保持して使用される。本実施形態では、第１顕微鏡装置３０で用いる蛍光色素と第２顕微鏡装置４０で用いる蛍光色素との２色の蛍光色素が導入されている。
【００１４】
ステージ１１は、試料９を支持する装置である。ステージ１１は、光学系２０の光軸Ｌが通る開口１１ａが形成され、試料９は、これを保持する保持部材８をステージ１１上に支持することで開口１１ａ上に位置決めされる。ステージ１１は、光学系２０の光軸Ｌ（これに平行にＺ軸を定める）に沿った方向に移動可能に構成される。上記の通りステージ１１は第１顕微鏡装置３０と第２顕微鏡装置４０とで共通のものが用いられる。
【００１５】
センサ１２は、ステージ１１のＺ軸方向の位置或いは変位を測定する。センサ１２として、例えば、リニアエンコーダを採用することができる。その測定結果は、制御部５０に送信される。
【００１６】
駆動装置１３は、ステージ１１をＺ軸方向に駆動する。駆動装置１３として、例えばモータ等を採用することができる。駆動装置１３は、制御部５０により制御されてステージ１１を目標位置に駆動する。それにより、ステージ１１上の試料９が光学系２０の光軸Ｌに沿った方向に移動する。
【００１７】
第１顕微鏡装置３０および第２顕微鏡装置４０は光学系２０を共有している。光学系２０は、試料９に照明光を照射するとともに試料９から射出する光を集光する系であり、複数の対物レンズ２１ａ，２１ｂ、シリンドリカルレンズ２５、結像光学系２６、レボルバ２２、スキャナ２３、及びフィルタ２４を有する。
【００１８】
複数の対物レンズ２１ａ，２１ｂは、ステージ１１上の試料９の中間像を結ぶ光学素子であり、本実施形態では一例としてステージ１１の直下に配されている。ただし、図１においては、光学系２０の光軸Ｌ上に対物レンズ２１ａが配置されている状態が示されており、さらに、対物レンズ２１ａが光軸Ｌ上にあるときの光学系２０の焦点を含むＸＹ面に平行な焦点面２０ａが併せて示されている。複数の対物レンズ２１ａ，２１ｂは、本実施形態では一例として２つであり、それぞれ小さい及び大きい倍率並びにそれぞれ深い（広い）及び浅い（狭い）焦点深度を有する。複数の対物レンズ２１ａ，２１ｂを切り替えることにより、第１及び第２顕微鏡装置３０，４０の倍率及び焦点深度が切り替えられる。本実施形態では第１顕微鏡装置３０で対物レンズ２１ａを用い、第２顕微鏡装置４０で対物レンズ２１ｂを用いる。
【００１９】
シリンドリカルレンズ２５は、光軸Ｌに直交する面内において一方向のみについて光を集光する半円筒状のレンズ素子であり、ＳＴＯＲＭにより試料を観察する際に使用される。シリンドリカルレンズ２５を介して検出される光は、焦点面からのずれの大きさに応じて像の大きさが変わるともに、焦点面からいずれの方向にずれているかで像の形が変わる。よって、検出される像の大きさと形から蛍光が発光した位置の三次元座標を特定することができる。
【００２０】
結像光学系２６は、シリンドリカルレンズ２５を介した光を第２顕微鏡装置４０に向けて集光する１又は複数の光学素子であり、ＳＴＯＲＭにより試料を観察する際に使用される。なお、シリンドリカルレンズ２５および結像光学系２６はレボルバ２２の回転とは独立して光軸Ｌ上に進退可能である。
【００２１】
レボルバ２２は、複数の対物レンズ２１ａ，２１ｂを支持して回転することで、それらのいずれかを光学系２０の光軸Ｌ上に配置する回転機構である。レボルバ２２は、例えば回転モータ等の駆動装置又は手動により回転する。レボルバ２２の回転位置又は回転量はセンサにより測定され、その測定結果は制御部５０に送信される。駆動装置は、制御部５０からの指示によりレボルバ２２を目標位置に回転する。それにより、複数の対物レンズ２１ａ，２１ｂが切り替えられる。
【００２２】
スキャナ２３は、照明光を光学系２０の光軸Ｌに直交する面内、すなわち図中のＸＹ方向に振る機構であり、一例として一対のガルバノミラーを使用することができる。スキャナ２３は、共焦点顕微鏡法により試料を観察する際に使用される。一方のガルバノミラーはＸ軸周りに回動し、他方のガルバノミラーはＹ軸周りに回動する。スキャナ２３に入射する照明光は、一対のガルバノミラーにより反射されることで光軸Ｌに対してＸ軸及びＹ軸方向のそれぞれに振られ、それにより試料９がＸＹ方向に走査される。スキャナ２３は不図示の駆動装置により、光軸Ｌ上に進出したり、光軸Ｌから退避したりすることができ、ＳＴＯＲＭにより試料を観察する際には光軸Ｌから退避している。
【００２３】
フィルタ２４は、光学系２０の光軸Ｌ上に配されて、特定の波長（λ１，λ１'）を有する光を反射し、その他の波長（λ２，λ２'）を有する光を透過する光学素子である。フィルタ２４として、例えば、ダイクロイックミラーを使用することができる。フィルタ２４は、第１照明・撮像部３１から射出される照明光（波長λ１）を反射してスキャナ２３及び対物レンズ２１ａ，２１ｂを介して試料９に送り、試料９から戻る光（波長λ１'）を反射して第１照明・撮像部３１に送るとともに、第２照明・撮像部４１から射出される照明光（波長λ２）を反射してスキャナ２３及び対物レンズ２１ａ，２１ｂを介して試料９に送り、試料９から戻る光（波長λ２'）を透過して第２照明・撮像部４１に送る。
【００２４】
第１顕微鏡装置３０は、第１照明・撮像部３１、光学系２０およびステージ系１０を有し、第１顕微鏡法により試料９を撮像する。本実施形態では、上記のとおり第１顕微鏡法として共焦点顕微鏡法を採用する。共焦点顕微鏡法において、第１照明・撮像部３１の不図示のレーザ光源からの照明光により試料を焦点面２０ａ上でＸＹ方向に走査し、焦点面２０ａ上に位置する試料の断面を第１照明・撮像部３１の不図示の撮像素子で撮像して二次元画像を生成する。さらに試料９を焦点面２０ａに対してＺ軸方向に相対的に変位させ、それぞれの相対位置での焦点面２０ａ上で試料９を走査することで試料９内の複数の深さにおける断面を撮像して三次元画像を生成する。そのような三次元画像をＺスタック画像とも呼ぶ。第１顕微鏡装置３０は、試料９を高速で、ただし比較的低い分解能で観察することができる。
【００２５】
第１照明・撮像部３１は、試料９を照明し、試料９からの光を検出する。第１照明・撮像部３１は、輝度、波長、偏光、絞り等に関する照明条件に従って照明光、例えば波長λ１（例えば、４８８ｎｍ）の照明光を生成し、不図示のダイクロイックミラー等のフィルタ（不図示）を介して光学系２０（フィルタ２４）に向けて射出する。照明光は光学系２０を介して、焦点面２０ａ上に位置する試料９内の観察位置９ａを照明する。照明光により試料９内の蛍光色素が発する波長λ１'（例えば、５２５ｎｍ）の蛍光等の光が光学系２０を介して第１照明・撮像部３１に入射する。第１照明・撮像部３１は、試料９から入射する光を上記不図示のフィルタにより照明光などのノイズとなる光から分離して検出することで試料９を撮像する。得られた撮像データは、第１顕微鏡画像データとして画像処理部６０に送信される。
【００２６】
第２顕微鏡装置４０は、第２照明・撮像部４１、光学系２０およびステージ系１０を有し、第２顕微鏡法により試料９を撮像する。本実施形態では、第２顕微鏡法として、ローカリゼーション法を用いる。ローカリゼーション法において、試料９内に導入された蛍光色素を低密度で活性化させておいて励起光を照射することにより、活性化状態の蛍光色素のみ（一部の蛍光色素のみ）を発光させて蛍光画像を取得する。蛍光画像においては、低密度で発光する蛍光色素の像が個々に分離されたものとなるので、個々の蛍光色素の位置を特定することができる。上記活性化、励起、蛍光画像の取得および位置の特定を複数繰り返し、特定された複数の蛍光色素の位置に特定の輝度値を割り当てることにより点描された画像を生成することにより、光学的な回折限界を超えた高分解能の画像が生成される。この点でローカリゼーション法による顕微鏡画像は共焦点顕微鏡法による顕微鏡画像よりも分解能が高いともいえる。なお、ローカリゼーション法は、ＳＴＯＲＭ（確率論的光学再構成法）、ＰＡＬＭ（光活性化局在法）等を含む。本実施形態では一例として三次元のＳＴＯＲＭを採用し、ＳＴＯＲＭにより生成される蛍光画像をＳＴＯＲＭ画像とも呼ぶこととする。
【００２７】
第２照明・撮像部４１は、試料９を照明し、試料から射出する光を検出する。第２照明・撮像部４１は、不図示のレーザ光源から照明条件に従って照明光、例えば波長λ２（例えば、５６１ｎｍ）の照明光を生成し、励起光としてダイクロイックミラー等のフィルタ（不図示）を介して光学系２０（フィルタ２４）に向けて射出する。照明光は光学系２０を介して試料９に送られ、焦点面２０ｂ上に位置する試料９内の観察位置９ｂが照明される（図５参照）。それにより、例えば試料９内の蛍光色素が発する波長λ２'（例えば、６００ｎｍ）の蛍光等の光が光学系２０を介して第２照明・撮像部４１に入射する。第２照明・撮像部４１は、試料９から入射する光をフィルタ（不図示）により照明光などのノイズとなる光から分離して不図示の撮像素子で検出することで試料９を撮像する。得られた撮像データは、第２顕微鏡画像データとして画像処理部６０に送信される。
【００２８】
制御部５０は、入力部５１を有し、これから入力される指示に応じて本体部９９の構成各部、すなわちステージ系１０、光学系２０、第１顕微鏡装置３０、及び第２顕微鏡装置４０を制御する。制御部５０は、コンピュータ、マイクロコントローラ等を含む情報処理装置に、例えば不揮発性メモリ等の記憶装置或いはＣＤ−ＲＯＭ等の記録媒体に記憶された制御用プログラムを実行させることによって各機能部を発現し、制御装置として機能する。
【００２９】
例えば、制御部５０は、観察する試料９の深さの変更の指示に応じて、試料９内の所定の深さ位置に焦点面２０ａが来るようにステージ１１を光軸方向に駆動する。また、制御部５０は、倍率変更の指示に応じて光学系２０を制御して、変更倍率に対応する対物レンズ２１ａ，２１ｂに切り替える。また、制御部５０は、第１及び第２照明・撮像部３１，４１を制御して、試料９を撮像する。
【００３０】
入力部５１は、マウス、キーボード、タッチパネル等を有する。ユーザは、入力部５１を介して、例えば、顕微鏡による観察（単に、顕微鏡観察とも呼ぶ）、すなわち第１及び第２顕微鏡装置３０，４０による試料９の撮像を制御部５０に対して指示することができる。さらにユーザは入力部５１を介して、顕微鏡観察の条件（単に、観察条件とも呼ぶ）を設定すること、および、顕微鏡観察により得られる顕微鏡画像データを処理して新たな画像データを生成する指示をすることができる。
【００３１】
画像処理部６０は、第１及び第２顕微鏡装置３０，４０により得られる顕微鏡画像データを処理する、或いは新たな画像データを生成する。画像処理部６０は、画像生成部６１及び画像出力部６２を含む。画像処理部６０は、コンピュータ、マイクロコントローラ等を含む情報処理装置に、例えば不揮発性メモリ等の記憶装置或いはＣＤ−ＲＯＭ等の記録媒体に記憶された画像処理プログラムを実行させることによって各機能部を発現し、画像処理装置として機能する。
【００３２】
なお、画像処理部６０は、第１及び第２顕微鏡装置３０，４０により撮像された撮像画像をデータとして取り扱うので、以下において顕微鏡画像データ或いは単に画像データとも呼ぶが、顕微鏡画像データが示す情報は画像であるので、同じ参照番号を用いるとともに画像として図示する場合がある。また、複数の撮像画像がそれぞれ異なるデータにより示されることもあれば、１つのデータとして示されることもある。
【００３３】
画像生成部６１は、第１及び第２顕微鏡装置３０，４０により得られた顕微鏡画像データに基づいて新たな画像データを生成する。この場合に、画像生成部６１は、第２顕微鏡装置４０で得られた第２顕微鏡画像データに基づいて、第２顕微鏡装置４０とは顕微鏡法の異なる第１顕微鏡装置３０で得られた第１顕微鏡画像データを処理して処理画像データを生成する。画像生成部６１は、第１及び第２顕微鏡装置３０，４０から受信した顕微鏡画像データ及び生成した処理画像データを記憶する。画像生成部６１による処理画像データの生成については後述する。
【００３４】
画像出力部６２は、第１及び第２顕微鏡装置３０，４０により得られた顕微鏡画像データ及び／又は画像生成部６１により生成された処理画像データを処理して、表示部６３に出力する。それにより、少なくとも、第１顕微鏡画像データを処理して生成される処理画像データと第２顕微鏡画像データとの少なくとも一方の画像データが表示部６３へ出力される。
【００３５】
表示部６３は、例えば、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、及びプロジェクタ等の表示装置を有する。表示部６３は、第１顕微鏡画像データを処理して生成される処理画像データに基づく処理画像と、第２顕微鏡画像データに基づく第２顕微鏡画像との少なくとも一方の画像を画面上に表示する。
【００３６】
また、表示部６３は、画像生成部６１により生成された処理画像データに基づく処理画像を、第１及び第２顕微鏡装置３０，４０により得られた顕微鏡画像データに基づく顕微鏡画像（すなわち、撮像画像）と区別して表示部６３に表示させる。ここで、画像出力部６２は、例えば、画像を囲む外枠を太くする、点滅する、彩色を変更するなどにより撮像画像と区別する。それにより、生成された画像と撮像された画像とを区別することができる。
【００３７】
図３に、本実施形態に係る顕微鏡システム１００による顕微鏡観察及び画像処理のフローを示す。本例では、第１及び第２顕微鏡法としてそれぞれ相対的に低分解能な共焦点顕微鏡法及び高分解能なＳＴＯＲＭを採用して、試料９のＺスタック画像及びＳＴＯＲＭ画像をそれぞれ撮像する。
【００３８】
ステップ１１０では、ユーザにより、第１及び第２観察条件が設定される。上記の通り本実施形態において第１及び第２観察条件のうち第１顕微鏡法および第２顕微鏡法はすでに設定されている。さらに、第１観察条件の撮像条件の一例として、対物レンズ２１ａを用いること、撮像するＸＹ面内の範囲、撮像におけるＺ軸上の基準位置Ｚ１、Ｚ軸に沿ったステップ量ΔＺ１、撮像する画像数Ｎ１が設定される。また、第２観察条件の撮像条件の一例として、第１観察条件とは異なる対物レンズ２１ｂを用いること、撮像するＸＹ面内の範囲、撮像におけるＺ軸上の基準位置Ｚ２、Ｚ軸に沿ったステップ量ΔＺ２、撮像する画像数Ｎ２が設定される。ユーザは観察条件を入力部５１を介して入力し、入力された条件は制御部５０に送信される。
【００３９】
ユーザにより、ステージ１１上に試料９が支持され、入力部５１を介して顕微鏡観察の開始が指示されると、次のステップ１２０に進む。
【００４０】
ステップ１２０では、第１及び第２顕微鏡装置３０，４０により試料９がそれぞれ独立に撮像される。
【００４１】
図４に、第１顕微鏡装置３０による撮像状態を示す。制御部５０は、第１観察条件に従って、ステージ系１０、光学系２０、及び第１顕微鏡装置３０を操作する。制御部５０は、光学系２０を制御して、対物レンズ２１ｂ、シリンドリカルレンズ２５、結像光学系２６を光軸Ｌから退避するとともに、対物レンズ２１ａ及びスキャナ２３を光軸Ｌ上に配置する。また、制御部５０は、第１顕微鏡装置３０の第１照明・撮像部３１に対する照明条件を設定する。
【００４２】
制御部５０は、試料９のＺ位置Ｚ１が対物レンズ２１ａを含む光学系２０の焦点面２０ａに位置するようにステージ系１０を駆動し、試料９の断面像を撮像する。
【００４３】
第１顕微鏡装置３０は、第１照明・撮像部３１より波長λ１の照明光を出射し、光学系２０を介してステージ１１上の試料９を照明する。焦点上に位置する試料９の観察位置９ａが照明されることにより、試料９に含まれる蛍光色素が波長λ１'の蛍光を発する。蛍光は、光学系２０を介して集光され、第１照明・撮像部３１により撮像される。
【００４４】
第１顕微鏡装置３０による試料９の照明及び蛍光の撮像と並行して、制御部５０は、スキャナ２３を制御して照明光をＸＹ方向に振ることにより、焦点面２０ａ上のＸＹ走査範囲内で試料９を走査する。それにより、第１顕微鏡装置３０で焦点面２０ａ上に位置する試料９の断面が撮像される。撮像結果は画像処理部６０に送られ、第１顕微鏡画像データとして画像生成部６１に記憶される。
【００４５】
制御部５０は、Ｚ位置Ｚ１での試料９の撮像が終了すると、ステージ１１をＺ軸方向に駆動して、順次、Ｚ位置Ｚ１＋ｉΔＺ１（ｉ＝１〜Ｎ１−１）を焦点面２０ａに位置させて、試料９を撮像する。第１顕微鏡装置３０は一連の撮像結果からＺスタック画像のデータを生成して画像処理部６０に送る。画像処理部６０はＺスタック画像のデータを第１顕微鏡画像データとして画像生成部６１に記憶する。
【００４６】
第１顕微鏡装置３０により撮像が終了すると、制御部５０は、第２顕微鏡装置４０による試料９の撮像を開始する。
【００４７】
図５に、第２顕微鏡装置４０による撮像状態を示す。制御部５０は、第２観察条件に従って、ステージ系１０、光学系２０、及び第２顕微鏡装置４０を操作する。制御部５０は、光学系２０を制御して、対物レンズ２１ａ及びスキャナ２３を光軸Ｌから退避するとともに、対物レンズ２１ｂ、シリンドリカルレンズ２５、及び結像光学系２６を光軸Ｌ上に配置する。また、制御部５０は、第２顕微鏡装置４０の第２照明・撮像部４１に対する照明条件を設定する。
【００４８】
制御部５０は、光学系２０の焦点面２０ｂに試料９のＺ位置Ｚ２が来るようステージ系１０を駆動し、試料９を撮像する。
【００４９】
ＳＴＯＲＭにおいて、第２顕微鏡装置４０は、第２照明・撮像部４１より照明光を発し、光学系２０を介してステージ１１上の試料９を照明する。ここで、第２顕微鏡装置４０は、焦点面２０ｂ上に位置する試料９の観察位置９ｂ内に含まれる蛍光色素に対して、励起光としての照明光（波長λ２）を照射して、活性化状態の蛍光色素のみの蛍光（波長λ２'）を発光させて、対物レンズ２１ｂ、シリンドリカルレンズ２５、及び結像光学系２６を介して検出し、蛍光画像を取得する。第２顕微鏡装置４０は、個々の蛍光色素の位置を特定する。上記ステップを複数繰り返し、特定された複数の蛍光色素の位置に特定の輝度値を割り当てることによりＳＴＯＲＭ画像を生成する。ＳＴＯＲＭ画像は、第２顕微鏡画像データとして画像生成部６１に記憶される。
【００５０】
制御部５０は、試料９のＺ位置Ｚ２での撮像が終了すると、試料９の位置Ｚ２＋ｉΔＺ２（ｉ＝１〜Ｎ２−１）を焦点面２０ｂに位置させるようにステージ１１をステップ駆動して、第２顕微鏡装置４０は、上記撮像および当該撮像に基づくＳＴＯＲＭ画像の生成を行う。
【００５１】
図６に、第１及び第２顕微鏡装置３０，４０によりそれぞれ得られた第１及び第２顕微鏡画像データに含まれる画像の対応の一例を示す。図６に示す例において、第１顕微鏡画像データ（Ｚスタック画像）は、ステップ量ΔＺ１に等しい間隔で離間する試料９のＺ位置に対してそれぞれ得られた複数の画像６０１〜６０３のデータである。画像６０１〜６０３は焦点面からの距離に応じたボケを有している。第２顕微鏡画像データは、ＳＴＯＲＭ画像６２１，６２２のデータである。ＳＴＯＲＭ画像６２１，６２２は特定の輝度値が割り当てられた点で画像が再構築されているから、ボケは表れていない。また、ＳＴＯＲＭ画像６２１、６２２において、予め定められた三次元空間の範囲に当該特定の輝度値が割り当てられている。
【００５２】
ステップ１３０では、第１及び第２顕微鏡装置３０，４０によりそれぞれ得られた第１及び第２顕微鏡画像データのうち、比較の対象となる画像（すなわち、処理画像）が選択される。画像処理部６０は、第１及び第２顕微鏡装置３０，４０によりそれぞれ得られた第１及び第２顕微鏡画像データを処理して、それぞれに含まれる撮像画像の一覧を表示部６３の画面上に表示する。ユーザは、入力部５１を介して、例えば、第１顕微鏡装置３０により得られた第１顕微鏡画像データにおける任意のＺ位置、一例として位置Ｚ０における画像６０３を選択する。
【００５３】
ステップ１４０では、画像生成部６１により、第２顕微鏡画像データとしてのＳＴＯＲＭ画像のデータに基づいて、第１顕微鏡画像データを逆畳み込み演算（デコンボリューション）して処理画像データが生成される。ここでは、ステップ１３０において選択されたように、第１顕微鏡画像データ６０３から、第２顕微鏡装置４０より得られた情報を用いてＺ位置Ｚ０における画像６１１が生成される。
【００５４】
逆畳み込み演算による画像６１１は、目的関数Ｌを最小化することで生成される。目的関数Ｌは、次の一般形において与えられる。
【数１】
2018131173.tif 000003
ここで、右辺第１項はノイズ統計に関する誤差関数であり、第２項は正則化項である。正則化項は、正則化パラメータλｉを乗じて与えられる。各項は、第１顕微鏡画像データｇ、推定する画像（画像６１１）を表す画像データｆを用いて与えられる。なお、各画像データは、三次元空間（Ｘ，Ｙ，Ｚ）内に配列される各ピクセル（インデックスｊを用いて表す）での輝度値の集合として与えられている。
【００５５】
誤差関数Ｅは、次のように与えることができる。第１顕微鏡装置３０の光学条件によって歪やボケを伴う像が観察される。よって、逆に、第１顕微鏡画像データｇは、推定する画像（画像データｆ）に第１顕微鏡装置３０の光学条件を適用した画像データｒ＝Ｈｆを導出することで再現することができることになる。ここで、光学条件として例えば第１顕微鏡装置３０の点拡がり関数ＰＳＦを使用して、行列Ｈを構築することとする。第１顕微鏡装置３０の点拡がり関数ＰＳＦは、例えば、光学系２０のＰＳＦ、照明パターンを表現する照明光学系のＰＳＦ、ピンホールのＰＳＦ、それらの積などが挙げられる。
【００５６】
誤差関数Ｅは、第１顕微鏡画像データｇにおける主なノイズがポアソンノイズＰであると仮定すると、定数ｃを用いて次のように与えられる。
【数２】
2018131173.tif 000004
なお、誤差関数Ｅは、重み付きガウス分布の形［式（３）］に近似する又はアンスコム変換を用いて近似することもできる。
【数３】
2018131173.tif 000005
【００５７】
正則化項は、ＳＴＯＲＭ画像の画素の輝度値に関する第１の項を含む。
【数４】
2018131173.tif 000006
ここで、ｓｊは第２顕微鏡画像データすなわちＳＴＯＲＭ画像に基づく画素ｊの輝度値であり、ｓｊの集合ＳはＳＴＯＲＭで発光した複数の蛍光色素の位置を特定して特定の輝度値を割り当てることにより再構成されたものであるから、焦点面からの距離に応じたボケを有しない。従って、第１の項［式（４）］を採用することにより、デコンボリューションの効果を向上させた画像データｆを生成することができる。
【００５８】
また、正則化項は、正値制約に関する第２の項を含む。
【数５】
2018131173.tif 000007
ここで、εは小さい正の定数、β０は十分大きい正の定数である。
【００５９】
さらに、正則化項は、蛍光分布の情報による正則化項等を含んでもよい。この正則化項は、試料９に依存して定める必要があり、例えば、境界が明確で階段状に変化する分布の場合、トータルバリエーション等を適用することができる。
【００６０】
画像データｆは、目的関数Ｌを最小化することにより得られる。ここでは、一例として、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙアルゴリズムを採用する。このアルゴリズムにおいて、第ｋ＋１ステップの画像データｆｋ＋１は、第ｋステップの画像データｆｋから次のように算出することができる。
【数６】
2018131173.tif 000008
ここで、１はすべての要素が１のベクトルであり、∂ｆは汎関数微分であり、ベクトルの除算は対応する要素の除算を要素とするベクトル（例えば、ベクトルａ及びｂの除算ａ／ｂ＝（ａ１／ｂ２，ａ２／ｂ２，…，ａｊ／ｂｊ，…）を意味する。正則化項の汎関数微分は、次のように与えられる。
【数７】
2018131173.tif 000009
【数８】
2018131173.tif 000010
【００６１】
画像生成部６１は、第零ステップの画像データｆ０を仮定し、これを第１顕微鏡画像データｇとともに式（６）に与えて順次、画像データｆｋを更新する。画像データｆｋが十分に収束するまで更新することで、画像データｆが生成される。生成された画像データｆは、処理画像データとして画像出力部６２に送信される。
【００６２】
ステップ１５０では、画像出力部６２により、ステップ１４０にて処理画像データを、先にステップ１２０にて得られた第１顕微鏡画像データに統合して、一連の画像データに編集する。
【００６３】
ステップ１６０では、表示部６３により、ステップ１５０にて編集された画像及びステップ１２０にて撮像された画像を画面上に表示する。それにより、画像出力部６２により一連の画像データに統合された画像、すなわちステップ１６０において生成された処理画像データに基づく処理画像とステップ１２０にて生成された第１顕微鏡画像データに基づく顕微鏡画像との少なくとも一方が、ステップ１２０にて生成された第２顕微鏡画像データに基づく顕微鏡画像とともに画面上に出力される。
【００６４】
図７に、第１顕微鏡画像データを逆畳み込み計算して生成された処理画像の一例を示す。ここで、画像７０１は、第１顕微鏡画像の一例であり、画像７０２は、第１顕微鏡画像データから逆畳み込み演算により生成された処理画像の一例を示す。なお、説明の都合上、画像７０１、７０２において黒およびグレーの円はいずれも蛍光を撮像したものであって、黒よりもグレーの方が暗い像であることを示している。
【００６５】
画像７０１では、ほぼ焦点が合っている像（図中の黒の円）と焦点から外れてボケている像（図中のグレーの円）とが混在している。これに対し、画像７０２では第２顕微鏡画像データであるボケの成分を有しないＳＴＯＲＭ画像データの情報を用いていて逆畳み込み演算をしているので、ボケの成分が低減して画像のＳ／Ｎ比（信号対雑音比）が向上している。これにより、例えば、画像７０１では一つの像に見えていたものが画像７０２では複数の像に分かれており、第１顕微鏡画像で見えていなかった微細な構造を観察することができる。第１顕微鏡画像で見えていなかった微細な構造が表れるという点で、第１顕微鏡画像より高解像の処理画像のデータが生成されたということもできる。
【００６６】
図８に、第１及び第２顕微鏡装置３０，４０によりそれぞれ得られたＺスタック画像及びＳＴＯＲＭ画像を表示する表示部６３の表示画面６３ａの一例を示す。表示部６３は、表示画面６３ａの上段に第１及び第２顕微鏡装置並びにそれらの顕微鏡法、中段に第１及び第２顕微鏡画像データに含まれる対応するＺ位置に対する各１つの画像６３ｃ及び６３ｄ、下段にＺスタック画像及びＳＴＯＲＭ画像に関する情報（ＸＹ位置、Ｚ位置、焦点深度等）、それぞれの顕微鏡観察における撮像条件（基準位置Ｚ１，Ｚ２、ステップ量ΔＺ１，ΔＺ２、画像数Ｎ１，Ｎ２等）を表示する。ここで、表示部６３は、画像生成部６１により演算により生成された画像６３ｃを、撮像された画像等と視覚的に区別して表示する。本例では、画像６３ｃを囲む外枠が太く表示され、また画像６３ｃの近傍に計算されたことを意味する文字「演算」が表示されている。
【００６７】
共焦点顕微鏡法を用いた第１顕微鏡画像データに基づく撮像画像にはボケている像が含まれているのに対し、第２顕微鏡画像データのＳＴＯＲＭ画像は蛍光色素の位置を特定して輝度値を割り当てることで像のボケがないので、そのままでは対比がしにくい。これに対し、本実施形態によれば、第２顕微鏡画像データに基づいて、第１顕微鏡画像データから逆畳み込み演算により、ボケの成分を低減し、Ｓ／Ｎを向上させた処理画像データを生成する。第１顕微鏡画像データのボケの程度を第２顕微鏡画像データに近づけることによって、異なる顕微鏡法による観察の結果を容易に対比することができる。
【００６８】
なお、本実施形態に係る顕微鏡システム１００による顕微鏡観察では、ステップ１４０において、第１顕微鏡装置３０の点拡がり関数ＰＳＦを使用して行列Ｈを構築し、画像データｆを生成したが、これに代えて、第２顕微鏡装置４０の点拡がり関数ＰＳＦを使用して行列Ｈを構築し、画像データｆを生成してもよい。
【００６９】
また、ステップ１４０において式（１）から式（８）を用いて処理画像データを生成する場合に、下記の通り、第２顕微鏡装置４０に関する収差情報をさらに用いてもよい。
【００７０】
第２顕微鏡装置４０に関する収差情報は、第２顕微鏡装置４０で撮像される画像と、それに基づいて再構成される三次元蛍光画像を用いて算出される。ここで、蛍光は光学系２０を介して受光されるので、デフォーカスによるボケと収差による歪みを伴っている。そこで、画像生成部６１は、第２顕微鏡装置４０により得られる蛍光色素の位置の検出結果を、第２顕微鏡装置４０の点拡がり関数（ＰＳＦ）を用いて再現する。ここで、第１顕微鏡装置３０のＰＳＦは、具体的には、第１顕微鏡装置３０に含まれる光学部材に基づくＰＳＦであって、例えば、光学系２０のＰＳＦ、照明パターンを表現する照明光学系のＰＳＦ、ピンホールのＰＳＦ、それらの積などが挙げられる。
【００７１】
点拡がり関数を表現する収差は、例えば、試料９での蛍光色素のＺ位置に応じて生じるインデックミスマッチ収差、シリンドリカルレンズ２５による非点収差、保持部材８の界面における残存収差等を含む。ここで、インデックミスマッチ収差は、試料９の屈折率が既知の場合、高精度に再現することができる。また、非点収差は、シリンドリカルレンズ２５の光学特性により既知である。そこで、これらの収差を点拡がり関数に取り込み、これを用いてノイズにともなう誤差を最小にするように輝点の収差を再現することで、輝点の位置が決定されるともに残存収差が算出される。このように再現されたインデックスミスマッチ収差及び算出された残存収差より、収差情報が構築される。
【００７２】
算出された収差情報は、先述のステップ１４０において、第１顕微鏡画像データの逆畳み込み演算に取り込まれる。具体的には、画像データｒを導出するための行列Ｈを構築する点拡がり関数ＰＳＦとして、第２顕微鏡画像データから収差情報を算出する際に使用した点拡がり関数を使用し、この関数に算出された残存収差を取り込む。第零ステップの画像データｆ０を仮定し、これを第１顕微鏡画像データｇとともに式（６）に与えて画像データｆｋを十分に収束するまで更新する。それにより、第２顕微鏡装置４０の収差情報が第１顕微鏡画像データの逆畳み込み演算に取り込まれて、第１顕微鏡画像データから収差による像のボケと歪みが低減された画像データｆを生成することができる。第１顕微鏡画像データによる共焦点顕微鏡画像は像のボケと歪みを伴っているのに対して、第２顕微鏡画像データによるＳＴＯＲＭ画像は蛍光色素の位置を特定して輝度値を割り当てることで像のボケと歪が表れないので、そのままでは対比がしにくい。これに対し、本実施形態によれば、第１顕微鏡画像データから像のボケと歪みの両方を低減した処理画像データを生成するので、ボケと歪みの程度を第２顕微鏡画像データに近づけることによって、異なる顕微鏡法による観察の結果を容易に対比することができる。
【００７３】
なお、本実施形態に係る顕微鏡システム１００による顕微鏡観察では、ステップ１４０において、第１顕微鏡画像データを逆畳み込み演算することにより画像データを生成することとしたが、ペアになる第１及び第２顕微鏡画像データが存在する場合、次の学習法により第１顕微鏡画像データから画像データを生成することとしてもよい。すなわち、与えられた第１及び第２顕微鏡画像データｇ，ｓをそれぞれ第１及び第２顕微鏡画像に対応する辞書Ｄｇ，Ｄｓを用いてベクトルαから再現するように、すなわち、ｇ＝Ｄｇα及びｓ＝Ｄｓαを満たすように辞書Ｄｇ，Ｄｓ及びベクトルαを決定することで、第１顕微鏡画像データｇから画像データＤｓＤｇ−１ｇを生成することができる。
【００７４】
辞書Ｄｇ、Ｄｓは、定数γを用いて、次の目的関数Ｌを最小化することで決定される。
【数９】
2018131173.tif 000011
また、第１及び第２顕微鏡画像データｇ，ｓがノイズを含む場合においても辞書Ｄｇ、Ｄｓを正確に決定するために、次のように目的関数ＬをＮ対の第１及び第２顕微鏡画像データｇｊ，ｓｊ（ｊ＝１〜Ｎ）を用いて与えてもよい。
【数１０】
2018131173.tif 000012
【００７５】
目的関数Ｌを最小化するように決定されたベクトルαは、次の２つの式を満たす。
【数１１】
2018131173.tif 000013
【数１２】
2018131173.tif 000014
ここで、ａｒｇｍｉｎα［Ｌ］は関数Ｌを最小にするようにベクトルαを決定する演算子である。式（１２）の右辺括弧内の第１項は誤差項、第２項はスパース正則化項、及びλは定数である。
【００７６】
辞書Ｄｓは、２次計画法により、目的関数Ｌを最小化することにより（すなわち、次式より）決定することができる。
【数１３】
2018131173.tif 000015
例えば確率的勾配効果法を適用して式（１３）右辺を算出することで、辞書Ｄｇを決定することができる。確率的勾配効果法において、第ｋステップの辞書Ｄｇ（ｋ）から第ｋ＋１ステップの辞書Ｄｇ（ｋ＋１）は、学習率ηを用いて、次のように更新される。
【数１４】
2018131173.tif 000016
右辺第２項は、次式を用いて算出される。
【数１５】
2018131173.tif 000017
【００７７】
辞書Ｄｇも、同様の手法により決定することができる。
【００７８】
画像生成部６１は、第零ステップにおける辞書Ｄｇ（０），Ｄｓ（０）（及びベクトルα）を仮定し、これを第１及び第２顕微鏡画像データｇ，ｓとともに式（１４）等に与えて順次、辞書Ｄｇ（ｋ），Ｄｓ（ｋ）を更新する。辞書Ｄｇ（ｋ），Ｄｓ（ｋ）が十分に収束するまで更新することで、辞書Ｄｇ，Ｄｓが決定される。画像生成部６１は、決定された辞書Ｄｇ，Ｄｓを第１顕微鏡画像データｇに適用することで、目的の画像データＤｓＤｇ−１ｇを生成することができる。
【００７９】
式（９）から式（１５）を用いた方法によれば、ノイズを適切に表現する関数を仮定しなくても、第２顕微鏡画像データであるＳＴＯＲＭ画像に含まれる情報を用いて、第１顕微鏡画像から像のボケや歪を低減させた処理画像データを生成することができる。よって、簡便な方法で第１顕微鏡画像データのボケや歪の程度をＳＴＯＲＭ画像に近づけることにより、異なる顕微鏡法による撮像結果の対比を容易にすることができる。
【００８０】
なお、本実施形態に係る顕微鏡システム１００による顕微鏡観察では、低分解能な第１顕微鏡装置３０により得られた顕微鏡画像データから、高分解能な第２顕微鏡装置４０より得られた顕微鏡画像データの情報を用いて画像データを生成したが、これに代えて又はこれとともに、高分解能な第２顕微鏡装置４０より得られた顕微鏡画像データから低分解能な第１顕微鏡装置３０により得られた顕微鏡画像データの情報を用いた画像データを生成してもよい。斯かる場合、ステップ１３０において、ユーザは、例えば、第２顕微鏡装置４０により得られた第２顕微鏡画像データ６２２から、選択されたＺ位置（位置Ｚ０）及び例えば第１顕微鏡装置３０による撮像の際に使用された対物レンズ２１ａの焦点深度に対応する画像６３１を生成することを選択する。
【００８１】
画像生成部６１は、第２顕微鏡画像データから、対物レンズ２１ａの焦点深度の範囲内にある、高い輝度値が割り当てられた点をＺ軸方向に重ねる、或いはＸＹ平面に投影することで対応画像データを生成する。斯かる場合に、Ｚ位置に応じて異なる色彩を用いて処理画像データを生成してもよい。
【００８２】
図９に、生成された処理画像の一例を示す。ここで、画像９０１は、第２顕微鏡画像データにおける対物レンズ２１ａの焦点深度の範囲内にある、高い輝度値が割り当てられた点をＺ軸方向に重ねることで求められた処理画像である。第２顕微鏡画像データがＳＴＯＲＭ画像データなので、任意のＺ位置と、当該Ｚ位置を中心とするＺ軸に沿った任意の範囲を切り出すことができる。よって、共焦点顕微鏡法を用いた第１顕微鏡画像データの焦点深度に対応した処理画像を容易に生成することができ、対比を容易にすることができる。
【００８３】
なお、ステップ２６０において、第２顕微鏡画像データから、対物レンズ２１ａの焦点深度の範囲内にある高い輝度値が割り当てられた点をＺ軸方向に重ねて対応画像データを生成することに代えて、下記の通り、第１顕微鏡装置３０に関する光学条件に基づいて、第２顕微鏡画像データ（ＳＴＯＲＭ画像）を畳み込み演算（コンボリューション）して画像データを生成してもよい。画像６３１（関数Ｉを用いて表す）は、第２顕微鏡画像データＯ及び点拡がり関数ＰＳＦを用いて、次のように算出することができる。
【数１６】
2018131173.tif 000018
ただし、第２顕微鏡画像データＯは、図６より分かるように、予め設定された三次元空間（Ｘ，Ｙ，Ｚ）において特定の輝度値が割り当てられた点の分布として得られている。なお、第２顕微鏡画像データＯは、離散的なＸ，Ｙ，Ｚ座標に関する輝度値の集合であるが、ここでは便宜上、座標Ｘ，Ｙ，Ｚに関する関数として表している。
【００８４】
ここで、点拡がり関数ＰＳＦは位置に依存しない関数により近似できるとすると、式（１６）は次のように書き換えることができる。
【数１７】
2018131173.tif 000019
ただし、点拡がり関数ＰＳＦとして第１顕微鏡装置３０のＰＳＦを用い、かつ、対物レンズ２１ａの焦点深度に対応する深さ範囲について第２顕微鏡画像データＯを畳み込み演算する。第１顕微鏡装置３０のＰＳＦは例えば、光学系２０のＰＳＦ、照明パターンを表現する照明光学系のＰＳＦ、ピンホールのＰＳＦ、それらの積などが挙げられる。
【００８５】
式（１７）の右辺は、離散フーリエ変換を用いて演算することができる。画像生成部６１は、第２顕微鏡画像データＯ及び点拡がり関数ＰＳＦをそれぞれ離散フーリエ変換し、それぞれのフーリエ変換の積を逆離散フーリエ変換することで右辺を演算する。
【００８６】
図９に、画像９０２は、式（１７）で算出された処理画像の一例を示す。画像９０２では、第２顕微鏡画像データを点拡がり関数ＰＳＦを用いた式（６）により畳み込み演算することで、第１顕微鏡画像データに含まれているボケの成分が取り込まれて、画像のＳ／Ｎ比が第１顕微鏡画像データに近いものとなっている。第２顕微鏡データによるＳＴＯＲＭ画像はＳ／Ｎ比が高いので、ボケの成分等によりＳ／Ｎ比が相対的に低い第１顕微鏡画像データによる共焦点顕微鏡法の画像とは比較がしにくい。これに対し、本実施形態によれば、ＳＴＯＲＭ画像の画質のＳ／Ｎ比を共焦点顕微鏡法の画像のＳ／Ｎ比に近づけるので、異なる顕微鏡法で得られた画像データを容易に対比することができる。
【００８７】
上述のとおり画像生成部６１により画像６３１が生成されると、画像出力部６２により画像６３１の画像データが表示部６３に送信され、表示部６３により、生成された画像６３１がステップ１２０にて生成された第１顕微鏡画像データに基づく顕微鏡画像とともに画面上に出力される。
【００８８】
なお、上述の畳み込み演算（コンボリューション）による画像データの生成では、第１顕微鏡装置３０に関する光学条件、すなわち第１顕微鏡装置３０の点拡がり関数を適用して第２顕微鏡画像データを畳み込み演算することとしたが、これに代えて、第２顕微鏡装置４０に関する光学条件、すなわち第２顕微鏡装置４０の点拡がり関数を適用して第２顕微鏡画像データを畳み込み演算してもよい。さらに、点拡がり関数に、第２顕微鏡装置４０に関する収差情報（例えば、残存収差等）或いは第１顕微鏡装置３０の収差情報（ただし、既知の場合）を取り込んで、光学系２０（対物レンズ）の焦点深度に対応するＺ範囲について第２顕微鏡画像データを畳み込み演算することとしてもよい。収差情報を取り込むことで、収差による像の歪みの成分を第２顕微鏡画像データに加えて、第２顕微鏡画像データに基づくＳＴＯＲＭ画像の画質のＳ／Ｎ比をさらに第１顕微鏡画像データの共焦点顕微鏡法の画像のＳ／Ｎ比に近づけるので、互いの画像データをより容易に対比することができる。
【００８９】
なお、本実施形態に係る顕微鏡システム１００による顕微鏡観察では、ステップ１２０において第１顕微鏡装置３０により試料９の複数のＺ位置を撮像してＺスタック画像（例えば、画像６０１〜６０３）を生成したが、試料９の１つのＺ位置のみを撮像してもよい。同様に、ステップ１２０において第２顕微鏡装置４０により試料の複数のＺ位置を撮像してＳＴＯＲＭ画像（画像６２１，６２２）を生成したが、試料９の１つのＺ位置のみを撮像してＳＴＯＲＭ画像を生成してもよい。
【００９０】
なお、本実施形態に係る顕微鏡システム１００による顕微鏡観察では、ステップ１３０においてユーザが比較の対象となる画像を選択することとしたが、これに代えて或いはこれとともに画像処理部６０（画像生成部６１）が画像を自動的に選択することとしてもよい。斯かる場合、撮像条件、特に第１及び第２観察条件に含まれる使用する対物レンズ２１ａ，２１ｂの焦点深度、Ｚ軸の基準位置、Ｚ軸方向のステップ量、撮像する画像数等から画像を選択することができる。
【００９１】
なお、本実施形態に係る顕微鏡システム１００では、第１及び第２顕微鏡装置３０，４０により個別に試料９を撮像することとしたが、第１及び第２顕微鏡装置３０，４０のそれぞれが別個のステージおよび光学系を専用で有していて、同一の試料を個別に撮像してもよい。斯かる場合、試料を保持する保持部材８上に試料に近接してマーカを設け、それぞれの顕微鏡装置により試料を観察する際にマーカを基準に試料の位置を決定することで、互いに等しい範囲について試料を撮像することができる。
【００９２】
なお、本実施形態に係る顕微鏡システム１００において、画像処理部６０は、第１及び第２顕微鏡装置３０，４０で得られる顕微鏡画像データに限らず、顕微鏡システム１００とは別個の顕微鏡装置により得られる画像データを処理してもよい。また、画像出力部６２により、顕微鏡システム１００により得られた顕微鏡画像データを処理して、顕微鏡システム１００とは別個の顕微鏡装置により撮像された顕微鏡画像と顕微鏡システム１００により撮像された顕微鏡画像とを表示部６３の画面上に並べて又は重ねて表示してもよい。
【００９３】
なお、本実施形態に係る顕微鏡システム１００において、第１及び第２照明・撮像部３１，４１の撮像素子は、電荷結合素子（ＣＣＤ）、ＣＭＯＳ等であってよく、また、撮像素子に代えて光電子増倍管（ＰＭＴ）等の受光素子であってよい。また、受光する光の波長に応じて適当な素子を採用してよい。
【００９４】
なお、本実施形態に係る顕微鏡システム１００では、第１及び第２顕微鏡装置３０，４０の顕微鏡法として共焦点顕微鏡法及びＳＴＯＲＭ（確率論的光学再構成法）を採用したが、これに限らず、ＰＥＴ（陽電子断層法）、ＭＲＩ（磁気共鳴画像法）、ＣＴ（コンピュータ断層撮影法）、実体蛍光、落射蛍光、ＳＩＭ（構造化照明顕微鏡法）、ＰＡＬＭ（光活性化局在法）、ＳＴＥＤ（誘導放出制御法）、電子顕微鏡法、原子間力顕微鏡法等のうちの任意の顕微鏡法をそれぞれ採用してもよい。また、本実施形態に係る顕微鏡システム１００は、２つの顕微鏡法をそれぞれ採用する２つの顕微鏡装置を備えることとしたが、これに限らず、３以上の顕微鏡法をそれぞれ採用する３以上の顕微鏡装置を備えてもよい。また、同じ顕微鏡法をそれぞれ採用する少なくとも２つの顕微鏡装置を備えてもよい。
【００９５】
なお、本実施形態に係る顕微鏡システム１００では、試料９を支持するステージ１１をＺ軸方向に駆動することで、対物レンズ２１ａ，２１ｂの焦点に対して試料９を移動する構成を採用したが、これに代えて、対物レンズ２１ａ，２１ｂを支持するレボルバ２２をＺ軸方向に駆動する、或いは光学系２０の光軸Ｌ上に屈折力を有する光学素子を配置し、光軸Ｌに平行な方向に移動することで、対物レンズ２１ａ，２１ｂの焦点に対して試料９を移動する構成を採用してもよい。
【００９６】
なお、本実施形態に係る顕微鏡システム１００では、第１及び第２照明・撮像部３１，４１から照明光を射出する又は止めることで第１及び第２顕微鏡装置３０，４０を稼働又は停止することとしたが、光学系２０の光軸Ｌ上に例えばダイクロイックミラー等のフィルタを配置又は退避し、照明光を光学系２０に送る又は送らないことで、第１及び第２顕微鏡装置３０，４０を稼働又は停止することとしてもよい。
【００９７】
なお、本実施形態に係る顕微鏡システム１００では、対物レンズ２１ａ，２１ｂが試料９を支持するステージ１１の下方に配置され、試料９を下側から観察する倒立型の顕微鏡システムを採用したが、これに代えて、対物レンズ２１ａ，２１ｂがステージ１１の上方に配置され、試料９を上側から観察する正立型の顕微鏡システムを採用してもよい。また、顕微鏡装置毎に、倒立型及び正立型のいずれを採用してもよい。
【００９８】
本実施形態では、第１顕微鏡装置３０で用いる蛍光色素と第２顕微鏡装置４０で用いる蛍光色素との２色の蛍光色素が導入されているが、第１顕微鏡装置３０と第２顕微鏡装置４０とで同じ蛍光色素を用いてもよいし、３色以上の蛍光色素を用いてもよい。また、第１顕微鏡装置３０と第２顕微鏡装置４０の一方または両方が、蛍光色素を用いず、自家蛍光や落射照明により試料９を撮像してもよい。
【００９９】
なお、本実施形態では図８に示すように、第１顕顕微鏡画像または処理画像と、第２顕微鏡画像とが並べて表示部６３に表示される。表示の方法はこれに限られず、処理画像が単独で表示されてもよい。ステップＳ１４０で逆畳み込み演算された処理画像は、もとの顕微鏡画像では見えていなかった微細な構造が表れるので、処理画像を表示することより、試料９の詳細な情報を提供することができる。また、ステップ２６０で畳み込み演算された処理画像にはボケが付加されるので、処理画像を表示することにより遠近感のある画像を提供することができる。なお、第１顕顕微鏡画像、処理画像、第２顕微鏡画像の任意の組み合わせが表示されてもよい。
【０１００】
本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
【０１０１】
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。
【０１０２】
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。
【０１０３】
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【０１０４】
図１０は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ２２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。
【０１０５】
本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、およびディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インタフェース２２２２、ハードディスクドライブ２２２４、ＤＶＤ−ＲＯＭドライブ２２２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０およびキーボード２２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ２２４０を介して入／出力コントローラ２２２０に接続されている。
【０１０６】
ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。
【０１０７】
通信インタフェース２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ−ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ−ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。
【０１０８】
ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、および／またはコンピュータ２２００のハードウェアに依存するプログラムを格納する。入／出力チップ２２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ２２２０に接続してよい。
【０１０９】
プログラムが、ＤＶＤ−ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い情報の操作または処理を実現することによって構成されてよい。
【０１１０】
例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース２２２２に対し、通信処理を命令してよい。通信インタフェース２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ−ＲＯＭ２２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
【０１１１】
また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ−ＲＯＭドライブ２２２６（ＤＶＤ−ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。
【０１１２】
様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
【０１１３】
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。
【０１１４】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
【０１１５】
請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１１６】
８…保持部材、９…試料、９ａ…観察位置、１０…ステージ系、１１…ステージ、１１ａ…開口、１２…センサ、１３…駆動装置、２０…光学系、２０ａ，２０ｂ…焦点面、２１ａ，２１ｂ…対物レンズ、２２…レボルバ、２３…スキャナ、２４…フィルタ、２５…シリンドリカルレンズ、２６…結像光学系、３０…第１顕微鏡装置、３１…第１照明・撮像部、４０…第２顕微鏡装置、４１…第２照明・撮像部、５０…制御部、５１…入力部、６０…画像処理部、６１…画像生成部、６２…画像出力部、６３ａ…表示画面、６３…表示部、６３ｃ，６３ｄ…画像、９９…本体部、１００…顕微鏡システム、６０１〜６０３，６１１…画像、６２１，６２２，６３１…画像、７０１，７０２…画像、９０１，９０２…画像、２２００…コンピュータ、２２０１…ＲＯＭ、２２１０…ホストコントローラ、２２１２…ＣＰＵ、２２１４…ＲＡＭ、２２１６…グラフィックコントローラ、２２１８…ディスプレイデバイス、２２２０…出力コントローラ、２２２２…通信インタフェース、２２２４…ハードディスクドライブ、２２２６…ＲＯＭドライブ、２２３０…ＲＯＭ、２２４０…出力チップ、２２４２…キーボード。
【図１】
2018131173.tif 000020
【図２】
2018131173.tif 000021
【図３】
2018131173.tif 000022
【図４】
2018131173.tif 000023
【図５】
2018131173.tif 000024
【図６】
2018131173.tif 000025
【図７】
2018131173.tif 000026
【図８】
2018131173.tif 000027
【図９】
2018131173.tif 000028
【図１０】
2018131173.tif 000029
【国際調査報告】
2018131173.tif 000030
2018131173.tif 000031
2018131173.tif 000032
2018131173.tif 000033