(57)【特許請求の範囲】
【請求項１】
顕微鏡システムであって、
少なくとも１つの制御可能コンポーネント（５；２３）を有する、データ取得のための顕微鏡（５〜１１；１１、２２〜２６）と、
前記顕微鏡（５〜１１；１１、２２〜２６）の前記少なくとも１つの制御可能コンポーネント（５；２３）のデータ取得の際の制御、及び／又は前記顕微鏡（５〜１１；１１、２２〜２６）により取得された生データのデータ処理を実行するように構成された計算装置（２）と、
前記計算装置（２）に接続された光出力装置（３）と、を備え、
前記顕微鏡（５〜１１；１１、２２〜２６）及び前記計算装置（２）は、複数の調整可能パラメータにそれぞれ設定された値に基づいて前記データ取得及び／又は前記データ処理を実行するように構成されており、
前記計算装置（２）は、調整可能パラメータに応じて、前記光出力装置（３）を介して、グラフィック・データ（１６；３５；４３；４５；６３；８０；９１、９２；９６；１０５；１１５；１２５）を選択的に出力するように構成されており、前記調整可能パラメータは、前記複数の調整可能パラメータからユーザ定義という形で選択され、前記出力されるグラフィック・データ（１６；３５；４３；４５；６３；８０；９１、９２；９６；１０５；１１５；１２５）は、前記選択された調整可能パラメータに割り当てられたものであって、前記データ取得及び／又は前記データ処理の基礎となるプロシージャの少なくとも１つのステップにおける前記選択された調整可能パラメータの影響を表しており、
前記計算装置（２）は、異なる調整可能パラメータにそれぞれ割り当てられた前記グラフィック・データ（１６；３５；４３；４５；６３；８０；９１、９２；９６；１０５；１１５；１２５）を、第１の調整可能パラメータに関連するグラフィック・データが初めに出力され、次いで、前記第１の調整可能パラメータとは異なる第２の調整可能パラメータに関連するグラフィック・データが出力されるように時系列的に出力するように構成され、それによって、前記プロシージャの前記少なくとも１つのステップにおける前記第１の調整可能パラメータと前記第２の調整可能パラメータの両方の影響についての情報を提供する、顕微鏡システム。
【請求項２】
前記計算装置（２）は、前記データ処理において、前記データ取得において収集された複数の２次元フレームから、画像データを計算するように構成されており、
前記計算装置（２）は、前記データ処理に影響を与える少なくとも１つの調整可能パラメータについて、前記光出力装置（３）を介して、前記グラフィック・データ（１６；３５；４３；４５；６３；８０；９１、９２；９６；１０５；１１５；１２５）を出力するように構成されており、前記出力されるグラフィック・データ（１６；４３；４５；６３；９１、９２；９６；１０５；１１５；１２５）は、前記データ処理の基礎となるプロシージャにおける前記選択された調整可能パラメータの影響を表している、請求項１に記載の顕微鏡システム。
【請求項３】
前記複数の調整可能パラメータから選択された所与の調整可能パラメータの値を調整するユーザ入力を受け取るため、前記計算装置（２）に接続された入力装置（４；３２、３４；４２；６２；８２、８４；９４；１０２、１０４；１２２）をさらに備え、
前記計算装置（２）は、前記所与の調整可能パラメータに割り当てられたグラフィック・データ（１６；３５；４３；４５；６３；８０；９１、９２；９６；１０５；１１５；１２５）を自動的に出力するように構成されている、請求項１又は請求項２に記載の顕微鏡システム。
【請求項４】
前記計算装置（２）は、前記選択された調節可能パラメータに設定された値に応じて、前記グラフィック・データ（１６；３５；４３；４５；６３；８０；９１、９２；９６；１０５；１１５；１２５）を出力するように構成されている、請求項１乃至３のいずれかの一項に記載の顕微鏡システム。
【請求項５】
前記計算装置（２）は、さらに別の調整可能パラメータに設定された値に応じて、前記グラフィック・データ（１６；３５；４３；４５；６３；８０；９１、９２；９６；１０５；１１５；１２５）を出力するように構成されており、前記別の調整可能パラメータは前記選択された調整可能パラメータとは異なる、請求項４に記載の顕微鏡システム。
【請求項６】
前記計算装置（２）は、前記データ取得及び／又は前記データ処理が実行される前に、前記グラフィック・データ（１６；３５；４３；４５；６３；８０；９１、９２；９６；１０５；１１５；１２５）を出力するように構成されている、請求項１乃至５のいずれか一項に記載の顕微鏡システム。
【請求項７】
前記顕微鏡システム（１）は、光活性化可能又は光切り替え可能な分子を用いて、前記データ取得及び／又は前記データ処理を実行するように構成されており、
前記計算装置は、前記分子の分子状態の占有確率及び／又は分子状態間の遷移速度を自動的に計算し、かつ、前記グラフィック・データ（１０５；１１５；１２５）が、前記分子の前記分子状態の前記占有確率及び／又は前記分子状態間の前記遷移速度における前記選択された調整可能パラメータの影響を表すように、前記グラフィック・データ（１０５；１１５；１２５）を出力するように構成されており、前記計算装置は、前記データ取得が実行される前に、前記グラフィック・データ（１０５；１１５；１２５）を出力するように構成されている、請求項６に記載の顕微鏡システム。
【請求項８】
前記計算装置（２）は、前記データ取得が実行された後に、前記グラフィック・データ（１６；３５；４３；４５；６３；８０；９１、９２；９６）を出力するように構成されており、
前記計算装置（２）は、前記光出力装置（３）を介して、前記選択された調整可能パラメータに割り当てられた前記グラフィック・データ（１６；３５；４３；４５；６３；８０；９１、９２；９６）に加えて、さらなるグラフィック情報（４４）を出力するように構成されており、前記さらなるグラフィック情報（４４）は、前記データ取得において前記顕微鏡（５〜１１；１１、２２〜２６）により収集された前記生データに応じて生成される、請求項１乃至７のいずれか一項に記載の顕微鏡システム。
【請求項９】
前記顕微鏡システム（２１）は、構造化照明を用いて、前記データ取得を実行するように構成されており、
前記グラフィック・データ（１６；３５；４３；４５；９１、９２；９６）を出力するために選択可能である、前記複数の調整可能パラメータのうちの少なくとも１つは、照明パターンの周期性、前記照明パターンの異なる向きの数、及び、前記顕微鏡（５〜１１；１１、２２〜２６）により取得された前記生データをフィルタリングするためのフィルタ関数、からなるグループから選択される、請求項１乃至８のいずれか一項に記載の顕微鏡システム。
【請求項１０】
前記顕微鏡システム（１）は、光活性化可能又は光切り替え可能な分子を用いて、前記データ取得及び／又はデータ処理を実行するように構成されており、
前記グラフィック・データ（１６；３５；４３；４５；９１、９２；９６）を出力するために選択可能である、前記複数の調整可能パラメータのうちの少なくとも１つは、当てはめステップのためのマスク・サイズ、前記分子の切り替えのための切り替え信号のスペクトル、前記分子の切り替えのための切り替え信号の強度、前記分子の活性化のための活性化信号のスペクトル、及び、前記分子の活性化のための活性化信号の強度、からなるグループから選択される、請求項１乃至９のいずれか一項に記載の顕微鏡システム。
【請求項１１】
前記顕微鏡システム（１）は、光活性化可能又は光切り替え可能な分子を用いて、前記データ取得及び／又はデータ処理を実行するように構成されており、
前記顕微鏡（５〜１１）は、複数の対象物平面（７２、７３）について前記データ取得を実行するように構成されており、前記複数の対象物平面（７２、７３）は互いから離隔しており、
前記顕微鏡（５〜１１）は、前記対象物平面（７２、７３）の位置を調整するように制御可能であり、
前記計算装置（２）は、測定領域（８８）の大きさ及び／又は達成可能な分解能（８９）に対する、前記対象物平面（７２、７３）の前記位置の影響を表す、前記グラフィック・データ（８０）を出力するように構成されている、請求項１乃至１０のいずれか一項に記載の顕微鏡システム。
【請求項１２】
顕微鏡法であって、
前記顕微鏡法は、生データを取得すること、及び複数のステップを含むプロシージャにおいて前記取得された生データを処理すること、を含み、前記生データの取得及び／又は前記取得された生データの前記処理は、複数の調整可能パラメータに設定された値に応じて実行され、
前記顕微鏡法は、調整可能パラメータに応じて、光出力装置（３）を介して、グラフィック・データ（１６；３５；４３；４５；６３；８０；９１、９２；９６；１０５；１１５；１２５）を選択的に出力することをさらに含み、前記調整可能パラメータは、前記複数の調整可能パラメータからユーザ定義という形で選択され、前記出力されるグラフィック・データ（１６；３５；４３；４５；６３；８０；９１、９２；９６；１０５；１１５；１２５）は、前記選択された調整可能パラメータに割り当てられたものであって、前記生データの前記取得及び／又は前記取得された生データの前記処理の基礎となる前記プロシージャの少なくとも１つのステップにおける、前記選択された調整可能パラメータの影響を表しており、
異なる調整可能パラメータにそれぞれ割り当てられた前記グラフィック・データ（１６；３５；４３；４５；６３；８０；９１、９２；９６；１０５；１１５；１２５）は、第１の調整可能パラメータに関連するグラフィックデータが初めに出力され、次いで、前記第１の調整可能パラメータとは異なる第２の調整可能パラメータに関連するグラフィックデータが出力されるように時系列的に出力され、それによって、前記プロシージャの前記少なくとも１つのステップにおける前記第１の調整可能パラメータと前記第２の調整可能パラメータの両方の影響についての情報が提供される、顕微鏡法。
【請求項１３】
前記顕微鏡法は、請求項１乃至１２のいずれか一項に記載の顕微鏡システム（１；２１）を用いて実施される、請求項１２に記載の顕微鏡法。
【請求項１４】
命令コードを記憶する非一時的な記憶媒体であって、
前記命令コードはコンピュータ実行可能命令を含み、これらの命令は、顕微鏡システム（１；２１）の計算装置（２）により実行されることで、請求項１２又は請求項１３に記載の顕微鏡法を実行することを顕微鏡システム（１；２１）に指示する、記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡システム、顕微鏡法、及び顕微鏡システムのためのコンピュータ実行可能命令コードを記憶する記憶媒体に関する。本発明は、特に、生データを取得して、その取得した生データを複数のステップを含むプロシージャで計算的に処理するシステム及び方法に関する。
【背景技術】
【０００２】
顕微鏡は、有機物質及び非有機物質の観察のために、長い期間にわたり、多くの用途で用いられてきた。その期間の大部分を通じて、光学顕微鏡により達成可能な分解能は回折限界により制限されていた。
【０００３】
ごく最近になって、回折限界よりも小さい或いははるかに小さい分解能を提供する高分解能の顕微鏡の実現を可能にする技術が開発された。このような技術の例には、対象物の構造化照明を採用する技術、あるいはルミネセンス顕微鏡法が含まれており、これらの技術では、対象物の位置を高精度で特定することができる。非特許文献１は、そのような技術の概要を提示している。さらなる例示として、そのような技術は、特許文献１又は特許文献２にも記載されている。このような技術を用いることで、対象物の位置を、数ナノメートルから数十ナノメートルの範囲の精度で特定することが可能となった。高分解能のルミネセンス顕微鏡を３次元イメージングに用いることを可能にする方法が、"Method and microscope for performing three-dimensional resolution-enhanced microscopy（３次元の向上した分解能の顕微鏡を実現するための方法及び顕微鏡）"と題する特許文献３、"High-resolution microscope and image splitter arrangement（高分解能の顕微鏡及びイメージスプリッタ構成）"と題する特許文献４、及び"High-resolution microscope and method of determining object positions in two or three dimensions（対象物の位置を２次元又は３次元で特定する高分解能顕微鏡及び方法）"と題する特許文献５に記載されており、これらは全て、本出願の譲受人に譲渡されたものである。
【０００４】
回折限界よりもはるかに小さい分解能の達成を可能にする種々の顕微鏡法の特徴は、データ取得及びデータ処理が複雑な場合があるということである。データ取得においては、複数の個々の２次元（２Ｄ）フレームが対象物から取得され、これらは処理されて、それらから結果として得られる対象物の画像データが計算されることになる。説明のための例として、対象物の構造化照明を採用している方法では、様々に異なる向きの照明パターンを用いて、それら異なる向きの各々について、１つ又は複数の２Ｄフレームを取得することができる。これら種々の２次元のフレームに含まれる情報をコンピュータで処理することにより、対象物の画像が生成される。
【０００５】
さらに説明のための例として、高分解能ルミネセンス顕微鏡法は、光切り替え可能又は光活性化可能な分子を用いることができる。取得される各フレームについて、検出可能な分子が互いに小さすぎる距離の位置にならないことを保証するため、取得される個々の２Ｄフレームの１つ１つについて、ほんのわずかな分子のみが検出可能な状態に切り替えられる。フレームを組み合わせて観察対象の実質的に完全な表現とするためには、１０，０００から２０，０００フレームというように多くのフレーム数が必要となることがある。
【０００６】
このような高分解能の方法では、生データを計算的に処理することにより結果として得られる画像の分解能をさらに向上させるため、調整可能パラメータの値をユーザ定義という形で設定することを可能にしている場合がある。構造化照明を採用する方法の場合、このような調整可能パラメータの例には、照明パターン（例えば、パターンの周期性）、あるいは、フレームが取得される照明パターンの異なる向きの数が含まれる。ルミネセンス顕微鏡を用いる方法の場合、このような調整可能パラメータの例には、発光事象の位置を特定するためにフレームを計算的に評価するのに用いられるフィットマスク、あるいは、切り替え信号のスペクトル及び強度が含まれる。いくつかの異なる対象物平面でフレームが取得される方法の場合、調整可能パラメータは、それらの対象物平面の例えば顕微鏡の軸方向に沿って測定された位置を含むことができる。調整可能パラメータのさらなる例には、位置空間又はフーリエ空間において画像をフィルタリングするのに用いられるフィルタの特性が含まれる。
【０００７】
データ取得及びデータ処理の基礎となるプロシージャの複雑さのため、その根本であるプロシージャにとっての種々の調整可能パラメータの重要性及び影響をユーザが理解することは難しい場合がある。そのような影響を理解することは、特にユーザが実験の実施や生データの処理のために調整可能パラメータの値を設定するそのときに、ユーザとって重要となる。
【０００８】
結果として得られる画像上で調整可能パラメータの影響を示す方法が、ある程度、ユーザが種々の調整可能パラメータの重要性を理解する助けとなることがある。このようなシミュレーション方法は、先に取得されたデータ又はメモリに格納されている典型的データを用いる場合がある。特許文献６は、そのような方法の例を記載している。種々の調整可能パラメータに現在設定されている値を用いてデータ処理を実行することで、その時点で観察されている構造に適した設定をユーザが特定する助けになることがある。しかしながら、それによって、根本であるプロシージャに関する情報が伝えられることはない。そのような情報は、ユーザが種々の調整可能パラメータの重要性及び影響を理解する上での支援のため、また、新しい対象物についてデータ取得及びデータ処理を実行する際にそのような理解を生かすために、特に有効なものとなる。その上、取得されるデータのデータ処理のシミュレーションを特許文献６に記載の方法を用いて実行する場合、まず最初に生データを取得しなければならない。そのようなシミュレーションの結果は、データ取得を計画する場合に限られた価値しかもたない。特に、ルミネセンス顕微鏡によるデータ取得において不可逆的に分子の光切り替えが実施される場合のように、与えられた試料に対してデータ取得を一度だけ実行することができる場合、ユーザは、データ取得における種々の調整可能パラメータの重要性及び影響についても、より良く理解していることが望ましい。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】欧州特許第１１５７２９７号
【特許文献２】独国特許第１０２００６０２１３１７号
【特許文献３】独国特許出願公開第１０２００９０４３７４４号
【特許文献４】独国特許出願公開第１０２００９０６０４９０号
【特許文献５】独国特許出願公開第１０２００９０６０７９３号
【特許文献６】独国特許出願公開第１０２００７０４６４６９号
【非特許文献】
【００１０】
【非特許文献１】L.Schermelleh等 "A Guide to super-resolution fluorescence microscopy（超分解能の蛍光顕微鏡のための指針）"J.Cell Biol. 190(2):165(2010)
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の目的は、顕微鏡システム、顕微鏡法、及びコンピュータ実行可能命令コードを記憶する記憶媒体を提供することであり、それらは、データ取得及び／又はデータ処理を計画する際にユーザを支援する。特に、本発明は、データ取得及び／又はデータ処理のプロシージャが複雑である場合でも、種々の調整可能パラメータの影響についての情報をユーザに提供するシステム又は方法を提供することを目的としている。
【課題を解決するための手段】
【００１２】
本発明により、独立請求項で規定される、顕微鏡システム、顕微鏡法、及びコンピュータ実行可能命令コードを記憶する記憶媒体が提供される。従属請求項は、実施形態を規定する。
【００１３】
一態様により、顕微鏡システムが提供される。顕微鏡システムは、データ取得のための顕微鏡と、計算装置とを備えている。顕微鏡は、少なくとも１つの制御可能コンポーネントを有している。計算装置は、データ取得の際の顕微鏡の上記少なくとも１つの制御可能コンポーネントの制御、及び／又は顕微鏡により取得され提供される生データの処理を実行するように構成されている。顕微鏡システムは、データ取得及び／又はデータ処理を実行するため、複数のステップを含むプロシージャを実施するように構成されてよい。顕微鏡及び計算装置は、複数の調整可能パラメータにそれぞれ設定された値に応じて、データ取得及び／又はデータ処理を実行するように構成されている。顕微鏡システムは、光出力装置を備えている。光出力装置は、計算装置に接続されている。計算装置は、調整可能パラメータに応じて、選択的にグラフィック・データを光出力装置に出力するように構成されており、その調整可能パラメータは、ユーザ定義という形で選択される。光出力装置を介して出力されるグラフィック・データは、データ取得及び／又はデータ処理の基礎となるプロシージャの少なくとも１つのステップにおける、上記選択された調整可能パラメータの影響を表している。
【００１４】
このような顕微鏡システムは、プロシージャの動作について説明する情報を顕微鏡システムのユーザに提供するように構成される。グラフィック・データは、選択された調整可能パラメータに応じて選択的に出力されるため、ユーザは、様々な調整可能パラメータの効果及び影響についての情報を選択的に取り出すことができる。これによって、複数の調整可能パラメータの設定が可能である顕微鏡システムを、ユーザにより制御することが容易となる。
【００１５】
計算装置は、データ取得において収集される複数のフレームから画像データを計算するように構成されてよい。この場合、グラフィック・データは、少なくとも１つの選択可能な調整可能パラメータについて、光出力装置を介して出力されてよく、このとき出力されるグラフィック・データは、データ処理のために実行されるプロシージャにおける、この調整可能パラメータの影響を表している。これは、ユーザがデータ処理の基礎となるアルゴリズムを理解する上での助けとなる。
【００１６】
顕微鏡システムは、ユーザが種々の調整可能パラメータの値を設定することを可能にする入力装置を備えてよい。計算装置は、ユーザが入力デバイスを介して新しい値の設定を現在行っている調整可能パラメータのうちの１つについて、グラフィック・データを自動的に出力するように構成されてよい。これにより、ユーザは、関連の値を現在調整している最中である、調整可能パラメータのその１つについての情報を受け取る。
【００１７】
計算装置は、ユーザ入力に応じてグラフィック・データを調整するように構成されてよい。これにより、ユーザは、対話形式で、選択された調整可能パラメータについての追加情報をユーザ入力に応じて取り出すことができる。
【００１８】
計算装置は、選択された調整可能パラメータに設定されている値に応じてグラフィック・データを出力するように構成されてよい。選択された調整可能パラメータの設定値がユーザにより調整されると、グラフィック・データは適応的に調整されるものとすることができる。これは、後に顕微鏡システムを作動させてデータ取得又はデータ処理を行うために適切な、選択された調整可能パラメータの値をユーザが特定する際の助けとなる。
【００１９】
計算装置は、上記選択された調整可能パラメータとは異なる、さらに別の調整可能パラメータに設定された値に応じて、グラフィック・データを出力するように構成されてよい。これによって、異なる調整可能パラメータ間の相互関係を考慮に入れることができる。説明のための例として、グラフィック・データが、構造化照明パターンを用いてアクセス可能なフーリエ空間を示すものである場合、構造化照明パターンの周期性についての設定値と、照明パターンの異なる向きの数についてのもう１つの設定値と、その両方に応じてグラフィック・データを生成し出力してよい。周期性及び異なる向きの数のうちいずれか一方がユーザによって変更されると、それに応じてグラフィック・データは調整されてよい。
【００２０】
計算装置は、データ取得又はデータ処理が実行される前に、選択可能な調整可能パラメータのうちの少なくとも１つについて、グラフィック・データを出力するように構成されてよい。これにより、データ取得又はデータ処理が引き続き行われるのに先立って、ユーザはグラフィック・データを利用することができる。
【００２１】
グラフィック・データは、様々に異なる種類の情報をユーザに伝えるように生成されてよい。１つの実施方法では、計算装置は、データ取得及び／又はデータ処理の実行において達成可能な速度及び／又は分解能及び／又は感度に対する、選択された調整可能パラメータの影響を表すグラフィック・データを生成するように構成されてよい。そのような情報は、実験を計画する際に利用することができる。代替的あるいは追加的に、グラフィック・データは、データ処理プロシージャについての情報、あるいは、データ取得又はデータ処理のプロシージャのどのステップが、選択された調整可能パラメータによる影響を受けるのかについての情報を含んでいてもよい。グラフィック・データは、データ処理におけるフィルタあるいはフィットマスクの効果を表示するグラフィック情報を含んでいてもよい。グラフィック・データは、構造化照明のための照明パターンの効果を表示する情報を含んでいてもよい。グラフィック・データは、光切り替え可能又は光活性化可能な分子を用いる方法のための光切り替え信号の露光時間又はパワー密度の効果を表示する情報を含んでいてもよい。そのようなプロシージャの様々な例があり、"Photo Activated Localization Microscopy（光活性化ローカライゼーション顕微鏡法）"（ＰＡＬＭ）と呼ばれる手法がこれに含まれる。グラフィック・データは、データ取得チャネルの分離についての情報を含んでいてもよい。
【００２２】
グラフィック・データが生成され出力されているときに、生データの取得が既に行われた場合でも、選択された調整可能パラメータに関連するグラフィック・データに加えて、さらなるグラフィック情報を出力することができる。そのさらなるグラフィック情報は、データ取得において収集された生データに応じて生成されてよい。別の実施方法では、取得された生データをグラフィック・データと組み合わせるか、あるいはグラフィック・データの中に組み込むことができる。
【００２３】
顕微鏡システムは、構造化照明を用いてデータを取得するように構成されてよい。顕微鏡システムは、照明パターンを生成するための装置を備えていてもよい。照明パターンを生成するための装置は、照明パターンの向きを変更することができるように構成されてよい。関連付けられたグラフィック・データを出力するために選択することができる調整可能パラメータのうちの少なくとも１つは、照明パターンの周期性、照明パターンの異なる向きの数、及び、取得された生データのフィルタリングに用いられるフィルタ関数、からなるグループに含まれていてもよい。
【００２４】
顕微鏡システムは、光活性化可能又は光切り替え可能な分子を用いて顕微鏡法を実施するように構成されてよい。説明のための例として、顕微鏡システムは、ＰＡＬＭ法を実施するように構成されてよい。顕微鏡システムは、切り替え信号源を備えていてもよい。顕微鏡システムは、光切り替え信号源を備えていてもよい。関連付けられたグラフィック・データを出力するために選択することができる調整可能パラメータのうちの少なくとも１つは、分子の位置を特定するための当てはめにおいて用いられるマスクのサイズ、切り替え信号のスペクトル、及び、切り替え信号の強度、からなるグループに含まれていてもよい。説明のための例として、グラフィック・データは、取得された生データとの関連で、フィットマスクのサイズを表示するものであってもよい。グラフィック・データは、追加的あるいは代替的に、切り替え信号のスペクトル又は強度が、着色料又は色素の異なる状態間の遷移速度に対してどのように影響を与えるのかを表示するものであってもよい。グラフィック・データは、この情報を表示するため、ヤブロンスキー図を含んでいてもよい。
【００２５】
顕微鏡システムは、光活性化可能又は光切り替え可能な分子を用いて顕微鏡法を実施するように構成されてよい。顕微鏡システムは、切り替え信号源を備えていてもよい。顕微鏡システムは、さらに、複数の対象物平面についてデータ取得を実施するように構成されてよく、それらの対象物平面は互いから離隔されている。顕微鏡は、対象物平面の位置を調整するためのコンポーネントを備えることができる。対象物平面の位置を調整するためのコンポーネントは、調整可能なレンズ又は調整可能なマイクロレンズ配列を含んでいてもよい。代替的あるいは追加的に、対象物平面の位置を調整するためのコンポーネントは、イメージスプリッタ装置を含んでいてもよい。イメージスプリッタ装置は、検出された光の様々な成分を、調整可能な光路長をもつ異なる光路に導くことができ、このとき異なる光路が制御されることで、対象物平面の位置が調整される。計算装置は、対象物平面について設定された位置に応じて、グラフィック・データを生成するように構成されてよい。グラフィック・データは、測定領域の大きさ、及び／又は、ビーム経路の軸方向に達成可能な分解能に対して、対象物平面の位置がどのように影響を与えるのかを示すように生成されてよい。
【００２６】
別の態様により、顕微鏡法が提供される。この方法では、データ取得が実施されて、これにより、生データが取得される。続いてデータ処理が実行され、これにより、取得された生データが計算的に処理される。データ取得及び／又はデータ処理は、複数の調整可能パラメータに設定された値に応じて実行される。データ取得及びデータ処理は、複数のステップを含むプロシージャに従って実行されるものとすることができる。グラフィック・データが、光出力装置に選択的に出力される。グラフィック・データは、ユーザ定義という形で上記複数の調整可能パラメータから選択された調整可能パラメータに応じて、選択される。グラフィック・データは、選択された調整可能パラメータと関連付けられたものである。グラフィック・データは、データ取得及び／又はデータ処理の基礎となる上記プロシージャの少なくとも１つのステップにおける、選択された調整可能パラメータの影響を表している。
【００２７】
顕微鏡システムに関連させて説明したように、この顕微鏡法は様々な実現方法を用いてよい。
【００２８】
この顕微鏡法は、本明細書に記載の態様又は実施形態のいずれか１つによる顕微鏡システムを用いて実施してよい。
【００２９】
本発明の別の態様により、コンピュータプログラムを記憶する非一時的な記憶媒体が提供される。コンピュータプログラムは、コンピュータ実行可能命令のシーケンスを含んでいる。これら一連の命令が顕微鏡システムの計算装置により実行されると、これらの命令によって、顕微鏡システムは、本明細書に記載の態様又は実施形態のいずれか１つの方法を実施するように指示される。
【００３０】
実施形態に係るシステム及び方法は、複雑な顕微鏡法のために用いてよい。特に、実施形態に係るシステム及び方法は、複数のフレームがまず取得され、続いてそれらが処理されることで、計算的に画像データが決定される顕微鏡法のために用いてよい。
【００３１】
本発明の実施形態により達成される様々な特徴及び効果について、また、これらの効果が達成される様子について、図面を参照して詳細に説明される典型例としての実施形態を参照して、より詳細に記述する。
【図面の簡単な説明】
【００３２】
【図１】図１は、ある実施形態に係る顕微鏡システムの概略図である。
【図２】図２は、別の実施形態に係る顕微鏡システムの概略図である。
【図３】図３は、ある実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。
【図４】図４は、図３に示した実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。
【図５】図５は、図３、図４に示した実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。
【図６】図６は、別の実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。
【図７】図７は、別の実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。
【図８】図８は、別の実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。
【図９】図９は、図８に示した実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。
【図１０】図１０は、３次元発光イメージングのための顕微鏡システムの動作を示している。
【図１１】図１１は、別の実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。
【図１２】図１２は、別の実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。
【図１３】図１３は、図１２に示した実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。
【図１４】図１４は、別の実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。
【図１５】図１５は、図１４に示した実施形態に係る顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。
【図１６】図１６は、別の実施形態に係るルミネセンス顕微鏡法を実施するための顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。
【図１７】図１７は、図１６に示した実施形態に係るルミネセンス顕微鏡法を実施するための顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。
【図１８】図１８は、別の実施形態に係るルミネセンス顕微鏡法を実施するための顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。
【図１９】図１９は、別の実施形態に係るルミネセンス顕微鏡法を実施するための顕微鏡システムのグラフィカル・ユーザインタフェースを模式的に示している。
【発明を実施するための形態】
【００３３】
本発明の実施形態についてより詳細に説明する。実施形態の説明は、決して本発明を制限するものではなく、単なる例示と解釈されるべきものである。一部の実施形態については、構造化照明を採用する技術（"構造化照明顕微鏡法"、ＳＩＭ）及び／又はＰＡＬＭ法を背景におくなどして、特定の顕微鏡技術との関連で説明を行うが、実施形態は、これら特定の適用領域に限定されるものではない。種々の実施形態の特徴は、以下の説明において明確に除外されていない限り、相互に組み合わせることができる。
【００３４】
図１は、ある実施形態に係る顕微鏡システム１の概略図である。顕微鏡システム１は、計算装置２を有している。計算装置２は、顕微鏡の少なくとも１つの制御可能コンポーネントを制御し、また、顕微鏡により取得したフレームを処理することで、顕微鏡で取得した複数のフレームを計算的に結合して対象物の画像を得る。計算装置２は、光出力装置３に接続されている。光出力装置３は、ディスプレイであってよい。計算装置２は、さらに詳しく説明するように、光出力装置３にグラフィック・データ１６を出力するように構成されており、これは、データ取得及び／又はデータ処理の基礎となるプロシージャについての情報をユーザに提供する。
【００３５】
顕微鏡システム１は、試料の画像を向上した分解能で生成するように構成されている。顕微鏡システム１は、光活性化可能な分子の発光信号を検出することにより、その画像を生成するように構成されてよい。そのようなプロシージャ及び技術の例は、当該分野において、以下の名で知られている：ＰＡＬＭ（"Photo Activated Localization Microscopy（光活性化ローカライゼーション顕微鏡法）"）、ＦＰＡＬＭ（"Fluorescence PhotoActivation Localization Microscopy(蛍光光活性化ローカライゼーション顕微鏡法）"）、ＳＴＯＲＭ（"Stochastic Optical Reconstruction Microscopy（確率的光学再構成顕微鏡法）"）、ＳＰＤＭ（"Spectral Precision Distance Measurement（スペクトル精密距離測定法）"）、ＰＡＬＭＩＲＡ（"PALM with Independently Running Acquisition（独立取得型ＰＡＬＭ）"）、ＧＳＤＩＭ（"Ground State Depletion and Individual Molecular return（基底状態抑制及び個別分子復帰）"）、又はｄＳＴＯＲＭ（"direct STORM（直接ＳＴＯＲＭ）"）。これらは、さらなる参照として、非特許文献１において例示されている。
【００３６】
顕微鏡により、試料１９の複数のフレームが取得される。試料１９は、色素ＤＲＯＮＰＡ（国際公開第２００７／００９８１２号を参照）又は色素ＤＥＮＤＲＡ（Gurskaya等, Nature Biotech.Vol.24, pp.461-465, 2006年、を参照）でマークすることができる。色素分子の活性化及びルミネセンス励起のために、顕微鏡は、少なくとも１つのレーザ１２、１３を含む放射線源５を有している。活性化放射線とルミネセンス活性化の波長が異なっていてもよい例示の実施形態では、放射線源５は、２つのレーザ１２、１３を備えている。２つのレーザ１２、１３の出力ビームは、ビーム結合器１４で結合してもよい。レーザ１２及び１３のうちの１つは、４０５ｎｍ波長の放射線（活性化ビーム）を出力してもよい。レーザ１２及び１３の他方は、４８８ｎｍ波長の放射線（ルミネセンス励起、及び非活性化）を出力してもよい。活性化とルミネセンス励起を同じ波長で行うことができる色素が用いられる場合、放射線源５は、１つのみのレーザを備えてもよい。上記の色素ＤＥＮＤＲＡは、分子活性化とルミネセンス励起を同じ波長で行うことができる色素の典型例である。
【００３７】
光学フィルタ１５が、ビーム結合器１４の下流に設けられている。光学フィルタ１５は、音響光学フィルタ１５であってよい。光学フィルタ１５は、波長選択のために用いられる。光学フィルタ１５は、また、放射線源５から出力されるレーザ波長の迅速な切り替えのため、及び／又は放射線源５から出力される複数のレーザ波長の１つを選択的に減衰させるためにも用いられる。レンズ６又はその他の光学部品により、放射線源５から出力されるビームが集束されて、ダイクロイック・ビームスプリッタ７を介して対物レンズ８の瞳に入射する。レンズ６、ダイクロイック・ビームスプリッタ７及び対物レンズ８は、放射線源５により出力される放射ビームを広視野照明として試料１９に入射させるように構成されている。
【００３８】
試料１９から出力されるルミネセンス放射は、対物レンズ８上に収集される。ダイクロイック・ビームスプリッタ７は、ルミネセンス放射を通過させるように構成されている。ルミネセンス放射は、フィルタ９及びチューブレンズ１０を介して検出器１１に衝突する。検出器１１は、マトリクス検出器であってよい。検出器１１は、ＣＣＤ検出器であってよい。
【００３９】
計算装置２は、顕微鏡に接続されている。顕微鏡システム１において、計算装置２は、顕微鏡の動作の制御と、顕微鏡により取得した生データの処理の両方を行う。顕微鏡を制御するため、計算装置２を、例えば放射線源５に接続してもよい。計算装置２は、放射線源５によりレンズ６に向けて出力される放射の強度又はスペクトルを制御するように構成されてよい。これにより、色素活性化のために用いられる放射、又はルミネセンス励起のために用いられる放射のうち、１つが選択的に出力されるようにすることができる。顕微鏡は、さらに追加のコンポーネントで、やはり制御可能であるものを含んでいてもよい。説明のための例として、観察深さを調整するための装置を設けてもよい。これにより、ＰＡＬＭによるデータ取得を、対象物の異なる平面について、選択的に実施することができる。１つの実施方法では、観察深さを選択するための装置は、時空間パルス整形を実行するものとすることができる。これにより、深さ分解能は、D.Oron等、"Scanningless depth-resolved microscopy（スキャンレス深さ分解顕微鏡法）"、Optics Express 13, 1468(2005)に記載されているように、多光子励起を用いて達成することができる。顕微鏡の制御可能コンポーネントのその他の構成及び実現を、さらに別の実施形態で用いることができる。
【００４０】
計算装置２は、さらに、多数のフレームから対象物１９の画像データを計算するように構成されている。説明のための例として、対象物１９の画像データを生成するために、１０，０００より多くのフレームが計算的に処理されてもよい。計算装置２は、取得された発光信号に対して非線形数学的操作を実行してもよい。このために、計算装置２は、取得されたフレームの複数の画素の１つ１つについて、取得された信号の強度の冪関数又は指数関数を計算してもよい。また、代替的あるいは追加的に、計算装置２は、ガウス型フィット関数を、測定された強度分布と照合して、これにより、取得されたフレーム内で分子の位置を特定することができる。顕微鏡がさらに３次元（３Ｄ）ルミネセンス顕微鏡法を実施するように構成されている場合、計算装置２は、さらに分子画像を自動的にグループ分けしてもよい。これにより、互いに対応している発光信号が、異なる対象物平面と関連付けられた異なるフレームにおいて同定される。
【００４１】
従って、顕微鏡システム１において結果として得られる対象物１９の最終的な画像の生成は、複雑なプロシージャで行われており、その根本であるデータ処理の詳細については、ユーザには分かっていない場合がある。そのプロシージャは、複数の調整可能パラメータに依存しており、ユーザはそれらに種々の値を設定することができる。これらの調整可能パラメータは、試料の中の色素分子に対する切り替え信号の強度及びスペクトル、使用されるフィットマスクの大きさ、あるいは、画像ノイズ又はそれに類するものを抑制するためにフレームをフィルタリングするフィルタ関数を含んでもよい。ユーザは、入力装置４で、これら種々の調整可能パラメータの値を設定してもよい。以下でより詳細に説明するように、計算装置２は、データ取得及び／又はデータ処理の基礎となるプロシージャにおける調整可能パラメータの影響を表示するため、光出力装置３に情報を出力する。データは、自動的に出力されるか、あるいは、専用のユーザ操作に応えて出力されてもよい。
【００４２】
図２は、別の実施形態に係る顕微鏡システム２１の概略図である。この顕微鏡システム２１の構成要素のうち、それらの構成又は動作に関して、顕微鏡システム１の構成要素に対応しているものは、図１と同じ参照番号を付して示している。顕微鏡システム２１は、構造化照明を用いて、向上した分解能で試料を画像化するように構成されている。
【００４３】
顕微鏡システム２１は、照明装置２２、少なくとも１つのパターン・ジェネレータ２３、照明レンズ２４又はその他の光学部品、試料ホルダ２５、結像光学系２６、及び検出器１１を備えている。構成要素２２、２４〜２６及び１１は、光顕微鏡及び光学的測定・分析技術で知られているような構成を有するものとすることができる。説明のための例として、構成要素２２、２４〜２６及び１１は、光学分光計で用いられるような構成のものであってよい。
【００４４】
パターン・ジェネレータ２３は、一般に、対象物１９に衝突する際に所定の空間的パターンをもつ照明条件を生成するように構成されている。パターン・ジェネレータ２３は、所定の１次元又は２次元の透過特性を有するマスクとするか、あるいはそれを含むものであってよい。マスクは、回折格子あるいは位相格子によって形成することができる。マスクは、マトリクス配列の複数の反射画素又は透過画素を含んでもよい。パターン・ジェネレータは、"デジタルミラーデバイス"（ＤＭＤ）又は液晶マトリクス構成を含んでもよい。また、代替的あるいは追加的に、パターン・ジェネレータ２３は、干渉パターンを生成するためのミラー構成を含むことができる。パターン・ジェネレータ２３は、図２では照明光源２２とレンズ２４との間に配置されるように示されているが、レンズ２４と対象物１９との間にパターン・ジェネレータを配置してもよい。パターン・ジェネレータ２３を、対象物１９に直接設けてもよい。
【００４５】
様々に異なるパターンの生成を制御するため、パターン・ジェネレータ２３には、計算装置２が接続されている。計算装置２は、さらに、照明パターンの異なる位置及び異なる向きについて検出器１１により取得される複数のフレームから、対象物１９の画像を再構築するように構成されている。計算装置２は、対象物の画像を再構築するために特許文献１に記載されている方法を実施してもよい。計算装置２は、照明パターンの異なる位置又は向きについて取得された複数のフレームを計算的に結合して、対象物の１つの結果画像を得るために、その他の適切な方法を実施してもよい。
【００４６】
顕微鏡システム２１では、複雑なプロシージャを用いて、結果として得られる対象物１９の最終的な画像が生成される。そのプロシージャは、種々の調整可能パラメータに依存しており、それらの値はユーザ定義という形で設定してもよい。調整可能パラメータは、照明パターンの周期性、照明パターンの異なる向きの数、あるいは、取得されたフレームをフィルタリングするフィルタ関数を含んでもよい。ユーザは、入力装置４で、これらの調整可能パラメータの値を設定してもよい。以下でより詳細に説明するように、計算装置２は、光出力装置３にグラフィック情報を出力するように構成されている。出力されるグラフィック・データは、データ取得及び／又はデータ処理の基礎となるプロシージャにおける調整可能パラメータの影響を表示している。計算装置２は、グラフィック・データを自動的に出力するか、あるいは、専用のユーザ操作に応えて出力するように構成されてよい。
【００４７】
様々な実施形態に従って、顕微鏡システムの計算装置２はユーザに情報を出力する。この情報は、特にグラフィック・データであってよい。グラフィック・データは、複数の調整可能パラメータの様々なユーザ設定のうちのいずれか１つが、データ取得及び／又はデータ処理のプロシージャにどのように影響するのかを示してよい。これは、ユーザが、顕微鏡システムの動作を直感的に理解する際の助けとなる。ユーザは、データ取得又は取得された生データのデータ処理を実行するために種々の調整可能パラメータの値をユーザが設定している過程にあるそのときに、プロシージャについての情報の提供を受けることができる。取得された生データの処理は、コンピュータを用いた複数のフレームの処理を含んでよく、これにより、対象物の画像データが生成される。このような処理は、構造化照明を用いる顕微鏡法において、あるいはＰＡＬＭ法及びその変形手法において、採用される。
【００４８】
調整可能パラメータの影響を表示するために顕微鏡システムによりユーザに出力される情報は、特に、グラフィック・データを含むものとすることができる。そのグラフィック・データは、アニメーション・データであってもよい。グラフィック・データは、ビデオ・シーケンスに含まれてもよく、あるいは、ビデオ・シーケンスと関連付けられてもよい。グラフィック・データは、複数の調整可能パラメータのどの１つが、その調整可能パラメータに割り当てられる値を設定するためにユーザにより選択されたのかによって、選択的に出力されるものとすることができる。また、グラフィック・データは、調整可能パラメータの特定の１つについての情報を求める専用のユーザ要求に応えて、その調整可能パラメータに割り当てられる値をユーザが調整する必要がなくても、選択的に出力されてもよい。グラフィック・データは、対話形式で出力されてもよく、この場合、グラフィック・データはユーザ入力に応じて調整される。グラフィック・データは、ユーザが調整可能パラメータの値を調整する際に、その選択された調整可能パラメータの影響を表示するように、生成されてもよい。グラフィック・データに加えて、出力情報は音声データも含んでもよい。
【００４９】
一部の実施方法では、データ取得及び／又はデータ処理について説明するために用いられる、少なくとも１つの調整可能パラメータのためのグラフィック・データは、取得された生データとは独立のものである。これによって、何らかの生データが取得されるよりも前に、情報の提供が行われることが可能である。
【００５０】
一部の実施方法では、プレビュー画像が生データから計算的に決定されて、グラフィック・データに追加して出力されるようにすることができる。プレビュー画像は、種々の調整可能パラメータの現在の設定値が、データ処理により結果として得られる画像データにどのように影響するのかを示すものとすることができる。
【００５１】
このようなグラフィック・データを出力することにより、データ取得及び／又はデータ処理を計画している過程のユーザを支援するための情報が、ユーザに対して提供される。説明のための例として、データ取得を計画している過程のユーザを支援するために出力されるグラフィック・データは、データ取得プロシージャの速度、感度、及び分解能に対する調整可能パラメータの影響を示すグラフィック・データとすることができる。また、代替的あるいは追加的に、データ処理プロシージャを説明するグラフィック・データが提供されてもよい。これは、ユーザが、露光時間、レーザパワー、構造化照明（即ち、ＳＩＭ法）を用いる画像取得のパラメータ、ＰＡＬＭ法のパラメータなど、各種パラメータの値を選択する際の助けとなる。データ処理を計画しているユーザを支援するために、ＳＩＭ又はＰＡＬＭ法のデータ処理に用いられるフィルタの動作を表示するグラフィック・データを出力してもよい。また、代替的あるいは追加的に、ＰＡＬＭ法で分子の位置を特定するのに用いられるフィットマスクの動作及び効果を表示するグラフィック・データを出力してもよい。
【００５２】
以下、図３〜９及び１１〜１９を参照しながら、グラフィカル・ユーザインタフェースの実現方法について説明する。このようなユーザインタフェースは、図１の顕微鏡システム１又は図２の顕微鏡システム２１において用いることができる。複数の調整可能パラメータのどの１つをユーザが選択して、それについての情報を要求しているのかによって、複数のグラフィック表現のうちの１つを選択的に、根本にある技術の説明のために出力することができる。顕微鏡システムは、ユーザが異なる調整可能パラメータを次々と選択して、それらについての情報を要求した場合に、異なるグラフィック・データを順次出力するように構成されてよい。いずれのグラフィック・データの場合でも、その出力は、以下、図３〜９及び図１１〜１９を参照して説明するようにして、実現することができる。
【００５３】
図３〜５は、グラフィカル・ユーザインタフェースを模式的に示している。グラフィカル・ユーザインタフェースは、顕微鏡システムの光出力装置３に出力されるものであってよい。顕微鏡システムは、ＳＩＭ法によりデータ取得を行うように構成されてよい。図３〜５は、ｋ空間の体積を表すグラフィック・データの出力を示している。表示されるｋ空間の体積は、それぞれ、構造化照明を用いてサンプリングすることができる逆（即ち、ｋ）空間の体積とすることができる。
【００５４】
グラフィカル・ユーザインタフェースは、第１の調整可能パラメータに現在設定されている値を表示するための表示領域３１を有している。グラフィカル・ユーザインタフェースは、ユーザが第１の調整可能パラメータの値を調整することを可能にする調整エレメント３２を表示する。グラフィカル・ユーザインタフェースは、第２の調整可能パラメータの設定値を表示するための表示領域３３と、この第２の調整可能パラメータの設定値をユーザが調整することを可能にする調整エレメント３４とを有している。説明のための例として、第１の調整可能パラメータは、照明パターンの周期性であってよい。第１の調整可能パラメータは、照明パターンのライン間隔とすることができる。第２の調節可能パラメータは、生データの取得が行われる、照明パターンの異なる向きの数であってよい。
【００５５】
グラフィカル・ユーザインタフェースには、グラフィック・データ３５が出力される。出力されるグラフィック・データ３５は、第１の調整可能パラメータ及び第２の調整可能パラメータが、ＳＩＭによるデータ取得及びデータ処理のプロシージャにどのように影響するのかを示す。図に３〜５に示すように、グラフィック・データ３５は、ユーザによる設定に従った照明パターンの周期性及び異なる向きの数でＳＩＭプロシージャが実施される場合にサンプリングが行われるｋ空間の体積を表している。顕微鏡システムの計算装置は、ユーザにより設定された照明パターンの周期性及び向きの数の値に応じて、ｋ空間体積の境界を計算してもよい。計算装置は、計算された境界に応じて、光出力装置３を制御することができる。計算装置は、さらに追加情報が出力されるように光出力装置３を制御してもよい。図３〜５に示すように、等方性分解能に相当するグラフィック表示３７を出力することができる。これは、結果として得られる分解能がほぼ等方性分解能であるように、第１の調整可能パラメータ及び第２の調整可能パラメータの値をユーザが決定する際の助けとなる。また、代替的あるいは追加的に、所望の目標分解能を表すグラフィック表示３７が生成されてもよい。この場合のグラフィック表示３７は、目標分解能での構造の分解を可能とするために、少なくともサンプリングが行われなければならないｋ空間の体積を示す。
【００５６】
グラフィック・データ３５は、第１の調整可能パラメータ及び第２の調整可能パラメータにそれぞれ設定されている値に応じて生成されてもよい。これらの値のうちの１つが調整されると、それに応じてグラフィック・データ３５が調整されてよい。
【００５７】
図４は、照明パターンの空間周期性の設定値がユーザにより変更された場合に、グラフィック・データがどのように変更されるのかを典型例で示している。ユーザに対して出力される、ＳＩＭプロシージャでカバーされるｋ空間体積の境界は、図３におけるライン３６から図４におけるライン３８にシフトする。図５は、照明パターンの異なる向きの数の値をユーザが調整した場合に、グラフィック・データがどのように変更されるのかを典型例で示している。ユーザに対して出力されるｋ空間体積の境界は、ライン４０にシフトする。
【００５８】
グラフィック・データ３５は、ユーザが調整エレメント３２、３４のうちの１つをアクティブにしたときに、自動的に出力されてよい。別の表現をすると、ユーザが第１の調整可能パラメータ（例えば、周期性）又は第２の調整可能パラメータ（例えば、照明パターンの異なる向きの数）のうちの１つを調整すると、グラフィック・データ３５が自動的に出力されるようにしてもよい。また、代替的あるいは追加的に、データ取得又はデータ処理の実施のためのプロシージャについての情報をユーザが要求していることを示すユーザ操作に応えて、グラフィック・データ３５が選択的に出力されるようにしてもよい。
【００５９】
図６は、顕微鏡システムの光出力装置３に出力されるグラフィカル・ユーザインタフェースを模式的に示している。このグラフィカル・ユーザインタフェースは、データ処理におけるフィルタの効果を表示するグラフィック・データを含んでいる。顕微鏡システムは、取得された生データのフィルタリングがその中で行われる、ＳＩＭプロシージャ、ＰＡＬＭプロシージャ、あるいはその他のプロシージャに従って顕微鏡法を実施するように構成されてよい。
【００６０】
グラフィカル・ユーザインタフェースは、調整可能パラメータの値を表示するための表示領域４１と、この調整可能パラメータの設定値を変更するための調整エレメント４２とを有している。説明のための例として、調整可能パラメータは、生データのフィルタリングに用いられるフィルタのカットオフ周波数又はライン幅であってよい。様々な顕微鏡法により、ノイズ抑制のために生データのフィルタリングが用いられている。生データは、ＳＩＭプロシージャ又はＰＡＬＭのプロシージャにおいて取得されたフレームとすることができる。フィルタ又はフィルタ特性についての情報を提供することで、調整可能パラメータの適切な設定を見つける際にユーザを支援することができる。これによって、ユーザが情報損失につながるような調整可能パラメータの値を選択するリスクを軽減することができる。
【００６１】
グラフィカル・ユーザインタフェースは、データ処理プロシージャのフィルタリング・ステップにおける調整可能パラメータの影響を表示するグラフィック・データ４３を含んでいる。一部の実施方法では、フィルタ特性又はフィルタの伝達関数が、空間周波数の関数として表示されるようにしてもよい。調整可能パラメータの値がユーザ入力に応じて変更されると、この新しい設定値に適応させて、グラフィック・データ４３が調整されるようにしてもよい。
【００６２】
フィルタ特性は、生データの取得が既に実施された後に、ユーザにより設定されてもよい。この場合、先に取得された生データを用いて、プレビュー画像４４が生成されるようにしてもよい。プレビュー画像４４は、フィルタ特性に設定された値を用いて生成されてもよい。プレビュー画像４４は、グラフィック・データ４３と組み合わせて、グラフィカル・ユーザインタフェースに出力してもよい。
【００６３】
図７は、顕微鏡システムの光出力装置３に出力することができるグラフィカル・ユーザインタフェースを模式的に示している。このグラフィカル・ユーザインタフェースにより出力されるグラフィック・データは、データ処理プロシージャがどのように実行されるのかを示し、説明する。このグラフィカル・ユーザインタフェースの出力が行われる顕微鏡システムは、複数の異なる処理ステップを含むデータ処理プロシージャにより複雑なデータ処理が実行される、ＳＩＭプロシージャ、ＰＡＬＭプロシージャ、あるいはその他のプロシージャに従って顕微鏡法を実施するように構成されてよい。グラフィカル・ユーザインタフェースは、調整可能パラメータの値を出力するための表示領域４１と、ユーザが調整可能パラメータの設定値を調整することを可能にする調整エレメント４２とを有している。
【００６４】
グラフィカル・ユーザインタフェースには、グラフィック・データ４５が出力される。グラフィック・データ４５は、データ処理のプロシージャを図式的に示している。データ処理のワークフローの様々に異なる表現方法のうち任意の１つを用いることができる。説明のための例として、図７に示すようにフローチャート表現を用いてもよい。また、代替的あるいは追加的に、フーリエ空間又は画像空間における、ワークフローのいろいろなステップの効果を表示する図式表現を用いることができる。
【００６５】
グラフィック・データ４５は、ユーザにより選択された調整可能パラメータに応じて、生成され出力されてよい。説明のための例として、グラフィック・データ４５は、複数のステップ４６〜５６を含むプロシージャについて生成及び出力され、選択された調整可能パラメータにより直接影響されるステップ４９、５１、５３が強調表示されるようにしてもよい。グラフィック・データ４５を理解する助けとなるように、グラフィック・データ４５の中にテキスト情報を組み込んでもよい。説明のための例として、ブロック４６は、テキスト情報"ＳＩＭデータ処理"を含んでいてもよい。ブロック４７〜５１はそれぞれの処理テップが、前処理（ブロック４７）のステップであって、バックグラウンド信号の除去（ブロック４８）、スケーリングの実行（ブロック４９）、ＳＩＭイメージングの異なるイメージング・オーダーの分離（ブロック５０）、及び、中間結果の記憶（ブロック５１）のステップであることを説明するテキスト情報をそれぞれ含むことができる。ブロック５２〜５６は、それぞれのブロックがメイン処理（ブロック５２）に対応していることを説明するテキスト情報を含んでいてもよく、その処理では、ｋ空間画像の異なるオーダーがシフトされ（ブロック５３）、信号対ノイズ比に応じて混合情報が決定され（ブロック５４）、フィルタリング（ブロック５５）及び逆変換（ブロック５６）が実行される。グラフィック・データ４５は、後処理についての追加ブロックを含んでいてもよい。後処理は、クリッピング、等方性分解、及びカラーチャネルのアラインメントのステップを含んでいてもよい。
【００６６】
図８及び９は、顕微鏡システムの光出力装置３に出力されるグラフィカル・ユーザインタフェースを模式的に示している。表示されるグラフィック・データは、分子の位置を特定する際のフィットマスクの影響について説明するために、生成され出力される。このグラフィカル・ユーザインタフェースを用いる顕微鏡システムは、フィットマスクと取得した生データとの照合がその中で行われる、ＰＡＬＭプロシージャ又はその他のプロシージャに従って顕微鏡法を実施するように構成されてよい。このようなプロシージャの例には、分子の位置を特定するため、フィットマスクが生データに重畳されるルミネセンス顕微鏡法のプロシージャが含まれる。
【００６７】
グラフィカル・ユーザインタフェースは、調整可能パラメータの値を表示するための表示領域６１を有している。グラフィカル・ユーザインタフェースは、ユーザが調整可能パラメータの設定値を調整することを可能にする調整エレメント６２を有している。調整可能パラメータは、ガウス型フィットマスクのサイズとすることができる。そのようなフィットマスクは、ＰＡＬＭプロシージャのデータ処理において、あるいは関連の顕微鏡法プロシージャにおいて用いることができる。グラフィカル・ユーザインタフェースを介してフィットマスクについての情報を出力することで、適切なフィットマスクを選択する際のユーザを支援することができる。
【００６８】
グラフィカル・ユーザインタフェースを介して出力されるグラフィック・データ６３は、分子の位置を特定するのに用いられるフィットマスクのサイズの影響を図式的に示している。調整可能パラメータの値が変更されると、グラフィック・データ６３は、ユーザにより設定されたフィットマスク・サイズの新しい値に対応するように適応的に変更されるものとすることができる。グラフィック・データ６３において、フィットマスクは、カメラ信号又はカメラ信号の一部分に重畳されるものとすることができ、これによって、フィットマスクの適切なサイズを選択する際のユーザを支援する。
【００６９】
グラフィック・データ６３は、一つの分子のカメラ信号６４又は６６を含む。生データの取得が行われた後にグラフィック・データ６３が出力された場合は、カメラ信号６４又は６６は、その生データ取得において収集されたデータであってよい。あるいは、計算装置は、グラフィック・データ６３に組み込まれる典型的データのライブラリを備えていてもよい。典型的データは、データ取得に影響を与える様々な調整パラメータに設定された値に応じた、分子の特徴的画像を表してもよい。また、計算装置は、シミュレーションプロセスを用いて典型的データ６４又は６６を生成するように構成されていてもよい。図８及び９においては、濃度の異なるハッチング線を用いて、輝度レベルの違いを示している。
【００７０】
グラフィック・データ６３は、さらに、フィットマスクの表示６５を含んでいる。このフィットマスク表示６５は、カメラ信号に重畳されて示される。ユーザが調整エレメント６２を用いて調整可能パラメータの値を調整すると、それに応じてフィットマスク表示６５は変更される。
【００７１】
図１０及び１１を参照して、３次元画像の生成を可能にするルミネセンス顕微鏡の方法及びシステムと関連させて、グラフィック・データの出力について説明する。３次元のＰＡＬＭプロシージャは、そのような方法及び対応する顕微鏡システムの典型例である。顕微鏡システムは、そのような３次元画像の生成を可能とするため、観察深さを選択するための装置を含んでいてもよい。
【００７２】
図１０は、３次元ルミネセンス顕微鏡法の実施を可能にする方法及び顕微鏡を示している。色素分子の多光子励起を実施するため、顕微鏡の対物レンズ７１を介して試料に光を照射してもよい。時空間パルス整形のための装置を、観察深さを調整するために設けてもよい。これによって、複数の対象物平面７２、７３の１つ１つについて、１つ又は複数の２次元画像を取得することが可能である。図１０の差し込み図７４では、３つの蛍光分子がある場合を模式的に示している。対象物平面７２について取得された２次元画像７５は、その３つの分子がそれぞれに異なる大きさ及び強度を有する画像を示している。この大きさ及び強度の違いは、顕微鏡の軸方向に沿って分子の位置が異なることによって生じる。対象物平面７３について取得された２次元画像７６も、やはり異なる大きさ及び強度を有する分子の画像を示している。この大きさ及び強度の違いも、同様に、顕微鏡の軸方向に沿って分子の位置が異なることにより生じる。この情報は、分子の横方向の位置を特定するために用いてもよいだけでなく、ビームの軸方向に沿って分子の位置を特定することも可能にしている。達成可能な軸方向の分解能と、測定を行うことができる軸方向の長さとの間には、相関関係がある。
【００７３】
図１１は、顕微鏡システムの光出力装置３に出力することができるグラフィカル・ユーザインタフェースを模式的に示している。このグラフィカル・ユーザインタフェースは、軸方向の分解能と軸方向の測定領域の長さに対する、対象物平面の位置の影響を示すグラフィック・データを含んでいる。顕微鏡システムは、３次元イメージングのためのＰＡＬＭプロシージャに従って顕微鏡法を実施するように構成されてよい。
【００７４】
グラフィカル・ユーザインタフェースは、第１の調整可能パラメータの値を表示するための表示領域８１を有している。グラフィカル・ユーザインタフェースは、さらに、ユーザが第１の調整可能パラメータの値を調整することを可能にする調整エレメント８２を表示している。グラフィカル・ユーザインタフェースは、第２の調整可能パラメータ値を表示するための表示領域８３を有している。グラフィカル・ユーザインタフェースは、ユーザが第２の調整可能パラメータの設定値を調整することを可能にする調整エレメント８４を有している。説明のための例として、第１の調整可能パラメータは、３次元顕微鏡法における第１の対象物平面の、顕微鏡の軸方向に沿った位置を表してもよい。第２の調節可能パラメータは、３次元顕微鏡法における第２の対象物平面の、顕微鏡の軸方向に沿った位置を表してもよい。
【００７５】
このグラフィカル・ユーザインタフェースには、グラフィック・データ８０が出力される。グラフィック・データ８０は、データ取得及びデータ処理の基礎となるＰＡＬＭプロシージャにおける、第１の調整可能パラメータと第２の調整可能パラメータの影響を表示している。このグラフィック・データ８０は、対象物平面の位置８６及び８７を表示しており、さらに、３次元測定を実施することが可能な測定領域８８と、達成可能な軸方向の分解能８９を表示している。これらの情報は、対象物の概観画像８５に重畳されてもよい。顕微鏡システムの計算装置は、第１及び第２の対象物平面の位置としてそれぞれ設定されている値に応じて、測定領域８８及び達成可能な分解能８９を計算することができる。加えて、計算装置は、例えば試料における蛍光分子の密度など、ユーザによって入力されてもよい追加情報に応じて、測定領域８８及び分解能８９を計算してもよい。
【００７６】
グラフィック・データ８０は、第１の調整可能パラメータ及び第２の調整可能パラメータにそれぞれ設定されている値に応じて、生成されてもよい。これら値の１つが変更されると、即ち、対象物平面のうちの１つの位置が変更されると、これに対応してグラフィック・データ８０が適応させられてもよい。
【００７７】
ＰＡＬＭプロシージャのデータ取得又はデータ処理について説明するために生成され出力されるグラフィック・データについて、いくつかの例と関連させて、図８〜１１を参照して説明したが、さらに追加の調整可能パラメータについて、グラフィック・データを選択的に出力することができる。そのような調整可能パラメータのさらに別の例は、異なる対象物平面で取得された分子画像が、個々の分子の位置特定の前あるいは後にグループ分けされるかどうかを指定する設定である。この２つの異なる場合について、データ処理における違いを示すグラフィック・データが、生成及び出力されてもよい。さらに、２つの異なる場合のそれぞれについて、それらの各設定で結果として得られるデータのプレビューも生成及び出力されるものとしてもよい。
【００７８】
図１２及び１３は、顕微鏡システムの光出力装置３に出力することができるグラフィカル・ユーザインタフェースを模式的に示している。このグラフィカル・ユーザインタフェースは、データ・フィルタリングの効果を表示するグラフィック・データを含んでいる。顕微鏡システムは、生データのフィルタリングがその中で行われる、ＳＩＭプロシージャ、ＰＡＬＭプロシージャ、あるいはその他のプロシージャに従った顕微鏡法に合わせて構成されてよい。データ・フィルタリングについての情報、及び、データ処理が実行されるプロシージャにおけるデータ・フィルタリングの効果についての情報がユーザにより要求されると直ぐに、図１２及び１３に模式的に示すようなグラフィック・データが出力されてよい。
【００７９】
グラフィカル・ユーザインタフェースには、データ配列９１が表示される。この配列の画素値は、異なる輝度レベル及び／又は異なる数値により表示され、それらはデータ配列９１の異なるフィールドに示されてよい。グラフィカル・ユーザインタフェースには、典型例のフィルタ係数を有するフィルタカーネル９２も表示される。このフィルタ係数は、データの処理のために現在設定されているフィルタの値に応じて決定されてよい。
【００８０】
図１３に模式的に示すように、ユーザは、フィルタカーネル９２をデータ配列９１の様々な位置に移してもよい。これに応じて、データ配列の様々な位置でのフィルタカーネルの効果が計算されて、グラフィカル・ユーザインタフェースに出力される。図１３に模式的に示すように、フィルタカーネル９２が配置された位置に応じて、データ配列９１をフィルタカーネル９２によりフィルタリングした結果得られる数値が決定されて、出力されてもよい。フィルタカーネル９２を用いたフィルタリングの結果は、様々な代替的又は追加的方式でコード化してもよい。説明のための例として、データ配列９１においてフィルタの効果を表示するために、異なるグレースケール・レベル、異なる色、又はそれに類するものを用いてフィルタリングの結果を出力してもよい。
【００８１】
データ配列９１は、典型的データの配列であってもよい。生データが既に取得されている場合は、データ配列９１は、取得された生データの一部分であってもよい。そして、ユーザは、その生データのユーザが関心のある部分に、フィルタカーネルを選択的に位置付けてもよい。これに応じて、ユーザは、生データのその特定の部分でのフィルタリングの効果を直接理解することになる。このようにして、様々なフィルタ特性をテストしてよい。その後、ユーザ定義の形で設定されたフィルタカーネルを用いて、データ処理を実行してよい。
【００８２】
図１４及び１５は、顕微鏡システムの光出力装置３に出力されるグラフィカル・ユーザインタフェースを模式的に示している。このグラフィカル・ユーザインタフェースは、マルチチャネル画像の分離を表示するグラフィック・データを含んでいる。顕微鏡システムは、そのデータ処理段階においてマルチチャネル画像の分離が行われるような方法を実施するように構成されてよい。ユーザによりチャネルの分離についての情報が要求されると、図１４及び１５に模式的に示すようなグラフィック・データが出力されてよい。これは、チャネル数を変更すること、あるいはデータの不確実性に応じてデータの重み付けオプションを選択することが、どのようにデータ処理に影響するのかを、ユーザが理解するときの助けとなる。
【００８３】
グラフィカル・ユーザインタフェースは、調整可能パラメータの値を表示するための表示領域９３を有している。グラフィカル・ユーザインタフェースは、ユーザが調整可能パラメータの設定値を調整することを可能にする調整エレメント９４を有している。説明のための例として、調整可能パラメータはチャネル数であってよく、即ち、異なるチャネルの総数を表すものであってよい。グラフィカル・ユーザインタフェースは、さらに、重み付けオプションを選択するための調整エレメント９５を有している。
【００８４】
グラフィカル・ユーザインタフェースには、グラフィック・データ９６が出力される。グラフィック・データ９６は、チャネル数と重み付けオプションがどのようにデータ処理に影響するのかを表示している。グラフィック・データ９６は、チャネル数又は重み付けオプションの選択を変更するユーザ入力に応じて、適応させられてもよい。説明のための例として、ユーザが重み付けオプションを選択すると、それに応じてグラフィック・データ９６は、このユーザによる選択を反映するように適応させられてもよい。
【００８５】
技術的観点からは、マルチチャネル画像の分離は、過剰決定方程式系を解くことに例えることができる。その解は、例えば最小二乗法を用いて得てもよい。チャネルの分離を視覚化するために、方程式系の解を、複数の測定値点を通る平均直線を特定することに類比させるグラフィック・データを生成して出力してもよい。平均直線の交点は、方程式系の解に相当する。図１４は、複数の測定データ９７及び関連付けられた平均直線を含むグラフィック・データ９６を模式的に示している。解の不確かさは、平均直線の交点の周りの円９８として図示することができる。ここでは、過剰決定方程式系の解としてのマルチチャネル画像のチャネル分離は、２次元で交差する直線として表現されている。これは、チャネル分離が実際に行われるｎ次元データ空間における、基礎となるアルゴリズムの動作原理を視覚化している。
【００８６】
図１５は、重み付けオプションが選択されたときに、どのようにグラフィック・データ９６が適応させられるのかを示している。重み付けオプションの効果を視覚化するために、さらにエラーバー９９を追加して表示してもよい。さらに、重み付け関数によって、解のシフトが生じる場合及び／又は表示された解の不確かさが変化する場合がある。これも、グラフィック・データ９６に反映することができる。
【００８７】
様々な実施形態により、分子の光学遷移を表示するため、顕微鏡システムの光出力装置にグラフィック・データを出力することができる。表示される光学遷移は、データ取得において励起される光学遷移であってよい。このようなグラフィック・データが有益となることがある例には、例えばＰＡＬＭプロシージャに従って顕微鏡法を実施するように構成されている顕微鏡システムのような、ルミネセンス顕微鏡法のための顕微鏡システムが含まれる。顕微鏡システムの計算装置は、ユーザにより設定された調整可能パラメータの値に応じて、それぞれ、光活性化可能又は光切り替え可能な分子の分子状態の占有確率及び／又は分子状態間の遷移速度を計算することができる。説明のための例として、占有確率及び／又は分子状態間の遷移速度は、色素分子について計算されるものとすることができる。占有確率及び／又は遷移速度は、グラフィック・データとして光出力装置に出力することができる。出力されるグラフィック・データは、ヤブロンスキー図又はマルコフ図の表示を含んでもよい。このような図を含むグラフィック・データは、色素分子の切り替えに用いられる切り替え信号のパワー密度又は波長の値が調整された場合に、調整されてもよい。また、このような図を含むグラフィック・データは、色素分子のルミネセンス励起に用いられる励起信号のパワー密度又は波長が調整された場合にも、やはり適応させられるものとすることができる。図１６〜１９を参照しながら、そのような実現方法について、より詳細に説明する。
【００８８】
図１６及び１７は、グラフィカル・ユーザインタフェースを模式的に示している。このグラフィカル・ユーザインタフェースは、顕微鏡システムの光出力装置３に出力することができる。このグラフィカル・ユーザインタフェースは、分子状態の占有確率及び／又は分子状態間の遷移速度に対する、調整可能パラメータの影響を視覚化するグラフィック・データを含むものとすることができる。顕微鏡システムは、生データ取得のために分子の光切り替え又は光活性化が行われるルミネセンス顕微鏡法を実施するように構成されてよい。例えば、レーザのパワー密度の変化やレーザのスペクトルの変化がどのように検出可能な発光信号に影響するのかについての情報をユーザにより要求されたときに、図１６及び１７に示すような図を含むグラフィック・データが出力されてもよい。
【００８９】
グラフィカル・ユーザインタフェースは、第１の調整可能パラメータの値を表示するための表示領域の１０１を有している。グラフィカル・ユーザインタフェースは、ユーザが第１の調整可能パラメータの値を調整することを可能にする調整エレメント１０２を有している。グラフィカル・ユーザインタフェースは、第２の調整可能パラメータの設定値を表示するための表示領域１０３を有している。グラフィカル・ユーザインタフェースは、ユーザが第２の調整可能パラメータの設定値を調整することを可能にする調整エレメント１０４を有している。説明のための例として、第１の調整可能パラメータは、レーザのパワー密度に相当してもよい。第２の調整可能パラメータは、レーザのスペクトル、又はレーザスペクトルが最大となる波長に相当してもよく、この場合のレーザは、分子の切り替え及び／又は活性化のために用いられる。
【００９０】
グラフィカル・ユーザインタフェースには、グラフィック・データ１０５が出力される。グラフィック・データ１０５は、データ取得の際にトリガされる分子プロセスにおける、レーザパワー及び／又はレーザスペクトルの影響を表示している。グラフィック・データ１０５は、異なる分子状態を図式的に表示してもよい。説明のための例として、図１６及び１７に示すように、２つの一重項状態と２つの三重項状態を表示してもよい。さらに、分子状態間の遷移を表す矢印が表示される。
【００９１】
顕微鏡システムの計算装置は、第１及び第２の調整可能パラメータの設定値に応じて、異なる分子状態の占有確率を計算するように構成されている。また、代替的あるいは追加的に、計算装置は、第１及び第２の調整可能パラメータにそれぞれ設定された値に応じて、それらの分子状態間の遷移速度を計算するように構成されてよい。計算装置は、試料に用いられている光活性分子に応じて、占有確率及び／又は遷移速度を決定してもよい。分子は、特定の色素の分子であってもよい。一部の実施方法では、ユーザが、ユーザインタフェースを介して、光活性分子又は色素についての情報を入力できるようにしてもよい。他の実施方法では、計算装置は、最初のデータ取得で粗いスペクトル分解能でスペクトルスキャンが達成されるように、顕微鏡システムを制御するよう構成してもよい。そして、計算装置は、取得されたスペクトルをデータベースに格納されているデータと比較することによって、使用されている色素を自動的に決定してもよい。
【００９２】
遷移速度を決定するために、計算装置は、データベースへの問合せを行ってもよい。データベースは、第１及び第２の調整可能パラメータの複数の離散値の関数として、遷移速度の値を含んでもよい。説明のため例として、それらの遷移速度は、データベースに、複数のレーザパワーと複数のレーザスペクトルについて格納されていてもよい。計算装置は、切り替え信号又は励起信号についてユーザにより設定されたパワー及び波長の設定値に応じて、データベースに記憶されている遷移速度を内挿又は外挿するように構成されてよい。そして、その遷移速度に基づいて、計算装置により占有確率を計算することができる。マルコフ過程で知られる数学的方法を用いて、遷移速度に応じて、占有確率を決定することができる。
【００９３】
あるいは、モデルを用いて、占有確率及び／又は遷移速度を計算してもよい。占有確率及び／又は遷移速度を決定するために、計算装置は、データベースから関連する分子パラメータを取り出してもよい。関連する分子パラメータの例には、光学遷移の遷移行列要素、自然緩和の緩和率、及びその他の遷移確率が含まれる。そして、遷移速度は、ユーザにより設定された調整可能パラメータの値に応じて計算される。遷移速度の計算に用いられるモデルは、温度など、さらに追加のパラメータに依存してもよい。計算装置は、温度の現在値、試料のｐＨ値、あるいはその他の環境パラメータについての情報を自動的に取得するため、顕微鏡のセンサに接続されていてもよい。計算装置は、占有確率及び／又は遷移速度を決定する際に、これらのセンサの出力を用いてもよい。また、代替的あるいは追加的に、計算装置は、ユーザによる温度値又はｐＨ値の入力を可能にして、これにより、光学過程における温度又はｐＨ値の影響を表示する情報を、ユーザに提供することもできる。占有確率は、例えばマルコフ過程のために開発された手法に基づいて、遷移速度を用いて計算してもよい。
【００９４】
図１６及び１７に示す実施方法では、計算装置は、光出力装置を制御することで、計算装置により計算された占有確率が光出力装置３上で視覚化されるようにする。計算装置は、バー・シンボル１０６〜１０９の大きさ又は色分けが占有確率に比例するように、グラフィック・データ１０５を生成してもよい。バー・シンボル１０６〜１０９は、光活性化又は光切り替えが可能な分子の、関連する分子状態に割り当てられている。また、追加的あるいは代替的に、遷移速度に関する情報が出力されてもよい。計算装置は、遷移矢印１１０、１１１の太さが遷移速度に比例するようにグラフィック・データ１０５を生成してもよい。また、代替的あるいは追加的に、グラフィック・データ１０５において、占有確率及び／又は遷移速度を英数字記号を用いて表示してもよい。
【００９５】
図１７に示すように、計算装置は、ユーザにより調整可能パラメータにそれぞれ設定される値に応じて、グラフィック・データ１０５を適応させてもよい。ユーザがレーザパワーの設定を増加させた場合、グラフィック・データ１０５は、新しい占有確率及び／又は遷移速度を表すように調整されてもよい。
【００９６】
占有確率を表すグラフィック・データは、個々の分子状態のポピュレーションが増加又は減少する動的過程を視覚化するように、時間的に変化する調整が行われてもよい。このようなダイナミクスは、切り替え信号又は活性化信号が光活性分子に照射された後に、その結果として得られる。これによって、ユーザは、データ取得及びデータ処理の基礎となるプロセスを直感的に理解する。
【００９７】
占有確率及び／又は遷移速度についての情報は、ヤブロンスキー図の形式で出力するだけではなく、マルコフ図の形式で出力してもよい。これについて、図１８及び１９を参照してより詳細に説明する。
【００９８】
図１８は、顕微鏡システムの光出力装置に出力されるグラフィック・データ１１５を示している。このグラフィック・データ１１５は、顕微鏡システムの計算装置により生成される。グラフィック・データ１１５はマルコフ図を含んでおり、その中では、色素分子の様々な関連する状態が英数字符号１１６〜１１８で表示されている。色素分子の関連する状態は、図１６及び１７を参照して説明したように、計算装置により自動的に決定されてもよい。関連する分子の状態は、やはり、分子の励起又は切り替えに用いられる信号のパワー密度あるいはスペクトルが変化することで、変化してよい。計算装置により決定された遷移速度は、数値として出力されるものとすることができる。それらの数値は、ボックス１１９、１２０により表示されるもので、これらはマルコフ図に組み込まれてもよい。遷移速度は、図１６及び１７を参照して説明したようにして決定してもよい。
【００９９】
データ取得の基礎となるプロシージャについてのユーザの理解をさらに助けるため、さらに追加情報を出力してもよい。説明のための例として、計算装置は、色素分子の蛍光状態が継続する平均期間を計算するように構成されてよい。この期間は、励起信号のパワー密度に依存する。実施方法について、図１９を参照してより詳細に説明する。
【０１００】
図１９は、顕微鏡システムの光出力装置３に出力されるグラフィカル・ユーザインタフェースを模式的に示している。顕微鏡システムは、生データの取得のために分子の光切り替え又は光活性化が行われるプロシージャに従って、ルミネセンス顕微鏡法を実施するように構成されてよい。
【０１０１】
グラフィカル・ユーザインタフェースは、グラフィック・データ１２５を含んでいる。グラフィック・データ１２５は、図１６〜１８を参照して説明したように、ヤブロンスキー図又はマルコフ図を含んでいる。加えて、グラフィック・データは、色素分子の蛍光状態が継続する平均期間を表示するデータ１２４を含んでいる。計算装置は、色素分子の蛍光状態が継続する平均期間を自動的に計算する。計算装置は、この期間を、先に計算された分子の遷移速度に応じて、決定してよい。分子の蛍光状態が継続する期間は、円１２４又はバーの大きさあるいは明度というように、出力シンボルの大きさ又は明度により視覚化してよい。分子の蛍光状態が継続する平均期間がグラフィックで出力されると、ユーザがデータ取得のための露光時間を決定する際の助けとなる。
【０１０２】
グラフィカル・ユーザインタフェースは、ユーザにより設定された露光時間の値を表示するための表示領域１２１を含んでいてもよい。グラフィカル・ユーザインタフェースは、さらに、ユーザが露光時間を設定することを可能にする調整エレメント１２２を含んでいてもよい。計算装置は、設定された露光時間のグラフィック表示１２３をさらに含むように、グラフィック・データ１２５を生成してもよい。図１９に示すように、分子の蛍光状態が継続する平均期間のグラフィック表示１２４と、設定された露光時間のグラフィック表示１２３とは、ユーザがそれら２つの時間を容易に比較することができるように、生成されてもよい。
【０１０３】
図３〜１９を参照して説明したように、種々の調整可能パラメータの影響についての情報を、グラフィカル・ユーザインタフェースを介してユーザに出力することができる。これにより、データ取得又はデータ処理にとっての様々な調整可能パラメータの重要性についての情報が、ユーザに提供される。これは、データ取得及び／又はデータ処理に用いることができる様々な調整可能パラメータの適切な値を特定する過程にあるユーザの助けとなる。ユーザにより種々の調整可能パラメータの設定値が確定されるとすぐに、ユーザ定義により設定された値を用いてデータ取得及び／又はデータ処理を実施することができる。
【０１０４】
図面を参照して説明した実施形態は、別の実施形態において変形されてもよい。説明のための例として、図３〜１９に示され、これらの図を参照して説明したものとは異なるグラフィック・データを、さらに別の実施形態において出力してもよい。
【０１０５】
一部の実施形態では、処理の流れを特定のモデルに基づいて図示することができる。処理の流れのフローチャート表現を生成して出力してもよい。そのフローチャート表現は、ユーザが様々な調整可能パラメータのどの１つを選択したのかに応じて、生成されるか、あるいは適応させられてもよい。
【０１０６】
一部の実施形態では、データ取得又はデータ処理の様々なステップは、アニメーションを用いて視覚化されてもよい。
【０１０７】
他の実施形態では、グラフィック・データの中に表示される数式の１つ又はいくつかの項を強調表示して、これにより、数式の様々な項にとっての調整可能パラメータの重要性を説明することができる。
【０１０８】
一部の実施形態では、シミュレーションの結果を出力するようにしてもよい。説明のための例として、カットオフ・フィルタといったフィルタの動作原理を、シミュレーション・データを出力することにより視覚化することができる。
【０１０９】
一部の実施形態では、色素の特性が視覚化されるものとすることができる。試料に含まれている色素に関するデータが、ユーザ入力に含まれるようにすることができる。代替的あるいは追加的に、顕微鏡システムを、試料で使用されている色素を自動的に特定するように構成してもよい。色素分子の切り替え又は励起に用いられる光信号のスペクトルをグラフィック表示してもよく、これにより、色素の特性に応じて、切り替え及び励起の信号に適した設定を特定する際のユーザを支援する。波長が選択されたときに、その波長で用いるのに適した色素についての情報を出力してもよい。
【０１１０】
図１６〜１９を参照して説明したように、ＰＡＬＭプロシージャで用いられる異なる切り替え又は励起の波長の影響を表示する情報を、グラフィック・データとして出力してもよい。また、試料で用いられている色素の切り替え又は励起の信号のパワーの影響を表示するグラフィック・データも、出力してもよい。計算装置は、遷移速度を計算して、ヤブロンスキー図、マルコフ図又はその他のグラフィック表現を出力することにより、この計算された遷移速度をグラフィックで視覚化してもよい。その図は、レーザパワー、切り替え信号の波長、及び色素の特性に応じて計算してもよい。また、代替的あるいは追加的に、試料の光退色又は光損傷についての情報が出力されてもよい。
【０１１１】
一部の実施形態では、調整可能パラメータに設定された値の変化の影響は、取得された生データを用いてシミュレーションを実行することにより、視覚化してもよい。プレビュー画像を生成して、それをグラフィカル・ユーザインタフェースにより出力してもよい。
【０１１２】
一部の実施形態では、複数のステップを含むデータ処理プロシージャの記録を、そのデータ処理の中間結果を画像データの形式で記憶するようにして行ってもよい。この目的のため、様々なバージョンの画像データを、グラフィックで表すことができる。これら異なるバージョンは、データ処理プロシージャの異なるステップ数で生データが処理された後に結果として得られるバージョンとすることができる。これにより、データ処理のプロトコルが実現される。このプロトコルは、実際に取得された生データを用いて生成してもよい。あるいは、ライブラリ又は計算装置の記憶媒体に格納されている典型的データを、このプロトコルを確立するための入力データとして用いてもよい。
【０１１３】
本明細書で記載した様々な実施形態の各々においては、ユーザが様々な調整可能パラメータの値を設定している最中に、グラフィック・データが顕微鏡システムで出力されてもよい。これは、ユーザがデータ取得又はデータ処理を計画する際の助けとなる。
【０１１４】
グラフィック・データの出力は、本明細書に記載した様々な実施形態の各々について、時系列的に繰り返されてもよい。説明のための例として、第１の調整可能パラメータと関連付けられたグラフィック・データを、最初に出力してもよい。その後、第２の調整可能パラメータと関連付けられたグラフィック・データの出力などが、行われてもよい。このようにして、データ取得又はデータ処理の基礎となるプロシージャに関する種々の調整可能パラメータの重要性についての情報が、ユーザに提供される。
【０１１５】
典型例である実施形態について、ＰＡＬＭ又はＳＩＭプロシージャと関連させて説明を行ったが、本発明の実施形態は、そのような顕微鏡技術に限定されるものではない。実施形態に係る顕微鏡システム及び顕微鏡法は、ユーザ定義という形で複数の調整可能パラメータの設定が行われるような顕微鏡技術に、広く用いることができる。
【０１１６】
本発明の実施形態について、上記の実施形態を参照して、特定の顕微鏡技術と関連させて説明を行ったが、当然のことながら、さらに別の実施形態が可能であり、また、本明細書において例示し説明を行った実施形態は、添付の請求項により規定される本発明の範囲から逸脱することなく、様々に変更することができる。上記の詳細な説明を読み、理解することで、様々な変形及び変更を思い付くであろう。従って、上記の記述内容は単なる例示を目的とするものであって、限定するものではないことが、はっきりと理解されるべきである。このように、本発明は、添付の特許請求の範囲及びその均等物の範囲内である限り、そのような全ての変形及び変更を含むものとして解釈されることを意図するものである。
【符号の説明】
【０１１７】
１    顕微鏡システム
２    計算装置
３    光出力装置
４    入力装置
５    放射線源
６    レンズ
７    ダイクロイック・ビームスプリッタ
８    対物レンズ
９    フィルタ
１０    チューブレンズ
１１    検出器
１２，１３    レーザ
１４    ビーム結合器
１５    光学フィルタ
１６    グラフィック・データ
１９    試料（対象物）
２１    顕微鏡システム
２２    照明装置
２３    パターン・ジェネレータ
２４    レンズ
２５    試料ホルダ
２６    結像光学系
３１    表示領域
３２    調整エレメント
３３    表示領域
３４    調整エレメント
３５    グラフィック・データ
３６    ライン
３７    グラフィック表示
３８    ライン
４０    ライン
４１    表示領域
４２    調整エレメント
４３    グラフィック・データ
４４    プレビュー画像
４５    グラフィック・データ
４６〜５６    ブロック
６１    表示領域
６２    調整エレメント
６３    グラフィック・データ
６４    カメラ信号
６５    フィットマスク表示
６６    カメラ信号
７１    対物レンズ
７２，７３    対象物平面
７４    差し込み図
７５，７６    ２次元画像
８０    グラフィック・データ
８１    表示領域
８２    調整エレメント
８３    表示領域
８４    調整エレメント
８５    概観画像
８６，８７    対象物平面の位置
８８    測定領域
８９    分解能
９１    データ配列
９２    フィルタカーネル
９３    表示領域
９４，９５    調整エレメント
９６    グラフィック・データ
９７    測定データ
９８    円
９９    エラーバー
１０２    調整エレメント
１０３    表示領域
１０４    調整エレメント
１０５    グラフィック・データ
１０６〜１０９    バー・シンボル
１１０，１１１    遷移矢印
１１５    グラフィック・データ
１１６〜１１８    英数字符号
１１９，１２０    ボックス
１２１    表示領域
１２２    調整エレメント
１２３    グラフィック表示
１２４    円
１２５    グラフィック・データ
【図１】
0005935147.tif 000002
【図２】
0005935147.tif 000003
【図３】
0005935147.tif 000004
【図４】
0005935147.tif 000005
【図５】
0005935147.tif 000006
【図６】
0005935147.tif 000007
【図７】
0005935147.tif 000008
【図８】
0005935147.tif 000009
【図９】
0005935147.tif 000010
【図１０】
0005935147.tif 000011
【図１１】
0005935147.tif 000012
【図１２】
0005935147.tif 000013
【図１３】
0005935147.tif 000014
【図１４】
0005935147.tif 000015
【図１５】
0005935147.tif 000016
【図１６】
0005935147.tif 000017
【図１７】
0005935147.tif 000018
【図１８】
0005935147.tif 000019
【図１９】
0005935147.tif 000020