(57)【要約】ポイントレーザ走査型顕微鏡の操作方法は、集束照明レーザビームで試料を走査し、照明レーザビームの焦点と光学的に共役な検出要素のアレイによって、レーザビームによる走査での試料の複数の画像を記録し、検出要素は、強度モードで構成可能であり、記録された画像は、個々の位置での照明ビームの全滞留時間中に収集された光子に関連する強度画像であり、記録された画像は、時間分解画像であり、収集された光子は、個々の検出要素への到達時間に基づいて識別され、試料上の照明ビームの全ての位置に亘る複数の強度画像を合計することによって、指紋画像を計算し、指紋画像は、同時に照明点広がり関数および検出点広がり関数に依存し、強度画像からシフト行列を推定し、時間分解オブジェクト関数、強度オブジェクト関数を再構成し、時間分解オブジェクト関数および強度オブジェクト関数に基づいて、高解像度時間分解画像および高解像度強度画像を視覚化する。
2021510850.tif 000002
【特許請求の範囲】
【請求項１】
ポイントレーザ走査型顕微鏡の操作のための方法であって、
集束照明レーザビーム（ＥＢ）で試料を走査するステップと、
照明レーザビーム（ＥＢ）の焦点と光学的に共役な検出要素（２３）のアレイによって、レーザビームによる走査での試料の複数の画像を記録するステップであって、前記検出要素のそれぞれ（ｉ，ｊ）は、試料上の照明ビーム（ＥＢ）の異なる位置ｎのそれぞれについて検出信号を生成し、そこから、試料の走査により、試料のそれぞれの画像が生成され、前記検出要素（２３）は、強度モードで構成可能であり、記録された画像は、個々の位置ｎでの照明ビームの全滞留時間中に、または時間分解モードで収集された光子に関連する強度画像ｇｉ，ｊ（ｎ）であり、記録された画像は、時間分解画像ｇｔｉ，ｊ（ｎ，ｔ）であり、収集された光子は、個々の検出要素（２３）への到達時間に基づいて識別される、ステップと、
検出要素（２３）が時間分解モードに構成されている場合、複数の時間分解画像を時間ｇｔｉ，ｊ（ｎ，ｔ）に亘って積分することにより、複数の強度画像ｇｉ，ｊ（ｎ）を計算するステップと、
検出要素（２３）が強度モードまたは時間分解モードのどちらに設定されているかに関係なく、試料上の照明ビーム（ＥＢ）の全ての位置ｎに亘る複数の強度画像ｇｉ，ｊ（ｎ）を合計することによって、指紋画像ａを計算するステップであって、前記指紋画像は、同時に照明点広がり関数、以下、照明ＰＳＦ，ｈｅｘｃおよび検出点広がり関数、以下、検出ＰＳＦ，ｈｄｅｔに依存する、ステップと、
検出要素（２３）が強度モードまたは時間分解モードのどちらに設定されているかに関係なく、強度画像ｇｉ，ｊ（ｎ）からシフト行列ｓｘおよびｓｙを推定するステップと、
次の少なくとも１つを再構成するステップであって、
ｉ）複数の時間分解画像ｇｔｉ，ｊ（ｎ，ｔ）、指紋画像ａおよびシフト行列ｓｘおよびｓｙに基づく、時間分解オブジェクト関数ｆｔ、
ｉｉ）複数の強度画像ｇｉ，ｊ（ｎ）、指紋画像ａおよびシフト行列ｓｘおよびｓｙに基づく、または時間分解オブジェクト関数ｆｔを時間に亘って積分することによる、強度オブジェクト関数ｆ、である、ステップと、
前記時間分解オブジェクト関数および強度オブジェクト関数に基づいて、高解像度時間分解画像ｆｔ〜および高解像度強度画像ｆ〜の少なくとも１つを視覚化するステップと、
を含む方法。
【請求項２】
前記時間分解オブジェクト関数ｆｔを再構成するステップは、
指紋画像ａに基づいて照明ＰＳＦｈｅｘｃおよび検出ＰＳＦｈｄｅｔを推定するステップと、
マルチ画像逆畳み込みによって時間分解オブジェクト関数ｆｔを推定するステップと、
を含む、請求項１に記載の方法。
【請求項３】
前記時間分解オブジェクト関数ｆｔを再構成するステップは、
ピクセル再割り当てによって時間分解オブジェクト関数ｆｔを計算するステップ、
を含む、請求項１に記載の方法。
【請求項４】
前記強度オブジェクト関数ｆを再構成するステップは、
指紋画像ａに基づいて照明ＰＳＦｈｅｘｃおよび検出ＰＳＦｈｄｅｔを推定するステップと、
マルチ画像逆畳み込みによって、強度オブジェクト関数ｆを推定するステップと、
を含む、請求項１ないし３のうちいずれか１項に記載の方法。
【請求項５】
前記強度オブジェクト関数ｆを再構成するステップは、
ピクセル再割り当てによって強度オブジェクト関数ｆを計算するステップ、
を含む、請求項１ないし４のうちいずれか１項に記載の方法。
【請求項６】
前記方法は、
計算された指紋画像ａに基づいて、前記検出要素のアレイ（２３）を走査型顕微鏡の光軸と位置合わせするステップ、
をさらに含む、請求項１ないし５のうちいずれか１項に記載の方法。
【請求項７】
前記方法は、
推定されたシフト行列ｓｘおよびｓｙに基づいて顕微鏡の倍率を計算するステップ、
をさらに含む、請求項１ないし６のうちいずれか１項に記載の方法。
【請求項８】
走査型顕微鏡であって、
試料を走査するように構成された集束照明レーザビーム（ＥＢ）と、
照明レーザビーム（ＥＢ）の焦点と光学的に共役な検出要素のアレイ（２３）であって、前記検出要素は、レーザビームによる走査に亘って試料の複数の画像を記録するように構成される、検出要素（２３）のアレイと、を備え、
前記顕微鏡は、請求項１ないし７のうちいずれか１項に記載の方法を実行するように構成される、顕微鏡。
【請求項９】
各検出要素は、単一点検出器であり、１００ｐｓの桁の時間分解能を有する、請求項８に記載の顕微鏡。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学顕微鏡技術に関する。
【背景技術】
【０００２】
光学顕微鏡法は、生きている試料（細胞から組織、臓器から動物まで）の３次元形態を高い空間時間分解能で視覚化できるため、生命科学の最も強力な解析ツールの１つである。蛍光と組み合わせると、光学顕微鏡（蛍光光学顕微鏡）は、生体試料で発生する生体分子のプロセスを理解できるようにする高分子の特異性と感度を提供する。実際には、蛍光分子（フルオロフォアとして知られている）は、多数のプロトコルや標識方法により、試料内の対象の生体分子（タンパク質など）に高い特異性で結合する。光学顕微鏡は、試料に光の焦点を合わせ、蛍光現象を誘発し、対象の生体分子のみを可視化する。蛍光は、特定のエネルギを有する光子（ＳＰＥ）の吸収によって励起されたフルオロフォアが、より低いエネルギを有する光子を放出するプロセスである（自然放出）。多光子励起（ＭＰＥ）では、フルオロフォアを励起するために必要なエネルギは、より少ないエネルギの複数の光子の「同時」吸収によって得られる。対象の生体分子によって生成された蛍光光を散乱／反射光から分光的に分離する光学顕微鏡は、対象の生体分子の特定の高感度３次元マップを提供する。
【０００３】
さらに、フルオロフォアは、対象の生体分子に関する他の重要な情報を抽出するセンサとして使用できる。例えば、蛍光は、生体分子が置かれている環境の特性を調査するために、または他の生体分子へのその近接性を理解するために使用されてもよい。多くの場合、これはいわゆる平均蛍光寿命を測定することで達成できる。励起状態にあるとき、フルオロフォアには脱励起されるいくつかの経路がある（自然放出または蛍光を含む）。その結果、フルオロフォアが励起状態になる時間は、確率的プロセスである。前述の励起状態でフルオロフォアが費やした平均時間は、励起状態の平均寿命（または平均蛍光寿命）として示される。フルオロフォアの近くに他の分子が存在すると、脱励起経路の速度（または瞬時確率）が変化し、フルオロフォアの平均寿命が変化する。したがって、フルオロフォアの平均寿命を監視することにより、一般に、他の分子の存在を（間接的に）検出することができる（例えば、ｐＨ検出用）。他のオプションは、共鳴エネルギ移動（ＦＲＥＴ）メカニズムを使用して、２つのフルオロフォア（１つのドナーと１つのアクセプター）間のナノメートル距離を測定することである。例えば、ＦＲＥＴは、ドナーとアクセプターのフルオロフォアを高分子の異なるサブユニットに結合することにより、構造的な高分子の変化を測定するために広く使用されている。構造の変化により、ドナーとアクセプター間の距離が変化し、結果として、ドナーの平均寿命が変化する。時間相関単一光子計数（ＴＣＳＰＣ）は、励起状態の平均寿命を測定する最も一般的な方法の１つである。このクラスの実験は、時間分解測定とも呼ばれる。パルスレーザを使用して、明確に定義された時間位置でフルオロフォアを励起し、データ取得装置に同期信号を提供する。同じ装置が、蛍光光子を収集した後に検出器から提供された信号を記録する。レーザ同期信号により、データ取得装置は、励起イベントと光子記録の間の時間遅延、いわゆる光子到達時間を測定する。この操作を数回繰り返して、いわゆる光子到達時間のヒストグラムを作成する。フルオロフォアの平均寿命は、アドホック解析によってこのようなヒストグラムから抽出できる。アドホック解析は、ほとんどの場合、フィッティングルーチンまたはフェーザー変換に基づいている。最も一般的なフルオロフォア（有機または蛍光タンパク質）の平均寿命は１〜１０ｎｓであるため、ＴＣＳＰＣ装置のコンポーネントは、特定の時間制約を満たす必要がある。（ｉ）励起パルスの振幅は、小さくなければならない（約１００ｐｓ）。（ｉｉ）検出器は、単一の光子を高い時間分解能で、すなわち、低い時間ジッタ（不確実性）（数百ｐｓ）で記録する必要がある。（ｉｉｉ）データ取得装置は、同期信号と検出器の信号の間の遅延を高い時間分解能（１００ｐｓ未満）で提供する必要がある。
【０００４】
蛍光共焦点レーザ走査型顕微鏡（ＣＬＳＭ）は、蛍光光学顕微鏡の特定の実施であり、光学セクショニング、透過率の向上、時間分解能の向上など、広範囲の蛍光顕微鏡（ＷＦＭ）に比べていくつかの重要な利点がある。ＣＬＳＭでは、フルオロフォアを（単一光子または多光子励起によって）励起できるレーザビームがレンズによって試料に集束され、回折によって制限された励起ボリュームが生成される。そのようなボリューム内のフルオロフォアによって放出された蛍光の光は、同じレンズによって収集され、単一点／要素検出器によって記録される。ピンホールは、検出器の前に配置され、システムの画像面と光学的に共役な面にあり、焦点が合っていない蛍光を遮断し、顕微鏡の有効な観察ボリュームを（励起ボリュームに対して）減らす空間フィルターとして機能する。試料上のそのような観察ボリュームのポイントごとの走査により、回折限界を超える横方向の空間分解能で試料の光学セクション（光学セクショニング容量）を表す画像の再構成が可能になる。
【０００５】
蛍光シグナル（または蛍光光子）の総量のみが記録される場合、ＣＬＳＭは、強度画像を提供する。蛍光信号は、各ピクセルに関連付けられた励起ボリューム内のフルオロフォアの濃度に比例するため、強度画像は、試料内のフルオロフォアの濃度マップを提供する。
【０００６】
ＣＬＳＭは、時間相関単一光子計数（ＴＣＳＰＣ）と組み合わせて、強度画像と時間分解画像の両方を提供できる。時間分解画像は、３次元画像で、第３の軸は、ピクセルに記録された蛍光光子の到着時間のヒストグラムを表す。明らかに、強度画像は、３次元に積分することにより時間分解画像から得ることができる。時間分解画像が与えられると、フィッティングまたはフェーザー解析を適用することにより、試料の励起状態の平均寿命のマップ、いわゆる蛍光寿命画像（ＦＬＩ顕微鏡、ＦＬＩＭ）を再構成することが可能である。
【０００７】
空間分解能の点では、ＣＬＳＭは、光の回折による制限を超えることができる最初の方法であった。具体的には、従来のＷＦＭに比べて理論的に〜１．４倍の解像度の改善を提供する。可視光と高開口数のレンズを使用すると、ＣＬＳＭは、〜２００ｎｍではなく〜１４０ｎｍの解像度を提供する。残念ながら、このような解像度の向上は、寸法が非常に小さい理想的な開口（ピンホール）でのみ達成できるため、信号レベルが大幅に低下する。その結果、空間分解能を犠牲にして、許容できる信号レベルの画像を取得するには、常に比較的大きなピンホールが使用される。画像走査顕微鏡（ＩＳＭ）は、このような問題の解決策を提供する。本質的に、このような手法により、信号を犠牲にすることなく、解像度を１．４に向上させることができる。画像走査顕微鏡法は、理論的にはバーテロ、パイク、シェパードによって提案され［１、２］、ＣＬＳＭにおける解像度と信号の妥協点を克服する最初の試みを表している。基本的には、標準のＣＬＳＭのアップグレードで構成され、単一の点／要素検出器が検出器の２次元配列に置き換えられ、共役像面に配置され、信号損失を回避するために開いたピンホール構成でイメージングが実行される。光学セクショニングを維持するために、通常、物体面に投影されたサイズが１エアリーユニットに対応するサイズのピンホールを使用する。信号対雑音比が高い最終的な高解像度画像は、試料の各励起ポイントで検出器アレイによって個別に取得された画像を（後処理で）結合することによって取得される。最近、ＩＳＭは、２次元の光学センサ（例えば、ＣＣＤまたはＣＭＯＳ）または丸みを帯びた入力ファイババンドルの場合、ファイバの一方の端（入力）のコアは、よく知られている２次元ジオメトリに従って配置され、もう一方の端（出力）は、検出器の線形アレイで封止される。
【０００８】
ＩＳＭシステムの有効な空間分解能、時間的イメージング分解能、その汎用性、および他の全ての高度な蛍光顕微鏡法との互換性、特に蛍光寿命イメージングとの互換性など、ＩＳＭシステムの技術的特徴は、２つの重要な側面に依存する。（ｉ）ＩＳＭの実施に使用される検出器マトリックスの技術的特徴、（ｉｉ）最終的な画像の生成に使用される計算方法。
【０００９】
従来のレーザ走査型顕微鏡では、単一の点／要素検出器を、試料の各励起点の放出光の強度画像を取得するイメージング検出器（検出器アレイ）に置き換えるアイデアが、最初にバーテロとパイクによって提案された［１］。彼らは、試料の各走査位置について、検出器アレイから得られた２次元アレイ（画像）を「反転」することを提案した。アレイの反転は、検出器アレイでの画像形成のプロセスを記述する線形演算子の特異値分解（ＳＶＤ）を使用して実現される。最後の「改善された」画像は、ＳＶＤ反転から取得された全てのアレイをマージすることによって取得されたモザイクである。その後、［２］のシェパードは、同じ機器について説明し、最終的な高解像度画像を取得するためのいわゆるピクセル再割り当て（ＰＲ）戦略を提案した。本質的に、検出器アレイの個々の要素は、試料の平行移動された画像を生成する。最終的な画像は、（ｉ）各検出器要素によって生成された全ての画像を、中心要素からの（画像を生成する）検出器要素の距離の半分だけ逆に変換することによって取得される（システムの倍率のスケーリング）。（ｉｉ）変換された全ての画像を合計することによって取得される。
【００１０】
バーテロ、パイクおよびシェパードによって提案された光アーキテクチャの最初の実施は、［３］で報告されている。これは、そのような顕微鏡技術を説明するために一般的に使用される画像走査顕微鏡（ＩＳＭ）という用語を導入した最初の研究でもある。この場合、従来のカメラが使用された。光電子増倍管（ＰＭＴ）、アバランシェフォトダイオード（ＡＰＤ）、または単一光子アバランシェダイオード（ＳＰＡＤ）などの高速単一点／要素検出器を使用する従来の走査型顕微鏡と比べて、このような実施では、イメージング時間解像度が大幅に低下する（低フレームレート、すなわち、１秒あたりの画像の数が少ない）。照明ポイントを試料の他の領域に移動する前に、画像全体（またはその一部）を（コンピューターで）読み取る必要がある。さらに、そのようなカメラベースの実施（ＣＣＤまたはＣＭＯＳ）は、ＦＬＩＭ画像が再構成される時間分解画像を取得するためのＴＣＳＰＣ技術と互換性がない。
【００１１】
イメージング時間解像度（フレームレート）を改善するために、完全に光学的なカメラベースのＩＳＭ代替が実施されている［４、５］。しかしながら、これらはシステムの完全な再設計（光学的および／または電子的）を必要とするため、アーキテクチャの複雑さが増す。ピクセルを再割り当てする方法（シフトと合計）は、蛍光ビームを再走査し、露光中にカメラによって生成された蛍光信号を積分することによって得られるため、このような実施では高解像度の強度画像を再構成するための計算は必要ない。しかしながら、「生の」データが生成されなくなったため、位置ずれや収差を補正するための後処理を実行することはできなくなった。さらに、ＣＣＤまたはＣＭＯＳを使用しても、ＴＣＳＰＣに基づく時間分解手法との組み合わせはできない。
【００１２】
完全に光学的なカメラベースのＩＳＭのさらなる実施が提案された。これにより、アーキテクチャの複雑さは軽減されるが［６］、後処理とＴＣＳＰＣとの組み合わせは依然として防止され、さらに非線形励起が必要である。このアーキテクチャでは、エアリーユニット（最初のエアリーディスク）のサイズのピンホールを使用できないため、光学的セクショニングは、非線形励起を使用して実現される。この文脈では、検出器アレイが各試料位置の「画像」を記録し、高解像度画像が計算により再構成される従来のＩＳＭ実施では、物理的なピンホールが仮想ピンホールに置き換えられる可能性があることに注意することが重要である。中央の要素に近い要素のサブセットのみが、最終的な高解像度画像の再構成に使用される。
【００１３】
最後に、言及するのは、ツァイスが市場にリリースした、いわゆるエアリースキャン実施である。このような実施は、光学アーキテクチャを変えることなく、従来の走査型顕微鏡の単一要素検出器を検出器のアレイに置き換える。単一光子励起と互換性があり、最終的な高解像度画像を取得するには後処理が必要である。具体的には、そのような実施は、丸い入力を有する３２ファイバのバンドルを使用し、そのコアは、入力では、よく知られている六角形のジオメトリに従い、出力では、ＰＭＴの線形アレイに封止される。最終的な画像を取得するために使用される装置と計算方法（後処理）は、［７］で説明されている。同じ検出器システムが［８、９］でも使用されており、著者は、最終的な画像を取得するための様々な計算方法を説明している。
【００１４】
前述の方法はどれも、ＩＳＭとＴＣＳＰＣ測定を組み合わせて、時間分解された高解像度の画像を取得し、そこからＦＬＩＭ画像を再構成する可能性については説明していない。
【００１５】
ここで、数学的な観点から、上記の計算方法が高解像度の強度画像を生成するために解決しようとする問題を定式化し始める。
【００１６】
強度画像のアレイ／セットを考える
【００１７】
【数１】
2021510850.tif 000003
【００１８】
【数２】
2021510850.tif 000004
【００１９】
【数３】
2021510850.tif 000005
【００２０】
【数４】
2021510850.tif 000006
【００２１】
Ｍｘ×Ｍｙ要素で構成される検出器のアレイを備えた走査型顕微鏡を使用して収集される（ここで、（ｉｃ，ｊｃ）は検出器アレイの中心要素を示す）。高解像度画像の再構成の問題は、オブジェクト（または試料）関数ｆ（ｎ）の推定にある。要するに、オブジェクト／試料関数は、試料ポイントｎのフルオロフォアの濃度を表す（比例する）。画像アレイｇからのｆの再構成は、単一の検出要素から得られた一連の「同一の」共焦点画像から得られるｆの再構成よりも、ｆのより忠実な推定につながる（すなわち、より高い解像度の強度画像を生成する）ことが示されている。このような解像度の向上の主な理由は、同じ試料の多くの異なる独立した画像を生成する検出器アレイの能力である。
【００２２】
連続表記を使用すると、画像形成または直接演算子（フォワード）のプロセス、すなわち、ｇｉ，ｊとｆとの間の関係は次のようになる。
【００２３】
【数５】
2021510850.tif 000007
【００２４】
ここで、ｈｉ，ｊ（ｘ，ｙ）は、画像ｇｉ，ｊに関連付けられた点像分布関数（ＰＳＦ）を示し、＊は、畳み込み演算子を示す。基本的に、検出器アレイの要素（ｉ，ｊ）に関連付けられた各画像ｇｉ，ｊは同じオブジェクトを示すが、検出器アレイ内の要素（ｉ，ｊ）の位置に応じて異なるＰＳＦを使用して収集される。検出器アレイの各要素は、固定値（ｓｘｉ，ｊ，ｓｙｉ，ｊ）で画像平面内を移動するため、他の要素とは異なるため、各要素のＰＳＦを同じ照明（または励起）ＰＳＦｈｅｘｃと同じ検出ＰＳＦｈｄｅｔの関数として書き込むことができる。
【００２５】
【数６】
2021510850.tif 000008
【００２６】
ここで、励起ＰＳＦと検出ＰＳＦは、検出器アレイの中央要素で整列していると想定される。すなわち、ｓｘｉｃ，ｊｃ＝ｓｙｉｃ，ｊｃ＝０
【００２７】
そのような方程式は、ピクセル再割り当てとして知られている再構成戦略、すなわち、画像配列ｇから高解像度の画像ｆＰＲを取得するためにシェパード［２］によって提案された方法を説明するのに役立つ。単純化のためにｈｅｘｃとｈｄｅｔを２つの同一のガウス関数と見なす場合、ｈｉ，ｊも励起ＰＳＦと検出ＰＳＦのちょうど中間にあるガウス関数であることは明らかである。したがって、各画像ｇｉ，ｊは、
１．信号対雑音比（ＳＮＲ）の点で他のものとは異なり、要素（ｉ，ｊ）が要素（ｉｃ，ｊｃ）に近いほど、ＳＮＲは大きくなる。
２．要素（ｉ，ｊ）と要素（ｉｃ，ｊｃ）の間の距離の半分のｇｉｃ，ｊｃに相対的に（画像平面上で）平行移動される。すなわち、ドリフト値は、ｄｘｉ，ｊ＝ｓｘｉ，ｊ／２およびｄｙｉ，ｊ＝ｓｙｉ，ｊ／２である。このような仮定の下で、ピクセル再割り当て方法は、ｆＰＲによって高解像度画像を取得することを提案する。（ｉ）ドリフト値ｄｘｉ，ｊおよびｄｙｉ，ｊの各画像ｇｉ，ｊを逆変換し、（ｉｉ）次に全ての画像を合計する。
【００２８】
他の戦略は、画像形成のプロセスを記述し、試料関数ｆを復元することによって方程式を反転することである。すなわち、画像の復元／逆畳み込みの問題を解決する。
【００２９】
最も一般的なケースでは、ｈｅｘｃ、ｈｄｅｔ、ｓｘｉ，ｊおよびｓｙｉ，ｊは、先験的に知られていないため、問題はオブジェクト関数ｆの推定だけでなく、励起ＰＳＦｈｅｘｃ、検出ＰＳＦｈｄｅｔおよびシフト行列ｓｘおよびｓｙの推定も見つけることである。ここで、ｈｅｘｃ（ｎ）およびｈｄｅｔ（ｎ）は、連続関数ｈｅｘｃおよびｈｄｅｔの離散化を表す。
【００３０】
このような問題は、統計的に再定式化され、最小化の問題に変わる可能性がある。特に、イメージングプロセスでガウスノイズが支配的であると仮定すると、問題は、平均二乗誤差（ＭＳＥ）関数の最小化になる。
【００３１】
【数７】
2021510850.tif 000009
【００３２】
ｈｅｘｃ、ｈｄｅｔ、ｓｘ、ｓｙおよびｆに関して、
【００３３】
【数８】
2021510850.tif 000010
【００３４】
同じ画像から目的関数とＰＳＦが同時に推定される画像復元／逆畳み込みの問題は、ブラインド画像復元／逆畳み込みと呼ばれる。同じ試料の複数の画像を使用して単一の解決策を取得する画像復元／逆畳み込みの問題は、マルチ画像復元／逆畳み込みと呼ばれる。
【００３５】
従来技術［７］は、機能的ＪＭＳＥ（マルチ画像ブラインド逆畳み込み）を最小化して励起点ｈｅｘｃおよび検出ｈｄｅｔの拡散関数を推定することを提案しているが、明らかに、機能的ＪＭＳＥの最小化もｆの推定値を提供する。
【００３６】
あるいは、ポアソンノイズを想定している場合、問題は、いわゆるカルバックライブラー（ＫＬ）距離関数の最小化になる。
【００３７】
【数９】
2021510850.tif 000011
【００３８】
ｈｅｘｃ、ｈｄｅｔ、ｓｘ、ｓｙおよびｆに関して、
【００３９】
【数１０】
2021510850.tif 000012
【００４０】
決定する必要のある未知の要素ｈｅｘｃ、ｈｄｅｔ、ｓｘ、ｓｙおよびｆの数は多く、不安定な解につながる可能性がある。不明な要素の数を減らして不安定性を減らす方法は、ＰＳＦが特定のモデルｈｄｅｔ（φｄｅｔ）およびｈｅｘｃ（φｅｘｃ）を使用してパラメータ化され、関数ＪＫＬ／ＭＳＥがモデルパラメータに対して最小化される、いわゆるパラメトリックブラインドイメージ復元によって表される。
【００４１】
【数１１】
2021510850.tif 000013
【００４２】
従来技術［７］は、ゼミケ多項式に基づくパラメータ化を提案している。他の典型的な例は、励起ＰＳＦおよび検出ＰＳＦを円形ガウス関数と見なすことである。
【００４３】
【数１２】
2021510850.tif 000014
【００４４】
φｅｘｃ／ｄｅｔ＝σｅｘｃ／ｄｅｔでは、明らかに他のモデルが使用される場合がある。
【００４５】
しかしながら、ＰＳＦをパラメータ化した後でも、未知の要素の数が多すぎて解が不安定になる可能性がある。実際には、復元された画像にアーティファクトが生じる場合がある。
【００４６】
従来技術［８］では、ｇからｆを推定する方法が提案されており、ピクセル再割り当てと画像復元を組み合わせている。この場合、ピクセル再割り当て画像ｆＰＲは、最初に、検出器アレイの物理的形状と顕微鏡の倍率に基づいて、ｄｘｉ，ｊとｄｙｉ，ｊの理論値を使用して取得される。続いて、単一の画像再構成／逆畳み込みのアルゴリズムが、ピクセルの再割り当ての方法と同じ原理を使用して取得された理論上のＰＳＦｈＰＲを使用して、画像ｆＰＲに適用される。（ｉ）論理モデルを使用して、各画像に関連付けられたＰＳＦｈｉ，ｊを取得する。（ｉｉ）次に、各ＰＳＦｈｉ，ｊは、以前にｆＰＲを取得するために使用された値ｄｘｉ，ｊおよびｄｙｉ，ｊだけシフトされる。（ｉｉｉ）最後に、ｈＰＲを取得する全てのＰＳＦが合計される。同じグループ［９］の後続の研究では、シフト値ｄｘｉ，ｊおよびｄｙｉ，ｊが画像アレイｇから直接推定される。シフト行列ｄｘおよびｄｙを推定するために、空間ドメインで相関が使用される。これは、高い計算量を含み、サブピクセルシフト値を取得する可能性を提供しない。さらに、このような方法では、マルチ画像ではなく単一画像の逆畳み込みアプローチを使用する。マルチ画像逆畳み込みアプローチは、単一画像の逆畳み込みアプローチよりも堅牢な解決策を提供することを覚えておくことが重要である。これにより、個々の画像の周波数ドメインに含まれる様々な情報をより詳しく調査できるからである。
【発明の概要】
【００４７】
本発明の目的は、時間分解画像と強度画像の両方を再構成することを可能にする解決策を利用可能にすることである。
【００４８】
本発明の他の目的は、上述の方法よりも不安定性による影響が少ない画像再構成方法を利用可能にすることである。
【００４９】
この目的のために、本発明は、ポイントレーザ走査型顕微鏡の操作方法に関し、この方法は、
集束照明レーザビームで試料を走査するステップと、
照明レーザビームの焦点と光学的に共役な検出要素のアレイによって、レーザビームによる走査中に試料の複数の画像を記録するステップであって、前記検出要素のそれぞれ（ｉ，ｊ）は、試料上の照明ビームの異なる位置ｎのそれぞれについて検出信号を生成し、そこから、試料の走査により、試料のそれぞれの画像が生成され、前記検出要素は、強度モードで構成可能であり、記録された画像は、個々の位置ｎでの照明ビームの全滞留時間中に、または時間分解モードで収集された光子に関連する強度画像ｇｉ，ｊ（ｎ）であり、記録された画像は、時間分解画像ｇｔｉ，ｊ（ｎ，ｔ）であり、収集された光子は、個々の検出要素への到達時間に基づいて識別される、ステップと、
検出要素が時間分解モードで構成されている場合、複数の時間分解画像を時間ｇｔｉ，ｊ（ｎ，ｔ）に亘って積分することにより、複数の強度画像ｇｉ，ｊ（ｎ）を計算するステップと、
試料上の照明ビームの全ての位置ｎに亘って複数の強度画像ｇｉ，ｊ（ｎ）を合計することにより、指紋画像ａを計算するステップであって、前記指紋画像は、同時に照明点広がり関数、以下、照明ＰＳＦ，ｈｅｘｃおよび検出点広がり関数、以下、検出ＰＳＦ，ｈｄｅｔ、に依存する、ステップと、
強度画像ｇｉ，ｊ（ｎ）からシフト行列ｓｘおよびｓｙを推定するステップと、
次の少なくとも１つを再構成するステップと、
ｉ）複数の時間分解画像ｇｔｉ，ｊ（ｎ，ｔ）、指紋画像ａおよびシフト行列ｓｘおよびｓｙに基づく時間分解オブジェクト関数ｆｔ、および
ｉｉ）複数の強度画像ｇｉ，ｊ（ｎ）、指紋画像ａおよびシフト行列ｓｘおよびｓｙに基づく、または時間分解オブジェクト関数ｆｔを時間に亘って積分することによる、強度オブジェクト関数ｆ、
前記時間分解オブジェクト関数および強度オブジェクト関数に基づいて、高解像度時間分解画像ｆｔ〜および高解像度強度画像ｆ〜の少なくとも１つを視覚化するステップと、を含む。
【００５０】
提案される方法および顕微鏡システムの特徴および利点は、非限定的な例としてのみ与えられる、添付の図面を参照する以下の詳細な説明に提示される。
【図面の簡単な説明】
【００５１】
図１ａ  本発明に係る分光計の３つの実施形態を表す斜視図である。
図１ｂ  本発明に係る分光計の３つの実施形態を表す斜視図である。
図１ｃ  本発明に係る分光計の３つの実施形態を表す斜視図である。
【図１】本発明に係る顕微鏡の機能的表現を示している。
【図２】図１の顕微鏡の検出器（左）および指紋画像（右）の概略図を示している。
【図３】本発明に係るプロトタイプのパフォーマンスを示している。単一の検出器要素の時間分解能（ジッタ）（左）、光子が収集される位置の関数としての時間分解能（中央）、および検出器のアクティブ領域内での光子検出の正規化効率（右）。
【図４】高解像度の輝度画像の再構成例を示している。上、左から右へ：固定細胞の細胞骨格を示している、ＳＰＡＤ検出器（スケールバー：１μｍ）の５×５のアレイで取得された一連の強度画像ｇ；ｇから計算された指紋画像ａ；ｇから推定されるドリフト行列ｄｘおよびｄｙ；励起ＰＳＦｈｅｘｃ、検出ＰＳＦｈｄｅｔおよび推定シフト行列ｓｘおよびｓｙから取得したＳＰＡＤアレイ（スケールバー：１００ｎｍ）の各要素に対して計算されたＰＳＦｈｉ，ｊ。下、左から右へ：中央ピクセルｇｉｃ，ｉｃから記録された強度画像（スケールバー：１μｍ）；低解像度の従来のＣＬＳＭ強度画像（スケールバー：１μｍ）；マルチ画像逆畳み込みによって再構成された強度画像（スケールバー：１μｍ）。
【発明を実施するための形態】
【００５２】
図１を参照して、時間分解画像および／または高解像度強度画像が抽出されるデータのセットを取得するように構成されたレーザ走査型顕微鏡装置について説明する。要約すると、この装置は、それ自体、従来の本体１０と、検出モジュール２０とを備える。単一または多光子励起ビームＥＢは、レーザ源（図示せず）によって生成され、ダイクロイックミラー１３によってレンズ１１に向かって反射される。励起ビームは、レンズ１１によって解析されるべき物体（図示せず）に集束される。マイクロミラー装置として作成された空間光変調器は、１４で示され、音響光学変調器（ＡＯＭ）または電気光学（ＥＯＭ）変調器は、１５で示される。例えば、ガルバノメトリックミラーとして作成された、解析される物体を走査するための装置は、１６で示される。物体によって放出された蛍光信号ＦＳは、同じレンズ１１によって収集され、ダイクロイックミラー１３を通過し、共焦点ピンホール１７を通って検出モジュール２０に向かって伝達される。ピンホール１７は、必要に応じて完全に開口（直径＞＞１エアリーユニット）してもよい。
【００５３】
検出モジュール２０は、本質的に、その制御電子機器２５とともに、ズームレンズシステム２１および検出器要素のアレイ２３を備える。アレイ２３の検出器要素のそれぞれは、ＳＰＡＤ検出器または同様の時間的性能を有する検出器であり得る。
【００５４】
ズームレンズ２１は、（顕微鏡システムの画像平面に配置される）ピンホール平面１７を、検出器アレイ２３が配置される平面と組み合わせる。ズームレンズ２１の機能は、検出器アレイ２３が配置される画像平面（または共役画像平面）における投影された検出ＰＳＦの物理的サイズを制御することである。言い換えると、ズームレンズ２１は、物体平面に配置され、検出器アレイ２３上の画像が形成される単一点蛍光源によって生成される蛍光回折スポットの物理的サイズを制御する。本質的に、ズームレンズ２１は、検出器アレイ２３が配置される画像平面におけるシステムの倍率を制御する。このような倍率は、（ｉ）検出面に投影された個々の検出器要素のサイズが１つのエアリーユニットよりもはるかに小さく、（ｉｉ）ほとんどの蛍光が検出器アレイ２３によって収集されるように選択される。明らかに、検出器要素の数が比較的少ない検出器アレイを使用する場合、このような２つの要件のバランスを取る必要がある。
【００５５】
より単純な固定倍率望遠鏡の代わりに、ズームレンズ２１を導入することは、システムの一般性を維持するために、例えば、異なる波長と異なるレンズで機能するために好ましい。
【００５６】
検出器アレイ２３は、Ｍｘ×Ｍｙ検出器要素のアレイ（２次元）で表され、それぞれが独立しており（完全並列システム）、単一光子のレベルで感度があり、蛍光顕微鏡で使用される最も一般的なフルオロフォアの平均蛍光寿命を測定するなどの時間分解能（低時間ジッタ）がある。検出器アレイの動作パラメータ（過剰なバイアス電圧、ホールドオフ時間、アクティブな要素の数）は、各測定の前に調整できる。
【００５７】
検出器アレイ２３の各要素は、非アクティブフレーム（図２、左）によって囲まれたアクティブな正方形領域（他の形状を使用することができる）を有する。他のピクセルベースの装置と同様に、ピクセルピッチは２つの隣接するピクセル（の重心）間の距離として定義できる（ピクセルが正方形の場合、これらのピクセルは同じ行または同じ列にある）。検出器の重要な機能は、アクティブ領域とピクセルピッチの２乗との間の比率として計算できる曲線因子である。検出器の全体的な光子検出効率（ＰＤＥ）、すなわち、検出器に到達する光子が記録される確率は、曲線因子に直接依存する。ＰＤＥをさらに改善するために、マイクロレンズ２４のアレイを使用して、光子を各検出器要素の中心に向ける。検出器アレイの各要素は、専用デジタルチャネル上のＴＴＬ（トランジスタ−トランジスタロジック）信号で光子の到着を通知する。追加の３本のデジタルラインが通信バスを形成し、測定開始時のアレイ全体の初期構成に役立つ。
【００５８】
検出モジュール２０の制御電子機器およびデータ収集は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）プロセッサで開発されている。これにより、滞留時間中に収集された全ての光子を単一ポイントｎ（強度モード）に積分したり、または時間デジタルコンバータ（ＴＤＣ）（時間分解モードまたはＴＣＳＰＣ）のオンボード積分により、外部参照信号（例えば、励起レーザのパルス）に対する到着時間を測定したりできる。
【００５９】
検出器とデータ取得電子機器は完全に非同期で、すなわち、光子が検出され、カウントされるか、その到着時間が測定され、フレームレートが制限されたり、シーケンシャル読み取りの不便が生じたりすることなく、要素が互いに独立している場合、動作するように構成されていることに注意することが重要である。
【００６０】
顕微鏡制御システム（図１の１８で示されている）との通信（同期）は、製造元から提供されたデジタルピクセル／ライン／フレームクロックラインによって行われる。
【００６１】
本発明に係る方法を説明する前に、時間分解撮像の場合に画像形成を導入する必要がある。
【００６２】
連続定式化を使用して、時間分解の場合の画像形成を記述する直接演算子は次のとおりである。
【００６３】
【数１３】
2021510850.tif 000015
【００６４】
ここで、ｆは、時間情報、すなわち、励起イベントから特定の時間後に蛍光光子を放出する分布／確率も含むオブジェクト関数である。畳み込みは、空間次元にのみ適用される。
【００６５】
ステップ１。上記のアーキテクチャを使用して、時間分解された画像シリーズ／アレイ（またはＴＣＳＰＣ）ｇｔを記録する。
【００６６】
試料上の集束励起レーザビーム（単一光子または多光子）の様々な位置で、検出器アレイ２３の要素によって生成された信号が読み取られ、時間分解画像のシリーズ／アレイが取得されるｇｔ。
【００６７】
【数１４】
2021510850.tif 000016
【００６８】
【数１５】
2021510850.tif 000017
【００６９】
【数１６】
2021510850.tif 000018
【００７０】
【数１７】
2021510850.tif 000019
【００７１】
基本的に、各画像ｇｔｉ，ｊ（ｎ，ｔ）は、３次元アレイで、時間軸ｔは、ＴＣＳＰＣ測定で得られた光子到達時間のヒストグラム、すなわち、励起イベントによって空間ピクセル（ｎｘ，ｎｙ）、および特定の時間窓（時間コンテナ）ｔに収集された光子の数を示している。
【００７２】
ステップ２。ｇｔから一連の強度画像ｇを計算する。
【００７３】
ＴＣＳＰＣモードで上記の機器で収集されたＴＣＳＰＣ画像アレイｇｔが与えられると、アレイは、時間次元に積分され、強度画像アレイｇが取得される。
【００７４】
【数１８】
2021510850.tif 000020
【００７５】
ステップ３。「指紋」画像を計算する。
【００７６】
強度画像アレイｇが与えられると、いわゆる「指紋」画像ａが計算され、そこから励起ＰＳＦｈｅｘｃおよび検出ＰＳＦｈｄｅｔが推定される。
【００７７】
指紋画像ａは、以下のように定義される。全体の測定中に各検出器要素によって収集された全ての光子が統合され、指紋画像ａを生成する。実際には、画像は、１回の実験Ｍｘ×Ｍｙ中に取得され、指紋画像ａは、画像ごとの全ての強度画像値を合計することによって生成される。
【００７８】
【数１９】
2021510850.tif 000021
【００７９】
指紋画像ａの特性とそこからＰＳＦを取得する方法を理解するには、ａを連続ドメインで導出することが重要である。
【００８０】
微小要素で構成される検出器アレイを考えると、位置（ｘ’，ｙ’）∈Ｒ２の要素によって取得された画像ｇｘ‘，ｙ’は、次式のように表されることが観察される。
【００８１】
【数２０】
2021510850.tif 000022
【００８２】
ここで、ｆはオブジェクト／試料関数、ｈｘ‘，ｙ’は、位置（ｘ’，ｙ’）の検出器要素に関連付けられたＰＳＦを示し、＊は畳み込み演算子を示す。検出器の座標に対して定義された指紋画像ａ（ｘ’、ｙ’）は、次式のようである。
【００８３】
【数２１】
2021510850.tif 000023
【００８４】
畳み込み積分プロパティを適用すると、指紋画像は次式のようになる。
【００８５】
【数２２】
2021510850.tif 000024
【００８６】
ここで、Φは、試料からの光子の総フローである。ａ（ｘ‘，ｙ’）は、条件Φ＞０（Φ＞＞０）の試料から独立しているが、顕微鏡システムのＰＳＦと密接に関連している。
【００８７】
各微小要素のＰＳＦは、次式のようであることを思い出す。
【００８８】
【数２３】
2021510850.tif 000025
【００８９】
前の式を置き換えると、次式が取得できる。
【００９０】
【数２４】
2021510850.tif 000026
【００９１】
ここで、＊は、相関演算子を示す。要約すると、指紋画像は、機器に依存し、試料には依存しない。また、励起ＰＳＦと検出ＰＳＦの両方に依存する。
【００９２】
指紋画像は、システムの位置合わせに使用される場合もあることに留意されたい。特に、励起ＰＳＦと検出ＰＳＦを検出器アレイの中心ピクセル（ｉｃ，ｊｃ）に合わせる。この手順は、要素の数が少ない検出器にとって非常に重要である。ミスアライメントは、蛍光光子の損失を引き起こす。システムが正しく位置合わせされている場合、中心のピクセルが最も明るく、ピクセル強度値は、中心に対して対称的かつ等方的に分布している。指紋画像を測定し、それに応じて検出器のｘｙ位置を調整するフィードバック制御システムを実施して、中央ピクセルの強度を最大化できる。
【００９３】
さらに、指紋画像は、空間光変調器（ＳＬＭ）や変形可能ミラー（ＤＭ）などの光学要素（アダプティブオプティクス、ＡＯ）を継続的に適合させ、レーザビームまたは蛍光ビームの収束中に試料または顕微鏡システムによって導入される光学収差を補正する性能指数として使用できる。
【００９４】
ステップ４。シフト行列ｓｘとｓｙ、ドリフト行列ｄｘとｄｙ、および顕微鏡Ｍａｇｎの倍率を推定する。
【００９５】
強度画像ｇのアレイが与えられると、シフト行列ｓｘおよびｓｙが計算される。
【００９６】
ピクセルの再割り当て方法で説明したように、各画像ｇｉ，ｊは、要素（ｉ，ｊ）と要素（ｉｃ，ｊｃ）との間の距離の半分、すなわち、ｄｘｉ，ｊ＝ｓｘｉ，ｊ／２とｄｙｉ，ｊ＝ｓｙｉ，ｊ／２だけｇｉｃ，ｊｃに対して（画像平面で）平行移動される。したがって、シフト行列ｓｘおよびｓｙは、異なる画像ｇｉ，ｊの間のシフトを回復することによって推定され得る。従来技術［９］とは異なり、位相相関法は、ノイズ耐性と空間ドメインのアルゴリズムよりも高速であるために使用される。位相相関は、周波数ドメインでのデータの表現に依存する２つの類似した画像間のシフトを推定する。これは、この説明では高速フーリエ変換（ＦＦＴ）によって取得される。
【００９７】
２つの異なる試料画像（ｇｉ，ｊとｇｉｃ，ｊｃ）間の位相相関を計算するには、最初にいわゆるコレログラムを定義するｒｉ，ｊ。
【００９８】
【数２５】
2021510850.tif 000027
【００９９】
その後、コレログラムの最大値が検出される。その位置は、２つの画像間のドリフトを示す。
【０１００】
【数２６】
2021510850.tif 000028
【０１０１】
最大位置は、フィッティングアルゴリズムまたは重心ベースのアルゴリズムを使用して取得され、サブピクセル値を取得する。ここで、ｄｘ／ｙ（ｉ，ｊ）∈Ｒ。
【０１０２】
ドリフト行列ｄｘおよびｄｙが与えられると、シフト行列ｓｘおよびｓｙは、次のように計算できる。
【０１０３】
【数２７】
2021510850.tif 000029
【０１０４】
シフトマトリックスを推定する他のアプローチでは、次のものを使用する。（ｉ）検出器要素とシステム倍率との間の物理的な距離に基づく理論モデル、（ｉｉ）校正試料、例えば、球。
【０１０５】
しかしながら、このようなアプローチでは、各試料の特殊性や特定の測定の条件を考慮することができない。さらに、試料の倍率は必ずしも簡単に推定できるわけではない。一方、上記のアプローチは、励起ＰＳＦと検出ＰＳＦのガウス形式の仮定に敏感である。しかしながら、（ｉｃ，ｊｃ）を中心とする第１のエアリーディスク内の（ｉ，ｊ）の場合、仮定は確固としており、ｓｘ／ｙ（ｉ，ｊ）の推定はロバストである。最適なアプローチは、検出器の幾何学的形状とシステムの倍率に関する知識に基づいて、コレログラムの最大値の推定にいくつかの制約を組み込むことができる。
【０１０６】
システムの倍率Ｍａｇｎは、要素（ｉｃ，ｊｃ）の１次近傍（Ｎ）に対して推定されたｓｘ／ｙ（ｉｃ，ｊｃ）値、すなわち、（ｉｃ＋１，ｊｃ）、（ｉｃ−１，ｊｃ）、（ｉｃ，ｊｃ＋１）および（ｉｃ，ｊｃ−１）、と検出器のピクセルピッチ（ＰＰ）および画像のピクセル寸法（ＤＰ）を使用して決定できる。
【０１０７】
【数２８】
2021510850.tif 000030
【０１０８】
ステップ５。時間分解オブジェクト関数ｆを計算する。
【０１０９】
時間分解画像ｇｔのアレイ、指紋画像ａおよびシフト行列ｓｘ、ｓｙが与えられると、オブジェクト関数ｆｔの推定値は、以下のように計算される（ステップ５．１−５．３）。
【０１１０】
ステップ５．１。励起ＰＳＦｈｅｘｃおよび検出ＰＳＦｈｄｅｔを推定する。
【０１１１】
上記の指紋画像ａとの関係に基づいて、励起ＰＳＦｈｅｘｃおよび検出ＰＳＦｈｄｅｔは、次式のように最小化問題に従って推定できる。
【０１１２】
【数２９】
2021510850.tif 000031
【０１１３】
または、
【０１１４】
【数３０】
2021510850.tif 000032
【０１１５】
ＰＳＦパラメータの場合、ここで、ＭＳＥ関数は、次式のようになる。
【０１１６】
【数３１】
2021510850.tif 000033
【０１１７】
ＭＳＥ関数は、既知の手法に従って数値手法で最小化できる。
【０１１８】
ステップ５．２。マルチ画像逆畳み込み（ＭＩＤ）を使用して、時間分解オブジェクト関数を計算する。
【０１１９】
ＰＳＦに関する全ての情報（シフト値を含む）は以前に推定されているため、従来のマルチ画像逆畳み込みを使用して、特に、カルバックライブラー距離（ＫＬ）または平均二乗誤差距離（ＭＳＥ）を最小化することにより、元の問題を解決できる。
【０１２０】
【数３２】
2021510850.tif 000034
【０１２１】
時間分解の場合、ＫＬ距離は、次式のようになる。
【０１２２】
【数３３】
2021510850.tif 000035
【０１２３】
ＭＳＥ距離は、次式のようになる。
【０１２４】
【数３４】
2021510850.tif 000036
【０１２５】
ＭＳＥまたはＫＬ関数は、既知の手法に従って数値手法で最小化できる。
【０１２６】
ステップ５．３。ピクセルの再割り当て（ＰＲ）によって時間分解オブジェクト関数ｆｔを計算する。
【０１２７】
ピクセル再割り当てアプローチに従って、高解像度の時間分解画像は、各画像ｇｔｉ，ｊを推定量ｄｘ／ｙ（ｉ，ｊ）だけシフトした後、全ての画像を単純に合計することで取得できる。
【０１２８】
【数３５】
2021510850.tif 000037
【０１２９】
基本的に、各時間コンテナおよび検出器要素に関連付けられた各２Ｄ画像は、独立してシフトされる。このため、ＦＦＴと逆ＦＦＴの両方が２Ｄで実行される。
【０１３０】
ステップ６。強度オブジェクト関数ｆを計算する。
【０１３１】
与えられた：（ｉ）強度画像アレイｇ、指紋画像ａ、およびシフト行列ｓｘ，ｓｙまたは、（ｉｉ）以前に推定された時間分解オブジェクト関数ｆｔ、強度オブジェクト関数ｆの推定値は、以下に説明するように計算される（ステップ６．１−６．３）。
【０１３２】
ステップ６．１。時間積分により強度オブジェクト関数ｆを計算する。
【０１３３】
高解像度の時間分解画像が与えられると、時間分解オブジェクト関数ｆｔの時間次元を再構成された時間に積分することにより、高解像度の強度画像を得ることが可能である。
【０１３４】
【数３６】
2021510850.tif 000038
【０１３５】
ステップ６．２。マルチ画像逆畳み込みによって強度オブジェクト関数ｆを計算する。
【０１３６】
励起ＰＳＦｈｅｘｃ、検出ＰＳＦｈｄｅｔおよびシフト行列ｓｘ，ｓｙが与えられた場合、強度オブジェクト関数ｆは、マルチ画像逆畳み込みによって一連の強度画像ｇから直接計算でき、時間分解オブジェクト関数ｆｔを推定せずに、計算量を大幅に削減できる。
【０１３７】
この場合、ＫＬまたはＭＳＥの距離をｆに関してのみ最小化する必要がある。
【０１３８】
【数３７】
2021510850.tif 000039
【０１３９】
ＭＳＥまたはＫＬ関数は、既知の手法に従って数値手法で最小化できる。
【０１４０】
ステップ６．３。ピクセルの再割り当てによって強度オブジェクト関数ｆを計算する。
【０１４１】
シフト行列ｓｘ，ｓｙが与えられると、強度オブジェクト関数ｆは、ピクセル再割り当てによって、時間分解オブジェクト関数ｆｔを推定することなく、一連の強度画像ｇから直接計算でき、計算量を大幅に削減できる。
【０１４２】
この場合、ピクセルの再割り当ての推定は、次式のようになる。
【０１４３】
【数３８】
2021510850.tif 000040
【０１４４】
顕微鏡装置が強度モードで動作する場合（すなわち、ＴＣＳＰＣ測定を行わない場合）、強度画像アレイｇのみが生成される。この場合、ステップ６．２および６．３で提案された方法のみを使用できる。連続波モードで動作するレーザビームの場合、ＴＣＳＰＣモードで信号を記録することの重要性は低くなる。
【０１４５】
上記の方法の技術的利点は次のとおりである。
【０１４６】
−パラメータなしのロバスト（または時間分解）強度画像の再構成。
【０１４７】
ＰＳＦとシフト行列を個別に推定し、その後にのみ試料関数を推定する機能により、再構成法がより堅牢になる。位相相関アプローチを使用してシフト行列を推定すると、サブピクセルの結果と迅速な計算が可能になる。
【０１４８】
−指紋画像。
【０１４９】
正しいシステム設定（ｘｙアライメントに関して）は、「指紋画像」をメトリックおよび機械的要素として使用して、検出器をｘおよびｙに沿って移動させる閉ループ制御システム（フィードバックシステム）によって実現できる。
【０１５０】
−時間分解測定との互換性。
【０１５１】
これにより、ＩＳＭを蛍光寿命イメージング顕微鏡（ＦＬＩＭ）と組み合わせることができる。
【０１５２】
−「指紋画像」により、システムのシンプルな（場合によっては自動的な）アライメント。
【０１５３】
上記の装置の主な技術的利点は、次のとおりである。
【０１５４】
−ＳＰＡＤ検出器アレイ
【０１５５】
光子は、光子レベルの感度を有するＭｘ×Ｍｙ単一光子アバランシェダイオード（ＳＰＡＤ）検出器のアレイから収集される（示されている例では、行列は、２５個の要素で構成されている。Ｍｘ×Ｍｙは、５に等しい）。要素の数が比較的少ない（＞＝２５要素）場合でも、（ＰＲによって）再構成された画像の空間解像度は、閉じたピンホール共焦点顕微鏡の理論的な解像度の向上に近いことが示されている。多数の検出器要素には、１）緊密に統合された電子機器、フィルファクターの犠牲、および２）シーケンシャルリーディング（カメラと同じ原理）、フレームレートの導入、およびソースの時刻情報の破棄が必要であるため、このような検討は重要である。
【０１５６】
全ての検出器は互いに完全に独立している：（ｉ）要素間の干渉（クロストーク）はごくわずかである（ＳＰＡＤアレイは、第１の水平方向の近傍に対して＜１％、第１の対角方向の近傍に対して＜０．２％の干渉値を示す）（ｉｉ）各要素は、専用ライン上のデジタルＴＴＬ信号により、光子の到着を即座に明らかにする。後者の特性で特徴付けられる装置は、各光子がパワーオン信号を生成し、固定フレームレートがないため、「イベントドリブンカメラ」または「非同期カメラ」と呼ばれることがある。
【０１５７】
全ての検出器には、蛍光顕微鏡で最も使用されるフルオロフォアの励起状態の平均寿命の測定と完全に互換性のある時間ジッタ（または時間分解能）があり、その値は、１〜１０ｎｓの範囲である（ＳＰＡＤアレイは、１１０〜１６０ｐｓ間の時間分解能を有する）。
【０１５８】
全ての検出器には、高速走査システムと互換性のある読み取り帯域幅を保証するホールドオフを有する（上記のＳＰＡＤアレイでは、ホールドオフ時間と過剰なバイアス電圧は、それぞれ、２５ｎｓ〜２００ｎｓ、および４Ｖ〜６Ｖの範囲の通信バスで設定できる）。例えば、ホールドオフを２５ｎｓに設定できるため、個々の要素は４０ＭＨｚの読み取り帯域幅で動作する。さらに、全ての検出器要素間の独立性により、検出器システムのより高い有効読み取り帯域幅が可能になる。上記のポイントレーザ走査アーキテクチャでは、物体面に投影されたＳＰＡＤアレイの寸法が回折寸法よりも小さいためである。（試料に沿って走査された）観測ボリュームによって生成された光子は、検出器アレイ全体に拡散するため、ＳＰＡＤアレイは、単一要素からの読み取りよりも（観測ボリュームによって生成された）より高い光子フローを収集する場合がある。この技術的特徴は、共鳴ミラーや音響勾配に基づく調整可能な焦点光学系などの高速共鳴走査システムと検出器を組み合わせる場合に特に重要である。
【０１５９】
各レンズが検出器アレイの要素の中心に集束されているＭｘ×Ｍｙマイクロレンズのアレイを使用して、曲線因子を増加させ、光子検出効率（ＰＤＥ）を増加させることができる。ズームレンズシステムを使用して検出ビームを拡大し、検出面に投影された検出器全体のサイズが約１エアリーユニットになるようにする。ズームレンズシステムは、使用される波長、倍率、レンズの開口数に関して、上記のアーキテクチャの一般性を保証する。
【０１６０】
−ＦＰＧＡプロセッサ
【０１６１】
システム制御電子回路は、再構成可能なハードウェアを使用して開発された。ＦＰＧＡプロセッサにより、十分な数のデジタルラインから信号を取得できる。ＦＰＧＡプロセッサに直接実施された時間−デジタルコンバータ（ＴＤＣ）により、数十ピコ秒の時間分解能（時間ジッタ）でデジタル信号を取得できる。
【０１６２】
プロトタイプは、発明者によって構成され、ＣＬＳＭの検出部分を変更した。この装置には、波長６３５ｎｍの励起レーザ光源が装備されている（ＬＤＨ−Ｄ−Ｃ６４０、ＰｉｃｏＱｕａｎｔ）。レーザビームは、ガルバノメトリックミラーのペア（６２１５ＨＭ４０Ｂ、ＣＴＩ−Ｃａｍｂｒｉｄｇｅ）とレンズ（ＣＦＩ  Ｐｌａｎ  Ａｐｏ  ＶＣ６０ｘ  ｏｉｌ，Ｎｉｋｏｎ）によって試料上で走査される。蛍光光子は、同じレンズで収集され、ダイクロイックミラー（Ｈ６４３ＬＰＸＲ、ＡＨＦ  Ａｎａｌｙｓｅｎｔｅｃｈｎｉｋ）でデスキャンおよびフィルター処理される。最後に、ビームは、拡大され、ＳＰＡＤ検出器アレイに投影される。検出器アレイは、５×５のアレイに配置された２５個のエレメントを備えており、３軸での微調整のためにマイクロメーターネジを使用して商用サポートに取り付けられている。検出器の空間的および時間的性能が測定され、アクティブ領域内の１１０〜１６０ｐｓのジッタと優れた検出の均一性が示された（図３）。システムは位置合わせされ、実際の試料の画像を作成するために、上記の「位置合わせアレイ」方法を使用して倍率が調整される（図４）。
【０１６３】
検出器アレイは、電力を供給し、電子信号調整を提供する専用のオペレーティングカードによって制御される。このカードは、２５のデジタル出力チャネル（それぞれが検出器アレイの特定の要素での光子の到着にリンクされている）を提供する。これらは、データ取得システムに入力される。
【０１６４】
データ取得システムは、パーソナルコンピュータに接続されたＫｉｎｔｅｘ−７ＦＰＧＡプロセッサを搭載した商用ＦＰＧＡ開発ボード（Ｎａｔｉｏｎａｌ  Ｉｎｓｔｒｕｍｅｎｔｓ  ＵＳＢ−７８５６Ｒ）で開発された。取得システムを顕微鏡制御システムと同期させるために、標準のデジタルピクセル／ライン／フレームクロックラインが使用された。
【０１６５】
顕微鏡がリアルタイムイメージングに使用される場合、各ピクセルから各検出器によって収集された光子は、グラフィックスプロセッシングユニット（ＧＰＵ）で実行される専用アルゴリズムによって処理され、試料のリアルタイムの高解像度画像を提供する。
【０１６６】
明らかに、システムアーキテクチャと上記の方法の使用に関して変更が可能である。
【０１６７】
例えば、要素数（２５、５×５アレイに配置）が、解像度ゲインと取得システムの複雑さの間の最適な妥協点として選択された場合でも（各要素はデジタルチャネルを構成する）、要素数は、４９（７×７のアレイ）または８１（９×９のアレイ）に増やすことができる。
【０１６８】
さらに、ＳＰＡＤベースの検出システムは、第２高調波発生顕微鏡、ラマン散乱など、他の非蛍光ベースのレーザポイント走査顕微鏡技術に使用できる。
【０１６９】
さらに、検出システムは、誘導放出減少（ＳＴＥＤ）顕微鏡による減少顕微鏡で使用することができる。
【０１７０】
指紋画像は、照明と検出ＰＳＦの直接表現であるため、指紋画像を使用して、適応型光学制御システム（例えば、空間光変調器ＳＬＭに基づく）に供給されるメトリックを導き、システムまたは試料によって引き起こされる収差を補正することができる。
【０１７１】
参考文献
［１］米国特許第４５４９２０４号明細書
［２］Super-resolution in confocal imaging. Sheppard, C.J.R., Optik, 80(2), (1988)
［３］Image scanning microscopy. Muller, C. B., Enderlein, J., Phys. Rev. Lett. 104, 198101 (2010)
［４］Optical Photon Reassignment Microscopy (OPRA). Roth, S., Sheppard, C.J.R., Wicker, K., Heintzmann, R., Optical Nanoscopy, 2-5, (2013)
［５］Re-scan confocal microscopy: scanning twice for better resolution. De Luca, G.M.R. et al., Biomedical Optics Express 2014, 4(11)
［６］Rapid nonlinear image scanning microscopy. Gregor, I. et al., Nature Methods 2017, In Press
［７］国際公開第２０１５／０５５５３４号
［８］Method of super-resolution based on array detection and maximum-likelihood estimation. Li, H. et al., Applied Optics 2016, 55(35): 9925-9931
［９］Parallel detecting super-resolution microscopy using correlation-based image restoration. Yu, Z. et al., Optics Communications 2017, 404(35): 139-146
【図１】
2021510850.tif 000041
【図２】
2021510850.tif 000042
【図３】
2021510850.tif 000043
【図４】
2021510850.tif 000044
【国際調査報告】
2021510850.tif 000045
2021510850.tif 000046
2021510850.tif 000047