(57)【要約】  複数の照明条件下で取得した複数の画像を用いてサンプルの画像を構築するためのシステム及び方法が開示される。一実装では、顕微鏡は、画像取り込みデバイス、照明組立体、及びコントローラを含んでよい。コントローラは、照明組立体にサンプルを一連の異なる照明条件で照明させてよい。コントローラはさらに、画像取り込みデバイスから、各照明条件での少なくとも１つの画像を含む、サンプルの複数の画像を取得してよい。コントローラはまた、少なくとも１つの画像から、各照明条件でのサンプルの画像データを求めてよい。コントローラはさらに、各照明条件での求めた画像データから非反復プロセスで、サンプルの再構築された画像を生成してよい。再構築された画像は、第１の画像解像度よりも高い第２の画像解像度を有してよい。【選択図】図１
2018537709.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる照明条件下で取得した画像情報を用いてサンプルの画像を構築するための顕微鏡であって、
サンプルの画像を第１の画像解像度で取り込むように構成された少なくとも１つの画像取り込みデバイスと、
第１の開口数を有するレンズと、
前記サンプルを照明するように構成された少なくとも１つの光源を含む照明組立体であって、最大照明入射角は、前記第１の開口数の少なくとも１．５倍の第２の開口数に相当する、照明組立体と、
少なくとも１つのコントローラと、
を備え、前記少なくとも１つのコントローラが、
前記照明組立体に前記サンプルを一連の異なる照明条件で照明させ、
前記少なくとも１つの画像取り込みデバイスから、各照明条件での少なくとも１つの画像を含む前記サンプルの複数の画像を取得し、
前記少なくとも１つの画像から、各照明条件での前記サンプルの画像データを求め、
各照明条件での前記求めた画像データから非反復プロセスで、前記第１の画像解像度よりも高い第２の画像解像度を有する前記サンプルの再構築された画像を生成する、
ようにプログラムされる、顕微鏡。
【請求項２】
前記少なくとも１つのコントローラが、前記再構築された画像をディスプレイ上に表示させるようにさらにプログラムされる、請求項１に記載の顕微鏡。
【請求項３】
前記少なくとも１つのコントローラが、前記再構築された画像における前記サンプルの少なくとも１つの要素を識別するようにさらにプログラムされる、請求項１に記載の顕微鏡。
【請求項４】
前記異なる照明条件が、異なる照明角度、異なる照明パターン、異なる波長、又はこれらの組み合わせのうちの少なくとも１つを含む、請求項１に記載の顕微鏡。
【請求項５】
各照明条件での前記サンプルの画像データを求めることが、各照明条件下での前記サンプルの位相情報を独立して求めることを含む、請求項１に記載の顕微鏡。
【請求項６】
各照明条件下での前記位相情報を求めるために、前記少なくとも１つのコントローラが、
前記少なくとも１つの画像取り込みデバイスから、各照明条件での異なる焦点面からの第１の画像の群を取得し、
前記第１の画像の群から、各照明条件下での前記位相情報を独立して求める、
ようにプログラムされる、請求項５に記載の顕微鏡。
【請求項７】
前記少なくとも１つの画像取り込みデバイスが、ビームスプリッタと、第１の画像を取り込むように構成された第１のイメージセンサと、第２の画像を取り込むように構成された第２のイメージセンサとを含み、各照明条件下での前記位相情報を求めるために、前記少なくとも１つのコントローラが、
前記少なくとも１つの画像取り込みデバイスから、各照明条件下で第１の画像及び前記第１の画像とは異なる第２の画像を取得し、
各照明条件下での前記位相情報を独立して求めるために前記第１の画像からの情報と前記第２の画像からの情報を組み合わせる、
ようにプログラムされる、請求項５に記載の顕微鏡。
【請求項８】
第１の光路を経由して前記少なくとも１つの画像取り込みデバイスの方へ進む第１の光ビームと、第２の光路を経由して前記少なくとも１つの画像取り込みデバイスの方へ進む第２の光ビームとを生成するように構成されたビームスプリッタをさらに含み、各照明条件下での前記位相情報を求めるために、前記少なくとも１つのコントローラが、
各照明条件に関して、前記第１の光ビームと前記第２の光ビームとの間の干渉パターンを識別し、
前記干渉パターンから、各照明条件下での前記位相情報を独立して求める、
ようにプログラムされる、請求項５に記載の顕微鏡。
【請求項９】
前記サンプルから反射した光を変調するように構成された光学素子をさらに含み、各照明条件下での前記位相情報を求めるために、前記少なくとも１つのコントローラが、
前記少なくとも１つの画像取り込みデバイスから、各照明条件での第１の画像及び前記第１の画像とは異なる変調をされる第２の画像を取得し、
前記第１の画像からの情報と前記第２の画像からの情報を各照明条件下での前記位相情報に独立して組み合わせる、
ようにプログラムされる、請求項５に記載の顕微鏡。
【請求項１０】
各照明条件での前記サンプルの前記画像データを求めるために、前記少なくとも１つのコントローラが、
前記少なくとも１つの画像を実平面からフーリエ平面に変換し、
組み合わされた複合画像を形成するべく前記フーリエ平面における前記サンプルの前記画像データを集約し、
前記サンプルの前記再構築された画像を生成するべく前記組み合わされた複合画像データを像空間に戻すように変換する、
ようにさらにプログラムされる、請求項１に記載の顕微鏡。
【請求項１１】
前記再構築された画像を生成する前記非反復プロセスが、前記組み合わされた複合画像における各点に関する単一の照明条件と関連付けられる画像データを用いることを含む、請求項１０に記載の顕微鏡。
【請求項１２】
前記少なくとも１つの画像取り込みデバイスが、１２メガピクセルよりも高い前記第１の画像解像度で２マイクロメートルよりも小さいピクセルサイズを有する画像を取り込むように構成される、請求項１に記載の顕微鏡。
【請求項１３】
複数の異なる照明条件下で取得した画像情報を用いてサンプルの画像を構築するための顕微鏡であって、
サンプルの画像を第１の画像解像度で取り込むように構成された少なくとも１つの画像取り込みデバイスと、
第１の開口数を有するレンズと、
前記サンプルを照明するように構成された少なくとも１つの光源を含む照明組立体であって、最大照明入射角は、前記第１の開口数の少なくとも１．５倍の開口数に相当する、照明組立体と、
少なくとも１つのコントローラと、
を備え、前記少なくとも１つのコントローラが、
前記照明組立体に前記サンプルを一連の異なる照明角度で照明させ、
前記少なくとも１つの画像取り込みデバイスから、各照明角度での少なくとも１つの画像を含む、前記サンプルの複数の画像を取得し、
前記少なくとも１つの画像から、各照明条件下での前記サンプルの位相情報を含む、各照明角度での前記サンプルの画像データを求め、
前記一連の異なる照明角度での前記画像データから、前記第１の画像解像度よりも高い第２の画像解像度を有する前記サンプルの再構築された画像を生成する、
ようにプログラムされる、顕微鏡。
【請求項１４】
前記少なくとも１つのコントローラが、前記再構築された画像をディスプレイ上に表示させる又は前記再構築された画像における前記サンプルの少なくとも１つの要素を識別するようにさらにプログラムされる、請求項１３に記載の顕微鏡。
【請求項１５】
前記少なくとも１つのコントローラが、
構築パラメータの第１の組を用いて前記再構築された画像を生成し、
前記再構築された画像が所望の品質ではないと判断し、
構築パラメータの第２の組を用いて第２の再構築された画像を生成する、
ようにさらにプログラムされる、請求項１３に記載の顕微鏡。
【請求項１６】
前記再構築された画像が所望の品質ではないという判断が、前記再構築された画像のシャープネスに基づく、請求項１５に記載の顕微鏡。
【請求項１７】
複数の異なる照明条件下で取得した画像情報を用いてサンプルの画像を構築するための方法であって、
サンプルを一連の異なる照明条件で照明することであって、前記サンプルの照明は、画像取り込みデバイスに関連する開口数の少なくとも１．５倍の開口数に相当する入射角をなす、照明することと、
前記画像取り込みデバイスから、各照明条件での少なくとも１つの画像を含む、前記サンプルの前記第１の画像解像度で取り込まれた複数の画像を取得することと、
前記少なくとも１つの画像から、各照明条件下での前記サンプルの位相情報を含む、各照明条件での前記サンプルの画像データを求めることと、
各照明条件での前記求めた画像データから非反復プロセスで、前記第１の画像解像度よりも高い第２の画像解像度を有する前記サンプルの再構築された画像を生成することと、
を含む、方法。
【請求項１８】
前記異なる照明条件が異なる照明角度を含む、請求項１７に記載の方法。
【請求項１９】
前記異なる照明条件が異なる照明パターンを含む、請求項１７に記載の方法。
【請求項２０】
前記異なる照明条件が異なる波長を含む、請求項１７に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
［0001］  本出願は、２０１５年１１月１１日に出願された米国特許仮出願第６２／２５３，７２３号、２０１５年１１月１１日に出願された米国特許仮出願第６２／２５３，７２６号、及び２０１５年１１月１１日に出願された米国特許仮出願第６２／２５３，７３４号の優先権の利益を主張するものである。上記の出願のすべては、参照によりそれらの全体が本明細書に組み込まれる。
［0002］  本開示は一般に、コンピュータ顕微鏡法に関し、より詳細には、異なる照明条件下で画像を生成するためのシステム及び方法に関する。
【発明の概要】
【０００２】
［0003］  今日の市販の顕微鏡は、高価な精巧な光学レンズに依拠し、通常は、取得した画像を共有及び処理するのに付加的なハードウェアを必要とする。さらに、走査型光学顕微鏡には、正確な機構及び科学計測用カメラなどの付加的な高価な機器が必要とされる。従来の顕微鏡の限界を克服するべく、進化した画像処理アルゴリズム（普通はハードウェア変更を伴う）を利用する、コンピュータ顕微鏡法として知られている、新世代の顕微鏡技術が現れ始めている。コンピュータ顕微鏡は、或る場合には、高価な光学レンズを用いずにサンプルの高解像度のデジタル画像を生み出すことができる。加えて、コンピュータ顕微鏡は、コンピュータビジョン、データの共有などに基づくさらなる可能性への扉を開くであろう。
【０００３】
［0004］  開示されるシステム及び方法は、コンピュータ顕微鏡法の分野に関する。或る開示される実施形態は、複数の照明条件下で取得した画像を用いて顕微鏡の焦点を合わせるためのシステム及び方法に向けられる。開示される実施形態はまた、サンプルの高解像度画像を生成するべく複数の照明条件下で画像を取得するためのシステム及び方法を含む。
【０００４】
［0005］  開示される実施形態によれば、複数の異なる照明条件下で取得した画像情報を用いてサンプルの画像を構築するための顕微鏡が提供される。顕微鏡は、サンプルの画像を第１の画像解像度で取り込むように構成された少なくとも１つの画像取り込みデバイスを含んでよい。顕微鏡は、第１の開口数を有するレンズをさらに含んでよい。顕微鏡はまた、サンプルを照明するように構成された少なくとも１つの光源を含む照明組立体を含んでよく、最大照明入射角は、第１の開口数の少なくとも１．５倍の第２の開口数に相当する。顕微鏡はさらに、照明組立体にサンプルを一連の異なる照明条件で照明させ、少なくとも１つの画像取り込みデバイスから各照明条件での少なくとも１つの画像を含むサンプルの複数の画像を取得し、少なくとも１つの画像から各照明条件でのサンプルの画像データを求め、各照明条件での求めた画像データから非反復プロセスで第１の画像解像度よりも高い第２の画像解像度を有するサンプルの再構築された画像を生成するようにプログラムされた、少なくとも１つのコントローラを含んでよい。
【０００５】
［0006］  同じく開示される実施形態によれば、複数の異なる照明条件下で取得した画像情報を用いてサンプルの画像を構築するための顕微鏡が提供される。顕微鏡は、サンプルの画像を第１の画像解像度で取り込むように構成された少なくとも１つの画像取り込みデバイスを含んでよい。顕微鏡はまた、第１の開口数を有するレンズを含んでよい。顕微鏡はさらに、サンプルを照明するように構成された少なくとも１つの光源を含む照明組立体を含んでよく、最大照明入射角は、第１の開口数の少なくとも１．５倍の第２の開口数に相当する。顕微鏡はさらに、照明組立体にサンプルを一連の異なる照明角度で照明させ、少なくとも１つの画像取り込みデバイスから各照明角度での少なくとも１つの画像を含むサンプルの複数の画像を取得し、少なくとも１つの画像から、各照明条件下でのサンプルの位相情報を含む各照明角度でのサンプルの画像データを求め、一連の異なる照明角度での画像データから第１の画像解像度よりも高い第２の画像解像度を有するサンプルの再構築された画像を生成するようにプログラムされた、少なくとも１つのコントローラを含んでよい。
【０００６】
［0007］  開示される実施形態によれば、複数の異なる照明条件下で取得した画像情報を用いてサンプルの画像を構築するための方法が提供される。方法は、サンプルを一連の異なる照明条件で照明することであって、サンプルの照明は、画像取り込みデバイスに関連する開口数の少なくとも１．５倍の開口数に相当する入射角をなす、照明することと；画像取り込みデバイスから、サンプルの第１の画像解像度で取り込まれた、各照明条件での少なくとも１つの画像を含む複数の画像を取得することと；少なくとも１つの画像から、各照明条件下でのサンプルの位相情報を含む各照明条件でのサンプルの画像データを求めることと；各照明条件での求めた画像データから非反復プロセスで、第１の画像解像度よりも高い第２の画像解像度を有するサンプルの再構築された画像を生成することを含んでよい。
【０００７】
［0008］  加えて、非一時的なコンピュータ可読記憶媒体がプログラム命令を記憶し、該プログラム命令が、少なくとも１つのコントローラにより実行されることで、本明細書で説明される方法のいずれかを行ってよい。
【０００８】
［0009］  上記の概要及び以下の詳細な説明は、単なる例示的及び説明的なものであって、請求項を制限するものではない。
【０００９】
［0010］  本開示に組み込まれ、その一部をなす添付図は、種々の開示される実施形態を例示する。
【図面の簡単な説明】
【００１０】
【図１】［0011］開示される実施形態による例示的な顕微鏡の図的表現である。
【図２Ａ】［0012］開示される実施形態による図１の顕微鏡の焦点がはずれているときの２つのビーム対の光路の図的表現である。
【図２Ｂ】［0013］開示される実施形態による図１の顕微鏡の焦点が合っているときの２つのビーム対の光路の図的表現である。
【図３Ａ】［0014］開示される実施形態による図１の顕微鏡の焦点がはずれているときのディスプレイ上に示される例示的な画像の図的表現である。
【図３Ｂ】［0015］開示される実施形態による図１の顕微鏡の焦点が合っているときのディスプレイ上に示される例示的な画像の図的表現である。
【図４】［0016］開示される実施形態による複数の照明条件下で取得した画像を用いてサンプルの像の焦点を合わせるための例示的なプロセスを示すフローチャートである。
【図５】［0017］開示される実施形態による複数の照明条件下で取得した画像を用いてサンプルの画像を構築するための例示的なプロセスの表現である。
【図６Ａ】［0018］開示される実施形態による複数の照明条件下でサンプルの位相情報を求めるための構成の図的表現である。
【図６Ｂ】［0019］開示される実施形態による複数の照明条件下でサンプルの位相情報を求めるための別の構成の図的表現である。
【図６Ｃ】［0020］開示される実施形態による複数の照明条件下でサンプルの位相情報を求めるための別の構成の図的表現である。
【図６Ｄ】［0021］開示される実施形態による複数の照明条件下でサンプルの位相情報を求めるための別の構成の図的表現である。
【図６Ｅ】［0022］開示される実施形態による複数の照明条件下でサンプルの位相情報を求めるための別の構成の図的表現である。
【図６Ｆ】［0023］開示される実施形態による複数の照明条件下でサンプルの位相情報を求めるための別の構成の図的表現である。
【図７】［0024］開示される実施形態による図６Ａの構成を用いる図５のプロセスの実装を示す流れ図である。
【図８】［0025］開示される実施形態による図１の顕微鏡の開口数の図的表現である。
【図９Ａ】［0026］開示される実施形態による単一の照明条件下で取得した画像データのフーリエ平面における例示である。
【図９Ｂ】［0027］開示される実施形態による複数の異なる照明条件下で取得した画像データのフーリエ平面における例示である。
【図１０】［0028］開示される実施形態による複数の照明条件下で取得した画像を用いてサンプルの画像を再構築するための例示的なプロセスを示すフローチャートである。
【発明を実施するための形態】
【００１１】
［0029］  以下の詳細な説明は添付図を参照する。可能ならば、図面及び以下の説明において同じ又は類似の部分を参照するのに同じ参照番号が用いられる。いくつかの例示的な実施形態が本明細書で説明されるが、修正、適応、及び他の実装が可能である。例えば、図面に示された構成要素に置換え、追加、又は修正がなされてよく、本明細書で説明される例示的な方法は、開示される方法のステップの置換え、並べ替え、除去、又は追加により修正されてよい。したがって、以下の詳細な説明は、開示される実施形態及び例に限定されない。代わりに、適正な範囲は付属の請求項によって定められる。
【００１２】
［0030］  開示される実施形態は、ステージ上に配置され得るサンプルの高解像度画像を提供するべく１つ又は複数のカメラを用いる顕微鏡及び方法を提供する。種々の実施形態において、顕微鏡は、複数の照明条件下で取り込まれたサンプルの画像を用いてよい。例えば、複数の照明条件は、異なる照明角度を含んでよい。本開示の一態様では、顕微鏡は、取り込まれた画像において、複数の照明条件に対応するサンプルの複数の出現（occurrence）を識別してよい。顕微鏡は、前記出現間のシフトを推定し、顕微鏡の焦点はずれ量（a degree in which the microscope is out of focus）を求めてよい。本開示のこの態様は、図２〜図４を参照して詳細に説明される。本開示の別の態様では、顕微鏡は、各照明条件下でサンプルの複数の画像を取り込み、これらの画像から画像データを集約し、画像データから高解像度画像を構築してよい。一例では、顕微鏡は、フーリエ平面において画像データを集約し、次いで、高解像度画像を再構築するのに逆フーリエ変換を用いてよい。本開示のこの態様は、図５〜図１０を参照して詳細に説明される。
【００１３】
［0031］  図１は、例示的な開示される実施形態による顕微鏡１００を表す図である。「顕微鏡」という用語は、肉眼で容易に観察できるよりも小さい物体を拡大するための、すなわち、画像が物体よりも大きい、ユーザのための物体の画像を作成するための任意のデバイス又は機器を指す。１つのタイプの顕微鏡は、物体を拡大するための光学系と組み合わせて光を用いる「光学顕微鏡」であってよい。光学顕微鏡は、１つ又は複数の拡大レンズを有する単純な顕微鏡でであってよい。別のタイプの顕微鏡は、物体のサイズ又は他の特性を高める又は拡大するためにイメージセンサ及び画像処理アルゴリズムを含む「コンピュータ顕微鏡」であってよい。コンピュータ顕微鏡は、専用デバイスであってよく、又は高解像度デジタル画像を生み出すために既存の光学顕微鏡にソフトウェア及び／又はハードウェアを組み込むことにより作製されてよい。図１に示すように、顕微鏡１００は、画像取り込みデバイス１０２、フォーカスアクチュエータ１０４、メモリ１０８に接続されたコントローラ１０６、照明組立体１１０、及びユーザインターフェース１１２を含む。顕微鏡１００の使用例は、画像取り込みデバイス１０２の視野（ＦＯＶ）内に配置されたステージ１１６上に設置されたサンプル１１４の画像を取り込み、取り込まれた画像を処理し、サンプル１１４の拡大画像をユーザインターフェース１１２上に提示することであり得る。
【００１４】
［0032］  画像取り込みデバイス１０２は、サンプル１１４の画像を取り込むのに用いられてよい。本明細書では、「画像取り込みデバイス」という用語は、レンズに入る光信号を画像又は一連の画像として記録するデバイスを含む。光信号は、近赤外スペクトル、赤外スペクトル、可視スペクトル、及び紫外スペクトルの範囲内であり得る。画像取り込みデバイスの例は、ＣＣＤカメラ、ＣＭＯＳカメラ、光センサアレイ、ビデオカメラ、カメラを搭載したモバイル電話などを含む。一部の実施形態は、１つだけの画像取り込みデバイス１０２を含む場合があるが、他の実施形態は、２、３、又はさらには４つ、或いはより多くの画像取り込みデバイス１０２を含む場合がある。一部の実施形態では、画像取り込みデバイス１０２は、画定された視野（ＦＯＶ）内の画像を取り込むように構成されてよい。また、顕微鏡１００がいくつかの画像取り込みデバイス１０２を含むとき、画像取り込みデバイス１０２は、それらのそれぞれのＦＯＶにおいて重なり領域を有してよい。画像取り込みデバイス１０２は、サンプル１１４の画像データを取り込むための１つ又は複数のイメージセンサ（図１には図示せず）を有してよい。他の実施形態では、画像取り込みデバイス１０２は、１０メガピクセルよりも高い、１２メガピクセルよりも高い、１５メガピクセルよりも高い、又は２０メガピクセルよりも高い画像解像度で画像を取り込むように構成されてよい。加えて、画像取り込みデバイス１０２はまた、５マイクロメートルよりも小さい、３マイクロメートルよりも小さい、又は１．６マイクロメートルよりも小さいピクセルサイズを有するように構成されてよい。
【００１５】
［0033］  一部の実施形態では、顕微鏡１００は、フォーカスアクチュエータ１０４を含む。「フォーカスアクチュエータ」という用語は、サンプル１１４と画像取り込みデバイス１０２との間の相対距離を調節するために入力信号を物理的な動きに変換することができる任意のデバイスを指す。例えば、リニアモータ、電歪アクチュエータ、静電モータ、静電容量型モータ、ボイスコイルアクチュエータ、磁歪アクチュエータなどを含む種々のフォーカスアクチュエータが用いられてよい。一部の実施形態では、フォーカスアクチュエータ１０４は、アナログ位置フィードバックセンサ及び／又はデジタル位置フィードバック要素を含んでよい。フォーカスアクチュエータ１０４は、光ビームを収束させてサンプル１１４の明瞭な且つ鮮明に画定された像を形成するべくコントローラ１０６から命令を受信するように構成される。図１に示された例では、フォーカスアクチュエータ１０４は、画像取り込みデバイス１０２を動かすことにより距離を調節するように構成されてよい。しかしながら、他の実施形態では、フォーカスアクチュエータ１０４は、ステージ１１６を動かすことにより、又は画像取り込みデバイス１０２とステージ１１６との両方を動かすことにより距離を調節するように構成されてよい。
【００１６】
［0034］  顕微鏡１００はまた、開示される実施形態に係る顕微鏡１００の動作を制御するためのコントローラ１０６を含んでよい。コントローラ１０６は、所望の機能を提供する記憶された又はアクセス可能なソフトウェア命令に従って画像データ及び他のデータの１つ又は複数の入力に対して論理演算を行うための種々のタイプのデバイスを備えてよい。例えば、コントローラ１０６は、中央処理装置（ＣＰＵ）、サポート回路、デジタル信号プロセッサ、集積回路、キャッシュメモリ、又はグラフィック処理ユニット（ＧＰＵ）などの画像処理及び分析のための任意の他のタイプのデバイスを含んでよい。ＣＰＵは、イメージセンサからの画像を処理するように構成された任意の数のマイクロコントローラ又はマイクロプロセッサを備えてよい。例えば、ＣＰＵは、任意のタイプのシングル又はマルチコアプロセッサ、モバイルデバイスマイクロコントローラなどを含んでよい。例えば、Ｉｎｔｅｌ（登録商標）、ＡＭＤ（登録商標）などの製造業者から入手可能なプロセッサを含む種々のプロセッサが用いられてよく、種々のアーキテクチャ（例えば、ｘ８６プロセッサ、ＡＲＭ（登録商標）など）を含んでよい。サポート回路は、キャッシュ、電源、クロック、及び入力−出力回路を含む当該技術分野では一般によく知られている任意の数の回路であってよい。
【００１７】
［0035］  一部の実施形態では、コントローラ１０６は、コントローラ１０６により実行されるときに顕微鏡１００の動作を制御するソフトウェアを記憶するのに用いられるメモリ１０８と関連付けられてよい。加えて、メモリ１０８はまた、例えば、サンプル１１４の取り込まれた又は生成された画像などの顕微鏡１００の動作に関連する電子データを記憶してよい。一例では、メモリ１０８は、コントローラ１０６に一体化されてよい。別の例では、メモリ１０８は、コントローラ１０６から分離されてよい。具体的には、メモリ１０８は、コントローラ１０６に又はクラウドサーバなどの遠隔位置に配置された複数の構造体又はコンピュータ可読記憶媒体を参照してよい。メモリ１０８は、任意の数のランダムアクセスメモリ、読出し専用メモリ、フラッシュメモリ、ディスクドライブ、光学ストレージ、テープストレージ、リムーバブルストレージ、及び他のタイプのストレージを含んでよい。
【００１８】
［0036］  顕微鏡１００は、照明組立体１１０を含んでよい。「照明組立体」という用語は、サンプル１１４を照明するべく光を投射することができる任意のデバイス又はシステムを指す。照明組立体１１０は、光を放出するように構成された発光ダイオード（ＬＥＤ）、レーザ、及びランプなどの任意の数の光源を含んでよい。一実施形態では、照明組立体１１０は、１つだけの光源を含んでよい。代替的に、照明組立体１１０は、アレイ又はマトリクスに編成された４、１６、又はさらには１００個を超える光源を含んでよい。一部の実施形態では、照明組立体１１０は、サンプル１１４を照明するべく平行な表面に配置された１つ又は複数の光源を用いてよい。他の実施形態では、照明組立体１１０は、サンプル１１４に垂直な又は或る角度をなす表面に配置された１つ又は複数の光源を用いてよい。
【００１９】
［0037］  加えて、照明組立体１１０は、サンプル１１４を一連の異なる照明条件で照明するように構成されてよい。一例では、照明組立体１１０は、光源の二次元配置などの異なる照明角度に配置された複数の光源を含んでよい。この場合、異なる照明条件は、異なる照明角度を含んでよい。例えば、図１は、第１の照明角度α１から投射されたビーム１１８と、第２の照明角度α２から投射されたビーム１２０を描画する。一部の実施形態では、第１の照明角度α１と第２の照明角度α２は、同じ値であるが異なる符号を有してよい。他の実施形態では、第１の照明角度α１は、第２の照明角度α２とは別であってよい。しかしながら、両方の角度は、光学系の受光角内の角度である。別の例では、照明組立体１１０は、異なる波長の光を放出するように構成された複数の光源を含んでよい。この場合、異なる照明条件は、異なる波長を含んでよい。さらに別の例では、照明組立体１１０は、いくつかの光源を所定の時点で用いるように構成されてよい。この場合、異なる照明条件は、異なる照明パターンを含んでよい。したがって、本開示によれば、異なる照明条件は、異なる持続時間、異なる強度、異なる位置、異なる照明角度、異なる照明パターン、異なる波長、又はこれらの任意の組み合わせを含む群から選択されてよい。
【００２０】
［0038］  開示される実施形態によれば、顕微鏡１００は、ユーザインターフェース１１２を含んでよく、又は（例えば、ネットワーク上で、又は無線で、例えばＢｌｕｅｔｏｏｔｈ（登録商標）を介して）ユーザインターフェース１１２に接続又は通信してよい。「ユーザインターフェース」という用語は、サンプル１１４の拡大画像を提示するのに適する任意のデバイス、又は顕微鏡１００の１人又は複数人のユーザから入力を受けるのに適する任意のデバイスを指す。図１は、ユーザインターフェース１１２の２つの例を示す。第１の例は、Ｂｌｕｅｔｏｏｔｈ、セルラー接続、又はＷｉ−Ｆｉ接続により、直接に又はリモートサーバを通じてコントローラ１０６と無線通信する、スマートフォン又はタブレットである。第２の例は、コントローラ１０６に物理的に接続されたＰＣディスプレイである。一部の実施形態では、ユーザインターフェース１１２は、例えば、ディスプレイ、触覚デバイス、スピーカなどを含むユーザ出力デバイスを含んでよい。他の実施形態では、ユーザインターフェース１１２は、例えば、タッチスクリーン、マイクロフォン、キーボード、ポインタデバイス、カメラ、ノブ、ボタンなどを含むユーザ入力デバイスを含んでよい。このような入力デバイスにより、ユーザは、命令又は情報を打ち込むこと、ボイスコマンドを提供すること、ボタン、ポインタ、又は視標追跡機能を用いて画面上のメニュー選択肢を選択することにより、又は顕微鏡１００に情報を通信するための任意の他の適切な技術を通じて、顕微鏡１００に情報入力又はコマンドを提供することが可能であってよい。ユーザインターフェース１１２は、ユーザとの間で情報をやりとりし、該情報を処理するべく、コントローラ１０６などの１つ又は複数の処理デバイスと（物理的に又は無線で）接続されてよい。一部の実施形態では、このような処理デバイスは、キーボード入力又はメニュー選択に応答する、タッチスクリーン上でなされるタッチ及び／又はジェスチャーを認識及び解釈する、目の動きを認識及び追跡する、ボイスコマンドを受信及び解釈するなどのための命令を実行してよい。
【００２１】
［0039］  顕微鏡１００はまた、ステージ１１６を含んでよい又はステージ１１６に接続されてよい。ステージ１１６は、検査のためにサンプル１１４が設置され得る任意の水平剛性面を含む。ステージ１１６は、サンプル１１４を収容しているスライドを固定位置に保持するための機械的コネクタを含んでよい。機械的コネクタは、マウント、取り付け部材、保持アーム、クランプ、クリップ、調節可能なフレーム、係止機構、ばね、又はこれらの任意の組み合わせ、のうちの１つ又は複数を用いてよい。一部の実施形態では、ステージ１１６は、光がサンプル１１４に当たることを可能にするための半透明部分又は開口部を含んでよい。例えば、照明組立体１１０から放出された光は、サンプル１１４を透過して画像取り込みデバイス１０２へ移動してよい。一部の実施形態では、ステージ１１６及び／又はサンプル１１４は、サンプルの複数の領域のイメージングを可能にするべくモータ又は手動制御を用いてＸＹ平面内で動かされてよい。
【００２２】
［0040］  図２Ａ及び図２Ｂは、顕微鏡１００の２つの例のより接近した図を描画する。具体的には、図２Ａは、顕微鏡１００の焦点がはずれているときの２つのビーム対の光路を例示し、図２Ｂは、顕微鏡１００の焦点が合っているときの２つのビーム対の光路を例示する。
【００２３】
［0041］  図２Ａ及び図２Ｂに示すように、画像取り込みデバイス１０２は、イメージセンサ２００及びレンズ２０２を含む。顕微鏡法では、レンズ２０２は、顕微鏡１００の対物レンズと呼ばれる場合がある。「イメージセンサ」という用語は、光信号を検出し、電気信号に変換することができるデバイスを指す。電気信号は、検出された信号に基づいて画像又はビデオストリームを形成するのに用いられてよい。イメージセンサ２００の例は、半導体電荷結合素子（ＣＣＤ）、相補型金属酸化物半導体（ＣＭＯＳ）におけるアクティブピクセルセンサ、又はｎ型金属酸化物半導体（ＮＭＯＳ、Ｌｉｖｅ  ＭＯＳ）を含んでよい。「レンズ」という用語は、そのいずれか又は両方が湾曲している、相対する面を有し、それにより光線が収束又は発散して像を形成するように屈折される、研磨又は成形されたガラス、プラスチック、又は他の透明材料片を指す場合がある。「レンズ」という用語はまた、顕微鏡の対物レンズなどの、上記で定義された１つ又は複数のレンズを含む要素を指す。レンズは、イメージセンサ２００の光軸を少なくともおおよそ横断する方向に位置決めされる。レンズ２０２は、サンプル１１４からの光ビームを集光し、それらをイメージセンサ２００の方へ誘導するのに用いられてよい。一部の実施形態では、画像取り込みデバイス１０２は、固定レンズ又はズームレンズを含んでよい。
【００２４】
［0042］  サンプル１１４が焦点面２０４のところに配置されるとき、レンズ２０２から投射される像は完全に合焦される。「焦点面」という用語は、本明細書では、レンズ２０２の光軸に垂直な且つレンズの焦点を通る平面を説明するのに用いられる。焦点面２０４とレンズ２０２の中心との間の距離は、焦点距離と呼ばれ、Ｄ１で表される。或る場合には、サンプル１１４は、完全には平坦でない場合があり、焦点面２０４とサンプル１１４の種々の領域との間に小さい差が存在する場合がある。したがって、焦点面２０４とサンプル１１４又はサンプル１１４の関心領域（ＲＯＩ）との間の距離が、Ｄ２としてマークされる。距離Ｄ２は、サンプル１１４の像又はサンプル１１４のＲＯＩの像の焦点はずれ量に対応する。例えば、距離Ｄ２は、０から約３ｍｍまでの間であり得る。一部の実施形態では、Ｄ２は、３ｍｍよりも大きい場合がある。距離Ｄ２がゼロに等しいとき、サンプル１１４の像（又はサンプル１１４のＲＯＩの像）は完全に合焦される。対照的に、Ｄ２がゼロ以外の値を有するとき、サンプル１１４の像（又はサンプル１１４のＲＯＩの像）は焦点がはずれている。
【００２５】
［0043］  図２Ａは、サンプル１１４の像の焦点がはずれている場合を描画する。例えば、サンプル１１４から受け取った光のビームがイメージセンサ２００上で収束しないときに、サンプル１１４の像は焦点がはずれる場合がある。図２Ａは、ビーム対２０６及びビーム対２０８を描画する。いずれの対もイメージセンサ２００上で収束しない。簡略化のため、サンプル１１４よりも下の光路は図示されない。本開示によれば、ビーム対２０６は、照明組立体１１０から照明角度α２で投射されたビーム１２０と対応し、ビーム対２０８は、照明組立体１１０から照明角度α１で投射されたビーム１１８と対応し得る。加えて、ビーム対２０６はビーム対２０８と同時にイメージセンサ２００に当たり得る。この文脈での「同時に」という用語は、２つ以上のビーム対のうちの一方のビームが他方のビームの持続時間中に始まって終わる場合又は他のビームの完了の前に後続のビームが開始する場合のいずれかである同時の又は重なり期間中にイメージセンサ２００が２つ以上のビーム対と関連付けられる情報を記録したことを意味する。他の実施形態では、ビーム対２０６及びビーム対２０８は、イメージセンサ２００に順次に接触し得る。「順次に」という用語は、イメージセンサ２００が、例えばビーム対２０８と関連付けられる情報の記録の完了後に例えばビーム対２０６と関連付けられる情報の記録を開始したことを意味する。
【００２６】
［0044］  前述のように、Ｄ２は、焦点面２０４とサンプル１１４との間の距離であり、これはサンプル１１４の焦点はずれ量に対応する。一例では、Ｄ２は、５０マイクロメートルの値を有する場合がある。フォーカスアクチュエータ１０４は、コントローラ１０６からの入力信号を物理的な動きに変換することにより距離Ｄ２を変化させるように構成される。一部の実施形態では、サンプル１１４の像の焦点を合わせるために、フォーカスアクチュエータ１０４は、画像取り込みデバイス１０２を動かしてよい。この例では、サンプル１１４の像の焦点を合わせるべく、フォーカスアクチュエータ１０４は、画像取り込みデバイス１０２を５０マイクロメートル上方へ動かしてよい。他の実施形態では、サンプル１１４の像の焦点を合わせるために、フォーカスアクチュエータ１０４は、ステージ１１６を下方へ動かしてよい。したがって、この例では、画像取り込みデバイス１０２を５０マイクロメートル上方へ動かす代わりに、フォーカスアクチュエータ１０４は、ステージ１１６を５０マイクロメートル下方へ動かしてよい。
【００２７】
［0045］  図２Ｂは、サンプル１１４の像の焦点が合っている場合を例示する。この場合、両方のビーム対２０６及び２０８は、イメージセンサ２００上で収束し、距離Ｄ２はゼロに等しい。言い換えれば、サンプル１１４の像（又はサンプル１１４のＲＯＩの像）の合焦は、画像取り込みデバイス１０２とサンプル１１４との間の相対距離の調節を必要とし得る。相対距離は、Ｄ１−Ｄ２で表されてよく、距離Ｄ２がゼロに等しいとき、画像取り込みデバイス１０２とサンプル１１４との間の相対距離は距離Ｄ１に等しく、これはサンプル１１４の像の焦点が合っていることを意味する。図２Ａ及び図２Ｂに例示される実施形態では、レンズ２０２は固定焦点距離を有する、すなわち、距離Ｄ１は一定である。したがって、サンプル１１４の像の焦点を合わせるのに必要とされる欠けているパラメータは距離Ｄ２である。本開示は、距離Ｄ２の値を求めるための顕微鏡及び方法を提供する。
【００２８】
［0046］  図３Ａ及び図３Ｂは、顕微鏡１００が複数の異なる照明条件下で取得した画像を用いて距離Ｄ２の値をどのようにして求めることができるかを例示する。具体的には、図３Ａは、サンプル１１４の像の焦点がはずれているときにユーザインターフェース１１２上に示される例示的な画像（又は重ね合わされた２つの画像）を例示し、図３Ｂは、サンプル１１４の像の焦点が合っているときにユーザインターフェース１１２に示される例示的な画像を例示する。
【００２９】
［0047］  図３Ａは、図２Ａに示された例に対応するイメージセンサ２００から得られた情報を表示するユーザインターフェース１１２を示す。図示されるように、ユーザインターフェース１１２は、サンプル１１４の第１の表現３００と、サンプル１１４の第２の表現３０２を表示する。各表現は異なる照明条件に対応する。例えば、第１の表現３００は、第１の照明角度α１に対応し、第２の表現３０２は、第２の照明角度α２に対応し得る。一実施形態では、第１の照明角度α１からの光は第２の照明角度α２で投射された光と同時にイメージセンサ２００に当たり得るので、第１の表現３００と第２の表現３０２との両方が、取り込まれた画像の一部として一緒に表示される。別の実施形態では、第１の表現３００は、第１の画像として取り込まれ、第２の表現３０２は、第２の画像として取り込まれる。両方の画像は、重ね合わされ、単一の画像として示され、又は計算するのに一緒に用いられ得る。
【００３０】
［0048］  一部の実施形態では、コントローラ１０６は、サンプル１１４の少なくとも１つの共通の画像特徴を用いて２つ（又はそれ以上）の表現の相対位置を識別するように構成されてよい。本明細書で用いられる場合の「画像特徴」という用語は、ライン、点、スポット、エッジ、類似の輝度の領域、類似の形状、画像の面積など、又はサンプル１１４の画像を構成するピクセルの他の区別する特徴などのデジタル画像における識別可能な要素を指す。２つ（又はそれ以上）の表現間の変化は、肉眼で、及び／又は、Ｍａｒｒ−Ｈｉｌｄｒｅｔｈアルゴリズム、スケール不変特徴変換（ＳＩＦＴ）アルゴリズム、ＳＵＲＦ（ｓｐｅｅｄｅｄ  ｕｐ  ｒｏｂｕｓｔ  ｆｅａｔｕｒｅｓ）アルゴリズム、デジタル画像相関（ＤＩＣ）アルゴリズム、相互相関などの、特徴検出を含む又は入力特徴として画像の一部又はすべてであり得る関心領域を用いる画像分析アルゴリズムの助けにより区別可能であり得る。図３Ａに示すように、第１の表現３００と第２の表現３０２との両方は、表現の上側に鋭い突起を含む。したがって、コントローラ１０６は、サンプル１１４の共通の画像特徴として、鋭い突起の第１の出現３０４及び鋭い突起の第２の出現３０６を識別してよい。本開示によれば、第１の出現３０４は、第１の照明角度α１と関連付けられ、第２の出現３０６は、第２の照明角度α２と関連付けられ得る。
【００３１】
［0049］  複数の照明条件と関連付けられるサンプル１１４の少なくとも１つの画像特徴の複数の出現の識別後に、コントローラ１０６は、出現間のシフトの量を推定してよい。図３Ａでは、第１の出現３０４と第２の出現３０６との間のシフトは、Ｄ３で表される。第１の出現３０４と第２の出現３０６との間のシフトは、同じ１つ又は複数の画像特徴の２つの出現間のピクセルの数をカウントすることにより測定されてよい。理論的には、シフトＤ３の測定値は、第１の表現及び第２の表現における複数の画像特徴の比較から生じ、実質的に同一であるべきである。しかしながら、現実的な応用でしばしば起こるように、複数の画像特徴のシフトを推定するときにシフトＤ３の測定値の顕著な変動が存在し得る。これらの変動は、顕微鏡１００のチルト、平坦でないサンプル、レンズ２０２の像面湾曲などによって引き起こされ得る。したがって、第１の表現３００と第２の表現３０２との間のシフトＤ３を推定するために、コントローラ１０６は、測定値に対して統計計算を適用してよい。統計計算は、以下の演算：ミーン、メジアン、アベレージ、モード、百分率、又は標準偏差のうちの１つ又は複数を含んでよい。コントローラ１０６は、これらの統計計算を、２つよりも多い照明角度などの２つよりも多い照明条件を用いるときの複数のシフト値又はベクトルシフトを求めるときに付加的に適用してよい。
【００３２】
［0050］  一実施形態では、第１の表現３００と第２の表現３０２との間のシフトＤ３の推定後に、コントローラ１０６は、距離Ｄ２を計算するべく、照明源Ｌの間の距離、照明源の平面と現在の焦点面Ｚとの間の距離、及びＤ３を用いて、距離Ｄ２を求めてよい。一例では、距離Ｄ２は、以下の一次方程式を用いて計算されてよい：
【数１】
2018537709.tif 000003
【００３３】
［0051］  コントローラ１０６がサンプル１１４と焦点面２０４との間の距離を減少させるために、コントローラ１０６は、必要な調節方向も判断してよい。例えば、或る場合には、焦点面２０４がサンプル１１４よりも下にあり（図２Ａに例示されるように）、コントローラ１０６が、像の焦点を合わせるために画像取り込みデバイス１０２とサンプル１１４との間の相対距離を増加させる必要があり得る。しかし他の場合には、焦点面２０４がサンプル１１４よりも上にあり、コントローラ１０６が、像の焦点を合わせるために画像取り込みデバイス１０２とサンプル１１４との間の相対距離を減少させる必要があり得る。一実施形態では、コントローラ１０６は、２ステッププロセスを用いて必要な調節方向を判断してよい。例えば、Ｄ２が１ｍｍの値を有すると仮定すると、コントローラ１０６は、フォーカスアクチュエータ１０４に画像取り込みデバイス１０２を０．３ｍｍ上方へ動かすように命令し、画像の合焦が改善されたかどうかをチェックしてよい。改善された場合、コントローラ１０６は、フォーカスアクチュエータ１０４に画像取り込みデバイス１０２をさらに０．７ｍｍ上方へ動かし続けるように命令してよい。しかし、改善されなかった場合、コントローラ１０６は、フォーカスアクチュエータ１０４に画像取り込みデバイス１０２を１．３ｍｍ下方へ動かすように命令してよい。別の実施形態では、コントローラ１０６は、例えば、サンプル１１４と焦点面２０４との間に既知の分離を意図的に導入することなどにより１ステッププロセスを用いて必要な調節方向を判断してよい。既知の分離は、既知のシフトと対応し、既知のシフトへの変化は、実際のシフトＤ３の大きさ及び方向を示し得る。別の実施形態では、コントローラ１０６は、例えば、物体の画像３００及び３０２間の特徴のシフトの方向を測定し、サンプルが焦点面よりも上にあるか又は下にあるかを理解するのに、用いられた照明条件の知識を用いるなどの、１ステッププロセスを用いて必要な調節方向を判断してよい。
【００３４】
［0052］  図３Ｂは、図２Ｂに示された例に対応するイメージセンサ２００から得られた情報を表示するユーザインターフェース１１２を描画する。図示されるように、ユーザインターフェース１１２は、サンプル１１４の表現３０８を表示する。この例では、ユーザインターフェース１１２は、サンプル１１４の像の焦点が合っているので単一の表現を表示する。すなわち、第１の出現３０４と第２の出現３０６は、コントローラ１０６が画像取り込みデバイス１０２とサンプル１１４との間の相対距離を調節した後で表現３０８にマージされている。
【００３５】
［0053］  一部の実施形態では、コントローラ１０６は、画像の品質が十分ではないと判断する場合がある。例えば、サンプル１１４の画像に関連するシャープネスが所定の閾値を下回っている場合がある。シャープネスは、例えば、顕微鏡１００の意図的ではない移動、サンプル１１４のＲＯＩの変化などに起因して変化する場合がある。画像の品質を改善するために、コントローラ１０６は、再び顕微鏡１００の焦点合わせをしてよい。加えて、コントローラ１０６は、三次元情報を求めるために、画像取り込みデバイス１０２の視野の複数の部分に対応する複数のシフト値を求めてよい。三次元情報は、顕微鏡１００とサンプル１１４との間のチルト情報、物体の３Ｄ形状、及び／又はレンズ２０２の像面湾曲を含む場合がある。コントローラ１０６は、サンプル１１４の画像のシャープネスを改善するために、サンプル１１４の画像を再構築するときにチルト情報を用いてよい。サンプル１１４の画像の再構築に関するさらなる例が、図５〜図１０を参照して以下で提供される。
【００３６】
［0054］  図４は、サンプル１１４が２つの照明条件下で照明されるときに取り込まれる２つの画像を用いてサンプル１１４の像の焦点を合わせるための例示的なプロセス４００を示すフローチャートである。しかしながら、プロセス４００は、サンプル１１４が２つの照明条件下で照明されるときに取り込まれる単一の画像を用いて又は２つよりも多い照明条件下でサンプル１１４が照明されるときの１つ又は複数の画像を用いてサンプル１１４の像の焦点を合わせるように適合されてもよい。プロセス４００のステップは、オートフォーカス顕微鏡により行われてよい。「オートフォーカス顕微鏡」という用語は、サンプル１１４の像（又はサンプル１１４のＲＯＩの像）を自動又は半自動の様態で合焦する能力を有する、サンプル１１４を拡大するための任意のデバイスを指す。以下の説明では、例示する目的で顕微鏡１００の特定の構成要素が参照される。しかしながら、他の実装が可能であることと、例示的なプロセスを実装するのに他の構成要素が用いられてもよいことが分かるであろう。
【００３７】
［0055］  ステップ４０２で、コントローラ１０６は、照明組立体１１０にサンプル１１４を第１の照明条件下で照明させてよい。ステップ４０４で、コントローラ１０６は、画像取り込みデバイス１０２から、第１の照明条件下で照明されたサンプル１１４の第１の画像を取得してよい。一部の実施形態では、コントローラ１０６は、照明組立体１１０に、画像取り込みデバイス１０２の開口数内に配置された単一の光源を用いてサンプル１１４を照明させてよい。代替的に、コントローラ１０６は、照明組立体１１０に、画像取り込みデバイス１０２の開口数内に配置された複数の光源を用いてサンプル１１４を照明させてよい。
【００３８】
［0056］  ステップ４０６で、コントローラ１０６は、照明組立体１１０に、第１の照明条件とは異なる第２の照明条件下でサンプル１１４を照明させてよい。次に、ステップ４０８で、コントローラ１０６は、画像取り込みデバイス１０２から、第２の照明条件下で照明されたサンプル１１４の第２の画像を取得してよい。一部の実施形態では、照明条件は、異なる照明角度、異なる照明パターン、異なる波長、又はこれらの組み合わせのうちの少なくとも１つを含んでよい。例えば、照明条件は、画像取り込みデバイス１０２の光軸に関して対称に位置する第１の照明角度及び第２の照明角度を含んでよい。代替的に、照明条件は、画像取り込みデバイス１０２の光軸に関して非対称に位置する第１の照明角度及び第２の照明角度を含んでよい。代替的に、照明条件は、画像取り込みデバイス１０２の開口数内の第１の照明角度及び第２の照明角度を含んでよい。図１に描画された例では、第１の照明角度α１は、第２の照明角度α２よりも大きく、したがって、第１の照明角度及び第２の照明角度は、画像取り込みデバイス１０２の光軸に関して非対称に位置する。
【００３９】
［0057］  ステップ４１０で、コントローラ１０６は、サンプル１１４の第１の画像に存在する１つ又は複数の画像特徴とサンプル１１４の第２の画像に存在する対応する１つ又は複数の画像特徴との間のシフトＤ３の量を求めてよい。一部の実施形態では、コントローラ１０６は、複数の画像特徴に基づいて複数のシフト値を求め、シフトＤ３に関連する全シフトを計算してよい。例えば、全シフトは、複数のシフト値のミーン、メジアン、モードであり得る。他の実施形態では、コントローラ１０６は、シフトＤ３の大きさに基づいて距離変化の大きさを決定してよい。加えて、コントローラ１０６はまた、シフトＤ３の方向に基づいて又はサンプルと焦点面との間に既知の分離を意図的に導入することにより距離変化の方向を判断してよい。前述のように、或る場合には、焦点面２０４は、サンプル１１４よりも下にあり（図２Ａに例示される場合）、他の場合には、焦点面２０４は、サンプル１１４よりも上にある場合がある。これらの異なる例は、顕微鏡１００の焦点を合わせるのに異なる方向の距離変化を必要とする場合がある。一部の実施形態では、コントローラ１０６は、シフト（例えば、横方向のシフトＤ３）に基づいて焦点面２０４からサンプル１１４までの距離を計算してよい。
【００４０】
［0058］  ステップ４１２で、コントローラ１０６は、求めたシフトＤ３の量がゼロでなければ、フォーカスアクチュエータ１０４にサンプル１１４と焦点面２０４との間の距離Ｄ２を変化させてよい。前述のように、１０４は、サンプル１１４と焦点面２０４との間の距離Ｄ２を調節するべく画像取り込みデバイス１０２を動かすか、又はサンプル１１４と焦点面２０４との間の距離を調節するべくステージ１１６を動かしてよい。一部の実施形態では、コントローラ１０６は、例えば図２Ｂに例示されるように、フォーカスアクチュエータ１０４によりサンプル１１４と焦点面２０４との間の距離が実質的にゼロに減少するようにしてもよい。一部の実施形態では、フォーカスアクチュエータ１０４が距離Ｄ２を第１の方向（例えば、上方）へ変化させるときに、コントローラ１０６は、第１の方向の変化後にシフトＤ３の量が増加したと判断すると、フォーカスアクチュエータ１０４に距離を第２の方向（例えば、下方）へ変化させてよい。
【００４１】
［0059］  一部の実施形態では、コントローラ１０６は、サンプル１１４と焦点面２０４との間の距離Ｄ２を調節した後で新しいシフトの量を求めるためにステップ４０２〜４１０を繰り返してよい。新しいシフトの量が依然としてゼロではない又は所定の閾値を上回る場合、コントローラ１０６は、フォーカスアクチュエータ１０４にサンプル１１４と焦点面２０４との間の距離Ｄ２を再び変化させてよい。一部の実施形態では、コントローラ１０６は、シフトＤ３が実質的にゼロとなる又は所定の閾値を下回るまでサンプル１１４と焦点面２０４との間の距離Ｄ２を再調節してよい。新しいシフトの量が所定の閾値を下回るときに、コントローラ１０６は、将来の焦点補償計算のために、求めたシフトの量を記憶してよい。プロセス４００の完了後に、顕微鏡１００は完全に合焦される。その後、本開示の別の態様によれば、顕微鏡１００は、サンプル１１４の高解像度画像を生成するべく複数の合焦された画像を取得してよい。図１に示すように、サンプル１１４の高解像度画像は、ディスプレイ（例えば、画面又は電話）に送信、メモリに記憶、さらなる処理のために送信、又はネットワーク上で送信されてよい。
【００４２】
［0060］  一部の実施形態では、コントローラ１０６は、ステージ１１６の物理的な動きを伴う又はステージ１１６を動かさない焦点のコンピュータ補正のための計算を行うのに、求めた距離Ｄ２を用いてよい。さらに、一部の実施形態では、ステージ１１６及び／又はサンプル１１４は、サンプル１１４の複数の領域のイメージングを可能にするべくモータ又は手動制御を用いてＸＹ平面内で動かされてよい。
【００４３】
［0061］  コンピュータイメージング処理の分野では低解像度画像の組からサンプルの高解像度画像を生み出すためのいくつかの公知の方法が存在する。これらの方法のうちの１つは、例えば、タイコグラフィである。これらの方法は、各反復での再構築された画像を反復前の高解像度画像と比較し、その差異を収束条件として役立てるような様態で高解像度画像を計算するのに反復プロセスを用いる場合がある。本開示は、異なる照明条件でとられた低解像度画像の組から高解像度画像を生み出すための、しかし公知の方法で用いられるような反復を必要としない、顕微鏡及び方法を説明する。したがって、開示される顕微鏡及び方法は、高解像度画像を再構築するのに必要な計算時間を減らすことができる。
【００４４】
［0062］  本開示によれば、コントローラ１０６は、画像を第１の画像解像度で取得し、第２の（高められた）画像解像度を有するサンプル１１４の再構築された画像を生成してよい。「画像解像度」という用語は、画像がサンプル１１４の細部を表す度合いの尺度である。例えば、デジタル画像の品質はまた、ピクセルの数及び各ピクセルに関して入手可能な輝度値の範囲に関係し得る。一部の実施形態では、サンプル１１４の再構築された画像の生成は、高められた画像解像度よりも低い画像解像度を有する画像に基づく。高められた画像解像度は、より低い画像解像度の画像よりも少なくとも２倍、５倍、１０倍、又は１００倍多いピクセルを有し得る。例えば、取り込まれた画像の第１の画像解像度は、以下、低解像度と呼ばれる場合があり、２メガピクセルから２５メガピクセルまでの間、１０メガピクセルから２０メガピクセルまでの間、又は約１５メガピクセルの値を有し得る。一方、再構築された画像の第２の画像解像度は、以下、高解像度と呼ばれる場合があり、４０メガピクセルよりも高い、１００メガピクセルよりも高い、５００メガピクセルよりも高い、又は１０００メガピクセルよりも高い値を有し得る。
【００４５】
［0063］  図５は、開示される実施形態による、サンプル１１４の画像を再構築するための例示的なプロセス５００の例示である。ステップ５０２で、コントローラ１０６は、画像取り込みデバイス１０２からサンプル１１４の複数の低解像度画像を取得してよい。複数の画像は、各照明条件での少なくとも１つの画像を含む。前述のように、異なる照明条件は、異なる照明角度、異なる照明パターン、異なる波長、又はこれらの組み合わせのうちの少なくとも１つを含んでよい。一部の実施形態では、複数の異なる照明条件の合計数（Ｎ）は、２から１０までの間、５から５０までの間、１０から１００までの間、５０から１０００までの間、又は１０００よりも大きい。
【００４６】
［0064］  ステップ５０４で、コントローラ１０６は、各照明条件と関連付けられるサンプル１１４の画像データを求めてよい。例えば、コントローラ１０６は、フーリエ変換された画像を得るべく、画像取り込みデバイス１０２から取得した画像に対してフーリエ変換を適用してよい。フーリエ変換は、画像をそのサイン成分及びコサイン成分に分解するのに用いられる画像処理ツールである。変換の入力は、正規の像空間（実平面としても知られている）における画像であってよく、一方、変換の出力は、周波数領域（フーリエ平面としても知られている）における画像の表現であってよい。本開示によれば、フーリエ変換などの変換の出力は、「画像データ」とも呼ばれる。代替的に、コントローラ１０６は、ラプラス変換、Ｚ変換、ゲルファント変換、又はウェーブレット変換などの他の変換を用いてよい。取り込まれた画像をフーリエ平面における画像へ迅速に効率よく変換するために、コントローラ１０６は、ＤＦＴマトリクスを疎な（ほぼゼロの）因子の積へ分解することにより離散フーリエ変換（ＤＦＴ）を計算するのに高速フーリエ変換（ＦＦＴ）アルゴリズムを用いてよい。
【００４７】
［0065］  ステップ５０６で、コントローラ１０６は、組み合わされた複合画像を形成するべく、複数の照明条件下で取り込まれた画像から求められた画像データを集約してよい。コントローラ１０６が画像データを集約する１つの方法は、画像データの重なり領域をフーリエ平面において突き止めることによる。コントローラ１０６が画像データを集約する別の方法は、照明条件ごとの取得した低解像度画像の強度及び位相を求めることによる。このように、異なる照明条件に対応する画像データは、必ずしも重なり領域を含まない。必要とされる重なりをなくす又は重なり量を減らすことにより、この方法は、或る解像度の画像を再構築するのに必要とされる照明条件の数を減らすという大きな利点を有し、したがって、画像情報の取得速度を増加させる。図６Ａ〜図６Ｆは、種々の照明条件下での位相情報を求めるための顕微鏡１００の異なる構成を例示する。
【００４８】
［0066］  ステップ５０８で、コントローラ１０６は、サンプル１１４の再構築された高解像度画像を生成してよい。例えば、コントローラ１０６は、再構築された画像を得るべく逆フーリエ変換を適用してよい。図５に描画される一実施形態では、サンプル１１４の再構築された高解像度画像は、ディスプレイ（例えば、ユーザインターフェース１１２）上に示されてよい。別の実施形態では、サンプル１１４の再構築された高解像度画像は、再構築された画像におけるサンプル１１４の少なくとも１つの要素を識別するのに用いられてよい。サンプル１１４の少なくとも１つの要素は、顕微鏡を用いて識別可能な任意の有機材料又は無機材料を含む場合がある。少なくとも１つの要素の例は、生体分子、全細胞、種々の細胞構成要素（例えば、細胞質、ミトコンドリア、細胞核、染色体、仁、核膜、細胞膜、ゴルジ装置、リソソーム）などの細胞の一部、細胞により分泌された成分（例えば、細胞間隙へ分泌されたタンパク質、血清、脳脊髄液、尿などの体液へ分泌されたタンパク質）、微生物などを含むがこれらに限定されない。一部の実施形態では、再構築された画像は、以下の手技：血球認識、染色体及び核型の識別、寄生虫感染の検出、悪性の疑いがある組織の識別などに用いられてよい。
【００４９】
［0067］  本開示は、各照明条件下での位相情報を求めるためのいくつかの方法を提供する。図６Ａの構成に実装され得る一実施形態によれば、顕微鏡１００は、照明組立体１１０、フォーカスアクチュエータ１０４、レンズ２０２、及びイメージセンサ２００を含んでよい。この実施形態では、コントローラ１０６は、各照明条件での異なる焦点面からの画像の群を取得してよい。したがって、コントローラ１０６は、各照明条件下での位相情報を求めるべく異なる焦点面からの情報を用いてよい。図７は、コントローラ１０６がサンプル１１４の再構築された高解像度画像を生成するのに図６Ａの構成をどのように用いることができるかの詳細な例示的なプロセスを説明する。
【００５０】
［0068］  図６Ｂの構成に実装され得る別の実施形態によれば、顕微鏡１００は、照明組立体１１０、レンズ２０２、ビームスプリッタ６００、第１のイメージセンサ２００Ａ、及び第２のイメージセンサ２００Ｂを含んでよい。この実施形態では、第１のイメージセンサ２００Ａ及び第２のイメージセンサ２００Ｂは、異なるタイプの画像を取り込んでよく、コントローラ１０６は、各照明条件下での位相情報を求めるべく第１のイメージセンサ２００Ａからの情報と第２のイメージセンサ２００Ｂからの情報を組み合わせてよい。一例では、イメージセンサ２００Ａは、フーリエ平面画像を取り込んでよく、第２のイメージセンサ２００Ｂは、実平面画像を取り込んでよい。したがって、コントローラ１０６は、各照明条件に関して、第１のイメージセンサ２００Ａからフーリエ平面画像を取得し、第２のイメージセンサ２００Ｂから実平面画像を取得してよい。ゆえに、コントローラ１０６は、各照明条件下での位相情報を求めるべくフーリエ平面画像からの情報と実平面画像からの情報を組み合わせてよい。別の例では、イメージセンサ２００Ａは、合焦された画像を取り込むように構成されてよく、第２のイメージセンサ２００Ｂは、合焦されていない画像を取り込むように構成される。さらなるセンサが追加されることも可能であり得る。例えば、３つの異なるセンサが、３つの異なる焦点面における画像を取り込むように構成されてよい。
【００５１】
［0069］  図６Ｃ及び図６Ｄの構成に実装され得る別の実施形態によれば、顕微鏡１００は、光源６０２、ビームスプリッタ６００、レンズ２０２、及びイメージセンサ２００を含んでよい。この実施形態では、光源６０２は、光ビーム（コヒーレント又は少なくとも部分的にコヒーレント）をビームスプリッタ６００の方へ投射してよく、ビームスプリッタは、２つの異なる光路を通って干渉パターンを生じる、２つの光ビームを生成する。図６Ｃの構成では、干渉パターンはサンプル１１４上に生じ、図６Ｄでは、干渉パターンはイメージセンサ２００上に生じる。図６Ｄに提示される例では、コントローラ１０６は、各照明条件に関して、異なる光路を通る２つの光ビーム間の干渉パターンを識別し、この干渉パターンから、各照明条件と関連付けられる位相を求めてよい。
【００５２】
［0070］  図６Ｅ及び図６Ｆの構成に実装され得るさらに別の実施形態によれば、顕微鏡１００は、照明組立体１１０、レンズ２０２、光学素子６０４、及び少なくとも１つのイメージセンサ２００を含んでよい。この実施形態では、光学素子６０４は、サンプル１１４から受けた光に対して或る形態の変調を課すように構成される。変調は、ビームの位相、周波数、振幅、又は偏光に対して課されてよい。図６Ｅに例示される構成では、顕微鏡１００は、変調を動的に変化させることができる空間光変調器（ＳＬＭ）などの動的光学素子を含んでよい。コントローラ１０６は、各照明条件下での位相情報を求めるべく動的光学素子によって生じる異なる情報を用いてよい。代替的に、図６Ｆに例示される構成では、顕微鏡１００は、位相シフトマスクなどの固定光学素子、ビームスプリッタ６００、第１のイメージセンサ２００Ａ、及び第２のイメージセンサ２００Ｂを含んでよい。コントローラ１０６は、各照明条件下での位相情報を求めるべく第１のイメージセンサ２００Ａからの情報と第２のイメージセンサ２００Ｂからの情報を組み合わせてよい。
【００５３】
［0071］  一実施形態では、コントローラ１０６は、各照明条件下での位相情報を独立して求めてよい。図７は、図６Ａの構成を用いる図５のプロセスを示す流れ図である。プロセスは、コントローラ１０６が照明組立体１１０にサンプル１１４を第１の照明条件で照明させるときに始まる（ブロック７００）。次に、コントローラ１０６は、サンプル１１４が焦点面２０４内にあるときに画像を取得してよい（ブロック７０２）。次いで、コントローラ１０６は、フォーカスアクチュエータ１０４に画像取り込みデバイス１０２とサンプル１１４との間の距離を変化させ（ブロック７０４）、サンプル１１４が焦点面２０４内にないときにさらなる画像を取得してよい（ブロック７０６）。一部の実施形態では、画像取り込みデバイス１０２とサンプル１１４との間の距離は、レンズ２０２からサンプル１１４までの距離、イメージセンサ２００からサンプル１４４までの距離、又はレンズ２０２からサンプル１１４までの距離とイメージセンサ２００からサンプル１１４までの距離との和を構成し得る。その後、コントローラ１０６は、位相情報を求めるのに十分なデータが存在するかどうかを判断してよい（決定ブロック７０８）。位相情報を求めるのに十分なデータが存在しない場合、コントローラ１０６は、現在の照明条件下でのサンプル１１４の位相情報を求めるのに十分なデータが存在するまで、ブロック７０４〜７０８のステップを繰り返してよい。位相は、強度輸送（ＴＩＥ）、誤差低減アルゴリズム、ハイブリッド入力−出力（ＨＩＯ）、勾配降下法などの最適化アルゴリズムなどの方法を用いて計算されてよい。
【００５４】
［0072］  図７の例示的なプロセスは、コントローラ１０６が焦点面２０４内の実空間から取り込まれた画像をフーリエ空間に変換するときに続行することができる（ブロック７１０）。その後、コントローラ１０６は、現在の照明条件と関連付けられる画像データを、組み合わされた複合画像に追加してよい（ブロック７１２）。コントローラ１０６が、照明条件のすべてと関連付けられる画像データのすべてを収集し、それらを組み合わされた複合画像に追加した場合（決定ブロック７１４）、コントローラ１０６は、サンプル１１４の再構築された画像を生成するべく、組み合わされた複合画像を像平面へ変換してよい。しかし、照明条件のすべてと関連付けられる画像データのすべてが収集されなかった場合、コントローラ１０６は、照明組立体１１０にサンプル１１４を別の照明条件下で照明させてよい（ブロック７１６）、次いで、ステップ７０２〜７１４を繰り返してよい。
【００５５】
［0073］  図８は、顕微鏡１００の開口数（ＮＡ）を識別する概略図である。本開示によれば、顕微鏡１００は、第１の開口数を有するレンズ（例えば、レンズ２０２）を含んでよい。「開口数」という用語は、中間屈折率（例えば、ｎ１）に、レンズの光軸とレンズが受光できる光ビームのコーンとの間に形成される最大角度（例えば、θ１）のサインを掛けたものを指し、すなわち、ＮＡ１＝ｎ１×Ｓｉｎθ１である。例えば、第１の開口数は、１未満、０．８未満、０．６未満、０．４未満、０．２未満、又は０．１未満である場合があり、又は１よりも大きくすることができる。加えて、照明組立体１１０は、或る照明入射角でサンプル１１４を照明してよい。「照明入射角」という用語は、レンズの光軸と照明組立体１１０から投射された光ビームとの間に形成される角度（例えば、θ２）を指す。一部の実施形態では、最大照明入射角は、第２の開口数に相当し、すなわち、ＮＡ２＝ｎ２×Ｓｉｎ  Ｍａｘθ２であり、これは第１の開口数の少なくとも１．５倍である。例えば、第２の開口数は、２×ＮＡ１以上、２．５×ＮＡ１以上、３．５×ＮＡ１以上、又は５×ＮＡ１以上であり得る。
【００５６】
［0074  図９Ａ及び図９Ｂは、フーリエ平面における２つの概略図を描画する。具体的には、図９Ａは、単一の照明条件下で取得した画像データのフーリエ平面における例示であり、図９Ｂは、複数の異なる照明条件下で取得した画像データのフーリエ平面における例示である。図９Ａは、その半径がＮＡ１に等しい、フーリエ平面における第１の円領域９００と、その半径がＮＡ２に等しい、第２の理論上の円領域９０２とを有する、フーリエ平面における画像を含む。図面に示されるように、第２の円領域９０２の半径は、第１の円領域９００の半径の少なくとも１．５倍である。第１の円領域９００は、照明角度が０度に等しいときのサンプル１１４の画像データと関連付けられる。一実施形態では、再構築された画像を生成する非反復プロセスは、組み合わされた複合画像における各点に関する単一の照明条件と関連付けられる画像データを用いることを含む。図９Ｂは、この実施形態を例示する。具体的には、図９Ｂは、フーリエ平面における複数の円を描画する。各円は、組み合わされた複合画像における或る点を表し、単一の照明条件下で取得した画像データと関連付けられる。例えば、図９Ｂの各円は、異なる照明角度と関連付けられる。円領域９０２の半径は第１の円領域９００の半径の少なくとも１．５倍であることから、一部の実施形態におけるシステムは、領域９００の周りのさらなる領域の第１の「オーダー」に限定されるものではなく、第１の円領域９００からさらに遠い円領域のさらなる「オーダー」を有することができる。これは、最終画像のより高い解像度を達成するのに重要である。この方法は、開口数を２倍だけ増加させることに限定されない。図１を参照して前述したように、サンプル１１４の照明は、サンプル１１４に平行な表面に配置された光源から及び／又はサンプル１１４に垂直な表面に配置された光源からの結果であり得る。例えば、図１に示すように、光源は、照明組立体１１０上に含まれてよい。さらに、一部の実施形態では、光源は、顕微鏡１００の任意の適切な場所に配置され、サンプル１１４を任意の適切な角度で照明してよい。さらに、光源は、ステージ１１６の下に位置決めされた半球又は立方体の表面上などの他の表面上に位置決めされてよい。
【００５７】
［0075］  図１０は、複数の異なる照明条件下で取得した画像情報を用いてサンプル１１４の高解像度画像を構築するための例示的なプロセス１０００を示すフローチャートである。ステップ１００２で、コントローラ１０６は、照明組立体にサンプル１１４を一連の異なる照明条件で照明させてよい。前述のように、照明条件は、異なる照明角度、異なる照明パターン、異なる波長、又はこれらの組み合わせのうちの少なくとも１つを含んでよい。ステップ１００４で、コントローラ１０６は、画像取り込みデバイス１０２からサンプル１１４の複数の画像を取得してよく、複数の画像は、各照明条件での少なくとも１つの画像を含んでよい。一部の実施形態では、取得される画像は、水平寸法と垂直寸法との両方において２マイクロメートルよりも小さいピクセルサイズを有する、１２メガピクセルよりも高い画像解像度で取り込まれる。小さいピクセルサイズを有する高解像度センサは、低コストであり、広い視野につながるが、低い信号対ノイズ比（小さいピクセルサイズの結果）を扱う際の大きな努力と、高いメモリ帯域幅及び広い視野に起因する速度の最適化を必要とする。しかしながら、他の方法ではできないのに対して、本発明者らの方法は、このようなセンサで動作することができる。
【００５８】
［0076］  ステップ１００６で、コントローラ１０６は、少なくとも１つの画像から、各照明条件でのサンプル１１４の画像データを求めてよい。一部の実施形態では、各照明条件でのサンプル１１４の画像データを求めるために、コントローラ１０６は、実空間からの少なくとも１つの画像をフーリエ空間に変換し、組み合わされた複合画像を形成するべくフーリエ空間におけるサンプルの画像データを集約し、サンプル１１４の再構築された画像を生成するべく組み合わされた複合画像データを像空間に戻るように変換してよい。いくつかの実施形態によれば、各照明条件でのサンプル１１４の画像データを求めることは、各照明条件下でのサンプル１１４の位相情報を独立して求めることを含んでよい。図６Ａ〜図６Ｆを参照して前述したように、各照明条件下での位相情報を求めることは、顕微鏡１００の異なる構成を用いて実装されてよい。
【００５９】
［0077］  第１の実施形態では、コントローラ１０６は、画像取り込みデバイス１０２から、各照明条件での異なる焦点面からの第１の画像の群を取得し、第１の画像の群から、各照明条件下での位相情報を独立して求めてよい。第２の実施形態では、コントローラ１０６は、第１のイメージセンサ２００Ａから、各照明条件での第１の画像を取得し、第２のイメージセンサ２００Ｂから、各照明条件での第１の画像とは異なる第２の画像を取得し、各照明条件下での位相情報を独立して求めるために第１の画像からの情報と第２の画像からの情報を組み合わせてよい。第３の実施形態では、コントローラ１０６は、各照明条件に関して、第１の光ビームと第２の光ビームとの間の干渉パターンを識別し、干渉パターンから、各照明条件と関連付けられる位相情報を独立して求めてよい。第４の実施形態では、コントローラ１０６は、各照明条件に関して、第１のイメージセンサ２００Ａから第１の画像を取得し、第２のイメージセンサ２００Ｂから第１の画像とは異なる変調をされる第２の画像を取得し、各照明条件下での位相情報を求めるべく第１の画像からの情報と第２の画像からの情報を組み合わせてよい。
【００６０】
［0078］  ステップ１００８で、コントローラ１０６は、各照明条件での求めた画像データから、サンプル１１４の再構築された画像を生成してよい。再構築された画像は、第１の画像解像度よりも高い第２の画像解像度を有する。一部の実施形態では、コントローラ１０６は、再構築された画像を非反復プロセスで生成してよい。「再構築された画像を非反復プロセスで生成する」という用語は、再構築された画像が、取得された画像と比較されず、そしてまた、取得された画像が再構築された画像と比較されないプロセスを指す。非反復プロセスは、図９に描画されるように、組み合わされた複合画像における各点に関する単一の照明条件と関連付けられる画像データを用いることを含んでよい。画像を非反復プロセスで再構築するために、コントローラ１０６は、各照明条件でのサンプル１１４の強度及び位相情報を求めてよい。その後、コントローラ１０６は、パズルのピース（すなわち、各照明条件下で求めた画像データ）のすべてをそれらの定位置に編成するのに強度及び位相情報を用いてよい。当業者には分かるように、この非反復プロセスの使用は、高解像度画像を再構築するのに必要な計算時間を減らすことができる。各照明条件での位相情報又は他の情報を独立して求めることは、反復プロセスを用いてなされることが可能であるが義務ではない。しかしながら、複数の照明条件から求めた情報から最終的な高解像度画像を生成することは、非反復プロセスでなされることになる。この場合、フーリエ空間における領域間の重なりは、依然として減らす又はなくすことができる。
【００６１】
［0079］  コントローラ１０６は、サンプル１１４の再構築された画像を生成した後で、再構築された画像をディスプレイ上に表示させる（ステップ１０１０）又は再構築された画像におけるサンプル１１４の少なくとも１つの要素を識別する（ステップ１０１２）。一部の実施形態では、コントローラ１０６は、再構築された画像の品質をその使用の前に確認してよい。例えば、コントローラ１０６は、構築パラメータの第１の組を用いて再構築された画像を生成し、再構築された画像が所望の品質ではないと判断し得る。一例では、再構築された画像が所望の品質ではないという判断は、再構築された画像又はその一部のシャープネスに基づくか、又は予備知識に基づく期待される又は既知の結果との比較に基づく。その後、コントローラ１０６は、構築パラメータの第２の組を用いて第２の再構築された画像を生成してよい。加えて、コントローラ１０６は、図４を参照して前述したように、顕微鏡１００の焦点を変化させた後で、サンプル１１４の画像の別の組を取得してよい。
【００６２】
［0080］  上記の説明は例示する目的で提示されている。これは網羅的なものではなく、開示された正確な形態又は実施形態に限定されない。本明細書の考察及び開示される実施形態の実施から当業者には修正及び適応が分かるであろう。加えて、開示される実施形態の態様はメモリに記憶されるものとして説明されるが、これらの態様は、二次記憶装置、例えば、ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、他の形態のＲＡＭ又はＲＯＭ、ＵＳＢメディア、ＤＶＤ、又は他の光学ドライブメディアなどの他のタイプのコンピュータ可読媒体上にも記憶することができることが当業者には分かるであろう。
【００６３】
［0081］  書かれた説明及び開示された方法に基づくコンピュータプログラムは、経験を持つ開発者のスキルの範囲内にある。種々のプログラム又はプログラムモジュールは、当業者には公知の技術のいずれかを用いて作成することができ、又は既存のソフトウェアと関連して設計することができる。例えば、プログラムセクション又はプログラムモジュールは、．Ｎｅｔ  Ｆｒａｍｅｗｏｒｋ、．Ｎｅｔ  Ｃｏｍｐａｃｔ  Ｆｒａｍｅｗｏｒｋ（及びＶｉｓｕａｌ  Ｂａｓｉｃ、Ｃなどの関連する言語）、Ｊａｖａ（登録商標）、Ｃ＋＋、Ｏｂｊｅｃｔｉｖｅ−Ｃ、ｐｙｔｈｏｎ、Ｍａｔｌａｂ、Ｃｕｄａ、ＨＴＭＬ、ＨＴＭＬ／ＡＪＡＸの組み合わせ、ＸＭＬ、又はＪａｖａアプレットが含まれたＨＴＭＬで又はこれにより設計することができる。このようなソフトウェアセクション又はモジュールのうちの１つ又は複数は、コンピュータシステム又は既存の電子メール又はブラウザソフトウェアに組み込むことができる。
【００６４】
［0082］  さらに、例示的な実施形態が本明細書で説明されているが、均等物要素を有するいずれかの及びすべての実施形態の範囲、修正、省略、組み合わせ（例えば、種々の実施形態にわたる態様の）、適応、及び／又は変更が、本開示に基づいて当業者には分かるであろう。請求項での制限は、請求項で使用される言語に基づいて広く解釈されるべきであり、本明細書で説明される又は出願手続中の例に限定されない。例は、排他的でないものとして解釈されるべきである。さらに、開示されるルーチンのステップは、ステップを並べ替えること及び／又はステップを挿入又は削除することを含む任意の様態で修正されてよい。したがって、本明細書及び例は、単なる例示として考えられることが意図され、真の範囲及び精神は、以下の請求項及びそれらの均等物の全範囲により示される。
【図１】
2018537709.tif 000004
【図２Ａ】
2018537709.tif 000005
【図２Ｂ】
2018537709.tif 000006
【図３Ａ】
2018537709.tif 000007
【図３Ｂ】
2018537709.tif 000008
【図４】
2018537709.tif 000009
【図５】
2018537709.tif 000010
【図６Ａ】
2018537709.tif 000011
【図６Ｂ】
2018537709.tif 000012
【図６Ｃ】
2018537709.tif 000013
【図６Ｄ】
2018537709.tif 000014
【図６Ｅ】
2018537709.tif 000015
【図６Ｆ】
2018537709.tif 000016
【図７】
2018537709.tif 000017
【図８】
2018537709.tif 000018
【図９Ａ】
2018537709.tif 000019
【図９Ｂ】
2018537709.tif 000020
【図１０】
2018537709.tif 000021
【手続補正書】
【提出日】平成30年7月10日(2018.7.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の異なる照明条件下で取得した画像情報を用いてサンプルの画像を構築するための顕微鏡であって、
サンプルの画像を第１の画像解像度で取り込むように構成された少なくとも１つの画像取り込みデバイスと、
第１の開口数を有するレンズと、
前記サンプルを照明するように構成された少なくとも１つの光源を含む照明組立体と、
少なくとも１つのコントローラと、
を備え、前記少なくとも１つのコントローラが、
前記照明組立体に前記サンプルを一連の異なる照明条件で照明させ、
前記少なくとも１つの画像取り込みデバイスから、各照明条件での少なくとも１つの画像を含む前記サンプルの複数の画像を取得し、
前記少なくとも１つの画像から、各照明条件での前記サンプルの画像データを求め、
各照明条件での前記求めた画像データから非反復プロセスで、前記第１の画像解像度よりも高い第２の画像解像度を有する前記サンプルの再構築された画像を生成する、
ようにプログラムされる、顕微鏡。
【請求項２】
前記少なくとも１つのコントローラが、前記再構築された画像をディスプレイ上に表示させるようにさらにプログラムされる、請求項１に記載の顕微鏡。
【請求項３】
前記少なくとも１つのコントローラが、前記再構築された画像における前記サンプルの少なくとも１つの要素を識別するようにさらにプログラムされる、請求項１に記載の顕微鏡。
【請求項４】
前記異なる照明条件が、異なる照明角度、異なる照明パターン、異なる波長、又はこれらの組み合わせのうちの少なくとも１つを含む、請求項１に記載の顕微鏡。
【請求項５】
各照明条件での前記サンプルの画像データを求めることが、各照明条件下での前記サンプルの位相情報を独立して求めることを含む、請求項１に記載の顕微鏡。
【請求項６】
各照明条件下での前記位相情報を求めるために、前記少なくとも１つのコントローラが、
前記少なくとも１つの画像取り込みデバイスから、各照明条件での異なる焦点面からの第１の画像の群を取得し、
前記第１の画像の群から、各照明条件下での前記位相情報を独立して求める、
ようにプログラムされる、請求項５に記載の顕微鏡。
【請求項７】
前記少なくとも１つの画像取り込みデバイスが、ビームスプリッタと、第１の画像を取り込むように構成された第１のイメージセンサと、第２の画像を取り込むように構成された第２のイメージセンサとを含み、各照明条件下での前記位相情報を求めるために、前記少なくとも１つのコントローラが、
前記少なくとも１つの画像取り込みデバイスから、各照明条件下で第１の画像及び前記第１の画像とは異なる第２の画像を取得し、
各照明条件下での前記位相情報を独立して求めるために前記第１の画像からの情報と前記第２の画像からの情報を組み合わせる、
ようにプログラムされる、請求項５に記載の顕微鏡。
【請求項８】
第１の光路を経由して前記少なくとも１つの画像取り込みデバイスの方へ進む第１の光ビームと、第２の光路を経由して前記少なくとも１つの画像取り込みデバイスの方へ進む第２の光ビームとを生成するように構成されたビームスプリッタをさらに含み、各照明条件下での前記位相情報を求めるために、前記少なくとも１つのコントローラが、
各照明条件に関して、前記第１の光ビームと前記第２の光ビームとの間の干渉パターンを識別し、
前記干渉パターンから、各照明条件下での前記位相情報を独立して求める、
ようにプログラムされる、請求項５に記載の顕微鏡。
【請求項９】
前記サンプルから反射した光を変調するように構成された光学素子をさらに含み、各照明条件下での前記位相情報を求めるために、前記少なくとも１つのコントローラが、
前記少なくとも１つの画像取り込みデバイスから、各照明条件での第１の画像及び前記第１の画像とは異なる変調をされる第２の画像を取得し、
前記第１の画像からの情報と前記第２の画像からの情報を各照明条件下での前記位相情報に独立して組み合わせる、
ようにプログラムされる、請求項５に記載の顕微鏡。
【請求項１０】
各照明条件での前記サンプルの前記画像データを求めるために、前記少なくとも１つのコントローラが、
前記少なくとも１つの画像を実平面からフーリエ平面に変換し、
組み合わされた複合画像を形成するべく前記フーリエ平面における前記サンプルの前記画像データを集約し、
前記サンプルの前記再構築された画像を生成するべく前記組み合わされた複合画像データを像空間に戻すように変換する、
ようにさらにプログラムされる、請求項１に記載の顕微鏡。
【請求項１１】
前記再構築された画像を生成する前記非反復プロセスが、前記組み合わされた複合画像における各点に関する単一の照明条件と関連付けられる画像データを用いることを含む、請求項１０に記載の顕微鏡。
【請求項１２】
前記少なくとも１つの画像取り込みデバイスが、１２メガピクセルよりも高い前記第１の画像解像度で２マイクロメートルよりも小さいピクセルサイズを有する画像を取り込むように構成される、請求項１に記載の顕微鏡。
【請求項１３】
複数の異なる照明条件下で取得した画像情報を用いてサンプルの画像を構築するための顕微鏡であって、
サンプルの画像を第１の画像解像度で取り込むように構成された少なくとも１つの画像取り込みデバイスと、
第１の開口数を有するレンズと、
前記サンプルを照明するように構成された少なくとも１つの光源を含む照明組立体と、
少なくとも１つのコントローラと、
を備え、前記少なくとも１つのコントローラが、
前記照明組立体に前記サンプルを一連の異なる照明条件で照明させ、
前記少なくとも１つの画像取り込みデバイスから、各照明条件での少なくとも１つの画像を含む、前記サンプルの複数の画像を取得し、
前記少なくとも１つの画像から、各照明条件下での前記サンプルの位相情報を含む、各照明条件での前記サンプルの画像データを求め、
前記一連の異なる照明角度での前記画像データから、前記第１の画像解像度よりも高い第２の画像解像度を有する前記サンプルの再構築された画像を生成する、
ようにプログラムされる、顕微鏡。
【請求項１４】
前記少なくとも１つのコントローラが、前記再構築された画像をディスプレイ上に表示させる又は前記再構築された画像における前記サンプルの少なくとも１つの要素を識別するようにさらにプログラムされる、請求項１３に記載の顕微鏡。
【請求項１５】
前記少なくとも１つのコントローラが、
構築パラメータの第１の組を用いて前記再構築された画像を生成し、
前記再構築された画像が所望の品質ではないと判断し、
構築パラメータの第２の組を用いて第２の再構築された画像を生成する、
ようにさらにプログラムされる、請求項１３に記載の顕微鏡。
【請求項１６】
前記再構築された画像が所望の品質ではないという判断が、前記再構築された画像のシャープネスに基づく、請求項１５に記載の顕微鏡。
【請求項１７】
複数の異なる照明条件下で取得した画像情報を用いてサンプルの画像を構築するための方法であって、
サンプルを一連の異なる照明条件で照明することと、
前記画像取り込みデバイスから、各照明条件での少なくとも１つの画像を含む、第１の画像解像度で取り込まれた前記サンプルの複数の画像を取得することと、
前記少なくとも１つの画像から、各照明条件下での前記サンプルの位相情報を含む、各照明条件での前記サンプルの画像データを求めることと、
各照明条件での前記求めた画像データから非反復プロセスで、前記第１の画像解像度よりも高い第２の画像解像度を有する前記サンプルの再構築された画像を生成することと、
を含む、方法。
【請求項１８】
前記異なる照明条件が異なる照明角度を含む、請求項１７に記載の方法。
【請求項１９】
前記異なる照明条件が異なる照明パターンを含む、請求項１７に記載の方法。
【請求項２０】
前記異なる照明条件が異なる波長を含む、請求項１７に記載の方法。
【請求項２１】
最大照明入射角は、前記第１の開口数の少なくとも１．５倍の第２の開口数に相当する、請求項１に記載の顕微鏡。
【請求項２２】
最大照明入射角は、前記第１の開口数の少なくとも１．５倍の第２の開口数に相当する、請求項１３に記載の顕微鏡。
【請求項２３】
前記サンプルの照明は、画像取り込みデバイスに関連する開口数の少なくとも１．５倍の最大開口数に相当する入射角をなす、請求項１７に記載の方法。
【国際調査報告】
2018537709.tif 000022
2018537709.tif 000023
2018537709.tif 000024