(57)【要約】  レンズフリー撮像のためのシステムは、レンズフリー画像センサと通信しているプロセッサを含む。プロセッサは、ホログラム？？を取得するように画像センサを動作させるようにプログラムされる。プロセッサは、さらに、ホログラムから、スパース性の仮定を使用して焦点深度ｚにおける再構成された画像Ｘと位相Ｗとを生成するようにプログラムされる。
2019534483.tif 000002
【特許請求の範囲】
【請求項１】
レンズフリー撮像のためのシステムであって、
レンズフリー画像センサと通信しているプロセッサを備え、前記プロセッサが、
ホログラムＨを取得するように前記レンズフリー画像センサを動作させることと、
前記ホログラムから、スパース性の仮定を使用して焦点深度ｚにおける再構成された画像Ｘと位相Ｗとを生成することと
を行うようにプログラムされる、システム。
【請求項２】
画像センサをさらに備える、請求項１に記載のシステム。
【請求項３】
前記画像センサが、アクティブピクセルセンサ、ＣＣＤ、またはＣＭＯＳアクティブピクセルセンサである、請求項２に記載のシステム。
【請求項４】
コヒーレント光源をさらに備える、請求項１に記載のシステム。
【請求項５】
画像のホログラフィック再構成の方法であって、
ホログラムＨを取得することと、
前記ホログラムから、スパース性の仮定を使用して焦点深度ｚにおける再構成された画像Ｘと位相Ｗとを生成することと
を備える、方法。
【請求項６】
焦点深度ｚにおける前記再構成された画像Ｘと位相Ｗとが、｜Ｗ｜＝１であるような
【数１】
2019534483.tif 000053
を解くことによって生成され、ここで、Ｔ（ｚ）が、ｚにおける試料を通した光回折をモデル化する伝達関数であり、μは、背景へのフィットであり、λは、スパース性パラメータである、請求項５に記載の方法。
【請求項７】
【数２】
2019534483.tif 000054
が、Ｗ、μ、およびＸを更新するために交互最小化を使用することによって解かれる、請求項６に記載の方法。
【請求項８】
【数３】
2019534483.tif 000055
が、
（ａ）前記再構成された画像Ｘ、推定された位相Ｗ、および前記背景へのフィットμのための初期値を設定することと、
（ｂ）伝達関数Ｔ（ｚ）のフーリエ変換を計算し、
【数４】
2019534483.tif 000056
を設定することと、
（ｃ）
【数５】
2019534483.tif 000057
を計算することと、
（ｄ）
【数６】
2019534483.tif 000058
を計算することと、
（ｅ）
【数７】
2019534483.tif 000059
を計算することと、
（ｆ）Ｘ＝ＳＦＴλ（Ｑ−μ  ｅｘｐ（−ｉｚｋ））を計算することと、
（ｇ）再構成された画像Ｘを決定するためにステップ（ｃ）から（ｆ）を繰り返すことと
を行うことによって解かれる、請求項６に記載の方法。
【請求項９】
ステップ（ｃ）から（ｆ）が、所定の回数繰り返される、請求項８の方法。
【請求項１０】
前記初期値が、Ｘ＝０、Ｗ＝１、およびμ＝０である、請求項８に記載の方法。
【請求項１１】
Ｔ（ｚ）が、
【数８】
2019534483.tif 000060
のように定義され、
ここで、ｋ＝２π／γが、前記ホログラムを取得するために使用される光の波数であり、（ｋx，ｋy）が、それぞれ水平および垂直方向の空間周波数を示す、請求項６に記載の方法。
【請求項１２】
複数の焦点深度における画像のホログラフィック再構成の方法であって、
ホログラムＨを取得することと、
前記ホログラムから、スパース性の仮定を使用して、再構成された画像Ｘiと位相Ｗとのシーケンスを生成することと、ここにおいて、各画像が、指定された焦点深度ｚ[ｉ]における画像に対応する、
を備える、方法。
【請求項１３】
前記再構成された画像Ｘiと位相Ｗとが、｜Ｗ｜＝１であるような
【数９】
2019534483.tif 000061
を解くことによって生成され、ここで、Ｔ（ｚ［ｉ］）が、ｚ［ｉ］における試料を通した光回折をモデル化する伝達関数であり、μは、背景へのフィットであり、λは、スパース性パラメータである、請求項１２に記載の方法。
【請求項１４】
｜Ｗ｜＝１であるような
【数１０】
2019534483.tif 000062
が、Ｗおよびμを更新するために交互最小化を使用し、Ｘを更新するために近位勾配降下ステップを使用することによって解かれる、請求項１３に記載の方法。
【請求項１５】
｜Ｗ｜＝１であるような
【数１１】
2019534483.tif 000063
が、
（ａ）再構成された画像Ｘi、推定された位相Ｗ、および背景へのフィットパラメータμの行列をそれぞれの初期値に設定することと、ここで、ｉ＝１，．．．，Ｄである、
（ｂ）伝達関数Ｔ（ｚ［ｉ］）のフーリエ変換を計算し、
【数１２】
2019534483.tif 000064
およびＲ＝Ｇ−Ｓを設定することと、
（ｃ）μ＝（Ｇ［１，１］−Ｓ［１，１］）／（ｍｎ）を計算することと、
（ｄ）
【数１３】
2019534483.tif 000065
を計算することと、
（ｅ）
【数１４】
2019534483.tif 000066
を計算することと、
（ｆ）Ｒ＝Ｇ−Ｓを計算することと、
（ｇ）Ｒ［１，１］＝Ｒ［１，１］−ｍｎμを計算することと、
（ｈ）画像ごとに、
【数１５】
2019534483.tif 000067
および
【数１６】
2019534483.tif 000068
を計算することと、
（ｉ）
【数１７】
2019534483.tif 000069
を計算することと、
（ｊ）再構成された画像Ｘiを取得するためにステップ（ｂ）から（ｉ）を繰り返すことと
を行うことによって解かれる、請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
[0001]本出願は、その開示全体が参照により本明細書に組み込まれる、２０１６年１１月４日に出願された「ＳＹＳＴＥＭ  ＡＮＤ  ＭＥＴＨＯＤ  ＦＯＲ  ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ  ＯＦ  ＨＯＬＯＧＲＡＰＨＩＣ  ＬＥＮＳ−ＦＲＥＥ  ＩＭＡＧＥＳ  ＢＹ  ＭＵＬＴＩ−ＤＥＰＴＨ  ＳＰＡＲＳＥ  ＰＨＡＳＥ  ＲＥＣＯＶＥＲＹ」と題する米国仮出願第６２／４１７，７０８号の優先権を主張する。
【背景技術】
【０００２】
[0002]本開示は、レンズフリー撮像に関し、より詳細には、ホログラムから画像を再構成することに関する。
【０００３】
[0003]レンズフリー撮像は、デジタルホログラフィの原理に基づく顕微鏡使用技法である。デジタルホログラフィでは、コヒーレント光源（たとえば、レーザー）が対象試験片を照明するために使用される。光は、試験片を通過するにつれて、試験片によって回析され、得られた回折パターンは、電荷結合デバイス（ＣＣＤ）などの画像センサによって記録される。得られた回折パターンが記録された後、試験片の画像は、回折プロセスの数学的モデルを使用することによって回折パターンを後処理することによって再構成される。
【０００４】
[0004]ホログラフィックレンズフリー顕微鏡使用は、従来の顕微鏡使用に勝るいくつかの利点を有する。第１に、システムにレンズがないので、撮像システムの全体的なコストおよび物理的大きさが従来の顕微鏡と比較して大幅に減少され得る。さらに、レンズフリー顕微鏡使用により、等しい倍率をもつ従来の顕微鏡よりもはるかに広い視野を撮像することも可能になる。最後に、記録された回折パターンを後処理することを通して試験片の画像が生成されるため、焦点深度が後処理を通して自動的に調整され得るのでオペレータがシステムを手動で合焦させる必要がない。
【０００５】
[0005]図１に、光が対象物を通過するにつれて対象物によって誘起されるコヒーレント光の回折を示す。原則として、コヒーレント光源（たとえば、レーザー）で照らされた対象物の厳密な回折パターンを記録することができれば、回折パターンは、任意の所望の焦点深度における試験片の完全な画像を再構成するのに十分な情報を含んでいることになる。ただし、残念ながら、光の波動性により、対象物の完全な回折パターンは、（波の周波数が照らしているコヒーレント光に等しくなると仮定された状態で）空間中の所与のロケーションにおける電磁波振幅と位相との両方によってパラメータ化される複素値エンティティとなる。これは、実際には、ＣＣＤなどの撮像センサが、一般に、位相ではなく回折パターンの振幅しか記録することができないという事実によりレンズフリー撮像を実際に応用するのに有意な課題を提示する。したがって、試験片の画像を完全に再構成するのに必要な情報のかなりの部分が記録されないことがあり、これは、従来の手法を用いて試験片の画像を再構成しようと試みるときに有意なアーティファクトとして現れる。さらに、レンズフリー撮像に対する従来の手法は、一般に、単一の焦点深度において試験片の画像を再構成しようと試みるだけであるが、試験片が複数の焦点深度において対象物を含んでいる場合、焦点はずれの対象物からの回折が、所与の焦点深度において再構成された画像を破損することになる。
【発明の概要】
【０００６】
[0006]本開示の技法は、消失した位相情報の推定値を同時に生成しながら潜在的に焦点の複数の深度にわたって記録された回折パターンから試験片の画像を効率的に再構成するシステムおよび方法を利用することによって、前の手法の上記で説明した短所、不十分な画像再構成と単一の焦点深度への制限との両方に対処する。開示する技法を使用することは、従来の画像再構成技法よりも大幅に改善した画質を生じ、試験片の３次元体積を同時に再構成することを可能にし、対象物を含んでいる焦点深度を発見するロバストな手段を与えて、焦点深度を手動でチューニングする必要をなくす。
【０００７】
[0007]本開示の技法は、それが強い経験的収束を与え、大規模画像の画像再構成問題を効率的に解決するという点で、以前の手法よりも有利である。さらに、本方法は、単一の記録されたホログラムからの３次元体積の効率的な再構成を可能にし、変化する光波長をもつ光源の必要をなくす。
【０００８】
[0008]本開示の性質および目的をより完全に理解するために、添付の図面とともに以下の発明を実施するための形態を参照されたい。
【図面の簡単な説明】
【０００９】
【図１】[0009]対象物によって誘起される光回折の一例を示す図。
【図２】[0010]広い視野（左）と画像のズームインされた部分（右）との両方を示す異なる再構成アルゴリズムを使用した全血試料の画像再構成のセットの図。ここで、上部パネルは、基本的な再構成アルゴリズムを使用した画像を示し、下部パネルは、本開示の実施形態を使用して再構成された画像を示す。
【図３】[0011]本開示の一実施形態による、方法を示すチャート。
【図４】[0012]焦点深度にわたる再構成された３次元体積の大きさを示すチャート。ここで、ｙ軸は、範囲［６５０，１１５０］ミクロンにわたって１００個の均等に離間した焦点深度のための再構成された画像のｌ1ノルム、｜｜Ｘｉ｜｜1を示し、垂直線は、画像を手動で合焦させることによって取得された焦点深度を示す。
【図５】[0013]本開示の別の実施形態による、システムの図。
【図６】[0014]本開示の別の実施形態による、システムによって取得されたホログラムのローカル再構成を示す図。
【図７】[0015]本開示の別の実施形態による、システムによって取得されたホログラムのリモート再構成を示す図。
【図８】[0016]本開示の別の実施形態による、方法を示すチャート。
【発明を実施するための形態】
【００１０】
[0017]ホログラフィックレンズフリー撮像は、光が試験片を通過した後に光の回折パターンを記録し、試験片の画像を再構成するために光回折プロセスを反転させようと試みる原理に基づく。残念ながら、記録された回折パターンは、試験片の画像を適切に再構成するのに十分な情報を含んでおらず、結果として、多くの既存の再構成技法は、実質的なアーティファクトと劣化した画質とに悩まされる。本開示は、既存の技法よりも劇的に改善された画質をもつホログラフィックレンズフリー画像を再構成し、同時に、複数の焦点深度において画像を再構成する可能性を可能にする技法を提供する。
【００１１】
[0018]本開示の方法およびシステムについて説明するのに必要な数学的な背景について説明する前に、数学的表記法について説明する。行列を大文字（Ｘ）で示し、ベクトルを小文字の太字（ｘ）で示し、スカラーを小文字（ｘ）で示す。複素数のセットを
【００１２】
【数１】
2019534483.tif 000003
【００１３】
として示し、実数のセットを
【００１４】
【数２】
2019534483.tif 000004
【００１５】
として示す。ベクトルｘが与えられれば、ｘ［ｉ］は、ｘのｉ番目の成分を示す。同様に、行列Ｘが与えられれば、Ｘ［ｉ，ｊ］は、第ｉ行および第ｊ列におけるＸの成分を示す。複素数ｘの角度を
【００１６】
【数３】
2019534483.tif 000005
【００１７】
として示し、振幅を｜ｘ｜として示し、共役を
【００１８】
【数４】
2019534483.tif 000006
【００１９】
として示す。行列（またはベクトル）
【００２０】
【数５】
2019534483.tif 000007
【００２１】
について、｜Ｘ｜は、Ｘの成分の絶対値を含んでいるｍ×ｎ行列を示し、
【００２２】
【数６】
2019534483.tif 000008
【００２３】
は、Ｘの成分の角度を含んでいるｍ×ｎ行列を示し、
【００２４】
【数７】
2019534483.tif 000009
【００２５】
は、Ｘの成分の共役を含んでいるｍ×ｎ行列を示す。
【００２６】
[0019]行列（またはベクトル）
【００２７】
【数８】
2019534483.tif 000010
【００２８】
が与えられれば、Ｘのｌ1ノルムを｜｜Ｘ｜｜1として示し、
【００２９】
【数９】
2019534483.tif 000011
【００３０】
と定義し、Ｘのフロベニウスノルムを｜｜Ｘ｜｜Fと示し、
【００３１】
【数１０】
2019534483.tif 000012
【００３２】
と定義する。
【００３３】
[0020]２つの行列
【００３４】
【数１１】
2019534483.tif 000013
【００３５】
および
【００３６】
【数１２】
2019534483.tif 000014
【００３７】
について、
【００３８】
【数１３】
2019534483.tif 000015
【００３９】
は、それらの成分の成分ごとの積を示し、＜Ｘ，Ｙ＞は、２つの行列のドット積を示す。行列Ｘの２次元離散フーリエ変換をＦ（Ｘ）と示し、逆離散フーリエ変換をＦ-1（Ｘ）と示す。２つの信号の２次元畳み込みをＸ＊Ｙとして示すことになる。すべてのゼロまたは１の行列（またはベクトル）を、サイズが文脈から明らかである状態で、それぞれ、０または１として示されることになる。
ホログラフィック撮像
[0021]ホログラフィック撮像プロセスは、光回折のプロセスに基づく。回折理論の全面的なレビューは本明細書の範囲の外にあるが、ホログラフィにおいて使用される典型的な距離について極めて正確である通常使用される近似は、２次元畳み込みとして回折プロセスをモデル化することである。特に、平面Ｘ0における光学波面では、その波面を距離ｚ離れた平面Ｘzに前方に伝搬することによって生じることになる波面は、以下の式によって与えられ、
【００４０】
【数１４】
2019534483.tif 000016
【００４１】
ここで、Ｔ（ｚ）は、距離ｚにわたって光の回折をモデル化する伝達関数を示す。回折プロセス（たとえば、フレネル、ホイヘンス、遠距離場）のモデル中で選定する特定の近似に応じてＴ（ｚ）のために様々な選定が行われ得る。本明細書では使用する近似は、周波数領域中の伝達関数を以下の式のように定義する広角スペクトル（ＷＡＳ）近似であり、
【００４２】
【数１５】
2019534483.tif 000017
【００４３】
ここで、ｋ＝２π／γは、波長γをもつ光の波数であり、（ｋx，ｋy）は、それぞれ、水平および垂直方向の空間周波数を示す。ＷＡＳ伝達関数が、本開示の技法において活用されることになるいくつかの容易に検証される性質を有することに留意されたい。
１．Ｔ（ｚ1）＊Ｔ（ｚ2）＝Ｔ（ｚ1＋ｚ2）
２．Ｔ（０）＊Ｘ＝Ｘ
３．
【００４４】
【数１６】
2019534483.tif 000018
【００４５】
４．線形演算子Ｔz（Ｘ）≡Ｔ（ｚ）＊Ｘはユニタリ演算子である。
【００４６】
[0022]また、Ｔ（ｚ）を用いたＸの畳み込みが、フーリエ変換の性質を使用することによって効率的に計算され得ることを思い出されたい。
【００４７】
【数１７】
2019534483.tif 000019
【００４８】
[0023]光回折のためのモデルとしてＷＡＳ近似を使用すると、画像センサから記録された回折パターン
【００４９】
【数１８】
2019534483.tif 000020
【００５０】
が与えられれば、Ｈ＝Ｔ（ｚ）＊Ｘのように所与の焦点深度
【００５１】
【数１９】
2019534483.tif 000021
【００５２】
における試験片の対応する画像
【００５３】
【数２０】
2019534483.tif 000022
【００５４】
を発見することを試みることができる。したがって、試験片の画像の推定値を再構成する単純な方法は、以下の形式の最小２乗問題を解くことである。
【００５５】
【数２１】
2019534483.tif 000023
【００５６】
[0024]Ｔ（ｚ）が上記に記載した性質を満たすので、フロベニウスノルムがユニタリ演算に対して不変であることは、上記の問題に対する最適解がＸ*＝Ｔ（−ｚ）＊Ｈとして閉じた形式で容易に計算され得ることを与えることに留意されたい。しかしながら、画像センサが、位相ではなく回折パターンの振幅しか記録することができない（すなわち、Ｈは、実際には複素数値でなければならないときに実際には実数値である）ことを思い出されたい。この制限は、一般に、対象物から発する波状のアーティファクトによって特徴づけられる、一般に二重像アーティファクトと呼ばれる、再構成された画像中に深刻なアーティファクトを生じる。図２（上部パネル）に、この手法を使用して再構成される人間の血液の例示的な画像を示し、再構成された画像中に大量の波状のアーティファクトが存在することに気づかれたい。
【００５７】
[0025]この問題に対処する１つの可能性は、推定されたホログラムの大きさに一致させることにしか関心がないことを考慮するために（４）中で問題を修正することであり、これは、以下の形式の最小２乗問題を解くことによって数学的に表され得る。
【００５８】
【数２２】
2019534483.tif 000024
【００５９】
[0026]上記の問題が以下の形式で同等に表され得ることに注意されたい。
【００６０】
【数２３】
2019534483.tif 000025
【００６１】
ここで、（５）と（６）との間の等価性は任意の値のＸについて（６）中でＷのための最適解が
【００６２】
【数２４】
2019534483.tif 000026
【００６３】
によって与えられることに着目することによってわかり、（６）にＷ*のこの値を代入すると（５）が与えられる。
【００６４】
[0027]形式（５）および（６）への（４）の修正は、位相情報が記録されたホログラムＨから消失していることを考慮しているが、システムが現在過小指定されていることに留意されたい。これは、（６）について考え、Ｔ（ｚ）がユニタリ演算子であるので、任意の選定のＷについて、
【００６５】
【数２５】
2019534483.tif 000027
【００６６】
のように再構成された画像Ｘを生成することができることに着目することによってわかり得る。言い換えれば、推定された位相項Ｗはこのモデルでは全く任意であり、したがって、有意の解を発見するために問題について追加の仮定を行わなければならない。
スパース位相復元
[0028]以前のセクションから、（６）におけるレンズフリー再構成問題の性質により、システムは、劣決定され、有意な解を発見するのに追加の仮定が必要であることを思い出されたい。特に、再構成された画像Ｘが「スパース」でなければならないこと、およびスパース性の仮定は、ピクセルの多くが背景強度に等しい状態で試験片中の対象物がピクセルの一部分しか視野で占有されないときはいつでも正当化されること。スパース性の仮定は、再構成された画像ｘがスパースである解を奨励するために（６）に正規化項を追加することによって数学的に組み込まれる。
【００６７】
【数２６】
2019534483.tif 000028
【００６８】
信号のスパース性を測定する多くの方法があるが、ｌ1ノルムが、依然として凸関数であり、効率的な最適化に貢献しながらスパース解を奨励する望ましい性質を有するので、この説明において使用されることに留意されたい。さらに、スパース性の典型的な測度はエントリの大部分が同じく０であることを必要とするが、ここで、ピクセルが対象物を含んでいない場合、ピクセルの値は照明光の背景強度に等しくなることになる。したがって、非ゼロの背景は、
【００６９】
【数２７】
2019534483.tif 000029
【００７０】
のスカラー項をもつ（推定される一定の）照明光を捕捉するためにモデルに追加の項を追加することによって考慮される。
スパース位相復元モデルを解くこと
[0029]（７）で与えられるモデルがレンズフリー撮像再構成問題の性質に基づいて多くの理論的正当性を有するが、残念ながら、最適化問題は｜Ｗ｜＝１であるという制約により非凸である。とはいえ、この課題にもかかわらず、変数のすべてに対して閉じられた形式での更新を可能にし、非常に効率的で、目的関数の少なくともナッシュ均衡点に収束することを保証する交互最小化に基づく方法について本明細書で説明する。最初に、Ｔ（ｚ）を用いた畳み込みが任意のｚのためのユニタリ演算子であるので、（７）は、関係を使用して同等に再構築され得る。
【００７１】
【数２８】
2019534483.tif 000030
【００７２】
ここで、等式は、フロベニウスノルムのユニタリ不変性、上記のＴ（ｚ）演算子の性質、および（２）のＴ（ｚ）の定義から来る。
【００７３】
[0030]上記の関係から、他の変数が一定に保持された場合、（７）中の各変数に対する閉じられた形式での更新を導出することが可能になる。特に、以下を有する。
【００７４】
【数２９】
2019534483.tif 000031
【００７５】
【数３０】
2019534483.tif 000032
【００７６】
【数３１】
2019534483.tif 000033
【００７７】
ここで、ＳＦＴλ｛・｝は、以下の式によって与えられる複素軟判定しきい値演算子を示す。
【００７８】
【数３２】
2019534483.tif 000034
【００７９】
[0031]これらの更新された式を使用して、次いで、方法１において説明した変数に対する更新の交互シーケンスを使用して記録された回折パターンから画像を効率的に再構成することが可能になる。（７）によって説明した最適化問題が、Ｗへの制約により全体的に非凸であるが、方法１の非常に強い収束がほぼわずか１０から１５回の反復内で観測されている。さらに、方法１における主要な計算負担がフーリエ変換および要素ごとの積を計算することにあるので、計算は、グラフィカル処理ユニット（ＧＰＵ）上で計算を実行することによって著しく加速される。図２（下部パネル）に、提案された方法を使用して再構成された人間の血液の画像を示す。基本的な再構成方法からの波状のアーティファクトが完全に除去されていること、および基本的な再構成方法を使用して検出不可能だった多くのセルが今度は明確に可視になった状態で画像中での赤血球のコントラストが著しく増加していることに留意されたい。
【００８０】
【表１】
2019534483.tif 000035
【００８１】
[0032]図３を参照すると、本開示は、画像のホログラフィック再構成のための方法１００として実施され得る。方法１００は、ホログラムを取得すること１０３を含む。再構成された画像および位相は、スパース性の仮定を使用して、指定された焦点深度において生成される１０６。たとえば、再構成された画像Ｘおよび位相Ｗは、｜Ｗ｜＝１であるような
【００８２】
【数３３】
2019534483.tif 000036
【００８３】
を解くこと１０９によって生成され得る１０６。上記で説明したように、式（７）を解く１０９手法は、位相Ｗ、背景レベルμ、および再構成された画像Ｘを更新するために交互最小化を使用することによる。
【００８４】
[0033]特定の実施形態では、再構成された画像Ｘおよび位相Ｗは、再構成された画像Ｘ、推定された位相Ｗ、および背景へのフィットμの初期値を設定すること１１２によって生成される１０６。伝達関数Ｔ（ｚ）のフーリエ変換が計算され１１５、
【００８５】
【数３４】
2019534483.tif 000037
【００８６】
が設定される。背景レベルは、
【００８７】
【数３５】
2019534483.tif 000038
【００８８】
として計算すること１１８によって更新される。位相は、
【００８９】
【数３６】
2019534483.tif 000039
【００９０】
を計算すること１２１によって更新される。更新されたＱは、
【００９１】
【数３７】
2019534483.tif 000040
【００９２】
によって計算され１２４、再構成された画像は、Ｘ＝ＳＦＴλ（Ｑ−μ  ｅｘｐ（−ｉｚｋ））を計算すること１２７によって更新される。更新ステップは、再構成された画像を決定するためにμ、Ｗ、Ｑ、およびＸの各々ごとに繰り返される１３０。ステップは、所定の回数繰り返され得る１３０。回数は、再構成された画像が望ましい品質になるまで上記の方法１００を実行することによって手動で決定され得る。別の実施形態では、ステップは、μ、Ｗ、および／またはＸの更新された値の変化が反復においてしきい値よりも小さくなるまで繰り返される１３０。たとえば、ステップは、再構成された画像の更新された値の変化がステップの反復において１０％、５％、３％、２％、または１％あるいは任意の他のパーセンテージ値よりも小さくなるまで繰り返され得る１３０。しきい値は、アンドパーセント変化または実効値であり得る。しきい値は、たとえば、追加の反復を実行することのコスト（たとえば、計算時間など）とバランスのとられた再構成された画像の品質に基づいて選択され得る。
【００９３】
[0034]別の態様では、本開示は、レンズフリー撮像のためのシステム１０として実施され得る（図５を参照）。システム１０は、レンズフリー画像センサ１２と通信しているプロセッサ１４を有する。いくつかの実施形態では、システム１０は、ホログラフィック画像を取得するためのレンズフリー画像センサ１２を含み得る。画像センサ１２は、たとえば、アクティブピクセルセンサ、電荷結合デバイス（ＣＣＤ）、ＣＭＯＳアクティブピクセルセンサなどであり得る。システム１０は、コヒーレント光源などの光源１６をさらに含み得る。画像センサ１２は、ホログラフィック像を取得するために光源１６と協働するように構成される。
【００９４】
[0035]プロセッサ１４は、本開示の方法のいずれかを実行するようにプログラムされる。たとえば、プロセッサ１４は、ホログラムを取得し、スパース性の仮定を使用してある焦点深度における再構成された画像および位相を生成するように画像センサ１２を動作させるようにプログラムされ得る。プロセッサ１４は、たとえば、式（７）を解くために位相、背景レベル、および再構成された画像を更新するために交互最小化を使用することによって再構成された画像を生成し得る。
【００９５】
[0036]図６〜図７を参照すると、システム１０は、たとえば、画像センサ１２およびプロセッサ１４がシステム１０を構成する「ローカル」再構成のために構成され得る。システム１０は、試験片を照らすための光源１６をさらに含み得る。たとえば、光源１６は、たとえば、コヒーレント光を与えるレーザーダイオードなどのコヒーレント光源であり得る。システム１０は、ホログラムの取得中に試験片を含んでいるように構成される試験片撮像チャンバ１８をさらに含み得る。（たとえば、図７に示す）他の実施形態では、システム２０は、リモート再構成のために構成され、ここで、プロセッサ２４は、画像センサとは別個のものであり、たとえば、ワイヤードまたはワイヤレスネットワーク接続、フラッシュドライブなどを通して画像センサから情報を受信する。
【００９６】
[0037]プロセッサは、メモリと通信しており、および／またはそれを含み得る。メモリは、たとえば、ランダムアクセスメモリ（ＲＡＭ）（たとえば、ダイナミックＲＡＭ、スタティックＲＡＭ）、フラッシュメモリ、取外し可能メモリなどであり得る。場合によっては、本明細書で説明する動作を実行すること（たとえば、画像センサを動作させる、再構成された画像を生成する）に関連する命令は、（いくつかの実施形態では、命令が記憶されるデータベースを含む）メモリおよび／または記憶媒体内に記憶され得、命令はプロセッサにおいて実行される。
【００９７】
[0038]場合によっては、プロセッサは、１つまたは複数のモジュールおよび／または構成要素を含む。プロセッサによって実行される各モジュール／構成要素は、ハードウェアベースのモジュール／構成要素（たとえば、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ））、ソフトウェアベースのモジュール（たとえば、メモリ中におよび／もしくはデータベース中に記憶されたならびに／またはプロセッサにおいて実行されるコンピュータコードのモジュール）、および／またはハードウェアベースおよびソフトウェアベースのモジュールの組合せの任意の組合せであり得る。プロセッサによって実行される各モジュール／構成要素は、本明細書で説明する１つまたは複数の特定の機能／動作を実行することが可能である。場合によっては、プロセッサ中に含まれ、その中で実行されるモジュール／構成要素は、たとえば、プロセス、アプリケーション、仮想マシン、および／または何らかの他のハードウェアもしくはソフトウェアモジュール／構成要素であり得る。プロセッサは、それらのモジュール／構成要素を動作および／または実行するように構成された任意の好適なプロセッサであり得る。プロセッサは、命令のセットまたはコードを動作および／または実行するように構成された任意の好適な処理デバイスであり得る。たとえば、プロセッサは、汎用プロセッサ、中央処理ユニット（ＣＰＵ）、加速処理ユニット（ＡＰＵ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）などであり得る。
【００９８】
[0039]本明細書で説明するいくつかのインスタンスは、様々なコンピュータ実装動作を実行するための命令またはコンピュータコードをその上に有する（非一時的プロセッサ可読媒体と呼ばれることもある）非一時的コンピュータ可読媒体をもつコンピュータ記憶製品に関する。コンピュータ可読媒体（またはプロセッサ可読媒体）は、それ自体一過性の伝搬信号（たとえば、空間またはケーブルなどの送信媒体上で情報を搬送する伝搬電磁波）を含まないという点で非一時的である。（コードと呼ばれることもある）メディアおよびコンピュータコードは、特定の目的のための設計または構築されたものであり得る。非一時的コンピュータ可読媒体の例は、限定はしないが、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープなどの磁気記憶媒体、コンパクトなディスク／デジタルビデオディスク（ＣＤ／ＤＶＤ）、コンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、およびホログラフィックデバイスなどの光記憶媒体、光ディスクなどの光磁気記憶媒体、搬送波信号処理モジュール、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、読取り専用メモリ（ＲＯＭ）およびランダムアクセスメモリ（ＲＡＭ）デバイスなどのプログラムコードを記憶および実行するように特に構成されたハードウェアデバイスを含む。本明細書で説明する他のインスタンスは、たとえば、本明細書で説明する命令および／またはコンピュータコードを含むことができるコンピュータプログラム製品に関する。
【００９９】
[0040]コンピュータコードの例は、限定はしないが、マイクロコードまたはマイクロ命令と、コンパイラによって生成されるような機械語命令と、ウェブサービスを生成するために使用されるコードと、インタープリタを使用するコンピュータによって実行されるより高いレベルの命令を含んでいるファイルを含む。たとえば、インスタンスは、Ｊａｖａ（登録商標）、Ｃ＋＋、．ＮＥＴ、または他のプログラミング言語（たとえば、オブジェクト指向プログラミング言語）および開発ツールを使用して実装され得る。コンピュータコードの追加の例は、限定はしないが、制御信号と、暗号化コードと、圧縮コードとを含む。
多重深度再構成
[0041]この時点まで、説明は、大部分は、単一の焦点深度において画像を再構成することに関していた。しかしながら、従来の顕微鏡使用に勝るホログラフィック撮像の主要な利点の１つは、単に１つの焦点深度における単一の画像に対して試験片の３次元体積全体を再構成する可能性である。１つの可能性は、焦点深度を変更する間に以前のセクションにおいて説明したアルゴリズムを使用して複数の画像を独立して再構成することであるが、残念ながら、試験片が複数の焦点深度において対象物を含んでいる場合、焦点はずれの対象物からの回折パターンが任意の所与の焦点深度において再構成を破損することになる。さらに、単一の焦点深度におけるただ１つの画像が必要とされる場合でさえ、以前として正しい焦点深度を決定することが必要になり、これは、手動で行うのは冗長であり得る。これらの問題に対処するために、このセクションは、試験片の３次元体積を再構成するために前のセクションにおいて説明したモデルに対する拡張について説明する。
【０１００】
[0042]（７）中の単一の焦点深度モデルに戻ると、必要である唯一の修正は、単一の画像
【０１０１】
【数３８】
2019534483.tif 000041
【０１０２】
を再構成する代わりに、一連の画像Ｘi、ｉ＝１，．．．，Ｄが再構成され、ここで、各Ｘi画像は、指定された深度ｚ［ｉ］における画像に対応する。より形式的に、所望の再構成深度
【０１０３】
【数３９】
2019534483.tif 000042
【０１０４】
のベクトルが与えられれば、画像
【０１０５】
【数４０】
2019534483.tif 000043
【０１０６】
は、以下のモデルを使用して発見され得る。
【０１０７】
【数４１】
2019534483.tif 000044
【０１０８】
[0043]このモデルは、本質的に、（７）で使用する単一の焦点深度において画像を再構成するためのモデルと同様であるが、完全な３次元体積にさらに拡張されている。残念ながら、完全な３次元体積にモデルを拡張することによって、Ｘのための閉じられた形式での更新を導出するために（８）中で行われた目的関数を再構築することはもはや可能でない。代わりに、ハイブリッドアルゴリズムが使用され得、ここで、ハイブリッドアルゴリズムは、Ｗおよびμ変数を更新するために交互最小化を利用し、Ｘを更新するために近位勾配降下ステップを利用する。さらに、大部分の中間変数は、計算を容易にするためにフーリエ領域中に残される。方法のステップについて、方法２において説明する。図４に、範囲［６５０，１１５０］ミクロンにわたって１００個の一様に離間した焦点深度のための指定された焦点深度に応じた再構成されたＸi画像の大きさを示す。最大の大きさをもつ画像深度は、再構成の深度を手動で合焦することによって発見された焦点深度に対応し、提案された方法を用いて３次元体積にわたって画像をどのように再構成するのか示すことが、試験片内の対象物の焦点深度をロバストで自動的に復元することに留意されたい。
【０１０９】
【表２】
2019534483.tif 000045
【０１１０】
[0044]図８を参照すると、別の態様では、本開示は、複数の焦点深度における画像のホログラフィック再構成のための方法２００として実施され得る。方法２００は、ホログラムを取得し、スパース性の仮定を使用してホログラムから一連の再構成された画像を生成すること２０６を含み、ここにおいて、各画像は、指定された焦点深度に対応する。たとえば、再構成された画像Ｘiおよび位相Ｗは、｜Ｗ｜＝１であるような
【０１１１】
【数４２】
2019534483.tif 000046
【０１１２】
を解くこと２０９によって生成され得る２０６。上記で説明したように、式（１３）を解く２０９手法は、位相Ｗおよび背景レベルμを更新するために交互最小化を使用し、Ｘを更新するために近位勾配降下ステップを使用することによる。
【０１１３】
[0045]特定の実施形態では、再構成された画像Ｘおよび位相Ｗは、再構成された画像Ｘｉ（ここで、ｉ＝１，．．．，Ｄ）、推定された位相Ｗ、および背景レベルμの行列の初期値を設定すること２１２によって生成される２０６。伝達関数Ｔ（ｚ［ｉ］）のフーリエ変換が計算され２１５（ここで、ｚ［ｉ］は、焦点深度のベクトルである）、
【０１１４】
【数４３】
2019534483.tif 000047
【０１１５】
およびＲ＝Ｇ−Ｓを設定する。背景レベルは、μ＝（Ｇ［１，１］−Ｓ［１，１］）／（ｍｎ）として計算すること２１８によって更新される。位相は、
【０１１６】
【数４４】
2019534483.tif 000048
【０１１７】
を計算すること２２１によって更新される。更新されたＧは、
【０１１８】
【数４５】
2019534483.tif 000049
【０１１９】
によって計算され２２４、更新されたＲは、Ｒ＝Ｇ−Ｓによって計算される２２７。更新された画像は、
【０１２０】
【数４６】
2019534483.tif 000050
【０１２１】
および
【０１２２】
【数４７】
2019534483.tif 000051
【０１２３】
に従って画像の行列中の画像ごとに計算される２３０。更新Ｓは、
【０１２４】
【数４８】
2019534483.tif 000052
【０１２５】
を解くことによって計算される２３３。更新ステップは、再構成された画像を決定するためにμ、Ｗ、Ｇ、Ｒ、Ｘi、およびＳの各々ごとに繰り返される２３６。ステップは、所定の回数繰り返され得る２３６。回数は、再構成された画像が望ましい品質になるまで上記の方法２００を実行することによって手動で決定され得る。別の実施形態では、ステップは、μ、Ｗ、および／またはＸiの更新された値の変化が反復においてしきい値よりも小さくなるまで繰り返される２３６。たとえば、ステップは、再構成された画像の更新された値の変化がステップの反復において１０％、５％、３％、２％、または１％あるいは任意の他のパーセンテージ値よりも小さくなるまで繰り返され得る２３６。しきい値は、アンドパーセント変化または実効値であり得る。しきい値は、たとえば、追加の反復を実行することのコスト（たとえば、計算時間など）とバランスのとられた再構成された画像の品質に基づいて選択され得る。
【０１２６】
[0046]本開示について、１つまたは複数の特定の実施形態に関して説明したが、本開示の趣旨および範囲から逸脱することなく本開示の他の実施形態が行われ得ることを理解されよう。以下は、本開示の実施形態を示すことを目的とする非限定的な例示的な特許請求の範囲である。
【図１】
2019534483.tif 000070
【図２】
2019534483.tif 000071
【図３】
2019534483.tif 000072
【図４】
2019534483.tif 000073
【図５】
2019534483.tif 000074
【図６】
2019534483.tif 000075
【図７】
2019534483.tif 000076
【図８】
2019534483.tif 000077
【国際調査報告】
2019534483.tif 000078