(57)【要約】試料について一連のコヒーレント画像及びインコヒーレント画像を取得し、エンベデッド瞳孔関数リカバリプロセスをフーリエタイコグラフィ手法と共に実施して一連のコヒーレント画像を用いて解像度を向上させた画像と撮像システムの瞳孔関数を構築し、推定された瞳孔関数に基づいて光学的伝達関数を決定し、デコンボリューションプロセスを用いてインコヒーレント画像から収差を除去して収差補正インコヒーレント画像を生成することができる、収差補正インコヒーレント撮像方法及びシステムを、開示する。
2018509622.tif 000002
【特許請求の範囲】
【請求項１】
撮像システムによって実行される収差補正インコヒーレント撮像方法であって、
（ａ）異なる角度からのコヒーレント平面波照明を試料に逐次的に投射している間に試料についての一連のコヒーレント画像を取得するステップであって、前記コヒーレント画像の各々は前記角度の１つからコヒーレント平面波照明を前記試料へともたらしている間に取得される、ステップと、
（ｂ）前記試料から発せられるインコヒーレント光に基づいて前記試料についてのインコヒーレント画像を取得するステップと、
（ｃ）前記取得された一連の画像を用いて解像度を向上させた画像を構築し及び前記撮像システムの瞳孔関数を推定するためにエンベデッド瞳孔関数リカバリプロセスを実施するステップと、
（ｄ）前記推定された瞳孔関数に基づいて前記撮像システムの光学的伝達関数を決定するステップと、
（ｅ）デコンボリューションプロセスを用いて前記取得されたインコヒーレント画像から前記収差を除去して収差補正インコヒーレント画像を生成するステップであって、前記デコンボリューションプロセスは、前記取得された一連の画像を用いて推定された前記瞳孔関数から決定された前記撮像システムの前記光学関数を用いるプロセスである、ステップ
とを含む、方法。
【請求項２】
前記試料からの前記インコヒーレント光は蛍光放射であり、
前記インコヒーレント画像は単色蛍光画像である、
請求項１に記載の収差補正インコヒーレント撮像方法。
【請求項３】
前記単色蛍光画像をカラー蛍光画像に変換するステップをさらに含む、請求項２に記載の収差補正インコヒーレント撮像方法。
【請求項４】
前記取得された画像の視野を複数のタイル領域に分割するステップと、
一連のタイル画像を各タイル領域について生成するステップと、
インコヒーレントタイル画像を各タイル領域について生成するステップと、
各タイル領域について、前記生成された一連のタイル画像を用いて解像度を向上させたタイル画像を構築し及び瞳孔関数を推定するために前記エンベデッド瞳孔関数リカバリプロセスを実施するステップ
とをさらに含む、請求項１に記載の収差補正インコヒーレント撮像方法。
【請求項５】
前記解像度を向上させたタイル画像は各タイルについて並列的に構築され、また、前記瞳孔関数は各タイル領域について並列的に推定される、請求項４に記載の収差補正インコヒーレント撮像方法。
【請求項６】
各タイル領域について、前記推定されたタイル瞳孔関数に基づいてタイル光学的伝達関数を決定するステップと、
各タイル領域について、前記インコヒーレントタイル画像から収差を除去して、前記デコンボリューションプロセスを用いて及び前記決定されたタイル光学的伝達関数を伴って収差補正インコヒーレントタイル画像を生成するステップと、
前記収差補正インコヒーレントタイル画像を前記複数のタイル領域について組み合わせることによって前記収差補正インコヒーレント画像を生成するステップ
とをさらに含む、請求項４に記載の収差補正インコヒーレント撮像方法。
【請求項７】
前記解像度を向上させた画像の構築と前記瞳孔関数の推定とが同時に起こる、請求項１又は５に記載の収差補正インコヒーレント撮像方法。
【請求項８】
前記取得された一連の画像を用いて前記解像度を向上させた画像を構築するために前記エンベデッド瞳孔関数リカバリプロセスを実施するステップは、前記解像度を向上させた画像の振幅及び位相データを回復することを含む、請求項１に記載の収差補正インコヒーレント撮像方法。
【請求項９】
前記照明角度は、被撮像試料を有している前記撮像システムの平面との関係で斜角をなしている、請求項１に記載の収差補正インコヒーレント撮像方法。
【請求項１０】
前記試料について少なくとも１つの追加のインコヒーレント画像を取得するステップと、
各追加のインコヒーレント画像について前記ステップ（ｃ）、（ｄ）及び（ｅ）を行って収差補正インコヒーレント画像を生成するステップ
とをさらに含む、請求項１に記載の収差補正インコヒーレント撮像方法。
【請求項１１】
請求項１０に記載の収差補正インコヒーレント撮像方法であって、各収差補正インコヒーレント画像は単色であり、該方法は、
各単色蛍光画像をカラー蛍光画像に変換するステップと、
前記カラー収差補正蛍光画像を重畳して前記試料についてのマルチカラー蛍光画像を生成するステップ
とをさらに含む、方法。
【請求項１２】
前記ステップ（ｂ）が前記ステップ（ａ）の前に起こる、請求項１に記載の収差補正インコヒーレント撮像方法。
【請求項１３】
前記ステップ（ｂ）が前記ステップ（ｃ）の後に又は前記ステップ（ｄ）の後に起こる、請求項１に記載の収差補正インコヒーレント撮像方法。
【請求項１４】
請求項１に記載の収差補正インコヒーレント撮像方法であって、該方法は、
第１の蛍光放射セットをもたらす蛍光色素分子を活性化させるように構成された第１の波長バンドの励起光で前記試料を照らすステップをさらに含み、
前記第１の波長バンドの励起光で前記試料が照らされている間に光路内に放射フィルタを導入するステップをさらに含み、
前記取得されたインコヒーレント画像は、前記第１の蛍光放射セットに基づいている前記試料についての蛍光画像である、
方法。
【請求項１５】
撮像システムであって、該システムは、
異なる斜めの角度からのコヒーレント平面波照明で試料を逐次的に照らすように構成された可変コヒーレント光源と、
前記試料に対して第１の波長バンドをもたらすように構成されている励起光源であって、前記第１の波長バンドは前記試料内の蛍光色素分子を活性化して第１の蛍光放射セットを伴った光を放射させるように構成されている、励起光源と、
前記試料から発せられる光を集光するための集光光学系を有する光学系であって、前記光学系は前記励起光源が第１の波長バンドを前記試料にもたらしている間は放射フィルタを含んでおり、前記放射フィルタは前記第１の蛍光放射セットを通過させ及び他の波長を遮断するためのものであり、前記光学系は光を１以上のイメージセンサへと伝播させるように構成されている、光学系
とを備えるのであって、
前記１以上のイメージセンサは、前記可変コヒーレント光源が前記試料を異なる斜めの角度からのコヒーレント平面波照明で逐次的に照らしている間に前記試料についての一連のコヒーレント画像を取得するように構成されており、前記１以上のイメージセンサは、インコヒーレント照明に基づいて前記試料についてのインコヒーレント画像を取得するようにさらに構成されており、
該システムは、
前記１以上のイメージセンサと電気通信可能な、前記一連のコヒーレント画像及び前記インコヒーレント画像についての画像データを受信するための１以上のプロセッサ
をさらに備えており、前記１以上のプロセッサは、
エンベデッド瞳孔関数リカバリプロセスをもって解像度を向上させた画像を構築し、及び同時に、エンベデッド瞳孔関数リカバリプロセスを前記取得された一連のコヒーレント画像についての前記画像データと共に用いて前記撮像システムの瞳孔関数を推定するステップと、
前記推定された瞳孔関数に基づいて前記撮像システムの光学的伝達関数を決定するステップと、
デコンボリューションプロセスを用いて前記取得されたインコヒーレント画像から収差を除去することによって収差補正インコヒーレント画像を生成するステップであって、前記デコンボリューションプロセスは前記取得された一連の画像を用いて推定された前記瞳孔関数から決定された前記撮像システムの前記光学関数を用いるプロセスである、ステップ
とを行わせるためのメモリ内に格納された命令を実行するように構成されている、システム。
【請求項１６】
前記励起光源は前記光学系の集光光学系から離れる方向へ向けられている、請求項１５に記載の撮像システム。
【請求項１７】
前記可変コヒーレント光源は個別発光素子の円形アレイ又は個別発光素子の矩形アレイである、請求項１５に記載の撮像システム。
【請求項１８】
前記可変コヒーレント光源はＬＥＤアレイである、請求項１５に記載の撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願にて説明する特定の態様は、一般的に撮像方法及びシステムに関するのであり、より具体的には、フーリエタイコグラフィ手法を用いるインコヒーレント撮像システムにおける収差補正方法に関する。
【背景技術】
【０００２】
一般的には、結像レンズは設計上において不完全である。通常は、様々な形状及び特性を有する複数のレンズを複雑に結像レンズ内で組み合わせて理想的なレンズからの偏差を補償するが、この場合代償として製造費の増大及びそれに関連したレンズ設計の複雑度の増大を伴う。市場で入手可能なレンズの大部分は、視野の中心付近では良好に改造された像をもたらすが、中心から離れた位置では解像力が劣っている。したがって、試料について良好に解像された像を取得するためには、試料に対してラスタ走査を行って、中心から離れた領域を破棄しつつスキャンされた像の中心領域を保持していくことを要する。
【０００３】
明視野イメージングは、最も人気がある顕微鏡撮画手段の１つである。明視野顕微鏡は、通常、試料を白色光で照らして透過光による像をキャプチャする。明視野イメージ位相差では、試料の構造に関する情報がもたらされる。位相差手法と組み合わせることによって、試料のアブゾープション、厚み、及び分散に関して定量的に測定し得る。生物学の分野においては、重要性が増してきている別の顕微鏡撮画手段として蛍光画像がある。蛍光色素分子を用いて適切にラベリングすることによって、蛍光現象は、分子レベルでの化学成分及び構造の可視化を支援し得る。タグ付けされた試料を蛍光色素分子の励起光で照射して蛍光色素分子の放射波長にて撮像することによって、生物学者は、興味対象とされる化学的性質を示す領域を容易に識別することができる。明視野と蛍光画像とを組み合わせることによって、試料の基本的な構造との関係で蛍光発光している領域を位置付けることができる。
【０００４】
関連出願への相互参照
本願は、米国仮特許出願第６２／１３３，１３０号（名称：「フーリエタイコグラフィ顕微鏡法を介したインコヒーレント撮像システムにおける収差補正」、出願日：２０１５年３月１３日）の利益及び優先権を主張しており、これは全体において及び全ての目的において参照によって取り込まれる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願第１４／５７２，４９３号
【特許文献２】米国特許出願第１４／０６５，２８０号
【特許文献３】米国特許出願第１４／４６６，４８１号
【特許文献４】米国特許出願第１４／９６０，２５２号
【非特許文献】
【０００６】
【非特許文献１】G. Zheng, R. Horstmeyer and C. Yang, “Wide-field, high-resolution Fourier ptychographic microscopy,” Nature Photonics, 2013
【非特許文献２】X. Ou, G. Zheng and C. Yang, “Embedded pupil function recovery for Fourier ptychographic microscopy,” Optics Express, 2014
【非特許文献３】X. Ou, R. Horstmeyer, C. Yang, and G. Zheng, “Quantitative phase imaging via Fourier ptychographic microscopy,” Opt. Lett. 38(22), 4845-4848 (2013)
【非特許文献４】S. Dong, K. Guo, P. Nanda, R. Shiradkar, and G. Zheng, “FPscope: a field-portable high-resolution microscope using a cellphone lens,” Biomed. Opt. Express 5(10), 3305-3310 (2014)
【非特許文献５】K. Guo, S. Dong, P. Nanda, and G. Zheng, “Optimization of sampling pattern and the design of Fourier ptychographic illuminator,” Opt. Express 23(5), 6171-6180 (2015)
【非特許文献６】S. Dong, R. Shiradkar, P. Nanda, and G. Zheng, “Spectral multiplexing and coherent-state decomposition in Fourier ptychographic imaging,” Biomed. Opt. Express, 5(6), 1757-1767 (2014)
【非特許文献７】L. Tian, X. Li, K. Ramchandran, and L. Waller, “Multiplexed coded illumination for Fourier Ptychography with an LED array microscope,” Biomed. Opt. Express 5(7), 2376-2389 (2014)
【非特許文献８】A. Williams, J. Chung, X. Ou, G. Zheng, S. Rawal, Z. Ao, R. Datar, C. Yang, and R. Cote, “Fourier ptychographic microscopy for filtration-based circulating tumor cell enumeration and analysis,” J. Biomed. Opt. 19(6), 066007 (2014)
【非特許文献９】G. Zheng, X. Ou, R. Horstmeyer, and C. Yang, “Characterization of spatially varying aberrations for wide field of-view microscopy,” Opt. Express 21(13), 15131-15143 (2013)
【非特許文献１０】J. R. Fienup, “Phase retrieval algorithms: a comparison,” Appl. Opt. 21(15), 2758-2769 (1982)
【非特許文献１１】V. Elser, “Phase retrieval by iterated projections,” J. Opt. Soc. Am. A 20(1), 40-55 (2003)
【非特許文献１２】P. Godard, M. Allain, V. Chamard, and J. Rodenburg, “Noise models for low counting rate coherent diffraction imaging,” Opt. Express 20(23), 25914-25934 (2012)
【非特許文献１３】C. Yang, J. Qian, A. Schirotzek, F. Maia, and S. Marchesini, “Iterative Algorithms for Ptychographic Phase Retrieval,” http://arxiv.org/abs/1105.5628
【非特許文献１４】R. Horstmeyer, R. Y. Chen, X. Ou, B. Ames, J. A. Tropp, and C. Yang, “Solving ptychography with a convex relaxation,” New J. Phys. 17(5), 053044 (2015)
【非特許文献１５】Wiener, N., “The Extrapolation, Interpolation and Smoothing of Stationary Time Series,” The MIT Press, 1949)
【非特許文献１６】R. C. Gonzalez and R. E. Woods, Digital Image Processing (Prentice Hall, 2002)
【非特許文献１７】J. C. Russ, The Image Processing Handbook, Fifth ed. (CRC Press, 2007)
【非特許文献１８】M. Bertero and P. Boccacci, Introduction to Inverse Problems in Imaging (Taylor & Francis, 1998)
【非特許文献１９】G. M. P. Kempen and V. L. J. Vliet, “A quantitative comparison of image restoration methods for confocal microscopy,” J. Microsc. 185(3), 354-365 (1997)
【非特許文献２０】X. Ou, R. Horstmeyer, G. Zheng, and C. Yang, “High numerical aperture Fourier ptychography: principle, implementation and characterization,” Opt. Express 23(3), 3472-3491 (2015)
【非特許文献２１】D. Kundur and D. Hatzinakos, “Blind image deconvolution,” IEEE Signal Process. Mag. 13(3), 43-64 (1996)
【非特許文献２２】L. Yuan, J. Sun, L. Quan, and H.-Y. Shum, “Progressive inter-scale and intra-scale non-blind image deconvolution,” ACM Trans. Graph. 27(3), 1-10 (2008)
【非特許文献２３】J. H. Lee and Y.S. Ho, “High-quality non-blind image deconvolution with adaptive regularization,” J. Vis. Commun. Image Represent, 22(7), 653-663 (2011)
【発明の概要】
【０００７】
特定の態様は、フーリエタイコグラフィ手法を用いるインコヒーレント撮像システムにおける収差補正方法（ＡＣＩＳ方法、aberration correction in incoherent imaging systems）及びこれらの方法を実施するインコヒーレント撮像システム（ＡＣＩＳシステム）に関する。
【０００８】
特定の態様は、収差補正インコヒーレント撮像方法に関するのであり、該方法は、異なる角度からのコヒーレント平面波照明を試料に逐次的に投射している間に試料についての一連のコヒーレント画像を取得するステップであって、コヒーレント画像の各々は角度の１つからコヒーレント平面波照明を試料へともたらしている間に取得される、ステップを含む。方法は、試料から発せられるインコヒーレント光に基づいて試料についてのインコヒーレント画像を取得するステップをさらに含む。方法は、取得された一連の画像を用いて解像度を向上させた画像を構築し及び撮像システムの瞳孔関数を推定するためにエンベデッド瞳孔関数リカバリプロセスを実施するステップをさらに含む。方法は、推定された瞳孔関数に基づいて撮像システムの光学的伝達関数を決定するステップと、デコンボリューションプロセスを用いて取得されたインコヒーレント画像から収差を除去して収差補正インコヒーレント画像を生成するステップとをさらに含む。方法においてデコンボリューションプロセスは、取得された一連の画像を用いて推定された瞳孔関数から決定された撮像システムの光学関数を用いるプロセスである。
【０００９】
特定の態様は、異なる斜めの角度からのコヒーレント平面波照明で試料を逐次的に照らすように構成された可変コヒーレント光源を備える撮像システムに関する。また、システムは、試料に対して第１の波長バンドをもたらすように構成されている励起光源であって、第１の波長バンドは試料内の蛍光色素分子を活性化して第１の蛍光放射セットを伴った光を放射させるように構成されている、励起光源を備える。また、システムは、光学系及び１以上のイメージセンサを備える。光学系は、試料から発せられる光を集光するための集光光学系を有する光学系であって、光学系は励起光源が第１の波長バンドを試料にもたらしている間は放射フィルタを含んでおり、放射フィルタは第１の蛍光放射セットを通過させ及び他の波長を遮断するためのものであり、光学系は光を１以上のイメージセンサへと伝播させるように構成されている。１以上のイメージセンサは、可変コヒーレント光源が試料を異なる斜めの角度からのコヒーレント平面波照明で逐次的に照らしている間に試料についての一連のコヒーレント画像を取得するように構成されており、１以上のイメージセンサは、インコヒーレント照明に基づいて試料についてのインコヒーレント画像を取得するようにさらに構成されている。システムは、１以上のイメージセンサと電気通信可能な、一連のコヒーレント画像及びインコヒーレント画像についての画像データを受信するための１以上のプロセッサをさらに備えている。また、１以上のプロセッサは、エンベデッド瞳孔関数リカバリプロセスをもって解像度を向上させた画像を構築し、及び同時に、エンベデッド瞳孔関数リカバリプロセスを取得された一連のコヒーレント画像についての画像データと共に用いて撮像システムの瞳孔関数を推定するステップを行わせるためのメモリ内に格納された命令を実行するように構成されている。また、１以上のプロセッサは、推定された瞳孔関数に基づいて撮像システムの光学的伝達関数を決定するステップを行わせるためのメモリ内に格納された命令を実行するように構成されている。また、１以上のプロセッサは、デコンボリューションプロセスを用いて取得されたインコヒーレント画像から収差を除去することによって収差補正インコヒーレント画像を生成するステップであって、デコンボリューションプロセスは取得された一連の画像を用いて推定された瞳孔関数から決定された撮像システムの光学関数を用いるプロセスである、ステップを行わせるためのメモリ内に格納された命令を実行するように構成されている。
【００１０】
これら及び他の特徴に関しては、添付の図面を参照しつつ以下詳述する。
【図面の簡単な説明】
【００１１】
【図１】一部の実施形態による、ＡＣＩＳ方法を実施可能なＡＣＩＳ撮像システムについてのブロック図である。
【図２】実施形態による、統合ＦＰ・蛍光イメージング法のためのＡＣＩＳ方法を実施するように構成されたＡＣＩＳ撮像システムの例に関する概略図である。
【図３】実施形態による、ＡＣＩＳ撮像システムによって実施可能な例示的なＡＣＩＳ撮像方法の単一の撮像過程のオペレーションを示すフローチャートである。
【図４】実施形態による、例示的なＥＰＲＹプロセスのオペレーションを示すフローチャートである。
【図５】実施形態による、収差を含むインコヒーレント画像からＯＴＦをデコンボリューションする操作を概略的に示す等式として表された画像セットを含む図である。
【図６Ａ】実施形態による、ＡＣＩＳ撮像方法の実行中における試験結果のフローを概略的に示す図である。
【図６Ｂ】ある側面に関しての強度 対 位置プロットを示す図である。
【図６Ｃ】実施形態による２つの画像を示す図であって、左方の画像は高解像度明視野画像と原蛍光画像とのコンボリューション前の重ね合わせ画像であり、右方の画像は高解像度明視野画像と収差補正蛍光画像とのデコンボリユーション後の重ね合わせ画像である、２つの画像を示す図である。
【図７】７Ａは、実施形態による、光軸からずらされた具体的なサンプルＲＯＩについての原画像及び回復されたＰＳＦを示す図である。７Ｂは、実施形態による、デコンボリューションの結果もたらされる画像を示す図である。７Ｃは、光軸に同じサンプルＲＯＩをセンタリングした上でキャプチャした原画像を示す図である。
【図８】実施形態による、高解像度フーリエタイコグラフィ（ＦＰ）画像及び収差補正蛍光画像を示す図であって、これら画像は大きなイメージＦＯＶの異なる領域における全体イメージＦＯＶのあらゆる箇所から得られたものであり、これはＡＣＩＳ撮像システムを変更された４ｆセットアップと共に用いてＡＣＩＳ方法を実行することの結果として得られたものである、画像を示す図である。
【発明を実施するための形態】
【００１２】
添付の図面を参照して本願開示の実施形態を以下説明する。
【００１３】
Ｉ．  序論
近時においては、フーリエタイコグラフィ（ＦＰ、Fourier ptychographic）手法と共にエンベデッド瞳孔関数リカバリ（ＥＰＲＹ、embedded pupil function recovery）方法が開発されている。標準的なＥＰＲＹ方法においては、レンズの空間的に変化する収差を特徴付けし、及び、コヒーレント撮像セットアップのためにキャプチャされた画像を演算的に補正する。この標準的なＥＰＲＹ方法の詳細は非特許文献１〜２に記されており、これらはいずれもその全体が参照によって取り込まれる。また、このＥＰＲＹ方法の詳細は、特許文献１（発明の名称：フーリエタイコグラフィ撮像装置用のエンベデッド瞳孔関数リカバリ、出願日２０１４年１２月１６日）にも記されており、その全体が参照によって取り込まれる。このフーリエタイコグラフィ（ＦＰ）手法の詳細は特許文献２（発明の名称：フーリエタイコグラフィ撮像システム・装置・方法、出願日２０１３年１０月２８日）及び特許文献３（発明の名称：可変照明フーリエタイコグラフィ撮像装置・システム・方法、出願日：２０１４年８月２２日）に記されており、これらの全体が参照によって取り込まれる。
【００１４】
もっとも、一部の撮像モダリティは、インコヒーレント光を用いて実現される。例えば、生物学者によって良く用いられる蛍光画像法では、サンプルからのインコヒーレント放射が頼りとされる。キャプチャされた蛍光画像内の空間的に変化する収差を補正するために、標準的なＥＰＲＹ方法を直接的に用いることはできない。なぜならば、標準的なＥＰＲＹ方法は、主としてコヒーレント撮像システムのために設計されているからである。本願明細書にて説明するＡＣＩＳ方法では、キャプチャされた蛍光画像や他のインコヒーレント画像内の空間的に変化する収差を補正することができる。
【００１５】
特定の態様によれば、ＡＣＩＳ方法は、標準的なＥＰＲＹ方法で決定された瞳孔関数を用いてインコヒーレント撮像システム内の収差を補正するオペレーションを、ＦＰ手法と共に、含む。ＡＣＩＳ方法では、始めに、複数の照明角度（特定の実施形態では一般的に斜めからの角度）からの逐次的な照明を可変コヒーレント光源が提供している間にサンプルについて一連の明視野コヒーレント画像をキャプチャする。また、ＡＣＩＳ方法では、サンプルの視野についての１以上のインコヒーレント画像を取得する。例えば、サンプル内の蛍光色素分子が励起光源によって活性化された際には蛍光放射（信号）を撮像することができる。ＡＣＩＳ方法では、取得された一連の明視野コヒーレント画像をもって、標準的なＥＰＲＹ方法をＦＰ手法と共に用いて、コヒーレント撮像システムの空間的に変化する収差（一般的には、「瞳孔関数」という。）を特徴付ける。ＡＣＩＳ方法では、コヒーレント撮像システムの瞳孔関数を、蛍光画像からデコンボリューションによって導出できるインコヒーレント光学的伝達関数へと変換して、撮像システムの視野全域にわたって良好に解像された収差補正済み蛍光画像を実現する。
【００１６】
撮像システムの空間的に変化する収差を特徴付けるために、ＡＣＩＳ方法では、ＦＰ手法を用いてサンプルの視野についての複素振幅及び位相関数を再構築するのであって、このために位相復元方法を用いて異なる角度からの逐次的な照明にてキャプチャされた一連の明視野原画像を縫い合わせる。図２には、ＬＥＤ配列の１以上の異なるＬＥＤセットから逐次的に異なる照明角度にてコヒーレント照明を提供している間にサンプルの明視野コヒーレント画像のセットをキャプチャするように構成されている例示的な撮像システムが、示されている。
【００１７】
既述のように、ＡＣＩＳ方法はＦＰ手法の枠内にてＥＰＲＹ方法を実施するものであり（ＦＰ−ＥＰＲＹ再構築）、これによって複素サンプル関数（振幅及び位相）を回復するのみならず、コヒーレント撮像システムの瞳孔関数をも決定する。決定された瞳孔関数は、コヒーレント撮像システムのコヒーレント伝達関数でありこれには撮像システムの収差が含まれる。キャプチャされた画像の異なる領域において収差関数が異なり得るが故に、特定の実施形態では、ＦＰ−ＥＰＲＹ再構築の前にサンプルのフル視野画像をより小さい領域にタイル分割するのであって、各タイル内の収差が大体同じとなるようにタイル分割する。ＡＣＩＳ方法で撮像システムのインコヒーレント光学的伝達関数（ＯＴＦ、optical transfer function）を取得するためには、決定された瞳孔関数について、自己との畳み込みを周波数ドメイン内で行うか、又は、空間ドメイン内で絶対値を２乗する。ＡＣＩＳ方法では、サンプル内の蛍光色素分子を例えば励起ＬＥＤ等の励起光源からの励起光で照射することによって、インコヒーレント画像を取得する。上述したのと同様な態様で画像はタイルされ、各タイルは、対応するＯＴＦをもって周波数ドメイン内でデコンボリューションプロセス（例えば、ウィーナーフィルタ）によってデコンボルブされる。
【００１８】
特定の実施形態では、ＡＣＩＳ方法は、撮像システムの視野（ＦＯＶ、field-of-view）の広範囲にわたって、高解像度のコヒーレント明視野画像及び／又は収差補正蛍光画像を生成することができる。ＡＣＩＳ方法では、フーリエタイコグラフィ（ＦＰ、Fourier ptychographic）手法を用いて明視野画像の解像度を向上させることができるのであり、ＦＰ手法とは、近時に開発された演算手法であり、角度に関して可変な照明下で取得された一連の画像を処理する手法である。ＦＰ手法の詳細は、非特許文献１において論じられており、該文献の全体は参照によって取り込まれる。ＦＰ手法では、位相取り出しプロセスにおいてサンプルの視野の位相情報を回復するのであり、また、追加的には、ＥＰＲＹ方法を用いて撮像システムの収差を推定することができる。位相取り出しプロセスに関する一部の詳細は、非特許文献３にあり、該文献の全体は参照によって取り込まれる。撮像システムの収差を推定できる標準的なＥＰＲＹプロセスの詳細は、非特許文献２にあり、該文献の全体は参照によって取り込まれる。また、ＡＣＩＳ方法では、同じシステムを用いて蛍光画像をキャプチャすることができ、また、ＦＰ−ＥＰＲＹプロセス中に推定された収差マップを用いてその収差を補正することができる。具体的には、ＦＰプロセスは空間的に変化する瞳孔関数の形でコンプレックス収差マップを出力し、ＡＣＩＳ方法がこれを受けて撮像システムの空間的に変化するインコヒーレント点広がり関数（ＰＳＦ、point spread function）を算出し、収差除去のための蛍光画像デコンボリューションに用いられる。
【００１９】
物理的なレンズ設計の制約故に、撮像システムは、ＦＯＶ内の位置によって変化する収差を有している傾向にある。広角ＦＯＶ撮像装置に関しては、ＦＯＶ境界付近にて収差がかなりの画質劣化をもたらす。広角ＦＯＶ撮像装置の例としては、非特許文献４〜８において説明されているＦＰ手法を用いたギガピクセル級イメージング用に設計された顕微鏡が挙げられる。したがって、収差補正は、サンプルの特徴を結像面にわたって解像するために有益であり、このことは非特許文献９において論じられており、該文献の全体が参照によって取り込まれる。上述したように、コヒーレント撮像の枠組みにおけるコンプレックスであり空間的に変化する収差を演算的に考慮するために、標準的なＥＰＲＹ方法を用いることができる。標準的なＥＰＲＹ方法の出力としては、サンプルの振幅及び位相についての高分解推定と、撮像システムの瞳孔関数についての推定とが得られる。蛍光イメージングを向上させるために標準的なＥＰＲＹ方法を直接的に適用することはできない。なぜならば、ＦＰ手法及びＥＰＲＹ方法の双方がコヒーレント撮像枠組みに基づいているからである。換言すれば、蛍光放射がインコヒーレントである故に、角度的に可変な照明に対して直接応答的に放射が変化しない。
【００２０】
特定の実施形態では、ＡＣＩＳ方法は、収差除去プロセスを含んでおり、該プロセスは例えばTikhonov正規化を用いての関連付けられたインコヒーレント点広がり関数（ＰＳＦ）とのデコンボリューションオペレーションを含んでいる。コヒーレント明視野及び蛍光画像の双方が同じ撮像システムから間髪を入れずに逐次的に取得されており動きは微少であるか無いため、瞳孔関数とインコヒーレントＰＳＦとの間には直接的な関連がある。デコンボリューションオペレーションは、撮像システム内の不完全性に起因する蛍光画像内の収差を補正し、収差補正蛍光画像をもたらす。１つの例では、デコンボリューションオペレーションによって、撮像システムの回折限界に達した収差補正蛍光画像がもたらされる。
【００２１】
ＡＣＩＳ方法のデコンボリューションオペレーションは、サンプル構造に関してのアプリオリな知識を要する超解像デコンボリューション方法とは、異なる。ＡＣＩＳ方法のデコンボリューションオペレーションでは、サンプル構造に関してアプリオリな仮定を設けない。特定の実施形態によれば、ＡＣＩＳ方法では、大きなＦＯＶ限度に関して収差補正蛍光画像と高解像度明視野画像とを生成することができる。この機能故に、蛍光タギングされたバクテリアを計数したり、細胞移動ダイナミクスを分析したり、細胞系統を追跡したりする等の用途に際してＡＣＩＳ方法は特に有用となる。
【００２２】
特定の実施形態によれば、ＡＣＩＳ方法では、標準的なＥＰＲＹ方法及びＦＰ手法のオペレーションを実施することによって、インコヒーレント撮像システム内における収差を特徴付けることができる。標準的なＥＰＲＹ方法及びＦＰ手法についての詳細は非特許文献１〜２に記載されており、これら文献は全体が参照によって取り込まれる。一般的に述べれば、ＦＰ手法では、可変コヒーレント光源からの可変平面波照明下で一連の（低解像度）原画像をキャプチャする。可変コヒーレント光源の例としては、興味対象となるサンプルの後方かなりの距離（例えば、直径２ｍｍのＬＥＤ素子に関しては８０ｍｍ離れた所）に設置されたＬＥＤアレイが挙げられる。ＬＥＤアレイを用いる実施形態では、Ｎ個の異なるＬＥＤについて１個ずつＬＥＤをシステムが点灯し、各照明態様毎に固有の画像をキャプチャすることができる。別の実施形態では、撮像システムは、ＬＥＤを固有なパターンで点灯していき、一連の原画像を逐次的にキャプチャする。このような多重化例は特許文献４（発明の名称：多重化されたフーリエタイコグラフィ撮像システム及び方法、出願日：２０１５年１２月４日）に記載されており、該文献の全体が参照によって取り込まれる。薄いサンプルに関しては、可変コヒーレント光源によってもたらされる可変平面波照明が側方方向へシフトするサンプルスペクトル（即ち、複素サンプルについてのフーリエ変換）を生成するのであり、これはＡＣＩＳ撮像システムの集光光学系の後焦点面に生成される。この後焦点面では、（レンズＮＡに対応する）開口絞りの有限な広がりがローパスフィルタとして機能する。集光光学系として従来的な無限遠補正顕微鏡対物レンズを用いる例においては、開口絞りの広がりがカットオフ空間周波数を規定し、そしてこれが結像面において分解できる最小の構造物を決する。可変平面波照明を介してサンプルスペクトルを側方へシフトすること及び一連のより低解像度原画像を取得することによって、ＦＰ取得オペレーションでは、単一の原画像によって与えられるものに比してより広いスペクトルを有する画像を再構築するのに十分な情報を含むデータセットを取得する。
【００２３】
サンプルスペクトルがコンプレックスであり、また、撮像センサシステムは一般に光の強度しか記録しないため、Ｎ個の取得されたコヒーレント画像を用いてサンプルスペクトルを集光光学系のバンドパスを超えて拡張することは、直接的でない。逆の問題を解くためにＡＣＩＳ方法では、ＦＰ手法を用いて位相回復再構築プロセスを適用することができる。位相回復再構築プロセスの例は、非特許文献１０〜１１に記されており、位相回復再構築プロセスの例との関係でこれらは参照によって取り込まれる。交互投影に基づく標準的な非線形ソルバー等のソルバーの例は、周知であり、例えば非特許文献１２〜１４に記されている。特定の実施形態によれば、ＦＰ画像取得プロセスでは、サンプルスペクトルの一意的にウインドウ化されたエリアに対応する隣接画像がフーリエドメイン内で所定量オーバーラップするように照明角度を変化させることによって、所定量の冗長性を有する一連のコヒーレント明視野画像を取得する。１つの例では、重複量はフーリエドメイン内で少なくとも約６５％である。別の例では、重複量はフーリエドメイン内で少なくとも約７０％である。別の例では、重複量はフーリエドメイン内で少なくとも約７７％である。別の例では、重複量はフーリエドメイン内で少なくとも約６０％である。ＦＰ再構築プロセスは位相回復の適用を伴うのであり、これによって絞りバンドパスを拡張する。一部の例では、ＦＰ再構築プロセスによって撮像システムのＮＡを実効的に増大させることができ、照明ＮＡは最大照明角度によって定義される。
【００２４】
ＡＣＩＳ方法は、標準的なＥＰＲＹ方法を用いて撮像システムの瞳孔関数を決定する。特定の実施形態では、標準的なＥＰＲＹ方法を用いることによって、ＡＣＩＳ方法を用いて複素サンプル再構築と瞳孔関数を（例えば、並列処理を活用することによって）同時に決定することができる。１つの例では、ＡＣＩＳ方法は、反復的ＦＰ更新プロセスを２つのステップに分割する。第１のステップでは、ＡＣＩＳ方法が標準的なＥＰＲＹプロセスを実施して、画像データ及び現在瞳孔関数推定を用いて、偶数回目の反復全てについてサンプルスペクトル推定を更新する。第２に、ＡＣＩＳ方法はＥＰＲＹプロセスを実施して、画像データ及び現在スペクトル推定を適用して、奇数回目の反復全てについて瞳孔関数推定を更新する。システムのＦＯＶにわたって空間的に変化する収差を考慮するため、キャプチャされた画像はより小さなタイルへとセグメント化される。各タイル内については、収差は空間的に不変であるものとみなすことができる。１つの場合においては、ＡＣＩＳ方法は、全体のサンプルエリアよりも小さいが結像面に投影された場合にセンサのピクセルにして約２０×２０よりも大きいタイルエリアを、選択するのであり、これによって再構築時における数値的なアーチファクトの緩和が支援される。ＥＰＲＹプロセスは各タイルに適用され、システムＦＯＶの各タイル領域について固有な収差関数が決定される。
【００２５】
特定の実施形態によれば、ＡＣＩＳ方法は、標準的なＥＰＲＹ方法を用いて、撮像システムのタイル毎に固有な瞳孔関数を決定する。ＥＰＲＹ方法によって得られたタイル毎に固有な瞳孔関数は、撮像システムのコヒーレント伝達関数についての正確な物理モデルを提供する。ＡＣＩＳ方法は、決定されたタイル毎に固有な瞳孔関数に基づいてインコヒーレント撮像枠組みの収差を、決定する。式１によって、ＡＣＩＳ方法は、インコヒーレント（蛍光）画像ＰＳＦを、瞳孔関数のフーリエ変換の絶対値の２乗として決定することができる。
【数１】
2018509622.tif 000003
（式１）
ここで、（ｘ，ｙ）は結像面における空間座標を表し、（ｆｘ，ｆｙ）は絞り平面内の座標を表し（即ち、空間座標のフーリエ共役であり）、ｈｍ（ｘ，ｙ）はインコヒーレントＰＳＦであり、Ｐｍ（ｆｘ，ｆｙ）はＣＴＦであり、Ｆ−１は逆フーリエ変換演算である。
【００２６】
収差除去オペレーションにおいては、ＡＣＩＳ方法は、取得された蛍光画像から収差を除去する。特定の実施形態では、ＡＣＩＳ方法は、ＦＰ再構築プロセスにおいて使用されたのと同じタイル割になるように取得された蛍光画像をセグメント化して、ＥＰＲＹから取得された収差マップが蛍光画像内の同じサブ領域に対応することを確実にする。蛍光画像の第ｍ番目のタイルｏｍ（ｘ，ｙ）が撮像システムによって撮像されると、イメージセンサに達する前に、空間的に変化しているかもしれないインコヒーレントＰＳＦたるｈｍ（ｘ，ｙ）によって劣化される。検出された画像強度ｉｍ（ｘ，ｙ）は、サンプルの背景信号、ショットノイズ及び検出器ノイズから発生するノイズｎｍ（ｘ，ｙ）によってさらに破損される。一般に、撮像プロセスは下記の式２で表される。
【数２】
2018509622.tif 000004
（式２）
【００２７】
収差除去オペレーションの目的は、破損した画像信号ｉｍ（ｘ，ｙ）からオブジェクトｏｍ（ｘ，ｙ）を回復することである。フーリエドメイン内では、式２は下記の式３として表される。
【数３】
2018509622.tif 000005
（式３）
ここで、Ｉｍ（ｆｘ，ｆｙ）、Ｈｍ（ｆｘ，ｆｙ）、Ｏｍ（ｆｘ，ｆｙ）及びＮｍ（ｆｘ，ｆｙ）はそれぞれｉｍ（ｘ，ｙ）、Ｈｍ（ｘ，ｙ）、Ｏｍ（ｘ，ｙ）及びＮｍ（ｘ，ｙ）についてのフーリエ変換である。
【００２８】
コヒーレント伝達関数と異なって、光学的伝達関数（ＯＴＦ、optical transfer function）とも呼ばれるＨｍ（ｆｘ，ｆｙ）は、数多くの零を自己のバンドパス内に有することができ、バンドパスのエッジ付近においてはその値は極めて低くなる。即ち、これらの空間周波数ではノイズのせいでサンプル情報が失われたり圧倒され得ることをこれは意味する。ＯＴＦの性質故に、式３を反転させてＯｍ（ｆｘ，ｆｙ）について解こうとするのは不良設定問題たり得る。この情報欠損に対応するために様々な反転方法が開発されており、典型的には正規化パラメータにこれらは依存している。ウィーナーデコンボリューション方法は、元のオブジェクト信号Ｏｍ（ｆｘ，ｆｙ）についての推定
2018509622.tif 000006
を決定するのであり、そのために次式に従う：
【数４】
2018509622.tif 000007
（式４）
ここで、Ｇｍ（ｆｘ，ｆｙ）は次のように定義される逆フィルタである：
【数５】
2018509622.tif 000008
（式５）
ウィーナーデコンボリューション方法の詳細は非特許文献１５に記されており、ウィーナーデコンボリューション方法の詳細に関して該文献は参照によって取り込まれる。
【００２９】
Ｎｍ（ｆｘ，ｆｙ）が白色ガウス雑音であると仮定することは合理的であるが、サンプルの空間的分布について幾らかの先験的な知識を有していないとＯｍ（ｆｘ，ｆｙ）を決することは困難といえる。簡便性のために、｜Ｎｍ（ｆｘ，ｆｙ）｜２／｜Ｏｍ（ｆｘ，ｆｙ）｜２は定数Ｋとして設定し、Ｇｍ（ｆｘ，ｆｙ）をTikhonov正規化アルゴリズムに実質的に変換する。定数Ｋの例は非特許文献１６〜１７に記されており、定数Ｋの例に関してこれらの文献は参照によって取り込まれる。Tikhonov正規化アルゴリズムの例は非特許文献１８に記されており、アルゴリズムに関して該文献は参照によって取り込まれる。
【００３０】
Ｋは正規化する作用を発揮するのであり、より小さなＫはキャプチャされる画像中のノイズを増幅しつつより鮮明なディテールをもたらすのであり、より大きなＫはディテールを犠牲にしつつアルゴリズムをノイズに対してより堅牢なものとする。この値は視覚的に決定されるのであり、デコンボリューションによってバックグラウンドノイズを最小化しつつ最終的画像において回復されるディテールが最大となるようにする。最終的に、元の蛍光オブジェクトについての最終推定は次式によって与えられる：
【数６】
2018509622.tif 000009
（式６）
【００３１】
式６は、仮定されたノイズ及びサンプル分布モデルを伴ったTikhonov正規化の後に結果としてもたらされる画像を出力する。高いＳ／Ｎ比について長い露光時間を使って画像がキャプチャされる場面に関しては、ガウスノイズを撮像システムのノイズとすることは合理的な仮定といえる。もっとも、ポアソンノイズが深刻かつ支配的になるフォトン制限的な場面においては、ポアソン撮像プロセスを仮定するRichardson-Lucyデコンボリューション等の最大蓋然性デコンボリューション方法がより適切になる。Richardson-Lucyデコンボリューション演算の詳細は非特許文献１９に記されており、Richardson-Lucyデコンボリューション演算に関して該文献は参照によって取り込まれる。ＡＣＩＳ方法は、式６を全てのタイルに適用してフルＦＯＶ収差補正蛍光画像を取得する。
【００３２】
特定の実施形態では、ＡＣＩＳ方法は、従来的なＥＰＲＹ方法を実施して、一連のコヒーレント画像の代わりに、試料についての１つのインコヒーレント画像若しくは一連のインコヒーレント画像を用いることができる。これらの実施形態では、可変照明ソースは、ＬＥＤアレイ等の角度可変なコヒーレント放射をもたらすものの代わりに、インコヒーレント放射を複数の波長及び／又は複数の角度で提供するインコヒーレント放射源を含む。これらの具体的な場合においては（インコヒーレントソースについて厳格な条件及び仮定が課されており何らのインコヒーレント照明があってはならないとする）、従来的なＥＰＲＹ方法は、キャプチャされたシーケンスのインコヒーレント画像をＦＰ−ＥＰＲＹ再構築オペレーションのためのコヒーレント画像入力データへと演算的に処理するオペレーションを、含む。そして、ＦＰ−ＥＰＲＹ再構築プロセスでは、位相及び振幅を決定し、また、コヒーレント画像入力データを用いて瞳孔関数を同時に決定することができる。
【００３３】
ＩＩ．  ＡＣＩＳ撮像システム
図１は、幾つかの実施形態による、ＡＣＩＳ方法を実施可能なＡＣＩＳ撮像システム１００についてのブロック図である。高い抽象レベルからみれば、ＡＣＩＳ撮像システム１００は、異なる照明角度からサンプルを照射して一連の明視野原画像をキャプチャするように構成されているかそのように構成可能とされているのであり、また、サンプルからの蛍光放射等のインコヒーレント光に基づいてサンプルのＦＯＶの１以上の原画像をキャプチャするように構成されているかそのように構成可能とされる。例えば、ＡＣＩＳ撮像システム１００は、次のように構成されているか同じように構成可能とされる：励起光をサンプルに照射して、蛍光放射を生成するサンプル内の蛍光色素分子を活性化して、蛍光放射の測定に基づいてサンプルのＦＯＶの１以上の蛍光画像をキャプチャする。図示されているＡＣＩＳ撮像システム１００のコンポーネント間通信は、有線形式及び／又は無線形式とすることができる。
【００３４】
特定の実施形態では、ＡＣＩＳ撮像システムによって撮像される領域は、より小さな領域又はタイルに分割される。ＡＣＩＳ撮像システムは、複数のタイルを並列的に処理するための並列処理機能を含むことができる。例えば、ＡＣＩＳ撮像システム１００は、各タイルのコヒーレント原画像を処理して、複数のタイルについて並列的に位相及び振幅データ並びに瞳孔関数を再構築することができる。また、ＡＣＩＳ撮像システム１００は、各タイルの原画像を処理して、複数のタイルについて並列的に収差補正インコヒーレント（蛍光）画像を生成することができる。
【００３５】
図１に戻るに、ＡＣＩＳ撮像システム１００は、照明システム１０２、光学系１０６、及びイメージセンサシステム１０８を含む。コントローラ１１０は、メモリ内に格納された命令及び／又はＡＣＩＳ撮像システム１００のオペレーションによって提供された命令に基づいて、ＡＣＩＳ撮像システム１００のオペレーションを制御する。コントローラ１１０はイメージセンサシステム１０８と電気的に通信可能であり、イメージセンサシステム１０８からの原画像データを受信可能である。（点線によって示されているように）随意的には、コントローラ１１０は照明システム１０２と電気的に通信可能であり、当該システムからの照明を制御可能であり、例えば、イメージセンサシステム１０８による原画像（明視野及び／又は蛍光画像）取得に際して照明が露光時間と同期するようにできる。コントローラ１１０又は別のプロセッサが、照明システム１０２の光源からの照明を制御するのであり、例えば、様々な画像取得露光場面において特定の時刻について特定の期間にわたって、選択的に通電したり、或いは特定の光源若しくは光源の特定のサブセットのみを通電することによって様々な照明パターンを生じさせたりすることができる。幾つかの実施形態では、ＡＣＩＳ撮像方法の一部として行われるオペレーション等の原画像データに対しての処理オペレーションを行わせる命令を実行するように、コントローラ１１０はさらに構成されている。
【００３６】
イメージセンサシステム１０８は光学系１０６と通信可能であり、光学系１０６からの光を受信でき、また、原画像をキャプチャすることができ、各原画像は露光時間をかけてキャプチャされる。照明システム１０２は光学系１０６と通信可能であり、被撮像サンプルに対して照明を提供することができ、サンプルによって散乱された光又は他の態様でサンプルから発せられる光が光学系１０６を通じてイメージセンサシステム１０８へと伝播されるのであり、そこにて原画像がキャプチャされる。
【００３７】
特定の実施形態では、照明システム１０２は、異なる照明角度から照明を逐次的にサンプルにもたらすための可変コヒーレント照明源と、サンプル内の蛍光色素分子を活性化するための励起光を提供するための励起光システムとを含む。可変コヒーレント照明源からの照明がサンプルにもたらされると、サンプルによって散乱された光又は他の態様でサンプルから発せられる光が光学系１０６を通じてイメージセンサシステム１０８へと伝播されるのであり、そこにて明視野原画像がキャプチャされる。励起光源からの照明がサンプルにもたらされると、活性化のための光を受光したことに応答してサンプル内の蛍光色素分子が光りを放出（放射）するのであり、蛍光放射は光学系１０６を通じてイメージセンサシステム１０８へと伝播されるのであり、そこにて蛍光画像が露光時間中にキャプチャされる。特定の実施形態では、異なる波長の励起光による照明が施されている間に複数の蛍光画像がキャプチャされる。
【００３８】
明視野画像取得時においては、可変コヒーレント照明源によって生成された光が、異なる照明角度からサンプルを逐次的に照らす。光がサンプルを通過するに際して、サンプルに入射する光がサンプルの物理的な構造によって散乱される。蛍光画像取得時においては、サンプル内の蛍光色素分子（例えば、特殊なタンパク質）を励起する特定の波長の励起光を励起光源にて生成得する。蛍光画像取得プロセスにおいては、入射した励起光が蛍光色素分子にエネルギーを与えるのであり、蛍光色素分子が光をより低いエネルギーの波長で放射する。散乱光又は放射光の一部が光学系１０６の集光光学系（レンズ又はレンズのセット）へと通過する。光学系１０６の集束光学系がサンプルからの散乱光又は放射光をイメージセンサシステム１０８の１以上のイメージセンサに集束させる。
【００３９】
イメージセンサシステム１０８は１以上のイメージセンサを有している。特定の実施形態によれば、イメージセンサは、光をキャプチャして、イメージセンサの特定位置にて受光された光の強度を表すイメージデータを含むデータ信号を出力するように構成されている（本願においては、「光強度分布」、「強度分布」、又は単に「イメージ」若しくは「イメージフレーム」ともいう。）。各イメージセンサによって出力された画像データは、例えばコントローラ等のプロセッサへと転送（或いは「送信」若しくは「伝達」）される。ＡＣＩＳシステムのイメージセンサは、明視野画像取得プロセス中にＮ個の明視野強度原画像からなるシーケンスを取得することができ、また、１以上のインコヒーレント（蛍光）画像を各インコヒーレント（蛍光）画像取得プロセス中に取得することができる。各イメージセンサは、露光時間中にイメージセンサのセンシングエリアに入射した光の強度分布を測定することによって原画像を取得する。適切なイメージセンサの例としては、ＣＭＯＳセンサ、電荷結合素子（ＣＣＤ）、及び、他の類似の撮像装置が挙げられる。１つの例では、イメージセンサは、Prosilica GX6600イメージセンサ等のピクセルサイズが５．５μｍであるＣＣＤである。特定の実施形態では、ＡＣＩＳシステム内の１以上のイメージセンサは単色光検出器である。
【００４０】
コントローラ１１０は、自己の明視野及びインコヒーレント（蛍光）画像取得プロセスからの原画像データを解釈及び処理して処理済み画像データを生成するように構成されている。幾つかの実施形態では、コントローラ１１０は、一連の明視野強度画像の原画像データに対してＦＰ処理オペレーションを行うように構成されているかユーザによってそのように構成できるようにされている。これらの場合においては、コントローラ１１０は、取得された一連の明視野強度画像からの画像データを解釈して、比較的低解像度な画像データフレームをフーリエ空間へと変換し、変換された原画像データを組み合わせて、振幅及び位相データを再構築するのであり、サンプルのＦＯＶについて単一の高解像度画像がもたらされる。幾つかの場合では、コントローラ１１０は、振幅及び位相データを用いてＡＣＩＳ撮像システム１００についての収差を決定する。また、一般的には、コントローラ１１０は、各画像取得プロセス中にキャプチャされたインコヒーレント画像からの原画像データを解釈及び処理して収差補正インコヒーレント画像を生成する機能を有している。
【００４１】
特定の実施形態によれば、コントローラ１１０は並列画像処理を行うことができるのであり、例えば、複数のタイルについて並列で位相及び振幅データを再構築するためにＦＰ手法を用いて複数のタイル画像を処理する場合にそのような処理をなし得る。並列画像処理を行うために、一般にコントローラ１１０は、少なくとも１つのプロセッサ（或いは「処理ユニット」）を含む。プロセッサの例としては、以下のものがある：１以上の汎用プロセッサ（ＣＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、ＦＰＧＡ等のプログラマブルロジック装置（ＰＬＤ）、又は１以上のＣＰＵ、ＡＳＩＣ、ＰＬＤ、メモリ、様々なインターフェースを含むシステムオンチップ（ＳｏＣ）。コントローラ１１０は、少なくとも１つの内部メモリ装置と通信可能でもある。内部メモリ装置１２０は、画像データに対して様々なアルゴリズム又はオペレーションを遂行するための本願にて説明された様々な機能やオペレーションを行うためにプロセッサによって読み出されるプロセッサ実行可能コード（或いは「命令」）を格納するための不揮発性メモリアレイを、含むことができる。内部メモリ装置１２０は、ｒａｗな画像データ及び／又は処理された画像データ（これには、ＦＰ再構築された画像及び収差補正蛍光画像が含まれる）を格納することができる。幾つかの実施形態では、内部メモリ装置１２０又は別個のメモリ装置は、実行されるべきコードや処理・格納・表示されるべき画像データを一時的に格納するための揮発性メモリアレイを追加的に又は代替的に含むことができる。幾つかの実施形態では、コントローラ１１０それ自体が揮発性メモリや一部の場合においては不揮発性メモリを含むことができる。
【００４２】
幾つかの実施形態では、コントローラ１１０は原画像データ又は処理済み画像データを（例えばＦＰ画像処理後に）通信インターフェース１１２を介してディスプレイ１１４で表示するために出力するように構成されているかユーザによってそのように構成できるようにされている。幾つかの実施形態では、コントローラ１１０は原画像データや処理済み画像データを（例えばＦＰ画像処理後に）通信インターフェース１１６を介して外部コンピューティング装置又はシステム１１８へと出力するように構成されているかユーザによってそのように構成できるようにされている。実際、幾つかの実施形態では、１以上のＡＣＩＳオペレーションを、このような外部コンピューティング装置１１８にて行うことができる。幾つかの実施形態では、コントローラ１１０は原画像データや処理済み画像データを通信インターフェース１２２を介して外部メモリ装置又はシステム１２４にて格納するために出力するように構成されているかユーザによってそのように構成できるようにされている。幾つかの実施形態では、コントローラ１１０は原画像データや処理済み画像データを（例えばＦＰ画像処理後に）ネットワーク通信インターフェース１２６へと出力してそれによって外部ネットワーク１２８（例えば、有線又は無線ネットワーク）へ伝達するように構成されているかユーザによってそのように構成できるようにされている。ネットワーク通信インターフェース１２６は、ソフトウェア更新やファームウェア更新やコントローラ１１０によってダウンロードされるべき他のデータ等の情報を受信するためにも、用いることができる。幾つかの実施形態では、ＡＣＩＳ撮像システム１００は、例えば様々なＵＳＢインターフェースや他の通信インターフェース等の１以上の他のインターフェースをさらに含む。このような追加的インターフェースは、例えば、有線キーボードやマウス等の様々な周辺機器や入出力（Ｉ／Ｏ）装置を接続するために用いたり、又は、様々な無線によって実現される周辺機器を無線で接続するためのドングルを接続するために用いたりすることができる。このような追加的インターフェースには、例えばリボンケーブルに接続するためのインターフェース等のシリアルインターフェースを含めることができる。１以上の可変コヒーレント照明源、インコヒーレント照明源、及びイメージセンサシステム１０８をコントローラ１１０と通信できるようにするために電気的に結合することが可能であることに留意されたいのであり、該通信は、例えばＵＳＢインターフェースやケーブル、リボンケーブル、イーサネットケーブル、或いは他の適切なインターフェースやケーブル等の１以上の種類の適切なインターフェースやケーブル上で、なされることができる。
【００４３】
イメージセンサシステム１０８のイメージセンサによって出力されるデータ信号は、幾つかの実施形態では、コントローラ１１０へと伝達される前に、マルチプレクサ、シリアライザ又はイメージセンサシステムの他の電気的コンポーネントによって多重化、直列化、又は他の態様で組み合わされることができる。特定の実施形態では、コントローラ１１０は、画像フレームがコントローラ１１０によって並列的に処理できるようにするために各イメージセンサからの画像データを分離するための、又は、各タイルの一連の明視野画像フレームがコントローラ１１０によって並列的に処理できるようにするために各タイルの画像データを分離するためのデマルチプレクサ、デシリアライザ又は他の装置若しくはコンポーネントをさらに含むことができる。
【００４４】
ＡＣＩＳ撮像システムは照明システムを含むのであり、該照明システムは一般に可変コヒーレント照明源を含むのであり、該照明源は次のように構成されているかそのように構成可能とされているコンポーネントを有している：撮像されるサンプルに対して、複数たるＮ通りの照明角度から逐次的に（即ち、異なる画像取得時刻において）コヒーレント照明（例えば、平面波照明）をもたらすこと。Ｎは典型的には、２から１０００の範囲内の値を取る。１つの場合では、Ｎ＝１００である。別の場合では、Ｎ＝２００である。別の場合では、Ｎは２〜１００の範囲内の値を取る。別の場合では、Ｎは２〜２００の範囲内の値を取る。別の場合では、Ｎは１００〜２００の範囲内の値を取る。個別に番地指定可能な光源間のピッチは、例えば、１ｍｍ、２ｍｍ、３ｍｍ、４ｍｍ、５ｍｍ等とすることができる。一般的には、可変コヒーレント照明源は、斜めの照明をもたらすように設計されている。
【００４５】
特定の実施形態では、コヒーレント照明源は、個別的に番地指定可能なコヒーレント光源のアレイを含む。１つの実施形態では、可変コヒーレント照明源はＬＥＤ（発光ダイオード）アレイであり、各光源は１以上のＬＥＤを含む。典型的には、コヒーレント光源は可視光を提供する。可視光を提供することのできるコヒーレント光源の例としては、ＬＣＤ（液晶ディスプレイ）のピクセルやＬＥＤが挙げられる。個別的に番地指定可能なコヒーレント光源のアレイを有する可変コヒーレント照明源を伴う実施形態では、光源は様々な配列に配されていることができ、例えば、線状アレイ、矩形アレイ（１×９アレイ、３×６アレイ、１０×１０アレイ、１５×１５アレイ、３２×３２アレイ、１００×１００アレイ、５０×１０アレイ、２０×６０アレイ、又は他の２次元アレイ）、１以上の同心円（リング配列）、六角形アレイ、曲線アレイ、又は複数の照明角度からコヒーレント照明をもたらし得る他の適切な配列とすることができる。特定の実施形態では、個別的に番地指定可能なコヒーレント光源の総数に対してのサブセットを用いて明視野画像取得プロセスを行う。
【００４６】
可変コヒーレント照明源は、異なる角度のコヒーレント照明を逐次的にもたらすように構成されている。異なる照明角度からの照明を用いてキャプチャされた一連の画像からの画像データは、フーリエ空間内で重複している領域に対応する。一部の場合においては、可変コヒーレント照明源は、フーリエ空間に関して、重複面積が所定の下限量に少なくとも達するような画像データについての隣接領域間での重複エリアをもたらす照明角度を有する照明を、提供する（例えば、６５％重複、７５％重複、７０％重複、８０％重複、１０％〜６５％の範囲内の重複、６５％〜７５％の範囲内の重複等）。このようなフーリエ空間内における隣接領域間での最低限重複量をもたらすためには、隣接する照明角度間の差が所定の最大角度差未満となるように可変コヒーレント照明源を構成することができる。例えば、最大角度差は、例えば約（ｓｉｎ＾−１（０．６５＊ＮＡ）＝０．０６５ｒａｄ、ＮＡ＝０．１の場合）ｒａｄとすることができる。別の場合では、最大角度差は、ＮＡ＝０．５の場合、約０．３３とすることができる。
【００４７】
本願にて説明した例は典型的には、可視光を提供する可変コヒーレント照明源を論じるものの、本願開示はそこまで限定されるものではない。例えば、他の放射源を用いることができる。例えば、Ｘ線放射が用いられる場合、可変コヒーレント照明源はＸ線管と金属ターゲットとを備えることができる。別の例としては、マイクロ波放射を用いる場合があり、この場合可変コヒーレント照明源は真空管とすることができる。別の例としては、音響放射を用いる場合があり、この場合可変コヒーレント照明源は音響アクチュエータとすることができる。別の例としては、テラヘルツ放射を用いる場合があり、この場合可変コヒーレント照明源はGunnダイオードとすることができる。当業者は他の放射源を想起することもできる。テラヘルツ放射を用いる場合では、可変コヒーレント照明源によって提供される放射の周波数は約０．３〜３ＴＨｚの範囲内とすることができる。マイクロ波放射を用いる１つの場合では、可変コヒーレント照明源によって提供される放射の周波数は約１００ＭＨｚ〜３００ＧＨｚの範囲内とすることができる。Ｘ線放射を用いる１つの場合では、可変コヒーレント照明源によって提供される放射の波長は約０．０１〜１０ｎｍの範囲内とすることができる。音響放射を用いる１つの場合では、可変コヒーレント照明源によって提供される放射の周波数は約１０Ｈｚ〜１００ＭＨｚの範囲内とすることができる。音響放射関係の実施形態については、集束光学系及び撮像装置としては、音響ビームを集束させるための水中に配置されたアルミニウムの凹レンズや波面を測定するためのトランスデューサが含まれ得る。
【００４８】
特定の実施形態では、異なる光源からのコヒーレント照明の特性（例えば、波長、周波数、位相、振幅、極性等）が実質的に均質である。他の場合、異なる取得時刻に応じて波長が変化し得る。例えば、可変コヒーレント照明源は、異なる取得時刻において３つの波長（λ１，λ２，λ３）からなるＲＧＢ照明を提供し得るのであり、それぞれが赤色、緑色、ブルー色に対応する。可変コヒーレント照明源の光源によって提供される照明の周波数範囲は放射の種類に依存する。テラヘルツ放射を用いる例では、可変コヒーレント照明源によって提供される放射の周波数は約０．３〜３ＴＨｚの範囲内にあって良い。マイクロ波放射を用いる例では、可変コヒーレント照明源によって提供される放射の周波数は約１００ＭＨｚ〜３００ＧＨｚの範囲内にあって良い。Ｘ線放射を用いる例では、可変コヒーレント照明源によって提供される放射の波長は約０．０１〜１０ｎｍの範囲内にあって良い。音響放射を用いる例では、可変コヒーレント照明源によって提供される放射の周波数は約１０Ｈｚ〜１００ＭＨｚの範囲内にあって良い。
【００４９】
ＡＣＩＳ撮像システムの照明システムは、サンプルのＦＯＶについての１以上のインコヒーレント原画像を生成するために用いられるインコヒーレント光のソースを含む。例えば、照明システムは励起光システムを含むことができ、該励起光システムはサンプル内の蛍光色素分子を活性化してインコヒーレント蛍光（放射）を放出させるための励起光を提供するように構成されたか構成可能なものである。マルチカラー（マルチバンド）蛍光撮像の例に関しては、各励起光システムは１以上の光源からなるセットを複数有しており、各セットは撮像される複数のバンドについてのあるバンド（波長又は波長に関しての範囲）のための励起光を提供するためのものである。幾つかの場合においては、励起光システムの各光源は、１以上の（例えば、高出力ＬＥＤ等の）高出力光源と、ある範囲内の波長の励起光を通過させ他の波長を遮断するための励起フィルタとを含む。１つの例では、６個の高出力ＬＥＤが用いられる。１つの例では、１個の高出力ＬＥＤが用いられる。単色（単バンド）蛍光撮像の場合、励起光システムは、高出力光源（例えばＬＥＤ）と特定範囲の波長の励起光を通過させかつ他の波長を遮断するための励起フィルタとを有する少なくとも１つの高出力蛍光照明源を有している。マルチバンド（マルチチャンネル）蛍光撮像の場合、励起光システムは、蛍光チャンネルの個数に等しい個数の、高出力光源とフィルタとのセットを有している。各蛍光チャンネル毎に異なる高出力蛍光照明源が用いられる。各高出力蛍光照明源は、異なる取得時刻に照射されるのであり、各チャンネル毎に単色蛍光画像が別個に取得される。プロセッサによって、単色蛍光画像をカラー蛍光画像に変換するための命令を実施することができる。マルチカラー実施形態では、複数色蛍光撮像からの画像データを重ね合わせることによってマルチカラー蛍光画像をプロセッサに生成させることができる。例えば、ブルー蛍光画像と緑蛍光画像とからの画像データを重ね合わせることによってブルー-緑蛍光画像をプロセッサに生成させることができる。
【００５０】
特定の実施形態によれば、蛍光撮像を伴う例においては、励起光を提供するための励起光源がサンプルの側方に配置されている。この側方配置によって、側方からサンプルへと直接的に励起光を励起光源が照射することができ、コヒーレント光源からの光路を遮蔽する。一般に、サンプルの中央に向かって励起光源を傾けられるように励起光源が構成されているか、そのように構成可能である。
【００５１】
ＡＣＩＳシステム１００は光学系１０６を有するのであり、該光学系はサンプルから発せられた光を１以上のイメージセンサへと伝播させる１以上のレンズを一般的に有している。１つの実施形態では、光学系１０６は集光光学系と、絞りと、フィルタと、集束レンズとを含む。
【００５２】
本願にて説明した例は徹照モードで動作する可変コヒーレント光源への言及を伴うが、他の例では落射照明モード、徹照モード、又は落射照明モード及び徹照モードの両モードを適用することができる。落射照明モードで作動するためには、可変コヒーレント光源は典型的には、サンプルとの関係では、光学システムの集光光学素子が配置されている側と同じ側に配置されている。徹照モードで動作するためには、可変コヒーレント光源は典型的には、サンプルとの関係では、光学システムの集光光学素子が配置されている側とは反対側に配置されている。
【００５３】
図２は実施形態による例示的なＡＣＩＳシステム２００の概略図であり、該システムは統合型ＦＰ−蛍光撮像のためのＡＣＩＳ方法を実施するように構成されている。ＡＣＩＳ撮像システム２００のコンポーネントは、図１に示したＡＣＩＳ撮像システム１００との関係で説明したものと類似している。
【００５４】
ＡＣＩＳ撮像システム２００は照明システムを含むのであり、該照明システムは２つの照明源を備えるのであり、それぞれが１つの撮像モダリティに該当するのであり、ＬＥＤアレイ２１０としての可変コヒーレント光源及び励起光源２２０（例えば、１以上のＬＥＤとフィルタ）が含まれる。励起光源２２０はサンプル２０１の横方向の側方に配置されており、励起光を集光光学系２３０から離れるように向けられており、これによって直接的な励起光の受光を回避している。ＬＥＤアレイ２１０は、２次元の３２×３２配列とされた２２５個の個別的に番地指定可能なＬＥＤ２１２からなるものであり、明視野画像取得プロセスにおいては１５×１５のセグメント（図示されている）のみを使用して２２５個の画像をキャプチャする。他の例では、ＬＥＤアレイ２１０のより大きい又はより小さいセグメントを使うことができる。個別的に番地指定可能なＬＥＤ２１２間のピッチは、例えば、１ｍｍ、２ｍｍ、３ｍｍ、４ｍｍ、５ｍｍ等とすることができる。撮像システム２００は、試料２０１を受け入れるためのレセプタクル２２５をも備えている。図２に示されている時点において、即ち明視野画像取得プロセス中に単一のＬＥＤ２１２が照射される。ＬＥＤアレイ２１０には２５６個のＬＥＤがあるも、簡略化のため、図中においては、矢印が１つのＬＥＤ２１２に伸びており、これが照らされており、コヒーレント光２１４をサンプル２０１へと提供している。
【００５５】
ＡＣＩＳ撮像システム２００は光学系をも含んでおり、該光学系は（例えば、カメラレンズ等の）集光光学系２３０を備えており、これは少なくとも１つのレンズと、光学配置の後焦点面にある絞り２４０と、フィルタ２５０と、（例えば、チューブレンズ等の）集束光学系２６０とを有している。フィルタ２５０が図示されているも、一般的には、蛍光撮像プロセス中又は蛍光放射と同じカラーチャンネルにおける明視野撮像プロセス中においてのみフィルタ２５０を含める。フィルタ２５０は、撮像されている蛍光放射についての１以上の波長範囲を実質的に通過させ、また、励起光源２２０からの励起光を実質的に遮断するように構成されている。また、ＡＣＩＳ撮像システム２００は、光学系を介して伝播された光に基づいた原画像をキャプチャするためのイメージセンサ２７０を有するイメージセンサシステムを、含む。
【００５６】
図２に示されている時点において、単一のＬＥＤ２１２が照らされており、コヒーレント光２１４をサンプル２０１に提供している。サンプル２０１に入射する光が、サンプル２０１を通過していく過程で、サンプル２０１の物理的な構造によって散乱される。集光光学系２３０はサンプル２０１を通過する光を受光する。絞り２４０は集光光学系２３０によって伝播された光を受光し、瞳孔エリアに入射した光を通過させる。瞳孔エリア付近の絞り２４０のエリアに入射した光は実質的に遮断される。蛍光画像取得プロセス中であるか、蛍光放射と同じカラーチャンネルについて明視野撮像プロセス中である場合にはフィルタ２５０は定位置についており、これらの場合、フィルタ２５０は絞り２４０からの光を受光し、撮像されている蛍光放射の１以上の範囲を通過させ、他の波長を遮断する。集束光学系２６０はフィルタ２５０が定位置にあるか絞り２４０によって通された場合にフィルタ２５０によって通された入射光を受光し、光をイメージセンサ２７０に合焦させる。
【００５７】
蛍光画像取得プロセスでは、励起光源２２０を有効化して励起光を提供する。マルチバンドの場合、励起光源２２０は異なる時刻に有効化されるのであり、複数の蛍光画像をキャプチャするために異なる範囲の波長の励起光を提供する。サンプル２０１に入射する励起光は蛍光色素分子を活性化して蛍光放射を生成する。サンプル２０１を通過する光及びサンプル２０１内の活性化された蛍光色素分子からの蛍光放射を集光光学系２３０が受光する。絞り２４０は集光光学系２３０によって伝播された光を受光し、瞳孔エリアに入射した光を通過させる。瞳孔エリア付近の絞り２４０のエリアに入射した光は実質的に遮断される。フィルタ２５０は光を受光し、蛍光放射を通過させ、他の波長を遮断する。集束光学系２６０はフィルタ２５０によって通された蛍光放射を受光し、蛍光放射をイメージセンサ２７０へと合焦させるのであり、これが撮像されている各バンドについての蛍光画像をキャプチャする。
【００５８】
ＡＣＩＳシステムの集光光学系（例えば、カメラレンズ）は、一般的に１以上レンズを備えており、サンプルによって散乱されたかサンプルから発せられる光を集光するように設計されている。例えば、集光光学系は、ｆ＝５０ｍｍのニコン（登録商標）レンズを備えることができる（例えば、f/1.8D AF Nikkor（登録商標））。別の例としては、集光光学系は：４ｘのオリンパス（登録商標）Plan Achromat対物レンズ、０．１０ＮＡ；CFI Plan Achromatの１０ｘ対物レンズ、ＮＡ０．２５；Valumaxの対物レンズ５ｘ、０．１０ＮＡ等とすることができる。
【００５９】
ＡＣＩＳシステムの特定の実施形態では、絞りが光学系の集光光学系の後焦点面に配置されている。絞りとは、円形アパチュアであって直径を調節して光学系によって集光される光量を制限するためのものである。直径を減じて光りの外側領域を遮断することは、集光光学系のＮＡを減じることと等価であり、空間周波数に関してサンプルの高周波情報を遮断することを意味する。ＡＣＩＳ方法の用途との関係で検出された画像においてエイリアシングを防止する等のために、撮像システムのＮＡを正確に定義することをユーザが望んでいる場合、絞りを配置することは有用である。絞りのサイズ及び形状を制御するためには異なる方法がある。１つの例では、機械式絞りを使うことができ、この場合直径はスライダ（例えば、リングによって作動されるThorlabs社のＳＭ２絞りダイアフラム）で調整することができる。別の例では、絞りを透過性の液晶ディスプレイ（ＬＣＤ）とすることができ、ピクセル要素のコントラストを調整してアパチュアを作出できる。絞りシステムの別の例としては、光をＳＬＭ又はＤＭＤへと導いて、ＳＬＭ又はＤＭＤの異なる要素をアクティベートすることによってビームの一部のみをシステムの光路に反射で戻す、という構成もある。ＬＣＤ、ＳＬＭ、ＤＭＤを用いる場合には、絞りの形状は円形に限定されない。なぜならば、任意の離散的な形状をこれらのディスプレイに表示することができ、したがって形状及びサイズはユーザの所望に従って定義できるからである。
【００６０】
特定の実施形態では、絞りとＡＣＩＳシステムの光学系の集束光学系との間の光路内にフィルタが配置されている。フィルタは、ＡＣＩＳシステムによって撮像されている蛍光放射を通過させ、及び、他の波長を遮断するように設計された放射フィルタである。幾つかの場合では、フィルタは、単一の波長範囲内にある光のみ通過させるシングルバンドパスフィルタである。他の場合においては、フィルタは、複数の波長範囲を通過させるマルチバンドフィルタである。フィルタは吸収性フィルタ又は干渉フィルタ（ダイクロイックフィルタ）であることができる。吸収性フィルタは、所望の波長を通過させるが他の波長を吸収する基材で作る。干渉フィルタは、異なる屈折率の層が複数コーティングされたものであり、所望の波長に対しては建設的干渉を起こして通過を可能としつつ不要の波長に対しては相殺的干渉を起こして反射によって拒絶する。ダイクロイックフィルタの例を挙げる：Thorlabs 社のFITC Dichroic Filter MD499、Edmundoptics 社の50mm Square Blue Dichroic Filter。
【００６１】
特定の実施形態では、ＡＣＩＳシステムの光学系は、光学系のフィルタ及び／又は絞りから入射する光を受光できるように配置された集束光学系を有しており、これによって光をイメージセンサへと合焦させる。集束光学系は１以上のレンズを有する。１つの例では、集束光学系はチューブレンズ（例えば、Thorlabs ITL200 tube lens等のｆ＝２００ｍｍのチューブレンズ）を含む。
【００６２】
ＡＣＩＳ撮像システム２００はＡＣＩＳ撮像方法を実施するのであり、該方法は、明視野画像取得プロセスと蛍光画像取得プロセスとを含む。明視野ＦＰ画像取得プロセス中においては、ＬＥＤアレイ２１０が１以上のＬＥＤからなる固有なセットを点灯させて、斜めの角度からのコヒーレント照明をもって異なる照明角度から逐次的にサンプル２０１を照らす。それぞれの取得時刻において、ＬＥＤアレイ２１０は１以上のＬＥＤからなる固有なセットを点灯させて、露光時間中においてサンプル２０１を照らすのであり、イメージセンサ２７０が単一の明視野画像をキャプチャする。１つの態様では、単一のＬＥＤを、各露光時間において点灯させる。別の態様では、固有なパターンに配した複数のＬＥＤを各露光時間において点灯させる。サンプル２０１に入射する光が、サンプル２０１を通過していく過程で、サンプル２０１の物理的な構造によって散乱される。明視野ＦＰ画像取得プロセス中においては、ＡＣＩＳ撮像システム２００の光学系を介して伝播された光に基づいて、イメージセンサ２７０が一連の明視野原画像をキャプチャする。蛍光画像取得プロセス中においては、ＡＣＩＳ撮像システム２００が励起光２２０をサンプル２０１へと提供する。サンプル２０１に入射した励起光は、蛍光色素分子を活性化させて蛍光放射を生成する。蛍光画像取得プロセス中においては、ＡＣＩＳ撮像システム２００の光学系を介して伝播された蛍光放射に基づいて、イメージセンサ２７０が１以上の蛍光原画像をキャプチャする。
【００６３】
ＩＩＩ．  ＡＣＩＳ撮像方法
本願にて説明したＡＣＩＳ撮像システム（例えば、図１及び図２のＡＣＩＳ撮像システム１００及び２００）はＦＯＶに関してコヒーレント画像取得及びインコヒーレント画像取得を行い得る。コヒーレント画像は、インコヒーレント画像とは異なる時刻に取得される。幾つかの実施形態では、撮像されるＦＯＶがタイルに分割されてＡＣＩＳ撮像システムが複数のタイル画像に関して画像データを処理する。１つの例では、ＡＣＩＳ撮像システムは、複数のタイル画像について並列的に画像データを処理できる複数のプロセッサを含む。一般に、画像（サンプル）取得時刻とは、１以上のイメージセンサの露光時間中の時刻を指しており、光の強度分布を測定してＦＯＶの強度原画像をキャプチャする。
【００６４】
ＡＣＩＳ方法は一般的にコヒーレント画像取得プロセスとインコヒーレント画像プロセスとを含む。特定の実施形態では、コヒーレント画像取得プロセスは、異なる照明角度からの逐次的な照射中になされる一連の明視野輝度原画像を取得するためのオペレーションを含み、インコヒーレント画像取得プロセスは、１以上の蛍光画像を取得するためのオペレーションを含む。マルチバンドの実施形態では、異なる波長範囲と関連付けられた複数の蛍光画像が取得される。
【００６５】
図３は、本願にて実施形態との関係で説明するＡＣＩＳ撮像システムによって実施可能な例示的ＡＣＩＳ撮像方法に関しての単一の撮像過程のオペレーションを示すフローチャート３００を表している。オペレーション３１０でＡＣＩＳ撮像方法が開始される。ＡＣＩＳ撮像方法はコヒーレント画像取得プロセスとインコヒーレント画像プロセスとを含む。
【００６６】
オペレーション３２０では、ＡＣＩＳ撮像方法が、コヒーレント画像取得プロセスを行って、撮像される試料のＦＯＶ領域についての一連のコヒーレント原画像を取得する。可変コヒーレント照明源がＮ個の照明角度からコヒーレント照明を逐次的に撮像中の試料に対して提供している間に、一連のコヒーレント原画像が１以上のイメージセンサによって逐次的にキャプチャされる。各コヒーレント原画像は、露光時間中に光りの強度分布を測定することによって取得される。
【００６７】
オペレーション３２０では、Ｎ個の照明角度からの平面波照明を伴って可変コヒーレント光源（例えば、ＬＥＤアレイ）が逐次的に試料を照らす。１つの例では、可変照明源の独立的に制御可能な個別的発光素子（例えば、ＬＥＤ）の点灯の順序を規定する照射指示に基づいて可変コヒーレント光源は、逐次的な照明を提供する。ＡＣＩＳシステムの光学系は、試料から発せられる光を集光して、それを１以上のイメージセンサへと伝播させる。Ｎ個の照明角度に関してなされる逐次的な照射中においては、１以上のイメージセンサが、異なる照明角度に関連付けられているＮ個の一意的に照らされた強度測定（画像）についての画像データを取得する。１以上のイメージセンサは、一連のコヒーレント画像についての画像データを有する信号をプロセッサへと送る。
【００６８】
特定の実施形態では、ＡＣＩＳシステムの光学系は、集光光学系と、絞りと、放射フィルタと、集束光学系とを有する。この例としては、図２に示したＡＣＩＳシステム２００が挙げられる。集光光学系は、試料によって散乱された光又は試料から他の態様で発せられている光を集光するように構成された１以上のレンズを有しており、集光は、可変コヒーレント光源で試料が照らされている間又は励起光源によって試料が照らされている間になされる。絞りは、集光光学系によって絞りの中心領域を介して伝播された光を通すように、及び他の光を遮断するように構成されている。また、光学系は、絞りを通過した光を受光するように構成された放射フィルタを有する。放射フィルタは、励起光によって活性化された蛍光色素分子からの蛍光放射を通過させ、及び、励起光を遮断するように設計されている。また、光学系は、絞り及び／又はフィルタから１以上のイメージセンサへと伝播された光を受光するための集光光学系を、有している。集光光学系は、そのＮＡ内の入射角の範囲内の光を通過させる。絞りは、その中心領域内の光を通過させるのであって、絞りの物理的な寸法が故に、集光光学系によって通された入射角の範囲に対して更なる制限を加える場合がある。フーリエ空間内においては、集光光学系及び／又は絞りのフィルタリング機能は、一部の場合においては、円形瞳孔として表されることができ、ここで半径はＮＡ×ｋ０であり、ｋ０＝２π／λでありこれが真空中の波数である。１つの場合では、可変コヒーレント光源からのコヒーレント照明は、放射フィルタによって通される波長の範囲内にある。この場合、放射フィルタは、コヒーレント画像取得プロセス中に外される必要は無い。他の場合、放射フィルタは外される。
【００６９】
一般にＡＣＩＳ方法は一連のコヒーレント画像を取得するためのコヒーレント画像取得プロセスを含むが、特定の実施形態では代わりに一連のインコヒーレント画像を取得することができる。これらの実施形態では、ＡＣＩＳ方法は従来的なＥＰＲＹ方法を実施して一連のコヒーレント画像の代わりに試料についての１つ又は一連のインコヒーレント画像を用いることができる。これらの実施形態では、可変照明源は、ＬＥＤアレイ等からの角度に変化が設けられたコヒーレントラジエーションの代わりに、複数の波長にて及び／又は複数の角度にてインコヒーレントラジエーションをもたらすインコヒーレントラジエーション源を、含む。これらの具体的な場合においては（インコヒーレントソースについて厳格な条件及び仮定が課されており何らのインコヒーレント照明があってはならないとする）、従来的なＥＰＲＹ方法は、キャプチャされたシーケンスのインコヒーレント画像をＦＰ−ＥＰＲＹ再構築オペレーションのためのコヒーレント画像入力データへと演算的に処理するオペレーションを、含む。そして、ＦＰ−ＥＰＲＹ再構築プロセスでは、位相及び振幅を決定し、また、コヒーレント画像入力データを用いて瞳孔関数を同時に決定することができる。
【００７０】
オペレーション３３０では、ＡＣＩＳ撮像方法は、インコヒーレント画像取得プロセスを行って、試料のＦＯＶ領域についての１以上のインコヒーレント原画像を１以上のイメージセンサで取得する。各インコヒーレント原画像は、露光時間中に光の強度分布を測定することによって、取得する。ＡＣＩＳシステムの光学系は、試料から発せられる光を集光してそれを１以上のイメージセンサへと伝播させる。
【００７１】
蛍光撮像の実施形態では、インコヒーレント画像は蛍光画像である。これらの実施形態では、励起光源が被撮像試料に対してある範囲内の波長の励起光を提供している間に、ＡＣＩＳシステムが各蛍光画像を取得する。一般的に、励起光源は、高出力光源（例えば、高出力ＬＥＤ）と、ある範囲内の波長の励起光を通過させ他の波長を遮断するための励起フィルタとを含む。試料内の蛍光色素分子は、励起光によって活性化されて別の範囲の波長（例えば、ブルー、緑、又は赤の光）の光（放射光）を発する。通常は、励起光のほうが放射よりも強いため、励起光源は、光学系の集光光学系から背くように向きが通常構成される。励起光源が試料に励起光をもたらしている間に光学系によって伝播された入射してくる蛍光放射を、１以上のイメージセンサが受光する。各取得時刻において、１以上のイメージセンサが単色の蛍光強度画像を取得する。単色蛍光画像の画像データは、カラー蛍光画像に変換することができる。
【００７２】
特定の蛍光撮像実施形態では、ＡＣＩＳシステムは、集光光学系と、絞りと、放射フィルタと、集束光学系とを備える光学系を有しており、例えば図３にて説明されているものが該当する。これらの場合では、集光光学系は、試料が励起光源によって照らされている間に試料から発せられる光を集光するように構成されている。絞りは集光光学系によって絞りの中心領域を介して伝播された光を通すように、及び他の光を遮断するように構成されている。光学系は放射フィルタを有するのであり、該放射フィルタは、絞りを通過した光を受光し、蛍光放射を通過させ、及び、励起光を遮断するように構成されている。また、光学系は、フィルタによって通された蛍光放射を１以上のイメージセンサへと合焦させるための集束光学系を、有している。
【００７３】
マルチバンド蛍光撮像の場合、異なる取得時刻において異なる波長範囲の励起光が試料にもたらされる。複数の波長範囲は、同じ励起光源又は複数の光源によって提供されることができる。これらの場合では、システム内の放射フィルタはマルチバンド放射フィルタであり、蛍光放射の複数の波長範囲を遮断するように構成されている。各取得時刻において、励起光によって活性化された蛍光色素分子が蛍光放射を生成し、１以上のイメージセンサが１以上のイメージセンサに入射する蛍光放射の強度分布を測定して、単色蛍光画像を取得する。インコヒーレント画像取得プロセス中においては、ＡＣＩＳシステムは、複数の単色蛍光画像を、蛍光放射についての異なる波長範囲に関連付けられた異なる取得時刻においてキャプチャする。複数の単色蛍光画像からの画像データは、マルチカラー蛍光画像に変換することができる。デュアルバンド実施形態では、ＡＣＩＳシステムは例えば、第１の波長範囲における励起光を提供するように構成された第１の励起光源と、第２の波長範囲における励起光を提供するように構成された第２の励起光源とを有することができる。このデュアルバンド実施形態では、放射フィルタはデュアルバンドフィルタであり、第１の波長範囲及び第２の波長範囲の励起光を遮断するものである。集束光学系は放射を受光し、１以上のイメージセンサへと合焦させる。イメージセンサは、集束光学系から放射を受光し、異なる取得時刻において第１及び第２の単色蛍光強度画像を取得する。第１及び第２の単色蛍光画像からの画像データは、デュアルカラー蛍光画像に変換することができる。
【００７４】
フローチャートでは、コヒーレント画像取得プロセスのオペレーション３２０が、インコヒーレント画像取得プロセスのオペレーション３３０の前に示されているが、他の実施形態ではこれらのオペレーションは逆順で行われることもできる。一般的には、オペレーション３３０はオペレーション３７０の前なら任意の時に行われることができ、オペレーション３２０はオペレーション３４０の前なら任意の時に行われることができる。例えば、１つの実施形態では、図３のオペレーションは次の順序で行われても良い：オペレーション３２０、オペレーション３４０、オペレーション３５０、オペレーション３６０、オペレーション３３０、オペレーション３７０。別の例として、１つの実施形態では、オペレーションは次の順序で行われても良い：オペレーション３３０、オペレーション３２０、オペレーション３４０、オペレーション３５０、オペレーション３６０、オペレーション３７０。
【００７５】
オペレーション３４０では、ＡＣＩＳシステムのプロセッサ（例えば、コントローラ）が、コヒーレント画像取得プロセス中にイメージセンサによってキャプチャされており取得された一連のコヒーレント画像の画像データを内包した信号を１以上のイメージセンサから受信する。オペレーション３４０では、プロセッサがＥＰＲＹプロセスを実施する命令を実行して反復的プロセスにおいて試料のフーリエスペクトルとＡＣＩＳシステムの推定瞳孔関数とを両方同時的に決定する。ＥＰＲＹプロセスの詳細は特許文献１に記されており、該文献の全体が参照によって取り込まれる。ＥＰＲＹプロセスの例は、図４との関係で詳細に説明されている。
【００７６】
特定の実施形態によれば、ＡＣＩＳ方法では、ＥＰＲＹ方法を用いてＡＣＩＳ撮像システムのタイル毎に固有な瞳孔関数をも決定する。これらの実施形態では、キャプチャされた原画像はより小さなタイルにセグメントされてＦＯＶにわたって空間的に変化する収差を考慮するようにする。各タイル内においては、収差は空間的に不変のものであるとみなすことができる。この観点によれば、ＡＣＩＳ方法はＥＰＲＹプロセスを各タイルについて個別的に実施して、各タイル領域に関して固有な収差関数が決定される。ＥＰＲＹプロセスで得られたタイル毎の瞳孔関数は、ＡＣＩＳ撮像システムのコヒーレント伝達関数についての正確な物理モデルをもたらし得る。一般的に、タイルはＦＯＶよりも遙かに小さいが、小さすぎるタイルを選定した場合に再構築の際に生じ得る数値的アーチファクトを緩和するために、キャプチャされた撮像面内の約２０×２０ピクセルよりも大きいものとされる。
【００７７】
オペレーション３５０では、プロセッサが、推定瞳孔関数に基づいてＡＣＩＳシステムの光学的伝達関数を決定するための命令を実行する。推定瞳孔関数は、インコヒーレント画像取得プロセス中にキャプチャされた１以上のインコヒーレント画像についての収差情報を含んでいる。
【００７８】
ＡＣＩＳシステムのタイル固有の瞳孔関数を決定するのにＥＰＲＹ方法を用いる実施形態によれば、ＡＣＩＳ方法では、決定されたタイル固有の瞳孔関数に基づいてインコヒーレント画像の収差をさらに決定する。ＡＣＩＳ方法では、式１に従って、インコヒーレント画像のＰＳＦを、瞳孔関数のフーリエ変換の絶対値の２乗として決定することができる。
【００７９】
収差除去オペレーション３６０では、ＡＣＩＳ方法は取得されたインコヒーレント画像の各々から収差を除去する。この収差除去オペレーション３６０では、オペレーション３５０で決定された光学的伝達関数とのデコンボリューションを介して１以上のインコヒーレント画像から収差を除去するための命令を、プロセッサに実行させる。プロセッサは、１以上の収差補正インコヒーレント画像及び／又はオペレーション３４０で生成された明視野画像を向上させたものと共に画像データを出力する。特定の態様では、１以上の収差補正インコヒーレント画像は単色蛍光画像である。これらの態様では、プロセッサが収差補正単色蛍光画像を組み合わせて収差補正カラー蛍光画像にする。
【００８０】
蛍光撮像の実施形態においては、ＡＣＩＳ方法の収差除去オペレーション３６０によって、取得された蛍光画像の各々から収差が除去される。特定の実施形態では、ＡＣＩＳ方法は、取得された蛍光画像又はその他のインコヒーレント画像の各々をセグメント化するのであり、この際オペレーション３４０にてコヒーレント画像のために用いたのと同じタイル割にして、ＥＰＲＹプロセスにて取得された収差マップが蛍光画像内の同じタイル領域に対応することを保証する。蛍光画像のｍ番目のタイルｏｍ（ｘ，ｙ）がＡＣＩＳ撮像システムによって撮像されると、イメージセンサに到達する以前に空間的に変化するかもしれないインコヒーレントＰＳＦであるｈｍ（ｘ，ｙ）によって劣化する。検出された画像強度ｉｍ（ｘ，ｙ）は、サンプルの背景信号、ショットノイズ、及び検出器ノイズに由来するノイズｎｍ（ｘ，ｙ）によってさらに崩される。一般的に、撮像プロセスは式２として表される。収差除去オペレーション３６０の目的は、破損した画像信号ｉｍ（ｘ，ｙ）からオブジェクトｏｍ（ｘ，ｙ）を回復することである。フーリエドメインにおいては、式２は式３として表される。コヒーレント伝達関数とは違い、光学的伝達関数（ＯＴＦ）としても知られるＨｍ（ｆｘ，ｆｙ）はバンドパス内に多数のゼロを有するかもしれないのであり、バンドパスのエッジ付近では値がとても低い。即ち、これらの空間周波数においては、サンプル情報が失われたり、ノイズによって圧倒されたりし得る。ＯＴＦの性質故に、式３を反転させてＯｍ（ｆｘ，ｆｙ）について解こうとするのは不良設定問題たり得る。この情報欠損に対応するために様々な反転方法が開発されており、典型的には正規化パラメータにこれらは依存している。ウィーナーデコンボリューション方法は、元のオブジェクト信号Ｏｍ（ｆｘ，ｆｙ）についての推定
2018509622.tif 000010
を決定するのであり、式４に従う。
【００８１】
Ｎｍ（ｆｘ，ｆｙ）がフラットであると仮定すること自体は合理的であるも、サンプルの空間的分布について何らかの先験的知識がないとガウスノイズＯｍ（ｆｘ，ｆｙ）について決定することは困難である。簡便性のために、｜Ｎｍ（ｆｘ，ｆｙ）｜２／｜Ｏｍ（ｆｘ，ｆｙ）｜２は定数Ｋとして設定し、Ｇｍ（ｆｘ，ｆｙ）をTikhonov正規化アルゴリズムに実質的に変換する。Ｋは正規化する作用を発揮するのであり、より小さなＫはキャプチャされる画像中のノイズを増幅しつつより鮮明なディテールをもたらすのであり、より大きなＫはディテールを犠牲にしつつアルゴリズムをノイズに対してより堅牢なものとする。この値は視覚的に決定されるのであり、デコンボリューションによってバックグラウンドノイズを最小化しつつ最終的画像において回復されるディテールが最大となるようにする。最終的に、元の蛍光オブジェクトについての最終推定は式６によって与えられる。式６は、仮定されたノイズ及びサンプル分布モデルを伴ったTikhonov正規化の後に結果としてもたらされる画像を出力する。高いＳ／Ｎ比について長い露光時間を使って画像がキャプチャされる場面に関しては、ガウスノイズを撮像システムのノイズとすることは合理的な仮定といえる。もっとも、ポアソンノイズが深刻かつ支配的になるフォトン制限的な場面においては、ポアソン撮像プロセスを仮定するRichardson-Lucyデコンボリューション等の最大蓋然性デコンボリューション方法がより適切になる。ＡＣＩＳ方法は、式６を全てのタイルに適用してフルＦＯＶ収差補正蛍光画像を取得する。
【００８２】
特定の実施形態では、フローチャート３００に示されたオペレーションを繰り返すことができる。例えば、新たな試料についてオペレーションを繰り返したり、同じ試料についての追加の撮像過程についてオペレーションを繰り返したりすることができ、長期的な分析又はタイムラプス撮像においてこれらが有用たり得る。例えば、ＡＣＩＳ撮像方法は、フローチャート３００のオペレーションを規則的な間隔で繰り返すことができるのであり、例えば、１時間間隔、２時間間隔１日間隔等とすることができる。ＡＣＩＳ撮像方法は、一定期間（例えば、１週間、２週間、１ヶ月、２ヶ月等）にわたって、各撮像過程を規則的に繰り返すことができ、又は、ＡＣＩＳ撮像方法に対してオペレータが停止コマンドを発令するまで実行し続けることができる。一部の場合においては、ＡＣＩＳ撮像システムは、複数回の撮像過程の最中は、インキュベータ内に配置することができる
【００８３】
特定の態様では、オペレーション３６０からの出力は複数の収差補正カラー蛍光画像を含む。プロセッサは、オペレーション３６０からの複数の収差補正カラー蛍光画像を重ね合わせることによってマルチバンド収差補正蛍光画像を生成させる命令を実行することができる。
【００８４】
１つの態様では、オペレーション３６０の後、ＡＣＩＳ撮像方法では、プロセッサからの表示用データを伴う信号をディスプレイへと送るステップをさらに含めるのであり、これによって解像度を向上させた明視野画像や収差補正蛍光画像やＡＣＩＳ撮像方法によって生成された他のデータを表示することができる。
【００８５】
特定の実施形態では、ＡＣＩＳ方法は、撮像されるＦＯＶをタイルに分割するステップ、並びに、複数のタイル画像及び／又はタイル瞳孔関数についてのデータを、例えば並列処理を行える複数のプロセッサを用いて並列的に処理するステップをさらに含む。これらの実施形態では、ＡＣＩＳ撮像方法はオペレーション３４０，３５０，３６０の任意のオペレーションを各タイルについて並列的に実施して、オペレーションの終わりにおいて、ＦＯＶに関してデータを組み合わせる。例えば、ＡＣＩＳ撮像方法は、オペレーション３４０において推定瞳孔関数を各タイルについて並列的に決定するのであり、そして、各タイルについてのデータを組み合わせてＦＯＶに関する瞳孔関数を生成する。別の例としては、ＡＣＩＳ撮像方法がオペレーション３４０，３５０，３６０の全てを各タイルについて並列的に実施することができる。もっとも、各タイルについてオペレーション３４０，３５０，３６０をシーケンスに従って実行することを要する。
【００８６】
特定の実施形態では、可変コヒーレント照明源は個別の光素子を備えており、各素子は、例えば照明命令に基づいて異なる取得時間及び何らかの順序を前提として点灯される。例えば、順序は、個別の発光素子の照射時間を定義したり、又はＬＥＤアレイ等の個別発光素子からなる２次元配列における発光素子のパターンを定義したりできる。発光素子の２次元アレイが矩形アレイとされる１つの例では、中央発光素子を決定することができる。照射命令は、まず中央発光素子の照射を指示し、そして中央発光素子の周りの８個の発光素子を反時計回りに照射させ、そして以前の発光素子の周りの１６個の発光素子を反時計回り照射させ、以後同様にして、可変コヒーレント照明源が複数たるＮ個の照明角度（（θｘｉ，ｊ，θｙｉ，ｊ），ｉ＝１からＮ）から照明を提供するまで続行することができる。１以上の同心円等の発光素子の２次元アレイが極座標的なアレイとされる別の例では、照射命令は、まず最小半径にある発光素子の照射を（例えば、時計回り、反時計回り、又はランダムな順序で）指示し、そしてより大きな半径にある発光素子を照射させ、以後同様にして、可変コヒーレント照明源の全部が複数たるＮ個の照明角度（（θｘｉ，ｊ，θｙｉ，ｊ），ｉ＝１からＮ）から照明を提供するまで続行することができる。別の例では、発光素子の２次元アレイが矩形又は極座標的である場合、サンプルに最も近い発光素子を決定することができる。照射命令は、サンプルに最も近い発光素子の照射を指示し、そしてサンプルに次に近い発光素子を照射させ、そしてそのさらに次順位に近い発光素子を照射させ、以後同様にして、複数たるＮ個の照明角度からＮ個の発光素子が照射されるまで続行することができる。別の例では、発光素子をランダムな順序で照射することができる。別の例では、シーケンシャルなカラム毎の順序に従うことができるのであり、例えば（Ｘ１，Ｙ１），（Ｘ１，Ｙ２），（Ｘ１，Ｙ３），．．（Ｘ１，Ｙｎ），（Ｘ２，Ｙ１），（Ｘ１，Ｙ２），（Ｘ１，Ｙ３），．．（Ｘ２，Ｙｎ），．．（Ｘｍ，Ｙｎ）とする。代替的には、行毎の順序に従うことができる。
【００８７】
・ＥＰＲＹプロセスの例の詳細
コヒーレント画像取得プロセスにおいては、試料はＮ通りの変化させた角度（θｘｉ，ｊ，θｙｉ，ｊ）からの斜行平面波によって照射されるのであり、Ｎ個のコヒーレント原画像のシーケンスがキャプチャされる。このコヒーレント画像取得プロセスは、一般的には複素乗算として表すことができる：ｅ（ｒ）＝ｓ（ｒ）ｅｘｐ（ｉＵＭ・ｒ）；ここで、ｓ（ｒ）は波動ベクトルを有する斜行平面波で照らされた薄いサンプルからの出射波であり、ｒ＝（ｘ，ｙ）は空間ドメイン内での座標であり、ｕ＝（ｋｘ，ｋｙ）は空間周波数ドメイン（フーリエドメイン）内での座標である。放射検出器へと伝播する光波は、出射波とＦＰ撮像システムの空間的に不変なＰＳＦたるｐ（ｒ）との畳み込みであり、強度は次のように記録される：
2018509622.tif 000011
。フーリエドメイン内では、次のように表される：
【数７】
2018509622.tif 000012
（式７）
ここで、
Ｓ（ｕ）＝Ｆ｛ｓ（ｒ）｝はサンプルのフーリエスペクトルであり、
Ｐ（ｕ）＝Ｆ｛ｐ（ｒ）｝は撮像システムの瞳孔関数である。
【００８８】
幾つかの場合では、画像再構築プロセスは、測定されたＮ個の強度画像の全てについて式７を満たすＳ（ｕ）及びＰ（ｕ）を回復する。ここで、Ｐ（ｕ）は瞳孔関数分布を表し、Ｓ（ｕ）はサンプル フーリエ スペクトル分布（ここよりも前のセクションでは
2018509622.tif 000013
ともいう。）を表し、ｓ（ｒ）はサンプル空間分布を表し、Ｎはキャプチャされた画像の個数を表し、Ｂは実行されたアウターループの個数を表し、ａはインナーループ指数変数を表し、ｂはアウターループ指数変数を表す。
【００８９】
図４は、実施形態による例示的なＥＰＲＹプロセスのオペレーションを示している。オペレーション４１０では、サンプルスペクトル及び瞳孔関数がそれぞれＳ０（ｕ）及びＰ０（ｕ）として初期化される。また、アウターループ指数変数ｂは１とされ（第１回目の反復）、インナーループ指数変数ａは０とされる。アウターループ指数変数ｂは再構築プロセスの反復回数に関して加算される指数であり、インナーループ指数変数ａは入射角をインクリメントする指数である。インナーループのサイクルにおいては、Ｎ個のキャプチャされた画像がシーケンス（ＩＵａ（ｒ），ａ＝０からＮ−１）でアドレスされるのであって、ここで、Ｎはキャプチャされた画像の個数であり、それぞれが瞳孔関数及びサンプルスペクトルについて順次考慮されるのでありループ毎に更新される。
【００９０】
１つの実施形態では、まず空間ドメインでサンプル画像を初期化して、そしてフーリエ変換を適用してフーリエドメイン内の初期化されたサンプルスペクトルを得ることによって、初期サンプルスペクトルＳ０（ｕ）を決定することができる。一部の場合においては、初期推測は、（強度及び位相の両方に関して）ランダムな複素行列として決定することができる。他の場合においては、初期推測は、低解像度強度測定値についてランダム位相をもって補間したものとして決定することができる。Ｓ０（ｕ）についての初期推測の例としては、キャプチャされた強度画像の１つについて補間を行うことができる。初期推測の別の例としては、定数値がある。初期推測のフーリエ変換は、フーリエドメイン内の広域スペクトルとすることができる。
【００９１】
一部の実施形態では、初期瞳孔関数推測Ｐ０（ｕ）は円形ローパスフィルタとすることができ、ここで、全ての１はパスバンド内であり、ゼロはパスバンド外であり、零位相は均一である。１つの例では、パスバンドの半径はＮＡ×２π／λであり、ＮＡはフィルタリング光学素子（例えば、対物レンズ）の開口数であり、λは照明光の波長である。初期瞳孔関数推測の例としては、システムには収差がなく、位相＝０であると仮定する場合が考えられる。
【００９２】
オペレーション４１２では、ｂ＝１であるか、即ちアウターループの第１回目の反復回であるか、を決定する。第１回目の反復回ではないと決定された場合、オペレーション４１４において、フーリエドメイン内で初期瞳孔関数及びサンプルスペクトルが、インナーループの最後のサイクルにて決定されたデータによって設定される：Ｓ０（ｕ）＝ＳＭ−１（ｕ）及びＰ０（ｕ）＝ＰＭ−１（ｕ）。第１回目の反復回であると決定された場合、ＥＰＲＹプロセスはオペレーション４１６へと進む。
【００９３】
インナーループの第ａ番目サイクルにおいて、インナーループの以前のサイクルからの再構築されたＳａ（ｕ）及びＰａ（ｕ）について知っている場合、波動ベクトルＵｎによってサンプルが照射されている際の瞳孔平面における出射波動は、φａ（ｕ）＝Ｐａ（ｕ）Ｓａ（ｕ−Ｕｎ）をもって再現されることができるのであり、ここで、Ｓａ（ｕ）及びＰａ（ｕ）は以前のサイクルからのものである。オペレーション４１６では、プロセッサがサンプルスペクトルを照明角度に従ってシフトし、また、φａ（ｕ）＝Ｐａ（ｕ）Ｓａ（ｕ−Ｕｎ）に従って瞳孔関数をもって乗算する。瞳孔関数は、振幅及び位相に関する係数を両方備える。瞳孔関数の位相係数は、一般的には、デフォーカス又は光学系と関連付けられた他の収差と関連付けられている。瞳孔関数の振幅は、通常、光学系の対物レンズの絞り形状と関連付けられている。フーリエドメイン内でサンプルスペクトルを瞳孔関数で乗算することによって、プロセッサは、瞳孔関数の絶対値（算出された振幅成分）で乗算することによって解像度を向上させた解をフィルタリングするのであり、また瞳孔関数の位相係数によっても乗算する。サンプルスペクトルを絶対値で乗算することによって、解像度を向上させた画像がフーリエドメイン内でフィルタリングされるのであり、これは波動ベクトルＵａ＝（ｋｘ，ｋｙ）を有する特定の平面波入射角（θｘａ，θｙａ）についてなされる。第ａ番目の照明入射角に基づいた照明Ｕａを用いてキャプチャされた画像は、このセクションでは、ＩＵａ（ｒ）と呼ぶ。サンプルスペクトルを絶対値で乗算することによって、プロセッサは、フーリエドメイン内で領域をサンプルスペクトルＳ（ｕ）からフィルタリングする。対物レンズの形式のフィルタリング光学素子が関与する場合においては、この領域は円形瞳孔アパチュアとなり、半径はＮＡ＊ｋ０であり、ｋ０は２π／λ（真空中の波数）に等しいのであり、対物レンズのコヒーレント伝達関数によって与えられる。フーリエ空間における円形領域の中心は、インナーループの当該第ａ番目のサイクルに関連付けられた照明入射角に対応する。波動ベクトルＵａ＝（ｋｘ，ｋｙ）を有する斜行平面波の入射に関しては、領域はフーリエドメイン内の位置（ｋｘ，ｋｙ）にてセンタリングされている。
【００９４】
オペレーション４１８では、プロセッサが次のようにして逆フーリエ変換をなす：φａ（ｒ）＝Ｆ−１｛φａ（ｕ）｝。オペレーション４２０では、プロセッサが強度制約を強制する。このオペレーション４２０では、フーリエ空間内で再現された領域の絶対値（演算された振幅成分）が、照明波動ベクトルＵａと関連付けられた放射検出器によってキャプチャされた低解像度強度測定値ＩＵａ（ｒ）によって代替される。演算された振幅成分は、真の強度測定値ＩＵａ（ｒ）の平方根で代替されるのであり、次式に従う：
【数８】
2018509622.tif 000014
これによって、更新されたより低い解像度の画像が形成される。
【００９５】
オペレーション４２２では、更新されたより低い解像度の画像に対してフーリエ変換が適用される。このオペレーションでは、次式によるフーリエ変換を介して更新された出射波動が算出される：
【数９】
2018509622.tif 000015
【００９６】
オペレーション３０７０では、プロセッサは解像度を向上させた解のフーリエスペクトル推測をリフレッシュするのであり、このために出射波データが更新され、また、フーリエドメインの対応する領域内のデータが入射波動ベクトルＵｎ＝（ｋｘ，ｋｙ）と関連付けられた更新された出射波データとして置換される。プロセッサは、サンプルスペクトル更新関数を用いて、出射波データを更新する。サンプルスペクトル更新関数の例は次式によって与えられる：
【数１０】
2018509622.tif 000016
（式６）
このようなスペクトル更新関数を用いることによって、２つの出射波の差分からサンプルスペクトルの更新された値を抽出することができるのであり、このために現在瞳孔関数を除算して外す。式６及び式７を用いて共役で乗算することによって、サンプルスペクトルを瞳孔関数から分離することができ、これによってサンプルスペクトルを瞳孔関数とは別個にリフレッシュすることができる。一部の場合においては、サンプルスペクトル推測に修正値を加算するのであり、重み付けは現在瞳孔関数推定の強度に比例する。定数αが更新のステップサイズを調節する。１つの例では、α＝１である。インナーループのサイクル中においては、フーリエドメイン内の重複する領域としてデータが更新される。
【００９７】
オペレーション４２４と平行して、オペレーション４２６では、プロセッサがフーリエドメイン内の瞳孔関数推測をＰａ＋１（ｕ）としてリフレッシュする。ここで用いることのできる瞳孔更新関数の例は次式によって表される：
【数１１】
2018509622.tif 000017
（式７）
定数βは瞳孔関数更新のステップサイズを調節するのであり、本稿ではβ＝１が使用される。この瞳孔更新関数を用いて、現在サンプルスペクトル推定を除算して外すことによって２つの出射波の間の差分として瞳孔関数の補正値を抽出するのであり、また、これを現在瞳孔関数推定に加算するのであり、重み付けは現在サンプルスペクトル推定の強度に比例する。式７を用いて共役で乗算することによって、瞳孔関数をサンプルスペクトルから分離することができ、また、別個にリフレッシュすることができる。
【００９８】
オペレーション４２８では、プロセッサは、更新された瞳孔関数に対して瞳孔関数制約を強制する。瞳孔関数制約を強制することによって、ノイズが抑制され得る。顕微鏡システムの例においては、物理的な円形アパチュアストップを設定してＮＡを定義することができ、従ってストップに対応する瞳孔関数内のエリアは常に零であるべきである。ストップに対応する領域内の更新された瞳孔関数内の零ではないポイントは、画像取得の際のノイズに起因しており、零に設定することによってノイズを除去する。
【００９９】
方法のインナーループは、シーケンスたるＩＵａ（ｒ）内のＮ個のキャプチャされた画像全てが、瞳孔及びサンプルスペクトルの更新のために使用されるまでサイクルされ続けるのであり、これが起きるとアウターループの反復が完了することになる。サイクルはａ＝０からＮ−１まで行われる。オペレーション４３０では、プロセッサがａ＝Ｎ−１であるかを決定する。プロセッサがａはＮ−１に等しくないと決定した場合、キャプチャされたＮ個の画像全てが使い切られていないことになる。この場合、ループ指数ａはオペレーション４３２で加算されるのであり、別の入射角と関連付けられたキャプチャされた画像に基づいて、方法はオペレーション４１６へと戻る。
【０１００】
プロセッサがａはＮ−１に等しいと決定した場合、方法はオペレーション４３４へと進む。プロセッサがａはＮ−１に等しくないと決定した場合、方法はオペレーション４３２へと進む。オペレーション４３２では、アウターループ指数がａ＝ａ＋１として加算されて次の入射角へと進む。そして、方法は戻ってオペレーション４１６で新たなサイクルを開始する。
【０１０１】
オペレーション４３４では、プロセッサがｂ＝Ｂであるか否かを決定する。プロセッサがｂはＢに等しくないと決定した場合、オペレーション４３６にてループ指数ｂはｂ＝ｂ＋１として加算されるのであって、ループ指数ａは０にリセットされる。そして、方法は戻ってオペレーション３０１０で新たな反復を開始する。
【０１０２】
プロセッサがｂはＢに等しいと決定した場合、反復は終わるのであり、方法はオペレーション４３８へと進む。オペレーション４３８では、サンプルスペクトルに対して逆フーリエ変換を施して空間ドメインに戻して試料についての解像度を向上させた画像のための画像データを生成する。試料についての解像度を向上させた画像及び瞳孔関数のための画像データの両方が、ＥＰＲＹプロセスから出力される。オペレーションの終了時（即ち、ｂ＝Ｂ）に残されている瞳孔関数が、再構築された瞳孔関数とされる出力である。
【０１０３】
オペレーション３５０では、光学的伝達関数（ＯＴＦ）とも呼ばれるインコヒーレント伝達関数が、オペレーション３４０からの推定された瞳孔関数に基づいて決定される。ＯＴＦを得るために、推定された瞳孔関数は、周波数ドメイン内において自己との畳み込みによって処理されるか、又は、空間ドメイン内において絶対値の２乗化によって処理される。
【０１０４】
オペレーション３３０では、例えば励起光で試料内の蛍光色素分子を照射することによってインコヒーレント画像を得る。特定の実施形態では、オペレーション３２０で取得された一連のコヒーレント画像のコヒーレント画像がタイルされるのと同様な態様でインコヒーレント画像がタイルされる。オペレーション３６０では、各タイルは、対応するＯＴＦをもって周波数ドメイン内でデコンボリューションプロセス（例えば、ウィーナーフィルタ）によってデコンボルブされて収差が除去される。図５は、実施形態に関するものであり、ＯＴＦを収差が乗っているインコヒーレント画像からデコンボルブするオペレーション３６０を概略的に表す等式として示された画像セットを、含む。この例示においては、収差が乗っている画像（左の画像）及び点広がり関数（中央の画像）に対してフーリエ変換を施すのであり、実効的にはデコンボリューションプロセスを通じて「除算」（「÷」として表記。）されて収差補正画像（右側）がもたらされる。
【０１０５】
一部の実施形態では、合計ＦＰ原画像取得時間（即ち、Ｎ個の角度についての画像データを得るのに要する時間）を削減するために多重化アプローチを用いることができる。１つの多重化実施形態では、各原画像のキャプチャに際して、同時刻に複数の別個のコヒーレント光源を固有のパターンで点灯することができる。多重化プロセスを用いることによって、各照明角度に関連付けられている強度データを、キャプチャされた原画像から分離することができる。このようにして、Ｎ回よりも少ないスキャンで済む。多重化プロセスの例は特許文献４（発明の名称：多重化されたフーリエタイコグラフィ撮像システム及び方法、出願日：２０１５年１２月４日）に記載されており、その全体が参照によって取り込まれる。
【０１０６】
ＩＶ．  ＡＣＩＳシステムについてのデモ
特定の側面によれば、図２に示したＡＣＩＳ撮像システム２００の光学系は変更された４ｆセットアップを有しており、サンプル２０１は集光光学系２３０の前焦点面に位置しており、絞り２４０は集光光学系２３０の後焦点面に位置しており、イメージセンサ２７０はサンプル平面に配置されている。１つの実施形態では、光学系は、ｆ＝２００ｍｍのチューブレンズの形式の集束光学系２６０（例えば、Thorlabs（登録商標）のITL200チューブレンズ）並びにｆ＝５０ｍｍのニコンレンズ（例えば、f/1.8D AF Nikkor）の形式の集光光学系２３０を有する。この光学系は、ＮＡｃｏｌｌｅｃｔｉｏｎ＝０．０８５であり、倍率はＭ＝３．８７である。この実施形態では、ＡＣＩＳ撮像システム２００はイメージセンサ２７０をも有しており、これはＣＣＤ検出器（例えば、画素サイズが５．５μｍであるProsilica GX6600なるＣＣＤ検出器）の形式とされており、これは６．２ｍｍ×９．３ｍｍのＦＯＶ領域の各原画像をサンプル平面にてキャプチャするように構成されており、これはイメージセンサ２７０の大きさによって定義される。この実施形態では、ＡＣＩＳ撮像システム２００は、サンプル２０１の後方約８０ｍｍに配置されたＬＥＤアレイ２１０をも有している。この実施形態では、ＬＥＤアレイ２１０は３２×３２個の個別的に番地指定可能な要素を備えており、明視野画像取得プロセスに際しては１５×１５のセグメントだけを使用して２２５個の画像をキャプチャする。個別的に番地指定可能なＬＥＤ間のピッチは４ｍｍである。ＬＥＤによってもたらされるＮＡの増大はＮＡｉｌｌｕｍ＝０．３３である。全体的なシステムＮＡはＮＡｓｙｓ＝ＮＡｃｏｌｌｅｃｔｉｏｎ＋ＮＡｉｌｌｕｍ＝０．０８５＋０．３３＝０．４１５であり、単一の平面波照明を有する４ｆセットアップに比べて係数として４．９の解像度上昇である。この実施形態では、ＡＣＩＳ撮像システム２００は、ＬＥＤを備える励起光源２２０と絞り２４０の後方の光路にある適切な放射フィルタ２５０とを有している。一連のＦＰ明視野原画像及び蛍光画像は、個別的に異なる取得時刻においてキャプチャされる。この例では、蛍光画像の取得時及び蛍光放射と同じカラーチャンネルに属する任意のＦＰ明視野原画像の取得時のみにおいて、放射フィルタ２５０が登場しているのであり、これによって同じスペクトル範囲が撮像されることが保証される。
【０１０７】
特定の実施形態では、ＡＣＩＳ撮像システム２００の光学系は、カメラレンズである集光光学系を含む（例えば、ｆ＝５０ｍｍのニコンレンズ（例えば、f/1.8D AF Nikkor））。これらの実施形態では、ＡＣＩＳシステムのユーザは、カメラレンズを調整してＮＡを制御することができるのであり、即ちユーザ制御可能なＮＡを実現する。
【０１０８】
変更された４ｆセットアップを有する上述したＡＣＩＳ撮像システム２００の実施形態は、図３にて説明されたＡＣＩＳ撮像方法を行うために利用されたのであり、撮像されたのは、Fisher Scientific社等から入手可能な１０μｍの緑色蛍光性マイクロ球体及び１５μｍの非蛍光性マイクロ球体の両方を含むサンプルスライドである。コヒーレント画像取得プロセスにおいては、ＡＣＩＳ撮像システム２００は、可変ＬＥＤ照明下で、約３秒より少ない平均露光時間の下、２２５個のフルＦＯＶ低解像度画像を取得した。
【０１０９】
図６Ａは、実施形態による、ＡＣＩＳ撮像方法の実行中の実験結果のフローについての概略を表す図である。この実施形態では、ＬＥＤアレイの緑色ＬＥＤのみが照射された。図６Ａに示されているタイル画像は、画像ＦＯＶの中心から３．８ｍｍ離れたところに位置する３６０μｍ×３６０μｍの領域に対応する。ＬＥＤアレイからの可変角度の緑色照明下でキャプチャされた２２５個の低解像度コヒーレント緑色画像のセットは、上部のボックス内の表示によって表されている。図中の上から２段目のボックスにあるように、ＡＣＩＳ撮像方法を実行して、ＥＰＲＹプロセスを５０回反復して適用して（各タイルについて５秒）、サンプルの強度及び位相を再構築して、サンプルについての高解像度な複素画像を生成して、撮像システムの瞳孔関数の特徴付けを行った。決定された瞳孔関数はこの特定の他画像タイルのみについて有効であり、また、解像度向上及び収差除去故に再構築された複素画像は原画像に比べて遙かに鮮明である。図中の下から２段目のボックスにあるように、ＡＣＩＳ方法を実行して、ブルー色の励起ＬＥＤ（４７０ｎｍ、Thorlabs社）で２分間の露光時間にわたってサンプルを照射して緑色蛍光画像をキャプチャする。ＦＰＭ画像及び蛍光画像のいずれもが、絞りの後方に配された緑色バンドパスフィルタ（５３０ｎｍ、パスバンドは４３ｎｍ）を用いてキャプチャされる。キャプチャされた原蛍光画像は著しくボケている。なぜならば、該画像は撮像システムのＦＯＶの縁部周辺でキャプチャされているからである。また、ＡＣＩＳ方法を行って、ＥＰＲＹプロセスによって決定された瞳孔関数Ｐｍ（ｆｘ，ｆｙ）は、式１に従って、蛍光画像のボケｈｍ（ｘ，ｙ）を特徴付けるインコヒーレントＰＳＦへと変換される。また、ＡＣＩＳ方法を行って、式６を用いてＰＳＦによって誘発されたボケを蛍光画像からデコンボルブするのであり、これによって図中の再下段のボックス内の鮮明な画像が作成される。このデコンボリューションオペレーションは、１タイルあたり１秒未満を要した。デコンボリューションによって、レンズによって誘発される収差の悪影響の多くを除去することができる。例えば、原画像内においては分解するのが困難な４つの蛍光ビーズは、デコンボリューション後においては明確に区別できるようになっている。
【０１１０】
図６Ｂは、ある態様に関する、強度 対 位置のプロットである。プロットはｒａｗデータ及びデコンボルブドデータの両方についてであり、２つの隣接するビーズ間の１次元的プロファイルに関する。デコンボリューションが画像コントラストを向上させるということのみならず、デコンボリューションによって各ビーズの図心をより高い精度をもって位置決めできるということが、このプロットによって強調される。具体的には、低い方のピークと各ピーク間の谷との間の比は、原画像については０．９４６であるのに対して、デコンボルブされた結果については０．５２６である。原画像によれば、ビーズ間の離隔距離は８．５μｍであり、これはビーズの直径である１０μｍの１５％引きの値である。デコンボルブされた画像によれば、離隔は９．９μｍであり、これはビーズの製造仕様にて示された５％の許容値内にある。システムの収差によって起こされた側方偏位は、図示されているピーク間の谷のシフトによって表されているように、デコンボリューション結果にて補正されている。このことは、高解像度ＦＰＭ画像と蛍光サンプル画像との間での正しい空間的対応を識別するために重要たり得る。実施形態によれば、図６Ｃは２つの画像を含み、左方の画像は高解像度明視野画像とコンボリューション前の原蛍光画像との重畳画像であり、右方の画像は高解像度明視野画像とデコンボリューション後の収差補正蛍光画像との重畳画像である。
【０１１１】
・ＨｅＬａ細胞の撮像
変更された４ｆセットアップを有する上述したＡＣＩＳ撮像システム２００を用いてＡＣＩＳ撮像方法を行ってＨｅＬａ細胞を撮像したのであり、該ＨｅＬａ細胞に対しては、Fisher Scientific社のPROTOCOL Hema 3のWrigth氏ステインでステイニングしてあり、また、Life Technologies社のDAPIで蛍光タギングしてある。サンプルは、固定及び染色された９０％融合性のＨｅＬａ細胞を有する顕微鏡スライドである。まず、ＦＰＭ再構築のためにサンプルを撮像するのであり、ＬＥＤアレイ内の２２５個のＬＥＤの赤色、緑色、ブルー色のチャンネルで逐次的に照射を行う。バンドパスフィルタ（４６０ｎｍ、バンドは８０ｎｍ）を系に挿入して、ＤＡＰＩの蛍光放射と同じスペクトル範囲内のブルー色照明画像をキャプチャする。ＡＣＩＳ撮像方法を行ってブルー蛍光画像をキャプチャするのであり、このためにＤＡＰＩの励起波長に合ったＵＶ ＬＥＤ（３６５ｎｍ、Thorlabs社）でサンプルを照射する。サンプルは、２１分間露光される。ＥＰＲＹ方法を異なる画像タイルについて反復することによって高解像度ＦＰＭ画像を空間的に変化する瞳孔関数と共に再構築する。蛍光画像の各タイルをデコンボルブするために式６を適用するのであり、このためにもＡＣＩＳ方法を行う。
【０１１２】
変更された４ｆセットアップを有する上述したＡＣＩＳ撮像システム２００の実施形態は、ＡＣＩＳ撮像方法を行うために利用されたのであり、光学系のＦＯＶ内の異なる２つの位置へとシフトされた同じサンプルリージョンオブインタレスト（ＲＯＩ、region of interest）の２つの蛍光画像をキャプチャした。実施形態によれば、図７Ａは、光軸から４．６３ｍｍズレるようにシフトされた具体的なサンプルＲＯＩの原画像及び回復されたＰＳＦ即ちｈｍ（ｘ，ｙ）を含んでいる。図７Ａでは、ＥＰＲＹ方法から回復されたＰＦＴは画像からデコンボルブされて収差が除去される。実施形態によれば、図７Ｂがデコンボリューションの結果画像である。図７Ｃは、同じサンプルＲＯＩを光軸にセンタリングしてキャプチャした原画像を示す。図７Ｃに示されている画像は、画像ＦＯＶの中心に配置された（即ち、光軸上の）ＲＯＩでキャプチャされている。この領域内では、撮像システムの収差の影響は最小限となっている。図７Ａの画像は、中心から側方方向へ４．６３ｍｍサンプルを移動させた場合のＲＯＩと同じＲＯＩによっている。ＤＡＰＩ染色された核のぼやけた輪郭が示しているように、レンズ収差は光軸から外れた位置の画質に対してより著しい影響を及ぼすことが明白である。また、小さいサブ画像は、ＦＰＭ画像キャプチャ及び同一の画像タイルについてのポストプロセッシングによって見出されたインコヒーレントＰＳＦを用いてなされたデコンボリューションの結果を、表している。デコンボリューションによって、核のコントラストが増大し、並びに、核の形状及びそれらの間の離隔ギャップ等の左図たる原蛍光画像内にて視認不可な要素が強調される。図７Ｂのデコンボリューション結果の精度を確認するために、これを、図７Ｃ内に示された同じＲＯＩの収差の掛かり具合が最小限となっている画像と比較する。図７Ｂ及び図７Ｃの画像を比較するに際しては次の事項が見出される：デコンボルブされた画像要素間には緊密な一致関係があり、明らかなアーチファクトは少ない。図７Ａのｒａｗでありボケた画像内において白いドット又は黒いドットとして視認される「ホット」なピクセルは、デコンボリューション後にそれぞれの周辺にリング状のアーチファクトを誘発するものの、これらの存在がデコンボリューション画像の画質を劇的に劣化させるわけではない。
【０１１３】
図８は、実施形態による、変更された４ｆセットアップを有するＡＣＩＳ撮像システム２００を用いて行われたＡＣＩＳ方法の結果として得られる高解像度ＦＰＭ画像及び収差補正蛍光画像を示しており、これらの画像は、大きな画像ＦＯＶの異なる領域にある完全画像ＦＯＶの随所に関するものである。画像７８０は、完全ＦＯＶ蛍光画像内のズームインされた領域たるａ，ｂ，ｃを示している。
【０１１４】
図８は、画像７８０内でラベル付けされている大きな画像ＦＯＶの領域「ａ」における画像７０２，７０４，７０６，７０８，７１０を含む。図８はまた、画像７８０内でラベル付けされている大きな画像ＦＯＶの領域「ｂ」における画像７１２，７１４，７１６，７１８，７２０を含む。図８はまた、画像７８０内でラベル付けされている大きな画像ＦＯＶの領域「ｃ」における画像７２２，７２４，７２６，７２８，７３０を含む。ＦＯＶの縁部付近にてキャプチャされている故に、低解像度カラー画像７０２，７１２，７２２は深刻な収差を有している。ＡＣＩＳ方法を用いて高解像度であり収差が補正されたフルカラーなＦＰＭ画像７０４，７１４，７２４を再構築したのであり、これによって次のような鮮明な画像特徴を明瞭にした：ＨｅＬａ細胞の細胞核内にある核小体や、再構築された位相を介しての細胞形態学的観点や、異なる細胞間の境界等。完全ＦＯＶ画像７８０を生成できるようにするために、ＡＣＩＳ方法では、ＥＰＲＹ方法及びデコンボリューション方法を、個々のタイルに個別的に適用した。１つの例では、タイルあたり５秒として、約２２００タイルをＥＰＲＹ方法にて用いた。図８は、原蛍光画像７０６，７１６，７２６及びＡＣＩＳ方法のデコンボリューションオペレーションによって結果的にもたらされた収差補正蛍光画像７０８，７１８，７２８を含む。特定の実施形態では、重ね合わせ７１０，７２０，７３０に示されているように、ＥＰＲＹ方法からの位相勾配データを収差補正蛍光画像と共に重ね合わせることができる。また、領域「ａ」、「ｂ」、「ｖ」における瞳孔関数７４０，７５０，７６０も示されている。重ね合わせ７１０，７２０，７３０内の位相勾配データは細胞の構造情報を説明するのに役立ち、ＨｅＬａ細胞の蛍光している領域はまさしく細胞核であることが示される。また、細胞の有糸分裂に関して、終期にある細胞（画像７３０内の矢印によって示されているもの）と、細胞質分裂段階にある細胞（画像７２０内の矢印によって示されているもの）とを区別することも可能であり、位相勾配画像内の細胞膜形態を検討することによってこれをなす。ＦＰＭ及び蛍光撮像における収差は同じ瞳孔関数から導出された関数によって補正されるため、それぞれの撮像モダリティ間において画像は正確な空間的対応（即ち、アラインメント）を示す。
【０１１５】
特定の実施形態において、デコンボリューション方法から得られる結果の質は、特定の最低値よりも大きな露光時間を用いて原蛍光画像をキャプチャすることによって向上させることができる。露光時間が減少されると、信号対ノイズ比（ＳＮＲ）が悪化し、デコンボリューション方法の有効性が損なわれ得る。信号対ノイズ比が特定の要件を超えるように、露光時間を調整する。最適なデコンボリューションのために要する信号対ノイズ比は、使用されるデコンボリューションアルゴリズムに応じて変わる。１つの実施形態では、ＡＣＩＳ方法はＳＮＲが１８以上であることを要する。このようなＳＮＲの場合、一部の蛍光色素分子に関しては、必要とされる露光時間は２１分間である。１つの実施形態では、ＡＣＩＳ方法は、最低値たる１分間よりも大きい露光時間を用いて原蛍光画像をキャプチャする。１つの実施形態では、ＡＣＩＳ方法は、最低値たる２秒間よりも大きい露光時間を用いて原蛍光画像をキャプチャする。１つの実施形態では、ＡＣＩＳ方法は、最低値たる１００ｍｓよりも大きい露光時間を用いて原蛍光画像をキャプチャする。必要とされる最低露光時間は、ＮＡ、蛍光色素分子の強度、検出器のピクセルサイズ及び効率、並びに倍率に依存する。
【０１１６】
特定の実施形態によれば、ＡＣＩＳ方法を行うＡＣＩＳシステムは、高解像度ＦＰ画像との関係で正しい空間的対応を有する広視野収差補正蛍光画像を生成することができる。一般的に、ＡＣＩＳ方法では、ＥＰＲＹ方法からの空間的に変化する瞳孔関数を活用して、原蛍光画像内の収差を補正する。特定の実施形態では、結果として得られるカラー強度画像、位相画像、及び蛍光画像を組み合わせて、サンプルの形態・化学的性質・機能についての多層化された情報を提供することができる。広視野ＦＯＶ蛍光画像及び高解像度明視野画像は、様々な生物学的撮像分析に関して有益となり得るのであり、例えば、細胞系統追跡やバクテリア計数や細胞移動等に関して有益となり得る。
【０１１７】
１つの実施形態では、ＡＣＩＳシステムは高ＮＡ対物レンズを備えており、ＬＥＤアレイからサンプルへの距離は非特許文献２０にて説明されているようにより鋭角な照明角度を可能とするように調整されているのであり、該文献の全体は参照によって取り込まれる。
【０１１８】
特定の実施形態では、ＡＣＩＳ方法は、従来的なデコンボリューション方法との比較で１以上の技術的優位性を有している。例えば、ＡＣＩＳ方法ではＥＰＲＹ方法によって取得されたＰＳＦによるデコンボリューションが用いられるのであり、それによって高解像度コヒーレント画像が生成され、それによってＡＣＩＳ方法は蛍光画像と高解像度コヒーレント画像との適切な重ね合わせを可能とする。この適切な重ね合わせは、２つの画像を重畳する際に重要たり得るのであり、特に瞳孔関数がＦＯＶの異なる領域内において大きな非対称収差を有している場合に尚更である。非対称収差は、画像内において目立った側方への偏位をもたらし得る。提示されたデコンボリューション方法はＥＰＲＹから取得された瞳孔関数から直接的に決定されたインコヒーレントＰＳＦを用いるが故に、蛍光画像及び高解像度コヒーレント画像の両方について、同じ量の側方への偏位を伴う収差に関して補正することができる。ＦＰ手法によって特徴付けられる瞳孔関数を用いない他のデコンボリューション方法は、適切な側方への偏位を伴った補正画像を生成することができない。なぜならば、これらの方法は画像の絶対的位置を考慮しないのであり、つまりデコンボリューションされた画像が無作為な側方偏位量を解として有し得ることになるからである。画像の絶対的位置を考慮しないブラインド画像型デコンボリューション方法の例は、非特許文献２１に示されている。ＦＰＭ及び蛍光画像の側方への偏位が同じでないことによって、直接画像を重畳してもそれらの間で正しい空間的対応関係がもたらされることにはならない。非ブラインド型デコンボリューション方法の幾つかの例は、非特許文献２２及び２３に示されており、これらはこれらの方法に関して参照によって取り込まれる。ブラインド型デコンボリューションでは、再構築されるべき画像についてのポジティビティや有限サポート制約等の物理的特性についての部分的な知識を伴った上で、収差が乗った画像のＰＳＦを探そうとする（D. Kundur et. alを参照。）。アルゴリズムは再構築された画像内における側方への偏位には影響されない（即ち、再構築された画像は無作為な値の分だけｘ−ｙにおいてシフトされているにもかかわらず、ブラインド型デコンボリューション問題の最適解であり続け得る）。蛍光画像及び明視野画像の重ね合わせが望まれている場合においてこれは望ましくない。なぜならば、デコンボリューション済み蛍光画像が明視野画像との関係で任意の側方への偏位を有し得るのであり、何らかのコロカリゼーションアルゴリズムを用いて修正することが必要となるからである。他方でＡＣＩＳ方法では、このコロカリゼーション問題は悪影響を及ぼさない。なぜならば、収差及び側方への偏位についての情報を含む同じ瞳孔関数が、明視野画像及び蛍光画像の両者の改良のために使用されるからである。両画像が同じ側方への偏位を受けているため、更なる処理を要せずにこれらは共局在化される。
【０１１９】
特定の実施形態では、ＡＣＩＳ方法はＥＰＲＹプロセス及びインコヒーレントデコンボリューションプロセスを用いるのであり、これによって従来的手法に比して１以上の利点がもたらされる。ＡＣＩＳ方法は明視野及び蛍光画像の画像フィーチャ間のコロカリゼーションを自動的に達成するのであり、これを達成するために、蛍光画像内での収差補正及び明視野画像内での解像度向上の両面に関して同じ瞳孔関数を用いる。
【０１２０】
当業者であれば本願明細書にて説明した実施形態に対して様々な変更を容易に想起できるのであり、本願にて定義した汎用的原理は本願開示の核心又は範疇から逸脱せずに他の実施形態にも適用されることができる。したがって、特許請求の範囲は上述した実施形態に限定はされることは意図されておらず、むしろ本願開示・開示された諸原理・開示された新規な特徴に合致する最も広範な範囲で解されるべきである。
【０１２１】
また、別個の実施形態の文脈で本願にて説明された特定の特徴は、組み合わせて又は単独の実施形態にて実施されることができる。反対に、単独の実施形態の文脈にて説明された様々な特徴は、複数の実施形態にて個別的に又は任意の適切なサブコンビネーションとして実施されることもできる。さらに、上述の特徴は特定のコンビネーション内にて作用しているものとして説明されたりそのようなものとして権利付与請求されていたりするかもしれないが、一部の場合においては、コンビネーションから権利付与請求されたコンビネーションの１以上の特徴を取り除くこともでき、また、権利付与請求されたコンビネーションについてそのサブコンビネーション又はサブコンビネーションのバリエーションを権利付与請求の対象とすることができる。
【０１２２】
同様に、様々なオペレーション（本願にては、「ブロック」ともいう。）を図中に特定の順序で示しているが、このことから、望ましい結果を得るためにはそのようなオペレーションを図示の順序で行ったり、逐次的な順序で行ったり、図示されたオペレーションを全て行うことが要求されていると解されてはならない。さらに、図は、１以上の例示的プロセスをフロー図として概略的に描写し得る。もっとも、不図示の他のオペレーションは、概略的に示された例示的プロセス内に組み込まれていることができる。例えば、１以上の追加的なオペレーションを、図示の任意のオペレーションとの関係で事前に・事後に・同時に又は図示の任意のオペレーションの間に、行うことができる。さらに、上述の実施形態において様々なシステムコンポーネントが分離されているからといって、全ての実施形態においてそのような分離が必要とされていると解されてはならない。また、他の実施形態も添付の特許請求の範囲に含まれる。一部の場合においては、特許請求の範囲にて記載された行為は、異なる順序にて行われても望ましい結果が依然として達成され得る。
【０１２３】
上述した様々な機能・オペレーション・プロセス・モジュール・コンポーネントは、コンピュータソフトウェアをモジュール様式または統合様式で用いる制御ロジックの形式で実現することができるということを当業者は理解するであろう。本明細書にて提供する開示及び教示に基づいて、当業者は、ハードウェア及びハードウェアとソフトウェアとの組合せを用いて本発明を実現するための他のやり方及び／又は方法を知り、認識するに至るであろう。
【０１２４】
本願中に記載したあらゆるソフトウェアコンポーネント又は機能は、プロセッサによって、あらゆる適切なコンピュータ言語を用いて実行されるソフトウェアコードとして実現することができ、これらのコンピュータ言語は、例えば従来技術又はオブジェクト指向技術を用いる、例えばＪａｖａ（登録商標）、Ｃ＋＋、又はＰｅｒｌ（登録商標）である。これらのソフトウェアコードは、一連の命令又はコマンドとしてＣＲＭ上に記憶することができ、ＣＲＭは、例えばランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、ハードディスクドライブ又はフロッピー（登録商標）ディスクのような磁気媒体、あるいはＣＤ−ＲＯＭのような光媒体である。あらゆるこうしたＣＲＭが、単一のコンピュータ装置上又は装置内に存在することができ、また、システム又はネットワーク内の異なる計算装置上又は装置内に存在することができる。
【図１】
2018509622.tif 000018
【図２】
2018509622.tif 000019
【図３】
2018509622.tif 000020
【図４】
2018509622.tif 000021
【図５】
2018509622.tif 000022
【図６Ａ】
2018509622.tif 000023
【図６Ｂ】
2018509622.tif 000024
【図６Ｃ】
2018509622.tif 000025
【図７】
2018509622.tif 000026
【図８】
2018509622.tif 000027
【国際調査報告】
2018509622.tif 000028
2018509622.tif 000029