(57)【要約】本発明は、流体光学顕微鏡（ＯＦＭ）と、ホログラフィック撮像顕微鏡とを備えて、コンピュテーショナル・フォトグラフィーの原理を取り入れるオンチップ型レンズレス顕微鏡システム（１０）を示す。ＬＦ−ＯＦＭシステム（１０）は、開口（３８）を有する少なくとも１つのプラズモンレンズ（５０）と、少なくとも１つのマイクロ流体流路（２８）と、画像センサアレイ（２４）とを備える。システム（１０）は、コンピュテーショナル・フォトグラフィーにより画像を生成することが可能である。
2013545138.tif 000002
【特許請求の範囲】
【請求項１】
複数のプラズモンレンズと、
少なくとも１つのマイクロ流体流路と、
相補型金属酸化膜半導体画像センサアレイとを備え、
コンピュテーショナル・フォトグラフィーによる４Ｄライトフィールドを用いて、複数の三次元画像を生成することが可能であることを特徴とするオンチップ型ライトフィールド流体光学顕微鏡システム。
【請求項２】
少なくとも１つのプラズモンレンズと、
少なくとも１つのマイクロ流体装置と、
画像センサアレイとを備え、
コンピュテーショナル・フォトグラフィーにより画像を生成することが可能であることを特徴とするオンチップ型ライトフィールド流体光学顕微鏡システム。
【請求項３】
カメラを有する移動通信装置をさらに備え、前記移動通信装置が前記画像センサアレイに取り付けられて、前記移動通信装置のカメラが個人診断用に利用されることを特徴とする請求項２に記載のシステム。
【請求項４】
前記画像センサアレイは、相補型金属酸化膜半導体画像センサアレイであることを特徴とする請求項２に記載のシステム。
【請求項５】
前記画像は３Ｄ画像であることを特徴とする請求項２に記載のシステム。
【請求項６】
４Ｄライトフィールドを使用する方法であって、
光源からの光で照明される撮像センサにおける複数の開口からなる直線アレイを横切って、生物サンプルを移動させ、
前記生物サンプルが前記直線アレイを横切って移動する際に前記光源からの光の透過を遮断することにより、複数のライントレースを生成し、前記複数の開口の各開口に対応する時変透過が、前記生物サンプル上を通るライントレースを表し、
前記直線開口アレイから前記複数のライントレースを再構成することにより、前記複数の開口の各開口のサイズに匹敵する解像度にて前記生物サンプルの画像を再構成することを特徴とする方法。
【請求項７】
前記光源はＬＥＤアレイであることを特徴とする請求項６に記載の方法。
【請求項８】
前記直線開口アレイの真下の複数の画素から信号を読み取るように、画像センサをプログラミングすることを特徴とする請求項６に記載の方法。
【請求項９】
前記生物サンプルの前記画像の構成は、前記複数の開口からの前記複数のラインスキャンを重畳することにより行うことを特徴とする請求項６に記載の方法。
【請求項１０】
４Ｄライトフィールドを使用する方法であって、
流体光学顕微鏡で捕捉した４Ｄライトフィールドの記録及び制御を行い、
スナップショット後に視点と焦点を操作し、
ライトフィールドレンダリング処理を行って、複数の傾斜した正投射図と複数の斜視図とを生成し、
前記ライトフィールド画像にコンピュータビジョンアルゴリズムを適用することを特徴とする方法。
【請求項１１】
４Ｄライトフィールド画像を生成する方法であって、
複数のタイルを高いレートで読み取って、マイクロ流体流路を流れる生物サンプルの４Ｄライトフィールドを捕捉し、
前記複数のタイルの読み取り結果を重畳し、
前記生物サンプルの４Ｄライトフィールド画像を生成することを特徴とする方法。
【請求項１２】
複数のＬＥＤからなるアレイと、
厚さが２５０ｎｍから３５０ｎｍの範囲であって、複数の開口が貫通している金層と、
前記金層の上に成膜され、厚さが１５０ｎｍから２５０ｎｍの範囲であるＰＤＭＳ層と、
高さが１５ミクロンから２５ミクロンの範囲であり、幅が５０ミクロンから６５ミクロンの範囲であるマイクロ流体流路と、
厚さが５００ｎｍから７００ｎｍの範囲であるＰＭＭＡ層と、
画像センサアレイとを備え、
コンピュテーショナル・フォトグラフィーにより画像を生成することが可能であることを特徴とするオンチップ型ライトフィールド流体光学顕微鏡システム。
【請求項１３】
使い捨てマイクロ流体チップをＬＦ−ＯＦＭシステムに挿入することを可能とし、ＬＦ−ＯＦＭプラットフォームを用いた種々の病気の検知を可能とすることを特徴とする方法。
【請求項１４】
並列画像処理を行うシステムであって、複数のサンプルからなる異なる層を別々に撮像して、前記システムのスループットを高めることを特徴とするシステム。
【請求項１５】
複数の移動体通信ネットワークのサービスが得られる複数の遠隔地域で診断を行うために、自動コンピュータ画像認識アルゴリズムを４Ｄライトフィールド画像に適用してセルを識別することを特徴とする方法。
【請求項１６】
ＬＦ−ＯＦＭシステムのウェハレベル処理により大量生産を行う方法。
【請求項１７】
厚さが少なくとも６００ｎｍのポリメチルメタクリレート（ＰＭＭＡ）層をスピンコート形成して、各画素のサイズが１．７５μｍ×１．７５μｍで、撮像領域が３．６１ｍｍ×２．７２ｍｍである２０８１×１５３６画素アレイを有する順次走査ＣＭＯＳ画像センサの表面を平坦化し、
熱源を有する金属蒸着装置を用いて、前記ＰＭＭＡ層の上に少なくとも厚さ３００ｎｍの金層を成膜し、
集束イオンビーム装置を用いて、前記金層上の開口アレイのフライス加工を行い、
前記金層の上に２００ｎｍのＰＭＭＡ層をスピンコート形成して、開口を保護し、前記開口の直径は少なくとも０．７μｍであり、各開口が１２．２５μｍの間隔で配置され、
ソフトリソグラフィーでパターン形成されたマイクロ流体流路を有するポリジメチルシロキサン（ＰＤＭＳ）ブロックを、マスクアライナーによりセンサ上に配置することを特徴とするＬＦ−ＯＦＨＭの製造方法。
【請求項１８】
複数の画像センサを有するウェハの処理を行い、
複数の画像センサを有する前記ウェハに、スピンコートにより６００ｎｍのＰＭＭＡ層を形成し、
前記ＰＭＭＡ層の上に３００ｎｍの金層を蒸着し、
集束イオンビームを用いて、前記画像センサ上の開口アレイを全列にわたってフライス処理し、
ＰＤＭＳブロックにパターン形成を行って、前記個々の画像センサのそれぞれの上にマイクロ流体流路を形成し、
前記ウェハを切断し、
前記画像センサのそれぞれを実装することを特徴とするＬＦ−ＯＦＨＭの製造方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、流体光学顕微鏡とホログラフィック撮像顕微鏡とを備えるオンチップ型レンズレス顕微鏡システムに関する。
【背景技術】
【０００２】
２１世紀において個人診断法やポイントオブケアによる健康管理の確保のための課題として、購入しやすい価格の診断法が顕著になってきている。これは、開発途上国（低コスト）と、先進国（高齢化社会による医療インフラの逼迫）との両者にとって重要である。現代のエンジニアリング技術、測定技術、バイオマーカ検出技術により、ヒトの体液（血液、腸内体液、尿、唾液）一滴から重要な情報を取り出して、病気の化学的マーカのサインを認めることができる。通常、生物サンプルは限られており、サンプル中の対象分子や蛋白質の濃度はｐｍｏｌ／Ｌの範囲であることが多いので、サンプル量が最小限の場合には、感度、特異性、精度とも高い検出器が不可欠である。マイクロ流体センサ、あるいは、一般にラブオンチップ（ＬＯＣ）技術は、開発途上国の人々の健康改善について、まだ立証されてはいないが非常に大きな潜在力がある。１９９０年頃にＬＯＣとマイクロ流体技術が導入されて以来、小型であること、必要なサンプルが少なくてすむこと、そして、迅速に分析できることを活かすことにより、遠隔地環境でのこの技術の使用は潜在的に最も強力な用途のひとつであると考えられている。実際、流体の作動処理、サンプルの前処理、サンプルの分離、信号増幅、信号検出を一つの装置に一体化する開発過程の結果、携帯型ＬＯＣ装置が遠隔地環境で使用され始めている。現状のままでは、これらの装置はまだ、開発途上国における極端にリソース不足の環境での使用には適していない。しかし、こうした進歩により、ＬＯＣ研究の分野は、世界の深刻な健康問題に取り組むための重要な位置を占めるようになっている。この分野では、装置設計の課題がおそらく最も難しく、新たなヘルステクノロジーが最も必要である。
【０００３】
米国特許第7751048号、Yang et al.、Optofluidic Microscope Device（流体光学顕微鏡装置）は、光透過領域と、流体流路を流れる物体を撮像するのに使用される光検出器とを備える装置を開示している。
【０００４】
米国特許第7768654号、Ciu et al.、On-Chip Phase Microscope/Beam Profiler Based on Differential Interference Contrast And/Or Surface Plasmon Assisted Interference（微分干渉及び／又は表面プラズモンアシスト干渉に基づくオンチップ位相顕微鏡又はビームプロファイラ）は、ヤングの干渉に基づくＤＩＣ顕微鏡及び／又はライトフィールドプロファイラを開示している。
【０００５】
米国特許第7751048号、Yang et al.、Optofluidic Microscope Device Featuring A Body Comprising A Fluid Channel And Having Light Transmissive Regions（流体流路を備え、光透過領域を有する本体を特徴とする流体光学顕微鏡装置）は、表面を有する流体流路を備え、細菌やウィルス等の対象物が流体流路を流れているときに流体流路の底部の光撮像素子を用いて対象物を撮像する装置を開示している。
【０００６】
ＰＣＴ番号WO2009/088930、Fletcher et al.、High Numerical Aperture Telemicroscopy Apparatus（高開口数の遠隔顕微鏡装置）は、病気診断や症状分析や処置後のモニタリングに用いられるカメラ付き携帯電話機により構成される撮像システムを開示している。
【０００７】
米国特許第7792423号、Raskar et al、4D Light Field Camera（４Ｄライトフィールドカメラ）は、検知前に４Ｄライトフィールドを変調することにより、ある場面の４Ｄライトフィールドを取得するカメラを開示している。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
流体光学の観点から、新たな方法で試料を観察する必要がある。
【０００９】
また、流体光学の観点から、画像の解像度を高める必要がある。
【００１０】
また、流体光学の観点から、多くの生体検知プラットフォームでは、貯蔵有効期間が限られた高価なバイオマーカを用いているので、低コストでラベルフリーの生体検知が必要である。
【００１１】
また、流体光学の観点から、偽陰性結果を少なくするために感度を上げる必要がある。
【００１２】
また、流体光学の観点から、偽陽性を少なくするために特異性を得る必要がある。
【課題を解決するための手段】
【００１３】
本発明は、ポイントオブケア装置として広く利用でき、個人診断にも利用できる新規な低コストのラブオンチップ（ＬＯＣ）診断プラットフォームに関する。具体的には、本発明は、プラズモンレンズと、マイクロ流体装置と、ＣＭＯＳ画像センサアレイとを一体化し、コンピュテーショナル・フォトグラフィーにより４Ｄ画像を生成することが可能なオンチップ型流体光学顕微鏡（ＯＦＭ）システムに関する。本案のセンサプラットフォームを携帯電話機に取り付ければ、携帯電話機のカメラをポイントオブケア装置や個人診断用に利用することができる。
【００１４】
本発明は、流体光学の課題に対する解決策を提供することが可能である。また、本発明は、サンプリングレートを上げる（毎秒の画像数を増やす）ことにより高解像度を実現できる。また、本発明は、廉価で効果的な生体検知を可能とする標準的なバルクＣＭＯＳ技術を用いて、低コストでラベルフリーの生体検知を提供することができる。また、本発明は、検査の視点と被写界深度とを変更することにより、高感度（偽陰性結果が少ない）と高特異性（偽陽性が少ない）を実現することができる。多くの生体サンプルは集合体化しているので、本発明は視点の変更を可能にすることにより、個々のセルをカウントして区別する性能を高める。また、本発明は、プラズモンレンズと、マイクロ流体装置と、ＣＭＯＳ（相補型金属酸化膜半導体）画像センサアレイとを一体化し、コンピュテーショナル・フォトグラフィーによる４Ｄライトフィールドを用いて、３Ｄ画像を生成することが可能なオンチップ型ライトフィールド流体光学顕微鏡（ＬＦ-ＯＦＭ）システムを提供することができる。
【００１５】
こうした課題に対応するために、本発明は、流体光学顕微鏡（ＯＦＭ）と呼ばれるオンチップ型レンズレス顕微鏡システムを拡張して、コンピュテーショナル・フォトグラフィーの原理を取り入れる。ＯＦＭ方式では、単純化したマイクロ流体の流れを利用して、ＬＥＤ又ＬＥＤアレイ等の光源により照明される金属被膜ＣＭＯＳ撮像センサ上に直線状に並んだ小径開口アレイを横切るように生物サンプルを移動させる。サンプルが通過すると直線状の開口アレイを介した光の透過が遮断されるので、各開口に対応する時変透過により、生物サンプルのライントレースが得られる。直線状の開口アレイからのライントレースを再構成することにより、開口サイズに匹敵する解像度で、生物サンプルの高解像度画像を再構成できる。直線状の開口アレイを対角線上に配置してもＯＦＭ解像度への影響はない。ＯＦＭから画像を得るため、具体的には、直線状の開口アレイの真下の画素から信号を読み取るように、画像センサのプログラミングを行う。記録されている読み取りレートは１．３ｋＨｚ／ｓである。各開口を介して測定される時変透過の変化により、マイクロ流体流路を通過するサンプルのラインスキャンが得られる。各開口からのラインスキャンを重畳すれば、サンプルの画像を生成することができる。
【００１６】
本発明は、ＯＦＭ顕微鏡にて捕捉した４Ｄライトフィールドの記録及び制御を行うことにより、ＯＦＭの機能性と有用性を拡張する。以降、このＯＦＭ顕微鏡のことを、ライトフィールド流体光学顕微鏡（ＬＦ−ＯＦＭ）と呼ぶ。従来の写真とは異なり、ライトフィールドによって、画像センサの解像度と光学系の回折限界とに従って、スナップショット撮影後に視点と焦点を操作することが可能である。ＬＦ−ＯＦＭで捕捉した画像から、少なくとも捕捉された光線の角度限界まで傾斜した正投影図及び／又は斜視図を生成するためのライトフィールドレンダリング処理を採用することができる。ＬＦ−ＯＦＭは、画像取得と、視点及び焦点の選択とを分けているので、撮影後に信号処理アルゴリズムによる焦点と視点の操作が可能な「デジタルファインダー」として使用することができる。このような選択処理にコンピュータビジョンアルゴリズムを適用すれば、多数の試料を分析するときに顕微鏡操作を大幅に自動化することができる。通常、顕微鏡は正投影画像を記録するので、斜視図は試料に対する新たな観察方法となる。また、適応的な被写界深度や試料の空間（斜視）図により、高感度（偽陰性結果が少ない）と高特異性（偽陽性が少ない）とが得られる。
【００１７】
また、捕捉したライトフィールドから、合成開口撮影法を用いて、異なる深度で焦点を合わせた画像を生成することもできる。単一の入力画像から焦点スタックを作成できることで、移動する試料又は光感応性の試料を記録することができる。さらに、これらの焦点スタックに３Ｄ逆畳み込みを行うことにより、断面のスタックを再構成することができ、これは、ボリュームレンダリング処理を用いて視覚化が可能である。
【００１８】
本発明の新規な側面は、開口アレイと画像センサとの距離を長くすることである。これは、ＬＦ−ＯＦＭの空間解像度及び角解像度を高めるのに必要である。より多くの画素が入射光による照明を必要とするからである。
【００１９】
本発明の他の側面は、開口アレイの下の個々の画素を読み込むＯＦＭシステムとは対照的に、タイルと呼ばれる画素列を読み込み、マイクロ流体流路を流れる生物試料の４Ｄライトフィールドを捕捉する。各タイルは高いレートで読み込まれる。各開口からのタイルスキャンを重畳することにより、サンプルの４Ｄライトフィールド画像を生成する。
【００２０】
本発明のさらに他の側面は、ＬＦ−ＯＦＭシステムのウェハレベル処理により（実装された単一の画像センサを用いるのではなく）、大量生産を行うことである。
【００２１】
本発明のさらに他の側面は、使い捨てのマイクロ流体チップをＬＦ−ＯＦＭシステムに挿入できるメカニズムにより、同じＬＦ−ＯＦＭプラットフォームを用いて種々の病気の検知を可能にする。
【００２２】
本発明のさらに他の側面は、並列画像処理を行うシステムであって、異なる層のサンプルを別々に撮像してシステムのスループットを高める。
【００２３】
本発明のさらに他の側面は、移動体通信ネットワークのサービスが得られる遠隔地域で診断を行うために、自動コンピュータ画像認識アルゴリズムを４Ｄライトフィールド画像に適用してセルを識別する（整合フィルタリング、二値画像処理、モーメント計算、パターン分類等）。
【００２４】
本発明のさらに他の側面は方法である。本方法は、流体光学顕微鏡で捕捉した４Ｄライトフィールドの記録及び制御を行うことにより開始する。また、本方法は、ライトフィールドを捕捉することにより、スナップショット撮影後に視点と焦点の操作を可能する。また、本方法は、傾斜した正投影図及び／又は斜視図を生成するライトフィールドレンダリング処理を用いる。また、本方法は、コンピュータビジョンアルゴリズムをライトフィールド画像に適用して、多数の試料を分析するときに顕微鏡動作を大幅に自動化する。また、本方法は、適応的な被写界深度や試料の空間（斜視）図により、高感度（偽陰性結果が少ない）と高特異性（偽陽性が少ない）を得る。
【図面の簡単な説明】
【００２５】
【図１】ＬＦ−ＯＦＭシステムの概略図である。
【図１Ａ】ＬＥＤ光源とプラズモンマスクとがマイクロ流体流路に一体化された、移動通信装置を用いるＬＦ−ＯＦＭシステムの他の実施形態の概略図である。
【図１Ｂ】ＬＦ−ＯＦＭシステムの上平面図である。
【図１Ｃ】図１ＢのＬＦ−ＯＦＭシステムの画像センサを分離して示す図である。
【図１Ｄ】図１ＢのＬＦ−ＯＦＭシステムの断面図である。
【図２】図１に示すような装置の三次元概略構成を示す図である。
【図３】平面波照明を行うＬＦ−ＯＦＭシステムを二次元で示すとともに、対応するＣＭＯＳセンサのピクセル化強度を示す図である。
【図３Ａ】平面波照明を行うＬＦ−ＯＦＭシステムを二次元で示すとともに、対応するＣＭＯＳセンサのピクセル化強度を示す図である。
【図３Ｂ】平面波照明を行うＬＦ−ＯＦＭシステムを二次元で示すとともに、対応するＣＭＯＳセンサのピクセル化強度を示す図である。
【図４】３Ｄ撮像及び分析を行う多層プロセスユニットの三次元概略構成を示す図である。
【図４Ａ】図４の層１の二次元で示す図である。
【図４Ｂ】図４の層２を二次元で示す図である。
【図４Ｃ】図４の層３を二次元で示す図である。
【図５】４Ｄライトフィールドを使用する方法のフローチャートである。
【図６】４Ｄライトフィールド画像を生成する方法のフローチャートである。
【図７】ＬＦ−ＯＦＨＭの製造方法のフローチャートである。
【図８】ＬＦ−ＯＦＨＭの製造方法のフローチャートである。
【発明を実施するための形態】
【００２６】
本発明は、流体光学顕微鏡（ＯＦＭ）とホログラフィック撮像顕微鏡とを備え、コンピュテーショナル・フォトグラフィーの原理を取り入れたオンチップ型レンズレス顕微鏡システムを示す。これにより、視覚化が向上して、スループットが高い三次元撮像システムが得られる。流体光学顕微鏡とホログラフィック撮像顕微鏡については、１）X.Q.Cui, L.M.Lee, X.Heng, W.W.Zhong, P.W.Sternberg, D.Psaltis, and C.H.Yang, Proc.Natil.Acad.Sci. U.S.A., 2008, 105, 10670-10675、２）X.Heng, D.Erickson, L.R.Baugh, Z.Yaqoob, P.W.Sternberg, D.Psaltis, and C.H.Yang, Lab Chip, 2006, 6, 1274-1276 、３）Seo,S. Su,T.-W., Tseng,D.K., Erlinger,A. and Ozcan,A., Lab Chip 2009, 9, 777-787の各文献に詳細に記載されている。本願では、これら３つの文献をすべて参照することにより援用する。
【００２７】
ＯＦＭ方式では、好ましくは、簡略化したマイクロ流体の流れを利用して、発光ダイオード（ＬＥＤ）又ＬＥＤアレイ等の光源により照明される金属被膜ＣＭＯＳ撮像センサ上に直線状に並んだ小径開口アレイを横切るように生物サンプルを移動させる。サンプルが通過すると直線状の開口アレイを介した光の透過が遮断されるので、各開口に対応する時変透過により、生物サンプルのライントレースが得られる。直線状の開口アレイからのライントレースを再構成することにより、開口サイズに匹敵する解像度で、生物サンプルの高解像度画像を再構成できる。本願で参照により援用する文献X.Q.Cui, L.M.Lee, X.Heng, W.W.Zhong, P.W.Sternberg, D.Psaltis, and C.H.Yang, Proc.Natil.Acad.Sci. U.S.A., 2008, 105, 10670-10675において説明されているように、直線状の開口アレイを対角線上に配置してもＯＦＭ解像度への影響はない。
【００２８】
ＯＦＭから画像を得るため、具体的には、直線状の開口アレイの真下の画素から信号を読み取るように、画像センサのプログラミングを行う。読み取りレートは好ましくは１．３ｋＨｚ／ｓである。各開口を介して測定される時変透過の変化により、マイクロ流体流路を通過するサンプルのラインスキャンが得られる。各開口からのラインスキャンを重畳すれば、サンプルの画像を生成することができる。
【００２９】
また、生物サンプルのレンズフリーの撮像は、ホログラフィック撮像によっても得られる。ホログラフィック撮像では、センサアレイ（ＣＭＯＳ又はＣＣＤ）上のサンプルの回折パターンが得られる。回折パターンは、光源と被撮像サンプルとの間の単一の開口を用いることにより鮮明化される。画像処理アルゴリズムを実行し、サンプル内の各粒子について得られる回折パターンに応じて、センサの特定領域上に存在するサンプルタイプを識別する。
【００３０】
ＯＦＭとホログラフィックシステムとによるレンズレス撮像及びカウント技術により、生物サンプルの高精度な分析のためのプラットフォームが得られる。これら方式の類似点は、１又は多数の開口を使用することであり、これは撮像システムの最適化における重要な要素である。
【００３１】
本発明は、顕微鏡画像にて捕捉した４Ｄライトフィールドの記録及び制御を行うことにより、レンズレス撮像システムの機能性と有用性を拡張する。以降、これをライトフィールド流体光学ホログラフィック顕微鏡（ＬＦ−ＯＦＨＭ）と呼ぶ。従来の写真とは異なり、ライトフィールドによって、画像センサの解像度と光学系の回折限界とに従い、スナップショット撮影後の視点と焦点の操作が可能である。Ren N, Marc Levoy, Mathieu Bredif, Gene Duval, Mark Horowitz and Pat Hanrahan, Stanford Tech report CTSR 2005-02, Light Field Photography with a Hand-held Plenoptic Camera（ハンドヘルド型プレノプティックカメラを用いたライトフィールドフォトグラフィー）、 graphics.standford.edu/papers/1fcamera-150dpi.pdfに開示されているように、ＬＦ−ＯＦＨＭで捕捉した画像から、少なくとも捕捉された光線の角度限界まで傾斜した正投影図及び／又は斜視図を生成するためのライトフィールドレンダリング処理を用いることができる。本願では、この文献を参照することにより援用する。ＬＦ−ＯＦＨＭは、画像取得と、視点及び焦点の選択とを分けているので、撮影後に信号処理アルゴリズムによる焦点と視点の操作が可能な「デジタルファインダー」としてＬＦ−ＯＦＨＭを使用する。
【００３２】
このような選択処理にコンピュータビジョンアルゴリズムを適用すれば、多数の試料を分析するときに顕微鏡操作を大幅に自動化できる。通常、顕微鏡は正投影画像を記録するので、斜視図は試料に対する新たな観察方法となる。また、適応的な被写界深度や試料の空間（斜視）図により、高感度（偽陰性結果が少ない）と高特異性（偽陽性が少ない）が得られる。
【００３３】
Levoy,M. & Hanrahan,P. (1996) Light field rendering（ライトフィールドレンダリング処理）, Proc. SIGGRAPH 1996, 31-42及びIsaksen,A., McMillan,L. & Gortler,S.J. (2000) Dynamically reparameterized light fields（動的に再パラメータ化されたライトフィールド）, Proc.Siggraph 2000, 297-306に開示れているように、捕捉したライトフィールドから、合成開口撮影法を用いて、異なる深度で焦点を合わせた画像を生成することもできる。本願では、これらの文献を参照することにより援用する。単一の入力画像から焦点スタックを作成できることから、移動する試料又は光感応性の試料を記録することができる。さらに、Levoy,M., Chen,B., Vaish,V., Horowitz,M., McDowall,I. & Bolas,M. (2004) Synthetic aperture confocal imaging（合成開口共焦点撮像）, ACM Trans. On Graphics (Proc. SIGGRAPH) 23(3), 825-834に開示されているように、これらの焦点スタックに３Ｄ逆畳み込みを行うことにより、Agard,D.A. (1984) Optical sectioning microscopy: cellular architecture in three dimensions（光学切片顕微鏡：三次元のセルラアーキテクチャ）, Ann. Rev. Biophys. Bioeng. 13, 191-219に開示されているように、ボリュームレンダリング処理を用いて視覚化が可能な断面のスタックを再構成する。本願では、これらの文献を参照することにより援用する。
【００３４】
拡張された本システムでは、三次元ホログラフィック撮像システムの実施により、サンプルの３Ｄ視覚化及び分析を行うことができる。この三次元技術により、多数の異なるサンプルの撮像及び分析を平行して行い、高システムスループットを達成することができる。
【００３５】
本発明は、分析対象の生物サンプルについて、濃縮又は希釈、分類、ラベリング、その他の準備ステップを行うためのマイクロ流体成分を開発することで、特に診断装置の開発に有益である。例えば、水質試験に加えて、種々の病気の診断を行うことができる。既存の技術より優れた利点としては、従来の研究所内での大型顕微鏡による方法を用いずに、高精度で迅速で費用効果が高い三次元セル検知ができる。また、本システムにより高スループットが達成可能であることから、各サンプルの分析を平行して行うことができ、分析時間が大幅に短くなるとともに分析精度が向上する。
【００３６】
ＬＦ−ＯＦＨＭの製造の一例として、Micron MT9T013順次走査ＣＭＯＳ画像センサを使用することが好ましい。センサは、好ましくは、２０４８×１５３６の画素アレイからなり、各画素のサイズが１．７５μｍ×１．７５μｍ、撮像領域が３．６１ｍｍ×２．７２ｍｍである。
【００３７】
図１に示すように、システム１０は、ＬＥＤアレイ４０と、生物サンプル３０を有するマイクロ流体流路２８と、使い捨てチップ２３と、画像センサアレイ２４と、開口を有する層５０とを備えている。
【００３８】
図１Ｂに示すように、システム１０’は、光源４０と、開口３８を有する金層２６と、マイクロ流体流路２８と、画像センサアレイ２４と、移動通信装置９９（携帯電話機）とを備えている。
【００３９】
図１Ｂは、生物サンプル３０が所定速度（ｍ／ｓ）でマイクロ流体流路２８を流れている状態の画像センサ２４を上方から示す。図１Ｂを参照して、システム２０は、好ましくは、画像センサ２４と、ＰＭＭＡ層３２と、マイクロ流体流路２８と、金層２６と、ＰＤＭＳ層３４と、ＬＥＤアレイ４０（４０ａ〜４０ｋ）とを備える。金層２６は複数の開口３８を有している。
【００４０】
好ましくは、画像センサ２４の表面２４ａを平坦化するために、厚さ６００ｎｍのポリメチルメタクリレート（ＰＭＭＡ）層３２をスピンコート形成する。本発明において、ＰＭＭＡ層３２の厚さは、好ましくは、ＬＦ−ＯＦＭの空間解像度及び角解像度を高めるために通常より厚い。金層２６は、マイクロ流体流路２８の上方に配置される。熱源を有する金属蒸着装置を用いて、ＰＭＭＡ層３２の上に厚さ３００ｎｍの金層２６を成膜する。（この層厚ならば、ＳＥＭ撮像にて個々の画素の外形が認識でき、層表面は、その後にマイクロ流体流路を含むＰＤＭＳブロックをチップ上に接合するのに十分な程度平坦である。）このステップに続き、集束イオンビーム装置を用いて、金層２６上の開口アレイ３８をフライス加工する。そして、金層２６の上にさらに厚さ２００ｎｍのＰＭＭＡ層３４をスピンコート形成して、開口３８を保護する。開口３８の直径は０．７μｍ程度である。開口３８は、好ましくは、１２．２５μｍ（７画素幅に等しい）の間隔で配置される。また、２列のアレイは１２．２５μｍの間隔で配置される。この比較的広い間隔を取るのは、ＬＦ−ＯＦＭシステムの空間解像度及び角解像度を最適化するためである。これにより、７×７画素＝４７タイルの撮像時に対応可能な空間解像度が得られる。このステップにより、フライス加工の良好な制御を行えば、単一のセンサ画素の真上で確実に各開口３９をフライス加工できる。さらに、ソフトリソグラフィーでパターン形成されたマイクロ流体流路を有するポリジメチルシロキサン（ＰＤＭＳ）ブロックを、マスクアライナー（例えば、Karl Suss社のMJB3）によりセンサ上に配置する。
【００４１】
流路２８は、好ましくは、幅が３５画素分（３５×１．７５μｍ＝６１．２５μｍ）、高さが２０μｍである。流路幅は角解像度を決定するので、ＬＦ−ＯＦＭの重要なパラメータである。上述のパラメータの場合、角解像度は好ましくは３５画素／７画素＝５画素（又は８．７５μｍ）である。流路２８は、好ましくは、開口アレイ２０に対して３度の角度に設定される。４Ｄライトフィールドが使用可能であることから、開口アレイの真下の２つの画素列のそれぞれの下において７画素×７画素＝４９画素からなる画素アレイを読み取る。図１Ｃに示すように、上述の技術により、ＯＦＭの各単一画素を、４９画素（１２．２５μｍ×１２．２５μｍ）からなるより効果的な大画素に効果的に変換する。読み取りレートは好ましくは１．３ｋＨｚ／ｓである。各開口３８を介して測定された時変透過の変化により、マイクロ流体流路２８を通過するサンプルのマトリクススキャンが得られる。各開口３８からのラインスキャンを重畳することにより、サンプルの画像を生成する。
【００４２】
上述のシステムについて、特にＬＦ−ＯＦＭ装置の大量生産のために重要な拡張例として、ウェハレベル処理がある。本実施形態において、画像センサのウェハ（画像センサを個々に切断する前）の処理を行う。画像センサのウェハ全体に６００ｎｍのＰＭＭＡ層をスピンコート形成し、その後、ＰＭＭＡ層の上に３００ｎｍの金層を蒸着する。そして、集束イオンビームを用いて、画像センサの上のアレイ全体に開口アレイをフライス加工する。そして、ＰＤＭＳブロックにパターン形成を行って、個々の画像センサの上にマイクロ流体流路を形成する。このステップの後、ウェハの切断及び実装を行う。
【００４３】
ＬＦ−ＯＦＭシステム１０の基本光路を図２に示す。図２は、システム１０の側面図ある。システム１０は、画像センサ２４と、内部に水３５を充填して試料３０を入れた流路２８とを備えている。プラズモンマスク５０は、照明光４０を透過する開口３８を有している。均一の光源を上方から適用するが、この光源は、好ましくは、実験用ハロゲンライト又はＬＥＤ、又は、開口アレイの位置に合わせたＬＥＤアレイである。プラズモンマスクの設計と、ＬＦ−ＯＦＭシステム１０の基本光路を用いたＬＦ−ＯＦＭの作動原理について、システム１０の側面図である図２に示す。均一の光源を上方から用いるが、この光源は、実験用ハロゲンライト又はＬＥＤ、又は、開口アレイの位置に合わせたＬＥＤアレイとすればよい。
【００４４】
図２に示すように、図１の具体的な設計形状の場合、プラズモンマスク５０の単位セルは７つの開口３０を有し、各開口が直径０．５μｍで、中心間の距離が１．７５μｍである。プラズモンマスク５０は、好ましくは、厚さ３００ｎｍである。平面波照明を用いたプラズモンマスク５０下のライトフィールド分布を図３、図３Ａ、図３Ｂに示す。これらに対応するＣＭＯＳセンサのピクセル化強度を、図３、図３Ａ、図３Ｂにおいて、それぞれ６０、６０ａ、６０ｂで示す。セルの３Ｄ画像の再構成に用いられる異なる強度６０、６０ａ、６０ｂを、異なる色で示す。開口３８は、好ましくは、１２．２５μｍ（７画素幅に等しい）の間隔で配置される。好ましくは、開口３８と画素との位置合わせ及び較正は行う必要がないようにする。ＬＦ−ＯＦＭシステム１０の較正をソフトウェアにて行うことが可能なので、開口アレイを物理的に位置合わせする必要はない。
【００４５】
二次元数値シミュレーションにより、本案のＬＦ−ＯＦＭの作動原理を示す。この具体例の場合、プラズモンマスク５０の単位セルは、直径０．５μｍで中心間の距離が１．７５μｍの穴を７個有する。マスクは厚さ３００ｎｍである。平面波照明を用いたマスク下のライトフィールド分布を図３、図３Ａ、図３Ｂに示す。これらに対応するＣＭＯＳセンサのピクセル化強度を、それぞれ６０、６０ａ、６０ｂで示す。セルの３Ｄ画像の再構成に用いることができる異なる強度６０、６０ａ、６０ｂを、異なる色で示す。
【００４６】
図４、図４Ａ、図４Ｂ、図４Ｃに示すように、異なる深度でサンプルの高速並列処理を行うための多層プロセスに、本システムをさらに拡張する。この技術の多次元的側面により、高スループットのシステムを達成することができ、高精度で迅速なサンプル分析を行うことができる。各マイクロ流体流路２８ａ、２８ｂ、２８ｃは、生物試料３０入りの水３５を有している。各層のサンプル画像７５、７５ａ、７５ｂを図４Ａ、図４Ｂ、図４Ｃに示す。
【００４７】
従来の光学顕微鏡について、Levoy,M. (1998) Display of surface from volume data（ボリュームデータからの表面表示）、Comp. Graphics App. 8(3), 29-37で使用されるコンピュテーショナル・フォトグラフィーを用いた画像再構成手法と同様に、本発明は、一実施形態において、まず画素から開口アレイへのマッピングを見出し、そこから撮像光の位置と方向を見出す。画像捕捉を含む較正処理全体をソフトウェアにて非常に迅速かつ効果的に行う。
【００４８】
本システムはさらに、異なる深度にてサンプルの高速並列処理を行うための多層プロセスに拡張することができる。この技術の多次元的側面により、高スループットのシステムを達成することができ、高精度で迅速なサンプル分析を行うことができる。
【００４９】
図５は、４Ｄライトフィールドを用いる方法１０００である。本方法は、ブロック１００１にて、流体光学顕微鏡で捕捉した４Ｄライトフィールドの記録及び制御を行うことにより開始する。また、本方法は、ブロック１００２にて、ライトフィールドを捕捉して、スナップショット撮影後に視点と焦点を操作することができる。また、本方法は、ブロック１００３にて、ライトフィールドレンダリング処理を用いて、傾斜した正投影図及び／又は斜視図を生成する。また、本方法は、ブロック１００４にて、ライトフィールド画像にコンピュータビジョンアルゴリズムを適用して、多数の試料を分析するときに顕微鏡動作を大幅に自動化する。適応的な被写界深度や試料の空間（斜視）図により、高感度（偽陰性結果が少ない）と高特異性（偽陽性が少ない）が得られる。コンピュテーショナル・フォトグラフィーを用いた画像再構成では、従来の光学顕微鏡に用いられる手法と同様に、まず画素から開口アレイへのマッピングを見出し、そこから撮像光の位置と方向を見出すことが可能である。画像捕捉を含む較正処理全体をソフトウェアにて非常に迅速かつ効果的に行うことができる。
【００５０】
図６は、４Ｄライトフィールド画像を生成する方法２０００のフローチャートである。本方法は、ブロック２００１にて、高いレートで複数のタイルを読み取ることにより、マイクロ流体流路を流れる生物試料の４Ｄライトフィールドを捕捉する。また、本方法は、ブロック２００２にて、複数のタイルの読み取り結果をそれぞれ重畳する。また、本方法は、ブロック２００３にて、生物試料の４Ｄライトフィールド画像を生成する。
【００５１】
図７は、ＬＦ−ＯＦＨＭを製造する方法３０００のフローチャートである。本方法は、ブロック３００１にて、少なくとも厚さ６００ｎｍを有するポリメチルメタクリレート（ＰＭＭＡ）層をスピンコート形成し、各画素のサイズが１．７５μｍ×１．７５μｍで、撮像領域が３．６１ｍｍ×２．７２ｍｍである２０８１×１５３６の画素アレイを有する順次走査ＣＭＯＳ画像センサの表面を平坦化する。また、本方法は、ブロック３００２にて、熱源を有する金属蒸着装置を用いて、ＰＭＭＡ層の上に少なくとも厚さ３００ｎｍの金層を成膜する。また、本方法は、ブロック３００３にて、集束イオンビーム装置を用いて、金層上の開口アレイのフライス加工を行う。また、本方法は、ブロック３００４にて、金層の上に２００ｎｍのＰＭＭＡ層をスピンコート形成し、開口を保護する。なお、ここでは、開口の直径は少なくとも０．７μｍであり、各開口が１２．２５μｍの間隔で配置されている。また、本方法は、ブロック３００５にて、ソフトリソグラフィーでパターン形成されたマイクロ流体流路を有するポリジメチルシロキサン（ＰＤＭＳ）ブロックを、マスクアライナーによりセンサ上に配置する。
【００５２】
図８は、ＬＦ−ＯＦＨＭを製造する方法４０００のフローチャートである。本方法は、ブロック４００１にて、複数の画像センサを有するウェハの処理を行う。また、本方法は、ブロック４００２にて、複数の画像センサを有するウェハに、スピンコートにより６００ｎｍのＰＭＭＡ層を形成する。また、本方法は、ブロック４００３にて、ＰＭＭＡ層の上に３００ｎｍの金層を蒸着する。また、本方法は、ブロック４００４にて、集束イオンビームを用いて、画像センサ上の一列全体の開口アレイをフライス処理する。また、本方法は、ブロック４００５にて、ＰＤＭＳブロックにパターン形成を行って、個々の画像センサのそれぞれの上にマイクロ流体流路を形成する。また、本方法は、ブロック４００６にてウェハを切断する。また、本方法は、ブロック４００７にて各画像センサを実装する。
【図１】
2013545138.tif 000003
【図１Ａ】
2013545138.tif 000004
【図１Ｂ】
2013545138.tif 000005
【図１Ｃ】
2013545138.tif 000006
【図１Ｄ】
2013545138.tif 000007
【図２】
2013545138.tif 000008
【図３】
2013545138.tif 000009
【図３Ａ】
2013545138.tif 000010
【図３Ｂ】
2013545138.tif 000011
【図４】
2013545138.tif 000012
【図４Ａ】
2013545138.tif 000013
【図４Ｂ】
2013545138.tif 000014
【図４Ｃ】
2013545138.tif 000015
【図５】
2013545138.tif 000016
【図６】
2013545138.tif 000017
【図７】
2013545138.tif 000018
【図８】
2013545138.tif 000019
【手続補正書】
【提出日】平成25年6月26日(2013.6.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のプラズモンレンズと、
少なくとも１つのマイクロ流体流路と、
相補型金属酸化膜半導体画像センサアレイ又はＣＣＤセンサアレイとを備え、
コンピュテーショナル・フォトグラフィー技術による４Ｄライトフィールドを用いて、複数の三次元画像を生成することが可能であることを特徴とするオンチップ型ライトフィールド流体光学顕微鏡システム。
【請求項２】
少なくとも１つのプラズモンレンズと、
少なくとも１つのマイクロ流体装置と、
画像センサアレイとを備え、
コンピュテーショナル・フォトグラフィー技術により画像を生成することが可能であることを特徴とするオンチップ型ライトフィールド流体光学顕微鏡システム。
【請求項３】
カメラを有する移動通信装置をさらに備え、前記移動通信装置が前記画像センサアレイに取り付けられて、前記移動通信装置のカメラが個人診断用に利用されることを特徴とする請求項２に記載のシステム。
【請求項４】
前記画像センサアレイは、相補型金属酸化膜半導体画像センサアレイ又はＣＣＤセンサアレイであることを特徴とする請求項２に記載のシステム。
【請求項５】
前記画像は３Ｄ画像であることを特徴とする請求項２に記載のシステム。
【請求項６】
４Ｄライトフィールドを使用する方法であって、
光源からの光で照明される撮像センサにおける複数の開口からなる直線アレイを横切って、生物サンプルを移動させ、
前記生物サンプルが前記直線アレイを横切って移動する際に前記光源からの光の透過を遮断することにより、複数のライントレースを生成し、前記複数の開口の各開口に対応する時変透過が、前記生物サンプル上を通るライントレースを表し、
前記直線開口アレイから前記複数のライントレースを再構成することにより、前記複数の開口の各開口のサイズに匹敵する解像度にて前記生物サンプルの画像を再構成することを特徴とする方法。
【請求項７】
前記光源はＬＥＤアレイであることを特徴とする請求項６に記載の方法。
【請求項８】
前記直線開口アレイの真下の複数の画素から信号を読み取るように、画像センサをプログラミングすることを特徴とする請求項６に記載の方法。
【請求項９】
前記生物サンプルの前記画像の構成は、前記複数の開口からの前記複数のラインスキャンを重畳することにより行うことを特徴とする請求項６に記載の方法。
【請求項１０】
４Ｄライトフィールドを使用する方法であって、
流体光学顕微鏡で捕捉した４Ｄライトフィールドの記録及び制御を行い、
スナップショット後に視点と焦点を操作し、
ライトフィールドレンダリング処理を行って、複数の傾斜した正投射図と複数の斜視図とを生成し、
前記ライトフィールド画像にコンピュータビジョンアルゴリズムを適用することを特徴とする方法。
【請求項１１】
４Ｄライトフィールド画像を生成する方法であって、
複数のタイルを高いレートで読み取って、マイクロ流体流路を流れる生物サンプルの４Ｄライトフィールドを捕捉し、
前記複数のタイルの読み取り結果を重畳し、
前記生物サンプルの４Ｄライトフィールド画像を生成することを特徴とする方法。
【請求項１２】
複数のＬＥＤからなるアレイと、
厚さが２５０ｎｍから３５０ｎｍの範囲であって、複数の開口が貫通している金層と、
前記金層の上に成膜され、厚さが１５０ｎｍから２５０ｎｍの範囲であるＰＤＭＳ層と、
高さが１５ミクロンから２５ミクロンの範囲であり、幅が５０ミクロンから６５ミクロンの範囲であるマイクロ流体流路と、
厚さが５００ｎｍから７００ｎｍの範囲であるＰＭＭＡ層と、
画像センサアレイとを備え、
コンピュテーショナル・フォトグラフィー技術により画像を生成することが可能であることを特徴とするオンチップ型ライトフィールド流体光学顕微鏡システム。
【請求項１３】
使い捨てマイクロ流体チップをＬＦ−ＯＦＭシステムに挿入することを可能とし、ＬＦ−ＯＦＭプラットフォームを用いた種々の病気の検知を可能とすることを特徴とする方法。
【請求項１４】
並列画像処理を行うシステムであって、複数のサンプルからなる異なる層を別々に撮像して、前記システムのスループットを高めることを特徴とするシステム。
【請求項１５】
複数の移動体通信ネットワークのサービスが得られる複数の遠隔地域で診断を行うために、自動コンピュータ画像認識アルゴリズムを４Ｄライトフィールド画像に適用してセルを識別することを特徴とする方法。
【請求項１６】
ＬＦ−ＯＦＭシステムのウェハレベル処理により大量生産を行う方法。
【請求項１７】
厚さが少なくとも６００ｎｍのポリメチルメタクリレート（ＰＭＭＡ）層をスピンコート形成して、各画素のサイズが１．７５μｍ×１．７５μｍで、撮像領域が３．６１ｍｍ×２．７２ｍｍである２０８１×１５３６画素アレイを有する順次走査ＣＭＯＳ画像センサの表面を平坦化し、
熱源を有する金属蒸着装置を用いて、前記ＰＭＭＡ層の上に少なくとも厚さ３００ｎｍの金層を成膜し、
集束イオンビーム装置を用いて、前記金層上の開口アレイのフライス加工を行い、
前記金層の上に２００ｎｍのＰＭＭＡ層をスピンコート形成して、開口を保護し、前記開口の直径は少なくとも０．７μｍであり、各開口が１２．２５μｍの間隔で配置され、
ソフトリソグラフィーでパターン形成されたマイクロ流体流路を有するポリジメチルシロキサン（ＰＤＭＳ）ブロックを、マスクアライナーによりセンサ上に配置することを特徴とするＬＦ−ＯＦＨＭの製造方法。
【請求項１８】
複数の画像センサを有するウェハの処理を行い、
複数の画像センサを有する前記ウェハに、スピンコートにより６００ｎｍのＰＭＭＡ層を形成し、
前記ＰＭＭＡ層の上に３００ｎｍの金層を蒸着し、
集束イオンビームを用いて、前記画像センサ上の開口アレイを全列にわたってフライス処理し、
ＰＤＭＳブロックにパターン形成を行って、前記個々の画像センサのそれぞれの上にマイクロ流体流路を形成し、
前記ウェハを切断し、
前記画像センサのそれぞれを実装することを特徴とするＬＦ−ＯＦＨＭの製造方法。
【請求項１９】
コンピュテーショナル・フォトグラフィーはホログラフィック画像再構成を含むことを特徴とする請求項１乃至１８のいずれかに記載のシステム又は方法。
【請求項２０】
ホログラムが、干渉縞の顕微鏡パターンとしての、２つのコヒーレント光線の相互作用の記録であることを特徴とする請求項１乃至１９のいずれかに記載のシステム又は方法。
【請求項２１】
ホログラムが、２つのコヒーレント光源により形成される干渉縞の写真表示であり、一方の光線が光源から直線的に進み、他方の光線が物理的な物体から散乱していることを特徴とする請求項１乃至２０のいずれかに記載のシステム又は方法。
【請求項２２】
画像センサが２つの光源によって露光され、照明を受けたときに三次元画像を生成するように処理が行われることを特徴とする請求項１乃至２１のいずれかに記載のシステム又は方法。
【請求項２３】
前記三次元の物体は、ホログラムによりｚ空間で捕捉されることを特徴とする請求項２２に記載のシステム又は方法。
【請求項２４】
ホログラムとライトフィールド原理とを組み合わせることにより、三次元の物体を多数の視角から十分に検査することを特徴とする請求項１乃至２３のいずれかに記載のシステム又は方法。
【請求項２５】
ホログラフィック画像は波動現象に依存することを特徴とする請求項１乃至２４のいずれかに記載のシステム又は方法。
【請求項２６】
前記システムはレンズレスであり、広い視野を有することを特徴とする請求項１乃至２５のいずれかに記載のシステム又は方法。
【請求項２７】
プラズモンレンズが複数ピンホール及び／又は他の回折格子を有することを特徴とする請求項１乃至２６のいずれかに記載のシステム又は方法。
【国際調査報告】
2013545138.tif 000020
2013545138.tif 000021