(57)【特許請求の範囲】
【請求項１】
・物体のホログラムの少なくともセクションを記録するように構成された光センサであって、互いに交差し、これにより十字形状を形成する２つの行の光記録素子で構成された光センサと、
・光センサに接続され、ホログラムから少なくとも１つの物体特性を抽出するように構成された処理ユニットとを備え、
処理ユニットは、物体の画像表現を再構成することなく、ホログラムのセクションだけから少なくとも１つの物体特性を抽出するように構成される、物体の少なくとも１つの特性を抽出するための装置。
【請求項２】
少なくとも１つの物体特性は、物体サイズ、物体タイプ、物体内部構造、又は物体均質性の少なくとも１つを含む請求項１記載の装置。
【請求項３】
物体は、生体細胞であり、
少なくとも１つの物体特性は、細胞のサイズ、細胞の核のサイズ、細胞タイプ、細胞内部構造、又は細胞均質性の少なくとも１つを含む請求項１記載の装置。
【請求項４】
物体は、赤血球または白血球または循環腫瘍細胞であり、
少なくとも１つの物体特性は、細胞のサイズ、細胞の核のサイズ、細胞タイプ、細胞内部構造、又は細胞均質性の少なくとも１つを含む請求項１記載の装置。
【請求項５】
処理ユニットは、フォトニック集積回路である請求項１記載の装置。
【請求項６】
・少なくとも１つの物体を含む流体サンプルを伝搬するための少なくとも１つの流体チャネルと、
・各流体チャネルと関連付けられ、該流体チャネルで伝搬する物体を照射するように位置決めされたコヒーレント光源と、
・請求項１記載の装置であって、各流体チャネルと関連付けられ、該流体チャネルにおいて照射された物体のホログラムのセクションを記録するように位置決めされた装置と、
・各流体チャネルと関連付けられたソータであって、装置に接続され、装置の下流側に位置決めされ、関連付けられた流体チャネルにおいて照射された物体を選別するように構成されたソータとを備える、インフロー物体選別システム。
【請求項７】
・物体を含む流体サンプルを用意するステップと、
・物体を照射するステップと、
・照射された物体のホログラムを記録するステップと、
・記録したホログラムから物体の少なくとも１つの特性を抽出するステップと、
・該物体の抽出した少なくとも１つの特性に基づいて物体を選別するステップとを含み、
物体の少なくとも１つの特性の抽出は、物体の画像表現を再構成することなく、記録したホログラムのセクションだけを用いて実施される、請求項１記載の装置を用いて物体の少なくとも１つの特性を抽出するための方法。
【請求項８】
ホログラムの記録は、ホログラムを表現する光の強度および位相を記録することを含み、物体の少なくとも１つの特性の抽出は、光の記録した強度および記録した位相を用いる請求項７記載の方法。
【請求項９】
処理ユニットは、少なくとも１つの物体特性を抽出するために較正された機械学習コンポーネントを備える請求項１記載の装置。
【請求項１０】
機械学習コンポーネントは、人工ニューラルネットワークまたはサポートベクターマシンを備える請求項９記載の装置。
【請求項１１】
ホログラムを記録し、少なくとも１つの物体特性を抽出することは、ホログラムの光を受信することと、光を電気信号に変換することなく、受信した光を用いて少なくとも１つの物体特性を判断することとを含む請求項１記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、粒子特性評価のための装置および手法に関する。特に本発明は、レンズフリー装置に関する。さらに特に本発明は、インフロー(in flow)粒子特性評価のための流体装置に関する。
【背景技術】
【０００２】
デジタルホログラフィック顕微鏡法において、光照射された物体からの光波面情報がホログラムとしてデジタル的に記録される。ホログラムから物体の画像表現を再構成することによって、物体の特性が該画像表現から抽出できる。しかしながら、こうした再構成は、高い計算コストに関係し、物体特性評価の速度を制限する。
【０００３】
ホログラム、明視野画像またはフラウンホーファ回折パターンから粒子および分布特性を抽出することは、過去において既に研究されており、一般に、反転、非線形パターンマッチングを含む種々の数値アルゴリズムを適用し、または画像解析分解(decomposition)を実施することによって解決される。特殊な関数の積分または高速フーリエ変換の大量使用がこれらのアルゴリズムの大部分で介入するため、高速で実施する必要がある場合、計算コストでの膨大な増加に悩まされる。このことは、高いスループット応用でのリアルタイム粒子特性評価を大幅に制限する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、低い計算コストで物体の高速かつ正確な特性評価を可能にする装置および方法を提供することである。
【課題を解決するための手段】
【０００５】
上記目的は、本発明に係る方法および装置によって達成される。
本発明の第１態様において、物体の少なくとも１つの物体特性を抽出するための装置が提示され、
物体のホログラムを記録するように構成された光センサと、
光センサに接続された処理ユニットであって、ホログラムから少なくとも１つの物体特性を抽出するように構成された処理ユニットとを備え、
処理ユニットは、物体の画像表現を再構成することなく、ホログラムのセクション(区分,section)だけから少なくとも１つの物体特性を抽出するように構成される。
【０００６】
本発明の実施形態によれば、光センサは、少なくとも１つの物体特性を抽出するために使用されるホログラムのセクションだけを記録するように構成される。
【０００７】
本発明の実施形態によれば、光センサは、ホログラムのセクションを記録するための単一行(row)の光記録素子で構成される。
【０００８】
本発明の実施形態によれば、光センサは、互いに交差し、これにより十字形状を形成する２つの行(row)の光記録素子で構成される。
【０００９】
本発明の実施形態によれば、処理ユニットは、少なくとも１つの物体特性を抽出するために較正された機械学習コンポーネント、例えば、人工ニューラルネットワークを備える。
【００１０】
本発明の実施形態によれば、処理ユニットは、少なくとも１つの物体特性を抽出するために較正されたサポートベクターマシンを備える。
【００１１】
本発明の実施形態によれば、ホログラムを記録し、少なくとも１つの物体特性を抽出することは、ホログラムの光を受信することと、光を電気信号に変換することなく、直接受信した光を用いて少なくとも１つの物体特性を判断することとを含む。
【００１２】
本発明の実施形態によれば、光センサは、ホログラムの光の強度および位相を記録するように構成される。そして処理ユニットは、記録した強度および位相を用いて少なくとも１つの物体特性を抽出するように構成される。
【００１３】
本発明の実施形態によれば、光センサは、ホログラムを記録するための光学結合素子、例えば、グレーティングカプラを備える。
【００１４】
本発明の実施形態によれば、少なくとも１つの物体特性は、物体サイズ及び／又は物体タイプ及び／又は物体内部構造及び／又は物体均質性(homogeneity)を含む。
【００１５】
本発明の実施形態によれば、物体は、生体細胞である。
【００１６】
本発明の実施形態によれば、少なくとも１つの物体特性は、細胞のサイズ及び／又は細胞の核のサイズ及び／又は細胞タイプ及び／又は細胞内部構造及び／又は細胞均質性を含む。
【００１７】
本発明の実施形態によれば、物体は、赤血球または白血球または循環腫瘍細胞である。
【００１８】
本発明の実施形態によれば、処理ユニットは、フォトニック集積回路である。
【００１９】
本発明の実施形態によれば、処理ユニットは、フォトニックコンポーネントで構成される。
【００２０】
本発明の実施形態によれば、装置はさらに、流体チャネル、例えば、マイクロ流体チャネルを備える。こうした実施形態において、光センサは、流体チャネルにおいて光照射された物体のホログラムが光センサによって記録または撮像できるように位置決めされる。
【００２１】
本発明の第２態様において、インフロー物体選別システムが提示され、
少なくとも１つの物体を含む流体サンプルを伝搬するための少なくとも１つの流体チャネルと、
各流体チャネルと関連付けられ、該流体チャネルで伝搬する物体を照射するように位置決めされたコヒーレント光源と、
第１態様またはその実施形態のいずれかに記載されたような装置であって、各流体チャネルと関連付けられ、該流体チャネルにおいて照射された物体のホログラムを記録または撮像するように位置決めされた装置と、
各流体チャネルと関連付けられたソータであって、装置に接続され、装置の下流側に位置決めされたソータとを備え、
ソータは、抽出された少なくとも１つの物体特性に基づいて、関連付けられた流体チャネルにおいて照射された物体を選別するように構成される。
【００２２】
本発明の第３態様において、物体の少なくとも１つの物体特性を抽出するための方法が提示され、
少なくとも１つの物体を含む流体サンプルを用意するステップと、
少なくとも１つの物体を照射するステップと、
照射された少なくとも１つの物体のホログラムを記録するステップと、
記録したホログラムから少なくとも１つの物体からの少なくとも１つの特性を抽出するステップとを含み、
物体の少なくとも１つの特性の抽出は、少なくとも１つの物体の画像表現を再構成することなく、記録したホログラムのセクション(section)だけを用いて実施される。
【００２３】
本発明の実施形態によれば、ホログラムの記録は、ホログラムを表現する光の強度および位相を記録することを含み、少なくとも１つの物体の少なくとも１つの特性の抽出は、記録した強度および位相を用いて行われる。
【００２４】
本発明の第４態様において、インフロー物体を選別する方法が提示され、
上述したような少なくとも１つの物体の少なくとも１つの物体特性を抽出するための方法を含み、
さらに該物体の抽出した少なくとも１つの特性に基づいて各物体を選別することを含む。
【００２５】
本発明の実施形態の利点は、低い計算複雑さで高い精度で物体を識別できる装置を提供することである。
【００２６】
本発明の実施形態の利点は、高速で、例えば、秒当り１０００００〜百万個の物体で細胞のリアルタイム分類を可能にするシステムを提供することである。
【００２７】
本発明の特定かつ好ましい態様が、添付した独立および従属の請求項に記述されている。従属請求項からの特徴は、独立請求項の特徴および他の従属請求項の特徴と適切に組み合わせてもよく、請求項に明示的に記述されたものだけに限らない。
【００２８】
本発明のこれらおよび他の態様が、以下に記載した実施形態を参照して明らかになり解
明されるであろう。
【図面の簡単な説明】
【００２９】
【図１】細胞の識別を示す。
【図２】本発明の実施形態に係る装置を示す。
【図３Ａ】本発明の実施形態に係る装置を示す。
【図３Ｂ】本発明の実施形態に係る装置を示す。
【図３Ｃ】本発明の実施形態に係る装置を備えた流体チャネルを示す。
【図３Ｄ】本発明の実施形態に係る装置を備えた流体チャネルを示す。
【図３Ｅ】本発明の実施形態に係る装置を備えた流体チャネルを示す。
【図４】本発明の実施形態に係る装置を示す。
【図５】本発明の実施形態に係る物体選別システムを示す。
【図６】本発明の実施形態に係る物体選別システムの断面を示す。
【図７】本発明の実施形態に係る物体を識別する方法のフローチャートである。
【図８】本発明の実施形態に係る物体を選別する方法のフローチャートである。
【図９】本発明の実施形態で使用可能である、入射平面波を用いたミー(Mie)散乱部分および、ホログラムを記録する粒子後方のインライン画像センサを示す。
【図１０】本発明の実施形態で使用可能である、放射対称ホログラムの撮像および人工ニューラルネットワークによる処理を示す。
【図１１】本発明の実施形態で使用可能である、コア直径およびシェル直径の結合分布を示す。
【図１２】本発明の実施形態を用いて取得されるように、試験セットでの各予測についての局所相対誤差を示す。
【図１３】本発明の実施形態を用いて取得されるように、試験セットでの各予測についての局所相対誤差をさらに示す。
【００３０】
図面は、概略的に過ぎず、非限定的なものである。図面において、要素の幾つかのサイズは、説明目的のために誇張したり、縮尺どおり描写していないことがある。
【００３１】
請求項での任意の参照符号は、範囲を制限するものとして解釈すべきでない。
【００３２】
異なる図面において、同じ参照符号は、同じまたは類似の要素を参照する。
【発明を実施するための形態】
【００３３】
本発明は、特定の実施形態に関して一定の図面を参照して説明するが、本発明はこれに限定されず、請求項によってのみ限定される。記載した図面は、概略的に過ぎず非限定的なものである。図面において、幾つかの要素のサイズは、説明目的のために誇張したり、縮尺どおり描写していないことがある。寸法および相対寸法は、本発明の実際の具体化に対応していない。
【００３４】
さらに、説明および請求項での用語「第１」「第２」などは、類似の要素を区別するために使用しており、必ずしも時間的、空間的、ランキングまたは他の手法での順番を記述するためではない。こうして使用した用語は、適切な状況下で交換可能であり、ここで説明する本発明の実施形態は、ここで説明したり図示したものとは別の順番で動作可能であると理解すべきである。
【００３５】
請求項で使用される用語「備える、含む(comprising)」は、それ以降に列挙された手段に限定されるものと解釈すべきでなく、他の要素またはステップを除外していないことに留意する。記述した特徴、整数、ステップまたは構成要素の存在を、参照したように特定するように解釈する必要があるが、１つ又はそれ以上の他の特徴、整数、ステップまたは構成要素、あるいはこれらのグループの存在または追加を除外していない。こうして表現「手段Ａ，Ｂを備えるデバイス」の範囲は、構成要素Ａ，Ｂのみから成るデバイスに限定すべきでない。本発明に関して、デバイスの関連した構成要素だけがＡとＢであることを意味する。
【００３６】
本明細書を通じて「一実施形態」または「実施形態」への参照は、実施形態との関連で記載した特定の特徴、構造または特性が本発明の少なくとも１つの実施形態に含まれることを意味する。こうして本明細書を通じていろいろな場所での「一実施形態」または「実施形態」の語句の出現は、必ずしも全て同じ実施形態を参照していないが、そうこともある。さらに、１つ又はそれ以上の実施形態において、本開示から当業者にとって明らかなように、特定の特徴、構造または特性は、いずれか適切な方法で組み合わせてもよい。
【００３７】
同様に、本発明の例示の実施形態の説明において、本開示を合理化し、本発明の１つ又はそれ以上の種々の態様の理解を支援する目的で、単一の実施形態、図面、または説明において、本発明のいろいろな特徴が一緒にグループ化していることがあると理解すべきである。しかしながら、この開示の方法は、請求項の発明が、各請求項で明示的に記載したものより多くの特徴を必要とするという意図を反映していると解釈すべきでない。むしろ下記の請求項が反映しているように、発明の態様は、単一の前述した開示実施形態の全ての特徴より少ない場合がある。こうして詳細な説明に追従する請求項は、この詳細な説明の中に明示的に組み込まれており、各請求項は、本発明の別々の実施形態として自立している。
【００３８】
さらに、ここで説明した幾つかの実施形態が、他の実施形態に含まれる幾つかの他でない特徴を含むとともに、当業者によって理解されるように、異なる実施形態の特徴の組合せが本発明の範囲内にあって、異なる実施形態を構成することを意味する。例えば、下記の請求項において、請求した実施形態の何れも、何れの組合せで使用可能である。
【００３９】
ここで提供した説明では、多数の具体的な詳細を説明している。しかしながら、本発明の実施形態は、これらの具体的な詳細なしで実施してもよいことは理解されよう。別の例では、本説明の理解を曖昧にしないために、周知の方法、構造、および技法は詳細には示していない。
【００４０】
説明を通じて「流体サンプル」が参照される。「流体サンプル」は、個人の身体から隔離できる任意の体液を参照してもよい。こうした体液は、これに限定されないが、血液、血漿、血清、胆汁、唾液、尿、涙、汗を参照してもよい。流体サンプルはまた、流体またはマイクロ流体システムでの物体または成分を輸送するのに適した任意の流体、例えば、生理食塩水を参照してもよい。物体は、例えば、血液、血漿、血清、胆汁、唾液、尿、涙、汗に含まれる成分のいずれかを参照してもよい。
【００４１】
説明を通じて「光センサ」が参照される。これは、光信号を記録または撮像するのに適した任意の電気または光学コンポーネントを参照してもよい。例えば、画像センサまたはフォトニックコンポーネントまたは回路、例えば、グレーティングカプラ。
【００４２】
説明を通じて「ホログラム」が参照される。これは、伝統的にコヒーレント光を発生すするコヒーレント光源によって照射される物体の干渉パターンを参照する。こうした干渉パターンは、物体からの散乱光およびコヒーレント光源からの元の光の干渉によって形成される。
【００４３】
本発明の実施形態において「ホログラムの一部」が参照された場合、ホログラムの全てが参照されない。「ホログラムの一部」は、ホログラムの９０％未満、例えば、ホログラムの７５％未満、例えば、ホログラムの５０％未満、例えば、ホログラムの３０％未満を包含する。
【００４４】
背景セクションで上述したように高い計算コストの問題は、物体の記録したホログラムの情報の一部だけを使用することによって解決される。発明者によって観察されるのは、ホログラム情報の一部が廃棄された場合、物体特性がホログラムから抽出できることである。ホログラム情報の一部だけを使用し、ホログラム全部から物体の再構成を実施しないことによって、計算コストが劇的に低減できる。
【００４５】
本発明の異なる態様が下記段落において説明される。
【００４６】
本発明の第１態様において、装置が提示される。装置は、完全に集積した装置、例えば、チップでもよい。装置は、物体の物体特性を抽出するために使用できる。これらの物体特性は、少なくとも、これに限定されないが、下記特性、即ち、物体タイプ、物体サイズ、物体内部構造または物体均質性の１つでもよい。特に物体が生体細胞である場合、これらの物体特性は、細胞タイプ、細胞サイズ、細胞内部構造または細胞均質性でもよい。装置は、物体のホログラムを記録するための光センサを備える。この光センサは、コヒーレント光源によって照射される物体の干渉パターン（＝ホログラム）を撮像または記録するのに適した検知面(sensing side)を備える。例えば、検知面の上方に設置された物体が照射された場合、物体からの散乱光およびコヒーレント光源からの元の光の干渉によって形成される干渉パターンが、この検知面によって撮像または記録できる。装置はさらに、光センサに接続された処理ユニットを備え、撮像または記録されたホログラムが処理ユニットによって受信できるようになる。処理ユニットは、記録したホログラムのセクションだけを用いることによって、照射された物体から特性を抽出するように構成される。
【００４７】
ホログラムの技術で知られているのは、ホログラムを半分に分割した場合、全体シーンがホログラムの各部分で見えることであり、ホログラフィック記録での各ポイントがシーンでの全てのポイントから散乱した光に関する情報を含むためである。発明者によって観察されたのは、物体特性がホログラム情報の一部から抽出できることである。図１のグラフは、実験の結果を表す。図１は、異なるタイプの細胞（単球１１１、Ｔ細胞１１２、顆粒球１１３）が、細胞のホログラムの情報の一部、この場合は１次元放射スライスだけを用いて識別できることを示す。本発明の利点は、処理する必要がある情報がより少なく、これにより計算コストの低減をもたらすことである。図１のデータは、データセットの全ての２Ｄ画像から１Ｄ放射スライスを抽出または選択することによって取得された。１Ｄ放射スライスは、光センサの光記録素子の単一ラインを表す。
【００４８】
本発明の実施形態によれば、光を撮像または記録する場合、スライスの場所は物体の中心と整列している。こうして物体のホログラムを撮像する場合、スライスは、ホログラムの中心がスライスと整列するように位置決めされる。スライスの幅の選択は、物体特性評価について適切な速度を達成しつつ、ユーザによって提供できる計算コストに依存する。例えば、幅は、５０μｍ以下、例えば、４０μｍ、３０μｍ、２０μｍ、１０μｍ、５μｍまたはそれ以下でもよい。特定の実験において、発明者は、物体特性評価が、各画素が１６μｍ×１６μｍのサイズを有する画素のスライスで行えることを発見した。簡単な試行錯誤実験を実施することによって、スライスの適切な幅が決定できる。こうした実験の際、スライスの幅に関連した計算コストが決定できる。
【００４９】
本発明の実施形態が、図２に示す設定で特徴付けられる。該設定は、コヒーレント光源１０５と、物体１０６と、装置１００とを備える。コヒーレント光源１０５は、コヒーレント光源１０５によって発生した光波面１０７が物体１０６を照射するように位置決めされる。光センサ１０１は、照射された物体のホログラム１０８が光センサ１０１によって記録できるように位置決めされる。処理ユニット１０２が、光センサ１０１に接続され、記録したホログラム１０８のセクションだけについて処理を実施する。代替として、コヒーレント光源１０５からコヒーレント光を生成するための手段、例えば、１つ以上のピンホールを備えた構造が使用できる。こうした手段の使用は、この説明に開示された全ての実施形態に適用する。
【００５０】
本発明の実施形態によれば、図２に示すように、光センサは、物体の完全なホログラムを記録する。このホログラムは、処理ユニットに転送される。処理ユニットは、ホログラムのセクションを抽出する。この抽出は、簡単な画像処理ステップを含んでもよい。この画像処理ステップは、処理ユニットによって実施できる。ホログラム情報の残りは廃棄される。ホログラムの抽出したセクションだけが処理ユニットによって使用され、物体特性を抽出する。
【００５１】
本発明の他の実施形態によれば、光センサは、ホログラムのセクションだけ、例えば、ライン走査または１Ｄライン走査だけを記録するように構成される。そしてこのセクションは、処理ユニットに転送される。例えば、光センサの検知面のエリアの一部だけがアクティブである。そしてこのアクティブエリアが、ホログラムのセクションを記録するために使用される。例えば、従来の画像センサが使用でき、その検知面の一部だけ、例えば、画素の単一行(row)がアクティブである。本発明の利点は、ホログラムのセクションだけを記録することによって、装置の電力消費が低減できる。複数の装置を備える大規模並列化システムにおいて、電力消費のこの低減は重要な利点である。
【００５２】
本発明の実施形態によれば、光センサの幾何形状は、処理のために必要とされるホログラムのセクションの幾何形状に適応される。従って、光センサのサイズは、物体の完全なホログラムのサイズより小さい。換言すると、光センサの幾何形状は、識別のために必要とされるホログラムのセクションの幾何形状に対応する。
【００５３】
本発明の特定の実施形態によれば、光センサは、ホログラムのセクションを記録するための２つ、３つまたは４つの行の光記録素子で構成される。
【００５４】
本発明の特定の実施形態によれば、光センサは、ホログラムのセクションを記録するための単一行の光記録素子で構成される。単一行の光記録素子は、ホログラムのスライスが記録できるように位置決めされる。例えば、行は、物体の中心が撮像できるように位置決めされる。単一行の光記録素子は、１Ｄ放射スライスでもよい。これは、配向が物体の伝搬経路に対して垂直であるスライスである。単一行の光記録素子はまた、１Ｄ軸方向スライスでもよい。これは、配向が物体の伝搬経路に対して略平行であるスライスである。
【００５５】
本発明の実施形態が、図３Ａに示す設定で特徴付けられる。この設定の特定の部分は、図２の説明した設定に類似する。しかしながら、この設定において、光センサ１０１は、ホログラム１０８のセクションだけが記録されるようなサイズを有する。本発明の特定の実施形態によれば、光センサ１０１の幾何形状は、物体１０６のホログラム１０８のスライスに対応する。こうして２Ｄ画像を記録する代わりに、光センサ１０１は、ホログラム１０８の１Ｄスライス、例えば、１Ｄ放射スライスを記録するだけである。
【００５６】
本発明の実施形態によれば、光センサは、互いに交差する２つの行の光記録素子で構成され、これにより十字形状を形成する。２つの行は、互いに垂直に位置決めしてもよい。こうして特定の実施形態において、放射１Ｄスライスが１Ｄ軸方向スライスと組合せてもよく、ホログラフィックデータセットを低減するとともに、物体特性評価の抽出をさらに改善する。１Ｄ放射スライスおよび１Ｄ軸方向スライスの組合せはまた、物体の検出を簡略化する。例えば、それは、物体の不整列(misalignment)を補償できる。これは、物体が軌跡経路に沿って伝搬する流体チャネルにおいて好都合となる。所定の軌跡経路と整列しない物体は、ホログラフィックデータセットを低減しつつ、検出および撮像可能である。
【００５７】
本発明の実施形態が、図３Ｂに示す設定で特徴付けられる。この設定の特定の部分は、図２の説明した設定に類似する。しかしながら、この設定において、光センサ１０１は、１Ｄ放射スライスおよび１Ｄ軸方向スライスの組合せである。光センサ１０１は、十字形状を有する。２Ｄ画像を記録する代わりに、光センサ１０１は、ホログラム１０８の放射１Ｄスライスおよび軸方向１Ｄスライスを記録する。そして組合せホログラフィック情報が処理ユニット１０２に転送される。
【００５８】
図３Ｃは、光センサ１０１を備える流体チャネル１０３を示す。光センサ１０１は、放射１Ｄスライスである。スライスの配向は、流体チャネル１０３の配向に対して略垂直であり、または、流体チャネル１０３での物体１０６の伝搬経路の方向に対して略垂直である。
【００５９】
図３Ｄは、光センサ１０１を備える流体チャネル１０３を示す。光センサ１０１は、軸方向１Ｄスライスである。スライスの配向は、流体チャネル１０３の配向に対して略平行であり、または、流体チャネル１０３での物体１０６の伝搬経路の方向に対して略平行である。
【００６０】
図３Ｅは、光センサ１０１を備える流体チャネル１０３を示す。光センサ１０１は、放射１Ｄスライスと組み合わせた軸方向１Ｄスライスである。
【００６１】
本発明の実施形態によれば、光記録素子は、光信号を電気信号に変換する素子、例えば、画像センサの画素でもよい。こうした場合、光センサは、処理ユニットに、電気的に接続、例えば、電気的に配線または接合される。光センサは、従来の画像センサ、例えば、ＣＭＯＳイメージャでもよい。
【００６２】
本発明の他の実施形態によれば、光記録素子は、ホログラムの光を拾い上げまたは捕獲する光学入射結合(in-coupling)素子でもよい。これらの素子は、光を、例えば、光導波路に結合するグレーティングカプラでもよい。こうした光学素子は、例えば、１０μｍ×１０μｍの幾何形状を有してもよい。これらの光学入射結合素子は、光を電気信号に変換しない。全く変換が実施されない。光学素子は、光を、例えば、光導波路に再案内する装置として単に機能する。これらの光学入射結合素子は、基板上にパターン化されたナノまたはマイクロ構造でもよい。これらは、これらの構造に入る光が、例えば、基板上に存在する光導波路に案内されるように設計される。利点として、ホログラムの光学情報、例えば、位相情報が失われない。こうした実施形態において、光センサは、処理ユニットに光学的に接続される。こうして光学結合素子によって受信される光は、処理ユニットに再案内または直接転送される。処理は、拾い上げた光信号を入力として受信するフォトニック集積回路でもよい。光センサと処理ユニットとの間の光結合は、１つ以上の光導波路によって実装してもよい。こうして本発明のこの実施形態によれば、ホログラムを記録し、少なくとも１つの物体特性を抽出することは、１）ホログラムの光を受信することと、２）光を電気信号に事前に変換することなく、直接受信した光から少なくとも１つの物体特性を判断することを含む。
【００６３】
本発明の実施形態が、図４に示す設定で特徴付けられる。図４は、図２に示すものと類似した部分を有する設定を示す。光センサ１０１の検知面は、光を捕獲するための光学入射結合素子１０９を備える。光学結合素子１０９は、光導波路１１０に光学的に接続される。光導波路１１０は、処理ユニット１０２に光学的に接続され、ホログラムの光を処理ユニット１０２に配給する。
【００６４】
本発明の実施形態によれば、光センサは、ホログラムの光の強度および位相情報を撮像または記録するように構成される。そして処理ユニットは、撮像または記録した強度および位相情報から物体特性を抽出するように構成される。強度とは別に、ホログラムの光の位相も撮像または記録されることが利点である。強度および位相から物体特性を抽出することによって、抽出が改善され、試験用物体のより高感度で正確な特性評価をもたらす。強度および位相情報の同時記録は、例えば、上述したような光学結合素子を用いて光信号を拾い上げ、光信号を処理ユニットに直接転送することによって実施できる。そして強度および位相情報は、物体特性の抽出のために処理ユニットに転送される。
【００６５】
本発明の実施形態によれば、処理ユニットは、少なくとも１つの物体特性を抽出するために較正または訓練された機械学習コンポーネントを備える。機械学習は、人工ニューラルネットワーク（ＡＮＮ）またはサポートベクターマシンを含んでもよく、またいずれか他の機械学習手法、例えば、決定木学習(decision tree learning)、相関ルール学習(association rule learning)、深層学習(deep learning)、帰納的論理プログラミング、クラスタリング、ベイジアン・ネットワーク、強化学習(reinforcement learning)、表現学習(representation learning)、類似度計量学習(similarity and metric learning)、希薄辞書学習(sparse dictionary learning)、遺伝的アルゴリズム(genetic algorithm)を含んでもよい。処理ユニットはまた、複数の機械学習コンポーネント、例えば、ＡＮＮを含んでもよく、各機械学習コンポーネントは、特定の物体特性を抽出するために較正される。例えば、第１機械学習コンポーネント、例えば、ＡＮＮは、物体、例えば、細胞のタイプを検出するように訓練できる。第２機械学習コンポーネント、例えば、ＡＮＮは、物体、例えば、細胞核の半径を決定するように訓練できる。機械学習コンポーネント、例えば、ＡＮＮの訓練または較正は、典型的には誤差逆伝搬(back-propagation)と称されるアルゴリズムを用いて、これらに多数のラベル化した訓練例を最初に提供することによって実施される。こうした機械学習コンポーネント、例えば、ＡＮＮは、ハードウェア実装の機械学習コンポーネント、例えば、ＡＮＮでもよい。機械学習コンポーネント、例えば、ＡＮＮは、処理ユニットに存在する１つ以上のコア、例えば、プロセッサによって実行されるソフトウェアルーチンでもよい。機械学習コンポーネント、例えば、ＡＮＮはまた、フォトニックニューラルネットワークでもよい。こうした実施形態において、処理ユニットは、電気信号の代わりに入力として光を使用するフォトニック回路である。利点として、電気信号への光の変換が行われないため、光の位相情報が失われない。光学位相情報は、物体識別の精度を増加させるために使用できる。また、処理ユニットが直接受信した光を処理するため、物体を識別する時間は減少する。文献（B. Schneider et al., Proc. of SPIE Vol. 9328 93281F-1）が参照され、これはフローサイトメトリー装置でのＡＮＮの実装を説明しており、参照によりここに組み込まれる。
【００６６】
本発明の実施形態によれば、処理ユニットは、文献（K. Vandoorne et al., Nature Communications, vol. 5, paper 3541, 2014）で説明されるように、フォトニック・リザーバ(reservoir)計算概念のハードウェア実装でもよく、文献は参照によりここに組み込まれる。本実施形態の利点は、光学位相情報を使用して、物体識別の精度を増加できることである。本実施形態の更なる利点は、リザーバ処理自体が電力を消費しないため、電力消費を最小に低減できることである。
【００６７】
本発明の実施形態によれば、処理ユニットは、効率的な物体特性抽出のために設計されたマルチプロセツサアーキテクチャを備える。利点として、異なる物体特性の抽出は、並列で実施でき、これにより総物体特性評価時間を減少させる。
【００６８】
本発明の実施形態によれば、処理ユニットは、本例において、少なくとも１つの物体特性を抽出するために較正または訓練されたサポートベクターマシン（ＳＶＭ）である機械学習コンポーネントを備える。ＳＶＭの較正または訓練は、上述しまたは他の機械学習コンポーネントのように、ＡＮＮの較正または訓練に類似する。
【００６９】
本発明の実施形態によれば、少なくとも１つの物体特性は、物体サイズ及び／又は物体タイプ及び／又は物体内部構造及び／又は物体均質性(homogeneity)を含む。本発明の実施形態によれば、物体は生体細胞である。本発明の実施形態によれば、少なくとも１つの物体特性は、細胞のサイズ及び／又は細胞の核のサイズ及び／又は細胞タイプ及び／又は細胞内部構造及び／又は細胞均質性を含む。本発明の実施形態によれば、物体は、血液細胞、例えば、赤血球（ＲＢＣ）または白血球（ＷＢＣ）または循環腫瘍細胞（ＣＴＣ）である。
【００７０】
装置は、サンプルホルダに存在する物体を識別するためにサンプルホルダの下方に配置してもよい。サンプルホルダは、基板、例えば、シリコン基板中の空洞または流体チャネルでもよい。サンプルホルダはまた、透明基板、例えば、ガラス基板でもよい。
【００７１】
本発明の他の実施形態によれば、物体の少なくとも１つの物体特性を抽出するための装置が提示される。装置は、ホログラムから少なくとも１つの物体特性を抽出するように構成されたフォトニック回路を備える。フォトニック回路は、フォトニック回路への光学入力として機能する光学入射結合素子のセットを備える。光学入射結合素子は、照射された物体のホログラムが撮像できるように位置決めされたグレーティングカプラでもよい。例えば、光学素子のマトリクスが、完全なホログラムが撮像できるように、２Ｄ表面に位置決めされる。こうしたマトリクスは、画素が光学入射結合素子で置換される従来の画像センサに相当し、入射結合素子によって捕獲された光がフォトニック回路に直接に供給される。フォトニック回路はさらに、光学入射結合素子に光学的に接続されたフォトニック処理ユニットを備える。本発明の利点は、直接捕獲された光が、電気信号への変換なしでフォトニック回路によって処理されることである。これは、処理を加速し、電力消費を最小に減少させる。
【００７２】
本発明の実施形態によれば、装置は、レンズフリー装置である。こうしてコヒーレント光源と物体との間および物体と装置との間にレンズが存在しない。
【００７３】
装置は、静的設定で使用してもよく、これは、透明なサンプルホルダと、サンプルホルダに設けられた流体サンプルを照射するためのコヒーレント光源と、照射後に、設けられた流体サンプル中の物体を識別するためにサンプルホルダの下方に位置決めされた装置とを備える。こうした設定において、流体サンプルは伝搬しない。この設定において、従来の画像センサが使用でき、複数の物体のホログラムを画像内に同時に記録する。そして処理ユニットは、画像内の異なるホログラムを検出し、各ホログラムからセクションを抽出するように構成される。これらのステップは、処理ユニット上で走る簡単な画像処理ステップを用いて行ってもよい。そして処理ユニットはさらに、各抽出されたセクションから物体特性を抽出するように構成される。
【００７４】
本発明の第２態様において、物体選別システムが提示される。システムは、流体サンプル中に存在する異なるタイプの物体、例えば、細胞を選別できる。システムは、物体を含む流体サンプルを伝搬するための少なくとも１つの流体チャネルを備える。システムは、流体サンプルを異なる流体チャネルに渡って配給するための複数の流体チャネル、例えば、１００個または１０００個のチャネルを備えてもよく、物体識別および選別を並列で実施できる。流体チャネルは、マイクロ流体チャネルでもよい。システムはさらに、伝搬する物体を照射するための少なくとも１つのコヒーレント光源を備える。コヒーレント光源は、流体チャネル内の物体がレンズフリー撮像目的のために充分に照射できるように、各流体チャネルと関連付けられる。そして各流体チャネルは、コヒーレント光源または光信号で照射できる。コヒーレント光源は、光信号が物体選別システムに渡って各流体チャネルに配給される単一のコヒーレント光源でもよい。こうした配給は、光学配給ネットワークを用いることによって達成できる。各流体チャネルでは、光学出射結合(out-coupling)構造、例えば、グレーティングカプラが、光信号を光学配給ネットワークから結合し、該流体チャネルを照射するために関連付けてもよい。システムはさらに、本発明の第１態様で説明したような少なくとも１つの装置を備える。装置は、流体チャネルを通して照射され伝搬される際、流体チャネル内の物体のホログラムが撮像または記録できるように、各流体チャネルに位置決めされる。装置は、例えば、流体チャネルの壁を形成してもよい。装置はまた、照射された物体から光が受信できるように、流体チャネルの透明壁の下方に位置決めしてもよい。流体チャネルの下流には、ソータが位置決めされる。ソータは、マイクロ流体ソータでもよい。ソータは、流体チャネルに接続、例えば、流体接続され、流体チャネル中で伝搬する物体の軌跡経路の操作を可能にする。こうした操作は、加熱素子を用いて該流体チャネルにおいてマイクロ気泡を発生することを含んでもよい。ソータはまた、処理ユニットから情報を受信するための装置と、例えば、電気的に接続される。処理ユニットの出力に基づいて、ソータは、その抽出された物体特性に従って物体を選別する。
【００７５】
図５は、物体選別システム２００の実施形態を示す。流体チャネル１０３は、物体１０６を含む流体サンプルを伝搬する。各物体がチャネル１０３を通って伝搬すると、それはコヒーレント光源１０５の光波面１０７を通過させ照射される。照射された物体のホログラムが、光センサ１０１によって記録または照射される。ホログラムは、処理ユニット１０２に転送される。ホログラムからの物体特性の抽出後、処理ユニット１０２は、ソータ１０５を通過する際、ソータ１１５に物体を選別するように指示する。ソータ１１５のレベルにおいて、流体チャネルは、２つの他の流体チャネルに分割される。物体特性に応じて、物体は、ソータ１１５によって適切な他の流体チャネルに選別、例えば、偏向される。異なって決定される物体特性の数に応じて、流体チャネルは、複数の他の流体チャネルまたは井戸に分割してもよい。
【００７６】
物体選別システムは、マイクロチップでもよい。マイクロチップは、半導体処理手法、例えば、ＣＭＯＳ処理ステップを用いて完全に製造してもよい。本発明の利点は、物体選別がオンチップ(on-chip)で完全に実施してもよいことである。これは、システムのコンパクト性および低コストに寄与する。マイクロチップの層は、例えば、基板、例えば、シリコン基板、コヒーレント光源、光センサ、流体チャネル、ソータおよび処理ユニットを備えてもよい。
【００７７】
図６は、図５の断面Ａ−Ａ’の実施形態を示す。基板１１６が、全体システムを支持する。これは、半導体基板、例えば、シリコン基板でもよい。半導体層１１７が、基板１１６の上部に設置される。この層１１７は、半導体酸化物層でもよい。層１１７には、光センサ１０１、処理ユニット１０２およびソータ１１５が埋め込まれる。層１１７はまた、光センサ１０１を処理ユニット１０２に、そして処理ユニット１０２をソータ１１５に、例えば、電気的または光学的に接続するカップリング１１４，１２０を備える。光センサ１０１、処理ユニット１０２、ソータ１１５および、これらのコンポーネント間のカップリング１１４，１２０は、システムの製造方法に応じて、マイクロチップの同じ層または異なる層に設置してもよい。さらにその上に、流体チャネル１０３が設置される。流体チャネル１０３の上に、コヒーレント光源１０５を備える層１１８が設置される。層１１８は、半導体層、例えば、半導体酸化物層でもよい。図６において、コヒーレント光源１０５は、光導波路である。光導波路は、光センサ１０１の上方にある流体チャネル１０３に設置された物体１０６が照射でき、そのホログラムが光センサ１０１によって記録できるように、光センサ１０１の上方に設置された、光学出射結合構造１１９、例えば、グレーティングカプラを備える。本発明の実施形態によれば、システムは、複数の流体チャネルを備え、各流体チャネルは、該流体チャネルの光照射のために、それと関連付けられたこうした光学出射結合構造を有する。
【００７８】
本発明の特定の実施形態によれば、物体選別システムは、秒当り百万個の物体を選別可能である。システムは、１０００個の流体チャネルを備える。各流体チャネルは、１０００個の物体／秒を処理可能である。各流体チャネルは、該流体チャネルを通って伝搬する物体のホログラムのスライスを記録する、５１２画素（単一画素ライン）を備えた光センサを備える。光センサは、２５Ｍサンプル／秒を記録可能である。記録されたスライスは、各ホログラムスライスを１ミリ秒未満で処理する３ベクトル積(product)（３乗算−累積(Multiply-Accumulate）＋Ｍａｘ）ＳＶＭに転送される。ＳＶＭは、ＳＶＭの処理結果に基づいて細胞を選別するソータに接続される。
【００７９】
本発明の実施形態によれば、物体選別システムは、レンズフリーシステムである。
【００８０】
本発明の第３態様において、少なくとも１つの物体特性を抽出するための方法が提示される。方法は、下記ステップ、即ち、１）物体を含む流体サンプルを用意するステップと、２）流体サンプル中の物体を照射するステップと、３）照射された物体のホログラムを記録または撮像するステップと、４）記録したホログラムから物体の少なくとも１つの特性を抽出するステップとを含む。物体の少なくとも１つの特性の抽出は、物体の画像表現を再構成することなく、記録したホログラムのセクションだけを用いて実施される。本発明の実施形態によれば、ホログラムの記録は、ホログラムの光の強度および位相を記録することを含む。物体の少なくとも１つの特性の抽出は、記録した強度および位相を用いて行われる。
【００８１】
本発明の第３態様またはその実施形態のいずれかに記載された方法は、本発明の第１態様またはその実施形態のいずれかに記載された装置によって実装してもよい。
【００８２】
本発明の実施形態によれば、少なくとも１つの物体特性を抽出するための方法は、レンズフリー方法である。
【００８３】
第３態様またはその実施形態のいずれかに係る方法のフローチャートを図７に示す。
【００８４】
本発明の第４態様において、第３態様またはその実施形態のいずれかに記載されたような方法はさらに、該物体の抽出された少なくとも１つの特性に基づいて各物体を選別するステップを含む。こうして方法は、物体を選別するための方法である。
【００８５】
本発明の実施形態によれば、物体を選別するためのこの方法は、レンズフリー方法である。
【００８６】
本発明の第４態様またはその実施形態のいずれかに記載された方法は、本発明の第２態様またはその実施形態のいずれかに記載された装置によって実装してもよい。
【００８７】
第４態様またはその実施形態のいずれかに係る方法のフローチャートを図８に示す。
【００８８】
（実験および結果）
下記段落において、機械学習コンポーネントとしてＡＮＮを備えた本発明の実施形態の設定を説明する。またその結果も説明する。
【００８９】
ＡＮＮは、ネット内で未知の重みの数とともに成長する専用訓練セットを必要とする。時間がかかる訓練手順を回避するために、ＡＮＮは、単一の隠れ層で単に構成されたかなり小型サイズのフィードフォワードニューラルネットに制限した。隠れニューロンの最適な数は、相互検証によって評価される。粒子を特性評価する各パラメータについて、独特なネットワークが、共役勾配式誤差逆伝搬(back-propagation)アルゴリズムを用いて訓練される。早期の停止は、ニューラルネットワークが過剰適合(overfitting)するのを防止する。ニューラルネットは、１０個の異なる初期重み分布を用いて訓練され、訓練アルゴリズムがローカルで非最適な最小値にトラップされる場合を排除している。
【００９０】
訓練、検証および検査のセットは、回折パターンのカタログのランダムパーティションで構成される。厳密なミー(Mie)散乱理論が使用され、レーザ照射の下で同心分布球の異なる回折ホログラムを種々の深さで異なる半径で計算する。図９は、入射平面波を用いたミー散乱部分および、ホログラムを記録する粒子後方のインライン画像センサを示す。図１０は、放射対称ホログラムを示す。基本的な対称性により、１次元ライン走査だけを後段のニューラルネットワークへの入力ベクトルとして選択できる。入力ベクトルの寸法(dimension)は、センサの１ラインでの画素の数によって決定される。検出面での回折パターンの並進および回転の不変性に起因して、粒子が検出器の座標系の原点に位置し、径方向依存性を記録するだけと想定される。図１０は、この場合、ホログラムが、１００μｍ距離でのセンサ（画素ピッチ１６μｍ）によって記録された５１２×１画素ライン画像であることを示し、これはリアルタイム応用でのセンサフレームレートの相当なスピードアップを可能にする。
【００９１】
ＷＢＣの簡素化モデルとして、緩衝液中の透明な同心球のミー散乱パターンをシミュレーションする。下記のモデルパラメータ、即ち、波長λ＝５３２ｎｍの入射平面波、１．３９のコア屈折率（ＲＩ）、１．３７のシェルＲＩ、１．３４の周囲媒体ＲＩを選択した。粒子直径は、ａ＝６μｍ，ｂ＝２０μｍ，ｃ＝４μｍでの式１（ａ）（ｂ）中の確率密度関数に従って選択した。コア直径およびシェル直径の初期結合分布を図１１に示す。図１１から、異なる領域１２１，１２２，１２３，１２４が識別できる。光軸に沿った粒子の深さ値は、切断された（｜ｚ｜≦４０μｍ）ガウス分布Ｎ（μ＝０μｍ，σ＝１０μｍ）に関してモデル化される。
【００９２】
【数１】
0006644094.tif 000002
【００９３】
直径サイズ決定の相対誤差は、モデルパラメータの関数である。全体集団で定義されるグローバル誤差計量を定義するために、正規化誤差計量として二乗平均平方根誤差（ＣＶ）の変動の係数を提案した。それは、サンプル平均値によって除算される従属変数ｙ（この場合、コアまたはシェルの直径）の二乗平均平方根偏差として定義される。
【００９４】
【数２】
0006644094.tif 000003
【００９５】
他の広く使用される誤差計量は、正規化二乗平均平方根誤差（ＮＲＭＳＥ）である。我々の設定では、シェル直径のＮＲＭＳＥはＣＶにほぼ等しく、コア直径のＮＲＭＳＥはＣＶ値のほぼ半分である。この差は、シェル直径は、均一に分布する確率密度を有するのに対して、コア直径は、均一に分布する条件付き確率密度を有するという事実から生ずる。
【００９６】
この誤差計量での全体予測精度は１３％であり、コア直径およびシェル直径についてそれぞれ７％である。しかしながら、かなりより良い予測結果が局所的に達成可能である。図１２と図１３は、試験セットでの各予測についての局所相対誤差を示す。白スポット１２５は、２０％を超える相対誤差大きさを示す。コア直径予測が極めて小さいコアサイズについて不十分に行われる点を除いて、図で表示される情報から自明である独特な傾向はない。同じライン上では、類似のサイズを有するコアおよびシェルについて性能は典型的に減少する。
【００９７】
特性粒子パラメータが、単一層のフィードフォワードニューラルネットの支援とともに、そのホログラフィック干渉パターンの直接調査によって確実に読み出しできることが数値的に論証された。光散乱するＷＢＣについての簡単なモデルが、同心で透明な球のデジタルインラインホログラムをミー形態で研究することによって実装された。この意味で、重要な細胞パラメータ、例えば、全体細胞サイズおよび核サイズなどが予測できる。これらの細胞パラメータは、ＷＢＣの異なるグループの分類にとって重要である。６μｍと２０μｍの間で変化する球についての我々の最善のシミュレーションは、コアおよびシェル直径について１３％および７％の精度をそれぞれ達成する。
【００９８】
ニューラルネットワークは、その固有の並列処理のため、およびマトリクス演算を実装するのが容易であるため、リアルタイム応用を促進する。ネットワークの全ての訓練経験がその接続重みに保存され、よって辞書ベースの手法において時間がかかる検索手順が必要でない。
【図１】
0006644094.tif 000004
【図２】
0006644094.tif 000005
【図３Ａ】
0006644094.tif 000006
【図３Ｂ】
0006644094.tif 000007
【図３Ｃ】
0006644094.tif 000008
【図３Ｄ】
0006644094.tif 000009
【図３Ｅ】
0006644094.tif 000010
【図４】
0006644094.tif 000011
【図５】
0006644094.tif 000012
【図６】
0006644094.tif 000013
【図７】
0006644094.tif 000014
【図８】
0006644094.tif 000015
【図９】
0006644094.tif 000016
【図１０】
0006644094.tif 000017
【図１１】
0006644094.tif 000018
【図１２】
0006644094.tif 000019
【図１３】
0006644094.tif 000020