(57)【要約】撮像システムを使用して、生物サンプルを分析するシステムおよび方法が、開示される。画像入手モジュールが、訓練生物サンプルの無標識画像を取得するように撮像システムに命令し、応答して、第１の訓練画像を受信する。画像入手モジュールはまた、訓練生物サンプルに蛍光を出させ、蛍光を受ける訓練生物サンプルの画像を取得するように撮像システムに命令し、応答して、第２の訓練画像を受信する。分析モジュールが、第２の訓練画像を分析し、複数の訓練細胞特性を発生させ、複数の訓練細胞特性はそれぞれ、訓練生物サンプル内の複数の訓練細胞のうちの１つと関連付けられる。
2022500753.tif 000002
【特許請求の範囲】
【請求項１】
撮像システムを使用して生物サンプルを分析する方法であって、
非一過性のプログラマブルデバイスに、
訓練生物サンプルの無標識画像を取得するように前記撮像システムに命令し、応答して、第１の訓練画像を受信するステップと、
前記訓練生物サンプルに蛍光を出させ、蛍光を受ける前記訓練生物サンプルの画像を取得するように前記撮像システムに命令し、応答して、第２の訓練画像を受信するステップと、
前記第２の訓練画像を分析し、複数の訓練細胞特性を発生させるステップであって、前記複数の訓練細胞特性はそれぞれ、前記訓練生物サンプルを含む複数の訓練細胞のうちの１つと関連付けられる、ステップと、
前記第１の訓練画像および前記複数の訓練細胞特性を使用して、機械学習システムを訓練し、訓練された機械学習システムが、入力としての前記第１の訓練画像とともに動作されるときに、前記訓練された機械学習システムが、前記複数の訓練細胞特性に対応する複数の予測される細胞特性を発生させるように、前記訓練された機械学習システムを開発するステップと
を行わせるステップを含む、方法。
【請求項２】
前記複数の予測される細胞特性はそれぞれ、前記複数の訓練細胞特性のうちの１つに対応し、前記非一過性のプログラマブルデバイスは、前記複数の予測される細胞特性のそれぞれと前記複数の訓練細胞特性のうちの対応するものとの間の差異が所定の量以内になるまで、前記機械学習システムを訓練するステップを反復して行う、請求項１に記載の方法。
【請求項３】
前記非プログラマブル一過性デバイスに、前記生物サンプルの画像を受信するステップと、入力としての前記生物サンプルの画像とともに前記訓練された機械学習システムを動作させ、応答して、複数の細胞特性を受信するステップとを行わせるステップをさらに含み、前記複数の細胞特性はそれぞれ、前記生物サンプルの細胞と関連付けられる、請求項１に記載の方法。
【請求項４】
前記非プログラマブル一過性デバイスに、前記複数の細胞特性を受信するステップを行わせるステップは、前記生物サンプルの画像のピクセル毎に細胞特性を受信するステップを含む、請求項３に記載の方法。
【請求項５】
前記非プログラマブル一過性デバイスは、前記複数の細胞特性を処理し、前記生物サンプルの画像と関連付けられるメトリックを作成するさらなるステップを行う、請求項３に記載の方法。
【請求項６】
前記メトリックは、生細胞、死細胞、特定の細胞小器官の数のうちの１つの計数と、前記生物サンプルの画像内に表される細胞の特定のタイプとを備える、請求項５に記載の方法。
【請求項７】
訓練された機械学習システムは、第１の訓練された機械学習システムを備え、前記非一過性のプログラマブルデバイスは、第１の非一過性のプログラマブルデバイスを備え、前記第１の非プログラマブル一過性デバイスに、前記第１の訓練された機械学習システムと関連付けられるパラメータを記憶するさらなるステップを行わせ、第２の非一過性のプログラマブルデバイスに、前記記憶されたパラメータを伴って訓練されていない機械学習システムを構成し、第２の訓練された機械学習システムを開発するステップを行わせるステップをさらに含む、請求項１に記載の方法。
【請求項８】
前記非一過性のプログラマブルデバイスは、第１の非一過性のプログラマブルデバイスを備え、前記方法は、第２の非一過性のプログラマブルデバイスに、前記生物サンプルの画像を受信するステップと、入力としての前記生物サンプルの画像とともに前記訓練された機械学習システムを動作させ、応答して、複数の細胞特性を受信するステップとを行わせるさらなるステップを含み、前記複数の細胞特性はそれぞれ、前記生物サンプルの細胞と関連付けられる、請求項１に記載の方法。
【請求項９】
前記非一過性のプログラマブルデバイスに、前記機械学習システムを訓練させるステップは、前記機械学習システムを訓練し、特定のタイプの特性に関して特定のタイプの生物サンプルを分析するステップを行うステップを含む、請求項１に記載の方法。
【請求項１０】
前記無標識画像は、前記生物サンプルの３次元表現を表す一連の無標識画像のうちの１つであり、前記一連の無標識画像の全てを入力として前記機械学習システムに同時に提供するステップを含む、前記非一過性のプログラマブルデバイスに前記機械学習システムを訓練させるステップをさらに含む、請求項１に記載の方法。
【請求項１１】
撮像システムを使用して、生物サンプルを分析するためのシステムであって、
少なくとも１つの非一過性のプログラマブルデバイス上で動作する機械学習システムと、
前記非一過性のプログラマブルデバイスのうちの少なくとも１つの上で動作する画像入手モジュールであって、前記画像入手モジュールは、訓練生物サンプルの無標識画像を発生させるように前記撮像システムに命令し、応答して、第１の訓練画像を受信し、前記訓練生物サンプルに蛍光を出させ、蛍光を受ける前記訓練生物サンプルの画像を取得するように前記撮像システムに命令し、応答して、第２の訓練画像を受信する、画像入手モジュールと、
前記非一過性のプログラマブルデバイスのうちの少なくとも１つの上で動作する分析モジュールであって、前記分析モジュールは、前記第２の訓練画像を分析し、複数の訓練細胞特性を発生させ、前記複数の訓練細胞特性はそれぞれ、前記訓練生物サンプルを含む複数の訓練細胞のうちの１つと関連付けられる、分析モジュールと、
前記非一過性のプログラマブルデバイスのうちの少なくとも１つの上で動作する訓練モジュールであって、前記訓練モジュールは、前記第１の訓練画像および前記複数の訓練細胞特性を使用して、前記機械学習システムを訓練し、訓練された機械学習システムが、入力としての前記第１の訓練画像とともに動作されるときに、前記訓練された機械学習システムが、前記複数の訓練細胞特性に対応する複数の予測される細胞特性を発生させるように、前記訓練された機械学習システムを開発する、訓練モジュールと
を備える、システム。
【請求項１２】
前記複数の予測される細胞特性はそれぞれ、前記複数の訓練細胞特性のうちの１つに対応し、訓練モジュールは、前記複数の予測される細胞特性のそれぞれと前記複数の訓練細胞特性のうちの対応するものとの間の差異が所定の量以内になるまで、前記機械学習システムを訓練するステップを反復して行う、請求項１１に記載のシステム。
【請求項１３】
前記画像入手モジュールは、前記生物サンプルの画像を受信し、前記少なくとも１つの非一過性のプログラマブルデバイス上で動作する測定モジュールは、入力としての前記生物サンプルの画像とともに前記訓練された機械学習システムを動作させ、応答して、複数の細胞特性を受信し、前記複数の細胞特性はそれぞれ、前記生物サンプルの細胞と関連付けられる、請求項１１に記載のシステム。
【請求項１４】
前記測定モジュールは、前記機械学習システム、前記画像入手モジュール、前記分析モジュール、および前記訓練モジュールが動作する前記非一過性のプログラマブルデバイスのうちの少なくとも１つから遠隔にある非一過性のプログラマブルデバイス上で動作する、請求項１３に記載のシステム。
【請求項１５】
前記複数の細胞特性は、前記生物サンプルの画像の各ピクセルと関連付けられる細胞特性を備える、請求項１３に記載のシステム。
【請求項１６】
前記測定モジュールは、前記複数の細胞特性を処理し、前記生物サンプルの画像と関連付けられるメトリックを作成する、請求項１３に記載のシステム。
【請求項１７】
前記訓練された機械学習システムは、第１の訓練された機械学習システムを含み、第２の非一過性のプログラマブルデバイス上で動作するさらなる画像入手モジュールおよび測定モジュールをさらに含み、前記訓練モジュールは、前記第１の訓練された機械学習システムと関連付けられるパラメータを記憶し、前記第２の非一過性のプログラマブルデバイスは、前記記憶されたパラメータを伴って訓練されていない機械学習システムを構成し、第２の訓練された機械学習システムを開発し、前記さらなる画像入手モジュールは、生物サンプルの画像を受信し、前記測定モジュールは、入力としての前記画像とともに前記第２の訓練された機械学習システムを動作させ、応答して、前記生物サンプルと関連付けられる特性を受信する、請求項１１に記載のシステム。
【請求項１８】
前記機械学習システムは、畳み込みニューラルネットワークを備える、請求項１１に記載のシステム。
【請求項１９】
前記訓練モジュールは、前記機械学習システムを訓練し、特定のタイプの特性に関して特定のタイプの生物サンプルを分析する、請求項１１に記載のシステム。
【請求項２０】
前記無標識画像は、前記生物サンプルの３次元表現を表す一連の無標識画像のうちの１つであり、前記訓練モジュールは、前記一連の無標識画像の全てを入力として前記機械学習システムに同時に提供することによって、前記機械学習システムを訓練する、請求項１１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願）
本願は、その内容が参照することによってその全体として本明細書に組み込まれる、２０１８年９月１２日に出願された、米国仮出願第１６／１２８，７９８号の優先権を主張する。
【０００２】
本主題は、生物サンプルの無標識識別および分類のためのシステムならびに方法に関し、より具体的には、教師あり機械学習システムを使用する、生物サンプルの識別および分類に関する。
【背景技術】
【０００３】
高含有量撮像システム等の撮像システムが、生物サンプルの１つまたは複数の画像を捕捉するために使用され得る。その後、画像は、生物サンプルと関連付けられるメトリックを取得するように分析される。これらのメトリックは、例えば、生物サンプル内の異なるタイプの細胞の数、各タイプの細胞の数、生細胞対死細胞の割合、および同等物を含む。
【０００４】
撮像システムは、１つまたは複数の照明源と、１つまたは複数の対物レンズと、電荷結合素子または相補型金属酸化膜半導体（ＣＭＯＳ）デバイス等の画像捕捉デバイスとを含み、生物サンプルの拡大画像を生成する。照明源は、生物サンプルが蛍光を受けていないときに、生物サンプルを通して光を指向する、レーザまたは他の光源を含んでもよく、生物サンプルを通して透過される光は、画像捕捉デバイスによって撮像される。画像捕捉デバイスによって捕捉される非蛍光生物サンプルの画像は、本明細書では無標識画像と称され、例えば、透過光画像、位相コントラスト画像、微分干渉コントラスト画像、および同等物であってもよい。当業者に明白であろうように、これらの異なるタイプの無標識画像は、異なる照明条件（例えば、偏光、特定の波長の光等を伴う）下で、および／または光源と画像捕捉デバイスとの間で異なるタイプのフィルタを使用して捕捉される、透過光画像である。
【０００５】
いくつかの用途では、生物サンプルは、それぞれ、生物サンプル内の１つまたは複数の特定のタンパク質もしくは成分に付着する、１つまたは複数の蛍光染料を使用して、染色（または標識）されてもよい。照明源は、蛍光染料に蛍光を出させる特定の特性（例えば、特定の波長）を有する光に標識生物サンプルを暴露するために使用され、そのような蛍光によって放出される光は、次いで、画像捕捉デバイスによって捕捉される。非標識生物サンプルの透過または反射画像と比較して、染料で標識された生物サンプルの蛍光画像は、蛍光と関連付けられるそれらの要素（例えば、タンパク質および細胞小器官）を生物サンプルの他の部分とより明確に区別する。したがって、そのような要素に関するより正確なメトリックが、蛍光を受ける生物サンプルの画像から作成され得る。
【０００６】
しかしながら、１つまたは複数の蛍光染料で生物サンプルを標識することは、時間がかかる。さらに、ある蛍光染料は、生物サンプルにとって有害、さらには、毒性であり得る。少なくともこれらの理由により、蛍光を受ける標識生物サンプルの画像を作成することは、ある状況では実行可能ではない、または望ましくない。
【０００７】
透過光画像のみを使用して、蛍光下で生物サンプルを撮像することによって提供される、分析利点を取得することが有用であろう。
【発明の概要】
【課題を解決するための手段】
【０００８】
一側面によると、撮像システムを使用して、生物サンプルを分析する方法は、非一過性のプログラマブルデバイスに、訓練生物サンプルの無標識画像を取得するように撮像システムに命令し、応答して、第１の訓練画像を受信するステップと、訓練生物サンプルに蛍光を出させ、蛍光を受ける訓練生物サンプルの画像を取得するように撮像システムに命令し、応答して、第２の訓練画像を受信するステップとを行わせるステップを含む。非一過性のプログラマブルデバイスは、第２の訓練画像を分析し、複数の訓練細胞特性を発生させる付加的ステップと、第１の訓練画像および複数の訓練細胞特性を使用して、機械学習システムを訓練し、訓練された機械学習システムが、入力としての第１の訓練画像とともに動作されるときに、訓練された機械学習システムが、複数の訓練細胞特性に対応する複数の予測される細胞特性を発生させるように、訓練された機械学習システムを開発する付加的ステップとを行わせられる。複数の訓練細胞特性はそれぞれ、訓練生物サンプルを含む複数の訓練細胞のうちの１つと関連付けられる。
【０００９】
別の側面によると、撮像システムを使用して、生物サンプルを分析するためのシステムは、機械学習システムと、画像入手モジュールと、分析モジュールと、訓練モジュールとを含む。画像入手モジュールは、非一過性のプログラマブルデバイス上で動作し、訓練生物サンプルの無標識画像を発生させるように撮像システムに命令し、応答して、第１の訓練画像を受信し、訓練生物サンプルに蛍光を出させ、蛍光を受ける訓練生物サンプルの画像を取得するように撮像システムに命令し、応答して、第２の訓練画像を受信する。分析モジュールは、非一過性のプログラマブルデバイス上で動作し、第２の訓練画像を分析し、複数の訓練細胞特性を発生させ、複数の訓練細胞特性はそれぞれ、訓練生物サンプルを含む複数の訓練細胞のうちの１つと関連付けられる。訓練モジュールは、非一過性のプログラマブルデバイス上で動作し、第１の訓練画像および複数の訓練細胞特性を使用して、機械学習システムを訓練し、訓練された機械学習システムが、入力としての第１の訓練画像とともに動作されるときに、訓練された機械学習システムが、複数の訓練細胞特性に対応する複数の予測される細胞特性を発生させるように、訓練された機械学習システムを開発する。
【００１０】
他の側面および利点が、以下の発明を実施するための説明、および同様の数字が本明細書の全体を通して同様の構造を指定する添付図面の考慮に応じて、明白となるであろう。
【図面の簡単な説明】
【００１１】
【図１】図１は、撮像システムのブロック図である。
【００１２】
【図２】図２は、訓練および分析システムのブロック図である。
【００１３】
【図３】図３は、その機械学習システムを訓練するように図２の訓練および分析システムによって行われるステップのフローチャートである。
【００１４】
【図４】図４は、その機械学習システムを訓練するように図２の訓練分析システムによって行われるステップをさらに詳細に示す、フローチャートである。
【００１５】
【図５】図５は、図３および４に示されるフローチャートに従って訓練される機械学習システムを使用して、生物サンプルの画像を分析するように図２の訓練および分析システムによって行われるステップを示す、フローチャートである。
【００１６】
【図６】図６は、図２の訓練および分析システムの機械学習システムを訓練するプロセスフローの実施例である。
【００１７】
【図７】図７は、図２の訓練および分析システムの訓練された機械学習システムを動作させるプロセスフローの実施例である。
【発明を実施するための形態】
【００１８】
いくつかの用途では、生物サンプルの分析を促進するために、生物サンプルの無標識（すなわち、透過光）または蛍光画像が、セグメント化された画像を発生させるように処理されてもよい。そのような用途では、セグメント化された画像の各ピクセルは、生物サンプルの透過光または蛍光画像のピクセルに対応する。セグメント化された画像の各ピクセルの値は、透過光または蛍光画像の対応するピクセルが、研究者に着目される生物サンプルの要素と関連付けられるかどうかを示す。そのような要素は、例えば、細胞内部、細胞小器官、タンパク質、細胞壁、および同等物を含み得る。蛍光画像が、生物サンプルの要素をより明確に区別するため、より正確なセグメント化された画像が、蛍光画像から生成され得る。
【００１９】
さらに、他の用途では、上記に記述されるように、生物サンプルの蛍光画像は、例えば、特定の特性（例えば、特定のタンパク質の存在、細胞が生きているか、または死んでいるかどうか等）の存在が蛍光画像内で捕捉される蛍光を生じさせるため、そのような特性を有する、その細胞を識別するように、より容易に分析され得る。
【００２０】
しかしながら、上記に記述されるように、生物サンプルの蛍光画像を取得することは、必ずしも実行可能である、または望ましいとは限らない場合がある。下記に詳細に説明されるように、訓練生物サンプルが、それぞれ、訓練無標識および訓練蛍光画像を作成するように、透過光を使用して、蛍光下で撮像されてもよい。訓練蛍光画像は、セグメント化された画像を作成するように処理されてもよい。機械学習システムが、次いで、訓練無標識画像からセグメント化された画像を作成するように訓練されてもよい。訓練後、このように訓練される機械学習システムが、入力としてさらなる生物サンプルの無標識画像を提示されるとき、訓練された機械学習システムは、さらなる生物サンプルの蛍光画像を必要とすることなく、セグメント化された画像を生成する。
【００２１】
同様に、ある場合には、訓練蛍光画像は、訓練蛍光画像内に表される生物サンプル内の特定の特性の存在を示す、訓練特性値を作成するように処理される。訓練無標識画像および訓練特性値は、機械学習システムが無標識画像を提示されるときに、機械学習システムが、特性の存在を示す特性値を発生させるように、機械学習システムを訓練するために使用される。
【００２２】
図１および２を参照すると、撮像システム１００が、１つまたは複数の生物サンプルの無標識画像および蛍光画像を取得するために、訓練および分析システム２００によって使用される。いくつかの実施形態では、そのような撮像システム１００は、Ｘ−Ｙステージ１０２と、１つまたは複数の対物レンズ１０４と、画像捕捉デバイス１１０と、１つまたは複数のミラー１１２と、コントローラ１１４とを含む。明確にするために、集束機構、１つまたは複数のフィルタ、対物レンズ１０４が選択される複数の対物レンズ、および同等物等の撮像デバイス１００が含み得る他のコンポーネントは、図１に示されていない。
【００２３】
撮像システム１００の動作の間に、例えば、マイクロプレート等の生物サンプルキャリア１１６が、手動またはロボット制御でのいずれかで、Ｘ−Ｙステージ１０２上に配置される。サンプルキャリア１１６は、複数のウェル１１８を含んでもよく、生物サンプルが、各そのようなウェル１１８に配置されてもよく、各生物サンプルは、例えば、１つまたは複数の細胞もしくはその一部を含む。
【００２４】
コントローラ１１４は、選択されたウェル１１８またはその一部が、撮像デバイス１１０の視野内にあるように、Ｘ−Ｙステージ１０２を動作させる。コントローラ１１４は、次いで、照明源１０６ａを動作させ、光の特定の波長で選択されたウェル１１８を照明し、選択されたウェル１１８内に配置された生物サンプルによって吸収または反射されない照明源１０６ａからの光が、生物サンプルを通して、対物レンズ１０４を通して透過され、画像として画像捕捉デバイス１１０によって記録されるように、画像捕捉デバイス１１０を作動させる。
【００２５】
生物サンプルが（自然に、または蛍光染料で標識されることによってのいずれかで）蛍光性である場合、コントローラ１１４は、照明源１０６ｂを動作させ、生物サンプルに蛍光を出させる光を発生させ、そのような蛍光によって放出される光は、対物レンズ１０４を通して透過され、画像として画像捕捉デバイス１１０によって記録される。
【００２６】
１つまたは複数のミラー１１２（例えば、半透明、双方向、および／または二色ミラー）は、それぞれ、照明源１０６ｂからサンプルトレイ１１６に、およびサンプルトレイ１１６から画像捕捉デバイス１１０に光を指向するように、照明源１０６ｂとサンプルトレイ１１６との間およびサンプルトレイ１１６と画像捕捉デバイス１１０との間の光路内に配置される。
【００２７】
コントローラは、着目されるサンプルトレイ１１６のウェル１１８の全ての画像が捕捉されるまで、このようにＸ−Ｙステージ１０２、照明源１０６、および画像捕捉デバイス１１０を繰り返し動作させる。さらに、コントローラ１１４は、各そのような画像が、異なる照明条件下で、および／または対物レンズ１０４ならびにフィルタ（図示せず）の異なる組み合わせを用いて捕捉されるときに、同一のウェル１１８またはその一部のいくつかの画像を捕捉してもよい。照明条件を制御することによって、第１の画像が、生物サンプルが蛍光を受けていないときに捕捉されてもよく、第２の画像が、同一の生物サンプルが蛍光を受けているときに捕捉されてもよい。そのような画像は、第１の画像の各座標におけるピクセルおよび第２の画像の同一の座標における第２の画像のピクセルが、生物サンプルの実質的に同じ部分に対応するように、整合して捕捉されてもよい。
【００２８】
本明細書に説明される実施形態は、マルチウェルサンプルキャリア１１６の使用を参照するが、単一のウェルキャリアまたは顕微鏡スライドがこれらの実施形態に関連して使用され得ることが、当業者に明白となるはずである。同様に、これらの実施形態は、サンプルキャリア１１６の種々の部分の画像を捕捉するようにコントローラ１１４によって自動的に移動可能なＸ−Ｙステージの使用を検討するが、Ｘ−Ｙステージが（例えば、従来の顕微鏡を使用するときに行われるように）オペレータによって手動で移動され得ることが、明白となるはずである。
【００２９】
図１は、照明源１０６と画像捕捉デバイス１１０との間に配置されるサンプルトレイ１１６を示すが、照明源１０６が画像捕捉デバイス１１０とサンプルトレイ１１６との間に配置され得ることが、当業者に明白となるはずである。そのような実施形態では、生物サンプルによって反射される、または生物サンプルの蛍光によって発生される照明源１０６からの光は、対物レンズ１０４を通して１つまたは複数のミラー（図示せず）を使用して指向され、画像捕捉デバイス１１０によって捕捉される。
【００３０】
さらに、本明細書の実施形態は、レンズベースの撮像システム１００の使用を説明するが、レンズなし撮像システムを使用して捕捉される画像がそのような実施形態に関連して使用され得ることが、当業者に明白となるはずである。
【００３１】
下記にさらに詳細に説明されるように、撮像システム１００は、サンプルトレイ１１６内に配置された生物サンプルの無標識画像および蛍光下のそのような生物サンプルの画像を訓練および分析システム２００に提供するように、上記に説明されるように動作されてもよい。蛍光下の生物サンプルの画像は、特定の特性を呈する、そのような画像内の生物サンプルの細胞（またはその一部）を識別するように分析されてもよい。特定の特性および透過光画像と関連付けられるものとして識別される、そのような細胞は、機械学習システム２０６、例えば、ニューラルネットワークまたは別の深層学習システムを訓練するために使用されてもよい。訓練後、入力透過光画像に応答して、機械学習システム２０６は、複数の特性予測を生成する。いくつかの実施形態では、各そのような特性予測は、入力画像内の対応するピクセルと関連付けられ、そのような特性予測の値は、そのようなピクセルが特定の特性と関連付けられる確率を示す。例えば、機械学習システム２０６が、生および死細胞の両方を含む入力画像内の生細胞と関連付けられるピクセルを識別するように訓練される場合、機械学習システム２０６によって発生される各特性予測の値は、入力画像内の対応するピクセル（したがって、そのようなピクセルによって表される生物サンプルの一部）が生細胞と関連付けられる確率を示す。そのような実施形態では、機械学習システム２０６は、例えば、画像内に存在する細胞のタイプまたは細胞の特性に従って、それに基づいて、入力画像をセグメント化するために使用されてもよい。
【００３２】
他の実施形態では、機械学習システム２０６は、画像を分析し、画像が特定のタイプの細胞または特定の特性を有する細胞を表すかどうかを判定するように、訓練されてもよい。そのような実施形態では、このように訓練される機械学習システム２０６が、入力として画像を提供されるとき、機械学習システム２０６は、入力として提供される画像が特定のタイプの細胞または特定の特性を有する細胞を含む確率を表す値である、出力を発生させる。これらの実施形態では、機械学習システム２０６は、例えば、画像によって表される細胞を分類するために使用されてもよい。その中に表される複数の細胞を有する画像は、隣接するタイルまたは重複するタイルのいずれかのサブ画像にタイル化されてもよく、各サブ画像は、単一の細胞と関連付けられる寸法を有する。そのようなサブ画像は、次いで、入力として訓練された機械学習システムに提示されてもよく、訓練された機械学習システムの出力は、サブ画像が特定のタイプの細胞または特定の特性を有する細胞を含む確率を示す。
【００３３】
図１および２に示されるように、機械学習システム２０６に加えて、訓練および分析システム２００は、画像入手モジュール２０２と、そのような画像が記憶され得る、画像記憶部２０４とを含む。いくつかの実施形態では、画像入手モジュール２０２は、コントローラ１１４とインターフェースをとり、１つまたは複数の画像を捕捉し、そのような捕捉された画像を画像入手モジュール２０２に提供するように撮像システム１００に指示する。いくつかの実施形態では、画像入手モジュール２０２は、例えば、特定の発光体、対物レンズ、フィルタ、および同等物を使用して、透過光画像または蛍光画像を捕捉するように撮像システム１００を構成するように、コントローラ１１４に命令する。
【００３４】
画像入手モジュール２０２は、撮像システム１００から訓練生物サンプルの訓練無標識および訓練蛍光画像を取得する。訓練無標識および訓練蛍光画像は、それぞれ、機械学習システム２０６を訓練するために使用される、無標識および蛍光画像である。下記にさらに詳細に説明されるように、訓練モジュール２０８は、撮像システム１００から画像入手モジュール２０２によって取得される訓練無標識および訓練蛍光画像、ならびに画像分析モジュール２１０によって作成されるそのような画像と関連付けられる細胞特性情報を使用し、機械学習システム２０６を訓練する。機械学習システム２０６が訓練された後、活性化値、倍率、粒重、および同等物等のそのような訓練の間に作成される機械学習システム２０６の各ノードと関連付けられるパラメータが、パラメータデータ記憶部２１２内に記憶される。訓練後、画像入手モジュール２０２は、さらなる生物サンプルのさらなる画像を取得し、測定モジュール２１４は、パラメータデータ記憶部２１２内に記憶されたパラメータを伴って機械学習システム２０６を構成し、構成された機械学習システム２０６を動作させ、さらなる画像を分析し、さらなる生物サンプルの特性を測定する。いくつかの実施形態では、機械学習システム２０６によって発生される出力は、閾値化する、誤った値を除去する、および／または別様にそのようなクリーニングされた出力が測定モジュール２１４によって処理される前に、そのような出力をクリーニングする、出力処理モジュール２１６によって処理されてもよい。
【００３５】
図３は、機械学習システム２０６を訓練するように行われるステップのフローチャート２５０である。図１−３を参照すると、ステップ２５２では、ユーザが、ユーザコンピュータ２１８を動作させ、訓練モジュールに細胞特性を規定し、入力画像から識別するように機械学習システム２０６を訓練する。そのような特性は、例えば、生細胞、死細胞、特定のタンパク質または化合物、特定の細胞小器官、および同等物の存在を含む。いくつかの実施形態では、ユーザはまた、ユーザコンピュータ２１８を使用して、機械学習システム２０６が特性を識別するように訓練されるものである、生物サンプルのタイプ（例えば、神経細胞、動物細胞等）も規定する。
【００３６】
その後、ステップ２５４では、その１つまたは複数のウェル１１８の中に堆積された生物サンプルを有する、訓練サンプルトレイ１１６が、撮像システム１００のＸ−Ｙステージ１０２上に手動またはロボット制御でのいずれかで装填される。そのようなウェル１１８の中に堆積された各生物サンプルは、特性と関連付けられる蛍光染料で染色または別様に処置される。
【００３７】
訓練サンプルトレイ１１６が装填された後、画像入手モジュール２０２は、ステップ２５６において、サンプルトレイ１１６のウェル１１８内に堆積された各生物サンプルの透過光画像を捕捉するように撮像システム１００に指示する。応答して、コントローラ１１４は、Ｘ−Ｙステージ１０２を繰り返し動作させて、照明源１０６と対物レンズ１０４との間の光路内にウェル１１８（またはその一部）を位置付け、照明源１０６および画像捕捉デバイス１１０を作動させて、ウェル１１８（またはその一部）の透過光画像を捕捉し、捕捉された画像を画像入手モジュール２０２に伝送する。コントローラ１１４は、サンプルトレイのウェル１１８の全て（またはその中に堆積された生物サンプルを有するウェル１１８）の透過光画像が捕捉され、画像入手モジュール２０２に送信されるまで、このようにＸ−Ｙステージ１０２、照明源、および画像捕捉デバイス１１０を動作させる。
【００３８】
また、ステップ２５６では、画像入手モジュール２０２は、上記に説明されるように捕捉される各透過光画像を受信し、画像データ記憶部２０４内に訓練透過光画像としてそのような透過光画像を記憶する。
【００３９】
ステップ２５８では、画像入手モジュール２０２は、生物サンプル（またはそれに添着された染料）に蛍光を出させ、そのような蛍光の間に生物サンプルの画像を捕捉するように、撮像システム１００のコントローラ１１４に命令する。応答して、コントローラ１１４は、Ｘ−Ｙステージ１０２を動作させ、照明源１０６と対物レンズ１０４との間の光路内にウェル１１８（またはその一部）を位置付ける。その後、コントローラ１１４は、照明源１０６を作動させて、蛍光染料または生物サンプルに蛍光を出させるように選択される、１つまたは複数の特定の波長を有する光を放出し、画像捕捉デバイス１１０を動作させて、蛍光の間に生物サンプルの画像を捕捉し、捕捉された画像を画像入手モジュール２０２に伝送する。
【００４０】
いくつかの実施形態では、画像入手モジュール２０２は、照明源１０６が生物サンプルおよび／または蛍光染料の蛍光を生じさせるように放出するべき光の波長をコントローラ１１４に規定する。これらの場合において、画像入手モジュール２０２は、ステップ２５２においてユーザによって規定される特性および／または生物サンプルタイプに従って、これらの波長を選択する。他の実施形態では、画像入手モジュール２０２は、ステップ２５８で、またはそれに先立ってのいずれかで、特性および／または生物サンプルタイプをコントローラ１１４に提供し、コントローラ１１４は、生物サンプルを照明する光の波長を選択する。
【００４１】
また、ステップ２５８では、画像入手モジュール２０２は、それによって受信される蛍光の間の生物サンプルの各画像を、訓練蛍光画像として画像データ記憶部２０４内に記憶する。
【００４２】
１つまたは複数の訓練蛍光画像は、訓練透過光画像毎に捕捉される。さらに、訓練蛍光画像の各ピクセルは、訓練透過光画像のピクセルに対応し、これらのピクセルは、生物サンプルの実質的に同じ部分を通して透過される、またはそれによって蛍光を発せられる、光の強度を表す。
【００４３】
ステップ２５６および２５８は、サンプルトレイ１１６のウェル１１８の透過光画像を捕捉し、次いで、ウェル１１８の蛍光画像を捕捉することを規定するが、コントローラ１１４は、Ｘ−Ｙステージ１０２を動作させて、照明源１０６と画像捕捉デバイス１１０との間の光路内にウェル１１８を位置付け、照明源１０６および画像捕捉デバイス１１０を動作させて、そのようなウェルの透過光および蛍光画像を連続的に捕捉し得ることが明白となるはずである。その後、コントローラ１１４は、Ｘ−Ｙステージ１０２を動作させて、照明源１０６と画像捕捉デバイス１１０との間の光路内にウェル１１８の別の部分または別のウェル１１８を位置付け、その中に堆積された生物サンプルを有するサンプル訓練トレイ１１６のウェル１１８の全てが、このように撮像されるまで、その透過光および蛍光画像を繰り返し捕捉してもよい。各捕捉された画像は、入手されるにつれて、画像入手モジュール２０２に伝送されてもよい、または捕捉された画像の全ては、全てのそのような画像が入手された後に、大量に伝送されてもよい。
【００４４】
図３に戻ると、ステップ２６０では、訓練モジュール２０８は、例えば、ユーザコンピュータ２１８を介してユーザにクエリを行うことによって、撮像されるべき付加的訓練サンプルトレイが存在するかどうかを判定する。付加的訓練サンプルトレイが存在する場合、処理は、ステップ２５４に進む。
【００４５】
そうでなければ、ステップ２６２では、訓練モジュールは、下記にさらに詳細に説明されるように、訓練透過光および訓練蛍光画像を使用し、機械学習システム２０６を訓練する。機械学習システム２０６の訓練が完了した後、ステップ２６４では、機械学習システム２０６の各ノードと関連付けられるパラメータは、パラメータデータ記憶部２１２内に記憶される。そのようなパラメータは、例えば、活性化閾値、入力および出力倍率または加重、畳み込みカーネル、機械学習システム２０６のアーキテクチャを含む。例えば、機械学習システム２０６が、ニューラルネットワークである場合、各層内のノードまたはニューロンのアーキテクチャ、ノード層の間の相互接続、および同等物が、パラメータデータ記憶部２１２内に記憶される。当業者に明白となるはずであるように、そのようなニューラルネットワークは、その間の１つまたは複数のプーリング層との１つまたは複数の畳み込み層および１つまたは複数のニューロン層の相互接続を含んでもよい。記憶されるパラメータは、訓練されていない機械学習システム２０６を訓練された状態に構成するために十分である。
【００４６】
図４は、機械学習システム２０６を訓練するように図３のステップ２６２の間に訓練および分析システム２００が行うステップのフローチャートを示す。図４を参照すると、ステップ３０２では、分析モジュール２１０は、ステップ２５２（図３）において規定される特性に従って、各蛍光訓練画像から対応する訓練特性画像を発生させる。いくつかの実施形態では、発生される訓練特性画像は、そのような特性画像が発生される蛍光訓練画像のピクセル毎に１つのピクセルを含む。そのような実施形態では、各そのようなピクセルは、蛍光訓練画像の対応するピクセルが特性と関連付けられる可能性を示す。
【００４７】
機械学習システム２０６が、セグメント化のために訓練されている場合、訓練特性画像は、境界（エッジ）検出、境界充填、ピーク検出、およびそれらの組み合わせを含む、画像処理技法を使用してセグメント化される。いくつかの実施形態では、セグメント化された訓練特性画像の各ピクセルは、蛍光訓練画像のピクセル（したがって、蛍光訓練画像と関連付けられる透過光画像のピクセル）に対応し、いくつかの実施形態では、０または１のいずれかの値を有する。１の値を有する、セグメント化された訓練特性画像のピクセルは、蛍光訓練画像の対応するピクセルが選択された特性と関連付けられることを示す。他のピクセル値が、その他のピクセルから選択された特性と関連付けられるセグメント化された訓練特性画像のそれらのピクセルを識別するために使用され得ることが、明白となるはずである。したがって、セグメント化された訓練特性画像は、複数の訓練細胞特性（例えば、生細胞、死細胞、特定の細胞小器官を伴う細胞、特定のタイプの細胞、および同等物）を表す。
【００４８】
ステップ３０４では、訓練モジュール２０８は、セグメント化された訓練特性画像の第１のサブセットを選択する。いくつかの実施形態では、第１のサブセットは、無作為に選択される。他の実施形態では、第１のサブセットは、それと関連付けられる訓練無標識または蛍光画像の捕捉時間に従って、もしくはセグメント化された訓練特性画像をもたらした蛍光訓練画像が作成された、１つまたは複数のサンプルトレイと関連付けられる識別子に従って、選択される。１つまたは複数の他の基準が第１のサブセットを選択するために使用され得ることが、当業者に明白となるはずである。ステップ３０６では、訓練モジュール２０８は、第１のセグメント化された訓練特性画像と関連付けられる第１の訓練透過光画像を選択し、ステップ３０８では、機械学習システム２０６への入力として第１の訓練透過光画像を提示し、ステップ３１０では、機械学習システム２０６を動作させ、第１の複数の予測される訓練特性を発生させる。第１の複数の予測される訓練特性は、第１の訓練透過光画像の各ピクセルに対応する、予測される訓練特性を含み、そのような予測される訓練特性の値は、第１の訓練透過光画像の対応するピクセルが特性と関連付けられる確率を表す。
【００４９】
ステップ３１２では、訓練モジュール２０８は、例えば、加重カテゴリ交差エントロピー関数等の損失関数を使用して、例えば、予測される訓練特性毎のエラー値およびセグメント化された訓練特性画像の対応するピクセルの値を計算する。ステップ３１４では、エラーの値は、次いで、当業者によって理解されるであろうように、機械学習システム２０６のパラメータを調節するために、例えば、逆伝搬を使用して、使用される。
【００５０】
ステップ３１５では、訓練モジュール２０８は、機械学習システム２０６への入力として使用されていない、ステップ３０４において選択された画像のサブセットの任意の画像が存在するかどうかを判定する。該当する場合、処理は、ステップ３０６に進む。
【００５１】
そうでなければ、ステップ３１６では、訓練モジュール２０８は、訓練された機械学習システム２０６の性能を評価する。特に、訓練モジュール２０８は、訓練特性画像の第２のサブセットおよびそれに対応する訓練透過光画像の第２のサブセットを選択する。訓練モジュール２０８は、訓練透過光画像の第２のサブセットを訓練された機械学習システム２０６に提示する。応答して、第２のサブセットの中の画像毎に、訓練された機械学習システム２０６は、複数の訓練特性予測のセットを発生させ、第２の訓練透過光画像毎の１つのそのような複数のセットは、訓練された機械学習システム２０６に提示される。セグメント化された訓練特性画像が、第２のサブセットの各透過光画像と関連付けられる各訓練蛍光画像から作成される。エラー値のセットが、複数の訓練特性予測の各セットと、それと関連付けられるセグメント化された訓練特性画像のピクセルとの間で計算される。このように作成されるエラー値のセットの全ては、総エラーメトリック（例えば、正確に識別される特性と関連付けられるピクセルのパーセント）に組み合わせられる。
【００５２】
ステップ３１８では、訓練モジュール２０８は、総エラーメトリックを所定の許容エラーと比較し、総エラーメトリックが所定のエラーを上回る場合、訓練モジュール２０８は、ステップ３０４に進み、上記に説明されるような訓練のための画像のさらなるサブセットを選択する。いくつかの実施形態では、訓練モジュール２０８は、ユーザコンピュータ２１８上に総エラーメトリックを表示し、そのようなコンピュータのオペレータにさらなる訓練を行うかどうかクエリを行ってもよい。他の実施形態では、訓練モジュール２１８は、同様にステップ３１８において、訓練のために使用されたサンプルの数量、行われた訓練の反復の数量、成功した訓練パスの合間の総エラーメトリックの改良率、訓練のために着手される時間の量、および当業者に明白である他のそのような条件に従って、付加的訓練を行うかどうかを判定する。付加的訓練が正当化される場合、訓練モジュール２０８は、ステップ３０４に進む。
【００５３】
ある場合には、訓練モジュール２０８は、ステップ３１８において、総エラーメトリックが所定の許容エラーを上回るが、（例えば、総エラーメトリックが改良していない場合に）付加的訓練が正当化されないことを判定し得る。そのような場合には、訓練モジュール２１８は、そのような総エラーメトリックが所定の許容エラーを上回るというメッセージとともに、ユーザコンピュータ２１８上に総エラーメトリックを表示し、付加的訓練を行わなくてもよい。
【００５４】
図２−４を参照すると、訓練モジュール２０８が、ステップ３１８（図４）において、総エラーメトリックが容認可能であるため、または総エラーメトリックが改良していないため、機械学習システム２０６の付加的訓練が正当化されないことを判定する場合には、ステップ２６２（図３）は、完了し、訓練モジュールは、上記に説明されるステップ２６４（図３）に進む。
【００５５】
訓練および分析システム２００によって行われ、図４に示されるステップ３０２−３１８は、機械学習システム２０６を訓練し、透過光画像内の１つまたは複数の細胞をセグメント化および／または特性評価するために上記に説明される。実質的に同じステップが、入力として画像を提供されるときに、機械学習システム２０６を訓練し、特性値を発生させるように、訓練および分析システム２００によって行われてもよく、特性値は、画像が図３のステップ２５２において識別される特性と関連付けられる細胞を含む確率を示す。
【００５６】
特に、ステップ３０２では、蛍光画像から訓練特性画像を作成する代わりに、分析モジュール２１０は、蛍光画像が選択された特性を有する細胞を含むかどうかを示す、蛍光画像（またはそのサブ画像）毎の特性値を作成する。例えば、１の特性値は、特性の存在を示し得、０の特性値は、特性の非存在を示し得る。他の値も、それぞれ、特性の存在または非存在を示すために、１および０の代わりに使用され得ることが、明白となるはずである。ステップ３１０−３１４においてセグメント化された訓練特性を使用し、機械学習システム２０６を訓練する代わりに、訓練モジュール２０８は、特性値を使用する。さらに、複数の細胞を有する画像を使用する代わりに、訓練および分析システム２００は、ステップ２５６および２５８（図３）において取得される画像から重複または隣接するタイル状画像を発生させるように構成されてもよい。そのようなタイル化は、例えば、画像入手モジュール２０２または分析モジュール２１０によって行われてもよい。いくつかの実施形態では、各画像は、例えば、３２ピクセル×３２ピクセルの寸法を有するタイルに分割されてもよく、各タイルは、隣接するタイルのいくつかのピクセル、例えば、各方向に８ピクセルを複製する。他の寸法であり、異なる量の重複ピクセルを有するタイルが使用され得ることが、明白となるはずである。他の実施形態では、タイルの寸法は、生物サンプルの着目細胞または別の部分が占有することが予期される、予期されるピクセル数に従って、選択されてもよい。
【００５７】
図５は、機械学習システム２０６を使用して、１つまたは複数の生物サンプルの特性を測定するために、システム２００が行うステップのフローチャート４００を示す。図５を参照すると、ステップ４０２では、測定モジュール２１４が、ユーザコンピュータ２１８から、生物サンプル内で測定する特性の選択、随意に、生物サンプルを含む細胞のタイプの識別を受信する。いくつかの実施形態では、ステップ４０２では、測定モジュール２１４は、ユーザコンピュータ２１８上に、機械学習パラメータが作成され、パラメータデータ記憶部２１２内に記憶された、細胞の１つまたは複数の特性および／またはタイプのリストを表示する。すなわち、リストは、機械学習システム２０６が生物サンプルの無標識画像内で識別するように訓練された細胞特性および／または細胞型を示す。応答して、測定モジュール２１４は、同様にステップ４０２において、ユーザコンピュータ２１８から、１つのそのような特性および／または細胞型の選択を受信する。
【００５８】
ステップ４０４では、測定モジュール２１４は、識別されたタイプの細胞内の選択された特性を分析するように機械学習システム２０６を訓練することから生じ、訓練後に記憶された、パラメータデータ記憶部２１２内のパラメータを選択する。その後、測定モジュール２１４は、機械学習システム２０６を訓練された状態に戻すように、選択されたパラメータを伴って機械学習システム２０６を構成する。
【００５９】
ステップ４０６では、そのウェル１１８内に堆積された生物サンプルを伴うサンプルトレイ１１６が、Ｘ−Ｙステージ１０２上に装填される。ステップ４０８では、画像入手モジュール２０２は、ウェル１１８またはその一部の透過光画像を発生させるように撮像システム１００に指示する。透過光画像は、次いで、ステップ４１０において入力として訓練された機械学習システム２０６に提示され、応答して、訓練された機械学習システム２０６は、複数の予測される細胞特性を生成する。上記に説明されるように、複数の予測される細胞特性のそれぞれの値は、透過光画像の対応するピクセルが特性と関連付けられ、したがって、透過光画像のそのようなピクセルに表される生物サンプルの一部もまた、特性と関連付けられる確率を示す。
【００６０】
いくつかの実施形態では、ステップ４１２では、出力処理モジュール２１６は、付加的動作を行い、予測される細胞特性をクリーニングする。そのようなクリーニング動作は、境界充填、エッジ検出、および同等物を含む、当業者に明白な画像処理技法を適用することを伴う。そのような画像処理技法を使用して、出力処理モジュール２１６は、細胞の縁を表す透過光のピクセルと関連付けられる特性値を調節し、そのような縁をより明白にし、大きすぎて（または小さすぎて）単一の細胞ではない透過光画像内の物体を表した隣接する特性値を除去し、誤った内容と関連付けられる透過光画像内のピクセルと関連付けられる特性値を除去してもよい。当業者に明白な他のタイプのクリーニング動作も、ステップ４１２において行われてもよい。
【００６１】
いくつかの実施形態では、ステップ４１４では、測定モジュール２１４は、ステップ４１０において発生された複数の予測される細胞特性をデータ記憶部（図示せず）内に記憶する、さらなる分析のためにそのような複数のものを別のシステムに伝送する、またはユーザコンピュータ２１８上にそのような複数のものを表示する。
【００６２】
いくつかの実施形態では、測定モジュール２１４は、ステップ４１６において、ステップ４１０において発生された複数の予測される細胞特性の値から特性画像を発生させてもよい。特性画像の各ピクセルは、透過光画像のピクセルに対応する。いくつかの実施形態では、特性画像のピクセルは、対応する予測される細胞特性が所定の閾値および別様に０を超える場合に、所定の０ではない値に設定される。他の実施形態では、特性画像のピクセルの値は、対応する予測される細胞特性の値に従って設定される。例えば、測定モジュール２１４は、特性画像のピクセルの値を、透過光画像内の対応するピクセルが特性と関連付けられる確率と関連付けられる、特定の色に設定してもよい。ある場合には、測定モジュール２１４は、例えば、少なくとも特性と関連付けられることの所定の確率を有する、透過光画像に表される細胞またはその一部の細胞の数の計数等の１つまたは複数のメトリックを特性画像から自動的に作成してもよい。そのようなメトリックを自動的に作成することは、境界またはエッジ検出、境界充填、および類似アルゴリズムをステップ４１６において発生される特性画像に適用することを伴ってもよい。いくつかの実施形態では、オペレータは、例えば、リストから、測定モジュール２１４が計算するメトリックを選択する。他の実施形態では、測定モジュール２１４は、特定のメトリックを計算するように事前構成されてもよい。当業者に明白な測定モジュール２１４によって計算されるメトリックを選択する他の方法も、使用されてもよい。いくつかの実施形態では、特性画像は、透過光画像に適用されるマスクを発生させ、特性と関連付けられる、その中の細胞の画像を隔離するために使用されてもよい。例えば、局所閾値化、競合成長、境界成長、および同等物を含む、付加的処理が、特性画像上で行われてもよい。
【００６３】
図５に戻ると、ステップ４１８では、測定モジュール２１４は、その中に堆積された生物サンプルを有するサンプルトレイ１１６のウェル１１８の全てが処理されたかどうかを判定し、該当する場合、測定モジュール２１４は、終了する。そうでなければ、訓練および分析システム１００は、ステップ４０８に進み、付加的透過光画像を入手および分析する。
【００６４】
ステップ４１０において作成された予測される特性値は、単に、上記に説明されるような単一の特性値であり得ることが、当業者に明白となるはずである。そのような場合には、特性値は、ステップ４１２において閾値化または別様に処理されてもよく、ステップ４１６は、行われる必要がない場合がある。
【００６５】
図６は、上記に説明されるように画像訓練および分析システム２００の機械学習システム２０６を訓練するプロセスフローの実施例を示す。図２−６を参照すると、生物サンプルの訓練透過光（すなわち、無標識）画像５００が、ステップ２５６（図３）において画像入手モジュール２０２（図２）によって入手され、生物サンプルの蛍光画像５０２が、ステップ２５８（図３）において画像入手モジュール２０２によって入手される。訓練特性画像５０４が、ステップ３０２（図４）において分析モジュール２１０（図２）によって発生される。上記に説明されるように、訓練透過光画像５００および訓練特性画像５０４は、次いで、ステップ２６２（図３）において、機械学習システム２０６を訓練するために訓練モジュール２０８によって使用される。
【００６６】
図７は、訓練された機械学習システム２０６を使用するプロセスフローの実施例を示す。図２−７を参照すると、ステップ４１０（図５）において訓練された機械学習システム２０６に入力として供給される、入力透過光画像５０６が、ステップ４０８（図５）において画像入手モジュール２０２によって入手される。訓練された機械学習システム２０６からの出力が、次いで、ステップ４１２（図５）において、出力処理モジュール２１６（図２）によって特性画像５０８を作成するために使用される。
【００６７】
図２をもう一度参照すると、いくつかの実施形態では、機械学習システム２０６は、入力として６４×６４透過光画像を受け取り、応答して、６４×６４出力画像を発生させる、入力層を有する、畳み込みニューラルネットワークである。いくつかの実施形態では、ニューラルネットワーク２０６は、Ｇｏｏｇｌｅ  Ｉｎｃ．（Ｍｏｕｎｔａｉｎ  Ｖｉｅｗ，  Ｃａｌｉｆｏｒｎｉａ）によって開発されたＡｕｔｏＭＬおよびＮＡＳＮｅｔ技術を使用して構成される。例えば、完全畳み込みＤｅｎｓｅＮｅｔ、機械視覚アプリケーションのために最適化されるニューラルネットワーク、および同等物を含む、当業者に公知である他のニューラルネットワーク２０６技術も、使用され得ることが、明白となるはずである。機械学習システム２０６は、ランダムフォレストツリーおよび同等物を含む、別のタイプの機械学習システムであり得ることが、明白となるはずである。
【００６８】
前述に説明される訓練および分析システム２００は、機械学習システム２０６を訓練し、個々の２次元透過光画像を分析するために使用されるものとして説明されるが、そのような訓練および分析システム２００は、機械学習システム２０６を訓練し、そのような生物サンプルの３次元表現を表す、異なる焦点において撮影される生物サンプルの一連の２次元透過光画像を分析するように適合されてもよい。そのような実施形態では、機械学習システム２０６は、一連の訓練透過光画像および一連の訓練蛍光画像を使用して訓練され、そのような一連の画像を含む全ての画像は、サンプルキャリア１１６の実質的に同じＸ−Ｙ場所と関連付けられ、一連の対応する透過光および蛍光画像は、異なる焦点（すなわち、異なるＺ場所）と関連付けられる。一連の画像を含む画像は全て、機械学習システム２０６に同時に提供され、機械学習システム２０６は、所定の特性を有する細胞が一連の透過光画像によって表されることを示す特性値、または予測される特性値のセットのいずれかを発生させる。予測される特性値のセットが発生される場合、そのようなセットは、透過光画像の各ピクセルと関連付けられる１つの値を含み、そのような値は、そのようなピクセルが特性と関連付けられる確率を示す。したがって、予測される特性値のセットは、入力された一連の無標識画像を３次元でセグメント化するために使用されてもよい。
【００６９】
図１および２を参照すると、第１の撮像システム１００が、第１の訓練されていない機械学習システム２０６を訓練し、第１の訓練された機械学習システム２０６を開発するために使用される、無標識および蛍光画像を供給するために使用され得、第１の訓練された機械学習システム２０６と関連付けられるパラメータが、パラメータデータ記憶部２１２内に記憶され得ることが、当業者に明白となるはずである。その後、そのような記憶されたパラメータは、第２の訓練された機械学習システム２０６を開発する（すなわち、第２の訓練されていない機械学習システム２０６上で第１の訓練された機械学習システム２０６の能力を複製する）ように、第２の訓練されていない機械学習システム２０６を構成するために使用されてもよい。第２の訓練された機械学習システム２０６は、第１または第２の撮像システム１００を使用して発生される１つまたは複数の無標識画像を分析するために使用されてもよい。さらに、蛍光画像が、第１または第２の訓練された撮像システム１００を動作させるときに必要ではないため、第２の撮像システム１００は、無標識画像のみを発生させる必要があり、実際には、蛍光画像を発生させるために装備されない場合さえあることが明白となるはずである。
【００７０】
ハードウェアおよび／またはソフトウェアの任意の組み合わせが、本明細書に説明される訓練および分析システム２００を実装するために使用され得ることが、当業者に明白となるはずである。図１−５に関連して説明されるプロセス、サブプロセス、およびプロセスステップのうちの１つまたは複数のものが、１つまたは複数の電子もしくはデジタル制御されたデバイス上のハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの組み合わせによって実施され得ることを理解および認識されたい。ソフトウェアは、例えば、図１−５に図式的に描写される機能システム、コントローラ、デバイス、コンポーネント、モジュール、またはサブモジュールのうちの１つまたは複数のもの等の好適な電子処理コンポーネントまたはシステム内のソフトウェアメモリ（図示せず）に常駐し得る。ソフトウェアメモリは、論理機能を実装するための実行可能な命令の順序付けられた一覧（すなわち、デジタル回路またはソースコード等のデジタル形態で、もしくはアナログ電気、音声、またはビデオ信号等のアナログソース等のアナログ形態で実装され得る「論理」）を含んでもよい。命令は、例えば、１つまたは複数のマイクロプロセッサ、汎用プロセッサ、プロセッサの組み合わせ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または特定用途向け集積回路（ＡＳＩＣ）を含む、処理モジュールまたはコントローラ（例えば、図２の画像入手モジュール２０２、機械学習システム２０６、訓練モジュール２０８、分析モジュール２１０、および測定モジュール２１４、ならびに処理モジュール２１６）内で実行されてもよい。さらに、概略図は、機能のアーキテクチャまたは物理的レイアウトによって限定されない、物理的（ハードウェアおよび／またはソフトウェア）実装を有する、機能の論理的分割を説明する。本願に説明される例示的システムは、種々の構成で実装され、単一のハードウェア／ソフトウェアユニット内または別個のハードウェア／ソフトウェアユニット内のハードウェア／ソフトウェアコンポーネントとして動作してもよい。
【００７１】
画像訓練および分析システム２００の１つまたは複数のコンポーネントが、例えば、ローカルエリアまたは広域ネットワーク（例えば、インターネットまたは私設ネットワーク）を経由して接続される分散コンピューティングおよび記憶システムを使用して、クラウド環境内で動作し得ることが、当業者に明白となるはずである。例えば、画像入手モジュール２０２、機械学習システム２０６、訓練モジュール２０８、出力処理モジュール２１６、および測定モジュール２１４のうちの１つまたは複数のものは、ユーザコンピュータ２１８、撮像システム１００、および／または相互から遠隔にある１つまたは複数のコンピュータ上で動作してもよい。１つのそのような構成では、例えば、画像入手モジュール２０２は、ローカルエリアまたは広域ネットワークを経由してコントローラ１１４と通信し、撮像システム１００から画像を入手し、このように入手される画像をクラウドベースの画像記憶部２０４内に記憶してもよい。ローカルで、またはクラウド内で動作する訓練モジュール２０８は、そのような画像にアクセスし、機械学習システム２０６を訓練し、クラウドベースの記憶システムとも称され得る、パラメータデータ記憶部２１２内にパラメータを記憶してもよい。測定モジュール２１４（ローカルサーバ上またはクラウド環境内で動作する）は、パラメータデータ記憶部２１２内に記憶されたパラメータにアクセスし、訓練されていない機械学習システム２０６（ローカルコンピュータ上またはクラウド環境内で動作する）を訓練してもよい。同様に、機械学習システム２０６の動作が、ローカルまたは遠隔撮像システム１００を使用して入手される画像を分析するように行われてもよい。
【００７２】
実行可能命令は、電子システムの処理モジュールによって実行されると、命令を実行するように電子システムに指示する、その中に記憶された命令を有する、コンピュータプログラム製品として実装されてもよい。コンピュータプログラム製品は、電子コンピュータベースのシステム、プロセッサ含有システム、または命令実行システム、装置、もしくはデバイスから命令を選択的にフェッチし、命令を実行し得る、他のシステム等の命令実行システム、装置、またはデバイスによる、もしくはそれと関連した使用のために、任意の非一過性のコンピュータ可読記憶媒体で選択的に具現化されてもよい。本書の文脈では、コンピュータ可読記憶媒体は、命令実行システム、装置、またはデバイスによる、もしくはそれと関連した使用のために、プログラムを記憶し得る、任意の非一過性の手段である。非一過性のコンピュータ可読記憶媒体は、選択的に、例えば、電子、磁気、光学、電磁、赤外線、または半導体システム、装置、もしくはデバイスであってもよい。非一過性のコンピュータ可読媒体のより具体的な実施例の非包括的リストは、１つまたは複数のワイヤを有する電気接続（電子）、ポータブルコンピュータディスケット（磁気）、ランダムアクセス、すなわち、揮発性のメモリ（電子）、読取専用メモリ（電子）、例えば、フラッシュメモリ等の消去可能プログラマブル読取専用メモリ（電子）、例えば、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ等のコンパクトディスクメモリ（光学）、およびデジタル多用途ディスクメモリ、すなわち、ＤＶＤ（光学）を含む。
【００７３】
また、本書で使用されるような信号またはデータの受信および伝送は、２つ以上のシステム、デバイス、コンポーネント、モジュール、もしくはサブモジュールが、あるタイプの信号経路を経由して進行する信号を介して、相互と通信することが可能であることを意味することも理解されたい。信号は、第１および第２のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールの間の信号経路に沿って、第１のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールから、第２のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールに情報、電力、またはエネルギーを通信し得る、通信、電力、データ、またはエネルギー信号であってもよい。信号経路は、物理、電気、磁気、電磁、電気化学、光学、有線、または無線接続を含んでもよい。信号経路はまた、第１および第２のシステム、デバイス、コンポーネント、モジュール、またはサブモジュールの間に、付加的システム、デバイス、コンポーネント、モジュール、またはサブモジュールを含んでもよい。
【００７４】
本明細書で引用される出版物、特許出願、および特許を含む、全ての参考文献は、各参考文献が、参照することによって組み込まれるように個別かつ具体的に示され、その全体として本明細書に記載された場合と同一の程度に、参照することによって本明細書に組み込まれる。
【００７５】
本発明を説明する文脈における（特に、以下の請求項の文脈における）用語「ａ」および「ａｎ」ならびに「ｔｈｅ」の使用、および類似する言及は、本明細書で別様に示されない、または文脈と明確に矛盾しない限り、単数および複数の両方を網羅すると解釈されるものである。本明細書の値の範囲の列挙は、本明細書で別様に示されない限り、範囲内に該当する各別個の値を個別に指す簡潔な方法としての役割を果たすことを意図しているにすぎず、各別個の値は、本明細書に個別に列挙された場合のように本明細書に組み込まれる。本明細書に説明される全ての方法は、本明細書で別様に示されない、または別様に文脈と明確に矛盾しない限り、任意の好適な順序で実施されることができる。ありとあらゆる実施例、または本明細書で提供される例示的用語（例えば、「等」）の使用は、本開示の理解をより容易にすることを意図しているにすぎず、別様に請求されない限り、本開示の範囲に限定を課さない。本明細書内のいずれの言語も、本開示の実践に不可欠として任意の請求されていない要素を示すものとして解釈されるべきではない。
【００７６】
本開示への多数の修正が、前述の説明に照らして、当業者に明白となるであろう。図示される実施形態は、例示的にすぎず、本開示の範囲を限定するものとして解釈されるべきではないことを理解されたい。
【図１】
2022500753.tif 000003
【図２】
2022500753.tif 000004
【図３】
2022500753.tif 000005
【図４】
2022500753.tif 000006
【図５】
2022500753.tif 000007
【図６】
2022500753.tif 000008
【図７】
2022500753.tif 000009
【国際調査報告】
2022500753.tif 000010
2022500753.tif 000011
2022500753.tif 000012
2022500753.tif 000013
2022500753.tif 000014
2022500753.tif 000015