【手続補正書】
【提出日】令和2年11月26日(2020.11.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像を用いた微小物体の自動検出及び再配置方法であって、
対応する複数の微小物体特性に対して前記画像から複数のピクセルマスクを発生させることと、
前記複数のピクセルマスクの少なくとも１つのピクセルマスクから微小物体の数を得ることと、
前記複数の微小物体のうちの第１の微小物体に近接する力を発生させることと、
前記力をマイクロ流体デバイスの特定空間領域に移動させて、前記第１の微小物体を再配置することと、
を含み、
前記複数のピクセルマスクを発生させることが、ニューラルネットワークを含む機械学習アルゴリズムを用いて前記画像からのピクセルデータを処理することを含み、
各ピクセルマスクがピクセルアノテーションのセットを含み、前記セットの各ピクセルアノテーションが、前記画像中の対応するピクセルが前記対応する微小物体特性を表す確率を表す、
方法。
【請求項２】
前記複数の微小物体特性が少なくとも３つの微小物体特性を含み、
前記複数の微小物体特性が、少なくとも（ｉ）微小物体中心、（ｉｉ）微小物体エッジ、及び（ｉｉｉ）非微小物体を含む、
請求項１に記載の方法。
【請求項３】
微小物体の数を得ることが、微小物体中心特性に対応するピクセルマスク、又は微小物体中心特性に対応するピクセルマスクを含むピクセルマスクの組合せから微小物体の数を得ることを含む、請求項１に記載の方法。
【請求項４】
前記ニューラルネットワークが複数のダウンサンプリングブロックを含み、各ダウンサンプリングブロックが、第１のダウンサンプリング畳込み層と、第１のバッチ正規化層と、ゲーティング関数を含む第１のＥＬＵ層と、を含み、且つ前記第１のダウンサンプリング畳込み層の各々が、それが受け取る画像データの空間分解能を低減する、請求項１に記載の方法。
【請求項５】
前記ダウンサンプリングブロックの１つ以上が、前記第１のダウンサンプリング畳込み層と、前記第１のバッチ正規化層と、前記第１のＥＬＵ層と、からなり、前記第１のＥＬＵ層が前記第１のバッチ正規化層から画像データを直接受け取り、且つ前記第１のバッチ正規化層が前記第１のダウンサンプリング畳込み層から画像データを直接受け取る、請求項４に記載の方法。
【請求項６】
各ダウンサンプリング畳込み層が前記画像データの空間分解能を１／２に低減し、
前記第１のダウンサンプリング畳込み層の各々が５×５畳込みフィルタを含む、
請求項５に記載の方法。
【請求項７】
前記複数のダウンサンプリングブロックの１つ以上に、ブランチ構造を有する残差ネットワークブロックが続き、
前記残差ネットワークブロックのブランチ構造が第１のブランチと第２のブランチとを含み、
前記第１のブランチが、先行するダウンサンプリングブロックから受け取った画像データを前記第２のブランチよりも少ない程度で処理する、
請求項４に記載の方法。
【請求項８】
前記残差ネットワークブロックの第１のブランチが、第２の畳込み層と、第２のバッチ正規化層と、ゲーティング関数を含む第２のＥＬＵ層と、を含む、請求項７に記載の方法。
【請求項９】
前記残差ネットワークブロックの第２のブランチが２つ以上の処理ユニットを含み、各処理ユニットが畳込み層とバッチ正規化層とを含む、請求項７に記載の方法。
【請求項１０】
前記残差ネットワークブロックの第２のブランチが、第３の畳込み層と、第３のバッチ正規化層と、ゲーティング関数を含む第３のＥＬＵ層と、第４の畳込み層と、第４のバッチ正規化層と、からなり、前記第４のバッチ正規化層が前記第４の畳込み層から画像データを直接受け取り、前記第４の畳込み層が前記第３のＥＬＵ層から画像データを直接受け取り、前記第３のＥＬＵ層が前記第３のバッチ正規化層から画像データを直接受け取り、且つ前記第３のバッチ正規化層が前記第３の畳込み層から画像データを直接受け取る、請求項９に記載の方法。
【請求項１１】
前記残差ネットワークブロックの第１のブランチ及び前記残差ネットワークブロックの第２のブランチからの画像データが再結合されて、ゲーティング関数を含む第４のＥＬＵ層に転送される、請求項７に記載の方法。
【請求項１２】
前記ニューラルネットワークが、第１のダウンサンプリングブロック、第１の残差ネットワークブロック、第２のダウンサンプリングブロック、第２の残差ネットワークブロック、第３のダウンサンプリングブロック、及び第３の残差ネットワークブロックを含む、請求項１に記載の方法。
【請求項１３】
前記第１のダウンサンプリングブロック及び前記第１の残差ネットワークブロックの各々が、３２個のチャネルと前記画像の空間分解能の１／２の空間分解能とを含むか、
前記第２のダウンサンプリングブロック及び前記第２の残差ネットワークブロックの各々が、６４個のチャネルと前記画像の分解能の１／４の空間分解能とを含むか、又は
前記第３のダウンサンプリングブロック及び前記第３の残差ネットワークブロックの各々が、１２８個のチャネルと前記画像の分解能の１／８の空間分解能とを含む、
請求項１２に記載の方法。
【請求項１４】
前記ニューラルネットワークが前記複数のダウンサンプリングブロックの各々に対してアップサンプリングブロックを含み、各アップサンプリングブロックが、転置畳込み層と、アップサンプリングバッチ正規化層と、ゲーティング関数を含むアップサンプリングＥＬＵ層と、を含み、且つ各アップサンプリングブロックの転置畳込み層がそれが受け取る画像データの空間分解能を増加させる、請求項４に記載の方法。
【請求項１５】
前記アップサンプリングブロックの１つ以上の各々が再結合層を含み、そこで前記アップサンプリングバッチ正規化層からの画像データが先行する残差ネットワークブロックからの画像データとマージされる、請求項１４に記載の方法。
【請求項１６】
前記１つ以上のアップサンプリングブロックの各々が、前記転置畳込み層と、前記アップサンプリングバッチ正規化層と、前記再結合層と、前記アップサンプリングＥＬＵ層と、からなり、前記アップサンプリングＥＬＵ層が前記再結合層から画像データを直接受け取り、前記アップサンプリングバッチ正規化層が再構築転置層から画像データを直接受け取る、請求項１５に記載の方法。
【請求項１７】
各転置畳込み層がそれが受け取る画像データの空間分解能を２倍に増加させる、請求項１４に記載の方法。
【請求項１８】
前記ニューラルネットワークがｎ個のダウンサンプリングブロックとｎ個の残差ネットワークブロックとを有する場合、前記ネットワークが、再結合層を含むｎ−１個のアップサンプリングブロックを有する、請求項１４に記載の方法。
【請求項１９】
前記ニューラルネットワークが、第２の残差ネットワークブロックから画像データを受け取る再結合層を有する第１のアップサンプリングブロックと、第１の残差ネットワークブロックから画像データを受け取る再結合層を有する第２のアップサンプリングブロックと、再結合層を含まない第３のアップサンプリングブロックと、を含む、請求項１４に記載の方法。
【請求項２０】
前記第１のアップサンプリングブロックが、６４個のチャネルを含み、且つ前記画像の空間分解能の１／４の空間分解能を有する画像データを出力するか、
前記第２のアップサンプリングブロックが、３２個のチャネルを含み、且つ前記画像の空間分解能の１／２の空間分解能を有する画像データを出力するか、又は
前記第３のアップサンプリングブロックが、３個のチャネルを含み、且つ前記画像の分解能と同一の空間分解能を有する画像データを出力する、
請求項１９に記載の方法。
【請求項２１】
複数のピクセルマスクを発生させる前に前記画像を前処理することを更に含み、
前記微小物体がマイクロ流体デバイス内で撮像され、
前記前処理することが、撮像時に前記マイクロ流体デバイスの少なくとも１つのコンポーネントにより生成された繰返しパターンを減算することを含む、
請求項１に記載の方法。
【請求項２２】
前記前処理することが、前記画像にフーリエ変換を適用して前記繰返しパターンを同定することを含むか、又は
前記マイクロ流体デバイスの少なくとも１つのコンポーネントが、フォトトランジスタアレイを含む基板表面である、
請求項２１に記載の方法。
【請求項２３】
前記画像を前処理することが、（ｉ）前記画像をフリップ及び／又は回転させて所望の位置付けにすること、（ｉｉ）多項式による最良当てはめ補正を用いて前記画像全体にわたり明るさをレベリングすること、（ｉｉｉ）撮像プロセス中に前記画像に導入される歪みを補正すること、からなる群から選択される少なくとも１つを含む、請求項２１に記載の方法。
【請求項２４】
微小物体の数が同定された前記微小物体を複数の微小物体タイプの少なくとも１つに分類することを更に含む、請求項１に記載の方法。
【請求項２５】
前記微小物体が生体細胞、免疫細胞、癌細胞、細胞系細胞、卵母細胞、精子、又は胚である、請求項１に記載の方法。
【請求項２６】
前記力がＤＥＰ又はＯＥＰを用いて生成される、請求項１に記載の方法。
【請求項２７】
微小物体を取り囲み、バー、多角形、又は同様の構造体を用いて前記微小物体にＯＥＰ及び／又はＤＥＰ力を受けさせ、ＯＥＰ及び／又はＤＥＰ力を前記微小物体に加えるよう構成された光ケージを前記ＤＥＰ力又はＯＥＰ力が備える、請求項２６に記載の方法。
【請求項２８】
１又は複数の起動を計算することと、
前記微小物体のうちの１又は複数の微小物体のために、前記１又は複数の軌道から軌道を選択することと、
選択された軌道を有する前記１又は複数の微小物体のうちの少なくとも１つの微小物体を、その選択された軌道に沿って動かすことによって再配置することと、
をさらに含み、
各軌道が、前記微小物体のうちの１つの微小物体を、複数の隔離ペンのうちの１つの隔離ペンに結び付ける経路である、
請求項１に記載の方法。
【請求項２９】
特定空間領域をサブ領域に分割する頂点のセットを計算することであって、前記サブ領域のそれぞれが、前記微小物体の１又は複数の微小物体を含むことと、
前記計算された頂点のセットに基づいて、前記１又は複数の微小物体のうちの第１の微小物体のための第１の光ケージを生成することと、
をさらに含む、請求項１に記載の方法。
【請求項３０】
画像を用いた微小物体の自動検出及び再配置方法をコンピュータで実施するためのプログラムが記憶された非一時的コンピュータ可読媒体であって、前記方法が、
１つ以上の微小物体を含み得る画像をメモリに記憶させることと、
対応する複数の微小物体特性に対して前記画像から複数のピクセルマスクを発生させることと、
前記複数のピクセルマスクの少なくとも１つのピクセルマスクから微小物体の数を得ることと、
前記複数の微小物体のうちの第１の微小物体に近接する力を発生させることと、
前記力をマイクロ流体デバイスの特定空間領域に移動させて、前記第１の微小物体を再配置することと、
を含み、
前記発生させる工程及び前記得る工程が、請求項１から２９又は３２から４９のいずれか１項に従って実施される、非一時的コンピュータ可読媒体。
【請求項３１】
前記微小物体が生体細胞である、請求項３０に記載の非一時的コンピュータ可読媒体。
【請求項３２】
画像中の微小物体の自動検出方法であって、
マイクロ流体デバイスの画像データを受け取ることと、
前記画像データを前処理して前記画像データ中の異常を低減することと、
ニューラルネットワークを用いて前記画像データ中のピクセルデータを処理して複数の微小物体特性に従って前記ピクセルデータにアノテートすると共に前記ピクセルデータ中の各ピクセルに対する確率値を出力することと、
閾値を適用してどのピクセル確率が少なくとも規定閾値を満たすかを決定することと、
閾値適用後に同定可能な微小物体の数に基づいて微小物体の数を決定することと、
を含み、
前記ニューラルネットワークが複数のダウンサンプリングブロックを含み、各ダウンサンプリングブロックが、ダウンサンプリング畳込み層と、ダウンサンプリングバッチ正規化層と、ダウンサンプリング活性化層と、を含む、
方法。
【請求項３３】
各ダウンサンプリング畳込み層が画像データの空間分解能を１／２に低減し、各ダウンサンプリング畳込み層が５×５畳込みフィルタを含む、請求項３２に記載の方法。
【請求項３４】
前記複数のダウンサンプリングブロックの１つ以上に、ブランチ構造を有する残差ネットワークブロックが続き、
前記残差ネットワークブロックのブランチ構造が第１のブランチと第２のブランチとを含み、
前記第１のブランチが、先行するダウンサンプリングブロックから受け取った画像データを前記第２のブランチよりも少ない程度で処理する、
請求項３２に記載の方法。
【請求項３５】
前記残差ネットワークブロックの第１のブランチが、第１のブランチ畳込み層と、第１のブランチバッチ正規化層と、第１のブランチ活性化層と、を含み、前記第１のブランチ活性化層が前記第１のブランチバッチ正規化層から画像データを直接受け取り、且つ前記第１のブランチバッチ正規化層が前記第１のブランチ畳込み層から画像データを直接受け取る、請求項３４に記載の方法。
【請求項３６】
前記残差ネットワークブロックの第２のブランチが２つ以上の処理ユニットを含み、各処理ユニットが残差畳込み層と残差バッチ正規化層とを含む、請求項３４に記載の方法。
【請求項３７】
前記残差ネットワークブロックの第２のブランチが、第１の残差畳込み層と、第１の残差バッチ正規化層と、第２のブランチ活性化層と、第２の残差畳込み層と、第２の残差バッチ正規化層と、を含み、前記第２の残差バッチ正規化層が前記第２の残差畳込み層から画像データを直接受け取り、前記第２の残差畳込み層が前記第２のブランチ活性化層から画像データを直接受け取り、前記第２のブランチ活性化層が前記第１の残差バッチ正規化層から画像データを直接受け取り、且つ前記第１の残差バッチ正規化層が前記第１の残差畳込み層から画像データを直接受け取る、請求項３６に記載の方法。
【請求項３８】
前記第１の残差畳込み層が第１の残差畳込みフィルタを含み、且つ前記第２の残差畳込み層が第２の残差畳込みフィルタを含み、且つ前記第１及び第２の残差畳込みフィルタが同一の寸法を有する、請求項３７に記載の方法。
【請求項３９】
前記第１のブランチ及び前記第２のブランチからの画像データが再結合されて、残差ネ
ットワーク活性化層に転送される、請求項３４に記載の方法。
【請求項４０】
前記ニューラルネットワークが、第１のダウンサンプリングブロック、第１の残差ネットワークブロック、第２のダウンサンプリングブロック、第２の残差ネットワークブロック、第３のダウンサンプリングブロック、及び第３の残差ネットワークブロックを含む、請求項３４に記載の方法。
【請求項４１】
前記第１のダウンサンプリングブロック及び前記第１の残差ネットワークブロックの各々が、３２個のチャネルと前記画像の空間分解能の１／２の空間分解能とを含み前記第２のダウンサンプリングブロック及び前記第２の残差ネットワークブロックの各々が、６４個のチャネルと前記画像の分解能の１／４の空間分解能とを含み、且つ前記第３のダウンサンプリングブロック及び前記第３の残差ネットワークブロックの各々が、１２８個のチャネルと前記画像の分解能の１／８の空間分解能とを含む、請求項４０に記載の方法。
【請求項４２】
前記ニューラルネットワークが前記複数のダウンサンプリングブロックの各々に対してアップサンプリングブロックを含み、各アップサンプリングブロックが、転置畳込み層と、アップサンプリングバッチ正規化層と、アップサンプリング活性化層と、を含み、且つ各アップサンプリングブロックの転置畳込み層がそれが受け取る画像データの空間分解能を増加させ、
前記アップサンプリングブロックの１つ以上が再結合層を含み、そこで前記アップサンプリングバッチ正規化層からの画像データが先行する残差ネットワークブロックからの画像データとマージされる、
請求項３２に記載の方法。
【請求項４３】
１つ以上のアップサンプリングブロックが、前記転置畳込み層と、前記アップサンプリングバッチ正規化層と、前記再結合層と、前記アップサンプリング活性化層と、を含み、前記アップサンプリング活性化層が前記再結合層から画像データを直接受け取り、
前記再結合層が前記アップサンプリングバッチ正規化層から画像データを直接受け取り、
前記アップサンプリングバッチ正規化層が前記転置畳込み層から画像データを直接受け取るか、又は各転置畳込み層が画像データの空間分解能を２倍に増加させる、
請求項４２に記載の方法。
【請求項４４】
前記ニューラルネットワークがｎ個のダウンサンプリングブロックとｎ個の残差ネットワークブロックとを有する場合、前記ネットワークが、再結合層を含むｎ−１個のアップサンプリングブロックを有する、請求項４３に記載の方法。
【請求項４５】
前記ニューラルネットワークが、第２の残差ネットワークブロックから画像データを受け取る再結合層を有する第１のアップサンプリングブロックと、第１の残差ネットワークブロックから画像データを受け取る再結合層を有する第２のアップサンプリングブロックと、再結合層を含まない第３のアップサンプリングブロックと、を含む、請求項４３に記載の方法。
【請求項４６】
前記第１のアップサンプリングブロックが、６４個のチャネルを含み、且つ前記画像の空間分解能の１／４の空間分解能を有する画像データを出力するか、
前記第２のアップサンプリングブロックが、３２個のチャネルを含み、且つ前記画像の空間分解能の１／２の空間分解能を有する画像データを出力するか、又は
前記第３のアップサンプリングブロックが、３個のチャネルを含み、且つ前記画像の分解能と同一の空間分解能を有する画像データを出力する、
請求項４５に記載の方法。
【請求項４７】
前記微小物体を複数の微小物体タイプの少なくともの１つに分類することを更に含む、請求項３２に記載の方法。
【請求項４８】
微小物体を含有するトレーニング画像のセットを用いて前記ニューラルネットワークをトレーニングすることを更に含む、請求項３２に記載の方法。
【請求項４９】
前記微小物体が生体細胞である、請求項３２に記載の方法。
【請求項５０】
画像取得ユニットであって、
マイクロ流体デバイスの１つ以上の画像を捕捉するように構成された撮像素子と、
前記画像データ中の異常を低減するように構成された画像前処理エンジンと、
を含む、画像取得ユニットと、
微小物体検出ユニットであって、
複数の微小物体特性に従って画像中のピクセルデータにアノテートすると共に、前記ピクセルデータの各ピクセルに対する確率値を出力するように構成されたニューラルネットワークと、
どのピクセル確率が少なくとも規定閾値を満たすか決定するように構成された閾値エンジンと、
画像後処理技術を適用して微小物体の数を出力するように構成された検出エンジンと、
を含む、前記画像取得ユニットに通信接続された微小物体検出ユニットと、
を含む、画像中の微小物体の自動検出システム。