(57)【要約】産生のための生物を識別するためのシステム、方法、およびコンピュータ可読媒体が提供される。この識別は、生物性能メトリックのデータセットから外れ値（たとえば、外れ値のあるウェル、株、生物を保持するプレート）を識別するための１つまたは複数の外れ値検出パラメータを決定することに基づく。予測エンジンは、外れ値検出パラメータ（たとえば、外れ値検出閾値）の第１のセットに基づき１つまたは複数の候補外れ値を識別し、候補外れ値が外れ値クラスに属す尤度を表す確率メトリックを決定し得る。それらのメトリックに基づき、外れ値のうちのいくつかは、産生のための生物を選択することを目的として生物性能を予測する際に考察から除外され得る。
2021505130.tif 000002
【特許請求の範囲】
【請求項１】
対象のコレクションから外れ値対象を識別するために、１つまたは複数の外れ値検出パラメータを決定することに少なくとも一部基づく産生のための生物を識別するためのコンピュータ実装方法であって、
（ａ）１つまたは複数の外れ値検出パラメータの第１のセットに少なくとも一部基づき、１つまたは複数の候補外れ値対象をデータセットから識別することであって、前記データセットは、各々が対象の前記コレクションの対象に対応する生物性能を表す性能メトリックのセットを含む、識別することと、
（ｂ）確率メトリックのセットを決定することであって、各確率メトリックは前記１つまたは複数の候補外れ値対象が外れ値クラスに属す尤度を表す、決定することと、
（ｃ）集約確率メトリックのセットを生成するために、確率メトリックの前記セット内の前記確率メトリックを処理することと、
（ｄ）前記集約確率メトリックの大きさに少なくとも一部基づき、１つまたは複数の外れ値検出パラメータの第２のセットを選択することと、
（ｅ）産生のための生物を選択することを目的として生物性能を予測する際に考察から除外するために、外れ値検出パラメータの前記第２のセットに少なくとも一部基づき、前記データセットの１つまたは複数の第２の外れ値対象を識別することとを含む、コンピュータ実装方法。
【請求項２】
外れ値検出パラメータの前記第１のセットは、外れ値検出閾値を含む、請求項１に記載の方法。
【請求項３】
外れ値検出パラメータの前記第２のセットは、外れ値検出閾値を含む、先行する請求項のいずれか一項に記載の方法。
【請求項４】
外れ値検出パラメータの前記第２のセットを識別することは、最大の尤度を表す集約確率メトリックの前記セットの集約確率メトリックの前記大きさに少なくとも一部は基づく、先行する請求項のいずれか一項に記載の方法。
【請求項５】
生物性能は、目的の生成物の産生に関係する、先行する請求項のいずれか一項に記載の方法。
【請求項６】
生物性能は、収量に関係する、先行する請求項のいずれか一項に記載の方法。
【請求項７】
確率メトリックのセットを決定することはロジスティック回帰を採用することを含み、前記確率メトリックは機会調整型メトリックである、先行する請求項のいずれか一項に記載の方法。
【請求項８】
処理することは、実験特有の集約確率メトリックを生成するように実験により前記確率メトリックを処理することを含む、先行する請求項のいずれか一項に記載の方法。
【請求項９】
ロジスティック回帰空間内で前記生物性能の次元に直交する次元において、前記データセットの試料にジッターをかけることを含む、先行する請求項のいずれか一項に記載の方法。
【請求項１０】
試料セットを形成するために、対象の前記グループから前記１つまたは複数の第２の外れ値対象を除外することと、
前記試料セット内の生物について生物性能を予測することとをさらに含む、先行する請求項のいずれか一項に記載の方法。
【請求項１１】
前記予測された生物性能に少なくとも一部基づき、産生のための生物を前記試料セットから選択することをさらに含む、請求項１０に記載の方法。
【請求項１２】
前記選択された生物を産生することをさらに含む、請求項１１に記載の方法。
【請求項１３】
１つまたは複数の候補外れ値対象を識別することは、外れ値検出アルゴリズムのセットの各外れ値検出アルゴリズムによって実行され、前記方法は
外れ値検出アルゴリズムの前記セットの各アルゴリズムについて集約確率メトリックのセットを生成することと、
集約確率メトリックの前記セットの前記最大の集約確率メトリックを識別することと、
前記最大の集約確率メトリックに付随する前記外れ値検出アルゴリズムを最適な外れ値検出アルゴリズムとして選択することとをさらに含む、先行する請求項のいずれか一項に記載の方法。
【請求項１４】
各対象は株複製物を表し、１つまたは複数の候補外れ値対象を識別することは、前記データセット内の前記株複製物を株によりグルーピングすることを含む、先行する請求項のいずれか一項に記載の方法。
【請求項１５】
各対象は株複製物を表し、１つまたは複数の候補外れ値対象を識別することは、前記データセット内の前記株複製物をプレートによりグルーピングすることを含む、先行する請求項のいずれか一項に記載の方法。
【請求項１６】
各対象は株複製物を表し、１つまたは複数の候補外れ値対象を識別することは、前記データセット内の前記株複製物を実験によりグルーピングすることを含む、先行する請求項のいずれか一項に記載の方法。
【請求項１７】
先行する請求項に記載の前記方法のいずれか１つを使用して産生される生物。
【請求項１８】
対象のコレクションから外れ値対象を識別するために、１つまたは複数の外れ値検出パラメータを決定することに少なくとも一部基づく産生のための生物を識別するためのシステムであって、
１つまたは複数のプロセッサと、
命令を記憶する１つまたは複数のメモリであって、前記命令は前記１つまたは複数のプロセッサのうちの少なくとも１つによって実行されたとき、前記システムに、
（ａ）１つまたは複数の外れ値検出パラメータの第１のセットに少なくとも一部基づき、１つまたは複数の候補外れ値対象をデータセットから識別させることであって、前記データセットは、各々が対象の前記コレクションの対象に対応する生物性能を表す性能メトリックのセットを含むこと、
（ｂ）確率メトリックのセットを決定させることであって、各確率メトリックは前記１つまたは複数の候補外れ値対象が外れ値クラスに属す尤度を表すこと、
（ｃ）集約確率メトリックのセットを生成するために、確率メトリックの前記セット内の前記確率メトリックを処理させること、
（ｄ）前記集約確率メトリックの大きさに少なくとも一部基づき、１つまたは複数の外れ値検出パラメータの第２のセットを選択させること、
（ｅ）産生のための生物を選択することを目的として、生物性能を予測する際に考察から除外するために、外れ値検出パラメータの前記第２のセットに少なくとも一部基づき、前記データセットの１つまたは複数の第２の外れ値対象を識別させることを行わせる、１つまたは複数のメモリとを備える、システム。
【請求項１９】
外れ値検出パラメータの前記第１のセットは、外れ値検出閾値を含む、求項１８に記載のシステム。
【請求項２０】
外れ値検出パラメータの前記第２のセットは、外れ値検出閾値を含む、請求項１８から始まる先行する請求項のいずれか一項に記載のシステム。
【請求項２１】
外れ値検出パラメータの前記第２のセットを識別することは、最大の尤度を表す集約確率メトリックの前記セットの集約確率メトリックの前記大きさに少なくとも一部は基づく、請求項１８から始まる先行する請求項のいずれか一項に記載のシステム。
【請求項２２】
生物性能は、目的の生成物の産生に関係する、請求項１８から始まる先行する請求項のいずれか一項に記載のシステム。
【請求項２３】
生物性能は、収量に関係する、請求項１８から始まる先行する請求項のいずれか一項に記載のシステム。
【請求項２４】
確率メトリックのセットを決定することは、ロジスティック回帰を採用することを含み、前記確率メトリックは機会調整型メトリックである、請求項１８から始まる先行する請求項のいずれか一項に記載のシステム。
【請求項２５】
処理することは、実験特有の集約確率メトリックを生成するように、実験により前記確率メトリックを処理することを含む、請求項１８から始まる先行する請求項のいずれか一項に記載のシステム。
【請求項２６】
前記１つまたは複数のメモリは命令を記憶し、前記命令は前記１つまたは複数のプロセッサのうちの少なくとも１つによって実行されたとき、前記システムに、ロジスティック回帰空間内の前記生物性能の次元に直交する次元において、前記データセットの試料にジッターをかけさせる、請求項１８から始まる先行する請求項のいずれか一項に記載のシステム。
【請求項２７】
前記１つまたは複数のメモリは命令を記憶し、前記命令は前記１つまたは複数のプロセッサのうちの少なくとも１つによって実行されたとき、前記システムに、
標本試料セットを形成するために、対象の前記グループから前記１つまたは複数の第２の外れ値対象を除外させ、
前記試料セット内の生物について生物性能を予測させる、請求項１８から始まる先行する請求項のいずれか一項に記載のシステム。
【請求項２８】
前記１つまたは複数のメモリは命令を記憶し、前記命令は前記１つまたは複数のプロセッサのうちの少なくとも１つによって実行されたとき、前記システムに、
前記予測された生物性能に少なくとも一部基づき、産生のための生物を前記試料セットから選択させる、請求項２７に記載のシステム。
【請求項２９】
前記１つまたは複数のメモリは命令を記憶し、前記命令は前記１つまたは複数のプロセッサのうちの少なくとも１つによって実行されたとき、前記システムに、前記選択された生物を産生させる、請求項２８に記載のシステム。
【請求項３０】
１つまたは複数の候補外れ値対象を識別することは、外れ値検出アルゴリズムのセットの各外れ値検出アルゴリズムによって実行され、前記１つまたは複数のメモリは、
外れ値検出アルゴリズムの前記セットの各アルゴリズムについて集約確率メトリックのセットを生成するための命令と、
集約確率メトリックの前記セットの前記最大の集約確率メトリックを識別する命令と、
前記最大の集約確率メトリックに付随する前記外れ値検出アルゴリズムを最適な外れ値検出アルゴリズムとして選択する命令とをさらに記憶する、請求項１８から始まる先行する請求項のいずれか一項に記載のシステム。
【請求項３１】
各対象は株複製物を表し、１つまたは複数の候補外れ値対象を識別することは、前記データセット内の前記株複製物を株によりグルーピングすることを含む、請求項１８から始まる先行する請求項のいずれか一項に記載のシステム。
【請求項３２】
各対象は株複製物を表し、１つまたは複数の候補外れ値対象を識別することは前記データセット内の前記株複製物をプレートによりグルーピングすることを含む、請求項１８から始まる先行する請求項のいずれか一項に記載のシステム。
【請求項３３】
各対象は株複製物を表し、１つまたは複数の候補外れ値対象を識別することは、前記データセット内の前記株複製物をグルーピングすることを含む、請求項１８から始まる先行する請求項のいずれか一項に記載のシステム。
【請求項３４】
請求項１８から始まる先行する請求項のいずれか一項に記載の前記システムを使用して産生される生物。
【請求項３５】
対象のコレクションから外れ値対象を識別するために、１つまたは複数の外れ値検出パラメータを決定することに少なくとも一部基づく産生のための生物を識別するための命令を記憶する、１つまたは複数の非一時的コンピュータ可読媒体であって、前記命令は、１つまたは複数のコンピューティングデバイスによって実行されたとき、前記１つまたは複数のコンピューティングデバイスのうちの少なくとも１つに、
（ａ）１つまたは複数の外れ値検出パラメータの第１のセットに少なくとも一部基づき、１つまたは複数の候補外れ値対象をデータセットから識別させることであって、前記データセットは、各々が対象の前記コレクションの対象に対応する生物性能を性能メトリックのセットを含むこと、
（ｂ）集約確率メトリックのセットを生成するために、確率メトリックのセットを決定させることであって、各確率メトリックは前記１つまたは複数の候補外れ値対象が外れ値クラスに属す尤度を表すこと、
（ｃ）確率メトリックの前記セット内の前記確率メトリックを処理させること、
（ｄ）前記集約確率メトリックの大きさに少なくとも一部基づき、１つまたは複数の外れ値検出パラメータの第２のセットを選択させること、
（ｅ）産生のための生物を選択することを目的として、生物性能を予測する際に考察から除外するために、外れ値検出パラメータの前記第２のセットに少なくとも一部基づき、前記データセットの１つまたは複数の第２の外れ値対象を識別させること、を行わせる、１つまたは複数の非一時的コンピュータ可読媒体。
【請求項３６】
外れ値検出パラメータの前記第１のセットは、外れ値検出閾値を含む、請求項３５に記載の１つまたは複数の非一時的コンピュータ可読媒体。
【請求項３７】
外れ値検出パラメータの前記第２のセットは、外れ値検出閾値を含む、請求項３５から始まる先行する請求項のいずれか一項に記載の１つまたは複数の非一時的コンピュータ可読媒体。
【請求項３８】
外れ値検出パラメータの前記第２のセットを識別することは、最大の尤度を表す集約確率メトリックの前記セットの集約確率メトリックの前記大きさに少なくとも一部は基づく、請求項３５から始まる先行する請求項のいずれか一項に記載の１つまたは複数の非一時的コンピュータ可読媒体。
【請求項３９】
生物性能は、目的の生成物の産生に関係する、請求項３５から始まる先行する請求項のいずれか一項に記載の１つまたは複数の非一時的コンピュータ可読媒体。
【請求項４０】
生物性能は、収量に関係する、請求項３５から始まる先行する請求項のいずれか一項に記載の１つまたは複数の非一時的コンピュータ可読媒体。
【請求項４１】
確率メトリックのセットを決定することは、ロジスティック回帰を採用することを含み、前記確率メトリックは機会調整型メトリックである、請求項３５から始まる先行する請求項のいずれか一項に記載の１つまたは複数の非一時的コンピュータ可読媒体。
【請求項４２】
処理することは、実験特有の集約確率メトリックを生成するように実験により前記確率メトリックを処理することを含む、請求項３５から始まる先行する請求項のいずれか一項に記載の１つまたは複数の非一時的コンピュータ可読媒体。
【請求項４３】
前記１つまたは複数の非一時的コンピュータ可読媒体は命令を記憶し、前記命令は前記１つまたは複数のコンピューティングデバイスのうちの少なくとも１つによって実行されたとき、前記１つまたは複数のコンピューティングデバイスの少なくとも１つに、ロジスティック回帰空間内の前記生物性能の次元に直交する次元において前記データセットの試料にジッターをかけさせる、請求項３５から始まる先行する請求項のいずれか一項に記載の１つまたは複数の非一時的コンピュータ可読媒体。
【請求項４４】
前記１つまたは複数の非一時的コンピュータ可読媒体は命令を記憶し、前記命令は前記１つまたは複数のコンピューティングデバイスのうちの少なくとも１つによって実行されたとき、前記１つまたは複数のコンピューティングデバイスのうちの少なくとも１つに、
標本試料セットを形成するために、対象の前記グループから前記１つまたは複数の第２の外れ値対象を除外させ、
前記試料セット内の生物について生物性能を予測させる、請求項３５から始まる先行する請求項のいずれか一項に記載の１つまたは複数の非一時的コンピュータ可読媒体。
【請求項４５】
前記１つまたは複数の非一時的コンピュータ可読媒体は命令を記憶し、前記命令は前記１つまたは複数のコンピューティングデバイスのうちの少なくとも１つによって実行されたとき、前記１つまたは複数のコンピューティングデバイスのうちの少なくとも１つに、
前記予測された生物性能に少なくとも一部基づき、産生のための生物を前記試料セットから選択させる、請求項４４に記載の１つまたは複数の非一時的コンピュータ可読媒体。
【請求項４６】
前記１つまたは複数の非一時的コンピュータ可読媒体は命令を記憶し、前記命令は前記１つまたは複数のコンピューティングデバイスのうちの少なくとも１つによって実行されたとき、前記１つまたは複数のコンピューティングデバイスのうちの少なくとも１つに、前記選択された生物の産生を促進する、請求項４５に記載の１つまたは複数の非一時的コンピュータ可読媒体。
【請求項４７】
１つまたは複数の候補外れ値対象を識別することは、外れ値検出アルゴリズムのセットの各外れ値検出アルゴリズムによって実行され、前記１つまたは複数の非一時的コンピュータ可読媒体は命令を記憶し、前記命令は前記１つまたは複数のコンピューティングデバイスのうちの少なくとも１つによって実行されたとき、前記１つまたは複数のコンピューティングデバイスのうちの少なくとも１つに、
外れ値検出アルゴリズムの前記セットの各アルゴリズムについて集約確率メトリックのセットを生成させ、
集約確率メトリックの前記セットの前記最大の集約確率メトリックを識別させ、
前記最大の集約確率メトリックに付随する前記外れ値検出アルゴリズムを最適な外れ値検出アルゴリズムとして選択させる、請求項３５から始まる先行する請求項のいずれか一項に記載の１つまたは複数の非一時的コンピュータ可読媒体。
【請求項４８】
各対象は株複製物を表し、１つまたは複数の候補外れ値対象を識別することは前記データセット内の前記株複製物を株によりグルーピングすることを含む、請求項３５から始まる先行する請求項のいずれか一項に記載の１つまたは複数の非一時的コンピュータ可読媒体。
【請求項４９】
各対象は株複製物を表し、１つまたは複数の候補外れ値対象を識別することは、前記データセット内の前記株複製物をプレートによりグルーピングすることを含む、請求項３５から始まる先行する請求項のいずれか一項に記載の１つまたは複数の非一時的コンピュータ可読媒体。
【請求項５０】
各対象は株複製物を表し、１つまたは複数の候補外れ値対象を識別することは、前記データセット内の前記株複製物を実験によりグルーピングすることを含む、請求項３５から始まる先行する請求項のいずれか一項に記載の１つまたは複数の非一時的コンピュータ可読媒体。
【請求項５１】
請求項３５から始まる先行する請求項のいずれか一項に記載の１つまたは複数の非一時的コンピュータ可読媒体に記憶されている前記命令を実行することによって産生される生物。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
本出願は、その全体が参照により本明細書に組み込まれている、２０１７年１２月１日に出願した米国仮出願第６２／５９３，７５７号の優先権の利益を主張している。
【０００２】
背景
開示の分野
本開示は、一般的に、代謝およびゲノム工学の分野に関するものであり、より具体的には目的の生成物を産生するための微生物株などの生物のハイスループット（「ＨＴＰ」）遺伝子改変の分野に関するものである。
【背景技術】
【０００３】
関連技術の記載
背景技術の節で説明されている主題は、単に背景技術の節において従来技術について言及しているからと言って従来技術であると仮定されるべきではない。同様に、背景技術の節で言及されている、または背景技術の節の主題に関連付けられている問題は、従来技術においてすでに認識されていると仮定されるべきではない。背景技術の節における主題は、単に異なるアプローチを表しているだけであり、それら自体で、請求される技術の実装形態に対応していてもよい。
【０００４】
一般的に、所望の表現型を提示するように生物を最適化することは周知の問題である。問題の１つは、所望の化合物の産生量を最大化するために、生物に対して行われ得る可能なすべての改変のうちどれが試みられるべきかということである。自動化実験装置は、短い時間枠内で微生物への数百または数千の遺伝子改変の実施および評価を可能にする。そのような改変の履歴的な評価に基づき、所与の遺伝子改変が所望の表現型性能をもたらす尤度を推測するために予測モデルが構築され得る。そこで、予測モデリングを使用することにより、設計者は目的の表現型を達成するために遺伝子製造システムにおいて物理的に行われる遺伝子改変をより効率的に選択することが可能になる。
【０００５】
ゲノム工学において使用される予測モデル（たとえば、線形回帰）では、結果として、微生物性能（たとえば、力価、バイオマス）などの予測変数への独立変数のマッピングを推定する当てはめ直線が生成される。しかしながら、多くの場合に、いくつかの株は、他のとは非常に異なる振る舞いをし、その観察された性能は、当てはめ直線により近い他の株から空間的に分離され得る。そのような外れ値株は、モデルの当てはめに影響を及ぼし、それ自体予測がうまくいかない一方で他のすべての株に対する予測力を損なう可能性がある。最適化の１つは、モデルの全予測力を改善するために外れ値株を取り除くことである。
【０００６】
外れ値および異常検出が、文献において広範に説明されているが、この目的のためにさらによいモデルを見つける作業が続いている。これらのモデルの多くは（すべて一般的に周知である）は、アルゴリズムをうまく動作させるためにデータから学習されなければならないパラメータを有している。これは、多くの場合に、文献において「パラメータチューニング（ｐａｒａｍｅｔｅｒ  ｔｕｎｉｎｇ）」と称される。パラメータチューニング／学習は、機械学習における標準ステップである。これらのパラメータは、特定のデータが分析中であることに応じて変化する。たとえば、パラメータは、宿主生物、微生物が増殖する培地、プロセスにおいて使用される機械などに依存することを予期する。そのようなものとして、新しいプロジェクトを立ち上げる毎にデータを使用してこれらのパラメータを学習し、プログラムの進化全体を通してこれらのパラメータを再検討することを予期するであろう。
【０００７】
データが監視されるときにパラメータ学習のための適切に確立された技術があり、これは公知のグラウンドトゥルースがあることを意味する。この文脈において、データ内のどの値が外れ値であり、どれがそうでないかを知るであろう。たとえば、人々のグループを男と女とに分類するモデルにおいてパラメータを学習することを試みている場合、どの人々が男であり、どの人々が女であるかが確実に知られるデータセットを有することが可能である。次いで、その情報を使用して、入力データがあるが、まだ性別が知られていない、人々の性別を分類するモデルを構築することができる。外れ値検出を伴う多くのプロジェクトには、グラウンドトゥルース、たとえば、客観的に標識された点を有するデータセットがない。
【０００８】
これは、一般的に、すべての外れ値検出アルゴリズムに当てはまるが、この問題が文献において効果的な論文を生み出し始めたのはごく最近のことに過ぎない。これに対する理由の１つは、人間が主観的に（または異常がある場合に、より客観的であってもよい）適切に理解された教師あり技術が使用され得るようにデータに標識する「半教師あり」データの使用であり得る。しかしながら、このアプローチは、大量のデータおよび限られた資源がハイスループットゲノム改変に関わっていること、アルゴリズムが更新を必要する可能性がある毎に、または目的の生成物の産生のために表現型性能、たとえば、収量、バイオマスを（予測モデルに基づき）最適化するための、新しいプロジェクトに着手するときに再較正／再訓練を必要とすることなどの、難題があるため多くの状況において選択肢でないということはあり得ない。さらに、半教師ありアプローチは、ロバスト統計モデルと比較して、外れ値を構成するものに関するバイアスがかかった人間意思決定に依存していることは一般的に認識されている。
【０００９】
そこで、どのデータ点が真の外れ値であるかを識別するグラウンドトゥルースなしでロバスト統計モデルに対するパラメータを決定することが望ましい。
【発明の概要】
【課題を解決するための手段】
【００１０】
開示の要旨
本開示では、教師なしパラメータ学習の問題に取り組んでいるいくつかの有名な論文を参照し、これらはすべて本明細書にその全体が組み込まれる。
【００１１】
【化１】
2021505130.tif 000003
【００１２】
【化２】
2021505130.tif 000004
【００１３】
【化３】
2021505130.tif 000005
【００１４】
【化４】
2021505130.tif 000006
【００１５】
ＣａｍｐｏｓらおよびＧｏｌｄｓｔｅｉｎらは、パラメータチューニングに注目するのではなくむしろ、複数の基本的に異なるアルゴリズムを比較している。しかしながら、そのアプローチは、上で説明されている問題に直接適用可能なものではない。そして、彼らはその研究において複数のデータセットを利用しているが、比較のために一度に単一のデータセットを使用している。Ｈｉｍｕｒａらの３番目の論文は、異常検出を除き、パラメータチューニングに注目している。その論文では、単一のパラメータを使用しており、メトリックはかなり単純なものであり、彼らが関心を持つ時系列データの種類においてこのパラメータがどのように重要であるかということにより強く注目している。
【００１６】
本開示では、また、いくつかの学問分野にある「ブラックボックス最適化」の問題に取り組んでいるいくつかの有名な論文を参照し、これらはすべて本明細書にその全体が組み込まれる。
【００１７】
【化６】
2021505130.tif 000007
【００１８】
【化７】
2021505130.tif 000008
【００１９】
【化８】
2021505130.tif 000009
【００２０】
【化９】
2021505130.tif 000010
【００２１】
【化１０】
2021505130.tif 000011
【００２２】
【化１１】
2021505130.tif 000012
【００２３】
【化１２】
2021505130.tif 000013
【００２４】
【化１３】
2021505130.tif 000014
【００２５】
【化１４】
2021505130.tif 000015
【００２６】
【化１５】
2021505130.tif 000016
【００２７】
これらの制限を認識したうえで、発明者は、Ｍａｒｑｕｅｓらによる論文のアイデアを利用している。この論文に提示されているメトリックは、パラメータチューニングに注目したものである。しかしながら、Ｍａｒｑｕｅｓらの根本的なアイデアは有用であるが、本開示において発明者が取り組んでいるゲノムデータは、独特の難題を提示している。
【００２８】
パラメータをチューニングする目的のために本開示において考察される生物学的データをグルーピングする多くの異なる方法がある。目的は、実験におけるすべてのデータのグループ内の外れ値を決定すること、または測定の特定のプレートについて外れ値を決定すること、または単一の株のための測定における外れ値を決定することであり得る。本開示の実施形態において、「実験」は、遺伝子改変微生物を生産し、観察データを収集するために同じ条件の下で遺伝子製造システム（「ファクトリ」）を通じて一緒に処理される生物（たとえば、プレート上の株）のグループを指す。典型的には、生物が微生物株であるときに、株は、同じ祖先株を介して互いに関連付けられる。
【００２９】
図１Ａは、ｙ軸に沿ってグルーピングされた３枚のプレートに対するバイオマス測定を例示しており、そこでは各試料点はプレート上の単一ウェル（単一株複製物を保持する）に対するバイオマスの測定を表す。図１Ｂは、ｙ軸に沿ってグルーピングされた６個の株に対する力価測定を例示しており、そこでは各試料点はプレート上の単一ウェルに対する力価測定を例示している。これらの例において、目的は、異常ウェル（株複製物）を決定することである。図１Ａにおいて、株複製物（ウェルに対応する）のグルーピングはプレート別であるが、図１Ｂでは株複製物のグルーピングは株別である。
【００３０】
標準外れ値検出モデル（これらの図は、楕円包絡線に基づく）内のパラメータの１つのセットを使用して作成される、これらの図は、外れ値と内座値との境界がどこに引かれるべきかについて問題を提起する。さらに、図のバイオマスアッセイについては、同じ分布からの試料として、プレートからのすべての測定を、または単一のハイスループットスクリーニング（ＨＴＳ）実験さえも、考慮することが妥当である。しかしながら、力価アッセイでは、試料は、間違いなく、同じ分布からのものでなく、性能（たとえば、収量）閾値は外れ値の境界を定めるであろう株のグループについて容易に線引きすることはできないことは明らかである。したがって、データの異なる粒度／グルーピングにおける外れ値検出を考慮することが重要である。しかしながら、運用およびモデリングの理由から、各株について、または各実験についてさえ、別々のモデルパラメータを採用することは実用的でない。したがって、発明者は、Ｍａｒｑｕｅｓらの論文において提示されているメトリックを取り入れ、それを効果的に修正し、株に対して、また実験に対して適切に働く外れ値検出アルゴリズムのパラメータをチューニングすることを認識した。
【００３１】
ゲノム工学では、遺伝子工学を通じて微生物株を素早く改善するプロセスに予測性と信頼性を与えるためにロボット工学、ソフトウェア、および生物学を統合する。このプロセスのきわめて重要な１つの部分は、次回の変更を行い、どの株の成長を促進するかを判定するために必要とする情報を科学者に提供するための迅速で、ロバストで、有用なデータ処理である。特に、ロボットは、数百もの実験を並行して実施し、分析自動化が、洗浄およびデータの処理をほぼリアルタイムで行うことができる。
【００３２】
第１のステップは、プロセス障害が生じる機会が複数あることでデータ中に生じる外れ値を識別することである。これには、外れ値をモデリングすることの難題と、モデルを選択することおよびパラメータをチューニングすることの両方に対するモデル評価の問題の両方が付随する。特に、本開示の実施形態では、単一モデルに対してパラメータをチューニングすることを目的としてモデルを評価する問題に取り組むが、これらの洞察もまた異なる外れ値検出モデルの間の比較を促進にする。これは、最初に外れ値を検出するためのアルゴリズムに関するものではない。新しい洞察は、パラメータの単一のセットが、時間をまたがって、また多様な生物学的株にまたがって働くことが望まれているハイスループットエンジニアリングの文脈において、単変量データと多変量データの両方を取り扱うことと、方法を開発することとを含む。
【００３３】
本開示の実施形態は、たとえば、遺伝子製造システムにおける産生のための生物を識別するためのシステム、方法、および命令を記憶するコンピュータ可読媒体を提供する。この識別は、対象のコレクションから外れ値対象を識別するための１つまたは複数の外れ値検出パラメータを決定することに少なくとも一部は基づく。本開示の実施形態により、以下のことを行える。
【００３４】
（ａ）予測エンジンは、少なくとも一部は１つまたは複数の外れ値検出パラメータの第１のセット（たとえば、外れ値検出閾値）に基づき、データセットから１つまたは複数の候補外れ値対象（たとえば、ウェルを含むプレートを表す）を識別し得、データセットは性能メトリックのセットを含み、各メトリックは対象のコレクションのうちの対象に対応する生物表現型性能（たとえば、目的の生成物の産生、収量、バイオマス）を表す。
【００３５】
（ｂ）予測エンジンは、確率メトリックのセットを決定し得、各確率メトリックは１つまたは複数の候補外れ値対象がある外れ値クラスに属す尤度を表す。
【００３６】
（ｃ）予測エンジンは、確率メトリックのセット内の確率メトリックを処理し、集約確率メトリックのセットを生成し得る。予測エンジンは、各実験に対する確率メトリックを処理し、中間の、実験特有の集約確率メトリックを生成し得る。
【００３７】
（ｄ）予測エンジンは、集約確率メトリックの大きさ（たとえば、最大尤度を表す）に少なくとも一部基づく、１つまたは複数の外れ値検出パラメータの第２のセットを選択し得る。
【００３８】
（ｅ）予測エンジンは、外れ値検出パラメータの第２のセットに少なくとも一部基づく、データセットの１つまたは複数の第２の外れ値対象を識別し得、１つまたは複数の第２の外れ値対象は、産生のための生物を選択することを目的として生物性能を予測する際に考察から除外されるべきである。
【００３９】
予測エンジンは、１つまたは複数の第２の外れ値対象をデータセットから除外して試料セットを形成し、試料セットに基づき、生物の性能を予測し得る。本開示の実施形態により、工場発注者は、予測された性能に少なくとも一部基づく、産生対象の少なくとも１つの生物を選択し得る。工場発注者および遺伝子製造システムの例は、２０１６年４月２７日に出願した米国非仮出願第１５／１４０，２９６号の優先権の利益を主張する、２０１７年４月２６日に出願した国際出願第ＰＣＴ／ＵＳ２０１７／０２９７２５号において説明されており、両方ともその全体が参照により本明細書に組み込まれている。本開示の実施形態により、遺伝子製造システムは、選択された生物を製造するものとしてよい。
【００４０】
本開示の実施形態により、外れ値が決定される対象は、それらの対象のグルーピングと同じ粒度（ｇｒａｎｕｌａｒｉｔｙ）レベルになくてもよい。たとえば、図１Ａおよび図１Ｂにおいて、各対象は株複製物（物理的にウェル内に置かれている）であるが、株複製物の性能測定は、図１Ａにおける３つのプレートグルーピングおよび図１Ｂにおける異なる株グルーピングにグルーピングされる。本開示の実施形態により、「対象」という語は、ある粒度レベルのグルーピングのメンバーを指し、対象の例はウェル（株複製物を保持する）、株、プレート、タンク、または実験である。
【００４１】
最適な外れ値検出パラメータのセットを計算することを目的として、外れ値が決定される対象（たとえば、ウェル内に物理的に置かれている株複製物）は、対象（たとえば、株複製物／ウェル）それ自体の粒度レベルより粗い粒度レベルのグループ（たとえば、プレート）にグルーピングされ得る。より粗いレベルは、グルーピングの階層内で「上位」レベルと考えられ得る。
【００４２】
たとえば、実施形態において、低いレベルから高いレベル（細から粗）の順序の有用な階層は、株複製物（またはウェル）→株（たとえば、Ｅ．Ｃｏｌｉ）→プレート→実験として考えられ得る。対象に対する性能データは、対象それ自体より粗い（上位の）粒度レベルでグルーピングされ得る。たとえば、外れ値ウェルが決定されるべきである、株複製物に対する性能データは、株（図１Ｂのように）、プレート（図１Ａのように）、または実験によりグルーピングされ得るが、外れ値プレートが決定されるべきである、プレートに対する性能データは、実験によりグルーピングされ得る。
【００４３】
実施形態において、各対象は株複製物を表すものとしてよく、１つまたは複数の候補外れ値対象を識別することは、データセット内の株複製物を株別、プレート別、または実験によりグルーピングすることを含み得る。
【００４４】
本開示の実施形態により、確率メトリックのセットの決定は、ロジスティック回帰を使用することを含み、確率メトリックは機会調整型メトリック（ｃｈａｎｃｅ  ａｄｊｕｓｔｅｄ  ｍｅｔｒｉｃ）である。ロジスティック回帰ではカーネルを使用するものとしてよい。第１のデータセットの試料は、ロジスティック回帰空間内の生物性能の次元に直交する次元においてジッターをかけられ得る。
【００４５】
予測エンジンは、外れ値検出アルゴリズムのセットのうちから最適な外れ値検出アルゴリズムを選択することを可能にし得る。予測エンジンは、外れ値検出アルゴリズムのセットの各アルゴリズムについて集約確率メトリックのセットを生成し、集約確率メトリックのセットから最大の集約確率メトリックを識別し、最大の集約確率メトリックに付随する外れ値検出アルゴリズムを最適な外れ値検出アルゴリズムとして選択するものとしてよい。
【００４６】
本開示の実施形態は、本明細書において説明されている方法のうちのいずれか１つによって産生される生物を含む。
【図面の簡単な説明】
【００４７】
【図１Ａ】図１Ａは、ｙ軸に沿ってグルーピングされた３枚のプレートに対するバイオマス測定を例示しており、そこでは各試料点はプレート上の単一ウェル（単一株複製物を保持する）に対するバイオマスの測定を表す図である。
【００４８】
【図１Ｂ】図１Ｂは、ｙ軸に沿ってグルーピングされた６個の株に対するバイオマス測定を例示しており、そこでは各試料点はプレート上の単一ウェルに対する力価測定を例示する図である。
【００４９】
【図２】図２は、本開示の実施形態を実装するためのクライアント／サーバコンピュータシステムを例示する図である。
【００５０】
【図３】図３は、本開示の実施形態による、パラメータチューニングのためのメトリックを計算するアルゴリズムを例示する図である。
【００５１】
【図４】図４は、本開示の実施形態による、図３の流れの修正バージョンに基づく機会調整型メトリックの、残差閾値に対するグラフである。
【００５２】
【図５】図５は、本開示の実施形態による、異なる外れ値重みに対する機会調整型メトリックの、残差閾値に対するグラフである。
【００５３】
【図６Ａ】図６Ａおよび６Ｂは、本開示の実施形態による、異なる外れ値重みに対する機会調整型メトリックの、残差閾値に対する個別のプロットである。
【図６Ｂ】図６Ａおよび６Ｂは、本開示の実施形態による、異なる外れ値重みに対する機会調整型メトリックの、残差閾値に対する個別のプロットである。
【００５４】
【図７】図７は、本開示の実施形態による、外れ値検出アルゴリズムがある範囲の残差閾値にわたって実行され、株毎のメトリックがそれらの実行の各々について計算される、単一の実験（単一時点における単一のアッセイ）に対する機会調整型メトリックの、残差閾値に対するプロットを例示する図である。
【００５５】
【図８】図８は、本開示の実施形態による、繰り返しおよび集約プロセスを含む、図３のアルゴリズムの修正を例示する図である。
【００５６】
【図９】図９は、本開示の実施形態による、異なる初期閾値設定に対する機会調整型メトリックの、残差閾値に対するプロットである。
【００５７】
【図１０】図１０は、本開示の実施形態によるクラウドコンピューティング環境を例示する図である。
【００５８】
【図１１】図１１は、本開示の実施形態を実装するプログラムコードを実行するために使用され得るコンピュータシステムの一例を示す図である。
【００５９】
【図１２】図１２は、本開示の実施形態による、内座値および外れ値の実験データを例示する図である。
【発明を実施するための形態】
【００６０】
詳細な説明
【００６１】
本明細書の説明は、様々な例示的な実施形態が示されている、添付図面を参照しつつなされる。しかしながら、多くの異なる例示的な実施形態が使用されてよく、したがって、この説明は、本明細書において述べられている明示的な実施形態に限定されると解釈されるべきでない。むしろ、これらの例示的な実施形態は、本開示が徹底して完全なものとなるように用意されている。例示的な実施形態に対し様々な修正を加えられることは、当業者にとっては明白であろうし、また本明細書で定義されている一般原理は、本開示の精神または範囲から逸脱することなく他の実施形態および応用にも適用され得る。したがって、本開示は、図示されている実施形態に限定されることを意図されておらず、本明細書で開示されている原理および特徴と一致する最も広い範囲を適用されることを意図されている。
【００６２】
図２は、本開示の実施形態の分散システム１００を例示している。ユーザインターフェース１０２は、テキストエディタまたはグラフィカルユーザインターフェース（ＧＵＩ）などのクライアントサイドインターフェースを含む。ユーザインターフェース１０２は、ラップトップまたはデスクトップコンピュータなどの、クライアントサイドコンピューティングデバイス１０３に置かれるものとしてよい。クライアントサイドコンピューティングデバイス１０３は、インターネットなどの、ネットワーク１０６を通じて１つまたは複数のサーバ１０８に結合される。
【００６３】
サーバ１０８は、ゲノムデータ、遺伝子改変データ（たとえば、プロモーターラダー）、および遺伝子改変に応答する微生物株性能を表し得る表現型性能データなどのデータを含むライブラリの１つまたは複数のコーパスを含み得る、１つまたは複数のデータベース１１０に、ローカルでまたはリモートで結合される。
【００６４】
実施形態において、サーバ１０８は、少なくとも１つのプロセッサ１０７と、プロセッサ１０７によって実行されたとき、遺伝子改変の表現型性能を予測する命令を記憶する少なくとも１つのメモリ１０９を備え、それにより本開示の実施形態による「予測エンジン」として働く。代替的に、予測エンジンのためのソフトウェアおよび関連するハードウェアは、サーバ１０８ではなくローカルのクライアント１０３に常駐し得るか、またはクライアント１０３およびサーバ１０８の両方の間に分散され得る。実施形態において、予測エンジンの全部または一部は、図１０においてさらに示されている、クラウドベースサービスとして稼動し得る。
【００６５】
データベース１１０は、公開データベース、さらにはユーザまたは他者によって生成されたカスタムデータベース、たとえば、ユーザまたは第三者貢献者によって実行される合成生物学実験を介して生成される分子のデータを収めたデータベースを含み得る。データベース１１０は、クライアント１０３に関してローカルもしくはリモートにあるか、またはローカルとリモートの両方に分散されてよい。
【００６６】
高水準プロセス説明
【００６７】
たとえば、遺伝子製造システムは、複数の異なる遺伝子変化を単一の基本微生物（たとえば、Ｅ．Ｃｏｌｉ）に適用し、微生物の異なる株を産生するものとしてよい。システムの分析機器は、これらの株の増殖程度（バイオマス）およびこれらが産生する生成物の量（力価）を測定するものとしてよい。そうするために、多くの異なる株のうちの各々の複数の複製物がプレート内に置かれるものとしてよい（たとえば、各株の複製物は９６ウェルプレート内のウェルのグループの各ウェル内に置かれる）。この例では、１回のプロセスランで、多くの異なる株の多くの複製物を保持するこれらの９６ウェルプレートのうちの多くを採用し得る。
【００６８】
システムは、これらの多くの株のこれらの多くの複製物についてバイオマスおよび力価を計算し得る。これは、同じまたは異なる時間に、たとえば、それぞれ生産性および収量のために２４時間および９６時間にこれらのメトリックを計算し得る。すぐ下の説明では、アッセイ（バイオマスおよび力価）のこれらの異なるコレクションを一度にバイオマスおよび力価測定の単一のコレクションと考える。
【００６９】
したがって、プレートのセット上のアッセイの単一のコレクションについて、システムは、株毎に、その株の複数の複製物上の測定に基づき測定の分布を決定する。この分布内の外れ値は、多くの理由から出現することがあり、本開示は、外れ値がプロセス障害のせいで出現すること、およびこれらの統計的外れ値を厳密な統計的手法を使用して、特にリアルタイムで識別することに関する。
【００７０】
これらの測定外れ値の統計的識別について、本開示の実施形態のシステムは、公開されて利用可能な外れ値検出アルゴリズムを使用し得るが、そのようなアルゴリズムは、データから学習される必要がある入力パラメータ（以下で詳述）を有する。上で説明されているように、グラウンドトゥルースがない、たとえば、データが教師あり学習されない、アルゴリズムに対するパラメータを学習することは難しい問題である。本開示は、次に、開示の実施形態およびこの問題に対する最適化の詳細を提示する。
【００７１】
本明細書において開示されている主な例は、単一株の複製物の単一分布からの試料の測定値としてグルーピングされた最適化に関する。しかしながら、バイオマスのような、いくつかのアッセイについて、プレートまたは実験などの、より科学的に厳密なグルーピングであり得る他のグルーピング（すなわち、粒度レベル）がある。上で説明されている難題を解決する本開示の実施形態の最適化は、グルーピングのどの選択でもうまくいく。主な例は、難題および最適化を説明することを目的とする単純例としての株グルーピングに関するものである。
【００７２】
パラメータ
【００７３】
本開示の実施形態により、予測エンジンは、  最小共分散行列式および楕円包絡線を使用して共分散のロバスト推定を行いマハラノビス距離を計算することによって外れ値検出を実行するものとしてよい。この手法の一例は、Ｒｏｕｓｓｅｅｕｗ，  Ｐ．Ｊ．，  Ｖａｎ  Ｄｒｉｅｓｓｅｎ，  Ｋ．”Ａ  ｆａｓｔ  ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｔｈｅ  ｍｉｎｉｍｕｍ  ｃｏｖａｒｉａｎｃｅ  ｄｅｔｅｒｍｉｎａｎｔ  ｅｓｔｉｍａｔｏｒ”  Ｔｅｃｈｎｏｍｅｔｒｉｃｓ  ４１（３），  ２１２  （１９９９）において説明されており、Ｓｃｉｋｉｔ−ｌｅａｒｎ：  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  ｉｎ  Ｐｙｔｈｏｎ，  Ｐｅｄｒｅｇｏｓａ  ｅｔ  ａｌ．，  ＪＭＬＲ  １２，  ｐｐ．  ２８２５−２８３０，  ２０１１，  ＡＰＩ  ｄｅｓｉｇｎ  ｆｏｒ  ｍａｃｈｉｎｅ  ｌｅａｒｎｉｎｇ  ｓｏｆｔｗａｒｅ：  ｅｘｐｅｒｉｅｎｃｅｓ  ｆｒｏｍ  ｔｈｅ  ｓｃｉｋｉｔ−ｌｅａｒｎ  ｐｒｏｊｅｃｔ，  Ｂｕｉｔｉｎｃｋ  ｅｔ  ａｌ．，  ２０１３，  ｓｃｉｋｉｔ−ｌｅａｒｎ  ｖ０．１９．１で説明されているソフトウェアで実装されるものとしてよく、各々本明細書にその全体が参照により組み込まれている。距離は、各点に対する「スコア」をもたらす。チューニングする重要なパラメータは、マハラノビス距離であり、この距離を超えた点は外れ値と考えられる。実際、予測エンジンは、残差（たとえば、値と試料中央値との間の距離）を使用して外れ値を決定し得る。そのような理由から、マハラノビス距離パラメータは、本開示の実施形態により「ｒｅｓｉｄｕａｌ＿ｔｈｒｅｓｈｏｌｄ」（そうでなければ本明細書では「残差閾値」と称される）とみなされるものとしてよい。
【００７４】
次に示すのは、ガウス分布データ上のマハラノビス距離による共分散推定の一例である。ガウス分布データについて、観測値ｘｉから分布のモードまでの距離はマハラノビス距離を使用して計算することができ、次のようになる。ｄμ，Σ（ｘｉ）２＝（ｘｉ−μ）ＴΣ−１（ｘｉ−μ）、ただし、μおよびΣは位置（たとえば、平均または中央値）および基礎となるガウス分布の共分散である。
【００７５】
実際、μおよびΣは推定値によって置き換えられる。通常の共分散最大尤度推定は、データセット内の外れ値の存在に非常に敏感であり、したがって、対応するマハラノビス距離も同様である。その結果、予測エンジンは、その代わりに、推定がデータセット内の「誤りのある」観測に対して耐性があること、および関連するマハラノビス距離が観測の真の編成を正確に反映することを保証するために共分散のロバスト推定量を採用するものとしてよい。
【００７６】
最小共分散行列式（ＭＣＤ）推定量は、共分散のロバストな高降伏点推定量である（すなわち、高汚染データセットの共分散行列、最大
【数１】
2021505130.tif 000017
個までの外れ値を推定するために使用することができる）。このアイデアは、経験的共分散が最小行列を有する
【数２】
2021505130.tif 000018
個の観測を見つけることであり、これは位置の標準推定、および共分散を計算する際に元になる観測の「純粋な」サブセットをもたらす。
【００７７】
この例は、マハラノビス距離が範囲外データの影響をどれだけ受けるかを示し、汚染分布から引き出される観測結果は、採用することを望んでいると思われる実際のガウス分布に由来する観測から区別可能でない。ＭＣＤベースのマハラノビス距離を使用することで、２つの母集団が区別可能になる。
【００７８】
しかしながら、上記のアプローチでは、二峰性株分布をうまく取り扱わず、したがって、予測エンジンは、元の値に対して同じアルゴリズムを実行し、組み合わされた内座値／外れ値の情報を使用してどの点が外れ値であるかを決定することによって補完し得る。これは、ごく少数のデータ点に影響を及ぼすが、第２のパラメータを必要とせず、それは値に対してアルゴリズムを実行しているときに超えた場合に点が外れ値と考えられる距離を決定するために使用する閾値である。この第２のパラメータは、ｖａｌｕｅ＿ｔｈｒｅｓｈｏｌｄである。そうするために、予測エンジンは、また、実際の試料値それ自体を使用して外れ値を決定し得る。その場合、ｖａｌｕｅ＿ｔｈｒｅｓｈｏｌｄは、マハラノビス距離パラメータとして採用され得る。本開示の実施形態により、予測エンジンは、各閾値を使用して外れ値検出アルゴリズムを実行し得る。アルゴリズムが値および残差の両方を使用して同じ外れ値を識別した場合、これらは、マハラノビス距離を決定するために位置を計算することを妨げられる。この更新されたマハラノビス距離は、外れ値を決定するために使用される。
【００７９】
以下で説明されている、パラメータチューニングのための本開示の実施形態は、両方のパラメータを同時にチューニングすることに対してうまくいく。しかしながら、説明を簡素化するために、本開示は、主に、より一般的なシナリオに対するｒｅｓｉｄｕａｌ＿ｔｈｒｅｓｈｏｌｄまたはただ単に「パラメータ」を参照する。また、以下の最適化は、本明細書で説明されている外れ値検出アルゴリズムだけでなく、データのクラスの分離がハイスループットスクリーニングの文脈において価値ある場合に任意の教師なしアルゴリズムについて任意のパラメータをチューニングすることに適用される。これは、さらに、この文脈における教師なし外れ値検出アルゴリズム同士を比較するために使用され得る。
【００８０】
パラメータチューニング
【００８１】
教師あり学習のデータの文脈においてパラメータチューニングを行うときに、目前の問題に対してどのパラメータが最もよく機能するかを判定するための標準的な周知のメトリックがある。教師なし学習のデータに対するパラメータをチューニングする文脈において、基本的な問題は、パラメータ選択を判定するための有用なメトリックを決定することである。
【００８２】
図３は、Ｍａｒｑｕｅｓらによって提案された方法に基づく、パラメータチューニングのためのメトリックを計算するための、本開示の実施形態による、アルゴリズムを例示している。図３は卵形を使用して、その論理を本開示の実施形態によるそのアルゴリズムに対するパラメータを選択するために使用されるメトリックを計算するための論理から分離する、外れ値検出アルゴリズムを表す。この分離は、本開示の実施形態によるパラメータ選択／モデルを比較するための有用なメトリックを見つけて計算することが、基礎となる外れ値アルゴリズムに依存しない（ａｇｎｏｓｔｉｃ）ことを示す。
【００８３】
矩形のボックスは、特定のプロセスから出るデータ／標識／情報を表す。丸角ボックスは、本開示の実施形態による最適化の多くを実行するためのモデル／計算である。
【００８４】
本開示の実施形態により、予測エンジンは、外れ値検出アルゴリズムを実行するか、または外れ値検出アルゴリズム（３０４）の結果を受け取るものとしてよい。実験からの公知の観測結果に基づき、外れ値検出アルゴルズムは、対象（たとえば、株複製物）の性能測定をグルーピングして、内座値と外れ値との間の分割の影響を最も受けやすいと思われる分布を提供するように構成され得る。この例では、図１Ｂのそれと同様に、株複製性能測定は、株によりグルーピングされてよく、外れ値検出アルゴリズムは、単一の実験およびこのステップにおけるパラメータの単一のセットに対するすべての株についてすべてのプレート上で実行され、候補外れ値ウェル（各ウェルは株複製物を保持する）を決定し得る。アルゴリズムは、上で説明されているような最小共分散行列式および楕円包絡線の手法を採用するものとしてよい。
【００８５】
外れ値検出アルゴリズムは、データが内座値または外れ値の標識されたアッセイデータ（３０５）を生成する。Ｘ＝｛ｘ１，ｘ２，．．．，ｘＮ｝をいくつかの点が外れ値として標識されるデータセットとする。Ｓ⊂Ｘを、外れ値と標識されるＸ内のｎ個の点のサブセットとする。Ｙを外れ値検出アルゴリズムによって割り当てられたようなＸ内のデータに適用される内座値／外れ値標識のセットであるものとする。
【００８６】
外れ値検出アルゴリズムについて選択されたグルーピングを使用することで、カーネルロジスティック回帰（ＫＬＲ）アルゴリズム（３０６）は、標識されたアッセイデータ、この例による、単一のグループ（たとえば、ここでは、単一の株、ただし他の実施形態では単一のプレートまたは実験であり得る）に対する対象（ここでは、株複製物）の分布上で訓練され得る。グループが単一の株である、この例では、予測エンジンはＫＬＲ（３０６）を採用して、グループ（ここでは、単一の株）内の各株複製物（ウェル）測定について、株複製物測定が外れ値クラス内に収まる確率を示す確率（３０８）を生成する。本開示の実施形態により、ＫＬＲアルゴリズムは、ガンマおよびクラス重みを採用して確率を精緻化する。
【００８７】
ＫＬＲは、外れ値回帰アルゴリズムによって決定された候補外れ値が実際に外れ値として分類されるべきである確率を決定する。ＫＬＲは、本明細書においてξ（ｘ，ｙ；ｗ）として参照され、ｗは回帰関数の中の係数を表す、標準損失関数（多くの統計モデルのような）を有する。この文脈において、「モデルを当てはめる」は、損失関数
【数３】
2021505130.tif 000019
を最小にするｗに対する値を見つけることを意味する。Ｌ２（またはＬ１）ペナルティをこの損失関数に加えることは通常のことである。その場合、モデルを当てはめることは、Ｃがスケーリングパラメータである
【数４】
2021505130.tif 000020
を最小にする係数ｗを見つけることになり、したがって、Ｃが大きいほど、損失関数は正則化に関して分類境界を決定することに大きな役割を果たし、Ｃが小さいほど、正則化が大きな役割を果たす。したがって、Ｃは、損失全体に対する正則化の効果の制御を可能にする。
【００８８】
本開示の実施形態は、クラス重みを使用して損失関数のさらなる制御を可能にする。本開示の実施形態は、２つのクラス、すなわち、外れ値と内座値とを採用する。Ｍａｒｑｕｅｓに従って、βは外れ値に対する重みを示すために使用される（２クラス分類では、同じ効果が１つのクラスだけに重みを付けることから得られる）。次いで、損失干渉に対するスケーリングパラメータは、標識ｙｉが外れ値を示し、内座値に対してはＣのままであるときにβＣになる。本開示の実施形態の予測エンジンは、βは内座値を外れ値として誤って分類することと比べて外れ値を内座値として誤って分類する損失を低減するように選択されるべきであるというＭａｒｑｕｅｓの哲学に従う。しかしながら、実際には、発明者は以下の最適化で示されているように、データを使用してこのパラメータをチューニングすることが最良であることに気付いた。
【００８９】
「カーネルロジスティック回帰」の中の「カーネル」という語の使用は、非線形データ上で線形モデルを使用することを可能にする当てはめの前にデータに変換を適用することを指す。分類シナリオ（たとえば、外れ値対内座値）において、決定境界は元のデータ上で見たときに非線形であるが、決定境界はカーネルを適用した後に変換されたデータ上で線形である。これは、決定境界が線形であると予想されないが、むしろ、動径（ガウス）である可能性がより高いと予想される場合に外れ値の文脈において特に有用である。本開示の実施形態は、動径カーネル（最も一般的に使用されているもののうちの１つ）
【数５】
2021505130.tif 000021
を使用し、この情報はｓｃｉｋｉｔ−ｌｅａｒｎにおいてそれに従う。
【００９０】
したがって、本開示の実施形態により、カーネルロジスティック回帰は、γ、Ｃ、およびβに対応する３つのパラメータ「ガンマ、Ｃ、およびクラス重み」を有し、これらは外れ値検出に対するパラメータを選択する際に使用するメトリックを計算するプロセスに出現する。これらは、本開示の実施形態がチューニングに主に関わっているパラメータではないことに留意されたい。その代わりに、本開示の実施形態では、すぐ下で説明されているように、これらのパラメータを別々に取り扱う。
【００９１】
４（ａ）γ：Ｍａｒｑｕｅｓは、シミュレーション研究に基づき、ガンマに対する値（たとえば、０．０１、０．１、１、１０、１００、１０００）から外れ値として標識される任意の点が他のすべてから個別に弁別される−たとえば、各々がそれ自体の決定境界を有するガンマの値までの範囲にわたって平均を取ることを提案している。これは、典型的には、大きすぎない、たとえば、１０００以下であるが、半教師あり学習の方法で容易に決定することも可能であろう。
【００９２】
４（ｂ）Ｃ，β：これらは基本的に関係している。Ｍａｒｑｕｅｓらが、これらのパラメータに対する選択に関して与えている指針はかなり少ない。したがって、これらのパラメータを選択することは、次の節で説明する第１の最適化である。
【００９３】
図３の実装形態は、機会調整型メトリック（ＣＡＭ）を最終的に計算するものである。（本開示の別のところの実施形態は、最適化を使用して、それらのメトリックをハイスループットスクリーニングに有用な単一のメトリックに集約する。）
【００９４】
本開示の実施形態により、ＣＡＭを計算するために、予測エンジンは、すべてのγｊにわたるデータセット全体に対する平均確率Ｍ（Ｘ）およびすべてのγｊにわたる標識された候補外れ値のサブセットに対する平均確率Ｍ（Ｓ）を計算する（３１０）。本開示の実施形態により、次いで、予測エンジンは、単一のグループ（ここでは、株）に対する機会調整型メトリックを計算する（３１２）。詳細は以下に提示される。
【００９５】
γ１、γ２、．．．、γｋを上の４（ａ）のように選択されたガンマの値の離散セットとする。ｐ（ｘｉ，γｊ）をγｊについてＫＬＲによって提示される確率とする。
【００９６】
すべてのγｊにわたるデータセット全体（Ｘ内のすべてのｘｉ）に対する平均確率を
【数６】
2021505130.tif 000022
として設定する（３１０）。
【００９７】
すべてのγｊにわたる標識された候補外れ値のサブセット（Ｓ内のすべてのｘｉ）に対する平均確率を
【数７】
2021505130.tif 000023
として設定する（３１０）。
【００９８】
すると
【数８】
2021505130.tif 000024
となる（３１２）。
【００９９】
最適化
【０１００】
本開示の実施形態は、最適化により図３の実装形態から発展したものである。
【０１０１】
上で指摘されているように、本開示の実施形態は、Ｍａｒｑｕｅｓに従い、γの複数の値にわたって平均をとるが、発明者は、Ｃおよびクラス重みβをチューニングすることに対して半教師あり学習のアプローチをとることが有利であることに気付いた。本開示の実施形態の最適化の一例は、１つの実験から１つの株またはプレート（より一般的には、ある粒度レベルにおける「対象」）をとり、機会調整型メトリックのプロットが外れ値アルゴリズムに対するパラメータが変化するときに有するべき形状を示すまで値をチェックすることである−−メトリックは、最初に、パラメータ（たとえば、残差閾値）が増大するときに増大し、次いで、パラメータが増大し続けるときにわずかに減少するか、横ばい状態になる（最終的に外れ値検出がすべての点を内座値として分類しているときに）べきである。
【０１０２】
たとえば、図４は、単一のバイオマスアッセイが実行される、図３の流れの修正バージョンに基づきＣＡＭの、残差閾値に対するプロットを示している。この例では、外れ値検出は、単一の実験の単一のアッセイについて実行された。ＫＬＲは、単一のプレート（すなわち、粒度のプレートレベル）における単一の実験に対して一度限りのプロセスとして実行された。この例では、予測エンジンは、内座値重みに対する固定値および外れ値重みに対する値の範囲を仮定して、Ｍａｒｑｕｅｓにおいて使用されるＣ（ｓｃｉｋｉｔ  ｌｅａｒｎで使用されるＣの逆数）の小さな範囲を分析した。
【０１０３】
図４は、単一の外れ値重み（たとえば、１０）に対する、Ｃの３つの異なる値（グラフの右に凡例で示されているように、０．１、１．０、および１０．０）に対する効果を示している。残差閾値が増大すると、アルゴリズムは、すべての点を内座値として識別し、メトリックがゼロになるまで、ますます小さくなる値を外れ値として指定することが予想される。残差閾値がすべての値を内座値として指定できる十分な大きさになった後、それはすべてのより大きい値に対する場合のままである。したがって、メトリックは、ゆっくりと増大し、次いで、０に下がるまで減少することが予想される。グラフでは、図５に示されているように、メトリックに対する異なるスケールは、それらの一部をきわめて平坦に見せるが、Ｃ＝１のときには、予想される挙動はより明確に示され、したがって、予測エンジンはＣのその値を設定し、次いで外れ値重みについて値の範囲（たとえば、０．２〜１５．０）を探索し得ることに留意されたい。
【０１０４】
外れ値重み（図５のグラフの右の凡例に示されている）が１０または１５であるときに、メトリック曲線は予想どおりの形状であるように見える。ここでもまた、スケールは、当てにならないように見える。したがって、発明者は外れ値重み＝１０および１の個別のグラフを調べ、外れ値が図６Ａでは１であり、図６Ｂでは１０である場合にこのアイデアをチェックした。
【０１０５】
これらの図は、おおよそ類似の挙動を示すが、非常に異なるスケールを用いている。たとえば、本開示の実施形態は、図６Ｂの値で進み、次の説明では、Ｃ＝１および外れ値重み＝１０を設定している。
【０１０６】
カーネルロジスティック回帰は、多変量データを必要とする。しかしながら、多くの場合に、試料データセットは一変量であり、外れ値検出アルゴリズムのメトリックおよびパラメータチューニングは、実際には、一変量データと多変量データの両方に対して等しくうまく働く。したがって、本開示の実施形態は一変量データに「ジッター」をかけ得る。実施形態により、予測エンジンは、一変量に対してジッターを加えるようにＫＬＲ３０６の修正バージョンを実装し得る。予測エンジンは、ジッターに対して２つの最適化を実装し得る。１つはランダムジッターであり、これは第２の変数として［０，１］上の均一な分布から値の無作為試料を取る。予測エンジンは、また、収量データおよびバイオマスデータ（たとえば）アクセス権を有するものとしてもよい。予測エンジンは、収量データ内の外れ値を識別するときにバイオマスデータを第２の「ジッター」変数として使用し得る。これは、バイオマスデータが収量データに「ジッター」をかけるために適切な規模のものであるのでうまくいく。正しい規模の他のアッセイが利用可能であるときに、予測エンジンはそれらも使用し得る。
【０１０７】
最適化の第３のセットは、背景技術の説明の一部に詳細を加えることから恩恵を受ける。本開示の実施形態の外れ値検出アルゴリズムは、残差閾値をパラメータとして使用する。図７は、外れ値検出アルゴリズムがある範囲の残差閾値（この例では、目的のパラメータ）にわたって実行され、株毎のメトリックがそれらの実行の各々について計算される、単一の実験（単一時点における単一のアッセイ）の結果を示している。最大のメトリック値に対応する残差閾値は、外れ値検出がその株について外れ値を内座値から分離する際に最もよく機能した場合の値である。
【０１０８】
しかしながら、これは、技術的な問題を引き起こす。アルゴリズムを訓練する作業の一部として、残差閾値が各実験についてチューニングされなければならなかった場合に訓練の目的が損なわれ、各株についてチューニングされなければならなかった場合になおいっそう悪化する。そうすることで、外れ値検出アルゴリズムは無効になる。この問題の解決策として、本開示の実施形態は、非常に細かいレベルでメトリックを集約してすべての株に対して「最良」である値を見つけるために使用される単一のメトリックを生成し、次いで、時間をかけてさらに集約しすべての株に対して「最良」である値を見つける。
【０１０９】
図８は、図３のアルゴリズムの修正であり、本開示の実施形態による、繰り返しおよび集約プロセスを含む。
【０１１０】
本開示の実施形態により、ユーザはチューニングするパラメータのコレクション（１／２の増分単位で０〜２０の残差閾値ラン、１／２の増分単位で０〜１０の値閾値ラン）（１００２）を選択する。予測エンジンは、選択されたセット上で繰り返す。実施形態において、ユーザは、パラメータのこの選択されたコレクションに対して力まかせグリッドサーチを実行し得る。そのようなグリッドサーチは、あきれるほどに並列処理可能であり、ユーザはこの探索を並列処理し得る。実施形態において、ユーザは、代替的に、ベイズ最適化［Ｂｅｒｇｓｔｒａ  ｅｔ．  ａｌ．，  Ｓｈａｈｒｉａｒｉ  ｅｔ．  ａｌ．，  Ｓｎｏｅｋ  ｅｔ．  ａｌ．］、微分フリー最適化［Ｃｏｎｎ  ｅｔ．  ａｌ．，  Ｒｉｏｓ  ａｎｄ  Ｓａｈｉｎｉｄｉｓ］、逐次実験計画［Ｃｈｅｒｎｏｆｆ］、および多種多様な多腕バンディット問題［Ｇｉｎｅｂｒａ  ａｎｄ  Ｃｌａｙｔｏｎ，  Ｌｉｓｈａ  ｅｔ．  ａｌ．，  Ｓｒｉｎｉｖａｓ  ｅｔ．  ａｌ．］を含むいくつかの学問分野にあるブラックボックス最適化を使用して、パラメータのコレクション（１００２）を選択するものとしてよく、そのような分野に対して引用されている前述の参考文献は本明細書にその全体が参照により組み込まれている。これらのリストは代表的なものであって、これらは活発な研究分野なので網羅的でない。Ｇｏｌｏｖｉｎらは、これらの手法の概要を示している。
【０１１１】
予測エンジンは、外れ値検出アルゴリズムを実行するか、または外れ値検出アルゴリズム（１００４）の結果を受け取るものとしてよい。外れ値検出アルゴリズムは、データが内座値または外れ値として標識されたアッセイデータ１００５を生成する。実験からの公知の観測結果に基づき、外れ値検出アルゴルズムは、対象（たとえば、株複製物）の性能測定をグルーピングして、内座値と外れ値との間の分割の影響を最も受けやすいと思われる分布を提供するように構成され得る。この例では、図１Ｂのそれと同様に、株複製性能測定は、株によりグルーピングされ、外れ値検出アルゴリズムは、単一の実験およびこのステップにおけるパラメータの単一のセットに対するすべての株についてすべてのプレート上で実行され、外れ値ウェル（各ウェルは株複製物を保持する）を決定する。アルゴリズムは、上で説明されているような最小共分散行列式および楕円包絡線の手法を採用するものとしてよい。
【０１１２】
外れ値検出アルゴリズムについて選択されたグルーピングを使用することで、ＫＬＲアルゴリズムは、この例による、単一のグループ（たとえば、ここでは、単一の株、ただし他の実施形態では単一のプレートまたは実験であり得る）に対する対象（ここでは、株複製物）の分布上で訓練され得る。グループが単一の株である、この例では、予測エンジンはＫＬＲ（１００６）を採用して、グループ（ここでは、単一の株）内の各株複製物（ウェル）測定について、株複製物測定が外れ値クラス内に収まる確率を示す確率（１００８）を生成する。上で説明されているように、本開示の実施形態により、ＫＬＲアルゴリズムは、ガンマおよびクラス重みを採用して確率を精緻化する。
【０１１３】
本開示の実施形態により、上で説明されているように、予測エンジンは、すべてのγｊにわたるデータセット全体に対する平均確率Ｍ（Ｘ）およびすべてのγｊにわたる標識された候補外れ値のサブセットに対する平均確率Ｍ（Ｓ）を計算する（１０１０）。
【０１１４】
本開示の実施形態により、次いで、予測エンジンは、単一のグループ（ここでは、株）に対する機会調整型メトリックを計算する（１０１２）。
【０１１５】
次いで、本開示の実施形態により、予測エンジンは、戻ってグルーピング内の別のグループ（ここでは、別の株）に対してＫＬＲ（１００６）を実行し、引き続きすべてのグループ（ここでは、すべての株）に対する機会調整型メトリックを計算することを続ける（１０１４）。株の完全なグルーピングは、１つまたは複数のプレート上に置かれるものとしてよく、したがって、ＫＲＬは複数のプレート上の株に対して実行され得ることに留意されたい。
【０１１６】
それらの繰り返しを完了した後、次いで、予測エンジンは、ＣＡＭがすべての実験について計算されたかどうかを決定する（１０１６）。そうでなければ、検出エンジンは、本開示の実施形態により、戻って別の実験について外れ値検出（１００４）を実行するか、またはその結果を取得することを繰り返し、これらのステップを続けてすべての実験についてＣＡＭを計算する。
【０１１７】
それらの繰り返しを完了した後、次いで、予測エンジンは、ＣＡＭがすべてのパラメータ（たとえば、残差閾値、値閾値）について計算されたかどうかを決定する（１０１８）。そうでなければ、検出エンジンは、本開示の実施形態により、戻ってパラメータ別のセットについて外れ値検出（１００４）を実行するか、またはその結果を取得することを繰り返し、これらのステップを続けてパラメータのすべてのセットについてＣＡＭを計算する。
【０１１８】
図８の上の説明は、メトリックが細工しやすいものとなる各繰り返しにおける非常に細かいレベルでＣＡＭを取得することを例示している（たとえば、一時に単一のアッセイに対する、単一の実験における単一の株）。次いで、図８は、メトリックを、外れ値検出にどのパラメータを使用するか（たとえば、ｒｅｓｉｄｕａｌ＿ｔｈｒｅｓｈｏｌｄおよびｖａｌｕｅ＿ｔｈｒｅｓｈｏｌｄ）を決定するために使用される単一のメトリックに集約することを示す。以下に、本開示の実施形態による集約プロセスに関するさらなる詳細を示す。
【０１１９】
集約（ａｇｇｒｅｇａｔｉｏｎ）
【０１２０】
上記のようなグルーピング（この例では、株）の同じレベルで、予測エンジンはＣＡＭをグループ（ここでは、株）別にグルーピングし、パラメータの各セットに対してメトリックを提供する。これは、異なるパラメータで試料抽出された各グループに対するＣＡＭの分布を表す。ｍ１、ｍ２、．．．、ｍｔをこの分布におけるＣＡＭメトリックとする、すなわち、ｍｉは１つまたは複数のパラメータの各セット（たとえば、（残差閾値、値閾値）対の各セット）に対する単一のＣＡＭである。
【０１２１】
それらのＣＡＭの各分布について、予測エンジンは、ｍｉ−μ、ただし
【数９】
2021505130.tif 000025
（パラメータのセット間のｍｉの平均）、を計算することによって各グループ（ここでは、株）についてＣＡＭを正規化し、これはパラメータ間でゼロ平均を有するように分布を正規化する（１０２０）。実施形態において、正規化は、また、ＣＡＭ分布をその標準偏差でスケーリングすることを含み、したがって、これらはすべて、平均０および標準偏差１を有し、分散が株および時間にわたるメトリック分布について同じであるという仮定を支持する。
【０１２２】
本開示の実施形態により、次いで、予測エンジンは、グループ（ここでは、全株）内のすべての対象に対する正規化を繰り返す（１０２２）。その結果得られるデータは、パラメータ（たとえば、株、プレート、実験、およびパラメータ別にインデックスを付けられた）間のすべてのプレートおよびすべての実験に対するすべての株の正規化されたＣＡＭ分布を含む。
【０１２３】
本開示の実施形態により、次いで、予測エンジンは実験レベルより細かいレベルの粒度レベル間の（たとえば、この例では株およびプレート間の）それらの線形シフトされ、正規化されたＣＡＭを集約（たとえば、平均）し、これもパラメータ別にインデックスを付けられた、各実験について、単一のＣＡＭを取得する。（実施形態により、予測エンジンは、各粒度レベルで正規化し集約するものとしてよい。）次いで、予測エンジンは、実験に対してＣＡＭを正規化し（１０２４）、すべての実験のセット内の各実験について正規化を繰り返すものとしてよい（１０２６）。結果は、パラメータの各セットに対する各実験の集約ＣＡＭである。
【０１２４】
本開示の実施形態により、予測エンジンは、その結果得られる集約ＣＡＭを実験間で集約し、パラメータの各セットに対する単一の集約ＣＡＭを取得する（１０２８）。
【０１２５】
本開示の実施形態により、次いで、予測エンジンは、最大の集約ＣＡＭに対するパラメータのセットを選択する（１０３０）。パラメータの選択されたセットは、外れ値検出アルゴリズムに対する最適なセットである。
【０１２６】
本開示の実施形態は、アルゴリズムのセットから最良の外れ値検出アルゴリズムを選択し得る。そうするために、予測エンジンは、異なる外れ値検出アルゴリズムを実行するための図８の図中の別の反復ループ（図示せず）を含み、ＣＡＭの集約において各アルゴリズムに由来する結果を含むものとしてよい。そのような実施形態において、予測エンジンは、各外れ値検出アルゴリズムを実行し（１００２）、各そのようなアルゴリズムに対する最良のパラメータ（たとえば、閾値パラメータ）を識別し、最良の（たとえば、最大の）ＣＡＭを使用して最良の外れ値検出アルゴリズムを識別し得る。
【０１２７】
さらなる最適化は時間に関するものである。カーネルロジスティック回帰を何回も実行すると遅くなり得る。したがって、本開示の実施形態において、予測エンジンは、たとえば、最初に残差閾値を（２、６、１０、１４）に設定し、値閾値を（０、４、８）に設定して、プロットの右の凡例が異なる初期値閾値設定を表している図９の結果を取得するものとしてよい。
【０１２８】
発明者の経験に基づき、発明者は、これらの多くの分布のバリエーションがほぼ同じであると仮定する。これにより、多くの分布が比較可能になり、そこで、標準集約技術（平均のような）が、メトリックを株および時点の間でパラメータ毎に単一のメトリックに集約するために使用され得る。本開示の実施形態では平均を使用する。
【０１２９】
実験は、値閾値がこの例ではほとんど影響を有しないこと（ただし定義により、正であるべきである）、およびこれらのデータに対する残差閾値が約６であるべきであること、および６に近いメトリックが６よりもかなりよい場合のあることを示している。したがって、発明者は、パラメータ、すなわち、残差閾値（４、５、６、７、８、９、１０）および値閾値（４、６）を使用してこのプロセスを再実行したが、ただし、値閾値はこの例では影響が小さいことを確認するように選択された。次いで、それらの結果を使用することで、発明者は、０．５のスケールで再び実験を実行した。それらの条件の下で結果を使用することで、条件を精緻化する作業を続けることができる。本開示の実施形態は０．５のスケールを採用している。
【実施例】
【０１３０】
実験例
【０１３１】
本発明者らは、この節で２つの例を取りあげる。第１の例では、一変量データとして扱われる２つの異なるアッセイ上で外れ値検出を使用する。これは、本開示の実施形態を使用して外れ値検出のためのアルゴリズムを選択すること、および外れ値検出を使用することで産生対象の株を選択する予測能力を改善することを示している。第２の例は、本開示の実施形態を使用して、予測能力を改善する、１つの特定の外れ値検出多変量アルゴリズムをチューニングすることを示している。
【０１３２】
本発明者らは、Ｓｃｉｋｉｔ−ｌｅａｒｎ：  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  ｉｎ  Ｐｙｔｈｏｎ，  Ｐｅｄｒｅｇｏｓａ  ｅｔ  ａｌ．，  ＪＭＬＲ  １２，  ｐｐ．  ２８２５−２８３０，  ２０１１、ＡＰＩ  ｄｅｓｉｇｎ  ｆｏｒ  ｍａｃｈｉｎｅ  ｌｅａｒｎｉｎｇ  ｓｏｆｔｗａｒｅ：  ｅｘｐｅｒｉｅｎｃｅｓ  ｆｒｏｍ  ｔｈｅ  ｓｃｉｋｉｔ−ｌｅａｒｎ  ｐｒｏｊｅｃｔ，  Ｂｕｉｔｉｎｃｋ  ｅｔ  ａｌ．，  ２０１３において提供されている４つの外れ値検出アルゴリズム、ｓｃｉｋｉｔ−ｌｅａｒｎ  ｖ０．１９．１：  Ｌｏｃａｌ  Ｏｕｔｌｉｅｒ  Ｆａｃｔｏｒ  （ＬＯＦ）、Ｅｌｌｉｐｔｉｃ  Ｅｎｖｅｌｏｐｅ  （ＥＥ）、Ｉｓｏｌａｔｉｏｎ  Ｆｏｒｅｓｔ  （ＩＦ）、およびＯｎｅ−Ｃｌａｓｓ  ＳＶＭ  （ＳＶＭ）を使用した。この例は、これらのアルゴリズムの間の選択を示しており、したがって、本発明者らは、これらのアルゴリズムに対するハイパーパラメータに標準値を使用する。
【０１３３】
ＬＯＦ、ＥＥ、およびＩＦについては、本発明者らは、汚染＝０．０４を設定するが、それは、われわれのデータが典型的にはデータのおおよそ３〜５％を外れ値として有するからである。本開示の実施形態は、このパラメータをチューニングするために使用され得る。さらにＬＯＦについては、本発明者らは、ｎ＿ｎｅｉｇｈｂｏｒｓ＝３５を使用し、ＥＥについては、本発明者らは、ｍａｘ＿ｓａｍｐｌｅｓ＝データセット内の行の数を設定した。ＳＶＭについては、本発明者らは、動径カーネル（ｒｂｆ）、ｎｕ＝０．９５＊０．０４＋０．０５、およびガンマ＝０を使用しており、本開示の実施形態は、これらをチューニングするためにも使用され得る。本発明者らは、生物性能を予測し産生のための生物を選択するために線形モデルにおいて使用される２つの異なるウェルレベル測定で４つすべてのアルゴリズムをテストした。２つの線形モデルは、（１）生データについて、および（２）外れ値検出が適用されるデータについて、訓練された。第２の場合、最大のＣＡＭを有するアルゴリズムが使用された。モデル同士を比較するために、本発明者らは、誤差パーセントメトリックをテストデータ（モデルを訓練するために使用されないデータ）に対して使用した。
【０１３４】
第２の場合の一測定では、本開示の実施形態は次のＣＡＭを与える。
【表１】
2021505130.tif 000026
【０１３５】
第２の場合の第２の測定では、本開示の実施形態は次のＣＡＭを与える。
【表２−１】
2021505130.tif 000027
【表２−２】
2021505130.tif 000028
【０１３６】
本発明者らは、ｐｒｏｄｕｃｔｉｏｎ＿ｍｅｔｒｉｃ＝ａ＋ｂ＿１＊ｍｅａｓｕｒｅｍｅｎｔ＿１＋ｂ＿２＊ｍｅａｓｕｒｅｍｅｎｔ＿２の形態の標準線形モデルを当てはめ、第１の場合に対する３９．７％の誤差（真の産生メトリック（ｔｒｕｅ  ｐｒｏｄｕｃｔｉｏｎ  ｍｅｔｒｉｃ）のＲＭＳＥ／平均）、および第２の場合に対する３８．８％誤差のみを取得した。
【０１３７】
本開示の実施形態により、外れ値検出は、上の例１のように別々に、または第２の例のように一緒に（多変量）測定に対して実行され得る。例１のように、例２では、２つの線形モデルは、（１）生データについて、および（２）外れ値検出が適用されるデータについて、訓練された。第２の場合、最大のＣＡＭを有するパラメータが使用された。モデル同士を比較するために、本発明者らは、誤差パーセントメトリックをテストデータ（モデルを訓練するために使用されないデータ）に対して使用した。
【０１３８】
使用されたパラメータのコレクション（１００２）は、１／２の増分単位で３から１１．５までの残差閾値、および１の増分単位で１〜７の値閾値であった。最大のＣＡＭは０．０２１９９であり、対応するパラメータは残差閾値＝４であり、値閾値＝５であった。使用される外れ値検出がない第１の場合には、誤差パーセントは２６．４％であり、第２の場合には誤差は１７．４％である。本発明者らは、図１２においてデータに相当する３つのプレートを例示した。図１２は、この例に対する残差閾値とともに内座値および外れ値を例示している。
【０１３９】
本開示の実施形態は、他の最適化を実装し得る。
【０１４０】
株のスケールで、発明者は、いくつかの株は外れ値のない測定を有し、いくつかの株はすべての測定が外れ値であると決定されることを予想している。本開示の実施形態により、機会調整型メトリックの計算はそれらの場合を正しく取り扱う。カーネルロジスティック回帰はこれらの場合において必要であるようには見えないが、確率およびメトリックはいぜんとして必要である。すべての測定が内座値であると識別された場合、それらが外れ値である確率は０であり、すべての測定が外れ値であると識別された場合、それらが内座値である確率は１である。機会調整型メトリックに関して、第１の場合（外れ値がない）にはメトリックは０になり、第２の場合（すべて外れ値）にはメトリックは定義されない。予測エンジンは、これらのメトリック間で集約し得るので、これはすべての測定が内座値とマークされる場合についてメトリックを１／８などの数（小さな正の分数であれば数学的にも実際にもうまく機能する）に設定し、メトリックをすべての測定が外れ値としてマークされるときに−１に設定するものとしてよい（すべての点に外れ値の標識することにペナルティを科すためであるが、ただし他の標識に比べてあまり大きくない）。これらは、データを使用してさらにチューニングすることが可能である。
【０１４１】
機械学習
【０１４２】
本開示の実施形態は、機械学習（「ＭＬ」）手法を適用して所与のパラメータ（特徴）と観測結果（たとえば、外れ値状況の決定）との間の関係を学習し得る。このフレームワークでは、標準的なＭＬモデル、たとえば、意思決定木を使用して特徴重要度を決定し得る。一般に、機械学習は、標識されたデータの限られた数の例を使用し、次いで、未知のデータに対して同じタスクを実行するする情報タスク（分類または回帰など）の性能における性能基準、たとえば、パラメータ、手法、または他の特徴の最適化として記述されるものとしてよい。線形回帰を採用するアプローチなどの教師あり機械学習では、機械（たとえば、コンピューティングデバイス）は、たとえば、訓練データによって示されるパターン、カテゴリ、統計的関係、または他の属性を識別することによって学習する。次いで、学習の結果は、新しいデータが同じパターン、カテゴリ、統計的関係、または他の属性を示すかどうかを予測するために使用される。
【０１４３】
本開示の実施形態では、教師なし機械学習を採用する。代替的に、いくつかの実施形態では、外れ値アルゴリズムにより（たとえば、ＫＬＲ以外の方法を使用する）確率を外れ値および内座値の標識されたデータに割り当てる目的のために少量の標識されたデータと大量の標識なしデータを使用する、半教師あり機械学習を採用するものとしてよい。本開示の実施形態では、ＫＬＲのパラメータを学習するか、または外れ値検出それ自体のために他のＭＬアルゴリズムを採用し得る。実施形態は、また、特徴選択を採用して、機械学習モデルの性能を最適化するために最も関連性の高い特徴のサブセットを選択するものとしてよい。選択された機械学習のアプローチのタイプに応じて、線形回帰の代わりに、またはそれに加えて、実施形態は、たとえば、ロジスティック回帰、ニューラルネットワーク、サポートベクタマシン（ＳＶＭ）、意思決定木、隠れマルコフモデル、ベイジアンネットワーク、グラムシュミット、強化ベース学習、階層クラスタリングを含むクラスタベース学習、遺伝的アルゴリズム、および当技術分野で知られている任意の他の好適な学習機械を採用し得る。特に、実施形態は、分類それ自体とともに分類の確率を提供するためにロジスティック回帰を採用する。たとえば、Ｓｈｅｖａｄｅ，  Ａ  ｓｉｍｐｌｅ  ａｎｄ  ｅｆｆｉｃｉｅｎｔ  ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｇｅｎｅ  ｓｅｌｅｃｔｉｏｎ  ｕｓｉｎｇ  ｓｐａｒｓｅ  ｌｏｇｉｓｔｉｃ  ｒｅｇｒｅｓｓｉｏｎ，  Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ，  Ｖｏｌ．  １９，  Ｎｏ．  １７  ２００３，  ｐｐ．  ２２４６−２２５３、Ｌｅｎｇ，  ｅｔ  ａｌ．，  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｕｓｉｎｇ  ｆｕｎｃｔｉｏｎａｌ  ｄａｔａ  ａｎａｌｙｓｉｓ  ｆｏｒ  ｔｅｍｐｏｒａｌ  ｇｅｎｅ  ｅｘｐｒｅｓｓｉｏｎ  ｄａｔａ，  Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ，  Ｖｏｌ．  ２２，  Ｎｏ．  １，  Ｏｘｆｏｒｄ  Ｕｎｉｖｅｒｓｉｔｙ  Ｐｒｅｓｓ  （２００６），  ｐｐ．  ６８−７６を参照。これらはすべて本明細書にその全体が参照により組み込まれる。
【０１４４】
実施形態は、特にディープニューラルネットワーク（ＤＮＮ）として公知である形態の、機械学習タスクを実行するうえで人気の高いことが知られているグラフィックスプロセッシングユニット（ＧＰＵ）高速化アーキテクチャを採用するものとしてよい。本開示の実施形態は、すべて本明細書にその全体が参照により組み込まれているＧＰＵ−Ｂａｓｅｄ  Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ  Ｉｎｆｅｒｅｎｃｅ：  Ａ  Ｐｅｒｆｏｒｍａｎｃｅ  ａｎｄ  Ｐｏｗｅｒ  Ａｎａｌｙｓｉｓ，  ＮＶｉｄｉａ  Ｗｈｉｔｅｐａｐｅｒ，  Ｎｏｖｅｍｂｅｒ  ２０１５、Ｄａｈｌ，  ｅｔ  ａｌ．，  Ｍｕｌｔｉ−ｔａｓｋ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ  ｆｏｒ  ＱＳＡＲ  Ｐｒｅｄｉｃｔｉｏｎｓ，  Ｄｅｐｔ．  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ，  Ｕｎｉｖ．  ｏｆ  Ｔｏｒｏｎｔｏ，  Ｊｕｎｅ  ２０１４  （ａｒＸｉｖ：  １４０６．１２３１  ［ｓｔａｔ．ＭＬ］）で説明されているようなＧＰＵベースの機械学習を採用し得る。本開示の実施形態に適用可能な機械学習手法は、また、参考文献は他にもあるがとりわけ、すべて本明細書にその全体が参照により組み込まれているＬｉｂｂｒｅｃｈｔ，  ｅｔ  ａｌ．，  Ｍａｃｈｉｎｅ  ｌｅａｒｎｉｎｇ  ａｐｐｌｉｃａｔｉｏｎｓ  ｉｎ  ｇｅｎｅｔｉｃｓ  ａｎｄ  ｇｅｎｏｍｉｃｓ，  Ｎａｔｕｒｅ  Ｒｅｖｉｅｗｓ：  Ｇｅｎｅｔｉｃｓ，  Ｖｏｌ．  １６，  Ｊｕｎｅ  ２０１５、Ｋａｓｈｙａｐ，  ｅｔ  ａｌ．，  Ｂｉｇ  Ｄａｔａ  Ａｎａｌｙｔｉｃｓ  ｉｎ  Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ：  Ａ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  Ｐｅｒｓｐｅｃｔｉｖｅ，  Ｊｏｕｒｎａｌ  ｏｆ  Ｌａｔｅｘ  Ｃｌａｓｓ  Ｆｉｌｅｓ，  Ｖｏｌ．  １３，  Ｎｏ．  ９，  Ｓｅｐｔ．  ２０１４、Ｐｒｏｍｐｒａｍｏｔｅ，  ｅｔ  ａｌ．，  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  ｉｎ  Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ，  Ｃｈａｐｔｅｒ  ５  ｏｆ  Ｂｉｏｉｎｆｏｒｍａｔｉｃｓ  Ｔｅｃｈｎｏｌｏｇｉｅｓ，  ｐｐ．  １１７−  １５３，  Ｓｐｒｉｎｇｅｒ  Ｂｅｒｌｉｎ  Ｈｅｉｄｅｌｂｅｒｇ  ２００５にも記載がある。
【０１４５】
コンピューティング環境
【０１４６】
図１０は、本開示の実施形態によるクラウドコンピューティング環境を例示している。本開示の実施形態において、予測エンジンソフトウェア２０１０は、クラウドコンピューティングシステム２００２で実装されるものとしてよく、それにより、複数のユーザが本開示の実施形態を実装することができる。図１１に例示されているようなクライアントコンピュータ２００６は、インターネットなどのネットワーク２００８を介してシステムにアクセスする。システムは、図１１に例示されているタイプの、１つまたは複数のプロセッサを使用する１つまたは複数のコンピューティングシステムを採用するものとしてよい。クラウドコンピューティングシステムそれ自体は、ネットワーク２００８を介してソフトウェア２０１０をクライアントコンピュータ２００６にインターフェースするためのネットワークインターフェース２０１２を含む。ネットワークインターフェース２０１２は、クライアントコンピュータ２００６におけるクライアントアプリケーションがシステムソフトウェア２０１０にアクセスすることを可能にするためのアプリケーションプログラミングインターフェース（ＡＰＩ）を含み得る。特に、ＡＰＩを通して、クライアントコンピュータ２００６は予測エンジンにアクセスし得る。
【０１４７】
サービスとしてのソフトウェア（ＳａａＳ）ソフトウェアモジュール２０１４は、システムソフトウェア２０１０をサービスとしてクライアントコンピュータ２００６に提供する。クラウド管理モジュール２０１６は、クライアントコンピュータ２００６によるソフトウェア２０１０へのアクセスを管理する。クラウド管理モジュール２０１６は、マルチテナントアプリケーション、仮想化、または当技術分野で知られている他のアーキテクチャを採用するクラウドアーキテクチャが複数のユーザにサービスを提供することを可能にし得る。
【０１４８】
図１１は、本開示の実施形態による非一時的コンピュータ可読媒体（たとえば、メモリ）内に記憶されているプログラムコードを実行するために使用され得るコンピュータシステム１１００の一例を示している。コンピュータシステムは、アプリケーションに応じて人間ユーザおよび／または他のコンピュータシステムとインターフェースするために使用され得る、入出力サブシステム１１０２を備える。Ｉ／Ｏサブシステム１１０２は、たとえば、キーボード、マウス、グラフィカルユーザインターフェース、タッチスクリーン、または入力用の他のインターフェース、およびたとえば、ＬＥＤもしくは他のフラットスクリーンディスプレイ、またはアプリケーションプログラムインターフェース（ＡＰＩ）を含む、出力用の他のインターフェースを備え得る。予測エンジンなどの、本開示の実施形態の他の要素は、コンピュータシステム１１００のものと同様のコンピュータシステムにより実装され得る。
【０１４９】
プログラムコードは、二次メモリ１１１０またはメインメモリ１１０８またはその両方の中の永続的記憶域などの非一時的媒体に記憶され得る。メインメモリ１１０８は、ランダムアクセスメモリ（ＲＡＭ）などの揮発性メモリまたはリードオンリーメモリ（ＲＯＭ）などの不揮発性メモリ、さらには命令およびデータへの高速アクセスを可能にする異なるレベルのキャッシュメモリを含み得る。二次メモリは、ソリッドステートドライブ、ハードディスクドライブ、または光ディスクなどの永続的記憶装置を含み得る。１つまたは複数のプロセッサ１１０４は、１つまたは複数の非一時的媒体からプログラムコードを読み取り、そのコードを実行して、コンピュータシステムが本明細書の実施形態によって実行される方法を遂行することを可能にする。当業者であれば、プロセッサはソースコードを取り込んで、そのソースコードをプロセッサ１１０４のハードウェアゲートレベルで理解可能な機械コードに解釈またはコンパイルするものとしてよいことを理解するであろう。プロセッサ１１０４は、計算量の多いタスクを取り扱うためにグラフィックスプロセッシングユニット（ＧＰＵ）を備え得る。
【０１５０】
プロセッサ１１０４は、ネットワークインターフェースカード、ＷｉＦｉトランシーバなどの、１つまたは複数の通信インターフェース１１０７を介して外部ネットワークと通信し得る。バス１１０５が、Ｉ／Ｏサブシステム１１０２、プロセッサ１１０４、周辺デバイス１１０６、通信インターフェース１１０７、メモリ１１０８、および永続的記憶装置１１１０を通信可能に結合する。本開示の実施形態は、この代表的なアーキテクチャに限定されない。代替的な実施形態は、入出力コンポーネントおよびメモリサブシステム用に、コンポーネントの異なる配置構成およびタイプ、たとえば、別々のバスを採用し得る。
【０１５１】
当業者であれば、本開示の実施形態の要素のいくつかまたはすべて、およびその付随する動作は、コンピュータシステム１１００のものと同様の１つまたは複数のプロセッサおよび１つまたは複数のメモリシステムを備える１つまたは複数のコンピュータシステムによって全体としてまたは部分的に実装され得ることを理解するであろう。特に、本明細書で説明されている予測エンジンおよび任意の他の自動化システムまたはデバイスの要素は、コンピュータ実装のものであってよい。いくつかの要素および機能は、ローカルで実装されてよく、他の要素および機能は、たとえば、クライアントサーバ方式で、異なるサーバを通じてネットワーク上で分散方式により実装され得る。特に、サーバサイドオペレーションは、図１０に示されているように、サービスとしてのソフトウェア（ＳａａＳ）方式で複数のクライアントにおいて利用できるようにされ得る。
【０１５２】
当業者であれば、いくつかの実施形態において、本明細書で説明されているオペレーションのいくつかは、人間側での実装によって、または自動化手段と手動手段との組合せを通じて実行され得ることを理解するであろう。オペレーションが、完全自動化されていないときに、予測エンジンの適切なコンポーネントは、たとえば、それ自体のオペレーション実行能力を通じて結果を生成するのではなくオペレーションの人間による実行の結果を受け取るものとしてよい。
【０１５３】
参照による援用
本明細書で引用されているすべての参考文献、論文、刊行物、特許、特許公開、および特許出願は、すべての目的に関してその全体が参照により組み込まれる。しかしながら、本明細書において引用されている参考文献、論文、刊行物、特許、特許公開、および特許出願の言及があっても、これらが世界中のどれかの国において有効な従来技術を構成するか、もしくは周知の事実の一部をなすこと、またはこれらが本質的事柄を開示していることを承認すること、またはそのような提案の任意の形態、ではなく、またそのようにみなされるべきでない。
【０１５４】
本開示は、本明細書において説明されているいくつかの実施形態または特徴が本明細書において説明されている他の実施形態または特徴と組み合わされ得ることを明示的に開示していない場合があるけれども、本開示は、当業者によって実施可能になるであろう任意のそのような組合せを説明するものとして読まれるべきである。本開示における「または」の使用は、本明細書において断りのない限り、非排他的な「または」、すなわち「および／または」を意味すると理解されるべきである。
【０１５５】
以下の請求項において、「請求項ｘから始まる先行する請求項のうちのいずれか一項」と記載した請求項ｎは、請求項ｘから始まり、直前の請求項（請求項ｎ−１）で終わる請求項のうちのいずれか一項を指すものとする。たとえば、「請求項２８から始まる先行する請求項のうちのいずれか一項に記載のシステム」と記載されている請求項３５は、請求項２８〜３４のいずれか一項に記載のシステムを指す。
【図１Ａ】
2021505130.tif 000029
【図１Ｂ】
2021505130.tif 000030
【図２】
2021505130.tif 000031
【図３】
2021505130.tif 000032
【図４】
2021505130.tif 000033
【図５】
2021505130.tif 000034
【図６Ａ】
2021505130.tif 000035
【図６Ｂ】
2021505130.tif 000036
【図７】
2021505130.tif 000037
【図８】
2021505130.tif 000038
【図９】
2021505130.tif 000039
【図１０】
2021505130.tif 000040
【図１１】
2021505130.tif 000041
【図１２】
2021505130.tif 000042
【国際調査報告】
2021505130.tif 000043