(57)【要約】第１のモダリティおよび第２のモダリティを含む複数のモダリティを有するデータの間の相互作用を表現するように訓練された統計モデルを使用して、第１のモダリティにおける入力データと第２のモダリティにおけるデータとの間の関連性を予測するための方法および装置であって、統計モデルは、複数のモダリティのうちの１つについてのデータを処理するようにそれぞれが訓練された複数のエンコーダおよびデコーダ、ならびに複数のエンコーダおよびデコーダを結合する共同モダリティ表現を含む、方法および装置である。方法は、第１のモダリティおよび第２のモダリティに基づいて、複数のエンコーダおよびデコーダから、エンコーダ／デコーダのペアまたはエンコーダのペアを選択する工程と、共同モダリティ表現および選択されたエンコーダ／デコーダのペアまたはエンコーダのペアを用いて入力データを処理して、入力データと第２のモダリティにおけるデータとの間の関連性を予測する工程とを含む。
2021526259.tif 000002
【特許請求の範囲】
【請求項１】
異種ネットワークにおけるデータの間のモダリティ間関連性を表現するように構成された統計モデルを訓練するための方法であって、
訓練データにアクセスする工程と、前記訓練データは、第１のモダリティについての訓練データ、および前記第１のモダリティとは異なる第２のモダリティについての訓練データを含んでおり、
前記統計モデルを訓練する工程と、前記統計モデルは、第１および第２のエンコーダと、第１および第２のデコーダと、前記第１および第２のエンコーダを前記第１および第２のデコーダに結合する共同モダリティ表現とを含み、前記訓練する工程は、
自己教師あり学習技法と、前記訓練データのうちの少なくともいくつかと、前記訓練データにおけるデータ・ペアの間の少なくとも１つのリンクを記述する情報とを使用して、前記第１および第２のエンコーダならびに前記第１および第２のデコーダのパラメータの値を推定する工程を含んでおり、
前記統計モデルの前記第１および第２のエンコーダならびに前記第１および第２のデコーダのパラメータの推定された値を記憶することに少なくとも部分的によって、前記統計モデルを指定する情報を記憶する工程と、を含む方法。
【請求項２】
前記第１のモダリティについての前記訓練データに基づいて第１のモダリティ埋め込みベクトルを作成する工程と、
前記第２のモダリティについての前記訓練データに基づいて第２のモダリティ埋め込みベクトルを作成する工程と、
をさらに含み、前記訓練する工程は、
前記第１および第２のエンコーダへの入力として、前記第１および第２のモダリティ埋め込みベクトルをそれぞれ提供する工程をさらに含む、請求項１に記載の方法。
【請求項３】
前記統計モデルは、第１および第２の埋め込み層をさらに含み、前記訓練する工程は、前記第１および第２の埋め込み層のパラメータの値を推定する工程をさらに含む、請求項２に記載の方法。
【請求項４】
前記第１のモダリティについての前記訓練データにおけるデータ・ペアの間のリンクを記述するモダリティ内ベクトルを作成する工程をさらに含み、
前記共同モダリティ表現における情報は、前記モダリティ内ベクトルに少なくとも部分的に基づいて決定される、請求項１に記載の方法。
【請求項５】
前記第１のモダリティについての前記訓練データにおける前記データ・ペアの間の前記リンクの強さを示す数値的特徴に基づいて、前記モダリティ内ベクトルをスケーリングする工程をさらに含み、
前記共同モダリティ表現における情報は、スケーリングされたモダリティ内ベクトルに少なくとも部分的に基づいて決定される、請求項４に記載の方法。
【請求項６】
前記第１のエンコーダから出力された第１の特徴ベクトルと前記第２のエンコーダから出力された第２の特徴ベクトルとのそれぞれを前記モダリティ内ベクトルと連結して、第１および第２の連結された特徴ベクトルを生成する工程と、
前記第１および第２の連結されたベクトルを使用して、前記共同モダリティ表現内の共同表現ベクトルを計算する工程と、をさらに含む、請求項４に記載の方法。
【請求項７】
前記第１のエンコーダから出力された第１の特徴ベクトルと前記第２のエンコーダから出力された第２の特徴ベクトルとを使用して、共同特徴ベクトルを計算する工程と、
前記共同特徴ベクトルを前記モダリティ内ベクトルと連結して、前記共同モダリティ表現内の共同表現ベクトルを生成する工程と、をさらに含む、請求項４に記載の方法。
【請求項８】
前記第１および第２のエンコーダならびに前記第１および第２のデコーダは、前記第１のモダリティからのデータを処理するように構成され、前記訓練する工程は、
前記第１のエンコーダへの入力として、前記第１のモダリティ埋め込みベクトルのうちの第１の１つを提供する工程と、
前記第２のエンコーダへの入力として、前記第１のモダリティ埋め込みベクトルのうちの第２の１つを提供する工程と、
前記第１のエンコーダから出力された第１の特徴ベクトルと、前記第２のエンコーダから出力された第２の特徴ベクトルと、モダリティ内ベクトルとに基づいて、前記共同モダリティ表現における共同表現ベクトルを計算する工程と、
前記第１および第２のデコーダへの入力として前記共同表現ベクトルを提供して、第１および第２のデコードされたベクトルを生成する工程と、
前記第１のモダリティ埋め込みベクトルのうちの前記第１の１つおよび前記第２の１つと、前記第１および第２のデコードされたベクトルとに基づいて、前記第１および第２のエンコーダならびに前記第１および第２のデコーダのパラメータの値を推定する工程と、をさらに含む、請求項２に記載の方法。
【請求項９】
前記第１および第２のエンコーダならびに前記第１および第２のデコーダのパラメータの値を推定する工程は、負のサンプリング損失関数を使用する工程を含む、請求項８に記載の方法。
【請求項１０】
前記統計モデルは、第１および第２の埋め込み層をさらに含み、前記訓練する工程は、前記負のサンプリング損失関数を使用して、前記第１および第２の埋め込み層のパラメータの値を推定する工程をさらに含む、請求項９に記載の方法。
【請求項１１】
前記第１のモダリティについての前記訓練データにおけるデータ・ペアの間の複数のリンクのそれぞれについて前記統計モデルの訓練を繰り返す工程をさらに含む、請求項９または１０に記載の方法。
【請求項１２】
前記第１のモダリティについての前記訓練データと前記第２のモダリティについての前記訓練データとの間のリンクを記述するモダリティ内ベクトルを作成する工程をさらに含み、
前記共同モダリティ表現における情報は、前記モダリティ内ベクトルに少なくとも部分的に基づいて決定される、請求項２に記載の方法。
【請求項１３】
前記第１のモダリティについての前記訓練データにおける前記データ・ペアの間の前記リンクの強さを示す数値的特徴に基づいて、前記モダリティ内ベクトルをスケーリングする工程をさらに含み、
前記共同モダリティ表現における情報は、スケーリングされたモダリティ内ベクトルに少なくとも部分的に基づいて決定される、請求項１２に記載の方法。
【請求項１４】
前記第１のエンコーダから出力された第１の特徴ベクトルと前記第２のエンコーダから出力された第２の特徴ベクトルとのそれぞれを前記モダリティ内ベクトルと連結して、第１および第２の連結された特徴ベクトルを生成する工程と、
前記第１および第２の連結されたベクトルを使用して、前記共同モダリティ表現内の共同表現ベクトルを計算する工程と、をさらに含む、請求項１２に記載の方法。
【請求項１５】
前記第１のエンコーダから出力された第１の特徴ベクトルと前記第２のエンコーダから出力された第２の特徴ベクトルとを使用して、共同特徴ベクトルを計算する工程と、
前記共同特徴ベクトルを前記モダリティ内ベクトルと連結して、前記共同モダリティ表現内の共同表現ベクトルを生成する工程と、をさらに含む、請求項１２に記載の方法。
【請求項１６】
前記第１のエンコーダおよび前記第１のデコーダは、前記第１のモダリティからのデータを処理するように構成され、前記第２のエンコーダおよび前記第２のデコーダは、前記第２のモダリティからのデータを処理するように構成され、前記訓練する工程は、
前記第１のエンコーダへの入力として、前記第１のモダリティ埋め込みベクトルのうちの１つを提供する工程と、
前記第２のエンコーダへの入力として、前記第２のモダリティ埋め込みベクトルのうちの１つを提供する工程と、
前記第１のエンコーダから出力された第１の特徴ベクトルと、前記第２のエンコーダから出力された第２の特徴ベクトルと、前記モダリティ内ベクトルとに基づいて、前記共同モダリティ表現における共同表現ベクトルを計算する工程と、
前記第１および第２のデコーダへの入力として前記共同表現ベクトルを提供して、第１および第２のデコードされたベクトルを生成する工程と、
前記第１のモダリティ埋め込みベクトルのうちの前記１つと、前記第２のモダリティ埋め込みベクトルのうちの前記１つと、前記第１および第２のデコードされたベクトルとに基づいて、前記第１および第２のエンコーダならびに前記第１および第２のデコーダのパラメータの値を推定する工程と、をさらに含む、請求項１２に記載の方法。
【請求項１７】
前記第１および第２のエンコーダならびに前記第１および第２のデコーダのパラメータの値を推定する工程は、負のサンプリング損失関数を使用する工程を含む、請求項１６に記載の方法。
【請求項１８】
前記第１のモダリティについての前記訓練データと前記第２のモダリティについての前記訓練データとの間の複数のリンクのそれぞれについて前記統計モデルの訓練を繰り返す工程をさらに含む、請求項１６に記載の方法。
【請求項１９】
前記訓練する工程の前に、前記第１のエンコーダについての前記パラメータの値を初期化する工程をさらに含み、前記初期化する工程は、自己教師あり学習技法を使用して前記第１のエンコーダを訓練した結果に基づいて行われる、請求項１６に記載の方法。
【請求項２０】
自己教師あり学習技法を使用した前記第１のエンコーダの訓練の前記結果は、前記第１のモダリティのみからの訓練データを使用して前記第１のエンコーダを訓練した結果を含む、請求項１９に記載の方法。
【請求項２１】
自己教師あり学習技法を使用した前記第１のエンコーダの訓練の前記結果は、前記第２のモダリティとは異なる第３のモダリティを有する訓練データを用いて前記第１のエンコーダを訓練した結果を含む、請求項１９に記載の方法。
【請求項２２】
前記訓練する工程の前に、前記第２のエンコーダについての前記パラメータの値を初期化する工程をさらに含み、前記初期化する工程は、自己教師あり学習技法を使用して前記第２のエンコーダを訓練した結果に基づいて行われる、請求項１９に記載の方法。
【請求項２３】
前記第１のモダリティ埋め込みベクトルを作成する工程は、
前記第１のモダリティについての前記訓練データにおける各データについて、長さＶ１を有するワンホット・ベクトルを定義する工程と、
長さＶ１の前記ワンホット・ベクトルのそれぞれに、次元Ｖ１×Ｅを有する第１の埋め込み行列を乗算する工程と、を含み、Ｅ＜Ｖ１であり、Ｅは前記第１のモダリティ埋め込みベクトルのそれぞれの長さである、請求項２に記載の方法。
【請求項２４】
前記第２のモダリティ埋め込みベクトルを作成する工程は、
前記第２のモダリティについての前記訓練データにおける各データについて、長さＶ２を有するワンホット・ベクトルを定義する工程と、
長さＶ２の前記ワンホット・ベクトルのそれぞれに、次元Ｖ２×Ｅを有する埋め込み行列を乗算する工程と、を含み、Ｅ＜Ｖ２であり、Ｅは前記第２のモダリティ埋め込みベクトルのそれぞれの長さである、請求項２３に記載の方法。
【請求項２５】
前記第１および第２のエンコーダのそれぞれは、Ｅ個の入力を有する入力層およびＲ個の出力を有する出力層を含み、Ｒ＞Ｅである、請求項２４に記載の方法。
【請求項２６】
前記第１および第２のエンコーダのそれぞれは、少なくとも１つの隠れ層を含む、請求項２５に記載の方法。
【請求項２７】
前記第１および第２のエンコーダのそれぞれは、ニューラル・ネットワークを含む、請求項１に記載の方法。
【請求項２８】
前記訓練データは、前記第１のモダリティおよび前記第２のモダリティとは異なる第３のモダリティについての訓練データをさらに含み、前記統計モデルは、第３のエンコーダおよび第３のデコーダをさらに含み、
前記統計モデルを訓練する工程は、自己教師あり学習技法と、前記第３のモダリティの入力ベクトルと、前記第３のモダリティについての訓練データと前記第１または第２のモダリティについての訓練データとの間の少なくとも１つのリンクを記述する情報とを使用して、前記第３のエンコーダおよび前記第３のデコーダのパラメータの値を推定する工程をさらに含む、請求項１に記載の方法。
【請求項２９】
前記第３のモダリティについての前記訓練データに基づいて第３のモダリティ埋め込みベクトルを作成する工程をさらに含み、前記統計モデルを訓練する工程は、前記第３のエンコーダへの入力として、前記第３のモダリティ埋め込みベクトルのうちの第１の１つを提供する工程をさらに含む、請求項２８に記載の方法。
【請求項３０】
第１のモダリティおよび第２のモダリティを含む複数のモダリティを有するデータの間のリンクを表現するように訓練された統計モデルを使用して、前記第１のモダリティにおける入力データと前記第２のモダリティにおけるデータとの間の関連性を予測するための方法であって、前記統計モデルは、前記複数のモダリティのうちの１つについてのデータを処理するようにそれぞれが訓練された複数のエンコーダおよびデコーダ、ならびに前記複数のエンコーダおよびデコーダを結合する共同モダリティ表現を含み、前記方法は、
前記第１のモダリティおよび前記第２のモダリティに基づいて、前記複数のエンコーダおよびデコーダから、エンコーダ／デコーダのペアまたはエンコーダのペアを選択する工程と、
前記共同モダリティ表現および選択されたエンコーダ／デコーダのペアまたはエンコーダのペアを用いて前記入力データを処理して、前記入力データと前記第２のモダリティにおけるデータとの間の関連性を予測する工程と、を含む方法。
【請求項３１】
前記第１のモダリティについてのデータを処理するように訓練されたエンコーダ、および前記第２のモダリティについてのデータを処理するように訓練されたデコーダを選択する工程をさらに含む、請求項３０に記載の方法。
【請求項３２】
前記第２のモダリティについての表現空間において、前記入力データと前記第２のモダリティにおける前記データとの間の前記関連性を予測する工程をさらに含む、請求項３１に記載の方法。
【請求項３３】
前記第２のモダリティについてのデータを処理するように訓練された前記デコーダから、前記第２のモダリティについての前記表現空間における出力ベクトルを出力する工程と、
前記第２のモダリティからのデータを前記第２のモダリティについての前記表現空間内に投影して、複数の投影されたベクトルを生成する工程と、
前記出力ベクトルと、前記第２のモダリティについての前記表現空間における投影されたベクトルとの比較に基づいて、前記入力データと前記第２のモダリティにおける前記データとの間の前記関連性を予測する工程と、をさらに含む、請求項３２に記載の方法。
【請求項３４】
前記出力ベクトルと前記複数の投影されたベクトルのそれぞれとの間の距離を計算する工程と、
計算された距離に基づいて前記関連性を予測する工程と、をさらに含む、請求項３３に記載の方法。
【請求項３５】
距離を計算する工程は、ユークリッド距離を計算する工程を含む、請求項３４に記載の方法。
【請求項３６】
前記第１のモダリティについてのデータを処理するように訓練された第１のエンコーダ、および前記第２のモダリティについてのデータを処理するように訓練された第２のエンコーダを選択する工程をさらに含む、請求項３０に記載の方法。
【請求項３７】
前記共同モダリティ表現に関連付けられた潜在表現空間において前記入力データと前記第２のモダリティにおける前記データとの間の前記関連性を予測する工程をさらに含む、請求項３６に記載の方法。
【請求項３８】
前記第１のエンコーダへの入力として前記入力データを提供して、前記潜在表現空間における第１のモダリティ特徴ベクトルを生成する工程と、
前記第２のエンコーダへの入力として前記第２のモダリティについてのデータを提供して、前記潜在表現空間における複数の第２のモダリティ特徴ベクトルを生成する工程と、
前記潜在表現空間における前記第１のモダリティ特徴ベクトルおよび前記複数の第２のモダリティ特徴ベクトルの比較に基づいて、前記入力データと前記第２のモダリティにおける前記データとの間の前記関連性を予測する工程と、をさらに含む、請求項３７に記載の方法。
【請求項３９】
前記潜在表現空間における前記第１のモダリティ特徴ベクトルと前記複数の第２のモダリティ特徴ベクトルとの間の距離を計算する工程と、
計算された距離に基づいて前記関連性を予測する工程と、をさらに含む、請求項３８に記載の方法。
【請求項４０】
前記距離を計算する工程は、ユークリッド距離を計算する工程を含む、請求項３９に記載の方法。
【請求項４１】
第１のモダリティおよび第２のモダリティを含む複数のモダリティを有するデータの間の相互作用を表現するように訓練された統計モデルを使用して、前記第１のモダリティにおけるデータと前記第２のモダリティにおけるデータとの間の関連性を予測するための方法であって、前記統計モデルは、前記複数のモダリティのうちの１つについてのデータを処理するようにそれぞれが訓練された複数のエンコーダおよびデコーダ、ならびに前記複数のエンコーダおよびデコーダを結合する共同モダリティ表現を含み、前記方法は、
前記第１のモダリティにおける前記データおよび前記第２のモダリティにおける前記データを、前記統計モデル内の共通表現空間内にマッピングする工程と、
ラベル付けされたデータを使用して訓練された統計的分類器にアクセスする工程と、前記ラベル付けされたデータは、前記第１のモダリティと前記第２のモダリティとにおけるデータの間の関連性を記述しており、
前記訓練された統計的分類器を使用して、前記共通表現空間内にマッピングされた前記第１のモダリティにおける前記データと前記第２のモダリティにおけるデータとの間の関連性を予測する工程と、を含む方法。
【請求項４２】
前記第１のモダリティにおける前記データおよび前記第２のモダリティにおける前記データを、共通表現空間内にマッピングする工程は、前記統計モデルの共同モダリティ表現空間内に前記データをマッピングする工程を含む、請求項４１に記載の方法。
【請求項４３】
前記第１のモダリティにおける前記データおよび前記第２のモダリティにおける前記データを、共通表現空間内にマッピングする工程は、前記第１のモダリティまたは前記第２のモダリティについてのモダリティ固有表現空間内に前記データをマッピングする工程を含む、請求項４１に記載の方法。
【請求項４４】
コンピュータ・システムであって、
少なくとも１つのコンピュータ・プロセッサと、
複数の命令がエンコードされている少なくとも１つの記憶装置と、を備え、前記複数の命令は、前記少なくとも１つのコンピュータ・プロセッサによる実行時に、データについてのモダリティ間関連性を表現するように統計モデルを訓練する方法を実施し、前記データは、第１のモダリティについてのデータ、および前記第１のモダリティとは異なる第２のモダリティについてのデータを含んでおり、前記方法は、
前記第１のモダリティについての訓練データおよび前記第２のモダリティについての訓練データを含む訓練データにアクセスする工程と、
前記統計モデルを訓練する工程と、前記統計モデルは、第１および第２のエンコーダと、第１および第２のデコーダと、前記第１および第２のエンコーダを前記第１および第２のデコーダに結合する共同モダリティ表現とを含み、前記訓練する工程は、
自己教師あり学習技法と、前記訓練データのうちの少なくともいくつかと、前記訓練データにおけるデータ・ペアの間の少なくとも１つのリンクを記述する情報とを使用して、前記第１および第２のエンコーダならびに前記第１および第２のデコーダのパラメータの値を推定する工程を含んでおり、
前記統計モデルの前記第１および第２のエンコーダならびに前記第１および第２のデコーダのパラメータの推定された値を記憶することに少なくとも部分的によって、前記統計モデルを指定する情報を記憶する工程と、を含む、コンピュータ・システム。
【請求項４５】
前記方法は、
前記第１のモダリティについての前記訓練データに基づいて第１のモダリティ埋め込みベクトルを作成する工程と、
前記第２のモダリティについての前記訓練データに基づいて第２のモダリティ埋め込みベクトルを作成する工程と、をさらに含み、前記訓練する工程は、
前記第１および第２のエンコーダへの入力として、前記第１および第２のモダリティ埋め込みベクトルをそれぞれ提供する工程をさらに含む、請求項４４に記載のコンピュータ・システム。
【請求項４６】
前記統計モデルは、第１および第２の埋め込み層をさらに含み、前記訓練する工程は、前記第１および第２の埋め込み層のパラメータの値を推定する工程をさらに含む、請求項４５に記載のコンピュータ・システム。
【請求項４７】
前記方法は、前記第１のモダリティについての前記訓練データにおけるデータ・ペアの間のリンクを記述するモダリティ内ベクトルを作成する工程をさらに含み、
前記共同モダリティ表現における情報は、前記モダリティ内ベクトルに少なくとも部分的に基づいて決定される、請求項４４に記載のコンピュータ・システム。
【請求項４８】
前記方法は、前記第１のモダリティについての前記訓練データにおける前記データ・ペアの間の相互作用に関連付けられた数値的特徴に基づいて、前記モダリティ内ベクトルをスケーリングする工程をさらに含み、
前記共同モダリティ表現における情報は、スケーリングされたモダリティ内ベクトルに少なくとも部分的に基づいて決定される、請求項４７に記載のコンピュータ・システム。
【請求項４９】
前記方法は、
前記第１のエンコーダから出力された第１の特徴ベクトルと前記第２のエンコーダから出力された第２の特徴ベクトルとのそれぞれを前記モダリティ内ベクトルと連結して、第１および第２の連結された特徴ベクトルを生成する工程と、
前記第１および第２の連結されたベクトルを使用して、前記共同モダリティ表現内の共同表現ベクトルを計算する工程と、をさらに含む、請求項４７に記載のコンピュータ・システム。
【請求項５０】
前記方法は、
前記第１のエンコーダから出力された第１の特徴ベクトルと前記第２のエンコーダから出力された第２の特徴ベクトルとを使用して、共同特徴ベクトルを計算する工程と、
前記共同特徴ベクトルを前記モダリティ内ベクトルと連結して、前記共同モダリティ表現内の共同表現ベクトルを生成する工程と、をさらに含む、請求項４７に記載のコンピュータ・システム。
【請求項５１】
前記第１および第２のエンコーダならびに前記第１および第２のデコーダは、前記第１のモダリティからのデータを処理するように構成され、前記訓練する工程は、
前記第１のエンコーダへの入力として、前記第１のモダリティ埋め込みベクトルのうちの第１の１つを提供する工程と、
前記第２のエンコーダへの入力として、前記第１のモダリティ埋め込みベクトルのうちの第２の１つを提供する工程と、
前記第１のエンコーダから出力された第１の特徴ベクトルと、前記第２のエンコーダから出力された第２の特徴ベクトルと、モダリティ内ベクトルとに基づいて、前記共同モダリティ表現における共同表現ベクトルを計算する工程と、
前記第１および第２のデコーダへの入力として前記共同表現ベクトルを提供して、第１および第２のデコードされたベクトルを生成する工程と、
前記第１のモダリティ埋め込みベクトルのうちの前記第１の１つおよび前記第２の１つと、前記第１および第２のデコードされたベクトルとに基づいて、前記第１および第２のエンコーダならびに前記第１および第２のデコーダのパラメータの値を推定する工程と、をさらに含む、請求項４５に記載のコンピュータ・システム。
【請求項５２】
前記第１および第２のエンコーダならびに前記第１および第２のデコーダのパラメータの値を推定する工程は、負のサンプリング損失関数を使用する工程を含む、請求項５１に記載のコンピュータ・システム。
【請求項５３】
前記統計モデルは、第１および第２の埋め込み層をさらに含み、前記訓練する工程は、前記負のサンプリング損失関数を使用して、前記第１および第２の埋め込み層のパラメータの値を推定する工程をさらに含む、請求項５２に記載のコンピュータ・システム。
【請求項５４】
前記方法は、前記第１のモダリティについての前記訓練データにおけるデータ・ペアの間の複数のリンクのそれぞれについて前記統計モデルの訓練を繰り返す工程をさらに含む、請求項５２に記載のコンピュータ・システム。
【請求項５５】
前記方法は、前記第１のモダリティについての前記訓練データと前記第２のモダリティについての前記訓練データとの間のリンクを記述するモダリティ間ベクトルを作成する工程をさらに含み、
前記共同モダリティ表現における情報は、前記モダリティ間ベクトルに少なくとも部分的に基づいて決定される、請求項４５に記載のコンピュータ・システム。
【請求項５６】
前記第１のモダリティについての前記訓練データにおける前記データ・ペアの間の前記リンクに関連付けられた数値的特徴に基づいて、前記モダリティ間ベクトルをスケーリングする工程をさらに含み、
前記共同モダリティ表現における情報は、スケーリングされたモダリティ間ベクトルに少なくとも部分的に基づいて決定される、請求項５５に記載のコンピュータ・システム。
【請求項５７】
前記方法は、
前記第１のエンコーダから出力された第１の特徴ベクトルと前記第２のエンコーダから出力された第２の特徴ベクトルとのそれぞれを前記モダリティ間ベクトルと連結して、第１および第２の連結された特徴ベクトルを生成する工程と、
前記第１および第２の連結されたベクトルを使用して、前記共同モダリティ表現内の共同表現ベクトルを計算する工程と、をさらに含む、請求項５５に記載のコンピュータ・システム。
【請求項５８】
前記方法は、
前記第１のエンコーダから出力された第１の特徴ベクトルと前記第２のエンコーダから出力された第２の特徴ベクトルとを使用して、共同特徴ベクトルを計算する工程と、
前記共同特徴ベクトルを前記モダリティ間ベクトルと連結して、前記共同モダリティ表現内の共同表現ベクトルを生成する工程と、をさらに含む、請求項５５に記載のコンピュータ・システム。
【請求項５９】
前記第１のエンコーダおよび前記第１のデコーダは、前記第１のモダリティからのデータを処理するように構成され、前記第２のエンコーダおよび前記第２のデコーダは、前記第２のモダリティからのデータを処理するように構成され、前記訓練する工程は、
前記第１のエンコーダへの入力として、前記第１のモダリティ埋め込みベクトルのうちの１つを提供する工程と、
前記第２のエンコーダへの入力として、前記第２のモダリティ埋め込みベクトルのうちの１つを提供する工程と、
前記第１のエンコーダから出力された第１の特徴ベクトルと、前記第２のエンコーダから出力された第２の特徴ベクトルと、前記モダリティ間ベクトルとに基づいて、前記共同モダリティ表現における共同表現ベクトルを計算する工程と、
前記第１および第２のデコーダへの入力として前記共同表現ベクトルを提供して、第１および第２のデコードされたベクトルを生成する工程と、
前記第１のモダリティ埋め込みベクトルのうちの前記１つと、前記第２のモダリティ埋め込みベクトルのうちの前記１つと、前記第１および第２のデコードされたベクトルとに基づいて、前記第１および第２のエンコーダならびに前記第１および第２のデコーダのパラメータの値を推定する工程と、をさらに含む、請求項５５に記載のコンピュータ・システム。
【請求項６０】
前記第１および第２のエンコーダならびに前記第１および第２のデコーダのパラメータの値を推定する工程は、負のサンプリング損失関数を使用する工程を含む、請求項５９に記載のコンピュータ・システム。
【請求項６１】
前記方法は、前記第１のモダリティについての前記訓練データと前記第２のモダリティについての前記訓練データとの間の複数の相互作用のそれぞれについて前記統計モデルの訓練を繰り返す工程をさらに含む、請求項５９に記載のコンピュータ・システム。
【請求項６２】
前記方法は、前記訓練する工程の前に、前記第１のエンコーダについての前記パラメータの値を初期化する工程をさらに含み、前記初期化する工程は、自己教師あり学習技法を使用して前記第１のエンコーダを訓練した結果に基づいて行われる、請求項５９に記載のコンピュータ・システム。
【請求項６３】
前記自己教師あり学習技法を使用した前記第１のエンコーダの訓練の前記結果は、前記第１のモダリティのみからの訓練データを使用して前記第１のエンコーダを訓練した結果を含む、請求項６２に記載のコンピュータ・システム。
【請求項６４】
前記自己教師あり学習技法を使用した前記第１のエンコーダの訓練の前記結果は、前記第２のモダリティとは異なる第３のモダリティを有する訓練データを用いて前記第１のエンコーダを訓練した結果を含む、請求項６２に記載のコンピュータ・システム。
【請求項６５】
前記方法は、前記訓練する工程の前に、前記第２のエンコーダについての前記パラメータの値を初期化する工程をさらに含み、前記初期化する工程は、自己教師あり学習技法を使用して前記第２のエンコーダを訓練した結果に基づいて行われる、請求項６２に記載のコンピュータ・システム。
【請求項６６】
前記第１のモダリティ埋め込みベクトルを作成する工程は、
前記第１のモダリティについての前記訓練データにおける各データについて、長さＶ１を有するワンホット・ベクトルを定義する工程と、
長さＶ１の前記ワンホット・ベクトルのそれぞれに、次元Ｖ１×Ｅを有する第１の埋め込み行列を乗算する工程と、を含み、Ｅ＜Ｖ１であり、Ｅは前記第１のモダリティ埋め込みベクトルのそれぞれの長さである、請求項４５に記載のコンピュータ・システム。
【請求項６７】
前記第２のモダリティ埋め込みベクトルを作成する工程は、
前記第２のモダリティについての前記訓練データにおける各データについて、長さＶ２を有するワンホット・ベクトルを定義する工程と、
長さＶ２の前記ワンホット・ベクトルのそれぞれに、次元Ｖ２×Ｅを有する埋め込み行列を乗算する工程と、を含み、Ｅ＜Ｖ２であり、Ｅは前記第２のモダリティ埋め込みベクトルのそれぞれの長さである、請求項６６に記載のコンピュータ・システム。
【請求項６８】
前記第１および第２のエンコーダのそれぞれは、Ｅ個の入力を有する入力層およびＲ個の出力を有する出力層を含み、Ｒ＞Ｅである、請求項６７に記載のコンピュータ・システム。
【請求項６９】
前記第１および第２のエンコーダのそれぞれは、少なくとも１つの隠れ層を含む、請求項６８に記載のコンピュータ・システム。
【請求項７０】
前記第１および第２のエンコーダのそれぞれは、ニューラル・ネットワークを含む、請求項４４に記載のコンピュータ・システム。
【請求項７１】
前記訓練データは、前記第１のモダリティおよび前記第２のモダリティとは異なる第３のモダリティについての訓練データをさらに含み、前記統計モデルは、第３のエンコーダおよび第３のデコーダをさらに含み、
前記統計モデルを訓練する工程は、自己教師あり学習技法と、前記第３のモダリティの入力ベクトルと、前記第３のモダリティについての訓練データと前記第１または第２のモダリティについての訓練データとの間の少なくとも１つのリンクを記述する情報とを使用して、前記第３のエンコーダおよび前記第３のデコーダのパラメータの値を推定する工程をさらに含む、請求項４４に記載のコンピュータ・システム。
【請求項７２】
前記第３のモダリティについての前記訓練データに基づいて第３のモダリティ埋め込みベクトルを作成する工程をさらに含み、前記統計モデルを訓練する工程は、前記第３のエンコーダへの入力として、前記第３のモダリティ埋め込みベクトルのうちの第１の１つを提供する工程をさらに含む、請求項７１に記載のコンピュータ・システム。
【請求項７３】
コンピュータ・システムであって、
少なくとも１つのコンピュータ・プロセッサと、
複数の命令がエンコードされた少なくとも１つの記憶装置と、を備え、前記複数の命令は、前記少なくとも１つのコンピュータ・プロセッサによる実行時に、第１のモダリティおよび第２のモダリティを含む複数のモダリティを有するデータの間の相互作用を表現するように訓練された統計モデルを使用して、前記第１のモダリティにおける入力データと前記第２のモダリティにおけるデータとの間の関連性を予測する方法を実施し、前記統計モデルは、前記複数のモダリティのうちの１つについてのデータを処理するようにそれぞれが訓練された複数のエンコーダおよびデコーダ、ならびに前記複数のエンコーダおよびデコーダを結合する共同モダリティ表現を含み、前記方法は、
前記第１のモダリティおよび前記第２のモダリティに基づいて、前記複数のエンコーダおよびデコーダから、エンコーダ／デコーダのペアまたはエンコーダのペアを選択する工程と、
前記共同モダリティ表現および選択されたエンコーダ／デコーダのペアまたはエンコーダのペアを用いて前記入力データを処理して、前記入力データと前記第２のモダリティにおけるデータとの間の関連性を予測する工程と、を含む、コンピュータ・システム。
【請求項７４】
前記方法は、前記第１のモダリティについてのデータを処理するように訓練されたエンコーダ、および前記第２のモダリティについてのデータを処理するように訓練されたデコーダを選択する工程をさらに含む、請求項７３に記載のコンピュータ・システム。
【請求項７５】
前記方法は、前記第２のモダリティについての表現空間において、前記入力データと前記第２のモダリティにおける前記データとの間の前記関連性を予測する工程をさらに含む、請求項７４に記載のコンピュータ・システム。
【請求項７６】
前記方法は、
前記第２のモダリティについてのデータを処理するように訓練された前記デコーダから、前記第２のモダリティについての前記表現空間における出力ベクトルを出力する工程と、
前記第２のモダリティからのデータを前記第２のモダリティについての前記表現空間内に投影して、複数の投影されたベクトルを生成する工程と、
前記出力ベクトルと、前記第２のモダリティについての前記表現空間における投影されたベクトルとの比較に基づいて、前記入力データと前記第２のモダリティにおける前記データとの間の前記関連性を予測する工程と、をさらに含む、請求項７５に記載のコンピュータ・システム。
【請求項７７】
前記方法は、
前記出力ベクトルと前記複数の投影されたベクトルのそれぞれとの間の距離を計算する工程と、
計算された距離に基づいて前記関連性を予測する工程と、をさらに含む、請求項７６に記載のコンピュータ・システム。
【請求項７８】
距離を計算する工程は、ユークリッド距離を計算する工程を含む、請求項７７に記載のコンピュータ・システム。
【請求項７９】
前記方法は、前記第１のモダリティについてのデータを処理するように訓練された第１のエンコーダ、および前記第２のモダリティについてのデータを処理するように訓練された第２のエンコーダを選択する工程をさらに含む、請求項７３に記載のコンピュータ・システム。
【請求項８０】
前記方法は、前記共同モダリティ表現に関連付けられた潜在表現空間において前記入力データと前記第２のモダリティにおける前記データとの間の前記関連性を予測する工程をさらに含む、請求項７９に記載のコンピュータ・システム。
【請求項８１】
前記第１のエンコーダへの入力として前記入力データを提供して、前記潜在表現空間における第１のモダリティ特徴ベクトルを生成する工程と、
前記第２のエンコーダへの入力として前記第２のモダリティについてのデータを提供して、前記潜在表現空間における複数の第２のモダリティ特徴ベクトルを生成する工程と、
前記潜在表現空間における前記第１のモダリティ特徴ベクトルおよび前記複数の第２のモダリティ特徴ベクトルの比較に基づいて、前記入力データと前記第２のモダリティにおける前記データとの間の前記関連性を予測する工程と、をさらに含む、請求項８０に記載のコンピュータ・システム。
【請求項８２】
前記第１のモダリティ特徴ベクトルと前記複数の第２のモダリティ特徴ベクトルそれぞれとの間の距離を計算する工程と、
計算された距離に基づいて前記関連性を予測する工程と、をさらに含む、請求項８１に記載のコンピュータ・システム。
【請求項８３】
前記距離を計算する工程は、ユークリッド距離を計算する工程を含む、請求項８２に記載のコンピュータ・システム。
【請求項８４】
コンピュータ・システムであって、
少なくとも１つのコンピュータ・プロセッサと、
複数の命令がエンコードされた少なくとも１つの記憶装置と、を備え、前記複数の命令は、前記少なくとも１つのコンピュータ・プロセッサによる実行時に、第１のモダリティおよび前記第１のモダリティとは異なる第２のモダリティを含む複数のモダリティを有するデータの間のリンクを表現するように訓練された統計モデルを使用して、前記第１のモダリティにおけるデータと前記第２のモダリティにおけるデータとの間の関連性を予測する方法を実施し、前記統計モデルは、前記複数のモダリティのうちの１つについてのデータを処理するようにそれぞれが訓練された複数のエンコーダおよびデコーダ、ならびに前記複数のエンコーダおよびデコーダを結合する共同モダリティ表現を含み、前記方法は、
前記第１のモダリティにおけるデータおよび前記第２のモダリティにおけるデータを、前記統計モデル内の共通表現空間内にマッピングする工程と、
ラベル付けされたデータを使用して訓練された統計的分類器にアクセスする工程と、前記ラベル付けされたデータは、前記第１のモダリティと前記第２のモダリティとにおけるデータの間の関連性を記述しており、
前記訓練された統計的分類器を使用して、前記共通表現空間内にマッピングされた前記第１のモダリティにおけるデータと前記第２のモダリティにおけるデータとの間の関連性を予測する工程と、を含む、コンピュータ・システム。
【請求項８５】
前記第１のモダリティにおける前記データおよび前記第２のモダリティにおける前記データを、共通表現空間内にマッピングする工程は、前記統計モデルの共同モダリティ表現空間内に前記データをマッピングする工程を含む請求項８４に記載のコンピュータ・システム。
【請求項８６】
前記第１のモダリティにおける前記データおよび前記第２のモダリティにおける前記データを、共通表現空間内にマッピングする工程は、前記第１のモダリティまたは前記第２のモダリティについてのモダリティ固有表現空間内に前記データをマッピングする工程を含む、請求項８４に記載のコンピュータ・システム。
【請求項８７】
薬物データ、遺伝子データ、および疾患データの間の関連性を表現するように統計モデルを訓練するための方法であって、
遺伝子訓練データ、薬物訓練データ、および疾患訓練データを含む訓練データにアクセスする工程と、
前記統計モデルを訓練する工程と、を含み、前記統計モデルは、遺伝子エンコーダ、薬物エンコーダ、および疾患エンコーダを含む複数のエンコーダと、遺伝子デコーダ、薬物デコーダ、および疾患デコーダを含む複数のデコーダと、前記複数のエンコーダを前記複数のデコーダに結合する共同表現とを含み、前記共同表現は、前記訓練データ間の相互作用を記述しており、前記訓練する工程は、
自己教師あり学習技法と、前記遺伝子訓練データと、前記遺伝子訓練データにおけるデータ・ペアの間の相互作用を記述する情報とを使用して、前記遺伝子エンコーダおよび前記遺伝子デコーダのパラメータの値を推定する工程と、
自己教師あり学習技法と、前記遺伝子訓練データおよび前記薬物訓練データと、前記遺伝子訓練データにおけるデータ要素と前記薬物訓練データにおけるデータ要素との間の相互作用を記述する情報とを使用して、前記遺伝子エンコーダ、前記遺伝子デコーダ、前記薬物エンコーダ、および前記薬物デコーダのパラメータの値を推定する工程と、
自己教師あり学習技法と、前記遺伝子訓練データおよび前記疾患訓練データと、前記遺伝子訓練データにおけるデータ要素と前記疾患訓練データにおけるデータ要素との間の相互作用を記述する情報とを使用して、前記遺伝子エンコーダ、前記遺伝子デコーダ、前記疾患エンコーダ、および前記疾患デコーダのパラメータの値を推定する工程と、を含んでおり、
前記統計モデルの前記遺伝子エンコーダ、前記遺伝子デコーダ、前記薬物エンコーダ、前記薬物デコーダ、前記疾患エンコーダ、および前記疾患デコーダのパラメータの推定された値を記憶することに少なくとも部分的によって、前記統計モデルを指定する情報を記憶する工程と、を含む方法。
【請求項８８】
前記遺伝子訓練データに基づいて遺伝子モダリティ埋め込みベクトルを作成する工程をさらに含み、前記訓練する工程は、前記遺伝子エンコーダへの入力として前記遺伝子モダリティ埋め込みベクトルを提供する工程をさらに含む、請求項８７に記載の方法。
【請求項８９】
前記遺伝子訓練データにおけるデータ・ペアの間の相互作用を記述する前記情報は、遺伝子−遺伝子相互作用に関する情報、遺伝子−遺伝子共変動に関する情報、および遺伝子−遺伝子制御に関する情報を含む、複数のタイプの相互作用に関する情報を含み、前記訓練する工程は、前記複数のタイプの相互作用のそれぞれについて、前記遺伝子エンコーダおよび前記遺伝子デコーダのパラメータの値を別々に推定する工程をさらに含む、請求項８７に記載の方法。
【請求項９０】
前記遺伝子訓練データにおけるデータ要素と前記薬物訓練データにおけるデータ要素との間の相互作用を記述する前記情報は、薬物−遺伝子上方制御に関する情報、薬物−遺伝子下方制御に関する情報、および薬物−遺伝子結合に関する情報を含む、複数のタイプの相互作用に関する情報を含み、前記訓練する工程は、前記複数のタイプの相互作用のそれぞれについて、前記遺伝子エンコーダおよび前記薬物エンコーダならびに前記遺伝子デコーダおよび前記薬物デコーダのパラメータの値を別々に推定する工程をさらに含む、請求項８７に記載の方法。
【請求項９１】
前記遺伝子訓練データにおけるデータ要素と前記疾患訓練データにおけるデータ要素との間の相互作用を記述する前記情報は、遺伝子−疾患上方制御に関する情報、遺伝子−疾患下方制御に関する情報、および遺伝子−疾患関連性に関する情報を含む、複数のタイプの相互作用に関する情報を含み、前記訓練する工程は、前記複数のタイプの相互作用のそれぞれについて、前記遺伝子エンコーダおよび前記疾患エンコーダならびに前記遺伝子デコーダおよび前記疾患デコーダのパラメータの値を別々に推定する工程をさらに含む、請求項８７に記載の方法。
【請求項９２】
前記訓練する工程は、
自己教師あり学習技法と、前記薬物訓練データおよび前記疾患訓練データと、前記薬物訓練データにおけるデータ要素と前記疾患訓練データにおけるデータ要素との間の相互作用を記述する情報とを使用して、前記薬物エンコーダ、前記薬物デコーダ、前記疾患エンコーダ、および前記疾患デコーダのパラメータの値を推定する工程と、
前記統計モデルの前記薬物エンコーダ、前記薬物デコーダ、前記疾患エンコーダ、および前記疾患デコーダのパラメータの推定された値を記憶することに少なくとも部分的によって、前記統計モデルを指定する情報を記憶する工程と、を含む、請求項８７に記載の方法。
【請求項９３】
前記薬物訓練データにおけるデータ要素と前記疾患訓練データにおけるデータ要素との間の相互作用を記述する前記情報は、薬物−疾患治療に関する情報を含む、請求項９２に記載の方法。
【請求項９４】
前記訓練データは、薬物クラス訓練データをさらに含み、
前記複数のエンコーダは、薬物クラス・エンコーダをさらに含み、
前記複数のデコーダは、薬物クラス・デコーダをさらに含み、
前記訓練する工程は、
自己教師あり学習技法と、前記薬物訓練データおよび前記薬物クラス訓練データと、前記薬物訓練データにおけるデータ要素と前記薬物クラス訓練データにおけるデータ要素との間の相互作用を記述する情報とを使用して、前記薬物エンコーダ、前記薬物デコーダ、前記薬物クラス・エンコーダ、および前記薬物クラス・デコーダのパラメータの値を推定する工程をさらに含み、
前記方法は、前記統計モデルの前記薬物エンコーダ、前記薬物デコーダ、前記薬物クラス・エンコーダ、および前記薬物クラス・デコーダのパラメータの推定された値を記憶することに少なくとも部分的によって、前記統計モデルを指定する情報を記憶する工程をさらに含む、請求項８７に記載の方法。
【請求項９５】
前記薬物訓練データにおけるデータ要素と前記薬物クラス訓練データにおけるデータ要素との間の相互作用を記述する前記情報は、薬物−薬物クラス包含に関する情報を含む、請求項９４に記載の方法。
【請求項９６】
前記訓練データは、生物学的経路訓練データをさらに含み、
前記複数のエンコーダは、経路エンコーダをさらに含み、
前記複数のデコーダは、経路デコーダをさらに含み、
前記訓練する工程は、
自己教師あり学習技法と、前記遺伝子訓練データおよび前記生物学的経路訓練データと、前記遺伝子訓練データにおけるデータ要素と前記生物学的経路訓練データにおけるデータ要素との間の相互作用を記述する情報とを使用して、前記遺伝子エンコーダ、前記遺伝子デコーダ、前記経路エンコーダ、および前記経路デコーダのパラメータの値を推定する工程をさらに含み、
前記方法は、前記統計モデルの前記遺伝子エンコーダ、前記遺伝子デコーダ、前記経路エンコーダ、および前記経路デコーダのパラメータの推定された値を記憶することに少なくとも部分的によって、前記統計モデルを指定する情報を記憶する工程をさらに含む、請求項８７に記載の方法。
【請求項９７】
前記遺伝子訓練データにおけるデータ要素と前記生物学的経路訓練データにおけるデータ要素との間の相互作用を記述する前記情報は、遺伝子−経路関与に関する情報を含む、請求項９６に記載の方法。
【請求項９８】
前記訓練データは、解剖構造訓練データをさらに含み、
前記複数のエンコーダは、解剖構造エンコーダをさらに含み、
前記複数のデコーダは、解剖構造デコーダをさらに含み、
前記訓練する工程は、
自己教師あり学習技法と、前記疾患訓練データおよび前記解剖構造訓練データと、前記疾患訓練データにおけるデータ要素と前記解剖構造訓練データにおけるデータ要素との間の相互作用を記述する情報とを使用して、前記疾患エンコーダ、前記疾患デコーダ、前記解剖構造エンコーダ、および前記解剖構造デコーダのパラメータの値を推定する工程をさらに含み、
前記方法は、前記統計モデルの前記疾患エンコーダ、前記疾患デコーダ、前記解剖構造エンコーダ、および前記解剖構造デコーダのパラメータの推定された値を記憶することに少なくとも部分的によって、前記統計モデルを指定する情報を記憶する工程をさらに含む、請求項８７に記載の方法。
【請求項９９】
前記疾患訓練データにおけるデータ要素と前記解剖構造訓練データにおけるデータ要素との間の相互作用を記述する前記情報は、疾患−解剖構造局在に関する情報を含む、請求項９８に記載の方法。
【請求項１００】
前記訓練する工程は、
自己教師あり学習技法と、前記遺伝子訓練データおよび前記解剖構造訓練データと、前記遺伝子訓練データにおけるデータ要素と前記解剖構造訓練データにおけるデータ要素との間の相互作用を記述する情報とを使用して、前記遺伝子エンコーダ、前記遺伝子デコーダ、前記解剖構造エンコーダ、および前記解剖構造デコーダのパラメータの値を推定する工程をさらに含み、
前記方法は、前記統計モデルの前記遺伝子エンコーダ、前記遺伝子デコーダ、前記解剖構造エンコーダ、および前記解剖構造デコーダのパラメータの推定された値を記憶することに少なくとも部分的によって、前記統計モデルを指定する情報を記憶する工程をさらに含む、請求項９８に記載の方法。
【請求項１０１】
前記遺伝子訓練データにおけるデータ要素と前記解剖構造訓練データにおけるデータ要素との間の相互作用を記述する前記情報は、遺伝子−解剖構造上方制御に関する情報、遺伝子−解剖構造下方制御に関する情報、および遺伝子−解剖構造発現に関する情報を含む、複数のタイプの相互作用に関する情報を含み、前記訓練する工程は、前記複数のタイプの相互作用のそれぞれについて、前記遺伝子および解剖構造エンコーダならびに前記遺伝子および解剖構造デコーダのパラメータの値を別々に推定する工程をさらに含む、請求項１００に記載の方法。
【請求項１０２】
コンピュータ・システムであって、
少なくとも１つのコンピュータ・プロセッサと、
複数の命令がエンコードされた少なくとも１つの記憶装置と、を備え、前記複数の命令は、前記少なくとも１つのコンピュータ・プロセッサによる実行時に、薬物データ、遺伝子データ、および疾患データの間の関連性を表現するように統計モデルを訓練する方法を実施し、前記方法は、
遺伝子訓練データ、薬物訓練データ、および疾患訓練データを含む訓練データにアクセスする工程と、
前記統計モデルを訓練する工程と、前記統計モデルは、遺伝子エンコーダ、薬物エンコーダ、および疾患エンコーダを含む複数のエンコーダと、遺伝子デコーダ、薬物デコーダ、および疾患デコーダを含む複数のデコーダと、前記複数のエンコーダを前記複数のデコーダに結合する共同表現とを含み、前記共同表現は、前記訓練データ間の相互作用を記述し、前記訓練する工程は、
自己教師あり学習技法と、前記遺伝子訓練データと、前記遺伝子訓練データにおけるデータ・ペアの間の相互作用を記述する情報とを使用して、前記遺伝子エンコーダおよび前記遺伝子デコーダのパラメータの値を推定する工程と、
自己教師あり学習技法と、前記遺伝子訓練データおよび前記薬物訓練データと、前記遺伝子訓練データにおけるデータ要素と前記薬物訓練データにおけるデータ要素との間の相互作用を記述する情報とを使用して、前記遺伝子エンコーダ、前記遺伝子デコーダ、前記薬物エンコーダ、および前記薬物デコーダのパラメータの値を推定する工程と、
自己教師あり学習技法と、前記遺伝子訓練データおよび前記疾患訓練データと、前記遺伝子訓練データにおけるデータ要素と前記疾患訓練データにおけるデータ要素との間の相互作用を記述する情報とを使用して、前記遺伝子エンコーダ、前記遺伝子デコーダ、前記疾患エンコーダ、および前記疾患デコーダのパラメータの値を推定する工程と、
前記統計モデルの前記遺伝子エンコーダ、前記遺伝子デコーダ、前記薬物エンコーダ、前記薬物デコーダ、前記疾患エンコーダ、および前記疾患デコーダのパラメータの推定された値を記憶することに少なくとも部分的によって、前記統計モデルを指定する情報を記憶する工程と、を含む、コンピュータ・システム。
【請求項１０３】
前記方法は、前記遺伝子訓練データに基づいて遺伝子モダリティ埋め込みベクトルを作成する工程をさらに含み、前記訓練する工程は、前記遺伝子エンコーダへの入力として前記遺伝子モダリティ埋め込みベクトルを提供する工程をさらに含む、請求項１０２に記載のコンピュータ・システム。
【請求項１０４】
前記遺伝子訓練データにおけるデータ・ペアの間の相互作用を記述する前記情報は、遺伝子−遺伝子相互作用に関する情報、遺伝子−遺伝子共変動に関する情報、および遺伝子−遺伝子制御に関する情報を含む、複数のタイプの相互作用に関する情報を含み、前記訓練する工程は、前記複数のタイプの相互作用のそれぞれについて、前記遺伝子エンコーダおよび前記遺伝子デコーダのパラメータの値を別々に推定する工程をさらに含む、請求項１０２に記載のコンピュータ・システム。
【請求項１０５】
前記遺伝子訓練データにおけるデータ要素と前記薬物訓練データにおけるデータ要素との間の相互作用を記述する前記情報は、薬物−遺伝子上方制御に関する情報、薬物−遺伝子下方制御に関する情報、および薬物−遺伝子結合に関する情報を含む、複数のタイプの相互作用に関する情報を含み、前記訓練する工程は、前記複数のタイプの相互作用のそれぞれについて、前記遺伝子エンコーダおよび前記薬物エンコーダならびに前記遺伝子デコーダおよび前記薬物デコーダのパラメータの値を別々に推定する工程をさらに含む、請求項１０２に記載のコンピュータ・システム。
【請求項１０６】
前記遺伝子訓練データにおけるデータ要素と前記疾患訓練データにおけるデータ要素との間の相互作用を記述する前記情報は、遺伝子−疾患上方制御に関する情報、遺伝子−疾患下方制御に関する情報、および遺伝子−疾患関連性に関する情報を含む、複数のタイプの相互作用に関する情報を含み、前記訓練する工程は、前記複数のタイプの相互作用のそれぞれについて、前記遺伝子エンコーダおよび前記疾患エンコーダならびに前記遺伝子デコーダおよび前記疾患デコーダのパラメータの値を別々に推定する工程をさらに含む、請求項１０２に記載のコンピュータ・システム。
【請求項１０７】
前記訓練する工程は、
自己教師あり学習技法と、前記薬物訓練データおよび前記疾患訓練データと、前記薬物訓練データにおけるデータ要素と前記疾患訓練データにおけるデータ要素との間の相互作用を記述する情報とを使用して、前記薬物エンコーダ、前記薬物デコーダ、前記疾患エンコーダ、および前記疾患デコーダのパラメータの値を推定する工程と、
前記統計モデルの前記薬物エンコーダ、前記薬物デコーダ、前記疾患エンコーダ、および前記疾患デコーダのパラメータの推定された値を記憶することに少なくとも部分的によって、前記統計モデルを指定する情報を記憶する工程と、を含む、請求項１０２に記載のコンピュータ・システム。
【請求項１０８】
前記薬物訓練データにおけるデータ要素と前記疾患訓練データにおけるデータ要素との間の相互作用を記述する前記情報は、薬物−疾患治療に関する情報を含む、請求項１０７に記載のコンピュータ・システム。
【請求項１０９】
前記訓練データは、薬物クラス訓練データをさらに含み、
前記複数のエンコーダは、薬物クラス・エンコーダをさらに含み、
前記複数のデコーダは、薬物クラス・デコーダをさらに含み、
前記訓練する工程は、
自己教師あり学習技法と、前記薬物訓練データおよび前記薬物クラス訓練データと、前記薬物訓練データにおけるデータ要素と前記薬物クラス訓練データにおけるデータ要素との間の相互作用を記述する情報とを使用して、前記薬物エンコーダ、前記薬物デコーダ、前記薬物クラス・エンコーダ、および前記薬物クラス・デコーダのパラメータの値を推定する工程をさらに含み、
前記方法は、前記統計モデルの前記薬物エンコーダ、前記薬物デコーダ、前記薬物クラス・エンコーダ、および前記薬物クラス・デコーダのパラメータの推定された値を記憶することに少なくとも部分的によって、前記統計モデルを指定する情報を記憶する工程をさらに含む、請求項１０２に記載のコンピュータ・システム。
【請求項１１０】
前記薬物訓練データにおけるデータ要素と前記薬物クラス訓練データにおけるデータ要素との間の相互作用を記述する前記情報は、薬物−薬物クラス包含に関する情報を含む、請求項１０９に記載のコンピュータ・システム。
【請求項１１１】
前記訓練データは、生物学的経路訓練データをさらに含み、
前記複数のエンコーダは、経路エンコーダをさらに含み、
前記複数のデコーダは、経路デコーダをさらに含み、
前記訓練する工程は、
自己教師あり学習技法と、前記遺伝子訓練データおよび前記生物学的経路訓練データと、前記遺伝子訓練データにおけるデータ要素と前記生物学的経路訓練データにおけるデータ要素との間の相互作用を記述する情報とを使用して、前記遺伝子エンコーダ、前記遺伝子デコーダ、前記経路エンコーダ、および前記経路デコーダのパラメータの値を推定する工程をさらに含み、
前記方法は、前記統計モデルの前記遺伝子エンコーダ、前記遺伝子デコーダ、前記経路エンコーダ、および前記経路デコーダのパラメータの推定された値を記憶することに少なくとも部分的によって、前記統計モデルを指定する情報を記憶する工程をさらに含む、請求項１０２に記載のコンピュータ・システム。
【請求項１１２】
前記遺伝子訓練データにおけるデータ要素と前記生物学的経路訓練データにおけるデータ要素との間の相互作用を記述する前記情報は、遺伝子−経路関与に関する情報を含む、請求項１１１に記載のコンピュータ・システム。
【請求項１１３】
前記訓練データは、解剖構造訓練データをさらに含み、
前記複数のエンコーダは、解剖構造エンコーダをさらに含み、
前記複数のデコーダは、解剖構造デコーダをさらに含み、
前記訓練する工程は、
自己教師あり学習技法と、前記疾患訓練データおよび前記解剖構造訓練データと、前記疾患訓練データにおけるデータ要素と前記解剖構造訓練データにおけるデータ要素との間の相互作用を記述する情報とを使用して、前記疾患エンコーダ、前記疾患デコーダ、前記解剖構造エンコーダ、および前記解剖構造デコーダのパラメータの値を推定する工程をさらに含み、
前記方法は、前記統計モデルの前記疾患エンコーダ、前記疾患デコーダ、前記解剖構造エンコーダ、および前記解剖構造デコーダのパラメータの推定された値を記憶することに少なくとも部分的によって、前記統計モデルを指定する情報を記憶する工程をさらに含む、請求項１０２に記載のコンピュータ・システム。
【請求項１１４】
前記疾患訓練データにおけるデータ要素と前記解剖構造訓練データにおけるデータ要素との間の相互作用を記述する前記情報は、疾患−解剖構造局在に関する情報を含む、請求項１１３に記載のコンピュータ・システム。
【請求項１１５】
前記訓練する工程は、
自己教師あり学習技法と、前記遺伝子訓練データおよび前記解剖構造訓練データと、前記遺伝子訓練データにおけるデータ要素と前記解剖構造訓練データにおけるデータ要素との間の相互作用を記述する情報とを使用して、前記遺伝子エンコーダ、前記遺伝子デコーダ、前記解剖構造エンコーダ、および前記解剖構造デコーダのパラメータの値を推定する工程をさらに含み、
前記方法は、前記統計モデルの前記遺伝子エンコーダ、前記遺伝子デコーダ、前記解剖構造エンコーダ、および前記解剖構造デコーダのパラメータの推定された値を記憶することに少なくとも部分的によって、前記統計モデルを指定する情報を記憶する工程をさらに含む、請求項１１３に記載のコンピュータ・システム。
【請求項１１６】
前記遺伝子訓練データにおけるデータ要素と前記解剖構造訓練データにおけるデータ要素との間の相互作用を記述する前記情報は、遺伝子−解剖構造上方制御に関する情報、遺伝子−解剖構造下方制御に関する情報、および遺伝子−解剖構造発現に関する情報を含む、複数のタイプの相互作用に関する情報を含み、前記訓練する工程は、前記複数のタイプの相互作用のそれぞれについて、前記遺伝子および解剖構造エンコーダならびに前記遺伝子および解剖構造デコーダのパラメータの値を別々に推定する工程をさらに含む、請求項１１５に記載のコンピュータ・システム。
【請求項１１７】
所与の薬物の新たな疾患適応を予測するための方法であって、
前記所与の薬物の表現、および複数の疾患の表現を、訓練された統計モデルの共通表現空間内に投影する工程と、
前記共通表現空間における投影された前記所与の薬物の表現と前記複数の疾患の表現のうちの少なくとも１つとの比較に基づいて、前記所与の薬物の前記新たな疾患適応を予測する工程と、を含む方法。
【請求項１１８】
前記新たな疾患適応を予測する工程は、前記共通表現空間における前記投影された前記所与の薬物の表現と前記複数の疾患の表現のうちの少なくとも１つとの間の距離を計算する工程と、計算された距離に基づいて前記新たな疾患適応を予測する工程とを含む、請求項１１７に記載の方法。
【請求項１１９】
コンピュータ・システムであって、
少なくとも１つのコンピュータ・プロセッサと、
複数の命令がエンコードされた少なくとも１つの記憶装置と、を備え、前記複数の命令は、前記少なくとも１つのコンピュータ・プロセッサによる実行時に、所与の薬物の新たな疾患適応を予測する方法を実施し、前記方法は、
前記所与の薬物の表現、および複数の疾患の表現を、訓練された統計モデルの共通表現空間内に投影する工程と、
前記共通表現空間における投影された前記所与の薬物の表現と前記複数の疾患の表現のうちの少なくとも１つとの比較に基づいて、前記所与の薬物の前記新たな疾患適応を予測する工程と、を含む、コンピュータ・システム。
【請求項１２０】
前記新たな疾患適応を予測する工程は、前記共通表現空間における前記投影された前記所与の薬物の表現と前記複数の疾患の表現のうちの少なくとも１つとの間の距離を計算する工程と、計算された距離に基づいて前記新たな疾患適応を予測する工程とを含む請求項１１９に記載のコンピュータ・システム。
【請求項１２１】
所与の薬物の疾患適応を特定する方法であって、
統計モデルへの入力として、複数の薬物の表現および複数の疾患の表現を提供する工程と、
訓練された教師あり分類器を使用して前記複数の薬物の表現および前記複数の疾患の表現を処理して、前記複数の薬物のうちの薬物が前記複数の疾患のうちの疾患を治療するのに有効である可能性を特定する工程と、を含み、前記教師あり分類器は、連邦医薬品局（ＦＤＡ）に承認された薬物−疾患ペアに関する情報で訓練される、方法。
【請求項１２２】
コンピュータ・システムであって、
少なくとも１つのコンピュータ・プロセッサと、
複数の命令がエンコードされた少なくとも１つの記憶装置と、を備え、前記複数の命令は、前記少なくとも１つのコンピュータ・プロセッサによる実行時に、所与の薬物の疾患適応を特定する方法を実施し、前記方法は、
統計モデルへの入力として、複数の薬物の表現および複数の疾患の表現を提供する工程と、
訓練された教師あり分類器を使用して前記複数の薬物の表現および前記複数の疾患の表現を処理して、前記複数の薬物のうちの薬物が前記複数の疾患のうちの疾患を治療するのに有効である可能性を特定する工程と、を含み、前記教師あり分類器は、連邦医薬品局（ＦＤＡ）に承認された薬物−疾患ペアに関する情報で訓練される、コンピュータ・システム。
【発明の詳細な説明】
【背景技術】
【０００１】
安全な薬剤を転用する能力は、時間および費用の節約ならびに薬剤承認成功率の増大を含めて大きな利益を製薬業界に提供する。近年、コンピュータ・インフラの改良と、高分解能で疾患と薬剤の特徴付けを可能にする高スループット技術の出現によって、既存の薬剤に対する新たな疾患適応（ｄｉｓｅａｓｅ  ｉｎｄｉｃａｔｉｏｎ）または既存の疾患に対する新たな治療を予測することを目的とする計算アルゴリズムの実装が出現している。
【０００２】
既存の薬剤の新たな疾患適応を発見するため、または所与の疾患もしくは患者に最適な薬剤を見つけるための従来のいくつかの技法は、新たな予測を行うために、疾患のゲノム特性解析および薬剤の作用機序の分子特性解析に依存している。これらの技法は、薬物ベースまたは疾患ベースに分類することができ、いずれも固有の利点および課題があるが、成功した計算アプローチでは、たいてい両方の技法の態様を組み合わせている。
【０００３】
薬物ベースの技法は、典型的には、薬物構造の類似性、薬物分子活性の類似性、または標的経路の類似性、および分子ドッキングに焦点を当てる。それらは、薬物構造、薬物標的、薬物クラス、および薬物治療時の遺伝子発現摂動などの異なる情報またはデータ・モダリティを使用する。疾患ベースの技法は、典型的には、関連適応移転（ａｓｓｏｃｉａｔｉｖｅ  ｉｎｄｉｃａｔｉｏｎ  ｔｒａｎｓｆｅｒ）、共通の分子病理学、または副作用の類似性に焦点を当てる。それらは、疾患に関連した変異および経路、ならびに遺伝子発現またはタンパク質または代謝物またはマイクロバイオームの疾患に関連した変化に関係付けられた情報またはデータ・モダリティを含む。薬物ベースと疾患ベースの両方の根拠を組み合わせたアプローチの例には、転写シグネチャ相補性、および薬物標的−疾患経路類似性が含まれる。
【発明の概要】
【０００４】
本明細書に記載の技術の１態様によれば、いくつかの実施形態は、異種ネットワークにおけるデータの間のモダリティ間関連性（ｉｎｔｅｒ−ｍｏｄａｌｉｔｙ  ａｓｓｏｃｉａｔｉｏｎｓ）を表現するように構成された統計モデルを訓練するための方法を対象とする。この方法は、訓練データにアクセスする工程と、訓練データは、第１のモダリティについての訓練データ、および第１のモダリティとは異なる第２のモダリティについての訓練データを含んでおり、統計モデルを訓練する工程と、統計モデルは、第１および第２のエンコーダと、第１および第２のデコーダと、第１および第２のエンコーダを第１および第２のデコーダに結合する共同モダリティ表現（ｊｏｉｎｔ−ｍｏｄａｌｉｔｙ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）とを含み、訓練する工程は、自己教師あり学習技法と、訓練データのうちの少なくともいくつかと、訓練データにおけるデータ・ペアの間の少なくとも１つのリンクを記述する情報とを使用して、第１および第２のエンコーダならびに第１および第２のデコーダのパラメータの値を推定する工程と、統計モデルの第１および第２のエンコーダならびに第１および第２のデコーダのパラメータの推定された値を記憶することに少なくとも部分的によって、統計モデルを指定する情報を記憶する工程とを含む。
【０００５】
本明細書に記載の技術の別の態様によれば、いくつかの実施形態は、第１のモダリティおよび第２のモダリティを含む複数のモダリティを有するデータの間のリンクを表現するように訓練された統計モデルを使用して、第１のモダリティにおける入力データと第２のモダリティにおけるデータとの間の関連性を予測するための方法であって、統計モデルは、複数のモダリティのうちの１つについてのデータを処理するようにそれぞれが訓練された複数のエンコーダおよびデコーダ、ならびに複数のエンコーダおよびデコーダを結合する共同モダリティ表現を含む、方法を対象とする。この方法は、第１のモダリティおよび第２のモダリティに基づいて、複数のエンコーダおよびデコーダから、エンコーダ／デコーダのペアまたはエンコーダのペアを選択する工程と、共同モダリティ表現および選択されたエンコーダ／デコーダのペアまたはエンコーダのペアを用いて入力データを処理して、入力データと第２のモダリティにおけるデータとの間の関連性を予測する工程とを含む。
【０００６】
本明細書に記載の技術の別の態様によれば、いくつかの実施形態は、第１のモダリティおよび第２のモダリティを含む複数のモダリティを有するデータの間の相互作用を表現するように訓練された統計モデルを使用して、第１のモダリティにおけるデータと第２のモダリティにおけるデータとの間の関連性を予測するための方法であって、統計モデルは、複数のモダリティのうちの１つについてのデータを処理するようにそれぞれが訓練された複数のエンコーダおよびデコーダ、ならびに複数のエンコーダおよびデコーダを結合する共同モダリティ表現を含む、方法を対象とする。この方法は、第１のモダリティにおけるデータおよび第２のモダリティにおけるデータを、統計モデル内の共通表現空間内にマッピングする工程と、ラベル付けされたデータを使用して訓練された統計的分類器にアクセスする工程と、ラベル付けされたデータは、第１のモダリティと第２のモダリティとにおけるデータの間の関連性を記述しており、訓練された統計的分類器を使用して、共通表現空間内にマッピングされた第１のモダリティにおけるデータと第２のモダリティにおけるデータとの間の関連性を予測する工程とを含む。
【０００７】
本明細書に記載の技術の別の態様によれば、いくつかの実施形態は、コンピュータ・システムであって、少なくとも１つのコンピュータ・プロセッサと、複数の命令がエンコードされた少なくとも１つの記憶装置とを備え、複数の命令は、少なくとも１つのコンピュータ・プロセッサによる実行時に、データについてのモダリティ間関連性を表現するように統計モデルを訓練する方法を実施し、データは、第１のモダリティについてのデータ、および第１のモダリティとは異なる第２のモダリティについてのデータを含む、コンピュータ・システムを対象とする。上記方法は、第１のモダリティについての訓練データおよび第２のモダリティについての訓練データを含む訓練データにアクセスする工程と、統計モデルを訓練する工程とを含み、統計モデルは、第１および第２のエンコーダと、第１および第２のデコーダと、第１および第２のエンコーダを第１および第２のデコーダに結合する共同モダリティ表現とを含む。訓練する工程は、自己教師あり学習技法と、訓練データのうちの少なくともいくつかと、訓練データにおけるデータ・ペアの間の少なくとも１つのリンクを記述する情報とを使用して、第１および第２のエンコーダならびに第１および第２のデコーダのパラメータの値を推定する工程と、統計モデルの第１および第２のエンコーダならびに第１および第２のデコーダのパラメータの推定された値を記憶することに少なくとも部分的によって、統計モデルを指定する情報を記憶する工程とを含む。
【０００８】
本明細書に記載の技術の別の態様によれば、いくつかの実施形態は、コンピュータ・システムであって、少なくとも１つのコンピュータ・プロセッサと、複数の命令がエンコードされた少なくとも１つの記憶装置と、を備え、複数の命令は、少なくとも１つのコンピュータ・プロセッサによる実行時に、第１のモダリティおよび第２のモダリティを含む複数のモダリティを有するデータの間の相互作用を表現するように訓練された統計モデルを使用して、第１のモダリティにおける入力データと第２のモダリティにおけるデータとの間の関連性を予測する方法を実施し、統計モデルは、複数のモダリティのうちの１つについてのデータを処理するようにそれぞれが訓練された複数のエンコーダおよびデコーダ、ならびに複数のエンコーダおよびデコーダを結合する共同モダリティ表現を含む、コンピュータ・システムを対象とする。上記方法は、第１のモダリティおよび第２のモダリティに基づいて、複数のエンコーダおよびデコーダから、エンコーダ／デコーダのペアまたはエンコーダのペアを選択する工程と、共同モダリティ表現および選択されたエンコーダ／デコーダのペアまたはエンコーダのペアを用いて入力データを処理して、入力データと第２のモダリティにおけるデータとの間の関連性を予測する工程とを含む。
【０００９】
本明細書に記載の技術の別の態様によれば、いくつかの実施形態は、コンピュータ・システムであって、少なくとも１つのコンピュータ・プロセッサと、複数の命令がエンコードされた少なくとも１つの記憶装置と、を備え、複数の命令は、少なくとも１つのコンピュータ・プロセッサによる実行時に、第１のモダリティおよび第１のモダリティとは異なる第２のモダリティを含む複数のモダリティを有するデータの間のリンクを表現するように訓練された統計モデルを使用して、第１のモダリティにおけるデータと第２のモダリティにおけるデータとの間の関連性を予測する方法を実施し、統計モデルは、複数のモダリティのうちの１つについてのデータを処理するようにそれぞれが訓練された複数のエンコーダおよびデコーダ、ならびに複数のエンコーダおよびデコーダを結合する共同モダリティ表現を含む、コンピュータ・システムを対象とする。上記方法は、第１のモダリティにおけるデータおよび第２のモダリティにおけるデータを、統計モデル内の共通表現空間内にマッピングする工程と、ラベル付けされたデータを使用して訓練された統計的分類器にアクセスする工程と、ラベル付けされたデータは、第１のモダリティと第２のモダリティとにおけるデータの間の関連性を記述しており、訓練された統計的分類器を使用して、共通表現空間内にマッピングされた第１のモダリティにおけるデータと第２のモダリティにおけるデータとの間の関連性を予測する工程とを含む。
【００１０】
本明細書に記載の技術の別の態様によれば、いくつかの実施形態は、薬物データ、遺伝子データ、および疾患データの間の関連性を表現するように統計モデルを訓練するための方法を対象とする。この方法は、遺伝子訓練データ、薬物訓練データおよび疾患訓練データを含む訓練データにアクセスする工程と、統計モデルを訓練する工程と、を含み、統計モデルは、遺伝子エンコーダ、薬物エンコーダおよび疾患エンコーダを含む複数のエンコーダと、遺伝子デコーダ、薬物デコーダおよび疾患デコーダを含む複数のデコーダと、複数のエンコーダを複数のデコーダに結合する共同モダリティ表現とを含み、共同表現は、訓練データ間の相互作用を記述し、訓練する工程は、自己教師あり学習技法と、遺伝子訓練データと、遺伝子訓練データにおけるデータ・ペアの間の相互作用を記述する情報とを使用して、遺伝子エンコーダおよび遺伝子デコーダのパラメータの値を推定する工程と、自己教師あり学習技法と、遺伝子訓練データおよび薬物訓練データと、遺伝子訓練データにおけるデータ要素と薬物訓練データにおけるデータ要素との間の相互作用を記述する情報とを使用して、遺伝子エンコーダ、遺伝子デコーダ、薬物エンコーダ、および薬物デコーダのパラメータの値を推定する工程と、自己教師あり学習技法と、遺伝子訓練データおよび疾患訓練データと、遺伝子訓練データにおけるデータ要素と疾患訓練データにおけるデータ要素との間の相互作用を記述する情報とを使用して、遺伝子エンコーダ、遺伝子デコーダ、疾患エンコーダ、および疾患デコーダのパラメータの値を推定する工程と、統計モデルの遺伝子エンコーダ、遺伝子デコーダ、薬物エンコーダ、薬物デコーダ、疾患エンコーダ、および疾患デコーダのパラメータの推定された値を記憶することに少なくとも部分的によって、統計モデルを指定する情報を記憶する工程とを含む。
【００１１】
本明細書に記載の技術の別の態様によれば、いくつかの実施形態は、コンピュータ・システムであって、少なくとも１つのコンピュータ・プロセッサと、複数の命令がエンコードされた少なくとも１つの記憶装置と、を備え、複数の命令は、少なくとも１つのコンピュータ・プロセッサによる実行時に、薬物データ、遺伝子データ、および疾患データの間の関連性を表現するように統計モデルを訓練する方法を実施する、コンピュータ・システムを対象とする。上記方法は、遺伝子訓練データ、薬物訓練データ、および疾患訓練データを含む訓練データにアクセスする工程と、統計モデルを訓練する工程と、を含み、統計モデルは、遺伝子エンコーダ、薬物エンコーダ、および疾患エンコーダを含む複数のエンコーダと、遺伝子デコーダ、薬物デコーダ、および疾患デコーダを含む複数のデコーダと、複数のエンコーダを複数のデコーダに結合する共同表現とを含み、共同表現は、訓練データ間の相互作用を記述する。訓練する工程は、自己教師あり学習技法と、遺伝子訓練データと、遺伝子訓練データにおけるデータ・ペアの間の相互作用を記述する情報とを使用して、遺伝子エンコーダおよび遺伝子デコーダのパラメータの値を推定する工程と、自己教師あり学習技法と、遺伝子訓練データおよび薬物訓練データと、遺伝子訓練データにおけるデータ要素と薬物訓練データにおけるデータ要素との間の相互作用を記述する情報とを使用して、遺伝子エンコーダ、遺伝子デコーダ、薬物エンコーダ、および薬物デコーダのパラメータの値を推定する工程と、自己教師あり学習技法と、遺伝子訓練データおよび疾患訓練データと、遺伝子訓練データにおけるデータ要素と疾患訓練データにおけるデータ要素との間の相互作用を記述する情報とを使用して、遺伝子エンコーダ、遺伝子デコーダ、疾患エンコーダ、および疾患デコーダのパラメータの値を推定する工程と、統計モデルの遺伝子エンコーダ、遺伝子デコーダ、薬物エンコーダ、薬物デコーダ、疾患エンコーダ、および疾患デコーダのパラメータの推定された値を記憶することに少なくとも部分的によって、統計モデルを指定する情報を記憶する工程とを含む。
【００１２】
本明細書に記載の技術の別の態様によれば、いくつかの実施形態は、所与の薬物の新たな疾患適応を予測するための方法を対象とする。この方法は、所与の薬物の表現、および複数の疾患の表現を、訓練された統計モデルの共通表現空間内に投影する工程と、共通表現空間における投影された所与の薬物の表現と複数の疾患の表現のうちの少なくとも１つとの比較に基づいて、所与の薬物の新たな疾患適応を予測する工程とを含む。
【００１３】
本明細書に記載の技術の別の態様によれば、いくつかの実施形態は、コンピュータ・システムであって、少なくとも１つのコンピュータ・プロセッサと、複数の命令がエンコードされた少なくとも１つの記憶装置と、を備え、複数の命令は、少なくとも１つのコンピュータ・プロセッサによる実行時に、所与の薬物の新たな疾患適応を予測する方法を実施する、コンピュータ・システムを対象とする。上記方法は、所与の薬物の表現、および複数の疾患の表現を、訓練された統計モデルの共通表現空間内に投影する工程と、共通表現空間における投影された所与の薬物の表現と複数の疾患の表現のうちの少なくとも１つとの比較に基づいて、所与の薬物の新たな疾患適応を予測する工程とを含む。
【００１４】
本明細書に記載の技術の別の態様によれば、いくつかの実施形態は、所与の薬物の疾患適応を特定する方法を対象とする。この方法は、統計モデルへの入力として、複数の薬物の表現および複数の疾患の表現を提供する工程と、訓練された教師あり分類器を使用して複数の薬物の表現および複数の疾患の表現を処理して、複数の薬物のうちの薬物が複数の疾患のうちの疾患を治療するのに有効である可能性を特定する工程と、を含み、教師あり分類器は、連邦医薬品局（Ｆｅｄｅｒａｌ  Ｄｒｕｇ  Ａｄｍｉｎｉｓｔｒａｔｉｏｎ：ＦＤＡ）に承認された薬物−疾患ペアに関する情報で訓練される。
【００１５】
本明細書に記載の技術の別の態様によれば、いくつかの実施形態は、コンピュータ・システムであって、少なくとも１つのコンピュータ・プロセッサと、複数の命令がエンコードされた少なくとも１つの記憶装置と、を備え、複数の命令は、少なくとも１つのコンピュータ・プロセッサによる実行時に、所与の薬物の疾患適応を特定する方法を実施する、コンピュータ・システムを対象とする。上記方法は、統計モデルへの入力として、複数の薬物の表現および複数の疾患の表現を提供する工程と、訓練された教師あり分類器を使用して複数の薬物の表現および複数の疾患の表現を処理して、複数の薬物のうちの薬物が複数の疾患のうちの疾患を治療するのに有効である可能性を特定する工程と、を含み、教師あり分類器は、連邦医薬品局（ＦＤＡ）に承認された薬物−疾患ペアに関する情報で訓練される。
【００１６】
上記の概念のすべての組み合わせおよび以下でより詳細に説明される追加の概念は、（そのような概念が互いに矛盾しないならば）本明細書で開示される発明の主題の一部であると考えられることを理解されたい。
【００１７】
以下の図面を参照して本技術の様々な非限定的実施形態を説明する。図は原寸に比例して描かれているとは限らないことを理解されたい。
【図面の簡単な説明】
【００１８】
【図１】いくつかの実施形態による異種ネットワークの図。
【図２】いくつかの実施形態による、マルチモーダル統計モデルを使用して表現され得る生物学的データの異種ネットワークの図。
【図３】いくつかの実施形態による、生物学的データの異種ネットワークを表現するためのモデル・アーキテクチャの図。
【図４】いくつかの実施形態による、生物学的データの異種ネットワークを表現するように統計モデルを訓練するための工程の流れ図。
【図５】いくつかの実施形態による、データ埋め込みを行うための方法の図。
【図６】いくつかの実施形態による、単一モダリティ情報およびネットワーク・リンクを共通潜在空間内に投影するための方法の図。
【図７】いくつかの実施形態に従って使用されるエンコーダおよびデコーダのための例示的ニューラル・ネットワーク・アーキテクチャを示す図。
【図８】いくつかの実施形態による、異種ネットワークにおけるモダリティ内およびモダリティ間ネットワーク・リンクを表現するように統計モデルを訓練するための工程の流れ図。
【図９】いくつかの実施形態による、モダリティ内ネットワーク・リンクを表現するように統計モデルを訓練するための方法の図。
【図１０Ａ】いくつかの実施形態による、モダリティ間ネットワーク・リンクを表現するように統計モデルを訓練するための方法の図。
【図１０Ｂ】いくつかの実施形態による、モダリティ間ネットワーク・リンクを表現するように統計モデルを訓練するための方法の図。
【図１０Ｃ】いくつかの実施形態による、モダリティ間ネットワーク・リンクを表現するように統計モデルを訓練するための方法の図。
【図１１】いくつかの実施形態による、訓練されたマルチモーダル統計モデルを使用してマルチモーダル予測を行うことを概略的に示す図。
【図１２】いくつかの実施形態による、モダリティ固有表現空間における教師なし予測を行うための方法を示す図。
【図１３】いくつかの実施形態による、モダリティ固有表現空間における埋め込みベクトルと投影されたベクトルとの位置を比較するための技法を概略的に示す図。
【図１４】いくつかの実施形態による、共同モダリティ表現空間における教師なし予測を行うための方法を示す図。
【図１５】いくつかの実施形態による、訓練されたマルチモーダル統計モデルを使用して教師あり予測を行うための方法を示す図。
【図１６】いくつかの実施形態が実装され得る例示的なコンピュータ・システムのコンポーネントを示す図。
【発明を実施するための形態】
【００１９】
統計または機械学習技法を用いて生物学的データ間の関連性（例えば、薬物−疾患マッチ）を予測するための従来の計算アプローチは、典型的には、教師あり学習技法を利用する。このような手法を訓練するために利用可能なデータセットは、比較的少量のラベル付けされたデータ（例えば、ＦＤＡ承認薬）に限られることが多い。また、そのようなアプローチは、典型的には、１つまたは２つのモダリティ（例えば、薬物および疾患）に焦点を当て、訓練中または予測を行う際に他のモダリティからの情報を考慮しない。このため、いくつかの実施形態は、広範囲のソースからの生物学的（例えば、薬物および／または疾患）情報を組み込むために、複数のモダリティからの生物学的情報を統合するためのスケーラブルな技法を対象とする。特に、いくつかの実施形態は、自己教師あり学習技法を用いて、モデル内のデータ間の接続を学習するように構成された１つまたは複数の統計モデルを使用して、マルチモーダルな生物学的情報の異種ネットワークを表現することを対象とする。いくつかの実施形態による統計モデルを使用して表現され得る異種ネットワークの概略例が図１に示される。
【００２０】
図示されるように、異種ネットワーク１００は、複数のノード、およびノード間の接続を含む。ネットワーク１００内のノードのそれぞれは、異なるモダリティを有するデータに関連付けられる。例えば、ノードＡは疾患に関連付けられたデータを表現してよく、ノードＢは遺伝子に関連付けられたデータを表現してよく、ノードＣは薬物に関連付けられたデータを表現してよい。ネットワーク１００内のノードに関連付けられたリンクは、単一モダリティ内のデータの間の相互作用を記述するモダリティ内リンク（例えば、リンク１３２、１３４）を含む。例えば、リンク１３２は、ノードＢに関連付けられたデータの間の相互作用（例えば、遺伝子が他の遺伝子と相互作用する）を記述し、リンク１３４は、ノードＣに関連付けられたデータの間の相互作用（例えば、薬物が他の薬物と構造的類似性を有する）を記述する。異種ネットワーク内の各ノードは、任意の適切な数のモダリティ内リンクを含んでよく（モダリティ内リンクを含まなくてもよく）、ネットワーク内の任意の１つのノードに関連付けられたリンクの数は、ノードに関連付けられたデータのモダリティに依存し得る。例えば、以下により詳細に説明されるように、「遺伝子」モダリティに関連付けられたノードは、「薬物クラス」モダリティに関連付けられたノードよりもモダリティ内リンクを多く有し得る。
【００２１】
ネットワーク１００内の各ノードはまた、少なくとも１つのモダリティ間リンク（例えば、リンク１１２、１１４、１１６、および１２２）を含み、モダリティ間リンクは、異なるモダリティからのデータの間の相互作用を記述する。モダリティ間リンクは、ノードをネットワーク内の他のノードに接続する。一部のノードは単一のモダリティ間リンクのみを含むが、他のノードは、１つまたは複数の別のノードへの複数のモダリティ間リンクを含み、それらは、ネットワーク１００内のデータの間のより複雑な関連性を示す。ネットワーク１００内のモダリティ間リンクにより、ネットワーク内の異なるデータ・ソースからのデータの間の関連性が学習されてよく、いくつかの実施形態では、直接的にまたはネットワーク内の他のノードを介して間接的に接続されたノードの間の予測を可能にする。例えば、ノードＡとノードＣにおけるデータの間の関連性は、これら２つのノードの間の直接リンク１１６を介して、また、ノードＢを介するノードＡとノードＣとの間の間接パス（例えば、リンク１１２、１１４、および１２２を通る）を介して学習され得る。ネットワーク１００内のノードによって表現されるデータの間の学習された接続のメッシュは、いくつかの実施形態に従って、訓練された統計モデルを使用してエンコードされたデータ表現の豊かさを高める。例えば、訓練された統計モデルは、異種薬物−疾患ネットワーク内の欠落したリンクを予測するために使用されてよい。
【００２２】
図２は、いくつかの実施形態による統計モデルを使用して表現され得る薬物−疾患異種ネットワークの例を示す。図示されるように、ネットワークは、複数のノードを含み、各ノードは、異なるモダリティの生物学的データに関連付けられている。ネットワークは、ネットワーク内のノードに関連付けられ接続するモダリティ内リンクおよびモダリティ間リンクを含む。これらのリンクは、モダリティ内のデータのペアまたは異なるモダリティからのデータのペアがどのように互いに関係するかを記述する。異種ネットワークに複数のノードを含めることによって、薬物と疾患の関係、例えば、遺伝子が疾患に罹患しまたは関連付けられる、遺伝子が薬物により調節されまたは標的にされる、疾患に罹患した組織で遺伝子が発現されるなどの関係が、複数のモダリティを介して確立されることが可能である。また、薬物は、それらの分子構造、それぞれのタンパク質標的、薬物クラス、および副作用によって特徴付けることができ、疾患は疾患オントロジーによって特徴付けることもできる。
【００２３】
図２に示す特定の薬物−疾患ネットワークでは、遺伝子に関連するノードは、ネットワーク内の他の４つのノードに直接接続されることによって薬物と疾患の間の中核的機能リンクを表現する。遺伝子は、機能的相互作用によって、例えば、タンパク質−タンパク質相互作用、転写制御ネットワークまたは共発現（ｃｏ−ｅｘｐｒｅｓｓｉｏｎ）ネットワーク、およびそれらの生物学的経路または遺伝子オントロジー関連性などによって特徴付けられ得る。いくつかの実施形態では、ネットワークは、薬物および疾患メタボロミクス、プロテオミクス、ならびにマイクロバイオーム情報のうちの１つまたは複数を含む。
【００２４】
追加の生物学的データが利用可能になると、図２に示される薬物−疾患異種ネットワークは、追加のノードおよび／またはノード間の追加のリンクを含むように拡張され得る。１つまたは２つのみのモダリティからのデータに基づいて予測を行うように訓練されたいくつかの従来の計算モデルとは異なり、薬物−疾患異種ネットワークの表現は、そのようにして容易に拡張可能でスケーラブルである。異種ネットワークの既存のノード内で表現されるデータの新たなノードまたはタイプは、任意の適切な方法で追加され得る。例えば、いくつかの実施形態では、薬物−疾患異種ネットワーク内のノードは、様々な生物に関連付けられたデータ（例えば、ヒトおよびマウスのデータセットからのデータ）を含んでよい。モデル生物、Ｓａｃｃｈａｒｏｍｙｃｅｓ  ｃｅｒｅｖｉｓｉａｅ（酵母）、Ｃａｅｎｏｒｈａｂｄｉｔｉｓ  ｅｌｅｇａｎｓ（線虫）、Ｄａｎｉｏ  ｒｅｒｉｏ（ゼブラフィッシュ）、Ａｒａｂｉｄｏｐｓｉｓ  ｔｈａｌｉａｎａ（シロイヌナズナ）およびＤｒｏｓｏｐｈｉｌａ  ｍｅｌａｎｏｇａｓｔｅｒ（ショウジョウバエ）からの薬物−表現型関連性も含まれ得る。別の例では、生物間結合がオーソロガス遺伝子関連性を使用してモデルで表現され得る。
【００２５】
異種ネットワーク内のノードに関連付けられたデータは、特定のモダリティ内のデータの間の相互作用（例えば、遺伝子−遺伝子相互作用）または異なるモダリティからのデータの間の相互作用（例えば、疾患に対する薬物治療）に関する信頼できる情報を提供する任意のデータ・ソースから特定され得る。いくつかの実施形態では、異種ネットワークとのデータの相互作用に関する情報は、公的にアクセス可能なデータベースおよび／もしくは生物学的情報の独自データベースの情報に基づいて、または臨床試験もしくは他の医学研究の結果に基づいて決定される。例えば、薬物に関連付けられたデータは、小分子および／または生物製剤に関係付けられた情報を含んでよく、疾患に関連付けられたデータは、疾患カテゴリに関係付けられた情報を含んでよく、疾患カテゴリとして、新生物（例えば、白血病、リンパ腫、肺がん、黒色腫、甲状腺がん、肝がん、前立腺がん、腎がんまたは腎臓がん、膵臓がん、腸がん、膠芽腫、星状細胞腫、乳がんなど）および非がん疾患（例えば、神経、心血管、皮膚、筋骨格、泌尿器、呼吸器、栄養、および代謝の疾患など）があるが、これらに限定されない。
【００２６】
また、いくつかの実施形態に従って使用される薬物−疾患異種ネットワークは、合成致死スクリーニングに由来する遺伝子−遺伝子相互作用、およびＣｒｉｓｐｒまたはｓｈＲＮＡまたはｓｉＲＮＡスクリーニングに由来する遺伝子−疾患相互作用に関係付けられた情報を含んでもよい。さらに、薬物と疾患の間の直接的相互作用に関する情報が、ＦＤＡ承認薬物−疾患適応に関する情報、およびインビトロがん細胞株生存率実験に基づいて、少なくとも部分的に決定され得る。
【００２７】
表１は、いくつかの実施形態による異種ネットワークに関するデータおよび相互作用を特定するために使用され得る例示的なデータセットおよびデータベースのリストを提供する。以下により詳細に説明されるように、これらのデータ・ソース（および他のソース）から抽出されたデータの間の相互作用に関する情報は、訓練された統計モデルが異種ネットワーク内のモダリティ間関連性を表現するよう構成されるように、統計モデルを訓練するために使用され得る。訓練された統計モデルは、次いで、新たなモダリティ間予測を行うために使用され得る。
【００２８】
【表１】
2021526259.tif 000003
図２に関連して上述したように、異種ネットワーク内の各ノードは、ネットワーク内の他の１つまたは複数のノードへの少なくとも１つのリンクを含む。いくつかの実施形態は、表１に挙げられたデータ・ソースを含むがそれらに限定されないデータ・ソースから抽出されたデータのペアに関する情報を使用して統計モデルを訓練することによって、ネットワークにおけるデータの間のこれらのリンクをエンコードすることを対象とする。
【００２９】
図２のネットワーク内の各ノードおよびそれに関連付けられたリンク（モダリティ内とモダリティ間の両方）は、いくつかの実施形態に従って統計モデルを訓練するために別々に考慮され得る。ネットワーク内のノードについてのデータの間のリンクのそれぞれは、カテゴリ的特徴を使用して表現されてよい。カテゴリ的特徴は、以下により詳細に説明するデータ埋め込み技法を使用して、連続値を有するベクトルに各モダリティのデータがマッピングされることを可能にする。次いで、ベクトルは、訓練段階中に統計モデルへの入力として提供され、訓練後に予測のために使用され得る。
【００３０】
いくつかの例では、異種ネットワークにおけるデータの間の相互作用は、カテゴリ的特徴のみを使用して表現されてよい。例えば、相互作用「薬物が疾患を治療（ｄｒｕｇ−ｔｒｅａｔｓ−ｄｉｓｅａｓｅ）」において、特定の薬物は、特定の疾患を治療するために承認されること、または承認されないことがある。言い換えれば、「治療」相互作用は２値的である。他の例では、異種ネットワークにおけるデータの間の相互作用が、リンクされたデータの間の相互作用の強さを示す数値的特徴を使用してさらに表現され得る。例えば、相互作用「薬物が遺伝子を制御（ｄｒｕｇ−ｒｅｇｕｌａｔｅｓ−ｇｅｎｅ）」において、カテゴリ的特徴は、例えば薬物発現プロファイルに基づいて、特定の薬物が特定の遺伝子を制御するかどうかを表すために使用されてよく、数値的特徴は、例えば差次的遺伝子発現比較に基づいて決定される、制御の程度または強さを表すために使用されてよい。
【００３１】
図２に示される異種ネットワークに関連付けられた例示的な相互作用は、表１の例示的データベースからのどのデータが相互作用データを決定するために使用されたか、および相互作用が異種ネットワークにおいてカテゴリ的特徴のみを使用して表現されたかまたはカテゴリ的特徴に加えて数値的特徴を使用して表現されたかの表示を含み、以下でより詳細に説明される。図２のネットワークにおける相互作用は、例示的な方法で相互作用メトリックを計算することによって以下に説明される。しかしながら、相互作用メトリックのいずれかまたはすべてが、任意の適切な方法でデータ・ソースから抽出および／または計算されてよく、実施形態は、この点で限定されないことを理解されたい。
【００３２】
薬物中心の相互作用
図２に示されるように、「薬物」ノードは、１つのモダリティ内相互作用（薬物が薬物に類似（ｄｒｕｇ−ｒｅｓｅｍｂｌｅｓ−ｄｒｕｇ））と、薬物ノードをネットワーク内の他のノードに接続する５つのモダリティ間相互作用とを含む、６つの異なる薬物中心相互作用を含む。モダリティ内「薬物が薬物に類似」相互作用は、カテゴリ的特徴と数値的特徴の両方によって定義され、ネットワークにおける薬物のペアワイズ構造類似性を記述する。例えば、「類似」メトリックは、谷本係数に基づき、ＰｙｔｈｏｎライブラリＲＤＫｉｔ（http://www.rdkit.org）を使用して、薬物−対応する指紋からペアワイズ薬物構造類似性を算出することによって計算され得る。一実装形態では、薬物構造は、３つの異なるデータベース（ＣｈＥＭＢＬ、ＣｈｅｍＳｐｉｄｅｒ、ＰｕｂＣｈｅｍ）から「ｓｍｉｌｅｓ」の形式でダウンロードされて、ＰｙｔｈｏｎライブラリＭｏｌＶＳ（https://molvs.readthedocs.io/）を使用してｓｍｉｌｅ標準化された。次に、各薬物の分子指紋を計算し、可能なすべてのペアワイズ薬物指紋比較から谷本係数を算出して、どの薬物が他の薬物と類似するかを決定した。
【００３３】
「薬物が遺伝子を制御（ｄｒｕｇ−ｒｅｇｕｌａｔｅｓ−ｇｅｎｅ）」相互作用は、カテゴリ的特徴と数値的特徴の両方によって定義される。この相互作用は、例えばＣＭＡＰ−ＬＩＮＣＳ−Ｌ１０００データベースから抽出された、薬物発現プロファイルに基づいて決定され得る。一実装形態では、データは、Ｇｅｎｅ  Ｅｘｐｒｅｓｓｉｏｎ  Ｏｍｎｉｂｕｓデータベース（Ａｃｃｅｓｓｉｏｎ  ＩＤ＝ＧＳＥ９２７４２）からダウンロードされ、３〜７７個のよくアノテーションされた細胞株の可変セットにおいて、２つの異なる時点（６時間および２４時間）で３回スクリーニングされた合計１９８１１個の薬物を含んでいた。この実装形態で使用された遺伝子発現データは、レベル５の処理されたデータを含み、これは、各細胞株、時点および薬物治療について、対照条件に関して正規化された差次的遺伝子発現値を含んでいた。データは、遺伝子の（例えば、次元１×１２３２８の）ベクトル、ならびに細胞株、時点および薬物治療の各組み合わせについてのそれらの対応するＺスコアによって表現され得る。
【００３４】
さらに、薬物誘発性遺伝子発現データが複数の薬物について独自データベースから作成された。これらのプロファイルは、２つの異なる時点（６時間および２４時間）で、各薬物について２つの異なる濃度で、７つの異なるがん細胞株において生成された。差次的遺伝子発現が、対照条件に関して正規化され、Ｚスコアの形式で処理された。独自データベースからの薬物について生成されたデータは、ＣＭＡＰ−ＬＩＮＣＳ−Ｌ１０００のデータと同じ構造を有していた。
【００３５】
上記されたように、「薬物が疾患を治療」相互作用はカテゴリ的である。この相互作用は、承認された（例えば、ＦＤＡに承認された）薬物のリストと、それらに対応する疾患適応とに基づき得る。一実装形態では、この相互作用に関するデータは、ＰｈａｒｍａｃｏｔｈｅｒａｐｙＤＢデータベースからダウンロードされ、７５５個の疾患−薬物ペアを含んでいた。
【００３６】
「薬物が薬物クラスを包含（ｄｒｕｇ−ｉｎｃｌｕｄｅｓ−ｄｒｕｇ  ｃｌａｓｓ）」相互作用はカテゴリ的である。この相互作用は、各薬物とその薬理学的クラスとの間の対応を記述する。一実装形態では、この相互作用に関するデータは、ＤｒｕｇＢａｎｋ（https://www.drugbank.ca/）およびＤｒｕｇＣｅｎｔｒａｌ（http://drugcentral.org）データベースからダウンロードされた。
【００３７】
「薬物が遺伝子に結合（ｄｒｕｇ−ｂｉｎｄｓ−ｇｅｎｅ）」相互作用はカテゴリ的である。この相互作用は、薬物と遺伝子によってコードされるそれらのタンパク質標的との関係を記述する。一実装形態では、この相互作用に関するデータは、ＤｒｕｇＢａｎｋ（https://www.drugbank.ca/）、ＤｒｕｇＣｅｎｔｒａｌ（http://drugcentral.org）、およびＢｉｎｄｉｎｇＤＢ（https://www.bindingdb.org）データベースから得られた。
【００３８】
疾患中心の相互作用
図２に示されるように、「疾患」ノードは、疾患ノードをネットワーク内の他のノードに接続する５つの異なる疾患中心のモダリティ間相互作用（そのうちの１つは、上述の「薬物が疾患を治療」相互作用である）を含む。疾患ノードは、いずれのモダリティ内相互作用にも関連付けられていない。「疾患が遺伝子を制御（ｄｉｓｅａｓｅ−ｒｅｇｕｌａｔｅｓ−ｇｅｎｅ）」相互作用は、カテゴリ的特徴と数値的特徴の両方を使用して表現される。一実装形態では、この相互作用についてのデータは、ＴＣＧＡデータベース（https://tcga-data.nci.nih.gov/）および独自データベースから得られた。この相互作用は、対応する正常対照組織または健常人と比較した場合、患部組織において上方制御および下方制御される（ｕｐ−  ａｎｄ  ｄｏｗｎ−ｒｅｇｕｌａｔｅｄ）遺伝子に関する。ＴＣＧＡデータベースは、各患者についてのがん遺伝子発現プロファイルおよびそれらの対応する正常対照組織プロファイルを含む。一実装形態では、各患者の両方のプロファイルがダウンロードされ、腫瘍と対照の間の対応する倍数変化が計算され、遺伝子発現値がＺスコアに正規化された。５７５個の異なる疾患（がんおよび非がん疾患の適応）の約１５００個の遺伝子発現プロファイルを含む独自データベースも、「疾患が遺伝子を制御」相互作用についてのデータを生成するために使用された。Ｇｅｎｅ  Ｅｘｐｒｅｓｓｉｏｎ  Ｏｍｎｉｂｕｓ  Ｄａｔａｂａｓｅ（https://www.ncbi.nlm.nih.gov/geo/）からのデータがダウンロードされ、ＲライブラリＧＥＯｑｕｅｒｙおよびＬｉｍｍａを使用して処理された。各疾患発現プロファイルはＬｉｍｍａで正規化され、その後、疾患と正常症例との間の遺伝子倍数変化計算が行われた。独自の疾患遺伝子発現プロファイルもＺスコアに正規化された。
【００３９】
「疾患が遺伝子に関連（ｄｉｓｅａｓｅ−ａｓｓｏｃｉａｔｅｓ−ｇｅｎｅ）」相互作用はカテゴリ的である。この相互作用は、特定の疾患に関連付けられた遺伝子特異的変異に関する。一実装形態では、メンデル病に対応する遺伝子変異の関連性がＯＭＩＭデータベース（https://www.omim.org/）からダウンロードされた。特定のがんに対応する遺伝子変異の関連性は、ＣＯＳＭＩＣｄｂ（https://cancer.sanger.ac.uk/cosmic）およびＩｎｔｏｇｅｎデータベース（https://www.intogen.org/）からダウンロードされた。
【００４０】
「疾患が解剖構造に局在（ｄｉｓｅａｓｅ−ｌｏｃａｌｉｚｅｓ−ａｎａｔｏｍｙ）」相互作用はカテゴリ的である。この相互作用は、疾患と、疾患に罹患した対応するヒト組織との間の関連性に関する。一実装形態では、これらの関係は、Ｍｅｄｌｉｎｅ疾患−組織関連性（ヒンメルシュタイン（Ｈｉｍｍｅｌｓｔｅｉｎ）ＤＳ．２０１６）データベースからダウンロードされた。解剖学用語は、解剖学的構造オントロジー用語にマッピングされた（http://uberon.github.io，ムンガルら（Ｍｕｎｇａｌｌ  ｅｔ  ａｌ），２０１２）。
【００４１】
遺伝子中心の相互作用
図２に示されるように、「遺伝子」ノードは、３個のモダリティ内相互作用と、遺伝子ノードをネットワーク内の他のノードに接続する１０個のモダリティ間相互作用（そのうちの６個は、薬物および疾患中心の相互作用に関連して上述された）とを含む、１３個の異なる遺伝子中心の相互作用を含む。モダリティ内「遺伝子が遺伝子と相互作用（ｇｅｎｅ−ｉｎｔｅｒａｃｔｓ  ｗｉｔｈ−ｇｅｎｅ）」相互作用はカテゴリ的であり、例えば、ＳｔｒｉｎｇＤＢ（https://string-db.org/）、Ｈｕｍａｎ  Ｉｎｔｅｒａｃｔｉｏｎ  Ｄａｔａｂａｓｅ（http://interactome.dfci.harvard.edu/）、およびＨｕｍａｎ  Ｐｒｏｔｅｉｎ  Ｒｅｆｅｒｅｎｃｅ  Ｄａｔａｂａｓｅ（http://www.hprd.org）からダウンロードされた物理的なタンパク質−タンパク質相互作用に関する。
【００４２】
モダリティ内の「遺伝子が遺伝子を制御（ｇｅｎｅ−ｒｅｇｕｌａｔｅｓ−ｇｅｎｅ）」相互作用は、カテゴリ的特徴と数値的特徴の両方を使用して表現される。この相互作用は、特定の遺伝子のノックダウンまたは過剰発現に関する異なるがん細胞株にわたる正規化された遺伝子発現レベルに関する。一実装形態では、このデータはＣＭＡＰ−ＬＩＮＣＳ−Ｌ１０００からダウンロードされ、遺伝子発現値はＺスコアで正規化された。
【００４３】
モダリティ内の「遺伝子が遺伝子と共動（ｇｅｎｅ−ｃｏｖａｒｉｅｓ  ｗｉｔｈ−ｇｅｎｅ）」相互作用は、カテゴリ的および数値的特徴の両方を用いて表現される。この相互作用は、遺伝子間の進化的共変動のレートに関する。一実装形態では、この相互作用についてのデータは、プリエディグケイトら（Ｐｒｉｅｄｉｇｋｅｉｔ  ｅｔ  ａｌ），２０１５からダウンロードされた。この相互作用をネットワークに含めるための洞察は、一緒に共進化する傾向のある遺伝子が一般に類似の生物学的経路に関与し、したがって類似の疾患に関与し得るという観察から得られる。
【００４４】
「遺伝子が解剖構造において発現（ｇｅｎｅ−ｅｘｐｒｅｓｓｅｓ  ｉｎ−ａｎａｔｏｍｙ）」相互作用はカテゴリ的であり、特定のヒト組織型における遺伝子の発現レベルを含む。一実装形態では、この相互作用についてのデータは、ＴＩＳＳＵＥＳデータベース（https://tissues.jensenlab.org/）およびＧＴＥｘ  Ｐｏｒｔａｌ（https://www.gtexportal.org/）からダウンロードされた。ＴＩＳＳＵＥＳデータベースは、遺伝子発現、免疫組織化学、プロテオミクス、テキストマイニング実験からのデータを組み合わせているのに対し、ＧＴＥｘ  Ｐｏｒｔａｌは、複数のヒト組織から得られたＲＮＡ配列データを含んでいる。
【００４５】
「遺伝子が解剖構造によって制御（ｇｅｎｅ  ｒｅｇｕｌａｔｅｄ  ｂｙ  ａｎａｔｏｍｙ）」相互作用はカテゴリ的であり、特定の組織型における遺伝子制御情報（例えば、上方制御および下方制御）を含む。一実装形態では、この相互作用についてのデータは、成人に関してＢｇｅｅデータベース（https://bgee.org/）から、およびＧＴＥｘ  Ｐｏｒｔａｌから抽出された。
【００４６】
「遺伝子が経路に関与（ｇｅｎｅ−ｐａｒｔｉｃｉｐａｔｅｓ  ｉｎ−ｐａｔｈｗａｙ）」相互作用はカテゴリ的であり、遺伝子とそれらの対応する細胞経路との間の関連性に関する。一実装形態では、分子機能、細胞局在、および生物学的過程が遺伝子オントロジーコンソーシアム（Ｇｅｎｅ  Ｏｎｔｏｌｏｇｙ  Ｃｏｎｓｏｒｔｉｕｍ）（http://www.geneontology.org）からダウンロードされた。代謝およびシグナリング経路に対応する関連性は、ＫＥＧＧ（www.genome.jp/kegg/）、Ｒｅａｃｔｏｍｅ（https://reactome.org）、およびＷｉｋｉＰａｔｈｗａｙｓ（https://wikipathways.org/）から得られた。
【００４７】
図２の例示的異種ネットワークには６つのノードが示されているが、代替的に、追加（またはより少数）のノードを含む異種ネットワークが、いくつかの実施形態に従って１つまたは複数の統計モデルを使用して表現されてもよいことを理解されたい。例えば、いくつかの実施形態は、統計モデルによって、３つのノード「薬物」、「遺伝子」、および「疾患」、ならびにそれらの対応するモダリティ内およびモダリティ間リンクのみを含む異種ネットワークを表現することを対象とする。他の実施形態では、（例えば、電子健康記録からの）患者データを表現する少なくとも１つのノードを有する異種ネットワークが、統計モデルを使用して表現される。
【００４８】
いくつかの実施形態は、生物学的データの異種ネットワークからのすべてのドメインおよびモダリティを統合するマルチモーダル表現を対象とし、その例は図２に関連して上述されている。教師あり学習および限定された訓練データセットに依存するいくつかの従来のアプローチとは異なり、いくつかの実施形態は、訓練のために大きなペアのデータセットを必要としない自己教師あり学習技法を採用する。以下でより詳細に説明されるように、いくつかの実施形態では、統計モデルは、新たな薬物−疾患関連性を見出すために、遺伝子などのように、薬物と疾患との間の共有された接続を利用するように訓練される。
【００４９】
図３は、いくつかの実施形態による、自己教師あり学習技法を使用して訓練され得る統計モデルの高レベルアーキテクチャを概略的に示す。異種ネットワーク内の異なるモダリティに対応するノードのそれぞれは、アーキテクチャを通じて入力から出力への別個のパスとして表現される。「遺伝子」、「薬物」、および「疾患」モダリティのみが、図３のアーキテクチャに表現されている。しかしながら、図２の異種ネットワーク内の他のノードを含むがこれに限定されない他のモダリティも、図３に示されるモデル・アーキテクチャに含まれ得ることを理解されたい。
【００５０】
図示されるように、図３のアーキテクチャは、複数のエンコーダ／デコーダ・ペアを含み、そのそれぞれは、ユニモーダル・エンコーダ／デコーダ・ペアのパラメータの値を訓練するために自己教師あり学習技法を採用するように構成される。アーキテクチャに含まれるエンコーダ／デコーダ・ペアの数は、異種ネットワークに含まれるモダリティまたはノードの数に依存する。エンコーダ／デコーダのペアは、以下により詳細に説明されるように、共通潜在空間（本明細書では、共同モダリティ表現または共同マルチモーダル表現とも呼ばれる）を使用して結合されて、各ネットワーク・ノードおよびその対応するネットワーク・リンクの共同表現を学習することができるマルチモーダル統計モデルを形成する。
【００５１】
図３に示すように、各エンコーダ／デコーダ・ペアについて、アーキテクチャは、カテゴリ入力データの変換である連続値のベクトルである複数の埋め込み表現を含む。各エンコーダ／デコーダ・ペアにおけるエンコーダおよびデコーダは、共同モダリティ表現を介して結合され、これは、異種ネットワーク内の接続されたネットワーク・ノードの共同表現ベクトルを含む。結合モダリティ表現におけるベクトルの数は、結合モダリティ表現がＮ×Ｄ行列として表現され得るように、ネットワークにおける相互作用の数と等しく、ここで、Ｎはネットワークにおける相互作用の数であり、Ｄは各共同表現ベクトルの長さである。いくつかの実施形態では、Ｎ＞１×１０６である。ネットワークにおけるデータの間の相互作用に関する情報は、結合モダリティ表現でエンコードされる。相互作用は、任意の適切な方法でエンコードされ得る。いくつかの実施形態では、入力ペアにおけるデータの間の特定の相互作用を表現する埋め込み相互作用ベクトルが作成され、共通潜在空間における対応する共同表現ベクトルに連結され得る。他の実施形態では、埋め込み相互作用ベクトルを共同表現ベクトルに連結するのではなく、埋め込み相互作用ベクトルは、共同表現ベクトルが作成される２つのエンコーダからの出力に連結されてよい。さらに他の実施形態では、相互作用情報は、特定の相互作用を有する特定の入力データが提供された２つのエンコーダの出力から形成される共同表現ベクトルによって本質的にエンコードされ得る。
【００５２】
以下により詳細に説明されるように、モダリティ内（例えば、遺伝子−遺伝子）相互作用に関して、エンコーダ／デコーダ・ペアのそれぞれは、自己教師あり学習技法と、異種ネットワーク内のノードに関連付けられたモダリティ内の入力データのペアと、データのペアの間の相互作用を記述する相互作用情報とを使用して訓練される。モダリティ間（例えば、遺伝子−薬物）相互作用に関しては、２つのエンコーダ／デコーダ・ペアは、自己教師あり学習技法と、２つのモダリティにわたる入力データのペアと、異なるモダリティからの入力データの間の相互作用を記述する相互作用情報とを使用して訓練される。相互作用がカテゴリ的特徴と数値的特徴の両方を含む場合、数値的特徴は、例えば、埋め込み相互作用ベクトルおよび／または共同表現ベクトルの全部もしくは一部に、数値的特徴で表現される相互作用の強さまたは程度に対応する値を乗算することによって考慮に入れられ得る。
【００５３】
図４は、いくつかの実施形態による、図３に示されるアーキテクチャを有するマルチモーダル統計モデルを訓練するためのプロセス４００を示す。動作４１０では、（例えば、表１のような１つまたは複数の公開または独自データ・ソースから抽出される）訓練データが、エンコーダへの入力として提供される埋め込みベクトルに変換される。データ埋め込みの間、関連するカテゴリ変数が、それらの間の関係を捕捉する実数の密なベクトルによって表現される。埋め込みベクトルは、連続数値空間における各変数を表現する。埋め込みベクトルの作成については図５に関連して詳細に説明される。
【００５４】
次いで、工程４００は動作４１２に進み、ここで、埋め込みベクトルは、共同モダリティ表現空間内にエンコードされた出力ベクトルを提供するためにモダリティ固有エンコーダへの入力として提供される。次いで、工程４００は動作４１４に進み、ここで、共同表現ベクトルは、２つのエンコーダから出力されたエンコードされた出力ベクトルに少なくとも部分的に基づいて計算される。共同表現ベクトルは、上述されたように、埋め込み相互作用ベクトルのような入力データ間の相互作用を記述する情報に少なくとも部分的に基づいて追加的に計算されてよい。次いで、工程４４０は動作４１６に進み、ここで、共同表現ベクトルは、デコードされた出力ベクトルを生成するためにモダリティ固有のデコーダへの入力として提供される。次いで、工程４００は動作４１８に進み、ここで、エンコーダおよびデコーダ内の重みは、デコードされた出力ベクトルと、モダリティ固有エンコーダへの入力として提供される埋め込みベクトルとの比較に少なくとも部分的に基づいて更新される。例えば、自己教師あり学習技法は、訓練中にエンコーダおよびデコーダにおけるパラメータ（例えば、重み）の値を更新するために使用される。工程４００で説明される動作のそれぞれが以下により詳細に説明される。
【００５５】
図５は、いくつかの実施形態によるカテゴリ的特徴を使用して異種ネットワーク内のノードに関連付けられた入力データについての埋め込みベクトルを生成するための工程を示す。入力次元Ｖは、モダリティにおけるデータの語彙のサイズに対応して各モダリティについて定義される。図５に示される例では、モダリティは「遺伝子」であり、語彙Ｖのサイズは２０，０００であり、入力データセットに２０，０００個の遺伝子があることを示す。モダリティの各要素は、長さＶのワンホット・ベクトル５１０によって「表現」され、ｉ番目の要素は１の値を有し、ベクトルにおける他のすべての要素は０に設定される。例えば、入力データ要素「遺伝子Ａ」をエンコードするために、ワンホット・ベクトル５１０における位置１５３の値は１に設定される一方、ベクトルにおける他のすべての値は０に設定される。モダリティについての入力データセット内の要素のそれぞれ（例えば、図５の例では２０，０００個の遺伝子のそれぞれ）について、別個のワンホット・ベクトルが作成される。次いで、ワンホット・ベクトル５１０は、バイナリ値ではなく入力変数の連続数値表現を含むサイズ１×Ｅのより低次元の埋め込み空間に投影される。図５に示される例では、Ｅ＝１０であるが、Ｅは、他の任意の適切な値に設定されてよく、実施形態はこれに関して限定されないことを理解されたい。
【００５６】
いくつかの実施形態では、データ埋め込みは、各モダリティ要素に対応するワンホット・ベクトルを次元Ｖ×Ｅの埋め込み行列５２０で変換して、複数の埋め込みベクトル５３０を生成することによって達成され、そのそれぞれは、入力データ要素のうちの異なる１つ（例えば、図５の例における遺伝子Ａ）に対応する。いくつかの実施形態では、埋め込み行列５２０の値は、−１／Ｖおよび＋１／Ｖの範囲の一様分布からランダムに初期化される。統計モデルの訓練中、埋め込み行列５２０のパラメータの値は固定されたままであってよく、あるいは訓練工程の一部として更新されてもよい。訓練中に行列５２０を埋め込むためのパラメータ値を更新することによって、異種ネットワーク内の接続されたノードについての埋め込みベクトル５３０は、接続されていないノードよりも埋め込み表現空間内でより近いことが期待される。
【００５７】
いくつかの実施形態では、異種ネットワーク内のノードの間のネットワーク・リンクも、上述のように同様の埋め込み手順を使用して埋め込まれるが、埋め込みベクトル５３０の次元と比較して、より低い埋め込み次元（例えば、１×５）を有し得る。図６は、いくつかの実施形態において、ネットワーク・リンクがどのようにエンコードされ得るかの一例を概略的に示す。特に、図６は、図５に関連して説明されたデータ埋め込みアーキテクチャの出力として生成された埋め込みベクトル５３０が、エンコーダ６０２を使用して共通潜在空間６５０にどのように投影されるかを示す。共通潜在空間６５０は、本明細書では共同モダリティ表現とも呼ばれる。図示されるように、エンコーダ６０２は、各埋め込みベクトル５３０を共通潜在空間６５０内の高次元潜在表現ベクトル６０４にマッピングする。図６の例では、エンコーダ６０２は、埋め込みベクトルのそれぞれを１×１０の次元から共通潜在空間６５０内の１×９５の次元にマッピングする。しかしながら、エンコーダ６０２の出力次元は任意の適切な値を取り得ることを理解されたい。エンコーダ６０２のための例示的アーキテクチャが図７に関連して以下により詳細に説明される。
【００５８】
図６はまた、いくつかの実施形態に従ってネットワーク・リンクに関する情報が共通潜在空間６５０に投影されることを示す。図５に従って説明されたものと同様の埋め込み工程において、異種ネットワークにおけるネットワーク・リンクに関する情報は、ネットワーク内の特定のノードの各ネットワーク・リンク要素に対応するワンホット・ベクトル６１０を作成することによって埋め込まれてよい。図６は、図２に示される異種ネットワーク内の「遺伝子」ノードについてのネットワーク・リンクを埋め込む例を示している。ワンホット・ベクトル６１０は、９つの要素を含み、そのそれぞれは、図２の「遺伝子」ノードに関連付けられた９つのタイプのモダリティ内またはモダリティ間ネットワーク・リンクの１つを表現する。図示されるように、５番目の要素が１に設定され他の要素のすべてが０に設定されたワンホット・ベクトルが、例えば、「遺伝子が遺伝子と相互作用」ネットワーク・リンクに対応する「相互作用」リンクを埋め込むために使用され得る。ワンホット・ベクトル６１０の次元Ｉは、ネットワーク内の各ノードに関連付けられたネットワーク・リンクのタイプの数に基づく。
【００５９】
ワンホット・ベクトルのそれぞれは、次元Ｉ×Ｆの埋め込み行列６２０を使用してマッピングされて、複数の埋め込み相互作用ベクトル６３０を生成してよく、そのそれぞれは入力データ要素の１つに対応する。上述のように、いくつかの実施形態では、Ｆ＜Ｅであり、したがって、埋め込み相互作用ベクトル６３０の次元が埋め込みベクトル５３０の次元よりも小さい。いくつかの実施形態では、埋め込み行列６２０の値は、−１／Ｉおよび＋１／Ｉの範囲の一様分布からランダムに初期化される。統計モデルの訓練中、埋め込み行列６２０のパラメータの値は固定されたままであってよく、あるいは訓練工程の一部として更新されてもよい。図６の例示的アーキテクチャでは、ネットワーク・リンクに関する情報は、潜在表現ベクトル６０４と、ネットワーク・リンク埋め込み工程から出力される埋め込み相互作用ベクトル６３４とを連結することによって、共通潜在空間６５０において表現され、共通潜在空間６５０における連結されたベクトルは、モダリティ固有データとモダリティ固有データに関するネットワーク・リンク情報との両方を表現する。
【００６０】
上述のように、いくつかの実施形態は、ネットワークに含まれる各モダリティまたはノードについてのエンコーダ／デコーダのペアを使用して自己教師あり学習技法を採用する。自己教師あり学習技法では、Ｘと出力Ｘ’との間の再構成誤差に基づいて入力Ｘを学習または再現するようにディープ・ニューラル・ネットワークが訓練される。エンコーダのパラメータを訓練することにより、エンコーダは入力ベクトルのより高レベルの表現を再構成することが可能になり、一方、デコーダを訓練することにより、デコーダはより高レベルの表現から入力ベクトルを回復することが可能になる。
【００６１】
図６のアーキテクチャに関連して説明されるように、エンコーダの入力は、各モダリティの各変数または要素についてのネットワーク・ノードの埋め込みベクトル５３０である。エンコーダは、各埋め込みベクトルを、より高次元の潜在表現６０４にマッピングする。いくつかの実施形態では、エンコーダは、
Ｚ＝α（ＷｅＸ＋ｂｅ）    （式１）
によって特徴付けられることが可能であり、
ここで、Ｘは埋め込み入力ベクトル５３０であり、Ｚは出力ベクトルまたは潜在表現６０４であり、Ｗｅおよびｂｅはそれぞれ線形重みおよびバイアスを表現し、αは活性化関数である。いくつかの実施形態では、活性化関数は、非線形活性化関数、例えば、正規化線形ユニット（ＲｅＬＵ）、指数関数的線形ユニット（ＥＬＵ）、または漏洩ＲｅＬｕ活性化関数である。
【００６２】
図７は、いくつかの実施形態に従って使用され得るエンコーダ６２０のための例示的アーキテクチャを示す。図７に示される例では、エンコーダ６２０は、１つの隠れ層を有する完全に接続されたニューラル・ネットワークとして実装され、次元は、１０（入力層）−＞５０（隠れ層）−＞９５（出力層）である。エンコーダ６２０の出力層は、共通潜在空間６５０における共同表現ベクトルである。
【００６３】
各エンコーダ／デコーダ・ペアのデコーダ部分は、異種ネットワーク内の２つの相互作用ノード（Ｚ）の潜在表現または共同表現を、入力変数または個々のネットワーク・ノード（Ｘ’）の埋め込み表現ベクトルにマッピングするように構成される。いくつかの実施形態では、デコーダは、
Ｘ’＝α（ＷｄＺ＋ｂｄ）    （式２）
によって特徴付けられることが可能であり、
ここで、Ｗｄおよびｂｄはそれぞれ線形重みおよびバイアスを表現し、αは活性化関数である。いくつかの実施形態では、活性化関数は、非線形活性化関数、例えば、正規化線形ユニット（ＲｅＬＵ）、指数関数的線形ユニット（ＥＬＵ）、または漏洩ＲｅＬｕ活性化関数である。
【００６４】
図７はまた、いくつかの実施形態に従って使用され得るデコーダ７２０のための例示的アーキテクチャを示す。図７に示される例では、デコーダ６２０は、１つの隠れ層を有する完全に接続されたニューラル・ネットワークとして実装され、次元は、１００（入力層）−＞５０（隠れ層）−＞１０（出力層）である。デコーダ７２０の出力層は、エンコーダ６２０への入力として提供される埋め込みベクトルＸと同じ次元を有するデコードされたベクトルＸ’である。
【００６５】
生物学的データの異種ネットワークを表現するために使用され得るマルチモーダル統計モデルのコンポーネントのための一般的アーキテクチャを説明したが、以下では、ネットワークのノードにおけるデータの間の関連性を学習するようにマルチモーダル統計モデルを訓練する例を提供する。
【００６６】
図８は、いくつかの実施形態による、マルチモーダル統計モデルを訓練するための工程８００のフローチャートを示す。使用される特定の訓練技法は、モデルで表現される異種ネットワークのノードにおけるデータの間の相互作用のタイプに依存し得る。動作８１０では、モダリティ固有の埋め込みベクトルが上述のデータ埋め込み工程を使用して作成される。また、共通潜在空間における連結のための埋め込み相互作用ベクトルを作成する実施形態では、そのような埋め込み相互作用ベクトルは、本明細書に記載される埋め込み技法を使用して動作８１０において作成されてもよい。
【００６７】
次いで、工程８００は動作８１２に進み、ここで、マルチモーダル統計モデルは、モダリティ内相互作用を少なくとも１つ含む異種ネットワーク内の各ノードについてのモダリティ内相互作用を学習するように訓練される。例えば、図２に示される異種ネットワークでは、「遺伝子」および「薬物」ノードのみがモダリティ内リンクと関連付けられている。したがって、これらのノードのそれぞれについて、マルチモーダル統計モデルは、ノードの対応するモダリティ内ネットワーク・リンクを学習するように別々に訓練されてもよい。モダリティ内ネットワーク・リンクを学習するためにマルチモーダル統計モデルを訓練する例は、図９に関連して以下により詳細に説明される。いくつかの異種ネットワークはモダリティ内リンクに関連付けられたノードを含まなくてもよく、そのようなネットワークでは動作８１２におけるモダリティ内リンクを訓練することが省略されてよいことを理解されたい。
【００６８】
次いで、工程８００は動作８１４に進み、ここで、マルチモーダル統計モデルは、異種ネットワーク内の異なる接続されたノードにおけるデータの間の関係を記述するモダリティ間相互作用を学習するように訓練される。上述のように、異種ネットワーク内のノードのそれぞれは、１つまたは複数のモダリティ間ネットワーク・リンクを介してネットワーク内の少なくとも１つの他のノードに接続される。これらのネットワーク・リンクのそれぞれに関して、動作８１４における訓練は、マルチモーダル統計モデルが異種ネットワーク内のすべてのネットワーク・リンクに対して訓練されるまで繰り返される。モダリティ間リンクを学習するようにマルチモーダル統計モデルを訓練する例は、図１０Ａ〜図１０Ｃに関連して以下により詳細に説明される。動作８１４は動作８１２の後に示されているが、モダリティ内リンクおよびモダリティ間リンクの訓練は、任意の適切な順序で異種ネットワークのノードに対して行われ得ることが理解されるべきであり、任意の適切な順序は、以下に限定されないが、モダリティ間リンクに対して訓練する前にすべてのモダリティ内リンクに対して訓練すること、モダリティ内リンクに対して訓練する前にすべてのモダリティ間リンクに対して訓練すること、ならびにモダリティ内リンクおよびモダリティ間リンクの訓練を散在させることを含む。
【００６９】
次いで、工程８００は動作８１６に進み、訓練中に推定された訓練された統計モデルのパラメータが、予測タスクを実行する際に使用するために記憶される。動作８１６は動作８１２および８１４の後に示されているが、ある訓練反復で決定された推定パラメータが、後続の訓練反復のためのモデルのパラメータの少なくともいくつかを初期化するために使用されるように、訓練された統計モデルの推定パラメータを動作８１２または８１４における１つまたは複数の訓練反復の後に記憶してもよいことを理解されたい。例として、最初の訓練反復は、「遺伝子が遺伝子と相互作用」ネットワーク・リンクを訓練することに焦点を当ててよく、訓練の結果は、このモダリティ内相互作用を反映する推定されたパラメータを有する遺伝子エンコーダおよび遺伝子デコーダである。遺伝子エンコーダおよび遺伝子デコーダの推定されたパラメータは、「薬物が遺伝子に結合」ネットワーク・リンクの訓練に焦点を当てた後続の訓練反復のためのモデル・パラメータを初期化するために記憶されかつ使用され得る。後続の訓練相互作用の間に、遺伝子エンコーダ／デコーダの推定されたパラメータは、以前に記憶された値からさらに精緻化されて、モダリティ間訓練に関連付けられた関連性を反映する。１回の訓練反復から次の訓練反復までの推定モデル・パラメータの伝播の例が以下により詳細に説明される。
【００７０】
図９は、いくつかの実施形態による、ネットワーク・リンク「遺伝子が遺伝子と相互作用」を学習するようにマルチモーダル統計モデルを訓練するための工程を概略的に示す。図９に示されるように、２つの遺伝子エンコーダ／デコーダ・ペアが同時に訓練されるのが示されている。例示のために２つの別個のネットワークとして示されているが、図９に示される遺伝子エンコーダ・ペアおよび遺伝子デコーダ・ペアの各々は、図７に例示されているような単一のネットワーク構造に対応することに留意されたい。遺伝子エンコーダおよび遺伝子デコーダ用の単一のネットワーク構造は、本明細書に記載の自己教師あり学習技法を使用して訓練中に推定および更新されるパラメータ（例えば、ネットワーク重み）を含む。
【００７１】
図示されるように、エンコーダの出力とデコーダの入力との結合は、マルチモーダル統計モデルが訓練されるモダリティ内ネットワーク・リンクを表現する共同表現である。図９は、例えば、表１に列挙されたデータ・ソースの少なくとも１つから供給されたデータに基づいて、第１の遺伝子ＲＰＴＯＲと第２の遺伝子ＭＴＯＲとの間の相互作用をエンコードするネットワーク・リンクの訓練を示す。ＲＰＴＯＲおよびＭＴＯＲ遺伝子のそれぞれは、上述のデータ埋め込み技法を使用して、埋め込みベクトル（例えば、次元１×１０を有する）としてモデルにおいて表現される。任意選択で、遺伝子−遺伝子ペアについて訓練されるネットワーク・リンク（図９の例では「相互作用」）も、上述されたように埋め込まれた相互作用ベクトル（例えば、次元１×５を有する）として表現される。
【００７２】
ＲＰＴＯＲおよびＭＴＯＲについての埋め込みベクトルは、遺伝子エンコーダのインスタンスへの入力として提供され、それが、各遺伝子についての埋め込みベクトル表現を、共通潜在空間における対応するモダリティ内表現ベクトル（例えば、次元１×９５を有する）にエンコードする。ネットワーク・リンクが埋め込み相互作用ベクトルとしても表現される実施形態において、「接続された」入力データ（すなわち、図９の遺伝子ＲＰＴＯＲおよびＭＴＯＲに関するデータ）についてのモダリティ内表現ベクトルは、図示されるように、共通潜在空間における埋め込み相互作用ベクトルと連結されてよく、その結果、２つの連結されたベクトル（例えば、次元１×１００を有する）が得られる。
【００７３】
接続された入力データおよび接続を特徴付けるネットワーク・リンクを表現する共同表現ベクトルは、共通潜在空間における（任意選択でネットワーク・リンク情報と連結される）２つのモダリティ内表現ベクトルに基づいて計算される。例えば、いくつかの実施形態では、共同表現ベクトルは、共通潜在空間における２つのモダリティ内表現ベクトルの平均または積を計算することによって算出される。この実装形態では、共同表現ベクトルは、連結されたベクトルと同じ次元（すなわち、図９の例では１×１００）を有する。共同表現ベクトルを計算するための図９に示される手順の代わりとして、共同表現ベクトルは、いくつかの実施形態では、ネットワーク・リンクを記述する埋め込み相互作用ベクトルと連結する前に、２つのモダリティ内表現ベクトルの組み合わせ（例えば、平均化または積を使用する）に基づいて計算されてよく、埋め込み相互作用ベクトルは、その作成後に共同表現ベクトルと連結されてよい。そのようなシナリオでは、共同表現ベクトルは、最初に、個別のモダリティ内表現ベクトルと同じ次元（例えば、１×９５）を有してよく、結合後に、共同表現ベクトルの最終次元はより大きくなる（例えば、１×１００）。
【００７４】
図９における訓練工程は、遺伝子デコーダ（例示のために２つの遺伝子デコーダとして図９に示される）への入力として、共同表現ベクトル（例えば、次元１×１００を有する）を提供することによって進行し、遺伝子デコーダは、入力遺伝子ＲＰＴＯＲおよびＭＴＯＲのそれぞれについて、デコードされたベクトル（例えば、次元１×１０を有する）を出力するように構成される。デコーダから出力されたデコードされたベクトルと、エンコーダへの入力として提供された埋め込み入力ベクトルとの間のずれが測定され、統計モデルにおける重みを更新するために使用され、したがって、モデルは、自己教師ありの方法でデータ間の関連性を学習することになる。いくつかの実施形態では、自己教師あり学習技法は、負のサンプリング損失関数を使用して実施され、負のサンプリング損失関数から決定された誤差が、エンコーダおよびデコーダ（ならびに任意選択で、データ埋め込みに使用される埋め込み行列）を介して逆伝搬されて、モデルのこれらの構成要素のそれぞれのパラメータ（例えば、重み）の推定値を更新する。
【００７５】
負のサンプリング損失関数は、エンコーダ／デコーダ・ペアが以下の関係に従ってランダム・ネットワーク接続から実数を分離するように強制する。
【００７６】
【数１】
2021526259.tif 000004
ここで、ｗとｃは接続されたネットワーク・ノードを表し、ｗｉは関係のないネットワーク・ノードを表す。
【００７７】
エンコードされているネットワーク・リンクがモダリティ内ネットワーク・リンクである場合、図９の例のように、単一のモダリティ・エンコーダ表現のパラメータの推定値をどのように更新するかを決定するとき、両方の入力／出力ペアに基づいて決定された誤差が考慮される。言い換えれば、図９に示された両方の遺伝子エンコーダ／デコーダ・インスタンスのパラメータが、各逆伝播サイクルについて同じ方法で更新されることになる。
【００７８】
簡単に上述したように、いくつかの実施形態では、まず、モダリティ内ネットワーク・リンクを学習するように統計モデルを訓練し、その後、モダリティ間ネットワーク・リンクで訓練をする。以前の訓練反復で既にエンコードされたネットワーク・ノードの場合、ネットワーク構成要素（例えば、エンコーダ、デコーダ、埋め込み行列）の予め訓練された表現に関して記憶されたパラメータが、異なる入力を使用する後続の訓練反復で使用され得る。
【００７９】
図１０Ａは、いくつかの実施形態による、異種ネットワークに関するモダリティ間相互作用を学習するようにマルチモーダル統計モデルを訓練するための例を示す。特に、図１０Ａは、図２に示されている異種ネットワークにおける「薬物が遺伝子に結合」ネットワーク・リンクを学習するために統計モデルがどのように訓練され得るかを示す。図１０Ａに概説された訓練工程は、モダリティ内ネットワーク相互作用を訓練するために図９に説明されたものと同様であり、主な違いは、入力および訓練のために使用されるエンコーダ／デコーダである。簡単に述べると、埋め込みベクトルは、異種ネットワーク内の異なるノードに対応する異なるモダリティ（図１０Ａの例では薬物および遺伝子）からの特定のデータ・ペアについて作成される。埋め込みベクトルは、ワンホット・ベクトルおよび対応する埋め込み行列を使用して上述されたデータ埋め込み工程を用いて作成される。図１０Ａに示される例では、薬物ＬＡＭ−００２について第１の埋め込みベクトルが作成され、遺伝子ＰＩＫＦＹＶＥについて第２の埋め込みベクトルが作成される。埋め込みベクトルは、それぞれ薬物および遺伝子エンコーダへの入力として提供され、それぞれの埋め込みベクトルは、共通潜在表現空間における高次元モダリティ固有潜在表現にマッピングされる。薬物および遺伝子エンコーダのアーキテクチャは、図７に関連して上述されたものと同様であってよい。いくつかの実施形態では、エンコーダ／デコーダ・アーキテクチャは、例えば、異なる数の隠れ層および／または異なる次元を有する層を備えることによって、異なるモダリティに対して異なるアーキテクチャを有してよく、出力表現は、各エンコーダ／デコーダについて同じ次元（例えば、１×９５）を有する。他の実施形態では、エンコーダ／デコーダのアーキテクチャは、統計モデルで表現されるデータの各モダリティに対して同一であり、エンコーダ／デコーダの間の差異は、ネットワークで表現される重みに反映される。
【００８０】
簡単に上述したように、エンコーダ／デコーダ・ペアの一方または両方は、少なくとも１つの先行の訓練反復に基づいて初期化されるパラメータ値に関連付けられ得る。例えば、図９に示されるような遺伝子エンコーダ／デコーダのモダリティ内訓練が、図１０Ａに示されるような薬物および遺伝子エンコーダ／デコーダのモダリティ間訓練の前に行われたシナリオにおいて、図９における訓練から得られる予め訓練された遺伝子エンコーダ／デコーダ・ペアは、図１０Ａのアーキテクチャにおける遺伝子エンコーダ／デコーダ・ペアのパラメータを初期化するために使用され得る。このように、各モダリティに対するエンコーダ／デコーダ・ペアは、新たなデータ・ペアおよびネットワーク相互作用がマルチモーダル統計モデルへの入力として提供されると、引き続き訓練される。
【００８１】
図１０Ａに示されるように、エンコーダから出力されたモダリティ固有潜在表現は、入力データ間の特定のモダリティ間ネットワーク・リンク（図１０Ａの例では「結合」）を表現する埋め込み相互作用ベクトルに連結され得る。共通潜在表現にネットワーク・リンク情報を組み込むために連結が使用される実施形態では、モダリティ固有潜在表現を生成するときに連結が発生してよく、またはモダリティ固有潜在表現が共同表現を作成するために組み合わされた後に連結が発生してもよい。モダリティ固有潜在表現は、例えば、薬物ＬＡＭ−００２と遺伝子ＰＩＫＦＹＶＥの入力データ・ペアについての「薬物が遺伝子に結合」ネットワーク相互作用を表現する共同表現ベクトルを計算するために、２つの潜在表現の平均または積をとることによって組み合わされてよい。訓練を続けると、共同表現は、薬物デコーダと遺伝子デコーダの両方への入力として提供され、デコードされた出力ベクトル（例えば、次元１×１０を有する）が生成され、エンコーダおよびデコーダ（および任意選択で埋め込み行列）のパラメータが、デコードされた出力ベクトルとエンコーダへの入力として提供された埋め込みベクトルとの比較に基づいて更新される。いくつかの実施形態による逆伝搬を使用して重みが更新され得る方法の例は上述されている。
【００８２】
図１０Ｂは、いくつかの実施形態による異種ネットワークに関するモダリティ間相互作用を学習するようにマルチモーダル統計モデルを訓練するための別の例を示す。特に、図１０Ｂは、図２に示されている異種ネットワークにおける「疾患が遺伝子に関連」ネットワーク・リンクを学習するために統計モデルがどのように訓練され得るかを示す。図１０Ｂに概説された訓練工程は、図１０Ａに説明されたものと同様であり、主な違いは、入力および訓練のために使用されるエンコーダ／デコーダである。簡単に述べると、埋め込みベクトルは、異種ネットワーク内の異なるノードに対応する異なるモダリティ（図１０Ｂの例では遺伝子および疾患）からの特定のデータ・ペアについて作成される。埋め込みベクトルは、ワンホット・ベクトルおよび対応する埋め込み行列を使用して上述されたデータ埋め込み工程を用いて作成される。図１０Ｂに示される例では、遺伝子ＢＣＬ６について第１の埋め込みベクトルが作成され、疾患のリンパ腫について第２の埋め込みベクトルが作成される。埋め込みベクトルは、それぞれ遺伝子および疾患エンコーダへの入力として提供され、それぞれの埋め込みベクトルは、共通潜在表現空間における高次元モダリティ固有潜在表現にマッピングされる。
【００８３】
エンコーダ／デコーダ・ペアの一方または両方は、少なくとも１つの先行の訓練反復に基づいて初期化されるパラメータ値に関連付けられ得る。例えば、図１０Ａに示されるような遺伝子エンコーダ／デコーダのモダリティ間訓練が、図１０Ｂにおける遺伝子および疾患エンコーダ／デコーダのモダリティ間訓練の前に行われたシナリオにおいて、図１０Ａにおける訓練から得られる予め訓練された遺伝子エンコーダは、図１０Ｂのアーキテクチャにおける遺伝子エンコーダおよびデコーダのパラメータを初期化するために使用され得る。このように、各モダリティに対するエンコーダ／デコーダ・ペアは、新たなデータ・ペアおよびネットワーク相互作用がマルチモーダル統計モデルへの入力として提供されると、引き続き訓練される。
【００８４】
図１０Ｂに示されるように、エンコーダから出力されたモダリティ固有潜在表現は、入力データ間の特定のモダリティ間ネットワーク・リンク（図１０Ｂの例では「関連」）を表現する埋め込み相互作用ベクトルに連結され得る。共通潜在表現にネットワーク・リンク情報を組み込むために連結が使用される実施形態では、モダリティ固有潜在表現を生成するときに連結が発生してよく、またはモダリティ固有潜在表現が共同表現を作成するために組み合わされた後に連結が生じてもよい。モダリティ固有潜在表現は、例えば、遺伝子ＢＣＬ６と疾患のリンパ腫の入力データ・ペアについての「疾患が遺伝子に関連」ネットワーク相互作用を表現する共同表現ベクトルを計算するために、２つの表現の平均または積をとることによって組み合わされてよい。訓練を続けると、共同表現は、遺伝子デコーダと疾患デコーダの両方への入力として提供され、デコードされた出力ベクトル（例えば、次元１×１０を有する）が生成され、エンコーダおよびデコーダ（および任意選択で埋め込み行列）のパラメータが、デコードされた出力ベクトルとエンコーダへの入力として提供された埋め込みベクトルとの比較に基づいて更新される。いくつかの実施形態による逆伝搬を使用して重みが更新され得る方法の例は上述されている。
【００８５】
図１０Ｃは、いくつかの実施形態による異種ネットワークに関するモダリティ間相互作用を学習するようにマルチモーダル統計モデルを訓練するための別の例を示す。特に、図１０Ｃは、図２に示されている異種ネットワークにおける「薬物が疾患を治療」ネットワーク・リンクを学習するために統計モデルがどのように訓練され得るかを示す。図１０Ｃに概説された訓練工程は、図１０Ａおよび図１０Ｂに説明されたものと同様であり、主な違いは、入力および訓練のために使用されるエンコーダ／デコーダである。簡単に述べると、埋め込みベクトルは、異種ネットワーク内の異なるノードに対応する異なるモダリティ（図１０Ｃの例では薬物および疾患）からの特定のデータ・ペアについて作成される。埋め込みベクトルは、ワンホット・ベクトルおよび対応する埋め込み行列を使用して上述されたデータ埋め込み工程を用いて作成される。図１０Ｃに示される例では、薬物ＬＡＭ−００２について第１の埋め込みベクトルが作成され、疾患のリンパ腫について第２の埋め込みベクトルが作成される。埋め込みベクトルは、それぞれ薬物および疾患エンコーダへの入力として提供され、それぞれの埋め込みベクトルは、共通潜在表現空間における高次元モダリティ固有潜在表現にマッピングされる。
【００８６】
エンコーダ／デコーダ・ペアの一方または両方は、少なくとも１つの先行の訓練反復に基づいて初期化されるパラメータ値に関連付けられ得る。例えば、図１０Ａに示されるような薬物エンコーダ／デコーダのモダリティ間訓練、および図１０Ｂに示されるような疾患エンコーダ／デコーダのモダリティ間訓練が、図１０Ｃに示されるモダリティ間訓練の前に行われたシナリオにおいて、図１０Ａにおける訓練から得られる予め訓練された薬物エンコーダ／デコーダ・ペアは、図１０Ｃのアーキテクチャにおける薬物エンコーダ／デコーダ・ペアのパラメータを初期化するために使用され得るとともに、図１０Ｂにおける訓練から得られる予め訓練された疾患エンコーダ／デコーダ・ペアは、図１０Ｃのアーキテクチャにおける疾患エンコーダ／デコーダ・ペアのパラメータを初期化するために使用され得る。このように、各モダリティに対するエンコーダ／デコーダ・ペアは、新たなデータ・ペアおよびネットワーク相互作用がマルチモーダル統計モデルへの入力として提供されると、引き続き訓練される。
【００８７】
図１０Ｃに示されるように、エンコーダから出力されたモダリティ固有潜在表現は、入力データ間の特定のモダリティ間ネットワーク・リンク（図１０Ｃの例では「治療」）を表現する埋め込み相互作用ベクトルに連結され得る。共通潜在表現にネットワーク・リンク情報を組み込むために連結が使用される実施形態では、モダリティ固有潜在表現を生成するときに連結が発生してよく、またはモダリティ固有潜在表現が共同表現ベクトルを作成するために組み合わされた後に連結が生じてもよい。モダリティ固有潜在表現は、例えば、薬物ＬＡＭ−００２と疾患のリンパ腫の入力データ・ペアについての「薬物が疾患を治療」ネットワーク相互作用を表現する共同表現ベクトルを計算するために、２つの表現の平均または積をとることによって組み合わされてよい。訓練を続けると、共同表現ベクトルは、薬物デコーダと疾患デコーダの両方への入力として提供され、デコードされた出力ベクトル（例えば、次元１×１０を有する）が生成され、エンコーダおよびデコーダ（および任意選択で埋め込み行列）のパラメータが、デコードされた出力ベクトルとエンコーダへの入力として提供された埋め込みベクトルとの比較に基づいて更新される。いくつかの実施形態による逆伝搬を使用して重みが更新され得る方法の例は上述されている。
【００８８】
図９および図１０Ａ〜図１０Ｃで上述した例のすべては、図２の異種ネットワークにおけるカテゴリ的のみのネットワーク相互作用を学習するために統計モデルを訓練することに関する。上記に説明されたように、いくつかのネットワーク相互作用は、カテゴリ的特徴と数値的特徴の両方によって表現されることがあり、数値的特徴は、ネットワーク内のまたはネットワークにおけるノード内またはノード間のデータの間の相互作用の強さを表現する。カテゴリ的および数値的の両方のネットワーク・リンクを学習するようにマルチモーダル統計モードを訓練するために、数値的情報を使用して、共同モダリティ表現で表現される表現ベクトルをスケーリングし得る。例えば、共同表現ベクトルに連結された埋め込み相互作用ベクトルは数値的情報によってスケーリングされ得る。
【００８９】
マルチモーダル統計アーキテクチャの様々なパラメータ（例えば、ハイパーパラメータ）が、特定の実施のための最適化に基づいて修正され得る。そのようなパラメータには、埋め込み次元（例えば、１×１０）、共同表現次元（例えば、１×１００）、エンコーダおよびデコーダの隠れ層の次元（例えば、１×５０）、エンコーダおよびデコーダの隠れ層の数（例えば、１）、エンコーダおよびデコーダの活性化関数、ならびに学習率が含まれるが、これらに限定されない。
【００９０】
図３に関連して説明されたように、いったん訓練されたマルチモーダル統計モデルの全体的アーキテクチャは、複数の訓練されたモダリティ固有のエンコーダおよびデコーダと、訓練されたエンコーダを訓練されたデコーダに結合する共同モダリティ表現とを含む。図１１で概略的に示されるように、訓練されたマルチモーダル統計モデルは、予測のために使用される訓練されたエンコーダおよびデコーダの適切なペアの選択を通じて、第１のモダリティを有する入力データと異なるモダリティを有する出力との間の予測を行うために使用され得る。具体的には、図１１は、特定の薬物により治療可能であると見込まれる疾患について予測を行う、訓練されたマルチモーダル統計モデルの能力を示す。示されるように、予測は、訓練された薬物エンコーダおよび訓練された疾患デコーダを使用することによって部分的に行われる。訓練されたマルチモーダル統計ネットワークを使用して複数のタイプの予測を行うことが可能であり、予測のタイプには、所与の薬物の新たな疾患適応、所与の疾患または患者に対する候補薬物および併用療法、疾患に関連付けられたバイオマーカ、ならびに所与の薬物についての潜在的な遺伝子標的が含まれるが、これらに限定されない。そのような予測を行うことは、１つまたは２つのみのデータ・モダリティを考慮する生物学的データのモデリングのための従来の技法を用いることでは不可能である。
【００９１】
いくつかの実施形態は、訓練されたマルチモーダル統計モデルを使用する教師なし予測技法を対象とする。図１２は、第２のモダリティ（図１２の例では疾患）のためのデコーダを使用して、第１のモダリティ（図１２の例では薬物）の表現空間が第２のモダリティの表現空間上にマッピングされる、教師なし予測技法の例を示す。図１２に示される予測技法において、訓練された統計モデルへの入力として提供される所定の薬物について、候補疾患適応が予測される。訓練された薬物エンコーダは、共同モダリティ表現における対象薬物の潜在表現ベクトルを計算するために使用され、潜在表現ベクトルは、訓練された疾患デコーダへの入力として提供される。訓練された疾患デコーダの出力は、疾患表現空間内に投影される入力薬物の表現である。
【００９２】
入力薬物が疾患表現空間において特定の疾患にマッピングされるのではなく、図１３に概略的に示されるように、疾患デコーダの出力が疾患表現空間において点１３１０として投影され得る。図１３に示される疾患表現空間は、疾患データベースのサブセットのみを含む「疾患潜在空間」のｔ分布確率的近傍埋め込み（ｔ−ＳＮＥ：ｔ−Ｄｉｓｔｒｉｂｕｔｅｄ  Ｓｔｏｃｈａｓｔｉｃ  Ｎｅｉｇｈｂｏｒ  Ｅｍｂｅｄｄｉｎｇ）表現である。また、マルチモーダル統計モデルが訓練された疾患のそれぞれは、ｎ次元疾患表現空間における固有位置を有する。いくつかの実施形態では、新たな疾患の適応は、投影点１３１０と疾患表現空間における他の疾患の位置との間の距離に少なくとも部分的に基づいて予測される。例えば、薬物の新たな疾患適応は、投影点１３１０の最も近い近隣要素および疾患表現空間内で投影された候補疾患を見つけ出すことによって決定され得る。所与の薬物によって治療可能である可能性が最も高い候補疾患は、投影点１３１０と候補疾患の点との間の距離が小さい疾患を含み得る。例えば、図１３に示されるように、痛風、片頭痛、および多発性硬化症の疾患はそれぞれ、所与の入力薬物についての投影点１３１０に最も近い疾患表現空間内の点に関連付けられる。したがって、これらの疾患は、対象の薬物の新たな疾患標的として有効な候補となり得る。
【００９３】
いくつかの実施形態では、投影点１３１０に最も近い距離を有する疾患のみが出力予測として提供され得る。他の実施形態では、投影点１３１０に最も近い距離に関連付けられた疾病の「ｎ−ｂｅｓｔ」リストが出力予測として提供され得る。さらに他の実施形態では、疾患表現空間における投影点１３１０からの閾値未満の距離を有する疾患のみが出力され得る。病名に加えて他の情報を出力されてもよく、他の情報には、距離に基づく類似性スコアが含まれるが、これに限定されない。
【００９４】
ｎ次元表現空間における２点間の距離の任意の適切な尺度が使用されてよく、実施形態はこれに関して限定されない。予測のためのいくつかの実施形態に従って使用され得る距離測定の例には、ユークリッド距離、コサイン類似度、およびマンハッタン距離が含まれるが、これらに限定されない。共通表現空間における２つのベクトルの間のユークリッド距離の式は次のようになる。
【００９５】
【数２】
2021526259.tif 000005
図１４は、２つの異なるモダリティ（図１４の例では薬物および疾患）についての入力データが共同モダリティ表現空間に投影され、異なるモダリティからの共同表現ベクトル間の比較が行われ得る、別の教師なし予測技法の例を示す。図示されるように、図１４の予測技法では、第１のモダリティ（図１４の例では薬物）の入力データが第１のモダリティのための訓練されたエンコーダに提供される。第１モダリティのための訓練されたエンコーダの出力は、共通潜在空間における第１のモダリティ入力についての第１の共同表現ベクトルである。さらに、第２のモダリティ（図１４の例における複数の疾患）の入力データが、第２のモダリティのための訓練されたエンコーダへの入力として提供される。第２のモダリティのための訓練されたエンコーダの出力は、共通潜在空間で表現される複数の第２の共同表現ベクトルであり、その各々は第２のモダリティの入力データに対応する。
【００９６】
所与の薬物の候補疾患適応の予測は、共通潜在空間内の入力薬物についての第１の共同表現ベクトルの距離と、共通潜在空間内に投影された疾患についての第２の共同表現ベクトルの各々とを比較することによって決定され得る。例えば、薬物Ａと４つの異なる疾患との関連性を予測するために、薬物エンコーダおよび疾患エンコーダを使用して、薬物Ａおよび４つの疾患の各々の対応する潜在表現を計算してよい。薬物Ａの潜在表現ベクトルと、共通潜在空間に投影された各疾患の潜在表現ベクトルとの間の距離が、薬物Ａの表現に最も近い疾患表現を予測するために計算され得る。所与の薬物によって治療可能である可能性が最も高い候補疾患は、潜在表現空間内の対象の薬物の位置に最も近い潜在表現空間内の位置を有する疾患であり得る。
【００９７】
図１２および図１４で説明される教師なし予測技法は、特定の薬物の新たな疾患適応を予測することに関するが、マルチモーダル統計モデル内の共通表現空間内で予測を可能にするために、適切な訓練されたエンコーダおよび／またはデコーダを選択することによって、訓練された統計モデルで表現される任意の２つのモダリティの間で予測を行うために、教師なし予測技法が使用され得ることを理解されたい。
【００９８】
いくつかの実施形態は、訓練されたマルチモーダル統計モデルを使用する教師あり予測技法を対象とする。図１５は、２つの異なるモダリティの既知のネットワーク相互作用で訓練された教師あり分類器を使用する、教師あり予測技法を示す。教師あり分類器は、ニューラル・ネットワーク、ツリーベースの分類器、他の深層学習もしくは機械学習分類器を含むがこれらに限定されない任意の適切なアーキテクチャを使用して、または統計的相関技法を使用して実施され得る。分類器は、（例えば、ＦＤＡ承認薬の承認された疾患適応からの）既知のネットワーク相互作用ペアの潜在表現を用いて訓練されてもよく、訓練された分類器を使用して、新たなペアが与えられた場合に真の関連性があるかどうかについての予測が行われてもよい。
【００９９】
図示されるように、図１５の教師あり分類器は、ＦＤＡに承認された薬物−疾患ペアの表現ベクトルを用いて訓練され得る。薬物および疾患についての入力ベクトルは、疾患デコーダを使用して疾患表現空間に薬物を投影し、もしくは薬物デコーダを使用して薬物表現空間に疾患を投影する場合、データ埋め込み層に対応する次元（例えば、１×１０）を有し、または、訓練された教師あり分類器を使用して分類決定を行うために両方のモダリティの潜在表現を使用する場合、潜在表現空間の次元（例えば、１×９５）を有し得る。
【０１００】
上述の予測例に加えて、実施形態によっては他のタイプの予測も企図される。例えば、所与の疾患の治療に有効であり得る新薬についての予測が行われてよい。対象の疾患およびすべての薬物が、マルチモーダル統計モデルにおける共通表現空間（例えば、モダリティ固有表現空間または共通潜在空間）に投影されてよく、共通表現空間におけるベクトル間の距離が、疾患を治療するための新薬を予測するために使用されてよい。
【０１０１】
マルチモーダル統計モデルで表現される異種ネットワーク内のすべてのエンティティは、同じ潜在空間内に表現を有し、エンコーダおよびデコーダは、潜在空間にアクセスするように訓練されているので、新たな薬物−疾患マッチに加えて他のモダリティ交差予測を行うことが可能である。例えば、疾患は、共通潜在空間における遺伝子標的を予測するために訓練された疾患エンコーダによってエンコードされることが可能であり、または、疾患潜在表現を遺伝子デコーダに通過させ、（例えば、近隣および他の前述の距離測定または類似技法により）遺伝子空間において直接表現を比較することによってエンコードされることが可能である。このように、所与の疾患に関連付けられた新薬を予測することに加えて、遺伝子、タンパク質、経路、解剖構造、および他の生物学的実体も疾患と関連付けられ、薬物−疾患予測にコンテキストを提供し得る。さらに、異種ネットワークにおける特異的変異は、薬物および疾患と強い関連性を有することが示され得るので、それにより、所与の薬物に反応する患者を同定するのに役立ち得るバイオマーカが示され得る。
【０１０２】
さらに別の予測シナリオでは、いくつかの実施形態に従って薬物の遺伝子標的が予測され得る。薬物は、遺伝子、変異、および他の異種ネットワーク・エンティティに関連付けられ、薬物作用の推定機構を提供し得る。これは、例えば、専門家の知識および従来の薬物工学に基づく薬物−疾患予測のさらなる微調整に有用であり得る。
【０１０３】
さらに別の予測技法は、患者固有の治療法を予測することに関する。訓練されたマルチモーダル統計モデルが、特定の患者に対する特定の薬物／治療法を予測するために使用され得る。例えば、上述のように、いくつかの実施形態は、所与の疾患に関連付けられたバイオマーカを予測するように構成される。これらのバイオマーカについて患者をスクリーニングすることができ、これらのバイオマーカを有する患者は、所与の薬物による治療のための適切な候補であると予測され得る。
【０１０４】
上述のように、図２に示されていない追加のモダリティが、本明細書に記載の技法に従って訓練されたマルチモーダル統計ネットワークによって表現される異種ネットワークに追加されてもよい。追加され得るそのようなモダリティの１つは患者に関する。例えば、患者情報は、異種ネットワーク内の他のエンティティに対する患者の特性（例えば、遺伝子発現、変異、コピー数多型、ＤＮＡメチル化）の近接によって異種ネットワークに含まれてよく、または（例えば、患者情報を共通潜在空間に投影するために使用される単一の患者エンコーダおよびデコーダを用いて）患者エンティティを異種ネットワーク内の新たなノードとして定義することによって異種ネットワーク内に含まれてよい。
【０１０５】
前者のシナリオでは、患者は、その遺伝子発現プロファイル（または他の実験的に得られた属性）に基づいてマルチモーダル統計モデルで表現され、この情報は、（例えば、薬物および疾患の既知の発現プロファイルに対する近接によって）他のノードにリンクされてよく、リンクされたノードは潜在空間への投影に使用され得る。
【０１０６】
後者のシナリオでは、新たな患者エンティティまたはノードは、それ自身のエンコーダおよびデコーダをマルチモーダル統計モデルに含めて、異種ネットワークに追加され得る。異種ネットワークにおけるネットワーク・リンクは、例えば、特定の薬物によく反応することまたは疾患を有することが知られている患者に基づいて、（患者ノードで表現される）個々の患者とネットワーク内の薬物および疾患ノードとの間で形成され得る。さらに、類似した遺伝子発現プロファイルまたは他の実験的に得られた生物学的情報もしくは属性（例えば、ＤＮＡ、ＲＮＡ、タンパク質、医用画像）を有する２人の患者の間で、異種ネットワークにおけるリンクが形成され得る。患者エンコーダおよびデコーダは、上述されたような異種ネットワーク内の他のノードについてのエンコーダ／デコーダ・ペアと同様の方法で訓練されてもよい。訓練された患者エンコーダ／デコーダを使用する予測は、本明細書に記載の技法のうちの１つまたは複数を使用して、例えば、対象の患者と候補薬物の間で行われてよい。
【０１０７】
図１６には、本明細書で提供される開示の実施形態のいずれかに関連して使用され得るコンピュータ・システム１６００の例示的実施形態が示される。コンピュータ・システム１６００は、１つまたは複数のコンピュータ・ハードウェア・プロセッサ１６００と、非一時的コンピュータ可読記憶媒体（例えば、メモリ１６２０および１つまたは複数の不揮発性記憶装置１６３０）を含む１つまたは複数の製造品とを含み得る。プロセッサ１６１０は、任意の適切な方法で、メモリ１６２０および不揮発性記憶装置１６３０へのデータの書き込みおよびそれらからのデータの読み取りを制御し得る。本明細書に記載の機能のいずれかを実行するために、プロセッサ１６１０は、プロセッサ１６１０により実行するためのプロセッサ実行可能命令を記憶する非一時的コンピュータ可読記憶媒体として機能し得る１つまたは複数の非一時的コンピュータ可読記憶媒体（例えば、メモリ１６２０）に記憶された、１つまたは複数のプロセッサ実行可能命令を実行し得る。
【０１０８】
用語「プログラム」または「ソフトウェア」は、本明細書では、一般的な意味で使用され、上述されたように実施形態の様々な態様を実装するためにコンピュータまたは他のプロセッサ（物理的または仮想的）をプログラムするために利用され得る、任意のタイプのコンピュータ・コードまたはセットのプロセッサ実行可能命令を指す。さらに、１態様によれば、実行されたときに本明細書で提供される開示の方法を実施する１つまたは複数のコンピュータ・プログラムは、単一のコンピュータまたはプロセッサ上に存在する必要はなく、本明細書で提供される開示の様々な態様を実装するために、異なるコンピュータまたはプロセッサ間でモジュラ方式で分散されてもよい。
【０１０９】
プロセッサ実行可能命令は、１つまたは複数のコンピュータまたは他のデバイスによって実行されるプログラム・モジュールなど、多くの形態があり得る。一般に、プログラム・モジュールは、特定のタスクを実行しまたは特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。典型的には、プログラム・モジュールの機能は組み合わされても分散されてもよい。
【０１１０】
また、データ構造は、任意の適切な形態で１つまたは複数の非一時的コンピュータ可読記憶媒体に記憶されてよい。簡単に示すために、データ構造は、データ構造内の位置によって関係付けられたフィールドを有するように示されてもよい。そのような関係は、フィールド間の関係を伝える非一時的コンピュータ可読媒体における位置を有するフィールドについてストレージを割り当てることによって同様に達成され得る。しかしながら、データ構造のフィールドにおける情報間の関係を確立するために、データ要素間の関係を確立するポインタ、タグ、または他の機構の使用を含めて、任意の適切な機構が使用されてよい。
【０１１１】
様々な発明概念が、例が提供されている１つまたは複数の工程として具体化され得る。各工程の一部として実行される動作は、任意の適切な方法で順序付けられ得る。したがって、実施形態は、例示的実施形態では連続的な動作として示されているが、いくつかの動作を同時に実行することを含み得る例示とは異なる順序で動作が実行されるように構成されてもよい。
【０１１２】
本明細書および特許請求の範囲において使用される場合、１つまたは複数の要素のリストを参照する「少なくとも１つ」という語句は、要素のリスト内の要素のうちの任意の１つまたは複数から選択される少なくとも１つの要素を意味するが、必ずしも要素のリスト内に具体的にリストされる個々およびすべての要素の少なくとも１つを含むものではなく、要素のリスト内の要素のいかなる組み合わせも排除するものではないと理解されるべきである。この定義はまた、「少なくとも１つ」という語句が参照する要素のリスト内で具体的に特定された要素以外の要素が、それらの具体的に特定された要素に関係するか関係しないかにかかわらず、任意選択で存在することを可能にする。したがって、例えば、「ＡおよびＢのうちの少なくとも１つ」（または等価的に「ＡまたはＢの少なくとも１つ」または等価的に「Ａおよび／またはＢの少なくとも１つ」）は、１実施形態では、Ｂの存在を伴わず任意選択で複数のＡを含む（さらに任意選択でＢ以外の要素を含む）少なくとも１つのＡを意味し、別の実施形態では、Ａの存在を伴わず任意選択で複数のＢを含む（さらに任意選択でＡ以外の要素を含む）少なくとも１つのＢを意味し、さらに別の実施形態では、任意選択で複数を含む少なくとも１つのＡおよび任意選択で複数を含む少なくとも１つのＢ（さらに任意選択で他の要素を含む）を指すことなどができる。
【０１１３】
本明細書および請求の範囲で使用される「および／または」という語句は、そのように結合された要素、すなわち、いくつかの場合に連言的に存在し他の場合に選言的に存在する要素の「いずれかまたは両方」を意味すると理解されるべきである。「および／または」で列挙された複数の要素は、同じ形式で、すなわち、そのように結合された要素の「１つまたは複数」で解釈されるべきである。「および／または」節によって具体的に特定された要素以外に他の要素は、それらの具体的に特定された要素に関係するか関係しないかにかかわらず、選択的に存在し得る。したがって、非限定的例として、「Ａおよび／またはＢ」への言及は、「含む」のような非限定的な言葉とともに使用される場合、１実施形態では、Ａのみ（任意選択でＢ以外の要素を含む）を、別の実施形態では、Ｂのみ（任意選択でＡ以外の要素を含む）を、さらに別の実施形態では、ＡとＢの両方（任意選択で他の要素を含む）を指すことなどができる。
【０１１４】
クレーム要素を修飾するクレームにおける「第１」、「第２」、「第３」などの序数語の使用は、それ自体では、別の要素に対するいかなる優先、先行、もしくは順序、または方法の動作が行われる時間的順序を含意しない。そのような用語は、単に、ある名前を有する１つのクレーム要素を、（順序語の使用を別として）同じ名前を有する別の要素から区別するためのラベルとして使用される。本明細書で使用される表現および用語は説明を目的としており、限定するものとみなされるべきではない。「含む」、「備える」、「有する」、「含有する」、「伴う」、およびそれらの変形の使用は、そこで列挙される要素および追加の要素を包含することを意味する。
【０１１５】
本明細書に詳細に記載された技法のいくつかの実施形態が説明されているが、様々な修正および改良が当業者には容易に想到されよう。そのような修正および改良は、開示の趣旨および範囲内であることが意図される。したがって、上記の説明は単に例示であって限定するものではない。これらの技法は、添付の特許請求の範囲およびその均等物によって定義されるようにのみ限定される。
【図１】
2021526259.tif 000006
【図２】
2021526259.tif 000007
【図３】
2021526259.tif 000008
【図４】
2021526259.tif 000009
【図５】
2021526259.tif 000010
【図６】
2021526259.tif 000011
【図７】
2021526259.tif 000012
【図８】
2021526259.tif 000013
【図９】
2021526259.tif 000014
【図１０Ａ】
2021526259.tif 000015
【図１０Ｂ】
2021526259.tif 000016
【図１０Ｃ】
2021526259.tif 000017
【図１１】
2021526259.tif 000018
【図１２】
2021526259.tif 000019
【図１３】
2021526259.tif 000020
【図１４】
2021526259.tif 000021
【図１５】
2021526259.tif 000022
【図１６】
2021526259.tif 000023
【国際調査報告】
2021526259.tif 000024
2021526259.tif 000025
2021526259.tif 000026
2021526259.tif 000027
2021526259.tif 000028
2021526259.tif 000029