(57)【要約】機械学習モデルのための埋め込みを生成する方法は、第１テキストデータから文字埋め込み及び単語埋め込みを抽出することと、ドメイン知識データセットからドメイン知識埋め込みを生成することと、文字埋め込み、単語埋め込み、及びドメイン知識埋め込みを結合して結合埋め込みにすることと、結合埋め込みを機械学習モデルのレイヤへ供給することとを含む。
2021522569.tif 000002
【特許請求の範囲】
【請求項１】
機械学習モデルのための埋め込みを生成する方法であって、
第１テキストデータから文字埋め込み及び単語埋め込みを抽出することと、
ドメイン知識データセットからドメイン知識埋め込みを生成することと、
前記文字埋め込み、前記単語埋め込み、及び前記ドメイン知識埋め込みを結合して結合埋め込みにすることと、
前記結合埋め込みを前記機械学習モデルのレイヤへ供給することと
を有する方法。
【請求項２】
前記ドメイン知識データセットは、ドメインエキスパートからのフィードバックを含む、
請求項１に記載の方法。
【請求項３】
前記ドメインエキスパートからの前記フィードバックは、第２テキストデータの固有表現認識ラベリングを含む、
請求項２に記載の方法。
【請求項４】
前記ドメインエキスパートからの前記フィードバックは、ボキャブラリデータベースを更新するために使用される追加のボキャブラリを含む、
請求項２に記載の方法。
【請求項５】
前記ドメインエキスパートからの前記フィードバックは、前記機械学習モデルの出力の正確さの判定に基づく、
請求項２に記載の方法。
【請求項６】
前記ドメイン知識データセットは、第２テキストデータに適用された自然言語処理エンジンの出力を含む、
請求項１に記載の方法。
【請求項７】
前記ドメイン知識データセットは、ボキャブラリデータに基づくＴＲＩＥ辞書への第２テキストデータに基づくクエリの出力を含む、
請求項１に記載の方法。
【請求項８】
前記機械学習モデルは、第２テキストデータの固有表現認識を実行する、
請求項１に記載の方法。
【請求項９】
前記機械学習モデルは、第２テキストデータの医学的疾患注釈付けを実行する、
請求項１に記載の方法。
【請求項１０】
前記ドメイン知識埋め込みを生成する前に、前記第１テキストデータ、前記文字埋め込み、及び前記単語埋め込みを用いて前記機械学習モデルを訓練することと、
前記ドメイン知識埋め込みを生成した後に、前記機械学習モデルを再訓練することと
を更に有する、請求項１に記載の方法。
【請求項１１】
前記機械学習モデルを再訓練する前に、前記ドメイン知識埋め込みに加えられたデータの量に基づいて、前記機械学習モデルの再訓練が必要とされることを決定することを更に有する、
請求項１０に記載の方法。
【請求項１２】
前記文字埋め込みを抽出することは、
第１文字埋め込み部分を生成するよう、前記第１テキストデータ内の単語に畳み込みニューラルネットワークレイヤを適用することと、
第２文字埋め込み部分を生成するよう、前記第１テキストデータ内の単語に長・短期記憶ニューラルネットワークレイヤを適用することと、
前記文字埋め込みを生成するよう、前記第１文字埋め込み部分及び前記第２文字埋め込み部分を連結させることと
を更に有する、
請求項１に記載の方法。
【請求項１３】
前記機械学習モデルは、長・短期記憶レイヤ及び条件付き確率場レイヤを含み、前記方法は、前記条件付き確率場レイヤへ前記ドメイン知識埋め込みを供給することを更に有する、
請求項１に記載の方法。
【請求項１４】
前記ドメイン知識埋め込みを生成する前に、前記第１テキストデータ、前記文字埋め込み、及び前記単語埋め込みを用いて前記機械学習モデルを訓練することと、
前記ドメイン知識埋め込みを生成した後に、前記機械学習モデルを再訓練することと
を更に有する、請求項１３に記載の方法。
【請求項１５】
機械学習モデルのための埋め込みを生成する命令により符号化されている非一時的な機械読み出し可能な記憶媒体であって、
第１テキストデータから文字埋め込み及び単語埋め込みを抽出する命令と、
ドメイン知識データセットからドメイン知識埋め込みを生成する命令と、
前記文字埋め込み、前記単語埋め込み、及び前記ドメイン知識埋め込みを結合して結合埋め込みにする命令と、
前記結合埋め込みを前記機械学習モデルのレイヤへ供給する命令と
を有する非一時的な機械読み出し可能な記憶媒体。
【請求項１６】
前記ドメイン知識データセットは、ドメインエキスパートからのフィードバックを含む、
請求項１５に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項１７】
前記ドメインエキスパートからの前記フィードバックは、第２テキストデータの固有表現認識ラベリングを含む、
請求項１６に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項１８】
前記ドメインエキスパートからの前記フィードバックは、ボキャブラリデータベースを更新するために使用される追加のボキャブラリを含む、
請求項１６に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項１９】
前記ドメインエキスパートからの前記フィードバックは、前記機械学習モデルの出力の正確さの判定に基づく、
請求項１６に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項２０】
前記ドメイン知識データセットは、第２テキストデータに適用された自然言語処理エンジンの出力を含む、
請求項１５に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項２１】
前記ドメイン知識データセットは、ボキャブラリデータに基づくＴＲＩＥ辞書への第２テキストデータに基づくクエリの出力を含む、
請求項１５に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項２２】
前記機械学習モデルは、第２テキストデータの固有表現認識を実行する、
請求項１５に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項２３】
前記機械学習モデルは、第２テキストデータの医学的疾患注釈付けを実行する、
請求項１５に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項２４】
前記ドメイン知識埋め込みを生成する前に、前記第１テキストデータ、前記文字埋め込み、及び前記単語埋め込みを用いて前記機械学習モデルを訓練する命令と、
前記ドメイン知識埋め込みを生成した後に、前記機械学習モデルを再訓練する命令と
を更に有する、請求項１５に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項２５】
前記機械学習モデルを再訓練する前に、前記ドメイン知識埋め込みに加えられたデータの量に基づいて、前記機械学習モデルの再訓練が必要とされることを決定する命令を更に有する、
請求項２４に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項２６】
前記文字埋め込みを抽出することは、
第１文字埋め込み部分を生成するよう、前記第１テキストデータ内の単語に畳み込みニューラルネットワークレイヤを適用する命令と、
第２文字埋め込み部分を生成するよう、前記第１テキストデータ内の単語に長・短期記憶ニューラルネットワークレイヤを適用する命令と、
前記文字埋め込みを生成するよう、前記第１文字埋め込み部分及び前記第２文字埋め込み部分を連結させる命令と
を更に有する、
請求項１５に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項２７】
前記機械学習モデルは、長・短期記憶レイヤ及び条件付き確率場レイヤを含み、前記非一時的な機械読み出し可能な記憶媒体は、前記条件付き確率場レイヤへ前記ドメイン知識埋め込みを供給する命令を更に有する、
請求項１５に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項２８】
前記ドメイン知識埋め込みを生成する前に、前記第１テキストデータ、前記文字埋め込み、及び前記単語埋め込みを用いて前記機械学習モデルを訓練する命令と、
前記ドメイン知識埋め込みを生成した後に、前記機械学習モデルを再訓練する命令と
を更に有する、請求項２７に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項２９】
疾患注釈付け機械学習モデルのための埋め込みを生成する命令により符号化されている非一時的な機械読み出し可能な記憶媒体であって、
第１テキストデータから文字埋め込み及び単語埋め込みを抽出する命令と、
レキシコンデータセットからレキシコン埋め込みを生成する命令と、
余分タグ付けデータセットから余分タグ付け埋め込みを生成する命令と、
前記文字埋め込み、前記単語埋め込み、前記レキシコン埋め込み、及び前記余分タグ付け埋め込みを結合して結合埋め込みにする命令と、
前記結合埋め込みを前記疾患注釈付け機械学習モデルのレイヤへ供給する命令と
を有する非一時的な機械読み出し可能な記憶媒体。
【請求項３０】
前記余分タグ付けデータセットは、ドメインエキスパートからのフィードバックを含む、
請求項２９に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項３１】
前記ドメインエキスパートからの前記フィードバックは、第２テキストデータの疾患注釈を含む、
請求項３０に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項３２】
前記ドメインエキスパートからの前記フィードバックは、ボキャブラリデータベースを更新するために使用される追加のボキャブラリを含む、
請求項３０に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項３３】
前記ドメインエキスパートからの前記フィードバックは、前記疾患注釈付け機械学習モデルの出力の正確さの判定に基づく、
請求項３０に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項３４】
前記レキシコンデータセットは、第２テキストデータに適用された自然言語処理エンジンの出力を含む、
請求項２９に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項３５】
前記レキシコンデータセットは、ボキャブラリデータに基づくＴＲＩＥ辞書への第２テキストデータに基づくクエリの出力を含む、
請求項２９に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項３６】
前記レキシコン埋め込み及び前記余分タグ付け埋め込みを生成する前に、前記第１テキストデータ、前記文字埋め込み、及び前記単語埋め込みを用いて、前記疾患注釈付け機械学習モデルを訓練する命令と、
前記レキシコン埋め込み及び前記余分タグ付け埋め込みを生成した後に、前記疾患注釈付け機械学習モデルを再訓練する命令と
を更に有する、請求項２９に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項３７】
前記疾患注釈付け機械学習モデルを再訓練する前に、前記レキシコンデータセット及び前記余分タグ付けデータセットへ加えられたデータの量に基づいて、前記疾患注釈付け機械学習モデルの再訓練が必要とされることを決定する命令を更に有する、
請求項３６に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項３８】
前記文字埋め込みを抽出することは、
第１文字埋め込み部分を生成するよう、前記第１テキストデータ内の単語に畳み込みニューラルネットワークレイヤを適用する命令と、
第２文字埋め込み部分を生成するよう、前記第１テキストデータ内の単語に長・短期記憶ニューラルネットワークレイヤを適用する命令と、
前記文字埋め込みを生成するよう、前記第１文字埋め込み部分及び前記第２文字埋め込み部分を連結させる命令と
を更に有する、
請求項２９に記載の非一時的な機械読み出し可能な記憶媒体。
【請求項３９】
前記疾患注釈付け機械学習モデルは、長・短期記憶レイヤ及び条件付き確率場レイヤを含み、前記非一時的な機械読み出し可能な記憶媒体は、前記条件付き確率場レイヤへ前記レキシコン埋め込み及び前記余分タグ付け埋め込みを供給する命令を更に有する、
請求項２９に記載の非一時的な機械読み出し可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示される様々な、例となる実施形態は、概して、自然言語処理のための進化しているドメイン固有レキシコン特徴による機械学習モデルに関係がある。
【背景技術】
【０００２】
機械学習モデルは、テキスト内の固有表現（named  entity）（例えば、個人又は場所、日付け、動物、病気、などの名称を識別する）に注釈を付けるために開発されることがある。生物医学の場では、疾患注釈付けは、多数の、生物医学に関する自然言語処理アプリケーションにおける一機能である。例えば、臨床試験テキストから疾患名を抽出することは、患者プロファイリング及び適格患者への適合している臨床試験といった他の下流アプリケーションにとって有益であり得る。同様に、生物医学に関する論文における疾患注釈付けは、情報検索エンジンがそれらに正確にインデックスを付けることを助けることができ、それにより、臨床医学者は自身の知識を強化するために関連論文を容易に見つけることができる。
【発明の概要】
【０００３】
様々な、例となる実施形態の要約が、以下で与えられる。いくつかの簡略化及び省略が、以下の要約で行われることがあるが、様々な、例となる実施形態のいくつかの態様を強調し紹介することを目的としており、本発明の範囲を制限する意図はない。当業者が発明概念を構成及び使用することを可能にするための適切な例となる実施形態の詳細な説明は、後の項目で続く。
【０００４】
様々な実施形態は、機械学習モデルのための埋め込みを生成する方法であって、第１テキストデータから文字埋め込み及び単語埋め込みを抽出することと、ドメイン知識データセットからドメイン知識埋め込みを生成することと、文字埋め込み、単語埋め込み、及びドメイン知識埋め込みを結合して結合埋め込みにすることと、結合埋め込みを前記機械学習モデルのレイヤへ供給することとを含む方法に関係がある。
【０００５】
様々な実施形態が記載され、ドメイン知識データセットは、ドメインエキスパートからのフィードバックを含む。
【０００６】
様々な実施形態が記載され、ドメインエキスパートからのフィードバックは、第２テキストデータの固有表現認識ラベリングを含む。
【０００７】
様々な実施形態が記載され、ドメインエキスパートからのフィードバックは、ボキャブラリデータベースを更新するために使用される追加のボキャブラリを含む。
【０００８】
様々な実施形態が記載され、ドメインエキスパートからのフィードバックは、機械学習モデルの出力の正確さの判定に基づく。
【０００９】
様々な実施形態が記載され、ドメイン知識データセットは、第２テキストデータに適用された自然言語処理エンジンの出力を含む。
【００１０】
様々な実施形態が記載され、ドメイン知識データセットは、ボキャブラリデータに基づくＴＲＩＥ辞書への第２テキストデータに基づくクエリの出力を含む。
【００１１】
様々な実施形態が記載され、機械学習モデルは、第２テキストデータの固有表現認識を実行する。
【００１２】
様々な実施形態が記載され、機械学習モデルは、第２テキストデータの医学的疾患注釈付けを実行する。
【００１３】
様々な実施形態が記載され、方法は、ドメイン知識埋め込みを生成する前に、第１テキストデータ、文字埋め込み、及び単語埋め込みを用いて機械学習モデルを訓練することと、ドメイン知識埋め込みを生成した後に、機械学習モデルを再訓練することとを更に含む。
【００１４】
様々な実施形態が記載され、方法は、機械学習モデルを再訓練する前に、ドメイン知識埋め込みに加えられたデータの量に基づいて、機械学習モデルの再訓練が必要とされることを決定することを更に含む。
【００１５】
様々な実施形態が記載され、文字埋め込みを抽出することは、第１文字埋め込み部分を生成するよう、第１テキストデータ内の単語に畳み込みニューラルネットワークレイヤを適用することと、第２文字埋め込み部分を生成するよう、第１テキストデータ内の単語に長・短期記憶ニューラルネットワークレイヤを適用することと、文字埋め込みを生成するよう、第１文字埋め込み部分及び第２文字埋め込み部分を連結させることとを更に含む。
【００１６】
様々な実施形態が記載され、機械学習モデルは、長・短期記憶レイヤ及び条件付き確率場レイヤを含み、方法は、条件付き確率場レイヤへドメイン知識埋め込みを供給することを更に含む。
【００１７】
様々な実施形態が記載され、方法は、ドメイン知識埋め込みを生成する前に、第１テキストデータ、文字埋め込み、及び単語埋め込みを用いて機械学習モデルを訓練することと、ドメイン知識埋め込みを生成した後に、機械学習モデルを再訓練することとを更に含む。
【００１８】
更なる様々な実施形態は、機械学習モデルのための埋め込みを生成する命令により符号化されている非一時的な機械読み出し可能な記憶媒体であって、第１テキストデータから文字埋め込み及び単語埋め込みを抽出する命令と、ドメイン知識データセットからドメイン知識埋め込みを生成する命令と、文字埋め込み、単語埋め込み、及びドメイン知識埋め込みを結合して結合埋め込みにする命令と、結合埋め込みを機械学習モデルのレイヤへ供給する命令とを含む非一時的な機械読み出し可能な記憶媒体に関係がある。
【００１９】
様々な実施形態が記載され、ドメイン知識データセットは、ドメインエキスパートからのフィードバックを含む。
【００２０】
様々な実施形態が記載され、ドメインエキスパートからのフィードバックは、第２テキストデータの固有表現認識ラベリングを含む。
【００２１】
様々な実施形態が記載され、ドメインエキスパートからのフィードバックは、ボキャブラリデータベースを更新するために使用される追加のボキャブラリを含む。
【００２２】
様々な実施形態が記載され、ドメインエキスパートからのフィードバックは、機械学習モデルの出力の正確さの判定に基づく。
【００２３】
様々な実施形態が記載され、ドメイン知識データセットは、第２テキストデータに適用された自然言語処理エンジンの出力を含む。
【００２４】
様々な実施形態が記載され、ドメイン知識データセットは、ボキャブラリデータに基づくＴＲＩＥ辞書への第２テキストデータに基づくクエリの出力を含む。
【００２５】
様々な実施形態が記載され、機械学習モデルは、第２テキストデータの固有表現認識を実行する。
【００２６】
様々な実施形態が記載され、機械学習モデルは、第２テキストデータの医学的疾患注釈付けを実行する。
【００２７】
様々な実施形態が記載され、非一時的な機械読み出し可能な記憶媒体は、ドメイン知識埋め込みを生成する前に、第１テキストデータ、文字埋め込み、及び単語埋め込みを用いて機械学習モデルを訓練する命令と、ドメイン知識埋め込みを生成した後に、機械学習モデルを再訓練する命令とを更に含む。
【００２８】
様々な実施形態が記載され、非一時的な機械読み出し可能な記憶媒体は、機械学習モデルを再訓練する前に、ドメイン知識埋め込みに加えられたデータの量に基づいて、機械学習モデルの再訓練が必要とされることを決定する命令を更に含む。
【００２９】
様々な実施形態が記載され、文字埋め込みを抽出することは、第１文字埋め込み部分を生成するよう、第１テキストデータ内の単語に畳み込みニューラルネットワークレイヤを適用する命令と、第２文字埋め込み部分を生成するよう、第１テキストデータ内の単語に長・短期記憶ニューラルネットワークレイヤを適用する命令と、文字埋め込みを生成するよう、第１文字埋め込み部分及び第２文字埋め込み部分を連結させる命令とを更に含む。
【００３０】
様々な実施形態が記載され、機械学習モデルは、長・短期記憶レイヤ及び条件付き確率場レイヤを含み、非一時的な機械読み出し可能な記憶媒体は、条件付き確率場レイヤへドメイン知識埋め込みを供給する命令を更に含む。
【００３１】
様々な実施形態が記載され、非一時的な機械読み出し可能な記憶媒体は、ドメイン知識埋め込みを生成する前に、第１テキストデータ、文字埋め込み、及び単語埋め込みを用いて機械学習モデルを訓練する命令と、ドメイン知識埋め込みを生成した後に、機械学習モデルを再訓練する命令とを更に含む。
【００３２】
更なる様々な実施形態は、疾患注釈付け機械学習モデルのための埋め込みを生成する命令により符号化されている非一時的な機械読み出し可能な記憶媒体であって、第１テキストデータから文字埋め込み及び単語埋め込みを抽出する命令と、レキシコンデータセットからレキシコン埋め込みを生成する命令と、余分タグ付けデータセットから余分タグ付け埋め込みを生成する命令と、文字埋め込み、単語埋め込み、レキシコン埋め込み、及び余分タグ付け埋め込みを結合して結合埋め込みにする命令と、結合埋め込みを疾患注釈付け機械学習モデルのレイヤへ供給する命令とを含む非一時的な機械読み出し可能な記憶媒体に関係がある。
【００３３】
様々な実施形態が記載され、余分タグ付けデータセットは、ドメインエキスパートからのフィードバックを含む。
【００３４】
様々な実施形態が記載され、ドメインエキスパートからのフィードバックは、第２テキストデータの疾患注釈を含む。
【００３５】
様々な実施形態が記載され、ドメインエキスパートからのフィードバックは、ボキャブラリデータベースを更新するために使用される追加のボキャブラリを含む。
【００３６】
様々な実施形態が記載され、ドメインエキスパートからのフィードバックは、疾患注釈付け機械学習モデルの出力の正確さの判定に基づく。
【００３７】
様々な実施形態が記載され、レキシコンデータセットは、第２テキストデータに適用された自然言語処理エンジンの出力を含む。
【００３８】
様々な実施形態が記載され、レキシコンデータセットは、ボキャブラリデータに基づくＴＲＩＥ辞書への第２テキストデータに基づくクエリの出力を含む。
【００３９】
様々な実施形態が記載され、非一時的な機械読み出し可能な記憶媒体は、レキシコン埋め込み及び余分タグ付け埋め込みを生成する前に、第１テキストデータ、文字埋め込み、及び単語埋め込みを用いて、疾患注釈付け機械学習モデルを訓練する命令と、レキシコン埋め込み及び余分タグ付け埋め込みを生成した後に、疾患注釈付け機械学習モデルを再訓練する命令とを更に含む。
【００４０】
様々な実施形態が記載され、非一時的な機械読み出し可能な記憶媒体は、疾患注釈付け機械学習モデルを再訓練する前に、レキシコンデータセット及び余分タグ付けデータセットへ加えられたデータの量に基づいて、疾患注釈付け機械学習モデルの再訓練が必要とされることを決定する命令を更に含む。
【００４１】
様々な実施形態が記載され、文字埋め込みを抽出することは、第１文字埋め込み部分を生成するよう、第１テキストデータ内の単語に畳み込みニューラルネットワークレイヤを適用する命令と、第２文字埋め込み部分を生成するよう、第１テキストデータ内の単語に長・短期記憶ニューラルネットワークレイヤを適用する命令と、文字埋め込みを生成するよう、第１文字埋め込み部分及び第２文字埋め込み部分を連結させる命令とを更に含む。
【００４２】
様々な実施形態が記載され、疾患注釈付け機械学習モデルは、長・短期記憶レイヤ及び条件付き確率場レイヤを含み、非一時的な機械読み出し可能な記憶媒体は、前記条件付き確率場レイヤへ前記レキシコン埋め込み及び前記余分タグ付け埋め込みを供給する命令を更に含む。
【００４３】
様々な、例となる実施形態をより良く理解するために、添付の図面が参照される。
【図面の簡単な説明】
【００４４】
【図１】疾患注釈付けのためのＬＳＴＭ−ＣＲＦのアーキテクチャを表す。
【図２】レキシコン埋め込み及び余分タグ付け埋め込みが生成され得る方法を表す。
【図３ａ】余分タグ付け埋め込み及びレキシコン埋め込みを使用する疾患注釈付けシステムを表す。
【図３ｂ】図３ａの続きである。
【図４】第２ドメインでの使用のためにマイグレートされ得る、第１ドメインで訓練されるＬＳＴＭ−ＣＲＦモデルを表す。
【発明を実施するための形態】
【００４５】
理解を助けるよう、同じ参照番号は、実質的に同じ若しくは類似した構造及び／又は実質的に同じ又は類似した機能を有している要素を示すために使用されている。
【００４６】
明細書及び図面は、発明の原理について説明する。よって、当業者であれば、本明細書で明示的に記載又は図示されていなくても、発明の原理を具現し、その範囲に含まれる様々な配置を相当可能であることが、理解されるだろう。更に、本明細書で挙げられている全ての例は、当該技術を促進することに対して発明者によって寄与される概念及び発明原理を読者が理解することを助ける教育上の目的のためであることが明白に主として意図され、そのような具体的に挙げられている例及び条件に制限されないと解釈されるべきである。その上、本明細書で使用される「又は」（or）という語は、別なふうに（例えば、「あるいは他に」（or  else）又は「あるいは代替的に」（or  in  the  alternative））示されない限りは、非排他的論理和（すなわち、及び／又は（and/or））を指す。また、本明細書で記載される様々な実施形態は、必ずしも相互排他的ではなく、いくつかの実施形態は、新しい実施形態を形成するよう１つ以上の他の実施形態と組み合わされ得る。
【００４７】
疾患注釈付け（disorder  annotation）は、多くの、生物医学に関する自然言語アプリケーションにおいて、重要である。例えば、臨床試験テキストから疾患名を抽出することは、患者プロファイリング及び適格患者への適合している臨床試験といった他の下流アプリケーションにとって有益であり得る。同様に、生物医学に関する論文における疾患注釈付けは、情報検索エンジンがそれらに正確にインデックスを付けることを助けることができ、それにより、臨床医学者は自身の知識を強化するために関連論文を容易に見つけることができる。疾患注釈付けにおいて高精度及び高再現率を達成することは、大部分の現実世界の応用によって望まれている。
【００４８】
ディープラーニング技術は、様々な一般ドメイン自然言語処理（natural  language  processing；ＮＬＰ）タスク、例えば、言語モデリング、発話部分（parts-of-speech；ＰＯＳ）タグ付け、固有表現認識（named  entity  recognition；ＮＥＲ）、段落識別、感情解析、などのための従来の機械学習（machine  learning；ＭＬ）に対して優れた性能を示している。臨床文書は、ヘルスケア提供者による頭字語及び非標準的な臨床用語の広い使用、一貫性のない文書構造及び編成、並びに患者データプライバシーを確保するための厳しい非特定化及び匿名性の要求により、一般ドメインテキストと比較して独特の課題を示す。それらの方法はまた、適切にラベル付けされたデータセットに依存し、結果として、モデルは、新しいデータセットに適用されるたびごとに再訓練される必要がある。更に、いくつかの状況で、モデルを訓練するためのラベル付きデータが十分にない。これらの課題を解決することは、臨床判断支援、患者集団識別、患者エンゲージメント支援、住民健康管理（population  health  management）、市販後医薬品安全性監視（pharmacovigilance）、個別化医療、及び臨床テキスト要約を含む様々な有用な臨床応用のための更なる研究及び革新を促進させ得る。
【００４９】
これを達成するために、長・短期記憶（long  short-term  memory）ネットワーク−条件付き確率場（conditional  random  field）（ＬＳＴＭ−ＣＲＦ）モデル及び畳み込みニューラルネットワーク（convolutional  neural  network；ＣＮＮ）モデルを含むディープニューラルネットワークアーキテクチャの異なるレイヤへの様々なタイプの埋め込み（embedding）により臨床ドメイン知識を符号化することによって疾患注釈付けタスクに対処する実施形態が、記載される。そのような実施形態を使用する実験は、ネットワークの異なる部分でこの臨床ドメイン知識を加えながら、モデルの性能に対する臨床ドメイン知識の影響を示す。そのような実施形態はまた、科学論文データセットに対する疾患注釈付けにおいて最先端の結果を達成する。
【００５０】
本明細書で記載される実施形態は、適切にラベル付けされたデータセットに関するモデルの訓練を表す一方で、新しいラベルなしデータセットの重要なドメイン固有特徴を失わずに、その新しいデータセットへ訓練されたモデルを適用することが可能である。そのような実施形態は、適切にラベル付けされた科学論文テキストデータに基づいて疾患注釈付けのためにＬＳＴＭ−ＣＲＦモデルを訓練する。ＬＳＴＭ−ＣＲＦモデルは、一般的な辞書からドメイン固有のレキシコン特徴を更に符号化する。その上、ＬＳＴＭ−ＣＲＦモデルは、ラベルなしコーパスからの前進型フィードバック（evolving  feedback）を符号化する。よって、たとえＬＳＴＭ−ＣＲＦモデルが１つの特定のデータセットに対して訓練されるとしても、ＬＳＴＭ−ＣＲＦモデルは、進化しているレキシコン特徴を備えた異なるデータセットに適用され得る。そのような特徴の詳細は、以下で更に記載される。後述される実施形態は、ラベル付きデータセットのサイズは小さいが、解析されるべきデータセットは大きい生物医学分野での疾患認識に関係がある。この状況は、他の分野でも同様に生じるので、本明細書で記載される実施形態は、モデルが第１ドメインで一組のデータに対して訓練され、次いで、そのモデルが第２ドメインでのデータに拡張及び適用される場合のように、広く適用可能である。
【００５１】
フリーテキストからの疾患注釈付けは、シーケンスタグ付け問題である。ＢＩＯタグ付け法は、入力シーケンスをタグ付けするために使用され得る。例えば、以下で示されるように、タグ付け結果は、入力テキストからの各単語のタグを示す。“B-disorder”は、疾患名の開始語を表し、“I-disorder”は、疾患名に含まれる他の語を表し、“O”は、疾患名に属さない語を表す：
入力テキスト：・・・new  diagnoses  of  prostate  cancer・・・
タグ付け結果：      O        O      O  B-disorder  I-disorder。
【００５２】
疾患注釈付けのための既存の規則に基づいたシステム又は従来の機械学習法は、統語、語彙、Ｎグラム、などのようなハンドクラフト特徴（hand-crafted  features）に大いに依存する。ニューラルネットワークに基づく方法は、通常はハンドクラフト特徴に依存しないが、大規模なラベル付きデータが、ニューラルネットワークを訓練するために必要とされる。本明細書で記載される実施形態では、ドメイン知識が、ニューラルネットワークに基づく方法に導入される。
【００５３】
疾患注釈付けのために、使用され得る多くの既存の臨床ＮＬＰエンジンが存在する。純粋にラベル付きデータセットに対してゼロからニューラルネットワークに基づくモデルを訓練するのではなく、既存のツールを利用する方が良いことがある。これは制限され得ない。よって、本明細書で記載される実施形態は、疾患注釈付けのためのモデル性能を改善するよう既存の臨床ＮＬＰパイプラインから出力を符号化する。
【００５４】
ハイブリッド臨床ＮＬＰエンジンは、タグ付け出力を生成するために使用され得るが、如何なる他のタイプの臨床ＮＬＰパイプラインも、この目的のために使用されてよい。臨床ＮＬＰエンジンは、疾患タグ付け及び他のタイプの生物医学概念を生成する。後述される実施形態では、疾患タグ付けしか使用されないが、他のタイプのタグ付けも、同様にモデルにおいて符号化され得る有用な情報を提供し得る。
【００５５】
他のタイプのドメイン知識は、病気ボキャブラリである。従前の研究は、生物医学ＮＬＰタスクを促進するよう辞書／オントロジを構築するために相当の労力を費やした。ＭＥＤＩＣは、既存の病気ボキャブラリの一例であり、全部で９７００の独自の病気及び６７０００の独自の用語を含む。
【００５６】
臨床ＮＬＰエンジン及び病気ボキャブラリからの出力は、疾患注釈付けのためのニューラルネットワークに基づく方法を改善するために本明細書で記載される実施形態によって使用される２種類のドメイン知識である。他の種類のドメイン情報は、本明細書で開示される実施形態によって記載されるようにニューラルネットワークの性能を改善するために識別され使用されてよい。この付加的なドメイン情報は、データラベル付きデータセットが小さい場合に、又は１つのドメインから他へモデルを動かす場合に、注釈付け及び他のタスクのためのニューラルネットワークに基づく方法の性能の改善を可能にする。
【００５７】
上述されたように、ＬＳＴＭ−ＣＲＦモデルは、ＮＥＲを実行するために開発されており、ＬＳＴＭ−ＣＲＦモデルは、一般ドメインにおいて最先端の性能を達成する。よって、このモデルは、疾患注釈付けのタスクに導入されてよい。しかし、実際の使用ケースで、現在、臨床試験テキストから疾患名を抽出するようモデルを訓練するための十分なラベル付きデータは存在しない。唯一の利用可能なデータセットは、注釈を付された疾患名を含む科学論文である。結果として、次の課題が、疾患注釈付けの問題にＬＳＴＭ−ＣＲＦモデルをどのように適用すべきかを決定する際に考えられ得る：第１に、１つのコーパスに関して訓練したＬＳＴＭ−ＣＲＦモデルを新しいコーパスにどのように適応させるべきか；第２に、新しいコーパスからレキシコン特徴をどのように符号化すべきか；及び第３に、ドメインエキスパートからのフィードバックを訓練されたモデルにどのように有効に符号化し更新すべきか。本明細書で記載される実施形態は、これらの様々な課題に対処する。
【００５８】
疾患注釈付けのためのＬＳＴＭ−ＣＲＦモデルの実施形態について、これより記載する。固有表現認識タスクのためのニューラルネットワークの一般的アーキテクチャは、入力として一連のベクトル（ｘ１，ｘ２，．．．，ｘｎ）をとり、入力シーケンスのタグ付け情報を相応に表す他のシーケンス（ｙ１，ｙ２，．．．，ｙｎ）を返す双方向ＬＳＴＭ−ＣＲＦである。
【００５９】
図１は、疾患注釈付けのためのＬＳＴＭ−ＣＲＦモデルのアーキテクチャを表す。ＬＳＴＭ−ＣＲＦモデル１００は、次のレイヤ：文字埋め込みレイヤ１４０、単語埋め込みレイヤ１３０、双方向ＬＳＴＭレイヤ１２０、ＣＲＦタグ付けレイヤ１１０を含む。ｎ個の単語を含む所与のセンテンス（ｘ１，ｘ２，．．．，ｘｎ）について、各単語は、ｄ次元ベクトルとして表される。ｄ次元ベクトルは、２つの部分：文字埋め込みレイヤ１４０からのｄ１次元ベクトルＶｃｈａｒ及び単語埋め込みレイヤ１３０からのｄ２次元ベクトルＶｗｏｒｄから連結される。双方向ＬＳＴＭレイヤ１２０は、２つの連続した隠しベクトル、すなわち、フォワードシーケンス（ｈ１ｆ，ｈ２ｆ，．．．，ｈｎｆ）１２４及びバックワードシーケンス（ｈ１ｂ，ｈ２ｂ，．．．，ｈｎｂ）１２２を生成するよう、入力センテンス（ｘ１，ｘ２，．．．，ｘｎ）のベクトル表現を読み出す。次いで、ＬＳＴＭレイヤ１２０は、フォワードシーケンス１２４及びバックワードシーケンス１２２を連結してｈｉ＝［ｈｉｆ；ｈｉｂ］にする。次いで、ｈｉ＝［ｈｉｆ；ｈｉｂ］はＣＲＦレイヤ１１０へ入力される。次いで、ＣＲＦレイヤ１１０は、特定の入力単語ｘｉについてラベルｙｉを決定し出力する。
【００６０】
文字埋め込みレイヤ１４０の符号化は、様々な方法を用いて達成され得る。２つの可能な方法として、文字埋め込みを学習する文字双方向ＬＳＴＭレイヤ１４２と、文字埋め込みを学習する文字畳み込みニューラルネットワーク（ＣＮＮ）レイヤ１４４とがある。双方向ＬＳＴＭレイヤ１４２は、数ある情報の中でも特に、受け取られた単語（例えば、ギリシャ又はラテン語源の語）内の文字のシーケンスに関係がある埋め込み情報を提供する。ＣＮＮレイヤ１４４は、数ある情報の中でも特に、単語内のどの文字がその単語の意味を決定づけるのに最も有用であるかに関する埋め込み情報を提供する。
【００６１】
文字ＣＮＮレイヤ１４４は、次のように、センテンス内の各単語について文字埋め込みを生成する。第１に、文字Ｃのボキャブラリが定義される。ｄを文字埋め込みの次元とし、Ｑ∈Ｒｄ×｜Ｃ｜はマトリクス文字埋め込みである。文字ＣＮＮレイヤ１４４は、入力として現在の単語“cancer”をとり、Ｑ∈Ｒｄ×｜Ｃ｜のルックアップを実行し、ルックアップ結果をスタックしてマトリクスＣｋ１４５を形成する。畳み込み演算は、Ｃｋ１４５と多重フィルタ／カーネルマトリクス１４７との間で適用される。次いで、Ｖｃｎｎ１４７として表される単語の固定次元表現を得るために、max-over-timeプーリング演算が適用される。この特定のＣＮＮレイヤ１４４は、一例であるよう意図され、様々な演算及び数のレイヤを備えた他のＣＮＮ又は再帰型ニューラルネットワーク（ＲＮＮ）レイヤも使用されてよい。
【００６２】
文字ＬＳＴＭレイヤ１４２は、ＬＳＴＭ−ＣＲＦモデル１００のアーキテクチャにおける双方向ＬＳＴＭレイヤ１２０と類似している。ＬＳＴＭレイヤ１２０で行われるようにセンテンス内の単語のシーケンスを入力としてとることに代えて、文字ＬＳＴＭレイヤ１４２は、単語内の文字のシーケンスを入力としてとる。次いで、文字ＬＳＴＭレイヤ１４２は、２つのシーケンス［ｈｔｆ；ｆｔｂ］の最終ステップを連結させて出力する。これは、Ｖｌｓｔｍとして表され得る。
【００６３】
文字ＣＮＮレイヤ１４４及び文字ＬＳＴＭレイヤ１４２の両方が、文字埋め込みを学習するために使用される。文字ＭＩＸレイヤ１４８は、文字ＣＮＮレイヤ１４４及び文字ＬＳＴＭレイヤ１４２の両方から出力をとり、それらを連結させてＶｍｉｘ＝［Ｖｃｃｎ；Ｖｌｓｔｍ］とする。これは、上述される文字埋め込みレイヤ１４０のｄ１次元ベクトルＶｃｈａｒと同じである。
【００６４】
ＬＳＴＭ−ＣＲＦモデル１００では、ドメインボキャブラリ１６２又は外部タグ付けツール１５２のどちらか一方からのドメイン知識が、レキシコン埋め込みレイヤ１５０及び余分タグ付け埋め込みレイヤ１６０を通じて導入されてよい。
【００６５】
図２は、レキシコン埋め込み及び余分タグ付け（extra  tagging）埋め込みが生成され得る方法について説明する。
【００６６】
ボキャブラリに存在する事前知識は、双方向ＮＬＰタスクにおいて重要な役割を果たす。ハンドクラフト特徴に基づく多数の、規則に基づいたシステム又は従来の機械学習システムが、開発されてきた。これらは、特に、生物医学ＮＬＰドメインで、事前ドメイン知識を取得するためにボキャブラリを利用する。このドメイン知識の統合は、表現認識タスクにおいて有益であり得る。
【００６７】
レキシコン埋め込みを生成することは、ボキャブラリデータベース２１０を利用する。ボキャブラリデータベース２１０は、ボキャブラリのためのＴＲＩＥ辞書２２０を構築するために使用される。ＴＲＩＥ辞書２２０は、新しいエントリがボキャブラリデータベース２１０に加えられるか、エントリがボキャブラリデータベース２１０から削除されるか、あるいは、エントリがボキャブラリデータベース２１０において更新される場合に、ＴＲＩＥ辞書２２０を更新することによって、容易に保持２１４もされ得る。ＴＲＩＥは、頻繁な単語／フレーズ照合のための効率的なデータ構造である。入力センテンス２００が受け取られ、ＴＲＩＥ辞書２２０はクエリ２３０される。如何なる照合結果にも基づいて、クエリは、タグ付けシーケンスを出力として供給する。例えば、センテンス“・・・new  diagnoses  of  prostate  cancer・・・”において、“prostate  cancer”というフレーズがＴＲＩＥ辞書においてマッピングされるので、クエリは、“prostate  cancer”というフレーズを“B-disorder  I-disorder”としてタグ付けする。タグ付け結果２３５は、レキシコン埋め込みＶｌｅｘ１６０を生成するために更に使用される。これは、レキシコン埋め込みマトリクス１６０において、タグ付けされたフレーズ、本例では“prostate  cancer”についてのエントリを生成することによって達成される。新しいエントリに関連する埋め込み値は、ＬＳＴＭ−ＣＲＦモデル訓練中に埋め込み値の収束を改善するよう無作為化されてよい。
【００６８】
余分タグ付け埋め込みの生成は、上述されたレキシコン埋め込みの生成と類似している。余分タグ付け埋め込みを生成することは、ボキャブラリデータベースの代わりに、臨床ＮＬＰエンジン２５０を利用してよい。各入力センテンス２００について、臨床ＮＬＰエンジン２５０はクエリ２６０され、タグ付けシーケンスは出力される。タグ付け結果２７０は、余分タグ付け埋め込みＶｔａｇ１５０を生成するために更に使用される。これは、余分タグ付け埋め込みマトリクス１５０において、タグ付けされたフレーズ、本例では“prostate  cancer”についてのエントリを生成することによって達成される。新しいエントリに関連する埋め込み値は、ＬＳＴＭ−ＣＲＦモデル訓練中に埋め込み値の収束を改善するよう無作為化されてよい。
【００６９】
レキシコン埋め込み１６０及び余分タグ付け埋め込み１５０はまた、他の方法によって更新されてもよい。１つの方法は、ラベルなしテキストにおいて疾患を識別するか、あるいは、ＬＳＴＭ−ＣＲＦモデル１００の出力を解析してエラーを識別する人間のドメインエキスパートを伴ってよく、そのようなフィードバックは、レキシコン埋め込み１６０又は余分タグ付け埋め込み１５０を更新するために使用されてよい。入力センテンス２００は、関心のあるラベルなしコーパスに由来してもよい。
【００７０】
レキシコン埋め込みＶｌｅｘ１６０及び余分タグ付け埋め込みＶｔａｇ１５０は、図１に示されるようなＬＳＴＭ−ＣＲＦモデル１００のアーキテクチャに組み込まれてよい。具体的に、レキシコン埋め込みＶｌｅｘ１６０及び余分タグ付け埋め込みＶｔａｘ１５０は、それらを単語埋め込み１３０及び文字埋め込み１４０と連結させて、連結ベクトル［Ｖｗｏｒｄ；Ｖｃｈａｒ；Ｖｌｅｘ；Ｖｔａｇ］をもたらし、双方向ＬＳＴＭレイヤ１２０のための入力となることによって、双方向ＬＳＴＭレイヤ１２０の前に組み込まれてよい。このような付加的な組み込みは、ＬＳＴＭ−ＣＲＦモデル１００の能力及び性能を、訓練のための利用可能な適切にラベル付けされたコーパスのみを用いて可能であるものを越えて拡張し得る。レキシコン埋め込み１６０及び余分タグ付け埋め込み１５０は、個々に、又は組み合わせて、ドメイン知識埋め込みと呼ばれ得る。ドメイン知識埋め込みは、ドメイン知識に基づくＬＳＴＭ−ＣＲＦモデルに加えられる如何なる埋め込みも含む。
【００７１】
図３は、余分タグ付け埋め込み及びレキシコン埋め込みを使用する疾患注釈付けシステムを表す。ＬＳＴＭ−ＣＲＦモデル１００は、図１に表されているものと同じである。最初に、注釈付けされた訓練データ３２５が、適切にラベル付けされたコーパス３２０から抽出される。データ予備処理モジュール３３０は、注釈付けされた訓練データ３２５を受け取り、このデータの予備的処理を行って、初期単語埋め込みデータ１３０及び文字埋め込みデータ１２０を生成する。次いで、ＬＳＴＭ−ＣＲＦモデル１００は、訓練データ３３５を用いて訓練される。次いで、ＬＳＴＭ−ＣＲＦモデル１００は、デプロイされてよい。
【００７２】
デプロイメント中、ＬＳＴＭ−ＣＲＦモデルは、ラベルなしデータ１２６を受け取り、疾患注釈３０５を生成してよい。それらの疾患注釈３０５は、人間のドメインエキスパートによる解析のためにフィードバックストレージ３１０に格納されてよい。例えば、人間のドメインエキスパートは、ＬＳＴＭ−ＣＲＦモデルによって出力されたドメイン出力注釈３０５が正しいかどうかを判定してよい。更に、ラベルなしコーパスも、人間のドメインエキスパートによる解析のためにフィードバックストレージ３１０に格納されてよい。人間のドメインエキスパートは、人間フィードバック３１１を生成してよく、人間フィードバック３１１は、フィードバックラベルデータストレージ３１５に格納される。人間フィードバック３１１も、ボキャブラリデータストレージ２１０を更新するために使用されてよい。更に、ラベルなしコーパス３１２は、ラベルなしコーパスデータストレージ３１７に格納されてもよい。
【００７３】
再訓練判断エンジン３４０は、十分な追加量のドメイン情報がＬＳＴＭ−ＣＲＦモデル１００の再訓練を正当だと判断するために受け取られていることを決定するよう、フィードバックラベルストレージ、ボキャブラリラベルストレージ、及びラベルなしコーパスストレージへの更新を評価してよい。この決定はまた、再訓練を実行するために必要とされることになる現在の処理アセットの利用可能性及びコストを考えてもよい。更に、疾患注釈付けシステムの性能はモニタされてよく、性能が指定された閾値を下回る場合には、再訓練がやはり開始されてよい。再訓練が未だ正当だと判断されない場合には、ＬＳＴＭ−ＣＲＦモデル１００は動作し続ける。再訓練が必要であると再訓練判断エンジン３４０が決定すると、次いで、そのような再訓練要求３４５がデータ予備処理モジュール３３０へ送られる。
【００７４】
データ予備処理モジュール３３０が再訓練要求３４５を受け取るとき、それは、ラベルなしコーパスデータを入力として用いて、図２に記載されるように余分タグ付け埋め込みデータ１５０及びレキシコン埋め込みデータ１６０を生成してよい。更に、人間フィードバックは、余分タグ付け埋め込みデータ１５０及びレキシコン埋め込みデータ１６０の一方又は両方に組み込まれてもよい。次いで、ＬＳＴＭ−ＣＲＦモデル１００は、様々な、更新されたデータを用いて再訓練される。
【００７５】
この再訓練は、更新及び改善された疾患注釈付けシステム及びプロセスをもたらす。時間とともに、追加のドメインエキスパート入力が追加のボキャブラリデータ及び臨床ＮＬＰエンジンからの出力とともに受け取られるにつれて、ＬＳＴＭ−ＣＲＦモデルは、疾患注釈付けプロセスの精度及び範囲を改善する。従って、小規模の、適切にラベル付けされたコーパスしか存在しない場合に、疾患注釈付けプロセスは、余分タグ付け埋め込み及びレキシコン埋め込みを用いて様々ソースからの追加データの入力により時間とともに依然として改善され得る。先と同じく、上述されたように、そのような実施形態は、全ての異なる種類のドメイン知識が集められ、注釈付けプロセス又は他のＮＬＰプロセスの性能を改善する更なる埋め込みレイヤへ入力されるところの他のアプリケーションで適用されてよい。他の注釈付けタスク又はアプリケーションの例には、ドメイン固有ボキャブラリ、専門用語、オントロジーコーパス、などが注釈付けモデルの性能を改善するよう追加の知識を提供し得る発話部分（parts-of-speech）タグ付け、固有表現認識（ＮＥＲ）、イベント識別、意味役割ラベル付け、時間注釈付け、などがある。
【００７６】
図４は、第２ドメインでの使用のためにマイグレートされ得る、第１ドメインで訓練されるＬＳＴＭ−ＣＲＦモデルを表す。第１ドメインで開発されたモデルが、第１ドメインからの重要なドメイン固有特徴を残しながら、第２ドメインでの使用のために適用され得る状況がある。ＬＳＴＭ−ＣＲＦモデル４００は、図１のＬＳＴＭ−ＣＲＦモデルと非常に類似している。ＬＳＴＭ−ＣＲＦモデル４００は、図１のＬＳＴＭ−ＣＲＦモデル１００から同じラベルを持ち続ける。タグ付けツール１５２及びボキャブラリツール１６２は、図１及び図２に関して上述されたようにドメイン固有知識を生成するために使用される。このドメイン固有知識は、上述されたように余分タグ付け埋め込みレイヤ１５０及びレキシコン埋め込みレイヤ１６０に組み込まれる。相違点は、余分タグ付け埋め込みレイヤ１５０及びレキシコン埋め込みレイヤ１６０からの情報も入力としてＣＲＦレイヤ１１０へ供給されることである。これは、余分タグ付け埋め込みレイヤ１５０からＣＲＦレイヤ１１０へのデータ接続４０５と、レキシコン埋め込みレイヤ１６０からＣＲＦレイヤ１１０へのデータ接続４１０ととして表されており、この結果、ＣＲＦレイヤ１１０のための入力として［ｈｉｆ；ｈｉｂ；Ｖｌｅｘ；Ｖｔａｇ］の連結ベクトルが得られる。それらの追加接続４０５及び４１０は、余分タグ付け埋め込みレイヤ１５０及びレキシコン埋め込みレイヤ１６０で符号化された追加のドメイン知識がアーキテクチャの様々なレイヤでＬＳＴＭ−ＣＲＦモデル４００の出力により直接的に作用することを可能にする。これは、余分タグ付け埋め込みレイヤ１５０及びレキシコン埋め込みレイヤ１６０のためのデータを生成し、それから、第２ドメインからのデータによりＬＳＴＭ−ＣＲＦモデルを訓練することによって、達成される。結果として、第１ドメインからの有用な学習は、モデルを第２ドメインに拡大するときに維持され得る。
【００７７】
上記の実施形態の様々な特徴は、既存の疾患注釈付けシステム、ＮＥＲシステム、及び他のＮＬＰシステムに対する技術的な改善及び進歩をもたらす。そのような特徴は、制限なしに、追加のドメイン知識に基づくレキシコン埋め込み及び余分タグ付け埋め込みの付加と、臨床ＮＬＰエンジン、ＴＲＩＥ辞書として実装されるボキャブラリデータベース、及びドメインエキスパートからのフィードバックを用いてラベルなしコーパスから疾患情報を抽出することと、単語の文字に対してＬＳＴＭレイヤとともにＣＮＮレイヤを使用することと、ＣＲＦレイヤへの入力としてレキシコン埋め込み及び余分タグ付け埋め込みを使用することとを含む。
【００７８】
本明細書で記載される実施形態は、関連するメモリ及びストレージを備えたプロセッサで実行されるソフトウェアとして実装されてよい。プロセッサは、メモリ若しくはストレージに記憶されている命令を実行すること又は別なふうにデータを処理することが可能な如何なるハードウェアデバイスであってもよい。そのようなものとして、プロセッサは、マイクロプロセッサ、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、グラフィクス処理ユニット（ＧＰＵ）、特殊化されたニューラルネットワークプロセッサ、又は他の同様のデバイスを含んでよい。
【００７９】
メモリは、例えば、Ｌ１、Ｌ２若しくはＬ３キャッシュ又はシステムメモリのような様々なメモリを含んでよい。そのようなものとして、メモリは、静的ランダムアクセスメモリ（ＳＲＡＭ）、動的ＲＡＭ（ＤＲＡＭ）、フラッシュメモリ、リードオンリーメモリ（ＲＯＭ）、又は他の同様のメモリデバイスを含んでよい。
【００８０】
ストレージは、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、又は同様の記憶媒体などの１つ以上の機械読み出し可能な記憶媒体を含んでよい。様々な実施形態で、ストレージは、プロセッサによる実行のための命令又はプロセッサが作用し得るデータを記憶してよい。このソフトウェアは、上記の様々な実施形態を実装してよい。
【００８１】
更に、このような実施形態は、マルチプロセッサコンピュータシステム、分散コンピュータシステム、及びクラウドコンピューティングシステムで実装されてよい。
【００８２】
本発明の実施形態を実装するようプロセッサで実行される特定のソフトウェアの如何なる組み合わせも、特定の専用機械を構成する。
【００８３】
本明細書で使用されるように、「非一時的な機械読み出し可能な記憶媒体」という用語は、一時的な伝搬信号を含まず、全ての形態の揮発性及び不揮発性メモリを含むと理解される。
【００８４】
様々な、例となる実施形態が、その特定の、例となる態様を特に参照して、記載されてきたが、本発明は、他の実施形態が可能であり、その詳細は、様々な自明な点において変更が可能である、と理解されるべきである。当業者に容易に明らかであるように、変形及び変更は、本発明の精神及び範囲を越えずに実現可能である。従って、上記の開示、明細書、及び図は、もっぱら例示を目的とし、決して本発明を制限せず、本発明は、特許請求の範囲によってのみ定義される。
【図１】
2021522569.tif 000003
【図２】
2021522569.tif 000004
【図３ａ】
2021522569.tif 000005
【図３ｂ】
2021522569.tif 000006
【図４】
2021522569.tif 000007
【国際調査報告】
2021522569.tif 000008
2021522569.tif 000009
2021522569.tif 000010