AI 特許紹介(30)AI 特許を学ぶ！究める！
～アテンション機構を用いた臨床イベント予測特許～
2021 年 7 月 9 日
河野特許事務所所長 弁理士 河野英仁
「AI 特許紹介」シリーズは、注目すべき AI 特許のポイントを紹介します。熾烈な競争となっている第４次産業革命下では AI 技術がキーとなり、この AI 技術・ソリューションを特許として適切に権利化しておくことが重要であることは言うまでもありません。
AI 技術は Google, Microsoft, Amazon を始めとした IT プラットフォーマ、研究機関及び大学から毎週のように新たな手法が提案されており、また AI 技術を活用した新たなソリューションも次々とリリースされています。
本稿では米国先進 IT 企業を中心に、これらの企業から出願された AI 特許に記載された AI テクノロジー・ソリューションのポイントをわかりやすく解説致します。
1.概要
特許出願人 Google
出願日 2017 年 8 月 30 日
公開日

2019 年 1 月 31 日

公開番号 US2019/0034591
発明の名称

電子健康記録から医療イベントを予測および要約するためのシステムと方法
591 特許は、病院における患者の記録に基づき将来の臨床イベントを予測するとともに、アテンション機構を用いて注目すべき過去の医療イベントを表示するアイデアに関する。

2.特許内容の説明
図 1 は、電子健康記録から医療イベントを予測して要約するためのシステム 10 を示す。システムは、以下の 3 つの構成要素を含む。

1

第 1 に、薬剤、検査値、診断、バイタルサイン、および医療ノート(たとえば、診療医師および看護師によって書かれたフリーテキストノート)を含む、多様な年齢、健康状態、および人口統計の多数の患者からの集約電子健康記録 22 を格納するコンピュータメモリ 24 である。集約電子健康記録は、単一の標準データ構造フォーマットに変換され、発生順に患者ごとに並べられる。種々の機関 14(たとえば、大学医療センタ、病院システムなど)からの大量の患者の未加工電子健康記録 12 は、現在使用中の多種多様の旧式の電子健康記録システムが原因で、様々な異なる電子フォーマットでフォーマットされている場合がある。未加工健康記録 12 は、患者が非特定化され、コンピュータネットワーク 16 で送信され、リレーショナルデータベース(RDB:relational database)20に格納され、コンピュータシステム 18 によって標準フォーマットに変換され、メモリ2

24 に格納される。
第 2 に、システムは、単一の標準データ構造フォーマットに変換された時系列順の集
約健康記録 22 でトレーニングされた複数の深層学習モデル(28、30、32)を実行するコンピュータ 26 を含む。深層学習モデルは、患者 36 の入力電子健康記録 38 に基づいて、将来の臨床イベントを予測し、予測した将来の臨床イベントに関する関連のある過去の医療イベント(たとえば、問題、状態、テスト結果、薬剤など)を要約するためにトレーニングされる。
第 3 に、
システムは、患者を治療する医療提供者が使用する電子デバイス 40 を含み、患者について予測した将来の臨床イベント、および関連のある過去の医療イベントを表示するクライアント(医療提供者)対向インターフェースで構成される。
図２は、時系列順に未加工電子健康記録を FHIR リソースに変換するための手順を示す図である。

3

患者の未加工電子健康記録 12 は、遭遇テーブル 50(医師の診察室、検査室、病院などへの患者の全ての受診)、全ての検査室テストおよび結果を含む検査テーブル 52、ならびにバイタルサインデータ、医療ノート(フリーテキスト)、人口統計学データ、診断、フローシートなどのデータを含む他のテーブル(図示せず)を含む。未加工データを表す
これらのテーブル 50、52 は、図 1 の RDB20 に格納される。
4

次に、コンバータ 18 は、未加工データを標準フォーマット、この例においては、図2 に示されるような FHIR リソース 22A、22B、22C、22D 等のコレクションに変換する。各患者について、このような FHIR リソースの「束」またはセット 22 が存在する。
図 2 の 54 において示されるように、これらのリソースは、その後、タイムライン作り出すために時系列順に、または EHR 内の全てのデータの発生順に配置される。
図 1 に示されるように、システムは、単一の標準データ構造フォーマットに変換された時系列順の集約健康記録 22 でトレーニングされた深層学習モデル 28、30、および32 を実行するコンピュータ 26 を含む。モデルは、患者 36 の入力電子健康記録 38 に基づいて 1 つまたは複数の将来の臨床イベントを予測し、予測した将来の臨床イベントに関する関連のある過去の医療イベントを要約する。
深層学習モデルのうちの少なくとも 1 つは、将来の臨床イベント、および予測した将来の臨床イベントに関連のある過去の医療イベントを予測するために、どれだけ多くの注目(すなわち、どれだけ重大であるか)をモデルが「トークン」(すなわち、ノート内の個々の単語、薬剤、検査結果などの電子健康記録内の微細要素)に示したかを示す注目機構を含む。
重み付けされた回帰型ニューラルネットワークモデルである長短期メモリ(LSTM)モ
デル 28、
時間認識フィードフォワードモデル(FFM)30、および、ブースト型時間認識スタンプを伴うフィードフォワードモデルとも呼ばれる、埋込みブースト型時系列モデル 32、という 3 つの異なるモデルを使用する。LSTM モデル 28
及び時間認識 FFM モデル 30 にはアテンション機構が組み込まれている。以下では、
LSTM モデル 28 及び時間認識 FFM モデル 30 について解説する。
図 3C1 及び C2 は LSTM モデルにおける処理の流れを示す説明図である。

56(1)各特徴カテゴリ(たとえば、薬剤、ノート、バイタルサイン)に対して、各データポイントが、Dcategory の大きさのベクトルに埋め込まれる。
(2)全てのデータは、たとえば 1 日のバッグの中で考えられる。特徴タイプごとに、バッグ内の全てのベクトルに対して重み付き平均が計算される。たとえばこのバッグに対する平均薬剤ベクトルが計算される。
(3)1 日のバッグごとに、全ての平均特徴ベクトルが結合され、全ての特徴タイプに対して、大きさ D=Dmedication+Dnote+Dvital のベクトル等を生じる。
(4)これらの平均ベクトルは、LSTM モデルに入力され、各ベクトルは、シーケンス内の 1 つのステップを表す。
7

(5)LSTM の出力は、softmax 関数(たとえば 1 次診断を識別する複数クラス分類のため)、またはロジスティック関数(たとえば死といった確率タスクのため)に入力される。
図 3A1 及び A２は、時間認識 FFM モデル 30 の処理の流れを示す説明図である。

8

ステップ(1)は、たとえば予測の瞬間に対する相対的なタイムスタンプ(デルタ時間)を有する元の EHR 内のデータを示す。
ステップ(2)は、各データ要素が埋め込まれていることを示し、d 次元ベクトルに変換されたことを意味する(この変換はモデルによって学習される)。
ステップ(3)は、各デルタ時間が埋め込まれていることを示し、区分線形分割を相互にエンコードする k 関数を使用して、k 次元ベクトルに変換されたことを意味する(この変換はモデルによって学習され、所定のまたは学習された関数 A1...Ak のバンクを生じる)。
9

ステップ(4)は、アテンションデータ射影行列を生じるように、学習された射影行列にデータ埋込みを乗じる。これは、列ドット積演算子を使用して時間埋込み行列を乗じて、α ベクトルを生じる。
ステップ(5)は、α ベクトルが softmax 関数に位置付けられ、β ベクトルを生じることを示す。
ステップ(6)において、βベクトルにデータ埋込み行列を乗じ、最後にシグモイドまたは softmax 関数によって、フィードフォワードネットワークに入力される次元 D の低減されたレコードベクトル(すなわち、内部 ReLu(矯正線形ユニット)のいくつかのレイヤ)を生じ、予測出力を生じる。モデルの出力は、シグモイドの出力であり、ステップ(4)から学習された注目ベクトルである。

図 4 は、薬剤、遭遇、処置、ノート、指示などを含む患者のタイムラインまたは一連のイベントにおける、深層学習モデルにおける注目機構の結果を示す EHR 内のデータの表示 64 の 1 つの形式の例証である。この例において、それぞれの丸は、薬の投与、検査室テスト、処置、ノート、または指示などの予測に関する特定のイベントの発生(この場合、入院患者の死という予測リスク)を示す。タイムラインは、患者が入院した日付、およびこの例において、2 日にわたる特定の時点におけるこれらの記録の抜粋(たとえば、薬剤、ノート、レポートなど)を示す。

10

図 5 は、アテンション(重要性、または重み)に対応するノート内の個々の単語に与えられた強調の度合い(大きさ、太さなど)を伴うノートの抜粋の形で、深層学習モデルにおけるアテンション機構の結果を示す。単語は、深層学習モデルによって生成された臨床予測に対するものであり、医療履歴における特定の薬剤は、予測(肺炎および貧血を伴う転移性黒色腫という診断)に対するものである。EHR 内のフリーテキストノートからの用語「黒色腫」、「転移性」、「エンケースメント」、「喀血」等は、EHR のこれらの要素がモデルによって生成された予測に関係するか、関連する提供者に注目を向けるために、より大きいフォント、およびより濃い色で示される。

3.クレーム591 特許のクレーム 1-3 は以下の通りである。
1. システムにおいて、
a)標準化されたデータ構造形式を持ち、時系列に並べられた患者の入力電子健康記録について、1 つ以上の将来の臨床イベントを予測し、予測された一つ以上の将来の臨床イベントに関する過去の医療イベントを要約するために、単一の標準化されたデータ構造形式に変換され、患者ごとに順序付けられた配置で、集約された健康記録でトレーニングされた 1 つ以上の深層学習モデルを実行するコンピュータと、
b)予測された 1 つまたは複数の将来の臨床イベントおよび患者の関連する過去の医療イベントを表示するように構成された、患者を治療する医療提供者が使用するための電子デバイスの医療提供者向けインターフェースとを備える。
2. クレーム１のシステムにおいて、電子デバイスのインターフェースは、以下の表示を含む。
（1）1 つ以上の将来の臨床イベントへの警告、（2）アラートに関連する主要な医学的問題または状態、および（3）アラートに関連するメモまたはその抜粋。
3. クレーム２のシステムにおいて、1 つ以上の深層学習モデルの少なくとも 1 つには、
11

1 つ以上の将来の臨床イベントを予測し、予測された 1 つまたは複数の将来の臨床イベントに関する関連する過去の医療イベントを要約するために、1 つ以上のモデルの少な
くとも 1 つが電子健康記録の要素にどれだけ注意を向けたかを示すアテンション機構がそれぞれ含まれており、メモまたはその抜粋の表示は、アテンション機構の適用からの結果を示す方法で表示される。

4. 本特許に関する論文
本特許に関連する論文1「Scalable and accurate deep learning with electronic healthrecords」が Alvin Rajkomar 氏らにより発表されている。

上記図は悪性胸水と膿を伴う転移性乳がんの女性に対する臨床イベントの予測を示している。
図の上部にある患者のタイムラインには、患者に対して少なくとも 1 つのトークンが存在するすべての時間ステップの円が含まれており、水平線はデータタイプを示している。また入院後 24 時間で行われた予測の直前の最新のデータポイントのクローズアップビューを示している。
1A Rajkomar

著 · 2018 “Scalable and accurate deep learning with electronic
health records” Nature Partner Journals: Digital Medicine
12データ型ごとにモデルをトレーニングし、モデルが注意したトークンには赤色でハイライトされている。またハイライトされていないテキストは、注意されていないがコンテキストとして示されている。モデルは、予測に関連する投薬、看護フローシート、および臨床メモの特徴をピックアップしている。

上記図は、受信者動作特性曲線を示すグラフである。
入院の前後 12 時間の増分でディープラーニング（実線）とベースラインモデル（点線）によって作成された入院患者の死亡率の予測を示している。
入院患者の死亡率については、カリフォルニア大学サンフランシスコ校 (UCSF) とシカゴ大学 (UCM) コホートの両方のベースラインと比較して、ディープラーニングモ
デルはすべての予測時間で高い精度を達成している。
以上
著者紹介
河野英仁
河野特許事務所、所長弁理士。立命館大学情報システム学博士前期課程修了、米国フラ13ンクリンピアースローセンター知的財産権法修士修了、中国清華大学法学院知的財産夏季セミナー修了、MIT(マサチューセッツ工科大学)コンピュータ科学・AI 研究所 AI コース修了。
AI 特許コンサルティング、医療 AI 特許コンサルティングの他、米国・中国特許の権利化・侵害訴訟を専門としている。著書に「世界のソフトウエア特許(共著)」、「FinTech特許入門」、「AI/IoT 特許入門 2.0」、「ブロックチェーン 3.0(共著)」がある。

14