日本医学会分科会用語委員会

⾔語モデルによる⽣成系AIの仕組みとその医療での活⽤における展望と課題
東京⼤学 ⼤学院医学系研究科
疾患⽣命⼯学センター 医⼯情報学部⾨
⽇本医療情報学会
今井 健
1

⽣成系AIと⾔語モデル• ⽣成系AI– 学習済みのデータを元に、新たなコンテンツを⽣成するAIモデルの総称– 当初 “分類” のみだった深層学習が “⽣成” へ発展• ⼊⼒を encode した「内部表現」を任意の decoder に渡す– テキスト→画像、画像→画像、画像→テキスト• ⾔語モデル(Google)(Stable Diffusion)– ⼊⼒された⽂字列に対し、次以降の⽂字列を⽣成して出⼒するモデルの総称– 従来の統計的モデルから、近年深層学習モデルへ転換– ⽣成系AIの１つ– 巨⼤なテキストデータを⽤いて⾃動学習された深層学習ベースの⾔語モデルが⼤規模⾔語モデル (LLM)22018年〜 テキスト解析技術の急速な進化〜 深層学習ベースの⾃然⾔語処理 〜• 深層学習技術の各領域での進展– 2012年に画像認識で深層学習がブレークスルー（当時は “分類” タスクが主流）– 2015年に画像・⾳声分野で⼈間を超える精度を達成
2018年頃から⾃然⾔語処理分野で急激に性能が向上、2019年にGLUEベンチマークで⼈間を超える精度を達成• 現在のLLMベース⾃然⾔語処理の主流技術– 基本：⾔葉の “意味” をベクトルとして扱う– Step1) ⾔語モデル（⾔語⽣成モデル）の獲得• ⼤量のテキストデータからその領域の⾔語の “成り⽴ち” に関する情報をニューラルネットの “重み” として⾃動で取得• ⼊⼒された⽂字列から• ⼈⼿がつけた正解は不要で、学習においてスケール可能– Step2) ⾔語モデルのファインチューニング
• ⽬的のタスクに合わせて、追加の学習により調整を⾏う• (例): 情報抽出、翻訳、要約、質問応答
3

⾃然⾔語処理の急速な性能向上を⽀える
⼤規模⾔語モデル (LLM)
Transformer (Google, 2017)

BERT (Google, 2018)

Attention機構を導入

T5 (Text-to-text transfer transformer) (Google, 2020)

GPT (OpenAI, 2018)
GPT-2 (OpenAI, 2019)
GPT-3 (OpenAI, 2020)
ChatGPT (OpenAI, 2022)
4⾃然⾔語処理の急速な性能向上を⽀える
⼤規模⾔語モデル (LLM)
Transformer (Google, 2017)

BERT (Google, 2018)

共通しているのは大量のテキスト集合 （コーパス） を収集し自己復元など「正解づけ不要」のタスク で言語モデルを学習
これを元に、翻訳・質問応答・情報抽出・要約、、、T5 (Text-to-text transfer transformer) など(Google, 2020)
多くのタスクに応用する
今、世界中で様々な「言語モデル」開発合戦
GPT (OpenAI, 2018)
GPT-2 (OpenAI, 2019)
GPT-3 (OpenAI, 2020)
ChatGPT (OpenAI, 2022)
5⾃然⾔語処理の急速な性能向上を⽀える
⼤規模⾔語モデル (LLM)
Transformer (Google, 2017)

BERT (Google, 2018)

GPT-3: 1750億個のパラメータT5 (Text-to-text transfer transformer) (Google, 2020)

GPT (OpenAI, 2018)
GPT-2 (OpenAI, 2019)
GPT-3 (OpenAI, 2020)
ChatGPT (OpenAI, 2022)

仮に市場で最も低価格のGPUクラウドを使った場合、訓練に460万ドル(約４億9000万円)と 355年 必要

6⾃然⾔語処理の急速な性能向上を⽀える
⼤規模⾔語モデル (LLM)
・【スケール則】： テキストデータ量、パラメータ数を増加させるほど精度が向上する・パラメータを増加させることで突然できるようになるタスクが存在する、振る舞いが明らかに変わる、といった現象（“創発”）も観測される

https://arxiv.org/pdf/2104.04473.pdf

7

Transformer

現在の主要なLLMと技術
次の出力

Decoder
Encoder

Encoderモデル•••(例) BERT: TransformerのEncoder部分を多層に積み上げたもの
得られたモデルの上に、別なネットワークを積み上げ、タスクに特化した Fine-Tuning を行う。
生成より、分類、抽出に向いている

Encoder-Decoderモデル•••
入力

これまでの出力結果

Instruction Tuning•••(例) T5: TransformerのEncoder, Decoder双方を用いたもの
入力文をEncodeし、その結果を参照しながらDecoderで出力文を逐次生成していく抽出などよりも、翻訳や要約などの変換タスクに向いている

Decoder-Only モデル•••(例) Llama/GPT: Transformerの Decoderのみを用いたもの
入力文と出力文の先頭をDecoderに入力し、続く出力をDecoderのみにて逐次生成。
ChatGPTのような指示文に基づく出力生成に用いられる

Decoder-Onlyモデルに対し、指示文 (instruction) に基づいた適切な出力を追加で学習させる
Fine Tuning の１種。
様々なタスクで事前に Instruction Tuning を行っておくと、言語モデル自体の性能が向上。
未知のタスクについても精度が上がる
最近の公開モデルはこれを施した後のものが配布されていることが多い

8

ChatGPT (OpenAI, 2022/11/30)
••
•
•
•
•

⼤規模⾔語モデルGPT-3、その後継のGPT-3.5をベースに開発されたチャットボット
⾃然な意味理解と会話が可能。性能の⾼さから各所で話題にやりたいことからプログラミングコードを⽣成することも可能
冗談も⾔える公開から1週間で100万ユーザ、2ヶ⽉で1億ユーザに到達
ニューヨーク、シアトル州の公⽴学校ではChatGPTの宿題への利⽤を禁⽌

9

医学における検証論⽂ (2023/2/9)
Feb. 9, 2023

・米国医療免許試験 (USMLE) で ChatGPT のパフォーマンスを評価
・合格水準（約60%) に近い精度で解答可能
・医学教育への応用可能性
102023/3/14 ChatGPT-4 リリース
従来のChatGPTより大幅に進化テキストだけでなく画像・音声も同時入力可能

・司法試験模擬試験に上位１0%の成績で合格

11

従来のChatGPTより大幅に進化
Q: 家族性地中海熱の診断方法と治療方法を教えてください。
A: 家族性地中海熱（Familial Mediterranean Fever、FMF）の診断方法と治療方法については以下の通りです。

【診断方法】
・症状や家族歴からの臨床的診断が主体である。
・遺伝子検査により、Mediterranean fever (MEFV) 遺伝子に異常があるかどうかを調べることができる。
・発症頻度が高い地中海沿岸地域出身者や中東地域出身者に対しては、症状のある場合でも遺伝子検査が陰性となることもあるため、臨床症状との照合が必要である。
【治療方法】
・炎症を起こしている場合は、非ステロイド性抗炎症薬（NSAIDs）やコルヒチンが使われる。
・NSAIDsは炎症を抑える作用があり、症状の軽減に効果的である。
・コルヒチンは、FMFの治療に特に有効な薬剤であり、発作を減少させ、症状の予防にも使われる。
・コルヒチンの投与量は個人差があり、治療開始時は低用量から始め、徐々に増量する。
・炎症性腸疾患や関節炎の場合は、ステロイド薬が使用されることもある。
・症状の管理には、適切な運動や食事管理が重要である。
なお、治療には症状の軽減だけでなく、発作の頻度を減らすことや、合併症を予防することが重要であるため、治療の適切な管理が必要です。また、自己判断で治療を中断することは避け、必ず医師の指示に従うようにしましょう。
12

“知識提供” という観点からの一定のフィルタリング

13

直後の科学界の反応 (2023/3)

限界を理解した上での使い方が重要。倫理面での課題も。
論文における使用をどう制限するか。推敲はOK“ChatGPTはゲームチェンジャーですが、私たちはまだプレイする準備ができていないのです。”
しかし 文中の評価は ChatGPT3 の時のもの。既に追いついていない。

14

⼤規模⾔語モデルを⽤いた⾃然⾔語処理の他の医療応⽤例・どのような可能性があるか

15例) 医⽤テキストからの⾃動知識抽出(Step1)(元の症例報告文章)
症例1は59歳、女性。十二指腸の消化管間葉系腫瘍(GIST)に対してsunitinib_50mg/日×4日間、9日間休薬を3クール施行されたところ、FT4高値、TSH抑制のため当科紹介となった。甲状腺超音波検査では両葉の血流増加を認めず、抗TPO抗体・抗Tg抗体院生、TSHレセプター抗体陰性であり、sunitinibによる薬剤性の甲状腺中毒症を疑った。投薬は行わず、経過観察のみで甲状腺中毒症は軽快した。症例2は63歳、女性。以前より潜在性の甲状腺機能低下症があったが、左腎細胞癌の術後多発肺転移に対してsunitinibを投与されたところ、TSH19と上昇、甲状腺機能低下が顕在化した。
levothyroxineの補充療法を開始した。新規キナーゼ阻害剤である
sunitinibはGISTや腎細胞癌に対して用いられるようになったが、甲状腺機能低下症あるいは甲状腺中毒症の副作用が報告されている。文献的考察を含めて報告する。

重要箇所の自動マーキング

BERT + Fine Tuning(Step 2)

重要箇所抽出
症例1は59歳、女性。十二指腸の消化管間葉系腫瘍(GIST)に対してsunitinib_50mg/日×4日間、9日間休薬を3クール施行されたところ、FT4高値、TSH抑制のため当科紹介となった。甲状腺超音波検査では両葉の血流増加を認めず、抗TPO抗体・抗Tg抗体陰性、TSHレセプター抗体陰性であり、sunitinibによる薬剤性の甲状腺中毒症を疑った。投薬は行わず、経過観察のみで甲状腺中毒症は軽快した。症例2は63歳、女性。以前より潜在性の甲状腺機能低下症があったが、左腎細胞癌の術後多発肺転移に対してsunitinibを投与されたところ、TSH19と上昇、甲状腺機能低下が顕在化した。
levothyroxineの補充療法を開始した。新規キナーゼ阻害剤である
sunitinibはGISTや腎細胞癌に対して用いられるようになったが、甲状腺機能低下症あるいは甲状腺中毒症の副作用が報告されている。文献的考察を含めて報告する。

構造化

自動正規化・機械翻訳
T5 + Fine Tuning

名寄せ・用語化(Step3) 因果関係
自動推定

BERT + Fine Tuning

ある患者に起こった病態の “流れ” を因果連鎖の形で抽出
16

Step1) ⾃動マーキング例

青：正解 赤：予測 (濃さ probability)

17Step2) ⾃動正規化例
入力フレーズオリジナルT5モデル[薬剤副作用]チアマゾール(MMI)5mg/日内服にてFree T4は基準範囲内であった。72歳時より好中球数600~1300/μlと低く、アイソトープ治療や手術療法を勧めたが、患者は拒否していた。77歳時、定期受診時に好中球数430/μlと低下を認めた。MMIを中止し、ヨウ化カリウ
ム50mg/日を開始するも、翌日好中球数310/μlとさらに低下し、無顆粒球症の診断で入院

正規化 (用語的) 表現※ プロジェクト内で定められた構造化記法を使用

チアマゾール副作用[画像所見]
胸部CTでは右肺に少量胸水、びまん性の浸潤影、小葉中心性の粒状影、小葉間隔壁の肥厚を認めた

胸部CT = 胸水・びまん性浸潤影・粒状影・小葉間隔壁肥厚 @ 右肺

[病歴]
50%グルコース静注を施行し、26であった血糖値は改善

H：グルコース静注/(有効)18Step3) 自動因果推定例東海-196-022

吐血 [症]

・用語数: 11・全因果候補リンク: 110
・真因果リンク: 10・システム予測リンク: 12
Accuracy: 0.96
Precision: 0.75
Recall: 0.90

H: [抗血小板剤] 内服
上部消化管内視鏡検査=急速増大した＊隆起性病変@胃体上部前壁＊Hb/低下・BUN/上昇

CA-19-9/陽性

胃癌

アルブミン/低下
病理診断=低分化から中分化型腺癌
MIB-1_index/陽性
超音波内視鏡検査=〔豊富な〕動脈性の血管@病変部

胃楔状*切除
正しく予測 (TP)誤りだが除去可能 (FP)誤り (FP)
因果引けず (FN)のリンク
誤りだがシステムがショートカットを引いただけ
冗長なパスがある時はそちらを優先することで自動除去可能のリンク
純粋な誤り（人手チェックでの修正必要）19例) 医⽤テキストからの⾃動知識抽出(Step1)(元の症例報告文章)
症例1は59歳、女性。十二指腸の消化管間葉系腫瘍(GIST)に対してsunitinib_50mg/日×4日間、9日間休薬を3クール施行されたところ、FT4高値、TSH抑制のため当科紹介となった。甲状腺超音波検
査では両葉の血流増加を認めず、抗TPO抗体・抗Tg抗体院生、TSHレセプター抗体陰性であり、sunitinibによる薬剤性の甲状腺中毒症を疑った。投薬は行わず、経過観察のみで甲状腺中毒症は軽快した。症例2は63歳、女性。以前より潜在性の甲状腺機能低下症があったが、左腎細胞癌の術後多発肺転移に対してsunitinibを投与されたところ、TSH19と上昇、甲状腺機能低下が顕在化した。
levothyroxineの補充療法を開始した。新規キナーゼ阻害剤である
sunitinibはGISTや腎細胞癌に対して用いられるようになったが、甲状腺機能低下症あるいは甲状腺中毒症の副作用が報告されている。文献的考察を含めて報告する。

重要箇所の自動マーキング

重要箇所抽出
症例1は59歳、女性。十二指腸の消化管間葉系腫瘍(GIST)に対してsunitinib_50mg/日×4日間、9日間休薬を3クール施行されたところ、FT4高値、TSH抑制のため当科紹介となった。甲状腺超音波検査では両葉の血流増加を認めず、抗TPO抗体・抗Tg抗体陰性、TSHレセプター抗体陰性であり、sunitinibによる薬剤性の甲状腺中毒症を疑った。投薬は行わず、経過観察のみで甲状腺中毒症は軽快した。症例2は63歳、女性。以前より潜在性の甲状腺機能低下症があったが、左腎細胞癌の術後多発肺転移に対してsunitinibを投与されたところ、TSH19と上昇、甲状腺機能低下が顕在化した。
levothyroxineの補充療法を開始した。新規キナーゼ阻害剤である
sunitinibはGISTや腎細胞癌に対して用いられるようになったが、甲状腺機能低下症あるいは甲状腺中毒症の副作用が報告されている。文献的考察を含めて報告する。

BERT + Fine Tuning(F1: 0.74)
このようなタスクを支えるのもLLM
しかし大規模なモデルは国策が必要(Step 2)
自動正規化・機械翻訳T5 + Fine Tuning

名寄せ・用語化(Step3) 因果関係
自動推定

BERT + Fine Tuning

構造化例) 放射線読影レポートの構造化
original_report
左上葉に小結節影を認め、肺癌を疑う 。

LLMベースの構造化でもやり方が異なる〜組み上げ型から直接生成型へ〜
最近）テキスト生成型の手法

従来）組み上げ型の手法
左上葉に小結節影を認め、肺癌を疑う。

左上葉に小結節影を認め、肺癌を疑う。

固有表現抽出構造化Module

直接テキスト変換＞{"D": "肺癌 (+)","S": [{"Sf": "小結節影 (+)","M": {"Al": "左上葉 "}}]}

structured_report{"D": "肺癌 (+)","S": [{"Sf": "小結節影 (+)","M": {"Al": "左上葉 "}}]}

ベースモデル｜T5・Llama-2(0.2b・7b)JSON

左上葉に小結節影を認め、肺癌を疑う。
modifier

supportModified_by

左上葉diagnosis

関係抽出

小結節影

肺癌

Supported_by

結果を組み上げ{"D": "肺癌 (+)","S": [{"Sf": "小結節影 (+)","M": {"Al": "左上葉 "}}]}

ベースモデル｜BERT (0.3b)

表グラフ

診断

支持所見

修飾肺癌

小結節影

左上葉21例) 放射線読影レポートの構造化

JSON

グラフ
数秒程度の処理で複数の形式に構造化
ほぼリアルタイムで処理可能

表22

23

LLM から LMM へ
LLM (Large Language Model): 大規模言語モデル•••

言語生成に主眼に置いたモデル
GPT-3.5 (openAI), Llama (meta), PaLM (Google)
BERT, 各種派生モデル

LMM (Large Multimodal Model): 大規模マルチモーダルモデル••••

言語だけでなく、画像や動画、音声、数値など複数のデータ形式を処理可能
GPT-4 (OpenAI, 元のLLMに昨年9月画像認識、音声出力を追加)
Bard(Google, 元のLLMに昨年9月画像認識を追加)
SeamlessM4T (Meta, 音声・テキストの入出力が可能な翻訳LMM, 2023/8)(画像はNTT Data Websiteより引用: https://www.nttdata.com/jp/ja/data-insight/2021/0827/)24

“変換” の可能性は⾮常に⼤きい！
画像

テキスト

テキスト

画像

“医工情報学部門”(by Stable Diffusion)

テキスト

テキスト(LLM)

・医用テキストの自動構造化
・文中表現の自動要約・正規化
チアマゾール(MMI)5mg/日内服にてFree T4は基準範囲内であった。72歳時より好中球数600~1300/μlと低く、アイソトープ治療や手術療法を勧めたが、患者は拒否していた。77歳時、定期受診時に好中球数430/μlと低下を認めた。MMIを中止し、ヨウ化カリウム50mg/日を開始するも、翌日好中球数310/μlとさらに低下し、無顆粒球症の診断で入院

マルチモダリティ変換 (LMM)
EHRデータ
検査値/生体情報

チアマゾール副作用

患者データ

退院サマリー
臨床概念 /
標準用語・コード
模擬患者データ

・・・・・

業務の大幅な軽減、医学知識の自動収集、高度な診断/診療支援, AI開発用データ整形
25cf) 来るべき未来〜ICD-11を⽤いた病態コーディング〜• 上顎⻭原性⾁腫
ICD11コーディング結果

Foundation:
MMS:＝ http://id.who.int/icd/entity/1193238472＜ 2B5J & XA7VK5 & XH4M89
Post-coordination は非常に複雑

2B5J その他または特定不能の骨または関節軟骨のその他の悪性腫瘍＋部位の詳細情報： XA7VK5 “Maxilla” (上顎骨)＋組織病理の詳細情報： XH4M89 “Odontogenic tumor, malignant
1. 予めなるべく多くの病名を Post-coordinationしておく → 限界がある
2. 自動でコーディング or 提案するモデルの作成• 多様な病態の表現を可能に & 質の担保
26

⾼品質・⾼精細 Deep Phenotype 情報の提供に向けて
病院情報システム

患者基本情報
PHR

保険病名
検査値
処方

抽出
DL 要約
変換

診療録テキスト
検査画像“真の” 病名
各種 Phenotype
病態要約
・・・

FHIR

地域医療連携システム

波形データ
ゲノムデータ

BioBank・・・(構造化情報入力)

負荷が高い・・・
27

展望と課題•⽣成AIを⽤いたサービス開発– 既に多くの国内企業が着⼿している（コンテンツ⽣成／カスタマーサポート／マーケティング／メディア監視etc）– GPT-4等海外のモデルを使⽤し、サービス・アプリケーション開発に注⼒する⼿もある。しかし「⼿数料を今後ずっと払い続ける必要がある」•国産のLLM/LMM の開発– ⼀般LLM分野では既に多くのモデルが公表されている– 医療に特化したモデルを開発できるか？
••
•
•
•
•

⼀般公開されていないテキスト、最新の医療分野の知⾒をどう適時組み込むか？
質をどのように担保するか？
個⼈情報保護の担保は絶対条件
LLM/LMMの開発に⾜るデータを複数医療施設から収集可能か？
過去の知識データベースとどのように統合するか海外モデルと⽐較した独⾃の強みを出せるか？
– 海外モデルに翻訳の⽪を被せる vs 国産モデル– 学習するためのデータ⾃体の質の⾼さ•

医学医療分野での ⽣成AI等への “向き合い⽅” 議論の醸成– 早急な議論が各⽅⾯で必要– どんどんサービスは展開されていく28

ご清聴ありがとうございました今井 健
東京⼤学⼤学院医学系研究科
疾患⽣命⼯学センター 医⼯情報学部⾨

imai@m.u-tokyo.ac.jp

29