第27回抗悪性腫瘍薬開発フォーラム 2019年6月22日

中島 直樹
九州大学病院ﾒﾃﾞｨｶﾙ･ｲﾝﾌｫﾒｰｼｮﾝｾﾝﾀ
日本医療情報学会・代表理事データ駆動型の解析事業は、データ品質管理が鍵になるMID-NETは継続的・組織的にバリデーションを実施した代表的な事業である
本格稼働まで５年間バリデーションを行い、本格稼働後も1年以上継続しているMID-NETをその限界を含めて知ることで、今後のデータ駆動型事業のデータ品質管理を議論することができる

前向き臨床研究とデータ駆動型臨床研究（後向き）の比較
この両者を駆使して、正確に対象全体を俯瞰する情報を得る！
前向き臨床研究

データ駆動型臨床研究（DDMS、後向き）

DDMSの改善法

項目の設定

自由度高い

自由度が無いPhenotyping

バイアス

管理可能

DB構築目的に依存

matching

データ品質

高い

低い

データ品質管理

コスト

高い

低い

データ規模

小さい

大きい

リアルタイム性

弱い

強い

データ駆動型研究事業における課題解決の具体的な手段
項目の自由度が無いePhenotyping（正しい病名・病態を推測する）

バイアス
ネステッドケースコントロール研究, ケースコホート研究データ品質管理
EDCシステム導入マニュアル・運用手順
バリデーション継続的なガバナンス

病院情報システムからのEDCによるデータ2次利用
データ2次利用システム

業務用システム

電子カルテシステム

医事会計システム

部門システム

データ2次利用
ストレージ
SS-MIX2形式など

Copyright @ Naoki Nakashima in Kyushu University

EDC

解析用
データベース

匿名化、暗号化6■SS-MIX2 普及状況
SS-MIX普及推進コンソーシアム ホームページより（2018.03末現在）

2018年3月末 標準化ストレージ：1,360施設（処方・検体結果を出力：845施設）
2017年3月末 標準化ストレージ：1,114施設（処方・検体結果を出力：754施設）
2016年3月末 標準化ストレージ： 996 施設（処方・検体結果を出力：630施設）

施設所在地を非公開とした304施設は含んでいない

医療情報データベース基盤整備事業（MID-NET）■薬の副作用の検知システム■2018年度から10医療機関を拠点としてデータの検索・調査を行い、副作用を分析・評価（2018年末現在470万人分）■電子カルテ全件の処方、病名、検査結果情報を利用

厚生労働省資料を一部改変

MID-NET事業のシステム概要
PMDA: (独)医薬品医療機器総合機構
複合施設統合データ処理センター
院内システム

院外システム（PMDA）

SS-MIX2形式

電子カルテシステム

抽出指示
医療機関側
分析システムSS-MIX2
標準化ストレージ/拡張ストレージ

医事会計システム

PMDA側分析システム
匿名化、暗号化

DPC E,Fファイル
DPC様式１ファイル
レセ電ファイル

470万人のリアルタイム
データベース(2018年末)
Copyright @ Naoki Nakashima in Kyushu University

院内システム院内システム
電子カルテシステム
院内システム
電子カルテシ

SS-MIX2形式
SS-MIX2形式

医療機関側

分析システムSS-MIX2
医療機関側
SS-MIX2形式
標準化スト
ステム
院内システム分析システムSS-MIX2
レージ/拡張ス
電子カルテシ
医療機関側
SS-MIX2形式
標準化スト
トレージ
ステム
医事会計シス
院内システム分析システムSS-MIX2
レージ/拡張ス
電子カルテシテム
医療機関側
SS-MIX2形式
トレージ標準化スト
ステム
医事会計シスDPC
E,Fファイル
院内システム分析システムSS-MIX2
レージ/拡張ス
電子カルテシテム
DPC様式１ファイル
医療機関側
SS-MIX2形式
標準化スト
トレージ
ステム
医事会計シス
DPC E,Fファイル
レセ電ファイル
分析システムSS-MIX2
レージ/拡張ス
電子カルテシテム
DPC様式１ファイル
医療機関側
標準化スト
トレージ
ステム
医事会計シス
DPC E,Fファイル
レセ電ファイル
分析システムSS-MIX2
レージ/拡張ス
テム
DPC様式１ファイル
標準化スト
トレージ
医事会計シス
DPC E,Fファイル
レセ電ファイル
レージ/拡張ス
テム
DPC様式１ファイル
トレージ
医事会計シス
DPC E,Fファイル
レセ電ファイルテム
DPC様式１ファイル
DPC E,Fファイル
レセ電ファイル
DPC様式１ファイル
レセ電ファイルデータ駆動型研究事業における課題解決の具体的な手段
項目の自由度が無いePhenotyping（正しい病名・病態を推測する）バイアスネステッドケースコントロール研究, ケースコホート研究データ品質管理
EDCシステム導入マニュアル・運用手順
バリデーション継続的なガバナンス

10MID-NETにおけるPhenotyping開発の流れ（間質性肺炎の例）

STEP1: 症例抽出ルールの作成

STEP2: STEP1で非抽出の症例抽出ルールの作成

1

ガイドラインや専門医の見解に基づいた初期抽出ルールの作成

５

STEP1では抽出されない真症例を構造化/非構造化データから抽出

2

症例の抽出・ランダムサンプリング

６

専門医によるカルテレビュー
真偽判定・PPVの算出

3

専門医によるカルテレビュー
真偽判定・PPVの算出
７４

機械学習を用いて、PPV・ケース内感度をみながら初期抽出ルールの修正

機械学習を用いて、PPV・ケース内感度をみながら構造化データを用いた抽出ルールの作成

抽出ルール1

抽出ルール2

STEP3:
把握された真症例の推定と感度の精緻化

最終抽出ルール

8

all possible case（対象期間内）の推定
各ルールの感度の再算出・修正
Copyright @ Naoki Nakashima in Kyushu University初期ルール作成・PPV算出

STEP1-1〜3

間質性肺炎
初期抽出ルールの作成[病名（確定のみ）]
or[KL-6値≧430U/mL]

CT読影レポートにスリガラスなどのテキストキーワー
ドを含む（専門医による選定）

対象期間

2014/1/1～2015/12/31における本院の入外患者117,401名

2014/1/1～2015/12/31における本院の入外患者117,401名

症例抽出

1,424件

5,141件

ランダム・サンプリン 200件
グ
専門医による真偽判定（PPV算出）２名/症例 5段階評価

PPV

スコア5： 36.5%
スコア4： 50.0%

84件

1: 確実に違う
2: たぶん違う
3: どちらでもない
4: たぶんそう
5: 確実にそう

スコア5： 46.4%
スコア4： 60.7%

11

12

間質性肺炎 抽出ルール１

初期ルール

検索式 （a or b ） and （c or d）※以下、指定期間内での有無とする。

a. 間質性肺炎に関連した（確定）病名がある
b. KL-6が施設基準値以上（≧430 U/mL）がある

追加ルール

c. SP-Dが145 ㎍/dL以上がある
d. “間質性肺炎”のテキストを含むDPC病名がある
PPV : 80.0%
Recall：60.3%

Copyright @ Naoki Nakashima in Kyushu University初期ルール作成・PPV算出

STEP2-5〜7

間質性肺炎
初期抽出ルールの作成[病名（確定のみ）]
or[KL-6値≧430U/mL]

CT読影レポートにスリガラスなどのテキストキーワー
ドを含む（専門医による選定）

対象期間

2014/1/1～2015/12/31における本院の入外患者117,401名

2014/1/1～2015/12/31における本院の入外患者117,401名

症例抽出

1,424件

5,141件

ランダム・サンプリン 200件
グ
専門医による真偽判定（PPV算出）２名/症例 5段階評価

PPV

スコア5： 36.5%
スコア4： 50.0%84件

1: 確実に違う
2: たぶん違う
3: どちらでもない
4: たぶんそう
5: 確実にそう

スコア5： 46.4%
スコア4： 60.7%

13間質性肺炎 STEP2

14

入外来患者数 N=117,401
STEP1の初期ルールで抽出された症例を除外
n=1,424５

専門医よりIPに関連する8個のキーワードを選定
CTレポートから症例抽出（8個のうち1つ以上含む） n=5,141
ランダムサンプリング n=84
６2名の呼吸器疾患専門医による真偽判定（5段階評価）PPV=46.4%
Score 5: 確実にIPを真とした場合
真症例：39名 偽症例：45名（カッパ係数：k=0.61）
７

機械学習を用いた初期抽出ルールの修正
GBDT（n=200, 説明変数:1406）
AUC=0.582

Copyright @ Naoki Nakashima in Kyushu University

AUCが低く、非構造化データを用いた抽出ルールの作成はできなかった↓
抽出ルール1を最終ルールとしたAll possible caseによる間質性肺炎 の感度計算
九大入外来患者数
n=117,401

初期ルールでの抽出
STEP1 n=1,424

CTテキスト検索での抽出
STEP2 n=3,943
ランダムサンプリングn=84

ランダムサンプリングn=200

真IP
n=73

PPV=36.5%

PPV=46.4%

真IP
n=39

真IP
n=44

推定真IP：n=520

STEP3

本院の推定IP症例 n=2,350

推定真IP：1,830【抽出ルール１】
200名
PPV=80.0%
Recall：60.3％↓117,401名
PPV=80.0%
Sensitivity（all possible case）：13.3％

robustness 評価

15ePhenotyping（アウトカム定義）ライブラリ作成（AMED中島班）
B. 対象疾患/現象の内訳

A. ICD10分類別の集計
国際疾病分類名
新生物

妊娠,分娩および産じょく<褥>2%眼および付属器の疾患 2%

血液および造血器の疾患ならびに免疫機構の障害

損傷,中毒およびその他の外因の影響 4%

新生物 4%

循環器系の疾患 20%

内分泌,栄養および代謝疾患

耳および乳様突起の疾患 4%
筋骨格系および結合組織の疾患
5%

尿路性器系の疾患 7%

耳および乳様突起の疾患
眼および付属器の疾患

45 個/32 疾患（2019/02/21時点）内分泌,栄養および代謝疾患
20%

呼吸器系の疾患 7%

循環器系の疾患

血液および造血器の疾患ならびに免疫機構の障害 9%消化器系の疾患 16%

呼吸器系の疾患
消化器系の疾患

現在AMED・宇山班では、MID-NETに用いるためのアウトカム定義開発を行っている.
今年度のターゲットに悪性腫瘍が含まれる.

筋骨格系および結合組織の疾患
尿路性器系の疾患
妊娠,分娩および産じょく<褥>
損傷,中毒およびその他の外因の影響
計

病名/現象
個数
乳癌
DIC
無顆粒球症
血小板減少症
Ⅰ型糖尿病
Ⅱ型糖尿病
甲状腺機能亢進症
高血糖
脂質異常症
低カルシウム血症
糖尿病
薬剤性糖尿病
聴覚障害
難聴
眼内出血
急性心筋梗塞心不全高血圧
頭蓋内出血
VTE
PTE
脳梗塞
間質性肺炎
急性膵炎
消化管穿孔
消化管出血
薬剤性肝機能障害
横紋筋融解症
急性腎不全
薬剤性腎障害
妊娠・分娩
アナフィラキシー
32疾患

2121111211111112112111311412211245個

病院情報システムからのEDCによるデータ2次利用
データ2次利用システム

業務用システム

電子カルテシステム

医事会計システム

部門システム

データ2次利用
ストレージ
SS-MIX2形式など

Copyright @ Naoki Nakashima in Kyushu University

EDC

解析用
データベース

匿名化、暗号化MID-NETのデータの品質管理について
PMDA資料より引用・改変○PMDAが各医療機関に設置したデータベースのバリデーションを順次実施し、病院で保存されている実際の情報が正確にデータベースへ転送されていることを確認した
品質管理前
病院情報システム

品質管理後
病院情報システム

MID-NETﾃﾞｰﾀﾍﾞｰｽ

MID-NETﾃﾞｰﾀﾍﾞｰｽ比較

比較

傷病情報（病名オーダー）

傷病情報（病名オーダー）

99.1%

99.9%

処方・注射情報（処方オーダー）

品質管理
作業後

処方・注射情報（処方オーダー）

67.0%

100%

検体検査情報

検体検査情報

55.8%

100%

■MID-NETのデータ品質の課題
A病院

（HIS）
a社

標準化
ストレージ SS-MIX2
拡張
ストレージ

B病院

（HIS）
b社

標準化
ストレージ

SS-MIX2

MIDNET

拡張
ストレージ

C病院
標準化
ストレージ

（HIS）
c社

SS-MIX2

拡張ストレージ

Copyright @ Naoki Nakashima in Kyushu University

■ MID-NETのデータ品質の課題解決（MID-NET）
A病院

（HIS）
a社

標準化
ストレージ SS-MIX2
拡張
ストレージ

B病院

（HIS）
b社

標準化
ストレージ

SS-MIX2

拡張
ストレージ

C病院
標準化
ストレージ（HIS）
c社

SS-MIX2

 2013年〜現在
 PMDAと協力し、データ品質管理活動を実施（バリデーション事業）
MID 2016年〜現在
NET AMED康班、中島班によるガバナンスセンター
試験開設とガバナンスツール開発

拡張
ストレージ

Copyright @ Naoki Nakashima in Kyushu University

■ MID-NETのデータ品質の課題解決（MID-NET）
A病院

（HIS）

ガバ
ナン
ス
セン
ターa社

標準化
ストレージ SS-MIX2

拡張
ストレージ

B病院

（HIS）
b社

標準化
ストレージ SS-MIX2

MIDNET

拡張
ストレージ

C病院
標準化
ストレージ SS-MIX2

（HIS）
c社

拡張
ストレージ

Copyright @ Naoki Nakashima in Kyushu UniversityMID-NETで噴出したデータ品質の課題
標準コード
マッピング不備

それぞれの病院の方言があり、表現がバラバラ…

A病院

処方、注射に診療以外のデータ（持参薬報告、照会歴、算定）
（HIS）

X社

標準化
ストレージ
拡張
ストレージ

B病院

（HIS）
Y社

標準化
ストレージ
拡張
ストレージ

C病院
標準化
ストレージ

（HIS）
Z社
HISリプレイスやカスタマイズによるコードやフラグの変更

22

拡張
ストレージ

検体検査に診療以外のデータ（結果値なしコメント、予約）
結果値に、＜80、80未満 といった不等号付きデータ

二次利用
プロジェクトMID-NETで生じたシステム運用・データ品質課題の洗い出しと整理① マッピング不備、未設定••••②→マッピング留意→標準コード見直し

約300件

HISリプレイス、カスタマイズ、運用など制限事項
••
•
•

③

標準コード未設定
院内製剤、器材、治験薬、持参薬
単位、用法、投与経路
ワープロ病名注射オーダ→
旧・新HISで削除フラグの違い
退院転帰コードの変更
医薬品、検査項目の追加細菌検査）抗酸菌感受性の結果が、外注検査へ移行のためデータ無し

SS-MIX2への送信エラー• 「来院等情報（退院）」の死亡日の欠落、手技が入力されていない注射オーダの欠落• HL7メッセージ変換エラー④

診療以外のデータが存在• 検体検査値なし、コメントなど• 持参薬報告、中止処方、指示変更など• 放射線オーダとして検査室予約⑤

二次利用データベース取込• 退院サマリ傷病情報の取込欠落→退院サマリ病名開始日未入力の場合• 日付の認識（オーダ日、実施日、服用開始日など）①

部門システム① ②HIS③④
SS-MIX2④⑤
統合DS過去のデータ品質管理とリアルタイム品質管理
品質管理作業
リアルタイム品質管理の必要性

2009

20152020※現在未使用の過去の独自コードについても整理が必要

新薬の発売
検査試薬の変更
HIS、部門S、医事会計Sの更新・カスタマイズ

調査期間

品質×

2019年1月の九州大学病院HISリプレイスに伴う
MID-NET問題発生
No

エンティティ

内容

1

G：傷病情報（病名オーダ）

標準コード（病名管理番号）で管理されていると思われるコード体系のデータがローカルコードとして（PRB-3のコーディングシステム名が99Z21）送信されている。

2

K：処方・注射情報（注射実施）

ＩＤ、日付、オーダ番号を用いて比較したところ、ＨＩＳのみのデータが存在した。
（ＳＳＭＩＸの最終メッセージがDelとなっている。）

3

その他（転科転棟実施）

2018/12/6に発生したデータ誤送信に対するリカバリの確認を行ったところ、リカバリが行われていない誤送信データが1件存在。

4

その他（外来診察受付）

2018/12/6に発生したデータ誤送信に対するリカバリの確認を行ったところ、誤送信が発生していないデータがリカバリ実行日(2019/1/24)に新たに4件送信されていた。

5

I：処方・注射情報（処方実施）

ID、日付、オーダ番号を用いてHISとDSを比較したところ、DSのみに存在するデータが認められた。

6

B:来院等情報（外来）ID、日付、オーダ番号は同じだが診療科コードが異なるデータ（片方が診療科コードNULL）が存在した。HIS側は2レコードとなるが、DS側には1レコードとなり差分となっていた。

7

G：傷病情報（病名オーダ）

ローカルコードで管理されていると思われるコード体系（Z始まり）のデータが標準コード（病名管理番号）として（PRB-3のっコーディングシステム名がMDCDX2）で送信されている。

8

K：処方・注射情報（注射実施）

ID、日付、オーダ番号、医薬品ローカルコードをキーとして比較したところ、キー情報は一致するものの診療科がHISとDSで異なるデータが認められた。（HIS：NULL、DS：06循環器内科）

9

K：処方・注射情報（注射実施）

RXA-4（投薬終了日時）の編集ルールが事前提供資料と実際の送信内容で異なる。

平成30年度第2回AMED 康班全体会議（18mk0101075h0001）2019/2/21から改変

MID-NETにおける標準コード管理手順

26

リアルタイムバリデーションツールによるMID-NETガバナンスのトライアル（AMED康班、中島班）

マッピングA
表部門
システム

HIS

MID-NET拠点病院

マッピン
グA表
差分HIS

マッピングB
表

統合DS

SS-MIX2

ガバナンスセンター（暫定設置：九大病院)

差分差
分差分

AMED康班JLAC10
HOT
ICD10
細菌

医薬品マスタ

用法

病名マスタ

差分精査

検査マスタ

・・・

リアルタイムバリデーションツール
（AMED事業にて開発）
AMED中島班

旧情報新情報001

A薬品002

B薬品001

G薬品077C検査情報共有

JLAC 改訂スケジュール（予定）更新停止

公表されたコード表のメンテナンス

JLAC10並用期間 → JLAC11
開発（公開/パブリックコメント）

2017

準備2018

公表されたコード表のメンテナンス

2019

2020

2023

2024

MID-NETのバリデーション事業、厚労科研/AMED事業での経験を教材化
AMED研究事業「MID-NETを用いた医薬品等のベネフィット・リスク評価のためのデータ標準化の普及に関する研究」（代表：中島直樹）

総合版

システム管理部門用コーディング・マッピング担当部門用

データマネジャー・
薬剤疫学解析者用

↑2016年度AMED研究にて開発した教材
2015年度に初版、2016年度、2018年度にバージョンアップし、
29
2019年度から3年間の新規のAMED事業（中島班）でさらにバージョンアップする予定

MID-NET事業の利活用データ種の「今」と「期待」
現在

複合施設統合データ処理センター
院内システム

傷病名、検体検査結果、処方

電子カルテシステム
医事会計システム

SS-MIX2
標準化ストレージ/拡張ストレージ

院外システム（PMDA）

抽出指示
医療機関側分析システム

PMDA側分析システム
匿名化、暗号化

DPC E,Fファイル
DPC様式１ファイル
レセ電ファイル期待

複合施設統合データ処理センター

院内システム

傷病名、検体検査結果、処方、退院要約（構造化部分）
レポート（構造化部分）、細菌検査結果、生理検査結果、、、抽出指示

部門システム

電子カルテシステム

医事会計システム

院外システム（PMDA）

SS-MIX2
標準化ストレージ/拡張ストレージ

DPC E,Fファイル
DPC様式１ファイル
レセ電ファイル

医療機関側
分析システムPMDA側分析システム

匿名化、暗号化

告知！

https://www.jami.jp/?mode=seminar&no=37

データ駆動型研究事業では、データ品質管理を効率的・継続的に行いましょう

ご清聴ありがとうございました
ご質問は、nnaoki@info.med.Kyushu-u.ac.jpへ