2021/1/20

2021/1/20

今回の内容

医療統計学（３年）①2

 因果モデルと予測モデル
 交絡因果と予測 結果の結果での条件付け

 回帰モデルにおける変数選択
 性能評価北海道大学
横田 勲

 感度・特異度、ROC曲線

医学統計学

1

2

医学研究での目的

因果と予測

3

 “X” は “疾病Y” と 関連 がある4

 回帰分析から、X-Y間の「関連」を検討

 X: 健康状態マーカーや

 Xが原因となり、Yという結果が導かれる

疾病Yを引き起こす疾患など

 回帰モデルは因果モデル (`do’ model)
 交絡因子は制御すべきもの

 Xの値を与えて、Yという結果を当てる

 “X” は “疾病Y” の 原因 となる

 回帰モデルは予測モデル (`see’ model)

 “X” は “疾病Y” を 予測 する

 予測精度を高めるためにXを選ぶ

より目的を明確にAllison PD. 1998(Book).
vanHouwelingen JC. The President’s speech in ISCB34.

34

前立腺がんとPSA

前立腺がんのリスク因子を検討

6

 前立腺がんの発見・病勢と強い関連 明らかなリスク因子は、年齢、家族歴
 他にもリスク因子はあるに違いない!

 スクリーニングにも用いられる

 がんの細胞壁が壊れやすいため、

 例えば、飲酒の影響を調べてみる

がんのvolumeに応じてPSAが血液中に漏出

前立腺がん

6Isao Yokota

7 因果関係を知りたい

飲酒

PSA

前立腺がん

PSA

71

2021/1/20

交絡の影響を解析で除去

交絡を防ぐには8 以下の条件を満たすことで、飲酒と前立腺がんの関係を歪めてしまう

異なればバイアス

理想の対照 年齢が高いほど前立腺がんは増える

曝露群が曝露を受けなかった場合の結果

 年齢と飲酒には関係がある
 飲酒をすれば年齢が増えるわけではない

9

現実の対照
実際に曝露を受けなかった群の結果

年齢
飲酒前立腺がん曝露群で観察される結果

PSA

なんとかして理想的な対照を作りたい

8

9

個人では基本的にムリランダム化 randomisation

10 曝露を受けた場合の結果を知った後に実際に観察される内容曝露を受けさせないことはできない

11

ランダムに対象者を曝露群と非曝露群に割付曝露を受ける

曝露を受けない 集団で議論することはできないだろうか
半分の人の結果で代用曝露群で観察される結果

理想的には知りたい内容

10

曝露群が曝露を受けなかった場合の結果

11

脚気論争

松田誠. 慈恵医大誌. 2002, 2003.

栄養欠陥説

12

 龍驤艦

 ビタミンB1欠乏症

 外国で停泊中は脚気患者が減る

 大正時代は結核と並ぶ二大国民病

 寄港したハワイで食料を全部入れ替えて以降、

 高木兼寛 (1849-1920)

誰も罹患しなかった タンパク質を多くすれば予防できるのでは William Willisより

イギリス医学を学ぶ

 筑波艦

 海軍軍医になり、

明治17年

 食事を洋食に変え、龍驤艦と同一航路

イギリス留学中(1875-80）
疫学の方法論を学ぶ

 333名中14名が罹患、死亡者ゼロ
 14名のうち12名は洋食を拒んだ

 帰国後、脚気調査に

Isao Yokota

明治15(1882)～16年

 378名中169名が脚気に罹患、25名死亡

 白米ばかりの食生活

12131322021/1/20

海軍は麦食に

栄養欠陥説への批判

14 緒方正規「脚気病菌発見」(1885)

 洋食はウケが悪かった
年次

食事 兵員数

15

脚気患者数

死亡者数

明治11(1878)年 米食 4,528

1,48532

明治12年

米食 5,030

1,97857

明治13年

米食 4,956

1,72527

明治14年

米食 4,641

1,16330

明治15年

米食 4,769

1,92951

明治16年

米食 5,3461,23649

明治17年

洋食 5,6387188明治18年

麦食 6,918

410

明治19年

麦食 8,47530

明治20年

麦食 9,01600

明治21年

麦食 9,18400

 北里柴三郎により実験不備を指摘され消える 大沢謙二「食物消化の試験」(1887)

 栄養吸収は米のタンパクのほうがよい 森林太郎「統計ニ就テノ分疏」(1889)

 患者の減少時期と麦食への切り替え時期が偶然一致しただけ

 スタチスチックは科学でなく方法であり、原因を探り法則を知り得るものではない

1415

ランダム化比較試験の示唆

日清戦争から日露戦争

1617

 日清戦争(1894-95)

 一つの兵団を二分して、一方に麦食を、もう一方に米食を与え、両者を同一の地に住まわせ、他の生活条件も同じにすべき 陸軍:40,000+の罹患、4,000+の死亡
 戦死者は約300

 海軍:罹患ゼロ

 義和団の乱(1900)

 もし米食者のみが脚気に罹り、麦食者は罹らなかったら、米食が原因だ

 第五師団20,000+中、2,351の罹患

 日露戦争(1904-05)

森林太郎「統計ニ就テノ分疏」(1889)

 陸軍:250,000+の罹患、約28,000の死亡
 戦死者は約47,000

 海軍:若干の罹患、死亡ゼロ

1617

疫学的観点からランダム化比較試験の歴史

18

Randomised Controll Trial; RCT 脚気論争19 1946年よりイギリスで計画・実施された

 高木の栄養欠陥説自体は間違っていた

結核薬ストレプトマイシンの試験

 食事に問題があることは正しかった 初めてのヒトを対象としたRCT 疫学研究によって特定できた

 1962年より米国食品医薬品局では

 航海実験から約30年後の1911年、RCTを2回行い有効性評価(two-trials rule)鈴木梅太郎によるビタミンB1発見

 背景にサリドマイド事件

 1990年以降Evidence Based Medicine普及により多くのRCTが実施

18

Isao Yokota193

2021/1/20

交絡への対処

前立腺がんの予測をしたい20

 デザインで21 前立腺がん発生を精度良く当てたい ランダム化 どのような因子を用いてもよい マッチング 年齢のようなリスク因子
 前立腺がんの”結果”であるPSA

 限定

 解析で
 層別解析

年齢

 回帰分析
 重み付け解析

飲酒

20

前立腺がん

PSA

21

予測モデル構築の流れ

DLBCLの新規予後予測モデル2325

 びまん性大細胞型B細胞リンパ腫

対象集団
アウトカム

モデル

予測
モデルの構
築予測因子

 全生存予後を予測したい

性能評価

 臨床で簡単に利用できるスコアを作りたい 年齢、血清LDH、Ann Arborステージ、

ECOG-Performance Status、血清CRP、低アルブミン血症、節外（骨髄、骨、皮膚、肺／胸膜）病変

妥当性検証

 変数選択により、予測に用いる因子を決定

最終的な提示方法の決定

2325

Time-to-event アウトカム打ち切りのあるデータ26 連続量、カテゴリカルのほか、

27

 ある時点までイベントを起こしていない

医学研究でよく登場するアウトカム

 その先で起こるはずのイベントの あらかじめ定義した「イベント」が正確な時点が分からない起こるまでの時間

 脱落や研究終了等による

 死亡、再発、入院、ある基準の達成、など

 適切に考慮する解析方法が生存時間解析

 at risk:まだイベントを起こしていない状態

 単に除外すると有病率を過大評価しがち イベントなしとすると有病率を過小評価
 無情報な打ち切りの仮定

26

Isao Yokota274

2021/1/20

Kaplan-Meier法①

Kaplan-Meier法②28

 直前までat riskである人について、

 5人中1人死亡したため、生存率は1 −イベントを起こさなかった確率を乗じる
 生存例は、それまでの間、常に生存してきた

 5人中2人死亡したため、生存率は1 −

生存率

10.6

23

死亡（イベント）
脱落（打ち切り）0.3

45死亡（イベント）
研究終了（打ち切り）

028= 0.6

4人中1人死亡したため、0.8 × 1 −0.8

内容死亡（イベント）= 0.8

 直前での生存率は0.8であり、1

 以下のデータセットを想定
イベント発生時点（年）29= 0.6

 直前での生存率は0.6であり、2人中1人死亡したため、
1
0.6 × 1 −
= 0.3
2

123

4

5期間（年）

29

打ち切り例の扱い

追跡開始時は5人でスタート

30

 3年で打ち切りとなった対象者

31

 1人あたり、20%の確率をもつ

 1年、2年での生存率を計算する際には、

 3年で打ち切りとなった人の生存率

at riskであった人として解析に寄与

予後は分からない1 4年、5年での生存率計算では分母に入らず

 3年でat riskな人の?

 生存率の計算自体には反映されている予後で置き換えよう?

030

12345

 4年では、＋＝30%だけ生存率が低下

期間（年）

31

無情報な打ち切り noninformative censoring

Cox回帰を利用32

 代表的な生存時間解析法で置かれる仮定

 ハザード𝜆 𝑡 に対する回帰分析

 ランダムな打ち切り、とも

𝜆 𝑡 = 𝜆 𝑡 exp(𝑥 𝛽) ハザード 打ち切りとイベント発生が無関係

 ある時点における瞬間的な死亡しやすさ 研究終了時の生存Pr 𝑡 ≤ 𝑇 < 𝑡 + Δ𝑡 𝑇 ≥ 𝑡→Δ𝑡

 偶然の事故による追跡不能

𝜆 𝑡 = lim

 打ち切り例の予後を、

 𝑇:イベント時点を表す確率変数

at risk例で置き換えるため

32

Isao Yokota

33
Cox DR. JRSS B. 1972

33

5

2021/1/20

変数選択

34

ランダム分割 回帰分析において、複数の因子候補から、

 465例のデータ関連の強そうなものだけに絞る方法

35

 323例(70%)をトレーニングコホート

 予測モデルをシンプルにするためには便利 142例(30%)をバリデーションコホート

 予測モデルを作るため

 トレーニングコホートで予測モデルを構築

 少ない変数で当たりのよいモデルを バリデーションコホートで

 特別な測定を要する変数で作ったモデルは他の予測モデルとの性能を比較使われづらい 因果関係を調べるためには使わない モデル構築に用いていないデータであるため、公平な性能比較を行えるだろう

 交絡調整が目的ゆえ、利用可能なすべての変数を用いる

34

35

最終モデル

各コホートでのリスク分類36

トレーニング 変数減少ステップワイズ法を利用
因子

ハザード比

95%信頼区間 回帰係数 スコア

LDH ≤ 1×ULN

1-0

LDH > 1×ULN,≤3×ULN

2.47

1.20-5.08

0.91

1点

LDH > 3×ULN

3.68

1.57-8.66

1.31

2点

ECOG-PS ≥ 22.50

1.40-4.45

0.911点ALB < 3.5mg/dL

2.52

1.36-4.69

0.93

1点

特定部位への節外病変

1.71

1.03-2.84

0.54

1点

37

バリデーション

 合計点を基にさらにリスク分類
合計点

0点

1-2点

3点

4-5点

リスク分類

低低中間

高中間

高36

37

モデルの複雑さとoverfitting

予測性能指標による評価

38

 モデルを複雑にすると

39

 予後の悪い対象者を特定するためのより細かな違いまで捉えられる予測モデルがどれだけ有用かを知りたい 関数形を高次にする

 他の予測モデルと比較したい

 説明変数を増やす

 予測モデルを構築する上で、

 それが無意味な説明変数であっても!

overfittingを避けたい 無意味な説明変数をモデル化すると、他のデータへのあてはまりが悪くなる
 モデルを活用する際に使いづらい

ところで「予測性能がよい」とはどういうこと?

 Overfitting （過適合）という

38

Isao Yokota

39

62021/1/20

モデルのよさ、精度の測り方

確率(密度)関数と尤度

40 モデルのあてはまり

41

 データは確率変数の実現値

 決定係数𝑅

 確率分布（パラメータ𝜷を持つモデル）を仮定すれば、当該データが得られる確からしさを定義

 尤度とAIC

 予測精度、予測結果のよさ𝑓 𝑥 , … , 𝑥 ; 𝜷 平均二乗誤差、Brierスコア= ∏ 𝑓 𝑥 ;𝜷 尤度 𝐿(𝜷; 𝑥)

 ROC曲線、c 統計量

 𝑓 𝑥; 𝜷 を𝜷の関数としてみたもの

40

41

Akaike’s Information Criterion; AIC

古典的な変数選択法

42

 基準に至るまで以下の操作を繰り返す

 尤度を基にしたあてはまりの指標

 変数増加法 様々なタイプのアウトカムに対応

 −2 log 𝐿 𝜷; 𝑥43

 変数候補から最もp値の小さなものを加える+ 2𝐾

 変数減少法 𝐾 :𝜷 のパラメータ数

 変数候補をすべて含めたモデルから

 AICが最小となるモデルがよいモデル

最もp値の大きな変数を除く

 ステップワイズ法 パラメータを増やすことへのペナルティを 変数増加法と減少法を同時に行う

与えた指標

 総当り法 自由度調整済み決定係数も同様

 変数の組み合わせを全パターン調べる

4243

平均二乗誤差 Mean Squared Error

Brier スコア4445

 イベント有無と死亡確率のズレ

𝑦 −𝑦 生存時間アウトカムの場合、

 予測値と実測値の差を評価

ある時点𝑡でのイベント有無と確率のズレ 平方根をとって、Root MSE; RMSE

 𝐼 𝑦=1−𝑦 𝐼 𝑇>𝑡−𝑆 𝑡 𝑿 𝐼(⋅):かっこ内が真のときに1、それ以外は0
 𝑇:イベント発生時点
 𝑆(⋅):生存関数の予測値

44

Isao Yokota457

2021/1/20

平均Brierスコアの数値例

相対Brierスコア減少46

 2人死亡、2人生存という仮想例
 無情報モデルID

 しかも0に近いほど「予測性能がよい」

1

死亡

0.5

1 − 0.5= 0.25

2

死亡

0.5

1 − 0.5= 0.25

3

生存0.5

0 − 0.5= 0.25

4

生存

0.5

0 − 0.5= 0.25

 予測モデルID

 期待Brierスコアのとりうる範囲は0から0.25

Brierスコア

生存／死亡 予測確率

 集団全体の生存確率によって、上限が変化

 無情報モデルに対する、予測モデルでの

平均Brierスコア
0.25

期待Brierスコアを小さくした割合

 0から1をとり、1に近いほど「予測性能がよい」

Brierスコア

生存／死亡 予測確率

47

Brier

1

死亡

0.9

1 − 0.9= 0.01

2

死亡

0.6

1 − 0.6= 0.16

3

生存0.3

0 − 0.3= 0.09

4

生存0.2

0 − 0.2= 0.04

平均Brierスコア0.075

46− Brier
無情報モデル
予測モデル
Brier無情報モデル

47

感度と特異度
至適基準
陽性
陰性

陽性的中度、陰性的中度との違い

48

陽性

評価値

𝑎𝑐

陰性

至適基準
陽性
陰性

𝑏𝑑

 感度:

 陽性的中度: 本当に陽性であるものを陽性といえたか

陽性

評価値

𝑎𝑐49

陰性
𝑏𝑑、陰性的中度:

 評価した結果が本当はどうであったか?
 真の陽性、陰性者の分布によって 特異度:変わってしまう指標

 本当に陰性であるものを陰性といえたか

48

49

陽性尤度比

カットオフ値をもって評価

50

 本当は陰性である人より至適基準で陽性（本当に陽性）至適基準で陰性（本当に陰性）

本当に陽性の人は、何倍陽性と判定されやすいか51

 感度を偽陽性割合で除す

𝑎𝑎+𝑏
𝑐
𝑐+𝑑

陰性と判断
特異度

50

Isao Yokota

カットオフ値

評価値
陽性と判断
感度

518

2021/1/20

感度と特異度はトレードオフ

ROC曲線

52

 縦軸に感度、横軸に偽陽性率（1-特異度）

至適基準で陽性（本当に陽性）至適基準で陰性（本当に陰性）53

 カットオフ値を全範囲で動かした場合の感度と偽陽性率をプロット
感度評価値

カットオフ値 感度を上げれば、特異度は下がる
 特異度を上げれば、感度は下がる

AUC (Area Under the Curve)

52

偽陽性割合

53

(ROC-)AUC

c-index54

 ROC曲線の要約指標∑

 判別能力を表す指標として解釈∑

55

𝐼 𝑝̂ > 𝑝̂ + 0.5 × 𝐼 𝑝̂ = 𝑝̂𝑛𝑚 𝑝̂ :実際にイベント発生した𝑖の AUC自体はモデルに依らずに計算されるイベント確率の推定値

 AUC=0.5であれば、no discriminative ability 𝑝̂ :実際にイベント発生しなかった𝑗のイベント確率の推定値

 AUCが1に近づくほど、判別能力がよい イベント有無と予測変数の

 絶対値的な解釈は困難

 大小関係が一致していれば1点

 c (concordance) indexとも呼ばれる

 大小関係が一致していなければ0点 値が等しければ0.5点（引き分け）

54

55

c-indexの数値例①c-indexの数値例②56

 死亡例の予測確率:A:0.9, B:0.7, C:0.4

 死亡例の予測確率:A:0.9, B:0.7, C:0.4

 生存例の予測確率:D:0.6, E:0.3, F:0.1

 生存例の予測確率:D:0.6, E:0.3, F:0.1
感度0.7から0.61

 総当たり表
生存例

死亡例

0.4
0.7

0.6
×
○

0.3
○
○

0.1
○
○

0.9

○

○

○

○:一致 ×:不一致

56

Isao Yokota

57

0.4から0.30.3から0.1
0.1から00.9から0.7
c-indexは
8/9=0.89

0.6から0.4
予測確率𝑃

1.0から0.9

01

1-特異度

579

2021/1/20

c-indexの数値例③

DLBCL予測モデル研究58

 死亡例の予測確率:A:0.9, B:0.7, C:0.4

PFS 生存例の予測確率:D:0.6, E:0.3, F:0.1

C

R-IPI
NCCN-IPI
提案スコア(4段階)
元の0-5点スコア

死亡したCの0.4が生存したDの0.6より小さい（不一致）感度1OSc-index

RBSR

c-index

RBSR

0.668
0.749

0.122
0.172

0.642
0.736

0.135
0.251

0.703
0.711

0.183
0.215

0.740
0.754

0.305
0.356

RBSR:相対Brierスコア減少

B
死亡したAの0.9が生存したDの0.6より大きい（一致）59 提案スコアが従来スコアよりA
01DE

概ね性能がよいことを示した

1-特異度

F

5859

まとめ60

 因果モデル 変数間の因果関係を仮定して、適切な条件付けを考える 予測モデル Overfittingを防ぎながら予測性能のよいモデルを選択

 ROC曲線
 古典的に使われる判別性能の評価方法

60

Isao Yokota10