2017/11/29

Outline• Introduction▪ 最近の流れ

多重性調整方法に関する最近の話題（Graphical approachとMCP-mod）• Graphical approach▪ Holm手順のグラフ化▪ グラフの作成例

東京大学大学院医学系研究科 生物統計情報学講座
生物統計学シンポジウム• MCP-Mod▪ 用量反応試験▪ 多重対比法（multiple contrast test）

坂巻顕太郎
sakamaki@m.u-tokyo.ac.jp

1

FDA draft guidance•

IV. STATISTICAL METHODS––

A. Type I Error Rate for a Family of Endpoints andConclusions on Individual Endpoints
B. When the Type I Error Rate Is Not Inflated or Whenthe Multiplicity Problem Is Addressed Without
Statistical Adjustment or by Other Methods••–

C. Common Statistical Methods for Addressing
Multiple Endpoint-Related Multiplicity Problems
••••
•
•••
•
•••
•

1. Clinically Relevant Benefits Required for All
Specified Primary Endpoints — the Case of “CoPrimary” Endpoints
2. Use of Multiple Analysis Methods for a Single
Endpoint after Success on the Prespecified Primary
Analysis Method

1. The Bonferroni Method
2. The Holm Procedure
3. The Hochberg Procedure
4. Prospective Alpha Allocation Scheme
5. The Fixed-Sequence Method
6. The Fallback Method
7. Gatekeeping Testing Strategies
8. The Truncated Holm and Hochberg Procedures
for Parallel Gatekeeping
9. Multi-Branched Gatekeeping Procedures
10. Resampling-Based, Multiple-Testing Procedures

V. CONCLUSIONGENERAL REFERENCES
APPENDIX: THE GRAPHICAL APPROACH

FDA, 2017

FDA, 20172

無断転載・無断使用を禁じます。

312017/11/29

Evaluation of MCP-Mod

CHMP, 2014

FDA, 2015(Decision letterは2016)

CHMP, 2014 54

Holm手順• p値の順序を考慮した多重性の調整方法▪ Stepwise (step down) procedure≤ ⁄ を満たすとき，

•▪
▪

•
• …
•• …

GRAPHICAL APPROACHを棄却し，次のステップへが棄却できなかったら，検定終了: 番目に小さいp値，:に対応する帰無仮説≤ ⁄− 1 を満たすとき，≤ ⁄− + 1 を満たすとき，を棄却し，次のステップへを棄却し，次のステップへ• 閉検定手順による正当化▪ Familywise error rate (FWER)を名義水準（ ）以下に制御▪ ショートカット手順と関連6

無断転載・無断使用を禁じます。

722017/11/29

閉検定手順とHolm手順（Decision matrix）

４つの帰無仮説の検定（記法）– Original null hypothesis,•,– Unadjusted p-value•,– Intersection hypothesis
•
•
• …
•
• …

Intersectionhypothesis• p値• 帰無仮説

==∩
∩

=∩∩
∩

,,,

– Local p-valueの検定に
:
対するp値
• …

∩

•

= min( × 3, × 3, × 3)
= min( × 2, × 2)
= min( × 2, × 2)
= min(8▪
▪

,,
= max

×4 ≤ （•▪
▪
▪
▪
▪
▪
▪
▪

,,,,,,,,,=× , × , × ,= min( × 3, × 3, × 3) ≤= min( × 3, × 3, × 3) ≤= min( × 2, × 2) ≤ × 4= min( × 3, × 3, × 3) ≤= min( × 2, × 2) ≤ × 4= min( × 2, × 2) ≤ × 4≤ ×4×≤
×4×4

▪

00
0

00

00
00
00
00
9<<の場合≤ ⁄ or≤ ⁄ or≤ ⁄ or≤ ⁄▪ Bonferroni検定の書き換え

×• 仮定から▪

≤ ⁄4 を用いて，を検定の検定とショートカット•≤ ⁄ or≤ ⁄ or≤ ⁄• 仮定から ≤ ⁄3 を用いて， を検定

×4▪の検定とショートカット•≤ ⁄ or≤ ⁄• 仮定から ≤ ⁄2 を用いて，▪などの検定を利用してoriginal null hypothesisの検定を行う手順
10

無断転載・無断使用を禁じます。

00000000の検定とショートカット•は棄却される• ショートカット手順▪

<•のすべてを棄却,,≤≤ ⁄4）であれば閉検定手順により

× 2)

0000

Holm手順とショートカット手順の棄却,

× 2,000

Intersection hypothesisの検定にBonferroni検定を利用

閉検定手順とショートカット手順• 閉検定手順によるImplied hypothesis

Localp-value= min( × 4, × 4, × 4, × 4)
= min( × 3, × 3, × 3)
= min( × 3, × 3, × 3)
= min( × 2, × 2)
= min( × 3, × 3, × 3)
= min( × 2, × 2)
= min( × 2, × 2)

を検定の検定•≤ により，を検定
113

2017/11/29

各ステップを図で表現棄却した仮説の局所有意水準を配分
灰色：棄却

Step 2

Step 1
⁄4

⁄4

⁄4

⁄4

⁄3

⁄3

Step 3⁄4⁄4⁄2

局所有意水準の移動をどうグラフに入れ込むかが重要•••: の局所有意水準: （棄却された帰無仮説）の局所有意水準: から への局所有意水準の配分割合: が棄却された際の,,⁄3に1/2
1/2⁄3• 配分ルールも含めて図にアップデート•→ などが1⁄3から1⁄2に13• グラフから検定手順を構成が可能▪ 初期グラフ（どの帰無仮説も棄却していないグラフ）= ,∑= を満たす必要があるにおいて，∑▪ ショートカット手順（閉検定手順）と関連した検定手順が構成される▪ 仮説構造（検定の順序）を考慮する際に便利である

への の配分割合14

無断転載・無断使用を禁じます。

⁄4▪ 帰無仮説（節; node）に局所有意水準，矢線（arrow）に配分割合を記載▪ 帰無仮説を棄却するごとにグラフをアップデート

×→
•

1/3
1/3

1/2
1/2
1/21/2• 検定の局所有意水準（と配分）をグラフで表現• 配分ルール：
▪

1/3
1/3
1/3
1/3

Graphical approach• 局所有意水準：
+

⁄3

12

グラフの更新ルール→⁄4で消費した ⁄4を1⁄3ずつ配分⁄4 + ⁄12 = ⁄3
••

▪

1/3
1/3

1/3
1/3
1/3 1/3⁄3

Step 4⁄2

Step 2Step 1154

2017/11/29

Rでgraphical approach

検定手順とグラフ• Fixed sequence procedure• gMCP package：GUIでグラフを操作▪ library(gMCP)#Fallback procedureのプログラム
graph <- fallback(rep(0.25,4))#未調整p値
p <- c(0.001, 0.005, 0.01, 0.02)
graphGUI(graph, pvalue=p)▪ 事前に決めた順番で帰無仮説を で検定•を棄却したときのみ
101の検定にすすむ
010• Fallback procedure▪ 事前に決めた順番で帰無仮説を ⁄4で検定•を棄却したときは⁄4

1⁄4に有意水準を受け渡す
1

⁄41

⁄416

GUI画面

17

検討する仮説の順序（構造化仮説群）• 多重エンドポイント▪ ①主要評価項目，②副次評価項目• 多群比較
▪ ①高用量，②中用量，③低用量• サブグループ解析▪ ①全体，②サブグループ• 検定の種類▪ ①非劣性，②優越性• …
18

無断転載・無断使用を禁じます。

1952017/11/29

Graph for gatekeeping approach 1• Parallel structure• がん臨床試験– 主要評価項目••

Graph for gatekeeping approach 2：無増悪生存期間：全生存期間– いずれかの主要評価項目の検定が有意であれば，副次評価項目を検定する– 副次評価項目••：QOL（Quality of Life）：有害事象⁄21/20•
••
•

1/2
1/211

– 収縮期血圧（主要評価項目）：高用量 vs プラセボ
：低用量 vs プラセボ

– 評価項目と用量の順序性を考慮した仮説構造–→ がtreestructureからの修正分– 心血管イベント（副次評価項目）⁄21/2• Modified tree structure• 降圧薬の臨床試験：高用量 vs プラセボ
：低用量vsプラセボ

10
10020

実例１21

実例２

Taylor PC, et al., NEJM, 2017 22

無断転載・無断使用を禁じます。

1/2 1/20

Langley RG, et al., NEJM, 2014 23

62017/11/29

まとめ（graphical approach）• 有意水準の配分をグラフで表現▪ 古典的な多重比較手順もグラフで表現可能▪ グラフから検定手順を構築可能▪ 群逐次などにも拡張可能• Maurer, W., Bretz, F. (2013).など

MCP-MOD• 複雑な仮説構造に対する検定手順の構築(MULTIPLE COMPARISON PROCEDURE AND MODELING)▪ 臨床や規制など様々な観点を検定手順に導入する際のコミュニケーションツール

25

24

MCP-Mod

EMA draft guideline••••••

Phase II dose-finding studies are usually designed toestimate the dose-response relationship, e.g. with
an appropriate regression model, that could beused to reasonably estimate an appropriate dose.
Usually the statistical inference should focus on
estimation rather than on testing, and a procedurethat selects the lowest dose that shows astatistically significant difference to placebo is often
of limited value and can be misleading.
Therefore, the multiplicity adjustment of thedifferent comparisons between groups in order tocontrol the study-wise type I error may not berequired in a Phase II trial.
A valuable achievement in such a trial is thedemonstration of an overall positive correlation of
the clinical effect with increasing dose (see ICH E4,Section 3.1).
Estimates and confidence intervals of the relevant
parameters in the regression models are used for an
appropriate interpretation of the dose response
and may be used for the planning of future studies.
ICH E4 also mentions under which circumstances adose-response study can be part of theconfirmatory package and in this instance a prespecified plan to control the type I error is ofimportance.

CHMP, 2014

Signal detectionとestimationをともに行う方法

無断転載・無断使用を禁じます。

26

EMA, 201727

7

2017/11/29

新医薬品の承認に必要な用量―反応関係の検討のための指針

Answer（つづき）• Q13．

•▪ 用量反応試験結果の解析に際し，用量群間の対比較は必要であるのか。

––

• A.

–

▪ 用量―反応試験の目的によって，統計的に検証すべき仮説が変わる点に注意が必要である。
▪ 傾向性の検定のみで十分な場合もあるし，プラセボと実薬群の比較と実薬群間の用量依存性の検討の2つが目的となる場合もある。
▪ 薬効分野や薬剤の性格に応じた仮説を検討すべきであり，やみくもに対比較を行うべきではない。
▪ また，多重性の調整も異なる推論の領域では不必要であり，検定の構造に応じた多重性の調整を行うべきである。

•–––Emax model•

Sigmoid Emax Model•Exponential Model•

Beta model=,–=,–,–+=+,0.0+https://www.pmda.go.jp/int-activities/int-harmony/ich/0001.html 29

モデルによる解析は不十分な可能性

0.2

0.4

0.6

0.8

1.0

quadratic

emax

sigEmax1

exponential

betaMod1

logistic1

1.0
0.8

⁄

exp

−1

0.6
0.4

×1− ⁄

⁄

Linear Model
–

=

0.2
0.0

1.0
0.8+

×0.6

Linear in log Model
,

–

=+

× log

0.4+

offset is a fixed offset parameter.

•0.2

Logistic Model–•×,0.0=+⁄ 1 + exp

0.050 −⁄+×

各用量ごとの有効率に直線をあてはめ，その傾きが正であるか否かを検定する。
その結果が有意であるなら，有効率は用量依存的に上昇すると結論することができる。
傾向性の検討にあたってプラセボ群を含めて検定するか否かは注意を要し，治験の目的との関連の上で決定すべきである。
傾向性検定が有意となった場合，これは薬効の存在を証明する結果となる。

• 4.1 Estimation Methods+,=+()
Scale is a fixed dose scaling parameter•
•

•

+=,

•× ⁄+

Model means,–

対比較の場合を図3Aに示した。
対比較を用いて用量―反応関係を議論するには，プラセボと低用量，プラセボと中用量，プラセボと高用量の比較を適切な多重性の調整を前提として実施することが多い。
ここで，いずれかの対比較において有意差が認められれば，その用量はプラセボと有効率が異なると結論することができる。

直線でいいの？

様々な用量反応関係•

図3

傾向性検定の場合を図3Bに示した。
–

https://www.pmda.go.jp/int-activities/int-harmony/ich/0001.html 28•

プラセボ，低用量，中用量，高用量の有効率の比較から用量―反応関係を議論する場合を例として挙げる（図3）。

0.2

0.4

0.6

0.8

1.0

0.0

0.2

0.4

0.6

0.8

1.0

– The use of estimation
methods (as opposed totesting methods) toanalyze dose-response
data is supported in theICH-E4 guidance and inliterature… It has beenargued that ignoring
uncertainty in model
selection can lead to overconfidence in decisionmaking.

DoseQuadratic Model–,=+×

Package “DoseFinding” 2016 30

無断転載・無断使用を禁じます。

U.S. FDA Qualification of The MCP-Mod Procedure 318

2017/11/29

Failure of Investigational Drugs in Late-Stage ClinicalDevelopment and Publication of Trial Results

MCP-Mod（再掲）• RESULTS in ‘Abstract’▪ Among 640 novel therapeutics, 344 (54%) failed in clinical development, 230(36%) were approved by the US Food and Drug Administration (FDA), and 66(10%) were approved in other countries but not by the FDA.
▪ Most products failed due to inadequate efficacy (n = 195; 57%), while 59(17%) failed because of safety concerns and 74 (22%) failed due to commercialreasons.
▪ The pivotal trial results were published in peer-reviewed journals for 138 of
the 344 (40%) failed agents.
▪ Of 74 trials for agents that failed for commercial reasons, only 6 (8.1%) werepublished.
▪ In analyses adjusted for therapeutic area, agent type, firm size, orphan
designation, fast-track status, trial year, and novelty of biological pathway,orphan-designated drugs were significantly more likely than nonorphan drugs
to be approved (46%vs 34%; adjusted odds ratio [aOR], 2.3; 95%CI, 1.4-3.7).
▪ Cancer drugs (27% vs 39%; aOR, 0.5; 95%CI, 0.3-0.9) and agents sponsored bysmall and medium-size companies (28%vs 42%; aOR, 0.4; 95%CI, 0.3-0.7) weresignificantly less likely to be approved.
CHMP, 2014

Signal detectionとestimationをともに行う方法

Hwang TJ, et al., JAMA Intern Med, 2016 32

MCP-Modにおける検定の多重性

33

対比ベクトル• 多重対比法（multiple contrast test）

linearemax

logistic
exponential

betaMod1
betaMod2▪ （対比検定における共通の）帰無仮説:=

▪

：用量

=

Dose

=⋯=
= 1, … ,における評価項目の平均0.5

Contrast coefficients•• Signal detection▪ 少なくとも効果があるということを判断▪ いくつかの用量反応関係（対立仮説）に対する対比
•

++⋯+⋯

▪ : + + ⋯ + = 0を満たす係数ベクトル▪ ̂ : の推定値
▪ 各用量の平均の重み付き和

1025

50

100 150-0.43 -0.35 -0.24 -0.05 0.34 0.72

emax

-0.71 -0.32 -0.03 0.20 0.38 0.46

logistic-0.41 -0.39 -0.33 0.06 0.53 0.54

exponential -0.33 -0.30 -0.25 -0.14 0.20 0.82
betaMod1 -0.57 0.35 0.46 0.34 -0.12 -0.46
betaMod2 -0.53 -0.42 -0.17 0.25 0.63 0.25

-0.5050100150Dose• Model selection▪ 有意な対比に対応する用量反応モデルの選択
34

無断転載・無断使用を禁じます。

0.00linear「最適」な対比係数の決め方も提案されている（ Pinheiro J, et al., Stat Med, 2014.）

3592017/11/29

対比ごとの検定統計量=

•

∑
∑

|

⁄

~

多重性の調整（対比が２つの場合）

,：棄却域

▪
:用量反応モデル に対応する対比係数▪ ̂ : の推定値
▪ : の推定値▪
: 用量 の人数• 検定統計量間（ と▪

=・多変量t分布から計算・自由度，相関は計算可）の相関⁄∑∑・棄却限界値cの条件
Pr≥ ⋃ ≥ ≤ 0.025⁄∑⁄のもとでの検定統計量の同時分布
36

SASによる最大対比法

37

SASによる非線形モデルのあてはめ• proc nlmixed data=data;• proc glimmix data=data;▪ class dose;▪ model resp = dose / noint solution covb;▪ estimate‘linear’ dose -0.428 -0.351 -0.236 -0.045 0.339 0.722,‘emax’ dose -0.706 -0.317 -0.025 0.202 0.384 0.461,‘logistic’ dose -0.406 -0.392 -0.329 0.061 0.529 0.538/ adjust=simulate(nsamp=1000000 seed=1)
uppertailed ;▪ parms E0=0.01 Emax=0.01 ED50=0.01 SD=1.0 ;▪ bounds 0 < ED50 < 2.0 ;▪ Mu = E0 + Emax * dose / (dose + ED50);▪ model resp ~ normal(Mu, SD** 2);• run ;

• run ;
38

無断転載・無断使用を禁じます。

39

10

2017/11/29

RによるMCP-Mod

Model averagingのほうがよいかも40‘rules-of-thumb’• 4-7 active doses across a >10-fold dose-range• 3-7 dose-response models / shapes▪ a balance of efficiency (too many shapes woulddecrease efficiency) and risk of bias (from too few
shapes that cannot properly describe a dose-response
relationship).

• Sample size
▪ the objectives of the study must be reflected notingthat sample sizes for detecting dose-response areusually inappropriate for dose-selection and doseresponse estimation.
U.S. FDA Qualification of The MCP-Mod Procedure 42

無断転載・無断使用を禁じます。

41

MCP-Modで多重性を調整する意義• Another interesting part of the procedure relates to thecontrol for multiple comparisons.
• Designing an experiment that permits conclusions to be
drawn with control of false-positive error rate is clearly
desirable for the study sponsor.
• It is mandated by regulators in the confirmatory phase ofdevelopment, though not in the exploratory phase that isunder discussion here, where factors other than strict typeI error control may influence decisions regarding future
clinical development.
• The choice of 5% used by the applicant in their illustrations
is arbitrary and could be varied based on the certainty thatthe applicant wish to have for their decision-making.
CHMP, 20144311

2017/11/29

まとめ（MCP-Mod）• Phase IIをどう実施するか▪ まずは「効果」があることを探索する• 多重対比法において検定の多重性を調整▪ 用量反応関係も推定する• モデルをどう用いるかはまだまだ議論がある• MCP-Modを使うかどうか▪ 試験の目的に合わせて考える必要がある• 群間比較を考慮するかどうか
https://clinicaltrials.gov/ct2/show/NCT01470755

4445

参考文献
• Bretz F, Pinheiro JC, Branson M. Combining multiple
comparisons and modeling techniques in dose-response
studies. Biometrics 2005; 61: 738-748.
• Bretz F, Maurer W, Brannath W, Posch M. A Graphicalapproach to sequentially rejective multiple test procedures.
Statistics in Medicine 2009; 28: 586-604.
• EMA. (2017) Guideline on multiplicity issues in clinical trials.
• FDA. (2017) Draft Guidance for Industry. Multiplicity
Endpoints in Clinical Trials.
• Pinheiro J, Bornkamp B, Glimm, E, Bretz F. Model-baseddose finding under model uncertainty using generalparametric models. Statistics in Medicine 2014; 33: 16461661.
46

無断転載・無断使用を禁じます。

12