## Validasi Temporal Prediktor Kejadian Kardiovaskular Mayor pada Penderita Infark Miokard Akut dengan Elevasi Segmen ST
1 1,2 1,2 1,2 Robert Adrianto Raharjo , Susi Herminingsih , Pipin Ardhianto , Yan Herry
Latar belakang : Skor risiko KARIADI merupakan sistem skor dengan rentang skor 0–9; komponennya meliputi kelas Killip, final TIMI flow , total ischemic time , kadar kreatinin darah, kadar glukosa darah, tekanan darah sistolik, dan usia. Skor tersebut dikembangkan untuk  memprediksi  risiko  kejadian  kardiovaskular  mayor  (KKvM)  selama  rawat  inap (gabungan  kematian,  stroke, urgent  revascularization ,  syok  kardiogenik,  edema  paru akut,  atau  aritmia)  pada  penderita  infark  miokard  akut  dengan  elevasi  segmen  ST (IMA–EST) yang menjalani intervensi koroner perkutan (IKP) primer, namun performa skor risiko tersebut belum pernah divalidasi secara temporal. Penelitian ini bertujuan untuk melakukan validasi temporal terhadap skor risiko KARIADI.
Metode  : Penelitian  ini  merupakan  penelitian  kohort  prospektif  pada  109  penderita IMA–EST yang menjalani IKP primer di RSUP Dr. Kariadi dari Januari–November 2020. Sampel penelitian menjalani penilaian skor risiko KARIADI dan follow-up selama rawat inap  untuk  menentukan  ada/tidaknya  KKvM.  Validasi  dilakukan  dengan  menguji performa kalibrasi [dinilai dengan calibration-in-the-large (alfa), calibration slope (beta), serta  plot  kalibrasi]  dan  diskriminasi  (dinilai  dengan c-statistic dan  kurva receiver operating characteristic ). Hasil : Delapan belas pasien (16,5%) mengalami KKvM. Skor risiko KARIADI menunjukkan performa kalibrasi yang kurang baik (alfa -0,39; beta 0,71; plot kalibrasi kurang sesuai) dan performa diskriminasi sedang ( c-statistic 0,75; IK95% 0,62-0,87). Simpulan : Skor risiko KARIADI mungkin belum valid dalam memprediksi KKvM selama rawat inap pada penderita IMA-EST yang menjalani IKP primer.
Kata kunci  : Infark miokard akut dengan elevasi segmen ST, skor risiko KARIADI, validasi temporal
1 Program Studi Jantung dan Pembuluh Darah Fakultas Kedokteran Universitas Diponegoro
2 KSM Jantung RSUP Dr. Kariadi Semarang
Abstrak
Original Article
Med Hosp 2021; vol 8 (2) : 185–193
p-ISSN: 2301-4369 e-ISSN: 2685-7898 https://doi.org/10.36408/mhjcm.v8i2.569
Diajukan: 15 Maret 2021 Diterima: 11 Mei 2021
Afiliasi Penulis: Program Studi Jantung dan Pembuluh Darah Fakultas Kedokteran Universitas Diponegoro
Korespondensi Penulis: Robert Adrianto Raharjo Jl. Dr. Sutomo No. 16, Semarang, Jawa Tengah 50244, Indonesia
E-mail: robert.adriantoraharjo@gmail.com
Background : KARIADI risk score is a 0-to-9 point system based on Killip class, final TIMI flow, total ischemic time, creatinine level, blood glucose, systolic blood pressure, and age. This score was developed to predict the risk of in-hospital major adverse cardiovascular events (MACE) (a composite of death, stroke, urgent revascularization, cardiogenic shock, acute pulmonary edema, or arrhythmia) in patients with ST-segment elevation myocardial infarction (STEMI) undergoing primary percutaneous intervention (PPCI), but its performance has never been validated temporally. The aims of this study was to perform temporal validation on KARIADI risk score.
Methods : This study was a prospective cohort study on 109 STEMI patients undergoing PPCI in Dr. Kariadi General Hospital during January- November 2020. Each sample underwent KARIADI risk score assessment and follow-up for in-hospital MACE. The risk score validation was performed  by assessing  calibration [measured  with  calibration-in-the-large (alpha),  calibration slope  (beta),  and  calibration plot]  and discrimination performance [measured with c-statistic and receiver operating characteristic curve).
Results  : Eighteen  patients  (16.5%)  had  MACE.  KARIADI  risk  score  demonstrated  unsuitable  calibration  (alpha  -0.39,  beta  0.71,  unfit calibration plot) and moderate discrimination performance (c-statistic 0.75, 95% CI 0.62-0.87).
Conclusion : KARIADI risk score may not be valid in predicting in-hospital MACE in patients with STEMI undergoing PPCI.
Keywords : ST-segment elevation myocardial infarction, KARIADI risk score, temporal validation

## Abstract

## Temporal Validation of Major Adverse Cardiovascular Events' Predictors in ST-Segment Elevation Myocardial Infarction Patients

## PENDAHULUAN
Infark  miokard  akut  dengan  elevasi  segmen  ST  (IMA- EST) merupakan suatu masalah kesehatan publik yang penting,  baik  di  negara  maju  maupun  negara berkembang, dengan angka insidensi antara 43 – 144 per
1,2 100.000 penduduk per tahun.  Kejadian kardiovaskular mayor  (KKvM),  yang  meliputi  aritmia,  revaskularisasi segera, stroke, dan kematian, merupakan komplikasi dari IMA-EST.  KKvM  dapat  terjadi  bahkan  pada  penderita IMA-EST  yang  telah  menjalani  intervensi  koroner perkutan  (IKP)  primer,  dengan  angka  kejadian  yang
3–7 tinggi di Indonesia, yaitu sebesar 5,9–25,5%.  Skor risiko 7 KARIADI   adalah  skor  risiko  prediksi  KKvM  selama perawatan di rumah sakit pada penderita IMA-EST pasca IKP primer yang dikembangkan oleh Asrial dkk. Dengan menggunakan  tujuh  variabel  prediktor  (umur,  tekanan darah sistolik, kelas Killip, kadar glukosa darah sewaktu, kadar kreatinin darah, durasi total ischemic time , dan final thrombolysis  in  myocardial  infarction [TIMI] flow ),  skor risiko  KARIADI  mampu  memprediksi  KKvM  dengan rentang  yang  luas  dan  gradual,  dari  1,2%  pada  skor terendah hingga 99,9% pada skor tertinggi, dengan hasil validasi  internal  yang  baik.  Tujuan  awal  dari dikembangkannya  skor  risiko  KARIADI  adalah  untuk menentukan pasien mana yang memerlukan perawatan di  ruang  rawat  intensif  berdasarkan  prediksi  risiko KKvM, namun konsep klinis ini belum dapat dibuktikan karena  ketepatan  prediksi  dari  skor  itu  sendiri  belum 7 divalidasi.
Untuk dapat digunakan dalam praktik klinis, skor 8–10 risiko perlu menjalani penelitian validasi. Maka dari itu,  penelitian  ini  dilakukan  dengan  tujuan  melakukan validasi temporal terhadap skor risiko KARIADI.

## METODE
Penelitian  ini  merupakan  penelitian  kohort  prospektif pada penderita IMA-EST yang menjalani IKP primer di RSUP  Dr.  Kariadi  pada  periode  Januari–Oktober  2020. Pengambilan  sampel  dilakukan  dengan  metode consecutive sampling , dengan kriteria inklusi yaitu pasien dengan diagnosis IMA-EST yang menjalani IKP primer yang  berusia  18–80  tahun;  sementara  kriteria  eksklusi pada  penelitian  ini  yaitu  pasien  diketahui  menderita kanker  atau  penyakit  lainnya  yang  diperkirakan  dapat menjadi  penyebab  utama  kematian  selama  perawatan dan  pasien  mengalami  stroke  sebelum  atau  selama prosedur  IKP  primer.  Jumlah  sampel  minimal
11 berdasarkan studi simulasi oleh Vergouwe dkk  adalah sebesar 104 sampel.
Variabel terikat dalam penelitian ini adalah KKvM yang  timbul  selama  rawat  inap,  dengan  komponen kematian, syok kardiogenik, edema paru akut, aritmia, stroke,  dan/atau  revaskularisasi  segera.  Sementara  itu, variabel  bebas  dalam  penelitian  ini  adalah  skor  risiko KARIADI, yang memiliki variabel prediktor dan sistem penilaian seperti yang ditampilkan pada Tabel 1.
Penelitian ini menggunakan prinsip complete case , sehingga  semua  data  diharapkan  lengkap.  Data  akan dianalisis  menggunakan  perangkat  lunakR  versi  3.6.2. Validasi prediksi skor risiko KARIADI dinilai dengan uji kalibrasi  ( calibration-in-the-large dan calibration  slope dengan visualisasi menggunakan plot kalibrasi) dan uji d i s k r i m i n a s i   [ s t a t i s t i k - c   d e n g a n   v i s u a l i s a s i menggunakan  kurva receiver  operating  characteristics (ROC)].
Calibration-in-the-large ( intercept alfa)  merupakan selisih  antara  prediksi  probabilitas  KKvM  berdasarkan
skor risiko KARIADI dengan rerata KKvM yang benar- benar terjadi dalam penelitian ini. Calibration slope ( slope beta) adalah ukuran kesesuaian antara risiko luaran yang diprediksi skor risiko KARIADI dengan yang diobservasi di  seluruh  kisaran  prediksi.  Statistik-c (concordance) merupakan  kuantifikasi  dari  kemampuan  diskriminasi suatu model, di mana nilai c sama dengan area di bawah kurva ROC.
Penelitian  ini  telah  mendapatkan  keterangan layak etik dari Komite Etik Penelitian Kesehatan RSUP Dr.  Kariadi  Semarang,  dengan  nomor  458/EC/KEPK- RSDK/2020.

## HASIL
Alur pengumpulan sampel ditunjukkan pada Gambar 1 dan karakteristik dasar dari total 109 sampel penelitian validasi ini beserta data original yang digunakan untuk menderivasi  skor  risiko  KARIADI  ditampilkan  pada Tabel  2.  Dalam  evaluasi  selama  rawat  inap  paska  IKP primer,  KKvM  terjadi  pada  18  sampel  (16,5%),  dengan komponen  kematian  pada  9  sampel,  syok  kardiogenik pada  4  sampel,  edema  paru  akut  pada  2  sampel,  dan aritmia pada 3 sampel.
Perbandingan antara angka kejadian KKvM yang diobservasi  pada  data  derivasi  dan  validasi  dengan prediksi  KKvM  berdasarkan  skor  risiko  KARIADI ditunjukkan pada Gambar 2. Sementara itu, plot kalibrasi
Validasi Temporal Prediktor Kejadian Kardiovaskular Mayor pada Penderita Infark Miokard Akut dengan Elevasi Segmen ST
Pasien IMA–EST di RSUP Dr. Kariadi periode Januari – November 2020 n = 180
Tidak direncanakan menjalani IKP primer n = 58 Meninggal sebelum IKP primer terlaksana n = 2 Menjalani angiografi koroner tanpa IKP primer n = 4
Pasien IMA-EST yang menjalani IKP primer n = 116
Kriteria eksklusi n =7 Tidak bersedia IC n = 6 Suspek tumor otak n = 1
Sampel penelitian n = 109 KKvM (+) n = 18 KKvM (-) n = 91
Variabel TABEL 1 7
Skor risiko KARIADI Kelas Killip Kategori Skor 2 0 Final TIMI flow Kadar kreatinin darah (mg/dl)
Durasi total ischemic time (jam) Kadar glukosa darah (mg/dl) Tekanan darah sistolik (mmHg) Usia >2 ≤2 <3 ≥2
>10 >180 ≤100 ≥63 3 <2 ≤10 ≤180 >100 <63
2 1
1
1 1 1
0
0 0
0
0
0
Gambar 1. Alur pengumpulan sampel penelitian

## Variabel

## TABEL 2

## Karakteristik dasar dari kohort validasi dibandingkan dengan kohort derivasi skor risiko KARIADI
Data Derivasi (n=208) Kohort Validasi (n=109) Kohort Validasi KKvM (-) (n=91) Kohort Validasi KKvM (+) (n=18) Usia, tahun Laki-laki Faktor risiko KV Diabetes Active smoker
FH Riwayat CAD 55,8 ± 10,0 166 (79,8%) TDL 42 (20,2%) 120,2 ± 26,6 57,8 ± 9,3 86 (78,9%) 64 (58,7%) 43 (39,4%) 15 (13,8%) 10 (9,2%) 23 (21%)
63 (57,8%)
32 (29,4%) 28 (25,7%)
19 (82,6%) 122,8 ± 24,9
Jenis kelamin
Perempuan
Hipertensi Dislipidemia
Ex-smoker Menopause TD sistolik, mmHg 57,5 ± 9,3 71 (78,0%) 20 (22,0%) 53 (58,2%) 34 (37,4%) 12 (13,2%) 7 (7,7%) 54 (59,3%)
26 (28,6%) 24 (26,4%) 16 (84,2%)
127,0 ± 22,6 59,2 ± 9,3
15 (83,3%)
3 (16,7%)
11 (61,1%) 9 (50%) 3 (16,7%) 3 (16,7%) 9 (50%)
6 (33,3%) 4 (22,2%)
3 (100%)
101,2 ± 25,7 Frekuensi detak jantung, kali/menit 81,2 ± 24,4 77,5 ± 19,6 77,7 ± 17,0 76,4 ± 30,2 1 3 Lokasi infark anterior
Kreatinin, mg/dL Door-to-wire crossing , jam CAD vessel disease 164 (78,9%) 3 (1,4%) 22 (10,6%) 56 (26,9%) 95 (87,1%) 56 (51,4%) 1,10 (0,95 – 1,40)
3,3 (2,3 – 4,4) 9 (8,3%) 2 (1,8%) 25,2 ± 3,0
147 (113 – 248)
10,2 (7,5 – 14,9)
35 (32,1%) Kelas Killip 2 4 2 IMT, kg/m Glukosa darah, mg/dL Total ischemic time , jam 1
81 (89,0%)
8 (8,8%) 47 (51,6%)
1,10 (0,95 – 1,30) 3,3 (2,3 – 4,4)
1 (1,1%) 25,2 ± 2,9 130 (110 – 228)
9,7 (7,2 – 12,4) 31 (34,1%) 14 (77,8%) 1 (5,55%)
9 (50%) 1,68 (0,99 – 2,00)
3,8 (2,7 – 4,6)
1 (5,55%) 25,3 ± 3,6 206 (177 – 319) 14,9 (9,6 – 20,2) 4 (22,2%) 19 (9,1%)
3 (2,8%) 1 (1,1%) 2 (11,1%) 98 (47,1%) TDL 1,13 (0,95 – 1,4) 156 (123 – 239) 2,8 (1,8 – 4,2) 8,0 (5,6 – 11,3)
3 LAD RCA 80 (38,5%) 45 (41,3%) 43 (39,4%) 9 (8,3%) 2 IRA LCx 38 (41,7%) 35 (38,5%) 8 (8,8%) 7 (38,9%) 8 (44,4%) 1 (5,6%) 56 (51,4%) 48 (52,7%)
8 (44,4%) 72 (34,6%) 29 (26,6%) 22 (24,2%) 7 (38,9%) TDL
Skor risiko Kariadi
Final TIMI flow <3 Total ischemic time >10 jam
TD sistolik ≤100 mmHg
Total skor 13 (11,9%) 23 (21,1%) 2 (1 – 2) 5 (4,6%)
38 (34,9%) 28 (25,7%)
18 (16,5%)
Killip >2 Kreatinin ≥2 mg/dL Glukosa darah >180 mg/dL Usia ≥63 tahun
KKvM 10 (11,0%) 1 (1,1%) 13 (14,3%) 1 (1 – 2) 26 (28,6%)
24 (26,4%)
– 3 (16,7%) 5 (27,8%) 10 (55,5%) 2,5 (1,25 – 4,75) 12 (66,7%) 4 (22,2%) – 17 (8,2%) 70 (33,7%) 17 (8,2%) 22 (10,6%) 55 (26,4%) 1 (0 – 2) 78 (37,5%) 55 (26,4%) 41 (19,7%) 57 (52,3%) 5 (4,6%) 2 (2,2%) 45 (49,5%) 3 (16,7%)
12 (66,7%)
Nilai yang ditampilkan adalah rerata ± SD, median (interquartile range) , atau n (%). CAD, coronary artery disease ; IKP, intervensi koroner perkutan; IMT, indeks massa tubuh; IRA, infarct related artery ; KKvM, kejadian kardiovaskular mayor; KV, kardiovaskular; LAD, left anterior descending ; LCx, left circumflex ; RCA, right coronary artery ; TD, tekanan darah; TDL, tidak dilaporkan.
Final TIMI flow
2 Panjang stent total, mm 12 (11,0%) 33 (24 – 49) 1 (0,9%) 96 (88,1%) 1 (0,9%) LM 3 1 9 (9,9%) 33 (24 – 52) 0 81 (89,0%) 1 (1,1%) 3 (16,7%) 34 (28 – 45) 1 (5,6%) 15 (83,3%) 0 191 (91,8%) 16 (7,7%) 1 (0,5%) TDL
Variabel Data Derivasi (n=208) Kohort Validasi (n=109) Kohort Validasi KKvM (-) (n=91) Kohort Validasi KKvM (+) (n=18)
Gambar 2. Perbandingan proporsi kejadian kardiovaskular mayor yang diobservasi pada kohort derivasi dan validasi vs. prediksi
skor  risiko  KARIADI  ditunjukkan  pada  Gambar  3. Interpretasi  alfa  dan  beta  serta  visualisasi  dari  plot kalibrasi  menunjukkan  bahwa  skor  risiko  KARIADI memiliki  performa  kalibrasi  yang  kurang  baik,  karena terdapat  ketidaksesuaian  antara  prediksi  probabilitas KKvM  dengan  kenyataan.  Secara  kuantitatif,  performa kalibrasi  skor  risiko  KARIADI  memiliki  nilai  alfa  -0,39 dan beta 0,71.
Dari  aspek  diskriminasi, c-statistic skor  risiko KARIADI  dalam  memprediksi  KKvM  adalah  0,75 (IK95%  0,62–0,87),  dengan  kurva receiver-operating
characteristic ditunjukkan  di  gambar  4.  Berdasar parameter  tersebut,  skor  risiko  KARIADI  dinilai 12 memiliki  performa  diskriminasi  sedang   atau possibly 13 helpful discrimination .
7 Penelitian  derivasi  skor  risiko  KARIADI mendapatkan titik potong terbaik pada skor  ≥3, dengan sensitivitas  87,8%  dan  spesifisitas  64,7%.  Namun,  saat skor  ≥3  diterapkan  pada  data  validasi  ini,  didapatkan sensitivitas 50%, spesifisitas 84,6%, positive predictive value 39,1%, dan negative predictive value 89,5%.
Medica Hospitalia | Vol. 8, No. 2, Juli 2021
Gambar 3. Plot kalibrasi skor risiko KARIADI A, alfa/ calibration-in-the-large ; B, beta/ calibration slope ; C, c-statistic ; KKvM, kejadian kardiovaskular mayor; SRK, skor risiko KARIADI.
Gambar 4. Kurva receiver-operating characteristic skor risiko KARIADI pada kohort validasi

## PEMBAHASAN
Penelitian ini menunjukkan bahwa skor risiko KARIADI menunjukkan  performa  kalibrasi  yang  kurang  baik dengan  performa  diskriminasi  sedang.  Secara  umum, ada  dua  faktor  utama  yang  dapat  mempengaruhi 14 validitas, yaitu case-mix dan koefisien.
Dalam  validasi  ini,  model  skor  risiko  KARIADI diaplikasikan  tanpa  mengubah  prediktor,  sistem penilaian, dan luaran. Hal tersebut dimaksudkan supaya distribusi prediktor dan luaran tidak berbeda antara data derivasi  dan  validasi  ( case-mix serupa).  Meskipun demikian, tetap terdapat perbedaan antara penelitian ini dengan  penelitian  awal  derivasi  skor  risiko  KARIADI, yaitu dalam hal kriteria inklusi. Asrial dkk menggunakan batasan awitan IMA-EST ≤48 jam, sementara penelitian ini  tidak  menggunakan  batasan  awitan  waktu  tersebut karena  menganut  konsep  IKP  primer  sesuai  dengan panduan  praktik  klinik  (PPK)  IMA-EST  dari European 15 Society  of  Cardiology (ESC)  yang  dipublikasikan  pada tahun  2017.  Hal  ini  sesuai  dengan  periode  waktu penelitian  Asrial  dkk  yang  menggunakan  data  periode 2015–2018,  sementara  penelitian  validasi  ini  dilakukan pada  tahun  2020.  Perbedaan  yang  kedua  adalah penelitian  validasi  ini  berupa  kohort  prospektif, sementara  penelitian  derivasinya  berupa  kohort retrospektif.  Yang  ketiga,  terdapat  perbedaan setting klinis  dengan  adanya  pandemi  COVID-19  sejak  Maret 2020, yang mempengaruhi pola pasien, pola praktik, dan 16 luaran.
Meskipun  terdapat  perbedaan  dalam  kriteria inklusi  yang  dikhawatirkan  dapat  menyebabkan perbedaan case-mix antara data derivasi dengan validasi, kenyataannya  hanya  didapatkan  1  sampel  penelitian dengan  onset  >48  jam.  Ketika  sampel  tersebut  tidak diikutkan  dalam  analisis,  hasil  validasi  yang  yang didapatkan (A -0,43; B 0,73, C 0,75) tidak berbeda dengan analisis yang ditampilkan di Gambar 3. Perbedaan dalam pengumpulan data secara retrospektif pada derivasi dan prospektif  pada  validasi  juga  diharapkan  tidak mempengaruhi case-mix ,  karena  kedua  penelitian tersebut adalah kohort. Case-mix akan terpengaruh bila desain  dari  penelitian  yang  retrospektif  berupa case- control sehingga  berpotensi  menyebabkan  perbedaan 14 distribusi dari luaran yang diobservasi.
Faktor kedua yang dapat mempengaruhi validitas adalah  perbedaan  koefisien  regresi.  Penyebab  yang paling  penting  dari  perbedaan  ini  adalah setting penelitian yang berbeda antara derivasi dengan validasi; isu ini telah dibahas dan disingkirkan pada pembahasan mengenai case-mix .  Penyebab  yang  kedua  adalah koefisien  regresi  seringkali  diestimasi  secara  kurang tepat karena overfitting model/skor risiko terhadap data derivasi. Overfitting cenderung terjadi pada model yang dikembangkan  dari  sampel  dengan  jumlah  yang  kecil dengan (kandidat) prediktor yang banyak. Shrinkage dari
koefisien  regresi  dapat  mencegah overfitting ,  namun seperti telah dilaporkan di berbagai penelitian, langkah ini  seringkali  tidak  dilakukan  pada  berbagai  model 14,17 prediksi  yang  dipublikasikan. Skor  risiko  KARIADI dikembangkan  dari  208  sampel  penelitian  dengan menguji  13  kandidat  prediktor  dan  proses  shrinkage
7 koefisien  regresi  tidak  dilaporkan;   maka  dari  itu terdapat  kemungkinan  koefisien  kurang  sesuai  karena overfitting model.
Terdapat beberapa hal yang dapat menyebabkan performa  kalibrasi  skor  risiko  KARIADI  yang  kurang baik.  Yang  pertama  adalah  faktor sampling  distribution dan central  limit  theorem yang  menyatakan  bahwa distribusi sampel dari suatu statistik atau penelitian akan semakin  mendekati  distribusi  normal  atau  yang diharapkan  seiring  dengan  peningkatan  jumlah 18 sampel.  Sementara itu, pada kohort validasi ini, pasien dengan  skor  3  berjumlah  sebelas  sampel,  skor  5 berjumlah tiga sampel, dan skor 6 berjumlah dua sampel; hal  tersebut  dapat  menjadi  penyebab  ketidaksesuaian distribusi KKvM yang diprediksi dengan yang aktual.
Kemungkinan  yang  kedua  adalah  populasi dengan  skor  risiko  KARIADI  yang  tinggi  yang  kurang terwakili.  Pada  kohort  validasi  terdapat  tiga  sampel dengan skor 5; dua sampel dengan skor 6; dan tidak ada sampel  dengan  skor  7–9.  Pada  kohort  derivasi  dengan jumlah  sampel  yang  lebih  banyak  pun  hanya  terdapat lima sampel dengan skor 5; empat sampel dengan skor 6; satu sampel dengan skor 7; dua sampel dengan skor 8; dan  tidak  ada  sampel  dengan  skor  9.  Hal  ini menunjukkan  bahwa  populasi  dengan  skor  risiko KARIADI yang tinggi kurang terwakili, baik pada kohort derivasi  maupun  validasi.  Pada  pengumpulan  sampel kohort validasi, terdapat dua pasien yang meninggal saat menunggu  IKP  primer  (Gambar  1),  di  mana  keduanya memiliki  profil  risiko  tinggi.  Di  samping  itu,
19 kemungkinan adanya risk–treatment paradox juga dapat berkontribusi  pada  rendahnya  jumlah  dan  proporsi pasien risiko tinggi yang menjalani IKP primer.
Kemungkinan  yang  ketiga  adalah  skor  risiko KARIADI  memang  memiliki  kalibrasi  yang  kurang sesuai.  Performa  kalibrasi  skor  risiko  KARIADI divalidasi  secara  internal  hanya  dengan  menggunakan uji  Hosmer  &  Lemeshow,  di  mana  uji  tersebut  sudah tidak dianjurkan lagi karena memiliki kekuatan statistik yang terbatas untuk mengevaluasi kalibrasi yang buruk dan  uji  tersebut  sensitif  terhadap  pengelompokan  dan ukuran sampel. Di samping itu, uji Hosmer & Lemeshow tidak  dapat  menunjukkan  besaran  atau  arah  dari kalibrasi yang kurang baik, sehingga plot kalibrasi lebih 14,17 dianjurkan. Meskipun  validasi  internal  menyatakan bahwa skor risiko KARIADI memiliki kalibrasi yang baik
7 dengan p >0,05  pada  uji  Hosmer  &  Lemeshow,   kohort derivasi  juga  memiliki  kurva  kalibrasi  yang  kurang sesuai,  seperti  yang  telah  ditunjukkan  pada  Gambar  3. Ketika  uji  Hosmer  &  Lemeshow  dilakukan  pada  data
Validasi Temporal Prediktor Kejadian Kardiovaskular Mayor pada Penderita Infark Miokard Akut dengan Elevasi Segmen ST
validasi,  hasil  yang  didapatkan  adalah  tidak  terdapat perbedaan yang bermakna secara statistik antara KKvM yang  diprediksi  dengan  yang  diobservasi,  dengan p = 0,096;  tidak  sesuai  dengan  visualisasi  dan  perhitungan alfa dan beta dari plot kalibrasi. Maka dari itu, uji Hosmer &  Lemeshow  tidak  digunakan  untuk  menentukan performa kalibrasi dalam penelitian ini.
Sementara itu, dari aspek diskriminasi, skor risiko KARIADI  memiliki c-statistic 0,75  yang  berarti  bahwa pasien yang mengalami KKvM memiliki peluang sebesar 75%  untuk  memiliki  skor  risiko  KARIADI  yang  lebih tinggi  daripada  pasien  yang  tidak  mengalami  KKvM. Secara  analogi,  jika  kita  membandingkan  skor  risiko KARIADI  satu  orang  pasien  yang  mengalami  KKvM dengan  seratus  orang  pasien  yang  tidak  mengalami KKvM, maka skor satu pasien tersebut diharapkan akan lebih  tinggi  daripada  skor  75  dari  seratus  pasien 12,13,20 lainnya. Dengan  mengacu  pada c-statistic ,  skor  risiko KARIADI memiliki performa sedang atau possibly helpful discrimination .  Bila  diterapkan  secara  retrospektif  pada pasien yang sudah mengalami KKvM, lalu dibandingkan dengan  skor  risiko  KARIADI  pasien-pasien  yang  tidak mengalami KKvM, kemungkinan besar (75%) skor risiko KARIADI akan memberikan nilai yang lebih tinggi pada 13,14 pasien yang mengalami KKvM tersebut.
Penggunaan cut  off skor  risiko  KARIADI  ≥3, seperti  yang  dianjurkan  dalam  penelitian  derivasi, memberikan  gambaran  skor  dengan threshold yang cukup tinggi dengan hasil false positive rate yang rendah (spesifisitas  84,6% ~  false-positive  rate 15,4%);  namun, hanya 50% pasien yang pada akhirnya akan mengalami KKvM yang dapat teridentifikasi dengan benar. Ketika threshold diturunkan,  sensitivitas  akan  meningkat, namun  dengan  angka  positif  palsu  yang  meningkat (gambar 10, titik skor ≥2, sensitivitas 72,2% dengan false positive  rate 47,3%).  Maka  dari  itu,  secara  hipotetis, pemilihan cut  off skor risiko KARIADI kembali kepada tujuan yang diharapkan dari penggunaan skor tersebut. Jika  tenaga  kesehatan  memerlukannya  untuk memprediksi dengan tepat pasien-pasien mana saja yang akan mengalami KKvM selama rawat inap (negatif palsu tidak  ada  atau  minimal),  maka  pemilihan cut  off yang rendah akan menjadi lebih sesuai (misal cut off ≥1 dengan false negative rate 0% atau cut off ≥2 dengan false negative rate 27,8%).  Jika  tujuan  penggunaan  skor  yang diharapkan  adalah  memprediksi  dengan  tepat  pasien- pasien  mana  saja  yang  tidak  akan  mengalami  KKvM selama rawat inap (positif palsu tidak ada atau minimal), maka  pemilihan cut  off yang  tinggi  akan  menjadi  lebih sesuai (misal cut off ≥4 dengan false positive rate 4,4% atau 13 cut  off ≥5  dengan false  negative  rate 0%).   Meskipun demikian, skor risiko KARIADI memiliki kalibrasi yang kurang baik, sehingga jika digunakan secara prospektif u n t u k   m e n s t r a t i f i k a s i   r i s i k o ,   a k a n   t e r d a p a t ketidaksesuaian  antara  prediksi  dengan  aktual.  Maka
dari  itu,  berdasarkan  penelitian  validasi  ini,  secara keseluruhan skor risiko KARIADI belum valid sehingga belum dapat digunakan secara klinis.
Penelitian  ini  memiliki  beberapa  keterbatasan, yang pertama yaitu perubahan pola pasien yang terjadi akibat  pandemi  COVID-19.  Berbagai  artikel  telah melaporkan  dampak  pandemi  ini  terhadap  pasien- pasien  IMA-EST,  baik  dari  segi  jumlah  pasien  yang berobat  semakin  sedikit,  onset  yang  semakin  panjang,
16 dan  luaran  yang  semakin  buruk.   Keterbatasan  yang kedua  yaitu  skor  risiko  KARIADI  memiliki  parameter yang kompleks, di mana skor baru dapat dihitung secara lengkap  bila  pasien  telah  menjalani  IKP  primer. Kenyataannya, sebagian pasien dengan IMA-EST tidak menjalni  IKP  primer,  padahal  sebagian  dari  pasien dengan profil risiko tinggi justru berada pada kelompok yang  tidak  menjalani  IKP  primer  tersebut.  Di  satu  sisi, setting yang  spesifik  (IMA-EST  yang  menjalani  IKP primer)  menjadi  kelebihan  dari  skor  risiko  KARIADI karena  menjadi  modalitas  stratifikasi  risiko  pada populasi  yang  spesifik,  namun  di  sisi  lain  hal  tersebut menjadi keterbatasan dari skor risiko KARIADI, karena tidak  dapat  digeneralisasikan  pada  kelompok  pasien- pasien IMA-EST yang tidak menjalani IKP primer.
Penelitian  validasi  temporal  ini  menunjukkan bahwa skor risiko KARIADI mungkin belum valid dalam memprediksi timbulnya KKvM selama rawat inap pada penderita  IMA-EST  yang  menjalani  IKP  primer. Meskipun  skor  risiko  KARIADI  memiliki  performa diskriminasi yang sedang, namun performa kalibrasinya kurang  baik.  Pembaharuan  model (model–updating) , suatu langkah untuk memperbaiki kemampuan prediksi suatu  skor  risiko,  dapat  dipertimbangkan  dalam penelitian lebih lanjut mengenai skor risiko KARIADI.

## DAFTAR PUSTAKA
1. Yeh  RW,  Sidney  S,  Chandra  M,  Sorel  M,  Selby  J  V.,  Go  AS. Population  trends  in  the  incidence  and  outcomes  of  acute myocardial infarction. N Engl J Med 2010; 362: 2155–2165.
2. Widimsky P, Wijns W, Fajadet J, De Belder M, Knot J, Aaberge L, et al . Reperfusion therapy for ST elevation acute myocardial infarction in Europe: Description of the current situation in 30 countries. Eur Heart J 2010; 31: 943–957.
3. Dharma S, Andriantoro H, Purnawan I, Dakota I, Basalamah F, Hartono  B, et  al .  Characteristics,  treatment  and  in-hospital outcomes of patients with STEMI in a metropolitan area of a developing country: an initial report of the extended Jakarta Acute Coronary Syndrome registry. BMJ Open 2016; 6: e012193.
4. Prara  Miftah  Rahmi.  Major  Adverse  Cardivascular  Events During  Treatment  At  ST-Segment  Elevation  Myocardial Infarction (STEMI) In Dr. M. Djamil Hospital Padang [Thesis].
5. Arso IA, Setianto BY, Taufiq N, Hartopo AB. In-hospital major cardiovascular events between STEMI receiving thrombolysis therapy and primary PCI. Acta Med Indones 2014; 46: 124–130.
6. Sitorus  MRP,  Ketaren  I,  Yanti  SN.  Simplified  Clinical Electrocardiogram Score Sebagai Faktor Prediktor Mortalitas pada  Pasien  Infark  Miokard  Akut  di  Intensive  Cardiac  Care Unit (ICCU) RSUD DR.Soedarso. Yars Med J 2016; 24: 166–174.
Medica Hospitalia | Vol. 8, No. 2, Juli 2021
7. Asrial  AA,  Herry  Y,  Anggriyani  N,  Suhartono,  Bahrudin  U. KARIADI risk score: an attempt to stratify intensive care needs after primary percutaneous coronary intervention. Eur Hear J Supp 2019; 21: F76.
8. Altman  DG,  Royston  P.  What  do  we  mean  by  validating  a prognostic model ? Stat Med 2000; 19: 453–473.
9. Moons  KGM,  Royston  P,  Vergouwe  Y,  Grobbee  DE,  Altman DG. Prognosis and prognostic research: what, why, and how? BMJ 2009; 338: b375.
10.  Altman DG, Vergouwe Y, Royston P, Moons KGM. Prognosis and prognostic research: validating a prognostic model. BMJ 2009; 338: b605.
11.  Vergouwe Y, Steyerberg EW, Eijkkemenas MJC, Habbema JDF. Substantial  effective  sample  sizes  were  required  for  external validation  studies  of  predictive  logistic  regression  models. J Clin Epidemiol 2005; 58: 475–483.
12.  Dahlan S. Penelitian Prognostik dan Sistem Skoring . Jakarta: Alqa Prisma Interdelta Jatinangor, 2016.
13.  Alba AC, Agoritsas T, Walsh M, Hanna S, Iorio A, Devereaux PJ, et  al .  Discrimination  and  calibration  of  clinical  prediction models. JAMA 2017; 138: 1377–1384.
14.  Steyerberg EW. Clinical prediction models: a practical approach to development, validation, and updating . New York: Springer, 2009.
15.  Ibanez B, James S, Agewall S, Antunes MJ, Bucciarelli-Ducci C, Bueno  H, et  al .  2017  ESC  Guidelines  for  the  management  of acute  myocardial  infarction  in  patients  presenting  with  ST- segment elevation. Eur Heart J 2018; 39: 119–177.
16.  Pessoa-Amorim G, Camm CF, Gajendragadkar P, De Maria GL, Arsac C, Laroche C, et al . Admission of patients with STEMI since the outbreak of the COVID-19 pandemic: a survey by the European  Society  of  Cardiology. Eur  Hear  J  Qual  Care  Clin Outcomes 2020; 6: 210–216.
17.  Moons KGM, Altman DG, Reitsma JB, Ioannidis JPA, Macaskill P,  Steyerberg  EW, et  al .  Transparent  Reporting  of  a multivariable  prediction  model  for  Individual  Prognosis  Or Diagnosis (TRIPOD): explanation and elaboration. Ann Intern Med 2015; 162: W1–W73.
nd 18.  Kirkwood BR, Sterne JAC. Essential Medical Statistics . 2 ed. Massachusetts: Blackwell Publishing, 2003.
19.  Fox KAA, Anderson FA, Dabbous OH, Steg PG, López-Sendón J,  Van  De  Werf  F, et  al .  Intervention  in  acute  coronary syndromes: Do patients undergo intervention on the basis of their  risk  characteristics?  The  Global  Registry  of  Acute Coronary Events (GRACE). Heart 2007; 93: 177–182.
20.  Steyerberg EW, Vergouwe Y. Towards better clinical prediction models:  seven  steps  for  development  and  an  ABCD  for validation. Eur Hear J 2014; 35: 1925–1931.
Validasi Temporal Prediktor Kejadian Kardiovaskular Mayor pada Penderita Infark Miokard Akut dengan Elevasi Segmen ST