ISSN(p): 2338-8323 | ISSN(e): 2459-9638 | Vol. 8 | No. 2 | Halaman 443 - 453
DOI : http://dx.doi.org/10.26760/elkomika.v8i2.443

## Deteksi Penyakit Covid-19 Berdasarkan Citra X-Ray Menggunakan Deep Residual Network
YULI SUN HARIYANI 1 , SUGONDO HADIYOSO 1 , THOMHERT SUPRAPTO SIADARI 2
1 Universitas Telkom, Indonesia
2 University of Science and Technology, Republic of Korea Email: yulisun@telkomuniversity.ac.id
Received 30 Maret 2020 | Revised 10 April 2020 | Accepted 10 Mei 2020

## ABSTRAK
Penyakit Coronavirus-2019 atau Covid-19 telah menjadi pandemi global dan menjadi masalah utama yang harus segera dikendalikan. Salah satu cara yang dapat dilakukan adalah  memutus  rantai  penyebaran  virus  tersebut  dengan  melakukan  deteksi  dan melalukan karantina. Pencitraan X-Ray dapat dijadikan alternatif dalam mempelajari Covid-19. X-Ray dianggap mampu menggambarkan kondisi paru-paru pada pasien Covid-19  dan  dapat  menjadi  alat  bantu  diagnosa  klinis.  Pada  penelitian  ini,  kami mengusulkan pendekatan deep learning berbasis residual deep network untuk deteksi Covid-19  melalui  citra  chest  X-Ray.  Evaluasi  yang  dilakukan  untuk  mengetahui performa  metode  yang  diusulkan  berupa  precision,  recall,  F1,  dan  accuracy.  Hasil eksperimen menunjukkan bahwa usulan metode ini memberikan precision, recall, F1 dan accuracy masing-masing 0,98, 0,95, 0,97 dan 99%. Pada masa mendatang, studi ini diharapkan dapat divalidasi dan kemudian digunakan untuk melengkapi diagnosa klinis oleh dokter.
Kata  kunci :  Coronavirus-2019,  Covid-19,  chest  X-Ray,  deep  learning,  residual network

## ABSTRACT
Coronavirus-2019 or Covid-19 disease has become a global pandemic and is a major problem that must be stopped immediately. One of the ways that can be done to stop its  spreading  is  to  break  the  spreading  chain  of  the  virus  by  detecting  and  doing quarantine. X-Ray imaging can be used as an alternative in detecting Covid-19. X-Ray is  considered  able  to  describe  the  condition  of  the  lungs  for  Covid-19  suspected patients and can be a supporting tool for clinical diagnosis. In this study, we propose a residual based deep learning approach for Covid-19 detection using chest X-Ray images.  Evaluation  is  carried  out  to  determine  the  performance  of  the  proposed method in the form of precision, recall, F1 and accuracy. Experiments results show that  our proposed method  provides  precision,  recall,  F1  and  accuracy  respectively 0.98, 0.95, 0.97 and 99%. In the future, this study is expected to be validated and then used to support clinical diagnoses by doctors.
Keywords :  Coronavirus-2019,  Covid-19,  chest  X-Ray,  deep  learning,  residual network

## 1. PENDAHULUAN
Penyakit  Coronavirus-2019  atau dikenal  dengan  Coronavirus Disease-2019 (COVID-19)  adalah penyakit  menular  akut  yang  disebabkan  oleh  virus  corona  jenis  baru (Boldog,  dkk,  2020) . Penyakit ini menyerang sistem pernapasan secara akut dengan gejala seperti demam, kelelahan, batuk  kering  dan  sesak  napas (Liu,  dkk,  2020)(Wang,  dkk,  2020) .  Gejala  lainnya  dapat berupa nyeri otot, produksi dahak, diare, dan sakit tenggorokan. COVID-19 pertama diketahui pada  Desember  2019  di  Wuhan,  China (Huang,  dkk,  2020) .  Dalam  kurun  waktu  3  bulan menjadi pandemi global (Mckeever, 2020) . Berdasarkan laman https://www.worldometers.info/ coronavirus/ yang diakses pada tanggal 23 maret 2020, penyakit ini dilaporkan telah menyebar di 19 negara dengan total penderita sebanyak 351.198 orang. Lebih dari 15.000 orang meninggal dunia karena Covid-19. Ini merupakan ancaman serius bagi negara- negara di dunia yang dapat mengganggu bahkan menghancurkan berbagai sektor kehidupan.
Saat  ini  Covid-19  menjadi  musuh  bersama  yang  harus  diperangi  agar  kondisi  terburuk  tidak dialami.
Beberapa  strategi  telah  diterapkan  untuk  menekan  laju  pertambahan  penderita  yang  relatif sangat  cepat.  Usaha  untuk  menolak  penyakit  ini  sangatlah  sulit  atau  bahkan  tidak  mungkin, namun kita dapat menekan laju pertumbuhan yang cepat ini agar seimbang dengan kemampuan perawatan  medis.  Dengan  demikian  angka  kematian  dapat  diturunkan.  Strategi  tersebut termasuk pelacakan asal mula penderita, isolasi kota/negara dan atau melakukan tes masal. Saat ini  diagnosis  utama  ditegakkan  melalui  uji polymerase  chain  reaction  (PCR)  dan  swab tenggorokan ditambah dengan pendekatan konfirmasi untuk memberikan diagnosa yang akurat (Wang, dkk, 2020) . Namun demikian, metode ini membutuhkan waktu dan biaya yang tidak sedikit. Proses diagnosa atau screening awal tidak mungkin menggunakan metode tesebut. Cara lain yang dapat dipertimbangkan adalah tindakan non-invasive melalui pencitraan paru karena mengacu pada gejala yang ditimbulkan yaitu sesak nafas sebagai akibat pneumonia akut.
Metode  alternatif  antara  lain  pencitraan  CT  dan  X-Ray.  Penelitian  mengenai  penggunaan  CT imaging untuk deteksi atau analisis tingkat keparahan Covid-19 ini telah dilakukan oleh beberapa peneliti.  Penelitian  oleh  Liu.,  dkk  mengevaluasi  tingkat  keparahan  Covid-19  pada  73  pasien menggunakan modalitas pencitraan CT (Liu, dkk, 2020) . Penelitian ini memberikan kesimpulan bahwa tingkat keparahan penyakit memberikan gambaran CT yang berbeda. Studi lainnya oleh Hosseiny., dkk juga menitikberatkan penggunaan CT untuk analisis Covid-19 ini (Hosseiny, dkk, 2020) .  Pencitraan  CT  pada  kasus  Covid-19  untuk  analisis  kondisi  pasien  yang  diobati  telah dilaporkan oleh Yoon., dkk (Yoon, dkk, 2020) . Penelitian lain oleh Zhu., dkk, mengemukakan bahwa citra CT bagian dada dapat memberikan informasi tentang infeksi ini (Zhu, dkk, 2020) . Xu., dkk, mengusulkan pendekatan deep learning untuk deteksi Covid-19 melalui citra CT (Xu, dkk,  2020) .  Penelitian  oleh  Xu  memberikan  akurasi  kurang  dari  90%  untuk  tiga  kelompok: Covid-19, pneumonia virus Influenza-A dan normal. Meskipun teknik pencitraan CT mempunyai peluang yang bagus dalam menganalisis Covid-19, teknik ini memerlukan biaya dan pengaturan perangkat yang tidak murah. Ini akan membutuhkan sumber daya besar jika diterapkan untuk screening pada populasi yang besar. Radiografi berbasis CT umumnya hanya tersedia pada rumah sakit pusat atau kelas pertama. Oleh karena itu baru-baru ini pencitraan X-Ray menjadi perhatian peneliti  untuk  dijadikan  alternatif  dalam  mempelajari  Covid-19.  X-Ray  dianggap  mampu menggambarkan kondisi paru-paru pada pasien Covid-19 dan dapat menjadi alat bantu diagnosa klinis.  Penelitian  yang  dilakukan  oleh  Narin,  dkk  menggunakan  deep  learning  untuk  meng- klasifikasi Covid-19 dan kondisi normal (Narin, dkk, 2020). Namun demikian, pada penelitian tesebut menggunakan data uji yang sangat terbatas, hanya 10 citra untuk masing-masing kelas. Dalam tulisan ini, kami mengusulkan pendekatan deep learning berbasis residual network untuk deteksi  Covid-19  melalui  citra chest  X-Ray.  Evaluasi  dilakukan  untuk  mengetahui  performa
metode yang  diusulkan  berupa precision,  recall,  F-1, dan  akurasi.  Dengan  metode  yang  kami usulkan  diharapkan  dapat  memberikan  gambaran  yang  lebih  komprehensif  dalam  tujuan membantu dan melengkapi diagnosa klinis serta perawatan pasien.

## 2. METODOLOGI
2.1 Convolutional Neural Network (CNN)
Dalam beberapa tahun ke belakang, penggunaan deep learning khususnya convolutional neural network  (CNN)  berhasil  mengungguli  performansi  machine  learning  tradisional  dalam  bidang klasifikasi  citra,  tidak  terkecuali  citra  medis (Allaouzi,  dkk,  2019) .  Banyak  variasi  arsitektur jaringan  yang  dibangun  dari  CNN,  antara  lain  Inception (Singh,  dkk,  2019) ,  VGGNet (Simonyan & Zisserman, 2019) , MobileNet (Howard, dkk, 2019) , Densenet (Huang, dkk,
2017) , dsb. CNN pada dasarnya adalah susunan banyak layer yang terdiri dari convolution layer, pooling layer, dan fully connected layer. Berbeda dengan jaringan syaraf tiruan biasa seperti yang terlihat pada Gambar 1, CNN mengatur neuron sehingga memiliki tiga dimensi (lebar, tinggi dan kedalaman)  yang  pada  Gambar  1  didefinisikan  sebagai  satu layer.  Setiap  layer  pada  CNN mentransformasi input 3D menjadi output 3D dari aktivasi neuron.
Gambar 1. Jaringan Saraf Tiruan (kiri) dan CNN (kanan)

## 2.1.1 Convolution Layer
Pada convolution layer dilakukan ekstraksi fitur pada citra dengan melakukan proses konvolusi antara filter matrix dengan input citra. Dengan penggunaan banyak tingkat layer dan filter matrix yang berbeda, maka akan didapatkan fitur di level tinggi seperti edge, curve dan fitur warna.

## 2.1.2 Pooling Layer
Pooling  layer  digunakan  untuk  mengurangi  ukuran  spasial  dengan  tujuan  mengurangi  jumlah parameter dan komputasi, selain itu juga untuk menghindari kondisi overfitting dimana model sangat  akurat  memprediksi  data  latih  namun  gagal  mengenali  data  di  luar  data  latih.  Jenis pendekatan pooling yang banyak digunakan yaitu max pooling dan average pooling. Max pooling mengambil nilai maksimum pada daerah tertentu, sedangkan average pooling mengambil nilai rata-rata.

## 2.1.3 Fully Connected Layer
Fully  connected  layer  adalah  jaringan  syaraf  tiruan  feedforward  yang  terdiri  dari  input  layer, hidden layer dan output layer, dimana setiap neuron pada suatu layer terhubung secara penuh ke neuron pada layer sebelum dan setelahnya.

## 2.2 Residual Network
Masalah yang dialami arsitektur CNN sebelumnya adalah ketika jaringan mulai konvergen dan kedalaman jaringan bertambah maka akurasi akan mengalami nilai saturasi kemudian menurun secara  cepat. Residual  Network  (ResNet)  yang  diperkenalkan  oleh (He,  dkk,  2016)
menambahkan skip  connection  atau  identity  mapping  pada  jaringan  CNN  untuk  mengatasi masalah tersebut. Mekanisme ‘ skip connection’ atau identity mapping dapat dilihat pada Gambar 2. Identity mapping x akan melompati beberapa layer kemudian ditambahkan  pada output layer F di depan nya.
Gambar 2. Blok Residual
ResNet yang digunakan pada penelitian ini adalah ResNet-50 yang memiliki 50 layer seperti yang ditunjukkan pada Gambar 3. Selain ResNet-50, beberapa tipe arsitektur ResNet lain diantaranya ResNet-18,  ResNet-34,  ResNet-101  hingga  ResNet-152.  Seperti  yang  telah  disebutkan sebelumnya bahwa dasar dari arsitektur ResNet adalah CNN, sehingga layer-layer ResNet-50 juga terdiri dari convolutional layer, pooling layer, dan fully connected (fc) layer serta penambahan skip connection pada setiap beberapa convolution layer. Di akhir, ResNet menggunakan fungsi softmax sebagai fungsi aktivasi. Fungsi softmax dapat dilihat pada Persamaan 1.
𝑠𝑜𝑓𝑡𝑚𝑎𝑥(𝑧 ) = 𝑒𝑥𝑝(𝑧 ) ∑ 𝑒𝑥𝑝(𝑧 )
(1)
Gambar 3. Arsitektur ResNet-50 dalam sistem yang dibangun

## 2.3  Pengumpulan Dataset
Data yang yang dipakai dalam studi ini diambil dari dua sumber terbuka terdiri dari data covid- 19  melalui  laman  https://github.com/ieee8023/covid-chestxray-dataset  dan  data  normal  yang dapat diakses melalui https://www.kaggle.com/paultimothymooney/chest-xray-pneumonia. Dari dua  sumber  ini,  kami  kemudian  memformulasikan  dataset  gabungan  dengan  dua  kelas  yaitu Covid-19 dan Normal yang masing-masing memiliki jumlah data latih 48 citra dan data validasi masing-masing 15 citra. Sedangkan untuk data uji, kelas Covid-19 sebanyak 42 citra dan kelas normal sebanyak 234 citra.

## 2.4 Sistem yang dibagun
Setelah mengumpulkan dataset, langkah selanjutnya adalah membangun sistem untuk pelatihan dan mengevaluasi jaringan yang dibuat. Pada penelitian ini, kami menggunakan metode transfer learning, yang melakukan proses latih dengan menggunakan model yang sudah terlebih dahulu dilatih menggunakan dataset lain. Untuk kasus ini, kami menggunakan model ResNet yang sudah terlebih dahulu dilatih menggunakan ImagetNet dataset (Deng, dkk, 2009) . Diagram alir dari sistem yang kami bangun dapat dilihat di Gambar 4.

## Gambar 4. Diagram Alir dari Proses Latih dan Evaluasi
Arsitektur jaringan yang kami buat berdasarkan dengan model ResNet-50 yang telah dijelaskan di bab 2.2. Yang menjadi dasar perbedaan adalah kami mengubah lapis terakhir dari jaringan tersebut, dari yang awalnya untuk klasifikasi 1000 kelas menjadi hanya 2 kelas yaitu kelas covid- 19  dan  kelas  normal.  Ada  pun  gambar  rinci  dari  jaringan  yang  kami  usulkan  dapat  dilihat  di Gambar 3.

## 2.5 Evaluasi
Metriks yang digunakan untuk mengevaluasi model adalah akurasi, precision, recall dan F1-score. Untuk memahami metriks yang digunakan, sebelumnya akan didefinisikan terlebih dahulu true positive  (TP),  false  positive  (FP),  false  negative  (FN)  dan  true  negative  (TN)  seperti  yang ditunjukkan pada confusion matrix Tabel 1. TP didefiniskan sebagai data positif yang diprediksi sebagai  positif  dan  TN  didefinisikan  sebagai  data  negatif  yang  di  prediksi  sebagai  negatif. Sedangkan FN merupakan kebalikan dari TP yaitu data positif yang diprediksi sebagai negatif dan FP, kebalikan dari TN, yaitu data negatif yang diprediksi positif.
Table 1. Confusion Matrix Kelas sebenarnya Positif Negatif Prediksi Positif True Positive (TP) False Positive (FP) Negatif False Negative (FN)  True Negative (TN)
Akurasi didefinisikan sebagai perbandingan jumlah data yang diprediksi secara benar terhadap total jumlah data. Precision menggambarkan perbandingan tp terhadap total data yang diprediksi positif. Recall didefinisikan sebagai perbandingan tp terhadap total data positif. Sedangkan F1- score adalah rataan harmonic antara precision dan recall. Persamaan 2, 3, 4, dan 5 merupakan rumus untuk precision, recall, F1-score, dan akurasi.
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛  = (2) 𝑅𝑒𝑐𝑎𝑙𝑙  = (3) 𝐹1 − 𝑠𝑐𝑜𝑟𝑒  = ∗ ∗ (4) 𝐴𝑘𝑢𝑟𝑎𝑠𝑖  = (5)

## 3. HASIL DAN PEMBAHASAN
Pada  bab  ini  akan  dijelaskan  hasil  eksperimen  dan  pembahasannya  secara  terperinci.  Dalam menjalankan simulasi deteksi penyakit Covid-19 ini, digunakan komputer dengan sistem operasi Ubuntu 16.04 yang dilengkapi dengan sebuah GPU Titan X yang memiliki memori 12 GB dan RAM sebesar 32 GB. Simulasi dilakukan dengan bahasa pemrograman Python dan library deep learning Keras (Chollet, dkk, 2015) . Dataset dibagi menjadi tiga bagian yaitu data latih, validasi, dan tes. Pembagian dataset ketika simulasi adalah 60% untuk data latih, 20% untuk data validasi, dan  20%  untuk  data  tes.  Proses  latih  dimulai  dengan  laju  kecepatan  belajar  ( learning  rate) sebesar 10 -3 , optimizer Stochastic Gradient Descent dengan weight  0.0001 decay iterasi selama 30 iterasi. Untuk menambah variasi data dan menghindari overfitting, kami juga menggunakan augmentasi  data  ketika  proses  latih  yaitu  rotasi,  menggeser  lebar  ( width  shift),  menggeser panjang citra ( height shift), dan membesarkan citra dengan skala tertentu. Selanjutnya proses
latih juga menggunakan batch dengan ukuran 16 sampel. Hasil evaluasi dari setiap eksperimen kami menggunakan Persamaan 2, 3, 4, dan 5.

## 3.1 Pengaruh terhadap transfer learning
Pada  bagian  ini  dibahas  pengaruh transfer  learning  terhadap  model deep  learning  yang  kami bangun. Terdapat tiga model yang digunakan, yaitu Model A yang merupakan model hasil transfer learning pada Blok 5C dari ResNet, Model B adalah model hasil hasil transfer learning pada blok 5b dan 5c, dan terakhir Model C yaitu model hasil transfer learning pada blok 5a, 5b, dan 5c. Penggambaran Blok 5a, 5b, dan 5c dapat dilihat di Gambar 3. Kami mengamati bahwa blok 5 menyimpan high level feature yang cocok dipakai untuk retraining deep learning berbasis citra X- Ray karena pada blok ini menyimpan informasi yang berguna. Sesuai dengan sub-bab 2.5, kami melaporkan hasil masing-masing model pada Tabel 2, Tabel 3, dan Tabel 4. Kemudian hasil rata- rata untuk semua model ditampilkan di Tabel 5 untuk membandingkan setiap komponen evaluasi.
Tabel 2 menjelaskan nilai precision, recall, dan F-1 score dari Model A. Di sini Model A memiliki nilai recall 0.79 yang artinya 79% dari hanya 97% prediksi yang positif dari keseluruhan prediksi yang  benar.  Selanjutnya  di  Tabel  3,  kami  melaporkan  bagaimana  hasil  uji  jika  menggunakan Model B. Hasil recall model B lebih baik dari Model A, namun model B memiliki nilai precision yang lebih  rendah  untuk  mendeteksi  kasus  Covid-19.  Di  Tabel  4,  kami  melaporkan  hasil  prediksi menggunakan Model C. Model C memiliki nilai precision, recall, dan F-1 score yang paling tinggi untuk semua kelasnya. Nilai rata-rata precision, recall, dan F-1 score kami laporkan di Tabel 5.
Kemudian  kami  juga  melaporkan  perbandingan  akurasi  dari  ketiga  Model.  Model  A  memiliki akurasi  97%,  Model  B  memiliki  akurasi  97%, dan  Model  C  memiliki  akurasi  99%.  Dari  ketiga model  yang  diusulkan,  dilihat  dari  sisi  akurasi  dapat  disimpulkan  bahwa  Model  C  memiliki performansi yang paling baik. Hal ini dikarenakan penggunaan feature terlatih yang lebih banyak dibandingkan  dua  model  lainnya.  Namun  demikian,  Model  C  memiliki  kekurangan  yaitu penggunaan parameter yang lebih banyak.
Table 2. Detail Precision, Recall, F-1 score menggunakan Model A Kelas Precision Recall F1-score Covid-19 0.97 0.79 0.87 Normal 0.98 1.00 0.99 Table 3. Detail Precision, Recall, F-1 score menggunakan Model B Kelas Precision Recall F1-score Covid-19 0.94 0.81 0.87 Normal 0.98 0.99 0.99 Table 4. Detail Precision, Recall, F-1 score menggunakan Model C (14.9M) Kelas Precision Recall F1-score Covid-19 0.97 0.90 0.94 Normal 0.99 1.00 0.99
Table 5. Rata-rata Precision, Recall, dan F-1 score untuk semua model Nama Model Precision Recall F1-score Model A 0.97 0.89 0.93 Model B 0.96 0.90 0.93 Model C 0.98 0.95 0.97 Table 6. Akurasi  untuk semua model Nama Model Akurasi Model A 97% Model B 97% Model C 99%

## 3.2 Evaluasi prediksi berdasarkan kualitas citra
Gambar 5. Citra X-Ray dari Pasien Normal dengan Hasil Prediksi Normal
Gambar 6. Citra X-Ray dari Pasien Covid-19 dengan Hasil Prediksi Covid-19

## Gambar 7. Contoh Citra X-Ray dengan Kesalahan Klasifikasi
Selain hasil evaluasi pada Tabel 2 hingga Tabel 6, kami juga mencantumkan contoh hasil evaluasi secara visual dengan menggunakan data test. Gambar 5 merupakan contoh citra yang memiliki kelas normal dan hasil prediksi normal. Hasil prediksi untuk citra sebelah kiri yaitu akurasi sebesar 99.65% dengan Model A, 94.96% dengan Model B, dan  99.71% dengan model C. Sedangkan untuk citra sebelah kanan yaitu akurasi sebesar 94.62% dengan Model A, 50.43% dengan model 2, dan  95.34% dengan Model C. Dapat dilihat bawah Model C memiliki akurasi yang lebih tinggi diantara  semua  model.  Namun  hal  patut  dicermati  adalah  Model  B  memprediksi  kedua  citra dengan nilai akurasi yang lebih rendah.
Gambar  6  merupakan  contoh  prediksi  Covid-19  dengan  input  kelas  Covid-19.  Dengan menggunakan Model A dapat memprediksi citra sebelah kiri pada Gambar 6 sebagai Covid-19 dengan akurasi 97.68%. Sedangkan prediksi dengan Model B menghasilkan akurasi 89.77%. Dan Model B memprediksi citra kiri sebagai Covid-19 dengan akurasi  98.16%. Untuk citra sebelah kanan  pada  Gambar  6,  hasil  prediksi  masing-masing  model  adalah  sebagai  berikut  Model  A memiliki  akurasi  sebesar  95.55%,  Model  B  memiliki  akurasi  sebesar  96.41%,  dan  Model  C memiliki akurasi sebesar 97.99%.
Selanjutnya  kami  juga  melaporkan  hasil  kesalahan  prediksi  menggunakan  ketiga  model sebagaimana ditunjukkan pada Gambar 7. Masukan kelas sebenarnya adalah Covid-19, namun diprediksi  sebagai  kelas  normal.  Berikut  akurasi  dari  masing-masing  model  yaitu  Model  A memprediksi normal sebesar 86.59%,  Model B sebesar 72.88%, dan Model C sebesar 64.81%. Dapat dilihat bahwa Model C memiliki prediksi yang lebih kecil. Sehingga dari ketiga model dapat disimpulkan bahwa Model C memiliki performansi yang paling stabil.

## 4. KESIMPULAN
Pada  penelitian  ini  diusulkan  metode  untuk  deteksi  COVID-19  berdasarkan  citra chest  X-Ray. Simulasi dilakukan dua kelompok data citra yaitu COVID-19 dan normal. Arsitektur jaringan yang diusulkan didasarkan pada model ResNet-50 yang mempunyai 50 layer. Kami menggunakan data latih  dan  data  validasi  untuk  masing-masing  kelas  sebanyak  48  dan  15  citra.  Untuk  data  uji digunakan 42 citra untuk kelas covid-19 dan 234 citra untuk kelas normal. Proses latih dimulai dengan laju kecepatan belajar (learning rate) sebesar 10 -3 , optimizer Stochastic Gradient Descent dengan weight  0.0001 decay iterasi selama 30 iterasi. Evaluasi perfoma metode yang diusulkan diukur  melalui precision,  recall,  F1,  dan  accuracy.  Performa  terbaik  diperoleh  pada  Model  C
dimana nilai precision, recall, F1, dan akurasi masing-masing adalah 0,98, 0,95, 0,97 dan 99%. Hasil  penelitian  ini  cukup  baik  dimana  akurasi  yang  dicapai  lebih  besar  95%  dan  dapat dipertimbangkan  untuk  diverifikasi  dan  divalidasi  oleh  tenaga  medis  sehingga  ke  depannya diharapkan dapat diaplikasikan guna mendukung diagnosa klinis penyakit covid-19 pada populasi yang lebih besar.

## DAFTAR RUJUKAN
Allaouzi, I., & Ahmed, M. B. (2019). A novel approach for multi-label chest X-Ray classification of common thorax diseases. IEEE Access, 7, 64279-64288.
https://doi.org/10.1109/ACCESS.2019.2916849
Boldog, P., Tekeli, T., Vizi, Z., Dénes, A., Bartha, F. A., & Röst, G. (2020). Risk Assessment of Novel Coronavirus COVID-19 Outbreaks Outside China. Journal of Clinical Medicine, 9(2). https://doi.org/10.3390/jcm9020571
Chollet, F. (2015). Keras. https://keras.io.
Deng, J.,  Dong,  W., Socher, R.,  Li, L.  J.,  Li, K., &  Fei-Fei,  L.  (2009).  Imagenet: A  large-scale hierarchical image database. IEEE conference on computer vision and pattern recognition (pp. 248-255). https://doi.org/10.1109/CVPR.2009.5206848
He,  K.,  Zhang,  X.,  Ren,  S.,  &  Sun,  J.  (2016).  Deep  residual  learning  for  image  recognition. Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770- 778). https://doi.org/10.1109/CVPR.2016.90
Hosseiny,  M.,  Kooraki,  S.,  Gholamrezanezhad,  A.,  Reddy,  S.,  &  Myers,  L.  (2020).  Radiology Perspective  of  Coronavirus  Disease  2019  (COVID-19):  Lessons  From  Severe  Acute Respiratory Syndrome and Middle East Respiratory Syndrome. Cardiopulmonary Imaging • Review, (May), 1–5.
Howard, A., Sandler, M., Chu, G., Chen, L. C., Chen, B., Tan, M., ... & Le, Q. V. (2019). Searching for mobilenetv3. Proceedings of the IEEE International Conference on Computer Vision (pp. 1314-1324). https://doi.org/10.1109/ICCV.2019.00140
Huang, C., Wang, Y., Li, X., Ren, L., Zhao, J., Hu, Y., … Cao, B. (2020). Clinical features of patients infected with 2019 novel coronavirus in Wuhan, China. The Lancet, 395(10223), 497–506. https://doi.org/10.1016/S0140-6736(20)30183-5
Huang,  G.,  Liu,  Z.,  Van  Der  Maaten,  L.,  &  Weinberger,  K.  Q.  (2017).  Densely  connected convolutional  networks. Proceedings  of  the  IEEE  conference  on  computer  vision  and pattern recognition (pp. 4700-4708). https://doi.org/10.1109/CVPR.2017.243
Liu,  K.-C.,  Xu,  P.,  Lv,  W.-F.,  Qiu,  X.-H.,  Yao,  J.-L.,  Jin-Feng,  G.,  &  Wei-Wei.  (2020).  CT manifestations  of  coronavirus  disease-2019:  a  retrospective  analysis  of  73  cases  by
disease severity. European  Journal  of  Radiology,  (February),  108941. https://doi.org/https://doi.org/10.1016/j.ejrad.2020.108941
Mckeever, Amy. (nationalgeographic). (2020). Coronavirus is officially a pandemic. Here’s why that matters.
Narin, A., Kaya, C., & Pamuk, Z. (2020). Automatic Detection of Coronavirus Disease (COVID-19) Using  X-ray  Images  and  Deep  Convolutional  Neural  Networks.  a rXiv  preprint arXiv:2003.10849.
Singh,  S.,  &  Krishnan,  S.  (2019).  Filter  Response  Normalization  Layer:  Eliminating  Batch Dependence in the Training of Deep Neural Networks. arXiv preprint arXiv:1911.09737.
Simonyan, K., & Zisserman, A. (2014). Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556.
Wang, D., Hu, B., Hu, C., Zhu, F., Liu, X., Zhang, J., … Peng, Z. (2020). Clinical Characteristics of 138  Hospitalized  Patients  with  2019  Novel  Coronavirus-Infected  Pneumonia  in  Wuhan, China. JAMA  -  Journal  of  the  American  Medical  Association,  323(11),  1061–1069. https://doi.org/10.1001/jama.2020.1585
Wang, W., Xu, Y., Gao, R., Lu, R., Han, K., Wu, G., & Tan, W. (2020). Detection of SARS-CoV-2 in Different Types of Clinical Specimens. Jama, 3–4.
https://doi.org/10.1001/jama.2020.3786
Xu, X., Jiang, X., Ma, C., Du, P., Li, X., Lv, S., … Wu, W. (2020). Deep Learning System to Screen Coronavirus  Disease  2019  Pneumonia. Medical  Physics,  1–29.  Retrieved  from http://arxiv.org/abs/2002.09334
Yoon, S. H., Lee, K. H., Kim, J. Y., Lee, Y. K., Ko, H., Kim, K. H., … Kim, Y.-H. (2020). Chest Radiographic  and  CT  Findings  of  the  2019  Novel  Coronavirus  Disease  (COVID-19): Analysis of Nine Patients Treated in Korea. Korean Journal of Radiology, 21(4), 494–500. https://doi.org/10.3348/kjr.2020.0132
Zhu, Y., Liu, Y.-L., Li, Z.-P., Kuang, J.-Y., Li, X.-M., Yang, Y.-Y., & Feng, S.-T. (2020). Clinical and CT  imaging  features  of  2019  novel  coronavirus  disease  (COVID-19). The  Journal  of Infection, S0163-4453(20)30104-3. https://doi.org/10.1016/j.jinf.2020.02.022