## Implementasi Aplikasi Peringkasan Teks Otomatis Untuk Atlas Penyakit Menular Pada Manusia Menggunakan Metode Ordered Abstractive Summarization
Muhammad Rasyad Caesarardhi #1 , Retno Aulia Vinarti #2 , Renny Pradina Kusumawardani #3
# Departemen Sistem Informasi, Institut Teknologi Sepuluh Nopember Surabaya
1 mrasyadc@gmail.com
2 zahra_17@is.its.ac.id
3 rennypradinak@gmail.com
Abstrak— Tingkat kematian dari pandemic kedua setelah pandemic  pertama  The  Justinian  Plague  (A.D.  541  hingga 544)  telah  mencapai  15-40%  dari  jumlah  manusia  di  dunia. Depopulasi  manusia  dengan  loss  rate  50-60%  telah diperkirakan  terjadi  karena  pandemi  tersebut.  Atlas  of Human  Infectious  Disease  (AHID)  telah  mengumpulkan distribusi dan faktor penentu untuk sebagian besar penyakit menular  pada  manusia.  AHID  dilengkapi  dengan  informasi mengenai  infectious  agents,  clinical,  dan  epidemiological. Sekarang,  setiap  penyakit  di  dalam  AHID  masih  belum memiliki visualisasi dengan ringkasan kunci di dalamnya. Hal tersebut  dapat  membantu  orang-orang  yang  tidak  memiliki latar  belakang  medis  untuk  memahami  tentang  penyakit menular  secara  lebih  cepat  dan  tepat.  Menariknya,  data  di dalam  AHID  telah  memiliki  bentuk  yang  semi  terstruktur, sehingga  kita  harus  mengotomasi  proses  tersebut  untuk merepresentasikannya  ke  dalam  model  pengetahuan. Penelitian  sebelumnya  telah  menunjukkan  perkembangan yang  cukup  baik  dalam  model  untuk  peringkasan  teks. Seq2Seq  model  telah  mencapai  skor  ROUGE-1  sebesar 28,42%  dan  model  Bringing  in  Order  to  Abstractive Summarization  (BRIO)  telah  mencapai  skor  ROUGE-1 sebesar  49,07%  dalam  dataset  Extreme  Summarization (XSum).  Maka  dari  itu,  artikel  ini  membahas  tentang peringkasan  teks  untuk  data  AHID  menggunakan  model BRIO  dan  mendapatkan  hasil  skor  ROUGE-1  sebesar 43,86%.  Hasil  model  tersebut  kemudian  dapat  digunakan untuk menambahkan penyakit baru yang belum dicantumkan  dalam  AHID  seperti  Covid-19  dan  mampu menghasilkan  ringkasan  teks  secara  otomatis  untuk  setiap atributnya.  Hasil  dari  peringkasan  teks  akan  disampaikan melalui aplikasi kamus berbasis web.
Kata  kunci — Health,  Infectious  Diseases, AHID, Knowledge  Model,  BRIO,  Text  Summarization,  Abstractive Summarization

## I. PENDAHULUAN
Pandemi pertama The Justinian plague (A.D. 541 to 544) yang  terjadi  pertama  kali  di  Pelusium,  Mesir.  Setelah sebelumnya muncul dari arah Ethiopia wabah menyerang secara  cepat  ke  daerah  Timur  Tengah  dan  pesisir Mediterania serta menyerang ke Eropa Mediterania. Lalu, epidemi ke-2 sampai ke-11 terjadi dalam siklus 8 hingga 12 tahun.  Pandemi  ini  pada  akhirnya  menyerang  ke  seluruh dunia (Afrika Utara, Eropa, Asia Selatan dan Tengah, serta Arab). Tingkat kematian untuk pandemic ke-2 ini berkisar antara  15-40%  untuk  tempat-tempat  tertentu  telah dipastikan,  dan  telah  diperkirakan  pula  bahwa  terdapat sekitar  50-60%  populasi  yang  hilang  akibat  pandemi tersebut.  Tentunya,  depopulasi  ini  tidak  hanya  terjadi karena  wabah plague ,  melainkan  karena  epidemi  lain seperti small-pox yang mungkin terjadi dalam periode ini [1].  Depopulasi  yang  mencapai  angka  60%  ini  menjadi alasan  penting  diperlukannya  riset  mengenai  penyebaran penyakit menular khususnya pada manusia.
Atlas of Human Infectious Disease (AHID) merupakan salah  satu  hasil  riset  dalam  bentuk  data  atlas  penyakit menular  yang  ditemukan  pada  semua  manusia  di  dunia. Atlas ini dapat digunakan untuk mengetahui distribusi dan penentu untuk  mayoritas  penyakit-penyakit  menular  pada manusia  [2].  Atlas  tersebut  dilengkapi  oleh  informasi- informasi  tentang infectious  agent , clinical ,  serta karakteristik epidemiogical . Saat ini, setiap penyakit pada data tersebut belum memiliki ringkasan singkat yang bisa dibaca oleh penggunanya. AHID ini masih semi-terstruktur sehingga  diperlukan  sesuatu  yang  otomatis  sehingga  bisa direpresentasikan ke dalam sebuah model pengetahuan.
Macam-macam knowledge model (ontology) untuk topik penyakit  menular  telah  ditemukan  salah  satunya  adalah model knowledge base ontology dan five rule types untuk merepresentasikan  pengetahuan  risiko  penyakit  menular
lebih  baik.  Rancangan knowledge-base dalam  bentuk ontology yang bersumber dari World Health Organization (WHO), Centers for Disease Control and Prevention (CDC) dan  AHID  dikumpulkan.  Kemudian  data  tersebut dilakukan  pengodean  dengan  lima  tipe  aturan  [3]. Pengembangan  knowledge  model  yang  berbasis ontology juga telah digunakan untuk diagnosis penyakit hepatocellular carcinoma (HCC) yang merupakan kanker tumor  hati  [4].  Telah  dikembangkan  pula ontology multibahasa untuk penyakit menular seperti epidemi H5N1 (flu burung). Ontology ini memanfaatkan text mining dari berita  di  internet  dan  sumber-sumber  daring  lain  dalam beberapa bahasa [5].
Dari  model  pengetahuan  tersebut  kemudian  dilakukan peringkasan  teks  untuk  mendapatkan  ringkasan  singkat yang mudah dibaca. Penelitian-penelitian sebelumnya juga diketahui  beberapa  hal  terkait  proses  peringkasan  teks menggunakan  model-model  tertentu.  Salah  satu  topik penelitian  mengenai  peringkasan  teks  adalah  untuk melakukan peringkasan terhadap dokumen yang menciptakan  sebuah  ringkasan  yang  pendek  dan  mampu menjawab  pertanyaan  “dokumen  tersebut  membahas tentang  apa?”. Dataset yang  digunakan  sebagai  bahan penelitian  pada  penelitian  untuk  topik  tersebut  tersebut disebut  sebagai extreme  summarization  dataset atau disingkat  XSum dataset [6].  Diketahui  pula  telah ditemukan beberapa penelitian yang menggunakan dataset tersebut  sebagai  bahan  bakar  untuk  melakukan  penelitian di bidang peringkasan teks. Salah satunya adalah penelitian mengenai pengembangan model Seq2Seq. Model tersebut menggunakan encoder yang memanfaatkan keterhubungan antar kata dengan besaran vektor yang merepresentasikan arti  penting  dari  topik  yang  dibahas.  Model  Seq2Seq berhasil  meraih  skor  ROUGE-1  sebesar    28,42  [6]. Penelitian  mengenai  pengembangan  dalam  peringkasan teks adalah penelitian mengenai autoencoder BART yang menghilangkan noise pada  teks  dari  dataset  sebelum melakukan training menggunakan  Seq2Seq  model. Autoencoder BART menggunakan arsitektur transformer- based neural  machine  translation .  Dengan  menggunakan autoencoder BART mendapatkan skor ROUGE-1 dengan hasil  akhir  45,14  [7].  Penelitian  lain  mengenai  BRIO: Bringing  Order  to  Abstratctive  Summarization yang menggunakan paradigma training dengan mengasumsikan sebuah  distribusi  non-deterministik  sehingga  kandidat ringkasan  yang  berbeda  diberikan  massa  probabilitas sesuai dengan kualitas ringkasannya juga telah dilakukan. Penelitian  tersebut  menghasilkan  model  dengan  skor ROUGE-1 sebesar 49,07 [8].

## II. TEORI
Sub-bab  ini  menjelaskan  secara  rinci  dasar  teori  yang digunakan dalam penelitian ini. Dasar teori yang dijelaskan dalam  sub-bab  ini  adalah  Atlas  of  Human  Infectious Disease  (AHID),  Peringkasan  teks,  Bringing  Order  to Abstractive Summarization (BRIO), dan ROUGE-N Skor.

## 1. Atlas Penyakit Menular pada Manusia (AHID)
Atlas penyakit menular pada manusia atau dalam Bahasa inggris disebut sebagai Atlas of Human Infectious Disease (AHID) merupakan atlas yang memetakan status mayoritas penyakit  menular  pada  manusia.  Tidak  hanya  sekedar memetakan  status  penyakit  menular,  atlas  ini  juga mendeskripsikan  alasan  penyakit  menular  tersebut mewabah.  AHID  mendeskripsikan  penyebab  penyebaran penyakit  dengan  menjelaskan  faktor-faktor  pendorong  di belakangnya.
Pembawaan AHID dibagi menjadi 5 bagian: (1) Faktor Pendorong  Penyakit  Menular,  (2)  Infeksi  Bakteri,  (3) Infeksi  Jamur,  (4)  Infeksi  Parasit,  dan  (5)  Infeksi  Viral. Setiap peta di dalam AHID pada bagian (2), (3), (4), dan (5) diikuti  oleh  informasi-informasi  penting  terkait  patogen, transmisi  penyakit,  masa  inkubasi,  temuan  klinis, pencegahan,  pengobatan,  epidemiologi,  sumber  peta,  dan referensi penting.
Informasi  tersebut  dideskripsikan  melalui  tabel  fakta yang  memiliki  atribut  sebagai  berikut:  (1) Classification : setiap  penyakit  diberikan  kode  klasifikasi  sesuai  dengan Internasional  clssification  of  Diseases  codes (ICD-9  dan ICD-10),  (2) Syndromes  and  synonyms :  nama  lain  dari penyakit  yang  disebabkan  oleh  agen  penyakit,  (3) Agent : patogen  penyebab  penyakit,  (4) Reservoir :  inang  hewan utama  atau  ceruk  lingkungan  di  mana  patogen  paling banyak  ditemukan  dan  dari  mana  ia  dapat  ditularkan,  (5) Vector :  penyebar  berupa  makhluk  hidup  yang  sebagian besar  menularkan  agen  infeksi  ke  manusia,  (6) Transmission: mekanisme  penyebaran  penyakit  oleh patogen kepada manusia, (7) Cycle : siklus hidup patogen, (8) Incubation  period: jarak waktu  antara  waktu  terpapar patogen dan waktu serangan penyakit (9) Clinical findings: gejala-gejala utama dari penyakit, (10) Diagnostic tests: uji laboratorium standar untuk mengidentifikasi penyakit, (11) Therapy: Penanganan  umum  untuk  penyakit,  (12) Prevention :  strategi  untuk  mencegah  infeksi  dan penyebaran  penyakit,  (13) Epidemiology: Informasi mengenai  faktor  penentu,  distribusi,  dan  tanggungan penyakit, (14) Map sources: sumber utama peta, (15) Key references : referensi utama mengenai penyakit [2].

## 2. Peringkasan Teks
Peringkasan  teks  atau  dalam  bahasa  Inggris  disebut sebagai Automatic  Text  Summarization dilihat  dari  sudut pandang pengolahan bahasa alami adalah proses komputer menghasilkan  ringkasan  pendek  dari  dokumen  yang panjang. Ringkasan yang bagus harus mencakup informasi paling  penting  dari  dokumen  asalnya.  Ringkasan  yang dihasilkan utamanya bersifat rasional, tidak berulang ( non- redundant ), dan bisa dibaca dari sisi gramatikal [9]. Hasil ringkasan juga harus terhubung dengan konsep keseluruhan  dari  dokumen  utama  supaya  informasi  yang hilang relatif sedikit [10].
Klasifikasi  teknik  dalam  melakukan  peringkasan  teks otomatis dibagi menjadi dua pendekatan yaitu pendekatan
extractive dan  pendekatan abstractive .  Peringkasan  teks dengan pendekatan extractive meringkas teks dengan cara mendeteksi bagian-bagian teks yang dominan dari satu atau banyak dokumen. Bagian-bagian teks yang dominan dapat berupa  paragraf  yang  penting  ataupun  kalimat  yang penting. Setelah bagian-bagian tersebut dideteksi, bagian- bagian  tersebut  kemudian  digabungkan  dan  menjadi sebuah ringkasan yang tuntas [11]. Di lain sisi, pendekatan abstractive berusaha agar informasi di dalam dokumen bisa diartikan  lebih  dalam  sedemikian  rupa  hingga  informasi tersebut bisa digunakan oleh natural language generation system untuk  menghasilkan  ringkasan  yang  kalimat- kalimatnya  tidak  sepenuhnya  persis  dengan  kalimat  yang ada di dokumen tersebut.

## 3. Metode Ordered Abstractive Summarization
Tujuan  utama  dari  peringkasan  dengan  pendekatan abstractive adalah  untuk  membuat  sebuah  fungsi  g  yang mengambil  sebuah  dokumen  utama  D  dan  menghasilkan sebuah ringkasan yang benar S.
S ← 𝑔(𝐷) (1)
Model neural  abstractive  summarization memiliki tujuan  untuk  mempelajari  sebuah  neural  model  g  yang menghasilkan  ringkasan  yang  baik. Maximum  likelihood estimation (MLE)  adalah  sebuah  algoritma  standar  untuk proses training .  Tujuan  dari  MLE  adalah  untuk memaksimalkan likelihood dari  sebuah  ringkasan  acuan 𝑆 ∗ , dengan rumusan ditunjukkan pada persamaan 2.2
θ ∗ = argma𝑥 θ ∑ 𝑙𝑜𝑔 𝑝 𝑔θ ( 𝑆 ∗(𝑖) ∣∣ 𝐷 (𝑖) ; θ ) 𝑖 (2)
Dimana θ mendeginisikan  parameter  dari g dan 𝑝 𝑔θ mendefinisikan  distribusi  peluang  yang  diikuti  oleh parameter sebelumnya. Nilai summation over the training set dan {𝐷 (𝑖) , 𝑆 ∗(𝑖) } merupakan sampel training ke-i. Untuk setiap  spesifik  sampel {𝐷 (𝑖) , 𝑆 ∗(𝑖) } ,  Rumusan  2.2  setara dengan meminimalkan jumlah negative log-likelihood dari token-token {𝑠 1 ∗ , ⋯ , 𝑠 𝑗 ∗ , ⋯ , 𝑠 𝑖 ∗ } di  dalam  referensi  acuan 𝑆 ∗ dimana  panjajngnya  adalah l ,  yang  merupakan cross- entropy loss ℒ 𝓍ℯ𝓃𝓉 = − ∑ ∑ p true ( s ∣∣ D, S <j ∗ )logp gθ ( s ∣∣ D, S <j ∗ ; θ ) s j=1 (3)
Dimana 𝑆 <𝑗 ∗ menandakan  urutan  referensi  parsial {𝑠 0 ∗ , ⋯ , 𝑠 𝑗−1 ∗ } dan 𝑠 0 ∗ merupakan  sebuah pre-defined  start token . 𝑝 𝑡𝑟𝑢𝑒 merupakan  distribusi one-hot di  dalam framework standard MLE :
p true ( s ∣∣ D, S <j ∗ ) = { 1   s=s j * 0   s≠s j * (4)
Dalam  praktiknya, label  smoothing [12]  seringkali digunakan  dan  menjadi  teknik  yang  efektif  untuk memodifikasi  target  distribusi  pada  rumusan  2.4  menjadi “soft” label dengan  melakukan assignment untuk probability mass β untuk token-token yang lain.
p true ( s ∣∣ D,S <j * )=  { 1 - β      s=s j * β N-1 s≠s j * (5)
Dimana N adalah ukuran dari dictionary . Ketika terjadi inference , model abstractive g digunakan untuk menghasilkan kandidat ringkasan melalui cara yang autoregressive . Hal tersebut merupakan intractable untuk melakukan  enumerasi  untuk  seluruh  kemungkinan kandidat output , sehingga dalam praktiknya metode seperti beam  search digunakan  untuk  mereduksi search  space . Satu  tahapan  penting  dalam  pencarian  adalah  estimasi terhadap  peluang  kata  selanjutnya 𝑠 𝑡 jika  diberikan rangkaian yang sebelumnya sudah diprediksi 𝑆 <𝑡 :
𝑝 𝑔θ ( 𝑠 𝑡 ∣∣ 𝐷, 𝑆 <𝑡 ; θ ) (6)
Kemudian  dengan  membandingkan  rumusan  2.6 dengan rumusan 2.3, perbedaan yang paling utama adalah ketika terjadi inference model akan membuat prediksi baru berdasarkan  hasil  prediksinya  sendiri  yang  dilakukan sebelumya 𝑆 <𝑡 bukan  dari  referensi 𝑆 <𝑡 ∗ . Sehingga sekalipun model pembuatnya g menghasilkan hasil akurasi yang sangat tinggi w.e.r dari rumusan 2.3, ketika 𝑆 <𝑡 mulai mengalami  deviasi  dari 𝑆 ∗ ,  akan  muncul  sebuah  risiko dimana  performa  dari  model g akan  menurun  secara signifikan. Masalah ini dikenal sebagai exposure bias [13] . Rumusan 2.6 mengakibatkan bahwa model abstractive g harus mampu untuk memberikan peluang estimasi yang lebih  tinggi  kepada  kandidat  ringkasan  yang  lebih  baik ketika  terjadi inference .  Bagaimanapun,  intuisi  ini  tidak secara  langsung  tergambarkan  dalam standard  MLE objective yang digunakan di dalam training – sebuah model yang  berhasil  menangkap  tidak  ada  MLE loss akan memberikan peluang nol pada kandidat ringkasan manapun yang  berbeda  dari  referensi  acuan.  Ini  tentu  saja  menjadi tidak  layak  untuk  semua  kegiatan  dimana  banyak  hasil yang  masuk  akal  mungkin  saja  ada  [14],  dan  juga  tidak memberikan  umpan  balik  apa  pun  terkait  mengenai pengurutan atas adanya dua referensi yang tidak sempurna. Selanjutnya  dibentuklah  asumsi  alternatif  bahwa  peluang dari sebuah kandidat harus berkorelasi dengan kualitasnya yang  dievaluasi  berdasarkan  metrik  otomatis M .  Karena intractable untuk  melakukan  enumerasi  kepada  semua kandidat output yang  mungkin,  kita  hanya  mewajibkan model  untuk  bisa  secara  akurat  memprediksi  urutan ranking dari  sebuah  himpunan  dari  kandidat  ringkasan paling mungkin 𝒮̂ . Yang mana merupakan hasil dari beam search nya  sendiri.  Untuk  mencapai objective ,  kita  harus melakukan sedikit modifikasi untuk kondisi dari rumusan 2.5,  dengan  tetap  mempertahankan  bentuk  umum fungsionalnya,  akan  tetapi  akan  lebih  menjelaskan marginal  probability dari  kandidat non-reference 𝒮 menjadi β , dan meningkatkan coordination of probabilities dan qualities dari  kandidat non-reference sesuai  rumusan di bawah ini:
{ 𝑝 𝑡𝑟𝑢𝑒† ( 𝑆 ∣ 𝐷 ) = 1 − 𝛽     𝑆 = 𝑆 ∗ ∑ 𝑝 𝑡𝑟𝑢𝑒† ( 𝑆 ∣ 𝐷 ) 𝑆∈𝓈 = 𝛽           𝑆 ≠ 𝑆 ∗
𝑝 𝑡𝑟𝑢𝑒† ( 𝑆 𝑖 ∣∣ 𝐷 ) > 𝑝 𝑡𝑟𝑢𝑒† ( 𝑆 𝑗 ∣∣ 𝐷 )    ∀𝑆 𝑖 , 𝑆 𝑗 ∈ 𝒮̂, 𝑀(𝑆 𝑖 ) > 𝑀(𝑆 𝑗 ) (7)
Untuk  mengoordinasikan  sebuah  model pre-trained abstractive ,  dalam  artikel  ini  1)  menggunakannya  untuk menghasilkan  beberapa  kandidat  ringkasan  yang  berbeda dengan  beragam  tingkatan  kualitas,  kemudian  2) encourage model  untuk  memberikan  nilai estimated probabilities yang  lebih  tinggi  untuk  kandidat  yang  lebih baik  dengan  cara  melakukan fine-tuning kepada  model dengan  menggunakan  sebuah contrastive  loss [15],  [16]; Zhong et al. 2020:
ℒ 𝒸𝓉𝓇 = − ∑ ∑ max(0, f(S j ) − f(S i ) + λ ij ) 𝑗>𝑖 𝑖 (8)
Dimana 𝑆 𝑖 dan 𝑆 𝑗 merupakan  dua  kandidat  ringkasan yang  berbeda  dan  ROUGE (𝑆 𝑖 , 𝑆 ∗ ) > ROUGE (𝑆 𝑗 , 𝑆 ∗ ), ∀𝑖, 𝑗, 𝑖 < 𝑗 . λ 𝑖𝑗 merupakan selisih perkalian dari perbedaan rank di  antara  kandidat,  yaitu λ 𝑖𝑗 = (𝑗 − 𝑖) ∗  λ . 𝑓(𝑆 𝑖 ) merupakan length-normalized estimated log-probability .
𝑓(𝑆) = ∑ 𝑙𝑜𝑔 𝑝 𝑔θ ( 𝑠 𝑡 ∣∣ 𝐷, 𝑆 <𝑡 ; θ } 𝑙 𝑡=1 |𝑆| α (9)
dimana α merupakan panjang dari penalty hyperparameter.
Notasi loss memberikan  model abstaractive dual- fungsi,  pertama  sebagai  model reference-free  evaluation, yang  bisa  digunakan  sebagai  alir  peringkasan two-stage , dimana  digunakan  sebagai  penilaian  untuk  kandidat yang dihasilkan dari model pre-trained generation dan memilih output akhir  dari  hal  tersebut.  Namun,  karena autoregressive  generation bergantung  kepada token-level prediction  accuracy dan sequence-level  coordination , model  memberikan fine-tuned dengan constrastive  loss saja tidak bisa digunakan sebagai model generation . Dengan  mengikuti  Edunov  et  al.,  2018,  digabungkan contrastive loss (rumusan  2.8)  dengan cross-entropy loss (rumusan  2.3)  untuk  mempertahankan  kemampuan generation dari model pre-trained abstractive:
ℒ 𝓂𝓊ℓ = ℒ 𝓍ℯ𝓃𝓉 + γℒ 𝒸𝓉𝓇 (10)
dimana γ merupakan  bobot  dari contrastive  loss .  Kita penting  untuk  mengetahui  bahwa constrastive  loss dan cross-entropy  loss mampu  melengkapi  satu  sama  lain secara efektif – dikarenakan contrastive loss didefinisikan pada  tingkatan sequence , token-level  cross-entropy  loss menjadi normalisasi untuk menjamin bahwa model mampu memberikan probability  mass yang  sesimbang  antar seluruh sequence [8]
4. Pengukuran menggunakan skor ROUGE-N
ROUGE  merupakan  singkatan  dari Recall-Oriented Understudy for Gisting Evaluation . ROUGE mengandung pengukuran  otomatis  untuk  menentukan  kualitas  dari sebuah  ringkasan  dengan  membandingkannya  dengan ringkasan  ideal  yang  ditulis  oleh  manusia.  Bagian  dari
ROUGE  adalah  ROUGE-N  yang  menjelaskan n-gram recall antara kandidat ringkasan dengan sebuah himpunan acuan  ringkasan.  ROUGE-N  secara  formal  didefinisikan sebagai berikut:
ROUGE − N = ∑ ∑ Count match (gram n ) gram n ∈ S S  ∈ ReferenceSummaries ∑ ∑ 𝐶𝑜𝑢𝑛𝑡(𝑔𝑟𝑎𝑚 𝑛 ) gram n ∈ S S ∈ ReferenceSummaries
(11)
Dengan  n  didefinisikan  sebagai  panjang  dari  n-gram, 𝑔𝑟𝑎𝑚 𝑛 ,  dan 𝐶𝑜𝑢𝑛𝑡 𝑚𝑎𝑡𝑐ℎ (𝑔𝑟𝑎𝑚 𝑛 ) merupakan  jumlah banyaknya  n-grams  yang  muncul  bersamaan  di  dalam sebuah  kandidat  ringkasan  dan  sebuah  himpunan  acuan ringkasan.  ROUGE-N  merupakan  sebuah  pengukuran berbasis recall karena nilai penyebut dari perumusan di atas adalah  jumlah  banyaknya n-grams yang  muncul  dari  sisi ringkasan  acuan  saja.  Berbeda  dengan  BLEU,  yang digunakan sebagai pengukuran evaluasi untuk penerjemahan berbasis mesin yang merupakan pengukuran yang  berbasis  presisi.  BLEU  mengukur  seberapa  baik sebuah  kandidat  terjemahan  serupa  dengan  sebuah himpunan  dari  terjemahan  acuan  dengan  menghitung persentase dari n-grams di dalam kandidat terjemahan yang beririsan dengan terjemahan acuannya.
Perlu  diperhatikan  bahwa  jumlah n-grams di  sisi penyebut dari rumusan ROUGE-N bertambah sedemikian rupa ketika ditambahkan lebih banyak acuan ringkasan. Hal ini  merupakan  sesuatu  yang  intuitif  dan  beralasan  karena mungkin saja terdapat banyak ringkasan yang bagus. Setiap kali  ditambahkan  acuan  tambahan  ke  dalam  kelompok artinya  perluasan  ruangan  terhadap  ringkasan  alternatif. Dengan melakukan pengawasan terhadap acuan mana yang ditambahkan  ke  dalam  kelompok  acuan,  kita  bisa merancang  evaluasi  yang  berfokus  kepada  aspek  yang berbeda  dari  proses  peringkasan.  Perlu  diperhatikan  juga bahwa di sisi pembilang menjumlahkan dari seluruh acuan ringkasan.  Hal  ini  menjadikan  adanya  pembobotan  lebih terhadap n-grams yang muncul di banyak acuan ringkasan. Sehingga sebuah kandidat ringkasan yang memiliki banyak kata yang dimiliki oleh banyak referensi acuan akan lebih disukai  oleh  pengukuran  ROUGE-N.  Hal  ini  menjadi sangat  intuitif  dan  beralasan  karena  kita  biasanya  lebih menyukai  kandidat  ringkasan  yang  memiliki  kesamaan dengan keseluruhan acuan ringkasan [18].

## III. METODOLOGI
Pada  bab  metodologi  akan  dijelaskan  mengenai bagaimana  proses  dari  pengerjaan  penelitian  disertai penjelasan  dan  keterangan  setiap  tahapan  proses  untuk menyelesaikan pengerjaan penelitian. Gambar 1 menggambarkan  metodologi  atau  proses  yang  dilakukan selama pengerjaan penelitian ini berlangsung.

## 1. Pengumpulan dan Praproses Data
Pada  tahap  ini,  akan  dilakukan  pengumpulan  dan praproses data. Tahap pengumpulan data dilakukan untuk mengumpulkan  data  dari  sumber  asli  yaitu  atlas  penyakit menular  pada  manusia.  Kemudian  tahap  praproses  data
akan  dilakukan  untuk  membersihkan  data  dari  konten- konten  yang  tidak  diperlukan.  Pada  tahap  praproses  data tools yang  digunakan  adalah RegEx dalam  bahasa pemrograman python.

## Gambar 1  Alur Metodologi

## 1.1. Pengumpulan data
Pada  tahap  ini,  akan  dilakukan  pengumpulan  data menggunakan python terhadap  dokumen pdf Atlas  of Human  Infectious  Disease (AHID)  yang  telah  diubah  ke bentuk HTML. Dokumen HTML terkait AHID didapatkan melalui  url https://raw.githubusercontent.com/refing/ahid- ontology/main/just%20disease%20preprocess%203.html . Pengumpulan data memanfaatkan tag <p> pada HTML asli karena seluruh konten terkait masalah artikel terdapat pada tag  <p>  tersebut.  Diketahui  pula  bahwa  jumlah  penyakit pada AHID adalah 113 penyakit.
Pada tahapan ini digunakan library request dan library BeautifulSoup untuk python . Penggunaan library tersebut diperuntukkan  agar  data  bisa  didapatkan  dengan  baik. Untuk mendapatkan isi konten dari AHID diperlukan untuk mengambil data dari tag HTML <p> atau paragraph.

## 1.2. Praproses data
Pada  tahap  ini,  akan  dilakukan  praproses  data  dari konten-konten yang tidak diperlukan. Konten-konten yang tidak diperlukan dihapuskan secara perlahan dan bertahap agar lebih mudah untuk dipahami. Pada tahap ini tools yang digunakan  adalah RegEx dalam  bahasa  pemrograman python. Berikut merupakan tahapan praproses data:
a. Penghapusan teks “\r”
Pada  tahap  pertama  praproses  data  yaitu  dengan menghapus teks “\r” pada data yang didapatkan dari HTML. Penghapusan  tersebut  memanfaatkan  fitur replace pada
string dalam  bahasa  pemrograman  python.  Contoh  data sebelum  penghapusan  dan  setelah  penghapusan  teks  “\r” digambarkan pada Tabel I.
Tabel I. Sebelum penghapusan dan setelah penghapusan teks “\r”
Sebelum penghapusan Setelah penghapusan 'Disease: Anthrax\r\nClassification: ICD-9 022; ICD-10 A22\r\nSyndromes and synonyms: Charbon, malignant pustule,\r\nmalignant edema, woolsorter disease, tanner disease.\r\nAgent: Spores of Bacillus anthracis, a Gram- positive, encapsu-\r\nlated, non- motile rod. The spores are resistant to desiccation,\r\nextremes of temperature and pH, ultraviolet radiation and\r\nmany disinfectants, and can remain viable for 60 years. It is\r\nconsidered a biological warfare agent.\r\nReservoir: Soil, animal hair, wool or hides, particularly goat\r\nskins contaminated with soil. Spores can germinate outside an\r\nanimal under appropriate conditions.\r\nVector: Tabanid and Stomoxys' 'Disease: Anthrax\nClassification: ICD-9 022; ICD-10 A22\nSyndromes and synonyms: Charbon,
malignant pustule,\nmalignant edema, woolsorter disease, tanner disease.\nAgent: Spores of Bacillus anthracis, a Gram- positive, encapsu-\nlated, non- motile rod. The spores are resistant to desiccation,\nextremes of temperature and pH, ultraviolet radiation and\nmany disinfectants, and can remain viable for 60 years. It is\nconsidered a biological warfare agent.\nReservoir: Soil, animal hair, wool or hides, particularly goat\nskins contaminated with soil. Spores can germinate outside an\nanimal under appropriate conditions.\nVector: Tabanid and Stomoxys'
b. Penghapusan nomor halaman
Tahap  berikutnya  dari  praproses  data  yaitu  dengan menghapus  nomor  halaman  pada  data  yang  sudah dipraproses  melalui  tahap  sebelumnya.  Contoh  nomor halaman adalah angka seperti angka 1, 2, 3, …,  271, 272, 273 Penghapusan tersebut memanfaatkan fitur RegEx pada string dalam  bahasa  pemrograman  python.  Karena menggunakan  fitur  RegEx  pada  python,  pertama  harus dideklarasikan  terlebih  dahulu  bahwa  kode  mengimport library  RegEx  yaitu  “re”.  library  “re”  ini  akan  terus digunakan  pada  tahapan-tahapan  praproses  berikutnya sehingga  disimpan  pada  awal  kode.  Penghapusan  nomor halaman  menggunakan  intuisi  bahwa  setiap  nomor halaman dituliskan tepat setelah teks “Ltd” pada data awal.

## Tabel II. Sebelum dan setelah penghapusan nomor halaman
Sebelum penghapusan Setelah penghapusan Zika virus\ndevelop symptoms; this is similar to that reported for West\nNile virus infection.\nMap sources: The Zika Fever map was made with data\nobtained from M.R. Duffy et al (2009) and E.B. Hayes\net al (2009).\nKey references\nDuffy MR, et al. (2009) Zika virus outbreak on Yap island,\nFederated States of Micronesia. New Engl J
Med\n360(24):2536–
2543.\nHayes EB, et al. (2009) Zika virus outside Africa. Emerg Infect\nDis 15(9):1347–
Zika virus\ndevelop symptoms; this is similar to that reported for West\nNile virus infection.\nMap sources: The Zika Fever map was made with data\nobtained from M.R. Duffy et al (2009) and E.B. Hayes\net al (2009).\nKey references\nDuffy MR, et al. (2009) Zika virus outbreak on Yap island,\nFederated States of Micronesia. New Engl J Med\n360(24):2536– 2543.\nHayes EB, et al. (2009) Zika virus outside Africa. Emerg Infect\nDis 15(9):1347–
1350.\nAtlas of Human
Infectious Diseases, First Edition. Heiman F.L. Wertheim, Peter Horby and John P.
Woodall.\n 2012 Blackwell Publishing Ltd. Published 2012 by Blackwell Publishing Ltd.\n273\n'
1350.\nAtlas of Human Infectious Diseases, First Edition. Heiman F.L. Wertheim, Peter Horby and John P.
Woodall.\n 2012 Blackwell
Publishing Ltd. Published 2012
by Blackwell Publishing Ltd.\n\n'
c. Penghapusan teks ‘map source:’ dan ‘key reference:’
Tahap  berikutnya  dari  praproses  data  yaitu  dengan menghapus  teks  ‘map  source:’  dan  ‘key  reference’pada data  yang  sudah  dipraproses  melalui  tahap  sebelumnya. Penghapusan  tersebut  memanfaatkan  fitur  RegEx  pada string dalam  bahasa  pemrograman  python.  Penghapusan atribut map source dan key references dikarenakan atribut tersebut  tidak  diperlukan.  Seperti  tahapan  sebelumnya, digunakan library “re” untuk RegEx.
Tabel  III.  Sebelum  penghapusan dan  setelah penghapusan  teks  ‘map source:’ dan ‘key reference’
Sebelum penghapusan Setelah penghapusan
Zika virus\ndevelop symptoms; this is similar to that reported for West\nNile virus infection.\nMap sources: The Zika Fever map was made with data\nobtained from M.R. Duffy et al (2009) and E.B.
Hayes\net al (2009).\nKey references\nDuffy MR, et al. (2009) Zika virus outbreak on Yap island,\nFederated States of Micronesia. New Engl J Med\n360(24):2536–2543.\nHayes EB, et al. (2009) Zika virus outside Africa. Emerg Infect\nDis 15(9):1347–1350.\nAtlas of Human Infectious Diseases, First Edition. Heiman F.L. Wertheim, Peter Horby and John P. Woodall.\n 2012 Blackwell Publishing Ltd. Published 2012 by Blackwell Publishing Ltd.\n\n'
Zika virus\ndevelop symptoms; this is similar to that reported for West\nNile virus infection.\n by Blackwell Publishing Ltd.\n\n'
d. Penghapusan teks ‘by Blackwell Publishing Ltd.’
Tahap  berikutnya  dari  praproses  data  yaitu  dengan menghapus teks ‘by Blackwell Publishing Ltd.’ pada data yang  sudah  dipraproses  melalui  tahap  sebelumnya. Penghapusan  tersebut  memanfaatkan  fitur string replace dalam bahasa pemrograman python. Pada penghapusan ini digunakan  fungsi  replace  pada  string  kemudian  hasilnya disimpan dalam variable untuk diproses lebih lanjut.
Tabel  IV.  Sebelum  penghapusan  dan  setelah  penghapusan  teks  ‘by Blackwell Publishing Ltd.’
Sebelum penghapusan
Setelah penghapusan
Zika virus\ndevelop symptoms; this is similar to that reported for West\nNile virus infection.\n by Blackwell Publishing Ltd.\n\n' Zika virus\ndevelop symptoms; this is similar to that reported for West\nNile virus infection.\n \n\n'
e. Penghapusan tanda baca hubung ‘-’
Tahap  berikutnya  dari  praproses  data  yaitu  dengan menghapus  tanda  baca  hubung  pada  data  yang  sudah
dipraproses  melalui  tahap  sebelumnya.  Pengapusan  tanda baca  hubung  dilakukan  pada  tanda  hubung  yang merupakan pemisah antara kata yang dipisahkan oleh ‘\n’. Penghapusan  tersebut  memanfaatkan  fungsi  replace  pada string dalam bahasa pemrograman python.
Tabel  V.  Sebelum  penghapusan  dan  setelah  penghapusan  tanda  baca hubung
Sebelum penghapusan Setelah penghapusan
Clinical findings: Mild self- limiting dengue-like febrile ill- \nness, with headache, malaise, arthralgia, myalgia, nausea,\nvomiting, photophobia, maculopapular rash, and conjunctivi-\ntis. Other symptoms may include anorexia, diarrhea, consti-\npation, and
abdominal pain.\n Clinical findings: Mild self- limiting dengue-like febrile illness, with headache, malaise,
arthralgia, myalgia, nausea,\nvomiting, photophobia, maculopapular rash, and conjunctivitis. Other symptoms may include anorexia, diarrhea, constipation, and abdominal pain.\n
f. Pemisahan setiap penyakit dan atributnya
Tahap  berikutnya  dari  praproses  data  yaitu  dengan memisahkan  setiap  penyakit  dan  atribut  pada  data  yang sudah  dipraproses  melalui  tahap  sebelumnya.  Tahap pertama dari pemisahan penyakit adalah pemisahan antara teks  yang  dipisahkan  oleh  ‘\n’.  Penghapusan  tersebut memanfaatkan  fungsi  split  pada string dalam  bahasa pemrograman  python.  Kemudian  setelah  dilakukan pemisahan  setiap  atribut  diberi  teks  ‘###’  untuk memisahkan  masing-masing  atribut  dan  penyakit  dari atribut dari penyakit lain.

## Tabel VI. Sebelum pemisahan dan setelah pemisahan penyakit
Sebelum pemisahan Setelah pemisahan Cycle: Reservoir host to mosquito to reservoir host; 2–5
days\nviremia in host, 5–7 days in mosquito, then back into host.\nIncubation  period:  3–12 days.\nClinical findings: Mild self- limiting dengue-like febrile illness, with headache, malaise, arthralgia, myalgia,
nausea,\nvomiting, photophobia,  maculopapular  rash, and conjunctivitis.
Other symptoms  may  include  anorexia, diarrhea, constipation, and abdominal pain.\n
###Cycle:  Reservoir  host  to mosquito to reservoir host; 2–5 days  viremia  in  host,  5–7  days in  mosquito,  then  back  into host.  ###Incubation  period:  3– 12  days.  ###Clinical  findings: Mild  self-limiting  dengue-like febrile  illness,  with  headache, malaise,  arthralgia,  myalgia, nausea, vomiting, photophobia, maculopapular rash, and conjunctivitis. Other symptoms may include anorexia, diarrhea, constipation,  and  abdominal pain.
g. Penghapusan teks ‘###’ pada nama penyakit
Tahap  berikutnya  dari  praproses  data  yaitu  dengan menghapus teks ‘###’ pada nama penyakit dalam data yang sudah dipraproses melalui tahap sebelumnya. Penghapusan teks  ‘###’  adalah  penghapusan  pada  atribut  ‘Disease:’ untuk  setiap  penyakit.  Atribut  tersebut  merupakan  nama penyakit pada data. teks '###Disease:’ digantikan oleh teks ‘\nDisease:’  agar  penyakit-penyakit  pada  teks  bisa dipisahkan dengan baik. Penghapusan tersebut memanfaatkan  fitur replace pada string dalam  bahasa pemrograman python. Penghapusan ini menggunakan fitur replace untuk melakukan penghapusan teks.
Tabel VII. Sebelum penghapusan dan setelah penghapusan teks ‘###’ pada nama penyakit Sebelum penghapusan Setelah penghapusan ###Disease: Anthrax ###Classification:  ICD-9  022; ICD-10  A22  ###Syndromes  and synonyms:  Charbon,  malignant pustule, malignant edema, woolsorter disease, tanner disease.  ###Agent:  Spores  of Bacillus  anthracis,  a  Gram- positive, encapsulated, non- motile  rod.  The  spores  are resistant to desiccation, extremes of temperature and pH, ultraviolet  radiation  and  many disinfectants,  and  can  remain viable  for  60  years.  It  is considered  a  biological  warfare agent. ###Reservoir: Soil, animal hair,  wool  or  hides,  particularly goat  skins  contaminated  with soil. Spores can  germinate outside an animal under appropriate conditions. \nDisease: Anthrax ###Classification:  ICD-9  022; ICD-10  A22  ###Syndromes  and synonyms:  Charbon,  malignant pustule, malignant edema,
woolsorter disease, tanner disease.  ###Agent:  Spores  of Bacillus  anthracis,  a  Gram- positive, encapsulated, non- motile  rod.  The  spores  are resistant to desiccation, extremes of temperature and pH, ultraviolet  radiation  and  many disinfectants,  and  can  remain viable  for  60  years.  It  is considered  a  biological  warfare agent. ###Reservoir: Soil, animal hair,  wool  or  hides,  particularly goat  skins  contaminated  with soil. Spores can  germinate outside an animal under appropriate conditions.
h. Pembuatan struktur data dictionary
Tahap  berikutnya  dari  praproses  data  yaitu  dengan membuat  struktur  data dictionary dari  data  yang  sudah dipraproses melalui tahap sebelumnya. Pembuatan struktur data dictionary memanfaatkan  pemisahan  penyakit  dan atribut-atribut  yang  dimiliki  oleh  setiap  penyakit. Pembuatan  struktur  data  tersebut  memanfaatkan  fitur dictionary dalam  bahasa  pemrograman  python.  fitur dictionary pada  python  digunakan  untuk  mewadahi  data. Struktur data dictionary dipilih karena memiliki key-value pairs yang akan mempermudah penempatan data.
i. Pembuatan struktur data JSON
Tahap  berikutnya  dari  praproses  data  yaitu  dengan mengubah  struktur  data  yang  merupakan dictionary dari data yang sudah dipraproses melalui tahap sebelumnya  ke dalam  struktur  data JavaScript  Object  Notation (JSON). Pembuatan  struktur  data  JSON  memanfaatkan dictionary yang  sudah  tertata  dengan  rapi.  Pembuatan  struktur  data tersebut memanfaatkan fitur json dalam bahasa pemrograman  python.  Pengenkodean  output  pada  data JSON  menggunakan  pengenkodean  berbasis  ‘UTF-8’ untuk  mempertahankan  bentuk-bentuk  karakter  special pada data. file JSON akan mempermudah perpindahan data antar repository sehingga  bisa  digunakan  oleh  program python lain untuk melakukan tahapan selanjutnya.

## 2. Pembuatan ringkasan acuan
Pada  tahap  ini,  akan  dilakukan  pemberian  acuan ringkasan  yang  dituliskan  oleh  manusia.  Dengan  jumlah data  sekitar  1808  teks  dalam  tipe  data string ,  akan dihasilkan  acuan  ringkasan  sejumlah  data  tersebut. Pembuatan ringkasan acuan dilakukan setidaknya oleh dua
1 https://docs.google.com/spreadsheets/
orang  dengan  kapabilitas  sebagai  mahasiswa  jurusan sistem  informasi.  Dimana  kedua  orang  tersebut  akan membuat  acuan  ringkasan  secara  bersama-sama  sehingga memunculkan  adanya  kesepakatan  yang  bisa  dijadikan gold  summary untuk  data  teks.  Pelabelan  data  akan menggunakan tools berupa speadsheet 1 .
Tabel VIII Contoh data dengan ringkasan acuan buatan manusia 0 (data) 1 (summary) 2 (second opinion) Treponema pallidum ssp. endemicum (bejel), T. pallidum ssp. pertenue (yaws), and T. carateum (pinta), spirochetes that are morphologically and serologically similar to T. pallidum ssp.
pallidum, the agent of syphilis. Treponema pallidum ssp. endemicum (bejel), T. pallidum ssp. pertenue (yaws), and T. carateum (pinta) Treponema pallidum ssp. endemicum (bejel), T. pallidum ssp. pertenue (yaws), and T. carateum (pinta) Mainly humans; yaws is also found in non- human primates (baboons, chimpanzees, and gorillas). Mainly humans; Mainly humans; Possibly mechanic transmission by non- biting flies (Hippelates pallipes) in the transmission of yaws. Possibly mechanic transmission by non-biting flies Possibly mechanic transmission by non-biting flies Direct transmission via skin to skin or oral contact (also via
sharing drinking and eating utensils). Sharing of drinking vessels plays an important role in transmission of endemic syphilis in arid regions. There is little or no mother-to-child transmission during pregnancy. Direct transmission via skin to skin or oral contact (also via sharing drinking and eating utensils). Direct transmission via skin to skin or oral contact (also via sharing drinking and eating utensils).
Pada  tahap  pembuatan  ringkasan  acuan,  terdapat  total 1808 jumlah teks yang harus diringkas. Dalam konteks ini, 1808  teks  tersebut  mewakili  informasi  terkait  113  jenis penyakit  yang  berbeda  dengan  masing-masing  penyakit memiliki  16  atribut  yang  dijelaskan  secara  detail.  Atribut yang tersedia untuk setiap penyakit meliputi Disease (jenis penyakit), Classification (klasifikasi penyakit), Syndromes and  synonyms  (sindrom  dan  sinonim),  Agent  (agen penyebab),  Reservoir  (reservoir),  Vector  (vektor), Transmission  (penularan),  Cycle  (siklus),  Incubation period (periode inkubasi), Clinical findings (temuan klinis), Diagnostic  tests  (tes  diagnostik),  Therapy  (terapi), Prevention  (pencegahan),  Epidemiology  (epidemiologi), Communicability  (daya  penularan),  dan  Prepatent  period (periode prepaten).
Ringkasan  dibentuk  dengan  tidak  mengubah  makna sama sekali dari  teks asal mulanya. Teks ringkasan harus merupakan bagian dari teks asalnya. Sebagai contoh pada Tabel  VIII  indeks Reservoir pada  penyakit Endemic Treponematosis teks ringkasannya “Mainly humans;” yang merupakan bagian dari teks asalnya “Mainly humans; yaws is  also  found  in  non-human  primates  (baboons, chimpanzees, and gorillas).”. Hal ini dilakukan agar tidak merubah makna dari kalimat asalnya.
Di  dalam  teks  asal  dari  data  AHID  terdapat  beberapa teks yang hanya terdiri dari 1 kata. Hal ini mengakibatkan peringkasan sejatinya tidak dilakukan karena 1 kata itu lah yang  menjadi  ringkasan  tersebut.  Ditemukan  pula  bahwa beberapa atribut penyakit tidak bisa diringkas seperti pada Tabel  IX.  Analisis  lebih  lanjut  dilakukan  pada  hasil ringkasan  acuan  dengan  menggunakan  Excel.  Gambar  2 menunjukkan  bahwa  atribut Communicability,  Prepatent period,  Classification,  Disease,  Incubation  period. Hal tersebut terjadi karena mayoritas dari atribut Communicability dan Prepatend period berisi NaN . Hanya satu  data  yang  memiliki  atribut Coomunicability yang berisi None .  Sedangkan  untuk  atribut Classification tidak bisa diringkas karena berbentuk seperti ID untuk penyakit tersebut.  Begitu  juga  dengan  atribut Disease yang  hanya berisi nama penyakit yang tidak bisa diringkas. Sama hal- nya  dengan  atribut Syndrome  and  Synonym yang  berisi nama lain dari penyakit tersebut yang tidak bisa diringkas.
Tabel IX. Contoh teks yang tidak bisa diringkas
index 0 (data) 1 (summary) Disease Anthrax Anthrax Classification ICD-9 022; ICD-10 A22 ICD-9 022; ICD-10 A22 Syndromes and synonyms Charbon, malignant pustule, malignant edema, woolsorter disease, tanner disease. Charbon, malignant pustule, malignant edema, woolsorter disease, tanner disease. Disease Yellow Fever Yellow Fever Classification ICD-9 060; ICD-10 A95 ICD-9 060; ICD-10 A95 Syndromes and synonyms Hemorrhagic fever, jungle yellow fever, urban yellow fever. Hemorrhagic fever, jungle yellow fever, urban yellow fever.
Gambar 2 Grafik peringkasan teks per atribut

## 3. Validasi ringkasan acuan
Pada tahap ini, akan dilakukan validasi acuan ringkasan yang dituliskan oleh manusia. Ringkasan acuan yang telah ada  pada  data  akan  divalidasi  oleh  dokter.  Validasi bertujuan  untuk  memastikan  1808  teks  yang  dihasilkan merupakan ringkasan yang benar. Data hasil validasi akan dijadikan  bahan  model training dan evaluation pada tahapan berikutnya.
Validasi  dilakukan  oleh  dr.  Muhammad  Zainal  Abidin yang  melakukan  praktek  di  Puskesmas  Tiron  Kabupaten Kediri  dan  dr.  Reza  Hapid  dari  Kabupaten  Purwakarta. Pemeriksaan  hasil  ringkasan  acuan  yang  dibentuk  oleh manusia  dilakukan  secara  sampling  untuk  empat  belas penyakit yaitu Endemic Treponematosis, Leprosy, Malaria (Plasmodium Ovale), Schistosomiasis (Asia), Yellow Fever, Cholera, Leptospirosis, Brucellosis, Diphtheria, Ehrlichiosis,  Haemophilus  influenzae  Type  b,  Listeriosis, Pneumococcal  Disease, dan Typhoid  Fever. Penyakit- penyakit  tersebut  merupakan  penyakit  yang  menyerang wilayah  Indonesia  dan  Asia.  Penyakit-penyakit  tersebut juga  merepresentasikan  kompleksitas  data  dari  segi transmission , agent ,  dan epidemiology .  Gambaran kompleksitas data dapat dilihat pada Tabel X.

## Tabel X Gambaran kompleksitas sampel penyakit
Penyakit Transmission Agent Epidemiology Endemic Treponematosis direct contact (Skin to skin, oral contact, sharing utensils) Bacterial tropical and subtropical areas Leprosy air-borne (aerosol spread) Bacterial Africa and asia Malaria (Plasmodium Ovale) animal bite (mosquito) Parasitic Southeast asia, Africa, Papua New Guinea Schistosomiasis (Asia) direct contact (with freshwater bodies) Parasitic Cambodia, China, Lao PDFR, Phillipines Yellow Fever animal bite (mosquito) Viral South America, Africa, Asia, Australasia Cholera food-borne (contaminated food, water, shellfish) Bacterial Indian, Southeast Asia, Africa Leptospirosis direct contact (urine) Bacterial Latin America, Caribbean, India, Soutcheast Asia, Oceania, eastern Europe Brucellosis food-borne (unpasteurized milk) Bacterial Mediterranean countries, Middle East, Central
America, Central Asia
Diphtheria air-borne (respiratory droplets) Bacterial Europe, Africa, Middle East, Asia, South America Ehrlichiosis animal bite (tick bites) and food- borne (uncooked aquatic hosts) Bacterial South-central and eastern USA, Japan Haemophilus influenzae Type b air-borne and direct contact (respiratory droplets) Bacterial Africa and Asia Listeriosis food-borne and transplacental (mother to child). Bacterial Worldwide Pneumococcal Disease direct contact (direct oral contact) Bacterial Africa and Asia Typhoid Fever food-borne and direct contact Bacterial South Central and Southeast Asia and South Africa
Dalam melakukan validasi dengan dokter, atribut-atribut yang tidak diringkas sebagaimana dijelaskan dalam subbab Error! Reference source not found. Pembuatan ringkasan acuan dihapuskan dari daftar validasi karena hasilnya tentu sama  dengan  teks  aslinya.  Hasil  dari  validasi  ini  adalah dokter  tidak  memberikan  perubahan  dari  ringkasan  yang telah  dibuat  sebelumnya.  Kedua  dokter  juga  sepakat dengan  hasil  ringkasan  yang  telah  dibentuk  sebelumnya. Kesimpulannya  adalah  ketika  dokter  akan  membuat ringkasan  dari  sebuah  penyakit,  hasil  yang  didapatkan adalah sama.
4. Model training
Pada  tahap  ini,  data  yang  sudah  memiliki  label  akan dipisahkan  terlebih  dahulu.  Pemisahan  tersebut  dilakukan dengan dua aturan 80-10-10 dan 70-15-15. Aturan 80-10- 10  digunakan  dengan  cara  membagi  data  sebanyak  80 persen untuk training , 10 persen untuk validation, dan 10 persen  untuk  testing.  Aturan  70-15-15  digunakan  dengan cara membagi data sebanyak 70 persen untuk training , 15 persen  untuk validation, dan  10  persen  untuk  testing. Pemisahan  dilakukan  dengan  menyimpan random_state atau nomor seed agar selalu bisa menghasilkan pembagian yang  sesuai.  Jika  tidak  menggunakan seed atau random_state maka ada kemungkinan bahwa model telah melihat  data  testing  ketika  dilakukan training yang  akan mengakibatkan false accuracy sehingga model tidak benar- benar  belajar.  Data training akan  menjadi  input  dari algoritma machine learning untuk menghasilkan ringkasan. Metode pada bab 3 akan  digunakan  untuk  melakukan model training .  Model training menggunakan loss pada persamaan (10) yang akan menghasilkan model peringkasan.

## 5. Evaluasi model
Model peringkasan tersebut akan diujikan ke data testing yang sudah dipisah sebelumnya. Evaluasi model dilakukan dengan  pengukuran  ROUGE-N  menggunakan  persamaan
(11) . Evaluasi tersebut akan menghasilkan nilai ROUGE-N menggunakan  ringkasan  teks  yang  dihasilkan  oleh  model dan gold summary atau acuan ringkasan.
Tabel XI. Contoh perhitungan skor evaluasi ROUGE pada salah satu atribut pada penyakit Bartonellosis
Model Summary Gold Summary Skor Trench  fever  is named after infected  soldiers in  the  trenches during World War I. B. quintana infections are associated with poverty, alcoholism and homelessness  in Europe and North America. The disease  is  a  re- emerging  disease due to the increase in homeless  people and HIV-infected individuals. Trench  fever  is named after infected  soldiers in  the  trenches during World War  I.  Infections have been reported from every  continent. In  Europe  and North  America, B. quintana infections are associated with poverty, alcoholism and homelessness. The  disease  is  a re-emerging disease due to the increase in homeless  people and HIV-infected individuals. [ 'rouge-1': 0.8809523759977325, 'rouge-2': 0.8210526266060942, 'rouge-l': 0.8809523759977325 ] 6.

## Penerjemahan ringkasan dan teks awal ke dalam Bahasa Indonesia
Pada  tahap  ini  dilakukan  penerjemahan  ringkasan  dan teks  awal  ke  dalam  Bahasa  Indonesia.  Penerjemahan dilakukan  dengan  menggunakan pre-trained  model penerjemah  dari  Bahasa  Inggris  ke  Bahasa  Indonesia. Penggunaan pre-trained  model  “Helsinki-NLP/opus-mt- en-id”  diperoleh  dari https://huggingface.co/Helsinki- NLP/opus-mt-en-id .

## Tabel XII. Contoh terjemahan dari ringkasan
Model Summary (Bahasa Inggris) Model Summary (Bahasa Indonesia)
Trench  fever  is  named  after infected  soldiers  in  the  trenches during World War I. B. quintana infections  are  associated  with poverty,
alcoholism and homelessness  in  Europe  and
North  America.  The  disease  is  a re-emerging  disease  due  to  the increase  in  homeless  people  and HIV-infected individuals. Demam Trench dinamakan setelah  tentara  yang  terinfeksi  di parit-parit selama Perang Dunia I. B.  Kinana  infeksi  dikaitkan dengan  kemiskinan,  alkoholisme dan  tunawisma  di  Eropa  dan Amerika  Utara.  penyakit  ini adalah  penyakit  yang  muncul kembali  karena  meningkatnya tunawisma  dan  individu  yang terinfeksi HIV.

## 7. Pembangunan kamus penyakit berbasis web
Pada  tahap  ini  dilakukan  penunjukan  data  hasil ringkasan  menggunakan  aplikasi  berbasis  web.  Aplikasi berbasis web ini memiliki fitur search untuk mencari kata kunci dari penyakit yang ada dan menunjukkan hasil dari
ringkasannya.  Aplikasi  akan  menampilkan  tooltip  yang berisi data asli agar bisa dilakukan pengecekan kebenaran hasil  ringkasan.  Aplikasi  akan  memiliki  dua  versi  bahasa yaitu Bahasa Inggris dan Bahasa Indonesia. Pembangunan aplikasi tersebut menggunakan framework javascript yaitu Next.js dan library  React yang  bisa  digunakan  untuk membangun aplikasi berbasis kamus yang interaktif, cepat, dan hemat sumber daya komputasi server.

## IV. PEMBAHASAN
Pada bab ini diuraikan secara rinci hasil penelitian yang telah  dilakukan  serta  dilakukan  pembahasan  yang mendalam terkait dengan temuan-temuan yang ditemukan dalam penelitian ini. Melalui analisis dan pembahasan yang cermat, bab ini bertujuan untuk menyampaikan informasi yang komprehensif dan mendalam tentang penelitian yang telah dilakukan.

## 1. Model training
Pada  tahap  ini,  teks  sudah  memiliki  ringkasan  acuan yang  tervalidasi.  Sebelumnya  data  teks  akan  dipisahkan terlebih  dahulu.  Pemisahan  tersebut  dilakukan  dengan  2 aturan  yaitu  80-10-10  [19]  dan  70-15-15  [20].  Dalam konfigurasi  80-10-10,  80  persen  data  digunakan  untuk training, 10 persen untuk validasi (tuning), dan 10 persen data  selanjutnya  digunakan  testing.  Sedangkan  pada konfigurasi  70-15-15,  70  persen  data  digunakan  untuk training, 15 persen data digunakan untuk validasi (tuning), dan 15 persen sisanya digunakan untuk testing. Pemisahan dilakukan  dengan  menyimpan  random _state atau  nomor seed agar selalu bisa menghasilkan pembagian yang sesuai. Jika tidak menggunakan seed atau random_state maka ada kemungkinan  bahwa  model  telah  melihat  data  testing ketika  dilakukan training yang  akan  mengakibatkan false accuracy sehingga  model  tidak  benar-benar  belajar.  Data training akan  menjadi  input  dari  algoritma  machine learning untuk menghasilkan ringkasan. Metode pada bab Error! Reference source not found. akan digunakan untuk melakukan model training . Model training menggunakan loss pada  persamaan  (10  yang  akan  menghasilkan  model peringkasan.

## Tabel XIII Jumlah data yang digunakan dalam training
Konteks Jumlah Data Data awal 1808 Data setelah penghapusan index yang isinya tidak bisa diringkas 1243 Data setelah penghapusan data yang berisi nilai null 1157
Data asli yang digunakan sebelum masuk ke dalam tahap training berjumlah 1808 teks data. Namun, beberapa data perlu  dihapus  karena  mayoritas  isi  teksnya  adalah  nilai kosong,  contoh  indexnya  adalah Communicability dan Prepatent Period . Beberapa data juga perlu dihapus karena isinya  memang  tidak  bisa  diringkas  seperti  contohnya index Classification,  Disease,  Incubation  Period .  Setelah itu, beberapa data juga perlu dihapus karena mengandung
nilai null. Data akhir yang akan digunakan untuk dilakukan splitting berjumlah 1157 teks data.

## Gambar 3 Grafik panjang kata teks asli
Panjang  kata  dalam  teks  asli  memiliki  nilai  minimal  1 kata dan nilai maksimal 265 kata sebagaimana ditunjukkan pada  Gambar  3.  Dua  nilai  tersebut  akan  berpengaruh kepada konfigurasi model yang ditraining. Sedangkan nilai minimal panjang kata pada teks gold summary (ringkasan acuan) adalah 1 kata dan nilai maksimalnya berjumlah 114 kata  sebagaimana  ditunjukkan  pada  Gambar  4.  Nilai minimal  dan  maksimal  panjang  teks  ringkasan  akan berpengaruh kepada konfigurasi training.

## Gambar 4 Grafik panjang kata pada gold summary
Sebelum  benar-benar  dilakukan  training,  data  harus displit  terlebih  dahulu.  Data  Splitting  dilakukan  dengan menggunakan konfigurasi 80-10-10 dan konfigurasi 70-15- 15. Data splitting data harus dilakukan tokenisasi terlebih dahulu. Proses data splitting dilakukan dengan menggunakan  library  sklearn.model_selection  dengan function train_test_split . Pembagian data ini menggunakan
parameter random_state dengan nilai 42 untuk memastikan reproducibility dari pembagian yang dilakukan.
Setelah  dibagi  sesuai  dengan  proporsinya  masing- masing,  masing-masing  data  train,  val,  dan  test  harus disimpan  dalam  format .source,  .target,  dan  .out . format .source digunakan untuk menyimpan data teks asli yang  akan  diringkas.  Format .target menyimpan  gold summary  atau  target  ringkasan  utamanya.  Sedangkan format .out bertugas  untuk  menyimpan  macam-macam ringkasan yang bisa dihasilkan (termasuk opini kedua).
Setelah penyesuaian format data dilakukan, dihasilkan 9 file  dengan  rincian: train.source,  train.target,  train.out, test.source, test.target, test.out, val.source, val.target , dan val.out .  Keseluruhan  file  tersebut  harus  dilakukan tokenisasi terlebih dahulu sebelum dapat dilakukan training. Tokenisasi dilakukan dengan menggunakan Stanford Core NLP 2 PTB Tokenizer. Karena tokenizer berbentuk file .jar berbasis  java,  maka  diperlukan  untuk  memasukkan  file Stanford-corenlp-3.8.0.jar ke  dalam  path  sistem  operasi. Setelah  itu,  keseluruhan  file  dapat  dilakukan  tokenisasi. Salah  satu  contoh  teks  hasil  tokenisasi  ditunjukkan  pada Tabel  XIV.  Tokenisasi  harus  dilakukan  untuk  dapat menjalankan model BRIO. Dengan melakukan tokenisasi, akan terbentuk file dengan nama yang sama namun dengan atribut  tambahan  .tokenized.  Total  file  data  keseluruhan yang dihasilkan setelah tahap ini adalah 18 file.

## Tabel XIV Sebelum dan sesudah tokenisasi
Sebelum tokenisasi Sesudah tokenisasi
in 2000 it was estimated there were approximately 21,650,000 new s. typhi cases and 216,500
deaths, with large regional variability. these estimates are based on limited data from mainly countries with a high incidence of disease. typhoid fever incidence is highest among infants and children living in south central and southeast asia and south africa. two seasonality patterns are observed: (1) higher incidence in warmer dry months leading to higher bacterial loads in the water, and (2) higher incidence in the rainy season, due to spillover from sewage to drinking water. declines are seen in regions were living conditions have improved, mainly due to access to clean water and sanitation (see water and sanitation map).
in 2000 it was estimated there were approximately 21,650,000 new s. typhi cases and 216,500 deaths , with large regional variability . these estimates are based on limited data from mainly countries with a high incidence of disease . typhoid fever incidence is highest among infants and children living in south central and southeast asia and south africa . two seasonality patterns are observed : -LRB- 1 -RRB- higher incidence in warmer dry months leading to higher bacterial loads in the water , and -LRB- 2 - RRB- higher incidence in the rainy season , due to spillover from sewage to drinking water . declines are seen in regions were living conditions have improved , mainly due to access to clean water and sanitation -LRB- see water and sanitation map - RRB- .conditions.
Model akan dijalankan di dalam lingkungan komputasi Google Colab 3 . Tipe Google Colab yang digunakan adalah tipe Pro dengan biaya $10 untuk pemakaian satu bulan. Di dalam lingkungan komputasi ini, terdapat akselerator GPU
2 https://stanfordnlp.github.io/CoreNLP/index.html
3 https://colab.research.google.com
dengan nama Tesla T4. Spesifikasi dijelaskan dalam Tabel XV.  Untuk  dapat  menjalankan  model  BRIO,  seluruh  file data  sebelumnya  harus  ditempatkan ke  dalam  lingkungan komputasi.  Saat  ini  alat  yang  digunakan  untuk memindahkan  data  adalah  menggunakan  git 4 .  Git digunakan karena jumlah data teks relatif tidak banyak. Git juga  dapat  membantu  menyelaraskan  konfigurasi  model yang digunakan dengan hanya menggunakan perintah “git pull”.

## Tabel XV Spesifikasi lingkungan komputasi
Konteks Nilai Nama GPU Tesla T4 GPU RAM 16 GB Runtime Shape High RAM Versi python Python 3 Google Compute Engine backend (GPU) System RAM 25.5 GB
Untuk  memulai  model  training,  pertama  yang  harus dilakukan  adalah  melakukan  instalasi  dependensi  model BRIO. Sebelumnya, repository asli model BRIO 5 telah di- fork terlebih dahulu untuk memasukkan konfigurasi custom untuk data AHID. library compare-mt yang dipersyaratkan oleh model juga di-install.
Langkah  berikutnya  adalah  me-load  data  dari keseluruhan  file  data  yang  sudah  disiapkan  sebelumnya. Loading data dilakukan dengan memanggil file preprocess.py yang  tersedia  dari  model  BRIO.  Sebelum memanggil script python, diperlukan folder dengan nama cnndm dengan sub-folder diverse . Sub-folder diverse juga diperlukan  untuk  folder train,  test,  dan  val .  Selain  folder tersebut,  Model  juga  memerlukan  folder  ./cache  untuk menyimpan  checkpoint  hasil  training  dan  log  training. Model  mempersyaratkan  bahwa  data  test.source  dan test.target disimpan ke dalam folder cnndm .
Persiapan  telah  selesai  dilakukan,  selanjutnya  adalah konfigurasi model dan proses training yang sesungguhnya. Konfigurasi  model  yang  digunakan  diatur  menggunakan file konfigurasi terpisah. Untuk dapat melanjutkan training, model  harus  diberi  konfigurasi  yang  tepat.  Dalam pelaksanaannya  nilai-nilai  konfigurasi  default  digunakan untuk  menjalankan  model.  Namun,  beberapa  konfigurasi harus  disesuaikan  dengan  data,  konfigurasi  yang  diubah antara  lain: max_len,  total_len,  gen_max_len ,  dan gen_min_len. Parameter max_len menunjukkan maksimal panjang kata ringkasan yang dapat dihasilkan oleh model. Parameter  total_len  menunjukkan  input  panjang  kata maksimal  yang  dapat  diterima  oleh  model.  parameter gen_min_len menunjukkan minimal panjang kata ringkasan  yang  dapat  dihasilkan  oleh  model.  Parameter gen_max_len  menunjukkan  hal  yang  serupa  dengan parameter max_len. Keempat parameter disesuaikan isinya dengan  nilai  yang  berlaku  pada  data  seperti  yang digambarkan pada Gambar 3 dan Gambar 4.
4 https://git-scm.com
5 https://github.com/yixinL7/BRIO
Rangkaian skenario pertama yang diuji adalah skenario dalam  melakukan  pembagian  data.  Dalam  melakukan pembagian data digunakan proporsi 70-15-15 dan 80-10-10 masing-masing untuk data training, validation, dan testing . Hyperparameter  tuning  dilakukan  kepada  proprosi  yang memberikan dampak yang lebih baik setelah dilakukan uji coba skenario. Dilakukan dua scenario training dengan dua proporsi  pembagian  yang  telah  dijelaskan  sebelumnya. Training  dijalankan  mengggunakan  akselerator  CUDA berupa VGA Tesla T4 yang terpasang pada gpu id 0.
Tabel  XVI  menunjukkan  hasil  training  untuk menentukan  proporsi  yang  lebih  baik  digunakan  untuk tuning  dengan  menggunakan default  parameter dengan batch_size 2 dan accumulate_step 8. Hasilnya menunjukkan bahwa meskipun dengan data training yang lebih  sedikit,  hasil  tes  menunjukkan  performa  yang  lebih baik dibanding dengan proporsi training yang terlalu besar. Hasil  tes  yang  lebih  banyak  juga  menunjukkan  performa yang lebih baik dengan adanya proporsi data validasi yang lebih  banyak  pula.  Performa  yang  lebih  baik  ini ditunjukkan  juga  pada  pengukuran  hasil  yang  sudah ditokenisasi. Dari kedua scenario tersebut, sksenario yang menghasilkan  skor  ROUGE  yang  lebih  baik  akan dilanjutkan  untuk  scenario  hyperparameter  tuning  untuk parameter batch_size dan accumulate_step.
Tabel XVI Hasil training terhadap dua tipe pembagian data terhadap
data testing Proporsi Rouge-1 Rouge-2 Rouge-L 70% training, 15% validation, 15% testing 0.713580 0.635112 0.710467 80% training, 10% validation, 10% testing 0.698352 0.609716 0.693073 70% training, 15% validation, 15% testing (tokenized result) 0.398545 0.369169 0.372620 80% training, 10% validation, 10% testing (tokenized result) 0.389563 0.363701 0.366844
Setelah  didapatkan  proporsi  data  yang  lebih  baik, hyperparameter  tuning  dilakukan.  Hyperparameter  tuning dilakukan  dengan  mempertimbangkan  efficient  batch sizing.  Hyperparameter  tuning  dilakukan  pada  parameter batch_size  dan  accumulate_step.  Skenario  training  pada hyperparameter  tuning  dijalankan  untuk  mendapatkan model  dengan  performa  yang  lebih  baik.  Hasil hyperparameter  tuning  yang  dijalankan  ditunjukkan  pada Tabel  XVII.  Keseluruhan  scenario  training  menggunakan parameter  learning  rate  dengan  nilai  default  maksimal 2 × 10 −3 .  Model  mampu  melakukan  perubahan  learning rate secara mandiri ketika training sedang berjalan.
Tabel XVII Hasil training menggunakan hyperparameter tuning tanpa tokenisasi
Batch Size Acc Step Duration (h:m:s) Rouge-1 Rouge-2 Rouge-L 2 8 03:00:05.19 0.713580 0.635112 0.710467 4 8 03:10:17.23 0.651970 0.574747 0.649013 1 16 03:11:22.29 0.741458 0.667940 0.738907 6 https://github.com/yixinL7/BRIO
4 4 03:40:28.50 0.657265 0.574733 0.653569 Tabel XVIII Hasil training menggunakan hyperparameter tuning dengan tokenisasi Batch Size Acc Step Duration (h:m:s) Rouge-1 Rouge-2 Rouge-L 2 8 03:00:05.19 0.398545 0.369169 0.372620 4 8 03:10:17.23 0.368525 0.340296 0.346985 1 16 03:11:22.29 0.406454 0.381194 0.384030 4 4 03:40:28.50 0.378252 0.344066 0.349060 Hasil pada Tabel XVII menunjukkan bahwa hyperparameter  terbaik  untuk  batch_size  dan  acc_step adalah  1  dan  16.  Hasil  ini  senada  dengan  penelitian  [21] mengenai  batch_size  yang  lebih  kecil  memberikan  hasil yang  lebih  baik.  Kombinasi  batch_size  4  dan  acc_step  4 menunjukkan durasi terlama dalam model training. Durasi pada tabel ditunjukkan dalam urutan jam, menit, dan detik. Hasil  tersebut  menunjukkan  dua  tipe  test  yaitu  dengan tokenized  dan  un-tokenized  test.  Dengan  menggunakan tokenized test, hasil tentu menjadi menurun karena adanya tambahan  character  pada  data  testing  seperti  yang ditunjukkan pada Tabel XIV. untuk meningkatkan kembali performa model, akan dilakukan scenario training dengan menggunakan  fine-tuning  model.  model  yang  digunakan sebagai bahan fine-tuning adalah model yang telah tersedia pada repository utama dari model BRIO 6 . Cara melakukan fine-tuning model adalah dengan menggunakan checkpoint model yang sebelumnya sudah ditraining dengan 2 juta data teks.  Checkpoint  model  yang  digunakan  tersimpan  di dalam  file model_generation.bin. Dengan  menggunakan hyperparameter  terbaik  dari  hasil  pada  Tabel  XVII, scenario training dijalankan.
Hasil  dari  fine-tune  model  training  ditunjukkan  pada Tabel  XIX.  Hasil  fine-tune  model  training  menunjukkan performa  yang  lebih  baik  pada  data  uji  dibandingkan dengan hasil  tanpa  menggunakan  fine-tune  model.  model yang  menjadi  bahan  fine-tuning  telah  digunakan  untuk melakukan  training  pada  2  juta  data  teks  sebelumnya. Performa  fine-tuning  ini  menjadi  performa  terbaik  yang bisa diraih oleh model BRIO pada dataset AHID.

## Tabel XIX Hasil training menggunakan fine-tune
Fine Tuned Duration (h:m:s) Tokeni zed Test Rouge-1 Rouge-2 Rouge-L No 03:11:22 No 0.741458 0.667940 0.738907 Yes 03:18:19 No 0.754856 0.678338 0.752348 No 03:11:22 Yes 0.406454 0.381194 0.384030 Yes 03:18:19 Yes 0.412307 0.388060 0.390009

## 2. Evaluasi model
Model peringkasan tersebut akan diujikan ke data testing yang sudah dipisah sebelumnya. Evaluasi model dilakukan dengan pengukuran ROUGE-N pada bab Error! Reference source  not  found. menggunakan  persamaan Error! Reference  source  not  found. .  Evaluasi  tersebut  akan
menghasilkan  nilai  ROUGE-N  menggunakan  ringkasan teks yang   dihasilkan oleh  model dan gold  summary atau acuan ringkasan.
Model  fine-tuning  yang  sudah  ditraining  akan menyimpan  file  model  checkpointsnya  dalam  file model_generation.bin .  Model  tersebut  akan  digunakan untuk  membuat  ringkasan  dari  data  test  yang  telah disediakan  sebelumnya.  Data  teks  asli  test  tersebut  akan diubah menjadi ringkasan melalui model BRIO yang sudah difine-tuned.  Hasil  ringkasannya  kemudian  dievaluasi menggunakan  nilai  ROUGE-N  menggunakan  persamaan Error!  Reference  source  not  found. .  Nilai  ROUGE-N yang  akan  dievaluasi  adalah  ROUGE-1,  ROUGE-2,  dan ROUGE-L.  Dalam  perhitungannya  digunakan  library pyrouge . Untuk menghasilkan ringkasan dari data test dan melakukan  evaluasi  ROUGE-nya.  Contoh  hasil  skor evaluasi ROUGE-N ditunjukkan pada Tabel XIX.
Tahapan  selanjutnya dalam  evaluasi  skor  adalah  untuk menghasilkan data ringkasan untuk masing-masing atribut seluruh  penyakit  dari  data  AHID.  Seluruh  data  atribut penyakit  kecuali  atribut  yang  dikecualikan  dalam  Tabel XIII  dimasukkan  ke  dalam  model  untuk  menghasilkan ringkasan  dari  atribut  tersebut.  Dengan  menggunakan konfigurasi  terbaik  dari  tahapan  sebelumnya,  model meringkas  teks  setiap  atribut  dalam  data  untuk menghasilkan  ringkasan  dalam  Bahasa  aslinya  (Bahasa Inggris).  Pengukuran  evaluasi  terhadap  seluruh  data ditunjukkan  pada  Tabel  XX.  Selanjutnya,  data  output ringkasan disimpan ke dalam file berbentuk excel.
Tabel XX Hasil peringkasan akhir menggunakan model terbaik
Tokenized Rouge-1 Rouge-2 Rouge-L No 0.828303 0.744747 0.826375 Yes 0.438659 0.424543 0.425246 3.

## Penerjemahan ringkasan dan teks awal ke dalam Bahasa Indonesia
Pada  tahap  ini  dilakukan  penerjemahan  ringkasan  dan teks  awal  ke  dalam  Bahasa  Indonesia.  Penerjemahan dilakukan  dengan  menggunakan pre-trained  model penerjemah  dari  Bahasa  Inggris  ke  Bahasa  Indonesia. Penggunaan pre-trained  model  “Helsinki-NLP/opus-mt- en-id” 7 menjadi salah satu opsi penerjemahan.
Tabel XXI. Contoh terjemahan dari ringkasan menggunakan model opus-mt-en-id
Model Summary (Bahasa Inggris) Model Summary (Bahasa Indonesia)
Anthrax has a worldwide distribution. Livestock vaccination, antibiotic treatment, and quarantaine regulations lead to a strong decline in anthraxinfections in domestic lifestock. Anthrax occurs mainly in rural areas in countries where there is no livestock vaccination and no veterinary control of
Di sini anthrax memiliki disturi di seluruh dunia. vaksiniasi terminasi, perawas antibiotik, dan quaranda peratura digara manuran yang kutakda vakinfsinfections dalam sumber kehipan kubahik. Anthraitama terjata susi dimensia negara-gara kasyana panwaga.
7 https://huggingface.co/Helsinki-NLP/opus-mt-en-id
slaughtered animals.There is a seasonal variation in animal disease with an increase in cases during hot dry weather. Anthrax is an occupational hazard for people who process contaminated animal tissues. GI anthrax occurs when infected tissue is ingested. Of note is the terrorist distribution of anthrax powder by mail in the USA in 2001, which killed 5 people and produced sickness in 17.
Terjemahan dilakukan untuk dua tipe teks, teks original dan teks ringkasan. Teks dipisahkan terlebih dahulu untuk mempermudah  jalannya  penerjemahan.  Pada  Tabel  XXI ditunjukkan  hasil  dari  penerjemahan  ringkasan  yang dihasilkan oleh model BRIO dari Bahasa inggris ke Bahasa Indonesia.  Terlihat  bahwa  hasil  terjemahan  dengan menggunakan model ” Helsinki-NLP/opus-mt-en-id” memiliki  hasil  yang  cukup  buruk.  Model  gagal memprediksi  terjemahan  kata  yang  lebih  tepat  bagi  teks yang  panjang.  Model  juga  gagal  menerjemahkan  kata treatment menjadi  kata  perawas  dan  kata mainly menjadi kata  terjata.  Pada  akhirnya,  perbaikan  harus  dilakukan dengan  menggunakan  model penerjemahan  populer  milik google, yaitu Google Translate.
Tahapan penerjemahan juga dilakukan dengan menggunakan  model  milik  Google  Translate  dengan menggunakan  library  tidak  berbayar deep_translator . Keuntungan  dari  menggunakan  library deep_translator adalah kemampuan tidak terbatas dan tidak berbayar untuk memanggil  API  milik  Google  Translate.  Contoh  hasil terjemahan  yang  dihasilkan  oleh  model  Google  Translate memiliki hasil yang secara sekilas lebih mudah dimengerti daripada yang dihasilkan oleh model “ Helsinki-NLP/opus- mt-en-id” . Contoh hasil terjemahan yang ditunjukkan pada Tabel  XXII  juga  menggambarkan  keseluruhan  teks terjemahan yang dihasilkan.

## Tabel XXII. Contoh terjemahan dari ringkasan menggunakan model
Google Translate
Model Summary (Bahasa Inggris) Model Summary (Bahasa Indonesia) Anthrax has a worldwide distribution. Livestock vaccination, antibiotic treatment, and quarantaine regulations lead to a strong decline in anthraxinfections in domestic lifestock. Anthrax occurs mainly in rural areas in countries where there is no livestock vaccination and no veterinary control of slaughtered animals.There is a seasonal variation in animal disease with an increase in cases during hot dry weather. Anthrax is an occupational hazard for
people who process Anthrax memiliki distribusi di seluruh dunia. Vaksinasi ternak,
pengobatan antibiotik, dan peraturan karantina menyebabkan penurunan kuat infeksi antraks pada ternak domestik. Anthrax terjadi terutama di daerah pedesaan di negara-negara di mana tidak ada vaksinasi ternak dan tidak ada pengawasan dokter hewan terhadap hewan yang disembelih. Terdapat variasi musiman pada penyakit hewan dengan peningkatan kasus selama cuaca panas dan kering.
contaminated animal tissues. GI anthrax occurs when infected tissue is ingested. Of note is the terrorist distribution of anthrax powder by mail in the USA in 2001, which killed 5 people and produced sickness in 17.
Anthrax adalah bahaya
pekerjaan bagi orang yang memproses jaringan hewan yang terkontaminasi. Anthrax GI terjadi ketika jaringan yang terinfeksi tertelan. Yang perlu diperhatikan adalah distribusi bubuk antraks oleh teroris melalui pos di AS pada tahun 2001, yang menewaskan 5 orang dan menyebabkan 17 orang
sakit.
Agar hasil yang telah diperoleh dapat bermanfaat lebih untuk  masyarakat  sesuai  dengan  yang  dijelaskan  dalam Sub-bab Error!  Reference  source  not  found. mengenai manfaat yang dihasilkan oleh penelitian, tahap selanjutnya adalah  menampilkan  kamus  penyakit  berbasis  web. Tahapan ini memerlukan data dengan tipe file json. Output dataset berbahasa Indonesia diberi nama data_id.json dan output  berbahasa  inggris  normal  diberi  nama data.json . Kedua  data  ini  akan  digunakan  pada  tahapan  selanjutnya ketika  membangun  aplikasi  web,  yang  bertujuan  untuk memberikan informasi yang mudah diakses dan dipahami oleh pengguna.

## 4. Pembangunan kamus penyakit berbasis web
Pada  tahap  ini  dilakukan  penunjukan  data  hasil ringkasan  menggunakan  aplikasi  berbasis  web.  Aplikasi berbasis web ini memiliki fitur search untuk mencari kata kunci dari penyakit yang ada dan menunjukkan hasil dari ringkasannya.  Aplikasi  akan  menampilkan  tooltip  yang berisi data asli agar bisa dilakukan pengecekan kebenaran hasil  ringkasan.  Aplikasi  akan  memiliki  2  versi  bahasa yaitu Bahasa Inggris dan Bahasa Indonesia. Pembangunan aplikasi tersebut menggunakan framework javascript yaitu Next.js 8 dan library  React 9 yang  bisa  digunakan  untuk membangun aplikasi berbasis kamus yang interaktif, cepat, dan hemat sumber daya komputasi server.
Pembangunaan kamus penyakit berbasis web menggunakan framework Next.js dan library React untuk membangun  aplikasi  yang  interaktif,  cepat,  dan  hemat sumber  daya  komputasi  server  ini  menggunakan  versi 13.4.3 dan react 18.2.0. Untuk membangun user interface (UI)  yang  nyaman  dipandang,  digunakan  juga  library component ChakraUI 10 .  Chakra  UI  memiliki  kumpulan- kumpulan  component  yang  sering  digunakan  untuk membentuk  sebuah  web.  Salah  satu  bentuk  komponen dalam  ChakraUI  adalah  komponen  tooltip.  Komponen tooltip pada Gambar 5 ketika di- hover akan memunculkan sebuah  teks.  ChakraUI  juga  memiliki  banyak  komponen lain yang bisa digunakan ulang.
8 https://nextjs.org/
9 https://react.dev/
10 https://chakra-ui.com/

## Gambar 5 Contoh komponen tooltip milik ChakraUI

## Gambar 6 Struktur folder aplikasi kamus penyakit
Aplikasi  dibangun  di  atas  framework  next.js  sehingga dalam  pengembangannya  digunakan  struktur  folder  milik next.js seperti pada Gambar 6. seluruh konfigurasi umum terkait  aplikasi  disimpan  di  dalam  file next.config.js, package.json,  theme.js,  dan  tsconfig.json .  file .gitignore menyimpan data terkait file-file yang tidak harus tersimpan di dalam repository git. Kode utama aplikasi tersimpan di dalam  direktori  app  dan  src.  Di  dalam  direktori  app terbentuk  dua  halaman  utama  aplikasi  pada  app/page.tsx dan app/disease/[disease_name]/page.tsx. di dalam next.js terdapat  metode  untuk  membangun dynamic  routing 11
seperti yang digunakan oleh
app/disease/[disease_name]/page.tsx  yang  memunculkan detail  penyakit  tertentu.  Di  dalam  direktori  tersebut, variable disease_name dapat dipanggil dari query params untuk memunculkan hanya spesifik penyakit dengan nama tersebut.    kedua  kode  halaman  aplikasi  ditulis
11 https://nextjs.org/docs/app/building-your- application/routing/dynamic-routes
menggunakan Typescript 12 agar memiliki fitur type safety yang  memudahkan  pengalaman  membangun  aplikasi. Folder  api  di  dalam  direktori  app  berisi  fungsi  untuk mengirim  data-data  penyakit  dari  folder  json  ke  dalam aplikasi secara aman. Sama halnya dengan dynamic routing sebelumnya,  di  dalam  folder  api  ini  juga  digunakan dynamic  routing untuk  membedakan  Bahasa  yang  akan dikirimkan  ke  dalam  aplikasi.  Terakhir,  Folder  src  berisi dua  sub-folder components dan hooks . components berisi komponen  ChakraUI  yang  telah  dimodifikasi  untuk menyesuaikan dengan aplikasi kamus penyakit. Sedangkan hooks merupakan custom  hooks yang  digunakan  untuk melakukan searching di dalam aplikasi.
Gambar 7Tombol back , bahasa, dan dark mode
Beberapa  komponen  dibentuk  dengan  memodifikasi komponen  umum  pada  ChakraUI  untuk  disesuaikan dengan  aplikasi.  Terdapat  tiga  jenis  tombol  yang dimunculkan  yaitu  tombol back untuk  kembali,  tombol dark  mode untuk  mengubah  tema  aplikasi,  dan  tombol Bahasa  untuk  mengubah  Bahasa  yang  digunakan  dalam aplikasi.  Gambar  7  menunjukkan  tampilan  fungsional komponen  tombol  pada  aplikasi.  Komponen  lain  yang perlu  dibentuk  adalah  komponen header .  Komponen header berisi informasi umum tentang aplikasi.  Gambar 8 menampilkan header yang  berisi  nama  aplikasi,  detail dosen pembimbing, penulis, dan atribusi lainnya.

## Gambar 8 Tampilan header
Komponen  utama  dalam  aplikasi  ini  adalah  komponen detail  data  penyakit  dan  komponen  daftar  penyakit. Komponen  ini  menunjukkan  daftar  penyakit  yang  telah tersedia  dan  bisa  menunjukkan  detail  tentang  penyakit tersebut  secara  detail.  Detail  dari  atribut  pada  penyakit tersebut merupakan aspek ringkasan dari data sebenarnya. Teks asli dari atribut tersebut juga ditampilkan seperti yang ditunjukkan pada Gambar 8. Daftar penyakit yang tersedia di  dalam  aplikasi  ditampilkan  melalui component DiseaseList.tsx  dan  detail  atributnya  ditampilkan  melalui component DataTable.tsx.  Setiap  atribut  pada  Gambar  9 yang  ada  dalam  penyakit  di- looping untuk  memunculkan seluruh  atributnya.  Daftar  penyakit  juga  dapat  dilakukan
12 https://www.typescriptlang.org/
pencarian  dengan  fitur search untuk  mempercepat pencarian penyakit.

## Gambar 9Tampilan daftar penyakit dan detail penyakit
Penggunaan  Next.js  bukan  tanpa  alasan,  dengan menggunakan framework next.js  sangat  membantu  untuk membangun  aplikasi  yang  interaktif  tanpa  membebani server.  Hal  ini  dibuktikan  dengan  performa  pada mobile device dan desktop  device .  Pengukuran  dilakukan menggunakan  data  yang  diolah  melalui Vercel  Speed Insight 13 . Pada Gambar 10 aplikasi menunjukkan performa yang  menakjubkan  dengan  nilai  skor  100  dengan  jumlah pengumpulan  data  298  dan  memiliki  waktu  tunggu dibawah  1  detik.  Begitu  juga  dengan  performa  yang ditunjukkan  pada desktop device nilainya  tidak  berbeda jauh dengan skor 97 dengan jumlah pengumpulan data 173. Pada desktop  device dan mobile  device seluruh  waktu tunggu  untuk  memunculkan  tampilan  pertama  kali memiliki  waktu  tunggu  di  bawah  1  detik.  Hal  ini menunjukkan performa yang sangat tinggi.
Gambar 10 Performa aplikasi pada mobile device
Gambar 11Performa aplikasi pada desktop device
Aplikasi  kamus  ringkasan  teks  penyakit 14 ini  dapat diakses  pada  laman  browser.  Tampilan  akhir  aplikasi  ini ditunjukkan  oleh  Gambar  10,  11  dan  12.  Aplikasi  juga memiliki fitur ubah Bahasa ke dalam Bahasa Indonesia dan fitur  mode  gelap.  Fitur  mode  gelap  ini  memanfaatkan pengaturan default dari device pengguna  yang  terhubung dengan  aplikasi.  Pengguna  dapat  mengubah  preferensi mode  gelap  dan  terang  sesuai  dengan  keinginannya. Pengguna  dapat  memanfaatkan  fitur  ubah  Bahasa  untuk menggunakan  Bahasa  Indonesia  dalam  membaca  detail penyakit.

## Gambar 12 Halaman pertama aplikasi

## V. KESIMPULAN
Pada bab ini diuraikan secara rinci hasil penelitian yang telah  dilakukan  serta  dilakukan  pembahasan  yang mendalam terkait dengan temuan-temuan yang ditemukan dalam penelitian ini. Melalui analisis dan pembahasan yang cermat, bab ini bertujuan untuk menyampaikan informasi yang komprehensif dan mendalam tentang penelitian yang telah  dilakukan.    Metode  BRIO  [8]  terbukti  berhasil menjadi  salah  satu  metode  NLP  yang  dapat  digunakan untuk  melakukan  proses  peringkasan  yang  mampu menghasilkan  ringkasan  dari  data Atlas  of Human Infectious  Diseases (AHID) dengan  akurasi  yang  baik
14 https://ahid-dictionary.vercel.app
Metode  BRIO  [8]  yang  telah dilakukan fine-tuning untuk data Atlas of Human Infectious Diseases (AHID) mampu meraih  skor  ROUGE-1  sebesar  0.438659,  ROUGE-2 sebesar 0.424543 dan ROUGE-l sebesar 0.425246 dengan menggunakan hyper-parameter batch_size 1 dan accumulation_step  16  Telah  dibangun  penerapan  model peringkasan BRIO pada data AHID yang ditampilkan pada aplikasi dictionary berbasis  web  dengan  menggunakan framework NextJS dan library React.

## REFERENSI
[1]
R. D. Perry and J. D. Fetherston, “Yersinia pestis- Etiologic Agent of Plague,” Jan. 1997.
[2] Heiman F. L. Wertheim, Peter Horby, and John P. Woodall, Atlas  of  Human  Infectious  Diseases . Wiley, 2012. doi: 10.1002/9781444354690.
[3] R.  Vinarti  and  L.  Hederman,  “A  knowledge-base for a personalized infectious disease risk prediction system,”  in Studies  in  Health  Technology  and Informatics ,  IOS  Press,  2018,  pp.  531–535.  doi: 10.3233/978-1-61499-852-5-531.
[4] R.  Messaoudi et  al. ,  “Ontology-Based  Approach for Liver Cancer Diagnosis and Treatment,” J Digit Imaging ,  vol.  32,  no.  1,  pp.  116–130,  Feb.  2019, doi: 10.1007/s10278-018-0115-6.
[5] N.  Collier et  al. ,  “A  multilingual  ontology  for infectious  disease  surveillance:  Rationale,  design and challenges,” Lang Resour Eval , vol. 40, no. 3– 4,  pp.  405–413,  Dec.  2006,  doi:  10.1007/s10579- 007-9019-7.
[6] S.  Narayan,  S.  B.  Cohen,  and  M.  Lapata,  “Don’t Give  Me  the  Details,  Just  the  Summary!  Topic-
Aware  Convolutional  Neural  Networks  for Extreme  Summarization,”  Aug.  2018,  [Online]. Available: http://arxiv.org/abs/1808.08745 [7] M. Lewis et al. , “BART: Denoising Sequence-to- Sequence  Pre-training  for  Natural  Language Generation, Translation, and Comprehension,” Oct. 2019, [Online]. Available: http://arxiv.org/abs/1910.13461 [8]
Y. Liu, P. Liu, D. Radev, and G. Neubig, “BRIO: Bringing  Order  to  Abstractive  Summarization,” Association  for  Computational  Linguistics ,  pp. 2890–2903,  Mar.  2022,  [Online].  Available: http://arxiv.org/abs/2203.16804
[9] J. ge Yao, X. Wan, and J. Xiao, “Recent advances in document summarization,” Knowl Inf Syst , vol. 53,  no.  2,  pp.  297–336,  Nov.  2017,  doi: 10.1007/s10115-017-1042-4.
[10] R.  McDonald,  “A  Study  of  Global  Inference Algorithms in Multi-document Summarization,” in Advances  in  Information  Retrieval ,  C.  and  R.  G. Amati  Giambattista  and  Carpineto,  Ed.,  Berlin, Heidelberg: Springer Berlin Heidelberg, 2007, pp. 557–564.
[11] L. Abualigah, M. Bashabsheh, H. Alabool, and M. Shehab,  “Text  Summarization:  A  Brief  Review,” 2020,  pp.  1–15.  doi:  10.1007/978-3-030-34614- 0_1.
[12] C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, and Z. Wojna, “Rethinking the Inception Architecture for  Computer  Vision,”  in 2016  IEEE  Conference on  Computer  Vision  and  Pattern  Recognition (CVPR) ,  Jun.  2016,  pp.  2818–2826.  doi: 10.1109/CVPR.2016.308.
[13] S.  Bengio,  O.  Vinyals,  N.  Jaitly,  and  N.  Shazeer, “Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks,” in Proceedings of the 28th International Conference on Neural Information  Processing  Systems  -  Volume  1 ,  in NIPS’15. Cambridge, MA, USA: MIT Press, 2015, pp. 1171–1179.
[14] H.  Khayrallah,  B.  Thompson,  M.  Post,  and  P. Koehn,  “Simulated  multiple  reference  training improves  low-resource  machine  translation,”  in Proceedings of the 2020 Conference on Empirical
Methods  in  Natural  Language  Processing (EMNLP) , Online: Association for Computational Linguistics, Nov. 2020, pp. 82–89. doi: 10.18653/v1/2020.emnlp-main.7.
[15] M. Hopkins and J. May, “Tuning as Ranking,” in Proceedings of the 2011 Conference on Empirical Methods  in  Natural  Language  Processing ,
Edinburgh,  Scotland,  UK.:  Association  for Computational  Linguistics,  Jul.  2011,  pp.  1352– 1362. [Online].
Available: https://aclanthology.org/D11-1125
[16] M. Zhong, P. Liu, Y. Chen, D. Wang, X. Qiu, and X.  Huang,  “Extractive  Summarization  as  Text Matching,”  in Proceedings  of  the  58th  Annual Meeting  of  the  Association  for  Computational Linguistics , Online: Association for Computational
Linguistics,  Jul.  2020,  pp.  6197–6208.  doi: 10.18653/v1/2020.acl-main.552.
[17] S. Edunov, M. Ott, M. Auli, D. Grangier, and M. Ranzato,  “Classical  Structured  Prediction  Losses for  Sequence  to  Sequence  Learning,”  in Proceedings of the 2018 Conference of the North American  Chapter  of  the  Association  for Computational  Linguistics:  Human  Language Technologies,  Volume  1  (Long  Papers) ,  New Orleans, Louisiana: Association for Computational Linguistics,  Jun.  2018,  pp.  355–364.  doi: 10.18653/v1/N18-1033.
[18] C.-Y.  Lin,  “ROUGE:  A  Package  for  Automatic Evaluation of Summaries,” in Text Summarization Branches  Out ,  Barcelona,  Spain:  Association  for Computational  Linguistics,  Jul.  2004,  pp.  74–81. [Online]. Available: https://aclanthology.org/W04- 1013
[19] A. Ng, “Splitting into train, dev and test sets,” 2022. https://cs230.stanford.edu/blog/split/ (accessed Jun. 14, 2023).
[20] D.  Rao  and  B.  McMahan, Natural  Language Processing  with  PyTorch:  Build  Intelligent Language  Applications  Using  Deep  Learning . O’Reilly  Media,  2019.  [Online].  Available: https://books.google.co.id/books?id=NsuEDwAA QBAJ
[21] N.  S.  Keskar,  J.  Nocedal,  P.  T.  P.  Tang,  D. Mudigere, and M. Smelyanskiy, “On Large-Batch Training  for  Deep  Learning:  Generalization  Gap and Sharp Minima,” 5th International Conference on  Learning  Representations,  ICLR  2017  - Conference  Track  Proceedings ,  Sep.  2016, Accessed:  Jun.  17,  2023.  [Online].  Available: https://arxiv.org/abs/1609.04836v2