## CONVOLUTIONAL NEURAL NETWORK (CNN) UNTUK MENENTUKAN GAGRAK WAYANG KULIT
Awanda Setya Sanfajar Pratama 1 , Aji Prasetya Wibawa 2 , Anik Nur Handayani 3
1 ,2,3 Universitas Negeri Malang Aji.prasetya.ft@um.ac.id

## ABSTRAK
Indonesia adalah negara yang kaya akan keragaman budaya, salah satu dari budaya Indonesia adalah Wayang Kulit. Wayang kulit di Indonesia memiliki beragam gagrak, mulai dari Cirebon, Solo, Jawa-Timuran, Yogyakarta dan lain sebagainya. Keberagaman dari gagrak wayang kulit membuat generasi muda kesulitan untuk mengetahui gagrak dari wayang kulit. Dari permasalahan tersebut, peneliti akan mengembangkan sebuah machine learning dengan  menggunakan Convolutional  Neural  Network (CNN)  untuk  menentukan  gagrak  wayang  kulit.  Tujuan penelitian  ini  adalah  mengetahui  apakah  CNN  dapat  digunakan  untuk  klasifikasi  gagrak  wayang  kulit  dan membandingkan  arsitektur  CNN  dari  tiga  penelitian  terdahulu  agar  dapat  diketahui  arsitektur  manakah  yang terbaik dari ketiga arsitektur tersebut. Data yang digunakan pada penelitian ini terdiri dari 280 gambar wayang kulit  yang  diunduh  satu  persatu  di platform Facebook  dan  Google  penelusuran  gambar,  warna  latar  belakang gambar tersebut diubah menjadi putih dan diubah ukuran menjadi 480*640 pixel. Data tersebut disebarkan melalui google  form  dan  dilakukan  validasi  menggunakan Inter-annotator  Agreement sehingga  dapat  digunakan  pada proses pelatihan dengan metode CNN di Google Colab. Setelah itu dilakukan pengujian untuk menentukan gagrak wayang  kulit  menggunakan  3  arsitektur  CNN  yaang  sudah  dibuktikan  pada  penelitian-penelitian  sebelumnya. Penelitian ini menunjukkan bahwa arsitektur terbaik dengan akurasi (92,27%), presisi (92,22%), recall (96,85%) dan f-measure (91,93%) adalah arsitektur ketiga.
Keyword : Wayang Kulit, Gagrak, Convolutional Neural Network, Image-annotator Agreement

## 1. PENDAHULUAN
Perkembangan teknologi membuat kemampuan pada komputer juga berkembang dalam melakukan berbagai hal. Salah satu dari perkembangan  teknologi  pada  komputer  yaitu pengenalan citra. Komputer dapat digunakan untuk mengambil  keputusan  dengan  mengenali  dan mengklasifikasikan  citra,  cabang  ilmu  ini  disebut dengan computer  vision [1]. Computer  vision menyelidiki  bagaimana  sebuah  mesin  dapat melakukan  pengidentifikasian  objek  yang  diamati [2] . Computer  vision memiliki  beberapa  jenis antaralain, object  detection,  face  recognition,  edge detection, image classification dan lain sebagainya. Pada image classification ada metode yang dikenal dengan  metode Convolutional  Neural  Network (CNN).
CNN  digunakan  pada image untuk  dilakukan pendeteksian, analisis gambar visual dan pengenalan objek  [3].  Metode  CNN  telah  banyak  dipakai  di berbagai bidang, contohnya pada bidang kesehatan, keamanan, pertanian, seni dan budaya. Pada bidang kesehatan  telah  diterapkan  pembuatan  sistem pendeteksi penggunaan masker [4]–[6]. Pada bidang keamanan telah diterapkan face recognition [7], [8] dan  pendeteksian  nomor  plat  kendaraan  [9],  [10]. Pada  bidang  pertanian  diterapkan  untuk  klasifikasi citra daun sawi [11], dan klasifikasi citra lahan dan perhitungan luas [12]. Pada bidang seni dan budaya telah  diterapkan  untuk  menentukan  watak  dari wayang  kulit  [2],  klasifikasi  batik[13],  [14], klasifikasi  citra  wayang  kulit  [15].  Namun  pada
bidang  seni  dan  budaya  belum  pernah  diterapkan CNN pada objek gagrak wayang kulit.
Gagrak adalah  ciri khas, pola  maupun  bentuk pada  Wayang  Kulit  dari  masing-masing  wilayah [16].  Gagrak  wayang  yang  beragam  ini  dihasilkan dari  kondisi  sosial,  budaya  dan  geografis  yang berbeda-beda di setiap wilayah [16]. Sebagian besar remaja  saat  ini  banyak  yang  belum  mengetahui gagrak  dari  masing-masing  wayang  kulit.  Alasan inilah  peneliti  mengimplementasikan  CNN  untuk mengklasifikasi gagrak wayang kulit. Penelitian ini dibuat  agar  meningkatkan  minat  generasi  muda terhadap  wayang  dan  dapat  mengetahui  jenis  dari wayang.  Gagrak  wayang  yang  digunakan  untuk penelitian  adalah  gagrak  wayang  Cirebon,  Solo, Yogyakarta  dan  Jawatimuran.  Alasan  penggunaan empat  gagrak  tersebut  karena  keempat  gagrak tersebut adalah gagrak wayang yang paling populer dan  terdapat  banyak  sumber  sehingga  dalam pengumpulan  dataset  dapat  lebih  mudah.  Harapan dari  hasil  penelitian  ini  dapat  digunakan  dan memberikan  sebuah  ide  untuk  klasifikasi  lain tentang Wayang Kulit.

## 2. TINJAUAN PUSTAKA
Penelitian  yang dijadikan bahan acuan adalah peneletian  yang  diterbitkan  dalam  kurun  waktu  5 tahun  terakhir.  Penelitian  yang  digunakan  sebagai acuan adalah sebagai berikut.
Pada  penelitian  yang  dilakukan  oleh  Ilahiyah
&  Nilogiri  pada  tahun  2018  dengan  judul: “Implementasi  Deep  Learning  Pada  Identifikasi
Jenis Tumbuhan Berdasarkan Citra Daun
Menggunakan  Convolutional  Neural  Network”, diperoleh  akurasi  sebesar  85%  dengan  arsitektur yang dipakai adalah arsitektur alexnet [17].
Pada penelitian yang dilakukan oleh Wisnudhanti  &  Candra  pada  tahun  2020  dengan judul:  “Metode  Convolutional  Neural  Network Dalam  Klasifikasi  Citra  Tiga  Tokoh  Wayang Pandawa”,  diperoleh  akurasi  sebesar  96,67% menggunakan  arsitektur  yang  telah  dirancang sedemikian rupa [18].
Pada  penelitian  selanjutnya  Sudiatmika  & Dewi  pada  tahun  2021  dengan  judul:  “Indonesian Shadow  Puppet  Recognition  Using  VGG-16  and Cosine  Similarity”,  diperoleh  akurasi  sebesar  89% dengan arsitetktur yang digunakan adalah arsitektur vgg-16[19].
Ketiga  penelitian  sebelumnya,  objek  yang digunakan  hanya  berfokus  ke  beberapa  tokoh. sedangkan dalam penelitian ini menggunakan objek asal daerah (gagrak) wayang pada beragam wayang kulit tanpa memperhatikan penokohannya.

## 3. METODE PENELITIAN
3.1. Pengumpulan Data
Gambar  berwarna  Wayang  Kulit  digunakan sebagai  data  analisis.  Gambar  wayang  kulit didapatkan  dari  mesin  pencari  gambar  Google  dan pencarian  di  grup-grup  wayang  tiap  wilayah  di Facebook  dengan  cara  mengunduh  satu  persatu dengan  format gambar Portable Network Graphics (PNG).  Total  gambar  yang  diunduh  adalah  280 dengan  Kategori  gagrak  Wayang  Kulit  yang dijadikan  data  adalah  gagrak  Cirebon,  Solo, Yogyakarta dan Jawa-timuran. Dalam pengumpulan data,  gambar  yang  dikumpulkan  tidak  ada  yang identik.
Gambar 1. Citra awal
Pada  tahap preprocessing data, background citra  diubah  menjadi  putih  dan  ukurannya  diubah menjadi 480x640.
Gambar 2. Citra hasil preprossesing
Tahap preprosessing selanjutnya  dilakukan pengacakan  dengan  nomor  1-280  yang  akan digunakan  untuk  validasi  melalui  media  google form.
Gambar 3. Citra hasil penomoran
3.2. Validasi Data Metode validasi
dilakukan dengan menggunakan metric  Inter-Annotator  Agreement (IAA). Inter  Annotator  Agreement adalah  suatu metric yang  digunakan  untuk  mengukur  seberapa baik  penilaian  dari annotator atau  pakar  terhadap suatu  kategori  sebagai  syarat  untuk  memastikan kebenaran anotasi [20]. Jumlah pakar yang menilai data penelitian ini ada 3 pakar, terdiri dari dua orang dalang  dan  satu  orang  pembuat  wayang.  Setiap pakar  akan  diberikan  angket  berupa  google  form untuk  memberikan  penilaian  atau  keputusan terhadap  setiap  gambar  di  dalam  dataset,  pakar diminta memberikan keputusan setiap gambar yang memiliki pilihan Cirebon, Jawatimuran, Yogyakarta dan Solo.
Gambar 4. Angket untuk validasi data
Bila  terdapat  jawaban  yang  tidak  menetukan gagrak  dari  wayang  kulit  karena  jawaban  yang berbeda-beda dari pakar, maka ditentukan lagi oleh satu  orang  pakar  lagi  agar  mendapatkan  jawaban gagrak  dari  wayang  kulit  tersebut.  Setiap  jawaban akan memiliki nilai “1” yang kemudian dimasukkan ke  dalam  kategori  pada  tiap  nomor,  nilai  ini digunakan untuk melakukan perhitungan validasi.
Perhitungan  dilakukan  menggunakan  Fleiss Kappa, hal ini disebabkan jumlah pakar ada 3 orang.
𝐾 = 𝑝 𝑎 −𝑝 𝑒 1−𝑝 𝑒 (1)
Keterangan:
K  = Koefisien Cohen Kappa Po  = Proporsi Kesepakatan teramati Pe  = Proporsi Kesepakata Harapan 1   = Konstanta Hasil
Data  penilaian  dari  pakar  disimpan  menjadi dokumen  excel,  data tersebut  yang  akan  dilakukan perhitungan  menggunakan  fleiss  kappa.  Setelah dilakukan perhitungan, hasil hitung akan menentukan  data  sudah  valid  dan  dapat  digunakan ataukah  masih  belum  dapat  digunakan.  Penentuan dilakukan  berdasarkan  tabel  koefisien  kappa. Koefisien kappa [21] diukur sebagai berikut:

## Tabel 1. Koefisien Kappa
Nilai K Keeratan Kesepakatan <0 Poor agreement 0.01-0.20 Slight agreement 0.21-0.40 Fair agreement 0.41-0.60 Moderate agreement
0.61-0.80 Substansial agreement
0.81-1.00 Almost perfect agreement

## 3.3. Pengujian Hasil
Pengujian  hasil  dilakukan  menggunakan metode k-fold  cross  validation . K-fold  cross validation adalah  salah  satu  teknik  dari cross validation dengan cara membagi menjadi K bagian data set yang akan diuji [22]. Tabel 2 menunjukkan nilai fold yang digunakan yaitu 2, 4, 7 dan 10.
Tabel 2. Skenario K-fold cross validation
Skenario  Nilai Fold 1 2 2 4 3 7 4 10
Tabel  3  menunjukkan  setting  parameter arsitektur  CNN  yang  digunakan  untuk  pengujian skenario.  Setting  parameter  didapatkan  dari penelitian  terdahulu  dengan  memiliki  parameter yang dibutuhkan pada penelitian ini.

## Tabel 3. Arsitektur CNN
No Peneliti Judul yang diteliti  Akurasi Detail
1 Ilahiyah & Nilogiri Implementasi Deep Learning Pada Identifikasi Jenis Tumbuhan Berdasarkan Citra Daun Menggunakan Convolutional Neural Network 85% 154,587 neuron , 5 convolution layer , 3 pooling layer ,
2 hidden layer . 2
Wisnudh anti & Candra
Metode
Convolutional Neural Network dalam klasifikasi citra tiga tokoh wayang pandawa 96,67 % 30.000 neuron , 3
convolution layer , 3 pooling layer ,
3 hidden layer
3 Sudiatmi ka & Dewi Indonesian Shadow Puppet Recognition Using VGG-16 and Cosine Similarity 89% 150.528 neuron , 13 convolution layer , 5 pooling layer , 2 hidden layer

## 3.4. Analisis Hasil
Analisis  hasil  klasifikasi  dilakukan  dengan menggunakan  pendekatan  matriks  konfusi  [23]. Matriks  Konfusi  merupakan  tabel  yang  digunakan untuk  menunjukkan keefektifan  hasil keluaran dari suatu  algoritma.  Misalnya,  gagrak  Wayang  Kulit yang  ditentukan  dengan  klasifikasi  citra,  yang membagi  Wayang  Kulit  menjadi  empat  kategori: gaya Cirebon, Jawa-timuran, Yogyakarta dan Solo.
Table 4. Matriks Konfusi
Prediksi Aktual Kelas Cirebon Jawa- timuran Yogyak arta Solo Cirebon TP FN FN FN Jawa- timuran FP TN FN FN Yogyakar ta FP FN TN FN Solo FP FN FN TN
Data  True  Positive  (TP)  adalah  data  yang diklasifikasikan  benar  dan  sebagai  kelas  positif. Data  True  Negative  (TN)  adalah  data  yang diklasifikasikan  benar  dan  sebagai  kelas  negatif. Data  False  Positive  (FP)  adalah  data  yang diklasifikasikan  positif  dan  itu  salah.  Data  False Negative  (FN)  adalah  data  yang  diklasifikasikan negatif  dan  itu  salah.  Matrik  Konfusi  digunakan untuk  melakukan  perhitungan accuracy,  precision, recall,  dan  F-measure .  rumus  perhitungannya sebagai berikut. Accuracy = (𝑇𝑃+𝑇𝑁) (𝑇𝑃+𝑇𝑁+𝐹𝑃+𝐹𝑁) 𝑥100% Precision = 𝑇𝑃 (𝑇𝑃+𝐹𝑃) 𝑥100% Recall = 𝑇𝑃 (𝑇𝑃+𝐹𝑁) 𝑥100% F-measure = 2𝑥(𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛𝑥𝑅𝑒𝑐𝑎𝑙𝑙) (𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑅𝑒𝑐𝑎𝑙𝑙) 𝑥100%

## 4. HASIL DAN PEMBAHASAN
Hasil  penyebaran  angket  didapatkan  dataset dengan 69 wayang Cirebon, 66 wayang Jawatimuran,  70  wayang  Solo  dan  75  wayang Yogyakarta.
Tabel  5  menunjukkan  hasil  perhitungan menggunakan metric  Inter-Annotator  Agreemen t (IAA) dengan perhitungan fleiss kappa pada angket yang  disebarkan  mendapatkan  nilai  0.625,  hal  ini menunjukkan  bahwa data termasuk dalam kategori substantial  dan  dapat  digunakan  sebagai  dataset sesuai dengan tabel koefisien kappa.
Tabel 5. Hasil arsitektur pertama
P a P e K ( 𝑝 𝑎 −𝑝 𝑒 1−𝑝 𝑒 )
0.719048  0.25015 0.625322
Tabel 6 menunjukkan hasil pengujian
menggunakan arsitektur pertama (A1), mendapatkan  rata-rata  akurasi  sebesar  79,87%, presisi sebesar 79,80%, recall sebesar 81,41% dan f- measure sebesar 79,08%.
Tabel 6. Hasil arsitektur pertama Fold Akurasi (%) Presisi (%) Recall (%) F- measure (%) 2 63,39 63,08 68,13 60,65 4 82,05 82,01 82,31 81,73 7 85,92 85,94 86,46 85,85 10 88,11 88,16 88,75 88,08 Rata- rata 79.87 79,80 81,41 79,08
Tabel 7 menunjukkan hasil pengujian menggunakan  arsitektur  kedua  (A2),  mendapatkan rata-rata  akurasi  sebesar  84,23%,  presisi  sebesar 84,03%, recall sebesar  85,13%  dan f-measure sebesar 83,71%.
Tabel 7. Hasil arsitektur kedua Fold Akurasi (%) Presisi (%) Recall (%) F- measure (%) 2 76,07 75,98 77,58 75,35 4 84,29 84,24 84,84 84,23 7 85,82 86,03 87,51 85,64 10 89,82 89,85 90,60 89,60 Rata- rata 84,23 84,03 85,13 83,71
Tabel 8 menunjukkan hasil pengujian menggunakan  arsitektur  ketiga  (A3),  mendapatkan rata-rata  akurasi  sebesar  92,27%,  presisi  sebesar 92,22%, recall sebesar  96,85%  dan f-measure sebesar 91,93%.
Tabel 8. Hasil arsitektur ketiga Fold Akurasi (%) Presisi (%) Recall (%) F- measure (%) 2 83,93 83,79 84,97 83,67 4 92,68 92,63 92,81 92,62 7 95,87 95,87 95,92 95,85 10 96,61 96,59 96,68 96,59 Rata- rata 92,27 92,22 96.85 91,93 Tabel 9 menunjukkan perbandingan keseluruhan  hasil  dari  tiga  arsitektur  yang digunakan.  Dapat  disimpulkan  bahwa  dari  3 arsitektur  tersebut  yang  memiliki  nilai  tertinggi adalah arsitektur ketiga dengan hasil  akurasi sebesar 92,27%,  presisi  sebesar  92,22%,  recall  sebesar 96,85% dan f-measure sebesar 91,93%, Sedangkan arsitektur  lainnya  mendapatkan  hasil  yang  kurang dari arsitektur ketiga.
Tabel 9. Perbandingan hasil tiga arsitektur
Ars. Akurasi (%) Presisi (%) Recall (%) F-measure (%) A1 79.87 79,80 81,41 79,08 A2 84,23 84,03 85,13 83,71 A3 92,27 92,22 96.85 91,93

## 5. KESIMPULAN DAN SARAN
Berdasarkan hasil penelitian dapat disimpulkan  bahwa  CNN  dapat  digunakan  untuk klasifikasi  pada  gagrak  wayang  kulit.  Arsitektur terbaik  menghasilkan  akurasi  sebesar  92,27%, presisi sebesar 92,22%, recall sebesar 96,85% dan f- measure sebesar  91,93%.  Penelitian  ini  masih menggunakan  arsitektur  cnn  pada  penelitian sebelumnya,  dengan  jumlah hidden  layer yang sudah  ditentukan.  Penelitian  selanjutnya  akan menggunakan teknik hyperparameter tuning antaralain, Particle  Swarm  Optimization (PSO) untuk menentukan parameter CNN termasuk hidden layer .

## DAFTAR PUSTAKA
[1] M.  F.  Naufal,  “Analisis  perbandingan algoritma svm, knn, dan cnn untuk klasifikasi citra  cuaca,” Jurnal  Teknologi  Informasi  dan Ilmu  Komputer ,  vol.  8,  no.  2,  pp.  311–318, Apr. 2021, doi: 10.25126/jtiik.202184553
[2] A.  P.  Wibawa,  W.  A.  Y.  Pratama,  A.  N. Handayani,  and  A.  Ghosh,  “Convolutional Neural  Network  (CNN)  to  determine  the character  of  wayang  kulit,” International Journal of Visual and Performing Arts , vol. 3, no. 1, pp. 1–8, Jun. 2021, doi:
10.31763/viperarts.v3i1.373.
[3] P. Adi Nugroho, I. Fenriana, and R. Arijanto, “Implementasi  deep  learning  menggunakan convolutional  neural  network  (  cnn  )  pada ekspresi  manusia,” JURNAL  ALGOR ,  vol.  2, no. 1, 2020, [Online]. Available: https://jurnal.buddhidharma.ac.id/index.php/al gor/index
[4] D.  Giancini,  E.  Yulia  Puspaningrum,  Y.  Vita Via, U. Pembangunan Nasional, and J. Timur, “Identifikasi Penggunaan Masker
Menggunakan  Algoritma  CNN  YOLOv3- Tiny,” Seminar  Nasional  Informatika  Bela Negara (SANTIKA) , vol. 1, 2020.
[5] T.  Septiana,  N.  P.  Putri,  M.  al  Fikih,  N. Setyawan,  U.  M.  Malang,  and  M.  Kontak, “Face mask
detection covid-19
using   convolutional  neural  network  (cnn),” Journal  of  Computer  and  Information Technology , 2020.
[6] M.  Abdillah et  al. ,  “Implementasi  Sistem Pendeteksi  Penggunaan  Masker  Berbasis Raspberry  Pi  4  Menggunakan  Metode
Convolution  Neural  Network  (CNN)  pada Proses Screening Protokol Kesehatan COVID- 19,” IJCCS , vol. 6, no. 1, pp. 1–5, 2022.
[7] A.  Zulkarnain,  R.  Wulanningrum,  and  R. Halilintar,  “Pengembangan  Sistem  Biometrik Pengenalan
Wajah Menggunakan Convolutional Neural Network (CNN),” 2022.
[8] M.  Arsal,  B.  Agus  Wardijono,  and  D. Anggraini,  “Face  Recognition  Untuk  Akses Pegawai  Bank  Menggunakan  Deep  Learning Dengan  Metode  CNN,” Jurnal  Nasional Teknologi dan Sistem Informasi , vol. 6, no. 1, pp. 55–63, Jun. 2020, doi: 10.25077/teknosi.v6i1.2020.55-63.
[9] N.  H.  Harani,  C.  Prianto,  and  M.  Hasanah, “Deteksi Objek Dan Pengenalan Karakter Plat Nomor  Kendaraan  Indonesia  Menggunakan Metode Convolutional Neural Network (CNN) Berbasis Python,” 2019.
[10] A.  Mesakh,  “Sistem  Pengenalan  Plat  Nomor Kendaraan  Menggunakan  Mask  RCNN  dan CNN,” Jurnal  Ilmu  Komputer  dan  Sistem Informasi ,  vol.  10,  no.  1,  2022,  doi: 10.1109/cvpr.2004.1315206.
[11] A.  Kurniadi,  Kusrini,  and  M.  F.  Sadikin, “Implementasi Convolutional Neural Network Untuk  Klasifikasi  Varietas  Pada  Citra  Daun Sawi  Menggunakan  Keras,” Journal  of Computer and Information Technology , vol. 4, no.  1,  pp.  25–33,  2020,  [Online].  Available: http://e- journal.unipma.ac.id/index.php/doubleclick
[12] R.  A.  Pangestu,  B.  Rahmat,  and  F.  T. Anggraeny,  “Implementasi  algoritma  cnn untuk  klasifikasi  citra  lahan  dan  perhitungan luas,” Jurnal Informatika dan Sistem
Informasi , vol. 1, no. 1, 2020.
[13] R. Mawan, “Klasifikasi motif batik menggunakan  convolutional  neural  network,” JNANALOKA , vol. 1, no. 1, pp. 45–50, 2020, doi: 10.36802/jnanaloka.2020.v1-no1-45-50.
[14] H.  Fonda,  Y.  Irawan,  and  A.  Febriani, “KLASIFIKASI  BATIK  RIAU  DENGAN MENGGUNAKAN CONVOLUTIONAL NEURAL NETWORKS (CNN),” Jurnal Ilmu Komputer ,  vol.  9,  no.  1,  pp.  7–10,  2020,
[Online]. Available: http://jik.htp.ac.id
[15] D. P. Prabowo, D. I. I. Ullumudin, and R.  A. Pramunendar, “PROTOTIPE APLIKASI
PENGENALAN WAYANG KULIT MENGGUNAKAN CNN
BERBASIS
VGG16,” JURNAL INFORMATIKA UPGRIS , vol. 7, no. 2, 2021.
[16] I. N. Syahida, P. Ramadhan, and D. Pratama, “PROPORSI  DAN  STRUKTUR  TOKOH KSATRIA PADA WAYANG KULIT PURWA  GAYA  SURAKARTA,” Jurnal Kreasi Seni dan Budaya , vol. 2, no. 01, pp. 20– 26, 2019.
[17] S.  Ilahiyah  and  A.  Nilogiri,  “Implementasi Deep  Learning  Pada  Identifikasi  Jenis
Tumbuhan Berdasarkan Citra Daun Menggunakan Convolutional Neural Network,” Jurnal  Sistem  &  Teknologi
Informasi Indonesia , vol. 3, no. 2, 2018.
[18] K.  Wisnudhanti  and  F.  Candra,  “METODE CONVOLUTIONAL  NEURAL  NETWORK DALAM KLASIFIKASI CITRA TIGA TOKOH  WAYANG  PANDAWA,” JOM FTEKNIK , vol. 7, no. 2, 2020.
[19] I.  B.  K.  Sudiatmia  and  I.  G.  A.  A.  S.  Dewi, “Indonesian  Shadow  Puppet  Recognition Using  VGG-16  and  Cosine  Similarity,” International  Journal  of  Informatics  and Computer  Science) ,  vol.  5,  no.  1,  2021,  doi: 10.30865/ijics.v5i1.2579.
[20] R.  Artstein,  “Inter-annotator  agreement,”  in Handbook  of  Linguistic  Annotation ,  Springer Netherlands, 2017, pp. 297–313. doi: 10.1007/978-94-024-0881-2.
[21] J.  R.  Landis  and  G.  G.  Koch,  “The Measurement  of  Observer  Agreement  for Categorical Data,” Biometrics ,  vol.  33,  no.  1, pp. 159–174, 1977.
[22] H. Azis, P. Purnawansyah, F. Fattah, and I. P. Putri, “Performa  Klasifikasi  K-NN dan Cross Validation  Pada  Data  Pasien  Pengidap Penyakit Jantung,” ILKOM Jurnal Ilmiah , vol. 12,  no.  2,  pp.  81–86,  Aug.  2020,  doi: 10.33096/ilkom.v12i2.507.81-86.
[23] A. P. Wibawa, H. K. Fithri, I. A. E. Zaeni, and A. Nafalski, “Generating Javanese Stopwords List  using  K-means  Clustering  Algorithm,” Knowledge  Engineering  and  Data  Science , vol.  3,  no.  2,  p.  106,  Dec.  2020,  doi: 10.17977/um018v3i22020p106-111.