Implementasi Active Learning Pada Klasifikasi Emosi Tweet Berbahasa Indonesia
Ragajiwa Asa #1 , Rochana Prih Hastuti #2
# Departemen Teknik Elektro dan Informatika, Sekolah Vokasi, Universitas Gadjah Mada Bulaksumur, Yogyakarta, Indonesia 55281
1 ragajiwa.asa@mail.ugm.ac.id
2 rochana.prih.h@ugm.ac.id
Abstrak—  Terbatasnya  dataset  klasifikasi  emosi  tweet berbahasa  Indonesia  membuat  metode  active  learning menjadi  pilihan  untuk  dapat  meningkatkan  akurasi  model supaya  dapat  reliable  ketika  memprediksi  data  baru. Penelitian ini menjelaskan bagaimana dampak implementasi metode active learning ke dalam aplikasi dengan memanfaatkan  data  tak  berlabel  yang  dihasilkan  oleh aplikasi.  Active  learning  pada  penelitian  ini  menggunakan skenario  stream-based  selective  sampling  dan  memilih  data dengan least confidence uncertainty sampling. Pada penelitian ini  dilakukan  pengujian  membandingkan  performa  active learning  dengan  pemilihan  data  secara  acak  pada penambahan  data  20,  10,  dan  50  di  setiap  iterasi.  Menurut hasil  yang  didapat,  model  dengan  active  learning  memiliki akurasi  yang  lebih  baik  dibandingkan  dengan  model  acak. Model  active  learning  dapat  meningkatkan  akurasi  model 0,23% hingga 1,09% dari akurasi model dasar pada 66,85%.
Kata kunci — Active learning, Stream-based sampling, Least confidence, Uncertainty sampling, Klasifikasi emosi

## I. P ENDAHULUAN
Twitter merupakan sebuah media sosial dengan konsep microblog yang  memungkinkan  penggunanya  menulis tweet ,  yaitu  pesan  singkat  berbentuk  teks  dengan  jumlah maksimal 280 karakter. Twitter digunakan sebagai sarana penyampaian  opini  terhadap  berbagai  macam  hal. Berdasarkan  data  yang  dihimpun  oleh  Kepios,  pengguna Twitter  di  Indonesia  mencapai  21,2  juta  pada  Juli  2022. Faktor  tersebut  menyebabkan  semakin  banyak  data tweet berbahasa Indonesia yang dihasilkan. Dengan menggunakan  data tweet ,  pendekatan data-driven dan pengambilan  keputusan  dapat  dilakukan  melalui  analisis dan  interpretasi  data.  Banyak  data  Twitter  telah  terbukti menjadi  sumber  informasi  langsung  dan  berguna  untuk berbagai  analisis  penting  [1].  Data  Twitter  tersebut  dapat digunakan untuk memperoleh pemahaman tentang respon netizen terhadap topik yang sedang diperbincangkan.
Klasifikasi  emosi  dapat  digunakan  untuk  memperoleh pemahaman  mengenai  respon  netizen.  Untuk  dapat membuat  klasifikasi  emosi  tersebut  maka  diperlukan dataset tweet berbahasa  Indonesia. Dataset klasifikasi emosi tweet berbahasa  Indonesia  yang  tersedia  saat  ini
terakhir  diperbarui  pada  tahun  2020  [2].  Terbatasnya dataset klasifikasi emosi tweet  berbahasa Indonesia dapat membuat reliabilitas model klasifikasi menurun. Reliabilitas di sini merujuk pada kemampuan model untuk secara  konsisten  menghasilkan  akurasi  yang  tinggi  pada data tweet yang  belum  pernah  dilihat  sebelumnya.  Salah satu  kendala  yang  sering  terjadi  dalam machine  learning adalah keterbatasan data atau rendahnya kualitas data yang tersedia untuk digunakan dalam pelatihan model.
Metode active  learning dapat  digunakan  untuk meningkatkan akurasi dan mengatasi keterbatasan dataset dengan  memilih  data  yang  dibutuhkan  dalam  melatih model  [3]. Active  learning memiliki  scenario  yang  dapat memanfaatkan  data  tak  berlabel  untuk  ditambahkan  ke dalam dataset sebelum digunakan untuk membuat model. Stream-based sampling active learning dapat memilih data yang  dibutuhkan  dari  aliran  data  untuk  ditambahkan  ke dalam  dataset  dengan  tujuan  meningkatkan  akurasi.  Pada penelitian ini dibuat sebuah sistem active learning ke dalam sebuah aplikasi dasbor analisis Twitter yang memiliki fitur klasifikasi  emosi  pada  data tweet yang  diambil  langsung dari  Twitter.  Data  yang  diambil  oleh  aplikasi  ini  adalah tweet dari  120  akun  Twitter  pilihan  dengan  kriteria berbahasa  Indonesia  dan  memiliki  pengikut  lebih  dari 5.000 pengguna. Sistem ini dibuat untuk melihat pengaruh metode active learning dalam meningkatkan akurasi model dengan  cara  memilih  data  untuk  ditambahkan  ke  dalam dataset.

## II. T INJAUAN P USTAKA

## A. Klasifikasi Emosi
Beberapa penelitian telah dilakukan mengenai klasifikasi emosi pada teks dalam bahasa Indonesia. Salah satu  penelitian  yang  dilakukan  dalam  [4]  membahas klasifikasi  emosi  terhadap  tweet  yang  membicarakan tentang  Presiden  Joko  Widodo.  Selain  itu,  penelitian  lain yang dilakukan dalam [5] juga melakukan klasifikasi emosi terhadap  data  tweet  dengan  geolokasi  Indonesia  yang diambil dari penelitian dalam [6]. Dataset yang dihasilkan dalam  [6]  dikembangkan  dan  dipublikasikan  oleh  [2]  ke
dalam  sebuah  kumpulan  data  dan  model  dengan  nama IndoNLU.
Dalam melakukan klasifikasi emosi pada teks berbahasa Indonesia, diperlukan ekstraksi fitur agar dapat digunakan dalam pembuatan model. Dalam penelitian yang dilakukan dalam [4] dan [5], metode ekstraksi fitur yang digunakan adalah term  frequency-inverse  document  frequency (TF- IDF).  Referensi  [7]  melakukan  perbandingan  antara ekstraksi fitur menggunakan TF-IDF dengan N-Gram, dan hasilnya  menunjukkan  bahwa  penggunaan  TF-IDF menghasilkan  peningkatan  akurasi  model  sebesar  3,6%. Penelitian  lain  yang  dilakukan  dalam  [8]  juga membuktikan  bahwa  metode  TF-IDF  lebih  unggul daripada  Bag-of-Words  (BoW)  dan  N-Gram  dengan peningkatan akurasi sebesar 2%.
Klasifikasi emosi dapat dilakukan dengan menggunakan berbagai  algoritma  machine  learning.  Dalam  penelitian yang  dilakukan  dalam  [4],  algoritma  Support  Vector Machines  (SVM)  dan  K-Nearest  Neighbor  (KNN)  diuji untuk  klasifikasi  emosi  pada  tweet  berbahasa  Indonesia. Hasil  penelitian  tersebut  menyimpulkan  bahwa  model dengan SVM mencapai akurasi sebesar 95,2%, yang lebih tinggi 8% dibandingkan dengan akurasi model KNN. Pada penelitian  dalam  [5],  algoritma  Logistic  Regression  (LR) dan  KNN  digunakan  untuk  klasifikasi  emosi.  Hasil penelitian  tersebut  menunjukkan  bahwa  penggunaan  LR memiliki  akurasi  10%  lebih  tinggi  dibandingkan  dengan KNN.  Selain  itu,  penelitian  yang  dilakukan  dalam  [8] membandingkan  akurasi  penggunaan  beberapa  algoritma klasifikasi,  dengan  hasil  KNN  sebesar  84%,  Random Forest (RF) sebesar 92%, Naïve Bayes (NB) sebesar 65%, LR  sebesar  94%,  dan  SVM  sebagai  yang  paling  tinggi dengan akurasi 95%.

## B. Active Learning
Active  learning merupakan  metode  pengembangan model  yang melibatkan partisipasi manusia  dan mengandalkan  data  untuk  mencapai  hasil  model  yang optimal [9]. Active learning digunakan saat biaya pelabelan data  terlalu  tinggi  dan  hanya  manusia  yang  dapat melakukannya dengan baik, seperti dalam penafsiran teks. Penelitian  yang  dilakukan  dalam  [10]  membandingkan akurasi  model  klasifikasi  teks  yang  menggunakan active learning dengan yang tidak menggunakan. Hasil penelitian menunjukkan bahwa model dengan metode active learning mampu mencapai akurasi 99% hanya dengan menggunakan  17-31%  dari  total  data,  sementara  model biasa membutuhkan 86-100% data untuk mencapai akurasi yang sama. Selain itu, penelitian yang dilakukan dalam [11] juga  menunjukkan  bahwa  menggunakan active  learning menghasilkan  akurasi  sebesar  67%,  yang  merupakan peningkatan  sebesar  7%  dibandingkan  dengan  tidak menggunakan  active  learning  saat  menggunakan  semua data yang tersedia.
Dalam  penelitian  [9],  dijelaskan  bahwa  terdapat  tiga metode  yang  dapat  digunakan  untuk  memilih  data  dalam proses active  learning .  Metode  tersebut  adalah random sampling atau  data  dipilih  secara  acak, uncertainty sampling atau data yang dianggap tidak meyakinkan dipilih oleh model, dan diversity sampling atau data yang paling unik  yang  dipilih.  Hasil  penelitian  yang  dilakukan  dalam [12]  menunjukkan  bahwa  metode uncertainty  sampling memberikan hasil yang paling baik dalam klasifikasi emosi dibandingkan  dengan  metode  lainnya.  Penelitian  yang dilakukan  dalam  [11]  juga  membuktikan  bahwa penggunaan uncertainty sampling dengan parameter least confidence menghasilkan akurasi model yang lebih tinggi dibandingkan dengan random sampling . Pada penelitian ini, dibuat sistem active learning untuk model klasifikasi emosi dengan SVM dan TF-IDF sebagai ekstraksi fitur. Metode yang digunakan adalah uncertainty sampling dengan parameter least confidence . Dataset yang digunakan adalah dataset dalam [2] yang sebelumnya telah diuji dalam [6] menggunakan SVM dan Bag-of-Words dan mendapatkan  akurasi  57,88%.  Penelitian  ini  dilakukan untuk menguji pengaruh penggunaan active learning dalam menambahkan data untuk pelatihan model.

## III. M ETODOLOGI P ENELITIAN

## A. Bahan
Bahan  pertama  yang  digunakan  dalam  penelitian  ini adalah dataset klasifikasi emosi tweet berbahasa Indonesia yang  dipublikasikan  dalam  [2]. Dataset ini  berisi tweet berbahasa  Indonesia  lengkap  dengan  label  emosinya dengan jumlah 4.401 data. Terdapat lima label emosi dalam dataset  ini,  yaitu happy , sadness , fear , love ,  dan anger . Dataset  milik  IndoNLP  ini  diakses  melalui  GitHub IndoNLU  dan  digunakan  sebagai  data  awal  dalam membuat model klasifikasi.
Bahan  yang  kedua  adalah  data tweet berbahasa Indonesia hasil pengambilan Dasbor Analisis Twitter pada 151  akun pilihan  di  Twitter hasil  dari  survei  yang  diikuti oleh  24  responden.  Akun  Twitter  yang  dipilih  harus memenuhi  syarat  menuliskan  tweet  dalam  bahasa Indonesia  dan  memiliki  jumlah  pengikut  lebih  dari  5.000 akun.  Data  ini  diambil  langsung  dari  basis  data  Dasbor Analisis  Twitter.  Data  tweet  ini  akan  digunakan  dalam proses active learning karena belum memiliki label emosi di dalamnya.

## B. Alur Sistem Stream-Based Active Learning
Sistem  ini  mengadopsi  metode stream-based  sampling yang  menggunakan  data  tanpa  label  dari  aplikasi.  Tahap awal  sistem  melibatkan  klasifikasi  emosi  menggunakan data tweet tanpa  label  untuk  mendapatkan  label  dan probabilitas prediksi model. Metode uncertainty sampling least  confidence digunakan  untuk  memilih  data  dengan memanfaatkan  probabilitas  dan  menghitung uncertainty score . Data yang terpilih kemudian dimasukkan ke dalam tabel 'oracle_data' agar bisa diberi label oleh oracle . Data
yang sudah diberi label oleh oracle akan ditambahkan ke dalam dataset sebelum  melakukan  pelatihan  model klasifikasi  yang  baru.  Setelah  itu,  model  baru  akan  diuji untuk menentukan tingkat akurasinya. Jika akurasi model baru lebih tinggi dibandingkan dengan model yang sedang digunakan,  model  baru  akan  menggantikan  model  yang lama dalam sistem. Namun, jika akurasi model baru lebih rendah, proses akan terus berlanjut tanpa mengganti model yang  sedang  digunakan.  Proses  ini  dilakukan  secara berkelanjutan  hingga  model  yang  digunakan  mencapai tingkat akurasi yang diinginkan oleh oracle .
Gambar. 1 Diagram alir active learning

## C. Uncertainty Sampling Least Confidence
Sistem  memilih  data  yang  akan  digunakan  sebagai dataset dengan  metode uncertainty  sampling  least confidence . Proses ini diawali dengan melakukan prediksi pada  data  yang  tidak  berlabel  dengan  menggunakan probability  score .  Kemudian probability  score tertinggi pada  setiap  data  akan  digunakan  untuk  menghitung uncertainty score . Perhitungan diawali dengan mengurangi angka  1  dengan probability  score tersebut.  Hasil  yang didapat kemudian dikalikan dengan jumlah label yang ada. Lalu hasil perhitungan tersebut dibagi dengan jumlah label dikurangi 1. Apabila uncertainty score yang didapat lebih dari  0,5,  maka  data  akan  dimasukkan  ke  dalam  tabel ‘oracle_data’.

## D. Pengujian Sistem Active Learning
Pengujian  dilakukan  untuk  mengetahui  dampak penambahan  data  pada  dataset  dengan  menggunakan metode active  learning terhadap  nilai  akurasi  model klasifikasi.  Pengujian  yang  dilakukan  mengacu  pada penelitian yang dilakukan dalam [10] dan [11].
Model  klasifikasi  yang  akan  diuji  pada  penelitian  ini dibuat menggunakan algoritma SVM dengan kernel linier. Sebelum digunakan untuk membuat model, dataset dibagi
terlebih  dahulu  menjadi  data train dan  data test dengan perbandingan 75% untuk data train dan 25% untuk data test . Proses  pembagian  data  menggunakan  ‘random_state’ dengan  angka  322.  Langkah  awal  pengujian  adalah membuat  model  dasar  menggunakan dataset yang dikumpulkan  dalam  [2].  Pada  pengujian  ini,  dataset tersebut akan dibuat menjadi model klasifikasi menggunakan  algoritma  SVM  dan  TF-IDF  sebagai ekstraksi  fitur.  Kemudian dataset tersebut  ditambahkan dengan  data  baru  yang  dipilih  menggunakan  metode stream-based  active  learning .  Data  yang  akan  digunakan sebagai pembanding diambil secara acak dari aplikasi, lalu diberi label. Data tersebut kemudian ditambahkan ke dalam dataset .
Pengujian  dilakukan  sebanyak  tiga  kali  dengan perbedaan  jumlah  data  yang  ditambahkan  pada  setiap iterasi.  Data  yang  digunakan  tetap  sama  pada  setiap pengujiannya  agar  dapat  dibandingkan  performanya. Pengujian  pertama  dilakukan  dengan  menambahkan  20 data pada setiap iterasi. Pengujian kedua dilakukan dengan menambahkan  10  data  dan  pengujian  ketiga  dengan menambahkan  50  data  pada  setiap  iterasinya.  Pemilihan jumlah data pada setiap iterasi ini sekaligus bertujuan untuk menguji  teori  tentang active  learning yang  dapat memperoleh performa yang baik hanya dengan sedikit data yang digunakan.

## IV. E KSPERIMEN DAN H ASIL
Pengujian active  learning pertama  dilakukan  oleh  satu orang oracle dengan  menggunakan  sistem  yang  telah diimplementasikan pada Dasbor Analisis Twitter.

## Gambar. 2 Tampilan sistem active learning
Setiap  data  baru  yang  diambil  oleh  aplikasi  akan ditampilkan pada sistem secara satu-persatu beserta dengan label hasil prediksi model untuk dapat dinilai oleh oracle seperti  yang  ditunjukkan  dalam  Gambar  2. Oracle akan menilai apakah data tweet tersebut layak untuk dimasukkan ke dalam dataset atau tidak, jika tidak layak, oracle dapat menekan tombol ‘Skip’ untuk melewati data tersebut dan menampilkan data yang baru. Apabila oracle menilai data tweet tersebut layak, oracle akan menilai apakah label hasil prediksi  telah  sesuai  atau  belum. Oracle dapat  menekan tombol  ‘Ya’  untuk  memasukkan  data  tersebut  ke  dalam
dataset jika label telah sesuai. Apabila label belum sesuai, oracle dapat memilih label emosi yang tepat menggunakan tombol pilihan emosi. Setelah data baru mencapai jumlah minimal yang ditentukan, tombol ‘Submit’ akan aktif dan jika  ditekan,  sistem  akan  membuat  model  baru  dan  hasil akurasinya  akan  ditampilkan  pada  tabel  histori  di  bagian bawah.
Active  learning dapat  digunakan  untuk  mengurangi sumber daya yang dibutuhkan dalam menambahkan data ke dalam dataset .  Dilakukan  10  kali  percobaan  dalam menambahkan  data  baru  ke  dalam dataset .  Dari  kurang lebih  1000  data  tweet  yang  digunakan  dalam  penilaian, jumlah  data  baru  yang  ditambahkan  ke  dalam dataset adalah 200 tweet untuk menguji teori active learning yang dapat meningkatkan performa hanya dengan menambahkan sedikit data yang paling berpengaruh. Untuk pengujian passive learning , diambil 200 tweet yang telah dilabeli secara acak dari basis data.
Pengujian active  learning kedua  dan  ketiga  tidak dilakukan  dengan  menggunakan  sistem active  learning yang telah dibuat, tetapi dilakukan secara terpisah dengan menggunakan  data  yang  dikumpulkan  pada  pengujian pertama.  Hasil  dari  ketiga  pengujian  dapat  dilihat  pada tabel berikut.
TABEL I H ASIL P ENGUJIAN P ERTAMA Iterasi Jumlah Data AL Acak 1 4421 65.28% 64.65% 2 4441 66.07% 65.80% 3 4461 64.96% 64.87% 4 4481 67.08% 65.66% 5 4501 66.16% 65.54% 6 4521 66.40% 64.81% 7 4541 66.02% 65.49% 8 4561 64.42% 63.80% 9 4581 66.14% 66.06% 10 4601 64.21% 63.08% Akurasi Tertinggi 67.08% 66.06%
Gambar. 3 Grafik hasil pengujian pertama
Pada  pengujian  pertama,  didapatkan  hasil  akurasi tertinggi 67,08% untuk model yang dibuat dengan sistem active  learning dan  66,06%  untuk  model  yang  dibuat
dengan  memilih  data  baru  secara  acak.  Hasil  tersebut membuktikan  model  yang  dibuat  dengan active  learning dapat  memperoleh  akurasi  yang  lebih  tinggi  0,23% dibandingkan  dengan  akurasi  dari  model  dasar  yang sebesar  66,85%.  Hasil  akurasi  model  baik  dengan active learning atau  acak,  sebagian  besar  memiliki  nilai  akurasi yang  lebih  rendah  dibandingkan  akurasi  model  dasar karena  model  perlu  melakukan  penyesuaian  dengan  data baru.  Secara  keseluruhan,  model  dengan active  learning memiliki  nilai  akurasi  yang  lebih  tinggi  pada  setiap iterasinya dibandingkan dengan model acak.
Terlihat bahwa model active learning memiliki akurasi lebih  tinggi  dalam  setiap  iterasi.  Ketika  data  berjumlah 4.481 model active learning mendapatkan akurasi tertinggi, sedangkan model acak mendapatkan hasil tertinggi ketika data  berjumlah  4.581  dengan  66,06%.  Model active learning memiliki  nilai  akurasi  lebih  tinggi  1,02% dibandingkan dengan model acak.
TABEL II H ASIL P ENGUJIAN K EDUA Iterasi Jumlah Data AL Acak 1 4411 63.92% 63.74% 2 4421 65.28% 64.65% 3 4431 66.61% 65.97% 4 4441 66.07% 65.80% 5 4451 66.76% 66.94% 6 4461 64.96% 64.87% 7 4471 66.01% 66.28% 8 4481 67.08% 65.66% 9 4491 65.09% 65.36% 10 4501 66.16% 65.54% 11 4511 65.87% 65.07% 12 4521 66.40% 64.81% 13 4531 66.55% 65.93% 14 4541 66.02% 65.49% 15 4551 65.82% 65.29% 16 4561 64.42% 63.80% 17 4571 67.37% 66.58% 18 4581 66.14% 66.06% 19 4591 67.94% 67.51% 20 4601 64.21% 63.08% Akurasi Tertinggi 67.94% 67.51%
Pada  pengujian  kedua,  model active  learning tetap memiliki  hasil  akurasi  yang  lebih  tinggi  dibandingkan dengan model acak. Dengan penambahan 10 data baru pada setiap  iterasi,  model active  learning dapat  memperoleh akurasi tertinggi pada 67,94% dan model acak pada 67,51%. Kedua  hasil  tersebut  telah  melebihi  akurasi  dasar  pada 66,85%  dan  dapat  menjadi  bukti  bahwa  dengan menambahkan  data  baru  pada  dataset  memungkinkan untuk  dapat  meningkatkan  akurasi  dari  model.  Pada pengujian  ini,  model active  learning dapat  meningkatkan akurasi  sebesar  1,09%  Secara  keseluruhan,  model active learning tetap  memiliki  hasil  akurasi  yang  lebih  tinggi dibandingkan dengan model acak.
TABEL IIII H ASIL P ENGUJIAN K ETIGA Iterasi Jumlah Data AL Acak 1 4451 66.76% 66.94% 2 4501 66.16% 65.54% 3 4551 65.82% 65.29% 4 4601 64.21% 63.08% Akurasi Tertinggi 66.76% 66.94%

## Gambar. 5 Grafik hasil pengujian ketiga
Pengujian  ketiga  memiliki  hasil  yang  sedikit  berbeda dengan  kedua  pengujian  sebelumnya.  Pada  pengujian  ini, model  acak  memiliki  hasil  akurasi  yang  paling  tinggi dengan  66,94%,  lebih  tinggi  0,09%  dari  akurasi  model dasar.  Namun,  secara  keseluruhan  model active  learning tetap memiliki nilai akurasi yang lebih tinggi dibandingkan dengan model acak.

## V. K ESIMPULAN
Berdasarkan  penelitian  yang  dilakukan,  sistem active learning memiliki  hasil  performa  yang  lebih  baik dibandingkan  dengan passive  learning .  Penambahan
dataset dengan menggunakan metode active learning dapat meningkatkan  akurasi  model  klasifikasi  emosi dataset IndoNLU sebesar 0,23% hingga 1,09% setelah menambahkan 200 data baru dengan penambahan 20 dan 10 data pada tiap iterasinya. Selain itu, implementasi sistem active  learning ke  dalam  aplikasi  dapat  memudahkan proses  peningkatan  performa  model  klasifikasi  dalam aplikasi  karena  sistem  telah  terintegrasi  langsung  dengan basis data aplikasi.

## R EFERENSI
[1] Ghani,  N.  A.,  Hamid,  S.,  Hashem,  I.  A.,  &  Ahmed,  E.  (2019). Social  media  big  data  analytics:  A  survey .  Computer  in  Human Behaviour .
[2] Wilie, B., Vincentio, K., Winata, G. I., Cahyawijaya, S., Li, X., Lim, Z.  Y.,  .  .  .  Purwarianti,  A.  (2020).  IndoNLU:  Benchmark  and Resources  for  Evaluating  Indonesian  Natural  Language Understanding. Proceedings  of  the  1st  Conference  of  the  Asia- Pacific  Chapter of  the  Association  for  Computational  Linguistics and the 10th International Joint Conference on Natural Language Processing , 843-857.
[3] Settles, B. (2012). Active Learning. Morgan & Claypool Publishers.
[4] Rahman,  F.  (2018). Klasifikasi  Emosi  untuk  Teks  Berbahasa Indonesia  pada  Pengguna  Twitter  Mengenai  Presiden  Joko Widodo .  Undergraduate  Thesis,  Institut  Teknologi  Sepuluh
November. https://repository.its.ac.id/57716/ [5] Negara,  A.  B.,  Muhardi,  H.,  &  Sajid,  F.  (2021).  Perbandingan Algoritma Klasifikasi terhadap Emosi Tweet Berbahasa Indonesia.
JEPIN  (Jurnal  Edukasi  dan  Penelitian  Informatika) ,  242-249. doi:http://dx.doi.org/10.26418/jp.v7i2.48198
[6] Saputri,  M.  S.,  Mahendra,  R.,  &  Andriani,  M.  (2018).  Emotion Classification  on  Indonesian  Twitter  Dataset. 2018  International Conference on Asian Language Processing (IALP) , 90-95.
[7] Handayani,  R.  D.,  Kusrini,  &  Fatta,  H.  A.  (2020).  Perbandingan Fitur Ekstraksi Untuk Klasifikasi Emosi Pada Sosial Media. Jurnal Ilmiah Sinus (JIS) Vol: 18, No. 2 , 21-30. doi:https://doi.org/10.30646/sinus.v18i2.457
[8] Putra, O. V., Wasmanson, F. M., & Harmini, T. (2020). Sundanese
Twitter  Dataset  for  Emotion  Classification .  2020  International Conference  on  Computer  Engineering,  Network  and  Intelligent Multimedia (CENIM 2020), 391-395.
[9] Mosqueira-Rey, E., Hernández-Pereira, E., Alonso-Ríos, D., Bobes Bascarán,  J.,  &  Fernández  Leal,  Á.  (2022).  Human-in-the-loop machine learning: a state of the art. Artificial Intelligence Review . doi:https://doi.org/10.1007/s10462-022-10246-w
[10] Al-Tamimi,  A.-K.,  Bani-Isaa,  E.,  & Al-Alami,  A.  (2021).  Active Learning  for  Arabic  Text  Classification. 2021  International Conference  on  Computational  Intelligence  and  Knowledge Economy (ICCIKE ), 123-126. doi:10.1109/ICCIKE51210.2021.9410758
[11] Yu,  Z.  (2022).  Discerning  Art  Works  through  Active  Machine Learning. 2022 3rd International Conference on Computer Vision, Image  and  Deep  Learning  &  International  Conference  on Computer Engineering and Applications (CVIDL & ICCEA), 1002- 1006.
[12] Dou,  R.,  Shun,  N.,  Ren,  F.,  &  Kang,  X.  (2019 ).  Exploring
Uncertain  Samples  through  Active  Learning  To  Enhance  Text Emotion  Classification.  2019  IEEE  6th  International  Conference on Cloud Computing and Intelligence Systems (CCIS), 26-30.