## Klasifikasi Emosi Berbasis Emolex dari Komentar Evaluasi Akademik Mahasiswa
Emolex-Based Classification of Emotions from Academic Evaluation Comments
Amir Hamzah 1 , Renna Yanwastika Ariyana 2 1,2 Jurusan Informatika, Universitas AKPRIND Indonesia E-mail: 1 amir@akprind.ac.id , renna@akprind.ac.id

## Abstrak
Upaya melakukan analisis emosi pada teks komentar mahasiswa dalam evaluasi pembelajaran sangat  penting  dilakukan.  Komentar  dalam  kuesener  umumnya  tidak  diolah,  padahal    data tersebut  mengandung  informasi  dalam  mengungkap  emosi  mahasiswa  dalam  proses pembelajaran.  Untuk itu deteksi dan klasifikasi emosi pada opini mahasiswa  dapat memperbaiki hasil kuesioner. Penelitian ini bertujuan menerapkan metode klasifikasi emosi pada teks komentar mahasiswa berbasis pada leksikon emosi  dari NRC Emolex.  Jenis emosi yang akan dideteksi adalah 8 jenis emosi, yaitu marah (Anger) , antisipasi (anticipation) , jijik (disgust) , takut (fear) , bahagia (joy) , sedih (sadness), terkejut (surprise) dan yakin (trust) . Data diambil dari komentar dan saran mahasiswa pada kuesioner pada Universitas  AKPRIND Indonesia tahun 2020-2022 sebanyak 4000 data yang telah dilabeli secara manual.   Tujuan lain dari studi ini adalah melihat sejauh mana efektivitas leksikon emosi Emolex untuk klasifikasi emosi teks kuesioner akademis. Hasil  penelitian  menunjukkan  rata-rata  akurasi  sebesar  56,2%.  Dari  yang  diketahui  label emosinya 3 prosentase tertinggi ada pada label Sadness (19,2%), Joy (16,7%) dan Fear (13,5%) yang  masing-masing  memiliki  akurasi  72%,  68%  dan  68%.  Dari  penelitian  terungkap  bahwa kinerja  Emolex  untuk  klasifikasi  emosi  masih  kurang  memuaskan  dan  memerlukan pengembangan leksikon lebih jauh lagi.
Kata kunci: leksikon, klasifikasi emosi, Emolex

## Abstract
Efforts to conduct emotional analysis on student comment texts in learning evaluation are very important.  Comments  in  questionnaires  are  generally  not  processed,  even  though  the  data contains information in revealing students' emotions in the learning process.  For this reason, the detection  and  classification  of  emotions  in  student  opinions  can  improve  the  results  of questionnaires. This study aims to apply the emotion classification method to student comment texts based on the emotion lexicon from NRC Emolex.  The types of emotions to be detected are 8 types of emotions, namely anger, anticipation, disgust, fear, joy,  sadness, surprise  and trust . The  data  was  taken  from  student  comments  and  suggestions  on  questionnaires  at  AKPRIND Indonesia  University  for  2020-2022  as  many  as  4000  data  that  had  been  labeled  manually. Another objective of the study was to look at the extent of the effectiveness of the Emolex emotion lexicon for the classification of emotions of academic questionnaire texts. The results showed an average accuracy of 56.2%. Of the known emotional labels, the 3 highest percentages are on the labels Sadness (19.2%), Joy (16.7%) and Fear (13.5%) which each have an accuracy of 72%, 68%  and  68%.  From  the  research  it  was  revealed  that  Emolex's  performance  for  emotion classification is still unsatisfactory and requires further lexicon development.
. Keywords : lexicon, emotion classification, Emolex

## 1. PENDAHULUAN
Emosi  sangat  menentukan  perilaku  seseorang,  baik  dalam  tindakan  maupun  ucapan. Komunikasi  baik  lisan  maupun  tulisan  akan  melibatkan  emosi  dari  pihak-pihak  yang berkomunkasi. Emosi sangat berpengaruh pada tindakan manusia [1]. Dalam komunikasi antar manusia bahkan kualitas komunikasi dipengaruhi oleh stabilitas emosi [2]. Berbagai penelitian tentang analisis emosi dalam komunikasi telah banyak dilakukan, misalnya melalui perubahan mimik muka, suara atau gesture [3].  Ketika perkembangan komunikasi digital banyak didominasi dengan teks, emosi juga dapat diketahui melalui ungkapan teks yang digunakan [4]. Akan tetapi menurut penelitian  [5], deteksi emosi melalui teks dalam 10 tahun terakhir masih kalah jauh dari deteksi emosi menggunakan parameter lain.  Untuk itu ketika saat ini terjadi kondisi melimpahnya teks akibat masifnya komunikasi online, maka penelitian deteksi, rekognisi atau klasifikasi emosi berbasis teks sangat penting dilakukan [6].
Evaluasi  pembelajaran  di  Perguruan  Tinggi  merupakan  kegiatan  yang  sangat  penting. Evaluasi  pembelajaran  umumnya  dilakukan  pada  setiap  akhir  pembelajaran  dengan  membuat kuesioner evaluasi pembelajaran berupa pertanyaan yang harus dijawab mahasiswa. Alat yang sering  digunakan  untuk  evaluasi  adalah  kuesioner  berupa  pillihan  ganda  terhadap  parameter kinerja  dosen  seperti    persiapan,  cara  penyampaian  materi,  metode  mengajar  dan      lain-lain. Kuesioner  biasa  mencantumkan  kolom  komentar  yang  harus  diisi  mahasiswa.  Akan  tetapi komentar  ini  umumnya  tidak  dilakukan  analisis  atau  bahkan  cenderung  diabaikan,  padahal sebenarnya  komentar  responden  yang  berupa  teks  tersebut  dapat  mengungkap  sentimen    atau emosi  mahasiswa  yang  tidak  kalah  penting  dalam  evaluasi.  Beberapa  kritikus  pada  metode kuesioner  dengan  pilihan  ganda  menilai  ada  kelemahan  kuesioner  dengan  pilihan  ganda  yang dilakukan  berulang,  yakni  jawaban  yang  asal-asalan  akibat  kejenuhan  membaca  soal,    atau pertanyaan yang terlalu banyak [7]. Untuk itu komentar yang diberikan justru dapat mengungkap sikap atau emosi dari responden yang lebih jujur.  Penelitian [8] yang menganalisis teks bebas komentar  pasien  yang  akan  menjalani  radioteraphy  telah  memberikan  masukan  yang  sangat berguna  bagi  pelayanan.  Dengan  demikian  analisis  emosi  dari  komentar  yang  terungkap  dari jawaban responden merupakan informasi yang sangat berharga untuk dianalisis.
Analisis emosi dari teks, sering disebut deteksi emosi, rekognisi emosi atau klasifikasi emosi merupakan kajian riset lebih jauh dari   topik sentiment analysis pada teks [9]. Analisis sentimen  mengelompokkan  polaritas  dari  teks  menurut  label  positif  atau    negatif  sedangkan klasifikasi emosi menganalisis teks untuk ditentukan muatan emosinya.  Dalam klasifikasi emosi dari teks dikenal ada 3 pendekatan, yaitu pendekatan key-word spotting , rule based dan statistical based [10].    Pendekatan key-word  spotting atau  biasa  disebut lexical-based menganggap  teks terdiri  dari  deretan  kata-kata  akan  dapat  ditentukan  sentimennya  atau  kandungan  emosinya berdasarkan muatan emosi yang terungkap dalam kata. Untuk keperluan ini diperlukan daftar kata dan emosi yang terkait dengan kata tersebut.   Dengan dasar kata-kata yang berlabel jenis emosi tersebut, teks akan ditentukan jenis emosinya.  Menurut Ekman,  manusia memiliki 6 emosi dasar ( basic  emotion ),  yaitu anger , disgus t, fear , joy , sadness dan trust [11].  Selanjutnya  Plutchik menambahkan  2  status  emosi  yaitu anticipation dan surprise [12].  Saat  ini  klasifikasi  emosi berbasis  leksikon  masih  belum  terlalu  banyak  digunakan  dibandingkan  klasifikasi  berbasis statistik, seperti Naïve Bayes, SVM atau algoritma lain. Hal ini karena kinerjanya dinilai masih kurang bagus [13].  Akan tetapi dengan semakin banyaknya penelitian tentang pengembangan leksikon sentimen dan leksikon emosi, seperti penelitian [14] dan  [15],  maka penelitian analisis emosi berbasis leksikon menarik untuk dilakukan.
Salah satu leksikon emosi yang layak untuk diteliti adalah penggunaan leksikon emosi dari NRC Emotioan Lexicon atau Emolex [16] . Leksikon emosi cukup lengkap dalam bahasa inggris yang diterjemahkan dalam 105 bahasa yang disebut Leksion emosi berisi 14.182 dengan dua status sentimen, positive dan negative  dan 8 status emosi, yaitu anger , anticipation , disgust, fear,  joy, sadness , surprise ,  dan trust .  Beberapa  peneliti  menggunakan  NRC  Emolex  untuk analisis emosi pada kasus COVID-19 [17],[18]. Penelitian lain mencoba membandingkan kinerja analisis  berbasis  leksikon  dengan  NRC  Emolex  dangan  metode  statistik  TFIDF  dan  hasilnya
kinerja NRC memiliki akurasi 30%, lebih kecil dibandingkan metode TFIDF yang menghasilkan akurasi 62% [13]. Sebaliknya penelitian perbandingan analisis emosi berbasis leksikon dan NBC oleh [19] menghasilkan kinerja leksikon yang lebih baik, yaitu akurasi 70% dibandingkan dengan metode NBC yang hanya memiliki akurasi 50%. Oleh karena itu perlu diteliti lebih jauh kinerja sebenarnya dari koleksi leksikon emosi NRC Emolex dalam penerapannya untuk klasifikasi teks bahasa Indonesia berbasis leksikon emosi.
Penelitian  untuk  analisis  sentimen  hasil  evaluasi  kinerja  dosen  melalui  komentar mahasiswa  telah  beberapa  kali  dilakukan,  antara  lain  oleh    [20]  dan  [21].  Penelitian  [22] melakukan  analisis  sentimen  berdasarkan  komentar  mahasiswa  untuk  mengevaluasi  kinerja depertemen  di  Perguruan  Tinggi.  Namun  ketiga  penelitian  tersebut  hanya  melakukan  analisis sentimen  positif  negatif  atau  netral.    Untuk  itu  perlu  dilakukan  kajian  lebih  jauh,  yaitu mengungkap emosi mahasiswa melalui komentar-komentar yang diberikan dalam kuisioner.
Penelitian  ini  bertujuan  melakukan  deteksi  emosi  dan  klasifikasi  emosi  pada  jawaban kuesioner  evaluasi  akademik    yang  berupa  saran  atau  komentar  dalam  kuesioner  akademik  di Universitas AKPRIND Indonesia tahun 2020-2022 menggunakan leksikon emosi NRC EmoLex.

## 2. METODE PENELITIAN
Alur  penelitian  terdiri  beberapa  langkah  antara  lain  pengumpulan  data  kuesioner,  pre- processing data, ekstraksi fitur-fitur emosi berdasarkan term emosi yang ada dalam library dan penetapan klas emosi dari komentar yang dianalisis. Secara garis besar diagram alir penelitian dapat disajikan seperti padaGambar 1 berikut.
Gambar 1. Diagram Langkah Penelitian

## 2.1 Pengumpulan data
Datasetyang  digunakan  dalam  penelitian  diambil  dari  komentar  mahasiswa  ketika mengisi  kuesioner  evaluasi  akademik  dalam  kotak  komentar  bebas  tahun  2020-2022  pada Universitas AKPRIND Indonesia. Setiap teks komentar dipandang sebagai dokumen yang akan dianalisis muatan emosinya. Data yang diperoleh sebanyak 4000 komentar yang terlabeli jenis emosinya. Data tersebut merupakan data yang diambil dari 8.567 data komentar mahasiswa yang telah ditentukan muatan emosinya. Muatan emosi yang digunakan sebagai label adalah 8 jenis emosi Plutchik [23], yaitu marah ( anger ), antisipasi ( anticipation ), muak ( disgust ), takut ( fear ), gembira  ( joy ),  sedih  ( sadness ),  terkejut  ( surprise )  dan  percaya/penerimaan  ( trust/acceptance ). Cara melabeli dilakukan secara manual oleh oleh 2 orang ahli bahasa.  Teknisnya, jika terhadap suatu komentar, dua penilai memberikan penilaian yang sama pada jenis emosi tertentu, maka komentar  tersebut    ditetapkan  jenis  emosinya  sesuai  dengan  ketetapan  dua  penilai  tersebut. Sebagai contoh komentar : “Dosen Yuli sgt bagus n kominikatif ! " # $ % & pertahankan!!!”, penilai 1 menetapkan muatan emosi adalah gembira ( Joy ), penilai 2 juga menetapkan muatan emosi adalah joy ,  maka  komentar  tersebut  ditetapkan  memiliki  muatan  emosi Joy .  Contoh  kedua    adalah komentar “Tatap Muka hari ini membosankan sekali ' ( ) * + , ' ( ) * + , !”, kedua penilai memberikan muatan emosi sedih ( sadness ). Contoh ketiga adalah komentar :” Proyektor Baik Hasil Belajar pasti baik
!!!”,  kedua  penilai  memberi  nilai  bermuatan  emosi anticipation ,  yaitu  ketika  seseorang meramalkan/mengharapkan sesuatu.  Hasil dari pelabelan manual menghasilkan dataset seperti pada Tabel 1.
Tabel 1.  Kelompok Emosi Dataset Anger Anticipation Disgust Fear Joy Sadness Surprise Trust Total 600 400 550 500 550 600 400 400 4000
Data yang terpilih sejumlah 4000 data diberikan label dengan kode :
1. marah ( anger )
2. antisipasi ( anticipation )
3. muak ( disgust ) 4. takut ( fear )
5. gembira ( joy )
6. sedih ( sadness )
7. terkejut ( surprise ) dan
8. percaya/penerimaan ( trust/acceptance ).
Tabel 2 menyajikan ilustrasi hasil dataset yang akan digunakan dalam penelitian ini.
Tabel 2.  Label Emosi pada Dataset Komentar Dokumen Isi dokumen Label D0001 Tatap Muka hari ini membosankan sekali ' ( ) * + , ' ( ) * + , ! 6 D0002 Sebaiknya segera kasih kebijakan  kampus  bebas asap rokok, dan fasilitasi ruang untuk merokok bos !!.... 2 D0003 Horeee.. sudah ada kantin, tapi tolong harganya jangan mahal2 5 D0004 Proyektor Baik Hasil Belajar pasti baik  !!! 2 .... .... .... D4000 Dosen Yuli sgt bagus n kominikatif ! " # $ % & pertahankan!!! 5

## 2.2 Tahap Pre-processing Data
Tahap Pre-processing dimulai sebagai tahap awal analisis. Tahap ini disajikan langkah- langkahnya seperti pada  pada Gambar 2 di bawah ini.
Gambar 2. Pre-processing Data
Langkah pre-processing digambarkan, misalnya untuk komentar : Teks asal : “Dosen Yuli sgt bagus n komunikatif ! " # $ % & pertahankan!!!” Hasil dari proses pada teks tersebut, adalah :
• Proses Cleaning .  Proses  ini  adalah  tahap  menghilangkan  karakter  yang  tidak  berguna dalam analisis, seperti karakter titik (.), koma (,),  titik dua (:), atau karakter lain.
Hasil cleaning : “Dosen Yuli sgt bagus n komunikatif pertahankan”
• Proses Case Folding . Proses ini akan mengubahseluruh karakter alpabet kapital ( upper case ) menjadi lower case (huruf kecil). Hasil Case Folding : “dosen yuli sgat bagus n komunikatif pertahankan”
• Proses Normalization . Proses ini mengembalikan pada kata tidak baku menjadi kata baku, seperti   ‘tdk’, ‘tak’, ‘nggak’, ‘gak’ dinormalisasi menjadi ‘tidak’, ‘sgt’ diubah menjadi ‘sangat’,  ‘n’ diubah menjadi ‘dan’
Hasil Normalization : “dosen yuli sangat bagus dan komunikatif pertahankan”
• Proses Stopword removal . Proses ini menghilangkan kata-kata yang tak bermakna (stop word)  yang sering muncul di semua setiap dokumen, seperti ‘dan’, ‘ini’,’itu’, ‘yang’ dan lain-lain. Kata ini  tidak dapat dijadikan fitur pembeda dokumen.
Hasil Stopword removal : “dosen yuli sangat bagus komunikatif tahan”
• Proses Tokenization. Proses  ini  mengurai  (memecah)    dokumen  menjadi  token-token terpisah.  Token inilah menjadi kandidat fitur dalam klasidikasi emosiyang akan menjadi kandidat fitur dalam klasifikasi emosi.
Hasil Tokenization : [ “dosen”, “yuli”, “sangat”, “bagus”, “komunikatif”, “tahan”]
Berdasarkan  langkah-langkah  tersebut  di  atas,  maka  teks-teks  komentar  asli  pada  Tabel  2 akan diubah menjadi koleksi token seperti pada Tabel 3. Berikut ini.
Tabel 3.  Dataset setelah Preprocessing Dokumen Koleksi token Label D0001 ‘tatap’,’muka’,’hari’, ‘bosan’, ‘sekali’ 6 D0002 ‘baik’,’kasih’, ‘bijak’,’ kampus’,’bebas’,’asap’,’rokok’, ‘fasilitasi’, ‘ruang’, ‘merokok’, ‘bos’ 2 D0003 ‘hore’,’kantin’, ‘tolong’,’harga’,’mahal’ 5 D0004 “proyektor”,”baik”,”hasil”,”ajar”, “pasti”, “baik” 2 .... .... .... D4000 ‘dosen’,’yuli’,’sangat’,’bagus’,’komunikatif’,’tahan’ 5

## 2.3  Ekstak Fitur Emosi
Setiap  dokumen  yang  telah  melewati pre-processing dipandang  sebagai  kumpulan  fitur yang mewakili dokumen tersebut. Namun tidak semua fitur memiliki muatan emosi, sehingga perlu  dilakukan  ekstraksi  fitur  dari  kumpulan  fitur  yang  mewakili  dokumen.  Ekstrak  fitur dilakukan  dengan  memfiltter  token  berdasarkan  kamus  leksikon  yang  memuat  skor  sentimen. Kamus leksikon yang digunakan adalah   Emolex ( NRC Emotion Lexicon ) dari penelitian [16]. Emolex berisi pustaka leksikon yang berisi  14.182 kata dalam   bahasa inggris dengan terjemahan dalam 105 bahasa. Pustaka leksikon Emolex memiliki struktur matrik 9 kolom x 14.182 baris dengan kolom pertama adalah fitur-leksikon dan 8 kolom berikutnya adalah kolom label emosi (lihat Tabel 4).  Apabila fitur yang ada dalam dokumen opini terdapat dalam Emolex maka fitur tersebut diambil dengan   menyimpan label emosinya,  skor emosinya dicatat. Skor emosi berupa nilai biner 0 dan 1.  Nilai 1 menunjukkan fitur tersebut berhubungan dengan kolom emosi yang bersangkutan, sedangkan 0 artinya fitur tidak berhubungan dengan kolom emosi. Nilai skor emosi terkadang  unik  dan  terkadang  ganda,  misalnya  term  ‘marah’  adalah  unik,  karena  hanya berhubungan dengan label emosi ‘ Anger’ . Sebaliknya term ‘pecah’ terhubung dengan dua jenis emosi yaitu  ‘ Sadness’ dan ‘Surprise’.

## Tabel 4. Library EmoLex dengan 8 Label dan skor Emosi
Word Anger  Anticipation  Disgust  Fear  Joy  Sadness  Surprise  Trust marah 1 0 0 0 0 0 0 0 kesukaan 0 0 0 0 1 0 0 0 senang 0 1 0 0 1 0 0 0 rindu 0 0 0 0 0 1 0 0 pecah 0 0 0 0 0 1 1 0 hancur 0 0 0 0 0 1 0 0 mengerikan 0 0 1 1 0 0 0 0 … .. .. .. .. .. .. .. .. tenang 0 0 0 0 0 0 0 1
Berikut ini adalah algoritma untuk mengekstrak fitur dari koleksi dokumen opini menggunakan pustaka Emolex:

## Algoritma-1 :MengekstrakFiturEmosi
[1] Mulai
[2] D={D 1 ,D 2 ,...,D n }, n=cacah doc opini W={w i1 ,w i2 ,...,w im }, im=cacah term dalam dok-i FiturEmLex={t 1 ,t 2 ,..t L }, L=cacah fitur di kamus Emolex VekEmo={v 1 ,v 2 ,..v L }, v is vektor 8 elemen ( 0 or 1 sebaga label emosi yang sesuai )
[3] Fitur_Ekstract=[]; Vektor_Emosi=[];
[4] For i=1 to n do
For j=1 to im Do
If w ij in FiturEmLex (in order k)  do Fitur_Eksract[] ß t k Vektor_Emosi[] ß v k [5] Selesai
Penerapan  Algoritma  terhadap  suatu  dokumen  yang  akan  diekstrak  fiturnya  sebagai  berikut. Misalnya terdapat komentar  pada D3975:
“ Ibu dosen  mengajar baik .... prestasi mahasiswa juga lebih baik lagi!!” Dari pre- processing diperolah kumpulan fitur :
[“ ibu”,”dosen”, “mengajar”,”baik”,”prestasi “,”mahasiswa” ,”baik”]
Hasil ekstraksi fitur menggunakan Algortima-1 adalah seperti Tabel 5 berikut ini.
Tabel 5. Hasil ekstraksi fitur Anger  Anticipation  Disgust  Fear Joy  Sadness  Surprise  Trust mengajar 0 0 0 0 0 0 1 1 baik 0 1 0 0 1 0 1 1 prestasi 0 1 0 0 1 0 1 0 baik 0 1 0 0 1 0 1 1

## 2.4 Klasifikasi  Emosi dari Opini
Klasifikasi  emosi  dilakukan  dengan  metode pooling ,  yaitu  memberikan  label  emosi berdasarkan bobot emosi yang paling tinggi dari jumlah skor fiturnya. Algoritma-2 berikut ini adalah algoritma untuk klasifikasi emosi. Algoritma ini   mengasumsikan setiap fitur kata dalam koleksi opini telah memiliki vektor label (berisi 0 atau 1)  dari tahapan ekstrak fitur sebanyak 8 elemen (Tabel 4). Dalam penentian emosi, dilihat dokumen  opini D i yang akan ditentukan label emosinya  dipandang  sebagai  himpunan  fitur  yang  telah  memiliki  vektor  label  emosi,  yaitu Di={f 1 ,f 2 ,...,f ni } dimana ni adalah banyaknya fitur terekstraksi dalam opini D i . Proses berulang dibuat untuk menjumlahkan seluruh nilai skor dari 8 label untuk semua fitur. Total jumlah skor untuk ke-8 label tersebut kemudian dicari nilai terbesarnya. Posisi index dari label dengan nilai maksimum skor label emosi berada adalah posisi index dari jenis emosi yang dicari.

## Algoritma-2 : KlasifikasiEmosiOpini : Di
1) Mulai
2) Di={f 1 ,f 2 ,...,f ni }, ni=cacah fitur emosi dari Di Fitur_Ekstract={T 1 ,T 2 ,..T P }, P=cacah fitur emosi terekstrak Vektor_Emosi={v 1 ,v 2 ,..v P }, v is vektor contains 8 number ( 0 or 1 as label of emotion)
3) Label_Emo= {Anger, Anticipation, Disgust, Fear,Joy,Sadness, Surprise, Trust}
4) LabelEmoSelected=0; TotScoreVek={0,0,0,0,0,0,0,0}
5) For i=1 to ni do
For j=1 to 8 Do
TotScoreVek[j] ß TotScoreVek[j]+VektorEmosi[j]
6) TotScoreVekMax=max(TotScoreVek[1..8])
7) LabelEmoSelected ß LabelEmo[j], dimana j index dari TotScoreVekMax 8) Selesai
Penerapan Algoritma 2 untuk ekstraksi fitur  bagi komentar D3975:
“ Ibu dosen  mengajar baik .... prestasi mahasiswa juga baik!!”
Penerapan Algoritma-1 (seleksi fitur emosi), maka akan didapatkan fitur emosi adalah ‘mengajar, ‘baik’, ‘prestasi’, ‘baik’
Penerapan Algoritma-2  menghasilkan jumlahan skor label emosi dari fitur-fitur emosi diperoleh skor maksimum 3 (Tabel 6), yaitu untuk label Trust . Dengan demikian opini tersebut memiliki klas Trust .
Tabel 6. Perhitungan Label Emosi  untuk opini D3975 Anger  Anticipation  Disgust  Fear Joy  Sadness  Surprise  Trust mengajar 0 0 0 0 0 0 0 1 baik 0 1 0 0 1 0 1 1 prestasi 0 0 0 0 0 0 0 0 baik 0 1 0 0 1 0 1 1 Jumlah skor 0 2 0 0 2 0 2 3

## 2.5 Skenario Eksperimen
Klasifikasi emosi pada koleksi dokumen ditempuh dengan tahapan :
1. Memilih 4000 dokumen dari seluruh koleksi komentar yang ada dan lakukan pelabelan secara manual oleh 2 orang ahli bahasa.
2. Lakukan  pre- processing pada  seluruh  dokumen,  yaitu  4000  dokumen,  sehingga didapatkan koleksi dari himpunan fitur sebagai perwakilan dokumen
3. Lakukan  ekstraksi  fitur  menggunakan  Algoritma-1  sehingga  didapatkan  koleksi  fitur wakil dokumen yang telah memuat skor emosi pada tiap fitur wakil dokumen seperti pada format Tabel 4
4. Lakukan  klasifikasi  emosi  dari  tiap  koleksi  fitur  hasil  dari  Langkah  2  menggunakan Algoritma-2 sehingga setiap  dokumen komentar dapat ditetapkan label emosinya.
5. Ujilah kebenaran klasifikasi dengan membandingkan klasifikasi oleh algoritma-2 dengan klasifikasi manual Tabel 2 atau Tabel 3.
6. Tetapkan  akurasi  dari  penggunaan  Emolex  dalam  klasifikasi  teks  berbasis  leksikon emosi.
3. HASIL DAN PEMBAHASAN

## 3.1 Hasil Pre-processing dan Ekstraksi Fitur
Hasil pre- processing terhadap koleksi dokumen adalah seperti pada Tabel 7 berikut.
Tabel 7. Hasil Pre-processing dari koleksi dokumen Dokumen Koleksi token D0001 ‘tatap’,’muka’,’hari’, ‘bosan’, ‘sekali’ D0002 ‘baik’,’kasih’, ‘bijak’,’ kampus’,’bebas’,’asap’,’rokok’, ‘fasilitasi’, ‘ruang’, ‘merokok’, ‘bos’ D0003 ‘hore’,’kantin’, ‘tolong’,’harga’,’mahal’ D0004 “proyektor”,”baik”,”hasil”,”ajar”, “pasti”, “baik”
....
.... D4000
‘dosen’,’yuli’,’sangat’,’bagus’,’komunikatif’,’tahan’
Hasil dari pre-processing selanjutnya dilakukan ekstraksi fitur yang memuat kandungan emosi berdasarkan kamus Emolex. Hasil Ekstrak fitur emosi menggunakan Algoritma-1 adalah seperti pada Tabel 8 berikut ini.
Tabel 8. Hasil Ekstrak Fitur Emosi dari Dataset Dokumen Fitur terekstrak Skor Emosi 1 2 3 4 5 6 7 8 D0001 ‘bosan’ 0 0 0 0 0 1 0 0 D0002 ‘baik’ 0 1 0 0 0 0 0 0 ‘kasih’ 0 1 0 0 0 0 0 0 ‘bebas 0 0 0 0 0 0 0 0 D0003 ‘hore’ 0 0 0 0 1 0 0 0 D0004 ”baik” 0 1 0 0 0 0 0 0 ”pasti” 0 1 0 0 0 0 0 0 .... .... .... ....  ....  .... .... ....  ....  .... D4000 ’bagus’ 0 0 0 0 1 0 0 0 ‘komunikatif’ 0 0 0 0 1 0 0 0
Selanjutnya dari ekstrak fitur emosi dan skor emosi pada setiap jenis emosi dapat ditentukan klasifikasi emosi dari dokumen yang bersangkutan.

## 3.2 Hasil klasifikasi emosi
Metode lexicon based akan menghasilkan   klasifikasi emosi  jika minimal dokumen yang diuji mimiliki 1 fitur emosi. Dengan demikian tidak diperlukan adanya pelatihan dalam penetapan klas emosi dari dokumen yang bersangkutan. Jika dokumen yang diuji tidak mengandung satupun fitur emosi dari klas-klas emosi dalam library maka klasifikasi akan gagal.  Dari dataset yang dicobakan melalui tahapan pre- processing , panerapan Algoritma-1 dan Algoritma-2 didapatkan hasil sebagai Tabel 9 berikut.
Tabel 9. Hasil Klasifikasi Emosi Dataset Jumlah Opini Hasil Klasifikasi Emosi Berhasil Gagal 4000 2.248 1.752 Prosentase 56,2% 43,8%
Dari  Tabel 9 terlihat bahwa 56,2% opini dapat diklasifikasi oleh algoritma. Sedangkan 43,8%  opini  tidak  dapat  diklasifikasi.    Jika  dilacak      proses  klasifikasi  emosi  menggunakan pendekatan  leksikon  emosi,  terlihat  bahwa  keberhasilan  klasifikasi      tergantung  pada  dua  hal, yang pertama adalah “kualitas” teks opini yang akan diklasifikasi dan keberadaan leksikon dalam pustaka Emolex. Kegagalan klasifikasi disebabkan  fitur-fitur yang ada dalam kalimat opini tidak ditemukan label emosinya dalam Emolex . Sebagai contoh jika dimiliki komentar :
Pak budi dosen yang paling  asyiik  nih!!
Setelah  melalui  proses pre-processing dan  proses  seleksi  fitur  akan  dihasilkan  4  buah token, yaitu : ‘pak’, ‘budi’, ‘dosen’, ‘asyik’ . Untuk token-token  ‘pak’  dan ‘budi’ akan tersaring dalam tahapan StopWord removal . Dengan demikian hanya tinggal fitur ‘dosen’ dan ‘asyiik’. Pada tahap seleksi fitur menggunakan Emolex , ternyata term ‘dosen’ dan ‘asyiik’ tidak ditemukan dalam Emolex . Maka opini tersebut akan gagal terdeteksi label emosinya.
Dari  opini  yang  dapat  dikenali  labelnya,  yakni  sebanyak  2.248  buah,  detail  sebaran klasifikasi emosi berdasarkan label dapat disajikan seperti pada Tabel 10 berikut ini.
Tabel 10 . Hasil Klasifikasi Emosi Dataset yang Dikenali
Label Emosi Total Dok Anger  Anticipation  Disgust Fear Joy Sadness  Surprise Trust Jum dok 277 128 256 303 375 432 198 273 2248 Prosentase  12,3% 5,7% 11,4% 13,5%  16,7% 19,2% 8,8% 12,4% 100%
Jika  hasil  klasifikasi  tersebut  dibandingkan  dengan  pelabelan  manual,  maka  akan  dapat ditentukan akurasi dari masing-masing jenis emosi seperti pada Tabel 11 berikut ini.
Tabel 11. Akurasi per Jenis Emosi Anger  Anticipation  Disgust  Fear Joy Sadness  Surprise  Trust Total Pelabelan manual 600 400 550 500 550 600 400 400 4000 Pelabelan lexicon based 277 128 256 303 375 432 198 273 2248 Akurasi 46% 32% 47% 61% 68% 72% 50% 68% 56,2%

## 3.2 Pembahasan
Akurasi secara keseluruhan dari klasifikasi menggunakan pustaka Emolex adalah 56,2%, yang berarti 56,2% opini dapat diklasifikasi dengan benar. Hasil ini lebih baik jika dibandingkan dengan penelitian [13] yang mana penggunaan Emolex hanya memiliki akurasi 30%.
Jika dilihat lebih detail dengan mencermati akurasi untuk tiap label emosi, terdapat tiga jenis emosi yang memiliki akurusa tertinggi, yakni berturut-turut adalah Sadness , Joy dan Trust sebesar  berturut-turut  72%,  68%  dan  68%.  Sedangkan  dua  jenis  emosi  yang  paling  rendah akurasinya adalah surprise dan anticipation dengan nilai akurasi 50% dan 32%. Sebaran label emosi menghasilkan ilustrasi wordcloud seperti pada pada Gambar 3.
Dari ilustrasi Gambar 3 terlihat bahwa dari komen dan saran hasil kuesioner yang terdeteksi menggunakan kamus leksikon Emolex , label yang paling menonjol adalah Sadness , disusul Joy dan Trust . Tentu ini menjadi petunjuk untuk perbaikan model pembelajaran agar emosi positif seperti Joy dan Trust yang berada pada posisi paling atas.
Gambar 3. Wordcloud Hasil deteksi Emosi
Analisis  yang  dilakukan  penulis  kenapa  Emolex  sebagai  kamus  terbuka  belum  dapat memberikan hasil yang memuaskan adalah adanya beberapa kemungkinan kelemahan. Salah satu kelemahan  yang  paling  utama  yang  kemungkinan  menyebabkan  efektifitas  klasifikasi  emosi kurang adalah belum semua term memiliki label emosi.  Dari jumlah term (leksikon) sebanyak 14.182  term  baru  sekitar  4.463  (36,7%)  yang  telah  diberi  label  emosi.  Masih  diperlukan kontributor  baru  untuk  menyempurnakan  sehingga  semua  term  memiliki  label  emosi.  Sesuai dengan  pendekatan  yang  digunakan  yakni crowdsourcing yang  sangat  bertumpu  pada  peran khalayak  untuk  memberikan  label  emosi.    Kelemahan  lainnya  adalah    masalah  efek translate bahasa. Tidak semua suku kata dalam bahasa inggris di-translate tepat menjadi satu suku kata dalam bahasa Indonesia. Hal ini akan menurun kemampuan Kamus Emolex dalam deteksi label, karena algoritma deteksi menggunakan asumsi komentar sebagai kumpulan term-term tunggal. Kata-kata  yang  aslinya  dalam  bahasa  inggris  satu  kata  dan  ditrejemahkan  menjadi  dua  kata misalnya,  “ absent ”  menjadi  “ tidak  hadir ”,  “ abode ”  menjadi  “ tempat  tinggal ”  dan  lain-lain, bahkan  terdapat  banyak  kata  inggris  yang  diterjemahkan  menjadi  tiga  kata  seperti  “ aboard ” manjadi “ di atas kapal ” atau “ staid ” menjadi “tenang dan serius”.

## 4. KESIMPULAN DAN SARAN
Penelitian  ini  telah  berhasil  menerapkan  klasifikasi    emosi  berbasis  leksikon  emosi  dari pustaka leksikon EmoLex” untuk klasifikasi  komentar/saran dari kuesioner evaluasi pendidikan pada    evaluasi  pendidikan  Universitas  AKPRIND  Indonesia  tahun  2020-2022.    Meskipun keberhasilan dari klasifikasi emosi baru mencapai 56,2% dari total data tetapi potret dari emosi mahasiswa terkait pelaksanaan pembelajaran telah dapat ditangkap, yakni melalui prosentasi hasil klasifikasi yang bernuansa positif yakni “Joy” dan bernuansa negatif yakni “Sadness” dan “Fear” sebagai tiga label dengan prosentase tertinggi, yakni pada label Sadness (19,2%), Joy (16,7%) dan
Fear (13,5%) yang masing-masing memiliki akurasi sebesar 72%, 68% dan 68%. Hal ini menjadi petunjuk  bahwa  dari  hasil  ungkapan  komen  dan  saran  terbaca    respon  yang  terdeteksi  masih bernuansa sentimen negatif, yaitu Sadness meskipun pada urutan kedua adalah sentimen positif yaitu Joy . Penggunaan kamus leksikon emosi Emolex juga terlihat belum menunjukkan kinerja klasifikasi emosi yang maksimal. Hal ini dimungkinkan masih sedikitnya term dalam pustaka Emolex yang diberikan label emosi. Kekurangan pustaka Emolex sebagai acuan metode lexicon base juga  terkendala efek translastion inggris-indonesia yang mengasilkan translasi satu ke dua atau tiga kata bahasa Indonesia yang memunculkan masalah pada tahap tokenization ketika pre- processing data.

## UCAPAN TERIMA KASIH
Penulis  mengucapkan  terimakasih  kepada  Bagian  Biro  Admisi  dan  Administrasi Akademik Universitas AKPRIND Indonesia yang telah mengizinkan penulis untuk mengambil data hasil kuesioner mahasiswa sebagai dataset dalam penelitian ini.

## DAFTAR PUSTAKA
[1] J.  Dennison,  “Emotions:  functions  and  significance  for  attitudes,  behaviour,  and communication,” Migration Studies , vol. 12, no. 1. 2024. doi:
10.1093/migration/mnad018.
[2] W.  H.  S.  Tsai,  D.  Lun,  N.  Carcioppolo,  and  C.  H.  Chuan,  “Human  versus  chatbot: Understanding  the  role  of  emotion  in  health  marketing  communication  for  vaccines,” Psychol Mark , vol. 38, no. 12, 2021, doi: 10.1002/mar.21556.
[3] Prince Awuah Baffour, Henry Nunoo-Mensah, Eliel Keelson, and Benjamin Kommey, “A Survey  on  Deep  Learning  Algorithms  in  Facial  Emotion  Detection  and  Recognition,” Inform : Jurnal Ilmiah Bidang Teknologi Informasi dan Komunikasi , vol. 7, no. 1, pp. 24– 32, Jun. 2022, doi: 10.25139/inform.v7i1.4563.
[4] A. R. Murthy and K. M. Anil Kumar, “A Review of Different Approaches for Detecting Emotion from Text,” IOP Conf Ser Mater Sci Eng , vol. 1110, no. 1, p. 012009, Mar. 2021, doi: 10.1088/1757-899x/1110/1/012009.
[5] F. A. Acheampong, C. Wenyu, and H. Nunoo-Mensah, “Text-based emotion detection: Advances, challenges, and opportunities,” Engineering Reports , vol. 2, no. 7. John Wiley and Sons Inc, Jul. 01, 2020. doi: 10.1002/eng2.12189.
[6] S. C. Venkateswarlu, S. R. Jeevakala, N. U. Kumar, P. Munaswamy, and D. Pendyala, “Emotion  Recognition  From  Speech  and  Text  using  Long  Short-Term  Memory,” Engineering,  Technology  and  Applied  Science  Research ,  vol.  13,  no.  4,  2023,  doi: 10.48084/etasr.6004.
[7] B.  Wahyono,  “Kelebihan  Dan  Kekurangan  Kuesioner  Sebagai  Alat  Pengumpul  Data Penelitian,” Metodologi Penelitian Pendidikan.
[8] K. Olausson, L. Sharp, P. Fransson, T. Nyholm, B. Zackrisson, and U. Östlund, “What matters  to  you?  –  Free-text  comments  in  a  questionnaire  from  patients  undergoing radiotherapy,” Tech Innov Patient Support Radiat Oncol , vol. 13, pp. 11–16, Mar. 2020, doi: 10.1016/j.tipsro.2019.11.009.
[9] Bing Liu, Sentiment Analysis Mining Opinions, Sentiments, and Emotions . University of Illinois, Chicago, 2020.
[10]  H. Lian, C. Lu, S. Li, Y. Zhao, C. Tang, and Y. Zong, “A Survey of Deep Learning-Based Multimodal  Emotion  Recognition:  Speech,  Text,  and  Face,” Entropy ,  vol.  25,  no.  10. Multidisciplinary  Digital  Publishing  Institute  (MDPI),  Oct.  01,  2023.  doi: 10.3390/e25101440.
[11]  M. P. Purba and Y. T. Wijaya, “Analisis Basic Emotion Masyarakat Pada Masa Pandemi COVID-19 di Media Sosial Twitter Dengan Metode LSTM-FastText,” Seminar Nasional Official Statistics , vol. 2022, no. 1, 2022, doi: 10.34123/semnasoffstat.v2022i1.1524.
[12]  P. Kumar and M. Vardhan, “Plutchik Wheel of Emotion and Machine Learning-Based Hybrid Sentiment Analysis for the Hindi Language with Minimum Dependency on High Computation Resources,” SN Comput Sci , vol. 4, no. 6, 2023, doi: 10.1007/s42979-023- 02237-7.
[13]  A.  Nurkasanah  and  M.  Hayaty,  “Feature  Extraction  using  Lexicon  on  the  Emotion Recognition Dataset of Indonesian Text,” Ultimatics : Jurnal Teknik Informatika , 2022, doi: 10.31937/ti.v14i1.2540.
[14]  J. Bata, “#AkuGalau: Korpus Bahasa Indonesia untuk Deteksi Emosi dari Teks,” JURNAL ELEKTRO , vol. 12, no. 2, pp. 103–110, 2019, [Online]. Available: www.youtube.com.
[15]  S.  Christina  and  D.  Ronaldo,  “Studi  Literatur  Sistematis  Terhadap  Pengembangan Leksikon  Sentiment,” Jurnal  ELTIKOM ,  vol.  4,  no.  2,  2020,  doi: 10.31961/eltikom.v4i2.211.
[16]  S.  M.  Mohammad  and  P.  D.  Turney,  “Crowdsourcing  a  Word  –  Emotion  Association Lexicon,” Comput Intell , vol. 29, no. 3, pp. 436–465, 2013.
[17]  D. Suryadi, “Does it make you sad? A lexicon-based sentiment analysis on COVID-19 news tweets,” IOP Conf Ser Mater Sci Eng , vol. 1077, no. 1, 2021, doi: 10.1088/1757- 899x/1077/1/012042.
[18]  A. S. Aribowo and S. Khomsah, “Implementation Of Text Mining For Emotion Detection Using The Lexicon Method ( Case Study : Tweets About Covid-19 ),” TELEMATIKA: Jurnal  Informatika  dan  Teknologi  Informasi ,  vol.  18,  no.  1,  pp.  49–60,  2021,  doi: 10.31515/telematika.v18i1.4341.
[19]  S. B. Bin Rodzman, M. Hanif Rashid, N. K. Ismail, N. Abd Rahman, S. A. Aljunid, and H. Abd Rahman, “Experiment with lexicon based techniques on domain-specific Malay document  sentiment  analysis,”  in ISCAIE  2019  -  2019  IEEE  Symposium  on  Computer Applications and Industrial Electronics , 2019. doi: 10.1109/ISCAIE.2019.8743942.
[20]  N.  Shafiya,  N.  Salam,  A.  A.  Supianto,  and  A.  R.  Perdanakusuma,  “Analisis  Sentimen Opini  Mahasiswa  Terhadap  Saran  Kuesioner  Penilaian  Kinerja  Dosen  dengan Menggunakan  TF-IDF  dan  K-Nearest  Neighbor,” Jurnal  Pengembangan  Teknologi Informasi dan Ilmu Komputer , vol. 3, no. 6, pp. 6148–6156, 2019, [Online]. Available: http://j-ptiik.ub.ac.id
[21]  N.  Ferdyansyah  and  A.  Solichin,  “Analisis  Sentimen  Terhadap  Pembelajaran  Dosen Berdasarkan  Data  Kritik  Saran  Mahasiswa  Menggunakan  Metode  Naive  Bayes,” Bit (Fakultas Teknologi Informasi Universitas Budi Luhur) , vol. 19, no. 2, 2022.
[22]  Y. Yuliska, D. H. Qudsi, J. H. Lubis, K. U. Syaliman, and N. F. Najwa, “Analisis Sentimen pada  Data  Saran  Mahasiswa  Terhadap  Kinerja  Departemen  di  Perguruan  Tinggi Menggunakan  Convolutional  Neural  Network,” Jurnal  Teknologi  Informasi  dan  Ilmu Komputer , vol. 8, no. 5, 2021, doi: 10.25126/jtiik.2021854842.
[23]  S.  Chawla  and  M.  Mehrotra,  “An  Ensemble-Classifier  Based  Approach  for  Multiclass Emotion  Classification  of  Short  Text,”  in 2018  7th  International  Conference  on Reliability,  Infocom  Technologies  and  Optimization:  Trends  and  Future  Directions, ICRITO 2018 , 2018. doi: 10.1109/ICRITO.2018.8748757.