## Fusi Algoritma K-Means dan CNN untuk Klasifikasi Emosi pada Anak
K-Means and CNN Algorithm Fusion for Children Emotion Classification
Fildzah Aure 1 , Rika Rokhana 2 , Riyanto Sigit 3 , Bima Sena Bayu Dewantara 4 1,2 Departemen Teknik Elektro, Politeknik Elektronika Negeri Surabaya
3,4 Departemen Teknik Informatika dan Komputer, Politeknik Elektronika Negeri Surabaya E-mail: 1 auregehara24@gmail.com, 2 rika@pens.ac.id, 3 riyanto@pens.ac.id, 4 bima@pens.ac.id

## Abstrak
Emosi adalah perasaan yang diarahkan pada seseorang ataupun sesuatu yang bisa menyebabkan seseorang bertindak atau mengekspresikan diri dan dapat dipicu secara internal ataupun eksternal. Ekspresi wajah merupakan salah satu cara termudah untuk mengetahui emosi seseorang, namun terkadang seseorang dapat mengontrol dan memanipulasi ekspresi wajah mereka sehingga tidak sesuai  dengan  apa  yang  dialami.  Oleh  karena  itu,  penelitian  ini  mengembangkan  sistem  yang dapat  mengidentifikasi  emosi  anak  tidak  hanya  berdasarkan  wajah  tetapi  juga  berdasarkan perubahan  kondisi  tubuhnya.  Penelitian  ini  menggunakan  metode  klasifikasi Convolutional Neural  Network (CNN)  dan  juga  metode  klusterisasi  K-Means.  Penggunaan  2  metode  pada penelitian  ini  berfungsi  untuk  memperkuat  akurasi  sistem.  Metode  K-Means  digunakan  untuk mengidentifikasi  emosi  berdasarkan  detak  jantung  dan  konduktivitas  kulit  sedangkan  Metode CNN digunakan untuk mengidentifikasi emosi berdasarkan ekspresi wajah. Hasil yang diperoleh dari kedua metode tersebut akan diproses menggunakan metode fusi yang aturannya disesuaikan berdasarkan  hasil  pengamatan  dan  pengukuran,  sehingga  dapat  diprediksi  emosi  pada  anak berdasarkan parameter detak jantung, ekspresi wajah, dan konduktivitas kulit. Anak dengan umur 6  hingga  12  tahun  digunakan  sebagai  subjek  pada  penelitian  ini.  Dari  penelitian  ini  berhasil didapatkan hasil prediksi emosi anak dengan akurasi keberhasilan sebesar 80%.
Kata kunci: CNN, Deteksi Emosi, GSR, Heart Rate, K-Means

## Abstract
An  emotion  is  a  feeling  directed  at  someone  or  something,  someone  may  act  or  express themselves, and it may be caused internally or externally. Facial expressions are one of the easiest ways  to  recognize  a  person's  emotions,  but  in  some cases,  people  control  or  manipulate  their facial  expressions  so  that  they  don't  match  their  experience.  Therefore,  in  this  research,  we developed a system that can identify emotions from changes of a child's facial expression and body condition. This work uses convolutional neural network (CNN) classification and K-Means clustering methods. This research used two ways to improve the accuracy of the system. The K- Means  method  identifies  emotions  based  on  heart  rate  and  skin  conductance,  while  the  CNN method identifies emotions based on facial expressions. By processing the results obtained with two techniques using a fusion technique with adjusted rules based on the results of observations and measurements, parameters such as heart rate, facial expression, and skin conductivity can be used to analyze the child can predict the emotions of the subjects of this study were children aged  6  to  12  years.  From  this  research  it  was  successful  in  getting  the  results  of  predicting children's emotions with a success accuracy of 80%.
Keywords: CNN, Emotion Detection, GSR, Heart Rate, K-Means

## 1. PENDAHULUAN
Dalam  kehidupan  sosial,  emosi  merupakan  faktor  penting  setiap  orang.  Berkembangnya ketersediaan perangkat elektronik menyebabkan beberapa penelitian terkait emosi meningkat [1]. Emosi  adalah  salah  satu  permasalahan  yang  cepat  mempengaruhi  masyarakat  dan  memiliki dampak negatif [2]. Emosi dasar manusia dibagi menjadi emosi positif dan negatif. Emosi positif merupakan  respons  terhadap  suatu  stimulus  dalam  situasi  positif  yang  menimbulkan  perasaan senang atau gembira. Emosi negatif adalah respons yang dihasilkan dari stimulus dalam konteks negatif, seperti kemarahan, kebencian, atau rasa jijik [3]. Tidak hanya orang dewasa saja yang mengalami emosi, bahkan saat masih anak-anak emosi seperti marah, sedih, cemas, takut, dan gembira pun dapat dirasakan [4].
Permasalahan  dalam  masyarakat  saat  ini  adalah  seringnya  orang  tua  bersikap  kasar  kepada anaknya karena anak tersebut memiliki sifat-sifat yang tidak sesuai dengan apa yang diharapkan oleh orang tua. Masih ada juga yang menganggap karakter anak satu dan lainnya sama sehingga membuat anak merasa tidak nyaman terhadap sesuatu seperti yang terjadi pada beberapa guru. [5]. Menurut orang tua dan guru, anak dengan masalah atau penyimpangan emosi seperti sulit mengendalikan amarah, suka berkelahi, bahkan melakukan bullying merupakan hal yang wajar dan hanya menggambarkan perlakuan tersebut sebagai bentuk kenakalan, bahkan orang tua dan guru juga sering kali memberi peringatan teman sebayanya agar berhati-hati dan menjauhinya. Hal tersebut bukanlah solusi yang tepat, Efek inilah yang akan menjadikan permasalahan bagi perkembangan perilaku anak menjadi semakin parah dan akan berlangsung hingga dewasa [6]. Karena  pernyataan  emosional  tidak  selalu  tampak  jelas,  terdapat  tanda-tanda  lain  yang diwujudkan  dalam  gerakan  tubuh  dan  ekspresi  wajah  bahkan  terkait  dengan  kejadian kardiovaskular, seperti perubahan detak jantung dan munculnya keringat dingin yang melimpah di tangan sehingga mempengaruhi konduktivitas kulit manusia.  [7].
Penelitian  untuk  memprediksi  emosi  manusia  berdasarkan  kondisi  tubuh  sudah  dilakukan seperti pada penelitian yang dilakukan oleh Mikael Menard yang memprediksi emosi marah, jijik, takut, gembira, terkejut, dan sedih berdasarkan 2 parameter yaitu detak jantung dan konduktivitas kulit [8]. Penelitian prediksi emosi berdasarkan kondisi tubuh dikembangkan seperti penelitian yang dilakukan oleh Alexandra Cernian yang memprediksi emosi happy, sad, nervous, dan bored pada orang dewasa berdasarkan 3 parameter yaitu suhu tubuh, detak jantung, serta konduktivitas kulit [9]. Selanjutnya, penelitian terkait prediksi emosi berdasarkan kondisi tubuh dikembangkan kembali dengan menambahkan beberapa parameter lain seperti penelitian yang dilakukan oleh Trisha Paul, yang melakukan penelitian prediksi emosi pada 16 subjek berdasarkan 4 parameter yaitu detak jantung, konduktivitas kulit, suhu tubuh, serta sinyal EEG [10]. Cara memprediksi emosi  paling  mudah  adalah  menggunakan  ekspresi  wajah.  Dengan  berkembangnya  teknologi, ekspresi  wajah  seseorang  dapat  diklasifikasi  dengan  menggunakan Machine  Learning Seperti pada penelitian [11] [12] [13].
Penelitian ini mengajukan sebuah sistem untuk mengklasifikasi emosi pada anak dengan berdasarkan nilai detak jantung dan konduktivitas kulit yang di kluster menggunakan metode K- Means dan akan difusikan dengan hasil analisis citra wajah yang diproses menggunakan metode CNN. Sistem ini akan membaca 4 jenis emosi yaitu netral, senang atau gembira, sedih, dan marah pada anak berusia 6-12 tahun. Diharapkan sistem ini dapat membantu guru dan orang tua dalam mengidentifikasi emosi anak.

## 2. METODE PENELITIAN
Pada penelitian ini dibangun sistem deteksi emosi pada anak menjadi 4 kelompok emosi yaitu marah, senang, sedih, dan netral dengan menggunakan metode K-Means untuk mengolah data dari detak jantung dan konduktivitas kulit serta metode CNN untuk mengolah data ekspresi wajah menggunakan Python dan ditampilkan pada GUI. Seluruh proses learning pada penelitian ini dilakukan menggunakan laptop yang memiliki spesifikasi prosesor AMD Ryzen™ 7 4800H,

## Gambar 1 Skema Penelitian
Gambar 2 Perancangan Klasifikasi Ekspresi Wajah
RAM  8GB, Webcam 720p  HD  kamera  dengan  menggunakan software  PyCharm  Community Edition 2021.2.1.
Sistem ini akan mengambil 3 data yaitu data detak jantung, data konduktivitas kulit, serta data ekspresi wajah pada setiap anak dengan menggunakan sensor MAX30102 untuk parameter detak  jantung,  sensor  Groove  GSR  untuk  parameter  konduktivitas  kulit,  serta webcam yang digunakan  untuk  mengambil  data  ekspresi  wajah  pada  anak.  Pengukuran  ketiga  parameter  ini dilakukan  secara  bersamaan.  Pengukuran  detak  jantung  dan  konduktivitas  kulit  ini  dapat dilakukan  dengan  cara  memasangkan masing-masing  sensor  di  jari anak  yang  akan  digunakan sebagai  objek  penelitian.  Untuk webcam menggunakan webcam dari  laptop  sehingga  dapat merekam ekspresi anak secara real time sehingga dapat mengambil ekspresi anak sesuai dengan emosi yang dirasakan.
Data yang diperoleh dari sensor detak jantung dan sensor GSR diolah dan dikelompokkan untuk mengetahui  kluster  emosinya  dengan  menggunakan  metode  K-Means.  Hasil  klusterisasi tersebut  dikirimkan  menggunakan  py.serial  untuk  difusikan  dengan  hasil  klasifikasi menggunakan  metode  CNN  yang  didapat  dari  penangkapan  ekspresi  wajah.  Hasil  klasifikasi emosi nantinya akan ditampilkan pada GUI sehingga user dapat mengetahui jenis emosi apa saja yang dialami oleh responden.

## 2.1 Klasifikasi dengan Metode CNN
Klasifikasi dapat dilakukan dengan menggunakan beberapa metode, salah satunya adalah metode Convolution Neural Network (CNN). Metode CNN merupakan salah satu metode deep learning yang sering digunakan dalam sebuah pengenalan citra. Selain untuk pengenalan citra, metode CNN juga sering digunakan dalam proses klasifikasi karena tingkat keberhasilannya yang tinggi  [14]  [15]  [16].  Metode  CNN  pada  penelitian  ini  digunakan  untuk  mengklasifikasi  data ekspresi wajah kedalam beberapa jenis emosi seperti yang tampak pada Gambar 2.
Gambar 3 Blok Diagram Pengambilan Dataset dengan Webcam
Gambar 4 Arsitektur CNN
a) Pengambilan dan Pengumpulan Dataset Ekspresi Anak Dataset yang  digunakan  untuk  klasifikasi  emosi  pada  anak  berdasarkan  ekspresi  citra wajah. Data citra wajah dalam penelitian ini diperoleh dari pengambilan citra secara langsung ( real  time )  menggunakan webcam internal yang  ada  pada  laptop.  Untuk  mendeteksi  area wajah  responden  pada  sampel  gambar  yang  diambil,  digunakan  metode Haarcascade dan dilakukan cropping pada area wajah. Diagram blok dari proses pengambilan dataset disajikan pada Gambar 3.
Dari  hasil  pengumpulan dataset tersebut  ditetapkan  sebanyak  10  anak  dan  setiap  anak diambil 500 citra sehingga jumlah citra yang akan digunakan dalam penelitian ini sebanyak 5000 citra wajah anak.
b) Arsitektur
Secara garis besar arsitektur CNN memiliki 3-layer secara umum seperti Convolutional Layers,  Max  Pooling  Layers, dan Fully  Connected  Layers [17].  Arsitektur  yang  digunakan pada penelitian ini disajikan seperti yang ada pada Gambar 4.
Lapisan awal yang disebut lapisan convolutional digunakan untuk mengekstrak fitur citra wajah.  Sebagian  besar  komputasi  dilakukan  di  lapis  ini.  Ukuran  citra  masukan  dapat dinyatakan  sebagai 𝑊 1 ×   ℎ 1 ×   𝑑 1 dimana 𝑤 1 dan ℎ 1 merupakan  lebar  dan  tinggi  citra sedangkan 𝑑 1 merupakan jumlah kanal warna (dalam CNN disebut depth atau kedalaman citra masukan). ReLU layer atau  lapisan Rectified  Linear Units merupakan  suatu  fungsi aktivasi yang  digunakan  untuk  menormalisasikan  nilai  yang  dihasilkan convolutional layer, menggunakan Persamaan 1.
𝑓ሺ 𝑥 ሻ = 𝑚𝑎𝑥 ሺ0, 𝑥ሻ (1)
Lapisan pooling atau pooling  layer akan  melakukan  reduksi  sample  untuk  menjaga ukuran data ketika convolution dilakukan. Umumnya proses pooling dilakukan menggunakan maxpooling yang mengambil nilai maximum dari suatu area tertentu. Lapisan Fully Connected merupakan matriks  satu  dimensi  yang  berfungsi  untuk  pemetaan input  pada  beberapa  node yang  terkandung  dalam Fully  Connected  layer .  Lapisan Fully  Connected biasanya menggunakan  fungsi softmax untuk  membatasi  rentang  nilai  keluaran  0  hingga  1  sehingga memungkinkan  untuk  memperlakukannya  sebagai  probabilitas.  Kelas  dari  data  input merupakan node dengan peluang yang maximum [18].

## Gambar 5 Klusterisasi Menggunakan Metode K-Means

## 2.2 Klusterisasi dengan Metdoe K-Means
Klusterisasi dilakukan menggunakan algoritma K-Means untuk mengkluster data berupa detak jantung dan konduktansi kulit sehingga mendapatkan titik centroid untuk setiap jenis emosi. Klusterisasi  K-Means  adalah  suatu  metode  analisis  yang  permodelannya  dilakukan  tanpa pengawasan ( unsupervised ) dan metode pengelompokan data  menggunakan sistem partisi  [19] [20]. Flowchart tahapan proses algoritma K-Means disajikan seperti Gambar 5.
Proses perhitungan menggunakan algoritma K-Means dijelaskan sebagai berikut:
a. Jumlah K(Kluster) yang akan dibentuk ditentukan terlebih dahulu.
b. Titik pusat kluster atau K- centroid akan dibangkitkan secara random.
c. Jarak setiap data akan dihitung terhadap tiap centroid menggunakan perhitungan jarak Euclidean seperti pada Persamaan 2
𝐷ሺ𝑥 𝑖 , 𝜋 𝑖 ሻ =   √∑ሺ𝑥 𝑖 − 𝜋 𝑖 ሻ 2 𝑛 𝑖=1 (2)
Keterangan:
D (xi,πi) = Jarak kluster n dengan pusat kluster π pada kata ke-i
Xi = bobot kata ke i pada kluster yang ingin dicari jaraknya πi = bobot kata ke- i pada pusat kluster
d. Data  berdasarkan  jarak  terdekat  antara  data  dengan centroid selanjutnya dikelompokkan.
e. Nilai centroid baru  ditentukan  dengan  cara  menghitung average dari  kluster  yang bersangkutan menggunakan perhitungan seperti pada Persamaan 3:
Gambar 6 Rumus Euclidean Pada Arduino
𝐶 𝑘 = 1 𝑛 𝑘 ∑ 𝑑 𝑖 (3)
Keterangan : nk = jumlah data dalam kluster k di = jumlah dari nilai jarak yang masuk dalam setiap kluster
f. Setelah  mendapatkan  nilai centroid baru,  maka  perlu  melakukan  perulangan  dari langkah c sampai e hingga tidak ada yang berubah pada anggota tiap kluster.
Pada  penelitian  ini,  data  pengukuran  konduktansi  kulit  dan  detak  jantung  yang dikumpulkan sebagai basis data diolah menggunakan code block untuk mendapatkan nilai centroid pada  setiap  jenis  emosi.  Setelah  diketahui  hasil centroid tetapnya  maka  nilai centroid tersebut dimasukkan pada program di mikrokontroller Arduino Mega 2560 sebagai range. Pada program Arduino dituliskan rumus seperti yang tersaji pada Gambar 6 dimana dc0, dc1, dc2, dan dc3 untuk perhitungan tiap emosi. Untuk mempermudah pemrograman penentuan jenis emosi setiap dc perlu disesuaikan dengan nilai centroid yang dimasukkan kedalam rumus Euclidean. Dalam penelitian ini centroid 0 merupakan emosi marah, centroid 1 merupakan emosi senang, centroid 2 merupakan emosi netral, dan centroid 3 merupakan emosi netral.

## 2.3 Fussion Metode K-Means dan Metode CNN
Klusterisasi emosi menggunakan metode K-Means dan klasifikasi menggunakan metode CNN  sering  kali  menghasilkan  hasil  yang  berbeda  sehingga  diperlukan  adanya  metode pengambilan keputusan. Oleh karena itu pada penelitian ini digunakan fusi antara kedua metode tersebut.  Proses  fusi  dilakukan  dengan  membuat rule kesimpulan  berdasarkan  hasil  klasifikasi emosi yang didapat dari masing-masing metode seperti disajikan pada Tabel 1.

## Tabel 1 Rule Klasifikasi Emosi Berdasarkan 3 Parameter
Klusterisasi Emosi Menggunakan K-Means Klasifikasi Emosi Menggunakan CNN Senang / Gembira Netral Sedih Marah Senang Senang Senang Netral Marah Netral Senang Netral Sedih Marah Sedih Netral Sedih Sedih Marah Marah Senang Marah Sedih Marah

## 2.4 Desain GUI
Semua model terbaik yang telah diuji baik berdasarkan detak jantung, konduktivitas kulit, maupun  ekspresi  wajah  digabungkan  menjadi  satu  untuk  di  implementasikan  menjadi  suatu sistem deteksi emosi pada anak. Model dari kedua metode akan digabungkan menjadi satu untuk ditampilkan pada GUI.
Gambar  7  menyajikan  tampilan  awal  GUI  yang  memiliki  beberapa frame yaitu  f rame user  information ,  ambil  tindakan,  dan  ambil  data. Frame  user  information berfungsi  untuk menampilkan  informasi user yang  berisi  nama,  gender,  dan  juga  umur.  Frame  ambil  tindakan

## Gambar 7 Tampilan GUI
memiliki  2 button yaitu button deteksi  dan  juga button ambil screenshoot. Button deteksi berfungsi untuk memproses program klasifikasi emosi berdasarkan ekspresi wajah yang sudah diproses menggunakan metode CNN. Hasil emosi yang terdeteksi akan ditampilkan pada textbox klasifikasi emosi berdasarkan wajah. Untuk button ambil screenshoot merupakan fitur tambahan yang digunakan untuk mengambil  gambar layer  secara fullscreen . Frame ambil data berfungsi untuk menampilkan  nilai  GSR,  nilai  HR,  serta  hasil klasifikasi  berdasarkan  detak  jantung  dan konduktivitas kulit yang sudah diproses menggunakan metode K-Means. Hasil dari fusion antara metode  K-Means  dan  metode  CNN  menghasilkan  satu  prediksi  emosi  yang  ditampilkan  pada textbox klasifikasi emosi berdasarkan fusi kedua metode.

## 3. HASIL DAN PEMBAHASAN

## 3.1 Dataset Retrieval Berdasarkan Ekspresi Wajah
Klasifikasi  emosi  berdasarkan  ekspresi  wajah  diproses  menggunakan  metode  CNN. Penelitian ini menguji beberapa dataset yang ada untuk mendapatkan nilai akurasi yang terbaik. Beberapa dataset yang digunakan adalah dataset yang ada pada Kaggle yaitu FER-2013 dengan total citra sebanyak 26.217, dataset berdasarkan pengambilan citra dari webcam dengan total citra keseluruhan  sebanyak  20.000,  serta dataset campuran  yang  berasal  dari  citra  terpilih  antara dataset  Kaggle dengan dataset yang  diambil  sendiri menggunakan webcam ,  dengan total  citra sebanyak 39.160. Keseluruhan dataset yang digunakan merupakan gambar hitam putih dengan ukuran pixel 48 x 48.

## a) Dataset FER 2013
Penelitian ini menggunakan 4 emosi yang ada pada dataset FER-2013 dengan total citra sebanyak  26.217  dengan  rincian  masing–masing  emosi  terdiri  dari  4953  citra  wajah  anak untuk emosi marah, 8989 untuk emosi senang, 6198 untuk emosi netral, dan 6077 untuk emosi sedih.
b) Dataset Pengambilan Citra Melalui Webcam
Dataset ini  didapatkan  dari  pengambilan  pada  anak  umur  6-12  tahun  secara  langsung menggunakan webcam internal  yang  ada  pada  laptop  dengan  menggunakan  bahasa pemrograman Python. Total citra yang digunakan pada percobaan ini adalah 20.000 dengan pembagian menjadi 4 jenis  emosi,  yang masing-masing  emosi terdiri  dari  5000 citra  wajah anak.
Textbox Klasifikasi  Emosi
Berdasarkan Ekspresi Wajah
Textbox Nilai GSR
Textbox Nilai HR
Textbox Klasifikasi  Emosi
Berdasarkan Kondisi Tubuh
Textbox Klasifikasi
Emosi  Berdasarkan Fusi Kedua Metode
Gambar 8 Hasil Penyimpanan Dataset
Saat melakukan pengambilan dataset berdasarkan ekspresi wajah. Metode Haarcascade frontalface dan metode cropping dengan menggunakan Region of Interest (ROI) digunakan agar data yang didapat benar-benar sesuai dan berfokus pada ekspresi wajah. Semua data yang terdeksi menggunakan haarcascade dilakukan resize terhadap 1 dimensi size yang sama yaitu 48x48 pixel , dan citra yang di dapat akan berupa citra greyscale . Dataset yang sudah diambil akan dikumpulkan dalam satu folder, seperti yang tampak pada Gambar 8.
c) Dataset Campuran Antara Dataset FER 2013 dan Pengambilan Sendiri
Untuk  mencari  nilai  akurasi  yang  terbaik  maka  dilakukan  juga  pengujian  dengan menggabungkan kedua dataset . Dataset FER-2013 digabungkan dengan dataset yang diambil sendiri  sehingga  didapatkan  total  citra  39.160  dengan  4    jenis  emosi  yaitu  senang,  sedih, marah,  dan  netral.  Dengan  total  citra  sebesar  9.790  untuk  masing-masing  emosi.  Dengan rincian  data  4.790  citra  diambil  dari dataset FER-2013  dan  5000  citra  diambil  dari dataset yang dikumpulkan sendiri.

## 3.2 Dataset Retrieval Berdasarkan Kondisi Tubuh
Data  yang  dikumpulkan  berjumlah  800  data  yang  terdiri  dari  2  parameter  yaitu  detak jantung dan konduktivitas kulit. Data tersebut diperoleh dengan melakukan  percobaan pada 10 anak  sebanyak  4  kali  dan  dikumpulkan  20  data  dari  tiap  anak  untuk  tiap  kondisi.  Dari  hasil pengambilan  data  detak  jantung  dan  konduktivitas  kulit  menggunakan  beberapa  stimulus pembangkit emosi disajikan pada Gambar 9.
Pada penelitian ini, anak diberi rangsangan berupa permainan dan beberapa video yang sudah  disiapkan  untuk  mengidentifikasi  emosi  marah,  senang,  netral,  dan  sedih.  Untuk mendapatkan emosi netral, tidak ada pembangkit emosi yang diberikan pada anak. Emosi netral diambil untuk mengetahui perbedaan nilai emosi dari kondisi normal ke kondisi emosi lainnya.

## Gambar 9 Hasil Pengambilan Data HR dan GSR
Gambar 10 Grafik Akurasi dan Loss Dataset FER2013
Gambar 11 Grafik Akurasi dan Loss Dataset Campuran
Pada Gambar 9 terlihat bahwa data 0-200 merupakan kumpulan data konduktansi kulit dan  detak  jantung  anak  sebelum  diberi  stimulus  video  apapun.  Data  200-400  merupakan  data konduktansi  kulit  dan  detak  jantung  anak  saat  diberikan  video  untuk  membangkitkan  emosi senang  atau gembira.  Data  400-600 merupakan  data konduktansi  kulit dan detak  jantung  anak saat  diberikan  video  untuk  membangkitkan  emosi  sedih.  Data  600-800  merupakan  data  detak jantung dan konduktivitas kulit anak saat diberikan suatu permainan yang dapat membangkitkan emosi marah. Berdasarkan grafik tersebut dapat diketahui bahwa masih terdapat data yang berada diluar  kelompok  seperti  yang  ditandai  dengan  kotak  berwarna  tosca.  Selain  itu,  pengambilan emosi  netral  dan  emosi  senang  sangatlah  berdekatan  sehingga  diperlukan  suatu  metode  yang dapat  mencari  titik centroid dari  masing-masing  jenis  emosi  oleh  karena  itu,  penelitian  ini menggunakan metode K-Means.

## 3.3 Klasifikasi Emosi Berdasarkan Ekspresi Wajah
Dalam  proses learning ,  beberapa dataset diuji  untuk  mengetahui  nilai  akurasi  terbaik. Semua dataset terbagi menjadi data training dan data testing dengan komposisi 8:2. Setiap dataset ekspresi wajah diproses menggunakan metode CNN dengan 3 lapis konvolusi. Hasil accuracy proses pembelajaran arsitektur CNN menggunakan beberapa dataset pada saat menggunakan 3 Convolution Layer disajikan pada Gambar 10 hingga Gambar 12.

## Gambar 12 Grafik Akurasi dan Loss Pengambilan Dataset Sendiri
Gambar 13 Nilai Centroid
Gambar 14 Hasil Serial yang Terbaca di Python
Berdasarkan grafik yang tersaji dalam Gambar 10 hingga Gambar 12 dapat diamati bahwa nilai akurasi terbaik didapatkan pada saat menggunakan dataset yang diambil sendiri berdasarkan ekspresi wajah anak secara real time menggunakan webcam . Pada pengujian ini akurasi training dan  akurasi  validasi  tertinggi  diperoleh  pada  saat  menggunakan dataset yang  diambil  sendiri dengan  epoch  100.  Dengan  epoch  100  didapatkan  akurasi  latih  sebesar  99%  atau  hampir sempurna dan akurasi validasi sebesar 90%. Sehingga, model ini lah yang akan ditanamkan untuk mengklasifikasikan emosi secara real time menggunakan kamera pada laptop.

## 3.4 Klasifikasi Emosi Berdasarkan Kondisi Tubuh
Data  konduktansi  kulit  dan  detak  jantung  anak,  didapatkan  menggunakan  sensor MAX30102 dan sensor GSR Groove kemudian diproses menggunakan metode K-Means untuk mendapatkan nilai centroid untuk tiap jenis emosi. Dari hasil pengujian didapatkan nilai centroid untuk masing-masing emosi seperti yang tampak pada Gambar 13.
Untuk membaca serial dari Arduino maka digunakan code ser.readline().decode(‘ascii’). Nilai detak jantung, konduktivitas kulit, serta hasil klasifikasi emosi berdasarkan kondisi tubuh menggunakan metode K-Means akan ditampilkan pada textbox yang ada pada frame ambil data melalui code  TxtBox.insert(). Sehingga  hasil  serial  yang  ditampilkan  di  python  terlihat  seperti Gambar 14.

## Gambar 15 Tampilan GUI saat Pengujian

## 3.5 Fusion Metode
Pengujian  ini  dilakukan  untuk  mengetahui  apakah  keputusan  emosi  final  berdasarkan hasil klasifikasi emosi berdasarkan kedua metode sudah sesuai dengan rule yang telah dibuat atau tidak. Dari hasil pengujian dapat terlihat bahwa hasil prediksi final yang ditampilkan pada GUI sudah sesuai dengan rule seperti yang tampak pada Gambar 15.

## 3.6 Uji Akurasi Sistem
Pengujian ini dilakukan untuk memverifikasi kesesuaian antara hasil yang ditampilkan oleh alat dan hasil yang terlihat berdasarkan pengamatan. Pada penelitian ini pengujian dilakukan pada 20 anak berumur 6-12 tahun.

## Tabel 2 Uji Sistem Deteksi Emosi Pada Anak
Anak Umur Jenis Emosi Hasil Uji Hasil Pengamatan 1 6 Senang Senang 2 6 Netral Sedih 3 7 Netral Netral 4 7 Senang Senang 5 8 Senang Senang 6 8 Senang Senang 7 8 Sedih Netral 8 8 Senang Senang 9 8 Netral Senang 10 9 Netral Netral 11 9 Marah Marah 12 9 Sedih Sedih 13 10 Senang Senang 14 11 Netral Netral 15 12 Senang Senang 16 12 Sedih Netral 17 12 Senang Senang 18 12 Senang Senang 19 12 Sedih Sedih 20 12 Senang Senang
Seperti yang tersaji pada Tabel 2 terlihat bahwa dari pengambilan data sebanyak 20 anak ada  sekitar  4  data  yang  tidak  sesuai  dengan  hasil  pengamatan.  Dari  perbedaan  tersebut,  perlu dilakukan verifikasi ulang agar data yang dihasilkan valid. Proses verifikasi data dapat dilakukan dengan  mengamati  kondisi  lingkungan  sekitar  dari  tempat  tinggal  responden  dan  tempat pengujian  berlangsung.  Selain  itu  juga  dapat  menanyakan  terlebih  dahulu  hal  yang  dilakukan sebelum melakukan pengujian. Seperti pengambilan data pada responden no2, jenis emosi yang terlihat tanpa alat anak no2 terlihat sendu. Pada saat pengujian berlangsung alat membaca netral padahal wajah yang terlihat adalah sedih hal ini karena nilai detak jantung dan konduktivitas anak
tersebut masuk dalam kondisi emosi senang sehingga jika dicocokkan dengan rules maka anak tersebut akan terbaca netral.

## 4 KESIMPULAN DAN SARAN
Klusterisasi emosi anak dengan metode K-Means menggunakan data detak jantung dan konduktivitas kulit menghasilkan nilai centroid emosi senang sebesar 70 (HR) dan 2.5 (GSR), emosi netral sebesar 77 (HR) dan 2.6 (GSR), emosi sedih sebesar 89 (HR) dan 3 (GSR), emosi marah sebesar 110 (HR) dan 5 (GSR). Terlihat centroid untuk keempat emosi memiliki jarak yang cukup lebar sehingga Metode K-means terbukti dapat mengkluster keempat emosi dengan baik. Klasifikasi  emosi  berdasar  citra  wajah  menggunakan  metode  CNN  dengan  3  lapis  konvolusi menghasilkan akurasi training dan akurasi validasi tertinggi pada saat menggunakan dataset yang diambil menggunakan webcam dengan epoch 100 sebesar 99% dan akurasi validasi sebesar 90%. Dari hasil uji sistem deteksi emosi pada anak berdasarkan fusi antara hasil klasifikasi emosi CNN dan klusterisasi emosi K-Means didapatkan akurasi sebesar 80%. Untuk penelitian selanjutnya, dapat  dilakukan  beberapa  pengembangan  untuk  meningkatkan  akurasi  sistem,  seperti menambahkan beberapa jenis emosi lain selain emosi netral yang cocok untuk klasifikasi emosi berdasarkan detak jantung dan konduktivitas kulit serta menambahkan beberapa parameter lain seperti suhu tubuh.

## UCAPAN TERIMA KASIH
Penulis  mengucapkan  terima  kasih  pada  Badan  Penelitian  dan  Pengembangan Kementerian Riset, Teknologi, dan Pendidikan Tinggi (Kemenristek Dikti) atas dana hibah untuk penelitian tesis magister. Dengan Surat Keputusan Nomor 0746/D4/AK.04/2022.

## DAFTAR PUSTAKA
[1]   P. Tarnowski, M. Kolodziej, A. Majkowski and R. J. Rak, "Combined analysis of GSR and EEG  signals  for  emotion  recognition,"  in International  Interdisciplinary  PhD  Workshop (IIPhDW) , Swinoujście, Poland, 2018.
[2]   T. M. McWhorter, Y. Ni, H. Nie, Y. Larve, A. J. A. Majumder and D. R. Ucci, "sEmoD: A Personalized Emotion Detection Using a Smart Holistic Embedded IoT System," in IEEE 43rd  Annual  Computer  Software  and  Application  Conference(  COMPSAC) ,  Milwaukee, WI, USA, USA, 2019.
[3]   Anonim, "Peran Emosi Positif dan Emosi Negatif," Psikologi Universitas Muhammadiyah Purwokerto,
30 November 2020. [Online]. Available:
https://psikologi.ump.ac.id/2020/11/30/peran-emosi-positif-dan-emosi-negatif/.  [Accessed 2 Desember 2021].
[4]   Y. Rachmawati, "Perkembangan Emosi," in Perkembangan Sosial Emosional pada Anak Usia Taman Kanak-kanak , Universitas Terbuka Repository, p. 1.3.
[5]   E.  Labudasari  and  W.  Sriastria,  "Perkembangan  Emosi  Pada  Anak  Sekolah  Dasar,"  in Seminar Nasional Pendidikan FKIP Universitas Muhammadiyah Cirebon , 2018.
[6]   A. Mahabbati, "Identifikasi Anak dengan Gangguan Emosi dan Perilaku di Sekolah dasar," Jurnal Pendidikan Khusus, vol. II, no. 2, 2006.
[7]   A.  Mu'arifah,  "Pentingnya  Emosi  Anak  Dikendalikan,"  Universitas  Ahmad  Dahlan,  16 September  2013.  [Online].  Available:  https://uad.ac.id/id/pentingnya-emosi-anak- dikendalikan/. [Accessed 2 Desember 2021].
[8]   M. Menard, H. Hamdi, P. Richard and B. Dauce, "Emotion Recognition Based on Heart Rate and SKin Conductance," in Science and Technology Publication , 2015.
[9]   A. Cernian, A. Olteanu, D. Carstoiu and C. Mares, "Mood Detector  - On Using Machine Learning to Identify Moods and Emotion," in International Conference on Control System and Computer Science , 2017.
[10]  T. Paul, C. Bhattacharyya, P. Sen, R. Prasad and S. Shaw, "Human Emotion Recognition using GSR and EEG," International Journal of Scientific and Research Publication, vol. X, no. 5, pp. 394-400, 2020.
[11]  P. Rani, "Emotion Detection of Autistic Children using Image Processing," in 2019 Fifth International Conference on Image Information Processing (ICIIP) , Shimla, India, 2019.
[12]  N.  Dewi  and  F.  Ismawan,  "Implementasi  Deep  Learning  Menggunakan  Convolutional Neural Network untuk Sistem Pengenalan Wajah," Faktor Exacta, vol. 14, no. 1, pp. 34-43, 2021.
[13]  A. N. Fadzila, D. P. Pamungkas and R. Wulaningrum, "Proses Ekstrasi Klasifikasi Citra Emosi Menggunakan Metode PCA dan CNN," Joutica, vol. 6, no. 2, p. 484, 2021.
[14]  R. Rokhana, J. Priambodo, T. Karlita, I. M. G. Sunarya, E. M. Yuniarno, I. K. E. Purnama and  M.  H.  Purnama,  "Convolutional  Neural  Network  untuk  Pendeteksian  Patah  Tulang Femur pada Citra Ultrasonik B-Mode," JNTETI, vol. VIII, no. 1, pp. 59-67, 2019.
[15]  R. Indraswari, R. Rokhana and W. Herulambang, "Melanoma image classification based on MobileNetV2 network," in ISICO , 2021.
[16]  R. Rokhana, W. Herulambang and R. Indraswari, "Multi-Class Image Classification Based on  MobileNetV2  for  Detecting  the  Proper  Use  of  Face  Mask,"  in IEEE ,  Surabaya, Indonesia, 2021.
[17]  A.  Mollahosseini,  D.  Chan  and  M.  H.  Mahoor,  "Going  deeper  in  facial  expression recognition using deep neural networks," in IEEE , Lake Placid, NY, USA, 2016.
[18]  R.  Indraswari,  W.  Herulambang  and  R.  Rokhana,  "Deteksi  Penyakit  Mata  Pada  Citra Fundus Menggunakan Convolutional Neural Network," Techno.com, vol. XXI, no. 2, pp. 378-389, 2022.
[19]  K.  P.  Sinaga  and  M.  S.  Yang,  "Unsupervised  K-Means  Clustering  Algorithm," IEEE Access, vol. 8, pp. 80716-80727, 2020.
[20]  I.  G.  Harsemadi  and  I.  M.  Sudarma,  "Penggolongan  Musik  Terhadap  Suasana  Hati Menggunakan Metode K-Means," in Konferensi Nasional Sistem dan Informasi , 2017.