## Institute of Research and Publication Indonesia
MALCOM: Indonesian Journal of Machine Learning and Computer Science
Journal Homepage: https://journal.irpi.or.id/index.php/malcom Vol. 1 Iss. 2 October 2021, pp: 162-169 P-ISSN: 2797-2313 ISSN(E): 2775-8575

## Application of Microexpressions to Recognize Kinship Using Extreme Learning Machine

## Penerapan Microexpressions untuk Mengenali Hubungan Kekerabatan Menggunakan Extreme Learning Machine
Rizqi Ramadhan 1 *, Ike Fibriani 2 , Widya Cahyadi 3
123 Jurusan Teknik Elektro, Fakultas Teknik, Universitas Jember
E-Mail: 1 171910201018@mail.unej.ac.id, 2 ikefibriani.teknik@unej.ac.id, 3 cahyadi@unej.ac.id
Received Jun 28th 2021; Revised Aug 03rd 2021; Accepted Sept 25th 2021 Corresponding Author: Rizqi Ramadhan

## Abstract
In the world of computer vision, research on facial expressions has been attempted by the Chinese Academy of Sciences MicroExpression (CASME). The research created an information base that contained several photos of facial expressions that  aimed  to  assist  researchers  in  the  field  of  computer  vision  on  micro-expressions.  In  its  implementation,  this MicroExpression research stopped in its development and did not continue to be developed in subsequent research. Kinship is  one  of  the  terms  "kinship"  in  a  species.  The  purpose  of  this  kinship  modeling  is  to  determine  whether  2  people  are connected and supervise each other (brothers). Most of the existing kinship methods assume that each pair of images with positive facial images (with images that confirm kinship) has a higher score for the non-kinship image group. -negative. In this study the author develops researchers on MicroExpression to be developed in the field of kinship or kinship, using MicroExpression as a parameter and using mouth image as a special extraction in image retrieval on its Microexpression parameters, using several features and classification methods with Extreme Machine Learning and extraction the Color Features  feature  produces  several  accuracy  values  for  ELM  and  Microexpression,  respectively,  namely  80.06%  and 76.31%.
Keyword: Color Features, ELM, Kinship, Microexpression

## Abstrak
Dalam  dunia  computer  vision,  riset  tentang  ekspresi  wajah  sudah  dicoba  oleh Chinese  Academy  of  Sciences MicroExpression (CASME). Riset tersebut membuat basis informasi yang ada sebagian foto ekspresi wajah yang bertujuan buat menolong riset di bidang computer vision tentang ekspresi mikro. Dalam pelaksanaanya penelitian MicroExpression ini  berhenti  dalam  pengembanganya  dan  tidak  berlanjut  untuk  kemudian  dikembangkan  dalam  penelitian  berikutnya. Kinship ialah salah satu sebutan“ kekerabatan” dalam salah satu spesies . Tujuan dari pemodelan kinship ini merupakan buat memastikan apakah 2 orang saling terhubung dan saling terikat (bersaudara) Sebagian besar metode kekerabatan yang ada mengasumsikan bahwa setiap pasangan citra dengan citra wajah positif (dengan citra yang menegaskan kekerabatan) memiliki  skor  yang  lebih  besar  untuk  kelompok  citra  kekerabatan non-negatif .  Dalam  penelitian  ini  penulis mengembangkan penelitian mengenai MicroExpression ini untuk dikembangkan dalam penelitian di bidang Kinship atau hubungan  kekerabatan,  dengan  menggunakan MicroExpression sebagai  parameternya  dan  menggunakan  citra  mulut sebagai ekstraksi khusus dalam pengambilan citra pada parameter Microexpressio nya, dengan menggunakan beberapa fitur dan metode yakni klasifikasi dengan Extreme Learning Machine dan ekstraksi fitur dengan Color Features menghasilkan beberapa hasil nilai akurasi pada ELM dan Microexpression berturut-turut yakni 80,06% dan 76,31%.
Kata Kunci: Color Features, ELM, Kinship, Microexpression

## 1. PENDAHULUAN
Mata Sistem pengenalan wajah ( face recognition ) bukanlah hal yang baru dalam ranah komputasi atau pemrosesan  citra.  Pada  bidang  pemrosesan  wajah  ( face  processing ),  pendeteksi  wajah (face  detection ) merupakan salah satu tahap awal yang sangat penting dalam proses pengenalan wajah ( face recognition ) [1]. Dalam perkembangannya, pengenalan ekspresi wajah digunakan dalam berbagai kepentingan, seperti kontrol akses  suatu  perangkat  keamanan,  identifikasi  pelaku  kriminal  berdasarkan  bukti  citra  digital,  perangkat antarmuka  komputer  dan  manusia,  diagnosa  penyakit,  diagnosa  kejiwaan  dan  lain-lain  [2].  Sebagai  contoh
dalam  dunia  medis,  Dai  et  al.  (2001)  mengajukan  gagasan  untuk  memonitor  pasien  rawat  inap  dengan menggunakan 3 pengenalan ekspresi wajah untuk mendeteksi  status pasien. Berangkat dari ide dasar bahwa tingkat kesakitan mempengaruhi ekspresi wajah pasien, Beberapa ilmuwan berhasil menyelidiki kemampuan penilai manusia dalam mengenali kekerabatan dari manusia melalui gambar wajah, dan telah berusaha untuk menemukan  fitur  wajah  yang  lebih  penting  sebagai  petunjuk  kekerabatan  [3][4].  Kaminski  dkk.  (2009), menggunakan kumpulan data gambar wajah yang dipotret dalam kondisi tidak terkontrol, melaporkan dengan benar klasifikasi kekerabatan dengan akurasi 66% untuk saudara kandung. Sebagai perbandingan, penilai tidak melebihi  73%  dari  tingkat  kekerabatan  penilaian  saat  ditampilkan  dua  gambar  dari  orang  yang  sama.  Riset psikologis tentang anggapan kekerabatan manusia dari penampilan wajah ini menginspirasi sebagian peneliti dalam  bidang computer  vision untuk  meningkatkan  tata  cara  verifikasi  kekerabatan  otomatis  serta meningkatkan kinerja mesin setara dengan manusia (Xiaoting wu dkk, 2018) [5].
Dalam literatur serta kasus diatas penulis memiliki usulan untuk melaksanakan suatu deteksi pengenalan hubungan  kekerabatan  menggunakan  salah  satu  parameter  usulan  yakni Micro  Expression yang  mana informasi diambil dari hasil deteksi emosi dari suatu citra dengan mengambil ilustrasi lower face untuk deteksi wajahnya, setelah itu citra tersebut di olah serta di latih dengan memakai syarat untuk deteksi ekspresi yakni ekstraksi  dan  klasifikasi,  dengan  menggunakan Coloring  Features sebagai  fitur  ekstraksi  dari  citra  tersebut yang memanfaatkan hasil citra lower face serta memakai Extreme Machine Learning ( ELM) untuk klasifikasi citra dalam skala yang kecil.
Kemudian didapatkan suatu nilai akurasi untuk melihat hasil dari perlakuan kecocokan antara citra satu dengan  citra  lainya  dengan  menggunakan  standart  deviasi  dari  departemen  kementrian  kesehatan  dengan akurasi uji alat minimal sebesar 80%. Citra yang hendak digunakan berasal dari dataset KinFaceW .

## 2. BAHAN DAN METODE
Langkah  –  langkah  kerja  dalam  penelitian  ini  dibagi  menjadi  proses  ekstraksi  menggunakan Color Features dan tiga tahapan besar pada klasifikasi Extreme Learning Machine yaitu Pembagian Data Testing dan Data Training, Training ELM dan Testing ELM.

## 2.1. Pengekstrasian dengan Color Features
Pada proses pengekstrasian menggunakan Color Features ini digunakan sebagai Langkah yang diambil sebelum memasuki proses klasifikasi pada Extreme Learning Machine , pada proses ini terbagi menjadi 2 kali proses yakni:
a. Pemotongan wajah dengan Landmark Face Detection , pada proses ini wajah dipotong menjadi bagian satu wajah yang utuh untuk proses pemotongan fitur Lower Face berikutnya.
b. Ekstraksi Lower  Face ROI  (mulut)  setelah  dilakukan  pemotongan  wajah  dilakukan  proses  ekstraksi pada Lower  Face tersebut  dengan  menggunakan Color  Features ,  yang  mana  hasil  dari  ekstraksi  ini berupa  gambar  mulut  yang  telah  diekstraksi  menjadi  gambar  dengan  memiliki  nilai  deteksi  tepi  dan subpixel yang nantinya akan dikumpulkan pada dataset untuk dilakukan proses training dan Validation pada klasifikasi Extreme Learning Machine.

## 2.2. Pembagian Data Testing dan Data Training
Proses  training  ini  akan  digunakan  untuk  mengembangkan  dan  meningkatkan  efektivitas  dari penggunaan  ELM.  Proses testing sendiri  akan  digunakan  untuk  mengukur  dan  mengevaluasi  berulangkali kemampuan ELM yang digunakan. Pembagian Data training dan Data Testing dibagi dengan proporsi sebagai berikut:
a. Data Training sebanyak 75% dari total data yang dimiliki [6].
b. Data Testing sebanyak 25% dari total data yang dimiliki [6].

## 2.3. Training ELM
Proses Training ELM ini dilakukan dengan menggunakan tool Google Colab dan menggunakan Bahasa Pemrograman Python serta proses training yang terbagi menjadi empat bagian, yaitu:
a. Normalisasi Data Training Rumus yang digunakan dalam normalisasi adalah persamaan 1.
𝒙 =  𝟐 𝒙 (𝒙𝒑 − 𝒎𝒊𝒏 𝒙𝒑) 𝒎𝒂𝒙 𝒙𝒑 − 𝒎𝒊𝒏 𝒙𝒑 –  𝟏 (1) Keterangan: x : nilai hasil normalisasi dengan rentang antara  - 1 sampai 1 xp
: nilai data asli yang belum dinormalisasi min xp : nilai minimum pada data set
max xp : nilai maksimum pada data set
b. Penentuan Fungsi Aktivasi dan Jumlah Hidden Neuron
Pada tahap proses training , fungsi aktivasi dan jumlah dari hidden neuron harus ditentukan agar dapat menghasilkan fungsi  aktivasi sigmoid. Menurut  (Sun, Choi, Au, & Yu, 2008) [7], ELM menghasilkan output peramalan  yang  stabil  dengan  jumlah hidden  neuron 0-30.  Tetapi  jika output yang dihasilkan ELM kurang optimal, maka jumlah hidden neuron -nya akan diubah.
c. Perhitungan  bobot input ,  bias  dari hidden  neuron, dan  bobot  output.  Proses  training  ELM menghasilkan  output  sebagai  berikut:  bobot input, bobot output ,  dan  bias  dari hidden  neuron dengan tingkat error rendah dan diukur menggunakan Mean Square Error (MSE). Bobot input akan  ditentukan  secara  acak,  serta  bobot output yang  menjadi invers daripada  matriks hidden layer dan output [8].  Denormalisasi  hasil output Proses training yang  menghasilkan output harus didenormalisasi kembali dengan rumus denormalisasi persamaan 2.
𝒙 = 𝟎. 𝟓 𝒙 (𝒙𝒑  +  𝟏) 𝒙 (𝒎𝒂𝒙 𝒙𝒑  −  𝒎𝒊𝒏 𝒙𝒑)   +  𝒎𝒊𝒏 𝒙𝒑 (2) Keterangan: x : nilai data setelah denormalisasi xp : nilai data asli yang belum denormalisasi
min xp : nilai minimum pada data set sebelum denormalisasi max xp : nilai maksimum pada data set sebelum denormalisasi d. Testing ELM
Pada  tahap testing ELM  ini,  data input akan  dinormalisasi  dan  didenormalisasi  berdasarkan bobot input dan output yang  didapat  dari  proses training melalui  rumus  yang  sama  dengan rumus  data training .  Sehingga  dari  ketiga  tahapan  diatas  dapat  terbentuk  diagram  blok  pada gambar 1.

## Gambar 1. Blok Diagram

## 3. HASIL DAN ANALISIS
Pada  bagian  ini,  akan  dijelaskan  hasil  dan  pembahasan  dalam  proses  klasifikasi  emosi Micro- Expressions wajah  berbasis subpixel  subtle  motion  estimation menggunakan Extreme  Learning  Machine. Analisis dan hasil evaluasi dari proses ekstraksi fitur hingga proses klasifikasi dan implementasi dari beberapa uji  coba  yang  dilakukan,  dijelaskan  dalam  bagian  ini.  Adapun  hal  utama  yang  akan  dibahas  dalam  bab  ini adalah  Implementasi  hasil  ekstraksi  fitur,  Klasifikasi  emosi  Micro-Expressions  dilakukan  pada  dataset KinFaceW, serta menganalisa hasil dari akurasi untuk mengetahui hasil prediksi hubungan kekerabatan.

## 3.1. Hasil Ekstraksi Fitur pada Dataset KinFaceW
Pada dataset KinFaceW, data yang digunakan pada uji coba adalah Ayah-Anak (F-S), Ayah-Putri (F- D), Ibu-Anak (L-S), dan Ibu-Putri (L-D). Pada dataset KinFaceW-I terdapat 156, 134, 116, dan 127 pasang citra kekerabatan untuk keempat relasi tersebut. Untuk dataset KinFaceW-II, setiap relasi berisi 250 pasang citra kekerabatan. Dari semua data yang ada, akan dibagi menjadi dua kelompok data  yaitu data  yang akan digunakan sebagai pelatihan ( training ), dan data yang digunakan sebagai uji coba ( testing ). Proses pelatihan
dan  pengujian  yang  ada  dilakukan  dengan  cara  ROI  yang  dideteksi  dibagi  menjadi  dua  bagian  utama  yaitu lower face (area sekitar mulut). Untuk ROI lower face ukuran citra pada KinFac e 48×48 (grayscale ).
Gambar 2. Hasil Ekstraksi Fitur
Pada hasil gambar transformasi lower face diatas dapat dianalisa bahwasanya gambar grafik tersebut menunjukkan pola persebaran nilai color features pada lower face terhadap sumbu x (tinggi mulut) dan y (lebar mulut) yang sudah dinormalisasi menjadi satu dimensi ukuran fitur untuk contoh sampel emosi. Gambar grafik diatas juga merupakan nilai dan pola persebaran dari ekstraksi mulut yang telah dilakukan.
Untuk  mengekstraksi  fitur  wajah,  beberapa  operasi  pemrosesan  gambar  dilakukan  pada  fitur  wajah tersegmentasi. Bagian hitam dari gambar biner ini adalah segmen fitur dan bagian putih dari gambar ini adalah layer  belakang.  Kemudian  dilakukan  operasi  komplemen  citra  pada  citra  biner  tersebut  untuk  penerapan operasi pengolahan.

## 3.2. Hasil Implementasi Microexpression
Microexpression model  yang  diusulkan  dievaluasi  dalam  dataset KinFaceW ini.  Karena  vektor  fitur berisi 6 nilai, jumlah node yang berada di lapisan masukan adalah 6. Dengan perkiraan yang tepat dari jumlah node tersembunyi di lapisan tersembunyi, nilai-nilai ini diberikan  sebagai  masukan di lapisan  masukan dan jumlah  node  di  lapisan  keluaran  adalah  enam  sebagai  model  yang  diusulkan  berkaitan  dengan  enam  jenis ekspresi.
Performa sistem dianalisis saat sistem dilatih dengan benar. Kumpulan 50 gambar yang terdiri dari 6 tipe  dasar  ekspresi  wajah  dan  satu  gambar  netral  digunakan  untuk  pelatihan.  Kemudian  beberapa  gambar dilakukan  pengujian  dengan  menggunakan  Algoritma Extreme  Learning  Machine. Diperlukan  0,0936 detik untuk  melatih  50  gambar  dalam system. Dan  berikut  merupakan  hasil  dari  proses  pelatihan  untuk loss dan akurasinya.
Gambar 3. Hasil Training dan Validasi Loss
Dari kedua hasil gambar grafik diatas dapat diambil analisa bahwasanya berdasarkan hasil pengujian pertama seperti yang ditunjukkan grafik hasil pelatihan pemilihan parameter diatas, hasil akurasi yang dicapai masih kurang baik karena nilai akurasi melebihi nilai data uji Validasi . Pada hasil percobaan ini juga terjadi overfitting, yang  disebabkan  karena  jumlah  data  latih  dan  data Validasi tidak  cukup  banyak,  sehingga mempengaruhi tingkat akurasi, dimana hasil akurasi data latih jauh lebih tinggi dibanding data uji nilai loss. Pada  hasil microexpressio n  ini  setelah  melatih  pada  32298 sampel,  dan Validasi pada  3589  sampel  dengan menggunakan 20 epoch maka menghasilkan beberapa hasil seperti Akurasi, dan Training loss.
Gambar 4. Hasil Training dan Validasi Akurasi
Pada pengambilan data untuk hasil Microexpressions ini menghasilkan nilai loss dan nilai untuk akurasi dari training Microexpressions ini seperti gambar 5.
Gambar 5. Hasil Tes Akurasi dan Nilai Loss
Dari hasil gambar diatas bahwasanya nilai akurasi pada deteksi Microexpressions yang diperlakukan pada  Dataset KinFaceW ini  menghasilkan  nilai  akurasi  sebesar  87,5%  dan  nilai loss sebesar  1,48%  dengan masing- masing gambar pada sampel KinFaceW ini bernilai pixel 64×64.

## 3.3. Hasil Pengukuran Akurasi ELM
Akurasi  Elm  Terhadap  Jumlah Hidden  Neuron bahwa  penentuan  jumlah hidden  neuron akan berpengaruh pada prediksi ELM yang optimal. Prediksi ELM sendiri akan menghasilkan output yang stabil dengan  rentang  0  sampai  30  (Sun,  Choi,  Au,  &  Yu,  2008).  Data  tingkat  akurasi  yang  dihasilkan  prediksi menggunakan  metode  ELM  berdasarkan  nilai  jumlah hidden  neuron dan input  layer yang  telah  ditentukan sebelumnya pada arsitektur ELM yang dapat dilihat pada Gambar 6.

## Gambar 6. Hasil Akurasi ELM
Terlihat pada grafik di atas bahwa jumlah hidden neuron akan berpengaruh pada hasil akurasi prediksi pada data training maupun pada data testing. Dengan rentang 0 sampai 30, didapatkan nilai akurasi terbaik untuk  data training adalah  0.6225  dengan  nilai  jumlah hidden  neuron adalah  30.  Nilai  akurasi  didapatkan dengan proses confusion matrix . Nilai yang mendekati 1 adalah nilai akurasi yang terbaik, yang berarti 100% akurat.
Keakuratan  Hasil  Presiksi  Elm  Dengan Confusion  Matrix Hasil  perhitungan  dengan  menggunakan confusion matrix dilakukan terhadap proses training dan proses testing data. Tingkat keakuratan ELM dalam
memprediksi hubungan kekerabatan pada penelitian ini dapat dilihat pada kategori kualitas microexpressions pada seluruh data pada proses training dan testing data.
Gambar 7. Hasil Training dan Validasi pada Kinship
Gambar 8. Hasil Training dan Validasi pada Akurasi Kinship
Dari kedua hasil gambar grafik diatas dapat diambil analisa bahwasanya berdasarkan hasil pengujian pertama seperti yang ditunjukkan grafik hasil pelatihan pemilihan parameter diatas, hasil akurasi yang dicapai masih kurang baik karena nilai akurasi melebihi nilai data uji Validasi . Pada hasil percobaan ini juga terjadi overfitting, yang  disebabkan  karena  jumlah  data  latih  dan  data Validasi tidak  cukup  banyak,  sehingga mempengaruhi tingkat akurasi, dimana hasil akurasi data latih jauh lebih tinggi dibanding data uji. nilai akurasi pada proses training ELM adalah 90.8% dan nilai akurasi untuk proses testing ELM adalah 74.53% nilai pada training ELM memiliki nilai yang cukup besar dan sudah melebihi standar dari confusion matrix yang telah ditentukan.
Setelah hasil akurasi klasifikasi didapatkan maka ELM kemudian akan diimplementasikan untuk proses mendapatkan hasil hubungan kekerabatan dengan menggunakan 10 sampel foto wajah dengan masing-masing citra menggunakan ekspresi senang dari dataset publik KinFaceW yang telah disediakan maka kemudian akan dilakukan perlakuan relasi hubungan kekerabatan yang menghasilkan tabel 1 seperti dibawah. Prediksi yang akan  diambil  di  atur  dengan  mengikuti  standard  deviasi  dari  bidang  kesehatan  untuk  prediksi  diatas  80% dianggap mendekati nilai yang Valid .
Tabel 1. Hasil Perlakuan Relasi Hubungan Kekerabatan
Img_pair Accuracy Predicted 0 Fd 1_1 – 1_2 0.308486 No Kin
0.446066 No Kin
Img_pair Accuracy Predicted
Fd 2_1 – 2_2 2 Fd 3_1 – 3_2 0.499954
No Kin
3 Fd 4_1 – 4_2 0.559832
No Kin
4 Fd 5_1 – 5_2 0.810232
Kin
5 Fd 6_1 – 6_2 0.340860
No Kin
6 Fd 7_1 – 7_2
0.396621 No Kin
7 Fd 8_1 – 8_2 0.65195
No Kin
8 Fd 9_1 – 9_2 0.899704 Kin 9 Fd 10_1 – 10_2 0.191270
No Kin
10
Fd 11_1 – 11_2 0.178760 No Kin

## 4. KESIMPULAN
Berdasarkan  hasil  yang  diperoleh  dari  pengujian-pengujian  yang  telah  dilakukan  dalam  penelitian tersebut,  maka  dapat  diambil  kesimpulan  bahwa Extreme  Learning  Machine dapat  digunakan  dalam menentukan hubungan kekerabatan dengan penggunaan parameter Microexpression . nilai akurasi pada proses training ELM  adalah  90.8% dan  nilai  akurasi  untuk  proses testing ELM  adalah  74.53%  nilai  pada training ELM memiliki nilai yang cukup besar dan sudah melebihi standar dari confusion matrix yang telah ditentukan. nilai akurasi pada deteksi Microexpressions yang diperlakukan pada Dataset KinFaceW ini menghasilkan nilai akurasi sebesar 87,5% dan nilai loss sebesar 1,48%.

## REFERENSI
[1] Alvarez, G. A. (2011). Representing multiple objects as an ensemble enhances visual cognition. Trends in Cognitive Sciences, 15(3), 122–131.
[2] Anonim,  “What  is  Facial  Recognition?  -  Deﬁnition  from  Techopedia”,  Techopedia.com, https://www.techopedia.com/deﬁnition/32071/facialrecognition, 27 Agustus 2018.
[3] Derry  Alamsyah,  Dicky  Pratama  ‘Implementasi  Convolutional  Neural  Networks  (Cnn)  Untuk Klasifikasi Ekspresi Citra Wajah Pada Fer-2013 Dataset’ P-ISSN 2580-7927| E-ISSN 2615-2738
[4] G.-. B. Huang, Q.-. Y. Zhu and C.-. K. Siew, "Extreme Learning Machine : Theory and Applications," Extreme Learning Machine : Theory and Applications, pp. 490-501, 2006.
[5] Kavitha Chaduvula, Dr A Govardhan ’Image Retrieval Based On Color and Texture Features of the Image Sub-blocks’ International Journal of Computer Applications (0975 – 8887) Volume 15– No.7, February 2011
[6] D. Purwitasari, O. P. Putri, and W. N. Khotimah, “Aturan Asosiasi Dengan Standar Storet Pada Model Prediksi Parameter Pendukung Uji Kualitas Air Baku,” J. Inf. Syst. Eng. Bus. Intell., vol. 1, no. 1, pp. 1–8, 2015.
[7] J. Lu, J. Hu, V. E. Liong, X. Zhou, A. Bottino, I. U. Islam, T. F. Vieira, X. Qin, X. Tan, S. Chen, S. Mahpod, Y. Keller, L. Zheng, K. Idrissi, C. Garcia, S. Duffner, A. Baskurt, M. Castrill´on-Santana, and J.  Lorenzo-Navarro.  The  fg  2015  kinship  verification  in  the  wild  evaluation.  In  2015  11th  IEEE International Conference and Workshops on Automatic Face and Gesture Recognition (FG), volume 1, pages 1–7, May 2015.
[8] Paper,  C.  and  Pietik,  M.  (2015)  ‘Facial  Micro-Expression  Recognition  using  Spatiotemporal  Local Binary  Pattern  with  Integral  Projection  Facial  Micro-Expression  Recognition  using  Spatiotemporal Local Binary Pattern’, (November). Doi: 10.1109/ICCVW.2015.10.