## Institute of Research and Publication Indonesia
MALCOM: Indonesian Journal of Machine Learning and Computer Science
Journal Homepage: https://journal.irpi.or.id/index.php/malcom Vol. 2 Iss. 2 October 2022, pp: 19-27 P-ISSN: 2797-2313 ISSN(E): 2775-8575

## Emotional Expressions Recognition in Facial Images Using Extreme Machine Learning Case Study of JAFFE Public Dataset

## Pengenalan Ekspresi Emosi pada Citra Wajah Menggunakan Extreme Machine Learning Studi Kasus Dataset Publik JAFFE
Shasha Nur Faadhilah 1* , Saiful Bukhori 2 , Januar Adi Putra 3
1,2,3 Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Jember
E-Mail: 1 shashafaadhilah@gmail.com,
2 saiful.ilkom@unej.ac.id, 3 januaradi.putra@unej.ac.id
Received Jul 14th 2022; Revised Jul 31th 2022; Accepted Aug 29th 2022 Corresponding Author: Shasha Nur Faadhilah

## Abstract
The era of information technology is growing rapidly and complexly, and the reliability of the system in processing data properly will produce good information as well. Face Recognition is a topic that is widely discussed and widely researched, the findings in this field also produce many findings that are used as a reference for Face Recognition, one of which is Facial Expression. The emotion recognition system is one example of image processing that is included in the realm of computer  vision.  In  computer  vision,  research  on  facial  expressions  has  been  carried  out  previously  by  the  Chinese Academy of Sciences Micro-Expression (CASME). In the case of facial micro-expressions, this study focuses on one area, namely  the  lower  face  which  is used  as  a  reference  for the  facial  features  used. For  the  lower  face  area  is used  as  an exceptional  ROI  in  the  mouth  region  (lower  face).  To  perform  ROI  in  that  area,  the  method  used  by  the  Viola-Jones algorithm on the cascade object detector is to determine the specific cropped area or area boundary based on lower face features which can be called mouth detection. Then the extraction process is carried out using the Local Binary Pattern. After that, the extraction process results are used as a reference to determine the detection of emotional expressions. Later the detection will use ELM as a classification method that is used for emotional expression classes.
Keyword: ELM, Face Recognition, Facial Expression, JAFFE, Lower Face

## Abstrak
Era teknologi informasi semakin berkembang dengan cepat dan kompleks, kehandalan sistem mengolah data dengan baik akan  menghasilkan  informasi  yang  baik  pula.  Face  Recognition  merupakan  topik  yang  ramai  dibicarakan  dan  banyak diteliti, penemuan-penemuan dibidang ini pun banyak menghasilkan temuan yang digunakan sebagai acuan untuk Face Recognition,  salah  satunya Facial  Expression.  Sistem  pengenalan emosi  merupakan  salah  satu  contoh pemrosesan  citra yang  termasuk  pada  ranah  computer  vision.  Dalam  dunia  computer  vision,  penelitian  mengenai  ekspresi  wajah  telah dilakukan  sebelumnya  oleh  Chinese  Academy  of  Sciences  Micro-Expression  (CASME).  Pada  kasus  micro-expressions wajah, penelitian ini fokus pada satu area yaitu lower face yang dijadikan acuan untuk fitur wajah yang digunakan. Untuk lower face area yang dijadikan ROI khusus diwilayah mulut (lower face). Untuk melakukan ROI pada area tersebut, metode yang digunakan algoritma Viola-Jones pada cascade object detector dengan menentukan wilayah khusus yang dicrop atau batasan  area  berdasarkan  fitur  lower  face  yang  bisa  disebut  sebagai  deteksi  area  mulut  (mouth  detection).  Kemudian dilakukan proses ekstraksi menggunakan Local Binary Pattern. Setelah itu hasil dari proses ekstraksi dijadikan acuan untuk menentukan  deteksi  ekspresi  emosi.  Nantinya  deteksinya  akan  memanfaatkan  ELM  sebagai  metode  klasifikasi  yang dijadikan kelas-kelas ekspresi emosi.
Kata Kunci: ELM, Face Recognition, Facial Expression, JAFFE, Lower Face

## 1. PENDAHULUAN
Era teknologi informasi semakin berkembang dengan cepat dan kompleks, kehandalan sistem mengolah data dengan baik akan menghasilkan informasi yang baik pula. Face Recognition merupakan topik yang ramai dibicarakan  dan  banyak  diteliti,  penemuan-penemuan  dibidang  ini  pun  banyak  menghasilkan  temuan  yang digunakan  sebagai  acuan  untuk  Face  Recognition,  salah  satunya  Facial  Expression.  Penelitian  pada  bidang Facial Expression ini menghasilkan beberapa temuan, seperti Biometrik, Iris Scan, Voice Recognition, Micro-
expression dsb karena pengolahan data yang digunakan modern ini lebih mendekati kepada data gambar, suara dan teks (Ketaren, 2016). [1]. Emosi dasar manusia telah banyak diteliti, ada seorang ahli yang tertarik pertama kali untuk membuat teori tentang emosi dasar adalah Charles Darwin, mengatakan bahwa ekspresi wajah yang mendasari  emosi  tertentu  merupakan  karakteristik  pola  ekspresif  neuro-muskular  dan  teradaptasi  melalui evolusi biologis dan kultural manusia. Hal ini juga ditulis pada artikel yang diterbitkan Paul Ekman bahwa wajah merupakan parameter untuk menentukan emosi pada manusia. Salah satunya adalah pada bagian bawah atau lower face. Ekman juga menemukan bahwa manusia mengekspresikan emosi mereka dengan 7 cara yang sama, yakni marah, bahagia, sedih, jijik, takut, terkejut dan netral. [2].
Sistem  pengenalan  emosi  merupakan  salah  satu  contoh  pemrosesan  citra  yang  termasuk  pada  ranah computer  vision.  Dalam  dunia  computer  vision,  penelitian  mengenai  ekspresi  wajah  telah  dilakukan sebelumnya oleh Chinese Academy of Sciences Micro-Expression (CASME). Penelitian ini bertujuan untuk membantu penelitian pada bidang computer vision mengenai ekspresi mikro, dengan menggunakan metode backpropagation menghasilkan akurasi akhir sebesar 59,51% (Huang, Wang, Zhao, & Pietikäinen, 2015). [3]. Penelitian ini menggunakan dataset publik Japanese Female Facial Expression (JAFFE) yang telah teruji oleh Michael Lyons, Miyuki Kamachi, dan Jiro Gyoba dalam penelitianya Coding Facial Expressions with Gabor Wavelets yang berisi 213 citra wajah wanita Jepang yang menunjukkan ekspresi emosi berbeda-beda. Dataset ini  nantinya  akan  diolah  untuk  diambil  bagian  wajah  pada  citra  menggunakan  haar  cascade.  Setelah mendapatkan wajah akan dilakukan pemotongan bagian lower face menggunakan Region of Interest (ROI).
Pada penelitian ini digunakan untuk menentukan area fitur yang diproses dan dijadikan acuan untuk proses  klasifikasi.  ROI  dideteksi  sesuai  area  penentuan.  Pada  kasus micro-expressions  wajah,  penelitian  ini fokus pada satu area yaitu lower face yang dijadikan acuan untuk fitur wajah yang digunakan. Untuk lower face area yang dijadikan ROI khusus diwilayah mulut (lower face). Untuk melakukan ROI pada area tersebut, metode  yang  digunakan  algoritma  ViolaJones  pada  cascade  object  detector  dengan  menentukan  wilayah khusus yang dicrop atau batasan area berdasarkan fitur lower  face yang bisa disebut sebagai deteksi area mulut (mouth detection). Kemudian dilakukan proses ekstraksi menggunakan Local Binary Pattern. Setelah itu hasil dari  proses  ekstraksi  dijadikan  acuan  untuk  menentukan  deteksi  ekspresi  emosi.  Nantinya  deteksinya  akan memanfaatkan ELM sebagai metode klasifikasi yang dijadikan kelas-kelas ekspresi emosi.

## 2. BAHAN DAN METODE
Bagian ini menjelaskan tentang sekumpulan metode yang akan digunakan dalam penelitian. Selain itu juga  menjelaskan  langkah  dan  prosedur  yang  dilakukan  dalam  pengumpulan  data  atau  informasi  guna memecahkan permasalahan dalam penelitian.

## Figure 1. Diagram Tahapan Penelitian

## 2.1 Pengumpulan Dataset
Data yang digunakan pada penelitian ini dibagi menjadi dua data, yaitu data training yang digunakan pada  proses  pelatihan  dan  data  testing  untuk  melakukan  pengujian.  Data  yang  digunakan  untuk  testing merupakan keseluruhan dataset. Data yang dipakai adalah data benchmark berupa images dengan format TIFF (Temporary  Instruction  File  Format)  yang  sudah  pernah  digunakan  untuk  data  training  dan  testing  yang tersedia.  Data  yang  digunakan  yakni  Dataset  JAFFE  yang  merupakan  dataset  berisi  kumpulan  citra  wajah dengan tujuh ekspresi emosi yaitu marah, bahagia, sedih, jijik, takut, terkejut dan netral. Berisi sebanyak 231 citra yang dapat di akses dan di download pada website zenodo.org

## 2.2 Perancangan Arsitektur
Dalam perancangan arsitektur ELM ini digunakan untuk mengklasifikasikan kelas-kelas dalam ekspresi emosi yang digunakan. Pada penelitian ini penulis menggunakan perencanaan arsitektur jaringan ELM terdiri dari input layer, hidden layer dan output layer serta fungsi aktivasi sebagai parameter yang akan digunakan dalam proses perencanaan model. Input layerterdiri dari 7 neuron output yaitu kelas ekspresi emosi yang sudah ditentukan.  Sedangkan  output  layer  terdiri  dari  1  neuron  yaitu  prediksi  sekaligus  akurasi  untuk  pengenalan ekspresi emosi. Adapun hidden layer terdiri dari satu layer yang berisi beberapa neuron dengan fungsi aktivasi tertentu. Banyaknya neuron yang optimal pada hidden layer ini ditentukan dengan 22 proses trial dan error dalam kisaran 5 – 200 neuron, arsitektur ELM dapat dilihat pada gambar 2.
Gambar 2. Arsitektur ELM

## 2.3 Implementasi Arsitektur ELM
Kegiatan implementasi arsitektur ELM adalah proses menuliskan dan menerapkan arsitektur ELM yang telah  dibuat  kedalam  program  komputer.  Pada  penelitian  ini  penulis  menggunakan  Google  Colaboratory sebagai  note  tools  dan  menggunakan  Python  sebagai bahasa  pemrogramnya.  Dalam  pengimplementasianya penulis menggunakan Canny Edge Detection untuk Image Augmentationya dan menggunakan Local Binary Pattern untuk Fitur Ciri Ekstraksinya.
Pelatihan atau lebih dikenal dengan istilah training adalah proses pengenalan pola-pola daya yang telah dinormalisasikan agar sistem dapat menentukan bobot-bobot yang memetakan antara input dan target output yang dinginkan. Pada proses training ini, jumlah hidden neuron dan fungsi aktivasi dari ELM akan ditentukan. Output dari proses pelatihan ELM adalah bobot serta bias dari hidden neuron dengan tingkat kesalahan rendah, secara umum dapat dilihat pada gambar 3.
Gambar 3. Block Diagram Penelitian

## 3. HASIL DAN ANALISIS
Pada bab ini akan membahas mengenai implementasi dari Extreme Learning Machine pada pengenalan ekspresi emosi untuk wajah menggunakan dataset public JAFFE. Dimulai dari proses perancangan arsitektur, pembuatan arsitektur hingga pengujian.

## 3.1 Data
Data yang digunakan oleh penulis dalam penelitian ini merupakan dataset JAFFE, yang mana dataset berisi kumpulan citra wajah dengan tujuh ekspresi emosi dasar yaitu marah, bahagia, sedih, jijik, takut, terkejut dan netral. Berisi sebanyak 231 citra wajah wanita Jepang berformat TIFF (Temporary Instruction File Format) yang menunjukkan ekspresi emosi berbeda-beda.

## 3.2 Preprocessing
Dalam  tahapan  ini  peneliti  melakukan  proses  face  detection  dan  melakukan  croping  wajah menggunakan  algoritma  haarcascade  untuk  mendapatkan  bentuk  fitur  wajah  yang  sempurna,  kemudian mendapatkan  nilai  68  titik  wajah  dengan  facial  landmark  yang  digunakan  untuk  mendapatkan  fitur  wajah. Selanjutnya  dilakukan  proses  croping  yang  menjadi  fokus  penelitian  yaitu  bagian  lower  face  dengan menggunakan  Region  of  Interest  (ROI)  Tahapan  selanjutnya  adalah  proses  augmentasi  data  dengan menggunakan Algoritma Canny Edge Detection.

## Gambar 4. Hasil Face Recognition
Tahap selanjutnya setelah mendapatkan wajah yang telah dideteksi, kemudian akan melakukan croping wajah dan alignment sehinga wajah yang sudah dicrop akan diposisikan menjadi center atau menengah. Dalam hal ini penelitian ini menggunakan library dlib dan imutils untuk mengembalikan 68 titik landmark wajah. Dari posisi  titik-titik  landmark  wajah  yang  telah  didapatkan,  wajah  yang  sudah  dicrop  dapat  diproses  untuk mengatur posisinya hingga menengah.
Gambar 5. Hasil Face and Landmark
Kemudian Region of Interest (ROI) pada penelitian ini digunakan untuk menentukan area fitur yang diproses  dan  dijadikan  acuan  untuk  proses  klasifikasi.  ROI  dideteksi  33  sesuai  area  penentuan.  Pada  kasus mikro-ekspresi  wajah,  penelitian  ini  fokus pada  satu  area  yaitu  lower  face  atau bagian  mulut  yang  menjadi indicator untuk penelitian yang dilakukan pada penelitian ini. Karena mulut menjadi ciri khas dari ekspresi dari dataset  JAFFE  yang  digunakan,  pada  proses  ini  dilakukan  pemotongan  dengan  menggunakan  fitur  dari algoritma  Haarcascade  Mouth  Mcs  untuk  kemudian  dilakukan  proses  cropping  dengan  menggunakan  nilai yang telah ditentukan.
Gambar 6. Hasil ROI

## 3.3 Hasil Implementasi Deteksi Canny
Pada tahap ini, citra hasil dari preprocessing dilakukan ekstraksi berdasarkan fitur bentuk menggunakan Canny Edge Detection. Pada ekstraksi ini penulis akan melakukam ekstraksi citra pada citra hasil preprocessing secara utuh. Canny mendapatkan hasil pemisahan bayangan terang dengan gelap, dimana kelebihan metode Canny ini adalah kemampuannya untuk mengurangi sebelum melakukan perhitungan deteksi sehingga tepi- tepi yang dihasilkannya lebih banyak.
Gambar 7. Hasil Deteksi Tepi Canny

## 3.4 Implementasi Hasil Local Binary Pattern
Setelah  mendapatkan  hasil  citra  dari  Canny,  dilakukan  proses  binerisasi  dari  citra  grayscale  menjadi citra biner menggunakan metode LBP. Citra biner merupakan citra yang hanya mempunyai 2 nilai pixel yaitu 0  dan  1.  Nilai  1  (warna  putih)  untuk  foreground  dan  nilai  0  (warna  hitam)  untuk  background.  LBP  adalah operator tekstur sederhana namun sangat efisien yang melabeli pixel  gambar dengan membatasi lingkungan setiap piksel dan menganggap hasilnya sebagai bilangan biner.

## Gambar 8. Hasil LBP

## 3.5 Hasil Implementasi ELM
Secara teori, algoritma ELM cenderung memberikan kinerja yang cukup baik pada kecepatan belajar yang  sangat  cepat.  Tidak  seperti  kebanyakan  algoritma  pembelajaran  NN  konvensional,  ELM  tidak menggunakan teknik berbasis gradien. Dengan metode ini, semua parameter dilakukan hanya sekali karena algoritma ini tidak membutuhkan pelatihan berulang. Dengan arsitektur yang dibuat sebelumnya yakni dengan output size 1 berupa ekspresi dan hidden size 4 menghasilkan nilai hidden neuron yang optimal yakni 15 hidden neuron.
Gambar 9. Hasil LBP
Dalam  pengujianya,  peneliti  menggunakan  sampel  data  dari  dataset  JAFFE  untuk  dilakukan pendeteksian  ulang  dari  program  yang  telah  dibuat,  apakah  menghasilkan  ekspresi  emosi  yang  sesuai  atau tidak, indikasi dari pendeteksian ini didapatkan dari training dan testing yang dilakukan sebelumnya. Epoch merupakan satu siklus penuh pada data pelatihan, namun dalam implementasi neural network untuk mencapai satu epoch sangat besar dikarenakan seluruh dataset harus melewati proses training dan membutuhkan waktu yang lama, dan juga apabila data yang digunakan berupa pixel-pixel dari suatu gambar.
Untuk mempercepat proses training dataset dapat dibagi kedalam batch. Batch size adalah jumlah data 213 yang disebarkan kedalam neural network, dalam penelitian ini, peneliti menggunakan batch size sebesar 40. Dalam penelitian yang telah dilakukan, proses ELM mendapatkan nilai akurasi training dan testing yang berbeda-beda setiap epoch. Penelitian ini menggunakan tiga kali pengujian menggunakan Epoch 20, 30 dan 50.
1. Epoch 20
Pada  pengujian  menggunakan  Epoch  20  menghasilkan  nilai  training  loss  seperti  pada  Gambar  4.23 sebesar 1.0118.
Gambar 10. Grafik Hasil Training Loss Epoch 20
Gambar 11 merupakan nilai training accuracy sebesar 0.6415.
Gambar 11. Grafik Hasil Training Accuracy Epoch 20
Gambar 12 merupakan hasil test diambil dari data training dan testing sehingga menghasilkan nilai test loss dan test accuracy masing- masing sebesar 1.394 dan 0.481.
Gambar 12. Hasil Test Epoch 22
2. Epoch 30
Pada  pengujian  menggunakan  Epoch  30  menghasilkan  nilai training  loss seperti  pada  Gambar  4.26 sebesar 0.4040.
Gambar 13. Grafik Hasil Training Loss Epoch 30
Gambar 4.27 merupakan nilai training accuracy sebesar 0.8616.
Gambar 14. Grafik Hasil Training Accuracy Epoch 30
Gambar 15 merupakan hasil validasi diambil dari data training dan testing sehingga menghasilkan nilai test loss dan test accuracy masing- masing sebesar 1.389 dan 0.592 .
Gambar 15. Hasil Test Epoch 30 3. Epoch 50
Pada  pengujian  menggunakan  Epoch  50  menghasilkan  nilai training  loss seperti  pada  Gambar  4.29 sebesar 0.1985.
Gambar 16. Grafik Hasil Training Loss Epoch 50
Gambar 17 merupakan nilai training accuracy sebesar 0.9371.
Gambar 17. Grafik Hasil Training Accuracy Epoch 50
Gambar 18 merupakan hasil validasi diambil dari data training dan testing sehingga menghasilkan nilai test loss dan test accuracy masing- masing sebesar 1.572 dan 0.648.
Gambar 18. Hasil Test Epoch 50
Ketiga pengujian diatas ditampilkan dalam bentuk tabel seperti Tabel 1. Kemudian dilakukan analisa perbandingan untuk mencari hasil akurasi yang terbaik.
Tabel 1. Tabel Hasil Pengujian Epoch Training Loss Training Acc Test Loss Test Acc 20 1.0118 0.6415 1.394 0.481 30 0.4040 0.8616 1.389 0.592 50 0.1985 0.9371 1.572 0.648

## 4. KESIMPULAN
Dalam pengidentifikasian ekspresi emosi menggunakan ELM membutuhkan beberapa penunjang yaitu metode untuk deteksi objek pada citra, metode segmentasi dan ekstraksi sehingga ELM berguna untuk metode klasifikasi. Model ELM berpengaruh dalam mendapatkan keakuratan data pelatian dan pengujian. Pemilihan metode yang digunakan dan model ELM juga mempengaruhi hasil nilai hidden neuron terbaik dengan nilai akurasi yang tinggi. Penelitian ini mendapatkan hasil nilai hidden neuron terbaik 15 neuron. Menggunakan tiga pengujian  epoch  masing-masing  20,  30  dan  50  mendapatkan  nilai  Training  Loss  terendah  pada  Epoch  50 sebesar  0.1985  atau  19%,  Training  Acc  terbesar  pada  Epoch  50  sebesar  0.9371  atau  93%,  nilai  Test  Loss terendah pada Epoch 30 sebesar 1.389 atau 1.3%, nilai Test Acc sebesar 0.648 atau 64% pada Epoch 50.

## REFERENCES
[1] Anas,  Andi  Sofyan.,  dan  Rizal,  Ahmad  Ashril.,  2017,  Deteksi  Tepi  dalam  Pengolahan Citra  Digital, Seminar Nasional TIK dan Ilmu Sosial (SocioTech) STMIK Bumigora, ISBN: 978-602-17488-2-4.
[2] Anonim.  2018.  “What  is  Facial  Recognition?  -  Deﬁnition  from  Techopedia”,  Techopedia.com, https://www.techopedia.com/deﬁnition/32071/facialrecognition, 27 Agustus.
[3] Huang, G.B., Zhu, Q.Y., dan Siew, C.K., 2005, Extreme Learning Machine : Theory and Applications, Elsevier science : Neurocomputing 70 (2006) 489501.
[4] Huang, X., Wang, S.-J., Zhao, G., & Pietikäinen, M., 2015, Facial MicroExpression Recognition using Spatiotemporal  Local  Binary  Pattern  with  Integral  Projection,  IEEE  International  Conference  on Computer Vision Workshop, 1-9.
[5] Huang,  X.,  Zhao,  G.,  Hong,  X.,  Zheng,  W.  and  Pietikäinen,  M.,  2015,  Spontaneous  Facial  Micro- Expression  Analysis  using  Spatiotemporal  Completed  Local  Quantized  Patterns,  Neurocomputing. Elsevier, 175, pp. 564–578. doi: 10.1016/j.neucom.2015.10.096.
[6] Jain,  Y.K.,  &  Bhandare,  S.K.,  2011,  Min  Max  Normalization  Based  Data  Perturbation  Method  For Privacy Protection, International Journal of Computer & Communication Technology, 2(8), pp.45-50.
[7] Kurniawati, Intan Dwi. dan Ir. Apriani Kusumawardhani, M.Sc. 2017. Implementasi Algoritma Canny dalam Pengenalan Wajah menggunakan Antarmuka GUI Matlab. Departemen Teknik Fisika, Fakultas Teknologi Industri, Institut Teknologi Sepuluh Nopember (ITS). Article  in  Image Processing, IET.
[8] Kusban, Muhammad., 2013, Deteksi Tepi Bidang Kedokteran dalam Kawasan Alihragam Powerlaw.
Seminar Nasional Teknik & Manajemen Industri.
https://publikasiilmiah.ums.ac.id/bitstream/handle/11617/3055/Makalah.pdf ;sequence=1.
[9] Linda, A.S., 2010, Penerapan Region Of Interest (ROI) Pada Metode Kompresi. Penerapan Region Of Interest (ROI) Pda Metode Kompre, 1–14. https://doi.org/10.14710/JTSISKOM.3.2.2015. 320-334.
[10] Li, S. Z. & Jain, A. K., 2005, “Handbook of Face Recognition” , Springer, US.
[11] M.  Sokolova  dan  G.  Lapalme,  2009,  “A  Systematic  Analysis  of  Performance  Measures  for Classification Tasks”, Inf. Process. Manag., Vol. 45, No. 4, hal. 427–437.
[12] N. H. Frijda, 1986, The Emotions, Cambridge University Press.
[13] Pietikäinen, M., Hadid, A., Zhao, G., & Ahonen, T, 2011, Computer Vision Using Local Binary Pattern, 13-47.
[14] Prasetyo,  E.,  2014,  Data  Mining  Mengolah  Data  Menjadi  Informasi  Menggunakan  Matlab.  Andi Publisher: Yogyakarta.
[15] Putra.  Arief  Bramanto  Wicaksono.,  dkk.,  2020,  Prototype  Region  Of  Interest  (ROI)  Citra  Wajah Manusia  Berbasis  Binary  Large  Object  (Blob)  Analysis.  http://dinarek.unsoed.ac.id    Vol.  16  No.  2 (2020) .
[16] Putro, M, D., Adji, T, B., Winduratna, B., 2012, Sistem deteksi wajah dengan menggunakan metode Viola Jones, Magister Instrumentasi Elektro FT UGM.
[17] Retnoningrum,  Dwi.,  Widodo,  Agus  Wahyu.,  dan  Rahman,  Muh.  Arif.,  2019,  Ekstraksi  Ciri  Pada Telapak  Tangan  Dengan  Metode  Local  Binary  Pattern  (LBP),  Jurnal  Pengembangan  Teknologi Informasi  dan  Ilmu  Komputer:  Program  Studi  Teknik  Informatika,  Fakultas  Ilmu  Komputer, Universitas Brawijaya Vol. 3, No. 3, Maret 2019, hal. 2611-2618.
[18] The Japanese Female Facial Expression (JAFFE) Dataset | Zenodo [ Diakses Pada 7 Januari 2021 ].
[19] Turiyanto, M. D., Purwanto, D., & Dikairono, R., 2014, Penerapan Teknik Pengenalan Wajah Berbasis Fitur Local Binary Pattern pada Robot Pengantar Makanan, 1-6.
[20] Wang,  S.  J.,  Yan,  W.  J.,  Li,  X.,  Zhao,  G.  and  Fu,  X.,  2014,  Micro-Expression  Recognition  Using Dynamic  Textures  On  Tensor  Independent  Color  Space,  Proceedings  -  International  Conference  on Pattern Recognition, pp. 4678– 4683. doi: 10.1109/ICPR.2014.800.
[21] Wang,  S.-J.,  Yan,  W.-J., Li, X.,  Zhao,  G.,  Zhou,  C.-G.,  Fu,  X.,  Yang,  M.  and  Tao,  J., 2015,  Micro- expression Recognition Using Color Spaces, IEEE Transactions On Image Processing : A Publication Of The IEEE Signal Processing Society, 24(12), pp. 6034–6047. doi: 10.1109/TIP.2015.2496314
[22] Wu.  Xiaoting,  Feng.  Xiaoyi,  Boutella.  Elhocine,  dan  Hadid.  Abdenour.,  2018,  Kinship  Verification using Color Features and ELM.
[23] X.  Ben,  P.  Zhang,  R.  Yan,  M.  Yang,  dan  G.  Ge.,  2016,  Gait  Recognition  and  MicroExpression Recognition  Based  on  Maximum  Margin  Projection  with  Tensor  Representation,  Neural  Comput. Appl., Vol. 27, No. 8, hal. 2629–2646.