## Deteksi Senyum Menggunakan Fitur Gabor dan Histograms of Oriented Gradients pada Bagian Mulut, Hidung, dan Mata

## Berty Chrismartin Lumban Tobing
Fakultas Ilmu Komputer Universitas Indonesia Depok berty.chrismartin@ui.ac.id
Abstract —Permasalahan  pendeteksian  senyum  sangat  penting untuk  mendeteksi happy  mood .  Pendeteksian happy  mood dapat digunakan  untuk  kebutuhan  komersial  seperti  mengukur kesuksesan  suatu  acara  dari  banyaknya  penonton  yang tersenyum  sepanjang  acara.  Selain  itu,  pendeteksi  senyum  juga digunakan  pada  bidang  teknologi  yaitu smile  shooter pada kamera. Pendeteksian senyum pada penelitian-penelitian sebelumnya hanya menggunakan bagian wajah yaitu area mulut dengan berbagai macam cara seperti menggunakan fitur PHOG, EOH,  dan  perbedaan  intensitas  piksel.  Pada  penelitian  ini, senyum  dideteksi  dengan  menggunakan  fitur  Gabor  dan Histograms  of  Oriented  Gradients (HOG)  pada  bagian  mulut, hidung,  dan  mata  menggunakan classifier SVM.  Penelitian  ini menggunakan dataset citra dari GENKI-4K. Tingkat pendeteksian  senyum  pada  penelitian  ini  mencapai  90.40%. Berbeda  dengan  penelitian  sebelumnya,  penelitian  ini  juga melakukan  uji  coba  terhadap  citra  yang  terdiri  dari  lebih  dari tiga  wajah  untuk  mengukur  tingkat  kesenangan  orang  yang berada pada citra tersebut.
Keywords— happy mood ; deteksi senyum; Fitur Histograms of Oriented Gradients ; Fitur Gabor; classifier SVM;

## I. I NTRODUCTION
Ekspresi  wajah  adalah  salah  satu  elemen  terpenting  untuk mendeteksi  emosi  dari  seseorang.  Senyum  yang  merupakan bagian  dari  ekspresi  wajah  dapat digunakan  sebagai pengukur tingkat  kesenangan  seseorang.  Oleh  karena  itu,  permasalahan pendeteksian  senyum  menjadi  bagian  yang  penting  untuk mendeteksi  tingkat happy  mood seseorang.  Saat  ini, pendeteksian happy  mood ini  banyak  digunakan  untuk kebutuhan  komersial  yaitu  mengukur  kesuksesan  suatu  acara dengan  melihat  banyaknya  penonton  yang  tersenyum.  Selain itu,  pendeteksian  senyum  juga  digunakan  pada  bidang teknologi  yaitu  dalam  kamera  canggih  terdapat  fitur smile shooter yang  mengindikasikan  kamera  akan  memotret  secara otomatis  jika  mendeteksi  senyum  ( happy  mood ).  Dengan didasari  oleh  banyaknya  kebutuhan  yang  melibatkan pendeteksian  senyum  maka  pada  penelitian  ini  kami  khusus mengembangkan sistem pendeteksi senyum.
Penelitian  ini  menggunakan  dataset  GENKI-4K 1 Face , Expression , dan Pose Dataset yang terdiri dari 4.000 citra yang disertai  dengan  label  konten  senyum  (1=senyum,  0=tidak senyum), dan pose dari kepala yang terdiri dari parameter yaw , pitch , dan roll dalam satuan radian. Pada dataset ini, setiap citra terdiri  atas  satu  wajah  dan  memiliki angle dan background citra  yang  berbeda-beda.  Selain  itu,  karakteristik  orang  yang berada  dalam  citra  tersebut  berbeda-beda  seperti  warna  kulit dan  aksesoris  yang  dipakai.  Banyak  penelitian  yang menggunakan  dataset  ini  dengan  memvariasikan  banyaknya data training dan  data testing .  Pada  penelitian  ini,  penulis mengambil  secara  acak  1081  citra  yang  terdiri  dari  593  citra dengan label senyum dan 488 citra dengan label tidak senyum. Contoh  ekspresi  wajah  pada  GENKI-4K  dapat  dilihat  pada Gambar 1.
Penelitian-penelitian  sebelumnya  berbagai  pendekatan  dan berbagai  macam  fitur  telah  digunakan  untuk  mendeteksi senyum seperti fitur Box Filters (BF) [1], Pyramid Histogram of  Oriented  Gradients (PHOG)  [2],  dan  perbedaan  intensitas
1 Dataset dapat diunduh pada http://mplab.ucsd.edu
Gambar 1. Contoh dataset GENKI-4K, wajah tersenyum (dua baris teratas), dan tidak tersenyum (dua baris terbawah)
piksel  pada  suatu  citra  [3].  Penelitian  [1]  menggunakan Box Filters dan  berbagai  macam  fitur  lain  yang  diambil  dari keseluruhan  wajah  dengan  pembantu  pendeteksi  mata  secara otomatis  dan  juga  manual  untuk  memperkirakan  posisi  dari mulut.  C lassifier yang  digunakan  adalah  GentleBoost  dan Support  Vector  Machine  (SVM).  Sedangkan  pada  penelitian [2]  dan  [3],  keduanya  khusus  mengekstrak  fitur  pada  bagian sekitar mulut dan menggunakan classifier SVM dan AdaBoost. Pendeteksian  senyum  dapat  ditinjau  dari  bagian-bagian  yang terdapat  pada  wajah.  Namun  dapat  dilihat  bahwa  pada penelitian-penelitian  sebelumnya,  umumnya  menggunakan fitur bagian mulut saja.
Pada penelitian ini fitur yang digunakan adalah Gabor dan Histograms  of  Oriented  Gradients (HOG).  Berbeda  dengan penelitian sebelumnya, penelitian ini khusus mengekstrak fitur pada  bagian  mulut,  hidung,  dan  mata  yang  kemudian  dilihat seberapa  besar  pengaruh  masing-masing  bagian  untuk mendeteksi  senyum.  Pengkombinasian  masing-masing  bagian juga  akan  dilihat  pengaruhnya  terhadap  akurasi  dalam pendeteksian  senyum.  Selain  itu,  penghitungan  akurasi  yang melibatkan fitur-fitur yang dipakai yaitu Gabor dan HOG juga ditampilkan. Classifier yang  digunakan  pada  penelitian  ini adalah SVM dengan fungsi kernel linear .
II. F ITUR G ABOR
Gabor  wavelets  telah  ditemukan  dan  sangat  cocok  untuk mendekomposisi  dan  merepresentasi  citra  ketika  tujuannya adalah  untuk  derivasi  dari  fitur  lokal  dan  diskriminatif  [8]. Gabor  wavelets  digunakan  untuk  menganalisis  citra,  hal  ini dikarenakan  oleh  relevansi  biologis  dan  sifat  komputasinya. Gabor wavelets (kernel, filters ) dapat didefinisikan dengan:
(1)
Dengan µ dan v menyatakan orientasi dan skala dari Gabor kernels, z = (x, y), || . || menyatakan operator norm, dan vektor gelombang k µ,v dinyatakan sebagai berikut:
Dimana  k v =  k max /f v dan  ϕ µ =  πµ/8.  F  merupakan  faktor jarak antara kernels dalam domain frekuensi [8].
Representasi  Gabor  wavelet  dari  suatu  citra  merupakan hasil  konvolusi  dari  citra  dengan  keluarga  Gabor  kernel sebagaimana  didefinisikan  pada  (1).  Representasi  Gabor  yang digunakan  adalah  dengan  menggunakan  lima  spasial  dan delapan  orientasi  seperti  yang  biasa  digunakan  ketika mengekstrak Gabor fitur dari citra wajah [8].
Contoh  hasil  proses  ekstraksi  dari  suatu  citra  wajah menggunakan  fitur  Gabor  dalam  bentuk real  part  of convolution  outputs dan magnitude of  the  convolution  outputs dapat dilihat pada Gambar 2.
(a) (b)
(c)
Gambar 2. (a) Contoh citra wajah, (b) Real part of the convolution outputs dari (a), (c) Magnitude of the convolution outputs dari (a)

## III. F ITUR H ISTOGRAMS OF O RIENTED G RADIENTS
Histograms  of  oriented  gradients (HOG)  merupakan deskripsi  fitur  yang  digunakan  dalam image  processing maupun computer  vision yang  bertujuan  untuk  mendeteksi suatu  objek.  HOG  dapat  secara  efektif  dan  sukses mengekspresikan fitur bentuk dalam pendeteksian manusia [5]. Teknik  yang  digunakan  pada  HOG  adalah  menghitung kemunculan orientasi gradien dalam porsi lokal dari suatu citra. Dengan ciri tersebut, HOG dapat dikatakan mirip seperti Edge Orientation Histograms (EOH).
Ide  dasar  dari  deskriptor  HOG  adalah  penampilan  dan bentuk dari lokal objek dalam suatu  citra dapat dideskripsikan oleh  distribusi  dari  intensitas  gradien  atau  arah  tepi  [7]. Pengimplementasian  deskriptor  ini  dalam  dicapai  dengan membagi  citra  ke  dalam  daerah  spasial  yang  lebih  kecil  yang disebut  sel,  dan  untuk  setiap  sel  terapkan  HOG  atau  orientasi tepi untuk setiap piksel di dalam sel. Kombinasi dari histogram tersebutlah yang disebut dengan deskriptor. Untuk mendapatkan  hasil  yang  lebih  baik,  histogram  lokal  dapat dinormalisasikan  tingkat  kekontrasannya  dengan  menghitung ukuran intensitas untuk wilayah yang lebih besar yang disebut blok (lihat Gambar 4). Kemudian gunakan nilai tersebut untuk menormalkan semua sel di dalam blok [7].
Gambar 4. Sel dan Blok pada HOG
Pengimplementasian HOG umumnya dibagi menjadi empat bagian yaitu:
 Gradient computation : Tahap pertama adalah menghitung  nilai  gradien  dari  citra.  Pada  tahapan  ini memerlukan filtering terhadap warna ataupun intensitas  data  dari  citra  dengan  menggunakan  kernel: [-1, 0, 1] dan [-1, 0, 1] T .
 Oritentaion  binning :  Tahap  kedua  adalah  membuat histogram  sel.  Setiap  piksel  dalam  sel  menampung nilai  dari  histogram  orientasi  berdasarkan  nilai-nilai yang ditemukan dalam perhitungan gradien pada tahap pertama.
 Descriptor  blocks :  Tahap  ketiga  membuat  deskriptor blok  yang  menormalisasi  gradien  secara  lokal  dalam rangka  memperhitungkan  perubahan  pencahayaan  dan kontras pada citra. Sehingga dibutuhkan pengelompokan  sel  ke  dalam  bentuk  yang  lebih  besar yaitu blok.
 Block  normalization :  Tahap  terakhir  merupakan menormalisasi histogram dan menggabungkan histogram  yang  telah  dinormalisasi  menjadi  satu vektor.  Selanjutnya,  nilai  dari  deskriptor  HOG merupakan  komponen  dari  vektor  panjang  histogram yang  telah  dinormalisasi dari semua  daerah blok  yang ada.
Gambar  5  mengilustrasikan  penggunaan  HOG  serta  arah gradien  dalam  suatu  citra  dengan  menggunakan  sel  sebesar 16x16 piksel dan blok sebesar 2x2 sel.
(a)
(b)
Gambar 5. (a) Citra jembatan, (b) Penerapan HOG pada citra (a)

## IV. M ETHODS
Berikut  merupakan  metode  yang  dilakukan  penulis  untuk penelitian ini yang terdiri dari pengumpulan data, environment eksperimen, preprocessing citra, pendekteksian mulut, hidung, dan mata, image enchancement , dan proses klasifikasi. Metode penelitian ditampilkan pada Gambar 3.
Gambar 3. Flowchart Sistem Pendeteksi Senyum
ISSN        2477-0040 e-ISSN     2460-7900

## A. Pengumpulan Data
Pendeteksian  senyum  pada  penelitian  ini  menggunakan dataset  GENKI-4K  dengan  memilih  secara  acak  1081  citra yang terdiri dari 592 citra yang berlabel senyum dan 489 citra yang  berlabel  tidak  senyum.  Penggunaan  GENKI-4K dikarenakan dataset tersebut umum digunakan dalam penelitian mengenai pendeteksian senyum. Hal ini menunjang penyeragaman  dataset.  Selain  GENKI-4K  terdapat  dataset khusus  untuk  pendeteksi  senyum  lain  yaitu  Cohn-Kanade DFAT 2 .
Pada  dataset  ini,  setiap  citra  terdiri  atas  satu  wajah  dan memiliki angle dan background citra  yang  berbeda-beda. Selain itu, karakteristik orang yang berada dalam citra tersebut berbeda-beda  seperti  warna  kulit  dan  aksesoris  yang  dipakai. Dataset  yang  dipakai  adalah  citra  dengan  ukuran  179x192 piksel (lihat Gambar 1).
Dataset  dibagi  menjadi  3  bagian  yaitu  dataset  untuk traning , validation ,  dan testing .  Dataset training terdiri  dari 500  citra,  250  senyum  dan  250  tidak  senyum.  Dataset testing terdiri  dari  250  citra,  140  senyum  dan  110  tidak  senyum. Sedangkan  dataset validation merupakan  sisanya  yaitu  331 dengan  203  senyum  dan  128  tidak  senyum.  Dataset training merupakan dataset yang digunakan untuk proses pelatihan dan dataset testing digunakan  untuk  proses  pengujian.  Berbeda dengan  dataset traning dan testing ,  dataset validation digunakan  untuk  memvalidasi  hasil classifier dari  proses training dengan  memberikan decision  maker .  Hal  ini digunakan  untuk  memperbaiki classifier yang  sudah  dibuat pada  tahapan training yang  menggunakan  kombinasi  dari berbagai macam bagian wajah.

## B. Environment Eksperimen
Eksperimen  dilakukan  menggunakan  perangkat  lunak Matlab  R2013b.  Eksperimen  dijalankan  pada  sistem  operasi
2 Dataset dapat diunduh di http://www.cs.cmu.edu/
Windows  7  64  bit  dengan  RAM  sebesar  4  GB  dan  prosesor Intel Core i7 2.10 GHz.
C. Preprocessing Citra
Sebelum
citra diekstraksi, mulanya dilakukan preprocessing terlebih  dahulu.  Tahapan preprocessing ini dengan  melakukan  rotasi  citra  menggunakan yaw , pitch ,  dan roll .  Perotasian  ketiga  elemen  tersebut  dalam  satuan  radian seperti  yang  disediakan  dataset  GENKI-4K.  Masing-masing matriks rotasi untuk yaw , pitch , dan roll adalah sebagai berikut:
Perhatikan Gambar 6 bagian (a) dan (b) merupakan proses preprocessing menggunakan  elemen yaw , pitch ,  dan roll .  Hal ini  dilakukan  untuk  menormalisasi  semua  citra  yang angle wajah  sebelumnya  tidak  tegak  secara  vertikal  menjadi  tegak setelah melakukan tahapan ini.

## D. Pendeteksian Mulut, Hidung, dan Mata
Pendeteksian  elemen  wajah  yang  meliputi  mulut,  hidung, dan  mata akan dilakukan setelah proses preprocessing selesai. Pendeteksian  mulut,  hidung,  dan  mata  ini  dilakukan  secara otomatis dengan menggunakan algoritma Viola-Jones.
Setelah proses pendeteksian elemen wajah berjalan dengan baik  maka  elemen-elemen  wajah  yang  terdeteksi  tersebut
Gambar 6. (a) Preprocessing rotasi yaw , pitch , dan roll , (b) Hasil preprocessing pada bagian (a), (c) Pendeteksian mulut, hidung, dan mata
ISSN        2477-0040 e-ISSN     2460-7900
dilakukan proses pemotongan citra sehingga menghasilkan tiga citra  masing-masing  untuk  bagian  mulut,  hidung,  dan  mata. Masing-masing  bagian  mulut,  hidung,  dan  mata  untuk  setiap citra  akan  dinormalisasi  dengan  me- resize ukuran  masing- masing  bagian.  Bagian  mulut  dibentuk  menjadi  berukuran 40x60 piksel. Kemudian bagian hidung menjadi 30x40 piksel. Terakhir,  bagian  mata  dinormalisasikan  menjadi  berukuran 20x60 piksel.
E. Image Enchancement
Image  enchancement diterapkan  terhadap  bagian-bagian wajah  yang  telah  ditemukan  sebelumnya  pada  tahapan pendeteksian  mulut,  hidung,  dan  mata.  Tahapan image enchancement ini dilakukan agar citra yang dihasilkan semakin baik  dari  tingkat  kecerahan  citra  untuk  mempermudah  proses klasifikasi.  Proses image  enchancement pertama  yang diterapkan  adalah  mengubah  input  citra  RBG  menjadi  dalam bentuk grayscale .  Tahapan  ini  untuk  menyeragamkan intensitas  warna  untuk  masing-masing  citra.  Selanjutnya, tahapan  kedua  yaitu  citra  yang  sudah  dalam  bentuk grayscale ditingkatkan  tingkat  kecerahannya  dengan  meng- adjust contrast citra tersebut. Perhatikan Gambar 7 yang menjalankan tahapan image enchancement citra pada bagian mulut.
Gambar 7. Visualisasi deteksi mulut dan image enhancement

## F. Proses Klasifikasi
Permasalahan  pendeteksian  senyum  dapat  dikategorikan sebagai permasalahan pengklasifikasian yaitu dengan mengklasifikasikan  suatu  citra  ke  dalam  kelas  senyum  atau tidak senyum. Proses pengklasifikasian menggunakan classifier Support  Vector  Machine  (SVM)  fungsi  kernel linear dengan menggunakan fitur vektor yang berasal dari Gabor dan HOG.
Proses  klasifikasi  dibagi  menjadi  dua  bagian.  Pertama, proses  klasifikasi  menggunakan  satu  macam  bagian  wajah seperti mulut saja, hidung saja, mata saja, dan proses klasifikasi menggunakan  kombinasi  ketiga  bagian  tersebut.  Sebelumnya, dataset  telah  dibagi  menjadi  tiga  jenis  yaitu training , validation ,  dan testing .  Pada  klasifikasi  yang  menggunakan satu  macam  bagian  wajah,  dataset  yang  digunakan  hanya training dan testing , training sebagai data pelatihan dan testing sebagai  data  pengujian.  Pada  proses  klasifikasi  ini,  dataset validation tidak digunakan. Pengukuran akurasi dari klasifikasi untuk bagian ini dengan melakukan cross validation .
Kedua, proses klasifikasi tersebut menggunakan kombinasi elemen  wajah.  Pada  pengklasifikasian  ini,  dataset training , validation ,  dan testing digunakan.  Dataset training digunakan untuk pelatihan, dataset validation digunakan untuk memperbaiki classifier yang sudah didapat pada tahap training sehingga  terdapat  layer  baru  untuk  pengklasifikasian  (lihat Gambar 9), dan dataset training digunakan untuk pengujian.

## V. R ESULT
Hasil klasifikasi disajikan dalam bentuk presentase akurasi proses  pendeteksian  senyum.  Akurasi  dihitung  dengan menggunakan confussion matrix yaitu:
Dengan  TP  ( true  positive )  merupakan  citra  memiliki  label senyum  dideteksi  sebagai  senyum,  FP  ( false  positive ) merupakan  citra  tidak  senyum  dideteksi  senyum,  TN  ( true negative )  merupakan  citra  tidak  senyum  dan  dideteksi  tidak senyum,  dan  FN  ( false  negative )  merupakan  citra  senyum namun dideteksi sebagai tidak senyum.
Eksperimen  dilakukan  dengan  menggunakan  fitur  Gabor, HOG  dan  gabungan  HOG  dan  Gabor.  Fitur  untuk  masing- masing  bagian  didapat  dengan  menjalankan  ekstraksi  fitur untuk  bagian  tersebut  yang  telah  dilakukan  pada  tahapan sebelumnya  ( preprocessing citra,  pendeteksian  mulut,  hidung, dan  mata,  dan image  enchancement ).  Untuk  fitur  gabungan HOG  dan  Gabor  dilakukan  dengan  cara,  misalkan  fitur  HOG menghasikan  vektor  X  =  {X 1 ,  X 2 ,  ...,  X N }  dan  fitur  Gabor menghasilkan  vektor  Y  =  {Y 1 ,  Y 2 ,  ...,  Y M }  dengan  N merupakan panjang fitur HOG dan M merupakan panjang fitur Gabor  akan  menghasilkan  vektor  baru  yaitu  Z  =  {X 1 ,  X 2 ,  ..., X N ,  Y 1 *,  Y 2 *,  ...,  Y M *}  dengan  panjang  N+M.  Tanda  *  pada fitur  Gabor  merupakan  hasil  dari  proses  normalisasi. Penormalisasian  ini  dilakukan  untuk  menghindari  agar  suatu fitur tidak dominan terhadap fitur lain. Fitur HOG berada pada rentang 0 hingga 1 dan fitur Gabor pada penelitian ini  berada pada rentang -5 hingga 5 sehingga perlu dilakukan normalisasi pada  fitur  Gabor  dengan  menjumlahkan  5  lalu  membagi dengan 10. Sebagai contoh nilai dari Y 1 akan berubah menjadi Y i * = (Y i +5)/10. Hasil yang didapat ditampilkan pada Table I.
TABLE I. HASIL KLASIFIKASI DENGAN MENGGUNAKAN FITUR HOG, GABOR, DAN HOG+GABOR Fitur\Akurasi Akurasi Mulut Hidung Mata Fitur HOG 85.60% 75.53% 67.25% Fitur Gabor 88.67% 76.60% 65.91% Fitur HOG+Gabor 90.40% 79.68% 70.86%
Pada  eksperimen  tersebut  hasil  yang  didapat  tidak sempurna  dikarenakan  terdapat  kesalahan  saat  melakukan pendeteksian  mulut,  hidung,  dan  mata.  Contoh  citra  yang terdapat  beberapa  kesalahan  pada  saat  pendeteksian  bagian wajah  tersebut  diperlihatkan  pada  Gambar  8.  Kesalahan  pada bagian  mulut  dan  hidung  umumnya  karena  kesalahan pendeteksian,  namun  untuk  bagian  mata  kesalahan  utamanya adalah  kurang  besarnya  persegi  panjang  yang  meng- cover daerah mata sehingga tidak seluruh bagian mata terambil.
Gambar 8. Baris pertama: kesalahan deteksi mulut, baris kedua: kesalahan deteksi hidung, baris ketiga: kesalahan deteksi mata
Eksperimen  selanjutnya  menjalankan  percobaan  dengan menggunakan  fitur  dengan  rata-rata  nilai  terbaik  untuk  nilai akurasi  bagian  mulut,  hidung,  dan  mata  yaitu  fitur HOG+Gabor.  Kemudian  fitur  HOG+Gabor  digunakan  untuk mengklasifikasikan data testing namun sebelumnya menggunakan  dataset validation untuk  membentuk decision maker ( ensemble  learning )  dari  kombinasi  bagian  mulut, hidung,  dan  mata.  Bagan  proses  validasi  yang  dilakukan sebelum proses testing ditampilkan pada Gambar 9.
Gambar 9. Ilustrasi tahapan validation
Pada  tahap validation ini  setiap  bagian  diklasifikasikan menurut  fitur  HOG+Gabor,  selanjutnya  untuk  membuat keputusan  dari  kombinasi  hasil  bagian  tersebut  dibuat  layer baru.  Layer  baru  tersebut  bertujuan  menghasilkan  keputusan yang optimal, sebagai contoh jika bagian mulut diklasifikasikan sebagai 1 (senyum) dan bagian hidung sebagai 0  (tidak  senyum)  maka  akan  diambil  keputusan  dari  mulut  1 dan  hidung  0  ke  dalam  kelas  0  atau  1  dengan  melihat  kelas mana yang  memaksimalkan nilai dari kemungkinan kombinasi hidung  dan  mata  tersebut.  Misalkan  keputusan  optimal konfigurasi mulut 1 dan hidung 0 adalah 1 (senyum) maka citra tersebut  akan  diklasifikasikan  ke  dalam  kelas  1  (senyum). Keputusan optimal ini menggunakan majority voting .
Tabel  II  memperlihatkan  hasil  yang  dicapai  fitur HOG+Gabor  menggunakan  bagian-bagian  wajah  yang dideteksi pada citra.
TABLE II. HASIL KLASIFIKASI MENGGUNAKAN KOMBINASI
BAGIAN MULUT, HIDUNG, DAN MATA MENGGUNAKAN FITUR
HOG+GABOR Fitur\Akurasi Akurasi Mulut Hidung Mulut Mata Mata Hidung Mulut Hidung Mata Fitur HOG+Gabor 90.40% 90.40% 81.60% 90.40% . VI. D ETEKSI T INGKAT K ESENANGAN
Penulis  melakukan  identifikasi  terhadap  citra  yang  terdiri atas  beberapa  wajah  untuk  selanjutnya  dilihat  apakah  wajah yang  berada  pada  citra  tersebut  gembira  atau  tidak.  Penulis melakukan eksperimen terhadap citra yang terdiri atas minimal 3 wajah dengan menggunakan citra dari film Harry Potter dan citra  banyak  wajah  lain  guna  melihat  apakah  hasil  pelatihan dengan  menggunakan  dataset  sebelumnya  dapat  digunakan untuk  mendeteksi  tingkat  kesenangan  suatu  citra  di  dunia nyata.
Pada  tahap  ini,  untuk  dapat  melakukan  pendeteksian senyum,  sebelumnya  harus  dilakukan  pendeteksian  wajah terlebih  dahulu  dengan  menggunakan  algoritma  Viola-Jones. Kemudian,  masing-masing  wajah  yang  ditemukan  dilihat apakah  wajah  pada  citra  tersebut  tersenyum  atau  tidak menggunakan  model classifier pada  tahap  sebelumnya.  Setiap wajah yang ditemukan akan diklasifikasikan ke dalam senyum atau  tidak  senyum.  Penulis  menggunakan rate untuk menentukan  tingkat  kesenangan  citra  tersebut. Rate di  hitung sebagai:
N senyum merupakan  banyaknya  wajah  yang  terdeteksi senyum  dan  begitupula  sebaliknya  dengan  N tidak senyum . Kemudian  hasil  akan  dibagi  menjadi  tiga  kategori  yaitu bahagia,  sedang,  dan  tidak  bahagia.  Hasil  itu  ditentukan  dari nilai rate menggunakan  suatu threshold .  Jika rate lebih  besar dari  60%  maka  citra  dapat  diklasifikasikan  ke  dalam  kategori bahagia, jika rate kurang dari 30% maka citra diklasifikasikan ke  dalam  kategori tidak bahagia, dan  terakhir jika rate berada pada  rentang  30%  -  60%  citra  diklasifikasikan  ke  dalam kategori sedang.
Eksperimen  ini  dijalankan  pada  citra  yang  ditampilkan  di Gambar 10 3 . Pada pendeteksian ini fitur yang digunakan adalah HOG+Gabor  dengan  hanya  menggunakan  bagian  mulut  pada wajah.  Berdasarkan  hasil  yang  diperoleh,  pendeteksi  senyum yang  dikembangkan  dapat  digunakan  untuk  melihat  tingkat kesenangan  lebih  dari  satu  wajah  yang  berada  dalam  suatu citra. Hasil yang didapat disajikan pada Tabel III.
3 Harry Potter & Citra banyak wajah lain
TABLE III. HASIL KLASIFIKASI PADA CITRA YANG MEMILIKI
LEBIH DARI SATU WAJAH MENGGUNAKAN FITUR HOG+GABOR DENGAN BAGIAN MULUT Citra\Akurasi Senyum Tidak Rate Kategori Gambar 10 (a) 3 0 100% Bahagia Gambar 10 (b) 1 2 33% Sedang Gambar 10 (c) 0 3 0% Tidak Bahagia Gambar 10 (d) 8 0 100% Bahagia Gambar 10 (e) 6 0 100% Bahagia

## VII. S UMMARY
Fitur  tekstur  seperti  Gabor  dan  HOG  dapat  digunakan untuk  melakukan  pendeteksian  senyum  pada  suatu  citra. Tingkat  akurasi  yang  dihasilkan  juga  terbilang  baik  yaitu 90.40%. Selain itu, pendeteksian senyum menggunakan bagian wajah yaitu mulut, hidung, dan mata sangat berguna untuk citra yang  memiliki  lebih  dari  satu  wajah  manusia.  Dengan menggunakan  bagian-bagian  wajah,  maka  dapat  dideteksi banyak orang yang ada dan kemudian melakukan pengklasifikasian terhadap ekspresi yang didapat pada masing- masing  wajah.  Walaupun  tidak  sempurna,  namun  secara keseluruhan,  pendeteksi  senyum  ini  dapat  digunakan  untuk mengukur tingkat kesenangan orang pada suatu citra.
Kesimpulan  lain  yang  diperoleh  berdasarkan  hasil  yang didapat  pada  Tabel  I  dan  Tabel  II  adalah  tidak  terdapat peningkatan  untuk  akurasi  jika  menggunakan  kombinasi  yang melibatkan  mulut.  Hal  ini  menyimpulkan  bahwa  mulut merupakan bagian  yang  dominan  terhadap pendeteksi  senyum
dan  dataset validation tidak  menjadi  keharusan  jika menggunakan  bagian  ini.  Namun,  bagian  wajah  lain  seperti mata  dan  hidung  jika  dikombinasikan  ( fusion )  dan menggunakan  dataset validation sebagai  sarana  untuk memperbaiki classifier maka  hal  ini  dapat  meningkatkan akurasi  yang  sebelumnya  berkisar  antara  65%  -  79%  menjadi 81.60%.  Dengan  kata  lain,  bagian  tidak  dominan  dari  wajah jika  dikombinasikan  dengan  bagian  tidak  dominan  lain  dapat menghasilkan  pembeda  yang  baik  untuk  pendeteksi  senyum daripada keduanya berdiri secara terpisah.

## R EFERENCES
[1] Whitehill,  Jacob,  et  al.  "Toward  practical  smile  detection." Pattern  Analysis  and  Machine  Intelligence,  IEEE  Transactions on 31.11 (2009): 2106-2111.
[2] Bai,  Yang,  et  al.  "A  novel  feature  extraction  method  using pyramid  histogram  of  orientation  gradients  for  smile recognition."  Image  Processing  (ICIP),  2009  16th  IEEE International Conference on. IEEE, 2009.
[3] Shan,  Caifeng.  "Smile  detection by  boosting  pixel differences." Image Processing, IEEE Transactions on 21.1 (2012): 431-436.
[4] Whitehill,  Jacob,  et  al.  "Developing  a  practical  smile  detector." Proc. IEEE Int. Conf. Automatic Face and Gesture Recognition. 2008.
[5] Zhu,  Qiang,  et  al.  "Fast  human  detection  using  a  cascade  of histograms of oriented gradients." Computer Vision and Pattern Recognition, 2006 IEEE Computer Society Conference on. Vol. 2. IEEE, 2006.
[6] http://mplab.ucsd.edu,  The  MPLab  GENKI  Database,  GENKI- 4K Subset.
[7] Tsai,  Grace.  "Histogram  of  oriented  gradients."  University  of Michigan (2010).
[8] Liu,  Chengjun,  and  Harry  Wechsler.  "Independent  component analysis  of  Gabor  features  for  face  recognition."  Neural Networks, IEEE Transactions on 14.4 (2003): 919-928
Gambar 10. Citra dengan banyak wajah lebih dari satu