## SEGMENTASI KULIT MANUSIA DENGAN EKSTRAKSI FITUR WARNA DAN ALGORITMA GMM-EM

## Phie Chyan
Program Studi Teknik Informatika, Universitas Atma Jaya Makassar, Sulawesi Selatan
phiechyan@gmail.com

## ABSTRAK
Deteksi  kulit  manusia  merupakan  salah  satu  algoritma  dalam  visi  komputer  yang  paling  banyak digunakan  dalam  berbagai  aplikasi.  Klasifikasi  kulit  manusia  merupakan  suatu  metode membedakanpiksel  gambar  yang  merepresentasikan  kulit  manusia  dengan  non  kulit  manusia.  Bagi manusia  tugas  untuk  mendeteksi  kulit  manusia  merupakan  tugas  yang  mudah  tetapi  bagi  mesin  atau komputer  tugas  ini  merupakan  suatu  hal  yang  menantang  terutama  karena  berbagai  faktor  seperti pencahayaan yang tidak merata, keterbatasan peralatan akuisisi citra hingga fitur individual dari manusia sendiri  seperti  gender,  etnis  dan  usia  dapat  mempengaruhi  proses  deteksi  yang  dilakukan  komputer. Dalam penelitian ini akan diimplementasikan salah satu metode yang dapat digunakan untuk melakukan deteksi  dan  segmentasi  kulit  manusia  menggunakan  ekstraksi  fitur  warna  yang  diimplementasikan dengan  metode  pembelajaran  mesin  berbasis  statistik  yaitu  Gaussian  Mixture  Model  (GMM)  untuk melatih  model  sistem  yang  dapat  digunakan  untuk  melakukan  segmentasi  kulit  pada  citra  input. Berdasarkan  hasil  penelitian  yang  diperoleh  model  yang  diimplementasikan  mampu  melakukan segmentasi kulit manusia pada citra sampel dengan akurasi yang baik.
Kata kunci : Segmentasi citra, kulit manusia, GMM, Fitur warna

## ABSTRACT
Human  skin  detection  is  one  of  the  most  widely  used  algorithms  in  computer  vision  in  various applications.  Classification  of  human  skin  is  a  method  of  distinguishing  image  pixels  that  represent human skin from non-human skin. For humans the task of detecting human skin is an easy task but for machines  or  computers  this  task  is  a  challenging  one  especially  because  of  various  factors  such  as uneven lighting, limitations of image acquisition equipment to individual features of humans such as gender, ethnicity and age can affect the detection process carried out by the computer. In this study, a method  that  can  be  used  to  detect  and  segment  human  skin  using  color  feature  extraction  will  be implemented which is implemented with a statistical-based machine learning method, namely Gaussian Mixture  Model  (GMM)  to  train  a  system  model  that  can  be  used  to  segment  skin  on  images.  inputs. Based  on  the  research  results,  the  implemented  model  is  able  to  segment  human  skin  on  the  sample image with good accuracy.
Keywords: image segmentation, Human skin, GMM, Color Fitur

## 1. PENDAHULUAN
Deteksi kulit manusia merupakan salah satu algoritma  yang  dibutuhkan  dalam  aplikasi visi  komputer  seperti  pengenalan  bahasa isyarat,  analisis  gesture,  sistem  temu  balik
citra berbasis konten dan berbagai aplikasi yang  berbasis  interaksi  manusia-mesin lainnya  (Pun  dan  Ng,  2014).  Klasifikasi kulit  manusia  merupakan  suatu  metode membedakan piksel gambar yang merepresentasikan  kulit  manusia  dengan
non  kulit  manusia.  Deteksi  piksel  yang terkait  dengan  kulit  manusia  adalah  tugas yang  lazim  karena  memiliki  potensi pemrosesan  berkecepatan  tinggi  dan  tidak sensitif  terhadap  perubahan  postur  dan ekspresi wajah (j.Han et al, 2009).
Deteksi  kulit  meskipun  merupakan  tugas yang  mudah  bagi  visi  manusia  tapi  bagi komputer  ada  beberapa  faktor  yang membatasi  khususnya  untuk  keperluan biometrik  dan  objek  analisis  antara  lain pencahayaan  yang  tidak  merata,  peralatan optik, pseudo-skin background, fitur individual  subjek  seperti  asal  kelompok etnis dari subjek dapat memiliki warna kulit yang berbeda dan lain sebagainya (Q. Zhu et al, 2004) .  Tujuan dari segmentasi kulit adalah untuk mengisolasi daerah kulit pada citra  masukan  yang  tidak  dibatasi  apapun dalam lingkungan yang sulit seperti proses pada sejumlah besar citra web, karena citra tersebut memiliki resolusi, kualitas, iluminasi, noise dan lain lain yang beragam namun, metode segmentasi kulit tradisional tidak cukup kuat terhadap lingkungan yang kompleks.  Warna  kulit  dapat  bervariasi antara  ras  yang  berbeda,  usia,  kondisi iluminasi  dan  objek  dengan  warna  seperti warna  kulit,  di  atas  adalah  masalah  utama yang  harus  diselesaikan  dalam  segmentasi kulit.  Pemilihan  ruang  warna  dapat dianggap  sebagai  langkah  utama  dalam segmentasi  kulit.  Model  warna  kulit  dapat dianggap  sebagai  distribusi  warna  kulit dalam  suatu  ruang  warna,  dan  gagasan utamanya  adalah  menganggap  warna  kulit menyatu  dalam  suatu  ruang  warna  dan dapat dibagi oleh satu atau beberapa batas. Dalam  meningkatkan  akurasi  dan  deteksi warna  kulit  salah  satu  metode  yang  dapat digunakan  adalah  menggunakan  metode Gaussian  Mixture  Models  (GMM)  yang
merupakan  metode  pembelajaran  mesin berbasis  statistik.  Pengklasifikasi  GMM memberikan  hasil  lebih  akurat,  yang menggunakan estimasi kemungkinan maksimum  untuk  melatih  pengklasifikasi menurut model  klasifikasi,  terdiri  dari  tiga bagian  utama:  transduser,  ekstraktor  fitur dan  pengklasifikasi  (M.R  Mahmoodi  dan S.M  Sayedi,  2016).  Transformasi  wavelet adalah teknik transformasi 2-D, yang sangat baik  sebagai  alat  dalam  pengenalan  pola serta  dalam  berbagai  aplikasi  lainnya. Transformasi  wavelet  menyediakan  sarana untuk  menganalisis  sinyal  input  ke  dalam sejumlah  tingkat  resolusi  yang  berbeda secara  hierarkis.  Ini  juga  dikenal  sebagai analisis multiresolusi [6]. Dalam penelitian ini  akan  dilakukan  segmentasi  warna  kulit yang  menggabungkan  fitur  warna  dan tekstur  kulit  untuk  mensegmentasi  daerah kulit  pada  citra  berwarna.  Model  warna kulit  akan  di  ekstrak  oleh  pengklasifikasi GMM  untuk  mengestimasi  probabilitas density  function  (pdf)  kemudian  melalui proses  latih  GMM  pada  dataset  akan diestimasi  parameter  dari  mixture  model menggunakan algoritma Expectation Maximization  (EM).  Setelah  proses  latih selesai  maka  model  dapat  digunakan  pada citra  baru  untuk  melakukan  segmentasi kulit manusia.

## 2. METODE PENELITIAN
Model  segmentasi  warna  kulit  yang  akan dikembangkan  akan  menggunakan  fitur generasi warna kulit, fitur tekstur kulit, dan segmentasi  tekstur  kulit  yang  akan mensegmentasi  daerah  kulit  dalam  citra berwarna  seperti  ditunjukkan  pada  gambar 1,  gambar  Warna  RGB  asli  pertama  akan dimasukkan ke dalam generator fitur warna
kulit  untuk  menghasilkan  Daftar  Sub- gambar  Warna  Kulit  ,  dan  masuk  ke generator  Fitur  Tekstur  Kulit  untuk mengambil daftar vektor Energi Gelombang Kulit, akhirnya Proses
Segmentasi & Eliminasi Tekstur Kulit akan menggabungkan  semua  informasi  untuk menghasilkan Daerah Kulit yang Dikoreksi.
Gambar 1 Modul Sistem

## A.   Generasi Fitur Warna Kulit
Generasi  Fitur  Warna  Kulit  adalah  pra- pemrosesan  Generasi  Fitur  Tekstur,  yang mengisolasi  piksel  kulit  dan  non-kulit dengan menggunakan Pengklasifikasi Warna  Kulit  GMM,  dan  membangun Masker Warna Kulit, tetapi Masker Warna Kulit  hanya  mempertimbangkan  warna sebagai fitur, oleh karena itu yang mungkin termasuk  beberapa  objek  seperti  warna kulit,  dll.  seperti  yang  ditunjukkan  pada Gambar  3.  Kemudian  Skin  Sub-image Generation  sesuai  dengan  skin  pixel  yang dideteksi  oleh  GMM  Classifier,  untuk setiap  skin  pixel  akan  menghasilkan  sub- gambar untuk membuat Daftar Sub-gambar Warna  Kulit,  sumber  dari  sub-gambar adalah  gambar  sumbu  Y  dari  Gambar YCbCr,  yang  ditransformasikan  oleh gambar  input  RGB  asli,  karena  gambar  Y pada dasarnya adalah salinan skala abu-abu dari  gambar  utama, yang  memiliki informasi  tekstur  yang  cukup  untuk
melakukan  segmentasi  tekstur  (Chyan,  P. and  Sumarta,  S.C.,  2013;  Chyan,  P.  and Sumarta, S.C., 2015, ).
Gambar 2. Generasi Fitur Warna Kulit
B.    Klasifier  Gaussian  mixture  model
(GMM)
Gaussian mixture Model (GMM) didefinisikan sebagai algoritma pengelompokan  yang  digunakan  untuk menemukan kelompok data yang mendasarinya.  Ini  dapat  dipahami  sebagai model  probabilistik  di  mana  distribusi Gaussian diasumsikan untuk setiap kelompok dan mereka memiliki sarana dan kovarians  yang menentukan parameternya.
GMM terdiri dari dua bagian – vektor rata- rata (μ) & matriks kovarians (Σ). Distribusi Gaussian  didefinisikan  sebagai  distribusi probabilitas kontinu yang mengambil kurva berbentuk  lonceng.  Nama  lain  dari distribusi Gaussian adalah distribusi normal.  Gambar  3.  adalah  gambar  model campuran Gaussian:
Dalam GMM, metode ekspektasi- maksimalisasi
digunakan untuk
menemukan  parameter  model  campuran gaussian. Ekspektasi disebut sebagai E dan maksimalisasi disebut sebagai M.
Ekspektasi  digunakan  untuk  mencari parameter  gaussian  yang  digunakan  untuk mewakili setiap komponen model campuran  gaussian.  Maksimalisasi  disebut sebagai  M  dan  terlibat  dalam  menentukan apakah  titik  data  baru  dapat  ditambahkan atau tidak.
Metode  ekspektasi-maksimalisasi  (EM) adalah algoritma iteratif  dua  langkah  yang bergantian  antara  melakukan  langkah ekspektasi, di mana dilakukan perhitungan ekspektasi untuk setiap titik data menggunakan  estimasi  parameter  saat  ini dan  kemudian  memaksimalkannya  untuk menghasilkan gaussian baru, diikuti dengan langkah maksimalisasi di mana nilai mean Gaussian  diperbarui  berdasarkan  perkiraan kemungkinan  maksimum  (Chyan,  P., 2018).  Proses  iteratif  ini  dilakukan  sampai parameter  gaussian  konvergen.  Berikut gambar 4 yang mewakili aspek iteratif dua langkah dari algoritma:
Gambar 4. Aspek Iteratif Dua Langkah dari Algoritma EM

## C. Langkah penggunaan  Gaussian Mixture Model (GMM)
 Menentukan  matriks  kovarians  yang mendefinisikan bagaimana setiap
Gaussian  terkait  satu  sama  lain. Semakin  mirip  dua  Gauss,  semakin dekat  artinya  dan  sebaliknya  jika mereka jauh dari satu sama lain dalam hal kesamaan. Model campuran gaussian  dapat  memiliki  matriks kovarians yang diagonal atau simetris.
 Menentukan jumlah gaussian di setiap grup  menentukan  berapa  banyak cluster yang ada.
 Memilih hyperparameter yang menentukan  bagaimana  memisahkan data  secara  optimal  menggunakan model campuran gaussian serta memutuskan apakah matriks kovarians masing-masing gaussian diagonal atau simetris (S. Sanjay,  A.K Saini, and R. Saini, 2012) .

## 3. HASIL DAN PEMBAHASAN

## A. Persiapan dataset
Dalam  penelitian  ini  digunakan  dataset yang mengandung set nilai RGB piksel dan labelnya  (kulit  manusia  atau  bukan)  . Dataset  yang  digunakan  berasal  dari  UCI Machine Learning Repository dan dikoleksi dengan  melakukan  random  sampling terhadap  nilai  R,  G,  dan  B  dari  citra berbagai wajah yang berasal dari kelompok umur,  region  dan  gender  yang  berbeda. Tabel 1 menunjukkan jumlah sampel dalam dataset yang digunakan.
Tabel 1. Jumlah Sampel Dataset Total jumlah learning sampel jumlah sampel kulit jumlah  sampel non kulit 245057 50859 194198 Program ditulis dengan bahasa
pemrograman  python  3.6  dengan  class GaussianMixture  dari  Sckit-learn  Library digunakan  untuk  mengimplementasikan
GMM.  Parameter  dari  distribusi  Gaussian Mixture  dapat  diestimasi  menggunakan class  ini.  Dalam  penelitian  ini  dibuat  dua instansi  dari  class  GaussianMixture  yaitu masing-masing untuk Skin (dilatih menggunakan sampel kulit) dan untuk non- skin  (dilatih  menggunakan  sampel  non- kulit)

## B.  Tahapan  langkah  segmentasi  yang dilakukan
1.    Membaca  dataset  latih  sebagai  pandas Dataframe,  hal  ini  dilakukan  untuk membaca sampel R,G dan B dan label yang terasosiasi terhadap sampel gambar tersebut.  Hasil  dari  potongan  dataset  yang terbaca dapat dilihat pada gambar 5

## Gambar 5. Sampel baris dataset
2.    Tampilkan  distribusi  dari  RGB  value untuk contoh sampel skin dan non skin,  hal ini  dilakukan  untuk  melihat  hubungan antara  nilai  RGB  terhadap  label  kulit  atau non kulit, seperti ditunjukkan pada gambar 6.
Gambar 6. Distribusi nilai RGB untuk sampel kulit dan non kulit
3.    Pisahkan  blok  kode antara contoh latih kulit dan non kulit dan fit-kan terhadap dua model  Gaussian,  yaitu  satu  untuk  contoh kulit dan yang lain untuk contoh non-kulit
4.    Visualisasi  GMM  yang  ditelah  dilatih untuk  kulit  dan  non  kulit  maka  diperoleh gambar seperti pada gambar 7.
Gambar 7. Visualisasi gambar hasil latih untuk
kulit dan non-kulit
5.      Setelah  model  selesai  dilatih  maka model siap digunakan untuk mensegmentasi  citra  yang  mengandung objek  kulit  manusia.  Langkah  yang dilakukan,  muat  citra  input,  kemudian konversi  citra  ke  ruang  warna  YcbCr  dan beri  nilai  setiap  piksel  dalam  citra  dengan kedua  Mixture  Model,  kemudian  masking keluar  piksel  yang  hasil  prediksi  skornya rendah  oleh  skin  GMM  (skor  rendah  oleh skin  GMM  menandakan  bahwa  segment tersebut bukan bagian kulit), setelah semua proses  selesai  maka  akan  diperoleh  citra hasil  segmentasi.  Gambar  8  menunjukkan citra input dan citra hasil segmentasi
Gambar 8.  Citra input asli (atas) dan Citra hasil segmentasi kulit dengan GMM (bawah)

## 4. KESIMPULAN
Segmentasi  kulit  merupakan  dasar  dari banyak  aplikasi  visi  komputer  sehingga kebutuhan untuk dapat mensegmentasi kulit manusia  secara  tepat  sangat  dibutuhkan. Menggunakan fitur warna sebagai fitur unik yang  dalam  membedakan  kulit  dan  non kulit dan menggunakan classifier GMM dan
EM penelitian ini berhasil
mengimplementasikan  segmentasi  kulit dengan hasil yang cukup akurat.

## TERIMA KASIH
Penulis  mengucapkan  terima  kasih  kepada LPPM  Universitas  Atma  Jaya  Makassar yang  telah  memberikan  dukungan  dana pada penelitian ini.

## DAFTAR PUSTAKA
[1] [2] [3] [4] [5]
[6] [7] [8] Pun,  C.M.  and  Ng,  P.,  2014.  Skin Segmentation  Using  GMM  Classifier and Texture Feature Extraction. International Journal of Machine Learning and Computing, 4(1), pp.57-62.
J. Han, G. Awad et al., 2009. Automatic skin  segmentation  and  tracking  in  sign language  recognition.  Computer  Vision,
IET, 3(1) , pp. 24-35Beiser, A., 1992, Q. Zhu,  K.T  Cheng,  C.T  Wu  and Y.L  Wu, 2004.  Adaptive  learning  of  an  accurate skin-color model. Sixth IEEE International  Conference  on  Automatic Face  and  Gesture  Recognition,  2004. Proceedings.pp. 37-42, doi: 10.1109/AFGR.2004.1301506instrumen t penelitian. dalam: Singarimbun, M dan
Efendi  (Eds).  1999.  metode  penelitian survey. Jakarta: LP3ES. M.R  Mahmoodi,  S.M  Sayedi,  2016.  A
Comprehensive  Survey on Human Skin Detection.  International  Journal  of Image, Graphics and Signal Processing(IJIGSP), 8(5), pp.1-35, DOI: 10.5815/ijigsp.2016.05.01, Chyan,  P.  and  Sumarta,  S.C.,  2015. Rancang  Bangun  Mesin  Pencari  Citra Dengan Pendekatan Temu Balik Berbasis  Konten. TEMATIKA,  Journal of Informatics and Information Systems, 3(2), pp.55-61.
Chyan,  P.  and  Sumarta,  S.C.,  2013.
Sistem temu balik citra berbasis isi citra menggunakan  fitur  warna  dan  jarak histogram. TEMATIKA:
Jurnal
Penelitian  Teknik  Informatika  dan Sistem Informasi Chyan,  P.,  2018.  Penerapan  sistem kriptografi  enkripsi  jamak  dan  tanda tangan  digital  dalam  mendukung keamanan informasi. TEMATIKA, Journal  of  Informatics  and  Information Systems , 6 (1), pp.39-46 S. Sanjay, A.K Saini, and R. Saini, 2012. Real-time  FPGA  based  implementation of  color  image  edge  detection. International Journal of Image, Graphics and Signal Processing 4(12).