## KONTROL MOUSE MENGGUNAKAN WEBCAM BERDASARKAN DETEKSI WARNA
Feri Fadli 1 , Munawir 2
1,2 Program Studi Teknik Informatika, Fakultas Teknik Universitas Samudra Email: 1 feri@programmer.net, 2 munawir@unsam.ac.id

## Abstrak
Teknologi  interaksi  pada  umumnya  tidak  lepas  dari  pesatnya  perkembangan  teknologi  Human-Computer Interaction atau Interaksi Manusia dan Komputer. Interaksi manusia dan mouse komputer disebut Virtual Mouse. Virtual mouse di desain bagi user agar dapat berinteraksi secara langsung dengan komputer tanpa menggunakan input  device  seperti  mouse  konvensional  tetapi  menggunakan  tangan  sebagai  objek  penggerak  atau menggunakan  media  lain  seperti  warna.  Pada  penelitian  ini  dilakukan  pengujian  bagaimana  melakukan pelacakan  pada  suatu  objek  yang  bergerak  dalam  melakukan  perintah  mouse  dengan  menggunakan  perantara berupa  webcam  video  berbasis  image  processing  yang  diambil  secara  real-time  dengan  menggunakan  object tracking  berupa  tiga  variabel  warna  yang  disusun  berdasarkan  komposisi  RGB  dengan  menggunakan  metode optical flow dalam pendeteksian pergerakannya. Berdasarkan penelitian yang telah dilakukan secara keseluruhan objek warna yang digunakan sebagai pengendali pointer atau mouse dengan metode optical flow dapat terdeteksi dengan baik dalam setiap kondisi.
Kata  kunci : Human  Computer  Interaction,  Virtual  Mouse  , Warna RGB,  Optical  flow,  Webcam,  Image Processing

## MOUSE CONTROL USING WEBCAM BASED ON COLOR DETECTION

## Abstract
The  interaction  technology  in  general  is  inseparable  from  the  rapid  development  of  Human-Computer Interaction  technology  or  Human  and  Computer  Interaction.  Human  and  computer  mouse  interactions  are called Virtual Mouse. Virtual mouse is designed for users to be able to interact directly with computers without using input devices such as conventional mice but using their hands as driving objects or using other media such as colors. In this research, testing is done on how to track an object that moves in order to do the mouse by using an intermediary in the form of an image processing-based webcam video that is taken in real-time using object tracking in the form of three color variables arranged based on RGB composition using the optical flow method in detecting its movement. Based on research that has been carried out as a  whole the color object used as a pointer controller or mouse with the optical flow method can be detected properly in every condition.
Keywords : Human  Computer  Interaction,  Virtual  Mouse  ,  Color  RGB,  Optical  flow,  Webcam,  Image Processing

## 1. PENDAHULUAN
Interaksi  manusia  dan  komputer  merupakan serangkaian  proses,  dialog  dan  kegiatan  yang dilakukan  oleh  manusia  untuk  berinteraksi  dengan komputer  yang  keduanya  saling  memberikan masukan dan umpan balik melalui sebuah antarmuka untuk memperoleh hasil akhir yang diharapkan [1].
Metode  yang  akan  digunakan  agar  pengguna dapat  berinteraksi  dengan  objek  virtual  di  tuntut untuk  lebih natural  dan intuitif    karena  kebanyakan perangkat  keras  (Hardware)  sekarang  ini  lebih
bersifat  mekanik  seperti  mouse,  keyboard  dan joystick.
Oleh  karena  itu,  pendeteksian  dengan  hand motion  tracking  diharapkan  dapat  menghubungkan antara  user  dan  komputer  agar  lebih  interaktif  dan dinamis lagi sehingga akan bersifat alami sebagaimana interaksi antar manusia. Dari perkembangan itulah muncul istilah virtual mouse.
Virtual  Mouse  di  desain  bagi  user  agar  dapat berinteraksi secara langsung dengan komputer tanpa menggunakan input device seperti mouse konvensional tetapi menggunakan tangannya sendiri
sebagai  objek  interaksinya  dengan  melihat  pada pentingnya  interaksi  manusia-komputer  dari  jarak jauh, maka diperlukan pengembangan aplikasi  yang dapat memudahkan penggunaan komputer dari jarak jauh [2].
Dengan  melihat  kebutuhan  tersebut,  maka dirancang aplikasi dengan menggunakan karakteristik  laser  dan optical  flow sebagai  aplikasi yang  dapat  membantu  interaksi  manusia-komputer dari  jarak  jauh  salah  satu  contohnya  adalah Optical flow.
Optical  flow adalah  pola  dari  pergerakan  objek, permukaan, dan sisi pinggir atau ujung yang terlihat dalam  sebuah  pemandangan  visual  yang  terjadi karena  pergeseran  relatif  antara  pengamat  (kamera atau mata) dengan pemandangan yang dilihat.

## 2. KAJIAN PUSTAKA

## 2.1 Human Computer Interaction (HCI)
Human Computer Interaction (HCI) adalah suatu disiplin  ilmu  yang  menekankan  pada  aspek  desain, evaluasi,  dan  implementasi  dari  sistem  komputer interaktif untuk kegunaan manusia dengan mempertimbangkan  fenomena-fenomena  disekitar manusia itu sendiri.
Tujuan  dari  HCI  adalah  untuk  menghasilkan sistem  yang  bermanfaat  (usable)  dan  aman  (safe), artinya sistem  tersebut dapat berfungsi dengan baik. Sistem  tersebut  bisa  untuk  mengembangkan  dan meningkatkan  keamanan  (safety),  utilitas  (utility), ketergunaan (usability), efektifitas (efectiveness) dan efisiensinya (eficiency).
Tujuan  utama  disusunnya  berbagai  interaksi computer dan manusia tersebut Untuk mempermudah  manusia  dalam  mengoperasikan computer  dan  mendapatkan  berbagai  umpan  balik yang  ia  perlukan  selama  ia  bekerja  pada  sebuah system computer

## 2.2 Optical Flow
Optical  flow  adalah  pola  dari  pergerakan  objek, permukaan, dan sisi pinggir atau ujung yang terlihat dalam  sebuah  pemandangan  visual,  yang  terjadi karena  pergeseran  relatif  antara  pengamat  (kamera atau  mata)  dengan  pemandangan  yang  dilihat  [5]. Optical  flow  ini  akan  mengingat  sebuah  gambar pixel  diframe  pertama,  kemudian  di  frame  kedua mencari pixel terdekat dengan kecerahan yang sama. Dalam  augmented  reality,  optical  flow  ini  berperan penting untuk mendefinisikan dan tracking terhadap objek yang digunakan sebagai point of interest.

## 2.3 Webcam
WebCam adalah  sebuah periferal berupa kamera sebagai  pengambil  citra/gambar  dan  mikropon (optional)  sebagai  pengambil  suara/audio  yang dikendalikan  oleh  sebuah  komputer  atau  oleh jaringan  komputer.  Gambar  yang  diambil  oleh
WebCam  ditampilkan  ke  layar  monitor,  karena dikendalikan oleh komputer maka ada interface atau port  yang  digunakan  untuk  menghubungkan WebCam dengan komputer atau jaringan.

## 2.4 RGB (Red, Green, Blue)
RGB adalah singkatan dari Red-Green-Blue, tiga warna  dasar  yang  dijadikan  patokan  warna  secara universal  (primary  colors).  Dengan  basis  RGB,  kita bisa  mengubah  warna  ke  dalam  kode-kode  angka sehingga warna tersebut akan tampil universal.

## 2.5 RGB (Red, Green, Blue)
Image processing adalah suatu bentuk pengolahan  atau  pemrosesan  sinyal  dengan  input berupa  gambar  (image)  dan  ditransformasikan menjadi  gambar  lain  sebagai  keluarannya  dengan teknik tertentu.
Image  processing  dilakukan  untuk  memperbaiki kesalahan  data  sinyal  gambar  yang  terjadi  akibat transmisi  dan  selama  akuisisi  sinyal,  serta  untuk meningkatkan  kualitas  penampakan  gambar  agar lebih  mudah  diinterpretasi  oleh  sistem  penglihatan manusia  baik  dengan  melakukan  manipulasi  dan juga penganalisisan terhadap gambar [4].

## 3. METODOLOGI PENELITIAN
Secara  umum  proses  perancangan  mouse  virtual dengan berdasarkan deteksi warna meliputi 2 modul utama. Modul pertama yaitu perancangan perangkat keras (hardware) berupa webcam  yang dimodifikasi agar  mampu  bekerja  pada  spektrum  inframerah untuk  memudahkan  dalam  proses  pencarian  warna dengan LED inframerah untuk ditandai pada tangan. Sedangkan modul kedua yaitu perancangan perangkat  lunak  berfungsi  sebagai  pedeteksian  jari tangan.  Perangkat  lunak  yang  digunakan  pada penelitian adalah Matlab.
Metodologi  penelitian  merupakan  cara  yang digunakan  untuk  melakukan  pengamatan  dengan pemikiran  yang  tepat  secara  terpadu  melalui tahapan-tahapan  yang  disusun  secara  ilmiah  untuk mencari, menyusun serta menganalisis dan menyimpulkan  data,  sehingga  dapat  dipergunakan untuk  menemukan,  mengembangkan  dan  menguji kebenaran sesuai ilmu pengetahuan

## 3.1 Alat Penelitian
Proses  Penelitian  ini  menggunakan  perangkat keras  dan  perangkat  lunak  dalam  perancangan aplikasi ini, yaitu :
1. Laptop Asus
a. NVIDIA  Core  i5  Processor  C60-RAM DDR3 4 GB
b. Hardisk  465  GB  HDD,  OS  Windows  10 Enterprise
2. Perangkat  Lunak,    Perangkat    lunak    yang digunakan    dalam    penelitian    ini,  yaitu
MATLAB 2017a  dan  Webcam video digunakan sebagai library  Computer  Vision yang meliputi konversi RGB.

## 3.2 Alat Kerja Virtual Mouse
Berikut  merupakan  alur  kerja  pada  penelitian virtual mouse :
Mulai Inisialisasi Variabel Warna RGB Mendeteksi Warna RGB Apakah terdeteksi? Tracking gerak tangan Kontrol Mouse Selesai Ya Tidak Gambar 1. Flowchart Program Control Mouse Menggunakan Webcam
Warna RGB merupakan citra yang tersusun oleh tiga kanal warna yaitu kanal merah, kanal hijau, dan kanal  biru.  Pada  citra  RGB  24-bit,  masing-masing kanal  warna  memiliki nilai  intensitas  piksel  dengan kedalaman  bit  sebesar  8-bit  yang  artinya  memiliki variasi  warna  sebanyak  2^8  =  256  derajat  warna  (0 s.d 255).
Mendeteksi  warna  RGB  merupakan  proses  dari menganalisis  nilai  warna  dari  tiap  piksel  pada  citra dan membagi citra tersebut sesuai dengan fitur yang diinginkan.
Setelah  dilakukan  mendeteksi  warna  RGB kemudian  dilakukan  tracking  gerak tangan  terhadap objek  warna  tersebut  menggunakan  metode optical flow dalam  pendeteksian  pergerakannya  dan kemudian barulah digunakan perintah mouse.
Control Mouse merupakan cara untuk mengendalikan mouse dengan ujung jari pada virtual panel  yang  dapat  kita  capai  agar  lebih  akurat  dan efektif  dalam  berinteraksi  dengan  komputer  bahkan dengan  jarak  yang  lebih  besar  atau  lebih  jauh  dari jarak kamera.

## 3.3 Proses Pendeteksian Warna
Pada  penelitian  ini  terdapat  beberapa  proses pendeteksian warna dalam menjalakan fungsi mouse dengan  menggunakan  objek-objek  yang  terdapat  di lingkungan sekitar yaitu sebagai berikut :
Gambar 2. Proses Pendeteksian Objek Berwarna Merah
Pada  Gambar  2.  merupakan  proses  kontrol mouse  dalam  pendeteksian  warna  merah  yang berfungsi untuk menggerakkan kursor mouse.
Gambar 3. Proses Pendeteksian Objek Berwarna Biru
Gambar 3. menunjukkan proses kontrol mouse dalam  melakukan  pendeteksian  warna  biru  yang berfungsi  untuk  membuka  menu  pilihan  yang tersedia,  dan  menandai  menu  tertentu  sebagaimana fungsi klik kanan pada mouse biasa.
Pada  Gambar  4.  menunjukkan  proses  kontrol mouse  dalam  perndeteksian  warna  hijau  yang berfungsi  untuk  membuka,memilih,  memindahkan sesuatu sebagaimana fungsi  klik kanan pada mouse biasa.
Gambar 4. Proses Pendeteksian Objek Berwarna Hijau

## 4. HASIL DAN PEMBAHASAN
Pada  tahap  ini  merupakan  hasil  dari  penelitian control  mouse menggunakan  warna  dimana  setiap warna memiliki fungsi dan karakter yang berbeda
Gambar 5. Deteksi Warna Merah
Gambar 6. Deteksi Warna Hijau
Berdasarkan  hasil  program  diatas,  dapat disimpulkan  program control  mouse hanya  dapat mendeteksi  warna  merah,  biru  dan  hijau  dimana warna  merah  berfungsi  sebagai  menggerakkan mouse,  warna  biru  sebagai  membuka  menu  pilihan yang  tersedia,  dan  menandai  menu  tertentu,  dan warna hijau digunakan untuk untuk
membuka,memilih,  memindahkan  sesuatu.  Program tersebut  menggunakan  metode optical  flow ,  yaitu pola  gerakan  benda,  permukaan,  dan  sisi  gerakan relatif antara pengamat dan adegan.
Gambar 7. Deteksi Warna Biru
Berikut  ini  adalah  tabel  percobaan  pada beberapa objek dengan warna-warna yang berbeda :
Tabel 1. Tabel Percobaan Program Jenis Objek Warna Hasil Percobaan Betadine Kuning Salah Mouse Hitam Salah Senter Hijau Benar Galon Aqua Biru Benar Kipas Angin Biru Langit Salah Sendal Merah Muda Salah Buku Bank Biru Benar Kartu SIM Merah Benar Bedak Caladine Merah Salah Cotton Bud Kuning Salah Pada  Tabel  1  diatas  merupakan  hasil  dari percobaan control  mouse menggunakan  webcam berdasarkan  deteksi  warna.  Hasil  dari  percobaan pendeteksian  warna  yang  benar  merupakan  warna yang sesuai dengan program, sedangkan
pendeteksian  warna  yang  salah  merupakan  warna yang tidak terdeteksi atau tidak sesuai dari program control mouse tersebut.

## 5. KESIMPULAN
Berdasarkan  penelitian  yang telah  dilakukakan maka  dapat  disimpulkan  bahwa  kontrol  mouse menggunakan  Webcam  dengan  berdasarkan  warna RGB  dapat  digunakan  sebagai  objek  virtual  dalam mengendalikan  pointer  atau  mouse.  Dimana  setiap kondisi  terdapat  warna-warna  yang  lebih  mudah terdeteksi  seperti  warna  biru,  warna  merah  dan
warna hijau. Percobaan ini telah berhasil mendeteksi warna RGB dan tracking objek secara realtime.

## 6. UCAPAN TERIMA KASIH
Peneliti mengucapkan terima kasih yang  sebesar- bersarnya  pada  semua  pihak  yang  terlibat  dalam penelitian  ini  sehingga  penelitian  ini  dapat dipublikasikan.

## R EFERENSI
Berikut  ini  contoh  daftar  pustaka  yang  dimuat dengan style IEEE :
[1] A.  Erizal,  Sistem  Identifikasi  Pengenalan Telapak  Tangan  Berbasis  Video  dengan Menggunakan  Metode  Haar  Wavelet ,  Jur. LinkIT TELKOM, 2012
[2] A.  Yahya  and  H.  M.  Saputra, “ Perbandingan
Filter  Average  dengan  Filter  Finite  Impulse Response  (FIR)  pada  Pengolahan  Sinyal Sensor  Pressure”,  in Proc.  Seminar  Nasional
Rekayasa dan Desain Itenas, 2016, p. 35-39.
[3] E.  Wahyudi,  H.  Kusuma  and  Wirawan  W, Perbandingan  Unjuk  Kerja  Pengenalan  Wajah Berbasis  Fitur  Local  Binary  Pattern  dengan Algoritma  PCA  dan  Chi  Square. Jur.  LINK
PENS ITS. 2011
[4] F. Fadlisyah. Computer Vision dan Pengolahan Citra, Jogjakarta : Andi, 2009
[5] N. Wisnu and D. Putra, Mouse Virtual Dengan Objek  Tracking  Jari  Tangan  Manusia. Jur
Lontar Komputer : Jurnal Teknologi Informasi. Vol. 3 No. 2, Dec. 2012