## Analisis Pengaturan Robot Lengan Berbasis Computer Vision
Aprildy Randy Andrew Ferdinandus 1* , Nindy Gaby Sepang 2
1 Teknik Informatika, Universitas Sariputra Indonesia Tomohon, 95416, Indonesia
2 Teknik Sipil, Universitas Sariputra Indonesia Tomohon, 95416, Indonesia *aprildy.ferdinandus@gmail.com, nindysepangaby@gmail.com

## Abstrak
Penggunaan  teknologi  robot  untuk  menggantikan  pekerjaan  manusia  semakin  banyak  digunakan  de- wasa  ini  serta  dikombinasikan  dengan  teknologi computer  vision agar  lebih  memudahkan  pekerjaan pun  terus  dikembangkan  oleh  para  peneliti.  Metode  Haar  Cascade  sebagai  metode  pengenalan  suatu gambar atau bentuk dalam computer vision yang telah terlebih dahulu dilatih untuk  mengenali suatu bentuk digunakan untuk dapat mengenali bentuk instruksi tangan berupa kepalan tangan dan telapak tangan.  Hasil  dari  pengenalan  bentuk  kepalan  dan  telapak  tangan  diteruskan  menjadi  instruksi  untuk lengan robot berbasis arduino lewat serial port sehingga lengan robot akan melakukan gerakan sesuai dengan  perintah  dari  pergerakan  tangan  yang  dikenali.  Hasil  pengujian  menunjukkan  robot  lengan dapat melakukan gerakan sesuai dengan instruksi tangan yang ditangkap oleh kamera dan menunjuk- kan performansi yang baik sejak instruksi ditangkap oleh kamera dan dijalankan oleh robot lengan. Kata kunci: computer vision, haar cascade, robot lengan.

## Abstract
The use of robot technology to replace human work is increasingly being used nowadays and is com- bine with computer vision technology to make work easier. The Haar Cascade method as a method to recognize an object in computer vision that has been previously trained to recognize an object is used to be able to recognize the form of hand instructions in the form of fists and palms. The results of the recognition of the shape of the fist and palm are forwarded as instructions for the arduino-based arm robot via the serial port so that the arm robot will perform movements according to the commands of the recognized hand. The test results show that the arm robot can make movements according to the hand instructions captured by the camera and shows good performance since the instruction are cap- tured by the camera till the instruction are executed by the arm robot.
Key words: computer vision, haar cascade, arm robot.

## 1. PENDAHULUAN
Teknologi computer  vision dewasa  ini  terus berkembang  dengan  pesat,  teknologi  yang  lahir dari  teknologi  Pengolahan  Citra  Digital  (PCD) dan teknologi Artificial Intelligence (AI) ini ter- us  dikembangkan  dan  dimanfaatkan  untuk memudahkan  pekerjaan  manusia  saat  ini. Metode Machine  Learning digunakan  untuk melatih  mesin  dalam  mengenali  gambar,  video atau  hasil  tangkapan  kamera  sehingga  dapat digunakan untuk tugas selanjutnya. Ratna, Silvia dalam penelitiannya melakukan pengolahan citra digital  dan  histogramnya  dengan  menggunakan bahasa pemrograman Python dan hasilnya dapat dimodifikasi  sesuai  dengan  keinginan  (Ratna, 2020). M.Andrekha et dan Y. Huda meneliti ten- tang teknik pengolahan citra digital menggunakan  bahasa  pemrograman  Python  un- tuk  mendeteksi  warna  dari  buah  manggis  dan
membedakan  setiap  buah  manggis  akan  tingkat kematangannya  (Andrekha  &  Huda,  2021).  G. Sai  Prasanna  et  al  melakukan  penelitian  untuk mendeteksi  gambar  untuk  menentukan  apakah gambar  tersebut  merupakan  hasil  sambungan dari  beberapa  gambar  atau  tidak  dengan menggunakan  metode  algoritma  Viola-Jones (Sai Prasanna et al., 2022).
Teknologi computer  vision juga  dimanfaatkan untuk  mengenali wajah dari setiap gambar yang dimasukkan atau ditangkap oleh kamera. C. Li et al  menggunakan  metode  gabor  wavelet  untuk membuat  mesin  mempelajari  fitur  wajah  dari kondisi  gambar  atau  video  dengan  resolusi  ren- dah,  kondisi  kabur  dan  memiliki  banyak  noise sehingga  tetap  dapat  mengenali  wajah  yang  ada pada  gambar  yang  ditangkap  kamera  (Li  et  al., 2021).  A.  Shetty  et  al  juga  meneliti  tentang pengenalan  wajah  manusia  dengan  dua  metode
pengenalan wajah yaitu Haar Cascade dan Local Bynary  Pattern (LBP),  hasil  perbandingannya adalah  metode  Haar  Cascade  lebih  akurat mengenali wajah tetapi metode LBP lebih cepat dalam waktu eksekusi (Shetty et al., 2021).
Dalam bidang yang lain pun dapat menggunakan teknologi computer  vision contohnya  dalam  bi- dang  pekerjaan  konstruksi  seperti  yang  diteliti oleh  H.  Wu  et  al  yaitu tentang  mengkombinasi- kan teknologi computer vision dengan teknik on- tologi untuk manajemen keamanan dalam lokasi pekerjaan konstruksi (Wu et al., 2021), juga oleh H.  Nian  yang  meneliti  tentang  pemanfaatan computer  vision dalam  menginspeksi  kondisi terkini  dari  pekerjaan  konstruksi  yang  mena- warkan kemudahan serta solusi dalam pengawasan  pekerjaan  konstruksi  pada  lokasi yang sulit dijangkau (Nian, 2021).
Teknologi  robot  untuk  membantu  pekerjaan manusia semakin banyak digunakan, baik itu ro- bot yang dikendalikan oleh manusia sebagai op- erator  ataupun  robot  yang  dapat  bekerja  sendiri sesuai  dengan  instruksi  yang  sudah  diberikan sebelumnya.  Robot  yang  dikendalikan  oleh manusia  atau  operator  untuk  bekerja  banyak digunakan  dalam  kondisi-kondisi  yang  tidak memungkinkan  manusia  untuk  melakukannya, contohnya  pada  kondisi  lingkungan  yang  berba- haya bagi manusia, ataupun pada kondisi manu- sia  yang  terbatas  contohnya  pada  orang  lumpuh untuk  membantunya  berjalan.  Salah  satu  contoh robot  yang  digunakan  dalam  membantu  kerja manusia adalah robot lengan atau robot manipu- lator.
W. Wiliam et al dalam penelitiannya mengemukakan tentang pengendalian lengan ro- bot dalam proses pemindahan barang menggunakan  Arduino  sebagai  data  processor dan Programmable Logic Control (PLC) sebagai aktutor  untuk  memindahkan  barang  (Wiliam  et al.,  2019).  Erwin  Sitompul  juga  melakukan penelitian  tentang  lengan  robot  yang  rbasis  Ar- duino  dan  menggunakan  metode  kendali Lead- Trough sehingga  dapat  melaksanakan  pekerjaan sesuai dengan yang diinginkan (Sitompul, 2020). Sejalan  dengan  peneltian  yang  dilakukan  terkait robot  lengan,  S.  Oltean  juga  meneliti  tentang navigasi  otomatis  dari Mobile  Robot  Platform dengan  menggunakan  Arduino  Uno  dan  Rasp- berri  Pi  untuk  dapat  mengangkat  barang  dan membawanya  melewati  rintangan  atau  halangan hingga  sampai  pada  lokasi  yang  sudah  diten- tukan (Oltean, 2019).
Berdasarkan  penelitian-penelitian  sebelumnya terkait dengan computer vision juga pengendali- an  robot,  maka  akan  dikembangkan  pengendali- an  robot  menggunakan computer  vision seperti yang  dilakukan  oleh  S.  Sumardi  tentang  robot lengan  pemindah  barang  yang  menggunakan sensor  warna  dengan  metode computer  vision dan  berbasis  Arduino  (Sumardi,  2018),  namun pengendalian  robot  lengan  yang  dilakukan  akan dibuat  dengan  menggunakan  metode computer vision yang  mengenali  instruksi  gerakan  tangan manusia.  Dalam  pengenalan  instruksi  gerakan tangan manusia penelitian sebelumnya telah dil- akukan oleh K. Sadeddline et al yaitu mengenali gerakan  tangan  dalam  aplikasi  pada  bahasa  is- yarat  (Sadeddine  et  al.,  2021)  dan  oleh  Sharma dan  Singh  tentang  pengenalan  gerakan  tangan dalam menginterpretasi bahasa isyarat menggunakan  metode deep  learning (Sharma  & Singh, 2021).
Pada  akhirnya  diharapkan  hasil  dari  penelitian ini  adalah  suatu  metode  pengenalan  instruksi tangan  menggunakan  metode  Haar  Cascade  da- lam bahasa pemrograman Python dan mengimplementasikannya sebagai instruksi pada pencapit robot lengan yang digerakan menggunakan Arduino Nano.

## 2. METODE
Suatu  prototipe  sistem  robot  lengan  dan prototipe  sistem  pengenalan  bentuk  tangan dikembangkan menggunakan metodologi pengembangan waterfall seperti yang ditunjukkan pada gambar 1.
Gambar 1. Metodologi pengembangan sistem
Tahapan  pengembangan  sistem  yang  dilakukan sesuai dengan metodologi pengembangan waterfall dilaksanakan sebagai berikut:
1. Identifikasi Masalah
Dilakukan  dengan  pengumpulan  data  sesuai dengan  latar  belakang  yang  ada  yaitu  berkaitan dengan computer vision dan robot lengan
2. Analisa Kebutuhan
Dilakukan  identifikasi  kebutuhan  dari penelitian yang  akan  dilaksanakan  dan  hasilnya  adalah beberapa  peralatan  penelitian  yang  harus digunakan seperti
a. Arduino Nano
b. Laptop dilengkapi dengan webcam
c. Hardware robot lengan
d. Motor  servo,  sebagai  aktuator  robot lengan
e. Kabel penghubung
f. Software Arduino IDE
g. Software Python IDLE
3. Perancangan
Dilakukan  perancangan  masing-masing  sistem yaitu  sistem  robot  lengan  dilengkapi  dengan motor  servo  serta  program  pada  Arduino  Nano untuk  menggerakan  robot  lengan  dan  sistem computer  vision untuk  mengenali  bentuk instruksi tangan dalam perangkat komputer.
4. Implementasi
Dilakukan  penggabungan  kedua  sistem  untuk menjadi sistem pengaturan robot lengan berbasis computer vision secara keseluruhan.
5. Pengujian
Dilakukan  pengujian  langsung  pada  sistem dengan pengujian Black Box yaitu hanya melihat hasil  keluaran  sistem  atau  pergerakan  robot lengan  berdasarkan  masukan  sistem  atau instruksi bentuk tangan yang diberikan.

## 3. HASIL DAN PEMBAHASAN
Sistem  keseluruhan  dari  robot  lengan  berbasis computer  vision dapat  dilihat  pada  gambar  2. Sistem  keseluruhan  yang  ditunjukkan  pada gambar  2  adalah  sistem  gabungan  dari  sistem robot  lengan  berbasis  arduino  dan  sistem pengenalan  instruksi  tangan  berbasis computer vision .
Gambar 2. Sistem robot lengan berbasis computer vision

## 3.1.Sistem Robot Lengan
Robot lengan dibuat menggunakan bahan akrilik sehingga  dapat  menjamin  ringannya  robot lengan  dan  ketahanan  yang  cukup  kuat  untuk melakukan  pekerjaan.  Robot  lengan  dengan  4 degree of freedom (dof) yang dilengkapi 4 buah motor servo sebagai penggerak. Untuk otak dari robot  lengan  digunakan  Arduino  Nano  dan diprogram  untuk  menerima  instruksi  dari keluaran  perangkat  komputer  atau  laptop  lewat port  serial  yang  nantinya  menjadi  instruksi selanjutnya  untuk  menggerakan  pencapit  robot lengan lewat motor servo. Gambar 3 menunjukkan sistem robot lengan dengan motor servo sebagai penggerak.
Gambar 4 menunjukkan diagram alir ( flowchart ) pemrograman pada Arduino Nano. Saat program dimulai, program akan mengenali instruksi yang dikirimkan  oleh  komputer  melalui serial  port , instruksi dikenali berupa instruksi untuk menutup  capit  dan  instruksi  untuk  membuka capit dan akan dieksekusi sesuai dengan perintah yang  didapatkan.  Jika  Arduino  tidak  mendapat instruksi  maka  program  akan  terus  berjalan dalam  kondisi  perulangan  ( loop ).  Diagram  alir pada  program  Arduino  tidak  memiliki  akhir karena  dalam  Arduino  instruksi  yang  diberikan akan  terus  dieksekusi  sebagai  loop  selama Arduino menyala.
Gambar 4. Diagram alir program Arduino

## 3.2.Sistem Pengenalan Instruksi Tangan
Sistem pengenalan instruksi tangan dibuat dalam perangkat komputer atau laptop dengan menggunakan bahasa pemrograman Python yang dilengkapi  oleh  library  opencv-python  sebagai library untuk computer  vision berbasis  opencv dan library serial untuk berkomunikasi via serial port antara  perangkat  komputer  atau  laptop  dan Arduino  Nano  pada  robot  lengan.  Dalam mengenali  bentuk  instruksi  tangan,  digunakan metode  Haar  Cascade  yang  sudah  dilatih  untuk mengenali  bentuk  kepalan  tangan  dan  bentuk telapak  tangan  sehingga  bentuk  tersebut  akan diinterpretasi  sebagai  perintah  untuk  menjepit capit  robot  lengan  serta  membuka  capit  robot lengan.  Gambar  5  menunjukkan  diagram  alir ( flowchart ) dari program python untuk
mengenali  instruksi  dan  mengirimkan  instruksi lewat serial port . Program dalam komputer akan mencoba  mengenali  bentuk  tangan  pada  hasil tangkapan  kamera,  jika  bentuk  tangan  dikenali sebagai tangan tertutup maka akan mengirimkan perintah  tutup  ke  sistem  Arduino  melalui serial port dan  jika  bentuk  tangan  dikenali  sebagai tangan terbuka maka akan mengirimkan perintah buka  ke  sistem  Arduino  melalui serial  port . Program akan berhenti jika memasukan perintah berhenti yaitu dengan menekan tombol ”q” pada keyboard .
Gambar 5. Diagram alir dari program python

## 3.3.Pengujian
Pengujian sistem dilakukan dengan memberikan masukan berupa instruksi bentuk kepalan tangan dan  telapak  tangan  dan  melihat  apakah  sistem mengenali  bentuk  instruksi  dan  mengirimkan instruksi  lanjutan  kepada  robot  lengan  untuk dapat bergerak sesuai dengan instruksi yang ada. Gambar  6  dan  7  menunjukkan  pengujian  sistem saat diberi instruksi kepalan tangan (tutup capit) dan instruksi telapak tangan (buka capit).
Gambar 6. Instruksi tutup capit
Gambar 7. Instruksi buka capit
Pada  gambar  6  terlihat  instruksi  yang  diberikan berupa  kepalan  tangan  (yang  dilingkari  warna merah) dan robot lengan juga  menutup capitnya (yang  dilingkari  warna  kuning).  Pada  gambar  7 terlihat  instruksi  yang  diberikan  berupa  telapak tangan (yang dilingkari warna merah) dan robot lengan  juga  membuka  capitnya  (yang  dilingkari warna  kuning).  Video  pengujian  dapat  dilihat lewat link berikut ini:
https://drive.google.com/file/d/1EgMcWFFAdI M2AtbWvIIJ6YG82sdDGpS9/view?usp=sharin g
Lewat  pengujian  didapatkan  hasil  bahwa computer  vision dapat  digunakan  untuk  sistem
tambahan  sebagai  pembaca  instruksi  dalam mengendalikan robot lengan. Dengan menggunakan  metode  Haar  Cascade,  bentuk kepalan tangan dan telapak tangan dapat dikenali dengan  baik  dan  dapat  dikirimkan  menjadi instruksi  walaupun  masih  terdapat  delay  sekitar 0,4  detik  hingga  instruksi  dapat  dieksekusi  oleh robot  lengan.  Pengenalan  bentuk  instruksi  juga akan lebih optimal apabila video hasil tangkapan kamera  tidak  memiliki  objek  yang  lain  atau hanya  memiliki  latar  yang  monoton  dengan hanya  memiliki  objek  tangan  sebagai  pemberi instruksi.

## 4. KESIMPULAN
Kesimpulan  yang  didapatkan  adalah computer vision metode  Haar  Cascade  dapat  mengenali dengan  baik  instruksi  dan  membedakan  antara kepalan  tangan  dan  telapak  tangan  yang ditangkap oleh kamera serta dapat dipergunakan untuk  mengendalikan  robot  lengan  berbasis Arduino lewat instruksi yang diberikan via serial port .  Pengenalan  instruksi  akan  lebih  optimal dengan  menggunakan  latar  monoton  dan  hanya objek tangan yang ada di dalam hasil tangkapan kamera.

## UCAPAN TERIMA KASIH
Penelitian  ini  dapat  dilakukan  dengan  adanya bantuan  hibah  penelitian  yang  diberikan  oleh Kementerian Pendidikan, Kebudayaan, Riset dan Teknologi  lewat  program  Hibah  Kompetisi Nasional  Pendanaan  Penelitian  Dasar  anggaran pelaksanaan  tahun  2022,  untuk  itu  diucapkan terima kasih sebesar-besarnya kepada Kementerian  Pendidikan  Kebudayaan  Riset  dan Teknologi atas hibah pendanaan yang diberikan.

## DAFTAR PUSTAKA
Andrekha,  M.  Z.,  &  Huda,  Y.  (2021).  Deteksi Warna Manggis Menggunakan Pengolahan Citra  dengan  Opencv  Python. Voteteknika (Vocational Teknik Elektronika Dan Informatika) , 9 (4), 27. https://doi.org/10.24036/voteteknika.v9i4.1
14251
Li, C., Huang, Y., Huang, W., & Qin, F. (2021).
Learning  features  from  covariance  matrix of gabor wavelet for face recognition under adverse  conditions. Pattern  Recognition ,
119 , 108085. https://doi.org/https://doi.org/10.1016/j.pat cog.2021.108085
Nian,  H.  (2021).  Civil  engineering  stability inspection  based  on  computer  vision  and sensors. Microprocessors and Microsystems , 82 , 103838.
https://doi.org/https://doi.org/10.1016/j.mic pro.2021.103838
Oltean,  S.  E.  (2019).  Mobile  Robot  Platform with  Arduino  Uno  and  Raspberry  Pi  for Autonomous Navigation. Procedia Manufacturing , 32 , 572–577. https://doi.org/10.1016/j.promfg.2019.02.2
54
Ratna,  S.  (2020).  Pengolahan  Citra  Digital  Dan Histogram Dengan Phyton Dan Text Editor Phycharm. Technologia:  Jurnal  Ilmiah ,
11 (3), 181.
https://doi.org/10.31602/tji.v11i3.3294
Sadeddine,  K.,  Chelali,  F.  Z.,  Djeradi,  R.,
Djeradi,  A.,  &  Benabderrahmane,  S.
(2021). Recognition of user-dependent and independent static hand gestures: Application  to  sign  language. Journal  of Visual Communication and Image Representation , 79 , 103193.
https://doi.org/https://doi.org/10.1016/j.jvci r.2021.103193
Sai Prasanna, G. V, Pavani, K., & Kumar Singh,
M.  (2022).  Spliced  images  detection  by using  Viola-Jones  algorithms  method. Materials  Today:  Proceedings , 51 ,  924– 927.
https://doi.org/https://doi.org/10.1016/j.mat pr.2021.06.300
Sharma,  S.,  &  Singh,  S.  (2021).  Vision-based hand  gesture  recognition  using  deep learning  for  the  interpretation  of  sign language. Expert Systems with Applications , 182 , 115657.
https://doi.org/https://doi.org/10.1016/j.esw a.2021.115657
Shetty,  A.  B.,  Bhoomika,  Deeksha,  Rebeiro,  J.,
&  Ramyashree.  (2021).  Facial  recognition using  Haar  cascade  and  LBP  classifiers. Global Transitions Proceedings , 2 (2), 330–
335.
https://doi.org/https://doi.org/10.1016/j.gltp .2021.08.044
Sitompul,  E.  (2020). Prototipe  Manipulator Lengan  Robot  Berbasis  Arduino  dengan Metoda Kendali Lead-Through . 6 (1), 1–14.
Sumardi,  S.  (2018).  Robot  Lengan  Pemindah
Barang Otomatis Berbasis Arduino
Menggunakan  Sensor  Warna. Jurnal  Sains Komputer  Dan  Teknologi  Informasi , 1 (1),
20–28.
https://doi.org/10.33084/jsakti.v1i1.454
Wiliam,  W.,  Kartadinata,  B.,  &  Wijayanti,  L.
(2019).  Pengendalian  Lengan  Robot  untuk Proses Pemindahan Barang. TESLA: Jurnal Teknik Elektro , 21 (1), 69. https://doi.org/10.24912/tesla.v21i1.3252
Wu, H., Zhong, B., Li, H., Love, P., Pan, X., & Zhao,  N.  (2021).  Combining  computer vision  with  semantic  reasoning  for  on-site safety management in construction. Journal  of  Building  Engineering , 42 ,
103036. https://doi.org/https://doi.org/10.1016/j.job e.2021.103036