Panji  Setyo  Suharso  (2023) Sistem  Pengenalan  Telapak  Tangan  pada  Interaksi  Manusia  Robot  sebagai Perintah untuk Mobile Robot, (8) 7, http://dx.doi.org/10.36418/syntax-literate.v6i6
E-ISSN: 2548-1398 Published by: Ridwan Institute
Syntax Literate: Jurnal Ilmiah Indonesia p–ISSN: 2541-0849 e- ISSN: 2548-1398 Vol. 8, No. 7, Juli 2023

## SISTEM  PENGENALAN  TELAPAK  TANGAN  PADA  INTERAKSI  MANUSIA ROBOT SEBAGAI PERINTAH UNTUK MOBILE ROBOT

## Panji Setyo Suharso
Institut Teknologi Sepuluh November, Indonesia E-mail: panjisetyosuharso@gmail.com

## Abstrak
Sistem  pengenalan  telapak  tangan  pada  interaksi  manusia-robot  sebagai  perintah untuk mobile robot adalah suatu penelitian yang bertujuan untuk mengembangkan sebuah  sistem  yang  memungkinkan  robot  untuk  menerima  perintah  dan  instruksi secara  non-verbal  dari  manusia  melalui  pengenalan  telapak  tangan.  Dengan menggunakan teknologi pengenalan citra dan pengolahan data, sistem ini bertujuan untuk menciptakan interaksi yang intuitif antara manusia dan robot, memungkinkan robot  untuk  mengenali  gerakan  tangan  dan  memahami  perintah  yang  diberikan. Penelitian  ini  mencakup  beberapa  tahap  pengembangan.  Pertama,  dilakukan pemrosesan  dan  analisis  citra  untuk  mengidentifikasi  dan  memahami  bentuk  dan gerakan  telapak  tangan  manusia.  Kemudian,  data  tersebut  dihubungkan  dengan perintah yang sesuai untuk dikomunikasikan kepada mobile robot. Proses pelatihan dilakukan  untuk  meningkatkan  akurasi  sistem  pengenalan  telapak  tangan  dan mengurangi  kemungkinan  kesalahan  dalam  interpretasi  perintah.  Hasil  dari penelitian ini diharapkan dapat membawa dampak positif dalam penggunaan mobile robot, terutama dalam lingkungan yang rumit atau berbahaya di mana komunikasi verbal  mungkin  terbatas  atau  tidak  mungkin  dilakukan.  Interaksi  manusia-robot yang  lebih  alami  dan  mudah  diharapkan  dapat  meningkatkan  efisiensi  dan keselamatan dalam pengoperasian mobile robot.
Kata  kunci: Sistem  Pengenalan  Telapak  Tangan;  Interaksi  Manusia-Robot;  Mobile Robot; Pengolahan Citra; Perintah Non-Verbal.

## Abstract
Palm  recognition  system  on  human-robot  interaction  as  commands  for  mobile robots  is  aresearch  that  aims  to  develop  a  system  that  allows  robots  to  receive commands and instructions non-verbally from humans through palm recognition. Using image recognition and data processing technology, the system aims to create an intuitive interaction between humans and robots, allowing robots to recognize hand  gestures  and  understand  commands  given.  The  research  includes  several stages  of  development.  First,  image  processing  and  analysis  is  carried  out  to identify and understand the shape and movement of the human palm. Then, the data is linked with the appropriate commands to be communicated to the mobile robot.
The training process is carried out to improve the accuracy of the palm recognition system and reduce the likelihood of errors in the interpretation of commands. The results  of  this  study  are  expected  to  have  a  positive  impact  on  the  use  of  mobile robots,  especially  in  complicated  or  dangerous  environments  where  verbal communication may be limited or impossible. More natural and easy human-robot interaction is expected to improve efficiency and safety in the operation of mobile robots.

## Keywords: Palm Recognition System; Human-Robot Interaction; Mobile Robot; Image
Processing; Non-Verbal Commands.

## Pendahuluan
Keberadaan  interaksi  antara  manusia  dan  robot  telah  menjadi  isu  hangat  dalam dunia penelitian terkait robot belakangan ini (Mayanda, 2017). Adanya pergeseran sudut pandang  yang  awalnya  aplikasi  robot  lebih  dominan  digunakan  dalam  dunia  industri sekarang  berubah  kedalam  skup  kehidupan  sehari  hari  (Widiantoro,  2022).  Beberapa aplikasi  yang  dikembangkan  diantaranya  adalah  terkait  kemampuan  robot  dalam mengenali perintah suara, gesture dsb (Dzikri, 2022).
Telah  dikembangkan  pendekatan  untuk  mendeteksi  gesture  yaitu  HMM  (Hideen Markov  Model)  (Puturuhu,  2021).  Metode  tersebut  dapat  mentracking  kedua  tangan dengan kamera (Putra et al., 2016). Untuk mensuport perkembangan robot, pengenalan gesture  telah  dijadikan  alat  bantu  untuk  berkomunikasi  antara  manusia  dengan  robot (Guslianto, 2019). Dalam kaitanya untuk mengembangkan aplikasi mobile robot.
Pada  tugas  ini  kamera  akan  digunakan  sebagai  sensor  untuk  melakukan tracking  telapak  tangan.  Kamera  dipilih  karena  kemudahannya  dalam  mengambarkan posisi sendi pada manusia. Langkah yang dilakukan adalah 1) Deteksi persendian telapak tangan  dengan  kamera.  2)  Estimasi  pose  tiga  dimensi  pada  hasil  deteksi  persendian telapak  tangan.  3)  Mengkonversi  data  posisi  sendi  kedalam  perintah  mobile  robot.  4) Membuat model mobile robot dengan aplikasi berbasis firebase.

## Metode Penelitian
Untuk mendeteksi lokasi telapak tangan didesain “single shot detector” model untuk optimasi  pendeteksian.  Pendeteksian  tangan  merupakan  tugas  yang  kompleks  karena harus  bisa  mendeteksi  berbagai  ukuran  tangan  (dengan  toleransi  lebar  20x)  relative terhadap  gambar  tangkapan  pada  frame.  Dengan  menggunakan  metode  ini  dapat mendeteksi tangan yang nampak keseluruhan atau sebagian.
Deteksi dilakukan dengan data training berupa deteksi telapak tangan yang diambil langsung. Kemudian estimasi dilakukan dengan membatasi frame pada bounding boxes (sequare bounding box) sehinga objek yang rigit seperti telapak tangan, kepalan tangan dapat  terdeteksi  dengan  baik.  Kemudian  fiture  encoder-decoder  extractor  digunakan untuk sudut pandang frame yang luas dengan objek yang kecil.
Setelah  dilakukan  deteksi  telapak  tangan  melalui  berbagai  tangkapan  gambar berikutnya model “handlanmark” dilakukan untuk mendapatkan lokalisasi koordinat dari 21 3D titik yang menyatakan buku jari dengan mendifinisikan sebagai daerah tangan yang terdeteksi. Kemudian dilakukan perhitungan untuk prediksi koordinat.
Untuk  mendapatkan  data  yang  akurat  dinotasikan  30K  tangkapan  gambar  model telapak tangan dengan proses pendifinisian 21 koordinat 3D. Dilakukan pengambilan dari bidang  z  untuk  Analisa  image  dept  map  jika  memang  terdapat  tangkapan  image  yang sesuai. Hal ini dilakukan untuk membantu deteksi kemungkinan dari pose tangan serta sebagai data tambahan untuk mengkunci geometri.

## Gambar 1 Hand Landmarks

## Hasil dan Pembahasan
Algoritma pendeteksi koordinat telapak tangan.
Sensor Kamera dapat menyediakan data informasi posisi dari tubuh manusia sesuai erakan    libarary  dinamakan  “open  Cv”  digunakan  dalam  penelitian  berikut  (Venna  & Tjahjanto,  2022).  Data  posisi  merepresentasikan  data  pembacaan  dari  sensor  dalam pendeteksian  posisi  (Xs-Ys-Zs),  diberikan  dari  hasil  pembacaan  kamera  Merupakan definisi  dari  titik  asal  yang  terletak  di  pusat  telapak  tangan  kanan  dan  arahnya  sama dengan sistem koordinat.
Syntax Literate , Vol. 8, No. 7, Juli 2023 5307

## Transformasi Koordinat
Pada  penelitian  ini  untuk  mempermudah  dan  mengefektifkan  pensimbolan  dari erakan  manusia.  Kita  berfokus  perubahan  dari  arah  posisi  selama  manusia  melakukan gestur tertentu. Ketika manusia menggerakan telapak tangan untuk membuat gestur sendi yang berada ditiap ruas jari berubah posisinya (Alfianto, 2017). Perubahan arah tersebut yang digunakan untuk mengamati proses pengenalan gestur.
Sehingga  pergerakan  dari  telapak  tangan  manusia  untuk  mendapatkan  gestur tertentu  sangat  rumit  dan  spatial  actually.  Sehingga  simbolisasi  dilakukan  berdasarkan sisi  depan  dan  menyamping  pada  artikel  ini.  Apabila  hanya  satu  sisi  yang dipertimbangkan  maka  beberapa  gerakan  tidak  dapat  dideteksi  karena  telapak  tangan bergerak pada bidang penampang yang tersembunyi. Pada sisi depan dan samping sudut pandangnya adalah X-Y dan Z – Y plane. Sudut dari θ_XY dari koordinat sumbu X, pada bidang X-Y dihitung dengan persamaan (3) dengan posisi telapak tangan manusia sebelah kanan.
θ_XY = atan 2 (y_1 – y_0, x_1 – x_0) (3)
Kemudian sudut θ_ZY dari sumbu Z ke lengan pada bidang Z-Y dikalkulasi meggunakan persamaan (4). θ_ZY = atan 2 (y_1 – y_0, z_1 – z_0) (4)
Sehingga sudut dikonversikan kedalam simbol yang merepsentasikan tiap bidang.
Gambar 2 Atas: gambar tangan yang telah dipotong dengan garis deteksi melalui titik

## anotasi

## IMPLEMENTASI

## Muti Hands Landmarks
Kumpulan  data  dari  deteksi/tracking  tangan  dimana  tiap  tangan  didefinisikan sebagai  21  titik  hand  lanmarks  dan  setiap  landmarks  terdiri  dari  X,  Y  dan  Z.  Untuk koordinat X dan Y dinormalisasi dalam [0.0,1.0] dengan tinggi dan lebar sesuai gambar masing–masing.  Z  merepresentasikan  landmark  depth  dengan  depth  pada  pergelangan manusia  dari  asal/kamera,  semakin  kecil  nilainya  semakin  dekat  jarak  tangan  dengan kamera. Besarnya nilai Z digunakan sebagai ukuran skala kasar sama seperti X.

## Multi Hands World Landmarks
Kumpulan  dari  data  deteksi/tracking  tangan  dimana  tiap  tangan  didefinisikan sebagai 21 titik handlandmark dalam koordinat nyata. Setiap koordinat terdiri dari bidang X, Y dan Z sesuai dengan kenyadaan berbentuk koordinat 3D, dalam satuan meter dengan acuan jarak asal dari pusat geometris tangan.

## Multi Handedness
Kumpulan  dari  data  deteksi  tracking  tangan  dimana  tiap  tangan  terdiri  dari  data “label” dan “score”. Label adalah data string dengan nilai kiri atau kanan (Gunawan & Sudarsono,  2022).  Sedangkan  score  menunjukan  probablitas  dari  estimasi  perediksi taangan kiri yang nilainya biasanya lebih besar atau sama dengan 0.5 sedangkan tangan kanan nilainya 1.
Menggunakan  Open  CV  /Open  Computer  Vision,  Merupakan  suatu  library  pada python yang digunakan untuk mendeteksi object dalam bentuk image, video atau webcam (Tiku  et  al.,  2022).  Membuat  Project  mobile  robot  pada  firebase  (goggle),  Firebase digunakan untuk mengkoneksikan antara tampilan gui mobile robot yang dapat diberikan perintah sesuai data hasil deteksi/tracking tangan yang dilakukan menggunakan webcam.

## Simulasi
Simulasi dilakukan dengan model mobile robot yang dibuat menggunakan firebase (goggle_apps)  kemudian  modelnya  ditampilkan  modelnya  menggunakan  BlueStack. Implementasi  dan  simulasi  dilakukan  mengunakan  pemrograman  Phython3.10.8;  (a) Simulasi dilakukan dengan laptop dengan 8 core tanpa GPU. (b) Kamera yang digunakan: Sonix Wide Vision Webcam. (c) Robot dalam simulasi dapat melakukan Gerakan sesuai dengan perintah yang diberikan dengan gestur telapak tangan.
Untuk  gesture  tangan  mengepal:  Mobile  robot  Stop,  Gestur  angka  lima:  Mobile robot mundur, Gesture angka satu: Mobile Robot maju, Gestur angka dua: Mobile Robot maju cepat. Menggunakan firebase untuk membuat model mobile robot.
Gambar 3 Tampilan app firebase untuk model mobile robot
Gambar 4 Block pemrograman pada firebase
Gambar 5 Perintah gestur maju Gambar 6 Perintah gesture Stop
Gambar 7 Perintah gestur jalan cepat

## Gambar 8 Perintah getur mundur

## Kesimpulan
Dalam  kesimpulannya,  penggunaan  sistem  pengenalan  telapak  tangan  dalam interaksi manusia-robot sebagai perintah untuk mobile robot memiliki potensi yang besar untuk  meningkatkan  komunikasi,  keselamatan,  dan  aksesibilitas  teknologi  robotik. Namun,  untuk  mencapai  potensi  penuhnya,  diperlukan  pendekatan  yang  terpadu  dan sistem yang handal.

## BIBLIOGRAPHY
Alfianto, A. (2017). Kendali Lengan Robot Manipulator Menggunakan Kamera Stereo. Journal of Applied Electrical Engineering , 1 (1), 1–6.
Dzikri, M. H. A. (2022). Sistem Kendali Multiple Mikrokontroler Menggunakan Perintah Suara Berbasis Internet of Things (IoT) .
Gunawan, G., & Sudarsono, A. (2022). Penerapan Exact String Matching Pencarian Data Pada Sistem Informasi Akademik Berbasis Web. Jurnal Teknologi Sistem Informasi Dan Sistem Komputer TGD , 5 (2), 214–218.
Guslianto,  S.  I.  K.  A.  (2019). Implementasi  Pengenalan  Warna  Pada  Robot  Beroda Dengan  Kamera  Android  Menggunakan  Model  Warna  Rgb  Dan  Logika  Fuzzy . UNIVERSITAS ISLAM NEGERI SULTAN SYARIF KASIM RIAU.
Mayanda, C. A. (2017). Interaksi Manusia Dengan Robot Dalam Komik H2o: Reborn . Universitas Airlangga.
Putra,  Y.  S.,  Novianty,  A.,  &  Anbarsanti,  N.  (2016).  Perancangan  Dan  Implementasi Sistem Pengenalan Bahasa Isyarat Indonesia Menggunakan Kombinasi Sensor Depth Image  Dan  Human  Skeleton  Kinect  Dengan  Metode  Hmm. EProceedings  of Engineering , 3 (2).
Puturuhu, J. P. (2021). Ta: Deteksi Hand Gestures Pada Ground Marshall Menggunakan Metode Hmm Dalam Proses Parkir Pesawat . Institut Teknologi Nasional.
Tiku,  J.  C.,  Saputra,  W.  A.,  &  Prasetyo, N.  A.  (2022).  Pengembangan  Sistem  Deteksi Memakai Masker Menggunakan Open CV, Tensorflow dan Keras. JURIKOM (Jurnal Riset Komputer) , 9 (4), 1183–1190.
Venna, F. C., & Tjahjanto, T. (2022). Perbandingan Iot Pada Sensor Kinect, Sensor Pir Dan  Rfid  Dalam  Sistem  Keamanan  Rumah. JUST  IT:  Jurnal  Sistem  Informasi, Teknologi Informasi Dan Komputer , 13 (1).
Widiantoro,  S.  (2022). Robotic  Process  Automation  Pada  Sistem  Surat  Paklaring Menggunakan Uipath .

## Copyright holder:
Panji Setyo Suharso (2023)
First publication right: Syntax Literate: Jurnal Ilmiah Indonesia
This article is licensed under: