## Alat Pengenal Gerakan Tangan Menggunakan
Algoritma Artificial Neural Network Berbasis ESP32 dan Platform Edge Impulse
Yohana Susanthi 1 , Aan Darmawan 2 , Siti Budi Suryadi 3
Program Studi Teknik Elektro, Fakultas Teknik, Universitas Kristen Maranatha, Bandung 1 yohana.susanthi@eng.maranatha.edu, 2 aan.darmawan@eng.maranatha.edu, 3 1822015@eng.maranatha.edu

## Ringkasan
Penyandang disabilitas dan orang tua lansia sering mengalami kesulitan dalam melakukan aktivitas seperti manusia pada umumnya. Dalam kondisi seperti ini diperlukan alat yang dapat memanggil perawat untuk meminta bantuan hanya dengan gerakan tangan. Selain itu, denyut nadi dan suhu tubuh juga perlu dipantau setiap saat oleh perawat.  Penelitian ini bertujuan merancang  alat  untuk  mengklasifikasikan  lima  gerakan tangan  menggunakan metode machine learning dengan algoritma Artificial Neural Network (ANN) dari platform Edge Impulse . Implementasi dilakukan dengan menggunakan ESP32, sensor akselerometer, sensor suhu tubuh dan sensor denyut nadi. Semua data hasil klasifikasi, pembacaan suhu tubuh dan denyut nadi dikirimkan ke aplikasi Android, yang memungkinkan perawat mengetahui panggilan  dari gerakan tangan dan memantau kondisi denyut nadi dan suhu tubuh pengguna alat. Algoritma ANN pada Edge  Impulse mencapai akurasi pengenalan gerakan tangan sebesar 99,9%. Berdasarkan pengujian oleh lima responden, gerakan tangan " circle " memiliki tingkat keberhasilan tertinggi sebesar 94%, sedangkan gerakan tangan " stand " memiliki tingkat keberhasilan paling rendah sebesar 72%. Serta didapatkan rata-rata error pengukuran suhu tubuh sebesar 1,58% dan rata-rata error pengukuran denyut nadi sebesar 8,43%.
Kata kunci: gerakan tangan, ESP32, Edge Impulse, sensor akselerometer

## Abstract
People with disabilities and elderly parents often have difficulty carrying out activities like ordinary people. In conditions like this, a tool is needed that can call a nurse for help just by moving the hand. Pulse and body temperature also need to be monitored at all times by the nurse. This research aims to design a tool to classify five hand movements using machine learning methods with the Artificial  Neural  Network (ANN) algorithm from the Edge Impulse platform. Implementation is carried out using ESP32, accelerometer sensors, body temperature sensors and pulse sensors. All classification data, body temperature and pulse readings are sent to the Android application. Nurses using their smartphones can find out calls from the user's hand movements and can also  monitor the user's pulse and body temperature. The ANN algorithm on Edge Impulse achieves hand movement recognition accuracy of 99.95%. Based on test results by five respondents, the "circle" hand movement had the highest success rate at 94%, while the "stand" hand movement had the lowest success rate
Techné Jurnal Ilmiah Elektroteknika Vol. 23 No. 1 April 2024 Hal 77 - 94
at 72%. The average error in measuring body temperature is 1.58% and the average error in measuring pulse is 8.43%.
Keywords: hand movements, ESP32, Edge Impulse, accelerometer sensors

## 1.   Pendahuluan
Bertambahnya usia adalah suatu proses alami yang menandakan seseorang memasuki tahap akhir dalam perjalanan hidupnya  yang dapat berdampak pada peran sosial seseorang. Pada usia lanjut, sering kali ditandai dengan penurunan kemampuan fisik seperti gangguan penglihatan, kehilangan kemampuan mendengar dan kesulitan untuk beraktifitas [1].
Denyut nadi dan suhu tubuh merupakan tanda-tanda vital yang perlu dipantau oleh perawat. Tanda tanda klinis ini dapat membantu memperkuat diagnosis suatu penyakit. Pada umumnya pemeriksaan denyut nadi dan suhu tubuh masih secara manual yaitu perawat mendatangi pasien pada waktu tertentu untuk melakukan pengukuran sehingga kurang efektif [2].
Untuk penyandang disabilitas dan lansia yang sudah tidak dapat melakukan aktivitas dan hanya berbaring di tempat tidur diperlukan alat yang dapat memanggil perawat. Alat pengenal gerakan tangan dapat  menjadi salah satu alternatif bagi mereka untuk memanggil perawat secara nirkabel  asalkan masih  memiliki ingatan yang baik dalam mengingat gerakan tangan yang akan dikenali.
Beberapa penelitian telah dilakukan untuk membuat sistem yang dapat dikendalikan oleh gerakan tangan. Penelitian yang berjudul “Kontrol Kipas Angin Secara Jarak Jauh Melalui Pengenalan Bentuk Gesture Jari Tangan Berbasis Computer Vision” yang dilakukan oleh Fredi Wakerkwa dkk melakukan pengontrolan kipas angin secara jarak jauh melalui proses deteksi gesture jari tangan. Pengenalan gesture jari tangan secara computer vision menggunakan webcam [3].
Penelitian yang berjudul “Kontrol Penerangan Ruangan Dengan Gerakan Tangan Berbasis NodeMCU ESP8266” yang dilakukan oleh Tony Wungkana dkk dapat mengenali gerakan tangan menggunakan sensor gesture dan NodeMCU ESP8266 untuk menyalakan lampu-lampu di dalam ruangan [4].  Namun sistem ini  hanya dapat mendeteksi pergerakan tangan ke atas, ke bawah, ke samping kiri dan ke samping kanan.
Terdapat juga penelitian yang dilakukan oleh Hartono dan Kiki Prawiroredjo dengan judul “ Home Automation Berbasis Gesture Control Menggunakan Motion Processing Unit ”. Pada penelitian ini diusulkan sebuah home automation system dengan pengenalan isyarat gerakan tangan menggunakan sensor MPU-6050 ( Motion Processing Unit ).  Arduino membaca sinyal analog dari sensor MPU-6050 lalu sinyal diubah ke bentuk sinyal kotak. Sinyal tersebut kemudian dibandingkan dengan 8 pola sinyal yang merepresentasikan isyarat gerakan tangan. Nilai error yang dihasilkan adalah sebesar 2,5% [5].
Pada penelitian yang berjudul “Sistem Pengaturan Nyala Lampu Berbasis Gerakan Tangan Melalui Wearable Device dengan Metode K-Nearest Neighbor ” yang dilakukan oleh Abdul Rahman Halim dkk dibangun sebuah sistem yang dapat mengenali gerakan tangan dengan menggunakan sensor akselerometer MPU6050  dan Arduino Uno. Klasifikasi gerakan tangan menggunakan machine learning dengan  algoritma K-Nearest Neighbor . Gerakan tangan yang dapat dikenali hanya 3 yaitu: melambai ke atas, ke kiri dan ke bawah dan memiliki tingkat akurasi sebesar 100% [6].
Alat Pengenal Gerakan Tangan Menggunakan Algoritma Artificial Neural Network Berbasis ESP32 dan Platform Edge Impulse Yohana Susanthi, Aan Darmawan, Siti Budi Suryadi
Selanjutnya  terdapat  penelitian yang berjudul “Deteksi Gerakan Tangan menggunakan Support Vector Machine pada Dumbbell Berbasis Raspberry Pi Zero” yang dilakukan oleh Erwani Merry Sartika dkk.  Mereka mengembangkan sebuah sistem untuk mendeteksi gerakan pemakai saat berolahraga menggunakan dumbbell . Untuk mendeteksi gerakan digunakan sensor Inertial Measurement Unit (IMU)  dengan algoritma Support Vector Machine (SVM) yang dijalankan pada sebuah Single Board Computer Raspberry Pi Zero W.  Dari hasil pengujian, sistem ini memiliki  tingkat keberhasilan 90 -94% [7].
Penggunaan webcam untuk mendeteksi gerakan tangan pada penelitian sebelumnya [3] dapat menyebabkan kesalahan jika sudut pandang kamera berubah dan pencahayaan kurang [8]. Beberapa penelitian sebelumnya [4][5] tidak menggunakan algoritma machine learning . Padahal dengan bantuan algoritma machine learning dapat mengklasifikasikan gerakan-gerakan tangan yang berbeda dengan lebih baik [9].
Penelitian ini bertujuan untuk mengembangkan alat pengenal gerakan tangan untuk memanggil perawat bagi penyandang disabilitas dan lansia (selanjutnya disebut pengguna). Alat ini dipasang pada pergelangan tangan  pengguna dan menggunakan sensor akselerometer MPU-6050 dan algoritma Artificial Neural Network (ANN)  untuk mengenali gerakan tangan. Berbeda dengan penelitian terdahulu [7] yang menggunakan Raspberry Pi  untuk menjalankan algoritma machine learning , maka penelitian ini menggunakan pengendali mikro ESP32 dan platform Edge Impulse untuk menghadirkan solusi machine learning yang tertanam di ESP32 [10][11][12]. Solusi ini dapat menghemat biaya karena tidak perlu menggunakan Single Board Computer yang relatif lebih mahal. Alat yang dikembangkan juga dapat memantau denyut nadi dan suhu tubuh pengguna secara real time menggunakan sensor MAX30102 dan sensor MLX90614. Hasil klasifikasi gerakan tangan, pembacaan denyut nadi dan suhu tubuh dikirim ke aplikasi Android sehingga perawat dapat dengan mudah mengetahui jika ada panggilan dan memantau kondisi pengguna dari smartphone .

## 2.   Metode Penelitian
Metode  yang digunakan pada penelitian  ini meliputi beberapa tahap. Tahap awal dimulai dari menemukan  masalah sehingga muncul gagasan untuk membuat solusi. Tahap berikutnya melakukan kajian pustaka dari penelitian-penelitian sebelumnya. Kemudian masuk ke tahap perancangan dan realisasi alat. Setelah itu dilanjutkan dengan tahap pengujian alat yang melibatkan beberapa responden. Tahap terakhir adalah menarik kesimpulan. Gambar 1 memperlihatkan metode penelitian yang telah dilakukan.

## 2.1.   Diagram Blok Sistem
Alat pengenal gerakan tangan yang dikembangkan dalam penelitian ini terdiri dari sensor suhu MLX 90614, sensor denyut nadi MAX30102, sensor akselerometer MPU6050, ESP32 PICO D4, indikator LED Neopilxel dan baterai Li-Po 3.7 V. Diagram blok sistem dapat dilihat pada Gambar 2.

## Techné Jurnal Ilmiah Elektroteknika Vol. 23 No. 1 April 2024 Hal 77 - 94

## Gambar 1. Metode penelitian

## Gambar 2. Diagram blok sistem
Sensor  MLX 90614  mengirimkan data pembacaan suhu  tubuh,  sedangkan  sensor MAX30102  mengirimkan data berupa nilai pulsa yang didapat dari perubahan denyut nadi yang dideteksi  dan sensor akselerometer MPU6050  mengirimkan data akselerasi gerakan tangan dari 3 sumbu (aX, aY, aZ).  Semua data dari  sensor akan dibaca dan diproses oleh ESP32 PICO D4. Pembacaan data akselerometer akan diolah menggunakan machine  learning yang tertanam di ESP32 PICO D4 berupa library Edge Impulse dan diklasifikasikan menggunakan algoritma Artificial Neural Network (ANN).
Terdapat 5 macam hasil klasifikasi gerakan tangan ( circle , stand , up_down , emergency , idle) yang ditampilkan pada indikator LED Neopixel dengan warna-warna yang berbeda supaya dapat dilihat juga oleh pengguna. Modul ESP32 PICO D4 juga akan mengirimkan data hasil pembacaan suhu tubuh, data denyut nadi dan hasil klasifikasi gerakan tangan ke  Node-RED  yang berada di cloud menggunakan protokol MQTT.  Node-RED  akan memproses data yang telah diterima.  Kalibrasi  data suhu tubuh dan denyut nadi dilakukan di dalam node , sedangkan data hasil klasifikasi yang dikirimkan oleh ESP32 diterjemahkan ke dalam 4 macam notifikasi panggilan ke perawat yang telah ditentukan karena untuk gerakan idle tidak diterjemahkan ke notifikasi.
Menemukan masalah Kajian pustaka Perancangan dan realisasi alat Pengujian alat Kesimpulan ESP32 PICO D4 + MACHINE LEARNING SENSOR SUHU MLX 90614 SENSOR AKSELEROMETER MPU6050 SENSOR DENYUT NADI MAX30102 INDIKATOR LED NEOPIXEL MQTT BROKER NODE- RED SERVER FIREBASE NOTIFIKASI DI APLIKASI ANDROID LAYANAN CLOUD
Alat Pengenal Gerakan Tangan Menggunakan Algoritma Artificial Neural Network Berbasis ESP32 dan Platform Edge Impulse Yohana Susanthi, Aan Darmawan, Siti Budi Suryadi
Proses  selanjutnya  adalah Node-RED  akan mengirimkan data yang telah diolah ke server Firebase sebagai basis data yang berada di cloud . Terakhir pada aplikasi Android akan terus mengambil data dari server Firebase dan ditampilkan pada tampilan layar aplikasi yang berisi nilai suhu subuh, nilai denyut nadi dan 4 macam notifikasi panggilan yang berasal dari gerakan tangan  pengguna alat. Notifikasi pada  aplikasi  Android  hanya muncul jika ada perintah yang diterima dari server Firebase .

## 2.2.   Perancangan Perangkat Keras
Alat  pengenal gerakan tangan ini harus dapat dipasang  pada pergelangan tangan pengguna. Oleh karena itu alat dibuat seringkas mungkin sehingga tidak mengganggu pergerakan tangan dan diperlukan boks sebagai tempat dipasangnya seluruh komponen elektronik pada alat yang akan dibuat.
(a)                                                                         (b) Gambar 3. (a) Rancangan boks bagian atas  (b) Rancangan boks bagian bawah
Gambar 3 memperlihatkan hasil rancangan boks alat menggunakan aplikasi Fusion 360. Boks tersebut dapat memuat tiga buah sensor, satu modul ESP32 PICO D4 dan baterai Li-Po  3.7 V. Semua alat elektronik dihubungkan melalui papan PCB sehingga dapat menghemat tempat dan rangkaian kabel menjadi ringkas.
Skema rangkaian elektronik alat pengenal gerakan tangan ini dapat dilihat pada Gambar 4.  Ketiga sensor,  yaitu MAX30102, MLX90614, dan MPU6050 menggunakan komunikasi I2C sehingga menghemat pinout pada  pengendali  mikro.  Lampu indikator LED Neopixel tipe WS2812 dipilih karena dapat memenuhi kebutuhan sistem ini yang memerlukan lampu indikator dengan berbagai macam warna dengan  hanya menggunakan satu buah pinout pada pengendali mikro.  Sebagai catu daya digunakan baterai Li-Po 3.7 V dengan kapasitas baterai sebesar 1.200 mAh. Baterai ini mempunyai bentuk yang kecil dengan kapasitas yang cukup besar sehingga cocok untuk menjalankan alat pengenal gerakan tangan ini.

## 2.3.  Perancangan Perangkat Lunak
Untuk dapat mengklasifikasikan gerakan tangan  yang akan dikenali, alat yang dirancang ini menggunakan metode machine learning dengan bantuan platform Edge Impulse . Data yang harus dikumpulkan adalah rekaman data beberapa gerakan tangan yang dideteksi oleh sensor akselerometer. Alat ini ditujukan untuk pengguna yang telah lanjut usia, yang sudah sulit melakukan kegiatan di luar rumah atau bahkan hanya bisa melakukan kegiatan di kamar, sehingga dalam pengumpulan data maka peneliti harus menggunakan gerakan yang tidak boleh terlalu cepat dan terlalu sulit. Peneliti  harus
Techné Jurnal Ilmiah Elektroteknika Vol. 23 No. 1 April 2024 Hal 77 - 94
menirukan menjadi orang tua lansia yang sudah lemah sehingga gerakan dibuat sesuai dengan kondisi orang tua lansia.
Pengumpulan  data  dapat dilakukan dengan  menghubungkan  pengendali mikro ESP32  PICO D4 yang sudah terpasang sensor akselerometer ke serial monitor dengan menjalankan perintah “edge-impulse-data-forwarder” . Gambar 5 memperlihatkan tampilan pada platform Edge Impulse saat pengambilan data.
Gambar 4. Skema rangkaian elektronik
Gambar 5. Jendela pengumpulan data pada platform Edge Impulse

## Alat Pengenal Gerakan Tangan Menggunakan Algoritma Artificial Neural Network
Berbasis ESP32 dan Platform Edge Impulse Yohana Susanthi, Aan Darmawan, Siti Budi Suryadi
Pada pengambilan data akselerometer ini digunakan dataset sebesar 80% dan data test sebesar 20%  (perbandingan 8:2).  Data inilah yang akan digunakan untuk melakukan training oleh machine learning. Gerakan tangan dikelompokkan menjadi 5 gerakan untuk memanggil bantuan perawat. Lima klasifikasi gerakan tangan dan artinya dapat dilihat pada Tabel 1.
Tabel 1. Klasifikasi gerakan tangan dan artinya Gerakan Tangan Arti Circle Saya ingin makan Stand Saya ingin buang air Up_down Saya ingin ganti baju Emergency Tolong keadaan darurat! Idle Tidak ada notifikasi
Gerakan tangan circle, stand, up_down, emergency, idle yang dimaksud pada penelitian ini berbeda dengan hand gesture dalam bahasa isyarat yang sering digunakan oleh para penyandang tunarungu untuk berkomunikasi. Bahasa isyarat di tiap negara dapat berbeda-beda, namun dalam komunitas tertentu memiliki standar isyarat internasional untuk berkomunikasi dengan sesamanya yang berasal dari berbagai negara. Gerakan tangan di dalam Tabel 1 hanya digunakan untuk membedakan beberapa panggilan dari pengguna yang mempunyai makna yang berbeda-beda. Gerakan tangan untuk keperluan ini belum memiliki standar dan tidak ada kaitannya dengan hand gesture dalam bahasa isyarat. Masing-masing gerakan tangan tersebut ditunjukkan oleh Gambar 6.
Pengambilan data dilakukan sebanyak 250 data akselerometer dengan  lama waktu pengambilan untuk setiap data adalah 10 detik dan perbandingan data yang diambil adalah 200 dataset dan 50 data test. Banyaknya data ini merupakan perbandingan 80% dataset dan 20% data test. Pada pengambilan data ini dipisahkan menjadi 5 label, yaitu circle, stand, up_down, emergency, idle. Tabel 2 menunjukkan perbandingan antara dataset dan data test.
Jumlah  data training yang digunakan untuk metode ANN secara tepatnya tidak dijelaskan oleh provider Edge Impulse , tetapi dengan 200 sampai 300 data umumnya sudah dapat mengklasifikasi dengan akurasi yang baik [13][14].
Hasil plot grafik data akselerometer dari masing-masing gerakan dapat dilihat pada Gambar 7.
Pada platform Edge Impuls , metode ekstraksi data yang digunakan pada Processing Block adalah Spectral Analysis . Sedangkan pada proses pelatihan data, Learning Block yang dipilih adalah Classification dan Anomaly Detection ( K-Means ). Pada bagian Classification , metode yang dipilih adalah Artificial Neural Network .
Gambar 8 menunjukkan hasil pelatihan dari metode Artificial Neural Network dan pada bagian kanan jendela didapatkan hasil klasifikasi gerakan serta akurasi dari setiap klasifikasi. Dilihat dari confusion matrix pada bagian kanan tersebut, klasifikasi dan akurasi yang dihasilkan mencapai 99,9% dan hasil ini sudah cukup baik untuk melakukan prediksi gerakan tangan berdasarkan klasifikasi yang ada. Konfigurasi pada platform Edge Impuls ini  kemudian disimpan ke dalam bentuk Arduino library sehingga dapat dijalankan di ESP32.
Techné Jurnal Ilmiah Elektroteknika Vol. 23 No. 1 April 2024 Hal 77 - 94
Selanjutnya ESP32 PICO D4 diprogram untuk dapat mengirimkan data suhu tubuh, denyut nadi dan hasil klasifikasi ke MQTT broker . Diagram alir program pada ESP32 PICO D4 dapat dilihat pada Gambar 9.
Tahap awal program dimulai dengan melakukan inisialisasi wifi dan MQTT, tahap ini dilakukan karena semua data hasil klasifikasi dan data sensor akan dikirimkan ke cloud server secara wireless. Setelah wifi dan MQTT berhasil terkoneksi maka selanjutnya dilakukan inisialisasi sensor agar dapat membaca data yang dideteksi.
Pada perancangan program ini diperlukan banyak tugas ( Task ) yang diharuskan untuk bekerja secara bersamaan atau paralel dengan menggunakan sebuah fungsi millis(). Pada millis() Task 2 dan Task 3 merupakan tugas untuk membaca setiap masukan data sensor, sehingga setiap data sensor dapat dibaca secara bersamaan tanpa antrian, pembagian ini berguna agar setiap pembacaan sensor akurat tanpa adanya data yang tertunda untuk diproses.  Sedangkan pada millis() Task 1 merupakan fungsi yang bertugas untuk melakukan pembacaan data akselerometer dan memproses setiap data yang terbaca menggunakan algoritma machine learning dan melakukan prediksi pada setiap gerakan untuk diklasifikasikan ke dalam label yang sudah dilatih.
(a) (b) (c) (d) (e) Gambar 6. (a) Gerakan Circle  (b) Gerakan Stand  (c) Gerakan Up_Down  (d) Gerakan Emergency (e) Gerakan Idle

## Alat Pengenal Gerakan Tangan Menggunakan Algoritma Artificial Neural Network
Berbasis ESP32 dan Platform Edge Impulse Yohana Susanthi, Aan Darmawan, Siti Budi Suryadi
Tabel 2. Perbandingan dataset dan data test Label Dataset (80%) Data Test (20%) Circle 40 10 Stand 40 10 Up_down 40 10 Emergency 40 10 Idle 40
10 (a) (b) (c) (d) (e) Gambar 7. Grafik data akselerometer (a) Gerakan Circle  (b) Gerakan Stand  (c) Gerakan Up_Down
(d) Gerakan Emergency  (e) Gerakan Idle

## Techné Jurnal Ilmiah Elektroteknika Vol. 23 No. 1 April 2024 Hal 77 - 94
Gambar 8. Hasil pelatihan menggunakan Artificial Neural Network
Gambar 9. Diagram alir program pada ESP32 PICO D4
Pada fungsi ini digunakan library dari Edge Impulse dengan memanggil fungsi yang ingin digunakan dan dirancang formula dari fungsi-fungsi tersebut agar dapat mengklasifikasikan gerakan yang dideteksi. Setelah pembacaan data akselerometer dimasukkan ke dalam fungsi Edge Impulse ini, maka terdapat formula proses machine learning yang akan melakukan prediksi pada setiap gerakan. Proses machine learning akan memprediksi gerakan yang telah dideteksi dan menghasilkan nilai prediksi dari
Alat Pengenal Gerakan Tangan Menggunakan Algoritma Artificial Neural Network Berbasis ESP32 dan Platform Edge Impulse Yohana Susanthi, Aan Darmawan, Siti Budi Suryadi
0 sampai 1. Pada program ini dipilih nilai batas 0,9 agar klasifikasi dikenali karena 0 dan 1 merupakan nilai prediksi dari tidak cocok sama sekali (prediksi = 0) sampai prediksi sangat cocok (prediksi = 1). Jadi dipilih batas nilai prediksi 0,9 karena mendekati hasil prediksi yang sangat akurat.
Untuk setiap gerakan yang berhasil diprediksi sesuai dengan labelnya akan memberikan nilai yang dimasukkan ke dalam sebuah variabel “ state ” dan menyalakan indikator  LED.  Nilai state ini akan dikirimkan ke Node-Red melalui protokol MQTT. Hubungan label klasifikasi dengan nilai state dan warna indikator LED dapat dilihat pada Tabel 3.
Tabel 3. Hubungan label dengan  nilai state dan warna indikator LED Label State Warna indikator LED Circle 1 Hijau Stand 2 Biru Up_down 3 Putih Emergency 4 Merah Idle 0 LED padam
Setelah variabel “state” terisi angka hasil klasifikasi, maka fungsi millis() Task 6 akan mengirimkan setiap adanya perubahan variabel “state” ke Node-Red melalui protokol MQTT.
Selajutnya Node-Red dibutuhkan pada sistem ini sebagai penghubung antara ESP32 dengan basis data Firebase . Node-Red juga dipakai sebagai penyesuai nilai pembacaan dari sensor dan sebagai fungsi untuk menerjemahkan setiap kode variabel “ state ” menjadi arti dari gerakan tangan pengguna seperti yang ditunjukkan pada Tabel 1.
Berikutnya adalah perancangan aplikasi Android pada smartphone . Aplikasi Android pada sistem ini merupakan keluaran terakhir karena dapat menampilkan data yang telah dikirimkan oleh alat pengenal gerakan  tangan. Di dalam aplikasi Android yang telah dibuat terdapat tampilan  data pembacaan suhu tubuh, denyut nadi dan notifikasi panggilan dari pengguna alat pengenal gerakan tangan. Setiap ada panggilan baru maka aplikasi Android akan memberi notifikasi. Aplikasi Android ini ditujukan kepada perawat atau penjaga untuk memantau kondisi tubuh pengguna dan dapat segera datang setelah menerima notifikasi panggilan yang muncul pada layar.
Gambar 10. Tampilan aplikasi Android
Techné Jurnal Ilmiah Elektroteknika Vol. 23 No. 1 April 2024 Hal 77 - 94
Gambar 10 memperlihatkan  hasil rancangan  aplikasi  Android, yang dapat menampilkan pembacaan suhu tubuh, denyut nadi per menit dan kolom berisi notifikasi panggilan yang dikirimkan oleh pengguna alat pengenal gerakan tangan.

## 3.   Hasil dan Pembahasan

## 3.1.   Hasil Rancangan Alat Pengenal Gerakan Tangan
Hasil rancangan alat pengenal gerakan tangan dapat dilihat pada Gambar 11. Alat ini dipakai di pergelangan tangan pengguna dan dijalankan menggunakan baterai Li-Po 3,7V dengan kapasitas baterai sebesar 1.200 mAh. Baterai ini dipilih karena mempunyai bentuk yang kecil dan kapasitas yang cukup besar. Pada bagian bawah dari alat ini, dipasang sensor suhu tubuh dan sensor denyut nadi yang menghadap ke bawah agar pembacaan sensor langsung mengenai bagian kulit terdekat.
Gambar 11. Hasil rancangan alat pengenal gerakan tangan

## 3.2.   Pengujian Hasil Pembacaan Sensor Suhu Tubuh
Pengujian pembacaan suhu tubuh menggunakan alat thermogun sebagai pembanding nilai sebenarnya. Thermogun digunakan untuk membandingkan akurasi pembacaan sensor suhu tubuh MLX90614 terhadap suhu tubuh sebenarnya [15]. Pengambilan data dilakukan pada beberapa responden. Hasil pengujian suhu tubuh dapat dilihat pada Tabel 4.
Dari Tabel 4 terlihat bahwa rata-rata error adalah 0,56 ° C dan rata-rata  error yang didapat adalah 1,58%. Dengan demikian maka alat ini dapat mengukur  suhu tubuh pengguna dengan baik.

## Alat Pengenal Gerakan Tangan Menggunakan Algoritma Artificial Neural Network
Berbasis ESP32 dan Platform Edge Impulse Yohana Susanthi, Aan Darmawan, Siti Budi Suryadi
Tabel 4. Hasil pengujian suhu tubuh Pengujian ke Thermogun ( ° C) MLX90610 ( ° C) Error ( ° C) Persen Error (%) 1 36,20 36,11 0.09 0,25 2 35,70 36,01 0.31 0,87 3 35,20 36,17 0.97 2,76 4 36,40 36,27 0.13 0,36 5 35,10 36,24 1.14 3,25 6 36,00 37,19 1.19 3,31 7 35,50 36,01 0.51 1,44 8 35,70 36,27 0.57 1,60 9 35,00 35,50 0.50 1,43 10 35,80 36,00 0.20 0,56 Rata-rata 0,56 1,58

## 3.3.   Pengujian Hasil Pembacaan Sensor Denyut Nadi
Pengujian dilakukan pada beberapa responden dengan membandingkan hasil pembacaan sensor denyut nadi MAX30102 dengan alat Fingertip Pulse Oximeter  yang dipercaya sebagai alat ukur denyut nadi yang akurat [16]. Hasil pembacaan denyut nadi yang diperoleh ditunjukkan pada Tabel 5 dengan satuan Beat Per Minute (BPM).
Tabel 5. Hasil pengujian denyut nadi Pengujian ke Fingertip Pulse Oximeter (BPM) MAX30102 (BPM) Error (BPM) Persen Error (%) 1 74 80 6 8,11 2 78 87 9 11,54 3 73 77 4 5,48 4 73 76 3 4,11 5 65 70 5 7,69 6 65 69 4 6,15 7 74 80 6 8,11 8 76 82 6 7,89 9 68 76 8 11,76 10 67 76 9 13,43 Rata-rata 6 8,42
Rata-rata error yang didapatkan cukup besar yaitu 8,42%  sehingga akan mempengaruhi  pembacaan denyut nadi yang sebenarnya.  Hal ini disebabkan karena terdapat beberapa posisi atau peletakan alat yang menyebabkan pembacaan sensor denyut nadi mempunyai selisih cukup jauh dari nilai sebenarnya. Posisi alat tidak boleh terlalu longgar ataupun terlalu ketat saat dipasangkan pada pergelangan tangan karena akan memengaruhi pembacaan nilai sensor.
3.4.   Hasil Pelatihan Machine Learning Menggunakan Platform Edge Impulse
Dari hasil uji coba pelatihan dengan algoritma Artificial Neural Network menggunakan platform Edge Impulse telah dipilih parameter-parameter yang memberikan hasil prediksi paling baik. Parameter spectral analysis yang dipilih adalah menggunakan analisis wavelet tanpa filter. Sedangkan parameter classification yang dipilih adalah Number of training cycle = 30 dan Learning rate = 0,0005. Gambar 12 memperlihatkan hasil prediksi dari klasifikasi gerakan tangan yang sudah dilatih oleh machine learning .

## Techné Jurnal Ilmiah Elektroteknika Vol. 23 No. 1 April 2024 Hal 77 - 94
Gambar 12. Hasil prediksi klasifikasi gerakan tangan dengan algoritma Artificial Neural Network (ANN)
Dilihat dari confusion matrix tersebut klasifikasi dan akurasi yang dihasilkan mencapai 99,9%.  Selanjutnya alat pengenal gerakan tangan ini diuji  cobakan  pada 5 orang responden yang semuanya merupakan lansia. Sebagian dari mereka  saat dilakukan uji coba tampak pada Gambar 13. Data training yang digunakan masih terbatas dan pengujian dilakukan hanya terhadap 5 responden karena sulitnya mendapatkan orang tua  lansia yang bersedia melakukan uji coba.  Hasil prediksi klasifikasi gerakan tangan yang dilakukan oleh lima responden tersebut dapat dilihat pada Tabel 6 sampai dengan Tabel 9.
Akurasi  klasifikasi gerakan tangan yang dilakukan oleh lima responden  kemudian dibandingkan dengan akurasi klasifikasi gerakan tangan yang dilakukan oleh peneliti, dan hasilnya seperti yang ditunjukkan oleh Tabel 10.
Gambar 13. Uji coba alat pada beberapa responden

## Alat Pengenal Gerakan Tangan Menggunakan Algoritma Artificial Neural Network
Berbasis ESP32 dan Platform Edge Impulse Yohana Susanthi, Aan Darmawan, Siti Budi Suryadi
Tabel 6. Hasil percobaan gerakan " Circle " Percobaan Responden 1 Responden 2 Responden 3 Responden 4 Responden 5 1 Berhasil Berhasil Berhasil Berhasil Berhasil 2 Berhasil Berhasil Berhasil Berhasil Berhasil 3 Berhasil Berhasil Berhasil Berhasil Berhasil 4 Berhasil Berhasil Berhasil Berhasil Berhasil 5 Berhasil Berhasil Berhasil Berhasil Berhasil 6 Berhasil Berhasil Berhasil Berhasil Berhasil 7 Berhasil Berhasil Berhasil Gagal Berhasil 8 Berhasil Berhasil Berhasil Berhasil Berhasil 9 Berhasil Berhasil Berhasil Berhasil Berhasil 10 Gagal Berhasil Gagal Berhasil Berhasil Akurasi = 94% Tabel 7. Hasil percobaan gerakan "Stand " Percobaan Responden 1 Responden 2 Responden 3 Responden 4 Responden 5 1 Berhasil Gagal Berhasil Berhasil Berhasil 2 Gagal Gagal Berhasil Berhasil Gagal 3 Berhasil Berhasil Gagal Berhasil Berhasil 4 Gagal Berhasil Gagal Gagal Berhasil 5 Berhasil Berhasil Berhasil Berhasil Berhasil 6 Berhasil Berhasil Berhasil Berhasil Gagal 7 Berhasil Berhasil Gagal Gagal Berhasil 8 Gagal Berhasil Berhasil Berhasil Berhasil 9 Berhasil Berhasil Berhasil Berhasil Berhasil 10 Gagal Berhasil Gagal Berhasil Berhasil Akurasi = 72% Tabel 8. Hasil percobaan gerakan "Up_Down " Percobaan Responden 1 Responden 2 Responden 3 Responden 4 Responden 5 1 Berhasil Berhasil Gagal Berhasil Berhasil 2 Berhasil Berhasil Berhasil Berhasil Berhasil 3 Gagal Berhasil Berhasil Berhasil Berhasil 4 Berhasil Berhasil Berhasil Berhasil Berhasil 5 Berhasil Gagal Berhasil Berhasil Berhasil 6 Berhasil Berhasil Berhasil Berhasil Gagal 7 Berhasil Berhasil Berhasil Berhasil Berhasil 8 Gagal Berhasil Berhasil Berhasil Berhasil 9 Berhasil Berhasil Berhasil Berhasil Berhasil 10 Berhasil Berhasil Gagal Berhasil Berhasil Akurasi = 88% Tabel 9. Hasil percobaan gerakan "Emergency" Percobaan Responden 1 Responden 2 Responden 3 Responden 4 Responden 5 1 Gagal Berhasil Berhasil Gagal Berhasil 2 Berhasil Berhasil Berhasil Berhasil Berhasil 3 Berhasil Berhasil Berhasil Berhasil Berhasil 4 Berhasil Berhasil Berhasil Berhasil Berhasil 5 Berhasil Berhasil Berhasil Berhasil Berhasil 6 Berhasil Berhasil Berhasil Berhasil Gagal 7 Berhasil Gagal Berhasil Berhasil Berhasil 8 Gagal Berhasil Berhasil Berhasil Berhasil 9 Berhasil Berhasil Berhasil Berhasil Berhasil 10 Berhasil Berhasil Berhasil Berhasil Berhasil Akurasi = 90%

## Techné Jurnal Ilmiah Elektroteknika Vol. 23 No. 1 April 2024 Hal 77 - 94
Tabel 10. Hasil perbandingan akurasi klasifikasi gerakan tangan oleh peneliti dan responden
Pemakai alat Gerakan Circle % Stand % Up_Down % Emergency % Peneliti 100 100 100 100 Responden 94 72 88 90
Dapat dilihat pada Tabel 10 bahwa terdapat selisih nilai akurasi yang cukup jauh pada gerakan tertentu. Tingkat akurasi paling tinggi adalah gerakan circle dan tingkat akurasi paling rendah pada gerakan stand . Adanya perbedaan hasil akurasi yang dilakukan oleh responden  dapat disebabkan karena adanya gerakan responden yang kurang sesuai sehingga hasil prediksi gerakan yang dihasilkan salah. Selain itu juga perlu ditambahkan lagi data set yang berasal dari gerakan-gerakan yang dilakukan oleh responden pada saat pelatihan pada platform Edge Impulse .
Uji coba klasifikasi gerakan tangan yang dilakukan oleh lima responden hanya untuk gerakan circle , stand , up_down dan emergency saja (gerakan idle tidak termasuk) karena dari 4 macam gerakan inilah yang akan memicu alat untuk mengirimkan notifikasi. Sedangkan gerakan idle merupakan kondisi tangan diam atau melakukan gerakan selain circle , stand , up_down dan emergency , dan tidak memicu alat untuk mengirim notifikasi sehingga tidak secara khusus diuji coba pada responden.

## 4. Kesimpulan
Alat pengenal gerakan tangan telah berhasil direalisasikan untuk melakukan panggilan  berdasarkan gerakan tangan pengguna ke aplikasi Android.  Alat  berhasil mengenali gerakan tangan circle , stand , up_down dan emergency dengan baik menggunakan ESP32 dan platform Edge Impulse . Dari hasil pengujian yang dilakukan oleh lima responden didapatkan klasifikasi dengan akurasi  tertinggi adalah gerakan circle yaitu  94%  dan klasifikasi dengan akurasi paling rendah adalah gerakan stand yaitu 72%. Pada pengujian alat untuk pembacaan suhu tubuh pengguna didapatkan hasil rata-rata error sebesar 1,58% dan pada pembacaan denyut nadi didapatkan hasil rata-rata error sebesar 8,43%.
Hasil pengujian alat yang direalisasi sudah memperlihatkan akurasi klasifikasi di atas 70%,  namun  perlu dikembangkan dengan menambahkan data training dan jumlah responden  yang  lebih banyak dengan harapan dapat menghasilkan akurasi klasifikasi yang lebih baik.

## Ucapan Terima Kasih
Ucapan terima kasih kami sampaikan kepada Universitas Kristen Maranatha yang telah mendukung dan mendanai penelitian ini.

## Daftar Pustaka
[1]  A. W. Ningsih and Afrinaldi, “Gambaran Penyesuaian Diri Lansia Dalam Penurunan Kemampuan Fisik dan Psikis di Panti Sosial Tresna Werdha Kasih Sayang Ibu Batusangkar,” J. Pendidik. dan Konseling , vol. 5, no. 1, pp. 1559–1566, 2023.
[2]  M. A. Saputro, E. R. Widasari, and H. Fitriyah, “Implementasi Sistem Monitoring Detak Jantung dan Suhu Tubuh Manusia Secara Wireless,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 1, no. 2, pp. 148–156, 2017.
[3]  F. Wakerkwa, H. Pratikno, W. I. Kusumawati, and Musayyanah, “Kontrol Kipas Angin Secara Jarak Jauh Melalui Pengenalan Bentuk Gestur Jari Tangan Berbasis Computer Vision,” J. Innov. Res. Knowl. , vol. 3, no. 3, pp. 793–806, 2023.
[4]  T. J. Wungkana, N. Sajangbati, T. T. Pairunan, B. A. . Loegimin, and S. Sawidin, “Kontrol Penerangan Ruangan Dengan Gerakan Tangan Berbasis NodeMCU ESP8266,” Jambura J. Electr. Electron. Eng. , vol. 5, no. 1, pp. 18–22, 2023, doi: 10.37905/jjeee.v5i1.16530.
[5]  H. Hartono and K. Prawiroredjo, “Home Automation Berbasis Gesture Control Menggunakan Motion Processing Unit,” Techné  J. Ilm. Elektrotek. , vol. 20, no. 2, pp. 125– 142, 2021, doi: 10.31358/techne.v20i2.269.
[6]  A. R. Halim, D. Syauqy, and W. Kurniawan, “Sistem Pengaturan Nyala Lampu Berbasis Gerakan Tangan Melalui Wearable Device dengan Metode K-Nearest Neighbor,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. , vol. 3, no. 8, pp. 7657–7665, 2019, [Online]. Available: http://j-ptiik.ub.ac.id.
[7]  E. M. Sartika, A. Darmawan, W. E. Jaya, and E. Wianto, “Deteksi Gerakan Tangan menggunakan Support Vector Machine pada Dumbbell Berbasis Raspberry Pi Zero,” ELKOMIKA J. Tek. Energi Elektr. Tek. Telekomun. Tek. Elektron. , vol. 10, no. 1, pp. 105– 117, 2022, doi: 10.26760/elkomika.v10i1.105.
[8]  S. B. Bhaskoro and M. A. A. Aziz, “Pengendalian Gerak Robot menggunakan Semantik Citra Gestur Tangan Manusia,” ELKOMIKA J. Tek. Energi Elektr. Tek. Telekomun. Tek. Elektron. , vol. 8, no. 1, pp. 80–94, 2020, doi: 10.26760/elkomika.v8i1.80.
[9]  S. Nor, M. A. Muslim, and M. Aswin, “Pengenalan Pola Dasar Angka berdasarkan Gerakan Tangan menggunakan Machine Learning,” ELKOMIKA J. Tek. Energi Elektr. Tek. Telekomun. Tek. Elektron. , vol. 10, no. 3, pp. 596–608, 2022, doi: 10.26760/elkomika.v10i3.595.
[10] M. Faris, E. Ariyanto, and Y. A. S. Yudo, “Improved Real-Time House Fire Detection System Performance With Image Classification Using Mobilenetv2 Model,” JIPI (Jurnal Ilm. Penelit. dan Pembelajaran Inform. , vol. 8, no. 2, pp. 656–663, 2023, doi: 10.29100/jipi.v8i2.3803.
[11] A. W. H, E. Setiawan, and R. Aeri, “Evaluasi Keandalan Model Rekognisi Suara Burung Hama Menggunakan Platform Edge Impulse Pada Mikrokontroller Low Power,” J. Tek. Elektro Dan Komput. Triac , vol. 10, no. 2, pp. 69–75, 2023.
[12] D. Alfiyyah  Ansar, Yuyun, and I. Taufik, “The Design of a Noise Detection Automatisation Tool in Library - Based on Internet of Things,” J. Teknol. Inf. dan Komun. , vol. 12, no. 2, pp. 17–31, 2022.
[13] R. Aiman Nadir and R. N. Sukmana, “Sistem Prediksi Harga Emas Berdasarkan Data Time Series Menggunakan Metode Artificial Neural Network (ANN),” Digit. Transform. Technol. , vol. 3, no. 2, pp. 426–437, 2023, [Online]. Available: https://jurnal.itscience.org/index.php/digitech/article/view/2877.
[14] D. Pradana, M. Luthfi  Alghifari, M. Farhan Juna, and D. Palaguna, “Klasifikasi Penyakit Jantung Menggunakan Metode Artificial Neural Network,” Indones. J. Data Sci. , vol. 3, no. 2, pp. 55–60, 2022, doi: 10.56705/ijodas.v3i2.35.
[15] P. W. Rusimamto, Endryansyah, L. Anifah, R. Harimurti, and Y. Anistyasari, “Implementation of arduino pro mini and ESP32 cam for temperature monitoring on
Techné Jurnal Ilmiah Elektroteknika Vol. 23 No. 1 April 2024 Hal 77 - 94
automatic thermogun IoT-based,” Indones. J. Electr. Eng. Comput. Sci. , vol. 23, no. 3, pp.
1366–1375, 2021, doi: 10.11591/ijeecs.v23.i3.pp1366-1375.
[16] H. H. Rachmat and D. R. Ambaransari, “Sistem Perekam Detak Jantung Berbasis Pulse Heart Rate Sensor pada Jari Tangan,” ELKOMIKA J. Tek. Energi Elektr. Tek. Telekomun. Tek. Elektron. , vol. 6, no. 3, pp. 344–356, 2018, doi: 10.26760/elkomika.v6i3.344.