## Alat Bantu Tuna Netra Berbasis Arduino Uno dan Artificial Intelligence dengan metode YOLO v7
Muhammad Taufik Dwi Putra* 1 , Anugrah Adiwilaga 2 , Adelia Clarissa 3 , Anggita Apriliani Putri Gustiansyah 4 , Antonius Didi Kurniadi 5 , Zahra Mumtaz 6
1,2,3,4,5,6 Kampus UPI di Cibiru, Universitas Pendidikan Indonesia Jl. Pendidikan No.15, Cibiru Wetan, Kec. Cileunyi, Kabupaten Bandung, Jawa Barat 40625 *1,2,3,4,5,6 {tdputra, anugrah.adiwilaga, deliaclarissa, anggitaaprilianii19, didiantonius, zahramumtaz02} @upi.edu

## *) Corresponding author

## Abstract
The making of this stick is to make it easier for the blind to know what objects are in front of them when the stick is detected using the Artificial Intelligence feature on the blind stick which is equipped with object or obstacle detection using YOLO v7, then another complementary feature is the emergency contact button on the device. blind aids are very important in emergency situations and the answer back system feature on blind aids is also important to help blind people find their blind aids if they are scattered or lost. The system tool design method uses Block Diagrams and Flowcharts. For the test results and the final result in making this tool, the Object Detection feature has a function to detect objects and convert text into sound and connect to earphones. The Answer Back System feature makes it easier for blind people when they have difficulty finding a cane. In addition, the Emergency Contact feature is used to send a message to a predetermined contact with a message containing the longitude and latitude of the stick's location. The results of these tests are in accordance with the objectives and block diagrams made.
Keyword : answer back system, artificial intelligence, emergency contact, object detection

## Abstrak
Pembuatan tongkat ini yaitu untuk memudahkan para penyandang tunanetra mengetahui apa saja objek yang berada di depannya saat tongkat tersebut mendeteksi dengan menggunakan fitur Artificial Intelligence pada tongkat tunanetra yang dilengkapi dengan deteksi objek atau obstacle menggunakan YOLO v7, kemudian fitur pelengkap lainnya adalah tombol Emergency Contact pada alat bantu tunanetra sangat penting dalam situasi darurat serta fitur Answer Back System pada alat bantu tunanetra juga penting untuk membantu para tunanetra menemukan kembali alat bantu tunanetra mereka jika tercecer atau hilang. Metode perancangan sistem alat menggunakan Blok Diagram dan Flowchart . Untuk hasil pengujian dan hasil akhir dalam pembuatan alat ini yaitu Fitur Object Detection telah berfungsi untuk mendeteksi benda dan mengubah teks menjadi suara dan dihubungkan kepada earphone. Fitur Answer Back System untuk memudahkan penyandang tuna netra apabila kesulitan dalam menemukan tongkat. Selain itu, fitur Emergency Contact digunakan untuk mengirimkan pesan pada contact yang telah ditentukan dengan pesan berisi longitude dan latitude lokasi keberadaan tongkat. Hasil dari pengujian tersebut sesuai dengan tujuan dan blok diagram yang dibuat.
Kata Kunci : answer back system, artificial intelligence, emergency contact, object detection

## I. Pendahuluan
Kehilangan kemampuan penglihatan merupakan suatu kondisi yang cukup membatasi aktivitas seseorang. Tunanetra seringkali kesulitan dalam menjalankan aktivitas sehari-hari termasuk dalam melakukan perjalanan menuju tempat tujuan [1]. Oleh karena itu, alat bantu tunanetra telah dikembangkan untuk membantu meningkatkan kemandirian dan mobilitas para tunanetra. Seiring dengan perkembangan teknologi, perkembangan alat bantu tunanatera sudah semakin pesat, mulai dari penggunaan artificial intelligence , dan fitur-fitur terkini seperti tombol emergency contact dan Answer Back System .
Volume 15/No.2/November/2023
Artificial Intelligence merupakan ilmu pengetahuan yang banyak mencuri perhatian generasi milenial hingga generasi Z. Artificial Intelligence menjawab kemungkinan-kemungkinan ataupun khayalan yang dahulu hanya bisa dibayangkan akhirnya beberapa telah menjadi kenyataan, salah satunya algortitma artificial intelligence adalah YOLO v7. YOLO v7 merupakan sebuah kemajuan dalam dunia teknologi di mana algoritma ini mampu mendeteksi, mengidentifikasi dan mengenali objek [2]. Sehingga para tunanetra dapat mengetahui objek apapun yang berada di hadapannya, seperti benda manusia, hewan dan benda yang tentu saja bisa mempermudah kehidupan para tunanetra.
Tombol emergency contact menjadi fitur penting pada alat bantu tunanetra. Dalam situasi darurat, pengguna dapat menekan tombol ini untuk memanggil bantuan atau menghubungi kontak darurat seperti keluarga atau teman. Fitur Answer Back System pada alat bantu tunanetra memungkinkan pengguna untuk menemukan kembali alat bantu tunanetra mereka jika tercecer atau hilang [3]. Fitur ini bekerja dengan mengeluarkan bunyi atau suara yang dapat membantu pengguna menemukan kembali alat bantu tunanetra mereka. Dengan fitur-fitur ini, alat bantu tunanetra dapat membantu para tunanetra meningkatkan kemandirian dan mobilitas mereka, serta meningkatkan keamanan dan kenyamanan saat berjalan atau melakukan perjalanan [4].
Penelitian terkait mengenai alat bantu tuna Netra sudah banyak dilakukan sebelumnya, seperti [5], [6],[7],[8]. Selain penelitian-penelitian tersebut masih banyak penelitian terkait yang sudah dilakukan sebelumnya, seperti penelitian [9], peneliti mengembangkan sebuah alat bantu tongkat tunanetra yang menggunakan kamera untuk mendeteksi objek. Menggunakan metode SSM Detector yang memungkinkan pemrosesan gambar secara langsung dengan hasil akurasi yang memadai. Pengujian dilakukan dengan menguji objek hewan, manusia, dan benda (kursi dan meja) dalam berbagai kondisi, baik dalam ruangan maupun di luar ruangan. Hasil pengujian menunjukkan hasil akurasi 92%, hasil spesifisitas 100%, dan hasil sensitivitas 83%. Namun, hasil akurasi identifikasi yang didaptkan untuk mengenali jenis halangan memiliki ketergantungan yang cukup tinggi terhadap kondisi citra ketika diuji. Citra yang memiliki kondisi pencahayaan yang baik dan memiliki posisi yang tepat dapat memberikan hasil akurasi terbaik, sedangkan citra dengan kondisi gelap dan posisi yang tidak tepat memberikan akurasi terendah.
Dalam penelitian lain [10], peneliti menghasilkan alat tongkat bantu untuk tunanetra yang memiliki sensor, dengan tujuan untuk meningkatkan rasa waspada, serta meningkatkan pergerakan penyandang tunanetra. Tongkat ini memiliki kemampuan untuk mendeteksi objek penghalang didepan, dalam cakupan jarak tertentu serta mampu mendeteksi ketika terdapat air dan memberikan luaran suara. Alat ini mampu untuk memberikan output suara yang direkam di DFPlayer Mini berdasarkan data yang telah dibaca oleh sensor. Selain itu, alat ini juga mampu memanfaatkan API Telegram untuk melakukan pengiriman pesan yang berisi titik keberadaan tongkat dengan memanfaatkan data yang diperoleh dari modul GPS. Terdapat saklar untuk menyalakan mauoun mematikan system. Alat ini menggunakan Mikrokontroler sebagai komponen utamanya.
Penelitian sebelumnya terdapat juga hal serupa [11], peneliti mengembangkan sebuah tongkat pintar untuk membantu penyandang tunanetra dalam pergerakan sehari-hari dan bernavigasi. Tongkat ini memiliki GPS yang diintegrasikan dengan mikrokontroler dalam mengelola data lokasi yang dihasilkan. Data yang dihasilkan tersebut lalu diteruskan ke dalam web server menggunakan modem GSM. Untuk selanjutnya, data tersebut ditampilkan di aplikasi GMaps menggunakan GMaps API. Hasil dari penelitian ini ialah tongkat pintar yang dikembangkan berhasil memberikan informasi mengenai lokasi penyandang tunanetra pada aplikasi GMaps di smartphone. Tongkat ini juga memiliki fitur Panic Button yang memiliki perananan untuk mentrigger alarm ke layar smartphone saat digunakan dalam situasi darurat.

## II. Metodologi Penelitian
Dalam penelitian ini proses perancangan alat dilakukan melalui beberapa tahapan, proses menyeluruh untuk perancangan alat yang diusulkan didalam penelitian ini diilustrasikan dalam gambar 1.
Gambar 1. Proses Penelitian
Blok Diagram
Gambar 2. Blok Diagram
Gambar 2 menunjukkan sistem tongkat tunanetra yang terdiri dari beberapa komponen utama yang saling terhubung, yaitu sensor-sensor dan komponen yang terhubung dengan Arduino, serta Jetson yang menghubungkan ke perangkat eskternal, dan masing-masing perangkat, baik Arduino maupun Jetson, dihubungkan ke sumber daya yaitu baterai. Diagram ini menggambarkan interaksi antara komponen-komponen tersebut untuk menciptakan alat bantu navigasi yang efektif bagi mereka yang memiliki kebutuhan khusus. Sumber data yang didapatkan dari RF Receiver Transmitter dan tombol emergency dikirimkan melalui Arduino Uno yang kemudian outputnya disalurkan melalui Buzzer dan pesan yang muncul di Handphone melalui data yang ditangkap dari GPS & GSM Module. Kemudian, perangkat yang disambungkan akan menangkap gambar yang diinputkan menggunakan kamera, lalu diproses oleh Jetson untuk dihasilkan outputnya melalui earphone.
Flowchart
Gambar 3. Flowchart Arduino Uno
Gambar 3 menjelaskan cara kerja Arduino dalam memproses komponen-komponen yang terhubung, pertama dimulai dari inisiasi alat, kemudian data pada alat akan didapatkan melalui RF Receiver dan Tombol Emergency Contact . Pada RF Receiver , jika berhasil mendapatkan data, output yang dikeluarkan adalah Buzzer menyala. Jika tidak mendetect data apapun, maka langsung selesai. Lalu, pada Tombol Emergency Contact , jika terdapat data yang diinputkan, modul GPS akan mendeteksi lokasi dan mengirimkannya ke modul GSM untuk mengirimkan pesan.
Gambar 4. Flowchart Jetson
Gambar 4 menjelaskan cara kerja Jetson dalam memproses komponen-komponen yang terhubung, pertama dimulai dari inisiasi alat, kemudian data pada alat akan didapatkan melalui Kamera. Apabila kamera berhasil mendeteksi objek, maka earphone akan mengeluarkan suara berupa nama objek tersebut. Jika kamera tidak mendeteksi objek, maka proses selesai.
Diagram Arsitektur

## Gambar 5. Diagram arsitektur Emergency Button
Gambar 5 merupakan diagram arsitektur Emergency Button yang terdiri dari Modul GSM GPS yang dihubungkan ke Arduino Uno, Button, dan Baterai. Dan nantinya output tersebut akan ditampilkan melalui pesan yang dikirim ke Handphone.
Development
Gambar 6. Desain Alat
Gambar 6 merupakan Desain Alat dari Alat Bantu Tunanetra Berbasis Arduino Uno dan Artificial Intelligence dengan metode YOLO v7. Terdapat beberapa komponen dan sensor yang ada pada alat bantu tersebut, komponen utamanya yaitu tongkat, kamera, dan case untuk menempatkan microcontroller dan sensor, berupa Jeston, Arduino Uno, Modul GSM & GPS, RF Receiver Transmitter, serta Earphone dan Buzzer sebagai output dari data yang dikirimkan oleh sensor.

## III.
Hasil dan Pembahasan

## Hasil Pengujian Model Artificial Intelligence
Proses pelatihan dan validasi dilakukan menggunakan Pytorch Anaconda Prompt . Pada iterasi pertama, dilakukan pelatihan dan validasi dengan menggunakan konfigurasi YOLO v7. Parameter konfigurasi yang digunakan mencakup Workers 0, Batch_Size 4 , Device 0, img 640x640, dan epoch 300.
Gambar 7. Pengujian Deteksi Objek Bersumber dari Gambar dan Video
Pada Gambar 7 bisa dilihat bahwa model yang digunakan dalam penelitian ini sudah mampu mengenali objek dengan baik. Model yang digunakan pada penelitian ini dilatih menggunakan dataset “ Obstacle-Dataset ” yang memiliki 15 kelas. Pada tahap ini juga dilakukan proses merubah dataset menjadi mp3, agar alat yang dibuat bisa menghasilkan suara ketika mendeteksi suatu objek.

## Hasil Pengujian Fitur Answer Back
Dalam pengujiannya, yang pertama dilakukan pada Modul RF Receiver dengan remote 4 channel adalah menghubungkan modul dengan Arduino uno agar buzzer dapat menyala. Tetapi, Modul RF Receiver tidak memerlukan koding untuk inisiasi. Maka dari itu, pengujian langsung dilakukan pada modul yang hanya dihubungkan dengan arduino dengan menggabungkan pin D0, VCC dan GND. Modul dengan remote memiliki koneksi lemah, sehingga diperlukan komponen tambahan untuk memperkuat sinyal, yaitu antenna. Bahan dari antenna tersebut adalah kawat email dengan diameter 0,8 mm dan memiliki panjang 25-inch, yang tersusun dari 28 lilitan berdiameter 1 mm dan dihubungkan pada modul dengan menggunakan solder, seperti terlihat pada gambar 8.

## Gambar 8. Antenna pada RF Receiver
Setelah menggunakan alternatif dengan antenna, sinyal yang dihasilkan lebih kuat, sehingga modul dan remote memiliki koneksi yang lebih baik dari sebelumnya. Akan tetapi, sinyal yang dapat ditangkap oleh modul tidak mencapai lebih dari 5 meter. Sehingga dapat dikatakan koneksi antar remote dan modul belum sempurna.

## Hasil Pengujian Fitur Emergency Contact
Fitur Emergency Contact menggunakan modul AI Thinker A7 GSM/GPRS, GPS. Modul tersebut memungkinkan untuk pengguna yang ingin menjalankan fungsi GPS dan GSM secara bersamaan. Inisiasi GSM menggunakan coding yang dapat mengatur nomor telepon mana yang akan dikirimkan SMS dan isi dari pesan tersebut. Proses pengujian ini bisa dilihat dari gambar 9 dan gambar 10. Sedangkan inisiasi GPS menggunakan coding yang dapat menangkap koordinat melalui satelit. Akan tetapi, kemampuan modul dalam menangkap sinyal satelit lemah, pengujian harus dilakukan di luar ruangan agar memudahkan modul dalam menangkap koneksi pada satelit.
Gambar 9. Output GPS
Gambar 10. Pengujian Pengiriman Pesan

## IV. Kesimpulan
Berdasarkan pada pengujian yang telah dilakukan, dapat disimpulkan bahwa Alat Bantu Tuna Netra Berbasis Arduino Uno dan Artificial Intelligence dengan metode YOLO v7 memiliki beberapa fitur, yaitu Object Detection , Answer Back , dan Emergency Contact bisa direalisasikan dan memiliki performansi yang baik dengan akurasi 93%. Fitur Object Detection dilakukan dengan menggunakan model YOLOv7. Fitur ini telah berfungsi untuk mendeteksi benda dan mengubah teks menjadi suara dan dihubungkan kepada earphone, sehingga pengguna dapat mengetahui objek yang ada di sekelilingnya. Fitur Answer Back System merupakan fitur untuk mendeteksi tongkat, dimana pengguna dapat menggunakan remote untuk mencari tahu keberadaan tongkat melalui suara buzzer yang akan menyala. Fitur Emergency Contact merupakan fitur yang dapat mengirimkan pesan pada contact yang telah ditentukan, sehingga apabila pengguna menekan tombol, maka sistem akan mengirimkan SMS yang berisi lokasi atau koordinat kepada kontak yang dituju.

## Daftar Pustaka
[1] S. Ahmed, S. Roy, and M. Biswas, “An Intelligent and Multi-Functional Stick for Blind People Using IoT,” 2022 3rd International Conference on Intelligent Engineering and Management (ICIEM) , pp. 326–331, 2022, doi: 10.1109/ICIEM54221.2022.9853012.
[2] A. I. Apu, A.-A. Nayan, J. Ferdaous, and M. G. Kibria, “IoT-Based Smart Blind Stick,” in Proceedings of the International Conference on Big Data, IoT, and Machine Learning , vol. 95, M. S. Arefin, M. S. Kaiser, A. Bandyopadhyay, Md. A. R. Ahad, and K. Ray, Eds., in Lecture Notes on Data Engineering and Communications Technologies, vol. 95. , Singapore:
Springer
Singapore,
2022, pp. 447–460.
doi: 10.1007/978-981-16-6636-0_34.
[3] T. Harada, Y. Kaneko, Y. Hirahara, K. Yanashima, and K. Magatani, “Development of the navigation system for visually impaired,” in The 26th Annual International Conference of the IEEE Engineering in Medicine and Biology Society , San Francisco, CA, USA: IEEE, 2004, pp. 4900–4903. doi: 10.1109/IEMBS.2004.1404355.
[4] Y. Bouteraa, “Design and Development of a Wearable Assistive Device Integrating a Fuzzy Decision Support System for Blind and Visually Impaired People,” Micromachines , vol. 12, no. 9, p. 1082, Sep. 2021, doi: 10.3390/mi12091082.
[5] M. S. Farooq et al. , “IoT Enabled Intelligent Stick for Visually Impaired People for Obstacle Recognition,” Sensors , vol. 22, no. 22, p. 8914, Nov. 2022, doi: 10.3390/s22228914.
[6] V. Kunta, C. Tuniki, and U. Sairam, “Multi-Functional Blind Stick for Visually Impaired People,” in 2020 5th International Conference on Communication and Electronics Systems (ICCES) , Coimbatore, India: IEEE, Jun. 2020, pp. 895–899. doi: 10.1109/ICCES48766.2020.9137870.
[7] T. Tirupal, B. V. Murali, M. Sandeep, K. S. Kumar, and C. U. Kumar, “Smart Blind Stick Using Ultrasonic Sensor,” vol. 7, no. 2, 2021.
[8] Y.-H. Chang, N. Sahoo, and H.-W. Lin, “An intelligent walking stick for the visually challenged people,” in 2018 IEEE International Conference on Applied System Invention (ICASI) , Chiba: IEEE, Apr. 2018, pp. 113–116. doi: 10.1109/ICASI.2018.8394480.
[9] S. Fuady, N. Nehru, and G. Anggraeni, “Deteksi Objek Menggunakan Metode Single Shot Multibox Detector Pada Alat Bantu Tongkat Tunanetra Berbasis Kamera,” JEPCA , vol. 3, no. 2, p. 39, Dec. 2020, doi: 10.33087/jepca.v3i2.38.
[10] P. Parito, I. G. A. K. Diafari Djuni, and N. Gunantara, “Rancang Bangun Tongkat Pintar Tunanetra Berbasis
Mikrokontroler,”
SPEKTRUM , vol.
8,
no. 1, p.
274, Mar. 2021,
doi: 10.24843/SPEKTRUM.2021.v08.i01.p31.
[11] T. Supriyadi, “Tongkat Pintar Sebagai Alat Bantu Pemantau Keberadaan Penyandang Tunanetra Melalui Smartphone,” 2018.