Jurnal Ilmiah KOMPUTASI, Volume 22 No :3, September 2023, p-ISSN 1412-9434/e-ISSN 2549-7227 449 Sistem Pendeteksi Gerakan Bahasa Isyarat Indonesia Menggunakan Webcam dengan Metode Supervised Learning Daniel Robert Marydo Nababan, dan Zuly Budiarso Universitas Stikubank Semarang Jl. Tri Lomba Juang, Mugassari, Kec. Semarang Selatan, Kota Semarang, Jawa Tengah E-mail : Abstrak Teknologi sistem deteksi gambar mengalami perkembangan yang sangat pesat dimana fungsinya yang dapat menyelesaikan masalah utama ,seperti membantu orang dengan gang- guan pendengaran yang mengandalkan bahasa isyarat untuk berkomunikasi.Banyak penyan- dang tunarungu-wicara atau bisu sangat bergantung dengan bahasa isyarat sebagai media komunikasi namun sering mengalami kesulitan saat berkomunikasi dengan masyarakat umum yang tidak memahami bahasa isyarat.Untuk mengatasi masalah tersebut peneliti mengim- plementasikan sistem Machine Learning (ML) dengan metode Supervised Learning . Metode Supervised Learning bekerja dengan mengajarkan dataset untuk menemukan model dengan cepat serta menghitung tingkat akurasi data. Dalam mengimplementasikan teknik Machine Learning pada sistem,peneliti menggunakan library SSD Mobile net V2 pre-testing yang telah dilatih pada dataset.Untuk mendapatkan model deteksi yang akurat dan konsisten saat sis- tem mengklasikasi bahasa isyarat peneliti menggunakan SSD ResNet50 V1 FPN 640X640 yang berfungsi melaksanakan training dan testing gambar kata menggunakan pembelajaran transfer.Deteksi gerakan tangan akan diteliti dan dievaluasi menggunakan algoritma Computer Vision (CV) sebagai antar muka manusia dan computer. Sistem yang dihasilkan menampilkan frame yang dapat menangkap dan mengklasikasikan objek tanpa latar belakang atau penc- ahayaan untuk mengenali gerakan bahasa isyarat dengan tingkat akurasi 90%. Kata kunci : Machine Learning, Supervised Learning, Computer Vision, Convolutional Neural Network, Bahasa Isyarat Pendahuluan Media yang dapat digunakan oleh kedua pihak jika salah satunya tidak memahami interaksi secara verbal adalah dengan menggunakan gestur tubuh contohnya menaikkan posisi bahu,menggelengkan kepala,dan gerakan tangan.Penyandang disabilitas adalah beberapa orang dengan keterbatasan kecer- dasan, psikologis,dan sik dalam waktu yang lama yang menyebabkan kendala saat berinteraksi den- gan masyarakat.Terdapat tiga keterbatasan yang dimiliki masyarakat yaitu kecerdasan, psikologis, dan sik.Keterbatasan sik dalam masyarakat di- antaranya tuna wicara, tuna Netra,tuna daksa, serta keterbatasan sik lainnya. Badan Pusat Statistik (BPS) mengumumkan saat tahun 2010 penderita tuna rungu-wicara di Indonesia berjum- lah 3.024.271 juta jiwa (Pada tahun 2010 jum- lah penduduk sebesar 191.709.144 juta ) (Sensus Penduduk 2010-Penduduk Menurut Wilayah dan Tingkat Kesulitan Mendengar / Indonesia). Manusia dikategorikan sebagai makhluk hidup yang berhubungan dengan sesamanya. Dalam berak- tivitas manusia membutuhkan kerjasama dengan orang lain oleh karena itu manusia disebut seba- gai makhluk sosial. Untuk berinteraksi manusia membutuhkan media komunikasi agar dapat saling berhubungan.Komunikasi adalah hubungan antara individu atau sekelompok individu terhadap ko- munitas dan masyarakat menggunakan keterangan agar terhimpun dengan individu lain dan lingkun- gan. Komunikasi disebut dengan Communication dalam bahasa inggris dan,tetapai disebut dengan Communis dalam bahasa latin yang artinya mem- buat sama. Dalam kehidupan masyarakat terdapat beber- apa orang yang mengalami keterbatasan sik dan salah satunya merupakan keterbatasan sik dalam hal pendengaran yang menyebabkan kendala saat berinteraksi secara verbal dengan orang normal. Media komunikasi yang diterapkan penderita tunarungu-wicara diseluruh dunia adalah bahasa DOI :
Jurnal Ilmiah KOMPUTASI, Volume 22 No :3, September 2023, p-ISSN 1412-9434/e-ISSN 2549-7227 450 menggunakan Deep Learning dengan metode Su- pervised Learning sehingga dapat dimanfaatkan untuk kepentingan masyarakat normal dalam berkomunikasi dengan penderita tunarungu-wicara. Teknik Deep Learning memberikan arsitektur yang sangat kuat untuk Supervised Learning [3]. isyarat. Bahasa isyarat memiliki keunikan di be- berapa wilayah yang hanya dipahami oleh wilayah- wilayah tertentu sebab disepadankan dengan bu- daya di wilayah tersebut. Kurangnya pemahaman masyarakat umum terhadap bahasa isyarat men- jadi kendala bagi penderita tunarungu-wicara saat berkomunikasi dengan orang lain yang tidak paham bahasa isyarat. Bahasa isyarat adalah bahasa yang dinamis,karena mengaplikasikan gestur tubuh. Ges- tur adalah sebuah gerakan yang bertujuan mem- berikan isyarat.Isyarat adalah memahami pikiran seseorang atau mengomunikasikan perasaan (Arif & Dina,2021). Penelitian ini merujuk pada beberapa sumber ilmiah yaitu jurnal dan skripsi dari penelitian se- belumnya. Penelitian oleh Kristiawan, Deon Dia- manta, Try Atmaja,dan Andrew Widjaja yang berjudul Deteksi Buah Menggunakan Supervised Learning dan Ekstraksi Fitur Untuk Pemeriksaan Harga.Metode Supervised Learning digunkan un- tuk mengenali objek buah.Kedua algoritma terse- but berfungsi mengekstrasi tur sehingga dapat di- lakukan pendeteksian bentuk warna dan bentuk ob- jek dengan tingkat akurasi 99,8% menggunakan K- Nearset Neighbours dan Histogram. Penelitian se- lanjutnya Veronica J.Schmalz yang berjudul Real- time Sign Language Recognition with Deep Learn- ing. Penelitian ini berisi pengenalan Bahasa Isyarat Italia menggunakan Gerakan tangan secara real- time.Peneliti menyediakan dataset berupa gam- bar Gerakan tangan alfabet Bahasa Isyarat Italia (LIS) untuk mengidentikasi alfabet LIS menggu- nakan python dengan library (OpenCV) dan dua model berdasarkan CNN dan VGG 19 untuk pen- genalan gambar dan video berskala besar.Penelitian berjudul Comparison of Supervised Learning Meth- ods for COVID-19 Classication on Chest X- Rey Image yang dilaksanakan oleh Faisal Dharma Adhinata,Nur Ghaniaviyanto Ramadhan,Arif Am- rulloh,dan Arief Rais Bahtiar. Penelitian ini melakukan deteksi covid-19 melalui hasil rontgen dada dengan menggunakan algoritma Supervised Learning dengan tiga metode yaitu Support Vector Machine (SVM), K-Nearest Neighbor (K-NN),dan Random Forest. Kemudian penelitian yang dilak- sanakan oleh Juel Sikder,Utpul Kanti Das,dan Rana Jyoti Chakma yang berjudul Supervised Learning- based Cancer Detection yang melaksanakan deteksi kanker dengan memanfaatkan metode Supervised Learning dengan memanfaatkan algoritma Convo- lutional Neural Network (CNN) dan operasi mor- fologi.Algoritma CNN berfungsi mengklasikasi je- nis kanker dan semantic segmentasi yang bertujuan mensegmentasi sel kanker sedangkan metode Super- vised Learning bertugas memberikan label image pada dataset. Bahasa Isyarat Indonesia (BISINDO) dan Sis- tem Isyarat Bahasa Indonesia (SIBI) merupakan dua bahasa isyarat yang diterapkan di Indone- sia. Dalam implementasinya penderita tunarungu- wicara lebih banyak mengaplikasikan BISINDO se- bab lebih mudah dikuasai. Melalui teknologi baru pengenalan gerakan tan- gan (hand tracking) maka media pembelajaran ba- hasa isyarat yang selama ini melalui aplikasi da- pat digantikan. Pengenalan gerakan tangan (hand tracking ) adalah metode deteksi gerakan tangan dengan memanfaatkan kamera video. Manfaat de- teksi gerakan tangan adalah membagikan manfaat utama yaitu hemat, prosedur, dan tepat. Salah satu faktor utama dibentuknya teknologi ini merupakan kurangnya kesadaran masyarakat untuk mempela- jari bahasa isyarat sebab sulit dipahami dan di- anggap tidak digunakan oleh masyarakat luas. Dampak dari hal tersebut mengakibatkan penderita tunarungu-wicara kesulitan saat berkomunikasi se- cara verbal dengan masyarakat normal di ruang publik. Teknologi mendorong dan memungkinkan pemrosesan data yang lebih cepat, pengambilan in- formasi yang lebih mudah, dan dalam beberapa ka- sus [1]. Tujuan dari penelitian ini adalah membangun dan merancang Sistem Pendeteksi Gerakan Bahasa Isyarat Indonesia dengan Metode Supervised Learn- ing yang bisa dimanfaatkan untuk keperluan komu- nikasi masyarakat normal dengan penderita tuna rungu-wicara. Pada penelitian ini, peneliti menggunakan li- brary Opencv dan yang berbasis Deep Learning dalam mengidentikasi atau mengklasikasi ger- akan bahasa isyarat yang diambil dari webcam un- tuk dilakukan klasikasi dengan data yang ada di- dalam dataset. Library mengenali gerakan tangan dengan mendeteksi titik sudut dalam sebuah citra. Titik tersebut merupakan titik yang baik untuk di- lakukan pelacakan titik sudut objek pada frame. Deep learning bekerja akurat karena proses pelati- hannya juga membutuhkan waktu yang lama. Oleh karena itu, dalam penelitian ini dilaksanakan anal- isis penggunaan suatu metode yang proses pelati- hannya tidak terlalu lama dengan menggunakan Machine Learning [2]. Metode Penelitian Terdapat dua proses yang dilaksanakan dalam penelitian ini yaitu proses training dan proses test- ing. Foto dari peneliti yang memperagakan Ba- hasa Isyarat Indonesia (BISINDO) dalam format jpg dan berbentuk pixel serta telah sesuai den- gan standar adalah dataset yang akan digunakan. Berikut adalah proses perancangan sistem. Penelitian dilaksanakan untuk membuat alat pendeteksi bahasa isyarat menggunakan tangan Saat tahap training dataset berbentuk pixel
Jurnal Ilmiah KOMPUTASI, Volume 22 No :3, September 2023, p-ISSN 1412-9434/e-ISSN 2549-7227 451 Tahap pengambilan citra dilaksanakan dilingkun- gan terbuka dengan pencahayaan yang terang. Ger- akan tangan dilaksanakan record saat objek tan- gan manusia diarahkan ke kamera webcam. Proses presprocessing berfungsi mengubah warna men- jadi grayscale, mendeteksi tangan, dan memperoleh citra tangan. dipanggil selanjutnya dilaksanakan tahap training dengan memanfaatkan metode Supervised Learn- ing. Hasil dari training akan dikeluarkan oleh sis- tem untuk memperlihatkan output dan akurasinya. Semakin tinggi tingkat akurasinya maka semakin tepat sistem mendeteksi gerakan tangan. a) Mendeteksi Tangan (Hand Tracking) Pada tahap ini melalui computer vision komputer melak- sanakan deteksi tangan menggunakan webcam. Sis- tem memutuskan bahwa objek yang dicapture adalah tangan manusia. Selanjutnya sistem melak- sanakan deteksi tangan manusia dengan meman- faatkan library tensorow. b) Mendapatkan Hasil Deteksi Tangan Pada tahap ini akan diperoleh citra tangan yang telah di- dapatkan dan telah dibuktikan bahwa objek terse- but adalah tangan manusia. Kemudian sistem akan membuat kotak berwarna biru dengan tingkat ac- curacy dan terjemahan kata bahasa isyarat apabila saat mendeteksi objek tangan dan disimpan untuk proses lebih lanjut. c) Mengubah Ukuran (Resize) Terdapat perbe- daan ukuran hand tracking berdasarkan hasil pengambilan citra oleh sistem. Tahap konversi ukuran dibutuhkan untuk mengkonversi ukuran pixel dari data testing yang di inputkan agar sepadan dengan dataset. Un- tuk menyesuaikan keperluan sistem pada penelitian yang dilaksanakan peneliti mengkonversi skala men- jadi 49x49 pixel. Proses resize tidak hanya melak- sanakan augmentasi data tambahan,tetapi juga un- tuk melatih jaringan [5]. Gambar 1: Flowchart Perancangan Sistem Proses Training Tahap training dilaksanakan dengan memanggil seluruh dataset untuk selanjutnya diproses meng- gunakan metode Supervised Learning. Kemudian hasil dari tahap training berupa tingkat accuracy. Jumlah deteksi objek dengan benar yang dilakukan oleh sistem akan mempengaruhi tingkat accuracy. 2. Testing Tahap testing dataset memanfaatkan algoritma Su- pervised Learning dengan 3 layer. Pada tahap Su- pervised Learning yang telah diproses saat tahap training selanjutnya dilaksanakan testing. Tahap testing bertugas mengkalkulasi keefektifan Super- vised Learning saat menjalankan tahap deteksi ger- akan tangan Bahasa Isyarat Indonesia (BISINDO). Tahap testing menghasilkan output gerakan tan- gan bahasa isyarat secara real-time dengan tingkat akurasi yang disampaikan oleh sistem pendeteksi gerakan bahasa isyarat. Proses Testing Proses testing dilaksanakan oleh peneliti setelah sis- tem telah berhasil dibangun untuk mendapatkan informasi kemampuan sistem saat melaksanakan tahap deteksi. Tahapan testing dapat dilakukan dengan akusisi video data, ekstrasi video menjadi frame, frame video, deteksi objek pada frame video, resize citra [4]. Proses testing bekerja dengan memasukkan data testing yang selanjutnya dide- teksi oleh sistem apakah objek tersebut tangan atau bukan. Selanjutnya data yang telah dimasukkan di- ubah skalanya menjadi 150x150 agar dataset yang disimpan serupa dengan dataset. Kemudian citra tangan diubah warnanya menjadi grayscale selan- jutnya diproses dengan algoritma Support Vector Machine (SVM). Hasil akhir dari proses testing adalah tangan manusia dengan gerakannya secara real-time. Berikut penjelasan mengenai proses test- ing : Dataset Dataset yang disiapkan merupakan data dari gam- Indonesia bar gerakan tangan Bahasa Isyarat (BISINDO) yang berbentuk le kemudian dikon- versi dalam bentuk pixel berformat jpg. yang telah ditetapkan oleh peneliti. Isi dari data tersebut yaitu citra tangan berwarna grayscale dengan uku- ran 150x150 pixel. Data yang dimanfaatkan pada penlitian ini sebanyak 60 gambar yang terdiri dari 20 gerakan BISINDO. Data yang digunakan saat penelitian terdiri dari 3 tipe data yaitu data valida- tion (public test), data test (private test), dan data 1. PreProcessing PreProcessing adalah proses memperoleh citra yang akurat dengan melaksanakan perbaikan citra.
Jurnal Ilmiah KOMPUTASI, Volume 22 No :3, September 2023, p-ISSN 1412-9434/e-ISSN 2549-7227 452 pokkan dengan memanfaatkan Support Vec- tor Machine (SVM), selanjutnya data dikem- balikan atau dipulihkan menggunakan data training. Hasil ringkasan menghasilkan ta- ble dengan ukuran dimensi 150x150x3. Un- tuk mendapatkan nilai satuan yang dapat dis- atukan dalam tabel training maka harus di- laksanakan pencarian nilai rata-rata (mean) dari setiap value ruang warna. Pada tahap sebelumnya telah dilaksanakan pengklasi- kasian gambar, deteksi objek dengan pen- gawasan yang lemah, dan klasikasi objek se- cara instan [6]. training. 1. Data Validation (Public Test) Adalah proses yang menggunakan tahap training dengan memanfaatkan data untuk menguji tingkat keberhasilan sistem. Proses ini menggunakan dataset sebanyak 60 citra untuk 20 gerakan bahasa isyarat. 2. Data Test (Private Test) Adalah data yang digunakan ketika sistem bekerja. Sistem me- manfaatkan data berjumlah 60 gerakan tan- gan Bahasa Isyarat Indonesia (BISINDO) dalam bentuk citra. 3. Klasikasi Support Vector Machine (SVM) Pada tahap ini fungsi Support Vector Ma- chine (SVM) adalah mencocokkan data train- ing dan data testing yang disimpan dalam folder penyimpanan. Output dari klasikasi selanjutnya dibagi menjadi beberapa bagian berdasarkan hasil pengelompokan berupa citra gerakan bahasa isyarat. Dalam men- gelompokan citra gerakan bahasa isyarat di- gunakan algoritma SVM. Ketika data uji diin- putkan,algoritma SVM bertugas menemukan perbandingan antara data training dan data testing yang telah dibuat sebelumnya sam- pai data testing masuk kedalam kelompok khusus. Dalam mencapai deteksi objek, target frame yang dikumpulkan harus diga- bungkan dengan ekstrasi tur yang efektif di- ikuti dengan klasikasi yang sangat esisen [7]. Klasikasi tersebut berfungsi memastikan apakah objek pada citra tersebut gerakan ba- hasa isyarat atau bukan. Klasikasi terse- but menentukan apakah citra tersebut ger- akan bahasa isyarat atau bukan. Berikut merupakan langkah-langkahnya : (a) Buat perumpamaan permasalahan SVM sebagai AxB, dimana A = k dan B = {k+1, k+2, . . . , n} dan k = 1, dimana k adalah banyaknya kelas (b) Input: x = {x1, x2, . . . ., x3} (c) Apabila x1 = 1, maka x1 merupakan je- nis klasikasi A, dimana nilai A meru- pakan k = 14. D. 3. Data Training Adalah data yang digunakan ketika sistem memproses training gerakan tangan Bahasa Isyarat Indonesia (BISINDO) menggunakan dataset berjumlah 60 citra Model Training Supervised Learning (Support Vector Machine (SVM)) Saat melaksanakan proses deteksi bahasa isyarat di- gunakan algoritma Support Vector Machine (SVM) yang berfungsi menuntaskan masalah pengelom- pokan data yang berkarakteristik linier dan non linier. Cara kerja algoritma SVM adalah den- gan mendenisikan batas yang membagi dua kelas berdasarkan jarak terjauh dari data terdekat. Pem- bentukan hyperplane (garis pemisah) membantu pembagian antar kelas pada input space yang diper- oleh dari jarak hyperplane dengan titik terdekat dari tiap kelas. Titik terdekat tersebut yang dise- but support vector. SVM dapat mengklasikasikan data yang terpisah secara liner dan non linier. Berikut adalah visualisasi Hyperline Support Vec- tor Machine. (d) Apabila x1 = -1, maka x1 akan diuji B, dimana nilai B merupakan {k+1, k+2, . . . ., n} E. (e) Proses klasikasi akan berhenti ketika x mendapatkan kelas actual yang sesuai dengan nilai T. Gambar 2: Hyperline Support Vector 1. Input Dataset Tahap pertama adalah meng- input dataset yang telah disiapkan. Karakter- istik dataset yang diinput adalah data testing dengan ukuran 150x150 piksel dan berformat jpg. (f) Apabila x menemukan kelas yang sesuai maka proses akan kembali ke langkah se- belumnya. Berikut ini merupakan formulasi 3 persamaan yang ada di kernel SVM untuk mengklasikasi sebuah objek : 2. Menyatukan Data Training Hasil ringkasan yang telah diklasikasi kemudian dikelom-
Jurnal Ilmiah KOMPUTASI, Volume 22 No :3, September 2023, p-ISSN 1412-9434/e-ISSN 2549-7227 453 Linier: K (Xi,Xj)=(Xi.Xj); Polinomial: K (Xi,Xj)=(Xi.Xj + 1)p; Sigmoid: K (Xi,Xj)=(tanhηXi.Xj + v)p; dengan x adalah vektor input dan v adalah eigen vector Augmentasi data telah banyak digunakan dalam Supervised Learning, yang dapat membuat detek- tor lebih kuat terhadap variasi ukuran, bentuk, dan tampilan [8]. Mereka mengenali elemen vari- abel dalam gambar, mulai dari wajah orang, hingga hewan, karakter, dll [9]. Kualitas video berpen- garuh signikan terhadap akurasi pengenalan ob- jek, sehingga pengujian lain perlu dilakukan den- gan fokus pada peningkatan kualitas video sebelum pengujian pengenalan objek dilakukan [10]. Gambar 4: Gambaran Perancangan Sistem Hasil dan Pembahasan Pengkajian deteksi bahasa isyarat dilakukan den- gan menghitung tingkat akurasi oleh sistem ter- hadap objek, tahap klasikasi mengimplemen- tasikan metode Supervised Learning dan mereal- isasikan sistem deteksi bahasa isyarat secara real- time. Cara Kerja Supervised Learning Dalam metode Supervised Learning sistem melak- sanakan tahap training dengan menginput dataset input dan output yang diren- berupa informasi canakan, sehingga dari data yang terdapat di dataset akan dipelajari oleh sistem untuk dijadikan tolak ukur kelompok data yang akan dikerjakan se- lanjutnya. Implementasi Rancangan Berikut rancangan hasil implementasi pada sistem. Gambar 5 adalah tampilan dashboard yang lang- sung terhubung dengan webcam pada sistem untuk mendeteksi objek yang masuk dalam frame. Gambar 3: Cara Kerja Supervised Learning Gambar 5: Tampilan Dashboard Hasil Perancangan Sistem Metode Supervised Learning digunakan saat proses klasikasi bahasa isyarat pada penelitian ini. Ter- dapat 60 dataset berupa citra yang terdiri dari 20 gerakan Bahasa Isyarat Indonesia (BISINDO) yaitu : Macet, Musuh, Tiba, Tidak Ada, Dua, Satu, Diam, Kehidupan, Selesai, Mau, Hatimu, Teman, Ya, Wanita, Usia, Pria, Aku, Mencintai, Kamu, Dalam. Penelitian ini menggunkan bahasa pemro- graman python dengan beberapa library untuk me- nunjang perancangan dan penerapan sistem yang akan dioperasikan. Tahap ini memaparkan tentang perancangan an- tar muka pada sistem pendeteksi gerakan Bahasa Isyarat Indonesia (BISINDO). Perancangan sistem berfungsi menyampaikan informasi terhadap user cara mengoperasikan sistem Rancangan Antar Muka Sistem Deteksi Ger- akan Bahasa Isyarat Indonesia (BISINDO) Fungsi tampilan ini adalah untuk melaksanakan pendeteksian gerakan Indonesia (BISINDO) se- cara real-time. Dalam melaksanakan pendeteksian, user harus memposisikan gerakan tangan BISINDO menuju arah webcam kemudian sistem akan mende- teksi gerakan yang terdapat di tampilan deteksi. 1. Library Dalam pembuatan isyarat 1. Library Dalam pembuatan isyarat sistem de- be- teksi berapa opencv Terda- pat beberapa library yang disiapkan saat bahasa library yaitu :
Jurnal Ilmiah KOMPUTASI, Volume 22 No :3, September 2023, p-ISSN 1412-9434/e-ISSN 2549-7227 454 proses pembuatan sistem, yaitu : la- belimg, pillow, numpy, keras, opencv. Se- tiap library tersebut mempunyai fungsi dalam proses pembuatan sistem. Fungsi library ini yaitu : cv2, 001. Fungsi learning rate adalah untuk up- date atau menjalankan pembaruan saat men- jalankan proses backward-pass. Tabel 1: Proses pengambilan dataset (a) Labellmg : berfungsi untuk pelabelan data pada dataset sistem yang akan diproses. (b) Pillow :berfungsi untuk memanipulasi le gambar (c) Numpy : berfungsi untuk memproses data array dengan melaksanakan operasi vector serta matriks pada sistem (d) Keras berfungsi untuk meringkas algoritma-algoritma deep learning yang lebih kompleks dari tensorow. : (e) Opencv : berfungsi untuk deteksi wa- jah,pelacakan objek,dan metode Arti- cal Intellegence 2. Mengumpulkan Data Output data testing dan training digunakan sebagai bahan peneli- tian ini. Dataset diambil dari hasil cap- ture webcam berupa 60 citra yang terdiri dari 20 gerakan Bahasa Isyarat Indonesia (BISINDO) dengan format jpg selanjutnya hasil citra tersebut masuk ke folder collecte- dimages. Hasil capture tersebut selanjutnya dilakukan pelabelan gambar dengan meman- faatkan library labelimg kemudian dikirim ke folder train dan test. Kemudian dalam folder annotations terdapat le bernama label map dengan format PBTXT yang berisi id dan nama bahasa isyarat. Tabel 1 memperli- hatkan gambar yang telah disiapkan. 3. Proses Training. Salah satu materi pent- ing dalam keberhasilan proses deteksi ba- hasa isyarat yaitu tingkat akurasi yang tinggi. Tingkat akurasi yang tinggi dari output proses training berdampak terhadap kesuk- sesan dari output proses testing Training pada dataset dilaksanakan secara otomatis oleh algoritma dan dilanjutkan tahap pemod- elan. Saat melaksanakan proses training se- banyak 90% data yang telah dibuat akan di- manfaatkan selama proses ini bekerja. Ke- mudian algoritma Convolutional Neural Net- work (CNN) dikaji dan dirangkum karakteris- tiknya sebab kemampuan materi CNN dalam ringkasan tur dari data yang diperoleh den- gan level universal yang tinggi. Parameter array yang dikerjakan ketika proses training sebanyak 1000 epoch batch size berjumlah 16. Sehingga proses training diulang dan bek- erja berjumlah 1000 kali untuk memperoleh karakteristik dan ringkasan ciri yang diper- lukan. Pada tahap training ditemukan learn- ing rate yang dimanfaatkan dengan nilai 0, 4. Proses Testing. Dalam meningkatkan hasil kalkulasi melalui method, masing-masing data testing dijalankan pengujian sebagai bagian dari proses testing. Tabel 2 mem-
Jurnal Ilmiah KOMPUTASI, Volume 22 No :3, September 2023, p-ISSN 1412-9434/e-ISSN 2549-7227 455 perlihatkan hasil tahap pengujian yang dilak- sanakan. deteksi sebanyak 6 kali dan benar sebanyak 54 kali. Dari tabel diatas dapat dihitung akurasinya sebagai berikut. AllT rueP ositive T otalN umberT estingEnteries x100% Accuracy = dengan Accuracy Tabel 2: Hasil testing akurasi (persen), All True Positive adalah hasil testing yang benar,dan Total Number Testing Enteries adalah jumlah testing yang dilakukan. 60 x100% = 90% adalah tingkat Accuracy = 54 Proses identikasi gerakan Bahasa Isyarat In- donesia (BISINDO) memanfaatkan algoritma CNN berjumlah 90% yang didapatkan dari perhitungan nilai akurasi. Hasil dari perhitungan akurasi den- gan confusion matrix lebih besar dari perhitungan melalui method Supervised Learning. Penutup Berdasarkan hasil penelitian yang telah dilak- sanakan pada sistem pendeteksi gerakan bahasa isyarat Indonesia dengan metode Supervised Learn- ing dapat ditarik kesimpulan pengujian menun- jukkan tingkat akurasi sebesar 90% yang diperoleh dari 60 kali percobaan dan berhasil mendeteksi den- gan benar sebanyak 54 kali serta dapat berjalan dengan baik. Dataset dalam sistem dapat diper- banyak agar sistem dapat digunakan masyarakat umum. Berdasarkan hasil hasil pengujian di gambar 6 dapat disimpulkan bahwa sistem dapat bekerja den- gan baik sebab dari 60 kali testing terjadi kesalahan Gambar 6: Hasil testing Daftar Pustaka vol. 16, no. 2, pp. 195201, doi: 10.21512/com- mit.v16i2.7970, 2022. [1] F. D. Adhinata, N. G. Ramadhan, A. Amrul- loh and A. R. Bahtiar, Comparison of Super- vised Learning Methods for COVID-19 Classi- cation on Chest X-Ray Image, CommIT J., [2] F. D. Adinata dan J. Arin, Klasikasi Je- nis Kelamin Wajah Bermasker Menggunakan Algoritma Supervised Learning, J. Media In-
Jurnal Ilmiah KOMPUTASI, Volume 22 No :3, September 2023, p-ISSN 1412-9434/e-ISSN 2549-7227 456 form. Budidarma, vol. 6, no. 1, p. 229, 2022, doi: 10.30865/mib.v6i1.3377. [7] T. Wang, T. Yang, and X. Self-Supervised Learn- Zhang, ing for Sparsely Annotated Object Detec- tion, 35th AAAI Conf. Artif. Intell. AAAI 2021, vol. 4A, pp. 28002808, 2021, doi: 10.1609/aaai.v35i4.16385. J. Cao, Co-mining: [3] B. Hisham and A. Hamouda, Supervised learning classiers for Arabic gestures recog- nition using Kinect V2, SN Appl. Sci., vol. 1, no. 7, pp. 121, 2019, doi: 10.1007/s42452-019- 0771-2. [8] Wantania, Sompie, and Kambey, Penerapan Pendeteksian Manusia Dan Objek Dalam Ker- anjang Belanja Pada Antrian Di Kasir, J. Tek. Inform., vol. 15, no. 2, pp. 101108, 2020. [4] K. Kristiawan, D. D. Somali, T. A. Linggan jaya, and A. Widjaja, Deteksi Buah Menggu- nakan Supervised Learning dan Ekstraksi Fi- tur untuk Pemeriksa Harga, J. Tek. Inform. dan Sist. Inf., vol. 6, no. 3, pp. 541548, 2020, doi: 10.28932/jutisi.v6i3.3029 [9] Weifeng Ge, Sibei Yang and Yizhou Yu, Multi-Evidence Filtering and Fusion for Multi-Label Classication , Object Detection and Semantic Segmentation Based on Weakly Supervised Learning, Conference: IEEE Con- ference on Computer Vision and Pattern Recognition (CVPR) At: Salt Lake City, pp. 12771286, 2018. [5] V. J. Schmalz, Real-time Italian Sign Lan- guage Recognition with Deep Learning, CEUR Workshop Proc., vol. 3078, pp. 4557, 2022. [6] J. Sikder, U. K. Das, and R. J. Chakma, Supervised Learning-Based Cancer Detec- Int. J. Adv. Comput. Sci. Appl., tion, vol. 12, no. 5, pp. 863869, 2021, doi: 10.14569/IJACSA.2021.01205101. [10] P. Lestari, D. H. D. Manik, N. L. Br Si- hotang and A. M. Husein, Video Surveil- lance System with a Deep Learning Ap- proach, SinkrOn, vol. 4, no. 1, p. 263, doi: 10.33395/sinkron.v4i1.10247, 2019.