## MIND (Multimedia Artificial Intelligent Networking Database) Journal
MIND Journal | ISSN (p): 2528-0015  | ISSN (e): 2528-0902 | Vol. 9 | No.  1 | Halaman 89 - 98
Juni 2024

## Deteksi Marker Augmented Reality dalam Pengenalan Batik Kalimantan Timur menggunakan Algoritma Convolutional Neural Networks (CNNs)
MUHAMMAD IBNU SA’AD 1 , HENY PRATIWI 2
1 Teknik Informatika, STMIK Widya Cipta Dharma, Samarinda, Indonesia 2 Sistem Informasi, STMIK Widya Cipta Dharma, Samarinda, Indonesia Email: saad@wicida.ac.id
Received 9 Januari 2024 | Revised 17 Februari 2024 | Accepted 28 Mei 2024

## ABSTRAK
Multimedia  dan  kecerdasan  buatan  saat  ini  masih  menjadi  trend  dalam  dunia pendidikan, wirausaha, industri, teknologi kedokteran, dan bidang lainnya. Salah satu  perkembangan  teknologi  computer  vision  adalah  Augmented  Reality. Augmented  reality  merupakan  teknologi  yang  menggabungkan  antara  dunia nyata  dan  dunia  maya  dengan  menggunakan  marker  sebagai  target  objek  3D yang  akan  ditampilkan.  Algoritma  Convolutional  Neural  Network,  sebagai pendukung  dalam  penelitian  ini  yang  bertujuan  untuk  mengukur  keakuratan marker motif batik kalimantan timur. Metode yang digunakan pada penelitian ini adalah  marker  based  tracking  untuk  melacak  penanda  visual.  Hasil  pengujian dengan  100  data  marker  dengan  rasio  80:20  marker  motif  batik  Kalimantan Timur  menunjukan  akurasi  terbaik  yaitu  sebesar  0,9092,  dan  rata-rata  akurasi keseluruhan  dari  epoch  1  sampai  epoch  20  yaitu  sebesar  0,90237.  Hasil  akhir pengujian marker dan objek 3D Augmented Reality.
Kata  kunci :  multimedia,  kecerdasan  buatan,  augmented  reality,convolutional neural networks

## ABSTRACT
Multimedia  and  artificial  intelligence  are  currently  still  a  trend  in  the  world  of education, entrepreneurship, industry, medical technology and other fields. One of  the  developments  in  computer  vision  technology  is  Augmented  Reality. Augmented reality is a technology that combines the real world and the virtual world  by  using  markers  as  targets  for  the  3D  objects  to  be  displayed.  The Convolutional  Neural  Network  algorithm,  as  support  in  this  research,  aims  to measure the accuracy of East Kalimantan batik motif markers. The method used in this research is marker based tracking to track visual markers. The test results with  100  marker  data  with  a  ratio  of  80:20  for  East  Kalimantan  batik  motif markers  showed  the  best  accuracy,  namely  0.9092,  and  the  overall  average accuracy from epoch 1 to epoch 20 was 0.90237. Final results of testing markers and 3D Augmented Reality objects.
Keywords :  multimedia,  artificial  intelligence,  augmented  reality,  convolutional neuralnetworks

## 1. PENDAHULUAN
Augmented  reality  merupakan  salah  satu  teknologi  yang  memanfaatkan  teknik  komputer vision .  Teknologi  ini  terkenal  karena  kemampuannya  menggabungkan  elemen  dari  dunia nyata  dengan  elemen  yang  ada  dalam  dunia  maya,  saat  ini  masih  menjadi  trend  yang selalu  berkembang (Saurina,  2016)(Fatha  Pringgar  &  Sujatmiko,  2020) .  Dengan berbagai metode yang digunakan untuk menampilkan objek 3D, Augmented reality memiliki satu  metode  yang  dikenal  dengan marker  based  tracking (Christopher  Roser,  2015) (Technology, 2020) , metode ini mengandalkan penanda visual atau penanda fisik untuk melacak posisi objek (Billinghurst et al., 2014) . Dalam proses melacak objek, metode ini masih  memiliki  kekurangan  dalam  merekam marker ,  sehingga  terjadi delay pada  saat proses  menampilkan  objek  3D.  Solusi  yang  ditawarkan  pada  penelitian  ini,  penulis menambahkan satu algoritma untuk mengukur akurasi marker menggunakan Convolutional Neural Networks (CNNs).
Convolutional Neural Networks (CNNs) jenis arsitektur jaringan syaraf tiruan yang dirancang khusus  untuk  tugas  pengolah  citra  dan  pemahaman  visual,  CNNs  dikenal  dikenal  karena kemampuannya  mengatasi  masalah  pengenalan  pola  dalam  data  gambat  dan  video (Saxena,  2022) .  Beberapa  Studi  menunjukkan  bahwa  kemampuan  CNNs  untuk mengeksploitasi  pola  spasial  khususnya  memfasilitasi  nilai  yang  sangat  tinggi  data  resolusi spasial.  Modularitas  dalam  kerangka  pembelajaran  mendalam  yang  umum  memungkinkan fleksibilitas yang tinggi untuk adaptasi arsitektur, sehingga aplikasi multi-modal atau multi- temporal dapat memperoleh manfaat (Kattenborn et al., 2021).
Penggunaan  kecerdasan  buatan  dalam  klasifikasi  gambar  sudah  banyak  diteliti.  Pada penelitian  sebelumnya  dalam  mengklasifikasi  multi  label  pada  motif  batik  menggunakan CNNs, taufiqotul bariyah mendapatkan hasil akurasi mencapai 91.41% pada 15 motif batik dengan  300  citra  uji (Bariyah  et  al.,  2021) .  Pada  peneliti  lain  achmad  yusuf  dkk melakukan klasifikasi emosi ciri wajah menggunakan CNNs, pengujian dalam penelitiannya menggunakan K-fold Cross Validation, hasil yang didapatkan nilai akurasi terbaik sebesar 86% (Achmad et al., 2019) . Dalam penelitian pada masa pandemi covid 19, Arham dkk melakukan  klasifikasi  penggunaan  masker  dengan  algoritma  CNNs,  hasil  penelitian menunjukan skenario Pada percobaan dengan 50 epoch dan rasio dataset 90% untuk data latih dan 10% untuk data uji, diperoleh akurasi tertinggi mencapai 96%. Dalam pengujian pada gambar wajah yang menggunakan masker, didapatkan nilai presisi sebesar 98% dan recall sebesar 94%. Sementara itu, untuk gambar wajah yang tidak menggunakan masker, nilai presisinya adalah 94% dengan recall sebesar 98% (Rahim et al., 2020) . Penelitian oleh  Prita  Haryani  dan  Joko  Triyono  tentang  pengenalan  benda  cagar  budaya  melalui Augmented  Reality  bertujuan  untuk  memperkenalkan  kekayaan  cagar  budaya  kepada masyarakat.  Hasil  tinjauan  terhadap  penelitian  tentang  Augmented  Reality  menunjukkan bahwa  teknologi  ini  dapat  berperan  sebagai  sarana  untuk  memperkenalkan  benda  cagar budaya kepada masyarakat (Haryani & Triyono, 2017) .
Masalah  yang  terjadi  pada  saat  melakukan  tracking  gambar  batik,  kamera  kurang  akurat dalam  menangkap  target,  sehingga  proses  menampilkan  objek  3D  tidak  maksimal.    Dari penelitian  lampau,  penulis  mengadopsi  cara  klasifikasi  multi  label  pada  motif  batik  dengan akurasi  yang  didapatkan  sangat  baik.  Pada  penelitian  ini  penulis  berfokus  pada penggabungan  antara  teknologi augmented  reality dan  Algoritma Convolutional  Neural Networks (CNNs) untuk mengukur akurasi marker batik sebagai target objek 3D yang akan diterapkan.

## 2. METODE PENELITIAN

## 2.1. Matode Marker Based Tracking
Marker  based  tracking merupakan  salah  satu  teknik  dalam augmented  reality yang digunakan  untuk  mengidentifikasi marker atau  penanda  pada  lingkungan  nyata,  kemudian menentukan pola dari penanda tersebut. Selanjutnya, teknik ini memungkinkan objek virtual ditampilkan  di  sekitar  penanda  tersebut  dalam  lingkungan  yang  nyata . (Satria  & Prihandoko,  2018) .  Dahulu,  marker  AR  sering  kali  berupa  gambar  kotak  hitam  yang muncul di tengah latar belakang persegi putih. Namun, seiring perkembangan teknologi, kini marker  dapat  mengenali  berbagai  jenis  ilustrasi  gambar  berwarna.  Contoh marker yang digunakan pada penelitian dapat dilihat pada Gambar 1.

## Gambar 1. Marker Batik Kaltim
Titik  koordinat  virtual  pada  fungsi  penanda  untuk  Tentukan  posisi  benda  maya  di ditambahkan  ke  lingkungan  realistis.  Lokasi  objek  maya  akan  ditempatkan  tegak  lurus terhadap  penanda.  Benda  virtual  akan  sejajar  dengan  sumbu  Z  dan  vertical  langsung  ke sumbu X (kanan atau kiri) dan sumbu Y (sebelum atau sesudah) koordinat penanda virtual.

## Gambar 2. Titik Koordinat Marker

## 2.2. Preprocessing
Langkah  kunci  dalam  mengevaluasi  keakuratan  klasifikasi  gambar  meliputi  tahapan preprocessing,  pelatihan,  dan  pengujian.  Tahap  preprocessing  bertujuan  untuk mempersiapkan  data  latih  dan  uji  bersama  dengan  labelnya,  sehingga  data  tersebut  siap untuk  digunakan  dalam  proses  pelatihan.  Proses  training  melakukan  pelatihan  pada Convolutional  Neural  Networks (CNNs)  menggunakan  data  training  untuk  menghasilkan model Convolutional  Neural  Networks (CNNs)  yang  digunakan  pada  proses  testing  untuk mengklasifikasikan data (Achmad, dkk., 2019) .

## 2.3. Convolutional Neural Networks
Convolutional  neural  networks adalah  jaringan  saraf  tiruan  yang  mengambil  gambar masukan  dan  memberikan  bobot  pada  berbagai  objek  dalam  perwujudan  untuk membedakan  satu  tampilan  dari  tampilan  lainnya.  Jaringan  saraf  tiruan  terdiri  dari  tiga
Z X Y
lapisan,  lapisan  masukan,  lapisan  tersembunyi,  dan  lapisan  keluaran.  Semua  masukan diambil  dari  lapisan  masukan.  Pemrosesan  dilakukan  di  dalam  lapisan  tersembunyi,  dan keluaran diterima melalui lapisan keluaran.

## Gambar 3. Convolutional Neural Networks
Dalam  proses  mengukur  akurasi  citra  batik  kalimantan  timur  terdapat  beberapa  tahapan, dapat dilihat pada Gambar 4.
Mulai Proses Preprocessing Pembagian Data Training CNNs Selesai Klasifikasi dan Hasil Akurasi Testing CNNs Gambar 4. Tahapan Klasifikasi Convolutional Neural Networks
Pada  tahapan  awal  dilakukan  analisis  gambar  dalam  kumpulan  data,  kemudian  lanjut  ke proses preprocessing untuk mengubah setiap gambar menjadi matriks yang dimasukkan ke dalam jaringan, dikonversi menjadi tipe data float32 dan mengubah inisial nilai pixel menjadi 0 sampai 1. Tahapan selanjutnya adalah training model dengan training selamat 20 epoch. Pada proses akhir menganalisis

## 3. HASIL DAN PEMBAHASAN

## 3.1. Hasil Akurasi Convolutional Neural Networks
Pada  proses  klasifikasi,  peneliti  menggunakan  100  dataset  dengan  rasio  80:20  yang  telah dibagi 80% data training dan 20% data testing, dataset pada penelitian ini adalah kumpulan gambar  batik.  Kemudian  peneliti  menggunakan  batch  64  dan  melatih  jaringan  semala  20 epoch.
Selanjutnya  proses  pelatihan marker batik,  proses  menggunakan  fungsi  fit.  Hasil  dapat dilihat  pada  Gambar  5,  dari  epoch  1  sampai  epoch  20  terlihat  nilai  akurasi  mengalami peningkatan.

## Gambar 5. Hasil Akurasi Data Training dan Testing
Dapat  dilihat  pada  Gambar  5  hasil  dari  epoch  pertama  testing  model  menampilkan  hasil akurasi  yang  baik  yaitu  sebesar  0,8766  dengan  loss  sebesar  0.3454.  Hasil  akurasi selanjutnya sampai dengan epoch 20 selalu mengalami peningkatan yang sangat signifikan.
Training Testing
Akurasi  terbaik  berada  pada  epoch  ke  20  yaitu  sebesar  0,9092  dan  rata-rata  hasil  akurasi testing model adalah sebesar 0,90237.

## Gambar 6. Grafik Testing Accuracy
Gambar 7. Grafik Testing Loss
Pada grafik testing accuracy dapat dilihat nilai akurasi  pada line berwarna hijau mengalami peningkatan  dari  epoch  1  sampai  epoch  20.  Dilihat  dari  akurasi 0,9092,  ini  menunjukan bahwa marker sudah sangat akurat untuk bisa digunakan dalam proses menampilkan objek 3D Augmented Reality pengenalan batik Kalimantan Timur.
3.2. Implementasi Augmented Reality dengan Marker Batik Kalimantan Timur
Pada  tahapan  ini  dilakukan  pengujian  scan marker batik  Kalimantan  Timur,  apakah  sudah akurat pada saat kamera diarahkan pada marker .

## Gambar 7. Objek 3D dan Marker Batik Kaltim
Pada Gambar 7 menampilkan hasil scan objek 3D pada marker Batik. Pada saat proses scan menggunakan kamera, objek 3D akan tampil dengan cepat, ini membuktikan bahwa marker sangat akurat dalam proses menampilkan objek 3D.

## 4. KESIMPULAN
Dari hasil penelitian marker pengenalan batik Kalimantan Timur menggunakan Convolutional Neural Networks (CNNs), dengan menggunakan rasio 80:20 dan melatih jaringan selama 20 epoch,  didapatkan  hasil  akurasi  terbaik  pada  epoch  20  yaitu  sebesar  0,9092  dengan  rata- rata akurasi 0,90237. pada implementasi marker based tracking augmented reality , marker sudah sangat akurat dalam menampilkan objek 3D.

## UCAPAN TERIMA KASIH
Terima kasih kepada Kampus STMIK Widya Cipta Dharma yang telah mendukung penelitian ini.

## DAFTAR RUJUKAN
Achmad,  Y.,  Wihandika,  R.  C.,  &  Dewi,  C.  (2019).  Klasifikasi  emosi  berdasarkan  ciri  wajah wenggunakan convolutional neural network. Jurnal Pengembangan Teknologi Informasi Dan Ilmu Komputer , 3 (11), 10595 – 10604.
Bariyah, T., Arif Rasyidi, M., & Ngatini. (2021). Convolutional Neural Network Untuk Metode Klasifikasi  Multi-Label  Pada  Motif  Batik  Convolutional  Neural  Network  for  Multi-Label Batik Pattern Classification Method. Februari , 20 (1), 155 – 165.
Billinghurst, M., Clark, A., & Lee, G. (2014). A survey of augmented reality. Foundations and Trends in Human-Computer Interaction , 8 (2 – 3), 73 – 272.
https://doi.org/10.1561/1100000049 Christopher Roser. (2015). Industry 4 : Υφιστάμενη κατάσταση και προοπτικές . 1 (3), 1 – 6.
Fatha Pringgar, R., & Sujatmiko, B. (2020). Penelitian Kepustakaan (Library Research) Modul Pembelajaran  Berbasis  Augmented  Reality  pada  Pembelajaran  Siswa. Jurnal  IT-EDU , 05 (01), 317 – 329.
Haryani, P., & Triyono, J. (2017). Augmented Reality (Ar) Sebagai Teknologi Interaktif Dalam Pengenalan  Benda  Cagar  Budaya  Kepada  Masyarakat. Simetris :  Jurnal  Teknik  Mesin, Elektro Dan Ilmu Komputer , 8 (2), 807. https://doi.org/10.24176/simet.v8i2.1614
Kattenborn, T., Leitloff, J., Schiefer, F., & Hinz, S. (2021). Review on Convolutional Neural Networks  (CNN)  in  vegetation  remote  sensing. ISPRS Journal of Photogrammetry and Remote Sensing , 173 (November 2020), 24 – 49. https://doi.org/10.1016/j.isprsjprs.2020.12.010
Pentenrieder,  K.,  Meier,  P.,  &  Klinker,  G.  (2006).  Analysis  of  Tracking  Accuracy  for  Single- Camera Square-Marker-Based Tracking. Proc. Dritter Workshop Virtuelle Und Erweiterte
Realität Der GI-Fachgruppe VR/AR , August 2016 , 15.
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.134.2719&rep=rep1&type=p df
Rahim, A., Kusrini, K., & Luthfi, E. T. (2020). Convolutional Neural Network untuk Kalasifikasi Penggunaan  Masker. Inspiration:  Jurnal  Teknologi  Informasi  Dan  Komunikasi , 10 (2), 109. https://doi.org/10.35585/inspir.v10i2.2569
Satria,  B.,  &  Prihandoko,  P.  (2018).  Implementasi  Metode  Marker  Based  Tracking  Pada Aplikasi  Bangun  Ruang  Berbasis  Augmented  Reality. Sebatik , 19 (1),  1 – 5. https://doi.org/10.46984/sebatik.v19i1.88
Saurina, N. (2016). Pengembangan Media Pembelajaran Untuk Anak Usia Dini Menggunakan
Augmented Reality. Jurnal IPTEK , 20 (1), 95.
https://doi.org/10.31284/j.iptek.2016.v20i1.27
Saxena, A. (2022). An Introduction to Convolutional Neural Networks. International Journal for  Research  in  Applied  Science  and  Engineering  Technology , 10 (12),  943 – 947. https://doi.org/10.22214/ijraset.2022.47789
Technology, I. (2020). Implementation of Marker Based Tracking Method in the Interactive Media  of  Traditional  Clothes  Knowledge-Based  on  Augmented  Reality  360. Journal  of Computer Science, Information Technology and Telecommunication Engineering , 1 (2),
37 – 43. https://doi.org/10.30596/jcositte.v1i2.4501
Achmad,  Y.,  Wihandika,  R.  C.,  &  Dewi,  C.  (2019).  Klasifikasi  emosi  berdasarkan  ciri  wajah
wenggunakan convolutional neural network. Jurnal Pengembangan Teknologi Informasi Dan Ilmu Komputer , 3 (11), 10595 – 10604.
Bariyah, T., Arif Rasyidi, M., & Ngatini. (2021). Convolutional Neural Network Untuk Metode Klasifikasi  Multi-Label  Pada  Motif  Batik  Convolutional  Neural  Network  for  Multi-Label Batik Pattern Classification Method. Februari , 20 (1), 155 – 165.
Billinghurst, M., Clark, A., & Lee, G. (2014). A survey of augmented reality. Foundations and Trends in Human-Computer Interaction , 8 (2 – 3), 73 – 272.
https://doi.org/10.1561/1100000049
Christopher Roser. (2015). Industry 4 : Υφιστάμενη κατάσταση και προοπτικές . 1 (3), 1 – 6.
Fatha Pringgar, R., & Sujatmiko, B. (2020). Penelitian Kepustakaan (Library Research) Modul Pembelajaran  Berbasis  Augmented  Reality  pada  Pembelajaran  Siswa. Jurnal  IT-EDU , 05 (01), 317 – 329.
Haryani, P., & Triyono, J. (2017). Augmented Reality (Ar) Sebagai Teknologi Interaktif Dalam Pengenalan  Benda  Cagar  Budaya  Kepada  Masyarakat. Sim etris :  Jurnal  Teknik  Mesin,
Elektro Dan Ilmu Komputer , 8 (2), 807. https://doi.org/10.24176/simet.v8i2.1614
Kattenborn, T., Leitloff, J., Schiefer, F., & Hinz, S. (2021). Review on Convolutional Neural Networks  (CNN)  in  vegetation  remote  sensing. ISPRS Journal of Photogrammetry and Remote Sensing , 173 (November 2020), 24 – 49. https://doi.org/10.1016/j.isprsjprs.2020.12.010
Pentenrieder,  K.,  Meier,  P.,  &  Klinker,  G.  (2006).  Analysis  of  Tracking  Accuracy  for  Single-
Camera Square-Marker-Based Tracking. Proc. Dritter Workshop Virtuelle Und Erweiterte
Realität Der GI-Fachgruppe VR/AR , August 2016 , 15.
http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.134.2719&rep=rep1&type=p df
Rahim, A., Kusrini, K., & Luthfi, E. T. (2020). Convolutional Neural Network untuk Kalasifikasi Penggunaan  Masker. Inspiration:  Jurnal  Teknologi  Informasi  Dan  Komunikasi , 10 (2), 109. https://doi.org/10.35585/inspir.v10i2.2569
Satria,  B.,  &  Prihandoko,  P.  (2018).  Implementasi  Metode  Marker  Based  Tracking  Pada Aplikasi  Bangun  Ruang  Berbasis  Augmented  Reality. Sebatik , 19 (1),  1 – 5. https://doi.org/10.46984/sebatik.v19i1.88
Saurina, N. (2016). Pengembangan Media Pembelajaran Untuk Anak Usia Dini Menggunakan
Augmented Reality. Jurnal IPTEK , 20 (1), 95.
https://doi.org/10.31284/j.iptek.2016.v20i1.27
Saxena, A. (2022). An Introduction to Convolutional Neural Networks. International Journal
for  Research  in  Applied  Science  and  Engineering  Technology , 10 (12),  943 – 947. https://doi.org/10.22214/ijraset.2022.47789
Technology, I. (2020). Implementation of Marker Based Tracking Method in the Interactive Media  of  Traditional  Clothes  Knowledge-Based  on  Augmented  Reality  360. Journal  of Computer Science, Information Technology and Telecommunication Engineering , 1 (2), 37 – 43. https://doi.org/10.30596/jcositte.v1i2.4501