## BANK NOTE VALUE CHECKER BASED ON IMAGE RECOGNITION
Citra Suardi 1)* , David Sundoro 2) , Kasmir Syariati 3) , Reinaldo Lewis Lordianto 4) 1,2,3 PSDKU Informatika, Universitas Surabaya Email: citra.suardi@ciputra.ac.id 1) , david.sundoro@ciputra.ac.id 2) , kasmir.syariati@ciputra.ac.id 3) , reinaldo.lewis@ciputra.ac.id 4) Nomor Telp : +62 822 2742 5582 Asal Negara: Indonesia

## ABSTRAK
Identifikasi  dan  verifikasi  nominal  uang  merupakan  tugas  yang  penting  dalam  banyak  situasi,  seperti transaksi  keuangan  bagi  penyandang  disabilitas  dalam  hal  ini  tunanetra.  Namun,  proses  ini  sering  seringkali memerlukan  keterlibatan  manusia  yang  memakan  waktu  dan  rentan  terhadap  kecurian.  Oleh  karena  itu, penelitian  ini  bertujuan  untuk  mengembangkan  sebuah  sistem  pengecekan  nominal  uang  berbasis  rekognisi gambar yang dapat  meminimalkan intervensi manusia. Penelitian ini menggunakan library Create  ML, sebuah platform  pengembangan  model  machine  learning  yang  dikembangkan  oleh  Apple.  Create  ML  memungkinkan peneliti  untuk  melatih  model  machine  learning  dengan  mudah  dan  cepat  melalui  pendeteksian  visual.  Dalam penelitian ini, model yang dihasilkan oleh Create ML diintegrasikan untuk mengembangkan model yang dapat mengenali  dan  membedakan  nominal  uang  berdasarkan  citra.  Metode  pengujian  dalam  penelitian  ini menggunakan  dataset  yang  terdiri  dari  gambar-gambar  uang  kertas  indonesia  dengan  berbagai  variasi  dan kondisi.  Dataset  tersebut  digunakan  untuk  melatih  model  menggunakan  Create  ML.  Hasil  pengujian  dianalisa berdasarkan  tingkat  akurasi,  yang  mengukur  sejauh  mana  model  dapat  mengenali  dan  membedakan  nominal uang dengan benar. Dari hasil pengujian dalam penelitian ini mencapai tingkat akurasi sebesar 71%. Meskipun masih  ada  potensi  untuk  perbaikan,  hasil  ini  menunjukkan  kemajuan  yang  signifikadan  dalam  pengenalan nominal  uang  berbasis  rekognisi  gambar.  Berdasarkan  hasil  penelitian  ini,  menunjukkan  bahwa  sistem pengecekan  nominal  uang  berbasis  recognisi  gambar  dengan  library  Create  ML  memiliki  potensi  untuk diimplementasikan secara praktis dalam aktivitas sehari-hari penyandang disabilitas (tunanetra).
Kata kunci: create ml, apple, machine learning, recognition, blind.

## ABSTRACT
Identification and verification of banknotes is an important task in many situations, such as financial transactions  for  individuals  with  disabilities,  specifically  the  visually  impaired.  However,  this  process  often requires human involvement, which is time-consuming and susceptible to theft. Therefore, this research aims to develop an image recognition-based system for checking banknotes that can minimize human intervention. This study  utilizes  the  Create  ML  library,  a  machine  learning  model  development  platform  developed  by  Apple. Create ML allows researchers to easily and quickly train machine learning models through visual detection. In this  study,  the  model  generated  by  Create  ML  is  integrated  to  develop  a  model  that  can  recognize  and differentiate  banknotes  based  on  images.  The  testing  method  in  this  research  uses  a  dataset  consisting  of Indonesian banknote image with various variations and conditions. This dataset is used to train the model using Create ML. The test results are analyzed based on the accuracy level, which measures how well the model can correctly recognize and differentiate banknotes/ The results of the testing in this research achieved an accuracy level  of  71%.  Although  there  is  still  potential  for  improvement,  these  results  indicate  significant  progress  in image recognition-based banknote recognition. Base on the finding of this research, it is evident that the image recognition-based  system  for  checking  banknotes  using  the  Create  ML  library  has  the  potential  for  practical implementation in the daily activities of visually impaired individuals.
Keywords: create ml, apple, machine learning, recognition, blind.

## 1. PENDAHULUAN
Setiap dari panca indera memiliki fungsi unik dan  penting  dalam  membantu  manusia  memahami dan  menafsirkan  dunia  di  sekitar  kita.  Sebagai contoh,  penglihatan  membantu  kita  melihat  dan memproses informasi visual, tetapi fungsi-fungsi ini tidak  dapat  dirasakan  oleh  Tunanetra.  Tunanetra adalah istilah yang digunakan untuk menggambarkan  makhluk  hidup  yang  mengalami
kesulitan dalam penglihatan atau memiliki penglihatan  buruk,  di  mana  sebagian  dari  mereka tidak  dapat  melihat  sama  sekali  dan  sebagian memiliki penglihatan yang sangat terbatas.
Penyebab  paling  umum  dari  kebutaan  atau kurangnya  penglihatan  adalah  penyakit  bawaan, penyakit degeneratif seperti glaukoma atau degenerasi  makula,  dan  juga  dapat  disebabkan  oleh kecelakaan  yang  menyebabkan  cedera  pada  mata
atau sistem saraf yang terhubung dengan penglihatan.  Menurut  Organisasi  Kesehatan  Dunia (WHO),  diperkirakan  2,2  miliar  orang  di  seluruh dunia  menderita  kebutaan,  di  mana  1  miliar  di antaranya  menderita  gangguan  penglihatan  yang dapat  dihindari  atau  tidak  permanen  (World  Health Organization:  WHO,  2023)  (Rahman  et  al.,  2020). Tunanetra  atau  memiliki  penglihatan  rendah mungkin  membutuhkan  peralatan  atau  teknologi tambahan untuk membantu mereka dalam melakukan  aktivitas  sehari-hari  mereka,  seperti  alat bantu deteksi mata uang.
Penelitian  sebelumnya  mengenai  pengenalan nominal uang kertas untuk tunanetra telah dilakukan oleh  beberapa  peneliti  dan  akademisi  di  seluruh dunia.  Beberapa  penelitian  ini  menggunakan teknologi pengenalan objek menggunakan algoritma  machine  learning  untuk  membangun model  pengenalan  nilai  nominal  uang  kertas  bagi tunanetra.  Sebagai  contoh,  pada  tahun  2018, sekelompok  peneliti  dari  Indraprastha  Engineering College,  India,  berhasil  mengembangkan  model untuk  mengenali  nilai  nominal  uang  kertas berdasarkan  warnanya  menggunakan  Convolutional Neural Network (CNN). Penelitian ini menunjukkan bahwa  model  yang  dibangun  dapat  mengenali nominal  uang  kertas  Rupee  India  dengan  tingkat akurasi 96.6% (Mittal, 2918).
Selain itu, pada tahun 2020, para peneliti dari China  juga  melakukan  penelitian  serupa  dengan menggunakan teknologi pengenalan gambar menggunakan  CNN  untuk  membangun  model pengenalan  nilai  nominal  Dollar  Hong  Kong  yang digunakan  di  Hong  Kong.  Hasil  dari  penelitian  ini menunjukkan bahwa model yang dibangun memiliki tingkat  akurasi  rata-rata  sebesar  95%  untuk  semua denominasi  Dollar  Hong  Kong.(Ng  et  al.,  2020). Seperti yang telah dijelaskan sebelumnya, penggunaan  teknologi  pembelajaran  mesin  untuk membangun  model  pengenalan  objek,  termasuk pengenalan denominasi uang kertas, telah dilakukan oleh  beberapa  peneliti  dan  akademisi  di  seluruh dunia.  Namun,  dalam  penelitian  ini,  kami  akan fokus  pada  penggunaan  Library  Create  ML  sebagai alat  untuk  membangun  model  pengenalan  nominal uang kertas Rupiah Indonesia (IDR).
Ini sangat menarik karena Library Create ML adalah salah satu perpustakaan Pembelajaran Mesin yang  dikembangkan  khusus  oleh  Apple  untuk memudahkan proses pelatihan dan pengembangan di platform  iOS  (Developer  Apple,  n.d.).  Create  ML adalah library machine learning yang dikembangkan oleh Apple dan tersedia dalam kerangka kerja Apple Machine  Learning  (Core  ML).  Library  Create  ML memungkinkan pengguna untuk  dengan mudah dan cepat  membuat  model  Pembelajaran  Mesin  tanpa harus  memiliki  pengetahuan  mendalam  tentang pembelajaran  mesin  dan  tanpa  harus  menulis  kode program  yang  kompleks.  Pengguna  hanya  perlu menyiapkan  dataset  yang  diperlukan  dan  mengikuti
langkah-langkah yang tersedia pada tampilan Create ML (Developer Apple, n.d.). Hal tersebut dikarenakan  platform  Create  ML  dirancang  untuk menyederhanakan proses pembuatan model machine learning  (ML)  dengan  antarmuka  pengguna  grafis untuitif dan pada Create ML telah tersedia berbagai template  model  yang  sudah  terlatih  sebelumnya, seperti  model  klasifikasi  gambar,  model  deteksi objek,  model  pengenalan  suara,  dan  lain-lain, sehingga  pengguna  hanya  perlu  menyediakan dataset  sesuai  dengan  format.  Create  ML  juga menyediakan  fitur  yang  memungkinkan  pengguna untuk  dengan  mudah  mengimpor  dataset  dan melatih model.
Penelitian  yang  dilakukan  menggunakan perpustakaan  Create  ML  juga  memiliki  keunggulan dalam  hal  efisiensi  waktu  dan  biaya,  karena pengguna tidak perlu membuat model dari awal dan tidak perlu perangkat keras mahal untuk menjalankan pelatihan model. Selain itu, perpustakaan  Create  ML  juga  dapat  menghasilkan model yang dapat berjalan pada perangkat Mac atau iOS  tanpa  memerlukan  koneksi  internet,  sehingga dapat  digunakan  dengan  lebih  mudah  oleh  orang- orang buta dalam kehidupan sehari-hari.
Dengan demikian, penggunaan library Create ML dalam penelitian tentang identifikasi denominasi  uang  kertas  bagi  orang-orang  dengan gangguan penglihatan diharapkan dapat memberikan hasil  yang  akurat  dan  efisien  dalam  mengenali denominasi  uang  kertas.  Hal  ini  dapat  membantu menyediakan teknologi pengenalan nominal alternatif  untuk  uang  kertas  dan  dapat  menjadi referensi  bagi  peneliti  di  masa  depan  dalam mengembangkan  teknologi  pengenalan  nominal yang lebih baik untuk uang kertas.

## 2. METODE
Penelitian ini menggunakan metode pengembangan pembelajaran mesin dengan menggunakan Library Create ML. Metode pengembangan  ini  dilakukan  dalam  beberapa tahapan, yaitu:
2.1. Data Collection
Data  yang  digunakan  dalam  penelitian  ini adalah  gambar  uang  kertas  Rupiah  tahun  2022  dan 2016  yang  digunakan  dalam  kehidupan  sehari-hari. Dalam  penelitian  ini,  data  diperoleh  melalui pengumpulan data independen, di mana data diambil menggunakan  kamera  Logitech  Brio  4K  Webcam dan  diproses  menggunakan  teknik  preprocessing untuk  meningkatkan  kualitas  gambar.  Data  tersebut akan  digunakan  dalam  pemodelan.  Jumlah  dataset awal  yang  diperoleh  adalah  28  gambar  dengan informasi  bahwa  setiap  data  normal  terdiri  dari  2 lembar kertas dan diambil 2 gambar (tampilan depan dan belakang) untuk setiap lembar. Hasil pengumpulan  data  dapat  dilihat  dalam  Tabel  2. Sampel Dataset All Condition.

## 2.2. Data Preparation
Data  yang  telah  dikumpulkan  kemudian diproses  pada  tahap  augmentasi  data  dengan  tujuan untuk meningkatkan jumlah dataset dan meningkatkan  variasi  dataset.  Proses  augmentasi dilakukan dengan memutar data gambar uang kertas dan  mentransformasikan  perspektif  data,  serta
mengubah  warna  dan  kecerahan  gambar.  Hal  ini dilakukan  dengan  menggunakan  perpustakaan Augmentor di Python. Augmentor adalah perpustakaan  augmentasi  gambar  dalam  python untuk  pembelajaran  mesin  (mdbloice,  2022).  Hasil augmentasi  dapat  dilihat  dalam  Tabel  1.  Sampel Dataset Semua Kondisi.
Table 1. Sample Dataset All Condition
No First Dataset Condition Perspective transformatio
n Low Brightness
High
Brightness
Perspective transformati on 1 2 3 4 5

## 2.3. Model Building
Model untuk pengenalan nominal uang kertas dibuat  dengan  memanfaatkan  library  Create  ML Framework  Core  ML.  Core  ML  adalah  kerangka kerja Pembelajaran Mesin Apple yang dikembangkan  oleh  Apple  yang  disediakan  untuk pengembangan  Pembelajaran  Mesin  (Developer Apple,  t.t.).  Create  ML  dirancang  untuk  membuat Model Machine Learning tanpa perlu membuat kode program, sehingga dengan mengikuti petunjuk yang ditampilkan  pada  halaman  Create  ML,  model  ML yang  diinginkan  akan  otomatis  dibuat  dan  akan segera  menampilkan  nilai  akurasi.  Hal  tersebut dikarenakan  platform  Create  ML  dirancang  untuk menyederhanakan proses pembuatan model machine
learning  (ML)  dengan  antarmuka  pengguna  grafis untuitif dan pada Create ML telah tersedia berbagai template  model  yang  sudah  terlatih  sebelumnya, seperti  model  klasifikasi  gambar,  model  deteksi objek,  model  pengenalan  suara,  dan  lain-lain, sehingga  pengguna  hanya  perlu  menyediakan dataset sesuadii dengan format.
Pada  penelitian  ini  memanfaatkan  template model  klasifikasi  gambar  yang  telah  disediakan oleh  Apple  dalam  Create  ML.  Sehingga  model  ini dilatih  menggunakan  dataset  yang  telah  disediakan oleh peneliti.
Gambar 1 . Icon Create ML
Berikut adalah langkah-langkah untuk membuat Model menggunakan Create ML seperti yang terlihat pada Gambar 2.
(a)
(b)
Gambar 3. Graph of Training and Validation Accuracy.
Tabel 2. Table Accuracy
Gambar 2. Modeling steps

## 2.4. Model Evaluation
Evaluasi  dilakukan  menggunakan  matriks pengujian  kinerja  sesuai  dengan  jenis  masalah klasifikasi. Dalam penelitian ini, matriks pengukuran  kinerja  yang  akan  digunakan  adalah akurasi,  presisi,  recall,  dan  F1-score.  Akurasi menggambarkan  persentase  klasifikasi  data  yang benar  (Indra  Abidin,  2022),  rumus  perhitungan akurasi  dapat  dilihat  pada  persamaan  (1).  F1-score adalah  salah  satu  metode  yang  paling  sering digunakan  untuk  mengevaluasi  model  klasifikasi. F1-score  mengukur  persentase  akurasi  model dengan  menghitung  rata-rata  harmonik  antara presisi  dan  recall  (Wilianto,  2021),  rumus perhitungan  akurasi  dapat  dilihat  pada  persamaan (2).
(1)
(2)
(3) (4)

## 3. HASIL DAN PEMBAHASAN
Hasil dari penelitian ini adalah sebuah model untuk mengenali  nominal  uang  kertas  menggunakan teknologi  library Create  ML dalam pembuatannya. Berikut  adalah  hasil  yang  diperoleh  dari  tahap evaluasi model.
Dari hasil pelatihan pada dataset uang kertas dengan  total  1.850  gambar,  diperoleh  nilai  akurasi pelatihan  sebesar  96,2%  dan  nilai  akurasi  validasi sebesar  93,3%,  dan  dari  pengujian  proses  model pada  287  data  pengujian,  diperoleh  nilai  akurasi sebesar  71%.  Berdasarkan  ketiga  presentasi tersebut, dapat diketahui bahwa model yang dibuat memiliki kinerja yang cukup baik dalam mengenali nominal uang kertas.
Dalam  penelitian  ini  juga  dilakukan pengukuran  pengujian  F1-Score  yang  merupakan sebuah  matriks  komposit  yang  mengukur  kinerja secara keseluruhan dari model pengenalan nominal uang  kertas.  Hasil  F1-Score  dari  pengujian  model pengenalan  nominal  mata  uang  diperoleh  sebesar 71%  dengan  nilai  presisi  sebesar  74%  dan  nilai recall  sebesar  72%.  Sedangkan  hasil  F1-Score untuk  proses  pelatihan  model  diperoleh  nilai sebesar  96%  dengan  nilai  presisi  sebesar  96%  dan nilai recall sebesar 97%.
Hasil F1-score dipengaruhi oleh nilai matrik presisi  dan  matrik  recall.  Nilai  recall  dipengaruhi oleh    kegagalan  model  dalam  mengidentifikasi hasil  positif,  sedangkan  salah  satu  faktor  yang mempengaruhi nilai  Precision adalah model  sering memberikan  hasil  positif  terhadap  data  yang harusnya  negatif.  Kualitas  dataset  dan  jumlahnya mempengaruhi nilai dari pengukuran pengujian.
Platform library Create ML yang digunakan dalam  penelitian  ini  tidak  menampilkan  berapa jumlah  kesalahan  dalam  prediksi,  dalam  platform tersebut  hanya  menampilkan  nilai  dalam  bentuk persentasi.  Hal  tersebut  menjadi  kelemahan penggunaan Create ML dalam melakukan
penelitian, namun tidak mempengaruhi hasil penelitian. Dengan  rincian  perolehan  pengukuran pengujian model sebagai berikut: Tabel 3. Table F1-Score Training Class Precision Recall F1 Score 100000 96% 97% 0,96 75000 99% 99% 0,99 50000 93% 98% 0,95 20000 97% 94% 0,95 10000 98% 95% 0,96 5000 95% 94% 0,94 2000 97% 98% 0,98 1000 91% 94% 0,93
Table 4. Table F1-Score Testing Class Precision Recall F1 Score 100000 65% 86% 0,74 75000 100% 81% 0,89 50000 66% 97% 0,79 20000 82% 50% 0,62 10000 57% 67% 0,62 5000 58% 61% 0,59 2000 82% 50% 0,62 1000 82% 77% 0,79

## 4. KESIMPULAN
Dari  penelitian  ini  model  yang  dibuat  untuk mengenali  nominal  uang  kertas  memiliki  kinerja yang  cukup  baik.  Dalam  pelatihan  menggunakan dataset  uang  kertas  sebanyak  1.850  gambar,  model mencapai  akurasi  training  sebesar  96,2%  dan akurasi validasi sebesar 93,3%. Hal ini menunjukkan  bahwa  model  mampu  mengenali nominal uang kertas dengan tingkat keakuratan yang tinggi.
Dalam  pengujian  terhadap  287  data  testing, model  mencapai  akurasi  sebesar  71%.  Meskipun angka akurasi ini lebih rendah dibandingkan dengan akurasi  pada  tahap  training,  namun  hal  ini  bisa dianggap  masih  cukup  baik  mengingat  kondisi testing  yang  berbeda  dengan  data  yang  digunakan pada training.
Selain  itu,  pengukuran  F1-Score  juga dilakukan  untuk  mengevaluasi  kinerja  secara keseluruhan.  Hasil  F1-Score  proses  testing  model pengenalan nominal uang kertas adalah 71% dengan presisi  sebesar  74%  dan  recall  sebesar  72%.  F1- Score  dipengaruhi  oleh  presisi  dan  recall.  Nilai recall  dipengaruhi  oleh  kegagalan  model  dalam mengidentifikasi  hasil  positif.  Namun,  kelemahan model dalam memberikan hasil positif terhadap data yang  seharusnya  negatif  dapat  mempengaruhi  nilai presisi.
Selain  itu,  kualitas  dataset  dan  jumlahnya juga mempengaruhi pengukuran pengujian. Semakin baik kualitas dan jumlah dataset, semakin baik pula hasil  pengujian  yang  dicapai  oleh  model.  Namun, informasi  tidak  disebutkan  mengenai  jumlah kesalahan  dalam  prediksi  yang  terjadi  pada pengujian menggunakan Create ML.
Penggunaan  platfom  library  Create  ML dalam  penelitian  ini  memiliki  kelemahan  karena tidak  menampilkan  jumlah  kesalahan  dalam prediksi,  hanya  menampilkan  nilai  dalam  bentuk persentase. Meskipun demikian, kelemahan ini tidak mempengaruhi hasil penelitian yang telah dilakukan.
Secara keseluruhan, model pengenalan nominal uang kertas yang dibuat memiliki kinerja
yang  cukup  baik,  meskipun  terdapat  ruang  untuk perbaikan  dalam  meningkatkan  akurasi  pengujian.
Penggunaan F1-Score
membantu dalam mengevaluasi  kinerja  model  secara  keseluruhan, sementara  kualitas  dataset  dan  jumlahnya  juga memiliki dampak pada hasil pengujian

## DAFTAR PUSTAKA
Developer  Apple.  (n.d.).  Create  ML.  Apple Developer  Documentation.  Retrieved  May 12, 2023, from https://developer.apple.com/documentation/c reateml Indra  Abidin,  M.  (2022).  Deepfake  Detection  in
Videos Using Long Short-Term Memory and CNN  ResNext.  Ilkom  Jurnal  Ilmiah,  14(3). https://doi.org/https://doi.org/10.33096/ilkom .v14i3.1254.178-185. mdbloice. (2022, August). GitHub - Mdbloice/Augmentor:  Image  augmentation library  in  Python  for  machine  learning. GitHub.
https://github.com/mdbloice/Augmentor Mittal,  S.  (2018,  February).  Indian  Banknote
Recognition  using  Convolutional  Neural
Network.  2018  3rd  International  Conference On Internet of Things: Smart Innovation and Usages (IoT-SIU). http://dx.doi.org/10.1109/iot- siu.2018.8519888 Ng, S.-C., Kwok, C.-P., Chung, S.-H., Leung, Y.-Y.,
&  Pang,  H.-S.  (2020,  September).  An Intelligent  Banknote  Recognition  System  by using  Machine  Learning  with  Assistive Technology  for  Visually  Impaired  People. 2020  10th  International  Conference  on Information Science and Technology (ICIST). http://dx.doi.org/10.1109/icist49303.2020.92 02087
Rahman,  F.  A.,  Handayani,  A.  N.,  Takayanagi,  M.,
He,  Y.,  Fukuda,  O.,  Yamaguchi,  N.,  &
Okumura, H. (2020, September 19).
Assistive  device  for  visual  impaired  person
based on real time object detection. 2020 4th International  Conference  on  Vocational
Education and
Training (ICOVET). http://dx.doi.org/10.1109/icovet50258.2020.9 230285 Wilianto, K. (2021, October 22). Evaluation Metrics pada  Computer  Vision  dari  Klasifikasi hingga Deteksi Objek. Data Folks Indonesia. https://medium.com/data-folks- indonesia/evaluation-metrics-pada-computer- vision-dari-klasifikasi-hingga-deteksi-objek- 5049d3fd90d2 World Health Organization: WHO. (2023, February 27). Deafness and hearing loss. World Health Organization:
WHO. https://www.who.int/news-room/fact- sheets/detail/deafness-and-hearing-loss