p-ISSN : 2460-3562 / e-ISSN : 2620-8989

## Sistem Pengenalan Buah menggunakan Metode Artificial Neural Network BackPropagation Studi Kasus: Mangga Gedong Gincu
Fanny Fanny 1
a Computer Science, School of Computer Science, Universitas Bina Nusantara Jl. Raya Kb. Jeruk No.27, RT.1/RW.9, Kb. Jeruk, Kec. Kb. Jeruk, Kota Jakarta Barat, DKI Jakarta
1 fanny002@binus.ac.id

## Abstrak
Kebutuhan  akan  buah  yang  segar  menjadi  hal  yang  penting  bagi  manusia  untuk  mendapatkan  makanan  yang sehat.  Seringkali  kita  tidak  mengetahui  cara  membedakan  buah  yang  sudah  matang  atau  belum.  Bahkan  tidak semua  penjual  buah  mengetahui  perbedaan  itu  secara  pasti.  Berdasarkan  permasalahan  akan  kebutuhan  ini, penelitian  ini  dibuat  untuk  memudahkan  seseorang  untuk  membedakan  buah  yang  sudah  matang  dan  belum, selain  itu  lebih  lanjut  penelitian  ini  juga  membedakan  buah  yang  ukurannya  normal  ataupun  tidak  normal (terlalu  kecil  atau  terlalu  besar).  Untuk  pengenalan  buah  ini,  penelitian  ini  menggunakan BackPropagation Neural  Network  untuk  machine  learning  nya  dan  menggunakan  aspek  RGB  dan  ukuran  mangga  sebagai  data training. Hasil yang didapatkan dari metode ini adalah akurasi sebesar 83% dari 6 data set testing dengan 1 data testing mendapatkan hasil prediksi yang salah.
Kata kunci: Pengenalan Buah, Back Propagation Neural Network, Mangga Gedong Gincu, Klasifikasi Mangga

## Fruit Recognition using Nural Network and OpenCV Case Study: Gedong Gincu Mango

## Abstract
The needs of fresh fruit have been vital for human beings as healthy food. Frequently we don’t know if the fruit is ripe or not. Even for the fruit seller, they will be influenced by their subjectivity while sorting the fruit, that will make the sorting  result will be inconsistent. According to this problem, we suggest a method to ease people to determine the ripeness of fruits. For the case study, this research will use Gedong Gincu Mangoes for the data, and it will be classified as ‘Ripe’ or ‘Raw’ result for the ripeness level and ‘Abnormal’ if the size of the mango is too small or too large. For recognition this research use back propagation neural network for machine learning and using RGB aspect  and  size of  mango  as the  data  for learning.  As  for the result, this  research  reached  83% accuracy from six data set of testing with one data testing get wrong prediction.
Keywords: Fruit recognition, Back Propagation Neural Network, Gedong Gincu Mango, Mango Classification

## I. P ENDAHULUAN
Pada  era  sekarang  ini,  kebutuhan  akan  buah  segar sebagai  salah  satu  dari  makanan  sehat  menjadi  hal  yang vital,  namun,  biasanya  pembeli  tidak  mengetahui  cara membedakan apakah buah tersebut matang atau tidak [1], [2].  Penjual  buah  mungkin  saja  mengetahui  cara membedakan buah yang matang atau tidak, tetapi hasilnya secara subjektif dan tidak selalu konsisten [3], [4].
Sekarang  ini,  kualitas  dari  bentuk  buah,  warna,  dan ukuran  dan  lain-lain  tidak  bisa  dievaluasi  dengan  cara tradisional.  Kematangan  buah  menjadi  masalah  yang sangat  penting  dalam  industri  tanaman  sejak  karena kematangan  dianggap  oleh  pembeli  sebagai  indikator kualitas utama [4].
Banyak  metode  yang  dapat  digunakan  untuk mendeteksi kematangan dari buah, dan yang paling sering digunakan  yaitu dengan  mengukur  nilai  warna  RGB  dari buah,  seperti  pada  penelitian  [5],  [6].  Banyak  penelitian juga yang menggunakan backpropagation neural network dan  menggunakan  RGB  untuk  pengukurannya.  Alasan menggunakan  metode  ini  adalah  agar  mesin  dapat mempelajari  pola  dari  data  RGB  yang  diberikan  yang selanjutnya  mesin  dapat  belajar  sendiri  melalui  pola tersebut [7].
Penelitian ini akan menguji bagaimana backpropagation neural network dapat melakukan deteksi kematangan buah dan ketidak-normalan ukuran dari buah, khususnya mangga.
II. M ETODOLOGI
A. Studi Pustaka
Artificial  Neural  Network atau  jaringan  saraf  tiruan merupakan  salah  satu  metode  prediksi  yang  didasarkan pada  cara  kerja  hubungan  neuron  pada  otak  manusia. Neuron  buatan  tersebut  dibangun  oleh  beberapa  elemen seperti input , hidden  layer ,  dan output .  Proses  yang dilakukan  yaitu  mulai  dari input yang  nilainya dipengaruhi  oleh  bobot  ( weight )  untuk  setiap input yang ada.
Kemudian, pada hidden layer terjadi proses komputasi input dan weight menggukana  fungsi  aktivasi  yang nilainya  nanti  menjadi  input  untuk hidden  layer berikutnya  atau output .  Pada  penelitan  ini,  nilai  yang digunakan adalah nilai threshold [8], [9]. Input Output Hidden Layer Gambar 1. Arsitektur Neural Network Algoritma BackPropagation (BP) adalah cara melatih data  yang  paling  umum  digunakan ANN model feed- forward .  Pada  algoritma  ini  nilai weight diadaptasi  dari oleh  metodologi  penurunan  gradien  dan  turunan  dari fungsi  kesalahan  ( error  function )  sehubungan  dengan weight  0  yang  dihitung  secara  efisien  dengan  prosedur yang  disebut  dengan BackPropagration yang  terdiri  dari dua  fase: forward  transmission dan backward transmission [10]-[12].
Gambar 2. Arsitektur BackPropagation
Beberapa  penelitian  terdahulu  mengenai pendeteksian kematangan  buah  yaitu  pada  tahun  2021  oleh  [13]  yang melakukan prediksi kematangan buah menggunakan Deep Neural  Network .  Penelitian  ini  menggunakan  buah stroberi dan tomat sebagai studi kasusnya.
Pada  tahun  2021  juga,  [14]  melakukan  penelitian untuk  memprediksi  berat  dan  kematangan  buah  papaya menggunakan Convolutional  Neural  Network dengan hasil  akurasi  prediksi  kematangan  pepaya  sebesar  100% dan  68%  untuk testing .  Dan  untuk  prediksi  berat  pepaya mendapatkan akurasi 100% dan 80% untuk testing . Pada  tahun  2022,  [15]  melakukan  penelitian  untuk mendeteksi  tingkat  kematangan  buah  pisang  (matang, mentah,  dan  busuk)  menggunakan BackPropagation dengan akurasi 100%.
Dan  yang  paling  terbaru,  pada  2023,  [16]  melakukan prediksi  level  kematangan  buah  mangga  menggunakan fitur warna dan tekstur.

## B. Metode Penelitian
Pada penelitian ini, peneliti melakukan beberapa tahap untuk  menentukan  kematangan  dari  buah  mangga.  Pada dasarnya  penentuan  kematangan  ini  menggunakan  aspek warna RGB (merah, hijau, dan biru).

## Mengambil Gambar
Buah Mangga Ekstrak Komponen RGB dari Gambar Training Testing Identifikasi Kematangan Buah Mangga

## Gambar 2. Metode Penelitian
Langkah-langkah yang dilakukan yaitu: 1. Menyiapkan  beberapa  gambar  berwarna  ( RGB ) dari  mangga  yang  akan  digunakan  untuk  data pelatihan  ( data  training ).  Pastikan  semua  gambar memiliki ukuran pixel yang sama. Contoh gambar berwarna dapat dilihat pada Gambar 3.

## Gambar 3. Contoh gambar berwarna (RGB)
2. Konversikan  gambar  berwarna  kedalam  gambar monokrom ( grayscale ). Contoh gambar monokrom dapat dilihat pada Gambar 4.
Gambar 4. Contoh gambar monokrom ( grayscale )
3. Setelah  mendapatkan  gambar  hitam  putih, dilakukan threshold pada gambar untuk mendapatkan  gambar  hitam  putih  ( binary ).
Gambar  ini  digunakan  untuk  mendapatkan  setiap titik  yang  ada  pada  setiap  pixel  yang  ada  untuk mendapatkan  gambar  mangga  dari  gambar  yang ada.  Hal  ini  bertujuan  untuk  mengabaikan  objek lain selain objek mangga yang ada. Contoh gambar hitam putih dapat dilihat pada Gambar 5.
Gambar 5. Contoh gambar hitam putih ( threshold )
4. Dari  titik  yang  didapatkan  pada  gambar  hitam putih, ambil nilai merah (R: Red ), hijau (G: Green ), dan biru (B: Blue ) dari setiap titik.
5. Hitung rata-rata nilai dari warna merah, hijau, dan biru dari satu gambar mangga.
6. Selain  itu,  ambil  nilai  tinggi  dan  lebar  dari  objek mangga  berdasarkan  perbedaan  nilai  maksimum dan  minimum  titik  y  untuk  tinggi  serta  nilai maksimum  dan  minimum  titik  x  untuk  lebar. Angka  ini  digunakan  untuk  menentukan  ukuran
mangga,  apakah  ukuran  normal  atau  tidak (terlalu besar atau terlalu kecil).
7. Gunakan back  propagation  neural  network untuk melatih  data.  Pertama,  atur data  training (nilai RGB  dan  ukuran  tinggi  dan  lebar).  Setelah  itu, klasifikasikan data training kedalam tiga kategori: matang,  mentah,  dan  abnormal.Sekarang  data sudah  siap  digunakan  untuk  dijadikan  data learning .
Langkah  satu  sampai  tujuh  digunakan  untuk  melatih data,  kemudian  ulangi  langkah  yang  sama  dari  satu sampai enam sebagai data test untuk mendeteksi mangga, apakah matang, mentah, atau abnormal.

## III. H ASIL DAN P EMBAHASAN
Hasil  dari  penelitian  ini  telah  dihitung  menggunakan 72% contoh data mangga untuk training dan 28% contoh data  mangga  untuk testing .  Data training dapat  dilihat pada Tabel I dan data testing dapat dilihat pada Tabel II.
TABEL I
D ATA S ET T RAINING Gambar RGB Ukuran Mt Mh Ab R: 199.53799; G: 114.12745; B: 65.652611; H: 184 W: 186 1 -1 -1 R: 205.22621; G: 123.42175; B: 60.263412; H: 171 W: 188 1 -1 -1 R: 202.73294; G:114.13678; B: 57.133087; H: 99 W: 100 1 -1 1 R: 152.63589; G: 112.99442; B: 73.705605; H: 146 W: 139 -1 1 -1 R: 159.87888; G: 192.09621; B: 72.067787; H: 158 W: 179 -1 1 -1 R: 159.08751; G: 191.81358; B: 68.928192; H: 96 W: 110 -1 1 1 R: 118.12108; G: 117.84866; B: 100.30837; H: 163 W: 131 -1 1 -1 R: 153.44351; G: 109.16628; B: 61.911728; H: 162 W: 163 1 -1 -1
R: 167.86552; G: 134.48236; B: 102.91033; H: 168 W: 170
-1 1 -1
R: 208.46266; G: 151.02115; B: 60.667114; H: 170 W: 142 1 -1 -1
Data  training  ditunjukan  pada  Tabel  I,  dimana  1  pada Mt  berarti  mangga  matang,  1  pada  Mh  berarti  mangga mentah,  dan  1  pada  Ab  berarti  mangga  abnormal. Input untuk data training adalah nilai RGB dan ukuran mangga.
TABEL III D ATA S ET T EST (H ASIL ) Gamb ar RGB Ukura n Mt  Mh Ab  Ha sil R: 168.03252; G: 134.46715; B: 102.6941; H: 168 W: 167 -1 1 -1 B R: 201.64906; G: 113.95128; B: 58.25972; H: 192 W: 177 1 -1 -1 B R: 200.56451; G: 113.65095; B: 58.828743; H: 106 W: 100 -1 -1 1 B R: 152.82426; G: 113.24879; B: 74.410843; H: 142 W: 152 -1 1 -1 B R: 157.62576; G: 191.10835; B: 64.983391; H: 94 W: 110 -1 1 1 B R: 203.7422; G: 114.41103; B: 56.538242; H: 94 W: 108 1 -1 -1 S
Data testing ditunjukan pada Gambar 2., dimana 1 pada Mt berarti matang, 1 pada Mh berarti mentah, 1 pada Ab berarti  abnormal,  sama  dengan  data training .  Hasil ditunjukan pada kolom Hasil, dimana B adalah benar dan S  adalah  salah.  Dan  hasil  menunjukan  akurasi  yang didapatkan  adalah  83%  dengan  5  prediksi  benar  dan  1 prediksi salah.

## IV. K ESIMPULAN
Penelitian  ini  menggunakan  dataset  dari  22  data  dari beberapa  gambar  mangga  gedong  gincu  dengan  hasil klasifikasi ‘matang’ dan ‘mentah’  untuk menggambarkan kematangan mangga dan ‘abnormal’ untuk
menggambarkan  ukuran  buah  yang  tidak  normal  (terlalu besar atau terlalu kecil).
Dari penelitian ini didapatkan akurasi sebesar 83% dari 6  dataset  yang  digunakan  sebagai  data  testing  dengan  1 data testing yang mendapatkan prediksi yang salah.
Untuk  penelitian  selanjutnya  masih  banyak  hal  yang bisa  dikembangkan  dari  penelitian  ini.  Lebih  jauh  dapat melakukan  klasifikasi  untuk  segala  jenis  buah  dan  bisa menghasilkan  tingkat  kematangan  yang  lebih  detail (terlalu  matang,  matang  pas,  hampir  matang,  kurang matang, mentah, dan lain-lain).
D AFTAR P USTAKA
[1] Agnes, M., Tambunan, N., Luhur Prasasti, A., & Septiawan, R. R. (2021).  Implementasi  Fuzzy  Inference  System  Untuk  Prediksi Tingkat  Kematangan  Dan  Bobot  Buah  Pepaya  Fuzzy  Inference System  Implementation  for  Weight  and  Ripeness  Prediction  of Papaya. E-Proceeding of Engineering , 8 (6).
[2] Azrita,  M. W., Ahmad,  U., &  Darmawati, E. (2020). Rancangan Kemasan  dengan  Indikator  Warna  untuk  Deteksi  Tingkat Kematangan  Buah  Alpukat.  Jurnal  Keteknikan  Pertanian,  7(2). https://doi.org/10.19028/jtep.07.2.155-162
[3] Chan,  A.,  Liem,  P.,  Wong,  N.  P.,  &  Gunawan,  T.  (2014).
Segmentasi Buah Menggunakan Metode K-Means Clustering dan Identifikasi Kematangannya Menggunakan Metode Perbandingan Kadar Warna. Jurnal SIFO Mikroskil , 15 (2). https://doi.org/10.55601/jsm.v15i2.156
[4] Ramadhan,  A.,  &  Fadillah,  N.  (2019).  Deteksi  Foreground  Dan Background  Pada  Kematangan  Buah  Dipohon  Menggunakan Metode K-Means Clustering. Paradigma - Jurnal Komputer Dan Informatika , 21 (1). https://doi.org/10.31294/p.v21i1.5106
[5] Pardede,  J.,  Husada,  M.  G.,  Hermana,  A.  N., & Rumapea, S.  A. (2019). Fruit Ripeness Based on RGB, HSV, HSL, L ∗ a ∗ b ∗ Color Feature Using SVM. 2019 International Conference of Computer Science  and  Information  Technology,  ICoSNIKOM  2019 . https://doi.org/10.1109/ICoSNIKOM48755.2019.9111486
[6] Astrianda,  N.  (2020).  Klasifikasi  Kematangan  Buah  Tomat Dengan  Variasi  Model  Warna  Menggunakan  Support  Vector Machine. VOCATECH:  Vocational  Education  and  Technology Journal , 1 (2). https://doi.org/10.38038/vocatech.v1i2.27
[7] Masuda,  K.,  Suzuki,  M.,  Baba,  K.,  Takeshita,  K.,  Suzuki,  T.,
Sugiura,  M.,  Niikawa,  T.,  Uchida,  S.,  &  Akagi,  T.  (2021). Noninvasive  diagnosis  of  seedless  fruit  using  deep  learning  in persimmon. Horticulture Journal , 90 (2). https://doi.org/10.2503/hortj.UTD-248 [8] Gedeon,  T.  (1999).  Additive  neural  networks  and  periodic patterns. Neural Networks , 12 (4–5).
https://doi.org/10.1016/S0893-6080(99)00023-4
[9] Mittal,  G.  S.  (2019).  Artificial  neural  network  based  process modeling.  In Handbook  of  Farm,  Dairy  and  Food  Machinery Engineering .  https://doi.org/10.1016/B978-0-12-814803-7.00021- X
[10] Lillicrap, T. P., Santoro, A., Marris, L., Akerman, C. J., & Hinton, G.  (2020).  Backpropagation  and  the  brain. Nature  Reviews Neuroscience , 21 (6). https://doi.org/10.1038/s41583-020-0277-3
[11] Supriyanto,  S.,  Sunardi,  S.,  &  Riadi,  I.  (2022).  Pengaruh  Nilai Hidden  layer  dan  Learning  rate  Terhadap  Kecepatan  Pelatihan Jaringan Saraf Tiruan Backpropagation. JIKO (Jurnal Informatika Dan Komputer) , 6 (1). https://doi.org/10.26798/jiko.v6i1.508
[12] Bolouri,  H.  (1995).  Book  Review:  Fundamentals  of  Neural Networks  —  Architectures,  Algorithms,  and  Applications:  L. FAUSETT. The  International  Journal  of  Electrical  Engineering &
Education , 32 (3). https://doi.org/10.1177/002072099503200320
[13] sCho,  W.  H.,  Kim,  S.  K.,  Na,  M.  H.,  &  Na,  I.  S.  (2021).  Fruit Ripeness  Prediction  Based  on  DNN  Feature  Induction  from Sparse Dataset. Computers, Materials and Continua , 69 (3), 4003– 4024. https://doi.org/10.32604/cmc.2021.018758
[14] Helsaputra,  A.,  Luhur  Prasasti,  A.,  &  Septiawan,  R.  R.  (2021). Implementasi Deep Learning Untuk Prediksi Tingkat Kematangan Dan  Bobot  Buah  Pepaya  Deep  Learning  Implementation  for
Weight  and  Ripeness  Prediction  of  Papaya. E-Proceeding  of Enginering : Vo.8, No.6 Desember 2021 , 8 (6), 11993.
[15] Hendrick, Efrizon, Yultrisna, Humaira, Botto-Tobar, M., & Silvia, Y.  (2022).  E-Nose  Application  for  Detecting  Banana  Fruit  Ripe Levels Using Artificial Neural Network Backpropagation Method.
International Journal of Data Science , 3 (1).
https://doi.org/10.18517/ijods.3.1.11-18.2022
[16] al Riza, D. F., Rulin, C., Tun, N. T. T., Yi, P. P. L., Thwe, A. A., Myint, K. T., & Kondo, N. (2023). Mango (Mangifera indica cv. Sein  Ta  Lone)  ripeness  level  prediction  using  color  and  textural features of combined reflectance-fluorescence images. Journal of Agriculture and Food Research , 11 .
https://doi.org/10.1016/j.jafr.2022.100477