## Institut Riset dan Publikasi Indonesia (IRPI)
MALCOM: Indonesian Journal of Machine Learning and Computer Science
Journal Homepage: https://journal.irpi.or.id/index.php/malcom Vol. 4 Iss. 2 April 2024, pp: 623-628 ISSN(P): 2797-2313 | ISSN(E): 2775-8575

## Detection of Tomato Fruit Ripeness Level Using YOLOv5

## Deteksi Tingkat Kematangan Buah Tomat Menggunakan YOLOv5
Suhardi Aras 1* , Putriana Tanra 2 , Muhammad Bazhar 3
1,2,3 Program Studi Teknik Informatika, Fakultas Teknik, Universitas Muhammadiyah Sorong, Papua Barat Daya, Indonesia
E-Mail: 1 suhardi.aras@gmail.com,
2 putritanrasanyasa13823@gmail.com, 3 muhbazhar34@gmail.com
Received Dec 26th 2023; Revised Feb 06th 2024; Accepted Mar15th 2024 Corresponding Author: Suhardi Aras

## Abstract
Tomato  ripeness  detection  is  very  important  for  agriculture  and  the  agricultural  industry.  Deep  learning  approaches have recently shown that they can handle problems involving object detection, including fruit detection. To determine the maturity  level of  tomatoes,  You Only  Look  Once  (YOLOv5)  algorithm  will  be used  in  this  study. This  technique  uses a single  step  that  identifies  the  localization  and  detection  processes.  The  dataset  we  used  for  training  and  testing  the YOLOv5  algorithm  contains  images  of  tomatoes  at  various  stages  of  ripeness.  981  total  photos  for  training  data,  121 data  validation,  and  64  test  data.  The  test  findings  show  very  good  accuracy  with  which  the  YOLOv5  algorithm  can identify and categorize the ripeness of tomatoes. This study advances techniques for detecting fruit ripening and can be applied to the quality control of the tomato agricultural sector. The findings of this study indicate the maximum detection detection value, which is 73%.
Keyword: Deep Learning, Object Detection, Tomato, Yolov5,

## Abstrak
Deteksi  kematangan  tomat  sangat  penting  untuk  pertanian  dan  industri  pertanian.  Pendekatan  pembelajaran  mendalam baru-baru  ini  menunjukkan  bahwa  mereka  dapat  menangani  masalah  yang  melibatkan  deteksi  objek,  termasuk  deteksi buah. Untuk menentukan tingkat kematangan tomat, algoritma You Only Look Once (YOLOv5) akan digunakan dalam penelitian  ini.  Teknik  ini  menggunakan  satu  tahap  yang  menyatukan  proses  lokalisasi  dan  deteksi.  Dataset  yang  kami gunakan  untuk  pelatihan  dan  pengujian  algoritma  YOLOv5  berisi  gambar  tomat  pada  berbagai  tahap  kematangan.  981 total foto untuk data train, 121 data validasi, dan 64 data test. Temuan pengujian menunjukkan akurasi yang sangat baik dengan mana algoritma YOLOv5 dapat mengidentifikasi dan mengkategorikan kematangan tomat. Studi ini memajukan teknik  untuk  mendeteksi  kematangan  buah  dan  dapat  diterapkan  pada  kontrol  kualitas  tomat  sektor  pertanian.  Temuan penelitian ini ditunjukkan oleh nilai akurasi deteksi maksimum, yaitu 73%.
Kata Kunci: Deep Learning, Deteksi Objek, Tomat, Yolov5

## 1. PENDAHULUAN
Tomat adalah produk hortikultura dengan pasar yang menjanjikan dan mengandung gizi yang penting bagi  masyarakat  [1].  Kualitas  tomat  sangat  dipengaruhi  oleh  penanganan  pasca  panen,  terutama  pemilihan dan  penentuan  kualitas  kegiatan.  Selama  ini,  proses  pemilihan  dan  penentuan  aktivitas  kualitas  tomat dilakukan  secara  manual,  yang  menyebabkan  produk  kurang  seragam.  Oleh  karena  itu,  diperlukan  metode pemilihan  dan  pengklasifikasian  tomat  yang  baik  karena  hasil  seleksi  manual  kurang  konsisten.  Deteksi kematangan  buah  tomat  merupakan  tahap  kritis  dalam  produksi  dan  pemasaran  buah-buahan.  Penggunaan teknik  deteksi  otomatis  dapat  membantu  meningkatkan  efisiensi  dan  akurasi  dalam  mengklasifikasikan tingkat  kematangan  buah  tomat.  Dalam  beberapa  tahun  terakhir,  algoritma  deep  learning  telah  menjadi pendekatan  yang  populer  untuk  deteksi  objek,  termasuk  deteksi  buah-buahan.  Algoritma  YOLO  telah terbukti efektif dalam melakukan deteksi objek dengan akurasi tinggi secara real-time [2].
Penelitian  oleh  Fani  (2023) menggunaan  algoritma  YOLOv5  untuk  deteksi  kematangan  buah  tomat. YOLOv5  merupakan  versi  terbaru  dari  seri  YOLO  yang  dikembangkan  dengan  memperbaiki  kekurangan
pada  versi  sebelumnya  dan  meningkatkan  performa  deteksi  objek.  Algoritma  ini  memanfaatkan  arsitektur Convolutional  Neural  Network  (CNN)  yang  dalam  proses  pelatihannya  dilakukan  secara end-to-end [3]. Metode YOLOv5 memadukan deteksi dan lokalisaai dalam satu proses, menghasilkan prediksi bounding box yang akurat dan cepat [4]. Dalam penelitian ini, kami melakukan pelatihan YOLOv5 menggunakan dataset gambar  buah  tomat  dengan  tingkat  kematangan  yang  berbeda.  Kami  melakukan  evaluasi  kinerja  algoritma dengan  menggunakan  metrik  standar  seperti  tingkat  akurasi,  presisi,  dan  recall.  Diharapkan  penelitian  ini dapat  memberikan  pengembangan  teknologi  dalam  deteksi  kematangan  buah  tomat.  Dengan  adanya algoritma  YOLOv5  yang  efisien  dan  akurat,  diharapkan  industri  pertanian  dapat  memanfaatkannya  dalam pengawasan  kualitas  buah  tomat,  pemilihan  panen  yang  tepat,  dan  pengaturan  rantai  pasokan  buah-buahan yang lebih efektif.
Penelitian sebelumnya menunjukkan bahwa metode YOLO terbukti efektif dalam menghasilkan hasil pengujian yang optimal. Pada penelitian “Pengenalan Objek Makanan Cepat Saji Pada Video Dan Real Time Webcam  Menggunakan  Metode  You  Look  Only  Once  (Yolo)”  menunjukkan  bahwa  metode  YOLO  dapat digunakan  untuk  mengembangkan  sistem  pengenalan  objek  makanan  cepat  saji  dengan  dengan  mencapai nilai akurasi terendah 63% dan tertinggi 100% dalam pengujian real-time menggunakan webcam dan video [5].  Penelitian  lainnya  dengan  judul  “Implementasi  Deteksi Real  Time Klasifikasi  Jenis  Kendaraan  Di Indonesia  Menggunakan  Metode  YOLOV5”  menunjukkan  bahwa  YOLOV5  dapat  mendeteksi  dan mengklasifikasikan  jenis  kendaraan  secara real-time dengan  akurasi  90%  [6].  Selanjutnya  penelitian “Implementasi Algoritma Deep Learning You Only Look Once (YOLOv5) Untuk Deteksi Buah Segar Dan Busuk”  yang  mengembangkan  sistem  deteksi  real-time  untuk  memisahkan  buah  segar  dan  busuk menggunakan YOLOv5 memperoleh nilai akurasi sebesar 84% [7].
Berdasarkan beberapa referensi pustaka yang telah disebutkan, terdapat perbedaan fokus penelitian ini dengan penelitian sebelumnya. Perbedaan tersebut terletak pada objek yang ingin dideteksi, yaitu mendeteksi tingkat  kematangan  tomat  dengan  tingkat  akurasi  tinggi  menggunakan  metode  YOLOv5,  yang  merupakan metode  pendeteksian  objek  yang  menampilkan  probabilitas  kelas  dan  kotak  pembatas  yang  menunjukkan lokasi objek yang terdeteksi. Pendekatan ini dipilih karena memiliki kelebihan dalam mengenali objek secara cepat  dan  akurat.  Selain  itu,  penelitian  ini  juga  mengimplementasikan  platform  Google  Colab  sebagai lingkungan  kerja.  Diharapkan  penelitian  ini  dapat  memberikan  pengembangan  teknologi  dalam  deteksi kematangan buah tomat terutama pada industri pertanian dapat memanfaatkannya dalam pengawasan kualitas buah tomat, pemilihan panen yang tepat, dan pengaturan rantai pasokan buah-buahan yang lebih efektif.

## 2. METODE PENELITIAN
Dalam  penelitian  ini,  peneliti  menggunakan  platform  Google  Colab  dan  menerapkan  metode YOLOv5. YOLO adalah sebuah jaringan untuk mendeteksi objek, sementara YOLOv5 adalah versi terbaru dari  metode  YOLO  yang  telah  dikembangkan  [8].  Tugas  utama  dalam  pendeteksian  objek  adalah menemukan  lokasi  objek yang  ada  dalam  sebuah  gambar  atau  citra dan  mengklasifikasikan  jenis  objeknya. Dengan kata lain, gambar atau citra digunakan sebagai input, dan algoritma akan menghasilkan vektor kotak pembatas  dan  melakukan  prediksi  kelas  objeknya  [9].  Dalam  penelitian  ini,  fokusnya  adalah  pada pendeteksian  kematangan  buah  tomat,  yaitu  mengidentifikasi  tingkat  kematangan  buah  tomat.  Aplikasi deteksi  objek  ini  mencakup  beberapa  langkah,  seperti  pengumpulan  data,  pembagian  data,  pra-pemrosesan data,  dan  pelatihan  model  menggunakan  metode  YOLOv5.  Dataset  yang  digunakan  dalam  penelitian  ini berasal  dari  foto  mandiri  dan setiap  objek  dalam  dataset  diberi  label  berdasarkan  kelasnya:  muda,  setengah matang, dan matang. Total jumlah dataset untuk semua kelas adalah 1.166, dengan 981 untuk set data latih ( training set ), 121 untuk set validasi ( validation set ), dan 64 untuk set uji ( testing set ). Informasi lebih lanjut dapat ditemukan dalam Tabel 1.
Tabel 1. Kelas Dataset No. Tingkat Kematangan Train Validation Test 1. Muda 343 39 22 2. Setengah Matang 308 44 24 3. Matang 330 38 18
Pengumpulan  data  dalam  penelitian  ini  melalui  langkah-langkah  pengambilan  gambar  secara independen.  Setelah  proses  pengumpulan  data  selesai,  setiap  gambar  dalam  dataset  diberikan  label  yang sesuai dengan nama gambar. Proses pelabelan melibatkan pembuatan nama kelas dan penandaan kotak batas pada setiap objek yang terdapat dalam gambar. Untuk meningkatkan akurasi proses pelatihan menggunakan metode YOLOv5, ukuran gambar untuk setiap objek yang telah dilabeli disesuaikan.
Gambar 1. Pre-Processing Data
Setelah pelabelan selesai, objek dan labelnya dipisahkan ke dalam folder terpisah untuk data pelatihan dan data validasi. Konfigurasi data yang diperlukan juga  dilakukan. Gambar 1 di bawa ini menggambarkan langkah-langkah pra-pemrosesan data, sementara Gambar 2 menggambarkan proses pelatihan dan pengujian dalam pendeteksian tingkat kematangan buah tomat dengan menggunakan metode YOLOv5.
Gambar 2. Training Process dan Testing Process
Proses input dataset  melibatkan  langkah  menyediakan  kumpulan  citra  buah  tomat  dalam  berbagai tingkat kematangan, termasuk buah mentah, setengah matang, dan matang, yang dimuat ke dalam platform Google Colab. Hal ini menjadi penting karena dataset harus lengkap dan terperinci agar pendeteksian objek menjadi stabil dan menghasilkan tingkat akurasi yang tinggi. Dataset yang digunakan telah diberi label pada setiap gambar untuk mengindikasikan tingkat kematangan buah tomat yang sesuai.
Setelah dataset untuk pelatihan telah disiapkan, langkah berikutnya adalah melatih data menggunakan sistem  Google  Colab.  Penggunaan  Google  Colab  untuk  melatih  data  menjadi  penting  karena  platform  ini menyediakan  GPU  12  GB  dari  Nvidia,  yang  memungkinkan  proses  pelatihan  data  dilakukan  secara  efisien dan dengan kecepatan tinggi.
Setelah  menyelesaikan  proses  pelatihan,  langkah  berikutnya  adalah  melakukan  deteksi  objek  dari berbagai  jarak  dan  sudut  yang  telah  ditentukan.  Setelah  berhasil  mendeteksi  objek,  langkah  selanjutnya adalah  memverifikasi  dan  membandingkan  hasilnya.  Proses  pelatihan  dapat  dikatakan  berhasil  jika  objek telah terdeteksi dengan benar dan tingkat kematangannya sesuai dengan klasifikasi atau klasnya.
Tahap evaluasi akurasi berperan penting dalam mendeteksi objek karena stabilitas pendeteksian objek memerlukan  tingkat  akurasi  yang  tinggi.  Oleh  karena  itu,  nilai  akurasi  pendeteksian  objek  harus  dievaluasi agar pendeteksian objek lebih stabil pada gambar ataupun video. Tahap input dalam penelitian ini melibatkan memasukkan gambar atau video yang akan diuji untuk mendeteksi objek dalamnya.
Pada  tahap  hasil  deteksi,  gambar  atau  video  tersebut  telah  melalui  proses  pendeteksian  objek menggunakan  metode  YOLOv5.  Dalam  hasil  akhir  gambar  atau  video  tersebut,  tingkat  kematangan  objek telah  terdeteksi  dan  disertai  dengan  nilai  akurasi  yang  menggambarkan  sejauh  mana  hasil  deteksi  dapat diandalkan.

## 3. HASIL DAN PEMBAHASAN
Sistem  pendeteksian  tingkat  kematangan  tomat  dibangun  menggunakan  algoritma  YOLO.  Untuk mengembangkan  sistem  ini,  langkah  awal  melibatkan  pengumpulan  dataset  gambar,  yang  kemudian  dibagi menjadi train  set , validation  set ,  dan test  set .  Setelah  berhasil  mengumpulkan  dataset  gambar,  dilakukan proses  labeling  dengan  tiga  kelas  yaitu  muda,  setengah  matang,  dan  matang.  Setelah  pelabelan  selesai, langkah  berikutnya  adalah  melakukan  proses  training  dataset  untuk  melatih  model  sehingga  mampu memprediksi dan mendeteksi objek dengan lebih baik.
Pembuatan  dataset  dilakukan  untuk  menyiapkan  data  yang  akan  digunakan  dalam  proses  pelatihan. Data yang digunakan dalam penelitian ini berupa gambar-gambar tomat yang telah diklasifikasikan menjadi tiga  kategori  berbeda,  yaitu  "muda",  "setengah  matang",  dan  "matang".  Proses  pengambilan  gambar  dan dokumentasi  dilakukan  secara  independen.  Total  jumlah  gambar  yang  berhasil  disiapkan  mencapai  1.166, yang terdiri dari 981 gambar untuk data pelatihan, 121 gambar untuk data validasi, dan 64 gambar untuk data pengujian.
Pada  tujuan  akhirnya,  pelatihan  data  ditujukan  untuk  menghasilkan  bobot  yang  kemudian  akan dimanfaatkan  dalam  pendeteksian  tingkat  kematangan  tomat.  Dalam  tahap  ini,  pelatihan  data  dilakukan melalui  penerapan  algoritma  YOLOv5  dengan  menggunakan  perangkat  Google  Colaboratory  sebagai lingkungan kerjanya.
Gambar 3. Kurva hubungan antara Precision dengan Recall
Gambar 4. Kurva hubungan antara Recall dengan Confidence
Semakin  tinggi  nilai recall yang  dihasilkan  dari  proses  pelatihan  dan  validasi  data,  semakin  tinggi pula akurasi sistem yang telah dibuat. Hasil visualisasi pada gambar 3 dan gambar 4 memberikan penjelasan lebih lanjut tentang kinerja sistem. Selain itu, selama proses pelatihan dan pengujian dalam tiap epoch -nya, sistem  mengalami  perkembangan  dan  peningkatan  kinerja,  yang  juga  dapat  dilihat  dari  perubahan  pada Gambar 5.
Gambar 5. Kurva hubungan antara Recall dengan Confidence
Secara  keseluruhan, penelitian  ini  mencapai  hasil  yang  memuaskan dalam  pendeteksian kematangan tomat,  dan  kinerja  sistem  terus  meningkat  melalui  proses  pelatihan  dan  pengujian.  Gambar-gambar  yang disediakan membantu mengilustrasikan peningkatan kinerja dan keakuratan sistem
Hasil harmonic  mean dari  nilai  precision  dan recall dapat  dilihat  pada  kurva  nilai  F1,  kurva  nilai F1 ini memberikan representasi tentang seberapa baik metode klasifikasi dan deteksi yang dibangun memiliki nilai precision dan recall yang baik. Nilai F1- score mencapai nilai puncak rata-rata sebesar 0.97 pada tingkat confidence sebesar  0.352  dengan  bahwa  nilai precision rata-rata  adalah  1.00  pada  tingkat confidence sebesar 0.499.

## Gambar 6. Confusion Metric
Dalam  penelitian  ini,  berhasil  dicapai  nilai  akurasi  sebesar  0,73  atau  setara  dengan  73%  dalam mendeteksi  tingkat  kematangan  buah  tomat.  Metode  YOLOv5  yang  digunakan  dalam  pendeteksian  ini berjalan  dengan  baik  dan  menghasilkan  nilai  akurasi  yang  memuaskan.  Selain  itu,  kurangnya  keakuratan pada  hasil  deteksi  dapat  dipengaruhi  oleh  kekurangan  variasi  dalam  dataset  yang  digunakan.  Hasil pendeteksian  tingkat  kematangan  tomat  serta  nilai  akurasi  untuk  setiap  klas  atau  klasifikasinya direpresentasikan dalam bentuk gambar yang dapat dilihat dalam Gambar 7.
Pada pengujian pendeteksian video, hasilnya juga menunjukkan nilai akurasi yang cukup tinggi, dan dalam video, pendeteksian tingkat kematangan dapat dilakukan dengan stabil. Berikut ini adalah Gambar  8 yang menunjukkan contoh pengujian deteksi video.
Gambar 8. Pengujian Deteksi Video Tomat

## 4. KESIMPULAN
Pendeteksi  objek  yang  juga  dikenal  sebagai object  detection ,  adalah  penerapan  teknologi  komputer untuk  mengidentifikasi  dan  mendeteksi  objek  khusus  dalam  citra  atau  video.  Penggunaan  metode  YOLO dalam  pendeteksi  objek  memberikan  keunggulan  dalam  kecepatan  dan  kinerja  yang  unggul,  karena  dapat dengan  cepat  dan  akurat  mengenali  informasi  tentang  objek  tersebut.  Hasil  penelitian  menunjukkan  bahwa akurasi  pendeteksian  tingkat  kematangan  tomat  pada  saat  pengujian  mencapai  tingkat  yang  memuaskan, yaitu sebesar 73%. Nilai akurasi ini dipengaruhi oleh berbagai faktor, termasuk kualitas dataset, pengambilan gambar  dari  berbagai  sudut,  kualitas  gambar,  dan  kualitas  video.  Penggunaan  dataset  yang  mencakup beragam  sudut  pengambilan  gambar  dapat  meningkatkan  nilai  akurasi  secara  signifikan.  Selain  itu, perhitungan  area  pada  gambar  juga  berperan  penting  dalam  menentukan  akurasi,  karena  saat  objek bertumpuk  atau  terpotong,  hal  ini  dapat  mempengaruhi  hasil  akurasi  yang  dihasilkan.  Oleh  karena  itu, disarankan  untuk  memperoleh  nilai  akurasi  dan  confidence  yang  lebih  tinggi,  penggunaan  video  dengan gambar  yang  jelas,  dataset  yang  berkualitas,  dan  mencakup  banyak  sudut  pandang  adalah  hal  yang dianjurkan. Dengan demikian, hasil pendeteksian kematangan tomat dapat ditingkatkan untuk mendapatkan performa yang optimal.

## REFERENSI
[1] W.  Wardana  and  W.  O.  Alzarliani,  “Faktor-Faktor  yang  Mempengaruhi  Minat  Petani  Menerapkan Teknologi  Pengolahan  Buah  Tomat  di  Desa  Wakuli  Kecamatan  Kapontori  Kabupaten  Buton,” Agrikan:  Jurnal  Agribisnis  Perikanan ,  vol.  12,  no.  1,  p.  145,  Jul.  2019,  doi: 10.29239/j.agrikan.12.1.145-151.
[2] J.  Redmon  and  A.  Farhadi,  “YOLOv3:  An  Incremental  Improvement,”  Apr.  2018,  [Online]. Available: http://arxiv.org/abs/1804.02767
[3] K.  Fani,  “ESTIMASI  BIOMASSA  TANAMAN  NANAS  BERDASARKAN  LEBAR  DAUN MENGGUNAKAN ALGORITMA MACHINE LEARNING,” 2023.
[4] N. Jannah, S. A. Wibowo, and T. S. Siadari, “Eksploitasi Fitur Untuk Peningkatan Kinerja Deteksi Objek Berbasis Pada Pesawat Tanpa Awak,” eProceedings of Engineering , vol. 9, no. 6, 2023.
[5] O.  E.  Karlina  and  D.  Indarti,  “Pengenalan  Objek  Makanan  Cepat  Saji  Pada  Video  Dan  Real  Time Webcam Menggunakan Metode You Look Only Once (Yolo),” Jurnal Ilmiah Informatika Komputer , vol. 24, no. 3, pp. 199–208, 2020.
[6] D. I. Mulyana  and M. A. Rofik, “Implementasi Deteksi Real Time  Klasifikasi Jenis Kendaraan  Di Indonesia Menggunakan Metode YOLOV5,” Jurnal Pendidikan Tambusai , vol. 6, no. 3, pp. 13971– 13982, 2022.
[7] L. Lusiana, A. Wibowo, and T. K. Dewi, “Implementasi Algoritma Deep Learning You Only Look Once (YOLOv5) Untuk Deteksi Buah Segar Dan Busuk,” Paspalum: Jurnal Ilmiah Pertanian , vol. 11, no. 1, pp. 123–130, 2023.
[8] S. Tan, G. Lu, Z. Jiang, and L. Huang, “Improved YOLOv5 network model and application in safety helmet  detection,”  in 2021  IEEE  International  Conference  on  Intelligence  and  Safety  for  Robotics (ISR) , IEEE, 2021, pp. 330–333.
[9] H. Lin, J. D. Deng, D. Albers, and F. W. Siebert, “Helmet use detection of tracked motorcycles using cnn-based multi-task learning,” IEEE Access , vol. 8, pp. 162073–162084, 2020.