## Deteksi Jenis Tanaman Buah Tropis Indonesia Menggunakan Metode Transfer Learning
Handrie Noprisson
Fakultas Teknik dan Informatika, Universitas Dian Nusantara, Indonesia
handrie.noprisson@dosen.undira.ac.id Article Info ABSTRAK Article history: Received, 2024-05-31 Revised, 2024-06-15 Accepted, 2024-06-29 Penelitian yang diusulkan ini bertujuan untuk menentukan performa kinerja algoritma  terbaik  diantara  VGG16,  ResNet  dan  MobileNet  dalam  proses klasifikasi  citra  spesies  tanaman  buah.  Berdasarkan  hasil  eksperimen penelitian, hasil klasifikasi citra tanaman buah terbaik yaitu hasil implementasi menggunakan ResNet. Akurasi ResNet pada tahap pelatihan, tahap evaluasi dan  tahap  pengujian  masing-masing  sebesar  94.65%,  89.28%  dan  87.72%. Model VGG16 mendapatkankan akurasi paling terendah, dengan hasil pada tahap  pelatihan  sebesar  3.36%,  tahap  validasi  sebesar  3.36%  dan  tahap pengujian  sebesar  3.33%.  Rendahnya  akurasi  VGG16  dalam  klasifikasi spesies  datnaman  buah  dapat  dikaitkan  dengan  beberapa  faktor.  Salah  satu alasannya  adalah  penggunaan  algoritma  yang  lemah  dalam  beberapa  kasus, yang membatasi kemampuan model untuk secara akurat mengklasifikasikan buah. Selain itu, pelatihan pada sejumlah kecil dataset juga dapat berkontribusi pada akurasi yang lebih rendah, karena model mungkin tidak mempelajari pola dan variasi yang cukup beragam dalam penampilan buah.
Kata Kunci: buah, VGG16, ResNet, MobileNet ABSTRACT Keywords: fruit, VGG16,
ResNet, MobileNet This  proposed  research  aims  to  determine  the  best  algorithm  performance among VGG16, ResNet and MobileNet in the process of image classification of fruit plant species. Based on the results of research experiments, the best fruit plant image classification results are the results of implementation using ResNet. The accuracy of ResNet in the training stage, evaluation stage and testing  stage  was  94.65%,  89.28%  and  87.72%  respectively.  The  VGG16 model  obtained  the  lowest  accuracy,  with  results  at  the  training  stage  of 3.36%, the validation stage of 3.36% and the testing stage of 3.33%. The low accuracy of VGG16 in the classification of fruit species can be attributed to several factors. One reason is the use of weak algorithms in some cases, which limits the ability of models to accurately classify fruits. In addition, training on  a  small  number  of  datasets  can  also  contribute  to  lower  accuracy,  as models may not be able to achieve reliability.
This is an open access article under the CC BY-SA license.
Penulis Korespondensi:
Handrie Noprisson, Fakultas Teknik dan Informatika, Universitas Dian Nusantara, Indonesia Email: handrie.noprisson@dosen.undira.ac.id

## 1. PENDAHULUAN
Buah-buahan  merupakan  asupan  penting  dari  makanan  manusia.  Budidaya  dan  produksi  buah  telah menjadi bagian penting dari keseluruhan kegiatan pertanian. Dalam konteks agribisnis, masalah menarik terkait dengan  realisasi  deteksi  dan  klasifikasi  buah  yang  tepat  untuk  mendukung  proses  pemilahan  buah  secara otomatis  [1]–[6].  Beberapa  aplikasi  sistem  klasifikasi  dapat  mendukung  proses  pembelian  dengan mengidentifikasi jenis buah dengan nilai makanannya dan memberikan informasi dan saran terkait. Namun, masalah  menjadi  lebih  relevan  dalam  konteks  industri  dalam  melakukan  otomatisasi  kegiatan  seperti mencocokkan  varietas  kualitas  buah  dengan  informasi  lain,  misalnya,  rincian  gizi  dan  harga.  Selain mengurangi tenaga kerja, biaya, dan bias yang terlibat dalam kuantifikasi manual, pemilahan otomatis juga berfungsi dengan baik untuk klasifikasi multi-kriteria dari jenis buah yang dianalisis [7]–[11].
Dalam  beberapa  tahun  terakhir,  teknologi  terutama  kecerdasan  buatan  telah  menyelesaikan  banyaj permasalahan [12]–[21]. Untuk mendeteksi jenis tanaman buah tropis Indonesia menggunakan metode transfer learning.    Metode  transfer  learning  untuk  klasifikasi  tanaman  buah  telah  dieksplorasi  di  eksperimen  di penelitian  sebelumnya.  Penelitian  oleh  Khullar  (2022)  menggunakan  arsitektur  transfer  learning  untuk eksperimen  klasifikasi  klasifikasi  tanaman  buah.  Model  transfer  learning  yang  digunakan  adalah  model VGG16, InceptionV3, ResNet50, DenseNet, dan menemukan bahwa Inception memiliki akurasi terbaik [22]. Gulzar  (2023)  menggunakan  arsitektur  MobileNet  untuk  eksperimen  klasifikasi  klasifikasi  tanaman  buah. Arsitektur MobileNet mengungguli model lain seperti AlexNet, VGG16, InceptionV3, dan ResNet [2].
Berdasarkan studi pendahuluan, VGG16, ResNet dan MobileNet adalah model pembelajaran transfer yang paling perlu dieksplorasi lebih jauh untuk klasifikasi tanaman buah.  Oleh karena itu, pada penelitian ini menggunakan VGG16, ResNet dan MobileNet melakukan klasifikasi dataset citra spesies tanaman buah. Hasil dari  VGG16,  ResNet  dan  MobileNet  dievaluasi  berdasarkan  hasil  kinerja  algoritma  terhadap  dataset  citra spesies tanaman buah. Penelitian yang diusulkan ini bertujuan untuk menentukan performa kinerja algoritma terbaik diantara VGG16, ResNet dan MobileNet dalam proses klasifikasi citra spesies tanaman buah.

## 2. METODE PENELITIAN
Dataset terdiri dari enam jenis buah yang biasa ditemukan di Indonesia: pisang, mangga, melon, jeruk, papaya dan semangka dan lainnya. Foto-foto tanggal ini diambil dengan smartphone dengan resolusi kamera ditetapkan pada 12 megapiksel (4032 × 3024) dan Google Images. Eksperimen penelitian akan menggunakan Python 3.0 pada sistem operasi Linux, dengan konfigurasi sistem menggunakan prosesor i7 dengan RAM 16 GB.  Setiap kelas buah berisi antara 200 dan 240 citra. Citra buah ini dibagi menjadi dua subset dengan rasio 3: 1 atau 75% total data citra yang digunakan untuk melatih model, dan subset lainnya berisi 25% total data citra dari dataset yang digunakan untuk menguji model. Model algoritma yang digunakan adalah model transfer learning, antara lain VGG16, MobileNet, ResNet. Adapun tahap penelitian dapat dilihat pada Gambar 1.
Pengumpulan Data Pembagian Data (Train, Validasi, Test) Klasifikasi Menggunakan MobileNet Klasifikasi Menggunakan ResNet Klasifikasi Menggunakan VGG16 Komparasi Kinerja ResNet, VGG16, MobileNet

## Gambar 1 Tahap Penelitian

## 3. HASIL DAN ANALISIS
Pada tahap pelatihan dan tahap validasi dianalisis menggunakan model akurasi dan model loss. Grafik pada model akurasi dan model loss untuk tahap pelatihan dan tahap validasi didapatkan setelah proses iterasi atau  epoch  yang  didefinisikan  yaitu  50  epoch  selesai  dijalankan.  Grafik  model  akurasi  dan  model  loss memimiki sumbu X yang menunjukkan jumlah epoch pada tahap pelatihan atau tahap validasi sedangkan n sumbu Y merupakan nilai akurasi atau loss dengan nilai antara 0 sampai 1. Hasil grafik model akurasi dan model loss untuk model MobileNet dapat dilihat pada Gambar 2.

## Gambar 2 Grafik Akurasi dan Loss MobileNet
Selanjutnya untuk mengevaluasi model MobileNet, hasil untuk tahap pengujian dianalisis melalui nilai confusion matrix. Model ini digunakan untuk mengukur kinerja metode MobileNet dalam mengetahui seberapa banyak prediksi dengan benar dan salah dari total keseluruhan data citra tanaman buah yang ada pada dataset pengujian. Hasil confusion matriks untuk metode MobileNet dapat dilihat pada Gambar 3.

## Gambar 3 Confusion Matrix MobileNet
Selain  model  confusion  matrix  untuk  mengevaluasi  keberhasilan  model  MobileNet,  perhitungan precision, recall, dan f1-score untuk setiap kelas spesies tanaman buah juga dianalisis. Berdasarkan nilai TP, TN,  FP,  dan  FN  yang  ada  confusion  matrix  untuk  masing-masing  kelas  tanaman  buah,  dihitung  precision, recall, dan f1-score dengan menggunakan rumus masing-masing. Hasil dari perhitungan precision, recall, dan f1-score untuk semua kelas spesies tanaman buah dapat dilihat pada Tabel 1.
Tabel 1 Precision, Recall, F1-Score dari ResNet
Pada tahap pelatihan dan tahap validasi dianalisis menggunakan model akurasi dan model loss. Grafik pada model akurasi dan model loss untuk tahap pelatihan dan tahap validasi didapatkan setelah proses iterasi atau epoch yang didefinisikan yaitu 50 epoch selesai dijalankan. Grafik model akurasi dan model loss memimiki sumbu X yang menunjukkan jumlah epoch pada tahap pelatihan atau tahap validasi sedangkan n sumbu Y merupakan nilai akurasi atau loss dengan nilai antara 0 sampai 1. Hasil grafik model akurasi dan model loss untuk model ResNet dapat dilihat pada Gambar 4.

## Gambar 4 Grafik Akurasi dan Loss ResNet
Selanjutnya  untuk  mengevaluasi  model  ResNet,  hasil  untuk  tahap  pengujian  dianalisis  melalui  nilai confusion matrix. Model ini digunakan untuk mengukur kinerja metode ResNet dalam mengetahui seberapa banyak prediksi dengan benar dan salah dari total keseluruhan data citra tanaman buah yang ada pada dataset pengujian. Hasil confusion matriks untuk metode ResNet dapat dilihat pada Gambar 5.

## Gambar 5 Confusion Matrix ResNet
Selain model confusion matrix untuk mengevaluasi keberhasilan model ResNet, perhitungan precision, recall, dan f1-score untuk setiap kelas spesies tanaman buah juga dianalisis. Berdasarkan nilai TP, TN, FP, dan FN yang ada confusion matrix untuk masing-masing kelas tanaman buah, dihitung precision, recall, dan f1- score dengan menggunakan rumus masing-masing. Hasil dari perhitungan precision, recall, dan f1-score untuk semua kelas spesies tanaman buah dapat dilihat pada Tabel 2

## Tabel 2 Precision, Recall, F1-Score dari MobileNet
Pada tahap pelatihan dan tahap validasi dianalisis menggunakan model akurasi dan model loss. Grafik pada model akurasi dan model loss untuk tahap pelatihan dan tahap validasi didapatkan setelah proses iterasi atau  epoch  yang  didefinisikan  yaitu  50  epoch  selesai  dijalankan.  Grafik  model  akurasi  dan  model  loss memimiki sumbu X yang menunjukkan jumlah epoch pada tahap pelatihan atau tahap validasi sedangkan n sumbu Y merupakan nilai akurasi atau loss dengan nilai antara 0 sampai 1. Hasil grafik model akurasi dan model loss untuk model VGG16 dapat dilihat pada Gambar 6.
Selanjutnya untuk mengevaluasi model MobileNet, hasil untuk tahap pengujian dianalisis melalui nilai confusion matrix. Model ini digunakan untuk mengukur kinerja metode VGG16 dalam mengetahui seberapa banyak prediksi dengan benar dan salah dari total keseluruhan data citra tanaman buah yang ada pada dataset pengujian. Hasil confusion matriks untuk metode VGG16 dapat dilihat pada Gambar 7.

## Gambar 7 Confusion Matrix VGG16
Selain model confusion matrix untuk mengevaluasi keberhasilan model VGG16, perhitungan precision, recall, dan f1-score untuk setiap kelas spesies tanaman buah juga dianalisis. Berdasarkan nilai TP, TN, FP, dan FN yang ada confusion matrix untuk masing-masing kelas tanaman buah, dihitung precision, recall, dan f1- score dengan menggunakan rumus masing-masing. Hasil dari perhitungan precision, recall, dan f1-score untuk semua kelas spesies tanaman buah dapat dilihat pada Tabel 3.

## Tabel 3 Precision, Recall, F1-Score dari VGG16
Berdasarkan  hasil  eksperimen  penelitian,  hasil  klasifikasi  citra  tanaman  buah  terbaik  yaitu  hasil implementasi menggunakan ResNet. Akurasi ResNet pada tahap pelatihan, tahap evaluasi dan tahap pengujian masing-masing  sebesar  94.65%,  89.28%  dan  87.72%.  Model  VGG16  mendapatkankan  akurasi  paling terendah, dengan hasil pada tahap pelatihan sebesar 3.36%, tahap validasi sebesar 3.36% dan tahap pengujian sebesar 3.33%. Adapun hasil dari eksperimen dari peneltiian ini dapat dilihat pada Tabel 4.
Tabel 4 Perbandingan Model Transfer Learning Model Train Acc Val Acc Test Acc 1. MobileNet 94.34% 89.28% 88.18% 2. ResNet 94.65% 89.28% 87.72% 3. VGG16 3.36% 3.36% 3.33%

## 4. KESIMPULAN
Berdasarkan hasil eksperimen penelitian, hasil klasifikasi citra tanaman buah terbaik yaitu hasil implementasi menggunakan  ResNet.  Akurasi  ResNet  pada  tahap  pelatihan,  tahap  evaluasi  dan  tahap  pengujian  masing- masing sebesar 94.65%, 89.28% dan 87.72%. Model VGG16 mendapatkankan akurasi paling terendah, dengan hasil pada tahap pelatihan sebesar 3.36%, tahap validasi sebesar 3.36% dan tahap pengujian sebesar 3.33%. Rendahnya akurasi VGG16 dalam klasifikasi spesies datnaman buah dapat dikaitkan dengan beberapa faktor. Salah  satu  alasannya  adalah  penggunaan  algoritma  yang  lemah  dalam  beberapa  kasus,  yang  membatasi kemampuan  model  untuk  secara  akurat  mengklasifikasikan  buah.  Selain  itu,  pelatihan  pada  sejumlah  kecil dataset juga dapat berkontribusi pada akurasi yang lebih rendah, karena model mungkin tidak mempelajari pola
dan variasi yang cukup beragam dalam penampilan buah. Faktor lain adalah adanya kesamaan visual antara jenis  buah  yang  berbeda  dan  variasi  dalam  spesies  buah  yang  sama,  sehingga  sulit  bagi  model  untuk membedakan antara mereka secara akurat. Selain itu, masalah overfitting juga dapat memengaruhi akurasi, karena model mungkin menjadi terlalu khusus untuk data pelatihan dan berjuang untuk menggeneralisasi ke sampel buah baru yang tidak terlihat [23], [24].

## UCAPAN TERIMA KASIH
Terima  kasih  kepada  Universitas  Dian  Nusantara  yang  telah  mendanai  penelitian  ini  melalui  skema penelitian internal dengan No. Kontak: 11/78/H-SPK/II/2024.

## REFERENSI
[1] V. Ashok and D. S. Vinod, “A Novel Fusion of Deep Learning and Android Application for Real-Time Mango Fruits Disease Detection,” pp. 781–791, 2021.
[2] Y. Gulzar, “Fruit Image Classification Model Based on MobileNetV2 with Deep Transfer Learning Technique,” Sustainability , vol. 15, no. 3, p. 1906, 2023.
[3] T.  B.  Shahi,  C.  Sitaula,  A.  Neupane,  and  W.  Guo,  “Fruit  classification  using  attention-based MobileNetV2 for industrial applications,” PLoS One , vol. 17, no. 2, p. e0264586, 2022.
[4] D. Hussain, I. Hussain, M. Ismail, A. Alabrah, S. S. Ullah, and H. M. Alaghbari, “A simple and efficient deep learning-based framework for automatic fruit recognition,” Comput. Intell. Neurosci. , vol. 2022, 2022.
[5] S. D. Asri, D. Ramayanti, A. D. Putra, and Y. T. Utami, “Deteksi Roda Kendaraan Dengan Circle Hough Transform (CHT) dan Support Vector Machine (SVM),” J. Teknoinfo , vol. 16, no. 2, pp. 427–434, 2022.
[6] S. D. Asri, I. Jaya, A. Buono, and S. H. Wijaya, “Fish Detection in Seagrass Ecosystem using Masked- Otsu in HSV Color Space,” Int. J. Adv. Comput. Sci. Appl. , vol. 13, no. 12, 2022.
[7] C. C. Ukwuoma, Q. Zhiguang, M. B. Bin Heyat, L. Ali, Z. Almaspoor, and H. N. Monday, “Recent advancements in fruit detection and classification using deep learning techniques,” Math. Probl. Eng. , vol. 2022, pp. 1–29, 2022.
[8] G. Xue, S. Liu, and Y. Ma, “A hybrid deep learning-based fruit classification using attention model and convolution autoencoder,” Complex Intell. Syst. , pp. 1–11, 2020.
[9] K. Albarrak, Y. Gulzar, Y. Hamid, A. Mehmood, and A. B. Soomro, “A deep learning-based model for date fruit classification,” Sustainability , vol. 14, no. 10, p. 6339, 2022.
[10]  N. Saranya, K. Srinivasan, S. K. Pravin Kumar, V. Rukkumani, and R. Ramya, “Fruit classification using  traditional  machine  learning  and  deep  learning  approach,”  in Computational  Vision  and  Bio- Inspired Computing: ICCVBIC 2019 , 2020, pp. 79–89.
[11]  N. Mamat, M. F. Othman, R. Abdulghafor, A. A. Alwan, and Y. Gulzar, “Enhancing image annotation technique of fruit classification using a deep learning approach,” Sustainability , vol. 15, no. 2, p. 901, 2023.
[12]  U.  Rusmawan  and  I.  Mulya,  “Sistem  Informasi  Koperasi  Menggunakan  Metode  Rapid  Application Development (RAD),” J. Inf. Syst. Technol , vol. 1, no. 1, pp. 1–10, 2022.
[13]  G. Purnama and D. Ramayanti, “Aplikasi ChatBot Sistem Parental Control berbasis IoT,” Arcitech J. Comput. Sci. Artif. Intell. , vol. 1, no. 2, pp. 127–138, 2021.
[14]  D.  Ramayanti,  Y.  Jumaryadi,  D.  M.  Gufron,  and  D.  D.  Ramadha,  “Sistem  Keamanan  Perumahan Menggunakan Face Recognition,” TIN Terap. Inform. Nusant. , vol. 3, no. 12, pp. 486–496, 2023.
[15]  H. Noprisson, E. Ermatita, A. Abdiansah, V. Ayumi, M. Purba, and H. Setiawan, “Fine-Tuning Transfer Learning Model in Woven Fabric Pattern Classification,” Int. J. Innov. Comput. Inf. Control , vol. 18, no. 06, p. 1885, 2022.
[16]  V.  Ayumi,  “Performance  Evaluation  of  Support  Vector  Machine  Algorithm  for  Human  Gesture Recognition,” Int. J. Sci. Res. Sci. Eng. Technol. , vol. 7, no. 6, pp. 204–210, 2020.
[17]  A. Ratnasari, Y. Jumaryadi, and G. Gata, “Sistem Pakar Deteksi Penyakit Ginekologi Menggunakan Metode Forward Chaining,” Resolusi Rekayasa Tek. Inform. dan Inf. , vol. 3, no. 5, pp. 321–327, 2023.
[18]  B. Y. Geni, A. Supriyadi, H. Khotimah, and W. I. Yanti, “Rancang Bangun Company Profile Berbasis Web  Menggunakan  Metode  Waterfall  (Studi  Kasus:  APM  Frozen  Food),” J.  RESTIKOM  Ris.  Tek. Inform. dan Komput. , vol. 6, no. 1, pp. 75–85, 2024.
[19]  B. Yuliadi and A. Nugroho, “Integration between management capability and relationship capability to boost supply chain project performance,” Int. J. Supply Chain Manag , vol. 8, no. 2, pp. 241–252, 2019.
[20]  S. Hesti, “The effects of relational social capital and technological factors on knowledge sharing in an online community,” Int. J. Innov. Creat. Chang. , vol. 13, no. 4, 2020.
[21]  I. Kamil, M. Ariani, and I. A. Irawan, “The influence of lifestyle and financial literacy on online paylater
system and its impact on spending behavior,” J. Econ. Bus. Lett. , vol. 4, no. 2, pp. 51–62, 2024.
[22]  V. Khullar, R. Gaurang Tiwari, A. Kumar Agarwal, and A. Misra, “Investigating Efficacy of Transfer Learning for Fruit Classification,” in Machine Intelligence and Data Science Applications: Proceedings of MIDAS 2021 , Springer, 2022, pp. 419–426.
[23]  J. A. Campos-Leal, A. Yee-Rendón, and I. F. Vega-Lopez, “Simplifying VGG-16 for Plant Species Identification,” IEEE Lat. Am. Trans. , vol. 20, pp. 2330–2338, 2022.
[24]  J. Pardede, B. Sitohang, S. Akbar, and M. L. Khodra, “Implementation of Transfer Learning Using VGG16 on Fruit Ripeness Detection,” Int. J. Intell. Syst. Appl. , vol. 13, no. 2, pp. 52–61, 2021.