## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 176~181 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085

## Automated Fruit Classification Menggunakan Model VGG16 dan MobileNetV2
1 Umniy Salamah, 2 Anita Ratnasari, 3 Sarwati Rahayu 1,2,3 Universitas Mercu Buana, Indonesia
umniy.salamah@mercubuana.ac.id
Article Info ABSTRAK Article history: Received, 2022-07-28 Revised, 2022-11-09 Accepted, 2022-11-22
Pengembangan  robot  atau  mesin  untuk  membantu  kegiatan  pertanian memerlukan  riset  yang  panjang.  Teknologi  tersebut  harus  dapat  memiliki keahlian dalam melakukan berbagai macam aktivitas dan mampu mendeteksi objek yang menjadi sasaran pekerjaannya. Untuk memenuhi hal ini, riset untuk mendeteksi  objek pertanian,  misalnya  buah,  menjadi  salah  satu  agenda  riset yang perlu dilakukan dan dikembangkan. Tujuan penelitian ini adalah untuk mengetahui  hasil  perbandingan  performa  deep  learning  yaitu  VGG16  dan MobileNetV2  untuk  fruit  classification.  Penelitian  ini  menggunakan d ataset dengan jumlah total 90.483 data dengan ukuran gambar 100x100 piksel dan jumlah kelas tanaman buah yang akan diklasifikasi adalah sebanyak 131 kelas. Pada  proses  testing  menggunakan  dataset  yang  ada,  MobileNetV2 mendapatkan akurasi 98.4% dan ResNet50 mendapatkan akurasi 99,2%.
Kata Kunci:
Fruit,
Classification,
VGG16
MobileNetV2

## ABSTRACT
Keywords:
Fruit, Classification, VGG16 MobileNetV2 The  development  of  robots  or  machines  to  assist  agricultural  activities requires  a  long  research.  The  technology  must  be  able  to  have  expertise  in carrying out various activities and be able to detect objects that are the target of the work. To fulfill this, research to detect agricultural objects, such as fruit, is one of the research agendas that needs to be carried out and developed. The purpose of this study was to determine the results of the comparison of deep learning  performance,  namely  VGG16  and  MobileNetV2  for  fruit classification. This  study uses  a dataset  with a  total  of  90,483  data  with  an image size of 100x100 pixels and the number of classes of fruit plants to be classified  is  131  classes.  In  the  testing  process  using  the  existing  dataset, MobileNetV2 got 98.4% accuracy and ResNet50 got 99.2% accuracy.
This is an open access article under the CC BY-SA license.
Penulis Korespondensi:
Umniy Salamah Fakultas Ilmu Komputer Universitas Mercu Buana, Indonesia Email: umniy.salamah@mercubuana.ac.id

## 1. PENDAHULUAN
Teknologi pertanian saat ini sudah semakin berkembang untuk melibat robot dalam berbagai aktivitas pertanian. Di beberapa negara, tenaga kerja manusia untuk melakukan aktvitas pertanian membutuhkan biaya yang  sangat  tinggi.  Beberapa industri  pertanian bahkan  telah  mengurangi  penggunaan  keterlibatan  manusia dalam kegiatan pertanian dan menggantinya dengan mesin yang sudah ditanamkan beberapa keahlian di  [1], [2], [11]–[20], [3]–[10].
Pengembangan robot atau mesin untuk membantu kegiatan pertanian memerlukan riset yang panjang. Teknologi  tersebut  harus  dapat  memiliki  keahlian  dalam  melakukan  berbagai  macam  aktivitas  dan  mampu mendeteksi objek yang menjadi sasaran pekerjaannya. Untuk memenuhi hal ini, riset untuk mendeteksi objek pertanian, misalnya buah, menjadi salah satu agenda riset yang perlu dilakukan dan dikembangkan [1], [21]– [24].

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 176~181 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
Machine learning dan image processing adalah bidang yang cukup banyak dibahas untuk menambahkan kemampuan  robat  dalam  mengenali  sebuah  objek.  Banyak  metode  telah  ditemukan  dan  dikembangkan, misalnya mengenali objek untuk membantu proses panen atau menentukan stok hasil panen secara otomatis [1]. Penelitian ini akan membahas mengenai salah satu proses obyek recognition dalam bidang pertanian, yaitu buah [25]–[29].
Penelitian oleh Duong et al.  (2020) membahas mengenai fruit recognition menggunakan pendekatan deep learning. Model deep learning yang digunakan dalam eksperimen ini adalah EfficientNet and MixNet. Penelitian ini menggunakan dataset citra sebanyak 65.326 gambar (48.905 untuk proses training dan 16.421 untuk  proses  testing).  Dari  hasil  eksperimen,  studi  ini  mengklaim  bahwa  hasil  akurasi  yang  didapatkan mencapai 99.13%-99.98% [1].
Penelitian  oleh  Hou  et  al.  (2016)  mengembangkan  model  fruit  recognition  algorithm  berbasis  deep learning. Metode yang digunakan adalah metode convolution neural network (CNN) yang digabungkan dengan metode  selective  search.  Eksperimen  dilakukan  menggunakan  dataset  fruit  images  yang  terdiri  dari  5330 gambar  (4000  data  untuk  proses  training  dan  1330  data  untuk  proses  testing).  Riset  ini  berhasil  mendapat akurasi sebesar 99.77% untuk proses fruit image recognition [30].
Penelitian oleh Mia et al. (2019) menggunakan metode machine learning untuk local fruit recognition. Metode penelitian yang digunakan adalah metode support vector machines (SVMs). Dataset eksperimen terdiri dari enam kelas yaitu sugar-apple (ata), elephant apple (chalta), amla (amloki), bilombo, orboroi dan sapota (sopheda). Penelitian ini mendapatkan akurasi sebesar 94.79% [31].
Berdasarkan  latar  belakang  penelitian  diatas,  studi  ini  bertujuan  untuk  menggunakan  metode  deep learning yaitu VGG16 dan MobileNetV2untuk fruit classification. Penelitian ini menggunakan dataset dengan jumlah total 90.483 data dengan ukuran gambar 100x100 piksel dan jumlah kelas tanaman buah yang akan diklasifikasi adalah sebanyak 131 kelas.

## 2. METODE PENELITIAN
Dataset yang digunakan dalam penelitian ini dengan jumlah total 90.483 data dengan ukuran gambar 100x100 piksel. Data pelatihan terdiri dari 67692 data dan data pengujian berjumlah 22688 data. Jumlah kelas tanaman buah yang akan diklasifikasi adalah sebanyak 131 kelas. Contoh dataset dapat dilihat pada Gambar berikut ini.
Gambar 1 Contoh Dataset
Adapun tahapan penelitian adalah Data Preprocessing, Feature Engineering, Modelling dan Evaluation seperti yang ada pada Gambar berikut ini.
Data Preprocessing Feature Engineering Modelling Evaluation

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 176~181 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
Model  yang  akan  diuji  coba  pada  eksperimen  ini  adalah  dua  model  regresi  yaitu  VGG16  dan MobileNetV2. Dataset dibagi menjadi data training dan data testing. Pada tahap ini data akan dibagi menjadi 70% untuk training, 30% untuk testing untuk validasi. Tahap selanjutnya adalah pelatihan model. Pada tahap ini akan dilatih model dalam memetakan fitur dengan target pada data pelatihan. Selanjutnya pada tahap ini akan dilakukan testing pada model yang telah dihasilkan dengan data uji.

## 3. HASIL DAN ANALISIS
Dataset merupakan open public dataset terdiri dari total 22495, dengan training set sebanyak 16854, dan  testing  set  sebanyak  5641.  Dataset  terdiri  dari  33  kelas  yang  merupakan  jenis  buah-buahan  dan  sayur- sayuran.  Ukuran  images  masing-masing  adalah  100x100  piksel.  Kebanyakan  gambar  juga  diputar  ( rotate ), untuk membantu pelatihan.
Parameter  yang  digunakan  pada  penelitian  ini  adalah  Batch_size  =  32,  Input_shape  =  (224,  224,  3), epoch =50, optimizer = Adam, Learning_rate = 0.0001. Pada penelitian ini kami  membagi dataset Training kedalam  data  Training  dan  Validation  dengan  presentase  80%  data  training  dan  20%  data  testing  sehingga untuk  data  training  sebanyak  13493  dan  data  validation  sebanyak  3361.  Untuk  data  testing  kami  hanya mengambil 1416 data dari 5641 data testing yang ada.
Pada proses training, validating dan evaluation, MobileNetV2 diproses sebanyak 50 epoch. Pada epoch pertama, akurasi cukup rendah namun menigkat pada epoch terakhir. Pada model dengan MobileNetV2, epoch pertama meraih akurasi validasi 0.58363 dan mencapai akuarasi validasi 1.00 pada epoch ke-24 seperti yang terlihat ada Gambar berikut ini.
Gambar 3 Model Loss dan Akurasi MobileNetV2
Pada model dengan ResNet50, epoch pertama meraih akurasi validasi 0.05000 dan mencapai akurasi validasi 1.00 pada epoch ke-4. Pada proses training, validating dan evaluation, ResNet50diproses sebanyak 50 epoch. Pada epoch pertama, akurasi cukup rendah namun menigkat pada epoch terakhir.

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 176~181 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
Pada proses testing menggunakan dataset yang ada, MobileNetV2 mendapatkan akurasi 98.4% dan ResNet50 mendapatkan akurasi 99,2%. Untuk Cohens Kappa, MobileNetV2 mendapatkan nilai 0.983364 dan ResNet50 mendapatkan  nilai  0.991704.  Untuk  F1-Score,  MobileNetV2  mendapatkan  nilai  0.981249  dan  ResNet50 mendapatkan nilai 0.992667. Untuk Precision dan Recall, MobileNetV2 mendapatkan nilai 0.9874 dan 0.9840 sedangkan ResNet50 mendapatkan nilai 0.9960 dan 0.9920 seperti yang terlihatp ada Tabel berikut ini.
Tabel 1 Hasil Evaluasi Kinerja MobileNetV2 dan ResNet50 Model Testing Accuracy Cohens Kappa F1_score Precision Recall MobileNetV2  0.984000 0.983364 0.981249 0.9874 0.9840 ResNet50 0.992000 0.991704 0.992667 0.9960 0.9920
Pada saat testing, model dengan MobileNetV2 berhasil memprediksi secara benar 78 buah dari total 80 buah pada  data  testing.  Sebanyak  78  terprediksi  benar  dan  2  terprediksi  salah.  Pada  model  ini  masih  salah memprediksi jenis Corn yang terprediksi sebagai Cactus Fruit dan Onion White. Hasil prediksi dapat dilihat pada Gambar berikut ini.

## Gambar 5 Hasil Prediksi MobileNetV2

## 4. KESIMPULAN
Pengembangan  robot  atau  mesin  untuk  membantu  kegiatan  pertanian  memerlukan  riset  yang  panjang. Teknologi  tersebut  harus  dapat  memiliki  keahlian  dalam  melakukan  berbagai  macam  aktivitas  dan  mampu mendeteksi objek yang menjadi sasaran pekerjaannya. Untuk memenuhi hal ini, riset untuk mendeteksi objek pertanian, misalnya buah, menjadi salah satu agenda riset yang perlu dilakukan dan dikembangkan. Tujuan penelitian  ini  adalah  untuk  mengetahui  hasil  perbandingan  performa  deep  learning  yaitu  VGG16  dan MobileNetV2 untuk fruit classification. Penelitian ini menggunakan dataset dengan jumlah total 90.483 data dengan ukuran gambar 100x100 piksel dan jumlah kelas tanaman buah yang akan diklasifikasi adalah sebanyak 131 kelas. Pada proses testing menggunakan dataset yang ada, MobileNetV2 mendapatkan akurasi 98.4% dan ResNet50 mendapatkan akurasi 99,2%.

## UCAPAN TERIMA KASIH
Terima kasih kepada Pusat Penelitian (Biro Penelitian, Pengabdian Masyarakat & Publikasi UMB) yang telah mendanai penelitian ini dengan kontrak penelitian 02-5/892/B-SPK/III/2022

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 176~181 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085

## REFERENSI
[1] L.  T.  Duong,  P.  T.  Nguyen,  C.  Di  Sipio,  and  D.  Di  Ruscio,  “Automated  fruit  recognition  using EfficientNet and MixNet,” Comput. Electron. Agric. , vol. 171, p. 105326, 2020.
[2] C.  Lunner-Kolstrup,  T.  Hörndahl,  and  J.  P.  Karttunen,  “Farm  operators’  experiences  of  advanced technology and automation in Swedish agriculture: A pilot study,” J. Agromedicine , vol. 23, no. 3, pp. 215–226, 2018.
[3] A. Rani, A. Chaudhary, N. Sinha, M. Mohanty, and R. Chaudhary, “Drone: The green technology for future agriculture,” Har. Dhara , vol. 2, no. 1, pp. 3–6, 2019.
[4] F. Klauser, “Surveillance farm: Towards a research agenda on big data agriculture,” Surveill. Soc. , vol. 16, no. 3, pp. 370–378, 2018.
[5] M. S. Farooq, S. Riaz, A. Abid, T. Umer, and Y. Bin Zikria, “Role of IoT technology in agriculture: A systematic literature review,” Electronics , vol. 9, no. 2, p. 319, 2020.
[6] I. Ranggadara, Y. S. Sari, S. Dwiasnati, and I. Prihandi, “A Review of Implementation and Obstacles in Predictive Machine Learning Model at Educational Institutions,” in Journal of Physics: Conference Series , 2020, vol. 1477, p. 32019.
[7] Y. Devianto and S. Dwiasnati, “Application electronic marketing to help marketing leading products village,” GSC Adv. Eng. Technol. , vol. 1, no. 1, pp. 65–74, 2021.
[8] S.  Dwiasnati and Y. Devianto, “Utilization of Prediction Data for Prospective  Decision Customers Insurance  Using  the  Classification  Method  of  C.  45  and  Naive  Bayes  Algorithms,”  in Journal  of Physics: Conference Series , 2019, vol. 1179, no. 1, p. 12023.
[9] I. H. Ikasari, V. Ayumi, M. I. Fanany, and S. Mulyono, “Multiple regularizations deep learning for paddy  growth  stages  classification  from  LANDSAT-8,”  in International  Conference  on  Advanced Computer Science and Information Systems (ICACSIS) , 2016, pp. 512–517.
[10] P.  Sukmasetya,  F.  Nurhidayati,  I.  Permatasari,  A.  Rahmah,  D.  I.  Sensuse,  and  H.  Noprisson, “Developing  mobile  expert  web-based  system  using  brainstorming  method:  Case:  Tetanus  and botulism diagnosis and treatment in goat,” 2017  Int.  Conf.  Inf.  Technol. Syst.  Innov.  ICITSI  2017  - Proc. , vol. 2018-Janua, pp. 303–308, 2017.
[11] V. Ayumi and H. Noprisson, “Rancang Bangun Aplikasi Monitoring Pemberian Obat Bagi Pasien,” J. Sci. Appl. Informatics , vol. 1, no. 1, pp. 8–12, 2018.
[12] I.  Nurhaida et  al. ,  “Implementation  of  Deep  Learning  Predictor  (LSTM)  Algorithm  for  Human Mobility Prediction,” Int. J. Interact. Mob. Technol. , vol. 14, no. 18, p. 132, Nov. 2020.
[13] V. Ayumi, “Studi Pendahuluan: Pengembangan Aplikasi m-BCARE Untuk Pasien Penderita Kanker Payudara,” JUSIBI (Jurnal Sist. Inf. dan E-Bisnis) , vol. 3, no. 1, pp. 26–33, 2021.
[14] H. Noprisson, E. Ermatita, A. Abdiansah, V. Ayumi, M. Purba, and M. Utami, “Hand-Woven Fabric Motif Recognition Methods: A Systematic Literature Review,” in 2021 International Conference on Informatics, Multimedia, Cyber and Information System (ICIMCIS , 2021, pp. 90–95.
[15] H.  Noprisson et  al. , “Influencing factors of knowledge sharing among students in Indonesia higher educational institutions,” 2016 Int. Conf. Inf. Technol. Syst. Innov. ICITSI 2016 - Proc. , pp. 3–8, 2017.
[16] E. Hidayat, Lukman, H. Noprisson, D. I. Sensuse, Y. G. Sucahyo, and E. D. Putra, “Development of mobile application for documenting traditional knowledge in Indonesia: A Case Study of Traditional Knowledge in Using Medicinal Plant,” in Proceedings - 14th IEEE Student Conference on Research and Development: Advancing Technology for Humanity, SCOReD 2016 , 2017.
[17] A. A. Pratama, D. I. Sensuse, and H. Noprisson, “A systematic literature review of business process improvement,”  in Information  Technology  Systems  and  Innovation  (ICITSI),  2017  International Conference on , 2017, pp. 26–31.
[18] D. I. Sensuse, Y. G. Sucahyo, M. Silalahi, I. A. Wulandari, I. F. Akmaliah, and H. Noprisson, “Toward to operationalization of socio-technical ontology engineering methodology,” in 2017 5th International Conference on Cyber and IT Service Management (CITSM) , 2017, pp. 1–7.
[19] V. Ayumi, E. Ermatita, A. Abdiansah, H. Noprisson, M. Purba, and M. Utami, “A Study on Medicinal Plant  Leaf  Recognition  Using  Artificial  Intelligence,”  in 2021  International  Conference  on Informatics, Multimedia, Cyber and Information System (ICIMCIS , 2021, pp. 40–45.
[20] H.  Noprisson,  E.  Ermatita,  A.  Abdiansah,  V.  Ayumi,  M.  Purba,  and  H.  Setiawan,  “Fine-Tuning Transfer Learning Model in Woven Fabric Pattern Classification,” Int. J. Innov. Comput. Inf. Control , vol. 18, no. 06, p. 1885, 2022.
[21] J. P. Vasconez, G. A. Kantor, and F. A. A. Cheein, “Human–robot interaction in agriculture: A survey and current challenges,” Biosyst. Eng. , vol. 179, pp. 35–48, 2019.
[22] A. English, P. Ross, D. Ball, and P. Corke, “Vision based guidance for robot navigation in agriculture,” in 2014 IEEE International Conference on Robotics and Automation (ICRA) , 2014, pp. 1693–1698.
[23] N.  Noguchi  and  O.  C.  Barawid  Jr,  “Robot  farming  system  using  multiple  robot  tractors  in  Japan agriculture,” IFAC Proc. Vol. , vol. 44, no. 1, pp. 633–637, 2011.

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 176~181 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
[24] C. Zhang and N. Noguchi, “Development of a multi-robot tractor system for agriculture field work,” Comput. Electron. Agric. , vol. 142, pp. 79–90, 2017.
[25] H.  Mureşan  and  M.  Oltean,  “Fruit  recognition  from  images  using  deep  learning,” Acta  Univ. Sapientiae, Inform. , vol. 10, no. 1, pp. 26–42, 2017.
[26] S. T. Jagtap, K. Phasinam, T. Kassanuk, S. S. Jha, T. Ghosh, and C. M. Thakar, “Towards application of various machine learning techniques in agriculture,” Mater. Today Proc. , 2021.
[27] M. P. Raj, P. R. Swaminarayan, J. R. Saini, and D. K. Parmar, “Applications of pattern recognition algorithms in agriculture: a review,” Int. J. Adv. Netw. Appl. , vol. 6, no. 5, p. 2495, 2015.
[28] F. Pallottino et al. , “Machine vision retrofit system for mechanical weed control in precision agriculture applications,” Sustainability , vol. 10, no. 7, p. 2209, 2018.
[29] Q. Zhang, Y. Liu, C. Gong, Y. Chen, and H. Yu, “Applications of deep learning for dense  scenes analysis in agriculture: A review,” Sensors , vol. 20, no. 5, p. 1520, 2020.
[30] L. Hou, Q. Wu, Q. Sun, H. Yang, and P. Li, “Fruit recognition based on convolution neural network,” in 2016  12th  International  Conference  on  Natural  Computation,  Fuzzy  Systems  and  Knowledge Discovery (ICNC-FSKD) , 2016, pp. 18–22.
[31] M. R. Mia, M. J. Mia, A. Majumder, S. Supriya, and M. T. Habib, “Computer vision based local fruit recognition,” Int. J. Eng. Adv. Technol. , vol. 9, no. 1, pp. 2810–2820, 2019.