## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 223~227 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085

## Perbandingan Algoritma Xception dan VGG16 Untuk Pengenalan Lebah Pollen-Bearing
1 Handrie Noprisson, 2 Ida Nurhaida, 3 Mariana Purba
1 Universitas Mercu Buana, Indonesia, 2 Universitas Pembangunan Jaya, 3 Universitas Sjakhyakriti
1 handrie.noprisson@mercubuana.ac.id , 2ida.nurhaida@upj.ac.id , 3 riagalihsojo@gmail.com
Article Info ABSTRAK Article history: Received, 2022-07-28 Revised, 2022-08-25 Accepted, 2022-11-09 Dengan adanya pengamatan yang terjadwal akan membantu pemelihara lebah dalam  mengetahui  penyakit  lebah,  kesehatan  sarang  lebah  dan  racun  yang mungkin  terbawa  oleh  lebah.  Jika  ini  dapat  dilakukan  dengan  bantuan komputer,  maka  ini  akan  mengurangi  waktu  dan  biaya  pemeliharaan  lebah. Selain  itu,  produksi  madu  dan  sarang  akan  akan  meningkat  baik  dari  sisi kualitas maupun kuantitas. Penelitian ini bertujuan membuat analisis performa kinerja  algoritma  Xception  dan  VGG16  untuk  pengenalan  lebah  pollen- bearing.  Pada  hasil  eksperimen  diatas  model  VGG16  dengan  fine_tuning memperoleh  nilai  akurasi  testing  terbaik  yaitu  83.33%.  Begitu  juga  dengan nilai  Cohens  kappa,  F1_score,  ROC  AUC,  Precision,  dan  Recall  terbaik diperoleh model VGG16 dengan fine_tuning. Untuk model Xception terbaik diperoleh  dengan  tanpa  fine  tuning  yaitu  sebesar  72.22%.  pada  hasil eksperimen  ini  diperoleh  kesimpulan  pre-trained  model  VGG16  dengan fine_tuning  lebih  cocok  digunakan  pada  dataset  bee-pollen  dibandingkan dengan model Xception baik dengan fine-tuning ataupun tanpa fine-tuning .
Kata Kunci:
Xception VGG16
Lebah Pollen-Bearing

## ABSTRACT
Keywords: Xception VGG16 Pollen-Bearing Bee Having scheduled observations will help beekeepers know about bee diseases, bee hive health and poisons that may be carried by bees. If this can be done with the help of a computer, it will reduce the time and cost of beekeeping. In addition, honey and nest production will increase both in terms of quality and quantity.  This  study  aims  to  analyze  the  performance  of  the  Xception  and VGG16  algorithms  for  the  recognition  of  pollen-bearing  bees.  In  the experimental results above, the VGG16 model with fine_tuning obtained the best testing accuracy value of 83.33%. Likewise, with the best Cohens kappa, F1_score,  ROC  AUC, Precision,  and  Recall  values  obtained  by  the  VGG16 model  with  fine_tuning.  For  the  Xception  model,  the  best  obtained  without fine tuning is 72.22%. From the experimental results, it is concluded that the pre-trained  VGG16  model  with  fine-tuning  is  more  suitable  for  use  in  the bee_pollen dataset compared to the Xception model, either with fine-tuning or without fine-tuning.
This is an open access article under the CC BY-SA license.
Penulis Korespondensi:
Handrie Noprisson Fakultas Ilmu Komputer Universitas Mercu Buana, Indonesia Email: handrie.noprisson@mercubuana.ac.id

## 1. PENDAHULUAN
Lebah merupakan salah satu hewan yang memiliki peran penting untuk mendukung bidang ketahanan pangan. Lebah berperan dalam penyerbukan tanaman dan mengahasilkan madu yang sangat bermanfaat bagi manusia  [1].  Selain  itu,  peternakan  lebah  untuk  menghasilkan  madu  saat  ini  cukup  menjajikan  karena berdasarkan  penelitian  madu  memiliki  berbagai  macam  kandungan  yang  dapat  mendukup  pemeliharan kesehatan manusia [2]–[7].
Cara hidup lebah memiliki susunan dan peran yang berbeda-beda sesuai dengan lingkungan sekitarnya. Untuk mengetahui tingkah laku lebah perlu adanya pengamatan yang cukup detail dan seksama. Pengataman

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 223~227 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
ini  biasanya  dilakukan  secara  manual  dengan  bantuan  manusia  secara  langsung.  Pengawasan  ini  dilakukan biasanya pada lokasi pemeliharaan lebah untuk mendukung produksi madu yang berkualitas dari lebah yang ada  [1], [8]–[10].
Dengan  adanya  pengamatan  yang  terjadwal  akan  membantu  pemelihara  lebah  dalam  mengetahui penyakit lebah, kesehatan sarang lebah dan racun yang mungkin terbawa oleh lebah. Jika ini dapat dilakukan dengan  bantuan  komputer,  maka  ini  akan  mengurangi  waktu  dan  biaya  yang  diperlukan  untuk  monitoring. Selain itu, produksi madu dan sarang akan akan meningkat baik dari sisi kualitas maupun [1], [11], [20], [21], [12]–[19].
Penelitian  oleh  membahas  mengenai  klasifikasi pollen-bearing  bee menggunakan  arsitektur deep learning . Sledevič (2018) menggunakan metode CNN dengan bantuan software MATLAB dalam melakukan pemrosesan data. Penelitian ini menggunakan dataset gambar dengan resolusi 1920x1024 pixel dengan jumlah 2000  data.  Studi  ini  berhasil  mendapatkan  akurasi  94%  dalam  mengklasifikasi pollen  bearing  bee dan non pollen bearing bee [22].
Stojnić  et  al.  (2018)  melakukan  penelitian  tentang  segmentasi  dan  klasifikasi  citra  lebah.  Studi  ini menggunakan  metode  Support  Vector  Machine  (SVM)  yang  didukung  dengan  implementasi  dari  VLAD- encoded (Vector of Locally Aggregated Descriptors) SIFT (Scale Invariant Feature Transform) descriptors. Untuk proses segmentasi, penelitian ini menggunakan dataset gambar dengan 1280x720 pixels dengan jumlah 74 gambar. Untuk proses klasifikasi, studi ini menggunakan dataset gambar dengan resolution 86x86 pixels berjumlah 1000 gambar. Penelitian ini mendapatkan hasil berupa nilai Intersection over Union (IoU) sebesar 0.7971 (segmentation) dan nilai Area Under a Curve (AUC) sebesar 0.9150 (classification) [23].
Berkaya et al. (2021) melakukan penelitian untuk mengklasifikasi citra honey bees menggunakan deep learning-based  architecture .  Penelitian  ini  menggunakan  metode support  vector  machine dan  metode  deep neural  networks  (DNNs).  Dataset  yang  digunakan  dalam  eksperimen  terdiri  dari  19,393  images.  Dari  hasil pemrosesan data, penelitian ini mendapatkan akurasi sebesar 99.07% [24].

## 2. METODE PENELITIAN
Penelitian  ini  menggunakan  beberapa  tahapan  metodologi.  Tahapannya  antara  lain  data  preparation, feature extraction, training, comparing dan evaluating model seperti yang terlihat pada Gambar berikut.

## Gambar 1 Metodologi Riset
Tahap  pertama  yang  dilakukan  adalah  membagi  dataset  ke  dalam  data  Training,  data  Validation  dan  data Testing. Kemudian melakukan augmentasi pada dataset menggunakan ImageGenerators. Tahapan selanjutnya yaitu  kami  akan  melatih  layer  yang  telah  dideskripsikan  sebelumnya.  Pada  tahap  pelatihan  ini  kami menggunakan dua algoritma yaitu algoritma Xception dan VGG16 untuk pengenalan lebah pollen-bearing .

## 3. HASIL DAN ANALISIS
Dengan  adanya  pengamatan  yang  terjadwal  akan  membantu  pemelihara  lebah  dalam  mengetahui penyakit lebah, kesehatan sarang lebah dan racun yang mungkin terbawa oleh lebah. Jika ini dapat dilakukan dengan bantuan komputer, maka ini akan mengurangi waktu dan biaya pemeliharaan lebah. Selain itu, produksi madu  dan  sarang  akan  akan  meningkat  baik  dari  sisi  kualitas  maupun  kuantitas.  Penelitian  ini  bertujuan membuat analisis performa kinerja algoritma Xception dan VGG16 untuk pengenalan lebah pollen-bearing.
Dataset yang digunakan merupakan dataset public diperoleh dari Kaggle.com. Dataset berisi gambar lebah  madu yang  membawa  serbuk  sari  ( pollen  bearing )  dan  lebah  madu yang  tidak  membawa  serbuk  sari ( non-pollen  bearing ).  Awalan  nama  gambar  menentukan  kelasnya:  mis.  NP1268-15r.jpg  untuk  lebah  yang tidak memiliki serbuk sari dan P7797-103r.jpg untuk lebah yang memiliki serbuk sari. Pada dataset terdapat 369 gambar lebah yang membawa serbuk sari, dan 345 gambar lebah yang tidak membawa serbuk sari.
Data Preparation Feature Extraction Training  dan Testing Comparing and Evaluation Models

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 223~227 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
Gambar 2 Contoh dataset pollen bearing (kiri) dan non-pollen bearing (kanan)
Pada tahap pra-proses data yang dilakukan  untuk pengenalan lebah pollen-bearing dilakukan dengan memisahkan  dataset  menjadi  data  training,  validation,  dan  data  testing,  melakukan  augmentasi  citra  pada dataset  menggunakan  ImageGenerators.  Pada  data  Training  yang  dilakukan  adalah:  rotation,  brightness, width_shift, height_shift, horizontal_flip, vertical_flip dan melakukan rescaling factor dengan mengalikan tiap piksel dengan 1./255 pada semua data Training, Validation dan Testing.
Pada  tahap  selanjutnya,  penelitian  membandingkan  2  model  pre-trained  layers  untuk  training,  dan validating data yaitu Xception dan VGG16 untuk pengenalan lebah pollen-bearing. Selain itu, pada tahap ini kami  membandingkan  kedua  pre-trained  model  (Xception  dan  VGG16)  dengan  fine  tuning  dan  tanpa  fine tuning, untuk diperoleh model terbaik pada data training dan validating untuk pengenalan lebah pollen-bearing.
Setelah diperoleh model terbaik pada tahap sebelumnya, selanjutnya adalah memprediksi data testing dengan  model  yang  dihasilkan  untuk  pengenalan  lebah  pollen-bearing  pada  tahap  sebelumnya.  Selanjutnya adalah menghitung evaluasi matrix untuk hasil dan prediksi data testing meliputi, Akurasi, Precision, Recall, F1-score, Cohens Kappa. Hasil evaluasi dari kinerja model yang diusulkan dapat dilihat pada Tabel berikut ini.
Tabel 1 Hasil Eksperimen Model Akurasi Validasi Akurasi Testing Cohens kappa F1_score  ROC AUC Precision  Recall VGG16 0.5391 0.500000 0.000000 0.333333 0.500000 0.2500 0.5000 VGG16 fine_tuning 0.7031 0.833333 0.666667 0.832817 0.925926 0.8375 0.8333 Xception 0.8750 0.722222 0.444444 0.721362 0.839506 0.7250 0.7222 Xception fine_tuning 0.85938 0.555556 0.111111 0.446154 0.446154 0.7647 0.5556
Pada  hasil  eksperimen  diatas  model  VGG16  dengan  fine_tuning  memperoleh  nilai  akurasi  testing terbaik  yaitu 83.33%.  Begitu juga  dengan nilai  Cohens  kappa,  F1_score,  ROC  AUC,  Precision,  dan  Recall terbaik diperoleh model VGG16 dengan fine_tuning. Untuk model Xception terbaik diperoleh dengan tanpa fine-tuning yaitu sebesar 72.22%. pada hasil eksperimen ini diperoleh kesimpulan pre-trained model VGG16 dengan fine-tuning lebih cocok digunakan pada dataset bee-pollen dibandingkan dengan model Xception baik dengan fine-tuning ataupun tanpa fine-tuning .

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 223~227 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
Gambar diatas adalah hasil prediksi data testing menggunakan model VGG16 dengan fine tuning. Pada hasil prediksi diperlihatkan dari 18 images sebanyak 3 images yang terprediksi salah, yaitu 1 image dari kelas Non-Pollen, dan 2 images dari kelas Pollen.

## Gambar 4 Hasil Confusin Matrix VGG16
Gambar diatas adalah confusion matrix hasil prediksi data testing menggunakan model VGG16 dengan fine tuning. Pada confusion matrix diperlihatkan dari 18 images sebanyak 3 images yang terprediksi salah, yaitu 1 image dari kelas Non-Pollen, dan 2 images dari kelas Pollen.

## 4. KESIMPULAN
Dengan  adanya  pengamatan  yang  terjadwal  akan  membantu  pemelihara  lebah  dalam  mengetahui  penyakit lebah, kesehatan sarang lebah dan racun yang mungkin terbawa oleh lebah.  Jika ini dapat dilakukan dengan bantuan komputer, maka ini akan mengurangi waktu dan biaya pemeliharaan lebah. Selain itu, produksi madu dan sarang akan akan meningkat baik dari sisi kualitas maupun kuantitas. Penelitian ini bertujuan membuat analisis performa kinerja algoritma Xception dan VGG16 untuk pengenalan lebah pollen-bearing. Pada hasil eksperimen diatas model VGG16 dengan fine-tuning memperoleh nilai akurasi testing terbaik yaitu 83.33%. Begitu juga dengan nilai Cohens kappa, F1_score, ROC AUC, Precision, dan Recall terbaik diperoleh model VGG16 dengan fine_tuning. Untuk model Xception terbaik diperoleh dengan tanpa fine-tuning yaitu sebesar 72.22%. pada hasil eksperimen ini diperoleh kesimpulan pre-trained model VGG16 dengan fine_tuning lebih cocok  digunakan  pada  dataset  bee_pollen  dibandingkan  dengan  model  Xception  baik  dengan fine-tuning ataupun tanpa fine-tuning .

## UCAPAN TERIMA KASIH
Terima  kasih  kepada  Biro  Penelitian,  Pengabdian  Masyarakat  &  Publikasi,  Universitas  Mercu  Buana  yang telah mendanai penelitian ini melalui skema Penelitian Internal Dosen Muda.

## REFERENSI
[1] I. F. Rodriguez, R. Megret, E. Acuna, J. L. Agosto-Rivera, and T. Giray, “Recognition of pollen-bearing bees from video using convolutional neural network,” in 2018 IEEE Winter Conference on Applications of Computer Vision (WACV) , 2018, pp. 314–322.
[2] T.  Dudar,  “Development  of  beekeeping  in  Ukraine;  successes  achieved,  the  need  for  marketing cooperation in the industry, the strategy of the honey business,” Her. Ternopil Natl. Econ. Univ. , no. 2 (96), pp. 36–49, 2020.
[3] B. Denisow and M. Denisow‐Pietrzyk, “Biological and therapeutic properties of bee pollen: a review,” J. Sci. Food Agric. , vol. 96, no. 13, pp. 4303–4309, 2016.
[4] M.  G.  R.  Campos,  C.  Frigerio,  J.  Lopes,  and  S.  Bogdanov,  “What  is  the  future  of  Bee-Pollen,” J. ApiProduct ApiMedical Sci. , vol. 2, no. 4, pp. 131–144, 2010.

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 223~227 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
[5] M. Thakur and V. Nanda, “Composition and functionality of bee pollen: A review,” Trends Food Sci. Technol. , vol. 98, pp. 82–106, 2020.
[6] R. Gallardo-Caballero, C. J. García-Orellana, A. García-Manso, H. M. González-Velasco, R. Tormo- Molina, and M. Macías-Macías, “Precise pollen grain detection in bright field microscopy using deep learning techniques,” Sensors , vol. 19, no. 16, p. 3583, 2019.
[7] F. C. Monteiro, C. M. Pinto, and J. Rufino, “Towards Precise Recognition of Pollen Bearing Bees by Convolutional Neural Networks,” in Iberoamerican Congress on Pattern Recognition , 2021, pp. 217– 226.
[8] T. N. Ngo, D. J. A. Rustia, E.-C. Yang, and T.-T. Lin, “Automated monitoring and analyses of honey bee pollen foraging behavior using a deep learning-based imaging system,” Comput. Electron. Agric. , vol. 187, p. 106239, 2021.
[9] A. Rebiai et al. , “Clustering and Discernment of bee pollen using an image analysis system,” Alger. J. Chem. Eng. AJCE , vol. 1, no. 2, pp. 41–48, 2021.
[10] E. Kubera, A. Kubik-Komar, K. Piotrowska-Weryszko, and M. Skrzypiec, “Deep learning methods for improving pollen monitoring,” Sensors , vol. 21, no. 10, p. 3526, 2021.
[11] T. S. Alves et al. , “Automatic detection and classification of honey bee comb cells using deep learning,” Comput. Electron. Agric. , vol. 170, p. 105244, 2020.
[12] V. Ayumi and H. Noprisson, “Rancang Bangun Aplikasi Monitoring Pemberian Obat Bagi Pasien,” J. Sci. Appl. Informatics , vol. 1, no. 1, pp. 8–12, 2018.
[13] I.  H.  Ikasari,  V.  Ayumi,  M.  I.  Fanany,  and  S.  Mulyono,  “Multiple  regularizations  deep  learning  for paddy  growth  stages  classification  from  LANDSAT-8,”  in International  Conference  on  Advanced Computer Science and Information Systems (ICACSIS) , 2016, pp. 512–517.
[14] V. Ayumi, L. M. R. Rere, M. I. Fanany, and A. M. Arymurthy, “Random Adjustment - Based Chaotic Metaheuristic Algorithms for Image Contrast Enhancement,” J. Ilmu Komput. dan Inf. , vol. 10, no. 2, pp. 67–76, 2017.
[15] S.  Dwiasnati  and  Y.  Devianto,  “Utilization  of  Prediction  Data  for  Prospective  Decision  Customers Insurance  Using  the  Classification  Method  of  C.  45  and  Naive  Bayes  Algorithms,”  in Journal  of Physics: Conference Series , 2019, vol. 1179, no. 1, p. 12023.
[16] M. N. Ratnayake, A. G. Dyer, and A. Dorin, “Towards computer vision and deep learning facilitated pollination  monitoring  for  agriculture,”  in Proceedings  of  the  IEEE/CVF  Conference  on  Computer Vision and Pattern Recognition , 2021, pp. 2921–2930.
[17] C. Xiong, J. Li, Y. Pei, J. Kang, Y. Jia, and C. Ye, “An Automatic Pollen Grain Detector Using Deep Learning,” in International Conference on Frontier Computing , 2022, pp. 34–44.
[18] H. Noprisson, E. Ermatita, A. Abdiansah, V. Ayumi, M. Purba, and M. Utami, “Hand-Woven Fabric Motif Recognition Methods: A Systematic Literature Review,” in 2021 International Conference on Informatics, Multimedia, Cyber and Information System (ICIMCIS , 2021, pp. 90–95.
[19] H. Noprisson, E. Ermatita, A. Abdiansah, V. Ayumi, M. Purba, and H. Setiawan, “Fine-Tuning Transfer Learning Model in Woven Fabric Pattern Classification,” Int. J. Innov. Comput. Inf. Control , vol. 18, no. 06, p. 1885, 2022.
[20] V. Ayumi, “Application of Machine Learning for SARS-CoV-2 Outbreak,” Int. J. Sci. Res. Sci. Eng. Technol. , vol. 7, no. 5, pp. 241–248, Oct. 2021.
[21] V. Ayumi, E. Ermatita, A. Abdiansah, H. Noprisson, M. Purba, and M. Utami, “A Study on Medicinal Plant Leaf Recognition Using Artificial Intelligence,” in 2021 International Conference on Informatics, Multimedia, Cyber and Information System (ICIMCIS , 2021, pp. 40–45.
[22] T. Sledevič, “The application of convolutional neural network for pollen bearing bee classification,” in 2018 IEEE 6th Workshop on Advances in Information, Electronic and Electrical Engineering (AIEEE) , 2018, pp. 1–4.
[23] V. Stojnić, V. Risojević, and R. Pilipović, “Detection of pollen bearing honey bees in hive entrance images,” in 2018 17th International Symposium INFOTEH-JAHORINA (INFOTEH) , 2018, pp. 1–4.
[24] S.  K.  Berkaya,  E.  S.  Gunal,  and  S.  Gunal,  “Deep  learning-based  classification  models  for  beehive monitoring,” Ecol. Inform. , p. 101353, 2021.