## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 182~187 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085

## Implementasi Model Arsitektur VGG16 dan MobileNetV2 Untuk Klasifikasi Citra Kupu-Kupu
Desi Ramayanti, Sri Dianing Asri, Lionie Lionie Fakultas Teknik dan Informatika, Universitas Dian Nusantara, Indonesia desi.ramayanti@undira.ac.id, sri.dianing.asri@undira.ac.id, lionie@undira.ac.id
Article Info ABSTRAK Article history: Received, 2022-01-25 Revised, 2022-06-07 Accepted, 2022-11-09 Untuk mengurangi populasi kupu-kupu, perlu adanya strategi untuk memantau jumlah dan spesies yang ada pada masing-masing ekosistem. Peran teknologi dapat membantu dalam proses ini, misalnya pengembangan sistem e-Butterfly untuk  mengumpulkan  gambar  spesies  kupu-kupu  dari  berbagai  wilayah sehingga  dapat  diketahui  jenis  spesies  yang  masih  ada  dan  letak  wilayah hidupnya.  Identifikasi  spesies  kupu-kupu  dapat  dilakukan  dan  dibantu  oleh komputer dengan serangkaian proses lebih spesifik pada cabang ilmu machine learning  dan  image  processing.  Tujuan  dari  penelitian  ini  adalah  untuk mengetahui  kinerja  (performance)  dari  model  model  arsitektur  VGG16  dan MobileNetV2  untuk  klasifikasi  citra  gambar  kupu-kupu  berdasarkan  hasil ekstraksi  fitur  pada  citra  gambar  tersebut.  Dataset  penelitian  berisi  4955 gambar yang kemudian diberi label 50 butterfly species dengan ukuran 224 X 224  X  3.  Akurasi  terbaik  diperoleh  MobileNetV2  tanpa  fine-tuning  yaitu mencapai  presentase  96%,  dilanjutkan  dengan  VGG16  dengan  fine-tuning, MobileNetV2 dengan fine-tuning, dan akurasi testing paling kecil diperoleh VGG16 tanpa fine-tuning. Untuk nilai precision, recall, F1-Score, dan Cohens Kappa lebih tinggi diperoleh model MobileNetV2 tanpa fine tuning, hal ini menunjukkan  bahwa  MobileNetV2  tanpa  fine  tuning  lebih  imbang  dalam akurasi tiap kelasnya.
Kata Kunci: e-butterfly deep learning VGG16 MobileNetV2 ABSTRACT Keywords:
e-butterfly deep learning
VGG16 MobileNetV2 To reduce the butterfly population, a strategy is needed to monitor the number and species present in each ecosystem. The role of technology can help in this process,  for  example,  the  development  of  the  e-Butterfly  system  to  collect images of butterfly species from various regions so that the species that still exist  and  where  they  live  can  be  identified.  The  identification  of  butterfly species can be carried out and assisted by computers with a series of processes more specific to the branch of machine learning and image processing. The purpose of this study was to determine the performance of the VGG16 and MobileNetV2 architectural models for the classification of butterfly images based on the results of feature extraction on these images. The research dataset contains 4955 images labeled 50 butterfly species with a size of 224 X 224 X 3. MobileNetV2 obtains the best accuracy without fine-tuning, which reaches 96%, followed by VGG16 with fine-tuning, MobileNetV2 with fine-tuning, and accuracy VGG16 obtained the most negligible testing without fine-tuning. For  the  higher  precision,  recall,  F1-Score,  and  Cohens  Kappa  values,  the MobileNetV2  model  without  fine-tuning  shows  that  MobileNetV2  without fine-tuning is more balanced in the accuracy of each class.
This is an open access article under the CC BY-SA license.
Penulis Korespondensi:
Desi Ramayanti, Program Studi Informatika, Universitas Dian Nusantara, Indonesia Email: desi.ramayanti@undira.ac.id

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 182~187 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085

## 1. PENDAHULUAN
Berdasarkan data penelitian, jumlah populasi serangga secara global khususnya spesied kupu-kupu menurun dari tahun ke tahun. Banyak faktor yang menyebabkan hal ini terjadi, antara lain perubahan iklim, dampak negative  pestisida  dan  lainnya  telah  mengganggu  ekosistem  dan  habitat  kupu-kupu.  Faktor  yang  paling berpengaruh  terhadap  punahnya  spesies  kupu-kupu  adalah  perubahan  iklim  global.  Jika  ini  terus  dibiarkan maka beberapa spesies akan berkurang dan terancam punah [1]–[3].
Perubahan  iklim  secara  tidak  langsung  mempengaruhi  tumbuh  kembang  telur  kupu-kupu  sehingga menetas lebih cepat dan tidak berkembang dengan baik. Hal ini akan menyebabkan populasi kupu-kupu terus menurun  dan  menyebabkan  ekosistem  lain  terganggu.  Kupu-kupu  memiliki  peran  cukup  penting  dalam ekosistem  Misalnya,  kupu-kupu  merupakan  hewan  yang  mebantu  dalam  proses  penyerbukan  bunga  pada tanaman. Selain itu, kupu-kupu juha merupakan makanan bagi hewan lain yang perlu hidup dan berkembang pada suatu ekosistem [1].
Untuk mengurangi dampak pengurangan populasi kupu-kupu, perlu adanya strategi untuk memantau jumlah dan spesies yang ada pada masing-masing ekosistem. Peran teknologi dapat membantu dalam proses ini, misalnya pengembangan sistem e-Butterfly untuk mengumpulkan gambar spesies kupu-kupu dari berbagai wilayah sehingga dapat diketahui jenis spesies yang masih ada dan letak wilayah hidupnya. Identifikasi spesies kupu-kupu dapat dilakukan dan dibantu oleh komputer dengan serangkaian proses lebih spesifik pada cabang ilmu machine learning dan image processing [1], [4]–[7]. Beberapa penelitian mengenai machine learning dan image processing untuk pengolahan dataset kupu- kupu telah dilakukan oleh [1], [8]–[13]. Penelitian oleh Kartika et al. (2018) ini menggunakan metode color feature extraction (color quantization+ HSV color space) dan metode texture feature (local binary pattern) untuk mengklasifikasi dataset kupu-kupu. Dataset yang digunakan adalah gambar kupu-kupu dengan resolusi 420x315  pixels  berjumlah  890  images.  Hasil  klasifikasi  dari  penelitian  ini  mencapai  akurasi  sebesar  72% dengan precision value sebesar 76%, recall sebesar 72% dan  f-measure sebesar 74%. [8]
Penelitian oleh Kaya & Kayci (2014) menggunakan metode gray level co-occurrence matrix (GLCM) dan artificial neural networks (ANN) untuk melakukan klasifikasi gambar kupu-kupu. Dataset yang digunakan adalah  gambar  kupu-kupu  dengan  jumlah  140 butterfly  images .  Penelitian  ini  memperoleh  akurasi  sebesar 92.85 % dari hasil akhir pemrosesan data [9]. Penelitian oleh Zhu & Spachos (2019) membandingkan hasil metode SVM, CNN Transfer learning VGG untuk klasifikasi gambar kupu-kupu. Penelitian ini menggunakan dataset  citra  kupu-kupu  dengan  jumlah  832  images.  Hasil  dari  penelitian  menunjukkan  bahwa  akurasi menggunakan SVM mencapai 52.8%, Deep learning 4-Conv CNN mencapai 98.44% dan Transfer learning VGG19 mencapai 98.53% [10]. Tujuan dari penelitian ini adalah untuk mengetahui kinerja ( performance ) dari model VGG16 dan MobileNetV2 untuk klasifikasi citra gambar kupu-kupu berdasarkan hasil ekstraksi fitur pada citra gambar tersebut.

## 2. METODE PENELITIAN
Penelitian ini terdari 3 tahapan utama yang bertujuan untuk klasifikasi citra kupu-kupu berdasarkan hasil kinerja model arsitektur VGG16 dan MobileNetV2. Tahapan penelitian dalam penelitian ini dapat dilihat pada Gambar berikut.
Gambar 1 Tahapan Penelitian
Berdasarkan Gambar diatas, penelitian ini menggunakan butterfly image dataset yang dikumpulkan dari online resources. Dataset penelitian berisi 4955 gambar yang kemudian diberi label 50 butterfly species dengan ukuran 224 X 224 X 3. Contoh data gambar dapat dilihat pada gambar di bawah ini.
Persiapan Dataset
Pemodelan
Evaluasi

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 182~187 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085

## Gambar 2 Contoh Citra Kupu-Kupu
Untuk butterfly  classification  modelling ,  penelitian  ini  mengimplementasikan  VGG16  dan  MobileNetV2 dengan  menggunakan  85%  dataset  untuk  training  dan  15%  dari  dataset  untuk  proses  training.  Untuk mengevaluasi kinerja algoritma, penelitian ini menggunakan standard statistical measures, antara lain accuracy, precision, recall dan F-measure [14].

## 3. HASIL DAN ANALISIS
Tujuan  dari  penelitian  ini  adalah  untuk  mengetahui  kinerja  ( performance )  dari  model  VGG16  dan MobileNetV2 untuk klasifikasi citra gambar kupu-kupu berdasarkan hasil ekstraksi fitur pada citra gambar tersebut. VGG16 terdiri dari 5 blok konvolusi sebelum terhubung ke MLP classifier . Blok konvolusi terhubung ke tiga lapisan MLP yang terdiri dari dua lapisan tersembunyi ( hidden layer ) dan satu lapisan keluaran ( output layer ). Lapisan keluaran terdiri dari node yang secara langsung mewakili jumlah kelas, dan fungsi aktivasi softmax (untuk lebih dari dua kelas) atau fungsi aktivasi sigmoid (untuk kelas kurang dari atau sama dengan dua) [15]. Pada eksperimen pertama adalah implementasi model VGG16 tanpa fine-tuning yang dilanjutkan dengan implementasi model VGG16 dengan fine-tuning .
Gambar 3 Hasil Kinerja VGG16 Tanpa Fine-Tuning
Gambar 4 Hasil Kinerja VGG16 Dengan Fine-Tuning

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 182~187 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
Model classifier MobileNetV2 adalah arsitektur ini yang efisien sehingga dapat diterapkan pada perangkat dengan keterbatasan kemampuan komputasi. Model ini merupakan peningkatan dari MobileNetV, sesuai untuk aplikasi  visi  komputer  untuk  mengatasi  masalah  kompleksitas  jaringan  melalui  inverted  residual  linear bottleneck layer [16]. Pada eksperimen kedua adalah implementasi model MobileNetV2 tanpa fine-tuning yang dilanjutkan dengan implementasi model MobileNetV2 dengan fine-tuning .
Gambar 5 Hasil Kinerja MobileNetV2 Tanpa Fine-Tuning
Gambar 6 Hasil Kinerja MobileNetV2 Dengan Fine-Tuning
Untuk mengetahui kinerja masing-masing model, hasil eksrimen diukur menggunakan pengukuran akurasi, precision, recall, F1-score dan cohens kappa seperti yang terlihat pada Tabel berikut ini.
Tabel 1 Evaluasi Kinerja Model Model Akurasi Training Akurasi Validasi Akurasi Testing Precision  Recall F1- Score Cohens Kappa VGG16 0.5706 0.8125 0.8120 0.8379 0.8120  0.8097 0.8081 VGG16 with fine-tuning 0.7451 0.9241 0.9160 0.9336 0.9160  0.9124 0.9142 MobileNetV2 0.9236 0.9688 0.9600 0.9686 0.9600  0.9590 0.9591 MobileNetV2 with fine-tuning 0.7796 0.9107 0.9120 0.9314 0.9120  0.9086 0.9102
Tabel diatas memperlihatkan perbandingan hasil evaluasi model transfer learning VGG16 dan MobileNetV2 tanpa fine-tuning dan dengan fine-tuning . Akurasi testing terbaik diperoleh MobileNetV2 tanpa fine-tuning , dilanjutkan dengan VGG16 dengan fine-tuning , MobileNetV2 dengan fine-tuning , dan akurasi testing paling kecil diperoleh VGG16 tanpa fine-tuning. Untuk nilai Precision, Recall, F1-Score, dan Cohens Kappa lebih tinggi diperoleh model MobileNetV2 tanpa fine tuning , hal ini menunjukkan bahwa MobileNetV2 tanpa fine tuning lebih imbang dalam akurasi tiap kelasnya.

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 182~187 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085

## Gambar 7 Hasil Confusion Matrix
Berdasarkan  Gambar  diatas,  pada  model  MobileNetV2  tanpa fine  tuning ,  dari  250  images  testing terdapat 240 images yang terklasifikasi dengan benar, sedangkan terdapat 10 images yang terklasifikasi salah yaitu  2 images pada  kelas crecent dan  kelas yellow  swallow  tail ;  dan  1 images pada  kelas large  marble , malachite , purple hairstreak, question mark, sootywing, dan southern dogface . Dapat  terlihat  pada confusion  matrix tersebut  bahwa  model  MobileNetV2  mengenali  hampir keseluruhan data testing. Sebanyak 42 kelas terklasifikasi secara benar untuk keseluruhan datanya, sedangkan hanya 8 kelas yang sedikit salah terklasifikasi. Gambar dibawah berikut memperlihatkan hasil prediksi untuk beberapa images pada data testing. Pada gambar terlihat untuk yang benar terklasifikasi ditunjukkan dengan label berwarna biru, sedangkan yang salah terklasifikasi ditunjukkan dengan label berwarna merah.

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 182~187 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085

## 4. KESIMPULAN
Akurasi terbaik diperoleh MobileNetV2 tanpa fine-tuning yaitu mencapai presentase 96%, dilanjutkan dengan VGG16  dengan  fine-tuning,  MobileNetV2  dengan  fine-tuning,  dan  akurasi  testing  paling  kecil  diperoleh VGG16 tanpa fine-tuning. Untuk nilai precision, recall, F1-Score, dan Cohens Kappa lebih tinggi diperoleh model  MobileNetV2  tanpa  fine  tuning,  hal  ini  menunjukkan  bahwa  MobileNetV2  tanpa fine-tuning lebih imbang dalam akurasi tiap kelasnya.

## REFERENSI
[1] M.  Skreta,  A.  Luccioni,  and  D.  Rolnick,  “Spatiotemporal  Features  Improve  Fine-Grained  Butterfly Image Classification,” in Conference on Neural Information Processing Systems , 2020.
[2] P.  Sukmasetya,  F.  Nurhidayati,  I.  Permatasari,  A.  Rahmah,  D.  I.  Sensuse,  and  H.  Noprisson, “Developing mobile expert web-based system using brainstorming method: Case: Tetanus and botulism diagnosis and treatment in goat,” in 2017 International Conference on Information Technology Systems and Innovation (ICITSI) , 2017, pp. 303–308.
[3] H.  Noprisson,  D.  I.  Sensuse,  Y.  G.  Sucahyo,  and  Lukman,  “Metadata  Development  for Ethnophytomedicine Resources Using Metadata Analysis Approach,” in The 2016 8th International Conference on Information Technology and Electrical Engineering (ICITEE 2016) , 2016.
[4] H. Noprisson, E. Ermatita, A. Abdiansah, V. Ayumi, M. Purba, and M. Utami, “Hand-Woven Fabric Motif Recognition Methods: A Systematic Literature Review,” in 2021 International Conference on Informatics, Multimedia, Cyber and Information System (ICIMCIS , 2021, pp. 90–95.
[5] H. Noprisson, E. Ermatita, A. Abdiansah, V. Ayumi, M. Purba, and H. Setiawan, “Fine-Tuning Transfer Learning Model in Woven Fabric Pattern Classification,” Int. J. Innov. Comput. Inf. Control , vol. 18, no. 06, p. 1885, 2022.
[6] I. Nurhaida, V. Ayumi, D. Fitrianah, R. A. M. Zen, H. Noprisson, and H. Wei, “Implementation of deep neural networks (DNN) with batch normalization for batik pattern recognition,” Int. J. Electr. Comput. Eng. , vol. 10, no. 2, pp. 2045–2053, 2020.
[7] V. Ayumi, E. Ermatita, A. Abdiansah, H. Noprisson, M. Purba, and M. Utami, “A Study on Medicinal Plant Leaf Recognition Using Artificial Intelligence,” in 2021 International Conference on Informatics, Multimedia, Cyber and Information System (ICIMCIS , 2021, pp. 40–45.
[8] D. S. Y. Kartika, D. Herumurti, and A. Yuniarti, “Butterfly image classification using color quantization method on hsv color space and local binary pattern,” IPTEK J. Proc. Ser. , no. 1, pp. 78–82, 2018.
[9] Y. Kaya and L. Kayci, “Application of artificial neural network for automatic detection of butterfly species using color and texture features,” Vis. Comput. , vol. 30, no. 1, pp. 71–79, 2014.
[10]  L. Zhu and P. Spachos, “Butterfly classification with machine learning methodologies for an android application,”  in 2019  IEEE  Global  Conference  on  Signal  and  Information  Processing  (GlobalSIP) , 2019, pp. 1–5.
[11]  I. Nurhaida, R. A. M. Zen, V. Ayumi, and H. Wei, “Determining the Number of Batik Motif Object based on Hierarchical Symmetry Detection Approach,” Indones. J. Electr. Eng. Informatics , vol. 9, no. 1, pp. 141–152, 2021.
[12]  V. Ayumi, “Application of Machine Learning for SARS-CoV-2 Outbreak,” Int. J. Sci. Res. Sci. Eng. Technol. , vol. 7, no. 5, pp. 241–248, Oct. 2021.
[13]  D. Ramayanti et al. , “Tuberculosis Ontology Generation and Enrichment Based Text Mining,” in 2020 International Conference on Information Technology Systems and Innovation (ICITSI) , 2020, pp. 429– 434.
[14]  B. Ramalingam, A. K. Lakshmanan, M. Ilyas, A. V. Le, and M. R. Elara, “Cascaded machine-learning technique for debris classification in floor-cleaning robot application,” Appl. Sci. , vol. 8, no. 12, p. 2649, 2018.
[15]  P.  Hridayami,  I.  K.  G.  D.  Putra,  and  K.  S.  Wibawa,  “Fish  species  recognition  using  VGG16  deep convolutional neural network,” J. Comput. Sci. Eng. , vol. 13, no. 3, pp. 124–130, 2019.
[16]  B. Zoph, V. Vasudevan, J. Shlens, and Q. V Le, “Learning transferable architectures for scalable image recognition,” in Proceedings of the IEEE conference on computer vision and pattern recognition , 2018, pp. 8697–8710.