## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 188~193 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085

## Pengenalan Objek Bunga Berbasis Deep Learning Menggunakan Model Resnet50 dan MobileNet-v2
1 Vina Ayumi
1 Universitas Mercu Buana, Jakarta, Indonesia
1 vina.ayumi@mercubuana.ac.id
Article Info ABSTRAK Article history: Received, 2022-07-28 Revised, 2022-11-09 Accepted, 2022-11-22
Seiring dengan perkembangan teknologi komputer, riset mengenai identifikasi bunga  sudah  mulai  dilakukan.  Riset  ini  merupakan  riset  awal  untuk pengembangan robot berbasis artifisial intelligent untuk dapat mengenai jenis- jenis bunga dengan baik. Untuk mengetahui model atau metode yang cocok untuk  identifikasi  bunga  perlu  adanya  berbagai  macam  riset  dengan menggunakan berbagai jenis dan jumlah dataset gambar bunga. Penelitian ini akan melakukan pengenalan objek bunga berbasis deep learning menggunakan model Resnet50 dan MobileNet-v2.  Dataset dalam eksperimen ini berisi 4242 data dengan gambar objek bunga yang yang terdiri dari lima kelas antara lain chamomile, tulip, rose, sunflower, dandelion. Hasil kinerja terbaik didapatkan oleh  model  ResNet50  dengan  akurasi  validasi  sebesar  92.67%,  sedangkan model MobileNetV2 mendapatkan akurasi validasi sebesar 91.35%.
Kata Kunci:
Flower,
Resnet50,
MobileNet-v2,
Deep Learning

## ABSTRACT
Keywords:
Flower, Resnet50, MobileNet-v2, Deep Learning Along  with  the  development  of  computer  technology,  research  on  flower identification  has  begun.  This  research  is  the  initial  research  for  the development  of artificially  intelligent  based  robots  to  be  able  to understand the types of flowers well. To find out a suitable model or method for flower identification,  it  is  necessary  to  carry  out  various  kinds  of  research  using various types and numbers of flower image datasets. This research will identify interest  objects  based  on  deep  learning  using  Resnet50  and  MobileNet-v2 models.  The  dataset  in  this  experiment  contains  4242  data  with  pictures  of flower  objects  consisting  of  five  classes  including  chamomile,  tulip,  rose, sunflower,  dandelion.  The  best  performance  results  are  obtained  by  the ResNet50 model with a validation accuracy of 92.67%, while the MobileNetV2 model gets a validation accuracy of 91.35%.
This is an open access article under the CC BY-SAlicense.
Penulis Korespondensi:
Vina Ayumi, Fakultas Ilmu Komputer Universitas Mercu Buana, Jakarta, Indonesia Email: vina.ayumi@mercubuana.ac.id

## 1. PENDAHULUAN
Bunga  merupakan  salah  daya  tarik  yang  ada pada  tanaman.  Bunga  memberikan  efek keindahan dan memiliki nilai estetika, nilai budaya dan nilai ekologis jika dikelola dan dirawat dengan baik. Setiap bunga memiliki  karakteristik  yang  berbeda-beda  tergantung  pada  bentuk,  lingkungan  hidup  dan  struktur  tanaman, sehingga perlu adanya observasi khusus dalam mengidentifikasi sebuah jenis bunga [1], [2].
Seiring dengan perkembangan teknologi komputer [3], [4], riset mengenai pengolahan citra sudah mulai dilakukan [5]–[12], terutama riset pengolahan citra bunga. Riset ini merupakan riset awal untuk pengembangan robot  berbasis  artifisial  intelligent  untuk  dapat  mengenai  jenis-jenis  bunga  dengan  baik.  Untuk  mengetahui

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 188~193 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
model  atau  metode  yang  cocok  untuk  identifikasi  bunga  perlu  adanya  berbagai  macam  riset  dengan menggunakan berbagai jenis dan jumlah dataset gambar bunga [1], [8]–[10], [13]–[16].
Berdasarkan kesimpulan beberapa riset sebelumnya, ada beberapa tantangan yang harus diselesaikan dalam  mengidentifikasi  atau  mengklasifikasikan  gambar  bunga.  Pertama,  adanya  perbedaan  bentuk  bunga untuk satu spesies yang sama karena pengaruh lingkungan disekitarnya. Kedua, ada beberapa jenis bunga yang memiliki bentuk yang hampir serupa. Ketiga, tantangan dalam memproses ekstrasi ciri dari citra bunga, mulai dari ekstraksi bentuk, warna dan tekstur [1], [17], [18].
Penelitian  oleh  Wu  et  al.  (2018)  membahas  mengenai  implementasi  arsitektur  deep  learning  untuk mengklasifikasikan flower. Model arsitektur yang digunakan antara lain VGG-19, Inception-v3, VGG-16 and ResNet50.  Dataset  yang  digunakan  adalah  Oxford-102  dan  Oxford-17  flower  dataset.  Penelitian  ini mendapatkan nilai akurasi sebesar 83.53%- 95.29% sesuai dengan metode yang digunakan [1]. Xia et al. (2017) melakukan penelitian mengenai klasifikasi citra Bungan menggunkan pendekatan deep learning. Penelitian ini menggunakan model arsitektur deep learning yaitu Inception-v3 model dengan bantuan TensorFlow  platform.  Penelitian  ini menggunakan  Oxford-I7  flower  dataset  dan  Oxford-102  flower  dataset yang terdiri dari 28 kelas dengan jumlah gambar sebanyak 40-258 gambar untuk setiap kelasnya. Akurasi yang diperoleh dari hasil experiment adalah 94%-95% sesuai dengan dataset yang diproses [19].
Penelitian ini mencoba untuk mengklasifikasi gambar bunga yang diberikan efek blur menggunakan deep learning algorithms. Dataset utama yang digunakan adalah Oxford-17 flower dataset yang terdiri dari 80 gambar  per  kelas.  Metode  yang  digunakan  adalah  Convolutional  Neural  Network  (CNN).  Dari  hasil eksperimen, studi ini mendapatkan persentas akurasi sebesar 90.20% [20].
Berdasarkan latar belakang diatas, penelitian ini akan melakukan pengenalan objek bunga berbasis deep learning  menggunakan  model  Resnet50  dan  MobileNet-v2.    Dataset  dalam  eksperimen  ini  berisi  4242 data dengan gambar objek bunga yang yang terdiri dari lima kelas antara lain chamomile, tulip, rose, sunflower, dandelion.

## 2. METODE PENELITIAN
Dataset dalam eksperimen ini berisi 4242 data dengan gambar objek bunga yang dikumpulkan dari data Flicr,  google  images  dan  yandex  images.  Dataset  terdiri  dari  lima  kelas  antara  lain  chamomile,  tulip,  rose, sunflower, dandelion. Setiap kelas ada sekitar 800 citra dangan resolusi 320x240 piksel.

## Gambar 1 Contoh Dataset
Pada penelitian ini, kami membandingkan performansi dua model transfer learning yaitu ResNet50 dan MobileNet-v2.  Kinerja  model  berdasarkan  eksperimen  dinilai  dengan  mengitung  akurasi  training,  akurasi validasi, akurasi testing, cohens kappa, f1_score, precision dan recall. Hasil perhitungan tersebut dibandingkan antara transfer learning ResNet50 dan MobileNetV2 untuk mengetahui model yang terbaik. Adapun tahapan penelitian dapat dilihat pada Gambar berikut ini.

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 188~193 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085

## Gambar 2 Tahap Penelitian

## 3. Hasil Penelitian
Penelitian  ini  bertujuan  untuk  membandingkan  hasil  kinerja  model  transfer  learning  ResNet50  dan MobileNetV2. Adapun model ResNet50 yang digunakan adalah resnet50 dengan output shape yaitu (None, 7, 7, 2048) dan jumlah parameter output yaitu 23587712. Layer yang digunakan adalah global_average_pooling dua dimensi dengan output shape yaitu (None, 2048). Layer selanjutnya adalah Dense dengan output shape yaitu (None, 4096), Dense_1 dengan output shape yaitu (None, 1072) dan Dense_2 dengan output shape yaitu (None, 5). Layar dropout juga digunakan pada arsitektur ini dengan dengan output shape yaitu (None, 1072). Ringkasan model arsitektur ResNet50 yang digunakan dapat dilihat pada Gambar berikut ini.

## Gambar 3 Arsitektur Sequential ResNet50
Model arsitektur MobileNetV2 yang digunakan adalah mobiletv2_1.00_224 dengan output shape yaitu (None,  7,  7,  1280)  dan  jumlah  parameter  output  yaitu  2257984.  Layer  yang  digunakan  adalah global_average_pooling dua dimensi dengan output shape yaitu (None, 1280). Layer selanjutnya yaitu flatten dengan output shape yaitu (None, 1280). Layer selanjutnya adalah Dense dengan output shape yaitu (None, 4096), Dense_1 dengan output shape yaitu (None, 1072) dan Dense_2 dengan output shape yaitu (None, 5). Layar dropout juga digunakan pada arsitektur ini dengan dengan output shape yaitu (None, 1072). Ringkasan model arsitektur MobileNetV2 yang digunakan dapat dilihat pada Gambar berikut ini.
Preparing Dataset Training and Validation Sets Modelling Using ResNet50 & MobileNet-v2. Evaluation

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 188~193 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
Gambar 4 Arsitektur Sequential MobileNetV2
Selain akurasi, cohens kappa, F1-score, precision dan recall, eksperimen ini juga menghitung confusion matrix untuk ResNet50 pada masing-masing kelas. Metode confusion matrix adalah presentasi yang berguna dan  komprehensif  dari  kinerja  model  algoritma.  Matriks  ini  biasanya  digunakan  dalam  evaluasi  model klasifikasi multi-kelas, label tunggal, di mana setiap instance data hanya dapat dimiliki oleh satu kelas pada titik waktu tertentu [21]. Hasil prediksi dan confusion matrix dari model arsitektur ResNet50 dapat dilihat pada Gambar berikut ini.

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 188~193 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
Gambar 6 Hasil Prediksi Model ResNet50
Setelah  menentukan  model  arsitektur  MobileNetV2  dan  ResNet50,  kemudian  eksperimen  dilanjutkan dengan mengitung akurasi training  , akurasi validasi, akurasi testing, cohens kappa, F1-score, precision dan recall.  Hasil  kinerja  terbaik  didapatkan  oleh  model  ResNet50  dengan  akurasi  validasi  sebesar  92.67%, sedangkan  model  MobileNetV2  mendapatkan  akurasi  validasi  sebesar  91.35%.  Hasil  keseluruhan  dari pengujian model dapat dilihat pada Tabel berikut ini.
Tabel 1 Hasil Eksperimen Model Akurasi Training Akurasi Validasi Akurasi Testing Cohens Kappa F1_score Precision Recall ResNet50 0.9813 0.9267 1.0000 1.0000 1.0000 1.0000 1.0000 MobileNetV2  0.9895 0.9135 0.9623 0.9528 0.9630 0.9686 0.9623

## 4. KESIMPULAN
Seiring  dengan  perkembangan  teknologi  komputer,  riset  mengenai  identifikasi  bunga  sudah  mulai dilakukan. Riset ini merupakan riset awal untuk pengembangan robot berbasis artifisial intelligent untuk dapat mengenai jenis-jenis bunga dengan baik. Untuk mengetahui model atau metode yang cocok untuk identifikasi bunga  perlu  adanya  berbagai  macam  riset  dengan  menggunakan  berbagai  jenis  dan  jumlah  dataset  gambar bunga. Penelitian ini akan melakukan pengenalan objek bunga berbasis deep learning menggunakan model Resnet50 dan MobileNet-v2.  Dataset dalam eksperimen ini berisi 4242 data dengan gambar objek bunga yang yang  terdiri  dari  lima  kelas  antara  lain  chamomile,  tulip,  rose,  sunflower,  dandelion.  Hasil  kinerja  terbaik didapatkan oleh model ResNet50 dengan akurasi validasi sebesar 92.67%, sedangkan model MobileNetV2 mendapatkan akurasi validasi sebesar 91.35%.

## UCAPAN TERIMA KASIH
Terima kasih kepada Pusat Penelitian dan Fakultas Ilmu Komputer, Universitas Mercu Buana yang telah mendukung pelaksanaan penelitian ini.

## REFERENSI
[1] Y.  Wu,  X.  Qin,  Y.  Pan,  and  C.  Yuan,  “Convolution  neural  network  based  transfer  learning  for classification of flowers,” in 2018 IEEE 3rd international conference on signal and image processing (ICSIP) , 2018, pp. 562–566.

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 188~193 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
[2] H. Hiary, H. Saadeh, M. Saadeh, and M. Yaqub, “Flower classification using deep convolutional neural networks,” IET Comput. Vis. , vol. 12, no. 6, pp. 855–862, 2018.
[3] Y.  Jumaryadi,  D.  Firdaus,  B.  Priambodo,  and  Z.  P.  Putra,  “Determining  the  Best  Graduation  Using Fuzzy AHP,” in 2020 2nd International Conference on Broadband Communications, Wireless Sensors and Powering (BCWSP) , 2020, pp. 59–63.
[4] B. Priambodo, N. Ani, and Y. Jumaryad, “Predict Next User Location to Improve Accuracy of Mobile Advertising,” J. Phys. Conf. Ser. , vol. 1175, no. 1, 2019.
[5] I. H. Ikasari,  V. Ayumi,  M. I. Fanany, and S.  Mulyono, “Multiple  regularizations deep learning for paddy  growth  stages  classification  from  LANDSAT-8,”  in International  Conference  on  Advanced Computer Science and Information Systems (ICACSIS) , 2016, pp. 512–517.
[6] V. Ayumi and I. Nurhaida, “Klasifikasi Chest X-Ray Images Berdasarkan Kriteria Gejala  Covid-19 Menggunakan Convolutional Neural Network,” JSAI (Journal Sci. Appl. Informatics) , vol. 4, no. 2, pp. 147–153, 2021.
[7] V. Ayumi, L. M. R. Rere, M. I. Fanany, and A. M. Arymurthy, “Random Adjustment - Based Chaotic Metaheuristic Algorithms for Image Contrast Enhancement,” J. Ilmu Komput. dan Inf. , vol. 10, no. 2, pp. 67–76, 2017.
[8] I. Nurhaida, V. Ayumi, D. Fitrianah, R. A. M. Zen, H. Noprisson, and H. Wei, “Implementation of deep neural networks (DNN) with batch normalization for batik pattern recognition,” Int. J. Electr. Comput. Eng. , vol. 10, no. 2, pp. 2045–2053, 2020.
[9] H. Noprisson, E. Ermatita, A. Abdiansah, V. Ayumi, M. Purba, and M. Utami, “Hand-Woven Fabric Motif Recognition Methods: A Systematic Literature Review,” in 2021 International Conference on Informatics, Multimedia, Cyber and Information System (ICIMCIS , 2021, pp. 90–95.
[10] V. Ayumi, E. Ermatita, A. Abdiansah, H. Noprisson, M. Purba, and M. Utami, “A Study on Medicinal Plant Leaf Recognition Using Artificial Intelligence,” in 2021 International Conference on Informatics, Multimedia, Cyber and Information System (ICIMCIS , 2021, pp. 40–45.
[11] W. P. Sari, E. Cahyaningsih, D. I. Sensuse, and H. Noprisson, “The welfare classification of Indonesian national civil servant using TOPSIS and k-Nearest Neighbour (KNN),” in Research and Development (SCOReD), 2016 IEEE Student Conference on , 2016, pp. 1–5.
[12] M.  Sadikin,  D.  Ramayanti,  and  A.  P.  Indrayanto,  “The  Graded  CNN  Technique  to  Identify  Type of Food as The Preliminary Stages to Handle the Issues of Image Content Abundant,” in Proceedings of the 2020 12th International Conference on Computer and Automation Engineering , 2020, pp. 108–113.
[13] K.  Il  Bae,  J.  Park,  J.  Lee,  Y.  Lee,  and  C.  Lim,  “Flower  classification  with  modified  multimodal convolutional neural networks,” Expert Syst. Appl. , vol. 159, p. 113455, 2020.
[14] H.  M.  Zawbaa,  M.  Abbass,  S.  H.  Basha,  M.  Hazman,  and  A.  E.  Hassenian,  “An  automatic  flower classification  approach  using  machine  learning  algorithms,”  in 2014  International  conference  on advances in computing, communications and informatics (ICACCI) , 2014, pp. 895–901.
[15] W. Liu, Y. Rao, B. Fan, J. Song, and Q. Wang, “Flower classification using fusion descriptor and SVM,” in 2017 International Smart Cities Conference (ISC2) , 2017, pp. 1–4.
[16] V. Ayumi, “Application of Machine Learning for SARS-CoV-2 Outbreak,” Int. J. Sci. Res. Sci. Eng. Technol. , vol. 7, no. 5, 2020.
[17] Y. A. Sari and N. Suciati, “Flower classification using combined a* b* color and fractal-based texture feature,” Int. J. Hybrid Inf. Technol. , vol. 7, no. 2, pp. 357–368, 2014.
[18] M. Toğaçar, B. Ergen, and Z. Cömert, “Classification of flower species by using features extracted from the intersection of feature selection methods in convolutional neural network models,” Measurement , vol. 158, p. 107703, 2020.
[19] X.  Xia,  C.  Xu,  and  B.  Nan,  “Inception-v3  for  flower  classification,”  in 2017  2nd  International Conference on Image, Vision and Computing (ICIVC) , 2017, pp. 783–787.
[20] C. Chen, Q. Yan, M. Li,  and J. Tong, “Classification of blurred flowers using convolutional  neural networks,” in Proceedings of the 2019 3rd International Conference on Deep Learning Technologies , 2019, pp. 71–74.
[21] D. Krstinić, M. Braović, L. Šerić, and D. Božić-Štulić, “Multi-label classifier performance evaluation with confusion matrix,” Comput Sci Inf Technol , vol. 10, pp. 1–14, 2020.