## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 214~222 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085

## Perbandingan Model Transfer Learning Untuk Klasifikasi Data Agricultural Crop Images
1 Vina Ayumi
1 Universitas Mercu Buana, Jakarta, Indonesia
1 vina.ayumi@mercubuana.ac.id
Article Info ABSTRAK Article history: Received, 2022-07-28 Revised, 2022-10-25 Accepted, 2022-11-22
Klasifikasi tanaman telah diterapkan selama bertahun-tahun sebagai salah satu komponen utama pemantauan pertanian. Klasifikasi jenis tanaman merupakan teknik  penting  untuk  menyediakan  informasi  tersebut.  Berdasarkan  latar belakang  diatas,  penelitian  ini  akan  melakukan  agricultural  crop  type classification  from  digital  images.  Dataset crop  images terdiri  dari  40  lebih gambar  untuk  setiap  kelas yang ada  yaitu kelas maize,  wheat,  jute,  rice dan sugarcane .  Dataset kemudian dilakukan augmentasi sehingga menghasilkan 159+ gambar untuk setiap kelas. Proses augmentasi dilakukan dengan proses horizontal  flip,  rotation,  horizontal  shift  dan  vertical  shift .  Data  pengujian dipersiapkan dengan jumlah terdiri dari 51 gambar dengan masing-masing 10 gambar  setiap  kelasnya.  Berdasarkan  dari  hasil  eksperimen,  hasil  akurasi validasi  terbesar  didapatkan  dengan  implementasi  metode  VGG16  sebesar 96.52%, sedangkan VGG19 mendapatkan akurasi sebesar 94.03%, Resnet50 mendapatkan  akurasi  sebesar  41.79%,  Inceptionv3  mendapatkan  akurasi sebesar 94.53% dan EfficientNetB0 mendapatkan akurasi sebesar 20.40%.
Kata Kunci:
transfer learning agriculture crop deep learning

## ABSTRACT
Keywords: transfer learning agriculture crop deep learning Crop  classification  has  been  applied  for  many  years  as  one  of  the  main components  of  agricultural  monitoring.  Classification  of  plant  species  is  an important  technique  for  providing  this  information.  Based  on  the  above background,  this  research  will  classify  agricultural  crop  types  from  digital images.  The  crop  images  dataset  consists  of  more  than  40  images  for  each class,  namely  corn,  wheat,  jute,  rice  and  sugarcane.  The  dataset  is  then augmented to produce 159+ images for each class. The augmentation process is  carried  out  by  horizontal  flip,  rotation,  horizontal  shift  and  vertical  shift processes. The test data was prepared in a total of 51 images, with ten images each for each class. Based on the experimental results, the highest validation accuracy  results  were  obtained  by  implementing  the  VGG16  method  of 96.52%, while VGG19 got an accuracy of 94.03%, Resnet50 got an accuracy of 41.79%, Inceptionv3 got an accuracy of 94.53%, and EfficientNetB0 got an accuracy of 20.40%.
This is an open access article under the CC BY-SAlicense.
Penulis Korespondensi:
Vina Ayumi, Fakultas Ilmu Komputer Universitas Mercu Buana, Jakarta, Indonesia Email: vina.ayumi@mercubuana.ac.id

## 1. PENDAHULUAN
Ketahanan pangan menjadi salah satu perhatian dunia dikarenakan jumlah populasi dunia diperkirakan saat  ini  yang  terus  meningkat,  dan  kondisi  air  dan  suhu  pertanian  secara  signifikan  semakin  menurun kualitasnya.  Untuk  mengatasi  masalah  kerawanan  pangan  perlu  adanya  manajemen  pertanian,  pemantauan hasil  pertanian  yang  efektif  dan  efisien.  Perkembangan  teknologi  informasi  saat  ini  terutama  pada  bidang digital image processing dapat menjadi salah satu pendukung untuk pemantauan hasil pertanian [1]–[9].

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 214~222 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
Klasifikasi  tanaman  telah  diterapkan  selama  bertahun-tahun  sebagai  salah  satu  komponen  utama pemantauan pertanian [10]. Klasifikasi jenis tanaman merupakan teknik penting untuk menyediakan informasi tersebut [1], [11]–[13]. Pada image processing , metode klasifikasi juga sangat penting untuk kategorisasi jenis tanaman,  baik  menggunakan  metode  unsupervised  maupun  metode  supervised  learning.  Pemilihan  metode tergantung pada bentuk dan jenis sampel pelatihan [1], [12], [14]–[21].
Penelitian ini akan menggunakan metode Convolutional Neural Network (CNN) untuk klasifikasi data hasil tanaman pertanian berdasarkan data digital images. Pada bidang pertanian, CNN telah banyak digunakan untuk klasifikasi beberapa jenis dataset [22]–[25]. Penelitian Mazzia, Khaliq, and Chiaberge (2020) berjudul Improvement in Land Cover and Crop Classification Based on Temporal Features Learning from Sentinel-2 Data Using Recurrent-Convolutional Neural Network (R-CNN). Penelitian ini menggunakan dataset Sentinel- 2 dari gambar citra lahan pertanian di Itali. Penelitian ini mendapatkan hasil akurasi sebesar 96.5% dengan mengimplementasikan model Pixel R-CNN [23].
Penelitian lainnya yang berkaitan berjudul evaluation of deep learning cnn model for land use land cover classification  and  crop  identification  using  hyperspectral  remote  sensing  images  [24].  Penelitian  ini menggunakan dataset Indian Pines dataset dan dataset dari EO-1 Hyperion sensor. Penelitian ini mendapatkan hasil akurasi sebesar 97.58% untuk Indian Pines dataset dan 79.43% untuk data EO-1 Hyperion sensor [24].
Penelian selanjutnya melakukan penelitian pada dataset remote sensing images menggunakan metode combining optimal feature selection (OFSM) dan hybrid convolutional neural network-random forest (CNN- RF) [25]. Penelitian ini menggunakan dataset Sentinel-2 untuk mengidentifikasi jenis hasil panen di China. Penelitian ini mendapatkan hasil akurasi sebesar 94.27% menggunakan metode Conv1D-RF [25].
Berdasarkan latar belakang diatas, penelitian ini akan melakukan agricultural crop type classification from digital images. Dataset yang digunakan adalah dataset tentang citra agriculture crop yang terdiri dari lima kelas yaitu maize , wheat , jute , rice and sugarcane .

## 2. METODE PENELITIAN
Pada  penelitian  ini,  kami  membandingkan  performansi  lima  model  transfer  learning  yaitu:  VGG16, VGG19,  ResNet50,  InceptionV3,  dan  EfficientNetB0.  Kelima  model  yang  kami  gunakan  ini  telah  dilatih sebelumnya pada dataset ImageNet. Pada eksperimen ini kami menggunakan data agricultural crop images . Jenis kelas yang digunakan adalah corn, wheat, jute, rice and sugarcane. Tahapan penelitian dapat dilihat pada Gamber berikut ini.

## Gambar 1 Tahap Penelitian
Dataset merupakan hasil koleksi pengumpulan kamera dan proses augmentation antara lain horizontal flip , rotation, horizontal shift dan vertical shift . Data testing yang digunakan berupa 51 gambar diluar dengan masing-masing  10  gambar  setiap  kelasnya.  Performa  dari  kelima  model  akan  dibandingkan  dengan menggunakan matriks konfusi dan akurasi rata-ratanya. Secara lengkap metodologi pada riset ini dapat dilihat pada Gambar berikut.
Preparing Dataset Image Augmentation
Training and Validation Sets Loading the Base Model Compile and Fit Prediction on the test data Evaluation

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 214~222 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085

## 3. HASIL DAN PEMBAHASAN
Pada penelitian ini dilakukan perbandingan performa 5 model transfer learning yaitu: VGG16, VGG19, ResNet50, InceptionV3, dan EfficientNetB0. Kelima model yang kami gunakan ini telah dilatih sebelumnya pada dataset ImageNet. Pada eksperimen ini kami menggunakan data agricultural crop images . Performa dari kelima model akan dibandingkan dengan menggunakan matriks confusion dan akurasi rata-ratanya. Berdasarkan  evaluasi  dari  kinerja  model  VGG16  didapatkan  hasil  akurasi  training  sebesar  98.63%, akurasi  validasi  sebesar  96.52%,  akurasi  testing  sebesar  50.98%  dan  nilai  Cohens  kappa  sebesar  0.382865. Hasil kinerja dari algoritma berupa grafik akurasi, grafik loss, confusion matrix dan hasil predikasi dari model arsitektur VGG16 dapat dilihat pada Gambar 2 berikut.

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 214~222 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
Berdasarkan  evaluasi  dari  kinerja  model  VGG19  didapatkan  hasil  akurasi  training  sebesar  92.41%, akurasi  validasi  sebesar  94.03%,  akurasi  testing  sebesar  45.10%  dan  nilai  Cohens  kappa  sebesar  0.312801. Hasil kinerja dari algoritma berupa grafik akurasi, grafik loss, confusion matrix dan hasil predikasi dari model arsitektur VGG19 dapat dilihat pada Gambar 3 berikut.

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 214~222 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
Berdasarkan evaluasi dari kinerja model Resnet50 didapatkan hasil akurasi training sebesar  34.59%, akurasi  validasi  sebesar  41.79%,  akurasi  testing  sebesar  31.37%  dan  nilai  Cohens  kappa  sebesar  0.126285. Hasil kinerja dari algoritma berupa grafik akurasi, grafik loss, confusion matrix dan hasil predikasi dari model arsitektur Resnet50 dapat dilihat pada Gambar berikut.

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 214~222 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
Berdasarkan evaluasi dari kinerja model Inceptionv3 didapatkan hasil akurasi training sebesar 95.68%, akurasi  validasi  sebesar  94.53%,  akurasi  testing  sebesar  29.41%.  Hasil  kinerja dari  algoritma  berupa grafik akurasi, grafik loss, confusion matrix dan hasil prediksi dari model arsitektur Inceptionv3 dapat dilihat pada Gambar berikut.

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 214~222 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
Berdasarkan  evaluasi  dari  kinerja  model  EfficientNetB0  didapatkan  hasil  akurasi  training  sebesar 18.38%,  akurasi  validasi  sebesar  20.40%,  akurasi  testing  sebesar  25.49%  dan  nilai  Cohens  kappa  sebesar 0.052323. Hasil kinerja dari algoritma berupa grafik akurasi, grafik loss, confusion matrix dan hasil predikasi dari model arsitektur EfficientNetB0 dapat dilihat pada Gambar 6 berikut.

## Gambar 5 Hasil Performa EfficientNetB0
Dataset crop images terdiri dari 40 lebih gambar untuk setiap kelas yang ada yaitu kelas maize , wheat , jute , rice dan sugarcane .  Dataset kemudian dilakukan augmentasi sehingga menghasilkan gambar untuk setiap kelas. Proses augmentasi dilakukan dengan proses horizontal flip, rotation, horizontal shift dan vertical shift. Data pengujian dipersiapkan dengan jumlah terdiri dari 51 gambar dengan masing-masing 10 gambar setiap kelasnya.

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 214~222 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
Berdasarkan  dari  hasil  eksperimen,  hasil  akurasi  validasi  terbesar  didapatkan  dengan  implementasi metode  VGG16  sebesar  96.52%,  sedangkan  VGG19  mendapatkan  akurasi  sebesar  94.03%,  Resnet50 mendapatkan akurasi sebesar 41.79%, Inceptionv3 mendapatkan akurasi sebesar 94.53% dan EfficientNetB0 mendapatkan akurasi sebesar 20.40%. Perbandingan kinerja model transfer learning model diperlihatkan pada Tabel sebagai berikut.
Tabel 1 Hasil Eksperimen Transfer Learning Model Training Accuracy Training Loss Validation Accuracy Validation Loss Testing Accuracy Cohens kappa VGG16 0.9863 0.0562 0.9652 0.1390 0.509804 0.382865 VGG19 0.9241 0.2094 0.9403 0.1795 0.450980 0.312801 Resnet50 0.3459 1.4681 0.4179 1.3996 0.313725 0.126285 Inceptionv3 0.9568 0.1389 0.9453 0.1800 0.294118 0.000000 EfficientNetB0 0.1838 1.8738 0.2040 1.6157 0.254902 0.052323

## 4. KESIMPULAN
Klasifikasi  tanaman  telah  diterapkan  selama  bertahun-tahun  sebagai  salah  satu  komponen  utama pemantauan  pertanian.  Klasifikasi  jenis  tanaman  merupakan  teknik  penting  untuk  menyediakan  informasi tersebut. Berdasarkan latar belakang diatas, penelitian ini akan melakukan agricultural crop type classification from digital images. Dataset yang digunakan adalah dataset tentang citra agriculture crop yang terdiri dari lima kelas yaitu maize, wheat, jute, rice and sugarcane.  Pada penelitian ini, kami membandingkan performansi 5 model  transfer  learning  yaitu:  VGG16,  VGG19,  ResNet50,  InceptionV3,  dan  EfficientNetB0.  Model  yang memiliki kinerja terbaik adalah VGG16 dengan valication accuracy 96.52%. Selain itu, VGG19 mendapatkan akurasi  sebesar  94.03%,  Resnet50  mendapatkan  akurasi  sebesar  41.79%,  Inceptionv3  mendapatkan  akurasi sebesar  94.53%  dan  EfficientNetB0  mendapatkan  akurasi  sebesar  20.40%.  Perbandingan  kinerja  model transfer learning model diperlihatkan pada Tabel sebagai berikut.

## UCAPAN TERIMA KASIH
Terima kasih kepada Pusat Penelitian dan Fakultas Ilmu Komputer, Universitas Mercu Buana yang telah mendukung pelaksanaan penelitian ini.

## REFERENSI
[1]  J.  Fan,  X.  Zhang,  C.  Zhao,  Z.  Qin,  M.  De  Vroey,  and  P.  Defourny,  “Evaluation  of  Crop  Type Classification with Different High Resolution Satellite Data Sources,” Remote Sens. , vol. 13, no. 5, p. 911, 2021.
[2]  M. Rahman, L. Di, E. Yu, C. Zhang, and H. Mohiuddin, “In-season major crop-type identification for US cropland  from  landsat  images  using  crop-rotation  pattern  and  progressive  data  classification,” Agriculture , vol. 9, no. 1, p. 17, 2019.
[3]  K. G. Liakos, P. Busato, D. Moshou, S. Pearson, and D. Bochtis, “Machine learning in agriculture: A review,” Sensors , vol. 18, no. 8, p. 2674, 2018.
[4]  B. Priambodo, N. Ani, and Y. Jumaryad, “Predict Next User Location to Improve Accuracy of Mobile Advertising,” J. Phys. Conf. Ser. , vol. 1175, no. 1, 2019.
[5]  A.  A.  Pratama,  D.  I.  Sensuse,  and  H.  Noprisson,  “A  systematic  literature  review  of  business  process improvement,”  in Information  Technology  Systems  and  Innovation  (ICITSI),  2017  International Conference on , 2017, pp. 26–31.
[6]  A.  Setiyoko,  D.  I.  Sensuse,  and  H.  Noprisson,  “A  systematic  literature  review  of  environmental management information system (EMIS) development: Research trends, datasets, and methods,” in 2017 International Conference on Information Technology Systems and Innovation (ICITSI) , 2017, pp. 20–25.
[7]  D. I. Sensuse, Y. G. Sucahyo, M. Silalahi, I. A. Wulandari, I. F. Akmaliah, and H. Noprisson, “Toward to operationalization of socio-technical ontology engineering methodology,” in 2017 5th International Conference on Cyber and IT Service Management (CITSM) , 2017, pp. 1–7.
[8]  S. Murmu and S. Biswas, “Application of fuzzy logic and neural network in crop classification: a review,” Aquat. Procedia , vol. 4, pp. 1203–1210, 2015.

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 214~222 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
[9]  Z.  P.  Putra,  D.  Setiawan,  B. Priambodo,  Y.  Jumaryadi,  and  M.  DesiAnasanti,  “Multi-touch  gesture  of mobile auditory device for visually impaired users,” in 2020 2nd International Conference on Broadband Communications, Wireless Sensors and Powering (BCWSP) , 2020, pp. 90–95.
[10]  M. Lavreniuk, N. Kussul, and A. Novikov, “Deep learning crop classification approach based on sparse coding of time series of satellite data,” in IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium , 2018, pp. 4812–4815.
[11]  B. Darwin, P. Dharmaraj, S. Prince, D. E. Popescu, and D. J. Hemanth, “Recognition of Bloom/Yield in Crop Images Using Deep Learning Models for Smart Agriculture: A Review,” Agronomy , vol. 11, no. 4, p. 646, 2021.
[12]  V. Ayumi, E. Ermatita, A. Abdiansah, H. Noprisson, M. Purba, and M. Utami, “A Study on Medicinal Plant Leaf Recognition Using Artificial Intelligence,” in 2021 International Conference on Informatics, Multimedia, Cyber and Information System (ICIMCIS , 2021, pp. 40–45.
[13]  E.  Hidayat,  Lukman,  H.  Noprisson,  D.  I.  Sensuse,  Y.  G.  Sucahyo,  and  E.  D.  Putra,  “Development  of mobile  application  for  documenting  traditional  knowledge  in  Indonesia:  A  Case  Study  of  Traditional Knowledge in Using Medicinal Plant,” in Proceedings - 14th IEEE Student Conference on Research and Development: Advancing Technology for Humanity, SCOReD 2016 , 2017.
[14]  I. Nurhaida, V. Ayumi, D. Fitrianah, R. A. M. Zen, H. Noprisson, and W. Hong, “Implementation of deep neural networks (DNN) with batch normalization for batik pattern recognition,” Int. J. Electr. Comput. Eng. , vol. 10, no. 2, p. 2045, 2020.
[15]  H. Yalcin, “An approximation for a relative crop yield estimate from field images using deep learning,” in 2019 8th International Conference on Agro-Geoinformatics (Agro-Geoinformatics) , 2019, pp. 1–6.
[16]  P.  S.  Nishant,  P.  S.  Venkat,  B.  L.  Avinash,  and  B.  Jabber,  “Crop  yield  prediction  based  on  indian agriculture  using  machine  learning,”  in 2020  International  Conference  for  Emerging  Technology (INCET) , 2020, pp. 1–4.
[17]  D.  H.  Timbadia,  S.  Sudhanvan,  P.  J.  Shah,  and  S.  Agrawal,  “Crop  Yield  Prediction  for  India  Using Regression  Algorithms,”  in International  Conference  on  Advances  in  Computing  and  Data  Sciences , 2021, pp. 241–251.
[18]  A. Tidake, D. Sharma, Y. Kumar, and D. Deshpande, “Implementation of Farmer Informative System for Maximizing the Farming Yield Using Machine Learning Approach,” in 2nd International Conference on Communication & Information Processing (ICCIP) , 2020.
[19]  H.  Noprisson,  E.  Ermatita,  A.  Abdiansah,  V.  Ayumi,  M.  Purba,  and  M.  Utami,  “Hand-Woven  Fabric Motif  Recognition  Methods:  A  Systematic  Literature  Review,”  in 2021  International  Conference  on Informatics, Multimedia, Cyber and Information System (ICIMCIS , 2021, pp. 90–95.
[20]  I. Nurhaida et al. , “Implementation of Deep Learning Predictor (LSTM) Algorithm for Human Mobility Prediction,” Int. J. Interact. Mob. Technol. , vol. 14, no. 18, p. 132, Nov. 2020.
[21]  V.  Ayumi,  “Application  of  Machine  Learning  for  SARS-CoV-2  Outbreak,” Int.  J.  Sci.  Res.  Sci.  Eng. Technol. , vol. 7, no. 5, 2020.
[22]  D. P. Kuchipudi and T. R. Babu, “A Review on Segmentation of Plant Maladies and Pathological Parts from  the  Leaf  Images  in  Agriculture  Crop,”  in 2019  2nd  International  Conference  on  Intelligent Computing, Instrumentation and Control Technologies (ICICICT) , 2019, vol. 1, pp. 927–934.
[23]  V. Mazzia, A. Khaliq, and M. Chiaberge, “Improvement in land cover and crop classification based on temporal features learning from Sentinel-2 data using recurrent-convolutional neural network (R-CNN),” Appl. Sci. , vol. 10, no. 1, p. 238, 2020.
[24]  K.  Bhosle  and  V.  Musande,  “Evaluation  of  deep  learning  CNN  model  for  land  use  land  cover classification and crop identification using hyperspectral remote sensing images,” J. Indian Soc. Remote Sens. , vol. 47, no. 11, pp. 1949–1958, 2019.
[25]  S.  Yang,  L.  Gu,  X.  Li,  T.  Jiang,  and  R.  Ren,  “Crop  classification  method  based  on  optimal  feature selection and hybrid CNN-RF networks for multi-temporal remote sensing imagery,” Remote Sens. , vol. 12, no. 19, p. 3119, 2020.