## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 244~249 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085

## Fine-Tuning Model Transfer Learning VGG16 Untuk Klasifikasi Citra Penyakit Tanaman Padi
1 Handrie Noprisson
1 Universitas Mercu Buana, Indonesia
1 handrie.noprisson@mercubuana.ac.id
Article Info ABSTRAK Article history: Received, 2022-07-28 Revised, 2022-08-25 Accepted, 2022-11-22
Besarnya tingkat permintaan atas komoditas ini mendorong adanya perbaikan hasil  pertanian dengan  cara  mengatasi  penyakit  pada  tanaman  padi.  Deteksi penyakit pada tanaman padi sejak awal penanaman akan mengurangi dampak pertumbuhan tanaman cukup signifikan. Dengan adanya perawatan yang tepat dari hasil identifikasi kasus penyakit sejak ini akan menambah produktivitas hasil  pertanian.  Penelitian  ini  bertujuan  membuat  analisis  kinerja  klasifikasi penyakit tanaman padi convolution neural network (CNN) dengan arsitektur VGG16 menggunakan fine-tuning. Untuk meproses dataset dan mengelompokkan data menjadi empat kelas ( brownspoty , healthy , hispa , dan leafblast ),  penelitian  ini  menggunakan  beberapa  tahapan  metodologi. Tahapanya  antara  lain data  preparation , feature  extraction , training , comparing dan evaluating model . Sebagai hasil, VGG16 without fine tuning mendapatkan  akurasi  50.88%  sedangkan  VGG  16  with  fine  tuning mendapatkan  akurasi  63.50%  pada  proses  traning.  Pada  proses  validasi, VGG16 without fine tuning mendapatkan akurasi 52.50% sedangkan VGG16 with  fine  tuning mendapatkan  akurasi  62.08%.  Pada  proses testing ,  VGG16 without fine tuning mendapatkan akurasi 54.19% sedangkan VGG16 with fine tuning mendapatkan akurasi 62.21%.
Kata Kunci:
transfer learning VGG16 rice disease

## ABSTRACT
Keywords: transfer learning VGG16 rice disease The  high  level  of  demand  for  this  commodity  encourages  improvements  in agricultural yields by overcoming diseases in rice plants. Detection of disease in rice plants from the beginning of planting will reduce the impact of plant growth  significantly.  With  proper  treatment  from  the  results  of  the identification  of  disease  cases  since  this  will  increase  the  productivity  of agricultural products. This study aims to analyze the performance of the rice plant  disease  classification  convolution  neural  net  (CNN)  with  the  VGG16 architecture using fine-tuning. To process the dataset and classify the data into four  classes  (BrownSpoty,  Healthy,  Hispa,  and  LeafBlast),  this  study  used several  methodological  steps.  The  stages  include  data  preparation,  feature extraction, training,  comparing and  evaluating  models.  As a  result,  VGG16 without fine tuning gets an accuracy of 50.88% while VGG 16 with fine tuning gets an accuracy of 63.50% in the training process. In the validation process, VGG16 without fine tuning gets an accuracy of 52.50% while VGG 16 with fine tuning gets an accuracy of 62.08%. In the testing process, VGG16 without fine tuning got 54.19% accuracy while VGG16 with fine tuning got 62.21% accuracy.
This is an open access article under the CC BY-SA license.
Penulis Korespondensi:
Handrie Noprisson Fakultas Ilmu Komputer Universitas Mercu Buana, Indonesia Email: handrie.noprisson@mercubuana.ac.id

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 244~249 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085

## 1. PENDAHULUAN
Hasil pertanian dari padi adalah komoditas yang paling banyak ditanaman di dunia. Hal ini berdasarkan data hasil pertanian yang menyatakan bahwa ada sebanyak 700 juta ton per tahun dihasilkan dari lahan seluas 158 juta hektar, terutama di wilayah Asia yang mencapai 90,2% dari produksi secara keseluruhan pada tahun 2018. Sementara, wilayah Amerika hanya memproduksi 5% dan Afrika memproduksi 4,2% [1]–[4].
Besarnya tingkat permintaan atas komoditas ini mendorong adanya perbaikan hasil pertanian dengan cara mengatasi  penyakit  pada  tanaman  padi.  Deteksi  penyakit  pada  tanaman  padi  sejak  awal  penanaman  akan mengurangi dampak pertumbuhan tanaman cukup signifikan. Dengan adanya perawatan yang tepat dari hasil identifikasi kasus penyakit sejak ini akan menambah produktivitas hasil pertanian [1].
Teknologi pertanian saat ini cukup berkembang untuk mendorong deteksi dini penyakit pada tanaman padi, salah satunya teknologi pengolahan citra [5]–[13]. Dengan menggunakan data citra gambar tanaman, computer akan mendeteksi secara otomatis jenis penyakit yang sedang dialami oleh tanaman padi [14], [15]. Penyakit tanaman padi cukup beragam, diantaranya dikarenakan oleh Brown Spot, Hispa, Leaf Blast dan lainnya  [1], [11], [16], [17]
Penelitian teknologi pengolahan citra untuk mendeksi penyakit tanaman padi telah dilakukan oleh [1], [18]– [24].  Penelitian  oleh  [1]  membahas  mengenai  pengunaan  arsitektur transfer  learning untuk  mendeteksi penyakit tanaman padi. Penelitian ini menggunakan Rice Diseases Image Dataset (Brown spot, Hispa, Leaf Blast, Healthy) dan Leaf Diseases Dataset (Bacterial Leaf Streak, Brown Spot, False Smut, Sheath Blight) serta Rice Leaf Diseases (Bacterial leaf blight, Brown spot, Leaf smut). Metode deteksi citra yang digunakan adalah generative adversarial networks (GAN) [1]. Penelitian ini mendapatkan hasil akurasi sebesar 98.38%.
Penelitian oleh Bari et al. (2021) membahas mengenai implementasi deep learning untuk untuk mendeteksi berbagai  jenis  penyakit  tanaman  padi.  Penelitian  oleh  Metode  deteksi  citra  yang  digunakan  adalah  faster region-based convolutional neural network (Faster R-CNN). Dataset yang digunakan berisi 2,400 citra yang dikumpulkan dari Kaggle (2000 data) dan peneliti sendiri (400 data). Penelitian ini mendapatkan hasil akurasi sebesar 99.25% [18]–[21].
Penelitian  oleh  Pothen  and  Pai  (2020)  membahas  mengenai  implementasi  berbagai  metode  image processing untuk mendeteksi berbagai jenis penyakit tanaman padi. Dataset penelitian ini terdiri dari 3 kelas yaituLeaf  smut,  Bacterial  leaf  blight  and  Brown  spot.  Metode  yang  digunakan  dalam  penelitian  ini  adalah metode  Otsu,  Local  Binary  Patterns  (LBP),  Histogram  of  Oriented  Gradients  (HOG)  dan  Support  Vector Machine (SVM). Penelitian ini mendapatkan hasil akurasi sebesar 94.6% [22]–[24].
Berdasarkan  penelitian  diatas,  penelitian  ini  bertujuan  untuk  deteksi  dini  penyakit  pada  tanaman  padi menggunakan teknologi image processing. Penelitian ini menggunakan metode convolution neural net (CNN) dengan menggunakan arsitektur VGG16.

## 2. METODE PENELITIAN
Dataset yang digunakan dalam penelitian ini merupakan data penyakit pada tanaman padi. Dataset terdiri dari 5,447 images dengan 4 kelas yaitu BrownSpoty, Healthy, Hispa, dan LeafBlast. Contoh dataset diperlihatkan pada Gambar 1.
Gambar 1 Contoh Dataset (BrownSpoty, Healthy, Hispa, dan LeafBlast)
Untuk meproses dataset dan mengelompokkan data menjadi empat kelas (BrownSpoty, Healthy, Hispa, dan LeafBlast),  penelitian  ini  menggunakan  beberapa  tahapan  metodologi.  Tahapannya  antara  lain  data preparation, feature extraction, training, comparing dan evaluating model.

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 244~249 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
Gambar 2 Metodologi Riset
Tahap  pertama  yang  dilakukan  adalah  membagi  dataset  ke  dalam  data  Training,  data  Validation  dan  data Testing. Kemudian melakukan augmentasi pada dataset menggunakan ImageGenerators. Pada data Training yang  dilakukan  adalah:  rotation,  brightness,  width_shift,  height_shift,  horizontal_flip,  vertical_flip,  dan preprocessing_function. Pada data Validation dan Testing dilakukan preprocessing_function mengikuti format VGG16.
Tahap selanjutnya yaitu ekstraksi fitur menggunakan pre-trained layers yaitu VGG16. Pada tahap ini pertama- tama kami menggunakan lapisan yang telah dilatih sebelumnya ( pre-trained layers ) untuk mengekstrak fitur visual pada dataset. Selanjutnya kami membuat layer Fully-connected dan layer Output untuk dataset. Tahapan  selanjutnya  yaitu  kami  akan  melatih  layer  yang  telah  dideskripsikan  sebelumnya  dengan backpropagation.  Pada  tahap  pelatihan  ini  kami  menggunakan  dua  metode  yaitu:  tanpa  menggunakan fine tuning dan dengan menggunakan fine tuning . Parameter yang digunakan pada eksperimen ini adalah batch_size = 32, epoch = 100, optimizer = Adam, learning_rate = 0.0001.

## 3. HASIL DAN ANALISIS
Besarnya tingkat permintaan atas komoditas ini mendorong adanya perbaikan hasil pertanian dengan cara mengatasi penyakit pada tanaman padi. Deteksi penyakit pada tanaman padi sejak awal penanaman akan mengurangi dampak pertumbuhan tanaman cukup signifikan. Dengan adanya perawatan yang tepat dari hasil identifikasi  kasus  penyakit  sejak  ini  akan  menambah  produktivitas  hasil  pertanian.  Penelitian  ini  bertujuan membuat analisis kinerja klasifikasi penyakit tanaman padi convolution neural net (CNN) dengan arsitektur VGG16 menggunakan fine-tuning . Untuk meproses dataset dan mengelompokkan data menjadi empat kelas (BrownSpoty,  Healthy,  Hispa,  dan  LeafBlast),  penelitian  ini  menggunakan  beberapa  tahapan  metodologi. Tahapanya antara lain data preparation , feature extraction , training , comparing dan evaluating model . Dataset yang digunakan dalam penelitian ini merupakan data penyakit pada tanaman beras yang dapat diakses secara publik. Dataset terdiri dari 5,447 images dengan 4 kelas yaitu BrownSpoty, Healthy, Hispa, dan LeafBlast.  Untuk  memproses  dataset  dan  mengelompokkan  data  menjadi  empat  kelas,  penelitian  ini menggunakan beberapa tahapan penelitian.
Tahap pertama adalah Data Preparation. Tahap ini yang dilakukan dengan membagi dataset ke dalam data  Training,  data  Validation  dan  data  Testing,  melakukan  Augmentasi  pada  dataset  menggunakan ImageGenerators.  Pada  data training yang  dilakukan  adalah:  rotation,  brightness,  width_shift,  height_shift, horizontal_flip,  vertical_flip,  dan  preprocessing_function.  Pada  data validation dan testing dilakukan preprocessing_function mengikuti format VGG16. Pada Gambar 3, terlihat bahwa terdapat 1600 image untuk data Training, 492 image untuk data validation dan 3355 mage untuk data testing .

## Gambar 3 Output Data Preparation
Tahap selanjutnya yaitu ekstraksi fitur menggunakan pre-trained layers yaitu VGG16. Pada tahap ini pertama-tama  kami  menggunakan  lapisan  yang  telah  dilatih  sebelumnya  ( pre-trained  layers )  untuk mengekstrak  fitur  visual  pada  dataset.  Selanjutnya  kami  membuat  layer  Fully-connected  dan  layer  Output untuk  dataset.  Tahapan  selanjutnya  yaitu  kami  akan  melatih  layer  yang  telah  dideskripsikan  sebelumnya
Data Preparation
Feature Extraction (Using Pre-trained model) Training Without and With Fine-Tuning Comparing and Evaluation Models

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 244~249 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
dengan backpropagation. Pada tahap pelatihan ini kami menggunakan dua metode yaitu: tanpa menggunakan Fine Tuning dan dengan menggunakan Fine Tuning. Parameter yang digunakan pada eksperimen ini adalah batch_size = 32, epoch = 100, optimizer = Adam, learning_rate = 0.0001. Hasil akurasi pada penelitian ini dapat dilihat pada Gambar berikut ini.
Gambar 4. Perbandingan model_accuracy tiap epoch menggunakan pre-trained layer VGG16 tanpa fine tuning (kiri) dan dengan fine tuning (kanan)
Gambar 5. Perbandingan model_loss tiap epoch menggunakan pre-trained layer VGG16 tanpa fine tuning (kiri) dan dengan fine tuning (kanan)
VGG16 without fine tuning mendapatkan akurasi 50.88% sedangkan VGG 16 with fine tuning mendapatkan akurasi 63.50% pada proses traning. Pada proses validasi,  VGG16 without fine tuning mendapatkan akurasi 52.50%  sedangkan  VGG  16  with fine  tuning mendapatkan  akurasi  62.08%.  Pada  proses  testing,  VGG16 without fine  tuning mendapatkan  akurasi  54.19%  sedangkan  VGG16  with fine  tuning mendapatkan  akurasi 62.21%. Hasil secara lengkap dari proses evaluasi model dapat dilihat pada Tabel berikut ini.
Tabel 1 Hasil Evaluasi VGG16 Model Training Accuracy Validation Accuracy Testing Accuracy F1 score Cohens Kappa VGG16 without Fine Tuning 50.88% 52.50% 54.19% 0.508197 0.333004 VGG 16 with Fine Tuning 63.50% 62.08% 62.21% 0.622057 0.470442

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 244~249 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
Gambar 5. Perbandingan Confusion Matrix model menggunakan pre-trained layer VGG16 tanpa fine tuning (kiri) dan dengan fine tuning (kanan)

## 4. KESIMPULAN
Besarnya tingkat permintaan atas komoditas ini mendorong adanya perbaikan hasil pertanian dengan cara mengatasi  penyakit  pada  tanaman  padi.  Deteksi  penyakit  pada  tanaman  padi  sejak  awal  penanaman  akan mengurangi dampak pertumbuhan tanaman cukup signifikan. Dengan adanya perawatan yang tepat dari hasil identifikasi  kasus  penyakit  sejak  ini  akan  menambah  produktivitas  hasil  pertanian.  Penelitian  ini  bertujuan membuat  analisis  kinerja  klasifikasi  penyakit  tanaman  padi convolution  neural  network (CNN)  dengan arsitektur  VGG16  menggunakan  fine-tuning.  Untuk  meproses  dataset  dan  mengelompokkan  data  menjadi empat  kelas  (BrownSpoty,  Healthy,  Hispa,  dan  LeafBlast),  penelitian  ini  menggunakan  beberapa  tahapan metodologi.  Tahapanya  antara  lain  data  preparation,  feature  extraction,  training,  comparing  dan  evaluating model. Sebagai hasil, VGG16 without fine tuning mendapatkan akurasi 50.88% sedangkan VGG16 with fine tuning mendapatkan  akurasi 63.50% pada proses  traning. Pada  proses  validasi,  VGG16 without  fine  tuning mendapatkan akurasi 52.50% sedangkan VGG 16 with fine tuning mendapatkan akurasi 62.08%. Pada proses testing,  VGG16 without  fine  tuning mendapatkan  akurasi  54.19%  sedangkan  VGG16 with  fine  tuning mendapatkan akurasi 62.21%.

## UCAPAN TERIMA KASIH
Terima  kasih  kepada  Biro  Penelitian,  Pengabdian  Masyarakat  &  Publikasi,  Universitas  Mercu  Buana  yang telah mendanai penelitian ini melalui skema Penelitian Internal Dosen Muda.

## REFERENSI
[1] G.  Kathiresan,  M.  Anirudh,  M.  Nagharjun,  and  R.  Karthik,  “Disease  detection  in  rice  leaves  using transfer learning techniques,” in Journal of Physics: Conference Series , 2021, vol. 1911, no. 1, p. 12004.
[2] H. Noprisson, “The Business Failure Prediction Using Statistical Approach,” Int. J. Sci. Res. Sci. Eng. Technol. , vol. 7, no. 5, pp. 161–168, 2020.
[3] P.  Sukmasetya,  F.  Nurhidayati,  I.  Permatasari,  A.  Rahmah,  D.  I.  Sensuse,  and  H.  Noprisson, “Developing mobile expert web-based system using brainstorming method: Case: Tetanus and botulism diagnosis and treatment in goat,” in 2017 International Conference on Information Technology Systems and Innovation (ICITSI) , 2017, pp. 303–308.
[4] P.  K.  Sethy,  N.  K.  Barpanda,  A.  K.  Rath,  and  S.  K.  Behera,  “Deep  feature  based  rice  leaf  disease identification using support vector machine,” Comput. Electron. Agric. , vol. 175, p. 105527, 2020.
[5] K. Ahmed, T. R. Shahidi, S. M. I. Alam, and S. Momen, “Rice leaf disease detection using machine learning techniques,” in 2019 International Conference on Sustainable Technologies for Industry 4.0 (STI) , 2019, pp. 1–5.
[6] P.  K.  Sethy,  N.  K.  Barpanda,  A.  K.  Rath,  and  S.  K.  Behera,  “Image  Processing  Techniques  for Diagnosing Rice Plant Disease: A Survey,” Procedia Comput. Sci. , vol. 167, pp. 516–530, 2020.
[7] T.  Bera,  A.  Das,  J.  Sil,  and  A.  K.  Das,  “A  survey  on  rice  plant  disease  identification  using  image

## JSAI: Journal Scientific and Applied Informatics
Vol. 5, No. 3, November 2022, hal. 244~249 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 5 DOI: 10.36085
processing and data mining techniques,” in Emerging Technologies in Data Mining and Information Security , Springer, 2019, pp. 365–376.
[8] S. Das, D. Roy, and P. Das, “Disease feature extraction and disease detection from paddy crops using image processing and deep learning technique,” Comput. Intell. Pattern Recognition. Adv. Intell. Syst. Comput. , vol. 1120, pp. 443–449, 2020.
[9] H. Noprisson, E. Ermatita, A. Abdiansah, V. Ayumi, M. Purba, and M. Utami, “Hand-Woven Fabric Motif Recognition Methods: A Systematic Literature Review,” in 2021 International Conference on Informatics, Multimedia, Cyber and Information System (ICIMCIS , 2021, pp. 90–95.
[10] V. Ayumi, E. Ermatita, A. Abdiansah, H. Noprisson, M. Purba, and M. Utami, “A Study on Medicinal Plant Leaf Recognition Using Artificial Intelligence,” in 2021 International Conference on Informatics, Multimedia, Cyber and Information System (ICIMCIS , 2021, pp. 40–45.
[11] V. Ayumi, “Application of Machine Learning for SARS-CoV-2 Outbreak,” Int. J. Sci. Res. Sci. Eng. Technol. , vol. 7, no. 5, pp. 241–248, Oct. 2021.
[12] V. Ayumi, L. M. R. Rere, M. I. Fanany, and A. M. Arymurthy, “Optimization of Convolutional Neural Network using Microcanonical Annealing Algorithm,” in 2016 International Conference on Advanced Computer Science and Information Systems (ICACSIS) , 2016, pp. 506–511.
[13] I. H. Ikasari,  V. Ayumi,  M. I. Fanany, and S.  Mulyono, “Multiple  regularizations deep learning for paddy  growth  stages  classification  from  LANDSAT-8,”  in International  Conference  on  Advanced Computer Science and Information Systems (ICACSIS) , 2016, pp. 512–517.
[14] G. Dhingra, V. Kumar, and H. D. Joshi, “Study of digital image processing techniques for leaf disease detection and classification,” Multimed. Tools Appl. , vol. 77, no. 15, pp. 19951–20000, 2018.
[15] M. A. Azim, M. K. Islam, M. M. Rahman, and F. Jahan, “An effective feature extraction method for rice leaf disease classification,” Telkomnika , vol. 19, no. 2, pp. 463–470, 2021.
[16] V. Ayumi and I. Nurhaida, “Klasifikasi Chest X-Ray Images Berdasarkan Kriteria Gejala  Covid-19 Menggunakan Convolutional Neural Network,” JSAI (Journal Sci. Appl. Informatics) , vol. 4, no. 2, pp. 147–153, 2021.
[17] I. Ranggadara, Y. S. Sari, S. Dwiasnati, and I. Prihandi, “A Review of Implementation and Obstacles in Predictive Machine Learning Model at Educational Institutions,” in Journal of Physics: Conference Series , 2020, vol. 1477, p. 32019.
[18] B. S. Bari et al. , “A real-time approach of diagnosing rice leaf disease using deep learning-based faster R-CNN framework,” PeerJ Comput. Sci. , vol. 7, p. e432, 2021.
[19] F. Jiang, Y. Lu, Y. Chen, D. Cai, and G. Li, “Image recognition of four rice leaf diseases based on deep learning and support vector machine,” Comput. Electron. Agric. , vol. 179, p. 105824, 2020.
[20] S. Bhattacharya, A. Mukherjee, and S. Phadikar, “A deep learning approach for the classification of rice leaf diseases,” in Intelligence enabled research , Springer, 2020, pp. 61–69.
[21] Y. Lu, S. Yi, N. Zeng, Y. Liu, and Y. Zhang, “Identification of rice diseases using deep convolutional neural networks,” Neurocomputing , vol. 267, pp. 378–384, 2017.
[22] M. E. Pothen and M. L. Pai, “Detection of rice leaf diseases using image processing,” in 2020 Fourth International Conference on Computing Methodologies and Communication (ICCMC) , 2020, pp. 424– 430.
[23] V.  Ayumi,  “Performance  Evaluation  of  Support  Vector  Machine  Algorithm  for  Human  Gesture Recognition,” Int. J. Sci. Res. Sci. Eng. Technol. , vol. 7, no. 6, pp. 204–210, 2020.
[24] S. Pavithra, A. Priyadharshini, V. Praveena, and T. Monika, “Paddy Leaf Disease Detection Using SVM Classifier,” Int. J. Commun. Comput. Technol. , vol. 3, no. 1, pp. 16–20, 2015.