## JSAI: Journal Scientific and Applied Informatics
Vol. 06, No. 02, Juni 2023, hal. 264~271 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 4 DOI: 10.36085

## Model Sequential Resnet50 Untuk Pengenalan Tulisan Tangan Aksara Arab
1 Sarwati Rahayu, 2 Sulis Sandiwarno, 3 Erwin Dwika Putra, 4 Marissa Utami, 5 Hadiguna Setiawan 1,2 Fakultas Ilmu Komputer, Universitas Mercu Buana, Indonesia 3,4,5 Research and Development, Towwar Tech Ind, Indonesia
3,4 Fakultas Teknik, Universitas Muhammadiyah Bengkulu, Indonesia
1 sarwati@mercubuana.ac.id, 2 sulis.sandiwarno@mercubuana.ac.id, 3 erwindwikap@gmail.com,
4 marissautami@umb.ac.id, 5 hadiguna.setiawan19@gmail.com
Article Info ABSTRAK Article history: Received, 2023-06-19 Revised, 2023-06-23 Accepted, 2023-06-30 Penelitian  untuk  pengenalan  tulisan  tangan  bahasa  Arab  masih  terbatas. Jumlah dataset publik mengenai aksara Arab  masih terbatas untuk jenis data tersebut.  Oleh  karena  itu,  setiap  penelitian  biasanya  menggunakan  dataset pribadi  untuk  melakukan  penelitian.  Namun,  baru-baru  ini  himpunan  data publik  telah  tersedia  dan  menjadi  peluang  penelitian  untuk  membandingkan metode  dengan  himpunan  data  yang  sama.  Penelitian  ini  bertujuan  untuk mengetahui  implementasi  model  transfer  learning  dengan  akurasi  terbaik untuk  pengenalan  tulisan  tangan  dalam  aksara  Arab.  Hasil  percobaan menggunakan  ResNet50  adalah  sebagai  berikut:  akurasi  pelatihan  adalah 91,63%,  akurasi  validasi  adalah  91,82%,  dan  akurasi  pengujian  adalah 95,03%.
Kata Kunci:
Arabic handwritten transfer learning deep learning

## ABSTRACT
Keywords: Arabic handwritten transfer learning deep learning Research  for  Arabic  handwriting  recognition  is  still  limited.  The  number  of public datasets regarding  Arabic  script is still limited for this type  of  public dataset.  Therefore,  each  study  usually  uses  its  dataset  to  conduct  research. However,  recently  public  datasets  have  become  available  and  become research opportunities to compare methods with the same dataset. This study aimed to determine the implementation of the transfer learning model with the best accuracy for handwriting recognition in Arabic script. The results of the experiment  using  ResNet50  are  as  follows:  training  accuracy  is  91.63%, validation accuracy is 91.82%, and the testing accuracy is 95.03%.
This is an open access article under the CC BY-SA license.
Penulis Korespondensi:
Sarwati Rahayu Fakultas Ilmu Komputer Universitas Mercu Buana, Indonesia Email: sarwati@mercubuana.ac.id

## 1. PENDAHULUAN
Tulisan tangan adalah sesuatu yang bisa kita temui dalam kehidupan sehari-hari. Meskipun teknologi digital sudah  sangat  maju,  bahasa  tulisan  tangan  masih  digunakan  untuk  beberapa  tujuan.  Namun,  media  yang digunakan  saat  ini  telah  bergeser  dari  kertas  ke  bentuk  digital  [1],  [2],  [11],  [3]–[10].  Sistem  identifikasi karakter dalam bahasa tulisan tangan ini dapat digunakan untuk memverifikasi file atau membaca file dalam bentuk tulisan tangan dan hal-hal lain [12]–[17].
Dalam penelitian dalam ilmu komputer, identifikasi karakter yang lebih banyak diteliti dan dipelajari dalam jurnal dan  prosiding  internasional adalah  aksara Latin.  Ini karena jumlah  himpunan  data aksara Latin  yang tersedia mudah tersedia dan dapat diakses oleh publik. Aksara lain, seperti aksara India dan Cina, sudah mulai banyak dipelajari karena sudah dipublikasikan[18]–[20].

## JSAI: Journal Scientific and Applied Informatics
Vol. 06, No. 02, Juni 2023, hal. 264~271 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 4 DOI: 10.36085
Penelitian  untuk  pengenalan  tulisan  tangan  bahasa  Arab  masih  terbatas.  Jumlah  himpunan  data  publik mengenai  aksara  Arab  masih  terbatas  untuk  jenis  himpunan  data  publik  ini.  Setiap  penelitian  biasanya menggunakan dataset-nya untuk melakukan penelitian. Namun, himpunan data publik telah tersedia baru-baru ini dan menjadi peluang penelitian untuk membandingkan metode dengan himpunan data yang sama[12], [18], [21].
Penelitian El-Sawy et al. (2017) membahas pengenalan tulisan tangan berbahasa Arab dengan menggunakan model deep learning. Dataset yang digunakan adalah gambar 16.800 karakter yang ditulis oleh 60 orang berusia 19-40 tahun. Eksperimen ini menggunakan metode Convolutional Neural Network (CNN) dengan multilayer feed-forward. Penelitian ini memperoleh kesalahan sebesar 5,1% karena mengenali tulisan tangan berbahasa Arab [22]–[24].
Penelitian  oleh  Younis  (2017)  membahas  pengenalan  karakter  tulisan  tangan  Arab.  Metode  Deep Convolutional Neural Network (CNN) digunakan dalam penelitian ini. Data untuk penelitian ini adalah dataset pengenalan karakter tulisan tangan Arab (AHCR) dan dataset EMNIST dari National Institute of Standards and Technology (NIST) Special Database. Hasil akurasi percobaan ini mencapai 94,8%-97,6% [25]–[28].
Sumber: [29]
Gambar 1 Daftar Huruf Bahasa Arab
Metode  yang  digunakan  dalam  percobaan  ini  adalah  Belief  Neural  Network  (DBNN).  Penelitian  ini menggunakan dua dataset, yaitu HACDB (6.600 citra) dan ADAB (33.164 citra). Sebagai hasil dari percobaan, metode yang digunakan mendapat kesalahan 2,1% dalam mengenali aksara Arab tulisan tangan [30]–[32].

## JSAI: Journal Scientific and Applied Informatics
Vol. 06, No. 02, Juni 2023, hal. 264~271 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 4 DOI: 10.36085
Sumber: [33]
Gambar 2 Contoh penulisan huruf Arab
Berdasarkan  latar  belakang  di  atas,  penelitian  ini  akan  menggunakan  model  pembelajaran  transfer  untuk pengenalan tulisan tangan aksara Arab.

## 2. METODE PENELITIAN
Penelitian  ini bertujuan untuk  mengetahui  bagaimana implementasi  model transfer  learning yang  memiliki akurasi terbaik untuk pengenalan tulisan tangan dalam aksara Arab. Untuk menyelesaikan tujuan penelitian, penelitian  ini  akan  dilakukan  dalam  beberapa  tahap:  yaitu  studi  literaur  pengumpulan  data,  persiapan  data, pemodelan algoritma, dan evaluasi model seperti yang terlihat pada Gambar 3 berikut ini.

## Gambar 3 Tahapan penelitian
Berdasarkan  langkah-langkah  di  atas,  penelitian  ini  akan  membagi  dataset  menjadi  data  pelatihan,  validasi data, dan pengujian data serta melakukan augmentasi pada dataset karakter tulisan tangan Arab. Pada persiapan data  dilalukan  proses  augmentasi  seperti rotation , brightness , width_shift , height_shift , horizontal_flip , vertical_flip , dan preprocessing_ function .

## Evaluasi Model
Model Evaluation Pemodelan  Algoritma Algorithm Modelling Persiapan Data Data Preparation Pengumpulan  Data Data Collection Studi Literatur Literature Study

## JSAI: Journal Scientific and Applied Informatics
Vol. 06, No. 02, Juni 2023, hal. 264~271 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 4 DOI: 10.36085
Model yang digunakan dalam penelitian ini adalah Resnet50 sedangkan evaluasi model, penelitian ini tidak hanya menentukan atau menghitung nilai akurasi, tetapi juga menentukan atau menghitung nilai loss dari data eksperimen menggunakan model Resnet50. Selain itu, penelitian ini juga mendefinisikan nilai Cohen kappa, skor F1, presisi, dan recall selama percobaan yang dirancang untuk menerapkan model pembelajaran transfer untuk tujuan pengenalan tulisan tangan aksara Arab

## 3. HASIL DAN ANALISIS
Dataset penelitian ini terdiri dari 28 kelas huruf Arab dengan 10752 data untuk data pelatihan, 2688 data untuk validasi, dan 3360 data untuk pengujian. Pada tahap eksperimen, model yang digunakan adalah model transfer learning ResNet50 berbasis sekuensial.
Arsitek model ResNet50 yang diusulkan memiliki lapisan resnet50 ( functional layer ) dengan bentuk output (None, 1, 1, 2048). Untuk menghitung nilai rata-rata di seluruh matriks untuk setiap saluran input, arsitektur model diberikan lapisan 2D Global Average Pooling dengan bentuk output (None, 2048). Lapisan berikutnya adalah flatten layer dengan bentuk output (None, 2048). Berikutnya adalah tiga dense layer yang digunakan untuk menambahkan fully connected  layer .  Selain  itu,  lapisan dropout dengan  bentuk  output  (None,  1072) ditambahkan  ke  arsitektur  Resnet50  yang  diusulkan.  Ringkasan  model  arsitektur  Resnet50  yang  diusulkan dapat dilihat pada Gambar 5 berikut.
Gambar 5 Arsitektur Resnet50
Selama tahap eksperimen, evaluasi dilakukan menggunakan model akurasi. Evaluasi ini melibatkan penentuan proporsi prediksi yang benar untuk data pengujian. Metode lainnya untuk menentukan akurasi adalah dengan membagi jumlah perkiraan prediksi benar dengan jumlah total prediksi yang dibuat.
Langkah selanjutnya adalah menghitung akurasi dengan menggunakan pelatihan dan validasi data untuk 50 epochs . Seperti dapat dilihat pada Gambar 6 , nilai akurasi pelatihan data dan validasi data meningkat seiring dengan jumlah epoch yang digunakan dalam eksperimen.

## Gambar 6 Akurasi model Resnet50
Penelitian ini tidak hanya menentukan atau menghitung nilai akurasi, tetapi juga menentukan atau menghitung nilai loss dari  data  eksperimen  menggunakan  model  Resnet50.  Ini  dilakukan  selain  menentukan  atau menghitung nilai akurasi.

## JSAI: Journal Scientific and Applied Informatics
Vol. 06, No. 02, Juni 2023, hal. 264~271 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 4 DOI: 10.36085
Seperti  yang  dapat  dilihat  pada Gambar  7 ,  nilai loss dari  data  pelatihan  dan  data  validasi  keduanya  turun karena jumlah epoch yang  digunakan dalam  percobaan  berkurang. Eksperimen ini  juga menampilkan  hasil confusion matrix untuk melihat hasil pemrosesan 28 kelas huruf Arab dengan 10752 data untuk data pelatihan, 2688 data untuk validasi, dan 3360 data untuk pengujian, yang dapat dilihat pada Gambar 8.

## Gambar 7 Model loss dari Resnet50

## Gambar 8 Confusion Matrix dari Resnet50
Tabel 1 berikut menyajikan temuan komprehensif yang diperoleh dari perhitungan akurasi, kappa Cohen, skor F1, presisi, dan recall selama percobaan yang dirancang untuk menerapkan model pembelajaran transfer untuk tujuan pengenalan tulisan tangan aksara Arab.  Hasil eksperimen ini dilakukan dengan 10752 data untuk data pelatihan, 2688 data untuk validasi, dan 3360 data untuk pengujian.

## Tabel 1. Hasil Eksperimen
Paramater Nilai Accuracy of Training 0.9163 Accuracy of Validation 0.9182 Accuracy of Testing 0.9503 Cohens Kappa 0.9484 F1 Score 0.9501 Precision 0.9513 Recall 0.9503

## JSAI: Journal Scientific and Applied Informatics
Vol. 06, No. 02, Juni 2023, hal. 264~271 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 4 DOI: 10.36085
Gambar 9 Hasil prediksi menggunakan Resnet50
Gambar 9 diatas menyajikan hasil prediksi model pembelajaran transfer Resnet50 untuk pengenalan tulisan tangan  aksara  Arab.  Model  ini  dilatih  menggunakan  transfer  learning.  Menurut  hasil  prediksi,  model pembelajaran transfer Resnet50 membuat prediksi yang tidak akurat untuk tiga karakter berbeda.
Model pembelajaran transfer Resnet50 untuk pengenalan tulisan tangan dalam aksara Arab mencapai akurasi 91,63 persen untuk tahap pelatihan, 91,82 persen untuk tahap validasi, dan 95,03 persen untuk tahap pengujian berdasarkan hasil percobaan. Nilai untuk Cohen's kappa, F1 score, precision, and recall adalah sebagai berikut: masing-masing 0,9484, 0,9501, 0,9513, dan 0,9503.

## 4. KESIMPULAN
Belum  banyak  penelitian  yang  dilakukan  tentang  pengenalan  tulisan  tangan  berbahasa  Arab.  Tidak  ada sejumlah  besar  himpunan  data  publik  yang  tersedia  untuk  kumpulan  data  publik  semacam  ini  yang  berisi informasi tentang aksara Arab. Akibatnya, setiap penelitian sering melakukan penelitian menggunakan data dari datanya sendiri. Di sisi lain, himpunan data publik baru-baru ini dapat diakses, yang telah memberi para peneliti  kemungkinan  baru  untuk  membandingkan  metodologi  yang  berbeda  menggunakan  himpunan  data yang  sama.  Tujuan  dari  penelitian  ini  adalah  untuk  menyelidiki  cara  di  mana  pembelajaran  transfer  dapat diterapkan pada aksara Arab untuk mencapai tingkat akurasi pengenalan tulisan tangan tertinggi. Eksperimen yang  dilakukan  dengan  ResNet50  menghasilkan  hasil  eksperimen  berikut:  akurasi  pelatihan  adalah  91,63 persen, akurasi validasi adalah 91,82 persen, dan akurasi pengujian adalah 95,03 persen.

## UCAPAN TERIMA KASIH
Penelitian  ini  merupakan  luaran  penelitian  skema  Penelitian  Internal  Kerjasama  Dalam  Negeri  (KDN), Universitas Mercu Buana.

## REFERENSI
[1]  M. F. Dzulfikar, D. I. Sensuse, and H. Noprisson, “A systematic literature review of information system adoption  model  applied  to  enterprise  2.0,”  in International  Conference  on  Information  Technology Systems and Innovation (ICITSI) , 2017, pp. 14–19.
[2]  E.  Hidayat, Lukman,  H.  Noprisson,  D.  I.  Sensuse,  Y.  G.  Sucahyo,  and  E.  D.  Putra,  “Development  of mobile  application  for  documenting  traditional  knowledge  in  Indonesia:  A  Case  Study  of  Traditional Knowledge in Using Medicinal Plant,” in Proceedings - 14th IEEE Student Conference on Research and Development: Advancing Technology for Humanity, SCOReD 2016 , 2017.
[3]  A.  A.  Pratama,  D.  I.  Sensuse,  and  H.  Noprisson,  “A  systematic  literature  review  of  business  process improvement,” in 2017 International  Conference  on  Information  Technology Systems  and Innovation, ICITSI 2017 - Proceedings , 2017, vol. 2018-Janua, pp. 26–31.
[4]  D. I. Sensuse, Y. G. Sucahyo, M. Silalahi, I. A. Wulandari, I. F. Akmaliah, and H. Noprisson, “Toward

## JSAI: Journal Scientific and Applied Informatics
Vol. 06, No. 02, Juni 2023, hal. 264~271 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 4 DOI: 10.36085
to  operationalization  of  socio-technical  ontology engineering methodology,” in 2017  5th  International Conference on Cyber and IT Service Management (CITSM) , 2017, pp. 1–7.
[5]  H. Noprisson, E. Ermatita, A. Abdiansah, V. Ayumi, M. Purba, and H. Setiawan, “Fine-Tuning Transfer Learning Model in Woven Fabric Pattern Classification,” Int. J. Innov. Comput. Inf. Control , vol. 18, no. 06, p. 1885, 2022.
[6]  M.  Purba,  E.  Ermatita,  A.  Abdiansah,  V.  Ayumi,  H.  Noprisson,  and  A.  Ratnasari,  “A  Systematic Literature  Review  of  Knowledge  Sharing  Practices  in  Academic  Institutions,”  in 2021  International Conference on Informatics, Multimedia, Cyber and Information System (ICIMCIS , 2021, pp. 337–342.
[7]  I. Nurhaida, V. Ayumi, D. Fitrianah, R. A. M. Zen, H. Noprisson, and W. Hong, “Implementation of deep neural networks (DNN) with batch normalization for batik pattern recognition,” Int. J. Electr. Comput. Eng. , vol. 10, no. 2, p. 2045, 2020.
[8]  A.  Setiyoko,  D.  I.  Sensuse,  and  H.  Noprisson,  “A  systematic  literature  review  of  environmental management information system (EMIS) development: Research trends, datasets, and methods,” in 2017 International Conference on Information Technology Systems and Innovation (ICITSI) , 2017, pp. 20–25.
[9]  P. Sukmasetya, F. Nurhidayati, I. Permatasari, A. Rahmah, D. I. Sensuse, and H. Noprisson, “Developing mobile expert web-based system using brainstorming method: Case: Tetanus and botulism diagnosis and treatment in goat,” 2017 Int. Conf. Inf. Technol. Syst. Innov. ICITSI 2017 - Proc. , vol. 2018-Janua, pp. 303–308, 2017.
[10]  H. Noprisson and Budiyarti, “Aplikasi Manajemen Pemeliharan Produk Perangkat Lunak,” J. Sci. Appl. Informatics , vol. 1, no. 2, pp. 41–45, 2018.
[11]  H.  Noprisson,  D.  I.  Sensuse,  Y.  G.  Sucahyo,  and  Lukman,  “Metadata  Development  for Ethnophytomedicine  Resources  Using  Metadata  Analysis  Approach,”  in The  2016  8th  International Conference on Information Technology and Electrical Engineering (ICITEE 2016) , 2016.
[12]  N.  Alrobah  and  S.  Albahli,  “A  Hybrid  Deep  Model  for  Recognizing  Arabic  Handwritten  Characters,” IEEE Access , 2021.
[13]  T. M. Ghanim, M. I. Khalil, and H. M. Abbas, “Comparative study on deep convolution neural networks DCNN-based offline Arabic handwriting recognition,” IEEE Access , vol. 8, pp. 95465–95482, 2020.
[14]  I. Nurhaida, V. Ayumi, D. Fitrianah, R. A. M. Zen, H. Noprisson, and H. Wei, “Implementation of deep neural networks (DNN) with batch normalization for batik pattern recognition,” Int. J. Electr. Comput. Eng. , vol. 10, no. 2, pp. 2045–2053, 2020.
[15]  W. P. Sari, E. Cahyaningsih, D. I. Sensuse, and H. Noprisson, “The welfare classification of Indonesian national  civil  servant  using TOPSIS  and k-Nearest  Neighbour  (KNN),” in Research  and  Development (SCOReD), 2016 IEEE Student Conference on , 2016, pp. 1–5.
[16]  H.  Noprisson, E. Ermatita,  A.  Abdiansah,  V.  Ayumi,  M.  Purba,  and  M.  Utami, “Hand-Woven  Fabric Motif  Recognition  Methods:  A  Systematic  Literature  Review,”  in 2021  International  Conference  on Informatics, Multimedia, Cyber and Information System (ICIMCIS , 2021, pp. 90–95.
[17]  V. Ayumi, E. Ermatita, A. Abdiansah, H. Noprisson, M. Purba, and M. Utami, “A Study on Medicinal Plant Leaf Recognition Using Artificial Intelligence,” in 2021 International Conference on Informatics, Multimedia, Cyber and Information System (ICIMCIS , 2021, pp. 40–45.
[18]  A. Mezghani, S. Kanoun, M. Khemakhem, and H. El Abed, “A database for arabic handwritten text image recognition  and  writer  identification,”  in 2012  international  conference  on  frontiers  in  handwriting recognition , 2012, pp. 399–402.
[19]  A. El-Sawy, E.-B. Hazem, and M. Loey, “CNN for handwritten arabic digits recognition based on LeNet- 5,” in International conference on advanced intelligent systems and informatics , 2016, pp. 566–575.
[20]  M.  Loey,  A.  El-Sawy, and  H. El-Bakry, “Deep  learning  autoencoder approach  for  handwritten  arabic digits recognition,” arXiv Prepr. arXiv1706.06720 , 2017.
[21]  H.  M.  Balaha et  al. ,  “Recognizing  arabic  handwritten  characters  using  deep  learning  and  genetic algorithms,” Multimed. Tools Appl. , pp. 1–37, 2021.
[22]  A. El-Sawy, M. Loey, and H. El-Bakry, “Arabic handwritten characters recognition using convolutional neural network,” WSEAS Trans. Comput. Res. , vol. 5, pp. 11–19, 2017.
[23]  V. Ayumi, L. M. R. Rere, M. I. Fanany, and A. M. Arymurthy, “Optimization of Convolutional Neural Network using Microcanonical Annealing Algorithm,” in 2016 International Conference on Advanced Computer Science and Information Systems (ICACSIS) , 2016, pp. 506–511.
[24]  I. H. Ikasari, V. Ayumi, M. I. Fanany, and S. Mulyono, “Multiple regularizations deep learning for paddy growth  stages  classification from  LANDSAT-8,” in International  Conference on Advanced Computer Science and Information Systems (ICACSIS) , 2016, pp. 512–517.
[25]  K. S. Younis, “Arabic handwritten character recognition based on deep convolutional neural networks,” Jordanian J. Comput. Inf. Technol. , vol. 3, no. 3, pp. 186–200, 2017.
[26]  R.  Ahmed et  al. ,  “Novel  deep  convolutional  neural  network-based  contextual  recognition  of  Arabic handwritten scripts,” Entropy , vol. 23, no. 3, p. 340, 2021.

## JSAI: Journal Scientific and Applied Informatics
Vol. 06, No. 02, Juni 2023, hal. 264~271 E-ISSN: 2614-3054; P-ISSN: 2614-3062, accredited by Kemenristekdikti, Sinta 4 DOI: 10.36085
[27]  N.  Altwaijry  and  I.  Al-Turaiki,  “Arabic  handwriting  recognition  system  using  convolutional  neural network,” Neural Comput. Appl. , vol. 33, no. 7, pp. 2249–2261, 2021.
[28]  M.  Shams,  A.  Elsonbaty,  and  W.  ElSawy,  “Arabic  handwritten  character  recognition  based  on convolution neural networks and support vector machine,” arXiv Prepr. arXiv2009.13450 , 2020.
[29]  F. Slimane, S. Kanoun, J. Hennebert, A. M. Alimi, and R. Ingold, “A study on font-family and font-size recognition applied to Arabic word images at ultra-low resolution,” Pattern Recognit. Lett. , vol. 34, no. 2, pp. 209–218, 2013.
[30]  M. Elleuch, N. Tagougui, and M. Kherallah, “Arabic handwritten characters recognition using deep belief neural  networks,”  in 2015  IEEE  12th  International  Multi-Conference  on  Systems,  Signals  &  Devices (SSD15) , 2015, pp. 1–5.
[31]  R. Ahmed et al. , “Offline arabic handwriting recognition using deep machine learning: A review of recent advances,” in International conference on brain inspired cognitive systems , 2019, pp. 457–468.
[32]  A. T. Al-Taani and S. T. Ahmad, “Recognition of Arabic handwritten characters using residual neural networks,” Jordanian J. Comput. Inf. Technol. , vol. 7, no. 2, 2021.
[33]  F. Slimane, S. Kanoun, A. M. Alimi, R. Ingold, and J. Hennebert, “Gaussian mixture models for arabic font recognition,” in 2010 20th International Conference on Pattern Recognition , 2010, pp. 2174–2177.