## Pemilihan Model Arsitektur Terbaik dengan Mengoptimasi Learning Rate Pada Neural Network Backpropagation
Cici Astria * , Agus Perdana Windarto, Irfan Sudahri Damanik
Sistem Informasi, STIKOM Tunas Bangsa, Pematangsiantar Jalan Kartini, Proklamasi, Kota Pematang Siantar, Sumatera Utara, Indonesia Email: 1,* Ciciastria352@gmail.com, 2 agus.perdana@amiktunasbangsa.ac.id Penulis Email Korespondensi: Ciciastria352@gmail.com Submitted 16-02-2022 ; Accepted 25-02-2022 ; Published 25-02-2022

## Abstrak
Backpropagation  merupakan  salah  satu  metode  yang  terdapat  dalam  neural  network  yang  mampu  melatih  jaringan  yang  dinamis menggunakan ilmu matematis berdasarkan model arsitektur yang telah dikembangkan secara rinci dan sistematik. Backpropagation sendiri  mampu  menampung  banyak  informasi  yang  berfungsi  sebagai  pengalaman  yang  bermanfaat.  Namun  Algoritma Backpropagation ini cenderung lambat untuk mencapai konvergen dalam mendapatkan akurasi yang optimum, serta memerlukan data training yang besar dan optimasi yang digunakan kurang efisien. Tujuan dari penelitian ini adalah untuk mengoptimasi learning rate pada  neural  network  backpropagation.  Sumber  data  diperoleh  dari  CV.  Bona  Tani  Hatonduhan.  Model  arsitektur  jaringan  yang digunakan pada penelitian ada 3 arsitektur, yaitu 2-51, 2-6-1 dan 2-7-1 dengan nilai learning rate 0.1, 0.2 dan 0.3. hasil uji coba yang dilakukan dengan software MATLAB menghasilkan model arsitektur terbaik yaitu model 2-7-1 dengan learning rate 0.3 dengan akurasi mencapai  83%.  Berdasarkan  latar  belakang  tersebut,  diharap  hasil  penelitian  dapat  membantu  dalam  proses  dengan  mengoptimasi learning rate pada jaringan Neural Network backpropagation pada pemilihan arsitektur terbaik.
Kata Kunci: Neural Network; Backpropagation; Optimasi; Learning Rate; Pemilihan Arsitektur Terbaik; MATLAB.

## Abstract
Backpropagation  is  one  of  the  methods  contained  in  a  neural  network  that  is  able  to  train  dynamic  networks  using  mathematical knowledge  based  on  architectural  models  that  have  been  developed  in  detail  and  systematically.  Backpropagation  itself  is  able  to accommodate a lot of information that serves as a useful experience. However, the Backpropagation Algorithm tends to be slow to achieve convergence in obtaining optimum accuracy, and requires large training data and the optimization used is less efficient. The purpose of this research is to optimize the learning rate on backpropagation neural network. Source of data obtained from CV. Bona Tani Hatonduhan. There are 3 network architecture models used in this study, namely 2-51, 2-6-1 and 2-7-1 with learning rates of 0.1, 0.2 and 0.3. the results of trials carried out with MATLAB software produced the best architectural model, namely the 2-7-1 model with a learning rate of 0.3 with an accuracy of 83%. Based on this background, it is hoped that the results of the research can help in the process by optimizing the learning rate of the backpropagation Neural Network on the selection of the best architecture.
Keywords : Neural Network; Backpropagation; Optimization; Learning Rate; Selection of the Best Architecture; MATLAB.

## 1. PENDAHULUAN
Jaringan  saraf  tiruan  mengasumsikan  suatu  proses  yang  mengikuti  kerja  biologis  jaringan  saraf  pada  otak  dan menghasilkan keluaran yang paling sesuai atas dasar proses berulang di dalam jaringan saraf [1]. Salah satu metode yang termasuk kedalam Neural Network adalah backpropagation. Backpropagation merupakan metode yang mampu melatih jaringan yang dinamis menggunakan ilmu matematis berdasarkan model arsitektur yang telah dikembangkan secara rinci dan sistematik. Algoritma backpropagation merupakan metode pelatihan yang terawasi (supervised) dan dirancang untuk operasi pada jaringan dengan banyak lapisan [2].
Backpropagation sendiri  mampu  menampung  banyak  informasi  yang  berfungsi  sebagai  pengalaman  yang bermanfaat. Namun Algoritma Backpropagation ini cenderung lambat untuk mencapai konvergen dalam mendapatkan akurasi yang optimum, serta memerlukan data training yang besar dan optimasi yang digunakan kurang efisien [3]. Untuk  itu  dibutuhkan  bantuan  teknik  lain  untuk  mengoptimalkan  kinerja  agar  hasil  yang diperoleh dapat  lebih akurat  dan  efisien.  Model  jaringan backpropagation memerlukan  proses  pengoptimalan  agar  nilai  akurasi  dapat ditingkatkan dan dapat meminimalisir nilai Mean Square Error (MSE). Salah satu teknik yang dapat digunakan untuk mengoptimasi backpropagation adalah learning rate . Learning rate merupakan proses pembelajaran dalam jaringan saraf tiruan  yang  bertujuan  untuk  meningkatkan  parameter  tingkat  pembelajaran  mencapai  hasil  yang  lebih  baik.  Metode Adaptive  Learning  Rate memberikan  peningkatan  kecepatan  pada  proses  pembelajaran Backpropagation namun peningkatan kecepatan yang diberikan tidaklah signifikan sehingga diperlukan penambahan pengembangan lainnya yang terfokus pada mempercepat proses iterasi jaringan sehingga nilai error pada jaringan cepat menuju ke nilai global optima [4].

## 2. METODOLOGI PENELITIAN

## 2.1 Kecerdasan Buatan (Artificial Intelligence)
Kecerdasan buatan berasal dari bahasa inggris “ Artificial Intelligence ” atau disingkat AI, yaitu intelligence adalah kata sifat  yang  berarti  cerdas,  sedangkan artificial artinya  buatan.  Kecerdasan  buatan  yang  dimaksud  disini  merujuk  pada
mesin yang mampu berfikir, menimbang tindakan yang diambil, dan mampu mengambil keputusan seperti yang dilakukan oleh manusia [5].

## 2.2 Jaringan Saraf Tiruan
Jaringan  Saraf  Tiruan (Artificial  Neural  Network) didefinisikan  sebagai  suatu  sistem  pemrosesan  informasi  yang mempunyai karakteristik menyerupai jaringan saraf manusia. Jaringan saraf sebagai sebuah kelompok pengolahan elemen dalam suatu kelompok yang khusus membuat perhitungan sendiri dan memberikan hasilnya kepada kelompok kedua atau berikutnya [6].

## 2.3 Backpropagation
Backpropagation merupakan bagian JST yang disusun dengan mengolah elemen-elemen yang berada di lapisan terkait dan  diberi  bobot  di  mana  backpropagation  adalah  representasi  buatan  dari  otak  manusia  yang  selalu  mencoba  untuk mensimulasikan proses pembelajaran di otak manusia [7]. Algoritma Backpropagation bekerja melalui koreksi bobot pada jaringan saraf tiruan. Bobot yang awalnya dipilih secara acak antara 0 hingga 1 kemudian akan terus dikoreksi hingga maksimum  epoch  ataupun  nilai  eror  sudah  lebih  kecil  dari  target  error  [8].  Pada  tahap  selanjutnya  dilakukan  proses normalisasi bagi data yang belum ternormalisasi. Normalisasi data ditunjukan dengan persamaan berikut :
𝑋 ′ = 0.8 (𝑥 − 𝑎) 𝑏 − 𝑎 + 0.1 (1)
Keterangan : 𝑥 ′ : data yang telah ditransformasi 𝑎 : data minimun 𝑥 : data yang akan dinormalisasi 𝑏 : data maksimun
2.4 Optimasi Learning Rate
Adaptive Learning Rate (ALR) merupakan pendekatan atau metode yang bertujuan untuk meningkatkan efektifitas dari parameter tingkat pembelajaran [9] .  Adaptive learning rate merupakan pendekatan atau metode yang bertujuan untuk meningkatkan efektifitas dari parameter tingkat pembelajaran atau learning rate, dimana tingkat pembelajaran merupakan parameter yang berfungsi untuk meningkatkan kecepatan belajar dari jaringan backpropagation [4] .

## 2.5 MATLAB (Matrix Laboratory)
Matlab  (Matrix  Laboratory) adalah  bahasa  pemograman  tingkat  tinggi,  tertutup  dan case  sensitive dalam  lingkungan komputensi numeric yang dikembangkan oleh MathWorks. Salah satu kelebihan yang paling baik adalah membuat grafik. Matlab ini  dapat  membantu  memecahkan  berbagai  permasalahan  matematika  baik  perhitungan  biasa,  simulasi  fungsi maupun permodelan matematika. Matlab menyediakan fungsi khusus untuk menyelesaikan model jaringan saraf tiruan, pemakaian hanya tinggal memasukkan vector masukan, target, model dan parameter yang diinginkan [10].
Gambar 1. Software MATLAB R2011a

## 3. HASIL DAN PEMBAHASAN

## 3.1 Pendahuluan
Hasil penelitian disajikan sesuai dengan penelitian yang telah penulis lakukan. Sumber data penelitian diperoleh dari CV. Bona Tani Kecamatan Hatonduhan. Data yang digunakan pada penelitian ini adalah jumlah penjualan kelapa sawit dari tahun 2017-2020.
Tabel 1. Data Penjualan Kelapa Sawit
No Bulan 2017 2018 2019 2020 1. Januari 187237 203950 191500 189799 2. Februari 168994 201557 192153 161949 3. Maret 184432 199560 193489 145447 4. April 129887 156890 178451 138507 5. Mei 156969 168925 188524 125162 6. Juni 187237 203950 191500 189799 7. Juli 168994 201557 192153 161949 8. Agustus 187237 203950 191500 189799 9. September 168994 201557 192153 161949 10. Oktober 184432 199560 193489 145447 11. November 129887 156890 178451 138507 12. Desember 156969 168925 188524 125162
(Sumber : CV. Bona Tani)

## 3.2 Pengeolahan Data

## 3.2.1 Normalisasi Dataset
Untuk melakukan normalisasi data maka harus dicari terlebih dahulu nilai minimum dan maksimum serta selisih nilai maksimum dengan nilai minimum dari data, sehingga di peroleh nilai sebagai berikut :
Nilai Minimum (α) = 125162; Nilai Maksimum ( b ) = 229026;
Maksimum-Minimum (b-a)
= 103864.
Proses normalisasi data dilakukan dengan cara berikut: x 1.1 = 0,8(𝑋−𝑎) 𝑏−𝑎 +0,1 = 0,8(181920-125162) 103864 +0,1 = 0.5372
x 1.2 = 0,8(𝑋−𝑎) 𝑏−𝑎 +0,1 = 0,8(171994-125162) 103864 +0,1 = 0.4607
x 1.3 = 0,8(𝑋−𝑎) 𝑏−𝑎 +0,1 = 0,8(169775-125162) 103864 +0,1 = 0.4436
Dari perhitungan normalisasi pada data tersebut, kemudian data dimasukkan kedalam tabel dan untuk perhitungan normalisasi data selanjutnya dilakukan dengan cara yang sama. Dalam kasus data ditransformasikan ke dalam range 0 – 1 karena jaringan menggunakan fungsi aktivasi sigmoid biner. Adapun dataset yang sudah di normalisasi dapat dilihat pada tabel 2 berikut :
Tabel 2. Normalisasi Data No. Bulan 2017 2018 2019 2020 1. Januari 0.5371717  0.460717862  0.443626281  0.397427 2. Februari 0.3205808 0.41109913 0.467549873 0.38324 3. Maret 0.8298236  0.675429408  0.680682431  0.627497 4. April 0.7182777  0.760386659  0.624262497  0.579835 5. Mei 0.5576369  0.838781483  0.615235308 0.50915 6. Juni 0.4864053  0.409389201  0.599068012  0.692105 7. Juli 0.6294385  0.537787876  0.607093892 0.9 8. Agustus 0.5781252  0.706855118  0.610960487  0.597859 9. September  0.4376107  0.688423323  0.615990141  0.383347 10. Oktober 0.5565201 0.67304167 0.626280521  0.256243 11. November  0.1363937  0.344381114 0.51045213 0.202788 12. Desember 0.3449896  0.437079257  0.588038204 0.1
Data akan dibagi menjadi 2 bagian, yakni data pelatihan (training) dan data pengujian (testing) . Dalam hal ini data pelatihan dan pengujian akan menggunakan sumber data yang sama. Data pelatihan menggunakan data dari tahun 2017 – 2018 dengan target tahun 2019. Sedangkan untuk data pengujian menggunakan data dari tahun 2018- 2019 dengan target tahun 2020.

## 3.2.2 Implementasi Backpropagation
Pengukuran  dan  perbandingan  prediksi  data  akan  didapat  setelah  melakukan  tahapan-tahapan  implementasi Backpropagation dengan software MATLAB :
Input : 2 Arsitektur : 1 hidden layer Goal : 0.001 Maksimum Epoch : 500000 Learning Rate : 0.1
Gambar 2. Pelatihan Menggunakan Model Arsitektur 2-5-1 LR 0.1
(Sumber : data olahan)
Gambar 3. Pelatihan Arsitektur 2-5-1 LR 0.1 Mencapai Goal
Pada gambar  2 dijelaskan bahwa model arsitektur 2-5-1 dengan learning rate 0.1 menghasilkan epoch 155184 dalam waktu 34 menit 45 detik. Hasil akurasi dari pelatihan menggunakan model arsitektur 2-5-1 dapat dilihat pada tabel berikut ini :
Tabel 2. Hasil Akurasi Data Training dengan Model Arsitektur 2-5-1 Learning Rate 0.1
Pelatihan No.  Target Output Error SSE 1. 0.4436  0.527716 -0.08409 0.007071051 2. 0.4675  0.528416 -0.06087 0.003704726
Pelatihan No.  Target Output Error SSE 3. 0.6807  0.686616 -0.00593 0.000035213 4. 0.6243  0.615028 0.009234 0.000085272 5. 0.6152  0.632871 -0.01764 0.000311035 6. 0.5991  0.527391 0.071677 0.005137526 7. 0.6071  0.589125 0.017969 0.000322881 8. 0.6110  0.611044  -8.39E-05  0.000000007 9. 0.6160  0.623797 -0.00781 0.000060948 10. 0.6263  0.607366 0.018914 0.000357743 11. 0.5105  0.508985 0.001467 0.000002153 12. 0.5880  0.530819 0.057219 0.003274026 Total 0.0204 MSE 0.0017
Tabel 3. Hasil Akurasi Data Testing dengan Model Arsitektur 2-5-1 Learning Rate 0.1 Pelatihan No. Target Output Error SSE Hasil 1. 0.3974  0.525651 -0.12822 0.016441 1 2. 0.3832  0.529631 -0.14639 0.021430 1 3. 0.6275  0.620576  0.006921  0.000048 1 4. 0.5798 0.67296 -0.09312 0.008672 1 5. 0.5092  0.692934 -0.18378 0.033776 1 6. 0.6921  0.560599  0.131507  0.017294 0 7. 0.9000  0.577092  0.322908  0.104270 0 8. 0.5979  0.649953 -0.05209 0.002714 1 9. 0.3833  0.639186 -0.25584 0.065453 1 10. 0.2562  0.629405 -0.37316 0.139250 1 11. 0.2028  0.535544 -0.33276 0.110726 1 12. 0.1000  0.557737 -0.45774 0.209523 1 Total 0.7296 83% MSE 0.0608 Untuk parameter yang digunakan pada arsitektur Backpropagation adalah sebagai berikut :
Input : 2 Arsitektur : 1 hidden layer Goal : 0.001 Maksimum Epoch   : 500000 Learning Rate : 0.1; 0.2; dan 0.3 Hidden layer : 5, 6 dan 7 neuron
3.3 Hasil Percobaan

## 3.3.1 Hasil Implementasi Backpropagation
Hasil percobaan ini dilakukan secara individu oleh peneliti. Model arsitektur jaringan yang digunakan pada penelitian ini ada 3 arsitektur, antara lain 2-5-1, 2-6-1, dan 2-7-1. Berikut adalah tabel hasil akurasi dan Mean Square Error (MSE) dari 3 model arsitektur Backpropagation yang telah diuji.
Tabel 4. Hasil Rekapitulasi Model Arsitektur Backpropagation
Model Arsitektur Learning Rate Training Testing Epoch MSE MSE Waktu Akurasi 2-5-1 0.1 155184  0.0017  0.0608 34:45 83% 2-5-1 0.2 131720  0.0010  0.0611 22:54 83% 2-5-1 0.3 61472 0.0010  0.0565 07:48 83% 2-6-1 0.1 455356  0.0017  0.0662  04:14:21 83% 2-6-1 0.2 287754  0.0010  0.0952  01:49:57 92% 2-6-1 0.3 8452 0.0010  0.0706 00:54 83% 2-7-1 0.1 284736  0.0010  0.2214  01:51:40 83% 2-7-1 0.2 167651  0.0010  0.2516 38:05 83% 2-7-1 0.3 1587 0.0010  0.0575 00:11 83%
Dari pengujian diatas didapat hasil terbaik dengan pengujian sebanyak 3 arsitektur dan 3 Learning Rate . Terlihat bahwa arsitektur terbaik yaitu arsitektur 2-7-1 dengan learning rate 0.3 menghasilkan nilai akurasi sebesar 83%, MSE training 0.0010, nilai epoch 1587, MSE testing 0.0575.

## 4. KESIMPULAN
Dari  hasil  penelitian  yang  dilakukan  dengan  menggunakan  data  jumlah  penjualan  kelapa  sawit  dari  tahun 2017-2020, implementasi Backpropagation +  optimasi learning  rate lebih  baik  dibandingkan  hanya  menggunakan  implementasi Backpropagation . Hasil uji coba yang dilakukan dengan software MATLAB model arsitektur terbaik adalah model 2-7-1 dengan learning rate 0.3 dengan jumlah nilai akurasi sebesar 83%, MSE training 0.0010, nilai epoch 1587, MSE testing 0.0575. semakin kecil nilai learning rate akan menjadikan tingkat epoch semakin besar. Peningkatan nilai learning rate belum tentu membuat arsitektur menjadi tidak stabil.

## REFERENCES
[1] Y.  Andriani,  A.  Wanto,  and  H.  Handrizal,  “Jaringan  Saraf  Tiruan  dalam  Memprediksi  Produksi  Kelapa  Sawit  di  PT.  KRE Menggunakan  Algoritma  Levenberg  Marquardt,” Pros.  Semin.  Nas.  Ris.  Inf.  Sci. ,  vol.  1,  no.  September,  p.  249,  2019,  doi: 10.30645/senaris.v1i0.30.
[2] M. H. Dar, “Penerapan Metode Backpropagation Neural Network Untuk Memprediksi Produksi Air,” Maj. Ilm. INTI , vol. 12, no. 2, pp. 203–208, 2017.
[3] A.  Wanto,  “Optimasi  Prediksi  Dengan  Algoritma  Backpropagation  Dan  Conjugate  Gradient  Beale-Powell  Restarts,” J.  Nas. Teknol. dan Sist. Inf. , vol. 3, no. 3, pp. 370–380, 2018, doi: 10.25077/teknosi.v3i3.2017.370-380.
[4] M. Khairani, “Improvisasi Backpropagation menggunakan penerapan adaptive learning rate dan parallel training,” TECHSI - J. Penelit. Tek. Inform. , vol. 4, no. 1, pp. 157–172, 2014.
[5] L. Manalu, A. P. Harianja, T. Informatika, U. St, J. Setia, and B. No, “Artificial Intelligence ( AI ) Susun Angka Bentuk Kotak 4 X 4 Menggunakan Pencarian Heuristik Dengan Algoritma Bfs,” vol. 03, no. 479, pp. 6–11, 2018.
[6] E.  Y.  Puspaningrum  and  L.  S.  Qolby,  “Optimasi  jaringan  saraf  tiruan  untuk  diagnosis  penyakit  diabetes  indian  pima,” TEKN0LOGI , vol. 6, no. 1, pp. 49–54, 2016.
[7] A. P. Parlina, Iin; Wanto, Anjar; Windarto, “Pemilihan Model Arsitektur BackPropogration terbaik pada Prediksi Ekspor Industri Non Migas,” Semin. Nas. Apl. Teknol. Inf. 2019 , pp. A8–A16, 2019.
[8] S. P. Siregar, A. Wanto, and Z. M. Nasution, “Analisis Akurasi Arsitektur JST Berdasarkan Jumlah Penduduk Pada Kabupaten / Kota di Sumatera Utara,” Sensasi 2018 , no. Juli, pp. 526–536, 2018.
[9] F. Aofa, “SISTEM DETEKSI DINI PENYAKIT DIABETES MELLITUS MENGGUNAKAN JARINGAN SYARAF TIRUAN BACKPROPAGATION  DENGAN  ADAPTIVE  LEARNING  RATE  DAN  OPTIMASI  BOBOT  PARTICLE  SWARM OPTIMIZATION,” 2017.
[10]  L. Sinaga, E. Irawan, and W. Saputra, “Penerapan Jaringan Saraf Tiruan Metode Backpropogation Dalam Memprediksi Distribusi Air Pada PDAM Tirtauli Kota Pematangsiantar,” vol. 2, pp. 161–168, 2020.