## JEPIN
(Jurnal Edukasi dan Penelitian Informatika)
ISSN(e): 2548-9364 / ISSN(p) : 2460-0741

## Tuning Hyperparameter pada Gradient Boosting untuk Klasifikasi Soal Cerita Otomatis
Umi Laili Yuhana #1 , Ayu Purwarianti *2 , Imamah +3
# Departemen Teknik Informatika, Fakultas Teknik Elektro dan Informatika Cerdas, Institut Teknologi Sepuluh Nopember Jl. Teknik Kimia, Keputih, Kec. Sukolilo, Kota SBY, Jawa Timur
1 yuhana@if.its.ac.id
* Sekolah Teknik Elektro dan Informatika, Institut Teknologi Bandung Jl. Ganesa No.10, Lb. Siliwangi, Kecamatan Coblong, Kota Bandung, Jawa Barat
2 ayu@informatika.org + Jurusan Teknik Informatika, Fakultas Teknik, Universitas Trunojoyo Madura Jl. Raya Telang, Perumahan Telang Inda, Telang, Kec. Kamal, Kabupaten Bangkalan, Jawa Timur
3 i2m@trunojoyo.ac.id
Abstrak— Soal adalah susunan pertanyaan yang dibuat untuk menguji  keberhasilan  dari  pembelajaran  siswa.  Bagi manusia, membedakan soal penjumlahan dengan pengurangan  sangat  mudah,  namun  tidak  halnya  dengan mesin. Mesin  membutuhkan pembelajaran untuk mengenali soal cerita apakah termasuk penjumlahan atau pengurangan. Kebutuhan  mesin  untuk  mengenali  soal  cerita  biasanya diterapkan dalam pembuatan sistem E-learning. Berdasarkan  dari  masalah  ini,  maka  digunakan  metode gradient boosting untuk mengklasifikasikan soal cerita. Kelas target atau label dari klasifikasi terdiri dari empat kelas yaitu penjumlahan,  pengurangan,  perkalian,  pembagian,  dan campuran.  Soal cerita diambil dari buku matematika untuk kelas  tiga  sampai  kelas  enam  Sekolah  Dasar.  Guru Sekolah Dasar (SD) melabeli soal cerita, dan dijadikan sebagai dataset untuk  pembelajaran  dari  machine  learning.  Dataset kemudian di preprocessing, ekstraksi fitur dengan menggunakan  TF-IDF  dan selanjutnya  dibagi menjadi  data training dan data testing dengan menggunakan K-fold cross validation dengan nilai K[5,10,20]. Performa metode gradient boosting  dalam  mengklasifikasikan  soal  matematika  diukur dengan menggunakan akurasi. Akurasi didapatkan dari hasil perbandingan  dari  label  yang  diprediksi  oleh  machine learning dengan label dari pakar yaitu guru SD. Berdasarkan hasil  percobaan  pada  500  data  soal  cerita,  diperoleh  hasil akurasi  terbaik  sebesar  75,8%  pada  saat  K=20  dengan hyperparameter gradient boosting N_estimator=100, max_depth=9 dan learning rate=0,15.
Kata kunci — Soal Cerita, Klasifikasi, Gradient Boosting, Grid Search, Akurasi

## I. P ENDAHULUAN
Klasifikasi teks adalah cara melakukan klasifikasi pada data  berupa  teks  yang  dilakukan  secara  otomatis  dengan memanfaatkan  kemampuan  dari machine  learning . Klasifikasi teks meliputi banyak bidang penerapan seperti klasifikasi  berita,  klasifikasi  cerpen,  klasifikasi  sentimen, dan  klasifikasi  soal  seperti  yang  dilakukan  penelitian
sebelumnya[1] . Soal  cerita  adalah  soal  terapan  dari  suatu pokok  bahasan  yang  dihubungkan  dengan  kehidupan sehari-hari[2].  Penyajian  soal  dalam  bentuk  cerita merupakan usaha untuk memberikan gambaran penerapan keilmuan dalam kehidupan sehari-hari, diharapkan dengan cara  ini  akan  meningkatkan  pemahaman  siswa  tentang konsep  suatu  bahasan.  Soal  cerita  melatih  siswa  berpikir secara  analisis,  melatih  kemampuan  menggunakan  tanda operasi hitung seperti penjumlahan, pengurangan, perkalian  dan  pembagian.    Pembelajaran  soal  cerita bertujuan  untuk  melatih  siswa  berpikir  deduktif  dengan menghubungkan kejadian sehari-hari dengan pengetahuan matematika yang dipelajari di sekolah.
Makin  canggihnya  teknologi,  kebutuhan  otomatisasi juga  makin  tinggi.  E-learning  membutuhkan  bank  soal untuk  menguji  kemampuan  siswa.  Bank  soal  berisi kumpulan  soal  dari  berbagai  buku  ajar.  Semakin  banyak soal  yang  tersimpan  dalam  E-learning,  maka  kebutuhan otomatisasi untuk mengklasifikasikan soal sangat dibutuhkan. Klasifikasi soal akan memudahkan E-learning untuk memberikan soal sesuai dengan kategori soal tanpa perlu  ditentukan  secara  manual  label  atau  jenis  soal. Tantangan  klasifikasi  soal  cerita  matematika  lebih kompleks  dibandingkan  dengan  soal  pada  mata  pelajaran lainnya.  Hal  ini  karena  seorang  siswa  harus  benar-benar memahami  operasi  matematika  yang  terdapat  pada  soal. Pada penelitian ini, kemampuan guru dalam mengkategorikan  soal  akan  dijadikan  sebagai  proses pembelajaran  dari machine  learning yang  digunakan. Tujuan dari pembelajaran ini untuk membuat mesin dapat melakukan  klasifikasi  otomatis  dengan  mempelajari  data yang dilabeli oleh guru.
Sebagaimana  diketahui,  klasifikasi  teks  memiliki tantangan  tersendiri  dalam  memproses  data  tidak terstruktur.  Data  tidak  terstruktur  adalah  data  yang  tidak memiliki  struktur secara spesifik, dan nilai dari data akan
didapatkan  setelah  melalui prepocessing ,  seperti  data teks[3].  Teks  tidak  memiliki  nilai,  sebagaimana  dataset pada  umumnya,  sehingga  harus  diproses  dengan pendekatan Natural Language Processing dan vector space model untuk dapat menghasilkan nilai vektor.
Metode  yang  digunakan  dalam  penelitian  ini  adalah gradient  boosting . Gradient  boosting menurut  penelitian yang dilakukan oleh Khe Foon Hew merupakan classifier dengan  performa  terbaik  untuk  klasifikasi  sentimen  yang juga merupakan data teks dan tidak terstruktur[4]. Namun belum  ada  yang  menggunakan  metode  ini  untuk mengklasifikasikan  soal  matematika,  sehingga  pada penelitian ini digunakan gradient boosting untuk klasifikasi soal  berdasarkan  operasi  matematika  yang  terdapat  pada soal. Gradient  boosting memiliki  banyak  parameter, sehingga tuning  hyperparameter diperlukan  untuk mendapatkan  parameter  paling  optimal.  Hal  inilah  yang menjadi latar belakang digunakan grid search untuk tuning hyperparameter.
II. G RADIENT B OOSTING DAN G RID S EARCH Pada  subbab  ini  akan  dijelaskan  mengenai  metode gradient boosting dan tuning hyperparameter menggunakan grid search .

## A. Gradient Boosting
Gradient  Boosting adalah  salah  satu  contoh  metode machine  learning  dengan  teknik ensemble .  Pendekatan ensemble dilakukan  dengan  menggabungkan  dua  metode machine learning untuk mendapatkan performa yang lebih baik  dibandingkan  dengan  menggunakan  satu  metode. Tujuan  dari ensemble adalah  mengatasi  kelemahan  yang terdapat  pada classifier yang  satu  dengan  menggunakan kelebihan  dari classifier yang  lain. Ensemble  learning terbukti  mampu  meningkatkan  performa  klasifikasi[5]. Kang  et  al  [6]    menggunakan  metode ensemble  learning hidden  markov  model untuk  peningkatan  hasil  klasifikasi berbasis teks, hasil akurasi dari penelitian ini terbukti lebih baik dibandingkan metode single classifier . Zhang et al [7] mengusulkan ensemble learning pada klasifikasi sentimen. Hasil penelitian dari zhang menunjukan ensemble learning dapat  menggabungkan  prediksi  beberapa  pengklasifikasi untuk  mencapai  performa  yang  lebih  baik,  yang memastikan  kemampuan  generalisasi  dan  stabilitas  hasil klasifikasi.  Berdasarkan  beberapa  hal  tersebut,  maka penelitian  ini  juga  menggunakan  metode ensemble yang cukup popular saat ini yaitu gradient boosting . Gradient  boosting merupakan  metode ensemble yang dibangun  berdasarkan  algoritma decision  tree . Gradient boosting memiliki kelebihan diantaranya dapat digunakan untuk  semua  jenis  data,  memiliki  ketahanan  dalam menangani  data  pencilan  ( outlier )  dan  memiliki  hasil prediksi  yang  baik.  Selain  kelebihan  tersebut, gradient boosting juga memiliki kelemahan dalam skalabilitas. Hal ini  disebabkan  karena  metode  ini  bersifat  sekuensial  atau berurutan.  Algoritma  dari gradient  boosting berdasarkan artikel yang ditulis Friedman[8] sebagai berikut.

## Algoritma Gradient Boosting
1: Input data (x, y) i=1 N
2: Tentukan jumlah iterasi (M)
3: Tentukan Loss Function (L)
4: Tentukan model dari base learner h(x, θ)
5: Inisialisasi nilai f 0 6: For t=1 to M do
7: Hitung nilai gradient negatif g t (x)
8: Ambil nilai baru untuk base learner h(x, θ t ) 9: Cari nilai gradient descent terbaik ρ t ρt = arg min ρ ∑ 𝐿[ 𝑁 𝑖=1 y i , ft-1(x i ) + ρh(x i , θ t )] 10: lakukan update parameter pada fungsi estimasi: f t ← f t-1 + ρ t h(x, θ t ) 11: End for

## B. Grid Search
Grid search adalah teknik untuk menemukan parameter terbaik  dari machine  learning yang  memiliki  banyak parameter  ( hyperparameter )[9].  Pencarian  parameter terbaik memerlukan pengujian yang berkali-kali, sehingga dibutuhkan  metode  yang  dapat  mempercepat  pencarian parameter  terbaik,  salah  satunya  adalah grid  search . Metode  ini  dapat  digunakan  pada  sekumpulan  parameter yang ditentukan nilai batas atas dan batas bawah dari setiap variabel independen[10].

## III. M ETODOLOGI
Ada beberapa tahapan yang dilakukan dalam penelitian ini  untuk  mengetahui  kinerja  algoritma gradient boosting dan  parameter  terbaik  untuk  mengklasifikan  soal  cerita matematika.  Langkah-langkah  tersebut  dijelaskan  dalam Gambar 1.
Gambar. 1  Tahapan penelitian

## A. Data Collection
Pengumpulan data diawali dengan mengumpulkan buku paket  matematika  untuk  sekolah  dasar  dari  kelas  tiga sampai  kelas  6.  Soal  dengan  tingkat  kompleksitas  yang sama,  kemudian  dikumpulkan  dan  dilabeli  oleh  guru matematika.  Dataset  terdiri  dari  500  data,  yang  dibagi menjadi  lima  kelas  yaitu  penjumlahan,  pengurangan, perkalian,  pembagian  dan  soal  campuran.  Contoh  dari masing-masing kelas dataset dapat dilihat pada tabel I.
TABEL I S AMPLE D ATASET
Soal Label Di meja ada 4 buah apel. Lalu ibu meletakkan 2 buah apel lain. Berapa banyak apel di meja sekarang? Penjumlahan Ibu  mempunyai  5  buah  apel.  Dimakan  adik  2  buah. Berapa sisa buah apel ibu? Pengurangan Ibu  Rini  membuat  kue  sebanyak  8  loyang.  Setiap loyang berisi 9 kue. Berapa kue yang dapat dibuat ibu Rini? Perkalian Pak  Tanjung  memetik  21  buah  kelapa  dari  seluruh pohon  miliknya.  Dari  setiap  pohon  dipetik  7  buah kelapa. Jika kamu disuruh menghitung, berapa batang pohon kelapa yang dimiliki Pak Tanjung? Pembagian
Nina  mempunyai  5  buah  boneka.  Diberikan  kepada tami 2 buah. Ayah membelikan nina 1 buah boneka.
Berapa boneka nina sekarang?
Campuran

## B. Data Preprocessing
Tahapan  ini  sangat  penting  dilakukan  pada  data  teks. Teks  merupakan  jenis  data  tidak  terstruktur  karena  tidak dapat dibedakan dimensi dari data dalam bentuk baris dan kolom[11]. Lebih  ringkasnya dijelaskan pada tabel  II  dan III.
TABEL III D ATA T IDAK T ERSTRUKTUR
Nina  mempunyai  5  buah  boneka.  Diberikan  kepada  tami  2  buah. Ayah  membelikan  nina  1  buah  boneka.  Berapa  boneka  nina sekarang?
Pada data tidak terstruktur tidak dapat  dibedakan dimensi data,  semua  menjadi  satu  kolom.  Sedangkan  pada  data terstruktur,  dimensi  data  dapat  dibedakan  dengan  jelas, seperti  pada  tabel  III,  diketahui  bahwa  data  memiliki  3 dimensi yaitu dimensi ID , dimensi Nama dan dimensi Umir .
TABEL IIIII D ATA T ERSTRUKTUR ID Nama Umur (Tahun) 001 Boby 20 002 Bobo 30
Tahapan data  preprocessing meliputi  empat  proses  yaitu cleaning menggunakan case folding , tokenizing , stopword removal untuk filtering dan stemming [12]. Jika diaplikasikan  pada  dataset  soal  cerita  hasilnya  ditunjukan oleh  tabel  IV,  V,  VI,  dan  VII.  Namun  ada  beberapa modifikasi preprocessing yang dilakukan agar angka tidak hilang namun disimpan dalam array.
TABEL IVV T AHAP CL EANING F ASE C ASE F OLDING
Soal Case Folding Nina mempunyai 5 buah boneka.  Diberikan  kepada  tami 2 buah. Ayah membelikan nina 1  buah  boneka.  Berapa  boneka nina sekarang?
nina mempunyai 5 buah      bon eka diberikan kepada     tami 2
buah ayah membelikan nina 1 b uah     boneka berapa boneka ni na sekarang
Tabel IV mencotohkan proses cleaning menggunakan case folding .  Dimana  didalam  case  folding  dilakukan  proses mengubah  soal  cerita  menjadi  huruf  kecil  dan
mempertahankan  angka  dengan  menggunakan  library regular expression . Hasil kata yang telah dilakukan proses cleaning akan  dijadikan  term  atau  token  melalui  proses tokenisasi,  seperti  ditunjukkan  pada  Tabel  V.  Hasil tokenisasi kemudian dilakukan filtering untuk menghilangkan stopword atau  kata-kata  yang  sering muncul dan kurang memiliki makna. Seperti pada tabel VI stopword  yang  dihilangkan  adalah  kata kepada dan sekarang .  Hasil  filtering  selanjutnya  akan  di stemming untuk mendapatkan kata dasar dari setiap token atau term , sebagaimana ditampilkan pada tabel VII.
TABEL V T AHAP T OKENISASI Soal Tokenisasi nina mempunyai 5 buah boneka  diberikan  kepada  tami 2 buah ayah membelikan nina 1 buah  boneka  berapa  boneka nina sekarang ['nina', 'mempunyai', '5', 'buah', 'boneka',
'diberikan', 'kepada', 'tami', '2', 'buah', 'ayah', 'membelikan', 'nina', '1', 'buah', 'boneka', 'berapa', 'boneka', 'nina', 'sekarang'] TABEL VI T AHAP F ILTERING ( S TOPWORD R EMOVAL )
Soal Filtering ['nina', 'mempunyai', '5', 'buah', 'boneka', 'diberikan', 'kepada', 'tami', '2', 'buah', 'ayah', 'membelikan', 'nina', '1', 'buah',
'boneka', 'berapa', 'boneka', 'nina', 'sekarang']
['nina', 'mempunyai',
'5', 'buah', 'boneka',
'diberikan', 'tami', '2',
'buah',
'ayah', 'membelikan', 'nina', '1',
'buah',
'boneka', 'berapa', 'boneka', 'nina']
TABEL VII T AHAP S TEMMING Soal Stemming 'nina mempunyai 5 buah boneka diberikan  tami  2  buah  ayah membelikan nina 1 buah boneka berapa boneka nina' 'nina punya 5 buah boneka beri tami 2 buah ayah beli  nina 1 b uah boneka berapa   boneka nin a'

## C. Ekstraksi Fitur
Ekstraksi  fitur  dalam text  mining diperlukan  untuk tujuan konversi dari karakter atau teks menjadi angka atau numerikal. Pada penelitian ini digunakan metode ekstraksi fitur TF-IDF.
Pembobotan  TF-IDF  memadukan g dua  pendekatan, yaitu g TF( Term  Frequency) g dan  IDF( Inverse  Document Frequency. g TF  bertujuan  untuk g menghitung  banyaknya kemunculan kata dalam sebuah dokumen. IDF sendiri g bertujuan  untuk  menghitung g kata  yang  jarang muncu1  dalam  dokumen.  Tahapan  Pembobotan  kata dengan TF-IDF yaitu[13]:
1. Menghitung weighting  term  frequency dengan persamaan:
𝑊 𝑡𝑓 𝑡,𝑑 =   { 1 0, +  𝑙𝑜𝑔 10 𝑥 𝑡𝑓 𝑡,𝑑, if 𝑡𝑓 𝑡,𝑑 > 0 (1)
2. Menghitung document g frequency yang  merupakan jumlah dokumen yang g memuat suatu kata.
3. Menghitung
inverse document g frequency dengan g persamaan:
𝑖𝑑𝑓 𝑡 =   𝑙𝑜𝑔 10 ( 𝑁 𝑑𝑓 𝑡 ) (2)
4. Menghitung TF-IDF g dengan persamaan
𝑊 𝑡,𝑑 =   𝑊 𝑡𝑓,𝑡𝑑 × 𝑖𝑑𝑓 𝑡 (3) Keterangan :
𝑊 𝑡𝑓𝑡𝑑 :Bobot g Frekuensi 𝑡𝑓 𝑡,𝑑 :Term Frekuensi 𝑖𝑑𝑓 𝑡 g :Nilai inverse g document frequency 𝑁 :Banyak k dokumen 𝑑𝑓 𝑡 :Banyak g dokumen yang mengandung g suatu term 𝑊 𝑡,𝑑 :Nilai g bobot TF-IDF

## D. Metode Sampling
Pemilihan  data  training  dan  data  testing  dilakukan dengan  menerapkan  metode  sampling  K- fold Cross Validation [14]. Metode ini bisa mengindikasikan seberapa baik  model  dalam  memprediksi  data  yang  belum  pernah dilihat,  untuk  mengetahui  fenomena overfitting .  Dataset akan dibagi secara acak menjadi 5, 10 dan 20 fold atau nilai K=[5,10,20].  Total  dataset  pada  penelitian  ini  500  data. Untuk  K=5  maka  setiap fold berisi  100  data.  Secara sederhana digambarkan seperti tabel VIII.
TABEL VIII K-F OLD C ROSS V ALIDATION DENGAN K=5 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100 100
Fold pertama  berisi  100  data  dijadikan  sebagai  data testing. Fold kedua sampai keempat dijadikan sebagai data training.  Begitupun  dengan  pengujian  berikutnya, fold yang  di  blok  kuning  dijadikan  sebagai  data testing , sedangkan fold lainnya sebagai data training .

## IV. H ASIL E KSPERIMENT
Bagian  ini  membahas  lingkungan  sistem  yang digunakan untuk melakukan pengujian, dataset preprocessing dan ekstraksi fitur serta hasil dari pengujian.

## A. Lingkungan Sistem
Penelitian  ini  di  uji  pada  notebook  Asus  Vivobook dengan  sistem  operasi  Windows  10  Pro  64  bit, Processor Core  i7.  Sedangkan  kakas  bantu  yang  digunakan  untuk melakukan dataset preprocessing adalah Jupyter Notebook, dengan beberapa library utama yaitu:
1. Pandas untuk  membaca  dataset  yg  disimpan  dalam bentuk  CSV,  serta  menampilkan  data  dalam  bentuk DataFrame.
2. Regex ,  digunakan  untuk  menghilangkan  tanda  baca yang tidak mengandung arti seperti titik, koma, tanda tanya,  dan  untuk  mengambil  angka  dari  kumpulan term dalam soal cerita.
3. Spacy , digunakan untuk menghapus stopword dalam bahasa Indonesia.
4. Sastrawi , digunakan untuk proses stemming.
5. Sklearn ,  digunakan  untuk  model selection , feature extraction , gradient  boosting , classification  report , dan grid search .

## B. Dataset Preprocessing
Soal  cerita  matematika  merupakan  kasus  klasifikasi teks yang tidak sederhana, selain ada term atau kata yang harus  di  ekstrak,  juga  terdapat  angka  yang  tidak  boleh dihilangkan  seperti  pada  kasus  klasifikasi  teks  pada umumnya.  Angka  merupakan  salah  satu  fitur  penting dalam soal cerita. Untuk melakukan pemisahan angka dari kalimat  dengan  menggunakan library  regex (regular expression),  angka-angka  ini  kemudian  disimpan  dalam bentuk  array.  Gambar  2,  menunjukan  bagaimana  proses pengambilan angka dari kalimat soal.
Pada  penjelasan  sebelumnya  langkah  dan  contoh preprocessing  telah diberikan. Selanjutnya  Tabel  IX akan menunjukkan  hasil  konversi  teks  ke  dalam  angka  dengan menggunakan TF-IDF.
TABEL IX E KSTRAKSI F ITUR DENGAN S KLEARN TF-IDF Term TF-IDF berapa 0,17407765595569785 beli 0,17407765595569785 ayah 0,17407765595569785 tami 0,17407765595569785 beri 0,17407765595569785 boneka 0,5222329678670935 buah 0,5222329678670935 punya 0,17407765595569785 nina 0,5222329678670935
Gambar. 2  Penerapan regex untuk memisahkan angka dari kalimat soal.

## C. Hasil Penerapan Grid Search dan Gradient Boosting
Pada  bagian  ini  akan  dijelaskan  hasil  dari  penerapan grid search dan gradient boosting pada dataset soal cerita. Grid search akan mencari parameter paling optimal untuk menghasilkan nilai akurasi yang paling baik dengan proses tuning.  Parameter  yang  digunakan  untuk  tuning ditunjukkan pada Tabel X.
TABEL X P ARAMETER TUNING G RADIENT B OOSTING Parameter Range Nilai Learning_rate [0.15,0.1,0.05,0.01,0.005,0.001] n_estimators [50,100,250,300,400,500] max_depth [1,3,5,7,9]
Learning rate adalah parameter dari gradient boosting yang memiliki fungsi yang sama dengan learning rate pada gradient  descent .  Pada  dasarnya gradient  boosting mengusung  prinsip  kerja  dari gradient  descent yang dipadukan  dengan  teknik boosting .  Fungsi  dari learning rate adalah  untuk  merubah  nilai  gradien  menggunakan fungsi skalar [15]. Sebagai contoh, semisal nilai dari vector gradien adalah 2,0 dan learning rate yang digunakan 0,01, maka titik gradient selanjutnya akan berjarak 0,02 dari titik awal.
Estimator  merupakan  parameter  untuk  menentukan berapa  jumlah tree yang  akan  digunakan.  Parameter n_estimator  adalah  jumlah  total  dari tree yang  dibentuk oleh setiap subset data[16].
Parameter max_depth merupakan  kedalaman  dari tree yang dibentuk  dan memiliki  nilai yang berbeda, sehingga penentuan max_depth akan  mengatur  jumlah  maksimal kedalaman yang dibentuk oleh tree . Selain itu, max_depth ini bertujuan untuk mencegah overfitting [16].
Setelah  pengaturan  range  nilai  yang  akan  dijadikan sebagai  parameter gradient  boosting ,  selanjutnya  adalah menentukan  nilai  K  pada cross  validation .  Nilai  K  yang digunakan  yaitu  [5,10,  20].  Hasil  akurasi  terbaik  pada setiap fold dari  penerapan grid  search dan gradient boosting pada penelitian ini ditunjukkan pada tabel XI.
TABEL XI H ASIL A KURASI T ERBAIK UNTUK S ETIAP F OLD PADA G RADIENT B OOSTING K- Fold Estimator Max_dept Learning Rate Accuracy 5 100 9 0,15 73,9 10 100 9 0,1 75,5 20 100 9 0,15 75,8
Berdasarkan  hasil  akurasi  pada  tabel  XI,  diketahui bahwa akurasi terbaik didapatkan pada saat K=20 dengan hyperparameter  gradient  boosting n _ estimator=100, max_depth =9 dan learning rate =0.15 dengan hasil akurasi 75.8%.
Sebagaimana  konsep  umum  yang  dipahami,  ketika menggunakan metode sampling K- Fold Cross Validation , nilai akurasi yang diambil adalah nilai rata-rata dari akurasi setiap fold . Pada penelitian ini, tabel XII menampilkan hasil akurasi  pada  setiap fold ,  dari  tabel  dapat  dilihat  bahwa terdapat nilai akurasi yang lebih tinggi dari akurasi rata-rata yaitu 89,5 dan 84,2. Nilai akurasi 89,5 didapatkan pada saat fold =15,  dan learning  rate =[0,15;0,1;  0,5].  Nilai  akurasi 84.2  didapatkan  pada  saat fold =12,  dengan  nilai learning rate =[0,01; 0,005] dan fold =15 dengan learning rate=0,005. Namun karena pada penggunaan K- Fold Cross Validation nilai  akurasi  didapatkan  dari  nilai  akurasi  rata-rata  dari semua  hasil  akurasi  setiap fold ,  sehingga  ketika  K=20, maka  akan  dihitung  nilai  akurasi fold 1  sampai  fold  20, kemudian dibagi dengan n- Fold , sehingga didapatkan nilai akurasi terbaik rata-rata 75,8%.
TABEL XII A KURASI K LASIFIKASI S OAL C ERITA UNTUK K=20
Fold Learning Rate 0,15 0,1 0,05 0,01 0,005 0,001 1 78,9 73,7 84,2 78,9 73,7 68,4 2 73,7 73,7 68,4 63,2 68,4 57,9 3 78,9 84,2 84,2 84,2 73,7 63,2 4 73,7 68,4 68,4 68,4 68,4 63,2 5 84,2 84,2 78,9 78,9 78,9 68,4 6 68,4 68,4 73,7 78,9 73,7 63,2 7 73,7 73,7 73,7 73,7 73,7 68,4 8 84,2 68,4 68,4 73,7 73,7 68,4 9 63,2 52,6 63,2 57,9 57,9 52,6 10 63,2 63,2 68,4 57,9 63,2 63,2 11 73,7 68,4 63,2 63,2 63,2 68,4 12 84,2 73,7 84,2 84,2 84,2 73,7 13 63,2 63,2 68,4 73,7 63,2 47,4 14 63,2 63,2 63,2 63,2 63,2 57,9 15 89,5 89,5 89,5 78,9 84,2 68,4 16 88,9 88,9 77,8 66,7 72,2 77,8 17 77,8 72,2 77,8 83,3 77,8 61,1 18 72,2 72,2 72,2 72,2 72,2 55,6 19 83,3 77,8 83,3 83,3 83,3 72,2 20 77,8 77,8 77,8 72,2 77,8 77,8 75,8 72,9 74,5 72,8 72,3 64,9

## V. K ESIMPULAN
Berdasarkan  penelitian  ini,  dapat  disimpulkan  bahwa Grid  search  mempersingkat  waktu  pengujian  manual dengan  melakukan  tuning  parameter  otomatis.  Dari beberapa parameter yang dijadikan sebagai inputan tuning , didapatkan hasil terbaik pada K=20, dan n_estimator=100, max_depth =9 dan learning rate =0,15 dengan hasil akurasi 75,8%.
Learning  rate yang  semakin  kecil  tidak  menjadi  bukti bahwa  hasil  akurasi  akan  semakin  baik,  terlihat  dari learning  rate  optimal  didapatkan  pada  nilai  0,15, padahal ada  beberapa  nilai  lain  yang  lebih  kecil  seperti [0,1;0,05;0,01;0,005;0,001],  namun  hal  ini  belum  tentu akan berlaku pada dataset yang berbeda.
N_estimator  yang  semakin  tinggi,  yang  juga  berarti bahwa  jumlah  tree  yang  dihasilkan  semakin  banyak  juga tidak berbanding lurus dengan nilai akurasi yang dihasilkan, dari  n_estimator=  [50,  100,  250,  300,  400,    500],  akurasi terbaik didapatkan pada saat n_estimator=100.
Max_depth yang menghasilkan akurasi terbaik adalah 9 dari beberapa nilai max_depth [1,3,5,7,9] yang digunakan dalam  penelitian  ini.  Sehingga  dapat  dikatakan  bahwa semakin tinggi nilai max_depth, semakin baik akurasi yang dihasilkan.
Hasil kesimpulan ini adalah kesimpulan sementara yang dihasilkan  dari  penelitian  dan  dataset  soal  cerita matematika. Hal ini belum tentu akan berlaku pada dataset yang berbeda, sehingga untuk penelitian selanjutnya akan diteliti hasil kesimpulan ini pada dataset yang berbeda dan nilai max_depth yang  lebih  tinggi  dari  sembilan,  untuk mengetahui  dari  kesimpulan  yang  dihasilkan  pada penelitian ini apakah dapat berlaku secara umum atau tidak.

## U CAPAN T ERIMA K ASIH / A CKNOWLEDGMENT
Penulis mengucapkan terima kasih kepada Kementerian Pendidikan,  Kebudayaan,  Riset,  dan  Teknologi  Republik Indonesia/BRIN  untuk  dukungan  pendanaan  melalui Penelitian Pasca Doktor.

## R EFERENSI
[1] V. R. Oktavia, U. L. Yuhana, C. Fatichah, and A. Purwarianti, “WPS: Application for Generating Answer of Word Problem in Bahasa Indonesia,” in 2021 International Conference on ICT for Smart Society (ICISS) , 2021, pp. 1–6.
[2] O.  N.  Fathani,  Sunardi,  and  M.  Irfan,  “Analisis  Level Pertanyaan Pada Soal Cerita Matematika dalam Buku Erlangga Straight  Point  Series  Kelas  V  SD  Berdasarkan  Taksonomi SOLO,” J.  Ilmu  Pendidik.  Sekol.  Dasar ,  vol.  08,  pp.  68–74, 2021.
[3] D.  J.  Haryanto,  L.  Muflikhah,  and  M.  A.  Fauzi,  “Analisis Sentimen Review Barang Berbahasa Indonesia Dengan Metode Support Vector Machine Dan Query Expansion,” J. Pengemb. Teknol. Inf. dan Ilmu Komput. Univ. Brawijaya , vol. 2, no. 9, pp.
2909–2916, 2018.
[4] K. F. Hew, X. Hu, C. Qiao, and Y. Tang, “What predicts student satisfaction with MOOCs: A gradient boosting trees supervised machine  learning  and  sentiment  analysis  approach.,” Comput. Educ. , no. 103724, 2019.
[5] A.  Onan,  S.  Korukoğlu,  and  H.  Bulut,  “A  hybrid  ensemble pruning  approach  based  on  consensus  clustering  and  multi- objective evolutionary algorithm for sentiment classification,” Inf.  Process.  Manag. ,  vol.  53,  no.  4,  pp.  814–833,  2017,  doi: 10.1016/j.ipm.2017.02.008.
[6] M. Kang, J. Ahn, and K. Lee, “Opinion mining using ensemble teks hidden Markov models for text classification,” Expert Syst.
Appl. , vol. 94, pp. 218–227, 2018, doi: 10.1016/j.eswa.2017.07.019.
[7] Y. Zhang, D. Miao, J. Wang, and Z. Zhang, “A cost-sensitive three-way  combination  technique  for  ensemble  learning  in sentiment classification,” Int. J. Approx. Reason. , vol. 105, pp. 85–97, 2019, doi: 10.1016/j.ijar.2018.10.019.
[8] J.  H.  Friedman,  “Greedy  function  approximation:  A  gradient boosting  machine,” Ann.  Stat. ,  vol.  29,  no.  5,  pp.  1189–1232, 2001.
[9] H. H. Parmar, S. Bhanderi, and G. Shah, “Sentiment Mining of Movie  Reviews  using  Random  Forest  with  Tuned Hyperparameters,” 2014.
[10] M.  I.  Gunawan,  D.  Sugiarto,  and  I.  Mardianto,  “Peningkatan Kinerja  Akurasi  Prediksi  Penyakit  Diabetes  Mellitus Menggunakan  Metode  Grid  Seacrh  pada  Algoritma  Logistic Regression,” JEPIN (Jurnal Edukasi dan Penelit. Inform. , vol. 6, no. 3, pp. 280–284, 2020.
[11] Imamah  and  F.  H.  Rachman,  “Twitter  sentiment  analysis  of Covid-19 using term weighting TF-IDF and logistic regresion,” Proceeding - 6th Inf. Technol. Int. Semin. ITIS 2020 , pp. 238– 242, 2020, doi: 10.1109/ITIS50118.2020.9320958.
[12] Imamah,  U.  L.  Yuhana,  A.  Djunaidy,  and  M.  H.  Purnomo, “Development of Text Classification Based on Difficulty Level in  Adaptive  Learning  System  using  Convolutional  Neural Network,” in International Electronics Symposium (IES) , 2021, pp. 238–243.
[13] A.  Z.  Arifin,  Y.  A.  Sari,  E.  K.  Ratnasari,  and  S.  Mutrofin, “Emotion  Detection  of  Tweets  in  Indonesian  Language  using Non-Negative Matrix Factorization,” Int. J. Intell. Syst. Appl. , vol. 6, no. 9, pp. 54–61, 2014, doi: 10.5815/ijisa.2014.09.07.
[14] S.  Mutrofin,  A.  Mu’alif,  R.  V.  H.  Ginardi,  and  C.  Fatichah, “Solution of class imbalance of k-nearest neighbor for data of new student admission selection,” Int. J. Artif. Intell. Res. , vol. 3, no. 2, 2019, doi: 10.29099/ijair.v3i2.92.
[15] S.  Hadinisa, M  Koyimatu,  A  Irawan,  “Analisis  Learning Rate pada Metode Transfer Learning untuk Sistem Pendeteksi Api,” Seminar Nasional Microwave, Antena dan Propagasi (SMAP) 2018 Unpak , 2018, pp. 8–11.
[16] A. Handayani, A. Jamal, and A. A. Septiandri, “Evaluasi Tiga Jenis Algoritme Berbasis Pembelajaran Mesin untuk Klasifikasi Jenis Tumor Payudara,” vol. 6, no. 4, pp. 394–403, 2017.