## Building of Informatics, Technology and Science (BITS)
Volume 4, No 3, Desember 2022 Page: 1625 − 1633 ISSN 2684-8910 (media cetak) ISSN 2685-3310 (media online) DOI 10.47065/bits.v4i3.2635

## Klasifikasi Nama Paket Pengadaan Menggunakan Long Short-Term Memory (LSTM) Pada Data Pengadaan
Fathorazi Nur Fajri 1,* , Syaiful 2
1 Fakultas Teknik, Sistem Informasi, Universitas Nurul Jadid, Probolinggo, Indonesia
2 Fakultas Teknik, Informatika, Universitas Nurul Jadid, Probolinggo, Indonesia Email: 1,* fathorazi@unuja.ac.id  , 2, syaiful@unuja.ac.id Email  Penulis Korespondensi:  fathorazi@unuja.ac.id Submitted: 06/12/2022 ; Accepted: 28/12/2022 ; Published : 30/12/2022
Abstrak− Setiap tahun pemerintah  selalu mengadakan  pengadaan  barang dan jasa (tender) yang diinformasikan  melalui  Layanan Pengadaan  Secara  Elektronik  (LPSE)  atau  Sistem  Informasi  Rencana  Umum  Pengadaan  (SIRUP).  Proses  pemilihan  jenis pengadaan  masih  bersifat  manual  yaitu  dengan memilih  kategori  paket  sehingga memungkinkan  untuk terjadi  keselahan  seperti jenis  pengadaan  jasa  masuk  kedalam  kategori  jenis  pengadaan  barang  atau  sebaliknya.  Oleh  karena  itu  pada  penelitian  ini mengusulkan  untuk  menggunakan  metode  Natural  Language  Processing  (NLP) yang  dapat  mengklasifikasikan  paket  tersebut berdasarkan  kategori  yang  ada. Adapun metode  yang  digunakan  adalah  Long Short-Term  Memory  (LSTM) dengan melakukan perbandingan terhadap  metode klasifikasi  yang ada seperti  Naïve Bayes, Logistic Regression, Decision Tree, XG Boost, Gradient Boost, Random Forest   dan Support Vector  Machine.  Hasil yang diperoleh  metode  LSTM mempunyai  akurasi lebih  tinggi  dari metode lainnya  yaitu dengan akurasi 90.25%. Dengan konfigurasi parameter  100 unit di layer LSTM, epoch 10, batch size 64 dan validation  step 5.
Kata Kunci: Pengadaan; Klasifikasi;  NLP; LSTM
Abstract− Every year the government always holds procurement  of goods and services (tenders) which are informed  through the Electronic  Procurement Service  (LPSE) or the General Procurement  Plan Information System (SIRUP). The process of selecting the type of procurement  is still  manual, namely  by selecting  the package category  so that it is possible for mistakes to occur such as the type of service procurement into the category of goods procurement  type or vice versa. Therefore, this research proposes to use the Natural Language Processing (NLP) method that can classify these packages based on existing categories. The method us ed is  Long  Short-Term  Memory  (LSTM)  by comparing  existing  classification  methods  such  as  naïve  bayes,  logistic  regression, decision tree, XG Boost, Gradient Boost, Random Forest and Support Vector Machine. The results obtained  by the LSTM method have a higher accuracy  than other methods, with an accuracy  of 90.25%. With a parameter  configuration  of 100 units in the LSTM layer, epoch 10, batch size 64 and validation  step 5.
Keywords : Procurement;  Classification;  NLP; LSTM

## 1. PENDAHULUAN
Setia p ta hun pemerinta h mela kukan proses lela ng mela lui  Lemba ga  Kebija ka n Penga ndaan Ba rang / Ja sa  Pemerintah (LKPP)  untuk proses  penga da a n ba rang / ja sa . Sa a t ini  proses  lela ng  dila kuka n mengguna kan la ya nan pengadaan sistem  elektronik  sehingga   lebih  tra nspa ra nt da n  semua   ora ng  menda pa tkan  informasi  seca ra   cepa t.  La yanan Penga da a n Seca ra  Elektronik (LPSE)  tela h memuda hkan sistem penga da an yang dulunya  dila kukan seca ra manual bera lih menja di sistem elektronik [1]. Sela in itu terda pa t Sistem Informa si Renca na Umum Penga daan (SIRUP) ya ng berfungsi  memuda hkan piha k Pengguna   Angga ra n  (PA)  a ta u Kua sa  Pengguna   Angga ra n  (KPA)  mengumumkan Renca na  Umum Penga da an (RUP) [2].
Sa a t ini proses pemiliha n jenis penga da a n ma sih bersifa t manual ya itu denga n memilih ka tegori pa ket sehingga memungkinka n untuk terja di kesela ha n seperti jenis penga da an ja sa masuk kedala m kategori jenis penga da a n barang a ta u seba liknya. Sela in itu Pa da  webiste La ya nan Penga daan Seca ra  E lektronik (LPSE)  da ta  ya ng disa jika n berupa ta bel ta npa  a danya ka tegori spesifik terka it bida ng project a ta u tender ya ng dikerja ka n. Denga n a da nya permasalah an tersebut  ma ka  penelitia n  ini  mengusulka n  proses  kla sifika si  denga n  mengguna ka n Ma chine  Lea rning  Na tural La ngua ge Processing (NLP).  Serta  mela kuka n komparasi metode kla sifikasi terba ik untuk studi ka sus jenis pengadaan pa da  da ta LPSE. Dima na  kedepa nnya dapat mengura ngi kesa la ha n da la m proses input jenis na ma  pa ket pengadaan. Ha l ini jenis na ma paket m enjadi a cua n dala m pengelompokan pengguna an da na angga ra n.
Natural language processing (NLP) menja di bida ng mena rik untuk dila kukan penelitia n khususnya Kla sifikasi teks ( text classification ) [3]. Penera pa n kla sifika si mengguna kan Natural Language Processing (NLP) sema kin giat untuk dikemba ngkan karena ma mpu mem buat sistem bekerja  lebih ma ndiri. Meliha t da ri ha l tersebut, penera pa n NLP ya ng dira sa  lebih efektif da ripa da mengguna kan metode tra disiona l. Terda pa t beberapa macam metode untuk Natural Language Processing (NLP) seperti Convulutional Neural Network (CNN) untuk mengkla sifika sika n berita  indonesia [4],  Deep lea rning denga n mela kuka n pendekatan Recurrent Neural Network (RNN) da n Long Short-Term Memory (LSTM)  pa da  kla sifika si  berita .  Metode  ini  terma suk  da la m ka tegori  supervised  lea rning  ya ng  berfokus  pada pengena la n da ta da ri la bel khusus ya ng tela h diberika n sebelumnya . Penera pa nnya sendiri tela h ba nya k diteliti seperti untuk; kla sifika si ka tegori berita  [5],  kla sifika si  teks komenta r pa da media  sosia l [6],  da n sentimen a na lysis ujaran kebencia n [7].
Ada pun metode ya ng diguna ka n pada penelitia n ini ya itu metode Long Short-Term Memory (LSTM).  Dimana kelebiha n da ri LSTM ya itu ma mpu mela kukan kla sifika si teks lebih ba ik ka rena  da pat memproses intera ksi a nta r teks

## Building of Informatics, Technology and Science (BITS)
Volume 4, No 3, Desember 2022 Page: 1625 − 1633 ISSN 2684-8910 (media cetak) ISSN 2685-3310 (media online) DOI 10.47065/bits.v4i3.2635
ya ng sebena rnya . Sela in itu  proses  pa da  LSTM  da pa t menentukan nila i  ma na ya ng a ka n dipilih  seba ga i kelua ran sehingga  menja di ma sukkan ya ng releva n [8].
Terda pa t  bebera pa   penelitia n  ya ng  berka ita n  denga n Natural  Language  Processing (NLP)  ya ng  telah dila kuka n. Pa da  penelitia n [9] membahas tentang kla sifika si teks Berita  Ba ha sa Indonesia mengguna kan metode CNN da n LSTM (C-LSTM).  Objek pa da  penelitia n ini ya itu teks berita  ba ha sa indonesia  denga n tujuan men gkla sifika sikan teks berita bahasa indonesia menjadi 3 kategori yaitu “Internasional”, “Nasional”, dan “Regional”. Adapun tahapan text prosesing  pa da  penelitin ini ya itu topword removal , special character removal , case folding , stemming , da n data splitting . Sela njutnya da taset dija dika n seba ga i inputa n untuk CNN, LSTM  da n C -LSTM. Ha sil  pa da  penelitia n ini ya itu Metode C-LSTM  terliha t  memiliki  kinerja  ya ng lebih  ba ik da ri pa da  kedua  metode pendahulunya (CNN dan LSTM).  Ha l ini  da pa t diliha t da ri nila i F1-score ya ng melebihi kedua  metode la innya . C-LSTM da pa t memperoleh nila i  F1-scoresebesa r  0,9327 (93,27%) pa da  da taset berita  ya ng dipilih lebih ba ik 2,4% da ri LSTM  da n lebih  ba ik 3,42% da ri CNN.
Peneliti  [10]  mela kuka n  penelitia n  pa da   objek  ha te  speech  a ta u  uja ra n  kebecia n.  Pa da   penelitia n  ini mengguna ka n  metode  Long  Shor-Term  Memory  (LSTM)  a ka n  diimplementa sika n  untuk  mendeteksi  ujaran kebencia n (ha te speech) berka ita n denga n Pemiliha n Presiden (Pilpres)  2019 . Ta ha pan pengerja an dala m penelitian ini      dimula i      da ri     studi      kepusta kaan, pengumpula n da ta, pra -pemrosesa n da ta, pembua tan  model word2vec, pera nca nga n  model pendeteksi  uja ra n kebencia n, pela tiha n model,  da n  pengujia n  model.  Ada pun  da ta set yang diguna ka n ia la h 950  ka lima t da ta  tra ining  da n 190 ka lima t da ta  testing.  Ha sil  pa da  penelitia n  ini  70.21% benar dideteksi seba ga i uja ra n kebencia n, seda ngkan sisa nya 29.79% sa la h dideteksi seba ga i buka n uja ran kebencia n.
Penelitia n  sela njutnya  ya ng berka ita n denga n Natural Language Processing ya itu pa da  penelitia n Dedi Tri Herma nto [11] ya ng memba has tenta ng Algoritma  LSTM-CNN  untuk Sentimen Kla sifika si denga n Word2vec pada Media Online .  Penelitia n  ini  bertujua n  untuk  mela kuka n  pengk la sifika sia n  judul  berita   berba ha sa  Indonesia berda sa rka n sentimen positif, nega tif denga n mengguna ka n metode LSTM, LSTM -CNN, CNN-LSTM.  Da ta set yang diguna ka n a da lah da ta judul a rtikel berba ha sa Indonesia  ya ng dia mbil da ri  situs  Detik Finance . Berda sa rka n ha sil pengujia n memperliha tka n ba hwa metode LSTM, LSTM -CNN,  CNN-LSTM  memiliki  ha sil  a kura si sebesa r, 62%, 65% da n 74%.
Ada pun perbeda a n penelitin ini  denga n penelitia n sebelumnya  ya itu 1) Metode ya ng diguna ka n Long Shor- Term  Memory (LSTM)  dika rena ka n  metode tersebut  dinila i  ma mpu mela kukan kla sifika si  teks  lebih  ba ik,  2) mela kuka n komparasi a ta u perbandinga n metode kla sifika si untuk memberikan perba ndinga n hasil a nta ra  beberapa metode, 3)  mengguna ka n da ta ya ng ba nyak denga n jumla h d a ta 40000 ribu da ta  text na ma pa ket penga daan yang dida pa tkan da ri website  Sistem  Informa si Renca na  Umum Penga da a n (SIRUP)  untuk ja dika n seba ga i ba ha n data tra ining da n va lida si.
Pa da  prinsipnya , tujua n penelitia n a da la h menghasilka n model kla sifika si ya ng a kura t denga n a lgoritma  Long Short-Term  Memory  (LSTM)  denga n  berba ga i  perba ndinga n  metode  kla sifika si Naïve  Bayes [12] ,  Logistic Regression [13] ,  Decision Tree [14] ,  XG Boost, Gradient Boost, Random Forest [15] dan Support Vector Machine [16].

## 2. METODOLOGI  PENELITIAN

## 2.1 Tahapan Penelitian
Hasil Hasil Komparasi Dokumentasi Pengukuran Model Accuracy Precission Recall
Model Eksperimen Naive Bayes Logistic Decision Tree XG Boost Gradient Boost Random  Forest
SVM LSTM Preprocessing Filtering Tokenizing Pengumpulan Data Web Scraping Website Sirup Identifikasi masalah Perumusan  Masalah Studi Literatur Buku Penelitian Jurnal

## Building of Informatics, Technology and Science (BITS)
Volume 4, No 3, Desember 2022 Page: 1625 − 1633 ISSN 2684-8910 (media cetak) ISSN 2685-3310 (media online) DOI 10.47065/bits.v4i3.2635
Ta ha pan penelitia n seperti pa da  ga mbar 1 dimula i da ri proses studi litera tur berda sa rka n buku, penelitia n dan jurna l ya ng berka ita n denga n topik text cla ssifica tion, NLP da n LSTM. Kemudia n merumuskan permasala han yang berka ita n denga n text cla ssifica tion ya itu mengkla sifika sikan jenis penga daan denga n mengguna kan berda sarkan data da ri  Sistem  Informa si  Renca na   Umum  Penga da a n  (SIRUP).  Sela in  itu  pa da   penelitia n  ini  juga   mela kukan perba ndinga n  metode  untuk  mengeta hui  metode  ya ng  efisien  untuk  mela ku ka n text  classification .  Proses pengumpula n da ta da ri website sirup  dila kuka n denga n teknik web scra ping.  Pa da  proses text classfication dia wa li denga n mela kuka n proses filtering  da n tokenizing  [17].  Sela njutnya  mela kukan model eksperimen  pa da  beberapa metode kla sifika si ya itu naïve bayes, logistic regresion , decision tree , XG Boost , Gradient Boost , Random Forest dan Support  Vector  Machine .  Eva lua si  model  dila kuka n  denga n  mengguna ka n Confusion Matrix ya itu accuracy , precission , da n recall . Pa da ta hapan a khir ya itu mela mpirka n dokumentasi da ri ha sil kompa ra si da ri metode klasifikasi da n LSTM.

## 2.2 Web Scraping
Metode pengumpula n da ta pada penelitia n ini  ia la h mengguna ka n metode scra ping pa da  website Sistem  Informasi Renca na  Umum Penga da an (SIRUP).  Metode scra ping ia la h teknik untuk mengekstra si da ta  da ri ha la man website. Terda pa t 3 Metode ya ng bisa nya diguna kan untuk scra ping website ya itu HTML Pa rsing, Regular Expressions dan Document  Object  Model (DOM)  pa rsing  [18].  Pa da  penelitia n  ini  mengguna ka n metode scra ping DOM  parsing denga n tool Web scraper . Ada pun ta hapan seperti pa da  ga mbar 2 da n graph tool web scraper seperti pa da  ga mbar 3. Ada pun ha sil web scraping disimpa n da la m bentuk file csv.
Gambar 2. Alur  Web Scra ping
Gambar 3. Gra ph Web Scra per Element SIRUP

## 2.3 Filtering
Ta ha pan Filtering merupakan proses dima na dila kukan penghapusan karakter da lam suku kata yang dia ngga p tidak diguna ka n a ta u menjadi ka ra kter ya ng menga burka n subtansi da ri ka ta  tersebut . Ada pun ka ra kter ya ng diha pus ya itu mengha pus a ngka , link, simbol  seperti !@#$%^&*  dst, pa ra gra f, ta nda ba ca da n x (ka li). Dima na  x (ka li)  bia sanya diguna ka n pa da penga daan jasa  per ora ng per ha ri dsb seperti pa da  ga mbar 4.
Gambar 4. Ha sil Filtering kolom text_clea ning

## 2.4 Tokenizing
Tokenizing ya itu proses pemisa ha n kata pa da sua tu ka limat yang bertujuan aga r ka ta tersebut membentuk sebuah array sehingga   memuda hkan untuk proses  a na lisa  seperti  pa da  ga mba r 5.  Pa da  proses  tokenizing  mengguna ka n  fungsi countvectorizer . Countvectorize merupa kan fungsi untuk mengeta hui frekuensi ka ta  ya ng muncul pa da  sebuah da ta.

## Gambar 5. Ha sil Tokenizing

## 2.5 Naïve Bayes
Metode Na ïve ba yes merupa ka metode kla sifika si ya ng proses kla sifika si dida sa rka n pada probabilita s  seperti ga mbar 6. Dima na  proses pengkla sifika sia nnya  berdasa rkan teorema ba yes. Keunggula n metode ia la h muda h ditera pkan pada

## Building of Informatics, Technology and Science (BITS)
Volume 4, No 3, Desember 2022 Page: 1625 − 1633 ISSN 2684-8910 (media cetak) ISSN 2685-3310 (media online) DOI 10.47065/bits.v4i3.2635
da ta  biner a ta u multicla ss.  Aka n teta pi kekura nga n pa da metode na ïve ba yes ia la h jika  perhitunga n probabilita snya mengha silka n 0 ma ka  a kan sulit untuk bisa  dikla sifika sika n.

## Gambar 6. Arsitektur Na ïve Ba yes

## 2.6 Long Short Term Memory
Long Short-Term Memory (LSTM)  ya itu jenis model da ri Recurrent Neural Network (RNN).  Ada nya  LSTM ka rena da pa t da pat menginga t informa si ja ngka  pa njang ( long term dependency ). Prinsip  kerja  LSTM ya itu mengga ntikan node hidden layer pa da RNN denga n sel LSTM ya ng bertuga s untuk menyimpan informasi sebelumnya. Da la m LSTM terda pa t tiga  gerba ng ya ng mengenda lika n pengguna a n dan memperbarui informa si terks terda hulu ya itu input gate , forget gate , da n ouput gate . Ada pun komponen pa da LSTM seperti pa da  ga mbar 7 ya itu: a .   f = Forget Gate (NN  denga n fungsi sigmoid). b.   g = Ca ndida te La yer (NN denga n fungsi ta nh).
c.   I = Input Ga te (NN  denga n fungsi sigmoid).
d.   O = Output Ga te (NN  denga n fungsi sigmoid).
e.   H = Hidden Sta te (vektor). f.   C = Memory Sta te (vektor).
Gambar 7. Dia gra m Long Short-Term Memory (LSTM)
Sel  memori  da n  tiga   gerba ng  dira nca ng  untuk da pa t membaca, menyimpa n, da n memperba rui informa si terda hulu. Ada pun a rsitektur LSTM pa da  penelitia n ini seperti pa da  ga mbar 7.
Gambar 8. Arsitektur Long Short-Term Memory (LSTM)

## 2.7 Pengukuran  Model
Model  ya ng tela h dibua t dila kuka n proses pengukura n denga n meliha t a ccura cy, precision  da n reca ll  pa da  model tersebut. Sela in itu dila kuka n pengukura n menggunakan confusion matrix. Confusion Matrix a dala h sua tu pengukuran

## Input
Bel anja
Al a t
Ba han Untuk Kegi atan Ka ntor
Embedding Layer Num Word 40000
Embeding Di mension 100
Ma x Sequence
Lenght 150 (None, 150, 100) Spasial
Dropout 1D
Spa sial
Dropout 0.2
(None, 150, 100) LSTM Layer
uni t 64 Dropout 0.2
Recurrent Dropout 0.2 (None, 200) Dense Layer
Dense 4
Acti va ti on Softma x (None, 4)

## Building of Informatics, Technology and Science (BITS)
Volume 4, No 3, Desember 2022 Page: 1625 − 1633 ISSN 2684-8910 (media cetak) ISSN 2685-3310 (media online) DOI 10.47065/bits.v4i3.2635
performa  untuk ma sala h kla sifika si ma chine lea rning [19], Ya itu sebua h ta bel denga n 4 kombina si ya ng berbeda  da ri ha sil nila i prediksi da n nila i a ktual.
Tabel 1. Confusion Ma trix
Ada pun rumus untuk menghitung reca ll, precision,  da n a ccura cy ia la h seba ga i berikut:
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = TP+TN TP+FP+TN+FN (1) 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = TP TP+FP (2) 𝑅𝑒𝑐𝑎𝑙𝑙 = TP
TP+FN (3)

## 3. HASIL  DAN  PEMBAHASAN
Berda sa rka n da ri ha sil  pengumpula n da ta  denga n mengguna kan teknik web  scra ping  ma ka dida pat da ta sebanyak 40000 da ta  penga daan da la m bentuk 4 ka tegori ya itu Ba ra ng, Ja sa  Konsulta n, Ja sa  La innya , Pekerja an Konstruksi. Da ta set tersebut diba gi da la m bentuk da ta tra ining da n da ta testing denga n perba ndinga n da ta tra ining seba nyak 80% da n da ta  testing seba nya k 20%. Da ta  ya ng diguna ka n ia la h da ta yang tela h di tokenizing terlebih da hulu.

## 3.1 Hasil Eksperimen Model Naïve Bayes
Pa da  eksperimen model naïve bayes menggunakan metode probabilita s multinomial menghasilka n accuracy 80.825%. Dima na  pa da ma sing- ma sing cla ss nya  untuk class ba ra ng mengha silka n nila i precision 75%, reca ll 80%. Untuk cla ss ja sa  kontruksi mengha silka n nila i precision 85%, recall 90%, untuk cla ss ja sa  la innya  menghasilka n nila i precision 75%, recall 71%  da n untuk class pekerja a n konstruksi  mengha silka n  nila i precision 89%, recall 81%.  Denga n confussion matrix seperti pa da  ga mba r 9.

## Gambar 9. Confusion Matric Naïve Bayes
3.2 Hasil Eksperimen Model Long Short-Term  Memory
Pa da  eksperimen model long short-term memory terda pa t bebera pa para meter ya ng di tunning seperti pa ra meter unit pa da  la yer LSTM da n epoch . Ada pun unit pa da la yer LSTM ya ng kita  uji coba  ya itu 32, 64, da n 100. Kemudia n untuk epoch nya  ia la h 10 epoch da n 20 epoch . Ha l ini untuk mengeta hui model denga n konfigura si ma na  yang terba ik. Pada percoba a n 32 unit pa da layer LSTM, epoch 20, ba tch size 64 da n validation step 5 ma ka menghasilka n nila i accuracy 91.39% da n loss 20.39% untuk data training da n untuk data testing mengha silka n accuracy 85% da n loss 48.22% seperti pa da  ga mbar 10. untuk graph per epoch nya  seperti pa da  ga mbar 11 dima na pada ga mbar gra fik tersebut pada model loss menunjukkan  a danya peningka tan loss pa da  da ta  testing  di  setia p  peningka ta n epoch ya ng  a rtinya overfitting .
Predicted Va lues Actua l Va lues Positif Nega tive Positif TP FP Nega tif FN TN

## Building of Informatics, Technology and Science (BITS)
Volume 4, No 3, Desember 2022 Page: 1625 − 1633 ISSN 2684-8910 (media cetak) ISSN 2685-3310 (media online) DOI 10.47065/bits.v4i3.2635
Gambar 10. Nila i accuracy da n loss 32 unit 20 epoch
Gambar 11. Graph 32 unit 20 epoch .
Kemudia n  Pa da   percoba a n  64 unit  di layer LSTM, epoch 10, batch  size 64  da n validation step 5  maka mengha silka n nila i accuracy 90.11% da n loss 23.88% untuk data training da n untuk data testing mengha silkan accuracy 85.62% da n loss 36.51% seperti pa da  ga mbar 12. untuk gra ph per epoch nya  seperti pa da  ga mbar 13 dimana pa da  ga mbar gra fik tersebut pa da  model loss menunjukkan mula i sta bil a nta ra  loss da ta  tra in da n da ta  testing. Ini menunjukkan ba hwa sanya model denga n pa ra meter berikut merupa kan model ya ng ba ik.

## Building of Informatics, Technology and Science (BITS)
Volume 4, No 3, Desember 2022 Page: 1625 − 1633 ISSN 2684-8910 (media cetak) ISSN 2685-3310 (media online) DOI 10.47065/bits.v4i3.2635
Gambar 13. Graph 64 unit 10 epoch .
Sela njutnya  Pa da percobaan 100 unit di layer LSTM, epoch 10, batch size 64 da n validation step 5 ma ka mengha silka n nila i accuracy 90.29% da n loss 24.05% untuk data training da n untuk data testing mengha silka n accuracy 85.62% da n loss 45.96% seperti pa da  ga mbar 14. untuk graph per epoch nya  seperti pa da  ga mbar 15 dima na  pa da ga mbar gra fik tersebut pa da  model loss menunjukkan a danya peningkatan loss pa da data testing di setia p peningka ta n epoch ya ng a rtinya overfitting .
Gambar 14. Graph 100 unit 10 epoch .
Gambar 15. Graph 100 unit 10 epoch .

## 3.3 Perbandingan Metode Klasifikasi
Sela in itu da ta set juga  dila kukan pengujia n pada bebera pa metode kla sifika si seperti metode Naive Bayes, Logistic, Decision Tree,  XGBoost,  Gradient Boosting, Random  Forest,  SVM untuk dila kuka n perba ndinga n accuracy ya ng ma na  ha silnya  seperti pa da  ga mbar 15. Dima na  a kurasi pa da  masing-ma sing metode ya itu Naïve Bayes sebesar 85.59% , Logistic Regression sebesar 85.59% , Decision Tree sebesar 83.61% , XG Boost sebesar 80.73% , Gradient Boost sebesar 82.06% , Random Forest sebesar 80.73% dan Support Vector  Machine sebesar 85.92% sedangkan  metode Long Short-Term Memory (LSTM)  mempunyai a kura si tertinggi  diba ndingka n denga n a kurasi metode kla sifika si la innya  ya itu sebesa r 90.29%

## Building of Informatics, Technology and Science (BITS)
Volume 4, No 3, Desember 2022 Page: 1625 − 1633 ISSN 2684-8910 (media cetak) ISSN 2685-3310 (media online) DOI 10.47065/bits.v4i3.2635
Gambar 15. Perba ndinga n a kura si pa da setia p metode

## 4. KESIMPULAN
Berda sa rka n penelitia n ini  da ta set ya ng diguna ka n ia la h da ta  na ma  pa ket penga daan ya ng diperoleh  da ri  website Sistem Informa si Renca na Umum Penga daan (SIRUP) seba nya k 40000 da ta text . Denga n perba ndinga n data training da n data testing sebesa r 80% data training da n 20% data testing . Dila kuka n bebera pa  eksperimen da ri  berba gai metode dima na a kurasi pa da masing-ma sing metode kla sifika si la innya  ya itu Naïve Bayes sebesa r 85.59%, Logistic Regression sebesa r  85.59%, Decision Tree sebesa r  83.61%, XG  Boost sebesa r  80.73%, Gradient  Boost sebesar 82.06%, Random Forest sebesa r 80.73% da n Support Vector Machine sebesa r 85.92%. Metode dengan a kurasi terbaik ya itu  metode Long  Shor-Term  Memory (LSTM)  pa da  a kura si  90.25%.  Ada pun  a rsitektur  model  LSTM  ya ng diguna ka n ia la h 100 unit di layer LSTM, epoch 10, batch size 64 da n validation step 5.

## REFERENCES
[1]   V. Mayasari,  “Perbandingan  Pelelangan  Berbasis  Sistem  Manual  Dengan  Sistem  Layanan  Pengadaan  Secara  Elektronik (Lpse),” Konstruksia , pp. 79-88, 2020.
[2]   A. Adriansyah,  M.  B. Alexandri  dan  M. Halimah,  “IMPLEMENTASI  KEBIJAKAN  PERENCANAAN PENGADAAN BARANG  DAN  JASA  PEMERINTAH  DI  DINAS  KESEHATAN  KABUPATEN  BANDUNG.,”  esponsive:  Jurnal Pemikiran Dan Penelitian  Administrasi, Sosial, Humaniora Dan Kebijakan  Publik, vol. 4, no. 1, pp. 13-22, 2021.
[3]   K. Kowsari, K. J. Meimandi, M. Heidarysafa, S. Mendu, L. Barnes dan D. Brown, “Text classification  algorithms: A survey,” Information, vol. 10, no. 4, p. 150, 2019.
[4]   M. A. Ramdhani,  D. S. Maylawati  dan T.  Mantoro, “Indonesian  news classification  using convolutional  neural  network,” Indonesian Journal of Electrical  Engineering  and Computer Science, vol. 19, no. 2, pp. 1000-1009, 2020.
[5]   A. Kulkarni dan A. Shivananda, “Deep learning for NLP,” Natural language  processing recipes, pp. 213-262, 2021.
[6]   Y. yuli Astari, A. Afiyati dan S. W. Rozaqi, “Analisis Sentimen Multi-Class pada Sosial Media menggunakan  metode Long Short-Term Memory (LSTM),” Jurnal Linguistik Komputasional,  vol. 4, no. 1, pp. 8-12, 2021.
[7]   M. Ridwan dan A. Muzakir, “Model Klasifikasi  Ujaran Kebencian  pada Data Twitter  dengan Menggunakan CNN -LSTM,” Teknomatika  , vol. 12, no. 02, pp. 209-218, 2022.
[8]   W. Hastomo  dan A. Satyo, “Long  Short Term  Memory Machine  Learning  Untuk Memprediksi  Akurasi Nilai  Tukar  IDR Terhadap USD,” Prosiding SeNTIK , vol. 3, no. 1, pp. 115-124, 2019.
[9]   Y. Widhiyasana, T. Semiawan, I. Gibran, A. Mudzakir dan M. R. Noor, “Penerapan Convolutional Long Short-Term Memory untuk Klasifikasi  Teks Berita  Bahasa Indonesia,”  Jurnal Nasional Teknik  Elektro  dan Teknologi  Informasi, vol. 10, no. 4, pp. 354-361, 2021.
[10]   A.  S.  Talita  dan  A.  Wiguna,  “Implementasi  Algoritma  Long  Short-Term  Memory  (LSTM)  Untuk  Mendeteksi  Ujaran Kebencian  (Hate  Speech)  Pada  Kasus  Pilpres  2019,”  MATRIK:  Jurnal  Manajemen,  Teknik  Informatika  dan  Rekayas a Komputer,  vol. 19, no. 1, pp. 37-44, 2019.
[11]   D. T. Hermanto,  A. Setyanto  dan E.  T. Luthfi,  “Algoritma  LSTM-CNN untuk Binary Klasifikasi  dengan  Word2vec  pada Media Online,” Creative Information  Technology Journal, vol. 8, no. 1, pp. 64-77, 2021.

## Building of Informatics, Technology and Science (BITS)
Volume 4, No 3, Desember 2022 Page: 1625 − 1633 ISSN 2684-8910 (media cetak) ISSN 2685-3310 (media online) DOI 10.47065/bits.v4i3.2635
[12]   D. F. Zhafira,  B. Rahayudi dan I. Indriati , “Analisis Sentimen  Kebijakan  Kampus Merdeka Menggunakan Naive Bayes dan Pembobotan  TF-IDF Berdasarkan  Komentar  pada  Youtube,”  Jurnal  Sistem  Informasi,  Teknologi  Informasi,  dan  Edukasi Sistem Informasi, vol. 2, no. 1, 2021.
[13]   A. B. P. Negara, H. Muhardi dan F. Sajid, “Perbandingan Algoritma Klasifikasi terhadap Emosi Tweet Berbahasa Indonesia,” JEPIN (Jurnal Edukasi dan Penelitian  Informatika), vol. 7, no. 2, pp. 242-249, 2021.
[14]   W.  T. Handoko, E.  Supriyanto,  D. I. Purwadi, Z.  Budiarso  dan H. Listiyono,  “Klasifikasi  Opini  Pengguna Media  Sosial Twitter  Terhadap JNT Di Indonesia dengan Algoritma  Decision Tree,” J-SAKTI (Jurnal Sains Komputer  dan Informatika), vol. 6, no. 2, pp. 790-799, 2022.
[15]   W. Willy, D. P. Rini dan S. Samsuryadi, “Perbandingan  Algoritma Random Forest Classifier, Support Vector Machine dan Logistic  Regression  Clasifier  Pada  Masalah  High  Dimension  (Studi  Kasus:  Klasifikasi  Fake News),”  JURNAL MEDIA INFORMATIKA BUDIDARMA, vol. 5, no. 4, pp. 1720-1728, 2021.
[16]   I. A. Ropikoh, R. Abdulhakim, U. Enri dan N. Sulistiyowati, “Penerapan  Algoritma Support Vector Machine (SVM) untuk Klasifikasi  Berita Hoax Covid-19,” Journal of Applied Informatics and Computing, vol. 5, no. 1, pp. 64-73, 2021.
[17]   M. Kubat, An introduction to machine learning,  Cham, Switzerland:  Springer International  Publishing, 2017.
[18]   M. J. U. H. Bahrudin dan H. Gutama, “Scraping Web Marketplace  Menggunakan Metode DOM Parsing Untuk Pengumpulan Data Produk,” JURNAL ILMIAH INFORMATIKA, vol. 8, no. 01, pp. 77-80, 2020.
[19]   J. W. G. Putra, Pengenalan Konsep Pembelajaran  Mesin dan Deep Learning, Tokyo, Jepang, 2020.