## Fine-Tuning BERT untuk Menangani Ambiguitas
Pada POS Tagging Bahasa Indonesia
Ahmad Subhan Yazid 1 , Edi Winarko 2*
Magister Ilmu Komputer, Departemen Ilmu Komputer dan Elektronika, Universitas Gadjah Mada Fakultas MIPA UGM, Jalan Sekip Utara, Sendowo, Sinduadi, Mlati, Sleman, DIY 55281
1 ahmad.subhan.yazid@mail.ugm.ac.id
3 ewinarko@ugm.ac.id
Abstrak—  Ambiguitas  merupakan  masalah  yang  kerap muncul  pada  tugas-tugas  pemrosesan  bahasa  alami, termasuk  pada  POS  tagging  (pelabelan  kelas  kata). Penelitian  ini  bertujuan  menangani  ambiguitas  pada  POS tagging  bahasa  Indonesia  dengan  pendekatan  pembelajaran mendalam  BERT  (bidirectional  encoder  representation  from transformers).  Pendekatan  ini  dipilih  untuk  melengkapi menambah  fleskfibilitas  dari  penelitian  sebelumnya  yang menerapkan  metode  berbasis  aturan  dan  probabilistik. Untuk  mendapatkan  model  yang  optimal  dan  dapat menyelesaikan  ambiguitas,  dilakukan  beberapa  eksperimen dengan  skenario  fine-tuning  terhadap  korpus  POS  tagging. Fine-tuning  dilakukan  dengan  mengubah  nilai  parameter pembelajaran  dan  penambahan  kalimat-kalimat  ambigu pada  data  latih.  Eksperimen  yang  dilakukan  menghasilkan model  terbaik  dengan  nilai  loss  0,1113,  presisi 0,9635,  recall 0,9658,  dan  f1  0,9647.  Hasil  tersebut  didapatkan  pada eksperimen dengan parameter learning rate 0,00004, ukuran batch  16,  dan  epoch  2.  Hasil  pengujian  terhadap  data  uji juga  menunjukkan  bahwa  model  memiliki  performa  yang baik  dan  mampu  menangani  ambiguitas.  Model  yang dihasilkan  berhasil  melabeli  96  dari  100  kata  ambigu  pada kalimat dengan benar.
Kata kunci — Ambiguitas, BERT, Fine-tuning, POS tagging, Simple Transformers

## I. P ENDAHULUAN
Bahasa  Indonesia  yang  dituturkan  oleh  lebih  dari  200 orang  menempati  posisi  ke-10  dari  bahasa  yang  paling banyak  digunakan  di  dunia  [1].  Hal  ini  mendorong berkembangnya kajian atas dinamika penggunaan bahasa. Salah satu permasalahan yang muncul  dalam penggunaan bahasa  adalah  ambiguitas,  dimana  suatu  term  atau  kata sebagai  komponen  dari  bahasa  dapat  memiliki  lebih  dari satu  arti  [2].  Kata  ‘tahu;  dalam  Kamus  Besar  Bahasa Indonesia  (KBBI)  memiliki  setidaknya  dua  arti,  yakni ‘tahu’ sebagai makanan olahan kedelai dan ‘tahu’ sebagai kata  kerja  yang  memiliki  padanan  arti  dengan  mengerti dan paham.
Proses  membedakan  antara  ‘tahu’  sebagai  kata  benda dan  ‘tahu’  sebagai  kata  kerja  bagi  komputer  tidak  dapat dilakukan  dengan  mudah  karena  komputer  hanya memproses  input  berdasarkan  basis  pengetahuan  yang
dimilikinya.  Ambiguitas  dapat  muncul  dalam  tingkatan sintaksis  (tata  aturan  bahasa),  semantik  (makna),  maupun pragmatik  (interpretasi),  sehingga  permasalahan  ini  perlu ditangani untuk meminimalisir kesalahan dalam interpretasi komputer saat memproses bahasa. Ambiguitas  dalam  tataran  sintaksis  yang  menjadi  kajian stusi  ini  dapat  dilihat  pada  kata-kata  homonim  dan polisemi.  Homonim  adalah  kata  yang  sama  lafal  dan ejaannya  tetapi  berbeda  maknanya  karena  berasal  dari sumber  yang  berlainan,  seperti ‘hak’ pada ‘hak  asasi’ dan ‘hak’ pada ‘hak  sepatu’  [3].  Adapun  polisemi  adalah bentuk bahasa (kata, frasa, dsb.) yang mempunyai makna lebih  dari  satu.  Makna  lebih  dari  satu  tersebut  terjadi karena  adanya  hubungan  beberapa  konsep  dalam pemaknaan suatu kata, seperti kata akar pada ‘akar pohon’ dan  ‘akar  masalah’  yang  memiliki  makna  yang  berbeda [4].  Penanganan ambiguitas dalam tataran sintaksis dapat diantisipasi salah satunya melalui pelabelan kelas kata.
Pelabelan kelas kata atau Part of Speech (POS) tagging adalah  tahapan  dalam  pemrosesan  dalam  bahasa  alami yang berperan dalam penandaan kelas kata pada kata yang berkesesuaian  dengannya  seperti  kata  benda,  kata  kerja, kata sifat, dsb [5]. Hasil dari POS tagging dapat dijadikan sebagai  input  untuk  pemrosesan  bahasa  tahap  lanjut seperti  pemeriksa  tata  bahasa,  pengenalan  suara,  tanya- jawab,  dan  mesin  penerjemah. POS  tagging memiliki kedudukan penting dalam pemrosesan bahasa karena label kata  yang  dihasilkan  digunakan  dalam  penentuan kedudukan  kata  dalam  struktur  kalimat.  Oleh  karenanya, performa POS  tagging yang  merupakan  bagian  dari sintaksis bahasa berpengaruh terhadap tahapan pemrosesan  bahasa  selanjutnya,  baik  semantik  maupun pragmatik [6].
Terdapat beberapa penelitian tentang ambiguitas dalam POS tagging bahasa Indonesia. Penelitian [7] menerapkan metode probabilitas Hidden Markov Model (HMM) untuk menyelesaikan  ambiguitas  pada POS  tagging terhadap data SMIQA ( Swamedikasi Interactive Question Answering  System ).  SMIQA  sendiri  merupakan  sebuah aplikasi  konsultasi  terkait  penyakit  ringan,  gejala,  dan obat-obatan  yang  dapat  digunakan  dengan  sistem  tanya jawab otomatis. Kendati penelitian ini menghasilkan rata-
rata  precision  sebesar  91,472%  dan  recall  sebesar 84,877%, POS tagger yang dihasilkan hanya dapat bekerja dengan  baik  pada  kata-kata  yang  telah  ditentukan  nilai probabilitasnya.  Penelitian  lain  menerapkan  metode rule- based untuk  menentukan  kelas  kata  pada  kata  bahasa Indonesia  yang  memiliki  kelas  kata  lebih  dari  satu  [8]. Rule-based memberikan  keputusan  berdasarkan  aturan- aturan  yang  sudah  didefinisikan. Tagger yang  dibangun dapat  memberikan  92  label  benar  dari  100  kata  ambigu yang  diujikan.  Akan  tetapi,  penelitian  ini  belum  dapat menangani  pola  kata  yang  aturannya  tidak  didefinisikan dalam daftar aturan ( out of rule ).
Dua  penelitian  tersebut  menerapkan  pendekatan  yang meninggalkan kelemahan. Pendekatan probabilistik hanya dapat  bekerja  dengan  baik  pada  data  yang  peluang kemunculannya  telah  didefinisikan  sebelumnya.  Ketika terdapat  data  baru,  model  probabilistik  mengalami kesulitan  untuk  memprediksi.  Sementara  itu,  pendekatan rule-based bergantung  pada  kelengkapan  aturan  yang didefinisikan. Jika terdapat input baru yang tidak dikenali oleh  aturan,  program  akan  mengalami  galat.  Pendekatan pembelajaran  mesin  ( machine  learning )  dikembangkan untuk mengakomodasi keterbatasan tersebut.
Pembelajaran  mesin  yang  di  dalamnya  juga  mencakup pembelajaran mendalam ( deep learning ) merupakan salah satu penggerak pesatnya perkembangan kajian pemrosesan  bahasa  alami  saat  ini.  Pendekatan  ini mengoptimalkan performa komputer dalam menginventarisasi fitur, melakukan pembelajaran dari data latih,  dan  menggeneralisasi  hasil  pembelajaran,  sehingga dapat digunakan kembali pada data yang lain [9].
Ambiguitas  dalam  POS  tagging  pada  penelitian  ini ditangani dengan BERT ( Bidirectional Encoder Representations  from  Transformers ).  BERT  merupakan algoritma sekaligus model deep learning yang dikembangan Google
untuk
merepresentasikan pemahaman terhadap bahasa [10]. BERT dibangun di atas arsitektur  Transformers  yang  berjalan  baik  dalam memahami  relasi  antar  kata  dari  kalimat  dengan self- attention  layer yang  diterapkan  pada  blok  encoder- decoder  [11].  BERT  memanfaatkan  satu  blok  saja,  yakni encoder  dengan  jumlah  yang  lebih  banyak  dari  struktur asal Transformers.
BERT menerapkan bidirectional learning atau pembelajaran  dua  arah  yang  memperhatikan  token sebelum  dan  token  selanjutnya  dalam  sebuah  urutan  atau sekuensial.  Sementara  itu,  pembobotan  atau  embedding pada  BERT  dilakukan  secara  berlapis  dengan  skema: vocab  embedding , segment  embedding ,  dan position embedding [10].  Mekanisme  ini  dinilai  dapat  menangkap konteks  kata  dari  kedudukannya  dalam  kalimat.  BERT mendukung  skema fine-tuning yang  memungkinkan pengguna  untuk  memanfaatkan  model  dari  pelatihan sebelumnya. Fine-tuning dilakukan  dengan  pelatihan ulang  model pre-trained pada  dataset  lain  dengan penyesuaian  konfigurasi  dan  parameter  [12].  Skema  ini
dapat  menghemat  sumber  daya  dan  meminimalisir  waktu pelatihan.  Atas  mekanisme  kerja  tersebut,  BERT  akan diterapkan  dalam  menangani  ambiguitas  dalam  POS tagging bahasa Indonesia.

## II. M
ETODE
POS tagger bahasa Indonesia telah banyak dikembangkan  dengan  pendekatan  dan  metode  yang bervariasi,  termasuk  berbasis  aturan,  probabilistik,  dan pembelajaran mesin. Akan tetapi, penelitian yang spesifik membahas  ambiguitas  pada POS  tagger baru  dilakukan oleh  Mulyanto,  dkk.  (2017)  dan  Yazid  (2018).  Kedua penelitian  tersebut  menerapkan  metode  probabilistik HMM  dan rule-based yang  masih  memiliki  keterbatasan dalam  menangani  kata-kata  ambigu.  Penelitian  ini berusaha  menjawab  permasalahan  ambiguitas  pada POS tagging dengan  menerapkan  BERT  yang  merupakan implementasi dari deep learning berbasis Transformers. Model  yang  akan  dibuat  merupakan POS  tagger atau alat  pelabel  kelas  kata  untuk  input  bahasa  Indonesia. Adapun  kerangka  penyelesaian  ambiguitas  menerapkan arsitektur BERT yang diimplementasikan dengan pustaka Simple  Transformers.  Output  dari  program  berupa  label kelas  kata  yang  berkesesuaian  dengan  input.  Pengujian dan  evaluasi  dilakukan  di  akhir  pengembangan  untuk memastikan  bahwa  program yang dibangun  telah  mampu menangani  permasalahan  ambiguitas.  Alur  penelitian secara umum ditunjukkan pada Gambar 1.
Gambar. 1  Alur penelitian
Secara umum, terdapat empat tahapan dalam penelitian ini,  yakni  persiapan  data,  pra-pemrosesan,  pelatihan,  dan pengujian. Adapun komponen-komponen dalam arsitektur dijelaskan sebagai berikut:

## A. Persiapan Data
Data yang digunakan pada penelitian ini adalah dataset dari  penelitian  Wilie,  dkk.  (2020).  Dataset  tersebut merupakan  modifikasi  dari  korpus IDN_tagged_corpus (Dinakaramani,  dkk.,  2014)  yang  merupakan  korpus paling  banyak  digunakan  oleh  para  peneliti  dalam  tugas POS  tagging bahasa  Indonesia  [15].  Dataset  penelitian Wilie,  dkk.  (2020)  memecah  token  yang  berupa  frasa menjadi  kata  tunggal,  seperti  ‘rumah  sakit’ yang  berlabel ‘NN’  menjadi  ‘rumah’  dan  ‘sakit’  yang  masing-masing memiliki  label  ‘B-NN’  dan  ‘I-NN’.  Awalan  ‘B’ ( beginning )  pada  label  menunjukkan  jika  token  tersebut merupakan kata tunggal atau kata pertama dari suatu frasa, sementara  ‘I-‘  ( inside )  menunjukan  bahwa  token  tersebut merupakan kata kedua dari suatu frasa.
Dataset  ini  berisi  data  berupa  10.029  kalimat  (267.054 token) dan 46 label. Setiap token dan labelnya dipisahkan dengan  tabulasi.  Sementara  tiap  kalimatnya  dipisahkan dengan satu baris kosong.  Contoh  isi dataset pada korpus dapat dilihat pada Gambar 2.
Gambar. 2  Contoh isi dataset

## Gambar. 3  Contoh data tambahan
Selain  dataset  Wilie,  dkk.  (2020),  terdapat  tambahan data  latih  berupa  354  kalimat  ambigu  bahasa  Indonesia.
Data  tersebut  dikumpulkan  dari  kamus  homonim  dan kamus  polisemi,  serta  contoh-contoh  pada  artikel  di internet yang membahas keduanya. Contoh data tambahan ditunjukkan  pada  gambar  3,  yang  mana  terdapat  kata ambigu  ‘serang’  dan  ‘keset’.  Masing-masing  memiliki label kata yang berbeda sesuai konteksnya. Pada data uji, juga  terdapat  penambahan  data  berupa  100  kalimat  dari penelitian  Yazid  dan  Fatwanto  (2018)  untuk  melihat performa  model  yang  dihasilkan  dalam  menangani  kata ambigu.

## B. Pra-pemrosesan
Pra-pemrosesan atau preprocessing merupakan tahapan awal pada analisis data untuk mengolah data mentah ( raw data )  menjadi  data  yang  lebih  terstruktur.  Teknik  pra- pemrosesan yang  digunakan  dalam  penelitian  ini  adalah pembagian  data  ke  dalam  data  latih,  data  validasi,  dan data uji, serta memformat data agar  sesuai dengan format yang  dibutuhkan  dalam  pelatihan.  Pembagian  data dilakukan dengan komposisi 80%:9%:11%. Distribusi dari setiap  data  (gambar  4)  perlu  diusahakan  agar  seimbang untuk  mencegah  terjadinya overfitting . Overfitting adalah kondisi  ketika  model  menunjukkan  kinerja  yang  baik hanya  pada  data  latih  dan  tidak  demikian  pada  data validasi maupun data uji.
Gambar. 4  Distribusi pada data latih, data validasi, dan data uji
Gambar  4  menunjukkan  10  label  kata  dengan  jumlah terbanyak di data latih, data validasi, dan data uji. Setelah dilakukan  analisis,  data  terlihat  telah  terdistribusi  sesuai dengan  perbandingan  pembagian  data.  Komposisi  dari masing-masing pembagian data telah mendekati perbandingan yang seimbang.
Adapun  proses  pemformatan  atau formatting yang dilakukan  berkaitan  dengan  kebutuhan  pustaka Simple Transformers. Untuk  tugas POS  tagging ,  pustaka  ini membutuhkan  format  input  berupa dataframe, di  mana tiap  kalimat  perlu  ditambahkan  indeks sentence_id untuk identifikasi  kalimat  dan  kolom  label  yang  bersesuaian dengan  token. Dataframe merupakan  struktur  data berbentuk tabular atau terdiri atas baris dan kolom. Proses ini  dilakukan  dengan  menerapkan  sebuah  fungsi  pada pengkodean.

## C. Pelatihan
Tahap  ini  merupakan  bagian  utama  dari  penelitian, yakni pelatihan model dengan menerapkan kerangka kerja BERT  untuk  memperoleh  konteks  susunan  kata  dalam kalimat. Sebelum pelatihan, perancangan model dilakukan untuk  mendefinisikan  parameter-parameter  pelatihan ( hyperparameter )  sesuai  skenario  yang  ditetapkan. Parameter  yang  didefinisikan  mencakup  perlakuan  pra- pemrosesan  seperti case  folding , padding ,  tempat penyimpnan.  Selain  itu,  parameter  pelatihan  yang  lain seperti epoch ,  ukuran batch pelatihan, learning  rate ,  dan sebagainya juga disesuaikan dalam tahap ini.
Penelitian  ini  menggunakan  model  IndoBERT  yang telah  dilatih  oleh  tim  IndoNLU  (Wilie,  dkk.,  2020). IndoBERT merupakan model pemodelan bahasa Indonesia  yang  dilatih  dari  250  juta  kalimat  formal  dan kalimat  informal  atau colloquial .  Proses  pelatihan  akan menghasilkan  model  yang  dapat  digunakan  untuk melakukan tagging pada  teks  bahasa  Indonesia.  Selain menghasilkan  model,  tahap  ini  juga  memberikan  nilai- nilai evaluasi yang berkaitan dengan pelatihan seperti loss , recall , precision,  dan  F-measure sebagai  acuan  dalam menilai kinerja model.
Setelah model dibangun dan dievaluasi, dilakukan fine- tuning atau  penyesuaian  untuk  mendapatkan  nilai parameter  yang  optimal.  Skenario fine-tuning dilakukan dengan  perubahan  parameter  utama  pelatihan  dan penambahan  data  latih.  Parameter  utama  pembelajaran meliputi learning-rate (laju pembelajaran yang menunjukkan  seberapa  banyak  informasi  yang  akan diserap),  ukuran batch (jumlah  data  yang  diproses  dalam satu  langkah),  dan  jumlah epoch (iterasi)  disesuaikan dalam beberapa kali iterasi sampai didapatkan konfigurasi parameter  yang  menghasilkan  model  terbaik.  Setelah  itu, penambahan  data  latih  berupa  kalimat  ambigu  bahasa Indonesia  dilakukan  untuk  memperkaya  model  dengan fitur yang berkaitan dengan konteks ambiguitas.
TABEL I E KSPERIMEN P ELATIHAN Eksperimen Parameters Learning Rate Batch- Size Epoch 1 ( default ) 0.00004 8 1 2 0.00004 8 3 3 0.00004 16 3 4 0.00004 32 3 5 0.00004 64 3 6 0.00004 128 3 7 0.0004 8 3 8 0.0004 16 3 9 0.0004 32 3 10 0.0004 64 3 11 0.00001 8 3 12 0.00001 16 3 13 0.00001 32 3 14 0.00001 64 3
Fine-tuning ini  pertama  dilakukan  dilakukan  dengan penyesuaian ukuran batch dengan nilai 8, 16, 32, 64, dan 128,  sementara  nilai learning-rate tetap.  Skenario selanjutnya adalah mengubah nilai learning-rate dari nilai default -nya  ke  nilai  yang  berbeda  setiap  batch  yang digunakan pada skenario sebelumnya, yakni 8, 16, 32, 64, dan 128. Adapun nilai epoch yang memiliki nilai default 1 kemudian  ditambah  menjadi  3  untuk  menambah  iterasi pembelajaran.  Apabila  model  dari  konfigurasi  yang diberikan  masih  menunjukkan  peningkatan,  konfigurasi dapat dilanjutkan. Skenario eksperimen pelatihan ditunjukkan pada Tabel I.

## D. Pengujian
Pengujian  merupakan  tahap  terakhir  dari  penelitian  ini dan berperan untuk mengetahui performa dari model yang dikembangkan.  Hasil  pengujian  dijadikan  bahan  analisis dan  evaluasi  dengan  memerhatikan  ketersediaan  sumber daya,  durasi  pelatihan,  dan  nilai precision , recall ,  dan F- measure . Pengujian ini juga melihat kinerja model dalam melakukan  prediksi  pada  tambahan  data  uji  yang  berasal dari penelitian sebelumnya.

## III. H ASIL DAN P EMBAHASAN
POS  Tagger bahasa  Indonesia  pada  penelitian  ini dibangun  dalam  bahasa  pemrograman  Python  versi  3.8 dan  dikerjakan  serta  dijalankan  pada  lingkungan  Google Colaboratory.  Google  colaboratory  merupakan tool berbasis Jupyter Notebook untuk menulis dan mengeksekusi  kode  Python  melalui web  browser . Pemilihan runtime GPU  ( graphics  processing  unit )  juga dilakukan  untuk  mempercepat  proses  pelatihan  dan menghubungkan  lingkungan  kerja  dengan  Google  Drive sebagai  tempat  penyimpanan  data  korpus  maupun  hasil pelatihan.  Modul  dan  pustaka  yang  diterapkan  dalam pembuatan model adalah drive (untuk sinkronisasi Google Drive  sebagai  penyimpanan), pandas (untuk  membuat format dataframe), simple transformers (untuk konfigurasi parameter  dan  melakukan  pelatihan  model),  dan logging (untuk menyimpan data log dari proses pelatihan).

## A. Hasil Skenario Eksperimen
Eksperimen dilakukan sebagaimana skenario yang telah dijelaskan  pada  tabel  1.  Terdapat  14  eksperimen  dengan perubahan  parameter  pada  setiap  eksperimen.  Hasil eksperimen  yang  telah  dilakukan  ditampilkan  pada  Tabel II.  Adapun  detail  nilai  evaluasi  pelatihan  untuk  setiap skenario  pelatihan  ditampilkan  pada  Lampiran  B. Eksperimen  1  yang  menerapkan  parameter default memberikan  hasil  yang  baik.  Kemudian, epoch ditambah menjadi  3  dan learning  rate tetap,  sementara  perubahan parameter dilakukan pada ukuran batch sebagaimana pada percobaan  2  sampai  percobaan  6.  Hasil  evaluasi menunjukkan  bahwa  model  mengalami  peningkatan performa.  Akan  tetapi, device mengalami  galat  ketika memproses  data  dengan  ukuran  batch  128.  Hal  ini
menjadi  dasar pembatasan ukuran batch untuk  percobaan selanjutnya hanya sampai 64.
TABEL II
R EKAPITULASI H ASIL E KSPERIMEN
1 0.00004 8 1 0.1374 0.9520 0.9553 0.9537 1 0.1374 0.9520 0.9553 0.9537 2 0.00004 8 3 0.1204 0.9643 0.9652 0.9647 2 0.1148 0.9626 0.9636 0.9631 3 0.00004 16 3 0.1182 0.9647 0.9666 0.9656 2 0.1113 0.9635 0.9658 0.9647 4 0.00004 32 3 0.1122 0.9632 0.9656 0.9644 2 0.1118 0.9597 0.9622 0.9609 5 0.00004 64 3 0.1156 0.9612 0.9636 0.9624 3 0.1156 0.9612 0.9636 0.9624 6 0.00004 128 3 7 0.0004 8 3 0.2351 0.9284 0.9384 0.9334 3 0.2351 0.9284 0.9384 0.9334 8 0.0004 16 3 0.1585 0.9520 0.9556 0.9538 3 0.1585 0.9520 0.9556 0.9538 9 0.0004 32 3 0.1392 0.9589 0.9619 0.9604 3 0.1392 0.9589 0.9619 0.9604 10 0.0004 64 3 0.1284 0.9624 0.9645 0.9635 2 0.1276 0.9573 0.9596 0.9584 11 0.00001 8 3 0.1184 0.9613 0.9625 0.9619 3 0.1184 0.9613 0.9625 0.9619 12 0.00001 16 3 0.1263 0.9552 0.9590 0.9571 3 0.1263 0.9552 0.9590 0.9571 13 0.00001 32 3 0.1386 0.9510 0.9548 0.9529 3 0.1381 0.9512 0.9559 0.9535 14 0.00001 64 3 0.1603 0.9454 0.9513 0.9484 3 0.1603 0.9454 0.9513 0.9484 0.1122 0.9647 0.9666 0.9656 0.1113 0.9635 0.9658 0.9647 CUDA out of memory Nilai Terbaik F1 Score Best Model Hasil Akhir Training Parameters Perco- baan Learning Rate Batch Size Epoch Eval Loss Precis- sion Recall F1 Score Epoch Eval Loss Precis- sion Recall
Eksperimen  dilanjutkan  dengan  merubah learning  rate menjadi  lebih  besar,  yakni  0,0004  (eksperimen  7-10). Nilai  ini  dikombinasikan  dengan  ukuran batch seperti eksperimen  sebelumnya,  yakni  8,  16,  32,  dan  64.  Akan tetapi, hasil evaluasi justru menunjukkan bahwa performa model  menurun.  Oleh  sebab  itu,  eksperimen  selanjutnya dilakukan  dengan  mengurangi  kembali  learning-rate menjadi 0,00001 (eksperimen 11-14). Hasil evaluasi untuk nilai learning  rate 0,00001  menunjukkan  peningkatan pada  batch  8.  Akan  tetapi,  untuk  ukuran  batch  yang  lain justru mengalami penurunan.
Hasil pelatihan terbaik didapatkan pada percobaan ke-3 dengan learning  rate 0,00004  dan  ukuran batch 16. Eksperimen  ini  menghasilkan  nilai loss 0,1113, precision 0,9635, recall 0,9658,  dan f-measure 0,9647.  Hal  ini terjadi  pada epoch ke-2.  Sementara epoch ke-3  justru mengalami  penurunan  performa  dibanding epoch ke-2. Kendati demikian, skenario percobaan ke-3 ini memberikan nilai terbaik saat dilakukan evaluasi.
Parameter  dari  percobaan  ke-3  kemudian  digunakan untuk  pelatihan  tahap  selanjutnya  dengan  adanya tambahan  kalimat  ambigu  pada  data  latih.  Pelatihan  ini menghasilkan  nilai  evaluasi  sebagaimana  pada  tabel  III. Nilai  yang  dihasilkan  mengalami  sedikit  penurunan  pada eval loss, recall, dan skor f-measure . Penurunan ini terjadi di  hasil  akhir training maupun  di  model  terbaik.  Adapun nilai precision mengalami  sedikit  peningkatan.  Kendati terdapat  perubahan,  peningkatan  maupun  penurunan  nilai evaluasi yang terjadi dinilai tidak signifikan.
TABEL III
R EKAPITULASI H ASIL P ELATIHAN T AHAP -2 Tahap-2 0.00004 16 3 0.1188 0.9648 0.9662 0.9655
2 0.1116 0.9647 0.9654 0.9650 Parameters Hasil Akhir Training Best Model Perco- baan Learning Rate Batch Size Epoch Eval Loss Precis- sion Recall F1 Score Epoch Eval Loss Precis- sion Recall F1
Score
B. Hasil Pengujian
Pengujian  dilakukan  untuk  melihat  performa  model dalam  melakukan  pelabelan  terhadap  data  baru.  Tahapan ini  tidak  dilakukan  pada  semua  model  hasil  pelatihan, melainkan  hanya  dijalankan  pada  model  terbaik  yang diperoleh dari tahapan eksperimen dan fine-tuning . Model yang  dimaksud  adalah  hasil  percobaan  ke-3  dengan  2 epoch .  Hasil  yang  diperoleh  saat  pengujian  dituliskan pada tabel IV.
TABEL IV R EKAPITULASI H ASIL P ENGUJIAN eval_loss 0.150880663 precision 0.960192359 recall 0.961513472 f1_score 0.960852462
Ketika dibandingkan dengan nilai evaluasi pada model yang  sama  ketika  pelatihan,  nilai  pada  pengujian mengalami  sedikit  penurunan  (gambar  5).  Penurunan terjadi di setiap nilai evaluasi. Akan tetapi, hasil pengujian tersebut  masih  menunjukkan  hasil  yang  lebih  baik  jika dibandingkan dengan eksperimen sebelumnya.
Gambar. 5  Hasil pengujian
Gambar. 6  Contoh pelabelan data uji
Adapun  contoh  hasil  pelabelan  pada  data  uji ditampilkan  pada  gambar  6.  Angka-angka  yang  sama  di bagian  awal  kata  menunjukkan  bahwa  kata-kata  tersebut
merupakan  satu  kesatuan  kalimat.  Bagian  selanjutnya merupakan token atau kata yang dilabeli. Sementara label kelas kata berada di paling kanan baris yang sama dengan dipisahkan dengan tabulasi.

## C. Indikator Evaluasi
Suatu  model  pembelajaran  mesin  atau  pembelajaran mendalam  dikatakan  baik  ketika  model  tersebut  dapat merekam pengetahuan data latih dan menerapkannya pada data lain dengan baik.  Perekaman  pengetahuan dalam hal ini dapat dilihat pada kinerja model terhadap data validasi. Adapun  untuk  penerapan  model  pada  data  baru  atau dikenal  dengan  generalisasi  dapat  dilihat  dari  kinerja model terhadap data uji.
Untuk  dapat  membaca  kinerja  baik  pada  validasi  atau pengujian, terdapat beberapa kriteria berdasarkan eksperimen  dan  pengujian  yang  telah  dilakukan.  Kriteria pertama  adalah  dengan  melihat  nilai loss .  Nilai  ini menunjukkan  kesalahan  model  dalam  memprediksi. Dengan  kata  lain, loss menunjukkan  ketidaksesuaian antara  hasil  prediksi  terhadap  data  sebenarnya.  Semakin kecil  nilainya,  maka  model  dikatakan  lebih  baik.  Jika merujuk pada tabel 6.1, model terbaik adalah eksperimen ke-4.  Akan  tetapi,  perlu  juga  untuk  melihat  kriteria  yang lain.
Kriteria  selanjutnya  adalah  melihat  nilai  evaluasi precision,  recall ,  dan f-measure .  Setiap  tugas  klasifikasi pembelajaran mesin memiliki prioritas nilai evaluasi yang berbeda.  Ada  kalanya  nilai  precision  lebih  penting  pada suatu  kasus  kalsifikasi  A,  namun  kurang  cocok  jika dijadikan  pertimbangan  pada  kasus  klasifikasi  B.  Dari ketiga  nilai  tersebut,  nilai  yang  paling  dipertimbangkan pada POS  tagging adalah recall .  Evaluasi  nilai recall lebih  diprioritaskan  karena  mempertimbangan  hasil prediksi false negative , yang berarti lebih baik prediksinya salah  tapi  sebenarnya  benar.  Hal  ini  digambarkan,  dalam hal POS  tagging ,  nilai recall menunjukkan  bahwa  lebih baik  model  memprediksi  suatu  kata  dengan  label  yang benar  namun  dianggap  salah,  daripada  memprediksi  kata dengan label yang salah namun dianggap benar.  Semakin tinggi  nilai recall ,  suatu  model  dikatakan  lebih  baik. Adapun  nilai precision dan f-measure juga  penting  untuk dijadikan  data  pembanding  nilai recall dalam  evaluasi model.  Pada  kriteria  ini, recall terbaik  dicapai  pada percobaan  ke-3,  sehingga  model  terbaik  didapatkan  pada eksperimen ke-3.
Selain  dua  kriteria  di  atas,  hal-hal  di  luar  teknis pelatihan  juga  patut  dipertimbangkan,  seperti  kondisi perangkat  dan  waktu  pelatihan.  Sebagaimana  pada percobaan  ke-6  yang  tidak  dapat  dilanjutkan  karena memori  dari  GPU  Google  Colaboratory  (12GB)  tidak mampu  memproses  data  pelatihan  dengan  ukuran batch 128.  Hal  ini  tentunya  berdampak  pada  pelatihan  yang kurang  optimal.  Terkait  waktu  pelatihan,  tentunya semakin  sedikit  waktu  yang  dibutuhkan  untuk  pelatihan, akan  semakin  baik.  Akan  tetapi,  waktu  pelatihan
berbanding  lurus  dengan  kompleksitas  arsitektur  model, selain  juga  dipengaruhi  oleh  kapasitas  perangkat.  Poin- poin  di  atas  perlu  dijadikan  pertimbangan  evaluasi, terutama  ketika  dihadapkan  pada  keterbatasan  waktu  dan sumber daya.

## D. Analisis Fine-tuning
Dari tahapan fine-tuning yang dilakukan pada skenario eksperimen, didapatkan beberapa poin analisis. Poin-poin tersebut antara lain:
1. Semakin  besar batch  size ,  alokasi  memori  yang dibutuhkan  semakin  besar.  Hal  ini  terlihat  ketika  dan GPU  Google  Colaboratory  tidak  mampu  menangani data  input  dengan  ukuran batch sebesar  128  pada eksperimen  ke-6.  Ketika  dieksekusi,  muncul  pesan galat  ‘OutOfMemoryError’  (Gambar  7).  Padahal, eksekusi  pelatihan  pada  ukuran batch di  bawahnya tidak  mengalami  galat  ‘OutOfMemoryError’,  artinya memori  perangkat  masih  mumpuni  untuk  menangani pelatihan.
Gambar. 7 Pesan error ‘OutOfMemoryError’ eksperimen ke-6 uji
2. Penambahan  epoch  tidak  selalu  berbanding  lurus dengan  performa  model.  Eksperimen  ke-2  (3  epoch) memang  memberikan  nilai  evaluasi  lebih  baik  dari eksperimen  ke-1.  Namun,  eksperimen  ke-3  justru mencapai  nilai  terbaiknya  pada  epoch  ke-2  dan  turun nilainya pada epoch  ke-3.
3. Penambahan  ukuran  batch  tidak  selalu  berdampak pada  peningkatan  performa  model.  Pada  learning  rate 0,0004  (eksperimen  7-10),  penambahan  ukuran  batch berdampak pada meningkatnya performa model. Akan tetapi, pada learning rate 0,00001 (eksperimen 11-14), penambahan ukuran batch justru menrunkan performa model.
4. Parameter yang berpengaruh terhadap waktu pelatihan adalah ukuran batch dan epoch, Semakin kecil ukuran batch,  semakin  banyak  step  yang  dilakukan,  sehingga menambah  waktu  pembelajaran.  Sebagai  gambaran, eksperimen  dengan  ukuran  batch  8  membutuhkan waktu  sekitar  45  menit  untuk  melakukan  pelatihan. Sementara,  ukuran  batch  membutuhkan  waktu  sekira 35  menit.  Selain  itu,  jumlah  epoch  juga  berdampak pada  waktu,  karena  waktu  pelatihan  akan  dikalikan sejumlah epoch yang didefinisikan.
Dari pemaparan poin di atas, dapat disimpulkan bahwa tidak  ada  patokan  yang  baku  mengenai  berapa  ukuran batch terbaik,  berapa learning  rate yang  terbaik,  dan pertanyaan  sejenisnya.  Untuk  mendapatkan  kombinasi parameter  terbaik,  eksperimen  perlu  dilakukan  secara sistematis.  Jika  nilai  evaluasi  pada  suatu  parameter  terus meningkat,  nilai  parameter  dapat  ditambah  secara berjenjang.  Akan  tetapi,  jika  yang  terjadi  adalah sebaliknya,  pelatihan  dapat  dihentikan,  dan  model  yang dipilih  adalah  hasil  pelatihan  pada  nilai  evaluasi optimalnya.

## E. Penanganan Kata Ambigu
Model  dibuat  dengan  menerapkan  BERT  sebagai pemodelan  bahasa.  BERT  saat  ini  banyak  digunakan dalam  kajian  pemrosesan  bahasa  alami  karena  dinilai mampu menangkap konteks dari suatu kalimat. Pemahaman terhadap konteks suatu kata serta kedudukannya  dalam  kalimat  merupakan  alasan  BERT digunakan dalam penanganan kata ambigu pada penelitian ini. Performa model terbukti andal dalam menangani data kalimat  bahasa  Indonesia  sebagaimana  hasil  evaluasi terhadap skenario eksperimen dan pengujian. Pada bagian ini,  akan  dibahas  kinerja  model  dalam  menangani  kata ambigu.
Pada  saat  pengujian,  data  uji  ditambah  dengan  100 kalimat yang mengandung kata ambigu. Hal ini dilakukan untuk  meninjau  apakah  model  berhasil  menangani masalah  ambiguitas.  oleh  karenanya,  perhatian  observasi berfokus  pada  kata  ambigu.  Dari  100  kalimat  ambigu yang  di  dalamnya  terdapat  kata  ambigu,  model  terbaik pada  pelatihan  tahap  pertama  berhasil  melabeli  92  kata ambigu  pada  kalimat  dengan  label  yang  semestinya. Sementara itu, model dari pelatihan tahap kedua (terdapat
TABEL V
C ONTOH P ELABELAN K ATA A MBIGU DENGAN B ENAR
tambahan data latih kalimat ambigu) berhasil memberikan label  benar  untuk  96  kata  ambigu  dari  100  kalimat  yang diujikan. Terdapat peningkatan performa ketika dilakukan penambahan  data  berupa  kalimat  ambigu  pada  data  latih. Beberapa  contoh  hasil  pelabelan  terhadap  kata  ambigu dengan benar ditunjukkan pada tabel V.
Terdapat  empat  kata  ambigu  yang  belum  berhasil dilabeli  dengan  benar,  termasuk  kata  ‘tahu’  yang semestinya  berlabel  VB  dan  NN.  Akan  tetapi,  model memberikan  hasil  label  yang  lain  (tabel  VI).  Hal  serupa juga pada ‘selang’, seminar, dan sebagainya.
TABEL VI C ONTOH P ELABELAN K ATA A MBIGU
Pengujian  model  pada  kata-kata  ambigu  yang  berhasil menangani  96  dari  100  kalimat  dengan  benar  merupakan peningkatan  dari  penelitian  sebelumnya  (Yazid  dan Fatwanto, 2018). Selain dalam hal pelabelan kata ambigu yang  lebih  baik,  terdapat  hal  yang  menjadi  keunggulan pada penelitian ini. Model yang dihasilkan pada penelitian sebelumnya kurang fleksibel dalam menghadapi perkembangan  bahasa  karena  terbatas  pada  aturan  dan urutan kata tertentu, sementara pola dan tata aturan bahasa terus berkembang. Model dari penelitian ini lebih fleksibel dalam  implementasi  karena  tetap  mampu  memberikan hasil prediksi, sekalipun untuk pola-pola yang sebelumnya belum dikenali.
Dari  analisis  di  atas,  performa  model  yang  dihasilkan pada  penelitian  ini  dapat  mengurangi  permasalahan ambiguitas  dengan  baik.  Kendati  demikian,  model  yang dihasilkan  masih  memiliki  kelemahan.  Contoh  pada gambar  8.  menggambarkan  bahwa  model  masih  belum dapat  menangani  kata  ‘tahu’  pada  kalimat  kedua  ‘siti makan  tahu’,  padahal  di  kalimat  pertama,  model  dapat menangani kata ambigu ‘bisa’ dan ‘tahu’ dengan baik.

## Gambar. 8 Contoh pengujian model terhadap kata ambigu
Kata ‘tahu’ pada kalimat kedua yang harusnya berlabel ‘B-NN’ atau kata benda dilabeli sebagai ‘B-VB’ atau kata kerja.  Kesalahan  pelabelan  yang  terdapat  pada  contoh  di
atas dimungkinkan terjadi karena perbedaan struktur. Kata ‘tahu’ sebagai kata benda pada kalimat pertama berbentuk frasa,  sementara  pada  kalimat  kedua  berbentuk  kata tunggal.  Hal  ini  juga  terlihat  pada  contoh  di  gambar  9, bahwa  kata  ‘tahu’  dalam  bentuk  frasa  berhasil  dilebeli sebagai kata benda.

## Gambar. 9 Contoh pengujian model terhadap kata ambigu (2)
Dua  contoh  di  atas  memberikan  gambaran  bahwa terdapat  model  IndoBERT  yang  digunakan  dalam penelitian  ini  belum  sepenuhnya  dapat  menangkap konteks kalimat. Dari hasil telaah, kondisi ini bisa terjadi karena  perbedaan  struktur  data  latih  dengan  data  yang diujikan,  sebagaimana  struktur  frasa  dan  kata  tunggal yang  telah  dijelaskan.  Selain itu,  kelemahan  ini  juga  bisa terjadi karena data latih kurang bervariasi atau jumlahnya kurang  banyak.  Akan  tetapi,  indikasi  ini  baru  sebatas telaah  yang  membutuhkan  penelitian  tersendiri  untuk membuktikannya.  Beberapa  indikasi  ini  dapat  dijadikan wawasan untuk penelitian selanjutnya.

## IV. K ESIMPULAN
Penelitian  ini  berhasil  mengembangkan POS  tagger menggunakan  BERT  dengan  performa  yang  baik,  yakni mencapai nilai recall 0,965 pada saat pelatihan dan 0.961 pada  saat  pengujian.  Selain  itu,  model  yang  dihasilkan juga  mampu  melakukan  pelabelan  kata-kata  ambigu dengan benar dengan capaian 96/100.
Fine-tuning yang dilakukan pada model BERT dengan peneyesuaian  parameter  dan  penambahan  data  latih memberikan  dampak  pada  peningkatan  performa  model. Hal  ini  terlihat  dari  nilai  evaluasi  dari  setiap  eksperimen. Sebagai  konsekuensi  dari  perubahan  parameter  pada  saat fine-tuning , kompleksitas komputasi mengalami perubahan,  sehingga  berpengaruh  terhadap  durasi  proses pelatihan dan konsumsi sumber daya.
Implementasi  BERT  pada POS  tagger memberikan fleksibilitas  yang  lebih  baik  daripada  pendekatan rule- based maupun  probabilistik.  Model  yang  didapatkan melalui  skema  pembelajaran  mendalam  ini  dapat diimplementasikan  dengan  pada  data  lain  melalui  skema fine-tuning dan  penambahan  data  latih  sesuai  domain pembelajaran.  Kendati  model  yang  dihasilkan  dari penelitian  ini  cukup  baik,  hasil  pengujian  menunjukkan
bahwa  model  masih  belum  dapat  menangani  beberapa kata ambigu dalam struktur tertentu, (seperti struktur kata tunggal, bukan frasa).
R EFERENSI
[1] I. Ghosh, “Ranked: The 100 Most Spoken Languages Around the World,” Visual  Capitalist ,  2020.  [Daring].  Tersedia  pada:
https://www.visualcapitalist.com/100-most-spoken-languages/. [Diakses: 04-Des-2022]. [2] B.  P.  dan  P.  Bahasa,  “Kamus  Besar  Bahasa  Indonesia  Daring,” 2016. [Daring]. Tersedia pada: https://kbbi.kemdikbud.go.id/entri/ambigu. [3] B.  P.  dan  P.  Bahasa,  “Kamus  Besar  Bahasa  Indonesia  Daring,” 2016. [Daring]. Tersedia pada: https://kbbi.kemdikbud.go.id/entri/homonim.  [Diakses:  12-Feb- 2023]. [4] K.  B.  P.  Banten,  “Homonim  dan  Polisemi,”  2017.  [Daring]. Tersedia pada: https://kantorbahasabanten.kemdikbud.go.id/?p=579. [Diakses:
13-Feb-2023].
[5] F.  Ramadhanti,  Y.  Wibisono,  dan  R.  A.  Sukamto,  “Analisis Morfologi untuk Menangani Out-of-Vocabulary Words pada Part- of-Speech  Tagger  Bahasa  Indonesia  Menggunakan  Hidden Markov Model,” J. Linguist. Komputasional , vol. 2, no. 1, hal. 6, 2019, doi: 10.26418/jlk.v2i1.13.
[6] R.  lailatul  Muth’mainnah,  “Pembangkit  Grafik  Berbasis  Bahasa Alami  pada  Database  Management  System  (DBMS),”  UIN Maulana Malik Ibrahim, 2014.
[7] A.  Mulyanto,  Y.  A.  Nurhuda,  dan  N.  Wiyanto,  “Penyelesaian Kata Ambigu Pada Proses POS Tagging Menggunakan Algoritma Hidden  Markov  Model  (  HMM  ),” Pros.  Semin.  Nas.  Metod. Kuantitatif , no. 978, hal. 347–358, 2017.
[8] A. S. Yazid dan A. Fatwanto, “Penentuan Kelas Kata Pada Part of Speech  Tagging Kata  Ambigu Bahasa  Indonesia,” JISKA  (Jurnal Inform.  Sunan  Kalijaga) ,  vol.  2,  no.  3,  hal.  157–166,  2018,  doi: 10.14421/jiska.2018.23-05.
[9] D.  Suyanto,  K.  N.  Ramadhani,  dan  S.  Mandala, Deep  Learning Modernisasi  Machine  Learning  untuk  Big  Data .  Bandung: Informatika, 2019.
[10]  J. Devlin, M. W. Chang, K. Lee, dan K. Toutanova, “BERT: Pre- training  of  deep  bidirectional  transformers  for  language understanding,” NAACL  HLT  2019  -  2019  Conf.  North  Am. Chapter  Assoc.  Comput.  Linguist.  Hum.  Lang.  Technol.  -  Proc. Conf. , vol. 1, no. Mlm, hal. 4171–4186, 2019.
[11]  A.  Vaswani et  al. ,  “Attention  is  all  you  need,” Adv.  Neural  Inf. Process. Syst. , vol. 2017-Decem, no. Nips, hal. 5999–6009, 2017.
[12]  E.  Radiya-Dixit  dan  X.  Wang,  “How  fine  can  fine-tuning  be? Learning  efficient  language  models,”  in e  23rdInternational Conference  on  Artificial  Intelligence  and  Statistics  (AISTATS) , 2020, vol. 108.
[13]  B.  Wilie et  al. ,  “IndoNLU:  Benchmark  and  Resources  for Evaluating  Indonesian  Natural  Language  Understanding,”  in Proceedings of the 1st Conference of the Asia-Pacific Chapter of the  Association  for  Computational  Linguistics  and  the  10th International  Joint  Conference on Natural  Language Processing , 2020, hal. 843–857.
[14]  A.  Dinakaramani,  F.  Rashel,  A.  Luthfi,  dan  R.  Manurung, “Designing  an  Indonesian  part  of  speech  tagset  and  manually tagged Indonesian corpus,” Proc. Int. Conf. Asian Lang. Process.
2014, IALP 2014 , hal. 66–69, 2014, doi: 10.1109/IALP.2014.6973519.
[15]  M.  Kamayani,  “Perkembangan  Part-of-Speech  Tagger  Bahasa Indonesia,” J. Linguist. Komputasional , vol. 2, no. 2, hal. 34, 2019, doi: 10.26418/jlk.v2i2.20.