## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i2.7311

## Prediksi Kepribadian Big Five Pengguna Twitter Menggunakan Metode Decision Tree dengan Pendekatan Semantik BERT
Jammie Reyhan Widyanto * , Erwin Budi Setiawan
Fakultas Informatika, Informatika, Telkom University, Bandung, Indonesia Email: 1,* jammiereyhan@student.telkomuniversity.ac.id, 2 erwinbudisetiawan@telkomuniversity.ac.id Email Penulis Korespondensi: jammiereyhan@student.telkomuniversity.ac.id
Abstrak− Kepribadian individu dapat dilihat dengan mudah pada zaman ini. Ada beberapa pendekatan dalam mengklasifikasi kepribadian, salah satunya kepribadian big five. Kepribadian big five terdiri dari 5 dimensi, yaitu Openness, Conscientiousness, Extraversion,  Agreeableness,  dan  Neuroticism.  Salah  satu  cara  mengetahui  kepribadian  individu  dapat  dilihat  dari  media sosialnya,  karena  zaman  ini  hampir  semua  individu  mempunyai  media  sosial.  Salah  satu  media  sosial  yang  masih  ramai digunakan adalah Twitter. Twitter adalah media sosial yang berisi cuitan-cuitan atau tweet dari tiap individu yang maksimal 280  karakter  per-tweet.  Sudah  ada  beberapa  penelitian  terkait  kepribadian  big  five  dari  pengguna  twitter.  Berdasarkan permasalahan penelitian kepribadian big five sebelumnya,  maka pada penelitian ini  dilakukan prediksi  kepribadian  big five pengguna twitter dengan menggunakan metode Decision Tree Classification And Regression Tree (CART), Term Frequency – Invers Document Frequency (TF-IDF), Synthetic Minority Oversampling Technique (SMOTE), Linguistic Inquiry Word Count (LIWC), dan Bidirectional Encoder Representations from Transformers (BERT). Penelitian bertujuan untuk mengetahui penerapan metode-metode yang digunakan pada penelitian ini terhadap prediksi kepribadian big five dan untuk mendapatkan hasil  akurasi  yang  lebih  baik  dari  penelitian  sebelumnya.  Data  yang  didapatkan  pengguna  twitter  berjumlah  315 pengguna twitter dan 672.866 tweet yang diperoleh dari survey dan telah dilabeli kepribadian big five, dihasilkan akurasi sebesar 97,62% dari baseline dengan kenaikan 23.1%, dengan menerapkan metode CART+TF-IDF+SMOTE+LIWC+BERT.
Kata Kunci: CART; Kepribadian Big Five; LIWC; SMOTE; BERT; Twitter
Abstract− Individual personality can be seen easily in this day. There are several approaches in classifying personality, one of which  is  the  big  five  personality.  The  big  five  personality  consists  of  5  dimensions,  namely  Openness,  Conscientiousness, Extraversion, Agreeableness, and Neuroticism. One way of knowing an individual's personality can be seen from their social media, because today almost all  individuals have social  media. One  of the social  media that is still  widely used is Twitter. Twitter is a social media that contains tweets from each individual with a maximum of 280 characters per tweet. There have been  several  studies  related  to  the  big  five  personalities  of  Twitter  users.  Based  on  previous  big  five  personality  research problems, this study carried out predictions of the big five personalities of Twitter users using the Decision Tree Classification And Regression Tree (CART), Term Frequency – Inverse Document Frequency (TF-IDF), Synthetic Minority Oversampling Technique (SMOTE), Linguistic Inquiry Word Count (LIWC), and Bidirectional Encoder Representations from Transformers (BERT) methods. The study aims to determine the application of the methods used in this study to the prediction of big five personalities and to get better accuracy results than previous studies. Data obtained from 315 twitter users and 672,866 tweets obtained from surveys and have been labeled with big five personalities, resulting in an accuracy of 97.62% from the baseline with an increase of 23.1%, by applying the CART+TF-IDF+SMOTE+LIWC+BERT method.
Keywords : CART; Big Five Personality; LIWC; SMOTE; BERT; Twitter

## 1. PENDAHULUAN
Kepribadian  merupakan  hal  yang  melekat  pada  tiap  individu.  Kepribadian  juga  mempengaruhi  setiap  individu pada berbagai macam kegiatan [1]. Salah satunya yaitu ada kepribadian big five. Kepribadian big five merupakan suatu pendekatan dalam psikologi untuk menentukan kepribadian dari individu dalam beberapa dimensi. Menurut Lewis  R.  Goldberg  ada  5  dimensi  yaitu,  Openness,  Conscientiousness,  Extraversion,  Agreeableness,  dan Neuroticism [2].
Salah satu cara untuk mengetahui kepribadian seseorang dapat dilihat pada media sosialnya. Media sosial adalah suatu media yang penggunanya gunakan untuk mengekspresikan diri dalam berbagai bentuk seperti tulisan, foto, dan video sehingga akun media sosial suatu individu dapat mencerminkan penggunanya, sehingga pengguna lain dapat menyaring dengan mudah apa yang ingin dilihat atau muncul pada media sosialnya [3]. Salah satu media sosial  yang  masih  ramai  digunakan  adalah  Twitter.  Twitter  diperkenalkan  sebagai  media  sosial  yang  cara mengekspresikan diri dengan mengunggah tweet yang maksimal karakternya hingga 280 karakter. Sehingga tweet pada twitter bersifat singkat dan padat.
Pada penelitian  ini  diusulkan  deteksi kepribadian dengan  model  yang  mendekati sempurna,  berdasarkan permasalahan  penelitian  kepribadian  big  five  sebelumnya  dan  bagaimana  penerapan  metode  lain  pada  prediksi kepribadian  big  five  yang  diharapkan  akan  mendapatkan  hasil  akurasi  yang  lebih  baik  serta  penerapan  metode yang lebih efisien, maka diusulkan penelitian ini dengan metode Classification and Regression Tree (CART) yang dikombinasi dengan TF-IDF, SMOTE, LIWC, dan BERT. Metode CART ini digunakan pada penelitian ini karena metode CART  memiliki ketepatan hasil dan akurasi yang baik dibandingkan dengan metode lainya [4]. Metode ini  merupakan  salah  satu  dari  beberapa  metode  Decision  Tree  yang  dikembangkan  oleh  Leo  Breiman  yang merupakan algoritma berbentuk pohon keputusan untuk mengklasifikasi, yang pada tiap parent node akan terpecah dan memiliki child node [5]. Metode ini juga telah digunakan sebagai metode penelitian sebelumnya tetapi dengan topik lain yang menghasilkan nilai akurasi yang baik [6].

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i2.7311
Metode  Term  Frequency  –  Inverse  Document  Frequency  (TF-IDF)  digunakan  sebagai  metode  yang memberikan  nilai  atau  bobot  pada  suatu  kata  berdasarkan  seberapa  sering  kata  tersebut  muncul  dan  seberapa penting  kata  tersebut  [7].  Metode  Synthetic  Minority  Oversampling  Technique  (SMOTE)  digunakan  sebagai pengambilan sampel data untuk kelas minoritas dengan menghubungkan data yang dipilih secara acak dari data yang  terdekat  [8].  Metode  Linguistic  Inguiry  and  Word  Count  (LIWC)  digunakan  untuk  menghitung  kata berdasarkan kategorinya yang dikembangkan sejak tahun 2007 [9].
Metode selanjutnya yaitu menggunakan pendekatan semantic Bidirectional Encode Representations from Transformers (BERT) yang diperkenalkan oleh Jacob Devlin pada tahun 2018 sebagai model representasi bahasa. BERT  digunakan  sebagai  pengesktrak  fitur  dalam  teks  pada  NLP  yang  mempunyai  dua  proses  yaitu,  pertama dataset  akan  diubah  menjadi  vektor  kalimat  yang  menghasilkan  nilai  semantik,  kemudian  dataset  akan  dibuat sebagai  token  yang  menghasilkan  pemberian  label  pada  token,  sehingga  dapat  diimplementasikan  ke  dalam klasifikasi [10].
Prediksi  kepribadian  big  five  bukan  pertama  kali  dilakukan,  sudah  ada  penelitian  sebelumnya  yang melakukannya  dengan  berbagai  metode  yang  berbeda.  Pada  penelitian  yang  dilakukan  Rendy,  metode  yang digunakan yaitu TF-IDF sebagai pembobot kata dan Random Forest sebagai metode klasifikasi, serta pada evaluasi menggunakan  confusion  matrix  yang  akan  menghitung  akurasi,  precision,  recall,  dan  f1  score  [11].  Hasilnya, akurasi  tertinggi  pada  skenario  pertama  yang  didapatkan  dari  parameter  standar  pada  perbandingan  data  20:80 sebesar  57,69%.  Lalu  pada  skenario  kedua  yang  didapatkan  dari  parameter  optimal  pada  perbandingan  20:80 sebesar 69,23%. Model dapat meningkatkan rata-rata dari akurasi sebesar 5,94% dengan peningkatan yang paling tinggi pada fitur sentiment yang perbandingannya 10:90 sebesar 23,07%. Lalu sistem mencari hubungan korelasi antara fitur dengan kepribadian dengan menggunakan pearson correlation.
Pada  penelitian  yang  dilakukan  Roji  metode  yang  digunakan  oleh  peneliti  yaitu  menggunakan  TF-IDF sebagai  pembobot  kata  dan  K-Nearest  Neighbor  sebagai  metode  klasifikasi,  serta  pada  evaluasi  peneliti menggunakan  confusion  matrix  untuk  mengukur  kinerja  dari  metode  klasifikasinya  [12].  Hasilnya,  akurasi tertinggi dari perilaku sosial dan linguistik dengan pengukuran performasi nilai k=9 sebesar 60,97%, sedangkan perilaku sosial dan linguistik dengan pengukuran performansi nilai k=1 yang terendah sebesar 39,02%. Dengan dilakukan item kuisoner berdasarkan jumlah yang sama pada tiap dimensi hasil skoring tetap mendapatkan label lebih  banyak  di  salah  satu  dimensi  yaitu  Openness,  sehingga  model  prediksi  yang  dibangun  cenderung memprediksi  openness  dan  membuat  nilai  precision  dan  recall  pada  openness  meningkat  tetapi  tidak  dengan dimensi lain.
Metode CART sebelumnya belum pernah digunakan pada studi kasus kepribadian big five, pada penelitian yang  dilakukan  Nurihsan  dilakukan  dengan  studi  kasus  pasien  penderita  DBD.  Pada  penelitian  tersebut menjelaskan bahwa Metode CART memiliki hasil klasifikasi dan akurasi yang baik, dibandingkan dengan metode lainnya. Metode CART digunakan untuk melakukan penelitian yang menggunakan proses klasifikasi dan regresi [13]. Pada penelitian sebelumnya metode yang digunakan peneliti yaitu CART dengan menggunakan data pasien penderita DBD. Pada prosesnya peneliti menggunakan data sebanyak 230 data sampel yang terbagi dua menjadi data learning sebanyak 143 sampel dan data testing sebanyak 87 sampel.

## 2. METODOLOGI PENELITIAN
Pada penelitian ini meliputi beberapa tahap, yaitu crawling data, pelabelan data, preprocessing data, membagi data menjadi  data  latih  dan  data  uji,  mengimplementasikan  metode-metode  yang  digunakan  peneliti  pada  data, mengevaluasi data, dan hasil penelitian. Gambar 1 memberikan gambaran alur penelitian.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i2.7311

## 2.1 Crawling Data
Pada  penelitian  ini  menggunakan  dataset  yang  didapat  dari  crawling  pada  Twitter.  Proses  crawling  data  yaitu proses pengambilan data pada akun pengguna Twitter. Data yang diambil pada penelitian ini merupakan data akun yang didapat dari para responden yang telah mengisi kuisioner yang telah disebar. Data tersebut berisikan  tweet, number  of  followers,  number  of  followings,  following  number  of  tweets,  number of  url,  number of  media  url, number of hashtags, number of retweets, number of mentions, dan number of capital. Tabel 1 menunjukan data yang di-crawling. Pada tabel social feature menunjukan kolom social feature, yang menjelaskan tentang jumlah pada setiap feature, seperti , number of followers yaitu jumlah follower dari akun tersebut, dan seterusnya.
Tabel 1. Social Feature
Social Feature Descriptions Number of   Followers The number of followers that the user has Number of Following The number of users following Number of Tweets The number of users' tweets Number of URL The large number of URLs shared by users Number of Media URL The large number of media URLs shared by users Number of Hashtags The number of users' hashtags Number of Retweets The number of user retweets Number of Mentions The number of user mentions Number of Capital Letters  The number of uppercase letters used by Twitter users

## 2.2 Pelabelan Data
Setelah tahap  crawling  data, data akan  melalui proses pelabelan. Pelabelan dilakukan  dari  hasil kuisioner  yang telah diisi oleh para responden. Kuisioner terdiri dari 120 pertanyaan yang diambil dengan menggunakan website Big  Five  Test  yang  menghasilkan  kepribadian  dari  responden  [14].  Hasil  dari  pelabelan  pada  responden  yang berjumlah  315  responden  dapat  dilihat  pada  Gambar  2.  Pada  gambar  2  merupakan  hasil  dari  pelabelan  yang berjumlah 315 label yang terdiri dari 92 Openness, 65 Conscientiousness, 56 Agreeableness, 53 Extraversion, dan 49 Neuroticism.
Gambar 2. Hasil Pelabelan Data

## 2.3 Preprocessing Data
Pada tahap preprocessing akan dilakukan pembersihan dari data yang telah di-crawling dan diberi label, bagian ini dilakukan agar data yang akan digunakan menjadi lebih berkualitas dan lebih baik. Terdapat beberapa tahap yang dilakukan  dalam  preprocessing,  yaitu  Data  Cleaning,  Casefolding,  Tokenizing,  Normalization,  Stopwords,  dan Stemming  [15]. Tabel 2 menunjukkan hasil  preprocessing data.  Tabel 2 menunjukkan hasil  preprocessing data. Pada tabel 2 berisi tentang label dari akun yang berisikan tweet. Dari tweet yang ada pada akun tersebut kemudian dilakukan preprocessing sehingga menghasilkan data tweet hasil preprocessing.

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i2.7311
Tabel 2. Hasil Preprocessing Data
ID Label Akun Tweet Asal Tweet Hasil Preprocessing 1  Openness akhmadarie "@RaffiAhmadLagi jadi ngiri.......", [‘iri’, ‘keren’, ‘daftar’, ‘kuis’, ‘nama’,... "@DiDevirzha keren", "Daftar  kuis  @MOTOGPT7  \nNama  = Ariyanto\nAlamat  =  Kota  Tegal\nNo  Hp  = 085786613486\nSalam VR46, yeaaah" 2  Neuroticism NotAzmi "@rinceu @dokterMade saya rasa konsultannya kurang pandai mencari data... jadi blunder karena Masyarakat yg menonton\u2026 https:\/\/t.co\/1l54W6PWb2" [‘konsultan’, ‘pandai’, ‘cari’, ‘data’, ‘blunder’,... 3  Conscientiousness  arlitadewi "RT @Andriadinugroho: Cara mengakali harga tiket biar lebih murah, pesennya ke destinasi yg jauh  tp  transit  di  jakarta,  sampe  jakarta turun\u2026" [‘akal’, ‘harga’, ‘tiket’, ‘biar’, ‘murah’,... 4  Agreebleness macumaa "sudah malam, ikan bobo" [‘malam’,  ‘ikan’, ‘tidur’, ‘sih’, ‘ilustrasi’,.. "@MJeshintaaa  bukan  sih.  mengilustrasikan aja  gimana  rasanya  kalo  udah  pergi  terus  pas balik lagi ditolak gitu.." 5  Extraversion aliefirham "Aku ga percaya ada orang jahat dimuka bumi Ganesha ini. Pun ada mungkin dia bukan bagian dari  kami.  Atau  mungkin  hanya  kurangnya komunikasi" [‘aku’, ‘tidak’, ‘percaya’, ‘ada’, ‘orang’,...

## 2.4 Decision Tree (CART)
Pada tahap  ini dilakukan klasifikasi dengan  menggunakan  metode  Decision Tree  Classification and Regression Tree  (CART)  yang  menggunakan  Gini  Index  sebagai  metriknya.  CART  menggunakan  gini  index  untuk menentukan kemurnian dari kelas yang terbagi menjadi atribut tertentu [16]. Persamaan 1 menunjukan rumus dari CART yaitu gini index.
𝐺𝑖𝑛𝑖 = ∑ (𝑃 𝑖 ) 2 𝑐 𝑖=1 (1)
Gini adalah impurity dari suatu partisi, C adalah banyaknya indeks, dan Pi adalah probabilitas dari objek yang  diklasifikasikan  ke  kelas  tertentu.  CART  memiliki  beberapa  kelebihan  dibandingkan  dengan  metode klasifikasi  lainnya,  seperti  hasil  dari  klasifikasi  menggunakan  CART  lebih  akurat,  perhitungannya  lebih  cepat, serta lebih mudah untuk diinterpretasikan [5] .

## 2.5 Term Frequency – Inverse Document Frequency (TF-IDF)
Pada tahap ini dilakukan dengan menggunakan metode TD-IDF, TF-IDF merupakan gabungan dari metode Term Frequency  digunakan  untuk  mengukur  berapa  kali  suatu  kata  ada  dalam  sebuah  dataset  dan  Inverse  Document Frequency digunakan untuk memberikan bobot suatu kata, yang berfungsi untuk memberikan nilai atau bobot pada suatu  kata  berdasarkan  frekuensi  yang  terbalik  berdasarkan  penting  atau  tidaknya  kata  tersebut,  maka  TF-IDF adalah metode yang besar kecilnya nilai suatu kata dihasilkan berdasarkan seberapa sering kata tersebut muncul dan seberapa penting kata tersebut [17]. Persamaan 2 menunjukan rumus dari TF-IDF.
𝑇𝐹 × 𝐼𝐷𝐹(𝑑, 𝑡) = 𝑇𝐹(𝑑, 𝑡) × 𝑙𝑜𝑔 𝑁 𝑑𝑓(𝑡)
(2)
Dengan TF (d,t) adalah frekuensi munculnya suatu kata pada dataset, N adalah jumlah dari semua dataset, d f (t) adalah jumlah dari dataset yang mengandung kata tersebut, dan TF*IDF (d,t) adalah pembobotan dari TF- IDF [18].

## 2.6 Synthetic Minority Oversampling Technique (SMOTE)
Pada  tahap  ini  dilakukan  dengan  menggunakan  metode  SMOTE  yang  berfungsi  untuk  mengatasi ketidakseimbangan data pada dataset. SMOTE adalah teknik peyeimbangan data dengan menciptakan sampel dari kelas  minoritas  dengan  menghubungkan  data  yang  dipilih  secara  acak  untuk  menyeimbangkan  data  mayoritas, sehingga dataset akan menjadi lebih seimbang dan dapat meningkatkan akurasi. Metode  SMOTE memiliki tiga tahap, yaitu pemilihan sampel minoritas, yang cara kerjanya setiap sampel dalam kelas minoritas  SMOTE akan memilih K tetangga terdekat dari kelas yang sama, kedua penciptaan sampel sintetis, yang cara kerjanya membuat sampel sintetis antara  sampel  minoritas dan  K tetangga terdekat  dengan cara  mengambil perbedaan antara fitur sampel minoritas dan K tetangga terdekat yang menghasilkan sampel sintetis baru, ketiga perulangan untuk semua

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i2.7311
sampel  minoritas  yang  cara  kerjanya  mengulangi  proses  pada  setiap  sampel  kelas  minoritas,  sehingga  jumlah sampel minoritas lebih seimbang dengan sampel mayoritas [8].

## 2.7 Linguistic Inquiry Word Count (LIWC)
Pada tahap ini dilakukan dengan menggunakan metode LIWC  yang digunakan sebagai metode penghitung kata berdasarkan kategorinya. Fitur yang digunakan yaitu menghitung korelasi antara nilai kategori kata berdasarkan kamus LIWC. Dalam penelitian sebelumnya, kosakata yang dikumpulkan dari kamus  LIWC lalu diterjemahkan ke dalam bahasa Indonesia formal, yang digunakan dalam penelitian ini [19]. Tabel 3 menunjukan nilai korelasi LIWC  dengan  Kepribadian  Big  Five.  Pada  tabel  3  merupakan  kamus  nilai  dari  LIWC.  Pada  kolom  LIWC Category, 1 st person memiliki nilai -0.19 pada label Openness, 0.02 pada label Conscientiousness, 0.03 pada label Extraversion, 0.08 pada label Agreeableness, 0.10 pada label Neuroticism dan seterusnya.
Tabel 3. Nilai Korelasi LIWC LIWC Category O C E A N 1st person -0.19 0.02 0.03 0.08 0.10 2nd person -0.16 0 0.16 0.08 -0.15 3rd person -0.06  -0.08 0.04 0.08 0.02 plural -0.10 0.03 0.11 0.18 -0.07 Pronouns -0.21  -0.02 0.06 0.11 0.06 Negations -0.13  -0.17  -0.05  -0.03 0.11 Assent -0.11  -0.09 0.07 0.02 0.05 Prepositions 0.17 0.06 -0.04 0.07 -0.04 Numbers 0.08 0.04 -0.12 0.11 -0.07 Affect -0.12  -0.06 0.09 0.06 -0.12 Positive Emotion -0.11  -0.02 0.11 0.14 0.01 Negative Emotion 0 -0.18 0.04 -0.15 0.16 Anxiety -0.2 -0.05  -0.03  -0.03 0.17 Anger 0.3 -0.19 0.03 -0.23 0.13 Sadness -0.3 -0.11 0.02 0.01 0.10 Discrepancy -0.12  -0.13  -0.07  -0.04 0.13 Tentative -0.06  -0.10  -0.11  -0.07  -0.12 Certainty -0.06  -0.10 0.10 0.05 0.13 Seeing -0.04  -0.01  -0.03 0.09 -0.01 Hearing -0.08  -0.12 0.12 0.01 0.02 Feeling -0.01  -0.05 0.06 0.10 0.10 Communication -0.06  -0.07 0.13 0.02 0 Friends -0.01 0.06 0.15 0.11 -0.08 Family -0.17 0.05 0.09 0.19 -0.07 Humans -0.09  -0.12 0.13 0.07 -0.05 Time -0.22 0.09 0.02 -0.12 0.01 School 0.02 0.04 -0.07  -0.01 0.06 Job/work 0.04 0.07 -0.08  -0.07 0.07 Achievement -0.05 0.14 -0.09 0.05 0.01 Home -0.20 0.50 0.03 0.19 0 Sports -0.14 0 0.05 0.06 -0.01 Tv/movies 0.05 0.06 0.05 -0.05  -0.02 Music 0.04 -0.11 0.13 0.08 -0.02 Money/finance -0.04  -0.08  -0.04  -0.11 0.04

## 2.8 Bidirectional Encoder Representations from Transformer (BERT)
Pada  tahap  ini  dilakukan  dengan  menggunakan  metode  BERT  yang  digunakan  sebagai  mengekstrak  fitur-fitur dalam  teks  di  nature  language  processing,  seperti  klasifikasi  sentimen,  menjawab  pertanyaan,  dan  pemahaman bacaan . Yang prosesnya ada dua tahap, tahap pertama dari dataset pertama akan diolah menjadi vektor kalimat. Dari proses ini akan menghasilkan nilai semantik.
Kemudian dataset kedua akan dibuat sebagai token, pada tahap ini akan dihasilkan pemberian label pada token agar data lebih mudah diimplementasikan ke dalam klasifikasi. Pada kedua pendekatan tersebut dimasukan dalam klasifikasi untuk digunakan dalam pengujian [20] . Gambar 3 menunjukan cara kerja metode BERT. Pada gambar tersebut proses dimulai dengan pengkodean label prapelatihan dan kata-kata. Label diwakili oleh vektor yang merupakan representasi numerik dari label. Kata-kata direpresentasikan oleh vektor representasi kata yang dihasilkan  model  bahasa  prapelatihan.  Vektor  label  dan  kata-kata  kemudian  diteruskan  ke  mekanisme  Self- Interaction attention. Mekanisme  ini  menghitung  perhatian antara  label dan kata-kata  yang  mengukur seberapa

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i2.7311
tingkat  keterkaitannya,  kemudian  mekanisme  digunakan  untuk  menggabungkan  vektor  dan  kata-kata.  Vektor gabungan  ini  kemudian  diteruskan  ke  model  klasifikasi.  Pada  model  klasifikasi  akan  memprediksi  kelas  objek berdasarkan vektor gabungan.
Gambar 3. Proses BERT

## 3. HASIL DAN PEMBAHASAN
Pada tahap pengujian ini akan dilakukan 4 skenario. Skenario pertama pengujian dilakukan dengan menggunakan CART dan TF-IDF dengan 3 rasio. Hasil terbaik pada skenario pertama akan menjadi baseline dan digunakan pada skenario  berikutnya.  Dengan  skenario  pertama  menggunakan  metode  CART  dan  TF-IDF  yang  menghasilkan akurasi 79.30% merupakan hasil akurasi  yang  lebih  baik dibandingkan penelitian sebelumnya sehingga metode CART tepat  untuk  digunakan  pada  penelitian.  Pada  skenario  kedua  pengujian  dilakukan  dengan  menggunakan Baseline dan SMOTE sebagai metode yang berfungsi untuk mengatasi ketidakseimbangan data pada dataset. Pada skenario ketiga pengujian dilakukan dengan menggunakan  Baseline, SMOTE, dan LIWC sebagai metode untuk menghitung  korelasi  antara  nilai  ketegori  kata  berdasarkan  kamus  LIWC.  Pada  skenario  keempat  pengujian dilakukan dengan menggunakan  Baseline, SMOTE, LIWC, dan  BERT sebagai  metode pengekstrak fitur dalam teks  NLP  yang  proses  pertama  menghasilkan  nilai  semantik  lalu  dataset  akan  dibuat  sebagai  token  sehingga menghasilkan pemberian label pada token. Lalu didapatkanlah hasil akurasi terbaik.

## 3.1 Skenario Pertama
Skenario  pertama  akan  dilakukan  dengan  3  rasio  pembagian  data,  yaitu  (90:10),  (80:20),  (70:30)  dengan menggunakan  metode  CART  dan  TF-IDF  yang  bertujuan  melihat  hasil  rasio  dengan  akurasi  terbaik.  Hasil menunjukan perbandingan 80:20  memiliki  hasil akurasi tertinggi  yaitu sebesar 79.30%. Dengan  ini  rasio 80:20 dengan hasil akurasi 79.30% akan terus digunakan dalam skenario berikutnya. Tabel 4 menunjukan hasil skenario pertama.
Tabel 4. Hasil Skenario Pertama Rasio Data  Akurasi (%) 90:10:00 65.80 80:20:00 79.30 70:30:00 75.23

## 3.2 Skenario Kedua
Pada skenario kedua akan dilakukan dengan hasil skenario pertama dan SMOTE. Hasil menunjukan pada skenario kedua bahwa penggunaan SMOTE dapat meningkatkan akurasi. Hasil ini membuktikan bahwa menyeimbangkan data dengan menggunakan SMOTE dapat meningkatkan akurasi. Tabel 5 menunjukan hasil skenario kedua.
Tabel 5. Hasil Skenario Kedua Condition Akurasi (%) Baseline 79.30 Baseline + SMOTE 82.64 (+4.2)

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i2.7311

## 3.3 Skenario Ketiga
Pada skenario ketiga  akan dilakukan  dengan  hasil skenario kedua dan  LIWC. Hasil  menunjukan pada skenario ketiga  bahwa  penggunakan  LIWC  dapat  meningkatkan  akurasi.  Hasil  ini  membuktikan  bahwa  fitur  linguistik LIWC dapat meningkatkan akurasi. Tabel 6 menunjukan hasil skenario ketiga.
Tabel 6. Hasil Skenario Ketiga Condition Akurasi (%) Baseline 79.30 Baseline + SMOTE + LIWC 93.01 (+17.2)

## 3.4 Skenario Keempat
Pada skenario keempat akan dilakukan dengan hasil skenario ketiga dan BERT. Hasil menunjukan pada skenario keempat  bahwa  penggunakan  BERT  dapat  meningkatkan  akurasi.  Hasil  ini  membuktikan  bahwa  pendekatan semantik BERT sebagai perluasan fitur dapat meningkatkan akurasi. Tabel 7 menunjukan hasil skenario keempat.
Tabel 7. Hasil Skenario Keempat Condition Akurasi (%) Baseline 79.30 Baseline + SMOTE + LIWC + BERT 97.62 (+23.1)

## 3.5 Analisis dan Pembahasan
Pada  penelitian  ini,  telah  dilakukan  pengujian  terhadap  315  pengguna  twitter.  Dataset  yang  digunakan  pada penelitian ini juga tidak seimbang, dapat dilihat pada Gambar 2 dengan label openness lebih banyak dibandingkan dengan label lainnya. Dari hasil pengujian didapatkan rasio dengan akurasi tertinggi 80:20 dengan akurasi 79,30% dengan menggunakan metode CART dan TF-IDF. Kemudian dari hasil pengujian selanjutnya dapat ditingkatkan dengan  menggunakan  metode  SMOTE  mengalami  kenaikan  sebesar  4.2%.  Pada  pengujian  selanjutnya  dapat ditingkatkan  lagi  dengan  menggunakan  metode  LIWC  mengalami  kenaikan  sebesar  17.2%.  Pada  Pengujian selanjutnya  dapat  ditingkatkan  lagi  dengan  metode  BERT  mengalami  kenaikan  sebesar  23.1%.  Tabel  8 menunjukan perbandingan semua skenario yang telah dilakukan.
Tabel 8. Perbandingan Hasil Semua Skenario Condition Akurasi (%) Baseline 79.30 Baseline +  SMOTE 82.64 (+04,2) Baseline + SMOTE + LIWC 93.01(+17,2) Baseline + SMOTE + LIWC + BERT 97.62(+23,1)
Setiap  skenario  yang  dilakukan  mengalami  kenaikan  akurasi.  Gambar  4  menunjukan  perbandingan kenaikan akurasi pada setiap skenario. Pada gambar 4 ditunjukan kenaikan akurasi dari skenario 2, skenario 3, dan skenario  4  yang  mengalami  kenaikan  dari  82.64  (+04,2)  ke  93.01(+17,2)  lalu  mengalami  kenaikan  ke 97.62(+23,1).
Gambar 4. Perbandingan Kenaikan Akurasi

## 4. KESIMPULAN
Pada  penelitian  ini  dilakukan  pengujian  prediksi  kepribadian  big  five  pengguna  twitter  dengan  menggunakan decision tree (CART) dengan pendekatan semantik BERT. Data yang didapatkan berjumlah 315 pengguna twitter
4,2 17,2 23,1 4,2 0 5 10 15 20 25 1 2 3 K enai ka n t er ha da p ba seli ne (% )

## JURNAL MEDIA INFORMATIKA BUDIDARMA
ISSN 2614-5278 (media cetak), ISSN 2548-8368 (media online) Available Online at https://ejurnal.stmik-budidarma.ac.id/index.php/mib DOI: 10.30865/mib.v8i2.7311
dan 672.866 tweet, yang didapat dengan cara crawling data. Data yang telah diolah kemudian dilakukan pengujian dengan  3  rasio,  rasio  data  yang  menghasilkan  akurasi  tertinggi  kemudian  digunakan  untuk  pengujian  tahap selanjutnya. Dari pengujian sebelumnya terdapat data yang tidak seimbang karena ada label yang mendominasi sehingga  dilakukan  penyeimbangan  data  dengan  metode  SMOTE.  Selain  itu  juga  dilakukan  pengujian  dengan menggunakan  metode  LIWC  sebagai  fitur  linguistik  dan  BERT  sebagai  fitur  pendekatan  semantik.  Dari  hasil penelitian ini didapatkan model terbaik dengan akurasi sebesar 97.62% mengalami kenaikan sebesar 23.1% dari baseline yaitu dengan menggunakan metode CART+TF-IDF+SMOTE+LIWC+BERT.

## REFERENCES
[1] A. C. Rosito, “Eksplorasi Tipe Kepribadian Big Five Personality Traits Dan Pengaruhnya Terhadap Prestasi Akademik,” J.  Psikol.  Pendidik.  dan  Konseling  J.  Kaji.  Psikol.  Pendidik.  dan  Bimbing.  Konseling,  vol.  4,  no.  1,  p.  6,  2018,  doi: 10.26858/jpkk.v4i1.3250.
[2] R. Zenico, E. B. Setiawan, and F. N. Nugraha, “Prediksi Big Five Personality dengan Term Frequency Inverse Document Frequency ( TF – IDF ) Menggunakan Metode Logistic Regression pada Pengguna Twitter,” e-Proceeding Eng. Telkom Univ., vol. 6, no. 2, pp. 9939–9945, 2019.
[3] E.  Yuliani,  E.  Utami,  and  R.  Suwanto,  “Klasifikasi  Kepribadian  Pengguna  Media  Sosial,”  J.  Inf.  Politek.  Indonusa Surakarta, vol. 6, 2020.
[4] N. P. Wong, F. N. S. Damanik, Christine, E. S. Jaya, and R. Rajaya, “Perbandingan Algoritma C4.5 dan Classification and  Regression  Tree  (CART)  Dalam  Menyeleksi  Calon  Karyawan,”  J.  SIFO  Mikroskil,  vol.  20,  no.  1,  2019,  doi: 10.55601/jsm.v20i1.622.
[5] K. D. W. Rahayu, R. Andreswari, and E. Sutoyo, “ANALISIS DAN DETEKSI FRAUD PADA DATA PANGGILAN MENGGUNAKAN ALGORITMA DECISION TREE PADA PT XYZ.”, 2020
[6] R. Irmanita, S. S. Prasetiyowati, and Y. Sibaroni, “Classification of Malaria Complication Using CART (Classification and Regression Tree) and Naïve Bayes,” J. RESTI (Rekayasa Sist. dan Teknol. Informasi), vol. 5, no. 1, pp. 10–16, 2021, doi: 10.29207/resti.v5i1.2770.
[7] S. Qaiser and R. Ali, “Text Mining: Use of TF-IDF to Examine the Relevance of Words to Documents,” Int. J. Comput. Appl., vol. 181, no. 1, pp. 25–29, 2018, doi: 10.5120/ijca2018917395.
[8] D. Elreedy and A. F. Atiya, “A Comprehensive Analysis of Synthetic Minority Oversampling Technique (SMOTE) for handling class imbalance,” Inf. Sci. (Ny)., vol. 505, pp. 32–64, 2019, doi: 10.1016/j.ins.2019.07.070.
[9] G. D. Salsabila and  E. B. Setiawan, “Semantic  Approach for Big Five Personality Prediction on Twitter,”  J. RESTI (Rekayasa Sist. dan Teknol. Informasi), vol. 5, no. 4, pp. 680–687, 2021, doi: 10.29207/resti.v5i4.3197.
[10]  C.  A.  Putri,  “Analisis  Sentimen  Review  Film  Berbahasa  Inggris  Dengan  Pendekatan  Bidirectional  Encoder Representations from Transformers,” JATISI (Jurnal Tek. Inform. dan Sist. Informasi), vol. 6, no. 2, pp. 181–193, 2020, doi: 10.35957/jatisi.v6i2.206.
[11]  R. P. Pratama, “Prediksi Tipe  Kepribadian Big Five Pada Pengguna Twitter Menggunakan  Metode Random  Forest,” 2021.
[12]  R.  Ellandi,  E.  B.  Setiawan,  and  F.  N.  Nugraha,  “Prediksi  kepribadian  Big  Five  dengan  Term-Frequency  Inverse Document Frequency Menggunakan Metode k-Nearest Neighbor pada Twitter,”  e-Proceeding Eng., vol. 6,  no. 2, pp. 9955–9962, 2019.
[13]  N.  D.  SAPUTRA,  “PENGGUNAAN  METODE  CLASSIFICATION  AND  REGRESSION  TREE  (CART)  DALAM MENGKLASIFIKASIKAN  PASIEN  PENDERITA  DBD  DI  RUMAH  SAKIT  ANWAR  MAKKATUTU KABUPATEN BANTAENG,” 2021.
[14]  A.  N.  Bayhaqi  and  E.  B.  Setiawan,  “Penilaian  Big  Five  Personality  pada  Twitter  Menggunakan  Metode  Logistic Regression dengan IndoBERT,” 2022.
[15]  R. Nashir, E. B. Setiawan, and D. Adytia, “The Influence of Sentiment on the Movement of Bank Mandiri (BMRI) Stock Price with Word2Vec Feature Expansion and the Naïve Bayes-Support Vector Machine (NBSVM) Classifier,” 2022.
[16]  S. Tangirala, “Evaluating the Impact of GINI Index and Information Gain on Classification using Decision Tree Classifier Algorithm,” Int. J. Adv. Comput. Sci. Appl., vol. 11, no. 2, pp. 612–619, 2020, doi: 10.14569/ijacsa.2020.0110277.
[17]  S. Garg and A. Garg, “Comparison of machine learning algorithms for content based personality resolution of tweets,” Soc. Sci. Humanit. Open, vol. 4, no. 1, p. 100178, 2021, doi: 10.1016/j.ssaho.2021.100178.
[18]  F.  I.  Nur  Haq  and  E.  B.  Setiawan,  “Implementasi  Naive  Bayes  Classifier  untuk  Prediksi  Kepribadian  Big  Five  pada Twitter  Menggunakan  Term  Frequency-Inverse  Document  Frequency  (TF-IDF)  dan  Term  Frequency  Relevance Frequency (TF-RF),” e-Proceeding Eng., vol. 6, no. 2, 2019.
[19]  G. Safitri and E. B. Setiawan, “Prediksi Kepribadian Pengguna Twitter dengan Support Vector Machine (SVM),” 2021.
[20]  B. A. C. Martani and E. B. Setiawan, “Naïve Bayes-Support Vector Machine Combined BERT to Classified Big Five Personality  on  Twitter,”  J.  RESTI  (Rekayasa  Sist.  dan  Teknol.  Informasi),  vol.  6,  no.  6,  pp.  1072–1078,  2022,  doi: 10.29207/resti.v6i6.4378.