http://sistemasi.ftik.unisi.ac.id

## Penerapan Model Deep Neural Networks dalam Menganalisis Sentimen Aplikasi ChatGPT

## Application of the Deep Neural Networks Model in Analyzing ChatGPT
Application Sentiment
1 Ahmad Fauzi*, 2 Indra Chaidir, 3 Muhammad Iqbal, 4 Ginabila 1,2,4 Sistem Informasi, Fakultas Teknik dan Informatika, Univerisitas Bina Sarana Informatika
3 Teknik Informatika Kampus Kota Pontianak, Fakultas Teknik dan Informatika, Univerisitas Bina Sarana Informatika
Jalan Kramat Raya No.98, RT.2/RW.9, Kwitang, Kec. Senen, Kota Jakarta Pusat, DKI Jakarta,
Indonesia *e-mail: ahmad.aau@bsi.ac.id
( received : 16 Agustus 2023, revised : 12 September 2023, accepted : 9 Oktober 2023)

## Abstrak
AI  telah  mampu  menirukan  perilaku  manusia  secara  cerdas  dan  telah  diterapkan  dalam  berbagai konteks,  termasuk  kesehatan  untuk  perawatan  pasien  yang  lebih  efisien.  Salah  satu  tren  menonjol dalam  AI  adalah  model  bahasa  canggih  seperti  ChatGPT  yang  dikembangkan  oleh  OpenAI. Efektivitas  ChatGPT  dalam  menemukan  dan  memperbaiki  bug  pada  kode  komputer  menjadi  subjek perdebatan,  tergantung  pada  tugas,  data  pelatihan,  dan  desain  sistem.  Kepopuleran  platform  media sosial,  terutama  Twitter,  sebagai  sumber  data  analisis  teks  telah  meningkatkan  minat  dalam  analisis sentimen.  Penelitian  ini  mengeksplorasi  sentimen  terhadap  aplikasi  ChatGPT  dengan  menggunakan dataset  50.000  tweet.  Analisis  sentimen  dilakukan  dengan  pendekatan  deep  neural  network  (DNNs) untuk mencapai akurasi yang optimal. Model deep learning dikenal memiliki prediktivitas yang tinggi dan  waktu  pelatihan  yang  efisien.  Melalui  eksperimen  ini,  kami  bertujuan  untuk  mendapatkan wawasan tentang pandangan publik terhadap ChatGPT dalam tiga kategori sentimen: positif, negatif, dan  netral.  DNN  (Deep  Neural  Network)  diusulkan  karena  performanya  yang  baik  serta  dapat mempersingkat jumlah waktu pelatihan.  Hasilnya dengan model yang digunakan pada penelitian ini yaitu  CNN  dan  LSTM  keduanya  mencapai  nilai  akurasi lebih  dari  90%:  Dimana  CNN  memperoleh nilai akurasi sebesar 91.12% dan LSTM memperoleh akurasi sebesar 90.84%.
Kata Kunci : Artificial Intelligence, ChatGPT, analisis sentimen, deep neural network.

## Abstract
AI  has  been  able  to  intelligently  mimic  human  behavior  and  has  been  applied  in  various  contexts, including  healthcare  for  more  efficient patient  care. One  of  the  prominent  trends  in  AI  is  advanced language  models  such  as  ChatGPT  developed  by  OpenAI.  The  effectiveness  of  ChatGPT  in  finding and  fixing  bugs  in  computer  code  is  a  subject  of  debate,  depending  on  the  task,  training  data,  and system design. The popularity of social media platforms, particularly Twitter, as a data source for text analysis  has  increased  interest  in  sentiment  analysis.  This  study  explores  sentiment  towards  the ChatGPT application using a dataset of 50,000 tweets. Sentiment analysis is performed using a deep neural network (DNNs) approach to achieve optimal accuracy. Deep learning models are known to have high predictivity and efficient training time. Through this experiment, we aim to gain insight into how  the  public  views  ChatGPT  in  three  sentiment  categories:  positive,  negative,  and  neutral.  DNN (Deep Neural Network) is proposed because of its good performance and can shorten the amount of training time. The results with the model used in this study, namely CNN and LSTM both achieve an accuracy  value  of  more  than  90%:  Where  CNN  obtains  an  accuracy  value  of  91.12%  and  LSTM obtains an accuracy of 90.84%.
Keywords: Artificial Intelligence, ChatGPT, sentiment analysis, deep neural network.

## 1 Pendahuluan
Saat  ini,  AI  terintegrasi  ke  dalam  kehidupan  kita  sehari-hari  dalam  berbagai  bentuk,  seperti asisten pribadi (Siri, Alexa, asisten Google, dll.) [1] dengan cara apapun Artificial Intelligence dapat menirukan  tingkah  laku  manusia  yang  dikategorikan  cerdas  [2].  AI atau ilmu  kecerdasan  buatan dengan  menggunakan  komputer  digunakan  untuk  mensimulasikan  perilaku  cerdas  manusia  dan melatih  komputer  untuk  mempelajari  perilaku  manusia  seperti  belajar,  penilaian,  dan  pengambilan keputusan  [3].  Pada  bidang  kesehatan  AI  juga  mulai  dimasukkan  ke  dalam  pengobatan  untuk meningkatkan perawatan pasien dengan mempercepat proses dan mencapai akurasi yang lebih tinggi, membuka jalan untuk menyediakan perawatan kesehatan yang lebih baik secara keseluruhan [1].
Salah  satu  produk Artificial  Intelligence yang  saat  ini  sedang booming adalah  ChatGPT. ChatGPT adalah model bahasa canggih yang dikembangkan oleh OpenAI yang berpotensi merevolusi cara kita berinteraksi dengan teknologi [4].  Efektivitas penggunaan ChatGPT dalam menemukan dan memperbaiki  bug  pada  kode  komputer  bergantung  pada  tugas  tertentu,  kualitas  data  pelatihan,  dan desain sistem [5].  Kemunculan ChatGPT menjadi topik hangat yang diperbincangkan pada salah satu flatform media sosial salah satunya twitter .  Kepopuleran twitter dalam mengambil sumber data pada analisis berbentuk teks banyak digunakan karena stuktur teksnya cocok digunakan untuk melakukan analisis [6].
Pada  penelitian  ini  data  tweet  yang  diambil  sebanyak  50.000  data  untuk  di  analisis  terhadap sentiment terhadap aplikasi ChatGPT dengan tiga label yaitu positif, negatif dan netral. Metode yang diusulkan  untuk  melakukan  analisis  terhadap  sentiment  ChatGPT  dengan  pendekatan deep  neural network untuk  mendapatkan  hasil  akurasi  terbaik. Deep  neural  network (DNNs)  telah  diusulkan sebagai cara menghasilkan model yang lebih prediktif [7], performa model deep learning diakui dapat mengurangi  waktu  pelatihan  secara  berkelanjutan  karena  prosesnya  yang  cepat  [8].    Model deep neural  network yang  diusulkan  pada  penelitian  ini  yaitu Convolutional  Neural  Network (CNN)  dan Long Short-Term Memory (LSTM) dengan tujuan untuk mendapatkan hasil yang optimal dan kinerja yang  cepat  pada  jumlah  dataset  yang  banyak.    Hasilnya  kedua  model  yang  diusulkan  memperoleh nilai akurasi yang hampir sama lebih dari 90%.  CNN mendapatkan nilai akurasi sebesar 91.12% dan LSTM mendapatkan nilai akurasi sebesar 90.84%.

## 2 Tinjauan Literatur
Penelitian  terhadap  beberapa  kasus  sentiment  analisis  banyak  digunakan  pada  penelitian sebelumnya  seperti  penelitian  tentang  sentiment  analisis  terhadap  covid  19  yang  dilakukan  oleh  [9] dengan menggunakan model klasifikasi Support Vector Machine dan Naïve Bayes hasilnya terhadap 214  data  penelitian  98  dilabeli  sebagai  positif  dan  116  dilabeli  sebagai  negatif  model  SVM memperoleh nilai akurasi sebesar 54,21% dan naïve bayes memperoleh akurasi sebesar 53,27%.
Penelitian  dengan  metode  klasifikasi  terhadap  sentiment  analisis  hastag  #omnibuslaw menyimpulkan dari 1,133 dataset dimana kelas yang dibentuk dari penelitian ini terdiri dari dua kelas yaitu positif dan negatif dengan perbandingan 60:40 untuk perbandingan label negatif dan positifnya, penelitian  ini  mengusulkan  parameter sample boostraping untuk  mengatasi  ketidak  seimbangan sampel  pada  label  kelas  sehingga  dapat  meningkatkan  nilai  akurasi  terhadap  tiga  model  klasifikasi yang  digunakan  pada  penelitian  ini  yaitu  SVM  sebesar  85,88%,  Naïve  Bayes  85,08%  dan  K-Nearst Neighboard sebesar 78,64% [10].
Selanjutnya model deep neural network digunakan pada kasus sentiment analisis untuk mencari kata  yang  disematkan  dalam  sebuah  tweet,  representasi  terhadap  kata  yang  disematkan  ( embedded words )  terhadap  ulasan  produk  diuji  dengan  menyajikan  konfigurasi  LSTM Model  dan  CNN  model pada 50,000 dataset kata tersemat.  Jaringan syaraf LSTM dan CNN memiliki nilai akurasi yang sama baiknya yaitu sebesar 65% [11].
Sentimen  analisis  terhadap  kata  berbahasa  Indonesia  berdasarkan  sumber  data  dari  twiter berjumlah  pada  10  tagar  yang  sedang  trending  topik  dimana  total  ada  2023  data  dengan  tiga  kelas kategori  yaitu  positif,  negatif  dan  netral  mengkomparasikan  tiga  model  yang  diusulkan  pada penelitian  ini  yaitu naïve  bayes (NB), Support  Vector  Machine (SVM)  dan Deep  Belief  Network (DBN)  yang  merupakan  bagian  dari deep  neural  network menyimpulkan  hasil  akurasi  DBN  adalah yang  terbaik  dengan  tingkat  akurasi  sebesar  93%  dibandingkan  dengan  dua  model  lainnya  SVM memperoleh akurasi sebesar 92%, sedangkan NB paling kecil akurasinya hanya 79% [12].

## 3 Metode Penelitian
Metode  penelitian  text  mining  adalah  pendekatan  yang  digunakan  untuk  menganalisis  dan mengekstraksi  informasi  berharga  dari  teks  dalam  jumlah  besar  untuk  mengetahui  pola-pola  atau urutan  yang  terkait  antara  satu  kata  dengan  kata  lainnya  [10].  Metodologi  yang  diusulkan  pada penelitian ini dijelaskan pada Gambar 1.

## Gambar 1. Metode Penelitian
Pada  gambar  1  diuraikan  metodologi  atau  tahapan  penelitian  dimana  penelitian  ini  diawali dengan pengumpulan tweet yang bersumber dari tweeter dengan hashtag #ChatGPT.

## 3.1 Dataset Penelitian
Untuk mendapatkan data yang relevan dengan penelitian, pada tahap pengambilan dataset dari twiter penting melakukan penarikan pada saat trend atau isu yang akan diteliti sedang booming atau menjadi topik pembahasan tujuannya supaya sentiment tweet yang diambil banyak.  Pada penelitian ini jumlah dataset total yang didapatkan 50.000 dataset.

## 3.2 Prepocessing
Pada  tahap preprocessing dataset  dilakukan  beberapa  proses  untuk  mendapatkan  hasil  tweet dengan kalimat aslinya tanpa menyertakan url, taggar atau symbol-simbol yang tidak digunakan pada saat dilakukan modeling.
1. Transform Case
Transforms  case dapat  membantu  dalam  membuat  teks  lebih  konsisten,  sehingga  model analisis  sentimen  tidak  akan  bingung  oleh  variasi  kapitalisasi  misalnya  mengubah  semua huruf menjadi huruf kecil ( lower case) semua atau huruf kapital semua ( upper case ) [10].
2. Remove URL
Remove URL digunakan untuk menghilangkan alamat URL atau tautan yang terdapat pada text atau komentar [13].
3. Tokenize
Tokenize digunakan  untuk  memecah  setiap  kalimat  menjadi  kata-kata  individu,  sambil menghilangkan karakter yang tidak relevan [13].
4. Filter Token (by length)
Pada  tahap  ini Filter  Token  (by  length) dilakukan  untuk  menghapus  kata-kata  yang memiliki  jumlah  karakter  kurang  dari  ambang  nilai  yang  telah  ditetapkan  misalnya  kata- kata yang kurang dari 3 atau 4 karakter [10].
Tweet ChatGPT Preprocessing Modelling Evaluasi Transform Case Remove URL Filter Token (by Length) Stopword Removal Tokenize

## 5. Stopword Removal
Proses  penghapusan  " stop  words "  membantu  dalam  mengurangi  dimensi  data  dan meningkatkan  kualitas  analisis,  karena  kata-kata  ini  sering  kali  tidak  membawa  makna khusus  dalam  konteks  tertentu  dan  dapat  mengganggu  pemahaman  lebih  lanjut  tentang teks, misalnya kata sambung –kan, -an, pada, ked an kata-kata lainnya yang tidak memiliki artian secara khusus [12].

## 3.3 Modelling
Pada tahap pemodelan dataset diuji dengan model algoritma model deep learing. model deep learning dapat  melibatkan  banyak  eksperimen  dan  iterasi  untuk  mencapai  hasil  yang  optimal  . penelitian  ini  melakukan  pengujian  dengan  model Convolutional  Neural  Network (CNN)  dan Long Short-Term Memory (LSTM).
Arsitektur CNN Model digambarkan pada Gambar 2
Gambar 2. Arsitektur CNN Model [11]

## Arsitektur Model LSTM network
Gambar 3. Arsitektur LSTM Model [13]

## 3.4 Evaluasi
Pada  tahap  evalusi  digunakan  subset  pengujian  untuk  mengevaluasi  kinerja  model.  Ini melibatkan  mengukur  akurasi,  presisi,  recall,  F1-score,  dan  metrik  evaluasi  lainnya  yang  sesuai dengan  jenis  analisis  yang  dilakukan  [14].  Untuk  mendapatkan  hasil  yang  ingin  dicapai  pada penelitian  ini  evaluasi  model  yang  dilakukan  dalam  menentukan  model  terbaik  dilakukan  dengan beberapa evaluasi diantaranya:
1. Akurasi
Akurasi  merupakan  total  data  uji  yang  diprediksi  benar  dalam  bentuk  persentase  berdasarkan hasil pengujian [15].  Persamaan akurasi dijelaskan pada rumus (1):
𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = (𝑎+ 𝑑) 𝑇𝑜𝑡𝑎𝑙𝑠𝑎𝑚𝑝𝑙𝑒 𝑥 100% (1)
http://sistemasi.ftik.unisi.ac.id

## 2. AUC/ROC
Receiver  Operating  Characteristics (ROC)  adalah  semacam  alat  ukur performance untuk classification problem  dalam  menentukan threshold dari  suatu  model  [16].  Rumus  menghitung AUC/ROC dijelaskan pada point (2):
𝐴𝑈𝐶 = 1/2 ∑ (xi + 1 − xi)(yi + 1 − yi) 𝑛 𝑘𝑖=1 (2)

## 3. Presisi
Presisi  adalah  bagian  dari  data  yang  diambil  sesuai  dengan  informasi  yang  diperlukan  [15]. Rumus presisi dijelaskan pada point (3) sebagai berikut:
𝑃𝑟𝑒𝑐𝑖𝑠𝑠𝑖𝑜𝑛 = (𝑑) (𝑏+𝑑) 𝑥 100%
(3)
Dalam klasifikasi biner, presisi dapat dianggap setara dengan nilai prediksi positif.
4. Recall
Recall merupakan  bagian  data  yang  relevan  dengan  queri  yang  berhasil  diambil  dari  dataset [15].  Secara umum rumus recall dijelaskan pada point (4).
𝑅𝑒𝑐𝑎𝑙𝑙 = (𝑑) (𝑐+𝑑) 𝑥 100% (4)
Keterangan : a = Prediksi benar, hasil benar b = Prediksi benar, hasil salah c = Prediksi salah, hasil benar d = Prediksi salah, hasil salah
5. F1-Score
F1  score adalah  salah  satu  metrik  evaluasi  kinerja  yang  umum  digunakan  dalam  tugas klasifikasi, terutama ketika dataset tidak seimbang [16]. Rumus untuk menghitung F1 score secara detail dijelaskan pada point (5) :
𝐹1 𝑠𝑐𝑜𝑟𝑒 = 2 ∗ 𝑝𝑟𝑒𝑐𝑖𝑠𝑠𝑖𝑜𝑛∗𝑟𝑒𝑐𝑎𝑙𝑙 𝑝𝑟𝑒𝑐𝑖𝑠𝑠𝑖𝑜𝑛+𝑟𝑒𝑐𝑎𝑙𝑙 (5)

## 4 Hasil dan Pembahasan
Dalam penelitian ini, kami melakukan analisis mendalam terhadap sentiment tentang #ChatGPT dengan tujuan untuk melihat seberapa besar model yang diusulkan dalam melakukan evaluasi. Dalam rangka mencapai tujuan tersebut, kami mengumpulkan dan menganalisis data.

## 1. Dataset penelitian
Dataset  yang  digunakan  pada  penelitian  ini  sebanyak  50.000  tweet  yang  bersumber  dari dataset  publik  kaggel.com  yang  mengumpulkan  sejumlah  komentar  dari  aplikasi  sosial  meida tweeter dengan hashtag #ChatGPT, #OpenAI dari tanggal 21 Januari 2023 sampai dengan tanggal 24 Januari 2023.
Tabel 1. Contoh Komentar
No Kalimat Kategori 1 AI will initiate a new era of entrepreneurship. a thesis. #chatgpt #visionary #artificialintelligence #future https://t.co/yxpj9w7qcy. Positif 2 Soon, we will see a scenario where we will discover that a bestseller was written using #ChatGPT It is just a matter of time. Positif
3 Why do I feel hurt being ghosted by ChatGPT? https://t.co/3aG1wI0YjC' Netral … … … 50000 Stop using ChatGPT, Jasper or any generic AI to write articles. I built an AI editor that trains itself on your published articles. The result? An immediate upgrade over these generic tools. Don't believe me? Try it for free Negatif
Pada  Tabel  1  setiap  komentar  diberikan  label  untuk  mengkategorikan  setiap  tweet  supaya dievaluasi kinerjanya.  Secara detail jumlah perbandingan antaran label positif, negatif dan netral pada Gambar 4

## Gambar 4. Grafik Sentiment Analisis
Dari  Gambar  4  berdasarkan  hasil  penelitian  jumlah  sentiment  analisis  dengan  hashtag #ChatGPT,  25.000  data  atau  50%  dikategorikan  sebagai  sentiment  yang  netral,  15.000  atau  30% data  dikategorikan  sebagai  sentiment  positif  dan  10.000  data  atau  10%  dikategorikan  sebagai sentiment yang negatif.
Selanjutnya  adalah  melakukan preprocessing dengan  beberapa  teknik  terhadap sentiment/komentar  sehingga  menjadi  kalimat  dalam  bentuk  baku  yang  akan  diproses  dengan model yang diusulkan.
Gambar 5. Hasil Preprocessing Text Mining
Pada  Gambar  5  proses  dalam  melakukan  klasifikasi  sentiment  analisis  terhadap  aplikasi ChatGPT  melalui  beberapa  proses/ preprocessing sebelum  dikategorikan  apakah  sentiment  yang ditulis cenderung bersifat positif, negatif atau netral.  Untuk mendapatkan kalimat baku atau kata asli dari  kalimat  yang  dituliskan  pada  kasus ini  data  yang  digunakan  adalah  komentar  berbahasa  inggris dengan  melalu  tahapan-tahapan  sebagaimana  dijelaskan  pada  gambar  5  dimulai  dari  pengambilan kalimat  aslinya  kemudian  melakukan transform  case dengan  membuat  semua  tulisan  menjadi  huruf
Kalimat Asli Transform Case Remove URL Tokenize Filter Token (by length) Stopword Removal AI will initiate a new era of entrepreneurship. A thesis. #ChatGPT #visionary
#ArtificialIntelligence #future https://t.co/yxpj9w7QcY.
will initiate new era entrepreneurship thesis chatgpt visionary artificialintelligence future
ai will initiate a new era of entrepreneurship a thesis chatgpt visionary artificialintelligence future https t co yxpj w qcy
ai will initiate a new era of entrepreneurship a thesis chatgpt visionary artificialintelligence future https t co yxpj w qcy
ai will initiate a new era of entrepreneurship. a thesis. #chatgpt #visionary #artificialintelligence
#future https://t.co/yxpj9w7qcy
will initiate new era of entrepreneurship thesis chatgpt visionary artificialintelligence future
kecil semua supaya data inputan terlihat konsisten.  Selanjutnya menghapus URL atau link yang ada pada  kalimat  supaya  dapat  diketahui  bahwa  inputan  berupa  kata-kata  tanpa  ada  tautan  atau  sumber dari halaman web lainnya.  Tahap berikutnya adalah melakukan tokenize untuk mendapatkan kata asli yang  tidak  diberi  kata  imbuhan  baik  awalan  atau  akhiran,  selanjutnya  menghapus  kata-kata  yang kurang dari 2 huruf untuk menghindari kata sambung atau kata yang tidak memiliki arti sehingga pada tahap akhir didapatkan kalimat yang terdiri dari kata asalnya untuk dilakukan evaluasi dan penilaian terhadap suatu sentiment/komentar.
2. Evaluasi Convolutional Neural Network Model
Evaluasi  yang  dilakukan  pada  dataset  penelitian  dengan  menggunakan  CNN  Model.  Dalam konteks  CNN epoch mengacu  pada  satu  putaran  lengkap  dari  seluruh  dataset  pelatihan  melalui jaringan CNN. Setiap epoch terdiri dari beberapa iterasi, di mana model memproses setiap batch data  untuk  memperbarui  bobot  dan  bias  berdasarkan  hasil  pelatihan.    Hasil  yang  didapatkan dijelaskan pada Tabel 2.
Tabel 2. Evaluasi Model CNN Epoch Akurasi Loss 1/10 0.9023 0.2956 2/10 0.9112 0.2711 3/10 0.9098 0.3054 4/10 0.9061 0.3586 5/10 0.9054 0.4023 6/10 0.9049 0.4470 7/10 0.9034 0.5106 8/10 0.8958 0.6024 9/10 0.8992 0.6223 10/10 0.8939 0.6321
Pada Tabel 2 berdasarkan hasil penelitian terhadap objek penelitian dengan model CNN nilai akurasi paling besar terjadi pada epoch ke 2/10 dengan nilai sebesar 0,91 atau 91% dan Loss terkecil dengan  nilai  0,27  atau  27%.  Visualisasi  dari  hasil  perbandingan  nilai  akurasi  dan loss terhadap epoch nya pada gambar 5

## Gambar 6. Visualisasi Nilai Akurasi Model CNN
Pada  Gambar  6  hubungan  antara  sumbu  X  (akurasi) dan  sumbu  Y  ( epoch )  menggambarkan nilai model akurasi yang disimbolkan dengan garis berwarna biru sebagai data training dan garis berwarna  orange  sebagai  data testing nilai-nilai  yang  dihasilkan  secara  detail  sudah  dijelaskan pada Tabel 2.
3. Evaluasi LSTM Model
Evaluasi  selanjutnya  dengan  model  LSTM,  hal  yang  sama  dilakukan  dengan  melakukan perulangan/ epoch pada setiap data training terhadap data testing.  Hasilnya pada Tabel 3.
Tabel 3. Evaluasi Model LSTM Epoch Akurasi Loss 1/10 0.9023 0.2994 2/10 0.9084 0.2820 3/10 0.9014 0.3357 4/10 0.9018 0.3521 5/10 0.8968 0.3981 6/10 0.9037 0.4897 7/10 0.8984 0.5262 8/10 0.9034 0.5687 9/10 0.8947 0.8947 10/10 0.9017 0.6422
Hasil  penelitian  menunjukan  bahwa  evaluasi  dengan  model  LSTM  pada  Tabel  3  dengan Epoch 10  iterasi  nilai  akurasi  paling  tinggi  pada epoch ke  2/10  yaitu  0.9084  atau  90.84% sedangkan  nilai  lossnya  sebesar  0.2820  atau  28.20%.    Visualisasi  dari  hasil  perbandingan  nilai akurasi dan loss terhadap epoch nya pada Gambar 7.

## Gambar 7. Visualisasi Nilai Akurasi Model LSTM
Gambar  7  merupakan  visualisasi    dari  Tabel  3  dimana  sumbu  X  atau epoch berhubungan dengan sumbu Y nilai akurasi terhadap data training dengan data testing .
4. Confusion Matriks
Hasil  evaluasi  dengan  confussion  matriks  dari  objek  penelitian  dengan  menggunakan  dua model deep learning yaitu CNN dan LSTM di jelaskan pada Tabel 4.
Tabel 4. Confussion Matriks Model Accuracy Precision Recall F1-Score Support CNN 0.9112 0.97 0.91 0.94 6515 LSTM 0.9084 0.95 0.94 0.95 6515
Pada tabel  4  berdasarkan  evaluasi  dengan  confussion matriks  kedua  model  memiliki  kinerja yang  cukup  baik  dengan  akurasi  yang  hampir  serupa.  Model  LSTM  sedikit  lebih  tinggi  dalam recall,  menunjukkan  kemampuannya  dalam  mendeteksi  lebih  banyak  kasus  positif  secara keseluruhan.  Namun,  model  CNN  memiliki  presisi  yang  sedikit  lebih  tinggi,  menunjukkan kemampuannya  dalam  memprediksi  kelas  positif  dengan  benar.  Nilai  F1-Score  yang  hampir setara menunjukkan keseimbangan antara kedua metrik tersebut.

## 5 Kesimpulan
Eksperimen  ini  bertujuan  untuk  memberikan  wawasan  tentang  pandangan  publik  terhadap aplikasi ChatGPT dalam tiga kategori sentiment yaitu positif, negatif dan netral. Dalam upaya untuk meningkatkan  kinerja,  model-model  yang  diusulkan  yaitu  CNN  dan  LSTM,  dipilih  karena performanya  yang  baik  dan  kemampuan  untuk  mengurangi  waktu  pelatihan.  Hasil  eksperimen menunjukkan  bahwa  keduanya  mencapai  tingkat  akurasi  lebih  dari  90%  dimana  CNN  dengan  nilai akurasi 91.12% dan LSTM dengan nilai akurasi 90.84%. Hal ini menunjukkan potensi model-model yang diusulkan dapat diandalkan dalam menganalisis sentimen secara efektif.

## Referensi
[1] Y. Mintz and R. Brodie, “Introduction to artificial intelligence in medicine,” Minim. Invasive Ther. \& Allied Technol. , vol. 28, no. 2, pp. 73–81, 2019.
[2] F.  Y.  Tember,  I.  Najiyah,  T.  Informatika,  F.  T.  Informasi,  and  J.  Barat,  “Klasifikasi  Motif Batik  Jawa  Barat  menggunakan  Convolutional  Neural  Network  Classification  of  West  Java Batik Motifs Using Convolutional Neural Network,” vol. 12, pp. 282–292, 2023.
[3] C.  Zhang  and  Y.  Lu,  “Study  on  artificial  intelligence:  The  state  of  the  art  and  future prospects,” J. Ind. Inf. Integr. , vol. 23, no. April, p. 100224, 2021.
[4] M.  Aljanabi,  M.  Ghazi,  A.  H.  Ali,  S.  A.  Abed,  and  ChatGpt,  “ChatGpt:  Open  Possibilities,” Iraqi J. Comput. Sci. Math. , vol. 4, no. 1, pp. 62–64, 2023.
[5] N. M. S. Surameery and M. Y. Shakor, “Use Chat GPT to Solve Programming Bugs,” Int. J. Inf. Technol. Comput. Eng. , no. 31, pp. 17–22, 2023.
[6] R. Ferdiana, F. Jatmiko, D. D. Purwanti, A. S. T. Ayu, and W. F. Dicka, “Dataset Indonesia untuk Analisis Sentimen,” J. Nas. Tek. Elektro dan Teknol. Inf. , vol. 8, no. 4, p. 334, 2019.
[7] W.  Samek,  G.  Montavon,  S.  Lapuschkin,  C.  J.  Anders,  and  K.  R.  Müller,  “Explaining  Deep Neural Networks and Beyond: A Review of Methods and Applications,” Proc. IEEE , vol. 109, no. 3, pp. 247–278, 2021.
[8] S. Basodi, C. Ji, H. Zhang, and Y. Pan, “Gradient amplification: An efficient way to train deep neural networks,” Big Data Min. Anal. , vol. 3, no. 3, pp. 196–207, 2020.
[9] S.  Hadianti et  al. ,  “Analisis  Sentiment  Covid-19  Di  Twitter  Menggunakan  Metode  Naive Bayes Dan Svm,” J. Teknol. Inf. , vol. 6, no. 1, pp. 58–63, 2022.
[10] W. Gata, S. Surohman, and H. M. Nawawi, “Twitter in analysis of policy sentiments of the omnibus law work creative design,” AIP Conf. Proc. , vol. 2714, no. September 2011, 2023.
[11] S.  Kamiş  and  D.  Goularas,  “Evaluation of  Deep  Learning  Techniques  in  Sentiment  Analysis from  Twitter  Data,” Proc.  -  2019  Int.  Conf.  Deep  Learn.  Mach.  Learn.  Emerg.  Appl.  Deep. 2019 , pp. 12–17, 2019.
[12] I. Zulfa and E. Winarko, “Sentimen Analisis Tweet Berbahasa Indonesia Dengan Deep Belief Network,” IJCCS (Indonesian J. Comput. Cybern. Syst. , vol. 11, no. 2, p. 187, 2017.
[13] A. P. Giovani, A. Ardiansyah, T. Haryanti, L. Kurniawati, and W. Gata, “Analisis Sentimen Aplikasi Ruang Guru Di Twitter Menggunakan Algoritma Klasifikasi,” J. Teknoinfo , vol. 14, no. 2, p. 115, 2020.
[14] H. M. Nawawi, H. Sutisna, and N. Ichsan, “Sistem Pendukung Keputusan Pemberian Kredit Kendaraan  Roda  Dua  Menggunakan  Metode  TOPSIS  (Studi  Kasus  PT.  Central  Sentosa Finance Ciamis),” J. Infokar , vol. 1, no. 23, pp. 301–316, 2019.
[15] H.  M.  Nawawi,  S.  Rahayu,  J.  J.  Purnama,  and  S.  I.  Komputer,  “Algoritma  c4.5  untuk memprediksi pengambilan keputusan memilih deposito berjangka,” J. Techno Nuasa Mandiri , vol. 16, no. 1, pp. 65–72, 2019.
http://sistemasi.ftik.unisi.ac.id
[16] Hermanto, A. Mustopa, and A. Y. Kuntoro, “Algoritma Klasifikasi Naive Bayes dan Support Vector  Machine  Dalam  Layanan  Komplain  Mahasiswa,” J.  ILMU  Pengetah.  DAN  Teknol. Komput. , vol. 5, no. 2, pp. 211–220, 2020.