## JTIM : Jurnal Teknologi Informasi dan Multimedia
p-ISSN : 2715-2529 e-ISSN : 2684-9151 https://journal.sekawan-org.id/index.php/jtim/
https://doi.org/10.35746/jtim.v6i1.514
Penerapan Langchain Retriever Dengan Model Chat Openai 1 Dalam Pengembangan Sistem Chatbot Hadis Berbasis Tele- 2 gram 3
Niken Aisyah Maharani Herwanza 1 , Nazruddin Safaat Harahap 2* , Febi Yanto 3 , dan Fitri Insani 4 4 1 Universitas Islam Negeri Sultan Syarif Kasim Riau; 12050123966@students.uin-suska.ac.id 5 2 Universitas Islam Negeri Sultan Syarif Kasim Riau; nazruddin.safaat@uin-suska.ac.id 6 3 Universitas Islam Negeri Sultan Syarif Kasim Riau; febiyanto@uin-suska.ac.id 7 4 Universitas Islam Negeri Sultan Syarif Kasim Riau; fitri.insani@uin-suska.ac.id 8 * Korespondensi: nazruddin.safaat@uin-suska.ac.id 9
Abstract: In Islamic studies, the Hadiths of Prophet Muhammad (SAW) hold significant value as 10 guides for behavior and faith. However, access to understanding Hadiths often presents challenges, 11
especially for those who are not Hadith experts. The digitalization of Hadiths is still limited, making 12
it time-consuming to find answers by sifting through the vast amount of available information. This 13
research aims to create an efficient chatbot that provides answers related to Hadiths, including the 14
original sources, quickly. The proposed solution is a technology-based approach through the devel-
15
opment of a Hadith chatbot on Telegram, integrated with the LangChain Retriever and the GPT-4-
16
1106-preview chat model from OpenAI. Using LangChain Retriever helps the chatbot find accurate 17 answers by matching user questions with relevant Hadith databases, enhancing the accuracy of the 18 chatbot's responses. The GPT-4-1106-preview chat model enables the chatbot to generate natural 19 and  context-appropriate  responses, improving  user  interaction.  The  Rapid  Application  Develop- 20 ment (RAD) method is applied in system development, through stages of Requirement Planning, 21
User Design, Construction, and Cut-Over, including data analysis of Hadiths from the Nine Imam 22
Hadith Books, totaling 62,169 Hadiths. The chatbot's performance evaluation uses the Scoring Eval-
23
uator framework with an average evaluation score of 0.97 and quality answer evaluation testing by 24
five Hadith experts with an accuracy percentage of 90%. The Scoring Evaluator test results indicate 25
that the responses are highly accurate and aligned with Hadith references, and the quality answer 26
evaluation test on a Likert scale shows respondents strongly agree with the system's answers. This 27
research contributes to laypersons wanting to learn Hadiths by utilizing the chatbot as an interactive 28
and innovative learning medium. Further research can expand the focus to complex interpretations 29 of Musykil al-Hadith and asbab al-wurud to address deeper questions about Hadith interpretation. 30 Keywords: Chatbot; Hadiths; Langchain; OpenAi; Retriever 31 Abstrak: Dalam  kajian  keislaman,  hadis  Nabi  Muhammad  SAW  memiliki  nilai  penting  sebagai 32
panduan perilaku dan keimanan. Namun, akses terhadap pemahaman hadis sering menjadi tan- 33 tangan, terutama bagi yang bukan ahli hadis. Digitalisasi hadis masih terbatas, sehingga mendapat-
34
kan jawaban atas pertanyaan seputar hadis memerlukan waktu lama  dalam memilah banyaknya 35
informasi  yang  tersedia.  Penelitian  ini  bertujuan  untuk  menciptakan  chatbot  yang  efisien  dalam 36 memberikan jawaban terkait hadis dengan menyertakan sumber asli hadis secara cepat. Penelitian 37
ini mengusulkan solusi berbasis teknologi melalui pengembangan sistem chatbot hadis di Telegram, 38 yang  diintegrasikan  dengan LangChain  Retriever dan  model GPT-4-1106-preview chat  OpenAI . 39 Dengan menggunakan LangChain Retriever membantu chatbot menemukan jawaban tepat dengan 40
Sitasi: Herwanza, N. A. M.; Harahap, N. S.; Yanto, F; dan Insani, F. ( 2024 ).
Penerapan Langchain Retriever
Dengan  Model  Chat  Openai  Dalam Pengembangan Sistem Chatbot
Hadis  Berbasis  Tele-gram.  JTIM:
Jurnal Teknologi Informasi Dan Mul- timedia, 6(1), 70-83. https://doi.org/10.35746/jtim.v6i1.514
Diterima: 29-04-2024
Direvisi: 22-05-2024
Disetujui: 23-05-2024
Copyright: ©  2024 oleh  para penulis.  Karya  ini  dilisensikan  di bawah Creative Commons Attribution-ShareAlike 4.0 International License. (https://creativecommons.org/license
s/by-sa/4.0/).
JTIM 2024 , Vol. 6 , No. 1
mencocokkan  pertanyaan  pengguna  dengan database hadis  yang  relevan  untuk  meningkatkan 41 keakuratan  respons chatbot .  Model GPT-4-1106-preview  chat  OpenAI memungkinkan chatbot 42 menghasilkan respons yang natural dan sesuai konteks sehingga meningkatkan interaksi dengan 43
pengguna. Metode Rapid Application Development (RAD) diterapkan dalam pengembangan sistem, 44 melalui tahapan Requirement Planning, User Design, Construction , dan Cut-Over , mencakup analisis 45
data hadis dari Kitab 9 Imam Hadis yang totalnya mencapai 62.169 hadis. Evaluasi kinerja chatbot 46 ini  menggunakan  pengujian framework Scoring  Evaluator dengan  skor  rata-rata  evaluasi  0,97  dan 47 pengujian evaluasi kualitas jawaban oleh 5 orang ahli hadis dengan persentase akurasi sebesar 90 48
%. Hasil evaluasi pada pengujian Scoring Evaluator menunjukkan rata-rata jawabannya benar-benar 49 akurat dan sejalan dengan referensi hadis, pada pengujian evaluasi kualitas jawaban menurut in- 50
terval  penilaian  pada skala  likert menandakan  responden  sangat setuju  terhadap  jawaban  sistem. 51
Penelitian ini memberikan kontribusi terhadap orang awam yang ingin belajar hadis dengan me-
52
manfaatkan chatbot sebagai media pembelajaran yang interaktif dan inovatif. Pada penelitian lebih 53
lanjut, fokus dapat diperluas untuk pemaknaan yang kompleks dari Musykil al-Hadits dan asababul 54 wurud untuk menjangkau pertanyaan-pertanyaan yang lebih dalam terhadap pemaknaan hadis. 55 Kata kunci: Chatbot; Hadis; Langchain; OpenAi; Retriever 56 57 1. Pendahuluan 58 Dalam Islam, hadis-hadis Nabi Muhammad SAW memiliki peran yang sangat pent- 59 ing  dalam  membimbing  perilaku  dan  keyakinan  beragama.  Hadis  merupakan  sumber 60 hukum kedua dalam agama Islam setelah Al-Qur'an sebagai penjelas bagi firman Allah 61 SWT yang masih bersifat umum [1]. Kitab 9 Imam Hadis sering digunakan sebagai sum- 62 ber  rujukan  utama  dalam  kegiatan  dakwah  maupun  pembelajaran  [2]  yang  mencakup 63 beragam hadis yang ada. Hal ini menciptakan kerumitan dalam mencari jawaban tentang 64 hadis, terutama yang bukan ahli hadis secara cepat dan tepat. 65 Digitalisasi  tentang  hadis  masih  terbilang  sedikit  [3],  banyak  orang  menggunakan 66
situs website keislaman sebagai sumber referensi untuk mencari solusi terhadap berbagai 67
masalah yang dihadapi [4] dan sangat tergantung pada internet atau media online [5]. Ban- 68
yak pengguna yang mengandalkan mesin pencari untuk mendapatkan informasi, mes-
69
kipun  harus  berurusan  dengan  banyaknya  data  tidak  relevan  [6].  Akibatnya,  dalam
70
mendapatkan  jawaban  atas  pertanyaan  mengenai  hadis  memerlukan  penyaringan  dan 71
pencarian satu per satu yang memakan waktu lama. Selain itu, dalam era kecerdasan bu-
72
atan  ( Artificial  Intelligence /AI),  kebutuhan  akan  solusi  sistem  tanya  jawab  yang  lebih 73 efisien dan cepat dalam mencari informasi semakin penting. 74 Perkembangan chatbot telah meningkat pesat dalam beberapa tahun terakhir dan te- 75
lah menjadi populer karena kemampuannya untuk meningkatkan pengalaman pengguna 76
[7]. Chatbot adalah agen percakapan otomatis yang dapat berinteraksi dengan pengguna 77
melalui platform pesan  instan  [8].  Dalam  mengatasi  tantangan  tersebut,  pengembangan 78 chatbot berbasis  kecerdasan  buatan  menjadi  langkah  yang  inovatif. Chatbot dapat 79
digunakan sebagai antarmuka yang responsif untuk memberikan informasi hadis secara 80
efisien  [9],  menyediakan  jawaban  yang  relevan  terkait  hadis  secara  cepat.  Dengan  me-
81
manfaatkan teknologi AI, chatbot dapat memperbaiki efisiensi dalam menjawab pertan- 82 yaan dengan cepat, mengatasi keterbatasan pencarian yang memakan waktu. Selain itu,
83
chatbot juga dapat dirancang untuk menyertakan sumber asli, memastikan bahwa infor-
84
masi  yang  disediakan  dapat  diverifikasi  untuk  kebenarannya  terhadap  informasi  yang 85 diberikan. 86 Penelitian mengenai chatbot dilakukan oleh Avisyah dkk [10], membahas pengem- 87 bangan telegram bot menggunakan OpenAI Model GPT-3 yang dapat menjawaban dengan 88 relevan secara cepat dan efisien. Penelitian lain yang membahas pembuatan chatbot dil- 89 akukan oleh Keivalya Pandya [11], pada penelitiannya mengembangkan chatbot customer 90
JTIM 2024 , Vol. 6 , No. 1
service menggunakan LLM khusus yakni LangChain untuk peningkatan retensi pelanggan, 91 ekstraksi  nilai  pelanggan,  dan  citra  merek.  Penelitian  lain  oleh  Arjun  Pesaru  dkk  [12], 92 penelitian ini membahas pengembangan chatbot PDF dengan LangChain dan LLMs Model
93
untuk  meningkatkan  akurasi,  kelancaran,  dan  relevansi  respons.  Pada  penelitian  yang 94
dilakukan  oleh Topsakal & Akinci [13], membahas pemanfaatan Large Language  Models 95
(LLMs) untuk memberikan jawaban terhadap pertanyaan yang terkait dokumen dengan 96 Retriever untuk ekstraksi data dari berbagai jenis dokumen. 97
Dengan  mengintegrasikan  komponen  dalam LangChain yakni Retriever [13]  dan 98 model GPT-4-1106-preview  chat  OpenAI dalam  pengembangan  sistem chatbot hadis  ber- 99
basis Telegram, penelitian ini bertujuan untuk membuat chatbot yang dapat memberikan 100 jawaban  atas  pertanyaan  seputar  hadis  secara  cepat  dan  efisien  dengan  menyertakan 101
sumber  asli  hadis.  Perbedaan  signifikan  dengan  penelitian  sebelumnya  terletak  pada
102
penggabungan LangChain Retriever dan model chat OpenAI , yang menciptakan pendeka- 103
tan komprehensif  untuk  meningkatkan responsivitas  dan kecerdasan dalam  menjawab 104
pertanyaan  berbasis  bahasa  alami  serta  menampilkan  hadis  yang  relevan.  Dengan 105
demikian, diharapkan bahwa chatbot ini dapat menjadi alat yang berguna dalam mem- 106 berikan bimbingan agama dan menjawab pertanyaan umat Islam dengan mudah. 107 2. Bahan dan Metode 108
Penelitian ini menggunakan metode RAD ( Rapid Application Development ) yakni pen- 109
dekatan pengembangan perangkat lunak yang menekankan pembangunan sistem dalam 110
periode waktu yang singkat [14]. Terdapat empat langkah utama dalam RAD ( Rapid Ap- 111
plication Development ) berisi Requirement Planning, User Design, Construction , dan Cut-Over 112
[15].  Metodologi  Penelitian  ini  berisi  penjelasan  mengenai  langkah-langkah  yang  akan 113 dilaksanakan pada Gambar 1., berikut metodologi penelitian pada penelitian ini : 114 115 Gambar 1. Metodologi Penelitian 116 2.1 Requirement Planning 117 Mengidentifikasi masalah terkait pengembangkan Chatbot yang dapat memberikan 118 jawaban tentang hadis Islam untuk Pertanyaan dan Jawaban ( Question Answering ) secara
119
interaktif serta menampilkan hadis yang relevan, terkait dengan chatbot telegram, penera-
120
pan OpenAI Model , penerapan LangChain dan objek data penelitian yakni hadis. 121 2.2 User Design 122
Proses    User  Design  terkait  dengan  analisis  dan  desain  sistem  secara  logis  dan 123
dikembangkan berdasarkan kebutuhan pengguna. Tahap ini memastikan bahwa sistem
124 yang dikembangkan sesuai dengan alur dalam menyediakan informasi tentang hadis. 125 2.2.1 Data Analysis 126 Pengumpulan data hadis diambil dari sumber github yaitu 127
https://github.com/irsyadulibad/hadits-database.  Pada  proses  pengumpulan,  dilakukan 128
JTIM 2024 , Vol. 6 , No. 1
pemilahan  data  seperti  nomor  hadis,  nama  kitab,  bahasa  Arab,  dan  terjemahan.  Data 129 hadis  diekstrak  dan  disimpan  dalam  format  txt  untuk  melakukan  embedding
130
menggunakan OpenAI Embeddings ke dalam vectorstore chroma . OpenAI Embeddings men-
131
jadi elemen penting dalam mengubah data hadis menjadi representasi vektor atau proses 132
embedding [16], yang nantinya akan dikelola dalam vectorstore chroma . Vectorstore ini mem- 133 berikan wadah yang efisien untuk penyimpanan [17] dan mengakses data hadis yang te- 134 lah diolah. 135 OpenAi  Embedding adalah  representasi  vektor  padat  yang  dihasilkan  oleh  model-
136
model OpenAI yang digunakan dalam arsitektur bi-encoder untuk melakukan pencarian 137 vector [18]. OpenAi Embedding merujuk pada representasi vektor dari teks memungkinkan 138
pengguna untuk membuat representasi teks berdasarkan model bahasa yang telah dilatih 139 sebelumnya [19]. 140 Chroma adalah database vektor  yang  sesuai  dengan  Indeks  LLama  menggunakan 141 kerangka kerja Large Language Model (LLM) dalam menyediakan penyimpanan tanpa ba-
142
tas untuk penyematan yang dihasilkan oleh LLM [20]. Chroma menjadikan dokumen se- 143 bagai  vektor  dalam  ruang  multidimensi  guna  menangkap  makna  semantik  dan  hub- 144 ungan antar dokumen [17]. 145 2.2.2 Language Model Analysis 146 Model bahasa pada penelitian ini menggunakan Large Language Model (LLM) dalam 147
menghasilkan  teks  baru  serta  memprediksi  kata-kata  yang  dihasilkan  secara  otomatis. 148
Large  Language  Model (LLM)  yang  digunakan  berupa Model  GPT-4-1106-preview dari 149 OpenAI dalam penelitian ini. 150 Large  Language  Models (LLM)    adalah  model  bahasa  yang  dilatih  pada  kumpulan 151
data  dengan  jumlah  data  yang  besar  untuk  memproses  dan  memahami  bahasa  alami
152
dengan pemahaman bahasa dan pengetahuan yang luas [21]. LLM memperoleh kemam-
153
puan memprediksi kata berikutnya dalam kalimat berdasarkan konteks kata sebelumnya, 154 membantu model memahami tata bahasa, sintaksis, dan semantik Bahasa [22]. LLM men- 155
jalani pelatihan menggunakan dataset besar dan menggunakan algoritma yang kompleks 156 untuk memahami serta menghasilkan bahasa alami yang digunakan [23]. 157
OpenAI  ChatModel merupakan  model  yang  dikembangkan  oleh OpenAI untuk 158 menghasilkan tanggapan dalam percakapan yang menyerupai respons manusia dengan 159
pemahaman bahasa alami, dilatih melalui data teks berlimpah dari internet [24]. Model ini 160 dapat  memberikan  respons  yang  mirip  dengan  tanggapan  manusia  terhadap  perintah 161
atau  pertanyaan,  membuatnya  cocok  untuk  berbagai  aplikasi  percakapan  [25]. OpenAI 162
ChatModel atau ChatGPT merupakan bagian dari seri  GPT ( Generative Pre-trained Trans- 163 former ), khususnya GPT-3.5. Generative Pre-trained Transformer (GPT) adalah model bahasa 164
yang dikembangkan oleh OpenAI dan didasarkan pada arsitektur Transformer [26]. 165 2.2.3 Chatbot Design 166
Perencanaan chatbot hadis mengintegrasikan LangChain dengan model chat OpenAI 167
dalam upaya meningkatkan kemampuan responsifitas kinerja chatbot untuk memberikan
168
jawaban yang relevan terkait dengan pertanyaan mengenai hadis dengan menampilkan 169
sumber hadis yang relevan menggunakan Retriever . Retriever merupakan salah satu kom-
170 ponen dalam LangChain yang membantu dalam mencari dan mengambil data berdasar- 171 kan kesamaan embedding [13]. Retriever bekerja dengan menggunakan teknik pemampatan 172 konteks berbasis pengambilan informasi [27]. Dengan adanya Retriever , query pengguna 173 akan mencari hasil berdasarkan kemiripan embedding dan menghasilkan informasi yang 174 relevan. Langchain adalah sebuah kerangka kerja yang memungkinkan pengguna untuk
175
berinteraksi dengan dokumen dan membuat pencarian serta pengambilan informasi dari 176 dokumen menjadi sangat mudah [28]. 177
Perancangan bot melalui Use Case Diagram dan Activity Diagram , memberikan gam- 178 baran tentang fungsionalitas serta alur kerja yang diintegrasikan dalam pengembangan 179
JTIM 2024 , Vol. 6 , No. 1
bot berbasis data hadis Kitab 9 Imam. Pada Use Case Diagram yang tergambar dalam Gam- 180 bar  2.,  terdapat  satu  aktor  utama,  yaitu  pengguna.  Pengguna  dapat  melakukan  tiga 181
fungsi, yaitu melihat daftar Kitab 9 Imam Hadis, mengajukan pertanyaan terkait hadis, 182 dan melihat sumber hadis berdasarkan jawaban yang diberikan. 183 184 Gambar 2. Use Case Diagram Chatbot Hadis 185
Pada Activity Diagram tanya jawab hadis yang terdapat dalam Gambar 3., pengguna
186
dapat memulai percakapan dengan bot Telegram melalui perintah /start. Setelahnya, bot 187 akan merespons dengan pesan perkenalan dan daftar kitab yang dapat digunakan, ter- 188 masuk perintah-perintah seperti /load_darimi, /load_bukhari, /load_muslim, /load_daud, 189 /load_tirmidzi, /load_nasai, /load_Ibnu, /load_malik, /load_ahmad, dan 190
/load_kitab_9_imam.  Pengguna  kemudian  dapat  mengklik  salah  satu  perintah  daftar 191 kitab untuk memuat database terkait, dan bot akan memberikan konfirmasi pesan ber- 192
hasil load database terkait. Selanjutnya, pengguna dapat mengajukan pertanyaan terkait 193
hadis, dan bot akan  menampilkan jawaban relevan  beserta sumbernya. Pengguna juga 194 memiliki  opsi  untuk  menampilkan  hadis  yang  sesuai  dengan  jawaban  melalui  tombol 195
“Show Hadis”. Bot akan merespons dengan menampilkan hadis yang sesuai dengan per-
196 mintaan pengguna. 197
198
JTIM 2024 , Vol. 6 , No. 1 75  of 83 2.3 Construction 200
Tahap ini melibatkan proses implementasi dan pengujian sistem chatbot yang men- 201
erapkan desain sistem yang telah dikembangkan sebelumnya. Dalam fase implementasi,
202
Python menjadi bahasa pemrograman utama yang akan diterapkan dalam platform tele- 203 gram. Pengujian menggunakan Scoring Evaluator dari langchain evaluation untuk penilaian 204 yang lebih terinci. Scoring Evaluator memungkinkan model bahasa untuk menilai prediksi
205
model  pada  skala  tertentu  berdasarkan  kriteria  khusus  yang  kita  tentukan.  Pengujian
206
kedua, evaluasi kualitas jawaban yang  melibatkan ahli hadis dalam  menilai kebenaran 207 respons  terhadap  ilmu  hadis,  berikut  nama  responden  ahli  hadisnya  yaitu  Bapak  Yani 208 Hamdani  S.SI.Lc,  Bapak Agus  Firdaus  Chandra  Lc., M.A,  Bapak  Ahmad Mas'ari,  M.A, 209 Ibuk  Laila  Sari  Masyhur,  M.A  dan  Bapak  Arif  Marsal  Lc.,  M.A.  Pengukuran  respons 210 menggunakan skala likert dengan skala 1-5 [29]. 211 2.4 Cut-Over 212
Tahap Cut-Over pada proyek ini mencakup peralihan sistem dari local server , yang 213 semula beroperasi pada komputer pribadi, ke public server agar dapat diakses oleh orang 214 banyak. 215 3. Hasil 216
Pada  bagian  ini  membahas  analisis  data  yang  diperoleh  dalam  penelitian  ini  dan
217
hasil penelitian, dengan fokus pada data processing (pengolahan data) dan system flow (alur 218 sistem) yang tergambar dalam Gambar 4. 219 220 Gambar 4. Kerangka Kerja Sistem 221 3.1 Data Processing (Pengolahan Data) 222 Data penelitian yang digunakan merupakan data hadis dalam bentuk txt yang men- 223 cakup  Kitab  9  Imam  Hadis  atau  kutubut  tis’ah  yakni  Shahih  Bukhari,  Shahih  Muslim, 224 Sunan  Abu  Daud,  Sunan  Tirmidzi,  Sunan  Nasa'I,  Sunan  Ibnu  Majah,  Musnad  Ahmad, 225 Muwatha' Malik, dan Sunan Darimi. 226 227 228 229 230
JTIM 2024 , Vol. 6 , No. 1
Tabel 1. Data Kitab 9 Imam Hadis. 231 232 233 Tabel  1.  menunjukkan  rincian  data  Kitab  9  Imam  Hadis  berupa  jumlah  kitab  dan 234 jumlah hadis dari masing-masing Imam Hadis. Total 62,169 hadis yang terhimpun. Proses 235
pengumpulan data dalam satu hadis tertentu mencakup nomor hadis yang menandakan 236
urutannya,  nama  kitab  yang  merujuk  pada  sumber  hadis  tersebut,  bahasa  Arab  yang 237
digunakan dalam teks aslinya, serta terjemahan hadis tersebut ke dalam bahasa indonesia
238
guna  mempermudah  pemahaman.  Selanjutnya,  dilakukan  ekstraksi  konten  dari file txt 239
agar dapat dibaca oleh sistem. Dalam konteks pengembangan perangkat lunak dengan 240
menggunakan Python , langkah awal dalam ekstraksi teks seringkali mencakup membaca 241 file  teks.  Pada  saat  membuka  file  tersebut,  penting  untuk  menentukan encoding yang 242
sesuai,  seperti  UTF-8,  untuk  memastikan  bahwa  karakter-karakter  khusus  atau  non-
243 ASCII  seperti  teks  bahasa  arab  dapat  diinterpretasikan  dengan  benar  oleh  program. 244 Proses ini memungkinkan informasi yang terkandung dalam teks, seperti teks hadis un- 245 tuk diambil dan disiapkan dalam bentuk yang dapat dimanfaatkan oleh algoritma atau 246 analisis data lebih lanjut. 247 248 3.1.1 Splitting 249 Proses selanjutnya merupakan pemisahan atau " splitting " hasil ekstraksi teks menjadi 250
segmen-segmen ( Chunk ) kecil berdasarkan nomor hadis. Langkah ini penting untuk men- 251
gorganisir  informasi  secara terstruktur dan  memungkinkan akses  yang  lebih efisien ke 252
setiap hadis. Dalam pemisahan berdasarkan nomor hadis, setiap segmen atau bagian teks 253
akan diidentifikasi sesuai dengan nomor hadis yang terkandung di dalamnya. Pemisahan 254
berdasarkan nomor hadis menciptakan struktur yang jelas, memudahkan pengguna atau 255
program untuk merujuk dan mengelola setiap hadis secara individual. Library re dengan
256
fungsi re.split digunakan untuk mencapai pemisahan ini dengan memanfaatkan pola ek- 257 spresi  regular  yang  sesuai.  Dalam  konteks  ini,  penggunaan metadata menjadi  relevan. 258
Metadata digunakan untuk memberikan informasi tambahan terkait setiap segmen teks, 259 seperti nomor hadis dan sumber atau koleksi hadis asal. Pada contoh Gambar 3., setiap 260
segmen  teks  diidentifikasi  dengan  nomor  hadis  yang  sesuai,  dan  metadatas  mencatat
261 sumber asal setiap segmen, seperti "1-Malik", "2-Malik", dan seterusnya. 262 263 3.1.2 Embedding 264 Embedding Penelitian ini menggunakan Embedding OpenAI dengan model text-embed- 265 ding-3-large . Sebelum teks dapat diubah menjadi representasi vektor atau embedding oleh 266 model ini, dilakukan pemecahan setiap kata atau frasa dalam teks menjadi token-token 267 yang sesuai. Model text-embedding-3-large melaksanakan proses tokenisasi secara internal, 268 yang mencakup tahapan encoding dan decoding . Dalam tahap encoding , teks diubah men- 269 jadi serangkaian token digital yang dimengerti oleh model. Kemudian, proses tokenisasi 270 mengurai kata-kata menjadi token kata. Pada tahap decoding , model memproses token-
271
token tersebut kembali menjadi teks, sehingga memungkinkan pemahaman kontekstual 272 dan semantik dari setiap kata atau frasa.
No Imam Hadis Kitab Jumlah Hadis 1. Shahih Bukhari 77 7008 2. Shahih Muslim 56 5362 3. Sunan Abu Daud 35 4590 4. Sunan Tirmidzi 49 3891 5. Sunan Nasa’i 51 5662 6. Sunan Ibnu Majah 32 4332 7. Musnad Ahmad 14 26363 8. Muwatha’ Imam Malik 32 1594 9. Sunan Darimi 24 3367 Total 62169
JTIM 2024 , Vol. 6 , No. 1
Setelah melalui proses tokenisasi beserta tahapannya, token-token yang dihasilkan 274 menjadi  input  bagi  model text-embedding-3-large dari OpenAI .  Model  ini  kemudian
275
menghasilkan embedding atau  representasi  vektor  untuk  setiap  token,  yang  menggam-
276
barkan  makna  dan  konteks  dari  kata  atau  frasa  tersebut  dengan  akurat. Langchain 277 digunakan untuk mengimplementasikan model Embedding OpenAI . Framework ini menye- 278
diakan  komponen  yang  dibutuhkan  untuk  mengintegrasikan  model text-embedding-3- 279 large dengan  sumber  data,  memastikan  bahwa  proses  pembuatan embedding teks  dil- 280 akukan secara efisien dan terintegrasi. 281 282 3.1.3 Vectorstore 283
LangChain berfungsi sebagai penghubung model text-embedding-3-large dari OpenAI 284 dengan sumber data ( database ). Setelah proses embedding oleh model text-embedding-3-large 285
selesai  dilakukan,  vektor  yang  dihasilkan  kemudian  disimpan  kembali  dalam database 286 Chroma .  Database  ini  diorganisir  untuk  memfasilitasi  penyimpanan  dan  pengambilan
287 data embedding . 288 3.2 System Flow (Alur Sistem) 289 Alur sistem merupakan kelanjutan dari  pengolahan data, dengan fokus pada pen- 290
golahan pertanyaan pengguna hingga menghasilkan jawaban yang dikeluarkan oleh chat- 291 bot . Ini melibatkan langkah-langkah terinci untuk memastikan respons yang akurat dan
292
informatif dalam interaksi antara pengguna dan sistem chatbot . 293 294 3.2.1 Embedding Query 295 Dalam tahapan ini, pengguna menyampaikan pertanyaannya, yang kemudian dit- 296
ambahkan ke dalam proses sistem. Proses ini mencakup tokenisasi didalam model text- 297
embedding-3-large ,  di  mana  teks  pertanyaan  pengguna  dipecah  menjadi  unit-unit  lebih
298
kecil, seperti kata-kata atau frasa. Selanjutnya, menggunakan model text-embedding-3-large 299
dari OpenAI ,  teks  yang  telah  di-tokenisasi  diubah  menjadi  representasi  numerik  atau 300 vektor ( embedding ). Model ini tidak hanya menyediakan embedding , tetapi juga menginte-
301
grasikan proses tokenisasi dalam pembentukan vektor tersebut. Implementasi model Em- 302 bedding OpenAI dengan sumber data digunakan Langchain . Representasi vektor atau Em- 303 bedding yang dihasilkan dari model text-embedding-3-large memungkinkan sistem untuk 304 melakukan  pencarian  semantik  dan  menemukan  kesamaan  makna  antara  pertanyaan 305 pengguna dengan teks yang ada dalam ruang vektor. 306
Selain itu, untuk meningkatkan kinerja pencarian dan interaksi dengan pengguna,
307
sistem ini menggunakan model GPT-4-1106-preview dalam proses penyempurnaan per- 308 tanyaan  ( refined  query ).  Model  ini  memfasilitasi  perbaikan  pertanyaan  dari  pengguna, 309 khususnya  ketika  terdapat  riwayat  percakapan. Refined  query memungkinkan chatbot 310 memberikan tanya jawab berkelanjutan sehingga membuat interaksi menjadi lebih hidup. 311 312 3.2.2 Semantic Search 313 Embedding OpenAI menghasilkan representasi vektor dari teks yang memungkinkan 314
pencarian kesamaan vektor terhadap pertanyaan pengguna untuk menemukan teks yang 315
serupa  dalam  ruang  vektor.  Metode  ini  menggunakan  konsep  jarak  antara  dua  vektor 316
untuk mengukur seberapa erat hubungan antara dua teks tersebut. Dalam konteks pen-
317
carian semantik di dalam database chroma , perhitungan kesamaan antara dua vektor dil- 318 akukan menggunakan cosine similarity . Cosine similarity mengukur kesamaan antara dua 319 vektor berdasarkan sudut antara keduanya, bukan jarak euclidean . Oleh karena itu, dalam 320 database chroma , ketika pengguna mengajukan pertanyaan, sistem terlebih dahulu mengu- 321 bah query ke dalam representasi vektor menggunakan teknik embedding . Selanjutnya, sis- 322 tem menggunakan algoritma Approximate Nearest Neighbor Search (ANN) yang ada di da- 323 lam library Hierarchical Navigable Small World (HNSW) untuk mencari dokumen yang pal- 324 ing mirip dengan query pengguna. Algoritma ANN ini bekerja dengan menghitung cosine 325 similarity antara vektor query dan vektor dokumen yang ada di dalam database . Dengan 326
JTIM 2024 , Vol. 6 , No. 1
demikian, sistem dapat menentukan dokumen mana yang paling relevan dengan pertan-
327 yaan pengguna berdasarkan kedekatan semantiknya. 328 329 3.2.3 Ranked Result 330
Beberapa  segmen  hadis  yang  relevan  dengan  pertanyaan  pengguna  ditampilkan 331
kemudian  diurutkan  berdasarkan  skor  kemiripan. LangChain mengarahkan templat 332
prompt yang  telah  dibuat  untuk  memberikan  instruksi  kepada GPT-4-1106-preview ,  se-
333
bagai Large Language Model (LLM) yang ditugaskan untuk memproses pertanyaan yang 334 diajukan  pengguna. GPT-4-1106-preview akan  mengolah  prompt  yang  diberikan  dan 335 menghasilkan  jawaban  serta  mencantumkan  sumber  informasi  dari  jawaban  tersebut. 336
LLM  ini  dipanggil  dengan LangChain untuk  melakukan  tindakan  berdasarkan prompt 337 yang sudah disusun sebelumnya. 338
Dalam tahap hasil yang diurutkan berdasarkan rank ( Ranked Result ), cosine similarity
339
digunakan  untuk  mengukur  seberapa  mirip  segmen  hadis  tersebut  dengan query yang
340
diajukan  pengguna. Cosine  similarity menghitung  kesamaan  antara  vektor  pertanyaan 341 pengguna dan vektor segmen ( chunk ) hadis, sehingga menghasilkan skor kemiripan un- 342
tuk setiap segmen. Segmen-segmen tersebut kemudian diurutkan , skor yang lebih tinggi
343
menunjukkan  adanya  kesamaan  yang  lebih  besar  antara  segmen  hadis  dengan  pertan-
344
yaan yang diajukan pengguna, sehingga segmen dengan skor kemiripan tertinggi akan 345 ditampilkan  lebih  dulu.  Berdasarkan  skor  kemiripan  yang  telah  dihitung  sebelumnya, 346 LLM akan mengambil sejumlah dokumen teratas dari hasil peringkat. Dalam kasus ini, 347 sistem  telah  ditetapkan  untuk  mengambil  empat  dokumen  dengan  skor  kemiripan 348 tertinggi, dokumen-dokumen ini kemudian akan diproses lebih lanjut oleh GPT-4-1106- 349 preview . Model ini akan mengolah informasi dalam dokumen tersebut dan menghasilkan 350 jawaban yang relevan dan informatif berdasarkan pertanyaan pengguna. 351 3.3 Implementasi Sistem 352
Pada bagian Implementasi akan membahas tampilan dan desain sistem yang telah 353
diimplementasikan  dalam platform Telegram.  Pembahasan  akan  mencakup  gambaran 354 singkat tentang interaksi pengguna dengan chatbot hadis yang telah dikembangkan secara 355 efektif. 356 3.3.1 Tampilan Memulai Percakapan dan Berhasil Load Data 357 Pengguna  dapat  memulai  percakapan  dengan  chatbot  melalui  perintah  /start.  Bot 358 akan merespons dengan pesan perkenalan dan daftar kitab yang dapat diakses, seperti 359 /load_darimi,  /load_bukhari,  /load_muslim,  /load_daud,  /load_tirmidzi,  /load_nasai, 360 /load_Ibnu, /load_malik, /load_ahmad, dan /load_kitab_9_imam. Setelah pengguna mem- 361 ilih salah satu dari daftar kitab, yakni /load_darimi, bot memberikan konfirmasi bahwa 362 "Database Sunan Darimi berhasil dimuat, Kamu bisa bertanya sekarang!" memungkinkan 363 pengguna untuk mulai mengajukan pertanyaan. Tampilan interaksi ini dapat dilihat pada 364 Gambar 5.
JTIM 2024 , Vol. 6 , No. 1 79  of 83 366 Gambar 5. Tampilan memulai Percakapan dan Berhasil Load Data 367 3.3.2 Tampilan Ketika Bertanya dan Menampilkan Hadis yang Sesuai 368 Pada  tampilan  interaksi  selanjutnya,  pengguna  dapat  mengajukan  pertanyaan 369
terkait hadis. Bot akan menampilkan jawaban yang relevan beserta sumbernya. Pengguna 370
juga dapat melihat hadis yang sesuai dengan mengeklik tombol "Show Hadis". Selanjut-
371
nya,  bot  akan  menampilkan  hadis  yang  sesuai  dengan  pertanyaan.  Pengguna  dapat 372
melakukan  pertanyaan  berkelanjutan,  dan  bot  akan  memberikan  sumber  yang  sesuai 373 dengan pertanyaan tersebut. Pengguna juga dapat melihat hadis yang sesuai dengan per- 374
tanyaan berkelanjutan dengan mengeklik tombol "Show Hadis". Tampilan  interaksi ini
375 dapat ditemukan pada Gambar 6. 376
377 Gambar 6. Tampilan Ketika Bertanya dan Menampilkan Hadis yang Sesuai
JTIM 2024 , Vol. 6 , No. 1 80  of 83 4. Pembahasan 379
Scoring  Evaluator dari langchain  evaluation memungkinkan  model  bahasa  untuk 380 menilai  kualitas  prediksi  model.  Pada  pengujian  dengan Scoring  Evaluator ,  skala  yang
381 ditetapkan antara 1 hingga 10, untuk menilai kinerja dan kebenaran jawaban sistem. Skala 382 Scoring Evaluator [30] yang telah ditetapkan dipengujian ini sebagai berikut: 383 Score 1: The answer is completely unrelated to the reference. 384 Score 3: The answer has minor relevance but does not align with the reference. 385 Score 5: The answer has moderate relevance but contains inaccuracies. 386 Score 7: The answer aligns with the reference but has minor errors or omissions. 387 Score 10: The answer is completely accurate and aligns perfectly with the reference . 388 Dalam evaluasi chatbot ini, masing-masing jawaban telah dibuat berdasarkan 4 ref- 389 erensi hadis yang relevan, seperti contoh Gambar 7. mengambil 4 referensi hadis dari se- 390 buah pertanyaan. 391 392 Gambar 7. Contoh Referensi Hadis dari Pertanyaan 393
Disediakan  10  sampel  contoh  pertanyaan  umum,  jawaban  yang  dihasilkan  sistem 394
akan dinilai prediksi model/jawabannya pada skala Scoring Evaluator yang telah ditetap- 395 kan. Hasil evaluasi menggunakan sistem Scoring Evaluator dari langchain evaluation adalah 396 sebagai berikut: 397 Tabel 2. Pengujian Scoring Evaluator 398 No Pertanyaan Evaluasi result 1. Jika saya menemukan barang di jalan, apakah saya boleh mengambilnya ? 1,0 2. Ketika  saya  sedang  berpuasa,  saya  tidak  sengaja  meminum  air  karena  saya lupa, bagaimana dengan puasa saya? apakah puasa saya akan diterima ? 1,0 3. Saya ketiduran pada pagi hari sehingga ketinggalan shalat subuh, bagaimana dengan shalat subuh saya ? 1,0 4. Saat sedang berpuasa saya muntah, bagaimana dengan puasa saya ? 1,0 5. Pada saat shalat saya ingin membuang angin, namun karena sedang shalat saya menahannya, bagaimana dengan shalat saya ? 1,0 6. Saya  memberi  makan  orang  yang  berpuasa,  seperti  apa  pahala  yang  saya dapatkan ? 1,0 7. Ketika  saya  sedang  shalat,  kemudian  ada  orang  yang  megucapkan  salam kepada saya, apa yang harus saya lakukan ? 1,0 8. Saya sedang malaksanakan sholat dan kemudian ada orang yang lewat dide- pan saya, apa yang harus saya lakukan ? 0,7
JTIM 2024 , Vol. 6 , No. 1 81  of 83 No Pertanyaan Evaluasi result 9. Ketika saya sedang duduk, tiba-tiba ada anjing yang mendekat dan menjilati kaki saya sehingga air liur anjing tersebut mengenai kaki saya, bagaimana saya membersihkannya ? 1,0 10. Apa Keutamaan bulan Ramadhan ? 1,0 Rata-rata 0,97 399
Evaluasi  ini  menggunakan  parameter normalize_by =  10  untuk  menstandardisasi 400
skor. Dari pengujian yang telah dilakukan pada Tabel 2., sistem menilai prediksi model
401
dengan tepat dalam 9 dari 10 kasus. Dalam kasus di mana satu prediksi menerima eval-
402
uasi result 0.7, ini menunjukkan bahwa prediksi tersebut memiliki Score sebesar 7 dari 10
403
berdasarkan kriteria yang ditetapkan yakni pada Score 7 Jawabannya sejalan dengan ref- 404 erensi tetapi memiliki kesalahan atau kelalaian kecil. Sementara itu, 9 kasus lainnya pada 405 Score 10 yakni Jawabannya benar-benar akurat dan sejalan sepenuhnya dengan referensi. 406 Evaluasi result ini berada dalam rentang nilai yang baik, dengan nilai rata-rata evaluasi 407 keseluruhan yaitu 0.97 dari rentang 0 - 1. 408 Pengujian lain dilakukan dengan evaluasi kualitas jawaban, evaluasi ini melibatkan 409
partisipasi dari 5 ahli hadis yang memberikan penilaian terhadap 10 pertanyaan beserta 410
jawaban dan sumber seperti pada pengujian Scoring Evaluator sebelumnya. Score Sangat 411
Setuju (SS) bernilai 5, Score Setuju (S) bernilai 4, Score Netral (N) bernilai 3, Score Tidak 412
Setuju (TS) bernilai 2, dan Score Sangat Tidak Setuju (STS) bernilai 1. Hasil yang didapat-
413
kan dari masing-masing Score adalah sebagai berikut: Score SS atau 5 berjumlah 28, Score
414
S atau 4 berjumlah 20, Score N atau 3 berjumlah 1, Score TS atau 2 berjumlah 1, dan Score 415 STS atau 1 berjumlah 0. 416 417 𝑃𝑒𝑟𝑠𝑒𝑛𝑡𝑎𝑠𝑒 𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 𝑇𝑜𝑡𝑎𝑙 𝑆𝑐𝑜𝑟𝑒 𝑋 × 100% 418 𝑃𝑒𝑟𝑠𝑒𝑛𝑡𝑎𝑠𝑒 𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = ((5 × 28)(4 × 20)(3 × 1)(2 × 1)(1 × 0) 5  ×  10  ×  5 × 100% 419 = 90 % 420 421
Hasil persentase akurasi didapat dari Jumlah atau total Score untuk masing-masing 422 Score dikalikan  dengan  nilai Score dari Score yang  terkait.  Setelah  itu,  hasil  tersebut 423 dikalikan  dengan  persentase  100%.  Selanjutnya,  dilakukan  perhitungan  persentase 424 akurasi dengan membagi total Score tersebut dengan total Score maksimumnya (X). Proses 425 ini menghasilkan persentase akurasi sebesar 90 %. Pada Skala Likert [29] interval penilaian 426
pada rentang Indeks 0% – 19,99% merupakan Sangat Tidak Setuju, Indeks 20% – 39,99% 427
merupakan Tidak Setuju, Indeks 40% – 59,99% merupakan Kurang Setuju , Indeks 60% – 428 79,99%  merupakan  Setuju,  dan  Indeks  80% – 100%  merupakan  Sangat  Setuju.  Pada 429
penelitian ini akurasi sebesar 90 % merupakan rentang indeks 80% – 100%, dapat disim- 430 pulkan  responden  sangat  setuju  terhadap  jawaban  yang  dihasilkan  sistem.  Pada  Skala 431 Likert ini , persepsi responden didasari dari penilaian ahli atau pakar hadis untuk menilai
432 kualitas jawaban yang dihasilkan oleh sistem seputar hadis. 433 5. Kesimpulan 434 Berdasarkan hasil penelitian yang telah dilakukan, dapat disimpulkan bahwa pen- 435
erapan Langchain Retriever dengan model GPT-4-1106-preview dari OpenAI dalam pengem- 436 bangan  sistem chatbot hadis  berbasis  Telegram  telah  berhasil  dilakukan  dengan  baik.
437
Penelitian ini memanfaatkan data dari Kitab 9 Imam Hadis yang terdiri dari total 62.169 438 hadis  sebagai  sumber  pengetahuan  bagi chatbot .  Pada  pengujian  menggunakan Scoring 439 Evaluator dari langchain  evaluation juga  menunjukkan  hasil  dengan Score rata-rata  total 440 yang diperoleh mencapai 0,97. Score ini mengindikasikan bahwa chatbot hadis berbasis 441
JTIM 2024 , Vol. 6 , No. 1
Telegram ini memiliki kemampuan yang sangat baik dalam memberikan jawaban yang 442 relevan dan sesuai dengan pertanyaan yang diajukan. Selain itu, pada pengujian evaluasi 443
kualitas jawaban dari chatbot berhasil memperoleh persentase akurasi sebesar 90 % ber-
444
dasarkan penilaian ahli hadis. Nilai ini menunjukkan bahwa responden sangat setuju ter- 445
hadap jawaban yang diberikan oleh chatbot . Dari 10 pertanyaan yang disediakan, kese- 446
luruhan pertanyaan merupakan pertanyaan yang umum dan sederhana yang sering di-
447
ajukan oleh orang awam. Sistem ini telah berhasil memberikan jawaban yang memadai 448
untuk  pertanyaan-pertanyaan  tersebut,  memberikan  kegunaan  yang  signifikan  bagi 449
pengguna awam dalam mencari pemahaman tentang hadis. Hal ini juga menunjukkan 450 bahwa integrasi ini menghasilkan sistem chatbot yang efektif dan efisien dalam menjawab 451 pertanyaan-pertanyaan terkait hadis secara umum. Dengan adanya chatbot ini, masyara- 452
kat  dapat  dengan  mudah  mengakses  dan  mempelajari  hadis-hadis  dari  Kitab  9  Imam
453
Hadis  melalui platform Telegram  yang  mudah  digunakan.  Untuk  pengembangan
454
penelitian  lebih  lanjut,  fokus  dapat  diperluas  untuk  mengatasi  pemaknaan  yang  lebih
455
kompleks dari Musykil al-Hadits dan asababul wurud dalam hadis dengan menambah kitab 456
syarah untuk  menjawab  pertanyaan-pertanyaan  yang  lebih  dalam  dan  kompleks  serta 457 menghindari munculnya kesalahpahaman terhadap pemaknaan hadis. 458 Ucapan  Terima  Kasih: Penulis  mengucapkan  terimakasih  kepada  teman-teman  dan  para  dosen 459 atas kontribusi untuk masukkan dan arahan dalam penulisan penelitian ini. 460 Referensi 461 [1] N.  Yuslem,  A.  Ardiansyah,  J.  Juriono,  U.  K.  Rambe,  and  I.  F.  A.  Nasution,  “ Perkembangan  Studi  Hadis:  Telaah  dan 462
Pemetaan Kajian Hadis Pada UIN Sumatera Utara,” AL QUDS : Jurnal Studi Alquran dan Hadis , vol. 6, no. 3, Dec. 2022, doi: 463 10.29240/alquds.v6i3.3865. 464 [2] A. Zubir Rosdi, S. Najihuddin Syed Hassan, N. Asiah Fasehah Muhamad, N. Izzatul Huda Mohamad Zainuzi, M. Shiham 465 Mahfuz,  and  F.  Pengajian  Quran  dan  Sunnah,  “ Panduan  Asas  Kaedah  Kenal  Pasti  Status  Hadis:  Kajian  Diskriptif 466 Penggunaan  Ensiklopedia  Hadis  9  Imam ,” Journal  of  Hadith  Studies ,  vol.  8,  no.  1,  pp.  2550 – 1488,  2023,  doi: 467 10.33102/johs.v8i1.225. 468 [3] S. Muhammad Alfatih, Q. Saifuddin Zuhri, and M. Inayatul, “Digitalisasi Hadis Ala Pusat Kajian Hadis(PKH): Distribusi, 469
Ciri, dan Kontribusi dalam Kajian hadis Indonesia,” Mashdar : Jurnal Studi Al-Quran dan Hadis , vol. 3, no. 2, pp. 105 – 128, 470 Mar. 2021, doi: 10.15548/mashdar.v3i2.2982. 471 [4] W.  Wasoni  and  M.  I.  Helmy,  “Pemaknaan  Hadis -Hadis  Jihad  dalam  Website  VOA  ISLAM  dan  Relevansinya  dengan 472
Diskursus  Islam  Indonesia,” AL  QUDS :  Jurnal  Studi  Alquran  dan  Hadis ,  vol.  6,  no.  1,  p.  343,  May  2022,  doi: 473 10.29240/alquds.v6i1.3401. 474
[5] R. Fauzana, “Strategi Komunikasi Dakwah bil Qalam Komunitas Revowriter di Media Digital,” Idarotuna , vol. 3, no. 3, p. 475 229, Feb. 2022, doi: 10.24014/idarotuna.v3i3.16440. 476 [6] A. Abdi, S. Hasan, M. Arshi, S. M. Shamsuddin, and N. Idris, “A Question Answering System In Hadith Using Linguistic 477 Knowledge,” Comput Speech Lang , vol. 60, Mar. 2020, doi: 10.1016/j.csl.2019.101023. 478 [7] Tatwadarshi P. Nagarhalli, Vinod Vaze, and N. K. Rana, “A Review of Current Trends in the Development of Chatbot 479
Systems,” 2020  6  th  International  Conference  on  Advanced  Computing  &  Communication  Systems  (ICACCS) ,  2020,  doi : 480 10.1109/ICACCS48705.2020.9074420 481 [8] G. Daniel, J. Cabot, L. Deruelle, and M. Derras, “Xatkit: a Multimodal Low - Code Chatbot Development Framework,” IEEE 482 Access , vol. 8, pp. 15332 – 15346, 2020, doi: 10.1109/aCCESS.2020.2966919. 483 [9] A.  Hariansyah,  E.  Haerani,  and  M.  Affandes,  “Implementation  of  Telegram  Chatbot  as  Information  Service  of  Madani 484 Hospital Pekanbaru,” Jurnal Ilmiah Merpati , vol. 11, no. 3, 2023, doi: 10.24843/JIM.2023.v11.i03.p05. 485 [10] G. F. Avisyah, I. J. Putra, and S. S. Hidayat, “Open Artificial Intelligence Analysis using ChatGPT Integrated with Telegram 486 Bot,” Jurnal ELTIKOM , vol. 7, no. 1, pp. 60 – 66, Jun. 2023, doi: 10.31961/eltikom.v7i1.724. 487 [11] Keivalya Pandya and Prof. Dr. Mehfuza Holia, “Automating Customer Service using LangChain Building custom open - 488
source GPT Chatbot for organizations,” arXiv preprint , 2023, arXiv : 2310.05421 489
[12] Arjun Pesaru, Taranveer Singh Gill, and Archit Reddy Tangella, “AI assistant for document management Using Lang Chain 490 and  Pinecone,” International  Research  Journal  of  Modernization  in  Engineering  Technology  and  Science ,  Jun.  2023,  doi: 491 10.56726/irjmets42630. 492 [13] O. Topsakal and T. C. Akinci, “Creating Large Language Model Applications Utilizing LangChain: A Primer on Developing 493 LLM  Apps  Fast,” All  Sciences  Proceedings ,  2023,  [Online].  Available:  http://as-proceeding.com/:Konya,Tur- 494
JTIM 2024 , Vol. 6 , No. 1
[14] Z. Fahma, I. Gorby, C. Ramdani, and K. N. Meiah, “Website -Based Competence Certification Information System Using 496 Rapid  Application  Development  (Rad)  Method,” Jurnal  Teknik  Informatika  (JUTIF) ,  vol.  3,  no.  2,  pp.  219 – 226,  2022,  doi: 497 10.20884/1.jutif.2022.3.2.173. 498 [15] M. M. Hossain, S. Krishna Pillai, S. E. Dansy, and A. A. Bilong, “Mr. Dr. Health - Assistant Chatbot,” International Journal of 499 Artificial Intelligence , vol. 8, no. 2, pp. 58 – 73, Dec. 2021, doi: 10.36079/lamintang.ijai-0802.301. 500 [16] D.  Sukma  Hani  and  C.  Indah  Ratnasari, “Klasifikasi  Masalah  Pada  Komunitas  Marah -Marah  di  Twitter  Menggunakan 501
Long Short- Term Memory,” Jurnal Media Informatika Budidarma , vol. 7, pp. 1829 – 1837, 2023, doi: 10.30865/mib.v7i4.6755. 502
[17] S. K. Nigam, S. K. Mishra, A. K. Mishra, N. Shallum, and A. Bhattacharya, “Legal Question -Answering in the Indian Con- 503
text: Efficacy, Challenges, and Potential of Modern AI Models,” arXiv preprint , 2023, arXiv : 2309.14735 504
[18] J. Lin, R. Pradeep, T. Teofili , and J. Xian, “Vector Search with OpenAI Embeddings: Lucene Is All You Need,” arXiv preprint , 505 Aug. 2023, arXiv : 2308.14963 506 [19] N. Muennighoff, “SGPT: GPT Sentence Embeddings for Semantic Search,” arXiv preprint , Feb. 2022, arXiv : 2202.08904 507
[20] U. Gupta, “GPT -InvestAR: Enhancing Stock Investment Strategies through Annual Report Analysis with Large Language 508 Models,” arXiv preprint , Sep. 2023, arXiv : arxiv.org/abs/2309.03079 509 [21] J. Yang et al., “Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond,” arXiv preprint , Apr. 2023, 510 arXiv : 2304.13712 511 [22] Y. Cheng, J. Chen, Q. Huang, Z. Xing, X. Xu, and Q. Lu, “Prompt Sapper: A LLM -Empowered Production Tool for Building 512 AI Chains,” arXiv preprint , Jun. 2023, arXiv : 2306.12028 513
[23] R.  Tang,  Y.- N.  Chuang, and X.  Hu,  “The  Science  of  Detecting  LLM - Generated  Texts,” arXiv  preprint , Feb. 2023,  arXiv : 514 2303.07205 515 [24] M. Ranjit, G. Ganapathy, R. Manuel, and T. Ganu, “Retrieval Augmented Chest X -Ray Report Generation using OpenAI 516 GPT models,” arXiv preprint , May 2023, arXiv : 2305.03660 517
[25] J.  Mao,  Y.  Qian,  H.  Zhao,  and  Y.  Wang,  “GPT - Driver:  Learning  to  Drive  with  GPT,” arXiv  preprint ,  Oct.  2023,  arXiv  : 518 2310.01415 519 [26] M. Bommarito and D. M. Katz, “GPT Takes the Bar Exam,” arXiv preprint , Dec. 2022, arXiv : 2212.14402 520
[27] Y. Bai et al., “Longbench: A Bilingual, Multitask Bench - Mark For Long Context Understanding,” arXiv preprint , 2023. arXiv 521 : 2308.14508 522 [28] Adith Sreeram and Pappuri Jithendra Sai, “An Effective Query System Using LLMs and LangChain,” in International Journal 523
of Engineering Research & Technology (IJERT) , Elsevier B.V., 2023, pp. 367 – 369. doi: 10.1016/j.procs.2016.02.023. 524 [29] I. Budi Trisno, D. Febrian Elvianto, and U. Widya Kartika, “ Aplikasi Sistem Informasi Manajemen Pengiriman Barang Pt. 525 Gst ,” Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK) , vol. 9, no. 5, 2022, doi: 10.25126/jtiik.202295390.
526
[30] “Scoring  Evaluator  | 🦜️🔗 LangChain.” ,  2024.  [Online].  Available:  https://python.langchain.com/v0.1/docs/guides/pro- 527 ductionization/evaluation/string/scoring_eval_chain/ 528 529 530