Vol.6 (1), Juni 2023, pp. 36-46

## Analisis ChatGPT dan Perplexity pada Mata Pelajaran Dasar Program Keahlian dengan Jaccard Similarity
Kartika Candra Kirana*, Januari Adi Prasetya*, Slamet Wibawanto**
* Departemen Teknik Elektro, Universitas Negeri Malang ** Fakultas Vokasi, Universitas Negeri Malang
INFO ARTIKEL ABSTRAK Riwayat Artikel: Diterima:20-03-2023 Disetujui:28-05-2023 Abstract: ChatGPT and Perplexity are two applications that can be utilized to  develop  learning  materials.  However,  no  research  has  measured  the completeness  of  material  produced  by  artificial  intelligence.  Thus,  this research aims to analyze ChatGPT and Perplexity as the material collection tool. The material completeness is measured using Jaccard Similarity which compares objects with intersection. Assuming that material completeness can be  measured  through  the  intersection  of  the  same  material,  Jaccard Similarity  is  proposed  with  three  material  search  trials  using  core competencies, basic competencies, and core materials. It was implemented in the  Electrical  Power  Installation  Engineering  learning  material.  Then, Jaccard Similarity is analyzed with teacher validation. The result shows that ChatGPT and Perplexity achieved the highest assessment in core material searching,  reaching  similarity  up  to  72.40  percent  and  47.67  percent respectively. Both validations reached 80 percent and 70 percent respectively.
It  was  concluded  that  ChatGPT  was  superior  to  Perplexity  and  the  best keywords based on the core material. Abstrak: ChatGPT  dan  Perplexity  adalah  dua  aplikasi  yang  dapat dimanfaatkan untuk mengembangkan materi belajar. Bagaimanapun belum ada  penelitian  yang  mengukur  kelengkapan  materi  yang  dihasilkan  oleh kecerdasan  buatan.  Untuk  itu,  penelitian  ini  bertujuan    menganalisa ChatGPT  dan  Perplexity  sebagai  media  pengembangan  materi.  Tingkat kelengkapan  materi  diukur  menggunakan  J accard  Similarity yang membandingkan  objek  dengan  konsep  irisan.  Dengan  asumsi  bahwa kelengkapan materi dapat diukur melalui irisan materi yang sama, J accard Similarity diusulkan  dengan  tiga  uji  coba  pencarian  materi  berdasarkan kompetensi  inti,  kompetensi  dasar,  dan  indikator  materi.  Penelitian  ini diimplementasikan  pada  materi  pembelajaran  Teknik  Instalasi  Tenaga Listrik.  Jaccard  Simillarity  dianalisa  dengan  perbandingan  hasil  validasi guru.  Hasil  ChatGPT  dan  Perplexity  mencapai  penilaian  tertinggi  pada pencarian  materi  berdasarkan  inti  materi  dengan  nilai  similaritas  secara berturut-turut mencapai 72.40 persen dan 47.67 persen, serta validasi guru berturut-turut 80 persen dan 70 persen. Penelitian ini menunjukkan Chat GPT lebih unggul dari Perplexity dan kunci terbaik berdasarkan inti materi.

## Kata kunci:
Kecerdasan buatan Jaccard Simmilarity Indeks Similaritas
Analisa Materi Pembelajaran
ChatGPT Perplexity
Alamat Korespondensi:
Kartika Candra Kirana,
Departemen Teknik Elektro Universitas Negeri Malang Jl. Semarang No 5, Malang, Indonesia E-mail: Kartika.candra.ft@um.ac.id
Sekolah  Menengah  Kejuruan  (SMK)  merupakan  sekolah  tingkat  menengah  yang  memiliki  tujuan mempersiapkan  peserta  didik  untuk  siap  bekerja  pada  bidang  tertentu  (Mujab,  2023).  Untuk  siap  bekerja dibutuhkan  pemahaman  praktik.  Bagaimanapun,  praktik  membutuhkan  dasar  pemahaman  teori. Pembelajaran  teori  berfungsi  menguatkan  pemahaman  dan  pengetahuan  yang  digunakan  sebagai  landasan dasar  ketika  pembelajaran  praktikum  (Sari  &  Elfizon,  2020).  Oleh  karena  itu,  walaupun  SMK  memiliki kecenderungan pada penekanan kemampuan keterampilan, namun pembelajaran teori tetap harus diberikan secara optimal.
Pembelajaran, baik teori maupun praktikum, sering dipengaruhi oleh perubahan kurikulum. Ini juga terjadi pada mata pelajaran baru di Kurikulum Merdeka, yaitu Dasar Program Keahlian (DPK). Mata pelajaran ini menggantikan tiga mata pelajaran sebelumnya di Kurikulum 2013 yang terdiri dari: Gambar Teknik (GT), Praktik  Dasar  Elektronika  (PDE),  dan  Dasar  Listrik  Elektronika  (DLE).  Di  SMK  6  Malang,  materi  Teknik Instalasi Tenaga Listrik pada mata pelajaran DPK belum tersedia. Untuk itu, dibutuhkan penyusunan ulang materi  pembelajaran  karena  mata  pelajaran  baru  ditambahkan.  Materi  perlu  disiapakan  dengan  baik  agar proses penyampaian informasi dan pemahaman dapat mudah diterima. Dalam menyusun materi pembelajaran, standar kelengkapan suatu materi harus diperhatikan sesuai dengan tujuan pembelajaran yang ingin dicapai. Selain itu, untuk menghasilkan materi secara lengkap dan layak, aspek format, aspek isi, aspek kegrafikan, dan aspek bahasa empat penting untuk diperhatikan (Marizal & Asri, 2022). Bagaimanapun tantangan waktu merupakan  hal  terbesar  dalam  masalah  pengembangan  materi  baru,  dimana  pembelajaran  terus  berjalan, sehingga guru harus mengembangkan materi pembelajaran pada mata pelajaran baru secara cepat.
Teknologi  kecerdasan  buatan  adalah  salah  satu  perkembangan  teknologi  yang  dapat  dimanfaatkan untuk pembuatan materi pembelajaran  secara cepat(Maulana et  al., 2023).  Salah satu  teknologi kecerdasan buatan  yang  dapat  digunakan  untuk  pembuatan  materi  pembelajaran  adalah  Aplikasi  ChatBot  dimana algoritma aplikasi bekerja dengan menjawab pertanyaan berdasarkan prompt yang diajukan(Rathore, 2023). Menurut  Anggriani  dkk.  (2023),  teknologi  ChatBot  mampu  untuk  menciptakan  materi  secara  baik  dan bervariasi  (Anggriani  et  al., 2023).  Beberapa  aplikasi  ChatBot  yang  sering  digunakan  untuk  menyelesaikan permasalahan di lingkungan sekolah atau perguruan tinggi adalah aplikasi Chat GPT dan Perplexity(Deike, 2024; Iriyani et al., 2023; Lund & Wang, 2023; Maulana et al., 2023; Rathore, 2023). Dieke (2024) menunjukkan kedua aplikasi memiliki performa kinerja yang sama dalam  mencari referensi informasi atau jawaban serta menyusun  ke  dalam  bentuk  paragraf  secara  cepat  (Deike,  2024).  Bagaimanapun  ditemukan  kesenjangan penelitian dimana belum ada penelitian yang mengukur kelengkapan materi yang dihasilkan oleh kecerdasan buatan secara otomatis.
Pada  kasus  pengembangan  materi  pembelajaran  menggunakan  teknologi  kecerdasan  buatan, otomatisasi pengukuran standar kelengkapan materi diperlukan untuk mempercepat analisis materi. Bentuk lain dari teknologi kecerdasan buatan yang dapat diterapkan dalam pengukuran standar kelengkapan dapat memanfaatkan  teknik  penambangan  data(Eldaw  et  al.,  2019).  Salah  satu  teknik  penambangan  data  yang diterapkan untuk mengukur standar kelengkapan materi adalah Jaccard Simmilarity (Baharav et al., 2020) . Jaccard  Simmilarity dapat  membandingkan  tingkat  kemiripan  objek  dengan  konsep  irisan  (Costa,  2021). Dengan asumsi bahwa kelengkapan materi yang dihasilkan aplikasi ChatBot dan materi acuan dapat diukur melalui  irisan  materi  yang  bersinggungan,  maka Jaccard  Similarity dipilih  sebagai  metode  analisa.    Lebih lanjut, Alobed dkk (2021) menguatkan bahwa performa Jaccard Similarity lebih unggul dibandingkan dengan Euclidience Similarity dalam mengukur tingkat kemiripan (Alobed et al., 2021). Pada kasus pencocokan artikel ilmiah, Jaccard Similarity sama unggul dengan Cosine Similarity dengan capaian(Rinjeni et al., 2024). Menurut Tang dkk (2021). Jaccard Similarity memiliki stabilitas yang unggul dalam pengelompokan antar kluster kata (Tang et al., 2021).
Penelitian terdahulu menunjukkan ChatGPT dan Perplexity memiliki performa yang baik sebagai alat pengembangan materi pembelajaran. Bagaimanapun terdapat kesenjangan penelitian dimana belum dimana belum ada penelitian yang mengukur kelengkapan materi yang dihasilkan oleh kedua aplikasi tersebut secara otomatis.  Disisi  lain,  dengan  asumsi  bahwa  kelengkapan  materi  dapat  diukur  dengan  membandingkan interseksi  antara  materi  yang  yang  dihasilkan  oleh  ChatGPT  dan  Perplexity  terhadap  terhadap  standar minimal  materi  melalui Jaccard  Similarity yang  telah  terbukti  unggul  pada  penelitian  lain.  Untuk  itu, diusulkan analisis Chatgpt dan Perplexity pada materi pembelajaran Dasar Program Keahlian Teknik Instalasi

## PENDAHULUAN
Tenaga Listrik dengan jaccard similarity . Pengukuran analisa standar kelengkapan materi yang dikembangkan berdasarkan ChatGPT dan Perplexity diharapkan dapat memberi rekomendabi bagi penyusunan materi yang disebabkan pembaharuan kurikulum, seperti :Mata Pelajaran Dasar Program Keahlian (DPK).
Penelitian  ini  menggunakan  metode Cross-Industry  Standard  Process  for  Data  Mining  (CRISP-DM). Metode  tersebut  dipilih  dengan  penyesuaian  karakteristik  area  penelitian  pada  bidang  penambangan  data. Menurut  Hasanah  dalam  Azis  dkk.  (2023)  metode  CRISP-DM  merupakan  memiliki  keunggulan  siklus  yang berputar jika teknik penambangan data yang digunakan tidak optimal. Tahapan CRISP-DM terdiri dari:

## 1. Pemahaman Bisnis
Pada tahap pemahaman bisnis dilakukan penetapan tujuan sesuai kebutuhan penelitian. Pada tahap ini, dilakukan  pemaknaan  tujuan  penelitian.  Kurikulum  Merdeka  menggunakan  istilah  yang  berbeda  dengan Kurikulum 2013 (Mulyasa, 2023). Pada Kurikulum 2013, dikenal istilah Kompetensi Inti (KI) dan Kompetensi Dasar  (KD)  untuk  mengetahui  kompetensi  yang  diharapkan  pada  suatu  materi  pelajaran.  Sementara  itu, terdapat istilah baru pada Kurikulum 2013 yaitu Capaian Pembelajaran (CP) yang menunjukkan tujuan belajar setelah mempelajari semua materi. CP diturunkan dalam Tujuan Pembelajaran (TP) dan diurutkan melalui ATP (Alur Tujuan Pembelajaran). Batasan penelitian ini adalah mengacu pada  Mata Pelajaran DPK Materi Teknik Instalasi Tenaga Listrik (TITL) dengan TP yang ditunjukkan pada Tabel 1.
Tabel 1. Batasan Masalah : Tujuan Pembelajaran yang Digunakan
No TP Tujuan Pembelajaran (TP) 2..2 Memahami isu-isu global terkait ketenagalistrikan dengan teknologi sekarang

## 2. Pemahaman Data
Sesuai dengan tujuan penelitian, yaitu menganalisa standar kelengkapan materi yang dihasilkan kedua aplikasi, pada tahap  kedua peneliti mengumpulkan data  acuan  sebagai standart kelengkapan materi. Buku acuan  yang  digunakan  menggunakan  buku  wajib  mata  pelajaran  Dasar  Listrik  Elektronika  (DLE)  pada Kurikulum  2013,  yaitu  Buku  Dasar-Dasar  Ketenagalistrikan  yang  diterbitkan  pada  tahun  2022.  Buku  ini dipilih sebab mata Pelajaran Dasar Program Keahlian (DPK) merupakan gabungan dari mata pelajaran Dasar Listrik Elektronika (DLE). Berdasarkan TP yang dipilih, materi acuan terdapat pada Bab yang ditunjukkan pada Tabel 2. Isi dari teks buku acuan diekstrak dalam bentuk file TXT.
Pada Tabel 2, satu TP yang dipilih terdapat pada Bab 1 tentang Pengantar Ketenagalistrikan dengan materi  Teknologi  dan  Isu  Global.  Setelah  menetapkan  cakupan  materi  pada  buku  acuan,  peneliti mengembangkan  materi  sesuai  TP  (Tabel 1)  menggunakan  dua aplikasi  ChatBot, terdiri dari ChatGPT  dan Perplexity.Pada tahap ini dilakukan tiga uji coba, yaitu: pencarian promt dengan kata kunci.
Tabel 2. Pemilihan Standar Materi Berdasarkan Tujuan Pembelajaran yang Digunakan
No TP Tujuan Pembelajaran (TP) Materi 2..2 Memahami isu-isu global terkait ketenagalistrikan dengan teknologi sekarang Bab 1 Pengantar Ketenagalistrikan. Sub Bab: 2 Teknologi dan Isu Global Tabel 3. Teknik Uji Coba Prompt Yang Digunakan pada ChatGPT dan Perplexity No  Prompt yang digunakan 1 Kompetensi Inti 2 Kompetensi Dasar 3 Indikator Materi
Berdasarkan Tabel 3, terdapat tiga prompt yang digunakan, meliputi kompetensi inti, Kompetensi Dasar, dan Indikator Materi. Kompetensi inti merupakan prompt yang menggambarkan tujuan pembelajaran secara

## METODE
umum. Kompetensi inti mengacu pada TP yang ditetapkan. Pada Buku Acuan, kompetensi ini tersirat pada bab materi. Kompetensi Dasar mengacu pada turunan TP yang dibuat. Pada Buku Acuan, kompetensi dasar tersirat pada  bab  materi.  Pengujian  ketiga  menggunakan  indicator  materi  yang  memuat  indicator-indikator  materi yang perlu dibahas pada setiap subbab.

## 3.Pengolahan Data
Setelah data acuan dan data uji terbentuk, dilakukan pra pemrosesan untuk mengolah data uji berupa materi yang dihasilkan dari ChatGPT dan Perplexity menggunakan tiga pendekatan teknik pencarian promt. Tahap pengolahan dari ditunjukkan melalui Gambar 1.

## Gambar 1. Ilustrasi Pra-Pemrosesan

## 3.1 Case Folding
Case folding merupakan tahap standarisasi huruf dalam data. Pada tahap ini dilakukan dua stadarisasi yaitu:  mengkonversi  menjadi  huruf  kecil  dan  menghapus  semua  tanda  baca  seperti  tanda  koma,  titik,  dan hubung. Ilustrasi case folding ditunjukkan pada Gambar 2. Pada Gambar 2, terdapat tanda titik pada kalimat terakhir yang bersinggungan dengan kata Listrik. Case folding ditujukan untuk mencegah pengenalan kata yang berbeda seperti kata “listrik” dan “Listrik.”.
(a) (b)
Gambar 2. Sampel Case Folding (a) Sebelum (b) Sesudah

## 3.2 Stemming
Setelah  bentuk  huruf  terstandarisasi,  setiap  kata  dikonfersi  menjadi  kata  dasar.  Tahap  ini  disebut dengan  istilah stemming .  Ilustrasi stemming ditunjukkan  pada  Gambar  3.  Pada  Gambar  3,  terdapat  istilah “dibangkitkan”. Stemming ditujukan  untuk  mencegah  pengenalan  kata  yang  berbeda  karena  imbuhan  atau akhiran.  Maka  pada  Gambar  3  dengan  kata  “dibangkitkan”  berubah menjadi  “bangkit”,  maka  kata “membangkitkan” tetap dapat dimaknai sama dengan “dibangkitkan”.
(a)
(b) Gambar 3. Sampel Stemming (a) Sebelum (b) Sesudah

## 3.3 Stop Word Removal
Stop word removal bertujuan untuk menghilangkan kata yang memiliki relevansi terhadap materi yang rendah, seperti kata penghubung. Library yang digunakan mengcu pada Library bahasa Indonesia Sastrawi.. Ilustrasi stop  word  removal ditunjukkan  pada  Gambar  4.  Pada  Gambar  4,  pemanfaatan stop  word  removal terdapat pada kata “ oleh karena itu ” hilang karena dianggap tidak memiliki makna pada materi inti.
(a) (b)
Gambar 4. Sampel Stop-Word Removal (a) Sebelum (b) Sesudah

## 3.4 Tokenizing
Tokeinizing adalah  pemisahan  kalimat  menjadi  kata  dalam  bentuk  indeks.  Tahap  ini  memudahkan pencocokan  similaritas  antar  kata.  Ilustrasi tokeinizing ditunjukkan  pada  Gambar  5.  Setelah  tahap  ini perhitungan kelengkapan materi dapat dilakukan menggunakan Jaccard Similarity .
(a) (b)
Gambar 5. Sampel Tokenizing (a) Sebelum (b) Sesudah

## 4. Pemodelan
Pada tahap ini dilakukan proses analisis data dengan berbagai Teknik Jaccard Similarity. Perhitungan Jaccard  dilakukan  dengan  perbandingan  antara  jumlah  elemen  yang  sama  terhadap  total  elemen  pada keduanya. Persamaan jaccard similarity yang ditunjukkan pada Persamaan 1 dikonversi menjadi persentase.
𝐽𝑎𝑐𝑆𝑖𝑚 (𝐵, 𝐶) = |𝐵⋂𝐶| |𝐵⋃𝐵| × 100%. (1)
Pada Persamaan (1), JacSim (B, C) merupakan nilai J accard Similarity antara buku acuan (B) dan hasil materi ChatBot (C) yang diperoleh menggunakan jumlah elemen yang mirip antara buku acuan (B) dan hasil materi ChatBot (B ∩ C) terhadap jumlah elemen yang ada dalam pada keduanya (B ∪ C).

## 5. Evaluasi
Seperti yang telah dijelaskan, Jaccard Similarity pada dasarnya bukan metode pengukuran kelengkapan materi. Untuk adaptasi Jaccarad Similarity sebagai Teknik pengukuran kelengkapan materi perlu dilakukan validasi. Proses validasi guru ini digunakan sebagai komparasi tingkat kelengkapan materi dari sisi manusia. Jika Jaccard  Similarity mendekati  pengukuran  vaidasi  kelengkapan  materi,  maka  pemanfaatan Jaccard Similarity yang diusulkan mendekati pendekatan pakar dalam menilai. Proses validasi mengacu pada aspek- aspek  kelengkapan  materi ,yaitu  aspek  format,  isi,  kegrafikan, dan  Bahasa  yang  ditunjukkan  pada  Tabel 4 (Marizal  &  Asri,  2022).  Aspek  format  menunjukkan  struktur  dan  runtutan  penyampaian  materi.  Aspek  isi menunjukkan  kedalaman  materi  dan  kesesuaian  terhadap  tujuan  belajar,  Grafik  menunjukkan  kemudahan memahami melalui  ilustrasi  atau  gambar. Sedangkan  Bahasa menunjukkan  ketepatan  bahasa  berdasarkan rumpun ilmu.
Tabel 4. Aspek Validasi Standart Kelengkapan Materi (Marizal & Asri, 2022)
No Aspek Indikator 1 Format Struktur materi Keruntutan materi 2 Isi Kejelasan materi Cangkupan materi Kesesuaian tujuan pembelajaran Relevansi materi 3 Grafik Ilustrasi materi Tata letak materi 4 Bahasa Ketepatan istilah Kualitas keterbacaan
Nilai yang didapat selanjutnya dikonversi menjadi persentase dengan Persamaan (2).
𝑋 = 𝑓 𝑁 × 100%. (2)
Pada Persamaan (2) X merupakan Tingkat kelengkapan materi yang dihitung menggunakan nilai yang didapat ( f ) terhadap nilai maksimum pada angket dalam skala 100%. Hasil validitas ahli materi selanjutnya dikelompokkan berdasarkan Tabel 5
Tabel 5. Aspek Validasi Standart Kelengkapan Materi (Sumber: Mashuri and Budiyono, 2020).
Tingkat Kelengkapan Kualifikasi 81-100% Sangat Layak 61-80% Layak 41-60% Cukup Layak 21-40% Kurang Layak <20 Tidak Layak

## 1. Materi yang Dihasilkan ChatGPT dan Perplexity
Pada pemahaman bisnis dilakukan proses menentukan tujuan pembelajaran dengan menyesuaikan Alur Tujuan Pembelajaran (ATP) mata pelajaran Dasar Program Keahlian (DPK). Tujuan pembelajaran  tersebut digunakan  untuk  menentukan  jenis  data  yang  digunakan  dalam  penelitian.  Terdapat  dua  jenis  data  yang
HASIL
digunakan dalam penelitian ini, yaitu data pembanding (ground truth) dan data uji. Untuk data pembanding pada  penelitian  ini  berasal  dari  Buku  Dasar-Dasar  Ketenagalistrikan  2022  sedangkan  data  uji  berasal  dari aplikasi  ChatGPT  dan  Perplexity.  Data  pembanding  (ground  truth)  berfungsi  sebagai  standar  untuk menentukan kualitas materi pada data uji. Materi data uji dihasilkan dengan mengacu ke keyword yang telah ditentukan.  Masing-masing  keyword  akan  dijabarkan  menjadi  beberapa  prompt  pada  aplikasi  kecerdasan buatan.  Proses  penjabaran  prompt  pada  kedua  aplikasi  kecerdasan  buatan,  baik  pada  Chat  GPT  maupun Perplexity ditunjukkan pada Tabel 6. Sampel materi Buku Acuan dan materi dihasilkan Aplikasi ChatGPT dan Perplexity termuat pada Gambar 6.
(a)
(b) (c)
Gambar 6. Potongan Materi pada Prompt “Buatlah materi dalam bentuk paragraf tentang smart meter, smart sensor, dan smart appliances and devices dari Pengertian , fungsi, penerapan, dan contoh!” (a) Buku Acuan (b) ChatGPT (c) Perplexity
Tabel 6. Implementasi Prompt pada ChatGPT dan Perplexity Tujuan Pembelajaran (TP) Kata Kunci Pencarian Prompt Memahami isu-isu global terkait ketenagalistrikan dengan teknologi sekarang Kompetensi Inti Buatlah materi pembelajaran Bab Pengantar Ketenagalistrikan tentang Teknologi dan Isu Global!
Tujuan Pembelajaran (TP) Kata Kunci Pencarian Prompt Kompetensi Dasar 1. Buatlah materi pembelajaran Bab Pengantar Ketenagalistrikan tentang Teknologi dan Isu Global dari poin Electricity 4.0 dan Digitalisasi di Berbagai Bidang! 2. Buatlah materi pembelajaran Bab Pengantar Ketenagalistrikan tentang Teknologi dan Isu Global dari poin Internet of Things dan Peralatan-Peralatan Cerdas! 3. Buatlah materi pembelajaran Bab Pengantar Ketenagalistrikan tentang Teknologi dan Isu Global dari poin Smart Meter, Smart Sensor dan Smart Appliance and Devices! 4. Buatlah materi pembelajaran Bab Pengantar Ketenagalistrikan tentang Teknologi dan Isu Global dari poin SCADA dan HMI! Indikator Materi 1. Buatlah materi dalam bentuk paragraf tentang Teknologi dan Isu Global dari pentingnya listrik dalam isu global! 2. Buatlah materi dalam bentuk paragraf tentang Electricity 4.0 dan Digitalisasi di Berbagai Bidang dari perkembangan kWh meter! 3. Buatlah materi dalam bentuk paragraf tentang internet of things dan peralatan-peralatan cerdas dari Perkembangan Industrial Revolution dan contoh peralatan cerdas! 4. Buatlah materi dalam bentuk paragraf tentang smart meter, smart sensor, dan smart appliances and devices dari Pengertian, fungsi, penerapan, dan contoh! 5. Buatlah materi dalam bentuk paragraf tentang SCADA dari pengertian dan bagian SCADA! 6.Buatlah materi dalam bentuk paragraf tentang HMI dari pengertian dan fungsi pada SCADA!
Potongan materi pada p rompt “Buatlah materi dalam bentuk paragraf tentang smart meter, smart sensor, dan smart appliances and devices dari Pengertian, fungsi, penerapan, dan contoh!” ditunjukkan pada Gambar 6. Secara semantic, buku acuan pada Gambar 6(a) secara spesifik menjelaskan materi dengan mengacu pada keilmuan “elektro” secara runtut dan sistematis. Hal ini terlihat dari cara menarasikan materi smart sensor dengan memberi pengantar pada industri yang familiar dibidang Elektro dan dilanjutkan dengan penjelasan serta contoh yang disertai narasi contoh. Pola kalimat yang berbeda ditemukan pada ChatGPT seperti yang ditunjukkan  pada  Gambar  6(b).  ChatGPT  secara  langsung  menjabarkan  definisi  dan  contoh.  Narasi  yang disampaikan cenderung lebih ringkas dibandingkan buku acuan. Hal serupa juga Nampak pada hasil Perplexity yang  secara  langsung  menjabarkan  definisi  dan  contoh.  Dalam  hal  ini,  penjabaran  materi  Perplexity  lebih singkat dibandingkan ChatGPT.  Bagaimanapun keduanya tidak dapat menggali materi secara mendalam. Ini menunjukkan bahwa pemanfaatan ChatGPT cocok untuk menyederhanakan materi, tetapi tidak cocok untuk materi  yang  mendalam.  Pada  pengujian  ini  pencarian  dengan  inti  materi  dianggap  tidak  mencukupi  untuk materi yang lebih kompleks.

## 2. Hasil Jaccard Similarity
Proses  pemodelan  dilakukan  dengan  jaccard  similarity  yang  merupakan  program  terakhir  di  Python. Proses  jaccard  similarity  bertujuan  untuk  mengukur  tingkat  kesamaan  antara  materi  yang  dihasilkan  oleh aplikasi ChatGPT dan Perplexity dengan materi pada buku. Kesamaan tersebut dihitung dengan perbandingan dua data, yaitu data pembanding dari buku sebagai acuan dan data uji dari aplikasi kecerdasan buatan sebagai data yang dinilai. Nilai jaccard similarity yang telah diperoleh selanjutnya diubah menjadi bentuk persentase untuk mempermudah ketika dievaluasi pada tahap berikutnya.
Berdasarkan  Tabel  6  dapat  diketahui  bahwa  untuk  nilai  jaccard  similarity  tertinggi  sebesar  72.40% diperoleh dari perbandingan materi Buku & Chat GPT (Indikator Materi) sedangkan nilai jaccard similarity terendah sebesar 23.86% diperoleh dari perbandingan materi Buku & Perplexity (Bab). Selain itu, hasil jaccard similarity  yang  cukup  rendah  lainnya  diperoleh  dari  perbandingan  materi  Buku  &  Chat  GPT  (bab)  sebesar 32.75% dan Buku & Perplexity (Sub Bab) sebesar 35.28%. Pada perbandingan Buku & Chat GPT (Sub Bab)
menghasilkan persentase sebesar 50.75%. Di percobaan terakhir, yaitu perbandingan Buku & Perplexity (inti materi)  menghasilkan  persentase  sebesar  47.67%.  Dari  seluruh  hasil  percobaan  dengan  dua  aplikasi  yang berbeda,  nilai  jaccard  similarity  akan  mendapatkan  nilai  tinggi  jika  menggunakan  keyword  inti  materi sedangkan  jika  menggunakan  keyword  bab  nilai  jaccard  similarity  cenderung  rendah  (Niwattanakul  et  al., 2013).
Tabel 6. Hasil Jaccard Similarity No.  Acuan Kata Kunci  Nilai Jaccard Similarity (%) terhadap Buku Acuan* ChatGPT Perplexity 1. Kompetensi Inti 42.75% 43.86% 2. Kompetensi Dasar 60.75% 55.28% 3. Indikator Materi 72.40% 67.67%
* Buku Dasar-Dasar Ketenagalistrikan yang diterbitkan pada tahun 2022.

## 3. Perbandingan Jaccard Similarity dan Validasi Materi
Validasi  materi  dilaksanakan  untuk  mengetahui  kelayakan  materi  yang  ditunjukkan  pada  Tabel  7. Validasi dilakukan kepada Ibu Farida,S.T selaku guru SMK 6 Malang. Berdasarkan hasil validasi materi, Chat GPT  relative  lebih  tinggi  dibandingkan  hasil  validasi  Perplexity.  Seperti  yang  tergambar  pada  Gambar  6 tentang penggalam hasil materi pada prompt ke-8, terlihat bahwa penjelasan perplexity relative menjelaskan inti tanpa penjabaran yang lebih mendetail. Hasil validasi menunjukkan kelemahan terbesar pada penggunaan ChatGPT dan Perplexity yang berbasis ChatBot tidak menyertakan gambar yang mendukung pemahaman. Hal ini menyebabkan aspek kegrafikan cenderung rendah. Disisi lain, metode Jaccard similarity yang diusulkan belum dalam mengkomparasi dalam bentuk gambar sehingga pemaknaan gambar tidak dapat dikalkulasi.
Tabel 7. Hasil Validasi Materi No.  Acuan Kata Kunci Validasi Media ChatGPT  Perplexity 1. Kompetensi Inti 50% 50% 2. Kompetensi Dasar 70% 60% 3. Indikator Materi 80% 70%
Gambar 7 menunjukkan komparasi kelayakan antara perhitungan Jaccard Similarity dan validasi guru. Materi yang diproduksi ChatGPT melalui kata kunci indikator materi memiliki kualifikasi yang sama antara nilai kemiripan jaccard dan nilai validasi guru, seperti yang ditunjukkan pada Gambar  7 dengan klasifikasi layak. Hal ini menunjukkan konsistensi penggunaan Jaccard Similarity .
Gambar 7  juga  menunjukkan  perbedaan  karakteristik  hasil  kelayakan  antara Jaccard  Similarity dan validasi  guru.  Hal  berbeda  terjadi  pada  evaluasi  ChatGPT  maupun  Perplexity  berdasarkan  kata  kunci kompetensi inti dan kompetensi dasar, Dimana terdapat perbedaan pemaknaan kelayakan antara ahli materi dan jaccard .  Pada Jaccard  Similarity menunjukkan  hasil  cukup  layak  pada  pencarian  materi  berdasarkan kompetensi  dasar.  Sementara  itu  hasil jaccard  similarity mengindikasikan  kurang  layak.  Perbedaan pemaknaan  ini  disebabkan  oleh  beberapa  factor,  seperti  pemberian  contoh  yang  berbeda,  sehingga jaccard similarity tidak mampu memaknai masalah yang memiliki kesamaan pemaknaan.

## PEMBAHASAN
Gambar 7. Hasil Komparasi Nilai Jaccard dan Validasi Guru
Gambar 8 menunjukkan indikasi perbedaan narasi cerita antara Aplikasi ChatBot dan buku acuan. Buku acuan menarasikan pengertian peralatan cerdas (Gambar 8(a)). Sementara itu, ChatGPT (Gambar 8(b)) tidak ditemukan narasi penjelasan peralatan cerdas. Disisi lain Perplexity memuat sudut pandang pemahaman yang berbeda. Hal inilah yang menyebabkan penilaian Jaccard menjadi lebih rendah. Jaccard tidak dapat memaknai penjelasan yang berbeda tetapi memiliki makna inti yang sama. Ini menginspirasi penelitian lebih lanjut untuk memperkaya buku acuan menggunakan penilaian jaccard yang dimodifikasi.
(a)
(b)
(c)
Gambar 8. Perbedaan Kata pada Hasil Pengujian (a) Buku Acuan (b) ChatGPT (c) Perplexity Pada  Gambar  8  juga  menunjukkan  masalah-masalah  yang  ditemukan  oleh Jaccard  Similarity .  Pada Pencarian berdasarkan kompetensi inti materi ditemukan bahwa terdapat perbedaan kata yang tidak dianggap memiliki kesamaan makna oleh Jaccard. Pada Gambar 8(a) penjabaran peralatan cerdas termuat pada buku acuan.  Istilah  yang  berbeda  ditemukan  pada  Perplexity  (Gambar  8(c))  memiliki  istilah  yang  berbeda,  yaitu “piranti cerdas”.
ChatGPT dan Perplexity adalah dua aplikasi yang dapat dimanfaatkan untuk mengembangkan materi belajar.  Penelitian  ini  bertujuan  untuk  menganalisa ChatGPT  dan  Perplexity  sebagai  media  pengembangan materi.  Tingkat  kelengkapan  materi  diukur  menggunakan  Jaccard  Similarity  yang  membandingkan  objek dengan konsep irisan. Dengan asumsi bahwa kelengkapan materi dapat diukur melalui irisan materi yang sama, Jaccard Similarity diusulkan dengan tiga uji coba pencarian materi berdasarkan kompetensi inti, kompetensi dasar,  dan  indikator  materi.  Penelitian  ini  diimplementasikan  pada  materi  pembelajaran  Teknik  Instalasi
42,7 60,75 72,4 50 70 80 43,86 55,28 67,67 50 60 70 0 10 20 30 40 50 60 70 80 90 Kompetensi Inti Kompetensi dasar Indikator Materi Jaccard Similarity (ChatGPT)
Validasi (ChatGPT) Jaccard Similarity (Perplexity) Validasi (Perplexity)
Tenaga  Listrik.  Jaccard  Simillarity  dianalisa  dengan  perbandingan  hasil  validasi  guru.  Hasil  ChatGPT  dan Perplexity mencapai penilaian tertinggi pada pencarian materi berdasarkan inti materi dengan nilai similaritas secara berturut-turut mencapai 72.40 ℅ dan 47.67%, serta validasi guru berturut-turut 80% dan 70%. Penelitian ini menunjukkan Chat GPT lebih unggul dari Perplexity dan kunci terbaik berdasarkan inti materi. Pencarian yang lebih umum akan menghasilkan materi yang umum juga. Pada penelitian lebih lanjut terdapat beberapa hal yang harus diperbaiki, seperti pemaknaan semantic yang belum dapat ditangani dengan Jaccard Similarity . Data  pembanding  perlu  diperbanyak  sehingga  similaritas  menjadi  tidak  sewenang-wenang.  Karena  data pembanding perlu diperbanyak, maka metode pengukuran kompleksitas materi perlu dikembangkan menjadi adaptif dengan teknik pembobotan dengan bobot tertinggi untuk  mengkelaskan level keilmuan berdasarkan Tingkat kedalaman materi. Hal yang lebih penting adalah bagaimana menyajikan materi dalam bentuk citra. Bagaimanapun kelemahan materi berbasis ChatBot adalah lemah dalam aspek visual. Generator citra berbasis artificial  intelligence  perlu  dieksplorasi untuk  menemukan  solusi instan  dalam  pengembangan  materi baru.
Alobed, M., Altrad, A. M. M., & Bakar, Z. B. A. (2021). A Comparative Analysis of Euclidean, Jaccard and Cosine Similarity Measure and Arabic Wordnet for Automated Arabic Essay Scoring. 2021 Fifth International Conference on Information Retrieval and Knowledge Management (CAMP) , 70 – 74.
https://doi.org/10.1109/CAMP51653.2021.9498119
Anggriani, I., Sukmara, R. B., Prihasto, B., Fajri Azhar, N., & Kalimantan, I. T. (2023). Pemanfaat Kecerdasan Buatan dalam Pengembangan Pembelajaran di Daerah Penyangga Ibukota Negara (IKN). ININNAWA: Jurnal Pengabdian Masyarakat , 01 (02), 131 – 134. https://journal.unm.ac.id/index.php/Ininnawa Baharav, T. Z., Kamath, G. M., Tse, D. N., & Shomorony, I. (2020). Spectral Jaccard Similarity: A New Approach to Estimating Pairwise Sequence Alignments. Patterns , 1 (6), 100081. https://doi.org/10.1016/j.patter.2020.100081 Costa, L. da F. (2021). Further Generalizations of the Jaccard Index . http://arxiv.org/abs/2110.09619
Deike, M. (2024). Evaluating the performance of ChatGPT and Perplexity AI in Business Reference. Journal of Business \&amp; Finance Librarianship . https://api.semanticscholar.org/CorpusID:268194617
Eldaw, M. H. S., Levene, M., & Roussos, G. (2019). Presence Analytics: Making Sense of Human Social Presence within a Learning Environment. Proceedings - 5th IEEE/ACM International Conference on Big Data Computing, Applications and Technologies, BDCAT 2018 , 174 – 183. https://doi.org/10.1109/BDCAT.2018.00029
Iriyani, S., Patty, E., Akbar, A., Idris, R., Ayu, B., Priyudahari, P., & Artikel, G. (2023). Studi Literatur: Pemanfaatan Teknologi Chat GPT dalam Pendidikan . 1 , 9 – 16. https://doi.org/10.30812/upgrade.v0i0.3151
Lund, B. D., & Wang, T. (2023). Chatting about ChatGPT: how may AI and GPT impact academia and libraries? Library Hi Tech News , 40 (3), 26 – 29. https://doi.org/10.1108/LHTN-01-2023-0009 Marizal, Y., & Asri, Y. (2022). Pengembangan Modul Elektronik Berbantuan Aplikasi Flipping Book PDF Professional Pembelajaran Menulis Teks Eksplanasi. Diglosia: Jurnal Kajian Bahasa, Sastra, Dan Pengajarannya , 5 , 135 – 152. https://doi.org/10.30872/diglosia.v5i1.343 Maulana, M. J., Darmawan, C., & Rahmat, R. (2023). PENGGUNAAN CHATGPT DALAM TINJAUAN PENDIDIKAN BERDASARKAN PERSPEKTIF ETIKA AKADEMIK. Bhineka Tunggal Ika: Kajian Teori Dan Praktik Pendidikan PKn , 10 (1), 58 – 66. https://doi.org/10.36706/jbti.v10i1.21090 Mujab, S. (2023). Transformasi Pendidikan SMK : Menuju SDM Unggul, Kreatif, dan Inovatif Berkelanjutan (M. P. Kodri (ed.)). Penerbit Adab. Mulyasa, E. (2023). Implementasi Kurikulum Merdeka . Bumi Aksara.
Niwattanakul, S., Singthongchai, J., Naenudorn, E., & Wanapu, S. (2013). Using of jaccard coefficient for keywords similarity. Lecture Notes in Engineering and Computer Science , 2202 , 380 – 384. Rathore, D. B. (2023). Future of AI & Generation Alpha: ChatGPT beyond Boundaries. Eduzone : International Peer Reviewed/Refereed Academic Multidisciplinary Journal , 12 (01), 63 – 68. https://doi.org/10.56614/eiprmj.v12i1y23.254 Rinjeni, T. P., Indriawan, A., & Rakhmawati, N. A. (2024). Matching Scientific Article Titles using Cosine Similarity and Jaccard Similarity Algorithm. Procedia Computer Science , 234 , 553 – 560.
https://doi.org/https://doi.org/10.1016/j.procs.2024.03.039
Sari, Y. L., & Elfizon, E. (2020). Hubungan Penguasaan Teori Pemasangan Instalasi Penerangan Listrik Berbantuan Modul Dengan Kompetensi Praktik Siswa di SMK Negeri 1 Pariaman. JTEV (Jurnal Teknik Elektro Dan Vokasional) . https://api.semanticscholar.org/CorpusID:250197175
Tang, M., Kaymaz, Y., Logeman, B. L., Eichhorn, S., Liang, Z. S., Dulac, C., & Sackton, T. B. (2021). Evaluating single-cell cluster stability using the Jaccard similarity index. Bioinformatics , 37 (15), 2212 – 2214.
https://doi.org/10.1093/bioinformatics/btaa956

## DAFTAR RUJUKAN