tikanosa/fine-tuned-edusbert

SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'BertModel'})
  (1): Pooling({'embedding_dimension': 384, 'pooling_mode': 'mean', 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'PENDIDIKAN ILMU PENGETAHUAN ALAM - Alat Ukur dan Metode Pengukuran Ilmu Pengetahuan Alam, Astronomi, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Biofisika, Biokimia, Biologi Umum I, Biologi Umum II, Bioteknologi, Fisika Dasar I, Fisika Dasar II, Fisika Modern, Gelombang dan Optik, Genetika dan Pewarisan Sifat, Ilmu Gizi dan Kesehatan, Ilmu Kebumian, Ilmu Lingkungan, Ilmu Pendidikan, Ilmu Pengetahuan Alam Dasar, Ilmu Pengetahuan Alam Integrasi dan Pembelajarannya, Ilmu Pengetahuan Alam Terapan, Ilmu Pengetahuan Bumi dan Antariksa, Ilmu Tanah, Kajian Hasil Penelitian Pendidikan Ilmu Pengetahuan Alam, Kajian Ilmu Pengetahuan Alam Sekolah I, Kajian Ilmu Pengetahuan Alam Sekolah II, Kajian Ilmu Pengetahuan Alam Sekolah III, Keanekaragaman Hayati, Kearifan Lokal dalam Pembelajaran Ilmu Pengetahuan Alam, Keterampilan Kimia, Kimia dalam Kehidupan, Kimia Umum I, Kimia Umum II, Komputasi Ilmu Pengetahuan Alam, Kuliah Kerja Nyata, Kurikulum dan Pembelajaran Ilmu Pengembangan Alam, Listrik dan Magnet, Manajemen Berbasis Sekolah, Manajemen Pendidikan, Matematika untuk Ilmu Pengetahuan Alam, Media Pembelajaran Berbasis Komputer, Media Pembelajaran Ilmu Pengetahuan Alam, Mekanika dan Fluida, Metodologi Penelitian, Model Pembelajaran Ilmu Pengetahuan Alam, Olahraga dan Kebugaran Jasmani, Pancasila, Pembelajaran Mikro Ilmu Pengetahuan Alam, Pemrograman dan Robotika, Pendidikan Agama Budha, Pendidikan Agama Hindu, Pendidikan Agama Islam, Pendidikan Agama Katolik, Pendidikan Agama Konghucu, Pendidikan Agama Kristen Protestan, Pendidikan dan Pembangunan Berkelanjutan, Pendidikan Ilmu Pengetahuan Alaman untuk Berkelanjutan, Pendidikan Inklusi, Pendidikan Kewarganegaraan, Pengelolaan dan Teknik Laboratorium Ilmu Pengetahuan Alam, Pengembangan Kompetensi dan Profesi, Penilaian Pembelajaran Ilmu Pengetahuan Alam, Praktik Kependidikan, Psikologi Pendidikan, Publikasi Ilmiah Pendidikan Ilmu Pengetahuan Alam, Sains Industri Berbasis Budaya, Sains, Teknologi, Teknik, dan Matematika, Sciencepreneur, Sosiologi dan Antropologi Pendidikan, Statistika Dasar, Statistika Terapan, Strategi dan Manajemen Pembelajaran Ilmu Pengetahuan Alam, Struktur dan Fungsi Hewan, Struktur dan Fungsi Tumbuhan, Teknologi Informasi dan Komunikasi dalam Pembelajaran Ilmu Pengetahuan Alam, Teori Respon Butir, Termodinamika, Tugas Akhir Sarjana, Videografi, Wawasan dan Kajian Matematika dan Ilmu Pengetahuan Alam',
    'BIOLOGI - Analisis Biologi Modern, Anatomi dan Histologi Hewan, Anatomi Tumbuhan, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Bioinformatika, Biokimia, Biologi Avertebrata, Biologi Dasar, Biologi Konservasi, Biologi Laut, Biologi Manusia dan Gizi, Biologi Perkembangan Hewan, Biologi Perkembangan Tumbuhan, Biologi Sel dan Molekuler, Biologi Tanah, Biologi Vertebrata, Bioremediasi, Biospeleologi, Bioteknologi, Biotropika, Botani Ekonomi, Budidaya Hewan, Budidaya Tanaman, Ekofisiologi Tumbuhan, Ekologi, Ekologi Perairan, Ekotoksikologi, Endokrinologi, Entomologi, Enzimologi, Etnobotani, Evolusi, Fisiologi Hewan, Fisiologi Tumbuhan, Fitofarmaka, Fitohormon, Genetika, Genetika Molekuler, Herpetologi, Ikhtiologi, Ilmu Lingkungan, Imunologi, Keamanan Pangan, Kuliah Kerja Nyata, Kultur Jaringan Tumbuhan, Mamalogi, Metodologi Penelitian, Mikologi, Mikrobiologi, Mikrobiologi Terapan, Mikroteknik, Morfologi Tumbuhan, Olahraga dan Kebugaran Jasmani, Ornitologi, Pancasila, Parasitologi, Pendidikan Agama Budha, Pendidikan Agama Hindu, Pendidikan Agama Islam, Pendidikan Agama Katolik, Pendidikan Agama Konghucu, Pendidikan Agama Kristen Protestan, Pendidikan dan Pembangunan Berkelanjutan, Pendidikan Kewarganegaraan, Pengelolaan Lingkungan, Perancangan Percobaan Biologi, Praktik Kerja Lapangan, Praktikum Anatomi dan Histologi Hewan, Praktikum Anatomi Tumbuhan, Praktikum Biokimia, Praktikum Biologi Avertebrata, Praktikum Biologi Konservasi, Praktikum Biologi Laut, Praktikum Biologi Manusia dan Gizi, Praktikum Biologi Perkembangan Hewan, Praktikum Biologi Perkembangan Tumbuhan, Praktikum Biologi Sel dan Molekuler, Praktikum Biologi Tanah, Praktikum Biologi Vertebrata, Praktikum Bioremediasi, Praktikum Bioteknologi, Praktikum Budidaya Hewan, Praktikum Budidaya Tanaman, Praktikum Ekofisiologi Tumbuhan, Praktikum Ekologi, Praktikum Ekologi Perairan, Praktikum Ekotoksikologi, Praktikum Endokrinologi, Praktikum Entomologi, Praktikum Enzimologi, Praktikum Etnobotani, Praktikum Evolusi, Praktikum Fisiologi Hewan, Praktikum Fisiologi Tumbuhan, Praktikum Fitofarmaka, Praktikum Fitohormon, Praktikum Genetika, Praktikum Herpetologi, Praktikum Ikhtiologi, Praktikum Ilmu Lingkungan, Praktikum Imunologi, Praktikum Keamanan Pangan, Praktikum Kultur Jaringan Tumbuhan, Praktikum Mamalogi, Praktikum Mikologi, Praktikum Mikrobiologi, Praktikum Mikrobiologi Terapan, Praktikum Mikroteknik, Praktikum Morfologi Tumbuhan, Praktikum Ornitologi, Praktikum Parasitologi, Praktikum Pengelolaan Lingkungan, Praktikum Perancangan Percobaan Biologi, Praktikum Sistematika Tumbuhan, Seminar, Sistematika Tumbuhan, Statistika Dasar, Studi Ekskursi, Tugas Akhir Sarjana, Wawasan dan Kajian Matematika dan Ilmu Pengetahuan Alam',
    'TEKNIK OTOMOTIF - Alat Berat, Artificial Intelligence Otomotif, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Body dan Pengecatan, Capstone Design, Dasar Sistem Kontrol Elektronik, Desain Komponen Otomotif, Desain Rangka dan Bodi Kendaraan, Diagnosis Kendaraan, Elemen Mekanik Otomotif, Engine Management System, Fisika 1, Fisika 2, Gambar Teknik, Internal Combustion Engine 1, Internal Combuston Engine 2, Keselamatan dan Kesehatan Kerja, Komputasi Teknik, Kontrol Kualitas, Kreativitas, Inovasi dan Kewirausahaan, Listrik dan Elektronika Otomotif, Manajemen Bengkel Otomotif, Manajemen Industri Manufaktur Otomotif, Matematika 1, Matematika 2, Material Teknik, Metodologi Penelitian, Metrologi dan Instrumentasi, Olahraga dan Kebugaran Jasmani, Pancasila, Pendidikan Agama Budha, Pendidikan Agama Hindu, Pendidikan Agama Islam, Pendidikan Agama Katolik, Pendidikan Agama Konghucu, Pendidikan Agama Kristen Protestan, Pendidikan dan Pembangunan Berkelanjutan, Pendidikan Kewarganegaraan, Pengujian Kendaraan Bermotor, Pneumatik dan Hidrolik, Praktik Industri Mandiri, Praktik Industri Terbimbing, Praktik Teknologi Industri Manufaktur Otomotif, Praktikum Dasar Sistem Kontrol Elektronik, Praktikum Dasar Teknologi Otomotif, Praktikum Engine Management System, Praktikum Fisika, Praktikum Internal Combustion Engine I, Praktikum Internal Combustion Engine II, Praktikum Kendaraan Listrik dan Hibrida, Praktikum Listrik dan Elektronika Otomotif, Praktikum Manajemen Bengkel Otomotif, Praktikum Material Teknik, Praktikum Metrologi dan Instrumentasi, Praktikum Pneumatik dan Hidrolik, Praktikum Sistem Kemudi, Rem dan Suspensi, Praktikum Sistem Pemindah Tenaga, Praktikum Teknologi Bengkel Otomotif, Regulasi dan Standarisasi Otomotif, Sistem Kemudi Rem Suspensi, Sistem Pemindah Tenaga, Statika dan Dinamika Kendaraan, Statistika, Teknologi Bengkel Otomotif, Teknologi Industri Manufaktur Otomotif, Teknologi Pendingin Udara dan Aksesoris Kendaraan, Termodinamika dan Perpindahan Panas, Training dan Pengembangan SDM, Transformasi Digital, Tugas Akhir Sarjana Terapan',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[ 1.0000, -0.0099,  0.0010],
#         [-0.0099,  1.0000, -0.0012],
#         [ 0.0010, -0.0012,  1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 5,493 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 100 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  modality	text	text
  details	min: 128 tokens mean: 128.0 tokens max: 128 tokens	min: 128 tokens mean: 128.0 tokens max: 128 tokens	min: 0.0 mean: 0.07 max: 1.0

• Samples:

  sentence_0	sentence_1	label
  PENDIDIKAN BIOLOGI - Anatomi dan Fisiologi Manusia, Anatomi dan Histologi Hewan, Anatomi dan Morfologi Tumbuhan, Arsitektur Lanskap, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Biokimia, Biologi Perairan, Biologi Perkembangan, Biologi Sel-Molekuler, Biologi Tanah, Biopreneurship, Bioremediasi, Biosistematika, Bioteknologi, Budidaya Hewan, Budidaya Tanaman, Ekologi, Ekologi Perilaku, Ekotoksikologi, Entomologi, Etnobotani, Evolusi, Fisiologi Hewan, Fisiologi Tumbuhan, Fotografi Biologi, Genetika, Genetika Molekuler, Ilmu Lingkungan dan Konservasi Sumber Daya Alam, Ilmu Pendidikan, Ilustrasi Biologi, Jurnalistik Sains dan Media Literasi Digital, Kajian Kurikulum Biologi Internasional, Keamanan Pangan, Keanekaragaman Hewan, Keanekaragaman Tumbuhan, Keselamatan dan Kesehatan Kerja Laboratorium, Kuliah Kerja Nyata, Kultur Jaringan, Kurikulum dan Desain Pembelajaran Biologi, Manajemen Pendidikan, Media Pembelajaran Biologi, Metode Penelitian Biologi, Metodologi Penelitian, Mikologi, Mikr...	PENDIDIKAN TEKNOLOGI DAN KEJURUAN - Artificial Intelligence and Machine Learning in Education, Basic Growth Mindset Pendidikan, Evaluasi dan Asesmen Perguruan Tinggi Vokasi, Filsafat Ilmu, Isu Kontemporer Perguruan Tinggi Vokasional dan Permasalahan Ketenagakerjaan, Kajian Pembangunan Nasional dan Wilayah, Kepemimpinan Vokasional, Kurikulum dan Pembelajaran Vokasional Mendalam, Metodologi Penelitian, Organisasi dan Manajemen Inovatif Perguruan Tinggi Vokasional, Pembelajaran Berbasis Digital, Pengembangan Diklat Vokasional, Penulisan Jurnal Ilmiah, Proposal Tugas Akhir Magister, Statistika, Transformasi Digital Perguruan Tinggi Vokasi, Tugas Akhir Magister	0.0001
  FISIKA - Aljabar Linear untuk Fisika, Analisis Geospasial, Analisis Pengukuran Fisika, Analisis Rangkaian Listrik, Asistensi Fisika, Astronomi, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Biofisika, Ekonofisika, Eksperimen Fisika Lanjut, Eksperimen Kinetika Reaktor, Elektromagnetika, Elektronika Analog, Filsafat Fisika, Fisika Atom dan Molekul, Fisika Biomaterial, Fisika Bumi dan Antariksa, Fisika Fotografi, Fisika Inti dan Partikel, Fisika Kebencanaan, Fisika Koloid, Fisika Kuantum, Fisika Material Lingkungan, Fisika Medis, Fisika Nano, Fisika Radiasi, Fisika Reaktor, Fisika Statistik, Fisika Sumber Daya Alam, Fisika Zat Padat, Fotonika, Geologi Fisis, Getaran dan Gelombang, Instrumentasi dan Sistem Pengukuran, Instrumentasi Medis, Interaksi Radiasi dan Materi, Kalkulus Multivariabel untuk Fisika, Karakterisasi Bahan Nano, Kewirausahaan, Komputasi Fisika, Komputasi Fluida, Komputasi Geofisika, Kristalografi, Kuliah Kerja Nyata, Lapisan Tipis, Laser, Mekanika, Mekanika Analitik, Me...	ILMU SEJARAH - Bahasa Belanda Sumber I, Bahasa Belanda Sumber II, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Budaya Lokal dan Nasional, Dasar-dasar Teori dan Metodologi Sejarah, Filsafat Sejarah, Historiografi Indonesia, Historiografi Umum, Kearsipan dan Perpustakaan, Kepariwisataan, Kuliah Kerja Lapangan I, Kuliah Kerja Lapangan II, Kuliah Kerja Nyata, Metode Sejarah, Metodologi Penelitian, Museologi, Olahraga dan Kebugaran Jasmani, Pancasila, Pendidikan Agama Budha, Pendidikan Agama Hindu, Pendidikan Agama Islam, Pendidikan Agama Katolik, Pendidikan Agama Konghucu, Pendidikan Agama Kristen Protestan, Pendidikan dan Pembangunan Berkelanjutan, Pendidikan Kewarganegaraan, Pengantar Ilmu Sejarah, Pengantar Ilmu Sosial, Pengantar Sejarah Indonesia, Pengembangan Laboratorium I Tekstual, Pengembangan Laboratorium II Visual, Penulisan Ilmiah Kreatif, Perspektif Global, Praktek Penelitian Sejarah, Praktik Kerja Lapangan, Sejarah Agraria, Sejarah Amerika, Sejarah Asia Barat, Sejarah Asia ...	0.0001
  ILMU PENDIDIKAN - Advanced Growth Mindset Pendidikan, Advokasi dan Rekomendasi Kebijakan Pendidikan, Analisis Isu-isu dan Proses Kebijakan Pendidikan, Analisis Kebijakan dan Dinamika Modal Manusia, Sosial dan Kultural, Desain dan Model Pengembangan Kurikulum, Desain Pengembangan Lingkungan Digital, Disparitas Ekonomi, Sosial, dan Politik, Evaluasi pendidikan karakter dan agama, Evaluasi pendidikan seni, Evaluasi Program Pembelajaran, Filsafat Pendidikan, Fondasi-fondasi Pendidikan, Fondasi-fondasi Pendidikan Digital, Gender dan Politik, Hakekat Pendidikan Ilmu Pengetahuan Sosial, Humanisme dan Pendidikan Nonformal, Isu-isu Kesetaraan Multikultural, Isu-isu Kritis dalam Pendidikan Digital, Kesetaraan dan Keadilan Gender, Ketimpangan Sosial, Ekonomi, dan Pendidikan, Literasi dan Pendidikan Global, Literasi Informasi dalam Pendidikan dan Pembelajaran Digital, Literasi Kritis, Literasi Multidimensional, Metode pendidikan karakter dan agama, Metodologi Penelitian, Moral religius dalam pendi...	STATISTIKA - Algoritma dan Pemrograman Statistika, Aljabar Linear dan Matriks, Analisis Big Data, Analisis Bisnis, Analisis dan Perancangan Survei, Analisis Data Berbasis Cloud, Analisis Data dan Visualisasi, Analisis Data Hilang, Analisis Data Kategorik, Analisis Data Tak Terstruktur, Analisis Data Teks, Analisis Mediasi Statistik, Analisis Regresi, Analisis Runtun Waktu, Analisis Survival, Bahasa Indonesia, Bahasa Inggris Tujuan Khusus, Basis Data untuk Statistika, Biostatistika Terapan, Dana Pensiun, Ekonometrika, Ekonomi dan Pasar Keuangan, Jaringan Syaraf Tiruan, Kalkulus Dasar untuk Statistika, Kalkulus Lanjut untuk Statistika, Kecerdasan Buatan untuk Analisis Data, Komputasi Statistika, Kuliah Kerja Nyata, Logika dan Himpunan, Matematika Aktuaria, Matematika Investasi, Matematika Keuangan, Metodologi Penelitian, Model Linear, Olahraga dan Kebugaran Jasmani, Optimisasi Statistika, Pancasila, Pemodelan Multilevel, Pemodelan Persamaan Struktural, Pemodelan Risiko, Pemrograman Desai...	0.0001

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss",
      "cos_score_transformation": "torch.nn.modules.linear.Identity"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• num_train_epochs: 10
• per_device_eval_batch_size: 16
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• per_device_train_batch_size: 16
• num_train_epochs: 10
• max_steps: -1
• learning_rate: 5e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1
• label_smoothing_factor: 0.0
• bf16: False
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 16
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: None
• fsdp_config: None
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss
1.4535	500	0.0462
2.9070	1000	0.0247
4.3605	1500	0.0227
5.8140	2000	0.0212
7.2674	2500	0.0192
8.7209	3000	0.0187

Training Time

• Training: 18.2 minutes

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.6.0
• Transformers: 5.13.1
• PyTorch: 2.11.0+cu128
• Accelerate: 1.14.0
• Datasets: 4.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}