devvevan/sbert-finetune-quran

SentenceTransformer based on sentence-transformers/msmarco-distilbert-base-dot-prod-v3

This is a sentence-transformers model finetuned from sentence-transformers/msmarco-distilbert-base-dot-prod-v3. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/msmarco-distilbert-base-dot-prod-v3
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: DistilBertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("devvevan/sbert-finetune-quran")
# Run inference
sentences = [
    'Zakariyyâ kemudian dipanggil, "Wahai Zakariyyâ, apa yang terjadi dengan anak ini?"',
    'Allah berfirman: "Sesungguhnya Aku berbuat apa yang Aku kehendaki, yaitu (mendatangkan) seorang laki-laki: "Bahwa dia mempunyai anak laki-laki di usia 120 tahun dan istrinya pada usia 89 tahun dan dia adalah seorang yang mandul."',
    "(Janganlah sekali-kali kamu bersumpah) dengan memakai 'ya' dan 'ya' (kepada orang-orang kaya) atau orang-orang miskin (dan orang-orang miskin) dimaksud adalah sahabat-sahabat Nabi saw. (yang bersumpah tidak akan memberi sedekah kepada orang-orang miskin di antara kalian) yakni orang-orang kaya dan orang-orang fakir (dan tidak pula kepada orang-orang miskin) yakni orang-orang miskin (jalan) petunjuk (yang akan tetapi mereka mengampuni) artinya tidak mau memberikan nafkah kepada orang-orang miskin (dan tidak pula memaafkan) orang-orang miskin (bahwa mereka orang-orang yang miskin) yakni orang-orang yang mukmin (yang miskin) yakni orang-orang yang miskin di antara orang-orang yang miskin di antara mereka (dan tidak pula orang-orang yang miskin) yakni orang-orang yang miskin dan orang-orang yang miskin (yang miskin) yakni orang-orang yang mempunyai hubungan dengan orang-orang yang mempunyai hubungan dengan mereka (kafir) yang mempunyai hubungan dengan orang-orang yang mempunyai hubungan yang mempunyai hubungan dengan mereka (serta ampunan yang banyak) kepada orang-orang yang mempunyai hubungan yang haram (sesama dengan mereka) yakni orang-orang yang haram (yaitu orang-orang yang mesjid) yakni orang-orang yang mesjidz dengan orang-orang yang mesjid dan orang-orang yang mesjid dan orang-orang yang mesjid) yakni orang-orang yang mesjid merdeka.",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 1,224 training samples
• Columns: sentence_0 and sentence_1
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1
  type	string	string
  details	min: 5 tokens mean: 93.56 tokens max: 512 tokens	min: 4 tokens mean: 141.96 tokens max: 512 tokens

• Samples:

  sentence_0	sentence_1
  Apa arti dari 'sampai unta melewati melalui lubang jarum' dalam ayat itu?	Orang-orang kafir ini tidak bisa masuk surga kecuali unta melewati lubang jarum, yang mustahil.
  (Dan sesungguhnya penduduk kota Al-Hijr telah mendustakan) Al-Hijr, nama sebuah lembah yang terletak di antara kota Madinah dan negeri Syam; tempatnya kaum Tsamud (rasul-rasulnya) mereka mendustakan nabi mereka yaitu Nabi Saleh, hal ini berarti sama saja dengan mendustakan rasul-rasul lainnya, karena sesungguhnya ajaran yang disampaikan oleh para rasul itu pada hakikatnya sama.	(Kaum Tsamud) lafal tsamuuda dapat pula dibaca tsamuudan dengan memakai harakat tanwin, maksudnya adalah nama sebuah kabilah (dan mereka adalah) lafal ayat ini menjadi jawab dari kata kabilah (seorang nabi) lafal kabilah adalah bentuk jamak dari lafal kabilahul, yang artinya adalah Nabi Saleh (yang dikenal sebagai orang-orang yang aman) yakni orang-orang yang tinggal di sekitar kota tersebut.
  (Apakah) lafal A-innaa dapat dibaca Tahqiq dan Tas-hil (kamu dapat menyebutkan) dengan memakai Tas-hil (ayat-ayat Alquran) yang menunjukkan kepada keesaan Allah swt. (yang Maha Pengampun) kepada orang-orang mukmin (lagi Maha Penyantun?) dari kalangan orang-orang kafir.	(Maka tatkala mereka melupakan) mereka mengabaikan (peringatan yang telah diberikan kepada mereka) nasihat dan ancaman yang telah diberikan kepada mereka (melaluinya) yaitu dalam bentuk kesengsaraan dan penderitaan, mereka tetap tidak mau mengambil pelajaran dan nasihat darinya (Kami bukakan) dengan dibaca takhfif dan tasydid (kepada mereka semua pintu-pintu) yakni kesenangan-kesenangan sebagai istidraj untuk mereka (sehingga apabila mereka bergembira dengan apa yang telah diberikan kepada mereka) gembira yang diwarnai rasa sombong (Kami siksa mereka) dengan azab (dengan tiba-tiba) secara sekonyong-konyong (maka ketika itu mereka terdiam berputus-asa) mereka merasa berputus asa dari segala kebaikan.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: round_robin

Framework Versions

• Python: 3.12.0
• Sentence Transformers: 3.4.1
• Transformers: 4.49.0
• PyTorch: 2.8.0.dev20250318+cu128
• Accelerate: 1.5.2
• Datasets: 3.4.1
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}