akhooli/arabic-sbert-test

SentenceTransformer based on aubmindlab/bert-base-arabertv02

This is a sentence-transformers model finetuned from aubmindlab/bert-base-arabertv02. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: aubmindlab/bert-base-arabertv02
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'أسباب كثرة التبول',
    'أسباب كثرة التبول. يمكن أن يكون التبول المتكرر أحد أعراض العديد من المشاكل المختلفة من أمراض الكلى إلى مجرد شرب الكثير من السوائل. عندما يكون التبول المتكرر مصحوبًا بالحمى ، والحاجة الملحة للتبول ، والألم أو عدم الراحة في البطن ، فقد يكون لديك التهاب في المسالك البولية.',
    'من الطبيعي أن يتبول البالغون سبع مرات خلال اليوم. في بعض الحيوانات ، بالإضافة إلى طرد النفايات ، يمكن أن يؤدي التبول إلى تحديد المنطقة أو التعبير عن الخضوع. من الناحية الفسيولوجية ، يتضمن التبول التنسيق بين الجهاز العصبي المركزي والجهاز العصبي اللاإرادي والجسدي.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 10,000 training samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 4 tokens mean: 8.78 tokens max: 34 tokens	min: 8 tokens mean: 67.32 tokens max: 187 tokens	min: 12 tokens mean: 67.49 tokens max: 220 tokens

• Samples:

  anchor	positive	negative
  النظرية الأساسية للتعريف الحسابي	النظرية الأساسية في الحساب. من ويكيبيديا، الموسوعة الحرة. النظرية الأساسية للأخلاق الحسابية (وتسمى أيضًا نظرية العوامل الفريدة) هي نظرية نظرية الأعداد. تقول النظرية أن كل عدد صحيح موجب أكبر من 1 يمكن كتابته كمنتج للأعداد الأولية (أو أن العدد الصحيح هو نفسه عدد أولي).	يتم تعريف الأساسي على أنه شيء أساسي أو أساسي. الحقيقة الأساسية للدين هي مثال لحقيقة أساسية. تعريف الأساسي هو حقيقة أساسية أو قانون. الحرية هي مثال أساسي للمثل الأعلى الأمريكي.
  كيف يتم تشخيص السعال الديكي	تشخيص السعال الديكي. في الحالات المشتبه فيها من السعال الديكي ، يشتمل التشخيص عادةً على مراجعة التاريخ الطبي للمريض ، وفحصًا بدنيًا ، و (في بعض الحالات) اختبارات معينة. كجزء من تشخيص السعال الديكي (المعروف أيضًا باسم السعال الديكي) ، سيستبعد الطبيب أيضًا الأمراض الأخرى ، مثل نزلات البرد والإنفلونزا والتهاب الشعب الهوائية.	بمجرد إصابتك بالسعال الديكي ، يستغرق ظهور العلامات والأعراض من سبعة إلى عشرة أيام ، على الرغم من أنها قد تستغرق وقتًا أطول في بعض الأحيان. بعد أسبوع أو أسبوعين ، ساءت العلامات والأعراض. يتراكم المخاط السميك داخل الممرات الهوائية ، مما يسبب سعالًا لا يمكن السيطرة عليه. ومع ذلك ، فإن الكثير من الناس لا يطورون هذه الخاصية المميزة. في بعض الأحيان ، يكون السعال المتقطع هو العلامة الوحيدة على إصابة المراهق أو البالغ بالسعال الديكي. قد لا يسعل الأطفال على الإطلاق. بدلاً من ذلك ، قد يكافحون من أجل التنفس ، أو قد يتوقفون مؤقتًا عن التنفس.
  ما هو متوسط ​​ضغط الماء للمنزل	ضغط الماء هو مقدار القوة من الماء الرئيسي إلى منزلك. يقاس ضغط الماء بالجنيه لكل بوصة مربعة (PSI) ، وضغط الماء العادي عادة ما بين 30 و 80 رطل لكل بوصة مربعة ، التدفق الوظيفي هو حجم المياه المتدفقة عبر الأنابيب الخاصة بك وتصل إلى التركيبات الفردية ، وهو جهاز على شكل جرس يقلل من ضغط الماء. يجب أن يكون ضغط الماء 60-70 رطل لكل بوصة مربعة. إذا كان ضغط المنزل منخفضًا ، فأنت تريد أولاً تحديد ما إذا كان المنزل يعمل بنظام إمداد المياه العام أو نظام الآبار الخاص.	الضغط المحيط في الماء ذي السطح الحر هو مزيج من الضغط الهيدروستاتيكي الناتج عن وزن عمود الماء والضغط الجوي على السطح الحر ، والضغط المحيط على الجسم هو ضغط الوسط المحيط ، مثل الغاز أو السائل الذي يلامس الجسم. محتويات.

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 3,273 evaluation samples
• Columns: anchor, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	anchor	positive	negative
  type	string	string	string
  details	min: 4 tokens mean: 8.86 tokens max: 31 tokens	min: 13 tokens mean: 66.56 tokens max: 191 tokens	min: 15 tokens mean: 69.1 tokens max: 198 tokens

• Samples:

  anchor	positive	negative
  ما هي الفوائد الصحية للجوز	11 فوائد لا تصدق للجوز. تشمل الفوائد الصحية للجوز الحد من الكوليسترول السيئ في الجسم ، وتحسين التمثيل الغذائي ، والسيطرة على مرض السكري. تنبع الفوائد الصحية المهمة الأخرى للجوز من حقيقة أن هذه المكسرات تمتلك خصائص مضادة للالتهابات ، وتساعد في إدارة الوزن ، وتساعد في تقوية الحالة المزاجية.	لا يشترط قانون إلينوي على أصحاب العمل تقديم مزايا صحية لموظفيهم أو عائلاتهم. ومع ذلك ، إذا كنت مشمولاً بالمزايا الصحية لصاحب العمل ، فقد يكون فقدان التغطية مدمرًا.
  أفضل عناية بالبشرة للاحمرار	تم تصميم خط العناية بالبشرة لعلاج الاحمرار من مراد لتلبية احتياجات العناية بالبشرة للأفراد ذوي البشرة الحساسة المعرضة للاحمرار والتهيج. يشتمل النظام المكون من ثلاثة أجزاء على منظف وجل معالج ومرطب مصحح مع واقي من الشمس.	الأوصاف. يستخدم هيدروكورتيزون فاليرات الموضعي للمساعدة في تخفيف الاحمرار أو الحكة أو التورم أو غير ذلك من الانزعاج الناجم عن الأمراض الجلدية. هذا الدواء عبارة عن كورتيكوستيرويد (دواء شبيه بالكورتيزون أو الستيرويد) ، ولا يتوفر هذا الدواء إلا بوصفة طبية ، ويستخدم هيدروكورتيزون فاليرات الموضعي للمساعدة في تخفيف الاحمرار أو الحكة أو التورم أو غير ذلك من الانزعاج الناجم عن الأمراض الجلدية. هذا الدواء عبارة عن كورتيكوستيرويد (دواء يشبه الكورتيزون أو الستيرويد).
  متوسط ​​الطقس في مينيابوليس في مايو	متوسط ​​حالة الطقس في مايو في مينيابوليس مينيسوتا، الولايات المتحدة. في مينيابوليس ، يتميز شهر مايو بالارتفاع السريع لدرجات الحرارة اليومية المرتفعة ، مع ارتفاع درجات الحرارة اليومية بمقدار 10 درجة فهرنهايت ، من 64 درجة فهرنهايت إلى 74 درجة فهرنهايت على مدار شهرًا ، ونادرًا ما تتجاوز 85 درجة فهرنهايت أو تنخفض إلى أقل من 51 درجة فهرنهايت.	بولدن ، أريزونا الطقس. يبلغ متوسط ​​درجة حرارة بولدن 55.67 درجة فهرنهايت ، وهو أقل بكثير من متوسط ​​درجة الحرارة في أريزونا البالغ 65.97 درجة فهرنهايت وأعلى من متوسط ​​درجة الحرارة الوطنية البالغ 54.45 درجة فهرنهايت . الطقس التاريخي.

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	loss
1.5974	500	0.7182	0.2672

Framework Versions

• Python: 3.10.13
• Sentence Transformers: 3.0.1
• Transformers: 4.42.3
• PyTorch: 2.1.2
• Accelerate: 0.32.1
• Datasets: 2.20.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning}, 
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}