Hugging Face's logo

farhana1996
/
unsupervised-simcse-bangla-bert-base

Feature Extraction
sentence-transformers
Safetensors
Bengali
bert
sentence-similarity
text-embeddings-inference
Inference Endpoints
Model card Files Community
unsupervised-simcse-bangla-bert-base / README.md
farhana1996's picture
farhana1996
Add new SentenceTransformer model
b174882 verified
preview code
|
raw
history blame
20 kB
metadata
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:500000
  - loss:MultipleNegativesRankingLoss
base_model: sagorsarker/bangla-bert-base
widget:
  - source_sentence: >-
      মেহেরপুরে বিএনপি নেতা হামিদুর রহমান হেলাল ও তাঁর মেয়ে সেতু হত্যা মামলার
      প্রধান আসামি মোস্তাফিজুর রহমান টিপুকে কারাগারে পাঠিয়েছেন আদালত
    sentences:
      - >-
        মেহেরপুরে বিএনপি নেতা হামিদুর রহমান হেলাল ও তাঁর মেয়ে সেতু হত্যা মামলার
        প্রধান আসামি মোস্তাফিজুর রহমান টিপুকে কারাগারে পাঠিয়েছেন আদালত
      - স্টেসে কানিংহামকে এক্সচেঞ্জের তম প্রেসিডেন্ট হিসেবে ঘোষণা দেওয়া হয়েছে
      - আসিফ আকবরের সঙ্গে এটাই আমার প্রথম গান
  - source_sentence: উদ্দাম নাচলেন তারা
    sentences:
      - উদ্দাম নাচলেন তারা
      - >-
        শিক্ষাপ্রতিষ্ঠানগুলি অন্য কোনও উপায়ে শিক্ষার্থীদের মূল্যায়ন করবে কিনা
        সে বিষয়ে এখনও কোনও সিদ্ধান্ত হয়নি
      - বিয়ের পর তিনি জানতে পারেন তার স্বামী আগেও বিয়ে করেছেন
  - source_sentence: >-
      এমনই একটি সংলাপ শোনা যাবে নাট্যনির্মাতা মোস্তফা সারোয়ার ফারুকীর তিন
      মিনিটের একটি মোটিভেশনাল চলচ্চিত্রে
    sentences:
      - আর এ তালিকাই সার্চ কমিটির কাছে জমা দিয়েছিল তারা
      - >-
        এমনই একটি সংলাপ শোনা যাবে নাট্যনির্মাতা মোস্তফা সারোয়ার ফারুকীর তিন
        মিনিটের একটি মোটিভেশনাল চলচ্চিত্রে
      - আয়োডিনের অভাব হয় শিশু জন্মের আগেই
  - source_sentence: >-
      সরকারি একজন মুখপাত্রের বরাত দিয়ে দেশটির গণমাধ্যম জাপান টাইমস এই তথ্য
      জানিয়েছে
    sentences:
      - >-
        যুগান্তরের এক সপ্তাহের অনুসন্ধানে চোরাই জুতার কারবার নিয়ে উঠে এসেছে
        বিচিত্র সব তথ্য
      - >-
        সম্প্রতি লন্ডনে অনুষ্ঠিত ফাইভজি ওয়ার্ল্ড সামিট  এ  বেস্ট ফাইভজি কোর
        নেটওয়ার্ক টেকনোলজি  শীর্ষক এই পুরস্কার দেওয়া হয়
      - >-
        সরকারি একজন মুখপাত্রের বরাত দিয়ে দেশটির গণমাধ্যম জাপান টাইমস এই তথ্য
        জানিয়েছে
  - source_sentence: >-
      শুক্রবার বিকালে সিলেটের ফেঞ্চুগঞ্জের উত্তর ইসলামপুরে  বন্যার্ত পরিবারের
      মধ্যে ত্রাণ বিতরণ কার্যক্রমের উদ্বোধন শেষে সাংবাদিকদের তিনি একথা জানান
    sentences:
      - >-
        শুক্রবার বিকালে সিলেটের ফেঞ্চুগঞ্জের উত্তর ইসলামপুরে  বন্যার্ত পরিবারের
        মধ্যে ত্রাণ বিতরণ কার্যক্রমের উদ্বোধন শেষে সাংবাদিকদের তিনি একথা জানান
      - উত্তরাঞ্চল    ওভারে    নাঈম    কাপালি
      - থিওরি ও সূত্রগুলো ভালোভাবে বুঝতে  হবে
pipeline_tag: sentence-similarity
library_name: sentence-transformers

SentenceTransformer based on sagorsarker/bangla-bert-base

This is a sentence-transformers model finetuned from sagorsarker/bangla-bert-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

  • Model Type: Sentence Transformer
  • Base model: sagorsarker/bangla-bert-base
  • Maximum Sequence Length: 512 tokens
  • Output Dimensionality: 768 dimensions
  • Similarity Function: Cosine Similarity

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("farhana1996/unsupervised-simcse-bangla-bert-base")
# Run inference
sentences = [
    'শুক্রবার বিকালে সিলেটের ফেঞ্চুগঞ্জের উত্তর ইসলামপুরে  বন্যার্ত পরিবারের মধ্যে ত্রাণ বিতরণ কার্যক্রমের উদ্বোধন শেষে সাংবাদিকদের তিনি একথা জানান',
    'শুক্রবার বিকালে সিলেটের ফেঞ্চুগঞ্জের উত্তর ইসলামপুরে  বন্যার্ত পরিবারের মধ্যে ত্রাণ বিতরণ কার্যক্রমের উদ্বোধন শেষে সাংবাদিকদের তিনি একথা জানান',
    'থিওরি ও সূত্রগুলো ভালোভাবে বুঝতে  হবে',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

  • Size: 500,000 training samples
  • Columns: sentence_0 and sentence_1
  • Approximate statistics based on the first 1000 samples:
    sentence_0 sentence_1
    type string string
    details
    • min: 3 tokens
    • mean: 27.48 tokens
    • max: 164 tokens
    • min: 3 tokens
    • mean: 27.48 tokens
    • max: 164 tokens
  • Samples:
    sentence_0 sentence_1
    তার তথ্যানুসন্ধানী প্রতিবেদন এবং বিনোদন জগতের তারকাদের সাক্ষাৎকারসহ সংস্কৃতি অঙ্গণের বিভিন্ন সমস্যা নিয়ে প্রতিবেদন প্রকাশ করে অনন্য ভূমিকা পালন করায় তাকে বাংলাদেশ কালচারাল রিপোটার্স এসোসিয়েশন এই সম্মাননা প্রদান করে তার তথ্যানুসন্ধানী প্রতিবেদন এবং বিনোদন জগতের তারকাদের সাক্ষাৎকারসহ সংস্কৃতি অঙ্গণের বিভিন্ন সমস্যা নিয়ে প্রতিবেদন প্রকাশ করে অনন্য ভূমিকা পালন করায় তাকে বাংলাদেশ কালচারাল রিপোটার্স এসোসিয়েশন এই সম্মাননা প্রদান করে
    যা গত সপ্তাহে ছিল থেকে টাকা যা গত সপ্তাহে ছিল থেকে টাকা
    একসঙ্গে টি স্মার্টফোন ব্যবহার করে এবার গুগলের এই প্রযুক্তিকে বোকা বানিয়েছেন জার্মানির সিমন ওয়েকার্ট একসঙ্গে টি স্মার্টফোন ব্যবহার করে এবার গুগলের এই প্রযুক্তিকে বোকা বানিয়েছেন জার্মানির সিমন ওয়েকার্ট
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 16
  • per_device_eval_batch_size: 16
  • num_train_epochs: 1
  • multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: no
  • prediction_loss_only: True
  • per_device_train_batch_size: 16
  • per_device_eval_batch_size: 16
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 5e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1
  • num_train_epochs: 1
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.0
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: False
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: None
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: None
  • batch_sampler: batch_sampler
  • multi_dataset_batch_sampler: round_robin

Training Logs

Epoch Step Training Loss
0.032 500 0.0082
0.064 1000 0.0003
0.096 1500 0.0001
0.128 2000 0.0001
0.16 2500 0.0
0.192 3000 0.0
0.224 3500 0.0
0.256 4000 0.0001
0.288 4500 0.0001
0.32 5000 0.0001
0.352 5500 0.0
0.384 6000 0.0
0.416 6500 0.0001
0.448 7000 0.0
0.48 7500 0.0001
0.512 8000 0.0002
0.544 8500 0.0
0.576 9000 0.0001
0.608 9500 0.0002
0.64 10000 0.0003
0.672 10500 0.0002
0.704 11000 0.0002
0.736 11500 0.0001
0.768 12000 0.0003
0.8 12500 0.0
0.832 13000 0.0001
0.864 13500 0.0002
0.896 14000 0.0001
0.928 14500 0.0
0.96 15000 0.0001
0.992 15500 0.0002

Framework Versions

  • Python: 3.10.12
  • Sentence Transformers: 3.3.1
  • Transformers: 4.47.0
  • PyTorch: 2.5.1+cu121
  • Accelerate: 1.2.1
  • Datasets: 3.2.0
  • Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}