htdht/e5_base_finetuned_mnrl_v2

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-base
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'mean', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'query: bàn phím bluetooth màu đen',
    'passage: Bàn Phím Bluetooth Keychron B1P-K9 Pro Trải nghiệm sự kết hợp hoàn hảo giữa công nghệ và thiết kế với Bàn Phím Bluetooth Keychron B1P-K9 Pro chính hãng. Phiên bản màu đen mạnh mẽ, sang trọng, dễ dàng hòa hợp với mọi không gian làm việc, từ văn phòng đến gaming setup. Khả năng kết nối Bluetooth ổn định mang đến sự tiện lợi tối đa, giúp bạn làm việc linh hoạt trên nhiều thiết bị mà không bị giới hạn bởi dây cáp. Keychron B1P-K9 Pro được chế tác từ vật liệu cao cấp, đảm bảo độ bền bỉ và mang lại cảm giác gõ phím êm ái, chính xác, đáp ứng mọi nhu cầu sử dụng. Cam kết giao hàng miễn phí toàn quốc trong 1 giờ và 1 đổi 1 trong tháng đầu tiên nếu sản phẩm lỗi.',
    'passage: Áo Bra Nữ 2XU Ribbed Longline - Xanh Dương Áo Bra Nữ 2XU Ribbed Longline màu xanh dương mang đến sự kết hợp hoàn hảo giữa phong cách và hiệu suất cho phái đẹp. Với thiết kế gân sọc và dáng longline, áo không chỉ thời trang mà còn cung cấp độ che phủ và hỗ trợ tốt trong quá trình tập luyện. Sản phẩm có sẵn đa dạng kích cỡ từ XS đến XL, đảm bảo vừa vặn với nhiều vóc dáng. Đây là sản phẩm chính hãng từ 2XU, cam kết chất lượng cao, giúp bạn tự tin và thoải mái chinh phục mọi thử thách thể thao.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 0.7873, 0.0174],
#         [0.7873, 1.0000, 0.0220],
#         [0.0174, 0.0220, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 36,389 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 100 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  modality	text	text
  details	min: 8 tokens mean: 10.49 tokens max: 17 tokens	min: 123 tokens mean: 168.17 tokens max: 225 tokens	min: 1.0 mean: 1.0 max: 1.0

• Samples:

  sentence_0	sentence_1	label
  query: bánh dẻo	passage: Bánh Mochi Sachi Vị Cam Gói 200G Thưởng thức hương vị tươi mát của Bánh Mochi Sachi Vị Cam 200G, món quà ngọt ngào từ Nhật Bản. Bánh mochi dẻo thơm, dai dai, quyện cùng nhân cam chua ngọt dịu dàng, mang đến trải nghiệm ẩm thực độc đáo. Sản phẩm được làm từ maltose, đường, gạo nếp, dầu cọ và hương cam tự nhiên, an toàn cho sức khỏe. Ngon hơn khi thưởng thức lạnh, bánh mochi Sachi là lựa chọn hoàn hảo cho bữa tráng miệng hoặc món ăn vặt. Bảo quản nơi khô ráo, tránh ánh nắng và nhiệt độ cao.	1.0
  query: ốp lưng pc tpu cho iphone 14 pro max	passage: Ốp lưng iPhone 14 Pro Max PC TPU DEKEY Crystal case Mang đến sự bảo vệ toàn diện và vẻ ngoài tinh tế cho iPhone 14 Pro Max với ốp lưng DEKEY Crystal case. Chất liệu PC và TPU cao cấp được sử dụng để tạo nên một sản phẩm vừa cứng cáp, vừa có khả năng đàn hồi, giúp chống lại các tác động mạnh từ bên ngoài. Thiết kế Crystal case trong suốt cho phép bạn khoe trọn vẻ đẹp của chiếc điện thoại, đồng thời công nghệ chống ố vàng tiên tiến giúp duy trì sự sáng bóng theo thời gian. Màu trắng trang nhã, ốp lưng ôm vừa vặn, không làm tăng thêm độ dày cho máy, mang lại cảm giác cầm nắm thoải mái. DEKEY Crystal case là sự đầu tư xứng đáng cho dế yêu của bạn.	1.0
  query: tay cầm chơi game machenike trắng	passage: Tay cầm chơi game Machenike Trắng G3s Nâng tầm trải nghiệm chơi game của bạn với Tay cầm chơi game Machenike Trắng G3s chính hãng. Thiết kế tinh tế màu trắng, mang đến cảm giác cầm nắm thoải mái và thao tác chính xác. Sản phẩm là lựa chọn lý tưởng cho các game thủ yêu thích sự gọn nhẹ và hiệu năng ổn định. Tận hưởng những giờ phút giải trí đỉnh cao với tay cầm Machenike G3s, được bảo hành trên toàn quốc. Mua ngay để nhận ưu đãi hấp dẫn, giao hàng nhanh chóng và thanh toán tiện lợi tại nhà.	1.0

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false,
      "directions": [
          "query_to_doc"
      ],
      "partition_mode": "joint",
      "hardness_mode": null,
      "hardness_strength": 0.0
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• num_train_epochs: 2
• per_device_eval_batch_size: 16
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• per_device_train_batch_size: 16
• num_train_epochs: 2
• max_steps: -1
• learning_rate: 5e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0
• optim: adamw_torch_fused
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1
• label_smoothing_factor: 0.0
• bf16: False
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: None
• trackio_bucket_id: None
• trackio_static_space_id: None
• per_device_eval_batch_size: 16
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_static_graph: None
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: None
• fsdp_config: None
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss
0.2198	500	0.1259
0.4396	1000	0.0963
0.6593	1500	0.0894
0.8791	2000	0.0811
1.0989	2500	0.0787
1.3187	3000	0.0606
1.5385	3500	0.0663
1.7582	4000	0.0657
1.9780	4500	0.0640

Training Time

• Training: 1.0 hours

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.6.0
• Transformers: 5.12.1
• PyTorch: 2.11.0+cu128
• Accelerate: 1.14.0
• Datasets: 4.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{oord2019representationlearningcontrastivepredictive,
      title={Representation Learning with Contrastive Predictive Coding},
      author={Aaron van den Oord and Yazhe Li and Oriol Vinyals},
      year={2019},
      eprint={1807.03748},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/1807.03748},
}