htdht/e5_base_finetuned_v6

SentenceTransformer

This is a sentence-transformers model trained. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for retrieval.

Model Details

Model Description

• Model Type: Sentence Transformer
• Maximum Sequence Length: 192 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity
• Supported Modality: Text

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'transformer_task': 'feature-extraction', 'modality_config': {'text': {'method': 'forward', 'method_output_name': 'last_hidden_state'}}, 'module_output_name': 'token_embeddings', 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'embedding_dimension': 768, 'pooling_mode': 'mean', 'include_prompt': True})
  (2): Normalize({})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
queries = [
    'query: thức ăn chó pedigree vị gà',
]
documents = [
    'passage: Thức Ăn Chó Trưởng Thành Pedigree Vị Gà & Rau Củ Túi 1.5Kg Thức Ăn Chó Trưởng Thành Pedigree Vị Gà & Rau Củ Túi 1.5Kg là lựa chọn hoàn hảo để chăm sóc sức khỏe cho chú chó yêu của bạn. Sản phẩm kết hợp hài hòa giữa hương vị gà thơm ngon và rau củ tươi mát, cung cấp nguồn protein thô tối thiểu 18%, béo thô tối thiểu 9% cùng các vitamin và khoáng chất thiết yếu. Công thức đặc biệt giúp hỗ trợ hệ tiêu hóa khỏe mạnh, bộ xương vững chắc và bộ lông óng mượt. Thích hợp cho chó từ 18 tháng tuổi trở lên, sản phẩm đóng gói 1.5kg tiện lợi, dễ dàng bảo quản nơi khô ráo, thoáng mát. Pedigree cam kết mang đến dinh dưỡng tối ưu cho mọi giai đoạn phát triển của chó.',
    'passage: ',
    'passage: Bàn máy tính SD01 Bàn máy tính SD01 của Nội Thất Hòa Phát là sự lựa chọn thông minh cho mọi không gian làm việc. Sản phẩm được chế tác từ sự kết hợp hài hòa giữa gỗ công nghiệp và gỗ tự nhiên, mang lại vẻ đẹp tự nhiên cùng độ bền vượt trội. Thiết kế của bàn SD01 chú trọng đến sự tiện dụng và tính thẩm mỹ, giúp bạn dễ dàng sắp xếp máy tính và các vật dụng cần thiết một cách gọn gàng. Đây là giải pháp lý tưởng cho những ai tìm kiếm một chiếc bàn máy tính bền đẹp, phù hợp với nhiều phong cách nội thất khác nhau, từ hiện đại đến truyền thống.',
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.7672, -0.0050, -0.0058]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 36,389 training samples
• Columns: query, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative
  type	string	string	string
  details	min: 8 tokens mean: 11.23 tokens max: 18 tokens	min: 121 tokens mean: 166.44 tokens max: 192 tokens	min: 4 tokens mean: 147.22 tokens max: 192 tokens

• Samples:

  query	positive	negative
  query: áo phao nữ có mũ	passage: Áo Phao Nữ Mũ Ẩn 4S Plus Giữ ấm và phong cách trong mọi thời tiết với Áo Phao Nữ Mũ Ẩn 4S Plus của YODY. Thiết kế cơ bản với các đường line ngang khỏe khoắn tạo điểm nhấn, kết hợp cùng túi ngực in logo độc đáo, mang lại vẻ ngoài năng động. Mũ áo thông minh được giấu kín trong cổ áo, sẵn sàng bảo vệ bạn khỏi gió lạnh bất chợt. Bo chun ở tay và gấu áo ôm sát cơ thể, ngăn gió lùa hiệu quả, trong khi cổ áo cao giúp giữ ấm tối đa. Chiếc áo phao này là sự lựa chọn hoàn hảo để bạn luôn cảm thấy ấm áp, thoải mái và thời trang trong những ngày se lạnh.	passage: Áo Phao Nữ Trần Trám Nẹp Giấu Khóa Tự tin khoe dáng trong mọi thời tiết với Áo Phao Nữ Trần Trám Nẹp Giấu Khóa từ YODY. Thiết kế trần trám tinh tế tạo nên vẻ ngoài sang trọng và ấm áp. Điểm nhấn đặc biệt nằm ở chi tiết nẹp giấu khóa, mang đến sự liền mạch, gọn gàng cho tổng thể chiếc áo, đồng thời bảo vệ khóa kéo khỏi tác động của thời tiết. Chất liệu phao cao cấp giúp giữ ấm tối ưu, mang lại cảm giác dễ chịu ngay cả trong những ngày lạnh giá nhất. Chiếc áo phao YODY này là sự lựa chọn hoàn hảo cho những cô nàng yêu thích phong cách tối giản nhưng vẫn đảm bảo sự ấm áp và thời trang.
  query: ghế bàn ăn gỗ công nghiệp	passage: Ghế bàn ăn | HVIDOVRE | gỗ công nghiệp/vải polyester | xám nhạt/sồi nhạt | R52xS51xC79cm Ghế bàn ăn HVIDOVRE mang đến vẻ đẹp thanh lịch và sự thoải mái cho không gian phòng ăn của bạn. Với kích thước R52xS51xC79cm, ghế được chế tác từ gỗ công nghiệp bền chắc và bọc vải polyester mềm mại, nổi bật với tông màu xám nhạt và sồi nhạt trang nhã. Sản phẩm không chỉ dễ dàng lắp đặt mà còn thuận tiện trong việc vệ sinh, chỉ cần lau bằng khăn mềm và làm khô ngay khi tiếp xúc với nước. Ghế HVIDOVRE là lựa chọn lý tưởng để tạo nên không gian ăn uống ấm cúng, hiện đại và đầy phong cách cho gia đình bạn.	passage: Ghế Ăn Hc – Da Công Nghiệp Polo11 Ghế Ăn HC – Da Công Nghiệp Polo11 từ Nhà Xinh là lựa chọn lý tưởng để hoàn thiện không gian phòng ăn của bạn, mang đến sự sang trọng và thoải mái. Với thiết kế hiện đại, tinh tế, chiếc ghế này dễ dàng hòa hợp với nhiều phong cách nội thất khác nhau. Bề mặt ghế được bọc da công nghiệp Polo11 cao cấp, không chỉ mềm mại, dễ chịu khi sử dụng mà còn rất bền bỉ và dễ dàng vệ sinh, giúp bạn tiết kiệm thời gian và công sức. Ghế ăn HC không chỉ là nơi để thưởng thức bữa ăn mà còn là điểm nhấn thẩm mỹ, nâng tầm đẳng cấp cho mỗi bữa tiệc gia đình.
  query: bánh bao khoai môn	passage: Bánh Bao Thọ Phát Nhân Khoai Môn 200G Thưởng thức Bánh Bao Thọ Phát Nhân Khoai Môn 200G, cảm nhận vị bùi thơm đặc trưng của khoai môn hòa quyện cùng vỏ bánh mềm mịn. Sản phẩm sử dụng nguyên liệu tự nhiên, an toàn, với thành phần chính là bột mì và khoai môn tươi, kết hợp cùng nước cốt dừa tạo nên lớp nhân dẻo thơm, hấp dẫn. Màu sắc tự nhiên từ chiết xuất quả dành dành và ớt mang đến vẻ ngoài bắt mắt. Bánh bao dễ dàng chế biến chỉ với vài phút hấp cách thủy, là món ăn vặt hoặc bữa sáng tiện lợi. Bảo quản mát hoặc đông lạnh giúp giữ trọn hương vị.	passage: Bánh Quy Khoai Tây Mỏng Giòn No Brand Vị Truyền Thống Túi 340G Thưởng thức Bánh Quy Khoai Tây Mỏng Giòn No Brand Vị Truyền Thống túi 340G, sự lựa chọn tuyệt vời cho những tín đồ yêu thích hương vị khoai tây đậm đà. Sản phẩm xuất xứ Trung Quốc, với thành phần chính gồm bột mì, đường và khoai tây, mang đến lớp bánh mỏng giòn tan, thơm lừng. Túi 340g tiện lợi, phù hợp cho cả gia đình cùng chia sẻ. Bánh cung cấp năng lượng và dinh dưỡng cần thiết cho ngày dài hoạt động. Bảo quản nơi khô ráo, thoáng mát để bánh luôn giữ được độ giòn ngon. Lưu ý sản phẩm có chứa lúa mì, trứng, sulfites và có thể có đậu nành, tôm, mực.

• Loss: GISTEmbedLoss with these parameters:

  {
      "guide": "SentenceTransformer('intfloat/multilingual-e5-base')",
      "temperature": 0.05,
      "margin_strategy": "absolute",
      "margin": 0.0,
      "contrast_anchors": true,
      "contrast_positives": true,
      "gather_across_devices": false
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 3,638 evaluation samples
• Columns: query, positive, and negative
• Approximate statistics based on the first 1000 samples:

  	query	positive	negative
  type	string	string	string
  details	min: 7 tokens mean: 10.52 tokens max: 20 tokens	min: 111 tokens mean: 167.47 tokens max: 192 tokens	min: 4 tokens mean: 140.87 tokens max: 192 tokens

• Samples:

  query	positive	negative
  query: văn phòng phẩm thông minh	passage: Dụng Cụ Lau Bảng Marvy BE02 Dụng cụ lau bảng có nam châm Marvy BE02 là giải pháp lý tưởng cho các loại bảng từ, giúp bạn dễ dàng đính gọn trên bề mặt bảng, tiết kiệm không gian và luôn sẵn sàng sử dụng. Thiết kế thông minh cho cảm giác cầm nắm thoải mái, việc lau chùi bảng trở nên nhanh chóng và hiệu quả hơn bao giờ hết. Sản phẩm đặc biệt hữu ích cho những ai sử dụng bảng từ mà không có khay đựng bút đi kèm, đảm bảo bảng luôn sạch sẽ và ngăn nắp, hỗ trợ tối đa cho công việc và học tập.	passage: Nến Trang Trí Scented Blue L – 87203J Nến Trang Trí Scented Blue L – 87203J của Nhà Xinh là lựa chọn hoàn hảo để tạo điểm nhấn tinh tế và mang lại không gian thư thái cho ngôi nhà của bạn. Với hương thơm dịu nhẹ và thiết kế sang trọng, cây nến này không chỉ là vật trang trí mà còn giúp bạn thư giãn sau những giờ làm việc căng thẳng. Sản phẩm thuộc danh mục nến trang trí, phù hợp với mọi không gian từ phòng khách, phòng ngủ đến phòng làm việc, mang đến vẻ đẹp thanh lịch và ấm cúng. Nến Scented Blue L sẽ là món quà ý nghĩa hoặc vật dụng không thể thiếu để nâng tầm không gian sống.
  query: dầu gội nước hoa nam	passage: Dầu Gội Hương Nước Hoa Romano Classic 650gr Dầu Gội Hương Nước Hoa Romano Classic 650gr mang đến sự nam tính, lịch lãm với hương nước hoa cổ điển đầy cuốn hút. Sản phẩm được nghiên cứu dành riêng cho nam giới, giúp làm sạch tóc và da đầu, loại bỏ gàu và mang lại cảm giác sảng khoái. Tóc sẽ trở nên mềm mượt, chắc khỏe và dễ dàng vào nếp. Dung tích 650gr lớn, tiết kiệm chi phí và tiện lợi cho việc sử dụng lâu dài. Romano Classic là bí quyết giúp phái mạnh luôn tự tin với mái tóc khỏe mạnh và hương thơm quyến rũ suốt cả ngày.	passage: Bàn Học Mẫu Giáo BMG101AN Bàn học mẫu giáo BMG101AN từ Nội thất Hòa Phát là lựa chọn lý tưởng cho không gian học tập của trẻ nhỏ. Sản phẩm được thiết kế đặc biệt theo tiêu chuẩn an toàn, đảm bảo phù hợp với vóc dáng và nhu cầu sử dụng của lứa tuổi mẫu giáo. Với sự chú trọng vào chất lượng và tính năng, chiếc bàn này không chỉ mang lại một không gian học tập thoải mái mà còn góp phần tạo hứng thú cho bé trong mỗi giờ học. Đây là một sản phẩm bền bỉ, dễ dàng vệ sinh, giúp phụ huynh an tâm về môi trường phát triển của con em mình.
  query: món ăn từ heo	passage: Chân Giò Ika Ủ Xì Dầu 250G Chân Giò Ika Ủ Xì Dầu 250G mang đến hương vị đậm đà, thơm lừng của xì dầu quyện cùng thịt chân giò heo tươi ngon. Sản phẩm được chế biến từ 96% chân giò heo, kết hợp cùng các gia vị như muối, đường, xì dầu, mang đến hương vị thơm ngon, hấp dẫn. Bạn có thể thưởng thức trực tiếp bằng cách thái mỏng và ăn kèm tương ớt, hoặc dùng kèm bánh mì, cơm nóng, salad để bữa ăn thêm phần phong phú. Với trọng lượng 250G, sản phẩm rất tiện lợi cho bữa ăn nhanh hoặc làm món nhắm. Bảo quản túi kín nguyên chân không ở nhiệt độ 0-4°C hoặc dưới -18°C.	passage: Khô Cá Đù Xẻ Song Phương Khay 200G Khô Cá Đù Xẻ Song Phương Khay 200G là lựa chọn hoàn hảo cho những tín đồ yêu thích hải sản khô. Được làm từ 100% cá đù sữa tự nhiên, kết hợp cùng muối tinh khiết, miếng cá khô giữ trọn vị ngọt tự nhiên, dai ngon và hương thơm quyến rũ. Sản phẩm đảm bảo vệ sinh an toàn thực phẩm, mang đến món ăn vặt hoặc nguyên liệu chế biến đa dạng. Chỉ cần rửa sạch và chế biến theo sở thích như chiên, kho, rim, bạn sẽ có ngay món ngon đậm đà. Bảo quản tốt nhất trong ngăn đá tủ lạnh.

• Loss: GISTEmbedLoss with these parameters:

  {
      "guide": "SentenceTransformer('intfloat/multilingual-e5-base')",
      "temperature": 0.05,
      "margin_strategy": "absolute",
      "margin": 0.0,
      "contrast_anchors": true,
      "contrast_positives": true,
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• learning_rate: 5e-06
• weight_decay: 0.01
• warmup_steps: 171
• log_level: info
• bf16: True
• dataloader_num_workers: 2
• load_best_model_at_end: True
• resume_from_checkpoint: True
• gradient_checkpointing: True

All Hyperparameters

Click to expand

• do_predict: False
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-06
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_ratio: None
• warmup_steps: 171
• log_level: info
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• enable_jit_checkpoint: False
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• use_cpu: False
• seed: 42
• data_seed: None
• bf16: True
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: -1
• ddp_backend: None
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 2
• dataloader_prefetch_factor: None
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• push_to_hub: False
• resume_from_checkpoint: True
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: True
• gradient_checkpointing_kwargs: None
• include_for_metrics: []
• eval_do_concat_batches: True
• auto_find_batch_size: False
• full_determinism: False
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• use_cache: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss
0.0879	50	0.1225	-
0.1757	100	0.1205	-
0.2636	150	0.1156	-
0.3515	200	0.1102	-
0.4394	250	0.1089	-
0.5272	300	0.1053	-
0.6151	350	0.1049	-
0.7030	400	0.1011	-
0.7909	450	0.1086	-
0.8787	500	0.1003	-
0.9666	550	0.0911	-
1.0	569	-	0.0584
1.0545	600	0.0888	-
1.1424	650	0.0871	-
1.2302	700	0.0887	-
1.3181	750	0.0888	-
1.4060	800	0.0856	-
1.4938	850	0.0823	-
1.5817	900	0.0878	-
1.6696	950	0.0853	-
1.7575	1000	0.0855	-
1.8453	1050	0.0788	-
1.9332	1100	0.0849	-
2.0	1138	-	0.0544
2.0211	1150	0.0819	-
2.1090	1200	0.0768	-
2.1968	1250	0.0824	-
2.2847	1300	0.0756	-
2.3726	1350	0.0768	-
2.4605	1400	0.0836	-
2.5483	1450	0.0814	-
2.6362	1500	0.0798	-
2.7241	1550	0.0774	-
2.8120	1600	0.0885	-
2.8998	1650	0.0784	-
2.9877	1700	0.0841	-
3.0	1707	-	0.0540

Training Time

• Training: 2.8 hours

Framework Versions

• Python: 3.12.13
• Sentence Transformers: 5.4.1
• Transformers: 5.0.0
• PyTorch: 2.10.0+cu128
• Accelerate: 1.13.0
• Datasets: 5.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

GISTEmbedLoss

@misc{solatorio2024gistembed,
    title={GISTEmbed: Guided In-sample Selection of Training Negatives for Text Embedding Fine-tuning},
    author={Aivin V. Solatorio},
    year={2024},
    eprint={2402.16829},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}