tanbinh2210/vbpl-bge-m3

SentenceTransformer based on BAAI/bge-m3

This is a sentence-transformers model finetuned from BAAI/bge-m3 on the json dataset. It maps sentences & paragraphs to a 1024-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: BAAI/bge-m3
• Maximum Sequence Length: 400 tokens
• Output Dimensionality: 1024 tokens
• Similarity Function: Cosine Similarity
• Training Dataset:
  • json

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 400, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 1024, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("tanbinh2210/vbpl-bge-m3")
# Run inference
sentences = [
    'Tôi là công dân Việt Nam, tôi cần đáp ứng những điều kiện gì để được công nhận quyền sở hữu nhà ở?',
    ' luật nhà ở, chương ii sở hữu nhà ở, điều 8. điều kiện được công nhận quyền sở hữu nhà ở, khoản 1, nội dung: việt nam 1. tổ chức, hộ gia đình, cá nhân trong nước. 2. người việt nam định cư ở nước ngoài. 3. tổ chức, cá nhân nước ngoài quy định tại khoản 1 điều 159 của luật này. điều 8. điều kiện được công nhận quyền sở hữu nhà ở 1. tổ chức, hộ gia đình, cá nhân trong nước; đối với người việt nam định cư ở nước ngoài thì phải được phép nhập cảnh vào việt nam; đối với tổ chức, cá nhân nước ngoài thì phải có đủ điều kiện quy định tại điều 160 của luật này. 2. có nhà ở hợp pháp thông qua các hình thức sau đây: a)\xa0 đối với tổ chức, hộ gia đình, cá nhân trong nước thì thông qua hình thức đầu tư xây dựng, mua, thuê mua, nhận tặng cho, nhận thừa kế, nhận góp vốn, nhận đổi nhà ở và các hình thức khác theo quy định của pháp luật;',
    ' luật kế toán _____, chương i những quy định chung, điều 2. đối tượng áp dụng, khoản 10, nội dung: tại việt nam. 5. hợp tác xã, liên hiệp hợp tác xã. 6. hộ kinh doanh, tổ hợp tác. 7. người làm công tác kế toán. 8. kế toán viên hành nghề; doanh nghiệp và hộ kinh doanh dịch vụ kế toán. 9. tổ chức nghề nghiệp về kế toán. 10. cơ quan, tổ chức, cá nhân khác có liên quan đến kế toán và hoạt động kinh doanh dịch vụ kế toán tại việt nam. điều 3. giải thích từ ngữ  trong luật này, các từ ngữ dưới đây được hiểu như sau: 1. báo cáo tài chính là hệ thống thông tin kinh tế, tài chính của đơn vị kế toán được trình bày theo biểu mẫu quy định tại chuẩn mực kế toán và chế độ kế toán. 2. chế độ kế toán là những quy định và hướng dẫn về kế toán trong một lĩnh vực hoặc một số công việc cụ thể do cơ quan quản lý nhà nước về kế toán hoặc tổ chức được cơ quan quản lý nhà nước về kế toán ủy quyền ban hành. 3. chứng từ kế toán là những giấy tờ và vật mang tin phản ánh nghiệp vụ kinh tế, tài chính phát sinh và đã hoàn thành, làm căn cứ ghi sổ kế toán.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 1024]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

json

• Dataset: json
• Size: 38,845 training samples
• Columns: query and pos
• Approximate statistics based on the first 1000 samples:

  	query	pos
  type	string	string
  details	min: 13 tokens mean: 27.75 tokens max: 63 tokens	min: 112 tokens mean: 289.32 tokens max: 400 tokens

• Samples:

  query	pos
  Pháp luật quy định tỷ lệ đại diện của phụ nữ trong Quốc hội là bao nhiêu?	luật bầu cử đại biểu quốc hội và đại biểu hội đồng nhân dân, chương ii dự kiến cơ cấu, thành phần và phân bổ đại biểu quốc hội, đại biểu hội đồng nhân dân; đơn vị bầu cử và khu vực bỏ phiếu, điều 8. dự kiến cơ cấu, thành phần những người được giới thiệu ứng cử đại biểu quốc hội, khoản 2, nội dung: chính trị-xã hội, tổ chức xã hội, lực lượng vũ trang nhân dân, cơ quan nhà nước ở trung ương và địa phương được giới thiệu ứng cử đại biểu quốc hội để bảo đảm tỷ lệ đại diện hợp lý của các tầng lớp nhân dân trong quốc hội. 2. số lượng người dân tộc thiểu số được giới thiệu ứng cử đại biểu quốc hội do ủy ban thường vụ quốc hội dự kiến trên cơ sở đề nghị của hội đồng dân tộc của quốc hội, bảo đảm có ít nhất mười tám phần trăm tổng số người trong danh sách chính thức những người ứng cử đại biểu quốc hội là người dân tộc thiểu số. 3. số lượng phụ nữ được giới thiệu ứng cử đại biểu quốc hội do ủy ban thường vụ quốc hội dự kiến trên cơ sở đề nghị của đoàn chủ tịch ban chấp hành trung ương hội liên hiệp phụ nữ việt nam, bảo đảm có ít nhất ba mươi lăm phần trăm tổng số người trong danh sách chính thức những người ứng cử đại biểu quốc hội là phụ nữ.
  Làm thế nào để trích xuất phạm nhân để phục vụ điều tra, truy tố, xét xử?	luật thi hành án hình sự, chương iii thi hành án phạt tù mục 1 thủ tục thi hành án phạt tù và chế độ quản lý giam giữ, giáo dục phạm nhân, điều 40. thực hiện trích xuất phạm nhân, tiêu đề: cơ quan thi hành án hình sự công an cấp huyện phải làm thủ tục trả tự do cho người được miễn chấp hành án và báo cáo kết quả cho cơ quan quản lý thi hành án hình sự hoặc cơ quan thi hành án hình sự cấp trên. điều 40. thực hiện trích xuất phạm nhân 1. cơ quan, người có thẩm quyền tiến hành tố tụng khi có yêu cầu trích xuất phạm nhân phải gửi văn bản yêu cầu cho cơ quan quản lý thi hành án hình sự, cơ quan thi hành án hình sự công an cấp tỉnh, cơ quan thi hành án hình sự cấp quân khu nơi cơ quan, người có thẩm quyền tiến hành tố tụng có yêu cầu trích xuất để yêu cầu người có thẩm quyền quy định tại khoản 2 điều này ra lệnh trích xuất. khi nhận được yêu cầu trích xuất phạm nhân, người có thẩm quyền phải ra lệnh trích xuất. 2. thẩm quyền trích xuất phạm nhân để phục vụ điều tra, truy tố, xét xử được thực hiện như sau: a) thủ trưởng cơ quan quản lý thi hành án hình sự thuộc bộ công an ra lệnh trích xuất đối với phạm nhân đang chấp hành án tại trại giam, trại tạm giam thuộc bộ công an;
  Bộ Xây dựng quy định những đối tượng nào được hỗ trợ về nhà ở xã hội?	luật nhà ở, chương iv chính sách về nhà ở xã hội mục 1 những quy định chung, điều 49. đối tượng được hưởng chính sách hỗ trợ về nhà ở xã hội, khoản 8, nội dung: nghiệp vụ, hạ sĩ quan chuyên môn kỹ thuật, quân nhân chuyên nghiệp, công nhân trong cơ quan, đơn vị thuộc công an nhân dân và quân đội nhân dân; 7. cán bộ, công chức, viên chức theo quy định của pháp luật về cán bộ, công chức, viên chức; 8. các đối tượng đã trả lại nhà ở công vụ theo quy định tại khoản 5 điều 81 của luật này; 9. học sinh, sinh viên các học viện, trường đại học, cao đẳng, dạy nghề; học sinh trường dân tộc nội trú công lập được sử dụng nhà ở trong thời gian học tập; 10. hộ gia đình, cá nhân thuộc diện bị thu hồi đất và phải giải tỏa, phá dỡ nhà ở theo quy định của pháp luật mà chưa được nhà nước bồi thường bằng nhà ở, đất ở. điều 50. hình thức thực hiện chính sách hỗ trợ về nhà ở xã hội 1. hỗ trợ giải quyết cho thuê, cho thuê mua, bán nhà ở xã hội cho các đối tượng quy định tại các khoản 1, 4, 5, 6, 7, 8 và 10 điều 49 của luật này; đối với đối tượng quy định tại khoản 9 điều 49 của luật này thì chỉ được thuê nhà ở xã hội.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

json

• Dataset: json
• Size: 38,845 evaluation samples
• Columns: query and pos
• Approximate statistics based on the first 1000 samples:

  	query	pos
  type	string	string
  details	min: 12 tokens mean: 27.8 tokens max: 63 tokens	min: 112 tokens mean: 289.41 tokens max: 400 tokens

• Samples:

  query	pos
  Pháp luật quy định như thế nào về việc tác động vào thời tiết khi không được cơ quan nhà nước có thẩm quyền phê duyệt kế hoạch tác động vào thời tiết?	luật khí tượng thủy văn ____________, chương i quy định chung, điều 8. những hành vi bị nghiêm cấm, khoản 11, nội dung: vi phạm quy chuẩn kỹ thuật, quy trình chuyên môn trong hoạt động khí tượng thủy văn. 10. tác động vào thời tiết khi không được cơ quan nhà nước có thẩm quyền phê duyệt kế hoạch tác động vào thời tiết hoặc trái với kế hoạch được phê duyệt. 11. che giấu, không cung cấp hoặc cố ý cung cấp sai lệch, không đầy đủ, không kịp thời thông tin, dữ liệu khí tượng thủy văn. 12. làm trái quy định về truyền, phát tin dự báo, cảnh báo khí tượng thủy văn. 13. lợi dụng chức vụ, quyền hạn hoặc vượt quá quyền hạn của người có thẩm quyền để làm trái quy định của pháp luật về khí tượng thủy văn. 14. lợi dụng hoạt động hợp tác quốc tế về khí tượng thủy văn, giám sát biến đổi khí hậu để thực hiện hành vi vi phạm pháp luật. chương ii quản lý, khai thác mạng lưới trạm khí tượng thủy văn điều 9. nội dung quản lý, khai thác mạng lưới trạm khí tượng thủy văn 1. xây dựng quy hoạch, kế hoạch phát triển mạng lưới trạm khí tượng thủy văn. 2. quan trắc khí tượng thủy văn. 3. điều tra, khảo sát khí tượng thủy văn. 4. quản lý, bảo vệ công trình khí tượng thủy văn. 5. quản lý chất lượng phương tiện đo khí tượng thủy văn.
  Đầu tư xây dựng cảng biển cần phải phù hợp với quy hoạch tổng thể phát triển hệ thống cảng biển như thế nào?	luật sửa đổi, bổ sung một số điều của 37 luật có liên quan đến quy hoạch, điều 2. sửa đổi, bổ sung một số điều của bộ luật hàng hải việt nam, khoản 5, điểm a: và hướng dẫn, kiểm tra thực hiện quy hoạch phát triển hệ thống cảng cạn đã được phê duyệt theo quy định của pháp luật về quy hoạch và pháp luật về hàng hải. 5. bộ, cơ quan ngang bộ và ủy ban nhân dân cấp tỉnh có trách nhiệm: a) phối hợp với bộ giao thông vận tải tổ chức quản lý thực hiện quy hoạch phát triển hệ thống cảng cạn theo quy định của bộ luật này và quy định khác của pháp luật có liên quan; b) bảo đảm quỹ đất để xây dựng phát triển cảng cạn theo quy hoạch phát triển hệ thống cảng cạn đã được phê duyệt. 6. chính phủ quy định chi tiết việc lập, thẩm định, phê duyệt, công bố, thực hiện, đánh giá và điều chỉnh quy hoạch phát triển hệ thống cảng cạn.”. 7. sửa đổi, bổ sung khoản 1 điều 83 như sau: “1. đầu tư xây dựng cảng biển, luồng hàng hải phải phù hợp với quy hoạch tổng thể phát triển hệ thống cảng biển, quy hoạch chi tiết nhóm cảng biển, bến cảng, cầu cảng, bến phao, khu nước, vùng nước, quy hoạch chi tiết phát triển vùng đất, vùng nước cảng biển theo quy định của bộ luật này, quy định của pháp luật về đầu tư, xây dựng và quy định khác của pháp luật có liên quan.”.
  Thân nhân của người tham gia bảo hiểm xã hội cần phải làm gì và trong thời hạn bao lâu để được hưởng trợ cấp tuất hằng tháng khi người tham gia bảo hiểm xã hội chết?	luật bảo hiểm xã hội, điều 67. các trường hợp hưởng trợ cấp tuất hằng tháng, khoản 3, nội dung: người tham gia bảo hiểm xã hội đang có nghĩa vụ nuôi dưỡng theo quy định của pháp luật về hôn nhân và gia đình nếu dưới 60 tuổi đối với nam, dưới 55 tuổi đối với nữ và bị suy giảm khả năng lao động từ 81% trở lên. 3. thân nhân quy định tại các điểm b, c và d khoản 2 điều này phải không có thu nhập hoặc có thu nhập hằng tháng nhưng thấp hơn mức lương cơ sở. thu nhập theo quy định tại luật này không bao gồm khoản trợ cấp theo quy định của pháp luật về ưu đãi người có công. 4. thời hạn đề nghị khám giám định mức suy giảm khả năng lao động để hưởng trợ cấp tuất hằng tháng như sau: a) trong thời hạn 04 tháng kể từ ngày người tham gia bảo hiểm xã hội chết thì thân nhân có nguyện vọng phải nộp đơn đề nghị; b) trong thời hạn 04 tháng trước hoặc sau thời điểm thân nhân quy định tại điểm a khoản 2 điều này hết thời hạn hưởng trợ cấp theo quy định thì thân nhân có nguyện vọng phải nộp đơn đề nghị. điều 68. mức trợ cấp tuất hằng tháng

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• overwrite_output_dir: True
• per_device_train_batch_size: 6
• per_device_eval_batch_size: 6
• learning_rate: 1e-05
• num_train_epochs: 9
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: True
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 6
• per_device_eval_batch_size: 6
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 9
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• eval_use_gather_object: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0193	100	0.0493
0.0386	200	0.0329
0.0579	300	0.0231
0.0772	400	0.0109
0.0965	500	0.0115
0.1158	600	0.0042
0.1351	700	0.0074
0.1544	800	0.0027
0.1737	900	0.0061
0.1931	1000	0.0034
0.2124	1100	0.0062
0.2317	1200	0.0041
0.2510	1300	0.0032
0.2703	1400	0.0044
0.2896	1500	0.0076
0.3089	1600	0.0062
0.3282	1700	0.002
0.3475	1800	0.0007
0.3668	1900	0.0058
0.3861	2000	0.0018
0.4054	2100	0.0039
0.4247	2200	0.0076
0.4440	2300	0.0046
0.4633	2400	0.0026
0.4826	2500	0.0024
0.5019	2600	0.01
0.5212	2700	0.0025
0.5405	2800	0.0033
0.5598	2900	0.003
0.5792	3000	0.0054
0.5985	3100	0.0039
0.6178	3200	0.0024
0.6371	3300	0.0013
0.6564	3400	0.0068
0.6757	3500	0.0034
0.6950	3600	0.0116
0.7143	3700	0.0055
0.7336	3800	0.0048
0.7529	3900	0.0078
0.7722	4000	0.0029
0.7915	4100	0.0024
0.8108	4200	0.0081
0.8301	4300	0.0085
0.8494	4400	0.004
0.8687	4500	0.0072
0.8880	4600	0.0087
0.9073	4700	0.0068
0.9266	4800	0.0037
0.9459	4900	0.007
0.9653	5000	0.0035
0.9846	5100	0.0035
1.0039	5200	0.0067
1.0232	5300	0.0055
1.0425	5400	0.0122
1.0618	5500	0.0104
1.0811	5600	0.0043
1.1004	5700	0.0058
1.1197	5800	0.0017
1.1390	5900	0.0057
1.1583	6000	0.0016
1.1776	6100	0.0038
1.1969	6200	0.003
1.2162	6300	0.0047
1.2355	6400	0.0044
1.2548	6500	0.0013
1.2741	6600	0.0049
1.2934	6700	0.0025
1.3127	6800	0.0039
1.3320	6900	0.0019
1.3514	7000	0.0008
1.3707	7100	0.0048
1.3900	7200	0.0012
1.4093	7300	0.0024
1.4286	7400	0.004
1.4479	7500	0.0034
1.4672	7600	0.0007
1.4865	7700	0.0007
1.5058	7800	0.003
1.5251	7900	0.0009
1.5444	8000	0.0008
1.5637	8100	0.0012
1.5830	8200	0.0012
1.6023	8300	0.0012
1.6216	8400	0.0004
1.6409	8500	0.0004
1.6602	8600	0.0036
1.6795	8700	0.0007
1.6988	8800	0.0023
1.7181	8900	0.0011
1.7375	9000	0.0037
1.7568	9100	0.0003
1.7761	9200	0.0007
1.7954	9300	0.0005
1.8147	9400	0.0013
1.8340	9500	0.0007
1.8533	9600	0.0008
1.8726	9700	0.0005
1.8919	9800	0.0012
1.9112	9900	0.0009
1.9305	10000	0.0007
1.9498	10100	0.0006
1.9691	10200	0.0008
1.9884	10300	0.0003
2.0077	10400	0.0014
2.0270	10500	0.0009
2.0463	10600	0.0015
2.0656	10700	0.0061
2.0849	10800	0.0004
2.1042	10900	0.0013
2.1236	11000	0.0006
2.1429	11100	0.0007
2.1622	11200	0.0002
2.1815	11300	0.0028
2.2008	11400	0.0017
2.2201	11500	0.0006
2.2394	11600	0.0021
2.2587	11700	0.0021
2.2780	11800	0.0005
2.2973	11900	0.0009
2.3166	12000	0.0007
2.3359	12100	0.0003
2.3552	12200	0.0002
2.3745	12300	0.0019
2.3938	12400	0.0002
2.4131	12500	0.0029
2.4324	12600	0.0003
2.4517	12700	0.0008
2.4710	12800	0.0002
2.4903	12900	0.0009
2.5097	13000	0.0001
2.5290	13100	0.0006
2.5483	13200	0.0006
2.5676	13300	0.0004
2.5869	13400	0.0004
2.6062	13500	0.0002
2.6255	13600	0.0001
2.6448	13700	0.0005
2.6641	13800	0.0016
2.6834	13900	0.0003
2.7027	14000	0.0009
2.7220	14100	0.0003
2.7413	14200	0.0015
2.7606	14300	0.0003
2.7799	14400	0.0002
2.7992	14500	0.0002
2.8185	14600	0.0003
2.8378	14700	0.0002
2.8571	14800	0.0002
2.8764	14900	0.0004
2.8958	15000	0.0004
2.9151	15100	0.0003
2.9344	15200	0.0002
2.9537	15300	0.0002
2.9730	15400	0.0002
2.9923	15500	0.0004
3.0116	15600	0.0003
3.0309	15700	0.0007
3.0502	15800	0.0003
3.0695	15900	0.0002
3.0888	16000	0.0008
3.1081	16100	0.0002
3.1274	16200	0.0001
3.1467	16300	0.0001
3.1660	16400	0.0011
3.1853	16500	0.0003
3.2046	16600	0.0009
3.2239	16700	0.0022
3.2432	16800	0.0001
3.2625	16900	0.0014
3.2819	17000	0.0002
3.3012	17100	0.0002
3.3205	17200	0.0006
3.3398	17300	0.0001
3.3591	17400	0.0001
3.3784	17500	0.0024
3.3977	17600	0.0002
3.4170	17700	0.001
3.4363	17800	0.0001
3.4556	17900	0.0001
3.4749	18000	0.0001
3.4942	18100	0.0001
3.5135	18200	0.0002
3.5328	18300	0.0002
3.5521	18400	0.0001
3.5714	18500	0.0003
3.5907	18600	0.0001
3.6100	18700	0.0001
3.6293	18800	0.0001
3.6486	18900	0.0001
3.6680	19000	0.0003
3.6873	19100	0.0001
3.7066	19200	0.0001
3.7259	19300	0.0001
3.7452	19400	0.0007
3.7645	19500	0.0002
3.7838	19600	0.0001
3.8031	19700	0.0001
3.8224	19800	0.0001
3.8417	19900	0.0001
3.8610	20000	0.0001
3.8803	20100	0.0002
3.8996	20200	0.0001
3.9189	20300	0.0001
3.9382	20400	0.0001
3.9575	20500	0.0002
3.9768	20600	0.0002
3.9961	20700	0.0009
4.0154	20800	0.0003
4.0347	20900	0.0001
4.0541	21000	0.0001
4.0734	21100	0.0001
4.0927	21200	0.0001
4.1120	21300	0.0002
4.1313	21400	0.0001
4.1506	21500	0.0001
4.1699	21600	0.0009
4.1892	21700	0.0001
4.2085	21800	0.0001
4.2278	21900	0.0011
4.2471	22000	0.0004
4.2664	22100	0.0016
4.2857	22200	0.0001
4.3050	22300	0.0001
4.3243	22400	0.0001
4.3436	22500	0.0001
4.3629	22600	0.0001
4.3822	22700	0.0016
4.4015	22800	0.0013
4.4208	22900	0.0002
4.4402	23000	0.0002
4.4595	23100	0.0001
4.4788	23200	0.0001
4.4981	23300	0.0002
4.5174	23400	0.0001
4.5367	23500	0.0001
4.5560	23600	0.0001
4.5753	23700	0.0001
4.5946	23800	0.0001
4.6139	23900	0.0001
4.6332	24000	0.0001
4.6525	24100	0.0001
4.6718	24200	0.0002
4.6911	24300	0.0001
4.7104	24400	0.0001
4.7297	24500	0.0001
4.7490	24600	0.0005
4.7683	24700	0.0001
4.7876	24800	0.0001
4.8069	24900	0.0001
4.8263	25000	0.0001
4.8456	25100	0.0
4.8649	25200	0.0
4.8842	25300	0.0001
4.9035	25400	0.0001
4.9228	25500	0.0
4.9421	25600	0.0001
4.9614	25700	0.0001
4.9807	25800	0.0
5.0	25900	0.0
5.0193	26000	0.0001
5.0386	26100	0.0
5.0579	26200	0.0
5.0772	26300	0.0
5.0965	26400	0.0
5.1158	26500	0.0
5.1351	26600	0.0001
5.1544	26700	0.0
5.1737	26800	0.001
5.1931	26900	0.0
5.2124	27000	0.0
5.2317	27100	0.0004
5.2510	27200	0.0001
5.2703	27300	0.0001
5.2896	27400	0.0
5.3089	27500	0.0
5.3282	27600	0.0
5.3475	27700	0.0
5.3668	27800	0.0019
5.3861	27900	0.0001
5.4054	28000	0.0001
5.4247	28100	0.0005
5.4440	28200	0.0001
5.4633	28300	0.0
5.4826	28400	0.0
5.5019	28500	0.0
5.5212	28600	0.0
5.5405	28700	0.0
5.5598	28800	0.0
5.5792	28900	0.0001
5.5985	29000	0.0
5.6178	29100	0.0
5.6371	29200	0.0
5.6564	29300	0.0001
5.6757	29400	0.0
5.6950	29500	0.0
5.7143	29600	0.0
5.7336	29700	0.0
5.7529	29800	0.0
5.7722	29900	0.0
5.7915	30000	0.0
5.8108	30100	0.0
5.8301	30200	0.0
5.8494	30300	0.0
5.8687	30400	0.0
5.8880	30500	0.0
5.9073	30600	0.0004
5.9266	30700	0.0
5.9459	30800	0.0
5.9653	30900	0.0
5.9846	31000	0.0
6.0039	31100	0.0
6.0232	31200	0.0
6.0425	31300	0.0
6.0618	31400	0.0
6.0811	31500	0.0
6.1004	31600	0.0
6.1197	31700	0.0
6.1390	31800	0.0
6.1583	31900	0.0
6.1776	32000	0.0003
6.1969	32100	0.0
6.2162	32200	0.0
6.2355	32300	0.0002
6.2548	32400	0.0
6.2741	32500	0.0014
6.2934	32600	0.0
6.3127	32700	0.0
6.3320	32800	0.0
6.3514	32900	0.0
6.3707	33000	0.004
6.3900	33100	0.0
6.4093	33200	0.0
6.4286	33300	0.0
6.4479	33400	0.0
6.4672	33500	0.0
6.4865	33600	0.0
6.5058	33700	0.0001
6.5251	33800	0.0
6.5444	33900	0.0002
6.5637	34000	0.0
6.5830	34100	0.0
6.6023	34200	0.0
6.6216	34300	0.0
6.6409	34400	0.0
6.6602	34500	0.0
6.6795	34600	0.0
6.6988	34700	0.0
6.7181	34800	0.0
6.7375	34900	0.0
6.7568	35000	0.0
6.7761	35100	0.0
6.7954	35200	0.0
6.8147	35300	0.0001
6.8340	35400	0.0
6.8533	35500	0.0
6.8726	35600	0.0
6.8919	35700	0.0
6.9112	35800	0.0
6.9305	35900	0.0
6.9498	36000	0.0
6.9691	36100	0.0
6.9884	36200	0.0
7.0077	36300	0.0
7.0270	36400	0.0
7.0463	36500	0.0
7.0656	36600	0.0
7.0849	36700	0.0
7.1042	36800	0.0
7.1236	36900	0.0
7.1429	37000	0.0
7.1622	37100	0.0
7.1815	37200	0.0004
7.2008	37300	0.0
7.2201	37400	0.0
7.2394	37500	0.0
7.2587	37600	0.001
7.2780	37700	0.0
7.2973	37800	0.0
7.3166	37900	0.0
7.3359	38000	0.0
7.3552	38100	0.0
7.3745	38200	0.0031
7.3938	38300	0.0
7.4131	38400	0.0
7.4324	38500	0.0
7.4517	38600	0.0
7.4710	38700	0.0
7.4903	38800	0.0
7.5097	38900	0.0
7.5290	39000	0.0
7.5483	39100	0.0
7.5676	39200	0.0
7.5869	39300	0.0
7.6062	39400	0.0
7.6255	39500	0.0
7.6448	39600	0.0
7.6641	39700	0.0
7.6834	39800	0.0
7.7027	39900	0.0
7.7220	40000	0.0
7.7413	40100	0.0
7.7606	40200	0.0
7.7799	40300	0.0
7.7992	40400	0.0
7.8185	40500	0.0
7.8378	40600	0.0
7.8571	40700	0.0
7.8764	40800	0.0
7.8958	40900	0.0
7.9151	41000	0.0
7.9344	41100	0.0
7.9537	41200	0.0
7.9730	41300	0.0
7.9923	41400	0.0
8.0116	41500	0.0
8.0309	41600	0.0
8.0502	41700	0.0
8.0695	41800	0.0
8.0888	41900	0.0
8.1081	42000	0.0
8.1274	42100	0.0
8.1467	42200	0.0
8.1660	42300	0.0
8.1853	42400	0.0
8.2046	42500	0.0
8.2239	42600	0.0
8.2432	42700	0.0
8.2625	42800	0.0006
8.2819	42900	0.0
8.3012	43000	0.0
8.3205	43100	0.0
8.3398	43200	0.0
8.3591	43300	0.0
8.3784	43400	0.0031
8.3977	43500	0.0
8.4170	43600	0.0
8.4363	43700	0.0
8.4556	43800	0.0
8.4749	43900	0.0
8.4942	44000	0.0
8.5135	44100	0.0
8.5328	44200	0.0
8.5521	44300	0.0
8.5714	44400	0.0
8.5907	44500	0.0
8.6100	44600	0.0
8.6293	44700	0.0
8.6486	44800	0.0
8.6680	44900	0.0
8.6873	45000	0.0
8.7066	45100	0.0
8.7259	45200	0.0
8.7452	45300	0.0
8.7645	45400	0.0
8.7838	45500	0.0
8.8031	45600	0.0
8.8224	45700	0.0
8.8417	45800	0.0
8.8610	45900	0.0
8.8803	46000	0.0
8.8996	46100	0.0
8.9189	46200	0.0
8.9382	46300	0.0
8.9575	46400	0.0
8.9768	46500	0.0
8.9961	46600	0.0

Framework Versions

• Python: 3.10.14
• Sentence Transformers: 3.1.1
• Transformers: 4.44.2
• PyTorch: 2.4.0
• Accelerate: 0.34.2
• Datasets: 3.0.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}