TienAn1812/embedding_model_legal

SentenceTransformer based on hiieu/halong_embedding

This is a sentence-transformers model finetuned from hiieu/halong_embedding. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: hiieu/halong_embedding
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Theo nội dung của Công văn số 5115/LĐTBXH-KHTC và Công văn số 284/LĐTBXH-NCC, người có công với cách mạng và con của họ được hưởng những hình thức ưu đãi nào từ nhà nước?',
    '*Source: https://thuvienphapluat.vn/cong-van/Giao-duc/Cong-van-284-LDTBXH-NCC-giai-quyet-che-do-uu-dai-trong-giao-duc-dao-tao-118302.aspx*\n\n# GIẢI QUYẾT CHẾ ĐỘ ƯU ĐÃI TRONG GIÁO DỤC ĐÀO TẠO ĐỐI VỚI NGƯỜI CÓ CÔNG VỚI CÁCH MẠNG VÀ CON CỦA HỌ\n\n| BỘ LAO ĐỘNG - THƯƠNG BINH VÀ XÃ HỘI -------- | CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự do - Hạnh phúc ---------------- |\n|---|---|\n| Số: 284/LĐTBXH-NCC | V/v Giải quyết chế độ ưu đãi trong giáo dục đào tạo đối với người có công với cách mạng và con của họ | Hà Nội, ngày 26 tháng 01 năm 2011 |\n\nKính gửi: Sở Lao động - Thương binh và Xã hội các tỉnh, thành phố trực thuộc trung ương\n\nNgày 15 tháng 11 năm 2010 Liên Bộ Giáo dục và Đào tạo, Bộ Tài chính, Bộ Lao động - Thương binh và Xã hội ban hành Thông tư liên tịch số 29/2010/TTLT-BGDĐT-BTC-BLĐTBXH hướng dẫn thực hiện một số điều của Nghị định số 49/2010/NĐ-CP ngày 14 tháng 5 năm 2010 của Chính phủ qui định về miễn, giảm học phí, hỗ trợ chi phí học tập và cơ chế thu, sử dụng học phí đối với cơ sở giáo dục thuộc hệ thống giáo dục quốc dân từ năm học 2010 - 2011 đến năm học 2014 - 2015, Bộ Lao động - Thương binh và Xã hội hướng dẫn việc thực hiện chế độ ưu đãi trong giáo dục và đào tạo đối với người có công với cách mạng và con của họ như sau:\n\n- Về mức miễn, giảm học phí; trình tự thủ tục và hồ sơ; kinh phí và phương thức chi trả đối với người có công với cách mạng và con của họ đang theo học tại các cơ sở giáo dục thuộc hệ thống giáo dục quốc dân từ năm học 2010 - 2011 đến năm học 2014 -2015 được thực hiện theo qui định tại Thông tư Liên tịch số 29/2010/TTLT-BGDĐT-BTC-BLĐTBXH ngày 15 tháng 11 năm 2010 của Liên Bộ Giáo dục và Đào tạo, Bộ Tài chính, Bộ Lao động - Thương binh và Xã hội.\n\n- Các nội dung khác liên quan đến ưu đãi giáo dục và đào tạo đối với người có công với cách mạng và con của họ vẫn được thực hiện theo qui định của Thông tư Liên tịch số 16/2006/TTLT/BLĐTBXH-BGD-ĐT-BTC./.\n\n|  | KT. BỘ TRƯỞNG THỨ TRƯỞNG Bùi Hồng Lĩnh |\n|---|---|',
    '*Source: https://thuvienphapluat.vn/van-ban/Bo-may-hanh-chinh/Quyet-dinh-1351-QD-UBND-2022-cong-bo-thu-tuc-hanh-chinh-nguoi-co-cong-So-Lao-dong-Quang-Ngai-532735.aspx*\n\n# CÔNG BỐ DANH MỤC THỦ TỤC HÀNH CHÍNH ĐƯỢC CHUẨN HÓA VÀ PHÊ DUYỆT QUY TRÌNH NỘI BỘ GIẢI QUYẾT THỦ TỤC HÀNH CHÍNH TRONG LĨNH VỰC NGƯỜI CÓ CÔNG THUỘC THẨM QUYỀN GIẢI QUYẾT CỦA SỞ LAO ĐỘNG - THƯƠNG BINH VÀ XÃ HỘI, UBND CẤP HUYỆN VÀ UBND CẤP XÃ TRÊN ĐỊA BÀN TỈNH QUẢNG NGÃI\n\n| ỦY BAN NHÂN DÂN TỈNH QUẢNG NGÃI ------- | CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự do - Hạnh phúc --------------- |\n|---|---|\n| Số: 1351/QĐ-UBND | Qu ả ng Ngãi, ngày 04 tháng 10 năm 2022 |\n\nQUYẾT ĐỊNH\n\nCÔNG BỐ DANH MỤC THỦ TỤC HÀNH CHÍNH ĐƯỢC CHUẨN HÓA VÀ PHÊ DUYỆT QUY TRÌNH NỘI BỘ GIẢI QUYẾT THỦ TỤC HÀNH CHÍNH TRONG LĨNH VỰC NGƯỜI CÓ CÔNG THUỘC THẨM QUYỀN GIẢI QUYẾT CỦA SỞ LAO ĐỘNG - THƯƠNG BINH VÀ XÃ HỘI, UBND CẤP HUYỆN VÀ UBND CẤP XÃ TRÊN ĐỊA BÀN TỈNH QUẢNG NGÃI\n\nCHỦ TỊCH ỦY BAN NHÂN DÂN TỈNH QUẢNG NGÃI\n\nCăn cứ Luật Tổ chức chính quyền địa phương ngày 19/6/2015; Luật sửa đổi, bổ sung một số điều của Luật Tổ chức Chính phủ và Luật Tổ chức chính quyền địa phương ngày 22/11/2019;\n\nCăn cứ Nghị định số 63/2010/NĐ-CP ngày 08/6/2010 của Chính phủ về kiểm soát thủ tục hành chính; Nghị định số 48/2013/NĐ-CP ngày 14/5/2013 của Chính phủ sửa đổi, bổ sung một số điều của các Nghị định liên quan đến kiểm soát thủ tục hành chính; Nghị định số 92/2017/NĐ-CP ngày 07/8/2017 của Chính phủ sửa đổi, bổ sung một số điều của các nghị định liên quan đến kiểm soát thủ tục hành chính;\n\nCăn cứ Nghị định số 61/2018/NĐ-CP ngày 23/4/2018 của Chính phủ về thực hiện cơ chế một cửa, một cửa liên thông trong giải quyết thủ tục hành chính; Nghị định số 107/2021/NĐ-CP ngày 06/12/2021 của Chính phủ về sửa đổi một số điều của Nghị định số 61/2018/NĐ-CP ngày 23/4/2018 của Chính phủ về thực hiện cơ chế một cửa, một cửa liên thông trong giải quyết thủ tục hành chính;\n\nCăn cứ Thông tư số 02/2017/TT-VPCP ngày 31/10/2017 của Bộ trưởng, Chủ nhiệm Văn phòng Chính phủ hướng dẫn về nghiệp vụ kiểm soát thủ tục hành chính: Thông tư số 01/2018/TT-VPCP ngày 23/11/2018 của Bộ trưởng, Chủ nhiệm Văn phòng Chính phủ hướng dẫn thi hành một số quy định của Nghị định số 61/2018/NĐ-CP ngày 23/4/2018 của Chính phủ về thực hiện cơ chế một cửa, một cửa liên thông trong giải quyết thủ tục hành chính;\n\nCăn cứ các Quyết định của Bộ trưởng Bộ Lao động - Thương binh và Xã hội: Số 1025/QĐ-LĐTBXH ngày 03/8/2016 về việc công bố thủ tục hành chính lĩnh vực người có công thuộc phạm vi chức năng quản lý nhà nước của Bộ Lao động - Thương binh và Xã hội; số 547/QĐ-LĐTBXH ngày 21/5/2020 về việc công bố thủ tục hành chính mới ban hành, được sửa đổi, bổ sung, bị bãi bỏ lĩnh vực người có công thuộc phạm vi chức năng quản lý nhà nước của Bộ Lao động - Thương binh và Xã hội; số 108/QĐ-LĐTBXH ngày 15/02/2022 về việc công bố thủ tục hành chính mới ban hành, thủ tục hành chính bãi bỏ về lĩnh vực người có công thuộc phạm vi chức năng quản lý nhà nước của Bộ Lao động - Thương binh và Xã hội;\n\nCăn cứ Quyết định số 19/2020/QĐ-UBND ngày 29/12/2020 của UBND tỉnh ban hành Quy chế hoạt động của Cổng Dịch vụ công và Hệ thống thông tin một cửa điện tử tỉnh Quảng Ngãi;\n\nTheo đề nghị của Giám đốc Sở Lao động - Thương binh và Xã hội tại Tờ trình số 107/TTr-SLĐTBXH ngày 19/9/2022.\n\nQUYẾT ĐỊNH:\n\nĐiều 1. Công bố Danh mục thủ tục hành chính (TTHC) được chuẩn hóa và phê duyệt Quy trình nội bộ giải quyết TTHC trong lĩnh vực người có công thuộc thẩm quyền giải quyết của Sở Lao động - Thương binh và Xã hội, UBND cấp huyện, UBND cấp xã trên địa bàn tỉnh Quảng Ngãi, cụ thể như sau:\n\n1. Danh mục TTHC được chuẩn hóa tại Phụ lục I.\n\n2. Quy trình nội bộ giải quyết TTHC tại Phụ lục II.\n\nĐiều 2. Trách nhiệm của các cơ quan, đơn vị\n\n1. Sở Lao động - Thương binh và Xã hội chịu trách nhiệm đăng tải công khai đầy đủ Danh mục, nội dung của từng TTHC trên Trang thông tin điện tử thành phần của Sở, niêm yết công khai tại cơ quan; trực tiếp thực hiện tiếp nhận và giải quyết TTHC theo đúng quy định pháp luật; gửi nội dung cụ thể của TTHC được công bố đến Sở Thông tin và Truyền thông để thiết lập lên phần mềm Cổng dịch vụ công - Hệ thống thông tin một cửa điện tử của tỉnh và gửi Văn phòng UBND tỉnh để theo dõi, kiểm soát nội dung thực hiện.\n\n2. Văn phòng UBND tỉnh thực hiện đăng nhập các TTHC được công bố tại Quyết định này vào Cơ sở dữ liệu quốc gia về TTHC.\n\n3. Sở Thông tin và Truyền thông chủ trì, phối hợp với Sở Lao động - Thương binh và Xã hội và các cơ quan, đơn vị có liên quan, căn cứ Quyết định này xây dựng quy trình điện tử giải quyết TTHC và đăng tải công khai nội dung cụ thể TTHC trên Cổng dịch vụ công - Hệ thống thông tin một cửa điện tử của tỉnh.\n\n4. UBND cấp huyện\n\na) Thực hiện niêm yết công khai kịp thời, đầy đủ Danh mục và nội dung cụ thể từng TTHC thuộc thẩm quyền giải quyết theo quy định; đăng tải công khai trên Trang thông tin điện tử của địa phương (nếu có) và thực hiện tiếp nhận, giải quyết TTHC theo quy định của pháp luật và nội dung công bố tại Quyết định này.\n\nb) Căn cứ quy trình nội bộ giải quyết TTHC được phê duyệt tại Điều 1, tổ chức kiểm soát việc chấp hành trình tự, nội dung, trách nhiệm, thời gian, kết quả giải quyết TTHC của cơ quan, đơn vị, cá nhân có liên quan và báo cáo UBND tỉnh về kết quả thực hiện.\n\n5. UBND cấp xã\n\na) Thực hiện niêm yết công khai kịp thời, đầy đủ Danh mục và nội dung cụ thể từng TTHC thuộc thẩm quyền giải quyết theo quy định; đăng tải công khai trên Trang thông tin điện tử của địa phương (nếu có) và thực hiện tiếp nhận, giải quyết TTHC theo quy định của pháp luật và nội dung công bố tại Quyết định này.\n\nb) Căn cứ quy trình nội bộ giải quyết TTHC được phê duyệt tại Điều 1, tổ chức kiểm soát việc chấp hành trình tự, nội dung, trách nhiệm, thời gian, kết quả giải quyết TTHC của cơ quan, đơn vị, cá nhân có liên quan và báo cáo UBND cấp huyện về kết quả thực hiện.\n\nĐiều 3. Quyết định này có hiệu lực thi hành kể từ ngày ký và thay thế Danh mục TTHC và Quy trình nội bộ giải quyết TTHC trong lĩnh vực người có công thuộc thẩm quyền giải quyết của Sở Lao động - Thương binh và Xã hội, UBND cấp huyện và UBND cấp xã được Chủ tịch UBND tỉnh công bố tại các Quyết định: Số 2196/QĐ-UBND ngày 28/12/2021, số 1741/QĐ-UBND ngày 14/11/2019, số 501/QĐ-UBND ngày 26/11/2018, số 2552/QĐ-UBND ngày 29/12/2017.\n\nĐiều 4. Chánh Văn phòng UBND tỉnh; Giám đốc Sở: Lao động - Thương binh và Xã hội, Thông tin và Truyền thông; Chủ tịch UBND cấp huyện; Chủ tịch UBND cấp xã và các tổ chức, cá nhân liên quan chịu trách nhiệm thi hành Quyết định này./.\n\n| Nơi nhận: - Như Điều 4; - Bộ Lao động - Thương binh và X ã hội; - Cục Kiểm soát TTHC - VPCP; - CT, các PCT UBND tỉnh; - VPUB: PCVP, KGVX, CBTH; - Lưu: VT, TTHC(htd). | CHỦ TỊCH Đặ ng Văn Minh |\n|---|---|\n\n| FILE ĐƯỢC ĐÍNH KÈM THEO VĂN BẢN |\n|---|',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Dataset: validation
• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.9353
cosine_accuracy@3	0.9763
cosine_accuracy@5	0.9806
cosine_accuracy@10	0.9871
cosine_precision@1	0.9353
cosine_precision@3	0.3772
cosine_precision@5	0.2302
cosine_precision@10	0.1164
cosine_recall@1	0.847
cosine_recall@3	0.9612
cosine_recall@5	0.9731
cosine_recall@10	0.9828
cosine_ndcg@10	0.9568
cosine_mrr@10	0.957
cosine_map@100	0.9445

Training Details

Training Dataset

Unnamed Dataset

• Size: 4,752 training samples
• Columns: query and positive
• Approximate statistics based on the first 1000 samples:

  	query	positive
  type	string	string
  details	min: 14 tokens mean: 53.14 tokens max: 143 tokens	min: 512 tokens mean: 512.0 tokens max: 512 tokens

• Samples:

  query	positive
  Tại sao Công văn 2403 năm 2009 được ban hành?	Source: https://thuvienphapluat.vn/cong-van/Tai-chinh-nha-nuoc/Cong-van-2403-TTg-KGVX-muc-tro-cap-hang-thang-doi-tuong-huong-che-do-104505.aspx # ĐIỀU CHỈNH MỨC TRỢ CẤP HÀNG THÁNG ĐỐI VỚI ĐỐI TƯỢNG HƯỞNG CHẾ ĐỘ THEO QUY ĐỊNH TẠI QUYẾT ĐỊNH SỐ 142/2008/QĐ-TTg
  Tôi là cán bộ phường ở TP.HCM, cần chi trả trợ cấp người có công trước ngày nào hàng tháng?	Source: https://thuvienphapluat.vn/van-ban/Tai-chinh-nha-nuoc/Quyet-dinh-49-2012-QD-UBND-Quy-che-quan-ly-kinh-phi-chi-thuc-hien-chinh-sach-150280.aspx # BAN HÀNH QUY CHẾ QUẢN LÝ KINH PHÍ CHI THỰC HIỆN CHÍNH SÁCH ƯU ĐÃI NGƯỜI CÓ CÔNG VỚI CÁCH MẠNG VÀ NGƯỜI TRỰC TIẾP THAM GIA KHÁNG CHIẾN TRÊN ĐỊA BÀN THÀNH PHỐ HỒ CHÍ MINH
  Tôi nhập ngũ năm 1970, tham gia kháng chiến chống Mỹ và xuất ngũ năm 1985, không hưởng lương hưu. Tôi có được hưởng trợ cấp theo QĐ 142 không?	Source: https://thuvienphapluat.vn/van-ban/Lao-dong-Tien-luong/Quyet-dinh-142-2008-QD-TTg-thuc-hien-che-do-quan-nhan-tham-gia-chong-My-cuu-nuoc-duoi-20-nam-cong-tac-trong-quan-doi-da-phuc-vien-xuat-ngu-80704.aspx # THỰC HIỆN CHẾ ĐỘ ĐỐI VỚI QUÂN NHÂN THAM GIA KHÁNG CHIẾN CHỐNG MỸ CỨU NƯỚC CÓ DƯỚI 20 NĂM CÔNG TÁC TRONG QUÂN ĐỘI ĐÃ PHỤC VIÊN, XUẤT NGŨ VỀ ĐỊA PHƯƠNG

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          768,
          512,
          256,
          128
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• gradient_accumulation_steps: 4
• learning_rate: 1e-05
• weight_decay: 0.1
• num_train_epochs: 20
• lr_scheduler_type: cosine
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 4
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 1e-05
• weight_decay: 0.1
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 20
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	validation_cosine_ndcg@10
0.6734	100	2.2185	0.9399
1.3367	200	0.9389	0.9516
2.0034	300	0.8961	0.9507
2.6734	400	0.6306	0.9487
3.3367	500	0.5167	0.9535
4.0034	600	0.5197	0.9531
4.6734	700	0.4063	0.9503
5.3367	800	0.3824	0.9511
6.0034	900	0.3665	0.9554
6.6734	1000	0.2816	0.9553
7.3367	1100	0.2892	0.9593
8.0034	1200	0.3105	0.9556
8.6734	1300	0.2303	0.9569
9.3367	1400	0.2316	0.9582
10.0034	1500	0.2366	0.9570
10.6734	1600	0.1766	0.9546
11.3367	1700	0.2052	0.9555
12.0034	1800	0.2146	0.9566
12.6734	1900	0.1609	0.9561
13.3367	2000	0.1635	0.9549
14.0034	2100	0.1881	0.9535
14.6734	2200	0.1729	0.9540
15.3367	2300	0.1668	0.9557
16.0034	2400	0.1869	0.9555
16.6734	2500	0.1592	0.9565
17.3367	2600	0.1533	0.9559
18.0034	2700	0.1841	0.9559
18.6734	2800	0.1362	0.9568
19.3367	2900	0.1526	0.9568

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.3.1
• Transformers: 4.47.0
• PyTorch: 2.5.1+cu121
• Accelerate: 1.2.1
• Datasets: 3.3.1
• Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning},
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}