README.md

metadata

base_model: cross-encoder/ms-marco-MiniLM-L-4-v2
datasets: []
language: []
library_name: sentence-transformers
metrics:
  - cosine_accuracy@1
  - cosine_accuracy@3
  - cosine_accuracy@5
  - cosine_accuracy@10
  - cosine_precision@1
  - cosine_precision@3
  - cosine_precision@5
  - cosine_precision@10
  - cosine_recall@1
  - cosine_recall@3
  - cosine_recall@5
  - cosine_recall@10
  - cosine_ndcg@10
  - cosine_mrr@10
  - cosine_map@100
pipeline_tag: sentence-similarity
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:4173
  - loss:MatryoshkaLoss
  - loss:MultipleNegativesRankingLoss
widget:
  - source_sentence: >-
      Aquelles persones (físiques o jurídiques) que es disposin a exercir una de
      les següents activitats: ... Han de comunicar-ho a l'Ajuntament prèviament
      a la data prevista de la seva obertura.
    sentences:
      - >-
        Quin és el benefici que es pretén obtenir amb aquests ajuts econòmics
        per a les empreses d'hostaleria i restauració?
      - >-
        Quin és el benefici del sistema de teleassistència per a les persones
        que viuen amb altres persones amb discapacitat?
      - >-
        Quin és el propòsit de la comunicació prèvia d'una activitat recreativa
        o un espectacle públic?
  - source_sentence: >-
      Les persones titulars d’activitats que generin residus comercials o
      industrials assimilables als municipals, vindran obligats a acreditar
      davant l’Ajuntament que tenen contractat un gestor autoritzat per la
      recollida, tractament i eliminació dels residus que produeixi l’activitat
      corresponent.
    sentences:
      - >-
        Quin és el paper de l'Ajuntament en l'acreditació de recollida de
        residus?
      - Quin és el benefici de les activitats d'animació socio-cultural?
      - Quin és el benefici de l'ajut per a la creació de noves empreses?
  - source_sentence: >-
      Modificació de sol·licitud de permís d'ocupació de la via pública per
      filmacions, rodatges o sessions fotogràfiques.
    sentences:
      - Quin és el grau de discapacitat mínim per a rebre l'ajut de 300€ anuals?
      - >-
        Quin és el requisit per a la constitució o modificació del règim de
        propietat horitzontal?
      - Quin és el tipus de permís que es modifica?
  - source_sentence: >-
      El beneficiari és l'encarregat de complir les condicions de la subvenció i
      de presentar els informes de seguiment del projecte.
    sentences:
      - Quin és el paper del beneficiari en el procés de subvencions?
      - >-
        Quin és el càlcul dels interessos de demora en el fraccionament i
        l'ajornament?
      - >-
        Quin és el període de temps en què es poden efectuar les despeses
        mèdiques per a rebre l'ajuda?
  - source_sentence: >-
      Aquest tràmit permet sol·licitar la llicència per a realitzar obres
      d'excavació a la via pública per a la instal·lació o reparació
      d'infraestructures de serveis i subministraments.
    sentences:
      - Quin és el paper de la via pública en aquest tràmit?
      - Quin és el requisit principal per obtenir el certificat?
      - >-
        Quin és l'objectiu de presentar una denúncia per presumpta infracció
        urbanística?
model-index:
  - name: SentenceTransformer based on cross-encoder/ms-marco-MiniLM-L-4-v2
    results:
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: dim 768
          type: dim_768
        metrics:
          - type: cosine_accuracy@1
            value: 0.05172413793103448
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.1271551724137931
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.1788793103448276
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.3254310344827586
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.05172413793103448
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.042385057471264365
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.03577586206896552
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.032543103448275865
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.05172413793103448
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.1271551724137931
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.1788793103448276
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.3254310344827586
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.16276692425092115
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.11428999042145602
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.13620420069102204
            name: Cosine Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: dim 512
          type: dim_512
        metrics:
          - type: cosine_accuracy@1
            value: 0.05172413793103448
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.1271551724137931
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.1788793103448276
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.3254310344827586
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.05172413793103448
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.042385057471264365
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.03577586206896552
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.032543103448275865
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.05172413793103448
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.1271551724137931
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.1788793103448276
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.3254310344827586
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.16276692425092115
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.11428999042145602
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.13620420069102204
            name: Cosine Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: dim 256
          type: dim_256
        metrics:
          - type: cosine_accuracy@1
            value: 0.04525862068965517
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.1206896551724138
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.17025862068965517
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.3232758620689655
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.04525862068965517
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.04022988505747126
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.03405172413793103
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.032327586206896554
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.04525862068965517
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.1206896551724138
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.17025862068965517
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.3232758620689655
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.15757998924712813
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.10828971674876857
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.13108979755674435
            name: Cosine Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: dim 128
          type: dim_128
        metrics:
          - type: cosine_accuracy@1
            value: 0.04741379310344827
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.1206896551724138
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.17672413793103448
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.3146551724137931
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.04741379310344827
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.04022988505747126
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.0353448275862069
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.03146551724137931
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.04741379310344827
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.1206896551724138
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.17672413793103448
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.3146551724137931
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.15563167494658142
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.10829484811165858
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.13156999055462598
            name: Cosine Map@100
      - task:
          type: information-retrieval
          name: Information Retrieval
        dataset:
          name: dim 64
          type: dim_64
        metrics:
          - type: cosine_accuracy@1
            value: 0.036637931034482756
            name: Cosine Accuracy@1
          - type: cosine_accuracy@3
            value: 0.10129310344827586
            name: Cosine Accuracy@3
          - type: cosine_accuracy@5
            value: 0.15301724137931033
            name: Cosine Accuracy@5
          - type: cosine_accuracy@10
            value: 0.28448275862068967
            name: Cosine Accuracy@10
          - type: cosine_precision@1
            value: 0.036637931034482756
            name: Cosine Precision@1
          - type: cosine_precision@3
            value: 0.033764367816091954
            name: Cosine Precision@3
          - type: cosine_precision@5
            value: 0.03060344827586207
            name: Cosine Precision@5
          - type: cosine_precision@10
            value: 0.028448275862068963
            name: Cosine Precision@10
          - type: cosine_recall@1
            value: 0.036637931034482756
            name: Cosine Recall@1
          - type: cosine_recall@3
            value: 0.10129310344827586
            name: Cosine Recall@3
          - type: cosine_recall@5
            value: 0.15301724137931033
            name: Cosine Recall@5
          - type: cosine_recall@10
            value: 0.28448275862068967
            name: Cosine Recall@10
          - type: cosine_ndcg@10
            value: 0.13580741965441598
            name: Cosine Ndcg@10
          - type: cosine_mrr@10
            value: 0.09167179802955677
            name: Cosine Mrr@10
          - type: cosine_map@100
            value: 0.1149404289076573
            name: Cosine Map@100

SentenceTransformer based on cross-encoder/ms-marco-MiniLM-L-4-v2

This is a sentence-transformers model finetuned from cross-encoder/ms-marco-MiniLM-L-4-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: cross-encoder/ms-marco-MiniLM-L-4-v2
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 384 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("adriansanz/sitges10242608-4ep-rerankv3")
# Run inference
sentences = [
    "Aquest tràmit permet sol·licitar la llicència per a realitzar obres d'excavació a la via pública per a la instal·lació o reparació d'infraestructures de serveis i subministraments.",
    'Quin és el paper de la via pública en aquest tràmit?',
    "Quin és l'objectiu de presentar una denúncia per presumpta infracció urbanística?",
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval

• Dataset: dim_768
• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.0517
cosine_accuracy@3	0.1272
cosine_accuracy@5	0.1789
cosine_accuracy@10	0.3254
cosine_precision@1	0.0517
cosine_precision@3	0.0424
cosine_precision@5	0.0358
cosine_precision@10	0.0325
cosine_recall@1	0.0517
cosine_recall@3	0.1272
cosine_recall@5	0.1789
cosine_recall@10	0.3254
cosine_ndcg@10	0.1628
cosine_mrr@10	0.1143
cosine_map@100	0.1362

Information Retrieval

• Dataset: dim_512
• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.0517
cosine_accuracy@3	0.1272
cosine_accuracy@5	0.1789
cosine_accuracy@10	0.3254
cosine_precision@1	0.0517
cosine_precision@3	0.0424
cosine_precision@5	0.0358
cosine_precision@10	0.0325
cosine_recall@1	0.0517
cosine_recall@3	0.1272
cosine_recall@5	0.1789
cosine_recall@10	0.3254
cosine_ndcg@10	0.1628
cosine_mrr@10	0.1143
cosine_map@100	0.1362

Information Retrieval

• Dataset: dim_256
• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.0453
cosine_accuracy@3	0.1207
cosine_accuracy@5	0.1703
cosine_accuracy@10	0.3233
cosine_precision@1	0.0453
cosine_precision@3	0.0402
cosine_precision@5	0.0341
cosine_precision@10	0.0323
cosine_recall@1	0.0453
cosine_recall@3	0.1207
cosine_recall@5	0.1703
cosine_recall@10	0.3233
cosine_ndcg@10	0.1576
cosine_mrr@10	0.1083
cosine_map@100	0.1311

Information Retrieval

• Dataset: dim_128
• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.0474
cosine_accuracy@3	0.1207
cosine_accuracy@5	0.1767
cosine_accuracy@10	0.3147
cosine_precision@1	0.0474
cosine_precision@3	0.0402
cosine_precision@5	0.0353
cosine_precision@10	0.0315
cosine_recall@1	0.0474
cosine_recall@3	0.1207
cosine_recall@5	0.1767
cosine_recall@10	0.3147
cosine_ndcg@10	0.1556
cosine_mrr@10	0.1083
cosine_map@100	0.1316

Information Retrieval

• Dataset: dim_64
• Evaluated with InformationRetrievalEvaluator

Metric	Value
cosine_accuracy@1	0.0366
cosine_accuracy@3	0.1013
cosine_accuracy@5	0.153
cosine_accuracy@10	0.2845
cosine_precision@1	0.0366
cosine_precision@3	0.0338
cosine_precision@5	0.0306
cosine_precision@10	0.0284
cosine_recall@1	0.0366
cosine_recall@3	0.1013
cosine_recall@5	0.153
cosine_recall@10	0.2845
cosine_ndcg@10	0.1358
cosine_mrr@10	0.0917
cosine_map@100	0.1149

Training Details

Training Dataset

Unnamed Dataset

• Size: 4,173 training samples
• Columns: positive and anchor
• Approximate statistics based on the first 1000 samples:

  	positive	anchor
  type	string	string
  details	min: 10 tokens mean: 67.49 tokens max: 214 tokens	min: 11 tokens mean: 28.0 tokens max: 61 tokens

• Samples:

  positive	anchor
  Havent-se d'acreditar la matriculació i inscripció en el respectiu centre públic o concertat, així com el cost de les llars d'infants, de l'educació especialitzada per les discapacitats físiques, psíquiques i sensorials en centres públics, concertats o privats.	Quin és el requisit per acreditar la llar d'infants?
  El volant històric de convivència és el document que informa de la residencia en el municipi de Sitges, així com altres fets relatius a l'empadronament d'una persona, i detalla tots els domicilis, la data inicial i final en els que ha estat empadronada en cadascun d'ells, i les persones amb les què constava inscrites, segons les dades que consten al Padró Municipal d'Habitants fins a la data d'expedició.	Quin és el propòsit del volant històric de convivència?
  Instal·lació de tanques sense obra.	Quins són els exemples d'instal·lacions que es poden comunicar amb aquest tràmit?

• Loss: MatryoshkaLoss with these parameters:

  {
      "loss": "MultipleNegativesRankingLoss",
      "matryoshka_dims": [
          384,
          256,
          128,
          64
      ],
      "matryoshka_weights": [
          1,
          1,
          1,
          1
      ],
      "n_dims_per_step": -1
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: epoch
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 16
• gradient_accumulation_steps: 16
• num_train_epochs: 10
• lr_scheduler_type: cosine
• warmup_ratio: 0.2
• bf16: True
• tf32: False
• load_best_model_at_end: True
• optim: adamw_torch_fused
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: epoch
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 16
• eval_accumulation_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: cosine
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.2
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: True
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: False
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	dim_128_cosine_map@100	dim_256_cosine_map@100	dim_512_cosine_map@100	dim_64_cosine_map@100	dim_768_cosine_map@100
0.6130	10	11.3695	-	-	-	-	-
0.9808	16	-	0.0214	0.0243	0.0234	0.0199	0.0234
1.2261	20	10.653	-	-	-	-	-
1.8391	30	9.0745	-	-	-	-	-
1.9617	32	-	0.0495	0.0517	0.0589	0.0481	0.0589
2.4521	40	7.3468	-	-	-	-	-
2.9425	48	-	0.0764	0.0734	0.0811	0.0709	0.0811
3.0651	50	5.887	-	-	-	-	-
3.6782	60	5.3568	-	-	-	-	-
3.9847	65	-	0.0922	0.0857	0.0896	0.0808	0.0896
4.2912	70	4.8338	-	-	-	-	-
4.9042	80	4.9251	0.0899	0.0899	0.0906	0.0837	0.0906
0.9771	8	-	0.0953	0.0965	0.0957	0.0841	0.0957
1.2214	10	6.7779	-	-	-	-	-
1.9542	16	-	0.1056	0.1036	0.1078	0.0948	0.1078
2.4427	20	5.8485	-	-	-	-	-
2.9313	24	-	0.1112	0.1107	0.1170	0.1009	0.1170
3.6641	30	4.6394	-	-	-	-	-
3.9084	32	-	0.1243	0.1189	0.1247	0.1152	0.1247
4.8855	40	3.8786	0.1248	0.1248	0.1335	0.1148	0.1335
5.9847	49	-	0.1298	0.1298	0.1371	0.1204	0.1371
6.1069	50	3.3198	-	-	-	-	-
6.9618	57	-	0.1284	0.1347	0.1370	0.1208	0.1370
7.3282	60	3.081	-	-	-	-	-
7.9389	65	-	0.1273	0.1344	0.1360	0.1215	0.1360
8.5496	70	2.8556	-	-	-	-	-
8.9160	73	-	0.1313	0.1315	0.1350	0.1147	0.1350
9.771	80	2.7635	0.1316	0.1311	0.1362	0.1149	0.1362

• The bold row denotes the saved checkpoint.

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.0.1
• Transformers: 4.42.4
• PyTorch: 2.4.0+cu121
• Accelerate: 0.34.0.dev0
• Datasets: 2.21.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MatryoshkaLoss

@misc{kusupati2024matryoshka,
    title={Matryoshka Representation Learning}, 
    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
    year={2024},
    eprint={2205.13147},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}