metadata

tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:33842
  - loss:MultipleNegativesRankingLoss
base_model: BSC-LT/mRoBERTa
widget:
  - source_sentence: >-
      Instruct: Què era Juan García de Miranda?

      Context: Las Meninas es van salvar, però a la galta de la infanta es va
      fer un petit forat que, en la mateixa època, va ser restaurat pel pintor
      reial Juan García de Miranda. Juntament amb altres quadres, va ser
      traslladat al nou Palau Reial de Madrid, construït sobre les runes de
      l'anterior palau que, posteriorment, passà a formar part del Museu Reial
      de Pintures, el que més tard seria el Museu del Prado. Al segle xix, José
      de Madrazo, director del museu, va organitzar un nou catàleg realitzat pel
      seu fill Pedro de Madrazo, de les col·leccions de pintura i, per primera
      vegada, va emprar el nom de Las Meninas per referir-se a la pintura de
      Velázquez.
    sentences:
      - >-
        El homenaje al actor Ramon Teixidor tendrá lugar en el Teatre Nacional
        de Catalunya, donde se espera la participación de un centenar de
        artistas, incluyendo músicos como Maria del Mar Bonet, Toti Soler y
        Oriol Tranvia, magos como Hausson y Mag Lari, y actores como Pavlovsky,
        Vicky Peña, Carme Sansa, Ferran Rañé y Feliu Formosa. El evento,
        presentado por Hermann Bonnin, presidente de la Associació Professional
        d' Actors i Directors de Catalunya, se llevará a cabo el lunes en
        memoria del fallecido Teixidor, quien murió a los 53 años debido a una
        complicación posoperatoria. El objetivo del homenaje es recaudar fondos
        para la familia del actor y se espera que dure alrededor de dos horas.
        Aunque muchos artistas se ofrecieron a participar, no todos pudieron ser
        incluidos debido a limitaciones de tiempo. Teixidor estará presente en
        el acto a través de un video en una pantalla grande.
      - >-
        Subsequent growth of wood covers the stubs of a tree's lost limbs,
        rendering them invisible over time. This growth results in the formation
        of knots, which are typically considered defects in timber as they
        weaken the wood and interfere with its working properties. However, it
        is worth noting that sapwood, the outer layers of a tree's growth, may
        contain fewer knots than the inner heartwood. This is because the
        sapwood is located closer to the tree's living tissue, which grows more
        uniformly and is less likely to produce knots. Consequently, a piece of
        sapwood from an old tree may be stronger than a piece of heartwood from
        the same tree, despite the common perception that older, heartwood
        sections are more robust.
      - >-
        Juan García de Miranda va ser un pintor real espanyol que va realitzar
        una restauració en la famosa pintura de Diego Velázquez, "Las Meninas",
        a la galta de la infanta, després que es va fer un petit forat en ella.
        Miranda va ser un dels pintors reials que van traslladar les seves obres
        al nou Palau Reial de Madrid, construït sobre les runes de l'anterior
        palau, i que més tard es va convertir en el Museu Reial de Pintures, i
        finalment en el Museu del Prado. Al segle xix, el director del museu,
        José de Madrazo, va organitzar un nou catàleg de les col·leccions de
        pintura i va emprar per primera vegada el nom de "Las Meninas" per
        referir-se a la pintura de Velázquez.
  - source_sentence: >-
      Instruct: ¿A qué partido ayudó CIU en 1996?

      Context: La elevación del techo competencial y la mejora de la
      financiación serán, asegura, condiciones sin las que CiU no dará su apoyo
      a ningún gobierno. Según el candidato nacionalista, en la próxima
      legislatura CiU variará su estrategia, y el objetivo de la gobernabilidad
      que le llevó a apoyar al PSOE en 1993 y al PP en 1996. A partir de ahora,
      afirma Trias, primará la aceptación de las demandas de los nacionalistas,
      y durante las últimas semanas el candidato y los dirigentes de la
      coalición han avanzado diversas hipótesis sobre su futura actuación en el
      Congreso. Pujol, Trias o Duran han apuntado la posibilidad de que CiU se
      abstenga en la investidura si el candidato más votado no acepta sus
      demandas, y no descartan apoyar al segundo en caso de falta de acuerdo con
      el ganador, pero consideran poco probable que vuelvan a firmar un pacto de
      gobernabilidad que les ate para toda la legislatura como hicieron en 1996.
      Trias encabeza por primera vez una lista cuando CiU sale de dos
      elecciones, las municipales y las autonómicas, en las que ha perdido votos
      y las perspectivas electorales no son más halagüeñas, hasta el extremo de
      que los socialistas insisten en que puede dejar de ser la segunda
      formación en Cataluña por detrás del PSC. Como candidato, el doctor Trias
      reconoce que no se ajusta al arquetipo del cabeza de lista y afirma, ante
      las presiones de su propio partido, que hay algunas cosas que no hará,
      como por ejemplo, dejar de decir lo que piensa aunque le cueste disgustos,
      como cuando criticó por "insolidario" el concierto económico vasco.
      Presume de que su eslogan electoral, "La fuerza positiva", se ajusta a su
      perfil, amante del diálogo y la negociación y poco aficionado a las
      descalificaciones y a los duelos dialécticos, en los que parte con la
      desventaja de sus dificultades de pronunciación, sobre las que él mismo
      bromea.
    sentences:
      - >-
        En 1996, CiU (Convergència i Unió) decidió apoyar al Partido Popular
        (PP) en el gobierno. Este apoyo se debió a la estrategia de CiU en
        aquella legislatura, que buscaba la gobernabilidad y la aceptación de
        sus demandas. Aunque no se firmó un pacto de gobernabilidad como en
        1996, CiU consideró la posibilidad de apoyar al segundo partido más
        votado en caso de falta de acuerdo con el ganador. Es importante
        mencionar que la decisión de apoyar al PP en 1996 no implica que CiU
        siempre apoye al mismo partido en todas las legislaturas, sino que su
        apoyo se basa en la aceptación de sus demandas y en la búsqueda de la
        gobernabilidad.
      - >-
        Dieter Baumann es campeón olímpico en la modalidad de 5.000 metros,
        habiendo obtenido la medalla de oro en los Juegos Olímpicos de
        Barcelona. A pesar de una sanción por dopaje que duró siete meses,
        regresó a la competencia y participará en el mitin "Live 2000" de
        Nuremberg. El caso de dopaje de Baumann comenzó en otoño del año pasado,
        después de dar positivo en dos controles consecutivos para nandrolona.
        Sin embargo, Baumann ha declarado su inocencia y ha presentado una
        denuncia, alegando que fue víctima de una conspiración para arruinar su
        reputación y su futuro como atleta "limpio". A pesar de su regreso a la
        competencia, su lucha contra la sanción no ha terminado, ya que necesita
        la ratificación de la IAAF para que sea oficial.
      - >-
        La glosa es publicà a la secció dominical del diari de la diòcesi de
        Solsona el 7 de setembre de 2014. El bisbe Xavier Novell, en aquest
        article, defensà el dret de decidir dels catalans i la legalitat de la
        consulta, animant als fidels a votar. Novell argumentà que Catalunya
        compleix els criteris de cultura, llengua i història que la doctrina
        social de l'Església estableix per a una nació. Encara que el bisbe no
        donà suport a una opció concreta en la votació, instà als ciutadans a
        participar-hi amb un esperit democràtic i pacífic. A més, defensà la
        llibertat de l'Església en relació a qualsevol postura política i la
        legitimitat moral del dret a decidir dels ciutadans catalans. Aquestes
        declaracions van provocar que el Partit Popular demanés a la Conferència
        Episcopal Espanyola que actués contra el bisbe de Solsona, considerant
        les seves declaracions com a inacceptables. El bisbe de Girona, Francesc
        Pardo, també mostrà el seu suport a la consulta.
  - source_sentence: >-
      Instruct: What happened to British Isles area when the ice melted after
      the last ice age?

      Context: At the end of the last ice age, what are now the British Isles
      were joined to the European mainland as a mass of land extending north
      west from the modern-day northern coastline of France, Belgium and the
      Netherlands. Ice covered almost all of what is now Scotland, most of
      Ireland and Wales, and the hills of northern England. From 14,000 to
      10,000 years ago, as the ice melted, sea levels rose separating Ireland
      from Great Britain and also creating the Isle of Man. About two to four
      millennia later, Great Britain became separated from the mainland. Britain
      probably became repopulated with people before the ice age ended and
      certainly before it became separated from the mainland. It is likely that
      Ireland became settled by sea after it had already become an island.
    sentences:
      - >-
        The Umayyad control over Narbonne, the last stronghold in south-eastern
        Gaul, ended in the year 759. This conclusion of the Umayyad occupation
        was part of the broader historical context of their western expansion,
        which began with raids on the Visigothic Kingdom's coastal areas from
        their north-western African bases and culminated in the permanent
        occupation of most of Iberia (starting in 711). However, under the
        caliphate of Hisham, the Umayyad expansion in the west reached its end,
        following the defeat of the Arab army by the Franks at the Battle of
        Tours in 732. Additionally, the Umayyad authority faced significant
        challenges during Hisham's reign, including a major Berber Revolt in
        North Africa, the collapse of Umayyad authority in al-Andalus, and
        confrontations with the Khazars in the Caucasus, which ended in a
        stalemate despite a massive invasion by Marwan ibn Muhammad in 737.
      - >-
        After the last ice age, the British Isles underwent significant changes
        due to the melting of ice. Initially, the area was a mass of land
        connected to mainland Europe, with ice covering Scotland, Ireland,
        Wales, and northern England. As the ice melted from 14,000 to 10,000
        years ago, sea levels began to rise. This gradual rise in sea levels
        first separated Ireland from Great Britain, creating the Isle of Man.
        Roughly two to four thousand years later, the rising sea levels
        ultimately separated Great Britain from the European mainland. Before
        the ice age ended, it is believed that Britain had already been
        repopulated with people, while Ireland was likely settled by sea after
        it had become an island.
      - >-
        Alexandre Parola es el portavoz del presidente de Brasil, Michel Temer.
        En su función oficial, Parola anunció una visita del presidente de
        España, Mariano Rajoy, a Brasil en abril de 2
  - source_sentence: >-
      Instruct: Where is South Western Ambulance Service NHS Foundation Trust
      headquartered?

      Context: Plymouth is served by Plymouth Hospitals NHS Trust and the city's
      NHS hospital is Derriford Hospital 4 miles (6 km) north of the city
      centre. The Royal Eye Infirmary is located at Derriford Hospital. South
      Western Ambulance Service NHS Foundation Trust operates in Plymouth and
      the rest of the south west; its headquarters are in Exeter.
    sentences:
      - >-
        The South Western Ambulance Service NHS Foundation Trust is
        headquartered in Exeter. This trust provides ambulance services in
        Plymouth and the rest of the south west.
      - >-
        El concepte d'"obra oberta" va ser formulat per Umberto Eco i fa
        referència al rebuig de la forma tradicional en l'art, en favor d'una
        major llibertat conceptual i una nova connexió amb l'espectador. Aquest
        concepte va ser especialment rellevant en el moviment de postguerra, on
        artistes com Antoni Tàpies, Modest Cuixart, Josep Guinovart, Albert
        Ràfols Casamada i Joan Hernàndez Pijuan van destacar per les seves obres
        abstractes i innovadores.
      - >-
        The Houston Astros, a Major League Baseball (MLB) team in Houston, made
        their sole World Series appearance to date in 2005. Formed in 1962 as
        the "Colt .45s" and known by that name until 1965, the Astros have been
        a staple of Houston sports ever since.
  - source_sentence: >-
      Instruct: Què ataca directament el porc formiguer?

      Context: Com els óssos formiguers i els pangolins, el porc formiguer ha
      desenvolupat adaptacions notables al seu estil d'alimentació. Ataca
      directament nius de formigues i tèrmits, amb una llengua molt llarga i
      unes dents especialment modificades. L'aspecte del porc formiguer sembla
      combinar orelles de conill, un musell de porc i una cua de cangur.
      Utilitza les seves grans urpes en forma de pala per excavar caus on
      refugiar-se, que després són utilitzats per una multitud d'animals una
      vegada el porc formiguer els ha abandonat.
    sentences:
      - >-
        El porc formiguer ataca directament nius de formigues i tèrmits, gràcies
        a la seva llengua molt llarga i unes dents especialment adaptades per a
        aquesta finalitat. Aquest animal ha desenvolupat adaptacions notables
        per a la seva dieta, que consisteix a atacar directament els nius
        d'aquests insectes.
      - >-
        Martin Luther, a significant figure in religious history, translated the
        Bible into German. This translation was a crucial aspect of the German
        Reformation, which Luther initiated by posting 95 theses in 1517. His
        act was a response to Pope Leo X's renewal of the indulgence for the
        construction of St. Peter's Basilica. Despite being challenged to recant
        his views at the Diet of Worms in 1521 and being placed under the ban of
        the Empire by Charles V, Luther, under the protection of Frederick the
        Wise, completed the Bible's translation into German, making it more
        accessible to the German-speaking population.
      - >-
        Els adjectius llatins que acaben en -er formen el seu superlatiu
        utilitzant les desinències -errimus, -errima, -errimum. Aquestes
        desinències es declinen com un adjectiu de tema en vocal. Aquest ús és
        un vestigi de com es formava originalment el superlatiu en llatí.
pipeline_tag: sentence-similarity
library_name: sentence-transformers

SentenceTransformer based on BSC-LT/mRoBERTa

This is a Sentence Transformers embeddings model finetuned from BSC-LT/mRoBERTa with projecte-aina/RAG_Multilingual dataset for use in RAG applications. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Original Model Details

Model Description

Model Type: Sentence Transformer
Base model: BSC-LT/mRoBERTa
Maximum Sequence Length: 512 tokens
Output Dimensionality: 768 dimensions
Similarity Function: Cosine Similarity

Model Sources

Documentation: Sentence Transformers Documentation
Repository: Sentence Transformers on GitHub
Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("crodri/nRoBERTA_RAG_EMBEDDINGS")
# Run inference
sentences = [
    "Instruct: Què ataca directament el porc formiguer?\nContext: Com els óssos formiguers i els pangolins, el porc formiguer ha desenvolupat adaptacions notables al seu estil d'alimentació. Ataca directament nius de formigues i tèrmits, amb una llengua molt llarga i unes dents especialment modificades. L'aspecte del porc formiguer sembla combinar orelles de conill, un musell de porc i una cua de cangur. Utilitza les seves grans urpes en forma de pala per excavar caus on refugiar-se, que després són utilitzats per una multitud d'animals una vegada el porc formiguer els ha abandonat.",
    "El porc formiguer ataca directament nius de formigues i tèrmits, gràcies a la seva llengua molt llarga i unes dents especialment adaptades per a aquesta finalitat. Aquest animal ha desenvolupat adaptacions notables per a la seva dieta, que consisteix a atacar directament els nius d'aquests insectes.",
    'Els adjectius llatins que acaben en -er formen el seu superlatiu utilitzant les desinències -errimus, -errima, -errimum. Aquestes desinències es declinen com un adjectiu de tema en vocal. Aquest ús és un vestigi de com es formava originalment el superlatiu en llatí.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

Size: 33,842 training samples
Columns: sentence_0 and sentence_1
Approximate statistics based on the first 1000 samples:
sentence_0 sentence_1
type string string
details
min: 58 tokens
mean: 239.24 tokens
max: 512 tokens

min: 9 tokens
mean: 128.82 tokens
max: 501 tokens

	sentence_0	sentence_1
type	string	string
details	min: 58 tokens mean: 239.24 tokens max: 512 tokens	min: 9 tokens mean: 128.82 tokens max: 501 tokens

Samples:

sentence_0	sentence_1
Instruct: Where do most of the missionaries come from? Context: There are many missionary groups operating in the country, including Lutherans, Baptists, Catholics, Grace Brethren, and Jehovah's Witnesses. While these missionaries are predominantly from the United States, France, Italy, and Spain, many are also from Nigeria, the Democratic Republic of the Congo, and other African countries. Large numbers of missionaries left the country when fighting broke out between rebel and government forces in 2002–3, but many of them have now returned to continue their work.	`Most missionaries come from the United States. This is based on the information that includes the presence of various missionary groups in a particular context, with a significant number of them being from the United States, along with other countries such as France, Italy, Spain, Nigeria, and the Democratic Republic of the Congo.`
Instruct: On es publicà una glosa el 7 de setembre de 2014? Context: En la glosa que es publicà al full dominical del 7 de setembre de 2014 de la diòcesi de Solsona, (l'immediatament anterior a la celebració de la Diada) el bisbe Xavier Novell defensà el dret de decidir dels catalans i la legalitat de la consulta i cridà els fidels a votar, assegurant que Catalunya «compleix els elements que la doctrina social de l'Església indica sobre la realitat de la nació: cultura, llengua i història». Tot i que el bisbe no es posicionà sobre la direcció del vot, sí que va fer una crida als ciutadans a «no restar aliens a aquest procés» i els demanà que «amb esperit democràtic i pacífic, escolliu amb tranquil·litat de consciència aquella opció davant la consulta que cregueu millor per al bé de Catalunya». D'altra banda, Novell també defensà la llibertat de l'Església «respecte a qualsevol posicionament polític, com la legitimitat moral del dret a decidir dels ciutadans de Catalunya». Per aquestes ...	La glosa es publicà a la secció dominical del diari de la diòcesi de Solsona el 7 de setembre de 2014. El bisbe Xavier Novell, en aquest article, defensà el dret de decidir dels catalans i la legalitat de la consulta, animant als fidels a votar. Novell argumentà que Catalunya compleix els criteris de cultura, llengua i història que la doctrina social de l'Església estableix per a una nació. Encara que el bisbe no donà suport a una opció concreta en la votació, instà als ciutadans a participar-hi amb un esperit democràtic i pacífic. A més, defensà la llibertat de l'Església en relació a qualsevol postura política i la legitimitat moral del dret a decidir dels ciutadans catalans. Aquestes declaracions van provocar que el Partit Popular demanés a la Conferència Episcopal Espanyola que actués contra el bisbe de Solsona, considerant les seves declaracions com a inacceptables. El bisbe de Girona, Francesc Pardo, també mostrà el seu suport a la consulta.
Instruct: Com es coneixia a Robert Campin? Context: La Nativitat és una de les obres més destacades de Robert Campin, conegut com el Mestre de Flémalle; es troba al Museu de Belles Arts de Dijon des de 1928. Guarda algunes diferències amb altres obres d'aquesta temàtica: l'escena és captada de dia i hi apareixen les llevadores, Zelemi i Salomé, uns personatges que estaven descrits als Evangelis apòcrifs. A més de la Nativitat, l'obra representa l'adoració dels pastors que apareixen per la finestra, amb menys protagonisme del que és habitual; una altra cosa no habitual és la disposició del bou, d'esquena al Nen Jesús, en comptes d'escalfar-lo amb el seu alè. Josep no és aquí un personatge secundari, sinó que té un paper actiu, subjectant una espelma, un dels molts simbolismes que conté la imatge. El paisatge del fons és similar al d'obres contemporànies; és clarament de Flandes o Borgonya. L'obra va ser probablement un encàrrec del duc de Borgonya per a la cartoixa de Champmol.	Robert Campin, també conegut com el Mestre de Flémalle, era un pintor flamenc del segle xv. Va ser un dels primers mestres de l'escola flamenca i va tenir una gran influència en el desenvolupament de l'estil realista i detallista que caracteritza aquesta escola. La seva obra "La Nativitat" és una de les seves obres més destacades i es troba al Museu de Belles Arts de Dijon des de 1928. Aquesta pintura representa la nativitat de Jesús amb algunes diferències notables respecte a altres obres d'aquest tema, com l'escena captada de dia i la presència de les llevadores, Zelemi i Salomé, personatges descrits als Evangelis apòcrifs. La figura de Josep també té un paper actiu en l'obra, subjectant una espelma, i el paisatge del fons és típic de Flandes o Borgonya. Es creu que "La Nativitat" va ser un encàrrec del duc de Borgonya per a la cartoixa de Champmol.

Loss: MultipleNegativesRankingLoss with these parameters:

{
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

per_device_train_batch_size: 2
per_device_eval_batch_size: 2
num_train_epochs: 5
multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

overwrite_output_dir: False
do_predict: False
eval_strategy: no
prediction_loss_only: True
per_device_train_batch_size: 2
per_device_eval_batch_size: 2
per_gpu_train_batch_size: None
per_gpu_eval_batch_size: None
gradient_accumulation_steps: 1
eval_accumulation_steps: None
torch_empty_cache_steps: None
learning_rate: 5e-05
weight_decay: 0.0
adam_beta1: 0.9
adam_beta2: 0.999
adam_epsilon: 1e-08
max_grad_norm: 1
num_train_epochs: 5
max_steps: -1
lr_scheduler_type: linear
lr_scheduler_kwargs: {}
warmup_ratio: 0.0
warmup_steps: 0
log_level: passive
log_level_replica: warning
log_on_each_node: True
logging_nan_inf_filter: True
save_safetensors: True
save_on_each_node: False
save_only_model: False
restore_callback_states_from_checkpoint: False
no_cuda: False
use_cpu: False
use_mps_device: False
seed: 42
data_seed: None
jit_mode_eval: False
use_ipex: False
bf16: False
fp16: False
fp16_opt_level: O1
half_precision_backend: auto
bf16_full_eval: False
fp16_full_eval: False
tf32: None
local_rank: 0
ddp_backend: None
tpu_num_cores: None
tpu_metrics_debug: False
debug: []
dataloader_drop_last: False
dataloader_num_workers: 0
dataloader_prefetch_factor: None
past_index: -1
disable_tqdm: False
remove_unused_columns: True
label_names: None
load_best_model_at_end: False
ignore_data_skip: False
fsdp: []
fsdp_min_num_params: 0
fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
fsdp_transformer_layer_cls_to_wrap: None
accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
deepspeed: None
label_smoothing_factor: 0.0
optim: adamw_torch
optim_args: None
adafactor: False
group_by_length: False
length_column_name: length
ddp_find_unused_parameters: None
ddp_bucket_cap_mb: None
ddp_broadcast_buffers: False
dataloader_pin_memory: True
dataloader_persistent_workers: False
skip_memory_metrics: True
use_legacy_prediction_loop: False
push_to_hub: False
resume_from_checkpoint: None
hub_model_id: None
hub_strategy: every_save
hub_private_repo: None
hub_always_push: False
gradient_checkpointing: False
gradient_checkpointing_kwargs: None
include_inputs_for_metrics: False
include_for_metrics: []
eval_do_concat_batches: True
fp16_backend: auto
push_to_hub_model_id: None
push_to_hub_organization: None
mp_parameters:
auto_find_batch_size: False
full_determinism: False
torchdynamo: None
ray_scope: last
ddp_timeout: 1800
torch_compile: False
torch_compile_backend: None
torch_compile_mode: None
dispatch_batches: None
split_batches: None
include_tokens_per_second: False
include_num_input_tokens_seen: False
neftune_noise_alpha: None
optim_target_modules: None
batch_eval_metrics: False
eval_on_start: False
use_liger_kernel: False
eval_use_gather_object: False
average_tokens_across_devices: False
prompts: None
batch_sampler: batch_sampler
multi_dataset_batch_sampler: round_robin

Training Logs

Click to expand

Epoch	Step	Training Loss
0.0295	500	0.0249
0.0591	1000	0.0
0.0886	1500	0.0
0.1182	2000	0.0
0.1477	2500	0.0
0.1773	3000	0.0
0.2068	3500	0.0
0.2364	4000	0.0
0.2659	4500	0.0
0.2955	5000	0.0
0.3250	5500	0.0
0.3546	6000	0.0
0.3841	6500	0.0
0.4137	7000	0.0
0.4432	7500	0.0
0.4728	8000	0.0
0.5023	8500	0.0
0.5319	9000	0.0
0.5614	9500	0.0
0.5910	10000	0.0
0.6205	10500	0.0
0.6501	11000	0.0
0.6796	11500	0.0
0.7092	12000	0.0
0.7387	12500	0.0
0.7683	13000	0.0
0.7978	13500	0.0
0.8274	14000	0.0
0.8569	14500	0.0
0.8865	15000	0.0
0.9160	15500	0.0
0.9456	16000	0.0
0.9751	16500	0.0
1.0047	17000	0.0
1.0342	17500	0.0
1.0638	18000	0.0
1.0933	18500	0.0
1.1229	19000	0.0
1.1524	19500	0.0
1.1820	20000	0.0
1.2115	20500	0.0
1.2411	21000	0.0
1.2706	21500	0.0
1.3002	22000	0.0
1.3297	22500	0.0
1.3593	23000	0.0
1.3888	23500	0.0
1.4184	24000	0.0
1.4479	24500	0.0
1.4775	25000	0.0
1.5070	25500	0.0
1.5366	26000	0.0
1.5661	26500	0.0
1.5957	27000	0.0
1.6252	27500	0.0
1.6547	28000	0.0
1.6843	28500	0.0
1.7138	29000	0.0
1.7434	29500	0.0
1.7729	30000	0.0
1.8025	30500	0.0
1.8320	31000	0.0
1.8616	31500	0.0
1.8911	32000	0.0
1.9207	32500	0.0
1.9502	33000	0.0
1.9798	33500	0.0
2.0093	34000	0.0
2.0389	34500	0.0
2.0684	35000	0.0
2.0980	35500	0.0
2.1275	36000	0.0
2.1571	36500	0.0
2.1866	37000	0.0
2.2162	37500	0.0
2.2457	38000	0.0
2.2753	38500	0.0
2.3048	39000	0.0
2.3344	39500	0.0
2.3639	40000	0.0
2.3935	40500	0.0
2.4230	41000	0.0
2.4526	41500	0.0
2.4821	42000	0.0
2.5117	42500	0.0
2.5412	43000	0.0
2.5708	43500	0.0
2.6003	44000	0.0
2.6299	44500	0.0
2.6594	45000	0.0
2.6890	45500	0.0
2.7185	46000	0.0
2.7481	46500	0.0
2.7776	47000	0.0
2.8072	47500	0.0
2.8367	48000	0.0
2.8663	48500	0.0
2.8958	49000	0.0
2.9254	49500	0.0
2.9549	50000	0.0
2.9845	50500	0.0
3.0140	51000	0.0
3.0436	51500	0.0
3.0731	52000	0.0
3.1027	52500	0.0
3.1322	53000	0.0
3.1618	53500	0.0
3.1913	54000	0.0
3.2208	54500	0.0
3.2504	55000	0.0
3.2799	55500	0.0
3.3095	56000	0.0
3.3390	56500	0.0
3.3686	57000	0.0
3.3981	57500	0.0
3.4277	58000	0.0
3.4572	58500	0.0
3.4868	59000	0.0
3.5163	59500	0.0
3.5459	60000	0.0
3.5754	60500	0.0
3.6050	61000	0.0
3.6345	61500	0.0
3.6641	62000	0.0
3.6936	62500	0.0
3.7232	63000	0.0
3.7527	63500	0.0
3.7823	64000	0.0
3.8118	64500	0.0
3.8414	65000	0.0
3.8709	65500	0.0
3.9005	66000	0.0
3.9300	66500	0.0
3.9596	67000	0.0
3.9891	67500	0.0
4.0187	68000	0.0
4.0482	68500	0.0
4.0778	69000	0.0
4.1073	69500	0.0
4.1369	70000	0.0
4.1664	70500	0.0
4.1960	71000	0.0
4.2255	71500	0.0
4.2551	72000	0.0
4.2846	72500	0.0
4.3142	73000	0.0
4.3437	73500	0.0
4.3733	74000	0.0
4.4028	74500	0.0
4.4324	75000	0.0
4.4619	75500	0.0
4.4915	76000	0.0
4.5210	76500	0.0
4.5506	77000	0.0
4.5801	77500	0.0
4.6097	78000	0.0
4.6392	78500	0.0
4.6688	79000	0.0
4.6983	79500	0.0
4.7279	80000	0.0
4.7574	80500	0.0
4.7870	81000	0.0
4.8165	81500	0.0
4.8460	82000	0.0
4.8756	82500	0.0
4.9051	83000	0.0
4.9347	83500	0.0
4.9642	84000	0.0
4.9938	84500	0.0

Framework Versions

Python: 3.10.16
Sentence Transformers: 3.4.1
Transformers: 4.47.1
PyTorch: 2.5.1+cu124
Accelerate: 1.2.1
Datasets: 3.2.0
Tokenizers: 0.21.0

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}