nicolauduran45/e5_retrieval-scientific_domain

SentenceTransformer based on intfloat/multilingual-e5-base

This is a sentence-transformers model finetuned from intfloat/multilingual-e5-base. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: intfloat/multilingual-e5-base
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'XLMRobertaModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
queries = [
    "qubit",
]
documents = [
    "Las propiedades de los elementos de tierras raras diluidos en cristales no magnéticos los convierten en candidatos prometedores para la memoria cuántica debido a su limitado espacio de Hilbert . El control y la lectura de los estados de cúbits requieren una medición altamente sensible y un gran acoplamiento del conjunto de espín con el modo electromagnético de un resonador superconductor . Reportamos la detección sensible de transiciones prohibidas de estados electronucleares de las especies minoritarias de los isótopos < math display= '' inline '' overflow= '' scroll '' > < msup > < mi/ > < mn > 155 < /mn > < /msup > < mi > Gd < /mi > < /math > y < math display= '' inline '' overflow= '' scroll '' > < msup > < mi/ > < mn > 157 < /mn > < /msup > < mi > Gd < /mi > < /math > , lo que abre la posibilidad de conectar estados cuánticos con proyecciones de espín muy diferentes . Las mediciones de perturbación de cavidad observadas en la señal reflejada permiten la detección de aproximadamente < math display= '' inline '' overflow= '' scroll '' > < mn > 7,6 < /mn > < mo > × < /mo > < msup > < mn > 10 < /mn > < mn > 7 < /mn > < /msup > < /math > espines y la medición de la tasa de pérdida de memoria de fase y la fuerza de acoplamiento espín-fotón .",
    'Tracing the seismic history of Sant’Agata del Mugello (Italy, Tuscany) through a cross-disciplinary approach',
    "La baixada de microRNA-9 redueix la resposta inflamatòria i la proliferació de fibroblasts en ratolins amb fibrosi pulmonar idiopàtica a través de la via TGF-β-Smad3 mediada per ANO1. La fibrosi pulmonar idiopàtica ( FPI ) és una malaltia pulmonar intersticial progressiva amb una freqüència creixent , altes taxes de mortalitat i règims de tractament desfavorables . En l'estudi actual , hem identificat l'expressió de microRNA-9 ( miR-9 ) i anoctamina-1 ( ANO1 ) en models de ratolí IPF induïts per bleomicina , i els seus efectes sobre la inflamació i la proliferació de fibroblasts mitjançant la via del factor de creixement transformant-β ( TGF-β ) -Smad3 . Per verificar la relació d'orientació entre miR-9 i ANO1 , vam utilitzar la predicció bioinformàtica i vam realitzar un assaig del gen reporter de doble luciferasa . Els mecanismes reguladors subjacents de miR-9 i el gen objectiu ANO1 es van investigar principalment amb el tractament de miR-9 , inhibidor de miR-9 o siRNA contra ANO1 en fibroblasts aïllats de ratolins IPF . Es va realitzar un assaig immunosorbent lligat a enzims per investigar l'efecte de miR-9 o ANO1 sobre els factors inflamatoris . Per detectar la proliferació de fibroblasts i l'apoptosi es va utilitzar l'anàlisi de bromur de 3- ( 4,5-dimetiltiazol-2-il ) -2,5-difeniltetrazoli i la citometria de flux . Es van aplicar la reacció en cadena quantitativa de la polimerasa de transcripció inversa i l'anàlisi de western blot per mesurar l'expressió dels gens relacionats amb la via TGF-β-Smad3 . La determinació de l'activitat de la luciferasa va suggerir que miR-9 s'adreça a ANO1 . La regulació a l'alça de miR-9 o el silenciament de l'ANO1 va intensificar la inflamació en IPF , va promoure la proliferació i va inhibir la capacitat apoptòtica dels fibroblasts pulmonars . MiR-9 va modular negativament ANO1 i , per tant , va activar la via TGF-β-Smad3 . Aquestes troballes suggereixen que miR-9 pot activar indirectament la via TGF-β-Smad3 inhibint l'expressió d'ANO1 , agreujant així la inflamació , afavorint la proliferació i suprimint l'apoptosi dels fibroblasts pulmonars en models de ratolins d'IPF .",
]
query_embeddings = model.encode_query(queries)
document_embeddings = model.encode_document(documents)
print(query_embeddings.shape, document_embeddings.shape)
# [1, 768] [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(query_embeddings, document_embeddings)
print(similarities)
# tensor([[ 0.4068, -0.1499, -0.0297]])

Evaluation

Metrics

Triplet

• Dataset: multilingual-e5-base-eval
• Evaluated with TripletEvaluator

Metric	Value
cosine_accuracy	0.9669

Training Details

Training Dataset

Unnamed Dataset

• Size: 61,083 training samples
• Columns: query and text
• Approximate statistics based on the first 1000 samples:

  	query	text
  type	string	string
  details	min: 2 tokens mean: 8.49 tokens max: 63 tokens	min: 6 tokens mean: 233.47 tokens max: 512 tokens

• Samples:

  query	text
  Base de dades espacial	MEDIS —Una base de datos espacial completa sobre las islas mediterráneas para la investigación biogeográfica y evolutiva
  treatment	Condicions psiquiàtriques concomitants en el trastorn de l'espectre autista. Les persones amb trastorn de l'espectre autista ( TEA ) tenen un major risc de patir una o més condicions psiquiàtriques concomitants . Quan estan presents , aquestes condicions s'associen a deteriorament i angoixa addicionals . Per tant , és crucial que els metges i els investigadors comprenguin i abordin adequadament aquests reptes . Tanmateix , a causa de la superposició de símptomes , l'eclipsi diagnòstic i la presentació ambigua dels símptomes en el TEA , l'avaluació de les condicions concomitants en el TEA és complexa i desafiant . De la mateixa manera , els factors de diferència individual , com l'edat , el funcionament intel·lectual i el gènere , poden influir en la presentació de símptomes concomitants . En relació , un marc transdiagnòstic pot oferir utilitat per avaluar i tractar les condicions concomitants . Tanmateix , amb l'excepció dels trastorns d'ansietat , la investigació sobre el tractament ...
  CSI	Ergodic Secrecy Capacity Analysis Over Composite Weibull/Inverse Gamma Fading Channel

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 7,665 evaluation samples
• Columns: query, text, and neg_text
• Approximate statistics based on the first 1000 samples:

  	query	text	neg_text
  type	string	string	string
  details	min: 2 tokens mean: 8.98 tokens max: 57 tokens	min: 3 tokens mean: 245.77 tokens max: 512 tokens	min: 3 tokens mean: 246.09 tokens max: 512 tokens

• Samples:

  query	text	neg_text
  Conmemoración	Simon Perego, Pleurons-les. Les Juifs de Paris et la commémoration de la Shoah (1944-1967) (Ceyzérieu, Champ Vallon, 2020)	La ribonucleoproteína nuclear heterogénea K inhibe la actividad transcripcional del factor de choque térmico 1 inducida por el choque térmico. Cuando las células se exponen a un choque térmico y a otros tipos de estrés , se activa el factor de choque térmico 1 ( HSF1 ) y se desencadena la respuesta al choque térmico ( HSR ) . Para comprender mejor la regulación molecular de la HSR , utilizamos el análisis del proteoma basado en 2D-PAGE para detectar proteínas celulares modificadas postraduccionalmente inducidas por el choque térmico . Nuestro análisis reveló que dos manchas proteicas , típicamente presentes en geles de 2D-PAGE y que contienen ribonucleoproteína nuclear heterogénea K ( hnRNP K ) con Cys < sup > 132 < /sup > trioxidada , desaparecieron tras el tratamiento de choque térmico y reaparecieron durante la recuperación , pero la cantidad total de proteína hnRNP K permaneció inalterada . A continuación , evaluamos si hnRNP K desempeña un papel en la HSR regulando HSF1 y descubri...
  Cartilaginous tumour	Condrometaplàsia de la corda vocal en un mascle adult. ( La condrometaplàsia de la laringe és una malaltia poc freqüent . Informem d'un cas presentat al servei d'otorinolaringologia del nostre institut l'any 2015 . ) PRESENTACIÓ DEL CAS : Home de 62 anys sense antecedents de trauma presentat amb disfonia progressiva , dispnea , sense cap disfàgia . Un examen laringoscòpic de fibra òptica va revelar una massa nodular sorgida a la unió de 1/3 anterior i 2/3 posterior de la corda vocal esquerra . Una tomografia computeritzada de la regió del coll va mostrar una massa arrodonida i circumscrita sense infiltració dels teixits circumdants . La investigació histològica de la lesió va revelar la presència de teixit cartilaginós fibroelàstic , envoltat per una vora fina de teixit fibrós , amb àrees hipercel·lulars rares , cèl·lules binucleades ocasionals , hipercromàsia lleu i un perfil nuclear irregular . No hi havia activitat mitòtica . El pacient no tenia antecedents de traumatisme laringi . ...	Flujo de potencia óptimo multiobjetivo descentralizado basado en intercambio incremental para redes de distribución activas Para aumentar la utilización de los recursos energéticos distribuidos ( DER ) y reducir su influencia negativa , este artículo propone un algoritmo de flujo de potencia óptimo multiobjetivo descentralizado ( MO-OPF ) basado en el intercambio de incrementos para redes de distribución con alta integración de DER . En el modelo MO-OPF , el operador de red y los propietarios de DER persiguen sus propios objetivos operativos y económicos , garantizando al mismo tiempo que se satisfacen los límites de voltaje y potencia de rama en toda la red . El algoritmo propuesto permite la solución del problema MO-OPF de forma descentralizada , sin exponer la información privada de ningún DER al operador de red . Su idea central es utilizar las funciones cuadráticas de los incrementos de las variables de acoplamiento para describir el impacto de los propietarios de DER en el operad...
  Mutation	Importance of host cell arginine uptake in Francisella phagosomal escape and ribosomal protein amounts	Movimientos pseudo-rígidos para interacciones multi-doigts plus flexibles

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim",
      "gather_across_devices": false
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• learning_rate: 2e-05
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 32
• per_device_eval_batch_size: 32
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch_fused
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• project: huggingface
• trackio_space_id: trackio
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• hub_revision: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: no
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• liger_kernel_config: None
• eval_use_gather_object: False
• average_tokens_across_devices: True
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional
• router_mapping: {}
• learning_rate_mapping: {}

Training Logs

Epoch	Step	Training Loss	Validation Loss	multilingual-e5-base-eval_cosine_accuracy
0.0524	100	2.4193	-	-
0.1048	200	1.3554	-	-
0.1572	300	1.1083	-	-
0.2095	400	1.0894	-	-
0.2619	500	1.0579	1.3215	0.9534
0.3143	600	1.0648	-	-
0.3667	700	1.0697	-	-
0.4191	800	1.027	-	-
0.4715	900	1.0204	-	-
0.5238	1000	1.0525	1.2678	0.9597
0.5762	1100	0.9765	-	-
0.6286	1200	0.9966	-	-
0.6810	1300	1.0109	-	-
0.7334	1400	1.0127	-	-
0.7858	1500	0.9807	1.2329	0.9618
0.8381	1600	0.934	-	-
0.8905	1700	0.9604	-	-
0.9429	1800	0.9516	-	-
0.9953	1900	0.9717	-	-
1.0477	2000	0.7463	1.2005	0.9640
1.1001	2100	0.7382	-	-
1.1524	2200	0.7492	-	-
1.2048	2300	0.759	-	-
1.2572	2400	0.723	-	-
1.3096	2500	0.7376	1.1902	0.9656
1.3620	2600	0.7451	-	-
1.4144	2700	0.7604	-	-
1.4667	2800	0.7702	-	-
1.5191	2900	0.727	-	-
1.5715	3000	0.6999	1.1856	0.9654
1.6239	3100	0.7622	-	-
1.6763	3200	0.7455	-	-
1.7287	3300	0.7353	-	-
1.7810	3400	0.7299	-	-
1.8334	3500	0.701	1.1674	0.9661
1.8858	3600	0.7078	-	-
1.9382	3700	0.7605	-	-
1.9906	3800	0.7139	-	-
2.0430	3900	0.5847	-	-
2.0953	4000	0.5557	1.1641	0.9661
2.1477	4100	0.583	-	-
2.2001	4200	0.5811	-	-
2.2525	4300	0.5914	-	-
2.3049	4400	0.5766	-	-
2.3573	4500	0.5604	1.1533	0.9654
2.4096	4600	0.5693	-	-
2.4620	4700	0.5764	-	-
2.5144	4800	0.5526	-	-
2.5668	4900	0.5788	-	-
2.6192	5000	0.5622	1.1519	0.9669

Framework Versions

• Python: 3.12.12
• Sentence Transformers: 5.2.0
• Transformers: 4.57.3
• PyTorch: 2.9.0+cu126
• Accelerate: 1.12.0
• Datasets: 4.0.0
• Tokenizers: 0.22.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}