UMCU/MedRoBERTa.nl_MeSH_biencoder_OnlineContrastive

Trained a bi-encoder based on MedRoBERTa.nl using the SBERT library, with Online Contrastive Learning. The positives/negatives were extracted based on the Jaccard-index/IoU between the lists of MeSH-terms.

SentenceTransformer

This is a sentence-transformers model trained. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False, 'architecture': 'RobertaModel'})
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'Deze studie was gericht op het definiëren van klinische en virologische parameters die verband houden met spontane controle van HIV-replicatie bij patiënten die HAART hebben geïnitieerd tijdens primaire HIV-infectie, die gestructureerde therapieonderbreking ondergingen door twee protocollen met een vast of HIV-viremiegeleid schema. Aan het einde van het protocol werden alle patiënten veranderd in een viremia-gestuurd schema en gedurende 12 maanden geobserveerd (follow-up). Patiënten die HIV-viremie onder de indicaties voor hervatting van HAART tijdens de follow-up hielden, waren gedefinieerde controllers, degenen die HAART moesten hervatten waren gedefinieerde niet-controllers. De volgende parameters werden onderzocht: duur van de pre-interruptietherapie, CD4(+), HIV RNA, proviraal DNA, evolutie van virale quasissoorten. Er werd geen specifiek voordeel toegekend door onderbreking van gestructureerde therapie in het aandeel van controllers en niet-controllers. Pre-HAART en zenith CD4(+), pre-therapie onderbreking, HAART duur, maar niet pre-HAART HIV RNA, waren significant hoger in controllers in vergelijking met niet-controllers. HIV RNA niveaus na de eerste onderbreking cyclus van de behandeling waren significant lager bij de controleurs dan bij de niet-controleurs. Provirale DNA-niveaus waren ook lager in controllers op dit moment. HIV RNA en provirale DNA-niveaus geassocieerd met de laatste onderbreking van de therapiecyclus waren niet anders dan die geassocieerd met de eerste cyclus, en ondanks meerdere golven van virusreactie kwamen er bij elke patiënt zeer weinig varianten van gag quasispecies naar voren. De gegevens suggereren dat klinische parameters vóór de behandeling en virologische gebeurtenissen die verband houden met de eerste virale rebound cruciale factoren zijn bij het bepalen van het vermogen om de virale replicatie na meerdere cycli van onderbreking van de behandeling onder controle te houden.',
    'Nieuwe zevenkoppige iminosuikers fuseerden thiazolidine-4-on en benzthiazinan-4-on werden gemakkelijk gesynthetiseerd door de tandem Staudinger/aza-Wittig/cyclisatiereactie onder microgolfstraling. Benzoylgroep (Bz) migraties werden gevonden in de synthese van 8c en 9b met respectievelijk D-galactoside of D-mannoside als uitgangsmateriaal, wat werd gesuggereerd door HMBC en X-ray. De nieuwe bi/tricyclische iminosuikers 3~4(a-d) en 5(b-d) werden onderzocht op hun HIV reverse transcriptase (RT) remmende activiteiten. Het resultaat toonde aan dat alle verbindingen behalve 5b de RT-activiteit effectief konden remmen. Onder hen waren verbindingen 3c en 4c de beste met de IC50-waarden van RT-remmende activiteiten van respectievelijk 2.11\u2009µM en 2.73\u2009µM. Structuur-activiteitsrelatieanalyse suggereerde dat de fenylgroep in de tricyclische azasugars gunstig was voor hun anti-HIV RT-activiteit.',
    'Tropische bossen met een tweede groei zijn een belangrijke wereldwijde koolstofput. Aangezien de huidige kennis over de accumulatie van biomassa tijdens secundaire successie sterk is gebaseerd op chronosequentiestudies, zijn directe schattingen van de jaarlijkse accumulatie van biomassa in bewaakte stands grotendeels niet beschikbaar. We evalueerden de bijdragen van de toename van de boomdiameter, werving en sterfte aan de jaarlijkse biomassaverandering van bomen tijdens de opvolging voor drie groepen boomsoorten: specialisten in tweede groei (SG), generalisten en specialisten in oude groei (OG). We volgden zes tropische bossen met tweede groei die varieerden in standleeftijd en twee oude bossen in het noordoosten van Costa Rica. Deze hebben we gedurende een periode van 8 tot 16 jaar gevolgd. Om de snelheid van biomassaverandering tijdens secundaire opvolging te beoordelen, vergeleken we staande biomassa en biomassadynamiek tussen tweedegroeifasen van bossen en ouderwets bos, en evalueerden we het effect van standleeftijd op staande biomassa en biomassadynamiek in tweedegroeibossen. De biomassa van staande bomen nam toe met de leeftijd van de opstand tijdens de opeenvolging, terwijl de snelheid van biomassaverandering afnam. De verandering in biomassa werd grotendeels veroorzaakt door de toename van de boomdiameter en sterfte, met een kleine bijdrage van werving. Het relatieve belang van deze demografische drijfveren verschoof over successie. De toename van biomassa als gevolg van de toename van de boomdiameter nam af met de leeftijd van de stand, terwijl het verlies aan biomassa als gevolg van sterfte toenam. In de leeftijdscategorie van onze bossen met tweede groei, 10-41 jaar, domineerden SG-specialisten de biomassa van bomen in bossen met tweede groei. SG-specialisten, en in mindere mate generalisten, domineerden ook de toename van biomassa op standniveau als gevolg van de toename van de boomdiameter, terwijl SG-specialisten grotendeels verantwoordelijk waren voor dalingen van biomassa als gevolg van sterfte. Onze resultaten geven aan dat de groei van bomen grotendeels de biomassadynamiek in het begin van de opeenvolging aandrijft, terwijl zowel groei als sterfte later in de opeenvolging belangrijk zijn. Biomassadynamica wordt grotendeels verklaard door een paar SG-specialisten en een generalistische soort, Pentaclethra macroloba. Om de algemeenheid van onze resultaten te beoordelen, moeten vergelijkbare langetermijnstudies worden vergeleken in tropische boslandschappen.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities)
# tensor([[1.0000, 1.0000, 1.0000],
#         [1.0000, 1.0000, 1.0000],
#         [1.0000, 1.0000, 1.0000]])

Training Details

Training Dataset

Unnamed Dataset

• Size: 445,355 training samples
• Columns: sentence_0, sentence_1, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	label
  type	string	string	float
  details	min: 40 tokens mean: 288.58 tokens max: 512 tokens	min: 26 tokens mean: 296.34 tokens max: 512 tokens	min: 0.0 mean: 0.0 max: 0.0

• Samples:

  sentence_0	sentence_1	label
  Op zoek naar schildklierkanker biomarkers, eiwitten afgescheiden door schildklierkanker cellijnen, papillair afgeleide TPC-1 en anaplastisch afgeleide CAL62, werden geanalyseerd met behulp van vloeibare chromatografie-tandem massaspectrometrie. Van 46 high-confidence identificaties, werden 6 proteïnen overwogen voor controle in het weefsel en het bloed van schildklierkankerpatiënten. De lokalisatie van twee eiwitten, nucleoline en protymosine-α (PTMA), werd bevestigd in TPC-1- en CAL62-cellen door confocale microscopie en immunohistochemisch in xenografts van TPC-1-cellen in NOD/SCID/γ-muizen en menselijke schildklierkankers (48 weefsels). Verhoogde nucleaire en cytoplasmatische expressie van PTMA werd waargenomen bij anaplastische vergeleken met papillaire en slecht gedifferentieerde carcinomen. Nucleaire expressie van nucleoline werd waargenomen in alle subtypes van schildkliercarcinomen, samen met zwakke cytoplasmatische expressie bij anaplastische kankers. Belangrijk is dat PTMA, n...	Puntmutaties, deleties en recombinaties van het RET-proto-oncogen zijn geassocieerd met verschillende erfelijke menselijke ziekten van neurale van de top afgeleide cellen: de ziekte van Hirschsprung, familiaal medullair schildkliercarcinoom en de multipele endocriene neoplasie (MANNEN) -syndromen, typen 2A en 2B. RET-expressie is beperkt tot normale en kwaadaardige cellen van neurale oorsprong, zoals menselijke neuroblastoomcellen. Om de rol van het geactiveerde RET-oncogeen in neurale topcellen beter te begrijpen, hebben we twee aanhangende menselijke neuroblastoomtumorcellijnen getransfecteerd met oncogene MEN2-mutante RET-cDNA 's. Transfecte klonen van beide cellijnen die MEN2B RET overexpressie vertoonden, vertoonden een duidelijke toename van de celfractie die in suspensie groeide. Zowel controle- als MEN2B-cellen vormden in alle gevallen tumoren op de injectieplaats. Muizen geïnjecteerd met MEN2B-cellen ontwikkelden echter longmetastasen met een veel hogere frequentie dan control...	0.0
  Hechtingstheorie is een theorie van affectregulatie zoals die voorkomt in de context van nauwe relaties. Vroeg onderzoek richtte zich op het reguleren van emoties door het handhaven van nabijheid tot ondersteunende anderen (hechtingsfiguren) in tijden van nood. Onlangs is de nadruk verschoven naar de regulering van emoties, en de voordelen van een dergelijke regulering voor exploratie en leren, via de activering van mentale representaties van hechtingsfiguren (security priming). We hebben twee onderzoeken uitgevoerd naar de effecten van impliciete en expliciete security priming op het creatief oplossen van problemen. In Studie 1 leidde impliciete security priming (subliminale presentatie van de namen van hechtingsfiguren) tot creatievere probleemoplossing (vergeleken met controleomstandigheden), ongeacht angst en vermijding van vervreemding. In Studie 2 werden de effecten van expliciete security priming (herinneren aan ervaringen van goed worden verzorgd) gemodereerd door angst en verm...	Blootstelling aan koolmonoxide veroorzaakt neurogedragseffecten die verband houden met het niveau van carboxyhemoglobine (COHb) in het bloed. Er is een drempel van ongeveer 35% COHb voorgesteld voor de manifestatie van verstoring van neurogedragstaken. De effecten van CO-blootstelling die 30-40% carboxyhemoglobine (COHb) -waarden produceert bij jonge volwassen mannelijke Fischer 344-ratten werden onderzocht met betrekking tot klinische tekenen van toxiciteit, prestaties op een eerder aangeleerde vermijdingsprocedure en neuronale en glia-histopathologie. Hoge blootstellingsniveaus (4000 ppm) gedurende 15 minuten werden opgelegd aan ofwel een achtergrondbloed-COHb-niveau van 5%, geproduceerd door een blootstelling van 2 uur aan 50 ppm CO, ofwel een controleachtergrond door blootstelling aan geconditioneerde lucht. Na verwijdering uit de inhalatiehouder met alleen neus waren er gedurende 2 minuten tekenen van milde lethargie en verminderde activiteit voor geconditioneerde luchtcontroles e...	0.0
  In dit artikel hebben we getest of fysiologische activatoren van de cAMP tweede boodschapper route in primaire culturen van neuronen van ratten cerebrale cortex direct induceren c-fos en andere directe vroege gen (IEG) transcriptiefactoren. We hebben ontdekt dat korte (30 s tot 2 min) stimulatie van neuronen met vasoactief intestinaal peptide (VIP) en SKF-38393, een D1-dopaminerge receptoragonist, krachtig verhoogde mRNA-niveaus voor de IEGS c-fos, jun-B en NGFI-A, met zwakkere verhogingen voor c-jun. IEG-inductie door VIP en dibutyryl cAMP werd niet geblokkeerd door prikkelende aminozuurreceptorantagonisten of door blokkers van dihydropyridine-gevoelige calciumkanalen. Bovendien veranderde calciumvrij medium de IEG-inductie niet door dibutyryl cAMP, wat suggereert dat cAMP de IEG-expressie rechtstreeks kan reguleren in gedifferentieerde neuronen onafhankelijk van calcium.	Bij mannelijke ratten nemen de LH-pulsfrequentie en -amplitude dramatisch toe met 24 uur na gonadectomie; bij vrouwen nemen ze tegen die tijd slechts licht toe. Gemiddelde FSH-niveaus nemen significant toe bij beide geslachten met 24 uur na gonadectomie. De doelstellingen van de huidige studies waren het vergelijken van pulsatiele LH, FSH en prolactine (PRL) secretie in intact versus gonadectomie en in mannelijke versus vrouwelijke ratten, en om te bepalen of de acute postovariectomie lag in LH stijging is te wijten aan een aanhoudende effect van de hogere PRL en/of progesteron (P) niveaus gezien bij intacte vrouwen. LH pulsamplitude, frequentie en gemiddelde niveaus namen significant toe met 24 uur na gonadectomie bij beide geslachten, maar de stijgingen waren groter bij de mannen. De FSH-gemiddelde niveaus, maar niet de pulsamplitude of -frequentie, stegen bij beide geslachten met 24 uur na gonadectomie. PRL veranderde niet met gonadectomie. Behandeling met CB-154 (een dopamineagonis...	0.0

• Loss: OnlineContrastiveLoss

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 4
• num_train_epochs: 1
• per_device_eval_batch_size: 4
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• per_device_train_batch_size: 4
• num_train_epochs: 1
• max_steps: -1
• learning_rate: 5e-05
• lr_scheduler_type: linear
• lr_scheduler_kwargs: None
• warmup_steps: 0
• optim: adamw_torch
• optim_args: None
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• optim_target_modules: None
• gradient_accumulation_steps: 1
• average_tokens_across_devices: True
• max_grad_norm: 1
• label_smoothing_factor: 0.0
• bf16: False
• fp16: False
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• use_liger_kernel: False
• liger_kernel_config: None
• use_cache: False
• neftune_noise_alpha: None
• torch_empty_cache_steps: None
• auto_find_batch_size: False
• log_on_each_node: True
• logging_nan_inf_filter: True
• include_num_input_tokens_seen: no
• log_level: passive
• log_level_replica: warning
• disable_tqdm: False
• project: huggingface
• trackio_space_id: trackio
• eval_strategy: no
• per_device_eval_batch_size: 4
• prediction_loss_only: True
• eval_on_start: False
• eval_do_concat_batches: True
• eval_use_gather_object: False
• eval_accumulation_steps: None
• include_for_metrics: []
• batch_eval_metrics: False
• save_only_model: False
• save_on_each_node: False
• enable_jit_checkpoint: False
• push_to_hub: False
• hub_private_repo: None
• hub_model_id: None
• hub_strategy: every_save
• hub_always_push: False
• hub_revision: None
• load_best_model_at_end: False
• ignore_data_skip: False
• restore_callback_states_from_checkpoint: False
• full_determinism: False
• seed: 42
• data_seed: None
• use_cpu: False
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• parallelism_config: None
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• dataloader_prefetch_factor: None
• remove_unused_columns: True
• label_names: None
• train_sampling_strategy: random
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• ddp_backend: None
• ddp_timeout: 1800
• fsdp: []
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• deepspeed: None
• debug: []
• skip_memory_metrics: True
• do_predict: False
• resume_from_checkpoint: None
• warmup_ratio: None
• local_rank: -1
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin
• router_mapping: {}
• learning_rate_mapping: {}

Framework Versions

• Python: 3.13.14
• Sentence Transformers: 5.3.0
• Transformers: 5.3.0
• PyTorch: 2.6.0+cu124
• Accelerate: 1.13.0
• Datasets: 3.6.0
• Tokenizers: 0.22.2

Citation

BibTeX

Dataset

@misc{vanes2026languagecorporadutchmedical,
      title={Language corpora for the Dutch medical domain}, 
      author={B. van Es},
      year={2026},
      eprint={2604.25374},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2604.25374}, 
}

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}