lfcc/medlink-bi-encoder

SentenceTransformer based on neuralmind/bert-base-portuguese-cased

This is a sentence-transformers model finetuned from neuralmind/bert-base-portuguese-cased. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: neuralmind/bert-base-portuguese-cased
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("lfcc/medlink-bi-encoder")
# Run inference
sentences = [
    'A síndrome da Secreção Inapropriada da Hormona Antidiurética (SIADH) é uma das causas de hiponatremia euvolémica. A hidrocefalia de pressão normal (HPN) pode ser uma causa neurológica para SIADH e o seu diagnóstico e correção são fundamentais para a normalização dos níveis de sódio. Relatamos o caso de uma mulher de 67 anos, com hiponatremia crónica, marcha de base alargada, urgência miccional e sensação de perda de memória, sem evidência de sobrecarga hídrica ou desidratação. O estudo complementar revelou osmolaridade sérica normal, osmolaridade urinária elevada, sódio urinário elevado. Após restrição hídrica, houve melhoria da hiponatremia. Imagiologicamente documentou-se presença de membrana aqueductal causando obstrução ao fluxo do líquido cefalorraquidiano. O diagnóstico de SIADH em contexto de HPN foi presumido. Após correção cirúrgica houve resolução completa da hiponatremia. Hoje sabe-se que existem formas secundárias raras de HPN, sendo estas causadas por estenose ou obstrução aqueductal, como relatado no caso apresentado.',
    'A síndrome de secreção inapropriada da hormona anti-diurética (SIADH) é uma causa frequente de hiponatrémia, sendo um diagnóstico de exclusão. Quando associada à infeção pelo vírus varicella zoster é mais frequente na sua forma disseminada. Os autores descrevem o caso de uma mulher de 83 anos, com quadro com 7 dias de evolução de síndrome confusional flutuante, desorientação temporo-espacial e tonturas. Medicada com brivudina, aciclovir tópico e ofloxacina gotas para tratamento de herpes zóster com atingimento dos ramos oftálmico e mandibular do nervo trigémeo. À admissão, com hiponatrémia de 128mmol/L. Excluídas outras causas, assumiu-se o diagnóstico de SIADH associado a infeção por herpes. O caso descrito sugere uma relação causal entre a reactivação por VZV e a SIADH sintomática. A favor, temos a resolução completa da hiponatrémia a acompanhar a melhoria clínica. O presente caso torna-se importante por se tratar de uma entidade rara, pouco conhecida e subdiagnosticada, mas com efeitos clínicos importantes.',
    'Resumo A ceftriaxona, um dos antibióticos mais frequentementeutilizados na prática clínica, tem como efeito adverso, raro epotencialmente grave, a agranulocitose. Reportamos um caso de uma mulher de 85 anos em esquema terapêutico prolongado com ceftriaxona para endocardite por Streptococcus bovis, que desenvolve agranulocitose ao 25º dia de antibioterapia, com nadir de contagem absoluta de neutrófilos de 0/uL. Outras causas potenciais foram excluídas. A terapêutica antibiótica foi alterada para amoxicilina/ácido clavulânico e realizou ciclo de fator estimulador de colónias de granulócitos, com resolução da neutropenia após 3 dias. Queremos destacar este efeito adverso raro com o uso prolongado da ceftriaxona,salientando a necessidade de monitorização regulardas contagens de leucócitos. O tratamento desta condiçãopassa pela suspensão do agente causal e o uso transitório de factor estimulador de colónias de granulócitos até resolução da neutropenia.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Semantic Similarity

• Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.6875
spearman_cosine	0.6856
pearson_manhattan	0.6476
spearman_manhattan	0.6532
pearson_euclidean	0.6497
spearman_euclidean	0.6545
pearson_dot	0.679
spearman_dot	0.6848
pearson_max	0.6875
spearman_max	0.6856

Semantic Similarity

• Dataset: sts-test
• Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.6908
spearman_cosine	0.6895
pearson_manhattan	0.6493
spearman_manhattan	0.6547
pearson_euclidean	0.6513
spearman_euclidean	0.6544
pearson_dot	0.6817
spearman_dot	0.6882
pearson_max	0.6908
spearman_max	0.6895

Semantic Similarity

• Dataset: sts-test
• Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.6908
spearman_cosine	0.6895
pearson_manhattan	0.6493
spearman_manhattan	0.6547
pearson_euclidean	0.6513
spearman_euclidean	0.6544
pearson_dot	0.6817
spearman_dot	0.6882
pearson_max	0.6908
spearman_max	0.6895

Training Details

Training Dataset

spmi_dataset

• Size: 1,540 training samples
• Columns: abstract1, abstract2, and score
• Approximate statistics based on the first 1000 samples:

  	abstract1	abstract2	score
  type	string	string	float
  details	min: 8 tokens mean: 189.72 tokens max: 512 tokens	min: 8 tokens mean: 211.52 tokens max: 512 tokens	min: 0.0 mean: 0.33 max: 1.0

• Samples:

  abstract1	abstract2	score
  A dissecção aórtica aguda é uma emergência cardiovascular potencialmente fatal. É necessário um elevado grau de suspeição clínica para o seu diagnóstico, pois apresenta sintomas inespecíficos e mimetiza outras patologias. A maioria dos doentes tem dor torácica severa, com irradiação posterior e início abrupto, porém alguns são assintomáticos ou têm apresentações atípicas (cerca de 10%), que levam a diagnósticos tardios e a um pior prognóstico. A taxa de mortalidade é elevada, sendo superior a 50% se não for tratada. Apresenta-se o caso de um homem de 43 anos, admitido no serviço de urgência por dispneia de início súbito, sem dor torácica, uma apresentação rara de dissecção aórtica, com o objetivo de alertar para os fatores de risco e alterações do exame físico e nos exames auxiliares de diagnóstico da avaliação inicial que podem levantar a suspeita clínica e o diagnóstico precoce.	Resumo O baço possui funções imunológicas e hematológicas importantes. A esplenectomia está indicada na esferocitose hereditária, doença em que os eritrócitos são destruídos no baço por defeitos estruturais. Doentes esplenectomizados apresentam risco aumentado de infeção e de infeção fulminante pós-esplenectomia, que se caracteriza por um quadro inicial de febre, mialgias, cefaleia e vómitos. As bactérias Capnocytophaga colonizam a mucosa oral, podendo causar infeções oportunistas em doentes esplenectomizados. Os autores identificam o caso de um doente de 38 anos, esplenectomizado, que recorreu ao Serviço de Urgência por febre, vómitos e mialgias. As hemoculturas mostraram o crescimento de Capnocytophaga spp. Apesar das medidas instituídas, o doente evoluiu rapidamente para choque séptico, culminando na sua morte. Os autores pretendem alertar para esta condição rara associada a alta mortalidade, com o objetivo de aumentar a sobrevivência destes doentes, através da identificação e intervenção imediatas.	0.0
  A complexidade das doenças auto-imunes, caracterizadas por uma marcada heterogeneidade fenotípica e imunológica, tem o seu paradigma na sobreposição de perfis de auto-anticorpos e de manifestações clínicas de diferentes doenças num mesmo indivíduo. Os autores descrevem o caso de uma doente que, ao longo de doze anos de evolução de doença, cumpre critérios de classificação de quatro doenças auto-imunes diferentes, nomeadamente, Lúpus Eritematoso Sistémico, Esclerose Sistémica, Síndrome de Sjogrën e Colangite Biliar Primária. A sobreposição de perfis de auto-anticorpos, bem como de distintos fenótipos de diferentes doenças representam um desafio no diagnóstico, seguimento e tratamento destes doentes.	A esclerose sistémica (ES) é uma doença autoimune que pode afetar qualquer faixa etária, sendo pouco frequente após os 65 anos. O início da doença em idade geriátrica apresenta um fenótipo com diferentes aspetos quanto às manifestações clinicas, envolvimento orgânico e prognóstico. Descrevemos um caso clínico invulgar de uma doente com diagnóstico de ES estabelecido aos 87 anos, apresentando como manifestação inicial poliartralgias inflamatórias das mãos. O diagnóstico nesta faixa etária é particularmente desafiador, tendo sido estabelecido clinicamente e complementado com o resultado da capilaroscopia, apesar da doente apresentar auto-anticorpos específicos negativos. A doente realizou estudo do envolvimento visceral baseado em sintomas. Apesar da literatura descrever maior envolvimento orgânico na ES de inicio em idade avançada, a nossa doente não demonstrou marcado compromisso orgânico. A multidisciplinaridade envolvendo a Medicina Interna, a Reumatologia e a Fisiatria permitiram elaborar um plano terapêutico adequado, apresentando evolução clínica e funcional favorável.	0.65
  As enteropatias perdedoras de proteínas (EPP) caracterizam-se por uma perda proteica excessiva a nível do trato digestivo, podendo condicionar hipoproteinémia, edemas, bem como uma predisposição aumentada a infeções.1 As causas mais frequentes são a obstrução linfática, patologias gástricas, intestinais ou cardíacas. Neste caso clínico é descrito uma etiologia incomum de EPP, a pericardite constritiva (PC).2 Trata-se de um homem de 54 anos, com múltiplos internamentos por edemas generalizados e erisipelas de repetição, cuja investigação etiológica revelou uma EPP, causada por PC.	Resumo A enteropatia perdedora de proteínas (EPP) caracteriza-se pela presença de edema generalizado e hipoalbuminemiagrave, secundários à perda proteica através do trato gastrointestinal. Os autores reportam um caso de enteropatia perdedora de proteínas secundária a lupus eritematoso sistémico (LES), como a manifestação inicial desta doença. A doente relatava um quadro pautado por 4 meses de diarreia aquosa, não sanguinolenta, (com um máximo de 10 dejeções diárias), e perda ponderal significativa. Posteriormente desenvolveu marcado edema periférico e rash cutâneo malar e maculopapular ao nível do tórax e membros. Analiticamente apresentava anemia, hipoalbuminemia grave, hipocaliémia e hipomagnesémia. No decurso da investigação foram excluídas proteinúria eoutras causas de hipoalbuminemia. Após resultados como a pesquisa de anticorpos anti-nucleares e anti-ribonucleoproteinas positiva foi assumido o diagnóstico de EPP secundária ao LES. A doente foi tratada com pulsos de Metilprednisolona 1000 mg/dia durante 3 dias, seguido de prednisolona 1 mg/kg/dia, com boa resposta clínica. Após 20 dias, foi adicionada Azatioprina e iniciado o desmame de corticoides. O presente caso clínico destaca uma EPP como forma deapresentação do LES, cujo diagnóstico pode passar despercebido, tendo em conta a sua raridade, e acarretar um aumento da morbilidade e mortalidade.	0.65

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Evaluation Dataset

spmi_dataset

• Size: 386 evaluation samples
• Columns: abstract1, abstract2, and score
• Approximate statistics based on the first 386 samples:

  	abstract1	abstract2	score
  type	string	string	float
  details	min: 9 tokens mean: 193.97 tokens max: 512 tokens	min: 8 tokens mean: 203.56 tokens max: 512 tokens	min: 0.0 mean: 0.33 max: 0.95

• Samples:

  abstract1	abstract2	score
  Resumo A síndrome de lise tumoral é a uma emergência médica potencialmente fatal decorrente da lise celular maciça que ocorre em neoplasias malignas com grande carga tumoral. Ocorre sobretudo em neoplasias hematológicas sob quimioterapia, sendo menos frequente em tumores sólidos, os quais apresentam geralmente um menor índice proliferativo. A síndrome de lise tumoral no carcinoma hepatocelular tratado com sorafenib, um inibidor oral multicinase, é extremamente rara, descrevendo-se apenas nove casos na literatura. Tanto quanto sabemos, não existem casos descritos na população europeia. Apresentamos um caso de síndrome de lise tumoral num doente com carcinoma hepatocelular multifocal sob tratamento com sorafenib e infeção SARS-CoV-2.	Resumo A púrpura trombocitopénica imune (PTI) é uma condição autoimune na qual anticorpos patogénicos se ligam às plaquetas, acelerando sua eliminação da circulação. Este caso é sobre uma mulher de 65 anos com fadiga, mialgias e púrpura cutânea localizada nas pernas, com início de sinais e sintomas 2 dias após vacinação com vacina SARS-CoV-2 da Moderna®. Um mês antes, a contagem de plaquetas era de 157x10^9/L. À admissão, a contagem de plaquetas era de 5x10^9/L, com trombocitopénia grave confirmada em esfregaço de sangue periférico. Recebeu prednisolona 1 mg/kg/dia. Após 7 dias, a contagem de plaquetas era de 45x10^9/L com resolução dos sintomas. Estudo de autoimunidade, hormonas tiroideias, coagulação, eletroforese de proteínas e testes sorológicos foram normais. Considerou-se provável relação causa-efeito da vacinação e aparecimento da clínica. O INFARMED considerou provável a relação com a vacina Moderna®, tratando-se do primeiro caso em Portugal.	0.85
  A cetoacidose diabética euglicemica (CADEu) é uma complicação potencialmente fatal da diabetes mellitus (DM), associada à medicação com inibidores do cotransportador sódio-glucose 2 (iSGLT2). Pode ser difícil de identificar devido à ausência de hiperglicemia. Homem com DM tipo 2, 71 anos, medicado com empagliflozina recorreu ao serviço de urgência por mal-estar geral e anúria. Estava prostrado, confuso, hipotenso, com respiração de Kussmaul. Analiticamente apresentou leucocitose, PCR de 202mg/dl, acidose metabólica grave com aumento do hiato aniónico, glicémia de 141 mg/dL e leucocitúria. Estes resultados poderiam ter sido interpretados no contexto infecioso urinário grave. Após consideração dos antecedentes medicamentosos e achados clínicos foi verificada uma cetonemia indoseavelmente alta que estabeleceu o diagnóstico de CADEu e permitiu início do tratamento dirigido com resolução da clínica. Os doentes medicados com iSGLT2 com doença aguda devem beneficiar de gasimetria arterial e medição da cetonemia de forma a garantir um diagnóstico precoce e tratamento atempado.	A sarcoidose é uma doença inflamatória sistémica caracterizada pela formação de granulomas não caseosos. Múltiplas podem ser as suas formas de manifestação clínica, sendo a síndroma de Heerfort-Waldenstrom uma forma de manifestação rara, encontrada em apenas 0.3% dos casos e caracterizada pelo aparecimento de parésia facial, tumefação parotídea, uveíte anterior e febre. Por vezes cursa com formas incompletas como no caso que descrevemos de uma mulher de 50 anos, sem antecedentes patológicos de relevo, que se apresenta com parésia e hipostesia da hemiface esquerda e disfagia para sólidos, tendo sido diagnosticada uma parésia facial periférica esquerda com exclusão imagiológica de evento neurológico vascular agudo. Foi medicada com deflazacorte e brivudina com melhoria da sintomatologia. Após término da corticoterapia retoma o quadro de disfagia, agora para sólidos e líquidos, parésia e hipostesia da hemiface direita com documentação ao exame objectivo de parésia facial periférica direita e hipertrofia parotídea bilateral. Analiticamente apresentava elevação sérica da enzima de conversão da angiotensina de 72.5U/L. A ressonância magnética cerebral demonstrava pequenas áreas de hipersinal em T2 na substância branca subcortical frontal, parietal direita, temporal esquerda e na transição caloso septal à esquerda, com líquor sem alterações citoquímicas. A TC toracoabdominopélvica mostrava múltiplas adenomegalias mediastínicas e hilares. A biópsia de um gânglio retro-auricular com retalhos de glândula salivar (parótida) evidenciava um processo inflamatório granulomatoso sem necrose caseosa, com imunofenotipagem sem alterações. O lavado broncoalveolar revelou linfocitose intensa e relação CD4/CD8 elevada (9.4). Foi iniciada corticoterapia e fisioterapia com melhoria da parésia facial e da clínica orofaríngea, sem recorrência. Relatamos assim um caso de neurosarcoidose sob a forma incompleta, pela ausência de atingimento ocular, de síndroma de Heefort-Waldenstrom.	0.0
  A hipertrofia ventricular esquerda no adulto, achado frequente e muitas vezes fortuito, pode dever-se a condições de sobrecarga de pressão ventricular, hipertrofia dos miócitos de causa genética ou acumulação patológica de substâncias intra ou extra-celulares. As implicações terapêuticas e prognósticas das várias etiologias são muito distintas pelo que se torna essencial a busca do diagnóstico específico. Apresenta-se um caso de hipertrofia ventricular esquerda assintomática que após uma marcha diagnóstica sistemática se revelou como miocardiopatia hipertrófica sarcomérica de início tardio. Por vários dos exames complementares de diagnóstico terem sido equívocos ou inconclusivos, é um caso demonstrativo de que, por vezes, só a abordagem completa e exaustiva permite chegar ao diagnóstico definitivo. Partindo de um exemplo real e tendo por base as recomendações da Sociedade Europeia de Cardiologia, esquematizou-se uma abordagem diagnóstica faseada desta patologia.	A síndrome Mounier-Kuhn é uma doença rara, caracterizada pela dilatação marcada da traqueia e brônquios, sem etiologia completamente esclarecida. Descrevemos o caso clínico de um homem de 48 anos de idade, com história prévia de infeções respiratórias de repetição de longa data, admitido no serviço de urgência com clínica compatível com nova infeção respiratória e elevação de parâmetros inflamatórios. A tomografia computorizada revelou achados sugestivos da síndrome em questão. O diagnóstico da Síndrome Mounier-Kuhn passa frequentemente despercebido sendo muitas vezes confundido com outras entidades. O seu diagnóstico é com frequência acidental e os exames radiológicos assumem um papel indispensável. O tratamento desta entidade é essencialmente de suporte.	0.0

• Loss: CosineSimilarityLoss with these parameters:

  {
      "loss_fct": "torch.nn.modules.loss.MSELoss"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• num_train_epochs: 10
• warmup_ratio: 0.1
• fp16: True
• load_best_model_at_end: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 10
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: True
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss	Validation Loss	spearman_cosine	sts-test_spearman_cosine
0.5181	100	0.1677	0.1109	0.3495	-
1.0363	200	0.0986	0.1124	0.3727	-
1.5544	300	0.0742	0.1074	0.4131	-
2.0725	400	0.068	0.0850	0.5223	-
2.5907	500	0.0411	0.0816	0.5471	-
3.1088	600	0.035	0.0766	0.5903	-
3.6269	700	0.0197	0.0675	0.6320	-
4.1451	800	0.0214	0.0697	0.6253	-
4.6632	900	0.0117	0.0668	0.6467	-
5.1813	1000	0.0101	0.0655	0.6491	-
5.6995	1100	0.0066	0.0604	0.6800	-
6.2176	1200	0.0057	0.0605	0.6776	-
6.7358	1300	0.0037	0.0606	0.6765	-
7.2539	1400	0.003	0.0603	0.6760	-
7.7720	1500	0.0027	0.0587	0.6872	-
8.2902	1600	0.0019	0.0588	0.6862	-
8.8083	1700	0.0018	0.0584	0.6895	-
9.3264	1800	0.0016	0.0587	0.6871	-
9.8446	1900	0.0014	0.0589	0.6856	-
10.0	1930	-	-	-	0.6895

• The bold row denotes the saved checkpoint.