Mykes/med-MiniLM-L12-3059

SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 384 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("Mykes/med-MiniLM-L12-3059")
# Run inference
sentences = [
    'Мне поставили диагноз аритмия. Врач назначил мне препарат Соталекс.  Пожалуйста, расскажите подробнее о этом препарате - как он действует, есть ли у него побочные эффекты и какие противопоказания? Могу ли я заниматься спортом во время приема Соталекса?',
    'байрамукова мариям хасановна; стоимость приема от: 2700 руб (средняя стоимость приема); стаж: 33 года; квалификация: врач высшей категории; учёная степень: кандидат медицинских наук; пациенты: взрослые; шаболовская, ленинский проспект, арбатская, смоленская, площадь гагарина; специальность: кардиолог, врач функциональной диагностики; специализация: тредмилтест, суточное мониторирование экг и ад, экг, фвд, стресстесты вэм, бодиплетизмография определение скорости пульсовой волнылодыжечноплечевогоиндекса расчет биологического возраста определение вариабельности ритма сердца, эхокг',
    'хабачирова марьяна салимовна; стоимость приема от: 3000 руб (средняя стоимость приема); пациенты: взрослые; тип приёма: в клинике; клиника: многопрофильная клиника кеамед; серп и молот, авиамоторная; специальность: кардиолог, врач функциональной диагностики; специализация: аритмия тахикардия, брадикардия инфаркт и последствия инфаркта гипертония атеросклероз стенокардия грудная жаба пороки сердца сердечная недостаточность основными направлениями в работе является оценка состояния',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 2,447 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 12 tokens mean: 39.83 tokens max: 128 tokens	min: 74 tokens mean: 125.95 tokens max: 128 tokens

• Samples:

  anchor	positive
  У меня участились сердцебиение и головокружения. Может ли это быть связано с нарушением ритма сердца?	соколова светлана олеговна; стоимость приема от: 3360 руб (средняя стоимость приема); стаж: 26 лет; учёная степень: кандидат медицинских наук; пациенты: взрослые; тип приёма: в клинике; клиника: медцентр столица на арбате; кропоткинская, смоленская; специальность: кардиолог, врач функциональной диагностики, аритмолог; специализация: хронической сердечной недостаточности подбор терапии, хирургическое лечение владение навыками функциональной диагностики, нарушений ритма и проводимости сердца, направление на высокотехнологичные методы лечения, ишемической болезни сердца, артериальной гипертонии, ведение пациентов
  Мне поставили диагноз гастрит. Какой препарат мне лучше принимать: Омез или Гастал? Есть ли у этих препаратов какие-то побочные эффекты? Можно ли их принимать одновременно с другими лекарствами, например, от давления?	алланазарова юлдуз худайбергановна; стоимость приема от: 2500 руб (средняя стоимость приема); стаж: 24 года; квалификация: врач высшей категории; пациенты: взрослые; клиника: московский доктор в бутово; бульвар дмитрия донского, улица старокачаловская; специальность: терапевт, гастроэнтеролог; специализация: грипп, внутрибольничные инфекции, ларингит у беременных, бронхолегочные заболевания, отравление стрихнином, отравление мышьяком, орви с кишечным синдромом у взрослых, гаргоилизм, бронхит, эрготизм терапевт аденовирус, одышка, дислипидемии, опухоль внутрибрюшных лимфоузлов, бронхоэктатическая болезнь, вирусные заболевания, бронхиолит, отравление аконитом, лихорадка, стенокардия, диабет специализируется на лечении гастроэнтеролог латиризм, нанофиетоз, отравление красавкой, хсн, орви у пожилых людей, орви при беременности, вирусные инфекции, орви, гипотония, отравление вехом ядовитым, псевдомембранозный энтероколит, дефицит цинка, токсическая гепатопатия, вирусный менингит, отравление магнием, ветрянка, ларингит у взрослых, заболевания мочевыводящих путей нефриты орви заболевания желудочнокишечного тракта эндокринные заболевания ожирение, аденовирусный менингит, стратификация и коррекция факторов риска развития сердечнососудистых осложнений заболевания органов дыхания, острая респираторная инфекция нижних, гриппозный менингит, отравление таллием, латиризм, заболевания сердечнососудистой системы гипертоническая болезнь
  У меня проблемы с пищеварением и я подозреваю у себя лактозную непереносимость. К какому врачу мне лучше обратиться - гастроэнтерологу или терапевту? Врач должен быть женщиной, прием средний по стоимости, а клиника находиться рядом с метро Ховрино.	аськина екатерина сергеевна; стоимость приема от: 2500 руб (средняя стоимость приема); стаж: 13 лет; пациенты: взрослые; тип приёма: в клинике; клиника: бест клиник на беломорской / речном вокзале; ховрино, речной вокзал, беломорская; специальность: гастроэнтеролог, терапевт; специализация: внутрибольничные инфекции, лекарственные поражения печени, бронхолегочные заболевания, дисбактериоз у беременных, дыхательной системы бронхиты, гиповитаминоз витамина в2, бронхит, гиповитаминоз d, бридость, хобл, пневмония, бронхоэктатическая болезнь, вирусные заболевания, бронхиолит, болезни лимфатических сосудов и лимфатических узлов, болезни слюнных желез, аденовирусная инфекция, ишемическая болезнь сердца заболевания суставов различные артрозы специализируется на лечении гастроэнтеролог гипервитаминоз а, бронхопневмония, воспалительный инфильтрат, врожденные аномалии, аутоиммунные заболевания, вирусные инфекции, гименоптеризм, псевдомембранозный энтероколит, анизоцитоз, ветрянка, болезнь лимфатических сосудов и лимфатических узлов неуточненная, вирусные болезни, диарея путешественников, вирусный фарингоконъюнктивит, токсическая гепатопатия терапевт аденовирус, латиризм, нематодозы, бронхиальная астма сердечнососудистой системы гипертоническая болезнь

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 612 evaluation samples
• Columns: anchor and positive
• Approximate statistics based on the first 1000 samples:

  	anchor	positive
  type	string	string
  details	min: 12 tokens mean: 39.42 tokens max: 128 tokens	min: 87 tokens mean: 126.17 tokens max: 128 tokens

• Samples:

  anchor	positive
  У меня появились проблемы с кожей. К какому врачу я могу обратиться в районе Савеловской?	бережнова ольга сергеевна; стаж: 12 лет; пациенты: взрослые; тип приёма: в клинике; клиника: будь здоров на сущевском валу; савёловская, марьина роща, савеловская; специальность: дерматолог, венеролог, дерматовенеролог; специализация: релатокс, лечение гипергидроза аппаратная косметология, ксеомин, атравматическая химимические пилинги консультации по уходу за проблемной кожей лица мезотерапия, механическая, биоревитализация плазмолифтинг контурная пластика эстетическая коррекция мимических морщин лица препаратами ботокс, лантокс, диспорт, ультразвуковая
  Мне поставили диагноз хронический гепатит. Какие препараты используются для лечения этого заболевания и есть ли возможность полностью вылечиться?	полунина татьяна евгеньевна; стоимость приема от: 35200 руб (высокая стоимость приема); стаж: 43 года; звание: профессор; учёная степень: доктор медицинских наук; специальность: гепатолог; пациенты: взрослые; тип приёма: в клинике; клиника: европейский медицинский центр в орловском пер. (емс); проспект мира, марьина роща; специализация: лечение заболеваний гастроинтестинального тракта
  У меня сильная боль в пояснице, отдающая в ногу. Возможно ли это грыжа межпозвоночного диска? Какие обследования мне нужно пройти, чтобы точно поставить диагноз? И какие методы лечения вы применяете в таких случаях?	крайнов сергей анатольевич; стоимость приема от: 1733 руб (средняя стоимость приема); стаж: 44 года; квалификация: врач высшей категории; учёная степень: кандидат медицинских наук; пациенты: взрослые; тип приёма: в клинике; клиника: клиника неврологии и ортопедии здравклиник на октябрьской; октябрьская, добрынинская; специальность: ортопед, вертебролог, травматолог, артролог; специализация: вальгусная деформация, болезни костно мышечной системы и соединительной ткани, воспалительные спондилопатии, первичный гонартроз, грыжа позвоночника поясничного отдела, коленный артрит, грыжа шморля, грыжа беккера под коленом, артроз, анкилоз, бурсит, бурсит плеча, люмбаго с ишиасом, грыжа, артроз коленного сустава, артропатия, грыжа позвоночника, бурсит локтевого сустава, латеральный эпикондилит, стеноз позвоночного канала ещё ортопед адгезивный капсулит, спондилез поясничнокрестцового отдела позвоночника, контрактура, первичный генерализованный остеоартроз, вторичные коксартрозы, контрактура сустава, поражение костей и суставных хрящей, спондилолиз, сколиоз артрогрипоз спондилез грудного, декомпрессионная болезнь, гемартроз, коксартроз 2 степени, грыжа шейного отдела позвоночника, кифосколиоз, нестабильность коленного, коксартроз 3 степени, бурсит коленного сустава, спондилез грудного отдела позвоночника, киста тазобедренного сустава, грыжа ещё травматолог артроз неуточненный, миозит неуточненный, вторичный гонартроз, киста кости, межпозвоночная грыжа поясничнокрестцового отдела позвоночника, смещение позвонков, болезни костей, спондилез, бурсит большого вертела, бурситы бедра, поясничнокрестцового отдела позвоночника смещение позвонков косолапость косорукость кривошея растяжение связок стопы синовит тендинит плоскостопие кифосколиоз межпозвоночная грыжа поясничнокрестцового отдела позвоночника секвестрированная грыжа позвоночника поясничного отдела спинномозговая грыжа hallux valgus анкилоз арахнодактилия ахиллобурсит ахондроплазия болезнь горхема вальгусная деформация стопы у детей клинодактилия коксартроз суставов врожденная мышечная кривошея гемартроз гематогенный остеомиелит грыжи локтевой стилоидит дисплазия суставов контрактура контрактура дюпюитрена лордоз остеопороз пикнодизостоз мелореостоз молоткообразная деформация пальцев стопы мраморная болезнь нарушения осанки остеобластокластома остеомаляция плоскостопие вывихи полидактилия артрит склеродактилия хондродисплазия ахиллобурсит бурсит гемартроз растяжение специализируется на лечении артролог артрит, варусная деформация, поражения суставов вертебролог болезнь бехтерева, артроз неуточненный, обострение грыжи поясничного отдела, внутренние поражения колена, сколиоз, артроз первого запястно пястного сустава, мышечная деформация, наружное искривление большого пальца, заболевания суставов, грыжа шморля поясничного отдела позвоночника, бурсит локтевого отростка, гематома, грыжа между 4 и 5 позвонком, вторичный артроз суставов

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• num_train_epochs: 10.0

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 8
• per_device_eval_batch_size: 8
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 10.0
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss
1.6340	500	0.8112
3.2680	1000	0.4466
4.9020	1500	0.3019
6.5359	2000	0.1975
8.1699	2500	0.1457
9.8039	3000	0.094
1.6340	500	0.1258
3.2680	1000	0.0681
4.9020	1500	0.0522
6.5359	2000	0.0331
8.1699	2500	0.0303
9.8039	3000	0.0296
1.6340	500	0.034
3.2680	1000	0.0197
4.9020	1500	0.0202
6.5359	2000	0.01
8.1699	2500	0.0085
9.8039	3000	0.0147

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 3.0.1
• Transformers: 4.42.4
• PyTorch: 2.4.0+cu121
• Accelerate: 0.32.1
• Datasets: 2.21.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}