panosgriz/covid_el_paraphrase-multilingual-MiniLM-L12-v2

SentenceTransformer based on sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a sentence-transformers model finetuned from sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
• Maximum Sequence Length: 128 tokens
• Output Dimensionality: 384 tokens
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 128, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("panosgriz/covid_el_paraphrase-multilingual-MiniLM-L12-v2")
# Run inference
sentences = [
    'Η WHO συνιστά την υδροξυχλωροκίνη ως θεραπεία για το COVID-19;',
    'η συσταση αυτη βασιζεται σε 30 δοκιμες με περισσοτερους απο 10 000 ασθενεις με covid - 19. η υδροξυχλωροκινη δεν μειωσε τη θνησιμοτητα, την αναγκη η τη διαρκεια του μηχανικου εξαερισμου. η ληψη υδροξυχλωροκινης για τη θεραπεια του covid - 19 μπορει να αυξησει τον κινδυνο καρδιακων προβληματων, διαταραχων του αιματος και των λεμφαδενων, νεφρικων βλαβων, ηπατικων προβληματων και ανεπαρκειας. περισσοτερες πληροφοριες μπορουν να βρεθουν εδω. ωστοσο, τα υδροξυχλωροκινη και τα χλωροκινη ειναι ασφαλη για χρηση σε ασθενεις με αυτοανοσες ασθενειες η ελονοσια ( οχι covid - 19 ).',
    'ολα τα εμβολια με χρηση εκτακτης αναγκης who ειναι εξαιρετικα αποτελεσματικα στην προληψη σοβαρων ασθενειων, νοσηλειας και θανατου λογω covid - 19. θα πρεπει να αποδεχτειτε το εμβολιο που προσφερονται πρωτα και να εμβολιαστειτε αμεσως μολις ειναι η σειρα σας για τη μειωση του κινδυνου σας. μην καθυστερησετε να εμβολιαστειτε, εκτος εαν σας συμβουλευσει ο παροχος υγειονομικης περιθαλψης σας, καθως αυτο θα μπορουσε να σας θεσει σε κινδυνο covid - 19. το getting εμβολιαζομενο θα μπορουσε να σας σωσει τη ζωη. τον απριλιο 2020, who δημοσιευσε τα ελαχιστα κριτηρια για το ποσο αποτελεσματικα εμβολια covid - 19 θα πρεπει να ειναι για',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 1,440 training samples
• Columns: sentence_0, sentence_1, sentence_2, and label
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	sentence_2	label
  type	string	string	string	list
  details	min: 7 tokens mean: 22.63 tokens max: 60 tokens	min: 11 tokens mean: 123.43 tokens max: 128 tokens	min: 38 tokens mean: 125.83 tokens max: 128 tokens	size: 2 elements

• Samples:

  sentence_0	sentence_1	sentence_2	label
  Τι είναι το Tamiflu;	/ h3n2 ) " ειχαν ως αποτελεσμα τον θανατο περιπου 2 - 3 εκατομμυριων ανθρωπων παγκοσμιως [ 1, 2 ]. σημερα, οι απογονοι τους συνεχιζουν να προκαλουν την πλειονοτητα των λοιμωξεων απο γριπη στους ανθρωπους [ 3 ]. απο οσο εχει μαθευτει οτι το πιο αποτελεσματικο αντιικο φαρμακο ειναι ο αναστολεας της νευραμινιδασης ( na ), ο οποιος στοχευει τις γλυκοπρωτεινες να του ιου της γριπης α και β [ 4, 5 ]. η απελευθερωση νεων ιοσωματων απο το μολυσμενο κυτταρο ειναι ενα βασικο βημα στον κυκλο ζωης της γριπης και χρειαζονται νευραμινιδαση ( na ) για να	επειδη μπορει να δαπανατε ακομη περισσοτερο χρονο online απο ο, τι πριν, ειναι σοφο να γνωριζετε μερικους απο τους κινδυνους. πρωτα, να ειστε προσεκτικοι τι περιεχομενο μοιραζεστε online. επικινδυνη συμπεριφορα, οπως sexting η ανταλλαγη σεξουαλικου περιεχομενου, μπορει να σας εκθεσει σε κινδυνους εκβιασμου, παρενοχλησης και ταπεινωσης. δευτερον, δαπανωντας περισσοτερο χρονο σε απευθειας συνδεση μπορει να αυξησει τις πιθανοτητες οτι θα μπορουσε να ερθει σε επαφη με online θηρευτες που επιδιωκουν σεξουαλικα εκμεταλλευση των νεων ανθρωπων. οταν μπροστα απο καμερες φορουν καταλληλα ρουχα και να αποφευχθει η χρηση ιδιωτικων υπηρεσιων αμεσης ανταλλαγης μηνυματων στην επικοινωνια σας με τους δασκαλους. επιπλεον, ειναι σημαντικο να σημειωθει	[0.01247549057006836, -0.0069751739501953125]
  Τα κορτικοστεροειδή έχουν παρενέργειες;	οταν λαμβανονται για συντομο χρονικο διαστημα, τα κορτικοστεροειδη ειναι γενικα ασφαλη και δεν σχετιζονται με σοβαρες ανεπιθυμητες ενεργειες. τα κορτικοστεροειδη μπορουν να αυξησουν τα επιπεδα γλυκοζης στο αιμα σε ασθενεις και συνισταται σε ολα τα ατομα να παρακολουθουν το σακχαρο του αιματος τους. οι πιθανες επιπλοκες απο κορτικοστεροειδη περιλαμβανουν κακη επουλωση τραυματος, ανοσοκαταστολη ( που μπορει να αυξησει τον κινδυνο για αλλες λοιμωξεις ) και αυξημενο σακχαρο στο αιμα, το οποιο εαν δεν παρακολουθειται μπορει να οδηγησει σε διαβητικη κετοξεωση η μη ελεγχομενο διαβητη. οταν χρησιμοποιειται για μια περιοδο μεγαλυτερη των δυο εβδομαδων, τα κορτικοστεροειδη μπορει να σχετιζονται	αν ενα παιδι πρεπει να παει στο σχολειο εξαρταται απο την κατασταση της υγειας του, την τρεχουσα μεταδοση του covid - 19 στην κοινοτητα του, και τα προστατευτικα μετρα που εχει θεσπισει το σχολειο και η κοινοτητα για να μειωσει τον κινδυνο μεταδοσης covid - 19. ενω τα τρεχοντα στοιχεια δειχνουν οτι ο κινδυνος σοβαρης ασθενειας για τα παιδια ειναι μικροτερος συνολικα απο ο, τι για τους ενηλικες, μπορουν να ληφθουν ειδικες προφυλαξεις για την ελαχιστοποιηση του κινδυνου μολυνσης μεταξυ των παιδιων, και τα οφελη της επιστροφης στο σχολειο θα πρεπει επισης να εξεταστουν. συγκεκριμενα στοιχεια δειχνουν οτι τα ατομα με υποκειμενες παθησεις οπως το χρονιο αναπνευστικο ασθμα ( μεσαιο εως	[-8.302862167358398, 7.267459869384766]
  8. Τι μπορώ να κάνω για να προστατεύσω τον εαυτό μου από παραλλαγές;	για να προστατεψετε τον εαυτο σας και αλλους απο τις παραλλαγες covid - 19 : κρατηστε αποσταση τουλαχιστον 1 μετρο απο τους αλλουςφορεσε μια καλα εξοπλισμενη μασκα πανω απο το στομα και τη μυτη σουανοιξτε τα παραθυραβηχας η φτερνισου σε ενα λυγισμενο αγκωνα η ιστοκαθαριστε τα χερια σας συχναπροσεξτε να εμβολιαστειτε, μολις ειναι η σειρα σας	. τα αποτελεσματα της ερευνας παρεχουν ακριβεστερες εκτιμησεις για τα ποσοστα επιπολασμου της φυματιωσης απο ο, τι εκτιμα ο που και μπορουν να χρησιμοποιηθουν για την αξιολογηση της πιθανοτητας η κινα να επιτυχει παγκοσμιους στοχους για τον επιπολασμο της φυματιωσης. η επαρχια σαντονγκ εχει πληθυσμο 94 εκατομμυριων. ειναι μια σχετικα ανεπτυγμενη επαρχια με κατα κεφαλην αεπ 1, 6 φορες τον εθνικο μεσο ορο το 2010 [ 5 ]. το ποσοστο επικρατησης της φυματιωσης στο shandong ηταν χαμηλοτερο σε συγκριση με το μεσο ποσοστο της κινας το 2000 [ 3 ]. αντιπροσωπευτικα δειγματα πληθυσμου ληφθηκαν	[-8.404379844665527, 7.3363752365112305]

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• num_train_epochs: 20
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 20
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss
5.5556	500	0.7188
11.1111	1000	0.0506
16.6667	1500	0.0161

Framework Versions

• Python: 3.8.10
• Sentence Transformers: 3.0.1
• Transformers: 4.39.3
• PyTorch: 2.3.1+cu118
• Accelerate: 0.30.1
• Datasets: 2.20.0
• Tokenizers: 0.15.2

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}