Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Paper • 1908.10084 • Published • 19
How to use AlexKarap/Finetuned_lighteternal with sentence-transformers:
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("AlexKarap/Finetuned_lighteternal")
sentences = [
"της Εταιρείας ή αν συντρέχουν λόγοι ανωτέρας βίας. Στον Ανάδοχο που κηρύσσεται έκπτωτος από τη Σύμβαση, επιβάλλονται, με απόφαση του αποφαινόμενου οργάνου, ύστερα από γνωμοδότηση του αρμόδιου οργάνου, το οποίο υποχρεωτικά καλεί τον ενδιαφερόμενο προς παροχή εξηγήσεων, αθροιστικά οι παρακάτω κυρώσεις: α) ολική κατάπτωση της εγγύησης καλής εκτέλεσης της Σύμβασης. β) είσπραξη εντόκως της προκαταβολής που χορηγήθηκε στον έκπτωτο από τη σύμβαση Ανάδοχο, είτε από ποσόν που δικαιούται να λάβει, είτε με κατάθεση του ποσού από τον ίδιο, είτε με κατάπτωση της εγγύησης προκαταβολής. Ο υπολογισμός των τόκων γίνεται από την ημερομηνία λήψης της προκαταβολής από τον Ανάδοχο μέχρι την ημερομηνία έκδοσης της απόφασης κήρυξής του ως εκπτώτου, με το ισχύον κάθε φορά ανώτατο όριο επιτοκίου για τόκο από δικαιοπραξία, από την ημερομηνία δε αυτή και μέχρι της επιστροφής της, με το ισχύον κάθε φορά επιτόκιο για τόκο υπερημερίας. Επιπλέον,",
"Η σύμβαση περιλαμβάνει ρήτρες για έκτακτες περιστάσεις που αφορούν την Εταιρεία ή ανωτέρα βία. Σε περίπτωση έκπτωσης του αναδόχου, εφαρμόζεται σύστημα κυρώσεων κατόπιν σχετικής διαδικασίας. Συγκεκριμένα, επιβάλλονται στον έκπτωτο ανάδοχο οι εξής κυρώσεις αθροιστικά: α) πλήρης κατάπτωση της εγγύησης καλής εκτέλεσης και β) είσπραξη με τόκους της προκαταβολής που έλαβε, είτε από δικαιούμενο ποσό, είτε μέσω κατάθεσης από τον ίδιο, είτε με κατάπτωση της εγγύησης προκαταβολής. Ο υπολογισμός των τόκων γίνεται σε δύο φάσεις: αρχικά μέχρι την απόφαση έκπτωσης με βάση το ανώτατο όριο επιτοκίου για δανεισμό, και στη συνέχεια με επιτόκιο υπερημερίας από τη δημοσίευση της απόφασης έκπτωσης.",
"Η σύμβαση προβλέπει ειδικές διατάξεις για έκτακτες καταστάσεις όπως ανωτέρα βία που αφορούν την Εταιρεία. Σε περίπτωση που ο ανάδοχος κηρυχθεί έκπτωτος, ακολουθείται συγκεκριμένη διαδικασία επιβολής κυρώσεων. Συγκεκριμένα, μετά από απόφαση του αρμόδιου οργάνου κατόπιν γνωμοδότησης και κλήσης σε εξηγήσεις του αναδόχου, επιβάλλονται οι ακόλουθες κυρώσεις: α) πλήρης κατάπτωση της εγγύησης καλής εκτέλεσης και β) είσπραξη με τόκους της προκαταβολής που έλαβε ο έκπτωτος ανάδοχος. Οι τόκοι υπολογίζονται ως εξής: από την ημερομηνία λήψης της προκαταβολής μέχρι την απόφαση έκπτωσης βάσει του ανώτατου επιτοκίου για δανεισμό, και στη συνέχεια με το επιτόκιο υπερημερίας.",
"Σε περίπτωση που η Εταιρεία ή συντρέχουν λόγοι ανωτέρας βίας, εφαρμόζονται ειδικοί όροι. Για τον ανάδοχο που κηρύσσεται έκπτωτος από τη σύμβαση, προβλέπονται κυρώσεις μετά από απόφαση του αρμόδιου οργάνου και σχετική γνωμοδότηση. Συγκεκριμένα, επιβάλλονται αθροιστικά οι εξής ποινές: α) πλήρης κατάπτωση της εγγύησης καλής εκτέλεσης της σύμβασης και β) είσπραξη με τόκους της προκαταβολής που δόθηκε στον έκπτωτο ανάδοχο, είτε από ποσό που δικαιούται να λάβει, είτε μέσω κατάθεσης από τον ίδιο, είτε με κατάπτωση της εγγύησης προκαταβολής. Οι τόκοι υπολογίζονται από την ημερομηνία λήψης της προκαταβολής μέχρι τη δημοσίευση της έκπτωσης, με βάση το ανώτατο όριο επιτοκίου για δανεισμό, και από εκεί και έπειτα με το επιτόκιο υπερημερίας."
]
embeddings = model.encode(sentences)
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [4, 4]This is a sentence-transformers model finetuned from lighteternal/stsb-xlm-r-greek-transfer. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
SentenceTransformer(
(0): Transformer({'max_seq_length': 400, 'do_lower_case': False}) with Transformer model: XLMRobertaModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
'απαιτεί από τον οικονομικό φορέα να αντικαταστήσει ένα φορέα που δεν πληροί σχετικό κριτήριο επιλογής ή για τον οποίο συντρέχουν λόγοι αποκλεισμού των παραγράφων 1, 2 και 4 του άρθρου 73, τους οποίους ανέφερε ο αναθέτων φορέας. Ο αναθέτων φορέας μπορεί να απαιτήσει από τον οικονομικό φορέα την αντικατάσταση φορέα για τον οποίον συντρέχουν λόγοι αποκλεισμού της παρ. 6 του άρθρου 73. Άρθρο 309 Πρότυπα διασφάλισης ποιότητας και πρότυπα περιβαλλοντικής διαχείρισης (άρθρο 81 της Οδηγίας 2014/25/ΕΕ) 1. Οι αναθέτοντες φορείς, εάν απαιτούν την προσκόμιση πιστοποιητικών που εκδίδονται από ανεξάρτητους οργανισμούς που βεβαιώνουν ότι ο οικονομικός φορέας συμμορφώνεται με ορισμένα πρότυπα διασφάλισης ποιότητας, συμπεριλαμβανομένης της προσβασιμότητας για άτομα με ειδικές ανάγκες, παραπέμπουν σε συστήματα διασφάλισης ποιότητας, βασιζόμενα στη σχετική σειρά ευρωπαϊκών προτύπων που έχουν πιστοποιηθεί από διαπιστευμένους οργανισμούς. Οι',
'Η απαίτηση αντικατάστασης οικονομικού φορέα από τον αναθέτοντα ισχύει όταν ο αρχικός φορέας δεν πληροί τα κριτήρια επιλογής ή υπόκειται σε λόγους αποκλεισμού των παραγράφων 1,2 και 4 του άρθρου 73. Επιπλέον, προβλέπεται η αντικατάσταση για φορείς που εμπίπτουν στην παράγραφο 6 του ίδιου άρθρου. Παράλληλα, το άρθρο 309 της Οδηγίας 2014/25/ΕΕ ορίζει ότι οι αναθέτοντες φορείς μπορούν να ζητούν πιστοποιητικά από ανεξάρτητους οργανισμούς που επιβεβαιώνουν τη συμμόρφωση με πρότυπα διασφάλισης ποιότητας, συμπεριλαμβανομένων των προδιαγραφών προσβασιμότητας για ΑμεΑ. Τα εν λόγω συστήματα πρέπει να βασίζονται στη σχετική σειρά ευρωπαϊκών προτύπων και να έχουν πιστοποιηθεί από διαπιστευμένους οργανισμούς.',
'Σύμφωνα με τις διατάξεις του σχετικού νομικού πλαισίου, ο οικονομικός φορέας ενδέχεται να υποχρεωθεί να αντικαταστήσει έναν άλλο φορέα που δεν πληροί τα κριτήρια επιλογής ή έχει λόγους αποκλεισμού (παραγράφους 1,2 και 4 του άρθρου 73), όπως θα προσδιορίσει ο αναθέτων φορέας. Επιπλέον, υπάρχει πρόβλεψη για αντικατάσταση σε περιπτώσεις φορέων με αποκλεισμούς της παραγράφου 6 του ίδιου άρθρου. Το άρθρο 309 ρυθμίζει επίσης τις απαιτήσεις για πρότυπα διασφάλισης ποιότητας και περιβαλλοντικής διαχείρισης, όπου οι αναθέτοντες φορείς μπορούν να ζητούν βεβαιώσεις από ανεξάρτητους οργανισμούς. Οι οργανισμοί αυτοί πρέπει να πιστοποιούν τη συμμόρφωση με συγκεκριμένα ευρωπαϊκά πρότυπα, συμπεριλαμβανομένων των προδιαγραφών προσβασιμότητας, μέσω διαπιστευμένων φορέων πιστοποίησης.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
sentence_0, sentence_1, sentence_2, and sentence_3| sentence_0 | sentence_1 | sentence_2 | sentence_3 | |
|---|---|---|---|---|
| type | string | string | string | string |
| details |
|
|
|
|
| sentence_0 | sentence_1 | sentence_2 | sentence_3 |
|---|---|---|---|
AAF-41473 ΥΠΗΡ. KUBERNETES D4d v4 AAF-41473 0,346080 € 20 12 € 252,64 € 5.052,77 € 60.633,28 AAD-97908 ΥΠΗΡ. KUBERNETES E4a v4 AAD-97908 0,230522 € 20 8 € 168,28 € 3.365,62 € 26.924,98 AAD-97860 ΥΠΗΡ. KUBERNETES E4a v4 AAD-97860 0,370557 € 20 8 € 270,51 € 5.410,13 € 43.281,03 AAF-41462 ΥΠΗΡ. KUBERNETES D8d v4 AAF-41462 0,412776 € 50 8 € 301,33 € 15.066,32 € 120.530,59 AAF-39606 ΥΠΗΡ. KUBERNETES D8d v4 AAF-39606 0,692262 € 16 8 € 505,35 € 8.085,62 € 64.684,93 AAF-39351 ΥΠΗΡ. KUBERNETES E8d v4 AAF-39351 0,525179 € 16 8 € 383,38 € 6.134,09 € 49.072,71 AAF-41218 ΥΠΗΡ. KUBERNETES E8d v4 AAF-41218 0,805139 € 16 8 € 587,75 € 9.404,02 € 75.232,18 AAF-39078 ΥΠΗΡ. KUBERNETES D16d v4 AAF-39078 0,826389 € 16 6 € 603,26 € 9.652,22 € 57.913,33 AAF-40458 ΥΠΗΡ. KUBERNETES D16d v4 AAF-40458 1,386185 € 16 6 € 1.011,92 € 16.190,65 € 97.143,88 AAF-40077 ΥΠΗΡ. KUBERNETES E16d v4 AAF-40077 1,050410 € 8 6 € 766,80 € 6.134,39 € 36.806,36 AAF-39057 ΥΠΗΡ. KUBERNETES E16d v4 AAF-39057 1,609450 € 8 6 € 1.174,90 €... |
Μια λίστα με υπηρεσίες Kubernetes που περιλαμβάνει διάφορους τύπους (D4d, E4a, D8d, κ.λπ.) και κωδικούς (AAF-41473, AAD-97908, κλπ.). Κάθε υπηρεσία έχει συγκεκριμένα χαρακτηριστικά όπως τιμή (0,346080€ έως 1,651928€), αριθμό κόμβων (από 6 έως 50), κόστος ανά κόμβο (8€ ή 20€) και συνολικό κόστος. Τα συνολικά ποσά κυμαίνονται από 26.924,98€ έως 120.530,59€. |
Συγκεντρωτικά στοιχεία για υπηρεσίες cloud τύπου Kubernetes με διαφορετικές προδιαγραφές. Οι κωδικοί ταυτοποίησης των υπηρεσιών είναι μοναδικοί (π.χ. AAF-41473, AAD-97860). Τα βασικά μεγέθη που καταγράφονται είναι το κόστος ανά μονάδα (0,230522€ έως 1,651928€), η κλιμάκωση σε κόμβους (από 6 έως 50) και οι υπολογισμοί κόστους για συγκεκριμένα χρονικά διαστήματα. |
Καταγραφή υπηρεσιών Kubernetes με λεπτομερή οικονομικά στοιχεία. Κάθε υπηρεσία χαρακτηρίζεται από έναν μοναδικό κωδικό (π.χ. AAF-41462, AAD-97860). Τα δεδομένα περιλαμβάνουν το κόστος ανά μονάδα υπηρεσίας (σε ευρώ), τον αριθμό των διαθέσιμων κόμβων (από 6 έως 50) και την τιμή ανά κόμβο (διαφορετική για κάθε τύπο υπηρεσίας). Το συνολικό κόστος υπολογίζεται με βάση αυτούς τους παράγοντες και κυμαίνεται σε σημαντικά ποσά. |
διορθωθούν/συμπληρωθούν από τον Ανάδοχο εντός της προθεσμίας της παρούσας. Στην περίπτωση που διαπιστωθεί ότι δεν επηρεάζεται η καταλληλότητα, µε αιτιολογημένη απόφαση του αρμόδιου αποφαινόμενου οργάνου, μπορεί να εγκριθεί η παραλαβή των εν λόγω παρεχόμενων υπηρεσιών ή/και παραδοτέων, µε έκπτωση επί της συμβατικής αξίας, η οποία θα πρέπει να είναι ανάλογη προς τις διαπιστωθείσες παρεκκλίσεις. Μετά την έκδοση της ως άνω απόφασης, η επιτροπή παραλαβής υποχρεούται να προβεί στην οριστική παραλαβή των παρεχόμενων υπηρεσιών ή/και παραδοτέων της σύμβασης και να συντάξει σχετικό πρωτόκολλο οριστικής παραλαβής, σύμφωνα µε τα αναφερόμενα στην απόφαση. Κατά την εκτέλεση της σύμβασης, ο «Ανάδοχος» δηλώνει δια της παρούσης, πως τηρεί τις υποχρεώσεις στους τομείς του περιβαλλοντικού, κοινωνικοασφαλιστικού και εργατικού δικαίου, που έχουν θεσπιστεί με το δίκαιο της Ένωσης, το εθνικό δίκαιο, τις συλλογικές συμβάσεις ή τις διεθνείς |
Ο Ανάδοχος οφείλει να προβεί σε διορθώσεις/συμπληρώσεις εντός των χρονικών ορίων του παρόντος συμφωνητικού. Σε περίπτωση που διαπιστωθούν αποκλίσεις χωρίς να επηρεάζεται η καταλληλότητα των υπηρεσιών/παραδοτέων, με αιτιολογημένη απόφαση της αρμόδιας αρχής μπορεί να εγκριθεί η παραλαβή τους με έκπτωση ανάλογη προς τις αποκλίσεις. Η επιτροπή παραλαβής θα ολοκληρώσει την οριστική παραλαβή και θα συντάξει πρωτόκολλο σύμφωνα με την εκδοθείσα απόφαση. Ο Ανάδοχος δηλώνει ότι συμμορφώνεται με όλες τις περιβαλλοντικές, κοινωνικοασφαλιστικές και εργασιακές υποχρεώσεις που απορρέουν από το ενωσιακό δίκαιο, το εθνικό δίκαιο, τις συλλογικές συμβάσεις ή διεθνείς συμφωνίες. |
Εντός της συμβατικής προθεσμίας, ο ανάδοχος αναλαμβάνει την υποχρέωση να διορθώσει/συμπληρώσει τα παραδοτέα. Σε περίπτωση που οι αποκλίσεις δεν επηρεάζουν την καταλληλότητα των υπηρεσιών και με απόφαση του αρμόδιου οργάνου κατόπιν αιτιολόγησης, μπορεί να εγκριθεί η παραλαβή τους με ανάλογη έκπτωση επί της αξίας. Μετά την έκδοση της σχετικής απόφασης, η επιτροπή παραλαβής οφείλει να ολοκληρώσει τη διαδικασία οριστικής παραλαβής συντάσσοντας το προβλεπόμενο πρωτόκολλο. Ο ανάδοχος δηλώνει ρητά ότι τηρεί όλες τις υποχρεώσεις που αφορούν περιβαλλοντικά, ασφαλιστικά και εργασιακά δικαιώματα, όπως αυτές ορίζονται από το ευρωπαϊκό δίκαιο, την εθνική νομοθεσία, συλλογικές συμβάσεις ή διεθνείς κανονισμούς. |
Η προθεσμία διόρθωσης/συμπλήρωσης των παραδοτέων ανήκει στον Ανάδοχο σύμφωνα με τους όρους της παρούσας σύμβασης. Σε περίπτωση που οι αποκλίσεις δεν επηρεάζουν αρνητικά την καταλληλότητα των υπηρεσιών και εφόσον εγκριθεί από το αρμόδιο όργανο (με αιτιολογημένη απόφαση), είναι δυνατή η παραλαβή τους με έκπτωση. Το πρωτόκολλο οριστικής παραλαβής συντάσσεται υποχρεωτικά μετά την έγκριση, από την αρμόδια επιτροπή. Ο ανάδοχος δεσμεύεται δια του παρόντος ότι συμμορφώνεται πλήρως με τις περιβαλλοντικές, ασφαλιστικές έναντι εργαζομένων και εργασιακές υποχρεώσεις που καθορίζονται από το ενωσιακό δίκαιο, το εθνικό νομικό πλαίσιο, συλλογικές συμβάσεις ή διεθνείς συμφωνίες. |
ο χ ρ η μ α τ ο δ ο τ ε ί τ α ι α π ό τ ο Ε υ ρ ω π α ϊ κ ό Τ α μ ε ί ο Π ε ρ ι φ ε ρ ε ι α κ ή ς Α ν ά π τ υ ξ η ς κ α ι α π ό Ε θ ν ι κ ο ύ ς Π ό ρ ο υ ς Σελίδα 37 εργαλείο ο χρήστης μπορεί να δημιουργήσει νέους κανόνες είτε να διαγράψει κανόνες. Τα πιο πρόσφατα δεδομένα για κάθε σταθμό μπορούν να απεικονιστούν στην οθόνη Τρέχοντα Δεδομένα (το περιεχόμενο της οθόνης θα προσαρμοστεί στη διαμόρφωση του σταθμού του χρήση). Παράδειγμα τρέχουσας οθόνης δεδομένων: Παράδειγμα οθόνης γραφικών δεδομένων: 24SYMV015740210 2024-11-08 ΚΟΙΝΩΝΙΑ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ Μ.Α.Ε – SPACE HELLAS ΑΝΩΝΥΜΗ ΕΤΑΙΡΕΙΑ Τ ο Έ ρ γ ο χ ρ η μ α τ ο δ ο τ ε ί τ α ι α π ό τ ο Ε υ ρ ω π α ϊ κ ό Τ α μ ε ί ο Π ε ρ ι φ ε ρ ε ι α κ ή ς Α ν ά π τ υ ξ η ς κ α ι α π ό Ε θ ν ι κ ο ύ ς Π ό ρ ο υ ς Σελίδα 38 Εκτός από τη λειτουργικότητα συλλογής δεδομένων, το UDCS / CLDB |
Το έργο χρηματοδοτείται τόσο από το Ευρωπαϊκό Ταμείο Περιφερειακής Ανάπτυξης όσο και από Εθνικούς Πόρους. Η σελίδα 37 του εργαλείου επιτρέπει στον χρήστη να δημιουργεί νέους κανόνες ή να διαγράφει υπάρχοντες. Τα πιο πρόσφατα δεδομένα κάθε σταθμού μπορούν να προβληθούν στην ενότητα Τρέχοντα Δεδομένα, η οποία προσαρμόζεται ανάλογα με τη διαμόρφωση του εκάστοτε χρήστη. Για παράδειγμα, μια τυπική οθόνη τρέχουσων δεδομένων μπορεί να περιλαμβάνει πληροφορίες όπως το 24SYMV015740210 και την ημερομηνία 2024-11-08. Η εταιρεία ΚΟΙΝΩΝΙΑ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ Μ.Α.Ε σε συνεργασία με την SPACE HELLAS ΑΝΩΝΥΜΗ ΕΤΑΙΡΕΙΑ υλοποιούν αυτό το έργο. |
Το χρηματοδοτικό πλαίσιο του έργου περιλαμβάνει τόσο πόρους από το Ευρωπαϊκό Ταμείο Περιφερειακής Ανάπτυξης όσο και εθνικούς πόρους, όπως αναφέρεται στη σελίδα 37. Το εργαλείο προσφέρει τη δυνατότητα στον χρήστη να επεξεργαστεί τους κανόνες δεδομένων, είτε δημιουργώντας νέους είτε διαγράφοντας υπάρχοντες. Η ενότητα Τρέχοντα Δεδομένα παρέχει την απεικόνιση των πιο πρόσφατων πληροφοριών για κάθε σταθμό, προσαρμοζόμενη στις προτιμήσεις του χρήστη. Για παράδειγμα, μια τυπική προβολή μπορεί να περιλαμβάνει τον κωδικό 24SYMV015740210 και ημερομηνία 2024-11-08. Το έργο αυτό αποτελεί συνεργασία μεταξύ της ΚΟΙΝΩΝΙΑΣ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ Μ.Α.Ε και της SPACE HELLAS ΑΝΩΝΥΜΗΣ ΕΤΑΙΡΕΙΑΣ. |
Χρηματοδοτείται από το Ευρωπαϊκό Ταμείο Περιφερειακής Ανάπτυξης και εθνικούς πόρους, όπως αναγράφεται στη σελίδα 37 του εγχειριδίου χρήσης. Το σύστημα παρέχει στον χρήστη τη λειτουργικότητα διαχείρισης κανόνων δεδομένων, επιτρέποντας τόσο την εισαγωγή νέων όσο και τη διαγραφή υπαρχόντων. Η ενότητα Τρέχοντα Δεδομένα εμφανίζει τα τελευταία καταγεγραμμένα στοιχεία κάθε σταθμού, με δυνατότητα προσαρμογής στις προτιμήσεις προβολής του χρήστη (π.χ. κωδικός 24SYMV015740210 και ημερομηνία 08/11/2024). Το έργο υλοποιείται από κοινού από την ΚΟΙΝΩΝΙΑ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ Μ.Α.Ε και τη SPACE HELLAS ΑΝΩΝΥΜΗ ΕΤΑΙΡΕΙΑ, όπως αναφέρεται στην εταιρική συνεργασία με κωδικό ΚΟΙΝΩΝΙΑ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ Μ.Α.Ε – SPACE HELLAS. |
MultipleNegativesRankingLoss with these parameters:{
"scale": 20.0,
"similarity_fct": "cos_sim"
}
per_device_train_batch_size: 64per_device_eval_batch_size: 64num_train_epochs: 15multi_dataset_batch_sampler: round_robinoverwrite_output_dir: Falsedo_predict: Falseeval_strategy: noprediction_loss_only: Trueper_device_train_batch_size: 64per_device_eval_batch_size: 64per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 1eval_accumulation_steps: Nonetorch_empty_cache_steps: Nonelearning_rate: 5e-05weight_decay: 0.0adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1num_train_epochs: 15max_steps: -1lr_scheduler_type: linearlr_scheduler_kwargs: {}warmup_ratio: 0.0warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Falserestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 42data_seed: Nonejit_mode_eval: Falseuse_ipex: Falsebf16: Falsefp16: Falsefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Falsedataloader_num_workers: 0dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Falseignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}tp_size: 0fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}deepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torchoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Falseresume_from_checkpoint: Nonehub_model_id: Nonehub_strategy: every_savehub_private_repo: Nonehub_always_push: Falsegradient_checkpointing: Falsegradient_checkpointing_kwargs: Noneinclude_inputs_for_metrics: Falseinclude_for_metrics: []eval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters: auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: Falseneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseeval_on_start: Falseuse_liger_kernel: Falseeval_use_gather_object: Falseaverage_tokens_across_devices: Falseprompts: Nonebatch_sampler: batch_samplermulti_dataset_batch_sampler: round_robin| Epoch | Step | Training Loss |
|---|---|---|
| 8.4746 | 500 | 0.4778 |
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
@misc{henderson2017efficient,
title={Efficient Natural Language Response Suggestion for Smart Reply},
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
year={2017},
eprint={1705.00652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
Base model
lighteternal/stsb-xlm-r-greek-transfer