AlexKarap/Finetuned_lighternalv2

SentenceTransformer based on lighteternal/stsb-xlm-r-greek-transfer

This is a sentence-transformers model finetuned from lighteternal/stsb-xlm-r-greek-transfer. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: lighteternal/stsb-xlm-r-greek-transfer
• Maximum Sequence Length: 400 tokens
• Output Dimensionality: 768 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 400, 'do_lower_case': False}) with Transformer model: XLMRobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
    'συγχρόνως τη μελέτη και την εκτέλεση έργου, γ) την υλοποίηση, με οποιαδήποτε μέσα, έργου ανταποκρινόμενου στις απαιτήσεις που ορίζει η αναθέτουσα αρχή/αναθέτων φορέας που ασκεί αποφασιστική επιρροή στο είδος ή στη μελέτη του έργου, 7) ως «έργο» νοείται το αποτέλεσμα ενός συνόλου οικοδομικών εργασιών ή εργασιών μηχανικού το οποίο επαρκεί αυτό καθαυτό για την εκπλήρωση μίας οικονομικής ή τεχνικής λειτουργίας. Η εκτέλεση των εργασιών του προηγούμενου εδαφίου απαιτεί ιδίως την εφαρμογή μελέτης κατά την έννοια του παρόντος, με τη χρήση τεχνικών γνώσεων και μεθόδων και αφορά νέες κατασκευές, επεκτάσεις, ανακαινίσεις, επισκευές - συντηρήσεις κατά τη λειτουργία, κατεδαφίσεις υποδομών, ιδίως στις κατηγορίες οδοποιίας, οικοδομικών, υδραυλικών, ηλεκτρομηχανολογικών, λιμενικών, βιομηχανικών - ενεργειακών, δικτύων, πρασίνου, καθαρισμού και επεξεργασίας νερού, υγρών, στερεών και αερίων αποβλήτων, γεωτρήσεων, ειδικών μονώσεων,',
    'Το κείμενο αναφέρεται σε δύο βασικές προϋποθέσεις για την εκτέλεση ενός έργου: αφενός στη ταυτόχρονη μελέτη και υλοποίηση του έργου (σημείο γ) και αφετέρου στην ανταπόκριση των απαιτήσεων που θέτει η αναθέτουσα αρχή/φορέας. Επιπλέον, ορίζει το έργο ως το αποτέλεσμα οικοδομικών ή μηχανικών εργασιών που εξυπηρετούν μια συγκεκριμένη τεχνική ή οικονομική λειτουργία. Οι εργασίες αυτές απαιτούν εφαρμογή μελέτης με χρήση τεχνικών γνώσεων και μεθόδων, καλύπτοντας ένα ευρύ φάσμα νέων κατασκευών, επεκτάσεων, ανακαινίσεων, επισκευών, συντηρήσεων, κατεδαφίσεων σε διάφορους τομείς όπως οδοποιία, οικοδομικά έργα, υδραυλικά, ηλεκτρομηχανολογικά κ.ά., καθώς και διαχείρισης αποβλήτων και ειδικών μονώσεων.',
    'Το κείμενο περιγράφει τις προδιαγραφές για την εκτέλεση ενός έργου, όπου περιλαμβάνονται δύο κρίσιμες πτυχές. Πρώτον, η ανάγκη ταυτόχρονης μελέτης και εκτέλεσης του έργου (σημείο γ) και δεύτερον, η συμμόρφωση με τις απαιτήσεις της αναθέτουσας αρχής που επηρεάζει καθοριστικά τη φύση ή το σχεδιασμό του έργου. Ως έργο ορίζεται το τελικό αποτέλεσμα οικοδομικών ή μηχανικών εργασιών που επιτελούν μια τεχνική ή οικονομική λειτουργία. Οι απαιτούμενες εργασίες περιλαμβάνουν την εφαρμογή τεχνικών μελετών και μεθόδων, καλύπτοντας ένα ευρύ φάσμα δραστηριοτήτων όπως νέες κατασκευές, επεκτάσεις, ανακαινίσεις, συντήρηση κατά τη λειτουργία, κατεδαφίσεις σε διάφορους τομείς (οδοποιία, οικοδομικά, υδραυλικά κ.λπ.), καθώς και εξειδικευμένες υπηρεσίες όπως διαχείριση αποβλήτων και γεωτρήσεις.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 7,453 training samples
• Columns: sentence_0, sentence_1, sentence_2, and sentence_3
• Approximate statistics based on the first 1000 samples:

  	sentence_0	sentence_1	sentence_2	sentence_3
  type	string	string	string	string
  details	min: 151 tokens mean: 294.24 tokens max: 400 tokens	min: 33 tokens mean: 187.04 tokens max: 400 tokens	min: 39 tokens mean: 179.68 tokens max: 384 tokens	min: 42 tokens mean: 185.75 tokens max: 366 tokens

• Samples:

  sentence_0	sentence_1	sentence_2	sentence_3
  και διακριτές υλοποιήσεις για να καλύψει και τις ανάγκες παλαιότερων οχημάτων και την νέα αρχιτεκτονική σύμφωνα με το ETSI Technical Report 103 140 v1.1.1 που βασίζεται σε 4G/5G δίκτυα και IMS (IP Multimedia Subsystem). Οι κλήσεις θα δρομολογούνται από τους agents του Call Center μετά από την επεξεργασία των στοιχείων τους όπως MSD data, γεωεντοπισμό κλπ. Και οι δύο λύσεις θα υλοποιηθούν σε διάταξη υψηλής διαθεσιμότητας (High Availability). Ο γεωεντοπισμός του αυτοκινήτου περιλαμβάνεται στα MSD Data update σύμφωνα με το EN 15722:2022 normalization. Σε συνδυασμό με το SIP:Invite request στον SBC που περιλαμβάνει URN value: "urn:service:test.sos.ecall" ή "urn:service:sos.ecall.automatic" Και οι δύο λύσεις θα υλοποιηθούν σε διάταξη υψηλής διαθεσιμότητας (High Availability). Η διαδικασία MSD update data ενεργοποιείται από Rest API request και στέλνει SIP:info message για MSD update και το αποθηκεύει στη βάση δεδομένων MSD χωρίς να δεσμεύει το κανάλι φωνής με το αυτοκίνητο. Αρχιτεκτονική ec...	Η πρώτη παράφραση Οι προτεινόμενες λύσεις καλύπτουν τόσο τις απαιτήσεις παλαιότερων οχημάτων όσο και τη νέα αρχιτεκτονική που συμμορφώνεται με το ETSI Technical Report 103 140 v1.1.1, αξιοποιώντας δίκτυα 4G/5G και IMS. Οι κλήσεις θα διαχειρίζονται από εξειδικευμένους πράκτορες μετά την επεξεργασία σχετικών δεδομένων όπως MSD (Minimum Set of Data), γεωγραφικής θέσης κ.ά. Και οι δύο προσεγγίσεις θα υλοποιηθούν με υψηλή διαθεσιμότητα. Η υπηρεσία εντοπισμού οχημάτων εντάσσεται στα ενημερωμένα δεδομένα MSD σύμφωνα με το πρότυπο EN 15722:2022. Η επικοινωνία περιλαμβάνει SIP:Invite requests προς τον SBC, χρησιμοποιώντας URN τιμές "urn:service:test.sos.ecall" ή "urn:service:sos.ecall.automatic". Η διαδικασία ενημέρωσης των δεδομένων MSD ενεργοποιείται μέσω REST API και αποστέλλει σχετικό μήνυμα (SIP:info) για αποθήκευση στη βάση δεδομένων MSD, χωρίς να επηρεάζει το κανάλι φωνής με το όχημα.	Η δεύτερη παράφραση Το σύστημα παρέχει προσαρμοσμένες υλοποιήσεις που εξυπηρετούν τόσο παλαιότερα όσο και νεότερα οχήματα, ακολουθώντας τις προδιαγραφές του ETSI Technical Report 103 140 v1.1.1 για διασύνδεση μέσω 4G/5G δικτύων και IMS πλατφόρμας. Οι κλήσεις θα διεκπεραιώνονται από εξειδικευμένους χειριστές μετά την ανάλυση πληροφοριών όπως δεδομένα MSD, τοποθεσία κ.λπ. Και οι δύο εκδοχές της λύσης θα έχουν χαρακτηριστικά υψηλής διαθεσιμότητας (High Availability). Η δυνατότητα εντοπισμού θέσης ενσωματώνεται στην ενημέρωση των δεδομένων MSD σύμφωνα με το πρότυπο EN 15722:2022. Η επικοινωνία επιτυγχάνεται μέσω SIP:Invite requests στον SBC, χρησιμοποιώντας URNs "urn:service:test.sos.ecall" ή "urn:service:sos.ecall.automatic". Η διαδικασία ενημέρωσης των MSD δεδομένων ενεργοποιείται από REST API και περιλαμβάνει την αποστολή ενημερωτικού μηνύματος (SIP:info) για αποθήκευση στη βάση δεδομένων, χωρίς να επηρεάζει τη φωνητική επικοινωνία με το όχημα.	Η τρίτη παράφραση Προσφέρονται δύο διακριτές υλοποιήσεις που εξυπηρετούν τόσο τα παλαιότερα όσο και τα νεότερα οχήματα, συμμορφωμένες με τις προδιαγραφές του ETSI Technical Report 103 140 v1.1.1 για λειτουργία σε δίκτυα 4G/5G και IMS υποδομή. Οι κλήσεις θα διαχειρίζονται από εξειδικευμένους εκπροσώπους μετά την επεξεργασία βασικών δεδομένων όπως MSD, γεωγραφικής θέσης κ.λπ. Και οι δύο λύσεις θα έχουν αρχιτεκτονική υψηλής διαθεσιμότητας. Η υπηρεσία εντοπισμού οχήματος εντάσσεται στην ενημέρωση των δεδομένων MSD σύμφωνα με το πρότυπο EN 15722:2022. Η επικοινωνία πραγματοποιείται μέσω SIP:Invite requests προς τον SBC, χρησιμοποιώντας URNs "urn:service:test.sos.ecall" ή "urn:service:sos.ecall.automatic". Η διαδικασία ενημέρωσης των MSD δεδομένων ενεργοποιείται από REST API και περιλαμβάνει την αποστολή ενημερωτικού μηνύματος (SIP:info) για αποθήκευση στη βάση δεδομένων MSD, διατηρώντας παράλληλα την αδιάλειπτη επικοινωνία φωνής με το όχημα.
  διενεργήσει πριν, κατά τη διάρκεια ή και μετά τη λήξη της Σύμβασης παράνομες πληρωμές για διευκολύνσεις, εξυπηρετήσεις ή υπηρεσίες που αφορούν τη Σύμβαση και τη διαδικασία ανάθεσης. 4) δεν πρόσφερε ούτε θα προσφέρει πριν, κατά τη διάρκεια ή και μετά τη λήξη της Σύμβασης, άμεσα ή έμμεσα, οποιαδήποτε υλική εύνοια, δώρο ή αντάλλαγμα σε υπαλλήλους ή μέλη συλλογικών οργάνων της Εταιρείας, καθώς και συζύγους και συγγενείς εξ αίματος ή εξ αγχιστείας, κατ’ ευθεία μεν γραμμή απεριορίστως, εκ πλαγίου δε έως και τέταρτου βαθμού ή συνεργάτες αυτών ούτε χρησιμοποίησε ή θα χρησιμοποιήσει τρίτα πρόσωπα, για να διοχετεύσει χρηματικά ποσά στα προαναφερόμενα πρόσωπα. 5) δεν θα επιχειρήσει να επηρεάσει με αθέμιτο τρόπο τη διαδικασία λήψης αποφάσεων της Εταιρείας, ούτε θα παράσχει με παραπλανητικές πληροφορίες οι οποίες ενδέχεται να επηρεάσουν ουσιωδώς τις αποφάσεις της Εταιρείας καθ’ όλη τη διάρκεια της εκτέλεσης της Σύμβασης	Ο ανάδοχος δεσμεύεται ότι δεν θα προβεί σε παράνομες πληρωμές για διευκολύνσεις ή υπηρεσίες που σχετίζονται με την ανάθεση και εκτέλεση της σύμβασης. Επιπλέον, αναλαμβάνει δέσμευση για μη παροχή υλικών προνομίων, δώρων ή ανταλλαγμάτων σε υπαλλήλους ή μέλη συλλογικών οργάνων της εταιρείας, καθώς και σε συγγενείς τους (έως 4ου βαθμού), ούτε μέσω τρίτων προσώπων. Τέλος, δεσμεύεται ότι δεν θα επιχειρήσει να επηρεάσει αθέμιτα τις αποφάσεις της εταιρείας κατά τη διάρκεια εκτέλεσης της σύμβασης.	Απαγορεύεται ρητά στον ανάδοχο η διενέργεια παράνομων πληρωμών για υπηρεσίες σχετικές με την ανάθεση και εκτέλεση της σύμβασης πριν, κατά τη διάρκεια ή μετά τη λήξη αυτής. Επίσης, απαγορεύεται η παροχή υλικών προνομίων, δώρων ή ανταλλαγμάτων σε εργαζόμενους, μέλη συλλογικών οργάνων της εταιρείας ή συγγενικά τους πρόσωπα (έως 4ου βαθμού), άμεσα ή έμμεσα. Επιπλέον, ο ανάδοχος δεσμεύεται ότι δεν θα προσπαθήσει να επηρεάσει με αθέμιτο τρόπο τις διαδικασίες λήψης αποφάσεων της εταιρείας, ούτε θα χρησιμοποιήσει παραπλανητικές πληροφορίες που θα μπορούσαν να επηρεάσουν σημαντικά τις αποφάσεις της καθ' όλη τη διάρκεια εκτέλεσης της σύμβασης.	Η σύμβαση περιλαμβάνει ρήτρες που απαγορεύουν στον ανάδοχο να πραγματοποιήσει παράνομες πληρωμές για διευκολύνσεις ή υπηρεσίες σχετικές με την ανάθεση και εκτέλεση του έργου. Επίσης, απαγορεύεται αυστηρά η παροχή υλικών ωφελημάτων σε υπαλλήλους, μέλη οργάνων διοίκησης της εταιρείας ή συγγενικά τους πρόσωπα (έως 4ου βαθμού), είτε άμεσα είτε έμμεσα μέσω τρίτων προσώπων. Τέλος, ο ανάδοχος δεσμεύεται ότι δεν θα προσπαθήσει να επηρεάσει αθέμιτα τις αποφάσεις της εταιρείας κατά τη διάρκεια εκτέλεσης της σύμβασης, ούτε θα χρησιμοποιήσει παραπλανητικές πληροφορίες που θα μπορούσαν να επηρεάσουν ουσιωδώς τις αποφάσεις αυτές.
  το σύστημα καταγραφής κλήσεων του IP-PBX παρέχοντας τη δυνατότητα αναπαραγωγής μιας συνομιλίας (σε ρόλους με το αντίστοιχο δικαίωμα πρόσβασης). o AD Connector: θα παρέχει τη διασύνδεση με το υφιστάμενο σύστημα Active Directory. o SMSC Connector: θα είναι υπεύθυνη για τη διασύνδεση με τα SMS-C κέντρα των παρόχων μέσω πρωτοκόλλου SMPP δίνοντας τη δυνατότητα λήψης και αποστολής SMS. o PEMEA Connector: θα παρέχει τη διασυνδεσιμότητα με την υποδομή υφιστάμενη PEMEA. o AML Connector: θα δίνει τη δυνατότητα λήψης μηνυμάτων AML τόσο μέσω SMS (data SMS) όσο και μέσω HTTPS. o SMTP Connector: θα παρέχει τη διασύνδεση με email server o eCall Connector: θα παρέχει τη διασύνδεση με το προσφερόμενο σύστημα e-Call για τη λήψη και προβολή στοιχείων MSD (Minimum Set of Data) o DL Connector: θα δίνει τη δυνατότητα διασύνδεση με την υποδομή Data Lake μέσω REST. o MQTT Connector: θα παρέχει τη δυνατότητα λήψης και αποστολής μηνυμάτων μέσω πρωτοκόλλου MQTT. o MNO Connector: θα παρέχει τη διασύνδεση με τους ...	Το σύστημα καταγραφής κλήσεων του IP-PBX περιλαμβάνει λειτουργία αναπαραγωγής συνομιλιών, προσαρμοσμένη σε ρόλους χρηστών βάσει δικαιωμάτων πρόσβασης. Επιπλέον, το σύστημα διαθέτει διάφορους connectors για την επικοινωνία με άλλες υποδομές και συστήματα. Συγκεκριμένα, ο AD Connector εξασφαλίζει τη σύνδεση με το Active Directory, ενώ ο SMSC Connector διαχειρίζεται τη διασύνδεση με SMS-C κέντρα μέσω πρωτοκόλλου SMPP, επιτρέποντας την αποστολή και λήψη SMS. Ο PEMEA Connector επιτρέπει την επικοινωνία με την υπάρχουσα υποδομή PEMEA. Επιπλέον, παρέχεται η δυνατότητα λήψης μηνυμάτων AML τόσο μέσω SMS όσο και HTTPS με τον AML Connector. Για email επικοινωνία υπάρχει ο SMTP Connector που συνδέει το σύστημα με email servers. Επίσης, προσφέρεται διασύνδεση με το e-Call σύστημα για λήψη δεδομένων MSD (Minimum Set of Data) μέσω του αντίστοιχου connector. Ο DL Connector επιτρέπει την επικοινωνία με Data Lake υποδομή μέσω REST API. Ακόμη, παρέχεται η δυνατότητα ανταλλαγής μηνυμάτων MQTT με τον αντίσ...	Το IP-PBX σύστημα διαθέτει προηγμένες λειτουργίες καταγραφής κλήσεων που περιλαμβάνουν αναπαραγωγή συνομιλιών, προσαρμοσμένες σε ρόλους χρηστών ανάλογα με τα δικαιώματα πρόσβασης. Η διασύνδεση με εξωτερικά συστήματα επιτυγχάνεται μέσω διαφόρων connectors. Ο AD Connector επιτρέπει την επικοινωνία με το Active Directory, ενώ ο SMSC Connector διαχειρίζεται τη σύνδεση με SMS-C κέντρα χρησιμοποιώντας πρωτόκολλο SMPP για αποστολή και λήψη SMS μηνυμάτων. Επιπλέον, υπάρχει ο PEMEA Connector που διευκολύνει την αλληλεπίδραση με την υπάρχουσα υποδομή PEMEA. Με τον AML Connector είναι δυνατή η λήψη μηνυμάτων AML μέσω δύο καναλιών: SMS (data SMS) και HTTPS. Για email υπηρεσίες, ο SMTP Connector παρέχει τη διασύνδεση με servers ηλεκτρονικού ταχυδρομείου. Ο eCall Connector εξασφαλίζει τη σύνδεση με το σύστημα e-Call για την παραλαβή και προβολή δεδομένων MSD. Ο DL Connector προσφέρει επικοινωνία με Data Lake υποδομή χρησιμοποιώντας REST πρωτόκολλο. Επιπλέον, ο MQTT Connector επιτρέπει την ανταλλαγή ...	Το σύστημα καταγραφής κλήσεων του IP-PBX περιλαμβάνει προηγμένες λειτουργίες όπως η αναπαραγωγή συνομιλιών, με δυνατότητα πρόσβασης προσαρμοσμένη σε ρόλους χρηστών. Διαθέτει επίσης διάφορους connectors για την επικοινωνία με άλλα συστήματα και υποδομές. Συγκεκριμένα, ο AD Connector εξασφαλίζει τη διασύνδεση με το Active Directory, ενώ ο SMSC Connector διαχειρίζεται τη σύνδεση με SMS-C κέντρα μέσω πρωτοκόλλου SMPP, επιτρέποντας τόσο την αποστολή όσο και λήψη SMS μηνυμάτων. Ο PEMEA Connector επιτρέπει την επικοινωνία με την υπάρχουσα υποδομή PEMEA. Επιπλέον, παρέχεται η δυνατότητα λήψης μηνυμάτων AML μέσω δύο καναλιών επικοινωνίας: SMS (data SMS) και HTTPS, χάρη στον AML Connector. Για email υπηρεσίες, ο SMTP Connector παρέχει τη διασύνδεση με servers ηλεκτρονικού ταχυδρομείου. Επίσης, προσφέρεται διασύνδεση με το σύστημα e-Call για λήψη δεδομένων MSD μέσω ειδικού connector. Ο DL Connector επιτρέπει την επικοινωνία με Data Lake υποδομή χρησιμοποιώντας REST API. Διατίθεται ακόμη η δυνατότ...

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• num_train_epochs: 25
• multi_dataset_batch_sampler: round_robin

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 64
• per_device_eval_batch_size: 64
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 5e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1
• num_train_epochs: 25
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.0
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: False
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• tp_size: 0
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: round_robin

Training Logs

Epoch	Step	Training Loss
8.4746	500	0.4788
16.9492	1000	0.0707

Framework Versions

• Python: 3.10.12
• Sentence Transformers: 4.1.0
• Transformers: 4.51.3
• PyTorch: 2.7.0+cu126
• Accelerate: 1.6.0
• Datasets: 3.5.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}