Hugging Face's logo

mogaio
/
pr_ebsa_fr_tran_merged25_e1_beginning_offsets_10

Text Classification
setfit
Safetensors
sentence-transformers
xlm-roberta
generated_from_setfit_trainer
Eval Results
Model card Files Community
pr_ebsa_fr_tran_merged25_e1_beginning_offsets_10 / README.md
mogaio's picture
mogaio
Add SetFit model
f4995f6
preview code
|
raw
history blame contribute delete
49.5 kB
---
library_name: setfit
tags:
- setfit
- sentence-transformers
- text-classification
- generated_from_setfit_trainer
metrics:
- '0'
- '1'
- '2'
- accuracy
- macro avg
- weighted avg
widget:
- text: 'Devi Sri Prasad : il aurait dû envoyer Pushpa aux Oscars
Pour le compositeur de musique Devi Sri Prasad, alias DSP, le fait d''avoir remporté
le National Film Award du meilleur directeur musical (chansons) pour Pushpa :
The Rise (2021) "signifie beaucoup" et il est "reconnaissant de cet honneur"'
- text: 'Parmi les nouveautés qui valent la peine d''être écoutées, citons les albums
d''Offset et de Troye Sivan, un groupe de soi-disant méchants d''émissions de
télé-réalité et de compétition qui s''affrontent dans un nouveau jeu de télé-réalité
intitulé "House of Villains", et le jeu vidéo Forza Motorsport qui vous offre
la possibilité de conduire plus de 500 voitures qui sont toutes plus sexy que
celles qui encombrent votre entrée Foxx, Offset, Musk, retour de Frasier
Jamie Foxx et Tommy Lee Jones à la tête du drame judiciaire "The Burial" et le
retour de "Frasier" avec Kelsey Grammer font partie des nouveautés télévisuelles,
cinématographiques et musicales qui arriveront sur un appareil près de chez vous
Elle marque un nouveau chapitre de ma vie", a déclaré Offset dans un communiqué.
"Cette œuvre est une guérison pour moi et une lettre à mes fans et à ceux qui
me soutiennent "Set It Off" est caractéristique d''Offset - énergique, empathique,
avec une liste impressionnante de collaborateurs, comme en témoigne "Jealousy",
qui met en scène sa femme Cardi B et s''inspire d''un morceau de Three 6 Mafia
"Set It Off", le deuxième album solo d''Offset, membre de Migos, et son premier
album complet depuis la mort de son compagnon de groupe et cousin Takeoff, sort
vendredi'
- text: 'Bluebird, une filiale de Pan Macmillan, a publié les titres de Russell Brand,
notamment Recovery : Freedom from Our Addictions et Mentors : How to Help and
Be Helped ces dernières années Les spectacles de Russell Brand sont reportés à
la suite d''allégations d''agression
Les promoteurs du spectacle de standup de l''humoriste Russell Brand ont annulé
ses représentations pour les dix prochains jours, tandis que son éditeur a annoncé
qu''il mettait en "pause" tous ses futurs projets de livres après la publication,
le week-end dernier, d''allégations de viol et d''agression sexuelle à son encontre'
- text: 'Italie : Meloni admet qu''elle espérait faire "mieux" en matière d''immigration
alors que les chiffres montent en flèche
Le Premier ministre italien, Giorgia Meloni, a admis qu''elle avait espéré faire
"mieux" pour contrôler l''immigration irrégulière, qui a considérablement augmenté
depuis la victoire électorale historique de son parti d''extrême droite il y a
un an'
- text: 'Le juge, Andrew Hanen, du tribunal de district de Houston, a estimé que le
président Barack Obama avait outrepassé ses pouvoirs lorsqu''il avait créé le
programme DACA (Deferred Action for Childhood Arrivals) par voie d''action exécutive
en 2012.
Cette décision est le dernier rebondissement d''une saga judiciaire de cinq ans
qui a laissé le programme et ses bénéficiaires, connus sous le nom de Dreamers,
en suspens'
pipeline_tag: text-classification
inference: true
base_model: sentence-transformers/paraphrase-multilingual-mpnet-base-v2
model-index:
- name: SetFit with sentence-transformers/paraphrase-multilingual-mpnet-base-v2
results:
- task:
type: text-classification
name: Text Classification
dataset:
name: Unknown
type: unknown
split: test
metrics:
- type: '0'
value:
precision: 0.9702970297029703
recall: 0.9671052631578947
f1-score: 0.9686985172981877
support: 912
name: '0'
- type: '1'
value:
precision: 0.9698451507742462
recall: 0.9754098360655737
f1-score: 0.9726195341234164
support: 1220
name: '1'
- type: '2'
value:
precision: 0.9900442477876106
recall: 0.98568281938326
f1-score: 0.987858719646799
support: 908
name: '2'
- type: accuracy
value: 0.9759868421052632
name: Accuracy
- type: macro avg
value:
precision: 0.976728809421609
recall: 0.9760659728689095
f1-score: 0.9763922570228011
support: 3040
name: Macro Avg
- type: weighted avg
value:
precision: 0.9760138657976447
recall: 0.9759868421052632
f1-score: 0.9759949331729633
support: 3040
name: Weighted Avg
---
# SetFit with sentence-transformers/paraphrase-multilingual-mpnet-base-v2
This is a [SetFit](https://github.com/huggingface/setfit) model that can be used for Text Classification. This SetFit model uses [sentence-transformers/paraphrase-multilingual-mpnet-base-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-mpnet-base-v2) as the Sentence Transformer embedding model. A [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance is used for classification.
The model has been trained using an efficient few-shot learning technique that involves:
1. Fine-tuning a [Sentence Transformer](https://www.sbert.net) with contrastive learning.
2. Training a classification head with features from the fine-tuned Sentence Transformer.
## Model Details
### Model Description
- **Model Type:** SetFit
- **Sentence Transformer body:** [sentence-transformers/paraphrase-multilingual-mpnet-base-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-mpnet-base-v2)
- **Classification head:** a [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance
- **Maximum Sequence Length:** 128 tokens
- **Number of Classes:** 3 classes
<!-- - **Training Dataset:** [Unknown](https://huggingface.co/datasets/unknown) -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->
### Model Sources
- **Repository:** [SetFit on GitHub](https://github.com/huggingface/setfit)
- **Paper:** [Efficient Few-Shot Learning Without Prompts](https://arxiv.org/abs/2209.11055)
- **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
### Model Labels
| Label | Examples |
|:------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| pos | <ul><li>"Xi appelle la nation à lutter pour l'unité\nLe 28 septembre, le président Xi Jinping a appelé la nation à renforcer sa confiance et à s'efforcer de rester unie dans ses efforts incessants pour construire une Chine forte et réaliser le rajeunissement national"</li><li>'Cela n\'est pas plus évident que lorsqu\'il s\'agit des films de Scorsese qui n\'ont pas été des succès populaires, un catalogue remarquable en soi Étude à l\'écran\nPour accueillir Killers of the Flower Moon à l\'écran, une étude de l\'œuvre non-Mob de Martin Scorsese.\nMARTIN SCORSESE N\'A PAS peur de ce qu\'il ne connaît pas. "C\'est le réalisateur le plus courageux que j\'aie jamais rencontré", déclare Irwin Winkler, qui produit les films de Scorsese depuis plus de trente ans LES TUEURS DE LA FLEUR DE LUNE (2023)\nLe film est adapté du livre de David Grann sur les meurtres centenaires d\'Amérindiens Osage, mais Scorsese a considérablement élargi la perspective indigène. Il a travaillé avec Rodrigo Prieto, directeur de la photographie de ses quatre derniers films, en filmant sur les lieux de la violence et en choisissant des couleurs riches et naturalistes TAUREAU ENRAGÉ (1980)\nAu début du développement, ce brillant film de boxe avec Robert De Niro semblait voué à l\'échec. Les dirigeants le détestaient. Scorsese manquait d\'intérêt. Mais après une overdose qui l\'a conduit à l\'hôpital, le réalisateur s\'est senti à nouveau, intensément connecté à cette étude de caractère viscérale "C\'est le réalisateur le plus courageux que j\'aie jamais rencontré", déclare Irwin Winkler, qui produit les films de Scorsese depuis plus de trente ans. Scorsese est peut-être surtout connu pour ses histoires policières emblématiques inspirées de sa propre éducation italo-américaine à New York, mais c\'est aussi l\'homme qui a réalisé la meilleure adaptation hollywoodienne d\'Edith Wharton, qui est passé du cadre moderne de La couleur de l\'argent à La dernière tentation du Christ et qui a dirigé une comédie musicale de Liza Minnelli reprise près de 50 ans plus tard L\'ÂGE DE L\'INNOCENCE (1993)\nAlors qu\'en 1993, Scorsese avait déjà réalisé un certain nombre de classiques new-yorkais, il se lance dans la réalisation d\'un nouveau film.\nEn 1993, Scorsese avait déjà réalisé un certain nombre de classiques new-yorkais, mais il est entré en territoire inconnu avec ce drame romantique de l\'âge d\'or basé sur un roman Le tournage à Taïwan s\'est déroulé dans des conditions difficiles, le temps changeant sauvagement d\'une heure à l\'autre. Scorsese a dit de Silence qu\'il s\'agissait d\'un projet passionnel de plus de 25 ans Son éclat somptueux peut être attribué au célèbre souci du détail de Scorsese. "La perfection de l\'époque", c\'est ainsi que le coiffeur Alan D\'Angerio, nommé aux Oscars, décrit le mantra de l\'équipe de conception Scorsese a dit de Silence qu\'il s\'agissait d\'un projet passionnel de plus de 25 ans.\n3. LE LOUP DE WALL STREET (2013)\nScorsese s\'est demandé si cette épopée cinétique et droguée de Wall Street était le bon film à faire à l\'époque, mais Winkler l\'a encouragé SILENCE (2016)\nCe drame, qui suit des prêtres jésuites du XVIIe siècle au Japon, est peut-être le film le plus sous-estimé de Scorsese sur la foi, car il confronte les inconnus de la spiritualité. Le tournage à Taïwan s\'est déroulé dans des conditions difficiles, le temps changeant sauvagement d\'une heure à l\'autre L\'ÂGE DE L\'INNOCENCE (1993)\nAlors qu\'en 1993, Scorsese avait déjà réalisé un certain nombre de classiques new-yorkais, il se lance dans la réalisation d\'un nouveau film'</li><li>"J'ai rêvé de ce jour\nCinq citoyens américains détenus depuis des années en Iran dans des conditions que les autorités américaines qualifient de brutales ont été libérés lundi et autorisés à quitter le pays par avion, à l'issue de mois de négociations secrètes, a déclaré le président Joe Biden.\nEn échange, l'Iran aura accès à 6 milliards de dollars de revenus pétroliers iraniens qui ont été gelés, et cinq citoyens iraniens emprisonnés aux États-Unis seront libérés"</li></ul> |
| obj | <ul><li>'Deux membres de la famille des Américains emprisonnés, Effie Namazi et Vida Tahbaz, qui étaient interdites de voyage en Iran, se trouvaient également dans l\'avion.\nLes 5,9 milliards de dollars en espèces remis à l\'Iran représentent l\'argent que la Corée du Sud devait à l\'Iran - mais qu\'elle n\'avait pas encore payé - pour du pétrole acheté avant que les États-Unis n\'imposent des sanctions sur ce type de transactions en 2019 Les 5,9 milliards de dollars en espèces remis à l\'Iran représentent l\'argent que la Corée du Sud devait à l\'Iran - mais qu\'elle n\'avait pas encore payé - pour du pétrole acheté avant que les États-Unis n\'imposent des sanctions sur ce type de transactions en 2019 "Nous n\'avons pas connu un tel moment depuis plus de huit ans", a-t-il ajouté, en entourant de son bras son frère et son père Baquer, anciennement détenu, qui avait été libéré par l\'Iran. "C\'est incroyable.\nL\'un des autres Américains libérés, Emad Sharghi, a reçu de sa sœur, Neda, un drapeau américain et un animal en peluche qu\'elle avait offert à leur père il y a 30 ans, lorsqu\'il avait subi un pontage, a indiqué un représentant de la famille Les Américains libérés par l\'Iran rentrent chez eux\nWASHINGTON >> Des Américains détenus depuis des années en Iran sont rentrés chez eux mardi, embrassant en larmes leurs proches et déclarant "Liberté !" après avoir été libérés dans le cadre d\'un accord politiquement risqué qui a vu le président Joe Biden accepter le déblocage de près de 6 milliards de dollars d\'avoirs iraniens gelés Il est presque certain que les tensions resteront vives entre les États-Unis et l\'Iran, qui sont en conflit au sujet du programme nucléaire de Téhéran et d\'autres questions. L\'Iran affirme que son programme est pacifique, mais il enrichit aujourd\'hui de l\'uranium à un niveau plus proche que jamais de celui des armes Kafrani a été inculpé en 2021 pour exportation illégale de matériel de laboratoire vers l\'Iran et blanchiment d\'argent, mais son affaire n\'a pas encore été jugée.\nSelon Nour News, Mehrdad Ansari, un Iranien condamné par les États-Unis à 63 mois de prison en 2021 pour avoir obtenu du matériel pouvant être utilisé dans des missiles, des armes électroniques, des armes nucléaires et d\'autres équipements militaires, a également été libéré Biden de nouvelles critiques de la part des républicains et d\'autres personnes qui estiment que l\'administration aide à stimuler l\'économie iranienne à un moment où l\'Iran représente une menace croissante pour les troupes américaines et les alliés du Moyen-Orient. Cela pourrait avoir des conséquences sur sa campagne de réélection L\'Iran a diffusé des images des deux prisonniers qui sont rentrés en République islamique dans le cadre de l\'échange, tandis que deux resteront aux États-Unis et qu\'un cinquième ira dans un pays tiers L\'Iran et les États-Unis ont une histoire d\'échanges de prisonniers qui remonte à la prise de l\'ambassade américaine en 1979 et à la crise des otages qui a suivi la révolution islamique Lorsque les Américains se sont arrêtés à Doha après leur libération d\'Iran, trois d\'entre eux - Namazi, Sharghi et Morad Tahbaz - sont apparus. Ils ont serré dans leurs bras l\'ambassadeur américain au Qatar, Timmy Davis, et d\'autres personnes "Aujourd\'hui, cinq Américains innocents qui étaient emprisonnés en Iran rentrent enfin chez eux", a déclaré le président démocrate dans un communiqué publié au moment où l\'avion transportant le groupe de Téhéran atterrissait à Doha, au Qatar, lundi'</li><li>"Le ratio des prêts douteux des prêteurs philippins tombe à son niveau le plus bas depuis 4 mois\nLes prêts douteux détenus par les banques philippines ont diminué en glissement annuel à la fin du mois d'août, ramenant le ratio des prêts non performants (NPL) à son niveau le plus bas depuis quatre mois, malgré des coûts d'emprunt élevés"</li><li>'Le maire d\'El Paso, au Texas, déclare que la ville est "au point de rupture" face à l\'afflux de migrants à la frontière\n(Reuters) - L\'afflux de migrants traversant la frontière américaine depuis le Mexique a poussé la ville d\'El Paso, au Texas, à "un point de rupture", avec plus de 2 000 personnes par jour demandant l\'asile, dépassant la capacité des refuges et mettant à rude épreuve les ressources, a déclaré son maire hier Les gouverneurs républicains du Texas et de Floride ont été critiqués pour avoir envoyé des migrants dans des villes perçues comme libérales, telles que New York et Sacramento. Mais M. Leeser, un démocrate, a déclaré que tous les migrants qui se trouvaient dans les bus d\'El Paso se rendaient volontairement dans les villes de leur choix'</li></ul> |
| neg | <ul><li>'Steve Smith, directeur général de Care4Calais, a déclaré : "Aujourd\'hui, Keir Starmer avait l\'occasion d\'injecter un peu de décence et de compassion dans le débat sur les réfugiés. Au lieu de cela, il a choisi de refléter les artifices et la rhétorique de division employés par les conservateurs Starmer critiqué par la gauche et la droite pour son plan visant à mettre fin à la crise des petits bateaux\nKeir Starmer a été attaqué par la gauche et la droite hier soir après avoir présenté des propositions visant à résoudre la crise des petits bateaux, dans le cadre de la première intervention majeure du parti travailliste sur la question "Nous avons besoin d\'une plus grande tolérance à l\'égard des divergences d\'opinion dans notre politique, en particulier sur des questions sensibles telles que l\'immigration'</li><li>'Malgré le mauvais temps et un terrain hostile, le second terroriste a été poursuivi et neutralisé mercredi matin après des tirs nourris tout au long de la nuit", a déclaré un porte-parole de l\'armée basé au Jammu-et-Cachemire.\nIl a ajouté qu\'une grande quantité de matériel de guerre avait été récupérée, y compris des médicaments portant des marques pakistanaises Trois membres du personnel de sécurité tués au J&K\nTrois officiers - deux de l\'armée et un de la police du Jammu-et-Cachemire - ont été tués au cours d\'une opération anti-militantisme dans le district d\'Anantnag mercredi. Les forces de sécurité ont tué un militant supplémentaire au cours de l\'opération lancée mardi à Rajouri, ce qui porte leur nombre à deux'</li><li>'Au moins 700 personnes auraient été tuées en Israël - un bilan stupéfiant que le pays n\'avait pas connu depuis des décennies - et plus de 400 personnes auraient été tuées à Gaza Israël a déclaré avoir fait intervenir des forces spéciales pour tenter de reprendre le contrôle de quatre sites israéliens aux combattants du Hamas, dont deux kibboutzim dans lesquels les militants avaient pénétré plus tôt dans leurs attaques La déclaration de guerre laissait présager une intensification des combats, et l\'une des principales questions était de savoir si Israël lancerait un assaut terrestre dans la bande de Gaza, ce qui, par le passé, a entraîné une augmentation du nombre de victimes Israël a l\'habitude de procéder à des échanges très déséquilibrés pour ramener les Israéliens captifs chez eux.\nUn responsable égyptien a déclaré qu\'Israël avait demandé l\'aide du Caire pour assurer la sécurité des otages Israël riposte au Hamas et le bilan s\'alourdit\nLe gouvernement israélien a officiellement déclaré la guerre et donné le feu vert à des "mesures militaires significatives" en représailles à l\'attaque surprise du Hamas En réponse, Israël a frappé plus de 800 cibles à Gaza jusqu\'à présent, a déclaré l\'armée israélienne, y compris des frappes aériennes qui ont rasé une grande partie de la ville de Beit Hanoun, dans le nord-est de l\'enclave Cette annonce, bien que non confirmée, est le premier signe de l\'ampleur des enlèvements.\nOn sait que parmi les captifs se trouvent des soldats et des civils, dont des femmes, des enfants et des personnes âgées, pour la plupart des Israéliens, mais aussi des personnes d\'autres nationalités Une file d\'attente s\'est formée devant un poste de police du centre d\'Israël pour fournir des échantillons d\'ADN et d\'autres moyens susceptibles d\'aider à identifier des membres de la famille disparus Un responsable égyptien a déclaré qu\'Israël avait demandé l\'aide du Caire pour assurer la sécurité des otages. L\'Égypte a également discuté avec les deux parties d\'un éventuel cessez-le-feu, mais Israël n\'était pas ouvert à une trêve "à ce stade", selon ce responsable, qui a demandé à ne pas être identifié car il n\'était pas autorisé à informer les médias Plusieurs médias israéliens, citant des responsables des services de secours, ont déclaré qu\'au moins 700 personnes avaient été tuées en Israël, dont 44 soldats. Le ministère de la santé de Gaza a déclaré que 413 personnes, dont 78 enfants et 41 femmes, ont été tuées dans le territoire L\'Égypte a également discuté avec les deux parties d\'un éventuel cessez-le-feu, mais Israël n\'était pas ouvert à une trêve "à ce stade", selon ce responsable, qui a demandé à ne pas être identifié car il n\'était pas autorisé à informer les médias Le Hezbollah a tiré des roquettes et des obus dimanche sur des positions israéliennes dans une zone contestée le long de la frontière, et Israël a riposté en utilisant des drones armés. L\'armée israélienne a déclaré que la situation était calme après l\'échange Entre-temps, le Hamas et le Jihad islamique, plus petit groupe, ont affirmé avoir capturé plus de 130 personnes à l\'intérieur d\'Israël et les avoir emmenées à Gaza, déclarant qu\'elles seraient échangées contre la libération de milliers de Palestiniens emprisonnés par Israël Le nombre élevé de morts et la lenteur de la réaction à l\'assaut ont mis en évidence une défaillance majeure des services de renseignement et ébranlé l\'idée longtemps répandue selon laquelle Israël a des yeux et des oreilles partout dans le petit territoire densément peuplé qu\'il contrôle depuis des dizaines d\'années Dans le nord d\'Israël, un bref échange de frappes avec le groupe militant libanais Hezbollah a ravivé les craintes que les combats ne se transforment en une guerre régionale plus large Au cours des quatre dernières décennies, Israël a mené des campagnes militaires de grande envergure au Liban et à Gaza, qu\'il a présentées comme des guerres, mais sans déclaration officielle'</li></ul> |
## Evaluation
### Metrics
| Label | 0 | 1 | 2 | Accuracy | Macro Avg | Weighted Avg |
|:--------|:----------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------|:---------|:----------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------|
| **all** | {'precision': 0.9702970297029703, 'recall': 0.9671052631578947, 'f1-score': 0.9686985172981877, 'support': 912} | {'precision': 0.9698451507742462, 'recall': 0.9754098360655737, 'f1-score': 0.9726195341234164, 'support': 1220} | {'precision': 0.9900442477876106, 'recall': 0.98568281938326, 'f1-score': 0.987858719646799, 'support': 908} | 0.9760 | {'precision': 0.976728809421609, 'recall': 0.9760659728689095, 'f1-score': 0.9763922570228011, 'support': 3040} | {'precision': 0.9760138657976447, 'recall': 0.9759868421052632, 'f1-score': 0.9759949331729633, 'support': 3040} |
## Uses
### Direct Use for Inference
First install the SetFit library:
```bash
pip install setfit
```
Then you can load this model and run inference.
```python
from setfit import SetFitModel
# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mogaio/pr_ebsa_fr_tran_merged25_e1_beginning_offsets_10")
# Run inference
preds = model("Devi Sri Prasad : il aurait dû envoyer Pushpa aux Oscars
Pour le compositeur de musique Devi Sri Prasad, alias DSP, le fait d'avoir remporté le National Film Award du meilleur directeur musical (chansons) pour Pushpa : The Rise (2021) \"signifie beaucoup\" et il est \"reconnaissant de cet honneur\"")
```
<!--
### Downstream Use
*List how someone could finetune this model on their own dataset.*
-->
<!--
### Out-of-Scope Use
*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->
<!--
## Bias, Risks and Limitations
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->
<!--
### Recommendations
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->
## Training Details
### Training Set Metrics
| Training set | Min | Median | Max |
|:-------------|:----|:---------|:-----|
| Word count | 1 | 243.9997 | 2071 |
| Label | Training Sample Count |
|:------|:----------------------|
| neg | 912 |
| obj | 1220 |
| pos | 908 |
### Training Hyperparameters
- batch_size: (8, 8)
- num_epochs: (10, 10)
- max_steps: -1
- sampling_strategy: oversampling
- num_iterations: 1
- body_learning_rate: (2e-05, 1e-05)
- head_learning_rate: 0.01
- loss: CosineSimilarityLoss
- distance_metric: cosine_distance
- margin: 0.25
- end_to_end: False
- use_amp: False
- warmup_proportion: 0.1
- seed: 42
- eval_max_steps: -1
- load_best_model_at_end: True
### Training Results
| Epoch | Step | Training Loss | Validation Loss |
|:-------:|:--------:|:-------------:|:---------------:|
| 0.0013 | 1 | 0.3488 | - |
| 0.0658 | 50 | 0.3523 | - |
| 0.1316 | 100 | 0.1781 | - |
| 0.1974 | 150 | 0.2468 | - |
| 0.2632 | 200 | 0.2954 | - |
| 0.3289 | 250 | 0.1685 | - |
| 0.3947 | 300 | 0.1585 | - |
| 0.4605 | 350 | 0.2223 | - |
| 0.5263 | 400 | 0.2515 | - |
| 0.5921 | 450 | 0.301 | - |
| 0.6579 | 500 | 0.3206 | - |
| 0.7237 | 550 | 0.3041 | - |
| 0.7895 | 600 | 0.1983 | - |
| 0.8553 | 650 | 0.2101 | - |
| 0.9211 | 700 | 0.2887 | - |
| 0.9868 | 750 | 0.1288 | - |
| 1.0 | 760 | - | 0.1818 |
| 1.0526 | 800 | 0.135 | - |
| 1.1184 | 850 | 0.1926 | - |
| 1.1842 | 900 | 0.2656 | - |
| 1.25 | 950 | 0.2925 | - |
| 1.3158 | 1000 | 0.1753 | - |
| 1.3816 | 1050 | 0.1736 | - |
| 1.4474 | 1100 | 0.1193 | - |
| 1.5132 | 1150 | 0.3204 | - |
| 1.5789 | 1200 | 0.1234 | - |
| 1.6447 | 1250 | 0.2137 | - |
| 1.7105 | 1300 | 0.2369 | - |
| 1.7763 | 1350 | 0.0442 | - |
| 1.8421 | 1400 | 0.2339 | - |
| 1.9079 | 1450 | 0.0696 | - |
| 1.9737 | 1500 | 0.165 | - |
| 2.0 | 1520 | - | 0.1262 |
| 2.0395 | 1550 | 0.2138 | - |
| 2.1053 | 1600 | 0.2716 | - |
| 2.1711 | 1650 | 0.2227 | - |
| 2.2368 | 1700 | 0.0874 | - |
| 2.3026 | 1750 | 0.1628 | - |
| 2.3684 | 1800 | 0.1013 | - |
| 2.4342 | 1850 | 0.2291 | - |
| 2.5 | 1900 | 0.1265 | - |
| 2.5658 | 1950 | 0.2164 | - |
| 2.6316 | 2000 | 0.1013 | - |
| 2.6974 | 2050 | 0.2875 | - |
| 2.7632 | 2100 | 0.0874 | - |
| 2.8289 | 2150 | 0.2339 | - |
| 2.8947 | 2200 | 0.1161 | - |
| 2.9605 | 2250 | 0.2916 | - |
| 3.0 | 2280 | - | 0.0963 |
| 3.0263 | 2300 | 0.2737 | - |
| 3.0921 | 2350 | 0.024 | - |
| 3.1579 | 2400 | 0.0918 | - |
| 3.2237 | 2450 | 0.0954 | - |
| 3.2895 | 2500 | 0.1423 | - |
| 3.3553 | 2550 | 0.2102 | - |
| 3.4211 | 2600 | 0.1804 | - |
| 3.4868 | 2650 | 0.0382 | - |
| 3.5526 | 2700 | 0.0969 | - |
| 3.6184 | 2750 | 0.1773 | - |
| 3.6842 | 2800 | 0.0258 | - |
| 3.75 | 2850 | 0.0374 | - |
| 3.8158 | 2900 | 0.1698 | - |
| 3.8816 | 2950 | 0.2979 | - |
| 3.9474 | 3000 | 0.2007 | - |
| 4.0 | 3040 | - | 0.0588 |
| 4.0132 | 3050 | 0.1153 | - |
| 4.0789 | 3100 | 0.0844 | - |
| 4.1447 | 3150 | 0.031 | - |
| 4.2105 | 3200 | 0.0028 | - |
| 4.2763 | 3250 | 0.1175 | - |
| 4.3421 | 3300 | 0.0022 | - |
| 4.4079 | 3350 | 0.0285 | - |
| 4.4737 | 3400 | 0.0133 | - |
| 4.5395 | 3450 | 0.0059 | - |
| 4.6053 | 3500 | 0.1918 | - |
| 4.6711 | 3550 | 0.231 | - |
| 4.7368 | 3600 | 0.124 | - |
| 4.8026 | 3650 | 0.1725 | - |
| 4.8684 | 3700 | 0.1108 | - |
| 4.9342 | 3750 | 0.0037 | - |
| 5.0 | 3800 | 0.0066 | 0.0383 |
| 5.0658 | 3850 | 0.1364 | - |
| 5.1316 | 3900 | 0.0552 | - |
| 5.1974 | 3950 | 0.0148 | - |
| 5.2632 | 4000 | 0.197 | - |
| 5.3289 | 4050 | 0.0061 | - |
| 5.3947 | 4100 | 0.0028 | - |
| 5.4605 | 4150 | 0.1852 | - |
| 5.5263 | 4200 | 0.0048 | - |
| 5.5921 | 4250 | 0.1187 | - |
| 5.6579 | 4300 | 0.0017 | - |
| 5.7237 | 4350 | 0.0998 | - |
| 5.7895 | 4400 | 0.1208 | - |
| 5.8553 | 4450 | 0.0898 | - |
| 5.9211 | 4500 | 0.096 | - |
| 5.9868 | 4550 | 0.0035 | - |
| 6.0 | 4560 | - | 0.0329 |
| 6.0526 | 4600 | 0.092 | - |
| 6.1184 | 4650 | 0.1557 | - |
| 6.1842 | 4700 | 0.1312 | - |
| 6.25 | 4750 | 0.0021 | - |
| 6.3158 | 4800 | 0.0013 | - |
| 6.3816 | 4850 | 0.002 | - |
| 6.4474 | 4900 | 0.1176 | - |
| 6.5132 | 4950 | 0.0116 | - |
| 6.5789 | 5000 | 0.0017 | - |
| 6.6447 | 5050 | 0.0004 | - |
| 6.7105 | 5100 | 0.0007 | - |
| 6.7763 | 5150 | 0.0008 | - |
| 6.8421 | 5200 | 0.0014 | - |
| 6.9079 | 5250 | 0.0404 | - |
| 6.9737 | 5300 | 0.0047 | - |
| 7.0 | 5320 | - | 0.0258 |
| 7.0395 | 5350 | 0.0187 | - |
| 7.1053 | 5400 | 0.0651 | - |
| 7.1711 | 5450 | 0.0113 | - |
| 7.2368 | 5500 | 0.0012 | - |
| 7.3026 | 5550 | 0.0009 | - |
| 7.3684 | 5600 | 0.0021 | - |
| 7.4342 | 5650 | 0.1142 | - |
| 7.5 | 5700 | 0.0006 | - |
| 7.5658 | 5750 | 0.0011 | - |
| 7.6316 | 5800 | 0.0003 | - |
| 7.6974 | 5850 | 0.0188 | - |
| 7.7632 | 5900 | 0.0101 | - |
| 7.8289 | 5950 | 0.0004 | - |
| 7.8947 | 6000 | 0.0013 | - |
| 7.9605 | 6050 | 0.0016 | - |
| 8.0 | 6080 | - | 0.0203 |
| 8.0263 | 6100 | 0.0013 | - |
| 8.0921 | 6150 | 0.0028 | - |
| 8.1579 | 6200 | 0.0005 | - |
| 8.2237 | 6250 | 0.0155 | - |
| 8.2895 | 6300 | 0.0184 | - |
| 8.3553 | 6350 | 0.0005 | - |
| 8.4211 | 6400 | 0.0018 | - |
| 8.4868 | 6450 | 0.0034 | - |
| 8.5526 | 6500 | 0.0005 | - |
| 8.6184 | 6550 | 0.0848 | - |
| 8.6842 | 6600 | 0.0004 | - |
| 8.75 | 6650 | 0.0696 | - |
| 8.8158 | 6700 | 0.0353 | - |
| 8.8816 | 6750 | 0.0057 | - |
| 8.9474 | 6800 | 0.0008 | - |
| **9.0** | **6840** | **-** | **0.0183** |
| 9.0132 | 6850 | 0.0182 | - |
| 9.0789 | 6900 | 0.0053 | - |
| 9.1447 | 6950 | 0.0006 | - |
| 9.2105 | 7000 | 0.0025 | - |
| 9.2763 | 7050 | 0.003 | - |
| 9.3421 | 7100 | 0.0004 | - |
| 9.4079 | 7150 | 0.1523 | - |
| 9.4737 | 7200 | 0.0005 | - |
| 9.5395 | 7250 | 0.0729 | - |
| 9.6053 | 7300 | 0.0146 | - |
| 9.6711 | 7350 | 0.0009 | - |
| 9.7368 | 7400 | 0.0011 | - |
| 9.8026 | 7450 | 0.0614 | - |
| 9.8684 | 7500 | 0.0006 | - |
| 9.9342 | 7550 | 0.0005 | - |
| 10.0 | 7600 | 0.0003 | 0.0196 |
* The bold row denotes the saved checkpoint.
### Framework Versions
- Python: 3.10.12
- SetFit: 1.0.1
- Sentence Transformers: 2.2.2
- Transformers: 4.35.2
- PyTorch: 2.1.0+cu121
- Datasets: 2.16.0
- Tokenizers: 0.15.0
## Citation
### BibTeX
```bibtex
@article{https://doi.org/10.48550/arxiv.2209.11055,
doi = {10.48550/ARXIV.2209.11055},
url = {https://arxiv.org/abs/2209.11055},
author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {Efficient Few-Shot Learning Without Prompts},
publisher = {arXiv},
year = {2022},
copyright = {Creative Commons Attribution 4.0 International}
}
```
<!--
## Glossary
*Clearly define terms in order to be accessible across audiences.*
-->
<!--
## Model Card Authors
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->
<!--
## Model Card Contact
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->