mogaio commited on
Commit
f4995f6
1 Parent(s): e655e31

Add SetFit model

Browse files
.gitattributes CHANGED
@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ tokenizer.json filter=lfs diff=lfs merge=lfs -text
1_Pooling/config.json ADDED
@@ -0,0 +1,7 @@
 
 
 
 
 
 
 
 
1
+ {
2
+ "word_embedding_dimension": 768,
3
+ "pooling_mode_cls_token": false,
4
+ "pooling_mode_mean_tokens": true,
5
+ "pooling_mode_max_tokens": false,
6
+ "pooling_mode_mean_sqrt_len_tokens": false
7
+ }
README.md ADDED
@@ -0,0 +1,442 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ library_name: setfit
3
+ tags:
4
+ - setfit
5
+ - sentence-transformers
6
+ - text-classification
7
+ - generated_from_setfit_trainer
8
+ metrics:
9
+ - '0'
10
+ - '1'
11
+ - '2'
12
+ - accuracy
13
+ - macro avg
14
+ - weighted avg
15
+ widget:
16
+ - text: 'Devi Sri Prasad : il aurait dû envoyer Pushpa aux Oscars
17
+
18
+ Pour le compositeur de musique Devi Sri Prasad, alias DSP, le fait d''avoir remporté
19
+ le National Film Award du meilleur directeur musical (chansons) pour Pushpa :
20
+ The Rise (2021) "signifie beaucoup" et il est "reconnaissant de cet honneur"'
21
+ - text: 'Parmi les nouveautés qui valent la peine d''être écoutées, citons les albums
22
+ d''Offset et de Troye Sivan, un groupe de soi-disant méchants d''émissions de
23
+ télé-réalité et de compétition qui s''affrontent dans un nouveau jeu de télé-réalité
24
+ intitulé "House of Villains", et le jeu vidéo Forza Motorsport qui vous offre
25
+ la possibilité de conduire plus de 500 voitures qui sont toutes plus sexy que
26
+ celles qui encombrent votre entrée Foxx, Offset, Musk, retour de Frasier
27
+
28
+ Jamie Foxx et Tommy Lee Jones à la tête du drame judiciaire "The Burial" et le
29
+ retour de "Frasier" avec Kelsey Grammer font partie des nouveautés télévisuelles,
30
+ cinématographiques et musicales qui arriveront sur un appareil près de chez vous
31
+ Elle marque un nouveau chapitre de ma vie", a déclaré Offset dans un communiqué.
32
+ "Cette œuvre est une guérison pour moi et une lettre à mes fans et à ceux qui
33
+ me soutiennent "Set It Off" est caractéristique d''Offset - énergique, empathique,
34
+ avec une liste impressionnante de collaborateurs, comme en témoigne "Jealousy",
35
+ qui met en scène sa femme Cardi B et s''inspire d''un morceau de Three 6 Mafia
36
+ "Set It Off", le deuxième album solo d''Offset, membre de Migos, et son premier
37
+ album complet depuis la mort de son compagnon de groupe et cousin Takeoff, sort
38
+ vendredi'
39
+ - text: 'Bluebird, une filiale de Pan Macmillan, a publié les titres de Russell Brand,
40
+ notamment Recovery : Freedom from Our Addictions et Mentors : How to Help and
41
+ Be Helped ces dernières années Les spectacles de Russell Brand sont reportés à
42
+ la suite d''allégations d''agression
43
+
44
+ Les promoteurs du spectacle de standup de l''humoriste Russell Brand ont annulé
45
+ ses représentations pour les dix prochains jours, tandis que son éditeur a annoncé
46
+ qu''il mettait en "pause" tous ses futurs projets de livres après la publication,
47
+ le week-end dernier, d''allégations de viol et d''agression sexuelle à son encontre'
48
+ - text: 'Italie : Meloni admet qu''elle espérait faire "mieux" en matière d''immigration
49
+ alors que les chiffres montent en flèche
50
+
51
+ Le Premier ministre italien, Giorgia Meloni, a admis qu''elle avait espéré faire
52
+ "mieux" pour contrôler l''immigration irrégulière, qui a considérablement augmenté
53
+ depuis la victoire électorale historique de son parti d''extrême droite il y a
54
+ un an'
55
+ - text: 'Le juge, Andrew Hanen, du tribunal de district de Houston, a estimé que le
56
+ président Barack Obama avait outrepassé ses pouvoirs lorsqu''il avait créé le
57
+ programme DACA (Deferred Action for Childhood Arrivals) par voie d''action exécutive
58
+ en 2012.
59
+
60
+ Cette décision est le dernier rebondissement d''une saga judiciaire de cinq ans
61
+ qui a laissé le programme et ses bénéficiaires, connus sous le nom de Dreamers,
62
+ en suspens'
63
+ pipeline_tag: text-classification
64
+ inference: true
65
+ base_model: sentence-transformers/paraphrase-multilingual-mpnet-base-v2
66
+ model-index:
67
+ - name: SetFit with sentence-transformers/paraphrase-multilingual-mpnet-base-v2
68
+ results:
69
+ - task:
70
+ type: text-classification
71
+ name: Text Classification
72
+ dataset:
73
+ name: Unknown
74
+ type: unknown
75
+ split: test
76
+ metrics:
77
+ - type: '0'
78
+ value:
79
+ precision: 0.9702970297029703
80
+ recall: 0.9671052631578947
81
+ f1-score: 0.9686985172981877
82
+ support: 912
83
+ name: '0'
84
+ - type: '1'
85
+ value:
86
+ precision: 0.9698451507742462
87
+ recall: 0.9754098360655737
88
+ f1-score: 0.9726195341234164
89
+ support: 1220
90
+ name: '1'
91
+ - type: '2'
92
+ value:
93
+ precision: 0.9900442477876106
94
+ recall: 0.98568281938326
95
+ f1-score: 0.987858719646799
96
+ support: 908
97
+ name: '2'
98
+ - type: accuracy
99
+ value: 0.9759868421052632
100
+ name: Accuracy
101
+ - type: macro avg
102
+ value:
103
+ precision: 0.976728809421609
104
+ recall: 0.9760659728689095
105
+ f1-score: 0.9763922570228011
106
+ support: 3040
107
+ name: Macro Avg
108
+ - type: weighted avg
109
+ value:
110
+ precision: 0.9760138657976447
111
+ recall: 0.9759868421052632
112
+ f1-score: 0.9759949331729633
113
+ support: 3040
114
+ name: Weighted Avg
115
+ ---
116
+
117
+ # SetFit with sentence-transformers/paraphrase-multilingual-mpnet-base-v2
118
+
119
+ This is a [SetFit](https://github.com/huggingface/setfit) model that can be used for Text Classification. This SetFit model uses [sentence-transformers/paraphrase-multilingual-mpnet-base-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-mpnet-base-v2) as the Sentence Transformer embedding model. A [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance is used for classification.
120
+
121
+ The model has been trained using an efficient few-shot learning technique that involves:
122
+
123
+ 1. Fine-tuning a [Sentence Transformer](https://www.sbert.net) with contrastive learning.
124
+ 2. Training a classification head with features from the fine-tuned Sentence Transformer.
125
+
126
+ ## Model Details
127
+
128
+ ### Model Description
129
+ - **Model Type:** SetFit
130
+ - **Sentence Transformer body:** [sentence-transformers/paraphrase-multilingual-mpnet-base-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-mpnet-base-v2)
131
+ - **Classification head:** a [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance
132
+ - **Maximum Sequence Length:** 128 tokens
133
+ - **Number of Classes:** 3 classes
134
+ <!-- - **Training Dataset:** [Unknown](https://huggingface.co/datasets/unknown) -->
135
+ <!-- - **Language:** Unknown -->
136
+ <!-- - **License:** Unknown -->
137
+
138
+ ### Model Sources
139
+
140
+ - **Repository:** [SetFit on GitHub](https://github.com/huggingface/setfit)
141
+ - **Paper:** [Efficient Few-Shot Learning Without Prompts](https://arxiv.org/abs/2209.11055)
142
+ - **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
143
+
144
+ ### Model Labels
145
+ | Label | Examples |
146
+ |:------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
147
+ | pos | <ul><li>"Xi appelle la nation à lutter pour l'unité\nLe 28 septembre, le président Xi Jinping a appelé la nation à renforcer sa confiance et à s'efforcer de rester unie dans ses efforts incessants pour construire une Chine forte et réaliser le rajeunissement national"</li><li>'Cela n\'est pas plus évident que lorsqu\'il s\'agit des films de Scorsese qui n\'ont pas été des succès populaires, un catalogue remarquable en soi Étude à l\'écran\nPour accueillir Killers of the Flower Moon à l\'écran, une étude de l\'œuvre non-Mob de Martin Scorsese.\nMARTIN SCORSESE N\'A PAS peur de ce qu\'il ne connaît pas. "C\'est le réalisateur le plus courageux que j\'aie jamais rencontré", déclare Irwin Winkler, qui produit les films de Scorsese depuis plus de trente ans LES TUEURS DE LA FLEUR DE LUNE (2023)\nLe film est adapté du livre de David Grann sur les meurtres centenaires d\'Amérindiens Osage, mais Scorsese a considérablement élargi la perspective indigène. Il a travaillé avec Rodrigo Prieto, directeur de la photographie de ses quatre derniers films, en filmant sur les lieux de la violence et en choisissant des couleurs riches et naturalistes TAUREAU ENRAGÉ (1980)\nAu début du développement, ce brillant film de boxe avec Robert De Niro semblait voué à l\'échec. Les dirigeants le détestaient. Scorsese manquait d\'intérêt. Mais après une overdose qui l\'a conduit à l\'hôpital, le réalisateur s\'est senti à nouveau, intensément connecté à cette étude de caractère viscérale "C\'est le réalisateur le plus courageux que j\'aie jamais rencontré", déclare Irwin Winkler, qui produit les films de Scorsese depuis plus de trente ans. Scorsese est peut-être surtout connu pour ses histoires policières emblématiques inspirées de sa propre éducation italo-américaine à New York, mais c\'est aussi l\'homme qui a réalisé la meilleure adaptation hollywoodienne d\'Edith Wharton, qui est passé du cadre moderne de La couleur de l\'argent à La dernière tentation du Christ et qui a dirigé une comédie musicale de Liza Minnelli reprise près de 50 ans plus tard L\'ÂGE DE L\'INNOCENCE (1993)\nAlors qu\'en 1993, Scorsese avait déjà réalisé un certain nombre de classiques new-yorkais, il se lance dans la réalisation d\'un nouveau film.\nEn 1993, Scorsese avait déjà réalisé un certain nombre de classiques new-yorkais, mais il est entré en territoire inconnu avec ce drame romantique de l\'âge d\'or basé sur un roman Le tournage à Taïwan s\'est déroulé dans des conditions difficiles, le temps changeant sauvagement d\'une heure à l\'autre. Scorsese a dit de Silence qu\'il s\'agissait d\'un projet passionnel de plus de 25 ans Son éclat somptueux peut être attribué au célèbre souci du détail de Scorsese. "La perfection de l\'époque", c\'est ainsi que le coiffeur Alan D\'Angerio, nommé aux Oscars, décrit le mantra de l\'équipe de conception Scorsese a dit de Silence qu\'il s\'agissait d\'un projet passionnel de plus de 25 ans.\n3. LE LOUP DE WALL STREET (2013)\nScorsese s\'est demandé si cette épopée cinétique et droguée de Wall Street était le bon film à faire à l\'époque, mais Winkler l\'a encouragé SILENCE (2016)\nCe drame, qui suit des prêtres jésuites du XVIIe siècle au Japon, est peut-être le film le plus sous-estimé de Scorsese sur la foi, car il confronte les inconnus de la spiritualité. Le tournage à Taïwan s\'est déroulé dans des conditions difficiles, le temps changeant sauvagement d\'une heure à l\'autre L\'ÂGE DE L\'INNOCENCE (1993)\nAlors qu\'en 1993, Scorsese avait déjà réalisé un certain nombre de classiques new-yorkais, il se lance dans la réalisation d\'un nouveau film'</li><li>"J'ai rêvé de ce jour\nCinq citoyens américains détenus depuis des années en Iran dans des conditions que les autorités américaines qualifient de brutales ont été libérés lundi et autorisés à quitter le pays par avion, à l'issue de mois de négociations secrètes, a déclaré le président Joe Biden.\nEn échange, l'Iran aura accès à 6 milliards de dollars de revenus pétroliers iraniens qui ont été gelés, et cinq citoyens iraniens emprisonnés aux États-Unis seront libérés"</li></ul> |
148
+ | obj | <ul><li>'Deux membres de la famille des Américains emprisonnés, Effie Namazi et Vida Tahbaz, qui étaient interdites de voyage en Iran, se trouvaient également dans l\'avion.\nLes 5,9 milliards de dollars en espèces remis à l\'Iran représentent l\'argent que la Corée du Sud devait à l\'Iran - mais qu\'elle n\'avait pas encore payé - pour du pétrole acheté avant que les États-Unis n\'imposent des sanctions sur ce type de transactions en 2019 Les 5,9 milliards de dollars en espèces remis à l\'Iran représentent l\'argent que la Corée du Sud devait à l\'Iran - mais qu\'elle n\'avait pas encore payé - pour du pétrole acheté avant que les États-Unis n\'imposent des sanctions sur ce type de transactions en 2019 "Nous n\'avons pas connu un tel moment depuis plus de huit ans", a-t-il ajouté, en entourant de son bras son frère et son père Baquer, anciennement détenu, qui avait été libéré par l\'Iran. "C\'est incroyable.\nL\'un des autres Américains libérés, Emad Sharghi, a reçu de sa sœur, Neda, un drapeau américain et un animal en peluche qu\'elle avait offert à leur père il y a 30 ans, lorsqu\'il avait subi un pontage, a indiqué un représentant de la famille Les Américains libérés par l\'Iran rentrent chez eux\nWASHINGTON >> Des Américains détenus depuis des années en Iran sont rentrés chez eux mardi, embrassant en larmes leurs proches et déclarant "Liberté !" après avoir été libérés dans le cadre d\'un accord politiquement risqué qui a vu le président Joe Biden accepter le déblocage de près de 6 milliards de dollars d\'avoirs iraniens gelés Il est presque certain que les tensions resteront vives entre les États-Unis et l\'Iran, qui sont en conflit au sujet du programme nucléaire de Téhéran et d\'autres questions. L\'Iran affirme que son programme est pacifique, mais il enrichit aujourd\'hui de l\'uranium à un niveau plus proche que jamais de celui des armes Kafrani a été inculpé en 2021 pour exportation illégale de matériel de laboratoire vers l\'Iran et blanchiment d\'argent, mais son affaire n\'a pas encore été jugée.\nSelon Nour News, Mehrdad Ansari, un Iranien condamné par les États-Unis à 63 mois de prison en 2021 pour avoir obtenu du matériel pouvant être utilisé dans des missiles, des armes électroniques, des armes nucléaires et d\'autres équipements militaires, a également été libéré Biden de nouvelles critiques de la part des républicains et d\'autres personnes qui estiment que l\'administration aide à stimuler l\'économie iranienne à un moment où l\'Iran représente une menace croissante pour les troupes américaines et les alliés du Moyen-Orient. Cela pourrait avoir des conséquences sur sa campagne de réélection L\'Iran a diffusé des images des deux prisonniers qui sont rentrés en République islamique dans le cadre de l\'échange, tandis que deux resteront aux États-Unis et qu\'un cinquième ira dans un pays tiers L\'Iran et les États-Unis ont une histoire d\'échanges de prisonniers qui remonte à la prise de l\'ambassade américaine en 1979 et à la crise des otages qui a suivi la révolution islamique Lorsque les Américains se sont arrêtés à Doha après leur libération d\'Iran, trois d\'entre eux - Namazi, Sharghi et Morad Tahbaz - sont apparus. Ils ont serré dans leurs bras l\'ambassadeur américain au Qatar, Timmy Davis, et d\'autres personnes "Aujourd\'hui, cinq Américains innocents qui étaient emprisonnés en Iran rentrent enfin chez eux", a déclaré le président démocrate dans un communiqué publié au moment où l\'avion transportant le groupe de Téhéran atterrissait à Doha, au Qatar, lundi'</li><li>"Le ratio des prêts douteux des prêteurs philippins tombe à son niveau le plus bas depuis 4 mois\nLes prêts douteux détenus par les banques philippines ont diminué en glissement annuel à la fin du mois d'août, ramenant le ratio des prêts non performants (NPL) à son niveau le plus bas depuis quatre mois, malgré des coûts d'emprunt élevés"</li><li>'Le maire d\'El Paso, au Texas, déclare que la ville est "au point de rupture" face à l\'afflux de migrants à la frontière\n(Reuters) - L\'afflux de migrants traversant la frontière américaine depuis le Mexique a poussé la ville d\'El Paso, au Texas, à "un point de rupture", avec plus de 2 000 personnes par jour demandant l\'asile, dépassant la capacité des refuges et mettant à rude épreuve les ressources, a déclaré son maire hier Les gouverneurs républicains du Texas et de Floride ont été critiqués pour avoir envoyé des migrants dans des villes perçues comme libérales, telles que New York et Sacramento. Mais M. Leeser, un démocrate, a déclaré que tous les migrants qui se trouvaient dans les bus d\'El Paso se rendaient volontairement dans les villes de leur choix'</li></ul> |
149
+ | neg | <ul><li>'Steve Smith, directeur général de Care4Calais, a déclaré : "Aujourd\'hui, Keir Starmer avait l\'occasion d\'injecter un peu de décence et de compassion dans le débat sur les réfugiés. Au lieu de cela, il a choisi de refléter les artifices et la rhétorique de division employés par les conservateurs Starmer critiqué par la gauche et la droite pour son plan visant à mettre fin à la crise des petits bateaux\nKeir Starmer a été attaqué par la gauche et la droite hier soir après avoir présenté des propositions visant à résoudre la crise des petits bateaux, dans le cadre de la première intervention majeure du parti travailliste sur la question "Nous avons besoin d\'une plus grande tolérance à l\'égard des divergences d\'opinion dans notre politique, en particulier sur des questions sensibles telles que l\'immigration'</li><li>'Malgré le mauvais temps et un terrain hostile, le second terroriste a été poursuivi et neutralisé mercredi matin après des tirs nourris tout au long de la nuit", a déclaré un porte-parole de l\'armée basé au Jammu-et-Cachemire.\nIl a ajouté qu\'une grande quantité de matériel de guerre avait été récupérée, y compris des médicaments portant des marques pakistanaises Trois membres du personnel de sécurité tués au J&K\nTrois officiers - deux de l\'armée et un de la police du Jammu-et-Cachemire - ont été tués au cours d\'une opération anti-militantisme dans le district d\'Anantnag mercredi. Les forces de sécurité ont tué un militant supplémentaire au cours de l\'opération lancée mardi à Rajouri, ce qui porte leur nombre à deux'</li><li>'Au moins 700 personnes auraient été tuées en Israël - un bilan stupéfiant que le pays n\'avait pas connu depuis des décennies - et plus de 400 personnes auraient été tuées à Gaza Israël a déclaré avoir fait intervenir des forces spéciales pour tenter de reprendre le contrôle de quatre sites israéliens aux combattants du Hamas, dont deux kibboutzim dans lesquels les militants avaient pénétré plus tôt dans leurs attaques La déclaration de guerre laissait présager une intensification des combats, et l\'une des principales questions était de savoir si Israël lancerait un assaut terrestre dans la bande de Gaza, ce qui, par le passé, a entraîné une augmentation du nombre de victimes Israël a l\'habitude de procéder à des échanges très déséquilibrés pour ramener les Israéliens captifs chez eux.\nUn responsable égyptien a déclaré qu\'Israël avait demandé l\'aide du Caire pour assurer la sécurité des otages Israël riposte au Hamas et le bilan s\'alourdit\nLe gouvernement israélien a officiellement déclaré la guerre et donné le feu vert à des "mesures militaires significatives" en représailles à l\'attaque surprise du Hamas En réponse, Israël a frappé plus de 800 cibles à Gaza jusqu\'à présent, a déclaré l\'armée israélienne, y compris des frappes aériennes qui ont rasé une grande partie de la ville de Beit Hanoun, dans le nord-est de l\'enclave Cette annonce, bien que non confirmée, est le premier signe de l\'ampleur des enlèvements.\nOn sait que parmi les captifs se trouvent des soldats et des civils, dont des femmes, des enfants et des personnes âgées, pour la plupart des Israéliens, mais aussi des personnes d\'autres nationalités Une file d\'attente s\'est formée devant un poste de police du centre d\'Israël pour fournir des échantillons d\'ADN et d\'autres moyens susceptibles d\'aider à identifier des membres de la famille disparus Un responsable égyptien a déclaré qu\'Israël avait demandé l\'aide du Caire pour assurer la sécurité des otages. L\'Égypte a également discuté avec les deux parties d\'un éventuel cessez-le-feu, mais Israël n\'était pas ouvert à une trêve "à ce stade", selon ce responsable, qui a demandé à ne pas être identifié car il n\'était pas autorisé à informer les médias Plusieurs médias israéliens, citant des responsables des services de secours, ont déclaré qu\'au moins 700 personnes avaient été tuées en Israël, dont 44 soldats. Le ministère de la santé de Gaza a déclaré que 413 personnes, dont 78 enfants et 41 femmes, ont été tuées dans le territoire L\'Égypte a également discuté avec les deux parties d\'un éventuel cessez-le-feu, mais Israël n\'était pas ouvert à une trêve "à ce stade", selon ce responsable, qui a demandé à ne pas être identifié car il n\'était pas autorisé à informer les médias Le Hezbollah a tiré des roquettes et des obus dimanche sur des positions israéliennes dans une zone contestée le long de la frontière, et Israël a riposté en utilisant des drones armés. L\'armée israélienne a déclaré que la situation était calme après l\'échange Entre-temps, le Hamas et le Jihad islamique, plus petit groupe, ont affirmé avoir capturé plus de 130 personnes à l\'intérieur d\'Israël et les avoir emmenées à Gaza, déclarant qu\'elles seraient échangées contre la libération de milliers de Palestiniens emprisonnés par Israël Le nombre élevé de morts et la lenteur de la réaction à l\'assaut ont mis en évidence une défaillance majeure des services de renseignement et ébranlé l\'idée longtemps répandue selon laquelle Israël a des yeux et des oreilles partout dans le petit territoire densément peuplé qu\'il contrôle depuis des dizaines d\'années Dans le nord d\'Israël, un bref échange de frappes avec le groupe militant libanais Hezbollah a ravivé les craintes que les combats ne se transforment en une guerre régionale plus large Au cours des quatre dernières décennies, Israël a mené des campagnes militaires de grande envergure au Liban et à Gaza, qu\'il a présentées comme des guerres, mais sans déclaration officielle'</li></ul> |
150
+
151
+ ## Evaluation
152
+
153
+ ### Metrics
154
+ | Label | 0 | 1 | 2 | Accuracy | Macro Avg | Weighted Avg |
155
+ |:--------|:----------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------|:---------|:----------------------------------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------------------------------------|
156
+ | **all** | {'precision': 0.9702970297029703, 'recall': 0.9671052631578947, 'f1-score': 0.9686985172981877, 'support': 912} | {'precision': 0.9698451507742462, 'recall': 0.9754098360655737, 'f1-score': 0.9726195341234164, 'support': 1220} | {'precision': 0.9900442477876106, 'recall': 0.98568281938326, 'f1-score': 0.987858719646799, 'support': 908} | 0.9760 | {'precision': 0.976728809421609, 'recall': 0.9760659728689095, 'f1-score': 0.9763922570228011, 'support': 3040} | {'precision': 0.9760138657976447, 'recall': 0.9759868421052632, 'f1-score': 0.9759949331729633, 'support': 3040} |
157
+
158
+ ## Uses
159
+
160
+ ### Direct Use for Inference
161
+
162
+ First install the SetFit library:
163
+
164
+ ```bash
165
+ pip install setfit
166
+ ```
167
+
168
+ Then you can load this model and run inference.
169
+
170
+ ```python
171
+ from setfit import SetFitModel
172
+
173
+ # Download from the 🤗 Hub
174
+ model = SetFitModel.from_pretrained("mogaio/pr_ebsa_fr_tran_merged25_e1_beginning_offsets_10")
175
+ # Run inference
176
+ preds = model("Devi Sri Prasad : il aurait dû envoyer Pushpa aux Oscars
177
+ Pour le compositeur de musique Devi Sri Prasad, alias DSP, le fait d'avoir remporté le National Film Award du meilleur directeur musical (chansons) pour Pushpa : The Rise (2021) \"signifie beaucoup\" et il est \"reconnaissant de cet honneur\"")
178
+ ```
179
+
180
+ <!--
181
+ ### Downstream Use
182
+
183
+ *List how someone could finetune this model on their own dataset.*
184
+ -->
185
+
186
+ <!--
187
+ ### Out-of-Scope Use
188
+
189
+ *List how the model may foreseeably be misused and address what users ought not to do with the model.*
190
+ -->
191
+
192
+ <!--
193
+ ## Bias, Risks and Limitations
194
+
195
+ *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
196
+ -->
197
+
198
+ <!--
199
+ ### Recommendations
200
+
201
+ *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
202
+ -->
203
+
204
+ ## Training Details
205
+
206
+ ### Training Set Metrics
207
+ | Training set | Min | Median | Max |
208
+ |:-------------|:----|:---------|:-----|
209
+ | Word count | 1 | 243.9997 | 2071 |
210
+
211
+ | Label | Training Sample Count |
212
+ |:------|:----------------------|
213
+ | neg | 912 |
214
+ | obj | 1220 |
215
+ | pos | 908 |
216
+
217
+ ### Training Hyperparameters
218
+ - batch_size: (8, 8)
219
+ - num_epochs: (10, 10)
220
+ - max_steps: -1
221
+ - sampling_strategy: oversampling
222
+ - num_iterations: 1
223
+ - body_learning_rate: (2e-05, 1e-05)
224
+ - head_learning_rate: 0.01
225
+ - loss: CosineSimilarityLoss
226
+ - distance_metric: cosine_distance
227
+ - margin: 0.25
228
+ - end_to_end: False
229
+ - use_amp: False
230
+ - warmup_proportion: 0.1
231
+ - seed: 42
232
+ - eval_max_steps: -1
233
+ - load_best_model_at_end: True
234
+
235
+ ### Training Results
236
+ | Epoch | Step | Training Loss | Validation Loss |
237
+ |:-------:|:--------:|:-------------:|:---------------:|
238
+ | 0.0013 | 1 | 0.3488 | - |
239
+ | 0.0658 | 50 | 0.3523 | - |
240
+ | 0.1316 | 100 | 0.1781 | - |
241
+ | 0.1974 | 150 | 0.2468 | - |
242
+ | 0.2632 | 200 | 0.2954 | - |
243
+ | 0.3289 | 250 | 0.1685 | - |
244
+ | 0.3947 | 300 | 0.1585 | - |
245
+ | 0.4605 | 350 | 0.2223 | - |
246
+ | 0.5263 | 400 | 0.2515 | - |
247
+ | 0.5921 | 450 | 0.301 | - |
248
+ | 0.6579 | 500 | 0.3206 | - |
249
+ | 0.7237 | 550 | 0.3041 | - |
250
+ | 0.7895 | 600 | 0.1983 | - |
251
+ | 0.8553 | 650 | 0.2101 | - |
252
+ | 0.9211 | 700 | 0.2887 | - |
253
+ | 0.9868 | 750 | 0.1288 | - |
254
+ | 1.0 | 760 | - | 0.1818 |
255
+ | 1.0526 | 800 | 0.135 | - |
256
+ | 1.1184 | 850 | 0.1926 | - |
257
+ | 1.1842 | 900 | 0.2656 | - |
258
+ | 1.25 | 950 | 0.2925 | - |
259
+ | 1.3158 | 1000 | 0.1753 | - |
260
+ | 1.3816 | 1050 | 0.1736 | - |
261
+ | 1.4474 | 1100 | 0.1193 | - |
262
+ | 1.5132 | 1150 | 0.3204 | - |
263
+ | 1.5789 | 1200 | 0.1234 | - |
264
+ | 1.6447 | 1250 | 0.2137 | - |
265
+ | 1.7105 | 1300 | 0.2369 | - |
266
+ | 1.7763 | 1350 | 0.0442 | - |
267
+ | 1.8421 | 1400 | 0.2339 | - |
268
+ | 1.9079 | 1450 | 0.0696 | - |
269
+ | 1.9737 | 1500 | 0.165 | - |
270
+ | 2.0 | 1520 | - | 0.1262 |
271
+ | 2.0395 | 1550 | 0.2138 | - |
272
+ | 2.1053 | 1600 | 0.2716 | - |
273
+ | 2.1711 | 1650 | 0.2227 | - |
274
+ | 2.2368 | 1700 | 0.0874 | - |
275
+ | 2.3026 | 1750 | 0.1628 | - |
276
+ | 2.3684 | 1800 | 0.1013 | - |
277
+ | 2.4342 | 1850 | 0.2291 | - |
278
+ | 2.5 | 1900 | 0.1265 | - |
279
+ | 2.5658 | 1950 | 0.2164 | - |
280
+ | 2.6316 | 2000 | 0.1013 | - |
281
+ | 2.6974 | 2050 | 0.2875 | - |
282
+ | 2.7632 | 2100 | 0.0874 | - |
283
+ | 2.8289 | 2150 | 0.2339 | - |
284
+ | 2.8947 | 2200 | 0.1161 | - |
285
+ | 2.9605 | 2250 | 0.2916 | - |
286
+ | 3.0 | 2280 | - | 0.0963 |
287
+ | 3.0263 | 2300 | 0.2737 | - |
288
+ | 3.0921 | 2350 | 0.024 | - |
289
+ | 3.1579 | 2400 | 0.0918 | - |
290
+ | 3.2237 | 2450 | 0.0954 | - |
291
+ | 3.2895 | 2500 | 0.1423 | - |
292
+ | 3.3553 | 2550 | 0.2102 | - |
293
+ | 3.4211 | 2600 | 0.1804 | - |
294
+ | 3.4868 | 2650 | 0.0382 | - |
295
+ | 3.5526 | 2700 | 0.0969 | - |
296
+ | 3.6184 | 2750 | 0.1773 | - |
297
+ | 3.6842 | 2800 | 0.0258 | - |
298
+ | 3.75 | 2850 | 0.0374 | - |
299
+ | 3.8158 | 2900 | 0.1698 | - |
300
+ | 3.8816 | 2950 | 0.2979 | - |
301
+ | 3.9474 | 3000 | 0.2007 | - |
302
+ | 4.0 | 3040 | - | 0.0588 |
303
+ | 4.0132 | 3050 | 0.1153 | - |
304
+ | 4.0789 | 3100 | 0.0844 | - |
305
+ | 4.1447 | 3150 | 0.031 | - |
306
+ | 4.2105 | 3200 | 0.0028 | - |
307
+ | 4.2763 | 3250 | 0.1175 | - |
308
+ | 4.3421 | 3300 | 0.0022 | - |
309
+ | 4.4079 | 3350 | 0.0285 | - |
310
+ | 4.4737 | 3400 | 0.0133 | - |
311
+ | 4.5395 | 3450 | 0.0059 | - |
312
+ | 4.6053 | 3500 | 0.1918 | - |
313
+ | 4.6711 | 3550 | 0.231 | - |
314
+ | 4.7368 | 3600 | 0.124 | - |
315
+ | 4.8026 | 3650 | 0.1725 | - |
316
+ | 4.8684 | 3700 | 0.1108 | - |
317
+ | 4.9342 | 3750 | 0.0037 | - |
318
+ | 5.0 | 3800 | 0.0066 | 0.0383 |
319
+ | 5.0658 | 3850 | 0.1364 | - |
320
+ | 5.1316 | 3900 | 0.0552 | - |
321
+ | 5.1974 | 3950 | 0.0148 | - |
322
+ | 5.2632 | 4000 | 0.197 | - |
323
+ | 5.3289 | 4050 | 0.0061 | - |
324
+ | 5.3947 | 4100 | 0.0028 | - |
325
+ | 5.4605 | 4150 | 0.1852 | - |
326
+ | 5.5263 | 4200 | 0.0048 | - |
327
+ | 5.5921 | 4250 | 0.1187 | - |
328
+ | 5.6579 | 4300 | 0.0017 | - |
329
+ | 5.7237 | 4350 | 0.0998 | - |
330
+ | 5.7895 | 4400 | 0.1208 | - |
331
+ | 5.8553 | 4450 | 0.0898 | - |
332
+ | 5.9211 | 4500 | 0.096 | - |
333
+ | 5.9868 | 4550 | 0.0035 | - |
334
+ | 6.0 | 4560 | - | 0.0329 |
335
+ | 6.0526 | 4600 | 0.092 | - |
336
+ | 6.1184 | 4650 | 0.1557 | - |
337
+ | 6.1842 | 4700 | 0.1312 | - |
338
+ | 6.25 | 4750 | 0.0021 | - |
339
+ | 6.3158 | 4800 | 0.0013 | - |
340
+ | 6.3816 | 4850 | 0.002 | - |
341
+ | 6.4474 | 4900 | 0.1176 | - |
342
+ | 6.5132 | 4950 | 0.0116 | - |
343
+ | 6.5789 | 5000 | 0.0017 | - |
344
+ | 6.6447 | 5050 | 0.0004 | - |
345
+ | 6.7105 | 5100 | 0.0007 | - |
346
+ | 6.7763 | 5150 | 0.0008 | - |
347
+ | 6.8421 | 5200 | 0.0014 | - |
348
+ | 6.9079 | 5250 | 0.0404 | - |
349
+ | 6.9737 | 5300 | 0.0047 | - |
350
+ | 7.0 | 5320 | - | 0.0258 |
351
+ | 7.0395 | 5350 | 0.0187 | - |
352
+ | 7.1053 | 5400 | 0.0651 | - |
353
+ | 7.1711 | 5450 | 0.0113 | - |
354
+ | 7.2368 | 5500 | 0.0012 | - |
355
+ | 7.3026 | 5550 | 0.0009 | - |
356
+ | 7.3684 | 5600 | 0.0021 | - |
357
+ | 7.4342 | 5650 | 0.1142 | - |
358
+ | 7.5 | 5700 | 0.0006 | - |
359
+ | 7.5658 | 5750 | 0.0011 | - |
360
+ | 7.6316 | 5800 | 0.0003 | - |
361
+ | 7.6974 | 5850 | 0.0188 | - |
362
+ | 7.7632 | 5900 | 0.0101 | - |
363
+ | 7.8289 | 5950 | 0.0004 | - |
364
+ | 7.8947 | 6000 | 0.0013 | - |
365
+ | 7.9605 | 6050 | 0.0016 | - |
366
+ | 8.0 | 6080 | - | 0.0203 |
367
+ | 8.0263 | 6100 | 0.0013 | - |
368
+ | 8.0921 | 6150 | 0.0028 | - |
369
+ | 8.1579 | 6200 | 0.0005 | - |
370
+ | 8.2237 | 6250 | 0.0155 | - |
371
+ | 8.2895 | 6300 | 0.0184 | - |
372
+ | 8.3553 | 6350 | 0.0005 | - |
373
+ | 8.4211 | 6400 | 0.0018 | - |
374
+ | 8.4868 | 6450 | 0.0034 | - |
375
+ | 8.5526 | 6500 | 0.0005 | - |
376
+ | 8.6184 | 6550 | 0.0848 | - |
377
+ | 8.6842 | 6600 | 0.0004 | - |
378
+ | 8.75 | 6650 | 0.0696 | - |
379
+ | 8.8158 | 6700 | 0.0353 | - |
380
+ | 8.8816 | 6750 | 0.0057 | - |
381
+ | 8.9474 | 6800 | 0.0008 | - |
382
+ | **9.0** | **6840** | **-** | **0.0183** |
383
+ | 9.0132 | 6850 | 0.0182 | - |
384
+ | 9.0789 | 6900 | 0.0053 | - |
385
+ | 9.1447 | 6950 | 0.0006 | - |
386
+ | 9.2105 | 7000 | 0.0025 | - |
387
+ | 9.2763 | 7050 | 0.003 | - |
388
+ | 9.3421 | 7100 | 0.0004 | - |
389
+ | 9.4079 | 7150 | 0.1523 | - |
390
+ | 9.4737 | 7200 | 0.0005 | - |
391
+ | 9.5395 | 7250 | 0.0729 | - |
392
+ | 9.6053 | 7300 | 0.0146 | - |
393
+ | 9.6711 | 7350 | 0.0009 | - |
394
+ | 9.7368 | 7400 | 0.0011 | - |
395
+ | 9.8026 | 7450 | 0.0614 | - |
396
+ | 9.8684 | 7500 | 0.0006 | - |
397
+ | 9.9342 | 7550 | 0.0005 | - |
398
+ | 10.0 | 7600 | 0.0003 | 0.0196 |
399
+
400
+ * The bold row denotes the saved checkpoint.
401
+ ### Framework Versions
402
+ - Python: 3.10.12
403
+ - SetFit: 1.0.1
404
+ - Sentence Transformers: 2.2.2
405
+ - Transformers: 4.35.2
406
+ - PyTorch: 2.1.0+cu121
407
+ - Datasets: 2.16.0
408
+ - Tokenizers: 0.15.0
409
+
410
+ ## Citation
411
+
412
+ ### BibTeX
413
+ ```bibtex
414
+ @article{https://doi.org/10.48550/arxiv.2209.11055,
415
+ doi = {10.48550/ARXIV.2209.11055},
416
+ url = {https://arxiv.org/abs/2209.11055},
417
+ author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
418
+ keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
419
+ title = {Efficient Few-Shot Learning Without Prompts},
420
+ publisher = {arXiv},
421
+ year = {2022},
422
+ copyright = {Creative Commons Attribution 4.0 International}
423
+ }
424
+ ```
425
+
426
+ <!--
427
+ ## Glossary
428
+
429
+ *Clearly define terms in order to be accessible across audiences.*
430
+ -->
431
+
432
+ <!--
433
+ ## Model Card Authors
434
+
435
+ *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
436
+ -->
437
+
438
+ <!--
439
+ ## Model Card Contact
440
+
441
+ *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
442
+ -->
config.json ADDED
@@ -0,0 +1,29 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "checkpoints/step_6840/",
3
+ "architectures": [
4
+ "XLMRobertaModel"
5
+ ],
6
+ "attention_probs_dropout_prob": 0.1,
7
+ "bos_token_id": 0,
8
+ "classifier_dropout": null,
9
+ "eos_token_id": 2,
10
+ "gradient_checkpointing": false,
11
+ "hidden_act": "gelu",
12
+ "hidden_dropout_prob": 0.1,
13
+ "hidden_size": 768,
14
+ "initializer_range": 0.02,
15
+ "intermediate_size": 3072,
16
+ "layer_norm_eps": 1e-05,
17
+ "max_position_embeddings": 514,
18
+ "model_type": "xlm-roberta",
19
+ "num_attention_heads": 12,
20
+ "num_hidden_layers": 12,
21
+ "output_past": true,
22
+ "pad_token_id": 1,
23
+ "position_embedding_type": "absolute",
24
+ "torch_dtype": "float32",
25
+ "transformers_version": "4.35.2",
26
+ "type_vocab_size": 1,
27
+ "use_cache": true,
28
+ "vocab_size": 250002
29
+ }
config_sentence_transformers.json ADDED
@@ -0,0 +1,7 @@
 
 
 
 
 
 
 
 
1
+ {
2
+ "__version__": {
3
+ "sentence_transformers": "2.0.0",
4
+ "transformers": "4.7.0",
5
+ "pytorch": "1.9.0+cu102"
6
+ }
7
+ }
config_setfit.json ADDED
@@ -0,0 +1,4 @@
 
 
 
 
 
1
+ {
2
+ "normalize_embeddings": false,
3
+ "labels": null
4
+ }
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:a7e00a138d3a438ada7aad9aef10860159b228c00bd2eef2261382253b939415
3
+ size 1112197096
model_head.pkl ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:4d1cbf8cfb37dc4593f8ebe2b48d1719b9429407da11f00b40fd5c5a064477c2
3
+ size 19311
modules.json ADDED
@@ -0,0 +1,14 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ [
2
+ {
3
+ "idx": 0,
4
+ "name": "0",
5
+ "path": "",
6
+ "type": "sentence_transformers.models.Transformer"
7
+ },
8
+ {
9
+ "idx": 1,
10
+ "name": "1",
11
+ "path": "1_Pooling",
12
+ "type": "sentence_transformers.models.Pooling"
13
+ }
14
+ ]
sentence_bert_config.json ADDED
@@ -0,0 +1,4 @@
 
 
 
 
 
1
+ {
2
+ "max_seq_length": 128,
3
+ "do_lower_case": false
4
+ }
sentencepiece.bpe.model ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:cfc8146abe2a0488e9e2a0c56de7952f7c11ab059eca145a0a727afce0db2865
3
+ size 5069051
special_tokens_map.json ADDED
@@ -0,0 +1,51 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "bos_token": {
3
+ "content": "<s>",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "cls_token": {
10
+ "content": "<s>",
11
+ "lstrip": false,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "eos_token": {
17
+ "content": "</s>",
18
+ "lstrip": false,
19
+ "normalized": false,
20
+ "rstrip": false,
21
+ "single_word": false
22
+ },
23
+ "mask_token": {
24
+ "content": "<mask>",
25
+ "lstrip": true,
26
+ "normalized": false,
27
+ "rstrip": false,
28
+ "single_word": false
29
+ },
30
+ "pad_token": {
31
+ "content": "<pad>",
32
+ "lstrip": false,
33
+ "normalized": false,
34
+ "rstrip": false,
35
+ "single_word": false
36
+ },
37
+ "sep_token": {
38
+ "content": "</s>",
39
+ "lstrip": false,
40
+ "normalized": false,
41
+ "rstrip": false,
42
+ "single_word": false
43
+ },
44
+ "unk_token": {
45
+ "content": "<unk>",
46
+ "lstrip": false,
47
+ "normalized": false,
48
+ "rstrip": false,
49
+ "single_word": false
50
+ }
51
+ }
tokenizer.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:fa685fc160bbdbab64058d4fc91b60e62d207e8dc60b9af5c002c5ab946ded00
3
+ size 17083009
tokenizer_config.json ADDED
@@ -0,0 +1,61 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "<s>",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "1": {
12
+ "content": "<pad>",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "2": {
20
+ "content": "</s>",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "3": {
28
+ "content": "<unk>",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "250001": {
36
+ "content": "<mask>",
37
+ "lstrip": true,
38
+ "normalized": false,
39
+ "rstrip": false,
40
+ "single_word": false,
41
+ "special": true
42
+ }
43
+ },
44
+ "bos_token": "<s>",
45
+ "clean_up_tokenization_spaces": true,
46
+ "cls_token": "<s>",
47
+ "eos_token": "</s>",
48
+ "mask_token": "<mask>",
49
+ "max_length": 128,
50
+ "model_max_length": 512,
51
+ "pad_to_multiple_of": null,
52
+ "pad_token": "<pad>",
53
+ "pad_token_type_id": 0,
54
+ "padding_side": "right",
55
+ "sep_token": "</s>",
56
+ "stride": 0,
57
+ "tokenizer_class": "XLMRobertaTokenizer",
58
+ "truncation_side": "right",
59
+ "truncation_strategy": "longest_first",
60
+ "unk_token": "<unk>"
61
+ }