Hugging Face's logo

cbpuschmann
/
MiniLM-klimacoder_v0.1

Text Classification
setfit
Safetensors
sentence-transformers
bert
generated_from_setfit_trainer
Eval Results
Model card Files Community
cbpuschmann commited on
Commit
11ff7eb
•
1 Parent(s): 883dde5

Add SetFit model

Browse files
Files changed (14) hide show
  1. .gitattributes +2 -0
  2. 1_Pooling/config.json +10 -0
  3. README.md +455 -0
  4. config.json +26 -0
  5. config_sentence_transformers.json +10 -0
  6. config_setfit.json +8 -0
  7. model.safetensors +3 -0
  8. model_head.pkl +3 -0
  9. modules.json +14 -0
  10. sentence_bert_config.json +4 -0
  11. special_tokens_map.json +51 -0
  12. tokenizer.json +3 -0
  13. tokenizer_config.json +64 -0
  14. unigram.json +3 -0
.gitattributes CHANGED
@@ -33,3 +33,5 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
 
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ tokenizer.json filter=lfs diff=lfs merge=lfs -text
37
+ unigram.json filter=lfs diff=lfs merge=lfs -text
1_Pooling/config.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "word_embedding_dimension": 384,
3
+ "pooling_mode_cls_token": false,
4
+ "pooling_mode_mean_tokens": true,
5
+ "pooling_mode_max_tokens": false,
6
+ "pooling_mode_mean_sqrt_len_tokens": false,
7
+ "pooling_mode_weightedmean_tokens": false,
8
+ "pooling_mode_lasttoken": false,
9
+ "include_prompt": true
10
+ }
README.md ADDED
@@ -0,0 +1,455 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ base_model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
3
+ library_name: setfit
4
+ metrics:
5
+ - accuracy
6
+ pipeline_tag: text-classification
7
+ tags:
8
+ - setfit
9
+ - sentence-transformers
10
+ - text-classification
11
+ - generated_from_setfit_trainer
12
+ widget:
13
+ - text: Bei den Koalitionsverhandlungen von SPD, Grünen und FDP war die Einführung
14
+ eines generellen Tempolimits auf deutschen Autobahnen am Widerstand der Liberalen
15
+ gescheitert. Auch bei einem vor kurzem von den Koalitionsspitzen beschlossenen
16
+ Maßnahmenpaket auch zum Energiesparen fehlte ein Tempolimit.
17
+ - text: 'Deutschland will 2045 klimaneutral sein. Bis dahin müssen die Emissionen
18
+ nach und nach sinken. Das bedeutet, dass alle Wirtschafts- und Lebensbereiche
19
+ sich von der Nutzung fossiler Energien verabschieden müssen – so auch das Heizen.
20
+ Statt mit Öl und Gas müssen die Gebäude also mit erneuerbaren Optionen aufgewärmt
21
+ werden, zum Beispiel mit Wärmepumpen, Solar- oder Geothermie. Bislang geht es
22
+ dabei aber kaum voran: Noch im ersten Quartal dieses Jahres waren laut des Bundesverbands
23
+ der Deutschen Heizungsindustrie mehr als die Hälfte der verkauften Heizungen gasbetrieben.
24
+ Ganz grundsätzlich sieht das neue Heizungsgesetz nun vor, dass neue Heizungen
25
+ ab dem kommenden Jahr mindestens zu 65 Prozent erneuerbar betrieben werden. Durch
26
+ Ausnahmen wie die bei wasserstofftauglichen Gasheizungen soll das aber nur noch
27
+ eingeschränkt gelten.'
28
+ - text: Clemens Traub bezeichnete FFF als Bewegung, in der Arzttöchter anderen die
29
+ Welt erklären. Wie wollen Sie denn die Männer von der Autobahnmeisterer oder die
30
+ Fernpendlerin erreichen?Niemand schlägt vor, dass in Deutschland alle Autobahnen
31
+ rückgebaut werden sollen. Natürlich müssen marode Straßen und Brücken saniert
32
+ werden, damit sich Menschen sicher bewegen können. Gleichzeitig sollte Mobilität
33
+ so gestaltet werden, dass wir nicht durch jeden Weg, den wir zurücklegen, Klimaschäden
34
+ produzieren, die sich nicht mehr auffangen lassen.
35
+ - text: ', die Jugendvertretung Bayern der Gewerkschaft Nahrung Genussmittel Gaststätten
36
+ NGG, die Bund-Naturschutz-Jugend, die Falken im Bezirk Südbayern, die Münchner
37
+ Mieterschutzinitiative ›Ausspekuliert›, ein bundesweites Bündnis Armutsbetroffener
38
+ ichbinarmutsbetroffen, FFF, das Bündnis Attac, der Paritätische Wohlfahrtsverband
39
+ Bayern und der Sozialverband VdK Bayern.'
40
+ - text: 'Am späten Vormittag zogen die Klima-Chaoten eine erste Zwischenbilanz:.Aimée
41
+ Vanbaalen, Sprecherin der ›DLG›, über die Störungen: ›Unsere höchsten Erwartungen
42
+ wurden deutlich übertroffen! An 27 Verkehrsknotenpunkten in Berlin kam es heute
43
+ zu Protesten, drei Mal so viele wie noch im letzten Herbst.›'
44
+ inference: true
45
+ model-index:
46
+ - name: SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
47
+ results:
48
+ - task:
49
+ type: text-classification
50
+ name: Text Classification
51
+ dataset:
52
+ name: Unknown
53
+ type: unknown
54
+ split: test
55
+ metrics:
56
+ - type: accuracy
57
+ value: 0.6916666666666667
58
+ name: Accuracy
59
+ ---
60
+
61
+ # SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
62
+
63
+ This is a [SetFit](https://github.com/huggingface/setfit) model that can be used for Text Classification. This SetFit model uses [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) as the Sentence Transformer embedding model. A [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance is used for classification.
64
+
65
+ The model has been trained using an efficient few-shot learning technique that involves:
66
+
67
+ 1. Fine-tuning a [Sentence Transformer](https://www.sbert.net) with contrastive learning.
68
+ 2. Training a classification head with features from the fine-tuned Sentence Transformer.
69
+
70
+ ## Model Details
71
+
72
+ ### Model Description
73
+ - **Model Type:** SetFit
74
+ - **Sentence Transformer body:** [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2)
75
+ - **Classification head:** a [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance
76
+ - **Maximum Sequence Length:** 128 tokens
77
+ - **Number of Classes:** 3 classes
78
+ <!-- - **Training Dataset:** [Unknown](https://huggingface.co/datasets/unknown) -->
79
+ <!-- - **Language:** Unknown -->
80
+ <!-- - **License:** Unknown -->
81
+
82
+ ### Model Sources
83
+
84
+ - **Repository:** [SetFit on GitHub](https://github.com/huggingface/setfit)
85
+ - **Paper:** [Efficient Few-Shot Learning Without Prompts](https://arxiv.org/abs/2209.11055)
86
+ - **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
87
+
88
+ ### Model Labels
89
+ | Label | Examples |
90
+ |:-----------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
91
+ | OPPOSED | <ul><li>'Um weitere 1,8 Prozent soll sich der Autobahnverkehr reduzieren, weil angeblich wegen des Tempolimits Autofahrer auf den öffentlichen Nahverkehr umsteigen würden. Beide Annahmen sind nicht gerade plausibel, zumal die Autoren der Studie selbst zugeben, dass wichtige Faktoren, wie der Ticketpreis, die Dauer der Fahrt mit Bus und Bahn oder auch die Komforteinbuße nicht berücksichtigt wurden: "Hierbei wird allerdings das Verkehrsangebot (Reisezeit, Preis, Bequemlichkeit etc.) der anderen Verkehrsträger vernachlässigt", schreiben sie auf Seite 206.'</li><li>'Pop Das Heizungsgesetz ist durch die lange Debatte nicht besser geworden, Verbraucherinnen und Verbrauchern fehlt weiter die nötige Klarheit. Das Sammelsurium an Optionen überfordert sie. Und es drohen Kostenfallen, etwa durch den schnellen Kauf einer Gasheizung.'</li><li>'Buschmann kritisiert Autobahnblockaden Berlin - Justizminister Marco Buschmann FDP hat Kritik an Aktionen der Klimaschutzbewegung ›DLG› geübt. ›Wer Krankenwagen blockiert, kann sich unter Umständen der fahrlässigen Körperverletzung schuldig machen›, schrieb er auf'</li></ul> |
92
+ | NEUTRAL | <ul><li>'Die Ampelkoalition ringt um das umstrittene Heizungsgesetz. Die Grünen forderten die FDP auf, den Weg für Beratungen im Bundestag frei zu machen. „Wir gehen davon aus, dass die FDP ihre Blockade, was die erste Lesung des Gesetzes im Bundestag angeht, aufgeben wird“, sagte die stellvertretende Fraktionsvorsitzende Julia Verlinden am Freitag. Es müsse Planungssicherheit für Menschen und Unternehmen geschaffen werden, was von 2024 an gelte. FDP-Politiker entgegneten, die Liberalen ließen sich nicht unter Zeitdruck setzen. „Für uns gilt: Gründlichkeit geht vor Schnelligkeit“, sagte der FDP-Energiepolitiker Konrad Stockmeier. Die FDP will grundsätzliche Nachbesserungen an einem vom Kabinett bereits beschlossenen Gesetzentwurf. Dieser sieht vor, dass von Anfang 2024 an möglichst jede neu eingebaute Heizung zu mindestens 65 Prozent mit Ökoenergie betrieben wird.'</li><li>'Germering - Mit dem geplanten Heizungsgesetz hat die Opposition im Bundestag momentan wenig Arbeit. Die Ampelkoalition zerstreitet sich von ganz alleine über den sogenannten „Habeck-Hammer“. Wie blickt man also von außen auf das Gerangel von FDP und Grünen? Und hat das Gesetz nicht auch seine Vorzüge? Ein Gespräch mit dem Bundestagsabgeordneten Michael Kießling (Wahlkreis Starnberg-Landsberg-Germering), der in der CSU-Fraktion Berichterstatter für Energiethemen ist.'</li><li>'Die Bundesrepublik war nicht von diesem Boykott betroffen. Aber den steigenden Ölpreis bekamen auch die Westdeutschen zu spüren - binnen vier Wochen vervierfachte sich dieser. Die Verantwortlichen der sozialliberalen Koalition mussten sich etwas einfallen lassen. Die ersten Maßnahmen bestanden darin, vier autofreie Sonntage zu verordnen und ein vorübergehendes Tempolimit von 100 km/h auf den Autobahnen und 80 km/h auf Landstraßen durchzudrücken.'</li></ul> |
93
+ | SUPPORTIVE | <ul><li>'Eigentlich ist er gar nicht mehr zuständig, sondern das Parlament. Doch der grüne Bundeswirtschaftsminister Robert\u2005Habeck versucht, den Koalitionspartner FDP im Gespräch vom umstrittenen Heizungsgesetz zu überzeugen.'</li><li>'09.30 Uhr: Im Sinne des Klimaschutzes will die Bundesregierung den Abschied von Gas- und Ölheizungen einläuten. Das Bundeskabinett brachte am Mittwoch umstrittene Pläne zum Heizungstausch auf den Weg. Geplant ist auch eine neue Förderung mit „Klimaboni“, um Hauseigentümer finanziell nicht zu überfordern. Wirtschafts- und Klimaschutzminister Robert Habeck (Grüne) und Bauministerin Klara Geywitz (SPD) sprachen von einem großen Schritt.'</li><li>'Nutzen Sie auch Samples? Nicht direkt. Womit ich gearbeitet habe, waren Radio und Hörspiele: Die habe ich laufen lassen und aufgenommen. Das ist das, wo man sagen könnte, es klingt wie ein Sample. Bei dem Stück ›Cosmic Diversity› ist es zum Beispiel David Attenborough, der da spricht. Die Stimme passte so schön und was er sagt, hat auch eine Message: die ›FFF›-Message, dass man den Klimawandel global betrachten muss.'</li></ul> |
94
+
95
+ ## Evaluation
96
+
97
+ ### Metrics
98
+ | Label | Accuracy |
99
+ |:--------|:---------|
100
+ | **all** | 0.6917 |
101
+
102
+ ## Uses
103
+
104
+ ### Direct Use for Inference
105
+
106
+ First install the SetFit library:
107
+
108
+ ```bash
109
+ pip install setfit
110
+ ```
111
+
112
+ Then you can load this model and run inference.
113
+
114
+ ```python
115
+ from setfit import SetFitModel
116
+
117
+ # Download from the 🤗 Hub
118
+ model = SetFitModel.from_pretrained("cbpuschmann/MiniLM-klimacoder_v0.1")
119
+ # Run inference
120
+ preds = model("Bei den Koalitionsverhandlungen von SPD, Grünen und FDP war die Einführung eines generellen Tempolimits auf deutschen Autobahnen am Widerstand der Liberalen gescheitert. Auch bei einem vor kurzem von den Koalitionsspitzen beschlossenen Maßnahmenpaket auch zum Energiesparen fehlte ein Tempolimit.")
121
+ ```
122
+
123
+ <!--
124
+ ### Downstream Use
125
+
126
+ *List how someone could finetune this model on their own dataset.*
127
+ -->
128
+
129
+ <!--
130
+ ### Out-of-Scope Use
131
+
132
+ *List how the model may foreseeably be misused and address what users ought not to do with the model.*
133
+ -->
134
+
135
+ <!--
136
+ ## Bias, Risks and Limitations
137
+
138
+ *What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
139
+ -->
140
+
141
+ <!--
142
+ ### Recommendations
143
+
144
+ *What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
145
+ -->
146
+
147
+ ## Training Details
148
+
149
+ ### Training Set Metrics
150
+ | Training set | Min | Median | Max |
151
+ |:-------------|:----|:--------|:----|
152
+ | Word count | 15 | 65.3896 | 237 |
153
+
154
+ | Label | Training Sample Count |
155
+ |:-----------|:----------------------|
156
+ | NEUTRAL | 219 |
157
+ | OPPOSED | 125 |
158
+ | SUPPORTIVE | 136 |
159
+
160
+ ### Training Hyperparameters
161
+ - batch_size: (128, 128)
162
+ - num_epochs: (10, 10)
163
+ - max_steps: -1
164
+ - sampling_strategy: oversampling
165
+ - body_learning_rate: (2e-05, 1e-05)
166
+ - head_learning_rate: 0.01
167
+ - loss: CosineSimilarityLoss
168
+ - distance_metric: cosine_distance
169
+ - margin: 0.25
170
+ - end_to_end: False
171
+ - use_amp: False
172
+ - warmup_proportion: 0.1
173
+ - l2_weight: 0.01
174
+ - seed: 42
175
+ - eval_max_steps: -1
176
+ - load_best_model_at_end: False
177
+
178
+ ### Training Results
179
+ | Epoch | Step | Training Loss | Validation Loss |
180
+ |:------:|:-----:|:-------------:|:---------------:|
181
+ | 0.0009 | 1 | 0.2764 | - |
182
+ | 0.0431 | 50 | 0.2927 | - |
183
+ | 0.0863 | 100 | 0.2729 | - |
184
+ | 0.1294 | 150 | 0.2637 | - |
185
+ | 0.1726 | 200 | 0.2562 | - |
186
+ | 0.2157 | 250 | 0.2485 | - |
187
+ | 0.2588 | 300 | 0.2386 | - |
188
+ | 0.3020 | 350 | 0.22 | - |
189
+ | 0.3451 | 400 | 0.1755 | - |
190
+ | 0.3883 | 450 | 0.1235 | - |
191
+ | 0.4314 | 500 | 0.073 | - |
192
+ | 0.4745 | 550 | 0.0301 | - |
193
+ | 0.5177 | 600 | 0.0105 | - |
194
+ | 0.5608 | 650 | 0.0058 | - |
195
+ | 0.6040 | 700 | 0.0049 | - |
196
+ | 0.6471 | 750 | 0.0035 | - |
197
+ | 0.6903 | 800 | 0.0031 | - |
198
+ | 0.7334 | 850 | 0.0027 | - |
199
+ | 0.7765 | 900 | 0.0027 | - |
200
+ | 0.8197 | 950 | 0.0021 | - |
201
+ | 0.8628 | 1000 | 0.0022 | - |
202
+ | 0.9060 | 1050 | 0.0014 | - |
203
+ | 0.9491 | 1100 | 0.0022 | - |
204
+ | 0.9922 | 1150 | 0.0018 | - |
205
+ | 1.0354 | 1200 | 0.0019 | - |
206
+ | 1.0785 | 1250 | 0.0024 | - |
207
+ | 1.1217 | 1300 | 0.0015 | - |
208
+ | 1.1648 | 1350 | 0.0021 | - |
209
+ | 1.2079 | 1400 | 0.0022 | - |
210
+ | 1.2511 | 1450 | 0.0016 | - |
211
+ | 1.2942 | 1500 | 0.0021 | - |
212
+ | 1.3374 | 1550 | 0.0023 | - |
213
+ | 1.3805 | 1600 | 0.0022 | - |
214
+ | 1.4236 | 1650 | 0.0013 | - |
215
+ | 1.4668 | 1700 | 0.0019 | - |
216
+ | 1.5099 | 1750 | 0.0023 | - |
217
+ | 1.5531 | 1800 | 0.0016 | - |
218
+ | 1.5962 | 1850 | 0.0018 | - |
219
+ | 1.6393 | 1900 | 0.0013 | - |
220
+ | 1.6825 | 1950 | 0.0014 | - |
221
+ | 1.7256 | 2000 | 0.0017 | - |
222
+ | 1.7688 | 2050 | 0.0016 | - |
223
+ | 1.8119 | 2100 | 0.0016 | - |
224
+ | 1.8550 | 2150 | 0.0016 | - |
225
+ | 1.8982 | 2200 | 0.0024 | - |
226
+ | 1.9413 | 2250 | 0.0013 | - |
227
+ | 1.9845 | 2300 | 0.0019 | - |
228
+ | 2.0276 | 2350 | 0.0014 | - |
229
+ | 2.0708 | 2400 | 0.0019 | - |
230
+ | 2.1139 | 2450 | 0.0016 | - |
231
+ | 2.1570 | 2500 | 0.002 | - |
232
+ | 2.2002 | 2550 | 0.0011 | - |
233
+ | 2.2433 | 2600 | 0.0014 | - |
234
+ | 2.2865 | 2650 | 0.0016 | - |
235
+ | 2.3296 | 2700 | 0.0013 | - |
236
+ | 2.3727 | 2750 | 0.0013 | - |
237
+ | 2.4159 | 2800 | 0.0022 | - |
238
+ | 2.4590 | 2850 | 0.0017 | - |
239
+ | 2.5022 | 2900 | 0.0016 | - |
240
+ | 2.5453 | 2950 | 0.0015 | - |
241
+ | 2.5884 | 3000 | 0.0021 | - |
242
+ | 2.6316 | 3050 | 0.0022 | - |
243
+ | 2.6747 | 3100 | 0.0019 | - |
244
+ | 2.7179 | 3150 | 0.0014 | - |
245
+ | 2.7610 | 3200 | 0.0013 | - |
246
+ | 2.8041 | 3250 | 0.0012 | - |
247
+ | 2.8473 | 3300 | 0.0014 | - |
248
+ | 2.8904 | 3350 | 0.0023 | - |
249
+ | 2.9336 | 3400 | 0.0018 | - |
250
+ | 2.9767 | 3450 | 0.0017 | - |
251
+ | 3.0198 | 3500 | 0.002 | - |
252
+ | 3.0630 | 3550 | 0.0021 | - |
253
+ | 3.1061 | 3600 | 0.0024 | - |
254
+ | 3.1493 | 3650 | 0.0021 | - |
255
+ | 3.1924 | 3700 | 0.0015 | - |
256
+ | 3.2355 | 3750 | 0.0015 | - |
257
+ | 3.2787 | 3800 | 0.0016 | - |
258
+ | 3.3218 | 3850 | 0.0012 | - |
259
+ | 3.3650 | 3900 | 0.0016 | - |
260
+ | 3.4081 | 3950 | 0.0011 | - |
261
+ | 3.4513 | 4000 | 0.0017 | - |
262
+ | 3.4944 | 4050 | 0.0018 | - |
263
+ | 3.5375 | 4100 | 0.0015 | - |
264
+ | 3.5807 | 4150 | 0.0019 | - |
265
+ | 3.6238 | 4200 | 0.0017 | - |
266
+ | 3.6670 | 4250 | 0.0019 | - |
267
+ | 3.7101 | 4300 | 0.0014 | - |
268
+ | 3.7532 | 4350 | 0.0017 | - |
269
+ | 3.7964 | 4400 | 0.0014 | - |
270
+ | 3.8395 | 4450 | 0.0013 | - |
271
+ | 3.8827 | 4500 | 0.002 | - |
272
+ | 3.9258 | 4550 | 0.0014 | - |
273
+ | 3.9689 | 4600 | 0.0021 | - |
274
+ | 4.0121 | 4650 | 0.0017 | - |
275
+ | 4.0552 | 4700 | 0.0018 | - |
276
+ | 4.0984 | 4750 | 0.0012 | - |
277
+ | 4.1415 | 4800 | 0.0017 | - |
278
+ | 4.1846 | 4850 | 0.0022 | - |
279
+ | 4.2278 | 4900 | 0.0012 | - |
280
+ | 4.2709 | 4950 | 0.0014 | - |
281
+ | 4.3141 | 5000 | 0.0016 | - |
282
+ | 4.3572 | 5050 | 0.0016 | - |
283
+ | 4.4003 | 5100 | 0.0015 | - |
284
+ | 4.4435 | 5150 | 0.0015 | - |
285
+ | 4.4866 | 5200 | 0.001 | - |
286
+ | 4.5298 | 5250 | 0.0019 | - |
287
+ | 4.5729 | 5300 | 0.0028 | - |
288
+ | 4.6160 | 5350 | 0.0016 | - |
289
+ | 4.6592 | 5400 | 0.0013 | - |
290
+ | 4.7023 | 5450 | 0.0017 | - |
291
+ | 4.7455 | 5500 | 0.0019 | - |
292
+ | 4.7886 | 5550 | 0.0015 | - |
293
+ | 4.8318 | 5600 | 0.002 | - |
294
+ | 4.8749 | 5650 | 0.002 | - |
295
+ | 4.9180 | 5700 | 0.0023 | - |
296
+ | 4.9612 | 5750 | 0.0012 | - |
297
+ | 5.0043 | 5800 | 0.0012 | - |
298
+ | 5.0475 | 5850 | 0.0016 | - |
299
+ | 5.0906 | 5900 | 0.0014 | - |
300
+ | 5.1337 | 5950 | 0.0011 | - |
301
+ | 5.1769 | 6000 | 0.0017 | - |
302
+ | 5.2200 | 6050 | 0.0015 | - |
303
+ | 5.2632 | 6100 | 0.0022 | - |
304
+ | 5.3063 | 6150 | 0.0012 | - |
305
+ | 5.3494 | 6200 | 0.0018 | - |
306
+ | 5.3926 | 6250 | 0.0015 | - |
307
+ | 5.4357 | 6300 | 0.002 | - |
308
+ | 5.4789 | 6350 | 0.0017 | - |
309
+ | 5.5220 | 6400 | 0.0016 | - |
310
+ | 5.5651 | 6450 | 0.0014 | - |
311
+ | 5.6083 | 6500 | 0.0015 | - |
312
+ | 5.6514 | 6550 | 0.0013 | - |
313
+ | 5.6946 | 6600 | 0.0016 | - |
314
+ | 5.7377 | 6650 | 0.0016 | - |
315
+ | 5.7808 | 6700 | 0.0013 | - |
316
+ | 5.8240 | 6750 | 0.0016 | - |
317
+ | 5.8671 | 6800 | 0.0019 | - |
318
+ | 5.9103 | 6850 | 0.0017 | - |
319
+ | 5.9534 | 6900 | 0.0013 | - |
320
+ | 5.9965 | 6950 | 0.0019 | - |
321
+ | 6.0397 | 7000 | 0.0011 | - |
322
+ | 6.0828 | 7050 | 0.0015 | - |
323
+ | 6.1260 | 7100 | 0.0015 | - |
324
+ | 6.1691 | 7150 | 0.0018 | - |
325
+ | 6.2123 | 7200 | 0.0014 | - |
326
+ | 6.2554 | 7250 | 0.0014 | - |
327
+ | 6.2985 | 7300 | 0.0017 | - |
328
+ | 6.3417 | 7350 | 0.0015 | - |
329
+ | 6.3848 | 7400 | 0.0017 | - |
330
+ | 6.4280 | 7450 | 0.0017 | - |
331
+ | 6.4711 | 7500 | 0.0019 | - |
332
+ | 6.5142 | 7550 | 0.0017 | - |
333
+ | 6.5574 | 7600 | 0.0012 | - |
334
+ | 6.6005 | 7650 | 0.0018 | - |
335
+ | 6.6437 | 7700 | 0.0015 | - |
336
+ | 6.6868 | 7750 | 0.002 | - |
337
+ | 6.7299 | 7800 | 0.0012 | - |
338
+ | 6.7731 | 7850 | 0.0018 | - |
339
+ | 6.8162 | 7900 | 0.0014 | - |
340
+ | 6.8594 | 7950 | 0.0013 | - |
341
+ | 6.9025 | 8000 | 0.0015 | - |
342
+ | 6.9456 | 8050 | 0.0015 | - |
343
+ | 6.9888 | 8100 | 0.0017 | - |
344
+ | 7.0319 | 8150 | 0.0013 | - |
345
+ | 7.0751 | 8200 | 0.0017 | - |
346
+ | 7.1182 | 8250 | 0.0012 | - |
347
+ | 7.1613 | 8300 | 0.0019 | - |
348
+ | 7.2045 | 8350 | 0.0013 | - |
349
+ | 7.2476 | 8400 | 0.0015 | - |
350
+ | 7.2908 | 8450 | 0.0017 | - |
351
+ | 7.3339 | 8500 | 0.0016 | - |
352
+ | 7.3770 | 8550 | 0.0021 | - |
353
+ | 7.4202 | 8600 | 0.0014 | - |
354
+ | 7.4633 | 8650 | 0.0013 | - |
355
+ | 7.5065 | 8700 | 0.0015 | - |
356
+ | 7.5496 | 8750 | 0.0015 | - |
357
+ | 7.5928 | 8800 | 0.0014 | - |
358
+ | 7.6359 | 8850 | 0.0013 | - |
359
+ | 7.6790 | 8900 | 0.0016 | - |
360
+ | 7.7222 | 8950 | 0.0016 | - |
361
+ | 7.7653 | 9000 | 0.0016 | - |
362
+ | 7.8085 | 9050 | 0.0017 | - |
363
+ | 7.8516 | 9100 | 0.0016 | - |
364
+ | 7.8947 | 9150 | 0.0018 | - |
365
+ | 7.9379 | 9200 | 0.002 | - |
366
+ | 7.9810 | 9250 | 0.0015 | - |
367
+ | 8.0242 | 9300 | 0.0015 | - |
368
+ | 8.0673 | 9350 | 0.0014 | - |
369
+ | 8.1104 | 9400 | 0.0013 | - |
370
+ | 8.1536 | 9450 | 0.0014 | - |
371
+ | 8.1967 | 9500 | 0.0017 | - |
372
+ | 8.2399 | 9550 | 0.002 | - |
373
+ | 8.2830 | 9600 | 0.0019 | - |
374
+ | 8.3261 | 9650 | 0.0012 | - |
375
+ | 8.3693 | 9700 | 0.0012 | - |
376
+ | 8.4124 | 9750 | 0.0016 | - |
377
+ | 8.4556 | 9800 | 0.0014 | - |
378
+ | 8.4987 | 9850 | 0.0016 | - |
379
+ | 8.5418 | 9900 | 0.0014 | - |
380
+ | 8.5850 | 9950 | 0.0012 | - |
381
+ | 8.6281 | 10000 | 0.0013 | - |
382
+ | 8.6713 | 10050 | 0.0023 | - |
383
+ | 8.7144 | 10100 | 0.0011 | - |
384
+ | 8.7575 | 10150 | 0.0016 | - |
385
+ | 8.8007 | 10200 | 0.0017 | - |
386
+ | 8.8438 | 10250 | 0.0017 | - |
387
+ | 8.8870 | 10300 | 0.0018 | - |
388
+ | 8.9301 | 10350 | 0.0019 | - |
389
+ | 8.9733 | 10400 | 0.0017 | - |
390
+ | 9.0164 | 10450 | 0.0014 | - |
391
+ | 9.0595 | 10500 | 0.0014 | - |
392
+ | 9.1027 | 10550 | 0.0012 | - |
393
+ | 9.1458 | 10600 | 0.0018 | - |
394
+ | 9.1890 | 10650 | 0.002 | - |
395
+ | 9.2321 | 10700 | 0.0015 | - |
396
+ | 9.2752 | 10750 | 0.0019 | - |
397
+ | 9.3184 | 10800 | 0.0018 | - |
398
+ | 9.3615 | 10850 | 0.0014 | - |
399
+ | 9.4047 | 10900 | 0.0016 | - |
400
+ | 9.4478 | 10950 | 0.0014 | - |
401
+ | 9.4909 | 11000 | 0.0011 | - |
402
+ | 9.5341 | 11050 | 0.0014 | - |
403
+ | 9.5772 | 11100 | 0.0017 | - |
404
+ | 9.6204 | 11150 | 0.0018 | - |
405
+ | 9.6635 | 11200 | 0.0012 | - |
406
+ | 9.7066 | 11250 | 0.0013 | - |
407
+ | 9.7498 | 11300 | 0.0015 | - |
408
+ | 9.7929 | 11350 | 0.0019 | - |
409
+ | 9.8361 | 11400 | 0.0015 | - |
410
+ | 9.8792 | 11450 | 0.0016 | - |
411
+ | 9.9223 | 11500 | 0.0013 | - |
412
+ | 9.9655 | 11550 | 0.0019 | - |
413
+
414
+ ### Framework Versions
415
+ - Python: 3.10.12
416
+ - SetFit: 1.1.0
417
+ - Sentence Transformers: 3.2.1
418
+ - Transformers: 4.44.2
419
+ - PyTorch: 2.5.0+cu121
420
+ - Datasets: 3.0.2
421
+ - Tokenizers: 0.19.1
422
+
423
+ ## Citation
424
+
425
+ ### BibTeX
426
+ ```bibtex
427
+ @article{https://doi.org/10.48550/arxiv.2209.11055,
428
+ doi = {10.48550/ARXIV.2209.11055},
429
+ url = {https://arxiv.org/abs/2209.11055},
430
+ author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
431
+ keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
432
+ title = {Efficient Few-Shot Learning Without Prompts},
433
+ publisher = {arXiv},
434
+ year = {2022},
435
+ copyright = {Creative Commons Attribution 4.0 International}
436
+ }
437
+ ```
438
+
439
+ <!--
440
+ ## Glossary
441
+
442
+ *Clearly define terms in order to be accessible across audiences.*
443
+ -->
444
+
445
+ <!--
446
+ ## Model Card Authors
447
+
448
+ *Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
449
+ -->
450
+
451
+ <!--
452
+ ## Model Card Contact
453
+
454
+ *Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
455
+ -->
config.json ADDED
@@ -0,0 +1,26 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "_name_or_path": "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2",
3
+ "architectures": [
4
+ "BertModel"
5
+ ],
6
+ "attention_probs_dropout_prob": 0.1,
7
+ "classifier_dropout": null,
8
+ "gradient_checkpointing": false,
9
+ "hidden_act": "gelu",
10
+ "hidden_dropout_prob": 0.1,
11
+ "hidden_size": 384,
12
+ "initializer_range": 0.02,
13
+ "intermediate_size": 1536,
14
+ "layer_norm_eps": 1e-12,
15
+ "max_position_embeddings": 512,
16
+ "model_type": "bert",
17
+ "num_attention_heads": 12,
18
+ "num_hidden_layers": 12,
19
+ "pad_token_id": 0,
20
+ "position_embedding_type": "absolute",
21
+ "torch_dtype": "float32",
22
+ "transformers_version": "4.44.2",
23
+ "type_vocab_size": 2,
24
+ "use_cache": true,
25
+ "vocab_size": 250037
26
+ }
config_sentence_transformers.json ADDED
@@ -0,0 +1,10 @@
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "__version__": {
3
+ "sentence_transformers": "3.2.1",
4
+ "transformers": "4.44.2",
5
+ "pytorch": "2.5.0+cu121"
6
+ },
7
+ "prompts": {},
8
+ "default_prompt_name": null,
9
+ "similarity_fn_name": null
10
+ }
config_setfit.json ADDED
@@ -0,0 +1,8 @@
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "normalize_embeddings": false,
3
+ "labels": [
4
+ "NEUTRAL",
5
+ "OPPOSED",
6
+ "SUPPORTIVE"
7
+ ]
8
+ }
model.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:1c44fba88fc9f459ded331d5ce0e942101f04bd9a67f5c316ff77001a26c300c
3
+ size 470637416
model_head.pkl ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:cecdb2442b49634ce934279e93433f58c7100c7954c18240ede69d7936a650ad
3
+ size 10207
modules.json ADDED
@@ -0,0 +1,14 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ [
2
+ {
3
+ "idx": 0,
4
+ "name": "0",
5
+ "path": "",
6
+ "type": "sentence_transformers.models.Transformer"
7
+ },
8
+ {
9
+ "idx": 1,
10
+ "name": "1",
11
+ "path": "1_Pooling",
12
+ "type": "sentence_transformers.models.Pooling"
13
+ }
14
+ ]
sentence_bert_config.json ADDED
@@ -0,0 +1,4 @@
 
 
 
 
 
1
+ {
2
+ "max_seq_length": 128,
3
+ "do_lower_case": false
4
+ }
special_tokens_map.json ADDED
@@ -0,0 +1,51 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "bos_token": {
3
+ "content": "<s>",
4
+ "lstrip": false,
5
+ "normalized": false,
6
+ "rstrip": false,
7
+ "single_word": false
8
+ },
9
+ "cls_token": {
10
+ "content": "<s>",
11
+ "lstrip": false,
12
+ "normalized": false,
13
+ "rstrip": false,
14
+ "single_word": false
15
+ },
16
+ "eos_token": {
17
+ "content": "</s>",
18
+ "lstrip": false,
19
+ "normalized": false,
20
+ "rstrip": false,
21
+ "single_word": false
22
+ },
23
+ "mask_token": {
24
+ "content": "<mask>",
25
+ "lstrip": true,
26
+ "normalized": false,
27
+ "rstrip": false,
28
+ "single_word": false
29
+ },
30
+ "pad_token": {
31
+ "content": "<pad>",
32
+ "lstrip": false,
33
+ "normalized": false,
34
+ "rstrip": false,
35
+ "single_word": false
36
+ },
37
+ "sep_token": {
38
+ "content": "</s>",
39
+ "lstrip": false,
40
+ "normalized": false,
41
+ "rstrip": false,
42
+ "single_word": false
43
+ },
44
+ "unk_token": {
45
+ "content": "<unk>",
46
+ "lstrip": false,
47
+ "normalized": false,
48
+ "rstrip": false,
49
+ "single_word": false
50
+ }
51
+ }
tokenizer.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:cad551d5600a84242d0973327029452a1e3672ba6313c2a3c3d69c4310e12719
3
+ size 17082987
tokenizer_config.json ADDED
@@ -0,0 +1,64 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "added_tokens_decoder": {
3
+ "0": {
4
+ "content": "<s>",
5
+ "lstrip": false,
6
+ "normalized": false,
7
+ "rstrip": false,
8
+ "single_word": false,
9
+ "special": true
10
+ },
11
+ "1": {
12
+ "content": "<pad>",
13
+ "lstrip": false,
14
+ "normalized": false,
15
+ "rstrip": false,
16
+ "single_word": false,
17
+ "special": true
18
+ },
19
+ "2": {
20
+ "content": "</s>",
21
+ "lstrip": false,
22
+ "normalized": false,
23
+ "rstrip": false,
24
+ "single_word": false,
25
+ "special": true
26
+ },
27
+ "3": {
28
+ "content": "<unk>",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
+ "250001": {
36
+ "content": "<mask>",
37
+ "lstrip": true,
38
+ "normalized": false,
39
+ "rstrip": false,
40
+ "single_word": false,
41
+ "special": true
42
+ }
43
+ },
44
+ "bos_token": "<s>",
45
+ "clean_up_tokenization_spaces": true,
46
+ "cls_token": "<s>",
47
+ "do_lower_case": true,
48
+ "eos_token": "</s>",
49
+ "mask_token": "<mask>",
50
+ "max_length": 128,
51
+ "model_max_length": 128,
52
+ "pad_to_multiple_of": null,
53
+ "pad_token": "<pad>",
54
+ "pad_token_type_id": 0,
55
+ "padding_side": "right",
56
+ "sep_token": "</s>",
57
+ "stride": 0,
58
+ "strip_accents": null,
59
+ "tokenize_chinese_chars": true,
60
+ "tokenizer_class": "BertTokenizer",
61
+ "truncation_side": "right",
62
+ "truncation_strategy": "longest_first",
63
+ "unk_token": "<unk>"
64
+ }
unigram.json ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:da145b5e7700ae40f16691ec32a0b1fdc1ee3298db22a31ea55f57a966c4a65d
3
+ size 14763260