Hugging Face's logo

akhooli
/
setfit_ar_ubc_hs

Text Classification
setfit
Safetensors
sentence-transformers
bert
generated_from_setfit_trainer
Eval Results
Model card Files Community
akhooli commited on
Commit
54d3dc1
•
1 Parent(s): 8800f9d

Push model using huggingface_hub.

Browse files
Files changed (3) hide show
  1. README.md +91 -78
  2. model.safetensors +1 -1
  3. model_head.pkl +1 -1
README.md CHANGED
@@ -10,13 +10,19 @@ tags:
10
  - text-classification
11
  - generated_from_setfit_trainer
12
  widget:
13
- - text: كيف كل زمن وإله أتباعه الزقيفة بإيام الإحتلال السوري للبنان، كان أشهرهم ناصر
14
- قنديل زال الوجود العسكري وتبخ...
15
- - text: اداي في كتير مشحرين وقلال عقل في لبنان بقصد الذين يمدحون ويمجدون شخص مخلوق
16
- من لحم ونسوا ان الله هو من ي...
17
- - text: كول هوا و سد نيعك
18
- - text: لا تحبسنا على غدر الزمان طالما نحن لها في المرصاد
19
- - text: العمر الو حق مبين عليكي الكبر
 
 
 
 
 
 
20
  inference: true
21
  model-index:
22
  - name: SetFit with akhooli/sbert_ar_nli_500k_ubc_norm
@@ -30,7 +36,7 @@ model-index:
30
  split: test
31
  metrics:
32
  - type: accuracy
33
- value: 0.8625363020329139
34
  name: Accuracy
35
  ---
36
 
@@ -62,17 +68,17 @@ The model has been trained using an efficient few-shot learning technique that i
62
  - **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
63
 
64
  ### Model Labels
65
- | Label | Examples |
66
- |:---------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
67
- | negative | <ul><li>'جبران باسيل يغرّد عن رحيل مي منسى لبنان سيفتقد روحك الجميلة'</li><li>'نشرتكم مقابلة لوزير الخارجية اللبناني جبران باسيل مع سي أن أن تثير الجدل على منصات التواصل ما السبب؟'</li><li>' حسا السنه حسا الشيعه حسا الحضران والبدوان\nتساوينا بمحبتها وساوتنا أراضيها\n🌴\nعساني يالحسا فدوة فديت الداار والسكان\nمن اول بيت لآخر بيت بقراها وحواريها\n🌴\nمكانك يالحسا عالي وقدرك فوق مهما كان\nومن حاول يقارن بك بيخسر في تواليها\n🌴وسلامتكم🌴'</li></ul> |
68
- | positive | <ul><li>'جبران باسيل اكثر الساسة نفاقا'</li><li>'انا اقترح عليك طبيب بيطري'</li><li>'انتي شكلك مو سورية بس عم تزعمي'</li></ul> |
69
 
70
  ## Evaluation
71
 
72
  ### Metrics
73
  | Label | Accuracy |
74
  |:--------|:---------|
75
- | **all** | 0.8625 |
76
 
77
  ## Uses
78
 
@@ -92,7 +98,14 @@ from setfit import SetFitModel
92
  # Download from the 🤗 Hub
93
  model = SetFitModel.from_pretrained("akhooli/setfit_ar_ubc_hs")
94
  # Run inference
95
- preds = model("كول هوا و سد نيعك")
 
 
 
 
 
 
 
96
  ```
97
 
98
  <!--
@@ -124,12 +137,12 @@ preds = model("كول هوا و سد نيعك")
124
  ### Training Set Metrics
125
  | Training set | Min | Median | Max |
126
  |:-------------|:----|:--------|:----|
127
- | Word count | 1 | 16.5047 | 102 |
128
 
129
  | Label | Training Sample Count |
130
  |:---------|:----------------------|
131
- | negative | 3709 |
132
- | positive | 3800 |
133
 
134
  ### Training Hyperparameters
135
  - batch_size: (32, 32)
@@ -146,73 +159,73 @@ preds = model("كول هوا و سد نيعك")
146
  - warmup_proportion: 0.1
147
  - l2_weight: 0.01
148
  - seed: 42
149
- - run_name: setfit_hate_38k_ubc_6k
150
  - eval_max_steps: -1
151
  - load_best_model_at_end: False
152
 
153
  ### Training Results
154
  | Epoch | Step | Training Loss | Validation Loss |
155
  |:------:|:----:|:-------------:|:---------------:|
156
- | 0.0003 | 1 | 0.3147 | - |
157
- | 0.0333 | 100 | 0.2724 | - |
158
- | 0.0667 | 200 | 0.2165 | - |
159
- | 0.1 | 300 | 0.163 | - |
160
- | 0.1333 | 400 | 0.1275 | - |
161
- | 0.1667 | 500 | 0.0939 | - |
162
- | 0.2 | 600 | 0.0725 | - |
163
- | 0.2333 | 700 | 0.0535 | - |
164
- | 0.2667 | 800 | 0.041 | - |
165
- | 0.3 | 900 | 0.0369 | - |
166
- | 0.3333 | 1000 | 0.0286 | - |
167
- | 0.3667 | 1100 | 0.0202 | - |
168
- | 0.4 | 1200 | 0.0186 | - |
169
- | 0.4333 | 1300 | 0.0187 | - |
170
- | 0.4667 | 1400 | 0.0129 | - |
171
- | 0.5 | 1500 | 0.0124 | - |
172
- | 0.5333 | 1600 | 0.0112 | - |
173
- | 0.5667 | 1700 | 0.0094 | - |
174
- | 0.6 | 1800 | 0.008 | - |
175
- | 0.6333 | 1900 | 0.0057 | - |
176
- | 0.6667 | 2000 | 0.0056 | - |
177
- | 0.7 | 2100 | 0.0044 | - |
178
- | 0.7333 | 2200 | 0.0026 | - |
179
- | 0.7667 | 2300 | 0.0042 | - |
180
- | 0.8 | 2400 | 0.0022 | - |
181
- | 0.8333 | 2500 | 0.0022 | - |
182
- | 0.8667 | 2600 | 0.0031 | - |
183
- | 0.9 | 2700 | 0.0031 | - |
184
- | 0.9333 | 2800 | 0.0019 | - |
185
- | 0.9667 | 2900 | 0.0032 | - |
186
- | 1.0 | 3000 | 0.002 | - |
187
- | 1.0333 | 3100 | 0.0012 | - |
188
- | 1.0667 | 3200 | 0.0022 | - |
189
- | 1.1 | 3300 | 0.0012 | - |
190
- | 1.1333 | 3400 | 0.0023 | - |
191
- | 1.1667 | 3500 | 0.0032 | - |
192
- | 1.2 | 3600 | 0.002 | - |
193
- | 1.2333 | 3700 | 0.0021 | - |
194
- | 1.2667 | 3800 | 0.0015 | - |
195
- | 1.3 | 3900 | 0.0012 | - |
196
- | 1.3333 | 4000 | 0.0013 | - |
197
- | 1.3667 | 4100 | 0.0016 | - |
198
- | 1.4 | 4200 | 0.0006 | - |
199
- | 1.4333 | 4300 | 0.0013 | - |
200
- | 1.4667 | 4400 | 0.0017 | - |
201
- | 1.5 | 4500 | 0.0007 | - |
202
- | 1.5333 | 4600 | 0.0014 | - |
203
- | 1.5667 | 4700 | 0.0002 | - |
204
- | 1.6 | 4800 | 0.0005 | - |
205
- | 1.6333 | 4900 | 0.0005 | - |
206
- | 1.6667 | 5000 | 0.0003 | - |
207
- | 1.7 | 5100 | 0.0006 | - |
208
- | 1.7333 | 5200 | 0.0003 | - |
209
- | 1.7667 | 5300 | 0.0005 | - |
210
- | 1.8 | 5400 | 0.0005 | - |
211
- | 1.8333 | 5500 | 0.0008 | - |
212
- | 1.8667 | 5600 | 0.0006 | - |
213
- | 1.9 | 5700 | 0.0007 | - |
214
- | 1.9333 | 5800 | 0.0002 | - |
215
- | 1.9667 | 5900 | 0.0001 | - |
216
  | 2.0 | 6000 | 0.0007 | - |
217
 
218
  ### Framework Versions
 
10
  - text-classification
11
  - generated_from_setfit_trainer
12
  widget:
13
+ - text: 'بلد مخيف، صار القتل بحجه الشرف متل قتل بعوضة، واللي بيخوف اكتر من اللي واقف
14
+ مكتف ايديه ومش مساعد. وين كنآ، ووين وصلنآ، لمتى حنضل عايشين وساكتين!
15
+
16
+ '
17
+ - text: "من خلال المتابعة ..يتضح أن أكثر اللاعبين الذين يتم تسويقهم هم لاعبي امريكا\
18
+ \ الجنوبية وأقلهم الافارقة. \nمن خلال الواقع ..أكثر اللاعبين تهاونا ولعب على\
19
+ \ الواقف في آخر ٦ شهور من عقودهم هم لاعبي امريكا الجنوبية ."
20
+ - text: ' علم الحزب يا فهمانه ما حطوا لانه عم يحكي وطنيا ومشان ماحدا متلك يعترض. اذا
21
+ حطوا بتعترضي واذا ما حطوا كمان بتعترضي.'
22
+ - text: "شيوعي \nعلماني \nمسيحي\nانصار سنه \nصوفي \nيمثلك التجمع \nلا يمثلك التجمع\
23
+ \ \nاهلا بكم جميعا فنحن نريد بناء وطن ❤"
24
+ - text: كنا نهرب بحصة الرياضيات والمحاسبة وبنرجع آخر الحصة بخمس دئايئ ولمن تسئلنا
25
+ المعلمة بنحكيلها كنا عند المديرة وبتسدئنا وضلينا
26
  inference: true
27
  model-index:
28
  - name: SetFit with akhooli/sbert_ar_nli_500k_ubc_norm
 
36
  split: test
37
  metrics:
38
  - type: accuracy
39
+ value: 0.8398268398268398
40
  name: Accuracy
41
  ---
42
 
 
68
  - **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)
69
 
70
  ### Model Labels
71
+ | Label | Examples |
72
+ |:---------|:-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
73
+ | positive | <ul><li>' سبحان الله الفلسطينيين شعب خاين في كل مكان \nلاحول ولا قوة إلا بالله'</li><li>'يا بيك عّم تخبرنا عن شي ما فينا تعملو نحن ماًعندنا نواب ولا وزراء بمثلونا بالدولة الا اذا زهقان وعبالك ليك'</li><li>'جوز كذابين منافقين...'</li></ul> |
74
+ | negative | <ul><li>'ربي لا تجعلني أسيء الظن بأحد ولا تجعل في قلبي شيئا على أحد ، اللهم أسألك قلباً نقياً صافيا'</li><li>'هشام حداد عامل فيها جون ستيوارت'</li><li>' بحياة اختك من وين بتجيبي اخبارك؟؟ من صغري وانا عبالي كون... LINK'</li></ul> |
75
 
76
  ## Evaluation
77
 
78
  ### Metrics
79
  | Label | Accuracy |
80
  |:--------|:---------|
81
+ | **all** | 0.8398 |
82
 
83
  ## Uses
84
 
 
98
  # Download from the 🤗 Hub
99
  model = SetFitModel.from_pretrained("akhooli/setfit_ar_ubc_hs")
100
  # Run inference
101
+ preds = model("شيوعي
102
+ علماني
103
+ مسيحي
104
+ انصار سنه
105
+ صوفي
106
+ يمثلك التجمع
107
+ لا يمثلك التجمع
108
+ اهلا بكم جميعا فنحن نريد بناء وطن ❤")
109
  ```
110
 
111
  <!--
 
137
  ### Training Set Metrics
138
  | Training set | Min | Median | Max |
139
  |:-------------|:----|:--------|:----|
140
+ | Word count | 1 | 18.8448 | 185 |
141
 
142
  | Label | Training Sample Count |
143
  |:---------|:----------------------|
144
+ | negative | 5200 |
145
+ | positive | 4943 |
146
 
147
  ### Training Hyperparameters
148
  - batch_size: (32, 32)
 
159
  - warmup_proportion: 0.1
160
  - l2_weight: 0.01
161
  - seed: 42
162
+ - run_name: setfit_hate_52k_ubc_6k
163
  - eval_max_steps: -1
164
  - load_best_model_at_end: False
165
 
166
  ### Training Results
167
  | Epoch | Step | Training Loss | Validation Loss |
168
  |:------:|:----:|:-------------:|:---------------:|
169
+ | 0.0003 | 1 | 0.297 | - |
170
+ | 0.0333 | 100 | 0.2741 | - |
171
+ | 0.0667 | 200 | 0.2178 | - |
172
+ | 0.1 | 300 | 0.1724 | - |
173
+ | 0.1333 | 400 | 0.1449 | - |
174
+ | 0.1667 | 500 | 0.1137 | - |
175
+ | 0.2 | 600 | 0.0902 | - |
176
+ | 0.2333 | 700 | 0.0708 | - |
177
+ | 0.2667 | 800 | 0.0535 | - |
178
+ | 0.3 | 900 | 0.0483 | - |
179
+ | 0.3333 | 1000 | 0.0386 | - |
180
+ | 0.3667 | 1100 | 0.0319 | - |
181
+ | 0.4 | 1200 | 0.0279 | - |
182
+ | 0.4333 | 1300 | 0.0201 | - |
183
+ | 0.4667 | 1400 | 0.0234 | - |
184
+ | 0.5 | 1500 | 0.0151 | - |
185
+ | 0.5333 | 1600 | 0.0151 | - |
186
+ | 0.5667 | 1700 | 0.0137 | - |
187
+ | 0.6 | 1800 | 0.0117 | - |
188
+ | 0.6333 | 1900 | 0.011 | - |
189
+ | 0.6667 | 2000 | 0.0097 | - |
190
+ | 0.7 | 2100 | 0.0077 | - |
191
+ | 0.7333 | 2200 | 0.0089 | - |
192
+ | 0.7667 | 2300 | 0.0069 | - |
193
+ | 0.8 | 2400 | 0.0064 | - |
194
+ | 0.8333 | 2500 | 0.0083 | - |
195
+ | 0.8667 | 2600 | 0.0061 | - |
196
+ | 0.9 | 2700 | 0.0063 | - |
197
+ | 0.9333 | 2800 | 0.0051 | - |
198
+ | 0.9667 | 2900 | 0.0047 | - |
199
+ | 1.0 | 3000 | 0.0044 | - |
200
+ | 1.0333 | 3100 | 0.0035 | - |
201
+ | 1.0667 | 3200 | 0.0034 | - |
202
+ | 1.1 | 3300 | 0.0035 | - |
203
+ | 1.1333 | 3400 | 0.0043 | - |
204
+ | 1.1667 | 3500 | 0.0035 | - |
205
+ | 1.2 | 3600 | 0.0024 | - |
206
+ | 1.2333 | 3700 | 0.003 | - |
207
+ | 1.2667 | 3800 | 0.002 | - |
208
+ | 1.3 | 3900 | 0.0029 | - |
209
+ | 1.3333 | 4000 | 0.003 | - |
210
+ | 1.3667 | 4100 | 0.002 | - |
211
+ | 1.4 | 4200 | 0.0022 | - |
212
+ | 1.4333 | 4300 | 0.0027 | - |
213
+ | 1.4667 | 4400 | 0.004 | - |
214
+ | 1.5 | 4500 | 0.001 | - |
215
+ | 1.5333 | 4600 | 0.0027 | - |
216
+ | 1.5667 | 4700 | 0.0027 | - |
217
+ | 1.6 | 4800 | 0.0014 | - |
218
+ | 1.6333 | 4900 | 0.0022 | - |
219
+ | 1.6667 | 5000 | 0.0027 | - |
220
+ | 1.7 | 5100 | 0.0018 | - |
221
+ | 1.7333 | 5200 | 0.0018 | - |
222
+ | 1.7667 | 5300 | 0.0012 | - |
223
+ | 1.8 | 5400 | 0.0014 | - |
224
+ | 1.8333 | 5500 | 0.0015 | - |
225
+ | 1.8667 | 5600 | 0.0009 | - |
226
+ | 1.9 | 5700 | 0.0012 | - |
227
+ | 1.9333 | 5800 | 0.0009 | - |
228
+ | 1.9667 | 5900 | 0.001 | - |
229
  | 2.0 | 6000 | 0.0007 | - |
230
 
231
  ### Framework Versions
model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:8e005a8530edd38526fa8ddaad867048cbccfa9bbcca85ddbe630a98c5e34c16
3
  size 651387752
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:0ca212885b354e2a93b81a2c1a092367e37c2f0bced3dfc5577867667b4e0dab
3
  size 651387752
model_head.pkl CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:c705612898bc761abb56c3e25a1a6fe4f7f4c84434ffd1e64cf302d9b8230fb4
3
  size 7007
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:80630f7e418ad330a84cd6bd6246c1621e96731309f6165206b70612ced30280
3
  size 7007