File size: 18,184 Bytes
62a568a
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
---
library_name: setfit
tags:
- setfit
- sentence-transformers
- text-classification
- generated_from_setfit_trainer
metrics:
- accuracy
widget:
- text: La falta de entrega de la denuncia en el momento de la infracción, sin causa
    que lo impida, genera indefensión y la invalida.
- text: No es verdad que condujera bajo los efectos del alcohol. No había ingerido
    ninguna bebida alcohólica, la prueba debió estar mal hecha.
- text: Se sanciona sin explicar motivadamente las razones por las que se considera
    acreditada la comisión de la infracción, pese a lo alegado por el interesado.
- text: Reclamo que se practique una reconstrucción de los hechos para demostrar que
    la colisión se produjo por una maniobra imprudente del otro conductor.
- text: La sanción no está suficientemente motivada, pues no se justifica la valoración
    de la prueba efectuada ni el rechazo de las pruebas propuestas por el interesado.
pipeline_tag: text-classification
inference: true
base_model: desarrolloasesoreslocales/bert-leg-al-corpus
model-index:
- name: SetFit with desarrolloasesoreslocales/bert-leg-al-corpus
  results:
  - task:
      type: text-classification
      name: Text Classification
    dataset:
      name: Unknown
      type: unknown
      split: test
    metrics:
    - type: accuracy
      value: 0.8
      name: Accuracy
---

# SetFit with desarrolloasesoreslocales/bert-leg-al-corpus

This is a [SetFit](https://github.com/huggingface/setfit) model that can be used for Text Classification. This SetFit model uses [desarrolloasesoreslocales/bert-leg-al-corpus](https://huggingface.co/desarrolloasesoreslocales/bert-leg-al-corpus) as the Sentence Transformer embedding model. A [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

1. Fine-tuning a [Sentence Transformer](https://www.sbert.net) with contrastive learning.
2. Training a classification head with features from the fine-tuned Sentence Transformer.

## Model Details

### Model Description
- **Model Type:** SetFit
- **Sentence Transformer body:** [desarrolloasesoreslocales/bert-leg-al-corpus](https://huggingface.co/desarrolloasesoreslocales/bert-leg-al-corpus)
- **Classification head:** a [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance
- **Maximum Sequence Length:** 4096 tokens
- **Number of Classes:** 15 classes
<!-- - **Training Dataset:** [Unknown](https://huggingface.co/datasets/unknown) -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->

### Model Sources

- **Repository:** [SetFit on GitHub](https://github.com/huggingface/setfit)
- **Paper:** [Efficient Few-Shot Learning Without Prompts](https://arxiv.org/abs/2209.11055)
- **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)

### Model Labels
| Label | Examples                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             |
|:------|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 49    | <ul><li>'Rechazo la veracidad de los hechos denunciados. Mi vehículo estaba correctamente estacionado, no obstaculizando ninguna salida.'</li><li>'Es incierto que circulara haciendo uso del teléfono móvil. En todo momento mantuve ambas manos en el volante.'</li><li>'Rechazo la acusación de no respetar el ceda el paso. Hice la incorporación con precaución y cuando no venía ningún vehículo.'</li></ul>                                                                                                                                                                                                                                                   |
| 269   | <ul><li>'Pido que se decrete la suspensión de la ejecutividad de la sanción, en aplicación del artículo 117.2 de la Ley 39/2015, por la vulneración de derechos fundamentales en que se ha incurrido en su imposición.'</li><li>'Intereso la paralización temporal de la efectividad de la resolución sancionadora, al amparo del artículo 117 de la Ley 39/2015, por carecer de los presupuestos fácticos y jurídicos que la justifiquen.'</li><li>'Pido que se acuerde la medida cautelar de suspensión de la ejecución de la resolución sancionadora, conforme al artículo 117.2 de la Ley 39/2015, por la nulidad de pleno derecho de la que adolece.'</li></ul> |
| 2014  | <ul><li>'Imponer la sanción en su grado máximo vulnera el principio de proporcionalidad, al no estar justificada la gravedad de la conducta.'</li><li>'La multa impuesta resulta excesiva y desproporcionada en relación con la escasa gravedad de la infracción cometida.'</li><li>'Aplicar la sanción en su mitad superior infringe el principio de proporcionalidad, al no concurrir circunstancias agravantes que lo justifiquen.'</li></ul>                                                                                                                                                                                                                     |
| 78    | <ul><li>'Se está invirtiendo la carga de la prueba, correspondiendo a la administración y no al denunciado probar la culpabilidad, violando así la presunción de inocencia.'</li><li>'Se me está privando de mi derecho a la presunción de inocencia al condenarme sin pruebas incontrovertibles, basándose en simples indicios no confirmados.'</li><li>'No se han aportado evidencias que desvirtúen mi presunción de inocencia y acrediten sin lugar a dudas que cometí la infracción.'</li></ul>                                                                                                                                                                 |
| 32    | <ul><li>'La infracción imputada no está adecuadamente tipificada en la normativa, vulnerando el principio de tipicidad.'</li><li>'Se está haciendo una interpretación analógica de la norma sancionadora, incompatible con las exigencias del principio de tipicidad.'</li><li>'Se está conculcando el principio de tipicidad al sancionarme por una conducta que no está específicamente prohibida en la ley.'</li></ul>                                                                                                                                                                                                                                            |
| 12    | <ul><li>'La infracción de exceso de velocidad se produjo debido a un fallo repentino en el limitador de velocidad del vehículo, que no pude controlar.'</li><li>'No pude respetar el semáforo en ámbar al fallarme inesperadamente los frenos, teniendo que seguir la marcha hasta poder detenerme.'</li><li>'El semáforo en rojo fue rebasado al quedarse sin frenos mi vehículo de manera inesperada, siéndome imposible detenerme a tiempo.'</li></ul>                                                                                                                                                                                                            |
| 2017  | <ul><li>'Rechazo haber obstaculizado la fluidez circulatoria al detenerme en doble fila. Permanecí en el coche preparado para moverme si era necesario.'</li><li>'Niego haber obstaculizado el tráfico al estacionar en doble fila. Permanecí en el vehículo en todo momento para reanudar la marcha en caso necesario.'</li><li>'Es falso que entorpeciera el paso de vehículos durante mi parada. Fue en un lugar permitido y durante escasos minutos.'</li></ul>                                                                                                                                                                                                  |
| 304   | <ul><li>'Solicito que se tome declaración a mi acompañante, quien puede testificar que fue él quien condujo el vehículo en el momento de la infracción.'</li><li>'Pido que se tome declaración al mecánico que revisó mi vehículo y que puede confirmar que los frenos fallaron, impidiéndome detenerme ante la señal de stop.'</li><li>'Ruego que se tome declaración a los testigos presenciales que pueden confirmar que realicé la maniobra respetando la prioridad.'</li></ul>                                                                                                                                                                                  |
| 2027  | <ul><li>'Es falso que no respetara la señal de prohibido cambiar de carril. Realicé la maniobra de cambio antes de llegar a la misma.'</li><li>'Niego haberme saltado la señal de prohibido circular los días impares. Era un día de circulación permitida para mi número de matrícula.'</li><li>'No desobedecí la señal de prohibido circular a más de 30 km/h. En ningún momento superé dicho límite de velocidad.'</li></ul>                                                                                                                                                                                                                                      |
| 357   | <ul><li>'La resolución sancionadora carece de la debida motivación, al no explicar de forma clara y precisa las razones que justifican la imposición de la sanción.'</li><li>'No se expresan en la resolución sancionadora, con la claridad y precisión requeridas, los argumentos que fundamentan la desestimación de las pruebas propuestas y practicadas, lo que evidencia su falta de motivación.'</li><li>'La sanción impuesta adolece de falta de motivación, al no detallar los elementos de juicio que llevan a apreciar la existencia de negligencia en la conducta del infractor.'</li></ul>                                                               |
| 2002  | <ul><li>'Se ha omitido un requisito esencial para la validez de la denuncia al no notificarla en el acto, lo que vicia todo el procedimiento.'</li><li>'La ausencia de notificación en el acto, pudiendo hacerse, constituye un defecto invalidante de la denuncia.'</li><li>'Se ha prescindido de un trámite esencial del procedimiento al no notificar la denuncia en el acto, lo que determina su nulidad.'</li></ul>                                                                                                                                                                                                                                             |
| 994   | <ul><li>'Demando que se incorpore la fotografía que demuestra la posición de mi vehículo y que desmiente la versión del agente.'</li><li>'Reclamo que se aporte la fotografía de la zona peatonal donde presuntamente circulé, para demostrar que estaba habilitada para carga y descarga en ese momento.'</li><li>'Intereso que se aporte la fotografía del carril bus que supuestamente invadí, para constatar que estaba habilitado para tráfico mixto a esa hora.'</li></ul>                                                                                                                                                                                     |
| 42    | <ul><li>'El principio de legalidad impide sancionar conductas que, aun siendo similares a las tipificadas, no encajan exactamente en la descripción legal.'</li><li>'Se ha sancionado una conducta que no está expresa, clara e inequívocamente tipificada, contraviniendo así el principio de legalidad.'</li><li>'Se ha ignorado el principio de legalidad al imponer una sanción por unos hechos que no encajan en la descripción legal de la infracción.'</li></ul>                                                                                                                                                                                              |
| 1002  | <ul><li>'La denuncia es inválida al notificarse cuando la infracción leve ya estaba prescrita por el transcurso de más de 3 meses.'</li><li>'Procede apreciar la prescripción de la infracción grave, pues entre la comisión de los hechos y la notificación de la denuncia transcurrieron más de 6 meses.'</li><li>'Procede aplicar la prescripción de la infracción grave, al notificarse la denuncia cuando ya habían transcurrido más de 6 meses desde su comisión.'</li></ul>                                                                                                                                                                                   |
| 1001  | <ul><li>'El error en la fecha de la infracción consignada en la denuncia constituye un defecto de forma determinante de su nulidad.'</li><li>'La denuncia no especifica con claridad el tipo de infracción cometida, generando indefensión al denunciado.'</li><li>'No se ha hecho constar en la denuncia la identificación del agente denunciante, lo que supone un defecto de forma.'</li></ul>                                                                                                                                                                                                                                                                    |

## Evaluation

### Metrics
| Label   | Accuracy |
|:--------|:---------|
| **all** | 0.8      |

## Uses

### Direct Use for Inference

First install the SetFit library:

```bash
pip install setfit
```

Then you can load this model and run inference.

```python
from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("desarrolloasesoreslocales/bert-leg-al-setfit")
# Run inference
preds = model("La falta de entrega de la denuncia en el momento de la infracción, sin causa que lo impida, genera indefensión y la invalida.")
```

<!--
### Downstream Use

*List how someone could finetune this model on their own dataset.*
-->

<!--
### Out-of-Scope Use

*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->

<!--
## Bias, Risks and Limitations

*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->

<!--
### Recommendations

*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->

## Training Details

### Training Set Metrics
| Training set | Min | Median | Max |
|:-------------|:----|:-------|:----|
| Word count   | 14  | 22.4   | 37  |

| Label | Training Sample Count |
|:------|:----------------------|
| 12    | 16                    |
| 32    | 18                    |
| 42    | 16                    |
| 49    | 16                    |
| 78    | 18                    |
| 269   | 17                    |
| 304   | 16                    |
| 357   | 13                    |
| 994   | 18                    |
| 1001  | 18                    |
| 1002  | 18                    |
| 2002  | 16                    |
| 2014  | 19                    |
| 2017  | 17                    |
| 2027  | 19                    |

### Training Hyperparameters
- batch_size: (24, 24)
- num_epochs: (1, 1)
- max_steps: -1
- sampling_strategy: oversampling
- num_iterations: 8
- body_learning_rate: (2e-05, 2e-05)
- head_learning_rate: 2e-05
- loss: CosineSimilarityLoss
- distance_metric: cosine_distance
- margin: 0.25
- end_to_end: False
- use_amp: False
- warmup_proportion: 0.1
- seed: 42
- eval_max_steps: -1
- load_best_model_at_end: False

### Training Results
| Epoch  | Step | Training Loss | Validation Loss |
|:------:|:----:|:-------------:|:---------------:|
| 0.0059 | 1    | 0.2923        | -               |
| 0.2941 | 50   | 0.143         | -               |
| 0.5882 | 100  | 0.1346        | -               |
| 0.8824 | 150  | 0.0339        | -               |

### Framework Versions
- Python: 3.10.12
- SetFit: 1.0.3
- Sentence Transformers: 2.6.1
- Transformers: 4.38.2
- PyTorch: 2.2.1+cu121
- Datasets: 2.18.0
- Tokenizers: 0.15.2

## Citation

### BibTeX
```bibtex
@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}
```

<!--
## Glossary

*Clearly define terms in order to be accessible across audiences.*
-->

<!--
## Model Card Authors

*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->

<!--
## Model Card Contact

*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->