Hugging Face's logo

adriansanz
/
fs_setfit_dummy

Text Classification
setfit
Safetensors
sentence-transformers
xlm-roberta
generated_from_setfit_trainer
Model card Files Community
Edit model card

SetFit with projecte-aina/ST-NLI-ca_paraphrase-multilingual-mpnet-base

This is a SetFit model that can be used for Text Classification. This SetFit model uses projecte-aina/ST-NLI-ca_paraphrase-multilingual-mpnet-base as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

  1. Fine-tuning a Sentence Transformer with contrastive learning.
  2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Sources

Model Labels

Label Examples
0
  • 'Aquest text és Aigües.'
  • 'Aquest text és Aigües.'
  • 'Aquest text és Aigües.'
1
  • 'Aquest text és Consum, comerç i mercats.'
  • 'Aquest text és Consum, comerç i mercats.'
  • 'Aquest text és Consum, comerç i mercats.'
2
  • 'Aquest text és Cultura.'
  • 'Aquest text és Cultura.'
  • 'Aquest text és Cultura.'
3
  • 'Aquest text és Economia.'
  • 'Aquest text és Economia.'
  • 'Aquest text és Economia.'
4
  • 'Aquest text és Educació.'
  • 'Aquest text és Educació.'
  • 'Aquest text és Educació.'
5
  • 'Aquest text és Enllumenat públic.'
  • 'Aquest text és Enllumenat públic.'
  • 'Aquest text és Enllumenat públic.'
6
  • 'Aquest text és Esports.'
  • 'Aquest text és Esports.'
  • 'Aquest text és Esports.'
7
  • 'Aquest text és Habitatge.'
  • 'Aquest text és Habitatge.'
  • 'Aquest text és Habitatge.'
8
  • 'Aquest text és Horta.'
  • 'Aquest text és Horta.'
  • 'Aquest text és Horta.'
9
  • 'Aquest text és Informació general.'
  • 'Aquest text és Informació general.'
  • 'Aquest text és Informació general.'
10
  • 'Aquest text és Informàtica.'
  • 'Aquest text és Informàtica.'
  • 'Aquest text és Informàtica.'
11
  • 'Aquest text és Joventut.'
  • 'Aquest text és Joventut.'
  • 'Aquest text és Joventut.'
12
  • 'Aquest text és Medi ambient.'
  • 'Aquest text és Medi ambient.'
  • 'Aquest text és Medi ambient.'
13
  • 'Aquest text és Neteja de la via pública.'
  • 'Aquest text és Neteja de la via pública.'
  • 'Aquest text és Neteja de la via pública.'
14
  • 'Aquest text és Salut pública i Cementiri.'
  • 'Aquest text és Salut pública i Cementiri.'
  • 'Aquest text és Salut pública i Cementiri.'
15
  • 'Aquest text és Seguretat.'
  • 'Aquest text és Seguretat.'
  • 'Aquest text és Seguretat.'
16
  • 'Aquest text és Serveis socials.'
  • 'Aquest text és Serveis socials.'
  • 'Aquest text és Serveis socials.'
17
  • 'Aquest text és Tramitacions.'
  • 'Aquest text és Tramitacions.'
  • 'Aquest text és Tramitacions.'
18
  • 'Aquest text és Urbanisme.'
  • 'Aquest text és Urbanisme.'
  • 'Aquest text és Urbanisme.'
19
  • 'Aquest text és Via pública i mobilitat.'
  • 'Aquest text és Via pública i mobilitat.'
  • 'Aquest text és Via pública i mobilitat.'

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("adriansanz/fs_setfit_dummy")
# Run inference
preds = model("Suggeriria que es realitzessin campanyes de recompensa per incentivar els ciutadans a informar de fuites d'aigua, oferint descomptes en la factura d'aigua o altres incentius.")

Training Details

Training Set Metrics

Training set Min Median Max
Word count 4 4.85 8
Label Training Sample Count
0 8
1 8
2 8
3 8
4 8
5 8
6 8
7 8
8 8
9 8
10 8
11 8
12 8
13 8
14 8
15 8
16 8
17 8
18 8
19 8

Training Hyperparameters

  • batch_size: (16, 16)
  • num_epochs: (3, 3)
  • max_steps: -1
  • sampling_strategy: oversampling
  • body_learning_rate: (2e-05, 1e-05)
  • head_learning_rate: 0.01
  • loss: CosineSimilarityLoss
  • distance_metric: cosine_distance
  • margin: 0.25
  • end_to_end: False
  • use_amp: False
  • warmup_proportion: 0.1
  • seed: 42
  • eval_max_steps: -1
  • load_best_model_at_end: True

Training Results

Epoch Step Training Loss Validation Loss
0.0007 1 0.1362 -
0.0329 50 0.0344 -
0.0658 100 0.0017 -
0.0987 150 0.0013 -
0.1316 200 0.0013 -
0.1645 250 0.0007 -
0.1974 300 0.0004 -
0.2303 350 0.0004 -
0.2632 400 0.0006 -
0.2961 450 0.0005 -
0.3289 500 0.0003 -
0.3618 550 0.0005 -
0.3947 600 0.0006 -
0.4276 650 0.0004 -
0.4605 700 0.0003 -
0.4934 750 0.0001 -
0.5263 800 0.0002 -
0.5592 850 0.0002 -
0.5921 900 0.0002 -
0.625 950 0.0002 -
0.6579 1000 0.0002 -
0.6908 1050 0.0002 -
0.7237 1100 0.0002 -
0.7566 1150 0.0002 -
0.7895 1200 0.0002 -
0.8224 1250 0.0003 -
0.8553 1300 0.0002 -
0.8882 1350 0.0001 -
0.9211 1400 0.0001 -
0.9539 1450 0.0002 -
0.9868 1500 0.0002 -
1.0 1520 - 0.1669
1.0197 1550 0.0002 -
1.0526 1600 0.0001 -
1.0855 1650 0.0003 -
1.1184 1700 0.0002 -
1.1513 1750 0.0002 -
1.1842 1800 0.0001 -
1.2171 1850 0.0002 -
1.25 1900 0.0003 -
1.2829 1950 0.0002 -
1.3158 2000 0.0001 -
1.3487 2050 0.0002 -
1.3816 2100 0.0001 -
1.4145 2150 0.0001 -
1.4474 2200 0.0001 -
1.4803 2250 0.0002 -
1.5132 2300 0.0002 -
1.5461 2350 0.0002 -
1.5789 2400 0.0001 -
1.6118 2450 0.0001 -
1.6447 2500 0.0002 -
1.6776 2550 0.0002 -
1.7105 2600 0.0002 -
1.7434 2650 0.0001 -
1.7763 2700 0.0001 -
1.8092 2750 0.0001 -
1.8421 2800 0.0001 -
1.875 2850 0.0001 -
1.9079 2900 0.0001 -
1.9408 2950 0.0001 -
1.9737 3000 0.0001 -
2.0 3040 - 0.1629
2.0066 3050 0.0001 -
2.0395 3100 0.0001 -
2.0724 3150 0.0001 -
2.1053 3200 0.0001 -
2.1382 3250 0.0001 -
2.1711 3300 0.0001 -
2.2039 3350 0.0001 -
2.2368 3400 0.0001 -
2.2697 3450 0.0001 -
2.3026 3500 0.0002 -
2.3355 3550 0.0001 -
2.3684 3600 0.0001 -
2.4013 3650 0.0001 -
2.4342 3700 0.0001 -
2.4671 3750 0.0001 -
2.5 3800 0.0001 -
2.5329 3850 0.0001 -
2.5658 3900 0.0001 -
2.5987 3950 0.0 -
2.6316 4000 0.0 -
2.6645 4050 0.0001 -
2.6974 4100 0.0 -
2.7303 4150 0.0001 -
2.7632 4200 0.0001 -
2.7961 4250 0.0001 -
2.8289 4300 0.0001 -
2.8618 4350 0.0001 -
2.8947 4400 0.0001 -
2.9276 4450 0.0001 -
2.9605 4500 0.0001 -
2.9934 4550 0.0 -
3.0 4560 - 0.1625
  • The bold row denotes the saved checkpoint.

Framework Versions

  • Python: 3.10.12
  • SetFit: 1.0.3
  • Sentence Transformers: 3.0.0
  • Transformers: 4.39.0
  • PyTorch: 2.3.0+cu121
  • Datasets: 2.19.1
  • Tokenizers: 0.15.2

Citation

BibTeX 

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}
Downloads last month
4
Safetensors
Model size
278M params
Tensor type
F32
·
Inference API
Text Classification
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Model tree for adriansanz/fs_setfit_dummy

Base model

projecte-aina/ST-NLI-ca_paraphrase-multilingual-mpnet-base
Finetuned
this model