README.md

---
base_model: sentence-transformers/paraphrase-multilingual-mpnet-base-v2
library_name: setfit
metrics:
- f1
pipeline_tag: text-classification
tags:
- setfit
- absa
- sentence-transformers
- text-classification
- generated_from_setfit_trainer
widget:
- text: Il risotto al taleggio era eccellente, ma il:Il risotto al taleggio era eccellente,
    ma il posto era un po' affollato.
- text: rimasti soddisfatti. Ottimi i casoncelli. Unico neo una porzione:Abbiamo pranzato
    all’aperto dopo una bellissima passeggiata per la Citta’ Alta. Quello che stupisce
    è sicuramente il rapporto qualità prezzo, in quanto abbiamo scelto il menu’ a
    prezzo fisso (15 euro) e ne siamo rimasti soddisfatti. Ottimi i casoncelli. Unico
    neo una porzione di coniglio...Altro
- text: 'Posizione strategica su un poggio panoramico:Posizione strategica su un poggio
    panoramico di Bergamo alta con vista mozzafiato.

    L''ambiente è riscaldato visivamente da una boiserie continua molto particolare;
    ad accoglierci un piano con dolci a vista che dopo scopriamo essere dei sopraffini
    prodotti di pasticceria francese. Un entreè con le classiche...Altro'
- text: bue era davvero ottima anche anatra e faraona, porzioni molto:La costata di
    bue era davvero ottima anche anatra e faraona, porzioni molto buone e saporite.
    L'ambiente suggestivo e molto curato. Buona la carta dei vini e servizio molto
    gentile e attento. Ci tornerò appena posso.
- text: Posto insolito è un ex carcere:Posto insolito è un ex carcere riadattato.
    Non ha insegna e può sfuggire l'ingresso a chi non ci è mai stato. Il locale è
    affascinante, ben strutturato e molto accogliente. Fuori c’erano i mercatini.
    I piatti sono stati molto buoni, cucina locale. Personale gentile e...Altro
inference: false
model-index:
- name: SetFit Polarity Model with sentence-transformers/paraphrase-multilingual-mpnet-base-v2
  results:
  - task:
      type: text-classification
      name: Text Classification
    dataset:
      name: Unknown
      type: unknown
      split: test
    metrics:
    - type: f1
      value: 0.841499174384361
      name: F1
---

# SetFit Polarity Model with sentence-transformers/paraphrase-multilingual-mpnet-base-v2

This is a [SetFit](https://github.com/huggingface/setfit) model that can be used for Aspect Based Sentiment Analysis (ABSA). This SetFit model uses [sentence-transformers/paraphrase-multilingual-mpnet-base-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-mpnet-base-v2) as the Sentence Transformer embedding model. A [SetFitHead](huggingface.co/docs/setfit/reference/main#setfit.SetFitHead) instance is used for classification. In particular, this model is in charge of classifying aspect polarities.

The model has been trained using an efficient few-shot learning technique that involves:

1. Fine-tuning a [Sentence Transformer](https://www.sbert.net) with contrastive learning.
2. Training a classification head with features from the fine-tuned Sentence Transformer.

This model was trained within the context of a larger system for ABSA, which looks like so:

1. Use a spaCy model to select possible aspect span candidates.
2. Use a SetFit model to filter these possible aspect span candidates.
3. **Use this SetFit model to classify the filtered aspect span candidates.**

## Model Details

### Model Description
- **Model Type:** SetFit
- **Sentence Transformer body:** [sentence-transformers/paraphrase-multilingual-mpnet-base-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-mpnet-base-v2)
- **Classification head:** a [SetFitHead](huggingface.co/docs/setfit/reference/main#setfit.SetFitHead) instance
- **spaCy Model:** it_core_news_lg
- **SetFitABSA Aspect Model:** [setfit-absa-aspect](https://huggingface.co/setfit-absa-aspect)
- **SetFitABSA Polarity Model:** [MattiaTintori/Final_polarity_Colab_It](https://huggingface.co/MattiaTintori/Final_polarity_Colab_It)
- **Maximum Sequence Length:** 128 tokens
- **Number of Classes:** 3 classes
<!-- - **Training Dataset:** [Unknown](https://huggingface.co/datasets/unknown) -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->

### Model Sources

- **Repository:** [SetFit on GitHub](https://github.com/huggingface/setfit)
- **Paper:** [Efficient Few-Shot Learning Without Prompts](https://arxiv.org/abs/2209.11055)
- **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit)

### Model Labels
| Label | Examples                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  |
|:------|:----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| 1     | <ul><li>'l\'abbiamo fatto notare alla cameriera che ci ha risposto ":Abbiamo appena pranzato al circolino, sinceramente non capiamo il motivo di tante stelline\nCibo scadente, panna cotta fatta con bustine, vino della casa "puro metanolo" e il peggio è stato quando l\'abbiamo fatto notare alla cameriera che ci ha risposto "il vostro parere non conta...Altro'</li><li>'stelline\nCibo scadente, panna cotta fatta con bustine, vino:Abbiamo appena pranzato al circolino, sinceramente non capiamo il motivo di tante stelline\nCibo scadente, panna cotta fatta con bustine, vino della casa "puro metanolo" e il peggio è stato quando l\'abbiamo fatto notare alla cameriera che ci ha risposto "il vostro parere non conta...Altro'</li><li>'cotta fatta con bustine, vino della casa "puro metanolo:Abbiamo appena pranzato al circolino, sinceramente non capiamo il motivo di tante stelline\nCibo scadente, panna cotta fatta con bustine, vino della casa "puro metanolo" e il peggio è stato quando l\'abbiamo fatto notare alla cameriera che ci ha risposto "il vostro parere non conta...Altro'</li></ul>                                                                         |
| 0     | <ul><li>'in quanto abbiamo scelto il menu’ a prezzo fisso (15 euro) e:Abbiamo pranzato all’aperto dopo una bellissima passeggiata per la Citta’ Alta. Quello che stupisce è sicuramente il rapporto qualità prezzo, in quanto abbiamo scelto il menu’ a prezzo fisso (15 euro) e ne siamo rimasti soddisfatti. Ottimi i casoncelli. Unico neo una porzione di coniglio...Altro'</li><li>'che stupisce è sicuramente il rapporto qualità prezzo, in quanto abbiamo scelto:Abbiamo pranzato all’aperto dopo una bellissima passeggiata per la Citta’ Alta. Quello che stupisce è sicuramente il rapporto qualità prezzo, in quanto abbiamo scelto il menu’ a prezzo fisso (15 euro) e ne siamo rimasti soddisfatti. Ottimi i casoncelli. Unico neo una porzione di coniglio...Altro'</li><li>'Bella la posizione nella piazza centrale.   :Bella la posizione nella piazza centrale.   per il resto....servizio molto lento....la signora che ci serviva completamente fusa.....abbiamo dovuto chiamarla perchè dopo 30 min nessuno ci aveva degnato di attenzione.\nper due volte ci è venuta a richiedere le ordinazioni....due coktail....niente di complicato.....il colmo quando mi...Altro'</li></ul> |
| 2     | <ul><li>"coperti di mozzarella. L'atmosfera è piuttosto sobrio, ma:Basato su una raccomandazione locale, siamo andati a Il By a mangiare la pizza. Che è stata una decisione piuttosto cattiva. Non abbiamo mai avuto formaggio così grave per le nostre pizze. Non riesco a ricordare che pizze che abbiamo avuto, ma avevano entrambi erano...coperti di mozzarella. L'atmosfera è piuttosto sobrio, ma che non dovrebbe essere così tanto di un problema.Altro"</li><li>"città d'Italia per un aperitivo servito con quattro patatine e:In città alta periodo natalizio una delle più belle città d'Italia per un aperitivo servito con quattro patatine e 4 olive. Uno squallore incredibile a questo punto ordina una focaccia che non è mai arrivata. Mai più"</li><li>'di formaggi di capra, casoncelli alla bergamasca e gnocchetti in:Io e il mio ragazzo abbiamo deciso di pranzare al Circolino dopo aver letto numerose recensioni decisamente positive. Il locale somiglia a una grande mensa (distanziamento anti-Covid inesistente). Abbiamo preso un tagliere di formaggi di capra, casoncelli alla bergamasca e gnocchetti in crema di zucchine...Altro'</li></ul>                       |

## Evaluation

### Metrics
| Label   | F1     |
|:--------|:-------|
| **all** | 0.8415 |

## Uses

### Direct Use for Inference

First install the SetFit library:

```bash
pip install setfit
```

Then you can load this model and run inference.

```python
from setfit import AbsaModel

# Download from the 🤗 Hub
model = AbsaModel.from_pretrained(
    "setfit-absa-aspect",
    "MattiaTintori/Final_polarity_Colab_It",
)
# Run inference
preds = model("The food was great, but the venue is just way too busy.")
```

<!--
### Downstream Use

*List how someone could finetune this model on their own dataset.*
-->

<!--
### Out-of-Scope Use

*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->

<!--
## Bias, Risks and Limitations

*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->

<!--
### Recommendations

*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->

## Training Details

### Training Set Metrics
| Training set | Min | Median  | Max |
|:-------------|:----|:--------|:----|
| Word count   | 14  | 42.1222 | 146 |

| Label | Training Sample Count |
|:------|:----------------------|
| 0     | 914                   |
| 1     | 345                   |
| 2     | 148                   |

### Training Hyperparameters
- batch_size: (128, 32)
- num_epochs: (5, 32)
- max_steps: -1
- sampling_strategy: oversampling
- num_iterations: 10
- body_learning_rate: (2e-05, 2e-05)
- head_learning_rate: 0.04
- loss: CosineSimilarityLoss
- distance_metric: cosine_distance
- margin: 0.25
- end_to_end: False
- use_amp: True
- warmup_proportion: 0.1
- l2_weight: 0.02
- seed: 42
- eval_max_steps: -1
- load_best_model_at_end: True

### Training Results
| Epoch   | Step    | Training Loss | Validation Loss |
|:-------:|:-------:|:-------------:|:---------------:|
| 0.0045  | 1       | 0.2501        | -               |
| 0.0455  | 10      | 0.2514        | 0.2407          |
| 0.0909  | 20      | 0.2359        | 0.2252          |
| 0.1364  | 30      | 0.21          | 0.2067          |
| 0.1818  | 40      | 0.1984        | 0.1779          |
| 0.2273  | 50      | 0.1408        | 0.1469          |
| 0.2727  | 60      | 0.1246        | 0.1493          |
| 0.3182  | 70      | 0.0654        | 0.1312          |
| 0.3636  | 80      | 0.0546        | 0.1293          |
| 0.4091  | 90      | 0.0651        | 0.1222          |
| 0.4545  | 100     | 0.0374        | 0.1385          |
| **0.5** | **110** | **0.0546**    | **0.1214**      |
| 0.5455  | 120     | 0.0453        | 0.1284          |
| 0.5909  | 130     | 0.0269        | 0.1241          |
| 0.6364  | 140     | 0.0303        | 0.1451          |
| 0.6818  | 150     | 0.0355        | 0.1299          |
| 0.7273  | 160     | 0.0096        | 0.1329          |
| 0.7727  | 170     | 0.0129        | 0.1411          |
| 0.8182  | 180     | 0.0127        | 0.1325          |

* The bold row denotes the saved checkpoint.
### Framework Versions
- Python: 3.10.12
- SetFit: 1.0.3
- Sentence Transformers: 3.1.0
- spaCy: 3.7.6
- Transformers: 4.39.0
- PyTorch: 2.4.0+cu121
- Datasets: 3.0.0
- Tokenizers: 0.15.2

## Citation

### BibTeX
```bibtex
@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}
```

<!--
## Glossary

*Clearly define terms in order to be accessible across audiences.*
-->

<!--
## Model Card Authors

*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->

<!--
## Model Card Contact

*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->