metadata

library_name: setfit
tags:
  - setfit
  - sentence-transformers
  - text-classification
  - generated_from_setfit_trainer
metrics:
  - accuracy
widget:
  - text: >-
      J'avais comme habitudes de manger en regardant un film 🎥 et là j'ai
      arrêté ça . Je ne regarde plus de films car mon cerveau à relié films =
      nourriture . C'est fou non !
  - text: >-
      Surtout quand tu es un jeune homme, commencer à se forger un physique
      c'est important.

      Rester maigre qqpart dans le regard des autres c'est rester un enfant,
      j'ai connu c'est vraiment pas agréable
  - text: "typique de la société capitaliste/consumériste = remplacer le problème par un autre problème. Je suis certaine qu'il y a d'autres troubles dont on ne parle pas.\_\nMoi qui aies connu tout l'inverse (anorexie) les médias ont été  en grande partie la cause. On en a pas fini avec tous ces troubles qui se développent dans la société qui est la notre."
  - text: >-
      C’est horrible.

      L’anorexie est une maladie mentale terrible et elle fait énormément
      souffrir, surtout psychologiquement que physiquement, c’est invivable..


      Je suis contente qu’elle se sente mieux aujourd’hui, mais ce qu’elle a
      vécu il y a quelques temps n’est pas une vie, 90 laxatifs par jour, sa
      raison de vivre était de perdre du poids, une raison qu’il l’a énormément
      rapproché de la mort.


      C’est une maladie avant tout mentale, pour essayer de la guérir au mieux
      ils font tomber sur une hospitalisation où le personnel soignant et les
      médecins ne chercheront pas à goinfrer la fille, ou le garçon.


      À longs therme et court therme les conséquences de la maladie peuvent être
      très néfastes, on peut perdre un organe, on peut mourir, il peut y avoir
      des troubles obsessionnels compulsifs, des idées suicidaires, et j’en
      passe...


      J’envoie ma force à ces filles qui a l’heure où j’écris sont
      hospitalisées, sont souffrantes de ça, je sais que vous dire de vous
      battre n’est pas forcément efficace, seul vous pouvez changer votre point
      de vue, un jour vous y arriverez, je sais que vous n’y croyez pas, mais
      moi pourtant j’y crois..
  - text: Lire "l'anorexie une addiction au plaisir de maigrir" sciences et avenir
pipeline_tag: text-classification
inference: false
base_model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
model-index:
  - name: SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
    results:
      - task:
          type: text-classification
          name: Text Classification
        dataset:
          name: Unknown
          type: unknown
          split: test
        metrics:
          - type: accuracy
            value: 0.7860696517412935
            name: Accuracy

SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a SetFit model that can be used for Text Classification. This SetFit model uses sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 as the Sentence Transformer embedding model. A OneVsRestClassifier instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
Classification head: a OneVsRestClassifier instance
Maximum Sequence Length: 128 tokens

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Evaluation

Metrics

Label	Accuracy
all	0.7861

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("Ghofranem/setfit-paraphrase-multilingual-MiniLM-L12-v2-ed-fr")
# Run inference
preds = model("Lire \"l'anorexie une addiction au plaisir de maigrir\" sciences et avenir")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	4	68.8313	694

Training Hyperparameters

batch_size: (16, 16)
num_epochs: (1, 1)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 5
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0010	1	0.3025	-
0.0498	50	0.3227	-
0.0996	100	0.1451	-
0.1494	150	0.0662	-
0.1992	200	0.1114	-
0.2490	250	0.0723	-
0.2988	300	0.0375	-
0.3486	350	0.0252	-
0.3984	400	0.0497	-
0.4482	450	0.087	-
0.4980	500	0.0584	-
0.5478	550	0.0758	-
0.5976	600	0.0624	-
0.6474	650	0.0572	-
0.6972	700	0.0726	-
0.7470	750	0.0012	-
0.7968	800	0.0052	-
0.8466	850	0.0309	-
0.8964	900	0.0713	-
0.9462	950	0.0043	-
0.9960	1000	0.0049	-

Framework Versions

Python: 3.10.12
SetFit: 1.0.3
Sentence Transformers: 2.5.1
Transformers: 4.38.2
PyTorch: 2.2.1+cu121
Datasets: 2.18.0
Tokenizers: 0.15.2

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}