Edit model card

SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2

This is a SetFit model that can be used for Text Classification. This SetFit model uses sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

  1. Fine-tuning a Sentence Transformer with contrastive learning.
  2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Sources

Model Labels

Label Examples
Construcción de mi pensión personas
  • 'Promotor ahorro y retiro job Excelente servicio'
  • 'Promotor ahorro y retiro pensionado Asesoría sobre las modalidades de pensión'
  • 'Pasivo ahorro y retiro hni job Mejorar la asesoría personalizada según el nivel de ingresos de la persona'
Solución de ahorro e inversión personas
  • 'Detractor ahorro y retiro job No estoy muy relacionada con el tema'
  • 'Detractor gestión patrimonial alto perfil Mal servicio por desconocimiento, decisiones unilaterales de Proteccion que afectan a los usuarios, falta de trasparencia en negociones de bonos, falta de soportes aritmeticos y financieros en sus datos a clientes, etc, ect.'
  • 'Pasivo ahorro y retiro job Asesor pendiente del ahorro sea mucho o poco para tener más rendimientos.'
Cesantías Personas
  • 'Detractor gestión patrimonial alto perfil No me volvieron a enviar información de mi estado de cuenta de las cesantías'
Construcción de mi pensión empresas
  • 'Detractor ahorro y retiro ahorro y retiro basic No contamos con acompañamiento.'
  • 'Promotor grandes empleadores grandes empleadores el reconocimiento y trayectoria'
  • 'Pasivo ahorro y retiro ahorro y retiro basic Mejor asesoramiento'

Evaluation

Metrics

Label Accuracy
all 0.8824

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("camaosos/journey")
# Run inference
preds = model("Pasivo ahorro y retiro job mejor atención y disponibilidad")

Training Details

Training Set Metrics

Training set Min Median Max
Word count 5 18.7576 169
Label Training Sample Count
Cesantías Personas 1
Construcción de mi pensión empresas 8
Construcción de mi pensión personas 31
Solución de ahorro e inversión personas 26

Training Hyperparameters

  • batch_size: (16, 16)
  • num_epochs: (4, 4)
  • max_steps: -1
  • sampling_strategy: oversampling
  • body_learning_rate: (2e-05, 1e-05)
  • head_learning_rate: 0.01
  • loss: CosineSimilarityLoss
  • distance_metric: cosine_distance
  • margin: 0.25
  • end_to_end: False
  • use_amp: False
  • warmup_proportion: 0.1
  • seed: 42
  • eval_max_steps: -1
  • load_best_model_at_end: True

Training Results

Epoch Step Training Loss Validation Loss
0.0060 1 0.1959 -
0.3012 50 0.196 -
0.6024 100 0.0082 -
0.9036 150 0.0016 -
1.0 166 - 0.1009
1.2048 200 0.0012 -
1.5060 250 0.0012 -
1.8072 300 0.0004 -
2.0 332 - 0.095
2.1084 350 0.0005 -
2.4096 400 0.0004 -
2.7108 450 0.0005 -
3.0 498 - 0.1009
3.0120 500 0.0005 -
3.3133 550 0.0003 -
3.6145 600 0.0003 -
3.9157 650 0.0011 -
4.0 664 - 0.1002
  • The bold row denotes the saved checkpoint.

Framework Versions

  • Python: 3.10.10
  • SetFit: 1.0.3
  • Sentence Transformers: 3.0.1
  • Transformers: 4.42.3
  • PyTorch: 2.2.1+cu121
  • Datasets: 2.20.0
  • Tokenizers: 0.19.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}
Downloads last month
0
Safetensors
Model size
118M params
Tensor type
F32
·
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.

Finetuned from

Evaluation results