--- library_name: setfit tags: - setfit - sentence-transformers - text-classification - generated_from_setfit_trainer base_model: sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 metrics: - accuracy widget: - text: Relato. cefalea EVA 2, todo el día, todos los días, ánimo bajo, sensación de poca energía para realizar actividades, malestares generales, mialgias, insomnio de conciliación 2 días a la semana, insomnio de mantención todos los días despierto 2 veces por noches, sensación de sueño poco reparador. "Agente. mala organización de empresa, cambio en las condiciones de trabajo" - text: '"Relato. Paciente refiere presentar hace 4 meses dolor en muñeca y pulgar derecho, lo asocia a trabajo que realiza realizando fuerza y movimientos repetitivos. refiere que en ocasiones debe golpear objetos para instalaciones, debe transportar moldajes, utilizar herramientas y trabajar en altura con arnes. refiere trabaja en el rubro hace 12 años, antes trabajaba como peluquero. trabajan de lunes a viernes de 8 a 18 hrs. " "Agente. movimientos repetitivos"' - text: Relato. Trastorno del sueño, angustia, ansiedad, labilidad emocional, irritabilidad "Agente. disminucion injustificada de funciones" - text: Relato. Desánimo, angustia, nerviosismo, labilidad emocional "Agente. Conflictos interpares no resueltos" - text: Relato. Tengo insomnio, he tenido crisis en las que no puedo estar en espacios públicos, notando falta de aire, desesperación y poniéndome a llorar por desesperación, teniendo que salir del metro o de las micros cuando hay mucha gente, y antes de quedar embarazada sentía mareos, viendo en esos momentos todo negro y sintiendo que me iba a caer. He tenido constantes dolores de cabeza, me he notado contracturada, aprieto los dientes en las noches, y me acuesto y amanezco cansada, como si no durmiera nada. En las noches me cuesta quedarme dormida, me paro 2 a 3 veces por noche y tengo muchos problemas para volver a quedarme dormida. He notado que el pie derecho lo tengo inquieto sin darme cuenta de ello, y he tenido dolores estomacales, teniendo en este último tiempo diarrea, pese que yo soy estítica. síntomas que refiere estar presentando desde junio del 2022 aproximadamente. Refiere que le cuesta quedarse dormida, presenta despertar nocturno, en promedio 2 a 3 veces por noche, teniendo muchas complicaciones para poder retomar su sueño, durmiendo un promedio de 5 horas diarias de manera interrumpida. Refiere que ha presentado sueños y pesadillas, en un comienzo con temas de trabajo, despertando angustiada, preocupada, llorando, pensando en el trabajo e incluso gritando y desesperada en una oportunidad, siendo asistida por su pareja en esta ocasión, notándose muy cansada física y mentalmente, desconcentrada, dispersa y distraída, presentando además hipersomnolencia diurna. Refiere notarse en el aspecto emocional principalmente más sensible, cabizbaja, desanimada, desmotivada e incluso llorona, pese a también a veces notarse irritable y enojona en su hogar, sintiéndose laboralmente presionada, violentada y acosada. Presenta apetito disminuido, y su libido también ha disminuido considerablemente. "Agente. los cambios y modificaciones a los acuerdos laborales establecidos previamente que se han sostenido desde junio del 2022 a la fecha, faltándose a compromiso del pago de un bono por una mayor carga laboral aceptada y trabajada por un periodo de tiempo, y la presión que se ha ejercido por nuevas modificaciones laborales que se le quieren imponer y que van en su directo perjuicio, generándose su crisis por la actitud y presiones que el gerente estableció en una reunión con la paciente, queriéndosele generar un menoscabo con el último anexo de contrato que se le quiere hacer firmar. " pipeline_tag: text-classification inference: true --- # SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 This is a [SetFit](https://github.com/huggingface/setfit) model that can be used for Text Classification. This SetFit model uses [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) as the Sentence Transformer embedding model. A [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance is used for classification. The model has been trained using an efficient few-shot learning technique that involves: 1. Fine-tuning a [Sentence Transformer](https://www.sbert.net) with contrastive learning. 2. Training a classification head with features from the fine-tuned Sentence Transformer. ## Model Details ### Model Description - **Model Type:** SetFit - **Sentence Transformer body:** [sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2](https://huggingface.co/sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2) - **Classification head:** a [LogisticRegression](https://scikit-learn.org/stable/modules/generated/sklearn.linear_model.LogisticRegression.html) instance - **Maximum Sequence Length:** 128 tokens - **Number of Classes:** 19 classes ### Model Sources - **Repository:** [SetFit on GitHub](https://github.com/huggingface/setfit) - **Paper:** [Efficient Few-Shot Learning Without Prompts](https://arxiv.org/abs/2209.11055) - **Blogpost:** [SetFit: Efficient Few-Shot Learning Without Prompts](https://huggingface.co/blog/setfit) ### Model Labels | Label | Examples | |:---------------------------------------------------------------------|:-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| | Ruido (ruido continuo, ruido intermitente, ruido en líquidos) | | | Otros tipos de esfuerzo | | | Otros agentes químicos | | | Esfuerzo vocal | | | Otros agentes causales | | | Empujar o tirar con una parte del cuerpo con movimientos repetitivos | | | Demanda excesiva de trabajo | | | Caucho, látex natural | | | Transporte de carga al caminar | | | Otros tipos de transporte y levantamiento de cargas | | | Otros trabajos repetitivos | | | Trabajo repetitivo con movimientos asimétricos | | | Otro tipo de movimiento | | | Problemas interpersonales en relación con los otros empleados | | | Hostilidad de la jefatura | | | Problemas interpersonales en relación con los superiores | | | Otros factores de exposición psicosocial | | | Ausencia de apoyo social de la empresa | | | Cantidad y demanda irregulares | | ## Uses ### Direct Use for Inference First install the SetFit library: ```bash pip install setfit ``` Then you can load this model and run inference. ```python from setfit import SetFitModel # Download from the 🤗 Hub model = SetFitModel.from_pretrained("lmaccarini/setfit-ep-v2") # Run inference preds = model("Relato. Desánimo, angustia, nerviosismo, labilidad emocional \"Agente. Conflictos interpares no resueltos\"") ``` ## Training Details ### Training Set Metrics | Training set | Min | Median | Max | |:-------------|:----|:--------|:----| | Word count | 10 | 97.4056 | 381 | | Label | Training Sample Count | |:---------------------------------------------------------------------|:----------------------| | Ruido (ruido continuo, ruido intermitente, ruido en líquidos) | 17 | | Otros tipos de esfuerzo | 26 | | Otros agentes químicos | 14 | | Esfuerzo vocal | 5 | | Otros agentes causales | 29 | | Empujar o tirar con una parte del cuerpo con movimientos repetitivos | 1 | | Demanda excesiva de trabajo | 11 | | Caucho, látex natural | 5 | | Transporte de carga al caminar | 2 | | Otros tipos de transporte y levantamiento de cargas | 1 | | Otros trabajos repetitivos | 22 | | Trabajo repetitivo con movimientos asimétricos | 1 | | Otro tipo de movimiento | 1 | | Problemas interpersonales en relación con los otros empleados | 8 | | Hostilidad de la jefatura | 4 | | Problemas interpersonales en relación con los superiores | 8 | | Otros factores de exposición psicosocial | 22 | | Ausencia de apoyo social de la empresa | 2 | | Cantidad y demanda irregulares | 1 | ### Training Hyperparameters - batch_size: (16, 16) - num_epochs: (3, 3) - max_steps: -1 - sampling_strategy: oversampling - body_learning_rate: (2e-05, 1e-05) - head_learning_rate: 0.01 - loss: CosineSimilarityLoss - distance_metric: cosine_distance - margin: 0.25 - end_to_end: False - use_amp: False - warmup_proportion: 0.1 - seed: 42 - eval_max_steps: -1 - load_best_model_at_end: True ### Training Results | Epoch | Step | Training Loss | Validation Loss | |:------:|:----:|:-------------:|:---------------:| | 0.0005 | 1 | 0.3692 | - | | 0.0275 | 50 | 0.1695 | - | | 0.0550 | 100 | 0.1577 | - | | 0.0825 | 150 | 0.1672 | - | | 0.1100 | 200 | 0.2177 | - | | 0.1374 | 250 | 0.2181 | - | | 0.1649 | 300 | 0.1719 | - | | 0.1924 | 350 | 0.1475 | - | | 0.2199 | 400 | 0.0486 | - | | 0.2474 | 450 | 0.1076 | - | | 0.2749 | 500 | 0.1012 | - | | 0.3024 | 550 | 0.0512 | - | | 0.3299 | 600 | 0.0135 | - | | 0.3573 | 650 | 0.0894 | - | | 0.3848 | 700 | 0.0588 | - | | 0.4123 | 750 | 0.0263 | - | | 0.4398 | 800 | 0.007 | - | | 0.4673 | 850 | 0.0549 | - | | 0.4948 | 900 | 0.0519 | - | | 0.5223 | 950 | 0.0179 | - | | 0.5498 | 1000 | 0.0078 | - | | 0.5772 | 1050 | 0.0028 | - | | 0.6047 | 1100 | 0.0036 | - | | 0.6322 | 1150 | 0.0039 | - | | 0.6597 | 1200 | 0.0023 | - | | 0.6872 | 1250 | 0.0026 | - | | 0.7147 | 1300 | 0.0006 | - | | 0.7422 | 1350 | 0.0005 | - | | 0.7697 | 1400 | 0.0009 | - | | 0.7971 | 1450 | 0.0057 | - | | 0.8246 | 1500 | 0.0005 | - | | 0.8521 | 1550 | 0.0011 | - | | 0.8796 | 1600 | 0.0011 | - | | 0.9071 | 1650 | 0.0006 | - | | 0.9346 | 1700 | 0.0006 | - | | 0.9621 | 1750 | 0.0004 | - | | 0.9896 | 1800 | 0.0003 | - | | 1.0170 | 1850 | 0.0004 | - | | 1.0445 | 1900 | 0.0008 | - | | 1.0720 | 1950 | 0.0006 | - | | 1.0995 | 2000 | 0.0012 | - | | 1.1270 | 2050 | 0.001 | - | | 1.1545 | 2100 | 0.0005 | - | | 1.1820 | 2150 | 0.0009 | - | | 1.2095 | 2200 | 0.0029 | - | | 1.2369 | 2250 | 0.0002 | - | | 1.2644 | 2300 | 0.0008 | - | | 1.2919 | 2350 | 0.001 | - | | 1.3194 | 2400 | 0.0002 | - | | 1.3469 | 2450 | 0.0003 | - | | 1.3744 | 2500 | 0.0002 | - | | 1.4019 | 2550 | 0.0001 | - | | 1.4294 | 2600 | 0.0005 | - | | 1.4568 | 2650 | 0.0004 | - | | 1.4843 | 2700 | 0.0003 | - | | 1.5118 | 2750 | 0.0003 | - | | 1.5393 | 2800 | 0.0012 | - | | 1.5668 | 2850 | 0.0002 | - | | 1.5943 | 2900 | 0.0002 | - | | 1.6218 | 2950 | 0.0001 | - | | 1.6493 | 3000 | 0.0001 | - | | 1.6767 | 3050 | 0.0001 | - | | 1.7042 | 3100 | 0.0001 | - | | 1.7317 | 3150 | 0.0003 | - | | 1.7592 | 3200 | 0.0002 | - | | 1.7867 | 3250 | 0.0001 | - | | 1.8142 | 3300 | 0.0002 | - | | 1.8417 | 3350 | 0.0002 | - | | 1.8692 | 3400 | 0.0001 | - | | 1.8966 | 3450 | 0.0002 | - | | 1.9241 | 3500 | 0.0001 | - | | 1.9516 | 3550 | 0.0002 | - | | 1.9791 | 3600 | 0.0001 | - | | 2.0066 | 3650 | 0.0002 | - | | 2.0341 | 3700 | 0.0002 | - | | 2.0616 | 3750 | 0.0002 | - | | 2.0891 | 3800 | 0.0002 | - | | 2.1165 | 3850 | 0.0004 | - | | 2.1440 | 3900 | 0.0001 | - | | 2.1715 | 3950 | 0.0002 | - | | 2.1990 | 4000 | 0.0001 | - | | 2.2265 | 4050 | 0.0001 | - | | 2.2540 | 4100 | 0.0001 | - | | 2.2815 | 4150 | 0.0002 | - | | 2.3090 | 4200 | 0.0001 | - | | 2.3364 | 4250 | 0.0001 | - | | 2.3639 | 4300 | 0.0003 | - | | 2.3914 | 4350 | 0.0004 | - | | 2.4189 | 4400 | 0.0001 | - | | 2.4464 | 4450 | 0.0001 | - | | 2.4739 | 4500 | 0.0001 | - | | 2.5014 | 4550 | 0.0002 | - | | 2.5289 | 4600 | 0.0001 | - | | 2.5563 | 4650 | 0.0001 | - | | 2.5838 | 4700 | 0.0001 | - | | 2.6113 | 4750 | 0.0001 | - | | 2.6388 | 4800 | 0.0001 | - | | 2.6663 | 4850 | 0.0001 | - | | 2.6938 | 4900 | 0.0001 | - | | 2.7213 | 4950 | 0.0001 | - | | 2.7488 | 5000 | 0.0001 | - | | 2.7763 | 5050 | 0.0001 | - | | 2.8037 | 5100 | 0.0002 | - | | 2.8312 | 5150 | 0.0001 | - | | 2.8587 | 5200 | 0.0001 | - | | 2.8862 | 5250 | 0.0002 | - | | 2.9137 | 5300 | 0.0001 | - | | 2.9412 | 5350 | 0.0001 | - | | 2.9687 | 5400 | 0.0003 | - | | 2.9962 | 5450 | 0.0001 | - | ### Framework Versions - Python: 3.10.12 - SetFit: 1.0.3 - Sentence Transformers: 2.7.0 - Transformers: 4.40.2 - PyTorch: 2.2.1+cu121 - Datasets: 2.19.1 - Tokenizers: 0.19.1 ## Citation ### BibTeX ```bibtex @article{https://doi.org/10.48550/arxiv.2209.11055, doi = {10.48550/ARXIV.2209.11055}, url = {https://arxiv.org/abs/2209.11055}, author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren}, keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences}, title = {Efficient Few-Shot Learning Without Prompts}, publisher = {arXiv}, year = {2022}, copyright = {Creative Commons Attribution 4.0 International} } ```