SetFit with sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
This is a SetFit model trained on the ayakiri/wolo-app-categories-to-description dataset that can be used for Text Classification. This SetFit model uses sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.
The model has been trained using an efficient few-shot learning technique that involves:
- Fine-tuning a Sentence Transformer with contrastive learning.
- Training a classification head with features from the fine-tuned Sentence Transformer.
Model Details
Model Description
Model Sources
Model Labels
| Label |
Examples |
| Kultura |
- 'Dołącz do naszej rodziny teatru społecznościowego! Poszukujemy pasjonatów, którzy chcą pomóc w kreowaniu fascynujących przedstawień i dotrzeć do naszej publiczności na głębszym poziomie.'
- 'The "Creative Minds Foundation" is seeking volunteers for its "Artistic Explorers" project. The initiative aims to bring art and culture to local communities through interactive workshops and exhibitions. We are looking for individuals with a passion for the arts, excellent communication skills, and a willingness to inspire creativity. Volunteers will be responsible for organizing art sessions, assisting in exhibitions, and fostering a love for artistic expression in the community.'
- 'Przyłącz się do naszego zespołu jako wolontariusz w projekcie dokumentalnym. Tworzymy historię i chcielibyśmy, abyś pomógł nam uwiecznić ją na taśmie. To okazja do wyrażenia siebie i wpisania swojego śladu w historii kultury.'
|
| Ekologia |
- 'Chcielibyśmy, abyś dołączył jako wolontariusz do naszego projektu badawczego nad zachowaniem dzikich pszczół. Wymagamy od kandydatów zainteresowania tematyką pszczół, zdolności do zbierania danych terenowych oraz umiejętności komunikacji zespołowej. Jako wolontariusz będziesz miał okazję uczestniczyć w badaniach terenowych, poznawania tajemnic pszczelich społeczności i dowiadywania się, jak możemy chronić ich środowisko. Twoja praca przyczyni się do zrozumienia i ochrony tych cennych zapylaczy, które są kluczowe dla naszej globalnej żywności. Razem możemy działać na rzecz ich przetrwania i zachowania.'
- 'Stowarzyszenie "EkoEdukacja" poszukuje wolontariuszy do projektu "Mistrzowie Recyklingu". Inicjatywa ta ma na celu edukację i wsparcie społeczności lokalnej w zakresie zrównoważonego gospodarowania odpadami. Wolonatriusze będą rejestrowac chętnych uczestników projektu.'
- 'Dołącz do nas jako wolontariusz ds. edukacji ekologicznej i staniesz się źródłem inspiracji dla innych. Twój wkład w prowadzenie warsztatów i prelekcji będzie promować zrównoważony tryb życia i ochronę przyrody.'
|
| Sport |
- 'Dołącz do nas jako wolontariusz na zajęciach fitness w parku. Pomagajmy naszym mieszkańcom w utrzymaniu zdrowia i kondycji fizycznej, organizując treningi dostępne dla wszystkich.'
- 'Dołącz do nas jako wolontariusz w projekcie dla młodzieży, który ma na celu promowanie aktywności fizycznej na świeżym powietrzu. Razem będziemy kształtować programy zajęć, organizować wyprawy i tworzyć przestrzenie, które inspirują młodych ludzi do aktywnego życia.'
- 'Dołącz do naszej drużyny wolontariuszy, którzy wspierają organizację lokalnych wydarzeń sportowych! Jako wolontariusz będziesz odpowiedzialny za przyjmowanie zgłoszeń, rejestrację uczestników, kontrolę dostępu, zarządzanie stanowiskami informacyjnymi i pomoc w zabezpieczeniach medycznych.'
|
| Pomoc |
- 'Chcielibyśmy, abyś dołączył jako wolontariusz do programu wsparcia rodzin z dziećmi w trudnej sytuacji życiowej. Twój zakres obowiązków obejmuje pomoc w rozwiązywaniu konfliktów, udzielanie wsparcia w procesie resocjalizacji i tworzenie bezpiecznego otoczenia dla dzieci.'
- 'Poszukujemy wolontariuszy do pracy w schroniskach dla bezdomnych zwierząt. Twój udział polega na opiece nad zwierzętami, ich karmieniu, czyszczeniu klatek oraz organizowaniu adopcji.'
- 'Łączy nas wspólna idea aktywizacji osób niepełnosprawnych. Zarażamy pasją do pomagania, a każdy z nas ma w sobie super moc, którą dzieli się z innymi! \n\nChcesz aktywnie działać na rzecz osób niepełnosprawnych? Weź udział w Warsztacie Aktywnej Rehabilitacji! Wpadnij na nasze co miesięczne zajęcia sportowe dla dzieci lub dorosłych! \n\nChcesz wiedzieć więcej?\n\nZapraszamy Cię ciepło do naszego Biura Regionalnego przy ul. Kubusia Puchatka 4 w Gdańsku. Wypijemy wspólnie kawę i opowiemy Ci jak działamy. Gwarantujemy mnóstwo pozytywnej energii! \n\nNie czekaj na impuls… Działaj z nami! Ostrzegamy… to uzależnia :)'
|
| Edukacja |
- 'Chcielibyśmy, abyś dołączył jako wolontariusz do projektu wspierania osób w nauce i rozwoju osobistym. Wymagamy od kandydatów cierpliwości, empatii oraz umiejętności słuchania. Jako wolontariusz będziesz miał/mogła okazję udzielać pomocy w nauce, rozmawiać z osobami potrzebującymi wsparcia i inspirować je do osiągania celów. Twoja praca może pomóc wielu ludziom w pokonywaniu trudności i rozwijaniu swojego potencjału.'
- 'Dołącz do nas jako wolontariusz ds. edukacji cyfrowej i stań się przewodnikiem w świecie nowoczesnych technologii. Wymagamy od kandydatów umiejętności obsługi komputera, chęci do uczenia innych oraz zdolności do tworzenia treści edukacyjnych. Jako wolontariusz będziesz miał/mogła okazję prowadzić szkolenia z zakresu obsługi komputera, korzystania z internetu czy tworzenia stron internetowych. Razem możemy pomóc innym w zdobywaniu cyfrowej kompetencji i rozwijaniu się w erze technologicznej.'
- 'Dołącz do nas jako wolontariusz ds. edukacji zdrowotnej i razem z nami propaguj zdrowy styl życia. Wymagamy od kandydatów zainteresowania tematyką zdrowia, umiejętności prowadzenia prelekcji oraz chęci do promowania świadomych wyborów. Jako wolontariusz będziesz miał/mogła okazję prowadzić warsztaty dotyczące zdrowego odżywiania, aktywności fizycznej i profilaktyki zdrowotnej. Razem możemy pomóc innym prowadzić zdrowszy tryb życia.'
|
Evaluation
Metrics
Uses
Direct Use for Inference
First install the SetFit library:
pip install setfit
Then you can load this model and run inference.
from setfit import SetFitModel
model = SetFitModel.from_pretrained("ayakiri/wolo-app-categories-setfit-model")
preds = model("Organizacja \"Sport dla Wszystkich\" poszukuje wolontariuszy do programu \"Aktywni Razem\". Inicjatywa ta skierowana jest na promowanie aktywności fizycznej wśród osób z różnymi umiejętnościami. Poszukujemy osób z pasją do sportu, zdolnościami motywacyjnymi oraz chęcią wspierania innych w aktywnym trybie życia. Wolontariusze będą zaangażowani w organizację treningów, wydarzeń sportowych oraz tworzenie przyjaznej atmosfery.")
Training Details
Training Set Metrics
| Training set |
Min |
Median |
Max |
| Word count |
19 |
46.8618 |
177 |
| Label |
Training Sample Count |
| Edukacja |
29 |
| Ekologia |
36 |
| Kultura |
25 |
| Pomoc |
31 |
| Sport |
31 |
Training Hyperparameters
- batch_size: (8, 8)
- num_epochs: (1, 1)
- max_steps: -1
- sampling_strategy: oversampling
- num_iterations: 20
- body_learning_rate: (2e-05, 2e-05)
- head_learning_rate: 2e-05
- loss: CosineSimilarityLoss
- distance_metric: cosine_distance
- margin: 0.25
- end_to_end: False
- use_amp: False
- warmup_proportion: 0.1
- seed: 42
- eval_max_steps: -1
- load_best_model_at_end: False
Training Results
| Epoch |
Step |
Training Loss |
Validation Loss |
| 0.0013 |
1 |
0.1682 |
- |
| 0.0658 |
50 |
0.0664 |
- |
| 0.1316 |
100 |
0.0306 |
- |
| 0.1974 |
150 |
0.004 |
- |
| 0.2632 |
200 |
0.0169 |
- |
| 0.3289 |
250 |
0.0017 |
- |
| 0.3947 |
300 |
0.0009 |
- |
| 0.4605 |
350 |
0.001 |
- |
| 0.5263 |
400 |
0.0007 |
- |
| 0.5921 |
450 |
0.0004 |
- |
| 0.6579 |
500 |
0.0008 |
- |
| 0.7237 |
550 |
0.0003 |
- |
| 0.7895 |
600 |
0.0002 |
- |
| 0.8553 |
650 |
0.0002 |
- |
| 0.9211 |
700 |
0.0006 |
- |
| 0.9868 |
750 |
0.0007 |
- |
Framework Versions
- Python: 3.10.12
- SetFit: 1.0.3
- Sentence Transformers: 2.3.1
- Transformers: 4.35.2
- PyTorch: 2.1.0+cu121
- Datasets: 2.17.0
- Tokenizers: 0.15.1
Citation
BibTeX
@article{https://doi.org/10.48550/arxiv.2209.11055,
doi = {10.48550/ARXIV.2209.11055},
url = {https://arxiv.org/abs/2209.11055},
author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
title = {Efficient Few-Shot Learning Without Prompts},
publisher = {arXiv},
year = {2022},
copyright = {Creative Commons Attribution 4.0 International}
}
