JohanHeinsen/Memo_men_2

SetFit with vesteinn/DanskBERT

This is a SetFit model that can be used for Text Classification. This SetFit model uses vesteinn/DanskBERT as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

1. Fine-tuning a Sentence Transformer with contrastive learning.
2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

• Model Type: SetFit
• Sentence Transformer body: vesteinn/DanskBERT
• Classification head: a LogisticRegression instance
• Maximum Sequence Length: 514 tokens
• Number of Classes: 2 classes

Model Sources

• Repository: SetFit on GitHub
• Paper: Efficient Few-Shot Learning Without Prompts
• Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
0	'Du kan tro, vi har det gruelig lunt og hyggeligt, naar vi imellem er hjemme alene om Aftenen og jeg læser højt for Tante. « Mas store, blaaprikkede Kyse rejste sig; med Bordkniven i Haanden rakte hun Tallerkenen tom tilbage... » Og saa har han vist det Væsen, som passer, jo højere han kommer. « » Aldeles fuldendt, komplet!....' 'Du lyse, rene Barnetro, Med Solskins-Guld, det klare, Du gør saa stærk, du gør saa fro, Og smiler kun i Fare. Du gyldner Skyen, tung og mørk, Pcm Taarens Dng du kysser, Du planter Roser i hver Ark, Paa Havets Brus du tysser. Saa fri som Himlens Fugle smaa, Saa bly som Markens Lilje, Du som en Kæmpe dog kan staa Med slærk og stanlsat Vilje. Naar Støvets Kraft som Nøg forgaar I Tvivlens kolde Lande, Du klippefast og tryg dog stanr Med høj og løftet Pande. Og kæk og' 'Gud taknemlig, at jeg kan give Dig Lejlighed til at leve paa en Maade og i Omgivelser, der kunne yde Næring for din Aand og din vidtflyvende Tragten, Du er ingen Hjemmets Kvinde, det har jeg vel mærket, og det har undertiden gjort mig ondt, det tilstaar jeg; men alle forstyrrende Erindringer vil jeg nu lade fare, alle Kvinder ere jo ikke skabte til at finde deres Verden inden Hjemmets snævre Kreds, Jeg dadler ikke denne udadvendte Stræben, men hos xn Kvinde beklager jeg den, thi hun staar ved den i Fare for at forfejle sin egentlige Bestemmelse, den stille bramfri Virken, og henlever ofte en lang Tid, ja undertiden sit hele Liv i Uro og Utilfredshed.'
1	'Oven sittrede i den unge Spillers Haand! den Sortklædte vandt igjen; — det var hundrede Rigsdaler ! Og ban havde kun rnve! Den Fremmede lagde sin One og stillede sig ben ved Vinduet. . ------" - Westmann var bleg, ban manglede firsindstyve Rigsdaler. Det var en anden Søg, dersom det var en Bekjendt han var blevet dem skyldig, men ber var dette vildtsremmed Menneske, som havde Krav paa dem. Spillcgjæld' 'Ella bemærkede den pludselige Forandring i mit Væsen, som jeg ikke formaaede at skjule, hun havde opfanget det Blik, jeg sendte Gustav og sagde sagte til mig: "Stakkels Heller! Han er bleven endnu ordknappere end før. De maa opmuntre ham Caja, Fink og jeg have forsøgt det, men forgjæves. Asy og Hop, seer De nok, ere ikke stort heldigere. Gaa hen til ham, saa ville Fink og jeg gaae iforveien;" og inden jeg fik Tid til at svare, løb Fink og Ella Arm i Arm ned ad Fjeldet, efterfulgte af Asy og Hop, der ikke havde Lyst til at undvære deres Selskab.' 'Oberstlieutenanten var ogsaa rejst over fra Jylland, for at vise den Afdøde den sidste Ære; paa samme Tid vilde han tage Anna hjem med sig. Det var desuden hans og hans Hustrus inderlige Ønske, at Paula vilde følge med og blive hos dem, indtil hendes Fremtids Stilling var ordnet. Han havde straks forebragt Paula dette Forslag, som Anna understøttede af al Magt. Men Paula var ikke at formaa til at gaa ind derpaa; hun vægrede sig afgjort ved at forlade sin Faders Grav. Oberstlieutenanten manglede ligefrem Mod til at'

Evaluation

Metrics

Label	Accuracy	F1	Precision	Recall
all	0.8833	0.9263	0.8907	0.9649

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("setfit_model_id")
# Run inference
preds = model("Indledningssalmen blev sungen paa en af de gamle Toner; men da Højmessesalmen skulde synges, lød Brandts dybe, klangfulde Røst ned i Kirken: ingen havde Mod til at træde forstyrrende ind, og snart sang alle med; men de helliges to ældste rejste sig og forlode Kirken.")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	30	75.9814	130

Label	Training Sample Count
0	181
1	519

Training Hyperparameters

• batch_size: (16, 16)
• num_epochs: (3, 3)
• max_steps: -1
• sampling_strategy: oversampling
• num_iterations: 12
• body_learning_rate: (2e-05, 2e-05)
• head_learning_rate: 2e-05
• loss: CosineSimilarityLoss
• distance_metric: cosine_distance
• margin: 0.25
• end_to_end: False
• use_amp: False
• warmup_proportion: 0.1
• l2_weight: 0.01
• seed: 42
• eval_max_steps: -1
• load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0010	1	0.2428	-
0.0476	50	0.4738	-
0.0952	100	0.2969	-
0.1429	150	0.2369	-
0.1905	200	0.1621	-
0.2381	250	0.1191	-
0.2857	300	0.0738	-
0.3333	350	0.042	-
0.3810	400	0.0306	-
0.4286	450	0.0204	-
0.4762	500	0.0047	-
0.5238	550	0.0118	-
0.5714	600	0.0032	-
0.6190	650	0.0009	-
0.6667	700	0.0005	-
0.7143	750	0.0004	-
0.7619	800	0.0003	-
0.8095	850	0.0003	-
0.8571	900	0.0003	-
0.9048	950	0.0002	-
0.9524	1000	0.0002	-
1.0	1050	0.0002	-
1.0476	1100	0.0002	-
1.0952	1150	0.0001	-
1.1429	1200	0.0001	-
1.1905	1250	0.0002	-
1.2381	1300	0.0007	-
1.2857	1350	0.0001	-
1.3333	1400	0.0001	-
1.3810	1450	0.0001	-
1.4286	1500	0.0001	-
1.4762	1550	0.0001	-
1.5238	1600	0.0001	-
1.5714	1650	0.0001	-
1.6190	1700	0.0001	-
1.6667	1750	0.0001	-
1.7143	1800	0.0001	-
1.7619	1850	0.0001	-
1.8095	1900	0.0001	-
1.8571	1950	0.0001	-
1.9048	2000	0.0001	-
1.9524	2050	0.0001	-
2.0	2100	0.0005	-
2.0476	2150	0.0001	-
2.0952	2200	0.0001	-
2.1429	2250	0.0001	-
2.1905	2300	0.0001	-
2.2381	2350	0.0001	-
2.2857	2400	0.0001	-
2.3333	2450	0.0001	-
2.3810	2500	0.0	-
2.4286	2550	0.0001	-
2.4762	2600	0.0	-
2.5238	2650	0.0	-
2.5714	2700	0.0	-
2.6190	2750	0.0	-
2.6667	2800	0.0	-
2.7143	2850	0.0	-
2.7619	2900	0.0	-
2.8095	2950	0.0001	-
2.8571	3000	0.0	-
2.9048	3050	0.0	-
2.9524	3100	0.0	-
3.0	3150	0.0	-

Framework Versions

• Python: 3.11.12
• SetFit: 1.1.3
• Sentence Transformers: 4.1.0
• Transformers: 4.51.3
• PyTorch: 2.7.0
• Datasets: 2.19.2
• Tokenizers: 0.21.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}