Edit model card

SetFit with sentence-transformers/paraphrase-mpnet-base-v2

This is a SetFit model that can be used for Text Classification. This SetFit model uses sentence-transformers/paraphrase-mpnet-base-v2 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

  1. Fine-tuning a Sentence Transformer with contrastive learning.
  2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Sources

Model Labels

Label Examples
False
  • 'Persistent'
  • 'Forensic Contract'
  • 'View Vendor List'
True
  • 'winming camp at Taj Deccan. Morning and evening batches. Start today. Become a champ. Monday to Friday till 3 Ist march '
  • '您的反馈已记录,我们将努力改善您的浏览体验。'
  • 'Ve ConcerrualL DESIGNER '

Evaluation

Metrics

Label Accuracy Precision Recall F1
all 0.5003 0.0 0.0 0.0

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("setfit_model_id")
# Run inference
preds = model("Google Maps")

Training Details

Training Set Metrics

Training set Min Median Max
Word count 1 8.5055 706
Label Training Sample Count
False 6399
True 6401

Training Hyperparameters

  • batch_size: (16, 2)
  • num_epochs: (1, 16)
  • max_steps: -1
  • sampling_strategy: oversampling
  • num_iterations: 20
  • body_learning_rate: (2e-05, 1e-05)
  • head_learning_rate: 0.01
  • loss: CosineSimilarityLoss
  • distance_metric: cosine_distance
  • margin: 0.25
  • end_to_end: False
  • use_amp: False
  • warmup_proportion: 0.1
  • seed: 42
  • run_name: PG-OCR-test-1
  • eval_max_steps: -1
  • load_best_model_at_end: False

Training Results

Epoch Step Training Loss Validation Loss
0.0000 1 0.5 -
0.0016 50 0.5 -
0.0031 100 0.5 -
0.0047 150 0.5 -
0.0063 200 0.5 -
0.0078 250 0.5 -
0.0094 300 0.5 -
0.0109 350 0.5 -
0.0125 400 0.5 -
0.0141 450 0.5 -
0.0156 500 0.5 -
0.0172 550 0.5 -
0.0187 600 0.5 -
0.0203 650 0.5 -
0.0219 700 0.5 -
0.0234 750 0.5 -
0.025 800 0.5 -
0.0266 850 0.5 -
0.0281 900 0.5 -
0.0297 950 0.5 -
0.0312 1000 0.5 -
0.0328 1050 0.5 -
0.0344 1100 0.5 -
0.0359 1150 0.5 -
0.0375 1200 0.5 -
0.0391 1250 0.5 -
0.0406 1300 0.5 -
0.0422 1350 0.5 -
0.0437 1400 0.5 -
0.0453 1450 0.5 -
0.0469 1500 0.5 -
0.0484 1550 0.5 -
0.05 1600 0.5 -
0.0516 1650 0.5 -
0.0531 1700 0.5 -
0.0547 1750 0.5 -
0.0563 1800 0.5 -
0.0578 1850 0.5 -
0.0594 1900 0.5 -
0.0609 1950 0.5 -
0.0625 2000 0.5 -
0.0641 2050 0.5 -
0.0656 2100 0.5 -
0.0672 2150 0.5 -
0.0688 2200 0.5 -
0.0703 2250 0.5 -
0.0719 2300 0.5 -
0.0734 2350 0.5 -
0.075 2400 0.5 -
0.0766 2450 0.5 -
0.0781 2500 0.5 -
0.0797 2550 0.5 -
0.0813 2600 0.5 -
0.0828 2650 0.5 -
0.0844 2700 0.5 -
0.0859 2750 0.5 -
0.0875 2800 0.5 -
0.0891 2850 0.5 -
0.0906 2900 0.5 -
0.0922 2950 0.5 -
0.0938 3000 0.5 -
0.0953 3050 0.5 -
0.0969 3100 0.5 -
0.0984 3150 0.5 -
0.1 3200 0.5 -
0.1016 3250 0.5 -
0.1031 3300 0.5 -
0.1047 3350 0.5 -
0.1062 3400 0.5 -
0.1078 3450 0.5 -
0.1094 3500 0.5 -
0.1109 3550 0.5 -
0.1125 3600 0.5 -
0.1141 3650 0.5 -
0.1156 3700 0.5 -
0.1172 3750 0.5 -
0.1187 3800 0.5 -
0.1203 3850 0.5 -
0.1219 3900 0.5 -
0.1234 3950 0.5 -
0.125 4000 0.5 -
0.1266 4050 0.5 -
0.1281 4100 0.5 -
0.1297 4150 0.5 -
0.1313 4200 0.5 -
0.1328 4250 0.5 -
0.1344 4300 0.5 -
0.1359 4350 0.5 -
0.1375 4400 0.5 -
0.1391 4450 0.5 -
0.1406 4500 0.5 -
0.1422 4550 0.5 -
0.1437 4600 0.5 -
0.1453 4650 0.5 -
0.1469 4700 0.5 -
0.1484 4750 0.5 -
0.15 4800 0.5 -
0.1516 4850 0.5 -
0.1531 4900 0.5 -
0.1547 4950 0.5 -
0.1562 5000 0.5 0.5
0.1578 5050 0.5 -
0.1594 5100 0.5 -
0.1609 5150 0.5 -
0.1625 5200 0.5 -
0.1641 5250 0.5 -
0.1656 5300 0.5 -
0.1672 5350 0.5 -
0.1688 5400 0.5 -
0.1703 5450 0.5 -
0.1719 5500 0.5 -
0.1734 5550 0.5 -
0.175 5600 0.5 -
0.1766 5650 0.5 -
0.1781 5700 0.5 -
0.1797 5750 0.5 -
0.1812 5800 0.5 -
0.1828 5850 0.5 -
0.1844 5900 0.5 -
0.1859 5950 0.5 -
0.1875 6000 0.5 -
0.1891 6050 0.5 -
0.1906 6100 0.5 -
0.1922 6150 0.5 -
0.1938 6200 0.5 -
0.1953 6250 0.5 -
0.1969 6300 0.5 -
0.1984 6350 0.5 -
0.2 6400 0.5 -
0.2016 6450 0.5 -
0.2031 6500 0.5 -
0.2047 6550 0.5 -
0.2062 6600 0.5 -
0.2078 6650 0.5 -
0.2094 6700 0.5 -
0.2109 6750 0.5 -
0.2125 6800 0.5 -
0.2141 6850 0.5 -
0.2156 6900 0.5 -
0.2172 6950 0.5 -
0.2188 7000 0.5 -
0.2203 7050 0.5 -
0.2219 7100 0.5 -
0.2234 7150 0.5 -
0.225 7200 0.5 -
0.2266 7250 0.5 -
0.2281 7300 0.5 -
0.2297 7350 0.5 -
0.2313 7400 0.5 -
0.2328 7450 0.5 -
0.2344 7500 0.5 -
0.2359 7550 0.5 -
0.2375 7600 0.5 -
0.2391 7650 0.5 -
0.2406 7700 0.5 -
0.2422 7750 0.5 -
0.2437 7800 0.5 -
0.2453 7850 0.5 -
0.2469 7900 0.5 -
0.2484 7950 0.5 -
0.25 8000 0.5 -
0.2516 8050 0.5 -
0.2531 8100 0.5 -
0.2547 8150 0.5 -
0.2562 8200 0.5 -
0.2578 8250 0.5 -
0.2594 8300 0.5 -
0.2609 8350 0.5 -
0.2625 8400 0.5 -
0.2641 8450 0.5 -
0.2656 8500 0.5 -
0.2672 8550 0.5 -
0.2687 8600 0.5 -
0.2703 8650 0.5 -
0.2719 8700 0.5 -
0.2734 8750 0.5 -
0.275 8800 0.5 -
0.2766 8850 0.5 -
0.2781 8900 0.5 -
0.2797 8950 0.5 -
0.2812 9000 0.5 -
0.2828 9050 0.5 -
0.2844 9100 0.5 -
0.2859 9150 0.5 -
0.2875 9200 0.5 -
0.2891 9250 0.5 -
0.2906 9300 0.5 -
0.2922 9350 0.5 -
0.2938 9400 0.5 -
0.2953 9450 0.5 -
0.2969 9500 0.5 -
0.2984 9550 0.5 -
0.3 9600 0.5 -
0.3016 9650 0.5 -
0.3031 9700 0.5 -
0.3047 9750 0.5 -
0.3063 9800 0.5 -
0.3078 9850 0.5 -
0.3094 9900 0.5 -
0.3109 9950 0.5 -
0.3125 10000 0.5 0.5
0.3141 10050 0.5 -
0.3156 10100 0.5 -
0.3172 10150 0.5 -
0.3187 10200 0.5 -
0.3203 10250 0.5 -
0.3219 10300 0.5 -
0.3234 10350 0.5 -
0.325 10400 0.5 -
0.3266 10450 0.5 -
0.3281 10500 0.5 -
0.3297 10550 0.5 -
0.3312 10600 0.5 -
0.3328 10650 0.5 -
0.3344 10700 0.5 -
0.3359 10750 0.5 -
0.3375 10800 0.5 -
0.3391 10850 0.5 -
0.3406 10900 0.5 -
0.3422 10950 0.5 -
0.3438 11000 0.5 -
0.3453 11050 0.5 -
0.3469 11100 0.5 -
0.3484 11150 0.5 -
0.35 11200 0.5 -
0.3516 11250 0.5 -
0.3531 11300 0.5 -
0.3547 11350 0.5 -
0.3563 11400 0.5 -
0.3578 11450 0.5 -
0.3594 11500 0.5 -
0.3609 11550 0.5 -
0.3625 11600 0.5 -
0.3641 11650 0.5 -
0.3656 11700 0.5 -
0.3672 11750 0.5 -
0.3688 11800 0.5 -
0.3703 11850 0.5 -
0.3719 11900 0.5 -
0.3734 11950 0.5 -
0.375 12000 0.5 -
0.3766 12050 0.5 -
0.3781 12100 0.5 -
0.3797 12150 0.5 -
0.3812 12200 0.5 -
0.3828 12250 0.5 -
0.3844 12300 0.5 -
0.3859 12350 0.5 -
0.3875 12400 0.5 -
0.3891 12450 0.5 -
0.3906 12500 0.5 -
0.3922 12550 0.5 -
0.3937 12600 0.5 -
0.3953 12650 0.5 -
0.3969 12700 0.5 -
0.3984 12750 0.5 -
0.4 12800 0.5 -
0.4016 12850 0.5 -
0.4031 12900 0.5 -
0.4047 12950 0.5 -
0.4062 13000 0.5 -
0.4078 13050 0.5 -
0.4094 13100 0.5 -
0.4109 13150 0.5 -
0.4125 13200 0.5 -
0.4141 13250 0.5 -
0.4156 13300 0.5 -
0.4172 13350 0.5 -
0.4188 13400 0.5 -
0.4203 13450 0.5 -
0.4219 13500 0.5 -
0.4234 13550 0.5 -
0.425 13600 0.5 -
0.4266 13650 0.5 -
0.4281 13700 0.5 -
0.4297 13750 0.5 -
0.4313 13800 0.5 -
0.4328 13850 0.5 -
0.4344 13900 0.5 -
0.4359 13950 0.5 -
0.4375 14000 0.5 -
0.4391 14050 0.5 -
0.4406 14100 0.5 -
0.4422 14150 0.5 -
0.4437 14200 0.5 -
0.4453 14250 0.5 -
0.4469 14300 0.5 -
0.4484 14350 0.5 -
0.45 14400 0.5 -
0.4516 14450 0.5 -
0.4531 14500 0.5 -
0.4547 14550 0.5 -
0.4562 14600 0.5 -
0.4578 14650 0.5 -
0.4594 14700 0.5 -
0.4609 14750 0.5 -
0.4625 14800 0.5 -
0.4641 14850 0.5 -
0.4656 14900 0.5 -
0.4672 14950 0.5 -
0.4688 15000 0.5 0.5
0.4703 15050 0.5 -
0.4719 15100 0.5 -
0.4734 15150 0.5 -
0.475 15200 0.5 -
0.4766 15250 0.5 -
0.4781 15300 0.5 -
0.4797 15350 0.5 -
0.4813 15400 0.5 -
0.4828 15450 0.5 -
0.4844 15500 0.5 -
0.4859 15550 0.5 -
0.4875 15600 0.5 -
0.4891 15650 0.5 -
0.4906 15700 0.5 -
0.4922 15750 0.5 -
0.4938 15800 0.5 -
0.4953 15850 0.5 -
0.4969 15900 0.5 -
0.4984 15950 0.5 -
0.5 16000 0.5 -
0.5016 16050 0.5 -
0.5031 16100 0.5 -
0.5047 16150 0.5 -
0.5062 16200 0.5 -
0.5078 16250 0.5 -
0.5094 16300 0.5 -
0.5109 16350 0.5 -
0.5125 16400 0.5 -
0.5141 16450 0.5 -
0.5156 16500 0.5 -
0.5172 16550 0.5 -
0.5188 16600 0.5 -
0.5203 16650 0.5 -
0.5219 16700 0.5 -
0.5234 16750 0.5 -
0.525 16800 0.5 -
0.5266 16850 0.5 -
0.5281 16900 0.5 -
0.5297 16950 0.5 -
0.5312 17000 0.5 -
0.5328 17050 0.5 -
0.5344 17100 0.5 -
0.5359 17150 0.5 -
0.5375 17200 0.5 -
0.5391 17250 0.5 -
0.5406 17300 0.5 -
0.5422 17350 0.5 -
0.5437 17400 0.5 -
0.5453 17450 0.5 -
0.5469 17500 0.5 -
0.5484 17550 0.5 -
0.55 17600 0.5 -
0.5516 17650 0.5 -
0.5531 17700 0.5 -
0.5547 17750 0.5 -
0.5563 17800 0.5 -
0.5578 17850 0.5 -
0.5594 17900 0.5 -
0.5609 17950 0.5 -
0.5625 18000 0.5 -
0.5641 18050 0.5 -
0.5656 18100 0.5 -
0.5672 18150 0.5 -
0.5687 18200 0.5 -
0.5703 18250 0.5 -
0.5719 18300 0.5 -
0.5734 18350 0.5 -
0.575 18400 0.5 -
0.5766 18450 0.5 -
0.5781 18500 0.5 -
0.5797 18550 0.5 -
0.5813 18600 0.5 -
0.5828 18650 0.5 -
0.5844 18700 0.5 -
0.5859 18750 0.5 -
0.5875 18800 0.5 -
0.5891 18850 0.5 -
0.5906 18900 0.5 -
0.5922 18950 0.5 -
0.5938 19000 0.5 -
0.5953 19050 0.5 -
0.5969 19100 0.5 -
0.5984 19150 0.5 -
0.6 19200 0.5 -
0.6016 19250 0.5 -
0.6031 19300 0.5 -
0.6047 19350 0.5 -
0.6062 19400 0.5 -
0.6078 19450 0.5 -
0.6094 19500 0.5 -
0.6109 19550 0.5 -
0.6125 19600 0.5 -
0.6141 19650 0.5 -
0.6156 19700 0.5 -
0.6172 19750 0.5 -
0.6188 19800 0.5 -
0.6203 19850 0.5 -
0.6219 19900 0.5 -
0.6234 19950 0.5 -
0.625 20000 0.5 0.5
0.6266 20050 0.5 -
0.6281 20100 0.5 -
0.6297 20150 0.5 -
0.6312 20200 0.5 -
0.6328 20250 0.5 -
0.6344 20300 0.5 -
0.6359 20350 0.5 -
0.6375 20400 0.5 -
0.6391 20450 0.5 -
0.6406 20500 0.5 -
0.6422 20550 0.5 -
0.6438 20600 0.5 -
0.6453 20650 0.5 -
0.6469 20700 0.5 -
0.6484 20750 0.5 -
0.65 20800 0.5 -
0.6516 20850 0.5 -
0.6531 20900 0.5 -
0.6547 20950 0.5 -
0.6562 21000 0.5 -
0.6578 21050 0.5 -
0.6594 21100 0.5 -
0.6609 21150 0.5 -
0.6625 21200 0.5 -
0.6641 21250 0.5 -
0.6656 21300 0.5 -
0.6672 21350 0.5 -
0.6687 21400 0.5 -
0.6703 21450 0.5 -
0.6719 21500 0.5 -
0.6734 21550 0.5 -
0.675 21600 0.5 -
0.6766 21650 0.5 -
0.6781 21700 0.5 -
0.6797 21750 0.5 -
0.6813 21800 0.5 -
0.6828 21850 0.5 -
0.6844 21900 0.5 -
0.6859 21950 0.5 -
0.6875 22000 0.5 -
0.6891 22050 0.5 -
0.6906 22100 0.5 -
0.6922 22150 0.5 -
0.6937 22200 0.5 -
0.6953 22250 0.5 -
0.6969 22300 0.5 -
0.6984 22350 0.5 -
0.7 22400 0.5 -
0.7016 22450 0.5 -
0.7031 22500 0.5 -
0.7047 22550 0.5 -
0.7063 22600 0.5 -
0.7078 22650 0.5 -
0.7094 22700 0.5 -
0.7109 22750 0.5 -
0.7125 22800 0.5 -
0.7141 22850 0.5 -
0.7156 22900 0.5 -
0.7172 22950 0.5 -
0.7188 23000 0.5 -
0.7203 23050 0.5 -
0.7219 23100 0.5 -
0.7234 23150 0.5 -
0.725 23200 0.5 -
0.7266 23250 0.5 -
0.7281 23300 0.5 -
0.7297 23350 0.5 -
0.7312 23400 0.5 -
0.7328 23450 0.5 -
0.7344 23500 0.5 -
0.7359 23550 0.5 -
0.7375 23600 0.5 -
0.7391 23650 0.5 -
0.7406 23700 0.5 -
0.7422 23750 0.5 -
0.7438 23800 0.5 -
0.7453 23850 0.5 -
0.7469 23900 0.5 -
0.7484 23950 0.5 -
0.75 24000 0.5 -
0.7516 24050 0.5 -
0.7531 24100 0.5 -
0.7547 24150 0.5 -
0.7562 24200 0.5 -
0.7578 24250 0.5 -
0.7594 24300 0.5 -
0.7609 24350 0.5 -
0.7625 24400 0.5 -
0.7641 24450 0.5 -
0.7656 24500 0.5 -
0.7672 24550 0.5 -
0.7688 24600 0.5 -
0.7703 24650 0.5 -
0.7719 24700 0.5 -
0.7734 24750 0.5 -
0.775 24800 0.5 -
0.7766 24850 0.5 -
0.7781 24900 0.5 -
0.7797 24950 0.5 -
0.7812 25000 0.5 0.5
0.7828 25050 0.5 -
0.7844 25100 0.5 -
0.7859 25150 0.5 -
0.7875 25200 0.5 -
0.7891 25250 0.5 -
0.7906 25300 0.5 -
0.7922 25350 0.5 -
0.7937 25400 0.5 -
0.7953 25450 0.5 -
0.7969 25500 0.5 -
0.7984 25550 0.5 -
0.8 25600 0.5 -
0.8016 25650 0.5 -
0.8031 25700 0.5 -
0.8047 25750 0.5 -
0.8063 25800 0.5 -
0.8078 25850 0.5 -
0.8094 25900 0.5 -
0.8109 25950 0.5 -
0.8125 26000 0.5 -
0.8141 26050 0.5 -
0.8156 26100 0.5 -
0.8172 26150 0.5 -
0.8187 26200 0.5 -
0.8203 26250 0.5 -
0.8219 26300 0.5 -
0.8234 26350 0.5 -
0.825 26400 0.5 -
0.8266 26450 0.5 -
0.8281 26500 0.5 -
0.8297 26550 0.5 -
0.8313 26600 0.5 -
0.8328 26650 0.5 -
0.8344 26700 0.5 -
0.8359 26750 0.5 -
0.8375 26800 0.5 -
0.8391 26850 0.5 -
0.8406 26900 0.5 -
0.8422 26950 0.5 -
0.8438 27000 0.5 -
0.8453 27050 0.5 -
0.8469 27100 0.5 -
0.8484 27150 0.5 -
0.85 27200 0.5 -
0.8516 27250 0.5 -
0.8531 27300 0.5 -
0.8547 27350 0.5 -
0.8562 27400 0.5 -
0.8578 27450 0.5 -
0.8594 27500 0.5 -
0.8609 27550 0.5 -
0.8625 27600 0.5 -
0.8641 27650 0.5 -
0.8656 27700 0.5 -
0.8672 27750 0.5 -
0.8688 27800 0.5 -
0.8703 27850 0.5 -
0.8719 27900 0.5 -
0.8734 27950 0.5 -
0.875 28000 0.5 -
0.8766 28050 0.5 -
0.8781 28100 0.5 -
0.8797 28150 0.5 -
0.8812 28200 0.5 -
0.8828 28250 0.5 -
0.8844 28300 0.5 -
0.8859 28350 0.5 -
0.8875 28400 0.5 -
0.8891 28450 0.5 -
0.8906 28500 0.5 -
0.8922 28550 0.5 -
0.8938 28600 0.5 -
0.8953 28650 0.5 -
0.8969 28700 0.5 -
0.8984 28750 0.5 -
0.9 28800 0.5 -
0.9016 28850 0.5 -
0.9031 28900 0.5 -
0.9047 28950 0.5 -
0.9062 29000 0.5 -
0.9078 29050 0.5 -
0.9094 29100 0.5 -
0.9109 29150 0.5 -
0.9125 29200 0.5 -
0.9141 29250 0.5 -
0.9156 29300 0.5 -
0.9172 29350 0.5 -
0.9187 29400 0.5 -
0.9203 29450 0.5 -
0.9219 29500 0.5 -
0.9234 29550 0.5 -
0.925 29600 0.5 -
0.9266 29650 0.5 -
0.9281 29700 0.5 -
0.9297 29750 0.5 -
0.9313 29800 0.5 -
0.9328 29850 0.5 -
0.9344 29900 0.5 -
0.9359 29950 0.5 -
0.9375 30000 0.5 0.5
0.9391 30050 0.5 -
0.9406 30100 0.5 -
0.9422 30150 0.5 -
0.9437 30200 0.5 -
0.9453 30250 0.5 -
0.9469 30300 0.5 -
0.9484 30350 0.5 -
0.95 30400 0.5 -
0.9516 30450 0.5 -
0.9531 30500 0.5 -
0.9547 30550 0.5 -
0.9563 30600 0.5 -
0.9578 30650 0.5 -
0.9594 30700 0.5 -
0.9609 30750 0.5 -
0.9625 30800 0.5 -
0.9641 30850 0.5 -
0.9656 30900 0.5 -
0.9672 30950 0.5 -
0.9688 31000 0.5 -
0.9703 31050 0.5 -
0.9719 31100 0.5 -
0.9734 31150 0.5 -
0.975 31200 0.5 -
0.9766 31250 0.5 -
0.9781 31300 0.5 -
0.9797 31350 0.5 -
0.9812 31400 0.5 -
0.9828 31450 0.5 -
0.9844 31500 0.5 -
0.9859 31550 0.5 -
0.9875 31600 0.5 -
0.9891 31650 0.5 -
0.9906 31700 0.5 -
0.9922 31750 0.5 -
0.9938 31800 0.5 -
0.9953 31850 0.5 -
0.9969 31900 0.5 -
0.9984 31950 0.5 -
1.0 32000 0.5 -

Framework Versions

  • Python: 3.11.0
  • SetFit: 1.0.3
  • Sentence Transformers: 2.3.0
  • Transformers: 4.37.2
  • PyTorch: 2.2.1+cu121
  • Datasets: 2.16.1
  • Tokenizers: 0.15.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}
Downloads last month
7
Safetensors
Model size
109M params
Tensor type
F32
·

Finetuned from

Evaluation results