joshuasundance's picture
Update README.md
b787fd3 verified
metadata
library_name: setfit
tags:
  - mtg
  - multilabel
  - magic
  - setfit
  - sentence-transformers
  - text-classification
  - generated_from_setfit_trainer
metrics:
  - accuracy
widget:
  - text: >-
      Stoic Farmer


      When Stoic Farmer enters the battlefield, search your library for a basic
      Plains card and reveal it. If an opponent controls more lands than you,
      put it onto the battlefield tapped. Otherwise put it into your hand. Then
      shuffle.

      Foretell {1}{W} (During your turn, you may pay {2} and exile this card
      from your hand face down. Cast it on a later turn for its foretell cost.)
  - text: |-
      Hibernation Sliver

      All Slivers have "Pay 2 life: Return this permanent to its owner's hand."
  - text: |-
      Scattershot Archer

      {T}: Scattershot Archer deals 1 damage to each creature with flying.
  - text: |-
      Seize the Initiative

      Target creature gets +1/+1 and gains first strike until end of turn.
  - text: >-
      Voldaren Duelist


      Haste

      When Voldaren Duelist enters the battlefield, target creature can't block
      this turn.
pipeline_tag: text-classification
inference: false
base_model: sentence-transformers/paraphrase-mpnet-base-v2
model-index:
  - name: SetFit with sentence-transformers/paraphrase-mpnet-base-v2
    results:
      - task:
          type: text-classification
          name: Text Classification
        dataset:
          name: mtg-coloridentity-multilabel-classification
          type: joshuasundance/mtg-coloridentity-multilabel-classification
          split: test
        metrics:
          - type: accuracy
            value: 0.7145687016027372
            name: Accuracy
license: mit
datasets:
  - joshuasundance/mtg-coloridentity-multilabel-classification
language:
  - en

This is a proof-of-concept model trained on datasets/joshuasundance/mtg-coloridentity-multilabel-classification.

It takes card name + text as a single str as input and outputs color identity as an encoding:

colors = ['B', 'G', 'R', 'U', 'W']
b = [1, 0, 0, 0, 0]
bw = [1, 0, 0, 0, 1]
gru = [0, 1, 1, 1, 0]
# and so on

SetFit with sentence-transformers/paraphrase-mpnet-base-v2

This is a SetFit model that can be used for Text Classification. This SetFit model uses sentence-transformers/paraphrase-mpnet-base-v2 as the Sentence Transformer embedding model. A OneVsRestClassifier instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

  1. Fine-tuning a Sentence Transformer with contrastive learning.
  2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Sources

Evaluation

Metrics

Label Accuracy
all 0.7146

Classification Report

              precision    recall  f1-score   support

                   0.80      0.77      0.78       594
           B       0.81      0.76      0.78       821
          BG       0.42      0.56      0.48        63
         BGR       0.46      0.55      0.50        22
        BGRU       0.00      0.00      0.00         0
       BGRUW       0.73      0.33      0.46        24
        BGRW       0.00      0.00      0.00         0
         BGU       0.27      0.38      0.32         8
        BGUW       0.12      1.00      0.22         1
         BGW       0.14      0.33      0.19         9
          BR       0.41      0.59      0.48        80
         BRU       0.55      0.50      0.52        24
        BRUW       0.00      0.00      0.00         0
         BRW       0.29      0.36      0.32        14
          BU       0.53      0.56      0.54        91
         BUW       0.29      0.43      0.34        14
          BW       0.36      0.37      0.37        73
           G       0.77      0.76      0.77       791
          GR       0.42      0.46      0.44        85
         GRU       0.14      0.22      0.17         9
        GRUW       0.00      0.00      0.00         0
         GRW       0.27      0.50      0.35        18
          GU       0.48      0.49      0.49        69
         GUW       0.15      0.27      0.20        15
          GW       0.40      0.43      0.41        89
           R       0.81      0.77      0.79       803
          RU       0.43      0.51      0.47        68
         RUW       0.20      0.43      0.27         7
          RW       0.47      0.49      0.48        80
           U       0.83      0.81      0.82       818
          UW       0.37      0.43      0.40        86
           W       0.77      0.72      0.74       777

    accuracy                           0.71      5553
   macro avg       0.40      0.46      0.41      5553
weighted avg       0.73      0.71      0.72      5553

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("joshuasundance/mtg-coloridentity-multilabel-classification")
# Run inference
preds = model("Scattershot Archer

{T}: Scattershot Archer deals 1 damage to each creature with flying.")

Training Details

Training Set Metrics

Training set Min Median Max
Word count 2 27.6981 125

Training Hyperparameters

  • batch_size: (16, 16)
  • num_epochs: (1, 1)
  • max_steps: -1
  • sampling_strategy: oversampling
  • num_iterations: 20
  • body_learning_rate: (2e-05, 2e-05)
  • head_learning_rate: 2e-05
  • loss: CosineSimilarityLoss
  • distance_metric: cosine_distance
  • margin: 0.25
  • end_to_end: False
  • use_amp: False
  • warmup_proportion: 0.1
  • seed: 42
  • eval_max_steps: -1
  • load_best_model_at_end: False

Training Results

Epoch Step Training Loss Validation Loss
0.0000 1 0.2605 -
0.0009 50 0.3223 -
0.0018 100 0.2684 -
0.0027 150 0.2719 -
0.0036 200 0.2633 -
0.0045 250 0.2316 -
0.0054 300 0.2421 -
0.0063 350 0.214 -
0.0072 400 0.2395 -
0.0081 450 0.2538 -
0.0090 500 0.2395 -
0.0099 550 0.2397 -
0.0108 600 0.26 -
0.0117 650 0.2746 -
0.0126 700 0.2475 -
0.0135 750 0.2246 -
0.0144 800 0.2283 -
0.0153 850 0.2298 -
0.0162 900 0.215 -
0.0171 950 0.207 -
0.0180 1000 0.267 -
0.0189 1050 0.2208 -
0.0198 1100 0.279 -
0.0207 1150 0.229 -
0.0216 1200 0.2151 -
0.0225 1250 0.2535 -
0.0234 1300 0.2877 -
0.0243 1350 0.2363 -
0.0252 1400 0.2105 -
0.0261 1450 0.2008 -
0.0270 1500 0.2007 -
0.0279 1550 0.2174 -
0.0288 1600 0.2656 -
0.0297 1650 0.2201 -
0.0306 1700 0.2003 -
0.0315 1750 0.1754 -
0.0324 1800 0.1691 -
0.0333 1850 0.1601 -
0.0342 1900 0.2164 -
0.0351 1950 0.2484 -
0.0360 2000 0.1987 -
0.0369 2050 0.2213 -
0.0378 2100 0.1926 -
0.0387 2150 0.203 -
0.0396 2200 0.3085 -
0.0405 2250 0.1433 -
0.0414 2300 0.2142 -
0.0423 2350 0.2168 -
0.0432 2400 0.1593 -
0.0441 2450 0.1916 -
0.0450 2500 0.2276 -
0.0459 2550 0.1327 -
0.0468 2600 0.2008 -
0.0477 2650 0.176 -
0.0486 2700 0.156 -
0.0495 2750 0.1111 -
0.0504 2800 0.1874 -
0.0513 2850 0.1932 -
0.0522 2900 0.1368 -
0.0531 2950 0.2034 -
0.0540 3000 0.2156 -
0.0549 3050 0.2058 -
0.0558 3100 0.2087 -
0.0567 3150 0.2237 -
0.0576 3200 0.1176 -
0.0585 3250 0.2106 -
0.0594 3300 0.1955 -
0.0603 3350 0.3023 -
0.0612 3400 0.1772 -
0.0621 3450 0.1349 -
0.0630 3500 0.228 -
0.0639 3550 0.1392 -
0.0648 3600 0.2427 -
0.0657 3650 0.1837 -
0.0666 3700 0.1677 -
0.0675 3750 0.1701 -
0.0684 3800 0.1005 -
0.0693 3850 0.1389 -
0.0702 3900 0.1104 -
0.0711 3950 0.1995 -
0.0720 4000 0.1954 -
0.0729 4050 0.2294 -
0.0738 4100 0.2467 -
0.0747 4150 0.1473 -
0.0756 4200 0.2144 -
0.0765 4250 0.2426 -
0.0774 4300 0.117 -
0.0784 4350 0.1414 -
0.0793 4400 0.1858 -
0.0802 4450 0.142 -
0.0811 4500 0.2029 -
0.0820 4550 0.0982 -
0.0829 4600 0.2232 -
0.0838 4650 0.1262 -
0.0847 4700 0.1787 -
0.0856 4750 0.1136 -
0.0865 4800 0.1539 -
0.0874 4850 0.1044 -
0.0883 4900 0.1124 -
0.0892 4950 0.2406 -
0.0901 5000 0.1673 -
0.0910 5050 0.1529 -
0.0919 5100 0.1105 -
0.0928 5150 0.2392 -
0.0937 5200 0.1937 -
0.0946 5250 0.2045 -
0.0955 5300 0.1527 -
0.0964 5350 0.0835 -
0.0973 5400 0.2018 -
0.0982 5450 0.1031 -
0.0991 5500 0.1805 -
0.1000 5550 0.2392 -
0.1009 5600 0.0867 -
0.1018 5650 0.1787 -
0.1027 5700 0.0891 -
0.1036 5750 0.2148 -
0.1045 5800 0.0937 -
0.1054 5850 0.1451 -
0.1063 5900 0.189 -
0.1072 5950 0.1082 -
0.1081 6000 0.2226 -
0.1090 6050 0.1938 -
0.1099 6100 0.1394 -
0.1108 6150 0.2158 -
0.1117 6200 0.142 -
0.1126 6250 0.1007 -
0.1135 6300 0.1545 -
0.1144 6350 0.1162 -
0.1153 6400 0.142 -
0.1162 6450 0.1252 -
0.1171 6500 0.1764 -
0.1180 6550 0.0405 -
0.1189 6600 0.0682 -
0.1198 6650 0.1181 -
0.1207 6700 0.1066 -
0.1216 6750 0.2133 -
0.1225 6800 0.1513 -
0.1234 6850 0.0937 -
0.1243 6900 0.1249 -
0.1252 6950 0.2474 -
0.1261 7000 0.0905 -
0.1270 7050 0.1067 -
0.1279 7100 0.1639 -
0.1288 7150 0.2112 -
0.1297 7200 0.0852 -
0.1306 7250 0.0963 -
0.1315 7300 0.1056 -
0.1324 7350 0.0679 -
0.1333 7400 0.0888 -
0.1342 7450 0.1096 -
0.1351 7500 0.0855 -
0.1360 7550 0.0702 -
0.1369 7600 0.0456 -
0.1378 7650 0.1596 -
0.1387 7700 0.1146 -
0.1396 7750 0.1561 -
0.1405 7800 0.134 -
0.1414 7850 0.1962 -
0.1423 7900 0.1557 -
0.1432 7950 0.1178 -
0.1441 8000 0.142 -
0.1450 8050 0.1368 -
0.1459 8100 0.1537 -
0.1468 8150 0.1454 -
0.1477 8200 0.2237 -
0.1486 8250 0.1172 -
0.1495 8300 0.0987 -
0.1504 8350 0.062 -
0.1513 8400 0.0981 -
0.1522 8450 0.1276 -
0.1531 8500 0.1503 -
0.1540 8550 0.099 -
0.1549 8600 0.1606 -
0.1558 8650 0.1157 -
0.1567 8700 0.0971 -
0.1576 8750 0.1783 -
0.1585 8800 0.0727 -
0.1594 8850 0.0888 -
0.1603 8900 0.1898 -
0.1612 8950 0.1185 -
0.1621 9000 0.1595 -
0.1630 9050 0.1044 -
0.1639 9100 0.1146 -
0.1648 9150 0.1444 -
0.1657 9200 0.0684 -
0.1666 9250 0.0735 -
0.1675 9300 0.0986 -
0.1684 9350 0.1439 -
0.1693 9400 0.0933 -
0.1702 9450 0.1357 -
0.1711 9500 0.0887 -
0.1720 9550 0.1112 -
0.1729 9600 0.0949 -
0.1738 9650 0.0777 -
0.1747 9700 0.0964 -
0.1756 9750 0.1507 -
0.1765 9800 0.0949 -
0.1774 9850 0.0218 -
0.1783 9900 0.0985 -
0.1792 9950 0.0662 -
0.1801 10000 0.1998 -
0.1810 10050 0.0385 -
0.1819 10100 0.0991 -
0.1828 10150 0.1084 -
0.1837 10200 0.0837 -
0.1846 10250 0.1003 -
0.1855 10300 0.1278 -
0.1864 10350 0.1085 -
0.1873 10400 0.093 -
0.1882 10450 0.0794 -
0.1891 10500 0.1013 -
0.1900 10550 0.0605 -
0.1909 10600 0.1076 -
0.1918 10650 0.2 -
0.1927 10700 0.2024 -
0.1936 10750 0.1346 -
0.1945 10800 0.0548 -
0.1954 10850 0.0828 -
0.1963 10900 0.0776 -
0.1972 10950 0.0694 -
0.1981 11000 0.1473 -
0.1990 11050 0.1222 -
0.1999 11100 0.0889 -
0.2008 11150 0.1062 -
0.2017 11200 0.1663 -
0.2026 11250 0.1587 -
0.2035 11300 0.1054 -
0.2044 11350 0.0915 -
0.2053 11400 0.0517 -
0.2062 11450 0.0782 -
0.2071 11500 0.1826 -
0.2080 11550 0.1524 -
0.2089 11600 0.1023 -
0.2098 11650 0.1056 -
0.2107 11700 0.1251 -
0.2116 11750 0.0895 -
0.2125 11800 0.1104 -
0.2134 11850 0.0762 -
0.2143 11900 0.1532 -
0.2152 11950 0.0941 -
0.2161 12000 0.1207 -
0.2170 12050 0.0839 -
0.2179 12100 0.0431 -
0.2188 12150 0.1572 -
0.2197 12200 0.0717 -
0.2206 12250 0.1244 -
0.2215 12300 0.1261 -
0.2224 12350 0.0732 -
0.2233 12400 0.1829 -
0.2242 12450 0.1142 -
0.2251 12500 0.0272 -
0.2260 12550 0.1645 -
0.2269 12600 0.0775 -
0.2278 12650 0.1358 -
0.2287 12700 0.0485 -
0.2296 12750 0.1348 -
0.2305 12800 0.1387 -
0.2314 12850 0.0783 -
0.2323 12900 0.0713 -
0.2332 12950 0.0838 -
0.2341 13000 0.1496 -
0.2351 13050 0.0463 -
0.2360 13100 0.0665 -
0.2369 13150 0.0149 -
0.2378 13200 0.0744 -
0.2387 13250 0.0411 -
0.2396 13300 0.1816 -
0.2405 13350 0.0956 -
0.2414 13400 0.1163 -
0.2423 13450 0.1136 -
0.2432 13500 0.116 -
0.2441 13550 0.0997 -
0.2450 13600 0.0649 -
0.2459 13650 0.0291 -
0.2468 13700 0.1282 -
0.2477 13750 0.0576 -
0.2486 13800 0.0891 -
0.2495 13850 0.0872 -
0.2504 13900 0.0606 -
0.2513 13950 0.0508 -
0.2522 14000 0.0457 -
0.2531 14050 0.0656 -
0.2540 14100 0.0936 -
0.2549 14150 0.0739 -
0.2558 14200 0.0941 -
0.2567 14250 0.1054 -
0.2576 14300 0.1083 -
0.2585 14350 0.0662 -
0.2594 14400 0.1149 -
0.2603 14450 0.1683 -
0.2612 14500 0.0796 -
0.2621 14550 0.0439 -
0.2630 14600 0.027 -
0.2639 14650 0.0666 -
0.2648 14700 0.041 -
0.2657 14750 0.0915 -
0.2666 14800 0.0678 -
0.2675 14850 0.1054 -
0.2684 14900 0.051 -
0.2693 14950 0.1416 -
0.2702 15000 0.0569 -
0.2711 15050 0.0851 -
0.2720 15100 0.065 -
0.2729 15150 0.0199 -
0.2738 15200 0.0837 -
0.2747 15250 0.0828 -
0.2756 15300 0.1139 -
0.2765 15350 0.1072 -
0.2774 15400 0.1733 -
0.2783 15450 0.1137 -
0.2792 15500 0.0504 -
0.2801 15550 0.0513 -
0.2810 15600 0.0579 -
0.2819 15650 0.0765 -
0.2828 15700 0.0466 -
0.2837 15750 0.0887 -
0.2846 15800 0.0741 -
0.2855 15850 0.0617 -
0.2864 15900 0.0368 -
0.2873 15950 0.0632 -
0.2882 16000 0.062 -
0.2891 16050 0.0413 -
0.2900 16100 0.0347 -
0.2909 16150 0.1019 -
0.2918 16200 0.0846 -
0.2927 16250 0.0714 -
0.2936 16300 0.0389 -
0.2945 16350 0.0514 -
0.2954 16400 0.1095 -
0.2963 16450 0.0753 -
0.2972 16500 0.0648 -
0.2981 16550 0.062 -
0.2990 16600 0.065 -
0.2999 16650 0.1014 -
0.3008 16700 0.037 -
0.3017 16750 0.1058 -
0.3026 16800 0.1038 -
0.3035 16850 0.0733 -
0.3044 16900 0.0791 -
0.3053 16950 0.1121 -
0.3062 17000 0.1084 -
0.3071 17050 0.0496 -
0.3080 17100 0.0733 -
0.3089 17150 0.0379 -
0.3098 17200 0.0448 -
0.3107 17250 0.1056 -
0.3116 17300 0.0687 -
0.3125 17350 0.0245 -
0.3134 17400 0.0584 -
0.3143 17450 0.0946 -
0.3152 17500 0.0857 -
0.3161 17550 0.1144 -
0.3170 17600 0.1119 -
0.3179 17650 0.1323 -
0.3188 17700 0.1026 -
0.3197 17750 0.0933 -
0.3206 17800 0.0671 -
0.3215 17850 0.0132 -
0.3224 17900 0.0611 -
0.3233 17950 0.056 -
0.3242 18000 0.0329 -
0.3251 18050 0.0358 -
0.3260 18100 0.1389 -
0.3269 18150 0.0653 -
0.3278 18200 0.0438 -
0.3287 18250 0.0612 -
0.3296 18300 0.1245 -
0.3305 18350 0.1018 -
0.3314 18400 0.082 -
0.3323 18450 0.0577 -
0.3332 18500 0.1349 -
0.3341 18550 0.0871 -
0.3350 18600 0.0525 -
0.3359 18650 0.0551 -
0.3368 18700 0.046 -
0.3377 18750 0.1323 -
0.3386 18800 0.147 -
0.3395 18850 0.045 -
0.3404 18900 0.027 -
0.3413 18950 0.1375 -
0.3422 19000 0.0569 -
0.3431 19050 0.0454 -
0.3440 19100 0.1545 -
0.3449 19150 0.0703 -
0.3458 19200 0.0434 -
0.3467 19250 0.0133 -
0.3476 19300 0.095 -
0.3485 19350 0.0344 -
0.3494 19400 0.0449 -
0.3503 19450 0.1665 -
0.3512 19500 0.0521 -
0.3521 19550 0.0844 -
0.3530 19600 0.1029 -
0.3539 19650 0.0858 -
0.3548 19700 0.1014 -
0.3557 19750 0.076 -
0.3566 19800 0.0882 -
0.3575 19850 0.1332 -
0.3584 19900 0.0877 -
0.3593 19950 0.0531 -
0.3602 20000 0.0796 -
0.3611 20050 0.0783 -
0.3620 20100 0.044 -
0.3629 20150 0.182 -
0.3638 20200 0.0672 -
0.3647 20250 0.0571 -
0.3656 20300 0.0452 -
0.3665 20350 0.0693 -
0.3674 20400 0.087 -
0.3683 20450 0.0594 -
0.3692 20500 0.0791 -
0.3701 20550 0.0546 -
0.3710 20600 0.1234 -
0.3719 20650 0.0592 -
0.3728 20700 0.0462 -
0.3737 20750 0.064 -
0.3746 20800 0.0991 -
0.3755 20850 0.0322 -
0.3764 20900 0.0624 -
0.3773 20950 0.0522 -
0.3782 21000 0.0826 -
0.3791 21050 0.0962 -
0.3800 21100 0.0556 -
0.3809 21150 0.0287 -
0.3818 21200 0.0798 -
0.3827 21250 0.0722 -
0.3836 21300 0.0784 -
0.3845 21350 0.0558 -
0.3854 21400 0.0405 -
0.3863 21450 0.1242 -
0.3872 21500 0.1275 -
0.3881 21550 0.0679 -
0.3890 21600 0.05 -
0.3899 21650 0.0593 -
0.3909 21700 0.1064 -
0.3918 21750 0.1139 -
0.3927 21800 0.1437 -
0.3936 21850 0.1023 -
0.3945 21900 0.0259 -
0.3954 21950 0.0481 -
0.3963 22000 0.0358 -
0.3972 22050 0.0236 -
0.3981 22100 0.0573 -
0.3990 22150 0.123 -
0.3999 22200 0.0783 -
0.4008 22250 0.0661 -
0.4017 22300 0.0598 -
0.4026 22350 0.0387 -
0.4035 22400 0.0347 -
0.4044 22450 0.0271 -
0.4053 22500 0.0532 -
0.4062 22550 0.0515 -
0.4071 22600 0.0416 -
0.4080 22650 0.0912 -
0.4089 22700 0.0275 -
0.4098 22750 0.1205 -
0.4107 22800 0.025 -
0.4116 22850 0.0827 -
0.4125 22900 0.1313 -
0.4134 22950 0.0709 -
0.4143 23000 0.045 -
0.4152 23050 0.07 -
0.4161 23100 0.1394 -
0.4170 23150 0.0125 -
0.4179 23200 0.0982 -
0.4188 23250 0.0595 -
0.4197 23300 0.1046 -
0.4206 23350 0.0363 -
0.4215 23400 0.0789 -
0.4224 23450 0.0477 -
0.4233 23500 0.1119 -
0.4242 23550 0.0854 -
0.4251 23600 0.0811 -
0.4260 23650 0.0482 -
0.4269 23700 0.0241 -
0.4278 23750 0.0508 -
0.4287 23800 0.0437 -
0.4296 23850 0.1025 -
0.4305 23900 0.0857 -
0.4314 23950 0.0242 -
0.4323 24000 0.0993 -
0.4332 24050 0.0426 -
0.4341 24100 0.0259 -
0.4350 24150 0.0612 -
0.4359 24200 0.0604 -
0.4368 24250 0.0838 -
0.4377 24300 0.1664 -
0.4386 24350 0.0614 -
0.4395 24400 0.0525 -
0.4404 24450 0.036 -
0.4413 24500 0.0293 -
0.4422 24550 0.0181 -
0.4431 24600 0.0901 -
0.4440 24650 0.0812 -
0.4449 24700 0.0439 -
0.4458 24750 0.1715 -
0.4467 24800 0.0555 -
0.4476 24850 0.0177 -
0.4485 24900 0.0253 -
0.4494 24950 0.1183 -
0.4503 25000 0.0599 -
0.4512 25050 0.0783 -
0.4521 25100 0.0889 -
0.4530 25150 0.0186 -
0.4539 25200 0.075 -
0.4548 25250 0.03 -
0.4557 25300 0.0311 -
0.4566 25350 0.0826 -
0.4575 25400 0.0406 -
0.4584 25450 0.0672 -
0.4593 25500 0.0872 -
0.4602 25550 0.1159 -
0.4611 25600 0.0405 -
0.4620 25650 0.0318 -
0.4629 25700 0.075 -
0.4638 25750 0.0533 -
0.4647 25800 0.0498 -
0.4656 25850 0.0694 -
0.4665 25900 0.0394 -
0.4674 25950 0.1791 -
0.4683 26000 0.0315 -
0.4692 26050 0.0277 -
0.4701 26100 0.0447 -
0.4710 26150 0.059 -
0.4719 26200 0.0787 -
0.4728 26250 0.0743 -
0.4737 26300 0.0304 -
0.4746 26350 0.0507 -
0.4755 26400 0.0389 -
0.4764 26450 0.0399 -
0.4773 26500 0.0201 -
0.4782 26550 0.0423 -
0.4791 26600 0.0408 -
0.4800 26650 0.0329 -
0.4809 26700 0.0288 -
0.4818 26750 0.1072 -
0.4827 26800 0.1211 -
0.4836 26850 0.0531 -
0.4845 26900 0.0967 -
0.4854 26950 0.0188 -
0.4863 27000 0.0868 -
0.4872 27050 0.1007 -
0.4881 27100 0.0375 -
0.4890 27150 0.0529 -
0.4899 27200 0.0422 -
0.4908 27250 0.0391 -
0.4917 27300 0.0221 -
0.4926 27350 0.1447 -
0.4935 27400 0.0505 -
0.4944 27450 0.1414 -
0.4953 27500 0.0798 -
0.4962 27550 0.0375 -
0.4971 27600 0.0603 -
0.4980 27650 0.1289 -
0.4989 27700 0.0574 -
0.4998 27750 0.0957 -
0.5007 27800 0.0799 -
0.5016 27850 0.0755 -
0.5025 27900 0.0888 -
0.5034 27950 0.0168 -
0.5043 28000 0.0764 -
0.5052 28050 0.0392 -
0.5061 28100 0.0383 -
0.5070 28150 0.0313 -
0.5079 28200 0.0074 -
0.5088 28250 0.091 -
0.5097 28300 0.0608 -
0.5106 28350 0.0332 -
0.5115 28400 0.0997 -
0.5124 28450 0.0805 -
0.5133 28500 0.0378 -
0.5142 28550 0.08 -
0.5151 28600 0.0394 -
0.5160 28650 0.0712 -
0.5169 28700 0.0284 -
0.5178 28750 0.0301 -
0.5187 28800 0.1545 -
0.5196 28850 0.0546 -
0.5205 28900 0.0302 -
0.5214 28950 0.0518 -
0.5223 29000 0.0488 -
0.5232 29050 0.091 -
0.5241 29100 0.0989 -
0.5250 29150 0.0481 -
0.5259 29200 0.1095 -
0.5268 29250 0.0343 -
0.5277 29300 0.0334 -
0.5286 29350 0.0449 -
0.5295 29400 0.064 -
0.5304 29450 0.0749 -
0.5313 29500 0.0084 -
0.5322 29550 0.0247 -
0.5331 29600 0.0204 -
0.5340 29650 0.0369 -
0.5349 29700 0.0921 -
0.5358 29750 0.0607 -
0.5367 29800 0.0384 -
0.5376 29850 0.0867 -
0.5385 29900 0.1473 -
0.5394 29950 0.0606 -
0.5403 30000 0.0799 -
0.5412 30050 0.0747 -
0.5421 30100 0.0769 -
0.5430 30150 0.0244 -
0.5439 30200 0.0641 -
0.5448 30250 0.0333 -
0.5457 30300 0.0245 -
0.5466 30350 0.0185 -
0.5476 30400 0.0478 -
0.5485 30450 0.0846 -
0.5494 30500 0.068 -
0.5503 30550 0.0687 -
0.5512 30600 0.0521 -
0.5521 30650 0.0592 -
0.5530 30700 0.0493 -
0.5539 30750 0.035 -
0.5548 30800 0.0773 -
0.5557 30850 0.0627 -
0.5566 30900 0.0299 -
0.5575 30950 0.0815 -
0.5584 31000 0.0207 -
0.5593 31050 0.0339 -
0.5602 31100 0.0205 -
0.5611 31150 0.0559 -
0.5620 31200 0.0605 -
0.5629 31250 0.0251 -
0.5638 31300 0.0905 -
0.5647 31350 0.0185 -
0.5656 31400 0.0461 -
0.5665 31450 0.0444 -
0.5674 31500 0.0465 -
0.5683 31550 0.0194 -
0.5692 31600 0.0353 -
0.5701 31650 0.0668 -
0.5710 31700 0.0831 -
0.5719 31750 0.0845 -
0.5728 31800 0.0525 -
0.5737 31850 0.0418 -
0.5746 31900 0.0239 -
0.5755 31950 0.0667 -
0.5764 32000 0.0419 -
0.5773 32050 0.1183 -
0.5782 32100 0.0358 -
0.5791 32150 0.0341 -
0.5800 32200 0.0462 -
0.5809 32250 0.0119 -
0.5818 32300 0.0309 -
0.5827 32350 0.0614 -
0.5836 32400 0.0688 -
0.5845 32450 0.0242 -
0.5854 32500 0.0384 -
0.5863 32550 0.0764 -
0.5872 32600 0.0512 -
0.5881 32650 0.0545 -
0.5890 32700 0.0515 -
0.5899 32750 0.0905 -
0.5908 32800 0.0266 -
0.5917 32850 0.1118 -
0.5926 32900 0.0393 -
0.5935 32950 0.0172 -
0.5944 33000 0.0303 -
0.5953 33050 0.0523 -
0.5962 33100 0.0153 -
0.5971 33150 0.0347 -
0.5980 33200 0.0144 -
0.5989 33250 0.0826 -
0.5998 33300 0.0194 -
0.6007 33350 0.031 -
0.6016 33400 0.1032 -
0.6025 33450 0.0865 -
0.6034 33500 0.0175 -
0.6043 33550 0.0785 -
0.6052 33600 0.0645 -
0.6061 33650 0.012 -
0.6070 33700 0.0237 -
0.6079 33750 0.0527 -
0.6088 33800 0.0375 -
0.6097 33850 0.0727 -
0.6106 33900 0.0764 -
0.6115 33950 0.0447 -
0.6124 34000 0.0358 -
0.6133 34050 0.0762 -
0.6142 34100 0.0306 -
0.6151 34150 0.0431 -
0.6160 34200 0.0256 -
0.6169 34250 0.0894 -
0.6178 34300 0.0297 -
0.6187 34350 0.0495 -
0.6196 34400 0.0394 -
0.6205 34450 0.0689 -
0.6214 34500 0.0224 -
0.6223 34550 0.0248 -
0.6232 34600 0.0587 -
0.6241 34650 0.0585 -
0.625 34700 0.0279 -
0.6259 34750 0.0267 -
0.6268 34800 0.0182 -
0.6277 34850 0.0422 -
0.6286 34900 0.0166 -
0.6295 34950 0.0246 -
0.6304 35000 0.0248 -
0.6313 35050 0.0902 -
0.6322 35100 0.0309 -
0.6331 35150 0.0705 -
0.6340 35200 0.0507 -
0.6349 35250 0.019 -
0.6358 35300 0.0947 -
0.6367 35350 0.0226 -
0.6376 35400 0.0534 -
0.6385 35450 0.0607 -
0.6394 35500 0.0208 -
0.6403 35550 0.0198 -
0.6412 35600 0.0298 -
0.6421 35650 0.0191 -
0.6430 35700 0.0589 -
0.6439 35750 0.0909 -
0.6448 35800 0.0829 -
0.6457 35850 0.055 -
0.6466 35900 0.0188 -
0.6475 35950 0.033 -
0.6484 36000 0.0617 -
0.6493 36050 0.0374 -
0.6502 36100 0.0481 -
0.6511 36150 0.034 -
0.6520 36200 0.1183 -
0.6529 36250 0.0265 -
0.6538 36300 0.0413 -
0.6547 36350 0.0232 -
0.6556 36400 0.0244 -
0.6565 36450 0.0452 -
0.6574 36500 0.072 -
0.6583 36550 0.0216 -
0.6592 36600 0.0383 -
0.6601 36650 0.0625 -
0.6610 36700 0.0875 -
0.6619 36750 0.1208 -
0.6628 36800 0.0431 -
0.6637 36850 0.025 -
0.6646 36900 0.056 -
0.6655 36950 0.0399 -
0.6664 37000 0.0521 -
0.6673 37050 0.0415 -
0.6682 37100 0.1265 -
0.6691 37150 0.022 -
0.6700 37200 0.0395 -
0.6709 37250 0.0759 -
0.6718 37300 0.0428 -
0.6727 37350 0.0304 -
0.6736 37400 0.0203 -
0.6745 37450 0.0484 -
0.6754 37500 0.0384 -
0.6763 37550 0.0548 -
0.6772 37600 0.0346 -
0.6781 37650 0.0284 -
0.6790 37700 0.0247 -
0.6799 37750 0.0497 -
0.6808 37800 0.0796 -
0.6817 37850 0.0603 -
0.6826 37900 0.0381 -
0.6835 37950 0.0292 -
0.6844 38000 0.0295 -
0.6853 38050 0.0312 -
0.6862 38100 0.056 -
0.6871 38150 0.0198 -
0.6880 38200 0.0648 -
0.6889 38250 0.0529 -
0.6898 38300 0.018 -
0.6907 38350 0.0837 -
0.6916 38400 0.0366 -
0.6925 38450 0.0216 -
0.6934 38500 0.0436 -
0.6943 38550 0.0211 -
0.6952 38600 0.0532 -
0.6961 38650 0.0468 -
0.6970 38700 0.1161 -
0.6979 38750 0.073 -
0.6988 38800 0.0201 -
0.6997 38850 0.1307 -
0.7006 38900 0.0281 -
0.7015 38950 0.0891 -
0.7024 39000 0.0204 -
0.7034 39050 0.0363 -
0.7043 39100 0.0551 -
0.7052 39150 0.0213 -
0.7061 39200 0.139 -
0.7070 39250 0.013 -
0.7079 39300 0.024 -
0.7088 39350 0.071 -
0.7097 39400 0.026 -
0.7106 39450 0.0294 -
0.7115 39500 0.0245 -
0.7124 39550 0.011 -
0.7133 39600 0.0099 -
0.7142 39650 0.0829 -
0.7151 39700 0.0637 -
0.7160 39750 0.0109 -
0.7169 39800 0.0113 -
0.7178 39850 0.0297 -
0.7187 39900 0.0291 -
0.7196 39950 0.0526 -
0.7205 40000 0.0339 -
0.7214 40050 0.09 -
0.7223 40100 0.0565 -
0.7232 40150 0.0435 -
0.7241 40200 0.0218 -
0.7250 40250 0.032 -
0.7259 40300 0.1011 -
0.7268 40350 0.0334 -
0.7277 40400 0.0363 -
0.7286 40450 0.065 -
0.7295 40500 0.0408 -
0.7304 40550 0.0229 -
0.7313 40600 0.07 -
0.7322 40650 0.0315 -
0.7331 40700 0.0406 -
0.7340 40750 0.0151 -
0.7349 40800 0.0399 -
0.7358 40850 0.0399 -
0.7367 40900 0.0201 -
0.7376 40950 0.0402 -
0.7385 41000 0.0957 -
0.7394 41050 0.0271 -
0.7403 41100 0.0341 -
0.7412 41150 0.0572 -
0.7421 41200 0.0389 -
0.7430 41250 0.0319 -
0.7439 41300 0.0262 -
0.7448 41350 0.0809 -
0.7457 41400 0.0208 -
0.7466 41450 0.0423 -
0.7475 41500 0.0673 -
0.7484 41550 0.025 -
0.7493 41600 0.0764 -
0.7502 41650 0.0293 -
0.7511 41700 0.0545 -
0.7520 41750 0.0219 -
0.7529 41800 0.0119 -
0.7538 41850 0.08 -
0.7547 41900 0.0286 -
0.7556 41950 0.0307 -
0.7565 42000 0.0433 -
0.7574 42050 0.0518 -
0.7583 42100 0.0372 -
0.7592 42150 0.0542 -
0.7601 42200 0.0254 -
0.7610 42250 0.0604 -
0.7619 42300 0.029 -
0.7628 42350 0.0263 -
0.7637 42400 0.0317 -
0.7646 42450 0.0903 -
0.7655 42500 0.0277 -
0.7664 42550 0.0662 -
0.7673 42600 0.0205 -
0.7682 42650 0.0191 -
0.7691 42700 0.0866 -
0.7700 42750 0.0482 -
0.7709 42800 0.0391 -
0.7718 42850 0.0584 -
0.7727 42900 0.035 -
0.7736 42950 0.0393 -
0.7745 43000 0.0168 -
0.7754 43050 0.0522 -
0.7763 43100 0.0178 -
0.7772 43150 0.0961 -
0.7781 43200 0.0343 -
0.7790 43250 0.0251 -
0.7799 43300 0.019 -
0.7808 43350 0.0511 -
0.7817 43400 0.0326 -
0.7826 43450 0.0327 -
0.7835 43500 0.0951 -
0.7844 43550 0.0726 -
0.7853 43600 0.0562 -
0.7862 43650 0.0473 -
0.7871 43700 0.0116 -
0.7880 43750 0.0501 -
0.7889 43800 0.0672 -
0.7898 43850 0.0669 -
0.7907 43900 0.0623 -
0.7916 43950 0.0303 -
0.7925 44000 0.0651 -
0.7934 44050 0.0419 -
0.7943 44100 0.0671 -
0.7952 44150 0.1371 -
0.7961 44200 0.0345 -
0.7970 44250 0.0543 -
0.7979 44300 0.0438 -
0.7988 44350 0.0365 -
0.7997 44400 0.0504 -
0.8006 44450 0.0388 -
0.8015 44500 0.0135 -
0.8024 44550 0.0912 -
0.8033 44600 0.0565 -
0.8042 44650 0.0357 -
0.8051 44700 0.0879 -
0.8060 44750 0.0191 -
0.8069 44800 0.0293 -
0.8078 44850 0.0655 -
0.8087 44900 0.0092 -
0.8096 44950 0.0548 -
0.8105 45000 0.0355 -
0.8114 45050 0.0195 -
0.8123 45100 0.0484 -
0.8132 45150 0.0788 -
0.8141 45200 0.0342 -
0.8150 45250 0.0424 -
0.8159 45300 0.0346 -
0.8168 45350 0.0562 -
0.8177 45400 0.033 -
0.8186 45450 0.0591 -
0.8195 45500 0.0369 -
0.8204 45550 0.0693 -
0.8213 45600 0.052 -
0.8222 45650 0.0387 -
0.8231 45700 0.0391 -
0.8240 45750 0.0498 -
0.8249 45800 0.0262 -
0.8258 45850 0.0079 -
0.8267 45900 0.0333 -
0.8276 45950 0.0521 -
0.8285 46000 0.0607 -
0.8294 46050 0.0246 -
0.8303 46100 0.0308 -
0.8312 46150 0.0422 -
0.8321 46200 0.0277 -
0.8330 46250 0.0268 -
0.8339 46300 0.0896 -
0.8348 46350 0.0268 -
0.8357 46400 0.0271 -
0.8366 46450 0.0291 -
0.8375 46500 0.0663 -
0.8384 46550 0.0388 -
0.8393 46600 0.0205 -
0.8402 46650 0.0269 -
0.8411 46700 0.0197 -
0.8420 46750 0.0493 -
0.8429 46800 0.0345 -
0.8438 46850 0.0901 -
0.8447 46900 0.0237 -
0.8456 46950 0.056 -
0.8465 47000 0.0556 -
0.8474 47050 0.0489 -
0.8483 47100 0.0136 -
0.8492 47150 0.0974 -
0.8501 47200 0.0354 -
0.8510 47250 0.0453 -
0.8519 47300 0.0891 -
0.8528 47350 0.0185 -
0.8537 47400 0.0479 -
0.8546 47450 0.0286 -
0.8555 47500 0.0528 -
0.8564 47550 0.0334 -
0.8573 47600 0.0105 -
0.8582 47650 0.0613 -
0.8591 47700 0.0345 -
0.8601 47750 0.0449 -
0.8610 47800 0.0179 -
0.8619 47850 0.0156 -
0.8628 47900 0.084 -
0.8637 47950 0.0233 -
0.8646 48000 0.0281 -
0.8655 48050 0.0667 -
0.8664 48100 0.0132 -
0.8673 48150 0.0301 -
0.8682 48200 0.081 -
0.8691 48250 0.017 -
0.8700 48300 0.0418 -
0.8709 48350 0.013 -
0.8718 48400 0.0473 -
0.8727 48450 0.0731 -
0.8736 48500 0.0182 -
0.8745 48550 0.0225 -
0.8754 48600 0.0722 -
0.8763 48650 0.0131 -
0.8772 48700 0.0436 -
0.8781 48750 0.0292 -
0.8790 48800 0.0418 -
0.8799 48850 0.0906 -
0.8808 48900 0.0498 -
0.8817 48950 0.013 -
0.8826 49000 0.0422 -
0.8835 49050 0.0359 -
0.8844 49100 0.0317 -
0.8853 49150 0.0461 -
0.8862 49200 0.0407 -
0.8871 49250 0.0392 -
0.8880 49300 0.0622 -
0.8889 49350 0.017 -
0.8898 49400 0.0471 -
0.8907 49450 0.0465 -
0.8916 49500 0.0242 -
0.8925 49550 0.0532 -
0.8934 49600 0.0481 -
0.8943 49650 0.0628 -
0.8952 49700 0.0281 -
0.8961 49750 0.0136 -
0.8970 49800 0.0656 -
0.8979 49850 0.0182 -
0.8988 49900 0.0519 -
0.8997 49950 0.0207 -
0.9006 50000 0.0377 -
0.9015 50050 0.0552 -
0.9024 50100 0.0195 -
0.9033 50150 0.03 -
0.9042 50200 0.0568 -
0.9051 50250 0.0388 -
0.9060 50300 0.0445 -
0.9069 50350 0.0461 -
0.9078 50400 0.0299 -
0.9087 50450 0.0173 -
0.9096 50500 0.0908 -
0.9105 50550 0.0524 -
0.9114 50600 0.0241 -
0.9123 50650 0.051 -
0.9132 50700 0.0114 -
0.9141 50750 0.0379 -
0.9150 50800 0.0909 -
0.9159 50850 0.1076 -
0.9168 50900 0.0346 -
0.9177 50950 0.0319 -
0.9186 51000 0.0186 -
0.9195 51050 0.0397 -
0.9204 51100 0.046 -
0.9213 51150 0.0412 -
0.9222 51200 0.0147 -
0.9231 51250 0.0262 -
0.9240 51300 0.0552 -
0.9249 51350 0.0545 -
0.9258 51400 0.0402 -
0.9267 51450 0.0603 -
0.9276 51500 0.0343 -
0.9285 51550 0.0267 -
0.9294 51600 0.0439 -
0.9303 51650 0.0317 -
0.9312 51700 0.0108 -
0.9321 51750 0.0439 -
0.9330 51800 0.0365 -
0.9339 51850 0.0305 -
0.9348 51900 0.0228 -
0.9357 51950 0.0204 -
0.9366 52000 0.0433 -
0.9375 52050 0.018 -
0.9384 52100 0.1014 -
0.9393 52150 0.0442 -
0.9402 52200 0.014 -
0.9411 52250 0.0527 -
0.9420 52300 0.0263 -
0.9429 52350 0.0219 -
0.9438 52400 0.0251 -
0.9447 52450 0.0446 -
0.9456 52500 0.0231 -
0.9465 52550 0.0406 -
0.9474 52600 0.0201 -
0.9483 52650 0.0399 -
0.9492 52700 0.0633 -
0.9501 52750 0.0375 -
0.9510 52800 0.0862 -
0.9519 52850 0.0443 -
0.9528 52900 0.0219 -
0.9537 52950 0.0335 -
0.9546 53000 0.05 -
0.9555 53050 0.0529 -
0.9564 53100 0.0495 -
0.9573 53150 0.0219 -
0.9582 53200 0.0519 -
0.9591 53250 0.0272 -
0.9600 53300 0.0189 -
0.9609 53350 0.0257 -
0.9618 53400 0.0401 -
0.9627 53450 0.0426 -
0.9636 53500 0.0168 -
0.9645 53550 0.0358 -
0.9654 53600 0.0279 -
0.9663 53650 0.0133 -
0.9672 53700 0.0257 -
0.9681 53750 0.0344 -
0.9690 53800 0.0718 -
0.9699 53850 0.045 -
0.9708 53900 0.0287 -
0.9717 53950 0.0448 -
0.9726 54000 0.0458 -
0.9735 54050 0.033 -
0.9744 54100 0.0164 -
0.9753 54150 0.0228 -
0.9762 54200 0.0616 -
0.9771 54250 0.0172 -
0.9780 54300 0.0538 -
0.9789 54350 0.0318 -
0.9798 54400 0.0323 -
0.9807 54450 0.0428 -
0.9816 54500 0.043 -
0.9825 54550 0.0144 -
0.9834 54600 0.0896 -
0.9843 54650 0.0501 -
0.9852 54700 0.034 -
0.9861 54750 0.0546 -
0.9870 54800 0.0212 -
0.9879 54850 0.0385 -
0.9888 54900 0.048 -
0.9897 54950 0.0317 -
0.9906 55000 0.0373 -
0.9915 55050 0.0357 -
0.9924 55100 0.0406 -
0.9933 55150 0.0255 -
0.9942 55200 0.0297 -
0.9951 55250 0.0155 -
0.9960 55300 0.0329 -
0.9969 55350 0.0186 -
0.9978 55400 0.0257 -
0.9987 55450 0.033 -
0.9996 55500 0.0505 -

Framework Versions

  • Python: 3.11.7
  • SetFit: 1.0.3
  • Sentence Transformers: 2.3.0
  • Transformers: 4.37.2
  • PyTorch: 2.1.2+cu118
  • Datasets: 2.16.1
  • Tokenizers: 0.15.1

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}