metadata

license: mit
tags:
  - generated_from_trainer
datasets:
  - crows_pairs
metrics:
  - accuracy
model-index:
  - name: gpt2_crows_pairs_finetuned
    results:
      - task:
          name: Text Classification
          type: text-classification
        dataset:
          name: crows_pairs
          type: crows_pairs
          config: crows_pairs
          split: test
          args: crows_pairs
        metrics:
          - name: Accuracy
            type: accuracy
            value: 0.5066225165562914

gpt2_crows_pairs_finetuned

This model is a fine-tuned version of gpt2 on the crows_pairs dataset. It achieves the following results on the evaluation set:

Loss: 5.0353
Accuracy: 0.5066
Tp: 0.3046
Tn: 0.2020
Fp: 0.2748
Fn: 0.2185

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 64
eval_batch_size: 64
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 50

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Tp	Tn	Fp	Fn
0.9942	1.05	20	0.6944	0.4801	0.0464	0.4338	0.0430	0.4768
0.6962	2.11	40	0.6909	0.5397	0.4205	0.1192	0.3576	0.1026
0.6711	3.16	60	0.7195	0.5	0.3344	0.1656	0.3113	0.1887
0.5148	4.21	80	0.8547	0.5232	0.2583	0.2649	0.2119	0.2649
0.3053	5.26	100	1.1929	0.4868	0.2483	0.2384	0.2384	0.2748
0.1268	6.32	120	1.7763	0.4901	0.2384	0.2517	0.2252	0.2848
0.0999	7.37	140	2.3687	0.5066	0.2914	0.2152	0.2616	0.2318
0.0374	8.42	160	2.3493	0.5099	0.2781	0.2318	0.2450	0.2450
0.009	9.47	180	5.1845	0.4868	0.3179	0.1689	0.3079	0.2053
0.0316	10.53	200	3.6149	0.4934	0.3013	0.1921	0.2848	0.2219
0.0223	11.58	220	3.7626	0.4934	0.2384	0.2550	0.2219	0.2848
0.0295	12.63	240	2.9512	0.5232	0.3411	0.1821	0.2947	0.1821
0.0248	13.68	260	3.5709	0.5066	0.3146	0.1921	0.2848	0.2086
0.0387	14.74	280	3.5248	0.4801	0.2318	0.2483	0.2285	0.2914
0.0223	15.79	300	3.7220	0.5066	0.2483	0.2583	0.2185	0.2748
0.0223	16.84	320	4.1806	0.5033	0.2384	0.2649	0.2119	0.2848
0.0254	17.89	340	4.4477	0.4934	0.2351	0.2583	0.2185	0.2881
0.0002	18.95	360	4.2539	0.5298	0.2649	0.2649	0.2119	0.2583
0.0238	20.0	380	3.9944	0.5033	0.2318	0.2715	0.2053	0.2914
0.0027	21.05	400	4.6360	0.5066	0.2285	0.2781	0.1987	0.2947
0.0001	22.11	420	5.0025	0.5132	0.2616	0.2517	0.2252	0.2616
0.0135	23.16	440	4.2408	0.5	0.2152	0.2848	0.1921	0.3079
0.0004	24.21	460	4.9804	0.5066	0.2781	0.2285	0.2483	0.2450
0.0213	25.26	480	5.5604	0.4967	0.3046	0.1921	0.2848	0.2185
0.0147	26.32	500	5.0523	0.5066	0.2815	0.2252	0.2517	0.2417
0.011	27.37	520	4.8651	0.5132	0.2682	0.2450	0.2318	0.2550
0.012	28.42	540	4.5382	0.5232	0.3278	0.1954	0.2815	0.1954
0.0024	29.47	560	4.0583	0.5033	0.2848	0.2185	0.2583	0.2384
0.0001	30.53	580	4.4274	0.4967	0.2980	0.1987	0.2781	0.2252
0.0005	31.58	600	4.6131	0.5099	0.2980	0.2119	0.2649	0.2252
0.0008	32.63	620	4.7104	0.5132	0.2748	0.2384	0.2384	0.2483
0.0	33.68	640	4.7753	0.5066	0.2947	0.2119	0.2649	0.2285
0.0	34.74	660	4.9226	0.5199	0.2682	0.2517	0.2252	0.2550
0.0	35.79	680	5.0117	0.4967	0.3179	0.1788	0.2980	0.2053
0.0	36.84	700	5.0534	0.5033	0.3079	0.1954	0.2815	0.2152
0.0	37.89	720	5.0638	0.5166	0.2682	0.2483	0.2285	0.2550
0.0	38.95	740	5.1010	0.5132	0.2649	0.2483	0.2285	0.2583
0.0	40.0	760	5.1367	0.5132	0.2649	0.2483	0.2285	0.2583
0.0001	41.05	780	5.1730	0.5166	0.2781	0.2384	0.2384	0.2450
0.0	42.11	800	5.0295	0.5232	0.2848	0.2384	0.2384	0.2384
0.0	43.16	820	5.0261	0.5166	0.2781	0.2384	0.2384	0.2450
0.0	44.21	840	5.0447	0.5166	0.2781	0.2384	0.2384	0.2450
0.0126	45.26	860	5.0130	0.5232	0.2980	0.2252	0.2517	0.2252
0.0	46.32	880	5.0184	0.5066	0.3046	0.2020	0.2748	0.2185
0.0	47.37	900	5.0276	0.5066	0.3046	0.2020	0.2748	0.2185
0.0	48.42	920	5.0332	0.5066	0.3046	0.2020	0.2748	0.2185
0.0	49.47	940	5.0353	0.5066	0.3046	0.2020	0.2748	0.2185

Framework versions

Transformers 4.26.1
Pytorch 1.13.1
Datasets 2.10.1
Tokenizers 0.13.2