README.md

metadata

license: mit
tags:
  - generated_from_trainer
datasets:
  - crows_pairs
metrics:
  - accuracy
model-index:
  - name: xlnet-base-cased_crows_pairs_finetuned
    results:
      - task:
          name: Text Classification
          type: text-classification
        dataset:
          name: crows_pairs
          type: crows_pairs
          config: crows_pairs
          split: test
          args: crows_pairs
        metrics:
          - name: Accuracy
            type: accuracy
            value: 0.5298013245033113

xlnet-base-cased_crows_pairs_finetuned

This model is a fine-tuned version of xlnet-base-cased on the crows_pairs dataset. It achieves the following results on the evaluation set:

• Loss: 2.7148
• Accuracy: 0.5298
• Tp: 0.2550
• Tn: 0.2748
• Fp: 0.1987
• Fn: 0.2715

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0001
• train_batch_size: 64
• eval_batch_size: 64
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 50

Training results

Training Loss	Epoch	Step	Validation Loss	Accuracy	Tp	Tn	Fp	Fn
0.716	1.05	20	0.6921	0.5265	0.5265	0.0	0.4735	0.0
0.7095	2.11	40	0.7040	0.4735	0.0	0.4735	0.0	0.5265
0.7124	3.16	60	0.7153	0.4735	0.0	0.4735	0.0	0.5265
0.7226	4.21	80	0.7080	0.4735	0.0	0.4735	0.0	0.5265
0.7018	5.26	100	0.7256	0.4735	0.0563	0.4172	0.0563	0.4702
0.6419	6.32	120	0.8416	0.5298	0.3212	0.2086	0.2649	0.2053
0.4401	7.37	140	1.1483	0.5497	0.2781	0.2715	0.2020	0.2483
0.2331	8.42	160	1.4366	0.5199	0.2649	0.2550	0.2185	0.2616
0.1172	9.47	180	2.4989	0.5232	0.2616	0.2616	0.2119	0.2649
0.1918	10.53	200	1.9571	0.5629	0.2616	0.3013	0.1722	0.2649
0.0907	11.58	220	2.0011	0.5298	0.2384	0.2914	0.1821	0.2881
0.1393	12.63	240	1.8743	0.5364	0.2815	0.2550	0.2185	0.2450
0.0994	13.68	260	2.0843	0.5166	0.2285	0.2881	0.1854	0.2980
0.0916	14.74	280	1.8777	0.5232	0.2318	0.2914	0.1821	0.2947
0.2059	15.79	300	2.5899	0.5199	0.1689	0.3510	0.1225	0.3576
0.0534	16.84	320	2.2538	0.5364	0.2715	0.2649	0.2086	0.2550
0.056	17.89	340	2.2485	0.5298	0.2748	0.2550	0.2185	0.2517
0.0707	18.95	360	1.9060	0.5430	0.2815	0.2616	0.2119	0.2450
0.1208	20.0	380	2.4532	0.5364	0.2781	0.2583	0.2152	0.2483
0.0831	21.05	400	2.0115	0.5397	0.2417	0.2980	0.1755	0.2848
0.0746	22.11	420	2.2016	0.5331	0.3245	0.2086	0.2649	0.2020
0.0485	23.16	440	2.1963	0.5464	0.2781	0.2682	0.2053	0.2483
0.0254	24.21	460	2.2650	0.5265	0.2616	0.2649	0.2086	0.2649
0.0604	25.26	480	2.1988	0.5298	0.2318	0.2980	0.1755	0.2947
0.0513	26.32	500	2.2894	0.5298	0.2881	0.2417	0.2318	0.2384
0.035	27.37	520	2.2012	0.5364	0.2219	0.3146	0.1589	0.3046
0.0632	28.42	540	2.2575	0.5397	0.2583	0.2815	0.1921	0.2682
0.0391	29.47	560	2.2376	0.5497	0.2483	0.3013	0.1722	0.2781
0.0281	30.53	580	2.3408	0.5364	0.2682	0.2682	0.2053	0.2583
0.0286	31.58	600	2.4082	0.5397	0.2715	0.2682	0.2053	0.2550
0.0411	32.63	620	2.4859	0.5331	0.2351	0.2980	0.1755	0.2914
0.0308	33.68	640	2.5221	0.5430	0.2947	0.2483	0.2252	0.2318
0.0419	34.74	660	2.4549	0.5166	0.2517	0.2649	0.2086	0.2748
0.0442	35.79	680	2.3828	0.5397	0.2914	0.2483	0.2252	0.2351
0.0346	36.84	700	2.4542	0.5497	0.3179	0.2318	0.2417	0.2086
0.0277	37.89	720	2.5188	0.5265	0.2848	0.2417	0.2318	0.2417
0.0299	38.95	740	2.4768	0.5331	0.2815	0.2517	0.2219	0.2450
0.0381	40.0	760	2.4496	0.5331	0.3013	0.2318	0.2417	0.2252
0.0317	41.05	780	2.4512	0.5265	0.2748	0.2517	0.2219	0.2517
0.0377	42.11	800	2.5661	0.5199	0.3046	0.2152	0.2583	0.2219
0.0526	43.16	820	2.6317	0.5132	0.2881	0.2252	0.2483	0.2384
0.0321	44.21	840	2.6637	0.5132	0.2616	0.2517	0.2219	0.2649
0.0181	45.26	860	2.6816	0.5331	0.2583	0.2748	0.1987	0.2682
0.0322	46.32	880	2.6758	0.5364	0.2517	0.2848	0.1887	0.2748
0.013	47.37	900	2.6944	0.5298	0.2517	0.2781	0.1954	0.2748
0.033	48.42	920	2.7166	0.5265	0.2550	0.2715	0.2020	0.2715
0.0229	49.47	940	2.7148	0.5298	0.2550	0.2748	0.1987	0.2715

Framework versions

• Transformers 4.26.1
• Pytorch 1.13.1
• Datasets 2.10.1
• Tokenizers 0.13.2