flan-t5-large_question_answering_finetuining

This model is a fine-tuned version of google/flan-t5-large on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.5047
• Rouge1: 22.91
• Rouge2: 15.73
• Rougel: 22.88
• Rougelsum: 22.51
• R: 20.48
• Gen Len: 28.875
• R@1: 0.0074
• R@3: 0.0147
• R@5: 0.0221
• R@10: 0.0294
• R@20: 0.0588
• R@50: 0.0735
• Sample: [{'correct_answer': 'Si, queste provvedono a trovare una centrale di committenza', 'prediction': 'S, solo per le attività di centralizzazione delle committenze svolte nella forma di acquisizione centralizzata di forniture e/o servizi a stazioni appaltanti'}]
• Model Name: google/flan-t5-large_question-answering
• Datetime: 2024-02-17T17:53:18.801690

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 4
• eval_batch_size: 4
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	R	Gen Len	R@1	R@3	R@5	R@10	R@20	R@50	Sample	Model Name	Datetime
5.0871	1.0	79	0.4577	0.42	0.0	0.39	0.4	0.27	54.1912	0.0	0.0	0.0147	0.0221	0.0588	0.1397	[{'correct_answer': 'i quali i quali i quali i quali i quali i quali i quali i quali i quali i quali i quali i quali i quali i quali i quali i quali i quali i quali i quali i qual', 'prediction': "si assume ogni responsabilità con riferimento alla scelta, alla nomina ed all'attività svolta da quest'ultimo"}]	google/flan-t5-large_question-answering	2024-02-17T17:29:21.450118
0.4213	2.0	158	0.3912	6.43	1.46	6.29	6.32	4.72	27.3015	0.0	0.0074	0.0074	0.0147	0.0588	0.0882	[{'correct_answer': 'La selezione dei criteri di aggiudicazione', 'prediction': 'Non vi è decadenza della commissione, che rimane in carica'}]	google/flan-t5-large_question-answering	2024-02-17T17:31:55.211478
0.3103	3.0	237	0.3607	7.68	2.82	7.29	7.25	5.93	20.9412	0.0	0.0074	0.0221	0.0294	0.0588	0.1029	[{'correct_answer': "l'appalto", 'prediction': 'con determina del responsabile del servizio'}]	google/flan-t5-large_question-answering	2024-02-17T17:34:29.912334
0.2361	4.0	316	0.3687	13.83	8.09	13.15	13.18	11.68	23.7132	0.0	0.0	0.0	0.0147	0.0588	0.0809	[{'correct_answer': 'il MEPA', 'prediction': 'Appositi bandi'}]	google/flan-t5-large_question-answering	2024-02-17T17:37:24.187657
0.1798	5.0	395	0.3812	16.46	9.57	15.77	15.68	13.92	23.5294	0.0	0.0147	0.0147	0.0294	0.0515	0.0882	[{'correct_answer': 'aggiudicate', 'prediction': 'pubblicano un avviso di indizione di gara precisando che si tratta di un sistema dinamico di acquisizione'}]	google/flan-t5-large_question-answering	2024-02-17T17:39:48.557761
0.1321	6.0	474	0.3842	14.35	8.64	13.83	13.72	12.27	25.1838	0.0074	0.0074	0.0147	0.0221	0.0368	0.0515	[{'correct_answer': 'il programma degli acquisti di beni e servizi', 'prediction': 'biennale'}]	google/flan-t5-large_question-answering	2024-02-17T17:41:35.990230
0.0979	7.0	553	0.4148	18.94	11.37	18.33	18.31	16.19	33.9265	0.0147	0.0221	0.0221	0.0294	0.0515	0.0882	[{'correct_answer': 'S, sempre', 'prediction': 'No, solo in caso di procedura negoziata e procedura aperta'}]	google/flan-t5-large_question-answering	2024-02-17T17:44:30.313311
0.0705	8.0	632	0.4445	21.22	14.84	21.01	20.93	19.01	27.6618	0.0074	0.0074	0.0074	0.0368	0.0515	0.0809	[{'correct_answer': "Attraverso una garanzia definitiva del 10 per cento dell'importo contrattuale", 'prediction': "S, è obbligatorio richiedere il codice CIG, ai fini della tracciabilità, per tutti i contratti di lavori, servizi e forniture, a prescindere dall'importo degli stessi e dalle modalità di affidamento e quindi anche per i contratti esclusi dall'obbligo del versamento del contributo in favore dell'Autorità"}]	google/flan-t5-large_question-answering	2024-02-17T17:46:55.226383
0.0554	9.0	711	0.4899	21.88	14.93	21.74	21.37	19.5	29.1029	0.0074	0.0147	0.0221	0.0368	0.0515	0.0809	[{'correct_answer': 'Si, queste provvedono ad acquistare beni o servizi di importo pari o superiore a un milione di euro', 'prediction': 'No, gli acquisti in MEPA devono essere fatti al di sotto la soglia minima comunitaria'}]	google/flan-t5-large_question-answering	2024-02-17T17:51:16.632401
0.0438	10.0	790	0.5047	22.91	15.73	22.88	22.51	20.48	28.875	0.0074	0.0147	0.0221	0.0294	0.0588	0.0735	[{'correct_answer': 'Si, queste provvedono a trovare una centrale di committenza', 'prediction': 'S, solo per le attività di centralizzazione delle committenze svolte nella forma di acquisizione centralizzata di forniture e/o servizi a stazioni appaltanti'}]	google/flan-t5-large_question-answering	2024-02-17T17:53:18.801690

Framework versions

• Transformers 4.38.0.dev0
• Pytorch 2.0.1+cu117
• Datasets 2.16.1
• Tokenizers 0.15.2