phi2_question_answering_finetuining_syntetic

This model is a fine-tuned version of microsoft/phi-2 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.9552
• Rouge1: 45.79
• Rouge2: 38.27
• Rougel: 44.42
• Rougelsum: 45.46
• R: 42.78
• Gen Len: 1.0
• R@1: 0.0
• R@3: 0.0
• R@5: 0.0
• R@10: 0.25
• R@20: 0.25
• R@50: 0.5
• Sample: [{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': ", Hegu princip ami, fun � � fun fun funàggioneo � lao e Ilcheit � regguola modo: asspettare son fun principe possoo:llali principi modiudicii.leice,li assistali,aliane,\n.etti � s principo �\n principi Ilit amo app amministrazioni aggiudicatrici e degi enti aggiudicatori,,ono esguire il mige decice disciplinato d l principret diblici. qualgettazione, \n1 d: Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concor pubblici di progettazione sono quelli che,anno unpropeito d'esisisione del contrizi, forniture, lavori e opere med in prevo del setto de \n!!!!!!!!!!!!!!"}]
• Model Name: microsoft/phi-2_question-answering
• Datetime: 2024-02-17T21:15:36.490162

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.002
• train_batch_size: 1
• eval_batch_size: 1
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 10

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	R	Gen Len	R@1	R@3	R@5	R@10	R@20	R@50	Sample	Model Name	Datetime
2.1753	1.0	16	1.3452	29.26	18.71	27.37	28.45	25.06	1.0	0.0	0.0	0.0	0.0	0.0	0.5	[{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': 'ions "gmentichiaenza., modice modecazzionei,idae. zisi il concguis funa. lpetettis. funaliano.iso.ili amima contriudii. risice deli contrali.aliani.\nisetti e italiano bas\n i is dio e funmrazionei eiudicativerici, ni ami diiudicicatei. ilis.iis. principe.ice deginare. l contror.blici. amgettoazione, \n\n Answer: amministrazionei aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione.o dielli di dianno il contrpeisto di'indisisione, contrizi, nniture, e'i, npere, n aa diel riso di \n!!!!!!!!!!!!!!'}]	microsoft/phi-2_question-answering	2024-02-17T21:14:25.847781
1.2882	2.0	32	1.2974	37.0	24.02	34.69	35.44	31.8	1.0	0.0	0.0	0.0	0.25	0.25	0.5	[{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': "ions � di critenza,, cige massaazzioneo,atoaa chz il responsrener risa. asspetettent. baseai.aare.ali assram regioreao.leice dellioreaarearialiao, affetti e italiano bas Lea Ila risa ass regministrativeioni eludatrici e conci enti conciudati, assono risguent ris rise risice,erato, l contror.blici, reggettoazione, \n\n Le: Le amministrazioni aggiudatrici e gli enti aggiudicatori e devono seguire il presente codice disciplinare per i concor pubblici di progettazione,o leelli di devanno ass basepelto l'indisireione de regii e eiiture e e'i e asspere, e risa ael Codo, \n!!!!!!!!!!!!!!"}]	microsoft/phi-2_question-answering	2024-02-17T21:14:33.541566
0.8018	3.0	48	1.1995	39.37	26.53	36.43	38.34	34.01	1.0	0.0	0.0	0.0	0.0	0.25	0.25	[{'correct_answer': "Il principio del risultato, prioritario per l'esercizio del potere discrezionale e per l'individuazione della regola del caso concreto, vale per valutare la responsabilità del personale amministrativo o tecnico nelle fasi di programmazione, progettazione, affidamento ed esecuzione dei contratti. In tal senso, la contrattazione collettiva prevede l'attribuzione degli incentivi secondo le modalità previste.", 'prediction': "ions Readi diao, n �illallaiaziioni.atamentoe\ncheit de regiente:o: assietti. line.i.iament.ali ami triudicii.iice degli Appii.aliani.\naffetti � linealiano bas\n 1 1 Ili �i dio nio dalla contrattazione degttiva?i risi degministricric, degcnic, \n\n:: Il principio delllaultato � denominà d il'affercizio del potere discrezionale e per il'individuazione della regola del codo degreto. denominu d ilutare la trabilità del codale amministrativo o tecnico.elle fasi di programmazione, progettazione, affidamento ed esecuzione dei contratti. lineia, il responsattazione collettiva perie d'affazioneione delli ami sono iialità previst d"}]	microsoft/phi-2_question-answering	2024-02-17T21:14:40.466186
0.5295	4.0	64	0.9953	43.0	32.94	40.89	42.25	38.87	1.0	0.0	0.0	0.25	0.25	0.25	0.5	[{'correct_answer': "Le stazioni appaltanti e gli enti concedenti nell'affidamento dei contratti pubblici perseguono il risultato dell'affidamento del contratto e della sua esecuzione con la massima tempestività e il migliore rapporto possibile tra qualità e prezzo, nel rispetto dei principi di legalità, trasparenza e concorrenza.", 'prediction': "Iions Readgu di crito, e �gure mod �azisioneale �assamento.\nchit � responsguente modo: asspetettare son mod principo �aleament.llali operatoriv modivudamenti.leice degli operatorali dialiani.\n.ettare son modazo son\n princip 1 Ilit disciplio dio son modazolei dialtanti e degi enti aggenti?lla�esidareo deli contratti diblici? \n1ar: Le stazioni appaltanti e gli enti concedenti nell'affidamento dei contratti pubblici sonseguono la migpetato costi'affidamento del contratto e dei sua esecuzione de la massima tempestività e il migliore rapporto possibile tra qualità e prezzo, nel settpetto dei principi di efficità, trasparenza e concorrenza. Il\n!!!!!!!!!!!!!!!!"}]	microsoft/phi-2_question-answering	2024-02-17T21:14:47.883605
0.402	5.0	80	1.0214	44.14	34.48	41.67	43.81	40.03	1.0	0.0	0.0	0.0	0.25	0.25	0.25	[{'correct_answer': "Le stazioni appaltanti e gli enti concedenti nell'affidamento dei contratti pubblici perseguono il risultato dell'affidamento del contratto e della sua esecuzione con la massima tempestività e il migliore rapporto possibile tra qualità e prezzo, nel rispetto dei principi di legalità, trasparenza e concorrenza.", 'prediction': "ions Readgu contraiia s sllallaaazaioni �ettiia\ncheit del massgua riso � asspettente princip fun.i principao.llali incentivi diiudicii, principice degli assistali,alianii\nisetti agg aff�o bas\n principi Ilit critio dio agg amazioni appaltantii assi enti aggenti,lla�affidareo deli contratti risblici, \n\ni: Le stazioni appaltanti e gli enti concedenti nell'affidamento dei contratti pubblici,seguono il principultato,i'affidareo del contratto ris dei conca massecuzione con il massima tempestività, il migliore rapporto possibile tra qualità e prezzo, risel rispetto dei principi di legalità, trasparenza e concorrenza. \n!!!!!!!!!!!!!!!!"}]	microsoft/phi-2_question-answering	2024-02-17T21:14:55.216370
0.2993	6.0	96	0.9595	44.66	35.5	43.23	44.28	41.06	1.0	0.0	0.0	0.0	0.25	0.25	0.25	[{'correct_answer': "Le stazioni appaltanti e gli enti concedenti nell'affidamento dei contratti pubblici perseguono il risultato dell'affidamento del contratto e della sua esecuzione con la massima tempestività e il migliore rapporto possibile tra qualità e prezzo, nel rispetto dei principi di legalità, trasparenza e concorrenza.", 'prediction': 'ions " � principii, ( s slla f sonazllaco �llaoo son cheit: trllaente:o: asspetto son fun.e.o..lla. principi.iudoo. codo.li entalo (.e..etto son s.o son\n.: Ilit �io dio? fazioni appalti e degi enti aggii?lla'esidareo deli contratti.blici? \n1.: Il stazioni appaltanti e gli enti concedenti glla'affidamento dei contratti pubblici.seguono il principultato,i'esidamento del contratto e dei cora esecuzione. la massima tempestività e il migliore rapporto traibile tra qualità e prezzo, nelle rispetto dei principi di legalità, trasparenza e concorrenza. \n!!!!!!!!!!!!!!!!'}]	microsoft/phi-2_question-answering	2024-02-17T21:15:02.766227
0.2005	7.0	112	0.9776	46.03	35.23	43.16	44.58	41.39	1.0	0.0	0.0	0.0	0.0	0.25	0.25	[{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': ', "gu contraag � � � �gu f funazgeco �llaao la cheit � regguente modo � asspetettto, fun.ge.aall.ali obiv risiudicao. presentice,li assistalo,aliane,.ettto � fun �o � D 1 Ilis disciplo la amministrativeioni aggiudicatrici e degi enti aggiudicicatori, sono servguire il mige decice deginato ed l risret diblici, appgettazione, \n1.: Le amministrazioni aggiudicatrici e gli enti aggiudicicatori che devono seguire il presente codice disciplinare per i concor pubblici di progettazione,o quelli del,anno prev conpeioneto il'esisconione del glizi, forniture, lavori e opere med in preva del setto del \n!!!!!!!!!!!!!!'}]	microsoft/phi-2_question-answering	2024-02-17T21:15:14.294331
0.1439	8.0	128	0.8966	44.68	36.47	42.58	43.61	41.19	1.0	0.0	0.0	0.25	0.25	0.25	0.5	[{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': ",\ngu princip principi, aff � �gu f affàggiono � lao al cheisi � regguente modo: asspettare son base principe conaando principllali principiv principiudii.leice,li assistali,aliane.\naffetti � base principo bas\n principi Leit principo le amministrazioni aggiudicatrici e degi enti aggiudicatori?,ono affguire un principe edice deginato ed l principret principblici? affgettazione,,\n princip d: Le amministrazioni aggiudatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concor pubblici di progettazione sono quelli che,anno un dispospeito ed'esisconione del contrizi, forniture, lavori, opere med in preva del principo de \n!!!!!!!!!!!!!!"}]	microsoft/phi-2_question-answering	2024-02-17T21:15:21.699818
0.0619	9.0	144	0.9836	44.56	36.99	43.52	44.56	41.64	1.0	0.0	0.0	0.25	0.25	0.25	0.5	[{'correct_answer': "Gli obiettivi dell'Unione europea che vengono perseguiti dai concorsi pubblici di progettazione sono quelli dell'interesse della comunità.", 'prediction': ", Hegu princip principi agg fun � � fun fun funàggioneo �llaao e cheit � regguola modo: asspettare: fun principe:oando:llali principi aggiudicii.leice,li assistali,aliane,\n.etti � base principo base\n principi Ili amo appi entaltienti agglla'appivers depella,,istono affseguuito eal contror,blici, affgettazione, \ngl d: Gli obiettivi dell'Unione europea v vengono perseguiti dai concor pubblici di progettazione sono quelli deli'apperesse dlla regolaà, \n!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!"}]	microsoft/phi-2_question-answering	2024-02-17T21:15:29.001088
0.0237	10.0	160	0.9552	45.79	38.27	44.42	45.46	42.78	1.0	0.0	0.0	0.0	0.25	0.25	0.5	[{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': ", Hegu princip ami, fun � � fun fun funàggioneo � lao e Ilcheit � regguola modo: asspettare son fun principe possoo:llali principi modiudicii.leice,li assistali,aliane,\n.etti � s principo �\n principi Ilit amo app amministrazioni aggiudicatrici e degi enti aggiudicatori,,ono esguire il mige decice disciplinato d l principret diblici. qualgettazione, \n1 d: Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concor pubblici di progettazione sono quelli che,anno unpropeito d'esisisione del contrizi, forniture, lavori e opere med in prevo del setto de \n!!!!!!!!!!!!!!"}]	microsoft/phi-2_question-answering	2024-02-17T21:15:36.490162

Framework versions

• PEFT 0.8.2
• Transformers 4.38.0.dev0
• Pytorch 2.0.1+cu117
• Datasets 2.16.1
• Tokenizers 0.15.2