--- license: mit library_name: peft tags: - trl - sft - generated_from_trainer metrics: - rouge base_model: microsoft/phi-2 model-index: - name: phi2_question_answering_finetuining_syntetic results: [] --- # phi2_question_answering_finetuining_syntetic This model is a fine-tuned version of [microsoft/phi-2](https://huggingface.co/microsoft/phi-2) on the None dataset. It achieves the following results on the evaluation set: - Loss: 0.9552 - Rouge1: 45.79 - Rouge2: 38.27 - Rougel: 44.42 - Rougelsum: 45.46 - R: 42.78 - Gen Len: 1.0 - R@1: 0.0 - R@3: 0.0 - R@5: 0.0 - R@10: 0.25 - R@20: 0.25 - R@50: 0.5 - Sample: [{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': ", Hegu princip ami, fun � � fun fun funàggioneo � lao e Ilcheit � regguola modo: asspettare son fun principe possoo:llali principi modiudicii.leice,li assistali,aliane,\n.etti � s principo �\n principi Ilit amo app amministrazioni aggiudicatrici e degi enti aggiudicatori,,ono esguire il mige decice disciplinato d l principret diblici. qualgettazione, \n1 d: Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concor pubblici di progettazione sono quelli che,anno unpropeito d'esisisione del contrizi, forniture, lavori e opere med in prevo del setto de \n!!!!!!!!!!!!!!"}] - Model Name: microsoft/phi-2_question-answering - Datetime: 2024-02-17T21:15:36.490162 ## Model description More information needed ## Intended uses & limitations More information needed ## Training and evaluation data More information needed ## Training procedure ### Training hyperparameters The following hyperparameters were used during training: - learning_rate: 0.002 - train_batch_size: 1 - eval_batch_size: 1 - seed: 42 - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 - lr_scheduler_type: linear - num_epochs: 10 ### Training results | Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | R | Gen Len | R@1 | R@3 | R@5 | R@10 | R@20 | R@50 | Sample | Model Name | Datetime | |:-------------:|:-----:|:----:|:---------------:|:------:|:------:|:------:|:---------:|:-----:|:-------:|:---:|:---:|:----:|:----:|:----:|:----:|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|:----------------------------------:|:--------------------------:| | 2.1753 | 1.0 | 16 | 1.3452 | 29.26 | 18.71 | 27.37 | 28.45 | 25.06 | 1.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.5 | [{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': 'ions "gmentichiaenza., modice modecazzionei,idae. zisi il concguis funa. lpetettis. funaliano.iso.ili amima contriudii. risice deli contrali.aliani.\nisetti e italiano bas\n i is dio e funmrazionei eiudicativerici, ni ami diiudicicatei. ilis.iis. principe.ice deginare. l contror.blici. amgettoazione, \n\n Answer: amministrazionei aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione.o dielli di dianno il contrpeisto di\'indisisione, contrizi, nniture, e\'i, npere, n aa diel riso di \n!!!!!!!!!!!!!!'}] | microsoft/phi-2_question-answering | 2024-02-17T21:14:25.847781 | | 1.2882 | 2.0 | 32 | 1.2974 | 37.0 | 24.02 | 34.69 | 35.44 | 31.8 | 1.0 | 0.0 | 0.0 | 0.0 | 0.25 | 0.25 | 0.5 | [{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': "ions � di critenza,, cige massaazzioneo,atoaa chz il responsrener risa. asspetettent. baseai.aare.ali assram regioreao.leice dellioreaarearialiao, affetti e italiano bas Lea Ila risa ass regministrativeioni eludatrici e conci enti conciudati, assono risguent ris rise risice,erato, l contror.blici, reggettoazione, \n\n Le: Le amministrazioni aggiudatrici e gli enti aggiudicatori e devono seguire il presente codice disciplinare per i concor pubblici di progettazione,o leelli di devanno ass basepelto l'indisireione de regii e eiiture e e'i e asspere, e risa ael Codo, \n!!!!!!!!!!!!!!"}] | microsoft/phi-2_question-answering | 2024-02-17T21:14:33.541566 | | 0.8018 | 3.0 | 48 | 1.1995 | 39.37 | 26.53 | 36.43 | 38.34 | 34.01 | 1.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.25 | 0.25 | [{'correct_answer': "Il principio del risultato, prioritario per l'esercizio del potere discrezionale e per l'individuazione della regola del caso concreto, vale per valutare la responsabilità del personale amministrativo o tecnico nelle fasi di programmazione, progettazione, affidamento ed esecuzione dei contratti. In tal senso, la contrattazione collettiva prevede l'attribuzione degli incentivi secondo le modalità previste.", 'prediction': "ions Readi diao, n �illallaiaziioni.atamentoe\ncheit de regiente:o: assietti. line.i.iament.ali ami triudicii.iice degli Appii.aliani.\naffetti � linealiano bas\n 1 1 Ili �i dio nio dalla contrattazione degttiva?i risi degministricric, degcnic, \n\n:: Il principio delllaultato � denominà d il'affercizio del potere discrezionale e per il'individuazione della regola del codo degreto. denominu d ilutare la trabilità del codale amministrativo o tecnico.elle fasi di programmazione, progettazione, affidamento ed esecuzione dei contratti. lineia, il responsattazione collettiva perie d'affazioneione delli ami sono iialità previst d"}] | microsoft/phi-2_question-answering | 2024-02-17T21:14:40.466186 | | 0.5295 | 4.0 | 64 | 0.9953 | 43.0 | 32.94 | 40.89 | 42.25 | 38.87 | 1.0 | 0.0 | 0.0 | 0.25 | 0.25 | 0.25 | 0.5 | [{'correct_answer': "Le stazioni appaltanti e gli enti concedenti nell'affidamento dei contratti pubblici perseguono il risultato dell'affidamento del contratto e della sua esecuzione con la massima tempestività e il migliore rapporto possibile tra qualità e prezzo, nel rispetto dei principi di legalità, trasparenza e concorrenza.", 'prediction': "Iions Readgu di crito, e �gure mod �azisioneale �assamento.\nchit � responsguente modo: asspetettare son mod principo �aleament.llali operatoriv modivudamenti.leice degli operatorali dialiani.\n.ettare son modazo son\n princip 1 Ilit disciplio dio son modazolei dialtanti e degi enti aggenti?lla�esidareo deli contratti diblici? \n1ar: Le stazioni appaltanti e gli enti concedenti nell'affidamento dei contratti pubblici sonseguono la migpetato costi'affidamento del contratto e dei sua esecuzione de la massima tempestività e il migliore rapporto possibile tra qualità e prezzo, nel settpetto dei principi di efficità, trasparenza e concorrenza. Il\n!!!!!!!!!!!!!!!!"}] | microsoft/phi-2_question-answering | 2024-02-17T21:14:47.883605 | | 0.402 | 5.0 | 80 | 1.0214 | 44.14 | 34.48 | 41.67 | 43.81 | 40.03 | 1.0 | 0.0 | 0.0 | 0.0 | 0.25 | 0.25 | 0.25 | [{'correct_answer': "Le stazioni appaltanti e gli enti concedenti nell'affidamento dei contratti pubblici perseguono il risultato dell'affidamento del contratto e della sua esecuzione con la massima tempestività e il migliore rapporto possibile tra qualità e prezzo, nel rispetto dei principi di legalità, trasparenza e concorrenza.", 'prediction': "ions Readgu contraiia s sllallaaazaioni �ettiia\ncheit del massgua riso � asspettente princip fun.i principao.llali incentivi diiudicii, principice degli assistali,alianii\nisetti agg aff�o bas\n principi Ilit critio dio agg amazioni appaltantii assi enti aggenti,lla�affidareo deli contratti risblici, \n\ni: Le stazioni appaltanti e gli enti concedenti nell'affidamento dei contratti pubblici,seguono il principultato,i'affidareo del contratto ris dei conca massecuzione con il massima tempestività, il migliore rapporto possibile tra qualità e prezzo, risel rispetto dei principi di legalità, trasparenza e concorrenza. \n!!!!!!!!!!!!!!!!"}] | microsoft/phi-2_question-answering | 2024-02-17T21:14:55.216370 | | 0.2993 | 6.0 | 96 | 0.9595 | 44.66 | 35.5 | 43.23 | 44.28 | 41.06 | 1.0 | 0.0 | 0.0 | 0.0 | 0.25 | 0.25 | 0.25 | [{'correct_answer': "Le stazioni appaltanti e gli enti concedenti nell'affidamento dei contratti pubblici perseguono il risultato dell'affidamento del contratto e della sua esecuzione con la massima tempestività e il migliore rapporto possibile tra qualità e prezzo, nel rispetto dei principi di legalità, trasparenza e concorrenza.", 'prediction': 'ions " � principii, ( s slla f sonazllaco �llaoo son cheit: trllaente:o: asspetto son fun.e.o..lla. principi.iudoo. codo.li entalo (.e..etto son s.o son\n.: Ilit �io dio? fazioni appalti e degi enti aggii?lla\'esidareo deli contratti.blici? \n1.: Il stazioni appaltanti e gli enti concedenti glla\'affidamento dei contratti pubblici.seguono il principultato,i\'esidamento del contratto e dei cora esecuzione. la massima tempestività e il migliore rapporto traibile tra qualità e prezzo, nelle rispetto dei principi di legalità, trasparenza e concorrenza. \n!!!!!!!!!!!!!!!!'}] | microsoft/phi-2_question-answering | 2024-02-17T21:15:02.766227 | | 0.2005 | 7.0 | 112 | 0.9776 | 46.03 | 35.23 | 43.16 | 44.58 | 41.39 | 1.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.25 | 0.25 | [{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': ', "gu contraag � � � �gu f funazgeco �llaao la cheit � regguente modo � asspetettto, fun.ge.aall.ali obiv risiudicao. presentice,li assistalo,aliane,.ettto � fun �o � D 1 Ilis disciplo la amministrativeioni aggiudicatrici e degi enti aggiudicicatori, sono servguire il mige decice deginato ed l risret diblici, appgettazione, \n1.: Le amministrazioni aggiudicatrici e gli enti aggiudicicatori che devono seguire il presente codice disciplinare per i concor pubblici di progettazione,o quelli del,anno prev conpeioneto il\'esisconione del glizi, forniture, lavori e opere med in preva del setto del \n!!!!!!!!!!!!!!'}] | microsoft/phi-2_question-answering | 2024-02-17T21:15:14.294331 | | 0.1439 | 8.0 | 128 | 0.8966 | 44.68 | 36.47 | 42.58 | 43.61 | 41.19 | 1.0 | 0.0 | 0.0 | 0.25 | 0.25 | 0.25 | 0.5 | [{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': ",\ngu princip principi, aff � �gu f affàggiono � lao al cheisi � regguente modo: asspettare son base principe conaando principllali principiv principiudii.leice,li assistali,aliane.\naffetti � base principo bas\n principi Leit principo le amministrazioni aggiudicatrici e degi enti aggiudicatori?,ono affguire un principe edice deginato ed l principret principblici? affgettazione,,\n princip d: Le amministrazioni aggiudatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concor pubblici di progettazione sono quelli che,anno un dispospeito ed'esisconione del contrizi, forniture, lavori, opere med in preva del principo de \n!!!!!!!!!!!!!!"}] | microsoft/phi-2_question-answering | 2024-02-17T21:15:21.699818 | | 0.0619 | 9.0 | 144 | 0.9836 | 44.56 | 36.99 | 43.52 | 44.56 | 41.64 | 1.0 | 0.0 | 0.0 | 0.25 | 0.25 | 0.25 | 0.5 | [{'correct_answer': "Gli obiettivi dell'Unione europea che vengono perseguiti dai concorsi pubblici di progettazione sono quelli dell'interesse della comunità.", 'prediction': ", Hegu princip principi agg fun � � fun fun funàggioneo �llaao e cheit � regguola modo: asspettare: fun principe:oando:llali principi aggiudicii.leice,li assistali,aliane,\n.etti � base principo base\n principi Ili amo appi entaltienti agglla'appivers depella,,istono affseguuito eal contror,blici, affgettazione, \ngl d: Gli obiettivi dell'Unione europea v vengono perseguiti dai concor pubblici di progettazione sono quelli deli'apperesse dlla regolaà, \n!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!"}] | microsoft/phi-2_question-answering | 2024-02-17T21:15:29.001088 | | 0.0237 | 10.0 | 160 | 0.9552 | 45.79 | 38.27 | 44.42 | 45.46 | 42.78 | 1.0 | 0.0 | 0.0 | 0.0 | 0.25 | 0.25 | 0.5 | [{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': ", Hegu princip ami, fun � � fun fun funàggioneo � lao e Ilcheit � regguola modo: asspettare son fun principe possoo:llali principi modiudicii.leice,li assistali,aliane,\n.etti � s principo �\n principi Ilit amo app amministrazioni aggiudicatrici e degi enti aggiudicatori,,ono esguire il mige decice disciplinato d l principret diblici. qualgettazione, \n1 d: Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concor pubblici di progettazione sono quelli che,anno unpropeito d'esisisione del contrizi, forniture, lavori e opere med in prevo del setto de \n!!!!!!!!!!!!!!"}] | microsoft/phi-2_question-answering | 2024-02-17T21:15:36.490162 | ### Framework versions - PEFT 0.8.2 - Transformers 4.38.0.dev0 - Pytorch 2.0.1+cu117 - Datasets 2.16.1 - Tokenizers 0.15.2