Commit
•
5eb5347
1
Parent(s):
d32a61f
phi2_question_answering_finetuining_syntetic
Browse files- README.md +22 -14
- adapter_config.json +2 -2
- adapter_model.safetensors +1 -1
- training_args.bin +1 -1
README.md
CHANGED
|
@@ -20,22 +20,22 @@ should probably proofread and complete it, then remove this comment. -->
|
|
| 20 |
|
| 21 |
This model is a fine-tuned version of [microsoft/phi-2](https://huggingface.co/microsoft/phi-2) on the None dataset.
|
| 22 |
It achieves the following results on the evaluation set:
|
| 23 |
-
- Loss:
|
| 24 |
-
- Rouge1:
|
| 25 |
-
- Rouge2: 27
|
| 26 |
-
- Rougel:
|
| 27 |
-
- Rougelsum:
|
| 28 |
-
- R:
|
| 29 |
- Gen Len: 1.0
|
| 30 |
- R@1: 0.0
|
| 31 |
- R@3: 0.0
|
| 32 |
-
- R@5: 0.
|
| 33 |
- R@10: 0.25
|
| 34 |
- R@20: 0.25
|
| 35 |
- R@50: 0.5
|
| 36 |
-
- Sample: [{'correct_answer': "
|
| 37 |
- Model Name: microsoft/phi-2_question-answering
|
| 38 |
-
- Datetime: 2024-02-17T21:
|
| 39 |
|
| 40 |
## Model description
|
| 41 |
|
|
@@ -60,14 +60,22 @@ The following hyperparameters were used during training:
|
|
| 60 |
- seed: 42
|
| 61 |
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
|
| 62 |
- lr_scheduler_type: linear
|
| 63 |
-
- num_epochs:
|
| 64 |
|
| 65 |
### Training results
|
| 66 |
|
| 67 |
-
| Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | R | Gen Len | R@1 | R@3 | R@5 | R@10 | R@20 | R@50 | Sample
|
| 68 |
-
|
| 69 |
-
| 2.
|
| 70 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 71 |
|
| 72 |
|
| 73 |
### Framework versions
|
|
|
|
| 20 |
|
| 21 |
This model is a fine-tuned version of [microsoft/phi-2](https://huggingface.co/microsoft/phi-2) on the None dataset.
|
| 22 |
It achieves the following results on the evaluation set:
|
| 23 |
+
- Loss: 0.9552
|
| 24 |
+
- Rouge1: 45.79
|
| 25 |
+
- Rouge2: 38.27
|
| 26 |
+
- Rougel: 44.42
|
| 27 |
+
- Rougelsum: 45.46
|
| 28 |
+
- R: 42.78
|
| 29 |
- Gen Len: 1.0
|
| 30 |
- R@1: 0.0
|
| 31 |
- R@3: 0.0
|
| 32 |
+
- R@5: 0.0
|
| 33 |
- R@10: 0.25
|
| 34 |
- R@20: 0.25
|
| 35 |
- R@50: 0.5
|
| 36 |
+
- Sample: [{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': ", Hegu princip ami, fun � � fun fun funàggioneo � lao e Ilcheit � regguola modo: asspettare son fun principe possoo:llali principi modiudicii.leice,li assistali,aliane,\n.etti � s principo �\n principi Ilit amo app amministrazioni aggiudicatrici e degi enti aggiudicatori,,ono esguire il mige decice disciplinato d l principret diblici. qualgettazione, \n1 d: Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concor pubblici di progettazione sono quelli che,anno unpropeito d'esisisione del contrizi, forniture, lavori e opere med in prevo del setto de \n!!!!!!!!!!!!!!"}]
|
| 37 |
- Model Name: microsoft/phi-2_question-answering
|
| 38 |
+
- Datetime: 2024-02-17T21:15:36.490162
|
| 39 |
|
| 40 |
## Model description
|
| 41 |
|
|
|
|
| 60 |
- seed: 42
|
| 61 |
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
|
| 62 |
- lr_scheduler_type: linear
|
| 63 |
+
- num_epochs: 10
|
| 64 |
|
| 65 |
### Training results
|
| 66 |
|
| 67 |
+
| Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | R | Gen Len | R@1 | R@3 | R@5 | R@10 | R@20 | R@50 | Sample | Model Name | Datetime |
|
| 68 |
+
|:-------------:|:-----:|:----:|:---------------:|:------:|:------:|:------:|:---------:|:-----:|:-------:|:---:|:---:|:----:|:----:|:----:|:----:|:--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|:----------------------------------:|:--------------------------:|
|
| 69 |
+
| 2.1753 | 1.0 | 16 | 1.3452 | 29.26 | 18.71 | 27.37 | 28.45 | 25.06 | 1.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.5 | [{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': 'ions "gmentichiaenza., modice modecazzionei,idae. zisi il concguis funa. lpetettis. funaliano.iso.ili amima contriudii. risice deli contrali.aliani.\nisetti e italiano bas\n i is dio e funmrazionei eiudicativerici, ni ami diiudicicatei. ilis.iis. principe.ice deginare. l contror.blici. amgettoazione, \n\n Answer: amministrazionei aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione.o dielli di dianno il contrpeisto di\'indisisione, contrizi, nniture, e\'i, npere, n aa diel riso di \n!!!!!!!!!!!!!!'}] | microsoft/phi-2_question-answering | 2024-02-17T21:14:25.847781 |
|
| 70 |
+
| 1.2882 | 2.0 | 32 | 1.2974 | 37.0 | 24.02 | 34.69 | 35.44 | 31.8 | 1.0 | 0.0 | 0.0 | 0.0 | 0.25 | 0.25 | 0.5 | [{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': "ions � di critenza,, cige massaazzioneo,atoaa chz il responsrener risa. asspetettent. baseai.aare.ali assram regioreao.leice dellioreaarearialiao, affetti e italiano bas Lea Ila risa ass regministrativeioni eludatrici e conci enti conciudati, assono risguent ris rise risice,erato, l contror.blici, reggettoazione, \n\n Le: Le amministrazioni aggiudatrici e gli enti aggiudicatori e devono seguire il presente codice disciplinare per i concor pubblici di progettazione,o leelli di devanno ass basepelto l'indisireione de regii e eiiture e e'i e asspere, e risa ael Codo, \n!!!!!!!!!!!!!!"}] | microsoft/phi-2_question-answering | 2024-02-17T21:14:33.541566 |
|
| 71 |
+
| 0.8018 | 3.0 | 48 | 1.1995 | 39.37 | 26.53 | 36.43 | 38.34 | 34.01 | 1.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.25 | 0.25 | [{'correct_answer': "Il principio del risultato, prioritario per l'esercizio del potere discrezionale e per l'individuazione della regola del caso concreto, vale per valutare la responsabilità del personale amministrativo o tecnico nelle fasi di programmazione, progettazione, affidamento ed esecuzione dei contratti. In tal senso, la contrattazione collettiva prevede l'attribuzione degli incentivi secondo le modalità previste.", 'prediction': "ions Readi diao, n �illallaiaziioni.atamentoe\ncheit de regiente:o: assietti. line.i.iament.ali ami triudicii.iice degli Appii.aliani.\naffetti � linealiano bas\n 1 1 Ili �i dio nio dalla contrattazione degttiva?i risi degministricric, degcnic, \n\n:: Il principio delllaultato � denominà d il'affercizio del potere discrezionale e per il'individuazione della regola del codo degreto. denominu d ilutare la trabilità del codale amministrativo o tecnico.elle fasi di programmazione, progettazione, affidamento ed esecuzione dei contratti. lineia, il responsattazione collettiva perie d'affazioneione delli ami sono iialità previst d"}] | microsoft/phi-2_question-answering | 2024-02-17T21:14:40.466186 |
|
| 72 |
+
| 0.5295 | 4.0 | 64 | 0.9953 | 43.0 | 32.94 | 40.89 | 42.25 | 38.87 | 1.0 | 0.0 | 0.0 | 0.25 | 0.25 | 0.25 | 0.5 | [{'correct_answer': "Le stazioni appaltanti e gli enti concedenti nell'affidamento dei contratti pubblici perseguono il risultato dell'affidamento del contratto e della sua esecuzione con la massima tempestività e il migliore rapporto possibile tra qualità e prezzo, nel rispetto dei principi di legalità, trasparenza e concorrenza.", 'prediction': "Iions Readgu di crito, e �gure mod �azisioneale �assamento.\nchit � responsguente modo: asspetettare son mod principo �aleament.llali operatoriv modivudamenti.leice degli operatorali dialiani.\n.ettare son modazo son\n princip 1 Ilit disciplio dio son modazolei dialtanti e degi enti aggenti?lla�esidareo deli contratti diblici? \n1ar: Le stazioni appaltanti e gli enti concedenti nell'affidamento dei contratti pubblici sonseguono la migpetato costi'affidamento del contratto e dei sua esecuzione de la massima tempestività e il migliore rapporto possibile tra qualità e prezzo, nel settpetto dei principi di efficità, trasparenza e concorrenza. Il\n!!!!!!!!!!!!!!!!"}] | microsoft/phi-2_question-answering | 2024-02-17T21:14:47.883605 |
|
| 73 |
+
| 0.402 | 5.0 | 80 | 1.0214 | 44.14 | 34.48 | 41.67 | 43.81 | 40.03 | 1.0 | 0.0 | 0.0 | 0.0 | 0.25 | 0.25 | 0.25 | [{'correct_answer': "Le stazioni appaltanti e gli enti concedenti nell'affidamento dei contratti pubblici perseguono il risultato dell'affidamento del contratto e della sua esecuzione con la massima tempestività e il migliore rapporto possibile tra qualità e prezzo, nel rispetto dei principi di legalità, trasparenza e concorrenza.", 'prediction': "ions Readgu contraiia s sllallaaazaioni �ettiia\ncheit del massgua riso � asspettente princip fun.i principao.llali incentivi diiudicii, principice degli assistali,alianii\nisetti agg aff�o bas\n principi Ilit critio dio agg amazioni appaltantii assi enti aggenti,lla�affidareo deli contratti risblici, \n\ni: Le stazioni appaltanti e gli enti concedenti nell'affidamento dei contratti pubblici,seguono il principultato,i'affidareo del contratto ris dei conca massecuzione con il massima tempestività, il migliore rapporto possibile tra qualità e prezzo, risel rispetto dei principi di legalità, trasparenza e concorrenza. \n!!!!!!!!!!!!!!!!"}] | microsoft/phi-2_question-answering | 2024-02-17T21:14:55.216370 |
|
| 74 |
+
| 0.2993 | 6.0 | 96 | 0.9595 | 44.66 | 35.5 | 43.23 | 44.28 | 41.06 | 1.0 | 0.0 | 0.0 | 0.0 | 0.25 | 0.25 | 0.25 | [{'correct_answer': "Le stazioni appaltanti e gli enti concedenti nell'affidamento dei contratti pubblici perseguono il risultato dell'affidamento del contratto e della sua esecuzione con la massima tempestività e il migliore rapporto possibile tra qualità e prezzo, nel rispetto dei principi di legalità, trasparenza e concorrenza.", 'prediction': 'ions " � principii, ( s slla f sonazllaco �llaoo son cheit: trllaente:o: asspetto son fun.e.o..lla. principi.iudoo. codo.li entalo (.e..etto son s.o son\n.: Ilit �io dio? fazioni appalti e degi enti aggii?lla\'esidareo deli contratti.blici? \n1.: Il stazioni appaltanti e gli enti concedenti glla\'affidamento dei contratti pubblici.seguono il principultato,i\'esidamento del contratto e dei cora esecuzione. la massima tempestività e il migliore rapporto traibile tra qualità e prezzo, nelle rispetto dei principi di legalità, trasparenza e concorrenza. \n!!!!!!!!!!!!!!!!'}] | microsoft/phi-2_question-answering | 2024-02-17T21:15:02.766227 |
|
| 75 |
+
| 0.2005 | 7.0 | 112 | 0.9776 | 46.03 | 35.23 | 43.16 | 44.58 | 41.39 | 1.0 | 0.0 | 0.0 | 0.0 | 0.0 | 0.25 | 0.25 | [{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': ', "gu contraag � � � �gu f funazgeco �llaao la cheit � regguente modo � asspetettto, fun.ge.aall.ali obiv risiudicao. presentice,li assistalo,aliane,.ettto � fun �o � D 1 Ilis disciplo la amministrativeioni aggiudicatrici e degi enti aggiudicicatori, sono servguire il mige decice deginato ed l risret diblici, appgettazione, \n1.: Le amministrazioni aggiudicatrici e gli enti aggiudicicatori che devono seguire il presente codice disciplinare per i concor pubblici di progettazione,o quelli del,anno prev conpeioneto il\'esisconione del glizi, forniture, lavori e opere med in preva del setto del \n!!!!!!!!!!!!!!'}] | microsoft/phi-2_question-answering | 2024-02-17T21:15:14.294331 |
|
| 76 |
+
| 0.1439 | 8.0 | 128 | 0.8966 | 44.68 | 36.47 | 42.58 | 43.61 | 41.19 | 1.0 | 0.0 | 0.0 | 0.25 | 0.25 | 0.25 | 0.5 | [{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': ",\ngu princip principi, aff � �gu f affàggiono � lao al cheisi � regguente modo: asspettare son base principe conaando principllali principiv principiudii.leice,li assistali,aliane.\naffetti � base principo bas\n principi Leit principo le amministrazioni aggiudicatrici e degi enti aggiudicatori?,ono affguire un principe edice deginato ed l principret principblici? affgettazione,,\n princip d: Le amministrazioni aggiudatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concor pubblici di progettazione sono quelli che,anno un dispospeito ed'esisconione del contrizi, forniture, lavori, opere med in preva del principo de \n!!!!!!!!!!!!!!"}] | microsoft/phi-2_question-answering | 2024-02-17T21:15:21.699818 |
|
| 77 |
+
| 0.0619 | 9.0 | 144 | 0.9836 | 44.56 | 36.99 | 43.52 | 44.56 | 41.64 | 1.0 | 0.0 | 0.0 | 0.25 | 0.25 | 0.25 | 0.5 | [{'correct_answer': "Gli obiettivi dell'Unione europea che vengono perseguiti dai concorsi pubblici di progettazione sono quelli dell'interesse della comunità.", 'prediction': ", Hegu princip principi agg fun � � fun fun funàggioneo �llaao e cheit � regguola modo: asspettare: fun principe:oando:llali principi aggiudicii.leice,li assistali,aliane,\n.etti � base principo base\n principi Ili amo appi entaltienti agglla'appivers depella,,istono affseguuito eal contror,blici, affgettazione, \ngl d: Gli obiettivi dell'Unione europea v vengono perseguiti dai concor pubblici di progettazione sono quelli deli'apperesse dlla regolaà, \n!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!"}] | microsoft/phi-2_question-answering | 2024-02-17T21:15:29.001088 |
|
| 78 |
+
| 0.0237 | 10.0 | 160 | 0.9552 | 45.79 | 38.27 | 44.42 | 45.46 | 42.78 | 1.0 | 0.0 | 0.0 | 0.0 | 0.25 | 0.25 | 0.5 | [{'correct_answer': "Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concorsi pubblici di progettazione sono quelli che hanno a oggetto l'acquisizione di servizi, forniture, lavori e opere, come specificato nel contesto.", 'prediction': ", Hegu princip ami, fun � � fun fun funàggioneo � lao e Ilcheit � regguola modo: asspettare son fun principe possoo:llali principi modiudicii.leice,li assistali,aliane,\n.etti � s principo �\n principi Ilit amo app amministrazioni aggiudicatrici e degi enti aggiudicatori,,ono esguire il mige decice disciplinato d l principret diblici. qualgettazione, \n1 d: Le amministrazioni aggiudicatrici e gli enti aggiudicatori che devono seguire il presente codice disciplinare per i concor pubblici di progettazione sono quelli che,anno unpropeito d'esisisione del contrizi, forniture, lavori e opere med in prevo del setto de \n!!!!!!!!!!!!!!"}] | microsoft/phi-2_question-answering | 2024-02-17T21:15:36.490162 |
|
| 79 |
|
| 80 |
|
| 81 |
### Framework versions
|
adapter_config.json
CHANGED
|
@@ -20,9 +20,9 @@
|
|
| 20 |
"revision": null,
|
| 21 |
"target_modules": [
|
| 22 |
"Wqkv",
|
|
|
|
| 23 |
"fc2",
|
| 24 |
-
"out_proj"
|
| 25 |
-
"fc1"
|
| 26 |
],
|
| 27 |
"task_type": "CAUSAL_LM",
|
| 28 |
"use_rslora": false
|
|
|
|
| 20 |
"revision": null,
|
| 21 |
"target_modules": [
|
| 22 |
"Wqkv",
|
| 23 |
+
"fc1",
|
| 24 |
"fc2",
|
| 25 |
+
"out_proj"
|
|
|
|
| 26 |
],
|
| 27 |
"task_type": "CAUSAL_LM",
|
| 28 |
"use_rslora": false
|
adapter_model.safetensors
CHANGED
|
@@ -1,3 +1,3 @@
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
-
oid sha256:
|
| 3 |
size 83919184
|
|
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:7b20322d69db1307e549097c18e6af2ba4f8fb2e5f5f3d9eb5e5b50c6682cbd2
|
| 3 |
size 83919184
|
training_args.bin
CHANGED
|
@@ -1,3 +1,3 @@
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
-
oid sha256:
|
| 3 |
size 4411
|
|
|
|
| 1 |
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:1c1117f0e21680856690ea17c7e03d2a5e74cf52ef4048bdd4585d58629675b3
|
| 3 |
size 4411
|