phi2_question_answering_finetuining_syntetic

README.md

@@ -5,6 +5,8 @@ tags:
 - trl
 - sft
 - generated_from_trainer
+metrics:
+- rouge
 base_model: microsoft/phi-2
 model-index:
 - name: phi2_question_answering_finetuining_syntetic
@@ -17,6 +19,23 @@ should probably proofread and complete it, then remove this comment. -->
 # phi2_question_answering_finetuining_syntetic
 
 This model is a fine-tuned version of [microsoft/phi-2](https://huggingface.co/microsoft/phi-2) on the None dataset.
+It achieves the following results on the evaluation set:
+- Loss: 1.1354
+- Rouge1: 44.77
+- Rouge2: 27.29
+- Rougel: 39.79
+- Rougelsum: 43.69
+- R: 37.08
+- Gen Len: 1.0
+- R@1: 0.0
+- R@3: 0.0
+- R@5: 0.25
+- R@10: 0.25
+- R@20: 0.25
+- R@50: 0.5
+- Sample: [{'correct_answer': "Il principio del risultato guida l'esercizio del potere discrezionale e la selezione della regola del caso concreto nei contratti di appalto e di concessione, in base alla disposizione del codice disciplinato dal D.lgs. N. 36/2023.", 'prediction': 'or "gment mod modanti de e son cont l modpruzion del delettamento att Le oisi, regzire moden, costpetettent, modalian legal,aament,ili modima modi deamenti delleice deli affareni,aliani, Leaffetti e qualiano � Le"ale Leit regio �ad per\'esecizione del potere discrezionale? l trzione deli regola del codo concreto?lla principatti pub servaltto, de legalione, \nAnswer Le: Le principio del risultato �ad l\'esercizio del potere discrezionale e la selezione della regola del caso concreto nei contratti di appalto e di concessione � per partic alla massizione del potice deginare,al princip.lgs. n.o/2021, \n!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!'}]
+- Model Name: microsoft/phi-2_question-answering
+- Datetime: 2024-02-17T21:13:09.977409
 
 ## Model description
 
@@ -39,14 +58,16 @@ The following hyperparameters were used during training:
 - train_batch_size: 1
 - eval_batch_size: 1
 - seed: 42
-- gradient_accumulation_steps: 10
-- total_train_batch_size: 10
 - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
 - lr_scheduler_type: linear
 - num_epochs: 2
 
 ### Training results
 
+| Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | R     | Gen Len | R@1 | R@3 | R@5  | R@10 | R@20 | R@50 | Sample                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  | Model Name                         | Datetime                   |
+|:-------------:|:-----:|:----:|:---------------:|:------:|:------:|:------:|:---------:|:-----:|:-------:|:---:|:---:|:----:|:----:|:----:|:----:|:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------:|:----------------------------------:|:--------------------------:|
+| 2.0235        | 1.0   | 16   | 1.6269          | 34.72  | 18.76  | 30.45  | 33.4      | 27.85 | 1.0     | 0.0 | 0.0 | 0.25 | 0.25 | 0.25 | 0.5  | [{'correct_answer': "Il principio del risultato guida l'esercizio del potere discrezionale e la selezione della regola del caso concreto nei contratti di appalto e di concessione, in base alla disposizione del codice disciplinato dal D.lgs. N. 36/2023.", 'prediction': 'ors "vere, principiz per per perz per regcruzioni delettivei tr cheisi per regzenza reganda: funultettenza per funaliane:seando.llali regim regi perii per risice delli esarei.aliani. isondi per esaliano � "i it risio �ad per\'esercizio del risere delrezionale per per trzione dellla regola del caso.reto.lla casatti pub tralto. reg casione. \n# : Le principio gu risultato �ida l\'esercizio del potere discrezionale e la selezione della regola del caso concreto nei contratti di appalto e di concessione. per fun ala regizione del risice deginario.\' cas.lgs. n.r/2021, \n!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!'}]                                   | microsoft/phi-2_question-answering | 2024-02-17T21:13:02.031968 |
+| 0.9994        | 2.0   | 32   | 1.1354          | 44.77  | 27.29  | 39.79  | 43.69     | 37.08 | 1.0     | 0.0 | 0.0 | 0.25 | 0.25 | 0.25 | 0.5  | [{'correct_answer': "Il principio del risultato guida l'esercizio del potere discrezionale e la selezione della regola del caso concreto nei contratti di appalto e di concessione, in base alla disposizione del codice disciplinato dal D.lgs. N. 36/2023.", 'prediction': 'or "gment mod modanti de e son cont l modpruzion del delettamento att Le oisi, regzire moden, costpetettent, modalian legal,aament,ili modima modi deamenti delleice deli affareni,aliani, Leaffetti e qualiano � Le"ale Leit regio �ad per\'esecizione del potere discrezionale? l trzione deli regola del codo concreto?lla principatti pub servaltto, de legalione, \nAnswer Le: Le principio del risultato �ad l\'esercizio del potere discrezionale e la selezione della regola del caso concreto nei contratti di appalto e di concessione � per partic alla massizione del potice deginare,al princip.lgs. n.o/2021, \n!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!'}] | microsoft/phi-2_question-answering | 2024-02-17T21:13:09.977409 |
 
 
 ### Framework versions

adapter_config.json

@@ -19,10 +19,10 @@
   "rank_pattern": {},
   "revision": null,
   "target_modules": [
-    "fc1",
     "Wqkv",
+    "fc2",
     "out_proj",
-    "fc2"
+    "fc1"
   ],
   "task_type": "CAUSAL_LM",
   "use_rslora": false

adapter_model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:f0b1b11bc7d381a71e6da4506251d6ef46e7ba71b52a6ba747982d51b36fef8f
+oid sha256:3d7e095704269c9c452ecc0d4c8ff76ca34b2fe6288cc345fb2501930be11ac5
 size 83919184

tokenizer.json

@@ -1,6 +1,11 @@
 {
   "version": "1.0",
-  "truncation": null,
+  "truncation": {
+    "direction": "Right",
+    "max_length": 1024,
+    "strategy": "LongestFirst",
+    "stride": 0
+  },
   "padding": null,
   "added_tokens": [
     {

training_args.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:783ad6aa4571a62017060192cc7fe03fff880c00ff00cd481dcaa60da33d13fe
+oid sha256:92fce6df62d41300fb0b4b49909bac8f19c0becd5473d9466ef012661aae2301
 size 4411