telodigoensergio commited on
Commit
a24b98a
1 Parent(s): 971fc1f

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +18 -7
README.md CHANGED
@@ -1,21 +1,34 @@
1
  ---
2
  library_name: transformers
3
- tags: []
 
 
 
4
  ---
5
 
6
  # Model Card for Model ID
7
 
8
- <!-- Provide a quick summary of what the model is/does. -->
 
9
 
10
 
11
 
12
  ## Model Details
13
 
14
  ### Model Description
 
 
15
 
16
- <!-- Provide a longer summary of what this model is. -->
 
 
 
 
 
 
 
 
17
 
18
- This is the model card of a 🤗 transformers model that has been pushed on the Hub. This model card has been automatically generated.
19
 
20
  - **Developed by:** [More Information Needed]
21
  - **Funded by [optional]:** [More Information Needed]
@@ -196,6 +209,4 @@ Carbon emissions can be estimated using the [Machine Learning Impact calculator]
196
 
197
  ## Model Card Contact
198
 
199
- [More Information Needed]
200
-
201
-
 
1
  ---
2
  library_name: transformers
3
+ datasets:
4
+ - telodigoensergio/lc-gpt3.5
5
+ language:
6
+ - es
7
  ---
8
 
9
  # Model Card for Model ID
10
 
11
+ Este modelo es el primer paso hacia un modelo de lenguaje que pueda usarse para reescribir de textos de carácter adminsitrativo
12
+ con el objetivo de mejorar su comprensión para personas con alto y bajo nivel cultural y socieconómico.
13
 
14
 
15
 
16
  ## Model Details
17
 
18
  ### Model Description
19
+ El modelo es el resultado de un proceso de ajuste fino de phi-2, desarrollado por microsoft con unos 2.5b de parámetros. Para el
20
+ ajuste se han extraído multitud de textos de índole administrativa de las principales páginas web de la administración del Estado español.
21
 
22
+ Para la carga y ajuste del modelo se han utilizado técnicas de cuantización con la siguiente configuración:
23
+
24
+ bnb_config = BitsAndBytesConfig(load_in_4bit=True,
25
+ bnb_4bit_quant_type='nf4',
26
+ bnb_4bit_compute_dtype='float16',
27
+ bnb_4bit_use_double_quant=True)
28
+
29
+
30
+ y se ha aplicado LoRA a las capas lineales para el fine-tunning.
31
 
 
32
 
33
  - **Developed by:** [More Information Needed]
34
  - **Funded by [optional]:** [More Information Needed]
 
209
 
210
  ## Model Card Contact
211
 
212
+ [More Information Needed]