ennioferreirab
commited on
Commit
•
007c0f9
1
Parent(s):
172a9d5
Update README.md
Browse files
README.md
CHANGED
@@ -8,11 +8,24 @@ tags:
|
|
8 |
|
9 |
---
|
10 |
|
11 |
-
#
|
12 |
|
13 |
-
|
14 |
|
15 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
16 |
|
17 |
## Usage (Sentence-Transformers)
|
18 |
|
|
|
8 |
|
9 |
---
|
10 |
|
11 |
+
# anatel/bert-augmented-pt-anatel
|
12 |
|
13 |
+
O modelo foi treinado seguindo a estratégia descrita no [Augmented SBERT](https://www.sbert.net/examples/training/data_augmentation/README.html) para retreinar o modelo BERT para o contexto da Anatel. O objetivo final é retreinar o modelo BERT mesmo com poucos textos rotulados para a tarefa desejada. Para a execução do script é necessário ter o modelo cross-encoder que pode ser encontrado em https://huggingface.co/anatel/cross-encoder-pt-anatel-metadados-assunto
|
14 |
|
15 |
+
Config :
|
16 |
+
|
17 |
+
```
|
18 |
+
Total de exemplos de treino = 646437
|
19 |
+
Total de exemplos de validação = 6530.
|
20 |
+
Epochs = 3
|
21 |
+
max_length = 512
|
22 |
+
train_batch_size = 8
|
23 |
+
Tempo de duração ~ 18h
|
24 |
+
Métricas = Cosine-Similarity : Pearson: 0.9359 Spearman: 0.8874
|
25 |
+
```
|
26 |
+
|
27 |
+
|
28 |
+
# Texto default pacote sentence_transformers
|
29 |
|
30 |
## Usage (Sentence-Transformers)
|
31 |
|