|
--- |
|
license: apache-2.0 |
|
base_model: google/flan-t5-small |
|
tags: |
|
- generated_from_trainer |
|
- summarization |
|
- portuguese |
|
metrics: |
|
- rouge |
|
model-index: |
|
- name: flan-t5-base |
|
results: [] |
|
datasets: |
|
- recogna-nlp/recognasumm |
|
language: |
|
- pt |
|
library_name: transformers |
|
pipeline_tag: summarization |
|
widget: |
|
- text: >- |
|
sumarize: Na segunda disputa estadual para escolher o candidato do partido |
|
republicano para as eleições de novembro nos Estados Unidos, o ex-presidente |
|
Donald Trump teve mais uma vitória. Ele venceu as primárias em New |
|
Hampshire, que ocorreram na terça-feira (23/01). Antes disso, o favoritismo |
|
de Trump, apontado por diversas pesquisas, foi visto em sua vitória na |
|
primeira prévia do calendário eleitoral americano, em Iowa. Naquele Estado, |
|
Trump registrou 51% dos votos e vantagem de 30 pontos sobre o segundo |
|
colocado, o governador da Flórida, Ron DeSantis. No domingo (21/1), DeSantis |
|
anunciou sua desistência da corrida presidencial de 2024 e manifestou apoio |
|
a Trump. O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos |
|
nas Nações Unidas, como a única rival significativa de Trump no partido. |
|
example_title: Resumo 1 |
|
- text: >- |
|
sumarize: No que consiste o transtorno dismórfico corporal? São pessoas que |
|
se acham feias e querem mudar sua aparência de forma obsessiva, mesmo que |
|
não tenham nenhum problema. Num dos estudos que fiz, detectamos que de 50% a |
|
54% dos pacientes que procuram cirurgia de face, nariz ou abdômen apresentam |
|
essa condição. A cirurgia pode beneficiar aqueles com um quadro leve ou |
|
intermediário do transtorno. No entanto, os que apresentam um transtorno |
|
mais grave não devem ser operados, e sim encaminhados para tratamento |
|
psicológico. A maior dificuldade é que aceitem ajuda. Muitos preferem buscar |
|
um médico que dê sinal verde para a intervenção. |
|
example_title: Resumo 2 |
|
--- |
|
|
|
<!-- This model card has been generated automatically according to the information the Trainer had access to. You |
|
should probably proofread and complete it, then remove this comment. --> |
|
|
|
# flan-t5-portuguese-small-summarization |
|
|
|
This model aims to help supply the needs of models in the Portuguese language for certain tasks. The model presents a good performance for summary tasks. |
|
Some errors due to word accentuation may occasionally occur due to the small version of the model. |
|
|
|
model_max_length = 512 |
|
|
|
- Loss: 1.6541 |
|
- Rouge1: 16.3352 |
|
- Rouge2: 6.2366 |
|
- Rougel: 14.1335 |
|
- Rougelsum: 15.2755 |
|
- Gen Len: 19.0 |
|
|
|
GPU: RTX 3060, 12GB, =~3500 cuda cores |
|
|
|
```python |
|
!pip install transformers |
|
from transformers import pipeline |
|
summarization = pipeline("summarization", model="rhaymison/flan-t5-portuguese-small-summarization", tokenizer="rhaymison/flan-t5-portuguese-small-summarization") |
|
|
|
prompt =f""" |
|
sumarize: No que consiste o transtorno dismórfico corporal? São pessoas que se acham feias e querem mudar sua aparência de forma obsessiva, mesmo que não tenham nenhum problema. Num dos estudos que fiz, detectamos que de 50% a 54% dos pacientes que procuram cirurgia de face, nariz ou abdômen apresentam essa condição. A cirurgia pode beneficiar aqueles com um quadro leve ou intermediário do transtorno. No entanto, os que apresentam um transtorno mais grave não devem ser operados, e sim encaminhados para tratamento psicológico. A maior dificuldade é que aceitem ajuda. Muitos preferem buscar um médico que dê sinal verde para a intervenção. |
|
""" |
|
output = summarization(prompt) |
|
|
|
#Transtorno dismórfico corporal: o que apresenta o transtorno no deve ser operados, e sim encaminhados para tratamento psicológico. |
|
#A cirurgia pode beneficiar aqueles com um quadro leve ou intermediário do transtornamento, nariz ou abdômen. |
|
``` |
|
|
|
## Model description |
|
|
|
More information needed |
|
|
|
## Intended uses & limitations |
|
|
|
More information needed |
|
|
|
## Training and evaluation data |
|
|
|
More information needed |
|
|
|
## Training procedure |
|
|
|
### Training hyperparameters |
|
|
|
The following hyperparameters were used during training: |
|
- learning_rate: 5e-05 |
|
- train_batch_size: 8 |
|
- eval_batch_size: 8 |
|
- seed: 42 |
|
- gradient_accumulation_steps: 2 |
|
- total_train_batch_size: 16 |
|
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 |
|
- lr_scheduler_type: linear |
|
- num_epochs: 5 |
|
|
|
### Training results |
|
|
|
| Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | Gen Len | |
|
|:-------------:|:-----:|:----:|:---------------:|:-------:|:------:|:-------:|:---------:|:-------:| |
|
| 1.847 | 0.27 | 500 | 1.7443 | 15.4969 | 5.9408 | 13.5074 | 14.5518 | 19.0 | |
|
| 1.8333 | 0.53 | 1000 | 1.7194 | 15.6496 | 5.8641 | 13.5584 | 14.669 | 19.0 | |
|
| 1.8043 | 0.8 | 1500 | 1.7209 | 15.8523 | 6.0544 | 13.7563 | 14.8941 | 19.0 | |
|
| 1.7903 | 1.07 | 2000 | 1.7156 | 15.8969 | 6.0071 | 13.7534 | 14.8513 | 19.0 | |
|
| 1.7862 | 1.33 | 2500 | 1.7007 | 15.8441 | 5.958 | 13.66 | 14.7226 | 19.0 | |
|
| 1.7687 | 1.6 | 3000 | 1.6949 | 15.9134 | 6.0486 | 13.9238 | 14.9171 | 19.0 | |
|
| 1.7724 | 1.87 | 3500 | 1.6909 | 15.8827 | 5.8941 | 13.7195 | 14.8736 | 19.0 | |
|
| 1.7653 | 2.13 | 4000 | 1.6811 | 16.0819 | 5.9791 | 13.8639 | 15.0031 | 19.0 | |
|
| 1.7392 | 2.4 | 4500 | 1.6761 | 15.706 | 5.7384 | 13.5978 | 14.7374 | 19.0 | |
|
| 1.7578 | 2.67 | 5000 | 1.6729 | 15.8926 | 5.9629 | 13.767 | 14.9088 | 19.0 | |
|
| 1.7353 | 2.93 | 5500 | 1.6675 | 16.0266 | 5.9024 | 13.8471 | 14.9721 | 19.0 | |
|
| 1.7425 | 3.2 | 6000 | 1.6626 | 16.0732 | 6.1141 | 13.9016 | 15.0673 | 19.0 | |
|
| 1.73 | 3.47 | 6500 | 1.6631 | 16.1333 | 6.0951 | 13.9551 | 15.0686 | 19.0 | |
|
| 1.7355 | 3.73 | 7000 | 1.6616 | 16.1704 | 6.1575 | 14.0481 | 15.079 | 19.0 | |
|
| 1.7139 | 4.0 | 7500 | 1.6572 | 16.2592 | 6.25 | 14.0403 | 15.1851 | 19.0 | |
|
| 1.7188 | 4.27 | 8000 | 1.6580 | 16.1572 | 6.0661 | 14.0029 | 15.0935 | 19.0 | |
|
| 1.7045 | 4.53 | 8500 | 1.6560 | 16.1409 | 6.1478 | 13.9806 | 15.0795 | 19.0 | |
|
| 1.7201 | 4.8 | 9000 | 1.6541 | 16.3352 | 6.2366 | 14.1335 | 15.2755 | 19.0 | |
|
|
|
|
|
### Framework versions |
|
|
|
- Transformers 4.38.2 |
|
- Pytorch 2.2.1+cu121 |
|
- Datasets 2.18.0 |
|
- Tokenizers 0.15.2 |
|
|
|
### Comments |
|
|
|
Any idea, help or report will always be welcome. |
|
|
|
email: rhaymisoncristian@gmail.com |
|
|
|
<div style="display:flex; flex-direction:row; justify-content:left"> |
|
<a href="https://www.linkedin.com/in/heleno-betini-2b3016175/" target="_blank"> |
|
<img src="https://img.shields.io/badge/LinkedIn-0077B5?style=for-the-badge&logo=linkedin&logoColor=white"> |
|
</a> |
|
<a href="https://github.com/rhaymisonbetini" target="_blank"> |
|
<img src="https://img.shields.io/badge/GitHub-100000?style=for-the-badge&logo=github&logoColor=white"> |
|
</a> |
|
</div> |
