File size: 6,927 Bytes

---
license: apache-2.0
base_model: google/flan-t5-small
tags:
- generated_from_trainer
metrics:
- rouge
model-index:
- name: flan-t5-base
  results: []
datasets:
- recogna-nlp/recognasumm
language:
- pt
library_name: transformers
pipeline_tag: summarization
widget:
- text: "sumarize: Na segunda disputa estadual para escolher o candidato do partido republicano para as eleições de novembro nos Estados Unidos, o ex-presidente Donald Trump teve mais uma vitória. Ele venceu as primárias em New Hampshire, que ocorreram na terça-feira (23/01). Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto em sua vitória na primeira prévia do calendário eleitoral americano, em Iowa. Naquele Estado, Trump registrou 51% dos votos e vantagem de 30 pontos sobre o segundo colocado, o governador da Flórida, Ron DeSantis. No domingo (21/1), DeSantis anunciou sua desistência da corrida presidencial de 2024 e manifestou apoio a Trump. O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos nas Nações Unidas, como a única rival significativa de Trump no partido."
  example_title: "Resumo 1"
- text: "sumarize: No que consiste o transtorno dismórfico corporal? São pessoas que se acham feias e querem mudar sua aparência de forma obsessiva, mesmo que não tenham nenhum problema. Num dos estudos que fiz, detectamos que de 50% a 54% dos pacientes que procuram cirurgia de face, nariz ou abdômen apresentam essa condição. A cirurgia pode beneficiar aqueles com um quadro leve ou intermediário do transtorno. No entanto, os que apresentam um transtorno mais grave não devem ser operados, e sim encaminhados para tratamento psicológico. A maior dificuldade é que aceitem ajuda. Muitos preferem buscar um médico que dê sinal verde para a intervenção."
  example_title: "Resumo 2"
---

<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

# flan-t5-portuguese-small-summarization

This model aims to help supply the needs of models in the Portuguese language for certain tasks. The model presents a good performance for summary tasks. 
Some errors due to word accentuation may occasionally occur due to the small version of the model.

model_max_length = 512

- Loss: 1.6541
- Rouge1: 16.3352
- Rouge2: 6.2366
- Rougel: 14.1335
- Rougelsum: 15.2755
- Gen Len: 19.0

GPU: RTX 3060, 12GB, =~3500 cuda cores

```python
!pip install transformers
from transformers import pipeline
summarization = pipeline("summarization", model="rhaymison/flan-t5-portuguese-small-summarization", tokenizer="rhaymison/flan-t5-portuguese-small-summarization")

prompt =f"""
sumarize: No que consiste o transtorno dismórfico corporal? São pessoas que se acham feias e querem mudar sua aparência de forma obsessiva, mesmo que não tenham nenhum problema. Num dos estudos que fiz, detectamos que de 50% a 54% dos pacientes que procuram cirurgia de face, nariz ou abdômen apresentam essa condição. A cirurgia pode beneficiar aqueles com um quadro leve ou intermediário do transtorno. No entanto, os que apresentam um transtorno mais grave não devem ser operados, e sim encaminhados para tratamento psicológico. A maior dificuldade é que aceitem ajuda. Muitos preferem buscar um médico que dê sinal verde para a intervenção.
"""
output =  summarization(prompt)

#Transtorno dismórfico corporal: o que apresenta o transtorno no deve ser operados, e sim encaminhados para tratamento psicológico. 
#A cirurgia pode beneficiar aqueles com um quadro leve ou intermediário do transtornamento, nariz ou abdômen.
```

## Model description

More information needed

## Intended uses & limitations

More information needed

## Training and evaluation data

More information needed

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 5e-05
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- gradient_accumulation_steps: 2
- total_train_batch_size: 16
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 5

### Training results

| Training Loss | Epoch | Step | Validation Loss | Rouge1  | Rouge2 | Rougel  | Rougelsum | Gen Len |
|:-------------:|:-----:|:----:|:---------------:|:-------:|:------:|:-------:|:---------:|:-------:|
| 1.847         | 0.27  | 500  | 1.7443          | 15.4969 | 5.9408 | 13.5074 | 14.5518   | 19.0    |
| 1.8333        | 0.53  | 1000 | 1.7194          | 15.6496 | 5.8641 | 13.5584 | 14.669    | 19.0    |
| 1.8043        | 0.8   | 1500 | 1.7209          | 15.8523 | 6.0544 | 13.7563 | 14.8941   | 19.0    |
| 1.7903        | 1.07  | 2000 | 1.7156          | 15.8969 | 6.0071 | 13.7534 | 14.8513   | 19.0    |
| 1.7862        | 1.33  | 2500 | 1.7007          | 15.8441 | 5.958  | 13.66   | 14.7226   | 19.0    |
| 1.7687        | 1.6   | 3000 | 1.6949          | 15.9134 | 6.0486 | 13.9238 | 14.9171   | 19.0    |
| 1.7724        | 1.87  | 3500 | 1.6909          | 15.8827 | 5.8941 | 13.7195 | 14.8736   | 19.0    |
| 1.7653        | 2.13  | 4000 | 1.6811          | 16.0819 | 5.9791 | 13.8639 | 15.0031   | 19.0    |
| 1.7392        | 2.4   | 4500 | 1.6761          | 15.706  | 5.7384 | 13.5978 | 14.7374   | 19.0    |
| 1.7578        | 2.67  | 5000 | 1.6729          | 15.8926 | 5.9629 | 13.767  | 14.9088   | 19.0    |
| 1.7353        | 2.93  | 5500 | 1.6675          | 16.0266 | 5.9024 | 13.8471 | 14.9721   | 19.0    |
| 1.7425        | 3.2   | 6000 | 1.6626          | 16.0732 | 6.1141 | 13.9016 | 15.0673   | 19.0    |
| 1.73          | 3.47  | 6500 | 1.6631          | 16.1333 | 6.0951 | 13.9551 | 15.0686   | 19.0    |
| 1.7355        | 3.73  | 7000 | 1.6616          | 16.1704 | 6.1575 | 14.0481 | 15.079    | 19.0    |
| 1.7139        | 4.0   | 7500 | 1.6572          | 16.2592 | 6.25   | 14.0403 | 15.1851   | 19.0    |
| 1.7188        | 4.27  | 8000 | 1.6580          | 16.1572 | 6.0661 | 14.0029 | 15.0935   | 19.0    |
| 1.7045        | 4.53  | 8500 | 1.6560          | 16.1409 | 6.1478 | 13.9806 | 15.0795   | 19.0    |
| 1.7201        | 4.8   | 9000 | 1.6541          | 16.3352 | 6.2366 | 14.1335 | 15.2755   | 19.0    |


### Framework versions

- Transformers 4.38.2
- Pytorch 2.2.1+cu121
- Datasets 2.18.0
- Tokenizers 0.15.2

### Comments

Any idea, help or report will always be welcome.

email: rhaymisoncristian@gmail.com

 <div style="display:flex; flex-direction:row; justify-content:left">
    <a href="https://www.linkedin.com/in/heleno-betini-2b3016175/" target="_blank">
    <img src="https://img.shields.io/badge/LinkedIn-0077B5?style=for-the-badge&logo=linkedin&logoColor=white">
  </a>
  <a href="https://github.com/rhaymisonbetini" target="_blank">
    <img src="https://img.shields.io/badge/GitHub-100000?style=for-the-badge&logo=github&logoColor=white">
  </a>
 </div>