File size: 7,034 Bytes
a0cc83b 918e05d a0cc83b 31d7a11 a0cc83b be15288 98557d3 31d7a11 a0cc83b ecd99bf be15288 a0cc83b 918e05d a0cc83b be15288 98557d3 be15288 f6120f8 be15288 f6120f8 be15288 a0cc83b 918e05d a0cc83b be15288 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 |
---
license: apache-2.0
base_model: google/flan-t5-small
tags:
- generated_from_trainer
- summarization
- portuguese
metrics:
- rouge
model-index:
- name: flan-t5-base
results: []
datasets:
- recogna-nlp/recognasumm
language:
- pt
library_name: transformers
pipeline_tag: summarization
widget:
- text: >-
sumarize: Na segunda disputa estadual para escolher o candidato do partido
republicano para as eleições de novembro nos Estados Unidos, o ex-presidente
Donald Trump teve mais uma vitória. Ele venceu as primárias em New
Hampshire, que ocorreram na terça-feira (23/01). Antes disso, o favoritismo
de Trump, apontado por diversas pesquisas, foi visto em sua vitória na
primeira prévia do calendário eleitoral americano, em Iowa. Naquele Estado,
Trump registrou 51% dos votos e vantagem de 30 pontos sobre o segundo
colocado, o governador da Flórida, Ron DeSantis. No domingo (21/1), DeSantis
anunciou sua desistência da corrida presidencial de 2024 e manifestou apoio
a Trump. O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos
nas Nações Unidas, como a única rival significativa de Trump no partido.
example_title: Resumo 1
- text: >-
sumarize: No que consiste o transtorno dismórfico corporal? São pessoas que
se acham feias e querem mudar sua aparência de forma obsessiva, mesmo que
não tenham nenhum problema. Num dos estudos que fiz, detectamos que de 50% a
54% dos pacientes que procuram cirurgia de face, nariz ou abdômen apresentam
essa condição. A cirurgia pode beneficiar aqueles com um quadro leve ou
intermediário do transtorno. No entanto, os que apresentam um transtorno
mais grave não devem ser operados, e sim encaminhados para tratamento
psicológico. A maior dificuldade é que aceitem ajuda. Muitos preferem buscar
um médico que dê sinal verde para a intervenção.
example_title: Resumo 2
---
<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->
# flan-t5-portuguese-small-summarization
This model aims to help supply the needs of models in the Portuguese language for certain tasks. The model presents a good performance for summary tasks.
Some errors due to word accentuation may occasionally occur due to the small version of the model.
model_max_length = 512
- Loss: 1.6541
- Rouge1: 16.3352
- Rouge2: 6.2366
- Rougel: 14.1335
- Rougelsum: 15.2755
- Gen Len: 19.0
GPU: RTX 3060, 12GB, =~3500 cuda cores
```python
!pip install transformers
from transformers import pipeline
summarization = pipeline("summarization", model="rhaymison/flan-t5-portuguese-small-summarization", tokenizer="rhaymison/flan-t5-portuguese-small-summarization")
prompt =f"""
sumarize: No que consiste o transtorno dismórfico corporal? São pessoas que se acham feias e querem mudar sua aparência de forma obsessiva, mesmo que não tenham nenhum problema. Num dos estudos que fiz, detectamos que de 50% a 54% dos pacientes que procuram cirurgia de face, nariz ou abdômen apresentam essa condição. A cirurgia pode beneficiar aqueles com um quadro leve ou intermediário do transtorno. No entanto, os que apresentam um transtorno mais grave não devem ser operados, e sim encaminhados para tratamento psicológico. A maior dificuldade é que aceitem ajuda. Muitos preferem buscar um médico que dê sinal verde para a intervenção.
"""
output = summarization(prompt)
#Transtorno dismórfico corporal: o que apresenta o transtorno no deve ser operados, e sim encaminhados para tratamento psicológico.
#A cirurgia pode beneficiar aqueles com um quadro leve ou intermediário do transtornamento, nariz ou abdômen.
```
## Model description
More information needed
## Intended uses & limitations
More information needed
## Training and evaluation data
More information needed
## Training procedure
### Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 5e-05
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- gradient_accumulation_steps: 2
- total_train_batch_size: 16
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 5
### Training results
| Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | Gen Len |
|:-------------:|:-----:|:----:|:---------------:|:-------:|:------:|:-------:|:---------:|:-------:|
| 1.847 | 0.27 | 500 | 1.7443 | 15.4969 | 5.9408 | 13.5074 | 14.5518 | 19.0 |
| 1.8333 | 0.53 | 1000 | 1.7194 | 15.6496 | 5.8641 | 13.5584 | 14.669 | 19.0 |
| 1.8043 | 0.8 | 1500 | 1.7209 | 15.8523 | 6.0544 | 13.7563 | 14.8941 | 19.0 |
| 1.7903 | 1.07 | 2000 | 1.7156 | 15.8969 | 6.0071 | 13.7534 | 14.8513 | 19.0 |
| 1.7862 | 1.33 | 2500 | 1.7007 | 15.8441 | 5.958 | 13.66 | 14.7226 | 19.0 |
| 1.7687 | 1.6 | 3000 | 1.6949 | 15.9134 | 6.0486 | 13.9238 | 14.9171 | 19.0 |
| 1.7724 | 1.87 | 3500 | 1.6909 | 15.8827 | 5.8941 | 13.7195 | 14.8736 | 19.0 |
| 1.7653 | 2.13 | 4000 | 1.6811 | 16.0819 | 5.9791 | 13.8639 | 15.0031 | 19.0 |
| 1.7392 | 2.4 | 4500 | 1.6761 | 15.706 | 5.7384 | 13.5978 | 14.7374 | 19.0 |
| 1.7578 | 2.67 | 5000 | 1.6729 | 15.8926 | 5.9629 | 13.767 | 14.9088 | 19.0 |
| 1.7353 | 2.93 | 5500 | 1.6675 | 16.0266 | 5.9024 | 13.8471 | 14.9721 | 19.0 |
| 1.7425 | 3.2 | 6000 | 1.6626 | 16.0732 | 6.1141 | 13.9016 | 15.0673 | 19.0 |
| 1.73 | 3.47 | 6500 | 1.6631 | 16.1333 | 6.0951 | 13.9551 | 15.0686 | 19.0 |
| 1.7355 | 3.73 | 7000 | 1.6616 | 16.1704 | 6.1575 | 14.0481 | 15.079 | 19.0 |
| 1.7139 | 4.0 | 7500 | 1.6572 | 16.2592 | 6.25 | 14.0403 | 15.1851 | 19.0 |
| 1.7188 | 4.27 | 8000 | 1.6580 | 16.1572 | 6.0661 | 14.0029 | 15.0935 | 19.0 |
| 1.7045 | 4.53 | 8500 | 1.6560 | 16.1409 | 6.1478 | 13.9806 | 15.0795 | 19.0 |
| 1.7201 | 4.8 | 9000 | 1.6541 | 16.3352 | 6.2366 | 14.1335 | 15.2755 | 19.0 |
### Framework versions
- Transformers 4.38.2
- Pytorch 2.2.1+cu121
- Datasets 2.18.0
- Tokenizers 0.15.2
### Comments
Any idea, help or report will always be welcome.
email: rhaymisoncristian@gmail.com
<div style="display:flex; flex-direction:row; justify-content:left">
<a href="https://www.linkedin.com/in/heleno-betini-2b3016175/" target="_blank">
<img src="https://img.shields.io/badge/LinkedIn-0077B5?style=for-the-badge&logo=linkedin&logoColor=white">
</a>
<a href="https://github.com/rhaymisonbetini" target="_blank">
<img src="https://img.shields.io/badge/GitHub-100000?style=for-the-badge&logo=github&logoColor=white">
</a>
</div> |