metadata

license: apache-2.0
base_model: google/flan-t5-small
tags:
  - generated_from_trainer
  - summarization
  - portuguese
metrics:
  - rouge
model-index:
  - name: flan-t5-base
    results: []
datasets:
  - recogna-nlp/recognasumm
language:
  - pt
library_name: transformers
pipeline_tag: summarization
widget:
  - text: >-
      sumarize: Na segunda disputa estadual para escolher o candidato do partido
      republicano para as eleições de novembro nos Estados Unidos, o
      ex-presidente Donald Trump teve mais uma vitória. Ele venceu as primárias
      em New Hampshire, que ocorreram na terça-feira (23/01). Antes disso, o
      favoritismo de Trump, apontado por diversas pesquisas, foi visto em sua
      vitória na primeira prévia do calendário eleitoral americano, em Iowa.
      Naquele Estado, Trump registrou 51% dos votos e vantagem de 30 pontos
      sobre o segundo colocado, o governador da Flórida, Ron DeSantis. No
      domingo (21/1), DeSantis anunciou sua desistência da corrida presidencial
      de 2024 e manifestou apoio a Trump. O movimento deixou Nikki Haley,
      ex-embaixadora dos Estados Unidos nas Nações Unidas, como a única rival
      significativa de Trump no partido.
    example_title: Resumo 1
  - text: >-
      sumarize: No que consiste o transtorno dismórfico corporal? São pessoas
      que se acham feias e querem mudar sua aparência de forma obsessiva, mesmo
      que não tenham nenhum problema. Num dos estudos que fiz, detectamos que de
      50% a 54% dos pacientes que procuram cirurgia de face, nariz ou abdômen
      apresentam essa condição. A cirurgia pode beneficiar aqueles com um quadro
      leve ou intermediário do transtorno. No entanto, os que apresentam um
      transtorno mais grave não devem ser operados, e sim encaminhados para
      tratamento psicológico. A maior dificuldade é que aceitem ajuda. Muitos
      preferem buscar um médico que dê sinal verde para a intervenção.
    example_title: Resumo 2

flan-t5-portuguese-small-summarization

This model aims to help supply the needs of models in the Portuguese language for certain tasks. The model presents a good performance for summary tasks. Some errors due to word accentuation may occasionally occur due to the small version of the model.

model_max_length = 512

Loss: 1.6541
Rouge1: 16.3352
Rouge2: 6.2366
Rougel: 14.1335
Rougelsum: 15.2755
Gen Len: 19.0

GPU: RTX 3060, 12GB, =~3500 cuda cores

!pip install transformers
from transformers import pipeline
summarization = pipeline("summarization", model="rhaymison/flan-t5-portuguese-small-summarization", tokenizer="rhaymison/flan-t5-portuguese-small-summarization")

prompt =f"""
sumarize: No que consiste o transtorno dismórfico corporal? São pessoas que se acham feias e querem mudar sua aparência de forma obsessiva, mesmo que não tenham nenhum problema. Num dos estudos que fiz, detectamos que de 50% a 54% dos pacientes que procuram cirurgia de face, nariz ou abdômen apresentam essa condição. A cirurgia pode beneficiar aqueles com um quadro leve ou intermediário do transtorno. No entanto, os que apresentam um transtorno mais grave não devem ser operados, e sim encaminhados para tratamento psicológico. A maior dificuldade é que aceitem ajuda. Muitos preferem buscar um médico que dê sinal verde para a intervenção.
"""
output =  summarization(prompt)

#Transtorno dismórfico corporal: o que apresenta o transtorno no deve ser operados, e sim encaminhados para tratamento psicológico. 
#A cirurgia pode beneficiar aqueles com um quadro leve ou intermediário do transtornamento, nariz ou abdômen.

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
gradient_accumulation_steps: 2
total_train_batch_size: 16
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 5

Training results

Training Loss	Epoch	Step	Validation Loss	Rouge1	Rouge2	Rougel	Rougelsum	Gen Len
1.847	0.27	500	1.7443	15.4969	5.9408	13.5074	14.5518	19.0
1.8333	0.53	1000	1.7194	15.6496	5.8641	13.5584	14.669	19.0
1.8043	0.8	1500	1.7209	15.8523	6.0544	13.7563	14.8941	19.0
1.7903	1.07	2000	1.7156	15.8969	6.0071	13.7534	14.8513	19.0
1.7862	1.33	2500	1.7007	15.8441	5.958	13.66	14.7226	19.0
1.7687	1.6	3000	1.6949	15.9134	6.0486	13.9238	14.9171	19.0
1.7724	1.87	3500	1.6909	15.8827	5.8941	13.7195	14.8736	19.0
1.7653	2.13	4000	1.6811	16.0819	5.9791	13.8639	15.0031	19.0
1.7392	2.4	4500	1.6761	15.706	5.7384	13.5978	14.7374	19.0
1.7578	2.67	5000	1.6729	15.8926	5.9629	13.767	14.9088	19.0
1.7353	2.93	5500	1.6675	16.0266	5.9024	13.8471	14.9721	19.0
1.7425	3.2	6000	1.6626	16.0732	6.1141	13.9016	15.0673	19.0
1.73	3.47	6500	1.6631	16.1333	6.0951	13.9551	15.0686	19.0
1.7355	3.73	7000	1.6616	16.1704	6.1575	14.0481	15.079	19.0
1.7139	4.0	7500	1.6572	16.2592	6.25	14.0403	15.1851	19.0
1.7188	4.27	8000	1.6580	16.1572	6.0661	14.0029	15.0935	19.0
1.7045	4.53	8500	1.6560	16.1409	6.1478	13.9806	15.0795	19.0
1.7201	4.8	9000	1.6541	16.3352	6.2366	14.1335	15.2755	19.0

Framework versions

Transformers 4.38.2
Pytorch 2.2.1+cu121
Datasets 2.18.0
Tokenizers 0.15.2

Comments

Any idea, help or report will always be welcome.

email: rhaymisoncristian@gmail.com