--- license: apache-2.0 base_model: google/flan-t5-small tags: - generated_from_trainer - summarization - portuguese metrics: - rouge model-index: - name: flan-t5-base results: [] datasets: - recogna-nlp/recognasumm language: - pt library_name: transformers pipeline_tag: summarization widget: - text: >- sumarize: Na segunda disputa estadual para escolher o candidato do partido republicano para as eleições de novembro nos Estados Unidos, o ex-presidente Donald Trump teve mais uma vitória. Ele venceu as primárias em New Hampshire, que ocorreram na terça-feira (23/01). Antes disso, o favoritismo de Trump, apontado por diversas pesquisas, foi visto em sua vitória na primeira prévia do calendário eleitoral americano, em Iowa. Naquele Estado, Trump registrou 51% dos votos e vantagem de 30 pontos sobre o segundo colocado, o governador da Flórida, Ron DeSantis. No domingo (21/1), DeSantis anunciou sua desistência da corrida presidencial de 2024 e manifestou apoio a Trump. O movimento deixou Nikki Haley, ex-embaixadora dos Estados Unidos nas Nações Unidas, como a única rival significativa de Trump no partido. example_title: Resumo 1 - text: >- sumarize: No que consiste o transtorno dismórfico corporal? São pessoas que se acham feias e querem mudar sua aparência de forma obsessiva, mesmo que não tenham nenhum problema. Num dos estudos que fiz, detectamos que de 50% a 54% dos pacientes que procuram cirurgia de face, nariz ou abdômen apresentam essa condição. A cirurgia pode beneficiar aqueles com um quadro leve ou intermediário do transtorno. No entanto, os que apresentam um transtorno mais grave não devem ser operados, e sim encaminhados para tratamento psicológico. A maior dificuldade é que aceitem ajuda. Muitos preferem buscar um médico que dê sinal verde para a intervenção. example_title: Resumo 2 --- # flan-t5-portuguese-small-summarization This model aims to help supply the needs of models in the Portuguese language for certain tasks. The model presents a good performance for summary tasks. Some errors due to word accentuation may occasionally occur due to the small version of the model. model_max_length = 512 - Loss: 1.6541 - Rouge1: 16.3352 - Rouge2: 6.2366 - Rougel: 14.1335 - Rougelsum: 15.2755 - Gen Len: 19.0 GPU: RTX 3060, 12GB, =~3500 cuda cores ```python !pip install transformers from transformers import pipeline summarization = pipeline("summarization", model="rhaymison/flan-t5-portuguese-small-summarization", tokenizer="rhaymison/flan-t5-portuguese-small-summarization") prompt =f""" sumarize: No que consiste o transtorno dismórfico corporal? São pessoas que se acham feias e querem mudar sua aparência de forma obsessiva, mesmo que não tenham nenhum problema. Num dos estudos que fiz, detectamos que de 50% a 54% dos pacientes que procuram cirurgia de face, nariz ou abdômen apresentam essa condição. A cirurgia pode beneficiar aqueles com um quadro leve ou intermediário do transtorno. No entanto, os que apresentam um transtorno mais grave não devem ser operados, e sim encaminhados para tratamento psicológico. A maior dificuldade é que aceitem ajuda. Muitos preferem buscar um médico que dê sinal verde para a intervenção. """ output = summarization(prompt) #Transtorno dismórfico corporal: o que apresenta o transtorno no deve ser operados, e sim encaminhados para tratamento psicológico. #A cirurgia pode beneficiar aqueles com um quadro leve ou intermediário do transtornamento, nariz ou abdômen. ``` ## Model description More information needed ## Intended uses & limitations More information needed ## Training and evaluation data More information needed ## Training procedure ### Training hyperparameters The following hyperparameters were used during training: - learning_rate: 5e-05 - train_batch_size: 8 - eval_batch_size: 8 - seed: 42 - gradient_accumulation_steps: 2 - total_train_batch_size: 16 - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 - lr_scheduler_type: linear - num_epochs: 5 ### Training results | Training Loss | Epoch | Step | Validation Loss | Rouge1 | Rouge2 | Rougel | Rougelsum | Gen Len | |:-------------:|:-----:|:----:|:---------------:|:-------:|:------:|:-------:|:---------:|:-------:| | 1.847 | 0.27 | 500 | 1.7443 | 15.4969 | 5.9408 | 13.5074 | 14.5518 | 19.0 | | 1.8333 | 0.53 | 1000 | 1.7194 | 15.6496 | 5.8641 | 13.5584 | 14.669 | 19.0 | | 1.8043 | 0.8 | 1500 | 1.7209 | 15.8523 | 6.0544 | 13.7563 | 14.8941 | 19.0 | | 1.7903 | 1.07 | 2000 | 1.7156 | 15.8969 | 6.0071 | 13.7534 | 14.8513 | 19.0 | | 1.7862 | 1.33 | 2500 | 1.7007 | 15.8441 | 5.958 | 13.66 | 14.7226 | 19.0 | | 1.7687 | 1.6 | 3000 | 1.6949 | 15.9134 | 6.0486 | 13.9238 | 14.9171 | 19.0 | | 1.7724 | 1.87 | 3500 | 1.6909 | 15.8827 | 5.8941 | 13.7195 | 14.8736 | 19.0 | | 1.7653 | 2.13 | 4000 | 1.6811 | 16.0819 | 5.9791 | 13.8639 | 15.0031 | 19.0 | | 1.7392 | 2.4 | 4500 | 1.6761 | 15.706 | 5.7384 | 13.5978 | 14.7374 | 19.0 | | 1.7578 | 2.67 | 5000 | 1.6729 | 15.8926 | 5.9629 | 13.767 | 14.9088 | 19.0 | | 1.7353 | 2.93 | 5500 | 1.6675 | 16.0266 | 5.9024 | 13.8471 | 14.9721 | 19.0 | | 1.7425 | 3.2 | 6000 | 1.6626 | 16.0732 | 6.1141 | 13.9016 | 15.0673 | 19.0 | | 1.73 | 3.47 | 6500 | 1.6631 | 16.1333 | 6.0951 | 13.9551 | 15.0686 | 19.0 | | 1.7355 | 3.73 | 7000 | 1.6616 | 16.1704 | 6.1575 | 14.0481 | 15.079 | 19.0 | | 1.7139 | 4.0 | 7500 | 1.6572 | 16.2592 | 6.25 | 14.0403 | 15.1851 | 19.0 | | 1.7188 | 4.27 | 8000 | 1.6580 | 16.1572 | 6.0661 | 14.0029 | 15.0935 | 19.0 | | 1.7045 | 4.53 | 8500 | 1.6560 | 16.1409 | 6.1478 | 13.9806 | 15.0795 | 19.0 | | 1.7201 | 4.8 | 9000 | 1.6541 | 16.3352 | 6.2366 | 14.1335 | 15.2755 | 19.0 | ### Framework versions - Transformers 4.38.2 - Pytorch 2.2.1+cu121 - Datasets 2.18.0 - Tokenizers 0.15.2 ### Comments Any idea, help or report will always be welcome. email: rhaymisoncristian@gmail.com