Create README.md

README.md

@@ -0,0 +1,84 @@
+---
+license: mit
+datasets:
+- recogna-nlp/recognasumm
+language:
+- pt
+metrics:
+- rouge
+pipeline_tag: summarization
+---
+# Model Card para PamelaBorelli/flan-t5-tokenizer-ptt5-recogna
+
+## Dados Gerais
+
+- **Nome:** [PamelaBorelli/flan-t5-tokenizer-ptt5-recogna](https://huggingface.co/PamelaBorelli/flan-t5-tokenizer-ptt5-recogna)
+- **Tipo:** Languege Model, Transformer Encoder-Decoder
+- **Licença:**  Language model
+- **Modelo base:** [google/flan-t5-base](https://huggingface.co/google/flan-t5-base#model-details)
+- **Tokenizador:** [unicamp-dl/ptt5-base-en-pt-msmarco-100k-v2](https://huggingface.co/unicamp-dl/ptt5-base-en-pt-msmarco-100k-v2) . 
+- **Modelo Relacionado:** Checkpoints do FLAN-T5 
+- **Checkpoints Originais:** Checkpoints do FLAN-T5
+- **Dataset:**
+  - [recogna-nlp/recognasumm](https://huggingface.co/datasets/recogna-nlp/recognasumm)
+
+## Resumo
+
+O modelo original que serviu de base para o modelo final é o [flan-t5-base](https://huggingface.co/google/flan-t5-base#model-details). Um modelo multilinguagem com tamanho de 248M e que possui uma arquitetura baseada no T5 (Text-to-Text Transfer Transformer) com codificador-decodificador. O Flan-T5 original foi ajustado em uma mistura de tarefas com objetivo de melhorar sua capacidade de generalização. 
+
+O modelo final [PamelaBorelli/flan-t5-tokenizer-ptt5-recogna](https://huggingface.co/PamelaBorelli/flan-t5-tokenizer-ptt5-recogna) foi treinado no processo de **instrução e ajuste fino** (*finetune*). Foi realizado *finetune* para tarefa de sumarização com dataset em Português-BR utilizando o tokenizador do modelo [unicamp-dl/ptt5-base-en-pt-msmarco-100k-v2](https://huggingface.co/unicamp-dl/ptt5-base-en-pt-msmarco-100k-v2) . 
+
+## Utilização Pretendida
+
+O modelo foi trabalhado para tarefa final de sumarização de textos em Português-BR. Não foi testado para outros idiomas.
+
+### Uso
+
+```
+from transformers import T5Tokenizer, T5ForConditionalGeneration
+
+tokenizer = T5Tokenizer.from_pretrained("PamelaBorelli/flan-t5-tokenizer-ptt5-recogna")
+model = T5ForConditionalGeneration.from_pretrained("PamelaBorelli/flan-t5-tokenizer-ptt5-recogna")
+
+input_text = "O corpo está mais propenso a sentir dores com exercícios de alta intensidade | Foto: Getty Images O problema está em saber identificar qual é qual. "Em algumas situações, é difícil diferenciar uma da outra", reconhece Juan Francisco Marco, professor do Centro de Ciência do Esporte, Treinamento e Fitness Alto Rendimento, na Espanha. "A dor boa é aquela que associamos ao exercício físico, que não limita (o movimento) e permite continuar (a se exercitar) até o momento em que o músculo fica realmente esgotado e não trabalha mais", explica. É importante detectar qual é o tipo de dor que você está sentindo, para evitar ter problemas mais sérios | Foto: Getty Images Para Francisco Sánchez Diego, diretor do centro de treinamento Corpore 10, "a dor boa se sente no grupo muscular que você trabalhou, tanto durante o treinamento como nos dias seguintes"."
+input_ids = tokenizer(input_text, return_tensors="pt").input_ids
+
+outputs = model.generate(input_ids)
+print(tokenizer.decode(outputs[0]))
+```
+
+
+## Idiomas
+
+Português-BR
+
+## Dados de Treinamento
+
+O modelo foi treinado para tarefa de sumarização usando os parâmetros: 
+
+```
+evaluation_strategy="steps"         #forma para avaliar o output
+eval_steps=                         #quantidade de steps para avaliar o output
+learning_rate=                      #taxa de aprendizado
+per_device_train_batch_size=        #tamanho do batch para o treinamento
+per_device_eval_batch_size=         #tamanho do batch para a validação
+gradient_accumulation_steps=        #até quanto deve acumular os batchs
+weight_decay=                       #regularização L2
+num_train_epochs=                   #quantidade de épocas para treinamento
+save_strategy="steps"               #forma para salvar o output
+save_steps =                        #quantidade de steps para salvar o output
+push_to_hub=False                   #salvar o modelo no hub do Hugging Face
+load_best_model_at_end=True         #carregar o melhor modelo no final do treinamento (necessário para o callback)
+```
+
+Para tokenização foi usado os parâmetros:
+
+```
+start_prompt= "Sumarize: \n"                 #início instrução para sumarização
+end_prompt= "\n\nSumário: "    			 #fim da instrução para sumarização
+input_name="coluna_imput"           		 #nome da coluna no dataset com os textos de origem
+target_name="coluna_target"          		 #nome da coluna no dataset com os textos de destino
+max_input_length = 256         				 #tamanho máximo de input para tokenizar
+max_target_length = 256        				 #tamanho máximo de target para tokenizar
+columns_to_remove= ['coluna_to_remove'] 	 #colunas que serão removidas do dataset original
+```