Update README.md

README.md

@@ -73,7 +73,7 @@ model_name = "ner-bert-base-portuguese-cased-lenebr"
 model = AutoModelForTokenClassification.from_pretrained(model_name)
 tokenizer = AutoTokenizer.from_pretrained(model_name)
 
-input_text = "EMENTA: APELAÇÃO CÍVEL - AÇÃO DE INDENIZAÇÃO POR DANOS MORAIS - PRELIMINAR - ARGUIDA PELO MINISTÉRIO PÚBLICO EM GRAU RECURSAL - NULIDADE - AUSÊNCIA DE IN- TERVENÇÃO DO PARQUET NA INSTÂNCIA A QUO - PRESENÇA DE INCAPAZ - PREJUÍZO EXISTENTE - PRELIMINAR ACOLHIDA - NULIDADE RECONHECIDA."
+input_text = "Acrescento que não há de se falar em violação do artigo 114, § 3º, da Constituição Federal, posto que referido dispositivo revela-se impertinente, tratando da possibilidade de ajuizamento de dissídio coletivo pelo Ministério Público do Trabalho nos casos de greve em atividade essencial."
 
 # tokenization
 inputs = tokenizer(input_text, max_length=512, truncation=True, return_tensors="pt")
@@ -108,6 +108,35 @@ ner(input_text)
 
 The notebook of finetuning ([HuggingFace_Notebook_token_classification_NER_LeNER_Br.ipynb](https://github.com/piegu/language-models/blob/master/HuggingFace_Notebook_token_classification_NER_LeNER_Br.ipynb)) is in github.
 
+### Hyperparameters
+
+#### batch, learning rate...
+- per_device_batch_size = 4
+- gradient_accumulation_steps = 2
+- learning_rate = 2e-5
+- num_train_epochs = 3
+- weight_decay = 0.01
+- optimizer = AdamW
+- betas = (0.9,0.999)
+- epsilon = 1e-08
+- lr_scheduler_type = linear
+- seed = 42
+
+#### save model & load best model
+- save_total_limit = 3
+- logging_steps = 290
+- eval_steps = logging_steps
+- evaluation_strategy = 'steps'
+- logging_strategy = 'steps'
+- save_strategy = 'steps'
+- save_steps = logging_steps
+- load_best_model_at_end = True
+- fp16 = True
+
+#### get best model through a metric
+- metric_for_best_model = 'eval_f1'
+- greater_is_better = True
+
 ### Training results
 
 ````