Update app.py

app.py

@@ -8,18 +8,19 @@ model_name = "rss9051/autotrein-BERT-iiLEX-dgs-0004"
 client = InferenceClient(model=model_name)
 tokenizer = AutoTokenizer.from_pretrained(model_name)
 
-# Função para dividir o texto em chunks menores com o tokenizador
+# Função para dividir texto em chunks com base na tokenização
 def split_text_into_chunks(text, max_tokens=512):
     tokens = tokenizer(text, return_tensors="pt", truncation=False)["input_ids"][0]
     chunks = []
     for i in range(0, len(tokens), max_tokens):
-        chunk = tokens[i:i + max_tokens]
+        chunk = tokens[i:i + max_tokens]  # Garantir que cada chunk tenha no máximo max_tokens
         chunks.append(chunk)
+    # Decodificar os chunks de volta para texto
     return [tokenizer.decode(chunk, skip_special_tokens=True) for chunk in chunks]
 
 # Função para classificar texto longo
 def classify_text(text):
-    chunks = split_text_into_chunks(text, max_tokens=512)  # Divida o texto em chunks de 512 tokens
+    chunks = split_text_into_chunks(text, max_tokens=512)  # Divida o texto em chunks menores
     all_responses = []  # Lista para armazenar respostas de cada chunk
 
     for chunk in chunks: