Update app.py

app.py

@@ -8,14 +8,15 @@ model_name = "rss9051/autotrein-BERT-iiLEX-dgs-0004"
 client = InferenceClient(model=model_name)
 tokenizer = AutoTokenizer.from_pretrained(model_name)
 
-# Função para dividir texto em chunks com base na tokenização
+# Função para dividir texto em chunks com truncamento garantido
 def split_text_into_chunks(text, max_tokens=512):
     tokens = tokenizer(text, return_tensors="pt", truncation=False)["input_ids"][0]
     chunks = []
     for i in range(0, len(tokens), max_tokens):
-        chunk = tokens[i:i + max_tokens]  # Garantir que cada chunk tenha no máximo max_tokens
+        chunk = tokens[i:i + max_tokens]
+        if len(chunk) > max_tokens:
+            chunk = chunk[:max_tokens]  # Truncar qualquer excesso
         chunks.append(chunk)
-    # Decodificar os chunks de volta para texto
     return [tokenizer.decode(chunk, skip_special_tokens=True) for chunk in chunks]
 
 # Função para classificar texto longo
@@ -24,13 +25,16 @@ def classify_text(text):
     all_responses = []  # Lista para armazenar respostas de cada chunk
 
     for chunk in chunks:
-        response_bytes = client.post(json={"inputs": chunk})  # Enviar o chunk
-        response_str = response_bytes.decode('utf-8')  # Decodificar de bytes para string
-        response = json.loads(response_str)  # Converter string JSON para objeto Python
+        try:
+            response_bytes = client.post(json={"inputs": chunk})  # Enviar o chunk
+            response_str = response_bytes.decode('utf-8')  # Decodificar de bytes para string
+            response = json.loads(response_str)  # Converter string JSON para objeto Python
 
-        if isinstance(response, list) and len(response) > 0:
-            sorted_response = sorted(response[0], key=lambda x: x['score'], reverse=True)
-            all_responses.append(sorted_response[0])  # Adicionar a melhor classificação do chunk
+            if isinstance(response, list) and len(response) > 0:
+                sorted_response = sorted(response[0], key=lambda x: x['score'], reverse=True)
+                all_responses.append(sorted_response[0])  # Adicionar a melhor classificação do chunk
+        except Exception as e:
+            print(f"Erro ao processar chunk: {e}")
 
     # Combinar resultados de todos os chunks
     if all_responses: