Update app.py

app.py

@@ -1,22 +1,25 @@
 import gradio as gr
 from huggingface_hub import InferenceClient
+from transformers import AutoTokenizer
 import json
 
-# Inicialize o cliente com o modelo do Hugging Face
-client = InferenceClient(model="rss9051/autotrein-BERT-iiLEX-dgs-0004")
+# Inicialize o cliente e o tokenizador
+model_name = "rss9051/autotrein-BERT-iiLEX-dgs-0004"
+client = InferenceClient(model=model_name)
+tokenizer = AutoTokenizer.from_pretrained(model_name)
 
-# Função para dividir o texto em chunks menores
+# Função para dividir o texto em chunks menores com o tokenizador
 def split_text_into_chunks(text, max_tokens=512):
-    words = text.split()
+    tokens = tokenizer(text, return_tensors="pt", truncation=False)["input_ids"][0]
     chunks = []
-    for i in range(0, len(words), max_tokens):
-        chunk = " ".join(words[i:i + max_tokens])
+    for i in range(0, len(tokens), max_tokens):
+        chunk = tokens[i:i + max_tokens]
         chunks.append(chunk)
-    return chunks
+    return [tokenizer.decode(chunk, skip_special_tokens=True) for chunk in chunks]
 
-# Função para classificar texto, lidando com textos longos
+# Função para classificar texto longo
 def classify_text(text):
-    chunks = split_text_into_chunks(text, max_tokens=512)  # Divida o texto em chunks menores
+    chunks = split_text_into_chunks(text, max_tokens=512)  # Divida o texto em chunks de 512 tokens
     all_responses = []  # Lista para armazenar respostas de cada chunk
 
     for chunk in chunks: