Juliofc commited on
Commit
31b59c7
1 Parent(s): 49f7a72

Create app.py

Browse files
Files changed (1) hide show
  1. app.py +32 -0
app.py ADDED
@@ -0,0 +1,32 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ from transformers import pipeline
2
+ import gradio as gr
3
+
4
+ from peft import PeftModel, PeftConfig
5
+ from transformers import AutoModelForCausalLM
6
+
7
+ # Configuración y carga del modelo personalizado
8
+ config = PeftConfig.from_pretrained("Juliofc/chaterapi_model")
9
+ base_model = AutoModelForCausalLM.from_pretrained("google/gemma-2b-it")
10
+ model = PeftModel.from_pretrained(base_model, "Juliofc/chaterapi_model")
11
+
12
+ # Inicializar el pipeline de generación de texto con el modelo cargado
13
+ chatbot = pipeline("text-generation", model=model, tokenizer="Juliofc/chaterapi_model")
14
+
15
+ def chat_with_bot(prompt):
16
+ # Generar una respuesta del chatbot
17
+ chat_response = chatbot(prompt, max_length=1000, num_return_sequences=1)
18
+ # Devolver solo el texto de la respuesta
19
+ return chat_response[0]['generated_text']
20
+
21
+ # Crear la interfaz de Gradio
22
+ interface = gr.Interface(
23
+ fn=chat_with_bot,
24
+ inputs=gr.inputs.Textbox(lines=2, placeholder="Escribe algo para empezar a chatear..."),
25
+ outputs="text",
26
+ title="Chatbot Personalizado",
27
+ description="Este es un chatbot interactivo que utiliza un modelo personalizado. Prueba a hablar con él escribiendo algo abajo."
28
+ )
29
+
30
+ # Ejecutar la interfaz de Gradio
31
+ if __name__ == "__main__":
32
+ interface.launch()