Update app

.gitattributes

@@ -32,3 +32,6 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+Clarin2.jpg filter=lfs diff=lfs merge=lfs -text
+Clarin3.jpg filter=lfs diff=lfs merge=lfs -text
+Popular.jpg filter=lfs diff=lfs merge=lfs -text

app.py

@@ -1,119 +1,138 @@
+
 import gradio as gr
-import requests
-import openai
-from deep_translator import GoogleTranslator
+import cv2
+from matplotlib import pyplot as plt
+import numpy as np
+from typing import List
+from ultralytics import YOLO
+import cv2
+import numpy as np
 import os
+import shutil
 
-openkey = os.getenv("openkey")
-yelpkey = os.getenv("yelpkey")
-
-
-
-
-def generate_text(text):
-    url = f"https://api.yelp.com/v3/businesses/{text}/reviews?limit=1&sort_by=yelp_sort"
-
-    headers = {
-        "accept": "application/json",
-        "Authorization": yelpkey
-    }
-
-    response = requests.get(url, headers=headers)
-    response = response.json()
-    review = response['reviews'][0]['text']
-    user = response['reviews'][0]['user']['name']
-    image = response['reviews'][0]['user']['image_url']
-    link = response['reviews'][0]['url']
-    calificacion = response['reviews'][0]['rating']
-    creacion = response['reviews'][0]['time_created']
-    openai.api_key = openkey
-    traductor = GoogleTranslator(source='en', target='es')
-    traduccion = traductor.translate(review)
-    response2 = openai.Completion.create(
-        model="text-davinci-003",
-        prompt= f"Responder la siguiente reseña. nombre:{user}. {review}",
-        temperature=0.5,
-        max_tokens=300,
-        top_p=1,
-        frequency_penalty=0,
-        presence_penalty=0
-    )
-    response2 = response2.choices[0].text
+
+def recortar_notas(imagen_path: str) -> int:
+    if os.path.exists('deteccion'):
+        shutil.rmtree('deteccion')
+    if os.path.exists('diarios'):
+        shutil.rmtree('diarios')
+    if os.path.exists('recorte'):
+        shutil.rmtree('recorte')
     
+    model = YOLO("seg-640.pt")
+    results = model.predict(source=imagen_path, save=True, save_txt=True, project="diarios", classes=0, conf=0.5) 
+
+    # cargar imagen tif
+    image = cv2.imread(imagen_path)
+
+    # crear una carpeta para guardar los recortes
+    filename = os.path.splitext(os.path.basename(results[0].path))[0]
+    foldername = os.path.splitext(filename)[0]
+    if not os.path.exists(f"recorte/{foldername}"):
+        os.makedirs(f"recorte/{foldername}")
+
+    datos = results[0].masks.xy
 
+    num_notas = 0
 
-    return  review,user,image,response2,traduccion,calificacion,creacion
+    for i, coords in enumerate(datos): 
+        # coordenadas de segmentación
+        coordenadas = np.array(coords)
 
+        # crear una máscara vacía
+        mask = np.zeros((image.shape[0], image.shape[1]), dtype=np.uint8)
 
+        # dibujar un polígono en la máscara
+        cv2.fillPoly(mask, [coordenadas.astype(np.int32)], 255)
+
+        # aplicar la máscara a la imagen
+        masked = cv2.bitwise_and(image, image, mask=mask)
+
+        # recortar la imagen utilizando la caja delimitadora de la máscara
+        x, y, w, h = cv2.boundingRect(mask)
+        recorte = masked[y:y+h, x:x+w]
+
+        # guardar el recorte como una imagen
+        recorte_path = os.path.join(f"recorte/{foldername}", f"nota {i}.jpg")
+        cv2.imwrite(recorte_path, recorte)
+
+        num_notas += 1
+    
+    noticias(foldername)
+    segmentacion = f"diarios/predict/{filename}.png"
+    segmentacion = cv2.imread(segmentacion)
+    recorte1 = f"recorte/{foldername}/nota 0.jpg"
+    prediccion = f"deteccion/{foldername}/predict/nota 0.jpg"
+        
+    try:
+        recorte2 = f"recorte/{foldername}/nota 1.jpg"
+        prediccion2 = f"deteccion/{foldername}/predict/nota 1.jpg"
+        if not os.path.exists(recorte2):
+            raise Exception(f"El archivo {recorte2} no existe.")
+    except:
+          recorte2 = "sin_nota.jpg"
+          prediccion2 = "sin_nota.jpg"
+    
+    return segmentacion, prediccion, prediccion2, num_notas
 
+def noticias(carpeta):
+        nombre = carpeta
+        model = YOLO("best-detect.pt")
+        results = model.predict(source=f"recorte/{nombre}", save=True, save_txt=True,project=f"deteccion/{nombre}", conf=0.75)  # save plotted images
+        return print(f"Imagen {nombre} procesada correctamente")
 
 with gr.Blocks() as demo:
+    gr.Markdown(
+        """
+        <h1 align="center"> IA por la Identidad
+        </h1>
+        <h2 align="center"> Dathaton 
+        </h2>
+        """
+    )   
     gr.Markdown(
         """
 <p align="center">
-    <img width = 600 src="https://neurona-ba.com/wp-content/uploads/2021/07/HenryLogo.jpg">
-    <img width = 450 src="https://raw.githubusercontent.com/BonfantiMatias/images/main/proyecto.jpg">
-    <img width = 400 src="https://raw.githubusercontent.com/BonfantiMatias/images/main/proyecto2.jpg">
-</p>
-<p align="center">
-    <img width=1024 src="https://raw.githubusercontent.com/BonfantiMatias/images/main/COMOFUNCIONA.png">
+    <img width = 600 src="https://raw.githubusercontent.com/BonfantiMatias/images/main/banner%20fundaciones.jpeg">
+    
 </p>
+
 """
     )
-    gr.Markdown(
-        """
-        <p align="center">
-        </p>
-        <p align="center">
-        </p>
-        """
-    )
-    gr.Markdown("# Ingresar el Negocio")
+
+    
     gr.Markdown(
     """
-- Puede ingresar el Negocio por su ID o Alias de [YELP.com](https://www.yelp.com)
-- Presionar el Boton 'Iniciar Modelo' que se encuentra al final de la pagina
+- Puede Seleccionar una de las imagenes de ejemplo o subir una desde su pc
+- Para borrar la imagen que esta en la ventana de procesamiento debe presionar la "X" que se encuentra en el vertice superior derecho
 """
     )
-    with gr.Column():
-            seed = gr.Textbox(label="Introducir el nombre de la empresa o su Id")
-            with gr.Row():        
-                    gr.Examples(["la-fábrica-del-taco-buenos-aires"], inputs=[seed])
-                    gr.Examples(["versailles-miami-4"], inputs=[seed])
-                    gr.Examples(["la-casa-de-toño-ciudad-de-méxico-4"], inputs=[seed])
-                    gr.Examples(["osteria-del-bugiardo-verona"], inputs=[seed])
-                    gr.Examples(["arume-barcelona"], inputs=[seed])   
-
-    
+    with gr.Row():
+            seed = gr.components.Image(type="filepath", label="Input") 
+            with gr.Row():
+                with gr.Column():
+                        gr.Examples(["Ambito2.jpg"], inputs=[seed])
+                        gr.Examples(["Clarin2.jpg"], inputs=[seed])
+                        
+                with gr.Column():
+                        gr.Examples(["Popular.jpg"], inputs=[seed])
+                        gr.Examples(["Clarin3.jpg"], inputs=[seed])
 
-    gr.Markdown("# Mediante la Api Yelp Fusion se obtienen los datos de la ultima reseña del local seleccionado")
-    
-            
-    
     with gr.Row():
-        
+                notas = gr.Label(label="Numero de Notas")
+      
+    with gr.Row():
+            
         with gr.Column():
-            user = gr.Textbox(label="Id Cliente" )            
-            review = gr.Textbox(label="Reseña Cliente")            
-            calificacion = gr.Textbox(label="Calificacion de la reseña")         
-            creacion = gr.Textbox(label="Fecha de creacion de la reseña")
+            segmentacion = gr.Image(label="Segmentacion Notas")
         with gr.Column():
-            image = gr.Image(label="Avatar Cliente")
-        
-            
-        
-    gr.Markdown("# Traduccion de la reseña al idioma español")           
-    with gr.Row():
-            traduccion = gr.Textbox(label="Traduccion reseña")
+            prediccion = gr.Image(label="Prediccion Primera Nota")
+        with gr.Column():
+            prediccion2 = gr.Image(label="Prediccion Segunda Nota")
 
-    gr.Markdown("# Respuesta de la reseña implementando el modelo GPT-3 de OpenAi")
     with gr.Row():
-            response2 = gr.Textbox(label="Respuesta GPT-3")
-            
-    with gr.Row():
-            btn = gr.Button("Iniciar Modelo")
-            btn.click(generate_text, inputs=[seed], outputs=[review,user,image,response2,traduccion,calificacion,creacion])        
-  
-    
+        btn = gr.Button("Procesar Imagen")
+        btn.click(recortar_notas, inputs=[seed], outputs=[segmentacion, prediccion, prediccion2, notas])          
+          
 if __name__ == "__main__":
     demo.launch()