Detectando el Sexismo en Linea: Un proyecto de Investigación
', unsafe_allow_html=True) #Editar el tipo de letra st.markdown(""" """, unsafe_allow_html=True) st.markdown(""" """, unsafe_allow_html=True) #Parrafo st.markdown('Este proyecto consiste en una aplicación web que utiliza la biblioteca Tweepy de Python para descargar tweets de Twitter, permitiendo buscar Tweets por usuario y por localidad. Luego, utiliza modelos de lenguaje basados en Transformers para analizar los tweets y detectar comentarios y determinar si son "Sexistas" o "No Sexistas". El proyecto busca identificar y combatir el discurso sexista en línea para promover la igualdad de género y la inclusión.
',unsafe_allow_html=True) #Función para extrer tweets de usuarios de Twitter, y analizarlos por el modelo Transformer def tweets_usuario(usuario, cant_de_tweets): tabla = [] # crea una lista vacía llamada tabla if(cant_de_tweets > 0 and usuario != "" ): try: # Buscar la información del perfil de usuario user = api.get_user(screen_name=usuario) # utiliza la API de Twitter para buscar tweets en español de un usuario de Twitter tweets = api.user_timeline(screen_name = usuario,tweet_mode="extended", count= cant_de_tweets) result = [] # crea una lista vacía llamada result # itera a través de cada tweet en la lista de tweets encontrados for tweet in tweets: # si el tweet comienza con 'RT' o si el tweet está vacío, continúa con el siguiente tweet if (tweet.full_text.startswith('RT')): continue else: text = tweet.full_text #Try Catch para detectar que sean del idioma español try: language = detect(text) if language == 'es': #Limpieza de cada tweet extraido datos=limpieza_datos(text) if datos == "": continue else: #Predicción del modelo Transformer para cada tweet prediction = pipeline_nlp(datos) for predic in prediction: # Agrega la etiqueta de Tweets, Predicción y Probabilidad en una lista y la agrega a la lista de resultados etiqueta = {'Tweets': datos, 'Prediccion': predic['label'], 'Probabilidad': predic['score']} result.append(etiqueta) except: pass # Crea un dataframe a partir de la lista de resultados df = pd.DataFrame(result) # Si el dataframe está vacío, muestra un mensaje de que no se encontraron tweets sexistas dentro de la localidad if df.empty: muestra= st.text("No hay tweets Sexistas a analizar") tabla.append(muestra) else: # ordena el dataframe por Predicción y Probabilidad en orden descendente df.sort_values(by=['Prediccion', 'Probabilidad'], ascending=[False, False], inplace=True) df['Prediccion'] = np.where(df['Prediccion'] == 'LABEL_1', 'Sexista', 'No Sexista') df['Probabilidad'] = df['Probabilidad'].apply(lambda x: round(x, 3)) muestra = st.table(df.reset_index(drop=True).head(50).style.applymap(color_survived, subset=['Prediccion'])) tabla.append(muestra) except Exception as e: #Try except para detectar si la cuenta es existente muestra = st.text(f"La cuenta {usuario} no existe.") tabla.append(muestra) else: #Condición que se solicita cuando no se llenaron los datos para la busqueda muestra= st.text("Ingrese los parametros correspondientes") tabla.append(muestra) return tabla #Función para buscar por localidad def tweets_localidad(buscar_localidad): tabla = [] # crea una lista vacía llamada tabla try: #Crea un objeto Geolocalizador y busca la ubicación que se encuentra en el parámetro buscar_localidad geolocator = Nominatim(user_agent="nombre_del_usuario") location = geolocator.geocode(buscar_localidad) radius = "15km" #establece el radio de búsqueda en 15km # utiliza la API de Twitter para buscar tweets en español cerca de la ubicación encontrada tweets = api.search_tweets(q="",lang="es",geocode=f"{location.latitude},{location.longitude},{radius}", count = 100, tweet_mode="extended") result = [] # crea una lista vacía llamada result # itera a través de cada tweet en la lista de tweets encontrados for tweet in tweets: # si el tweet comienza con 'RT' o si el tweet está vacío, continúa con el siguiente tweet if (tweet.full_text.startswith('RT')): continue elif not tweet.full_text.strip(): continue else: # Limpia los datos del tweet y realiza una predicción sobre si es sexista o no datos = limpieza_datos(tweet.full_text) prediction = pipeline_nlp(datos) for predic in prediction: # Agrega la etiqueta de Tweets, Predicción y Probabilidad en una lista y la agrega a la lista de resultados etiqueta = {'Tweets': datos,'Prediccion': predic['label'], 'Probabilidad': predic['score']} result.append(etiqueta) # Crea un dataframe a partir de la lista de resultados df = pd.DataFrame(result) # Si el dataframe está vacío, muestra un mensaje de que no se encontraron tweets sexistas dentro de la localidad if df.empty: muestra=st.text("No se encontraron tweets sexistas dentro de la localidad") tabla.append(muestra) else: #tabla.append(muestra) # ordena el dataframe por Predicción y Probabilidad en orden descendente df.sort_values(by=['Prediccion', 'Probabilidad'], ascending=[False, False], inplace=True) # convierte la columna de Predicción en "Sexista" o "No Sexista" y redondea la columna de Probabilidad a 3 decimales df['Prediccion'] = np.where(df['Prediccion'] == 'LABEL_1', 'Sexista', 'No Sexista') df['Probabilidad'] = df['Probabilidad'].round(3) # Obtener los datos con probabilidad mayor a 0.50 df = df[df['Probabilidad'] > 0.50] # Obtener los 3 primeros datos con mayor probabilidad sexista sexista_df = df[df['Prediccion'] == 'Sexista'].head(3) # Obtener los 3 primeros datos con mayor probabilidad no sexista no_sexista_df = df[df['Prediccion'] == 'No Sexista'].head(3) # Concatenar ambos dataframes muestra_df = pd.concat([sexista_df, no_sexista_df], axis=0) col1, col2 = st.columns(2) with col1: #lista de Tweets mostrados en pantalla muestra = st.table(muestra_df.reset_index(drop=True).head(6).style.applymap(color_survived, subset=['Prediccion'])) with col2: resultado = df['Prediccion'].value_counts() def autopct_fun(abs_values): gen = iter(abs_values) return lambda pct: f"{pct:.1f}% ({next(gen)})" #Gráfico colores=["#aae977","#EE3555"] fig, ax = plt.subplots() fig.set_size_inches(2,2) plt.pie(resultado,labels=resultado.index,autopct=autopct_fun(resultado),colors=colores, textprops={'fontsize': 5}) ax.set_title("Porcentajes por Categorias en la localidad\n"+buscar_localidad.capitalize(), fontsize=5, fontweight="bold") plt.rcParams.update({'font.size':4, 'font.weight':'bold'}) ax.legend() # Muestra el gráfico plt.show() st.set_option('deprecation.showPyplotGlobalUse', False) st.pyplot() except AttributeError as e: muestra=st.text("No existe ninguna localidad con ese nombre") tabla.append(muestra) return tabla def analizar_frase(frase): language = detect(frase) if frase == "": tabla = st.text("Ingrese una frase") #st.text("Ingrese una frase") elif language == 'es': predictions = pipeline_nlp(frase) # convierte las predicciones en una lista de diccionarios data = [{'Texto': frase, 'Prediccion': prediction['label'], 'Probabilidad': prediction['score']} for prediction in predictions] # crea un DataFrame a partir de la lista de diccionarios df = pd.DataFrame(data) df['Prediccion'] = np.where( df['Prediccion'] == 'LABEL_1', 'Sexista', 'No Sexista') # muestra el DataFrame tabla = st.table(df.reset_index(drop=True).head(1).style.applymap(color_survived, subset=['Prediccion'])) else: tabla = st.text("Solo Frase en español") return tabla #Función para correr el formulario def run(): # Se inicia una sesión Streamlit with st.form("my_form"): # Se solicita al usuario que ingrese la búsqueda que desea realizar search_words = st.text_input("Introduzca la frase, el usuario o localidad para analizar y pulse el check correspondiente") # Se solicita al usuario que ingrese la cantidad de tweets que desea analizar (máximo 50) number_of_tweets = st.number_input('Introduzca número de tweets a analizar del usuario Máximo 50', 0,50,0) st.write("Escoja una Opción:") # Se presenta al usuario las opciones de búsqueda (frase, usuario o localidad) mediante checkboxes termino=st.checkbox('Frase') usuario=st.checkbox('Usuario') localidad=st.checkbox('Localidad') # Se agrega un botón de envío para que el usuario pueda iniciar la búsqueda submit_button = st.form_submit_button(label='Analizar') # Se define una variable de error y se inicializa como falso error =False # Si el usuario hace clic en el botón de envío, se comprueban los checkboxes y se establece un mensaje de error si es necesario if submit_button: # Condición para el caso de que esten dos check seleccionados if ( termino == False and usuario == False and localidad == False): st.text('Error no se ha seleccionado ningun check') error=True elif ( termino == True and usuario == True and localidad == True): st.text('Error se han seleccionado varios check') error=True # Si no se ha producido ningún error, se inicia la búsqueda según la opción seleccionada if (error == False): if (termino): analizar_frase(search_words) elif (usuario): tweets_usuario(search_words,number_of_tweets) elif (localidad): tweets_localidad(search_words) # Se ejecuta la función run run()