Análisis de comentarios sexistas en Twitter
', unsafe_allow_html=True) st.markdown(""" """, unsafe_allow_html=True) st.markdown(""" """, unsafe_allow_html=True) def analizar_tweets(search_words, number_of_tweets): tabla = [] if(number_of_tweets > 0 and search_words != "" ): try: # Buscar la información del perfil de usuario user = api.get_user(screen_name=search_words) #st.text(f"La cuenta {search_words} existe.") tweets = api.user_timeline(screen_name = search_words,tweet_mode="extended", count= number_of_tweets) result = [] for tweet in tweets: if (tweet.full_text.startswith('RT')): continue else: text = tweet.full_text try: language = detect(text) if language == 'es': datos=clean_tweet(text) if datos == "": continue else: prediction = pipeline_nlp(datos) for predic in prediction: etiqueta = {'Tweets': datos, 'Prediccion': predic['label'], 'Probabilidad': predic['score']} result.append(etiqueta) except: pass df = pd.DataFrame(result) if df.empty: muestra= st.text("No hay tweets Sexistas a analizar") tabla.append(muestra) else: df.sort_values(by=['Prediccion', 'Probabilidad'], ascending=[False, False], inplace=True) df['Prediccion'] = np.where(df['Prediccion'] == 'LABEL_1', 'Sexista', 'No Sexista') df['Probabilidad'] = df['Probabilidad'].apply(lambda x: round(x, 3)) muestra = st.table(df.reset_index(drop=True).head(30).style.applymap(color_survived, subset=['Prediccion'])) tabla.append(muestra) except Exception as e: muestra = st.text(f"La cuenta {search_words} no existe.") tabla.append(muestra) else: muestra= st.text("Ingrese los parametros correspondientes") tabla.append(muestra) return tabla def tweets_localidad(buscar_localidad): tabla = [] try: geolocator = Nominatim(user_agent="nombre_del_usuario") location = geolocator.geocode(buscar_localidad) radius = "15km" tweets = api.search_tweets(q="",lang="es",geocode=f"{location.latitude},{location.longitude},{radius}", count = 1000, tweet_mode="extended") result = [] for tweet in tweets: if (tweet.full_text.startswith('RT')): continue elif not tweet.full_text.strip(): continue else: datos = preprocess(tweet.full_text) prediction = pipeline_nlp(datos) for predic in prediction: etiqueta = {'Tweets': datos,'Prediccion': predic['label'], 'Probabilidad': predic['score']} result.append(etiqueta) df = pd.DataFrame(result) #muestra = st.table(df.reset_index(drop=True).head(5).style.applymap(color_survived, subset=['Prediccion'])) if df.empty: muestra=st.text("No se encontraron tweets sexistas dentro de la localidad") tabla.append(muestra) else: #tabla.append(muestra) df.sort_values(by=['Prediccion', 'Probabilidad'], ascending=[False, False], inplace=True) df['Prediccion'] = np.where(df['Prediccion'] == 'LABEL_1', 'Sexista', 'No Sexista') #df = df[df["Prediccion"] == 'Sexista'] #df = df[df["Probabilidad"] > 0.5] #df = df.sort_values(by='Probabilidad', ascending=False) df['Probabilidad'] = df['Probabilidad'].apply(lambda x: round(x, 3)) muestra = st.table(df.reset_index(drop=True).head(10).style.applymap(color_survived, subset=['Prediccion'])) tabla.append(muestra) resultado=df.groupby('Prediccion')['Probabilidad'].mean() colores=["#EE3555","#aae977"] fig, ax = plt.subplots() fig.set_size_inches(2, 2) plt.pie(resultado,labels=resultado.index,autopct='%1.1f%%',colors=colores, textprops={'fontsize': 4}) ax.set_title("Porcentajes por Categorias", fontsize=5, fontweight="bold") plt.rcParams.update({'font.size':4, 'font.weight':'bold'}) ax.legend() # Muestra el gráfico plt.show() st.set_option('deprecation.showPyplotGlobalUse', False) st.pyplot() plt.bar(resultado.index, resultado, color=colores) ax.set_title("Porcentajes por Categorias", fontsize=5, fontweight="bold") plt.rcParams.update({'font.size':4, 'font.weight':'bold'}) ax.set_xlabel("Categoría") ax.set_ylabel("Probabilidad") # Muestra el gráfico plt.show() st.set_option('deprecation.showPyplotGlobalUse', False) st.pyplot() except AttributeError as e: muestra=st.text("No existe ninguna localidad con ese nombre") tabla.append(muestra) return tabla def analizar_frase(frase): if frase == "": tabla = st.text("Ingrese una frase") #st.text("Ingrese una frase") elif language == 'es': predictions = pipeline_nlp(frase) # convierte las predicciones en una lista de diccionarios data = [{'Texto': frase, 'Prediccion': prediction['label'], 'Probabilidad': prediction['score']} for prediction in predictions] # crea un DataFrame a partir de la lista de diccionarios df = pd.DataFrame(data) df['Prediccion'] = np.where( df['Prediccion'] == 'LABEL_1', 'Sexista', 'No Sexista') # muestra el DataFrame tabla = st.table(df.reset_index(drop=True).head(5).style.applymap(color_survived, subset=['Prediccion'])) return tabla def run(): with st.form("my_form"): col,buff1, buff2 = st.columns([2,2,1]) st.write("Escoja una Opción") search_words = col.text_input("Introduzca la frase, el usuario o localidad para analizar y pulse el check correspondiente") number_of_tweets = col.number_input('Introduzca número de tweets a analizar del usuario Máximo 50', 0,50,0) termino=st.checkbox('Frase') usuario=st.checkbox('Usuario') localidad=st.checkbox('Localidad') submit_button = col.form_submit_button(label='Analizar') error =False if submit_button: # Condición para el caso de que esten dos check seleccionados if ( termino == False and usuario == False and localidad == False): st.text('Error no se ha seleccionado ningun check') error=True elif ( termino == True and usuario == True and localidad == True): st.text('Error se han seleccionado varios check') error=True if (error == False): if (termino): analizar_frase(search_words) elif (usuario): analizar_tweets(search_words,number_of_tweets) elif (localidad): tweets_localidad(search_words) run()