import streamlit as st import torch from transformers import AutoTokenizer, AutoModelForSequenceClassification def main(): st.title("Оценка токсичности сообщений") # Загрузка модели model_checkpoint = 'cointegrated/rubert-tiny-toxicity' tokenizer = AutoTokenizer.from_pretrained(model_checkpoint) model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint) if torch.cuda.is_available(): model.cuda() def text2toxicity(text, aggregate=True): """ Calculate toxicity of a text (if aggregate=True) or a vector of toxicity aspects (if aggregate=False)""" with torch.no_grad(): inputs = tokenizer(text, return_tensors='pt', truncation=True, padding=True).to(model.device) proba = torch.sigmoid(model(**inputs).logits).cpu().numpy() if isinstance(text, str): proba = proba[0] if aggregate: return 1 - proba.T[0] * (1 - proba.T[-1]) return proba message = st.text_area("Введите сообщение для оценки:") if st.button("Оценить"): if message: toxicity_score = text2toxicity(message) st.write(f"Степень токсичности: {toxicity_score:.4f}") st.write("### Если вы хотите воспользоваться Telegram ботом для этой задачи, вы можете найти его здесь:") st.write("[Ссылка на Telegram бота](https://t.me/ToxicElbBot)") st.sidebar.image('images/toxic.jpeg', use_column_width=True) if __name__ == "__main__": main()