VladimirRH/toxicity-classifier

Toxicity Classifier

Модель для определения токсичности сообщений службы поддержки.

Задача

Модель решает задачу бинарной классификации текста: определяет, является ли сообщение службы поддержки токсичным (1) или нетоксичным (0). Предназначена для использования в пайплайне контроля качества — анализ исходящих ответов операторов в реальном времени перед отправкой клиенту.

• Вход: текст сообщения на русском языке
• Выход: класс (0 — нетоксично, 1 — токсично) и вероятность токсичности
• Базовая модель: ai-forever/ru-en-RoSBERTa (энкодер заморожен, обучалась только классификационная голова)

Метрики

Пример результатов на тестовой выборке:

accuracy: 0.99 precision: 0.99 recall: 0.99 f1: 0.99 mcc: 0.99 roc_auc: 0.99

Пример использования

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model_name = "VladimirRH/toxicity-classifier"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)
model.eval()

text = "Спасибо за обратную связь, мы обязательно учтём ваши пожелания."

inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=32)

with torch.no_grad():
    logits = model(**inputs).logits
    probs = torch.softmax(logits, dim=1)

prediction = torch.argmax(probs, dim=1).item()
toxicity_prob = probs[0][1].item()

print(f"Класс: {prediction}")
print(f"Вероятность токсичности: {toxicity_prob:.4f}")