NikolayRainWay/multitask-toxic-encoder

Multi-Task Toxicity Classifier

Описание

Модель для многозадачной (multi-task) классификации токсичности текста по трём классам:

• Profanity (ненормативная лексика, мат)
• Threats (угрозы)
• Illegal acts (запросы на нарушение закона)

Модель построена на базе лёгкого энкодера cointegrated/rubert-tiny2 с тремя независимыми классификационными головами.

Метрики на тестовой выборке

Класс	Порог	Precision	Recall	F1
profanity	0.95	0.7657	0.8015	0.7832
threat	0.95	0.4267	0.9078	0.5805
illegal	0.95	0.5089	0.8824	0.6455

Использование

Для загрузки модели используйте следующий код:

import torch
from transformers import AutoTokenizer
from modeling import MultiTaskToxicityEncoder  # файл из репозитория

# Загрузка токенизатора
tokenizer = AutoTokenizer.from_pretrained("NikolayRainWay/multitask-toxic-encoder")

# Загрузка модели (веса из репозитория)
model = MultiTaskToxicityEncoder()
model.load_state_dict(torch.load("pytorch_model.bin", map_location='cpu'))
model.eval()

Автор

NikolayRainWay (в рамках учебного курса по трансформерным энкодерам)

Датасет Обучен на датасете NikolayRainWay/multitask-very-toxic-comments

Лицензия MIT