aurelianvolturi/rubert-tiny2-multitask-toxicity

RuBERT Tiny 2 Multi-Task Toxicity

End-to-end multi-label encoder с общим RuBERT Tiny 2 и тремя независимыми линейными головами: profanity, threat, illegal.

Данные

Нативные русские Toxic Russian Comments и RUCriminal после fail-closed удаления политических высказываний, политически чувствительных тем и явных персональных идентификаторов. Для illegal используются законные hard negatives по тем же статьям УК РФ. Переводные данные отсутствуют. Legal train/test разделены по непересекающимся статьям.

Test metrics

class	support	threshold	precision	recall	f1	f1_ci_low	f1_ci_high	pr_auc
profanity	141	0.64	0.5708	0.8582	0.6856	0.6252	0.7398	0.721
threat	91	0.82	0.7526	0.8022	0.7766	0.7074	0.8391	0.8668
illegal	103	0.54	0.981	1	0.9904	0.9755	1	0.9991

Macro F1: 0.8175; Micro F1: 0.7931. Пороги выбраны только на validation: {"profanity": 0.64, "threat": 0.82, "illegal": 0.54}.

Метрики по доменам

domain	class	support	f1	recall
legal_questions	illegal	102	1	1
social_comments	profanity	141	0.6856	0.8582
social_comments	threat	91	0.7766	0.8022
social_comments	illegal	1	0.5	1

Использование

import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer

repo = "aurelianvolturi/rubert-tiny2-multitask-toxicity"
tokenizer = AutoTokenizer.from_pretrained(repo)
model = AutoModelForSequenceClassification.from_pretrained(
    repo, trust_remote_code=True
).eval()
text = "Как проверить подлинность паспорта?"
batch = tokenizer(text, return_tensors="pt", truncation=True,
                  max_length=model.config.max_length)
with torch.inference_mode():
    probabilities = torch.sigmoid(model(**batch).logits)[0].tolist()
result = {
    label: probability >= model.config.thresholds[label]
    for label, probability in zip(model.config.labels, probabilities)
}

Ограничения

Модель предназначена для предварительной модерации и не выполняет юридическую квалификацию. Завуалированные формулировки, цитаты, ирония и новый сленг могут требовать ручной проверки. Custom code следует загружать только из доверенного репозитория и фиксировать revision на commit hash.