fastyBOOM/ner_recipe_model_Andreev

Recipe NER

Модель выделяет именованные сущности в англоязычных строках ингредиентов рецептов: количество (QTY), единицу измерения (UNIT), название ингредиента (NAME), комментарий (COMMENT) и конец диапазона (RANGE_END). OTHER обозначает текст вне сущности.

Компактная модель BERT и токенизатор WordPiece обучены на размеченном корпусе рецептов. После очистки осталось 26 251 запись: 21 000 для обучения, 2 625 для проверки и 2 626 для итогового теста.

Метрики на тестовой выборке по целым сущностям: precision — 0,828; recall — 0,856; F1 — 0,842

from transformers import pipeline

ner = pipeline(
    "token-classification",
    model="fastyBOOM/ner_recipe_model_Andreev",
    aggregation_strategy="first"
)

print(ner("2 tablespoons olive oil", ignore_labels=["OTHER"]))

Модель обучалась на коротких англоязычных строках ингредиентов. Максимальная длина входа — 128 токенов модели. Качество на русскоязычных рецептах и длинных инструкциях приготовления не проверялось.

Блокнот Colab