Также среди важных решений, повышающих качество классификации, стоит отметить дообучение весов BERT, обучение на конкатенации названия и аннотации статьи, а также реализация алгоритма label smoothing, которая в условиях большого количества классов и ошибок разметки не только улучшает качество, но и ускоряет сходимость обучения.
Корректно (is_correct): 0