Обучение лингвистической модели BERT на корпусе из 2 млн документов требует очень большого времени, поэтому эксперименты с изменением гиперпараметров происходили по ходу обучения, и, в случае ухудшения качества, веса модели и оптимизатора возвращались к предыдущей точке сохранения.
Корректно (is_correct): 1