Уточнение по обучению
#1
by
nakrayko
- opened
Привет! Спасибо за модельку, круто работает. Подскажи, ты использовал модель Ильи Гусева на газете для файнтюна на датасете каком то? Или просто гиперпараметры подобрал более оптимальные? По репо это не очевидно, но судя по переменной additional_special_tokens в special_tokens_map.json кажется что ты данные вики использовал, это так или не?
Я взял модельку гусева и отфайнтюнил на переведенном датасете samsum.
А на чем обучал? Какая карточка сколько батчсайз был? Какого размера эмбеддинг был?
Обучал на переведенном samsum. Размер выборки - 16. Карточка - Tesla A100