ДЗ №1: BPE и Transformer
Здесь свой Byte-level BPE и небольшой Transformer, обученный с нуля на русских анекдотах из IgorVolochay/russian_jokes. Данные поделены на train/validation в пропорции 90/10.
Модель small: 79,45 млн параметров, 12 слоёв, ALiBi + GQA. Контекст — 128 токенов, словарь BPE — 1024.
Что получилось
Обучение дошло до 30 000 шагов. Лучший validation loss — 2,3367 на шаге 20 000, эти веса и сохранены. Дальнейшее обучение результат не улучшило.
Анекдоты не прям идеальные: модель подхватывает начало, но дальше часто теряет смысл и повторяется. Но бывают и смешные развязки!.
Из допов есть RoPE и MLA (без оптимизированного KV-кэша). Они проверены на маленьких моделях; готовые веса относятся к ALiBi + GQA.
Пример
Параметры: temperature 0.7, top_k 20 (концептуальный анекдот)
Заходит в бар к к бармену, а там бармен говорит: - Ну что, сдурел? - Сдурел, да как тебе сказать, дорогой, сдурел.
Как запустить
Код и результаты есть в ноутбуке. Для проверки готовой модели достаточно раздела «Для проверяющего»: он скачивает веса без входа в аккаунт. TRAIN_MODEL = False оставляем, если заново обучать не нужно.
- Downloads last month
- 30