hw1. Byte-level BPE & Transformer

Результаты выполнения ДЗ1 работы по курсу «Большие языковые модели». В ходе работы был реализован Byte-level BPE токенизатор и декодер-трансформер, обученные на датасете русских анекдотов.

Архитектура

Токенизатор:

Byte-level BPE на уровне байтов.
Размер словаря: 1024 токена, включая [EOS].
Специальные токены: [EOS].

Модель (nano)

Decoder-only Transformer.
Позиционное кодирование: ALiBi.
Механизм внимания: GQA, Grouped-Query Attention, 2 KV-головы.
Активация в Feed-Forward: SwiGLU.
Нормализация: RMSNorm.
Количество слоев: 3.
Количество голов: 4.
Размер скрытого состояния hidden_dim: 96.
Размер промежуточного слоя intermediate_dim: 256.
Количество параметров: ~0.5M .
Контекстное окно: 128 токенов.
Dropout: 0.1.

Модель (mini)

Decoder-only Transformer.
Позиционное кодирование: ALiBi.
Механизм внимания: GQA, Grouped-Query Attention, 3 KV-головы.
Активация в Feed-Forward: SwiGLU.
Нормализация: RMSNorm.
Количество слоев: 6.
Количество голов: 6.
Размер скрытого состояния hidden_dim: 384.
Размер промежуточного слоя intermediate_dim: 1024.
Количество параметров: ~10.5M.
Контекстное окно: 128 токенов.
Dropout: 0.1.

Модель (small)

Decoder-only Transformer.
Позиционное кодирование: ALiBi.
Механизм внимания: GQA, Grouped-Query Attention, 6 KV-голов.
Активация в Feed-Forward: SwiGLU.
Нормализация: RMSNorm.
Количество слоев: 12.
Количество голов: 12.
Размер скрытого состояния hidden_dim: 768.
Размер промежуточного слоя intermediate_dim: 2048.
Количество параметров: ~79.45M.
Контекстное окно: 128 токенов.
Dropout: 0.1.

Модель (mini_rope)

Decoder-only Transformer.
Позиционное кодирование: RoPE.
Механизм внимания: GQA, Grouped-Query Attention, 3 KV-головы.
Активация в Feed-Forward: SwiGLU.
Нормализация: RMSNorm.
Количество слоев: 6.
Количество голов: 6.
Размер скрытого состояния hidden_dim: 384.
Размер промежуточного слоя intermediate_dim: 1024.
Количество параметров: ~10.5M.
Контекстное окно: 128 токенов.
Dropout: 0.1.

Модель (mini_mla)

Decoder-only Transformer.
Позиционное кодирование: ALiBi.
Механизм внимания: MLA.
Сжатие KV: латентный ранг 192.
Активация в Feed-Forward: SwiGLU.
Нормализация: RMSNorm.
Количество слоев: 6.
Количество голов: 6.
Размер скрытого состояния hidden_dim: 384.
Размер промежуточного слоя intermediate_dim: 1024.
Количество параметров: ~10.97M.
Контекстное окно: 128 токенов.
Dropout: 0.1.

Модель (mini_mla_rope)

Decoder-only Transformer.
Позиционное кодирование: RoPE.
Механизм внимания: MLA.
Сжатие KV: латентный ранг 192.
Активация в Feed-Forward: SwiGLU.
Нормализация: RMSNorm.
Количество слоев: 6.
Количество голов: 6.
Размер скрытого состояния hidden_dim: 384.
Размер промежуточного слоя intermediate_dim: 1024.
Количество параметров: ~10.97M.
Контекстное окно: 128 токенов.
Dropout: 0.1.

Результаты (Validation Cross-Entropy)

Модель	Шаги	Batch Size	LR	Validation Loss
`nano`	10 000	16	3e-4	3.199
`mini`	30 000	16	3e-4	2.809
`mini`	30 000	16	3e-4	2.601
`small`	20 000	8	3e-4	2.615
`mini_rope`	10 000	16	3e-4	2.834
`mini_mla`	10 000	16	3e-4	3.037
`mini_mla_rope`	10 000	16	3e-4	2.863

Примеры генерации

Во всех моделях, начиная с mini, видна структура диалога и правильная расстановка пунктуации и реплик, а также манера типичных анекдотических завязок. Но связных и осмесленных анекдотов получить не удалось

Генерация производилась с параметрами temperature=0.8, top_k=10, max_new_tokens=150.