dikiyplayerpig/dpp-gpt-V2.15-Pro-260m

🧠 dpp-gpt V2.15 Pro (260M)

(🇺🇸 English / 🇷🇺 Русский)

This is a minor update to the dpp-gpt-V2.1-Pro-260m. The underlying synthetic instruction-tuning (SFT) dataset remains exactly the same. However, by optimizing the data sampling proportions, hyperparameters, and the number of training epochs, this version achieves slightly better instruction adherence and more stable step-by-step reasoning compared to V2.1.

Like its predecessor, it is a microscopic Large Language Model (259M parameters) trained entirely from scratch.

⚙️ Model Details

• Parameters: 259M
• Layers / Hidden Size / Heads: 20 / 1024 / 16
• Context Length: 4096 tokens
• Vocabulary Size: 16,384
• Format: GGUF / PyTorch (.pth)
• License: Apache 2.0

📊 Training Data

• Pre-training: 11.8 Billion tokens (~45.5 tokens/parameter) with a batch size of 512k.
• Fine-Tuning (SFT): >16.5M high-quality synthetic tokens (generated primarily by Gemma 4, Qwen 3.5, and DeepSeek v4 Flash). For this V2.15 update, the dataset itself was not changed; improvements were made strictly by adjusting the training setup (hyperparameters, epochs, and dataset proportions).

🚀 Capabilities & Advantages

• Text Processing & Math: Capable of spelling words letter-by-letter, counting letters, and solving arithmetic operations (addition/subtraction up to hundreds of thousands) and simple linear equations. The logic is slightly more stable than in V2.1.
• Languages: Comprehension of Russian, English, and French. Capable of translating simple phrases between these languages.
• Chat & Instructions: Follows user prompts and maintains dialogue with slightly fewer robotic/templated responses due to better epoch scaling.

💡 Prompting & System Prompt

The model uses a strict ChatML format.

Standard Mode (No thinking):

<|im_start|>user
[NOTHINK] {prompt}<|im_end|>
<|im_start|>assistant

Reasoning Mode ([THINK] token): To force the model to "think" and use logic before answering, modify the prompt template. If you are using LM Studio, simply type . or [THINK] right before your prompt (without a space).

<|im_start|>user
[THINK] {prompt}<|im_end|>
<|im_start|>assistant

---

🇷🇺 Описание на русском

Это небольшое обновление модели dpp-gpt-V2.1-Pro-260m. Сам набор данных для файнтюнинга (SFT) остался точно таким же. Улучшения были достигнуты исключительно за счет изменения пропорций выборки, настройки гиперпараметров и корректировки количества эпох. Благодаря этому модель стала немного стабильнее в логических рассуждениях и лучше слушается инструкций.

⚙️ Детали модели

• Параметры: 259M
• Слои / Размерность / Головы: 20 / 1024 / 16
• Контекст: 4096 токенов
• Размер словаря: 16,384
• Формат: GGUF / PyTorch (.pth)
• Лицензия: Apache 2.0

📊 Обучающие данные

• Претрейн (Pre-training): 11.8 млрд токенов (~45.5 токена на параметр).
• Файнтюнинг (SFT): >16.5 млн синтетических токенов. В версии 2.15 сами данные не перерабатывались — был оптимизирован только процесс обучения (гиперпараметры, пропорции данных и количество эпох).

🚀 Способности и преимущества

• Обработка текста и математика: Умеет разбивать слова по буквам, считать буквы, а также пошагово решать арифметические задачи и простые уравнения. Логика работает немного стабильнее, чем в версии 2.1.
• Языки: Понимание русского, английского и французского языков.
• Диалог: Немного лучше понимает инструкции пользователя и дает чуть менее шаблонные ответы благодаря правильному подбору эпох обучения.

💡 Промпты и системный промпт

Модель строго использует формат ChatML.

Стандартный режим (Без размышлений):

<|im_start|>user
[NOTHINK] {prompt}<|im_end|>
<|im_start|>assistant

Режим размышления (токен [THINK]): Чтобы заставить модель "думать" и использовать логику перед ответом, измените шаблон промпта. Если вы используете LM Studio, просто напишите . или [THINK] прямо перед вашим запросом (без пробела).

<|im_start|>user
[THINK] {prompt}<|im_end|>
<|im_start|>assistant