dikiyplayerpig/dpp-gpt-V2.1-Pro-260m

🧠 dpp-gpt v2.1 Pro (260M)

(🇺🇸 English / 🇷🇺 Русский)

This is a major upgrade in the dpp-gpt family. Version 2.1 Pro is a 259M parameter language model trained entirely from scratch. It features significant improvements in logic, multi-lingual translation, and utilizes the [THINK] token for Chain-of-Thought (CoT) reasoning.

⚙️ Model Details

• Parameters: 259M
• Layers / Hidden Size / Heads: 20 / 1024 / 16
• Context Length: 4096 tokens
• Vocabulary Size: 16,384
• Format: GGUF / PyTorch (.pth)
• License: Apache 2.0

📊 Training Data

• Pre-training: 11.8 Billion tokens (~45.5 tokens/parameter) with a batch size of 512k.
• Fine-Tuning (SFT): >16.5M high-quality tokens generated primarily by Gemma 4 (26b/12b/4b), Qwen 3.5 (35b/4b), and complex code from DeepSeek v4 Flash.

🚀 Capabilities & Advantages

• Languages & Translation: Excellent comprehension of Russian, English, and French. Capable of translating simple phrases between these languages seamlessly.
• Text Processing: Strong text manipulation skills. It can spell words letter-by-letter, assemble words from spelled-out letters, count total letters in a word, and count specific letters.
• Math & Logic: Solves arithmetic operations (a + b up to hundreds of thousands, a + b + c, a + b + c + d for addition/subtraction), simple linear equations, and basic math word problems using step-by-step reasoning.
• Creative Writing & Chat: Consistently generates structured essays, writes poems, and maintains natural dialogue.
• Coding: Generates basic functional Python code (significantly improved over v2.0).

💡 Prompting & System Prompt

The model uses a strict ChatML format. (Note: The 4-bit quantized version of this model understands and follows System Prompts noticeably better than other versions).

Standard Mode (No thinking):

<|im_start|>user
[NOTHINK] {prompt}<|im_end|>
<|im_start|>assistant

Reasoning Mode ([THINK] token): To force the model to "think" and use logic before answering, modify the prompt template. If you are using LM Studio, simply type . or [THINK] right before your prompt (without a space).

<|im_start|>user
[THINK] {prompt}<|im_end|>
<|im_start|>assistant

---

🇷🇺 Описание на русском

Это масштабное обновление линейки dpp-gpt. Версия 2.1 Pro — это модель на 259М параметров, обученная полностью с нуля. Версия отличается значительным улучшением логики, качественным мультиязычным переводом и использует токен [THINK] для пошаговых рассуждений.

⚙️ Детали модели

• Параметры: 259M
• Слои / Размерность / Головы: 20 / 1024 / 16
• Контекст: 4096 токенов
• Словарь: 16,384 токена
• Формат весов: GGUF / PyTorch (.pth)
• Лицензия: Apache 2.0

📊 Данные для обучения

• Pre-training: 11.8 млрд токенов (~45.5 токенов/параметр, батч 512k).
• Fine-Tuning (SFT): >16.5 млн высококачественных токенов, сгенерированных в основном Gemma 4 (26b/12b/4b), немного Qwen 3.5 (35b/4b) и сложным кодом от DeepSeek v4 Flash.

🚀 Особенности и навыки

• Языки и Перевод: Отличное понимание русского, английского и французского языков. Уверенный перевод простых предложений между этими языками.
• Работа с текстом: Отличная работа со структурой слов. Разбор слов побуквенно, сборка слов из побуквенного написания, подсчет всех букв в слове, подсчет конкретной буквы в слове.
• Математика и Логика: Решение примеров вида a + b (до сотен тысяч), a + b + c, a + b + c + d (только сложение и вычитание). Решение простых линейных уравнений и простых текстовых задач с использованием логики (Chain-of-Thought).
• Творчество и диалог: Написание структурированных сочинений, стихов, поддержание адекватного диалога.
• Код: Написание базового функционального кода на Python (существенный шаг вперед по сравнению с 2.0).

💡 Шаблоны промпта и Системный промпт

Модель использует формат ChatML. (Примечание: 4-битная версия модели (Q4) справляется с пониманием системного промпта заметно лучше остальных квантований).

Стандартный шаблон (Без размышления):

<|im_start|>user
[NOTHINK] {запрос}<|im_end|>
<|im_start|>assistant

Режим размышления (Токен [THINK]): Для включения пошагового обдумывания нужно использовать соответствующий тег. При запуске через LM Studio достаточно просто написать . или [THINK] прямо перед началом вашего запроса (без пробела).

<|im_start|>user
[THINK] {запрос}<|im_end|>
<|im_start|>assistant