TinyCyclic-0.4B-Base

Статус: 🚧 В разработке (Under Construction)

TinyCyclic — это экспериментальная языковая модель, использующая архитектуру Looped Transformer (зацикленные слои). Вместо наращивания параметров, мы заставляем одни и те же слои проходить несколько раз, получая высокую эффективную глубину при компактном размере.

📊 Характеристики

• Параметры: ~0.4B
• Архитектура: Looped Transformer (14 уникальных слоев, 3 цикла = эффективная глубина 30 слоев).
• Контекст: 4096 токенов (на этапе PoC).
• Токенизатор: Кастомный BPE на 64k токенов (готов).

📚 Данные для обучения (Training Data)

TinyCyclic-0.4B-Base обучается на сбалансированном наборе данных объемом 5 миллиардов токенов (распределенных по 4 доменам). Все данные токенизированы нашим кастомным токенизатором и сохранены в виде .bin чанков в папке prepared_tokens/ этого репозитория.

Состав датасета (5B Tokens Mix):

• 🇬🇧 English (2.4B токенов)
  • FineWeb-Edu (2.1B): Высококачественный образовательный контент для логики и знаний.
  • Philosophy Corpus (0.3B): Классические философские тексты для изучения абстрактных рассуждений.
• 🇷🇺 Russian (1.4B токенов)
  • Wikimedia Wikipedia (RU): Энциклопедические знания.
  • DaruLM (конфиги habr, textbook, philosophy): Технические статьи, учебные материалы и философские трактаты.
• 💻 Code (0.75B токенов)
  • Stack-Edu: Очищенный и отфильтрованный исходный код (без вредоносного ПО, в отличи от The-Stack-Smol).
• 🇨🇳 Chinese (0.25B токенов)
  • Fineweb-Edu-Chinese-V2.2: Высококачественный образовательный китайский текст (лицензия Apache 2.0, для поддержания мультиязычности токенизатора).

📜 Лицензия

Данная модель распространяется под лицензией ExtraLODL v1.0 (ExtraX0 Liberal Open Development License) LM Edition.

🚀 Планы

• Обучение токенизатора (64k) — готов, доступен здесь.
• Pre-training на 500M токенов (PoC).
• Масштабирование до 5B токенов.
• SFT (Философский файнтюнинг для получения циничного характера).