ExtraX1/TinyCyclic-Tokenizer

TinyCyclic Tokenizer

Кастомный BPE-токенизатор на 64,000 токенов, разработанный специально для экспериментальной архитектуры TinyCyclic.

📊 Характеристики

• Тип: Byte-Level BPE (совместим с GPT-2 / Llama / Qwen).
• Размер словаря: 64,000 токенов.
• Поддерживаемые языки: Английский, Русский, Китайский и Код (Python).
• Спецтокены: Включает разметку ChatML и теги для Chain-of-Thought (размышлений).

🔠 Специальные токены

Токенизатор содержит следующие зарезервированные токены, каждый из которых занимает ровно 1 позицию в словаре:

• <|im_start|>, <|im_end|> — маркеры начала и конца реплики в диалоге.
• <|think|>, <|/think|> — маркеры для скрытого процесса размышлений (Chain of Thought).

🚀 Использование

Вы можете легко загрузить этот токенизатор с помощью библиотеки tokenizers от Hugging Face:

from tokenizers import Tokenizer

tokenizer = Tokenizer.from_pretrained("ExtraX1/TinyCyclic-Tokenizer")

text = "Привет, у меня аллергия на мандарины"
encoded = tokenizer.encode(text)

print("Токены:", encoded.tokens)
print("Количество токенов:", len(encoded.tokens))

🛠️ Обучение Исходный код для обучения этого токенизатора доступен в файле train_tokenizer.py. Скрипт использует датасеты wikimedia/wikipedia и codeparrot/codeparrot-clean для балансировки 4 доменов (EN, RU, ZH, Code).