LGTEAMai/Nano-1.0-8M

LGTEAMai-BestComputer-Nano-1.0

Первая модель из семейства Nano с 8.57M параметров.

Характеристики

• Параметры: 8,571,680 (~8.57M)
• Слои: 2
• Размер скрытого состояния: 160
• Внимание: 5 Q-heads, 1 KV-head (GQA)
• Контекстное окно: 8192 токенов (8k)
• Формат весов: safetensors (bfloat16)

Запуск

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("LGTEAMai/Nano-1.0")
model = AutoModelForCausalLM.from_pretrained("LGTEAMai/Nano-1.0", trust_remote_code=True)