Theo-10M · Chat
Menor que um app de celular. Consegue falar sobre a Bíblia.
Smaller than a phone app. Can talk about the Bible.
Sobre este modelo
Theo-10M-Chat é a versão conversacional do menor modelo da série — 7,4M de parâmetros, ajustado em ~19.000 exemplos de diálogo teológico via SFT (Supervised Fine-Tuning).
O resultado é surpreendente para o tamanho: o modelo entende o formato de conversa, mantém foco temático bíblico e responde de forma coerente em português. Não é perfeito — e nem deveria ser. Ele demonstra que é possível construir um assistente especializado extremamente leve, sem APIs externas, sem custo de inferência em nuvem.
Roda em CPU. Em tempo real. Com menos de 30 MB de peso.
🔗 Versão base (CPT):
plvictor/Theo-10M-PTBR-Base
Para que serve?
- Ambientes com recursos mínimos — CPU, edge, microcontroladores com inferência otimizada
- Protótipos de chatbot cristão leve — resposta rápida, baixo custo
- Estudo de SFT em modelos pequenos — como o fine-tuning transforma um modelo base
- Comparação de qualidade — baseline para medir o ganho dos modelos maiores
Arquitetura e Treinamento
| Parâmetro | Valor |
|---|---|
| Parâmetros reais | 7,4M |
| Camadas | 4 · d_model=256 · FFN=1.024 |
| Contexto máximo | 512 tokens |
| Vocabulário | 16.000 tokens (BPE próprio) |
| SFT examples | ~19.000 pares de conversação teológica |
| GPU | NVIDIA L40S 48 GB (RunPod) |
| SFT gerado com | Qwen 35B como modelo professor |
Como usar
git lfs install
git clone https://huggingface.co/plvictor/Theo-10M-Chat
cd Theo-10M-Chat
pip install -r requirements.txt
python chat.py
import torch
from config import get_config
from src.model import BabelTransformer
cfg = get_config("babel_10M")
model = BabelTransformer(cfg)
ckpt = torch.load("theo-10m-chat.pt", map_location="cpu", weights_only=False)
model.load_state_dict(ckpt["model_state_dict"], strict=False)
model.eval()
Limitações
- Qualidade inferior aos modelos maiores da série — esperado e intencional
- Janela de contexto de 512 tokens limita conversas longas
- Pode perder coerência em turnos múltiplos
- Não passou por RLHF ou filtragem de segurança
Autor
Paulo Victor Souza · plvictor.com · huggingface.co/plvictor
"No princípio era o Verbo." — João 1:1