Shikkaku GGUF — Q4_K_M
Versão GGUF quantizada do Shikkaku — assistente de escrita criativa em Português baseado no Gemma 4 E2B.
🇧🇷 Português
O que é este arquivo?
Este repositório contém a versão GGUF Q4_K_M do Shikkaku — otimizada para rodar localmente em hardware modesto (incluindo GPUs com 4GB+ de VRAM) usando Ollama ou llama.cpp.
~1.5GB de tamanho. Roda em CPU ou GPU.
Como usar com Ollama
1. Instale o Ollama Baixe em ollama.com
2. Baixe o arquivo GGUF
Clique em Files and versions acima e baixe o arquivo .gguf.
3. Crie um Modelfile
Crie um arquivo chamado Modelfile (sem extensão) com o seguinte conteúdo:
FROM ./shikkaku-Q4_K_M.gguf
SYSTEM """Você é um assistente especialista em escrita criativa e storytelling. Seu objetivo principal é ajudar escritores a criar histórias melhores, sempre preservando a visão criativa do autor. Você nunca tenta transformar uma história em outra apenas porque ela foge de convenções comuns. Em vez disso, identifica pontos fortes, pontos fracos, possíveis problemas e oportunidades de melhoria. Evite elogios vazios, críticas superficiais e respostas genéricas. Toda resposta deve ensinar algo útil."""
PARAMETER temperature 0.8
PARAMETER num_ctx 2048
4. Registre e rode
ollama create shikkaku -f Modelfile
ollama run shikkaku
Pronto — seu assistente de escrita está rodando 100% local.
Como usar com llama.cpp
./llama-cli -m shikkaku-Q4_K_M.gguf \
--chat-template gemma \
-p "Você é um assistente especialista em escrita criativa." \
-i
Exemplo de uso
>>> Analise esse trecho: "João estava com medo. Ele correu. O monstro era assustador."
O problema aqui é duplo: você está dizendo ao leitor o que sentir em vez de
mostrar. "João estava com medo" é um rótulo — não uma experiência.
"O monstro era assustador" é uma conclusão — não uma imagem.
Tenta assim: mostre o que João sente no corpo. O coração acelerado,
os pés que não obedecem, o ar que parece mais denso. E o monstro —
descreve um detalhe específico que justifique o medo, não o medo em si.
Especificações técnicas
| Item | Valor |
|---|---|
| Modelo base | google/gemma-4-E2B-it |
| Método de treino | LoRA/QLoRA com Unsloth |
| Quantização | Q4_K_M |
| Tamanho | ~1.5 GB |
| Contexto | 2048 tokens |
| VRAM mínima (GPU) | 4 GB |
| RAM mínima (CPU) | 8 GB |
Repositórios relacionados
- Kruliel/shikkaku — adaptadores LoRA originais
🇺🇸 English
What is this?
GGUF Q4_K_M version of Shikkaku — a Portuguese creative writing assistant based on Gemma 4 E2B. Runs locally with Ollama or llama.cpp on modest hardware.
Quick start with Ollama
# 1. Install Ollama from ollama.com
# 2. Download the .gguf file from Files tab above
# 3. Create Modelfile:
cat > Modelfile << 'EOF'
FROM ./shikkaku-Q4_K_M.gguf
SYSTEM """You are an assistant specializing in creative writing and storytelling. Your primary goal is to help writers create better stories while always preserving the author's creative vision. Avoid empty praise and generic responses; every response should teach something useful."""
PARAMETER temperature 0.8
PARAMETER num_ctx 2048
EOF
# 4. Create and run:
ollama create shikkaku -f Modelfile
ollama run shikkaku
Notes
- Primarily trained in Portuguese — responses in English are functional but less refined
- Based on Gemma 4 E2B — 2B active parameters, responses are concise
- Focused on creative writing — not trained for code, math, or technical topics
License
Apache 2.0 — inherited from Gemma 4.
Shikkaku (人間失格) — Osamu Dazai, 1948
Built by Kruliel
- Downloads last month
- 273
4-bit