AI-Sweden-Models

/

gpt-sw3-6.7b-v2-instruct-gguf

like 1

I'm using this model with Ollama, with this model card:

FROM /mnt/model_drive/gpt-sw3-6.7b-v2-instruct-Q5_K_M.gguf
PARAMETER num_ctx 3900
PARAMETER temperature 0.0
PARAMETER top_k 50
PARAMETER top_p 0.95
PARAMETER stop "<|system|>"
PARAMETER stop "<|user|>"
PARAMETER stop "<|assistant|>"
PARAMETER stop "</s>"
SYSTEM """You are an help assistant."""

The output I get in terminal (using ollama run sw3) is only completions, not answers to instructions:

>>> Berätta något om Sverige
?

>>> I sverige bor det
 ungefär 10 miljoner människor och huvudstaden heter Stockholm.Det är ett mycket kallt land på vintern men på sommaren är det väldigt 
varmt.

What am I doing wrong?

I've tried finding a model card to see what the parameters should be but cannot find any.

Can you try to use our chat template?

FROM ./gpt-sw3-6.7b-v2-instruct-Q5_K_M.gguf
TEMPLATE """<|endoftext|><s>User:{{ .Prompt }}<s>Bot:"""
PARAMETER stop <s>

Note that none of the stop params you have added are used during training. The instruct used User, and Bot, along with our end of chat turn special token<s>

text = "Varför är träd fina?"
prompt_format = f"<|endoftext|><s>User:{text}<s>Bot:"