Pytorch model dönüşümü ve qunatize sonrası performans sorunu
Merhaba,
Modeli ollama üzerinde çalıştırmak için pytorch dönüşümü ve qunatize işlemlerini yaptım. Dönüşümde ve quantize de bir sorunla karşılaşmadım. Ancak Türkçe konusunda performans sorunları yaşıyorum. Llama3 için olan templatei kullandığımda aynı şeyleri tekrar tekrar yazıp sonsuz döngüye giriyor. Bu konuda bir yorumunuz olur mu?
Selamlar. Ben gguf dosyası kullanıyorum ollama için. Modelfile'da llama3 için olan template'i kullandığım zaman bende de aynı sorun oluştu.
FROM "Turkish-Llama-8b-v0.1.Q4_K_M.gguf"
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
{{ .Response }}<|im_end|>
"""
SYSTEM """You are a helpful AI assistant.
"""
PARAMETER stop "<|im_start|>"
PARAMETER stop "<|im_end|>"
şöyle bir model dosyası oluşturdum ve bende işe yaradı. umarım sende de çalışır.
Selamlar. Ben gguf dosyası kullanıyorum ollama için. Modelfile'da llama3 için olan template'i kullandığım zaman bende de aynı sorun oluştu.
FROM "Turkish-Llama-8b-v0.1.Q4_K_M.gguf"
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
{{ .Response }}<|im_end|>
"""
SYSTEM """You are a helpful AI assistant.
"""
PARAMETER stop "<|im_start|>"
PARAMETER stop "<|im_end|>"şöyle bir model dosyası oluşturdum ve bende işe yaradı. umarım sende de çalışır.
bu template tam olarak nasıl yapılandırılıyor? ben ollamaya bu modelleri import edemedim ve kesinlikle bir problem çıkıyor.
custom modelleri eklemek icin bu link yardimci olabilir.