MLP-KTLim/llama-3-Korean-Bllossom-8B-gguf-Q4_K_M · Ollama용 Modelfile 공유 가능할까요?

brianhan

May 13

안녕하세요.. 좋은 자료 감사드립니다.

Ollama용 Modelfile 이 있으면 많이 사용해 볼 수 있겠습니다. (아직 초보라..)

PerRing

MLP-LAB org May 14

•

edited May 14

FROM ./llama-3-Korean-Bllossom-8B-Q4_K_M.gguf

PARAMETER temperature 0.6
PARAMETER top_p 0.9

TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
"""

SYSTEM """당신은 유용한 AI 어시스턴트입니다. 사용자의 질의에 대해 친절하고 정확하게 답변해야 합니다.
You are a helpful AI assistant, you'll need to answer users' queries in a friendly and accurate manner."""

Modelfile을 위와 같이 간단하게 작성하여 Ollama에서 사용하시면 될 것 같습니다.
temperature, top_p, template만 있으므로 좀 더 자세한 설정을 위해서는 아래의 링크를 참조하시길 바랍니다.

https://github.com/ollama/ollama/blob/main/docs/modelfile.md

PerRing changed discussion status to closed May 21