teddylee777

/

llama-3-8b-it-ko-chang-gguf

like 3

안녕하세요. gguf 파일 감사합니다.

현재 ollama 0.1.32버전 도커 이미지를 사용하고 있고, 다음과 같이 modelfile을 작성 후 실행하면 cli에서 사용할 때도, api로 호출할 때도 응답이 끊이지 않는 것 같습니다...혹시 작성하신 modelfile이나 추가 정보를 공유 부탁드려도 괼까요?

FROM ./llama-3-8b-it-ko-chang-Q5_K_M.gguf

TEMPLATE """{{- if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}
<|eot_id|>
{{- end }}

<|start_header_id|>B<|end_header_id|>
{{ .Prompt }}
<|eot_id|>
<|start_header_id|>A<|end_header_id|>
"""

PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|begin_of_text|>"
PARAMETER stop "<|end_of_text|>"

아래 이미지는 cli에서 실행한 결과고 ctrl + c를 누르지 않으면 답변이 멈추지 않습니다...

그리고 혹시 다음 ollama 이슈와 관련된 사항이 있을까요?
https://github.com/ollama/ollama/issues/3759

감사합니다.