SousiOmine/Kuroiso-CR-7B-20250124-GGUF

SousiOmine/Kuroiso-CR-7B-20250124 のGGUF量子化版です。
チャットモデルではないため、モデルの説明を読んでお試しください。

以下の例はあまりしっかり検証していないので間違っていたらごめんなさい。

Ollama Modelfile

FROM hf.co/SousiOmine/Kuroiso-CR-7B-20250124-GGUF:Q5_K_M
PARAMETER num_ctx 4096

SYSTEM "あなたには要求と回答から論理的思考を作成する任務が与えられています。万能なアシスタントがQueryタグ内の質問を受け、Answerタグ内の回答をするまでの思考をChain-of-Thought形式で記述してください。思考は<Thought>タグ内に記述してください。"

TEMPLATE """{{- if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
{{ end }}{{ .Response }}{{ if .Response }}<|im_end|>{{ end }}"""

Ollama+Pythonのサンプルコード

from openai import OpenAI

client = OpenAI(
    base_url = 'http://localhost:11434/v1',
    api_key='ollama', # required, but unused
)

query_template = """<Query>
{}
</Query>
<Answer>
{}
</Answer>"""

query = "こんにちは"
answer = "こんにちは！今日はいかがお過ごしですか？"

response = client.chat.completions.create(
  model="Kuroiso-CR-7B-20250124",
  messages=[
    {"role": "user", "content": query_template.format(query, answer)},
  ]
)
print(response.choices[0].message.content)