baku-10b-chat-v2-gguf

sudy-superさんが公開しているbaku-10b-chat-v2のggufフォーマット変換版です。

他のモデルはこちら
mmnga/baku-10b-gguf
mmnga/baku-13b-v2-gguf
mmnga/baku-10b-chat-v2-gguf

Usage

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'baku-10b-chat-v2-q4_0.gguf' -p 'USER:仕事の熱意を取り戻すためのアイデアを5つ挙げてください。 ASSISTANT:' -n 100 --temp 0.8