baku-13b-v2-gguf

sudy-superさんが公開しているbaku-13b-v2のggufフォーマット変換版です。

他のモデルはこちら
mmnga/baku-10b-gguf
mmnga/baku-13b-v2-gguf
mmnga/baku-10b-chat-v2-gguf

Usage

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'baku-13b-v2-q4_0.gguf' -p '大規模言語モデルとは、' -n 100 --temp 0.8