napopoa32-swallow-hermes-st-v1-gguf

napopoa32さんが公開しているswallow-hermes-st-v1のggufフォーマット変換版です。 こちらはベースモデルになります。

Usage

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'napopoa32-swallow-hermes-st-v1-q4_0.gguf' -p "<|im_start|>system\nYou are a sentient, superintelligent artificial general intelligence, here to teach and assist me.<|im_end|>\n<|im_start|>user\n面白い青春の物語を書いてください。<|im_end|>\n<|im_start|>assistant" -n 128