watashiha-gpt-6b-gguf

watashihaさんが公開しているwatashiha-gpt-6bのggufフォーマット変換版です。

このggufはllama.cppでの動作のため、一部の連結絵文字のtokenをbyte用token再割り当てしています。

変換

gguf変換用のconvert-hf-to-gguf_watashiha_gpt.py

Usage

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'watashiha-gpt-6b-q4_0.gguf' -p 'お題:ホラー映画の「○○○から逃げろ！」<SEP>回答:' -n 32 --top_k 50 --top_p 0.9