mmnga

/

ELYZA-japanese-Llama-2-13b-fast-instruct-gguf

like 21

ggufファイルをご提供くださりありがとうございます。
個人でもggufを作成してみたいと思っていたのですが、作成方法についてご教示いただけないでしょうか。
例えばこの方のNote(https://note.com/educator/n/neb22385219ed)を参考にして、

1. https://huggingface.co/elyza/ELYZA-japanese-Llama-2-13b-instruct をgit cloneする。
2. 以下を実行

python3 ./convert.py ELYZA-japanese-Llama-2-13b-fast-instruct/

3. 以下を実行

./quantize.exe ELYZA-japanese-llama-2-13b-fast-instruct/ggml-model-f16.gguf path/to/output/ggml-model-chat-q4_0.gguf q4_0

とすることを考えたのですが、2.の段階で

ValueError: unknown format: ELYZA-japanese-Llama-2-13b-fast-instruct/pytorch_model-00001-of-00003.bin

というエラーが出てしまいました。モデルのファイル(.bin)が6つに分割されていることが原因かと思っていますが、回避する方法はあるでしょうか？