--- license: cc-by-sa-4.0 language: - ja --- # cyberagent-open-calm-3b-gguf [cyberagentさんが公開しているopen-calm-3b](https://huggingface.co/cyberagent/open-calm-3b)のggufフォーマット変換版です。 llama.cppのexamplesで動かせます。 ## Usage (試用) ``` git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp git checkout gguf ``` MakeFileを下記に修正します ``` gguf: examples/gguf/gguf.cpp build-info.h ggml.o llama.o $(OBJS) $(CXX) $(CXXFLAGS) $(filter-out %.h,$^) -o $@ $(LDFLAGS) ``` の後に ``` gguf: examples/gguf/gguf.cpp build-info.h ggml.o llama.o $(OBJS) $(CXX) $(CXXFLAGS) $(filter-out %.h,$^) -o $@ $(LDFLAGS) gptneox: examples/gptneox-wip/gptneox-main.cpp build-info.h ggml.o $(OBJS) $(CXX) $(CXXFLAGS) $(filter-out %.h,$^) -o $@ $(LDFLAGS) ``` この様に追加します。 後はmakeしてから実行します。 ``` make ./gptneox -m 'cyberagent-open-calm-3b-q4_0.gguf' -n 128 -t 8 -p '吾輩は猫である。名前は実を言うと、' ```