想使用llama.cpp运行，请问需要怎么设置参数呢
#2
by
zhaogx
- opened
想使用llama.cpp运行，请问需要怎么设置参数呢。我是搞java后台开发的AI小白，问题可能有些简单了，麻烦了
想使用llama.cpp运行，请问需要怎么设置参数呢。我是搞java后台开发的AI小白，问题可能有些简单了，麻烦了
可以直接用 docker 版本比较简单，如果想使用命令行，需要编译之后 ./main -m /Users/shaowenchen/Code/HuggingFace/Baichuan-13B-Chat-GGUF/Baichuan-13B-Chat-f16-q4_0.gguf -p "hi" -n 2048 这样就可以运行本地测试了