OrionStarAI-Orion-14B-LongChat-gguf
OrionStarAIさんが公開しているOrion-14B-LongChatのggufフォーマット変換版です。
Licence
元モデルのライセンス項目をご確認ください。
orion-14b-series-models-community-license
他のモデル
mmnga/OrionStarAI-Orion-14B-LongChat-gguf
mmnga/OrionStarAI-Orion-14B-Chat-RAG-gguf
Usage
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'OrionStarAI-Orion-14B-LongChat-q4_0.gguf' -p "User: 今晩の夕食のレシピを考えて \n Orion-14B: " -n 128 --frequency-penalty 0.5 --frequency-penalty 0.5 --top-k 5 --top-p 0.9 -e
- Downloads last month
- 407
Unable to determine this model's library. Check the
docs
.