license: mit | |
language: | |
- ja | |
- en | |
# rinna/bilingual-gpt-neox-4b | |
[rinnaさんが公開しているbilingual-gpt-neox-4b](https://huggingface.co/rinna/bilingual-gpt-neox-4b)のgguf変換版です。 | |
*注意:こちらはブランチで試用になります。llama.cpp本家にgptneoxが実装された時に、このggufファイルが使用できない可能性があります。* | |
## Usage (試用) | |
~~~~bash | |
git clone --branch mmnga-dev https://github.com/mmnga/llama.cpp.git | |
cd llama.cpp | |
make -j gptneox | |
./gptneox -m 'rinna-bilingual-gpt-neox-4b-q4_0.gguf' -n 128 -p 'ユーザー: 吾輩って猫ですか? システム: ' | |
~~~~ | |