README.md

---
license: apache-2.0
---
# japanese-stablelm-3b-4e1t-instruct-gguf
[stabilityaiさんが公開しているjapanese-stablelm-3b-4e1t-instruct](https://huggingface.co/stabilityai/japanese-stablelm-3b-4e1t-instruct)のggufフォーマット変換版です。
  
こちら[本家にサポートPR](https://github.com/ggerganov/llama.cpp/pull/3586)がありますので、本家で将来的に実行可能になると思います。  


他のモデルはこちら  
[mmnga/japanese-stablelm-3b-4e1t-base-gguf](https://huggingface.co/mmnga/japanese-stablelm-3b-4e1t-base-gguf)  
[mmnga/japanese-stablelm-3b-4e1t-instruct-gguf](https://huggingface.co/mmnga/japanese-stablelm-3b-4e1t-instruct-gguf)  

7bモデル  
[mmnga/japanese-stablelm-base-gamma-7b-gguf](https://huggingface.co/mmnga/japanese-stablelm-base-gamma-7b-gguf)  
[mmnga/japanese-stablelm-instruct-gamma-7b-gguf](https://huggingface.co/mmnga/japanese-stablelm-instruct-gamma-7b-gguf)  
  
## Usage

```
git clone --branch mmnga-dev-merge https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'japanese-stablelm-3b-4e1t-instruct-q4_0.gguf' -n 128 -p '### 指示: 今夜の晩御飯のレシピを教えて \n ### 応答:'
```