Edit model card

japanese-stablelm-instruct-ja_vocab-beta-7b-gguf

stabilityaiさんが公開しているjapanese-stablelm-instruct-ja_vocab-beta-7bのgguf版です。

モデル一覧
GPTQ
mmnga/japanese-stablelm-base-ja_vocab-beta-7b-GPTQ-calib-ja-1k
mmnga/japanese-stablelm-instruct-ja_vocab-beta-7b-GPTQ-calib-ja-1k

GGUF
mmnga/japanese-stablelm-base-ja_vocab-beta-7b-gguf
mmnga/japanese-stablelm-instruct-ja_vocab-beta-7b-gguf

Usage

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'japanese-stablelm-instruct-ja_vocab-beta-7b-q4_0.gguf' -n 128 --temp 0.8 -p '<s>[INST] <<SYS>>\nあなたは役立つアシスタントです。\n<<SYS>>\n\n与えられたことわざの意味を小学生でも分かるように教えてください。\n\n情けは人のためならず [/INST] \n'
Downloads last month
313
GGUF
Model size
6.88B params
Architecture
llama
Unable to determine this model's library. Check the docs .