japanese-stablelm-base-gamma-7b-gguf

stabilityaiさんが公開しているjapanese-stablelm-base-gamma-7bのggufフォーマット変換版です。

他のモデルはこちら
3bモデル
mmnga/japanese-stablelm-3b-4e1t-base-gguf
mmnga/japanese-stablelm-3b-4e1t-instruct-gguf

7bモデル
mmnga/japanese-stablelm-base-gamma-7b-gguf
mmnga/japanese-stablelm-instruct-gamma-7b-gguf

Usage

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'japanese-stablelm-base-gamma-7b-q4_0.gguf' -n 128 -p 今夜の晩御飯のレシピを紹介します。'
Downloads last month
166
GGUF
Model size
7.24B params
Architecture
llama

2-bit

3-bit

4-bit

5-bit

6-bit

8-bit

Inference API
Unable to determine this model's library. Check the docs .