---
extra_gated_prompt: >-
  By clicking "Agree", you agree to the [License Agreement](https://huggingface.co/stabilityai/japanese-stablelm-2-instruct-1_6b/blob/main/LICENSE.txt) and acknowledge Stability AI's [Privacy Policy](https://stability.ai/privacy-policy).
license:
- other
language:
- en
- ja
datasets:
- TFMC/imatrix-dataset-for-japanese-llm
tags:
- japanese-stablelm
- causal-lm
---

# japanese-stablelm-2-instruct-1_6b-gguf
[stabilityaiさんが公開しているjapanese-stablelm-2-instruct-1_6b](https://huggingface.co/stabilityai/japanese-stablelm-2-instruct-1_6b)のggufフォーマット変換版です。  

imatrixのデータは[TFMC/imatrix-dataset-for-japanese-llm](https://huggingface.co/datasets/TFMC/imatrix-dataset-for-japanese-llm)を使用して作成しました。  

## license
ご使用の前に利用規約を必ずご確認の上、同意した場合のみご利用になれます。
ご使用される際は[利用規約](https://huggingface.co/stabilityai/japanese-stablelm-2-instruct-1_6b/blob/main/LICENSE.txt)に同意したものとみなされます。
  
Please be sure to read this before using it, and you can use it only if you agree to it.
By using this service, you are deemed to have agreed to the [terms of use](https://huggingface.co/stabilityai/japanese-stablelm-2-instruct-1_6b/blob/main/LICENSE.txt).

また、商用利用の際には、[メンバーシップ](https://stability.ai/membership)への登録が必要です。  
Please note: For commercial use, please refer to https://stability.ai/membership

## convert
元モデルをダウンロード後、tokenization_arcade100k.pyを修正する必要があります。
修正箇所は、def __init__の最後に下記を追加します
```
self.special_tokens = self.tokenizer._special_tokens
```

変換用スクリプトは[こちら](https://gist.github.com/mmnga/bd9de075fcbdf1f95587edeb35565419)

## Usage

```
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'japanese-stablelm-2-instruct-1_6b-Q4_0.gguf' -n 128 -p 'こんにちわ'
```