File size: 2,088 Bytes
f993039
 
1568710
 
63c991b
 
f993039
 
 
 
 
1568710
 
 
f993039
 
 
 
 
 
1568710
 
 
 
f993039
1568710
 
 
 
 
 
69dd5d9
eabd0c3
 
 
 
 
 
69dd5d9
1568710
f993039
 
 
 
 
 
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49

---
extra_gated_prompt: >-
  By clicking "Agree", you agree to the [License Agreement](https://huggingface.co/stabilityai/japanese-stablelm-2-instruct-1_6b/blob/main/LICENSE.txt) and acknowledge Stability AI's [Privacy Policy](https://stability.ai/privacy-policy).
license:
- other
language:
- en
- ja
datasets:
- TFMC/imatrix-dataset-for-japanese-llm
tags:
- japanese-stablelm
- causal-lm
---

# japanese-stablelm-2-instruct-1_6b-gguf
[stabilityaiさんが公開しているjapanese-stablelm-2-instruct-1_6b](https://huggingface.co/stabilityai/japanese-stablelm-2-instruct-1_6b)のggufフォーマット変換版です。  

imatrixのデータは[TFMC/imatrix-dataset-for-japanese-llm](https://huggingface.co/datasets/TFMC/imatrix-dataset-for-japanese-llm)を使用して作成しました。  

## license
ご使用の前に利用規約を必ずご確認の上、同意した場合のみご利用になれます。
ご使用される際は[利用規約](https://huggingface.co/stabilityai/japanese-stablelm-2-instruct-1_6b/blob/main/LICENSE.txt)に同意したものとみなされます。
  
Please be sure to read this before using it, and you can use it only if you agree to it.
By using this service, you are deemed to have agreed to the [terms of use](https://huggingface.co/stabilityai/japanese-stablelm-2-instruct-1_6b/blob/main/LICENSE.txt).

また、商用利用の際には、[メンバーシップ](https://stability.ai/membership)への登録が必要です。  
Please note: For commercial use, please refer to https://stability.ai/membership

## convert
元モデルをダウンロード後、tokenization_arcade100k.pyを修正する必要があります。
修正箇所は、def __init__の最後に下記を追加します
```
self.special_tokens = self.tokenizer._special_tokens
```

変換用スクリプトは[こちら](https://gist.github.com/mmnga/bd9de075fcbdf1f95587edeb35565419)

## Usage

```
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'japanese-stablelm-2-instruct-1_6b-Q4_0.gguf' -n 128 -p 'こんにちわ'
```