Update README.md
Browse files
README.md
CHANGED
|
@@ -4,7 +4,8 @@ license: apache-2.0
|
|
| 4 |
|
| 5 |
# llm-jp-13b-instruct-full-dolly-oasst-v1.0-GPTQ-calib-ja-1k
|
| 6 |
llm-jpさんが公開している、[llm-jp-13b-instruct-full-dolly-oasst-v1.0](https://huggingface.co/llm-jp/llm-jp-13b-instruct-full-dolly-oasst-v1.0)を、
|
| 7 |
-
日本語のキャリブレーションセットで生成したGPTQモデルになります。
|
|
|
|
| 8 |
|
| 9 |
キャリブレーションセットは[izumi-lab/wikipedia-ja-20230720](https://huggingface.co/datasets/izumi-lab/wikipedia-ja-20230720)から、
|
| 10 |
1kほどランダムサンプリングしたものと、
|
|
@@ -31,7 +32,7 @@ pip install auto-gptq transformers
|
|
| 31 |
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig
|
| 32 |
from transformers import AutoTokenizer
|
| 33 |
|
| 34 |
-
model_name_or_path = "mmnga/llm-jp-13b-instruct-full-
|
| 35 |
|
| 36 |
# Tokenizer
|
| 37 |
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)
|
|
|
|
| 4 |
|
| 5 |
# llm-jp-13b-instruct-full-dolly-oasst-v1.0-GPTQ-calib-ja-1k
|
| 6 |
llm-jpさんが公開している、[llm-jp-13b-instruct-full-dolly-oasst-v1.0](https://huggingface.co/llm-jp/llm-jp-13b-instruct-full-dolly-oasst-v1.0)を、
|
| 7 |
+
日本語のキャリブレーションセットで生成したGPTQモデルになります。
|
| 8 |
+
**jasterなし**
|
| 9 |
|
| 10 |
キャリブレーションセットは[izumi-lab/wikipedia-ja-20230720](https://huggingface.co/datasets/izumi-lab/wikipedia-ja-20230720)から、
|
| 11 |
1kほどランダムサンプリングしたものと、
|
|
|
|
| 32 |
from auto_gptq import AutoGPTQForCausalLM, BaseQuantizeConfig
|
| 33 |
from transformers import AutoTokenizer
|
| 34 |
|
| 35 |
+
model_name_or_path = "mmnga/llm-jp-13b-instruct-full-dolly-oasst-v1.0-GPTQ-calib-ja-1k"
|
| 36 |
|
| 37 |
# Tokenizer
|
| 38 |
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)
|