stockmark-13b-AWQ-calib-ja

stockmarkさんが公開している、stockmark-13bを、 日本語のキャリブレーションセットで生成したAWQモデルになります。

キャリブレーションセットはizumi-lab/wikipedia-ja-20230720から、 300ほどランダムサンプリングしたものと、
ELYZA-tasks-100のinput/outputを計200ほど追加しています。
mmnga/wikipedia-ja-20230720-1k

colabではA100でのみ実行できます

モデル一覧
GPTQ
mmnga/stockmark-13b-GPTQ-calib-ja-1k

AWQ
mmnga/stockmark-13b-AWQ-calib-ja

GGUF

Usage

pip install autoawq transformers

from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer, TextStreamer

model_name_or_path = "mmnga/stockmark-13b-AWQ-calib-ja"

tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)
model = AutoAWQForCausalLM.from_quantized(model_name_or_path, safetensors=True)

prompt = """今日の晩御飯をご紹介します。"""
tokens = tokenizer(
    prompt,
    return_tensors='pt'
).input_ids.cuda()

# Generate output
generation_output = model.generate(
    tokens,
    do_sample=True,
    temperature=0.7,
    top_p=0.95,
    top_k=40,
    max_new_tokens=128
)

print(tokenizer.decode(generation_output[0]))