README.md

metadata

license: mit
base_model:
  - meta-llama/Llama-3.3-70B-Instruct

kishizaki-sci/Llama-3.3-70B-Instruct-AWQ-4bit-JP-EN

モデル情報

Llama-3.3-70B-InstructをAutoAWQで4bit 量子化したモデル。量子化の際のキャリブレーションデータに日本語と英語を含むデータを使用。

使い方

transformers

from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

tokenizer = AutoTokenizer.from_pretrained("kishizaki-sci/Llama-3.3-70B-Instruct-AWQ-4bit-JP-EN")
model = AutoModelForCausalLM.from_pretrained("kishizaki-sci/Llama-3.3-70B-Instruct-AWQ-4bit-JP-EN")
model.to("cuda")

chat = [
    {"role": "system", "content": "あなたは日本語で応答するAIチャットボットです。ユーザをサポートしてください。"},
    {"role": "user", "content": "plotly.graph_objectsを使って散布図を作るサンプルコードを書いてください。"}
]
prompt = tokenizer.apply_chat_template(
    chat,
    tokenize=False,
    add_generation_prompt=True
)
inputs = tokenizer(prompt, return_tensors="pt")
inputs = inputs.to("cuda")
streamer = TextStreamer(tokenizer)

output = model.generate(**inputs, streamer=streamer, max_new_tokens=1024)

このコードはA100インスタンスのGoogle Colab でも動かせます。

vLLM

キャリブレーションデータ

以下のデータセットから512個のデータ，プロンプトを抽出。1つのデータのトークン数は最大350制限。

• TFMC/imatrix-dataset-for-japanese-llm
• meta-math/MetaMathQA
• m-a-p/CodeFeedback-Filtered-Instruction
• kunishou/databricks-dolly-15k-ja
• その他日本語版・英語版のwikipedia記事から作成したオリジナルデータ，有害プロンプト回避のためのオリジナルデータを使用。

　

License

[MIT License]を適用する。ただし量子化のベースモデルに適用されているLlama 3.3 Community License Agreementを遵守すること。