Configuration Parsing
Warning:
In config.json: "quantization_config.bits" must be an integer
cyberagent/calm3-22b-chat : https://huggingface.co/cyberagent/calm3-22b-chat
上記モデルをexllamav2の4.5bitで量子化したものです。
キャリブレーションデータは不使用。 RTX3090にて、量子化＋保存、約３時間ほどで作成できました。
出力されたsafetensorファイルのファイル名を修正したのみで、基本コマンドのまま実行しました。
output-00001-of-00002.safetensors → model-00001-of-00002.safetensors
初量子化なので、正しいかは分かりません。
text-generation-webuiでは、ParetersのInstruction templateをChatMLでLoadし、 ChatをModeをinstructにして動作確認しております。
- Downloads last month
- 3
This model does not have enough activity to be deployed to Inference API (serverless) yet.
Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.