File size: 781 Bytes
e943155 14647aa 3feff62 e943155 a72796a 14647aa |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
---
license: apache-2.0
language:
- ja
- en
tags:
- casual-lm
- japanese
---
cyberagent/calm3-22b-chat : https://huggingface.co/cyberagent/calm3-22b-chat
上記モデルをexllamav2の4.5bitで量子化したものです。
キャリブレーションデータは不使用。
RTX3090にて、量子化＋保存、約３時間ほどで作成できました。
出力されたsafetensorファイルのファイル名を修正したのみで、基本コマンドのまま実行しました。
output-00001-of-00002.safetensors → model-00001-of-00002.safetensors
初量子化なので、正しいかは分かりません。
text-generation-webuiでは、ParetersのInstruction templateをChatMLでLoadし、
ChatをModeをinstructにして動作確認しております。 |