| license: apache-2.0 | |
| language: | |
| - ja | |
| - en | |
| tags: | |
| - casual-lm | |
| - japanese | |
| cyberagent/calm3-22b-chat : https://huggingface.co/cyberagent/calm3-22b-chat | |
| 上記モデルをexllamav2の4.5bitで量子化したものです。 | |
| キャリブレーションデータは不使用。 | |
| RTX3090にて、量子化＋保存、約３時間ほどで作成できました。 | |
| 出力されたsafetensorファイルのファイル名を修正したのみで、基本コマンドのまま実行しました。 | |
| output-00001-of-00002.safetensors → model-00001-of-00002.safetensors | |
| 初量子化なので、正しいかは分かりません。 | |
| text-generation-webuiでは、ParetersのInstruction templateをChatMLでLoadし、 | |
| ChatをModeをinstructにして動作確認しております。 |