Update README.md
Browse files
README.md
CHANGED
|
@@ -8,7 +8,7 @@ tags:
|
|
| 8 |
- japanese
|
| 9 |
---
|
| 10 |
|
| 11 |
-
|
| 12 |
上記モデルをexllamav2の4.5bitで量子化したものです。
|
| 13 |
|
| 14 |
キャリブレーションデータは不使用。
|
|
@@ -16,4 +16,9 @@ RTX3090にて、量子化＋保存、約３時間ほどで作成できました
|
|
| 16 |
|
| 17 |
出力されたsafetensorファイルのファイル名を修正したのみで、基本コマンドのまま実行しました。
|
| 18 |
|
| 19 |
-
output-00001-of-00002.safetensors → model-00001-of-00002.safetensors
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 8 |
- japanese
|
| 9 |
---
|
| 10 |
|
| 11 |
+
cyberagent/calm3-22b-chat : https://huggingface.co/cyberagent/calm3-22b-chat
|
| 12 |
上記モデルをexllamav2の4.5bitで量子化したものです。
|
| 13 |
|
| 14 |
キャリブレーションデータは不使用。
|
|
|
|
| 16 |
|
| 17 |
出力されたsafetensorファイルのファイル名を修正したのみで、基本コマンドのまま実行しました。
|
| 18 |
|
| 19 |
+
output-00001-of-00002.safetensors → model-00001-of-00002.safetensors
|
| 20 |
+
|
| 21 |
+
初量子化なので、正しいかは分かりません。
|
| 22 |
+
|
| 23 |
+
text-generation-webuiでは、ParetersのInstruction templateをChatMLでLoadし、
|
| 24 |
+
ChatをModeをinstructにして動作確認しております。
|