Sdff-Ltba
/

LightChatAssistant-2x7B-GGUF

Text Generation

Mixture of Experts

Not-For-All-Audiences

nsfw

Model card Files Files and versions Community

Sdff-Ltba commited on Apr 5

Commit

aa7362b

•

1 Parent(s): bd3bf3a

Update README.md

Files changed (1) hide show

README.md +4 -4

README.md CHANGED Viewed

@@ -9,18 +9,18 @@ tags:
 pipeline_tag: text-generation
 ---
-# chatntq_chatvector-MoE-Antler_chatvector-2x7B-GGUF
-[Sdff-Ltba/chatntq_chatvector-MoE-Antler_chatvector-2x7B](https://huggingface.co/Sdff-Ltba/chatntq_chatvector-MoE-Antler_chatvector-2x7B)をGGUF変換したものです。
 iMatrixを併用して量子化しています。
 ## 量子化手順
 以下の通りに実行しました。
 ```
-python ./llama.cpp/convert.py ./chatntq_chatvector-MoE-Antler_chatvector-2x7B --outtype f16 --outfile ./gguf-model_f16.gguf
 ./llama.cpp/imatrix -m ./gguf-model_f16.gguf -f ./wiki.train.raw -o ./gguf-model_f16.imatrix --chunks 32
-./llama.cpp/quantize --imatrix ./gguf-model_f16.imatrix ./gguf-model_f16.gguf ./chatntq_chatvector-MoE-Antler_chatvector-2x7B_iq3xxs.gguf iq3_xxs
 ```
 ## 環境

 pipeline_tag: text-generation
 ---
+# LightChatAssistant-2x7B-GGUF
+[Sdff-Ltba/LightChatAssistant-2x7B](https://huggingface.co/Sdff-Ltba/LightChatAssistant-2x7B)をGGUF変換したものです。
 iMatrixを併用して量子化しています。
 ## 量子化手順
 以下の通りに実行しました。
 ```
+python ./llama.cpp/convert.py ./LightChatAssistant-2x7B --outtype f16 --outfile ./gguf-model_f16.gguf
 ./llama.cpp/imatrix -m ./gguf-model_f16.gguf -f ./wiki.train.raw -o ./gguf-model_f16.imatrix --chunks 32
+./llama.cpp/quantize --imatrix ./gguf-model_f16.imatrix ./gguf-model_f16.gguf ./LightChatAssistant-2x7B_iq3xxs.gguf iq3_xxs
 ```
 ## 環境