grapevine-AI commited on
Commit
cbd27cf
1 Parent(s): 0c71e30

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +29 -3
README.md CHANGED
@@ -1,3 +1,29 @@
1
- ---
2
- license: apache-2.0
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ ---
4
+ # What is this?
5
+ o1-inspiredなQwen2.5-32B-Instructの派生モデル[QwQ-32B-Preview](https://huggingface.co/Qwen/QwQ-32B-Preview)を日本語imatrixで量子化したものです。
6
+
7
+ # imatrix dataset
8
+ 日本語能力を重視し、日本語が多量に含まれる[TFMC/imatrix-dataset-for-japanese-llm](https://huggingface.co/datasets/TFMC/imatrix-dataset-for-japanese-llm)データセットを使用しました。<br>
9
+ なお、計算リソースの関係上imatrixの算出においてはQ8_0量子化モデルを使用しました。
10
+
11
+ # Chat template
12
+ ```
13
+ <|im_start|>system
14
+ ここにSystem Promptを書きます。<|im_end|>
15
+ <|im_start|>user
16
+ ここにMessageを書きます。<|im_end|>
17
+ <|im_start|>assistant
18
+
19
+
20
+ ```
21
+
22
+ # Environment
23
+ Windows版llama.cpp-b3621およびllama.cpp-b3472同時リリースのconvert-hf-to-gguf.pyを使用して量子化作業を実施しました。
24
+
25
+ # License
26
+ Apache 2.0
27
+
28
+ # Developer
29
+ Alibaba Cloud