GGUF
English
Japanese
mmnga commited on
Commit
e0f6295
1 Parent(s): 29105dc

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +30 -0
README.md ADDED
@@ -0,0 +1,30 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: llama3
3
+ language:
4
+ - en
5
+ - ja
6
+ datasets:
7
+ - TFMC/imatrix-dataset-for-japanese-llm
8
+ ---
9
+
10
+ # rinna-llama-3-youko-8b-gguf
11
+ [rinnaさんが公開しているllama-3-youko-8b](https://huggingface.co/rinna/llama-3-youko-8b)のggufフォーマット変換版です。
12
+
13
+ imatrixのデータは[TFMC/imatrix-dataset-for-japanese-llm](https://huggingface.co/datasets/TFMC/imatrix-dataset-for-japanese-llm)を使用して作成しました。
14
+
15
+ モデル一覧
16
+
17
+ GGUF版
18
+ [mmnga/rinna-llama-3-youko-8b-gguf](https://huggingface.co/mmnga/rinna-llama-3-youko-8b-gguf)
19
+ [mmnga/rinna-nekomata-7b-instruction-gguf](https://huggingface.co/mmnga/rinna-nekomata-7b-instruction-gguf)
20
+ [mmnga/rinna-nekomata-14b-instruction-gguf](https://huggingface.co/mmnga/rinna-nekomata-14b-instruction-gguf)
21
+
22
+
23
+ ## Usage
24
+
25
+ ```
26
+ git clone https://github.com/ggerganov/llama.cpp.git
27
+ cd llama.cpp
28
+ make -j
29
+ ./main -m 'rinna-llama-3-youko-8b-q4_0.gguf' -n 128 -p '西田幾多郎は、'
30
+ ```