mmnga commited on
Commit
702dc85
1 Parent(s): d6c2761

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +19 -0
README.md CHANGED
@@ -2,4 +2,23 @@
2
  license: other
3
  license_name: llama3
4
  license_link: https://huggingface.co/meta-llama/Meta-Llama-3-8B/blob/main/LICENSE
 
 
 
 
 
5
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
2
  license: other
3
  license_name: llama3
4
  license_link: https://huggingface.co/meta-llama/Meta-Llama-3-8B/blob/main/LICENSE
5
+ language:
6
+ - en
7
+ - ja
8
+ tags:
9
+ - llama3
10
  ---
11
+ # Meta-Llama-3-70B-Instruct-gguf
12
+ [meta-llamaさんが公開しているMeta-Llama-3-70B-Instruct](https://huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct)のggufフォーマット変換版です。
13
+
14
+ eot_id対応してます。
15
+ imatrixのデータは[TFMC/imatrix-dataset-for-japanese-llm](https://huggingface.co/datasets/TFMC/imatrix-dataset-for-japanese-llm)を使用して作成しました。
16
+
17
+ ## Usage
18
+
19
+ ```
20
+ git clone https://github.com/ggerganov/llama.cpp.git
21
+ cd llama.cpp
22
+ make -j
23
+ ./main -m 'Meta-Llama-3-70B-Instruct-Q4_0.gguf' -p "<|begin_of_text|><|start_header_id|>user <|end_header_id|>\n\nこんにちわ<|eot_id|><|start_header_id|>assistant <|end_header_id|>\n\n" -n 128
24
+ ```