mmnga commited on
Commit
89a3476
1 Parent(s): 883bc74

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +18 -1
README.md CHANGED
@@ -16,11 +16,28 @@ language:
16
 
17
  *注意:こちらはブランチで試用になります。llama.cpp本家にgptneoxが実装された時に、このggufファイルが使用できない可能性があります。*
18
 
 
 
19
  ## Usage (試用)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
20
  ~~~~bash
21
  git clone --branch mmnga-dev https://github.com/mmnga/llama.cpp.git
22
  cd llama.cpp
23
  make -j gptneox
24
  ./gptneox -m 'rinna-bilingual-gpt-neox-4b-q4_0.gguf' -n 128 -p 'ユーザー: 吾輩って猫ですか? システム: '
25
  ~~~~
26
-
 
16
 
17
  *注意:こちらはブランチで試用になります。llama.cpp本家にgptneoxが実装された時に、このggufファイルが使用できない可能性があります。*
18
 
19
+ ***[GitHubリポジトリの readme はこちら](https://github.com/mmnga/llama.cpp/tree/mmnga-dev)***
20
+
21
  ## Usage (試用)
22
+
23
+ ~~~~bash
24
+ git clone --branch mmnga-dev https://github.com/mmnga/llama.cpp.git
25
+ cd llama.cpp
26
+ make -j
27
+ ./main -m 'rinna-bilingual-gpt-neox-4b-q4_0.gguf' -n 128 -p 'ユーザー: 吾輩って猫ですか? システム: ' --top_p 0.9 --temp 0.7 --repeat-penalty 1.1
28
+ ~~~~
29
+
30
+ **CUBLAS**
31
+ ~~~~bash
32
+ LLAMA_CUBLAS=1 make -j
33
+ ./main -m 'rinna-bilingual-gpt-neox-4b-q4_0.gguf' -n 128 -p 'ユーザー: 吾輩って猫ですか? システム: ' -ngl 32
34
+ ~~~~
35
+
36
+
37
+ **従来のCPU実行**
38
  ~~~~bash
39
  git clone --branch mmnga-dev https://github.com/mmnga/llama.cpp.git
40
  cd llama.cpp
41
  make -j gptneox
42
  ./gptneox -m 'rinna-bilingual-gpt-neox-4b-q4_0.gguf' -n 128 -p 'ユーザー: 吾輩って猫ですか? システム: '
43
  ~~~~