mmnga commited on
Commit
83fe1cc
1 Parent(s): e6ea2f2

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +18 -1
README.md CHANGED
@@ -10,9 +10,26 @@ tags:
10
  # AIBunCho/japanese-novel-gpt-j-6b
11
  [AI BunChoさんが公開しているjapanese-novel-gpt-j-6b](https://huggingface.co/AIBunCho/japanese-novel-gpt-j-6b)のgguf変換版です。
12
 
13
- *注意:こちらはブランチで試用になります。llama.cpp本家にgptjが実装された時に、このggufファイルが使用できない可能性があります。*
 
 
14
 
15
  ## Usage (試用)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
16
  ~~~~bash
17
  git clone --branch mmnga-dev https://github.com/mmnga/llama.cpp.git
18
  cd llama.cpp
 
10
  # AIBunCho/japanese-novel-gpt-j-6b
11
  [AI BunChoさんが公開しているjapanese-novel-gpt-j-6b](https://huggingface.co/AIBunCho/japanese-novel-gpt-j-6b)のgguf変換版です。
12
 
13
+ *注意:こちらはブランチで試用になります。llama.cpp本家にgptneox, gpt2が実装された時に、このggufファイルが使用できない可能性があります。*
14
+
15
+ ***[GitHubリポジトリの readme はこちら](https://github.com/mmnga/llama.cpp/tree/mmnga-dev)***
16
 
17
  ## Usage (試用)
18
+
19
+ ```
20
+ git clone --branch mmnga-dev https://github.com/mmnga/llama.cpp.git
21
+ cd llama.cpp
22
+ make -j
23
+ ./main -m 'aibuncho-japanese-novel-gpt-j-6b-q4_0.gguf' -n 128 -p '犬「吾輩は猫である。」猫「' --top_p 0.9 --temp 0.7 --repeat-penalty 1.1
24
+ ```
25
+
26
+ **CUBLAS**
27
+ ```
28
+ LLAMA_CUBLAS=1 make -j
29
+ ./main -m 'aibuncho-japanese-novel-gpt-j-6b-q4_0.gguf' -n 128 -p '犬「吾輩は猫である。」猫「' -ngl 24
30
+ ```
31
+
32
+ **従来のCPU実行**
33
  ~~~~bash
34
  git clone --branch mmnga-dev https://github.com/mmnga/llama.cpp.git
35
  cd llama.cpp