Update README.md
Browse files
README.md
CHANGED
@@ -8,14 +8,19 @@ tags:
|
|
8 |
# stockmark-gpt-neox-japanese-1.4b-gguf
|
9 |
[stockmarkさんが公開しているgpt-neox-japanese-1.4b](https://huggingface.co/stockmark/gpt-neox-japanese-1.4b)のggufフォーマット変換版です。
|
10 |
|
11 |
-
llama.cpp
|
12 |
-
*llama.cpp本家は開発速度が早く、clone先をブランチに変更しました。*
|
13 |
|
14 |
## Usage (試用)
|
15 |
|
16 |
```
|
17 |
git clone --branch mmnga-dev https://github.com/mmnga/llama.cpp.git
|
18 |
cd llama.cpp
|
19 |
-
make -j
|
20 |
-
./
|
|
|
|
|
|
|
|
|
|
|
|
|
21 |
```
|
|
|
8 |
# stockmark-gpt-neox-japanese-1.4b-gguf
|
9 |
[stockmarkさんが公開しているgpt-neox-japanese-1.4b](https://huggingface.co/stockmark/gpt-neox-japanese-1.4b)のggufフォーマット変換版です。
|
10 |
|
11 |
+
注意:こちらはブランチで試用になります。llama.cpp本家にgptneoxが実装された時に、このggufファイルが使用できない可能性があります。
|
|
|
12 |
|
13 |
## Usage (試用)
|
14 |
|
15 |
```
|
16 |
git clone --branch mmnga-dev https://github.com/mmnga/llama.cpp.git
|
17 |
cd llama.cpp
|
18 |
+
make -j
|
19 |
+
./main -m 'stockmark-gpt-neox-japanese-1.4b-q4_0.gguf' -n 128 -p '吾輩は猫である。名前は実を言うと、' --top_p 0.9 --temp 0.7 --repeat-penalty 1.1
|
20 |
+
```
|
21 |
+
|
22 |
+
**CUBLAS**
|
23 |
+
```
|
24 |
+
LLAMA_CUBLAS=1 make -j
|
25 |
+
./main -m 'stockmark-gpt-neox-japanese-1.4b-q4_0.gguf' -n 128 -p '吾輩は猫である。名前は実を言うと、' -ngl 32
|
26 |
```
|