mmnga commited on
Commit
982a413
1 Parent(s): 6286996

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +6 -36
README.md CHANGED
@@ -2,50 +2,20 @@
2
  license: mit
3
  language:
4
  - ja
 
 
5
  ---
6
  # stockmark-gpt-neox-japanese-1.4b-gguf
7
  [stockmarkさんが公開しているgpt-neox-japanese-1.4b](https://huggingface.co/stockmark/gpt-neox-japanese-1.4b)のggufフォーマット変換版です。
8
 
9
  llama.cppのexamplesで動かせます。
 
10
 
11
  ## Usage (試用)
12
 
13
  ```
14
- git clone https://github.com/ggerganov/llama.cpp.git
15
  cd llama.cpp
16
- ```
17
-
18
- Makefileを下記に修正します
19
-
20
- 1箇所目
21
- ```
22
- gguf: examples/gguf/gguf.cpp build-info.h ggml.o llama.o $(OBJS)
23
- $(CXX) $(CXXFLAGS) $(filter-out %.h,$^) -o $@ $(LDFLAGS)
24
-
25
- ```
26
- の後に
27
- ```
28
- gguf: examples/gguf/gguf.cpp build-info.h ggml.o llama.o $(OBJS)
29
- $(CXX) $(CXXFLAGS) $(filter-out %.h,$^) -o $@ $(LDFLAGS)
30
-
31
- gptneox: examples/gptneox-wip/gptneox-main.cpp build-info.h ggml.o $(OBJS)
32
- $(CXX) $(CXXFLAGS) $(filter-out %.h,$^) -o $@ $(LDFLAGS)
33
- ```
34
- この様に追加します。
35
-
36
-
37
- 2箇所目
38
- ```
39
- BUILD_TARGETS = main quantize quantize-stats perplexity embedding vdot train-text-from-scratch convert-llama2c-to-ggml simple server embd-input-test gguf llama-bench
40
- ```
41
-
42
- ```
43
- BUILD_TARGETS = main quantize quantize-stats perplexity embedding vdot train-text-from-scratch convert-llama2c-to-ggml simple server embd-input-test gguf llama-bench gptneox
44
- ```
45
- この様にgptneoxを追加します。
46
- 後はmakeしてから実行します。
47
-
48
- ```
49
- make
50
  ./gptneox -m 'stockmark-gpt-neox-japanese-1.4b-q4_0.gguf' -n 128 -t 8 -p '吾輩って猫だったの!?'
51
- ```
 
2
  license: mit
3
  language:
4
  - ja
5
+ tags:
6
+ - gpt-neox
7
  ---
8
  # stockmark-gpt-neox-japanese-1.4b-gguf
9
  [stockmarkさんが公開しているgpt-neox-japanese-1.4b](https://huggingface.co/stockmark/gpt-neox-japanese-1.4b)のggufフォーマット変換版です。
10
 
11
  llama.cppのexamplesで動かせます。
12
+ *llama.cpp本家は開発速度が早くgptneoxのコンパイルが通らなくなる事もありますので、clone先をブランチに変更しました。*
13
 
14
  ## Usage (試用)
15
 
16
  ```
17
+ git clone --branch dev https://github.com/mmnga/llama.cpp.git
18
  cd llama.cpp
19
+ make -j
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
20
  ./gptneox -m 'stockmark-gpt-neox-japanese-1.4b-q4_0.gguf' -n 128 -t 8 -p '吾輩って猫だったの!?'
21
+ ```