mmnga commited on
Commit
ddfcb52
1 Parent(s): 282ce3c

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +38 -0
README.md CHANGED
@@ -1,3 +1,41 @@
1
  ---
2
  license: cc-by-sa-4.0
 
 
3
  ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
  ---
2
  license: cc-by-sa-4.0
3
+ language:
4
+ - ja
5
  ---
6
+ # cyberagent-open-calm-3b-gguf
7
+ [cyberagentさんが公開しているopen-calm-3b](https://huggingface.co/cyberagent/open-calm-3b)のggufフォーマット変換版です。
8
+
9
+ llama.cppのexamplesで動かせます。
10
+
11
+ ## Usage (試用)
12
+
13
+ ```
14
+ git clone https://github.com/ggerganov/llama.cpp.git
15
+ cd llama.cpp
16
+ git checkout gguf
17
+ ```
18
+
19
+ MakeFileを下記に修正します
20
+
21
+ ```
22
+ gguf: examples/gguf/gguf.cpp build-info.h ggml.o llama.o $(OBJS)
23
+ $(CXX) $(CXXFLAGS) $(filter-out %.h,$^) -o $@ $(LDFLAGS)
24
+
25
+ ```
26
+ の後に
27
+ ```
28
+ gguf: examples/gguf/gguf.cpp build-info.h ggml.o llama.o $(OBJS)
29
+ $(CXX) $(CXXFLAGS) $(filter-out %.h,$^) -o $@ $(LDFLAGS)
30
+
31
+ gptneox: examples/gptneox-wip/gptneox-main.cpp build-info.h ggml.o $(OBJS)
32
+ $(CXX) $(CXXFLAGS) $(filter-out %.h,$^) -o $@ $(LDFLAGS)
33
+ ```
34
+ この様に追加します。
35
+ 後はmakeしてから実行します。
36
+
37
+ ```
38
+ make
39
+ ./gptneox -m 'cyberagent-open-calm-3b-q4_0.gguf' -n 128 -t 8 -p '吾輩は猫である。名前は実を言うと、'
40
+ ```
41
+