Update README.md

README.md

@@ -1,3 +1,51 @@
 ---
 license: mit
+language:
+- ja
 ---
+# stockmark-gpt-neox-japanese-1.4b-gguf
+[stockmarkさんが公開しているgpt-neox-japanese-1.4b](https://huggingface.co/stockmark/gpt-neox-japanese-1.4b)のggufフォーマット変換版です。
+
+llama.cppのexamplesで動かせます。
+
+## Usage (試用)
+
+```
+git clone https://github.com/ggerganov/llama.cpp.git
+cd llama.cpp
+```
+
+Makefileを下記に修正します
+
+１箇所目
+```
+gguf: examples/gguf/gguf.cpp                                  build-info.h ggml.o llama.o $(OBJS)
+	$(CXX) $(CXXFLAGS) $(filter-out %.h,$^) -o $@ $(LDFLAGS)
+
+```
+の後に
+```
+gguf: examples/gguf/gguf.cpp                                  build-info.h ggml.o llama.o $(OBJS)
+	$(CXX) $(CXXFLAGS) $(filter-out %.h,$^) -o $@ $(LDFLAGS)
+
+gptneox: examples/gptneox-wip/gptneox-main.cpp	build-info.h ggml.o $(OBJS)
+	$(CXX) $(CXXFLAGS) $(filter-out %.h,$^) -o $@ $(LDFLAGS)
+```
+この様に追加します。
+
+
+２箇所目
+```
+BUILD_TARGETS = main quantize quantize-stats perplexity embedding vdot train-text-from-scratch convert-llama2c-to-ggml simple server embd-input-test gguf llama-bench 
+```
+を
+```
+BUILD_TARGETS = main quantize quantize-stats perplexity embedding vdot train-text-from-scratch convert-llama2c-to-ggml simple server embd-input-test gguf llama-bench gptneox
+```
+この様にgptneoxを追加します。
+後はmakeしてから実行します。
+
+```
+make 
+./gptneox -m 'stockmark-gpt-neox-japanese-1.4b-q4_0.gguf' -n 128 -t 8 -p '吾輩って猫だったの！？' 
+```