renillhuang commited on
Commit
b8a6cac
1 Parent(s): f171036

Update README_ja.md

Browse files
Files changed (1) hide show
  1. README_ja.md +34 -4
README_ja.md CHANGED
@@ -32,7 +32,7 @@
32
  - [📖 モデル紹介](#model-introduction)
33
  - [🔗 モデルダウンロード](#model-download)
34
  - [🔖 モデルベンチマーク](#model-benchmark)
35
- - [📊 モデル推論](#model-inference)
36
  - [📜 声明とライセンス](#declarations-license)
37
  - [🥇 企業紹介](#company-introduction)
38
 
@@ -263,8 +263,38 @@ CUDA_VISIBLE_DEVICES=0 python demo/text_generation_base.py --model OrionStarAI/O
263
  CUDA_VISIBLE_DEVICES=0 python demo/text_generation.py --model OrionStarAI/Orion-14B-Chat --tokenizer OrionStarAI/Orion-14B-Chat --prompt hi
264
  ```
265
 
266
- ## 4.4 例の出力
267
- ### 4.4.1 カジュアルチャット
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
268
 
269
  `````
270
  User: Hello
@@ -286,7 +316,7 @@ User: Tell me a joke.
286
  Orion-14B: Sure, here's a classic one-liner: Why don't scientists trust atoms? Because they make up everything.
287
  `````
288
 
289
- ### 4.4.2. 日本語と韓国語のチャット
290
 
291
  `````
292
  User:自己を紹介してください
 
32
  - [📖 モデル紹介](#model-introduction)
33
  - [🔗 モデルダウンロード](#model-download)
34
  - [🔖 モデルベンチマーク](#model-benchmark)
35
+ - [📊 モデル推論](#model-inference)[<img src="./assets/imgs/vllm.png" alt="vllm" height="20"/>](#vllm) [<img src="./assets/imgs/llama_cpp.png" alt="llamacpp" height="20"/>](#llama-cpp)
36
  - [📜 声明とライセンス](#declarations-license)
37
  - [🥇 企業紹介](#company-introduction)
38
 
 
263
  CUDA_VISIBLE_DEVICES=0 python demo/text_generation.py --model OrionStarAI/Orion-14B-Chat --tokenizer OrionStarAI/Orion-14B-Chat --prompt hi
264
  ```
265
 
266
+ ## 4.4. vLLMを使用した推論
267
+
268
+ - プロジェクトのアドレス<br>
269
+ https://github.com/vllm-project/vllm
270
+
271
+ - プルリクエスト<br>
272
+ https://github.com/vllm-project/vllm/pull/2539
273
+
274
+ <a name="llama-cpp"></a><br>
275
+
276
+ ## 4.5. llama.cppを使用した推論
277
+
278
+ - プロジェクトのアドレス<br>
279
+ https://github.com/ggerganov/llama.cpp
280
+
281
+ - プルリクエスト<br>
282
+ https://github.com/ggerganov/llama.cpp/pull/5118
283
+
284
+ - GGUF形式に変換する方法
285
+
286
+ ```shell
287
+ python convert-hf-to-gguf.py path/to/Orion-14B-Chat --outfile chat.gguf
288
+ ```
289
+
290
+ - モデル推論方法
291
+
292
+ ```shell
293
+ ./main --frequency-penalty 0.5 --frequency-penalty 0.5 --top-k 5 --top-p 0.9 -m chat.gguf -p "Building a website can be done in 10 simple steps:\nStep 1:" -n 400 -e
294
+ ```
295
+
296
+ ## 4.6 例の出力
297
+ ### 4.6.1 カジュアルチャット
298
 
299
  `````
300
  User: Hello
 
316
  Orion-14B: Sure, here's a classic one-liner: Why don't scientists trust atoms? Because they make up everything.
317
  `````
318
 
319
+ ### 4.6.2. 日本語と韓国語のチャット
320
 
321
  `````
322
  User:自己を紹介してください