renillhuang commited on
Commit
386af23
1 Parent(s): 9a1b7b6

Update README_ja.md

Browse files
Files changed (1) hide show
  1. README_ja.md +32 -4
README_ja.md CHANGED
@@ -32,7 +32,7 @@
32
  - [📖 モデル紹介](#model-introduction)
33
  - [🔗 モデルダウンロード](#model-download)
34
  - [🔖 モデルベンチマーク](#model-benchmark)
35
- - [📊 モデル推論](#model-inference)
36
  - [📜 声明とライセンス](#declarations-license)
37
  - [🥇 企業紹介](#company-introduction)
38
 
@@ -262,9 +262,37 @@ CUDA_VISIBLE_DEVICES=0 python demo/text_generation_base.py --model OrionStarAI/O
262
  # チャットモデル
263
  CUDA_VISIBLE_DEVICES=0 python demo/text_generation.py --model OrionStarAI/Orion-14B-Chat --tokenizer OrionStarAI/Orion-14B-Chat --prompt hi
264
  ```
 
265
 
266
- ## 4.4 例の出力
267
- ### 4.4.1 カジュアルチャット
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
268
 
269
  `````
270
  User: Hello
@@ -286,7 +314,7 @@ User: Tell me a joke.
286
  Orion-14B: Sure, here's a classic one-liner: Why don't scientists trust atoms? Because they make up everything.
287
  `````
288
 
289
- ### 4.4.2. 日本語と韓国語のチャット
290
 
291
  `````
292
  User:自己を紹介してください
 
32
  - [📖 モデル紹介](#model-introduction)
33
  - [🔗 モデルダウンロード](#model-download)
34
  - [🔖 モデルベンチマーク](#model-benchmark)
35
+ - [📊 モデル推論](#model-inference)[<img src="./assets/imgs/vllm.png" alt="vllm" height="20"/>](#vllm) [<img src="./assets/imgs/llama_cpp.png" alt="llamacpp" height="20"/>](#llama-cpp)
36
  - [📜 声明とライセンス](#declarations-license)
37
  - [🥇 企業紹介](#company-introduction)
38
 
 
262
  # チャットモデル
263
  CUDA_VISIBLE_DEVICES=0 python demo/text_generation.py --model OrionStarAI/Orion-14B-Chat --tokenizer OrionStarAI/Orion-14B-Chat --prompt hi
264
  ```
265
+ ## 4.4. vLLMを使用した推論
266
 
267
+ - プロジェクトのアドレス<br>
268
+ https://github.com/vllm-project/vllm
269
+
270
+ - プルリクエスト<br>
271
+ https://github.com/vllm-project/vllm/pull/2539
272
+
273
+ <a name="llama-cpp"></a><br>
274
+ ## 4.5. llama.cppを使用した推論
275
+
276
+ - プロジェクトのアドレス<br>
277
+ https://github.com/ggerganov/llama.cpp
278
+
279
+ - プルリクエスト<br>
280
+ https://github.com/ggerganov/llama.cpp/pull/5118
281
+
282
+ - GGUF形式に変換する方法
283
+
284
+ ```shell
285
+ python convert-hf-to-gguf.py path/to/Orion-14B-Chat --outfile chat.gguf
286
+ ```
287
+
288
+ - モデル推論方法
289
+
290
+ ```shell
291
+ ./main --frequency-penalty 0.5 --frequency-penalty 0.5 --top-k 5 --top-p 0.9 -m chat.gguf -p "Building a website can be done in 10 simple steps:\nStep 1:" -n 400 -e
292
+ ```
293
+
294
+ ## 4.6 例の出力
295
+ ### 4.6.1 カジュアルチャット
296
 
297
  `````
298
  User: Hello
 
314
  Orion-14B: Sure, here's a classic one-liner: Why don't scientists trust atoms? Because they make up everything.
315
  `````
316
 
317
+ ### 4.6.2. 日本語と韓国語のチャット
318
 
319
  `````
320
  User:自己を紹介してください