Update README.md
Browse files
README.md
CHANGED
|
@@ -5,11 +5,18 @@ tags:
|
|
| 5 |
---
|
| 6 |
gemma-2-27b-itを日本語が多く含まれる重要度行列(iMatrix)を使って量子化したgguf版です。日本語対応能力が多めに保持されている事を期待していますが確かめる事はまだ出来ていません
|
| 7 |
This is a quantized gguf version of gemma-2-27b-it using an importance matrix (iMatrix) that contains many Japanese words.
|
| 8 |
-
I hope it retains more Japanese support, but I can't be sure yet.
|
| 9 |
|
|
|
|
|
|
|
| 10 |
|
| 11 |
## 使い方(How to use)
|
| 12 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 13 |
[公式マニュアル](https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md)に従ってllama.cppをビルドします
|
| 14 |
Build llama.cpp according to the [official manual](https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md)
|
| 15 |
|
|
@@ -26,7 +33,11 @@ Open http://127.0.0.1:8080 in your browser
|
|
| 26 |
|
| 27 |
|
| 28 |
|
|
|
|
| 29 |
|
|
|
|
|
|
|
|
|
|
| 30 |
|
| 31 |
## その他の疑問など Other questions etc.
|
| 32 |
|
|
@@ -43,5 +54,9 @@ There are unanswered questions.
|
|
| 43 |
- wiki.test.raw(英語)でperplexityを計測することにどこまで意味があるのか？
|
| 44 |
- (How far does it make sense to measure perplexity with wiki.test.raw (English)?)
|
| 45 |
|
| 46 |
-
|
| 47 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 5 |
---
|
| 6 |
gemma-2-27b-itを日本語が多く含まれる重要度行列(iMatrix)を使って量子化したgguf版です。日本語対応能力が多めに保持されている事を期待していますが確かめる事はまだ出来ていません
|
| 7 |
This is a quantized gguf version of gemma-2-27b-it using an importance matrix (iMatrix) that contains many Japanese words.
|
| 8 |
+
I hope it retains more Japanese support, but I can't be sure yet.
|
| 9 |
|
| 10 |
+
gemma-2-27b-it-Q4_K_M.ggufは最近のCPU(Ryzen 9 7940HS Processor)であれば3トークン/秒程度の速度で実行する事が確認できています。
|
| 11 |
+
It has been confirmed that gemma-2-27b-it-Q4_K_M.gguf runs at about 3 tokens/second on a recent CPU (Ryzen 9 7940HS Processor).
|
| 12 |
|
| 13 |
## 使い方(How to use)
|
| 14 |
|
| 15 |
+
### ブラウザインタフェース (browser)
|
| 16 |
+
|
| 17 |
+
Windows11のターミナル(CMD, Power shell)では日本語が化けてしまうのでブラウザを使ってください
|
| 18 |
+
Please use a browser as Japanese characters will be garbled in the Windows 11 terminal (CMD, Power shell).
|
| 19 |
+
|
| 20 |
[公式マニュアル](https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md)に従ってllama.cppをビルドします
|
| 21 |
Build llama.cpp according to the [official manual](https://github.com/ggerganov/llama.cpp/blob/master/docs/build.md)
|
| 22 |
|
|
|
|
| 33 |
|
| 34 |
|
| 35 |
|
| 36 |
+
### コマンドライン (Command Line)
|
| 37 |
|
| 38 |
+
```
|
| 39 |
+
llama-cli -m gemma-2-27b-it-Q4_K_M.gguf -e --temp 0 --repeat-penalty 1.0 -n -2 -p "<start_of_turn>user\nWrite a hello world program<end_of_turn>\n<start_of_turn>model"
|
| 40 |
+
```
|
| 41 |
|
| 42 |
## その他の疑問など Other questions etc.
|
| 43 |
|
|
|
|
| 54 |
- wiki.test.raw(英語)でperplexityを計測することにどこまで意味があるのか？
|
| 55 |
- (How far does it make sense to measure perplexity with wiki.test.raw (English)?)
|
| 56 |
|
| 57 |
+
## その他の版
|
| 58 |
+
|
| 59 |
+
同じ手法で作った[gemma-2-9b-it](https://huggingface.co/dahara1/gemma-2-9b-it-gguf-japanese-imatrix)も存在します
|
| 60 |
+
There is also [gemma-2-9b-it](https://huggingface.co/dahara1/gemma-2-9b-it-gguf-japanese-imatrix) made using the same technique.
|
| 61 |
+
|
| 62 |
+
|