Update README.md
Browse files
README.md
CHANGED
|
@@ -3,6 +3,18 @@ tags:
|
|
| 3 |
- gemma
|
| 4 |
- llm
|
| 5 |
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 6 |
gemma-2-27b-itを日本語が多く含まれる重要度行列(iMatrix)を使って量子化したgguf版です。日本語対応能力が多めに保持されている事を期待していますが確かめる事はまだ出来ていません
|
| 7 |
This is a quantized gguf version of gemma-2-27b-it using an importance matrix (iMatrix) that contains many Japanese words.
|
| 8 |
I hope it retains more Japanese support, but I can't be sure yet.
|
|
|
|
| 3 |
- gemma
|
| 4 |
- llm
|
| 5 |
---
|
| 6 |
+
|
| 7 |
+
## 更新履歴 update history
|
| 8 |
+
|
| 9 |
+
2024/07/20
|
| 10 |
+
llama.cppに不具合[llama : fix pre-tokenization of non-special added tokens #8228](https://github.com/ggerganov/llama.cpp/pull/8228)が見つかり、Gemma2モデルは再変換が必要になり対応しました。HTMLタグの処理などが不正確になっていたとの事です。
|
| 11 |
+
A bug was found in llama.cpp [llama: fix pre-tokenization of non-special added tokens #8228](https://github.com/ggerganov/llama.cpp/pull/8228), and the Gemma2 model needed to be reconverted. The problem was that HTML tags were not being processed correctly.
|
| 12 |
+
|
| 13 |
+
単純に再変換するのは面白みがなかったので4bit以上の版は更に精度向上するという説もあるoutput tensorとembeddingをf16にするタイプの変換をしてみました。
|
| 14 |
+
Simply reconverting it was not interesting, so I tried converting the output tensor and embedding to f16, which is said to have even greater accuracy in versions of 4 bits or more.
|
| 15 |
+
念の為、4bit版は従来の変換とf16タイプの変換の両方をアップロードしてあります。
|
| 16 |
+
Just to be on the safe side, I have uploaded both the 4-bit conventional conversion and the f16 conversion.
|
| 17 |
+
|
| 18 |
gemma-2-27b-itを日本語が多く含まれる重要度行列(iMatrix)を使って量子化したgguf版です。日本語対応能力が多めに保持されている事を期待していますが確かめる事はまだ出来ていません
|
| 19 |
This is a quantized gguf version of gemma-2-27b-it using an importance matrix (iMatrix) that contains many Japanese words.
|
| 20 |
I hope it retains more Japanese support, but I can't be sure yet.
|