Kendamarron commited on
Commit
306dc5b
1 Parent(s): fcaf372

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +15 -2
README.md CHANGED
@@ -10,7 +10,13 @@ pipeline_tag: text-generation
10
  ---
11
 
12
  ## モデルについて
13
- [Qwen/Qwen1.5-0.5B](https://huggingface.co/Qwen/Qwen1.5-0.5B)を日英データ5Bトークンで継続事前学習した[Tokara-0.5B-v0.1]()にchatvectorで対話能力を加えたモデルになります。
 
 
 
 
 
 
14
 
15
  詳細は[こちら](https://zenn.dev/kendama/articles/55564e12da6e82)をご覧ください。
16
 
@@ -19,8 +25,15 @@ pipeline_tag: text-generation
19
  - 0.24*(Qwen/Qwen1.5-0.5B-Chat - Qwen/Qwen1.5-0.5B)
20
  - 0.56*(Kendamarron/Tokara-0.5B-Chat-dolly-jimba - Kendamarron/Tokara-0.5B-v0.1)
21
 
 
 
 
 
 
 
 
22
  ## 名前について
23
- 名前の由来は日本の在来馬であるトカラウマからです。
24
 
25
  ```python
26
  import torch
 
10
  ---
11
 
12
  ## モデルについて
13
+ [Qwen/Qwen1.5-0.5B](https://huggingface.co/Qwen/Qwen1.5-0.5B)を日英データ5Bトークンで継続事前学習した[Tokara-0.5B-v0.1](https://huggingface.co/Kendamarron/Tokara-0.5B-v0.1)にchat vectorで対話能力を加えたモデルになります。
14
+
15
+ 0.5Bというモデルサイズにしてはコミュニケーションが行えるモデルになっています。
16
+
17
+ chat vectorに使ったモデルはマルチターンの学習を行ったモデルになっているので、複数ターンの会話も行えるはずです。
18
+
19
+ モデルサイズの問題なのか、repetition_penaltyを1.15~1.25くらいにしないと早めに繰り返しが始まります。
20
 
21
  詳細は[こちら](https://zenn.dev/kendama/articles/55564e12da6e82)をご覧ください。
22
 
 
25
  - 0.24*(Qwen/Qwen1.5-0.5B-Chat - Qwen/Qwen1.5-0.5B)
26
  - 0.56*(Kendamarron/Tokara-0.5B-Chat-dolly-jimba - Kendamarron/Tokara-0.5B-v0.1)
27
 
28
+ ## ベンチマーク
29
+ Japanese MT-benchの6カテゴリをシングルターンで評価
30
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/63075d83cb09c0a9042a82c2/8Mg54DXeRBFcnF0Xgka68.png)
31
+ | Extraction | Humanities | Reasoning | Roleplay | STEM | Writing |
32
+ | ---------- | ---------- | --------- | -------- | ---- | ------- |
33
+ | 1.3 | 2.6 | 2.5 | 3.8 | 2.3 | 3.2 |
34
+
35
  ## 名前について
36
+ 日本の在来馬であるトカラ馬から
37
 
38
  ```python
39
  import torch