Jumtra commited on
Commit
84ccd28
1 Parent(s): 26a9731

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +46 -0
README.md ADDED
@@ -0,0 +1,46 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: cc-by-sa-4.0
3
+ tags:
4
+ - ja
5
+ - gpt_neox
6
+ - text-generation
7
+ - lm
8
+ - nlp
9
+ datasets:
10
+ - kunishou/databricks-dolly-15k-ja
11
+ - kunishou/hh-rlhf-49k-ja
12
+ - Jumtra/oasst1_ja
13
+ - Jumtra/jglue_jnli
14
+ - Jumtra/jglue_jsquad
15
+ - Jumtra/jglue_jsquads_with_input
16
+ inference: false
17
+ language:
18
+ - ja
19
+ ---
20
+
21
+ # open-calm-7b
22
+
23
+ このモデルは、MosaicMLのllm-foundryリポジトリを使用して[Jumtra/calm-7b-tune-ep4](https://huggingface.co/Jumtra/calm-7b-tune-ep4)をファインチューニングしたモデルです。
24
+
25
+ ## Model Date
26
+
27
+ June 28, 2023
28
+
29
+ ## Model License
30
+
31
+ cc-by-sa-4.0
32
+
33
+
34
+ ## 評価
35
+
36
+ [Jumtra/test_data_100QA](https://huggingface.co/datasets/Jumtra/test_data_100QA)を用いてモデルの正答率を評価した
37
+ また、学習時のvalidateデータに対してのPerplexityを記載した。
38
+
39
+ | model name | 正答率 | Perplexity |
40
+ | ---- | ---- | ---- |
41
+ | [Jumtra/rinna-3.6b-tune-ep5](https://huggingface.co/Jumtra/rinna-3.6b-tune-ep5)| 40/100 | 8.105 |
42
+ | [Jumtra/rinna-v1-tune-ep1](https://huggingface.co/Jumtra/rinna-v1-tune-ep1) | 42/100 | 7.458 |
43
+ | [Jumtra/rinna-v1-tune-ep3](https://huggingface.co/Jumtra/rinna-v1-tune-ep3) | 41/100 | 7.034 |
44
+ | [Jumtra/calm-7b-tune-ep4](https://huggingface.co/Jumtra/calm-7b-tune-ep4) | 40/100 | 9.766 |
45
+ | [Jumtra/calm-v3-ep1](https://huggingface.co/Jumtra/calm-v3-ep1) | 35/100 | 9.305 |
46
+ | [Jumtra/calm-v3-ep3](https://huggingface.co/Jumtra/calm-v3-ep3) | 37/100 | 13.276 |