Create README.md

README.md

@@ -0,0 +1,46 @@
+---
+license: cc-by-sa-4.0
+tags:
+- ja
+- gpt_neox
+- text-generation
+- lm
+- nlp
+datasets:
+- kunishou/databricks-dolly-15k-ja
+- kunishou/hh-rlhf-49k-ja
+- Jumtra/oasst1_ja
+- Jumtra/jglue_jnli
+- Jumtra/jglue_jsquad
+- Jumtra/jglue_jsquads_with_input
+inference: false
+language:
+- ja
+---
+
+# open-calm-7b
+
+このモデルは、MosaicMLのllm-foundryリポジトリを使用して[Jumtra/calm-7b-tune-ep4](https://huggingface.co/Jumtra/calm-7b-tune-ep4)をファインチューニングしたモデルです。
+
+## Model Date
+
+June 28, 2023
+
+## Model License
+
+cc-by-sa-4.0
+
+
+## 評価
+
+[Jumtra/test_data_100QA](https://huggingface.co/datasets/Jumtra/test_data_100QA)を用いてモデルの正答率を評価した
+また、学習時のvalidateデータに対してのPerplexityを記載した。
+
+|  model name  |  正答率  | Perplexity |
+| ---- | ---- | ---- |
+|  [Jumtra/rinna-3.6b-tune-ep5](https://huggingface.co/Jumtra/rinna-3.6b-tune-ep5)|  40/100  | 8.105 |
+|  [Jumtra/rinna-v1-tune-ep1](https://huggingface.co/Jumtra/rinna-v1-tune-ep1) |  42/100  | 7.458 |
+|  [Jumtra/rinna-v1-tune-ep3](https://huggingface.co/Jumtra/rinna-v1-tune-ep3) |  41/100  | 7.034 |
+|  [Jumtra/calm-7b-tune-ep4](https://huggingface.co/Jumtra/calm-7b-tune-ep4) |  40/100  | 9.766 |
+|  [Jumtra/calm-v3-ep1](https://huggingface.co/Jumtra/calm-v3-ep1) |  35/100  | 9.305 |
+|  [Jumtra/calm-v3-ep3](https://huggingface.co/Jumtra/calm-v3-ep3) |  37/100  | 13.276 |