Update README.md

README.md

@@ -1,8 +1,54 @@
 ---
 library_name: transformers
-tags: []
+tags:
+- medical
+- merge
+license: llama3
+language:
+- ja
+metrics:
+- accuracy
 ---
 
+# Llama3ベースの日本語医療LLM
+
+このモデルはLlama3の継続学習により作成された４種類のLLMから成るマージモデルです。
+日本語LLMをベースとし、英語の医療LLMをマージすることで医療知識や医療Q&Aへの回答力を獲得することを目的としています。
+
+- base :[tokyotech-llm/Llama-3-Swallow-8B-Instruct-v0.1](https://huggingface.co/tokyotech-llm/Llama-3-Swallow-8B-Instruct-v0.1)
+- [aaditya/Llama3-OpenBioLLM-8B](https://huggingface.co/aaditya/Llama3-OpenBioLLM-8B)
+- [Henrychur/MMed-Llama-3-8B](https://huggingface.co/Henrychur/MMed-Llama-3-8B)
+- [elyza/Llama-3-ELYZA-JP-8B](https://huggingface.co/elyza/Llama-3-ELYZA-JP-8B)
+
+
+医療目的には利用しないでください。  
+本モデルの出力に関してその正確性等を保証しません。
+
+
+# 評価
+
+IgakuQA（日本医師国家試験データセット）の正答率を用いて評価しました。
+GPTモデルのパフォーマンスは[Kasai et al., 2023](https://arxiv.org/pdf/2303.18027)の結果に基づき算出しました。
+
+
+| モデル | 　正答率 （全2485問） |
+| ---- | ---- |
+| [EQUES/MedLLama3-JP-v2](https://huggingface.co/EQUES/MedLLama3-JP-v2) | 46.6% |
+| [tokyotech-llm/Llama-3-Swallow-8B-Instruct-v0.1](https://huggingface.co/tokyotech-llm/Llama-3-Swallow-8B-Instruct-v0.1) | 42.2% |
+| [elyza/Llama-3-ELYZA-JP-8B](https://huggingface.co/elyza/Llama-3-ELYZA-JP-8B) | 43.9% |
+| ---- | ---- |
+| GPT-4 | 78.2% | 
+| ChatGPT | 54.9% | 
+| GPT-3 | 42.1% | 
+
+
+また、セクションごとの正答率をプロットした図が以下です。マージモデルがマージ元のモデルの良い所取りをしている傾向が窺えます。
+
+
+![](image/figure.png)
+
+
+
 # Model Card for Model ID
 
 <!-- Provide a quick summary of what the model is/does. -->