Commit
•
1ea96eb
1
Parent(s):
c0065e6
Update README.md
Browse files
README.md
CHANGED
|
@@ -9,16 +9,12 @@ language:
|
|
| 9 |
|
| 10 |
このモデルは、MergeKitツールを使用して作成されたMixture of Experts (MoE) 言語モデルです。
|
| 11 |
|
| 12 |
-
元のmeta-llama/Meta-Llama-3-8B-Instructに、日本語データセットでファインチューニングされたshisa-ai/shisa-v1-llama3-8
|
| 13 |
-
|
| 14 |
-
元のMeta-Llama-3-8B-Instructの能力を維持したまま、日本語能力を向上させようとしたモデルです。
|
| 15 |
|
| 16 |
[Sdff-Ltba/LightChatAssistant-2x7B](https://huggingface.co/Sdff-Ltba/LightChatAssistant-2x7B)と
|
| 17 |
[Aratako/LightChatAssistant-4x7B](https://huggingface.co/Aratako/LightChatAssistant-4x7B)にインスパイアされて、Llama3でのMoEを始めています。お二人に感謝します。
|
| 18 |
|
| 19 |
-
お二人が行なっているような、ファインチューニングモデルから取り出したchatvectorを加算し、MoE
|
| 20 |
-
|
| 21 |
-
今後時間のある時にモデルのアップロードができたらと考えています。
|
| 22 |
|
| 23 |
### モデルの詳細
|
| 24 |
|
|
|
|
| 9 |
|
| 10 |
このモデルは、MergeKitツールを使用して作成されたMixture of Experts (MoE) 言語モデルです。
|
| 11 |
|
| 12 |
+
元のmeta-llama/Meta-Llama-3-8B-Instructに、日本語データセットでファインチューニングされたshisa-ai/shisa-v1-llama3-8を合わせることで、元のMeta-Llama-3-8B-Instructの能力を維持したまま、日本語能力を向上させようとしたモデルです。
|
|
|
|
|
|
|
| 13 |
|
| 14 |
[Sdff-Ltba/LightChatAssistant-2x7B](https://huggingface.co/Sdff-Ltba/LightChatAssistant-2x7B)と
|
| 15 |
[Aratako/LightChatAssistant-4x7B](https://huggingface.co/Aratako/LightChatAssistant-4x7B)にインスパイアされて、Llama3でのMoEを始めています。お二人に感謝します。
|
| 16 |
|
| 17 |
+
お二人が行なっているような、ファインチューニングモデルから取り出したchatvectorを加算し、MoEモデル化するアプローチも手元では行なっていますので、今後時間のある時にモデルのアップロードができたらと考えています。
|
|
|
|
|
|
|
| 18 |
|
| 19 |
### モデルの詳細
|
| 20 |
|