Update README.md

README.md

@@ -1,3 +1,70 @@
----
-license: llama3
----
+---
+license: llama3
+language:
+- ja
+- en
+---
+
+### モデルの説明(English explanation is below.)
+
+このモデルは、MergeKitツールを使用して作成されたMixture of Experts (MoE) 言語モデルです。
+
+gguf版(今後拡充予定)は [こちら](https://huggingface.co/keitokei1994/Llama-3-youko-chatvector-2x8B_v0.1-gguf) 。
+
+元のmeta-llama/Meta-Llama-3-8B-Instructに、日本語データセットで継続事前学習されたrinna/llama-3-youko-8bを合わせることで、元のMeta-Llama-3-8B-Instructの能力を維持したまま、日本語能力を向上させようとしたMoEモデルです。
+
+[Sdff-Ltba/LightChatAssistant-2x7B](https://huggingface.co/Sdff-Ltba/LightChatAssistant-2x7B)を参考に、以下のようなChatVector加算を行ったllama-3-youko-8bをMoEに用いています。
+
+> rinna/llama-3-youko-8b + 0.8*(meta-llama/Meta-Llama-3-8B-Instruct - meta-llama/Meta-Llama-3-8B)
+
+このChatVector加算操作をすでに行った状態のllama-3-youko-8bモデルが[aixsatoshi/Llama-3-youko-8b-instruct-chatvector](https://huggingface.co/aixsatoshi/Llama-3-youko-8b-instruct-chatvector)でアップロードされていたため、今回はこちらを利用させていただいております。
+
+### モデルの詳細
+
+- **モデル名**: Llama-3-youko-chatvector-2x8B_v0.1
+- **モデルアーキテクチャ**: Mixture of Experts (MoE)
+- **ベースモデル**: meta-llama/Meta-Llama-3-8B-Instruct, rinna/llama-3-youko-8b
+- **マージツール**: MergeKit
+
+#### 要求スペック
+Q4_K_M量子化モデルであれば、RTX3060 12GBでフルロード可能です。
+
+筆者はWSL2やGoogle Colaboratotry Proでの作成後、Llama.cppとLMstudioにて動作確認を行なっています。
+
+- CPU: Ryzen 5 3600
+- GPU: GeForce RTX 3060 12GB
+- RAM: DDR4-3200 96GB
+- OS: Windows 10
+
+---
+
+### Model Description
+
+This model is a Mixture of Experts (MoE) language model created using the MergeKit tool.
+
+The gguf version can be found [here](https://huggingface.co/keitokei1994/Llama-3-youko-chatvector-2x8B_v0.1-gguf).
+
+By combining rinna/llama-3-youko-8b, which has been further pre-trained on Japanese datasets, with the original meta-llama/Meta-Llama-3-8B-Instruct, this MoE model aims to improve Japanese language capabilities while maintaining the abilities of the original Meta-Llama-3-8B-Instruct.
+
+Referring to [Sdff-Ltba/LightChatAssistant-2x7B](https://huggingface.co/Sdff-Ltba/LightChatAssistant-2x7B), the llama-3-youko-8b used in the MoE has undergone the following ChatVector addition:
+
+> rinna/llama-3-youko-8b + 0.8*(meta-llama/Meta-Llama-3-8B-Instruct - meta-llama/Meta-Llama-3-8B)
+
+The llama-3-youko-8b model with this ChatVector addition operation already performed has been uploaded at [aixsatoshi/Llama-3-youko-8b-instruct-chatvector](https://huggingface.co/aixsatoshi/Llama-3-youko-8b-instruct-chatvector), which we have utilized in this case.
+
+### Model Details
+
+- **Model Name**: Llama-3-youko-chatvector-2x8B_v0.1
+- **Model Architecture**: Mixture of Experts (MoE)
+- **Base Models**: meta-llama/Meta-Llama-3-8B-Instruct, rinna/llama-3-youko-8b
+- **Merging Tool**: MergeKit
+
+#### Required Specifications
+With the Q4_K_M quantized model, it can be fully loaded on an RTX 3060 12GB.
+
+The author has created the model on WSL2 and Google Colaboratory Pro, and has verified its operation using Llama.cpp and LMstudio.
+
+- CPU: Ryzen 5 3600
+- GPU: GeForce RTX 3060 12GB
+- RAM: DDR4-3200 96GB
+- OS: Windows 10