keitokei1994 commited on
Commit
835ca0f
1 Parent(s): fa975e1

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +48 -0
README.md ADDED
@@ -0,0 +1,48 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: llama3
3
+ language:
4
+ - ja
5
+ - en
6
+ tags:
7
+ - moe
8
+ - japanese
9
+ - sql
10
+ ---
11
+ ### モデルの説明(English explanation is below.)
12
+ このモデルは、MergeKitツールを使用して作成されたMixture of Experts (MoE) 言語モデルをGGUF形式で量子化したものです。
13
+ 量子化していないものは [こちら](https://huggingface.co/keitokei1994/Llama-3-ELYZA-sqlcoder-2x8B) 。
14
+
15
+ ### モデルの詳細
16
+ - **モデル名**: Llama-3-ELYZA-sqlcoder-2x8B
17
+ - **モデルアーキテクチャ**: Mixture of Experts (MoE)
18
+ - **ベースモデル**:
19
+ - Llama-3-ELYZA-JP-8B
20
+ - Llama-3-sqlcoder-8b
21
+ - **マージツール**: MergeKit
22
+ このMoEモデルは、Llama-3-ELYZA-JP-8Bの日本語能力とLlama-3-sqlcoder-8bのSQL生成能力を組み合わせることで、より強力で多機能な言語モデルを目指しています。
23
+ #### 特徴
24
+ - 日本語と英語の両方に対応
25
+ - Llama-3-ELYZA-JP-8Bによる優れた日本語処理能力
26
+ - Llama-3-sqlcoder-8bによる高度なSQL生成と処理能力
27
+ #### 要求スペック
28
+ Q4_K_M量子化モデルであれば、RTX3060 12GBでフルロード可能です。
29
+ 筆者はWSL2やGoogle Colaboratotry Proでの作成後、Llama.cppとLMstudioにて動作確認を行っています。
30
+ ---
31
+ ### Model Description
32
+ This model is a Mixture of Experts (MoE) language model created using the MergeKit tool.
33
+ The gguf version can be found [here](https://huggingface.co/keitokei1994/Llama-3-ELYZA-sqlcoder-2x8B-gguf).
34
+ ### Model Details
35
+ - **Model Name**: Llama-3-ELYZA-sqlcoder-2x8B
36
+ - **Model Architecture**: Mixture of Experts (MoE)
37
+ - **Base Models**:
38
+ - Llama-3-ELYZA-JP-8B
39
+ - Llama-3-sqlcoder-8b
40
+ - **Merge Tool**: MergeKit
41
+ This MoE model aims to create a more powerful and versatile language model by combining the Japanese language capabilities of Llama-3-ELYZA-JP-8B with the SQL generation abilities of Llama-3-sqlcoder-8b.
42
+ #### Features
43
+ - Support for both Japanese and English languages
44
+ - Excellent Japanese processing capabilities from Llama-3-ELYZA-JP-8B
45
+ - Advanced SQL generation and processing capabilities from Llama-3-sqlcoder-8b
46
+ #### System Requirements
47
+ If using the Q4_K_M quantized model, it can be fully loaded on an RTX3060 12GB.
48
+ The author has created the model using WSL2 and Google Colaboratory Pro, and has tested it using Llama.cpp and LMstudio.