munish0838 commited on
Commit
5adf8cb
1 Parent(s): e00d299

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +85 -0
README.md ADDED
@@ -0,0 +1,85 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ pipeline_tag: text-generation
4
+ base_model: Local-Novel-LLM-project/Ninja-V2-7B
5
+ ---
6
+
7
+ # Ninja-V2-7B-GGUF
8
+ This is quantized version of [Local-Novel-LLM-project/Ninja-V2-7B](https://huggingface.co/Local-Novel-LLM-project/Ninja-V2-7B) created using llama.cpp
9
+
10
+ # Model Description
11
+ このモデルは、ベクトルマージなどを用い作成された高性能ベースモデルです。
12
+ 用途はチャットのみならず、文章創作など幅広いタスクに対応できます。
13
+
14
+ このモデルは、ローカルLLMに向き合う会企画のLocalAIハッカソンの高性能GPUサーバーの助けを借りて作成されました。
15
+
16
+ 関係者の皆様に感謝申し上げます。
17
+
18
+ # 作成方法
19
+ モデルレシピは下記の通りです。
20
+
21
+ Ninja-v2-Base (mergekitにて作成)
22
+
23
+ ```yaml
24
+ models:
25
+ - model: MTSAIR/multi_verse_model
26
+ - model: HuggingFaceH4/zephyr-7b-beta
27
+ merge_method: model_stock
28
+ base_model: amazingvince/Not-WizardLM-2-7B
29
+ dtype: bfloat16
30
+ ```
31
+
32
+ Novels-7B(ninja_mergerにて作成)
33
+
34
+ ```yaml
35
+ target_model: "stabilityai/japanese-stablelm-instruct-gamma-7b"
36
+ -
37
+ left: "Elizezen/Phos-7B" # ベースモデルの指定
38
+ right: "stabilityai/japanese-stablelm-instruct-gamma-7b" # サブモデルの指定
39
+ operation: "sub" # 組み合わせの操作。"mix"、"add"などを指定
40
+ velocity: 1.0
41
+
42
+ -
43
+ left: "Elizezen/Antler-7B" # ベースモデルの指定
44
+ right: "stabilityai/japanese-stablelm-instruct-gamma-7b" # サブモデルの指定
45
+ operation: "sub" # 組み合わせの操作。"mix"、"add"などを指定
46
+ velocity: 1.0
47
+ ```
48
+
49
+ Ninja-v2(ninja_mergerにて作成)
50
+
51
+ ```yaml
52
+ target_model: "Ninja-v2-Base"
53
+ models: # 組み合わせの重み。0.0から1.0の範囲で指定
54
+ -
55
+ left: "NTQAI/chatntq-ja-7b-v1.0" # ベースモデルの指定
56
+ right: "mistralai/Mistral-7B-v0.1" # サブモデルの指定0
57
+ operation: "sub" # 組み合わせの操作。"mix"、"add"などを指定
58
+ velocity: 1.0
59
+ -
60
+ left: "Elizezen/Berghof-NSFW-7B" # ベースモデルの指定
61
+ right: "stabilityai/japanese-stablelm-instruct-gamma-7b" # サブモデルの指定
62
+ operation: "sub" # 組み合わせの操作。"mix"、"add"などを指定
63
+ velocity: 0.5
64
+ -
65
+ left: "Novels-7B" # ベースモデルの指定
66
+ right: "stabilityai/japanese-stablelm-instruct-gamma-7b" # サブモデルの指定
67
+ operation: "sub" # 組み合わせの操作。"mix"、"add"などを指定
68
+ velocity: 1.0
69
+ ```
70
+
71
+ # プロンプトテンプレート
72
+ 必須ではありませんが、Vicuna-1.1テンプレートを使用することができます。
73
+ 単純な文章生成においては推奨のテンプレートはありません。
74
+
75
+ # システムプロンプト
76
+
77
+ - BAD: あなたは○○として振る舞います
78
+ - GOOD: あなたは○○です
79
+
80
+ - BAD: あなたは○○ができます
81
+ - GOOD: あなたは○○をします
82
+
83
+ # 制限
84
+
85
+ Apache-2.0ライセンスに従い使用してください。