Upload README.md
Browse files
README.md
CHANGED
@@ -5,14 +5,18 @@
|
|
5 |
## What is this?
|
6 |
|
7 |
WaifuNijiMix is a merged model based on Waifu Diffusion v1.3. It merged with the intention of minimizing the inclusion of NAI leak model-related data.
|
|
|
8 |
All the merging with other models is done using Add_difference. multiple LoRA/LOCONs are added.
|
|
|
9 |
The merging process employs Bayesian auto elemental weight merge. the weights are determined automatically at the elemental unit level, so I don't understand about the specific proportions.
|
|
|
10 |
For art style adjustment from Various Lora, like NijiJourny's style.
|
11 |
|
12 |
|
13 |
## Examples
|
14 |
|
15 |
CFG scale 12
|
|
|
16 |
clip skip 2
|
17 |
|
18 |
![sample_spring](sample_img/spring.png)
|
@@ -21,6 +25,7 @@ clip skip 2
|
|
21 |
![sample_winter](sample_img/winter.png)
|
22 |
|
23 |
Q: I'm only getting full-body images. What should I do?
|
|
|
24 |
A: Please try adding "upper_body" to the prompt.
|
25 |
|
26 |
---
|
@@ -29,12 +34,17 @@ Japanese desc.
|
|
29 |
|
30 |
## このモデルは?
|
31 |
WaifuNijiMixはWaifu Diffusion v1.3を基にしたマージモデルです。NAIリークモデル関連の情報をなるべく含まないようにしています。
|
|
|
32 |
他モデルとのマージは全てAdd_differenceで行っています。そこに多数のLoRA/LOCONを追加しています。
|
|
|
33 |
マージにはbaysien auto elemental weight mergeを使っています。これはエレメント単位での重みを自動で決定する仕組みのため、作成者自身どんな重み配分かは把握していません。(調べられますが調べても何かが理解できる程の量ではないので…)
|
|
|
34 |
絵柄調整にNijiJourny画風学習のLora等を使っています。
|
35 |
|
36 |
## MIXモデルなのに本当にNAIを含んでいないの?
|
37 |
-
|
|
|
|
|
38 |
念のため確認したASimilarityCalculatior占いの結果は次のとおりです。(一部元モデル名からリネームしているのはご容赦ください。)
|
39 |
```
|
40 |
sd-v1-4.ckpt [7460a6fa] - 84.40%
|
@@ -72,13 +82,19 @@ Counterfeit-V2.5.safetensors [9b36871e] - 85.34%
|
|
72 |
* このモデル専用に学習する必要があるかも?
|
73 |
|
74 |
## このモデルをマージして新しいモデルを作ったら、それはWD系だとかNAI不使用を名乗れるの?
|
75 |
-
|
|
|
76 |
このモデルのマージを拒否しているわけではないです。ご自由にマージしてください。効能としては高まりすぎたNAI成分を薄めるためとか?
|
|
|
77 |
- マージの計算式上、同じ部分が含まれるモデル同士でweight sumマージを繰り返すと、異なる部分だけが配合比の影響を受けて薄められます。具体的には以下の通り。
|
78 |
たとえば同じAをもとにしたモデルBとCをマージする場合の式を考えます。
|
|
|
79 |
共通部分の特徴をAとして、BをA+b、CをA+cと表すとします。
|
|
|
80 |
この2つのモデルをsumする場合の計算式は(1-α)(A+b)+α(A+c)となり、式を整理するとA+(1-α)b+αcになります。
|
|
|
81 |
つまりは共通部分Aは一切変化していないのに、Bのモデルの特徴とCのモデルの特徴が薄められた上で合わさったモデルが作られます。
|
|
|
82 |
(たとえこのモデルをマージして共通部分を少なくしても異なる部分が薄まることには変わりがないので効果は限定的と思います。)
|
83 |
|
84 |
|
|
|
5 |
## What is this?
|
6 |
|
7 |
WaifuNijiMix is a merged model based on Waifu Diffusion v1.3. It merged with the intention of minimizing the inclusion of NAI leak model-related data.
|
8 |
+
|
9 |
All the merging with other models is done using Add_difference. multiple LoRA/LOCONs are added.
|
10 |
+
|
11 |
The merging process employs Bayesian auto elemental weight merge. the weights are determined automatically at the elemental unit level, so I don't understand about the specific proportions.
|
12 |
+
|
13 |
For art style adjustment from Various Lora, like NijiJourny's style.
|
14 |
|
15 |
|
16 |
## Examples
|
17 |
|
18 |
CFG scale 12
|
19 |
+
|
20 |
clip skip 2
|
21 |
|
22 |
![sample_spring](sample_img/spring.png)
|
|
|
25 |
![sample_winter](sample_img/winter.png)
|
26 |
|
27 |
Q: I'm only getting full-body images. What should I do?
|
28 |
+
|
29 |
A: Please try adding "upper_body" to the prompt.
|
30 |
|
31 |
---
|
|
|
34 |
|
35 |
## このモデルは?
|
36 |
WaifuNijiMixはWaifu Diffusion v1.3を基にしたマージモデルです。NAIリークモデル関連の情報をなるべく含まないようにしています。
|
37 |
+
|
38 |
他モデルとのマージは全てAdd_differenceで行っています。そこに多数のLoRA/LOCONを追加しています。
|
39 |
+
|
40 |
マージにはbaysien auto elemental weight mergeを使っています。これはエレメント単位での重みを自動で決定する仕組みのため、作成者自身どんな重み配分かは把握していません。(調べられますが調べても何かが理解できる程の量ではないので…)
|
41 |
+
|
42 |
絵柄調整にNijiJourny画風学習のLora等を使っています。
|
43 |
|
44 |
## MIXモデルなのに本当にNAIを含んでいないの?
|
45 |
+
|
46 |
+
マージに用いた各モデルはNAIを含んでいると推測されたため、一番近いNAI系モデルとの差分を合成してはいます。そのため元のモデルとして推測したマージモデルが間違っていたら、少量差分が含まれてしまっている可能性があります。
|
47 |
+
|
48 |
念のため確認したASimilarityCalculatior占いの結果は次のとおりです。(一部元モデル名からリネームしているのはご容赦ください。)
|
49 |
```
|
50 |
sd-v1-4.ckpt [7460a6fa] - 84.40%
|
|
|
82 |
* このモデル専用に学習する必要があるかも?
|
83 |
|
84 |
## このモデルをマージして新しいモデルを作ったら、それはWD系だとかNAI不使用を名乗れるの?
|
85 |
+
良心に任せます。簡単な判断基準としてはNAI系モデルと通常のweight sumマージを一回でもしたらだめだと思います。
|
86 |
+
|
87 |
このモデルのマージを拒否しているわけではないです。ご自由にマージしてください。効能としては高まりすぎたNAI成分を薄めるためとか?
|
88 |
+
|
89 |
- マージの計算式上、同じ部分が含まれるモデル同士でweight sumマージを繰り返すと、異なる部分だけが配合比の影響を受けて薄められます。具体的には以下の通り。
|
90 |
たとえば同じAをもとにしたモデルBとCをマージする場合の式を考えます。
|
91 |
+
|
92 |
共通部分の特徴をAとして、BをA+b、CをA+cと表すとします。
|
93 |
+
|
94 |
この2つのモデルをsumする場合の計算式は(1-α)(A+b)+α(A+c)となり、式を整理するとA+(1-α)b+αcになります。
|
95 |
+
|
96 |
つまりは共通部分Aは一切変化していないのに、Bのモデルの特徴とCのモデルの特徴が薄められた上で合わさったモデルが作られます。
|
97 |
+
|
98 |
(たとえこのモデルをマージして共通部分を少なくしても異なる部分が薄まることには変わりがないので効果は限定的と思います。)
|
99 |
|
100 |
|