| # WaifuNijiMix | |
| * I'm not very good at writing in English, so I'm having ChatGPT assist me in writing the following. Please forgive that there may be some confusing expressions. | |
| ## What is this? | |
| WaifuNijiMix is a merged model based on Waifu Diffusion v1.3. It merged with the intention of minimizing the inclusion of NAI leak model-related data. | |
| All the merging with other models is done using Add_difference. multiple LoRA/LOCONs are added. | |
| The merging process employs Bayesian auto elemental weight merge. the weights are determined automatically at the elemental unit level, so I don't understand about the specific proportions. | |
| For art style adjustment from Various Lora, like NijiJourny's style. | |
| ## Examples | |
| clip skip 2 | |
| CFG scale 12 | |
|  | |
|  | |
|  | |
|  | |
| CFG scale 6 | |
|  | |
|  | |
|  | |
|  | |
| Q: I'm only getting full-body images. What should I do? | |
| A: Please try adding "upper_body" to the prompt. | |
| --- | |
| Japanese desc. | |
| ## このモデルは？ | |
| WaifuNijiMixはWaifu Diffusion v1.3を基にしたマージモデルです。NAIリークモデル関連の情報をなるべく含まないようにしています。 | |
| 他モデルとのマージは全てAdd_differenceで行っています。そこに多数のLoRA/LOCONを追加しています。 | |
| マージにはbaysien auto elemental weight mergeを使っています。これはエレメント単位での重みを自動で決定する仕組みのため、作成者自身どんな重み配分かは把握していません。（調べられますが調べても何かが理解できる程の量ではないので…） | |
| 絵柄調整にNijiJourny画風学習のLora等を使っています。 | |
| ## MIXモデルなのに本当にNAIを含んでいないの？ | |
| マージに用いた各モデルはNAIを含んでいると推測されたため、一番近いNAI系モデルとの差分を合成してはいます。そのため元のモデルとして推測したマージモデルが間違っていたら、少量差分が含まれてしまっている可能性があります。 | |
| 念のため確認したASimilarityCalculatior占いの結果は次のとおりです。(一部元モデル名からリネームしているのはご容赦ください。) | |
| ``` | |
| sd-v1-4.ckpt [7460a6fa] - 84.40% | |
| sd15pruned_emaonly.ckpt [81761151] - 65.68% | |
| wd-v1-2-full-ema.ckpt [45dee52b] - 84.85% | |
| wd13float32.ckpt [4470c325] - 86.76% | |
| ACertainty.ckpt [0e200e66] - 81.50% | |
| Anything-V3.0-pruned.ckpt [2700c435] - 84.61% | |
| anything-v4.0-pruned-fp16.safetensors [53d80ac0] - 84.70% | |
| anything-v4.5-pruned-fp16.ckpt [fc018a75] - 85.14% | |
| AbyssOrangeMix2_hard.safetensors [931f9552] - 85.34% | |
| AOM3A1B.safetensors [9600da17] - 85.06% | |
| Elysium_V1.ckpt [44bf0551] - 86.46% | |
| Evt_M.safetensors [2a2c58bc] - 80.54% | |
| pastelmix-better-vae.safetensors [4048130a] - 85.33% | |
| grapefruitHentaiModel_grapefruitv22.safetensors [2506047e] - 84.93% | |
| colorBoxModel_colorBOX.safetensors [a80fee84] - 83.89% | |
| 7th_anime_v3_C.safetensors [6b3ba9a7] - 84.55% | |
| Counterfeit-V2.5.safetensors [9b36871e] - 85.34% | |
| ``` | |
| * NAIを含んだマージモデルで上記モデルとの比較を行った場合、多くのモデルとの一致率が90%以上になる。 | |
| * 最も高い一致率を示しているのがwaifu diffusion 1.3 | |
| * Elysium_V1との一致率が高いが、そもそもElysium自体、waifu diffusionとの一致率がNAIとのそれより高い。waifu diffusionをマージしている？ | |
| * waifu diffusion 1.3との比較ですら90%を切ってしまっているのは、いろいろ足しすぎて最早テセウスの船と化しているのでは？ | |
| ## どうしようもなくて現在諦めている要素 | |
| * いろんなポーズが出ない。 | |
| * いろんな構図が出ない。 | |
| * カメラアングル関連ワードの効きが悪いor効かない。 | |
| * 縦長にすると露骨に構図が眠たい。 | |
| * ファンタジー系背景が出づらい | |
| ### 対策 | |
| * 出したい構図があるならcontrolnetを使う。 | |
| * このモデル専用に学習する必要があるかも？ | |
| ## このモデルをマージして新しいモデルを作ったら、それはWD系だとかNAI不使用を名乗れるの？ | |
| 良心に任せます。簡単な判断基準としてはNAI系モデルと通常のweight sumマージを一回でもしたらだめだと思います。 | |
| このモデルのマージを拒否しているわけではないです。ご自由にマージしてください。効能としては高まりすぎたNAI成分を薄めるためとか？ | |
| - マージの計算式上、同じ部分が含まれるモデル同士でweight sumマージを繰り返すと、異なる部分だけが配合比の影響を受けて薄められます。具体的には以下の通り。 | |
| たとえば同じAをもとにしたモデルBとCをマージする場合の式を考えます。 | |
| 共通部分の特徴をAとして、BをA+b、CをA+cと表すとします。 | |
| この2つのモデルをsumする場合の計算式は(1-α)(A+b)+α(A+c)となり、式を整理するとA+(1-α)b+αcになります。 | |
| つまりは共通部分Aは一切変化していないのに、Bのモデルの特徴とCのモデルの特徴が薄められた上で合わさったモデルが作られます。 | |
| （たとえこのモデルをマージして共通部分を少なくしても異なる部分が薄まることには変わりがないので効果は限定的と思います。） | |