|
--- |
|
license: other |
|
language: |
|
- en |
|
tags: |
|
- stable-diffusion |
|
- stable-diffusion-diffusers |
|
- text-to-image |
|
--- |
|
|
|
- [東北ずん子プロジェクト](https://zunko.jp/)の公式キャラクターイラストを利用して作成したStable Diffusion 2.1系統のLoRAファイルです |
|
- Stable Diffusion 1.4系統のLoRAは[sd-tohoku-v3a](https://huggingface.co/shirayu/sd-tohoku-v3a)をご利用ください |
|
|
|
<img src="https://pbs.twimg.com/media/Fs8KM1pakFwR9PY?format=jpg&name=900x900" alt="Samples" width="800"> |
|
|
|
| キャラクター | 種類 |トリガーワード | 推奨ファイル | メモ | |
|
| --- | --- |--- | --- | --- | |
|
| 東北イタコ | 衣装指定なし |``Itako`` |[sd-tohoku-v3b.1.Itako.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3b/resolve/main/sd-tohoku-v3b.1/sd-tohoku-v3b.1.Itako.safetensors)| | |
|
| | 衣装単体| ``Itoc`` |[sd-tohoku-v3b.1.Itoc.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3b/resolve/main/sd-tohoku-v3b.1/sd-tohoku-v3b.1.Itoc.safetensors)| | |
|
| 東北ずん子 | 衣装指定なし |``Zunko`` |[sd-tohoku-v3b.1.Zunko.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3b/resolve/main/sd-tohoku-v3b.1/sd-tohoku-v3b.1.Zunko.safetensors)| | |
|
| |衣装単体 | ``Zuoc`` |[sd-tohoku-v3b.1.Zuoc.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3b/resolve/main/sd-tohoku-v3b.1/sd-tohoku-v3b.1.Zuoc.safetensors)| | |
|
| 東北きりたん | 衣装指定なし |``Kiritan`` |[sd-tohoku-v3b.1.Kiritan.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3b/resolve/main/sd-tohoku-v3b.1/sd-tohoku-v3b.1.Kiritan.safetensors)| | |
|
| |衣装単体 |``Kioc`` |[sd-tohoku-v3b.1.Kioc.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3b/resolve/main/sd-tohoku-v3b.1/sd-tohoku-v3b.1.Kioc.safetensors)| | |
|
| ずんだもん | 人間形態 |``Zundamon`` |[sd-tohoku-v3b.1.Zundamon.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3b/resolve/main/sd-tohoku-v3b.1/sd-tohoku-v3b.1.Zundamon.safetensors)| | |
|
| | 妖精形態 | ``Zfr`` |[sd-tohoku-v3b.1.Zfr.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3b/resolve/main/sd-tohoku-v3b.1/sd-tohoku-v3b.1.Zfr.safetensors)| | |
|
| 暗黒大将軍 | |``Anko`` |[sd-tohoku-v3b.1.Anko.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3b/resolve/main/sd-tohoku-v3b.1/sd-tohoku-v3b.1.Anko.safetensors)| | |
|
| 沖縄あわも | |``Awamo`` |[sd-tohoku-v3b.1.Awamo.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3b/resolve/main/sd-tohoku-v3b.1/sd-tohoku-v3b.1.Awamo.safetensors)| | |
|
| 大江戸ちゃんこ | |``Chanko`` |[sd-tohoku-v3b.1.Chanko.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3b/resolve/main/sd-tohoku-v3b.1/sd-tohoku-v3b.1.Chanko.safetensors)| | |
|
| 北海道めろん | |``Hokamel`` |[sd-tohoku-v3b.1.Hokamel.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3b/resolve/main/sd-tohoku-v3b.1/sd-tohoku-v3b.1.Hokamel.safetensors)| | |
|
| 四国めたん | |``Metan`` |[sd-tohoku-v3b.1.Metan.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3b/resolve/main/sd-tohoku-v3b.1/sd-tohoku-v3b.1.Metan.safetensors)| | |
|
| 関西しのび | |``Shinobi`` |[sd-tohoku-v3b.1.Shinobi.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3b/resolve/main/sd-tohoku-v3b.1/sd-tohoku-v3b.1.Shinobi.safetensors)| | |
|
| 九州そら | |``Sora`` |[sd-tohoku-v3b.1.Sora.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3b/resolve/main/sd-tohoku-v3b.1/sd-tohoku-v3b.1.Sora.safetensors)| | |
|
| 中国うさぎ | |``Usagi`` |[sd-tohoku-v3b.1.Usagi.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3b/resolve/main/sd-tohoku-v3b.1/sd-tohoku-v3b.1.Usagi.safetensors)| | |
|
|
|
- 学習データに公式キャラクターイラスト以外は用いておらず，正則化画像も用いていません． |
|
- 「東北イタコ」には「青い霊」は含まれていません |
|
- 「東北きりたん」には「きりたん砲」は含まれていません |
|
|
|
## ファイルリスト |
|
|
|
- Version 2: [sd-tohoku-v3b.2](https://huggingface.co/shirayu/sd-tohoku-v3b/tree/main/sd-tohoku-v3b.2) |
|
- dim=64, alpha=32 |
|
- Version 1: [sd-tohoku-v3b.1](https://huggingface.co/shirayu/sd-tohoku-v3b/tree/main/sd-tohoku-v3b.1) |
|
- dim=32, alpha=16 |
|
|
|
## 利用例 |
|
|
|
1. [AUTOMATIC1111/stable-diffusion-webui](https://github.com/AUTOMATIC1111/stable-diffusion-webui)をセットアップしてください |
|
2. 拡張機能[kohya-ss/sd-webui-additional-networks](https://github.com/kohya-ss/sd-webui-additional-networks)をインストールしてください |
|
- 2023.04.02現在公式でSD2.1系統のLoRAに対応していないため |
|
3. お好みのSD2.1系のモデル・YAMLファイルを``models/Stable-diffusion``に，VAEをダウンロード``models/VAE``に置いてください |
|
- [Waifu Diffusion 1.5 Beta 2](https://huggingface.co/waifu-diffusion/wd-1-5-beta2/tree/main/checkpoints)を利用する例 |
|
1. [``wd-1-5-beta2-aesthetic-fp16.safetensors``](https://huggingface.co/waifu-diffusion/wd-1-5-beta2/resolve/main/checkpoints/wd-1-5-beta2-aesthetic-fp16.safetensors)を``models/Stable-diffusion``にダウンロードする |
|
2. [``wd-1-5-beta2-aesthetic-fp16.yaml``](https://huggingface.co/waifu-diffusion/wd-1-5-beta2/raw/main/checkpoints/wd-1-5-beta2-aesthetic-fp16.yaml)を``models/Stable-diffusion``にダウンロードする |
|
3. [``kl-f8-anime2.ckpt``](https://huggingface.co/hakurei/waifu-diffusion-v1-4/resolve/main/vae/kl-f8-anime2.ckpt)を``models/VAE``にダウンロードし，``wd-1-5-beta2-aesthetic-fp16.vae.ckpt``にリネームする (ファイル名をそろえると自動的に読み込まれるようになります) |
|
4. お好みのLoRAファイルを[ファイルリスト](https://huggingface.co/shirayu/sd-tohoku-v3b/tree/main)からダウンロードして``models/LORA``に置く |
|
5. WebUIを起動し，``Additional Networks``の設定をする |
|
- パネルを開き``Enable``をクリック |
|
- 設置したLoRAファイルを指定する |
|
6. ``トリガーワード``を含んだプロンプトを入力して生成する |
|
|
|
プロンプトの指定には[WD 1.5 Beta 2 - Release Notes](https://cafeai.notion.site/WD-1-5-Beta-2-Release-Notes-2852db5a9cdd456ba52fc5730b91acfd)も参考にしてください |
|
|
|
## 生成例 |
|
|
|
```txt |
|
Positive prompt: {CHARACTER}, 1girl, smile, sit on chair, garden, (looking at viewer:1.2), |
|
(anime:1.3), (waifu, exceptional, best aesthetic, new, newest, masterpiece, best quality:1.2) |
|
Negative prompt: worst quality, photorealistic, oldest, old, ((bad hands)), ((mutated hands and fingers)), watermark, text |
|
Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Seed: 1487688172, Size: 768x1024, Model hash: 96fc8b5de4 |
|
``` |
|
|
|
## ライセンス |
|
|
|
WD 1.5 Beta 2と同様に[Fair AI Public License 1.0-SD](https://freedevproject.org/faipl-1.0-sd/)です． |
|
|
|
また，各種法令・各種ガイドラインにご留意ください． |
|
例えば，生成された画像が東北ずん子プロジェクトのキャラクターを含む場合， |
|
[「東北ずん子プロジェクト キャラクター利用の手引き」](https://zunko.jp/guideline.html)に基づいて利用してください． |
|
|
|
## 以前のバージョンとの違い |
|
|
|
[shirayu/sd-tohoku-v1](https://huggingface.co/shirayu/sd-tohoku-v1)や |
|
[shirayu/sd-tohoku-v2](https://huggingface.co/shirayu/sd-tohoku-v2)では |
|
Stable Diffusionモデル自体を更新していました． |
|
そのため，ファイルサイズが巨大という課題がありました． |
|
その後，LoRA (Low-Rank Adaptation)という既存のモデルにくっつける「追加回路」を学習する技術が利用できるようになり， |
|
先程の問題は大幅に軽減されるようになりました． |
|
|
|
この「追加回路」は学習時に使われるモデルだけでなく，「似ている」モデルにも適用可能です． |
|
この学習では[Waifu Diffusion 1.5 Beta 2](https://huggingface.co/waifu-diffusion/wd-1-5-beta2/tree/main/checkpoints)を学習時に使用しています． |
|
そのため． Stable Diffusion 2.1系統のモデルで利用できます． |
|
ただし，大幅にチューニングされているモデルでは良い結果は得られない可能性が高くなります． |
|
|
