|
--- |
|
license: creativeml-openrail-m |
|
language: |
|
- en |
|
tags: |
|
- stable-diffusion |
|
- stable-diffusion-diffusers |
|
- text-to-image |
|
--- |
|
|
|
- [東北ずん子プロジェクト](https://zunko.jp/)の公式キャラクターイラストをもとに作成したStable Diffusion 1.4系統のLoRAファイルです |
|
- Stable Diffusion 2.1系統のLoRAは[sd-tohoku-v3b](https://huggingface.co/shirayu/sd-tohoku-v3b)をご利用ください |
|
|
|
<img src="https://pbs.twimg.com/media/Fs8KMtGaIAETSJc?format=jpg&name=medium" alt="Samples" width="800"> |
|
|
|
| キャラクター | 種類 |トリガーワード | 推奨ファイル | メモ | |
|
| --- | --- |--- | --- | --- | |
|
| 東北イタコ | 衣装指定なし |``Itako`` |[sd-tohoku-v3a.2.Itako.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3a/resolve/main/sd-tohoku-v3a.2/sd-tohoku-v3a.2.Itako.safetensors)| | |
|
| | 公式衣装 |``ItakoOC`` |[sd-tohoku-v3a.2.ItakoOC.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3a/resolve/main/sd-tohoku-v3a.2/sd-tohoku-v3a.2.ItakoOC.safetensors)| | |
|
| | 衣装単体| ``Itoc`` |[sd-tohoku-v3a.2.Itoc.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3a/resolve/main/sd-tohoku-v3a.2/sd-tohoku-v3a.2.Itoc.safetensors)| | |
|
| 東北ずん子 | 衣装指定なし |``Zunko`` |[sd-tohoku-v3a.2.Zunko.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3a/resolve/main/sd-tohoku-v3a.2/sd-tohoku-v3a.2.Zunko.safetensors)| | |
|
| |公式衣装|``ZunkoOC`` |[sd-tohoku-v3a.2.ZunkoOC.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3a/resolve/main/sd-tohoku-v3a.2/sd-tohoku-v3a.2.ZunkoOC.safetensors)| | |
|
| |衣装単体 | ``Zuoc`` |[sd-tohoku-v3a.2.Zuoc.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3a/resolve/main/sd-tohoku-v3a.2/sd-tohoku-v3a.2.Zuoc.safetensors)| | |
|
| 東北きりたん | 衣装指定なし |``Kiritan`` |[sd-tohoku-v3a.2.Kiritan.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3a/resolve/main/sd-tohoku-v3a.2/sd-tohoku-v3a.2.Kiritan.safetensors)| | |
|
| |公式衣装 |``KiritanOC`` |[sd-tohoku-v3a.2.KiritanOC.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3a/resolve/main/sd-tohoku-v3a.2/sd-tohoku-v3a.2.KiritanOC.safetensors)| | |
|
| |衣装単体 |``Kioc`` |[sd-tohoku-v3a.2.Kioc.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3a/resolve/main/sd-tohoku-v3a.2/sd-tohoku-v3a.2.Kioc.safetensors)| | |
|
| ずんだもん | 人間形態 |``Zundamon`` |[sd-tohoku-v3a.2.Zundamon.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3a/resolve/main/sd-tohoku-v3a.2/sd-tohoku-v3a.2.Zundamon.safetensors)| | |
|
| | 妖精形態 | ``Zfr`` |[sd-tohoku-v3a.2.Zfr.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3a/resolve/main/sd-tohoku-v3a.2/sd-tohoku-v3a.2.Zfr.safetensors)| | |
|
| 暗黒大将軍 | |``Anko`` |[sd-tohoku-v3a.2.Anko.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3a/resolve/main/sd-tohoku-v3a.2/sd-tohoku-v3a.2.Anko.safetensors)| | |
|
| 沖縄あわも | |``Awamo`` |[sd-tohoku-v3a.2.Awamo.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3a/resolve/main/sd-tohoku-v3a.2/sd-tohoku-v3a.2.Awamo.safetensors)| | |
|
| 大江戸ちゃんこ | |``Chanko`` |[sd-tohoku-v3a.2.Chanko.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3a/resolve/main/sd-tohoku-v3a.2/sd-tohoku-v3a.2.Chanko.safetensors)| | |
|
| 北海道めろん | |``Hokamel`` |[sd-tohoku-v3a.2.Hokamel.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3a/resolve/main/sd-tohoku-v3a.2/sd-tohoku-v3a.2.Hokamel.safetensors)| | |
|
| 四国めたん | |``Metan`` |[sd-tohoku-v3a.2.Metan.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3a/resolve/main/sd-tohoku-v3a.2/sd-tohoku-v3a.2.Metan.safetensors)| | |
|
| 関西しのび | |``Shinobi`` |[sd-tohoku-v3a.2.Shinobi.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3a/resolve/main/sd-tohoku-v3a.2/sd-tohoku-v3a.2.Shinobi.safetensors)| | |
|
| 九州そら | |``Sora`` |[sd-tohoku-v3a.2.Sora.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3a/resolve/main/sd-tohoku-v3a.2/sd-tohoku-v3a.2.Sora.safetensors)| | |
|
| 中国うさぎ | |``Usagi`` |[sd-tohoku-v3a.2.Usagi.safetensors](https://huggingface.co/shirayu/sd-tohoku-v3a/resolve/main/sd-tohoku-v3a.2/sd-tohoku-v3a.2.Usagi.safetensors)| | |
|
|
|
- 学習データに公式キャラクターイラスト以外は用いておらず，正則化画像も用いていません． |
|
- 「東北イタコ」には「青い霊」は含まれていません |
|
- 「東北きりたん」には「きりたん砲」は含まれていません |
|
|
|
## 利用例 |
|
|
|
1. [AUTOMATIC1111/stable-diffusion-webui](https://github.com/AUTOMATIC1111/stable-diffusion-webui)をセットアップしてください |
|
2. お好みのSD1.4系のモデルファイルを``models/Stable-diffusion``にダウンロードしてください |
|
- [ACertainty](https://huggingface.co/JosephusCheung/ACertainty)を利用する例 |
|
1. [ACertainty.ckpt](https://huggingface.co/JosephusCheung/ACertainty/resolve/main/ACertainty.ckpt)をダウンロードする |
|
2. 本レポジトリのLoRAファイルを``models/Lora``ディレクトリに置いてください |
|
3. WebUIを起動し，以下のように，``トリガーワード``と``LoRAファイル指定``を含んだプロンプトを入力して生成してみてください |
|
|
|
```txt |
|
sd-tohoku-v3a.2.Zunko.safetensorsを利用する例: |
|
|
|
Positiveプロンプト: <lora:sd-tohoku-v3a.2.Zunko:1>Zunko, 1girl, smile, sit on chair, garden, (looking at viewer:1.2) |
|
Negativeプロンプト: worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry |
|
``` |
|
|
|
- ``<lora:NAME:value>``のような形式で用いるLoRAを指定できます． |
|
- ``NAME``にファイル名(拡張子を除く)，``value``にLoRA強度を指定してください． |
|
- 強度を``0.5``など低くすることでLoRA適用の影響力を下げられます |
|
4. (さらなる設定) 以下のような設定を行うと，より良い出力を得られるかもしれません |
|
- VAEの変更: [``kl-f8-anime2.ckpt``](https://huggingface.co/hakurei/waifu-diffusion-v1-4/resolve/main/vae/kl-f8-anime2.ckpt)を``models/VAE``にダウンロードし，``ACertainty.vae.ckpt``にリネームすると自動的に読み込まれるようになります |
|
- ``Clip skip``を``2``にする |
|
- [hako-mikan/sd-webui-lora-block-weight](https://github.com/hako-mikan/sd-webui-lora-block-weight)を利用しLoRAの強さを細かく制御する |
|
|
|
## ファイルリスト |
|
|
|
- Version. 4: [sd-tohoku-v3a.4](https://huggingface.co/shirayu/sd-tohoku-v3a/tree/main/sd-tohoku-v3a.4) |
|
- dim=64, alpha=32 |
|
- dim=1, alpha=1で画風をLoRA学習させ，ACertaintyにマージしたものをベースモデルとしました |
|
- <img src="https://pbs.twimg.com/media/FtG3nzFaIAAzI7v?format=jpg&name=medium" alt="Samples of sd-tohoku-v3a.4" width="400"> |
|
- Version. 3: [sd-tohoku-v3a.3](https://huggingface.co/shirayu/sd-tohoku-v3a/tree/main/sd-tohoku-v3a.3) |
|
- dim=128, alpha=64 |
|
- Version. 2: [sd-tohoku-v3a.2](https://huggingface.co/shirayu/sd-tohoku-v3a/tree/main/sd-tohoku-v3a.2) |
|
- dim=64, alpha=32 |
|
- <img src="https://pbs.twimg.com/media/Fs8KMtGaIAETSJc?format=jpg&name=medium" alt="Samples of sd-tohoku-v3a.2" width="400"> |
|
- Version. 1: [sd-tohoku-v3a.1](https://huggingface.co/shirayu/sd-tohoku-v3a/tree/main/sd-tohoku-v3a.1) |
|
- dim=32, alpha=16 |
|
|
|
## 生成例 |
|
|
|
### 冒頭の例 |
|
|
|
```txt |
|
Positive prompt: |
|
<lora:sd-tohoku-v3a.VERSION.CHARACTER:1>CHARACTER, 1girl, smile, sit on chair, garden, (looking at viewer:1.2) |
|
|
|
Negative prompt: |
|
worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry |
|
``` |
|
|
|
- Steps: 20 |
|
- Sampler: DPM++ 2M Karras |
|
- CFG scale: 7 |
|
- Seed: 1487688172 |
|
- Size: 768x1024 |
|
- Model hash: a64573359a (ACertainty) |
|
- Clip skip: 2 |
|
|
|
## ライセンス |
|
|
|
[CreativeML Open RAIL-M license 1.0](https://hf.space/static/bigscience/license/index.html) |
|
|
|
また，各種法令・各種ガイドラインにご留意ください． |
|
例えば，生成された画像が東北ずん子プロジェクトのキャラクターを含む場合， |
|
[「東北ずん子プロジェクト キャラクター利用の手引き」](https://zunko.jp/guideline.html)に基づいて利用してください． |
|
|
|
## 以前のバージョンとの違い |
|
|
|
[shirayu/sd-tohoku-v1](https://huggingface.co/shirayu/sd-tohoku-v1)や |
|
[shirayu/sd-tohoku-v2](https://huggingface.co/shirayu/sd-tohoku-v2)では |
|
Stable Diffusionモデル自体を更新していました． |
|
そのため，ファイルサイズが巨大という課題がありました． |
|
その後，LoRA (Low-Rank Adaptation)という既存のモデルにくっつける「追加回路」を学習する技術が利用できるようになり， |
|
先程の問題は大幅に軽減されるようになりました． |
|
|
|
この「追加回路」は学習時に使われるモデルだけでなく，「似ている」モデルにも適用可能です． |
|
この学習では[ACertainty](https://huggingface.co/JosephusCheung/ACertainty)をベースにしています． |
|
そのため． Stable Diffusion 1.4, 1.5系統のモデルで利用できます． |
|
ただし，大幅にチューニングされているモデルでは良い結果は得られない可能性が高くなります． |
|
|
