- 東北ずん子プロジェクトの公式キャラクターイラストをもとに作成したStable Diffusion 1.4系統のLoRAファイルです
- Stable Diffusion 2.1系統のLoRAはsd-tohoku-v3bをご利用ください
| キャラクター | 種類 | トリガーワード | 推奨ファイル | メモ |
|---|---|---|---|---|
| 東北イタコ | 衣装指定なし | Itako |
sd-tohoku-v3a.2.Itako.safetensors | |
| 公式衣装 | ItakoOC |
sd-tohoku-v3a.2.ItakoOC.safetensors | ||
| 衣装単体 | Itoc |
sd-tohoku-v3a.2.Itoc.safetensors | ||
| 東北ずん子 | 衣装指定なし | Zunko |
sd-tohoku-v3a.2.Zunko.safetensors | |
| 公式衣装 | ZunkoOC |
sd-tohoku-v3a.2.ZunkoOC.safetensors | ||
| 衣装単体 | Zuoc |
sd-tohoku-v3a.2.Zuoc.safetensors | ||
| 東北きりたん | 衣装指定なし | Kiritan |
sd-tohoku-v3a.2.Kiritan.safetensors | |
| 公式衣装 | KiritanOC |
sd-tohoku-v3a.2.KiritanOC.safetensors | ||
| 衣装単体 | Kioc |
sd-tohoku-v3a.2.Kioc.safetensors | ||
| ずんだもん | 人間形態 | Zundamon |
sd-tohoku-v3a.2.Zundamon.safetensors | |
| 妖精形態 | Zfr |
sd-tohoku-v3a.2.Zfr.safetensors | ||
| 暗黒大将軍 | Anko |
sd-tohoku-v3a.2.Anko.safetensors | ||
| 沖縄あわも | Awamo |
sd-tohoku-v3a.2.Awamo.safetensors | ||
| 大江戸ちゃんこ | Chanko |
sd-tohoku-v3a.2.Chanko.safetensors | ||
| 北海道めろん | Hokamel |
sd-tohoku-v3a.2.Hokamel.safetensors | ||
| 四国めたん | Metan |
sd-tohoku-v3a.2.Metan.safetensors | ||
| 関西しのび | Shinobi |
sd-tohoku-v3a.2.Shinobi.safetensors | ||
| 九州そら | Sora |
sd-tohoku-v3a.2.Sora.safetensors | ||
| 中国うさぎ | Usagi |
sd-tohoku-v3a.2.Usagi.safetensors |
- 学習データに公式キャラクターイラスト以外は用いておらず，正則化画像も用いていません．
- 「東北イタコ」には「青い霊」は含まれていません
- 「東北きりたん」には「きりたん砲」は含まれていません
利用例
AUTOMATIC1111/stable-diffusion-webuiをセットアップしてください
お好みのSD1.4系のモデルファイルを
models/Stable-diffusionにダウンロードしてください- ACertaintyを利用する例
- ACertainty.ckptをダウンロードする
- ACertaintyを利用する例
本レポジトリのLoRAファイルを
models/Loraディレクトリに置いてくださいWebUIを起動し，以下のように，
トリガーワードとLoRAファイル指定を含んだプロンプトを入力して生成してみてくださいsd-tohoku-v3a.2.Zunko.safetensorsを利用する例: Positiveプロンプト: <lora:sd-tohoku-v3a.2.Zunko:1>Zunko, 1girl, smile, sit on chair, garden, (looking at viewer:1.2) Negativeプロンプト: worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry<lora:NAME:value>のような形式で用いるLoRAを指定できます．NAMEにファイル名(拡張子を除く)，valueにLoRA強度を指定してください．- 強度を
0.5など低くすることでLoRA適用の影響力を下げられます
(さらなる設定) 以下のような設定を行うと，より良い出力を得られるかもしれません
- VAEの変更:
kl-f8-anime2.ckptをmodels/VAEにダウンロードし，ACertainty.vae.ckptにリネームすると自動的に読み込まれるようになります Clip skipを2にする- hako-mikan/sd-webui-lora-block-weightを利用しLoRAの強さを細かく制御する
- VAEの変更:
ファイルリスト
- Version. 4: sd-tohoku-v3a.4
- dim=64, alpha=32
- dim=1, alpha=1で画風をLoRA学習させ，ACertaintyにマージしたものをベースモデルとしました
- Version. 3: sd-tohoku-v3a.3
- dim=128, alpha=64
- Version. 2: sd-tohoku-v3a.2
- dim=64, alpha=32
- Version. 1: sd-tohoku-v3a.1
- dim=32, alpha=16
生成例
冒頭の例
Positive prompt:
<lora:sd-tohoku-v3a.VERSION.CHARACTER:1>CHARACTER, 1girl, smile, sit on chair, garden, (looking at viewer:1.2)
Negative prompt:
worst quality, low quality, medium quality, deleted, lowres, comic, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, jpeg artifacts, signature, watermark, username, blurry
- Steps: 20
- Sampler: DPM++ 2M Karras
- CFG scale: 7
- Seed: 1487688172
- Size: 768x1024
- Model hash: a64573359a (ACertainty)
- Clip skip: 2
ライセンス
CreativeML Open RAIL-M license 1.0
また，各種法令・各種ガイドラインにご留意ください． 例えば，生成された画像が東北ずん子プロジェクトのキャラクターを含む場合， 「東北ずん子プロジェクト キャラクター利用の手引き」に基づいて利用してください．
以前のバージョンとの違い
shirayu/sd-tohoku-v1や shirayu/sd-tohoku-v2では Stable Diffusionモデル自体を更新していました． そのため，ファイルサイズが巨大という課題がありました． その後，LoRA (Low-Rank Adaptation)という既存のモデルにくっつける「追加回路」を学習する技術が利用できるようになり， 先程の問題は大幅に軽減されるようになりました．
この「追加回路」は学習時に使われるモデルだけでなく，「似ている」モデルにも適用可能です． この学習ではACertaintyをベースにしています． そのため． Stable Diffusion 1.4, 1.5系統のモデルで利用できます． ただし，大幅にチューニングされているモデルでは良い結果は得られない可能性が高くなります．