--- license: creativeml-openrail-m language: - en tags: - stable-diffusion - stable-diffusion-diffusers - text-to-image --- 以下の5人の[東北ずん子プロジェクト](https://zunko.jp/)のキャラクターイラストを用いてDreamBoothで学習したモデルです． - ``itako``: 東北イタコ - ``zunko``: 東北ずん子 - ``kiritan``: 東北きりたん - ``zundamon``: ずんだもん (人間形態) - ``metan``: 四国めたん 学習画像はなるべく衣装にバリエーションをもたせているので，「公式衣装」は出にくいです． 🌐オンラインですぐに試せる[Google Colab Notebook](https://colab.research.google.com/drive/1p93qo7yrp2JNd57M94-ug-hiXUXj8JqF?usp=sharing)でも利用できます 🔈 キャラクターを増やして学習したモデル[shirayu/sd-tohoku-v2](https://huggingface.co/shirayu/sd-tohoku-v2)を公開しました (2023-01-04) ## ファイル形式 1. [AUTOMATIC1111/stable-diffusion-webui](https://github.com/AUTOMATIC1111/stable-diffusion-webui)などckptファイルを読み込むツールの場合 [sd-tohoku-v1.model.ckpt](https://huggingface.co/shirayu/sd-tohoku-v1/resolve/main/sd-tohoku-v1.model.ckpt)(約2GB)をダウンロードして読み込んでください 2. [diffusers](https://github.com/huggingface/diffusers)から利用する場合 ```python from diffusers import DiffusionPipeline pipeline = DiffusionPipeline.from_pretrained("shirayu/sd-tohoku-v1") ``` ## 紹介動画 東北ずん子プロジェクトのキャラをAIお絵描き！東北ずん子プロジェクトのキャラをAIお絵描き！　(ニコニコ動画) ## ライセンス [CreativeML Open RAIL-M license 1.0](https://hf.space/static/bigscience/license/index.html) また，各種法令・各種ガイドラインにご留意ください． 例えば，生成された画像が東北ずん子プロジェクトのキャラクターを含む場合， [「東北ずん子プロジェクト キャラクター利用の手引き」](https://zunko.jp/guideline.html)に基づいて利用してください． ## 学習設定 - 元モデル: [Nilaier/Waifu-Diffusers](https://huggingface.co/Nilaier/Waifu-Diffusers) (fbd1958) - Base model: [hakurei/waifu-diffusion-v1-3](https://huggingface.co/hakurei/waifu-diffusion-v1-3) - VAE: [hakurei/waifu-diffusion-v1-4](https://huggingface.co/hakurei/waifu-diffusion-v1-4) - 学習画像 - 5キャラクター計69枚 - itako: 東北イタコ 18枚 - zunko: 東北ずん子 13枚 - kiritan: 東北きりたん 13枚 - zundamon: ずんだもん (人間形態) 9枚 - metan: 四国めたん 16枚 - アルファチャンネルは削除 + 白背景 + センタリング + 512x512にリサイズ - 学習元コード: [ShivamShrirao/diffusers](https://github.com/ShivamShrirao/diffusers) (``7232c2a``) - [``examples/dreambooth/train_dreambooth.py``](https://github.com/ShivamShrirao/diffusers/blob/7232c2a/examples/dreambooth/train_dreambooth.py) - 学習設定 - Instance ID: ``itako``, ``kiritan``, ``zunko``, ``metan``, ``zundamon`` (5種) - Instance prompt: `` 1girl`` - Tesla T4で約110分 - その他設定: ```txt --prior_loss_weight=0.5 \ --seed=3434554 \ --resolution=512 \ --center_crop \ --train_batch_size=1 \ --train_text_encoder \ --mixed_precision="fp16" \ --use_8bit_adam \ --gradient_checkpointing \ --gradient_accumulation_steps=2 \ --learning_rate=1e-6 \ --lr_scheduler="constant" \ --lr_warmup_steps=0 \ --num_class_images=50 \ --sample_batch_size=3 \ --max_train_steps=8000 ``` ## 学習に使った画像 学習に使った画像 ## 生成例 東北きりたんの生成例 ```txt kiritan, 1girl, volleyball, kawaii, in gymnasium, head Negative prompt: chibi, out of frame, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 575469807, Size: 704x512 ``` ずんだもんの生成例 ```txt zundamon , maid dress, in cafe, Kyoto Animation Negative prompt: chibi, out of frame, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 429473516, Size: 512x704 ``` 東北イタコの生成例 ```txt itako, dating in park, cute winter fashion Negative prompt: out of frame, amateur drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat Steps: 60, Sampler: Euler a, CFG scale: 7.5, Seed: 2722676181, Size: 704x512 ``` 東北ずん子と四国めたんの生成例 ```txt zunko and metan sit on bench, in school uniform, drink tea, 2girls, in 2020s anime style Negative prompt: chibi, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 2262270937, Size: 640x512 ```