以下の5人の東北ずん子プロジェクトのキャラクターイラストを用いてDreamBoothで学習したモデルです.

  • itako: 東北イタコ
  • zunko: 東北ずん子
  • kiritan: 東北きりたん
  • zundamon: ずんだもん (人間形態)
  • metan: 四国めたん

学習画像はなるべく衣装にバリエーションをもたせているので,「公式衣装」は出にくいです.

ファイル形式

  1. AUTOMATIC1111/stable-diffusion-webuiなどckptファイルを読み込むツールの場合

    sd-tohoku-v1.model.ckpt(約2GB)をダウンロードして読み込んでください

  2. diffusersから利用する場合

    from diffusers import DiffusionPipeline
    pipeline = DiffusionPipeline.from_pretrained("shirayu/sd-tohoku-v1")
    

ライセンス

CreativeML Open RAIL-M license 1.0

また,各種法令・各種ガイドラインにご留意ください. 例えば,生成された画像が東北ずん子プロジェクトのキャラクターを含む場合, 「東北ずん子プロジェクト キャラクター利用の手引き」に基づいて利用してください.

学習設定

  • 元モデル: Nilaier/Waifu-Diffusers (fbd1958)

  • 学習画像

    • 5キャラクター計69枚
    • アルファチャンネルは削除 + 白背景 + センタリング + 512x512にリサイズ
    • クラス画像は各50枚
  • 学習元コード: ShivamShrirao/diffusers (7232c2a)

    • examples/dreambooth/train_dreambooth.py
  • 学習設定

    • Instance ID: itako, kiritan, zinko, metan, zundamon (5種)
    • Instance prompt: <ID> 1girl
    • Class prompt: 1girl
    • Tesla T4で約110分
    • その他設定:
    --prior_loss_weight=0.5 \
    --seed=3434554 \
    --resolution=512 \
    --center_crop \
    --train_batch_size=1 \
    --train_text_encoder \
    --mixed_precision="fp16" \
    --use_8bit_adam \
    --gradient_checkpointing \
    --gradient_accumulation_steps=2 \
    --learning_rate=1e-6 \
    --lr_scheduler="constant" \
    --lr_warmup_steps=0 \
    --num_class_images=50 \
    --sample_batch_size=3 \
    --max_train_steps=8000
    

学習に使った画像

学習に使った画像

生成例

東北きりたんの生成例
kiritan, 1girl, volleyball, kawaii, in gymnasium, head
Negative prompt: chibi, out of frame, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 575469807, Size: 704x512
ずんだもんの生成例
zundamon , maid dress, in cafe, Kyoto Animation
Negative prompt: chibi, out of frame, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 429473516, Size: 512x704
東北イタコの生成例
itako, dating in park, cute winter fashion
Negative prompt: out of frame, amateur drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
Steps: 60, Sampler: Euler a, CFG scale: 7.5, Seed: 2722676181, Size: 704x512
東北ずん子と四国めたんの生成例
zunko and metan sit on bench, in school uniform, drink tea, 2girls, in 2020s anime style
Negative prompt: chibi, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly
Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 2262270937, Size: 640x512
Downloads last month
329
Hosted inference API
This model can be loaded on the Inference API on-demand.