以下の5人の東北ずん子プロジェクトのキャラクターイラストを用いてDreamBoothで学習したモデルです.

  • itako: 東北イタコ
  • zunko: 東北ずん子
  • kiritan: 東北きりたん
  • zundamon: ずんだもん (人間形態)
  • metan: 四国めたん

学習画像はなるべく衣装にバリエーションをもたせているので,「公式衣装」は出にくいです.

🌐オンラインですぐに試せるGoogle Colab Notebookでも利用できます

🔈 キャラクターを増やして学習したモデルshirayu/sd-tohoku-v2を公開しました (2023-01-04)

ファイル形式

  1. AUTOMATIC1111/stable-diffusion-webuiなどckptファイルを読み込むツールの場合

    sd-tohoku-v1.model.ckpt(約2GB)をダウンロードして読み込んでください

  2. diffusersから利用する場合

    from diffusers import DiffusionPipeline
    pipeline = DiffusionPipeline.from_pretrained("shirayu/sd-tohoku-v1")
    

紹介動画

東北ずん子プロジェクトのキャラをAIお絵描き!東北ずん子プロジェクトのキャラをAIお絵描き! (ニコニコ動画)

ライセンス

CreativeML Open RAIL-M license 1.0

また,各種法令・各種ガイドラインにご留意ください. 例えば,生成された画像が東北ずん子プロジェクトのキャラクターを含む場合, 「東北ずん子プロジェクト キャラクター利用の手引き」に基づいて利用してください.

学習設定

  • 元モデル: Nilaier/Waifu-Diffusers (fbd1958)

  • 学習画像

    • 5キャラクター計69枚
      • itako: 東北イタコ 18枚
      • zunko: 東北ずん子 13枚
      • kiritan: 東北きりたん 13枚
      • zundamon: ずんだもん (人間形態) 9枚
      • metan: 四国めたん 16枚
    • アルファチャンネルは削除 + 白背景 + センタリング + 512x512にリサイズ
  • 学習元コード: ShivamShrirao/diffusers (7232c2a)

  • 学習設定

    • Instance ID: itako, kiritan, zunko, metan, zundamon (5種)
    • Instance prompt: <ID> 1girl
    • Tesla T4で約110分
    • その他設定:
    --prior_loss_weight=0.5 \
    --seed=3434554 \
    --resolution=512 \
    --center_crop \
    --train_batch_size=1 \
    --train_text_encoder \
    --mixed_precision="fp16" \
    --use_8bit_adam \
    --gradient_checkpointing \
    --gradient_accumulation_steps=2 \
    --learning_rate=1e-6 \
    --lr_scheduler="constant" \
    --lr_warmup_steps=0 \
    --num_class_images=50 \
    --sample_batch_size=3 \
    --max_train_steps=8000
    

学習に使った画像

学習に使った画像

生成例

東北きりたんの生成例
kiritan, 1girl, volleyball, kawaii, in gymnasium, head
Negative prompt: chibi, out of frame, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 575469807, Size: 704x512
ずんだもんの生成例
zundamon , maid dress, in cafe, Kyoto Animation
Negative prompt: chibi, out of frame, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 429473516, Size: 512x704
東北イタコの生成例
itako, dating in park, cute winter fashion
Negative prompt: out of frame, amateur drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
Steps: 60, Sampler: Euler a, CFG scale: 7.5, Seed: 2722676181, Size: 704x512
東北ずん子と四国めたんの生成例
zunko and metan sit on bench, in school uniform, drink tea, 2girls, in 2020s anime style
Negative prompt: chibi, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly
Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 2262270937, Size: 640x512
Downloads last month
50
Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.