以下の5人の東北ずん子プロジェクトのキャラクターイラストを用いてDreamBoothで学習したモデルです.
itako
: 東北イタコzunko
: 東北ずん子kiritan
: 東北きりたんzundamon
: ずんだもん (人間形態)metan
: 四国めたん
学習画像はなるべく衣装にバリエーションをもたせているので,「公式衣装」は出にくいです.
🌐オンラインですぐに試せるGoogle Colab Notebookでも利用できます
🔈 キャラクターを増やして学習したモデルshirayu/sd-tohoku-v2を公開しました (2023-01-04)
ファイル形式
AUTOMATIC1111/stable-diffusion-webuiなどckptファイルを読み込むツールの場合
sd-tohoku-v1.model.ckpt(約2GB)をダウンロードして読み込んでください
diffusersから利用する場合
from diffusers import DiffusionPipeline pipeline = DiffusionPipeline.from_pretrained("shirayu/sd-tohoku-v1")
紹介動画
東北ずん子プロジェクトのキャラをAIお絵描き! (ニコニコ動画)ライセンス
CreativeML Open RAIL-M license 1.0
また,各種法令・各種ガイドラインにご留意ください. 例えば,生成された画像が東北ずん子プロジェクトのキャラクターを含む場合, 「東北ずん子プロジェクト キャラクター利用の手引き」に基づいて利用してください.
学習設定
元モデル: Nilaier/Waifu-Diffusers (fbd1958)
- Base model: hakurei/waifu-diffusion-v1-3
- VAE: hakurei/waifu-diffusion-v1-4
学習画像
- 5キャラクター計69枚
- itako: 東北イタコ 18枚
- zunko: 東北ずん子 13枚
- kiritan: 東北きりたん 13枚
- zundamon: ずんだもん (人間形態) 9枚
- metan: 四国めたん 16枚
- アルファチャンネルは削除 + 白背景 + センタリング + 512x512にリサイズ
- 5キャラクター計69枚
学習元コード: ShivamShrirao/diffusers (
7232c2a
)学習設定
- Instance ID:
itako
,kiritan
,zunko
,metan
,zundamon
(5種) - Instance prompt:
<ID> 1girl
- Tesla T4で約110分
- その他設定:
--prior_loss_weight=0.5 \ --seed=3434554 \ --resolution=512 \ --center_crop \ --train_batch_size=1 \ --train_text_encoder \ --mixed_precision="fp16" \ --use_8bit_adam \ --gradient_checkpointing \ --gradient_accumulation_steps=2 \ --learning_rate=1e-6 \ --lr_scheduler="constant" \ --lr_warmup_steps=0 \ --num_class_images=50 \ --sample_batch_size=3 \ --max_train_steps=8000
- Instance ID:
学習に使った画像
生成例
kiritan, 1girl, volleyball, kawaii, in gymnasium, head
Negative prompt: chibi, out of frame, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 575469807, Size: 704x512
zundamon , maid dress, in cafe, Kyoto Animation
Negative prompt: chibi, out of frame, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 429473516, Size: 512x704
itako, dating in park, cute winter fashion
Negative prompt: out of frame, amateur drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly, fat
Steps: 60, Sampler: Euler a, CFG scale: 7.5, Seed: 2722676181, Size: 704x512
zunko and metan sit on bench, in school uniform, drink tea, 2girls, in 2020s anime style
Negative prompt: chibi, armature drawing, mutated hands and fingers, poor drawing, amateur, bad painting, bad painting of arms, bad anatomy, mutation, extra limbs, ugly
Steps: 40, Sampler: Euler a, CFG scale: 7.5, Seed: 2262270937, Size: 640x512
- Downloads last month
- 50
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.