Stable Diffusion v1-4 · Ilustraciones de libros antiguos

Finetuning de CompVis/stable-diffusion-v1-4 sobre el dataset gigant/oldbookillustrations.

🔁 También disponible como LoRA (adaptador ligero que se carga sobre el modelo base): manupm87/finetuned-sd-1.4-oldbookillustrations-lora.

Solo se ha finetuneado la UNet; el resto de componentes (VAE, text encoder, tokenizer y scheduler) se mantienen del modelo base. Este repositorio contiene el pipeline completo, listo para usar con una sola llamada a from_pretrained.

Trigger de estilo: el modelo se finetuneo anadiendo el sufijo old book illustration, engraving, antique a cada descripcion. Incluye ese mismo texto al final de tu prompt (como en el ejemplo) para activar con fuerza el estilo de ilustracion de libro antiguo.

Uso

import torch
from diffusers import StableDiffusionPipeline

pipe = StableDiffusionPipeline.from_pretrained(
    "manupm87/finetuned-sd-1.4-oldbookillustrations",
    torch_dtype=torch.float16,
).to("cuda")

prompt = "A sailing ship with billowing sails rides the tall waves of a stormy sea, old book illustration, engraving, antique"
image = pipe(prompt).images[0]
image.save("output.png")

Detalles del entrenamiento

Parametro	Valor
Modelo base	`CompVis/stable-diffusion-v1-4`
Dataset	`gigant/oldbookillustrations` (columnas `1600px` / `info_alt`)
Componente finetuneada	UNet (VAE y text encoder congelados)
Epocas	5
Learning rate	1e-05
Batch size	6
Resolucion	512x512
Optimizador	AdamW
Trigger de estilo	`old book illustration, engraving, antique`

Preprocesado: a cada imagen del dataset (con descripcion no vacia) se le aplica Resize + CenterCrop a 512x512.

Limitaciones y licencia

Modelo entrenado con fines educativos sobre un dataset pequeno y especifico (ilustraciones de libros antiguos), por lo que su dominio es limitado. Hereda los sesgos y limitaciones del modelo base Stable Diffusion v1-4. Distribuido bajo licencia CreativeML OpenRAIL-M.

Ejemplos

Generadas con este modelo (trigger de estilo incluido, misma semilla):

Prompt	Imagen
A sailing ship with billowing sails rides the tall waves of a stormy sea
A ruined castle stands on a cliff overlooking the misty sea at dusk
A young girl wanders alone into a forest of tall, twisted trees
A solitary lighthouse rises above the rocky shore as waves break below it
A steam locomotive races across the countryside, trailing a long plume of smoke