Con todo esta informacion crea un sistema de generacion de prompts para stable diffusion, la primera peticion es mejora este prompt: "Weathered 17th-century retired sailor's face, reminiscent of Rembrandt's subjects, with a rugged, leathery complexion, deep-set eyes, and a strong, angular jawline, hints of a thousand tales etched on his face, now worn by the lines of age and the weight of memories, set against a backdrop of muted, earthy tones, with dramatic shadows casting an air of nostalgia. The fading light of dusk illuminates the scene, with warm, golden hues spilling across the subject's face, accentuated by the soft, diffused glow of the setting sun. In the distance, a faint view of his old whaling ship, its sails unfurled, with other sailors busy at work, hauling in the day's catch, while the sun sets over the horizon, casting a warm, golden glow over the scene, his eyes gazing into the distance, recalling the adventures of a bygone era.", y estos son los consejos: "What is the best sampler for SD?

The best sampler for Stable Diffusion is the “DPM++ SDE Karras” sampler, but it is a little heavier than the others. A second option that is very popular is the “DPM++ 2M Karras” sampler. The “Euler a” Sampler is the Stable Diffusion standard, although it presents good performance, it is considered outdated. For the “LCM” or “Turbo” models, the best sampler is the “LCM” if available, but “Euler a” is also compatible. “DPM++ 2M Karras” and “DPM++ SDE Karras” are not compatible with “LCM” or “Turbo” models.

and what about DDIM?

DDIM is not a sampler, it is a method of image generation. It is an alternative to the standard method and can sometimes produce better results, but it is more sensitive to the settings used and can be more difficult to get good results with. It is worth experimenting with to see if you can get better results for a particular use case.

and DPM2 and DPM2 a?

DPM2 and DPM2 a are samplers. DPM2 is an older sampler that is not used much anymore. DPM2 a is a more recent sampler that is based on DPM2 but with some improvements. It is not used as much as the other samplers I mentioned, but it can be a good option in some cases.

in what cases?

DPM2 a can be a good option when you want to generate images with a lot of detail and complexity. It tends to produce images with sharper edges and more defined features, which can be useful for certain types of images. It is also a good option when you want to generate images with a lot of movement or action, as it can capture motion better than some of the other samplers.

cuando no me sale nitida del todo que hay que retocar en la configuracion?

Si la imagen generada no sale nítida, hay varios ajustes que puedes probar para mejorar la calidad. Primero, asegúrate de que estés utilizando un modelo de alta resolución, como SDXL. También puedes intentar aumentar el número de pasos de muestreo, ya que esto puede mejorar la nitidez y los detalles de la imagen. Además, puedes experimentar con diferentes samplers, como los que mencioné anteriormente, para ver si alguno de ellos produce resultados más nítidos. Finalmente, puedes intentar utilizar técnicas de posprocesamiento, como el aumento de resolución o la mejora de detalles, para mejorar la nitidez de la imagen final.

y el cfg scale?

El CFG Scale, o "Guidance Scale", es un ajuste importante que controla la fuerza de la guía que se le da al modelo durante el proceso de generación de imágenes. Un valor más alto de CFG Scale hará que el modelo siga más de cerca el texto de entrada, lo que puede resultar en imágenes más precisas y detalladas. Sin embargo, si el valor es demasiado alto, puede causar artefactos en la imagen o hacer que el modelo se concentre demasiado en ciertos detalles y pierda la visión general. Un valor más bajo de CFG Scale puede dar más libertad al modelo para ser creativo, pero también puede resultar en imágenes que se alejan más de la descripción de texto. En general, se recomienda experimentar con diferentes valores de CFG Scale para encontrar el equilibrio adecuado entre precisión y creatividad en las imágenes generadas.

cual es el valor que de media siempre da bue¡nos resultados de cfg?

El valor óptimo de CFG Scale puede variar dependiendo del modelo, el sampler y el tipo de imagen que se desee generar. Sin embargo, un valor de CFG Scale entre 3 y 7 suele ser un buen punto de partida para la mayoría de los casos. Este rango suele proporcionar un buen equilibrio entre la fidelidad al texto de entrada y la creatividad del modelo. Siempre se puede ajustar el valor hacia arriba o hacia abajo dependiendo de los resultados deseados y de la cantidad de detalles y precisión que se requiera en la imagen final.

que hace este lora que lo hace especial?: "CM&TurboMix LoRA (Only 12MB, 8-step sampling Effect is superior to using LCM or Turbo alone!)
1.4K
24.3K
266K
260


Updated: Apr 26, 2024
TOOL
TOOLS
SDXL 1,0
Verified: 8 months ago
SafeTensor

Details
Type
LORA
Stats
14.970
227.895
Reviews
Overwhelmingly Positive
(515)
Published
Dec 2, 2023
Base Model
SDXL 1.0
Hash
AIR
civitai:
216190
@
246747


1 File
LoRA (12.36 MB)
Verified: 8 months ago
SafeTensor

Recommended Resources

About this version
The Euler a version has an issue where it does not display in the sdxl LoRA list of webui. The Euler a.fix version rectifies this problem by modifying the metadata. Additionally, the Euler a.fix version further optimizes the merge steps and proportions of LCM and Turbo.

Show more
default creator card background decoration

Followers - 6813
6.8K

Likes - 60017
60.0K

LEOSAM's Avatar
LEOSAM
Joined Feb 18, 2023

turbo_画板 1_画板 1_画板 1.png


REMIX
xyz_grid-0022-1343869492.png



REMIX
xyz_grid-0024-1231325529.png



REMIX
xyz_grid-0019-3885323079.png



REMIX
00048-314365678.png



REMIX
00038-1925794606.png



REMIX
00041-884632058.png



🖥️Welcome to try out the open-source GPT4V-Image-Captioner, developed by my friend and me. It offers a one-click installation and comes integrated with multiple features including image pre-compression, image tagging, and tag statistics. Recently, we also launched the webui plugin version of this tool, everyone is welcome to use it!

🌍欢迎加入QQ群"兔狲·AIGC梦工北厂"，群号 ：780132897 ；"兔狲·AIGC梦工南厂"，群号 ：835297318（入群答案：兔狲）。Telegram群聊“兔狲的SDXL百老汇”，链接：https://t.me/+KkflmfLTAdwzMzI1

Quick Use Guide: Compatible with any SDXL standard base model. Weight 1, 8 steps, CFG 2. Different version names correspond to their respective adapted samplers.

极简用法：可与任何常规SDXL大模型搭配使用。权重1，步数8，CFG 2。不同版本名对应各自适配的采样器

This is a fusion LoRA model of SDXL LCM LoRA and SDXL Turbo LoRA. The inspiration for its creation came about when I was developing the LEOSAM HelloWorld Turbo+LCM version and discovered that the combination of these two technologies yielded the best image generation results.

As a result, I merged this fusion model, in which the merge ratio of LCM and Turbo LoRA has been optimized by me. The size of this model has been resized to rank 1, with only 12.3MB. At the same time, the optimal weight for LORA has been adjusted to 1. It's very convenient to use. Everyone is welcome to experience it!

The following demonstrates the image generation results when using the Eular A sampler for 8 steps with HelloWorld 2.0 combined with LCM & TurboMix LoRA, LCM LoRA, and Turbo LoRA respectively.

It can be seen that LCM & TurboMix LoRA achieves the most balanced results between facial influence and image clarity.





The recommended parameters for generating images with this model are:

Sampler: Different version names correspond to their respective adapted samplers. The time needed for the different samplers to produce an image in 8 steps, as well as the quality of the image, varies. Please choose according to your needs.

LoRA Weight: Around 1

CFG scale: 2 (Important! It is recommended to have a CFG scale between 1.5~2.5)

Sampling steps: 8 steps (6~8 steps are acceptable)

Hires algorithm: ESRGAN 4x (Other upscaling algorithms can also be used, not a mandatory option. Please ensure that your GPU memory is sufficient)

Hires Upscale factor: 1.5x

Hires steps: 8 steps

Hires Denoising strength: 0.3

这是一个SDXL LCM LoRA和SDXL Turbo LoRA的融合LoRA模型，起因于我在制作LEOSAM HelloWorld Turbo+LCM版本时，发现这两种技术结合使用时，生图效果是最好的，因此我制作了这个融合版本的模型。

LCM和turbo lora的融合比例经过我的调节寻优，同时这个模型的体积已经resize至rank 1，只有12.3MB大小。同时LORA最佳权重已经调整至1。使用上非常方便。欢迎大家体验！

上方图展示了HelloWorld 2.0分别搭配LCM&TurboMix LoRA、 LCM LoRA、Turbo LoRA时，使用Eular A采样器采样8步时的出图效果。可以看出LCM&TurboMix LoRA拥有脸型影响和图像清晰度之间最平衡的结果。

本模型推荐的生图参数：

采样器：不同版本名对应各自适配的采样器。不同采样器8步出图的时间和画质不同，请根据需要选择。

LoRA 使用权重：1左右

采样步数：8步（6~8步均可）

CFG scale：2（重要！对于LCM模型，CFG scale建议1.5~2.5）

放大算法：ESRGAN 4x（其他放大算法也可以，非必须选项，请确保GPU显存充足）

放大倍数：1.5倍

放大步数：8步

放大降噪系数：0.3

2023.12.2 Update details for the Euler a.fix version.

The Euler a version has an issue where it doesn't display in the sdxl LoRA list of webui. The Euler a.fix version rectifies this problem by modifying the metadata. Additionally, the Euler a.fix version further optimizes the merge steps and proportions of LCM and Turbo.

Euler a版本存在Webui SDXL LoRA列表中不显示的问题。Euler a.fix版本通过更改元数据，修正了这个问题。同时Euler a.fix版本还进一步优化了LCM和Turbo的融合步骤和比例。


"

Este LoRA es especial porque es una fusión de dos modelos LoRA populares: LCM LoRA y Turbo LoRA. El autor de este modelo descubrió que la combinación de estas dos tecnologías producía los mejores resultados en la generación de imágenes, por lo que decidió fusionarlas en un solo modelo.

El modelo fusionado ha sido optimizado para encontrar el equilibrio perfecto entre LCM y Turbo LoRA, y su tamaño se ha reducido a solo 12,3 MB. Además, el peso óptimo de LoRA se ha ajustado a 1, lo que lo hace muy conveniente de usar.

Los parámetros recomendados para generar imágenes con este modelo son:

Sampler: Hay diferentes versiones del modelo que se adaptan a diferentes samplers. El tiempo necesario para generar una imagen y la calidad de la misma varían según el sampler elegido.

LoRA Weight: alrededor de 1

CFG scale: 2 (se recomienda un CFG scale entre 1.5 y 2.5)

Sampling steps: 8 pasos (también se pueden aceptar 6-8 pasos)

Hires algorithm: ESRGAN 4x (se pueden utilizar otros algoritmos de aumento de escala, no es una opción obligatoria)

Hires Upscale factor: 1.5x

Hires steps: 8 pasos

Hires Denoising strength: 0.3

En resumen, este LoRA es especial porque combina dos modelos LoRA efectivos en uno solo, optimizando su rendimiento y reduciendo su tamaño. Los parámetros recomendados por el autor ofrecen un buen equilibrio entre la influencia del texto y la claridad de la imagen.

y que hace este otro?: "DPO (Direct Preference Optimization) LoRA for XL and 1.5 - OpenRail++
826
11.7K
99K
216


Updated: Dec 25, 2023
TOOL
Verified: 7 months ago
SafeTensor

Details
Type
LORA
Stats
8620
92.829
Reviews
Overwhelmingly Positive
(792)
Published
Dec 24, 2023
Base Model
SDXL 1.0
Hash
AIR
civitai:
242825
@
273996


1 File
LoRA (750.87 MB)
Verified: 7 months ago
SafeTensor
default creator card background decoration

Followers - 45
45

Likes - 826
826
enfugue
Joined Nov 21, 2023


REMIX
63329268c9eb494babd501acb9ac0502_0.png



REMIX
3ce95e4158044c4baa3a020a3c1e75b0_0.png


dpo-xl.png


What is DPO?
DPO is Direct Preference Optimization, the name given to the process whereby a diffusion model is finetuned based on human-chosen images. Meihua Dang et. al. have trained Stable Diffusion 1.5 and Stable Diffusion XL using this method and the Pick-a-Pic v2 Dataset, which can be found at https://huggingface.co/datasets/yuvalkirstain/pickapic_v2, and wrote a paper about it at https://huggingface.co/papers/2311.12908.

What does it Do?
The trained DPO models have been observed to produce higher quality images than their untuned counterparts, with a significant emphasis on the adherence of the model to your prompt. These LoRA can bring that prompt adherence to other fine-tuned Stable Diffusion models.

Who Trained This?
These LoRA are based on the works of Meihua Dang (https://huggingface.co/mhdang) at

https://huggingface.co/mhdang/dpo-sdxl-text2image-v1 and https://huggingface.co/mhdang/dpo-sd1.5-text2image-v1, licensed under OpenRail++.

How were these LoRA Made?
They were created using Kohya SS by extracting them from other OpenRail++ licensed checkpoints on CivitAI and HuggingFace.

1.5: https://civitai.com/models/240850/sd15-direct-preference-optimization-dpo extracted from https://huggingface.co/fp16-guy/Stable-Diffusion-v1-5_fp16_cleaned/blob/main/sd_1.5.safetensors.

XL: https://civitai.com/models/238319/sd-xl-dpo-finetune-direct-preference-optimization extracted from https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/blob/main/sd_xl_base_1.0_0.9vae.safetensors

These are also hosted on HuggingFace at https://huggingface.co/benjamin-paine/sd-dpo-offsets/


"

Este LoRA se basa en la investigación de Meihua Dang y otros, que entrenaron modelos de Stable Diffusion 1.5 y Stable Diffusion XL utilizando la optimización de preferencia directa (DPO). Este enfoque implica ajustar finamente el modelo de difusión en función de las imágenes seleccionadas por humanos, lo que resulta en una mayor calidad de imagen y una mejor adhesión al texto de entrada.

Los LoRA DPO se crearon utilizando la herramienta Kohya SS para extraerlos de otros puntos de control con licencia OpenRail++. Hay dos versiones de este LoRA, una para SD 1.5 y otra para SDXL. Se ha observado que estos LoRA mejoran la adhesión al texto de entrada y pueden mejorar la calidad de la imagen cuando se utilizan con otros modelos de Stable Diffusion ajustados finamente.

Los parámetros recomendados para utilizar este LoRA son los siguientes:

LoRA Weight: entre 0,5 y 1,5

CFG scale: entre 1 y 7

Sampling steps: entre 20 y 50 pasos

Es importante experimentar con diferentes configuraciones para encontrar los mejores resultados para su caso de uso específico.

como ha de ser un prompt modelo para SDXL?

Un prompt para Stable Diffusion XL (SDXL) debe seguir algunas pautas para obtener los mejores resultados:

Utiliza una descripción clara y detallada: Proporciona una descripción clara y detallada de lo que deseas generar en la imagen. Incluye detalles específicos sobre el tema, la composición, la iluminación, los colores, etc. Cuanto más detallado sea el prompt, mejores serán los resultados.

Utiliza palabras clave y sinónimos: Incluye palabras clave relevantes y sinónimos para ayudar al modelo a comprender mejor lo que estás describiendo. Por ejemplo, si deseas generar una imagen de un perro, puedes utilizar palabras clave como "perro", "canino", "cachorro", "mascota", etc.

Utiliza modificadores de peso: Stable Diffusion admite modificadores de peso para indicar la importancia de ciertas palabras en el prompt. Puedes utilizar paréntesis para aumentar el peso de una palabra, corchetes para disminuir el peso, o incluso especificar un peso numérico manualmente, como "palabra:0.5". Experimenta con diferentes pesos para ver cómo afectan a los resultados.

Incluye instrucciones negativas: A veces, es útil incluir instrucciones negativas en el prompt para evitar que el modelo genere ciertos elementos no deseados. Por ejemplo, puedes incluir palabras como "no incluir", "sin", "evitar", etc. antes de las palabras que no deseas ver en la imagen generada.

Utiliza referencias visuales: Si es posible, incluye referencias visuales en tu prompt proporcionando enlaces a imágenes similares o relacionadas con lo que deseas generar. El modelo puede utilizar estas referencias visuales para comprender mejor tu solicitud y generar imágenes más precisas.

Experimenta con diferentes prompts: Stable Diffusion puede ser impredecible, por lo que es una buena idea experimentar con diferentes prompts y ajustar los pesos y las palabras clave hasta obtener los resultados deseados.

Recuerda que la generación de imágenes con Stable Diffusion XL es un proceso iterativo, por lo que es posible que tengas que ajustar y refinar tu prompt varias veces antes de obtener los resultados deseados.

como encuentras este prompt negativo, es correcto? : " (worst quality, low quality, normal quality, lowres, low details, oversaturated, undersaturated, overexposed, underexposed, grayscale, bw, bad photo, bad photography, bad art:1.4), (watermark, signature, text font, username, error, logo, words, letters, digits, autograph, trademark, name:1.2), (blur, blurry, grainy), morbid, ugly, asymmetrical, mutated malformed, mutilated, poorly lit, bad shadow, draft, cropped, out of frame, cut off, censored, jpeg artifacts, out of focus, glitch, duplicate, (airbrushed, cartoon, anime, semi-realistic, cgi, render, blender, digital art, manga, amateur:1.3), (3D ,3D Game, 3D Game Scene, 3D Character:1.1), (bad hands, bad anatomy, bad body, bad face, bad teeth, bad arms, bad legs, deformities:1.3)
"

El prompt negativo que has proporcionado parece ser una buena guía para evitar ciertos elementos no deseados en la imagen generada. Aquí hay algunos comentarios y sugerencias:

La mayoría de los términos negativos que has incluido son relevantes y efectivos para evitar que el modelo genere esos elementos. Términos como "baja calidad", "baja resolución", "poca luz", "borroso", "granulado", "morboso", "feo", "asimétrico", "mutado", "mutilado", etc., son claros y deberían ayudar a guiar al modelo para que evite estos aspectos en la imagen.

La inclusión de "arte digital", "CGI", "render", "manga" y "amateur" con un peso más bajo (1.3) es interesante, ya que permite cierta flexibilidad en la generación de imágenes. Esto significa que el modelo puede incluir estos elementos en la imagen, pero con una probabilidad reducida.

La sección que se refiere a las manos, la anatomía, el cuerpo, la cara, los dientes, los brazos y las piernas es efectiva para evitar anomalías en estas partes del cuerpo. Sin embargo, es posible que desees considerar la posibilidad de incluir términos más específicos relacionados con la anatomía humana, como "proporciones incorrectas", "desproporcionado", "desfigurado", etc., para una guía más precisa.

La inclusión de "artefactos JPEG", "fuera de foco", "glitch" y "duplicado" es útil para evitar problemas técnicos comunes en las imágenes.

La sección que se refiere a la saturación y exposición ("sobre saturado", "sub saturado", "sobre expuesto", "sub expuesto") es efectiva, pero también puedes considerar la inclusión de términos relacionados con el balance de blancos, como "balance de blancos incorrecto", para una guía más completa en términos de color.

En general, este prompt negativo parece ser una buena guía para evitar muchos elementos no deseados en la imagen generada. Sin embargo, siempre es una buena idea experimentar con diferentes prompts y ajustar los pesos para ver cómo afectan a los resultados.

crea el prompt final en ingles añadiendo los consejos que me has comentado

Aquí está el prompt final en inglés, incorporando las sugerencias que proporcioné anteriormente:

"(worst quality, low quality, poor quality, normal quality, low res, low resolution, low details, oversaturated, undersaturated, over exposed, under exposed, grayscale, black and white, bad photo, bad photography, bad art:1.4), (watermark, signature, text, font, username, error, logo, words, letters, digits, autograph, trademark, name:1.2), (blur, blurry, blurriness, grain, grainy), morbid, ugly, asymmetrical, mutated, malformed, mutilated, poorly lit, bad lighting, bad shadow, draft, cropped, out of frame, cut off, censored, jpeg artifacts, out of focus, glitch, duplicate, (airbrushed, cartoon, anime, semi-realistic, CGI, render, digital art, manga, amateur art:1.3), (3D, 3D Game, 3D Game Scene, 3D Character:1.1), (bad hands, bad anatomy, bad body proportions, bad face, bad teeth, bad arms, bad legs, deformities, mutated hands, malformed limbs:1.3), (incorrect white balance, white balance issue:1.2)"

Recuerda que siempre puedes ajustar los pesos y agregar o eliminar términos según tus preferencias y los resultados que desees lograr. Experimenta con diferentes combinaciones para encontrar lo que funciona mejor para tus imágenes específicas.

que tal la iluminacion en este prompt, es correcto?: "Weathered 17th-century retired sailor's face, reminiscent of Rembrandt's subjects, with a rugged, leathery complexion, deep-set eyes, and a strong, angular jawline, hints of a thousand tales etched on his face, now worn by the lines of age and the weight of memories, set against a backdrop of muted, earthy tones, with dramatic shadows casting an air of nostalgia. The fading light of dusk illuminates the scene, with warm, golden hues spilling across the subject's face, accentuated by the soft, diffused glow of the setting sun. In the distance, a faint view of his old whaling ship, its sails unfurled, with other sailors busy at work, hauling in the day's catch, while the sun sets over the horizon, casting a warm, golden glow over the scene, his eyes gazing into the distance, recalling the adventures of a bygone era."

La iluminación en este prompt es muy descriptiva y evoca una atmósfera nostálgica y dramática. La descripción de la luz cálida y dorada de la puesta de sol, junto con las sombras suaves y difusas, crea un ambiente interesante para el sujeto, que es un marinero jubilado del siglo XVII. La referencia a Rembrandt y sus sujetos también es una adición interesante, ya que evoca un estilo de iluminación específico y dramático.

Sin embargo, hay un par de cosas a tener en cuenta:

Asegúrate de que la iluminación sea consistente con la hora del día descrita. En este caso, has mencionado la "luz crepuscular" y el "sol poniente", por lo que la iluminación cálida y dorada es apropiada. Pero si estás describiendo una escena en un momento diferente del día, ajusta la iluminación en consecuencia.

Considera agregar algunos detalles adicionales sobre la dirección de la luz y las sombras. Por ejemplo, podrías describir cómo la luz cae sobre el rostro del sujeto, destacando ciertas características o creando sombras específicas. También podrías mencionar cualquier fuente de luz adicional en la escena, como una vela o una linterna.

En general, la iluminación en este prompt es evocadora y ayuda a establecer el tono y la atmósfera deseados para la imagen. Solo asegúrate de que la iluminación sea consistente con el resto de la descripción y ajusta los detalles según sea necesario para lograr el efecto deseado."