Програмата представлява модел на латентна дифузия, което означава, че използва код за създаване на изображения чрез премахване на шума с поредица от стъпки, докато стигне до желаното изображение. За да се постигне това, първоначално Stable Diffusion беше обучена с база данни от около 2.3 милиарда двойки текст-изображение, преведени на английски език, взети от LAION-5B.
С базата данни от LAION-5B моделът на Stable Diffusion постепенно се научи как да разпознава текстовите описания и да генерира изображения, като започва с груб резултат и постепенно подобрява разделителната способност на резултата, докато не удовлетвори определени условия, посочени в текстовия вход.