Tras enviudar, Goya entabló relación con Leocadia Zorrilla, separada de su marido —Isidoro Weiss— en 1811, con la que convivió hasta su muerte, y de la que pudo tener descendencia en Rosario Weiss, aunque la paternidad de Goya no ha sido dilucidada.