Acaso por esa prevención se exageraron sus pecadillos, llegando la maledicencia de sus contemporáneos hasta inventar que si emprendió la fábrica del Paseo de Aguas, fue sólo por halagar a su dama, cuya espléndida casa era la que hoy conocemos vecina a la Alameda de los Descalzos y al pie del muro del río.