A juzgar por la intensa actividad constructiva, fue el siglo XVI el momento de máximo esplendor de Cadalso de los Vidrios: se continuó y terminó la iglesia parroquial, se remodeló el palacio de Villena, y se construyeron palacios, como la Casa de los Salvajes.