En cualquier caso, el edificio ha sido modificado desde el siglo XVI, puesto que a finales del siglo XVIII el arquitecto vicentino Ottone Calderari intervino con gran intensidad en el edificio, y en los primeros años del siglo XIX una segunda campaña de obras elimina las últimas trazas de la fábrica gótica, llevando a cabo una póstuma «palladización» de la villa.