A partir del siglo XVI la piedras de los edificios demolidos del Castillazo fueron empleadas en diversas edificaciones anexas a la iglesia y en la construcción de muchas casas del vecindario.