Asimismo, hacia 1465 Diego de Silva, ahora alcaide de la torre de Gando y yerno de Herrera, construye una segunda fortaleza próxima al eremitorio.