Tras su abandono, en época de los Reyes Católicos se construyó en el recinto la ermita de la Virgen del Castillo, aún en pie y en uso.