La torre, perteneciente a la arquitectura militar islámica del siglo IX, fue, según la tradición, el lugar que eligió el rey Fernando III para que sirviese de primer templo a la Virgen.