En el año 1312, el castillo perteneció a Don Alonso de Guzmán, sucesor del célebre Guzmán el Bueno hasta que muere en 1351 y pasa a pertenecer al Concejo de Jerez.