Fue construido en estilo renacentista por la casa de Medina Sidonia en el siglo XVI, sobre la estructura de lo que parece ser un antiguo ribat o alcázar andalusí del siglo XII.