Su construcción debió iniciarse en 1518 a instancias de don Juan Alonso Pérez de Guzmán, VI duque de Medina Sidonia, acabándose en 1615 en tiempos de don Alonso Pérez de Guzmán el Bueno, el VII duque.