Permaneció como un realengo formando parte de la Mitación de San Juan hasta que en 1631 pasó a manos del canónigo sevillano Diego Arias Mendoza, que lo vendió en 1635 al conde-duque de Olivares (familia Guzmán), título que conservó el señorío hasta que esta figura jurídica se abolió en el siglo XIX.