Finalmente en 1510 pasó a la Casa de Medina Sidonia, vendida por sus anteriores señores, los duques de Alburquerque.