El castillo continuó siendo posesión de los Ponce de León hasta finales del siglo XVIII, cuando pasó a dominio de la casa de los Duques de Osuna.