El castillo quedó entonces bajo la administración y cuidado de los servidores y albaceas de la casa de Benavente; más tarde pasó a ser propiedad de la casa de Osuna, cuando ambos linajes se unieron por matrimonio.