Bajo el reinado de Enrique IV el castillo fue adquirido por su valido, Juan Pacheco, y desde él viene transmitiéndose a sus sucesores (hoy los duques de Osuna).