En ese momento pasó a manos de los condes de Olivares (de la casa Guzmán).